精度の検証
公開されている実際の介護求人20件を人の目で判定した「正解」と、このサイトの読み取り結果を比べました。良い数字も悪い数字もそのまま載せています。
現在の対象は介護職です。検証も介護職の求人票20件で行いました。
検証の方法
- 求人: ハローワークインターネットサービス10件と、民間の求人サイト4媒体10件の計20件(2026年9月に手作業で閲覧・転記)。都道府県12、施設種別10(特養・老健・有料老人ホーム・サ高住・グループホーム・小規模多機能・通所・訪問・居宅など)、正社員・契約社員・パートを含みます。事業所名などは伏せてから検証しました。
- 崩れた貼り付けの再現: 20件のうち10件について、見出しや欄の名前の一部を落とし、改行を詰め、段落の順序を入れ替えた版を作り、同じように検証しました。
- 正解: 1人が全件を判定し、判断に迷ったもの(全体の14%)には印をつけています。
- 判定の基準(本番と同じ): 「記載なし」は確信度0.8以上のときだけ、その他の表示は0.6以上のときだけ出し、届かないときは「判定できませんでした」とします。
結果の要約
要約は、資格要件を除く13項目の集計です(資格要件は判定方法の見直し後に別途検証し、項目別の表に載せています)。
| 通常の貼り付け(20件) | 崩れた貼り付け(10件) | |
|---|---|---|
| 判定を出したもののうち、正解と一致した割合 | 98.0% | 97.4% |
| 「判定できませんでした」の割合 | 5.4% | 10.0% |
| 実際は書かれているのに「記載なし」と表示した件数 | 0件 | 0件 |
最も避けたい誤り(書かれているのに「記載なし」と伝えること)は、確信度の基準を設けることで0件に抑えています。基準を設けない場合、この誤りは表示対象の394判定のうち6件(1.5%)ありました。6件はいずれも確信度0.8未満で、うち3件は、崩れた貼り付けで「固定残業代」という欄の名前が消え、情報そのものが本文からなくなったことによるものです。
項目別の結果
「一致」は判定を出したもののうち正解と一致した件数、「判定できず」は基準に届かなかった件数です。
※資格要件(記載の有無)は判定方法を見直したため、同じ20件で追加の検証を行いました(2026年9月)。20件とも資格要件が書かれている求人だったため、「記載なし」「曖昧」を正しく読み取れるかは確かめられていません。
| 項目 | 通常: 一致 | 通常: 判定できず | 崩れ: 一致 | 崩れ: 判定できず |
|---|---|---|---|---|
| 業務内容・変更の範囲 | 20/20 | 0 | 9/9 | 1 |
| 契約期間・更新の基準 | 17/18 | 2 | 9/9 | 1 |
| 試用期間 | 20/20 | 0 | 10/10 | 0 |
| 就業場所・変更の範囲 | 20/20 | 0 | 8/8 | 2 |
| 就業時間・休憩・休日 | 16/16 | 4 | 9/9 | 1 |
| 時間外労働 | 13/16 | 4 | 6/8 | 2 |
| 賃金額と内訳 | 20/20 | 0 | 10/10 | 0 |
| 固定残業代 | 19/19 | 1 | 7/7 | 3 |
| 社会保険・労働保険 | 20/20 | 0 | 10/10 | 0 |
| 受動喫煙対策 | 20/20 | 0 | 10/10 | 0 |
| 賞与・昇給の実績 | 19/19 | 1 | 9/9 | 1 |
| 処遇改善加算の扱い | 20/20 | 0 | 9/9 | 1 |
| 夜勤の回数・夜勤手当 | 17/18 | 2 | 8/9 | 1 |
| 資格要件(記載の有無)※ | 20/20 | 0 | 9/9 | 1 |
分かっている弱点
- 時間外労働は、「残業の有無だけ書いてある」と「何も書いていない」の区別で誤りが出やすい項目です(通常の貼り付けで16件中3件)。
- 資格要件は、判定方法を2つに分けました。(1) 資格要件が書かれているかどうかは、他の項目と同じ方法で読み取って常に表示します(上の表)。(2) 訪問介護の求人で「無資格可」と書かれている場合の確認の案内は、AIには判定させず、「読み取れた施設種別が訪問介護(確信度0.8以上)」かつ「本文に『無資格可』『資格不問』などの語がある」という決まった規則で表示します。検証した20件では、施設種別は20件すべてを正しく読み取りましたが、この規則が表示されたのは0件でした(訪問介護の求人3件はいずれも資格を必須としており、「無資格可」などの語があった5件はいずれも訪問介護以外でした)。規則が正しく表示されることは、別途用意した例文で確かめています。
- 「無資格可」などの語がある求人では、施設種別にかかわらず、資格要件の欄に「入職後に認知症介護基礎研修の受講が必要です(2024年4月〜)」という案内を添えます。これは事実の案内で、事業所への指摘ではありません。
- 固定残業代がある求人は、検証した20件中1件しかなく、「ある場合」の読み取り精度は十分に確かめられていません。
- 検証は20件と少数です。件数を増やして定期的に見直します。
処理の速さ
1件の読み取りにかかる時間は、項目を並列に処理して数秒程度です。