JP5912813B2 - 特許調査結果評価装置、特許調査結果評価方法、およびプログラム - Google Patents

Description

本発明は、特許調査の結果を評価する特許調査結果評価装置等に関するものである。

従来の特許調査において、特許検索式を用いて特許公報を検索する装置等が開発されている（例えば、特許文献１参照）。また、特許調査の結果を管理する装置等が開発されている（例えば、特許文献２参照）。

特開平１１−２５００９０号公報 特開２００７−２４２００４号公報

しかしながら、従来の特許公報を検索する装置、及び特許調査の結果を管理する装置においては、特許調査を効率的に行うことができたとしても、その特許調査の結果が適切であるかどうかを評価できないという課題があった。

本第一の発明の特許調査結果評価装置は、１以上の特許検索式と特許の選別の結果に関する選別情報とを有する特許調査結果情報を格納し得る特許調査結果情報格納部と、１以上の特許検索式が不適切であることを判断するためのルールである１以上の検索式ルールを格納し得る検索式ルール格納部と、調査対象の特許の選別作業の妥当性を判断するためのルールである１以上の選別ルールを格納し得る選別ルール格納部と、１以上の特許検索式を１以上の検索式ルールに適用し、１以上の特許検索式に合致する検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する検索式評価部と、選別情報を１以上の選別ルールに適用し、選別情報に合致する選別ルールを決定し、合致する１以上の選別ルールに対応する第二の評価結果を取得する選別情報評価部と、第一の評価結果および第二の評価結果を用いて、特許調査結果情報の評価を構成する評価構成部と、特許調査結果情報の評価を出力する評価出力部とを具備する特許調査結果評価装置である。
かかる構成により、特許検索式と選別情報が適切か否かを評価できる。その結果、例えば、特許調査の妥当性を判断できる。また、例えば、特許調査結果情報を作成した調査者を評価できる。

また、本第二の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報は、特許調査の目的と特許調査の対象の特許書類の種類とを含み、検索式ルールは、特許調査の目的と特許書類の種類とを含むルールであり、検索式評価部は、特許調査結果情報に含まれる特許書類の種類と特許調査の目的とを、１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、特許調査の目的と特許検索式に含まれる検索対象となる特許書類の種類との組み合わせが適切か否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第三の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報は、検索対象の期間を含み、検索式ルールは、検索対象の期間を含むルールであり、検索式評価部は、特許調査結果情報に含まれる検索対象の期間を１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、特許検索式に含まれる検索対象の期間が適切か否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で特許調査が適切で、あったかどうかを知ることができる。

また、本第四の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報は、特許分類と検索対象の期間とを含み、検索式ルールは、特許分類と検索対象の期間とを含むルールであり、検索式評価部は、特許調査結果情報に含まれる特許分類と検索対象の期間とを１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、特許検索式に含まれる特許分類と検索対象の期間との組み合わせが適切か否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第五の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報は、特許調査の目的と検索対象の期間とを含み、検索式ルールは、特許調査の目的と検索対象の期間とを含むルールであり、検索式評価部は、特許調査結果情報に含まれる検索対象の期間と特許調査の目的とを１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、特許調査の目的と特許検索式に含まれる検索対象の期間との組み合わせが適切か否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第六の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報は、検索フィールドを含み、検索式ルールは、検索フィールドを含むルールであり、検索式評価部は、特許調査結果情報に含まれる検索フィールドを１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、特許検索式に含まれる検索フィールドが適切か否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で特許調査が適切で、あったかどうかを知ることができる。

また、本第七の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報は、特許調査の目的と検索フィールドとを含み、検索式ルールは、特許調査の目的と検索フィールドとを含むルールであり、検索式評価部は、特許調査結果情報に含まれる検索フィールドと特許調査の目的とを１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、特許調査の目的と特許検索式に含まれる検索フィールドとの組み合わせが適切か否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第八の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報に含まれる特許検索式は、特許分類と用語とを含み、検索式ルールは、特許分類と用語とを含むルールであり、検索式評価部は、特許検索式に含まれる特許分類と用語とを、１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、特許検索式に含まれる特許分類と用語との組み合わせが適切か否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第九の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報に含まれる特許検索式は、１以上の用語を含み、検索式ルールは、特許書類の絞り込みの能力が低い１以上の用語を含むルールであり、検索式評価部は、特許検索式に含まれる１以上の用語を１以上の検索式ルールに適用し、１以上の各用語が絞り込みの能力が低いか否かを判断し、判断結果を用いて第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、ユーザは、特許調査の結果における、特許検索式に含まれる用語の絞り込み能力が高いか低いかを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第十の発明の特許調査結果評価装置は、第一の発明に対して、選別情報は、選別対象の特許件数と関連特許の件数とを含み、検索式ルールは、選別対象の特許件数と関連特許の件数とを用いたルールであり、検索式評価部は、選別情報に含まれる選別対象の特許件数と関連特許の件数とを、検索式ルールに適用し、第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、ユーザは、特許調査の結果における、選別対象の特許書類の件数と関連特許の件数との割合が不釣り合いであるか否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第十一の発明の特許調査結果評価装置は、第一の発明に対して、特許調査結果情報は、２以上の特許検索式を有し、検索式ルールは、２以上の特許検索式を有するルールであり、検索式評価部は、特許調査結果情報が有する２以上の特許検索式を検索式ルールに適用し、選別対象の絞り込み方の妥当性を評価し、第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、検索式策定過程が適切か否かを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第十二の発明の特許調査結果評価装置は、第十一の発明に対して、検索式評価部は、特許調査結果情報が有する２以上の特許検索式の中に、用語を含まず特許分類を含む特許検索式と、用語と特許分類とを含む特許検索式の両方が存在するか否かを判断し、両方存在しない場合、両方存在する場合と比較して、低い第一の評価結果を取得する、特許調査結果評価装置である。
かかる構成により、特許調査の結果における、検索式作成過程が適切か否かを評価できる。例えば、検索式の作成過程に、特許分類のみを組み合わせた分野を限定するための検索式を作成したかどうかを評価できる。その結果、例えば、ユーザは、特許書類の絞り込みの段階で、特許調査が適切であったかどうかを知ることができる。

また、本第十三の発明の特許調査結果評価装置は、第一の発明に対して、特許調査における選別作業の結果、関連すると判断された関連特許の書類である１以上の関連特許書類を格納し得る関連特許書類格納部と、特許調査における選別作業の結果、関連しないと判断された非関連特許の書類である１以上の非関連特許書類を格納し得る非関連特許書類格納部とをさらに具備し、選別ルールは、非関連特許書類の中の関連特許書類に関するルールであり、選別情報評価部は、１以上の各関連特許書類から１以上の用語を取得し、１以上の用語を用いて各関連特許書類のベクトルである関連特許特徴ベクトルを、関連特許書類ごとに取得し、かつ、１以上の各非関連特許書類から１以上の用語を取得し、１以上の用語を用いて各非関連特許書類のベクトルである非関連特許特徴ベクトルを、非関連特許書類ごとに取得する特徴ベクトル取得手段と、１以上の関連特許特徴ベクトルと１以上の非関連特許特徴ベクトルとを用いて、関連特許のクラスに属するべき非関連特許特徴ベクトルに対応する非関連特許書類を決定する判断手段と、判断手段が決定した１以上の関連特許書類を選別ルールに適用し、第二の評価結果を取得する選別評価結果取得手段とを具備する、特許調査結果評価装置である。
かかる構成により、非関連特許の特許書類の中から、関連特許書類を取得することができ、取得した関連特許書類を用いて選別情報を評価できる。これにより、例えば、ユーザは、特許書類の選別の段階で、特許調査が適切であったかどうかを知ることができる。

また、本第十四の発明の特許調査結果評価装置は、第一の発明に対して、特許調査における選別作業の結果、関連すると判断された関連特許の書類である１以上の関連特許書類を格納し得る関連特許書類格納部と、特許調査における選別作業の結果、関連しないと判断された非関連特許の書類である１以上の非関連特許書類を格納し得る非関連特許書類格納部とをさらに具備し、選別ルールは、関連特許書類の中の非関連特許書類に関するルールであり、選別情報評価部は、１以上の各関連特許書類から１以上の用語を取得し、１以上の用語を用いて各関連特許書類のベクトルである関連特許特徴ベクトルを、関連特許書類ごとに取得し、かつ、１以上の各非関連特許書類から１以上の用語を取得し、１以上の用語を用いて各非関連特許書類のベクトルである非関連特許特徴ベクトルを、非関連特許書類ごとに取得する特徴ベクトル取得手段と、１以上の関連特許特徴ベクトルと１以上の非関連特許特徴ベクトルとを用いて、非関連特許のクラスに属するべき関連特許特徴ベクトルに対応する関連特許書類を決定する判断手段と、判断手段が決定した１以上の非関連特許書類を選別ルールに適用し、第二の評価結果を取得する選別評価結果取得手段とを具備する、特許調査結果評価装置である。
かかる構成により、関連特許の特許書類の中から、非関連特許書類を取得することができ、取得した非関連特許書類を用いて選別情報を評価できる。これにより、例えば、ユーザは、特許書類の選別の段階で、特許調査が適切であったかどうかを知ることができる。

本発明による特許調査結果評価装置等によれば、特許調査の結果を適切に評価できる。

実施の形態１における特許調査結果評価装置を含むシステムの概念図 同実施の形態における特許調査結果評価装置のブロック図 同実施の形態における特許調査結果評価装置の動作を示すフローチャート 同実施の形態における検索式評価部の動作を示すフローチャート 同実施の形態における特徴ベクトル取得手段の動作を示すフローチャート 同実施の形態における判断手段の動作を示すフローチャート 同実施の形態における選別評価結果取得手段の動作を示すフローチャート 同実施の形態における特許調査報告書の例を示す図 同実施の形態における検索式ルールの例を示す図 同実施の形態における特許分類期間情報の例を示す図 同実施の形態における用語と特許分類の誤った組合せ情報の例を示す図 同実施の形態における絞り込み能力の低い用語情報の例を示す図 同実施の形態における選別ルールの例を示す図 同実施の形態における受付部が受け付ける情報を入力する画面の表示例を示す図 同実施の形態における各特許書類格納部に格納されている特許書類の例を示す図 同実施の形態における各特許書類の特徴ベクトルの例を示す図 同実施の形態における評価出力部が出力した情報を表示した画面の表示例を示す図 上記実施の形態におけるコンピュータシステムの外観の一例を示す図 上記実施の形態におけるコンピュータシステムの構成の一例を示す図

以下、特許調査結果評価装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態において、特許調査結果情報に含まれている特許検索式と、その特許検索式を用いて取得した特許書類を関連特許と非関連特許とに人手で選別したが結果とが適切か否かを評価する特許調査結果評価装置１について説明する。

図１は、本実施の形態における特許調査結果評価装置１を含むシステムの概念図である。図１において、特許調査結果評価装置１と１または２以上のユーザ端末２とは、ネットワーク１００を介して接続されている。ネットワーク１００は、有線、または無線の通信回線であり、例えば、インターネットやイントラネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、公衆電話回線等である。また、ユーザ端末２は、ネットワーク１００に接続可能な端末であれば何でも良い。例えば、ユーザ端末２は、デスクトップパソコン、ノートパソコン、スマートフォン、またはＰＤＡ等であっても良い。

特許調査結果評価装置１は、受付部１０１、特許調査結果情報格納部１０２、関連特許書類格納部１０３、非関連特許書類格納部１０４、検索式ルール格納部１０５、選別ルール格納部１０６、検索式評価部１０７、選別情報評価部１０８、評価構成部１０９、および評価出力部１１０を備える。

また、選別情報評価部１０８は、特徴ベクトル取得手段２１、判断手段２２、および選別評価結果取得手段２３を備える。

受付部１０１は、特許調査結果情報を受け付ける。特許調査結果情報とは、特許調査の結果をまとめた情報である。なお、特許調査とは、ある技術やある発明等に関連した文献を人手で調査することである。特許調査結果情報は、特許調査時に使用した特許検索式と、特許書類を選別した結果に関する選別情報とを有する。特許調査結果情報に含まれる特許検索式は、選別対象を取得するために用いた１の特許検索式であっても良く、選別情報を取得するための最終的な特許検索式以外にも、特許検索式を構築する過程に作成した２以上の特許検索式であっても良い。選別対象とは、特許検索式で検索して取得した結果であり、調査対象の発明の内容と関連するか否かを調べる対象の特許書類のことである。選別情報とは、選別対象に対して、調査対象の発明の内容と関連するか否かを判断した結果の情報である。特許調査結果情報に含まれる選別情報は、１または２以上の関連特許書類を特定する情報を少なくとも含む情報である。関連特許書類とは、人手で行った特許調査における選別作業の結果、調査対象の発明に関連すると判断された特許書類である。関連特許書類を特定する情報は、例えば、特許書類そのものであっても良く、特許書類を一意に特定する特許書類ＩＤであっても良い。特許書類ＩＤは、具体的には、出願番号であっても良く、公開番号であっても良く、登録番号等であっても良い。なお、選別情報は、非関連特許書類を特定する情報を含んでいても良い。非関連特許書類とは、特許調査における選別作業の結果、調査対象の発明に関連しないと判断された特許書類である。非関連特許書類を特定する情報については、上記の説明の関連特許書類を非関連特許書類に読み替えることで同様とする。また、選別情報は、選別対象の特許書類の件数と関連特許書類の件数とを含んでも良い。なお、特許調査結果情報は、特許調査の目的を含んでも良い。特許調査の目的とは、特許調査を行う目的である。特許調査の目的は、例えば、「先行技術調査」、「侵害予防調査」、「無効化資料調査」等である。先行技術調査は、特許出願前に先行技術が存在するか否かを調査することをいう。侵害予防調査は、商品やサービスを市場に出す前に他者特許を侵害しているか否かを調査することをいう。無効化資料調査は、他者の登録特許を無効にするために調査することをいう。また、特許調査結果情報は、上記以外にも、後述する特許調査の対象の特許書類の種類を含んでも良く、後述する検索対象の期間を含んでも良く、後述する特許分類を含んでも良く、後述する検索フィールドを含んでも良く、また上記２以上の組合せを含んでも良い。特許調査の対象の特許書類の種類と検索対象の期間と特許分類とは、通常、特許調査結果情報に含まれている検索式に含まれている情報である。特許調査結果情報は、例えば、特許を調査した結果を書類にまとめた特許調査報告書等のような書類であっても良く、特許調査の際に作成した作業ログのような情報であっても良い。

特許検索式は、用語や特許分類等である要素を含み、データベース等に記憶されている特許書類を特定するために用いられる情報である。特許書類とは、特許庁に出願された特許等の出願書類等に関する情報である。特許検索式は、さらに２以上の要素を関係づけたり、要素を否定したりする論理演算子を含んでも良く、１または２以上の論理演算子と１または２以上の要素とを一つのブロックとして扱うための情報であるブロック区切り要素を含んでも良い。また、特許検索式は、特許調査の対象の特許書類の種類を含んでも良く、検索対象の期間を含んでも良く、検索フィールドを含んでも良い。特許書類の種類は、公開特許公報、特許公報、実用新案公開公報、実用新案登録公報、公表特許公報、公表実用新案公報、再公表特許公報、再公表実用新案公報等である。また、特許書類の発行国は、日本、米国、中国、欧州、韓国等、問わない。検索対象の期間は、検索対象の特許書類に付与される期日を含む期間である。例えば、検索対象の期間は、「１９９２．１．１〜２０１２．３．１」等である。検索対象の期間で指定する特許書類に付与される期日は、出願日であっても良く、公開日であっても良く、登録日等であっても良い。検索フィールドは、特許検索式中の用語を検索する対象である。例えば、「要約」、「特許請求の範囲」、「要約＋特許請求の範囲」、または「全文」等である。なお、特許検索式のデータ構造、データ形式、および定義方法等は問わない。

要素は、用語であっても良く、特許分類であっても良く、後述するブロック要素であっても良い。特許分類は、特許書類を分類し、検索時に利用可能な情報であれば何でも良い。例えば、特許分類は、ＩＰＣ、ＦＩ、Ｆターム、ＵＳクラス、ＥＣＬＡ等のコードのいずれかであっても良く、または、上記コードの一部分であっても良い。コードの一部分とは、例えば、ＩＰＣであればセクション、クラス、サブクラス、またはメイングループ等であっても良い。また、コードの一部分は、例えば、Ｆタームであれば、テーマコード、またはテーマコードと観点等のことであっても良い。

論理演算子は、例えばＡＮＤ演算子であっても良く、ＯＲ演算子であっても良く、ＮＯＴ演算子であっても良い。ＡＮＤ演算子とＯＲ演算子とは、２以上の要素を関係づけたりする論理演算子である。例えば、ＡＮＤ演算子は、２つの要素の積集合を求める演算子である。ＯＲ演算子は、２つの要素の和集合を求める演算子である。例えば、ＮＯＴ演算子は、要素を否定する演算子である。例えば、ＮＯＴ演算子は、特定の要素の集合が含まない集合を求める演算子である。

ブロック区切り要素は、例えば、括弧であっても良く、グラフィカルユーザインタフェース上におけるテキストボックスであっても良い。ブロック区切り要素で区切られた領域をブロック要素とする。例えば、「（用語Ａ ＯＲ 用語Ｂ） ＡＮＤ 用語Ｃ」の括弧で区切られた「（用語Ａ ＯＲ 用語Ｂ）」は、ブロック要素であり、「（」と「）」とは、ブロック区切り要素である。

なお、受付部１０１は、受け付けた特許調査結果情報を特許調査結果情報格納部１０２に格納する。また、受付部１０１は、受け付けた特許調査結果情報に含まれる関連特許書類を特定する情報を用いて関連特許書類格納部１０３に関連特許書類を格納する。なお、受付部１０１は、関連特許書類を特定する情報が、関連特許書類そのものであれば、そのまま関連特許書類格納部１０３に格納するようにしても良い。また、受付部１０１は、関連特許書類を特定する情報が特許書類ＩＤであれば、特許書類ＩＤをキーとして、図示しない特許書類格納部から特許書類を取得して、関連特許書類格納部１０３に格納しても良く、または図示しないネットワークを介して外部の特許書類検索装置などから特許書類ＩＤに対応した特許書類を取得して、関連特許書類格納部１０３に格納しても良い。なお、図示しない特許書類格納部、および外部の特許書類検索装置は、１以上の特許書類を格納している。また、関連特許書類格納部１０３に格納する特許書類の言語やデータ形式等は問わない。また、受付部１０１は、非関連特許書類格納部１０４に非関連特許書類を格納する。受付部１０１が受け付けた特許調査結果情報に非関連特許書類を特定する情報が含まれている場合は、上記の説明の関連特許書類を非関連特許書類、および関連特許書類格納部１０３を非関連特許書類格納部１０４に読み替えることで同様とする。受付部１０１が受け付けた特許調査結果情報に非関連特許書類を特定する情報が含まれていない場合は、受付部１０１は、特許調査結果情報に含まれる特許検索式を用いて選別対象の特許書類を取得し、取得した特許書類から関連特許書類を除いた特許書類を非関連特許書類として非関連特許書類格納部１０４に格納しても良い。なお、選別対象の特許書類を取得する方法は、特許検索式を用いて、図示しない特許書類格納部から特許書類を取得する方法でも良く、図示しないネットワークを介して外部の特許書類検索装置などから取得する方法でも良い。

また、受付部１０１は、評価出力部１１０が出力した後述する評価結果に応じて修正された特許調査結果情報をも受け付けても良い。受付部１０１は、通常、ネットワーク１００を介してユーザ端末２から送信された、特許調査結果情報を特定する情報を受け付けるが、キーボードやマウス、タッチパネル等の入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリ等の記録媒体から読み出された情報の受け付けであっても良い。

特許調査結果情報格納部１０２には、１または２以上の特許検索式と特許の選別の結果に関する選別情報とを有する特許調査結果情報を格納し得る。ここで、格納とは、不揮発性の記録媒体による長期的な格納や、揮発性の記録媒体による一時的な格納も含む概念である。特許調査結果情報格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。特許調査結果情報格納部１０２に特許調査結果情報が格納される過程は問わない。通常、特許調査結果情報格納部１０２には、受付部１０１が受け付けた特許調査結果情報が格納されるが、例えば、記録媒体を介して特許調査結果情報が特許調査結果情報格納部１０２で格納されるようになっても良く、通信回線等を介して送信された特許調査結果情報が特許調査結果情報格納部１０２で格納されるようになっても良い。

関連特許書類格納部１０３には、特許調査における選別作業の結果、関連すると判断された関連特許の書類である１以上の関連特許書類を格納し得る。ここでの関連特許書類は、通常、特許調査における人手による選別作業の結果、関連すると判断された特許であるが、自動的に関連すると判断された特許書類でも良い。関連特許書類格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。関連特許書類格納部１０３に関連特許書類が格納される過程は問わない。通常、関連特許書類格納部１０３には、受付部１０１が取得した関連特許書類が格納されるが、例えば、記録媒体を介して関連特許書類が関連特許書類格納部１０３で格納されるようになっても良く、通信回線等を介して送信された関連特許書類が関連特許書類格納部１０３で格納されるようになっても良い。

非関連特許書類格納部１０４は、特許調査における選別作業の結果、関連しないと判断された非関連特許の書類である１以上の非関連特許書類を格納し得る。ここでの非関連特許書類は、通常、特許調査における人手による選別作業の結果、関連しないと判断された特許であるが、自動的に関連しないと判断された特許書類でも良い。非関連特許書類格納部１０４は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。非関連特許書類格納部１０４に非関連特許書類が格納される過程は問わない。通常、非関連特許書類格納部１０４には、受付部１０１が取得した非関連特許書類が格納されるが、例えば、記録媒体を介して非関連特許書類が非関連特許書類格納部１０４で格納されるようになっても良く、通信回線等を介して送信された非関連特許書類が非関連特許書類格納部１０４で格納されるようになっても良い。

検索式ルール格納部１０５には、１以上の特許検索式が不適切であることを判断するためのルールである１以上の検索式ルールを格納し得る。検索式ルールは、特許検索式に含まれ得る要素、特許調査の目的、検索フィールド、検索対象の期間、または上記の２以上の組み合わせが不適切であることを示すルールである。例えば、検索式ルールは、特許調査の目的と特許書類の種類とを含むルールであっても良く、検索対象の期間を含むルールであっても良く、特許分類と検索対象の期間とを含むルールであっても良く、特許調査の目的と検索対象の期間とを含むルールであっても良く、検索フィールドを含むルールであっても良く、特許調査の目的と検索フィールドとを含むルールであっても良く、特許分類と用語とを含むルールであっても良く、特許書類の絞り込みの能力が低い１または２以上の用語を含むルールであっても良く、選別対象の特許書類の件数と関連特許書類の件数とを用いたルールであっても良く、２以上の特許検索式を有するルールであっても良く、上記ルールが２以上組み合わされたルールであっても良い。絞り込みの能力が低い用語とは、多くの特許書類に出現し、特許書類を限定しにくい用語である。なお、絞り込みの能力が低い用語は、全ての分野において一定数以上の特許書類に出現する用語であっても良く、特定の分野においてのみ一定数以上の特許書類に出現する用語であっても良い。また、絞り込み能力の低い用語は、例えば、閾値よりも多くの特許書類に出現する用語であっても良く、閾値よりもＩＤＦ値が小さい用語であっても良い。なお、その閾値は、予め決められた値であっても良く、最も絞り込み能力の低い用語の出現する特許書類の件数に１より小さい数（例えば、０．９や０．８等）を掛けた値等であっても良く、最も絞り込み能力の低い用語のＩＤＦ値に１より大きい数（例えば、１．１や１．２等）を掛けた値等であっても良い。また、検索式ルール格納部１０５には、検索式ルールと対応付けて減点情報を格納し得るようにしても良い。減点情報は、検索式評価部１０７で特許検索式を評価する際に用いる情報であり詳細は後述する。なお、検索式ルールは、通常、特許検索式の内容が不適切であることを示すルールであるため、特許検索式の内容が適切であることを示すルールは、結果を反転させることで、不適切であることを示すルールとして使用しても良い。

以下、検索式ルール格納部１０５に格納され得る検索式ルールについて、例えば、（１）特許調査の目的と特許書類の種類とを含む検索式ルール、（２）検索対象の期間を含む検索式ルール、（３）特許分類と検索対象の期間とを含む検索式ルール、（４）特許調査の目的と検索対象の期間とを含む検索式ルール、（５）検索フィールドを含む検索式ルール、（６）特許調査の目的と検索フィールドとを含む検索式ルール、（７）特許分類と用語とを含む検索式ルール、（８）特許書類の絞り込みの能力が低い１以上の用語を含む検索式ルール、（９）選別対象の特許件数と関連特許の件数とを用いた検索式ルール、（１０）２以上の特許検索式を有する検索式ルールがある。かかる検索式ルールについて、以下に詳細に説明する。

（１）特許調査の目的と特許書類の種類とを含む検索式ルール
特許調査の目的と特許書類の種類とを含む検索式ルールは、例えば、特許調査の目的と検索対象の特許書類の種類との組合せが不適切であることを規定するルールであっても良い。その検索式ルールは、さらに具体的には、特許調査の目的が「侵害予防調査」である場合で、かつ検索対象の特許書類の種類に「公開特許公報」等の公開系の特許書類が含まれていた場合に不適切であるとする検索式ルール等である。なお、この具体例は、「侵害予防調査」は、侵害の可能性を調査することが目的であるため、公開系の特許書類を検索対象に含めることは不適切であると考えられることから導き出せるルールである。

（２）検索対象の期間を含む検索式ルール
検索対象の期間を含む検索式ルールは、例えば、検索対象の期間が不適切であることを規定するルールであっても良い。その検索式ルールは、さらに具体的には、検索対象の期間に未来の日付を含んだ期間を指定した場合に不適切であるとする検索式ルール等である。なお、この具体例は、検索対象の期間に未来の日付を指定しても、特許検索式に合致する特許書類がないため、不適切であると考えられることから導き出せるルールである。

（３）特許分類と検索対象の期間とを含む検索式ルール
特許分類と検索対象の期間とを含む検索式ルールは、例えば、特許分類と検索対象の期間との組合せが不適切であることを規定するルールであっても良い。その検索式ルールは、さらに具体的には、検索対象の期間が、特許検索式に含まれる特許分類の発行日以前のみ、または廃止日以降のみを指定した場合に不適切であるとする検索式ルール等である。なお、この具体例は、特許分類の発行日以前、または廃止日以降を指定しても、特許検索式に合致する特許書類がないため、不適切であると考えられることから導き出せるルールである。

（４）特許調査の目的と検索対象の期間とを含む検索式ルール
特許調査の目的と検索対象の期間とを含む検索式ルールは、例えば、特許調査の目的と検索対象の期間との組合せが不適切であることを規定するルールであっても良い。その検索式ルールは、さらに具体的には、特許調査の目的が「侵害予防調査」である場合で、かつ検索対象の期間が特許権の存続期間が満了した特許書類を含めるように指定されていた場合に不適切であるとする検索式ルール等である。特許権の存続期間が満了した特許書類とは、例えば、出願後２０年が経過した特許書類である。なお、この具体例は、「侵害予防調査」は、侵害の可能性を調査することが目的であるため、特許権の存続期間が満了した特許書類を検索対象の期間に指定するのは、不適切であると考えられることから導き出せるルールである。

（５）検索フィールドを含む検索式ルール
検索フィールドを含む検索式ルールは、例えば、検索フィールドが不適切であることを規定するルールであっても良い。その検索式ルールは、さらに具体的には、検索フィールドが「発明の名称」のみであった場合に不適切であるとする検索式ルール等である。なお、この具体例は、「発明の名称」のみでは、検索の際に取りこぼしが発生するため、不適切であると考えられることから導き出せるルールである。

（６）特許調査の目的と検索フィールドとを含む検索式ルール
特許調査の目的と検索フィールドとを含む検索式ルールは、例えば、特許調査の目的と検索フィールドとの組合せが不適切であることを規定するルールであっても良い。その検索式ルールは、さらに具体的には、特許調査の目的が「無効化資料調査」である場合で、かつ検索フィールドに「要約」が指定されていた場合に不適切であるとする検索式ルール等である。なお、この具体例は、「無効化資料調査」において、可能な限り多くの資料を調査する必要があるため、「全文」に対して検索しないのは不適切であると考えられることから導き出せるルールである。

（７）特許分類と用語とを含む検索式ルール
特許分類と用語とを含む検索式ルールは、例えば、特許分類と用語との組合せが不適切であることを規定するルールであっても良い。その検索式ルールは、さらに具体的には、特許分類が「ＩＰＣ：Ｇ０６Ｆ１７／３０」であり、用語に「データベース」が含まれている場合で、かつ特許分類と用語がＡＮＤ演算子で関連づけられている場合に不適切であるとする検索式ルール等である。なお、この具体例は、「ＩＰＣ：Ｇ０６Ｆ１７／３０」が「情報検索，そのためのデータベース構造」を表す特許分類であるのに対し、「ＩＰＣ：Ｇ０６Ｆ１７／３０」の分野を象徴する用語である「データベース」で絞り込むことは、絞り込む分野が重複しているため、不適切であると考えられることから導き出せるルールである。

（８）特許書類の絞り込みの能力が低い１以上の用語を含む検索式ルール
特許書類の絞り込みの能力が低い１以上の用語を含む検索式ルールは、例えば、特許検索式に含まれる不適切であることを規定するルールであっても良い。さらに具体的には、その検索式ルールは、特許検索式に「装置」が含まれていた場合に不適切であるとする検索式ルール等である。なお、この具体例は、「装置」は、多くの特許書類に記載される用語であり、絞り込み能力が低いため、不適切であると考えられることから導き出せるルールである。また、かかる場合の検索式ルールは、例えば、用語の集合「装置，方法，・・・」、または分類と１以上の用語の組の集合（例えば、「Ｇ０６Ｆ｜情報，データ，・・・」）である。

（９）選別対象の特許件数と関連特許の件数とを用いた検索式ルール
選別対象の特許書類の件数と関連特許の件数とを用いた検索式ルールは、例えば、選別対象の特許書類の件数と関連特許書類の件数の割合が不釣り合いであることを規定するルールであっても良い。その検索式ルールは、例えば、選別対象の特許書類の件数に対する関連特許書類の件数の割合が閾値以下である場合であっても良い。なお、閾値は、例えば、予め決められた値であっても良く、選別対象の特許書類の件数に応じて変動する値であっても良い。この検索式ルールは、さらに具体的には、選別対象の特許書類の件数が１００件であるのに対し、関連特許の件数が１件のみといった場合に不適切であるとする検索式ルール等である。なお、この具体例は、関連特許の割合が閾値より少ないため、選別対象を取得した特許検索式が不適切であると考えられることから導き出せるルールである。

（１０）２以上の特許検索式を有する検索式ルール
２以上の特許検索式を有する検索式ルールは、例えば、不適切な特許検索式の作成過程を規定するルールであっても良い。その検索式ルールは、さらに具体的には、特許検索式に含まれている検索フィールドが「要約＋請求項」から「要約」に変わっているのみで、特許検索式のその他要素が変わっていない場合に不適切であるとする検索式ルール等である。なお、この具体例は、単純に選別対象を減らすために検索フィールドを「要約＋請求項」から「要約」に変更したと考えられるため、特許検索式が不適切であると考えられることから導き出せるルールである。また、この、検索式ルールは、特許調査結果情報が有する２以上の特許検索式の中に、用語を含まず特許分類を含む特許検索式と、用語と特許分類とを含む特許検索式の両方が存在するか否かを判断し、両方が存在しない場合に不適切であるとする検索式ルールなどでも良い。なお、この具体例は、複数の観点から特許検索式を作成していないと考えられるため、特許検索式が不十分であると考えられることから導き出せるルールである。

なお、検索式ルール格納部１０５で格納されている検索式ルールには、そのルールを適用する際に参照するルールであるルール付加情報が含まれていても良い。ルール付加情報は、例えば、特許分類の発行と廃止とに関する情報であっても良く、用語と特許分類との不適切な組合せに関する情報であっても良く、絞り込み能力の低い用語に関する情報であっても良い。特許分類の発行と廃止とに関する情報とは、特許分類とその特許分類の発行日と廃止日とを対応付けた情報である。用語と特許分類との不適切な組合せに関する情報は、例えば、特定の特許分類とその特許分類の分野において絞り込み能力の低い用語とを対応付けた情報であっても良く、特定の特許分類とその特許分類を象徴する用語とを対応付けた情報であっても良い。絞り込み能力の低い用語に関する情報は、全ての分野において、絞り込み能力が低いと判断された用語の情報である。検索式ルール格納部１０５にルール付加情報が格納されている場合は、検索式評価部１０７は、ルール付加情報を参照して検索式ルールを適用しても良い。

検索式ルールの定義方法は問わない。つまり、検索式ルールは、検索式ルールを表現する専用の言語（以下、ルール言語という）を用いて表現しても良く、汎用的な言語を用いて表現しても良い。また、検索式ルールは、公知の機械学習器（例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ベイズ推定やニューラルネットワーク等）を用いて学習させた結果であっても良く、自然言語で記載されていても良い。ルール言語とは、変数や関数等を用いて、特許検索式等を表現できる言語である。例えば、ルール言語は、用語を変数に格納できる機能と、変数または定数の値に応じて処理を分岐できる機能と、文字列を操作する関数と、用語が絞り込み能力が低いか否かを判断する関数等とを備える言語であっても良い。検索式ルール格納部１０５は、１種類のみの検索式ルールが格納されても良く、２種類以上の検索式ルールが格納されても良い。

また、検索式ルール格納部１０５には、判断結果メッセージを検索式ルールと関連付けた状態で格納し得るようにしても良い。判断結果メッセージとは、評価した理由をユーザに提示するメッセージである。例えば、判断結果メッセージは、「無効化資料調査は、公開系の公報のすべてを検索対象にするのが適切です。」等である。なお、判断結果メッセージには、変数等を用いて検索式評価部１０７で評価した結果の情報を含めても良い。

検索式ルール格納部１０５は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。検索式ルール格納部１０５に検索式ルールが格納される過程は問わない。例えば、記録媒体を介して検索式ルールが検索式ルール格納部１０５で格納されるようになっても良く、通信回線等を介して送信された検索式ルールが検索式ルール格納部１０５で格納されるようになっても良く、あるいは、入力デバイスを介して入力された検索式ルールが検索式ルール格納部１０５で格納されるようになっても良い。

選別ルール格納部１０６は、調査対象の特許の妥当性を判断するためのルールである１以上の選別ルールを格納し得る。選別ルール格納部１０６で格納する選別ルールは、非関連特許書類に誤って選別された関連特許書類に関するルールであっても良く、関連特許書類に誤って選別され非関連特許書類に関するルールであっても良い。また、選別ルール格納部１０６には、選別ルールと対応付けて減点情報を格納し得るようにしても良い。減点情報は、選別情報評価部１０８で選別情報を評価する際に用いる情報であり詳細は後述する。なお、選別ルールは、通常、選別結果が不適切であることを示すルールであるが、選別結果が適切であることを示すルールでも良い。以下、選別ルール格納部１０６に格納され得る検索式ルールについて、（１）非関連特許書類に選別された関連特許書類に関する選別ルール、（２）関連特許書類に選別された非関連特許書類に関する選別ルールのそれぞれについて詳細に説明する。

（１）非関連特許書類に選別された関連特許書類に関する選別ルール
本選別ルールは、例えば、調査対象の発明に関連する特許書類が、非関連特許書類として選別されていた際に不適切であることを規定するルールである。

（２）関連特許書類に選別された非関連特許書類に関する選別ルール
本選別ルールは、例えば、調査対象の発明に関連しない特許書類が、関連特許書類として選別されていた際に不適切であることを規定するルールである。

なお、選別ルールの定義方法は問わない。つまり、選別ルールは、ルール言語を用いて表現しても良く、汎用的な言語を用いて表現しても良い。また、選別ルールは、公知の機械学習器（例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ベイズ推定やニューラルネットワーク等）に選別情報と点数を学習させた結果であっても良く、自然言語で記載されていても良い。選別ルール格納部１０６は、１種類のみの選別ルールが格納されても良く、２種類以上の選別ルールが格納されても良い。

また、選別ルール格納部１０６には、判断結果メッセージを選別ルールと関連付けた状態で格納し得るようにしても良い。判断結果メッセージとは、判断した理由をユーザに提示するメッセージである。例えば、判断結果メッセージは、「５件の関連特許書類が非関連特許書類として判断されていました。」等である。なお、判断結果メッセージには、変数等を用いて判断手段２２で判断した結果の情報を含めても良い。

選別ルール格納部１０６は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。選別ルール格納部１０６に選別ルールが格納される過程は問わない。例えば、記録媒体を介して選別ルールが選別ルール格納部１０６で格納されるようになっても良く、通信回線等を介して送信された検索式ルールが選別ルール格納部１０６で格納されるようになっても良く、あるいは、入力デバイスを介して入力された選別ルールが選別ルール格納部１０６で格納されるようになっても良い。

検索式評価部１０７は、１または２以上の特許検索式を１または２以上の検索式ルールに適用し、１または２以上の特許検索式に合致する検索式ルールを決定する。そして、検索式評価部１０７は、決定した１または２以上の検索式ルールに対応する第一の評価結果を取得する。例えば、検索式評価部１０７は、特許調査結果情報に含まれる特許書類の種類と特許調査の目的とを、１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得しても良い。特許書類の種類は、特許検索式内の「特許書類の種類：」等の特許書類の種類に関する手がかりとなる情報を元に取得する。手がかりとは、タグであっても良く、「→」や「：」等の記号を含む文字列であっても良い。また、検索式評価部１０７は、特許調査結果情報に含まれる検索対象の期間を１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得しても良い。検索対象の期間は、例えば、特許検索式内の「特許書類の期間：」等の特許書類の期間に関する手がかりとなる情報を元に取得する。また、検索式評価部１０７は、特許調査結果情報に含まれる特許分類と検索対象の期間とを１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得しても良い。特許分類は、例えば、特許検索式内の「ＩＰＣ：」や「ＦＩ：」等の特許分類の手がかりとなる情報を元に取得する。また、検索式評価部１０７は、特許調査結果情報に含まれる検索対象の期間と特許調査の目的とを１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得しても良い。また、検索式評価部１０７は、特許調査結果情報に含まれる検索フィールドを１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得しても良い。検索フィールドは、例えば、検索式内の「要約：」や「要約＋請求項：」等の用語の検索対象となる情報を取得する。また、検索式評価部１０７は、特許調査結果情報に含まれる検索フィールドと特許調査の目的とを１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得しても良い。また、検索式評価部１０７は、特許検索式に含まれる特許分類と用語とを、１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得しても良い。また、検索式評価部１０７は、特許検索式に含まれる１以上の用語を１以上の検索式ルールに適用し、１以上の各用語が絞り込みの能力が低いか否かを判断し、判断結果を用いて第一の評価結果を取得しても良い。また、検索式評価部１０７は、選別情報に含まれる選別対象の特許件数と関連特許の件数とを、検索式ルールに適用し、第一の評価結果を取得しても良い。また、検索式評価部１０７は、特許調査結果情報が有する２以上の特許検索式を検索式ルールに適用し、選別対象の絞り込み方の妥当性を評価し、第一の評価結果を取得しても良い。また、検索式評価部１０７は、特許調査結果情報が有する２以上の特許検索式の中に、用語を含まず特許分類を含む特許検索式と、用語と特許分類とを含む特許検索式の両方が存在するか否かを判断し、両方存在しない場合、両方存在する場合と比較して、低い第一の評価結果を取得するようにしても良い。

検索式ルールに適用するとは、例えば、特許検索式と特許調査の目的とが、検索式ルールに合致するかどうかを評価することである。なお、検索式ルールに適用する場合に、検索式ルールに対応したルール付加情報が検索式ルール格納部１０５に格納されていれば、ルール付加情報を参照して適用しても良い。

第一の評価結果は、検索式ルールに合致した件数であっても良く、検索式ルールごとに減点する方法を定めて、それを利用して算出されても良い。検索式ルールごとに減点する方法を定める場合には、例えば、第一の評価結果は、検索式ルール格納部１０５に、検索式ルールと対応付けて格納されている減点情報を用いて算出されても良い。減点情報は、例えば、点数であっても良く、割合であっても良い。具体的には、検索式評価部１０７は、減点情報が−３点の検索式ルール１件のみに合致した場合は、１と評価してもよく、−３点と評価しても良く、予め１００点満点の持ち点があるとして、９７点と評価しても良い。また、検索式評価分１０７は、減点情報が９５％の検索式ルール１件のみに合致した場合は、予め１００点満点の持ち点があるとして、９５点と評価しても良い。また、検索式評価部１０７は、各検索式ルールとの合致状況によって減点する点数、または割合を増減させても良い。また、検索式評価部１０７は、検索式ルールに合致した件数に応じてさらに減点するルールを規定しても良い。例えば、検索式評価部１０７は、合致した検索式ルールの数が予め設定した閾値以上であれば、一定の点数、または一定の割合を第一の評価結果から減点しても良く、合致した検索式ルールの数に比例して大きくなる数値を第一の評価結果から減点しても良い。なお、第一の評価結果は、通常、数値であるが、検索式ルールに対応付けられた判断結果メッセージであっても良く、数値と判断結果メッセージの組合せであっても良い。判断結果メッセージを取得する場合で、かつ検索式ルール格納部１０５の判断結果メッセージに変数、または処理が含まれていた場合に、検索式評価部１０７が不適切であると判断した理由がわかるように取得しても良い。具体的には、検索式評価部１０７は、特許検索式含まれる検索対象の期間に未来の日付である「２１００．０１．０１〜２２００．０１．０１」が指定されていた場合に、未来の日付を不適切とする検索式ルールに判断結果メッセージ「未来の日付を含む期間である｛［Ｐｅｒｉｏｄ］｝が指定されています。」が対応付けられていれば、「未来の日付を含む期間である２１００．０１．０１〜２２００．０１．０１が指定されています。」等として取得しても良い。この具体例では、｛［Ｐｅｒｉｏｄ］｝の部分に検索対象の期間を代入するものとした。また、検索式評価部１０７は、通常、ＭＰＵやメモリ等から実現され得る。検索式評価部１０７の処理手順は、通常、ソフトウェアで実現され、そのソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

選別情報評価部１０８は、選別情報を１または２以上の選別ルールに適用し、選別情報に合致する選別ルールを決定する。そして、選別情報評価部１０８は、決定した１または２以上の選別ルールに対応する第二の評価結果を取得する。選別情報評価部１０８は、例えば、特徴ベクトル取得手段２１と判断手段２２と選別評価結果取得手段２３とを備える。以下、特徴ベクトル取得手段２１、判断手段２２、および選別評価結果取得手段２３について、詳しく説明する。

特徴ベクトル取得手段２１は、１または２以上の各関連特許書類から１または２以上の用語を取得し、当該１または２以上の用語を用いて各関連特許書類のベクトルである関連特許特徴ベクトルを、関連特許書類ごとに取得する。なお、特徴ベクトル取得手段２１は、通常、２以上の各関連特許書類から関連特許特徴ベクトルを取得する。

さらに、特徴ベクトル取得手段２１は、１または２以上の各非関連特許書類から１または２以上の用語を取得し、当該１以上の用語を用いて各非関連特許書類のベクトルである非関連特許特徴ベクトルを、非関連特許書類ごとに取得する。なお、特徴ベクトル取得手段２１は、通常、２以上の各非関連特許書類から非関連特許特徴ベクトルを取得する。

特徴ベクトル取得手段２１が関連特許書類から取得する用語は、例えば、あらかじめ決められた品詞（例えば、名詞等）であっても良く、予め決められた連続した品詞の用語群であっても良く、専門用語であっても良く、あるいは、その他の用語であっても良い。専門用語を取得する場合には、例えば、図示しない専門用語格納部に専門用語が格納されており、その専門用語が関連特許書類に含まれているかどうか判断することによって用語の取得が行われても良く、文書から専門用語を抽出するアルゴリズムを用いることによって用語の取得が行われても良い。後者の方法については、例えば、次の文献を参照されたい。大畑博一、中川裕志、「連接異なり語数による専門用語抽出」、情報処理学会研究報告、２０００−ＮＬ−１３６、ｐ．１１９−１２６。中川裕志、森辰則、湯本紘彰、「出現頻度と連接頻度に基づく専門用語抽出」、自然言語処理、Ｖｏｌ．１０ Ｎｏ．１、ｐ．２７−４５、２００３年１月。なお、その用語の取得の際に、特徴ベクトル取得手段２１は、ＴＦ値やＴＦ−ＩＤＦ値を重要度として利用し、重要度の低い用語を除いて取得しても良い。また、ＩＤＦ値を算出する際に対象となる文書は、関連特許書類格納部１０３と非関連特許書類格納部１０４に格納されている全文書であっても良い。重要度の低い用語とは、重要度の値が閾値以下である用語であっても良く、重要度順に並べて上位から所定の個数の用語であっても良い。なお、閾値は、例えば、予め決められた値であっても良く、重要度の最大値に１より小さい数（例えば、０．９や０．８等）を掛けた値であっても良い。また、その所定の個数は、例えば、予め決められた個数であっても良く、特徴ベクトル取得手段２１が取得した用語の総数に１より小さい値（例えば、０．０１や０．００１等）を掛けた個数であっても良い。また、特徴ベクトル取得手段２１は、特許書類の少なくとも一部を含む文字列から用語を取得する。特許書類の少なくとも一部を含む文字列とは、例えば、特許書類に記載された全文であっても良く、見出しによって識別される文字列であっても良く、複数の見出しの組み合わせによって識別される文字列であっても良い。見出しとは、例えば、発明の名称、特許請求の範囲、または要約等の特許書類内の領域を識別するものであれば何でも良い。なお、特徴ベクトル取得手段２１が、関連特許書類から用語を取得する方法について記載したが、非関連特許書類から用語を取得する場合は、上記の説明の関連特許書類を非関連特許書類、および関連特許書類格納部１０３を非関連特許書類格納部１０４に読み替えることで同様とする。

特徴ベクトル取得手段２１が取得する各関連特許特徴ベクトルは、特徴ベクトル取得手段２１が取得したすべての用語数分の次元を持つベクトルである。関連特許特徴ベクトルの要素は、例えば、用語の出現回数であっても良く、用語のＴＦ値であっても良く、用語のＴＦ−ＩＤＦ値であっても良く、用語が特許書類内に存在するかどうかを示す数字、具体的には「１（存在する）」「−１（存在しない）」等であっても良い。なお、特徴ベクトル取得手段２１が、関連特許特徴ベクトルを取得する方法について記載したが、非関連特許特徴ベクトルを取得する場合は、上記の説明の関連特許特徴ベクトルを非関連特許特徴ベクトルに読み替えることで同様とする。

また、特徴ベクトル取得手段２１は、特許書類全体（全文）から特徴ベクトルを取得しても良いし、特許書類の一部分から特徴ベクトルを取得しても良い。特許書類の一部分とは、例えば、要約書のみ、特許請求の範囲のみ、要約書と特許請求の範囲、明細書のみ、または明細書の実施の形態のみ等である。

なお、特徴ベクトル取得手段２１は、図示しない関連用語辞書を保持しており、かかる関連用語辞書に格納されている関連用語は同一の用語であると判断して、特徴ベクトルを取得しても良い。ここで、関連用語辞書は、例えば、２以上の同義語や類義語等を有する関連用語群を１以上保持している。なお、例えば、関連用語群は「データベース、データーベース、ＤＢ、リポジトリ、辞書」である。そして、特徴ベクトル取得手段２１は、一の関連用語群に含まれる２以上の用語は同一の用語として処理を行う。

判断手段２２は、１または２以上の関連特許特徴ベクトルと１または２以上の非関連特許特徴ベクトルとを用いて、関連特許のクラスに属するべき非関連特許特徴ベクトルに対応する非関連特許書類を決定する。また、判断手段２２は、判断対象の非関連特許特徴ベクトルと、１以上の関連特許特徴ベクトルとを用いて関連特許のクラスに属するべき非関連特許特徴ベクトルに対応する非関連特許書類を決定しても良い。また、判断手段２２は、判断対象の非関連特許特徴ベクトルと、１以上の非関連特許特徴ベクトルとを用いて非関連特許のクラスに属するべきでない非関連特許特徴ベクトルに対応する非関連特許書類を、関連特許のクラスに属するべき非関連特許特徴ベクトルの非関連特許書類として決定しても良い。また、判断手段２２は、１または２以上の関連特許特徴ベクトルと１または２以上の非関連特許特徴ベクトルとを用いて、非関連特許のクラスに属するべき関連特許特徴ベクトルに対応する関連特許書類を決定しても良い。判断手段２２は、１または２以上の関連特許特徴ベクトルと１または２以上の非関連特許特徴ベクトルとを用いて、非関連特許のクラスに属するべき関連特許特徴ベクトルに対応する関連特許書類を決定しても良い。また、判断手段２２は、判断対象の関連特許特徴ベクトルと、１以上の非関連特許特徴ベクトルとを用いて非関連特許のクラスに属するべき関連特許特徴ベクトルに対応する関連特許書類を決定しても良い。また、判断手段２２は、判断対象の関連特許特徴ベクトルと、１以上の関連特許特徴ベクトルとを用いて関連特許のクラスに属するべきでない関連特許特徴ベクトルに対応する関連特許書類を、非関連特許のクラスに属するべき関連特許特徴ベクトルの関連特許書類として決定しても良い。

クラスとは、１または２以上の特徴ベクトルが算出されたものの集合である。クラスには、異なる種類の特徴ベクトルを含まない。異なる種類の特徴ベクトルを含まないとは、例えば、関連特許のクラスには、関連特許特徴ベクトルではない特徴ベクトルを含まないということである。なお、判断手段２２は、関連特許のクラスの補集合を非関連特許の集合と判断しても良く、非関連特許のクラスの補集合を関連特許の集合と判断しても良く、関連特許のクラスと非関連特許のクラスとの和集合の補集合を、関連特許でも非関連特許でもない特許書類と考えても良い。また、関連特許、および非関連特許は、それぞれ２以上のクラスを含んでいても良い。また、クラスは、公知のクラスタリング手法を用いて分類された集合であっても良く、後述する機械学習を用いて、学習器が分類した結果である集合であっても良い。クラスタリング手法とは、例えば、分割最適化クラスタリング（ｋ−ｍｅａｎｓ法等）を用いて特徴ベクトルをクラスタリングしても良く、階層的クラスタリング（最短距離法等）を用いて特徴ベクトルをクラスタリングしても良く、その他の公知なクラスタリング手法を用いて特徴ベクトルをクラスタリングしても良い。なお、各クラスタリング手法の詳細は公知技術であるため、説明を省略する。

判断手段２２が、特徴ベクトルを用いて、上記の判断する方法は問わない。例えば、判断手段２２は、ベクトルの類似度を用いて判断しても良く、機械学習を用いて判断しても良い。以下、判断手段２２が特徴ベクトルを用いて（１）１以上の非関連特許書類から、関連特許書類を決定する方法について、（Ａ）特徴ベクトルの類似度を用いた判断、（Ｂ）機械学習を用いた判断に分けて説明する。また、（２）１以上の関連特許書類から、非関連特許書類を決定する方法についても、（１）と同様に２つに分けて説明する。

（１）１以上の非関連特許書類から、関連特許書類を決定する方法
（Ａ）特徴ベクトルの類似度を用いた判断
判断手段２２は、関連特許特徴ベクトル、および非関連特許特徴ベクトルを各々１以上のクラスに分類する。さらに、判断手段２２は、分類した各クラスの代表ベクトルを取得する。そして、各クラスの代表ベクトルと判断対象の非関連特許特徴ベクトルとの類似度を用いて判断対象の非関連特許特徴ベクトルがどのクラスに属するか判断する。クラスの代表ベクトルとは、クラス内の最も頻出する特徴ベクトルであっても良く、クラスの平均ベクトルであっても良く、クラスから無作為に選出した１のベクトルであっても良い。なお、平均ベクトルは、通常のベクトル平均であっても良く、すべてを単位ベクトルとして扱って算出する単位ベクトル平均であっても良い。また、クラスの代表ベクトルは、その取得の過程に判断対象の特徴ベクトルが含まれていても良く、含まれていなくても良い。特徴ベクトルの類似度を用いる方法を用いた場合は、例えば、判断手段２２は、判断対象の非関連特許特徴ベクトルと、関連特許特徴ベクトルの全てのクラスの代表ベクトルとの類似度を算出し、類似度が閾値以上であれば関連特許のクラスに含まれると判断しても良い。なお、この方法の場合は、非関連特許特徴ベクトルをクラスに分類しなくても良い。また、判断手段２２は、判断対象の非関連特許特徴ベクトルに対して、関連特許特徴ベクトルの全てのクラス、および非関連特許特徴ベクトルの全てのクラスの代表ベクトルとのベクトルの類似度を全て算出し、ベクトルの類似度が最も大きい値であったクラスに属すると判断しても良い。また、判断手段２２は、判断対象の非関連特許特徴ベクトルと、非関連特許特徴ベクトルの全てのクラスの代表ベクトルとの類似度を算出し、類似度が閾値以下であれば関連特許のクラスに含まれると判断しても良い。なお、この方法の場合は、関連特許特徴ベクトルをクラスに分類しなくても良い。ベクトルの類似度の算出方法は、例えば、ＣＯＳ尺度（コサイン尺度）を用いて算出する方法でも良く、ピアソンの相関係数を用いて算出する方法でも良く、偏差パターン類似度を用いて算出する方法でも良い。ＣＯＳ尺度、ピアソンの相関係数、および偏差パターン類似度の算出方法は、公知技術であるため説明を省略する。クラスに属するかどうかを判断する閾値は、予め決められた値であっても良く、算出され得る類似度が取り得る最大値より小さい数値（例えば、ＣＯＳ尺度の場合０．９や０．８等）等であっても良く、算出され得る類似度が取り得る最小値より大きい数（例えば、ＣＯＳ尺度の場合−０．９や−０．８等）であっても良い。

（Ｂ）機械学習を用いた判断
判断手段２２は、関連特許特徴ベクトル、および非関連特許特徴ベクトルを各々１以上のクラスに分類する。判断手段２２は、分類したクラスとクラスに含まれる特徴ベクトルとを対応付けて学習器に学習させる。そして、学習が完了した学習器に対して、判断対象の非関連特許特徴ベクトルがどのクラスに属するか判断させる。学習させる手法の種類は問わない。学習させる手法は、例えば、ニューラルネットワークであっても良く、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）であっても良く、ＳＶＲ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ）であっても良く、その他の公知な学習手法であっても良い。ニューラルネットワークとは、脳機能におけるいくつかの特性を計算機上のシミュレーションによって表現することを目指した学習モデルである。ニューラルネットワークには、様々な種類のモデルや方法が提案されているが、そのどれを採用しても良い。例えば、ニューラルネットワークの種類は、パーセプトロンを採用しても良く、バックプロパケーションを採用しても良く、ボルツマンマシン等を採用しても良い。ニューラルネットワークに関する各モデルの詳細は、公知技術であるため説明を省略する。ＳＶＭとは、教師データを用いて分類パターンを学習し、分類の境界線を設定し、分類を行う学習モデルである。ＳＶＭの詳細は、公知技術であるため説明を省略する。ＳＶＲとは、教師データを用いて分類パターンを学習し、３以上のクラスに分類する学習モデルである。ＳＶＲの詳細は、公知技術であるため説明を省略する。学習器に学習させる素性は、特徴ベクトル取得手段２１が取得した各用語に対応した値である。また、判断手段２２が学習に使用する素性には、特許分類が含まれていても良い。特許分類を素性に含める場合は、特許分類に対して、特許分類を一意に特定する数値を設定し、その値を用いて学習させる。なお、学習に使用する教師データには、判断対象となる特徴ベクトルが含まれていても良く、含まれていなくても良い。

（２）１以上の関連特許書類から、非関連特許書類を決定する方法
（Ａ）特徴ベクトルの類似度を用いた判断
判断手段２２は、関連特許特徴ベクトル、および非関連特許特徴ベクトルを各々１以上のクラスに分類する。さらに、判断手段２２は、分類した各クラスの代表ベクトルを取得する。そして、各クラスの代表ベクトルと判断対象の関連特許特徴ベクトルとの類似度を用いて判断対象の非関連特許特徴ベクトルがどのクラスに属するか判断する。クラスの代表ベクトル、ベクトルの類似度、および閾値については、（１）（Ａ）と同様とする。特徴ベクトルの類似度を用いる方法を用いた場合は、例えば、判断手段２２は、判断対象の関連特許特徴ベクトルと、関連特許特徴ベクトルの全てのクラスの代表ベクトルとの類似度を算出し、類似度が閾値以下であれば非関連特許のクラスに含まれると判断しても良い。なお、この場合は、非関連特許特徴ベクトルをクラスに分類しなくても良い。また、例えば、判断手段２２は、判断対象の関連特許特徴ベクトルに対して、関連特許特徴ベクトルの全てのクラス、および非関連特許特徴ベクトルの全てのクラスの代表ベクトルとのベクトルの類似度を全て算出し、ベクトルの類似度が最も大きい値であったクラスに属すると判断しても良い。また、例えば、判断手段２２は、判断対象の関連特許特徴ベクトルと、非関連特許特徴ベクトルの全てのクラスの代表ベクトルとの類似度を算出し、類似度が閾値以上であれば非関連特許のクラスに含まれると判断しても良い。なお、この方法の場合は、関連特許特徴ベクトルをクラスに分類しなくても良い。

（Ｂ）機械学習を用いた判断
判断手段２２は、関連特許特徴ベクトル、および非関連特許特徴ベクトルを各々１以上のクラスに分類する。判断手段２２は、分類したクラスとクラスに含まれる特徴ベクトルとを対応付けて学習器に学習させる。そして、学習が完了した学習器に対して、判断対象の関連特許特徴ベクトルがどのクラスに属するか判断させる。学習させる手法の種類、および学習器に学習させる素性については、（１）（Ｂ）と同様とする。

選別評価結果取得手段２３は、判断手段２２が決定した１以上の関連特許書類を選別ルールに適用し、第二の評価結果を取得する。また、選別評価結果取得手段２３は、判断手段２２が決定した１以上の非関連特許書類を選別ルールに適用し、第二の評価結果を取得しても良い。選別ルールに適用するとは、判断手段２２が判断した関連特許に含まれるべき非関連特許書類と、非関連特許書類に含まれるべき関連特許書類が、選別ルールを満たすかどうかを判断することである。第二の評価結果は、選別ルールに合致した件数であっても良く、選別ルールごとに減点する方法を定めて、それを利用して算出した点数であっても良い。選別ルールごとに減点する方法を定める場合には、例えば、第二の評価結果は、選別ルール格納部１０６に、選別ルールと対応付けて格納されている減点情報を用いて算出しても良い。減点情報の概念は、検索式ルール格納部１０５に格納されている減点情報と同一の概念であるため、検索式ルールにおける減点情報の説明ついて、検索式ルールを選別ルールと読み替えるものとする。また、減点情報は、選別ルール格納部１０６以外に定義しても良い。例えば、選別評価結果取得手段２３は、選別ルールに合致した件数に応じてさらに減点するルールを規定しても良い。なお、第二の評価結果は、通常、数値であるが、選別ルールに対応付けられた判断結果メッセージであっても良く、数値と判断結果メッセージとの組合せであっても良い。判断結果メッセージを取得する場合で、かつ選別ルール格納部１０６の判断結果メッセージに変数、または処理が含まれていた場合には、判断手段２２が不適切であると判断した理由がわかるように取得しても良い。具体的には、選別評価結果取得手段２３は、５件の関連特許書類が、誤って非関連特許書類に選別されていた場合には、非関連特許書類の中の関連特許書類に関する選別ルールの判断結果メッセージ「｛［ＲｅｌａｔｅｄＴｏＮｏｎＲｅｌａｔｅｄＣｏｕｎｔ］｝件の関連特許書類が非関連特許書類として判断されていました。」が対応付けられていれば、「５件の関連特許書類が非関連特許書類として判断されていました。」等として取得しても良い。この具体例では、｛［ＲｅｌａｔｅｄＴｏＮｏｎＲｅｌａｔｅｄＣｏｕｎｔ］｝の部分に非関連特許書類の中の関連特許書類の件数を代入するものとした。選別情報評価部１０８は、通常、ＭＰＵやメモリ等から実現され得る。選別情報評価部１０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

評価構成部１０９は、第一の評価結果、および第二の評価結果を用いて、特許調査結果情報の評価を構成する。各評価結果を用いる方法は問わない。例えば、評価結果が点数の場合には、評価構成部１０９は、第一の評価結果の点数と第二の評価結果の点数との合計値を算出しても良く、平均値を算出しても良く、第一の評価結果の減点数と第二の評価結果の減点数との合計を予め持っている数値（例えば１００点など）に加算して算出しても良い。つまり、評価構成部１０９は、第一の評価結果の点数と第二の評価結果の点数とが負の数であるならば、それらをパラメータとする減少関数により、評価を算出しても良く、第一の評価結果の点数と第二の評価結果の点数とが正の数であるならば、それらをパラメータとする増加関数により、評価を算出しても良い。また、特許調査結果情報の評価は、１つの点数であるが、第一の評価結果と第二の評価結果とを、単に含む情報であっても良く、第一の評価結果の点数と第二の評価結果の点数の合計と第一の評価結果と第二の評価結果とを含む情報であっても良く、上記情報に検索式評価部１０７、および選別評価結果取得手段２３で合致した各ルールの判断結果メッセージを追加した情報出会っても良く、検索式評価部１０７、および選別評価結果取得手段２３で合致した各ルールの判断結果メッセージのみであっても良い。評価構成部１０９は、通常、ＭＰＵやメモリ等から実現され得る。評価構成部１０９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

評価出力部１１０は、特許調査結果情報の評価を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への格納、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。また、評価出力部１１０は、通常、ネットワーク１００を通じてユーザ端末２へ判断結果を送信する。評価出力部１１０は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。これにより、入力された特許調査結果情報の評価を提示することができ、必要であれば、再調査を行って特許調査の精度を上げることができる。

図３は、本実施の形態における特許調査結果評価装置１の動作の一例を示すフローチャートである。以下、図３を用いて動作について説明する。

（ステップＳ２０１）受付部１０１は、ユーザ端末２から１以上の特許調査結果情報を受け付けたかどうかを判断する。そして、特許調査結果情報を受け付けた場合は、ステップＳ２０２へ進み、受け付けなかった場合は、ステップＳ２０１を繰り返し実行する。

（ステップＳ２０２）受付部１０１は、受け付けた特許調査結果情報を特許調査結果情報格納部１０２に格納する。

（ステップＳ２０３）受付部１０１は、受け付けた特許調査結果情報に含まれる関連特許書類を特定する情報を用いて、図示しない特許書類格納部から関連特許書類を取得し、関連特許書類格納部１０３に関連特許書類を格納する。

（ステップＳ２０４）受付部１０１は、受け付けた特許調査結果情報に含まれる非関連特許書類を特定する情報を用いて、図示しない特許書類格納部から非関連特許書類を取得し、非関連特許書類格納部１０４に非関連特許書類を格納する。

（ステップＳ２０５）検索式評価部１０７は、ステップＳ２０２で格納された特許調査結果情報に対して、検索式ルール格納部１０５に格納されているすべての検索式ルールを適用し、特許検索式を評価する。検索式評価部１０７の評価の詳細は、図４のフローチャートを用いて後述する。

（ステップＳ２０６）特徴ベクトル取得手段２１は、関連特許書類格納部１０３に格納されている関連特許書類から関連特許特徴ベクトルを取得する。特徴ベクトル取得手段２１の取得方法の詳細は、図５のフローチャートを用いて後述する。

（ステップＳ２０７）特徴ベクトル取得手段２１は、非関連特許書類格納部１０４に格納されている非関連特許書類から非関連特許特徴ベクトルを取得する。特徴ベクトル取得手段２１の取得方法の詳細は、図５のフローチャートを用いて後述する。

（ステップＳ２０８）判断手段２２は、すべての関連特許特徴ベクトルから代表ベクトルを算出する。なお、ベクトルの次元が異なる場合は、最も次元の多い関連特許特徴ベクトルに次元を統一する。統一の際に増えた次元の要素には、０を代入する。なお、代表ベクトルは、平均ベクトルとしても良い。

（ステップＳ２０９）判断手段２２は、すべての非関連特許特徴ベクトルから代表ベクトルを算出する。なお、ベクトルの次元が異なる場合は、最も次元の多い非関連特許特徴ベクトルに次元を統一する。統一の際に増えた次元の要素には、０を代入する。なお、代表ベクトルは、平均ベクトルとしても良い。

（ステップＳ２１０）判断手段２２は、非関連特許書類に選別されている特許書類が関連特許であるかを判断する。判断手段２２の判断の詳細は図６のフローチャートを用いて後述する。

（ステップＳ２１１）判断手段２２は、関連特許書類に選別されている特許書類が非関連特許であるかを判断する。判断手段２２の判断の詳細は図６のフローチャートを用いて後述する。

（ステップＳ２１２）選別評価結果取得手段２３は、ステップＳ２１０とＳ２１１で判断された関連特許書類、及び非関連特許書類が、選別ルールに合致するかを判断するかどうかを判断する。選別評価結果取得手段２３の判断の詳細は図７のフローチャートを用いて後述する。

（ステップＳ２１３）選別評価結果取得手段２３は、ステップＳ５１１で図示しない後述する選別判断結果格納部に格納されている選別ルールＩＤから減点情報を取得し、取得した減点情報を用いて第二の評価結果を算出する。

（ステップＳ２１４）評価構成部１０９は、ステップＳ２０５で取得した第一の評価結果と、ステップＳ２１３で取得した第二の判断結果とを用いて特許調査結果情報の評価を構成する。

（ステップＳ２１５）評価出力部１１０は、ステップＳ２１４で構成した評価結果を出力し、終了する。

なお、図３のフローチャートのステップＳ２０７において、判断手段２２は、すべての関連特許特徴ベクトルから代表ベクトルを取得した。しかし、判断手段２２は、すべての関連特許特徴ベクトルの距離の差が一定以内（ＣＯＳ尺度が閾値以上）の２以上のクラスを構成し、クラスごとに、関連特許特徴ベクトルの代表ベクトルを算出しても良い。

また、ステップＳ２０８において、判断手段２２は、すべての非関連特許特徴ベクトルから平均ベクトルを算出した。しかし、判断手段２２は、すべての非関連特許特徴ベクトルの距離の差が一定以内（類似度が閾値以上等）の２以上のグループを構成し、グループごとに、非関連特許特徴ベクトルの平均ベクトルを算出しても良い。

図４は、図３の検索式ルールの判断（ステップＳ２０５）の動作の一例を示すフローチャートである。以下、図４を用いて、検索式ルールの判断処理について説明する。

（ステップＳ３０１）検索式評価部１０７は、カウンタｍに１を代入する

（ステップＳ３０２）検索式評価部１０７は、検索式ルール格納部１０５にｍ番目の検索式ルールが存在するかどうかを判断する。ｍ番目の検索式ルールが存在する場合は、ステップＳ３０３に進み、存在しなかった場合は、ステップＳ３０７へ進む。

（ステップＳ３０３）検索式評価部１０７は、ステップＳ２０２で受付部１０１が格納した特許調査結果情報に含まれる特許検索式と特許調査の目的とがｍ番目の検索式ルールに合致するかどうかを判断する。

（ステップＳ３０４）検索式評価部１０７は、ステップＳ３０３でｍ番目の検索式ルールに合致していた場合は、ステップＳ３０５に進み、合致しなかった場合は、ステップＳ３０６へ進む。

（ステップＳ３０５）検索式評価部１０７は、合致した検索式ルールＩＤを図示しない検索式判断結果格納部に追記する。

（ステップＳ３０６）検索式評価部１０７は、カウンタｍを１だけインクリメントし、ステップＳ３０２に戻る。

（ステップＳ３０７）検索式評価部１０７は、図示しない検索式判断結果格納部に格納されている検索式ルールＩＤを用いて検索式ルール格納部１０５から減点情報を取得し、第一の評価結果を算出する。そして、上位の処理に戻る。

図５は、図３の特徴ベクトルの算出（ステップＳ２０６、Ｓ２０７）の動作の一例を示すフローチャートである。以下、図５を用いて、特徴ベクトルの算出処理について説明する。なお、図５におけるＸには、ステップＳ２０６から呼び出された場合は、関連特許書類が代入され、ステップＳ２０７から呼び出された場合は、非関連特許書類が代入される。以下は、Ｘに関連特許書類が代入されたステップ２０６から呼び出されたものとして説明する。なお、ステップ２０７の場合については、関連特許書類格納部１０３を非関連特許書類格納部１０４と読み替えるものとする。

（ステップＳ４０１）特徴ベクトル取得手段２１は、カウンタｐに１を代入する。

（ステップＳ４０２）特徴ベクトル取得手段２１は、ｐ番目の関連特許書類が関連特許書類格納部１０３に格納されているかどうか判断する。ｐ番目の関連特許書類が関連特許書類格納部１０３に格納されている場合は、ステップＳ４０３に進み、格納されていない場合は、上位の処理に戻る。

（ステップＳ４０３）特徴ベクトル取得手段２１は、ｐ番目の関連特許書類から用語をすべて取得する。

（ステップＳ４０４）特徴ベクトル取得手段２１は、ステップＳ４０３で取得した用語を図示しない用語格納部に重複しないように追記する。なお、図示しない用語格納部には、特許調査結果評価装置１の処理が終了するまで用語を追記され続ける。

（ステップＳ４０５）特徴ベクトル取得手段２１は、ステップＳ４０３で取得した用語のＴＦ−ＩＤＦ値を算出する。なお、特徴ベクトル取得手段２１は、図示しない関連用語辞書を保持しており、かかる関連用語辞書に格納されている関連用語は同一の用語であると判断して、用語のＴＦ−ＩＤＦ値を算出しても良い。

（ステップＳ４０６）特徴ベクトル取得手段２１は、図示しない用語格納部に格納されている用語が格納されている順に用語のＴＦ−ＩＤＦ値を要素に持ったベクトルを作成する。なお、ｐ番目の関連特許書類に記載されていない用語の要素は０とする。

（ステップＳ４０７）特徴ベクトル取得手段２１は、ステップＳ４０６で作成した特徴ベクトルを特許書類の種類と対応付けて図示しない特徴ベクトル格納部に格納する。特許書類の種類とは、関連特許であるか、非関連特許であるかを示す情報である。

（ステップＳ４０８）特徴ベクトル取得手段２１は、カウンタｐを１だけインクリメントし、ステップＳ４０２に戻る。

図６は、図３の評価（ステップＳ２１０、Ｓ２１１）の動作の一例を示すフローチャートである。以下、図６を用いて、選別情報を判断する処理について説明する。なお、Ｙには、ステップＳ２１０から呼び出された場合は、非関連特許書類が代入され、ステップＳ２１１から呼び出された場合は、関連特許書類が代入されているものとする。以下は、Ｙに非関連特許書類が代入されたステップＳ２１０から呼び出されたものとして説明する。ステップＳ２１１については、非関連特許書類格納部１０４を関連特許書類格納部１０３、および関連特許の可能性を非関連特許の可能性と読み替えるものとする。

（ステップＳ５０１）判断手段２２は、カウンタｐに１を代入する。

（ステップＳ５０２）判断手段２２は、ｎ番目の非関連特許書類が非関連特許書類格納部１０４に格納されているかどうか判断する。ｎ番目の非関連特許書類が非関連特許書類格納部１０４に格納されている場合は、ステップＳ５０３に進み、格納されていない場合は、上位の処理に戻る。

（ステップＳ５０３）判断手段２２は、関連特許のクラスの代表ベクトルとｎ番目の非関連特許書類の特徴ベクトルとの類似度を算出する。なお、ベクトルの次元が異なる場合は、次元の多いベクトルに次元を統一する。統一の際に増えた次元の要素には、０を代入する。

（ステップＳ５０４）判断手段２２は、非関連特許のクラスの平均ベクトルとｍ番目の非関連特許書類の特徴ベクトルとの類似度を算出する。なお、ベクトルの次元が異なる場合は、次元の多いベクトルに次元を統一する。統一の際に増えた次元の要素には、０を代入する。

（ステップＳ５０５）判断手段２２は、類似度が大きい平均ベクトルが、非関連特許書類のクラスの代表ベクトルであるかどうか判断する。非関連特許書類のクラスの代表ベクトルであった場合は、ステップＳ５１３へ進み、非関連特許書類のクラスの代表ベクトルでなかった場合は、ステップＳ５０６へ進む。

（ステップＳ５０６）判断手段２２は、図示しない選別判断結果格納部にｎ番目の非関連特許書類は、関連特許の可能性があることと特許書類ＩＤとを対応付けて格納する。

（ステップＳ５０７）判断手段２２は、カウンタｎを１だけインクリメントし、ステップＳ５０２に戻る。

なお、判断手段２２が、すべての関連特許特徴ベクトルの距離の差が一定以内の２以上のクラスを構成し、クラスごとに、関連特許特徴ベクトルの代表ベクトルを算出している場合に、図６のフローチャートにおいて、非関連特許の特許特徴ベクトルと、いずれかのクラスの関連特許特徴ベクトルの平均ベクトルとの類似度が閾値より大きければ、判断手段２２は、かかる非関連特許を関連特許と判断しても良い。また、かかる場合に、図６のフローチャートにおいて、非関連特許の特許特徴ベクトルと、最も類似度が大きい代表ベクトルが、いずれかのクラスの関連特許特徴ベクトルの代表ベクトルである場合に、判断手段２２は、かかる非関連特許を関連特許と判断しても良い。

また、判断手段２２が、すべての関連特許特徴ベクトルの距離の差が一定以内の２以上のクラスを構成し、クラスごとに、関連特許特徴ベクトルの代表ベクトルを算出している場合に、図６のフローチャートにおいて、関連特許の特許特徴ベクトルと、すべてのクラスの関連特許特徴ベクトルの代表ベクトルとの類似度が閾値より小さければ、判断手段２２は、かかる関連特許を非関連特許と判断しても良い。さらに、図６のフローチャートにおいて、非関連特許の特許特徴ベクトルを用いなくても良い。

図７は、図３の評価（ステップＳ２１２）の動作の一例を示すフローチャートである。以下、図７を用いて、選別ルールに合致するかどうかを判断する処理について説明する。

（ステップＳ６０１）選別評価結果取得手段２３は、カウンタｑに１を代入する。

（ステップＳ６０２）選別評価結果取得手段２３は、ｑ番目の選別ルールが選別ルール格納部１０６に格納されているかどうか判断する。ｑ番目の選別ルールが選別ルール格納部１０６に格納されている場合は、ステップＳ６０３に進み、格納されていない場合は、上位の処理に戻る。

（ステップＳ６０３）選別評価結果取得手段２３は、ｎ番目の非関連特許書類がｑ番目の選別ルールに合致するかどうかを判断する。

（ステップＳ６０４）選別評価結果取得手段２３は、ステップＳ５１１でｑ番目の選別ルールに合致していた場合は、ステップＳ６０５に進み、合致していなかった場合は、ステップＳ６０６に進む

（ステップＳ６０５）選別評価結果取得手段２３は、合致した選別ルールＩＤを選別判断結果格納部に追記する。

（ステップＳ６０６）選別評価結果取得手段２３は、カウンタｑを１だけインクリメントし、ステップＳ５０８に戻る。

以下、本実施の形態における特許調査結果評価装置１の具体的な動作について説明する。なお、この具体例において示した各図面の情報は、説明のために便宜上用意されたものであって、実際のデータを示すものではない。

本具体例において、特許調査結果情報は、図８のような特許調査報告書であるとする。図８の特許調査報告書には、調査目的、検索対象の特許書類の種類、検索対象の期間、２つの特許検索式、関連特許書類を特定する情報や非関連特許書類を特定する情報等が記載されている。なお、本具体例の特許調査報告書は、関連特許書類、および非関連特許書類を特定する情報として、公開番号が記載されているものとする。

本具体例において、検索式ルールは、図９で示されるものであるとする。図９のテーブルは、検索式ルールＩＤ、検索式ルール、減点情報、および判断結果メッセージを有するレコードを多数有している。本具体例の検索式ルールと判断結果メッセージとは、ルール言語を用いて表現されている。本具体例におけるルール言語は、特許検索式の内容を、変数を用いて表現できるものとした。また、本具体例におけるルール言語は、角括弧（「［」と「］」）で１以上の値を格納する変数を表現している。例えば、［Ｃｏｄｅ］と記載した場合は、特許検索式に含まれる特許分類がすべて格納された変数を表しているものとする。例えば、本具体例では、［Ｃｏｄｅ］以外にも以下の変数を用いて検索式ルールを表現しているものとする。［Ｐｕｒｐｏｓｅ］は、特許調査の目的が格納された変数を表しているものとする。［ＳｅａｒｃｈＴａｒｇｅｔ］は、検索対象の特許書類が格納された変数を表しているものとする。［ＳＤａｔｅ］は、検索対象の期間の始点が格納された変数を表しているものとする。［ＥＤａｔｅ］は、検索対象の期間の終点が格納された変数を表しているものとする。［Ｔｅｒｍ］は、特許検索式に含まれる用語が全て格納された変数を表しているものとする。［ＴｅｘｔＳｅａｒｃｈＦｉｅｌｄ］は、用語の検索フィールドが格納された変数を表しているものとする。［ＳｅａｒｃｈＣｏｕｎｔ］は、特許検索式で検索すると特定できる特許書類の件数が格納された変数を表しているものとする。［ＲｅｌａｔｅｄＣｏｕｎｔ］は、人手で選別した関連特許書類の件数が格納された変数を表しているものとする。［Ｑｕｅｒｙ］は、特許調査結果情報に記載されているすべての特許検索式が格納された変数を表しているものとする。なお、本具体例における上記変数名は、変数を示す角括弧を外すことで、列挙子として扱うこともできるものとする。

また、本具体例におけるルール言語は、一般的な四則演算と比較演算と論理演算とが可能であり、各々一般的に使用されている「＊」や「＝＝」や「ＡＮＤ」等の記号で表現しているものとする。例えば、「［Ｐｕｒｐｏｓｅ］ ＝＝ 無効材料調査」とすれば、特許調査の目的が無効化資料調査であるかどうかが判断できる。また、本具体例におけるルール言語は、変数への代入が可能であり、「←」で代入を表現しているものとする。例えば、「［ＳｅａｒｃｈＴａｒｇｅｔ］ ← 全て」と記載した場合は、検索対象の特許書類を全ての特許書類を対象とすることにできる。

また、本具体例におけるルール言語は、「［任意の変数］．Ｉｎｃｌｕｄｅ（要素）」と記載することで、［任意の変数］内に「要素」が含まれているかどうか（ＴＲＵＥかＦＡＬＳＥか）を判断する処理を表しているものとする。例えば、「［ＴｅｘｔＳｅａｒｃｈＦｉｅｌｄ］．Ｉｎｃｌｕｄｅ（全文）」と記載した場合は、検索フィールドに全文を指定した用語が含まれているかどうかを取得できる。また、例えば、「［Ｑｕｅｒｙ］．Ｉｎｃｌｕｄｅ（ＣｏｄｅＯｎｌｙＱｕｅｒｙ）」と記載した場合は、特許検索式に特許分類のみで構成された特許検索式が含まれているかどうかを取得できる。同様に、例えば、「［Ｑｕｅｒｙ］．Ｉｎｃｌｕｄｅ（ＴｅｒｍＡｎｄＣｏｄｅＱｕｅｒｙ）」と記載した場合は、特許検索式に特許分類と用語の両方で構成された特許検索式が含まれているかどうかを取得できる。また、本具体例におけるルール言語は、「ｉｓＣｏｄｅＥｘｉｓｔ（［Ｃｏｄｅ］， ［ＳＤａｔｅ］， ［ＥＤａｔｅ］）」と記載することで、特許分類が存在する期間が検索対象の期間と重複するかどうかを判断する処理を表しているものとする。なお、本具体例では、その処理を行うために、後述する図１０の特許分類期間情報から特定の特許分類に対する発行日と廃止とを取得して判断するものとした。また、本具体例におけるルール言語は、「ＢａｄＣｏｍｂｉｎａｔｉｏｎ＿ＡＮＤ（［Ｔｅｒｍ］， ［Ｃｏｄｅ］）」と記載することで、ＡＮＤ演算子で関連づけられた用語と特許分類が不適切な組み合わせかどうかを判断する処理を表しているものとする。なお、本具体例では、その処理を行うために、後述する図１１の用語特許分類の誤った組合せ情報から用語と特許分類との誤った組み合わせを取得して判断するものとした。また、本具体例におけるルール言語は、「ＰｏｐｕｌａｒＴｅｒｍ（［Ｔｅｒｍ］）」と記載することで、検索式に含まれる用語が絞り込み能力の低い用語かどうかを判断する処理を表しているものとする。なお、本具体例では、その処理を行うために、後述する図１２の絞り込み能力の低い用語情報から絞り込み能力の低い用語を取得して判断するものとした。また、本具体例におけるルール言語は、「処理．Ｍａｔｃｈ」と記載することで、処理した結果合致した情報を取得する処理を表しているものとする。例えば、「ＢａｄＣｏｍｂｉｎａｔｉｏｎ（［Ｔｅｒｍ］， ［Ｃｏｄｅ］）．Ｍａｔｃｈ」と記載した場合は、不適切と判断された用語と特許分類の組み合わせとを取得する。なお、「処理．ＵｎＭａｔｃｈ」については、処理した結果合致しなかった情報を取得する処理を表している。また、本具体例におけるルール言語は、「Ｔｏｄａｙ．ＡｄｄＹｅａｒ（−２０）」と記載することで、本日の２０年前を取得する処理を表しているものとする。また、本具体例におけるルール言語は、波カッコ「｛」「｝」で値を囲むことで、文字列として出力する処理を表しているものとする。例えば、「｛ＰｏｐｕｌａｒＴｅｒｍ（［Ｔｅｒｍ］）．Ｍａｔｃｈ｝は、絞り込み能力の低い用語です。」と記載した場合は、「ＰｏｐｕｌａｒＴｅｒｍ（［Ｔｅｒｍ］）．Ｍａｔｃｈ」で「情報」を取得すると、「「情報」は、絞り込み能力の低い用語です。」と出力される。

以上により、「検索式ルールＩＤ：１」は、特許調査の目的が「無効化資料調査」である場合で、かつ検索対象の特許書類の種類に「特許公開公報」と「公開実用新案」と「公表特許」と「公表実用新案」と「再公表特許」と「再公表実用新案」とが含まれていない場合に不適切であるとする検索式ルールである。また、「検索式ルールＩＤ：２」は、検索対象の期間が、特許検索式に含まれる特許分類の発行日以前、または廃止日以降のみを指定した場合に不適切であるとする検索式ルールである。また、「検索式ルールＩＤ：２」は、不適切と判断された特許分類を含む判断結果メッセージを有する。また、「検索式ルールＩＤ：３」は、特許調査の目的が「侵害予防調査」である場合で、かつ検索対象の期間が特許権の存続期間が満了した特許書類を含めるように指定されていた場合に不適切であるとする検索式ルールである。また、「検索式ルールＩＤ：４」は、特許調査の目的が「侵害予防調査」である場合で、かつ検索フィールドに「全文」が指定されていなかった場合に不適切であるとする検索式ルールである。また、「検索式ルールＩＤ：５」は、特許分類と用語との組み合わせが、図１１の用語特許分類の誤った組合せ情報に含まれている場合に不適切であると判断する検索式ルールである。また、「検索式ルールＩＤ：５」は、不適切と判断された特許分類と用語を含む判断結果メッセージを有する。また、「検索式ルールＩＤ：６」は、特許検索式に含まれる用語が、図１２の絞り込み能力の低い用語情報に含まれている場合に不適切であると判断する検索式ルールである。また、「検索式ルールＩＤ：６」は、絞り込み能力が低いと判断された用語を含む判断結果メッセージを有する。また、「検索式ルールＩＤ：７」は、調査対象の検索結果のうち、関連特許書類の割合が１％未満である場合に不適切であると判断する検索式ルールである。また、「検索式ルールＩＤ：８」は、特許分類のみで構成される特許検索式と、特許分類と用語からなる特許検索式が含まれていない場合に不適切であると判断する検索式ルールである。

本具体例において、特許分類期間情報は、図１０で示されるものであるとする。図１０のテーブルは、特許分類と、その特許分類の発行日と廃止日とを有するレコードを多数有している。例えば、「ＩＰＣ：Ａ６３Ｃ９／００」は、「２００６．０１」に発行され、「２０１２．０１」に廃止されている。また、「ＩＰＣ：Ｇ０６Ｆ１７／３０」は、「２００６．０１」に発行され、現在も継続している。本具体例では、特許分類期間情報は、「検索式ルールＩＤ：２」を判断する際に参照される。

本具体例において、用語特許分類の誤った組合せ情報は、図１１で示されるものであるとする。図１１のテーブルは、特許分類と、その特許分類と不適切な組み合わせとなる用語とを有するレコードを多数有している。例えば、「ＩＰＣ：Ｇ０６Ｆ１７／３０」と「データベース」との組合せは、不適切である。本具体例では、用語特許分類の誤った組合せ情報は、「検索式ルールＩＤ：５」を判断する際に参照される。

本具体例において、絞り込み能力の低い用語情報は、図１２で示されるものであるとする。図１２のテーブルは、全分野において頻出する絞り込み能力の低い用語を有するレコードを多数有している。絞り込み能力の低い用語情報は、例えば、「情報」等である。本具体例では、絞り込み能力の低い用語情報は、「検索式ルールＩＤ：６」を判断する際に参照される。

本具体例において、選別ルールは、図１３で示されるものであるとする。図１３のテーブルは、選別ルールＩＤ、選別ルール、減点情報、および判断結果メッセージを有するレコードを多数有している。本具体例の選別ルールと減点情報と判断結果メッセージとは、ルール言語を用いて表現されている。本具体例におけるルール言語は、例えば、［ＮｏｎＲｅｌａｔｅｄＴｏＲｅｌａｔｅｄＣｏｕｎｔ］は、非関連特許と人手で選別された特許書類のうち、判断手段２２が関連特許書類であると判断した特許書類の件数が格納された変数を表しているものとする。また、例えば、［ＲｅｌａｔｅｄＴｏＮｏｎＲｅｌａｔｅｄＣｏｕｎｔ］は、関連特許と人手で選別された特許書類のうち、判断手段２２が非関連特許書類であると判断した特許書類の件数が格納された変数を表しているものとする。以上により、例えば、「選別ルールＩＤ：１」は、人手で非関連特許書類であると選別された特許書類のうち、関連特許書類の可能性があると判断された特許書類が１以上含まれていた場合に不適切であるとする選別ルールである。また、「選別ルールＩＤ：１」は、不適切と判断された特許書類の件数を含む判断結果メッセージを有する。また「選別ルールＩＤ：１」は、不適切と判断された特許書類の件数に−２を掛けた点数を減点する減点情報を有する。また、「選別ルールＩＤ：２」は、人手で関連特許書類である選別された特許書類のうち、非関連特許書類の可能性があると判断された特許書類が１以上含まれていた場合に不適切であるとする選別ルールである。また、「選別ルールＩＤ：２」は、不適切と判断された特許書類の件数を含む判断結果メッセージを有する。また「選別ルールＩＤ：２」は、不適切と判断された特許書類の件数に−１を掛けた点数を減点する減点情報を有する。

ユーザ端末２のユーザが、ポインティングデバイスやキーボード等を操作し、図１４で示されるように特許調査報告書を入力した後、「実行」ボタンを押したとする。すると、特許検索式「特許書類：特許（公開系） 検索対象の期間：１９８３．１．１〜２０１２．３．３１ 要約＋請求項：データベース ＡＮＤ 要約＋請求項：装置 ＡＮＤ ＩＰＣ：Ｇ０６Ｆ１７／３０」と、特許調査の目的「侵害予防調査」と、関連特許書類を特定する公開番号と、非関連特許書類を特定する公開番号とが、ユーザ端末２から特許調査結果評価装置１に送信される。その送信された特許調査報告書は、特許調査結果評価装置１の受付部１０１で受信され、特許調査結果情報として特許調査結果情報格納部１０２に格納される（ステップＳ２０１、Ｓ２０２）。

受付部１０１は、特許調査結果情報格納部１０２に特許調査結果情報を格納し終えると、特許調査結果情報から関連特許書類、および非関連特許書類の公開番号を取得する。受付部１０１は、取得した公開番号を用いて、図示しない特許書類格納部から特許書類を取得する。受付部１０１は、取得した特許書類のうち、関連特許の公開番号を用いて取得した特許書類を、関連特許書類格納部１０３に格納する。さらに受付部１０１は、非関連特許の公開番号を用いて取得した特許書類を非関連特許書類格納部１０４に格納する（ステップＳ２０３、Ｓ２０４）。なお、本具体例において、各特許書類格納部に格納されている特許書類は、図１５で示されるものであるとする。図１５（ａ）は、関連特許書類格納部１０３に格納されている関連特許書類を示し、図１５（ｂ）は、非関連特許書類格納部１０４に格納されている非関連特許書類を示す。図１５の各テーブルは、特許書類ＩＤと、発明の名称と、要約の文章と、特許請求の範囲の文章と、背景技術の文章等とを有するレコードを多数有している。なお、特許書類ＩＤは、ここでは、公開番号である。また、特許書類は、ここではテーブルのレコードで示しているが、そのデータ構造は問わないことは言うまでもない。

検索式評価部１０７は、特許調査結果情報格納部１０２に新たな特許調査結果情報が格納されたことを検知すると、その特許調査結果情報に含まれる特許検索式等に対して検索式ルール格納部１０５に格納されている検索式ルールが合致するかを判断する（ステップＳ２０５）。以下、かかる処理の詳細を説明する。

検索式評価部１０７は、特許検索式等が格納されると、図示しない検索式判断結果格納部にＮＵＬＬを格納し、検索式ルール格納部１０５から検索式ルールを順番に取得する（ステップＳ３０１、Ｓ３０２）。そして、検索式評価部１０７は、受け付けた特許検索式等が、検索式ルールと合致するかを１件ずつ判断する（ステップＳ３０３、Ｓ３０４）。

検索式評価部１０７は、１つめのルールである、「検索式ルールＩＤ：１」について判断する。本実施例で指定された特許調査の目的は「侵害予防調査」であるため、上記検索式ルールには合致していない（ステップＳ３０３、Ｓ３０４）。検索式評価部１０７は、次のルールを適用する（ステップＳ３０６）。検索式評価部１０７は、２つめのルールである、「検索式ルールＩＤ：２」について判断する。本実施例で指定された特許分類は「ＩＰＣ：Ｇ０６Ｆ１７／３０」であり、特許分類期間情報を参照しても期間内であるため、上記検索式ルールには合致していない。検索式評価部１０７は、さらに、次のルールを適用する。検索式評価部１０７は、３つめのルールである、「検索式ルールＩＤ：３」について判断する。本実施例で指定された特許調査の目的は「侵害予防調査」であり、検索対象の期間も現在から２０年以上前の特許書類も含めて検索しようとしているため、上記検索式ルールに合致する。そして、検索式評価部１０７は、図示しない検索式判断結果格納部に「検索式ルールＩＤ：３」と「判断結果メッセージ：侵害予防調査に出願日が２０年以上前の特許公報を検索対象にする必要はありません。」とを追記する（ステップＳ３０５）。え検索式評価部１０７は、さらに、次のルールを適用する。検索式評価部１０７は、４つめのルールである、「検索式ルールＩＤ：４」について判断する。本実施例で指定された特許調査の目的は「侵害予防調査」であり、検索フィールドは「全文」を含まないため、上記検索式ルールに合致する。そして、検索式評価部１０７は、図示しない検索式判断結果格納部に「検索式ルールＩＤ：４」と「判断結果メッセージ：侵害予防調査は、全文に対して行うのが適切です。」とを追記する。検索式評価部１０７は、さらに、次のルールを適用する。検索式評価部１０７は、５つめのルールである、「検索式ルールＩＤ：５」について判断する。本実施例で指定された「ＩＰＣ：Ｇ０６Ｆ１７／３０」と「データベース」とは、上記検索式ルールに合致する。そして、検索式評価部１０７は、図示しない検索式判断結果格納部に「検索式ルールＩＤ：５」と判断結果を含むよう処理した「判断結果メッセージ：「「Ｇ０６Ｆ１７／３０，データベース」は、不適切な組み合わせです。」とを追記する。検索式評価部１０７は、６つめのルールである、「検索式ルールＩＤ：６」について判断する。本実施例で指定された「装置」は、上記検索式ルールに合致する。そして、検索式評価部１０７は、図示しない検索式判断結果格納部に「検索式ルールＩＤ：６」と判断結果を含むよう処理した「判断結果メッセージ：「「装置」は、絞り込み能力の低い用語です。」とを追記する。検索式評価部１０７は、７つめのルールである、「検索式ルールＩＤ：７」について判断する。本実施例では、１００件の特許書類から１０件の関連特許書類を選別したとする。本実施例では、上記検索式ルールに合致しない。検索式評価部１０７は、８つめのルールである、「検索式ルールＩＤ：８」について判断する。本実施例で指定された特許検索式の作成過程では、特許分類のみの特許検索式を作成していないため、上記検索式ルールに合致する。そして、検索式評価部１０７は、図示しない検索式判断結果格納部に「検索式ルールＩＤ：８」と「特許分類のみの特許検索式で分野を調査し、特許分類と用語を含めた特許検索式で選別対象を絞り込む作成方法が適切です。」とを追記する。以下同様に検索式ルール格納部１０５に格納されているすべての検索式ルールを判断する。

検索式評価部１０７は、検索式ルール格納部１０５に格納されているすべての検索式ルールを用いた判断を終えると、図示しない検索式判断結果格納部に格納されている検索式ルールＩＤを用いて減点情報を取得し、減点情報の合計である−２７点を算出する。検索式評価部１０７は、第一の評価結果である−２７点と図示しない検索式判断結果格納部に格納されている判断結果メッセージを第一の評価結果として取得する（ステップＳ３０７）。検索式評価部１０７は、第一の評価結果を取得すると、評価構成部１０９に第一の評価結果を渡す。

特徴ベクトル取得手段２１は、関連特許書類格納部１０３に格納されている関連特許書類と、非関連特許書類格納部１０４に格納されている非関連特許書類とから特徴ベクトルを作成する（ステップＳ２０６、Ｓ２０７）。以下、かかる処理の詳細を説明する。

特徴ベクトル取得手段２１は、関連特許書類格納部１０３から１件目の関連特許書類である「特許書類ＩＤ：特開２０１１−ＡＡＡＡＡＡ」を取得する（ステップＳ４０１、Ｓ４０２）。特徴ベクトル取得手段２１は、取得した「特許書類ＩＤ：特開２０１１−ＡＡＡＡＡＡ」から、名詞の連続である「データ管理装置」、「表示部」、「検索キーワード」、「データ管理システム」、「電子機器」、「位置情報」、「現在位置」や「コンピュータ」等を用語として取得する（ステップＳ４０３）。特徴ベクトル取得手段２１は、取得した用語を図示しない用語格納部に追記する（ステップＳ４０４）。特徴ベクトル取得手段２１は、取得した用語ごとにＴＦ−ＩＤＦ値を「データ管理装置：０．０２６４」や「表示部：０．１６２８」等のように算出する（ステップＳ４０５）。そして、特徴ベクトル取得手段２１は、ＴＦ−ＩＤＦ値を要素に持ったベクトルを作成し、図示しない特徴ベクトル格納部に格納する（ステップＳ４０６、Ｓ４０７）。そして、特徴ベクトル取得手段２１は、次の特許書類に処理を移す（ステップＳ４０８）。以下、特徴ベクトル取得手段２１は、同様に関連特許書類格納部１０３、非関連特許書類格納部１０４のすべての特許書類に対して特徴ベクトルを作成する。特徴ベクトル取得手段２１が取得した各特許書類の特徴ベクトルは、図１６で示されるものであるとする。図１６のテーブルは、特許書類ＩＤと、特許書類の種類と、図示しない用語格納部に格納された用語に対応するベクトルの要素とを有するレコードを多数有している。

判断手段２２は、代表ベクトルとして、関連特許の特徴ベクトルの平均ベクトルと非関連特許の特徴ベクトルの平均ベクトルを算出する（ステップＳ２０８、Ｓ２０９）。

判断手段２２は、関連特許特徴ベクトルと非関連特許特徴ベクトルとの平均ベクトルが算出されると、関連特許書類格納部１０３に格納されている関連特許書類から非関連特許が含まれているかどうか、および非関連特許書類格納部１０４に格納されている非関連特許書類から関連特許が含まれているかどうかを判断する。（ステップＳ２１０、Ｓ２１１）。以下、かかる処理の詳細を説明する。

判断手段２２は、図示しない選別判断結果格納部にＮＵＬＬを格納する。そして、判断手段２２は、１件目の非関連特許書類である「特許書類ＩＤ：特開２０１２−ＤＤＤＤＤＤ」の非関連特許特徴ベクトルを図示しない特徴ベクトル格納部から取得する（ステップＳ５０１、Ｓ５０２）。判断手段２２は、取得した非関連特許特徴ベクトルと関連特許特徴ベクトルの平均ベクトルとのＣＯＳ尺度、および非関連特許特徴ベクトルの平均ベクトルとのＣＯＳ尺度を算出する（ステップＳ５０３、Ｓ５０４）。「特許書類ＩＤ：特開２０１２−ＤＤＤＤＤＤ」の非関連特許特徴ベクトルは、関連特許特徴ベクトルの平均ベクトルとのＣＯＳ尺度の方が大きかったとする（ステップＳ５０５）。判断手段２２は、「特許書類ＩＤ：特開２０１２−ＤＤＤＤＤＤ」を図示しない判断結果格納部に関連特許の可能性があることを示す情報と対応付けて格納する（ステップＳ５０６）。なお、判断手段２２は、非関連特許特徴ベクトルの平均ベクトルとのＣＯＳ尺度の方が大きかった場合は、何も格納しない。そして、判断手段２２は、次の非関連特許特徴ベクトルに処理を移す（ステップＳ５０７）。以降、判断手段２２は、図示しない特徴ベクトル格納部に格納されている残りの非関連特許書類、および関連特許書類のすべてに対しても同様に判断する。

さらに、選別評価結果取得手段２３は、図示しない選別判断結果格納部に格納された情報に対して、選別ルール格納部１０６に格納されている選別ルールが合致するかどうかを判断する（ステップＳ２１２）。選別評価結果取得手段２３は、１つめの選別ルールである「選別ルールＩＤ：１」について判断する（ステップＳ６０１、Ｓ６０２）。選別評価結果取得手段２３は、「特許書類ＩＤ：特開２０１２−ＤＤＤＤＤＤ」等４件の非関連特許書類が関連特許のクラスに含まれると判断されていたとするため、「選別ルールＩＤ：１」に合致する（ステップＳ６０３、Ｓ６０４）。そして、選別評価結果取得手段２３は、図示しない選別判断結果格納部に「選別ルールＩＤ：１」を追記する（ステップＳ６０５）選別評価結果取得手段２３は、次のルールを適用する（ステップＳ６０６）。選別評価結果取得手段２３は、以下同様に選別ルール格納部１０６に格納されているすべての選別ルールを判断する。以降、選別評価結果取得手段２３は、図示しない特徴ベクトル格納部に格納されている残りの非関連特許書類、および関連特許書類のすべてに対しても同様に判断する。

次に、選別評価結果取得手段２３は、図示しない特徴ベクトル格納部に格納されているすべての特徴ベクトルに対する判断を終えると、図示しない選別判断結果格納部に格納されている選別ルールＩＤを用いて減点数を算出する。本具体例では、人手で非関連特許と選別された特許書類のうち４件が関連特許の可能性があると判断され、人手で関連特許と選別された特許書類のうち６件が非関連特許の可能性があると判断されたとする。選別評価結果取得手段２３は、図示しない選別判断結果格納部に格納されている選別ルールＩＤに対応する減点情報を取得して、減点情報の合計である−１４点を算出する。次に、選別評価結果取得手段２３は、図示しない選別判断結果格納部に格納されている選別ルールＩＤから判断結果メッセージ「４件の非関連特許書類が関連特許の可能性があると判断されていました。」と「６件の関連特許書類が非関連特許の可能性があると判断されていました。」とを取得する。さらに、選別評価結果取得手段２３は、図示しない選別判断結果格納部に格納されている特許書類ＩＤを取得する。そして、選別評価結果取得手段２３は、−１４点と、判断結果メッセージと、特許書類ＩＤとを第二の判断結果として取得する（ステップＳ２１３）。選別評価結果取得手段２３は、第二の評価結果を取得すると、評価構成部１０９に第二の評価結果を渡す。

評価構成部１０９は、第一、および第二の評価結果が渡されると、第一、および第二の評価結果の得点を１００点に加算して、５９点を算出する。評価構成部１０９は、５９点と、第一の評価結果と第二の評価結果とを合わせて特許調査結果情報の評価を構成する（ステップＳ２１４）。評価構成部１０９は、特許調査結果情報の評価を評価出力部１１０に渡す。

評価出力部１１０は、特許調査結果情報の評価を渡されると、特許調査結果情報の評価をネットワーク１００を介して、ユーザ端末２に特許調査結果情報の評価を送信する（ステップＳ２１５）。ユーザ端末２は、評価出力部１１０が送信した判断結果を受信すると、図１７で示される表示を行う。ユーザは、図１７の表示を見ることにより、特許調査結報告書の評価を確認し、必要であれば再調査を行う。

以上、本実施の形態の特許調査結果評価装置１によれば、特許調査結果情報に含まれる不適切な特許検索式が評価できるため、特許調査が妥当であるかどうかを知ることができる。例えば、特許検索式に含まれる特許調査の目的と特許書類の種類との組み合わせを評価できる。また、特許検索式に含まれる検索対象の期間を評価できる。また、特許検索式に含まれる特許分類と検索対象の期間との組み合わせを評価できる。また、特許検索式に含まれる特許調査の目的と検索対象の期間との組み合わせを評価できる。また、特許検索式に含まれる検索フィールドを評価できる。また、特許検索式に含まれる特許調査の目的と検索フィールドとの組み合わせを評価できる。また、特許検索式に含まれる特許分類と用語との組み合わせを評価できる。また、特許検索式に含まれる特許書類の絞り込みの能力が低い用語を含んでいるかどうかを評価できる。また、関連特許の割合から特許検索式の妥当性を評価できる。また、特許検索式の作成過程が適切であるかを評価できる。また、特許調査結果情報に含まれる選別情報を評価できるため、特許調査が妥当であるかどうかを知ることができる。例えば、特許調査を行った際に誤って関連特許を非関連特許書類として分類していないかどうかを評価できる。また、特許調査を行った際に誤って非関連特許を関連特許書類として分類していないかどうかを評価できる。以上により、特許調査者の能力を評価することができる。また、処理を機械的に行うため効率的に評価を行うことができる。

なお、本実施の形態において、特許調査結果評価装置１が受付部１０１を備える場合について説明したが、特許調査結果評価装置１は、受付部１０１を備えていなくてもよい。受付部１０１を備えていない場合には、特許調査結果情報格納部１０２と関連特許書類格納部１０３と非関連特許書類格納部１０４とに予め情報が格納されている特許調査結果評価装置１であっても良い。

また、本実施の形態において、特許調査結果評価装置１の受付部１０１が受け付けた特許調査結果情報に含まれている関連特許書類、および非関連特許書類が特許書類そのものであった場合は、特許調査結果情報格納部１０２と関連特許書類格納部１０３と非関連特許書類格納部とは、格納領域を共有していても良い。

また、本実施の形態において、特許調査結果評価装置１の判断手段２２は、関連特許書類格納部１０３に格納された特許書類に対して、非関連特許である可能性を判断する場合について説明したが、判断手段２２は、関連特許書類格納部１０３に格納された特許書類に対して、非関連特許である可能性を判断しなくても良い。関連特許書類格納部１０３に格納された特許書類に対して、非関連特許である可能性を判断しない場合は、非関連特許書類格納部１０４に格納された特許書類に対して、関連特許である可能性ののみを判断しても良い。

また、本実施の形態において、特許調査結果評価装置１の判断手段２２は、非関連特許書類格納部１０４に格納された特許書類に対して、関連特許である可能性を判断する場合について説明したが、判断手段２２は、非関連特許書類格納部１０４に格納された特許書類に対して、関連特許である可能性を判断しなくても良い。非関連特許書類格納部１０４に格納された特許書類に対して、関連特許である可能性を判断しない場合は、関連特許書類格納部１０３に格納された特許書類に対して、非関連特許である可能性ののみを判断しても良い。

また、本実施の形態において、特許調査結果評価装置１の判断手段２２が、非関連特許のクラスに判断対象の特徴ベクトルが属する場合に非関連特許であると判断したが、判断手段２２は、非関連特許のクラスを用いず、関連特許のクラスのみを用いて、非関連特許書類格納部１０４に格納された特許書類から関連特許の可能性のある特許書類であるかを判断しても良く、関連特許書類格納部１０３に格納された特許書類から非関連特許の可能性のある特許書類であるかを判断しても良い。非関連特許のクラスを用いない場合は、関連特許のクラスに属さない特徴ベクトルを非関連特許としても良い。なお、非関連特許のクラスを用いない場合には、機械学習を用いる方法は、使用できないため、判断手段２２は、関連特許特徴ベクトルの１または２以上のクラスの代表ベクトルとの類似度を用いて関連特許のクラスに属するか否かを判断する。クラスに属するか否かの判断は、例えば、代表ベクトルと判断対象の特徴ベクトルとの類似度が予め定めた閾値以上であるかどうかで判断しても良く、各クラスタリング手法を用いて、関連特許のクラスにクラスタリングされるか否かで判断しても良い。

また、本実施の形態における特許調査結果評価装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、プログラムは、１以上の特許検索式と特許の選別の結果に関する選別情報とを有する特許調査結果情報を格納し得る特許調査結果情報格納部と、１以上の特許検索式が不適切であることを判断するためのルールである１以上の検索式ルールを格納し得る検索式ルール格納部と、調査対象の特許の選別作業の妥当性を判断するためのルールである１以上の選別ルールを格納し得る選別ルール格納部とにアクセス可能なコンピュータを、１以上の特許検索式を１以上の検索式ルールに適用し、１以上の特許検索式に合致する検索式ルールを決定し、合致する１以上の検索式ルールに対応する第一の評価結果を取得する検索式評価部、選別情報を１以上の選別ルールに適用し、選別情報に合致する選別ルールを決定し、合致する１以上の選別ルールに対応する第二の評価結果を取得する選別情報評価部、第一の評価結果および第二の評価結果を用いて、特許調査結果情報の評価を構成する評価構成部、特許調査結果情報の評価を出力する評価出力部として機能させるためのプログラムである。

なお、本実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されても良く、または、複数の装置によって分散処理されることによって実現されても良い。また、本実施の形態において、一の装置に存在する２以上の通信手段（受付部１０１等）は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、本実施の形態では、サーバ・クライアントシステムである場合について説明したが、本発明は、サーバ・クライアントシステムにおけるサーバ装置であっても良く、スタンドアロンの装置であっても良い。スタンドアロンの装置であった場合における、受付部１０１は、キーボードやマウス、タッチパネル等の入力デバイスから入力された情報の受け付けても良い。評価出力部１１０は、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字等のための出力を行っても良い。

また、本実施の形態において、各構成要素は、専用のハードウェアにより構成されても良く、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されても良い。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部等におけるモデムやインターフェースカード等のハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。

図１８は、上記プログラムを実行して、上記実施の形態による本発明を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって実現され得る。

図１８において、コンピュータシステム１１００は、ＣＤ−ＲＯＭドライブ１１０５、ＦＤドライブ１１０６を含むコンピュータ１１０１と、キーボード１１０２と、マウス１１０３と、モニタ１１０４とを備える。

図１９は、コンピュータシステム１１００の内部構成を示す図である。図１９において、コンピュータ１１０１は、ＣＤ−ＲＯＭドライブ１１０５、ＦＤドライブ１１０６に加えて、ＭＰＵ１１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ１１１２と、ＭＰＵ１１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ１１１３と、アプリケーションプログラム、システムプログラム、およびデータを記憶するハードディスク１１１４と、ＭＰＵ１１１１と、ＲＯＭ１１１２等を相互に接続するバス１１１５とを備える。なお、コンピュータ１１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいても良い。

コンピュータシステム１１００に、上記実施の形態による本発明等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１１２１、またはＦＤ１１２２に記憶されて、ＣＤ−ＲＯＭドライブ１１０５、またはＦＤドライブ１１０６に挿入され、ハードディスク１１１４に転送されても良い。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１１０１に送信され、ハードディスク１１１４に記憶されても良い。プログラムは実行の際にＲＡＭ１１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１１２１やＦＤ１１２２、またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ１１０１に、上記実施の形態による本発明の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいても良い。コンピュータシステム１１００がどのように動作するのかについては周知であり、詳細な説明は省略する。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる特許調査結果評価装置等は、特許調査の結果を評価できるという効果を有し、例えば、特許調査の結果を評価する装置等として有用である。

１ 特許調査結果評価装置
２１ 特徴ベクトル取得手段
２２ 判断手段
２３ 選別評価結果取得手段
１０１ 受付部
１０２ 特許調査結果情報格納部
１０３ 関連特許書類格納部
１０４ 非関連特許書類格納部
１０５ 検索式ルール格納部
１０６ 選別ルール格納部
１０７ 検索式評価部
１０８ 選別情報評価部
１０９ 評価構成部
１１０ 評価出力部

Claims (16)

1. １以上の特許検索式と特許の選別の結果に関する選別情報とを有する特許調査結果情報を格納し得る特許調査結果情報格納部と、
   １以上の特許検索式が不適切であることを判断するためのルールである１以上の検索式ルールを格納し得る検索式ルール格納部と、
   調査対象の特許の選別作業の妥当性を判断するためのルールである１以上の選別ルールを格納し得る選別ルール格納部と、
   前記１以上の特許検索式を前記１以上の検索式ルールに適用し、前記１以上の特許検索式に合致する検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する検索式評価部と、
   前記選別情報を前記１以上の選別ルールに適用し、前記選別情報に合致する選別ルールを決定し、当該合致する１以上の選別ルールに対応する第二の評価結果を取得する選別情報評価部と、
   前記第一の評価結果および第二の評価結果を用いて、特許調査結果情報の評価を構成する評価構成部と、
   前記特許調査結果情報の評価を出力する評価出力部とを具備する特許調査結果評価装置。
2. 前記特許調査結果情報は、
   特許調査の目的と特許調査の対象の特許書類の種類とを含み、
   前記検索式ルールは、
   特許調査の目的と特許書類の種類とを含むルールであり、
   前記検索式評価部は、
   前記特許調査結果情報に含まれる特許書類の種類と特許調査の目的とを、前記１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
3. 前記特許調査結果情報は、
   検索対象の期間を含み、
   前記検索式ルールは、
   検索対象の期間を含むルールであり、
   前記検索式評価部は、
   前記特許調査結果情報に含まれる検索対象の期間を前記１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
4. 前記特許調査結果情報は、
   特許分類と検索対象の期間とを含み、
   前記検索式ルールは、
   特許分類と検索対象の期間とを含むルールであり、
   前記検索式評価部は、
   前記特許調査結果情報に含まれる特許分類と検索対象の期間とを前記１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
5. 前記特許調査結果情報は、
   特許調査の目的と検索対象の期間とを含み、
   前記検索式ルールは、
   特許調査の目的と検索対象の期間とを含むルールであり、
   前記検索式評価部は、
   前記特許調査結果情報に含まれる検索対象の期間と特許調査の目的とを前記１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
6. 前記特許調査結果情報は、
   検索フィールドを含み、
   前記検索式ルールは、
   検索フィールドを含むルールであり、
   前記検索式評価部は、
   前記特許調査結果情報に含まれる検索フィールドを前記１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
7. 前記特許調査結果情報は、
   特許調査の目的と検索フィールドとを含み、
   前記検索式ルールは、
   特許調査の目的と検索フィールドとを含むルールであり、
   前記検索式評価部は、
   前記特許調査結果情報に含まれる検索フィールドと特許調査の目的とを前記１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
8. 特許調査結果情報に含まれる特許検索式は、
   特許分類と用語とを含み、
   前記検索式ルールは、
   特許分類と用語とを含むルールであり、
   前記検索式評価部は、
   前記特許検索式に含まれる特許分類と用語とを、前記１以上の検索式ルールに適用し、合致する１以上の検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
9. 特許調査結果情報に含まれる特許検索式は、
   １以上の用語を含み、
   前記検索式ルールは、
   特許書類の絞り込みの能力が低い１以上の用語を含むルールであり、
   前記検索式評価部は、
   前記特許検索式に含まれる１以上の用語を前記１以上の検索式ルールに適用し、前記１以上の各用語が絞り込みの能力が低いか否かを判断し、当該判断結果を用いて第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
10. 前記選別情報は、
    選別対象の特許件数と関連特許の件数とを含み、
    前記検索式ルールは、
    選別対象の特許件数と関連特許の件数とを用いたルールであり、
    前記検索式評価部は、
    前記選別情報に含まれる選別対象の特許件数と関連特許の件数とを、前記検索式ルールに適用し、第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
11. 前記特許調査結果情報は、
    ２以上の特許検索式を有し、
    前記検索式ルールは、
    ２以上の特許検索式を有するルールであり、
    前記検索式評価部は、
    前記特許調査結果情報が有する２以上の特許検索式を前記検索式ルールに適用し、選別対象の絞り込み方の妥当性を評価し、第一の評価結果を取得する、請求項１記載の特許調査結果評価装置。
12. 前記検索式評価部は、
    前記特許調査結果情報が有する２以上の特許検索式の中に、用語を含まず特許分類を含む特許検索式と、用語と特許分類とを含む特許検索式の両方が存在するか否かを判断し、両方存在しない場合、両方存在する場合と比較して、低い第一の評価結果を取得する、請求項１１記載の特許調査結果評価装置。
13. 特許調査における選別作業の結果、関連すると判断された関連特許の書類である１以上の関連特許書類を格納し得る関連特許書類格納部と、
    特許調査における選別作業の結果、関連しないと判断された非関連特許の書類である１以上の非関連特許書類を格納し得る非関連特許書類格納部とをさらに具備し、
    前記選別ルールは、
    非関連特許書類の中の関連特許書類に関するルールであり、
    前記選別情報評価部は、
    前記１以上の各関連特許書類から１以上の用語を取得し、当該１以上の用語を用いて各関連特許書類のベクトルである関連特許特徴ベクトルを、関連特許書類ごとに取得し、かつ、前記１以上の各非関連特許書類から１以上の用語を取得し、当該１以上の用語を用いて各非関連特許書類のベクトルである非関連特許特徴ベクトルを、非関連特許書類ごとに取得する特徴ベクトル取得手段と、
    前記１以上の関連特許特徴ベクトルと前記１以上の非関連特許特徴ベクトルとを用いて、関連特許のクラスに属するべき非関連特許特徴ベクトルに対応する非関連特許書類を決定する判断手段と、
    前記判断手段が決定した１以上の非関連特許書類を前記選別ルールに適用し、第二の評価結果を取得する選別評価結果取得手段とを具備する、請求項１記載の特許調査結果評価装置。
14. 特許調査における選別作業の結果、関連すると判断された関連特許の書類である１以上の関連特許書類を格納し得る関連特許書類格納部と、
    特許調査における選別作業の結果、関連しないと判断された非関連特許の書類である１以上の非関連特許書類を格納し得る非関連特許書類格納部とをさらに具備し、
    前記選別ルールは、
    関連特許書類の中の非関連特許書類に関するルールであり、
    前記選別情報評価部は、
    前記１以上の各関連特許書類から１以上の用語を取得し、当該１以上の用語を用いて各関連特許書類のベクトルである関連特許特徴ベクトルを、関連特許書類ごとに取得し、かつ、前記１以上の各非関連特許書類から１以上の用語を取得し、当該１以上の用語を用いて各非関連特許書類のベクトルである非関連特許特徴ベクトルを、非関連特許書類ごとに取得する特徴ベクトル取得手段と、
    前記１以上の関連特許特徴ベクトルと前記１以上の非関連特許特徴ベクトルとを用いて、非関連特許のクラスに属するべき関連特許特徴ベクトルに対応する関連特許書類を決定する判断手段と、
    前記判断手段が決定した１以上の関連特許書類を前記選別ルールに適用し、第二の評価結果を取得する選別評価結果取得手段とを具備する、請求項１記載の特許調査結果評価装置。
15. １以上の特許検索式と特許の選別の結果に関する選別情報とを有する特許調査結果情報を格納し得る特許調査結果情報格納部と、１以上の特許検索式が不適切であることを判断するためのルールである１以上の検索式ルールを格納し得る検索式ルール格納部と、調査対象の特許の選別作業の妥当性を判断するためのルールである１以上の選別ルールを格納し得る選別ルール格納部と、検索式評価部と、選別情報評価部と、評価構成部と、評価出力部とを用いて処理される特許調査結果評価方法であって、
    前記検索式評価部が、前記１以上の特許検索式を前記１以上の検索式ルールに適用し、前記１以上の特許検索式に合致する検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する検索式評価ステップと、
    前記選別情報評価部が、前記選別情報を前記１以上の選別ルールに適用し、前記に合致する選別ルールを決定し、当該合致する１以上の選別ルールに対応する第二の評価結果を取得する選別情報評価ステップと、
    前記評価構成部が、前記第一の評価結果および第二の評価結果を用いて、特許調査結果情報の評価を構成する評価構成ステップと、
    前記評価出力部が、前記特許調査結果情報の評価を出力する評価出力ステップとを具備する特許調査結果評価方法。
16. １以上の特許検索式と特許の選別の結果に関する選別情報とを有する特許調査結果情報を格納し得る特許調査結果情報格納部と、
    １以上の特許検索式が不適切であることを判断するためのルールである１以上の検索式ルールを格納し得る検索式ルール格納部と、
    調査対象の特許の選別作業の妥当性を判断するためのルールである１以上の選別ルールを格納し得る選別ルール格納部とにアクセス可能なコンピュータを、
    前記１以上の特許検索式を前記１以上の検索式ルールに適用し、前記１以上の特許検索式に合致する検索式ルールを決定し、当該合致する１以上の検索式ルールに対応する第一の評価結果を取得する検索式評価部、
    前記選別情報を前記１以上の選別ルールに適用し、前記に合致する選別ルールを決定し、当該合致する１以上の選別ルールに対応する第二の評価結果を取得する選別情報評価部、
    前記第一の評価結果および第二の評価結果を用いて、特許調査結果情報の評価を構成する評価構成部、
    前記特許調査結果情報の評価を出力する評価出力部として機能させるためのプログラム。

Images