JP4997892B2 - 検索システム、検索方法及び検索プログラム - Google Patents

Description

本発明は、画像と、当該画像についての認識を表す認識情報とを検索する検索システム、検索方法、及び、検索プログラムに関する。

読影医は、診断画像から所見、診断結果等からなる読影レポートを作成する際、その作成において参考になるものを取得すべく、書籍等を元に診断画像と類似する過去の診断画像や過去の読影レポートを検索する。しかし、これらの検索作業は読影医にとって労力の必要な作業である。このため、読影レポートの作成のために、検索作業を軽減する手法が提案されている。

例えば、特許文献１に記載された技術は、画像に付与された文を元に当該画像に類似する画像を検索する場合に、入力したキーワードに基づいて、類似画像を検索する。また、特許文献２に記載された技術は、予めデータベースに登録されたキーワードから任意のものを選択して、利用価値の高い過去の所見を検索し、検索により得られた複数の所見を一括して、作成中の所見に取り込む。また、特許文献３に記載された技術は、読影医の要望に応じた方法で、キーワードにより参照すべき過去画像の検索を行って、適切な画像を表示する。
特開２００４−１５７６２３号公報 特開２００３−１２２８５０号公報 特開２００５−８５２００号公報

しかしながら、上述した特許文献１乃至３に記載された技術は、いずれも検索のためのキーワードの入力やデータベースへの登録が必要となり、必ずしも検索作業が軽減されるとは言えない。また、適切なキーワードが入力あるいはデータベースへ登録されないと、利用者が所望する検索結果を得られないという問題がある。

本発明の目的は、上述した課題に対してなされたものであり、キーワード入力等の作業を必要とすることなく、簡易に検索結果を得ることが可能な検索システム、検索方法及び検索プログラムを提供するものである。

本発明は、画像と、該画像についての認識を表す認識情報とを検索する検索システムであって、過去の画像及び該過去の画像についての認識を表す過去の認識情報を対応付けて保持する第１の保持手段と、新たな画像を入力し、該新たな画像と前記保持された過去の画像のそれぞれとの類似度を算出する第１の算出手段と、前記保持された過去の認識情報に含まれる名詞を抽出する抽出手段と、前記保持された全ての過去の認識情報における前記抽出された名詞の出現率を算出する第２の算出手段と、前記保持された過去の画像に対応する前記算出された類似度と、該過去の画像に対応付けられた過去の認識情報に含まれる名詞に対応する前記算出された出現率と、前記出現率の逆数の対数とを乗算することにより、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のそれぞれについて、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報としての適性を表す適性値を算出する第３の算出手段と、前記算出された適性値に基づいて、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報から、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報を検索結果として取得する取得手段とを有することを特徴とする。

この構成によれば、新たな画像と前記保持された過去の画像のそれぞれとの類似度と、過去の認識情報に含まれる名詞の出現率とが算出され、これら類似度と出現率とその出現率の逆数の対数とを乗算することにより、過去の画像及び該過去の画像に対応付けられた過去の認識情報のそれぞれについての検索結果としての適性を表す適性値が算出され、この適性値に基づいて、過去の画像及び該過去の画像に対応付けられた過去の認識情報から、新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報が検索結果として得られる。すなわち、画像の類似度と認識情報内の名詞の出現率を考慮して、キーワード検索を用いることなく、過去の画像及び該過去の画像についての認識を表す過去の認識情報から新たな画像に対応する適切なものを簡易に取得することができる。

同様の観点から、本発明の検索システムは、前記取得手段が、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報から、対応する前記算出された適性値の大きい順に所定数を取得するようにしてもよい。

同様の観点から、本発明の検索システムは、前記第１の算出手段が、前記新たな画像と前記保持された過去の画像のそれぞれについて、画像の特徴量のベクトルを算出し、該画像の特徴量のベクトルに基づいて、前記類似度を算出するようにしてもよい。

同様の観点から、本発明の検索システムは、前記抽出手段が、前記保持された過去の認識情報のそれぞれの形態素解析を行い、前記過去の認識情報に含まれる名詞を抽出するようにしてもよい。

同様の観点から、本発明の検索システムは、前記第２の算出手段が、前記保持された全ての過去の認識情報における前記抽出された名詞の出現頻度を計数し、該出現頻度を前記保持された全ての過去の認識情報の数で除算することにより、前記出現率を算出するようにしてもよい。

また、本発明の検索システムは、前記新たな画像と、前記新たな画像に対応する認識情報の入力欄と、前記取得された前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報の検索結果とからなる画像を構成して表示部に表示させる表示制御手段を有するようにしてもよい。

この構成によれば、作業者は、検索結果を参照しつつ、新たな画像に対応する認識情報の作成を行うことができる。

また、本発明の検索システムは、前記取得手段が、前記新たな画像と前記過去の画像のそれぞれに該画像の属性を表す属性情報が付加されている場合に、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のうち、前記新たな画像と同一の属性情報を有する過去の画像及び該過去の画像に対応付けられた過去の認識情報を検索結果として取得するようにしてもよい。

この構成によれば、画像に付加される名称に含まれる情報等の画像の属性を表す属性情報を用いて検索結果の絞込みを行うことができ、より適切な検索結果が得られる。

また、本発明の検索システムは、前記取得手段が、前記名詞が重要であると定められている場合に、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のうち、重要であると定められている名詞が含まれるものを、対応する前記適性値にかかわらず、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報の検索結果として取得するようにしてもよい。

この構成によれば、危険度の高い疾患名等の重要な名詞が含まれる過去の認識情報については、対応する過去の画像とともに検索結果として得られるようにすることができ、重要な認識情報についての検索漏れを抑制することができる。

同様の観点から、本発明の検索システムは、前記第３の算出手段が、前記名詞に該名詞の重要度が付加されている場合に、該重要度と、保持された過去の画像に対応する前記算出された類似度と、該過去の画像に対応付けられた過去の認識情報に含まれる名詞に対応する前記算出された出現率とに基づいて、前記適性値を算出するようにしてもよい。

また、本発明の検索システムは、前記取得手段が、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報とともに、該過去の認識情報の修正履歴を表す修正履歴情報を検索結果として取得するようにしてもよい。

この構成によれば、検索結果を取得した者が修正履歴を参照することができるようにして、その検索結果の妥当性を判断することが可能となる。

また、本発明の検索システムは、前記取得手段が、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報について予め定められた検索結果としての質を表す尺度に基づいて、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報の検索結果を取得するようにしてもよい。

この構成によれば、検索結果として取得された回数が大きい過去の画像及び該過去の画像に対応付けられた過去の認識情報等、検索結果としての質が高いとみなされるものを取得しやすくすることができる。

また、本発明の検索システムは、前記第１の算出手段が、前記算出した類似度が予め定められた閾値を超える場合、前記算出した類似度を前記閾値に変更するようにしてもよい。

この構成によれば、類似度に上限が設けられるため、新たな画像との類似度が低い過去の画像及び当該過去の画像に対応付けられた過去の認識情報を取得したい場合にも、その取得がしやすくなる。

本発明は、画像と、該画像についての認識を表す認識情報とを検索する検索方法であって、過去の画像及び該過去の画像についての認識を表す過去の認識情報を対応付けて記憶装置に保持させる保持ステップと、新たな画像を入力し、該新たな画像と前記保持された過去の画像のそれぞれとの類似度を算出する第１の算出ステップと、前記保持された過去の認識情報に含まれる名詞を抽出する抽出ステップと、前記保持された全ての過去の認識情報における前記抽出された名詞の出現率を算出する第２の算出ステップと、前記保持された過去の画像に対応する前記算出された類似度と、該過去の画像に対応付けられた過去の認識情報に含まれる名詞に対応する前記算出された出現率と、前記出現率の逆数の対数とを乗算することにより、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のそれぞれについて、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報としての適性を表す適性値を算出する第３の算出ステップと、前記算出された適性値に基づいて、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報から、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報を検索結果として取得する取得ステップとを有することを特徴とする。

本発明は、画像と、該画像についての認識を表す認識情報とを検索するコンピュータにおいて実行される検索プログラムであって、過去の画像及び該過去の画像についての認識を表す過去の認識情報を対応付けて記憶装置に保持させる保持ステップと、新たな画像を入力し、該新たな画像と前記保持された過去の画像のそれぞれとの類似度を算出する第１の算出ステップと、前記保持された過去の認識情報に含まれる名詞を抽出する抽出ステップと、前記保持された全ての過去の認識情報における前記抽出された名詞の出現率を算出する第２の算出ステップと、前記保持された過去の画像に対応する前記算出された類似度と、該過去の画像に対応付けられた過去の認識情報に含まれる名詞に対応する前記算出された出現率と、前記出現率の逆数の対数とを乗算することにより、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のそれぞれについて、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報としての適性を表す適性値を算出する第３の算出ステップと、前記算出された適性値に基づいて、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報から、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報を検索結果として取得する取得ステップとを有することを特徴とする。

本発明によれば、画像の類似度と認識情報内の名詞の出現率を考慮して、キーワード入力等の作業を必要とすることなく、過去の画像及び該過去の画像についての認識を表す過去の認識情報から新たな画像に対応する適切なものを簡易に取得することができる。

本発明の実施の形態について、図面を参照して具体的に説明する。図１は、検索システムのハードウェア構成を示す図である。図１に示す検索システムは、パーソナルコンピュータ（ＰＣ）１００−１、１００−２及び１００−３（以下、これらをまとめて適宜「ＰＣ１００」と称する）と、過去の診断画像の情報と、当該過去の診断画像についての読影医の所見や診断結果等の認識を表す認識情報である過去読影レポートの情報とを対応付けた過去の画像付き読影レポートを保持する第１の保持手段としての画像付き読影レポートデータベース（ＤＢ）１１０とがネットワーク１２０に接続されて構成されている。なお、図１では、検索システムは、複数のＰＣ１００により構成されるが、単体のＰＣ１００と画像付き読影レポートＤＢ１１０により検索システムを構成することができ、あるいは、単体のＰＣ１００内に画像付き読影レポートＤＢ１１０を内蔵して検索システムを構成することもできる。

図２は、検索システムを構成するＰＣ１００のハードウェア構成を示す図である。図２に示すＰＣ１００は、内部バス１０７に接続されたＣＰＵ１０１、メモリ１０２、ハードディスクドライブ（ＨＤＤ）１０３、キーボード等の入力装置やマウス等の指示装置を含む操作部１０５、表示画面上に表示するモニタ１０６、外部の画像付き読影レポートＤＢ１１０との通信を行う通信ユニット１０８によって構成される。

図３は、検索システムを構成するＰＣ１００の第１の機能ブロック図である。図３に示す検索システムは、新規の診断画像の情報を入力した場合に、画像付き読影レポートＤＢ１１０内の画像付き読影レポートのうち、新規の診断画像の情報に類似する過去の診断画像情報を有するものを検索するものであり、第１の算出手段に対応する検索部１２と、抽出手段及び第２の算出手段に対応する解析部１４と、第３の算出手段及び取得手段に対応する検査部１６と、表示制御手段に対応する画像構成部２０とにより構成される。

これら各機能ブロックは、図２のハードウェア構成においては、ＣＰＵ１０１が操作部１０５の操作に応じて、ＨＤＤ１０３から読み出してメモリ１０２に記憶させた所定のプログラム、例えば後述するフローチャートの手順に対応するプログラムを実行することによって実現される。

検索部１２は、新規に取得した診断画像の情報と、画像付き読影レポートＤＢ１１０に保持された画像付き読影レポート内の過去診断画像情報との類似度を算出する。図４は、検索部１２の動作を示すフローチャートである。

作業者である読影医は、新規の診断画像について、所見や診断結果等の読影医の所見や診断結果等の認識を表す認識情報である読影レポートを作成する場合、操作部１０５（例えばキーボード）の操作によって新規の診断画像の情報を入力し、検索部１２は、この新規診断画像の情報を取得する（Ｓ１０１）。この際、検索部１２は、図５に示すような新規診断画像情報に対応する新規診断画像２０１と、当該新規診断画像２０１についての所見や診断結果からなる読影レポートの入力欄２０２を有する新規読影レポート画像２００を構成し、モニタ１０６に表示させる。

次に、検索部１２は、画像付き読影レポートＤＢ１１０に保持されている過去画像付き読影レポートの件数が０件であるか否かを判定する（Ｓ１０２）。過去画像付き読影レポートの件数が０件である場合には、検索部１２は、モニタ１０６にエラーメッセージを表示させる等のエラーメッセージ出力を行い（Ｓ１０３）、一連の処理を終了する。

一方、画像付き読影レポートＤＢ１１０に保持されている過去画像付き読影レポートの件数が０件でない場合、検索部１２は、画像付き読影レポートＤＢ１１０に保持されている過去画像付き読影レポートのそれぞれを読み出す。更に、検索部１２は、読み出した過去画像付き読影レポートに含まれる過去診断画像情報及び過去読影レポート情報を、過去画像付き読影レポートのそれぞれに対応する読影レポートデータ構造に格納する（Ｓ１０４）。

次に、検索部１２は、未処理の読影レポートデータ構造、具体的には、後述するＳ１０６乃至Ｓ１０８の処理の対象となっていない読影レポートデータ構造が存在するか否かを判定する（Ｓ１０５）。

未処理の読影レポートデータ構造が存在する場合、検索部１２は、その未処理の読影レポートデータ構造のいずれか１つを選択し、更に、新規診断画像情報と、選択した読影レポートデータ構造内の過去診断画像情報のそれぞれについて、画像特徴量を導出する（Ｓ１０６）。具体的には、検索部１２は、新規診断画像情報と、過去診断画像情報のそれぞれについて、画像内の部位を特定すべく、画像中の部位の輪郭線を抽出するためのエッジ抽出を行うとともに、疾患箇所を抽出すべく、テクスチャ（模様）の分析やラベリング処理におけるオブジェクト抽出を行って、それぞれの画像の特徴量のベクトル値を算出する。画像の特徴量のベクトル値の導出方法については、特開平５−２２５９３号公報、特開平８−１９０５６８号公報、特開２００３−３３１２８８号公報及び特開２００４−９４３７９号公報等に記載された既存技術を用いることができる。

更に、検索部１２は、新規診断画像情報と、選択した読影レポートデータ構造内の過去診断画像情報との類似度を算出する（Ｓ１０７）。具体的には、検索部１２は、新規診断画像情報と、選択した読影レポートデータ構造内の過去診断画像情報のそれぞれの画像の特徴量のベクトル値のユークリッド距離を算出する。更に、検索部１２は、以下の数１に基づいて、新規診断画像情報と、選択した読影レポートデータ構造内の過去診断画像情報との類似度image_sim(x,y)を算出する。 なお、数１において、ｘは新規診断画像情報の特徴量のベクトル値、ｙは選択した読影レポートデータ構造内の過去診断画像情報の特徴量のベクトル値を示す。

更に、検索部１２は、算出した新規診断画像情報と、選択した読影レポートデータ構造内の過去診断画像情報との類似度を、選択した読影レポートデータ構造に格納する（Ｓ１０８）。図６は、画像の類似度が格納された読影レポートデータ構造の一例を示す図である。図６に示す読影レポートデータ構造は、当該読影レポートデータ構造の識別情報であるＩＤ、Ｓ１０４において格納された過去診断画像情報及び過去読影レポート情報と、Ｓ１０７において格納された画像の類似度からなる。

Ｓ１０７において、画像の類似度を読影レポートデータ構造に格納した後、検索部１２は、再び、Ｓ１０５における未処理の読影レポートデータ構造が存在するか否かの判定を行い、存在する場合には、未処理の読影レポートデータ構造のいずれかを選択し、Ｓ１０６における画像の特徴量の導出以降の処理を繰り返す。そして、全ての読影レポートデータ構造が処理済になる、換言すれば、全ての読影レポートデータ構造について画像の類似度が格納されると、検索部１２は、Ｓ１０５において未処理の読影レポートデータ構造が存在しないと判定し、一連の処理を終了する。画像の類似度が格納された読影レポートデータ構造は、解析部１４へ送られる。

解析部１４は、検索部１２からの読影レポートデータ構造内の過去読影レポート情報を解析し、当該過去読影レポート情報に含まれる名詞である診断結果名について、全ての画像付き読影レポート内の過去読影レポート情報における出現率を算出する。図７は、解析部１４の動作を示すフローチャートである。

解析部１４は、検索部１２からの読影レポートデータ構造のうち、未処理の読影レポートデータ構造、具体的には、後述するＳ２０２乃至Ｓ２０６の処理の対象となっていない読影レポートデータ構造が存在するか否かを判定する（Ｓ２０１）。未処理の読影レポートデータ構造が存在する場合、解析部１４は、その未処理の読影レポートデータ構造のいずれか１つを選択し、その選択した読影レポートデータ構造内の過去読影レポート情報を抽出する（Ｓ２０２）。

更に、解析部１４は、抽出した過去読影レポート情報について、公知の形態素解析を行い、更に複合名詞である診断結果名を抽出する（Ｓ２０３）。ここで、公知の形態素解析とは、例えば、茶筌（Chasen）（文献：松本裕治、北内啓、山下達雄、平野善隆、松田寛、高岡一馬、浅原正幸著、「日本語形態素解析システム 茶筌 version2.2.1 使用説明書」、奈良先端科学技術大学院大学、２０００年参照）等の日本語形態素解析である。この形態素解析においては、解析部１４は、診断結果名は、形態素解析によって分かち書きされた文の複合名詞として抽出される。この複合名詞としての診断結果名の抽出には、公知の複合名詞抽出システムと、予め設けられた診断結果名のリストを用いることができる。公知の複合名詞抽出システムとは、例えば、TermExtractor（文献：中川裕志、森辰則、湯本紘彰著、「出現頻度と連接頻度に基づく専門用語抽出」自然言語処理、Vol.10 No.1, pp. 27 - 45, 2003年参照）等のシステムである。

本実施形態では、過去読影レポート情報は、所見の部分と診断結果の部分の構造を有しており、更に、所見の部分は、有所見部位詳細の部分と陰影の部分の構造を有している。解析部１４は、これらのうち、診断結果の部分のテキスト情報について、形態素解析を行う。例えば、診断結果の部分のテキスト情報が文１「肺癌の可能性が極めて高い。」である場合、形態素解析の結果は、「肺／癌／の／可能性／が／極めて／高い／。」（／は形態素列を区切る記号）となる。そして、解析部１４は、この形態素解析結果を用い、複合名詞を抽出する。更に、解析部１４は、診断結果名リストを参照して、当該診断結果名リスト内の文字列と同一の複合名詞を診断結果名として抽出する。診断結果の部分のテキスト情報が文１「肺癌の可能性が極めて高い。」である場合、「肺癌」が診断結果名として抽出される。

次に、解析部１４は、Ｓ２０３において複数の診断結果名を抽出したか否かを判定する（Ｓ２０４）。複数の診断結果名を抽出した場合、解析部１４は、それらのうち、最も多く出現した診断結果名を選択する（Ｓ２０５）。そして、解析部１４は、選択した診断結果名を、選択した読影レポートデータ構造に格納する（Ｓ２０６）。一方、単一の診断結果名のみを抽出した場合には、解析部１４は、その診断結果名を、選択した読影レポートデータ構造に格納する（Ｓ２０６）。図８は、診断結果名が格納された読影レポートデータ構造の一例を示す図である。図８に示す読影レポートデータ構造は、図６に示す読影レポートデータ構造内の各情報と、Ｓ２０６において格納された診断結果名とからなる。

Ｓ２０６において、診断結果名を読影レポートデータ構造に格納した後、解析部１４は、再び、Ｓ２０１における未処理の読影レポートデータ構造が存在するか否かの判定を行い、存在する場合には、未処理の読影レポートデータ構造のいずれかを選択し、Ｓ２０２における読影レポートデータ構造内の過去読影レポート情報の抽出以降の処理を繰り返す。そして、全ての読影レポートデータ構造が処理済になる、換言すれば、全ての読影レポートデータ構造について診断結果名が格納されると、解析部１４は、Ｓ２０１において未処理の読影レポートデータ構造が存在しないと判定する。

未処理の読影レポートデータ構造が存在しない場合、解析部１４は、全ての読影レポートデータ構造に格納された診断結果名を抽出し（Ｓ２０７）、抽出した診断結果名のそれぞれの出現頻度を計数する（Ｓ２０８）。更に、解析部１４は、出現頻度に基づいて、各診断結果名の出現率を算出する（Ｓ２０９）。具体的には、解析部１４は、以下の数２に基づいて、診断結果名の出現率frequency_rateを算出する。なお、数２において、frequencyは対応する診断結果名の出現頻度、Total_Numは全ての読影レポートデータ構造内の過去読影レポート情報の数を示す。

例えば、診断結果名「肺癌」の出現頻度が２７４４件、過去読影レポート情報の数が７３９９件とすると、診断結果名「肺癌」の出現率は、式２を用いて、２７４４／７３９９＝０．３７１となる。

次に、解析部１４は、Ｓ２０７において抽出した診断結果名のそれぞれについて、当該診断結果名と、Ｓ２０８において計数した当該診断結果名に対応する出現頻度と、Ｓ２０９において算出した当該診断結果名に対応する出現率とを対応付けた診断結果名頻度情報を生成する（Ｓ２１０）。図９は、診断結果名頻度情報の一例を示す図である。Ｓ２０６において診断結果名が格納された読影レポートデータ構造と、Ｓ２１０において生成された診断結果名頻度情報とは、検査部１６へ送られる。

検査部１６は、解析部１４からの読影レポートデータ構造内の過去診断画像情報及び過去レポート情報について、新規診断画像情報に類似する過去診断画像情報及び該過去診断画像情報に対応する過去レポート情報としての適性、換言すれば、検索結果としての適性を表す適性値としての総合判定値を算出する。図１０は、検査部１６の動作を示すフローチャートである。

検査部１６は、解析部１４からの読影レポートデータ構造のうち、未処理の読影レポートデータ構造、具体的には、後述するＳ３０２乃至Ｓ３０５の処理の対象となっていない読影レポートデータ構造が存在するか否かを判定する（Ｓ３０１）。未処理の読影レポートデータ構造が存在する場合、検査部１６は、その未処理の読影レポートデータ構造のいずれか１つを選択し、その選択した読影レポートデータ構造内の診断結果名を抽出する（Ｓ３０２）。

次に、検査部１６は、解析部１４からの診断結果名頻度情報に含まれる出現率のうち、Ｓ３０２で抽出した診断結果名に対応する出現率を抽出する（Ｓ３０３）。具体的には、検査部１６は、解析部１４からの診断結果名頻度情報に含まれる診断結果名のうち、Ｓ３０２で抽出した診断結果名と一致するものを特定する。更に、検査部１６は、診断結果名頻度情報に含まれる出現率のうち、その特定した診断結果名に対応付けられているものを抽出する。

更に、検査部１６は、選択した読影レポートデータ構造内の過去診断画像情報及び過去診断レポート情報について、新規診断画像情報に類似する過去診断画像情報及び該過去診断画像情報に対応する過去レポート情報としての適性、換言すれば、検索結果としての適性を表す適性値としての総合判定値を算出する（Ｓ３０４）。具体的には、検査部１６は、以下の数３に基づいて、総合判定値を算出する。なお、数３において、image_sim(x,y)は、選択した読影レポートデータ構造内の画像の類似度、frequency_rateは選択した読影レポートデータ構造内の出現率を示す。

例えば、図８に示すＩＤ１に対応する読影レポートデータ構造と、図９に示す診断結果名頻度情報を例にとると、画像類似度は１．４３２、診断結果名は「肺癌」であり、診断結果名頻度情報の「肺癌」の出現率は、０．３７１であるから、総合判定値は、式３を用いて、１．４３２ x ０．３７１×ｌｏｇ（１／０．３７１）＝０．２２８となる。

そして、検査部１６は、算出した総合判定値を、選択した読影レポートデータ構造に格納する（Ｓ３０５）。図１１は、総合判定値が格納された読影レポートデータ構造の一例を示す図である。図１１に示す読影レポートデータ構造は、図８に示す読影レポートデータ構造内の各情報と、Ｓ３０５おいて格納された総合判定値とからなる。

Ｓ３０５において、診断結果名を読影レポートデータ構造に格納した後、検査部１６は、再び、Ｓ３０１における未処理の読影レポートデータ構造が存在するか否かの判定を行い、存在する場合には、未処理の読影レポートデータ構造のいずれかを選択し、Ｓ３０２における読影レポートデータ構造内の診断結果名の抽出以降の処理を繰り返す。そして、全ての読影レポートデータ構造が処理済になる、換言すれば、全ての読影レポートデータ構造について総合判定値が格納されると、検査部１６は、Ｓ３０１において未処理の読影レポートデータ構造が存在しないと判定する。

未処理の読影レポートデータ構造が存在しない場合、検査部１６は、総合判定値が格納された各読影レポートデータ構造について、総合判定値の昇順にソートする（Ｓ３０６）。例えば、図１１に示す読影レポートデータ構造は、総合判定値の大きい順、すなわち、ＩＤ３に対応する読影レポートデータ構造、ＩＤ１に対応する読影レポートデータ構造、ＩＤ２に対応する読影レポートデータ構造の順に並び替えられる。更に、検査部１６は、ソート後の各読影レポートデータ構造について上位Ｎ件を、検索結果として画像構成部２０へ出力する。

画像構成部２０は、検査部１６からの読影レポートデータ構造内の過去診断画像情報及び過去読影レポート情報に基づいて、検索結果の画像を構成し、モニタ１０６に表示させる。

図１２は、検索結果画像の第１の例を示す図である。図１２では、検索結果画像２１０が図５に示す新規読影レポート画像２００とともに表示される。検索結果画像２１０は、過去診断画像情報に対応する過去診断画像２１１と過去読影レポート情報の内容を表す過去読影レポート表示欄２１２からなる。なお、複数の検索結果画像２１０の表示法は、図１２に示す縦方向の並びに限られるものではなく、例えば、図１３に示すように、重ね合わせて表示されたり、図１４に示すように、診断結果名毎に横方向に並べて表示されてもよい。図１４に示す表示法が用いられる場合には、画像構成部２０は、検査部１６からの読影レポートデータ構造を、読影レポートデータ構造内の診断結果名によって分類する。更に、画像構成部２０は、その分類毎に、当該分類に属する読影レポートデータ構造内の診断結果名、過去診断画像情報及び過去読影レポート情報に基づいて、診断結果名及び検索結果の画像を構成する。

このように、本実施形態の検索システムは、新規診断画像情報を入力すると、当該新規診断画像と、各読影レポートデータ構造内の過去診断画像情報との類似度を算出するとともに、各読影レポートデータ構造内の過去読影レポート情報に含まれる診断結果名の出現率とを算出し、これら類似度と出現率とに基づいて、更に、過去診断画像情報及び当該過去診断画像情報に対応する過去読影レポート情報についての検索結果としての適性を表す総合判定値を算出し、対応する総合判定値の大きい所定数の過去診断画像情報及び当該過去診断画像情報に対応する過去読影レポート情報が、新規診断画像情報に類似する過去診断画像情報及び当該過去診断画像情報に対応する過去読影レポート情報の検索結果として得られる。すなわち、画像の類似度と過去読影レポート情報内の診断結果名の出現率との双方を考慮して、キーワード入力等の作業を必要とすることなく、適切な検索を簡易に行うことができる。

なお、診断画像情報に当該診断画像情報の属性を表す属性情報としての検査項目が付加されている場合には、当該検査項目をも参照して、新規診断画像情報に類似する過去診断画像情報及び当該過去診断画像情報に対応する過去読影レポート情報を取得するようにしてもよい。

図１５は、検索システムを構成するＰＣ１００の第２の機能ブロック図である。図１５に示す検索システムは、図３に示す第１の機能ブロック図に対応する検索システムと比較すると、解析部１４と検査部１６との間に抽出手段としての検査部位特定部２２を有する。

解析部１４は、新規診断画像情報に付与されている検査項目について公知の形態素解析を行う。検査部位特定部２２は、この形態素解析の結果に基づいて、検査項目に含まれる部位名を特定する。部位名の特定には、予め設けられた部位名のリストや、予め定められた部位名を含む形態素解析辞書を用いることができる。検査部１６は、上述した図１０に示す処理手順によって検索結果として取得した過去診断画像情報に付与された検査項目のうち、検査部位特定部２２によって特定された部位名を含むものを特定する。そして、検査部１６は、その特定した検査項目が付与されている過去診断画像及び当該過去診断画像に対応する過去読影レポート情報を、検索結果として取得する。

例えば、新規診断画像情報に付与されている検査項目が「両胸部転移検索」である場合、解析部１４による形態素解析の結果は、「両／胸部／転移／検索」（／は形態素列を区切る記号）となる。そして、検査部位特定部２２によって、部位名「胸部」が特定され、検査部１６によって、当該部位名「胸部」を含む検査項目が付与された過去診断画像情報及び当該過去診断画像に対応する過去読影レポート情報が、検索結果として取得される。これにより、検索結果の絞込みを行うことができ、より適切な検索結果が得られる。

また、過去読影レポート情報に、出現頻度は低いものの死亡等のリスクの高い症例等の重要と考えられる名詞が含まれる場合には、検査部１６は、その過去読影レポート情報と対応する過去診断画像とを、総合判定値にかかわらず、必ず検索結果として取得するようにしてもよい。あるいは、検査部１６は、重要と考えられる名詞に、予めその名詞について定められた重要度を付加し、重要と考えられる名詞が含まれる過去読影レポート情報に対応する総合判定値を算出する際は、その重要度を用いて計算をすることで、総合判定値を大きくするようにしてもよい。これにより、重要な名詞を含む過去読影レポート情報についての検索漏れを抑制することができる。

また、読影レポートデータ構造内の過去読影レポート情報において、当該過去読影レポート情報を記述した者による対応する過去診断画像についての判断結果を表すモダリティを考慮して、出現率が算出されるようにしてもよい。この場合、解析部１４は、読影レポートデータ構造内の過去読影レポート情報において、診断結果名についてのモダリティを特定し、当該モダリティに対応する確率値を取得する。モダリティは、例えば、「である。」、「の可能性は高い。」、「の疑いがある。」、「の可能性は低い。」等の表現であり、前段の診断結果名に付随する。診断結果名についてのモダリティには、それぞれ予め確率値が設定されている。例えば、確率値は、「である。」については０．９９、「の可能性は高い。」については０．８０、「の疑いがある。」については０．５０、「の可能性は低い。」については０．２０であり、断定の表現であるほど大きな値となる。

更に、解析部１４は、取得した確率値に基づいて、以下の数４に基づいて、診断結果名の出現率frequency_rateを算出する。なお、数４において、mjは診断結果名の総数、pjはその診断結果名に付随するモダリティに対応する確率値を示す。

これにより、過去読影レポート情報を記述した者による対応する過去診断画像についての判断結果を考慮したより適切な検索が可能となる。

また、検索結果に過去読影レポート情報の修正履歴が含まれるようにしてもよい。この場合、この場合、読影レポートデータ構造には、当該読影レポートデータ構造内の過去読影レポート情報の修正履歴の情報が格納される。修正履歴情報は、対応する過去読影レポート情報が修正される毎に、その修正を表す情報として画像付き読影レポート内に格納され、更に、検索部１２によって読影レポートデータ構造に格納される。

検査部１６は、過去診断画像及び当該過去診断画像に対応する過去読影レポート情報とともに、当該過去読影レポート情報の修正履歴情報が格納された読影レポートデータ構造を検索結果として取得した場合、その読影レポートデータ構造を、画像構成部２０へ出力する。更に、画像構成部２０は、読影レポートデータ構造内の過去診断画像情報、過去読影レポート情報及び修正履歴情報に基づいて、修正履歴を視認可能な検索結果の画像を構成し、モニタ１０６に表示させる。これにより、検索結果を取得した者が修正履歴を参照することができ、その検索結果の妥当性を判断することが可能となる。

また、読影レポートデータ構造内の過去診断画像情報及び過去読影レポート情報について検索結果としての質を判断し、質の高いものが検索結果として取得されるようにしてもよい。この場合、読影レポートデータ構造には、当該読影レポートデータ構造内の過去診断画像情報及び過去読影レポート情報が検索結果として取得された回数（検索回数）や、過去読影レポート情報の記述者の情報が、検索結果としての質の尺度の情報として格納される。ここで、検索回数は、対応する過去診断画像情報及び過去読影レポート情報が検索結果として取得される毎に更新されて画像付き読影レポート内に格納され、更に、検索部１２によって読影レポートデータ構造に格納される。また、過去読影レポート情報の記述者の情報は、対応する画像付き読影レポートが生成される際に、記述者による操作部１０５（例えばキーボード）の操作に応じて、画像付き読影レポート内に格納され、更に、検索部１２によって読影レポートデータ構造に格納される。

検査部１６は、検索回数及び記述者情報に基づいて、これらに対応する過去診断画像及び当該過去診断画像に対応する過去読影レポート情報の検索結果としての質を判定する。例えば、検索回数が所定回数以上である場合や、記述者情報により特定される記述者が予め信頼できる者であると定められた者である場合には、検査部１６は、対応する過去診断画像及び当該過去診断画像に対応する過去読影レポート情報が検索結果として質の高いものであると判断し、これらが格納された読影レポートデータ構造を検索結果として、画像構成部２０へ出力する。これにより、検索結果としての質が高いとみなされるものを取得しやすくすることができる。

また、上述した実施形態では、解析部１４は、過去読影レポート情報内の診断結果の部分のテキスト情報から診断結果名を抽出したが、所見の部分のテキスト情報から診断結果名を抽出するようにしてもよい。

この場合、解析部１４は、過去読影レポート情報内の所見の部分のテキスト情報について形態素解析を行い、ＴＦ／ＩＤＦ法を用いた重要語や共起頻度に対応する特徴量のベクトル（所見特徴量ベクトル）を得る。更に、解析部１４は、他の過去読影レポート情報内の所見の部分のテキスト情報について、当該テキスト情報に含まれる疾患名毎に分類し、その疾患名の分類毎に、上述と同様に、テキスト情報について形態素解析を行い、ＴＦ／ＩＤＦ法を用いた重要語や共起頻度に対応する特徴量のベクトル（疾患特徴量ベクトル）を得る。そして、解析部１４は、疾患特徴量ベクトルのそれぞれについて、対応する疾患名毎に、所見特徴量ベクトルとの内積を算出し、更に、その内積の和を算出する。そして、解析部１４は、このようにして算出した疾患名毎の内積の和のうち、最も大きくいものを特定し、その特定した最大の内積の和に対応する疾患名を診断結果名として特定する。また、解析部１４は、出現頻度については、特定した診断結果名に対応する所見特徴量ベクトルの和として算出する。ここで、所見特徴量ベクトルについては、診断結果名の出現頻度をより適切な値にする情報として利用してもよい。この場合には、同一の診断結果名であっても、所見特徴量ベクトルにより異なるものとして扱われ、診断結果名を詳細化させることができる。

このように、情報量の豊富な所見の部分のテキスト情報から診断結果名を抽出するようにすることで、診断結果名の抽出をより精度よく行うことができる。

また、検索部１２は、画像類似度に閾値（上限値）を設け、その上限値を超える類似度を算出した場合には、上限値に変更するようにしてもよい。この場合、総合判定値は、以下の数４によって算出される。なお、数５において、image_sim(i∈A)は、診断結果名iが集合Aに含まれている画像に対応する画像類似度（閾値を超える場合は、その閾値）、frequency_rateは選択した読影レポートデータ構造内の出現率を示す。

例えば、診断結果名の分布が、診断結果名αについては３０００件、診断結果名βについては２０００件、診断結果名γについては１０件であり、比率が３００：２００：１となるような場合、診断結果名γは稀な診断結果名であるため、当該診断結果名γに対応する検索結果は取得されにくいが、画像の類似度に上限値が設定されることで、診断結果名γに対応する検索結果についても取得されやすくなる。

以上、説明したように、本発明に係る検索システム、認識情報検索処理方法及び認識情報検索処理プログラムは、キーワード入力等の作業を必要とすることなく、簡易に検索結果を得ることが可能であり、検索システム等として有用である。

検索システムのハードウェア構成を示す図である。 検索システムを構成するＰＣのハードウェア構成を示す図である。 検索システムを構成するＰＣの第１の機能ブロック図である。 検索部の動作を示すフローチャートである。 新規読影レポート画像の一例を示す図である。 画像類似度を格納した読影レポートデータ構造の一例を示す図である。 解析部の動作を示すフローチャートである。 診断結果名を格納した読影レポートデータ構造の一例を示す図である。 診断結果名頻度情報の一例を示す図である。 検査部の動作を示すフローチャートである。 総合判定値を格納した読影レポートデータ構造の一例を示す図である。 検索結果画像の第１の例を示す図である。 検索結果画像の第２の例を示す図である。 検索結果画像の第３の例を示す図である。 検索システムを構成するＰＣの第２の機能ブロック図である。

符号の説明

１２ 検索部
１４ 解析部
１６ 検査部
２０ 画像構成部
２２ 検査部位特定部
１００−１乃至１００−３ ＰＣ
１０２ メモリ
１０３ ＨＤＤ
１０５ 操作部
１０６ モニタ
１０７ 内部バス
１０８ 通信部
１１０ 画像付き読影レポートＤＢ

Claims (14)

1. 画像と、該画像についての認識を表す認識情報とを検索する検索システムであって、
   過去の画像及び該過去の画像についての認識を表す過去の認識情報を対応付けて保持する第１の保持手段と、
   新たな画像を入力し、該新たな画像と前記保持された過去の画像のそれぞれとの類似度を算出する第１の算出手段と、
   前記保持された過去の認識情報に含まれる名詞を抽出する抽出手段と、
   前記保持された全ての過去の認識情報における前記抽出された名詞の出現率を算出する第２の算出手段と、
   前記保持された過去の画像に対応する前記算出された類似度と、該過去の画像に対応付けられた過去の認識情報に含まれる名詞に対応する前記算出された出現率と、前記出現率の逆数の対数とを乗算することにより、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のそれぞれについて、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報としての適性を表す適性値を算出する第３の算出手段と、
   前記算出された適性値に基づいて、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報から、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報を検索結果として取得する取得手段とを有することを特徴とする検索システム。
2. 前記取得手段は、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報から、対応する前記算出された適性値の大きい順に所定数を取得することを特徴とする請求項１に記載の検索システム。
3. 前記第１の算出手段は、前記新たな画像と前記保持された過去の画像のそれぞれについて、画像の特徴量のベクトルを導出し、該画像の特徴量のベクトルに基づいて、前記類似度を算出することを特徴とする請求項１又は２に記載の検索システム。
4. 前記抽出手段は、前記保持された過去の認識情報のそれぞれの形態素解析を行い、前記過去の認識情報に含まれる名詞を抽出することを特徴とする請求項１乃至３のいずれかに記載の検索システム。
5. 前記第２の算出手段は、前記保持された全ての過去の認識情報における前記抽出された名詞の出現頻度を計数し、該出現頻度を前記保持された全ての過去の認識情報の数で除算することにより、前記出現率を算出することを特徴とする請求項１乃至４のいずれかに記載の検索システム。
6. 前記新たな画像と、前記新たな画像に対応する認識情報の入力欄と、前記取得された前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報の検索結果とからなる画像を構成して表示部に表示させる表示制御手段を有する請求項１乃至５のいずれかに記載の検索システム。
7. 前記取得手段は、前記新たな画像と前記過去の画像のそれぞれに該画像の属性を表す属性情報が付加されている場合に、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のうち、前記新たな画像と同一の属性情報を有する過去の画像及び該過去の画像に対応付けられた過去の認識情報を検索結果として取得することを特徴とする請求項１乃至６のいずれかに記載の検索システム。
8. 前記取得手段は、前記名詞が重要であると定められている場合に、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のうち、重要であると定められている名詞が含まれるものを、対応する前記適性値にかかわらず、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報の検索結果として取得することを特徴とする請求項１乃至７のいずれかに記載の検索システム。
9. 前記第３の算出手段は、前記名詞に該名詞の重要度が付加されている場合に、該重要度と、保持された過去の画像に対応する前記算出された類似度と、該過去の画像に対応付けられた過去の認識情報に含まれる名詞に対応する前記算出された出現率とに基づいて、前記適性値を算出することを特徴とする請求項１乃至８のいずれかに記載の検索システム。
10. 前記取得手段は、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報とともに、該過去の認識情報の修正履歴を表す修正履歴情報を検索結果として取得することを特徴とする請求項１乃至９のいずれかに記載の検索システム。
11. 前記取得手段は、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報について予め定められた検索結果としての質を表す尺度に基づいて、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報の検索結果を取得することを特徴とする請求項１乃至１０のいずれかに記載の検索システム。
12. 前記第１の算出手段は、前記算出した類似度が予め定められた閾値を超える場合、前記算出した類似度を前記閾値に変更することを特徴とする請求項１乃至１１のいずれかに記載の検索システム。
13. 画像と、該画像についての認識を表す認識情報とを検索する検索方法であって、
    過去の画像及び該過去の画像についての認識を表す過去の認識情報を対応付けて記憶装置に保持させる保持ステップと、
    新たな画像を入力し、該新たな画像と前記保持された過去の画像のそれぞれとの類似度を算出する第１の算出ステップと、
    前記保持された過去の認識情報に含まれる名詞を抽出する抽出ステップと、
    前記保持された全ての過去の認識情報における前記抽出された名詞の出現率を算出する第２の算出ステップと、
    前記保持された過去の画像に対応する前記算出された類似度と、該過去の画像に対応付けられた過去の認識情報に含まれる名詞に対応する前記算出された出現率と、前記出現率の逆数の対数とを乗算することにより、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のそれぞれについて、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報としての適性を表す適性値を算出する第３の算出ステップと、
    前記算出された適性値に基づいて、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報から、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報を検索結果として取得する取得ステップとを有することを特徴とする検索方法。
14. 画像と、該画像についての認識を表す認識情報とを検索するコンピュータにおいて実行される検索プログラムであって、
    過去の画像及び該過去の画像についての認識を表す過去の認識情報を対応付けて記憶装置に保持させる保持ステップと、
    新たな画像を入力し、該新たな画像と前記保持された過去の画像のそれぞれとの類似度を算出する第１の算出ステップと、
    前記保持された過去の認識情報に含まれる名詞を抽出する抽出ステップと、
    前記保持された全ての過去の認識情報における前記抽出された名詞の出現率を算出する第２の算出ステップと、
    前記保持された過去の画像に対応する前記算出された類似度と、該過去の画像に対応付けられた過去の認識情報に含まれる名詞に対応する前記算出された出現率と、前記出現率の逆数の対数とを乗算することにより、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報のそれぞれについて、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報としての適性を表す適性値を算出する第３の算出ステップと、
    前記算出された適性値に基づいて、前記保持された過去の画像及び該過去の画像に対応付けられた過去の認識情報から、前記新たな画像に類似する過去の画像及び該過去の画像に対応付けられた過去の認識情報を検索結果として取得する取得ステップとを有することを特徴とする検索プログラム。

Images