JP7082287B2 - 画像検索プログラム、画像検索装置、及び画像検索方法 - Google Patents

Description

本発明は、画像検索プログラム、画像検索装置、及び画像検索方法に関する。

従来から、医療分野においては、過去の類似症例を検索し、検索結果を参照して、医師の診断を支援する画像検索装置がある。例えば、データベースに過去の症例を表す画像が記憶され、画像検索装置において、処理対象である画像の画像特徴が類似した画像をデータベースから検索し、検索した画像を順番に表示する、などである。このような画像は、例えば、ＣＴ（Computed Tomography：コンピュータ断層撮影）画像が用いられる。

医療分野における症例の一つに、びまん性肺疾患がある。びまん性肺疾患は、例えば、肺における病気の総称であり、肺胞蛋白症やリンパ脈管筋腫症など、１００種類程度の病気が含まれる。びまん性肺疾患は、例えば、肺において広範囲にわたって機能が損なわれ、異常陰影などの症状を呈する。

びまん性肺疾患の患者のＣＴ画像には、形状及び分布が多岐にわたる異常陰影が含まれる。そのため、びまん性肺疾患は、孤立性肺結節の癌等と比較して、画像検索による診断が非常に難しい。従って、豊富な知識を持つ医師でも、診断に時間がかかる場合がある。

画像の特徴量をヒストグラムとして表す場合がある。ヒストグラムは、例えば、棒状グラフである。画像の特徴量が棒状グラフとして表されることで、例えば、特徴量の分布を視覚的に把握することが可能となる。

２つの画像についてその特徴量がヒストグラムとして表された場合、２つのヒストグラム間の類似度としてＥＭＤ（Earth Mover’s Distance）が用いられる場合がある。

図１２は、ＥＭＤの計算例を表す図である。ＥＭＤは、例えば、２つの画像が持つ距離に基づいて画像間の類似度を判断する手法である。距離については、例えば、土盛りと穴の比喩を用いて簡単に説明することができる。

例えば、Ｐを土盛りの集合、Ｑを穴の集合とする。ｍ、ｎは自然数であり、異なっていてもよい。ｐ_ｉ，ｑ_ｊは、例えば、任意の距離が定義された空間内の点とする。点ｐ_ｉには体積がｗ_Ｐｉの土が盛られ、点ｑ_ｊには容積がｗ_Ｑｊの穴が掘られているとする。例えば、ｄ_ｉｊをｐ_ｉ，ｑ_ｊ間の距離、ｆ_ｉｊをｐ_ｉからｑ_ｊへ運ばれる土の量とする。このとき、全部の穴を埋めるためのコスト

を最小にするｆ_ｉｊを算出し、Ｐ，Ｑ間のＥＭＤを

と定義する。

ＥＭＤにより、例えば、データベースに登録された過去の症例を表す画像のヒストグラム（例えば集合Ｐ）と、処理対象の画像のヒストグラム（例えば集合Ｑ）がどれだけ類似しているかを容易に把握することが可能となる。

類似度の計算については、例えば、以下のような技術がある。すなわち、スキャナから取り込まれた第１の文書画像と文書データベースから抽出された第２の文書画像の解像度をそれぞれ低解像度に変換後、複数の部分領域に分割し、部分領域ごとに相互相関計算を行って領域毎の類似度を計算し、画像全体の類似度を計算する照合装置がある。

この技術によれば、照合する２つの文書画像が拡大または縮小の関係にある場合やスキューの関係にある場合でも、高速に類似度を計算することができる、とされる。

また、比較対象マルチメディアデータそれぞれのベクトル集合から特徴ベクトルを１つずつ抽出してベクトルペアを生成し、ベクトルペア毎に特徴ベクトル間の類似度を示す距離を合算して比較対象マルチメディアデータ間の類似度を算出する類似度判定装置がある。

この技術によれば、マルチメディアデータ間の類似、非類似の判断における識別性を高めることができる、とされる。

特開２０１５－１９１３０８号公報 特開２００５－２３４９９４号公報

ＥＭＤによる類似度の計算では、例えば、異なる特徴量を持つヒストグラム間でも、類似度が「１００％」となる場合がある。

例えば、ある画像の特徴量を表すヒストグラム（例えば集合Ｐ）が他の画像の特徴量を表すヒストグラム（例えば集合Ｑ）に含まれる場合がある。土盛りと穴の比喩では、土盛りの集合Ｐと穴の集合Ｑについて、土盛りの集合Ｐが穴の集合Ｑに含まれる場合である。この場合、点ｐ_１の土の量ｗ_Ｐ１を、点ｑ_１の容積ｗ_Ｑ１の穴に全て埋め、点ｐ_２の土の量ｗ_Ｐ２を、点ｑ_２の容積ｗ_Ｑ２の穴に全て埋め、など、各点ｐ_ｉの土の量を最短距離（ｄ_ｉｊ＝０）で各点ｑ_ｉの穴に埋めることができる場合がある。この場合、式（１）のコストは「０」となり、式（２）のＥＭＤが「０」となる。このように、土の量と穴の量が異なる、すなわち、２つの画像間のヒストグラムが異なる場合であっても、類似度が「１００％」となる場合がある。

従って、ＥＭＤを類似度として用いる場合、類似度の精度は低くなり、このような類似度を用いて画像検索装置による症例検索を行っても、精度の高い症例検索を行うことができない場合がある。

上述した、２つの画像を低解像度に変換後に部分領域毎に相互相関計算を行って類似度を計算する技術は、２つの画像を低解像度に変換後に類似度を計算している。従って、形状及び分布が多岐にわたる異常陰影を含むＣＴ画像に対して、低解像度に変換すると、精度の高い類似度を算出することができない場合がある。このような類似度を用いた画像検索では、精度の高い症例検索を行うことができない。

また、上述した、ベクトルペア毎に特徴ベクトル間の類似度を示す距離を合算して類似度を算出する技術は、ベクトル集合から特徴ベクトルを抽出する処理が行われる。この場合、抽出した特徴ベクトルの精度が低いとき、特徴ベクトル間の距離を計算して類似度を算出しても、類似度の精度が低くなる場合がある。従って、かかる技術も、類似度の精度が低い場合がある。

そこで、一開示は、画像検索の精度を向上させることが可能な画像検索プログラム、画像検索装置、及び画像検索方法を提供することにある。

また、一開示は、類似度を高精度に算出することが可能な画像検索プログラム、画像検索装置、及び画像検索方法を提供することにある。

一開示は、第１の画像から前記第１の画像に類似する第２の画像を検索する画像検索装置におけるコンピュータに実行させる画像検索プログラムであって、前記第１の画像の画像データと前記第２の画像の画像データとに基づいて、前記第１の画像における第１の特徴量の分布と前記第２の画像における第２の特徴量の分布をそれぞれ抽出し、前記第１の特徴量と前記第２の特徴量とを正規化し、正規化した前記第１の特徴量と正規化した前記第２の特徴量とに基づいて、前記第１の特徴量と前記第２の特徴量の分布の類似度を算出し、前記分布の類似度を、前記第１の特徴量の分布に対応する第１のベクトルと前記第２の特徴量の分布に対応する第２のベクトルとのなす角度とし、前記第１の特徴量を前記第１のベクトルの大きさ、前記第２の特徴量を前記第２のベクトルの大きさとし、前記第１のベクトルと前記第２のベクトルとの間の距離に基づいて、類似度を算出し、算出した前記類似度に基づいて、前記第１の画像から前記第２の画像を検索する処理を前記コンピュータに実行させるプログラムにある。

一開示によれば、画像検索の精度を向上させることが可能である。また、一開示によれば、類似度を高精度に算出することが可能である。

図１は画像検索システムの構成例を表す図である。 図２（Ａ）はＣＴ画像の例、図２（Ｂ）はヒストグラムの例を夫々表す図である。 図３（Ａ）から図３（Ｆ）はヒストグラムの例を表す図である。 図４は類似度の例を表す図である。 図５（Ａ）から図５（Ｄ）はヒストグラムの例、図５（Ｅ）は類似度の例を夫々表す図である。 図６（Ａ）と図６（Ｂ）はヒストグラムの例、図６（Ｃ）は類似度の例を夫々表す図である。 図７は特徴抽出処理の例を表すフローチャートである。 図８は検索処理の例を表すフローチャートである。 図９は照合処理の例を表すフローチャートである。 図１０（Ａ）と図１０（Ｂ）は変換処理の例を表す図である。 図１１は画像検索装置のハードウェア構成例を表す図である。 図１２はＥＭＤの計算例を表す図である。

以下、本発明を実施するための形態について説明する。なお、以下の実施の形態は開示の技術を限定するものではない。そして、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［第１の実施の形態］
＜画像検索システムの構成例＞
図１は画像検索システム１０の構成例を表す図である。

画像検索システム１０は、画像検索装置１００と、画像データベース（以下、「画像ＤＢ」（ＤＢ：Data Base）と称する場合がある。）２００、及びＣＴ画像撮像装置３００を備える。

画像検索装置１００は、ＣＴ画像撮像装置３００で撮影された看者のＣＴ画像に対して、画像ＤＢ２００に登録された過去の症例を表すＣＴ画像と類似するＣＴ画像を検索する。そして、画像検索装置１００は、検索したＣＴ画像を、ＵＩ（User Interface）１４０により表示する。医師は、表示されたＣＴ画像に基づいて、患者の診断を行う。画像検索装置１００は、例えば、類似症例検索装置でもある。

なお、以下では、画像ＤＢ２００から読み出されたＣＴ画像を「ＣＴ画像」、ＣＴ画像撮像装置３００から出力されたＣＴ画像を「クエリ画像」とそれぞれ称する場合がある。

画像検索装置１００は、辞書登録モジュール（又は辞書登録部）１１０、特徴量辞書データベース（又は特徴量辞書ＤＢ（Data Base））１２０、検索モジュール（又は検索部）１３０、及びＵＩ１４０を備える。

なお、「モジュール」は、例えば、プログラム内において、ある機能を実現するサブプログラムを表す。ただし、以下では、そのような機能を実現する処理ブロックを「モジュール」として表している。従って、「辞書登録モジュール」１１０は、例えば、ＣＴ画像の特徴量を特徴量辞書ＤＢ１２０へ登録するなどの機能を有する処理ブロックであり、「検索モジュール」１３０は、例えば、クエリ画像に類似するＣＴ画像を検索するなどの機能を有する処理ブロックである。

辞書登録モジュール１１０は、画像ＤＢ２００から、過去の症例を表すＣＴ画像を読み出し、読み出したＣＴ画像のＣＴ値（又は画像データ）に基づいて、特徴量抽出処理を行い、ＣＴ画像の特徴量を抽出する。特徴量抽出処理の例は、動作例で説明する。そして、辞書登録モジュール１１０は、抽出した特徴量と、特徴量を抽出したＣＴ画像のＩＤなどを、特徴量辞書ＤＢ１２０へ登録（又は記憶）する。特徴量は、例えば、ＣＴ画像を格子状に分割した各格子領域において、異常陰影と判定された格子領域の数である。詳細は後述する。辞書登録モジュール１１０は、ヒストグラムを特徴量辞書ＤＢ１２０へ登録してもよい。ヒストグラムは、例えば、特徴量の分布を表す棒状グラフである。なお、以下では、特徴量とヒストグラムとを区別しないで用いる場合がある。

ここで、特徴量とヒストグラムの例について説明する。図２（Ａ）はＣＴ画像の例を表し、図２（Ｂ）はヒストグラムの例を表す。

図２（Ａ）に示すように、本第１の実施の形態では、ＣＴ画像として、肺をスライスした断面の画像が用いられる。辞書登録モジュール１１０では、各ＣＴ画像を、グリッド状の格子領域に分割し、格子領域毎に異常陰影か正常陰影かを識別する。また、辞書登録モジュール１１０では、各ＣＴ画像を、肺の中枢（例えば、体の中心部分）と末梢（例えば、体の中心部分以外の部分）に関する領域の３次元モデルに基づいて、中枢部分と末梢部分とに分割し、中枢部分毎、末梢部分毎に、異常陰影と識別した格子領域の数をカウントする。

図２（Ｂ）の例では、辞書登録モジュール１１０は、さらに、３次元モデルに基づいて、左肺の中枢部分と末梢部分、右肺の中枢部分と末梢部分とに分割し、それぞれの部分で、異常陰影と識別した格子領域の数をカウントしている。辞書登録モジュール１１０は、例えば、１人分の複数枚のＣＴ画像に対して、図２（Ｂ）に示す１つのヒストグラムを作成する。

図２（Ｂ）に示すヒストグラムでは、図面上、上側が「頭」の方向であり、下側が「足」の方向である。また、図２（Ｂ）において、横方向は、例えば、その位置において異常陰影と識別された格子領域の数を表している。

図２（Ａ）と図２（Ｂ）の例では、特徴量は、例えば、異常陰影と識別された格子領域の数であり、ヒストグラムは、例えば、その分布を表している。本第１の実施の形態では、このような例でヒストグラムと特徴量を説明する。

本第１の実施の形態における画像検索装置１００では、例えば、肺の中枢領域が肺門部を中心に３次元的に広がっているという医学的事実に着目して、肺の中枢と末梢に関する領域の３次元モデルを構築し、このモデルを用いた画像検索を行うことが可能である。

図１に戻り、特徴量辞書ＤＢ１２０は、例えば、メモリであり、特徴量やヒストグラムなどを記憶する。

検索モジュール１３０は、ＣＴ画像撮像装置３００から出力されたクエリ画像のＣＴ値（又は画像データ）に基づいて、特徴量算出処理を行い、クエリ画像の特徴量を算出する。検索モジュール１３０は、特徴量辞書ＤＢ１２０からＣＴ画像の特徴量を読み出し、読み出した特徴量と、クエリ画像の特徴量とに基づいて、類似度Ｒを算出する。そして、検索モジュール１３０は、算出した類似度Ｒに基づいて、クエリ画像に類似するＣＴ画像を検索する。類似度Ｒの算出処理などについては、動作例で説明する。検索モジュール１３０は、検索結果をＵＩ１４０へ出力する。

ＵＩ１４０は、例えば、モニタ１４１やキーボード１４２などであって、ユーザ（例えば医師）と画像検索装置１００との間で情報をやりとりするためのインタフェースである。ＵＩ１４０は、例えば、モニタ１４１などを介して、検索結果を表示する。この場合、ＵＩ１４０は、検索結果に対応するＣＴ画像を画像ＤＢ２００から読み出して表示してもよい。また、ＵＩ１４０は、例えば、検索キーを検索モジュール１３０へ出力し、ＣＴ画像撮像装置３００で撮影されたＣＴ画像の閲覧や、検索処理対象となるクエリ画像の選択、などを行うことも可能である。

画像ＤＢ２００は、例えば、メモリや記憶装置であって、過去の症例を表すＣＴ画像を記憶する。なお、画像ＤＢ２００は、各ＣＴ画像のファイル名や各ＣＴ画像のＩＤ（Identification）なども記憶してもよい。辞書登録モジュール１１０は、ＣＴ画像とそのファイル名などを画像ＤＢ２００から読み出し、対応するＣＴ画像のファイル名などを特徴量とともに、特徴量辞書ＤＢ１２０に記憶してもよい。

ＣＴ画像撮像装置３００は、例えば、照射器を回転させて人体にＸ線などの放射線を照射し、検出器により照射された放射線を検出することで、各画素においてＣＴ値を有するＣＴ画像を得る。ＣＴ画像撮像装置３００は、撮影したＣＴ画像をクエリ画像として、画像検索装置１００へ出力する。

＜類似度について＞
次に、本第１の実施の形態において用いられる類似度について説明する。

異常陰影の分布のヒストグラムは、症例によって、その総和（又は量）が大きく異なる場合がある。

図３（Ａ）は、クエリ画像のヒストグラムとＣＴ画像のヒストグラムの例を表す図である。特徴量は、いずれも、図２（Ｂ）と同様に、例えば、異常陰影と判定された格子領域の数である。

例えば、ＣＴ画像とクエリ画像は、異なる症例の画像であるものとする。この場合、ＥＭＤを類似度として利用する場合、図３（Ａ）の例では、上述したように、点ｐ_１の土の量ｗ_Ｐ１を、点ｑ_１の容積ｗ_Ｑ１の穴に全て埋め、点ｐ_２の土の量ｗ_Ｐ２を、点ｑ_２の容積ｗ_Ｑ２の穴に全て埋め、など、各点ｐ_ｉの土の量を最短距離（ｄ_ｉｊ＝０）で各点ｑ_ｉの穴に埋めることができる。従って、図３（Ａ）の例では、輸送コスト＝０となり、式（２）によるＥＭＤは「１００％」となる。

クエリ画像のヒストグラムがＣＴ画像のヒストグラムに含まれる場合、ＥＭＤが「１００％」となるため、クエリ画像の症例とは異なる症例のＣＴ画像が検索される場合がある。

そこで、画像検索装置１００では、量の類似度と分布の類似度とを別々に算出し、２つの類似度の重み付き和を類似度として用いる場合がある。式で表すと、例えば、以下となる。

なお、正規化する対象は、例えば、ヒストグラムに含まれる特徴量であるが、以下では、ヒストグラムを正規化することと、特徴量を正規化することとは同じ意味で用いる場合がある。

図３（Ｃ）に示すように、異常陰影が明瞭に現れている分布のヒストグラムｈ_ａに対して図３（Ｄ）は、全体にわたってノイズが少量しか出ていない分布のヒストグラムｈ_ｂとなっている。ノイズのヒストグラムｈ_ｂを正規化することで、図３（Ｆ）及び図３（Ｅ）に示すように、ＣＴ画像のヒストグラムｈ_ａを正規化したものと、その分布が類似する場合がある。そして、式（３）において、α>>βなど、分布の類似度に対する重み係数αを、量の類似度に対する重み係数βよりも十分大きくとった場合、分布の類似度が量の類似度よりも大きく評価されるため、分布の類似度が閾値より高いとき、２つのヒストグラムは類似する、と判定される場合がある。すなわち、異常陰影が明瞭に現れている分布のヒストグラム（例えば図３（Ｃ））と、ノイズが少量しか出ていない分布のヒストグラム（例えば図３（Ｄ））とが、類似すると判定される場合がある。

そこで、本第１の実施の形態では、類似度を以下のようにして算出する。すなわち、ヒストグラムを特徴空間の点と考え、ヒストグラムの正規化はベクトルの大きさの正規化であり、ヒストグラムの分布の類似度は同じ大きさのベクトル間の角度に相当するものと定義する。そして、画像検索装置１００は、ヒストグラムの分布の類似度と、ヒストグラムの大きさとを用いて、ヒストグラムを特徴空間の点として表し、その空間上で距離を測定する。

図４は、本第１の実施の形態で用いる類似度の例を表す図である。具体的には、例えば、画像検索装置１００は、以下のようにして類似度を算出する。

また、画像検索装置１００は、２つのヒストグラムｈ_ａ，ｈ_ｂの大きさ（又は量）｜ｈ_ａ｜，｜ｈ_ｂ｜をそれぞれ計算する。そして、画像検索装置１００は、一方のヒストグラムｈ_ａを、極座標（｜ｈ_ａ｜，０）へ、他方のヒストグラムｈ_ｂを、極座標（｜ｈ_ｂ｜，θ）へ、それぞれ写像する。

このように、本第１の実施の形態においては、類似度Ｒは、例えば、分布の類似度に基づく角度θと、量の類似度に基づくヒストグラムｈ_ａ，ｈ_ｂの大きさ｜ｈ_ａ｜，｜ｈ_ｂ｜とに基づいて算出される。従って、ヒストグラムｈ_ａ，ｈ_ｂの分布が類似しても、量が大きく異なると、類似度Ｒは閾値よりも低くなり、画像検索装置１００は、両者は類似していないと判定することが可能となる。よって、図３（Ｃ）と図３（Ｄ）に示すように、異常陰影が明瞭に現れている分布のヒストグラムと、ノイズが少量しか出ていない分布のヒストグラムとが、画像検索装置１００において、類似すると判定することもなくなり、画像検索の精度を向上させることができる。

また、図３（Ａ）と図３（Ｂ）に示すように、ＥＭＤを類似度として用いた場合、クエリ画像のヒストグラムがＣＴ画像のヒストグラムに含まれるとき、類似度が「１００％」となる場合があることを説明した。しかし、本第１の実施の形態における類似度Ｒは、ヒストグラムｈ_ａ，ｈ_ｂの分布が類似しても、量が大きく異なると、類似度Ｒは閾値よりも低くなり、両者は類似していないと判定することが可能となる。従って、類似度Ｒも、ＥＭＤを類似度として用いた場合と比較して、類似度としての精度を向上させることが可能となる。

なお、ヒストグラムｈ_ａ，ｈ_ｂの分布が類似し、かつ、量も類似していると、類似度Ｒは閾値よりも高くなり、画像検索装置１００は、両者は類似していると判定することが可能となる。

＜動作例＞
＜１．特徴抽出処理＞
図７は、画像検索装置１００における特徴抽出処理の例を表すフローチャートである。

画像検索装置１００は、特徴抽出処理により、画像データに基づいて、画像の特徴量を算出する。例えば、辞書登録モジュール１１０が、画像ＤＢ２００から読み出したＣＴ画像に対して、特徴抽出処理を行って特徴量を抽出する。また、例えば、検索モジュール１３０が、ＣＴ画像撮像装置３００から出力されたクエリ画像に対して、特徴量抽出処理を行って特徴量を抽出する。ここでは、辞書登録モジュール１１０で行われる場合を例にして、図７を説明する。

辞書登録モジュール１１０は、特徴抽出処理を開始すると（Ｓ１０）、ＣＴ画像を読み出して、ＣＴ画像から肺野領域を抽出する（Ｓ１１）。例えば、辞書登録モジュール１１０は、ＣＴ画像の各画素におけるＣＴ値（又は画像データ）と閾値とを比較して、図２（Ａ）に示すＣＴ画像に写っている、楕円形状となっている肺野領域を抽出する。この場合、辞書登録モジュール１１０は、スライス形状となっている、一人分の全ＣＴ画像に対して肺野領域を抽出してもよいし、一定枚数ごとに対象スライスのＣＴ画像を選択して、その選択したＣＴ画像の肺野領域を抽出してもよい。

この場合、辞書登録モジュール１１０は、例えば、内部メモリに肺の中枢と末梢に関する領域の３次元モデルに関するデータを保持し、ＣＴ画像の画像データと比較して、肺野領域のうち、左肺の中枢部分、左肺の末梢部分、右肺の中枢部分、右肺の末梢部分などと、各部分に分割することができる。

次に、辞書登録モジュール１１０は、ＣＴ画像に対して陰影識別を行う（Ｓ１２）。例えば、辞書登録モジュール１１０は、ＣＴ画像を所定画素範囲毎に格子領域に分割し、格子領域毎に、正常な画像か、異常な画像かを識別する。辞書登録モジュール１１０は、例えば、ＳＶＭ（Support Vector Machine）を用いて、正常か異常かを識別してもよい。

ＳＶＭは、例えば、教師あり学習を用いるパターン認識モデルの１つである。例えば、辞書登録モジュール１１０は、正常な格子の画像と、異常な格子の画像とを教師データとして、内部メモリに保持し、入力した格子状のＣＴ画像について、教師データを用いて正常か否かを判定する。辞書登録モジュール１１０は、公知の手法によるＳＶＭを用いて、正常か異常かを判定する。

なお、辞書登録モジュール１１０は、肺野領域抽出（Ｓ１１）で抽出した肺野領域（又は肺野領域の左右の肺の中枢部分と末梢部分の領域）における格子領域の画像に対して正常か異常かを識別してもよい。

次に、辞書登録モジュール１１０は、肺野領域の分布特徴を抽出する（Ｓ１３）。辞書登録モジュール１１０は、分布特徴として、ヒストグラムを作成（又は抽出）する。例えば、辞書登録モジュール１１０は、一人分のＣＴ画像において、肺野領域（又は肺野領域の左右の肺の中枢部分と末梢部分の領域）における格子領域の画像に対して、異常と識別した格子領域の数を、特徴量とするヒストグラムを作成する。ヒストグラムの例としては、図２（Ｂ）や図３（Ａ）などがある。

そして、辞書登録モジュール１１０は、特徴抽出処理を終了する（Ｓ１４）。

辞書登録モジュール１１０は、作成したヒストグラムを、特徴量辞書ＤＢ１２０へ記憶する。

＜２．検索処理＞
図８は、検索処理の例を表すフローチャートである。

検索モジュール１３０は、処理を開始すると（Ｓ２０）、クエリ画像をＣＴ画像撮像装置３００から入力する（Ｓ２１）。

次に、検索モジュール１３０は、特徴抽出処理を行う（Ｓ１０）。特徴抽出処理は、図７に示す特徴抽出処理である。検索モジュール１３０は、辞書登録モジュール１１０における特徴抽出処理と同一の処理を行い、クエリ画像に対して、ヒストグラムを作成する。

図８に戻り、次に、検索モジュール１３０は、照合処理を行う（Ｓ２２）。

図９は、照合処理の例を表すフローチャートである。

検索モジュール１３０は、処理を開始すると（Ｓ２２０）、ヒストグラムｈ_ａ，ｈ_ｂを入力する（Ｓ２２１）。例えば、検索モジュール１３０は、ＣＴ画像のヒストグラムｈ_ａを、特徴量辞書ＤＢ１２０から読み出すことで、ヒストグラムｈ_ａを入力し、特徴抽出処理（Ｓ１０）により、クエリ画像のヒストグラムｈ_ｂを得る。

図１０（Ａ）は変換処理の例を表す図である。

図１０（Ａ）に示すように、ＥＭＤの値がαのとき、（α，０）となる点を考える。この（α，０）と、（０，１）との線分と、（０，０．５）を中心にした半径１／２の円との交点を（β，γ）とする。

例えば、図１０（Ｂ）に示すように、ＥＭＤが十分大きな値のとき、（α，０）は、図１０（Ｂ）の横軸方向において原点から十分距離がある点となる。この場合、交点（β，ｒ）の「γ」は、「γ１」となり、（０，１）に近い点となる。この（α，０）を更に十分大きな値となったとき、交点（β，γ）の「γ」は、ほぼ「１」となる。

一方、ＥＭＤが「０」に近いとき、交点（β，γ）の「γ」は、「γ２」となり、原点に近い点となる。すなわち、ＥＭＤがほぼ「０」になるとき、「γ」はほぼ「０」になる。

すなわち、ＥＭＤの値域[－１，１]に対して、交点（β，γ）の「γ」の値域は[１，０]となり得る。

例えば、図１０（Ａ）の横軸をｘ、縦軸をｙとし、以下の連立方程式を、ｙについて解く。

連立方程式の解であるｙ、すなわち、γは、以下により得ることができる。

例えば、検索モジュール１３０は、式（８）を内部メモリから読み出して、計算したＥＭＤ＝αとして、式（８）に代入することで、値域が[１，０]であるγを得る。そして、検索モジュール１３０は、例えば、以下の式（９）を内部メモリから読み出して、γを式（９）に代入することで、値域が[－１，１]であるｚを得る。

そして、検索モジュール１３０は、以下の変換式を用いて、角度θを算出する（Ｓ２２４）。

なお、式（１０）の右辺は、例えば、ｃｏｓ^－１ｚとしてもよい。

角度θは、例えば、図４に示すように、２つのヒストグラムｈ_ａ，ｈ_ｂにおける分布の類似度（例えばＥＭＤ）に基づいて算出した値を表している。

図９に戻り、次に、検索モジュール１３０は、２つのヒストグラムｈ_ａ，ｈ_ｂを特徴空間に写像する（Ｓ２２５）。すなわち、検索モジュール１３０は、一方のヒストグラムｈ_ａを特徴空間におけるある１点に写像し、それを基準にして、他方のヒストグラムｈ_ｂを特徴空間に写像する。

２点Ｕ，Ｖを極座標系からｘ，ｙ座標系へ変換すると、
Ｕ＝（｜ｈ_ａ｜ｃｏｓ０，｜ｈ_ａ｜ｓｉｎ０）＝（｜ｈ_ａ｜，０）
Ｖ＝（｜ｈ_ｂ｜ｃｏｓθ，｜ｈ_ｂ｜ｓｉｎθ）
となる。

従って、２点Ｕ，Ｖ間の距離Ｄ（Ｈ_ａ，Ｈ_ｂ）は、

となる。

例えば、検索モジュール１３０は、式（１１）を内部メモリから読み出して、ヒストグラムｈ_ａ，ｈ_ｂの大きさ｜ｈ_ａ｜，｜ｈ_ｂ｜を算出し、Ｓ２２４で算出した角度θと大きさ｜ｈ_ａ｜，｜ｈ_ｂ｜とを式（１０）に代入することで、距離Ｄ（Ｈ_ａ，Ｈ_ｂ）を算出する。そして、検索モジュール１３０は、算出した距離Ｄ（Ｈ_ａ，Ｈ_ｂ）の逆数を計算し、計算結果を類似度Ｒとする。この場合、検索モジュール１３０は、距離Ｄ（Ｈ_ａ，Ｈ_ｂ）の逆数に比例する値を、類似度Ｒとしてもよい。

そして、検索モジュール１３０は、照合処理を終了する（Ｓ２２７）。

検索モジュール１３０は、照合処理（Ｓ２２）において、例えば、以下の処理を行っている。すなわち、検索モジュール１３０は、ＣＴ画像の特徴量の分布とクエリ画像の特徴量の分布とを正規化し、正規化した第１及び第２の特徴量の分布に基づいて、ＣＴ画像の特徴量とクエリ画像の特徴量の分布の類似度を算出する（Ｓ２２１～Ｓ２２３）。検索モジュール１３０は、算出した分布の類似度を、ＣＴ画像の特徴量の分布に対応する第１のベクトルと、クエリ画像の特徴量の分布に対応する第２のベクトルとのなす角度θとする（Ｓ２２４）。また、検索モジュール１３０は、ＣＴ画像の特徴量を第１のベクトルの大きさ、クエリ画像の特徴量を第２のベクトルの大きさとする。そして、検索モジュール１３０は、第１のベクトルと第２のベクトルとの間の距離に基づいて類似度Ｒを算出する（Ｓ２２５～Ｓ２２６）。

以上、照合処理（Ｓ２２）の例について説明した。

図８に戻り、次に、画像検索装置１００は、検索結果を表示する（Ｓ２３）。例えば、画像検索装置１００は、以下の処理を行う。

すなわち、検索モジュール１３０は、クエリ画像のヒストグラムに対して、特徴量辞書ＤＢ１２０に登録された全ＣＴ画像のヒストグラムとの間で照合処理を行う。そして、検索モジュール１３０は、類似度Ｒに基づいて、全ＣＴ画像のヒストグラムの中から、クエリ画像のヒストグラムと類似しているヒストグラムを検索する。検索モジュール１３０は、類似度Ｒが高い順に、ＣＴ画像のヒストグラムをソートし、予め決められた個数のＣＴ画像のヒストグラムを検索する。そして、検索モジュール１３０は、検索したヒストグラムに対応するＣＴ画像のＩＤ、類似度ＲなどをＵＩ１４０へ出力する。ＵＩ１４０は、検索結果として、類似度Ｒが高い順に、ＣＴ画像のＩＤなどを表示する。

そして、画像検索装置１００は、検索処理を終了する（Ｓ２４）。

上述したように、本第１の実施の形態における画像検索装置１００では、類似度Ｒを用いて、画像検索を行っているため、画像検索の精度向上を図り、類似度の精度も向上させることができる。

この場合、例えば、びまん性肺疾患のＣＴ画像のように、症例診断が難しいとされる画像検索においても、画像検索の精度向上を図ることができるため、画像検索装置１００では、患者のＣＴ画像（クエリ画像）に対して、びまん性肺疾患のＣＴ画像を検索することも可能となる。よって、医師は、診断に時間をかけることなく、このような症例判断な困難な症例を検索することも可能となる。

［その他の実施の形態］
図１１は、画像検索装置１００のハードウェア構成例を表す図である。

画像検索装置１００は、ＣＰＵ（Central Processing Unit）１６０、ＩＦ（Interface）１６１、ＲＯＭ（Read Only Memory）１６２、ＲＡＭ（Random Access Memory）１６３、メモリ１６４、モニタ１６５、及びキーボード１６６を備える。

ＣＰＵ１６０は、例えば、ＲＯＭ１６２に記憶されたプログラムを読み出して、ＲＡＭ１６３にロードし、ロードしたプログラムを実行することで、辞書登録モジュール１１０と検索モジュール１３０の機能を実現する。ＣＰＵ１６０は、例えば、辞書登録モジュール１１０と検索モジュール１３０に対応する。

なお、ＣＰＵ１６０に代えて、ＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのプロセッサやコントローラなどが用いられてもよい。

ＩＦ１６１は、画像ＤＢ２００からＣＴ画像の画像データを入力し、入力した画像データをＣＰＵ１６０へ出力する。また、ＩＦ１６１は、ＣＴ画像撮像装置３００からクエリ画像の画像データを入力し、入力した画像データをＣＰＵ１６０へ出力する。ＩＦ１６１は、例えば、辞書登録モジュール１１０と検索モジュール１３０に対応する。

メモリ１６４は、例えば、特徴量辞書ＤＢ１２０に対応する。また、モニタ１６５とキーボード１６６は、例えば、ＵＩ１４０に対応する。

上述した第１の実施の形態においては、分布の類似度Ｓの値域を[－１，１]へ変換後、角度θを算出する（図９のＳ２２４）際に、逆余弦関数を用いて角度θを算出する例について説明した。例えば、逆余弦関数に代えて、逆正弦関数（逆サイン関数）を用いてもよいし、値域が[－１，１]となっている値を角度θへ変換する他の関数を用いてよい。

以上まとめると、付記のようになる。

（付記１）
第１の画像から前記第１の画像に類似する第２の画像を検索する画像検索装置におけるコンピュータに実行させる画像検索プログラムであって、
前記第１の画像の画像データと前記第２の画像の画像データとに基づいて、前記第１の画像における第１の特徴量の分布と前記第２の画像における第２の特徴量の分布をそれぞれ抽出し、
前記第１の特徴量と前記第２の特徴量とを正規化し、正規化した前記第１の特徴量と正規化した前記第２の特徴量とに基づいて、前記第１の特徴量と前記第２の特徴量の分布の類似度を算出し、
前記分布の類似度を、前記第１の特徴量の分布に対応する第１のベクトルと前記第２の特徴量の分布に対応する第２のベクトルとのなす角度とし、前記第１の特徴量を前記第１のベクトルの大きさ、前記第２の特徴量を前記第２のベクトルの大きさとし、前記第１のベクトルと前記第２のベクトルとの間の距離に基づいて、類似度を算出し、
算出した前記類似度に基づいて、前記第１の画像から前記第２の画像を検索する
処理を前記コンピュータに実行させることを特徴とする画像検索プログラム。

（付記２）
前記第１の特徴量の分布に含まれる前記第１の特徴量に対して、該第１の特徴量の大きさを｜ｈ_ａ｜、定数をＣとすると、Ｃ／｜ｈ_ａ｜を乗算することで、該第１の特徴量を正規化し、前記第２の特徴量の分布に含まれる前記第２の特徴量に対して、該第２の特徴量の大きさを｜ｈ_ｂ｜とすると、Ｃ／｜ｈ_ｂ｜を乗算することで、該第２の特徴量を正規化することを特徴とする付記１記載の画像検索プログラム。

（付記３）
正規化した前記第１の特徴量と正規化した前記第２の特徴量とに基づいて、ＥＭＤ（Earth Mover’s Distance）を用いて、前記分布の類似度を算出することを特徴とする付記１記載の画像検索プログラム。

（付記４）
前記分布の類似度の値がαのとき、（α，０）と（０，１）とを結んだ線分と、中心が（０，０．５）の半径が１／２の円との交点を（β，γ）とすると、メモリから読み出した以下の式（１２）に類似度の値αを代入することで、値γを算出し、メモリから読み出した以下の式（１３）にγを代入することで、分布の類似度の値域が－１から１までの値ｚに変換し、値ｚに対して、メモリから読み出した式（１４）に代入することで、前記第１のベクトルと前記第２のベクトルのなす角度θを算出することを特徴とする付記１記載の画像検索プログラム。

（付記５）
前記第１の特徴量の分布に含まれる前記第１の特徴量の大きさを｜ｈ_ａ｜、前記第２の特徴量の分布に含まれる前記第２の特徴量の大きさを｜ｈ_ｂ｜、前記第１のベクトルと前記第２のベクトルとのなす角度をθとすると、前記第１のベクトルを極座標（｜ｈ_ａ｜，０）、前記第２のベクトルを極座標（｜ｈ_ｂ｜，θ）とし、極座標（｜ｈ_ａ｜，０）と極座標（｜ｈ_ｂ｜，θ）との間の距離に基づいて、前記類似度を算出することを特徴とする付記１記載の画像検索プログラム。

（付記６）
極座標（｜ｈ_ａ｜，０）と極座標（｜ｈ_ｂ｜，θ）との間の距離の逆数に比例する値を、前記類似度とすることを特徴とする付記５記載の画像検索プログラム。

（付記７）
前記類似度が高い順に複数の前記第２の画像を検索することを特徴とする付記１記載の画像検索プログラム。

（付記８）
前記第１及び第２の特徴量は、前記第１及び第２の画像において複数画素からなる格子領域に対して、異常陰影と判定した前記格子領域の数であることを特徴とする付記１記載の画像検索プログラム。

（付記９）
前記格子領域に対して、ＳＶＭ（Support Vector Machine）を用いて、異常陰影か否かを判定することを特徴とする付記８記載の画像検索プログラム。

（付記１０）
前記第１及び第２の画像は、人の肺の画像であり、前記特徴量は、肺の中枢部分の特徴量と末梢部分の特徴量を含むことを特徴とする付記１記載の画像検索プログラム。

（付記１１）
前記第１及び第２の画像は、ＣＴ（Computed Tomography）画像であり、前記第１及び第２の画像データは、ＣＴ値で表されることを特徴とする付記１記載の画像検索プログラム。

（付記１２）
第１の画像から前記第１の画像に類似する第２の画像を検索する画像検索装置において、
前記第１の画像の画像データに基づいて、前記第１の画像における第１の特徴量の分布を抽出する検索部と、
前記第２の画像の画像データに基づいて、前記第２の画像における第２の特徴量の分布を抽出する辞書登録部とを備え、
前記検索部は、
前記第１の特徴量と前記第２の特徴量とを正規化し、正規化した前記第１の特徴量と正規化した前記第２の特徴量とに基づいて、前記第１の特徴量と前記第２の特徴量の分布の類似度を算出し、
前記分布の類似度を、前記第１の特徴量の分布に対応する第１のベクトルと前記第２の特徴量の分布に対応する第２のベクトルとのなす角度とし、前記第１の特徴量を前記第１のベクトルの大きさ、前記第２の特徴量を前記第２のベクトルの大きさとし、前記第１のベクトルと前記第２のベクトルとの間の距離に基づいて、類似度を算出し、
算出した前記類似度に基づいて、前記第１の画像から前記第２の画像を検索する
ことを特徴とする画像検索装置。

（付記１３）
第１の画像から前記第１の画像に類似する第２の画像を検索する画像検索装置における画像検索方法であって、
前記第１の画像の画像データと前記第２の画像の画像データとに基づいて、前記第１の画像における第１の特徴量の分布と前記第２の画像における第２の特徴量の分布をそれぞれ抽出し、
前記第１の特徴量と前記第２の特徴量とを正規化し、正規化した前記第１の特徴量と正規化した前記第２の特徴量とに基づいて、前記第１の特徴量と前記第２の特徴量の分布の類似度を算出し、
前記分布の類似度を、前記第１の特徴量の分布に対応する第１のベクトルと前記第２の特徴量の分布に対応する第２のベクトルとのなす角度とし、前記第１の特徴量を前記第１のベクトルの大きさ、前記第２の特徴量を前記第２のベクトルの大きさとし、前記第１のベクトルと前記第２のベクトルとの間の距離に基づいて、類似度を算出し、
算出した前記類似度に基づいて、前記第１の画像から前記第２の画像を検索する
ことを特徴とする画像検索方法。

１０：画像検索システム １００：画像検索装置
１１０：辞書登録モジュール １２０：特徴量辞書ＤＢ
１３０：検索モジュール １４０：ＵＩ
１６０：ＣＰＵ ２００：画像ＤＢ
３００：ＣＴ画像撮像装置

Claims (6)

1. 第１の画像から前記第１の画像に類似する第２の画像を検索する画像検索装置におけるコンピュータに実行させる画像検索プログラムであって、
   前記第１の画像の画像データと前記第２の画像の画像データとに基づいて、前記第１の画像における第１の特徴量の分布と前記第２の画像における第２の特徴量の分布をそれぞれ抽出し、
   前記第１の特徴量と前記第２の特徴量とを正規化し、正規化した前記第１の特徴量と正規化した前記第２の特徴量とに基づいて、前記第１の特徴量と前記第２の特徴量の分布の類似度を算出し、
   前記分布の類似度を、前記第１の特徴量の分布に対応する第１のベクトルと前記第２の特徴量の分布に対応する第２のベクトルとのなす角度とし、前記第１の特徴量を前記第１のベクトルの大きさ、前記第２の特徴量を前記第２のベクトルの大きさとし、前記第１のベクトルと前記第２のベクトルとの間の距離に基づいて、類似度を算出し、
   算出した前記類似度に基づいて、前記第１の画像から前記第２の画像を検索する
   処理を前記コンピュータに実行させることを特徴とする画像検索プログラム。
2. 前記分布の類似度の値がαのとき、（α，０）と（０，１）とを結んだ線分と、中心が（０，０．５）の半径が１／２の円との交点を（β，γ）とすると、メモリから読み出した以下の式（１）に類似度の値αを代入することで、値γを算出し、メモリから読み出した以下の式（２）にγを代入することで、分布の類似度の値域が－１から１までの値ｚに変換し、値ｚに対して、メモリから読み出した式（３）に代入することで、前記第１のベクトルと前記第２のベクトルのなす角度θを算出することを特徴とする請求項１記載の画像検索プログラム。
   

   

   

   
3. 前記第１の特徴量の分布に含まれる前記第１の特徴量の大きさを｜ｈ_ａ｜、前記第２の特徴量の分布に含まれる前記第２の特徴量の大きさを｜ｈ_ｂ｜、前記第１のベクトルと前記第２のベクトルとのなす角度をθとすると、前記第１のベクトルを極座標（｜ｈ_ａ｜，０）、前記第２のベクトルを極座標（｜ｈ_ｂ｜，θ）とし、極座標（｜ｈ_ａ｜，０）と極座標（｜ｈ_ｂ｜，θ）との間の距離に基づいて、前記類似度を算出することを特徴とする請求項１記載の画像検索プログラム。
4. 前記第１及び第２の画像は、人の肺の画像であり、前記特徴量は、肺の中枢部分の特徴量と末梢部分の特徴量を含むことを特徴とする請求項１記載の画像検索プログラム。
5. 第１の画像から前記第１の画像に類似する第２の画像を検索する画像検索装置において、
   前記第１の画像の画像データに基づいて、前記第１の画像における第１の特徴量の分布を抽出する検索部と、
   前記第２の画像の画像データに基づいて、前記第２の画像における第２の特徴量の分布を抽出する辞書登録部とを備え、
   前記検索部は、
   前記第１の特徴量と前記第２の特徴量とを正規化し、正規化した前記第１の特徴量と正規化した前記第２の特徴量とに基づいて、前記第１の特徴量と前記第２の特徴量の分布の類似度を算出し、
   前記分布の類似度を、前記第１の特徴量の分布に対応する第１のベクトルと前記第２の特徴量の分布に対応する第２のベクトルとのなす角度とし、前記第１の特徴量を前記第１のベクトルの大きさ、前記第２の特徴量を前記第２のベクトルの大きさとし、前記第１のベクトルと前記第２のベクトルとの間の距離に基づいて、類似度を算出し、
   算出した前記類似度に基づいて、前記第１の画像から前記第２の画像を検索する
   ことを特徴とする画像検索装置。
6. 第１の画像から前記第１の画像に類似する第２の画像を検索する画像検索装置における画像検索方法であって、
   前記第１の画像の画像データと前記第２の画像の画像データとに基づいて、前記第１の画像における第１の特徴量の分布と前記第２の画像における第２の特徴量の分布をそれぞれ抽出し、
   前記第１の特徴量と前記第２の特徴量とを正規化し、正規化した前記第１の特徴量と正規化した前記第２の特徴量とに基づいて、前記第１の特徴量と前記第２の特徴量の分布の類似度を算出し、
   前記分布の類似度を、前記第１の特徴量の分布に対応する第１のベクトルと前記第２の特徴量の分布に対応する第２のベクトルとのなす角度とし、前記第１の特徴量を前記第１のベクトルの大きさ、前記第２の特徴量を前記第２のベクトルの大きさとし、前記第１のベクトルと前記第２のベクトルとの間の距離に基づいて、類似度を算出し、
   算出した前記類似度に基づいて、前記第１の画像から前記第２の画像を検索する
   ことを特徴とする画像検索方法。

Images