JP4883719B2 - 類似画像検索方法および装置 - Google Patents

Description

本発明は、類似画像検索方法および装置に係り、特に、胃生検診断などの医療分野において、過去の検索結果に対する専門医の主観的な評価をフィードバックして検索結果の精度を向上させた類似画像検索方法および装置に関する。

病理専門医の不足から、専門医の診断を支援する診断支援装置に対する要求が高まりつつある。特許文献１には、診断対象の生検画像をクエリ画像として入力すると、予めデータベースに登録されている多数の病理組織標本画像の中から前記クエリ画像に類似した標本画像を検索して専門医へ提供する技術が開示されている。

この従来技術では、クエリ画像および標本画像の各特徴量が、複数種類の学習サンプルにより最適化された抽出条件により抽出される。より具体的には、図１１に一例を示したように、比較対照の画像をブロック単位(ブロックサイズS)に分割し、各ブロック内で、病理専門医が診断において重要とみなす核-細胞質比(N/C比)などの値が画像特徴量として求められ、各ブロック内での各特徴量の頻度分布を次元数Dおよび定義域Xにしたがってベクトル表現した値が特徴量（特徴ベクトル）とされる。そして、この特徴ベクトルが特徴空間に射影され、特徴ベクトル間の距離が各画像の類似度として算出される。
特願２００７−５４３５３号

上記した従来技術では、画像から特徴量を抽出して特徴空間へ射影する際に設定されるブロックサイズS，次元数D，定義域Xといったパラメータ（以下、特徴抽出条件と表現する場合もある)が、初めに数種類の学習サンプルにより最適化され、その後は、いかなるクエリ画像に対しても同一条件が適用されていた。

しかしながら、画像から抽出される特徴量は前記特徴抽出条件に依存し、画像が同一であっても特徴抽出条件が異なれば特徴ベクトルも異なる。したがって、クエリ画像の特徴ベクトルと標本画像の特徴ベクトルとを特徴空間で比較し、この比較結果に基づいて各標本画像を類似画像および非類似画像に選別する際も、類似画像と非類似画像との選択性は特徴抽出条件に依存する。

そして、選択性の高い特徴抽出条件は各クエリ画像に固有なので、特徴抽出条件はクエリ画像ごとに最適化することが望ましい。しかしながら、全てのクエリ画像に関して特徴抽出条件を最適化しようとすれば、処理負荷が増大して検索時間が長くなり、実用時間での類似検索が難しくなる。

本発明の目的は、上記した従来技術の課題を解決し、短時間で検索精度の高い類似画像検索を可能にする類似画像検索方法および装置を提供することにある。

上記した目的を達成するために、本発明は、標本画像の集合からクエリ画像に類似した画像を検索する類似画像検索装置において、複数の過去クエリ画像を、各過去クエリ画像に固有の特徴抽出条件と対応付けて記憶する記憶手段と、クエリ画像および各標本画像の特徴量を、当該クエリ画像に類似した過去クエリ画像に固有の特徴抽出条件で抽出する特徴量抽出手段と、クエリ画像および各標本画像の特徴量に基づいて画像間の類似度を算出する類似度算出手段と、クエリ画像との類似度が高い標本画像を類似候補として抽出する類似候補抽出手段と、類似候補から、前記クエリ画像に類似した過去クエリ画像と非類似の画像を削除する非類似画像削除手段と、非類似画像を含まない類似候補を検索結果として出力する出力手段と、検索結果に対する評価を入力する評価入力手段と、入力された評価に基づいて前記特徴抽出条件を最適化する最適化手段と、クエリ画像およびその最適化された特徴抽出条件を、過去クエリ画像およびその特徴抽出条件として前記記憶手段に登録するフィードバック手段とを含むことを特徴とする。

本発明によれば、以下のような効果が達成される。
(1)クエリ画像と各標本画像との類似度算出に有効な特徴量抽出条件が、このクエリ画像に類似する過去クエリ画像と対応付けられている当該過去クエリ画像に固有の特徴量抽出条件の中から選択されるので、クエリ画像に類似する画像の探索に有効な特徴量抽出条件を短時間で探索できるようになる。
(2)類似画像の検索結果に対する専門医の類似／非類似の判定結果に基づいて特徴抽出条件を最適化し、クエリ画像およびその最適化された特徴抽出条件を、過去クエリ画像およびその特徴抽出条件としてフィードバックするようにしたので、検索精度の向上が可能になる。

以下、図面を参照して本発明の最良の実施形態について詳細に説明する。図１は、本発明に係る類似画像検索装置の主要部の構成を示したブロック図である。

画像データ入力部２には、標本画像、サンプル画像およびクエリ画像の各画像データが、一般的な画像フォーマットのJPEG、BITMAPあるいは医療画像フォーマットのDICOMで入力される。ここで、サンプル画像とは、専門医のフィードバック結果を予め抽出することを目的として、クエリ画像を用いた実際の検索の前にシステムに入力される訓練用の画像である。なお、本実施形態では画像データを入力する際、当該画像データの特定の領域を検索するために、画像内で特に着目したい領域(ROI：Region of Interest)を指定できる。

データベース（DB）１には、前記標本画像、サンプル画像、クエリ画像および後述する過去クエリ画像を固有の画像IDと対応付けて記憶する各画像フィールドと共に、過去クエリ画像の特徴パラメータを記憶する特徴パラメータフィールドが設けられている。

図８は、前記画像フィールドの一例を示した図であり、多数の過去クエリ画像が、その画像ID、画像データ、ROI、専門医の所見データ、その他の個人情報、および他の過去クエリ画像との類似判定結果のデータなどが登録されている。なお、前記ROIは、図９に示したように、画像内の右上座標(a,b)および左下座標(c,d)で与えられる。

図１０は、前記特徴パラメータフィールドの一例を示した図であり、当該フィールドには、各標本画像と過去クエリ画像とを比較した際に画像間の類似／非類似の選択性が高くなる特徴抽出条件Foptおよびその基準条件Frefが登録されている。本実施形態では、多数の特徴抽出条件Foptが、そのID、過去クエリ画像の画像ID、特徴パラメータ（本実施形態では、ブロックサイズS、次元数Dおよび定義域X）、類似画像IDおよび非類似画像IDと対応付けられている。

領域分割部３では、画像が医学的特徴量に基づいて複数の領域に分割される。画像データが胃生検画像であれば、細胞核領域、腺管領域、間質領域および背景領域に４分割される。この領域分割に関しては、本発明の発明者による特許出願（特願2008-053500号）に開示されているので、ここにその内容を援用する。

特徴量抽出部４では、前記領域分割部３で分割された各領域から画像特徴量が抽出されて特徴空間へ射影される。本実施形態では、専門医が診断する際に特に注目する細胞質領域に占める(A)細胞核の割合(N/C比)、(B)腺管領域の平均サイズ、(C)間質領域に占める腺管領域の割合が、それぞれ特徴量として抽出される。

また、本実施形態では各画像から特徴量を抽出し、その特徴ベクトルを特徴空間へ射影する際のパラメータ（特徴抽出条件）として、図１１に示した従来技術と同様に、ブロックサイズS、次元数Dおよび定義域Xが設定されており、その最適値が条件探索部４ａにより探索される。前記条件探索部４ａでは、クエリ画像に類似した過去クエリ画像と対応付けられている特徴抽出条件が探索され、当該過去クエリ画像に固有の特徴抽出条件にしたがって特徴量が抽出される。すなわち、領域分割された各画像が前記ブロックサイズSで複数のブロックに分割され、各ブロック内での前記各特徴量（N/C比、腺管領域の平均サイズ、間質領域に占める腺管領域の割合）の頻度分布を前記次元数Dおよび定義域Xにしたがってベクトル表現した値が特徴量（特徴ベクトル）とされる。

類似度算出部５では、前記特徴量抽出部４で得られた特徴ベクトルに基づいて画像間の類似度が算出される。類似画像出力部６は、類似候補抽出部６ａおよび非類似画像削除部６ｂを含み、クエリ画像との類似度が高い標本画像のみを検索結果として表示部７へ出力する。前記類似候補抽出部６ａは、クエリ画像との類似度が高い標本画像を類似候補として抽出する。非類似画像削除部６ｂは、前記類似候補から、当該クエリ画像に類似した過去クエリ画像と非類似の画像を削除する。

評価入力部８からは、前記検索結果を参照した専門医が医学的な見知で各検索結果の標本画像を主観的に類似画像および非類似画像に分類した類似判定結果データが入力される。最適化部９は、今回の類似画像検索で利用された特徴抽出条件を前記類似判定結果データに基づいて最適化する。フィードバック部１０は、前記クエリ画像が過去クエリ画像として、前記最適化された特徴抽出条件と対応付けてDB１に登録する。

次いで、フローチャートを参照して本発明に係る類似画像検索の手順を詳細に説明する。本発明の類似画像検索は、複数のサンプル画像に関して、それぞれに固有の特徴抽出条件を設定する学習処理（第１の処理）と、クエリ画像に類似する標本画像を検索する際に、類似画像と非類似画像との選択性が高くなる特徴抽出条件を前記各サンプル画像に固有の特徴抽出条件の中から探索する検索前処理と、この特徴抽出条件を利用してクエリ画像に類似した標本画像を抽出すると共に、この検索結果に対する評価に基づいて前記特徴抽出条件を最適化し、次回以降の前処理で再利用できるようにフィードバックする検索処理とを含む。

図２，３，４は、本発明に係る類似画像検索方法の手順を示したフローチャートであり、図２は、複数のサンプル画像に関して、それぞれに固有の特徴抽出条件を探索する学習処理の手順を示したフローチャートであり、ここでは、４つのサンプル画像Ismp_1，Ismp_2…Ismp_4に関して、それぞれに固有の４つの特徴抽出条件Fopt_1，Fopt_2…Fopt_4が探索される場合を例にして説明する。

図３は、各サンプル画像に固有の特徴抽出条件Fopt_1〜Fopt_4の中から、今回のクエリ画像に類似する標本画像の検索に有効と推定される特徴抽出条件を選択する検索前処理の手順を示したフローチャートである。図４は、前記検索前処理で選択された特徴抽出条件を利用して、クエリ画像に類似した標本画像を検索する検索処理の手順を示したフローチャートである。

図２において、ステップＳ１で学習用のサンプル画像Ismp_1が画像データ入部２から入力されると、ステップＳ２では、前記領域分割部３において、このサンプル画像Ismp_1を対象に領域分割が実行され、当該サンプル画像が細胞質領域の画像あるいは細胞核領域の画像等に４分割される。ステップＳ３では、予めDB１の特徴パラメータフィールドに登録されている特徴抽出の基準条件Fref[S0，D0，X0]が取り込まれる。ステップＳ４では、DB１に登録されている標本画像Isの一つが選択され、その４分割された各領域の画像が抽出される。ステップＳ５では、前記基準条件Frefを利用して、前記サンプル画像Ismpおよび標本画像Isの各分割領域の画像特徴量が、前記特徴量抽出部４により抽出され、その特徴ベクトルが特徴空間へ射影される。

ステップＳ６では、前記類似度算出部５において、各画像の特徴量（特徴ベクトル）が特徴空間で比較されて両者の類似度が分割領域ごとに算出される。ステップＳ７では、DB１に登録されている全ての標本画像Isとの類似度算出が完了したか否かが判定される。完了していなければステップＳ４へ戻り、標本画像Isを切り換えながら類似度算出が繰り返される。

なお、これ以後の学習処理も、前記４分割された各領域の画像ごとに独立的に実行されるが、ここでは説明を判り易くするために、学習処理が領域ごとではなく、画像単位で進行するものとして説明する。

全ての標本画像との比較が完了するとステップＳ８以降へ進み、図５に模式的に示したように、検索結果を専門医に提供すると共に、この検索結果に対する専門医の前記類似判定結果データに基づいて基準条件Frefを最適化することで、今回のサンプル画像Ismp_1に固有の特徴抽出条件Fopt_1[S1，D1，X1]が生成される。

すなわち、ステップＳ８では、前記類似画像出力部６により、類似度が上位の複数の標本画像Isが、今回のサンプル画像Ismp_1に関する検索結果として表示部７に表示される。ステップＳ９において、この検索結果を参照した専門医により、各標本画像Isを類似画像（○）および非類似画像（×）に分類する類似判定結果データが評価入力部８から入力されると、ステップＳ１０では、部分空間法などの適宜の手法を利用して、前記類似画像（○）と非類似画像（×）との選択性が最大となるように最適化された特徴抽出条件Fopt_1が、前記最適化部９により探索される。ステップＳ１１では、今回のサンプル画像Ismp_1が、前記最適化された特徴抽出条件Fopt_1と対応付けられて、前記フィードバック部１０により過去クエリ画像Ipの一つとしてDB１に登録される。

上記した学習処理は全てのサンプル画像（ここでは、Ismp1〜Ismp4）を対象に実行されるので、DB１には、４つのサンプル画像Ismp_1〜Ismp4が、当該各サンプル画像に固有の４つの特徴空間Fopt_1〜Fopt_4と対応付けられて記憶されることになる。

次いで、図３のフローチャートを参照して、各過去クエリ画像Ipに固有の特徴抽出条件Fopt_1〜Fopt_4の中から、今回のクエリ画像Icに類似する標本画像の検索に有効と推定される特徴抽出条件を選択する検索前処理について説明する。

ステップＳ２１でクエリ画像Icが入力されると、ステップＳ２２では、このクエリ画像Icに対して前記と同様に領域分割が実行され、当該クエリ画像Icが細胞質領域の画像あるいは細胞核領域の画像等に４分割される。なお、この検索前処理も各領域の画像ごとに独立的に実行されるが、これ以後は説明を判り易くするために、検索前処理が領域ごとではなく、画像単位で進行するものとして説明する。

ステップＳ２３では、注目する過去クエリ画像Ip_iおよび特徴抽出条件Fopt_jを識別する変数i，jに初期値として「１」がセットされる。ステップＳ２４では、j番目の過去クエリ画像Ip_jと対応付けられているj番目の特徴抽出条件Fopt_jがDB１から取り込まれる。ステップＳ２５以降では、図６に模式的に示したように、クエリ画像Icと各過去クエリ画像Ip_iとの類似度Sが、各過去クエリ画像Ipと対応付けられている特徴抽出条件Fopt_jごとに算出される。

すなわち、ステップＳ２５では、i番目の過去クエリ画像Ip_iがDB１から取り込まれる。ステップＳ２６では、クエリ画像Icおよび過去クエリ画像Ip_iの特徴量が前記特徴抽出条件Fopt_jで抽出され、その特徴ベクトルが特徴空間に射影される。ステップＳ２７では、クエリ画像Icおよび過去クエリ画像Ip_iの特徴ベクトルが比較されて両者の類似度Si,jが算出される。ステップＳ２８では、変数iがインクリメントされて注目する過去クエリ画像Ipが切り換えられる。ステップＳ２９では、今回の特徴抽出条件Fopt_jに関してクエリ画像Icと全ての過去クエリ画像Ip_iとの類似度算出が完了したか否かが判定される。完了していなければステップＳ２５へ戻り、上記した類似度算出処理が過去クエリ画像Ip_iのみを切り換えながら繰り返される。

今回の特徴抽出条件Fopt_jに関して、クエリ画像Icと全ての過去クエリ画像Ip_i（Ip_1〜Ip_4）との類似度算出が完了するとステップＳ３０へ進み、クエリ画像Icと過去クエリ画像Ip_jとの類似度Sj,jが他の類似度よりも上位であるか否か、すなわち、今回の特徴抽出条件Fopt_jを利用すれば類似／非類似の選択性が高くなると判定されている過去クエリ画像Ip_jとクエリ画像Icとの類似度が、他の類似度よりも高いか否かが判定される。特徴抽出条件Fopt_jで抽出された特徴ベクトルに基づいて算出されたIc／Ip_jのペアの類似度Sj,jが高ければステップＳ３１へ進み、当該ペア（Ic／Ip_j）が類似画像ペアとして登録される。

ステップＳ３２では、変数jがインクリメントされ、注目する特徴抽出条件Fopt_jが切り換えられる。ステップＳ３３では、全ての特徴抽出条件Fopt_jに関して、クエリ画像Icと全ての過去クエリ画像Ip_iとの類似度算出が完了したか否かが判定される。完了していなければ、ステップＳ３４で変数iに初期値「１」をセットしてステップＳ２４へ戻り、特徴抽出条件Fopt_jを切り換えながら類似度算出処理が繰り返される。

次いで、図４のフローチャートを参照して、前記検索前処理で選択された特徴抽出条件Foptを利用して、クエリ画像Icに類似した標本画像IsをDB１から検索する検索処理について説明する。

ステップＳ５１では、前記類似画像ペアの中から類似度が最も高いペアの特徴抽出条件Foptが、前記クエリ画像に有効な特徴抽出条件Foptとして選択される。ステップＳ５２では、DB１から標本画像Isの一つが取り込まれる。ステップＳ５３では、クエリ画像Icおよび今回の標本画像Isの各特徴量が、前記特徴抽出条件Foptを利用して抽出され、その特徴ベクトルが特徴空間に射影される。ステップＳ５４では、各画像の類似度が前記特徴ベクトルに基づいて算出される。

ステップＳ５５では、全ての標本画像Isに関して類似度算出が完了したか否かが判定される。完了していなければステップＳ５２へ戻り、標本画像Isを切り換えながら上記した各処理が繰り返される。ステップＳ５６以降では、図７に模式的に表現したように、前記類似度算出の結果に基づいて検索結果が出力される。

すなわち、ステップＳ５６では、類似度が上位の標本画像が類似画像候補として選抜される。ステップＳ５７では、前記類似画像候補の中から、前記選択された類似画像ペアの過去クエリ画像との類似度が所定の基準値を下回る非類似画像が削除される。すなわち、前記特徴抽出条件Foptが過去クエリ画像Fopt_1に固有の特徴抽出条件Fopt_1であるならば、当該特徴抽出条件Fopt_1を最適化した際（図５参照）の類似判定結果データにおいて非類似に分類されていた画像が削除される。ステップＳ５８では、この非類似画像を除いた残りの類似画像候補が、最終的な検索結果として表示部７へ出力される。

ステップＳ５９において、この検索結果を参照した専門医により、各標本画像Isを類似画像および非類似画像に分類する類似判定結果データが入力されると、前記図５と同様に、ステップＳ６０では、部分空間法などの適宜の手法を利用して、前記類似画像と非類似画像との選択性が最大となるように前記特徴抽出条件Foptが最適化される。ステップＳ６１では、今回のクエリ画像Icおよびその最適化された特徴抽出条件Foptがフィードバックされ、過去クエリ画像Ipおよびその特徴抽出条件として前記DB１に登録される。

本発明に係る類似画像検索装置の構成を示したブロック図である。 学習処理の手順を示したフローチャートである。 検索前処理の手順を示したフローチャートである。 検索処理の手順を示したフローチャートである。 特徴抽出条件の最適化方法を示した図である。 クエリ画像に類似する過去クエリ画像の探索方法を示した図である。 検索結果の出力方法を示した図である。 画像データフィールドの一例を示した図である。 ROIの指定方法を示した図である。 特徴パラメータフィールドの一例を示した図である。 画像の特徴量を特徴抽出条件に従って抽出する方法を示した図である。

符号の説明

１…データベース（DB），２…画像データ入力部，３…領域分割部，４…特徴量抽出部，５…類似度算出部，６…類似画像出力部，６ａ…類似候補抽出部，６ｂ…非類似画像削除部，７…表示部，８…評価入力部，９…最適化部，１０…フィードバック部

Claims (5)

1. 標本画像の集合からクエリ画像に類似した画像を検索する類似画像検索装置において、
   複数の過去クエリ画像を、各過去クエリ画像に固有の特徴抽出条件と対応付けて記憶する記憶手段と、
   クエリ画像および各標本画像の特徴量を、当該クエリ画像に類似した過去クエリ画像に固有の特徴抽出条件で抽出する特徴量抽出手段と、
   前記クエリ画像および各標本画像の特徴量に基づいて画像間の類似度を算出する類似度算出手段と、
   前記クエリ画像との類似度が高い標本画像を類似候補として抽出する類似候補抽出手段と、
   前記類似候補から、前記クエリ画像に類似した過去クエリ画像と非類似の画像を削除する非類似画像削除手段と、
   前記非類似画像を含まない類似候補を検索結果として出力する出力手段と、
   前記検索結果に対する評価を入力する評価入力手段と、
   前記入力された評価に基づいて前記特徴抽出条件を最適化する最適化手段と、
   前記クエリ画像およびその最適化された特徴抽出条件を、過去クエリ画像およびその特徴抽出条件として前記記憶手段に登録するフィードバック手段とを含むことを特徴とする類似画像検索装置。
2. 前記特徴量抽出手段が、
   クエリ画像および各過去クエリ画像の特徴量を、一の過去クエリ画像に固有の特徴抽出条件で抽出し、これを各過去クエリ画像に固有の特徴抽出条件について繰り返す手段と、
   前記クエリ画像の特徴量と各過去クエリ画像の特徴量とを比較して、当該クエリ画像と各過去クエリ画像との類似度を算出する手段と、
   前記クエリ画像および一の過去クエリ画像の特徴量を当該一の過去クエリに固有の特徴抽出条件で抽出した際の各画像の類似度が、前記クエリ画像および前記一以外の他の過去クエリ画像の特徴量を前記一の過去クエリ画像に固有の特徴抽出条件で抽出した際の各画像の類似度よりも高くなる当該特徴抽出条件を探索する手段とを含み、
   前記探索された特徴抽出条件で、前記クエリ画像および各標本画像の特徴量を抽出することを特徴とする請求項１に記載の類似画像検索装置。
3. サンプル画像および標本画像の特徴量を所定の基準条件で抽出する手段と、
   前記サンプル画像および標本画像の特徴量に基づいて画像間の類似度を算出する手段と、
   サンプル画像との類似度が高い標本画像を抽出する手段と、
   前記類似度が高い標本画像に対する評価を入力する手段と、
   前記入力された評価に基づいて前記基準条件を最適化する手段と、
   前記サンプル画像およびその最適化された基準条件を、過去クエリ画像およびその特徴抽出条件として前記記憶手段に登録する手段とを含むことを特徴とする請求項１または２に記載の類似画像検索装置。
4. 画像を複数の領域に分割する領域分割手段をさらに具備し、前記類似画像検索が領域ごとに行われることを特徴とする請求項１ないし３のいずれかに記載の類似画像検索装置。
5. 標本画像の集合からクエリ画像に類似した画像を検索する類似画像検索方法において、
   クエリ画像および各標本画像の特徴量を、当該クエリ画像に類似した過去クエリ画像に固有の特徴抽出条件で抽出する手順と、
   前記クエリ画像および各標本画像の特徴量に基づいて画像間の類似度を算出する手順と、
   クエリ画像との類似度が高い標本画像を類似候補として抽出する手順と、
   前記類似候補から、前記クエリ画像に類似した過去クエリ画像と非類似の画像を削除する手順と、
   前記非類似画像を含まない類似候補を検索結果として出力する手順と、
   前記検索結果に対する評価を入力する手順と、
   前記入力された評価に基づいて前記特徴抽出条件を最適化する手順と、
   前記クエリ画像およびその最適化された特徴抽出条件を、過去クエリ画像およびその特徴抽出条件として登録する手順とを含むことを特徴とする類似画像検索方法。