以下、図面を参照しながら、医用画像処理装置、方法及びシステムの実施形態について詳細に説明する。
(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理システムの構成例を示す図である。
例えば、図1に示すように、本実施形態に係る医用画像処理システム100は、モダリティ110と、医用画像保管装置120と、医用画像処理装置130とを含む。ここで、モダリティ110と、医用画像保管装置120と、医用画像処理装置130とは、ネットワーク140を介して相互に通信可能に接続されている。
モダリティ110は、被検体の画像を撮像する。例えば、モダリティ110は、MRI装置、X線CT装置、X線診断装置、超音波診断装置、PET(Positron Emission Tomography)装置、SPECT(Single Photon Emission Computed Tomography)装置等である。なお、モダリティ110は、医用画像診断装置とも呼ばれる。
医用画像保管装置120は、ネットワーク140を介して、モダリティ110から画像(画像データ)を取得し、取得した画像を自装置内の記憶回路に記憶させる。例えば、医用画像保管装置120は、サーバやワークステーション等のコンピュータ機器によって構成されたPACSとして実現される。
医用画像処理装置130は、ネットワーク140を介してモダリティ110又は医用画像保管装置120から画像を取得し、取得した画像に基づいて各種処理を行う。例えば、医用画像処理装置130は、サーバやワークステーション、パーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。
具体的には、医用画像処理装置130は、ネットワーク(NetWork:NW)インタフェース131、記憶回路132、入力インタフェース133、ディスプレイ134、及び処理回路135を有する。
NWインタフェース131は、ネットワーク140を介して接続された他の装置との間で送受信される各種データの伝送及び通信を制御する。具体的には、NWインタフェース131は、処理回路135に接続されており、モダリティ110又は医用画像保管装置120から受信した画像を処理回路135に出力する。例えば、NWインタフェース131は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
記憶回路132は、各種データを記憶する。具体的には、記憶回路132は、処理回路135に接続されており、処理回路135から送られる命令に応じて、入力された画像を記憶し、又は、記憶している画像を処理回路135に出力する。例えば、記憶回路132は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。なお、記憶回路132は、記憶部の一例である。
入力インタフェース133は、操作者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インタフェース133は、処理回路135に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路へと出力する。例えば、入力インタフェース133は、関心領域(Region Of Interest:ROI)の設定等を行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、及び音声入力インタフェース等によって実現される。なお、本明細書において、入力インタフェース133は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース133の例に含まれる。
ディスプレイ134は、処理回路135に接続され、処理回路135から出力される各種情報及び各種画像を表示する。例えば、ディスプレイ134は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。
処理回路135は、入力インタフェース133を介して操作者から受け付けた入力操作に応じて、医用画像処理装置130の構成要素を制御する。例えば、処理回路135は、NWインタフェース131から出力される画像を記憶回路132に記憶させる。また、例えば、処理回路135は、記憶回路132から画像を読み出し、ディスプレイ134に表示する。例えば、処理回路135は、プロセッサによって実現される。
以上、本実施形態に係る医用画像処理システム100の全体構成について説明した。このような構成のもと、本実施形態では、医用画像保管装置120が、撮像条件に関する複数のパラメータの情報を付帯した画像を保管する。そして、医用画像処理装置130が、臨床診断の対象となる対象画像と関連する画像を医用画像保管装置120から検索する機能を有する。なお、医用画像保管装置120は、保管部の一例である。
このような技術において、例えば、クラウド技術等によって大規模に画像の保存、管理及び閲覧が行われる場合には、画像の検索や選択に手間がかかったり、画像の選択ミスが増えたりすることで、操作性やワークフローが低下することもあり得る。
これに対し、例えば、画像に含まれている特徴量(陰影の形状、大きさ、位置等)を抽出して比較することによって、対象画像との類似度を算出し、類似度が高い画像を表示する方法が提案されている。この方法は、特徴量に関する一定の基準に基づいて、予め一意に決定された条件で画像を検索するものである。
しかしながら、通常、利用者が参照したい画像は目的によって異なるため、一意に決定された検索条件で検索するだけでは、期待する画像を検索するには不自由な場合がある。
ここでいう目的とは、例えば、以下のようなものである。
・同じモダリティで撮像した画像(機能画像やMRSデータ等)が見たい
・疾患の疑いのある部位を比較読影するために、撮像時期の異なる同じ部位の画像が見たい
・疑われる病変が過去になかったかを確認するために、レポートにキーとなるコメントがある画像が見たい
・最近のデータが見たい
・疾患の疑いのある部位を比較読影するために、撮像時期が異なるものであって関心領域が撮像範囲に含まれているデータが見たい
・フォローアップのために、同種の撮像を行った過去画像が見たい
・同じ病院又は同じ系列の病院で撮像した画像(現状と同じレベルの画像)が見たい
・指定した読影医や主治医のコメントが見たい
このようなことから、本実施形態に係る医用画像処理装置130は、目的に応じた画像の検索をより容易に行えるように利用者を支援することができるように構成されている。
具体的には、処理回路135が、受付機能135aと、検索機能135bと、表示制御機能135cとを有する。なお、受付機能135aは、受付部の一例である。また、検索機能135bは、検索部の一例である。また、表示制御機能135cは、表示制御部の一例である。
受付機能135aは、撮像条件に関する複数のパラメータのうち、少なくとも1つの重み付けパラメータの選択を操作者から受け付ける。
ここで、複数のパラメータは、例えば、撮像断面の方向、撮像部位、撮像に用いられたモダリティの種類、画像の種類、撮像方法、症例、キーワード(コメント等)、関係者(担当医、読影医、技師等)、日付に関するパラメータ等である。
本実施形態では、受付機能135aは、撮像条件に関する複数のパラメータそれぞれに重み付けの比率を割り付けることで、重み付けパラメータを重み付けする。
ここで、受付機能135aは、複数の重み付けパラメータの選択を受け付ける。
すなわち、本実施形態では、受付機能135aは、画像を検索するための関連度を算出するパラメータとして、複数の重み付けパラメータの選択を受け付ける。そして、受付機能135aは、撮像条件に関する複数のパラメータそれぞれに重み付けの比率を割り付けることによって、各重み付けパラメータの重み付けを行う。これにより、本実施形態では、撮像条件に関する複数のパラメータそれぞれについて関連度が算出された後に、重み付けパラメータごとに、複数のパラメータの関連度を総合した関連度を用いて画像の検索が行われる。
具体的には、受付機能135aは、入力インタフェース133を介して、予め決められた撮像条件に関する複数のパラメータの中から、検索及び関連度の計算に用いる複数の計算用パラメータを選択する操作を操作者から受け付ける。さらに、受付機能135aは、選択された複数の計算用パラメータの中から、少なくとも1つの重み付けパラメータを選択する操作を操作者から受け付ける。なお、本実施形態では、入力インタフェース133としてマウスが用いられる場合の例を説明する。
図2~9は、第1の実施形態に係る受付機能135aによって行われる処理を説明するための図である。
例えば、図2に示すように、受付機能135aは、操作者からの要求に応じて、計算用パラメータ及び重み付けパラメータを選択する操作を操作者から受け付けるための「画像取得」ウィンドウ1をディスプレイ134に表示する。このとき、例えば、受付機能135aは、「画像取得」ウィンドウ1上に、「+」ボタン2とチェックボックス3と「Total」の文字4とを並置したボックス5を表示する。また、受付機能135aは、「画像取得」ウィンドウ1上に、「取得開始」ボタン6を表示する。
そして、受付機能135aは、「Total」のチェックボックス3にチェックを付ける操作を受け付けた場合には、その時点で計算用パラメータとして設定されている全てのパラメータを重み付けパラメータとして設定する。また、受付機能135aは、「Total」のチェックボックス3からチェックを外す操作を受け付けた場合には、その時点で計算用パラメータとして設定されている全てのパラメータを重み付けパラメータから除外する。
これにより、操作者は、関連度を算出する重み付けパラメータを一括して設定することができる。
また、受付機能135aは、「Total」の「+」ボタン2を押下する操作を受け付けた場合には、例えば、図3に示すように、「画像取得」ウィンドウ1上に、その時点で計算用パラメータとして設定されているパラメータをツリー状に一覧表示する。このとき、例えば、受付機能135aは、「画像取得」ウィンドウ1上で、パラメータごとに、チェックボックス7とパラメータの名称8とを並置したボックス9を表示する。また、受付機能135aは、キーワードのパラメータについては、チェックボックス7及びパラメータの名称8にテキストボックス10をさらに並置したボックス9を表示する。
そして、受付機能135aは、「画像取得」ウィンドウ1上で一覧表示されているパラメータのうちのいずれかのチェックボックス7にチェックを付ける操作を受け付けた場合には、チェックが付けられたパラメータを重み付けパラメータとして設定する。また、受付機能135aは、「画像取得」ウィンドウ1上で一覧表示されているパラメータのうちのいずれかのチェックボックス7からチェックを外す操作を受け付けた場合には、チェックが外されたパラメータを重み付けパラメータから除外する。また、受付機能135aは、キーワードのテキストボックス10に文字を入力する操作を受け付けた場合には、入力された文字を検索用の文字列として設定する。
これにより、操作者は、検索の目的に応じて、関連度を算出する重み付けパラメータを任意に選択して設定することができる。
また、受付機能135aは、「画像取得」ウィンドウ1上で一覧表示されているパラメータのうちのいずれかを選択しながら、マウスを右クリックする操作を受け付けた場合には、例えば、図4に示すように、「Adjustment」、「Setting」及び「Remove」の3つの項目を表示したメニュー11をディスプレイ134に表示する。
そして、受付機能135aは、メニュー11の中から「Setting」を選択する操作を受け付けた場合には、例えば、図5に示すように、計算用パラメータを選択する操作を操作者から受け付けるための「設定」ウィンドウ12をディスプレイ134に表示する。このとき、例えば、受付機能135aは、「設定」ウィンドウ12上に、その時点で計算用パラメータとして設定されているパラメータを列挙した「検索パラメータ」リスト14と、その時点で計算用パラメータとして設定されていないパラメータであり、計算用パラメータの候補となるパラメータを列挙した「パラメータ一覧」リスト13と、「パラメータ一覧」リスト13から「検索パラメータ」リスト14へ向かう方向を示す移動ボタン15と、「検索パラメータ」リスト14から「パラメータ一覧」リスト13へ向かう方向を示す移動ボタン16と、「適用」ボタン17とを表示する。
そして、受付機能135aは、「パラメータ一覧」リスト13に表示されているパラメータのうちのいずれかを選択しながら、「パラメータ一覧」リスト13から「検索パラメータ」リスト14へ向かう方向を示す移動ボタン15を押下する操作を受け付けた場合には、選択されているパラメータを「パラメータ一覧」リスト13から「検索パラメータ」リスト14へ移動する。また、受付機能135aは、「検索パラメータ」リスト14に表示されているパラメータのうちのいずれかを選択しながら、「検索パラメータ」リスト14から「パラメータ一覧」リスト13へ向かう方向を示す移動ボタン16を押下する操作を受け付けた場合には、選択されているパラメータを「検索パラメータ」リスト14から「パラメータ一覧」リスト13へ移動する。
また、受付機能135aは、「適用」ボタン17を押下する操作を受け付けた場合には、「パラメータ一覧」リスト13に表示されているパラメータを計算用パラメータから除外し、「検索パラメータ」リスト14に表示されているパラメータを計算用パラメータとして設定した後に、「設定」ウィンドウ12を閉じる。これにより、「検索パラメータ」リスト14で指定されたパラメータが、図3及び4に示した「画像取得」ウィンドウ1上で一覧表示されることになる。
また、受付機能135aは、図4に示したメニュー11の中から「Remove」を選択する操作を受け付けた場合には、選択されているパラメータを計算用パラメータから除外する。
これにより、操作者は、検索の目的に応じて、検索及び関連度の計算に用いる計算用パラメータを任意に選択して設定することができる。
また、受付機能135aは、図4に示したメニュー11の中から「Adjustment」を選択する操作を受け付けた場合には、例えば、図6に示すように、選択されているパラメータの重み付けを設定するための「重み付け」ウィンドウ18をディスプレイ134に表示する。このとき、例えば、受付機能135aは、「重み付け」ウィンドウ18上に、その時点で計算用パラメータとして設定されているパラメータごとに、パラメータの名称19と、0~100%の範囲で比率を指定するためのスライダー20と、数値で比率を入力するためのテキストボックス21とを表示し、さらに、「適用」ボタン22を表示する。
ここで、例えば、受付機能135aは、初期値として、選択されているパラメータ(図6に示す例では、断面)には70%の比率を割り付け、その他のパラメータ(図6に示す例では、部位及びモダリティ)には、合計が30%になるように、それぞれに同じ比率(図6に示す例では、15%)を割り付ける。そして、受付機能135aは、パラメータごとに、その時点で割り付けられている重み付けの比率を示す位置にスライダー20を表示し、また、その時点で割り付けられている重み付けの比率を示す数値をテキストボックス21に表示する。
その後、受付機能135aは、各パラメータのスライダー20を移動する操作、又は、テキストボックス21に数値を入力する操作を受け付けた場合には、それぞれの操作によって指定された比率で、各パラメータに割り付けられている比率を変更する。このとき、例えば、受付機能135aは、選択されているパラメータに割り付けられる比率が、他のパラメータに割り付けられる比率より小さくならないように、スライダー20の移動、及び、テキストボックス21への数値の入力を制限する。また、受付機能135aは、各パラメータに割り付けられる比率の合計が100%になるように、スライダー20の移動、及び、テキストボックス21への数値の入力を制限する。
そして、受付機能135aは、「適用」ボタン22を押下する操作を受け付けた場合には、各パラメータに割り付けられている比率をそれぞれの重み付けの比率として設定した後に、「重み付け」ウィンドウ18を閉じる。
これにより、操作者は、検索の目的に応じて、関連度を算出する際の重み付けパラメータの重み付けの大きさを任意に設定することができる。
なお、重み付けの比率を変更するためのGUI(Graphical User Interface)は、図6に示したスライダー20やテキストボックス21に限られず、他の種類のウィジェットが用いられてもよい。
なお、受付機能135aは、図4に示したメニュー11の「Remove」、又は、図5に示した「設定」ウィンドウ12によって計算用パラメータとして設定されているパラメータが変更された際には、変更後のパラメータに応じて、各パラメータに割り付けられている重み付けの比率を変更する。このとき、例えば、受付機能135aは、選択されているパラメータに割り当てられている重み付けの比率は変えずに、その他のパラメータに割り当てられている重み付けの比率を変更する。具体的には、受付機能135aは、その他のパラメータに割り当てられている比率を、選択されているパラメータに割り当てられている重み付けの比率との合計が100%になるように、それぞれ同じ比率に変更する。
例えば、図7に示すように、パラメータ1~4が計算用パラメータとして設定され、そのうち、パラメータ1及び4が重み付けパラメータとして設定されていたとする。そして、例えば、パラメータ1の関連度の設定として、パラメータ1の重み付けの比率が70%、パラメータ2~4の重み付けの比率がそれぞれ10%に設定され、また、パラメータ4の関連度の設定として、パラメータ4の重み付けの比率が70%、パラメータ1~3の重み付けの比率がそれぞれ10%に設定されていたとする。この場合に、例えば、図8に示すように、パラメータ4が計算用パラメータから除外された場合には、受付機能135aは、パラメータ1の関連度の設定について、パラメータ1の重み付けの比率は70%に保ったまま、パラメータ2及び3の重み付けの比率をそれぞれ15%に変更する。
これにより、計算用パラメータとして選択されているパラメータが変更された際に、それに応じて、各パラメータに割り付けられている重み付けの比率が自動的に変更されるようになる。
また、受付機能135aは、「画像取得」ウィンドウ1が表示されている際に、一覧表示されているパラメータのうちのいずれも選択せずに、マウスを右クリックする操作を受け付けた場合には、「Setting」の項目のみを表示したメニュー11をディスプレイ134に表示する。
なお、「画像取得」ウィンドウ1上でマウスを右クリックする操作が行われた際に表示されるメニュー11には、他の項目が表示されてもよい。その場合には、受付機能135aは、マウスを右クリックする操作を受け付けた際に、パラメータが選択されているか否かを判別する。そして、受付機能135aは、パラメータが選択されている場合には、パラメータの選択が必要な項目を表示し、パラメータが選択されていない場合には、パラメータの選択が不要な項目を表示するように、メニュー11に表示する項目を切り替える。
そして、受付機能135aは、「画像取得」ウィンドウ1が表示されている際に、「取得開始」ボタン6を押下する操作を受け付けた場合には、その時点で設定されている計算用パラメータ及び重み付けパラメータを用いて画像の検索を開始するよう、検索機能135bに指示する。
なお、ここでは、図3及び4に示したように、「画像取得」ウィンドウ1上にキーワードのテキストボックスを1つ表示する場合の例を説明したが、実施形態はこれに限られない。例えば、図9に示すように、受付機能135aは、キーワードのパラメータについて、「画像取得」ウィンドウ1上に複数のテキストボックス10を表示し、入力されたテキストボックスに応じて、画像を検索する際の関連度を変えるようにしてもよい。
例えば、受付機能135aは、「必須」のテキストボックス10a、「重要」のテキストボックス10b、及び、「できれば」のテキストボックス10cというように、それぞれに異なる重要度を割り当てた3つのテキストボックスを表示する。そして、受付機能135aは、各テキストボックスに文字を入力する操作を受け付けた場合には、入力された文字を検索用の文字列として設定するとともに、当該文字列に対して、入力されたテキストボックスに応じた重要度を割り当てる。
これにより、例えば、「必須」のテキストボックス10aにキーワードが入力された場合には、入力されたキーワードをコメント等に含む画像のみが取得対象とされる。また、例えば、「重要」のテキストボックス10bにキーワードが入力された場合には、入力されたキーワードを含む画像が取得されるが、該当する画像が存在しなかったときには、入力されたキーワードに近いキーワードを含む画像が取得される。また、例えば、「できれば」のテキストボックス10cにキーワードが入力された場合には、入力されたキーワードを含む画像が取得されるが、該当する画像が存在しなかったときには、他のパラメータの関連度が高い画像が取得される。
また、ここでは、図5に示したように、操作者が手動で計算用パラメータ(検索パラメータ)を個別に選択する場合の例を説明したが、実施形態はこれに限られない。例えば、操作者によって選択された検査内容に応じて、計算用パラメータを自動的に設定するようにしてもよい。ここで、検査内容とは、例えば、経過観察や、人間ドック等である。
この場合には、例えば、予め、複数種類の検査内容について、検査内容ごとに、過去画像を検索する際に推奨されるパラメータを決めておき、記憶回路132に記憶させておく。例えば、検査内容が経過観察である場合には、同じ向き又は同じモダリティで撮像した画像を見ることが望まれると推測できるため、「向き」又は「モダリティ」等を設定しておく。他の検査内容についても、それぞれに合わせたパラメータを設定しておく。
また、例えば、受付機能135aが、各検査内容を示すボタン等をディスプレイ134に表示し、操作者から検査内容を選択する操作を受け付ける。そして、受付機能135aは、操作者によって検査内容が選択された場合に、選択された検査内容に対応するパラメータを記憶回路132から読み出し、計算用パラメータとして設定する。
ここで、推奨パラメータから設定された計算用パラメータは、図3に示した「画像取得」ウィンドウ1上で一覧表示される。また、推奨パラメータから設定された計算パラメータは、図5に示した「設定」ウィンドウ12の「検索パラメータ」リスト14に表示され、上述した例と同様に、追加又は削除することが可能である。また、推奨パラメータから設定された計算パラメータは、図6に示した「重み付け」ウィンドウ18に表示され、上述した例と同様に、重み付けを設定することが可能である。
これにより、検査内容に応じて計算用パラメータを自動的に変えることができ、比較読影に適した画像を容易に検索できるようになる。
検索機能135bは、医用画像保管装置120に保管されている画像から、対象画像との間で、操作者によって選択された重み付けパラメータの重み付けを含む関連度が高い画像を検索する。
具体的には、検索機能135bは、医用画像保管装置120に保管されている画像及び対象画像それぞれに付帯されているパラメータの情報をもとに、重み付けパラメータを重み付けした関連度を算出し、当該関連度が高い画像を検索する。
本実施形態では、検索機能135bは、医用画像保管装置120に保管されている画像及び対象画像それぞれに付帯されているパラメータの情報をもとに、撮像条件に関する複数のパラメータそれぞれの関連度を算出し、算出した関連度を、受付機能135aによって割り付けられた重み付けの比率で足し合わせることで、重み付けパラメータを重み付けした関連度を算出する。
ここで、検索機能135bは、複数の重み付けパラメータそれぞれについて、当該重み付けパラメータを重み付けした関連度を算出する。
すなわち、本実施形態では、検索機能135bは、撮像条件に関する複数のパラメータそれぞれについて関連度を算出した後に、重み付けパラメータごとに、複数のパラメータの関連度を総合した関連度を用いて画像の検索を行う。これにより、本実施形態では、重み付けパラメータごとに、それぞれの関連度が高い画像が検索される。
具体的には、検索機能135bは、受付機能135aから画像取得の指示を受け付けた場合に、医用画像保管装置120から、臨床診断の対象となる対象画像と同じ被検体を撮像した過去の画像を取得する。ここで、例えば、対象画像は、臨床診断の対象となる被検体を直近で撮像した画像や、操作者によって任意に指定された画像等である。
そして、検索機能135bは、医用画像保管装置120と対象画像との間で、それぞれに付帯されているパラメータの情報をもとに、計算用パラメータとして設定されているパラメータの内容を比較することで、各計算用パラメータの関連度を算出する。ここで、関連度を算出する方法としては、公知の各種の方法を用いることができる。
なお、例えば、検索機能135bは、計算用パラメータとしてキーワードが設定されている場合には、画像やレポートに含まれている文字列から一致又は近い文字列を検索することで、関連度を算出する。
ここで、例えば、図9に示した例のように、キーワードとして入力された文字列に重要度が割り当てられる場合には、検索機能135bは、重要度に応じて、入力されたキーワードで画像を検索する際の関連度を変える。
例えば、検索機能135bは、重要度が「必須」のキーワードが設定されている場合には、当該キーワードをコメント等に含む画像のみを取得対象とする。ここで、入力されたキーワードを含む画像が存在しなかった場合には、取得される画像の数はゼロとなる。
また、例えば、検索機能135bは、重要度が「重要」のキーワードが設定されている場合には、入力されたキーワードを含む画像を取得し、その結果、該当する画像が存在しなかった場合には、入力されたキーワードに近いキーワードを含む画像を取得する。これにより、入力されたキーワードを含む画像が存在しない場合でも、入力されたキーワードに近い画像が取得されるため、何かしらの画像が検索されることになる。
また、例えば、検索機能135bは、重要度が「できれば」のキーワードが設定されている場合には、入力されたキーワードを含む画像を取得し、その結果、該当する画像が存在しなかった場合には、他のパラメータの関連度が高い画像を取得する。
その後、検索機能135bは、算出した各計算用パラメータの関連度について、それぞれに割り付けられている重み付けの比率を乗じた後に合算することによって、重み付けパラメータの関連度を算出する。そして、検索機能135bは、この関連度の算出を、複数の重み付けパラメータそれぞれについて行う。
例えば、図7に示した例では、重み付けパラメータとして設定されているパラメータ1について、計算用パラメータとして設定されているパラメータ1~4の関連度を用いて、パラメータ1の関連度に70%を乗じ、パラメータ2~4の関連度にそれぞれ10%を乗じた後に、それぞれを合算することによって、関連度が算出される。また、同じく重み付けパラメータとして設定されているパラメータ4について、計算用パラメータとして設定されているパラメータ1~4の関連度を用いて、パラメータ1~3の関連度にそれぞれ10%を乗じ、パラメータ4の関連度に70%を乗じた後に、それぞれを合算することによって、関連度が算出される。なお、また、パラメータ2及び3については、重み付けパラメータとして設定されていないため、関連度は算出されない。
表示制御機能135cは、検索機能135bによって関連度が高い画像として検索された画像を、操作者によって選択された重み付けパラメータによりグルーピングしてディスプレイ134に表示する。
具体的には、表示制御機能135cは、重み付けパラメータごとに、検索機能135bによって検索された画像をグルーピングして表示する。
本実施形態では、表示制御機能135cは、重み付けパラメータごとに、検索された画像を関連度が高い順に並べて表示する。
図10~14は、第1の実施形態に係る表示制御機能135cによって行われる処理を説明するための図である。
例えば、図10に示すように、表示制御機能135cは、検索機能135bによる画像の検索が完了した後に、検索された画像を表示するための検索結果ウィンドウ24をディスプレイ134に表示する。このとき、表示制御機能135cは、複数のタブ23が付いた検索結果ウィンドウ24をディスプレイ134に表示し、当該検索結果ウィンドウ24上に、重み付けパラメータごとに、検索機能135bによって検索された画像を表示する。そして、表示制御機能135cは、検索結果ウィンドウ24を介して、検索結果の画像に関する各種の操作を操作者から受け付ける。
例えば、表示制御機能135cは、重み付けパラメータを示すラベル25(図10に示す例では、「パラメータ1」、「パラメータ2」及び「パラメータ3」)を上下方向に並べて表示し、さらに、重み付けパラメータごとに、それぞれを重み付けした関連度が高い画像として検索された画像26を左右方向に並べて表示する。
このとき、例えば、表示制御機能135cは、検索された画像26が複数ある場合には、各画像を関連度が高い順に左から右へ並べて表示する。また、例えば、表示制御機能135cは、関連度が同じ画像26が複数あった場合には、各画像を日付が新しい順に左から右へ並べて表示する。また、例えば、表示制御機能135cは、同じ日付で、関連度が異なる画像26が複数あった場合には、関連度が最も高い画像のみを表示し、操作者によって指示された場合のみ、全ての画像26を表示させる。
これにより、操作者は、検索の目的に応じて設定された重み付けパラメータごとに、対象画像との関連度が高い画像を容易に比較及び認識することができる。
また、例えば、図11に示すように、表示制御機能135cは、検索結果ウィンドウ24上に表示されている複数の画像26のうちのいずれかの画像上にカーソル27を配置する操作を受け付けた場合には、その画像に付帯されている情報に基づいて、当該画像に関する情報28を表示する。例えば、表示制御機能135cは、画像に関する情報28として、当該画像が撮像された日付(年月日)、当該画像が撮像されてから現時点までの経過年月、当該画像が撮像された際の被検体の当時の年齢、重み付けパラメータの関連度等を表示する。
また、例えば、図12に示すように、表示制御機能135cは、検索結果ウィンドウ24に表示されている複数の重み付けパラメータのうちのいずれかを示すラベル25を選択する操作を受け付けた場合には、選択された重み付けパラメータについて、検索された全ての画像26を表示し、他の重み付けパラメータに関する画像26を非表示とする。また、表示制御機能135cは、その状態で、再度、同じ重み付けパラメータを選択する操作を受け付けた場合には、他の重み付けパラメータに関する画像26を再表示する。
また、例えば、図13に示すように、表示制御機能135cは、検索結果ウィンドウ24の複数のタブ23のうちのいずれかを選択する操作を受け付けた場合には、検索結果ウィンドウ24に表示される画像を、選択されたタブ23に予め対応付けられている種類の画像29に切り替える。この場合には、表示制御機能135cは、予めタブ23ごとに異なる画像の種類(例えば、異なるモダリティ等)を対応付けておき、操作者によってタブ23が選択されるごとに、選択されたタブ23に対応する種類の画像を検索結果ウィンドウ24に表示する。なお、この場合には、表示制御機能135cは、タブ23が切り替えられるごとに、表示する画像の位置情報や輝度値に基づいて、重み付けパラメータを判別して表示する。
そして、例えば、図14に示すように、表示制御機能135cは、検索結果ウィンドウ24上に表示されている複数の画像26のうちのいずれかの画像を選択する操作を受け付けた場合には、選択された画像と対象画像とを比較するための「画像比較」ウィンドウ30をディスプレイ134に表示する。このとき、例えば、表示制御機能135cは、「画像比較」ウィンドウ30上で、選択された画像31を左側に配置し、対象画像32を右側に配置し、それぞれを閲覧に適した大きさに拡大して表示する。
また、表示制御機能15cは、「画像比較」ウィンドウ30上に、「候補画像を表示」ボタン33を表示する。このとき、例えば、表示制御機能15cは、「画像比較」ウィンドウ30に未表示の画像がある場合は、「候補画像を表示」ボタン33を強調表示する(例えば、ボタンの色を点滅表示させる)ようにしてもよい。そして、表示制御機能15cは、「候補画像を表示」ボタン33を押下する操作を受け付けた場合には、検索結果ウィンドウ24を再表示する。
以上、処理回路135が有する各処理機能について説明した。例えば、処理回路135がプロセッサによって実現される場合に、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路132に記憶される。この場合に、処理回路135は、記憶回路132から各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路135は、図1の処理回路135内に示された各処理機能を有することとなる。
また、処理回路135は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものとしてもよい。また、処理回路135が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路135が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。
また、ここでは、単一の記憶回路132が各処理機能に対応するプログラムを記憶する場合の例を説明したが、実施形態はこれに限られない。例えば、複数の記憶回路が分散して配置され、処理回路135が、個別の記憶回路から対応するプログラムを読み出して実行する構成としても構わない。
図15は、第1の実施形態に係る医用画像処理装置130によって行われる処理の処理手順を示すフローチャートである。
例えば、図15に示すように、本実施形態に係る医用画像処理装置130では、まず、受付機能135aが、撮像条件に関する複数のパラメータのうち、少なくとも1つの重み付けパラメータの選択を操作者から受け付ける(ステップS101)。このステップS101の処理は、例えば、処理回路135が受付機能135aに対応する所定のプログラムを記憶回路132から呼び出して実行することにより実現される。
そして、操作者から取得開始を指示された場合に(ステップS102,Yes)、検索機能135bが、医用画像保管装置120に保管されている画像から、対象画像との間で、操作者によって選択された重み付けパラメータの重み付けを含む関連度が高い画像を検索する(ステップS103)。このステップS102の処理は、例えば、処理回路135が検索機能135bに対応する所定のプログラムを記憶回路132から呼び出して実行することにより実現される。
その後、表示制御機能135cが、検索機能135bによって関連度が高い画像として検索された画像を、操作者によって選択された重み付けパラメータによりグルーピングしてディスプレイ134に表示する(ステップS104)。このステップS103の処理は、例えば、処理回路135が表示制御機能135cに対応する所定のプログラムを記憶回路132から呼び出して実行することにより実現される。
上述したように、第1の実施形態では、受付機能135aが、撮像条件に関する複数のパラメータのうち、少なくとも1つの重み付けパラメータの選択を受け付ける。また、検索機能135bが、医用画像保管装置120に保管されている画像から、対象画像との間で重み付けパラメータの重み付けを含む関連度が高い画像を検索する。そして、表示制御機能135cが、関連度が高い画像として検索された画像を重み付けパラメータによりグルーピングして表示する。
また、第1の実施形態では、検索機能135bが、医用画像保管装置120に保管されている画像及び対象画像それぞれに付帯されているパラメータの情報をもとに、重み付けパラメータを重み付けした関連度を算出し、当該関連度が高い画像を検索する。
また、第1の実施形態では、受付機能135aが、複数のパラメータそれぞれに重み付けの比率を割り付けることで、重み付けパラメータを重み付けする。そして、検索機能135bが、パラメータの情報をもとに、複数のパラメータそれぞれの関連度を算出し、算出した関連度を重み付けの比率で足し合わせることで、重み付けパラメータを重み付けした関連度を算出する。
また、第1の実施形態では、受付機能135aが、複数の重み付けパラメータの選択を受け付ける。また、検索機能135bが、複数の重み付けパラメータそれぞれについて、当該重み付けパラメータを重み付けした関連度を算出する。そして、表示制御機能135cが、重み付けパラメータごとに、検索された画像をグルーピングして表示する。
また、第1の実施形態では、表示制御機能135cが、重み付けパラメータごとに、検索された画像を関連度が高い順に並べて表示する。
上述した構成によれば、第1の実施形態では、操作者が、検索の目的に応じてパラメータの優先度を変えながら、参照したい画像を容易に検索することができる。したがって、第1の実施形態によれば、目的に応じた画像の検索をより容易に行えるように利用者を支援することができる。これにより、大規模に画像の保存、管理及び閲覧が行われる場合ででも、画像の検索や選択にかかる手間を減らすことや、画像の選択ミスを減らすことができ、操作性やワークフローを向上させることができる。
(第2の実施形態)
なお、上述した第1の実施形態において、医用画像処理装置130の処理回路135が有する受付機能135a、検索機能135b及び表示制御機能135cによって行われる処理は、適宜に変更して実施することも可能である。そこで、以下では、第2の実施形態として、上述した第1の実施形態に関する変形例を説明する。なお、以下では、第2の実施形態について、第1の実施形態と異なる点を中心に説明することとし、第1の実施形態と共通する内容については詳細な説明を省略する。
本実施形態では、受付機能135aは、操作者によって選択された重み付けパラメータに対する重要度の設定をさらに受け付ける。
また、本実施形態では、受付機能135aは、操作者によって選択された重み付けパラメータの関連度を算出するための算出規則の設定をさらに受け付ける。
ここで、受付機能135aは、複数の重み付けパラメータの選択を受け付ける。
すなわち、本実施形態では、受付機能135aは、検索及び関連度の計算に用いるパラメータとして、複数の重み付けパラメータの選択を受け付ける。また、受付機能135aは、選択された重み付けパラメータごとに、関連度を算出するための算出規則を受け付ける。これにより、本実施例では、重み付けパラメータごとに関連度が算出された後に、それらを総合した関連度を用いて画像の検索が行われる。
図16は、第2の実施形態に係る受付機能135aによって行われる処理を説明するための図である。
例えば、図16に示すように、受付機能135aは、操作者からの要求に応じて、重み付けパラメータを選択する操作を操作者から受け付けるための「画像取得」ウィンドウ34をディスプレイ134に表示し、当該「画像取得」ウィンドウ34上に、予めプリセット情報として設定された複数のパラメータをツリー状に一覧表示する。このとき、例えば、受付機能135aは、「画像取得」ウィンドウ34上に、プリセット情報の名称35を表示し、さらに、パラメータごとに、チェックボックス36とパラメータの名称37とを並置したボックス38、重要度を設定するためのボタン39、及び、関連度の算出規則を設定するための「設定」ボタン40を表示する。また、受付機能135aは、「画像取得」ウィンドウ34上に、「取得開始」ボタン41を表示する。
ここで、複数のパラメータを表示するために用いられるプリセット情報は、例えば、検索の目的ごとに予め作成されて、記憶回路132に記憶される。
これにより、検査ごとに利用者が異なるような場合に、利用者間でやり取りをしなくても、正しい画像を取得することができる。なお、プリセット情報が作成される単位は、必ずしも検索の目的ごとに限られず、例えば、病院ごとに作成されてもよいし、利用者ごとに作成されてもよい。
そして、受付機能135aは、「画像取得」ウィンドウ34上で一覧表示されているパラメータのうちのいずれかのチェックボックス36にチェックを付ける操作を受け付けた場合には、チェックが付けられたパラメータを重み付けパラメータとして設定する。また、受付機能135aは、「画像取得」ウィンドウ34上で一覧表示されているパラメータのうちのいずれかのチェックボックス36からチェックを外す操作を受け付けた場合には、チェックが外されたパラメータを重み付けパラメータから除外する。
これにより、操作者は、検索の目的に応じて、検索及び関連度の計算に用いる重み付けパラメータを任意に選択して設定することができる。
また、受付機能135aは、「画像取得」ウィンドウ34上で一覧表示されているパラメータのうちのいずれかのボタン39を押下する操作を受け付けた場合には、「必須」、「重要」及び「できれば」の3つの重要度を表示したリスト42を表示する。そして、受付機能135aは、リスト42の中からいずれかの重要度が選択された場合には、選択された重要度を、押下されたボタン39に対応するパラメータの重要度として設定する。
これにより、操作者は、検索の目的に応じて、各重み付けパラメータの重要度を任意に設定することができる。
また、受付機能135aは、「画像取得」ウィンドウ34上で一覧表示されているパラメータのうちのいずれかの「設定」ボタン40を押下する操作を受け付けた場合には、押下された「設定」ボタン40に対応するパラメータの関連度を算出するための算出規則を設定する。
具体的には、受付機能135aは、パラメータごとに、関連度として用いる点数の付け方や境界(閾値)、重要度に応じた条件や係数等を算出規則として設定する。
例えば、受付機能135aは、撮像部位(例えば、頭部、肩、腰等)について、撮像部位が同じ(例えば、頭足方向の位置が同じ等)場合は、点数を100点とし、撮像部位が所定の基準内でずれている(例えば、頭足方向の位置が1つ違う等)場合は、点数を50点とし、撮像部位が所定の基準を超えてずれている(例えば、頭足方向の位置が2つ以上違う等)場合は、点数を20点とする等の算出規則を設定する。
また、例えば、受付機能135aは、撮像断面の方向(AX(axial方向)/SG(sagittal方向/CO(coronal方向))について、点数をスライスベクタ同士の内積×100とし、内積<境界(例えば、0.7等)の場合は、点数を0点とする等の算出規則を設定する。
また、例えば、受付機能135aは、撮像に用いられたモダリティ(DICOM(Digital Imaging and Communications in Medicine)で定義されているモダリティ)について、1つ又は複数の対象モダリティ(MRI装置、X線CT装置、キャプチャ等)を設定し、対象モダリティに含まれている場合は、点数を100とし、対象モダリティに含まれていない場合は、点数を20点とする等の算出規則を設定する。
また、例えば、受付機能135aは、キーワードについて、操作者によって入力されたキーワードが診断結果(自動診断の結果やレポートのコメント等)に含まれている場合は、点数を100点とし、含まれていない場合は、点数を20点にする等の算出規則を設定する。
また、例えば、受付機能135aは、重要度が「必須」のパラメータの点数が50点未満の場合は、他のパラメータの点数によらず、検索対象から外し、重要度が「重要」のパラメータの点数は係数として10を乗じ、重要度が「できれば」のパラメータの点数は係数として2を乗じる等の算出規則を設定する。
例えば、受付機能135aは、このような算出規則(点数、境界等)の入力を操作者から受け付け、受け付けた算出規則を前述したプリセット情報に含めて記憶回路132に記憶させる。
これにより、操作者は、検索の目的に応じて、各重み付けパラメータの関連度を算出するための算出規則を任意に設定することができる。
そして、受付機能135aは、「画像取得」ウィンドウ34が表示されている際に、「取得開始」ボタン41を押下する操作を受け付けた場合には、その時点で設定されている重み付けパラメータを用いて画像の検索を開始するよう、検索機能135bに指示する。
また、本実施形態では、検索機能135bは、医用画像保管装置120に保管されている画像及び対象画像それぞれに付帯されているパラメータの情報をもとに、操作者によって選択された重み付けパラメータの関連度を算出し、算出した関連度を重要度に応じて重み付けすることで、重み付けパラメータを重み付けした関連度を算出する。
また、本実施形態では、検索機能135bは、算出規則に従って、重み付けパラメータの関連度を算出する。
また、検索機能135bは、複数の重み付けパラメータそれぞれについて、当該重み付けパラメータの関連度を算出し、算出した関連度を足し合わせることで、重み付けパラメータを重み付けした関連度を算出する。
すなわち、本実施形態では、検索機能135bは、重み付けパラメータごとに関連度を算出した後に、それらを総合した関連度を用いて画像の検索を行う。これにより、本実施形態では、複数の重み付けパラメータの関連度を総合した1つの関連度について、関連度が高い画像が検索される。
また、本実施形態では、表示制御機能135cは、重み付けパラメータの内容ごとに、検索された画像をグルーピングし、重み付けパラメータの内容を示す情報と対応付けて表示する。
図17は、第2の実施形態に係る表示制御機能135cによって行われる処理を説明するための図である。
例えば、図17に示すように、表示制御機能135cは、検索機能135bによる画像の検索が完了した後に、検索された画像を表示するための検索結果ウィンドウ43をディスプレイ134に表示する。このとき、表示制御機能135cは、検索結果ウィンドウ43上に、重み付けパラメータの内容ごとに、検索機能135bによって検索された画像を表示する。そして、表示制御機能135cは、検索結果ウィンドウ43を介して、検索結果の画像に関する各種の操作を操作者から受け付ける。
例えば、表示制御機能135cは、検索結果ウィンドウ43上で、関連度の計算に用いられた複数の重み付けパラメータの内容を示す情報を表示したラベル44と、それに対応する画像45とを左右に並べた行を、上下方向に複数並べて表示する。
このとき、表示制御機能135cは、重み付けパラメータのラベル44と画像45とを左右に並べた行を、関連度が高い順に上から下へ表示する。また、表示制御機能135cは、ラベル44上で、複数の重み付けパラメータ(図17に示す例では、部位、断面、モダリティ)の内容を示す情報(図17に示す例では、「頭」、「AX」、「MR」等)を重要度が高いものから順に左から右へ並べて配置する。また、表示制御機能135cは、重み付けパラメータのラベル44ごとに、対応する画像45を関連度が高い順に左から右へ並べて表示する。
これにより、操作者は、検索の目的に応じて設定された重み付けパラメータの内容ごとに、対象画像との関連度が高い画像を容易に比較及び認識することができる。
そして、例えば、表示制御機能135cは、検索結果ウィンドウ43上に表示されている複数の画像45のうちのいずれかの画像を選択する操作を受け付けた場合には、第1の実施形態と同様に、選択された画像と対象画像とを比較するための「画像比較」ウィンドウ30をディスプレイ134に表示する(図14を参照)。
上述したように、第2の実施形態では、受付機能135aが、重み付けパラメータに対する重要度の設定をさらに受け付ける。そして、検索機能135bが、パラメータの情報をもとに、重み付けパラメータの関連度を算出し、算出した関連度を重要度に応じて重み付けすることで、重み付けパラメータを重み付けした関連度を算出する。
また、第2の実施形態では、受付機能135aが、重み付けパラメータの関連度を算出するための算出規則の設定をさらに受け付ける。そして、検索機能135bが、算出規則に従って、重み付けパラメータの関連度を算出する。
また、第2の実施形態では、受付機能135aが、複数の重み付けパラメータの選択を受け付ける。そして、検索機能135bが、複数の重み付けパラメータそれぞれについて、当該重み付けパラメータの関連度を算出し、算出した関連度を足し合わせることで、重み付けパラメータを重み付けした関連度を算出する。
また、第2の実施形態では、表示制御機能135cが、重み付けパラメータの内容ごとに、検索された画像をグルーピングし、重み付けパラメータの内容を示す情報と対応付けて表示する。
上述した構成によれば、第1の実施形態では、操作者が、検索の目的に応じてパラメータの重要度や算出規則を変えながら、参照したい画像を容易に検索することができる。したがって、第2の実施形態によれば、目的に応じた画像の検索をより容易に行えるように利用者を支援することができる。これにより、第2の実施形態でも、大規模に画像の保存、管理及び閲覧が行われる場合ででも、画像の検索や選択にかかる手間を減らすことや、画像の選択ミスを減らすことができ、操作性やワークフローを向上させることができる。
(変形例)
以上、第1及び第2の実施形態について説明したが、表示制御機能135cが画像を表示する方法は、上述した例に限られない。
例えば、表示制御機能135cは、検索結果ウィンドウ24及び43又は「画像比較」ウィンドウ30に画像を表示する際に、各画像が撮像されてから現時点までの経過年月に応じて画像の表示態様を変えてもよい。例えば、表示制御機能135cは、各画像上に、画像が撮像された日付(年月日)を表示し、経過年月に応じて日付の文字の色を変える(例えば、経過年月が1年未満の場合は白色、1年~5年の場合は青色、5年以上の場合は赤色等)。これにより、操作者は、検索された画像と対象画像との年月の差を容易に認識することができる。
また、例えば、表示制御機能135cは、検索結果ウィンドウ24及び43又は「画像比較」ウィンドウ30に画像を表示する際に、各画像の関連度の高さに応じて、画像の表示態様を変えてもよい。例えば、表示制御機能135cは、各画像を周囲に色を付けて表示し、関連度の高さに応じて色を変える。これにより、操作者は、検索された画像と対象画像との関連度合いを容易に認識することができる。
また、例えば、表示制御機能135cは、「画像比較」ウィンドウ30に、検索された画像31及び対象画像32を表示した際に、マウス等によって、いずれか一方の画像上で範囲を指定する操作を操作者から受け付けるようにし、当該操作を受け付けた場合に、指定された範囲を拡大表示してもよい。この場合に、例えば、表示制御機能135cは、範囲を指定された画像ではないもう一方の画像についても、対応する範囲を連動して拡大表示してもよい。そして、例えば、表示制御機能135cは、指定された範囲を拡大表示した状態で、マウスをダブルクリックする等の所定の操作を操作者から受け付けた際に、拡大する前の状態に表示を戻すようにしてもよい。さらに、表示制御機能135cは、画像の表示範囲を変更した際に、変更後の表示範囲で関連度を再計算することで、検索結果の画像の表示を更新するようにしてもよい。
また、例えば、表示制御機能135cは、検索結果ウィンドウ24及び43又「画像比較」ウィンドウ30を表示している際に、検索結果の画像を医用画像保管装置120に保存する操作を操作者から受け付けるようにしてもよい。このとき、例えば、表示制御機能135cは、検索結果の画像と対象画像との間で、いずれかのパラメータの関連度が閾値を超えていた場合には、医用画像保管装置120に画像を保存し、いずれのパラメータの関連度も閾値を超えていなかった場合は、画像を保存しないようにする。さらに、このとき、例えば、表示制御機能135cは、いずれのパラメータの関連度も閾値を超えていなかった場合に、「~という理由で画像を転送しません」というようなポップアップメッセージをディスプレイ134に表示し、それに対して操作者から保存が必要である旨の指示を受け付けた場合は、医用画像保管装置120に画像を保存するようにしてもよい。
以上、説明した各実施形態及び各変形例は、同時に実施することが可能な範囲で、適宜に組み合わせて実施されてもよい。
また、上述した各実施形態及び各変形例では、医用画像処理装置130の処理回路135が有する検索機能135bが、医用画像保管装置120に保管されている画像から対象画像との間で関連度が高い画像を検索することとしたが、実施形態はこれに限られない。例えば、検索機能135bは、対象画像と同じ被検体を撮像した過去の全ての画像を医用画像保管装置120から取得した後に、取得した画像の中から、操作者によって選択された重み付けパラメータの関連度が高い画像を検索してもよい。
または、例えば、医用画像保管装置120が、自装置内の記憶回路に記憶されている画像の中から、対象画像との間で関連度が高い画像を検索するようにしてもよい。その場合には、例えば、医用画像保管装置120が、対象画像の付帯情報や、操作者によって選択された計算用パラメータ及び重み付けパラメータ等、検索に必要な情報を含む画像検索要求を医用画像処理装置130から受信する。そして、医用画像保管装置120は、受信した画像検索要求に含まれる情報をもとに、自装置内の記憶回路に記憶されている画像の中から、対象画像との間で重み付けパラメータの関連度が高い画像を検索し、検索した画像を医用画像処理装置130に送信する。また、この場合に、医用画像保管装置120に対して画像検索要求を送信し、それに応じて検索された画像を受信して表示する装置は、医用画像処理装置130に限られず、モダリティ110に備えられたコンソール装置であってもよいし、携帯端末等の他の装置であってもよい。
また、上述した各実施形態及び各変形例では、関連度が高い画像を全て検索及び表示する場合の例を説明したが、実施形態はこれに限られない。例えば、予め、検索及び表示する画像の数を設定しておき、検索機能135b及び表示制御機能135cが、設定されている数だけ、画像を検索及び表示するようにしてもよい。これにより、画像の検索及び表示に係る処理の負荷を軽減することができる。また、この例では、例えば、表示制御機能135cが、表示されている画像以外にも候補となる画像が存在する場合に、候補となる画像が存在することを操作者に通知し(例えば、「more」等のボタンをディスプレイ134に表示する等)、操作者からの要求に応じて、さらに画像を検索及び表示するように制御してもよい。
なお、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行されるプログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、このプログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
以上説明した少なくとも一つの実施形態によれば、目的に応じた画像の検索をより容易に行えるように利用者を支援することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。