以下、図面を参照して、本発明にかかる画像表示装置の好適な実施の形態を詳細に説明する。なお、以下では、本発明にかかる画像表示装置の一例として、被検体の臓器内部に導入されたカプセル型内視鏡が撮像した体内画像群を表示する画像表示装置を例示するが、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1にかかる画像表示装置の一構成例を模式的に示すブロック図である。図1に示すように、この実施の形態1にかかる画像表示装置1は、画像データ等の各種データを入出力するための入出力インターフェース2と、各種情報を入力する入力部3と、被検体の体内画像等の各種データを表示する表示部4と、被検体に関するレポート等を出力する出力部5と、各種データを記憶する記憶部6と、画像表示装置1の各構成部を制御する制御部7とを備える。
入出力インターフェース2は、カード型メモリまたはディスクメモリ等の可搬な記憶媒体を着脱可能に挿着でき、この挿着された記憶媒体に対してデータの読取処理または書込処理を行う。具体的には、入出力インターフェース2は、制御部7によって読み取り指示された記憶媒体の保存データを読み取り、読み取った保存データを制御部7に送信する。なお、かかる記憶媒体の保存データとして、例えば、挿入型の内視鏡またはカプセル型内視鏡等の体内撮像装置によって撮像された被検体の体内画像群、被検体の体内画像に合致する被検体の症状を判断する際に参考になる症例画像等の症例を示す参考画像、症例を示す文字データ等が挙げられる。なお、かかる参考画像によって示される症例として、例えば、潰瘍、出血、腫瘍、狭窄、クローン病、ポリープ、びらん等が挙げられる。一方、入出力インターフェース2は、制御部7によって書き込み指示された各種データを記憶媒体に書き込む。
入力部3は、キーボード、マウスおよびタッチパネル等の入力デバイスを用いて実現され、医師または看護師等のユーザによる入力操作に対応して制御部7に各種情報を入力する。具体的には、入力部3は、表示部4に表示された被検体の各体内画像の中から注目の体内画像を選択する画像選択情報、表示部4に表示された1以上の参考画像のうちの参考画像またはこの参考画像と対応付けられた文字データのいずれかを選択する参考情報選択情報、制御部7に対して指示する指示情報、症例を示す文字データ等を制御部7に入力する。
表示部4は、CRTディスプレイまたは液晶ディスプレイ等の表示デバイスを用いて実現され、制御部7によって表示指示された画像データおよび文字データ等の各種データ、各種データの表示または入力に有用なGUI(Graphical User Interface)等を表示する。具体的には、表示部4は、制御部7によって表示指示された被検体の体内画像群を静止画表示または動画表示する。また、表示部4は、この表示した体内画像群の中から選択された体内画像、症例を示す1以上の参考画像、および症例を示す1以上の文字データを表示する。この場合、表示部4は、かかる1以上の参考画像と1以上の文字データとを症例別に対応付けた態様で表示する。また、表示部4は、かかる選択された体内画像と1以上の参考画像とを比較可能な態様で表示する。
出力部5は、被検体に関するコメント等を掲載したレポートを出力するためのものである。具体的には、出力部5は、プリンタ等を用いて実現され、制御部7によって出力指示されたレポートデータを紙等の媒体に印刷して出力する。
記憶部6は、RAM、EEPROM、またはハードディスク等の大容量の記憶媒体を用いて実現され、制御部7によって書き込み指示された各種データ等を保存し、制御部7によって読み出し指示された保存データを制御部7に送信する。具体的には、記憶部6は、上述した参考画像を複数含む参考画像群6aと、症例を示す複数の文字データを含む文字データ群6bと、被検体の体内画像群6cとを記憶する。ここで、参考画像群6a内の各参考画像は、症例を示す画像データであり、入出力インターフェース2によって記憶媒体から取り込まれる。文字データ群6b内の各文字データは、かかる参考画像群6a内の各参考画像の症例を示す文字データであり、入出力インターフェース2によって記憶媒体から取り込まれ、または入力部3によって入力される。体内画像群6c内の各体内画像は、体内撮像装置によって撮像された画像データであり、入出力インターフェース2によって記憶媒体から取り込まれる。なお、かかる参考画像群6a内の各参考画像は、体内撮像装置によって撮像された画像データであってもよいし、症例集のデータベース等からダウンロードした画像データであってもよい。また、かかる記憶部6内の参考画像群6aおよび文字データ群6bは、予め入力されたデータであってもよい。
制御部7は、処理プログラムを実行するCPUと、処理プログラム等が予め記録されたROMと、各処理の演算パラメータ等を一時的に記憶するRAMとを用いて実現される。制御部7は、画像表示装置1の各構成部である入出力インターフェース2、入力部3、表示部4、出力部5、および記憶部6を制御し、且つ、かかる各構成部間における信号の入出力を制御する。
また、制御部7は、体内画像群6cの中から選択された体内画像を抽出する画像抽出部7aと、症例を示す参考画像および文字データの表示配列を設定する配列処理部7bと、症例を示す文字データの入力処理を行う文字データ処理部7cと、被検体に関連するレポートデータを作成するレポート作成部7dとを備える。
画像抽出部7aは、表示部4に静止画表示または動画表示された各体内画像の中からユーザ注目の体内画像を抽出する。この場合、画像抽出部7aは、入力部3によって入力された体内画像の画像選択情報を取得し、この取得した画像選択情報によって選択される体内画像、すなわちユーザ注目の体内画像を体内画像群6cの中から抽出する。制御部7は、かかる画像抽出部7aによって抽出されたユーザ注目の体内画像を症例の参考画像および文字データとともに表示するように表示部4を制御する。
配列処理部7bは、表示部4に一覧表示される参考画像群6aおよび文字データ6bの表示配列を設定する。具体的には、配列処理部7bは、画像抽出部7aによって抽出されたユーザ注目の体内画像の画素データと参考画像群6a内の各参考画像の画素データとをもとに、このユーザ注目の体内画像に対する各参考画像の類似度を算出する。なお、かかる画素データとして、例えば、画像毎の色データ、輝度データ、または平均色データ等が挙げられる。配列処理部7bは、かかる各参考画像の類似度順に参考画像群6aの表示配列を設定する。この場合、配列処理部7bは、このユーザ注目の体内画像に対する類似度の大きい参考画像から順に表示部4に表示可能な表示配列を設定する。一方、配列処理部7bは、かかる参考画像群6aの表示配列に対応して文字データ群6bの表示配列を設定する。具体的には、配列処理部7bは、かかる参考画像群6aの各参考画像と文字データ群6b内の各文字データとが症例別に並ぶように文字データ群6bの表示配列を設定する。制御部7は、かかる配列処理部7bによって設定された表示配列に参考画像群6aおよび文字データ群6bを配列して表示するように表示部4を制御する。
文字データ処理部7cは、表示部4に一覧表示された症例の文字データの中から入力データを決定する入力処理を行う。具体的には、文字データ処理部7cは、入力部3によって入力された参考画像または文字データの参考情報選択情報を取得し、この取得した参考情報選択情報に対応する症例の文字データを文字データ群6bの中から抽出する。この場合、文字データ処理部7cは、この参考情報選択情報によって選択される文字データまたはこの参考情報選択情報によって選択される参考画像と対応付けられた文字データを抽出する。文字データ処理部7cは、このように抽出した文字データを入力データ候補として保持する。制御部7は、かかる文字データ処理部7cによって抽出された文字データを入力データ候補として表示するように表示部4を制御する。一方、文字データ処理部7cは、入力部3によって入力された文字データをもとに、かかる入力データ候補である文字データを編集する文字データ編集機能を有する。その後、文字データ処理部7cは、入力部3によって入力された指示情報に基づいて、この入力データ候補である文字データを入力データとして決定する。
レポート作成部7dは、被検体に関連するレポートデータを作成する。具体的には、レポート作成部7dは、画像抽出部7aが抽出したユーザ注目の体内画像のデータ、入力部3が入力した参考情報選択情報によって選択される参考画像のデータ、および文字データ処理部7cが入力データとして決定した文字データ等を用いて、かかる各種データを掲載した被検体のレポートデータを作成する。制御部7は、かかるレポート作成部7dによって作成されたレポートデータを記憶部6に保存する。
つぎに、本発明の実施の形態1にかかる画像表示装置1の動作について説明する。図2は、選択された体内画像を表示するとともに症例を示す参考画像および文字データを一覧表示した状態を例示する模式図である。図3は、選択された体内画像に関するコメントを入力する状態を例示する模式図である。以下、上述した図1および図2,3を参照しつつ、表示部4に表示された各体内画像の中からユーザ注目の体内画像が選択されてから、このユーザ注目の体内画像に関するコメントを入力するまでの画像表示装置1の動作を説明する。
画像表示装置1は、ユーザによる体内画像の表示操作に対応して被検体の体内画像群6cの各体内画像を表示し、この表示した各体内画像の中からユーザによって体内画像が選択された場合、このユーザ注目の体内画像を表示するとともに、症例を示す参考画像および文字データを一覧表示する。
かかる画像表示装置1において、入力部3は、表示部4に表示された各体内画像の中からユーザによって選択された体内画像Pの画像選択情報を制御部7に入力する。制御部7は、この入力された画像選択情報によって選択されるユーザ注目の体内画像Pを表示部4に表示させる。この場合、画像抽出部7aは、記憶部6内の体内画像群6cの中からユーザ注目の体内画像Pを抽出する。制御部7は、かかる画像抽出部7aによって抽出された体内画像Pを表示するように表示部4を制御する。
一方、制御部7は、このようにユーザ注目の体内画像Pが選択された場合、各種症例を示す参考画像群6aおよび文字データ群6bを表示部4に一覧表示させる。この場合、配列処理部7bは、この体内画像Pの画素データと参考画像群6a内の各参考画像の画素データとをもとに、この体内画像Pに対する各参考画像の類似度を算出する。配列処理部7bは、この体内画像Pに対する類似度の大きい参考画像から順に表示可能な参考画像群6aの表示配列を設定する。また、配列処理部7bは、かかる参考画像群6aの各参考画像と文字データ群6b内の各文字データとが症例別に並ぶように文字データ群6bの表示配列を設定する。制御部7は、かかる配列処理部7bによって設定された表示配列に参考画像群6aおよび文字データ群6bを配列して一覧表示するように表示部4を制御する。
表示部4は、かかる制御部7の制御に基づいて、ユーザ注目の体内画像Pを表示するとともに、症例を示す参考画像群6aおよび文字データ群6bを一覧表示する。具体的には、表示部4は、制御部7の制御に基づいて図2に示すウィンドウ10を表示する。このウィンドウ10には、体内画像表示領域11および参考データ表示領域12が形成される。表示部4は、この体内画像表示領域11にユーザ注目の体内画像Pを表示するとともに、この参考データ表示領域12に参考画像群6aおよび文字データ群6bを一覧表示する。なお、このウィンドウ10には、かかる体内画像表示領域11および参考データ表示領域12の他に、この体内画像Pに関するコメントを入力するためのコメント入力領域13と、コメントの入力文字データを決定するための決定アイコン14とが形成される。
ここで、かかる参考画像群6a内の各参考画像は、体内画像表示領域11内の体内画像Pに対する類似度の大きい参考画像を先頭にして順に配列されている。また、かかる文字データ群6b内の各文字データは、この参考画像群6a内の各参考画像と症例別に対応付けられた態様で配列される。例えば、この体内画像Pに潰瘍らしき部位が描画されている場合、参考データ表示領域12には、この体内画像Pに類似する症例「潰瘍」、「出血」、「腫瘍」を示す各参考画像および各文字データが先に表示される。なお、図2においては参考画像群6aおよび文字データ群6bの一部が参考データ表示領域12内に一覧表示されているが、かかる参考画像群6a内の全参考画像および文字データ群6b内の全文字データは、参考データ表示領域12のスクロールバー12aを操作することによって表示可能である。
このようにユーザ注目の体内画像Pを表示するとともに参考画像群6aおよび文字データ群6bを一覧表示した画像表示装置1において、ユーザは、体内画像表示領域11内の体内画像Pと参考データ表示領域12内の参考画像群6aとを見比べ、この体内画像Pに類似する症例の参考画像を参考画像群6aの中から探し出す。この場合、ユーザは、入力部3を操作して、この探し出した参考画像を選択し、これによって、この参考画像の症例を示す文字データを入力する。
具体的には、この体内画像Pに対応する被検体の症状が潰瘍である場合、入力部3は、参考データ表示領域12内の参考画像群6aのうちの潰瘍の参考画像Raの参考情報選択情報を制御部7に入力する。なお、かかる参考画像Raの参考情報選択情報は、例えば図3の状態A1に示すように、潰瘍の参考画像Raにマウスカーソル15を合わせた状態でのクリック操作等の入力部3の操作に対応して入力される。
制御部7は、この入力された参考情報選択情報に対応する文字データTaを、入力データ候補として保持するとともに表示部4に表示させる。この場合、文字データ処理部7cは、この入力された参考情報選択情報によって選択される参考画像Raと対応付けられた文字データ、すなわち参考画像Raの症例「潰瘍」を示す文字データTaを記憶部6内の文字データ群6bの中から抽出する。文字データ処理部7cは、このように抽出した文字データTaを、この体内画像Pに関するコメントの入力データ候補として保持する。制御部7は、かかる文字データ処理部7cによって抽出された文字データTaを入力データ候補として表示するように表示部4を制御する。かかる制御部7の制御に基づいて、表示部4は、図3の状態A2に示すように、コメント入力領域13に「潰瘍」の文字データTaを入力データ候補として表示する。
ここで、かかる入力データ候補としての文字データTaは、編集可能である。すなわち、この文字データTaに対して追加または変更する文字データが入力部3によって入力された場合、文字データ処理部7cは、この入力された文字データをもとに、この入力データ候補である「潰瘍」の文字データTaを「潰瘍あり」または「潰瘍の疑いあり」等の文字列または文章に編集する。一方、この文字データTaの少なくとも一部を削除する指示情報が入力部によって入力された場合、文字データ処理部7cは、この入力された指示情報に基づいて文字データTaの一部または全部を削除する。制御部7は、コメント入力領域13内の文字データTaを、かかる文字データ処理部7cによって編集された文字列または文章等の編集データに更新するように表示部4を制御する。
なお、文字データ処理部7cは、参考画像Raの参考情報選択情報の代わりに文字データTaの参考情報選択情報が入力された場合も、この入力された参考情報選択情報によって選択される文字データTaを記憶部6内の文字データ群6bの中から抽出し、この抽出した文字データTaを、この体内画像Pに関するコメントの入力データ候補として保持する。また、文字データ処理部7cは、参考画像または文字データの参考情報選択情報が入力部3によって追加入力された場合、その都度、この参考情報選択情報に対応する症例の文字データを入力データ候補として追加する。例えば、文字データ処理部7cは、「出血」を示す参考画像Rbまたは文字データTbの参考情報選択情報が入力された場合、この参考情報選択情報に対応する「出血」の文字データTbを入力データ候補として追加し、「腫瘍」を示す参考画像Rcまたは文字データTcの参考情報選択情報が入力された場合、この参考情報選択情報に対応する「腫瘍」の文字データTcを入力データ候補として追加する。表示部4は、かかる入力データ候補として追加された「出血」、「腫瘍」等の文字データをコメント入力領域13に追加表示する。
このようにユーザ注目の体内画像Pに関するコメントの入力データ候補を表示部4のコメント入力領域13に表示した画像表示装置1において、ユーザは、このコメント入力領域13内の入力データ候補を視認し、この入力データ候補をコメントの入力データとする場合、入力部3を操作して決定アイコン14をクリックする。この場合、入力部3は、入力データの決定を指示する指示情報を制御部7に入力する。文字データ処理部7cは、この入力された指示情報に基づいて、コメント入力領域13内の入力データ候補である文字データ、例えば図3の状態A2に示す「潰瘍」の文字データTaを入力データとして決定し、保持する。これによって、このユーザ注目の体内画像Pに関するコメントのデータ入力が完了する。なお、かかるコメントのデータ入力は、マウスによってコメント入力領域13内の入力データ候補をクリックする等の入力部3のクリック操作によって達成されてもよい。
なお、上述した文字データ処理部7cは、症例を示す単語形式の文字データを入力データ候補として保持していたが、これに限らず、単語形式の文字データを文章形式または文字列形式に自動変換し、この自動変換した文字データを入力データ候補として保持してもよい。例えば、文字データ処理部7cは、入力部3によって入力された参考情報選択情報に基づいて文字データ群6bの中から抽出した「潰瘍」の文字データTaを「潰瘍あり」または「潰瘍の疑いあり」等の文章形式または文字列形式に自動変換してもよい。また、上述した文字データ群6b内の各文字データは、「潰瘍」等の症例を示す単語形式のものに限らず、「潰瘍あり」または「潰瘍の疑いあり」等の症例を示す文章形式または文字列形式のものであってもよい。一方、文字データ処理部7cは、上述した参考データ表示領域12内に一覧表示された文字データ、すなわち文字データ群6b内の文字データに限らず、入力部3によって入力された文字データを入力データ候補として保持してもよい。
つぎに、上述したように入力された体内画像Pに関するコメントを掲載したレポートデータについて説明する。図4は、被検体に関連するレポートデータの一具体例を示す模式図である。画像表示装置1は、上述したレポート作成部7dの機能によって、図4に示すようにユーザ注目の体内画像Pおよび体内画像Pに関するコメント等を掲載したレポートデータ16を作成する。
具体的には、レポート作成部7dは、被検体に関連するレポートデータ16を作成するための各種データとして、例えば、画像抽出部7aによって抽出されたユーザ注目の体内画像P、入力部3によって入力された参考情報選択情報に対応する参考画像Ra、文字データ処理部7cによって入力データとして保持された文字データ、入力部3によって入力された文字データ等を取得する。レポート作成部7dは、かかる各種取得データをもとに、被検体に関するレポートデータ16を作成する。
かかるレポート作成部7dによって作成されたレポートデータ16には、図4に示すように、被検体の検査した医師名および施設名等の検査者データ16a、患者ID、検査日、患者名、生年月日、性別等の被検体を特定する被検体データ16b、被検体を検査した際に観察した体内画像Pが掲載される。また、かかるレポートデータ16内のコメント欄16cには、この体内画像Pに関するコメント、例えば「潰瘍の疑いあり」が掲載される。ここで、このコメント欄16c内のコメントを構成する文字データは、上述した文字データ処理部7cが入力データとして保持した文字データである。
一方、かかるレポートデータ16内の備考欄16dには、この体内画像Pに関するコメントを入力する際に参考にしたデータ、例えば「潰瘍」を示す参考画像Raおよび文字データTaが掲載される。ここで、この備考欄16d内の参考画像Raおよび文字データTaは、体内画像Pに関するコメントを入力する際に入力部3によって入力された参考情報選択情報に対応するデータである。すなわち、この備考欄16d内に掲載されるデータは、この体内画像Pに対してコメント欄16c内のコメントを入力した際に参考にした参考画像等のデータ確認に有用である。なお、かかるレポートデータ16は、例えば、表示部4によって表示され、その後、出力部5によって適宜プリントアウトされる。
以上、説明したように、本発明の実施の形態1では、ユーザによって選択された被検体の体内画像を表示するとともに、この体内画像に対応する症例の参考画像を含む複数の参考画像と症例を示す複数の文字データとを症例別に対応付けて一覧表示するように構成した。このため、一覧表示された複数の参考画像とユーザ注目の体内画像とを見比べつつ、このユーザ注目の体内画像に関するコメントを入力することができ、この結果、このユーザ注目の体内画像に合致する被検体の症状を判断し易く、この判断した症状に合った的確なコメントを容易に入力できる画像表示装置を実現することができる。
また、一覧表示した複数の参考画像の中から選択される参考画像と対応付けた文字データを入力データ候補として保持するように構成したので、ユーザ注目の体内画像に合致する被検体の症状に対応して文字データの入力を補助することができ、これによって、ユーザ注目の体内画像に関するコメントをより容易に入力することができる。
さらに、ユーザ注目の体内画像に対する参考画像の類似度が高い順に複数の参考画像を配列して一覧表示するように構成したので、このユーザ注目の体内画像に対応する症例の参考画像を容易に探し出すことができ、この結果、ユーザ注目の体内画像に関するコメントの入力補助機能の使い勝手を向上することができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、症例別の文字データを入力していたが、この実施の形態2では、さらに、同一症例の進行レベル別の文字データを入力できるようにしている。
図5は、本発明の実施の形態2にかかる画像表示装置の一構成例を模式的に示すブロック図である。図5に示すように、この実施の形態2にかかる画像表示装置21は、上述した実施の形態1にかかる画像表示装置1の制御部7に代えて制御部27を備える。また、この実施の形態2において、記憶部6は、上述した参考画像群6a内の各参考画像の症例毎に同一症例の進行レベル別の各参考画像を追加した参考画像群26aと、上述した文字データ群6b内の各文字データが示す症例毎に同一症例の進行レベルを示す各文字データを追加した文字データ群26bとを記憶する。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部27は、実施の形態1における配列処理部7bに代えて配列処理部27bを備え、実施の形態1における文字データ処理部7cに代えて文字データ処理部27cを備える。なお、制御部27は、配列処理部27bの機能および文字データ処理部27cの機能以外、上述した実施の形態1にかかる画像表示装置1の制御部7と同様の機能を有する。
配列処理部27bは、上述した配列処理部7bと同様に、参考画像群26aに含まれる症例別の各参考画像の表示配列と、文字データ群26bに含まれる症例別の各文字データの表示配列とを設定する。一方、配列処理部27bは、参考画像群26a内に症例毎に含まれる同一症例の進行レベル別の各参考画像の表示配列を症例の進行レベル順に表示可能な配列に設定する。また、配列処理部27bは、文字データ群27b内に症例毎に含まれる同一症例の進行レベル別の各文字データの表示配列を、かかる進行レベル別の各参考画像の表示配列に対応して設定する。この場合、配列処理部27bは、同一症例の進行レベルを示す各参考画像および各文字データが進行レベル別に並ぶように表示配列を設定する。
文字データ処理部27cは、上述した文字データ処理部7cと同様に、症例を示す文字データの保持機能、入力機能、および編集機能を有する。また、文字データ処理部27cは、入力部3によって入力された進行レベル別の参考画像または文字データの参考情報選択情報を取得し、この取得した参考情報選択情報に対応する症例の進行レベルを示す文字データを文字データ群26bの中から抽出する。この場合、文字データ処理部27cは、この参考情報選択情報によって選択される進行レベル別の文字データまたはこの参考情報選択情報によって選択される進行レベル別の参考画像と対応付けられた文字データを抽出する。文字データ処理部7cは、このように抽出した進行レベル別の文字データを、上述した症例別の文字データとともに入力データ候補として保持する。文字データ処理部27cは、入力部3によって入力された指示情報に基づいて、この入力データ候補である症例別および進行レベル別の各文字データを入力データとして決定する。
ここで、この実施の形態2にかかる画像表示装置21の記憶部6は、実施の形態1における参考画像群6aに代えて参考画像群26aを記憶し、実施の形態1における文字データ群6bに代えて文字データ群26bを記憶する。参考画像群26aは、上述した参考画像群6a内の各参考画像、すなわち症例別の各参考画像を含み、さらに、これら各参考画像の症例毎に、同一症例の進行レベル別の各参考画像を含む。一方、文字データ群26bは、上述した文字データ群6b内の各文字データ、すなわち症例別の各文字データを含み、さらに、これら各文字データが示す症例毎に、同一症例の進行レベルを示す各文字データを含む。
例えば、参考画像群26a内に含まれる「潰瘍」の参考画像として、「潰瘍」を示す代表的な参考画像と、「潰瘍」の進行レベル別の各参考画像とを含む。また、文字データ群26b内に含まれる「潰瘍」に関する文字データとして、「潰瘍」を示す文字データと、「潰瘍」の進行レベル、例えば5段階の進行レベル1〜5を示す各文字データとを含む。以上のことは、潰瘍以外の症例についても同様である。
なお、参考画像群26a内の各参考画像は、上述した実施の形態1の場合と同様に、入出力インターフェース2によって記憶媒体から取り込まれる。また、文字データ群26b内の各文字データは、上述した実施の形態1の場合と同様に、入出力インターフェース2によって記憶媒体から取り込まれ、または入力部3によって入力される。
つぎに、本発明の実施の形態2にかかる画像表示装置21の動作について説明する。図6は、症例の進行レベル別の各参考画像および各文字データを一覧表示する状態を例示する模式図である。図7は、選択された症例および進行レベルを示す文字データを入力する状態を示す模式図である。なお、この実施の形態2にかかる画像表示装置21の動作は、同一症例の進行レベル別の各参考画像および各文字データを一覧表示する際の動作と、症例の進行レベルを示す文字データを入力する際の動作とを除き、上述した実施の形態1にかかる画像表示装置1と同様である。以下では、上述した図5および図6,7を参照しつつ、同一症例の進行レベル別の各参考画像および各文字データを一覧表示する際の画像表示装置21の動作と、症例の進行レベルを示す文字データを入力する際の画像表示装置21の動作とを説明する。
画像表示装置21は、上述した実施の形態1の場合と同様に、表示部4の体内画像表示領域11にユーザ注目の体内画像Pを表示するとともに、表示部4の参考データ表示領域12に、症例を示す各参考画像および文字データを表示する。この状態において、ユーザは、体内画像表示領域11内の体内画像Pと参考データ表示領域12内の症例別の各参考画像とを見比べ、この体内画像Pに類似する症例の参考画像を症例別の各参考画像の中から探し出す。この場合、ユーザは、入力部3を操作して、この探し出した参考画像を選択して、この参考画像の症例の進行レベルを示す各参考画像および各文字データを画像表示装置21に表示させる。
具体的には、この体内画像Pに対応する被検体の症状が潰瘍である場合、入力部3は、参考データ表示領域12内の各参考画像のうちの潰瘍の参考画像Raの参考情報選択情報を制御部27に入力する。なお、かかる参考画像Raの参考情報選択情報は、例えば図6の状態B1に示すように、潰瘍の参考画像Raにマウスカーソル15を合わせた状態でのクリック操作等の入力部3の操作に対応して入力される。
制御部27は、入力部3によって入力された参考画像Raの参考情報選択情報に基づいて、症例の進行レベル別の各参考画像および各文字データを表示部4に一覧表示させる。この場合、配列処理部27bは、この参考情報選択情報によって選択される参考画像Raに対応する症例の進行レベル別の各参考画像の表示配列を、症例の進行レベルの昇順または降順に表示可能な表示配列に設定する。また、配列処理部27bは、この参考画像Raの症例の進行レベルを示す各参考画像および各文字データが進行レベル別に並ぶように、この症例の進行レベル別の各文字データの表示配列を設定する。制御部27は、かかる配列処理部27bによって設定された表示配列に進行レベル別の各参考画像および各文字データを配列して一覧表示するように表示部4を制御する。
かかる制御部27の制御に基づいて、表示部4は、図6の状態B2に示すように、参考画像Raの症例「潰瘍」の進行レベル別の各参考画像Ra−1,Ra−2,Ra−3と、これら各参考画像Ra−1,Ra−2,Ra−3の進行レベルを各々示す各文字データTa−1,Ta−2,Ta−3とを参考データ表示領域12に一覧表示する。この場合、各文字データTa−1,Ta−2,Ta−3は、各参考画像Ra−1,Ra−2,Ra−3と進行レベル別に対応付けられた態様で配列される。すなわち、進行レベル1を示す文字データTa−1は、進行レベル1の潰瘍の参考画像Ra−1と並べて配列され、進行レベル2を示す文字データTa−2は、進行レベル2の潰瘍の参考画像Ra−2と並べて配列され、進行レベル3を示す文字データTa−3は、進行レベル3の潰瘍の参考画像Ra−3と並べて配列される。
ここで、図6においては、進行レベル1〜3の各参考画像Ra−1,Ra−2,Ra−3および各文字データTa−1,Ta−2,Ta−3を一覧表示しているが、同一症例の進行レベルが4段階以上に設定されている場合、進行レベル4以降の各参考画像および各文字データは、参考データ表示領域12のスクロールバー12aを操作することによって表示可能である。また、進行レベル別の各参考画像および各文字データの表示配列は、図6において進行レベルの昇順にしているが、進行レベルの降順であってもよい。
なお、図6の状態B2に示すように症例の進行レベル別の各参考画像および各文字データが参考データ表示領域12に一覧表示された状態において、文字データ処理部27cは、上述した参考画像Raの症例「潰瘍」を示す文字データTaを入力データ候補として保持し、表示部4は、参考データ表示領域12内に文字データTaを表示するとともに、入力データ候補としてコメント入力領域13内に文字データTaを表示する。
このように症例の進行レベル別の各参考画像および各文字データを一覧表示した画像表示装置21において、ユーザは、体内画像表示領域11内の体内画像Pと参考データ表示領域12内の進行レベル別の各参考画像とを見比べ、この体内画像Pに類似する進行レベルの症例の参考画像を探し出す。この場合、ユーザは、入力部3を操作して、この探し出した参考画像を選択し、これによって、この参考画像に対応する症例の進行レベルを示す文字データを入力する。
具体的には、この体内画像Pに対応する被検体の症状が進行レベル3の潰瘍である場合、入力部3は、進行レベル3の潰瘍を示す参考画像Ra−3の参考情報選択情報を制御部27に入力する。なお、かかる参考画像Ra−3の参考情報選択情報は、例えば図6の状態B2に示すように、参考画像Ra−3にマウスカーソル15を合わせた状態でのクリック操作等の入力部3の操作に対応して入力される。
制御部27は、この入力された参考情報選択情報に対応する文字データTa−3を、入力データ候補として追加するとともに表示部4に追加表示させる。この場合、文字データ処理部27cは、この入力された参考情報選択情報によって選択される参考画像Ra−3と対応付けられた文字データ、すなわち参考画像Raの症例「潰瘍」の進行レベル3を示す文字データTa−3を記憶部6内の文字データ群26bの中から抽出する。文字データ処理部27cは、このように抽出した文字データTa−3を、この体内画像Pに関するコメントの入力データ候補として追加保持する。制御部27は、かかる文字データ処理部27cによって抽出された文字データTa−3を入力データ候補として追加表示するように表示部4を制御する。
かかる制御部27の制御に基づいて、表示部4は、図7の状態B3に示すように、コメント入力領域13に「レベル3」の文字データTa−3を入力データ候補として追加表示する。この時点において、表示部4は、コメント入力領域13に、「潰瘍」の文字データTaと「レベル3」の文字データTa−3とを入力データ候補として表示している。
ここで、かかる入力データ候補としての文字データTa,Ta―3は、上述した実施の形態1の場合と同様に編集可能である。すなわち、この文字データTa,Ta−3に対して追加または変更する文字データが入力部3によって入力され場合、文字データ処理部27cは、この入力された文字データをもとに、この入力データ候補である「潰瘍」の文字データTaおよび「レベル3」の文字データTa−3を、「潰瘍あり、潰瘍の進行度合いはレベル3」または「進行レベル3の潰瘍の疑いあり」等の文字列または文章に編集する。一方、この文字データTa,Ta−3の少なくとも一部を削除する指示情報が入力部によって入力された場合、文字データ処理部27cは、この入力された指示情報に基づいて文字データTa,Ta−3の一部または全部を削除する。制御部27は、コメント入力領域13内の文字データTa,Ta−3を、かかる文字データ処理部27cによって編集された文字列または文章等の編集データに更新するように表示部4を制御する。
なお、文字データ処理部27cは、参考画像Ra−3の参考情報選択情報の代わりに文字データTa−3の参考情報選択情報が入力された場合も、この入力された参考情報選択情報によって選択される文字データTa−3を記憶部6内の文字データ群26bの中から抽出し、この抽出した文字データTa−3を、この体内画像Pに関するコメントの入力データ候補として追加保持する。
その後、文字データ処理部27cは、文字データ処理部7cは、実施の形態1の場合と同様に入力部3によって入力された入力データ決定の指示情報に基づいて、コメント入力領域13内の入力データ候補である文字データ、例えば図7の状態B3に示す「潰瘍」の文字データTaおよび「レベル3」の文字データTa−3を入力データとして決定し、保持する。これによって、このユーザ注目の体内画像Pに関するコメントのデータ入力が完了する。
以上、説明したように、本発明の実施の形態2では、ユーザによって選択された参考画像の症例の進行レベルを示す各参考画像および各文字データを症例の進行レベル別に対応付けて一覧表示し、この一覧表示された症例の各進行レベルの中から選択された進行レベルの文字データを入力データ候補として追加するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1と同様の作用効果を享受するとともに、体内画像によって示される被検体の症状の種類のみならず、その症状の進行レベルを含めた詳細なコメントを容易に入力できる画像表示装置を実現することができる。
また、この実施の形態2にかかる画像表示装置は、症例の進行レベルを症例別に判断する際の基準画像として、症例の進行レベル別の各参考画像を一覧表示することができ、この結果、体内画像に示される被検体の症状の進行レベルの判断基準に医師による個人差が生じることを防止できる。
(実施の形態3)
つぎに、本発明の実施の形態3について説明する。上述した実施の形態1では、登録された症例の参考画像群6aおよび文字データ群6bを表示部4に一覧表示していたが、この実施の形態3では、被検体の体内画像の一部分を指定した場合、この指定した体内画像の一部分の画素データをもとに表示対象の参考画像および文字データを絞り込み、これによって、この体内画像の一部分に対して類似度の高い参考画像を一覧表示している。
図8は、本発明の実施の形態3にかかる画像表示装置の一構成例を模式的に示すブロック図である。図8に示すように、この実施の形態3にかかる画像表示装置31は、上述した実施の形態1にかかる画像表示装置1の制御部7に代えて制御部37を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部37は、上述した画像抽出部7a、配列処理部7b、文字データ処理部7c、およびレポート作成部7dを備え、さらに、絞込み処理部37eを備える。絞込み処理部37eは、表示部4の参考データ表示領域12に表示する1以上の参考画像および1以上の文字データを、この表示部4の体内画像表示領域11に表示されている体内画像のうちの一部分と類似度の高い参考画像およびこの参考画像の症例を示す文字データに絞り込む。
具体的には、絞込み処理部37eは、この表示中の体内画像のうちの入力部3によって指定される一部分、すなわち入力部3が入力した指定情報によって指定される範囲内の画像部分に対する参考画像群6a内の各参考画像の類似度を算出し、この算出した各類似度をもとに、表示対象である1以上の参考画像を参考画像群6aの中から絞り込むとともに、この絞り込んだ1以上の参考画像の症例を示す1以上の文字データを文字データ群6bの中から絞り込む。この場合、絞込み処理部37eは、類似度の閾値を予め有し、この閾値以上の類似度をもつ1以上の参考画像を表示対象の参考画像として絞り込む。絞込み処理部37eは、体内画像の一部分を指定する指定情報が入力される都度、かかる表示対象の参考画像および文字データの絞込み処理を行う。
制御部37は、かかる絞込み処理部37eによって絞り込まれた1以上の参考画像および1以上の文字データを参考データ表示領域12に表示するように表示部4を制御する。なお、制御部37は、かかる絞込み処理部37eの機能以外、上述した実施の形態1にかかる画像表示装置1の制御部7と同様の機能を有する。
つぎに、本発明の実施の形態3にかかる画像表示装置31の動作について説明する。図9は、体内画像の一部分に対する類似度の高い症例の参考画像および文字データを表示する状態を示す模式図である。図10は、この体内画像の別の一部分に対する類似度の高い症例の参考画像および文字データを表示する状態を示す模式図である。なお、この実施の形態3にかかる画像表示装置31の動作は、体内画像の一部分に対する類似度の高い1以上の参考画像および1以上の文字データを表示する際の動作以外、上述した実施の形態1にかかる画像表示装置1と同様である。以下では、上述した図8および図9,10を参照しつつ、体内画像の一部分に対する類似度の高い1以上の参考画像および1以上の文字データを表示する際の画像表示装置31の動作を説明する。
画像表示装置31は、上述した実施の形態1の場合と同様に、表示部4の体内画像表示領域11にユーザ注目の体内画像Pを表示する。この状態において、ユーザは、この体内画像Pを観察して、この体内画像Pの中から関心領域を見つけ出す。この場合、ユーザは、入力部3を操作して、この体内画像Pの一部分である関心領域の画像部分を範囲指定する。
かかるユーザによる操作に対応して、入力部3は、図9の状態C1に示すように、体内画像表示領域11に表示されている体内画像Pのうちの指定範囲15a内の一部分、すなわち関心領域の画像部分Paを指定する指定情報を制御部37に入力する。ここで、この画像部分Paの指定情報は、マウスカーソル15に対応する指定範囲15a内に画像部分Paを位置させた状態でのクリック操作等の入力部3の操作に対応して入力される。なお、かかる指定範囲15aは、入力部3の操作に対応して移動するマウスカーソル15に追従して変位する。
制御部37は、入力部3によって入力された画像部分Paの指定情報に基づいて、この画像部分Paに対する類似度の高い症例の参考画像および文字データを1以上表示部4に表示させる。この場合、絞込み処理部37eは、この入力された指定情報によって指定される画像部分Paの画素データと参考画像群6a内の各参考画像の画素データとをもとに、この画像部分Paに対する各参考画像の類似度を算出する。そして、絞込み処理部37eは、この算出した各類似度と予め設定された閾値とを比較し、この閾値以上の類似度をもつ1以上の参考画像、すなわち画像部分Paに対する類似度の高い1以上の参考画像を参考画像群6aの中から絞り込む。さらに、絞込み処理部37eは、この絞り込んだ1以上の参考画像の症例を示す1以上の文字データを文字データ群6bの中から絞り込む。制御部37は、かかる絞込み処理部37eによって絞り込まれた1以上の参考画像および1以上の文字データを参考データ表示領域12に表示するように表示部4を制御する。
かかる制御部37の制御に基づいて、表示部4は、例えば図9の状態C1に示すように、体内画像Pの画像部分Paに対する類似度の高い各参考画像Ra,Rf,Rcと各参考画像Ra,Rf,Rcの症例を示す各文字データTa,Tf,Tcとを参考データ表示領域12に一覧表示する。ここで、かかる各参考画像Ra,Rf,Rcおよび各文字データTa,Tf,Tcは、上述した絞込み処理部37eによって絞り込まれた症例の参考画像および文字データであり、上述した配列処理部7bによって設定された表示配列順、すなわち画像部分Paに対する類似度の高い順に配列される。この場合、腫瘍を示す文字データTaは、潰瘍の参考画像Raと並べて配列され、ポリープを示す文字データTfは、ポリープの参考画像Rfと並べて配列され、腫瘍を示す文字データTcは、潰瘍の参考画像Rcと並べて配列される。なお、上述した絞込み処理部37eによって絞り込まれる症例の参考画像および文字データの各絞込み数は、1以上であればよく、特に3つに限定されない。
図9の状態C1に示したように画像部分Paに対する類似度の高い1以上の参考画像および1以上の文字データを表示した画像表示装置31において、ユーザは、この画像部分Paと参考データ表示領域12内の各参考画像とを見比べ、この画像部分Paに対応する症例の参考画像を探し出す。この場合、ユーザは、入力部3を操作して、この探し出した参考画像を選択し、これによって、この参考画像の症例を示す文字データを入力する。
なお、かかる画像部分Paに対応する症例の文字データの入力は、上述した実施の形態1の場合と同様である。例えば、入力部3は、「潰瘍」を示す文字データTaを入力する場合、潰瘍の参考画像Raまたは文字データTaの参考情報選択情報を制御部37に入力する。制御部37は、この入力された参考情報選択情報に対応する文字データTaを入力データ候補として追加するとともに、図9の状態C2に示すように文字データTaをコメント入力領域13に表示するように表示部4を制御する。かかる入力データ候補である文字データTaは、実施の形態1の場合と同様に、入力部3の操作に対応して編集または削除可能であり、また、決定アイコン14に対応する指示情報に基づいて入力データとして決定される。
ここで、図9の状態C2に示したようにコメント入力領域13に画像部分Paに関する文字データTaが表示された後、ユーザは、入力部3を操作して、体内画像Pのうちの画像部分Paとは別の関心領域の画像部分に関する文字データを追加入力することができる。
具体的には、入力部3は、図10の状態C3に示すように、体内画像表示領域11に表示されている体内画像Pのうちの指定範囲15a内の一部分、すなわち上述した画像部分Paとは別の関心領域の画像部分Pbを指定する指定情報を制御部37に入力する。なお、この画像部分Pbの指定情報は、マウスカーソル15に対応する指定範囲15a内に画像部分Pbを位置させた状態でのクリック操作等の入力部3の操作に対応して入力される。
制御部37は、入力部3によって入力された画像部分Pbの指定情報に基づいて、この画像部分Pbに対する類似度の高い症例の参考画像および文字データを1以上表示部4に表示させる。この場合、絞込み処理部37eは、この入力された指定情報によって指定される画像部分Pbの画素データと参考画像群6a内の各参考画像の画素データとをもとに、この画像部分Pbに対する各参考画像の類似度を算出する。そして、絞込み処理部37eは、この算出した各類似度と予め設定された閾値とを比較し、この閾値以上の類似度をもつ1以上の参考画像、すなわち画像部分Pbに対する類似度の高い1以上の参考画像を参考画像群6aの中から絞り込む。さらに、絞込み処理部37eは、この絞り込んだ1以上の参考画像の症例を示す1以上の文字データを文字データ群6bの中から絞り込む。制御部37は、かかる絞込み処理部37eによって絞り込まれた1以上の参考画像および1以上の文字データを参考データ表示領域12に表示するように表示部4を制御する。
かかる制御部37の制御に基づいて、表示部4は、例えば図10の状態C3に示すように、体内画像Pの画像部分Pbに対する類似度の高い各参考画像Rd,Rbと各参考画像Rd,Rbの症例を示す各文字データTd,Tbとを参考データ表示領域12に一覧表示する。ここで、かかる各参考画像Rd,Rbおよび各文字データTd,Tbは、上述した絞込み処理部37eによって絞り込まれた症例の参考画像および文字データであり、上述した配列処理部7bによって設定された表示配列順、すなわち画像部分Pbに対する類似度の高い順に配列される。この場合、狭窄を示す文字データTdは、狭窄の参考画像Rdと並べて配列され、出血を示す文字データTbは、出血の参考画像Rbと並べて配列される。
図10の状態C3に示したように画像部分Pbに対する類似度の高い1以上の参考画像および1以上の文字データを表示した画像表示装置31において、ユーザは、この画像部分Pbと参考データ表示領域12内の各参考画像とを見比べ、この画像部分Pbに対応する症例の参考画像を探し出す。この場合、ユーザは、入力部3を操作して、この探し出した参考画像を選択し、これによって、この参考画像の症例を示す文字データを入力データ候補として追加入力する。
例えば、入力部3は、「出血」を示す文字データTbを追加入力する場合、出血の参考画像Rbまたは文字データTbの参考情報選択情報を制御部37に入力する。制御部37は、この入力された参考情報選択情報に対応する文字データTbを入力データ候補として追加するとともに、図10の状態C4に示すように文字データTbをコメント入力領域13に追加表示するように表示部4を制御する。この結果、この追加した文字データTbおよび既存の文字データTaが入力データ候補として保持される。かかる入力データ候補である文字データTa,Tbは、実施の形態1の場合と同様に、入力部3の操作に対応して編集または削除可能であり、また、決定アイコン14に対応する指示情報に基づいて入力データとして決定される。
なお、上述した画像部分Pa,Pbに例示されるような体内画像Pの一部分が指定される以前において、症例の参考画像群6aおよび文字データ群6bは、実施の形態1の場合と同様に参考データ表示領域12に一覧表示されてもよいし、一覧表示されていなくてもよい。すなわち、制御部37は、体内画像Pとともに参考画像群6aおよび文字データ群6bを表示部4に表示させ、その後、この体内画像Pの一部分に対する類似度の高い1以上の参考画像および1以上の文字データを、この表示中の参考画像群6aおよび文字データ群6bの中から絞り込んで表示部4に表示させてもよい。あるいは、制御部37は、この体内画像Pの一部分が指定される以前において参考画像群6aおよび文字データ群6bを表示部4に表示させず、体内画像Pの一部分が指定された場合、参考画像群6aおよび文字データ群6bのうち、この体内画像Pの一部分に対する類似度の高い1以上の参考画像および1以上の文字データを表示部4に表示させてもよい。
つぎに、上述した体内画像Pの一部分を指定する指定範囲15aについて説明する。図11は、ユーザ注目の体内画像の一部分を指定する指定範囲の一具体例を示す模式図である。図11に示すように、指定範囲15aは、マウスカーソル15によって示される画面上の位置Qを中心とする矩形状の画像範囲であり、指定範囲15aのサイズは、yピクセル×xピクセルである。なお、x、yは、1以上の整数である。
かかる指定範囲15aは、上述した図9,10に示したように体内画像P上に重畳表示され、入力部3の操作に対応して移動するマウスカーソル15に追従して変位する。この指定範囲15a内に含まれる画素群のデータは、上述した関心領域の画像部分Pa,Pbに例示されるような体内画像Pの一部分を構成する画素群のデータであり、体内画像Pに対する各参考画像の類似度の算出処理に用いられる。
なお、かかる指定範囲15aは、マウスカーソル15によって示される位置Qを中心とするものに限らず、矩形状の辺上に位置Qを含むものであってもよいし、矩形状の角上に位置Qを含むものであってもよい。また、かかる指定範囲15aの形状は、矩形状のものに限らず、円形状または楕円形状等の所望の形状であってもよい。
一方、かかる指定範囲15aのサイズは、予め設定したサイズであってもよいし、入力部3の入力情報に基づいて設定されたユーザ指定のサイズであってもよい。または、かかる指定範囲15aのサイズは、マウス等の入力部3のドラッグ操作の移動量および移動方向に対応して可変に設定されるサイズであってもよい。
また、かかる指定範囲15aは、マウスカーソル15の移動に追従して変位するものに限らず、マウス等の入力部3のドラッグ操作およびドロップ操作に対応して、体内画像P内の画像部分に形成されるものであってもよい。
以上、説明したように、本発明の実施の形態3では、体内画像の一部分を指定可能にし、登録された症例の参考画像群および文字データ群の中から、この指定された体内画像の一部分に対する類似度の高い1以上の参考画像とこの1以上の参考画像の症例を示す1以上の文字データとを絞り込み、この絞り込んだ1以上の参考画像および1以上の文字データを症例別に対応付けて表示するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1と同様の作用効果を享受するとともに、症例の参考画像群および文字データ群の中から、体内画像の一部分に対する類似度の低い参考画像および文字データを表示対象から除外することができ、これによって、より短時間に体内画像と参考画像とを見比べることができるとともに、体内画像に含まれる画像部分毎に症例等のコメントを入力でき、この結果、たとえ1つの体内画像の内部に複数個所の関心領域が存在する場合であっても、体内画像内に含まれる関心領域毎に容易にコメントを入力できる画像表示装置を実現することができる。
(実施の形態4)
つぎに、本発明の実施の形態4について説明する。上述した実施の形態3では、指定した被検体の体内画像の一部分の画素データをもとに表示対象の参考画像および文字データを絞り込んでいたが、この実施の形態4では、被検体の体内画像の画素データとこの体内画像の症例を指定する指定情報とをもとに、表示対象の参考画像および文字データを絞り込んでいる。
図12は、本発明の実施の形態4にかかる画像表示装置の一構成例を模式的に示すブロック図である。図12に示すように、この実施の形態4にかかる画像表示装置41は、上述した実施の形態3にかかる画像表示装置31の制御部37に代えて制御部47を備える。制御部47は、上述した実施の形態3にかかる画像表示装置31の絞込み処理部37eに代えて絞込み処理部47eを備える。その他の構成は実施の形態3と同じであり、同一構成部分には同一符号を付している。
制御部47は、上述したように絞込み処理部47eを備える。絞込み処理部47eは、表示部4の体内画像表示領域11に表示されている体内画像の画素データとこの体内画像の症例を指定する指定情報とをもとに、この表示部4の参考データ表示領域12に表示する1以上の参考画像および1以上の文字データを絞り込む。
具体的には、絞込み処理部47eは、記憶部6内の文字データ群6bをもとに、この文字データ群6b内の各文字データをリスト化した症例リストを含む症例メニューを作成する。この場合、絞込み処理部47eは、表示中の体内画像の画素データと参考画像群6a内の各参考画像の画素データとをもとに、この体内画像に対する各参考画像の類似度を算出し、この算出した類似度がより高い参考画像と対応付けられた症例の文字データを症例リストの上位に配列する。一方、絞込み処理部47eは、かかる症例メニュー内の症例リストの中から選択された症例の指定情報を入力部3によって入力され、この入力された症例の指定情報と表示中の体内画像の画素データとをもとに、表示対象である1以上の参考画像を参考画像群6aの中から絞り込むとともに、この絞り込んだ1以上の参考画像の症例を示す1以上の文字データを文字データ群6bの中から絞り込む。絞込み処理部47eは、かかる症例の指定情報が入力される都度、かかる表示対象の参考画像および文字データの絞込み処理を行う。
制御部47は、かかる絞込み処理部47eによって絞り込まれた1以上の参考画像および1以上の文字データを参考データ表示領域12に表示するように表示部4を制御する。なお、制御部47は、かかる絞込み処理部47eの機能以外、上述した実施の形態3にかかる画像表示装置31の制御部37と同様の機能を有する。
つぎに、本発明の実施の形態4にかかる画像表示装置41の動作について説明する。図13は、体内画像に対する類似度の高い症例の参考画像および文字データを表示する状態を示す模式図である。なお、この実施の形態4にかかる画像表示装置41の動作は、体内画像に対する類似度の高い1以上の参考画像および1以上の文字データを表示する際の動作以外、上述した実施の形態3にかかる画像表示装置31と同様である。以下では、上述した図12および図13を参照しつつ、体内画像に対する類似度の高い1以上の参考画像および1以上の文字データを表示する際の画像表示装置41の動作を説明する。
画像表示装置41は、上述した実施の形態3の場合と同様に、表示部4の体内画像表示領域11にユーザ注目の体内画像Pを表示する。この状態において、ユーザは、この体内画像Pを観察して、この体内画像Pの関心領域を見つけ出す。この場合、ユーザは、入力部3を操作して、この体内画像Pの関心領域における症例を選択する。
具体的には、入力部3は、体内画像Pにマウスカーソル15を合わせた状態でのクリック操作等に対応して、症例のメニューの表示を指示する指示情報を制御部47に入力する。制御部47は、この入力された指示情報に基づいて、例えば図13に示すような症例メニュー17を表示するように表示部4を制御する。
ここで、症例メニュー17は、上述したように絞込み処理部47eによって作成された症例リストを含む。絞込み処理部47eは、この症例リスト17内の症例リストを作成する場合、体内画像Pの画素データに対する参考画像群6a内の各参考画像の類似度を算出し、この算出した類似度がより高い参考画像と対応付けられた症例の文字データを症例リストの上位に配列する。すなわち、かかる症例メニュー17内の症例リストにおいて、各症例の文字データは、この体内画像Pに対する類似度の高い順に表示できるように配列されている。
なお、図13においては症例メニュー17に含まれる症例リストの一部が表示されているが、かかる症例リスト内の全症例の文字データは、この症例メニュー17のスクロールバーを操作することによって表示可能である。
一方、入力部3は、かかる症例メニュー17内の症例リストの中からユーザによって選択された症例、すなわち体内画像Pの関心領域における症例の指定情報を制御部47に入力する。なお、この症例の指定情報は、症例メニュー17の中から選択される所望の症例、例えば図13においては「潰瘍」の症例項目にマウスカーソル15を合わせた状態でのクリック操作等の入力部3の操作に対応して入力される。
制御部47は、入力部3によって入力された症例の指定情報に基づいて、この体内画像Pに対する類似度の高い症例の参考画像および文字データを1以上表示部4に表示させる。この場合、絞込み処理部47eは、この入力された症例の指定情報と体内画像Pの画素データとをもとに、この体内画像Pに対する類似度が高く且つこの指定情報によって指定される症例に類似した1以上の参考画像を参考画像群6aの中から絞り込む。さらに、絞込み処理部47eは、この絞り込んだ1以上の参考画像の症例を示す1以上の文字データを文字データ群6bの中から絞り込む。制御部47は、かかる絞込み処理部47eによって絞り込まれた1以上の参考画像および1以上の文字データを参考データ表示領域12に表示するように表示部4を制御する。
かかる制御部47の制御に基づいて、表示部4は、例えば図13に示すように、体内画像Pに対する類似度が高く且つ指定の症例「潰瘍」に類似した参考画像Raと参考画像Raの症例を示す文字データTaとを参考データ表示領域12に一覧表示する。ここで、かかる参考画像Raおよび文字データTaは、上述した絞込み処理部47eによって絞り込まれた症例の参考画像および文字データであり、腫瘍を示す文字データTaは、潰瘍の参考画像Raと並べて配列される。
なお、上述した絞込み処理部47eによって絞り込まれる症例の参考画像および文字データの各絞込み数は、1以上であればよく、特に1つに限定されない。また、症例メニュー17から選択される症例の数は、複数であってもよい。この場合、絞込み処理部47eは、複数の症例の指定情報と体内画像Pの画素データとをもとに、この体内画像Pに対する類似度が高く且つこれら複数の指定情報によって各々指定される各症例に類似した複数の参考画像を参考画像群6aの中から絞り込み、この絞り込んだ複数の参考画像の症例を示す複数の文字データを文字データ群6bの中から絞り込む。
一方、かかる体内画像Pに関するコメントの入力方法は、上述した実施の形態1の場合と同様であってもよいし、症例メニュー17内の症例リストの中から選択された1以上の症例の文字データをコメントとして入力するものであってもよい。症例メニュー17を用いてコメント入力を行う場合、制御部47は、症例メニュー17の中から選択された1以上の症例の指定情報を入力部3によって入力され、文字データ群6bのうち、この入力された1以上の指定情報によって指定される1以上の症例の文字データを入力データ候補として保持するとともに、この入力データ候補をコメント入力領域13に表示するように表示部4を制御する。かかる入力データ候補である文字データは、実施の形態1の場合と同様に、入力部3の操作に対応して編集または削除可能であり、また、決定アイコン14に対応する指示情報に基づいて入力データとして決定される。
なお、上述した症例メニュー17が表示される以前において、症例の参考画像群6aおよび文字データ群6bは、実施の形態1の場合と同様に参考データ表示領域12に一覧表示されてもよいし、一覧表示されていなくてもよい。すなわち、制御部47は、体内画像Pとともに参考画像群6aおよび文字データ群6bを表示部4に表示させ、その後、症例メニュー17の中から選択された症例の指定情報と体内画像Pの画素データとをもとに、この体内画像Pに対する類似度の高く且つ指定の症例に類似した1以上の参考画像および1以上の文字データを、この表示中の参考画像群6aおよび文字データ群6bの中から絞り込んで表示部4に表示させてもよい。あるいは、制御部47は、症例メニュー17が表示される以前において参考画像群6aおよび文字データ群6bを表示部4に表示させず、症例メニュー17の中から1以上の症例が指定された場合、参考画像群6aおよび文字データ群6bのうち、この体内画像Pに対する類似度の高く且つ指定の症例に類似した1以上の参考画像および1以上の文字データを表示部4に表示させてもよい。
以上、説明したように、本発明の実施の形態4では、症例の文字データ群をリスト化した症例リストを含む症例メニューを表示し、登録された症例の参考画像群および文字データ群の中から、この症例メニュー内の症例リストの中から選択された症例の指定情報と表示中の体内画像の画素データとをもとに、この体内画像に対する類似度が高く且つ指定の症例に類似する1以上の参考画像とこの1以上の参考画像の症例を示す1以上の文字データとを絞り込み、この絞り込んだ1以上の参考画像および1以上の文字データを症例別に対応付けて表示するようにし、その他を実施の形態3と同様に構成した。このため、上述した実施の形態3と同様の作用効果を享受するとともに、体内画像に対する比較対象となる参考画像の表示数を必要最小限に絞り込むことができ、これによって、体内画像に対応する症例の参考画像を短時間に探し出すことができるとともに、この体内画像に関する症例等のコメントを容易に入力できる画像表示装置を実現することができる。
また、ユーザ注目の体内画像に対する類似度より高い参考画像と対応付けられた症例の文字データを症例リストの上位に配列するので、この体内画像に類似する症例を症例リストの中から容易に探し出すことができ、この結果、ユーザ注目の体内画像に関するコメントの入力補助機能の使い勝手を向上することができる。
(実施の形態5)
つぎに、本発明の実施の形態5について説明する。上述した実施の形態1では、症例を示す参考画像群6aおよび文字データ群6bを表示部4に一覧表示していたが、この実施の形態5では、入力部3によって入力された症例の文字データを検索キーワードにして、参考画像群6aおよび文字データ群6b中から検索キーワードに合致する症例の参考画像および文字データを検索し、この検索した参考画像および文字データを表示部4に表示できるようにしている。
図14は、本発明の実施の形態5にかかる画像表示装置の一構成例を模式的に示すブロック図である。図14に示すように、この実施の形態5にかかる画像表示装置51は、上述した実施の形態1にかかる画像表示装置1の制御部7に代えて制御部57を備える。制御部57は、検索キーワードをもとに症例の参考画像および文字データを検索する検索処理部57eをさらに備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部57は、上述したように検索処理部57eを備える。検索処理部57eは、入力部3によって入力された検索キーワードをもとに、表示部4の参考データ表示領域12に表示する1以上の参考画像および1以上の文字データを検索する。具体的には、検索処理部57eは、入力部3によって入力された症例の文字データを検索キーワードとして取得し、この取得した検索キーワードと合致する症例の参考画像を記憶部6内の参考画像群6aの中から検索するとともに、この症例を示す文字データを記憶部6内の文字データ群6bの中から検索する。制御部57は、かかる検索処理部57eによって検索された症例の参考画像および文字データを参考データ表示領域12に表示するように表示部4を制御する。なお、制御部57は、かかる検索処理部57eの機能以外、上述した実施の形態1にかかる画像表示装置1の制御部7と同様の機能を有する。
つぎに、本発明の実施の形態5にかかる画像表示装置51の動作について説明する。図15は、入力された検索キーワードをもとに検索された症例の参考画像および文字データを表示する状態を示す模式図である。なお、この実施の形態5にかかる画像表示装置51の動作は、入力された検索キーワードをもとに検索された症例の参考画像および文字データを表示する際の動作以外、上述した実施の形態1にかかる画像表示装置1と同様である。以下では、上述した図14および図15を参照しつつ、入力された検索キーワードをもとに検索された症例の参考画像および文字データを表示する際の画像表示装置51の動作を説明する。
画像表示装置51は、上述した実施の形態1の場合と同様に、表示部4の体内画像表示領域11にユーザ注目の体内画像Pを表示する。この状態において、ユーザは、この体内画像Pを観察して、この体内画像Pの関心領域を見つけ出す。この場合、ユーザは、入力部3を操作して、この体内画像Pの関心領域に関するコメントを入力する。
具体的には、図15に示すように、入力部3は、コメント入力領域13にマウスカーソル15を合わせた状態でのクリック操作等に対応して、コメント入力領域13をデータ入力可能なアクティブ状態にするよう指示する指示情報を制御部57に入力する。制御部57は、この入力された指示情報に基づいて、このコメント入力領域13をアクティブ状態に変更し、その後、入力部3によって入力された文字データをコメントの入力データ候補として保持するとともに、この入力データ候補としての文字データをコメント入力領域13に表示する表示部4を制御する。
ここで、入力部3が症例として「潰瘍」を示す文字データを入力した場合、制御部57は、体内画像Pに関するコメントの入力データ候補として、この入力された「潰瘍」の文字データをコメント入力領域13に表示するように表示部4を制御するとともに、この入力された文字データと合致する症例、すなわち潰瘍の参考画像Raおよび文字データTaを参考データ表示領域12に表示するように表示部4を制御する。この場合、上述した文字データ処理部7cは、この入力された「潰瘍」の文字データをコメントの入力データ候補として保持する。一方、検索処理部57eは、この入力された「潰瘍」の文字データを検索キーワードとして取得し、この取得した検索キーワードと合致する症例、すなわち潰瘍の参考画像Raを記憶部6内の参考画像群6aの中から検索するとともに、潰瘍を示す文字データTaを記憶部6内の文字データ群6bの中から検索する。
なお、入力部3によって入力される検索キーワードに含まれる症例の数は、1つに限らず、複数であってもよい。すなわち、入力部3が複数の症例を含む文字データを入力した場合、検索処理部57eは、この入力された文字データを検索キーワードとして取得し、この取得した検索キーワードに含まれる複数の症例の各々と合致する複数の参考画像および複数の文字データを記憶部6内の参考画像群6aおよび文字データ群6bの中から検索してもよい。この場合、制御部57は、体内画像Pに関するコメントの入力データ候補として、これら複数の症例を示す文字データをコメント入力領域13に表示するように表示部4を制御するとともに、検索処理部57eによって検索された複数の参考画像および複数の文字データを参考データ表示領域12に表示するように表示部4を制御する。
以上、説明したように、本発明の実施の形態5では、1以上の症例を含む文字データを入力部によって入力し、この入力した文字データをユーザ注目の体内画像に関するコメントの入力データ候補として表示するとともに、この入力した文字データを検索キーワードにして、登録済みの参考画像群および文字データ群の中から、この検索キーワード内に含まれる1以上の症例に対応する1以上の参考画像および1以上の文字データを検索し、この検索した1以上の参考画像および1以上の文字データを症例別に対応付けて表示するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1と同様の作用効果を享受するとともに、1以上の症例を含む検索キーワードを体内画像に関するコメントの入力データ候補として表示することができ、この結果、症例の参考画像および文字データを検索するための検索キーワードを体内画像に関するコメントに反映してコメント入力を容易に行うことが可能な画像表示装置を実現することができる。
なお、上述した実施の形態1〜5では、図2等に示すように体内画像表示領域11と参考データ表示領域12とコメント入力領域13とを表示部4の画面の横一列に並べて配列していたが、これに限らず、体内画像表示領域11、参考データ表示領域12、およびコメント入力領域13は、表示部4の画面において所望の位置に配列されていればよい。図16は、表示部の画面レイアウトの一変形例を示す模式図である。本発明にかかる画像表示装置の表示部においては、例えば図16に示すように、ユーザ注目の体内画像Pを表示する体内画像表示領域11に対して横の位置に、コメント入力領域13および参考データ表示領域12を上下に並べて配列してもよいし、これら体内画像表示領域11、参考データ表示領域12、およびコメント入力領域13の各位置を入れ替えた配列であってもよい。また、参考データ表示領域12は、体内画像表示領域11の隣に配列されていなくてもよいが、図2,16等に示すように、体内画像表示領域11の隣に配列されていることが望ましい。何故ならば、体内画像表示領域11に表示された体内画像Pと参考データ表示領域12に表示された各症例の参考画像とを見比べ易くなるからである。
また、上述した実施の形態1〜5では、症例の参考画像は表示部4の画面の縦一列に配列されていたが、これに限らず、症例の参考画像は、表示部4の画面の横一列に配列されてもよいし、例えば図16に示すようにマトリックス状に配列されてもよい。
さらに、上述した実施の形態1〜5では、症例の参考画像列は体内画像に対する類似度の高い順に配列して表示されていたが、これに限らず、症例の参考画像の表示配列は五十音順であってもよいし、ユーザ注目の体内画像の撮像位置、すなわちこの体内画像に描画される臓器の位置において発症頻度の高い症例順に配列して表示されてもよい。なお、発症頻度の高い症例順に配列する場合、本発明にかかる画像表示装置は、被検体の体内画像群とともに、各体内画像の撮像位置を示す位置データ群を取得し、ユーザによって選択されたユーザ注目の体内画像に対応する位置データをもとに各症例の発症頻度を決定し、この決定した発症頻度の高い症例順に参考画像および文字データを配列して表示すればよい。
また、上述した実施の形態4では、症例メニュー17に含まれる症例リストにおいて、ユーザ注目の体内画像に対する類似度がより高い参考画像に対応付けられた症例の文字データを症例リストの上位に配列していたが、これに限らず、症例リストの配列順は、五十音順であってもよいし、ユーザ注目の体内画像の撮像位置である臓器の位置において発症頻度の高い症例順であってもよい。
さらに、上述した実施の形態1〜5では、入力部3によって症例の参考画像または文字データの指定情報を入力する、またはコメント入力領域13に直接文字データを入力する等の方法によって、ユーザ注目の体内画像に関するコメントを入力していたが、これに限らず、被検体の臓器、症例、および症例の進行レベル等の所望の項目を含む階層構造の選択入力欄を形成し、この階層構造内の各項目を選択入力することによって体内画像に関するコメントを入力してもよい。図17は、コメント入力形式の一変形例を示す模式図である。図17に示すように、コメント入力領域13に、被検体の臓器、症例、および症例の進行レベルを選択項目として含む階層構造の選択入力欄を表示し、各選択項目について選択入力された各文字データをもとに、コメントの入力データを形成してもよい。
なお、図17においては、各選択項目において「小腸」、「潰瘍」、および「レベル2」が選択入力されており、この結果、例えば「小腸に進行レベル2の潰瘍あり」等のコメントを入力することができる。この場合、参考データ表示領域12には、進行レベル2の潰瘍を示す参考画像Ra−2が表示される。
また、上述した実施の形態1〜5では、症例別の代表的な参考画像を参考データ表示領域12に表示していたが、これに限らず、この代表的な参考画像に対して時系列的に連続する前後1フレーム以上の参考画像を追加表示してもよい。図18は、症例の代表的な参考画像の前後に隣接する参考画像を追加表示する状態を例示する模式図である。本発明にかかる画像表示装置は、カプセル型内視鏡または挿入型の内視鏡等の体内撮像装置によって時系列順に撮像された複数の連続画像を症例別の参考画像として取得し、保存する。かかる画像表示装置は、表示部4の参考データ表示領域12に症例の代表的な参考画像を表示した状態において、この代表的な参考画像が選択された場合、この代表的な参考画像の前後に隣接する1フレーム以上の参考画像を追加表示してもよい。例えば図18に示すように、潰瘍を示す代表的な参考画像Raが選択された場合、この参考画像Raに対して時系列的に前後に隣接する参考画像R−1,R+1が追加表示される。この場合、かかる参考画像Ra,R−1,R+1は、図18に示すように、参考画像Raを指し示す吹き出し状の追加表示領域18に表示されてもよいし、参考データ表示領域12に表示されてもよい。
さらに、上述した実施の形態1〜5では、症例別の代表的な参考画像を参考データ表示領域12に静止画表示していたが、これに限らず、この代表的な参考画像と、この代表的な参考画像に対して時系列的に連続する前後1フレーム以上の参考画像とを連続的に表示すなわち動画表示してもよい。この場合、本発明にかかる画像表示装置は、表示部4の参考データ表示領域12に症例の代表的な参考画像を表示した状態において、この代表的な参考画像が選択されれば、この代表的な参考画像およびその前後1フレーム以上の参考画像を動画表示すればよい。
また、上述した実施の形態1〜5では、入出力インターフェース2に挿着された記憶媒体から症例の参考画像および文字データを取り込んでいたが、これに限らず、入出力インターフェース2は、外部のコンピュータ等との間でデータ通信が可能な通信インターフェースであってもよく、例えばネットワーク接続されたデータベース等から症例の参考画像および文字データを取得してもよい。この場合、他の医師等が用いた症例画像を症例の参考画像として画像表示装置に登録することもできる。