以下に、本発明の実施の形態に係る画像表示装置、画像表示方法、及び画像表示プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、本発明の実施の形態1に係る画像表示装置を含むカプセル型内視鏡システムの概略構成を示す模式図である。図1に示すカプセル型内視鏡システム1は、被検体10内に導入されて該被検体10内を撮像することにより画像データを生成し、無線信号に重畳して送信するカプセル型内視鏡2と、カプセル型内視鏡2から送信された無線信号を、被検体10に装着された受信アンテナユニット4を介して受信する受信装置3と、受信装置3から画像データを取得して所定の画像処理を施し、画像を表示する画像表示装置5とを備える。
図2は、カプセル型内視鏡2及び受信装置3の概略構成を示すブロック図である。
カプセル型内視鏡2は、被検体10が嚥下可能な大きさのカプセル形状の筐体に撮像素子等の各種部品を内蔵した装置であり、被検体10内を撮像する撮像部21と、被検体10内を照明する照明部22と、信号処理部23と、被検体10内の水素イオン指数(pH)を検出するpHセンサ24と、メモリ25と、送信部26及びアンテナ27と、バッテリ28とを備える。
撮像部21は、例えば、受光面に結像された光学像から被検体10内を表す撮像信号を生成して出力するCCDやCMOS等の撮像素子と、該撮像素子の受光面側に配設された対物レンズ等の光学系とを含む。また、照明部22は、撮像時に被検体10内に向けて光を放射するLED(Light Emitting Diode)等により実現される。カプセル型内視鏡2は、これらの撮像部21及び照明部22をそれぞれ駆動する駆動回路等が形成された回路基板(図示せず)を内蔵しており、撮像部21及び照明部22は、カプセル型内視鏡2の一端部から外側に視野を向けた状態で、この回路基板に固定されている。
信号処理部23は、カプセル型内視鏡2内の各部を制御すると共に、撮像部21から出力された撮像信号をA/D変換してデジタルの画像データを生成し、さらに所定の信号処理を施す。
pHセンサ24は、被検体10内の水素イオン指数を検出して検出信号を出力する。出力された検出信号は、その時に生成された画像データと関連付けて記憶される。
メモリ25は、信号処理部23が実行する各種動作や、信号処理部23において信号処理を施された画像データを一時的に記憶する。
送信部26及びアンテナ27は、メモリ25に記憶された画像データを関連情報と共に無線信号に重畳して外部に送信する。
バッテリ28は、カプセル型内視鏡2内の各部に電力を供給する。なお、バッテリ28には、ボタン電池等の一次電池又は二次電池から供給された電力を昇圧等する電源回路が含まれているものとする。
カプセル型内視鏡2は、被検体10に嚥下された後、臓器の蠕動運動等によって被検体10の消化管内を移動しつつ、生体部位(食道、胃、小腸、及び大腸等)を所定の時間間隔(例えば0.5秒間隔)で順次撮像する。そして、この撮像動作により生成された画像データ及び関連情報を受信装置3に順次無線送信する。なお、関連情報には、カプセル型内視鏡2の個体を識別するために割り当てられた識別情報(例えばシリアル番号)等が含まれる。
受信装置3は、複数(図1においては8個)の受信アンテナ4a〜4hを有する受信アンテナユニット4を介して、カプセル型内視鏡2から無線送信された画像データ及び関連情報を受信する。各受信アンテナ4a〜4hは、例えばループアンテナを用いて実現され、被検体10の体外表面上の所定位置(例えば、カプセル型内視鏡2の通過経路である被検体10内の各臓器に対応した位置)に配置される。
図2に示すように、受信装置3は、受信部31と、信号処理部32と、メモリ33と、データ送信部34と、操作部35と、表示部36と、制御部37と、バッテリ38とを備える。
受信部31は、カプセル型内視鏡2から無線送信された画像データを、受信アンテナ4a〜4hを介して受信する。
信号処理部32は、受信部31が受信した画像データに所定の信号処理を施す。
メモリ33は、信号処理部32において信号処理が施された画像データ及びその関連情報を記憶する。
データ送信部34は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースであり、制御部37の制御の下で、メモリ33に記憶された画像データ及び関連情報を画像表示装置5に送信する。
操作部35は、ユーザが各種設定情報等を入力する際に用いられる。
表示部36は、検査に関する登録情報(検査情報、患者情報等)や、ユーザが入力した各種設定情報等を表示する。
制御部37は、これらの受信装置3内の各部の動作を制御する。
バッテリ38は、受信装置3内の各部に電力を供給する。
受信装置3は、カプセル型内視鏡2が撮像を行っている間(例えば、カプセル型内視鏡2が被検体10に嚥下された後、消化管内を通過して排出されるまでの間)、被検体10に装着されて携帯される。受信装置3は、この間、受信アンテナユニット4を介して受信した画像データに、各受信アンテナ4a〜4hにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの画像データ及び関連情報をメモリ33に記憶させる。カプセル型内視鏡2による撮像の終了後、受信装置3は被検体10から取り外され、今度は画像表示装置5と接続されて、メモリ33に記憶させた画像データ及び関連情報を画像表示装置5に転送する。なお、図1においては、画像表示装置5のUSBポートにクレードル3aに接続し、該クレードル3aに受信装置3をセットすることにより受信装置3と画像表示装置5とを接続している。
画像表示装置5は、例えばワークステーションやパーソナルコンピュータを用いて構成される。画像表示装置5は、受信装置3を介して取得した被検体10内の画像に所定の画像処理を施し、所定の形式の観察画面を生成して表示部55に表示させる。
図3は、画像表示装置5の概略構成を示すブロック図である。図3に示すように、画像表示装置5は、入力部51と、画像データ取得部52と、画像処理部53と、記憶部54と、表示部55と、制御部56とを備える。
入力部51は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部51は、ユーザによる外部からの操作に応じた信号を制御部56に入力する。
画像データ取得部52は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースであり、USBポートやLANポート等を含んでいる。実施の形態1において、画像データ取得部52は、USBポートに接続されるクレードル3a等の外部機器や各種通信回線を介して、受信装置3から画像データ及び関連情報を取得するデータ取得部として機能する。
画像処理部53は、画像データ取得部52が取得した画像データに対し、ホワイトバランス処理、デモザイキング、色変換、濃度変換(ガンマ変換等)、平滑化(ノイズ除去等)、鮮鋭化(エッジ強調等)等の画像処理(以下、表示用の画像処理ともいう)を施すことにより、表示用の画像データを生成する。
また、画像処理部53は、表示用の画像データをもとに、各画像の平均色を算出する平均色算出処理、各画像から病変部を検出する病変検出処理、各画像から赤色が強い領域を検出する赤色検出処理、各画像に写った臓器を検出する臓器検出処理、その他、所定の特徴検出処理等の画像処理を行い、これらの画像処理の結果(算出した平均色等の特徴量、病変を示すフラグ、臓器や臓器の境界を示すフラグ等)を画像データと関連付けて、後述する記憶部54に記憶させる。
さらに、画像処理部53は、表示用の画像データをもとに、画像群の中から互いに類似度の高い画像を抽出して間引きを行ったり、並び順の変更を行う要約処理を実行しても良い。
記憶部54は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD−R、DVD−R等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置等によって実現される。記憶部54は、画像表示装置5を動作させて種々の機能を実行させるためのプログラム及び各種情報を記憶するプログラム記憶部541と、カプセル型内視鏡検査によって取得された画像データ等を記憶する画像データ記憶部542とを含む。このうち、画像データ記憶部542は、被検体10である患者ごとに記憶領域を作成し、該患者に対して実施された検査により得られた画像データを、検査情報及び患者情報と共に、検査ごとに記憶する。
表示部55は、CRTディスプレイ、液晶ディスプレイ、ELディスプレイ等の表示装置によって実現される。表示部55は、制御部56の制御の下で、画像の観察画面やその他の画面を所定の形式で画面に表示する。
制御部56は、CPU等のハードウェアによって実現され、記憶部54に記憶された各種プログラムを読み込むことにより、入力部51から入力される信号や、画像データ取得部52が取得した画像データ等に基づいて、画像表示装置5を構成する各部への指示やデータの転送等を行い、画像表示装置5全体の動作を統括的に制御する。
より詳細には、制御部56は、検査決定部561と、指標設定部562と、対応画像設定部563と、平均色バー作成部564と、表示制御部565とを備える。
検査決定部561は、入力部51から入力される信号に基づき、検査結果として得られた画像群を表示部55に表示させる検査、及び該検査と検査結果を対比する検査を決定する。
指標設定部562は、検査決定部561により決定された検査間で画像群を対比する際の指標を設定する。指標の候補としては、画像群内の各画像の撮像時間や、各画像の撮像枚数(又は、単に枚数ともいう)や、画像群内から抽出された特徴を有する画像(以下、ランドマーク画像ともいう)が挙げられる。
ここで、本出願において、画像の撮像時間とは、検査開始時や特定の画像(例えば画像群の先頭画像)の撮像時といった任意のタイミングから、当該画像が撮像されるまでの経過時間のことをいう。また、画像の撮像枚数とは、画像群内の任意の基準の画像(例えば画像群の先頭画像)から画像の並び順に沿ってカウントした画像の枚数のことをいい、通常、画像群の先頭画像が1枚目としてカウントされる。撮像時間及び撮像枚数は、各画像の画像データの関連情報として記憶されている。
また、ランドマーク画像には、画像の先頭又は末尾の画像、臓器の境界が写った画像、解剖学的に特徴のある画像、病変が検出された画像、処置痕又は手術切除痕が写った画像、点墨が写った画像、pHの変化点における画像等が含まれる。ランドマーク画像は、画像データに関連付けて記憶された情報(画像処理により取得された特徴量やフラグ等)に基づいて識別される。或いは、ユーザが画像観察を行いつつ手動で付加したラベルに基づいて、ランドマーク画像を識別しても良い。
対応画像設定部563は、指標設定部562により設定された指標をもとに、画像データの関連情報を参照して、検査決定部561により決定された検査によりそれぞれ取得された画像群の間で、画像同士の対応付けを行う。
平均色バー作成部564は、対応画像設定部563により対応づけられた画像に関する情報をもとに、各検査により取得された画像群の平均色バーを作成する。ここで、平均色バーとは、画像群に含まれる各画像の平均色を帯状の領域に時系列順又は画像の並び順に配列したものであり、当該検査の結果の概要を視覚的に表す概要情報である。
表示制御部565は、平均色バー作成部564が作成した平均色バーが並べて表示された観察画面や、その他各種画面を作成し、表示部55に表示させる。
次に、画像表示装置5の動作について説明する。図4は、カプセル型内視鏡2を用いた検査により取得された画像群を蓄積する際の画像表示装置5の動作を示すフローチャートである。図1に示すように、画像表示装置5に接続されたクレードル3aに受信装置3をセットすることにより、受信装置3から画像表示装置5への画像データの転送が開始される。或いは、各種通信回線を介して画像データを転送しても良い。
ステップS10において、画像データ取得部52は、カプセル型内視鏡2を用いた検査により取得された画像群の画像データを取得する。
続くステップS11において、画像処理部53は、画像データ取得部52が取得した画像データに対応する各画像に対し、ホワイトバランス処理、デモザイキング、色変換、濃度変換、平滑化、鮮鋭化等の画像処理を施すことにより、表示用の画像データを作成する。
続くステップS12において、画像処理部53は、表示用の画像データをもとに、各画像に対して、平均色算出処理、病変検出処理、赤色検出処理、臓器検出処理、その他、所定の特徴検出処理等の画像処理を施す。また、この際、画像処理部53は、表示用の画像データをもとに、当該画像群に対して要約処理を行っても良い。
続くステップS13において、画像処理部53は、ステップS11において画像処理が施された表示用の画像データを、被検体10に関する患者情報及び検査情報と共に、患者ごとに且つ検査ごとに画像データ記憶部542に記憶させる。この際、画像処理部53は、各画像の画像データに対し、各種画像処理により得られた平均色、病変の検出結果、赤色の検出結果、臓器の検出結果等の情報を関連付け、画像データ記憶部542に記憶させる。
その後、画像表示装置5の動作は終了する。
図5は、カプセル型内視鏡2を用いた検査により取得された画像群を表示する際の画像表示装置5の動作を示すフローチャートである。
まず、ステップS20において、制御部56は、検査結果として得られた画像群を表示する検査、及び該検査と検査結果を対比する検査を決定する。より詳細には、表示制御部565は、図6に例示するように、画像を観察したい検査をユーザに選択させるための画面M1を表示部55に表示させる。この画面M1は、ある被検体(患者)10に対して異なる時期に実施された複数の検査の一覧表m10と、画像を表示させる検査の選択をユーザに促すテキストメッセージm11とを含んでいる。この一覧表m10に対する入力部51を用いた所定のポインタ操作(例えば、所望の検査日の欄に対するクリック操作)により、選択された検査を示す信号が制御部56に入力される。検査決定部561は、入力された信号に従って、選択された検査を、画像群を表示する検査として決定する。
なお、画像観察を行う被検体10が選択されると、当該被検体10に対して実施された最新の検査が、画像群を表示させる検査として自動決定されるようにしても良い。
続いて、表示制御部565は、図7に例示するように、画像群を表示させる検査に対して検査結果を対比する検査をユーザに選択させるための画面M2を表示部55に表示させる。この画面M2は、検査の一覧表m10に加え、対比したい検査の選択をユーザに促すテキストメッセージm12を含んでいる。この一覧表m10に対する入力部51を用いた所定のポインタ操作に応じて、選択された検査を示す信号が制御部56に入力される。検査決定部561は、入力された信号に従って、選択された検査を、検査結果を対比する検査として決定する。検査結果を対比する検査は、ユーザの選択に応じて複数設定することができる。
ステップS21において、検査決定部561は、画像群を表示させる検査及び検査結果を対比する検査としてそれぞれ設定した2つの検査のうちのいずれかを、対比の基準の検査(基準検査)として設定する。検査決定部561は、通常、画像群を表示させる検査を基準検査として設定するが、ユーザの指定に応じて、検査結果を対比する検査を基準検査として設定しても良い。例えば、図8に例示するように、画像群を表示させる検査及び検査結果を対比する検査をユーザに確認させる画面M3を表示部55に表示させ、基準検査をユーザに選択させるようにしても良い。即ち、画面M3において、OKボタンm13に対する所定のポインタ操作がなされると、検査決定部561は既定の検査(画像群を表示させる検査)を基準検査に設定する。一方、基準検査の変更ボタンm14に対してポインタ操作がなされると、検査決定部561は基準検査を変更し、検査結果を対比する検査を基準検査に設定する。
以下においては、同一の被検体10に対して実施された検査のうち、最新の検査(以下、今回検査という)が、画像群を表示させる検査及び基準検査として設定され、過去に実施された1つの検査(以下、過去検査という)が、検査結果を対比する検査として設定されたものとして説明を行う。
ステップS22において、制御部56は、今回検査と過去検査との間で画像群同士を対比する際の指標を設定する。より詳細には、表示制御部565は、図9に例示するように、指標をユーザに選択させるための画面M4を表示部55に表示させる。この画面M4は、指標の選択をユーザに促すテキストメッセージm15と、選択可能な指標の表示m16の一覧と、各指標の表示m16に附されたラジオボタンm17と、OKボタンm18とを含んでいる。選択可能な指標としては、撮像時間、撮像枚数、又はランドマークが挙げられる。ユーザは、入力部51を用いた所定のポインタ操作によって、所望の指標の表示m16に附されたラジオボタンm17にチェックを入れ、さらにOKボタンm18を押下することにより、指標を選択することができる。このポインタ操作に応じて、選択された指標を示す信号が制御部56に入力される。指標設定部562は、入力された信号に従って、選択された指標を、今回検査と過去検査とを対比する指標として設定する。
ここで、指標として撮像時間が設定された場合、今回検査と過去検査との間で、所定の画像(例えば先頭画像)を基準とした撮像時間(1時間後、2時間後、…)が等しい画像同士が対比される。また、指標として撮像枚数が設定された場合、今回検査と過去検査との間で、所定の画像(同上)を基準とした撮像枚数(1万枚目、2万枚目、…)が等しい画像同士が対比される。なお、ステップS12(図4参照)において画像の要約処理が行われた場合には、該要約処理後の撮像枚数で対比が行われる。
さらに、指標としてランドマークが設定された場合、今回検査と過去検査との間で、各画像群から抽出された同種のランドマーク画像同士(例えば、先頭画像同士、特定の臓器の境界画像同士、処置痕の画像同士等)が対比される。
本実施の形態1においては、指標として撮像時間が設定された場合を説明する。
ステップS23において、制御部56は、今回検査により得られた画像群(以下、単に、今回検査の画像群ともいう)と、過去検査により得られた画像群(以下、単に、過去検査の画像群ともいう)との間で対応付ける画像を設定する。
実施の形態1において、表示制御部565は、図10に例示するように、今回検査及び過去検査の画像群の間で対応付ける画像をユーザに選択させるための画面M5を表示部55に表示させる。この画面M5は、対応付けを行う画像の選択をユーザに促すテキストメッセージm19と、選択可能な画像の特徴を示す表示m20の一覧と、各表示m20に附されたラジオボタンm21と、OKボタンm22とを含んでいる。
対応付けを行う画像としては、画像群の先頭や末尾の画像の他、臓器検出処理により自動検出された臓器の境界(食道と胃の境界、胃と小腸の境界、小腸と大腸の境界)の画像、解剖学的に特徴のある画像(十二指腸乳頭、リンパ濾胞等)が挙げられる。ユーザは、入力部51を用いた所定のポインタ操作によって、所望の表示m20に附されたラジオボタンm21にチェックを入れ、さらにOKボタンm22を押下することにより、画像を選択することができる。このポインタ操作に応じて、選択された画像を示す信号が制御部56に入力される。対応画像設定部563は、入力された信号に従って、選択された画像を、対応付けを行う画像として設定する。
ステップS24において、対応画像設定部563は、今回検査及び過去検査の画像群の間で、ステップS23において設定された画像同士を対応付ける。
図11は、今回検査及び過去検査の画像群の間における対応付けの一例を示す模式図である。例えば、ステップS23において画像群の先頭の画像が設定された場合、ステップS24においては、今回検査及び過去検査の画像群の間で先頭画像同士(画像I(A)top、画像I(B)top)が対応付けられる。また、画像群の末尾の画像が設定された場合、今回検査及び過去検査の画像群の間で末尾画像同士(画像I(A)last、I(B)last)が対応付けられる。
また、ステップS23において臓器の境界の画像が設定された場合、ステップS24においては、各画像の画像データに関連付けられた情報に基づき、今回検査及び過去検査の画像群の間で、食道と胃の境界画像同士(画像I(A)bor1、I(B)bor1)、胃と小腸の境界画像同士(画像I(A)bor2、I(B)bor2)、又は、小腸と大腸の境界画像同士(画像I(A)bor3、I(B)bor3)が対応付けられる。
ステップS24に続くステップS25において、平均色バー作成部564は、今回検査及び過去検査の結果の概要をそれぞれ表す平均色バーを作成する。より詳細には、平均色バー作成部564は、各画像の画像データに関連付けられた平均色を取得し、画像の並び順に沿って平均色を帯状の領域に配列する。この際、平均色バーのスケール(帯の長さ方向の軸)としては、ステップS22において設定された指標に合わせて、実施の形態1においては撮像時間軸が設定される。
続いて、平均色バー作成部564は、ステップS23において対応付けられた画像の平均色が表示される平均色バー上の位置を揃えて、今回検査及び過去検査の平均色バーを配置する。図12及び図13は、今回検査及び過去検査の平均色バーの作成例を示す模式図である。例えば、今回検査及び過去検査の画像群の間で先頭画像同士(画像I(A)top、I(B)top)が対応付けられた場合、図12に示すように、先頭画像の平均色が配置された左端を揃えて、今回検査の平均色バーb11及び過去検査の平均色バーb12を配置する。また、例えば、今回検査及び過去検査の画像群の間で胃と小腸の境界画像同士(画像I(A)bor2、I(B)bor2)が対応付けられた場合、図13に示すように、これらの境界画像の平均色が表示される位置を揃えて、平均色バーb13、b14を配置する。
ステップS25に続くステップS26において、表示制御部565は、ステップS25において作成された平均色バーを含む画像の観察画面を作成し、表示部55に表示させる。
図14は、今回検査により取得された画像群の観察画面の一例を示す模式図である。図14に示すように、観察画面M6は、検査IDや検査日等の検査情報が表示される検査情報表示欄m30と、患者ID、患者氏名、生年月日等の患者情報が表示される患者情報表示欄m31と、今回検査により取得された画像が擬似動画で順次表示される主表示領域m32と、主表示領域m32に順次表示される画像の再生動作をユーザが操作する際に用いられる再生操作ボタン群m33と、主表示領域m32に表示中の画像をキャプチャする指示をユーザが入力する際に用いられるキャプチャボタンm34と、今回検査の画像群の表示形式を擬似動画形式から静止画一覧表示形式に切り替える指示をユーザが入力する際に用いられるオーバービューボタンm35とを含む。
主表示領域m32の下方には、ステップS25において作成された平均色バーが表示される平均色バー表示領域m36が設けられている。図14は、この平均色バー表示領域m36に、撮像時間を指標とし、画像群の先頭画像に対応する左端の位置が揃えられた平均色バーb11、b12が表示された状態(図12参照)を示している。
また、今回検査の平均色バーb11には、主表示領域m32に表示中の画像Iの撮像時間を表すスライダm37が設けられている。ユーザは、スライダm37の位置を参照することにより、主表示領域m32に表示中の画像の被検体10内の位置を概ね把握することができる。また、入力部51を用いた所定のポインタ操作によってスライダm37を平均色バーb11に沿って移動させることにより、主表示領域m32に表示させる画像を変化させることができる。
また、主表示領域m32の下方には、病変、出血、処置痕等のテキストが表示されたアイコンm39が配置されたラベルボックスm38が設けられている。ユーザは、入力部51を用いた所定のポインタ操作によって、所望のアイコンm39を選択することにより、主表示領域m32に表示中の画像に対してラベルを付加することができる。
画像表示装置5は、このような観察画面M6を表示部55に表示し、ユーザに観察させた後、動作を終了する。
以上説明したように、実施の形態1によれば、同一の被検体10に対して実施された複数の検査のうちから、画像群を表示させる検査と、該検査と検査結果を対比する検査とをユーザに選択させ、各検査により取得された画像群の概要を表す平均色バーを対比させて画像の観察画面に表示するので、ユーザは、実施時期が異なる検査の結果を容易に比較することができ、該比較の結果を参考にして、観察画面に表示された画像を効率良く観察することができる。
また、今回検査及び過去検査の画像群を対応付ける際の指標を撮像時間に設定し、単位時間あたりの平均色バーの長さを一定にする場合、ユーザは、カプセル型内視鏡2が消化管全体又は各臓器を通過するのに要した時間を直感的に把握することができる。また、今回検査及び過去検査の平均色バーをユーザ所望の画像の位置で揃えて表示することにより、今回検査と過去検査との間において、当該位置を基準にしたカプセル型内視鏡2の通過時間の変化をより明確に表示することができる。このようなカプセル型内視鏡2の通過時間の変化は、被検体10の消化管の運動機能の変化(蠕動運動が活発か否か等)を表すので、ユーザは、実施時期が異なる検査間における消化管の状態の変化を容易に把握することができる。
(変形例1−1)
次に、本発明の実施の形態1の変形例1−1について説明する。
今回検査及び過去検査の画像群に要約処理が施されていた場合(図4のステップS12参照)、図5に示すステップS22において、指標を撮像枚数に設定することが好ましい。要約処理においては、カプセル型内視鏡2が消化管内の同じ箇所を繰り返し撮像することにより得られた類似画像が間引かれる、或いは、カプセル型内視鏡2が消化管内のある区間を往復しながら撮像することにより得られた画像が撮像位置に対応した順序に並べ替えられる、といった処理がなされるため、要約処理後の画像の並び順は、必ずしも撮像時間に対応していないからである。むしろ、要約処理後の画像の並び順は、消化管の長さ方向における位置に対応しているため、指標を撮像枚数とすることにより、ユーザは、今回検査と過去検査とにおける消化管内の各位置の対応関係をより正確に把握することができる。
なお、指標を撮像枚数に設定した場合の処理は、平均色バーのスケールが撮像枚数軸となること以外は、実施の形態1と同様である。
(変形例1−2)
次に、本発明の実施の形態1の変形例1−2について説明する。
上記実施の形態1においては、今回検査に対して検査結果を対比する過去検査を1つ設定したが、過去検査を複数設定しても良い。この場合、対応画像設定部563は、今回検査の画像群と各過去検査の画像群との間で、画像の対応付けを行う。また、平均色バー作成部564は、対応付けられた画像の平均色が表示される位置を揃えて、今回検査の平均色バー及び各過去検査の平均色バーを配置する。
図15及び図16は、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図15及び図16に示す平均色バーb11、b12、b12’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
例えば、今回検査の画像群と2つの過去検査(1)、(2)の画像群との間で、先頭画像同士(画像I(A)top、I(B)top、I(C)top)が対応付けられた場合、平均色バー作成部564は、図15に示すように、先頭画像の平均色が表示される左端を揃えて、今回検査の平均色バーb11及び2つの過去検査の平均色バーb12、b12’を配置する。
この際、2つの過去検査(1)、(2)のうち、検査時期が今回検査に最も近い過去検査(1)の平均色バーb12を、今回検査の平均色バーb11の直近に配置すると良い。それにより、ユーザは消化管の変化を時系列に把握し易くなる。また、今回検査に対して検査結果を対比する過去検査の画像群が3つ以上設定された場合には、今回検査の平均色バーb11に近い方から、検査時期が新しいものから古いものへと、過去検査の平均色バーを順に並べると良い。
また、例えば、今回検査と2つの過去検査の画像群との間で胃と小腸の境界画像同士(画像I(A)bor2、I(B)bor2、I(C)bor2)が対応付けられた場合、平均色バー作成部564は、図16に示すように、これらの境界画像の平均色が表示される位置を揃えて、今回画像の平均色バーb13及び2つの過去検査の平均色バーb14、b14’を配置する。過去検査の平均色バーb14、b14’同士の並び順については、図15と同様である。
上述したように、今回検査に対して検査結果を対比する過去検査が複数設定された場合、今回検査により取得された画像群の観察画面においては、各過去検査の平均色バーが表示される。図17は、過去検査が2つ設定された場合の観察画面の表示例を示す模式図である。図17に示す観察画面M7においては、平均色バー表示領域m36に、今回画像の平均色バーb11及び2つの過去検査の平均色バーb12、b12’が配置されている。なお、平均色バー表示領域m36以外の領域における表示内容は、図14と同様である。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
本実施の形態2においては、図5に示すステップS22において、指標としてランドマークが設定された場合について説明する。なお、本実施の形態2に係る画像表示装置の構成及び動作は、全体として実施の形態1と同様である。
この場合、続くステップS23において、表示制御部565は、図18に例示するように、対応付けを行うランドマークをユーザに選択させる画面M8を表示部55に表示させる。
画面M8は、ランドマークの選択をユーザに促すテキストメッセージm40と、選択可能なランドマークの表示m41の一覧と、各ランドマークの表示m41に附されたラジオボタンm42と、OKボタンm43とを含んでいる。ランドマークとしては、画像群の先頭及び末尾、臓器の境界、解剖学的に特徴のある画像(十二指腸乳頭、リンパ濾胞等)、病変、手術切除痕、点墨、pH変化点等が挙げられる。このうち、臓器の境界には、食道と胃の境界、胃と小腸の境界、及び小腸と大腸の境界が含まれ、ユーザは、これらの境界を個別に選択することも可能であるし、全ての境界を一括して選択することも可能である。また、選択可能なランドマークは、画像処理により自動検出可能な特徴を表すものであっても良いし、ラベルボックスm38(図14参照)内のアイコンm39に対する操作によりユーザが手動で付加可能なラベルに対応するものであっても良い。
ユーザは、入力部51を用いた所定のポインタ操作によって、所望のランドマークの表示m41に附されたラジオボタンm42にチェックを入れ、さらにOKボタンm43を押下することにより、所望の複数のランドマークを選択することができる。このポインタ操作に応じて、選択されたランドマークを示す信号が制御部56に入力される。対応画像設定部563は、入力された信号に従って、選択された複数のランドマークの画像を、対応付けを行う画像として設定する。
ステップS24において、対応画像設定部563は、今回検査及び過去検査の画像群の間で、ステップS23において設定された画像同士を対応付ける。
例えば、ステップS23において、画像群の先頭及び末尾の画像が設定された場合、図11に示すように、先頭画像同士(画像I(A)top、I(B)top)、及び末尾画像同士(画像I(A)last、I(B)last)が対応付けられる。なお、ステップS23において別のランドマークの画像が設定された場合の例は、後述する。
ステップS25において、平均色バー作成部564は、今回検査及び過去検査の結果の概要をそれぞれ表す平均色バーを作成する。指標としてランドマークが設定された場合、平均色バー作成部564は、ステップS24において対応付けられたランドマーク画像の位置の間隔が等しくなるように、今回検査及び過去検査の平均色バーを作成する。
図19は、指標としてランドマークが設定された場合の平均色バーの作成例を示す模式図である。例えば、今回検査及び過去検査の画像群の先頭画像同士及び末尾画像同士が対応付けられた場合、平均色バー作成部564は、図19に示すように、今回検査の平均色バーb15及び過去検査の平均色バーb16の間で、先頭画像の平均色が配置される左端同士と、末尾画像の平均色が配置される右端同士がそれぞれ揃うように、過去検査側の平均色バーb16の長さを基準検査として設定された今回検査に合わせて伸縮させる。なお、平均色バーb15、b16のスケールは、撮像時間軸であっても良いし、撮像枚数軸であっても良い。
ステップS26において、表示制御部565は、今回検査の観察画面(図14参照)を作成し、ステップS25において作成された平均色バーb15、b16を平均色バー表示領域m36に配置する。
以上説明したように、実施の形態2によれば、今回検査及び過去検査の間で、平均色バーb15、b16全体の長さが揃うように、過去検査側の平均色バーb16のスケールを伸縮させるので、ユーザは、2つの平均色バーb15、b16の全容を容易に把握することができる。
(変形例2−1)
次に、本発明の実施の形態2の変形例2について説明する。
上記実施の形態2においては、今回検査に対して検査結果を対比する過去検査を1つ設定したが、過去検査を複数設定しても良い。この場合、対応画像設定部563は、今回検査の画像群と各過去検査の画像群との間で、選択されたランドマークの画像同士の対応付けを行う。また、平均色バー作成部564は、対応付けられた画像の平均色が表示される位置を揃えて、今回検査の平均色バー及び各過去検査の平均色バーを配置する。
図20は、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図20に示す平均色バーb15、b16、b16’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
例えば、今回検査の画像群と2つの過去検査(1)、(2)の画像群との間で先頭画像同士(画像I(A)top、I(B)top、I(C)top)及び末尾画像同士(画像I(A)last、I(B)last、I(C)last)が対応付けられた場合、平均色バー作成部564は、今回検査の平均色バーb15と各過去検査の平均色バーb16、b16’との間で、先頭画像の平均色が配置される左端同士と、末尾画像の平均色が配置される右端同士がそれぞれ揃うように、過去検査(1)、(2)の平均色バーb16、b16’の長さを、基準検査として設定された今回検査に合わせて伸縮させる。
なお、本変形例2−1においても、平均色バーb15、b16、b16’のスケールは、撮像時間軸であっても良いし、撮像枚数軸であっても良い。また、本変形例2−1のように、今回検査に対して検査結果を対比する過去検査が2つ以上設定された場合には、今回検査の平均色バーb15に近い方から、検査時期が新しいものから古いものへと、過去検査の平均色バーを順に並べると良い。それにより、ユーザは消化管の変化を時系列に把握し易くなる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
本実施の形態3においては、図5に示すステップS22において、指標としてランドマークが設定された場合の別の例を説明する。なお、実施の形態3に係る画像表示装置の構成及び動作は、全体として実施の形態1と同様である。
今回検査の画像群を観察するにあたって、ユーザは、特定の区間(例えば、小腸区間)について過去検査と特に対比して観察したい場合がある。このような場合、ユーザは、図5のステップS23で表示されるランドマークの選択画面(図18に示す画面M8参照)において、所望の区間を規定する2つのランドマーク(例えば、胃と小腸の境界及び小腸と大腸の境界)を選択すれば良い。対応画像設定部563は、入力部51から入力される信号に従って、選択されたランドマークの画像を、対応付けを行う画像として設定する。
この場合、続くステップS24において、対応画像設定部563は、今回検査及び過去検査の画像群から、ステップS23において設定したランドマーク画像を抽出して対応付ける。例えば、ステップS23において、胃と小腸の境界、及び小腸と大腸の境界が設定された場合、対応画像設定部563は、胃と小腸の境界画像同士(図11に示す画像I(A)bor2、I(B)bor2)、及び小腸と大腸の境界画像同士(図11に示す画像I(A)bor3、I(B)bor3)を対応付ける。
続くステップS25において、平均色バー作成部564は、対応付けられたランドマーク画像をもとに、平均色バーを作成する。なお、平均色バーのスケールは、撮像時間軸であっても良いし、撮像枚数軸であっても良い。図21は、平均色バーの作成処理を示すフローチャートである。
まず、ステップS250において、平均色バー作成部564は、今回検査及び過去検査の各々について、画像群内の各画像の平均色を撮像時間軸又は撮像枚数軸に沿って均等に配置した平均色バーを作成する。
続くステップS251において、平均色バー作成部564は、ステップS24において対応付けられたランドマーク画像をもとに、今回検査及び過去検査の平均色バーの間で対応する区間(対応区間)を決定する。例えば、胃と小腸の境界画像、及び小腸と大腸の境界画像が対応付けられている場合、平均色バーにおいては、胃と小腸の境界〜小腸と大腸の境界の区間(即ち、小腸区間)、及びその前後の区間(胃と小腸の境界までの区間、及び小腸と大腸の境界以降の区間)が対応区間となる。
続いて、平均色バー作成部564は、各対応区間についてループAの処理を実行する。まず、ステップS252において、平均色バー作成部564は、処理対象の対応区間が閉区間であるか否かを判定する。ここで、閉区間とは、対応区間の始点の画像同士及び終点の画像同士が共に、それぞれ対応付けられている区間のことである。
例えば、本例において、胃と小腸の境界よりも以前では画像の対応付けが行われていないので、胃と小腸の境界以前の区間は閉区間ではない(以下、このような区間を開区間ともいう。ステップS252:No)。この場合、平均色バー作成部564は、画像の対応付けが行われている一方の端部の位置のみを揃えて、今回検査及び過去検査の平均色バーを配置する(ステップS253)。具体的には、図22に示すように、胃と小腸の境界(画像I(A)bor2、I(B)bor2)の位置を揃えて、今回検査の平均色バーb17及び過去検査の平均色バーb18を配置する。
次の処理対象の対応区間(小腸区間)は、胃と小腸の境界画像同士、及び小腸と大腸の境界画像同士が共に対応付けられているので、閉区間である(ステップS252:Yes)。この場合、平均色バー作成部564は、今回検査及び過去検査の平均色バーの間で対応区間の長さが等しくなるように、過去検査側(基準検査でない方)のスケールを伸縮させる(ステップS254)。具体的には、平均色バーb17、b18において、小腸区間(画像I(A)bor2〜I(A)bor3、I(B)bor2〜I(B)bor3)の長さが等しくなるように、過去検査側の当該区間のスケールを伸縮させる。
次の処理対象の対応区間は、小腸と大腸の境界以降では画像の対応付けが行われていない、開区間である(ステップS252:No)。従って、平均色バー作成部564は、画像の対応付けが行われている小腸と大腸の境界(画像I(A)bor3、I(B)bor3)の位置を揃えて、平均色バーb17、b18を配置する(ステップS253)。
全ての対応区間に対する処理の終了後、処理はメインルーチンに戻る。
ステップS25に続くステップS26において、表示制御部565は、画像の観察画面(図14参照)を作成し、ステップS25において作成された平均色バーb17、b18を平均色バー表示領域m36に配置して表示部55に表示させる。
以上説明したように、実施の形態3によれば、ユーザが任意に選択した区間の長さを揃えて、今回検査及び過去検査の平均色バーを表示するので、ユーザは、今回検査及び過去検査の間での当該区間の対応関係を容易に把握することができる。従って、ユーザは、所望の区間内から過去に検出された病変等が治療によりどのように変化したか、或いは、今回検出された病変等が過去にはどのような状態だったか、といった経過の診断を容易に行うことができる。
(変形例3−1)
次に、本発明の実施の形態3の変形例3−1について説明する。
上記実施の形態3においては開区間のスケールをもとのままとしたが、開区間についてもスケールを変更しても良い。例えば、図22に示す過去検査の平均色バーb18の場合、さらに、画像I(B)top〜画像I(B)bor2の区間、及び画像I(B)bor3〜画像I(B)lastの区間についても、スケールを伸縮させた画像I(B)bor2〜画像I(B)bor3の区間の縮尺に合わせて伸縮させても良い。この場合、平均色バーb18の全体においてスケールが一定となるので、ユーザは、平均色バーb18における小腸区間と他の区間との長さの比較等を行うことができる。
(変形例3−2)
次に、本発明の実施の形態3の変形例3−2について説明する。
上記実施の形態3においては、今回検査に対して検査結果を対比する過去検査を1つ設定したが、過去検査を複数設定しても良い。この場合、対応画像設定部563は、今回検査の画像群と各過去検査の画像群との間で、選択されたランドマークの画像同士の対応付けを行う。
図23は、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図23に示す平均色バーb17、b18、b18’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
例えば、今回検査の画像群と2つの過去検査(1)、(2)の画像群との間で、胃と小腸の境界画像同士(画像I(A)bor2、I(B)bor2、I(C)bor2)、及び小腸と大腸の境界画像同士(画像I(A)bor3、I(B)bor3、I(C)bor3)が対応付けられた場合、平均色バー作成部564は、平均色バーb17、b18、b18’において、閉区間である対応区間、即ち、小腸区間(画像I(A)bor2〜I(A)bor3、I(B)bor2〜I(B)bor3、I(C)bor2〜I(C)bor3)の長さが等しくなるように、過去検査(1)、(2)の平均色バーb18、b18’の当該区間のスケールを伸縮させる。
また、本変形例3−2のように、今回検査に対して検査結果を対比する過去検査が2つ以上設定された場合には、今回検査の平均色バーb17に近い方から、検査時期が新しいものから古いものへと、過去検査の平均色バーを順に並べると良い。それにより、ユーザは消化管の変化を時系列に把握し易くなる。
(変形例3−3)
次に、本発明の実施の形態3の変形例3−3について説明する。
上記実施の形態3においては、今回検査及び過去検査の平均色バーの間で、対応区間が閉区間の場合であるときのみ、両区間の長さを揃えたが、開区間である場合にも対応区間の長さを揃えても良い。
図24は、ステップS25における平均色バー作成部564の処理の別の例を示すフローチャートである。なお、図24に示すステップS250〜S252及びS254の処理は、実施の形態3と同様である。
平均色バー作成部564は、ステップS251において決定した各対応区間について、ループBの処理を実行する。
ステップS252において、処理対象の対応区間が閉区間でない場合(ステップS252:No)、平均色バー作成部564は、画像群の先頭又は末尾を対応区間の始点又は終点に設定する(ステップS255)。
続くステップS254において、平均色バー作成部564は、今回検査及び過去検査の平均色バーの間で、各対応区間の長さが等しくなるように、過去検査側の対応区間のスケールを伸縮させる。
例えば、図25に示すように、胃と小腸の境界(画像I(A)bor2、I(B)bor2)以前の区間については、画像群の先頭(画像I(A)top、I(B)top)が対応区間の始点に設定される(ステップS255参照)。従って、平均色バー作成部564は、これらの区間(画像I(A)top〜I(A)bor2、画像I(B)top〜I(B)bor2)の長さが等しくなるように、過去検査側の平均色バーb20の当該区間のスケールを伸縮させる。
また、胃と小腸の境界(画像I(A)bor3、I(B)bor3)以降の区間については、画像群の末尾(画像I(A)last、I(B)last)が対応区間の終点に設定される(ステップS255参照)。従って、平均色バー作成部564は、これらの区間(画像I(A)bor3〜I(A)last、画像I(B)bor3〜I(B)last)の長さが等しくなるように、過去検査の平均色バーb20の当該区間のスケールを伸縮させる。
図26は、本変形例3−3において、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図26に示す平均色バーb19、b20、b20’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
例えば、今回検査の画像群と2つの過去検査(1)、(2)の画像群との間で、胃と小腸の境界画像同士(画像I(A)bor2、I(B)bor2、I(C)bor2)、及び小腸と大腸の境界画像同士(画像I(A)bor3、I(B)bor3、I(C)bor3)が対応付けられた場合、平均色バー作成部564は、平均色バーb19、b20、b21’において、小腸以前の対応区間(画像I(A)top〜I(A)bor2、画像I(B)top〜I(B)bor2、画像I(C)top〜I(C)bor2)、小腸区間(画像I(A)bor2〜I(A)bor3、I(B)bor2〜I(B)bor3、I(C)bor2〜I(C)bor3)、及び、小腸以降の対応区間(画像I(A)bor3〜I(A)last、画像I(B)bor3〜I(B)last、画像I(C)bor3〜I(C)last)の長さがそれぞれ等しくなるように、過去検査(1)、(2)の平均色バーb20、b20’のスケールを対応区間ごとに伸縮させる。
また、今回検査に対して検査結果を対比する過去検査が2つ以上設定された場合には、今回検査の平均色バーb19に近い方から、検査時期が新しいものから古いものへと、過去検査の平均色バーを順に並べると良い。それにより、ユーザは消化管の変化を時系列に把握し易くなる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
本実施の形態4においては、図5に示すステップS22において、指標としてランドマークが設定された場合のさらに別の例を説明する。なお、実施の形態4に係る画像表示装置の構成及び動作は、全体として実施の形態1と同様である。
今回検査の画像群を観察するにあたって、ユーザは、各臓器の区間を過去検査と対比して観察したい場合がある。このような場合、ユーザは、図5のステップS23で表示されるランドマーク選択画面(図18に示す画面M8参照)において、全ての臓器境界を選択すれば良い。この場合、対応画像設定部563は、今回検査及び過去検査の画像群(図11参照)から臓器の境界画像を抽出し、食道と胃の境界画像同士(画像I(A)bor1、I(B)bor1)、胃と小腸の境界画像同士(画像I(A)bor2、I(B)bor2)、及び小腸と大腸の境界画像同士(画像I(A)bor3、I(B)bor3)をそれぞれ対応付ける(ステップS24)。
続くステップS25において、平均色バー作成部564は、対応付けられた臓器の境界画像をもとに、図21に示すフローチャートに沿って平均色バーを作成する。
ここで、臓器の境界画像同士のみが対応付けられた場合、境界画像によって区切られる区間のうち、食道と胃の境界〜胃と小腸の境界(胃区間)、及び胃と小腸の境界〜小腸と大腸の境界(小腸区間)は閉区間となる。従って、平均色バー作成部564は、今回検査及び過去検査の平均色バーの間で、これらの対応区間の長さが等しくなるように、過去検査側のスケールを伸縮させる(ステップS254)。具体的には、図27に示すように、今回検査の平均色バーb21における胃区間(画像I(A)bor1〜I(A)bor2)及び小腸区間(画像I(A)bor2〜I(A)bor3)の長さに合わせて、過去検査の平均色バーb22における胃区間(画像I(B)bor1〜I(B)bor2)及び小腸区間(画像I(B)bor2〜I(B)bor3)のスケールをそれぞれ伸縮させる。
一方、境界画像によって区切られる区間のうち、画像群の先頭〜食道と胃の境界(食道区間)、及び小腸と大腸の境界〜画像群の末尾(大腸区間)は開区間となる。従って、平均色バー作成部564は、平均色バーb21、22の間で、画像の対応付けがなされている食道と胃の境界(画像I(A)bor1、I(B)bor1)、及び小腸と大腸の境界(画像I(A)bor3、I(B)bor3)の位置のみを揃えて配置する(ステップS253)。
その後のステップは、実施の形態3と同様である。
以上説明したように、実施の形態4によれば、今回検査及び過去検査の平均色バーの間で、端部以外の臓器区間の長さを揃えて表示するので、ユーザは、今回検査及び過去検査における臓器区間の対応関係を直感的且つ容易に把握することができる。
図28は、実施の形態4において、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図28に示す平均色バーb21、b22、b22’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
例えば、今回検査の画像群と2つの過去検査(1)、(2)の画像群との間で、各臓器の境界画像同士、即ち、食道と胃の境界画像同士(画像I(A)bor1、I(B)bor1、I(C)bor1)、胃と小腸の境界画像同士(画像I(A)bor2、I(B)bor2、I(C)bor2)、及び小腸と大腸の境界画像同士(画像I(A)bor3、I(B)bor3、I(C)bor3)が対応付けられた場合、平均色バー作成部564は、平均色バーb21、b22、22’において、閉区間である胃区間(画像I(A)bor1〜I(A)bor2、画像I(B)bor1〜I(B)bor2、画像I(C)bor1〜I(C)bor2)及び小腸区間(画像I(A)bor2〜I(A)bor3、画像I(B)bor2〜I(B)bor3、画像I(C)bor2〜I(C)bor3)の長さがそれぞれ等しくなるように、過去検査の平均色バーb22、b22’のスケールを対応区間ごとに伸縮させる。
なお、今回検査に対して検査結果を対比する過去検査が2つ以上設定された場合には、今回検査の平均色バーb21に近い方から、検査時期が新しいものから古いものへと、過去検査の平均色バーを順に並べると良い。それにより、ユーザは消化管の変化を時系列に把握し易くなる。
(変形例4)
次に本発明の実施の形態4の変形例4について説明する。
上記実施の形態4においては、今回検査及び過去検査の平均色バーの間で、対応区間が閉区間の場合であるときのみ、両区間の長さを揃えたが、開区間である場合にも対応区間の長さを揃えても良い。
この場合、ステップS25において、平均色バー作成部564は、対応付けられた臓器の境界画像をもとに、図24に示すフローチャートに沿って平均色バーを作成する。それにより、図29に示すように、今回検査と過去検査とにおいて、食道区間同士(画像I(A)top〜I(A)bor1、I(B)top〜I(B)bor1)、胃区間同士(画像I(A)bor1〜I(A)bor2、I(B)bor1〜I(B)bor2)、小腸区間同士(画像I(A)bor2〜I(A)bor3、I(B)bor2〜I(B)bor3)、及び大腸区間同士(画像I(A)bor3〜I(A)last、I(B)bor3〜I(B)last)の長さがそれぞれ等しい平均色バーb23、b24が作成される。
本変形例4によれば、今回検査及び過去検査の平均色バーの間で、対応する全ての臓器区間の長さを区間ごとに揃えて表示するので、ユーザは、今回検査及び過去検査における各臓器区間の対応関係を直感的且つ容易に把握することができる。従って、各臓器区間内における病変等の経過の診断を容易に行うことができる。
図30は、変形例4において、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図30に示す平均色バーb23、b24、b24’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
この場合、今回検査と過去検査(1)、(2)とにおいて、食道区間同士(画像I(A)top〜I(A)bor1、I(B)top〜I(B)bor1、I(C)top〜I(C)bor1)、胃区間同士(画像I(A)bor1〜I(A)bor2、I(B)bor1〜I(B)bor2、I(C)bor1〜I(C)bor2)、小腸区間同士(画像I(A)bor2〜I(A)bor3、I(B)bor2〜I(B)bor3、I(C)bor2〜I(C)bor3)、及び大腸区間同士(画像I(A)bor3〜I(A)last、I(B)bor3〜I(B)last、I(C)bor3〜I(C)last)の長さがそれぞれ等しくなるように、平均色バーb23、b24、b24’が作成される。
なお、今回検査に対して検査結果を対比する過去検査が2つ以上設定された場合には、今回検査の平均色バーb23に近い方から、検査時期が新しいものから古いものへと、過去検査の平均色バーを順に並べると良い。それにより、ユーザは消化管の変化を時系列に把握し易くなる。
(実施の形態5)
次に、本発明の実施の形態5について説明する。
本実施の形態5においては、図5に示すステップS22において、指標としてランドマークが設定された場合のさらに別の例を説明する。なお、実施の形態5に係る画像表示装置の構成及び動作は、全体として実施の形態1と同様である。
今回検査の画像群を観察するにあたって、ユーザは、過去検査において検出された病変等が今回検査ではどのように変化したか、或いは、今回検査において検出された病変等が過去検査ではどのような状態だったかを把握したい場合がある。このような場合、ユーザは、図5のステップS23で表示されるランドマーク選択画面(図18に示す画面M8参照)において、臓器境界に加えて病変を選択すれば良い。この他、手術切除痕や点墨等のランドマークを選択しても良い。
この場合、対応画像設定部563は、今回検査及び過去検査の各画像群(図11参照)から、病変画像等の選択されたランドマーク画像を抽出し、今回検査と過去検査との間で画像の対応付けを行う(ステップS24)。
続くステップS25において、平均色バー作成部564は、対応付けられたランドマーク画像をもとに、図21又は図24に示すフローチャートに沿って平均色バーを作成する。それにより、図31に例示する今回検査の平均色バーb25及び過去検査の平均色バーb26が作成される。なお、図31に示す平均色バーb25、b26は、図24に示すフローチャートに沿って作成したものであり、両端の対応区間(開区間)についてもスケールを伸縮させている。
平均色バーb25、b26においては、今回検査及び過去検査において検出された病変区間同士(画像I(A)mark1〜I(A)mark2、I(B)mark1〜I(B)mark2)、該病変区間よりも前の小腸区間同士(画像I(A)bor2〜I(A)mark1、I(B)bor2〜I(B)mark1)、及び該病変区間よりも後の小腸区間同士(画像I(A)mark2〜I(A)bor3、I(B)mark2〜I(B)bor3)についても、対応区間の長さがそれぞれ等しくなるように、スケールを伸縮させている。
このように、本実施の形態5においては、今回検査及び過去検査の平均色バーb25、b26間で、病変区間が含まれる臓器区間を、該病変区間の前後に分けて規格化する。そのため、ユーザは、今回検査と過去検査とにおける病変区間の対応関係だけでなく、病変区間の前後の臓器区間それぞれの対応関係を直感的且つ容易に把握することができる。
図32は、実施の形態5において、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図32に示す平均色バーb25、b26、b26’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
この場合、今回検査と過去検査(1)、(2)とにおいて、病変区間(画像I(A)mark1〜I(A)mark2、I(B)mark1〜I(B)mark2、I(C)mark1〜I(C)mark2)が検出されると、該病変区間よりも前の小腸区間同士(画像I(A)bor2〜I(A)mark1、I(B)bor2〜I(B)mark1、I(C)bor2〜I(C)mark1)、及び該病変区間よりも後の小腸区間同士(画像I(A)mark2〜I(A)bor3、I(B)mark2〜I(B)bor3、I(C)mark2〜I(C)bor3)の長さがそれぞれ等しくなるようにスケールを伸縮させた平均色バーb25、b26、b26’が作成される。
なお、今回検査に対して検査結果を対比する過去検査が2つ以上設定された場合には、今回検査の平均色バーb25に近い方から、検査時期が新しいものから古いものへと、過去検査の平均色バーを順に並べると良い。それにより、ユーザは消化管の変化を時系列に把握し易くなる。
(実施の形態6)
次に、本発明の実施の形態6について説明する。
上記実施の形態1〜5においては、今回検査及び過去検査の平均色バーにおいて、対応付けされた画像の位置、又は対応区間の長さを揃えて表示することとしたが、そのような平均色バーに対し、さらに、ユーザ所望のランドマークをマッピングすることとしても良い。
この場合、表示制御部565は、例えば図33に例示するように、マッピングするランドマークをユーザに選択させるための画面M9を表示部55に表示させる。この画面M9は、マッピングするランドマークの選択をユーザに促すテキストメッセージm45と、選択可能なランドマークの表示m46の一覧と、各ランドマークの表示m46に附されたラジオボタンm47と、マッピングの表示の有無を選択させるためのON/OFFボタンm48と、OKボタンm49とを含んでいる。このうち、選択可能なランドマークは、画像処理により自動検出可能な特徴を表すものであっても良いし、ラベルボックスm38(図14参照)内のアイコンm39に対する操作によりユーザが手動で付加可能なラベルに対応するものであっても良い。
ユーザは、入力部51を用いた所定のポインタ操作によって、所望のランドマークの表示m46に附されたラジオボタンm47にチェックを入れ、マッピングのON/OFFボタンm48のONを選択した上で、OKボタンm49を押下することにより、ランドマークを選択することができる。このポインタ操作に応じて、選択されたランドマークを示す信号が制御部56に入力される。
対応画像設定部563は、入力された信号に従って、選択されたランドマークに対応するランドマーク画像を過去検査の画像群から抽出する。
平均色バー作成部564は、今回検査及び過去検査の平均色バーを作成すると共に(図5に示すステップS25参照)、対応画像設定部563が抽出したランドマーク画像の撮像時間又は撮像枚数をもとに、過去検査の平均色バー上にランドマークのマッピングを行う。さらに、平均色バー作成部564は、過去検査の平均色バーにマッピングされたランドマークに対応する位置を推定して、今回検査の平均色バーにマッピングを行う。
図34は、実施の形態6における平均色バーの作成例を示す模式図であり、図29に示す平均色バーb23、b24にランドマークのマッピングを行った例を示している。図34に示すように、過去検査の平均色バーb24には、過去検査の画像群から検出された病変画像I(B)mark3の位置を示すマークc1と、病変画像の区間(画像I(B)mark4〜I(B)mark5)を示すマークc2とが表示されている。また、平均色バーb24上におけるマークc1、c2と位置関係が同じ今回検査の平均色バーb23上の位置(例えば平均色バーの左端からの距離が等しい位置)には、マークc1’、c2’が表示されている。これらのマークc1’、c2’は、過去検査の画像群から検出された病変と同じ病変が存在すると推定される今回検査の画像群内の位置を示す。
これらのマークc1、c2、c1’、c2’は、図33に示す画面M9において、マッピングのON/OFFボタンm48のOFFを選択した上で、OKボタンm49を押下することにより、非表示とすることもできる。
以上説明したように、実施の形態6によれば、平均色バー上における位置関係をもとに、過去検査の画像群から抽出されたランドマーク画像に対応する画像の今回検査の画像群における位置を、容易に推定することができる。従って、ユーザは、過去検査の検査結果をもとに、今回検査の画像群を効率良く観察することができる。
図35は、実施の形態6において、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図35に示す平均色バーb23、b24、b24’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
過去検査(1)の画像群から病変画像I(B)mark3及びI(B)mark4〜I(B)mark5が検出された場合、該過去検査(1)の平均色バーb24には、病変画像I(B)mark3の位置を示すマークc1と、病変画像の区間(画像I(B)mark4〜I(B)mark5)を示すマークc2とが表示される。また、過去検査(2)の画像群から病変画像I(C)mark4〜I(C)mark5が検出された場合、該過去検査(2)の平均色バーb24’には、該病変画像の区間を示すマークc02が表示される。なお、過去検査(1)の画像I(B)mark4〜I(B)mark5と、過去検査(2)の画像I(C)mark4〜I(C)mark5とが対応付けられている場合、平均色バーb24、b24’においてこれらの病変画像の区間同士の位置及び長さが揃うように表示を行っても良い。さらに、平均色バーb23には、平均色バーb24上におけるマークc1及び平均色バー24b上におけるマークc2(即ち、平均色バーb24’上におけるマークc02)と位置関係が同じ位置に、マークc1’、c2’が表示される。これらのマークc1’、c2’は、過去検査の画像群から検出された病変と同じ病変が存在すると推定される今回検査の画像群内の位置を示す。
このように、各過去検査(1)、(2)の画像群から検出された病変画像の位置や区間を平均色バーb24、b24’上に表示することにより、ユーザは、病変が出現し始めた時期を推定することができる。
今回検査に対して検査結果を対比する過去検査が2つ以上設定された場合においても、今回検査の平均色バーb24に近い方から、検査時期が新しいものから古いものへと、過去検査の平均色バーを順に並べると良い。それにより、ユーザは、病変の出現状態の時系列的な変化を容易に把握することができる。
(変形例6)
次に、本発明の実施の形態6の変形例6について説明する。
本変形例6においては、画像の観察画面(図14参照)に表示される過去検査の平均色バーの表示及び非表示を切り替え可能とするものである。
図36は、変形例6における平均色バーの表示例を示す模式図である。図36に示す平均色バー表示領域m36’は、図14に示す平均色バー表示領域m36に、過去検査に関する情報(以下、単に過去情報ともいう)の表示の有無を切り替えるための切り替えボタンm50を追加したものである。
図36(a)に示すように、切り替えボタンm50に対する入力部51を用いたポインタ操作によりONが選択されると、今回検査及び過去検査の平均色バーが対応付けられて表示される。なお、図36(a)は、実施の形態6において説明したように、平均色バーb23、b24に対して病変等のマッピングを行った例を示している。
一方、図36(b)に示すように、切り替えボタンm50に対する入力部51を用いたポインタ操作によりOFFが選択されると、過去検査の平均色バーb24が非表示になると共に、今回検査の平均色バーb23に表示されていたマークc1’、c2’も消去される。
このように、画像の観察画面において過去情報の表示及び非表示を切り替え可能とすることにより、ユーザは、所望の方式で今回検査の画像群を観察することが可能となる。
図37は、変形例6において、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの表示例を示す模式図である。この場合、図37(a)に示すように、平均色バー表示領域m36’には、今回検査及び2つの過去検査(1)、(2)の平均色バーb23、b24、b24’が表示される。また、図37(b)に示すように、切り替えボタンm50においてOFFが選択されると、2つの過去検査(1)、(2)の平均色バーb24、b24’が共に非表示になり、今回検査の平均色バーb23に表示されていたマークc1’、c2’も消去される。
(実施の形態7)
次に、本発明の実施の形態7について説明する。
図38は、実施の形態7に係る画像表示装置の構成を示すブロック図である。図38に示すように、実施の形態7に係る画像表示装置6は、図3に示す画像表示装置5における制御部56の代わりに、制御部61を備える。画像表示装置6の制御部61以外の各部の構成及び動作は、実施の形態1〜6と同様である。また、画像表示装置6を含むカプセル型内視鏡システム全体の構成についても、図1参照と同様である。
制御部61は、図3に示す制御部61に対し、対応画像抽出部611及び対比画面作成部612をさらに備える。対応画像抽出部611は、画像の観察画面(図14参照)に表示された過去検査の平均色バー上でユーザ所望のポイント又は区間が選択された場合に、該ポイント又は区間における画像を過去検査の画像群から抽出すると共に、該過去検査の画像と同じ又は近傍の消化管内の部分が写っていると推定される画像を、今回検査の画像群から抽出する。対比画面作成部612は、対応画像抽出部611により抽出された今回検査及び過去検査の画像を対比して表示する画面を作成する。なお、対応画像抽出部611及び対比画面作成部612以外の制御部61の各部の構成は、実施の形態1〜6と同様である。
図39は、実施の形態7における平均色バーの表示例を示す模式図であり、図29に示す過去検査の平均色バーb24に対してポイントを選択した場合を示している。図39に示すように、平均色バーb24に対する入力部51を用いた所定のポインタ操作により、ユーザ所望のポイントc3の位置が選択されると、該ポイントc3の位置を示す信号が制御部61に入力される。対応画像抽出部611は、入力された信号に従って、平均色バーb24におけるポイントc3の位置に対応する今回検査の平均色バーb23上の位置(例えば、バーの左端からの距離が等しい位置)に対応ポイントc3’をマークする。さらに、撮像時間(又は撮像枚数)の誤差を考慮し、対応ポイントc3’を中心に、前後に所定の長さだけ伸ばした区間d1をマークする。この区間d1が、ユーザが平均色バーb24上で選択したポイントc3に対応すると推定される平均色バーb23上の区間である。
続いて、対応画像抽出部611は、平均色バーb24上のポイントc3が示す撮像時間(又は撮像枚数)における画像を過去検査の画像群から抽出すると共に、平均色バーb23上の区間d1が示す撮像時間(又は撮像枚数)における画像を今回検査の画像群から抽出し、抽出した画像間における類似度を判断することにより、1つ以上の代表画像を選出する。
対比画面作成部612は、過去検査の画像群から抽出された画像と、今回検査の画像群から選出された代表画像とを対比して配置した画面を作成する。図40は、対比画面作成部612が作成する画面の一例を示す模式図である。図40に示す画面M10には、ユーザが選択したポイントc3における過去検査の画像I(B)Tと、該画像I(B)Tに対応する(同じ又は近傍の消化管内の部分が写っている)と推定される今回検査の代表画像群(画像I(A)i、i=1、2、…)とが、並べて表示されている。
なお、図39においては、説明を簡単にするため、単に過去画像の平均色バーb24を表示したが、図34に示すように、病変画像等がマッピングされた平均色バーb24に対して、ユーザにポイントを選択させるようにしても良い。この場合、ユーザは、病変等を示す所望のポイントをより簡単に選択することができる。
このように、過去検査の平均色バーと今回検査の平均色バーとを対応付けておくことにより、過去検査の画像と今回検査の画像とで対応する画像同士を対比して表示することも可能になる。従って、ユーザは、過去検査において気になった箇所が、今回検査においてどのように変化したか等を容易に確認することができる。また、代表画像を選出することにより、ユーザは、今回検査と過去検査との画像の対比観察を短時間で行うことができる。
(変形例7−1)
上記実施の形態7においては、ユーザが過去検査において選択したポイントに対応する今回検査の画像を抽出することとしたが、反対に、ユーザが今回検査において選択したポイントに対応する過去検査の画像を抽出して対比表示することとしても良い。この場合、ユーザは、今回検査において気になった箇所の過去の状態を容易に確認することができる。
(変形例7−2)
次に、本発明の実施の形態7の変形例7−2について説明する。
上記実施の形態7においては、今回検査に対して検査結果を対比する過去検査を1つ設定する例を説明したが、過去検査は2つ以上設定しても良い。
図41は、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図41に示す平均色バーb23、b24、b24’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
この場合、ユーザは、2つの過去検査(1)、(2)に対応する平均色バーb24、b24’の各々に対してポインタ操作を行うことができる。例えば、過去検査(2)の平均色バーb24’に対するポインタ操作により、ポイントc4の位置が選択されると、該ポイントc4の位置に対応する過去検査(1)の平均色バーb24及び今回検査の平均色バーb23上の位置に、対応ポイントc4’、c4”がそれぞれマークされる。さらに、今回検査の平均色バーb23には、対応ポイントc4”を中心とする区間d2がマークされる。この区間d2が、ユーザが平均色バーb24’上で選択したポイントc4に対応すると推定される平均色バーb24上の区間である。
また、対比画面作成部612は、ポイントc4、c4’の位置に応じて過去検査(2)及び過去検査(1)の画像群からそれぞれ抽出された画像と、区間d2の位置に応じて今回検査の画像群から選出された代表画像とを対比して配置した画面を作成する。図42は、対比画面作成部612が作成する画面の一例を示す模式図である。図42に示す画面M11には、ユーザが選択したポイントc4における過去検査(2)の画像I(C)Tと、ポイントc4’に対応する(即ち、画像I(C)Tと同じ又は近傍の消化管内の部分が写っている)画像I(B)Tと、区間d2に対応する(即ち、画像I(C)Tに対応すると推定される)今回検査の代表画像群(画像I(A)i、i=1、2、…)とが、並べて表示されている。今回検査に対して検査結果を対比する過去検査が3つ以上設定された場合も、同様にして対比画面が作成される。
(変形例7−3)
上記実施の形態7においては、過去検査においてユーザが選択した1つの画像と、この画像に対応すると推定される複数の画像とを対比して表示することとしたが、複数の画像同士を対比して表示しても良い。
図43は、変形例7−3における平均色バーの表示例を示す模式図であり、図29に示す過去検査の平均色バーb24に対して区間を選択した場合を示している。図43に示すように、平均色バーb24に対する入力部51を用いた所定のポインタ操作により、ユーザ所望の区間d3が選択されると、該区間d3の位置を示す信号が制御部61に入力される。対応画像抽出部611は、入力された信号に従って、平均色バーb24における区間d3の位置に対応する平均色バーb23上の位置(例えば、バーの左端からの距離が等しい領域)に区間d3’をマークする。
続いて、対応画像抽出部611は、平均色バーb24上の区間d3が示す撮像時間(又は撮像枚数)における画像を過去検査の画像群から抽出し、抽出した画像間における類似度を判断することにより、1つ以上の代表画像を選出する。また、対応画像抽出部611は、平均色バーb23上の区間d3’が示す撮像時間(又は撮像枚数)における画像を今回画像群から抽出し、抽出した画像間における類似度を判断することにより、1つ以上の代表画像を選出する。
対比画面作成部612は、過去検査の画像群から選出された代表画像と、今回検査の画像群から選出された代表画像とを対比して表示する画面を作成する。図44は、対比画面作成部612が作成する画面の一例を示す模式図である。図44に示す画面M12には、ユーザが選択した区間d3における過去検査の代表画像群(画像I(B)j、j=1、2、…)と、区間d3’における今回検査の代表画像群(画像I(A)k、k=1、2、…)、即ち、過去検査の区間d3における代表画像群と同じ又は近傍の消化管内の部分が写っていると推定される今回検査の代表画像群とが、並べて表示されている。
このように、今回検査と過去検査とにおいて代表画像群同士を並べて表示することにより、ユーザは、画像の対比観察を短時間に効率良く行うことができる。
(変形例7−4)
次に、本発明の実施の形態7の変形例7−4について説明する。
上記変形例7−3においては、今回検査に対して検査結果を対比する過去検査を1つ設定する例を説明したが、過去検査は2つ以上設定しても良い。
図45は、今回検査に対して検査結果を対比する過去検査が2つ設定された場合の平均色バーの作成例を示す模式図である。図45に示す平均色バーb23、b24、b24’は、今回検査、過去検査(1)、及び過去検査(1)よりも前に実施された過去検査(2)にそれぞれ対応する。
この場合、ユーザは、2つの過去検査(1)、(2)に対応する平均色バーb24、b24’の各々に対してポインタ操作を行うことができる。例えば、過去検査(2)の平均色バーb24’に対するポインタ操作により、区間d4が選択されると、該区間d4の位置に対応する過去検査(1)の平均色バーb24及び今回検査の平均色バーb23上の位置(例えば、バーの左端からの距離が等しい位置)に、区間d4’、d4”がそれぞれマークされる。今回検査に対して検査結果を対比する過去検査が3つ以上設定された場合も同様である。
また、対比画面作成部612は、区間d4、d4’、d4”の位置に応じて過去検査(2)、過去検査(1)、及び今回検査の画像群からそれぞれ選出された代表画像を対比して配置した画面を作成する。図46は、対比画面作成部612が作成する画面の一例を示す模式図である。図46に示す画面M13には、ユーザが選択した区間d4における過去検査(2)の代表画像群(画像I(C)x、x=1、2、…)と、区間d4’における過去検査(1)の代表画像群(画像I(B)y、y=1、2、…)と、区間d4”における今回検査の代表画像群(画像I(A)z、z=1、2、…)、即ち、過去検査(2)の区間d4における代表画像群と同じ又は近傍の消化管内の部分が写っていると推定される今回検査の代表画像群とが、画面の左側から時系列順に表示されている。ユーザは、このような画面を参照することにより、代表画像群同士の時系列的な変化を容易に把握することができる。
図47は、対比画面作成部612が作成する画面の別の例を示す模式図である。図47に示す画面M14においては、今回検査から選出された代表画像群(画像I(A)z)が中央に配置され、過去検査(1)から選出された代表画像群(画像I(C)y)と、過去検査(2)から選出された代表画像群(画像I(C)x)とが、その両側に配置されている。このように、過去検査(1)、(2)から選出された代表画像群の各々を今回検査から選出された代表画像群の隣に配置することにより、過去の各時期に実施された検査と今回検査とが比較し易くなる。
(実施の形態8)
次に、本発明の実施の形態8について説明する。
上記実施の形態1〜7においては、今回検査の平均色バーに対し、過去検査の平均色バーを1つ対比表示することとしたが、対比方法が異なる平均色バーを複数表示しても良い。図48及び図49は、実施の形態8における平均色バーの作成例を示す模式図である。
一例として、図48においては、今回検査の平均色バーb30に対し、指標を撮像時間とし、先頭画像同士を対応付けた過去検査の平均色バーb31と、指標をランドマークとし、各臓器区間同士を対応付けた過去検査の平均色バーb32とを同時に表示している。この際、今回検査と過去検査との対比観察が容易となるように、今回検査の平均色バーb30の上下に、過去検査の平均色バーb31、b32を表示することとしても良い。
また、図48においては、過去検査において検出されたランドマーク画像(病変画像等)を、平均色バーb31、b32にマッピングし(マークc11、c12参照)、これらのマークc11、c12に対応する今回検査の平均色バーb30上の位置に、注意喚起マークc10を表示している。この注意喚起マークc10は、ユーザの選択により、表示及び非表示を切り替えられるようにしても良い。
別の例として、図49においては、今回検査の平均色バーb33に対し、指標を撮像時間とし、小腸の開始位置を対応付けた過去検査の平均色バーb34と、指標をランドマークとし、各臓器の境界及び病変のランドマークXを対応付けた過去検査の平均色バーb35とを同時に表示している。このうち、平均色バーb33と平均色バーb35との間では、小腸の開始位置からランドマークXまでの区間(小腸(1))と、ランドマークXから小腸の終了位置までの区間(小腸(2))もそれぞれ対応付けられている。このように、臓器の境界及びランドマークの位置をもとに対応区間を設定することにより、ユーザは、例えば、過去検査から今回検査までの期間に、病変等の前後の各領域において生じた変化を把握することができる。
また、図49においては、3つの平均色バーb33〜b35の間で共通に対応付けられた小腸の開始位置が基準(例えば、0h)となるように、スケールの表示を修正している。さらに、これらの平均色バーb33〜b35においては、手術により切除された領域の切除痕を示すマークYと、切除前の領域Y’とを対応付けて示している。このような表示を行うことにより、ユーザは、過去検査と今回検査との間に実施された処理を把握することができる。
このような平均色バーの表示形態、即ち、各平均色バーの指標、スケール、対応付けるランドマークや、今回検査と対比して表示する過去検査の平均色バーの数や、平均色バーの並び順等は、プルダウンメニュー等により、ユーザが適宜選択できるようにしても良い。
以上説明した本発明は、実施の形態1〜8及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。