JP6800567B2 - 医用画像表示装置 - Google Patents

Description

本発明の実施形態は、医用画像表示装置に関する。

大腸、小腸、胃、食道等の管状又は袋状の臓器に対する内視鏡検査が行われている。内視鏡検査では、検査対象となっている臓器（対象臓器）内の複数の異なった位置で様々な角度で画像を撮影する。内視鏡で撮影された画像（内視鏡画像）は、読影医によって読影される。読影医は、読影の所見を表す内視鏡レポートを作成する。

内視鏡レポートを作成する際には、対象臓器のシェーマ図（身体部位の模式図）の周囲に内視鏡画像を配置させると、各内視鏡画像が対象臓器のどの位置で撮影されたものであるのかを容易に把握することができる。

しかしながら、内視鏡は、人体内の極限られた狭い範囲を複数撮影するので、その撮影された画像同士は、例え異なった部位を撮影したものであっても、類似性が高く、各内視鏡画像とシェーマ図との対応付けは容易ではない。このため、画像が撮影された位置が対象臓器のどの位置であるのか(或いは内視鏡が対象臓器のどの位置でどこを撮影したのか)を特定するのに時間と労力を掛けなければならず、内視鏡レポートの作成にも多大な労力や時間を費やさなければならない場合があった。

特開２００７−３１９４７８号公報

本発明が解決しようとする課題は、画像を撮影した内視鏡の位置と対象臓器との位置関係を容易に把握することができる医用画像表示装置を提供することである。

実施形態に係る医用画像表示装置は、内視鏡情報取得部と、配列画像生成部と、表示制御部とを有する。内視鏡情報取得部は、所定時間ごとの内視鏡の先端の位置情報及び角度情報を取得する。配列画像生成部は、所定時間ごとの内視鏡の先端の位置情報及び角度情報に基づいて、所定時間ごとの内視鏡の先端の位置及び前記角度を表す先端マーカを複数連ねて配列させた先端マーカ配列画像を生成する。表示制御部は、先端マーカ配列画像を表示部に表示させる。先端マーカの形状は、所定時間ごとの内視鏡の先端の角度情報に基づいて、先端マーカの軸が内視鏡の先端の方向に平行になるように生成される。

実施形態に係る医用画像表示装置の構成を示すブロック図。 実施形態に係るセンサが所定時間ごとに出力した位置及び角度を例示した表。 実施形態に係る先端情報が内視鏡の先端の移動速度を含む例を示す表。 実施形態に係る先端マーカの概略を示す模式図。 実施形態に係る先端マーカ配列画像の概略を示す模式図。 実施形態に係る先端マーカ配列画像の他の例を示す模式図。 実施形態に係る内視鏡画像の選択画面を示す模式図。 実施形態に係る組合せ画像の概略を示す模式図。 実施形態に係る組合せ画像の他の例を示す模式図。 実施形態に係る視線マーカの概略を示す模式図。 実施形態に係る医用画像表示装置の動作を示すフローチャート。 変形例に係る医用画像表示装置の構成を示すブロック図。 変形例に係る過去の内視鏡画像及び内視鏡レポートの表示例を示す模式図。 変形例に係る医用画像表示装置の動作を示すフローチャート。

以下、実施形態の医用画像表示装置について図面を参照して説明する。

〈実施形態〉
図１は、実施形態に係る医用画像表示装置１の構成を示すブロック図である。医用画像表示装置１は、ネットワークＮＷを介して、内視鏡装置２及びデータベース３と通信可能に接続される。

内視鏡装置２は、入力回路２１と内視鏡２２とを有する。内視鏡装置２は、ネットワークＮＷを介して、医用画像表示装置１及びデータベース３と通信可能に接続される。入力回路２１は、トラックボール、スイッチボタン、マウス、キーボード等に一般的に用いられる回路である。入力回路２１は、内視鏡２２に通信可能に接続されている。入力回路２１は、操作者から受け取った入力操作を電気信号へ変換し内視鏡２２へ出力する。

内視鏡２２は、人体に挿入される先端部に対物レンズが設けられている。対物レンズは、撮影領域に向けられる。また、内視鏡２２は、先端部の位置や対物レンズが向いている角度を検出可能なセンサ２２１を備えている。センサ２２１は、前記位置及び角度を所定の時間ごとに出力する。センサ２２１は、例えば磁気センサやジャイロセンサ等である。内視鏡の先端を対象臓器へ挿入する際に、操作者は、入力操作を行い、そのときの内視鏡の位置、角度を基準として指定する。また、この指定に基づいて当該時点を基準時間として設定する。

図２は、センサ２２１が所定時間ごとに出力した位置及び角度を例示した表である。センサ２２１は、前記基準時間から所定の時間ごと（図２の例では、１０秒ごと）に当該時点での内視鏡の位置及び角度を出力する。図２において、「ｘ１，ｙ１，ｚ１」、「ｘ２，ｙ２，ｚ２」及び「ｘ２，ｙ２，ｚ３」は、前記基準とした位置を原点とした３次元座標の値である。また、図２では、角度の例として、「α」、「β」及び「γ」が示されている。これら位置及び角度に係る座標系、角度の方向及び単位は、予め設定される。センサ２２１から出力された所定時間ごとの位置及び角度は、先端情報ログとしてデータベース３で管理される。

なお、センサ２２１は、位置、角度の他に、内視鏡の先端の移動速度を検知し、出力してもよい。図３は、センサ２２１が内視鏡の先端の移動速度（移動速度例「１０ｍｍ／ｓ」）を含めて出力した例である。移動速度の単位は、この例に限定されるものではなく、予め設定することができる。前記内視鏡の先端の位置、角度、移動速度の各情報の任意の一つの情報、又は任意の少なくとも２つの情報からなるものを内視鏡の先端情報と称する。

センサ２２１が先端情報を出力しながら内視鏡検査が行われる。内視鏡２２は、センサ２２１を備えている以外は、一般的なものである。内視鏡２２は、操作者による入力操作を受けて内視鏡画像を撮影する。そして、内視鏡２２は、画像を撮影した内視鏡の先端の位置、角度に関するデータ、画像を撮影した時刻（時間）が特定可能な情報（時刻であってもよいし、前記基準時間からの経過時間であってもよい）を撮影した画像のデータに付帯させてデータベース３へ出力する。

データベース３は、先端情報記憶回路３１と、内視鏡画像記憶回路３２と、内視鏡レポート記憶回路３３とを有する。データベース３は、ネットワークＮＷを介して、医用画像表示装置１及び内視鏡装置２と通信可能に接続される。先端情報記憶回路３１は、センサ２２１から受けた先端情報を記憶する。内視鏡画像記憶回路３２は、内視鏡２２から受けた内視鏡画像を記憶する。内視鏡レポート記憶回路３３は、医用画像表示装置１から受けた内視鏡レポート（後述）を記憶する。

先端情報記憶回路３１、内視鏡画像記憶回路３２及び内視鏡レポート記憶回路３３の構成には、例えば、一般的なＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶装置が適用される。例えば、先端情報記憶回路３１、内視鏡画像記憶回路３２及び内視鏡レポート記憶回路３３は、それぞれ個別の記憶装置によって構成される。また、先端情報記憶回路３１、内視鏡画像記憶回路３２及び内視鏡レポート記憶回路３３は、１つの記憶装置に統合されてもよい。

医用画像表示装置１は、処理回路１１と、記憶回路１２と、入力回路１３と、ディスプレイ１４とを有する。図１の例では、構成要素、内視鏡情報取得部・先端マーカ生成部・配列画像生成部・関連情報生成部・組合せ画像生成部・表示制御部にて行なわれる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１２へ記録されている。処理回路１１は、プログラムをメモリから読み出し実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１１は、図１の処理回路１１内に示された各機能を有することとなる。

なお、図１においては単一の処理回路１１にて内視鏡情報取得部・先端マーカ生成部・配列画像生成部・関連情報生成部・組合せ画像生成部・表示制御部にて行なわれる処理機能が実現されるものとして説明したが、複数の分離したプロセッサを組み合わせ、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。

本明細書における「プロセッサ」という文言は、例えば、専用又は汎用のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ） ａｒｉｔｈｍｅｔｉｃ ｃｉｒｃｕｉｔ（ｃｉｒｃｕｉｔｒｙ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサは、メモリに保存された、又はプロセッサの回路内に直接組み込まれたプログラムを読み出し実行することで機能を実現する。プログラムを記憶するメモリは、プロセッサごとに個別に設けられるものであっても構わないし、或いは図１における記憶回路１２が各プロセッサの機能に対応するプログラムを記憶するものであっても構わない。記憶回路１２の構成には、例えば、一般的なＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶装置が適用される。

なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

特許請求の範囲における内視鏡情報取得部は、本実施形態における内視鏡情報取得機能１１１に対応する。特許請求の範囲における画像取得部は、本実施形態における画像取得機能１１２に対応する。特許請求の範囲における配列画像生成部は、配列画像生成機能１１３に対応する。特許請求の範囲における関連処理部は、関連処理機能１１４に対応する。特許請求の範囲における組合せ画像生成部は、組合せ画像生成機能１１５に対応する。特許請求の範囲における表示制御部は、表示制御機能１１６に対応する。

入力回路１３は、トラックボール、スイッチボタン、マウス、キーボード等に一般的に用いられる回路である。入力回路１３は、処理回路１１に通信可能に接続されている。入力回路１３は、操作者から受け取った入力操作を電気信号へ変換し処理回路１１へ出力する。

処理回路１１は、所定時間ごとの内視鏡２２の先端の位置情報及び角度情報を取得する（内視鏡情報取得機能１１１）。このとき、処理回路１１は、内視鏡で撮影された画像を当該画像が撮影されたときの内視鏡の先端の位置情報とともに取得する（画像取得機能１１２）。なお、処理回路１１は、画像が撮影されたときの内視鏡の先端の角度情報を更に取得してもよい。例えば、操作者は、内視鏡レポートを作成するとき、入力回路１３を介して、所望の内視鏡検査を指定する入力操作を行う。処理回路１１は、指定された内視鏡検査において撮影された複数の内視鏡画像を内視鏡画像記憶回路３２から取得する（読み出す）。また、処理回路１１は、指定された内視鏡検査の先端情報を先端情報記憶回路３１から取得する（読み出す）。

そして、処理回路１１は、読み出された先端情報に基づいて、内視鏡２２の先端の位置及び角度を表す先端マーカを生成する。図４は、先端マーカＭＰの概略を示す模式図である。処理回路１１は、先端情報が検知された時間ごとに位置及び角度を参照して先端マーカＭＰを生成する。例えば、処理回路１１は、円柱状又は円筒状の先端マーカＭＰを生成する。図４の例では、内視鏡２２の先端ＥＰの角度が、矢印の方向Ｄ１を示す角度であるとする。例えば、処理回路１１は、先端情報のうち、１つの時間における角度に基づいて、先端マーカの軸が方向Ｄ１に平行となるように先端マーカＭＰを生成する。また、処理回路１１は、当該時間における位置を当該先端マーカＭＰに付帯する。また、先端情報に移動速度が含まれている場合、処理回路１１は、移動速度を先端マーカの厚みＭＴの寸法で表すように先端マーカＭＰを生成してもよい。

なお、ここでは、先端マーカＭＰの形状が円柱状又は円筒状である例について説明したが、これらの形状に限定されるものではない。先端マーカＭＰの形状は、内視鏡２２の先端ＥＰの角度を表す形状であればよく、適宜設計されるものである。例えば、内視鏡移動中の動画から腸の輪切りを表す画像を生成し、その画像を先端マーカＭＰとして並べてもよい。

処理回路１１は、所定時間ごとの内視鏡の先端の位置情報及び角度情報に基づいて、所定時間ごとの内視鏡の先端の位置及び角度を表す先端マーカＭＰを複数連ねて配列させた先端マーカ配列画像を生成する（配列画像生成機能１１３）。このとき、処理回路１１は、先端マーカＭＰに付帯された位置に基づいて先端マーカＭＰを配列することによって、先端マーカ配列画像を生成する。図５は、先端マーカ配列画像ＳＰの概略を示す模式図である。処理回路１１は、生成された先端マーカＭＰに付帯された位置に基づいて、各先端マーカＭＰを配列する。先端マーカＭＰに付帯された位置すなわち先端情報の座標系と先端マーカ配列画像ＳＰにおける座標系との対応関係は、予め設定される。先端マーカ配列画像ＳＰは、内視鏡検査の際に内視鏡２２の先端ＥＰが移動した軌跡を示す画像である。

図６は、先端マーカ配列画像ＳＰの他の例を示す模式図である。処理回路１１は、対象臓器のシェーマ図ＳＨに重ねて先端マーカＭＰを配列してもよい。シェーマ図ＳＨは、臨床的に代表的なものが対象臓器ごとに予め設定される。また、シェーマ図ＳＨにおける座標系と先端情報の座標系と先端マーカ配列画像ＳＰにおける座標系との対応関係は、予め設定される。図６の例の先端マーカ配列画像ＳＰは、内視鏡検査の際に内視鏡２２の先端ＥＰが移動した軌跡と代表的な形状の対象臓器との位置関係を示す画像である。

図７は、内視鏡画像ＥＭの選択画面を示す模式図である。例えば、操作者は、内視鏡レポートを作成するとき、入力回路１３を介して、内視鏡画像ＥＭ群を表示するための入力操作を行う。処理回路１１は、内視鏡画像記憶回路３２から読み出された複数の内視鏡画像ＥＭをディスプレイ１４に表示する。このとき、処理回路１１は、先端マーカ配列画像ＳＰを複数の内視鏡画像ＥＭとともにディスプレイ１４に表示してもよい。

ディスプレイ１４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の一般的な表示装置によって構成される。ディスプレイ１４は、特許請求の範囲における表示部の一例に相当する。

操作者は、表示された複数の内視鏡画像ＥＭを読影しながら、入力回路１３を介して、内視鏡レポートに使用する複数の内視鏡画像ＥＭをキー画像として選択する選択操作を行う。このように選択された内視鏡画像ＥＭは、特許請求の範囲の範囲における所定の複数の内視鏡画像ＥＭの一例に相当する。

処理回路１１は、画像が撮影された時の内視鏡の先端の位置情報に基づいて、先端マーカ配列画像の周囲に画像を配置した組合せ画像を生成する（組合せ画像生成機能１１５）。このとき、処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された先端情報に基づいて、先端マーカ配列画像ＳＰの周囲に選択された複数の内視鏡画像ＥＭが配置された組合せ画像を生成する。

図８は、組合せ画像の概略を示す模式図である。例えば、処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された先端情報に表される位置を参照して、選択された複数の内視鏡画像ＥＭのそれぞれが撮影されたときの内視鏡２２の先端ＥＰの位置関係を特定する。処理回路１１は、特定された位置関係に基づいて、選択された複数の内視鏡画像ＥＭを先端マーカ配列画像ＳＰの周囲に配置する。それにより、組合せ画像が生成される。

図９は、組合せ画像の他の例を示す模式図である。処理回路１１は、画像が撮影された時間と所定の時間とに基づいて、画像を撮影したときの内視鏡の先端の位置に対応する先端マーカＭＰを特定し、特定された先端マーカＭＰと画像とを関連付ける（関連処理機能１１４）。このとき、処理回路１１は、選択された複数の内視鏡画像ＥＭのそれぞれが撮影された時の位置及び角度を表す先端マーカＭＰを特定し、特定された先端マーカＭＰと当該内視鏡画像ＥＭとを関連付ける。例えば、処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された位置と先端マーカＭＰに付帯された位置とを照合して、選択された複数の内視鏡画像ＥＭに対応する先端マーカＭＰを特定する。そして、処理回路１１は、特定された先端マーカＭＰと当該内視鏡画像ＥＭとを関連付ける。処理回路１１は、特定された先端マーカＭＰと当該内視鏡画像ＥＭとが関連付けられた関連情報を組合せ画像に付帯する。図９の例では、関連付けられた先端マーカＭＰと内視鏡画像ＥＭとのペアを矢印ＡＲで表している。

処理回路１１は、生成された組合せ画像をディスプレイ１４に表示する（表示制御機能１１６）。このとき、処理回路１１は、関連付けられた先端マーカＭＰと画像とを結び付けてディスプレイ１４に表示する。それにより、操作者は、内視鏡２２の先端ＥＰの軌跡と選択された内視鏡画像ＥＭとの位置関係を容易に視認しながら読影を行うことができる。また、処理回路１１は、先端情報に基づいて、選択された複数の内視鏡画像ＥＭが撮影されたときの内視鏡２２の視線方向を表す視線マーカを組合せ画像に重畳表示してもよい。また、対象臓器のシェーマ図ＳＨを組合せ画像に重畳表示してもよい。

図１０は、視線マーカＭＶの概略を示す模式図である。例えば、処理回路１１は、内視鏡画像ＥＭに関連付けられた先端マーカＭＰの先端情報を参照して、内視鏡画像ＥＭが撮影されたときの内視鏡２２の視線方向（角度）を特定する。例えば、処理回路１１は、特定された視線方向を表す円錐形状の視線マーカＭＶを当該先端マーカＭＰの近傍に表示する。図１０の例では、視線マーカＭＶの頂点から底面へ向かう方向が視線方向であるとする。それにより、操作者は、選択された内視鏡画像ＥＭについて、内視鏡２２の先端ＥＰの視線方向をさらに容易に把握することができる。なお、ここでは、視線マーカＭＶが円錐形状である例について説明したが、この形状に限定されるものではない。視線マーカＭＶは、内視鏡２２の視線方向を表す形状に設定されればよいものである。

操作者は、組合せ画像を読影しながら内視鏡レポートを作成する。医用画像表示装置１は、作成された内視鏡レポートをデータベース３へ出力する。内視鏡レポート記憶回路３３は、医用画像表示装置１から受けた内視鏡レポートを記憶する。

図１１は、実施形態に係る医用画像表示装置１の動作を示すフローチャートである。

ステップＳ１０１：ステップＳ１０１は、内視鏡情報取得機能１１１及び画像取得機能１１２に対応するステップである。このステップは、処理回路１１がメモリから内視鏡情報取得機能１１１及び画像取得機能１１２に対応する所定のプログラムを読み出し実行することにより、内視鏡情報取得機能１１１及び画像取得機能１１２が実現されるステップである。操作者は、内視鏡レポートを作成するとき、入力回路１３を介して、所望の内視鏡検査を指定する入力操作を行う。処理回路１１は、指定された内視鏡検査において撮影された複数の内視鏡画像を内視鏡画像記憶回路３２から取得する（読み出す）。また、処理回路１１は、指定された内視鏡検査の先端情報を先端情報記憶回路３１から取得する（読み出す）。

ステップＳ１０２：処理回路１１は、先端情報が検知された時間ごとに位置及び角度を参照して先端マーカＭＰを生成する。例えば、処理回路１１は、先端情報のうち、１つの時間における角度に基づいて、先端マーカの軸が方向Ｄ１に平行となるように先端マーカＭＰを生成する。また、処理回路１１は、当該時間における位置を当該先端マーカＭＰに付帯する。

ステップＳ１０３：ステップＳ１０３は、配列画像生成機能１１３に対応するステップである。このステップは、処理回路１１がメモリから配列画像生成機能１１３に対応する所定のプログラムを読み出し実行することにより、配列画像生成機能１１３が実現されるステップである。処理回路１１は、生成された先端マーカＭＰに付帯された位置に基づいて、各先端マーカＭＰを配列する。それにより、先端マーカ配列画像が生成される。

ステップＳ１０４：操作者は、内視鏡レポートを作成するとき、入力回路１３を介して、内視鏡画像ＥＭ群を表示するための入力操作を行う。処理回路１１は、内視鏡画像記憶回路３２から読み出された複数の内視鏡画像ＥＭをディスプレイ１４に表示する。このとき、処理回路１１は、先端マーカ配列画像ＳＰを複数の内視鏡画像ＥＭとともにディスプレイ１４に表示してもよい。

ステップＳ１０５：操作者は、表示された複数の内視鏡画像ＥＭを読影しながら、入力回路１３を介して、内視鏡レポートに使用する複数の内視鏡画像ＥＭをキー画像として選択する選択操作を行う。

ステップＳ１０６：ステップＳ１０６は、組合せ画像生成機能１１５に対応するステップである。このステップは、処理回路１１がメモリから組合せ画像生成機能１１５に対応する所定のプログラムを読み出し実行することにより、組合せ画像生成機能１１５が実現されるステップである。処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された先端情報に表される位置を参照して、選択された複数の内視鏡画像ＥＭのそれぞれが撮影されたときの内視鏡２２の先端ＥＰの位置関係を特定する。処理回路１１は、特定された位置関係に基づいて、選択された複数の内視鏡画像ＥＭを先端マーカ配列画像ＳＰの周囲に配置する。それにより、組合せ画像が生成される。

ステップＳ１０７：ステップＳ１０７は、関連処理機能１１４に対応するステップである。このステップは、処理回路１１がメモリから関連処理機能１１４に対応する所定のプログラムを読み出し実行することにより、関連処理機能１１４が実現されるステップである。処理回路１１は、選択された複数の内視鏡画像ＥＭに付帯された位置と先端マーカＭＰに付帯された位置とを照合して、選択された複数の内視鏡画像ＥＭに対応する先端マーカＭＰを特定する。そして、処理回路１１は、特定された先端マーカＭＰと当該内視鏡画像ＥＭとを関連付ける。処理回路１１は、特定された先端マーカＭＰと当該内視鏡画像ＥＭとが関連付けられた関連情報を組合せ画像に付帯する。

ステップＳ１０８：ステップＳ１０８は、表示制御機能１１６に対応するステップである。このステップは、処理回路１１がメモリから表示制御機能１１６に対応する所定のプログラムを読み出し実行することにより、表示制御機能１１６が実現されるステップである。処理回路１１は、生成された組合せ画像をディスプレイ１４に表示する。それにより、操作者は、内視鏡２２の先端ＥＰの軌跡と選択された内視鏡画像ＥＭとの位置関係を容易に視認しながら読影を行うことができる。

ステップＳ１０９：操作者は、組合せ画像を読影しながら内視鏡レポートを作成する。医用画像表示装置１は、作成された内視鏡レポートをデータベース３へ出力する。

実施形態の医用画像表示装置は、先端情報に基づいて先端マーカ配列画像を生成し、先端マーカ配列画像の周囲に内視鏡画像を自動的に配置する。読影者が内視鏡レポートの作成に費やす労力が低減され、内視鏡画像が撮影された位置と対象臓器における位置との対応付けに間違いが発生することを防止することができる。

また、実施形態の医用画像表示装置は、先端マーカと内視鏡画像とを自動的に関連付けて、組合せ画像を表示する。それにより、読影者は、内視鏡画像が撮影された位置と対象臓器との位置関係を容易に把握することができる。

〈変形例〉
図１２は、変形例に係る医用画像表示装置１の構成を示すブロック図である。この変形例に係る医用画像表示装置１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置と同じ位置で撮影された過去の内視鏡画像を表示することが可能に構成される。以下、上述した実施形態と異なる内容について主に説明する。上述した実施形態と同様の内容については説明を省略する場合がある。

データベース３について説明する。先端情報記憶回路３１は、過去の内視鏡検査における先端情報を予め記憶する。内視鏡画像記憶回路３２は、過去の内視鏡検査における内視鏡画像を予め記憶する。内視鏡レポート記憶回路３３は、過去の内視鏡検査について作成された内視鏡レポートを予め記憶する。

内視鏡検査中、センサ２２１は、先端情報を所定の時間間隔で医用画像表示装置１へ出力する。また、内視鏡検査中、内視鏡２２は、撮影された内視鏡画像を医用画像表示装置１へ出力する。

図１２の例では、さらなる構成要素、画像検索部・レポート検索部にて行なわれる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１２へ記録されている。処理回路１１は、プログラムをメモリから読み出し実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路１１は、図１２の処理回路１１内に示された各機能を有することとなる。

なお、図１２の例においても、単一の処理回路１１にて処理機能が実現されてもよく、複数の分離したプロセッサを組み合わせ、各プロセッサがプログラムを実行することにより機能が実現されてもよい。特許請求の範囲における画像検索部は、本変形例における画像検索機能１１７に対応する。特許請求の範囲におけるレポート検索部、本変形例におけるレポート検索機能１１８に対応する。

処理回路１１は、内視鏡検査中の位置情報と過去の内視鏡検査の画像に付帯する位置情報とに基づいて、撮影中の内視鏡の位置で過去に撮影された画像を検索する（画像検索機能１１７）。例えば、処理回路１１は、内視鏡画像記憶回路３２に記憶されている過去の内視鏡検査における内視鏡画像に付帯された先端情報の位置とセンサ２２１から受けた先端情報の位置とを照合する。それにより、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で過去に撮影された内視鏡画像を検索する。処理回路１１は、検索された内視鏡画像をディスプレイ１４に表示する（表示制御機能１１６）。

なお、一般的に、過去の内視鏡検査における内視鏡画像に付帯された先端情報の位置とセンサ２２１から受けた先端情報の位置とには誤差が生じる。処理回路１１が、過去の内視鏡検査における内視鏡画像に付帯された先端情報の位置とセンサ２２１から受けた先端情報の位置とを同一と判断する許容誤差は、適宜設計される。換言すると、処理回路は、センサ２２１から受けた先端情報の位置に近い位置で過去に撮影された内視鏡画像を検索する。複数の内視鏡画像が検索された場合、処理回路１１は、これら内視鏡画像をリストやサムネイル等でディスプレイ１４に複数表示してもよい。設計された許容誤差に基づいて、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で過去に撮影された内視鏡画像を検索できなかった場合、過去の内視鏡画像を表示しない。なお、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で過去に撮影された内視鏡画像を検索できなかった場合、過去の内視鏡画像が検索されなかった旨の文字情報等をディスプレイ１４に表示してもよい。

また、処理回路１１が過去の内視鏡画像を検索するための基準位置の一例として、操作者により指定された位置が挙げられる。基準位置の他の例としては、内視鏡の位置調整操作により検出される対象臓器の特徴位置が挙げられる。例えば、対象臓器が大腸である場合、結腸の境界位置等が対象臓器の特徴位置として適用される。

処理回路１１は、検索された画像に基づいて、該画像が用いられた過去の内視鏡レポートを内視鏡レポート記憶回路３３から検索する（レポート検索機能１１８）。処理回路１１は、検索された内視鏡画像と内視鏡レポート記憶回路３３に記憶された内視鏡レポートに用いられた内視鏡画像とを照合する。それにより、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で撮影された内視鏡画像が用いられた過去の内視鏡レポートを検索する。処理回路１１は、検索された内視鏡レポートをディスプレイ１４に表示する（表示制御機能１１６）。

図１３は、過去の内視鏡画像及び内視鏡レポートの表示例を示す模式図である。図１３では、内視鏡検査中に、内視鏡２２の先端ＥＰが先端マーカＭＰの位置に挿入されている例を示す。処理回路１１は、当該位置で過去に撮影された内視鏡画像ＥＭ及びこの内視鏡画像ＥＭが用いられた内視鏡レポートＲＰをディスプレイ１４に表示する。なお、処理回路１１は、当該位置で過去に撮影された内視鏡画像ＥＭが用いられた内視鏡レポートが検索されなかった場合、内視鏡画像ＥＭをディスプレイ１４に表示する。それにより、操作者は、過去の検査における内視鏡画像ＥＭ及び内視鏡レポートＲＰを視認しながら、内視鏡検査を行なうことができる。

図１４は、変形例に係る医用画像表示装置１の動作を示すフローチャートである。

ステップＳ２０１：内視鏡の先端を対象臓器へ挿入する際に、操作者は、入力操作を行い、そのときの内視鏡の位置、角度を基準として指定する。センサ２２１は、操作者による入力操作を受けた時間を基準として、所定の時間ごとに先端情報を検知する。

ステップＳ２０２：センサ２２１は、操作者による入力操作を受けた時間を基準として、所定の時間ごとに先端情報を検知する。センサ２２１は、先端情報を所定の時間間隔で医用画像表示装置１へ出力する。

ステップＳ２０３：ステップＳ２０３は、画像検索機能１１７に対応するステップである。このステップは、処理回路１１が記憶回路１２から画像検索機能１１７に対応する所定のプログラムを読み出し実行することにより、画像検索機能１１７が実現されるステップである。処理回路１１は、内視鏡画像記憶回路３２に記憶されている過去の内視鏡検査における内視鏡画像に付帯された先端情報の位置とセンサ２２１から受けた先端情報の位置とを照合する。それにより、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で過去に撮影された内視鏡画像を検索する。

ステップＳ２０４：ステップＳ２０４は、レポート検索機能１１８に対応するステップである。このステップは、処理回路１１が記憶回路１２からレポート検索機能１１８に対応する所定のプログラムを読み出し実行することにより、レポート検索機能１１８が実現されるステップである。過去に撮影された内視鏡画像が検索されたとき（ステップＳ２０３；ＹＥＳ）、処理回路１１は、検索された内視鏡画像と内視鏡レポート記憶回路３３に記憶された内視鏡レポートに用いられた内視鏡画像とを照合する。それにより、処理回路１１は、内視鏡検査中の内視鏡２２の先端ＥＰの位置で撮影された内視鏡画像が用いられた過去の内視鏡レポートを検索する。

ステップＳ２０５：ステップＳ２０５は、表示制御機能１１６に対応するステップである。このステップは、処理回路１１が記憶回路１２から表示制御機能１１６に対応する所定のプログラムを読み出し実行することにより、表示制御機能１１６が実現されるステップである。検索された内視鏡画像が用いられた内視鏡レポートが検索されたとき（ステップＳ２０４；ＹＥＳ）、処理回路１１は、過去に撮影された内視鏡画像ＥＭ及びこの内視鏡画像ＥＭが用いられた内視鏡レポートＲＰをディスプレイ１４に表示する。

ステップＳ２０６：ステップＳ２０６は、表示制御機能１１６に対応するステップである。このステップは、処理回路１１が記憶回路１２から表示制御機能１１６に対応する所定のプログラムを読み出し実行することにより、表示制御機能１１６が実現されるステップである。検索された内視鏡画像が用いられた内視鏡レポートが検索されなかったとき（ステップＳ２０４；ＮＯ）、処理回路１１は、過去に撮影された内視鏡画像ＥＭをディスプレイ１４に表示する。

変形例の医用画像表示装置は、内視鏡検査中の内視鏡の先端位置と同じ位置で撮影された過去の内視鏡画像を検索し表示する。また、過去の内視鏡画像が用いられた内視鏡レポートを検索し表示する。それにより、操作者は、現在内視鏡で観察している部位に対応している過去の内視鏡画像や現在内視鏡で観察している部位を過去に撮影した内視鏡画像をキー画像とした内視鏡レポートをリアルタイムで視認しながら、内視鏡検査を行なうことができる。

以上述べた少なくともひとつの実施形態の医用画像表示装置によれば、内視鏡画像が撮影された位置と対象臓器との位置関係を容易に把握することができる。

本発明のいくつかの実施形態を説明したが、これら実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 医用画像表示装置
２ 内視鏡装置
３ データベース
１１ 処理回路
１２ 記憶回路
１３、２１ 入力回路
１４ ディスプレイ
２２ 内視鏡
３１ 先端情報記憶回路
３２ 内視鏡画像記憶回路
３３ 内視鏡レポート記憶回路
１１１ 内視鏡情報取得機能
１１２ 画像取得機能
１１３ 配列画像生成機能
１１４ 関連処理機能
１１５ 組合せ画像生成機能
１１６ 表示制御機能
１１７ 画像検索機能
１１８ レポート検索機能
２２１ センサ

Claims (8)

1. 予め設定された座標系における所定時間ごとの内視鏡の先端の位置情報及び角度情報を取得する内視鏡情報取得部と、
   前記所定時間ごとの前記内視鏡の先端の前記位置情報及び前記角度情報に基づいて、前記所定時間ごとの前記内視鏡の先端の位置及び角度を表す先端マーカを複数連ねて配列させた先端マーカ配列画像を生成する配列画像生成部と、
   前記先端マーカ配列画像を表示部に表示させる表示制御部と、
   前記内視鏡で撮影された画像を当該画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報とともに取得する画像取得部と、
   組合せ画像生成部と、
   を有し、
   前記先端マーカの形状は、前記所定時間ごとの前記内視鏡の先端の前記角度情報に基づいて、前記先端マーカの軸が前記内視鏡の先端の方向に平行になるように生成され、
   前記組合せ画像生成部は、前記座標系において前記内視鏡の先端が移動した軌跡を示す画像である前記先端マーカ配列画像の周囲に前記画像が撮影されたときの前記内視鏡の先端の前記座標系における前記位置情報に基づいて前記画像を配置した組合せ画像を生成することを特徴とする医用画像表示装置。
2. 前記表示制御部は、前記組合せ画像を表示部に表示させる、
   請求項１記載の医用画像表示装置。
3. 前記画像が撮影された時間と前記所定時間とに基づいて、前記画像を撮影したときの前記内視鏡の先端の位置に対応する前記先端マーカを特定し、特定された前記先端マーカと前記画像とを関連付ける関連処理部を更に有し、
   前記表示制御部は、前記関連処理部で関連付けた前記先端マーカと前記画像とを結び付けて表示する、
   請求項２記載の医用画像表示装置。
4. 前記内視鏡情報取得部は、前記内視鏡の先端の移動速度を取得し、
   前記先端マーカは、さらに前記移動速度を表す
   ことを特徴とする請求項１に記載の医用画像表示装置。
5. 前記画像取得部は、前記画像が撮影されたときの前記内視鏡の先端の前記角度情報を更に取得し、
   前記表示制御部は、前記画像取得部が取得した前記角度情報に基づいて、前記画像が撮影されたときの前記内視鏡の視線方向を表す視線マーカを前記組合せ画像に重畳表示することを特徴とする請求項２に記載の医用画像表示装置。
6. 内視鏡検査中の前記位置情報と過去の内視鏡検査の前記画像に付帯する前記位置情報とに基づいて、撮影中の前記内視鏡の位置で過去に撮影された前記画像を検索する画像検索部をさらに有し、
   前記表示制御部は、検索された前記画像を表示する
   ことを特徴とする請求項２に記載の医用画像表示装置。
7. 検索された前記画像に基づいて、該画像が用いられた過去の内視鏡レポートを検索するレポート検索部をさらに有し、
   前記表示制御部はさらに検索された前記内視鏡レポートを表示する
   ことを特徴とする請求項６に記載の医用画像表示装置。
8. 前記先端マーカ配列画像は、前記内視鏡で撮影された前記画像を読影するとき、又は読影レポートを作成するときに表示されることを特徴とする請求項２に記載の医用画像表示装置。

Images