JP5368668B2 - 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法 - Google Patents

Description

本発明は、生体内を撮影した医用画像を表示する医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法に関するものである。

生体内を検査するために、内視鏡装置を利用した内視鏡検査が行われている。内視鏡装置は、内視鏡とプロセッサ装置とからなる。内視鏡は、生体内（例えば、消化管など）に挿入され、屈曲自在なチューブ状の挿入部を備えており、この挿入部の先端には、ＣＣＤなどの撮像素子と、撮像部位に照明光を照射する照明窓とを備えた撮影ユニットが配されている。内視鏡は、撮像素子が所定のフレームレートで出力する撮像信号を、内視鏡と接続されたプロセッサ装置に順次送信する。プロセッサ装置は、受信した撮像信号に対して順次画像処理を施して内視鏡画像（医用画像）を生成して、これをモニタにリアルタイムで表示する。医師は、モニタに映し出された映像を通じて生体内を観察しながら検査を行う。

また、内視鏡は、撮影された内視鏡画像を高精細な静止画の画像データとして記録する機能を備えている。内視鏡の操作部にはレリーズスイッチが設けられており、必要に応じてこれを押下することにより、所要部位の静止画が記録される。こうして記録された内視鏡画像は、これをプリンタでプリントアウトしたり、パーソナルコンピュータのディスプレイに表示することにより、医師の検査後の診断や、患者に対する検査結果等の説明に使用される（例えば、特許文献１参照）。
特開２００１−１２０４９８号公報

近年、インフォームドコンセント（医療行為の説明と同意）の必要性が社会的に認識されてきており、医療現場においては、患者に対して医療行為に関する十分な説明をすることが求められている。内視鏡検査においては、上述のとおり、検査後に所要部位を撮影した静止画を見せながら検査結果等の説明が行われるが、静止画に基づいた説明だけでは、撮影部位の体全体の中の位置などを把握しにくく、説明内容を正確に理解しづらいという問題があった。

もちろん、内視鏡検査では、検査中の映像がプロセッサ装置のモニタにリアルタイムで表示されるので、その映像を患者に見せながら医師が適宜説明を加えて、検査後の説明だけでは分かりにくい部分を補足することも行われている。しかし、検査中は、患者は体内に内視鏡が挿入された状態にあり、そうした状態で、患者に対してモニタの映像を注視させたり、詳細な説明を聞かせたりすることは、患者にとって負担が大きいばかりでなく、その説明を受ける余裕すら無いケースもある。

そこで、検査後に、生体の内部構造を模式的に表す模式図（シェーマ図）と、撮影した静止画に基づいて、それらの関連が分かるような説明用の資料を作成し、それを用いた説明も行われている。しかし、分かりやすい資料を作成するにはそれなりの手間がかかるため、医師の負担が大きく、そうした説明は敬遠される傾向があった。

本発明は、こうした背景に鑑みてなされたものであり、医師と患者の双方に余計な負担を強いることなく、分かりやすい検査説明ができるようにすることを目的とする。

上記目的を達成するために、本発明は、生体内を撮影する内視鏡装置を用いて画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置において、前記医用画像には静止画が含まれており、この静止画と、この静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えていることを特徴とする。

前記静止画の画像データに、前記内視鏡装置による撮影時に記録され前記静止画の前記撮影部位を識別するための識別情報が予め付帯させて、前記シェーマ図リンク情報付与部が、その識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることが好ましい。

前記シェーマ図の画像データに、前記識別情報と照合するための照合情報を前記シェーマ図内の特定位置毎に予め付帯させて、前記シェーマ図リンク情報付与部によって、前記識別情報と前記照合情報を照合することにより、前記静止画と前記特定位置とを対応付けることが好ましい。

前記識別情報と前記照合情報は音声データであり、前記識別情報は、前記静止画の撮影時にマイクで録音されることが好ましい。

前記制御部は、前記ディスプレイに表示されたシェーマ図内の前記特定位置がポイントされたときに、前記シェーマ図リンク情報に基づいて前記特定位置に対応する前記静止画を検索して表示することが好ましい。

前記制御部は、前記静止画と前記シェーマ図を前記ディスプレイに並べて表示することが好ましい。

前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示することが好ましい。

前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することが好ましい。

本発明の医用画像表示方法は、内視鏡装置によって撮影された医用画像を画像データとして記録し、この医用画像を医用画像表示装置のディスプレイに表示する医用画像表示方法において、前記医用画像には静止画が含まれており、前記内視鏡装置によって前記静止画を撮影する際に、その撮影部位を識別するための識別情報を入力する識別情報入力ステップと、前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録ステップと、前記静止画とそれに付帯する前記識別情報とを前記医用画像表示装置に取り込むデータ取り込みステップと、生体の内部構造を模式的に表したシェーマ図上に予め設定され前記静止画の撮影部位に相当する特定位置と前記静止画とが対応するように、前記識別情報に基づいて、前記シェーマ図と前記静止画のそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与ステップと、前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて、他方を検索して前記ディスプレイに表示する表示ステップとを含むことを特徴とする。

本発明の内視鏡装置は、生体内を撮影した医用画像を画像データとして記録する内視鏡装置において、前記医用画像には静止画が含まれており、この静止画の撮影指示を入力するレリーズボタンと、前記静止画が撮影される際に、その撮影部位を識別するための識別情報を入力する識別情報入力部と、前記識別情報を前記静止画の画像データに付帯して記録する識別情報記録部とを備えたことを特徴とする。

前記識別情報入力部はマイクであり、前記識別情報は前記マイクから入力された音声データであることが好ましい。

前記医用画像には前記静止画に加えて動画が含まれており、前記動画を記録中に前記静止画の撮影を行う場合に、動画の全編内における前記静止画の記録位置を表す記録位置情報を含み、前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報を記録する医用画像リンク情報記録部を設けることが好ましい。

前記記録位置情報は、前記動画の記録中に動画データに記録されるタイムスタンプが使用されることが好ましい。前記静止画は、前記動画の１フレームの画素数よりも高い画素数で記録されることが好ましい。

本発明によれば、内視鏡装置によって撮影された医用画像をディスプレイに表示する際に、内視鏡装置で撮影された静止画と、生体の内部構造を模式的に表したシェーマ図とを関連づけるシェーマ図リンク情報を付与し、この情報に基づいて、前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、他方を検索して前記ディスプレイに表示するようにしたから、医師と患者の双方に対して余計な負担を強いることなく、内視鏡の検査結果を分かりやすく説明することができる。

図１は、生体内を撮影して検査を行い撮影した内視鏡画像（医用画像）を画像データとして記録する内視鏡装置１０と、検査を終了した後、患者への検査の説明や画像診断を行うために、内視鏡装置１０で記録された内視鏡画像を表示する医用画像表示装置１１とからなる医用画像表示システムを示す。

内視鏡装置１０は、撮影ユニットを備えた内視鏡１３，撮影ユニットが出力する信号に基づいて内視鏡画像を生成するプロセッサ装置１４，コンソール１６，及びヘッドセット１７からなる。コンソール１６は、このプロセッサ装置１４を操作する操作信号を入力するキーボードやマウスからなる操作部１８と、操作画面を表示するとともに撮影された内視鏡画像をリアルタイムで表示するモニタ１９とからなる。ヘッドセット１７には、プロセッサ装置１４へ音声信号を入力するマイク１７ａが設けられている。

内視鏡１３は、生体内に挿入される挿入部２１と、この挿入部２１の基端部分に連設された操作部２２とを備えており、コード２３によってプロセッサ装置１４と接続される。挿入部２１の先端２１ａには、撮影ユニット、鉗子を出入させる鉗子口、レンズの洗浄のための送水や送気を行うノズルなどが配されている。撮影ユニットは、ＣＣＤ２５（図２参照）、このＣＣＤ２５へ撮影光を集光する対物レンズ、撮影対象となる撮影部位へ照明光を照射する照明窓からなる。

挿入部２１の内部には、ＣＣＤ２５の撮影アングルを変化させるためのアングルワイヤ、光源からの照明光を照明窓へ導く光ファイバーからなるライトガイド、ＣＣＤ２５が出力する撮像信号や、撮影指示などの操作信号を伝達する信号ケーブル、送水パイプ及び送気パイプなどが挿通されている。

また、操作部２２には、アングルワイヤの巻き取りと引き出しとを行うアングルノブ、送水を行う送水スイッチ、送気を行う送気スイッチ、モニタ表示切り替えスイッチなどが設けられている。アングルノブを操作してアングルワイヤを押し引きすると、先端２１ａの向きが変化して撮影アングルが所望の方向に向けられる。

モニタ表示切り替えスイッチは、ＣＣＤ２５が所定のフレームレートで出力する取得する複数のフレームをモニタ１９にリアルタイムで順次表示するライブ表示と、フレームの更新を停止（フリーズ）して停止時の１フレームをモニタ１９に表示するフリーズ表示との切り替えを行う。

図２に示すように、操作部２２には、静止画を画像データとして記録するために静止画の撮影指示を入力するレリーズボタン２６と、動画の記録開始及び終了の指示を入力する動画記録スイッチ２７とが設けられている。レリーズボタン２６が操作されると、内視鏡１３で撮影した映像が静止画の画像データとして記録される。動画の記録を開始すると、例えば、モニタ表示用にＣＣＤ２５が出力する撮像信号を動画の画像データとして記録する。静止画撮影では、ＣＣＤ２５の記録画素数が動画の１フレームよりも高く、動画に比べて、高精細な画像が記録される。静止画撮影は、動画記録中でもできるようになっている。その場合には、静止画撮影を行う間、動画のフレームの取得が一瞬停止されて、静止画撮影が終了すると再開される。

内視鏡検査を行う場合には、検査対象範囲全体の映像をモニタ１９で観察して検査を行うとともに、観察対象として特に重要な部分である所要部位を静止画撮影することが多い。所要部位は、例えば、上部消化管（食道，胃，十二指腸）であれば、食道から胃への入口となる噴門、上部胃壁の屈曲部分である胃角、胃から十二指腸への出口となる幽門、十二指腸の入口にあたる十二指腸球部などであり、この他、検査前の所見で病変の疑いのある部分が含まれる。こうした所要部位は、高精細な静止画として記録され、その画像に基づいて検査後に画像診断がなされる。上部消化管の場合には、挿入部２１を患者の口から挿入して、先端２１ａを十二指腸まで挿入した後、挿入部２１を引き抜く過程で、２０カットから４０カット程度の静止画が撮影される。

マイク１７ａは、こうした静止画撮影の際に、静止画の撮影部位を識別するための識別情報となる音声を入力する識別情報入力部である。例えば、レリーズボタン２６を押下する際に、医師が撮影部位の名称（「噴門（ふんもん）」、「胃角（いかく）」、「幽門（ゆうもん）」など）を発声し、その音声がマイク１７ａで録音される。録音された音声データは、それに対応する静止画の画像データに対応付けられて格納され、後述するように、医用画像表示装置１１によって、静止画と予め用意されたシェーマ図との関連付けに使用される。マイク１７ａからの音声信号は、例えば、無線によってプロセッサ装置１４に送られる。もちろん、有線で通信してもよい。

プロセッサ装置１４は、装置全体を統括的に制御するＣＰＵ３１、ＣＰＵ３１がプログラムを実行する際に使用する作業用のメモリ３２、ＣＣＤ２５から入力される撮像信号に画像処理を施して内視鏡画像を生成する内視鏡画像生成部３３，マイク１７ａからのアナログの音声信号をデジタルな音声データに変換する音声信号処理部３４、動画及び静止画の画像データや音声データを蓄積するデータストレージ３６、ＬＡＮなどの通信ネットワークを通じて他の機器とデータ通信を行うための通信Ｉ／Ｆ３７からなる。

ＣＰＵ３１は、画像データや音声データを所定のファイルフォーマットに変換し、それぞれを静止画ファイル、動画ファイル、音声ファイルとしてデータストレージ３６に格納する。ＣＰＵ３１は、上述したとおり、音声データと静止画との対応付けを行い、１個の静止画ファイルに１個の音声ファイルを付帯させる。また、ＣＰＵ３１は、動画記録中に静止画撮影がなされた場合には、動画及び静止画のそれぞれの画像ファイルを関連付けるために、各画像ファイルに内視鏡画像リンク情報（医用画像リンク情報）を付与する。

この内視鏡画像リンク情報は、後述するように、医用画像表示装置１１で利用される情報であり、動画及び静止画の各画像ファイルを相互に関連づけるためのファイル名や、動画の全編内のどの時点で静止画が撮影されたかを示す記録位置情報などが含まれる。動画を記録する際には、一般的に、フレームデータの他に、各フレームの再生位置を示す情報としてタイムスタンプが付与される。記録位置情報としては、例えば、こうしたタイムスタンプが使用される。

また、データストレージ３６内の内視鏡画像と音声データは、検査前に予め登録された患者情報及び検査情報に基づいて、分類されて格納される。患者情報は、患者ＩＤ，氏名，生年月日，年齢，性別などがあり、検査情報は、検査日付や検査部位などである。内視鏡画像や音声データは、例えば、患者毎に分類されて格納される。また、患者毎のデータは、さらに、検査日付、検査の種類、診療科などに応じて適宜分類されて整理した状態で格納される。こうした患者情報及び検査情報は、例えば、検査前にコンソール１６を通じて手入力でプロセッサ装置１４に登録される。なお、院内の他の医療検査機器や会計用のデータベースなどに患者情報等が既に登録されている場合には、そうした登録済みの情報を通信ネットワークを介してプロセッサ装置１４に取り込んでもよい。

医用画像表示装置１１は、例えば、パーソナルコンピュータをベースにして、医用画像表示プログラムをインストールしたものである。医用画像表示装置１１は、装置本体３８と、この装置本体３８に接続されたコンソール３９からなる。コンソール３９は、この装置本体３８を操作する操作信号を入力するキーボードやマウスからなる操作部４１（図１参照）と、操作画面や、内視鏡装置１０で記録された医用画像を表示するディスプレイ４２（図１参照）とからなる。装置本体３８は、装置全体を制御するＣＰＵ４６と、ＣＰＵ４６がプログラムを実行する際に使用する作業用のメモリ４７，医用画像表示プログラムや各種データが格納されるデータストレージ４８，通信ネットワークを通じてデータ通信を行うための通信Ｉ／Ｆ４９を備えている。ＣＰＵ４６は、医用画像表示プログラムが起動されると、プログラムに記述された各種の処理を実行する。

医用画像表示装置１１は、通信Ｉ／Ｆ４９を通じて、内視鏡装置１０が記録した画像ファイルや音声ファイルを取り込み、これらをデータストレージ４８に格納する。データストレージ４８には、内視鏡装置１０から取り込んだデータの他に、シェーマ図ファイルと、音声サンプルファイルが格納されている。

図３に示すように、シェーマ図ファイルは、生体の内部構造を模式的に表したシェーマ図をデジタルデータ化したものである。このシェーマ図ファイルは、ＣＰＵ４６によってデータストレージ４８から読み出されて、シェーマ図がディスプレイ４２に再生表示される。シェーマ図ファイルは、上部消化管、下部消化管といった検査部位に応じて複数種類格納されている。

シェーマ図ＳＣＭ１は、例えば、主として上部消化管の全体構造を示したものである。上部消化管の検査を行った場合には、患者への説明に際して、こうしたシェーマ図ＳＣＭ１とともに、記録した内視鏡画像とを参照させれば、わかりやすい説明を行うことができる。そこで、ＣＰＵ４６は、内視鏡画像とシェーマ図ファイルとを関連付けるシェーマ図リンク情報を付与して、そのシェーマ図リンク情報に基づいて、一方をディスプレイ４２に表示しているときに、他方を簡単に検索して表示できるようにしている。シェーマ図リンク情報は、動画ファイルとシェーマ図ファイルとの間のリンク情報と、静止画ファイルとシェーマ図ファイルとの間のリンク情報とがそれぞれ付与される。

また、シェーマ図ＳＣＭ１上には、上述した所要部位（例えば、噴門，胃角，幽門）が示されている。検査においてそれらの所要部位を撮影した静止画ＰＩＣ１〜ＰＩＣ３は、シェーマ図ＳＣＭ１上の所要部位に相当する特定位置Ｐ１〜Ｐ３に対応付けられる。これにより、例えば、ディスプレイ４２に表示したシェーマ図ＳＣＭ１上の特定位置Ｐ１をマウスでポイントすると、静止画ファイルＰＩＣ１を検索して表示させるといったことが可能になる。なお、本例では、３カットの静止画を例に説明したが、もちろん、これは１例であり、静止画の枚数はこれに限定されるものではない。

また、上述したとおり、静止画ファイルと動画ファイルは、内視鏡装置１０によって付与された内視鏡画像リンク情報によって関連づけられている。この内視鏡画像リンク情報には、記録位置情報が含まれているので、医用画像表示装置１１は、例えば、動画のフレームデータを再生し、静止画が記録された再生位置Ｔ１〜Ｔ３に達したときに、各位置Ｔ１〜Ｔ３に対応する静止画ＰＩＣ１〜ＰＩＣ３を検索して表示させる。

図４は、内視鏡装置１０によって取得される、動画、静止画、音声の各ファイルの構成図である。図４（Ａ）に示すように、動画ファイルは、撮影したフレームデータと、付帯情報とからなり、付帯情報には、患者情報、検査情報、リンク情報が含まれる。リンク情報には、内視鏡画像リンク情報（静止画とのリンク情報）と、シェーマ図リンク情報が含まれる。静止画とのリンク情報は、静止画ファイル名（ＰＩＣ１〜ＰＩＣ３）と、その記録位置を示すタイムスタンプＴ１〜Ｔ３とを対応付けたものである。シェーマ図リンク情報は、シェーマ図ＳＣＭ１のファイル名である。シェーマ図リンク情報は、医用画像表示装置１１によって付与される。そのため、内視鏡装置１０で記録した時点では、その情報を格納するエリアは、ブランクになっている。

図４（Ｂ）に示すように、静止画ファイルは、画像データと、付帯情報とからなり、付帯情報には、患者情報、検査情報、リンク情報が含まれる。リンク情報には、内視鏡画像リンク情報（動画とのリンク情報）と、シェーマ図リンク情報とが含まれる。動画とのリンク情報は、例えば、動画ファイル名（ＭＯＶ１）と、その動画内の記録位置を示すタイムスタンプＴ１とを対応付けたものである。静止画のシェーマ図リンク情報は、シェーマ図ＳＣＭ１のファイル名と、特定位置に関する特定位置情報とを対応付けたものである。特定位置情報には、例えば、シェーマ図ＳＣＭ１上の座標情報が含まれる。このシェーマ図リンク情報を格納するエリアは、動画ファイルと同様に、内視鏡装置１０で記録された時点では、ブランクになっている。

図４（Ｃ）に示すように、音声ファイルは、音声データと、対応する静止画のファイル名とからなる。噴門を撮影した静止画ファイル（ＰＩＣ１）と対応する音声ファイルＶＯ１の場合には、撮影時に録音された“ふんもん“という音声データと、静止画ファイル
のファイル名「ＰＩＣ１」とが含まれる。このファイル名によって、音声ファイルは、静止画に付帯されて対応付けられる。

図５は、シェーマ図ファイルの構成図である。シェーマ図ファイルは、シェーマ図ＳＣＭ１の画像データと、付帯情報とからなる。この付帯情報には、動画ファイルと静止画ファイルのそれぞれのファイル名がシェーマ図リンク情報として含まれている。静止画ファイルとのリンク情報は、予め設定された各特定位置Ｐ１〜Ｐ３に関する特定位置情報にそれぞれ対応付けられる。これらのリンク情報は、医用画像表示装置１１による関連付け処理が施されることによって生成されるので、その処理がなされるまではブランクになっている。

また、シェーマ図ファイルには、各特定位置Ｐ１〜Ｐ３に対応して、ＳＶＯ１〜ＳＶＯ３の音声サンプルファイルが付帯されている。音声サンプルファイルは、静止画と特定位置を関連付けるために、静止画に付帯する音声ファイルと照合される照合情報である。音声サンプルファイルＳＶＯ１〜ＳＶＯ３は、特定位置Ｐ１〜Ｐ３の部位名を音声データとして記録したものである。音声サンプルファイルは、この音声データと、対応するシェーマ図のファイル名（ＳＣＭ１）と、特定位置情報とからなる。

図６に示すように、医用画像表示装置１１のＣＰＵ４６は、例えば、静止画ファイルＰＩＣ１とシェーマ図ファイルとの関連付け処理を行う場合には、まず、静止画ファイルＰＩＣ１に付帯する音声ファイルＶＯ１と、シェーマ図ファイルに付帯する複数の音声サンプルファイルＳＶＯ１〜ＳＶＯ３とを照合して、音声ファイルＶＯ１の音声データと一致する音声データを持つ音声サンプルファイルを調べる。そして、一致した音声サンプルファイルＳＶＯ１が見つかった場合には、その音声サンプルファイルＳＶＯ１に対応するシェーマ図ファイルのファイル名ＳＣＭ１と特定位置情報Ｐ１とを、静止画ファイルＰＩＣ１内に格納する。他方、シェーマ図ファイル内には、静止画ファイルのファイル名ＰＩＣ１を、特定位置Ｐ１に対応付けて格納する。

なお、本例では、各ファイルのリンク情報として、関連付けたファイルのファイル名を付与しているが、リンク元とリンク先のファイルが別のフォルダや別の装置に格納されている場合には、ファイル名に加えて、その格納先を示すパス名やアドレス情報（ＵＲＬなど）が付与される。

図７は、ディスプレイ４２に表示される医用画像表示画面（以下、表示画面という）５６の例を示す。また、表示画面５６には、動画を表示する表示窓５７，静止画ファイルを表示する表示窓５８，シェーマ図を表示する表示窓５９，検査情報，患者情報を表示する表示窓６１がそれぞれ設けられている。これらの窓は、それぞれ表示サイズを適宜変更することができるようになっている。表示サイズの変更は、例えば、マウスのポインタ６２の操作によって行われる。また、図に示すように、これらの窓は、表示画面５６内に並列的に表示される他、１つの窓を表示画面５６の全域に拡大して表示することもできる。また、表示画面５６には、ファイルボタン６３が設けられており、このファイルボタン６３をマウスでクリックすると、ファイル選択画面が表示され、この選択画面で表示するファイルを選択することができる。

表示窓５７には、動画の再生、一時停止、再生終了を指示するボタンが設けられている。また、マウス操作（例えば、右クリック操作）などによって、さらに詳細な操作メニューがポップアップ形式で表示され、早回しや早戻しや再生速度の変更などを行うこともできる。動画は再生時間が長いので、初期設定では、早回しで再生されるようになっている。

表示窓５９には、静止画が関連付けられたシェーマ図上の特定位置Ｐ１〜Ｐ３に丸印などのマークが表示され、その位置に静止画が関連付けられていることが識別できるようになっている。そのマークをポインタ６２でポイントすると、ポイント位置に対応する静止画が呼び出される。さらに、表示画面５６には、呼び出された静止画と特定位置との対応関係を示すラインや矢印などを示してもよい。

以下、上記構成の作用について、図８〜１１のフローチャートを参照しながら説明する。図８は、検査の際の内視鏡画像撮影手順を示す。まず、検査の前に、患者情報及び検査情報をプロセッサ装置１４に登録する。そして、動画記録スイッチ２７を押下して動画記録を開始する。挿入部２１を患者の体内に挿入して、消化管内をモニタ１９で観察しながら検査を行う。この観察中に、所要部位について適宜静止画を撮影する。この撮影の際に医師が撮影部位の名称を発声して、その音声をマイク１７ａで録音する。このように撮影部位の識別情報は音声で入力できるので、ボタン操作などの余計な操作がなく、簡単である。また、撮影時に撮影部位の名称を発する行為は、ボタン操作に比べて直感的でもあり違和感も少ない。

プロセッサ装置１４のＣＰＵ３１は、静止画の画像データに録音した音声データを対応付けて保存する。また、ＣＰＵ３１は、静止画ファイルの付帯情報に、患者情報、検査情報、及び動画とのリンク情報（内視鏡画像リンク情報）を付加して、静止画ファイルをデータストレージ３６に保存する。こうした手順が検査を終了するまで繰り返される。こうした静止画撮影により、所要部位について、動画のフレームよりも高精細な映像を記録することができる。検査が終了したら、動画記録を終了させる。動画データには、静止画とのリンク情報（内視鏡リンク情報）を付加して、動画ファイルをデータストレージ３６に保存する。

検査を終了した後、内視鏡装置１０で記録した内視鏡画像と音声ファイルは、通信Ｉ／Ｆ４９を通じて医用画像表示装置１１に取り込まれ、データストレージ４８に格納される。医用画像表示装置１１のＣＰＵ４６は、関連付け処理の操作指示に基づいて、内視鏡画像とシェーマ図との関連づけ処理を開始する。ＣＰＵ４６は、シェーマ図が複数種類ある場合には、動画又は静止画のファイル内の検査情報から検査部位を調べて、その検査部位に対応するシェーマ図を抽出する。これにより、関連づけ処理を行うシェーマ図が選択される。もちろん、医師が複数種類のうち所望のシェーマ図を選択してもよい。

そして、内視鏡画像とシェーマ図のそれぞれのファイルにシェーマ図リンク情報（ファイル名）を付与する。静止画の場合には、図６に示したように、静止画に付帯する音声ファイルと、シェーマ図に付帯する音声サンプルファイルとが照合されて、シェーマ図上の特定位置との対応づけがなされる。こうして関連付け処理がなされた内視鏡画像が再びデータストレージ４８に格納される。こうしたシェーマ図との関連付け処理がなされると、図３に示すように、動画、静止画、シェーマ図の三者が、内視鏡画像リンク情報及びシェーマ図リンク情報によって相互に関連付けがなされた状態になる。

こうして関連付け処理が終了した後、医師は、医用画像表示装置１１を使用して、患者に図７に示す表示画面５６を見せながら検査の説明を行う。説明を行う際には、図１０のフローチャートに示すように、医師は、例えば、まず、再生する動画ファイルを選択する。動画ファイルが選択されると、ＣＰＵ４６は、表示窓５７を開き、動画ファイルの最初のフレームを表示する。さらに、シェーマ図リンク情報に基づいて、リンクされたシェーマ図ＳＣＭ１を検索して、シェーマ図ＳＣＭ１を表示窓５９に表示する。医師は、これら動画とシェーマ図とを参照させながら、検査の概要などを説明する。

さらに、動画の再生を開始すると、ＣＰＵ４６は、動画の再生中に、内視鏡リンク情報に基づいて、再生しているフレームに対応する静止画があるかどうかを監視して、静止画が存在するフレームに達したときには、表示窓５８を開いて静止画を表示する。静止画が表示されると、例えば、動画は自動的に一時停止される。静止画は、動画のフレームよりも画質がよいので、患者に対してこの静止画を見せながら、詳細な説明が加えられる。こうした手順が動画の再生終了まで繰り返される。

また、静止画ファイルにも、動画の全編内の記録位置が格納されているので、任意の静止画を表示しているときに、この記録位置情報に基づいて、その静止画の記録位置付近（例えば、その静止画の前後の部分）の動画のフレームを表示させることも、もちろん可能である。このように、動画と静止画とをリンクさせることで、一方から他方の検索が容易になり両者の間でシームレスな再生表示が可能となる。

静止画に加えて動画を記録するメリットとしては、検査後に、患者に対して検査中の体内の状況を示すことができるとともに、医師も改めて検査状況を確認できるというメリットがある。例えば、バイオプシー（生検組織診断）を行うために、検査中に、内視鏡の先端から鉗子を出して、病変部位の組織を一部摘出する場合がある。この摘出に際しては、色素を含んだ薬品を鉗子口から噴射して、摘出部位の起伏を際だたせるなどの処置が行われる。動画を記録することで、噴射した薬品の広がり具合、広がる過程などを再確認できるので、摘出処置が適正に行われたか否かをチェックすることも可能となる。また、こうしたメリットがあることから、内視鏡の診断を動画で行うべきだと主張する医師も少なくない。

また、図１１のフローチャートに示すように、表示されたシェーマ図の画面上の特定位置をマウスでポイントすると、ＣＰＵ４６は、シェーマ図リンク情報に基づいて、その位置に対応する静止画を検索して、表示窓５８に表示する。こうすることで、シェーマ図によって検査部位を全体的に示しながら、部分的に撮影された静止画を示すことで、両者の対応関係を明確にしながら、所要部位の状況を詳細に説明することができる。

このように、シェーマ図と内視鏡画像とを相互に参照させながら、検査説明を行うことができるので、医師にとっても説明がしやすいし、患者にとっても理解しやすい説明を受けることが可能となる。また、検査後にこうした分かりやすい説明を受けることができるので、患者は、検査中に詳細な説明を受けるという負担から解放される。しかも、動画と静止画の関連づけを内視鏡装置１０が行い、シェーマ図と内視鏡画像の関連づけを医用画像表示装置１１が行うので、説明資料の作成という煩雑な手続きが不要になり、医師にとっても負担が少ない。

上記実施形態では、内視鏡画像リンク情報及びシェーマ図リンク情報を、動画、静止画、シェーマ図の各ファイルにそれぞれ付与することで、各ファイルの関連付けを行う例で示したが、リンク情報を各ファイルとは独立した別のファイルとして付与してもよい。この場合には、各ファイル間のリンク情報をテーブルデータ化して、データベースを作成するとよい。

また、上記実施形態では、静止画と動画、これら内視鏡画像とシェーマ図との間で相互に呼び出し（検索して表示すること）ができるようにリンク情報を付与しているが、相互でなくてもよく、例えば、静止画とシェーマ図との関係では、静止画からシェーマ図ファイルを呼び出させるのみで、静止画からシェーマ図を呼び出すことはできないというように、一方向のみを呼び出しできるようにリンク情報を付与してもよい。

また、シェーマ図の特定位置をポイントしたときに、それに対応する静止画が呼び出されるようにしているが、例えば、シェーマ図が表示されたら、シェーマ図リンク情報に基づいて、そのシェーマ図に関連づけられた複数の静止画を検索して、シェーマ図の表示窓の周辺に同時に表示されるようにしてもよい。

また、静止画やシェーマ図に付帯させている音声データを利用して、静止画やシェーマ図を音声によって呼び出せるようにしてもよい。例えば、「噴門」と発声すれば、医用画像表示装置がこの音声を認識し、入力された音声に基づいて、噴門を撮影した静止画が表示されるようにする。これによれば、患者への説明中にマウスやキーボードを操作する手間を省くことができる。

また、上記実施形態では、１つのシェーマ図に内視鏡画像を関連付ける例で説明しているが、例えば、静止画の撮影部位毎に、関連づけるシェーマ図を変更するというように、複数のシェーマ図と関連付けてもよい。

また、上記実施形態では、シェーマ図と静止画の特定位置とを対応付けるための識別情報として、音声データを使用する例で説明しているが、音声データでなくてもよい。例えば、内視鏡の操作部やプロセッサ装置のコンソールに、撮影部位の種類に応じた識別情報（例えばテキストデータ）を入力するためのボタンを設けて、このボタン操作によって撮影部位に応じた識別情報が入力されるようにしてもよい。また、カプセル内視鏡などで使用されているように、内視鏡の撮影部から測位用の電波を発信させてこれを受信することにより撮影位置を測位する測位装置を設け、その測位情報を識別情報に利用してもよい。

また、静止画の撮影部位の数とその撮影順序がパターン化されているような場合には、識別情報として、撮影順序を表す番号などのテキストデータを使用してもよい。この場合には、例えば、内視鏡装置のレリーズボタンが押下されたときに、内視鏡装置が自動的に撮影順序を表す番号を静止画に付帯させる。識別情報は、シェーマ図に付帯する照合情報と照合されるものであるので、識別情報としてテキストデータを使用する場合には、シェーマ図の照合情報もそれに対応するテキストデータが使用される。

また、上記実施形態では、内視鏡装置によって静止画に加えて動画も記録して、医用画像表示装置で動画の再生も行うようにしているが、動画はなくてもよく、静止画とシェーマ図だけでもよい。ただし、上述したとおり、動画を記録することの有用性はあるので、動画を記録再生することが好ましい。また、動画を記録する場合には、動画と静止画を撮影する撮像素子を別々に設けてもよい。

また、上記実施形態では、シェーマ図として平面的な図を使用した例で説明しているが、もちろん、立体的な図を使用してもよい。また、シェーマ図としては、描画された画像の他に、撮影された写真を使用してもよい。また、立体的な図を使用する場合には、例えば、ＭＲＩ（磁気共鳴画像）装置やＣＴ（Ｘ線断層写真）装置などの画像撮影モダリティ（医療機器）で取得された断層写真から、生体の内部構造を立体的に構成したものを使用してもよい。こうした立体図をシェーマ図として使用すれば、その図を立体的に回転させることで、内部構造を正面からだけでなく、背面からも示すことができるので、より分かりやすい説明資料となる。

また、上記実施形態では、医用画像表示装置内のデータストレージに内視鏡画像及びシェーマ図の各データを格納するようにしているが、データの格納場所は、これに限るものではない。例えば、通信ネットワークを通じて医用画像表示装置と接続された、院内又は院外に存在するデータストレージサーバにデータを格納しておき、医用画像表示装置がそこにアクセスすることでデータを読み出すようにしてもよい。

また、上記実施形態では、内視鏡装置として、撮像素子のみを備えた電子内視鏡を例に説明したが、超音波プローブを備えた超音波内視鏡を用いてもよい。この場合には、内視鏡画像に加えて、超音波プローブで撮影された超音波画像も、医用画像として、シェーマ図とリンクさせるようにするとよい。

医用画像表示システムの説明図である。 内視鏡装置及び医用画像表示装置の概略を示す構成図である。 動画、静止画、シェーマ図の各ファイルのリンク状況を説明する説明図である。 動画及び静止画の各ファイルのファイル構成を示す説明図である。 シェーマ図ファイルのファイル構成を示す説明図である。 静止画とシェーマ図の関連付け処理の説明図である。 操作画面の説明図である。 内視鏡撮影手順を示すフローチャートである。 内視鏡画像とシェーマ図の関連付け処理の手順を示すフローチャートである。 動画、静止画、シェーマ図の表示手順を示すフローチャートである。 シェーマ図と静止画の表示手順を示すフローチャートである。

符号の説明

１０ 内視鏡装置
１１ 医用画像表示装置
１３ 内視鏡
１４ プロセッサ装置
１７ａ マイク（識別情報入力部）
２２ 操作部
２６ レリーズボタン
２７ 動画記録スイッチ
３１ ＣＰＵ（医用画像リンク情報記録部）
３６ データストレージ
４２ ディスプレイ
４６ ＣＰＵ（シェーマ図リンク情報付与部、制御部）

Claims (11)

1. 生体内を撮影する内視鏡装置を用いて画像データとして記録された医用画像をディスプレイに表示する医用画像表示装置において、
   前記医用画像には静止画が含まれており、この静止画と、この静止画で撮影された撮影部位を含む生体の内部構造を模式的に表したシェーマ図とのそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与部と、
   前記シェーマ図と前記静止画の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて他方を検索して前記ディスプレイに表示する制御部とを備えており、
   さらに、前記医用画像には前記静止画に加えて動画が含まれており、前記制御部は、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示し、
   前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記制御部は、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することを特徴とする医用画像表示装置。
2. 前記静止画の画像データには、前記内視鏡装置による撮影時に記録され前記静止画の前記撮影部位を識別するための識別情報が予め付帯されており、前記シェーマ図リンク情報付与部は、この識別情報に基づいて、前記静止画を前記シェーマ図内の特定位置に対応付けることを特徴とする請求項１記載の医用画像表示装置。
3. 前記シェーマ図の画像データには、前記識別情報と照合するための照合情報が前記シェーマ図内の特定位置毎に予め付帯されており、前記シェーマ図リンク情報付与部は、前記識別情報と前記照合情報を照合することにより、前記静止画と前記特定位置とを対応付けることを特徴とする請求項２記載の医用画像表示装置。
4. 前記制御部は、前記ディスプレイに表示されたシェーマ図内の前記特定位置がポイントされたときに、前記シェーマ図リンク情報に基づいて前記特定位置に対応する前記静止画を検索して表示することを特徴とする請求項２又は３記載の医用画像表示装置。
5. 前記制御部は、前記静止画と前記シェーマ図を前記ディスプレイに並べて表示することを特徴とする請求項１〜４いずれか記載の医用画像表示装置。
6. 前記制御部は、前記静止画と前記シェーマ図に加えて、前記動画を前記ディスプレイに並べて表示することを特徴とする請求項５記載の医用画像表示装置。
7. 前記記録位置情報は、前記動画の記録中に動画データに記録されるタイムスタンプであることを特徴とする請求項１〜６いずれか記載の医用画像表示装置。
8. 前記静止画は、前記動画の１フレームの画素数よりも高い画素数で記録されることを特徴とする請求項１〜７いずれか記載の医用画像表示装置。
9. 前記内視鏡装置は、生体内に挿入される挿入部と前記挿入部の基端部分に連設された操作部とを有する内視鏡、又はカプセル内視鏡を含むことを特徴とする請求項１〜８いずれか記載の医用画像表示装置。
10. 請求項１〜９いずれか記載の医用画像表示装置と、生体内を撮影する内視鏡装置とを有する医用画像表示システム。
11. 内視鏡装置と、前記内視鏡装置によって撮影された医用画像を表示する医用画像表示装置からなる医用画像表示システムの作動方法であり、
    前記医用画像には静止画が含まれており、前記内視鏡装置のＣＰＵが、前記内視鏡装置によって前記静止画を撮影する際に、その撮影部位を識別するために入力された識別情報を前記静止画の画像データに付帯して記録する識別情報記録ステップと、
    前記医用画像表示装置のＣＰＵが、前記静止画とそれに付帯する前記識別情報とを前記医用画像表示装置に取り込むデータ取り込みステップと、
    生体の内部構造を模式的に表したシェーマ図上に予め設定され前記静止画の撮影部位に相当する特定位置と前記静止画とが対応するように、前記識別情報に基づいて、前記シェーマ図と前記静止画のそれぞれの画像データを関連付けるためのシェーマ図リンク情報を付与するシェーマ図リンク情報付与ステップと、
    前記静止画及び前記シェーマ図の一方を前記ディスプレイに表示中に、前記シェーマ図リンク情報に基づいて、他方を検索して前記ディスプレイに表示する表示ステップとを含み、
    さらに、前記医用画像には前記静止画に加えて動画が含まれており、前記表示ステップにおいて、前記内視鏡装置によって記録され前記動画と前記静止画のそれぞれの画像データを関連付ける医用画像リンク情報に基づいて、前記動画及び前記静止画の一方を表示中に他方を検索して表示し、
    前記医用画像リンク情報には、前記動画の全編内における前記静止画の記録位置を表す記録位置情報が含まれており、前記表示ステップにおいて、前記記録位置情報に基づいて、前記動画の再生途中に前記記録位置に応じた前記静止画を表示することを特徴とする医用画像表示システムの作動方法。

Images