JP4615842B2

JP4615842B2 - 内視鏡システムおよび内視鏡画像処理装置

Info

Publication number: JP4615842B2
Application number: JP2003351220A
Authority: JP
Inventors: 明伸内久保; 正一五反田; 剛明中村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-10-09
Filing date: 2003-10-09
Publication date: 2011-01-19
Anticipated expiration: 2023-10-09
Also published as: JP2005111081A

Description

本発明は、手術等を行う場合に表示される内視鏡画像に関連するバーチャル画像等の画像の色調を補正する内視鏡システムおよび内視鏡画像処理装置に関する。

近年、内視鏡は医療分野において、広く普及している。この場合、表示装置には、実際に観察を行う内視鏡画像と共に、手術の際の参考になる処置具の状態の表示や各種の画像とが表示される場合がある。
例えば特開２０００−２７０３１８号公報における表示装置には、内視鏡画像の他に、手術具の状態を容易に確認しながら手術の指示等の支援を行うことができる手術情報が表示される。また、この従来例にはＸ線画像等の画像も表示できるようにしている。
特開２０００−２７０３１８号公報

しかしながら、上記従来例では、術者は、手術を行う際に表示される内視鏡画像の他に表示される画像を手術或いは診断の参考にしようとした場合、実際に撮像して表示されている内視鏡画像と他の画像との色調が異なるために診断等するのに時間がかかる場合がある。

（発明の目的）
本発明は、上述した点に鑑みてなされたもので、内視鏡画像を含む複数の画像を表示した場合、診断等を行い易いように表示することができる内視鏡システムおよび内視鏡画像処理装置を提供することを目的とする。

本発明の内視鏡システムは、被検体の内視鏡検査を行う内視鏡と、前記内視鏡からのライブ画像を取得するライブ画像取得手段と、前記ライブ画像を表示するライブ画像表示手段と、前記内視鏡の前記被検体における撮像対象位置を検出する撮像対象位置検出手段と、人体における複数種の内臓の断層像から構築された３次元バーチャル画像基データを取得する３次元バーチャル画像基データ取得手段と、前記撮像対象位置検出手段により検出した当該内視鏡の被検体における撮像対象位置情報に基づいて、前記ライブ画像表示手段に表示されている当該内視鏡が撮影しているライブ画像より対応するバーチャル画像を作成するための内臓の種類を当該ライブ画像に同期して認識し、当該認識されたバーチャル画像を作成するための内臓の種類に対応したバーチャル臓器画像データを、当該ライブ画像に同期して前記３次元バーチャル画像基データから生成するバーチャル臓器画像データ生成手段と、前記バーチャル臓器画像データ生成手段により生成されたバーチャル臓器画像データに係るバーチャル臓器画像を前記ライブ画像に同期して表示するバーチャル画像表示手段と、前記ライブ画像表示手段に表示されているライブ画像における所定領域に係る信号データの色を分析するライブ画像色分析手段と、前記バーチャル画像表示手段に前記ライブ画像に同期して表示されている前記バーチャル臓器画像のうち、前記ライブ画像における前記所定領域に対応する領域に係る信号データの色を分析するバーチャル臓器画像色分析手段と、前記ライブ画像色分析手段による分析結果と前記バーチャル臓器画像色分析手段による分析結果とを比較する色分析結果比較手段と、前記色分析結果比較手段による比較結果に基づいて、前記バーチャル画像表示手段に前記ライブ画像に同期して表示されている前記バーチャル臓器画像に係る信号データの色を前記ライブ画像に同期して色補正を行う色補正手段と、を具備したことを特徴とする。
また、本発明の内視鏡画像処理装置は、被検体の内視鏡検査を行う内視鏡からのライブ画像であって所定のライブ画像表示手段に表示するためのライブ画像を取得するライブ画像取得手段と、人体における複数種の内臓の断層像から構築された３次元バーチャル画像基データを取得する３次元バーチャル画像基データ取得手段と、前記内視鏡の前記被検体における撮像対象位置を検出する撮像対象位置検出手段により検出した当該内視鏡の被検体における撮像対象位置情報に基づいて、前記ライブ画像表示手段に表示されている当該内視鏡が撮影しているライブ画像より対応するバーチャル画像を作成するための内臓の種類を当該ライブ画像に同期して認識し、当該認識されたバーチャル画像を作成するための内臓の種類に対応したバーチャル臓器画像データを、当該ライブ画像に同期して前記３次元バーチャル画像基データから生成するバーチャル臓器画像データ生成手段と、前記ライブ画像表示手段に表示されているライブ画像における所定領域に係る信号データの色を分析するライブ画像色分析手段と、前記バーチャル臓器画像データ生成手段により生成されたバーチャル臓器画像データに係るバーチャル臓器画像を前記ライブ画像に同期して表示するバーチャル画像表示手段において、前記ライブ画像に同期して表示されている前記バーチャル臓器画像のうち、前記ライブ画像における前記所定領域に対応する領域に係る信号データの色を分析するバーチャル臓器画像色分析手段と、前記ライブ画像色分析手段による分析結果と前記バーチャル臓器画像色分析手段による分析結果とを比較する色分析結果比較手段と、前記色分析結果比較手段による比較結果に基づいて、前記バーチャル画像表示手段に前記ライブ画像に同期して表示されている前記バーチャル臓器画像に係る信号データの色を前記ライブ画像に同期して色補正を行う色補正手段と、を具備したことを特徴とする。

本発明によれば、術者は内視鏡ライブ画像に対応するバーチャル画像を参考にしようとした場合にバーチャル画像の色調が内視鏡ライブ画像の色調に一致することにより、内視鏡ライブ画像との間の関係等を把握し易くなり、診断等を円滑に進め易くできる。

以下、図面を参照して本発明の実施例を説明する。

図１ないし図６は本発明の実施例１に係り、図１は本発明の実施例１を備えた手術支援システム１の全体構成を示し、図２は第１手術室に配置された第１のコントローラの概略の構成を示し、図３は第１手術室に配置された手術システムの主要部の構成を示し、図４は色調補正の画像処理を行うパーソナルコンピュータの構成を示し、図５は色調補正手段の機能的な構成を示し、図６は色調補正を行う動作のフローチャ−トを示す。

図１に示すように、本実施例を備えた手術支援システム１は、例えば第１手術室２に設置された手術システム３と、この手術システム３等で発生する各種医療情報を収集する第１のコントローラ４と、この第１手術室２とは遠隔地点等に設置され、第１のコントローラ４で得られた各種医療処置情報を集積しカルテを生成する手術部サーバ５と、この手術部サーバ５とは別の拠点に設置され、前記手術部サーバ５で得られたカルテ情報等を蓄積する患者情報蓄積手段となる院内サーバ６と、を有している。

第１のコントローラ４と前記手術部サーバ５との間及び前記手術部サーバ５と前記院内サーバ６との間は、それぞれ通信回線８，９で接続される。なお、前記各通信回線８，９は、公衆回線、専用回線、ＬＡＮ（構内通信網）等のどのような通信回線でもよい。又、前記院内サーバ６は、前記手術部サーバ５と同一拠点に配置されていても良い。

上記第１のコントローラ４等が接続された通信回線８は、第２手術室１１ａ、第３手術室１１ｂ内にそれぞれ設置された図示しない各医療装置等と接続され、またこの通信回線８はカンファレンス室１１ｃ内の図示しない医療端末装置と接続されている。

そして、術者は、第１手術室２の第１のコントローラ４から、例えばカンファレンス室１１ｃ内の図示しない医療端末装置に対して通信回線８を介して手術の際の画像情報等を送信することができると共に、カンファレンス室１１ｃの手術支援者は、手術の際のアドバイス等の支援情報を第１手術室２側に送信することにより手術の支援を行うことができるようにしている。このようにして手術支援システム１が形成されるようにしている。

第１手術室２に設置された手術システム３は、ベッド１２に横たわる患者１３に対して内視鏡検査を行う内視鏡装置１４と、内視鏡装置１４による内視鏡画像を表示するモニタ１５と、各種の処置を行う電気メス装置、気腹装置、超音波装置等の手術装置（手術機器）１６と、内視鏡装置１４及び手術装置１６等を制御する第２のコントローラ１７等から構成される（なお、図１では内視鏡装置１４の概略を示し、図３によって詳細な構成を示している）。

また、図３で説明するように内視鏡装置１４には撮像対象位置を検出する検出装置３１が設けてあり、この検出装置３１の情報は、第２のコントローラ１７を介して第１のコントローラ４に送られる。そして、この情報は、後述するバーチャル画像として表示する臓器を決定するのに利用される。

この第２のコントローラ１７は第１のコントローラ４と接続され、内視鏡装置１４により得られた内視鏡の動画像（ライブ画像或いはリアルタイム画像）の映像信号は、第２のコントローラ１７から第１のコントローラ４を経て第１手術室２に設置されたライブ画像表示装置となる第１の表示装置１９に表示される。

また、第１のコントローラ４には、バーチャル画像を表示する画像処理を行うパーソナルコンピュータ（図１等ではＰＣと略記）２１が接続され、このパーソナルコンピュータ２１で生成された映像信号は、バーチャル画像表示装置としての第２の表示装置２２に出力され、この第２の表示装置２２にはバーチャル画像が表示される。

また、第２のコントローラ１７には、前記手術システム３に対する制御指示等を入力するためのタッチパネル２３等の手術装システム制御入力手段が接続されている。
手術システム３による情報と、患者モニタリング装置２４により患者１３の血圧等をモニタして得た患者モニタ情報等が、第２のコントローラ１７を介して第１のコントローラ４に集積され、この集積された情報は、他の拠点に設定されている手術部サーバ５へ通信回線８を介して伝送される。

また、内視鏡装置１４から得られる映像信号と、第１手術室２内の様子を撮像する室内カメラ２５から得た映像信号は、第１のコントローラ４を介して信号伝送装置２６にも入力できる。この映像信号は、カンファレンス室１１ｃに伝送することができるし、通信回線１０を介して病院外部の支援を行う端末装置等に伝送することもできる。

また、手術部サーバ５は、通信回線９を介して院内サーバ６及びＷＥＢサーバ２７と接続されている。尚、前記ＷＥＢサーバ２７は、インターネットを介して病院外とも接続されている。

院内サーバ６には、病院の患者登録端末２８からの患者登録情報と、当該患者に関連する術前画像、術中画像等の医療画像（ＭＲＩ、ＣＴ、Ｘ線画像等）が蓄積されている。手術部サーバ５は、手術を行う患者の氏名や生年月日、診療記録などの登録情報及び患者に係る医療画像を、前記院内サーバ６から通信回線９を介して読み出す。
なお、第１のコントローラ４には、入力装置２９が接続され、この入力装置２９は、キーボード、マウス等からなり、この入力装置２９を用いて、カルテナンバ（ＩＤナンバー）及び氏名を入力するのに使用される。

また、本実施例では、例えばパーソナルコンピュータ２１（のＣＤ−ＲＯＭドライブ）には、ＣＤ−ＲＯＭ３０を装着して、そのプログラムをインストールすることができる。このＣＤ−ＲＯＭ３０には人体の内部の臓器を、ＭＲＩ等の画像を基にして模擬して立体的に模擬画像（いわゆるバーチャル画像）を表示するプログラムが格納されている。

従って、パーソナルコンピュータ２１に、そのプログラムをインストールすることにより、パーソナルコンピュータ２１は、バーチャル画像を生成して、第２表示装置２２にバーチャル画像を表示する機能を持つようになる。なお、図１の２点鎖線で示すように、第１のコントローラ４にＣＤ−ＲＯＭ３０をセットし、術者等のユーザは、パーソナルコンピュータ２１からそのプログラムをダウンロードしてインストールする等しても良い。

図２は第１のコントローラ４の概略の構成を示す。
この第１のコントローラ４は、この第１のコントローラ４の各部を制御するＣＰＵ５１と、このＣＰＵ５１が実行するソフトウエアや内視鏡画像及び前記患者情報等のデータを格納したり、ＣＰＵ５１の作業領域を確保するためのハードディスク５２及びメモリ５３と、前記第１の表示装置１９で表示する映像信号を生成する表示制御部５４と、患者モニタリング装置２４や第２のコントローラ１７による手術装置等で得た手術装置情報や患者情報を伝送する通信インタフェース５６と、内視鏡装置１４から第２のコント−ラ１７を介して映像信号を入力したり、信号伝送装置２６を介して内視鏡画像を含む映像情報を入出力する映像信号入出力回路５７と、通信回線８との間で情報を伝送する通信インタフェース５８と、内視鏡装置１４で得た内視鏡画像（ライブ画像）の映像信号データをパーソナルコンピュータ２１に送信等する通信インタフェース５９と、を有して構成されている。

そして、パーソナルコンピュータ２１は、後述するようにライブ画像の映像信号データと、バーチャル画像の映像信号データとを比較し、バーチャル画像の映像信号データをライブ画像の映像信号データの色調と一致するように色調補正する画像処理を行い、第２の表示装置２２にライブ画像と色調が一致した色調でバーチャル画像を表示することができるようにしている。

なお、図３に示す検出装置３１による撮像対象位置の情報も、例えば通信インタフェース５６を介して第１のコントローラ４に伝送される。
そして、第１のコントローラ４内のＣＰＵ５１は、図３に示すＴＶカメラ装着内視鏡３８で撮像している患者１３の体内の撮像対象位置の情報を位置マーカ４４ａ〜４６ｂの位置検出による位置情報に基づいて算出する撮像位置算出機能５１ａを備えている。この撮像対象位置の情報もパーソナルコンピュータ２１に送られ、このパーソナルコンピュータ２１はバーチャル画像を表示する場合、ライブ画像として表示されている臓器と同じ臓器のバーチャル画像を表示することができるようにしている。

上記映像信号入出力回路５７は、入力されるアナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換部５７ａと、デジタル映像信号をアナログ映像信号に変換して出力するＤ／Ａ変換部５７ｂと、前記Ａ／Ｄ変換部５７ａを介して入力された映像信号を復号したり、入力された映像信号のうちから所望の内視鏡画像信号を抽出したり、出力しようとする映像信号を符号化してＤ／Ａ変換部５７ｂへ与える機能を有する映像信号符号復号部５７ｃと、この映像信号符号復号部５７ｃ等の映像信号入出力回路５７の各部を制御する制御部５７ｄとを有している。

なお、映像信号入出力回路５７は、図示してないが入力されるアナログ映像信号をスルーして第１の表示装置１９に出力する機能も持つ。
このように本実施例では、内視鏡画像としてのライブ画像と、手術、診断等の医療分野においてこの内視鏡画像に密接に関連する関連画像となるバーチャル画像を隣接等するようにして同時に表示し、バーチャル画像の色調を内視鏡画像の色調と一致するように色調補正手段を設けて、手術や診断等を行い易い内視鏡画像表示処理装置或いは内視鏡画像表示装置を形成している。

図３は手術システム３における内視鏡装置１４及び撮像対象位置を検出する検出装置３１の主要部の構成を示す。
患者１３の例えば腹部には、トラカール３２を介して硬性内視鏡３３の硬質の挿入部３４が挿入される。この硬性内視鏡３３の接眼部３５には、撮像手段として例えばＣＣＤ３６を内蔵したＴＶカメラ３７が装着され、ＴＶカメラ装着内視鏡３８が形成されている。また硬性内視鏡３３に接続されたライトガイドケーブル３９は光源装置４０に接続され、この光源装置４０から観察のための照明光が供給される。

この照明光は、硬性内視鏡３３の挿入部３４内を送通されたライトガイドにより挿入部３４の先端側に伝送され、図示しない先端部の照明窓から出射され、体腔内を照明する。照明窓に隣接して図示しない観察窓が設けてある。照明された臓器等の撮像対象部位は、観察窓に取り付けた対物レンズにより、結像される。その光学像は、挿入部３４内に沿って配置されたリレー光学系により後方側に伝送される。そして、接眼部３５に装着されたＴＶカメラ３７のＣＣＤ３６に結像され、光電変換される。

また、ＴＶカメラ３７から延出されたカメラケーブル４１はＣＣＵ４２に接続され、ＣＣＤ３６で撮像された撮像信号はＣＣＵ４２により信号処理されて映像信号が生成され、モニタ１５に出力されると共に、第２のコントローラ１７、第１のコントローラ４を介して図１の第１の表示装置１９にも出力され、この第１の表示装置１９に内視鏡画像のライブ画像が表示されることになる。
なお、第１のコントローラ４によりこのライブ画像のディジタルの映像信号データ（色信号成分）はパーソナルコンピュータ２１にも送信され、パーソナルコンピュータ２１の画像処理に利用される。

また、本実施例では、患者１３の腹部表面等の位置を検出するために、位置マーカ４４ａ、４４ｂ、４４ｃが腹部表面に、トラカール３２の表面にも位置マーカ４５ａ、４５ｂ、４５ｃが、さらに硬性内視鏡３３にもその長手方向に位置マーカ４６ａ、４６ｂが取り付けられている。これらの位置マーカ４４ａ〜４６ｂとしては、例えばＲＦ−ＩＤ或いはその一部となる高周波発振器部分を利用しても良いし、ＬＥＤ等を利用することもできる。

これらの位置マーカ４４ａ〜４６ｂの３次元位置はマーカ検出を行うディジタイザ４７により検出され、その検出信号はナビゲーション装置（マーカ位置算出装置）４８に送られる。このナビゲーション装置４８により同じ座標系での各部の３次元位置等の情報が生成され、その情報は第２のコントローラ１７を経て第１のコントローラ４に送られる。

上記位置マーカ４４ａ〜４６ｂとして、患者１３の腹部表面等、硬性内視鏡３３の挿入部３４が挿入される表面位置を検出可能にしている。また、この腹部表面に挿入部３４の挿入ガイドとなるトラカール３２の３次元位置も算出できるようにすると共に、このトラカール３２の長手方向に挿入される硬性内視鏡３３の挿入部３４の３次元位置を算出可能にし、これらからさらに挿入部３４の先端の観察窓から観察（撮像）を行う撮像位置を算出できるようにしている。

第１のコントローラ４のＣＰＵ５１は、位置マーカ４４ａ〜４６ｂの３次元位置の情報により硬性内視鏡３３の先端で撮像している腹部内の撮像対象となる臓器の位置情報をその撮像する視野方向の情報と共に算出する撮像対象位置の算出をして、算出した撮像対象位置の情報をパーソナルコンピュータ２１に送る。

パーソナルコンピュータ２１では、送られた撮像対象位置の情報により、バーチャル画像として表示する場合の体内臓器から、その体内の撮像対象位置に存在する臓器を決定する。そして、決定された臓器のバーチャル画像を第２の表示装置２２に表示する。つまり、本実施例では、撮像して、内視鏡画像（ライブ画像）として表示されている臓器と同じ臓器をバーチャル画像として表示できるようにしている。

また、第１のコントローラ４に接続された入力装置２９からバーチャル画像として表示する場合の臓器を決定する指示信号を入力したり、臓器を立体的に表示する場合における視線方向を指示して表示させたり、視線方向を変えて臓器を回転移動して表示したり、表示サイズを拡大縮小等の指示入力を行うこともできるようにしている。
また、本実施例における色調補正の画像処理を行うコンピュータ２１の概略の構成を図４に示す。

コンピュータ２１は、全体の制御を行うＣＰＵ６１がインターナルバス６２に接続されている。このインターナルバス６２には、ＣＰＵ６１の作業エリア等に利用されるＲＡＭ６３、第１のコントローラ４に接続される通信インターフェース６４、マウス６５がコネクタ部を介して接続されるマウスインターフェース６５ａが接続されている。

また、このインターナルバス６２には、コマンド入力等を行うやキーボード６６、アプリケーションプログラムが書き込まれたＣＤ−ＲＯＭ３０等を読み込むＣＤ−ＲＯＭドライブ６７、プログラムや画像データ等が格納されるハードディスク６８がそれぞれのインターフェース６６ａ、６７ａ、６８ａを介して接続されている。
また、インターナルバス６２には表示制御を行う表示制御回路６９を介して画像を表示する第２の表示装置２２に接続される。

ＣＰＵ６１はハードディスク６８に内蔵されたプログラムを最初に読み出してＲＡＭ６３内の所定の領域に書き出し、以後はそのプログラムによって動作する。また、ＣＤ−ＲＯＭドライブ６７にバーチャル画像を表示するアプリケーションプログラムをセットしてインストールすることにより、ＣＰＵ６１はバーチャル画像の描画処理（生成処理）を行う機能を持ち、第１の表示装置２２にバーチャル画像を表示する。つまり、このＣＰＵ６１はバーチャル画像生成機能６１ａを持つ。

また、バーチャル画像の生成を行う場合、バーチャル画像として表示する臓器を指定することにより、指定された臓器のバーチャル画像の生成を行う。この場合、キーボード６６等から臓器の指定或いは選択入力を行うこともできるし第１のコントローラ４から送られる位置情報により表示する臓器を自動指定（自動選択）することもできる。

ＣＰＵ６１は第１のコントローラ４から位置情報が送られてくることによりバーチャル画像として表示するバーチャル表示臓器を自動選択設定するバーチャル表示臓器の自動選択設定機能６１ｂを有する。

またこのＣＰＵ６１は第１のコントローラ４から送られるライブ画像の映像信号データに対して色分析等を行い、バーチャル画像の色調をライブ画像の色調に合わせる色調補正機能６１ｃも有する。

バーチャル画像として表示するバーチャル表示臓器が自動で或いは術者等による選択設定等により決定されると、そのバーチャル表示臓器の立体画像の映像信号が第２の表示装置２２に出力されることになるが、ＣＰＵ６１により上記のようにバーチャル画像の色調をライブ画像の色調に合わせる色調補正が行われる。そして、色調補正がされた後、その映像信号が第２の表示装置２２に出力されることになる。

図５はＣＰＵ６１による色調補正機能６１ｃの機能的な構成を示す。
図３のＣＣＵ４２からのライブ画像の映像信号は第２のコントローラ１７を経て（さらに第１のコントローラ４をスルーして）、第１の表示装置１９に出力されると共に、第１のコントローラ４のＡ／Ｄ変換部５７ａによりディジタルの映像信号データに変換された後、コンピュータ２１のＣＰＵ６１に出力される。

このディジタルの映像信号データは例えばＲＧＢ映像信号データであり、ＣＰＵ６１の色分析回路７１において、例えばＲ，Ｇ，Ｂ成分それぞれに分けて積分されてそれぞれＲ、Ｇ、Ｂの平均値が算出される。Ｒ、Ｇ、Ｂの平均値は比較回路７２に入力される。

この場合、色分析される映像信号データは、例えばライブ画像の中央付近に設定される領域であり、この領域を指定手段で指定することもできる。

また、バーチャル画像生成機能６１ａで生成されたバーチャル画像の映像信号データは色分析回路７３で色分析される。この色分析の動作は色分析回路７１の場合と同様である。このバーチャル画像の色分析は、例えばバーチャル画像として表示される臓器全体に対して行う。
そしてこの色分析回路７３で色分析されたＲ、Ｇ、Ｂの平均値は比較回路７２に入力される。

比較回路７２ではライブ画像のＲ、Ｇ、Ｂの平均値からバーチャル画像のＲ、Ｇ、Ｂの平均値を、各色成分毎に引き算する処理を行い、その差分の信号をバーチャル画像のＲ、Ｇ、Ｂ信号が入力される色調補正回路７４に出力し、バーチャル画像のＲ、Ｇ、Ｂ信号に加算して色調補正されたＲ、Ｇ、Ｂ信号を表示制御回路６９を介して第２の表示装置２２に出力する。

この場合の動作を図６に示す。
コンピュータ２１のＣＰＵ６１はステップＳ１に示すようにライブ画像の色分析を行う。例えば、ライブ画像として表示されている内視鏡画像の中央付近の手術等の対象臓器の色分析を行う。次にＣＰＵ６１はステップＳ２に示すようにバーチャル画像の色分析を行い、これら色分析された両分析結果はステップＳ３で比較される。
そして、比較結果に基づき、ステップＳ４に示すようにバーチャル画像の色調をライブ画像の色調に一致（マッチング）するように色調補正を行う。

つまり、内視鏡画像における対象臓器の色調にマッチングするようにその対象臓器に相当するバーチャル画像の色調を色調補正し、この色調補正されたバーチャル画像が第２の表示装置２２に表示されるようになる。

従って、本実施例によれば、第１手術室２で手術を行おうとする術者は第１の表示装置１９により表示されるＴＶ装着内視鏡３８により撮像したライブ画像を見ながら、患者１３の例えば腹部内部の臓器に対する手術を行うことができると共に、第１の表示装置１９の横にはその手術を行っている臓器と同じ臓器のバーチャル画像が（撮像対象位置の情報により）表示される。

この場合、図５及び図６で説明したように、バーチャル画像の色調はライブ画像の色調の平均の色調となるように色調補正の画像処理して表示されるので、手術を行おうとする臓器における各部の位置等がバーチャル画像を参考にすることにより、違和感を感じることなく簡単かつ短時間に認識することが可能となり、手術を円滑かつ短時間に行うことが可能となる。

また、実際のライブ画像では一部が他の臓器等により、隠れてしまっているような場合でも、撮像対象位置の臓器に相当する臓器をバーチャル画像として表示できるので、このバーチャル画像を立体的に表示することにより、実際のライブ画像における臓器のどの部分を観察しているか等を容易に把握でき、手術等を円滑に行い易いよう支援することができる。

なお、上記の説明では両画像の色分析を行う場合で説明したが、ライブ画像における中央付近の映像信号データを抽出して、その色調分析を行いその結果をバーチャル画像生成の際の色ペインティングに利用しても良い。
つまり、その色調分析の結果と同じ色調でバーチャル画像のペインティングを行うようにしても良い。

また、上記の説明では、パーソナルコンピュータ２１側に色調補正の機能を設けたが、例えば第１のコントローラ４側において、ライブ画像の映像信号データの色分析を行い、この色分析結果をパーソナルコンピュータ２１側に送り、パーソナルコンピュータ２１側においてバーチャル画像を生成して表示する臓器の色調をライブ画像の映像信号データの色分析結果と一致するようににしても良い。

なお、上述の説明では、バーチャル画像として表示する臓器を、撮像対象位置の情報を利用したが、体内の臓器全体をバーチャル画像で表示すると共に、この表示をスクロール移動等し、ライブ画像の臓器と一致した時に一致したことを告知する（知らせる）操作を行うことにより、第１の表示装置１９の中央部の所定領域（所定範囲）に表示されているライブ画像の色調を基に、バーチャル画像の色調補正を行うようにしても良い。

この場合、バーチャル画像における色調補正を行う領域を指定するようにしても良い。なお、第２の表示装置２２でバーチャル画像を表示する場合、バーチャル画像と共に、手術の手順等も表示できるようにして、手術の際に必要に応じて手術の手順の確認等も行えるようにしても良い。

次に本発明の実施例２を図７及び図８を参照して説明する。実施例１では２つの表示装置１９、２２にそれぞれライブ画像とバーチャル画像を表示するようにしていたが、本実施例では例えば図１における第１の表示装置１９にライブ画像と共に、そのライブ画像に関連するサムネイル画像を表示する構成にしたものである。

また、本実施例では図１における第１のコントローラ４或いは図３の内視鏡装置を構成するＣＣＵ４２に設けた画像処理部により、ライブ画像と共に表示されるサムネイル画像の色調をライブ画像の色調に一致させるように色調補正を行って表示できるようにしたものである。

図７は本実施例における第１の表示装置１９の表示画面１９ａによる表示例を示す。この第１の表示装置１９の表示画面１９ａは、内視鏡画像表示エリア８１、サムネイル表示エリア８２、手術具状態表示エリア８３、患者情報表示エリア８４、コメント表示エリア８５とからなる。

内視鏡画像表示エリア８１には、内視鏡撮像手段を構成するＣＣＵ４２からの内視鏡画像が表示され、このエリア８１の横のサムネイル表示エリア８２には選択されたサムネイル画像が表示される。
例えば、サムネイル表示エリア８２には第１のコントローラ４のハードディスク５２に蓄積した画像データの縮小画像（サムネイル画像）が表示される。このハードディスク５２には第１手術室２のＣＣＵ４２側からの内視鏡画像に対応する映像信号を映像信号入出力回路５７でキャプチャして静止画として取り込んだ画像に対し、キーボード等の入力装置２９から画像の保存或いは蓄積するキー入力を行うことにより、対応する画像が保存される。

手術具状態表示エリア８３には、第２のコントローラ１７から送信された手術装置１６の設定状態が表示されている。
患者情報表示エリア８４には、第１のコントローラ４からの患者情報が表示される。

また、手術具状態表示エリア８３と患者情報表示エリア８４との間のコメント表示エリア８５には第１手術室２、カンファレンス室１１ｃ等から送信した文字情報等を表示する。

本実施例では第１のコントローラ４に接続された入力装置２９（を構成するマウス等）から色調補正を行うことを望むサムネイル画像を指定することにより、第１のコントローラ４内のＣＰＵ５１はそのサムネイル画像の色調をライブ画像の色調に合わせる色調補正の画像処理を行うことが特徴となっている。
次に本実施例の動作を図８を参照して説明する。

ステップＳ１１に示すように例えば入力装置２９を構成するマウス等によりライブ画像の代表点等の位置指定を行うことにより、ステップＳ１２に示すように第１のコントローラ４内のＣＰＵ５１はその位置指定された位置の色調の分析を行う。
代表点を指定する場合、表示されるライブ画像の中央付近を指定しても良いし、注目する領域全体を指定しても良いし、複数の位置を代表点として指定しても良い。

また、ステップＳ１３に示すように入力装置２９を構成するマウス等により色調補正を行おうと望むサムネイル画像を指定することにより、ステップＳ１４に示すように第１のコントローラ４内のＣＰＵ５１はその指定されたサムネイル画像の色調を分析する。
そして、ステップＳ１５に示すようにライブ画像の色調に一致させるように指定されたサムネイル画像の色調の補正を行う。

そして、ステップＳ１６に示すようにＣＰＵ５１は指定終了か否かの入力を待ち、指定終了でない場合にはステップＳ１３に戻り、次に指定されるサムネイル画像に対してステップＳ１３からＳ１５の処理を繰り返し、指定終了の指示を行うとこの処理を終了することになる。

本実施例によれば、手術の際の処置、診断のために利用するサムネイル画像を実際に手術を行おうとする臓器の色調と一致するように色調補正して表示されるので、診断等を行い易くなる。

例えば同じ患者の同じ臓器を撮像した場合における照明や撮像条件が異なるために、参考にするサムネイル画像Ｉａの色調がライブ画像の色調と異なってしまうような場合においても、本実施例によれば同じ色調に補正して表示できるので、照明や撮像条件が異なることによる色調の変化を抑制でき、照明等の条件が異なることに起因する色調の変化を軽減ないしは解消できる。

従って、ライブ画像をその色調等から診断するような場合に、過去に撮像して蓄積した同じ患者の同じ臓器の画像をサムネイル画像Ｉａとして表示した場合、過去の蓄積した画像を診断により有効に利用できることになる。
このため、ライブ画像と共に、同時に表示される関連画像を診断等により有効に利用でき、診断等を容易に行い易くなるように支援でき、また手術をスムーズに進めることが可能となる。

なお、上述の説明では、ライブ画像（リアルタイム画像）と、その画像に密接に関連するバーチャル画像或いはサムネイル画像との場合で説明したが、過去に同じ患部等を撮像した内視鏡画像の動画像を術前等に再生表示して、実際に手術を円滑に進めるための診断や処置の参考にするような場合もある。

このような場合においても、その動画像に関連するサムネイル画像を同時に表示した場合には、動画像とサムネイル画像との間で色調補正を行うようにすると、照明や撮像条件の違いの影響を軽減でき、より有効利用し易くできる。

また、このように実際のライブ画像以外、（少なくとも１つは内視鏡画像を含む）複数の画像を同時に表示する場合、基準とする基準画像を指定して、他の画像を指定された基準画像の色調に合わせるように色調補正を行うようにしても良い。
この場合には同時に表示される複数の画像の色調が揃えられるので、複数の画像を比較する等して診断等に有効利用し易い。

また、実施例１においてもその変形例として以下のように色調補正と共に、色調強調を行うようにしても良い。
例えばライブ画像とこのライブ画像の臓器と同じバーチャル画像とを同時に表示した場合、ライブ画像の色調に合わせるようにバーチャル画像の色調補正を行うようにすると共に、さらにバーチャル画像に対してライブ画像の色調データにより色彩強調して表示するようにしても良い。

上記のようにバーチャル画像の色調補正を行うことにより、例えばバーチャル画像の色調の平均値はライブ画像の色調の平均値と一致するように補正されるが、ライブ画像とバーチャル画像とのサイズを揃える等した後、例えばライブ画像の１フレーム分の静止画を取り込み、その静止画における診断対象となる臓器部分（の全体或いは一部領域）に対してＩＨｂ（ｉｎｄｅｘｏｆｈｅｍｏｇｌｏｂｉｎ）値を算出して、このＩＨｂ値によりバーチャル画像における対応臓器部分に対してＩＨｂ色彩強調を行う。

このようにすることにより、バーチャル画像上にＩＨｂ色彩強調を行った画像が立体的に表示されるので、ライブ画像中における病変部の位置をバーチャル画像上からより把握し易くなる等の効果がある。
また、上述した各実施例を部分的に組み合わせる等して構成される実施例も本発明に属する。

内視鏡を用いて内視鏡画像と共に、その内視鏡画像に関連する同じ臓器等の関連画像を同時に表示して診断や手術の参考にする場合、関連画像を内視鏡画像と同じ色調で表示することにより、関連画像と内視鏡画像との関係を違和感を感じることなく、把握がし易くなりより円滑な診断、手術を行い易くできる。

［付記］
１．請求項１において、前記関連画像は体内の臓器を模擬したバーチャル画像である。２．請求項１において、前記内視鏡画像は、動画像である。
３．請求項１において、前記関連画像は前記内視鏡画像を記録した過去の記録画像である。

４．請求項１において、前記関連画像は前記内視鏡画像と同じ被検体を撮像した過去の記録画像である。

５．請求項２において、前記第１及び第２の画像の一方は、内視鏡画像を縮小したサムネイル画像である。

６．付記１において、前記バーチャル画像により表示される臓器は前記ライブ画像を生成する撮像手段により撮像対象位置の位置情報で決定（設定）される。
７．請求項１において、前記色調補正手段は前記内視鏡画像における指定された部位の色調に基づいて色調補正を行う。
８．付記１において、前記バーチャル画像に対して色彩強調を行う色彩強調手段を有する。

９．内視鏡に設けられた撮像手段により撮像された内視鏡画像と、該内視鏡画像と関連する模擬画像とを表示する内視鏡装置において、
前記撮像手段による撮像対象位置を検出する位置検出手段と、
前記位置検出手段による位置情報により、前記撮像手段で撮像される部位に対応する部位の模擬画像の表示するように制御する表示制御手段と、
前記内視鏡画像における代表点又は設定領域における色調にマッチングするように前記模擬画像の色調の補正を行う色調補正手段と、
を具備したことを特徴とする内視鏡装置。

１０．リアルタイムの内視鏡画像が表示される第１の表示手段と、
前記リアルタイムの内視鏡画像以外の画像が表示される第２の表示手段と、
前記第２の表示手段に表示されるリアルタイムの内視鏡画像以外の画像の色調を、第１の表示手段に表示されるリアルタイムの内視鏡画像の色調を基に補正する色調補正手段とを具備したことを特徴とした手術支援システム。

１１．付記１０において、第１の表示手段と第２の表示手段は共通の表示装置に形成されることを特徴とする手術支援システム。
１２．付記１０において、第２の表示手段に表示される画像は、バーチャル画像であることを特徴とした手術支援システム。

１３．付記１０において、第２の表示手段に表示される画像は、過去に撮像して記録された画像であることを特徴とする手術支援システム。
１４．付記１０において、前記色調補正手段は、前記第１の表示手段に表示される内視鏡画像を表示するための信号処理を行う信号処理装置に設けたことを特徴とした手術支援システム。

本発明の実施例１を備えた手術支援システムの全体構成図。第１手術室に配置された第１のコントローラの概略の構成を示すブロック図。第１手術室に配置された手術システムの主要部の構成図。色調補正の画像処理を行うパーソナルコンピュータの構成を示すブロック図。色調補正手段の機能的な構成を示すブロック図。色調補正の動作のフローチャ−ト図。本発明の実施例２における第１の表示装置の表示内容を示す図。色調補正の動作のフローチャ−ト図。

符号の説明

１…手術支援システム
２…第１手術室
３…手術システム
４…第１のコントローラ
５…手術部サーバ
６…院内サーバ
８，９…通信回線
１１ｃ…カンファレンス室
１３…患者
１４…内視鏡装置
１５…モニタ
１７…第２のコントローラ
１９…第１の表示装置
２１…パーソナルコンピュータ
２２…第２の表示装置
２９…入力装置
３２…トラカール
３３…硬性内視鏡
３４…挿入部
３８…ＴＶカメラ装着内視鏡
４２…ＣＣＵ
４４ａ〜４６ｂ…位置マーカ
４７…ディジタイザ
４８…ナビゲーション装置
５１…ＣＰＵ
５７…映像信号入出力装置
６１…ＣＰＵ
６１ａ…バーチャル画像生成機能
６１ｃ…色調補正機能
６９…表示制御回路
７１，７３…色分析回路
７２…比較回路
７４…色調補正回路
代理人弁理士伊藤進

Claims

被検体の内視鏡検査を行う内視鏡と、
前記内視鏡からのライブ画像を取得するライブ画像取得手段と、
前記ライブ画像を表示するライブ画像表示手段と、
前記内視鏡の前記被検体における撮像対象位置を検出する撮像対象位置検出手段と、
人体における複数種の内臓の断層像から構築された３次元バーチャル画像基データを取得する３次元バーチャル画像基データ取得手段と、
前記撮像対象位置検出手段により検出した当該内視鏡の被検体における撮像対象位置情報に基づいて、前記ライブ画像表示手段に表示されている当該内視鏡が撮影しているライブ画像より対応するバーチャル画像を作成するための内臓の種類を当該ライブ画像に同期して認識し、当該認識されたバーチャル画像を作成するための内臓の種類に対応したバーチャル臓器画像データを、当該ライブ画像に同期して前記３次元バーチャル画像基データから生成するバーチャル臓器画像データ生成手段と、
前記バーチャル臓器画像データ生成手段により生成されたバーチャル臓器画像データに係るバーチャル臓器画像を前記ライブ画像に同期して表示するバーチャル画像表示手段と、
前記ライブ画像表示手段に表示されているライブ画像における所定領域に係る信号データの色を分析するライブ画像色分析手段と、
前記バーチャル画像表示手段に前記ライブ画像に同期して表示されている前記バーチャル臓器画像のうち、前記ライブ画像における前記所定領域に対応する領域に係る信号データの色を分析するバーチャル臓器画像色分析手段と、
前記ライブ画像色分析手段による分析結果と前記バーチャル臓器画像色分析手段による分析結果とを比較する色分析結果比較手段と、
前記色分析結果比較手段による比較結果に基づいて、前記バーチャル画像表示手段に前記ライブ画像に同期して表示されている前記バーチャル臓器画像に係る信号データの色を前記ライブ画像に同期して色補正を行う色補正手段と、
を具備したことを特徴とする内視鏡システム。
前記色補正手段は、前記色分析結果比較手段による比較結果に基づいて、前記バーチャル画像表示手段にバーチャル画像として表示されている前記バーチャル臓器画像の色調が、前記ライブ画像表示手段にライブ画像として表示されている臓器画像の色調に一致するように色補正を行う
ことを特徴とする請求項１に記載の内視鏡システム。
前記ライブ画像色分析手段は、前記所定領域を指定する指定手段と有する
ことを特徴とする請求項１または２に記載の内視鏡システム。
被検体の内視鏡検査を行う内視鏡からのライブ画像であって所定のライブ画像表示手段に表示するためのライブ画像を取得するライブ画像取得手段と、
人体における複数種の内臓の断層像から構築された３次元バーチャル画像基データを取得する３次元バーチャル画像基データ取得手段と、
前記内視鏡の前記被検体における撮像対象位置を検出する撮像対象位置検出手段により検出した当該内視鏡の被検体における撮像対象位置情報に基づいて、前記ライブ画像表示手段に表示されている当該内視鏡が撮影しているライブ画像より対応するバーチャル画像を作成するための内臓の種類を当該ライブ画像に同期して認識し、当該認識されたバーチャル画像を作成するための内臓の種類に対応したバーチャル臓器画像データを、当該ライブ画像に同期して前記３次元バーチャル画像基データから生成するバーチャル臓器画像データ生成手段と、
前記ライブ画像表示手段に表示されているライブ画像における所定領域に係る信号データの色を分析するライブ画像色分析手段と、
前記バーチャル臓器画像データ生成手段により生成されたバーチャル臓器画像データに係るバーチャル臓器画像を前記ライブ画像に同期して表示するバーチャル画像表示手段において、前記ライブ画像に同期して表示されている前記バーチャル臓器画像のうち、前記ライブ画像における前記所定領域に対応する領域に係る信号データの色を分析するバーチャル臓器画像色分析手段と、
前記ライブ画像色分析手段による分析結果と前記バーチャル臓器画像色分析手段による分析結果とを比較する色分析結果比較手段と、
前記色分析結果比較手段による比較結果に基づいて、前記バーチャル画像表示手段に前記ライブ画像に同期して表示されている前記バーチャル臓器画像に係る信号データの色を前記ライブ画像に同期して色補正を行う色補正手段と、
を具備したことを特徴とする内視鏡画像処理装置。
前記色補正手段は、前記色分析結果比較手段による比較結果に基づいて、前記バーチャル画像表示手段にバーチャル画像として表示されているバーチャル臓器画像の色調が、前記ライブ画像表示手段にライブ画像として表示されている臓器画像の色調に一致するように色補正を行う
ことを特徴とする請求項４に記載の内視鏡画像処理装置。
前記ライブ画像色分析手段は、前記所定領域を指定する指定手段を有する
ことを特徴とする請求項４または５に記載の内視鏡画像処理装置。