JP6145870B2 - 画像表示装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像表示装置および画像表示方法、並びに画像表示プログラムに関し、特に臓器等の解剖学的構造物に含まれる対象領域を疑似３次元画像として表示する画像表示装置および画像表示方法、並びに画像表示プログラムに関する。

近年、マルチスライスＣＴ（ＭＤＣＴ）等のモダリティの進歩により、質の高い３次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細な断面画像が用いられるだけでなく、被検体の仮想的・疑似的な３次元画像も用いられるようになってきる。さらに、画像認識技術を用いた３次元画像からの臓器構造の抽出等も行われており、より構造が識別された３次元画像から仮想的・疑似的な３次元画像を生成することが可能になり、生成された画像は、手術前のプランニング、シミュレーションや手術中のナビゲーションのためにも利用されている。

被検体の仮想的・疑似的な３次元画像を生成する手法としては、ボリュームレンダリングやサーフェスレンダリング等のレンダリング技術を用いた手法が知られている。

例えば、特許文献１、２には、内視鏡装置で撮影された内視鏡画像を取得し、ＣＴ画像などの３次元画像から内視鏡画像に類似する仮想内視鏡画像を生成して抽出し、内視鏡画像で視認できない病変領域を、内視鏡画像、または、内視鏡画像と類似するものとして抽出された仮想内視鏡画像中に重畳表示するという技術が開示されている。また、特許文献３には、内視鏡画像と、内視鏡画像と位置合わせされるように変形した仮想内視鏡画像とを比較可能に表示する技術が開示されている。

特開２００３−２６５４０８号公報 特開２０１１−１５２３２３号公報 特開２００８−０９３４４３号公報

しかし、手術の際に、手術対象の臓器などの解剖学的構造物を内視鏡などの撮像装置で撮像して得た２次元画像を観察しながら、解剖学的構造物内の直接視認できない手術上注目すべき領域について、上記２次元画像に対応する位置や形状をより正確に把握したいという要求がある。しかしながら、特許文献１ないし３に記載された手法では、上記要求に応えることは困難である。

本発明は上記事情に鑑みてなされたものであり、解剖学的構造物を表す２次元画像において解剖学的構造物中に含まれて直接視認できない対象領域について、患者の３次元画像に基づいて、２次元画像に対応する対象領域の位置や形状を好適に把握できるようにする参照画像を生成して表示する画像表示装置および画像表示方法、並びに画像表示プログラムを提供することを目的とするものである。

本発明の画像表示装置は、所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得部と、取得した第１の３次元画像中の対象領域を特定する対象領域情報を取得する対象領域取得部と、第１の撮像時に撮像された患者の解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得部と、取得した第１の２次元画像の撮像位置および第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得部と、第１の撮像位置情報の撮像位置に対応する第１の３次元画像の対応撮像位置と第１の撮像位置情報の撮像方向に対応する第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した第１の対応撮像位置情報に基づいて、第１の３次元画像から解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成部と、第１の擬似３次元画像と第１の２次元画像が互いに位置合わせされるように、第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得部と、取得された第１の変形情報に基づいて、第１の対応撮像位置情報の対応撮像方向に直交する方向に第１の３次元画像を３次元変形した第２の３次元画像を生成する変形部と、第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部とを備え、画像生成部は、第１の対応撮像位置情報と対象領域情報とに基づいて、第２の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第１の参照画像を生成するようにしたものである。

本発明の画像表示方法は、上記画像表示装置を作動させるための画像表示方法であって、所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得ステップと、取得した第１の３次元画像中の対象領域を特定する対象領域情報を取得する対象領域取得ステップと、第１の撮像時に撮像された患者の解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得ステップと、取得した第１の２次元画像の撮像位置および第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得ステップと、第１の対応撮像位置情報の撮像位置に対応する第１の３次元画像の対応撮像位置と第１の対応撮像位置情報の撮像方向に対応する第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した第１の対応撮像位置情報に基づいて、第１の３次元画像から解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成ステップと、第１の擬似３次元画像と第１の２次元画像が互いに位置合わせされるように、第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得ステップと、取得された第１の変形情報に基づいて、第１の対応撮像方向に直交する方向に第１の３次元画像を３次元変形した第２の３次元画像を生成する変形ステップと、第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部ステップを有する画像表示方法であって、画像生成ステップは、第１の対応撮像位置情報と対象領域情報とに基づいて、第２の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第１の参照画像を生成するステップを有するようにしたものである。

本発明の画像表示プログラムは、コンピュータを上記投影画像生成装置として機能させるために、上記投影画像生成装置の各手段を処理ステップとしてコンピュータに実行させるものである。

上記「擬似３次元画像」とは、Ｘ線ＣＴ装置やＭＲＩ装置等から得られる３次元画像に基づいて、３次元画像中の解剖学的構造物や病変領域などの対象領域を投影面上に立体的に陰影付けして投影した画像を意味する。例えば、擬似３次元画像として、ボリュームレンダリング画像、サーフィスレンダリング画像があげられる。

上記「対象領域」は、解剖学的構造物内に解剖学的構造物の表面によって視認できない態様で一部または全体が含まれている領域であればいかなるものも含む。例えば、対象領域を、解剖学的構造物の表面によって視認できない態様で含まれているさらなる解剖学的構造物としてもよい。また、対象領域を、解剖学的構造物の治療の対象となる病変領域としてもよい。また、「解剖学的構造物」は、所望の対象領域を視認できない態様で内包する患者の解剖学的構造物であれば、臓器や血管などあらゆるものを含む。一例として、解剖学的構造物が臓器であり、対象領域が臓器に含まれる血管とすることが好ましい。

本発明に係る画像表示装置において、画像生成部は、対応撮像位置方向とは異なる第１の３次元画像の第１の参照方向を取得し、取得した第１の参照方向に基づいて、第２の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第２の参照画像をさらに生成することが好ましい。

本発明に係る画像表示装置において、２次元画像取得部が、第１の撮像時とは異なる第２の撮像時に撮像された解剖学的構造物の表面を表す第２の２次元画像を取得し、撮像位置取得部が、取得した第２の２次元画像の撮像位置および第２の２次元画像の撮像方向を表す第２の撮像位置情報を取得し、変形情報取得部が、第１の２次元画像と第２の２次元画像が位置合わせされるように、第１の２次元画像を変形する変形量を表す第２の変形情報を取得し、変形部が、第２の変形情報に基づいて、対応撮像方向に直交する方向に第２の３次元画像をさらに３次元変形した第３の３次元画像を生成し、画像生成部は、第２の対応撮像位置情報と対象領域情報とに基づいて、第３の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第３の参照画像を生成することが好ましい。

本発明に係る画像表示装置において、画像生成部は、対応撮像位置方向とは異なる第３の３次元画像の第２の参照方向を取得し、取得した第２の参照方向に基づいて、第３の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第４の参照画像をさらに生成することが好ましい。

本発明に係る画像表示装置において、２次元画像取得部が、第１の撮像時とは異なる第３の撮像時に撮像された解剖学的構造物の表面を表す第３の２次元画像を取得し、変形情報取得部が、第１の２次元画像と第３の２次元画像が位置合わせされるように、第１の２次元画像を変形する変形量を表す第３の変形情報を取得し、変形部が、第３の変形情報に基づいて、対応撮像方向に直交する方向に第１の参照画像を２次元変形した第５の参照画像を生成してもよい。

本発明に係る画像表示装置において、対象領域取得部が、解剖学的構造物に内包される、さらなる解剖学的構造物領域を対象領域として取得する構造物取得部および／または解剖学的構造物に内包される病変領域を対象領域として取得する病変領域取得部を備えることが好ましい。

本発明では、所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得し、取得した第１の３次元画像中の対象領域を特定する対象領域情報を取得し、第１の撮像時に撮像された患者の解剖学的構造物の表面を表す第１の２次元画像を取得し、取得した第１の２次元画像の撮像位置および撮像方向を表す撮像位置情報を取得し、取得した第１の２次元画像の撮像位置および第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得し、第１の対応撮像位置情報の撮像位置に対応する第１の３次元画像の対応撮像位置と第１の対応撮像位置情報の撮像方向に対応する第１の３次元画像の対応撮像方向を表す第１の対応位置情報を取得し、取得した第１の対応撮像位置情報に基づいて、第１の３次元画像から解剖学的構造物の表面を表す第１の擬似３次元画像を生成し、第１の擬似３次元画像と第１の２次元画像が互いに位置合わせされるように、第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得し、取得された第１の変形情報に基づいて、第１の対応撮像方向に直交する方向に第１の３次元画像を３次元変形した第２の３次元画像を生成し、第１の対応撮像位置情報と対象領域情報とに基づいて、第２の３次元画像から、対象領域を視認可能に表示した擬似３次元画像である第１の参照画像を生成し、第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行うことができる。このため、第１の参照画像と解剖学的構造物の表面を表す２次元画像の比較表示または重畳表示を参照することにより、２次元画像では直接視認できない対象領域の形状や位置をより正確に把握することが可能となる。

第１の実施の形態における画像表示機能が実装された医用画像診断システムの概略構成図 第１の実施形態における画像表示機能を実現する構成および処理の流れを模式的に示したブロック図 第１の実施形態における画像表示装置の処理の流れを表したフローチャート 第１の実施形態における患者の内視鏡画像と同患者の３次元画像から生成される第１および第２の参照画像を説明するための図 第１の実施形態における患者の内視鏡画像と同患者の３次元画像から生成される擬似３次元画像の例を模式的に表した図 本発明の第１の実施形態における内視鏡画像と第１および第２の参照画像の表示例を模式的に表した図 本発明の第１の実施形態における肝臓に対する第１の参照画像の対応撮像方向と、第２の参照画像の投影方向とを示す図 第２および第３の実施形態における画像表示装置の処理の流れを表したフローチャート（その１） 第２の実施形態における画像表示装置の処理の流れを表したフローチャート（その２） 第３の実施形態における画像表示装置の処理の流れを表したフローチャート（その２） 第２および第３の実施形態における患者の内視鏡画像と同患者の３次元画像から生成される第３および第４の参照画像（または第５の参照画像）を説明するための図 第３の実施形態における患者の内視鏡画像と同患者の３次元画像から生成される第５の参照画像の例を模式的に表した図

図１は、本発明の第１の実施形態となる手術シミュレーション機能が実装された手術ナビゲーションシステム１０の概要を示すハードウェア構成図である。図１に示したように、このシステムは、内視鏡１０１、モダリティ１０５、処置具１０６、内視鏡用マーカー１０７、位置センサ１０８、画像処理ワークステーション１００から構成されている。

本実施形態では、内視鏡１０１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置１０３から光ファイバーで導かれた光が内視鏡１０１の先端部から照射され、内視鏡１０１の撮像光学系により被検体の腹腔内の画像が得られる内視鏡１０１での撮像信号の取得は所定のフレームレートで行われるので、ディスプレイ３では、内視鏡画像Ｅが腹腔内を表す動画として表示される。さらに、内視鏡１０１では、ユーザの操作に応じて静止画撮影も可能である。

モダリティ１０５は、被検体の検査対象部位を撮像することにより、その部位を表す３次元画像の画像データ（３次元画像Ｖ）を生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、ＣＴ、ＭＲＩなどが挙げられる。

本実施形態では、ＣＴで被検体である人体の体軸方向にスキャンすることによって人体の肝臓を含む腹部の３次元画像データを生成する場合について説明する。

図１に示すモダリティ１０５によって形成された３次元画像データＶは、画像処理ワークステーション１００を介して、ＬＡＮ経由で送信されて、不図示の画像保管サーバに記憶される。なお、画像保管サーバは、モダリティ１０５で取得された医用画像データや画像処理ワークステーション１００での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。画像表示装置１は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、必要に応じて観察対象患者の３次元画像ＶをＬＡＮ経由で画像保管サーバから取得し、画像表示装置１に内蔵された主記憶装置である３次元画像記憶部１１に記憶する。

内視鏡用マーカー１０７および位置センサ１０８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー１０７、内視鏡１０１の手元付近に設けられており、光学式の位置センサ１０８によって、所定の時間間隔で内視鏡用マーカー１０７の３次元位置が検出される。内視鏡用マーカー１０７は、複数のマーカー片から構成されているので、位置センサ１０８は、各マーカー片の位置関係から内視鏡１０１の向きも検出可能であり、オフセット計算によって、内視鏡１０１の先端部の３次元画像Ｖにおける対応撮像位置情報Ｓ_Ｖ ^ｔを算出することができる。位置センサ１０８は、算出された内視鏡の撮像位置ｗ_Ｅ ^ｔおよび撮像方向ｒ_Ｅ ^ｔを撮像位置情報Ｓ_Ｅ ^ｔとして取得し、ＵＳＢインターフェースを介して画像処理ワークステーション１００に送信する。

画像処理ワークステーション１００は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、コンピュータ本体である画像表示装置１、入力装置４（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ３を備えている。また、画像処理ワークステーション１００は、内視鏡１０１とモダリティ１０５とはＬＡＮ接続されており、位置センサ１０８とはＵＳＢ接続されている。さらに、画像処理ワークステーション１００は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の画像処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

図２は、第１の実施形態における画像表示装置１を機能レベルで分割したブロック図である。

図２に示したように、第１の実施形態における画像表示装置１は、血管領域および病変領域（対象領域）を内包する患者の臓器である肝臓（解剖学的構造物）を表す３次元画像_Ｖ（第１の３次元画像）を記憶する３次元画像記憶部１１と、３次元画像_Ｖを取得する３次元画像取得部１２と、３次元画像Ｖ中の対象領域を特定する対象領域情報を取得する対象領域取得部２１と、第１の撮像時ｔに撮像された患者の肝臓の表面を表す第１の２次元画像Ｅ^ｔを取得する２次元画像取得部２０と、取得した２次元画像Ｅ^ｔの撮像位置ｗ_Ｅ ^ｔおよび２次元画像Ｅ^ｔの撮像方向ｒ_Ｅ ^ｔを表す撮像位置情報Ｓ_Ｅ ^ｔを取得する撮像位置取得部１９と、撮像位置情報Ｓ_Ｅ ^ｔの撮像位置ｗ_Ｅ ^ｔに対応する第１の３次元画像の対応撮像位置ｗ_Ｖ ^ｔと第１の撮像位置情報の撮像方向ｒ_Ｅ ^ｔに対応する第１の３次元画像Ｖの対応撮像方向ｒ_Ｖ ^ｔを表す第１の対応位置情報Ｓ_Ｖ ^ｔを取得し、取得した第１の対応撮像位置情報Ｓ_Ｖ ^ｔに基づいて、第１の３次元画像Ｖから解剖学的構造物の表面を表す第１の擬似３次元画像Ｐ_Ａ ^ｔを生成する画像生成部１３と、第１の擬似３次元画像Ｐ_Ａ ^ｔと第１の２次元画像Ｅ_Ａ ^ｔが互いに位置合わせされるように、第１の擬似３次元画像Ｐ_Ａ ^ｔを変形する変形量を表す第１の変形情報Ｆ^ｔを取得する変形情報取得部１６と、取得された第１の変形情報Ｆ^ｔに基づいて、第１の対応撮像位置情報Ｓ_Ｖ ^ｔの対応撮像方向ｒ_Ｖ ^ｔに直交する方向に第１の３次元画像Ｖを３次元変形した第２の３次元画像Ｖ_Ａ ^ｔを生成する変形部１７と、第１の２次元画像Ｅ^ｔと第１の参照画像Ｐ_Ｂ ^ｔを比較表示または重畳表示する表示制御を行う表示制御部１８とから構成されている。また、対象領域取得部２１は、肝臓に内包される、血管領域Ｋを対象領域として取得する構造物取得部１４と解剖学的構造物に内包される病変領域Ｑを対象領域として取得する病変領域取得部１５を備えている。なお、図１に示したハードウェア機器と図１４に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。

本明細書の各実施形態では、患者の解剖学的構造物である肝臓を内視鏡１０１で撮像して得られた内視鏡画像Ｅと、同患者の３次元画像Ｖとに基づいて、肝臓内に視認できない態様で内包される血管領域Ｋと病変領域Ｑを表す参照画像を生成する例として、画像表示装置で行われる画像表示方法を説明する。図３は、本実施形態における画像表示処理の流れを表すフローチャートである。図４Ａは、患者の解剖学的構造物の表面を表す２次元画像である内視鏡画像Ｅと３次元画像Ｖに対して実施される各処理を説明するための概略図である。また図４Ａにおいて、破線Ｈ_１より左側が内視鏡画像を示し、破線Ｈ_１より右側が３次元画像に関する画像を示している。以下、図３に示したフローチャートと図４Ａを用いて、本実施形態における画像表示処理の流れを説明する。

なお、内視鏡１０１を用いた観察対象患者の腹腔内の観察に先立って、モダリティ１０５によって患者の胸部と腹部を撮像した３次元画像Ｖが形成されて不図示の画像保管サーバに記憶される。そして、画像処理ワークステーション１００では、不図示の画像保管サーバから患者の３次元画像Ｖが取得されて、画像処理ワークステーション１００の主記憶装置である３次元画像記憶部１１に記憶される。

まず、３次元画像取得部１２が、３次元画像記憶部１１から観察対象患者の３次元画像Ｖを取得する(Ｓ０１)。

次に、構造物領域取得部１４が、３次元画像Ｖ内の肝臓に内包される構造物領域Ｋを特定するデータである構造物領域情報を取得する（Ｓ０２）。本実施形態では、構造物領域取得部１４は、周知の血管抽出方法により、血管領域の位置を特定する構造物領域情報を取得する。

次に、病変領域取得部１５が、３次元画像Ｖから周知の手法により予め抽出された病変領域Ｑの位置を特定する病変情報データを取得する（Ｓ０３）。

次に、２次元画像取得部２０が、患者の腹腔内において第１の撮像時ｔに肝臓を撮像した内視鏡画像Ｅ^ｔを取得する（Ｓ０４）。内視鏡画像Ｅ^ｔには、図４Ａおよび図５に示されるように肝臓の外表面が表されている。

また、撮像位置取得部１９が、位置センサ１０８から、第１の撮像時ｔにおける内視鏡１０１の撮像位置ｗ_Ｅ ^ｔ、撮像方向ｒ_Ｅ ^ｔからなる撮像位置情報Ｓ_Ｅ ^ｔを取得する（Ｓ０５）。

なお、撮像位置取得部１９は、位置センサの３次元座標系における各座標軸と３次元画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元画像Ｖの原点に相当する被検体中の位置の、位置センサ１０８の３次元座標系における座標値を予め計測している。そして、この原点の座標値に基づいて、両座標軸の平行移動量を求めて、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ１０８の３次元座標系で表現された撮像位置ｗ_Ｅ ^ｔと撮像方向ｒ_Ｅ ^ｔを３次元画像Ｖの３次元座標系の座標値で表現された対応撮像位置ｗ_Ｖ ^ｔと対応撮像方向ｒ_Ｖ ^ｔに変換することができる。

続いて、画像生成部１３は、３次元画像Ｖの対応撮像位置ｗ_Ｖ ^ｔと、対応撮像方向ｒ_Ｖ ^ｔとを表す対応撮像位置情報Ｓ_Ｖ ^ｔに基づいて、対応撮像位置ｗ_Ｖ ^ｔを視点とし、対応撮像方向ｒ_Ｖ ^ｔに基づいて、３次元画像Ｖから肝臓の表面を表す仮想内視鏡画像である第１の擬似３次元画像Ｐ_Ａ ^ｔを生成する（Ｓ０６）。本実施形態は、第１の擬似３次元画像Ｐ_Ａ ^ｔは、サーフィスレンダリング画像として生成されるものとするが、これに替えてボリュームレンダリング画像として生成してもよい。

具体的には、画像生成部１３は、対応撮像方向ｒ_Ｖ ^ｔに基づいて、対応撮像方向ｒ_Ｖ ^ｔを、デフォルトの座標系のＺ軸方向と一致させるように座標系を回転させる回転行列Ｒ_Ｖ ^ｔを求める。そして、下記式（１）によって、回転行列Ｒ_Ｖ ^ｔの逆行列を用いて、デフォルトの３次元座標系における座標ｘ_Ｖを、上記対応撮像位置ｗ_Ｖ ^ｔを原点とし、対応撮像方向ｒ_Ｖ ^ｔをＺ軸とする３次元座標系の座標ｘ_Ｐ ^ｔに変換する。同様に各座標について式（１）の変換を施して、変換した座標系を算出し、変換された座標系においてｘｙ平面に平行な投影面に、肝臓表面に位置する画素を平行に投影することにより第１の擬似３次元画像Ｐ_Ａ ^ｔが生成される。この際、変換した座標系の原点と投影面との距離d、投影対象の座標の位置を(x, y, z)とすると、投影面に投影される位置は(x, y, d)となる。図４Ｂに、内視鏡画像Ｅ^ｔと、内視鏡画像Ｅ^ｔの撮影位置に対応する対応撮影位置情報に基づいて生成された擬似３次元画像である第１の擬似３次元画像Ｐ_Ａ ^ｔの例を示す。

なお、ここでは、平行投影変換による擬似３次元画像の生成手法を説明しているが、これに替えて、透視投影変換によって擬似３次元画像を生成してもよい。透視投影変換により擬似３次元画像を生成する場合には、デフォルトの３次元座標系における各座標に対して、上記同様に式（１）による変換を行う。そして、変換された座標系においてｘｙ平面に平行な投影面に、所望の画素を透視投影して第１の擬似３次元画像Ｐ_Ａ ^ｔが生成される。この際、変換した座標系の原点と投影面との距離d、投影対象の座標の位置を(x, y, z)とすると、投影面に投影される位置は(x×d/z, y×d/z, d)となる。

次に、変形情報取得部１６が、非剛体レジストレーション手法を用いて、第１の擬似３次元画像Ｐ_Ａ ^ｔと内視鏡画像Ｅ^ｔが互いに位置合わせされるように、第１の擬似３次元画像Ｐ_Ａ ^ｔを変形する変形量を表す第１の変形情報Ｆ^ｔを取得する（Ｓ０７）。

ここでは、第１の擬似３次元画像Ｐ_Ａ ^ｔの各画素にそれぞれの変形量を設定し、各変形量を徐々に変化させながら、第１の擬似３次元画像Ｐ_Ａ ^ｔの各画素を各変形量に基づいて変形した画像と内視鏡画像Ｅ^ｔとの類似度を表す所定の関数を最大化（最小化）することにより、第１の擬似３次元画像Ｐ_Ａ ^ｔと内視鏡画像Ｅ^ｔが互いに位置合わせされる各画素の変形量を取得する。そして、第１の擬似３次元画像Ｐ_Ａ ^ｔの各画素の変形量を規定する関数ｆ^ｔを変形情報Ｆ^ｔとして取得する。なお、変形後の第１の擬似３次元画像Ｐ_Ａ ^ｔの画素の座標ｘＰ_Ａ ^ｔと_、内視鏡画像Ｅ^ｔの座標ｘ_Ｅ ^ｔは、式（２）のように対応付けられる。

なお、非剛体レジストレーション手法とは、一方の画像の各画素を各変形量に基づいて移動させて、２つの画像の類似度を判定する所定の関数を最大化（最小化）することにより、２つの画像を互いに一致させるための上記一方の画像の各画素の変形量を算出する方法である。本実施形態に、２つの画像を互いに位置合わせする非剛体レジストレーション手法であれば、例えば、Rueckert D Sonoda LI，Hayesc，Ｅt al.、「Nonrigid Registration Using Free-Form Deformations：application to breast MR Images」、IEEE transactions on Medical Imaging、1999年、vol.18，No.8，pp.712-721等種々の周知の手法を適用することができる。

次に、変形部１７は、取得された第１の変形情報Ｆ^ｔに基づいて、３次元画像Ｖの対応撮像方向ｒ_Ｖ ^ｔに直交する方向に３次元画像Ｖを３次元変形した第２の３次元画像Ｖ_Ａ ^ｔを生成する（Ｓ０８）。

ここで、内視鏡画像Ｅ^ｔと第１の擬似３次元画像Ｐ_Ａ ^ｔは共に２次元画像であるため、変形情報取得部１６によって特定された変形情報Ｆ^ｔは、第１の擬似３次元画像Ｐ_Ａ ^ｔの投影面に平行な方向についての変形量である。このため、図４Ａの第２の３次元画像Ｖ_Ａ ^ｔに示すように、対応撮像方向ｒ_Ｖ ^ｔをｚ軸方向とした３次元画像の座標系において、３次元画像Ｖはｚ方向には変形されず、ｘ、ｙ方向（上記対応撮像方向ｒ_Ｖ ^ｔに直交する方向）に変形される。

変形部１７は、３次元画像Ｖの画素の座標をｘ_Ｖ、対応撮像位置をｗ_Ｖ ^ｔ、先述の回転行列をＲ_Ｖ ^ｔ、先述の第１の擬似３次元画像Ｐ_Ａ ^ｔの各画素の変形量を規定する関数をｆ^ｔとすると、第２の３次元画像Ｖ_Ａ ^ｔの画素の座標ｘ_ＶＡ ^ｔを、下記式（３）に基づいて算出する。

次に、画像生成部１３は、第２の３次元画像Ｖ_Ａ ^ｔを取得し、対応撮像位置情報Ｓ_Ｖ ^ｔと構造物領域情報と病変領域情報とに基づいて、第２の３次元画像Ｖ_Ａ ^ｔから、肝臓表面を半透明に表し、構造物領域Ｋと病変領域Ｑを不透明に表すサーフィスレンダリング画像である第１の参照画像Ｐ_Ｂ ^ｔを生成する（Ｓ０９）。生成された第１の参照画像Ｐ_Ｂ ^ｔは、内視鏡画像Ｅ^ｔの表面の情報である第１の変形情報Ｆ^ｔに基づいて、対応撮像方向ｒ_Ｖ ^ｔと直交する方向に、内視鏡画像Ｅ^ｔに位置合わせされて、肝臓の内部についても変形されているため、肝臓に含まれる構造物領域Ｋおよび病変領域Ｑも変形されて表示される。

また、画像生成部１３は、対応撮像位置情報Ｓ_Ｖ ^ｔと異なる参照位置情報を取得し、参照位置情報と構造物領域情報と病変領域情報とに基づいて、第２の３次元画像Ｖ_Ａ ^ｔから、肝臓表面を半透明に表し、構造物領域Ｋと病変領域Ｑを不透明に表すサーフィスレンダリング画像である第２の参照画像Ｐ_Ｃ ^ｔを生成する（Ｓ１０）。図５Ｂに、肝臓に対する第１の参照画像Ｐ_Ｂ ^ｔの対応撮像方向Ｈ_２と、第２の参照画像Ｐ_Ｃ ^ｔの投影方向Ｈ_３とを示す。画像生成部１３は、解剖学的構造物内部の対象領域を視認可能であれば任意の方向を投影方向として第２の参照画像Ｐ_Ｃ ^ｔを生成することができる。ここでは、肝臓内部の構造物領域Ｋと病変領域Ｑを容易に観察可能に表すように投影方向Ｈ_３が適宜設定され、第２の参照画像Ｐ_Ｃ ^ｔが生成されている。

表示制御部１８は、内視鏡画像Ｅ^ｔと第１の参照画像Ｐ_Ｂ ^ｔと第２の参照画像Ｐ_Ｃ ^ｔをディスプレイ３に表示させる表示制御を行う（Ｓ１１）。図５Ａに、内視鏡画像Ｅ^ｔと第１の参照画像Ｐ_Ｂ ^ｔと第２の参照画像Ｐ_Ｃ ^ｔの表示例を示す。

そして、図３に示すように、表示終了の指示を画像表示装置１が受け付けるまで（Ｓ１２、Ｎ）、２次元画像取得部２０は、撮像時ｔを所定間隔後の撮像時ｔ＋１に更新して（Ｓ１３）、Ｓ４−Ｓ１２の処理を繰り返す。一方、表示終了の指示を受け付けると（Ｓ１２、Ｙ）、表示処理を終了する。

上記の実施形態によれば、図５に示すように、３次元画像Ｖの撮像時と解剖学的構造物の表面を示す内視鏡画像Ｅ^ｔの撮像時とで解剖学的構造物の形状が変形していても、内視鏡画像Ｅ^ｔの撮像方向と対応する３次元画像Ｖの対応撮像方向と直交する方向については、解剖学的構造物の表面の変形に基づいて、解剖学的構造物内部の対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）を、内視鏡画像Ｅ^ｔと位置合わせして表示することができる。このため、第１の参照画像Ｐ_Ｂ ^ｔと内視鏡画像Ｅ^ｔとを比較することにより、解剖学的構造物内に含まれ、内視鏡画像Ｅ^ｔでは視認できない対象領域の形状や位置をより正確に把握することが可能となる。また、第１の参照画像Ｐ_Ｂ ^ｔを内視鏡画像Ｅ^ｔ上に重畳表示してもよく、この場合には、内視鏡画像Ｅ^ｔの解剖学的構造物の形状を把握しつつ、内視鏡画像Ｅ^ｔで解剖学的構造物内に含まれ、内視鏡画像Ｅ^ｔでは視認できない対象領域の形状や位置をより正確に把握することが可能となる。

また、変形した３次元画像Ｖ_Ａ ^ｔを生成することにより、３次元画像Ｖ_Ａ ^ｔに基づいて、ユーザの要求に応じて、投影方向や表示パラメータを種々に異ならせたさらなる参照画像を生成して表示することができる。

第１の実施形態のように、対応撮像方向とは異なる投影方向に、対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）を含むように、第２の参照画像Ｐ_Ｃ ^ｔを生成して表示した場合には、別角度からの参照画像Ｐ_Ｃ ^ｔも表示することで、解剖学的構造物内の対象領域をより立体的に容易に把握することができる。

また、第１の実施形態のように、対象領域取得部２１が、解剖学的構造物に内包される、さらなる解剖学的構造物の構造物領域Ｋ（ここでは血管領域）を対象領域として取得する構造物領域取得部１４および解剖学的構造物に内包される病変領域Ｑを対象領域として取得する病変領域取得部１５を備える場合には、病変領域Ｑが切除などの処置対象の場合に、病変領域Ｑへの解剖学的構造物へ処置具を接近させる経路を確認場合するなど、病変領域Ｑを確認しつつ注目すべき構造物領域Ｋを医師らが好適に把握することができる。例えば、肝臓の病変領域Ｑを削除する手術の際に、病変領域Ｑに処置具を接近させる経路などを確認する場合など、病変領域Ｑと血管領域を対象領域とすることで、病変領域Ｑに対する血管領域の相対的な位置や形状を医師らが好適に精度良く把握することができる。

また、第１の実施形態のように、所定間隔で解剖学的構造物の表面を表すさらなる２次元画像を取得し、さらなる２次元画像に基づいて、Ｓ０４―Ｓ１２の処理を繰り返して、さらなる第１の参照画像Ｐ_Ｂ ^ｔを生成して表示するため、内視鏡の撮影位置や撮影方向が時間の経過と共に変化する場合であっても、各撮影位置と撮影方向に応じて好適に位置合わせされた第１の参照画像Ｐ_Ｂ ^ｔを参照することができる。

以下、第２の実施形態について説明する。図６Ａ、６Ｂは第２の実施形態における画像処理装置の処理の流れを表したフローチャートを示す。また、図７Ａに、第２の実施形態における第１の内視鏡画像Ｅ^ｔ−１、第２の内視鏡画像Ｅ^ｔ（さらなる内視鏡画像Ｅ^ｔ）と、３次元画像から生成される各画像を模式的に示している。第２の実施形態について、さらなる内視鏡画像Ｅ^ｔ（解剖学的構造物の表面を表すさらなる２次元画像）を受け付けた後の変形情報取得部１６と変形部１７の処理が第１の実施形態と異なり、その他の部分については、第１の実施形態と図１に示す各構成要素の機能はほぼ共通している。このため、第２の実施形態では、第１の実施形態と異なる部分を中心に説明し、共通する部分は重複説明を避けるため説明を省略する。

以下、図６Ａと図６Ｂと図７Ａを用いて、第２の実施形態における処理の流れを説明する。

まず、第２の実施形態における画像表示装置１は、第１の実施形態と同様に、Ｓ３１−Ｓ４１の処理を行う。なお、図６ＡのＳ３１−Ｓ４１に示す処理は、図３に示すＳ０１−Ｓ１１と対応する処理である。

次に、画像表示装置１は、撮像時ｔを所定間隔後の撮像時ｔ＋１に更新する（Ｓ４２）。そして、図６Ｂおよび図４Ａに示すように、２次元画像取得部２０が、内視鏡１０１から第２の撮像時ｔに撮像された肝臓の表面を表すさらなる内視鏡画像Ｅ^ｔ（第２の２次元画像）を取得すると（Ｓ４３、Ｙ）、撮像位置取得部１９が、位置センサ１０８から、第２の撮像時ｔにおける内視鏡１０１の撮像位置ｗ_Ｅ ^ｔ、撮像方向ｒ_Ｅ ^ｔからなる第２の撮像位置情報Ｓ_Ｅ ^ｔを取得する（Ｓ４４）。

次いで、変形情報取得部１６は、内視鏡画像Ｅ^ｔ−１（第１の２次元画像）と内視鏡画像Ｅ^ｔが位置合わせされるように、さらなる内視鏡画像Ｅ^ｔを変形する変形量を表す第２の変形情報Ｆ^ｔを取得する（Ｓ４５）。

変形情報取得部１６は、内視鏡画像Ｅ^ｔ−１の各画素にそれぞれの変形量を設定し、各変形量を徐々に変化させながら、内視鏡画像Ｅ^ｔ−１の各画素を各変形量に基づいて変形した画像と内視鏡画像Ｅ^ｔとの類似度を表す所定の関数を最大化（最小化）することにより、内視鏡画像Ｅ^ｔ−１と内視鏡画像Ｅ^ｔが互いに位置合わせされる各画素の変形量を取得する。そして、内視鏡画像Ｅ^ｔ−１の各画素の変形量を規定する関数ｆ_Ｅ ^ｔを変形情報Ｆ_Ｅ ^ｔとして取得する。内視鏡画像Ｅ^ｔ−１の座標ｘ_Ｅ ^ｔ−１と、さらなる内視鏡画像Ｅ^ｔの座標ｘ_Ｅ ^ｔは、下記式（４）のように対応付けられる。なお、内視鏡画像Ｅ^ｔ−１とさらなる内視鏡画像Ｅ^ｔは共に２次元画像であるため、内視鏡画像Ｅ^ｔ−１の各画素の変形量を規定する上記関数ｆ_Ｅ ^ｔは、内視鏡画像Ｅ^ｔ−１の撮像方向ｒ_Ｅ ^ｔ−１と直交する方向の変形量を規定している。また、位置合わせの対象となる画像が第１の実施形態とは異なることを除いて、第２の変形情報Ｆ^ｔの取得方法は、第１の変形情報Ｆ^ｔの取得方法と同様である。

次に変形部１７が、第２の変形情報Ｆ_Ｅ ^ｔに基づいて、第１の実施形態のＳ０８と同様に、対応撮像方向ｒ_Ｖ ^ｔに直交する方向に第２の３次元画像Ｖ_Ａ ^ｔ−１をさらに３次元変形した第３の３次元画像Ｖ_Ａ ^ｔを生成する（Ｓ４６）。

変形部１７は、第２の撮像位置情報Ｓ_Ｅ ^ｔに基づいて、３次元画像Ｖにおける第２の撮像時ｔの対応撮像位置ｗ_Ｖ ^ｔと第２の撮像時ｔの対応撮像方向ｒ_Ｖ ^ｔを取得する。さらに、変形部１７は、第１の撮像時ｔ−１の対応撮像位置ｗ_Ｖ ^ｔ-１と、第１の撮像時ｔ−１の対応撮像方向ｒ_Ｖ ^ｔ−１をデフォルトの座標系のＺ軸方向と一致させるように座標系を回転させる回転行列Ｒ_Ｖ ^ｔ-1と、第２の撮像時ｔの対応撮像方向ｒ_Ｖ ^ｔをデフォルトの座標系のＺ軸方向と一致させるように座標系を回転させる回転行列Ｒ_Ｖ ^ｔと、先述の内視鏡画像Ｅ^ｔ−１の各画素の変形量を規定する関数をｆ_Ｅ ^ｔとを取得する。そして、変形部１７は、これらに基づいて、第２の３次元画像Ｖ_Ａ ^ｔ-１の画素の座標をｘ_ＶＡ ^ｔ-１とすると、第２の３次元画像Ｖ_Ａ ^ｔの画素の座標ｘ_ＶＡ ^ｔを、下記式（５）に基づいて算出する。

そして、式（５）に基づいて、図４Ａの第３の３次元画像Ｖ_Ａ ^ｔに示すように、対応撮像方向ｒ_Ｖ ^ｔ−１をｚ軸方向とすると、３次元画像Ｖ_Ａ ^ｔ−１はｚ方向には変形されず、ｘ、ｙ方向（上記対応撮像方向ｒ_Ｖ ^ｔ−１に直交する方向）に変形されて、第３の３次元画像Ｖ_Ａ ^ｔが生成される。

そして、画像生成部１３は、第１の実施形態のＳ０９と同様に、対応撮像位置情報Ｓ _Ｖ ^ｔ と構造物領域情報と病変領域情報とに基づいて、第３の３次元画像Ｖ_Ａ ^ｔから、肝臓に含まれる対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）を視認可能に表示したサーフィスレンダリング画像である第３の参照画像Ｐ_Ｂ ^ｔを生成する（Ｓ４７）。

また、画像生成部１３は、第１の実施形態のＳ１０と同様に、対応撮像方向ｒ_Ｖ ^ｔとは異なる第３の３次元画像Ｖ_Ａ ^ｔの参照方向を取得し、取得した第２の参照方向に基づいて、第３の３次元画像から、肝臓に含まれる対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）を視認可能に表示したサーフィスレンダリング画像である第４の参照画像Ｐ_Ｃ ^ｔを生成する（Ｓ４８）。画像生成部１３は、解剖学的構造物内部の対象領域を視認可能であれば任意の方向を投影方向として第４の参照画像Ｐ_Ｃ ^ｔを生成することができる。ここでは、肝臓内部の構造物領域Ｋと病変領域Ｑを容易に観察可能に表すように、投影方向が適宜設定され、第４の参照画像Ｐ_Ｃ ^ｔが生成されている。

表示制御部１８は、内視鏡画像Ｅ^ｔと第３の参照画像Ｐ_Ｂ ^ｔと第４の参照画像Ｐ_Ｃ ^ｔをディスプレイ３に表示させる表示制御を行う（Ｓ４９）。この場合も、図５Ａに示す例のように、内視鏡画像Ｅ^ｔと第３の参照画像Ｐ_Ｂ ^ｔと第４の参照画像Ｐ_Ｃ ^ｔが表示される。

一方、図６Ｂに示すように、さらなる２次元画像Ｅ^ｔ＋１がない場合には（Ｓ４３、Ｎ）、表示終了の指示を画像表示装置１が受け付けるまで（Ｓ５０、Ｎ）、Ｓ４２−Ｓ４９の処理を繰り返す。一方、表示終了の指示を受け付けると（Ｓ５０、Ｎ）、表示処理を終了する。

第２の実施形態によれば、内視鏡画像Ｅ^ｔ−１からさらなる内視鏡画像Ｅ^ｔへの画像の変形に応じて、解剖学的構造物に内包されて直接視認できない対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）の位置や形状を精度良く把握可能な第３の参照画像Ｐ_Ｂ ^ｔを生成表示できる。また、過去の参照画像Ｐ_Ｂ ^ｔ−１の作成経過で生成された３次元画像Ｖ_Ａ ^ｔ−１を利用して、さらなる内視鏡画像Ｅ^ｔに対応する３次元画像Ｖ_Ａ ^ｔを生成することで、さらなる内視鏡画像Ｅ^ｔに対応する第３の参照画像Ｐ_Ｂ ^ｔの生成処理の処理負担を低減できる。なお、撮像方向が大きく変動しない場合に第２の実施形態を適用することが好ましい。

また、さらなる内視鏡画像Ｅ^ｔに対応するように変形した３次元画像Ｖ_Ａ ^ｔを生成することにより、３次元画像Ｖ_Ａ ^ｔに基づいて、さらなる画像を生成して表示することができるため、ユーザの要求に応じて、撮像方向や表示パラメータを種々に異ならせたさらなる参照画像を生成して表示することができる。

第２の実施形態のように、対応撮像方向とは異なる投影方向に、対象領域を含むように、第４の参照画像Ｐ_Ｃ ^ｔを生成して表示した場合には、別角度からの参照画像Ｐ_Ｃ ^ｔも表示することで、解剖学的構造物内の対象領域をより立体的に容易に把握することができる。

また、第２の実施形態において、さらなる内視鏡画像Ｅ^ｔを受け取った場合に（Ｓ４３、Ｙ）、内視鏡画像Ｅ^ｔ−１とさらなる内視鏡画像Ｅ^ｔとの差異が大きいことを示す所定の判定条件を満たす場合には、さらなる内視鏡画像Ｅ^ｔに対して、Ｓ３３−Ｓ４１に示す処理を行い、上記判定条件を満たさない場合には、Ｓ４４−Ｓ４９に示す処理を行うようにしてもよい。この場合には、内視鏡画像Ｅ^ｔ−１とさらなる内視鏡画像Ｅ^ｔとの差異に応じて、より好適に内視鏡画像Ｅ^ｔに対応する参照画像Ｐ_Ｂ ^ｔを生成表示することができる。判定条件として、例えば、内視鏡画像Ｅ^ｔ−１の撮像位置とさらなる内視鏡画像Ｅ^ｔの撮像位置との差が所定値より大きいという条件、あるいは、内視鏡画像Ｅ^ｔ−１の撮像方向とさらなる内視鏡画像Ｅ^ｔ撮像方向の角度が所定値よりも大きいなどの条件を用いることができる。

以下、第３の実施形態について説明する。図６Ａ、６Ｃは第３の実施形態における画像処理装置の処理の流れを表したフローチャートを示す。第３の実施形態では、変形部１７が第２の変形情報に基づいて変形させる対象画像が第２の実施形態と異なり、その他の部分については、図１に示す各構成要素の機能は第２の実施形態と共通している。このため、第３の実施形態では、第２の実施形態と異なる部分を中心に説明し、第２の実施形態と共通する部分は重複説明を避けるため説明を省略する。

以下、図６Ａと図６Ｃと図７Ａを用いて、第３の実施形態における処理の流れを説明する。なお、図７Ａにおいて、第３の実施形態で生成される画像の概念図が例示される。

まず、第３の実施形態における画像表示装置１は、第２の実施形態と同様に、Ｓ３１−Ｓ４１の処理を行う。なお、図６ＡのＳ３１−Ｓ４１に示す処理は、図３に示すＳ０１−Ｓ１１と対応する処理である。

続いて、図６Ｃおよび図４Ａに示すように、画像表示装置１は、撮像時ｔを所定間隔後の撮像時ｔ＋１に更新する（Ｓ６１）。そして、２次元画像取得部２０が、内視鏡１０１から第２の撮像時ｔに撮像された肝臓の表面を表すさらなる内視鏡画像Ｅ^ｔ（第３の２次元画像）を取得すると（Ｓ６２、Ｙ）、変形情報取得部１６は、内視鏡画像Ｅ^ｔ−１（第１の２次元画像）と内視鏡画像Ｅ^ｔが位置合わせされるように、さらなる内視鏡画像Ｅ^ｔを変形する変形量を表す第３の変形情報Ｆ_Ｅ ^ｔを取得する（Ｓ６３）。なお、図６ＣのＳ６１−Ｓ６３に示す処理は、図６Ｂに示すＳ４２、Ｓ４３、Ｓ４５とそれぞれ対応する処理である。

次に、画像生成部１３は、図７Ａの矢印Ｈ_４に示すように、第３の変形情報Ｆ_Ｅ ^ｔに基づいて、対応撮像方向ｒ_Ｖ ^ｔ−１に直交する方向に第１の参照画像Ｐ_Ｂ ^ｔ−１を２次元変形した第５の参照画像Ｐ_Ｂ ^ｔを生成する（Ｓ６４）。

なお、第２の実施形態でも述べたように、内視鏡画像Ｅ^ｔ−１と内視鏡画像Ｅ^ｔは共に２次元画像であるため、変形情報取得部１６によって特定された第３の変形情報Ｆ^ｔにおける変形量は、内視鏡画像Ｅ^ｔ−１の撮像方向ｒ_Ｅ ^ｔ−１と直交する方向の変形量を表していると考えられる。内視鏡画像Ｅ^ｔ−１に位置合わせされて作成された参照画像Ｐ_Ｂ ^ｔ−１は、すでに内視鏡画像Ｅ^ｔ−１とは、互いに対応する座標および撮像方向ｒ_Ｅ ^ｔ−１に対応する対応撮像方向ｒ_Ｖ ^ｔ−１が位置合わせされている。このため、第３の実施形態では、第３の変形情報Ｆ_Ｅ ^ｔとして得られた、内視鏡画像Ｅ^ｔ−１の座標系（内視鏡１０１の座標系）における、内視鏡画像Ｅ^ｔ−１を内視鏡画像Ｅ^ｔに位置合わせする変形量を規定する関数ｆ_Ｅ ^ｔを、上記参照画像Ｐ_Ｂ ^ｔ−１の変形量を規定する関数として用いて、この参照画像Ｐ_Ｂ ^ｔ−１を変形することで、内視鏡画像Ｅ^ｔ−１から内視鏡画像Ｅ^ｔへの画像変形を、第１の参照画像Ｐ_Ｂ ^ｔに反映する。すなわち、下記式（６）に示すように、参照画像Ｐ_Ｂ ^ｔ−１の座標ｘ_ＰＢ ^ｔ−１に、内視鏡画像Ｅ^ｔ−１を内視鏡画像Ｅ^ｔに位置合わせする変形量を規定する関数ｆ_Ｅ ^ｔを適用して、第５の参照画像Ｐ_Ｂ ^ｔの座標ｘ_ＰＢ ^ｔを算出する。

そして、表示制御部１８は、内視鏡画像Ｅ^ｔと第５の参照画像Ｐ_Ｂ ^ｔをディスプレイ３に表示させる表示制御を行う（Ｓ６５）。図７Ｂに、第３の実施形態の内視鏡画像Ｅ^ｔと第５の参照画像Ｐ_Ｂ ^ｔの表示例を示す。

そして、図６Ｃに示すように、さらなる内視鏡画像Ｅ^ｔがない場合には（Ｓ６２、Ｎ）、表示終了の指示を画像表示装置１が受け付けるまで（Ｓ６６、Ｎ）、Ｓ６１−Ｓ６５の処理を繰り返す。一方、表示終了の指示を受け付けると（Ｓ６６、Ｙ）、表示処理を終了する。

第３の実施形態によれば、内視鏡画像Ｅ^ｔ−１からさらなる内視鏡画像Ｅ^ｔへの画像の変形に応じて、解剖学的構造物に内包されて直接視認できない対象領域（ここでは、構造物領域Ｋおよび病変領域Ｑ）の位置や形状を精度良く把握可能な第５の参照画像Ｐ_Ｂ ^ｔを生成表示できる。また、過去に作成された参照画像Ｐ_Ｂ ^ｔ−１が内視鏡画像Ｅ^ｔ−１とがすでに位置合わせされていることを利用して、過去に生成された第１の参照画像Ｐ_Ｂ ^ｔ−１を変形してさらなる内視鏡画像Ｅ^ｔに対応する第５の参照画像Ｐ_Ｂ ^ｔを生成するため、第５の参照画像Ｐ_Ｂ ^ｔの生成処理の処理負担を低減できる。なお、撮像方向が大きく変動しない場合に第３の実施形態を適用することが好ましい。

また、第３の実施形態において、さらなる内視鏡画像Ｅ^ｔを受け取った場合に（Ｓ６３、Ｙ）、内視鏡画像Ｅ^ｔ−１とさらなる内視鏡画像Ｅ^ｔとの差異が大きいことを示す所定の判定条件を満たす場合には、さらなる内視鏡画像Ｅ^ｔに対して、Ｓ３３−Ｓ４１に示す処理を行い、上記判定条件を満たさない場合には、Ｓ６３−６５に示す処理を行うようにしてもよい。この場合には、内視鏡画像Ｅ^ｔ−１とさらなる内視鏡画像Ｅ^ｔとの差異に応じて、より好適に内視鏡画像Ｅ^ｔに対応する参照画像Ｐ_Ｂ ^ｔを生成表示することができる。判定条件として、例えば、内視鏡画像Ｅ^ｔ−１の撮像位置とさらなる内視鏡画像Ｅ^ｔの撮像位置との差が所定値より大きいという条件、あるいは、内視鏡画像Ｅ^ｔ−１の撮像方向とさらなる内視鏡画像Ｅ^ｔ撮像方向の角度が所定値よりも大きいなどの条件を用いることができる。

なお、本明細書の各実施形態では、２次元画像取得部２０は、撮像時ｔを更新するごとに、内視鏡１０１から取得される動画像のうち撮像時ｔに対応するフレーム画像をさらなる内視鏡画像Ｅ^ｔとしている。なお、本各実施形態に限定されず、第２の撮像時ｔは第１の撮像時ｔ−１と異なるものであればよい。また、上記各実施形態において、さらなる２次元画像を、一定の時間間隔でなく、それぞれ任意のタイミングで撮像したものとすることができる。

上記第２及び第３の実施形態において、第１の撮像時に撮像された２次元画像として、さらなる内視鏡画像Ｅ^ｔの直前に取得された内視鏡画像Ｅ^ｔ−１を用いたが、これに替えて、第１の撮像時に撮像された内視鏡画像として、過去に撮影された内視鏡画像のうち任意の内視鏡画像Ｅ^ｔ−ｊ（０≦ｊ＜ｔ）を用いてよい。

また、ハードウェア構成については、図１のモダリティ１０５は、上記の_Ｃ ^Ｔ装置のほか、超音波診断装置やＭＲＩ装置等を用いてもよい。また、図１の内視鏡１０１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。さらに、撮像位置取得部１９やは、磁気式のものを用いてもよいし、例えば特開２００５−２１３５３号公報に記載されているように、ジャイロやロータリーエンコーダ等を用いてもよい。

また、上記各実施形態において、対象領域情報は、公知の画像認識技術を用いた自動的方法によって抽出されたものであってもよく、ユーザの手動操作によって抽出されたものであってもよく、両者を組み合わせた方法で抽出されたものであってもよい。また、対象領域取得部２１は、予め３次元画像Ｖの付帯情報として関連づけられた対象領域（本実施形態においては病変領域Ｑおよび／または構造物領域Ｋ）の情報を取得してもよく、３次元画像Ｖから方法によって対象領域を抽出して取得するようにしてもよい。

また、上記各実施形態において、病変領域取得部１５または構造物領域取得部１４のいずれかを省略した構成としてもよい。また、上記実施形態において、肝臓を肺などの他の臓器や、他の解剖学的構造物としてもよい。なお、上記実施形態に限定されず、対象領域取得部２１は、解剖学的構造物内に含まれる注目すべき領域など対象領域を任意に設定することができる。

上記各実施形態において、各参照画像を、透視投影法により生成されたものとしても良く、平行投影法により生成されたものとしてもよい。

「撮像位置」は、ユーザの手動操作によって設定された位置としてもよいし、３次元画像の座標空間における、撮像位置取得手段によってリアルタイムに検出された被検体の体腔内に挿入された内視鏡の位置に対応する位置としてもよい。

各実施形態において、内視鏡画像Ｅ^ｔと位置合わせされるように生成された参照画像Ｐ_Ｂ ^ｔを、内視鏡画像Ｅ^ｔと比較表示してもよく、２次元画像上と参照画像Ｐ_Ｂ ^ｔに基づいて、２次元画像上の解剖学的構造物上に対象領域が擬似３次元な画像として重畳表示されるようにしてもよい。

また、上記各実施形態において、内視鏡画像を例に用いているが、解剖学的構造物の表面を表す２次元画像であれば、内視鏡装置以外の種類のカメラによって撮像されたものでもよい。

上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。

１ 画像表示装置
３ ディスプレイ
１０ 手術ナビゲーションシステム
１１ ３次元画像記憶部
１２ ３次元画像取得部
１３ 画像生成部
１４ 構造物領域取得部
１５ 病変領域取得部
１６ 変形情報取得部
１７ 変形部
１８ 表示制御部
１９ 撮像位置取得部
２０ ２次元画像取得部
２１ 対象領域取得部
１０１ 内視鏡
１０５ モダリティ
１０６ 処置具
１０７ 内視鏡用マーカー
１０８ 位置センサ
１００ 画像処理ワークステーション
Ｆ^ｔ 第１の変形情報、第２の変形情報
Ｋ 血管領域（対象領域）
Ｐ_Ａ ^ｔ 第１の擬似３次元画像（仮想内視鏡画像）
Ｐ_Ｂ ^ｔ 第１、第３、第５の参照画像（内視鏡画像と位置合わせされた擬似３次元画像）
Ｐ_Ｃ ^ｔ 第２、第４の参照画像
Ｑ 病変領域（対象領域）
ｒ_Ｅ ^ｔ 撮像方向
ｒ_Ｖ ^ｔ 対応撮像方向
Ｓ_Ｅ ^ｔ 撮像位置情報
Ｓ_Ｖ ^ｔ 対応撮像位置情報
ｔ 撮像時
Ｖ ３次元画像
Ｖ_Ａ ^ｔ 第１の３次元画像
Ｖ_Ｂ ^ｔ 第２の３次元画像
ｗ_Ｅ ^ｔ 撮像位置
ｗ_Ｖ ^ｔ 対応撮像位置

Claims (9)

1. 所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得部と、
   取得した前記第１の３次元画像中の前記対象領域を特定する対象領域情報を取得する対象領域取得部と、
   第１の撮像時に撮像された前記患者の前記解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得部と、
   前記取得した第１の２次元画像の撮像位置および前記第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得部と、
   前記第１の撮像位置情報の前記撮像位置に対応する前記第１の３次元画像の対応撮像位置と前記第１の撮像位置情報の前記撮像方向に対応する前記第１の３次元画像の対応撮像方向を表す第１の対応撮像位置情報を取得し、取得した該第１の対応撮像位置情報に基づいて、前記第１の３次元画像から前記解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成部と、
   前記第１の擬似３次元画像と前記第１の２次元画像が互いに位置合わせされるように、前記第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得部と、
   取得された前記第１の変形情報に基づいて、前記第１の対応撮像位置情報の前記対応撮像方向に直交する方向に前記第１の３次元画像を３次元変形した第２の３次元画像を生成する変形部と、
   前記第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部とを備え、
   前記画像生成部は、前記第１の対応撮像位置情報と前記対象領域情報とに基づいて、前記第２の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である前記第１の参照画像を生成する画像表示装置。
2. 前記画像生成部は、前記第１の対応撮像位置情報の前記対応撮像方向とは異なる前記第１の３次元画像の第１の参照方向を取得し、取得した該第１の参照方向に基づいて、前記第２の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である第２の参照画像をさらに生成する請求項１記載の画像表示装置。
3. 前記２次元画像取得部が、前記第１の撮像時とは異なる第２の撮像時に撮像された前記解剖学的構造物の表面を表す第２の２次元画像を取得し、
   前記撮像位置取得部が、前記取得した第２の２次元画像の撮像位置および前記第２の２次元画像の撮像方向を表す第２の撮像位置情報を取得し、
   前記変形情報取得部が、前記第１の２次元画像と前記第２の２次元画像が位置合わせされるように、前記第１の２次元画像を変形する変形量を表す第２の変形情報を取得し、
   前記変形部が、前記第２の変形情報に基づいて、前記第２の２次元画像の撮像方向に対応する前記第２の３次元画像の対応撮像方向に直交する方向に前記第２の３次元画像をさらに３次元変形した第３の３次元画像を生成し、
   前記画像生成部が、前記第２の撮像位置情報の前記撮像位置に対応する前記第３の３次元画像の対応撮像位置と前記第２の撮像位置情報の前記撮像方向に対応する前記第３の３次元画像の対応撮像方向を表す第２の対応撮像位置情報を取得し、前記第２の対応撮像位置情報と前記対象領域情報とに基づいて、前記第３の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である第３の参照画像を生成する請求項１または２記載の画像表示装置。
4. 前記画像生成部は、前記第２の対応撮像位置情報の前記対応撮像方向とは異なる前記第３の３次元画像の第２の参照方向を取得し、取得した該第２の参照方向に基づいて、前記第３の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である第４の参照画像をさらに生成する請求項３記載の画像表示装置。
5. 前記２次元画像取得部が、前記第１の撮像時とは異なる第３の撮像時に撮像された前記解剖学的構造物の表面を表す第３の２次元画像を取得し、
   前記変形情報取得部が、前記第１の２次元画像と前記第３の２次元画像が位置合わせされるように、前記第１の２次元画像を変形する変形量を表す第３の変形情報を取得し、
   前記変形部が、前記第３の変形情報に基づいて、前記第１の参照画像を２次元変形した第５の参照画像を生成する請求項１から３のいずれか１項記載の画像表示装置。
6. 前記対象領域取得部が、前記解剖学的構造物に内包される、さらなる解剖学的構造物領域を対象領域として取得する構造物取得部および／または前記解剖学的構造物に内包される病変領域を対象領域として取得する病変領域取得部を備える請求項１から５のいずれか１項記載の画像表示装置。
7. 前記解剖学的構造物が臓器であり、前記対象領域が前記臓器に含まれる血管である請求項６記載の画像表示装置。
8. 画像表示装置を作動させるための画像表示方法であって、
   所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得ステップと、
   取得した前記第１の３次元画像中の前記対象領域を特定する対象領域情報を取得する対象領域取得ステップと、
   第１の撮像時に撮像された前記患者の前記解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得ステップと、
   前記取得した第１の２次元画像の撮像位置および該第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得ステップと、
   前記第１の対応撮像位置情報の撮像位置に対応する前記第１の３次元画像の対応撮像位置と前記第１の対応撮像位置情報の前記撮像方向に対応する前記第１の３次元画像の対応撮像方向を表す第１の対応撮像位置情報を取得し、取得した該第１の対応撮像位置情報に基づいて、前記第１の３次元画像から前記解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成ステップと、
   前記第１の擬似３次元画像と前記第１の２次元画像が互いに位置合わせされるように、前記第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得ステップと、
   取得された前記第１の変形情報に基づいて、前記第１の前記対応撮像方向に直交する方向に前記第１の３次元画像を３次元変形した第２の３次元画像を生成する変形ステップと、
   前記第１の前記対応撮像位置情報と前記対象領域情報とに基づいて、前記第２の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である前記第１の参照画像を生成するステップと、
   前記第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部ステップを有する画像表示方法。
9. コンピュータを、
   所望の対象領域を内包する患者の解剖学的構造物を表す第１の３次元画像を取得する３次元画像取得部と、
   取得した前記第１の３次元画像中の前記対象領域を特定する対象領域情報を取得する対象領域取得部と、
   第１の撮像時に撮像された前記患者の前記解剖学的構造物の表面を表す第１の２次元画像を取得する２次元画像取得部と、
   前記取得した第１の２次元画像の撮像位置および撮像方向を表す撮像位置情報を取得する撮像位置取得部と、
   前記取得した第１の２次元画像の撮像位置および該第１の２次元画像の撮像方向を表す第１の撮像位置情報を取得する撮像位置取得部と、
   前記第１の対応撮像位置情報の撮像位置に対応する前記第１の３次元画像の対応撮像位置と前記第１の対応撮像位置情報の前記撮像方向に対応する前記第１の３次元画像の対応撮像方向を表す第１の対応撮像位置情報を取得し、取得した該第１の対応撮像位置情報に基づいて、前記第１の３次元画像から前記解剖学的構造物の表面を表す第１の擬似３次元画像を生成する画像生成部と、
   前記第１の擬似３次元画像と前記第１の２次元画像が互いに位置合わせされるように、前記第１の擬似３次元画像を変形する変形量を表す第１の変形情報を取得する変形情報取得部と、
   取得された前記第１の変形情報に基づいて、前記第１の前記対応撮像方向に直交する方向に前記第１の３次元画像を３次元変形した第２の３次元画像を生成する変形部と、
   前記第１の２次元画像と第１の参照画像を比較表示または重畳表示する表示制御を行う表示制御部として機能させる画像表示プログラムであって、
   前記画像生成部は、前記第１の前記対応撮像位置情報と前記対象領域情報とに基づいて、前記第２の３次元画像から、前記対象領域を視認可能に表示した擬似３次元画像である前記第１の参照画像を生成する画像表示プログラム。