JP5137033B2 - 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム - Google Patents

Description

本発明は、内視鏡により撮像された画像に関する情報を術者等に提供する手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムに関する。

従来から、内視鏡等の手術器具が患者の体内に挿入されたときに、当該手術器具の先端の正確な位置を術前に撮影されたＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）による画像上に表示し、術者を支援する手術ナビゲーション（手術支援情報表示）が行われている。しかしながら、これらの方法は何れも手術器具やポインタなど器具の先端の位置を表示するのみで、内視鏡で撮像している部位が、ＣＴやＭＲＩによる術前画像のどの部分に相当するかを表示するものではない。

もし、内視鏡で撮像している部位（内視鏡のモニタに表示されている術野）が術前のＣＴ等による画像のどこに相当するのかを確認することができれば、例えば術者は左手に持った内視鏡で操作を加える場所を直視下に確認し、それが術前のＣＴ等による画像のどの部位を観察しているかを認識しながら、右手で自由に任意の手術器具を持ち替えて手術操作を連続して行うことができる。これにより手術器具には特殊なマーカを必要とせず、あらゆる器具を制限無く使用することができる。

これを解決する技術として、特許文献１において開示されているような、内視鏡で観察している部位を術前画像（ＣＴ／ＭＲＩ）に表示するものがある。
特開２００１−２０４７３８号公報

しかしながら、特許文献１に記載された方法は、患者の体内に挿入される挿入部の先端から患者体内の術部までの距離を測定する距離測定手段（スポット光照射による三角測量法や超音波センサ等）を有する内視鏡を用いている。従って、この方法は、新たに特殊な内視鏡を必要とするという問題点がある。また、距離測定手段を有することにより、内視鏡の構造が複雑になると、消毒等の日常業務で内視鏡あるいはこれらの付加的な構成要素が損傷するおそれがある。また、内視鏡手術では、吸引管等の手術器具が内視鏡先端と患者体内の術部の間に入ることが多く、この場合には内視鏡の先端から患者体内の術部までの距離を正確に測定することが困難になる。更に、超音波センサを用いる場合は、例えば脳脊髄液や副鼻腔内の浸出液等の中では、超音波の速度が空気中とは異なるため、その速度を正確に知る必要がある。しかしながら、脳脊髄液や浸出液に代表される体液は、個人差が大きい上に腫瘍や炎症等の病状に影響されてその組成が変わるので、超音波の速度を正確に算出することが不可能である。そのため、内視鏡先端から患者体内の術部までの距離の算出が正確にできないという問題点がある。

本発明は、以上の問題点を解決するためになされたものであり、新たに特殊な内視鏡を用いることなく従来から用いられる内視鏡を用いて、内視鏡で撮像している部分が患者のどの部位に相当するかを正確に表示することができる手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムを提供することを目的とする。

本発明に係る手術支援情報表示装置は、患者の内部に挿入されて当該内部を撮像する内視鏡と、第１の座標軸上における、内視鏡が挿入される患者の内部を構成する面及び当該患者の表面の三次元形状を示す情報を取得する患者形状取得手段と、患者に内視鏡が差し込まれるときに、患者の表面を撮像する撮像手段と、撮像手段により撮像された患者の表面の画像から、第２の座標軸上における当該患者の表面の三次元形状を示す情報を算出する表面形状算出手段と、患者形状取得手段により取得された患者の表面の三次元形状を示す情報と表面形状算出手段により算出された患者の表面の三次元形状を示す情報とをマッチングして、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段と、撮像手段により撮像された画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、内視鏡光軸算出手段により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得手段により取得された三次元形状を示す情報に係る患者の内部を構成する面との交点を算出する交点算出手段と、交点算出手段により算出された交点を示す情報を、患者形状取得手段により取得された患者の内部を構成する面を示す情報に重畳して出力する出力手段と、を備えることを特徴とする。

本発明に係る手術支援情報表示装置では、ＣＴ等により患者の内部を構成する面及び患者の表面の三次元形状を示す情報が取得される。その一方で、患者に内視鏡が差し込まれるときに、患者の表面が撮像される。撮像された画像から、患者の表面の三次元形状を示す情報が算出される。続いて、ＣＴ等による三次元形状を示す情報における（第１の）座標軸と撮像された画像における（第２の）座標軸とが、それぞれの患者の表面の三次元形状を示す情報がマッチングされることにより、一致される。

続いて、撮像された画像から内視鏡の撮像方向である光軸を示す半直線が算出される。この撮像方向である光軸を示す半直線とＣＴ等による三次元形状を示す情報に係る患者の内部を構成する面との交点が算出される。この交点は、ＣＴ等による三次元形状を示す情報において、内視鏡が撮像を行っている点（中心点）を示すものである。この交点を示す情報がＣＴ等による三次元形状を示す情報に重畳されて出力される。

即ち、上記のように、本発明に係る手術支援情報表示装置では、ＣＴ等による患者の内部を構成する面及び患者の表面の三次元形状を示す情報と、外部から患者を撮像した画像とのみを用いて、内視鏡で撮像している部分が、患者のどの部位に相当するかを表示することができる。従って、本発明に係る手術支援情報表示装置によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本発明に係る手術支援情報表示装置によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。

本発明に係る手術支援情報表示装置は、内視鏡の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカを更に備え、撮像手段は、患者に内視鏡が差し込まれるときに、患者の表面と共にマーカを撮像し、内視鏡光軸算出手段は、撮像手段により撮像されたマーカの画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における、マーカの三次元座標を算出して、当該マーカと内視鏡の撮像方向との位置関係から内視鏡の撮像方向である光軸を示す半直線を算出する、ことが望ましい。

この構成によれば、患者に内視鏡が差し込まれるときに、患者の表面及び内視鏡の撮像方向に対して相対的な位置関係に固定されたマーカの座標が撮像される。続いて、撮像された画像から、マーカの三次元座標が算出され、算出されたマーカの画像から内視鏡の撮像方向である光軸を示す半直線が算出される。このようにマーカを用いて内視鏡の撮像方向である光軸を示す半直線を算出することとすれば、正確な半直線がより確実に算出できるので、より確実に正確な上記の表示を行うことができる。

また、本発明に係る手術支援情報表示装置は、患者に内視鏡が差し込まれるときに患者の表面の画像が取得されればよいので、構成要素として必ずしも内視鏡を備えている必要はない。即ち、本発明に係る手術支援情報表示装置は、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面及び当該患者の表面の三次元形状を示す情報を取得する患者形状取得手段と、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得手段と、表面画像取得手段により取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の三次元形状を示す情報を算出する表面形状算出手段と、患者形状取得手段により取得された患者の表面の三次元形状を示す情報と表面形状算出手段により算出された患者の表面の三次元形状を示す情報とをマッチングして、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段と、表面画像取得手段により取得された画像から、座標軸一致手段により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、内視鏡光軸算出手段により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得手段により取得された三次元形状を示す情報に係る患者の内部を構成する面との交点を算出する交点算出手段と、交点算出手段により算出された交点を示す情報を、患者形状取得手段により取得された患者の内部を構成する面を示す情報に重畳して出力する出力手段と、を備えることを特徴とする。

交点算出手段は、患者の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と内視鏡の撮像方向である光軸を示す半直線との交点を算出することが望ましい。この構成によれば、容易かつ確実に交点を算出することができ、確実に本発明を実施することができる。

出力手段は、内視鏡により撮像された画像に交点に対応する箇所を示す情報を重畳させた画像を併せて出力することが望ましい。この構成によれば、術者等が、内視鏡で撮像された内容と、内視鏡で撮像されている部分が患者のどの部位に相当するかの情報との両方を同時に確認することができるので、より利便性の高い手術支援を行うことができる。

撮像手段は、形状算出手段により用いられる画像を撮像する場合と内視鏡光軸算出手段により用いられる画像を撮像する場合とで撮像条件を切り替えることが望ましい。この構成によれば、撮像手段により撮像された画像が用いられる内容に応じて、適切に撮像条件を切り替えることができ、より適切な手術支援を行うことが可能になる。

ところで、本発明は、上記のように手術支援情報表示装置の発明として記述できる他に、以下のように手術支援情報表示方法及び動画像符号化プログラムの発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る手術支援情報表示方法は、患者形状取得手段が、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面及び当該患者の表面の三次元形状を示す情報を取得する患者形状取得ステップと、表面画像取得手段が、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得ステップと、表面形状算出手段が、表面画像取得ステップにおいて取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の三次元形状を示す情報を算出する表面形状算出ステップと、座標軸一致手段が、患者形状取得ステップにおいて取得された患者の表面の三次元形状を示す情報と表面形状算出ステップにおいて算出された患者の表面の三次元形状を示す情報とをマッチングして、第１の座標軸と第２の座標軸とを一致させる座標軸一致ステップと、内視鏡光軸算出手段が、表面画像取得ステップにおいて取得された画像から、座標軸一致ステップにおいて第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出ステップと、交点算出手段が、内視鏡光軸算出ステップにおいて算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得ステップにおいて取得された三次元形状を示す情報に係る患者の内部を構成する面との交点を算出する交点算出ステップと、出力手段が、交点算出ステップにおいて算出された交点を示す情報を、患者形状取得ステップにおいて取得された患者の内部を構成する面を示す情報に重畳して出力する出力ステップと、を含むことを特徴とする。

本発明に係る手術支援情報表示プログラムは、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面及び当該患者の表面の三次元形状を示す情報を取得する患者形状取得機能と、患者に内視鏡が差し込まれるときに撮像された患者の表面の画像を取得する表面画像取得機能と、表面画像取得機能により取得された患者の表面の画像から、第２の座標軸上における当該患者の表面の三次元形状を示す情報を算出する表面形状算出機能と、患者形状取得機能により取得された患者の表面の三次元形状を示す情報と表面形状算出機能により算出された患者の表面の三次元形状を示す情報とをマッチングして、第１の座標軸と第２の座標軸とを一致させる座標軸一致機能と、表面画像取得機能により取得された画像から、座標軸一致機能により第１の座標軸に一致された第２の座標軸上における内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出機能と、内視鏡光軸算出機能により算出された内視鏡の撮像方向である光軸を示す半直線と患者形状取得機能により取得された三次元形状を示す情報に係る患者の内部を構成する面との交点を算出する交点算出機能と、交点算出機能により算出された交点を示す情報を、患者形状取得機能により取得された患者の内部を構成する面を示す情報に重畳して出力する出力機能と、をコンピュータに実行させることを特徴とする。

本発明では、ＣＴ等による患者の内部を構成する面及び患者の表面の三次元形状を示す情報と、外部から患者を撮像した画像とのみを用いて、内視鏡で撮像している部分が、患者のどの部位に相当するかを表示することができる。従って、本発明によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本発明によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。

本発明の実施形態に係る手術支援情報表示装置の構成を示す図である。 撮像装置により撮像され、情報処理されて三次元位置情報を持った、患者の顔面の画像を示す図である。 ＣＴ装置により取得されたＣＴ画像を示す図である。 本発明の実施形態に係る手術支援情報表示装置での処理を示すフローチャートである。 ＣＴ装置による患者の三次元形状を示す情報と、撮像装置による画像から算出された患者の三次元形状を示す情報とのマッチング処理を示す図である。 撮像装置による画像から標識球の三次元座標を算出する処理を示した図である。 患者の面を構成する三角形と内視鏡の撮像方向である光軸を示す半直線との交点を示した図である。 内視鏡により撮像されている点が示されたＣＴ画像を示す図である。 内視鏡により撮像されている点が示されたＣＴ画像、及び内視鏡により撮像されている画像を示す図である。 本発明に係る手術支援情報表示プログラムの構成を示す図である。

符号の説明

１…手術支援情報表示装置、１１…内視鏡、１２…標識球、２０…撮像装置、３０…ＣＴ装置、４０…ＰＣ、４１…患者形状取得部、４２…撮像画像取得部、４３…表面形状算出部、４４…座標軸一致部、４５…内視鏡光軸算出部、４６…交点算出部、４７…出力部、５０…モニタ、６０…患者、７０…手術台、８０…記録媒体、８０ａ…プログラム格納領域、８１…手術支援情報表示プログラム、８１ａ…メインモジュール、８１ｂ…患者形状取得モジュール、８１ｃ…撮像画像取得モジュール、８１ｄ…表面形状算出モジュール、８１ｅ…座標軸一致モジュール、８１ｆ…内視鏡光軸算出モジュール、８１ｇ…交点算出モジュール、８１ｈ…出力モジュール。

以下、図面とともに本発明に係る手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。

図１に、本発明に係る手術支援情報表示装置１の実施形態を概略的に示す構成図である。手術支援情報表示装置１は、患者６０に対する手術の際に、内視鏡により撮像された画像に関する情報を術者等に提供する装置である。本実施形態に係る手術支援情報表示装置１が用いられる手術は、例えば、耳鼻咽頭科における副鼻腔の内視鏡手術等のように、内視鏡による撮像が行われるものを対象とする。

図１に示すように、手術支援情報表示装置１は、内視鏡１１と、標識球１２と、撮像装置２０と、ＣＴ装置３０と、ＰＣ（Personal Computer）４０と、モニタ５０とを含んで構成されている。

内視鏡１１は、術者により操作され、患者６０の内部に挿入されて当該内部を撮像する装置である。内視鏡１１は、患者の生体内の挿入できるように細長い形状をしており、その先端部には患者６０の内部を撮像するための機構が設けられている。その機構としては、例えば、被撮像部に向くように位置決めして設けられたレンズ及び、レンズの決像位置に設けられたＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）等の撮像素子である。上記の機構の位置決めのされ方によって、内視鏡１１の撮像方向Ａが決まる。通常は、レンズの光軸方向が、内視鏡１１の撮像方向Ａとなる。内視鏡１１により撮像された画像の情報は、ケーブルにより内視鏡１１と接続されたＰＣ４０に出力される。なお、上記の内視鏡１１としては、特殊な構成を有している必要はなく、従来から用いられている内視鏡を用いることができる。

標識球１２は、内視鏡１１の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカである。標識球１２は、撮像装置２０により撮像されて、撮像された画像から三次元座標を求められる。具体的には、標識球１２は、複数内視鏡１１に対して棒状の部材１３を介して固定される、それぞれ大きさが異なる球状の部材である。大きさが異なることとしているのは、撮像装置２０により撮像された画像から、それぞれを区別して検出するためである。

標識球１２が内視鏡１１に設けられる位置は、患者６０に挿入される部分から更に後方の、患者６０に挿入されない位置である。また、標識球１２と内視鏡１１の撮像方向Ａとの位置関係が一定となるように、内視鏡１１における、患者６０の内部に挿入される部分から標識球１２が設けられる部分までは、硬質の材質で形成されており屈曲できないようになっている。但し、内視鏡１１の撮像方向と標識球１２との位置関係が把握できればよいので、例えば、内視鏡１１の先端部のみが決められた方向のみに動くような構成となっていてもよい。

なお、内視鏡１１に設けられるマーカは、内視鏡１１の撮像方向に対して定められた相対的な位置関係の位置にあり、撮像装置２０により撮像された画像から三次元座標を求められるものであればよいので、必ずしも、本実施形態の標識球１２のような球状のものでなくてもよい。また、内視鏡１１自体の形状が、容易に三次元座標を求められるものであれば、内視鏡１１自体の形状がマーカとなるので、必ずしも標識球１２を設ける必要はない。

撮像装置２０は、患者６０に内視鏡１１が差し込まれるときに、患者６０の表面及び標識球１２を撮像する撮像手段である。図１に示すように、患者６０の鼻の穴から内視鏡１１を挿入して、内視鏡１１により患者６０の頭部を撮像する場合には、患者６０の顔面と標識球１２とが撮像できるような位置に撮像装置２０が設けられる。撮像装置２０としては具体的には、例えば、ＣＣＤカメラが用いられる。撮像装置２０は、ＰＣ４０と接続されており、撮像した画像の情報をＰＣ４０に送信する。

撮像装置２０により撮像された画像は、撮像されたものの三次元座標（三次元位置情報）を算出するために用いられる。そのために必要な構成も併せて撮像装置２０に備えておく必要がある。画像から撮像されたものの三次元座標を算出する方法としては光学的な方法を用いるものがあり、例えば、特開２００３−２５４７３２号公報に記載された方法を用いることができる。この方法を用いる場合は、そのために必要な、撮像装置２０により撮像される範囲にキセノンライトから発せられる自然太陽光に似た白色光に似た格子模様を投影する装置を更に設けておく。

なお、特開２００３−２５４７３２号公報に記載された方法によれば、１秒の計測時間で、９０±１０ｃｍの距離から撮像が可能となる。また、分解能は０．１〜０．６ｍｍである。即ち、１秒で三次元位置情報を持った解像度の高いカラー画像が取得できる。また、曇りの日中（屋外）の約２８％の照度の白色光であり、レーザ等を使うことなく安全に三次元位置情報を取得できる。本方法により、患者６０の顔面を撮像して、情報処理されて三次元位置情報を持った解像度の高いカラー画像とした例を図２に示す。

ＣＴ装置３０は、内視鏡１１が挿入される患者６０の内部を構成する面及び患者６０の表面の三次元形状を示す情報を取得する患者形状取得手段である。内視鏡１１が挿入される患者６０を構成する面は、例えば、患者６０の副鼻腔に内視鏡１１が挿入される場合、副鼻腔を構成する面である。また、患者６０の表面は、上記の場合、患者６０の顔面である。ここで、ＣＴ装置３０により取得される三次元形状を示す情報は、例えば予めＣＴ装置３０に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を保持することによって構成されている。この座標軸は、第１の座標軸である。即ち、ＣＴ装置３０による患者６０の三次元形状を示す情報は、第１の座標軸上における情報である。

ＣＴ装置３０は、放射線等を利用して物体を走査し、コンピュータを用いて処理された内部構造を等間隔（例えば、１ｍｍ）毎に輪切りにしたような画像（ＣＴ画像）を、患者６０の三次元形状を示す情報として構成するものであり、既存のＣＴ装置を用いることができる。ＣＴ画像の例を図３に示す。ＣＴ装置３０はＰＣ４０と接続されており、取得した患者６０の三次元形状を示す情報を、ＰＣ４０に送信する。なお、ＣＴ装置３０は、撮像装置２０と同じ場所に設置されている必要はなく、通常、撮像装置２０による撮像と、ＣＴ装置３０による三次元形状を示す情報の取得とは別々に行われる。なお、ＣＴ画像から三次元形状を示す情報の構成には、例えば特開２００５−２７８９９２号公報に記載の方法を用いることができる。

なお、手術支援情報表示装置１では、患者６０の内部を含む三次元形状を示す情報が取得できればよいので、患者形状取得手段として必ずしもＣＴ装置３０を用いる必要はない。例えば、ＭＲＩ装置を用いることとしてもよい。

ＰＣ４０は、撮像装置２０により撮像された画像の情報及びＣＴ装置３０により取得された患者６０の三次元形状を示す情報を受信して、これらの情報に対して情報処理を行う装置である。ＰＣ４０は、具体的には、ＣＰＵ（Central Processing Unit）、メモリ等のハードウェアにより構成され、これらの情報処理装置が動作することにより、下記のＰＣ４０の機能が実現される。図１に示すように、ＰＣ４０は、機能的な構成要素として、患者形状取得部４１と、撮像画像取得部４２と、表面形状算出部４３と、座標軸一致部４４と、内視鏡光軸算出部４５と、交点算出部４６と、出力部４７とを備えている。

患者形状取得部４１は、ＣＴ装置３０から送信される、患者６０の三次元形状を示す情報を受信する手段である。患者形状取得部４１は、受信した患者６０の三次元形状を示す情報を、必要に応じて座標軸一致部４４及び交点算出部４６等に出力する。なお、手術支援情報表示装置１では、必ずしも本実施形態のように、患者形状取得手段としてＣＴ装置３０自体を備えている必要はなく、患者形状取得部４１により（手術支援情報表示装置１に含まれないＣＴ装置で撮像等された）患者６０の三次元形状を示す情報が受信さえされればよい。

撮像画像取得部４２は、撮像装置２０により撮像され送信された画像の情報を受信する手段である。即ち、撮像画像取得部４２は、患者６０に内視鏡１１が差し込まれるときに撮像装置２０により撮像された患者の表面の画像を取得する表面画像取得手段である。撮像画像取得部４２は、受信した画像を表面形状算出部４３及び内視鏡光軸算出部４５等に出力する。

表面形状算出部４３は、撮像装置２０により撮像された患者６０の表面の画像から、患者６０の表面の三次元形状を示す情報を算出する表面形状算出手段である。患者６０の表面は、本実施形態の場合、患者６０の顔面である。画像から三次元形状を算出する方法は、例えば、上述した特開２００３−２５４７３２号公報に記載された方法を用いることができる。表面形状算出部４３により取得される三次元形状を示す情報は、例えば予め表面形状算出部４３に設定されている所定の座標軸に対する座標毎に三次元形状を示す情報を構成することにより算出される。この座標軸は、上述した第１の座標軸とは異なるものであり第２の座標軸である。即ち、撮像装置２０により撮像された画像による患者６０の三次元形状を示す情報は、第２の座標軸上における情報である。表面形状算出部４３は、算出した患者６０の表面の三次元形状を示す情報を、座標軸一致部４４に出力する。

座標軸一致部４４は、患者形状取得部４１により取得された患者６０の表面の三次元形状を示す情報と表面形状算出部４３により算出された患者６０の表面の三次元形状を示す情報とをマッチングして、第１の座標軸と第２の座標軸とを一致させる座標軸一致手段である。即ち、座標軸一致部４４は、ＣＴ装置３０による三次元形状を示す情報と、撮像装置２０により撮像された画像から算出された三次元形状を示す情報とを同じ座標軸上で処理できるようにするための手段である。

具体的には、座標軸一致部４４は、ＣＴ装置３０による三次元形状を示す情報、及び撮像装置２０により撮像された画像から算出された三次元形状を示す情報における患者６０の顔面の位置を一致させることによって座標軸の一致を行う。座標軸の一致の処理は、例えばパターンマッチングの方法を用いることにより行われ、当該処理の結果として第１の座標軸及び第２の座標軸の何れか一方の座標軸をもう一方の座標軸に変換する関数が算出される。座標軸一致部４４は、座標軸を一致させた結果として算出された座標軸を変換する関数等を、必要に応じて内視鏡光軸算出部４５、交点算出部４６及び出力部４７等に出力する。上記の座標軸を一致させる処理以降は、内視鏡光軸算出部４５、交点算出部４６及び出力部４７等において上記の関数等が、三次元形状を示す情報に適用されることによって、ＣＴ装置３０による三次元形状を示す情報と、撮像装置２０により撮像された画像から算出された三次元形状を示す情報とは同じ座標軸上で処理される。

内視鏡光軸算出部４５は、撮像装置２０により撮像された標識球１２の画像から、座標軸一致部４４により一致された座標軸上における、標識球１２の三次元座標を算出して、標識球１２と内視鏡１１の撮像方向Ａとの位置関係から内視鏡１１の撮像方向Ａである光軸を示す半直線を算出する内視鏡光軸算出手段である。なお、ここで言う撮像方向Ａである光軸を示す半直線には、半直線の起点となる位置も含まれる。即ち、内視鏡１１の撮像方向Ａである光軸を示す半直線は、どの点からどの方向に撮像が行われるかを示したものである。内視鏡光軸算出部４５は、予め、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報を保持している。当該位置関係を示す情報としては、具体的には例えば、内視鏡１１の光軸（撮像方向Ａである光軸を示す半直線）を通るように内視鏡１１の基部の所定の位置と先端の位置とを特定して、その２点と標識球１２との位置関係を示す情報が用いられる。

内視鏡１１の撮像方向Ａである光軸を示す半直線の算出は、具体的には、以下のように行われる。まず、内視鏡光軸算出部４５は、表面形状算出部４３における三次元形状を算出する方法と同様の方法で、撮像装置２０により撮像された標識球１２から三次元形状及び三次元座標を算出する。標識球１２が複数設けられている場合、内視鏡光軸算出部４５は、例えば標識球１２の大きさ等からそれぞれの標識球１２を識別する。

続いて、内視鏡光軸算出部４５は、算出された上記の座標軸上における標識球１２の三次元座標と、標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報とから、上記の座標軸上における撮像方向Ａである光軸を示す半直線を算出する。内視鏡光軸算出部４５は、算出した撮像方向である光軸を示す半直線の情報を、交点算出部４６に出力する。

交点算出部４６は、内視鏡光軸算出部４５により算出された内視鏡１１の撮像方向Ａである光軸を示す半直線と患者形状取得部４１により取得された三次元形状を示す情報に係る患者６０の内部を構成する面との交点を算出する交点算出手段である。この交点は、ＣＴ装置３０による三次元形状を示す情報において、内視鏡１１が撮像を行っている点（中心点）を示すものである。具体的には、交点算出部４６は、患者６０の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と内視鏡１１の撮像方向Ａである光軸を示す半直線との交点を算出する。交点の算出については、より詳細には後述する。交点算出部４６は、算出した交点の情報を出力部４７に出力する。

出力部４７は、交点算出部４６により算出された交点を示す情報を、患者形状取得部４１により取得された患者６０の内部を構成する面を示す情報であるＣＴ画像に重畳して、モニタ５０に出力する出力手段である。また、出力部４７は、内視鏡１１により撮像されてＰＣ４０に入力された内視鏡画像を併せて、モニタ５０に出力することとしてもよい

モニタ５０は、ＰＣ４０から入力された情報を表示する。術者はモニタ５０を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。以上が、手術支援情報表示装置１の構成の構成である。

引き続いて、手術支援情報表示装置１の動作（手術支援情報表示方法）について、図４のフローチャートを参照して説明する。この動作は、例えば、患者６０に対する手術の際に内視鏡１１を挿入して治療等を行うときの動作である。この説明においては、手術前の処理と手術時の処理とに分けて説明する。

まず手術前に、ＣＴ装置３０を用いた、患者６０に対するＣＴスキャン撮影が行われる（Ｓ０１、患者形状取得ステップ）。このＣＴスキャン撮影は、内視鏡１１が挿入される患者６０の部位に対して行われる。これにより、患者６０の表面である顔面と、内視鏡１１が挿入される患者６０の内部を構成する面との三次元形状を示す情報が取得される。ＣＴ装置３０によりＣＴスキャン撮影が行われ取得された、患者６０の三次元形状を示す情報は、ＰＣ４０に送信される。ＰＣ４０では、患者形状取得部４１により当該情報が取得されて、ＰＣ４０内に格納される（Ｓ０２、患者形状取得ステップ）。上記が手術前の処理であり、例えば、手術の前日等に行われる。

引き続いて、手術時の処理を説明する。まず、患者６０を手術室に入室させて、図１に示すように、内視鏡１１を鼻の穴から挿入できるように手術台７０の上の仰向けに配置する。患者６０を配置した後、内視鏡１１を挿入する前に、撮像装置２０によって、配置された患者６０が撮像される（Ｓ０３、表面画像取得ステップ）。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から表面形状算出部４３に出力される。

表面形状算出部４３では、当該画像から患者６０の表面である顔面の三次元形状を示す情報が算出される（Ｓ０４、表面形状算出ステップ）。算出された患者６０の顔面の三次元形状を示す情報は、表面形状算出部４３から座標軸一致部４４に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の三次元形状を示す情報が、患者形状取得部４１から座標軸一致部４４に出力される。

ＣＴ装置３０による患者６０の三次元形状を示す情報と、撮像装置２０による画像から患者６０の表面である顔面の三次元形状を示す情報とに係るそれぞれの座標軸は、一致していない。これらの情報を共に表示すると、図５（ａ）に示すように、ＣＴ装置３０による情報８１と、撮像装置２０の画像による情報８２とが位置合わせされていない状態となる。

ここで、座標軸一致部４４によって、図５（ｂ）に示すように、これら２つの情報８１，８２における顔面の形状がマッチングされて、２つの情報に係る座標軸が一致される（Ｓ０５、座標軸一致ステップ）。顔面の形状のマッチングは、上述したようにパターンマッチングの手法により行われる。なお、マッチングする部位は、顔面全体や顔面の鼻や頬等の特徴ある部位等、予め設定しておく。一致した座標軸に係る情報は、座標軸一致部４４から、内視鏡光軸算出部４５、交点算出部４６及び出力部４７にそれぞれ出力されて座標軸の変換等が行われて、これ以降、一致した座標軸を基準として三次元形状に対する情報処理が行われる。上記が手術開始までの処理である。

続いて、手術が開始され、術者によって、内視鏡１１が患者６０に挿入される。この際、患者６０の頭部は、Ｓ０３〜Ｓ０５の処理を行ったときから動かさないようにする。座標軸がずれることを防止するためである。内視鏡１１が患者６０に挿入される際に、撮像装置２０によって、患者６０及び標識球１２が撮像される（Ｓ０６、表面画像取得ステップ）。図６（ａ）に示すように、撮像された画像には、標識球１２（の画像）が含まれている。撮像された画像は、撮像装置２０からＰＣ４０に送信されて、ＰＣ４０において撮像画像取得部４２によって受信される。受信された画像は、撮像画像取得部４２から内視鏡光軸算出部４５に出力される。

続いて、内視鏡光軸算出部４５によって、図６（ｂ）に示すように、画像から標識球１２の三次元座標が算出される（Ｓ０７、内視鏡光軸算出ステップ）。続いて、内視鏡光軸算出部４５によって、算出された標識球１２の三次元座標から、予め保持していた標識球１２と内視鏡１１の撮像方向Ａとの位置関係を示す情報に基づいて、一致された座標軸上での内視鏡１１の撮像方向Ａである光軸を示す半直線が算出される（Ｓ０８、内視鏡光軸算出ステップ）。

算出された半直線の情報は、内視鏡光軸算出部４５から交点算出部４６に出力される。これと同じタイミングで、ＰＣ４０内に格納されていた、ＣＴ装置３０による患者６０の三次元形状を示す情報が、患者形状取得部４１から交点算出部４６に出力される。続いて、交点算出部４６によって、内視鏡１１の撮像方向Ａである光軸を示す半直線と、患者６０の内部を構成する面との交点が算出される（Ｓ０９、交点算出ステップ）。

交点の算出は、以下のように行われる。まず、交点算出部４６によって、ＣＴ装置３０による患者６０の三次元形状を示す情報が、ポリゴンデータに変換される。この変換により、患者６０（の内部）を構成する面が、例えば多数の三角形で構成させることとなる。次に、それらの各三角形と、内視鏡１１の撮像方向Ａである光軸を示す半直線との交点が算出される。

この交点の算出について、図７を用いて説明する。ポリゴンを構成する三角形の基準となる点をＰＴ、三角形の２辺のベクトルをそれぞれｖｅｃＡ及びｖｅｃＢとし、２つの媒介変数をα及びβとすると、三角形は以下の式で表すことができる。
Ｐ１＝ＰＴ＋αｖｅｃＡ＋βｖｅｃＢ
また、内視鏡１１の撮像方向Ａの基準となる点（例えば、内視鏡１１の先端の点）をＰＬ、半直線の方向を示すベクトルをｖｅｃＣとし、媒介変数をγとすると、内視鏡１１の撮像方向Ａは以下の式で表すことができる。
Ｐ２＝ＰＬ＋γｖｅｃＣ

ここで、両者が交わるときはＰ１＝Ｐ２となる。Ｐ１＝Ｐ２となる点が、三角形の内部に存在する条件は、媒介変数が以下の条件を満たす場合である。
条件１：０＜α，０＜β
条件２：０＜α＋β＜１
条件３：γ＞０
これらの条件を満たす点を全てのポリゴンデータを構成する三角形について導出し、それら全ての点と内視鏡１１の先端の点との距離を計算する。この距離が最も小さくなる交点を、内視鏡１１の撮像方向Ａである光軸を示す半直線と患者６０の内部を構成する面との交点とする。

算出された交点の座標の情報は、交点算出部４６から出力部４７に出力される。このタイミングで、患者６０の内部を構成する面を示す情報であるＣＴ画像が、患者形状取得部４１から出力部４７に出力される。交点の情報は、出力部４７によって、患者６０の内部を構成する面を示す情報であるＣＴ画像に当該交点の座標に応じた箇所に重畳されて、モニタ５０に入力される。入力された画像は、モニタ５０によって表示される（Ｓ１０、出力ステップ）。交点の表示は、具体的には例えば、図８に示すように、内視鏡１１により撮像されている箇所がどの点に位置しているかが分かるように、十字の表示９０として行われる。術者は表示された画像を参照することにより、内視鏡１１が患者６０内部のどの部分を撮像しているのかを知ることができる。

また、内視鏡１１により撮像された画像も、ＰＣ４０によって受信されて出力部４７からモニタ５０に出力されるようにして、上記の内視鏡１１により撮像されている箇所がどの点に位置しているかの表示と併せて表示されるようにすることが望ましい。例えば、図９に示す画面例９１のように、内視鏡１１により撮像された画像９２と、内視鏡１１により撮像されている箇所がどの点に位置しているかが示されたＣＴ画像９３ａ〜９３ｃとを１つの画面に示すこととするのがよい。また、その際の内視鏡１１の画像には、交点に対応する箇所を示す情報（例えば、十字形（＋）のマーク）９４を重畳させることが望ましい。内視鏡１１の画像における交点に対応する箇所を示す情報の位置は、例えば、画像の中心等、内視鏡１１の撮像方向に応じて予め出力部４７に記憶させておく。また、術者が対応する箇所を理解しやすいように、ＣＴ画像９３ａ〜９３ｃは、断面がそれぞれ異なるもの（断面がそれぞれ直交するものがよい）を複数、表示することとするのがよい。図９では、ＣＴ画像９３ａは横断面のもの、ＣＴ画像９３ｂは冠状断面のもの、ＣＴ画像９３ｃは、矢状断面のものである。更に、ＣＴ画像９３ａ〜９３ｃには、交点の情報（画像とは色違いの四角９５で示す）に加えて、内視鏡１１が挿入されている方向（内視鏡１１の撮像方向である光軸）９６を示すことが望ましい。

上記のＳ０６〜Ｓ１０までの処理は、例えば、１秒間間隔等の等間隔で繰り返し行われる。なお、ＰＣ４０におけるＳ０３〜Ｓ０５の処理と、Ｓ０６〜Ｓ１０の処理とは異なっているが、例えば、Ｓ０５の座標軸の一致の処理が行われたら、自動的にＳ０６以降の処理に移るようにしてもよい。また、術者等の操作により処理の切替が行われてもよい。

また、Ｓ０３〜Ｓ０５の処理による初回の位置合わせ後に患者６０の頭部を動かした場合でも、再度Ｓ０３〜Ｓ０５の処理を行い改めて位置合わせを行なうこととすればよい。再度の位置合わせは、例えば、術者等の操作により行われてもよいし、位置合わせしたときの画像とその後の画像とを比較して、頭部が動いたことを検出して、それをトリガとして行われてもよい。

上述したように本実施形態に係る手術支援情報表示装置１では、ＣＴ装置３０による患者６０の内部を構成する面及び患者の表面の三次元形状を示す情報と、撮像装置２０により外部から患者６０を撮像した画像とのみを用いて、内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかを表示することができる。従って、本実施形態に係る手術支援情報表示装置１によれば、新たに特殊な内視鏡を用いることなく、上記の表示を行うことができる。また、本実施形態に係る手術支援情報表示装置１によれば、上記の表示において、患者の体内の脳脊髄液等のような液体の影響を受けることが無いので、正確に上記の表示を行うことができる。従って、本実施形態に係る手術支援情報表示装置１を用いれば、安全かつ正確に手術を行うことができる。

また、ＣＴスキャン撮影（Ｓ０１）の際に、患者６０にマーク等をつける必要がなく、通常通りのＣＴスキャン撮影を行えばよいので、簡便である。また、位置合わせ等のために患者６０をピンなどで固定する必要がない。患者６０を手術中に動かしたとしても、容易に位置合わせを行うことができる。上記の手術支援情報表示装置１の各構成要素は、比較的安価であり、低コストで実現することができる。

また、本実施形態のように内視鏡１１にマーカである標識球１２を設けておき、マーカを用いて内視鏡１１の撮像方向である光軸を示す半直線を算出することとすれば、正確な半直線がより確実に算出できるので、より確実に正確な上記の表示を行うことができる。但し、マーカを用いずに、内視鏡１１の撮像方向である光軸を示す半直線を算出することとしてもよい。例えば、本実施形態において、撮像装置２０による画像から患者の表面を算出した方法と同様に、内視鏡１１の形状を算出して、当該形状から内視鏡１１の撮像方向である光軸を示す半直線を算出することとしてもよい。

なお、本発明は、画像や情報のＰＣ４０への入力さえあれば実施可能であるので、手術支援情報表示装置１には必ずしも、内視鏡１１、撮像装置２０及びＣＴ装置３０等のハードウェアを備えている必要はない。即ち、本発明は、ＰＣ４０の備える各構成要素４１〜４７のみを備えていれば実施可能である。

また、本実施形態のように、ＣＴ装置３０による患者６０の三次元情報をポリゴンデータとし交点を求めることとすれば、確実に交点を算出することができ、確実に本発明を実施することができる。

また、内視鏡１１で撮像している部分が、患者６０のどの部位に相当するかの情報に併せて、内視鏡１１により撮像された画像自体も表示することとすれば、術者等が、内視鏡１１で撮像された内容と、内視鏡１１で撮像されている部分が患者６０のどの部位に相当するかの情報との両方を同時に確認することができるので、より利便性の高い手術支援を行うことができる。

また、撮像装置２０は、撮像条件を切り替えて撮像を行うことができることが望ましい。ここで、撮像条件には、例えば、撮像対象範囲や撮像の精度、撮像速度が含まれる。撮像条件の切り替えは、具体的には、ＣＴ装置３０による患者６０の三次元形状を示す情報と撮像装置２０による画像から算出される患者６０の三次元形状を示す情報との位置合わせを行なう場合（Ｓ０３〜Ｓ０５、Ｓ０３における撮像）と、内視鏡１１の撮像方向Ａを算出する場合（Ｓ０６〜Ｓ０８、Ｓ０６における撮像）とで下記のように切り替えることが望ましい。

位置合わせを行なう場合の撮像では、撮像対象範囲を広くし高い精度が要求されるが、撮像に要する時間について高速性は要求されない。一方で、内視鏡１１の撮像方向Ａを算出する場合の撮像では、高い精度と高速性が要求されるが、標識球１２が認識されればよいので撮像対象範囲は狭くてもよい。これは、一般的に手術前は、患者等の対象物を正確に位置計測することが必要になるが、手術中は、内視鏡１１の撮像方向Ａに基づき施術するために、当該撮像方向Ａを正確かつ迅速に計測することが重要になるためである。なお、撮像された画像が、位置合わせと内視鏡１１の撮像方向Ａの算出との両方に用いられる場合は、上記の中間的な設定にしてもよい。

上記のように、撮像装置２０により撮像された画像が用いられる内容に応じて、撮像条件を切り替えることすれば、位置合わせをより正確にできる、あるいは、内視鏡１１の撮像方向Ａの表示をより速く行うことができる等、より適切な手術支援を行うことが可能になる。

引き続いて、上述した一連の手術支援情報の表示を行う処理をコンピュータに実行させるための手術支援情報表示プログラムを説明する。図９に示すように、手術支援情報表示プログラム８２は、コンピュータが備える記録媒体８０に形成されたプログラム格納領域８０ａ内に格納されている。

手術支援情報表示プログラム８１は、手術支援情報の表示処理を統括的に制御するメインモジュール８１ａと、患者形状取得モジュール８１ｂと、撮像画像取得モジュール８１ｃと、表面形状算出モジュール８１ｄと、座標軸一致モジュール８１ｅと、内視鏡光軸算出モジュール８１ｆと、交点算出モジュール８１ｇと、出力モジュール８１ｈとを備えて構成される。患者形状取得モジュール８１ｂ、撮像画像取得モジュール８１ｃ、表面形状算出モジュール８１ｄ、座標軸一致モジュール８１ｅ、内視鏡光軸算出モジュール８１ｆ、交点算出モジュール８１ｇ及び出力モジュール８１ｈを実行させることにより実現される機能は、上述したＰＣ４０の患者形状取得部４１、撮像画像取得部４２、表面形状算出部４３、座標軸一致部４４、内視鏡光軸算出部４５、交点算出部４６及び出力部４７の機能とそれぞれ同様である。

なお、手術支援情報表示プログラム８１は、その一部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。

Claims (8)

1. 患者の内部に挿入されて当該内部を撮像する内視鏡と、
   第１の座標軸上における、前記内視鏡が挿入される前記患者の内部を構成する面及び当該患者の表面の三次元形状を示す情報を取得する患者形状取得手段と、
   前記患者に前記内視鏡が差し込まれるときに、前記患者の表面を撮像する撮像手段と、
   前記撮像手段により撮像された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の三次元形状を示す情報を算出する表面形状算出手段と、
   前記患者形状取得手段により取得された前記患者の表面の三次元形状を示す情報と前記表面形状算出手段により算出された前記患者の表面の三次元形状を示す情報とをマッチングして、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致手段と、
   前記撮像手段により撮像された画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、
   前記内視鏡光軸算出手段により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得手段により取得された三次元形状を示す情報に係る前記患者の内部を構成する面との交点を算出する交点算出手段と、
   前記交点算出手段により算出された交点を示す情報を、前記患者形状取得手段により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力手段と、
   を備える手術支援情報表示装置。
2. 前記内視鏡の撮像方向に対して予め定められた相対的な位置関係の位置に固定されて設けられるマーカを更に備え、
   前記撮像手段は、前記患者に前記内視鏡が差し込まれるときに、前記患者の表面と共に前記マーカを撮像し、
   前記内視鏡光軸算出手段は、前記撮像手段により撮像された前記マーカの画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における、前記マーカの三次元座標を算出して、当該マーカと前記内視鏡の撮像方向との前記位置関係から前記内視鏡の撮像方向である光軸を示す半直線を算出する、
   ことを特徴とする請求項１に記載の手術支援情報表示装置。
3. 第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面及び当該患者の表面の三次元形状を示す情報を取得する患者形状取得手段と、
   前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得手段と、
   前記表面画像取得手段により取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の三次元形状を示す情報を算出する表面形状算出手段と、
   前記患者形状取得手段により取得された前記患者の表面の三次元形状を示す情報と前記表面形状算出手段により算出された前記患者の表面の三次元形状を示す情報とをマッチングして、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致手段と、
   前記表面画像取得手段により取得された画像から、前記座標軸一致手段により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出手段と、
   前記内視鏡光軸算出手段により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得手段により取得された三次元形状を示す情報に係る前記患者の内部を構成する面との交点を算出する交点算出手段と、
   前記交点算出手段により算出された交点を示す情報を、前記患者形状取得手段により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力手段と、
   を備える手術支援情報表示装置。
4. 前記交点算出手段は、前記患者の内部を構成する面をポリゴンデータにして、当該ポリゴンデータを構成する各面と前記内視鏡の撮像方向である光軸を示す半直線との交点を算出することを特徴とする請求項１〜３の何れか一項に記載の手術支援情報表示装置。
5. 前記出力手段は、前記内視鏡により撮像された画像に前記交点に対応する箇所を示す情報を重畳させた画像を併せて出力することを特徴とする請求項１〜４の何れか一項に記載の手術支援情報表示装置。
6. 前記撮像手段は、前記形状算出手段により用いられる画像を撮像する場合と前記内視鏡光軸算出手段により用いられる画像を撮像する場合とで撮像条件を切り替えることを特徴とする請求項１〜５の何れか一項に記載の手術支援情報表示装置。
7. 患者形状取得手段が、第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面及び当該患者の表面の三次元形状を示す情報を取得する患者形状取得ステップと、
   表面画像取得手段が、前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得ステップと、
   表面形状算出手段が、前記表面画像取得ステップにおいて取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の三次元形状を示す情報を算出する表面形状算出ステップと、
   座標軸一致手段が、前記患者形状取得ステップにおいて取得された前記患者の表面の三次元形状を示す情報と前記表面形状算出ステップにおいて算出された前記患者の表面の三次元形状を示す情報とをマッチングして、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致ステップと、
   内視鏡光軸算出手段が、前記表面画像取得ステップにおいて取得された画像から、前記座標軸一致ステップにおいて前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出ステップと、
   交点算出手段が、前記内視鏡光軸算出ステップにおいて算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得ステップにおいて取得された三次元形状を示す情報に係る前記患者の内部を構成する面との交点を算出する交点算出ステップと、
   出力手段が、前記交点算出ステップにおいて算出された交点を示す情報を、前記患者形状取得ステップにおいて取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力ステップと、
   を含む手術支援情報表示方法。
8. 第１の座標軸上における、患者の内部に挿入されて当該内部を撮像する内視鏡が挿入される患者の内部を構成する面及び当該患者の表面の三次元形状を示す情報を取得する患者形状取得機能と、
   前記患者に前記内視鏡が差し込まれるときに撮像された前記患者の表面の画像を取得する表面画像取得機能と、
   前記表面画像取得機能により取得された前記患者の表面の画像から、第２の座標軸上における当該患者の表面の三次元形状を示す情報を算出する表面形状算出機能と、
   前記患者形状取得機能により取得された前記患者の表面の三次元形状を示す情報と前記表面形状算出機能により算出された前記患者の表面の三次元形状を示す情報とをマッチングして、前記第１の座標軸と前記第２の座標軸とを一致させる座標軸一致機能と、
   前記表面画像取得機能により取得された画像から、前記座標軸一致機能により前記第１の座標軸に一致された前記第２の座標軸上における前記内視鏡の撮像方向である光軸を示す半直線を算出する内視鏡光軸算出機能と、
   前記内視鏡光軸算出機能により算出された前記内視鏡の撮像方向である光軸を示す半直線と前記患者形状取得機能により取得された三次元形状を示す情報に係る前記患者の内部を構成する面との交点を算出する交点算出機能と、
   前記交点算出機能により算出された交点を示す情報を、前記患者形状取得機能により取得された前記患者の内部を構成する面を示す情報に重畳して出力する出力機能と、
   をコンピュータに実行させる手術支援情報表示プログラム。