JP5629023B2

JP5629023B2 - 医療用３次元観察装置

Info

Publication number: JP5629023B2
Application number: JP2013556930A
Authority: JP
Inventors: 塩田　敬司; 敬司塩田
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2012-05-30
Filing date: 2013-05-16
Publication date: 2014-11-19
Anticipated expiration: 2033-05-16
Also published as: JPWO2013179905A1; US20150085081A1; WO2013179905A1; US9207445B2

Description

本発明は、被検体の画像を３次元画像として観察可能な医療用３次元観察装置に関する。

近年、外科手術等で使用される顕微鏡及び内視鏡において、被検体の体腔内の３次元画像を観察可能としているものがある。このような３次元画像を観察可能な顕微鏡及び内視鏡（以下、医療用３次元観察装置と言う）は、被検体の立体的な構造を把握することができるので、種々の状況で用いられている。特に、教育施設においては、ベテランの医師が、電子内視鏡で得られた体腔内の画像の特定の部位を示しながら学生や研修医等に指導を行う場合がある。このような指導のためには、２次元画像内で部位を指定するよりも３次元画像内で部位を指定するほうが分り易い。また、このような技術に関連して、画像内で指定した位置に、矢印やコメント等といったアノテーションを付加する技術も知られている（例えば日本国特開２００６−２１８２３３号公報）。

３次元画像は、奥行き情報を有するものである。これに対し、前述した指導の際に用いられるマウス等のポインティングデバイスは、通常、２次元位置の情報を与えるものである。したがって、３次元画像内の目的の位置にアノテーションを付加する場合には、ポインティングデバイスによって指定された２次元位置を３次元位置に変換する必要がある。

本発明は、前記の事情に鑑みてなされたもので、３次元画像と合致した深さ位置に正しくアノテーションを付加することが可能な医療用３次元観察装置を提供することを目的とする。

前記の目的を達成するために、本発明の一態様の医療用３次元観察装置は、３次元観察を行うために左画像用の信号を生成し第１の観察窓を有する第１の撮像系と右画像用の信号を生成し第２の観察窓を有する第２の撮像系とを備えた撮像部と、操作者が２次元の位置情報として３次元画像用のアノテーション画像の移動の指示を与えるための指示部と、前記第１の観察窓と前記第２の観察窓における光軸間の距離に基づいて、前記指示部によって与えられた位置情報が示す位置における前記３次元画像用のアノテーション画像の奥行き位置を算出する演算部と、前記左画像用の信号と前記右画像用の信号を受け、前記３次元観察のための左画像と右画像とを生成する３次元画像処理部と、前記演算部で算出された奥行き位置と前記指示部によって与えられた位置情報とに基づいて、前記３次元画像用のアノテーション画像の表示位置を算出し、前記表示位置に基づいて前記アノテーション画像を前記左画像と前記右画像のそれぞれに重畳する指標重畳部と、前記アノテーション画像が重畳された前記左画像と前記右画像とを３次元で観察可能に表示する表示部とを備え、前記指標重畳部は、前記アノテーション画像の表示位置が前記右画像と前記左画像における被検体よりも常に手前側に位置するように、前記奥行き位置の距離と前記位置情報が示す位置の周辺の距離とを比較し、前記アノテーション画像の周辺の前記アノテーション画像よりも近い位置に前記被検体の画像がある場合、前記被検体の画像を避けるように前記アノテーション画像を前記右画像と前記左画像のそれぞれに重ねることを特徴とする。

図１は、本発明の一実施形態に係る医療用３次元観察装置の構成を示す図である。図２は、２眼撮像系を用いた三角測距法の原理を説明するための図である。図３は、仮想矢印画像の重畳について説明するための図である。図４は、操作部の操作量と仮想矢印画像の表示位置の変位量との関係を示す図である。図５は、操作量ΔＭについて説明するための図である。図６は、２次元画像上で仮想矢印画像を単純に移動させたときの移動量Δｌについて説明する図である。図７は、奥行きの変化を考慮せずに操作量ΔＭと移動量Δｌとの関係を決定した場合の３次元画像上での移動量Δｌの変化を示す図である。図８は、奥行きの変化を考慮して操作量ΔＭと移動量Δｌとの関係を決定した場合の３次元画像上での移動量Δｌの変化を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る医療用３次元観察装置の構成を示す図である。図１は、医療用３次元観察装置を電子画像顕微鏡に適用した例を示している。本実施形態の技術は、３次元画像を観察可能な各種の医療用観察装置に適用可能である。例えば、本実施形態の技術は、３次元観察が可能な電子内視鏡にも適用され得る。

図１に示す医療用３次元観察装置１０は、概略的には、撮像部１０１と、画像処理部１０２と、３次元画像表示部１０３と、操作部１０４とを有している。また、医療用３次元観察装置１０は、パーソナルコンピュータ（以下、ＰＣと言う）２０と、通信自在に接続され得る。

撮像部１０１は、それぞれが異なる視点から被検体３０を撮像する２眼の撮像系を有している。図１の撮像部１０１は、水平視差を有するように構成された撮像系である。言い換えれば、それぞれの撮像系は、レンズと、撮像素子と、を有し、水平方向に対して所定の基線長だけ離間するように配置されている。撮像部１０１は、垂直視差を有するように構成されても良い。この場合、それぞれの撮像系を、垂直方向に対して所定の基線長だけ離間するように配置すれば良い。また、図１は、２眼の撮像系を有する撮像部１０１を例示している、撮像部１０１は、３眼以上の撮像系を有していても良い。

レンズ１０１１Ｒは、右眼用のレンズであり、被検体３０からの光束を右眼撮像素子１０１２Ｒに集光する。また、レンズ１０１１Ｌは、左眼用のレンズであり、被検体３０からの光束を、左眼撮像素子１０１２Ｌに集光する。

右眼撮像素子１０１２Ｒは、光電変換素子からなる画素が２次元状に配置された受光面にカラーフィルタが形成されて構成されている。右眼撮像素子１０１２Ｒは、レンズ１０１１Ｒを介して受光面に入射した光束を、その光量に応じた電気信号（撮像信号）に変換する。左眼撮像素子１０１２Ｌは、右眼撮像素子１０１２Ｒと同様の構成を有し、レンズ１０１１Ｌを介して受光面に入射した光束を、その光量に応じた電気信号（撮像信号）に変換する。ここで、撮像素子は、主に、ＣＣＤ方式やＣＭＯＳ方式等があるが、本実施形態においては、何れの方式の撮像素子を用いても良い。

画像処理部１０２は、撮像信号処理部１０２１と、演算部１０２２と、３次元画像処理部１０２３と、指標重畳部１０２４とを有している。

撮像信号処理部１０２１は、右眼撮像信号処理部１０２１Ｒと、左眼撮像信号処理部１０２１Ｌと、を有している。右眼撮像信号処理部１０２１Ｒは、右眼撮像素子１０１２Ｒから入力された撮像信号を処理して右眼画像データを生成する。この処理は、ＣＤＳ（相関二重サンプリング）処理及びゲイン調整処理等のアナログ処理と、アナログ／デジタル（Ａ／Ｄ）変換処理と、色バランス補正処理や階調補正等のカラー画像化処理とが含まれる。左眼撮像信号処理部１０２１Ｌは、右眼撮像信号処理部１０２１Ｒと同様の構成を有し、左眼撮像素子１０１２Ｌから入力された撮像信号を処理して左眼画像データを生成する。

演算部１０２２は、３次元画像表示部１０３による３次元表示の際に被検体の３次元画像が３次元画像表示部１０２３の３次元再現空間のどの領域に再現されるかを演算する。この演算は、撮像部１０１と被検体３０の各部位との間の距離を測定することに対応する。撮像部１０１と被検体３０の各部位との間の距離は、例えば右眼画像データと左眼画像データとの間の視差から、三角測距法を用いて演算される。２眼撮像系を用いた三角測距法の原理を、図２を参照して簡単に説明する。被検体３０を２眼の撮像系を用いて撮像した場合、被検体３０のある部位からの光は、右眼撮像素子１０１２Ｒについては基準位置からｘ１だけ離れた画素に入射するのに対し、左眼撮像素子１０１２Ｌについては基準位置からｘ２だけ離れた画素に入射する。ここで、２眼の撮像系の間の基線長をＢ、レンズの焦点距離ｆ、レンズから被検体３０までの距離をＬとすると、以下の関係が成立することが知られている。
Ｌ＝Ｂ×ｆ／（ｘ１＋ｘ２）（式１）
（式１）より、視差（ｘ１＋ｘ２）を検出することによって、任意の画素における被検体までの距離Ｌを算出することが可能である。視差（ｘ１＋ｘ２）は、例えばブロックマッチング法によって検出することができる。ブロックマッチング法は、左眼画像データの特定のブロック（被検体３０が存在するブロック）と、最も相関の高いブロック（例えば差分絶対値が最も小さいブロック）を右眼画像データの中から検出する手法である。このとき、右眼画像データのブロックと左眼画像データのブロックとの位置差が視差（ｘ１＋ｘ２）となる。各画素に対して（式１）で示した計算を行うことにより、画素単位で距離情報を得ることも可能である。

３次元画像処理部１０２３は、３次元画像表示部１０３における３次元表示動作を制御する。３次元表示の方式としては、例えば、レンチキュラーレンズ方式を用いることができる。レンチキュラーレンズ方式は、３次元画像表示部１０３の表示面に、複数のシリンドリカルレンズを有するレンチキュラーレンズを形成しておき、３次元画像表示部１０３に表示された右眼画像と左眼画像とを、レンチキュラーレンズによって観察者の右眼と左眼に振り分けて入射させることにより、観察者に立体視を与える方式である。勿論、３次元表示の方式として、レンチキュラーレンズ方式を用いることは必須ではない。レンチキュラーレンズの代わりに液晶レンズを用いたり、裸眼平行方式を用いたりする等、本実施形態は各種の３次元表示の方式に対して適用可能である。

指標重畳部１０２４は、演算部１０２２で得られた被検体３０までの距離情報とＰＣ２０からの操作情報とに基づいて、３次元画像処理部１０２３による３次元画像表示の際に、被検体３０の３次元画像にアノテーション画像（例えば仮想矢印画像）を重畳する。アノテーション画像を重畳するために、指標重畳部１０２４は、各種のアノテーション画像のデータを格納している。

３次元画像表示部１０３は、例えば表示面にレンチキュラーレンズが形成された液晶表示装置であり、３次元画像処理部１０２３からの右眼画像データ及び左眼画像データの入力を受けて３次元表示を行う。

操作部１０４は、医療用３次元観察装置１０の操作部である。この操作部１０４は、観察者によって操作され、３次元画像表示部１０３の表示画面内における仮想矢印画像４０の移動指示を与える。操作部１０４は、例えばマウス等のポインティングデバイスである。

ＰＣ２０は、概略的には、制御部２０１と、画像表示部２０２と、操作部２０３とを有している。

制御部２０１は、例えばＣＰＵである。制御部２０１は、左眼撮像信号処理部１０２１Ｌから左眼画像データを受け取り、受け取った画像データに対応した２次元画像を画像表示部２０２に表示させる制御を行う。また、制御部２０１は、操作部２０３による操作情報を指標重畳部１０２４に入力する。

画像表示部２０２は、例えば液晶表示装置であり、制御部２０１からの左眼画像データの入力を受けて２次元表示を行う。画像表示部２０２は、３次元表示可能な表示装置であっても良い。

も良い。

操作部２０３は、観察者によって操作され、画像表示部２０２の表示画面内における仮想矢印画像４０の移動指示を与える。操作部２０３は、マウス等のポインティングデバイスである。

以下、図１で示した医療用３次元観察装置１０の動作を説明する。観察者によって医療用３次元観察装置１０が起動されると、撮像部１０１によって被検体３０が撮像される。撮像部１０１の右眼撮像系で得られた撮像信号は、右眼撮像信号処理部１０２１Ｒで処理される。また、撮像部１０１の左眼撮像系で得られた撮像信号は、左眼撮像信号処理部１０２１Ｌで処理される。

右眼撮像信号処理部１０２１Ｒで得られた右眼画像データと左眼撮像信号処理部１０２１Ｌで得られた左眼画像データとは、演算部１０２２に入力される。演算部１０２２では、右眼画像データと左眼画像データとの視差から、被検体３０までの距離が画素毎に算出される。この画素毎の距離情報及び視差情報は、演算部１０２２に保持される。

また、右眼撮像信号処理部１０２１Ｒで得られた右眼画像データと左眼撮像信号処理部１０２１Ｌで得られた左眼画像データとは、３次元画像処理部１０２３にも入力される。３次元画像処理部１０２３は、右眼画像データに対応した右眼画像を３次元画像表示部１０３の右眼表示用の画素に表示させ、左眼画像データに対応した左眼画像を３次元画像表示部１０３の左眼表示用の画素に表示させるように、３次元画像表示部１０３の表示動作を制御する。

３次元画像処理部１０２３の３次元表示動作と同期するように、指標重畳部１０２４は、アノテーション画像としての仮想矢印画像を重畳する。ここでは、矢印画像が重畳される例について説明する。矢印画像以外の各種のアノテーション画像が重畳されて良い。

医療用３次元観察装置１０の起動時においては、仮想矢印画像を３次元画像表示部１０３の固定位置（例えば中央位置）に表示させる。３次元画像表示部１０３に３次元画像として表示される被検体画像と深さを合致させてアノテーション画像を重畳するために、仮想矢印画像の先端位置に対応する被検体部位における距離Ｌに応じた視差（ｘ１＋ｘ２）を、右眼画像データと左眼画像データとのそれぞれに重畳するアノテーション画像に与える。

観察者は、３次元画像表示部１０３に表示された３次元画像を見て操作部１０４を操作する又は画像表示部２０２に表示された２次元画像を見て操作部２０３を操作することにより、仮想矢印画像の表示位置の移動指示を与える。この操作を受けて、指標重畳部１０２４は、操作部１０４又は２０３によって指定された表示画面上の位置（Ｘ，Ｙ）の画素における距離情報Ｌを演算部１０２２から取得する。この位置（Ｘ，Ｙ）は、例えば左眼画像データ上での位置とする。

距離情報Ｌを取得した後、指標重畳部１０２４は、取得した距離情報Ｌに対応した深さに仮想矢印画像４０が表示されるよう、仮想矢印画像４０の視差を変更する。左眼画像データ上の位置（Ｘ，Ｙ）に仮想矢印画像４０の位置を変更する場合、図３に示すように、右眼画像Ｒにおける仮想矢印画像４０と左眼画像Ｌにおける仮想矢印画像４０の視差が（ｘ１＋ｘ２）となるように、仮想矢印画像４０を右眼画像Ｒに重畳する。

以上説明したように、本実施形態によれば、観察者が３次元画像表示部１０３上で指定した被検体３０の位置の実際の距離に応じて、３次元画像に重畳する仮想矢印画像４０に視差を与えるようにしている。これにより、図４に示すように、観察者の眼Ｅには、意図した３次元画像内の被検体に深さが合致して仮想矢印画像４０が付加されているように見える。

［変形例］
以下、本実施形態の変形例について説明する。前述の例では、視差を与えるように仮想矢印画像４０を右眼画像データＲと左眼画像データＬとにそれぞれ重畳させる例を示している。実際には、仮想矢印画像４０を重畳させる際には、被検体３０の画像を隠さないように仮想矢印画像４０を重畳させることがより好ましい。このための手法として、位置（Ｘ，Ｙ）の指定があったときには、指定された位置（Ｘ，Ｙ）の距離とその周辺の距離とを比較し、仮想矢印画像の周辺に仮想矢印画像よりも近い位置に被検体３０の画像がある場合、近点の被検体３０の画像を避けるように仮想矢印画像４０を重畳する。これにより、仮想矢印画像４０の表示の際に、表示させた仮想矢印画像４０が被検体３０の画像に埋没した不自然な表示となることがない。

また、操作感を向上させる意味においては、操作部１０４又は２０３の操作量に対して仮想矢印画像４０の表示位置の変化量を線形にすることが望ましい。画素毎の距離Ｌが既知である。したがって、図４に示す、操作量ΔＭ（Ｘ，Ｙ）に対する仮想矢印画像４０の表示位置の変位量Δｌが一定となるように、仮想矢印画像４０の３次元画像内における表示位置（Ｘ，Ｙ，Ｚ）を決定する。ここで、移動量Δｌは、奥行き方向の移動量も加味した移動量がΔＭの変化に対して一定であることが望ましい。

例えば、図５に示すようにして、観察者が操作部２０３（マウス）を座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）まで移動させたときの操作量をΔＭとする。操作量ΔＭに対し、図６に示すようにして２次元画像上で仮想矢印画像４０を座標（Ｘ１，Ｙ２）から座標（Ｘ２，Ｙ２）まで移動させるとする。このときの移動量Δｌは、以下の式で表される。

Δｌ＝ｋ×ΔＭ（ｋは所定の係数）
上式のように深さ方向の移動量を加味しない制御をした場合、３次元画像表示部１０３上では、仮想矢印画像４０は図７の矢印Ａで示す間隔で移動する。図７からも分かるように、単位時間当たりの仮想矢印画像の動きは奥行き方向において早くなるので、観察者は、奥行きが変化する画像位置において細かいポインティングをすることができない。奥行きが変化する画像位置においても細かいポインティングをするためには、図８で示すようにして仮想矢印画像４０を移動させる必要がある。図８の傾斜部分の２点間の距離は、以下の式で表される。

√（（Ｘ１−Ｘ２）^２＋（Ｙ１−Ｙ２）²＋（Ｚ１−Ｚ２）²）
ここで、Ｘ１、Ｙ１、Ｚ１は、それぞれ移動前の仮想矢印画像４０の水平座標、垂直座標、奥行き座標を示している。また、Ｘ２、Ｙ２、Ｚ２は、それぞれ移動後の仮想矢印画像４０の水平座標、垂直座標、奥行き座標を示している。上式がΔｌとなるように、Ｘ２Ｙ２、Ｚ２を決めることにより、深さ方向に変化のある被写体でも、細かく仮想矢印画像を操作することが可能となる。このようにして操作部１０４又は２０３の操作量と仮想矢印画像４０の３次元画像内での変位量とを対応させることにより、３次元画像内の目的の位置に対するアノテーションをスムーズに行うことが可能である。ここで、本変形例では操作部１０４又は２０３の操作量と仮想矢印画像４０の変位量とを対応させているが、操作部１０４又は２０３の移動速度と仮想矢印画像４０の変位量とを対応させても良い。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、３次元画像処理部１０２３で右眼用画像と左眼用画像を水平方向にシフトさせることで表示部１０３における被検体３０の再現深さを調節することが可能であるが、仮想矢印画像でもそのシフト量を加えた視差を与えることが含まれる。

Claims

３次元観察を行うために左画像用の信号を生成し第１の観察窓を有する第１の撮像系と右画像用の信号を生成し第２の観察窓を有する第２の撮像系とを備えた撮像部と、
操作者が２次元の位置情報として３次元画像用のアノテーション画像の移動の指示を与えるための指示部と、
前記第１の観察窓と前記第２の観察窓における光軸間の距離に基づいて、前記指示部によって与えられた位置情報が示す位置における前記３次元画像用のアノテーション画像の奥行き位置を算出する演算部と、
前記左画像用の信号と前記右画像用の信号を受け、前記３次元観察のための左画像と右画像とを生成する３次元画像処理部と、
前記演算部で算出された奥行き位置と前記指示部によって与えられた位置情報とに基づいて、前記３次元画像用のアノテーション画像の表示位置を算出し、前記表示位置に基づいて前記アノテーション画像を前記左画像と前記右画像のそれぞれに重畳する指標重畳部と、
前記アノテーション画像が重畳された前記左画像と前記右画像とを３次元で観察可能に表示する表示部と、
を備え、
前記指標重畳部は、前記アノテーション画像の表示位置が前記右画像と前記左画像における被検体よりも常に手前側に位置するように、前記奥行き位置の距離と前記位置情報が示す位置の周辺の距離とを比較し、前記アノテーション画像の周辺の前記アノテーション画像よりも近い位置に前記被検体の画像がある場合、前記被検体の画像を避けるように前記アノテーション画像を前記右画像と前記左画像のそれぞれに重ねることを特徴とする医療用３次元観察装置。