JP5701140B2 - 立体内視鏡装置 - Google Patents

Description

本発明は、立体内視鏡装置、特に先端部に設けられた複数の撮像手段によって比較的近距離の被写体を良好に観察するための画像処理に関する。

図8に示すように、従来の立体内視鏡は、被観察体内へ挿入される内視鏡100の先端にステレオカメラ（101R、101L）と処置器具を挿入するためのチャネル102、照明103及び104が配置されている。医師はステレオカメラ（101R、101L）によって得られた画像を3次元に表示した立体映像を観察しながら、処置器具等を利用して手術を行っている。

このような立体内視鏡では、処置器具のように非常に近接するものに対してはステレオカメラによって決定される輻輳角が大きくなりすぎ、立体視が困難になる。例えば、チャネル102から処置器具を送出した状態では、ステレオカメラ101R、101Lにより取得される画像では図9(a)のように処置器具（図中の黒棒）は互いに異なる角度で画像中に表れる。この状態では、それぞれのカメラにより得られた画像中の処置器具は図9(b)のようにずれて重なるが、処置器具が送出される画像端付近ではずれ量（視差量）が大きくなりすぎ、立体視できなくなるという問題がある。

この問題に対して、特許文献１では、予め決定された領域のみを2次元画像化する方法やマスク画像を生成して重畳する方法が開示されている。

特開2004-65804号公報

しかしながら、上記特許文献１に記載の先行技術では、立体視が困難な領域を予め求め、その部分に関しては単眼の画像のみを表示する、あるいはマスク画像を重畳する方法をとっている。そのため、処置器具がチャネルから少ししか出ていないにも関わらず、それ以外の領域も2次元画像化あるいはマスクされるという問題がある。本発明は上記の課題に鑑みてなされたものであり、処置器具の先端を検出し、常に必要最小限の処理を行うことで立体視できる領域を確保する仕組みを提供することを目的とする。

上記の目的を達成するための、本発明の一態様による装置は以下の構成を備える。すなわち、本発明の第一の態様は、複数の撮像部と操作可能な処置器具を備えたチャネルとを有し、前記複数の撮像部により取得された画像を立体表示する立体内視鏡装置であって、前記撮像部により取得された画像の中の処置器具の先端を検出する先端検出部と、処置器具の先端から所定距離以上離れ、かつ2次元画像化する領域を決定する領域決定部と、前記領域を2次元画像化する2次元画像処理部とを有し、前記領域は、処置器具が写っている領域であることを特徴とする立体内視鏡装置に関する。

また、本発明の第二の態様は、複数の撮像部と操作可能な処置器具を備えたチャネルとを有し、前記複数の撮像部により取得された画像を立体表示する立体内視鏡装置であって、前記撮像部により取得された画像の中の処置器具の先端を検出する先端検出部と、処置器具の先端から所定距離以上離れ、かつ画像を変形させる領域を決定する変形領域決定部と、前記領域の画像を変形させる画像変形処理部とを有し、前記領域は、処置器具が写っている領域であり、前記画像変形処理部は、前記複数の画像により取得された画像が有する視差量を低減するための画像変形を行う画像処理部であることを特徴とする立体内視鏡装置に関する。

本発明によれば、立体視観察領域のうち必要最小限の領域のみを処理することにより、視覚的な妨害感を軽減することができるため、より作業の行い易い立体内視鏡を提供することができる。

第１実施例に係る処理システムの機能構成を示す図である。 先端検出部１２を説明するための図である。 映像処理部１３を説明するための図である。 第２実施例を説明するための図である。 第１実施例および第２実施例の装置構成を示す図である。 第１実施例の処理の流れを示す図である。 第２実施例の処理の流れを示す図である。 従来の立体内視鏡の例（先端部のみ）である。 従来の立体内視鏡により取得される画像の例である。

以下、添付図面に従って本発明に係る処理装置及び方法の好ましい実施形態について詳説する。ただし、発明の範囲は図示した例に限定されるものではない。

（第１実施例）
本実施例に係る立体内視鏡装置は、チャネルを通して操作可能な処置器具の先端部を検出し、先端部の一定領域だけ残して、それ以外の処置器具部分の映像を2次元画像化することにより、視覚的な妨害感を軽減するものである。

図1は本実施例の機能ブロック図を示している。図中、101R、101Lは内視鏡のそれぞれ右目用、左目用の撮像部、11はメモリ、12は処置器具の先端を検出する先端検出部、13は検出された処置器具の先端を一定距離だけ残して2次元画像化する映像処理部、14は立体画像表示部である。また、後述のように、映像処理部は領域決定部と2次元画像処理部とを含む。かかる構成により、撮像部101Rおよび101Lで取り込まれた画像は、一旦メモリ11に保持される。先端検出部12はメモリ11に保持された画像から処置器具の先端を検出し、その情報を映像処理部13に送出する。映像処理部13では、その情報をもとに画像を2次元画像化する領域を領域決定部で決定し、2次元画像処理部で2次元画像化処理を行う。その結果を表示部14で立体表示する。

次に、図2を用いて先端検出部の処理を説明する。図2(a)は立体内視鏡の撮像部を示している。21は撮像部101Rの中心、22は撮像部101Lの中心、23はチャネル102の中心を示す。また、21と22を結ぶ直線111と23との最短距離をyd、23から直線111に降ろした垂線から21および22までの最短距離をそれぞれxd1、xd2とする。図2(b)は処置器具24がチャネルから長さLだけ送出されたところを図2(a)の矢印112の方向から見た模式図である。図2(c)はこのとき撮像部101Rで取得される画像を示している。28は画像の中心画素、29は画像に写った処置器具の先端の位置を示し、n、mは画素28から見たときの29の画素位置を表している。
話を簡単にするために、カメラはピンホールカメラを仮定し、処置器具の太さを無視する。また、カメラの画像面までの距離をf、撮像面の画素ピッチをp、処置器具24がLだけ送出された時の先端部の画像面上で位置（画像面の中心28からの距離）をyとする。この時、

同様に、

という関係が導かれる。これらの変数のうち、p及びfは撮像条件ごとにあらかじめ求めておくことができる。また、yd及びxd1は使用する立体内視鏡により一定の値となる。そのため、n及びmは処置器具24を送出した長さLの関数として求めることができる。従って、処置器具の画像のテンプレートを予め作成しておき、（数1）及び（数2）で示される(m,n)の軌跡上をテンプレートマッチングしていけば、容易に先端位置を検出することが可能である。

ここでは、撮像部101Rの画像のみを利用したが、101Lの画像上でも同様の検出を行い、照合することでより精度向上が期待できる。

次に映像処理部13の処理を図３を用いて説明する。３１は３次元で表示しようとする領域であり、３２は２次元画像処理を行う領域である。
映像処理部13では、領域決定部によって求められた処置器具の先端から所定距離以内にある領域31を特定する。また、処置器具の先端から所定距離より離れた領域32を特定する。ただし、領域３２は処置器具が存在する領域のみ定めればよい。領域31を特定する際の所定距離としては特に限定されることはなく、視覚的な妨害感の軽減の度合いを考慮して任意に定めることができる。また、処置器具が画像に最初に写る場所は一意に決まるため、領域32は処置器具の先端から見て処置器具が画像内で最初に写る方向にのみ定めればよい。もし、画像に写っている処置器具の領域がその先端から所定距離に満たない場合、2次元画像化は行わない。図3(a)は撮像部101Rおよび101Lにより取得された画像を示している。ここで領域32を2次元画像化する。2次元画像化の方法としては特に限定されないが、例えば図3(b)、(c)に示すように、処置器具が写っている部分に相当する領域をもう一方の画像からコピーして合成する方法を採用することができる。即ち、図3(b)の画像Rの領域32中で処置器具が写っている領域に、画像L内で対応する領域122をコピーして図3(c)のように合成する。画像Lも同様に、処置器具が写っている領域32に画像R内で対応する領域121をコピーして図3(c)のように合成する。この方法では左右が入れ替わった2次元画像が表示されるが、図3(b)に示すように、画像R、画像Lからコピーする領域には処置器具が写っていないため、立体視の際に処理器具がぶれて重なることがない。そのため、視覚妨害が軽減されるので疲労感が少ないというメリットがある。画像を入れ替えるために境界で不連続な部分が発生するが、この部分は処置器具による作業区域ではないために大きな問題ではない。
また、領域３２を入れ替える処理の代わりに、領域３２をマスク等で画像を覆う構成や、領域３２の周囲の画像から内挿して処置器具を見えなくしてもよい。その場合、図３（ｃ）における１２１および１２２は内挿による画像である。

上記の画像を表示部14に表示する。表示部14には、既存の立体表示装置が利用可能である。

以上述べたように、画像に写る処置器具の先端を検知して、先端の一定領域を残して画像中の処置器具の領域をもう一方の同位置の領域と置き換えることにより、視野妨害感が軽減された立体内視鏡画像を提供することができる。

（第2実施例）
本実施例は、第1実施例で行った画像に写る処置器具の一部の領域をもう一方の画像の同位置の領域で置き換える処理の代わりに、画像を変形して同様の効果を狙ったものである。

図4を用いてこれを説明する。矩形領域41，42のように立体視が困難な領域では、画像の視差量が多い。この視差量の多い領域、すなわちより撮像部101に近い領域の視差量を軽減すれば、立体視を行い易くなる。そこで、例えば、矩形領域41を台形領域43にマッピングし、矩形領域42を台形領域44にマッピングすることにより、左右画像間の視差量を減少させることができる。すなわち、本実施例では、装置は画像を変形する領域を設定する変形領域決定部、及び設定された領域の画像変形を行う画像変形処理部を備える。この変形は、コンピュータグラフィックでは一般的なテクニックであるテクスチャマッピング等により実現できる。台形形状に変形したことにより画像の端が欠けた状態になるが、この部分は例えば画像が存在しないことを示す黒い画素を挿入しておけばよい。但し、挿入する画素の色は、黒に限らず、何色でもよい。

上記の処理によりこの立体空間上では現実のものとは異なる空間が知覚されるが、立体視ができないというような視覚の妨害感は低減される。前述のようにこれらの部分は処置器具による作業領域ではないため、多少の空間変形は許容される。

画像中の処置器具の先端は、実施例1の方法により求めることができる。また、より撮像部101に近い領域（画像を変形する領域）は、処置器具が画像に最初に写る場所を含む領域となるため、画像中の処置器具の先端を含み、それよりも処置器具が画像に最初に写る場所の方向に任意の距離で設定すればよい。なお、矩形領域をマッピングする形状は、視差が軽減されるような変形になっていれば、これに限らない。

（その他の実施例）
第1実施例、第2実施例ともに、コンピュータを利用しても実現可能である。図5にその構成を示す。図中、211はCPU、212は主メモリ、213は磁気ディスク、214は表示メモリ、218は共通バス、140は表示装置、150はマウス、160はキーボードである。101Rおよび101Lはそれぞれ立体内視鏡の撮像部である。

図6を用いて処理を説明する。まず、ステップS301において左右眼に相当する画像を取得し、ステップS302において画像に写っている処置器具の先端を検出する。ステップS303では、S302で検出された先端から所定距離以上離れた処置器具の領域を検出し、2次元画像化を行う。2次元画像化の方法は、第1実施例と同様である。その後、得られた画像をステップS304で表示する。

また、図7を用いて第2実施例を実現する場合の処理を説明する。図中のS301、S302、S304は実施例1の処理と同様である。ステップS403では、処置器具の先端を含む領域を変形領域として決定し、ステップS404で変形領域を所定の領域に変形（マッピング）する。実施例2の場合、処置器具の先端を含む領域は41、42の矩形領域であり、該所定の領域は43、44の台形領域である。

その他の方法として、画像中の処置器具の先端から所定距離以上離れた領域に対して、ローパスフィルタ、例えばガウシアンフィルタ等を適用する方法もある。この方法では、フィルタ適用領域でボケが生じるため、視覚的な妨害感を軽減することができる。

また、処置器具の先端部の検出方法に関しては、図2を用いて説明した処置器具の軌跡上をテンプレートマッチングするのではなく、処置器具が変形・自由移動する場合も考慮して、マッチング方法を考える。その一例としては、処置器具がチャネルからどの程度送出されているかを検知するセンサを内視鏡本体に設置しておき、その情報をもとにテンプレートマッチングの探索範囲を限定するという方法が考えられる。センサを使わない方法としては、処置器具が画像に最初に写る場所は一意に決まるため、その部分を常に監視しておき、一度見つけたらその部分を追跡するという方法でもよい。

以上述べたように、立体内視鏡画像において処置器具が写っている領域の一部を左右の画像間で入れ替えることにより、視覚的な妨害感を軽減できる。また、処置器具の先端を含む領域の一部を常にそのまま表示しておくことにより、常に処置器具の存在位置を確認できるので処置器具が見えない或いは見え難いことによって体部組織へダメージを与えることを防止することができる。さらに、2次元画像化ではなく、立体表示で知覚される空間を一部変形し、処置器具の見え方を変えることにより、視覚的な妨害感を軽減することも可能である。さらには、画像中央と周辺部で重みのつけ方が異なるような画像処理の方法を採用することでも、視覚的な妨害感を軽減することが可能である。

以上の実施例では、2個の撮像部を備えた内視鏡を用いて本発明を説明したが、2個以上の複数の撮像部を備え、それぞれの撮像部で得られた複数の画像のうち任意のものに本発明の処理を行って、立体観察を行うこともできる。このとき、複数の撮像部で取得されたすべての画像に対して本発明の処理を行う必要はなく、2次元画像化する領域や画像を変形させる領域は、得られた画像のうち任意の一以上の画像に対して行えばよい。
また、撮像部は、光学系を有してもよい。１つの撮像光学系が内部に２つ以上の撮像部を有する構成でもよい。例えば、１つのレンズを通して二つ以上の撮像素子を有する構成が挙げられる。

12 先端検出部
13 映像処理部
14 表示部
100 立体内視鏡の先端部分
101R 撮像部（右目用）
101L 撮像部（左目用）

Claims (4)

1. 複数の撮像部と操作可能な処置器具を備えたチャネルとを有し、前記複数の撮像部により取得された画像を立体表示する立体内視鏡装置であって、
   前記撮像部により取得された画像の中の処置器具の先端を検出する先端検出部と、
   処置器具の先端から所定距離以上離れ、かつ2次元画像化する領域を決定する領域決定部と、
   前記領域を2次元画像化する2次元画像処理部とを有し、
   前記領域は、処置器具が写っている領域であることを特徴とする立体内視鏡装置。
2. 処置器具の先端から所定距離以内の領域は2次元画像化しないことを特徴とする請求項１に記載の立体内視鏡装置。
3. 複数の撮像部と操作可能な処置器具を備えたチャネルとを有し、前記複数の撮像部により取得された画像を立体表示する立体内視鏡装置であって、
   前記撮像部により取得された画像の中の処置器具の先端を検出する先端検出部と、
   処置器具の先端から所定距離以上離れ、かつ画像を変形させる領域を決定する変形領域決定部と、
   前記領域の画像を変形させる画像変形処理部とを有し、
   前記領域は、処置器具が写っている領域であり、
   前記画像変形処理部は、前記複数の画像により取得された画像が有する視差量を低減するための画像変形を行う画像処理部であることを特徴とする立体内視鏡装置。
4. 前記変形した後の形状が台形であることを特徴とする請求項３に記載の立体内視鏡装置。

Images