JP4170042B2

JP4170042B2 - 立体電子内視鏡装置

Info

Publication number: JP4170042B2
Application number: JP2002232213A
Authority: JP
Inventors: 逸司南
Original assignee: Fujinon Corp
Current assignee: Fujinon Corp
Priority date: 2002-08-09
Filing date: 2002-08-09
Publication date: 2008-10-22
Anticipated expiration: 2022-08-09
Also published as: JP2004065804A

Description

【０００１】
【発明の属する技術分野】
本発明は立体電子内視鏡装置、特に先端部に設けられた複数の撮像手段によって比較的近距離の体腔内等の被観察体を良好に立体観察するための映像処理に関する。
【０００２】
【従来の技術】
立体電子内視鏡装置は、被観察体内へ挿入される電子内視鏡（スコープ）の先端部に、左右一組の光学系及び固体撮像素子を含む撮像手段を設けることにより、人間の両眼で捉えたものと同等の左右の画像（視差のある画像）をそれぞれ撮像し、この左右の画像を３次元表示装置にて観察するものである。即ち、この３次元表示装置の表示器には、左右の画像が交互に時分割で表示されており、偏光眼鏡等を用いて左の画像を左目で、右の画像を右目で見ることによって被観察体が立体的に観察される。
【０００３】
図８には、従来の立体電子内視鏡装置のスコープ先端部の構成が示されており、図８（Ｂ）に示されるように、先端部１には、前置レンズ２の後側に、右側撮像手段として対物レンズ系３Ｒと固体撮像素子であるＣＣＤ(Charge Coupled Device)４Ｒが設けられ、左側撮像手段として対物レンズ系３ＬとＣＣＤ４Ｌが設けられる。また、図８（Ａ）の先端面に示されるように、先端部１には光を照射するためのライトガイド５Ａ，５Ｂ、処置具を挿通するための処置具挿通チャンネル（鉗子チャンネルとも呼ばれる）６が配設される。
【０００４】
上記の構成によれば、前置レンズ２と右側対物レンズ系３Ｒ及び左側対物レンズ系３Ｌでは輻輳角α（被観察体を臨む角度）にて被観察体Ｐが捉えられることになり、この右左の対物レンズ系３Ｒ，３Ｌで捉えた被観察体がそれぞれのＣＣＤ４Ｒ，４Ｌで撮像される。そして、このＣＣＤ４Ｒ，４Ｌの撮像信号が映像処理され、３次元表示装置へ出力されることにより、輻輳角αで捉えた被観察体が良好に立体観察される。
【０００５】
また、この立体観察時には、上述した処置具挿通チャンネル６を介して処置具を先端部１から被観察体内へ配置することができる。即ち、図９に示されるように、内視鏡の３次元映像では、下側から中心部へ向けて導出される処置具７が確認できることになり、この３次元映像を見ながら処置具７による各種の処置が可能となる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の立体電子内視鏡装置では、被観察体の撮像距離が比較的短いが、その中でも近接した被観察体においては上記左右の撮像手段（３Ｒ，４Ｒ，３Ｌ，４Ｌ）で決定される輻輳角αが大きくなり過ぎ、特に処置具７の立体視が困難になるという問題があった。即ち、図８（Ｂ）に示される先端部１の先端面からｄ_１までの距離、例えば０〜８ｍｍ程度の至近距離は、図９の３次元映像では下側からＤ_１の領域に表示されるが、この領域Ｄ_１の物体の立体視が困難となる。
【０００７】
一般に、この至近領域Ｄ_１には、被観察体が存在しないことが多いが、処置具７は左右の対物レンズ系３Ｒ，３Ｌの近傍に設けられた処置具挿通チャンネル６から導き出されるので、図９に示されるように、処置具７が領域Ｄ_１を通過して中心部へ向かうように現れる。従って、３次元表示装置の眼鏡を通して両眼で見ると、図示のように処置具７の左右の画像７ａ，７ｂがずれて見え、これを無理に観察（寄り目）しようとすると、船酔いに似た状態となる。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、その目的は、処置具が存在する至近距離領域の表示が立体視の妨げとなることなく、有効な領域の立体観察を良好に行うことができる立体電子内視鏡装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明に係る立体電子内視鏡装置は、内視鏡先端部に配置した複数の撮像手段によって被観察体の映像を立体観察すると共に、処置具挿通チャンネルを介して上記先端部へ導いた処置具により各種処置が行えるように構成された立体電子内視鏡装置において、上記処置具が処置具挿通チャンネル（内視鏡）に挿入されたことを検知する処置具検知手段と、この処置具検知手段にて処置具の挿入を検知したとき、上記処置具挿通チャンネルから処置具が導出される領域で画像端部から所定ラインまでの領域では２次元映像を形成し、この処置具導出領域以外の領域では３次元映像を形成する映像形成回路とを設けたことを特徴とする。
【００１０】
請求項２に係る発明は、内視鏡先端部に配置した複数の撮像手段によって被観察体の映像を立体観察すると共に、処置具挿通チャンネルを介して上記先端部へ導いた処置具により各種処置が行えるように構成された立体電子内視鏡装置において、上記処置具が処置具挿通チャンネルに挿入されたことを検知する処置具検知手段と、この処置具検知手段にて処置具の挿入を検知したとき、上記処置具挿通チャンネルから処置具が導出される画像端部側の所定領域についてマスク画像を形成し、このマスク画像を３次元用画像に重畳する映像形成回路とを設けたことを特徴とする。
請求項３に係る発明は、上記マスク画像として、重畳した３次元用画像の一部が透けて見えるような画像を用いたことを特徴とする。
【００１１】
上記請求項１の構成によれば、左右の撮像手段で得られた左右の画像信号が処理された後に画像メモリに記憶されるが、処置具挿通チャンネルへの処置具の挿入を検知すると、例えば上記画像メモリに記憶されている右の画像の中の、処置具が導出される領域で画像端部から所定ラインまでの領域（立体視が困難となる表示領域）、即ち０ｍｍから所定の至近距離までに相当する領域の水平走査ラインデータの読出しを停止する。その後、この一部データが欠けた右の画像と画像メモリから読み出された左の画像を、例えば１フレーム毎に交互に３次元表示装置へ出力すれば、被観察体の映像が観察されることになる。この観察映像では、遠距離から所定距離までの領域の３次元映像と０ｍｍから所定距離まで至近領域の２次元映像が混在したものとなり、至近領域に含まれる処置具の映像が本来の立体観察の妨げになることがない。
【００１２】
上記請求項２の構成によれば、内視鏡への処置具の挿入を検知すると、処置具が導出される画像端部側の所定領域（立体視が困難となる至近領域）を遮蔽するマスク画像が形成され、このマスク画像が左右の画像に重ねられることになり、至近領域が遮蔽された良好な３次元映像を観察することができる。
上記請求項３の構成によれば、上記のマスク（電気的マスキング）画像として、例えばハーフトーン画像又は重ねた画像の一部が透過して見えるようなモザイク模様、点状模様の画像を用いることにより、遮蔽された至近領域の中の処置具の位置を確認することができるという利点がある。
【００１３】
【発明の実施の形態】
図１には、第１実施例に係る立体電子内視鏡装置の構成が示されており、この図１において、内視鏡先端部に配置される撮像手段として、前置レンズ１２、左右の対物レンズ系１３Ｒ，１３Ｌ、固体撮像素子である左右のＣＣＤ１４Ｒ，１４Ｌが設けられる。このＣＣＤ１４Ｒ，１４Ｌには、これらを駆動制御して撮像信号を読み出すＣＣＤ駆動回路１５が設けられると共に、読み出されたそれぞれの撮像信号につき各種のカラー画像処理を施す信号処理回路１７Ｒ，１７Ｌが接続される。
【００１４】
また、上記信号処理回路１７Ｒに接続して右画像データを記録する右用画像メモリ１８Ｒ、上記信号処理回路１７Ｌに接続して左画像データを記録する左用画像メモリ１８Ｌ、これら左右用画像メモリ１８Ｒ，１８Ｌのデータの書込み及び読出しを制御するメモリ制御回路１９が設けられる。例えば、左右の画像データは、１フィールド１／６０秒となる速度で書き込まれ、その倍の１フィールド１／１２０秒となる速度で読み出される。
【００１５】
そして、処置具の使用に応じて至近領域の２次元（以下２Ｄとする）映像を形成するために、上記メモリ制御回路１９に接続される形で、２Ｄ化切替え制御部２０、画像内の至近領域を検出するためのＶ（垂直方向）ラインカウンタ２１、ＣＰＵ（その他の制御も統括する中央処理ユニット）２２、処置具挿通チャンネルへの処置具の挿入状態を検知するフォトインタラプタ２３が接続される。即ち、処置具が挿通されたときには、Ｖ（垂直方向）ラインカウンタ２１で処置具が導出される、画像端部から所定ラインまでの領域（至近領域）として、ＮＴＳＣ方式では例えば３００（＝Ｍ）ライン（開始ライン）〜５２５ライン（最終ライン）を検出し、この至近領域の２Ｄ化指令をメモリ制御回路１９へ出力する。このメモリ制御回路１９では、例えば右用画像メモリ１８Ｒの中の至近領域の画像データの読出しを停止し、左の画像データで至近領域の２Ｄ映像を形成する。
【００１６】
図２には、立体電子内視鏡（スコープ）における上記処置具の検知に関する構成が示されており、図２（Ａ）に示されるように、スコープ２５ではその先端部２５Ａに上記の対物レンズ系１３Ｒ，１３Ｌ、ＣＣＤ１４Ｒ，１４Ｌ等の撮像手段が配置される。そして、この先端部２５Ａから操作部２５Ｂまでの内部に処置具挿通チャンネル２６が配設され、この操作部２５Ｂの処置具挿通チャンネル２６の鉗子口（挿入口）２６Ｅから、図２（Ｂ）に示されるように、処置具２７が挿入される。そして、この鉗子口２６Ｅに上述したフォトインタラプタ２３が設けられる。
【００１７】
図２（Ｃ）に示されるように、このフォトインタラプタ２３は、発光ダイオード３０を有する発光部２３Ａとフォトトランジスタ３１を有する受光部２３Ｂからなり、処置具２７の挿入により発光部２３Ａからの光が遮断されたとき、処置具２７の検知信号として例えばHigh信号を出力する。
【００１８】
図１において、上記右用画像メモリ１８Ｒ及び左用画像メモリ１８Ｌの後段には、左右の画像データについて３次元（３Ｄ）映像を形成するための信号処理を施す立体映像処理回路３４が接続され、この立体画像処理回路３４の出力が３次元（３Ｄ）表示装置３５へ供給される。この３Ｄ表示装置３５には、１フレーム（又はフィールド）単位で左右の画像が交互に供給され、この画像を３Ｄ用眼鏡で観察することになる。この眼鏡としては、左右で偏光方向が異なるもの（偏光方式）、左右の画像表示に同期して左右交互に液晶シャッタが開くもの（同期方式）等がある。なお、図示していないが、この立体電子内視鏡装置には、スコープ２５の先端部２５Ａへ照明光を供給するための光源装置が設けられる。
【００１９】
第１実施例は以上の構成からなり、その作用を図３及び図４を参照しながら説明する。まず、図１の左右のＣＣＤ１４Ｒ，１４ＬをＣＣＤ駆動回路１５で駆動することにより、ＣＣＤ１４Ｒから右の画像信号が出力され、ＣＣＤ１４Ｌから左の画像信号が出力され、これらの左右の画像信号は信号処理回路１７Ｒ，１７Ｌで所定のカラー画像処理が施され、画像メモリ１８Ｒ，１８Ｌへ出力される。この画像メモリ１８Ｒ，１８Ｌでは、メモリ制御回路１９の書込み制御によってそれぞれの１フレーム分の画像データが１/３０秒毎に画像メモリ１８Ｒ，１８Ｌに記録、格納される。
【００２０】
基本的な３Ｄ映像表示においては、上記画像メモリ１８Ｒに格納されている右の画像の１フレームデータが書込み時の倍速となる１／６０秒毎に読み出され、次のタイミングで上記画像メモリ１８Ｌに格納されている左の画像の１フレームデータが１／６０秒毎に読み出される。これらの左右の画像データは、立体映像処理回路３４を介して３Ｄ表示装置３５へ供給され、この３Ｄ表示装置３５の表示部には１フレーム１／６０秒で左右の画像が時分割で交互に表示される。従って、この左右の画像を眼鏡の左右で交互に見ることによって立体的な画像が観察できることになる。
【００２１】
一方、上記の処置具２７を使用する際には、２Ｄ映像を形成する処理が図３の動作によって行われる。図３において、ステップ１０１に示されるように、上述した３Ｄ映像のための制御が行われているときに、次のステップ１０２にてフォトインタラプタ２３の出力がHighである否かの検出が行われる。即ち、図２で説明したように、処置具２７を処置具挿通チャンネル２６へ挿入したとき、フォトインタラプタ２３はその発光部２３Ａからの光の遮断状態を検出してHigh信号を出力する。
【００２２】
そして、このステップ１０２にて、High信号が検出され、処置具２７の挿入が判定されたときには、ステップ１０３でＶライン（ライン数：ｎ）がカウントされ、次のステップ１０４でＭ≦ｎ＜５２５であるか否かが判定される。即ち、当該例では、例えばＭを３００とし、３００ライン（水平ライン）から５２５ラインの領域を処置具が導出される部分で画像端部から所定ラインまでの至近領域としており、Ｖライン数ｎが３００になったことが判定されると、ステップ１０５にてメモリ制御回路１９による２Ｄ化制御が開始され、この２Ｄ化制御はＶライン数ｎが５２５になるまで継続される。
【００２３】
この２Ｄ化制御では、図４（Ａ）に示されるように、画像メモリ１８Ｒに格納されている右の画像データの読出しにおいて、メモリ制御回路１９によって、０から２９９の水平ラインのデータは読み出されるが、３００から５２５の水平ラインのデータの読出しが停止され、他方の画像メモリ１８Ｌに格納されている左の画像データについては、図４（Ｂ）に示されるように全ての画像データが読み出される。なお、これらの左右の画像データは、上記の３Ｄ映像制御の場合と同様に、フィールドデータが２度読み出され、１フレーム分が１／６０秒毎に交互に読み出される。また、上記とは逆に画像メモリ１８Ｌの画像データにつき３００〜５２５の読出しを停止し、画像メモリ１８Ｒの全ての画像データを読み出すようにしてもよい。
【００２４】
そして、上記の左右の画像データは、立体映像処理回路３４で所定の処理が施された後、３Ｄ表示装置３５にて図４（Ｃ）のような３Ｄ映像として観察される。即ち、図４（Ａ）右の画像データと図４（Ｂ）の左の画像データを眼鏡によって交互に見ることにより、図４（Ｃ）に示されるように、０〜２９９ラインの３Ｄ映像に３００〜５２５ラインの至近領域の２Ｄ映像が加えられた混合画像が観察される。この３Ｄ−２Ｄ混合画像によれば、至近領域においては２Ｄ映像となるので、従来のように、至近領域での立体視するための無理な寄り目観察がなくなり、必要な領域の３Ｄ映像観察が良好に行えるという利点がある。
【００２５】
図５には、第２実施例の立体電子内視鏡装置の主な構成が示されており、この第２実施例は至近領域にこの領域を隠すマスクを重ねたものであり、基本的な構成は図１と同様になっている。図５において、第１実施例の場合と同様の立体映像処理回路３４Ｆには、輝度（Ｙ）信号と色差（Ｃ）信号に変換して所定のカラー処理を行う映像信号処理部３７、３Ｄ表示装置３５への出力処理をするエンコーダ３８が設けられる。
【００２６】
また、図２で説明したフォトインタラプタ２３には、ＣＰＵ４０が設けられ、このＣＰＵ４０には、Ｖラインカウンタ２１を介してマスク画像重畳回路４１が設けられる。このマスク画像重畳回路４１は、Ｖラインカウンタ２１の出力に基づき、処置具が導出される画像端部側の所定領域である至近領域に重ねるマスク画像として、ハーフトーン画像、一部が透過して見えるようなモザイク模様、点状模様の画像又は左右の画像を完全に隠す画像等を、メモリに格納された画像データに基づいて発生させる。
【００２７】
この第２実施例の構成によれば、図３のステップ１０５の２Ｄ化制御をマスク画像重畳制御に代えた第１実施例と同様の動作が実行される。即ち、ステップ１０２にて、処置具２７を処置具挿通チャンネル２６へ挿入し、フォトインタラプタ２３の出力がHighになったことが検出されると、ステップ１０３でＶライン数ｎがカウントされ、ステップ１０４でｎが３００（他の数でもよい）となった時点でマスク画像の左右の画像への重畳が開始され、５２５ラインまでこの重畳が行われる。
【００２８】
図６（Ａ）には、上記のマスク画像の一例が示されており、マスク画像として３００〜５２５ラインにハーフトーン画像（モザイク模様、点状模様の画像でもよい）Ｍ_１が形成されることになり、この画像Ｍ_１が映像信号処理部３７から出力される左右の画像のＹ信号に加算される。このようにして、第２実施例の３Ｄ表示装置３５では、図６（Ｂ）の３Ｄ映像が観察される。
【００２９】
即ち、この３Ｄ映像では、３００〜５２５ラインの至近領域にハーフトーン画像Ｍ_１が重ねられるので、この至近領域を立体視するための無理な観察が不要となり、良好な３Ｄ映像観察が行えることになる。そして、このマスク画像Ｍ_１は、ハーフトーン画像であるから至近領域の処置具２７の存在が透けた状態で確認でき、本来の映像に表示される処置具２７の部分との関連、繋がりが把握できることになり、全てを完全に隠す場合に比べると、処置具２７の確認が容易になるという利点がある。
【００３０】
上記各実施例では、処置具の立体視が困難な至近領域を開始ラインＭ＝３００〜最終ライン＝５２５ラインとしたが、この開始ラインＭは任意に設定することができ、また最終ラインも他の走査方式、テレビジョン形式ではそれらの最終ラインに合わせられる。
【００３１】
図７には、第２実施例の変形例が示されており、この図７のように、下側中央部のみを隠すマスクＭ_２を形成し、このマスクＭ_２によって処置具を隠すようにしてもよい。
【００３２】
【発明の効果】
以上説明したように、請求項１の発明によれば、処置具が処置具挿通チャンネルに挿入されたことを検知し、この処置具の挿入が検知されたとき、処置具挿通チャンネルから処置具が導出される領域で画像端部から所定ラインまでの領域では２次元映像を形成し、この処置具導出領域以外の領域では３次元映像を形成するようにしたので、処置具が存在する至近領域が２次元で表示され、３次元表示された有効な領域の立体視を妨げとなることなく、良好な立体観察が可能となる。
【００３３】
また、請求項２の発明では、上記の２次元表示に代えて、３次元用画像における処置具が導出される画像端部側の所定領域にハーフトーンのマスク画像を重畳しており、この場合は、輻輳角が大きくなって立体視が困難になる至近距離に存在する処置具やその他の像を隠すことにより、必要な部位の立体観察が良好に行われる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る立体電子内視鏡装置の構成を示すブロック図である。
【図２】第１実施例の処置具挿通チャンネルに挿入される処置具の検知に関する構成を示し、図（Ａ）はスコープの斜視図、図（Ｂ）は鉗子口に処置具を挿入する状態の図、図（Ｃ）はフォトインタラプタの構成図である。
【図３】実施例の映像処理の制御動作を示すフローチャートである。
【図４】第１実施例で形成される画像及び映像を示し、図（Ａ）はＲ（右）の画像の図、図（Ｂ）はＬ（左）の画像の図、図（Ｃ）は最終的な３次元（３Ｄ）映像の図である。
【図５】第２実施例に係る立体電子内視鏡装置の主要構成を示すブロック図である。
【図６】第２実施例で形成される画像及び映像を示し、図（Ａ）はマスク画像の図、図（Ｂ）は最終的な３Ｄ映像の図である。
【図７】第２実施例のマスク画像の変形例を示す図である。
【図８】従来の立体電子内視鏡装置の先端部の構成を示し、図（Ａ）は先端面（前置レンズを除いたもの）の図、図（Ｂ）は内部の図である。
【図９】従来の立体電子内視鏡装置で観察される３Ｄ映像を示す図である。
【符号の説明】
３Ｒ，３Ｌ，１３Ｒ，１３Ｌ…対物レンズ系、
４Ｒ，４Ｌ，１４Ｒ，１４Ｌ…ＣＣＤ、
６，２６…処置具挿通チャンネル、
７，２７…処置具、
１８Ｒ，１８Ｌ…画像メモリ、
１９…メモリ制御回路、
２０…２Ｄ化切替え制御部、
２１…Ｖラインカウンタ、２２，４０…ＣＰＵ、
２３…フォトインタラプタ、
３４，３４Ｆ…立体映像処理回路、
３７…映像信号処理部、
４１…マスク画像重畳回路。

Claims

内視鏡先端部に配置した複数の撮像手段によって被観察体の映像を立体観察すると共に、処置具挿通チャンネルを介して上記先端部へ導いた処置具により各種処置が行えるように構成された立体電子内視鏡装置において、
上記処置具が処置具挿通チャンネルに挿入されたことを検知する処置具検知手段と、
この処置具検知手段にて処置具の挿入を検知したとき、上記処置具挿通チャンネルから処置具が導出される領域で画像端部から所定ラインまでの領域では２次元映像を形成し、この処置具導出領域以外の領域では３次元映像を形成する映像形成回路とを設けたことを特徴とする立体電子内視鏡装置。
内視鏡先端部に配置した複数の撮像手段によって被観察体の映像を立体観察すると共に、処置具挿通チャンネルを介して上記先端部へ導いた処置具により各種処置が行えるように構成された立体電子内視鏡装置において、
上記処置具が処置具挿通チャンネルに挿入されたことを検知する処置具検知手段と、
この処置具検知手段にて処置具の挿入を検知したとき、上記処置具挿通チャンネルから処置具が導出される画像端部側の所定領域についてマスク画像を形成し、このマスク画像を３次元用画像に重畳する映像形成回路とを設けたことを特徴とする立体電子内視鏡装置。
上記マスク画像として、重畳した３次元用画像の一部が透けて見えるような画像を用いたことを特徴とする請求項２記載の立体電子内視鏡装置。