JP6655756B2

JP6655756B2 - ３ｄ内視鏡装置、及び、３ｄ映像処理装置

Info

Publication number: JP6655756B2
Application number: JP2019510460A
Authority: JP
Inventors: 孝之井田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-05-19
Filing date: 2018-04-06
Publication date: 2020-02-26
Anticipated expiration: 2038-04-06
Also published as: US10966592B2; CN110944566A; JPWO2018211854A1; CN110944566B; US20200077869A1; WO2018211854A1

Description

本発明の実施形態は、３Ｄ内視鏡装置、及び、３Ｄ映像処理装置に関し、特に、２Ｄ映像と３Ｄ映像とを切り替えて出力する、３Ｄ内視鏡装置、及び、３Ｄ映像処理装置に関する。

従来、医療分野において、体腔内の臓器の観察や、処置具を用いての治療処置、内視鏡観察下における手術などに、内視鏡装置が広く用いられている。一般的に、内視鏡装置は、挿入部の先端に電荷結合素子（ＣＣＤ）などの撮像素子を搭載した電子内視鏡によって得られた被写体の撮像信号を、プロセッサに伝送して画像処理を施す。画像処理により得られた内視鏡画像は、プロセッサから内視鏡モニタに出力され、表示される。

通常の内視鏡装置は、１つの撮像素子で観察部位を撮像し、２Ｄの内視鏡画像を得る。一方、手術を行うような場合には、２つの撮像素子を備えた３Ｄの電子内視鏡を用いる場合がある。すなわち、２つの撮像素子の位置の違いにより発生する画像のずれ、すなわち視差を得ることで、３Ｄの内視鏡画像を取り込み、これらの画像を人間の両眼に独立して提示することにより、立体感覚を与える３Ｄ内視鏡装置が開発されている。３Ｄ内視鏡装置を用いると、奥行き感のある３Ｄの内視鏡画像が得られるため、術者は、手術などを行いやすくなる場合がある（例えば、日本国特開２０１５−２２６２１６号公報参照）。

レーザー切除手術など体腔内の臓器の処置を行う場合、処置中に水蒸気や煙などが発生する。これにより、電子内視鏡の挿入部先端に設けられた対物レンズに、曇りが生じたり、汚れが付着したりすると、内視鏡画像に不鮮明な部分が生じてしまい、術野が確保できなくなってしまう。このような状況下において、従来の３Ｄ内視鏡装置では、電子内視鏡を体腔内から一旦取り出して、洗浄や加温処理により曇りや汚れを除去し、再び体腔内に戻して手術を行っていた。すなわち、対物レンズの浄化処理に時間を要するため、手技の進行が遅延してしまうという問題があった。

そこで、本発明は、対物レンズに曇りが生じたり汚れが付着したりした場合にも、手技を中断することなく鮮明な内視鏡画像を出力することができる、３Ｄ内視鏡装置、及び、３Ｄ映像処理装置を提供することを目的とする。

本発明の一態様の３Ｄ内視鏡装置は、第１の撮像系により得られる第１の映像信号と、第２の撮像系により得られる第２の映像信号とが入力される映像信号入力部と、前記映像信号入力部より得られる２Ｄ用映像信号と３Ｄ用映像信号とを識別する２Ｄ／３Ｄ識別部と、前記２Ｄ／３Ｄ識別部が、２Ｄ用映像信号を検知したとき、２Ｄ画像が表示される表示領域を解析し、曇り領域を検出する画像状態検出部と、を有する。また、前記画像状態検出部の検出結果が、前記第１の撮像系、または、前記第２の撮像系のいずれか片方の撮像系から得られる映像信号のみ曇り領域が検出された場合、他方の映像信号に切り替えるｃｈ切替指示部と、前記画像状態検出部の検出結果が、前記第１の撮像系、及び、前記第２の撮像系の両方の映像に曇り領域が検出された場合、前記第１の映像信号により得られる画像の曇り領域が発生していない領域と前記第２の映像信号により得られる画像の曇り領域が発生していない領域とを補完して曇り領域を低減させた合成画像を生成する画像合成部と、前記２Ｄ用映像信号、及び、前記３Ｄ用映像信号を表示する表示部も有する。

本発明の一態様の３Ｄ内視鏡装置は、第１の撮像系により得られる第１の映像信号と、第２の撮像系により得られる第２の映像信号とが入力される映像信号入力部と、前記第１の映像信号における第１の画像の表示領域、及び／または、前記第２の映像信号における第２の画像の表示領域を解析し、曇り領域を検出する画像状態検出部を有する。また、前記画像状態検出部の検出結果が、前記第１の撮像系、及び、前記第２の撮像系の両方の映像に曇り領域が検出された場合、前記第１の映像信号により得られる画像の曇り領域が発生していない領域と前記第２の映像信号により得られる画像の曇り領域が発生していない領域とを補完して曇り領域を低減させた合成画像を生成する画像合成部も有する。更に、前記第１の撮像系、又は、前記第２の撮像系のいずれか片方の撮像系から得られる曇り領域のない映像信号、または、前記画像合成部により生成された合成画像を、擬似的に３Ｄ用映像信号に変換する擬似３Ｄ変換部と、前記第１の映像信号、または、前記第２の映像信号、または、前記合成画像のいずれかからなる２Ｄ用映像信号、及び、前記３Ｄ用映像信号を表示する表示部も有する。

本発明の一態様の３Ｄ映像処理装置は、第１の撮像系により得られる第１の映像信号と、第２の撮像系により得られる第２の映像信号とが入力される映像信号入力部と、前記第１の映像信号における第１の画像の表示領域、及び／または、前記第２の映像信号における第２の画像の表示領域を解析し、曇り領域を検出する画像状態検出部とを有する。また、前記画像状態検出部の検出結果が、前記第１の撮像系、及び、前記第２の撮像系の両方の映像に曇り領域が検出された場合、前記第１の映像信号により得られる画像の曇り領域が発生していない領域と前記第２の映像信号により得られる画像の曇り領域が発生していない領域とを補完して曇り領域を低減させた合成画像を生成する画像合成部と、前記第１の映像信号、または、前記第２の映像信号、または、前記合成画像のいずれかからなる２Ｄ用映像信号を出力する出力部も有する。

本発明の実施形態に係わる３Ｄ内視鏡装置を含む、内視鏡システムの全体構成の一例を示す斜視図。第１の実施形態に係わるプロセッサ、及び、表示装置の構成の一例を説明するブロック図。曇りが発生した画像の一例を説明する図。曇りが発生した画像の一例を説明する図。曇りが発生した画像の一例を説明する図。画像内の曇りを検出する手順の一例を説明するフローチャート。曇りが発生した両眼画像から生成された曇りが除去された画像の一例を説明する図。第１の実施形態に係わる２Ｄ画像を生成する手順の一例を説明するフローチャート。３Ｄ画像を生成する手順の一例を説明するフローチャート。第２の実施形態に係わるプロセッサ、及び、表示装置の構成の一例を説明するブロック図。第２の実施形態に係わる２Ｄ画像を生成する手順の一例を説明するフローチャート。第３の実施形態に係わるプロセッサの構成の一例を説明するブロック図。

以下、図面を参照して実施形態を説明する。

（第１の実施形態）
図１は、本発明の実施形態に係わる３Ｄ内視鏡装置を含む、内視鏡システムの全体構成の一例を示す斜視図である。図１に示すように、内視鏡システム１は、内視鏡スコープとしての３Ｄ電子内視鏡（以下、単に内視鏡という）２と、光源装置３と、３Ｄ映像処理装置としてのプロセッサ４と、表示装置としてのモニタ５と、から主に構成されている。

内視鏡２は、長尺で細長な挿入部９と、操作部１０と、電気ケーブルであるユニバーサルケーブル１９と、を有して構成されている。内視鏡２の挿入部９は、先端から順に、先端部６と、湾曲部７と、可撓管部８と、を有して構成されている。

先端部６に設けられた２つの観察窓には、それぞれ一対の対物レンズ２３Ｒ、２３Ｌが設けられている。各対物レンズ２３Ｒ、２３Ｌの結像位置には、第１の撮像系、及び第２の撮像系として、光電変換機能を備えた撮像素子である、ＣＣＤ、ＣＭＯＳなどの固体撮像素子（図示せず）が配置されている。上記一対の対物レンズ２３Ｒ、２３Ｌは、前方の被写体に対して視差のある左右の被写体像を、それぞれの結像位置に配置された固体撮像素子に結像する。

操作部１０には、挿入部９の湾曲部７を湾曲操作するための湾曲操作部１４が回転自在に配設されると共に、各種内視鏡機能のスイッチ類などが設けられている。このスイッチ類のひとつとして、操作部１０には、モニタ５に表示する画像を、２Ｄ内視鏡画像／３Ｄ内視鏡画像で切り替える、２Ｄ／３Ｄ切替スイッチ１５が設けられている。なお、湾曲操作部１４は、湾曲部７を上下方向に湾曲操作するためのＵＤ湾曲操作ノブ１２と、湾曲部７を左右方向に湾曲操作するためのＲＬ湾曲操作ノブ１３とが重畳するように配設されている。

また、挿入部９と操作部１０の連結部は、ユーザによる把持部を兼ねる把持部１１と、この把持部１１及び挿入部９の可撓管部８の一端の間に設けられた折れ止め部に配設されて、挿入部９に配設された各種処置部を挿通する処置具チャネルの開口部となる処置具チャネル挿通部１８とを有して構成されている。

操作部１０から延設されたユニバーサルケーブル１９は、延出端に光源装置３と着脱自在なスコープコネクタ１９ａを有している。また、スコープコネクタ１９ａは、コイル状のコイルケーブル２０が延設しており、このコイルケーブル２０の延出端にプロセッサ４と着脱自在なコネクタとしてのスコープコネクタ２０ａが設けられている。なお、本実施形態の内視鏡２は、ユニバーサルケーブル１９、操作部１０及び挿入部９に配設された照明手段のライトガイドケーブルによって、光源装置３から先端部６まで照明光を伝送するものである。

３Ｄ映像処理装置としてのプロセッサ４は、内視鏡画像を表示するモニタ５と電気的に接続され、内視鏡２に搭載されているＣＣＤなどの撮像手段によって光電変換された撮像信号を処理して、画像信号としてモニタ５に出力する。

図２は、第１の実施形態に係わるプロセッサ、及び、表示装置の構成の一例を説明するブロック図である。プロセッサ４は、映像信号入力部４１と、Ｒ画像処理部４２Ｒと、Ｌ画像処理部４２Ｌとを有する。また、プロセッサ４は、２Ｄ／３Ｄ切替部４３と、２Ｄ処理部４４と、３Ｄ処理部４５と、出力部４６と、通信部４７とも有する。

映像信号入力部４１は、Ｒ信号入力部４１Ｒと、Ｌ信号入力部４１Ｌとから構成される。映像信号入力部４１には、内視鏡２から出力された被写体の像が入力される。具体的には、Ｒ信号入力部４１Ｒには、対物レンズ２３Ｒでとらえた被写体の像を固体撮像素子で光電変換した第１の映像信号として、右目に対応する画像信号（以下、Ｒ画像信号と示す）が入力される。Ｌ信号入力部４１Ｌには、対物レンズ２３Ｌでとらえた被写体の像を固体撮像素子で光電変換した第２の映像信号として、左目に対応する画像信号（以下、Ｌ画像信号と示す）が入力される。

Ｒ画像処理部４２Ｒは、Ｒ信号入力部４１Ｒから入力されるＲ画像信号に各種処理を施し、モニタ５に表示可能な信号に変換する。Ｌ画像処理部４２Ｌは、Ｌ信号入力部４１Ｌから入力されるＬ画像信号に各種処理を施し、モニタ５に表示可能な信号に変換する。Ｒ画像処理部４２Ｒ、及び、Ｌ画像処理部４２Ｌ、例えば、ＣＤＳ回路、低域通過フィルタ、クランプ回路、Ａ／Ｄ変換器、ホワイトバランス補正回路、色調調整回路、γ補正回路、輪郭強調回路、などから構成される。

２Ｄ／３Ｄ切替部４３は、２Ｄ／３Ｄ切替スイッチ１５によって術者などから入力される指示内容に従い、Ｒ画像処理部４２Ｒから入力されるＲ画像信号と、Ｌ画像処理部４２Ｌから入力されるＬ画像信号の出力先を切り替える。すなわち、２Ｄ内視鏡画像をモニタ５に表示させるように指示されている場合、２Ｄ／３Ｄ切替部４３は、Ｒ画像信号とＬ画像信号とを２Ｄ処理部４４に出力する。一方、３Ｄ内視鏡画像をモニタ５に表示させるように指示されている場合、２Ｄ／３Ｄ切替部４３は、Ｒ画像信号とＬ画像信号とを３Ｄ処理部４５に出力する。また、２Ｄ／３Ｄ切替部４３は、通信部４７を介してモニタ５から入力される指示内容を、２Ｄ処理部４４に入力する。

２Ｄ処理部４４は、２Ｄ／３Ｄ切替部４３からＬ画像信号とＲ画像信号とが入力された場合に、モニタ５に表示する２Ｄ内視鏡画像用の画像信号を生成する。２Ｄ処理部４４は、ｃｈ切替部４４１を有する。ｃｈ切替部４４１は、２Ｄ／３Ｄ切替部４３から入力されるＲ画像信号または画像信号のいずれかを選択し、出力部４６に出力する。通常、ｃｈ切替部４４１は、Ｌ画像信号を選択し、出力する。２Ｄ／３Ｄ切替部４３から画像信号の切替指示が入力された場合、ｃｈ切替部４４１は、現在出力中の画像信号の出力を停止し、もう一方の画像信号を出力する。例えば、Ｌ画像信号を出力中に、画像信号の切替指示が入力された場合、Ｌ画像信号の出力を停止し、Ｒ画像信号を出力する。

３Ｄ処理部４５は、２Ｄ／３Ｄ切替部４３からＬ画像信号とＲ画像信号とが入力された場合に、モニタ５に表示する３Ｄ内視鏡画像用の画像信号を生成する。３Ｄ処理部４５は、画像合成部４５１を有する。画像合成部４５１は、入力されたＲ画像信号とＬ画像信号とから、モニタ５の３Ｄ表示方式に対応した画像信号を生成し、出力部４６に出力する。例えば、モニタ５が偏光式に対応した３Ｄディスプレイであり、専用の偏光メガネを用いて画像を観察する場合、ライン・バイ・ライン方式（インターレース方式ともいう）で画像信号を伝送する必要がある。従って、画像合成部４５１は、各フレームの偶数行のＲ画像信号と、奇数行のＬ画像信号とを抽出し、交互に出力する。すなわち、１行目、３行目、５行目、…、２ｎ−１行目の画像信号はＬ画像信号を用い、２行目、４行目、６行目、…、２ｎ行目の画像信号は、Ｒ画像信号を用いて、各フレームの画像信号を生成し、出力する。

なお、モニタ５の３Ｄ表示方式が別の方式である場合、画像合成部４５１は、その方式に対応する画像信号を生成し、出力する。例えば、モニタ５がフレームシーケンシャル方式に対応した３Ｄディスプレイであり、専用のアクティブシャッターメガネを用いて画像を観察する場合、フレームパッキング方式で画像信号を伝送する必要がある。従って、画像合成部４５１は、Ｌ画像信号のフレームとＲ画像信号のフレームとを交互に出力する。

出力部４６は、２Ｄ処理部４４、または、３Ｄ処理部４５から入力された画像信号を、モニタ５の入力部５１へ出力する。

通信部４７は、モニタ５からの指示内容を受信し、２Ｄ／３Ｄ切替部４３へ出力する。

表示装置としてのモニタ５は、入力部５１と、２Ｄ／３Ｄ検知部５２と、２Ｄ処理部５４と、３Ｄ処理部５５と、映像表示部５６とを有する。入力部５１は、プロセッサ４から出力された画像信号を受信し、２Ｄ／３Ｄ切替部４３へ出力する。

２Ｄ／３Ｄ識別部としての２Ｄ／３Ｄ検知部５２は、入力された画像信号を解析し、２Ｄ内視鏡画像用の画像信号であるか、３Ｄ内視鏡画像用の画像信号であるかを識別する。すなわち、入力された画像信号が、Ｌ画像信号またはＲ画像信号のどちらか一方のみから生成されている場合、２Ｄ内視鏡画像用の画像信号であると判断する。一方、入力された画像信号が、Ｌ画像信号とＲ画像信号の両方を用いて生成されている場合、３Ｄ内視鏡画像用の画像信号であると判断する。

２Ｄ／３Ｄ検知部５２は、入力された画像信号が２Ｄ内視鏡画像用であると判断した場合、同画像信号を２Ｄ処理部５４に出力する。入力された画像信号が３Ｄ内視鏡画像用の画像信号であると判断した場合、同画像信号を３Ｄ処理部５５に出力する。

２Ｄ処理部５４は、入力された２Ｄ内視鏡画像用の画像信号に、レンズの曇りや汚れの領域（以下、曇り領域と示す）の有無を検出し、曇り領域が検出された場合には、曇り領域を補完し曇りや汚れのない画像を生成する。２Ｄ処理部５４は、画像検出部５４１と、ｃｈ切替指示部５４３と、通信部５４４と、画像生成部５４５と、記録部５４６とから構成されている。

画像検出部５４１は、画像状態検出部としての判断部５４２を有している。判断部５４２は、入力された画像信号を表示した内視鏡画像において、曇り領域の有無を判定する。図３Ａ、図３Ｂ、図３Ｃは、曇りが発生した画像の一例を説明する図である。図３Ａ、図３Ｂ、図３Ｃは、所定間隔でこの順に撮影された２Ｄの内視鏡画像である。すなわち、まず、図３Ａの内視鏡画像が撮影され、その後、所定間隔（例えば１秒）をおいて撮影された内視鏡画像が図３Ｂに示す画像である。また、図３Ｂの内視鏡画像が撮影されてから、さらに所定間隔をおいて撮影された内視鏡画像が図３Ｃに示す画像である。なお、画像検出部５４１に入力された画像信号は、内視鏡画像として、所定間隔で記録部５４６に記録される。図４は、画像内の曇りを検出する手順の一例を説明するフローチャートである。図３Ａ、図３Ｂ、図３Ｃ、及び図４を用いて、内視鏡画像における曇り領域の有無の判定について、説明する。

まず、図３Ａ、図３Ｂ、図３Ｃに示すような時系列に入力された複数の内視鏡画像を、複数の領域に分割し、各分割領域の画像情報（ＲＧＢ画素値、輝度情報、色相情報など）を解析する（Ｓ１１）。次に、解析処理の結果得られた各分割領域の画像情報を、図示しないメモリに記憶させる（Ｓ１２）。同メモリには、各分割領域につき例えば所定フレーム分の画像情報が記憶され、一定時間経過後に順次廃棄される。

判断部５４２は、所定フレーム数（または所定時間）分の画像情報がメモリに記憶された段階で、フレーム間（画像間）の画像情報の比較を分割領域ごとに行う（Ｓ１３）。比較には、通常、ＲＧＢ画素値を用いるが、撮影場所や撮影条件などに影響を受けがたい色相情報を用いてもよい。比較の結果、画像情報が所定フレーム数（または所定時間分の画像数）継続して変化していない、つまり、フレーム間や画像間の画像情報の差分値が実質的にゼロである分割領域を曇り発生領域として検出し、検出された曇り発生領域の数をカウントする（Ｓ１４）。例えば、図３Ａ、図３Ｂ、図３Ｃにおいて、画像上部の網掛け部２１に曇りが発生している場合、網掛け部２１を含む６個の分割領域が、曇り発生領域としてカウントされる。

Ｓ１４でカウントした曇り発生領域が、予め設定された所定の閾値以上である場合（Ｓ１５、Ｙｅｓ）、内視鏡画像中に曇り領域ありと判定する（Ｓ１６）。一方、Ｓ１４でカウントして曇り発生領域が、予め設定された所定の閾値未満である場合、（Ｓ１５、Ｎｏ）、内視鏡画像中に曇り領域なしと判定する（Ｓ１７）。なお、判定に用いられる閾値は、分割領域の大きさや数に応じて、適宜設定される。例えば図３Ａ、図３Ｂ、図３Ｃの場合、閾値として３が設定されているとすると、曇り発生領域が６であるので、曇り領域ありと判定される。

画像検出部５４１は、判断部５４２が曇り領域なしと判定した場合、入力されている画像信号を映像表示部５６に出力する。一方、判断部５４２が曇り領域ありと判定した場合、入力されている画像信号を、記憶部５４６に格納する。

ｃｈ切替指示部５４３は、画像検出部５４１において、入力画像中に曇り領域があると判定された場合、現在入力されている画像信号とは別のチャネルの画像信号を出力する旨の指示信号を生成し、通信部５４４に出力する。例えば、Ｌ画像信号がプロセッサ４からモニタ５に入力されており、Ｌ画像信号による内視鏡画像に曇り領域が発生していると判定された場合、Ｌ画像信号の出力を中止し、これに替えてＲ画像信号を出力するよう、指示信号を生成し、通信部５４４に出力する。通信部５４４は、ｃｈ切替指示部５３４から指示信号が入力されると、プロセッサ４の通信部４７に同指示信号を出力する。

画像合成部としての画像生成部５４５は、入力されている画像信号と、記録部５４６に格納されている画像とを用いて、曇り領域を補完した画像を生成する。図５は、曇りが発生した両眼画像から生成された曇りが除去された画像の一例を説明する図である。図５の（Ａ）は、Ｌ画像信号による左目の内視鏡画像、図５の（Ｂ）は、Ｒ画像信号による右目の内視鏡画像、図５の（Ｃ）は、図５の（Ａ）、（Ｂ）の両画像を用いて生成した、曇り領域を補完した合成画像を示している。

図５の（Ａ）に示すように、Ｌ画像信号による左目の内視鏡画像に曇り領域２１ａが存在する場合、プロセッサ４に指示し、Ｌ画像信号に替えてＲ画像信号を取得する。取得したＲ画像信号による右目の内視鏡画像（図５の（Ｂ））にも曇り領域２１ｂ、２１ｃが存在する場合、画像生成部５４５は、記録部５４６に格納されている左目の内視鏡画像（図５の（Ａ））と、現在取得中の右目の内視鏡画像（図５の（Ｂ））とを比較し、曇り領域の少ない画像をベース画像として選択する。図５に示す一例の場合、左目の内視鏡画像（図５の（Ａ））には曇り領域が１つ、右目の内視鏡画像（図５の（Ｂ））には曇り領域が２つ存在するので、ベース画像は図５の（Ａ）に示す左目の内視鏡画像となる。

画像生成部５４５は、ベース画像の曇り領域に対応する領域を、他方の内視鏡画像から抽出する。図５に示す一例の場合、他方の内視鏡画像である右目の内視鏡画像（図５の（Ｂ））から、図５の（Ａ）の曇り領域２１ａに対応する領域２１ａ´を抽出する。抽出した領域が曇り領域でない場合、抽出した領域２１´の画像でベース画像の曇り領域を補完し、合成画像（曇り領域のない画像）を生成する。一方、抽出した領域も曇り領域である場合、ベース画像の曇り領域の補完ができないため、エラーメッセージ（例えば、レンズの洗浄を促すメッセージ）を生成する。画像生成部５４５は、生成した合成画像、または、エラーメッセージを、映像表示部５６に出力する。

３Ｄ処理部５５は、入力された３Ｄ内視鏡画像用の画像信号における曇り領域の有無を検出し、曇り領域が検出された場合には、曇り領域を補完し曇りや汚れのない画像を生成する。３Ｄ処理部５５は、画像検出部５５１と、画像生成部５５３と、擬似３Ｄ変換部５５４とから構成されている。

画像検出部５５１は、入力された画像信号を、Ｌ画像信号と、Ｒ画像信号とに分離する。画像検出部５５１は、判断部５５２を有している。判断部５５２は、Ｌ画像信号と、Ｒ画像信号のそれぞれを用いて生成される内視鏡画像（左目内視鏡画像、及び、右目内視鏡画像）において、曇り領域の有無を判定する。判断部５５２における曇り領域の有無の判定方法は、判断部５４２における曇り領域の判定方法と同様である。

判断部５５２において、左目内視鏡画像、右目内視鏡画像ともに曇り領域がないと判定した場合、画像検出部５５１は、入力された画像信号（Ｌ画像信号とＲ画像信号とを分離する前の画像信号）を、そのまま映像表示部５６に出力する。

一方、判断部５５２において、左目内視鏡画像、または右目内視鏡画像のいずれか片方にのみ曇り領域があると判定した場合、画像検出部５５１は、曇り領域がないと判定された画像用の画像信号を、擬似３Ｄ変換部５５４に出力する。例えば、左目内視鏡画像は曇り領域がなく、右目内視鏡画像は曇り領域があると判定された場合、左目内視鏡画像用のＬ画像信号を、擬似３Ｄ変換部５５４に出力する。

更に、判断部５５２において、左目内視鏡画像、右目内視鏡画像の両方に曇り領域があると判定した場合、画像検出部５５１は、Ｌ画像信号とＲ画像信号とを、画像生成部５５３に出力する。

画像生成部５５３は、Ｌ画像信号とＲ画像信号とを用いて、曇り領域を補完した画像を生成する。具体的には、図５を用いて説明した、画像生成部５４５における補完画像の生成手順と同様の手順で、曇り領域を補完した合成画像を生成する。このとき、ベース画像として左目内視鏡画像を用いる場合、画像生成部５５３で生成される合成画像は、左目内視鏡画像となる。一方、ベース画像として右目内視鏡画像を用いる場合、画像生成部５５３で生成される合成画像は、右目内視鏡画像となる。ベース画像の曇り領域の補完ができない場合、エラーメッセージ（例えば、レンズの洗浄を促すメッセージ）を生成する。

画像生成部５５３は、合成画像を生成した場合、同合成画像の画像信号を擬似３Ｄ変換部５５４に出力する。合成画像として左目内視鏡画像を生成した場合、合成画像の画像信号をＬ画像信号として出力する。合成画像として右目内視鏡画像を生成した場合、合成画像の画像信号をＲ画像信号として出力する。また、画像生成部５５３は、エラーメッセージ生成した場合、同メッセージを、映像表示部５６に出力する。

擬似３Ｄ変換部５５４は、入力された画像信号から、もう一方の画像信号を擬似的に生成する。すなわち、Ｌ画像信号が入力された場合、Ｌ画像信号を用いてＲ画像信号を生成する。Ｒ画像信号が入力された場合、Ｒ画像信号を用いてＬ画像信号を生成する。２Ｄ画像信号から擬似３Ｄ画像信号を生成する方法は、一般的に用いられている公知の方法を用いることができる。例えば、Ｌ画像信号からＲ画像信号を生成する場合、Ｌ画像信号から生成される左目内視鏡画像の各画素の画素位置を、視差分だけ水平右方向に移動させる。例えば、左目内視鏡画像を右目内視鏡画像との視差が１０画素分である場合、左目内視鏡画像においてｎ列目に配置されている画素は、同じ行のｎ＋１０列目に移動させる。なお、画像全体について、視差分水平方向に画素位置を移動させるだけでなく、画像中に存在する壁面のヒダや血管、腫瘍など、部分的な画素領域について前後関係を強調した補正を施し、擬似的に画像信号を生成すると、更に立体感のある擬似３Ｄ内視鏡画像信号を得ることができる。

このようにして、曇り領域のないＬ画像信号を用いて擬似的にＲ画像信号を生成する（または、曇り領域のないＲ画像信号を用いて擬似的にＬ画像信号を生成する）ことで、曇り領域のない３Ｄ内視鏡画像を構成するために必要なＬ画像信号とＲ画像信号とを得る。そして、入力された画像信号と、擬似的に生成した画像信号とから、画像合成部４５１と同様に、モニタ５の３Ｄ表示方式に対応した画像信号を生成し、映像表示部５６に出力する。

表示部としての映像表示部５６は、入力された画像信号を画面上に画像として表示させる。

次に、本実施形態の３Ｄ内視鏡装置のモニタ５において、２Ｄ／３Ｄ内視鏡画像を生成する手順について説明する。図６は、第１の実施形態に係わる２Ｄ画像を生成する手順の一例を説明するフローチャートである。まず、図６を用いて、２Ｄ内視鏡画像を生成する手順を説明する。まず、画像検出部５４１は、プロセッサ４から入力される画像信号（例えば、Ｌ画像信号）を、予め設定された所定時間間隔で記録する（Ｓ１）。

続いて、画像検出部５４１は、記録された画像中における曇り領域を検出する（Ｓ２）。Ｓ２における曇り検出処理は、図３Ａ、図３Ｂ、図３Ｃに示すＳ１１からＳ１７の一連の手順を実行することにより行われる。

Ｓ２において、画像中に曇り領域が検出されなかった場合（Ｓ３、Ｎｏ）、現在入力されている画像信号を映像表示部５６に出力し（Ｓ９）、処理を終了する。一方、Ｓ２において、画像中に曇り領域が検出された場合（Ｓ３、Ｙｅｓ）、現在入力されている画像信号の出力を停止し、他方の画像信号を出力するよう、プロセッサ４に指示する（Ｓ４）。例えば、Ｌ画像信号が入力されており、当該画像中に曇り領域が検出された場合、ｃｈ切替指示部５４３は、Ｌ画像信号に替えてＲ画像信号を出力するよう、通信部５４４を介してプロセッサ４に指示を入力する。

プロセッサ４から別眼の画像信号（例えば、Ｒ画像信号）が入力されると、画像検出部５４１は、当該画像信号における曇り領域を検出する（Ｓ５）。Ｓ５における曇り検出処理は、Ｓ２における曇り検出処理と同様である。Ｓ５において、画像中に曇り領域が検出されなかった場合（Ｓ６、Ｎｏ）、現在入力されている画像信号を映像表示部５６に出力し（Ｓ９）、処理を終了する。一方、Ｓ５において、画像中に曇り領域が検出された場合（Ｓ６、Ｙｅｓ）、画像生成部５４５は、現在入力されている画像信号と、記録部５４６に格納されている別眼の画像信号とを重畳して、曇り領域を補完した合成画像の生成が可能か否かを判定する（Ｓ７）。

両眼の画像信号を重畳して、合成画像の生成が可であると判定された場合（Ｓ７、Ｙｅｓ）、画像生成部５４５は、Ｌ画像信号とＲ画像信号とを用いて、ベース画像上の曇り領域を、他方の画像を重畳することで補完し、曇り領域のない合成画像を生成し、映像表示部５６に出力して（Ｓ８）、一連の処理を終了する。一方、合成画像の生成が不可であると判定された場合（Ｓ７、Ｎｏ）、画像生成部５４５は、レンズの洗浄を促す旨のエラーメッセージを映像表示部５６に出力し（Ｓ１０）、処理を終了する。

図７は、３Ｄ画像を生成する手順の一例を説明するフローチャートである。次に、図７を用いて、３Ｄ内視鏡画像を生成する手順を説明する。まず、画像検出部５５１は、プロセッサ４から入力される画像信号を、予め設定された所定時間間隔で記録する（Ｓ２１）。

続いて、画像検出部５５１は、記録された画像信号を、Ｌ画像信号とＲ画像信号とに分離し、両眼の画像における曇り領域を検出する（Ｓ２２）。Ｓ２２における曇り検出処理は、図３Ａ、図３Ｂ、図３Ｃに示すＳ１１からＳ１７の一連の手順を実行することにより行われる。

Ｓ２２において、両眼の画像ともに曇り領域が検出されなかった場合（Ｓ２３、Ｎｏ）、現在入力されている画像信号を映像表示部５６に出力し（Ｓ２７）、処理を終了する。一方、Ｓ２２において、画像中に曇り領域が検出された場合（Ｓ２３、Ｙｅｓ）、曇り領域が検出された画像が片眼の画像信号であるか、両眼の画像信号であるかを判定する（Ｓ２４）。

曇り領域が片眼の画像信号のみから検出された場合（Ｓ２４、Ｙｅｓ）、画像検出部５５１は、曇り領域のないほうの画像信号を擬似３Ｄ変換部５５４に出力する。擬似３Ｄ変換部５５４は、入力された画像信号から、逆の眼の画像信号を擬似的に生成する。そして、入力された画像信号と、擬似的に生成した画像信号とから、モニタ５の３Ｄ表示方式に対応した画像信号を生成し、映像表示部５６に出力する（Ｓ２８）。

一方、曇り領域が両眼の画像信号から検出された場合（Ｓ２４、Ｎｏ）、画像検出部５５１は、両眼の画像信号を、画像生成部５５３に出力する。画像生成部５５３は、両眼の画像信号を重畳して、曇り領域を補完した合成画像の生成が可能か否かを判定する（Ｓ２５）。

両眼の画像信号を重畳して、合成画像の生成が可であると判定された場合（Ｓ２５、Ｙｅｓ）、画像生成部５５３は、両眼の画像信号を用いて、ベース画像上の曇り領域を他方の画像を重畳することで補完し、曇り領域のない合成画像を生成し、擬似３Ｄ変換部５５４に出力する（Ｓ２６）。

このとき、合成画像として出力した画像信号は、ベース画像側の画像信号として出力する。例えば、ベース画像として左目内視鏡画像が選択された場合、合成画像はＬ画像信号として出力される。擬似３Ｄ変換部５５４に入力された画像信号は、入力された画像信号から、逆の眼の画像信号を擬似的に生成する。そして、入力された画像信号と、擬似的に生成した画像信号とから、モニタ５の３Ｄ表示方式に対応した画像信号を生成し、映像表示部５６に出力する（Ｓ２８）。

一方、合成画像の生成が不可であると判定された場合（Ｓ２５、Ｎｏ）、画像生成部５５３は、レンズの洗浄を促す旨のエラーメッセージを映像表示部５６に出力し（Ｓ２９）、処理を終了する。

このように、本実施形態の３Ｄ内視鏡装置は、入力される画像信号から曇り領域の有無を検出する判断部５４２、５５２を設けている。２Ｄ内視鏡画像の表示中においては、判断部５４２によって表示画像中に曇り領域を検出すると、他眼の画像信号を用いて２Ｄ内視鏡画像を生成する。また、両レンズとも曇りが発生している場合、画像生成部５４５は、左目内視鏡画像と右目内視鏡画像の曇りの発生していない領域同士を補完して、１つの２Ｄ内視鏡画像を生成する。従って、対物レンズに曇りが生じたり汚れが付着したりした場合にも、手技を中断することなく鮮明な内視鏡画像を出力することができる。

また、３Ｄ内視鏡画像の表示中においては、判断部５５２によって表示画像中に曇り領域を検出すると、疑似３Ｄ変換部５５４は、曇りが発生していない他眼の画像信号を変換して、曇りが発生しているレンズ側の画像信号を生成する。生成した画像信号と他眼の画像信号とを用い、３Ｄ内視鏡画像を生成する。

また、両レンズとも曇りが発生している場合、画像生成部５５３は、左目内視鏡画像と右目内視鏡画像の曇りの発生してない領域同士を補完して、曇り領域が少ないほうのレンズ側の画像信号を生成する。そして、画像生成部５５３で生成した画像信号を用い、疑似３Ｄ変換部５５４において、他眼の画像信号を生成する。画像生成部５５３で生成した画像信号と、疑似３Ｄ変換部５５４で生成した画像信号とを用い、３Ｄ内視鏡画像を生成する。従って、対物レンズに曇りが生じたり汚れが付着したりした場合にも、手技を中断することなく鮮明な内視鏡画像を出力することができる。

なお、画像生成部５４５、５５３では、曇り領域の少ないほうのレンズで撮像した内視鏡画像における曇り領域を、他眼の内視鏡画像を用いて補完するため、生成した内視鏡画像の画質が低下する可能性がある。従って、本発明の３Ｄ内視鏡装置は、精査ではなく、術野を俯瞰するシーンや、スクリーニングのシーンなど、比較的精緻さを要さない場面に用いることが望ましい。

（第２の実施形態）
上述した第１の実施形態の３Ｄ内視鏡装置では、術者などによって２Ｄ／３Ｄ切替スイッチ１５を用いて入力される、２Ｄ内視鏡画像と３Ｄ内視鏡画像のどちらをモニタ５に表示させるかの指示が、プロセッサ４に入力されており、プロセッサ４は同指示に従って２Ｄ用の画像信号と３Ｄ用の画像信号を生成してモニタ５に出力していた。これに対し、本実施形態においては、プロセッサ４からは常に３Ｄ用の画像信号がモニタ５に出力されている点と、２Ｄ内視鏡画像と３Ｄ内視鏡画像のどちらをモニタ５に表示させるかの指示は、モニタ５に入力されており、同指示に従った画像をモニタ５内で生成する点が異なっている。

図８は、第２の実施形態に係わるプロセッサ、及び、表示装置の構成の一例を説明するブロック図である。本実施形態の３Ｄ内視鏡装置は、プロセッサ４´の構成要素から、２Ｄ／３Ｄ切替部４３、２Ｄ処理部４４、及び、通信部４７が削除されている点と、モニタ５´の２Ｄ処理部５４´の構成要素から、ｃｈ切替指示部５４３と、通信部５４４が削除されている点、及び、２Ｄ／３Ｄ検知部５２の替わりに２Ｄ／３Ｄ切替部５３が設けられている点を除き、図２を用いて説明した第１の実施形態の３Ｄ内視鏡装置と同様である。同じ構成には同一の符号を付し、説明を省略する。

プロセッサ４´は、内視鏡２から入力されたＬ画像信号とＲ画像信号に対し、各種画像処理を施した後、３Ｄ処理部４５において、３Ｄ内視鏡画像用の画像信号（例えば、インターレース方式の画像信号）を生成する。３Ｄ内視鏡画像用の画像信号は、出力部４６を介してモニタ５´の入力部５１に入力される。

モニタ５´の２Ｄ／３Ｄ切替部５３は、２Ｄ／３Ｄ切替スイッチ１５によって術者などから入力される指示内容に従い、入力部５１に入力された３Ｄ内視鏡画像用の画像信号の出力先を切り替える。すなわち、２Ｄ内視鏡画像を表示させるように指示されている場合、２Ｄ／３Ｄ切替部５３は、３Ｄ内視鏡画像用の画像信号を２Ｄ処理部５４´に出力する。一方、３Ｄ内視鏡画像を表示させるように指示されている場合、２Ｄ／３Ｄ切替部５３は、３Ｄ内視鏡画像用の画像信号を３Ｄ処理部５５に出力する。

２Ｄ処理部５４´は、入力された３Ｄ内視鏡画像用の画像信号からＬ画像信号とＲ画像信号とを分離する。両画像信号において、レンズの曇りや汚れの領域（以下、曇り領域と示す）の有無を検出し、曇り領域が検出された場合には、曇り領域を補完し曇りや汚れのない画像を生成する。２Ｄ処理部５４´は、画像検出部５４１´と、画像生成部５４５とから構成されている。

画像検出部５４１´は、予め指定されたほうの画像信号（通常は、左目内視鏡画像を２Ｄ内視鏡画像として表示するので、Ｌ画像信号が指定されている）について、曇り領域の有無を判定する。判断部５４２が曇り領域なしと判定した場合、同画像信号（Ｌ画像信号）を映像表示部５６に出力する。一方、判断部５４２が曇り領域ありと判定した場合、もう片方の画像信号（上述の場合、Ｒ画像信号）について、曇り領域の有無を判定する。判断部５４２が曇り領域なしと判定した場合、同画像信号（Ｒ画像信号）を映像表示部５６に出力する。

一方、もう片方の画像信号も曇り領域ありと判定した場合、画像検出部５４１´は、両眼の画像信号を画像生成部５４５に出力する。画像生成部５４５は、入力されたＬ画像信号とＲ画像信号とを用いて、曇り領域を補完した画像を生成する。画像生成部５４５は、生成した合成画像、または、エラーメッセージを、映像表示部５６に出力する。

３Ｄ処理部５５の構成、及び、機能は、図２を用いて説明した第１の実施の形態と同様である。

次に、本実施形態の３Ｄ内視鏡装置のモニタ５において、２Ｄ内視鏡画像を生成する手順について説明する。（３Ｄ内視鏡画像を生成する手順は、図７のフローチャートを用いて説明した手順と同様である。）図９は、第２の実施形態に係わる２Ｄ画像を生成する手順の一例を説明するフローチャートである。まず、画像検出部５４１´は、プロセッサ４から入力される３Ｄ画像信号をＬ画像信号とＲ画像信号とに分離し、両画像信号を予め設定された所定時間間隔で記録する（Ｓ１）。

続いて、画像検出部５４１は、予め指定された片方の画像信号（例えば、Ｌ画像信号）における曇り領域を検出する（Ｓ２）。Ｓ２において、画像中に曇り領域が検出されなかった場合（Ｓ３、Ｎｏ）、現在入力されている画像信号を映像表示部５６に出力し（Ｓ９）、処理を終了する。一方、Ｓ２において、画像中に曇り領域が検出された場合（Ｓ３、Ｙｅｓ）、他眼の画像信号（例えば、Ｒ画像信号）における曇り領域を検出する（Ｓ５）。Ｓ５における曇り検出処理は、Ｓ２における曇り検出処理と同様である。Ｓ５において、画像中に曇り領域が検出されなかった場合（Ｓ６、Ｎｏ）、現在入力されている画像信号を映像表示部５６に出力し（Ｓ９）、処理を終了する。一方、Ｓ５において、画像中に曇り領域が検出された場合（Ｓ６、Ｙｅｓ）、画像生成部５４５は、現在入力されている画像信号と、記録部５４６に格納されている別眼の画像信号とを重畳して、曇り領域を補完した合成画像の生成が可能か否かを判定する（Ｓ７）。

両眼の画像信号を重畳して、合成画像の生成が可であると判定された場合（Ｓ７、Ｙｅｓ）、画像生成部５４５は、入力された３Ｄ画像信号を分離して得られたＬ画像信号とＲ画像信号とを用い、ベース画像上の曇り領域を他方の画像を重畳することで補完する。曇り領域のない合成画像を生成し、映像表示部５６に出力して（Ｓ３８）、一連の処理を終了する。一方、合成画像の生成が不可であると判定された場合（Ｓ７、Ｎｏ）、画像生成部５４５は、レンズの洗浄を促す旨のエラーメッセージを映像表示部５６に出力し（Ｓ１０）、処理を終了する。

このように、本実施形態によれば対物レンズに曇りが生じたり汚れが付着したりした場合にも、２Ｄ処理部５４´、及び、３Ｄ処理部５５において、曇りのないほうの内視鏡画像を選択的に出力したり、左目内視鏡画像と右目内視鏡画像の曇りの発生していない領域同士を補完して、曇りのない合成画像を生成したり、合成画像や曇りのないほうの内視鏡画像を用いて疑似３Ｄ画像を生成したりするので、手技を中断することなく鮮明な内視鏡画像を出力することができる。

また、本実施形態によれば、プロセッサ４´からモニタ５´に対し、常に３Ｄ内視鏡画像用の画像信号、すなわち、Ｌ画像信号とＲ画像信号が両方とも入力される。従って、２Ｄ処理部５４´において、曇りのない画像信号を生成する際に、片眼の画像信号において曇り領域が検出された場合に、他眼の画像信号をプロセッサ４´に要求する必要がなくなるので、プロセッサ４´とモニタ５´間の通信が減り、処理手順が簡略化され、処理時間の短縮化を図ることができる。また、プロセッサ４´、モニタ５´、共に、構成要素を削減することができ、装置の小型化を図ることができる。

（第３の実施形態）
上述した第２の実施形態の３Ｄ内視鏡装置では、プロセッサ４´から入力された画像信号を用いて、モニタ５´の２Ｄ処理部５４´と３Ｄ処理部５５とにおいて曇りのない画像信号を生成していた。これに対し、本実施形態においては、プロセッサ４”の２Ｄ処理部４４´と３Ｄ処理部４５´とにおいて、曇りのない画像信号を生成する点が異なっている。

図１０は、第３の実施形態に係わるプロセッサの構成の一例を説明するブロック図である。本実施形態における、３Ｄ映像処理装置としてのプロセッサ４“は、２Ｄ／３Ｄ切替部４３を有する点と、２Ｄ処理部４４´の構成が、図８に示すモニタ５´の２Ｄ処理部５４´の構成と同一である点と、３Ｄ処理部４５´の構成が、図８に示すモニタ５´の３Ｄ処理部５５´の構成と同一である点を除き、図８を用いて説明した第２の実施形態のプロセッサ４´と同様である。同じ構成には同一の符号を付し、説明を省略する。

２Ｄ／３Ｄ切替スイッチ１５によって、２Ｄ内視鏡画像をモニタ５に表示させるように指示されている場合、内視鏡２から出力され、各種画像処理を施されたＲ画像信号とＬ画像信号が、２Ｄ／３Ｄ切替部４３から２Ｄ処理部４４´に入力される。

２Ｄ処理部５４´は、入力されたＬ画像信号とＲ画像信号において、レンズの曇りや汚れの領域（以下、曇り領域と示す）の有無を検出し、曇り領域が検出された場合には、曇り領域を補完し曇りや汚れのない画像を生成する。２Ｄ処理部４４´は、画像検出部５４１´と、画像生成部５４５とから構成されている。

画像検出部５４１´は、予め指定されたほうの画像信号（通常は、左目内視鏡画像を２Ｄ内視鏡画像として表示するので、Ｌ画像信号が指定されている）について、曇り領域の有無を判定する。判断部５４２が曇り領域なしと判定した場合、同画像信号（Ｌ画像信号）を出力部４６に出力する。一方、判断部５４２が曇り領域ありと判定した場合、もう片方の画像信号（上述の場合、Ｒ画像信号）について、曇り領域の有無を判定する。判断部５４２が曇り領域なしと判定した場合、同画像信号（Ｒ画像信号）を出力部４６に出力する。

一方、もう片方の画像信号も曇り領域ありと判定した場合、画像検出部５４１´は、両眼の画像信号を画像生成部５４５に出力する。画像生成部５４５は、入力されたＬ画像信号とＲ画像信号とを用いて、曇り領域を補完した画像を生成する。画像生成部５４５は、生成した合成画像、または、エラーメッセージを、出力部４６に出力する。

２Ｄ／３Ｄ切替スイッチ１５によって、３Ｄ内視鏡画像をモニタ５に表示させるように指示されている場合、内視鏡２から出力され、各種画像処理を施されたＲ画像信号とＬ画像信号が、２Ｄ／３Ｄ切替部４３から３Ｄ処理部４５´に入力される。

３Ｄ処理部４５´の構成、及び、機能は、画像信号（またはエラーメッセージ）の出力先が出力部４６である点を除き、図８を用いて説明した第２の実施の形態におけるモニタ５´の３Ｄ処理部５５´と同様である。

出力部４６は、２Ｄ処理部５４´、または、３Ｄ処理部４５´から入力された画像信号を、モニタ５”の入力部５１へ出力する。

モニタ５”では、入力部５１に入力された画像信号が映像表示部５６に出力され、２Ｄまたは３Ｄの内視鏡画像が表示される。

このように、本実施形態によれば対物レンズに曇りが生じたり汚れが付着したりした場合にも、２Ｄ処理部４４´、及び、３Ｄ処理部４５´において、曇りのないほうの内視鏡画像を選択的に出力したり、左目内視鏡画像と右目内視鏡画像の曇りの発生していない領域同士を補完して、曇りのない合成画像を生成したり、合成画像や曇りのないほうの内視鏡画像を用いて疑似３Ｄ画像を生成したりするので、手技を中断することなく鮮明な内視鏡画像を出力することができる。

また、本実施形態によれば、プロセッサ４”において、内視鏡２から入力されたＬ画像信号とＲ画像信号における曇り領域の検出から、曇り領域を補完した合成画像の生成まで行う。従って、モニタ５”はプロセッサ４”から入力された画像信号をそのまま表示すればよいので、従来の構成の３Ｄ内視鏡画像表示用のモニタを用いることができる。

本発明の３Ｄ内視鏡装置、及び、３Ｄ映像処理装置によれば、対物レンズに曇りが生じたり汚れが付着したりした場合にも、手技を中断することなく鮮明な内視鏡画像を出力することができる。

本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

本出願は、２０１７年５月１９日に日本国に出願された特願２０１７−９９５５２号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims

第１の撮像系により得られる第１の映像信号と、第２の撮像系により得られる第２の映像信号とが入力される映像信号入力部と、
前記映像信号入力部より得られる２Ｄ用映像信号と３Ｄ用映像信号とを識別する２Ｄ／３Ｄ識別部と、
前記２Ｄ／３Ｄ識別部が、２Ｄ用映像信号を検知したとき、２Ｄ画像が表示される表示領域を解析し、曇り領域を検出する画像状態検出部と、
前記画像状態検出部の検出結果が、前記第１の撮像系、または、前記第２の撮像系のいずれか片方の撮像系から得られる映像信号のみ曇り領域が検出された場合、他方の映像信号に切り替えるｃｈ切替指示部と、
前記画像状態検出部の検出結果が、前記第１の撮像系、及び、前記第２の撮像系の両方の映像に曇り領域が検出された場合、前記第１の映像信号により得られる画像の曇り領域が発生していない領域と前記第２の映像信号により得られる画像の曇り領域が発生していない領域とを補完して曇り領域を低減させた合成画像を生成する画像合成部と、
前記２Ｄ用映像信号、及び、前記３Ｄ用映像信号を表示する表示部と、
を備えたことを特徴とする、３Ｄ内視鏡装置。
前記画像状態検出部は、所定の間隔で撮影される複数の前記２Ｄ画像のそれぞれを、複数の領域に分割し、前記分割された各領域の画像情報を、複数の前記２Ｄ画像間で相互に比較して差分を算出し、前記差分のない前記分割された領域の数をカウントし、前記カウントされた領域の数が、第一の閾値以上である場合に、前記２Ｄ画像に曇り領域を検出したと判定することを特徴とする、請求項１に記載の３Ｄ内視鏡装置。
前記画像状態検出部は、前記識別部が前記３Ｄ用映像信号を検知したとき、３Ｄ画像が表示される表示領域を解析して曇り領域を検出し、
更に、前記第１の撮像系、又は、前記第２の撮像系のいずれか片方の撮像系から得られる曇り領域のない映像信号、または、前記画像合成部により生成された合成画像を、擬似的に前記３Ｄ用映像信号に変換する擬似３Ｄ変換部を有することを特徴とする、請求項１に記載の３Ｄ内視鏡装置。
前記画像状態検出部は、所定の間隔で撮影される複数の前記３Ｄ画像のそれぞれを、複数の領域に分割し、前記分割された各領域の画像情報を、複数の前記３Ｄ画像間で相互に比較して差分を算出し、前記差分のない前記分割された領域の数をカウントし、前記カウントされた領域の数が、第一の閾値以上である場合に、前記３Ｄ画像に曇り領域を検出したと判定することを特徴とする、請求項３に記載の３Ｄ内視鏡装置。
前記画像情報は、ＲＧＢ画素値であることを特徴とする、請求項２に記載の３Ｄ内視鏡装置。
第１の撮像系により得られる第１の映像信号と、第２の撮像系により得られる第２の映像信号とが入力される映像信号入力部と、
前記第１の映像信号における第１の画像の表示領域、及び／または、前記第２の映像信号における第２の画像の表示領域を解析し、曇り領域を検出する画像状態検出部と、
前記画像状態検出部の検出結果が、前記第１の撮像系、及び、前記第２の撮像系の両方の映像に曇り領域が検出された場合、前記第１の映像信号により得られる画像の曇り領域が発生していない領域と前記第２の映像信号により得られる画像の曇り領域が発生していない領域とを補完して曇り領域を低減させた合成画像を生成する画像合成部と、
前記第１の撮像系、又は、前記第２の撮像系のいずれか片方の撮像系から得られる曇り領域のない映像信号、または、前記画像合成部により生成された合成画像を、擬似的に３Ｄ用映像信号に変換する擬似３Ｄ変換部と、
前記第１の映像信号、または、前記第２の映像信号、または、前記合成画像のいずれかからなる２Ｄ用映像信号、及び、前記３Ｄ用映像信号を表示する表示部と、
を備えたことを特徴とする、３Ｄ内視鏡装置。
前記画像状態検出部は、所定の間隔で撮影される複数の前記第１の画像、または、所定の間隔で撮影される複数の前記第２の画像のそれぞれを、複数の領域に分割し、前記分割された各領域の画像情報を、複数の前記第１の画像間、または、複数の前記第２の画像間で相互に比較して差分を算出し、前記差分のない前記分割された領域の数をカウントし、前記カウントされた領域の数が、第一の閾値以上である場合に、前記第１の画像、または、前記第２の画像に曇り領域を検出したと判定することを特徴とする、請求項６に記載の３Ｄ内視鏡装置。
前記画像情報は、ＲＧＢ画素値であることを特徴とする、請求項７に記載の３Ｄ内視鏡装置。
第１の撮像系により得られる第１の映像信号と、第２の撮像系により得られる第２の映像信号とが入力される映像信号入力部と、
前記第１の映像信号における第１の画像の表示領域、及び／または、前記第２の映像信号における第２の画像の表示領域を解析し、曇り領域を検出する画像状態検出部と、
前記画像状態検出部の検出結果が、前記第１の撮像系、及び、前記第２の撮像系の両方の映像に曇り領域が検出された場合、前記第１の映像信号により得られる画像の曇り領域が発生していない領域と前記第２の映像信号により得られる画像の曇り領域が発生していない領域とを補完して曇り領域を低減させた合成画像を生成する画像合成部と、
前記第１の映像信号、または、前記第２の映像信号、または、前記合成画像のいずれかからなる２Ｄ用映像信号を出力する出力部と、
を備えたことを特徴とする、３Ｄ映像処理装置。
前記第１の撮像系、又は、前記第２の撮像系のいずれか片方の撮像系から得られる曇り領域のない映像信号、または、前記画像合成部により生成された合成画像を、擬似的に３Ｄ用映像信号に変換する擬似３Ｄ変換部を更に備えており、
前記出力部は、前記２Ｄ用映像信号、または、前記３Ｄ用映像信号を出力することを特徴とする、請求項９に記載の３Ｄ映像処理装置。
前記画像状態検出部は、所定の間隔で撮影される複数の前記第１の画像、または、所定の間隔で撮影される複数の前記第２の画像のそれぞれを、複数の領域に分割し、前記分割された各領域の画像情報を、複数の前記第１の画像間、または、複数の前記第２の画像間で相互に比較して差分を算出し、前記差分のない前記分割された領域の数をカウントし、前記カウントされた領域の数が、第一の閾値以上である場合に、前記第１の画像、または、前記第２の画像に曇り領域を検出したと判定することを特徴とする、請求項１０に記載の３Ｄ映像処理装置。
前記画像情報は、ＲＧＢ画素値であることを特徴とする、請求項１１に記載の３Ｄ映像処理装置。