JP6827516B2 - 内視鏡システム及び内視鏡システムの駆動方法 - Google Patents

Description

本発明は、直視と側視の観察が可能な内視鏡システム及び内視鏡システムの駆動方法に関する。

医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。内視鏡システムにおいては、光源装置は照明光を発生する。内視鏡は可撓性の挿入部を有し、挿入部を被検体内に挿入することで例えば挿入部の先端部分（以下、先端部という）に搭載したイメージセンサを用いて観察対象を撮像する。そして、プロセッサ装置は、観察対象の画像を生成し、モニタに表示する。

従来の内視鏡システムで用いる内視鏡としては、先端部の先端方向（すなわち挿入部の挿入方向に沿った正面の方向）にある観察対象を撮像する直視観察タイプと、先端部の側面方向（すなわち挿入部の外周方向）にある観察対象を撮像する側視観察タイプが知られている。また、近年においては、先端部の先端方向及び側面方向を両方とも観察できるようにした内視鏡が知られている（特許文献１、特許文献２、及び特許文献３）。

国際公開第２０１１／０５５６４１号明細書 特開２０１６−００７７４５号公報 特開２０１２−２４５１５７号公報

直視観察及び側視観察が可能な内視鏡においては、先端部の先端方向にある観察対象を撮像して得る直視観察画像と、先端部の側面方向にある観察対象を撮像して得る側視観察画像が得られる。このため、直視観察画像及び側視観察画像を表示すれば、直視観察画像または側視観察画像のいずれか一方のみを表示する場合に比べて、観察可能な範囲が広がる。しかし、直視観察画像と側視観察画像を単純に表示するだけでは、観察または診断等において必ずしも使用しやすいとは言えない場合がある。

本発明は、直視観察及び側視観察が可能な内視鏡を使用する際に、直視観察画像及び側視観察画像の表示の仕方を改善し、その結果、観察または診断等において使用しやすい内視鏡システム及び内視鏡システムの駆動方法を提供することを目的とする。

本発明の内視鏡システムは、観察対象に挿入する挿入部と、挿入部の先端方向に視野を有する直視観察部と、挿入部の側面方向に視野を有する側視観察部と、挿入部から突出し、側視観察部の視野に死角を形成する突出部と、を有する内視鏡と、直視観察部を用いて直視観察画像を取得し、かつ、側視観察部を用いて側視観察画像を取得する画像取得部と、内視鏡の先端部と観察対象の距離を測定する測距部と、先端部と観察対象の距離を用いて、直視観察画像または側視観察画像の少なくともいずれか一方に変換処理を施して、直視観察画像と側視観察画像の収差を接続し得る画像に変換する収差接続部と、収差接続部の変換処理によって収差を接続し得る状態となった直視観察画像及び側視観察画像を表示する表示部と、を備える。

変換処理はアフィン変換であることが好ましい。

収差接続部は、直視観察画像と側視観察画像のディストーションを接続し得る画像に変換することが好ましい。

収差接続部は、先端部と観察対象の距離を用いて、変換処理に用いるパラメータを調整または変更することが好ましい。

測距部は、直視観察部の視野と側視観察部の視野の境界について、先端部と観察対象の距離を測定することが好ましい。

収差接続部は、先端部と観察対象の距離の平均値に合わせて、パラメータを調整または変更することが好ましい。

収差接続部は、直視観察画像と側視観察画像を接続する位置ごとに、パラメータを調整または変更することが好ましい。

収差接続部は、先端部と観察対象の相対的な角度を用いて、パラメータを調整または変更することが好ましい。

収差接続部は、先端部と観察対象の相対的な角度を、先端部と観察対象の距離の分布を用いて求めることが好ましい。

収差接続部は、先端部と観察対象の相対的な角度の平均値に合わせて、パラメータを調整または変更することが好ましい。

収差接続部は、直視観察画像または側視観察画像を接続する位置ごとに、パラメータを調整または変更することが好ましい。

本発明の内視鏡システムの駆動方法は、観察対象に挿入する挿入部と、挿入部の先端方向に視野を有する直視観察部と、挿入部の側面方向に視野を有する側視観察部と、挿入部から突出し、側視観察部の視野に死角を形成する突出部と、を有する内視鏡と、直視観察部を用いて直視観察画像を取得し、かつ、側視観察部を用いて側視観察画像を取得する画像取得部と、内視鏡の先端部と観察対象の距離を測定する測距部と、直視観察画像及び側視観察画像を表示する表示部と、を有する内視鏡システムの駆動方法において、収差接続部が、先端部と観察対象の距離を用いて、直視観察画像または側視観察画像の少なくともいずれか一方に変換処理を施して、直視観察画像と側視観察画像の収差を接続し得る画像に変換するステップと、表示部が、収差接続部の変換処理によって収差を接続し得る状態となった直視観察画像及び側視観察画像を表示するステップと、を備える。

本発明は、直視観察及び側視観察が可能な内視鏡を使用する際に、直視観察画像及び側視観察画像の表示の仕方を改善したので、観察または診断等において使用しやすい内視鏡システム及び内視鏡システムの駆動方法を提供することができる。

内視鏡システムの外観図である。 先端部の外観斜視図である。 先端部の正面図である。 第１突出部の一部の断面図である。 第２突出部の断面図である。 内視鏡システムのブロック図である。 表示制御部のブロック図である。 標準モードの表示用画像である。 直視拡大モードの表示用画像である。 側視拡大モードの表示用画像である。 実質的に直視観察画像のみを表示する直視拡大モードの表示用画像である。 実質的に側視観察画像のみを表示する側視拡大モードの表示用画像である。 第２実施形態の内視鏡システムのブロック図である。 第２実施形態の作用を示すフローチャートである。 挿入方向及び抜去方向を示す説明図である。 直視観察画像及び側視観察画像の相対的な表示割合を示すグラフである。 直視観察画像及び側視観察画像の相対的な表示割合を示すグラフである。 湾曲を検出する変形例のフローチャートである。 先端部の向きを変える場合の説明図である。 先端部を挿入方向に向けている場合の説明図である。 直視観察画像及び側視観察画像の相対的な表示割合を示すグラフである。 直視観察画像及び側視観察画像の相対的な表示割合を示すグラフである。 第３実施形態の表示制御部のブロック図である。 第１死角部分を縮小する説明図である。 第２死角部分を縮小する説明図である。 第２死角部分を縮小して非表示化した表示用画像である。 第４実施形態の表示制御部のブロック図である。 先端部の向きに合わせて直視観察画像の表示位置を調節する説明図である。 ヘッドマウントディスプレイを装着した医師等の向きに合わせて直視観察画像の表示位置を調節する説明図である。 直視観察部と側視観察部の間の死角を示す説明図である。 直視観察部と側視観察部の間の死角を表示するモニタの表示画面である。 直視観察部と側視観察部の間の死角を表示する表示用画像である。 直視観察部と側視観察部の視野の重複を示す説明図である。 重複視野に起因した二重表示を示す説明図である。 第６実施形態の表示制御部のブロック図である。 重複領域検出部及び重複領域除去部の作用を示す説明図である。 重複領域検出部及び重複領域除去部の作用を示す説明図である。 第６実施形態の変形例の表示制御部のブロック図である。 直視観察画像と側視観察画像のディストーションを示す説明図である。 第７実施形態の表示制御部のブロック図である。 収差接続部の作用を示す説明図である。 第７実施形態の変形例のブロック図である。 測距する位置を示す説明図である。 自動露光制御の作用を示すフローチャートである。 変形例の自動露光制御の作用を示すフローチャートである。 第９実施形態のプロセッサ装置１６のブロック図である。 第１０実施形態の表示制御部９８のブロック図である。 モニタに於ける表示領域と、直視観察画像及び側視観察画像との相互関係を示す説明図である。 直視観察画像及び側視観察画像をオフセットして第１死角部分を非表示化した表示用画像である。 第１死角部分の少なくとも一部を非表示化する方法を示す説明図である。 第２死角部分の少なくとも一部を非表示化する方法を示す説明図である。 挿入部（先端部）の動きに合わせて第１死角部分または第２死角部分を非表示化する場合の表示制御部のブロック図である。 挿入部の挿抜の速度と、第１死角部分または第２死角部分を非表示化する割合の関係を示すグラフである。 挿入部の挿抜の速度と、第１死角部分または第２死角部分を非表示化する割合の関係を示すグラフである。 先端キャップを装着した先端部の斜視図である。 先端キャップの輪郭を表示した表示用画像である。 先端キャップの輪郭及び貫通孔の部分をマスクした表示用画像である。 補助部材を装着した先端部の上面図である。 爪部材によって係止する補助部材を装着した先端部の下面図である。 下面観察部を有する先端部の下面図である。 余白領域を有する表示用画像である。 余白領域に情報表示領域を設けた表示用画像である。 合焦画角検出部を設けたプロセッサ装置のブロック図である。 余白領域に変形側視観察画像を表示する表示用画像である。 余白領域に変形側視観察画像を表示する表示用画像である。 第１死角部分のマスクに情報表示領域を設けた表示用画像である。 ３Ｄモデル作成部を有するプロセッサ装置のブロック図である。 ３Ｄモデル作成部の作用を示す説明図である。 イメージセンサの撮像面を示す説明図である。

［第１実施形態］
図１に示すように、内視鏡システム１０は、観察対象を撮像する内視鏡１２と、照明光を発生する光源装置１４と、観察対象を撮像して得た画像（以下、撮像画像という）を用いて観察用の画像（以下、観察画像という）を生成するプロセッサ装置１６と、観察画像を表示する表示部であるモニタ１８と、ユーザーインターフェースの１つであるコンソール１９と、を有する。内視鏡１２は、ユニバーサルコード１１を用いて、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。また、内視鏡１２は、ユニバーサルコード１１を用いて洗浄液（例えば水）等を貯蓄するタンク１７に接続する。タンク１７の洗浄液等を送るためのポンプ等の機構は、例えば、光源装置１４内に設けられている。

内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分にある操作部１２ｂと、挿入部１２ａの先端側にある湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂにあるアングルノブ１２ｅを操作すると、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲した結果、先端部１２ｄが所望の方向に向く。

また、操作部１２ｂには、アングルノブ１２ｅの他、例えば、先端部１２ｄにあるノズルから洗浄液を噴出する洗浄スイッチ１３を有する。観察対象との接触等により先端部１２ｄに汚れが付着した場合に洗浄スイッチ１３を押圧すると、先端部１２ｄにあるノズルから先端部１２ｄの少なくとも一部に向けて洗浄液が噴出し、その結果、先端部１２ｄのうち洗浄液が当たる部分を洗浄することができる。内視鏡システム１０においては、洗浄液は水または薬液等の液体である。また、本明細書においては便宜上洗浄「液」というが、洗浄用であれば、ノズルから噴出する空気等の気体、固体、もしくは、相(phase)が異なる物質の混合物等も「洗浄液」に含むものとする。

図２及び図３に示すように、観察対象に挿入する挿入部１２ａの先端部１２ｄは、先端部１２ｄの先端面２１から、挿入部１２ａの先端方向であるＺ方向に向かってさらに突出した第１突出部３１及び第２突出部３２の２つの突出部を有する。第２突出部３２は、第１突出部３１に隣接して先端面２１から挿入部１２ａの先端方向（Ｚ方向）に突出する。以下、第２突出部３２に対して第１突出部３１がある方向をＹ方向といい、かつ、Ｚ方向及びＹ方向に垂直な方向をＸ方向という。また、挿入部１２ａ、先端部１２ｄ、第１突出部３１、または第２突出部３２のＸ方向正側を「左」といい、Ｘ方向負側を「右」といい、Ｙ方向正側を「上」といい、かつ、Ｙ方向負側を「下」という。挿入部１２ａ、先端部１２ｄ、第１突出部３１、または第２突出部３２のＺ方向正側は「正面」または「先端（先端方向）」であり、かつ、Ｚ方向負側は「基端（基端方向）」である。

第１突出部３１は、全体としては概ね円筒形状であり、その先端に直視観察部４１の観察窓である直視観察窓４１Ａを備え、かつ、側面に側視観察部４２の観察窓である側視観察窓４２Ａを備える。直視観察部４１は、挿入部１２ａの先端方向に視野を有し、挿入部１２ａの先端方向にある観察対象を撮像する。直視観察部４１は、例えば、撮像レンズ及びイメージセンサ等を含む。直視観察部４１を構成する撮像レンズ等の光学部材または撮像レンズ等の光学部材を保護する透明な保護部材は、第１突出部３１の先端（Ｚ方向に向いた面）に露呈する。この第１突出部３１の先端において露呈した部分が、挿入部１２ａに対して先端方向にある観察対象から入射する光を取り込む直視観察窓４１Ａである。

側視観察部４２は、挿入部１２ａの側面方向に視野を有し、挿入部１２ａの側面方向にある観察対象を撮像する。側視観察部４２は、直視観察部４１と同様に、例えば、撮像レンズ及びイメージセンサ等を含む。但し、側視観察部４２を構成する撮像レンズ等の光学部材または撮像レンズ等の光学部材を保護する透明な保護部材は、第１突出部３１の側面（第１突出部３１の外周を形成する面）に露呈する。この第１突出部３１の側面において露呈した部分が、挿入部１２ａに対して側面方向にある観察対象から入射する光を取り込む側視観察窓４２Ａである。本実施形態の内視鏡１２においては、側視観察部４２は第１突出部３１と第２突出部３２の接合部分を除く、第１突出部３１の周方向に１周にわたって露呈しており、帯状の１つの側視観察窓４２Ａを形成している。

また、第１突出部３１は、直視観察窓４１Ａ及び側視観察窓４２Ａに加えて、側視照明部４３の照明窓である第１側視照明窓４３Ａを有する。側視照明部４３は、第１側視照明窓４３Ａから側視観察部４２の視野に向けて照明光を出射する。側視照明部４３は、例えば、光源装置１４が発光した照明光を導光するライトガイドと、ライトガイドを用いて先端部１２ｄに導光した照明光を側視観察部４２の視野に向けて拡散して出射するレンズまたはミラー等の光学部材を含む。側視照明部４３を構成するミラー等の光学部材またはミラー等の光学部材を保護する透明な保護部材は、第１突出部３１の側面に露呈する。この第１突出部３１の側面に露呈する部分が、挿入部１２ａの側面方向に照明光を出射する第１側視照明窓４３Ａである。本実施形態の内視鏡１２においては、第１突出部３１と第２突出部３２の接合部分を除いた接合部分を除いた第１突出部３１の外周のうちの一部が側視照明窓になっている。また、図２においては、第１突出部３１の右側面に第１側視照明窓４３Ａがあるが、第１突出部３１の左側面にも側視観察部４２の視野に照明光を出射する第２側視照明窓４３Ｂがある（図３参照）。第１側視照明窓４３Ａ及び第２側視照明窓４３Ｂの位置及び大きさは左右対称である。

本実施形態においては、図４に示すように、直視観察部４１及び側視観察部４２は、共通の撮像レンズ６１及びイメージセンサ６６を含む。撮像レンズ６１は、前群レンズ６２、２つのレンズを接合して形成したミラーレンズ６３、及び後群レンズ６４からなる。前群レンズ６２の前面は、第１突出部３１の先端に露呈している。すなわち、前群レンズ６２の前面が、直視観察部４１の直視観察窓４１Ａを構成する。また、ミラーレンズ６３の側面は、第１突出部３１の側面に露呈している。このため、ミラーレンズ６３の側面が、側視観察部４２の側視観察窓４２Ａを構成する。

挿入部１２ａの先端方向にある観察対象から前群レンズ６２を介して入射する光は、ミラーレンズ６３が後群レンズ６４に導光する。そして、カバーガラス６７を介してイメージセンサ６６の撮像面に結像する。これにより、直視観察部４１としての撮像レンズ６１及びイメージセンサ６６は、挿入部１２ａの先端方向にある観察対象を撮像する。

一方、挿入部１２ａの側面方向にある観察対象からミラーレンズ６３の側面を介して入射する光は、ミラーレンズ６３が、ミラーレンズ６３を形成する２つのレンズの接合面と、ミラーレンズ６３の前面とにおいて順次反射して後群レンズ６４に導光する。そして、カバーガラス６７を介してイメージセンサ６６の撮像面に結像する。これにより、側視観察部４２としての撮像レンズ６１及びイメージセンサ６６は、挿入部１２ａの側面方向にある観察対象を撮像する。

また、側視照明部４３は、ライトガイド７１、反射部材７２、及び、充填部材７３とを含む。ライトガイド７１は光源装置１４と光学的に接続しており、光源装置１４が発光した照明光を導光する。そして、ライトガイド７１の端面から充填部材７３を介して反射部材７２に出射する。反射部材７２は、ライトガイド７１から入射する照明光を挿入部１２ａの側面方向に拡散し、少なくとも側視観察部４２の視野を含む範囲に照明光を出射する。充填部材７３は、ライトガイド７１の出射端面及び反射部材７２を保護する保護部材であって、透明である。また、充填部材７３は、ライトガイド７１と反射部材７２の間に形成される溝部分を第１突出部３１の側面に沿って滑らかに埋める。このため、充填部材７３が第１側視照明窓４３Ａを構成する。第２側視照明窓４３Ｂも同様である。

なお、本実施形態の内視鏡１２は、側視観察窓４２Ａを第１突出部３１の側面における先端側に設け、かつ、第１側視照明窓４３Ａ及び第２側視照明窓４３Ｂを第１突出部３１の側面における基端側に設けているが、これらの位置及び順序等は任意である。但し、先端面２１等によるケラレ等を防ぎ、側視照明部４３の視野を確保しやすくなるので、側視観察窓４２Ａは第１突出部３１の側面においてできるだけ先端側に設けた方が良い。

第２突出部３２は、洗浄液を噴出して先端部１２ｄを洗浄するためのノズルを有する。より具体的には、第２突出部３２は、側視観察窓４２Ａに向けて洗浄液を噴出するノズル５１及びノズル５２（図３参照）を有する。ノズル５１は第２突出部３２の右側面にあり、かつ、ノズル５２は第２突出部３２の左側面に設けられている。ノズル５１及びノズル５２は、第２突出部３２に設けられ、かつ、側視観察窓４２Ａに向けて洗浄液を噴出することで側視観察窓４２Ａを洗浄するという点において同様の性質を有する。

また、第２突出部３２は、第２突出部３２の先端にノズル５３を有する。ノズル５３は、直視観察部４１の露呈部分である直視観察窓４１Ａに向けて洗浄液を噴出することで直視観察窓４１Ａを洗浄する。

図５に示すように、ノズル５３は、送気送液チャネル７６の出口である。このため、タンク１７に貯蓄した洗浄液等を送気送液チャネル７６を介して送り出すと、ノズル５３から噴出する。送気送液チャネル７６は、第２突出部３２、先端部１２ｄ、挿入部１２ａ、及びユニバーサルコード１１等に連通している。本実施形態においては、送気送液チャネル７６は、第２突出部３２、先端部１２ｄ、挿入部１２ａ、またはユニバーサルコード１１において分岐し、ノズル５１及びノズル５２等、他のノズルにも共通に通じている。このため、例えば、洗浄スイッチ１３を押圧して送気送液チャネル７６に洗浄液を送り込めば、ノズル５３からだけでなく、ノズル５１及びノズル５２からも同時に洗浄液が噴出する。このため、内視鏡１２は、簡単な操作で直視観察窓４１Ａ及び側視観察窓４２Ａを同時に洗浄することができる。

第２突出部３２は、上記ノズル５１、ノズル５２、及びノズル５３の他に、直視観察部４１の視野に向けて照明光を出射する直視照明部５４の照明窓である直視照明窓５４Ａを有する。直視照明部５４は、例えば、光源装置１４が発光した照明光を導光するライトガイド７７と、ライトガイド７７を用いて先端部１２ｄに導光した照明光を直視観察部４１の視野に向けて拡散して出射する照明レンズ７８等を含む（図４参照）。直視照明部５４を構成する照明レンズまたは照明レンズを保護する透明な保護部材は、第２突出部３２の先端に露呈する。この第２突出部３２の先端に露呈する部分が直視照明窓５４Ａである。本実施形態においては、照明レンズ７８の前面が第２突出部３２の先端に露呈する。このため、照明レンズ７８の前面が直視照明窓５４Ａを形成する。

先端部１２ｄの先端面２１は、上記第１突出部３１及び第２突出部３２を有する他に、直視照明部８１の照明窓である直視照明窓８１Ａ、及び、鉗子口８２を有する。

直視照明部８１は、第２突出部３２にある直視照明部５４と同様に、直視観察部４１の視野に向けて照明光を出射する。また、直視照明部８１は、例えば、光源装置１４が発光した照明光を導光するライトガイド８４（図６参照）と、ライトガイド８４を用いて先端部１２ｄに導光した照明光を直視観察部４１の視野に向けて拡散して出射する照明レンズ等（図示しない）を含む。本実施形態においては、直視照明部８１を構成するライトガイドは、直視照明部５４を構成するライトガイド７７と接続されている。このため、直視照明部８１を構成するライトガイドは、直視照明部５４を構成するライトガイド７７と実質的に共通である。したがって、直視照明部５４と直視照明部８１は、各々の照明窓から同じ照明光を同時に出射する。但し、直視照明部５４を構成するライトガイド７７と、直視照明部８１を構成するライトガイドとは、太さの違い等のために、出射光量は相互に異なる場合がある。直視照明部８１を構成する照明レンズまたは照明レンズを保護する透明な保護部材は、先端面２１に露呈する。この先端面２１に露呈する部分が直視照明窓８１Ａである。

鉗子口８２は、鉗子等の処置具の出口である。内視鏡１２の基端部分の入り口（図示しない）から鉗子等の処置具を挿入すると、処置具は鉗子チャネルを介して鉗子口８２に到達し、その先端を鉗子口８２から突出することができる。鉗子チャネルは、先端部１２ｄ、挿入部１２ａ、及び操作部１２ｂに連通している。

なお、側視観察窓４２Ａは第１突出部３１の側面に設けられており、かつ、第２突出部３２は、第１突出部３１に隣接して先端面２１から挿入部１２ａの先端方向（Ｚ方向）に突出しているので、第２突出部３２は、側視観察部４２の視野の死角を形成する突出部である。すなわち、各部の配置の都合上、側視観察部４２は、その視野の一部に第２突出部３２が入り込んで、一部の角度範囲においては観察対象を撮像できない。

図６に示すように、光源装置１４は、照明光を発生する光源９１と、光源９１を制御する光源制御部９２と、を備える。光源９１は、例えば、各々独立に制御可能であり、かつ、発光する光の波長または波長範囲が各々異なる複数のＬＥＤ(Light Emitting Diode)である。光源９１には、ＬＥＤの代わりに、ＬＤ（Laser Diode）等の他の半導体光源を用いても良い。半導体光源と、半導体光源が発光する光を励起光として他の色の光を発光する蛍光体等を組み合わせて用いても良い。キセノンランプ等のランプ光源も光源９１に使用しても良い。また、半導体光源、半導体光源と蛍光体、及び、ランプ光源とともに波長帯域または分光スペクトルを調節する光学フィルタを組み合わせて光源９１を構成しても良い。例えば、白色ＬＥＤに光学フィルタを組み合わせて使用することで、複数種類の照明光を発光することができる。

光源制御部９２は、光源９１を構成するＬＥＤ等の点灯、消灯、及び光量を、イメージセンサ６６の駆動タイミングに合わせて各々に制御する。特に、複数の撮像画像を用いて１枚の観察画像を生成する場合（すなわちマルチフレーム観察モード）においては、光源制御部９２は、ＬＥＤ等の制御の結果、観察画像の生成に使用する複数の撮像画像を得る各々の撮像フレームごとに照明光の波長帯域または分光スペクトルを変更することができる。なお、点灯とは、イメージセンサ６６において観察対象を撮像できる程度（すなわち観察画像において観察対象の像を視認できる程度）の光量で発光することを言う。消灯とは、完全に発光を停止することの他、イメージセンサ６６において観察対象を撮像し得ない程度の光量に減光することを含む。また、光源９１が備える各光源が半導体光源である場合、光源制御部９２は、パルス変調制御によって、各光源の点灯、消灯、及び光量を制御する。

光源９１が発生した照明光は、ライトガイド９３に入射する。ライトガイド９３は、光源装置１４から内視鏡１２及びユニバーサルコード内に挿通しており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ライトガイド９３は、少なくとも、直視照明部５４を構成するライトガイド７７、直視照明部８１を構成するライトガイド８４、及び側視照明部４３を構成するライトガイド７１に分岐し、これら各照明部に照明光を伝搬する。なお、ライトガイド９３及びライトガイド７１等の分岐後の各ライトガイドとしては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用できる。

プロセッサ装置１６は、制御部９６と、画像取得部９７と、表示制御部９８と、を備える。制御部９６は、内視鏡システム１０を統括的に制御するＣＰＵ（Central Processing Unit）等である。制御部９６は、例えば、イメージセンサ６６における撮像タイミングと光源９１を構成する各ＬＥＤ等の発光タイミングを合わせる同期制御を行う。光源９１を構成する各ＬＥＤ等の発光タイミングの制御は、光源制御部９２を介して行う。また、制御部９６は、自動的に露出を制御する自動露出制御（ＡＥ（Auto Exposure）制御）を行う。本実施形態においては、制御部９６は、イメージセンサ６６は一定のタイミングで駆動し、かつ、光源９１を構成する各ＬＥＤ等の発光量（すなわち照明光の光量）を調節することにより、ＡＥ制御をする。ＡＥ制御の際、制御部９６は、画像取得部９７から直視観察画像１１１（図８参照）及び側視観察画像１１２（図８参照）、または、直視観察画像１１１もしくは側視観察画像１１２のうちいずれか一方を取得し、取得した画像を用いて光源９１を構成する各ＬＥＤ等の発光量を決定する。

画像取得部９７は、直視観察部４１を用いて直視観察画像１１１を取得し、かつ、側視観察部４２を用いて側視観察画像１１２を取得する。本実施形態においては、直視観察部４１及び側視観察部４２は、撮像レンズ６１及びイメージセンサ６６を共有しているので、画像取得部９７はイメージセンサ６６で撮像した画像（以下、撮像画像という）を取得し、取得した撮像画像に各種画像処理等を施すことにより、直視観察画像１１１及び側視観察画像１１２を含む撮像画像を得る。すなわち、イメージセンサ６６から得る撮像画像の一部が直視観察画像１１１であり、かつ、イメージセンサ６６から得る撮像画像の他の一部が側視観察画像１１２である。

画像取得部９７は、例えば、ＤＳＰ（Digital Signal Processor）、及び、ノイズ低減部として機能する。

画像取得部９７は、取得した撮像画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。これは、画像取得部９７のＤＳＰとしての機能である。欠陥補正処理は、イメージセンサ６６の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した撮像画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした撮像画像にゲインを乗じることにより各撮像画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした撮像画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の撮像画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理または同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の撮像画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ６６において他の色の画素を配置しているために、画素値がない画素である。例えば、Ｂ画像はＢ画素において観察対象を撮像して得る撮像画像なので、イメージセンサ６６のＧ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ６６のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。

画像取得部９７は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の撮像画像に再変換する。これは、画像取得部９７のノイズ低減部としての機能である。

表示制御部９８は、画像取得部９７から直視観察画像１１１及び側視観察画像１１２を取得する。そして、表示制御部９８は、直視観察画像１１１及び側視観察画像１１２、または、直視観察画像１１１もしくは側視観察画像１１２のうちいずれか一方を用いて、表示用の画像（以下、表示用画像という）（図８等参照）を生成する。表示制御部９８は、生成した表示用画像をモニタ１８に表示する。本実施形態においては、表示制御部９８は、特に言及しないかぎり、直視観察画像１１１及び側視観察画像１１２を両方とも使用して表示用画像を生成及び表示する。

また、表示制御部９８は、側視観察画像１１２のうち死角に対応する部分をマスクし、かつ、表示部であるモニタ１８における直視観察画像１１１と側視観察画像１１２の相対的な表示割合を調節する。このため、図７に示すように、表示制御部９８は、表示割合設定部１０１と表示用画像生成部１０２を備える。表示割合設定部１０１は、表示部であるモニタ１８における直視観察画像１１１と側視観察画像１１２の相対的な表示割合を調節する。

表示割合設定部１０１は、相対的な表示割合の設定を表示モードとして予め複数有している。具体的には、標準モード、直視拡大モード、及び、側視観拡大モードの３種類の表示モードを有する。

標準モードは、直視観察画像１１１及び側視観察画像１１２のどちらもほぼ拡大または縮小せずに、直視観察画像１１１と側視観察画像１１２の相対的な表示割合を、撮像したままの表示割合に設定する表示モードである。すなわち、標準モードにおいては、直視観察画像１１１と側視観察画像１１２の相対的な表示割合は、ほぼ撮像画像における表示割合になる。「ほぼ拡大または縮小せず」とは、直視観察画像１１１と側視観察画像１１２を繋ぎ合わせるためのやむを得ない直視観察画像１１１または側視観察画像１１２の拡大または縮小を除く意味である。したがって、標準モードの場合においても、直視観察画像１１１と側視観察画像１１２のいずれか一方または両方が、繋ぎ合わせのために拡大または縮小している場合がある。なお、以下、簡単のため、標準モードにおいては、表示部であるモニタ１８における直視観察画像１１１の表示面積と側視観察画像１１２の表示面積はほぼ等しいものとする。

直視拡大モードは、表示部であるモニタ１８における直視観察画像１１１の表示面積を、標準モードの場合と比較して拡大する表示モードである。すなわち、直視拡大モードの場合、表示割合設定部１０１は、側視観察画像１１２に対して直視観察画像１１１の表示割合を相対的に大きくする。また、直視拡大モードは、直視観察画像１１１及び側視観察画像１１２のうち、実質的に直視観察画像１１１のみを表示する場合を含む。

側視拡大モードは、表示部であるモニタ１８における側視観察画像１１２の表示面積を、標準モードの場合と比較して拡大する表示モードである。すなわち、側視拡大モードの場合、表示割合設定部１０１は、直視観察画像１１１に対して側視観察画像１１２の表示割合を相対的に大きくする。また、側視拡大モードは、直視観察画像１１１及び側視観察画像１１２のうち、実質的に側視観察画像１１２のみを表示する場合を含む。

上記直視拡大モード及び側視拡大モードにおける直視観察画像１１１と側視観察画像１１２の具体的な表示割合は、例えばコンソール１９、操作部１２ｂに設けたスイッチ、または、フットスイッチ等の入力デバイス（以下、コンソール１９等という）を用いて内視鏡システム１０の使用者である医師等が任意に設定できる。直視観察画像１１１と側視観察画像１１２の具体的な表示割合は、観察の途中であっても任意に変更可能である。医師等が直視拡大モードにおいて直視観察画像１１１の表示面積を標準モードの場合よりも縮小する数値等を設定した場合には自動的に側視拡大モードとなる。逆も同じである。また、標準モード、直視拡大モード、及び側視拡大モードの切り替えも同様にコンソール１９等を用いて任意に切り替えることができる。

表示用画像生成部１０２は、表示割合設定部１０１が定めた表示割合にしたがって、直視観察画像１１１及び側視観察画像１１２、または、直視観察画像１１１もしくは側視観察画像１１２のうちいずれか一方を必要に応じて拡大または縮小して繋ぎ合わせ、さらに、側視観察画像１１２のうち死角に対応する部分をマスクして、表示用画像を生成する。

「マスクする」とは、他の画像等により、側視観察画像１１２が持つデータを変調または置き換えることを言う。側視観察画像１１２のうち死角に対応する部分とは、第２突出部３２があることに起因して観察対象を撮像し得ない部分である。以下、表示用画像において、側視観察画像１１２のうち、第２突出部３２があることに起因した死角に対応する部分を、第１死角部分という。表示用画像生成部１０２は、少なくともこの第１死角部分を表示用画像においてマスクする。さらに、本実施形態においては、側視観察画像１１２のうち、側視観察部４２の視野の外側であって、そもそも観察対象を撮像し得ない部分（以下、第２死角部分という）も、表示用画像においてマスクする。表示制御部９８は、表示用画像生成部１０２が生成した表示用画像をモニタ１８に表示する。

上記内視鏡システム１０においては、直視観察画像１１１と側視観察画像１１２の相対的な表示割合を調節した表示用画像をモニタ１８に表示する。例えば、表示モードを標準モードに設定すると、表示制御部９８は図８に示す表示用画像１１３を生成し、モニタ１８に表示する。標準モードにおける表示用画像１１３は、表示制御部９８が表示用画像生成部１０２を用いて、ほぼ撮像したままのサイズで直視観察画像１１１の外周と側視観察画像１１２の内周が繋ぎ合わせて生成する。標準モードの表示用画像１１３によれば、直視観察画像１１１のみまたは側視観察画像１１２のみを表示すると比較して、より広範囲の観察対象を観察することができる。

なお、実際には、直視観察画像１１１と側視観察画像１１２には明確な境界線はないが、説明のため、図８においては二点鎖線でこれらの境界を示している（以下同様）。また、側視観察画像１１２のうち、観察対象が写っている部分は概ね円環状であるが、中心Ｃ０から一定の角度範囲に第２突出部３２に起因する第１死角部分１１４ができる。このため、表示制御部９８は、表示用画像生成部１０２を用いて表示用画像１１３を生成する際に、第１死角部分１１４をマスクする。また、側視観察画像１１２の外側の部分は、もともと観察対象を撮像し得ない第２死角部分１１５である。このため、表示制御部９８は、表示用画像生成部１０２を用いて表示用画像１１３を生成する際に、第２死角部分１１５をマスクする。これにより、観察対象が写っていない第１死角部分１１４及び第２死角部分１１５と、観察対象が写っている側視観察画像１１２の他の部分との区別を明確になっている。

表示モードを直視拡大モードにすると、表示制御部９８は図９に示す表示用画像１２３を生成してモニタ１８に表示する。具体的には、表示制御部９８は、直視拡大モードの表示用画像１２３を生成する際、表示用画像生成部１０２において直視観察画像１１１を拡大し、かつ、外周のサイズを保ったまま側視観察画像１１２を径方向に圧縮する。そして、直視観察画像１１１の外周と側視観察画像１１２の内周を繋ぎ合わせ、かつ、第１死角部分１１４及び第２死角部分１１５をマスクすることにより表示用画像１２３を生成する。

したがって、直視拡大モードの表示用画像１２３は、観察対象の表示範囲（全観察対象に対してモニタ１８に表示し得る観察対象の範囲）及び表示面積（モニタ１８において観察対象を表示する面積）自体は標準モードの表示用画像１１３と同じであるが、観察対象の表示範囲及び表示面積の中で側視観察画像１１２に対して直視観察画像１１１の表示割合が相対的に大きくなっている。このため、表示モードを直視拡大モードにすれば、医師等は、直視観察画像１１１及び側視観察画像１１２によって広範囲の観察対象を観察できるうえに、特に直視観察画像１１１に写った観察対象が観察しやすくなる。例えば、挿入部１２ａの先端方向において、病変の疑いがある等の注目すべき箇所を発見した場合に、表示モードを直視拡大モードにすれば、その注目すべき箇所をより詳細に観察することができる。

また、表示モードを側視拡大モードにすると、表示制御部９８は図１０に示す表示用画像１２６を生成してモニタ１８に表示する。具体的には、表示制御部９８は、側視拡大モードの表示用画像１２６を生成する際、表示用画像生成部１０２において側視観察画像１１２を径方向に拡大する。具体的には、外周のサイズを保ったまま内側（中心Ｃ０の側）に向けて延伸し、一方で、直視観察画像１１１は、拡大後の側視観察画像１１２の内周に合うサイズに縮小する。そして、拡大後の側視観察画像１１２の内周と縮小後の直視観察画像１１１の外周を繋ぎ合わせ、かつ、第１死角部分１１４及び第２死角部分１１５をマスクすることにより表示用画像１２６を生成する。

したがって、側視拡大モードの表示用画像１２６は、観察対象の表示範囲及び表示面積自体は標準モードの表示用画像１１３と同じであるが、観察対象の表示範囲及び表示面積の中で直視観察画像１１１に対して側視観察画像１１２の表示割合が大きくなっている。このため、表示モードを側視拡大モードにすれば、医師等は、直視観察画像１１１及び側視観察画像１１２によって広範囲の観察対象を観察できるうえに、特に側視観察画像１１２に写った観察対象が観察しやすくなる。例えば、挿入部１２ａの側面方向において、病変の疑いがある等の注目すべき箇所を発見した場合に、表示モードを側視拡大モードにすれば、その注目すべき箇所をより詳細に観察できる。

上記のように、内視鏡システム１０は、直視観察画像１１１と側視観察画像１１２のモニタ１８における相対的な表示割合を調節する直視拡大モード及び側視拡大モードを有している。そして、表示モードを直視拡大モードまたは側視拡大モードに切り替えることによって、観察対象の表示範囲及び表示面積を保ったまま、直視観察画像１１１または側視観察画像１１２に写った観察対象を拡大できる。このため、内視鏡システム１０は従来よりも観察または診断等において使用しやすい。

なお、直視拡大モードにおいては、例えば、直視観察画像１１１の表示割合を１００％にし、側視観察画像１１２の表示割合を０％に設定することができる。この場合、図１１に示すように、実質的に直視観察画像１１１のみを表示する表示用画像１２８を生成してモニタ１８に表示することができる。したがって、内視鏡システム１０は、直視観察画像１１１及び側視観察画像１１２を表示する標準モードの表示用画像１２３と、実質的に直視観察画像１１１のみを表示する表示用画像１２８と、を必要に応じて任意に切り替えてモニタ１８に表示できる。表示用画像１２８は、直視観察画像１１１を表示範囲（中心Ｃ０から標準モードの表示用画像１１３における側視観察画像１１２の外周までの範囲）一杯まで拡大し、かつ、第２死角部分１１５をマスクすることによって生成する。

また、側視拡大モードにおいては、例えば、側視観察画像１１２の表示割合を１００％にし、直視観察画像１１１の表示割合を０％に設定することができる。この場合、図１２に示すように、実質的に側視観察画像１１２のみを表示する表示用画像１２９を生成してモニタ１８に表示することができる。したがって、内視鏡システム１０は、直視観察画像１１１及び側視観察画像１１２を表示する標準モードの表示用画像１２３と、実質的に側視観察画像１１２のみを表示する表示用画像１２９と、を必要に応じて任意に切り替えてモニタ１８に表示できる。表示用画像１２９は、側視観察画像１１２の外周のサイズを保ったまま、内周を径方向に（中心Ｃ０の方向に）延伸し、かつ、第１死角部分１１４及び第２死角部分１１５をマスクすることによって生成する。

［第２実施形態］
上記第１実施形態においては、直視拡大モード及び側視拡大モードにおける直視観察画像１１１と側視観察画像１１２の相対的な表示割合を、内視鏡システム１０の使用者である医師等が設定してるが、直視拡大モード及び側視拡大モードにおける直視観察画像１１１と側視観察画像１１２の相対的な表示割合を自動的に設定できる。この場合、図１３に示す内視鏡システム２００のように、プロセッサ装置１６には、動き検出部２０１を設ける。また、必要に応じて内視鏡１２には動きセンサ２０２を設ける。

動き検出部２０１は、挿入部１２ａの先端部１２ｄの動きを検出する。先端部１２ｄの動きとは、観察対象に沿った先端部１２ｄの移動方向、観察対象に沿った先端部１２ｄの移動方向に沿った位置変化（速さ、速度もしくは加速度）、湾曲部１２ｃの湾曲に起因した先端部１２ｄの向き、湾曲部１２ｃの湾曲に起因して先端部１２ｄが偏向した角度、または、湾曲部１２ｃの湾曲に起因した先端部１２ｄの向きの変化（角速度もしくは角加速度）等である。動きセンサ２０２は、先端部１２ｄの動きを検出するためのセンサであり、例えば、速度センサ、加速度センサ、角速度センサ、角加速度センサ、挿入部１２ａを観察対象に挿入した長さを計測するためのセンサもしくは機構、または、湾曲部１２ｃの湾曲程度を計測するためのセンサもしくは機構等である。

動き検出部２０１は、例えば、画像取得部９７から直視観察画像１１１及び側視観察画像１１２、または、直視観察画像１１１もしくは側視観察画像１１２のいずれか一方を経時的に複数取得し、取得した直視観察画像１１１または側視観察画像１１２を用いて先端部１２ｄの動きを検出する。また、内視鏡１２に動きセンサ２０２を設けている場合には、直視観察画像１１１もしくは側視観察画像１１２の代わりに、または、直視観察画像１１１もしくは側視観察画像１１２に加えて、動きセンサ２０２の出力信号を用いて、観察対象の動きを検出する。

そして、プロセッサ装置１６が動き検出部２０１を有する場合、表示制御部９８は、動き検出部２０１が検出した先端部１２ｄの動きを参照して、直視観察画像１１１と側視観察画像１１２の相対的な表示割合を調節する。すなわち、表示制御部９８は、表示割合設定部１０１において動き検出部２０１が検出した先端部１２ｄの動きに起因して表示モードを自動的に選択する。また、自動選択した表示モードが直視拡大モードまたは側視拡大モードである場合には、直視観察画像１１１と側視観察画像の相対的な表示割合も動き検出部２０１が検出した先端部１２ｄの動きに起因して自動的に決定する。

上記内視鏡システム２００においては、例えば、表示制御部９８は、挿入部１２ａの挿抜に合わせて直視観察画像１１１及び側視観察画像１１２の相対的な表示割合を調節することができる。この場合、図１４に示すように、動き検出部２０１は、挿入部１２ａの挿抜、すなわち先端部１２ｄの移動方向が挿入方向であるか抜去方向であるか、を検出する（Ｓ２１０）。挿入方向とは、図１５に示すように、挿入部１２ａを観察対象２０５に挿入する際の挿入部１２ａ等の移動方向であり、先端部１２ｄが観察対象２０５の奥に移動する方向である。抜去方向は、挿入方向の逆方向であり、挿入部１２ａを観察対象２０５に沿って観察対象２０５から抜去する際の挿入部１２ａ等の移動方向であり、先端部１２ｄが手前に移動する方向である。

先端部１２ｄの移動方向が挿入方向である場合（Ｓ２１１；ＹＥＳ）、表示制御部９８は表示割合設定部１０１において表示モードを自動的に直視拡大モードに設定し（Ｓ２１２）、モニタ１８には直視拡大モードの表示用画像１２３を表示する。一方、先端部１２ｄの移動方向が抜去方向である場合（Ｓ２１１；ＮＯ）、表示制御部９８は表示割合設定部１０１において表示モードを自動的に側視拡大モードにに設定し（Ｓ２１３）、モニタ１８には側視拡大モードの表示用画像１２６を表示する。

内視鏡システム２００は、上記のように挿入部１２ａを挿入する際には直視拡大モードにし、かつ、挿入部１２ａを抜去する際には側視拡大モードにすることで、直視観察画像１１１または側視観察画像１１２のうち、挿入部１２ａを挿抜する際に医師等が注目する可能性が高い方の画像のモニタ１８における表示割合を自動的に増やす。このため、内視鏡システム２００は、直視観察画像１１１と側視観察画像１１２を表示する従来の内視鏡システムよりも挿入部１２ａを挿抜しやすい。

上記第２実施形態においては、挿入部１２ａの挿抜に合わせて直視拡大モードと側視拡大モードを選択しているが、動き検出部２０１が挿入部１２ａ（先端部１２ｄ）の移動速度または挿入部１２ａ（先端部１２ｄ）の移動の加速度を検出する場合には、さらに挿入部１２ａ（先端部１２ｄ）の移動速度または加速度を加味して、直視拡大モードまたは側視拡大モードにおける直視観察画像１１１と側視観察画像１１２の相対的な表示割合を自動的に設定することができる。例えば、図１６において、直視観察画像１１１の表示割合を示すグラフ１１１Ａ（実線）及び側視観察画像１１２の表示割合を示すグラフ１１２Ａ（一点鎖線）を用いて示すように、挿入部１２ａの移動速度が正であり、挿入部１２ａが挿入方向に移動する場合、その移動速度に応じて、直視観察画像１１１の表示割合を増加し、かつ、側視観察画像１１２の表示割合を低減する。すなわち、挿入部１２ａの移動速度が正の場合、表示モードは直視拡大モードであり、表示制御部９８は、移動速度に応じた表示割合になるように直視観察画像１１１を拡大した表示用画像１２３を生成し、モニタ１８に表示する。直視観察画像１１１の表示割合が１００％に到達する移動速度Ｖ１（Ｖ１＞０）以降においては、表示制御部９８は、実質的に直視観察画像１１１のみを表示する表示用画像１２８を生成し、モニタ１８に表示する。

一方、挿入部１２ａの移動速度が負であり、挿入部１２ａが抜去方向に移動する場合、その移動速度に応じて、直視観察画像１１１の表示割合を低減し、かつ、側視観察画像１１２の表示割合を増加する。すなわち、挿入部１２ａの移動速度が負の場合、表示モードは側視拡大モードであり、表示制御部９８は、移動速度に応じた表示割合になるように側視観察画像を拡大した表示用画像１２６を生成し、モニタ１８に表示する。側視観察画像１１２の表示割合が１００％に到達する移動速度Ｖ２（Ｖ２＜０）以降においては、表示制御部９８は、実質的に側視観察画像１１２のみを表示する表示用画像１２９を生成し、モニタ１８に表示する。

なお、挿入部１２ａに挿抜の動きがなく、移動速度が「０」である場合、表示モードは自動的に標準表示モードになる。このため、移動速度が「０」の場合、表示制御部９８は、標準モードの表示用画像１１３を生成し、モニタ１８に表示する。

上記のように、挿入部１２ａの挿抜だけでなく、挿入部１２ａを挿抜する際の移動速度（または加速度）を考慮すると、挿入部１２ａのより細かな動きに合わせて、適切に直視観察画像１１１または側視観察画像１１２を拡大して表示することができる。このため、挿入部１２ａを挿入または抜去するという診断等の前後の動作の他に、診断等のための観察の最中に、注目する部分をより観察しやすくするために挿入部１２ａを動かして先端部１２ｄを移動する際にも、その動きに合わせて適切に直視観察画像１１１または側視観察画像１１２を拡大して表示することができる。

先端部１２ｄを挿入方向に移動するのは、先端方向に注目すべき部分があるからであり、先端部１２ｄを抜去方向に移動するのは、側面方向に注目すべき部分があるからである。したがって、上記のように直視拡大モードまたは側視拡大モードを自動設定すれば、直視観察画像１１１または側視観察画像１１２のうち、注目すべき部分を含む方の画像を自動的に拡大して表示することができる。また、先端部１２ｄの現在位置から遠い位置に注目すべき部分があり、挿入部１２ａを速く移動しているときには、直視観察画像１１１または側視観察画像１１２をより大きく拡大するので、挿入部１２ａを速く移動しても注目すべき部分を見失い難い等の利点もある。

なお、上記変形例においては、挿入部１２ａの挿抜に起因して表示モードが直視拡大モードと側視拡大モードとで切り替わるようになっており、その上で、移動速度を加味しているが、挿入部１２ａの移動方向に関わらず、移動速度に起因して表示モードを切り替えても良い。例えば、図１７において、直視観察画像１１１の表示割合を示すグラフ１１１Ａ及び側視観察画像１１２の表示割合を示すグラフ１１２Ａを用いて示すように、移動速度がある移動速度Ｖ３（Ｖ３＞０）を境に、直視拡大モードと側視拡大モードを切り替えても良い。もちろん、同様にして、負の移動速度を境に、直視拡大モードと側視拡大モードを切り替えても良い。

上記第２実施形態においては、挿入部１２ａの挿抜に合わせて直視拡大モードと側視拡大モードを選択しているが、動き検出部２０１が湾曲部１２ｃの湾曲に起因した先端部１２ｄの向きを検出する場合には、表示制御部９８は、湾曲部１２ｃの湾曲に起因した先端部１２ｄの向きに合わせて、直視拡大モードと側視拡大モードを自動的に選択することができる。具体的には、例えば、図１８に示すように、動き検出部２０１が湾曲部１２ｃの湾曲の有無を検出することにより、その結果、先端部１２ｄの向きを検出する（Ｓ２５０）。湾曲部１２ｃの湾曲を検出した場合（Ｓ２５１；ＹＥＳ）、表示制御部９８は、表示モードを自動的に直視拡大モードに設定し、直視観察画像１１１を拡大表示する（Ｓ２５２）。図１９に示すように、湾曲部１２ｃを湾曲して先端部１２ｄの向きを変える場合、通常は、先端部１２ｄの先端方向に注目すべき部分があるからである。一方、湾曲部１２ｃが湾曲しておらず、先端部１２ｄが挿入方向に向いている場合には、表示制御部９８は、表示モードを自動的に側視拡大モードに設定し、側視観察画像１１２を拡大表示する（Ｓ２５３）。図２０に示すように、湾曲部１２ｃを湾曲せず、先端部１２ｄを挿入方向に向けている場合は、医師等は、側視観察画像１１２を用いて注目すべき部分の有無を確認（スクリーニング）しているケースが多いからである。

なお、上記においては、湾曲部１２ｃが湾曲しておらず、先端部１２ｄが挿入方向に向いている場合に、表示モードを自動的に側視拡大モードに設定しているが、湾曲部１２ｃが湾曲しておらず、先端部１２ｄが挿入方向に向いている場合には、表示モードを自動的に標準モードに設定しても良い。

また、先端部１２ｄの向きに合わせて、直視拡大モードと、標準モードまたは側視拡大モードと、を切り替える場合であって、さらに、動き検出部２０１が湾曲部１２ｃの湾曲角度、湾曲速度または加速度を検出する場合には、湾曲部１２ｃの湾曲角度、湾曲速度または加速度を用いて、直視拡大モードと側視拡大モードにおける直視観察画像１１１と側視観察画像１１２の相対的な表示割合を自動的に設定することができる。例えば、図２１において、直視観察画像１１１の表示割合を示すグラフ１１１Ａ及び側視観察画像１１２の表示割合を示すグラフ１１２Ａを用いて示すように、湾曲角度が０度の場合には表示モードを自動的に標準モードに設定し、湾曲角度が０度より大きい場合に、表示モードを自動的に直視拡大モードに設定する。そして、湾曲角度が０度より大きく９０度以下の場合、表示制御部９８は、湾曲角度に合わせて直視観察画像１１１と側視観察画像１１２の相対的な表示割合を設定する。こうすると、先端部１２ｄの向きのより細かな変化に応じて、適切なサイズに直視観察画像１１１を拡大して表示することができる。

なお、湾曲角度が９０度より大きいの場合、先端部１２ｄは後方に向く。この場合、先端部１２ｄを向けた部分に診断等において注目すべき部分がある可能性が高いので、表示制御部９８は実質的に直視観察画像１１１のみを表示する表示用画像１２８を生成しモニタ１８に表示すると良い（図２１参照）。但し、図２２に示すように、湾曲角度が９０度よりも大きい場合に、湾曲角度に応じて直視観察画像１１１の表示割合を低減し、かつ、側視観察画像１１２の表示割合を増加しても良い。

また、図２１及び図２２は、側視観察画像１１２の表示割合が直視観察画像１１１の表示割合を上回ることがなく、直視拡大モードと標準モードとを切り替える例になっているが、グラフ１１１Ａとグラフ１１２Ａを交差して、側視観察画像１１２の表示割合が直視観察画像１１１の表示割合を上回る部分を設ければ、直視拡大モードと側視拡大モードとで表示モードを切り替えることができる。

［第３実施形態］
上記第１実施形態及び第２実施形態においては、第１死角部分１１４をマスクしており、かつ、直視拡大モードまたは側視拡大モードにおいて側視観察画像１１２を縮小または拡大した際には、この第１死角部分１１４も同様に縮小または拡大している。このため、上記第１実施形態及び第２実施形態においては、側視観察画像１１２のうち、観察対象を写した部分（第１死角部分１１４及び第２死角部分１１５を除いた部分）と、第１死角部分１１４は、縮小または拡大の前後で、相対的に一定の大小関係を維持している。しかし、第１死角部分１１４と、側視観察画像１１２のうち観察対象が写した部分に対して一定の大小関係を維持しなくても良い。

例えば、必要に応じて第１死角部分１１４を縮小し、その結果、第１死角部分１１４の表示面積を低減することができる。この場合、図２３に示すように、表示制御部９８には、表示割合設定部１０１及び表示用画像生成部１０２に加えて、マスク表示割合設定部３０１を設ける。マスク表示割合設定部３０１は、表示割合設定部１０１が設定した直視観察画像１１１と側視観察画像１１２の相対的な表示割合に合わせて、側視観察画像１１２と、第１死角部分１１４を覆うマスクの相対的な表示割合を変更する。

具体的には、例えば、図２４に示すように、標準モードの表示用画像１１３における第１死角部分１１４は、中心Ｃ０を中心として角度θ１の範囲であるとする。また、表示割合設定部１０１は、側視拡大モードの表示割合を設定したとする。したがって、表示用画像生成部１０２は、まず、直視観察画像１１１及び側視観察画像１１２を中心Ｃ０を中心とした径方向に縮小または拡大して直視観察画像１１１と側視観察画像１１２の相対的な表示割合を表示割合設定部１０１が定めた表示割合にする。これは第１実施形態等と同様である。

一方、本実施形態においては、マスク表示割合設定部３０１は、側視拡大モードにおいて、中心Ｃ０を中心とした第１死角部分１１４の範囲を、少なくとも角度θ１よりも小さい角度θ２に設定する。こうしてマスク表示割合設定部３０１が第１死角部分１１４の範囲を角度θ２に定めた場合、表示用画像生成部１０２は、上記のように直視観察画像１１１及び側視観察画像１１２を径方向に縮小または拡大した上で、さらに、直視観察画像１１１及び側視観察画像１１２を周方向に延伸または圧縮する。具体的には、直視観察画像１１１及び側視観察画像１１２のうち、第１死角部分１１４がある角度θ１内を周方向に圧縮し、かつ、他の部分を周方向に延伸する。これにより、第１死角部分１１４を角度θ２に収める。その結果、側視観察画像１１２に対して、第１死角部分１１４を覆うマスクの相対的な表示割合を低減した表示用画像３０２を生成し、モニタ１８に表示する。

表示用画像３０２は、例えば第１実施形態の側視拡大モードにおける表示用画像１２６（図１０参照）と比較して、第１死角部分１１４及び第１死角部分１１４を覆うマスクの表示面積が小さく、かつ、その他の観察対象が写った部分の表示面積が大きい。したがって、表示用画像３０２によれば、観察対象をより観察しやすく表示できる。

なお、表示用画像３０２を生成する際に、側視観察画像１１２だけでなく、直視観察画像１１１も、角度θ１内の部分を周方向に圧縮し、かつ、角度θ１以外の部分を周方向に延伸しているのは、直視観察画像１１１と側視観察画像１１２の境界において観察対象の像にずれがでないようにするためである。また、側視拡大モードにおいて、第１死角部分１１４を圧縮により表示面積を縮小し、かつ、その他の観察対象が写った部分を拡大により表示面積を拡大しているのは、側視拡大モードにおいては、モニタ１８上において第１死角部分１１４の表示面積が大きくなりやすく、マスクしてあるとは言え、診断等に寄与しない第１死角部分１１４が目立ちやすくなるので観察対象を観察し難くなりやすいからである。

なお、上記第３実施形態においては、一例として、側視拡大モードにおいて、第１死角部分１１４を縮小し、かつ、その他の観察対象が写った部分を拡大しているが、直視拡大モードまたは標準モードにおいて、第１死角部分１１４を縮小し、かつ、その他の観察対象が写った部分を拡大しても良い。この他、側視拡大モード、直視拡大モード、または、標準モードにおいて、第１死角部分１１４を拡大し、かつ、その他の観察対象が写った部分を縮小することもできる。

なお、上記第３実施形態においては、第１死角部分１１４を縮小しているが、第２死角部分１１５を縮小することができる。この場合、マスク表示割合設定部３０１は、側視観察画像１１２の外周を径方向に拡張するか否かの設定をする。例えば、図２５において側視観察画像１１２の外周から伸びる矢印を用いて示すように、マスク表示割合設定部３０１が側視観察画像１１２の外周を径方向に拡張する設定をしたとする。この場合、表示用画像生成部１０２は、表示割合設定部１０１が設定した表示割合にしたがって直視観察画像１１１及び側視観察画像１１２を拡大または縮小する。その上で、側視観察画像１１２を径方向に延伸することにより、側視観察画像１１２の表示面積を拡大する。その結果、表示用画像生成部１０２は、例えば、図２６に示すように、第２死角部分１１５がない表示用画像３０４を生成して、モニタ１８に表示する。このように、第２死角部分１１５がない表示用画像３０４を生成及び表示すれば、観察対象をモニタ１８上の表示範囲の全体に表示することができるので、観察対象をより観察しやすくなる。

上記変形例における第２死角部分１１５の非表示化は、直視拡大モード、側視拡大モード、または、標準モードのいずれの場合においても行うことができる。したがって、上記変形例における第２死角部分１１５の非表示化は、直視拡大モード、側視拡大モード、または、標準モードのうち１または２以上の選択した表示モードにおいて実施することができる。また、上記変形例における第２死角部分１１５の非表示化は、第３実施形態における第１死角部分１１４の縮小もしくは拡大の代わりに、または、第３実施形態における第１死角部分１１４の縮小もしくは拡大に加えて行うことができる。

その他、上記変形例においては、第２死角部分１１５を完全に非表示化しているが、マスク表示割合設定部３０１は第２死角部分１１５の表示割合を設定することにより、第２死角部分１１５の表示面積を縮小しつつも、表示用画像３０４内に第２死角部分１１５の表示を一部残すことができる。この場合、第３実施形態の第１死角部分１１４の縮小と同様に、直視観察画像１１１及び側視観察画像１１２の相対的な表示割合に合わせて、第２死角部分１１５の表示面積の縮小率を設定すると良い。例えば、側視拡大モードにおいて、側視観察画像１１２の表示割合に反比例して、第２死角部分１１５の表示面積を縮小することができる。

なお、第１死角部分１１４がある角度θ１は、表示制御部９８が予め記憶しているが、角度θ１のデータを更新可能であることが好ましい。キャリブレーション等において、例えば側視観察部４２からのノズル５１及びノズル５２の見え具合等に基づき、角度θ１の値を調節し、結果として、第１死角部分１１４としてマスクする領域の大きさを調節できることが好ましい。第１実施形態等においても同じである。

［第４実施形態］
上記第１実施形態、第２実施形態、及び第３実施形態においては、直視観察画像１１１及び側視観察画像１１２を表示用画像（表示用画像１１３等）の中心に表示しているが、各表示用画像内における直視観察画像１１１及び側視観察画像の表示位置は調節することができる。直視観察画像１１１及び側視観察画像の表示位置を調節する場合、図２７に示すように、表示制御部９８には、表示位置設定部４０１を設ける。表示位置設定部４０１は、表示用画像における直視観察画像１１１または側視観察画像１１２の表示位置を設定する。表示用画像生成部１０２は、表示位置設定部４０１が設定した位置に調節して表示用画像を生成する。

特に、プロセッサ装置１６に第２実施形態の動き検出部２０１を設ける場合、表示位置設定部４０１は、動き検出部２０１が検出した動きに合わせて、直視観察画像１１１または側視観察画像１１２の表示位置を調節することができる。具体的には、図２８（Ａ）に示すように、標準モードにおいて先端部１２ｄが挿入方向を向いている場合、表示位置設定部４０１は直視観察画像１１１及び側視観察画像１１２の表示位置を、生成及び表示する表示用画像の中心に設定する。このため、表示用画像生成部１０２は表示用画像１１３を生成し、モニタ１８に表示する。

一方、図２８（Ｂ）に示すように、標準モードにおいて先端部１２ｄを右方向に向けた際には、表示位置設定部４０１は、先端部１２ｄの向き（角度）、または、先端部１２ｄを右方向に移動する速さ、速度もしくは加速度に合わせて、直視観察画像１１１の表示位置を左方向にずらす。その結果、表示用画像生成部１０２は、直視観察画像１１１の表示位置に合わせて側視観察画像１１２の内周を延伸または圧縮して、設定した位置に表示する直視観察画像１１１と側視観察画像１１２を繋ぎ合わせる。その結果、表示用画像生成部１０２は、直視観察画像１１１の表示位置が左方向に偏った表示用画像４１０を生成し、モニタ１８に表示する。先端部１２ｄを右方向に向ける場合、通常は、先端部１２ｄの右方向に診断等において注目すべき部分があるので、上記のように直視観察画像１１１の表示位置を左方向にずらし、側視観察画像１１２の右側部分を拡大すると、注目すべき部分が観察しやすくなる。

また、図２８（Ｃ）に示すように、標準モードにおいて先端部１２ｄを左方向に向けた際には、表示位置設定部４０１は、先端部１２ｄの向き（角度）、または、先端部１２ｄを左方向に移動する速さ、速度もしくは加速度に合わせて、直視観察画像１１１の表示位置を右方向にずらす。これにより、上記と同様に、表示用画像生成部１０２は、直視観察画像１１１の表示位置が右方向に偏った表示用画像４１１を生成し、モニタ１８に表示する。先端部１２ｄを左方向に向ける場合、通常は、先端部１２ｄの左方向に診断等において注目すべき部分があるので、上記のように直視観察画像１１１を右方向にずらし、側視観察画像１１２の左側部分を拡大すると、注目すべき部分が観察しやすくなる。先端部を上方向または下方向等、その他の方向に向ける場合も同様である。

上記第４実施形態においては、動き検出部２０１を用いて検出する先端部１２ｄの動きに合わせて直視観察画像１１１の表示位置を調節しているが、図２９に示すように、モニタ１８がヘッドマウントディスプレイ４２１である場合、ヘッドマウントディスプレイ４２１を装着する医師等の頭の動きに合わせて、直視観察画像１１１等の表示位置を調節することができる。この場合、動き検出部２０１は、ヘッドマウントディスプレイ４２１の動きを検出する。

そして、標準モードにおいて、ヘッドマウントディスプレイ４２１を装着する医師等が正面（ヘッドマウントディスプレイ４２１のキャリブレーションにより定める医師等の装着者の正面）を向いている場合、直視観察画像１１１を中心に表示する表示用画像１１３をヘッドマウントディスプレイ４２１に表示する（図２９（Ａ）参照）。一方、ヘッドマウントディスプレイ４２１を装着する医師等が右（ヘッドマウントディスプレイ４２１のキャリブレーションにより定める医師等の装着者の右）を向いた場合には、上記第４実施形態において先端部１２ｄを右方向に向けた場合と同様に、直視観察画像１１１の表示位置が左方向に偏った表示用画像４１０を生成し、ヘッドマウントディスプレイ４２１に表示する（図２９（Ｂ）参照）。また、ヘッドマウントディスプレイ４２１を装着する医師等が左（ヘッドマウントディスプレイ４２１のキャリブレーションにより定める医師等の装着者の左）を向いた場合には、上記第４実施形態において先端部１２ｄを左方向に向けた場合と同様に、直視観察画像１１１の表示位置が右方向に偏った表示用画像４１１を生成し、ヘッドマウントディスプレイ４２１に表示する（図２９（Ｃ）参照）。

なお、上記第４実施形態においては、簡単のため、表示モードが標準モードの場合を例に説明しているが、直視拡大モードまたは側視拡大モードにおいても直視観察画像１１１または側視観察画像１１２の表示位置を調節することができる。すなわち、上記第４実施形態は、第１実施形態、第２実施形態、または第３実施形態のうち、いずれか１以上と任意に組み合わせて実施することができる。

［第５実施形態］
上記第１実施形態等の各実施形態及び変形例（以下、第１実施形態等という）における内視鏡１２は、第２突出部３２があることに起因した死角、側視観察部４２の視野の外側にあたる死角の他にも死角が存在する場合がある。具体的には、図３０に示すように、撮像レンズ６１の性能に起因して、直視観察部４１の視野５０１と側視観察部４２の視野５０２とが重複しない場合がある。この場合、直視観察部４１の視野５０１と側視観察部４２の視野５０２の間に、直視観察部４１の視野５０１と側視観察部４２の視野５０２のどちらにも捉えられない死角５０３が存在する場合がある。しかし、上記第１実施形態等においては、直視観察画像１１１と側視観察画像１１２を繋ぎ合わせて表示するので、直視観察部４１の視野５０１と側視観察部４２の視野５０２の間の死角５０３に注目すべき部分があると、医師等はモニタ１８においてその存在を視認できないので、見落としてしまう可能性がある。このため、表示制御部９８は、死角５０３の存在をモニタ１８に表示し、使用者である医師等に知らせることが好ましい。

例えば、図３１に示すように、表示制御部９８は、表示用画像１１３等の上記第１実施形態等の表示用画像に加えて、死角５０３の存在を示す模式図５０５を表示する。模式図５０５は、少なくとも、直視観察部４１の視野５０１、側視観察部４２の視野５０２、及び、直視観察部４１の視野５０１と側視観察部４２の視野５０２の間の死角５０３を表示する。このように、表示制御部９８が、表示用画像１１３等の表示画像に並べて（あるいは重畳して）模式図５０５をモニタ１８上に示せば、直視観察画像１１１と側視観察画像１１２を繋ぎ合わせた表示用画像１１３等の表示用画像をモニタ１８に表示する場合でも、医師等はモニタ１８において死角５０３の存在に注意しながら診断等をすることができる。

なお、表示制御部９８は、模式図５０５の代わりに、死角５０３の有無を示すメッセージをモニタ１８に表示しても良い。また、直視観察部４１の視野５０１と側視観察部４２の視野５０２の間に死角５０３がある場合、図３２に示すように、表示制御部９８は、直視観察画像１１１と側視観察画像１１２を繋ぎ合わせず、死角５０３に対応する部分（以下、第３死角部分という）５１３をマスクした表示用画像５２３を生成し、モニタ１８に表示しても良い。第３死角部分５１３をマスクした表示用画像５２３と、第３死角部分５１３をマスクしない表示用画像１１３等の表示用画像とは、相互に任意のタイミングで切替可能であることが好ましい。上記第５実施形態の表示は、第１実施形態等と任意に組み合わせることができる。

［第６実施形態］
上記第５実施形態とは逆に、第１実施形態等における内視鏡１２は、撮像レンズ６１の性能に起因して、図３３に示すように、直視観察部４１の視野５０１と側視観察部４２の視野５０２とが重複する場合がある。以下、直視観察部４１と側視観察部４２の重複する視野を重複視野６０１という。このように、直視観察部４１と側視観察部４２に重複視野６０１がある場合、図３４に示すように、直視観察画像１１１及び側視観察画像１１２には、重複視野６０１に対応する領域（以下、重複領域という）６０２において同じ観察対象２０５の同じ部分が写ることになるので、第１実施形態等のように直視観察画像１１１と側視観察画像１１２を繋ぎ合わせると、生成した表示用画像１１３等においては、直視観察画像１１１と側視観察画像１１２の境界付近において観察対象の同一部分が２箇所に表れる（以下、二重表示という）。したがって、表示制御部９８は、直視観察部４１と側視観察部４２に重複視野６０１がある場合でも、二重表示がない表示用画像を生成することが好ましい。

このため、図３５に示すように、表示制御部９８には、例えば、重複領域検出部６１１と重複領域除去部６１２を設けることが好ましい。重複領域検出部６１１は、直視観察画像１１１に写った観察対象と側視観察画像１１２に写った観察対象とを比較することにより、直視観察画像１１１において側視観察画像１１２と同一の観察対象が写った重複領域６０２、または、側視観察画像１１２において直視観察画像１１１と同一の観察対象が写った重複領域６０２を検出する。そして、図３６及び図３７に示すように、重複領域除去部６１２は、直視観察画像１１１または側視観察画像１１２から、重複領域６０２を除去する。そして、表示用画像生成部１０２は、いずれか一方から重複領域６０２を除去した直視観察画像１１１及び側視観察画像１１２を繋ぎ合わせて表示用画像１１３等を生成する。こうすれば、直視観察部４１と側視観察部４２に重複視野６０１がある場合でも、表示用画像１１３等の二重表示がなくなるので、観察対象を観察しやすく表示することができる。

上記第６実施形態のように、表示制御部９８に重複領域検出部６１１を設ける場合、図３８に示すように、表示制御部９８には、さらに信号レベル補正部６１３を設けると良い。信号レベル補正部６１３は、重複領域検出部６１１が検出した重複領域６０２を用いて、直視観察画像１１１及び側視観察画像１１２のうち少なくともいずれか一方の信号レベルを補正する。その結果、直視観察部４１の視野５０１における観察対象の明るさと、側視観察部４２の視野５０２における観察対象の明るさに違いがあっても、直視観察画像１１１及び側視観察画像１１２は同じ明るさにすることができるので、明るさが均一な表示用画像１１３等を生成及び表示することができる。

上記第６実施形態及びその変形例は、直視観察部４１と側視観察部４２に重複視野６０１がある場合であれば、第１実施形態等の直視拡大モード、側視拡大モード、または標準モードと任意に組み合わせて実施することができる。

［第７実施形態］
上記第１実施形態等においては、表示制御部９８が、表示用画像生成部１０２において表示用画像１１３等を生成する際に、直視観察画像１１１または側視観察画像１１２を拡大または縮小等することにより、直視観察画像１１１と側視観察画像１１２を繋ぎ合わせているが、撮像レンズ６１の性能に起因して直視観察画像１１１と側視観察画像１１２に表れる収差の具合が異なる場合がある。直視観察画像１１１と側視観察画像１１２に表れる収差の具合が異なる場合に、単に、直視観察画像１１１または側視観察画像１１２を単に拡大または縮小等して繋ぎ合わせると、直視観察画像１１１と側視観察画像１１２に表れる収差の相違に起因して表示用画像１１３等において観察対象が歪んで見える場合がある。

例えば、図３９に示すように、直視観察画像１１１のディストーション７０１と、側視観察画像１１２のディストーション７０２に違いがある。具体的には、直視観察画像１１１のディストーション７０１はいわゆる樽型または糸巻き型（図３９においては樽型）である。一方、側視観察画像１１２のディストーション７０２は概ね放射状である。このため、直視観察画像１１１または側視観察画像１１２を単に拡大または縮小等しただけは直視観察画像１１１のディストーション７０１と側視観察画像１１２のディストーション７０２が良好に接続できない場合がある。この場合、表示用画像１１３等は、特に、直視観察画像１１１と側視観察画像１１２の境界付近において観察対象の歪みを認識しやすくなる。したがって、直視観察画像１１１と側視観察画像１１２を繋ぎ合わせて表示用画像１１３等を生成してモニタ１８に表示する場合、表示制御部９８は、撮像レンズ６１の性能に起因して直視観察画像１１１と側視観察画像１１２に表れる収差を考慮して、直視観察画像１１１と側視観察画像１１２を繋ぎ合わせて表示用画像１１３等を生成するとが好ましい。

表示制御部９８が、撮像レンズ６１の性能に起因して直視観察画像１１１と側視観察画像１１２に表れる収差を考慮して直視観察画像１１１と側視観察画像１１２を繋ぎ合わせるためには、図４０に示すように、表示制御部９８に収差接続部７０５を設ける。収差接続部７０５は、直視観察画像１１１または側視観察画像１１２の少なくともいずれか一方にアフィン変換等の変換処理を施して、直視観察画像１１１と側視観察画像１１２の収差を良好に接続し得る画像に変換する。例えば、図４１に示すように、収差接続部７０５は、側視観察画像１１２のディストーション７０２に合わせて直視観察画像１１１をアフィン変換する。その結果、直視観察画像１１１のディストーション７０１を側視観察画像１１２のディストーション７０２に良好に接続し得る状態にする。表示用画像生成部１０２は、上記のように収差接続部７０５の変換処理によって収差を良好に接続し得る状態となった直視観察画像１１１及び側視観察画像１１２を用いて表示用画像１１３等を生成し、モニタ１８に表示する。このように、直視観察画像１１１及び側視観察画像１１２に表れる収差を考慮して、直視観察画像１１１と側視観察画像１１２を繋ぎ合わせると、直視観察画像１１１と側視観察画像１１２をより良好に接続することができる。その結果、表示用画像１１３等においては、観察対象の歪みを認識し難くなり、観察対象を観察しやすくなる。

なお、撮像レンズ６１の性能は内視鏡１２を製造する際に既知であるから、上記第７実施形態においては、直視観察画像１１１または側視観察画像１１２に対してどのような変換処理を施すかは予め定められている。このため、収差接続部７０５は、直視観察画像１１１または側視観察画像１１２に施す変換処理のパラメータを予め保有している。しかし、より厳密には、内視鏡１２の先端部１２ｄと観察対象の距離が観察中に変化すると、先端部１２ｄと観察対象の距離に応じて直視観察画像１１１及び側視観察画像１１２に表れるディストーション７０１及びディストーション７０２等の収差の具合は変化する。したがって、表示制御部９８に収差接続部７０５を設ける場合、図４２に示すように、内視鏡１２またはプロセッサ装置１６には測距部７０６を設けることが好ましい。図４３に示すように、測距部７０６は、直視観察部４１の視野５０１と側視観察部４２の視野５０２の境界近傍における先端部１２ｄと観察対象の距離Ｄ１を測定する。そして、収差接続部７０５は、測距部７０６が測定した先端部１２ｄと観察対象の距離Ｄ１を用いて、予め保有する変換処理用のパラメータを調節または変更する。その結果、直視観察画像１１１と側視観察画像１１２の収差をより良好に接続し得る状態にする。先端部１２ｄと観察対象の距離Ｄ１は位置によって異なるので（図４３参照）、収差接続部７０５は、距離Ｄ１の平均値等に合わせて、または、直視観察画像１１１と側視観察画像１１２を接続する位置ごとに、変換処理用のパラメータを調節または変更する。また、内視鏡１２の先端部１２ｄと観察対象の相対的な角度が観察中に変化すると、先端部１２ｄと観察対象の相対的な角度に応じて直視観察画像１１１及び側視観察画像１１２に表れるディストーション７０１及びディストーション７０２等の収差の具合は変化する。このため、収差接続部７０５は、先端部１２ｄと観察対象の相対的な角度を用いて、予め保有する変換処理用のパラメータを調節または変更することができる。先端部１２ｄと観察対象の相対的な角度は、例えば、距離Ｄ１の分布を用いて求めることができる。先端部１２ｄと観察対象の相対的な角度は位置によって異なるので、収差接続部７０５は、先端部１２ｄと観察対象の相対的な角度の平均値等に合わせて、または、直視観察画像１１１と側視観察画像１１２を接続する位置ごとに、変換処理用のパラメータを調節または変更するのは上記と同様である。

なお、直視観察部４１の視野５０１と側視観察部４２の視野５０２の境界近傍とは、直視観察部４１の視野５０１と側視観察部４２の視野５０２との間に死角５０３がある場合には、直視観察部４１の視野５０１と死角５０３の境界近傍、側視観察部４２の視野５０２と死角５０３の境界近傍、または、死角５０３の範囲内の任意箇所である。直視観察部４１の視野５０１と側視観察部４２の視野５０２に重複視野６０１がある場合、直視観察部４１の視野５０１と側視観察部４２の視野５０２の境界近傍とは、直視観察部４１の視野５０１と重複視野６０１の境界近傍、側視観察部４２の視野５０２と重複視野６０１の境界近傍、または、重複視野６０１の範囲内の任意箇所である。直視観察部４１の視野５０１と側視観察部４２の視野５０２との間に死角５０３がなく、かつ、重複視野６０１もない場合、直視観察部４１の視野５０１と側視観察部４２の視野５０２の境界近傍とは、直視観察部４１の視野５０１と側視観察部４２の視野５０２の境界またはその近傍である。

［第８実施形態］
上記第１実施形態等においては、制御部９６がＡＥ制御を行うが、先端部１２ｄと観察対象の距離、または、直視照明部５４及び直視照明部８１と側視照明部４３の性能によっては、直視観察画像１１１と側視観察画像１１２の明るさが異なる場合がある。直視観察画像１１１と側視観察画像１１２の明るさが異なる場合、制御部９６が、直視観察画像１１１と側視観察画像１１２の両方を常時共通の一定の明るさになるＡＥ制御を行うことは難しい。このため、図４４に示すように、制御部９６は、ＡＥ制御のために直視観察画像１１１と側視観察画像１１２を取得すると（Ｓ８０１）、直視観察画像１１１を用いて適正な露出量を算出する（Ｓ８０２）。また、側視観察画像１１２を用いて適正な露出量を算出する（Ｓ８０３）。そして、制御部９６は、直視観察画像１１１を用いて算出した露出量、または、側視観察画像１１２を用いて算出した露出量のうち、いずれか一方の露出量をＡＥ制御で使用する露出量に決定し（Ｓ８０４）、決定した露出量にしたがって実際のＡＥ制御をする。こうすれば、直視観察画像１１１と側視観察画像１１２の明るさが異なる場合でも、直視観察画像１１１または側視観察画像１１２のうち少なくともいずれか一方を常に適正な明るさで撮像することができる。例えば、常に直視観察画像１１１を用いて算出する露出量にしたがってＡＥ制御をすれば、少なくとも直視観察画像１１１は常に適正な明るさになる。その結果、直視観察画像１１１の観察しやすさを保障することができる。

上記第８実施形態においては、制御部９６は、直視観察画像１１１を用いて算出した露出量、または、側視観察画像１１２を用いて算出した露出量のうち、いずれか一方の露出量するが、代わりに、直視観察画像１１１を用いて算出した露出量と、側視観察画像１１２を用いて算出した露出量の平均値を、実際に実施するＡＥ制御の露出量にすることができる。また、設定により、直視観察画像１１１を用いて算出した露出量と、側視観察画像１１２を用いて算出した露出量と、を用いて、実際に実施するＡＥ制御の露出量を算出しても良い。例えば、直視観察画像１１１を用いて算出した露出量と、側視観察画像１１２を用いて算出した露出量とに重み付けをして平均し、その結果を実際に実施するＡＥ制御の露出量に採用することができる。

なお、直視観察画像１１１と側視観察画像１１２とを各々別のタイミングに得る場合には、直視観察画像１１１を得るための露出量を直視観察画像１１１を用いて算出し、かつ、側視観察画像１１２を得るための露出量を側視観察画像１１２を用いて算出することができる。

例えば、制御部９６がＡＥ制御を照明光の光量を調節することによって実行する場合、図４５に示すように、制御部９６は、直視観察画像１１１を取得して、次の直視観察画像１１１の撮像する際に使用する照明光の光量（以下、直視用照明光量という）を決定する（Ｓ８１１）。また、制御部９６は、側視観察画像１１２を取得して、次の側視観察画像１１２の撮像する際に使用する照明光の光量（以下、側視用照明光量という）を決定する（Ｓ８１２）。そして、制御部９６は、直視用照明光量で照明光を点灯して、直視観察部４１において観察対象を撮像する。これにより、画像取得部９７は、直視観察画像１１１を取得する（Ｓ８１３）。また、制御部９６は、側視用照明光量で照明光を点灯して、側視観察部４２において観察対象を撮像する。これにより、画像取得部９７は、側視観察画像１１２を取得する（Ｓ８１４）。

上記のように、直視観察画像１１１と側視観察画像１１２とを各々別のタイミングに得る場合には、直視観察画像１１１を得るための露出量を直視観察画像１１１を用いて算出し、かつ、側視観察画像１１２を得るための露出量を側視観察画像１１２を用いて算出することによって、直視観察画像１１１及び側視観察画像１１２の両方を適切な露出で取得することができる。

上記第８実施形態及び変形例のＡＥ制御は、第１実施形態等と任意に組み合わせて実施することができる。

［第９実施形態］
直視観察画像１１１と側視観察画像１１２とを各々別のタイミングに得る場合等において、互いに性質が異なる直視観察画像１１１と側視観察画像１１２を得ることができる。例えば、直視観察画像１１１または側視観察画像１１２のうち一方を、照明光に白色光を使用して観察対象を撮像し、観察対象を自然な色合いで表す通常の画像（以下、通常画像という）にし、かつ、直視観察画像１１１または側視観察画像１１２のうち他方を、通常画像とは異なる態様で処理等した画像（以下、特殊画像という）にすることができる。特殊画像とは、例えば、血管等の特定の組織や構造等を、周波数強調処理、輪郭強調処理、マーキング処理（病変等に枠等を付与してその位置を表示する処理等）等によって強調した画像、極狭い波長帯域の照明光を用いる等、照明光の波長、波長帯域、もしくは照明光の組み合わせの選択により、血管等の特定の組織もしくは構造等を通常画像よりも写りやすくした画像（例えば、いわゆる狭帯域光観察画像）、色調変換処理（例えば、トーンカーブによる色調変換または特定の色空間上における再マッピングによる色調変換等）等を用いて特定の病変等を周囲の組織等と色の違いで識別できるようにした画像、または、観察対象の生体情報を算出し、算出した生体情報を用いて通常画像に色付けをした画像（例えば、酸素飽和度の値を色で表す酸素飽和度画像）等である。

上記のように、直視観察画像１１１または側視観察画像１１２のうち一方を、通常画像にし、かつ、直視観察画像１１１または側視観察画像１１２のうち他方を、特殊画像にする場合、図４６に示すように、プロセッサ装置１６には、画像処理部８３０を設ける。画像処理部８３０は、画像取得部９７から取得する直視観察画像１１１または側視観察画像１１２に対して、必要に応じて、周波数強調処理、輪郭強調処理、マーキング処理、色調変換処理、または、酸素飽和度算出処理及び算出した酸素飽和度を用いた通常画像の色付け処理等の各種処理を施す。そして、表示制御部９８は、画像処理部８３０において必要な処理を施した直視観察画像１１１及び側視観察画像１１２を用いて表示用画像１１３等を生成し、モニタ１８に表示する。

直視観察画像１１１と側視観察画像１１２のうち少なくとも一方を特殊画像にすれば、直視観察画像１１１と側視観察画像１１２を両方とも通常画像とする場合と比較して、病変等の発見の支援できる。また、生体情報を表す画像を生成する場合には、生体情報という情報を提示できる利点もある。

直視観察画像１１１または側視観察画像１１２のうちいずれか一方だけを特殊画像にする場合、直視観察画像１１１を通常画像にし、かつ、側視観察画像１１２を特殊画像にすることが好ましい。側視観察画像１１２は病変等を見つけ出すスクリーニングのために使用することが多く、かつ、直視観察画像１１１と比較すると病変等を識別し難い画像になりやすいので、側視観察画像１１２を特殊画像にすれば、スクリーニングを支援し、その精度を向上することできるからである。

このように、直視観察画像１１１を通常画像にし、かつ、側視観察画像１１２を特殊画像にする場合、側視観察画像１１２は、いわゆるＩＨｂ（Index of Hemoglobin）画像にすることが好ましい。ＩＨｂは、粘膜ヘモグロビン濃度指標である。そして、ＩＨｂ画像は、粘膜のヘモグロビン指数の平均値を算出し、その値より高い部分をより赤く、低い部分をより白く強調して表示する画像である。ＩＨｂ画像は、通常画像と同様に、照明光に白色光を用いて習得した画像を用いて、画像処理により生成することができる。側視観察画像１１２をＩＨｂ画像にすれば、側視観察画像１１２において例えば粘膜等の炎症が観察しやすくなる。この他、直視観察画像１１１を得る際と側視観察画像１１２を得る際とで、両方とも照明光に白色光を使用し、画像処理の内容を変えることで、直視観察画像１１１を通常画像にし、かつ、側視観察画像１１２を特殊画像にすることができる。

また、直視観察画像１１１を通常画像にし、かつ、側視観察画像１１２を特殊画像にする場合、側視観察画像１１２は、いわゆる狭帯域光画像にすることが好ましい。狭帯域光画像は、例えば、波長帯域が狭い（例えば波長帯域が±１０ｎｍ程度）青色光で観察対象を撮像して得る青色画像と、波長帯域が狭い緑色光で観察対象を撮像して得る緑色画像と、を用いて、血管またはピットパターン等の構造を強調した疑似カラー画像である。この他、直視観察画像１１１を得る際と側視観察画像１１２を得る際とで、照明光を変え、かつ、画像処理の内容を変えることで、直視観察画像１１１を通常画像にし、かつ、側視観察画像１１２を特殊画像にすることができる。

なお、上記においては、直視観察画像１１１と側視観察画像１１２のうち一方を特殊画像にしているが、当然に、直視観察画像１１１と側視観察画像１１２を両方とも特殊画像にすることができる。この場合、直視観察画像１１１と側視観察画像１１２とを種類が異なる特殊画像（照明光または画像処理の内容が異なる特殊画像）にすることができる。例えば、直視観察画像１１１をＩＨｂ画像にし、かつ、側視観察画像１１２を狭帯域光画像にすることができる。

上記第９実施形態においては、直視観察画像１１１と側視観察画像１１２を別々のタイミングで取得（撮像）しているが、直視観察画像１１１と側視観察画像１１２を同時に取得して、直視観察画像１１１または側視観察画像１１２のうち少なくとも一方を特殊画像にできる。例えば、照明光に白色光を使用して観察対象を撮像して、直視観察画像１１１と側視観察画像１１２を同時に取得する。そして、直視観察画像１１１には、通常画像処理（通常画像にするための画像処理）を施して直視観察画像１１１を通常画像にする。一方、直視観察画像１１１と同時に得た側視観察画像１１２には病変を強調する色変換処理をして、側視観察画像１１２を特殊画像にする。このように、照明光の切り替えを必要とせず、画像処理によって特殊画像を生成する場合には、直視観察画像１１１と側視観察画像１１２を同時に取得しても、これらのうち少なくとも一方を特殊画像にできる。

また、直視照明部５４及び直視照明部８１と、側視照明部４３とが互いに独立した構成にすれば、直視観察部４１の視野５０１と、側視観察部４２の視野５０２にそれぞれ異なる照明光を同時に照射できる。この場合、特殊画像の生成に照明光の切り替えを必要であっても、直視観察画像１１１と側視観察画像１１２を同時に取得し、かつ、これらのうち少なくとも一方を特殊画像にできる。

上記第９実施形態においては、直視観察画像１１１または側視観察画像１１２のうち少なくとも一方を特殊画像にしているが、その代わりに、もしくは直視観察画像１１１または側視観察画像１１２のうち少なくとも一方を特殊画像にした上で、直視観察画像１１１または側視観察画像１１２のうち一方の明るさを、他方の明るさに対して、明るくまたは暗くしても良い。例えば、直視観察画像１１１に対して側視観察画像１１２を相対的に明るくすることができる。直視観察画像１１１に対して側視観察画像１１２を相対的に明るくする方法には、側視観察画像１１２を直視観察画像１１１よりも明るくする方法と、直視観察画像１１１を側視観察画像１１２よりも相対的に暗くする方法を取り得る。これらは第８実施形態の変形例（図４５参照）において、直視用照明光量と側視用照明光量の相対的なバランスを制御部９６が調節することによって実現できる。上記第９実施形態は、第１実施形態等と任意に組み合わせて実施できる。

また、直視観察画像１１１を取得する際と、側視観察画像１１２を取得する際とで、照明光が含む成分ごとの光量の比率（以下、光量比という）を変えることができる。例えば、光源９１が、紫色光を発光する紫色ＬＥＤと、青色光を発光する青色ＬＥＤと、緑色光を発光する緑色ＬＥＤと、赤色光を発光する赤色ＬＥＤとで構成し、紫色光、青色光、緑色光、及び赤色光の光量をそれぞれに調節することで、光源９１は、光量比が異なる複数種類の照明光を発光することができる。このため、直視観察画像１１１を得る際には白色光を発光する一方で、側視観察画像１１２を得る際には、紫色光、青色光、緑色光、及び赤色光の光量比を調節して、例えば、白色光と比較して、紫色光の成分が相対的に大きい特殊画像用の照明光（紫色成分が多い白色光、紫色光の光量によっては全体としてほぼ紫色光になる場合もある）を発光することができる。

［第１０実施形態］
上記第１実施形態等においては、表示用画像１１３等における直視観察画像１１１及び側視観察画像１１２の表示領域及び表示位置を予め定めている。特に、第４実施形態及びその変形例においては、直視観察画像１１１または側視観察画像１１２の表示位置を、先端部１２ｄの向き等に合わせて調節するが、表示用画像１１３等における直視観察画像１１１及び側視観察画像１１２の表示領域については予め定めている。しかし、直視観察画像１１１及び側視観察画像１１２の表示領域は、任意に定めることができる。

直視観察画像１１１及び側視観察画像１１２の表示領域とは、表示用画像１１３等によってモニタ１８に表示する直視観察画像１１１及び側視観察画像１１２の範囲である。例えば、表示用画像１１３は、表示用画像１１３の中心に直視観察画像１１１及び側視観察画像１１２の中心Ｃ０を配置しているため、もともと円環状である側視観察画像１１２の一部は表示用画像１１３の外にはみ出し、表示用画像１１３には表示しない。これに対し、側視観察画像１１２の表示用画像１１３に使用した範囲が、側視観察画像１１２の表示領域である。

表示用画像１１３等に対して、直視観察画像１１１及び側視観察画像１１２の表示範囲を調節する場合、図４７に示すように、表示制御部９８には、表示領域設定部１００１を設ける。図４８に示すように、表示領域設定部１００１は、モニタ１８における表示領域１００２と、直視観察画像１１１及び側視観察画像１１２との相対的な位置及び大きさを調節する。その結果、直視観察画像１１１及び側視観察画像１１２を表示用画像１１３等に収め、結果として、モニタ１８に表示する領域（すなわち表示領域）を設定する。表示領域１００２の大きさ及び形状は、表示用画像１１３等の大きさ及び形状であり、本実施形態においては設定等により、予め定められているとする。

例えば、表示領域設定部１００１が、図４８に示す通りに直視観察画像１１１及び側視観察画像１１２と表示領域１００２の相互関係を設定したのであれば、表示用画像生成部１０２は、表示領域設定部１００１が設定した直視観察画像１１１及び側視観察画像１１２と表示領域１００２との相互関係にしたがって、図４９に示す表示用画像１０１３を生成し、モニタ１８に表示する。

上記第１０実施形態においては、表示制御部９８は、表示部であるモニタ１８における表示領域１００２に対して直視観察画像１１１及び側視観察画像１１２の表示位置をオフセットすることにより、第２突出部３２が写る死角に対応する第１死角部分１１４の全部を非表示化している。このため、モニタ１８における表示から、第１死角部分１１４を除くことができるので、モニタ１８の表示において第１死角部分１１４の存在を全く気にかけること無く、観察対象の観察に集中し得る表示をすることができる。

なお、上記第１０実施形態においては、第１死角部分１１４の全部を非表示化しているが、表示制御部９８に表示領域設定部１００１を設ける場合、表示制御部９８は、表示部であるモニタ１８における表示領域１００２に対して直視観察画像１１１及び側視観察画像１１２の表示位置をオフセットすることにより、死角の少なくとも一部を非表示化することが好ましい。上記のように表示領域１００２に対して直視観察画像１１１及び側視観察画像１１２の表示位置をオフセットする代わりに、または、表示領域１００２に対して直視観察画像１１１及び側視観察画像１１２の表示位置をオフセットした上で、表示部であるモニタ１８における表示領域１００２に対して直視観察画像１１１及び側視観察画像１１２を拡大することにより第２突出部３２が写る死角に対応する第１死角部分１１４の少なくとも一部を非表示化できる。第１死角部分１１４の一部でも非表示化すれば、表示用画像１１３等の第１死角部分１１４の全部が表示領域１００２に収まる場合よりも、観察対象の観察に集中し得るようになるからである。例えば、図５０に示すように、表示制御部９８は、表示領域１００２に対して直視観察画像１１１及び側視観察画像１１２を拡大すれば、第１死角部分１１４の一部を非表示化できる。

また、図５１に示すように、表示制御部９８が、表示領域１００２に対して直視観察画像１１１及び側視観察画像１１２を拡大すれば、第２死角部分１１５の少なくとも一部を非表示化できる。このため、表示用画像１１３等よりも観察対象の観察に集中し得るようになる。

なお、上記オフセットまたは拡大による第１死角部分１１４及び第２死角部分１１５の非表示化は、表示モードとして選択できることが好ましい。すなわち、表示制御部９８は、第１実施形態等における標準モード、直視拡大モード、もしくは、側視拡大モードに加えて、または、第１実施形態等における標準モード、直視拡大モード、もしくは、側視拡大モードの代わりに、死角非表示モードを有することが好ましい。表示モードが死角非表示モードに設定されている場合には、第２突出部３２が写る死角に対応する第１死角部分１１４及び第２死角部分１１５の少なくとも一部を非表示化して、直視観察画像１１１及び側視観察画像を表示部であるモニタ１８に表示する。

表示制御部９８は、第２突出部３２が写る死角に対応する第１死角部分１１４のうち、非表示化する部分の割合を変更することができる。例えば、図５２に示すように、プロセッサ装置１６に動き検出部２０１を設ける場合、表示領域設定部１００１は、先端部１２ｄの動き（すなわち挿入部１２ａの動き）に合わせて、第１死角部分１１４または第２死角部分１１５のうち非表示化する部分の割合を変更すると良い。

より具体的には、動き検出部２０１が挿入部１２ａの挿抜を検出する場合、表示領域設定部１００１は、図５３に示すように、挿入部１２ａの挿抜の速度（または加速度）に合わせて第１死角部分１１４または第２死角部分１１５のうち非表示化する部分の割合を設定することができる。すなわち、挿入部１２ａを挿抜が速いほど、第１死角部分１１４または第２死角部分１１５を非表示化する割合を大きくする。こうすると、挿入部１２ａを挿抜が速く、第１死角部分１１４または第２死角部分１１５が、観察の邪魔になりやすいケースほど、第１死角部分１１４または第２死角部分１１５の表示面積が小さくなるので、挿入部１２ａの挿抜を支援することができる。

上記図５３においては、挿入部１２ａの挿抜の方向には関係なく、挿抜の速さに起因して第１死角部分１１４または第２死角部分のうち非表示化する部分の割合を変更しているが、表示制御部９８は、例えば、図５４に示すように、挿入部１２ａを観察対象に挿入する場合と、挿入部１２ａを観察対象から抜去する場合とで、第１死角部分１１４または第２死角部分のうち非表示化する部分の割合を変更することができる。上記の他、表示制御部９８は、先端部１２ｄの向き、または、先端部１２ｄの向きを変更する速さ、速度もしくは加速度に合わせて、第１死角部分１１４または第２死角部分のうち非表示化する部分の割合を変更することができる。

上記第１０実施形態は、上記第１実施形態等と任意に組み合わせて実施することができる。例えば、表示制御部９８は、上記第１実施形態等と同様にして側視観察画像１１２及び直視観察画像１１１の表示割合を調節し、かつ、側視観察画像１１２及び直視観察画像１１１の表示割合に合わせて、第１死角部分１１４または第２死角部分１１５のうち非表示化する部分の割合を変更することができる。第３実施形態のにおいて、側視観察画像１１２及び直視観察画像１１１の表示割合に合わせて第１死角部分１１４を縮小する場合と同様である。

なお、上記第１０実施形態のように、第１死角部分１１４または第２死角部分１１５を非表示化する場合（特に、死角非表示モードを有する場合）、表示制御部９８が側視観察画像１１２を表示部であるモニタ１８に表示する際に非表示化する非表示領域（表示領域１００２の外側の領域）内に、側視観察部４２に洗浄液を噴出して側視観察部４２を洗浄するノズル５１及びノズル５２を有することが好ましい。この場合、ノズル５１及びノズル５２は、必ずしも第２突出部３２に設けなくても良いので、ノズル５１及びノズル５２の配置によっては、側視観察部４２の洗浄性が向上する場合がある。

上記第１実施形態等の内視鏡１２は、先端部１２ｄの先端面２１からさらに第１突出部３１及び第２突出部３２が突出した複雑な形状を露呈したまま、観察対象に挿入するが、直視観察及び側視観察が可能な内視鏡１２は、例えば、図５５に示すように、先端部１２ｄ（特に第１突出部３１及び第２突出部３２の部分）に先端キャップ１１０１を被せて使用することができる。先端キャップ１１０１を用いれば、第１突出部３１及び第２突出部３２等がある先端部１２ｄに比べれば露呈する部分の形状がシンプルなので、汚れが残りにくく、かつ、汚れが付着しても落ちやすい。また、先端キャップ１１０１は、鉗子口８２の位置に貫通孔１１０２を設けているので、処置具等は貫通孔１１０２から先端キャップ１１０１の外に突出することができる。

先端キャップ１１０１は、透明であるため、基本的には、直視照明部５４、直視照明部８１、及び直視観察部４１を用いた直視観察、並びに、側視照明部４３及び側視観察部４２を用いた側視観察を妨げない。しかし、先端キャップ１１０１は透明であるとは言え、例えば、先端キャップ１１０１の輪郭１１０１Ａまたは輪郭１１０１Ａの近傍においては、観察対象の像が歪む場合がある。このため、図５６に示すように、表示制御部９８は、先端キャップ１１０１の輪郭１１０１Ａまたは輪郭１１０１Ａの近傍において観察対象の像に歪みが表れる可能性がある箇所に、先端キャップ１１０１の輪郭１１０１Ａがあること示す線１１１１（例えば色付きの線または帯体）等の表示をした表示用画像１１２０を生成し、モニタ１８に表示することが好ましい。表示用画像１１２０において、先端キャップ１１０１の輪郭１１０１Ａの存在を示せば、医師等は線１１１１等の近傍の像に歪みがあることを認識できるので、誤認等を防ぐことができる。

上記のように先端キャップ１１０１の輪郭１１０１Ａの存在を示す線１１１１等の表示をする代わりに、図５７に示すように、表示制御部９８は、観察対象の像に歪みが表れる可能性がある先端キャップ１１０１の輪郭１１０１Ａまたは輪郭１１０１Ａの近傍の部分１１２２をマスクした表示用画像１１２１を生成し、モニタ１８に表示しても良い。貫通孔１１０２の部分１１２３も、先端キャップ１１０１の輪郭１１０１Ａまたは輪郭１１０１Ａの近傍の部分１１２２と同様に、観察対象の像が歪む可能性がある。このため、表示制御部９８は、貫通孔１１０２の部分１１２３もマスクしても良い（図５７参照）。また、図５６と同様に、貫通孔１１０２の部分１１２３には、貫通孔１１０２の存在を知らせる線等を表示しても良い。なお、先端キャップ１１０１は円柱形状であるが、先端側が徐々に小さくなる砲弾型（先細り形状）の先端キャップも使用可能である。砲弾型の先端キャップも外形を除けば、構成は上記先端キャップ１１０１と同様である。

上記先端キャップ１１０１の他にも、図５８に示すように、内視鏡１２は、先端部１２ｄに、観察対象である管腔（大腸等）のヒダを押し広げるための補助部材１２０１を装着して使用する場合がある。補助部材１２０１は、先端部１２ｄに取り付けるために概ね円筒状の形状をしており、挿入部１２ａを抜去方向に移動することによって、管腔のヒダを押し広げるための羽部材１２０２を複数有する。そして、観察中に補助部材１２０１の挿入部１２ａに対する位置ずれを防止するために、または、観察中に補助部材１２０１が挿入部１２ａから外れてしまうことを防ぐために、補助部材１２０１は、そのの先端側に、補助部材１２０１を先端部１２ｄに係止するための係止部材１２０６を有する。この係止部材１２０６は、補助部材１２０１を先端部１２ｄに係止する都合上、本来の先端部１２ｄから突出する。このため、係止部材１２０６の突出量によっては、係止部材１２０６が側視観察部４２の視野５０２に入ってしまうことがある。このため、補助部材１２０１のうち、少なくとも係止部材１２０６は、透明な材料からなることが好ましい。係止部材１２０６が透明であれば、側視観察部４２の視野５０２に入ってしまったとしても、その存在が目立ちにくいからである。

また、図５９に示すように、補助部材１２０１は、上記係止部材１２０６の代わりに、補助部材１２０１を先端部１２ｄに係止する爪形状の部材（以下、爪部材という）１２０７を有する場合がある。この場合、爪部材１２０７は、上記と同様に透明な材料からなることが好ましい。また、係止部材１２０６とは異なり、爪部材１２０７は部分的に設ける。このため、爪部材１２０７は、側視観察部４２の死角（第１死角部分１１４に入る位置）に設けることが好ましい。爪部材１２０７が、側視観察部４２の死角にのみ設けられていれば、側視観察部４２の視野５０２に爪部材１２０７が写り込むことがなくなるからである。この場合、爪部材１２０７は透明な材料で形成されていなくても良い。

上記第１実施形態等においては、第２突出部３２は、側視観察部４２に死角を形成するが、図６０に示すように、第２突出部３２の下面には、側視観察部４２の死角を補う観察部（以下、下面観察部という）１３０１を設けても良い。下面観察部１３０１は、側視観察部４２と同様に構成する。下面観察部１３０１の第２突出部３２の下面に露呈した部分が下面観察窓１３０１Ａである。

上記第１実施形態等においては、表示用画像１１３等に対してほぼ一杯に観察対象を表示しているが、近年のモニタ１８の表示画面は横長または縦長である場合も多い。このような横長（縦長も同様。以下同じ）のモニタ１８を使用する場合、図６１に示す表示用画像１４０１のように、横長の表示領域に、直視観察画像１１１及び側視観察画像１１２を適切に表示をしても、第２死角部分１１５しかなく、有用な情報を何も表示しない余りの領域領域（以下、余白領域という）１４０２ができてしまうことがある。なお、適切な表示とは、例えば、表示領域から外れる部分ができる限り少なく、かつ、第２死角部分１１５をできる限り小さくする表示である。

上記のように、モニタ１８の表示画面の縦横比等に起因して、表示画面に余白領域１４０２ができてしまう場合、図６２に示す表示用画像１４０３のように、表示制御部９８は、余白領域１４０２に情報表示領域１４０４を設けることが好ましい。そして、情報表示領域１４０４には、例えば合焦画角の範囲等の情報を表示する。合焦画角の範囲を表示するためには、図６３に示すように、プロセッサ装置１６に、合焦画角検出部１４０５を設ける。合焦画角検出部１４０５は、例えば、画像取得部９７から、直視観察画像１１１及び側視観察画像１１２を取得し、取得した直視観察画像１１１及び側視観察画像１１２を用いて、直視観察画像１１１または側視観察画像１１２において合焦している（ピントがあっている）領域を検出し、その結果を画角に換算する。表示制御部９８は、合焦画角検出部１４０５が算出した合焦画角を情報表示領域１４０４に表示する。直視観察画像１１１及び側視観察画像１１２を用いた合焦している領域の検出は、デジタルカメラ等におけるオートフォーカス機能においてピントを検出する原理と同様に、コントラスト法または位相差法等によって実施できる。

上記においては、一例として、情報表示領域１４０４に合焦画角を表示しているが、その他の情報を表示しても良い。すなわち、余白領域１４０２に情報表示領域１４０４を設け、情報表示領域１４０４に何らかの情報を表示して、余白領域１４０２の少なくとも一部を有効活用することができれば、表示する情報の内容は任意である。例えば、図６４に示す表示用画像１４１１のように、余白領域１４０２の情報表示領域１４０４には、側視観察画像１１２のうち観察対象が写った部分を長方形に変形した変形側視観察画像１４１２を表示しても良い。なお、側視観察画像１１２及び変形側視観察画像１４１２中に示す符号Ｌα及び符号Ｌβは、側視観察画像１１２と変形側視観察画像１４１２の対応関係を示す。このように、情報表示領域１４０４に変形側視観察画像１４１２を表示する場合、図６５に示す表示用画像１４１３のように、観察対象を表示するための主領域１４１６には、直視観察画像１１１のみを表示しても良い。

その他、余白領域１４０２がない場合でも、第１死角部分１１４がある場合には、図６６に示す表示用画像１５０１のように、第１死角部分１１４内に情報表示領域１５０２を設け、情報表示領域１５０２に内視鏡１２の機種名等の情報を表示すれば、第１死角部分１１４を有効活用できる。

上記第１実施形態等においては、直視観察画像１１１及び側視観察画像１１２を用いて表示用画像１１３等を生成し、モニタ１８に表示しているが、直視観察画像１１１または側視観察画像１１２を用いて３Ｄモデル（three-dimensional model）１６０５を生成することができる。この場合、図６７に示すように、例えばプロセッサ装置１６には、３Ｄモデル作成部１６０１及び記憶部１６０２を設けても良い。図６８に示すように、３Ｄモデル作成部１６０１は、直視観察画像１１１及び側視観察画像１１２を用いて、観察対象の３Ｄモデル１６０５を生成する。３Ｄモデル作成部１６０１が作成した３Ｄモデル１６０５を生成する。そして、記憶部１６０２は、３Ｄモデル作成部１６０１が作成した３Ｄモデル１６０５を記憶する。こうして記憶部１６０２が記憶した３Ｄモデル１６０５は、次回の診断等の支援、または、シミュレーションによる再検査等に利用可能である。上記においては、３Ｄモデル作成部１６０１及び記憶部１６０２をプロセッサ装置１６に設けているが、３Ｄモデル作成部１６０１及び記憶部１６０２は、内視鏡システム１０に接続するコンピュータ等に設けても良い。

上記第１実施形態等は、被検体内に挿入部１２ａを挿入して使用する内視鏡システム１０を例に説明しているが、上記第１実施形態等は、被検者が嚥下して使用するカプセル内視鏡にも利用可能である。

上記第１実施形態等においては、直視観察部４１と側視観察部４２は、撮像レンズ６１とイメージセンサ６６を共用しているが、直視観察部４１を構成する撮像レンズ６１及びイメージセンサ６６と、側視観察部４２を構成する撮像レンズ６１及びイメージセンサ６６は互いに別個のものであっても良い。

上記第１実施形態等においては、直視観察部４１及び側視観察部４２は共通のイメージセンサ６６を含むので、図６９に示すように、イメージセンサ６６の撮像面１７０１においては、直視観察画像１１１を撮像する直視撮像エリア１７１１と、直視観察画像１１２を撮像する側視撮像エリア１７１２と、それ以外のエリア（観察対象を撮像しないエリア）１７１５を区別することができる。したがって、上記第１実施形態等においては、少なくとも直視撮像エリア１７１１と側視撮像エリア１７１２とで、イメージセンサ６６の感度またはイメージセンサ６６から信号の読み出しをする際に実施するゲイン処理等の信号処理（以下、単に信号処理という）を変えることができる。

例えば、直視撮像エリア１７１１は１画素ずつ信号を読み出し、かつ、側視観察エリア１７１２は、複数の画素を複合して読み出すこと（いわゆるビニング）ができる。こうすれば、直視撮像エリア１７１１において撮像して得る直視観察画像１１１に対して、側視撮像エリア１７１２において撮像して得る側視観察画像１１２が高感度になる。その結果、側視撮像エリア１７１２においてビニング読み出しをしない場合よりも、側視観察画像１１２において病変を発見しやすくなる場合がある。

また、直視撮像エリア１７１１の画素から信号を読み出す際にかけるゲインよりも、側視撮像エリア１７１２の画素から信号を読み出す際にかけるゲインを大きくすることができる。こうすれば、直視撮像エリア１７１１において撮像して得る直視観察画像１１１に対して、側視撮像エリア１７１２において撮像して得る側視観察画像１１２が高感度になる。その結果、直視撮像エリア１７１１と側視撮像エリア１７１２とで同じ値のゲインを用いたゲイン処理をする場合よりも、側視観察画像１１２において病変を発見しやすくなる。

なお、イメージセンサ６６においては有効な画素は全て同サイズであるが、イメージセンサ６６の代わりに、直視撮像エリア１７１１と側視撮像エリア１７１２とで画素サイズが異なるイメージセンサを用いることができる。例えば、直視撮像エリア１７１１の画素よりも、側視撮像エリア１７１２の画素が大きい（例えば、辺が２倍で面積が４倍のサイズ）イメージセンサを使用すれば、ビニングまたはゲイン処理等に依らずに、側視観察画像１１２の感度を向上することができる。逆に、直視撮像エリア１７１１の画素よりも、側視撮像エリア１７１２の画素が小さいイメージセンサを使用すれば、側視観察画像１１２の分解能が向上する。

また、直視撮像エリア１７１１と側視撮像エリア１７１２とでカラーフィルタの色、色の個数比、または、配列が異なるイメージセンサを使用することができる。例えば、直視撮像エリア１７１１においては、縦横に隣接する４画素のカラーフィルタがＢＧ×ＧＲの配列（いわゆるベイヤー配列）であり、かつ、側視撮像エリア１７１２においてはＢＧ×ＲＢの配列であるイメージセンサを使用できる。このイメージセンサは、直視撮像エリア１７１１と比較して、側視撮像エリア１７１２のＢ画素が多くなっているので、これを用いれば、側視観察画像１１２において、Ｂ画素で撮像しやすい像が観察しやすくなる。

上記のように、直視撮像エリア１７１１と側視撮像エリア１７１２とで画素サイズを変える、または、カラーフィルタの色等を変えるのは、直視観察部４１と側視観察部４２とのそれぞれに別のイメージセンサを搭載する場合に特に好適である。

この他、上記第１実施形態等においては、直視観察部４１及び側視観察部４２に共通の撮像レンズ６１は、直視観察部４１における焦点距離よりも、側視観察部４２における焦点距離を短くしておくことが好ましい。管腔を観察する場合、直視観察部４１よりも側視観察部４２の方が被写体である管腔に近くなるケースが多いからである。

１０、２００ 内視鏡システム
１１ ユニバーサルコード
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ 洗浄スイッチ
１４ 光源装置
１６ プロセッサ装置
１７ タンク
１８ モニタ
１９ コンソール
２１ 先端面
３１ 第１突出部
３２ 第２突出部
４１ 直視観察部
４１Ａ 直視観察窓
４２ 側視観察部
４２Ａ 側視観察窓
４３ 側視照明部
４３Ａ 第１側視照明窓
４３Ｂ 第２側視照明窓
５１、５２、５３ ノズル
５４ 直視照明部
５４Ａ 直視照明窓
５９ 変換部
６１ 撮像レンズ
６２ 前群レンズ
６３ ミラーレンズ
６４ 後群レンズ
６６ イメージセンサ
６７ カバーガラス
７１、７７、８４、９３ ライトガイド
７２ 反射部材
７３ 充填部材
７６ 送気送液チャネル
７８ 照明レンズ
８１ 直視照明部
８１Ａ 直視照明窓
８２ 鉗子口
９１ 光源
９２ 光源制御部
９６ 制御部
９７ 画像取得部
９８ 表示制御部
１０１ 表示割合設定部
１０２ 表示用画像生成部
１１１ 直視観察画像
１１１Ａ、１１２Ａ グラフ
１１２ 側視観察画像
１１３ 表示用画像
１１４ 第１死角部分
１１５ 第２死角部分
１２３、１２６、１２８、１２９、３０２、３０４、４１０、４１１、５２３、１１２０、１１２１、１４０１、１４０３、１４１１、１４１３、１５０１ 表示用画像
２０１ 動き検出部
２０２ 動きセンサ
２０５ 観察対象
３０１ マスク表示割合設定部
４０１ 表示位置設定部
４２１ ヘッドマウントディスプレイ
５０１、５０２ 視野
５０３ 死角
５１３ 第３死角部分
６０１ 重複視野
６０２ 重複領域
６１１ 重複領域検出部
６１２ 重複領域除去部
６１３ 信号レベル補正部
７０１、７０２ ディストーション
７０５ 収差接続部
７０６ 測距部
８３０ 画像処理部
１００１ 表示領域設定部
１００２ 表示領域
１０１３ 表示用画像
１１０１ 先端キャップ
１１０１Ａ 輪郭
１１０２ 貫通孔
１１１１ 線
１１２２ 先端キャップの輪郭近傍の部分
１１２３ 貫通孔の部分
１２０１ 補助部材
１２０２ 羽部材
１２０６ 係止部材
１２０７ 爪部材
１３０１ 下面観察部
１３０１Ａ 下面観察窓
１４０２ 余白領域
１４０４、１５０２ 情報表示領域
１４０５ 合焦画角検出部
１４１２ 変形側視観察画像
１４１６ 主領域
１６０１ ３Ｄモデル作成部
１６０２ 記憶部
１６０５ ３Ｄモデル
１７０１ 撮像面
１７１１ 直視撮像エリア
１７１２ 側視撮像エリア
１７１５ 観察対象を撮像しないエリア
Ｃ０ 中心
Ｄ１ 距離
Ｌα、Ｌβ 符号
Ｖ１、Ｖ２、Ｖ３ 移動速度

Claims (12)

1. 観察対象に挿入する挿入部と、前記挿入部の先端方向に視野を有する直視観察部と、前記挿入部の側面方向に視野を有する側視観察部と、前記挿入部から突出し、前記側視観察部の視野に死角を形成する突出部と、を有する内視鏡と、
   前記直視観察部を用いて直視観察画像を取得し、かつ、前記側視観察部を用いて側視観察画像を取得する画像取得部と、
   前記内視鏡の先端部と前記観察対象の距離を測定する測距部と、
   前記先端部と前記観察対象の距離を用いて、前記直視観察画像または前記側視観察画像の少なくともいずれか一方に変換処理を施して、前記直視観察画像と前記側視観察画像の収差を接続し得る画像に変換する収差接続部と、
   前記収差接続部の前記変換処理によって収差を接続し得る状態となった前記直視観察画像及び前記側視観察画像を表示する表示部と、
   を備える内視鏡システム。
2. 前記変換処理はアフィン変換である請求項１に記載の内視鏡システム。
3. 前記収差接続部は、前記直視観察画像と前記側視観察画像のディストーションを接続し得る画像に変換する請求項１または２に記載の内視鏡システム。
4. 前記収差接続部は、前記先端部と前記観察対象の距離を用いて、前記変換処理に用いるパラメータを調整または変更する請求項１ないし３のいずれか１項に記載の内視鏡システム。
5. 前記測距部は、前記直視観察部の視野と前記側視観察部の視野の境界について、前記先端部と前記観察対象の距離を測定する請求項４に記載の内視鏡システム。
6. 前記収差接続部は、前記先端部と前記観察対象の距離の平均値に合わせて、前記パラメータを調整または変更する請求項４または５に記載の内視鏡システム。
7. 前記収差接続部は、前記直視観察画像と前記側視観察画像を接続する位置ごとに、前記パラメータを調整または変更する請求項４または５に記載の内視鏡システム。
8. 前記収差接続部は、前記先端部と前記観察対象の相対的な角度を用いて、前記パラメータを調整または変更する請求項４ないし７のいずれか１項に記載の内視鏡システム。
9. 前記収差接続部は、前記先端部と前記観察対象の相対的な角度を、前記先端部と前記観察対象の距離の分布を用いて求める請求項８に記載の内視鏡システム。
10. 前記収差接続部は、前記先端部と前記観察対象の相対的な角度の平均値に合わせて、前記パラメータを調整または変更する請求項８または９に記載の内視鏡システム。
11. 前記収差接続部は、前記直視観察画像または前記側視観察画像を接続する位置ごとに、前記パラメータを調整または変更する請求項８または９に記載の内視鏡システム。
12. 観察対象に挿入する挿入部と、前記挿入部の先端方向に視野を有する直視観察部と、前記挿入部の側面方向に視野を有する側視観察部と、前記挿入部から突出し、前記側視観察部の視野に死角を形成する突出部と、を有する内視鏡と、前記直視観察部を用いて直視観察画像を取得し、かつ、前記側視観察部を用いて側視観察画像を取得する画像取得部と、前記内視鏡の先端部と前記観察対象の距離を測定する測距部と、前記直視観察画像及び前記側視観察画像を表示する表示部と、を有する内視鏡システムの駆動方法において、
    収差接続部が、前記先端部と前記観察対象の距離を用いて、前記直視観察画像または前記側視観察画像の少なくともいずれか一方に変換処理を施して、前記直視観察画像と前記側視観察画像の収差を接続し得る画像に変換するステップと、
    表示部が、前記収差接続部の前記変換処理によって収差を接続し得る状態となった前記直視観察画像及び前記側視観察画像を表示するステップと、
    を備える内視鏡システムの駆動方法。

Images