JP6120537B2 - 計測内視鏡装置 - Google Patents

Description

本発明は、計測内視鏡装置に関する。

従来より、計測機能を有する計測内視鏡装置が知られている（例えば、特許文献１参照）。また、計測機能を起動したときに、計測可能領域を示す枠を表示する計測内視鏡装置が知られている。（例えば、特許文献２参照）。また、計測内視鏡装置が撮像した左右の視野の画像のうち、片方の視野の画像だけを表示しながら観察する計測内視鏡装置が知られている（例えば、特許文献３参照）。また、パターン投影によって三次元計測を行う計測内視鏡装置が知られている（例えば、特許文献４参照）。また、ライブ画面上に、内視鏡装置の先端部から被写体までの距離（奥行き）を計測することができる測距可能枠を表示する計測内視鏡装置が知られている（例えば、特許文献５参照）。また、視認性を良くするために広角の光学系を備え、計測内視鏡装置の撮像部が撮像する領域を広くした計測内視鏡装置が知られている。これにより、ユーザはより広範囲の画像を観察することができる。

特許第３７７１９８８号公報 特許第４３７３０３７号公報 特許第４３８３５００号公報 米国特許第８１０７０８３号明細書 特許第４８８５４７９号公報

しかしながら、計測内視鏡装置の撮像部が撮像する領域を広げた場合、左右の視野の重なりが少なくなるため、視野領域の一部に計測できない領域が存在する。また、計測精度を高めたいという要求も高まっているが、視野の中央部ほど計測精度が高いことが多く、高い計測精度で計測するには計測可能領域を小さく狭める方向にある。そのため、ユーザはモニタに表示されている画像を見ただけでは物体の計測を行うことができる計測可能領域を把握することができないという問題がある。

例えば、物体の大きさとして欠陥部の計測を行う場合、特許文献１に記載の計測内視鏡装置では、モニタに映っている映像を見ながら、被写体に欠陥部位があるかどうかを観察し、欠陥部位が見つかると、同じ欠陥部位が左右の視野に映っているかどうかを確認しながら撮影する向きや位置を微調整して、欠陥部が左右の視野に映っている状態にしてから、被写体の画像を撮影する必要があった。

また、特許文献２に記載の計測内視鏡装置では、計測機能を起動したときに計測可能領域を示す枠を表示するため、計測機能を起動してみないと計測可能な領域に欠陥部位が映っているか否かを判断することができない。

また、特許文献３に記載の計測内視鏡装置では、左右の視野のうち、片方の視野だけを表示しながら観察するため、観察中に、被写体の欠陥部が左右の視野に同時に映っているか否かを確認することができない。そのため、画像撮影を行って、一旦、計測機能を起動しなければ計測できるか否かを判断することができない。

また、特許文献４に記載の計測内視鏡装置では、パターン投影によって三次元計測を行うが、観察中に、被写体の欠陥部が、適切にパターンが投影される計測可能な領域内で撮影されているか否か確認することができない。そのため、画像撮影を行って、一旦、計測機能を起動しなければ計測できるか否かを判断することができない。

また、特許文献５に記載の計測内視鏡装置では、ライブ画面上に、内視鏡装置の先端部から被写体までの距離（奥行き）を計測することができる測距可能枠を表示する例が示されているが、内視鏡装置の先端部から被写体までの距離ではなく物体の大きさとして欠陥部の計測を行う場合には、特許文献１に記載の計測内視鏡装置と同様に、欠陥部が左右の視野に映っている状態にしてから、被写体の画像を撮影する必要があった。

本発明は上記課題を解決するためになされたものであり、より容易に物体の大きさを計測することができる領域を把握することができる計測内視鏡装置を提供することを目的とする。

本発明は、被写体を撮像して撮像信号を出力する撮像部と、前記撮像部が出力する前記撮像信号に基づいて前記被写体の大きさを計測する計測処理部と、画像を表示する表示部と、前記撮像信号に基づいた画像に、前記計測処理部が前記被写体の大きさを計測することができる領域を示す計測可能領域表示を重畳させたライブ画像を前記表示部に表示させる画像処理部と、前記計測可能領域表示の表示形式を変更する表示変更部と、を有する計測内視鏡装置であって、前記表示変更部は、前記計測可能領域表示の線の種類、太さ、色の変更および前記計測可能領域表示の表示、非表示の切り替えを行うことを特徴とする計測内視鏡装置である。

また、本発明は、前記撮像部と前記被写体との距離を検出する物体距離検出部を備え、前記画像処理部は、前記物体距離検出部が検出した前記距離に応じて、前記計測可能領域表示の表示位置または／および大きさを変更することを特徴とする計測内視鏡装置である。

また、本発明の計測内視鏡装置において、前記撮像部は、２つの光学系を有するステレオ光学系が着脱可能であり、一方の前記光学系が結像した像に基づいた第１撮像信号と、他方の前記光学系が結像した像に基づいた第２撮像信号とを出力し、前記物体距離検出部は、前記第１撮像信号と前記第２撮像信号とを用いて前記撮像部と前記被写体との距離を検出するレンジング機能を有することを特徴とする。

また、本発明の計測内視鏡装置において、前記物体距離検出部は、前記撮像信号の照度あるいはボケ量を用いて前記撮像部と前記被写体との距離を検出することを特徴とする。

また、本発明の計測内視鏡装置において、前記物体距離検出部は、距離センサを用いて前記撮像部と前記被写体との距離を検出することを特徴とする。

また、本発明の計測内視鏡装置において、前記画像処理部は、前記計測処理部が計測処理を行う際に、当該計測処理部が前記被写体の大きさを計測する際に用いる画像に、前記計測可能領域表示を重畳させたフリーズ画像を前記表示部に表示させることを特徴とする。

本発明によれば、撮像部は、被写体を撮像して撮像信号を出力する。また、計測処理部は、撮像部が出力する撮像信号に基づいて被写体の大きさを計測する。また、表示部は画像を表示する。また、画像処理部は、撮像信号に基づいた画像に、計測処理部が被写体の大きさを計測することができる領域を示す計測可能領域表示を重畳させたライブ画像を表示部に表示させる。これにより、より容易に物体の大きさを計測することができる領域を把握することができる。

本発明の第１の実施形態における内視鏡装置の全体構成を示した概略図である。 本発明の第１の実施形態における内視鏡装置の全体構成を示したブロック図である。 本発明の第１の実施形態における内視鏡装置が取得する三次元空間座標系上の左右の２画像の位置関係を示した概略図である。 本発明の第１の実施形態において、映像信号処理回路が実行する画像処理によって、ＬＣＤが表示するライブ画像を示した概略図である。 本発明の第１の実施形態における内視鏡装置の動作の手順を示したフローチャートである。 本発明の第２の実施形態において、映像信号処理回路が実行する画像処理によって、ＬＣＤが表示するライブ画像を示した概略図である。 本発明の第３の実施形態において、映像信号処理回路が実行する画像処理によって、ＬＣＤが表示するライブ画像を示した概略図である。 本発明の第５の実施形態において、映像信号処理回路が実行する画像処理によって、ＬＣＤが表示するフリーズ画像を示した概略図である。 本発明の第６の実施形態における光源装置が、計測処理時に、被写体に対して投影するパターンと、撮像素子の撮影範囲との関係を示したグラフである。 本発明の第６の実施形態において、映像信号処理回路が実行する画像処理によって、ＬＣＤが表示するライブ画像を示した概略図である。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本発明の一実施形態による内視鏡装置（計測内視鏡装置）の全体構成を示している。図１に示すように、内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を実行する際に必要な操作を行うためのリモートコントローラ４と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるＬＣＤ５（液晶モニタ、表示部）等で主に構成されている。

挿入部２０は硬質な先端部２１と、柔軟性を有する可撓管部と（例えば上下左右に湾曲可能な湾曲部２２（図２））を連設して構成されている。先端部２１には光学アダプタ７（アダプタ式光学系）等、各種光学アダプタが着脱自在になっている。

図２に示すように、コントロールユニット３内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。

挿入部２０の先端部２１には撮像素子２ａ（撮像部）が内蔵されている。撮像素子２ａは、光学アダプタ７を介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、撮像素子２ａから出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には、映像信号が入力される映像信号処理回路１２（画像処理部）、ＲＯＭ１３（記憶部）、ＲＡＭ１４（記憶部）、ＰＣカードＩ／Ｆ１５（ＰＣカードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８（計測処理部、表示変更部、物体距離検出部）とが設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記録媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット３への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づく表示信号とＣＣＵ９からの映像信号を合成する処理や、ＬＣＤ５の画面上に表示するのに必要な処理等を行い、映像信号をＬＣＤ５に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、ＬＣＤ５の画面上には、ライブ画像、フリーズ画像、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

本実施形態を説明するにあたり、２つの対物光学系を左右に配置した光学アダプタ７を用いて三次元計測を行うステレオ計測法の場合について記載する。

本実施形態の内視鏡装置１では、次の（ａ１）〜（ｄ）に示すように、各内視鏡２に特有の撮像光学系の光学データが測定され、その光学データが、記録媒体である例えばメモリカード（ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等）に記録される。この光学データは以下の通りである。

（ａ１）２つの対物光学系の幾何学的歪み補正テーブル
（ａ２）像伝送光学系の幾何学歪み補正テーブル
（ｂ）左右の結像光学系それぞれの焦点距離
（ｃ）左右の結像光学系の主点間の距離
（ｄ）左右の結像光学系それぞれの画像上での光軸位置座標

上記の光学データの収集を行った後、内視鏡装置１が備えるＣＰＵ１８は計測処理部として動作し、次に示す（Ａ）〜（Ｅ）の処理を行って各種寸法計測（計測処理）を行うことができる。なお、内視鏡装置１にパーソナルコンピュータ３１を接続して、次に示す（Ａ）〜（Ｅ）の処理を行って各種寸法計測（計測処理）を行うことも可能である。

（Ａ）上記（ａ１）〜（ｄ）の光学データを読み込む。
（Ｂ）本内視鏡２にて被写体である被計測物を撮像し、画像を取り込む。
（Ｃ）上記の取り込んだ画像を、上記（ａ１）〜（ｄ）の光学データを基に座標変換する。
（Ｄ）座標変換された画像を基に、撮像データのマッチングにより任意の点の三次元座標を求める。
（Ｅ）上記三次元座標を基に各種三次元計測を行う。

次に、本実施形態の内視鏡装置１による被写体計測の原理を説明する。図３は、ｘ，ｙ，ｚ軸をもつ三次元空間座標系上の左右の２画像の位置関係を示している。この図３には、被写体までの距離（物体距離）の計測対象となる測距点Ｐが撮像素子の右結像面１０１Ｒおよび左結像面１０１Ｌ上に結像した状態が示されている。図３において、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点ＱＲ，ＱＬを点Ｐの結像位置とし、距離Ｌを点ＯＲ−点ＯＬ間の距離とする。

図３において、直線ＱＲ−ＯＲから次式が成立する。
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ）・・・（１）
また、直線ＱＬ−ＯＬから次式が成立する。
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ）・・・（２）
この式をｘ，ｙ，ｚについて解けば、点Ｐの三次元座標が得られる。これにより、内視鏡２の撮像面から被写体までの距離（物体距離）が求まる。

ここで、光学系の主点である点ＯＲと点ＯＬ間の距離、および結像光学系の焦点距離は、光学データとして予め記録されている。点ＱＬの座標は測距点の座標そのものである。点ＱＲは、測距点に対応する点を右画像の中から探索することで得ることができる。このことから、例えば、左画像を基準とした場合には、左画像での測距点（ＱＬ）に対応する右画像の対応点（ＱＲ）をマッチング処理により探索し、右画像の対応点が探索されたら、上式により空間座標を計算することで、測距点までの距離を求めることができる。

次に、撮像素子２ａが生成する撮像信号に基づいてＬＣＤ５が表示する画像について説明する。本実施形態における内視鏡装置１は、視認性を良くするため、撮像素子２ａが撮像する左視野画像と右視野画像の領域が広くなるように、広角の光学アダプタ７を備えている。これにより、ユーザはより広範囲の画像を観察することができる。なお、左視野画像と右視野画像の領域が広いため、左視野画像と右視野画像との重なりが少なくなるため、視野領域の一部に計測できない領域が存在する。

そこで、本実施形態における内視鏡装置１は、ＬＣＤ５が表示するライブ画像上に、内視鏡装置１が物体の大きさを計測できる領域を示す計測可能領域を表示する。これによりユーザは、より容易に物体の大きさを計測することができる領域を把握することができる。

なお、上述したとおり、内視鏡装置１のＣＰＵ１８が計測処理部として動作することで、内視鏡装置１は物体の大きさを計測する。物体の大きさの計測としては以下のものがある。
・物体上の２点間の距離の計測
・物体の欠損量を測定する際に用いる基準線からの距離の計測
・物体の凹凸を測定する際に用いる基準面からの距離の計測
・欠陥部位や対象物の大きさを測定する際に用いる所定範囲の面積の計測
・物体の全長を測定する全長計測
・物体の表面形状を計測して表面形状を表示する表面形状表示
なお、物体の大きさの計測はこれらに限らない。

図４は、本実施形態において、映像信号処理回路１２が実行する画像処理によって、ＬＣＤ５が表示するライブ画像を示した概略図である。図示する例では、左側の結像光学系が結像した像に基づいて撮像素子２ａが撮像した左視野画像４０１と、右側の結像光学系が結像した像に基づいて撮像素子２ａが撮像した右視野画像４０２とが示されている。また、左視野画像４０１に重畳されて計測可能領域枠４０３が表示されている。また、右視野画像４０２に重畳されて計測可能領域枠４０４が表示されている。計測可能領域枠４０３，４０４は、内視鏡装置１が物体の大きさを計測できる領域を示す矩形の破線表示である。図示する例では、内視鏡装置１が物体の大きさを計測できる領域は、計測可能領域枠４０３，４０４の矩形の破線表示で示された内側の領域である。なお、計測可能領域枠４０３，４０４の表示は破線に限らず実線でもよく、色や太さもどのようなものでもよく、点滅させてもよく、操作メニュー等で任意に変更できるようにしてもよい。

図示するように、本実施形態における内視鏡装置１は、ＬＣＤ５が表示するライブ画像に重畳して、内視鏡装置１が物体の大きさを計測できる領域を示す計測可能領域４０３，４０４を表示する。これによりユーザは、より容易に物体の大きさを計測することができる領域を把握することができる。

次に、内視鏡装置１が表示する計測可能領域枠４０３，４０４の設定方法について説明する。内視鏡装置１の設計上から、内視鏡装置１が物体の大きさを計測できる領域が予め決まる。そこで、ＲＯＭ１３は、内視鏡装置１が物体の大きさを計測できる領域を示す計測可能領域情報を予め記憶している。そして、映像信号処理回路１２は、ＬＣＤ５にライブ画像を表示させる際に、ＲＯＭ１３が記憶している計測可能領域情報に基づいて、左視野画像４０１に計測可能領域枠４０３を重畳して表示させ、右視野画像４０２に計測可能領域枠４０４を重畳して表示させる。

なお、内視鏡装置１の特性（性質）が個々異なり、その固体差が大きい場合は、あらかじめキャリブレーションすることによって、計測可能領域がどの位置かを固体毎に求めるようにしてもよい。そして、ＲＯＭ１３は、キャリブレーションによって求めた、内視鏡装置１が物体の大きさを計測できる領域を示す計測可能領域情報を予め記憶するようにしてもよい。

次に、内視鏡装置１の動作を説明する。図５は内視鏡装置１の動作の手順を示したフローチャートである。内視鏡装置１は、電源が投入されると、光学アダプタ７を通して取得したライブ画像をＬＣＤ５に表示する画像表示モードで動作する。また、内視鏡装置１は、リモートコントローラ４を介して操作入力が行われると、計測に使用する全ての画像をユーザに確認させる画像確認モードで動作する。画像確認モードでの動作中に、計測に使用する全ての画像の確認が終了し、リモートコントローラ４を介して操作入力が行われると、内視鏡装置１は、操作入力に応じた各種処理モードで動作する。以下では、各種処理モードとして、計測処理、画像情報の記録処理を行うモードの場合の例で説明する。

画像表示モードでは、ユーザは、光学アダプタ７を装着した挿入部２０を被検体に挿入する。光学アダプタ７を通して撮像素子２ａに結像した被写体像を含む２つの画像情報は、ＣＣＵ９を通して入力画像信号としてコントロールユニット３に出力される。

図５に示すように、ＳＴ１０１では、コントロールユニット３の映像信号処理回路１２は１フレーム分の画像情報を取得する。続いて、ＳＴ１０２では、映像信号処理回路１２は、１フレーム分の入力画像信号を、左視野画像４０１と右視野画像４０２とに分割する。このとき、画像の中央で画像を２つに分割してもよいし、予め測定によって得られている２つの視野領域の位置に関する情報を用いて左視野画像４０１と右視野画像４０２のみを抽出してもよい。

続いて、ＳＴ１０３では、映像信号処理回路１２は、内視鏡装置１が物体の大きさを計測できる領域を示す情報をＲＯＭ１３から読み出し、計測可能領域枠４０３，４０４を生成する。

続いて、ＳＴ１０４では、映像信号処理回路１２は、ＳＴ１０２の処理で分割した左視野画像４０１に重畳してＳＴ１０３の処理で生成した計測可能領域枠４０３を表示し、ＳＴ１０２の処理で分割した右視野画像４０２に重畳してＳＴ１０３の処理で生成した計測可能領域枠４０４を表示するように画像処理を行い、処理後の出力画像信号をＬＣＤ５に対して出力する。ＬＣＤ５は、出力画像信号に基づいてライブ画像を表示する。これにより、左視野画像４０１上に計測可能領域枠４０３が表示され、右視野画像４０２上に計測可能領域枠４０４が表示されたライブ画像がＬＣＤ５に表示される。

続いて、ＳＴ１０５では、ＣＰＵ１８は、リモートコントローラ４を介して操作入力が行われたか否かを判定する。操作入力が行われた場合には、ＳＴ１０６の処理が行われる。また、操作入力が行われていない場合にはＳＴ１０１の処理が行われ、次の１フレーム分の画像情報に関して、上述した処理が再度行われる。つまり、操作入力が発生しない場合には、左視野画像４０１上に計測可能領域枠４０３が表示され、右視野画像４０２上に計測可能領域枠４０４が表示された１フレームのライブ画像を時系列的にＬＣＤ５にリアルタイムで動画像として表示する画像表示モードが実現される。ユーザは、表示されたライブ画像を見ながら、被検体の所望の計測部位が、計測可能領域枠４０３，４０４内に収まるように、リモートコントローラ４により湾曲部２２の湾曲を調整する。

続いて、ＳＴ１０６では、映像信号処理回路１２は、ＬＣＤ５にライブ画像の表示をフリーズさせた計測用画像を表示する。なお、ＳＴ１０６で計測用画像を表示する際にも、映像信号処理回路１２は、左視野画像４０１に重畳して計測可能領域枠４０３を表示し、右視野画像４０２に重畳して計測可能領域枠４０４を表示するように画像処理を行い、処理後の出力画像信号をＬＣＤ５に対して出力する。ＬＣＤ５は、出力画像信号に基づいてフリーズ画像を表示する。これにより、左視野画像４０１上に計測可能領域枠４０３が表示され、右視野画像４０２上に計測可能領域枠４０４が表示されたフリーズ画像がＬＣＤ５に表示される。

続いて、ＳＴ１０７では、ＣＰＵ１８は、リモートコントローラ４を介して操作入力が行われたか否かを判定し、操作入力が行われた場合には、動作入力に応じたそれぞれの処理を行う。計測の指示を意味する操作入力が行われた場合、ＳＴ１０８の処理（計測処理）が行われる。ＳＴ１０８では、内視鏡装置１のＣＰＵ１８が計測処理部として動作することで計測処理を行い、その後、ＳＴ１０９の処理（画像情報の記録処理）を行う。また、ＳＴ１０７において、画像情報の記録を指示する操作入力が行われた場合にも、ＳＴ１０９の処理を行う。

ＳＴ１０９では、ＣＰＵ１８による制御に従い、映像信号処理回路１２が生成した１フレーム分の画像信号がＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の外部記録媒体へ出力され、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の外部記憶媒体に記憶される。その後、ＳＴ１０１の処理が行われ、内視鏡装置１は画像表示モードで動作する。また、ＳＴ１０７において、計測も画像情報の記録も行わないことを意味する操作入力が行われた場合にも、ＳＴ１０１の処理が行われ、内視鏡装置１は画像表示モードで動作する。

上述したとおり、本実施形態によれば、内視鏡装置１は、ＬＣＤ５が表示するライブ画像に重畳して、内視鏡装置１が物体の大きさを計測できる領域を示す計測可能領域を表示する。これにより、ユーザは、より容易に物体の大きさを計測することができる領域を把握することができる。例えば、被写体の欠陥の大きさを計測する場合には、ユーザは、ＬＣＤ５に表示されているライブ画像を見ながら被写体に欠陥があるかどうかを確認し、もし、欠陥が見つかった場合は、その部位を計測可能領域枠内に移るように、内視鏡２の位置を微調整して撮影すればよい。よって、ユーザは観察中にその場で計測可能な領域を容易に把握することができるため、検査の作業効率が向上する。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態と第１の実施形態とで異なる点は、内視鏡装置１が表示する計測可能領域枠の形状である。なお、その他の内視鏡装置１の構成および動作については第１の実施形態と同様である。

図６は、本実施形態において、映像信号処理回路１２が実行する画像処理によって、ＬＣＤ５が表示するライブ画像を示した概略図である。図示する例では、左側の結像光学系が結像した像に基づいて撮像素子２ａが撮像した左視野画像４０１と、右側の結像光学系が結像した像に基づいて撮像素子２ａが撮像した右視野画像４０２とが示されている。また、左視野画像４０１に重畳されて計測可能領域枠６０３が表示されている。また、右視野画像４０２に重畳されて計測可能領域枠６０４が表示されている。計測可能領域枠６０３，６０４は、内視鏡装置１が物体の大きさを計測できる矩形領域の角を示すＬ字型の表示である。図示する例では、内視鏡装置１が物体の大きさを計測できる領域は、計測可能領域枠６０３，６０４のＬ字型の表示で示された角を結んだ矩形の内側の領域である。

図示するように、本実施形態における内視鏡装置１は、ＬＣＤ５が表示するライブ画像に重畳して、内視鏡装置１が物体の大きさを計測できる領域を示す計測可能領域６０３，６０４を表示する。これによりユーザは、より容易に物体の大きさを計測することができる領域を把握することができる。

また、本実施形態では、計測可能領域枠６０３，６０４として、計測できる矩形領域の四隅のみを表示している。これにより計測可能領域枠６０３，６０４の表示が観察の邪魔になることを防ぐことができる。なお、計測可能領域枠６０３，６０４の表示方法はこれに限らず、計測領域を判別することができる表示であればどのような表示でも良い。例えば、計測領域を判別することができる程度に、数箇所（例えば８箇所程度）に印を表示するようにしてもよい。また、その表示スタイルは、操作メニュー等で任意に変更できるようにしてもよい。また、計測可能領域枠６０３，６０４を表示したり、非表示にしたりと任意に切り替えられるようにしてもよい。

（第３の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態と第１の実施形態とで異なる点は、内視鏡装置１が表示する計測可能領域枠の設定方法である。なお、その他の内視鏡装置１の構成および動作については第１の実施形態と同様である。

左右の視野を持ち、三角測量を用いて計測処理を行うステレオ方式の内視鏡装置１において、内視鏡装置１の設計によっては、撮像素子２ａから被写体までの距離（物体距離）によって計測可能領域が変化する場合がある。そこで、本実施形態では、映像信号処理回路１２は、物体距離に応じた計測可能領域枠を表示する。なお、内視鏡装置１の設計上、撮像素子２ａから被写体までの距離が決まれば、計測可能領域も決定する。

具体的には、ＣＰＵ１８は物体距離検出部として動作し、撮像素子２ａから被写体までの距離である物体距離を計測する。例えば、ＣＰＵ１８は、物体距離検出部として動作する際に、物体距離を計測するレンジング機能を用いて撮像素子２ａから被写体までの距離である物体距離を計測する（例えば、特許文献５参照）。そして、映像信号処理回路１２は、ＣＰＵ１８が計測した物体距離に応じて計測可能領域枠の表示を変更する。なお、撮像素子２ａから被写体までの距離に応じた計測可能領域については、ＲＯＭ１３が予め記憶していてもよく、ＣＰＵ１８が算出するようにしてもよい。これにより、撮像素子２ａから被写体までの距離によって計測可能領域が変化する場合においても、正確な計測可能領域枠をＬＣＤ５に表示することができる。

図７は、本実施形態において、映像信号処理回路１２が実行する画像処理によって、ＬＣＤ５が表示するライブ画像を示した概略図である。図示する例では、左側の結像光学系が結像した像に基づいて撮像素子２ａが撮像した左視野画像４０１と、右側の結像光学系が結像した像に基づいて撮像素子２ａが撮像した右視野画像４０２とが示されている。また、左視野画像４０１に重畳されて計測可能領域枠６０３が表示されている。また、右視野画像４０２に重畳されて計測可能領域枠６０４が表示されている。計測可能領域枠６０３，６０４は、内視鏡装置１が物体の大きさを計測できる矩形領域の角を示すＬ字型の表示である。図示する例では、内視鏡装置１が物体の大きさを計測できる領域は、計測可能領域枠６０３，６０４のＬ字型の表示で示された角を結んだ矩形の内側の領域である。

また、左視野画像４０１に重畳されて測距可能枠７０１が表示されている。測距可能枠７０１は、物体距離を計測することができる測距可能領域を示す表示である。なお、物体距離を計測するレンジング機能は、物体の大きさを計測可能な物体距離の範囲であれば、被写体までの距離がどこであっても測距できなければならないため、物体の大きさを計測することができる計測可能領域よりも、物体距離を計測することができる測距可能領域の方が狭い。また、内視鏡装置１の設計上、測距可能領域は計測可能領域に含まれる。従って、測距可能枠７０１は、計測可能領域枠６０３の内側の領域に含まれる。

このように、計測可能領域枠６０３は、内視鏡装置１が物体の大きさを計測できる領域を示す表示であり、測距可能枠７０１は、内視鏡装置１が物体までの距離を計測できる領域を示す表示である。そのため、ユーザは、測距可能枠７０１を見たとしても、内視鏡装置１が物体の大きさを計測することができる領域をより容易に把握することができない。従って、計測可能領域枠６０３と測距可能枠７０１とは目的および効果が異なるものである。

また、左視野画像４０１に重畳されてレンジング用カーソル７０２が表示されている。ＣＰＵ１８は物体距離検出部として動作する際には、レンジング用カーソル７０２で指定された被写体までの物体距離を計測する。なお、物体距離を計測することができるのは測距可能枠７０１の内側であるため、レンジング用カーソル７０２は、測距可能枠７０１内のみで移動することが可能である。

上述したとおり、本実施形態によれば、ＣＰＵ１８は物体距離検出部として動作し、撮像素子２ａから被写体までの距離である物体距離を計測する。そして、映像信号処理回路１２は、ＣＰＵ１８が計測した物体距離に応じて計測可能領域枠の表示を変更する。これにより、撮像素子２ａから被写体までの距離によって計測可能領域が変化する場合においても、正確な計測可能領域枠をＬＣＤ５に表示することができる。従って、ユーザは、内視鏡装置１が物体の大きさを計測することができる領域をより容易に把握することができる。

なお、上記第１〜３の実施形態では、三次元計測方法としてステレオ計測法を用いた場合について説明してきたが、三次元計測を行う手法としてはこれに限定するものではなく、特許文献４に記載されているようにパターン投影によって三次元計測を行う計測内視鏡装置においても同様に行うことができる。これについては、後述する第６の実施形態にて説明する。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。本実施形態と第３の実施形態とで異なる点は、撮像素子２ａから被写体までの距離である物体距離を計測する方法である。なお、その他の内視鏡装置１の構成および動作については第３の実施形態と同様である。

以下、本実施形態において、撮像素子２ａから被写体までの距離である物体距離を計測する方法について説明する。本実施形態では、ＣＰＵ１８は、物体距離検出部として動作する際に、撮像素子２ａが撮像した画像の照度あるいはボケ量を用いて、撮像素子２ａから被写体までの距離である物体距離を計測する。なお、撮像素子２ａから被写体までの距離である物体距離を計測する方法はどのような方法でもよい。例えば、撮像素子２ａから被写体までの距離である物体距離を計測する方法として、先端部２１に距離センサを備え、距離センサを用いて計測する方法を用いてもよい。また、物体の大きさを計測する際の測定条件の一つである物体距離をユーザがあらかじめ決めている場合がある。そのような場合は、撮像素子２ａから被写体までの距離である物体距離を、ユーザが内視鏡装置１に直接入力するようにしてもよい。

上述したとおり、本実施形態においても、ＣＰＵ１８は物体距離検出部として動作し、撮像素子２ａから被写体までの距離である物体距離を計測する。そして、映像信号処理回路１２は、ＣＰＵ１８が計測した物体距離に応じて計測可能領域枠の表示を変更する。これにより、撮像素子２ａから被写体までの距離によって計測可能領域が変化する場合においても、正確な計測可能領域枠をＬＣＤ５に表示することができる。従って、ユーザは、内視鏡装置１が物体の大きさを計測することができる領域をより容易に把握することができる。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。本実施形態と第１の実施形態とで異なる点は、計測処理中にＬＣＤ５が表示するフリーズ画像の表示が異なる点である。なお、その他の内視鏡装置１の構成および動作については第１の実施形態と同様である。

図８は、本実施形態において、映像信号処理回路１２が実行する画像処理によって、ＬＣＤ５が表示するフリーズ画像を示した概略図である。図示する例では、左側の結像光学系が結像した像に基づいて撮像素子２ａが撮像した左視野画像のうち計測可能領域の計測可能領域画像８０１と、右側の結像光学系が結像した像に基づいて撮像素子２ａが撮像した右視野画像のうち計測可能領域の計測可能領域画像８０２と、計測可能領域枠４０３，４０４とが示されている。また、計測可能領域画像８０１，８０２以外の領域（計測可能外領域）は黒や赤などのグラフィックでマスク表示されている。

上述したとおり、内視鏡装置１は計測処理中に上記の表示を行う。これにより、計測したい場所にユーザの目線を集中させることができので、ユーザは内視鏡装置１の操作を行いやすくなる。

なお、上述した例では、マスク表示は黒や赤などのグラフィックで行う例を示したが、これに限らず、マスクの色や、模様や、透明度や、表示および非表示等を操作メニューで変更できるようにしてもよい。また、図８に示した例では、計測可能領域枠４０３，４０４を表示しているが、マスク表示を行っている場合には、計測可能領域枠４０３，４０４を表示しなくてもよい。

（第６の実施形態）
次に、本発明の第６の実施形態について説明する。本実施形態と第１の実施形態とで異なる点は、計測処理の方法が異なる点である。なお、その他の内視鏡装置１の構成および動作については第１の実施形態と同様である。

以下、本実施形態における計測処理方法について説明する。本実施形態では、ＣＰＵ１８（計測処理部）は、計測処理時に、パターン投影を用いて物体の大きさを計測する（例えば、特許文献４参照）。なお、パターン投影を用いて物体の大きさを計測するときには被写体にパターンが映ってしまうため、ライブ画像を表示する際には、光源装置は被写体に対してパターンを投影しない。しかしながら、パターンが投影されていない場合、ユーザは計測可能外領域を把握することができない。そのため、本実施形態においても、内視鏡装置１は、ＬＣＤ５が表示するライブ画像上に、内視鏡装置１が物体の大きさを計測できる領域を示す計測可能領域を表示する。これにより、ユーザは、より容易に物体の大きさを計測することができる領域を把握することができる。

図９は、本実施形態における光源装置が、計測処理時に、被写体に対して投影するパターンと、撮像素子２ａの撮影範囲との関係を示したグラフである。図示するグラフの横軸は、撮像素子２ａから被写体までの距離である物体距離を示している。また、図示するグラフの縦軸は、撮像素子２ａの撮像面をｘｙ平面で表したときのｘ方向またはｙ方向の位置を示す。

図示する例では、光源装置が、計測処理時に、被写体に対して投影するパターンの範囲を示す領域９０１と、撮像素子２ａの撮像範囲を示す領域９０２とが示されている。図示する通り、撮像素子２ａの撮像領域の一部にパターンが投影されている。このような投影パターンを被写体に照射した場合に内視鏡装置１がＬＣＤ５に表示するライブ画像は、図１０に示す通りである。

図１０は、本実施形態において、映像信号処理回路１２が実行する画像処理によって、ＬＣＤ５が表示するライブ画像を示した概略図である。図示する例では、撮像素子２ａが撮像した画像１００１が示されている。また、画像１００１に重畳されて計測可能領域枠１００２が表示されている。計測可能領域枠１００２は、計測時に光源装置によってパターンが投影される領域であり、内視鏡装置１が物体の大きさを計測できる領域を示す円形の破線表示である。図示する例では、内視鏡装置１が物体の大きさを計測できる領域は、計測可能領域枠１００２の円形の破線表示で示された内側の領域である。

上述したとおり、本実施形態によれば、内視鏡装置１は、ＬＣＤ５が表示するライブ画像上に、内視鏡装置１が物体の大きさを計測できる領域を示す計測可能領域を表示する。これにより、パターンが投影される前においても、ユーザは、より容易に物体の大きさを計測することができる領域を把握することができる。

なお、計測可能領域枠１００２の位置や大きさが、撮像素子２ａから被写体までの距離に応じて変化するようにしてもよい。その物体距離については、第４の実施形態で示したように、画像の照度あるいはボケ量を用いて測距したり、別で設けた距離センサを用いて測距したりしてもよいし、あるいは、ユーザがメニュー等であらかじめ設定するようにしてもよい。

以上、この発明の第１の実施形態から第６の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１・・・内視鏡装置、２・・・内視鏡、２ａ・・・撮像素子、３・・・コントロールユニット、４・・・リモートコントローラ、７・・・光学アダプタ、８・・・内視鏡ユニット、１０・・・制御ユニット、１２・・・映像信号処理回路、２０・・・挿入部、２１・・・先端部、２２・・・湾曲部、３１・・・パーソナルコンピュータ、３２・・・ＰＣＭＣＩＡメモリカード、３３・・・フラッシュメモリカード、１０１Ｌ・・・左結像面、１０１Ｒ・・・右結像面、４０１・・・左視野画像、４０２・・・右視野画像、４０３，４０４，６０３，６０４，１００２・・・計測可能領域枠、７０１・・・測距可能枠、７０２・・・レンジング用カーソル、８０１，８０２・・・計測可能領域画像

Claims (6)

1. 被写体を撮像して撮像信号を出力する撮像部と、
   前記撮像部が出力する前記撮像信号に基づいて前記被写体の大きさを計測する計測処理部と、
   画像を表示する表示部と、
   前記撮像信号に基づいた画像に、前記計測処理部が前記被写体の大きさを計測することができる領域を示す計測可能領域表示を重畳させたライブ画像を前記表示部に表示させる画像処理部と、
   前記計測可能領域表示の表示形式を変更する表示変更部と、
   を有する計測内視鏡装置であって、
   前記表示変更部は、前記計測可能領域表示の線の種類、太さ、色の変更および前記計測可能領域表示の表示、非表示の切り替えを行う
   ことを特徴とする計測内視鏡装置。
2. 前記撮像部と前記被写体との距離を検出する物体距離検出部
   を備え、
   前記画像処理部は、前記物体距離検出部が検出した前記距離に応じて、前記計測可能領域表示の表示位置または／および大きさを変更する
   ことを特徴とする請求項１に記載の計測内視鏡装置。
3. 前記撮像部は、２つの光学系を有するステレオ光学系が着脱可能であり、一方の前記光学系が結像した像に基づいた第１撮像信号と、他方の前記光学系が結像した像に基づいた第２撮像信号とを出力し、
   前記物体距離検出部は、前記第１撮像信号と前記第２撮像信号とを用いて前記撮像部と前記被写体との距離を検出するレンジング機能を有する
   ことを特徴とする請求項２に記載の計測内視鏡装置。
4. 前記物体距離検出部は、前記撮像信号の照度あるいはボケ量を用いて前記撮像部と前記被写体との距離を検出する
   ことを特徴とする請求項２に記載の計測内視鏡装置。
5. 前記物体距離検出部は、距離センサを用いて前記撮像部と前記被写体との距離を検出する
   ことを特徴とする請求項２に記載の計測内視鏡装置。
6. 前記画像処理部は、前記計測処理部が計測処理を行う際に、当該計測処理部が前記被写体の大きさを計測する際に用いる画像に、前記計測可能領域表示を重畳させたフリーズ画像を前記表示部に表示させる
   ことを特徴とする請求項１に記載の計測内視鏡装置。

Images