JP5186286B2 - 計測用内視鏡装置およびプログラム - Google Patents

Description

本発明は、画像データを用いて、被写体上の点の空間座標および被写体上の点から内視鏡の結像面までの被写体距離を三角測量の原理で計算する機能を有する計測用内視鏡装置、およびその動作を制御するためのプログラムに関する。

工業用内視鏡は、ボイラー、タービン、エンジン、化学プラント、水道配管等の内部の傷や腐食等の観察や検査に使用されている。工業用内視鏡では、多様な観察物を観察および検査することができるようにするため、複数種類の光学アダプタが用意されており、内視鏡の先端部分は交換可能となっている。

上記の光学アダプタとして、観察光学系に左右２つの視野を形成するステレオ光学アダプタがある。特許文献１には、ステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学系測距点の座標に基づいて、三角測量の原理を使用して被写体の三次元空間座標を求め、ライブ状態の撮影画像から被写体距離をリアルタイムでユーザに提供する計測用内視鏡装置が記載されている。
特開２００６−１３６７０６号公報

しかし、特許文献１に記載された計測用内視鏡装置では、ユーザが被写体距離を知ることはできるが、実際に被写体の詳細な計測を行うまで被写体の大きさは分からなかった。また、画像の奥行き方向の被写体の傾き（画像内で手前の方にある被写体の部分と奥の方にある被写体の部分とがなす空間的な傾き）も分からなかった。

本発明は、上述した課題に鑑みてなされたものであって、画像の奥行き方向の被写体の傾きをリアルタイムでユーザに知らせることができる内視鏡装置およびプログラムを提供することを第１の目的とする。また、本発明は、画像の奥行き方向の被写体の傾きと共に被写体の大きさをリアルタイムでユーザに知らせることができる内視鏡装置およびプログラムを提供することを第２の目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体像を光電変換し、撮像信号を生成する内視鏡と、前記撮像信号を処理し、画像データを生成する信号処理手段と、前記画像データを用いて、被写体上の点の空間座標および被写体上の点から前記内視鏡の結像面までの被写体距離を三角測量の原理で計算する測距処理手段と、前記画像データに基づいた被写体の画像を表示する表示手段とを備えた計測用内視鏡装置において、前記被写体上の複数点の前記空間座標に基づいて当該複数点間の距離を計算する計測処理手段と、前記被写体上の複数点についての前記被写体距離に基づいて、前記画像の奥行き方向の前記被写体の傾きの目安となる第１の目印を表示するための処理を実行し、さらに、前記被写体上の距離を示す、予め設定された数値と、前記被写体の画像上の複数の基準位置と、当該複数の基準位置に対応する前記被写体上の複数点間の距離とに基づいて、前記被写体の大きさの目安となる第２の目印を構成する複数点の、前記被写体の画像上の位置を算出し、当該位置が計測可能領域内にある場合に、当該第２の目印を表示するための処理を実行する目印表示処理手段と、をさらに備えたことを特徴とする計測用内視鏡装置である。

また、本発明の計測用内視鏡装置において、前記目印表示処理手段はさらに、前記被写体上の複数点間の距離の値を表示するための処理を実行することを特徴とする。

また、本発明の計測用内視鏡装置において、前記目印表示処理手段はさらに、前記被写体上の複数点間の距離の値を前記被写体の画像に重畳して表示するための処理を実行することを特徴とする。

また、本発明の計測用内視鏡装置において、前記目印表示処理手段はさらに、前記被写体上の複数点間の距離の値を、前記被写体の画像が表示される場所以外の場所に表示するための処理を実行することを特徴とする。

また、本発明の計測用内視鏡装置において、前記目印表示処理手段はさらに、前記被写体上の複数点間の距離の値を前記第２の目印の近傍に表示するための処理を実行することを特徴とする。

また、本発明の計測用内視鏡装置において、前記第１の目印と前記第２の目印が同一であることを特徴とする。

また、本発明は、被写体像を光電変換し、撮像信号を生成する内視鏡と、前記撮像信号を処理し、画像データを生成する信号処理手段と、前記画像データを用いて、被写体上の点の空間座標および被写体上の点から前記内視鏡の結像面までの被写体距離を三角測量の原理で計算する測距処理手段と、前記画像データに基づいた被写体の画像を表示する表示手段とを備えた計測用内視鏡装置の動作を制御するためのプログラムにおいて、前記被写体上の複数点の前記空間座標に基づいて当該複数点間の距離を計算する計測処理と、前記被写体上の複数点についての前記被写体距離に基づいて、前記画像の奥行き方向の前記被写体の傾きの目安となる第１の目印を表示するための処理を実行し、さらに、前記被写体上の距離を示す、予め設定された数値と、前記被写体の画像上の複数の基準位置と、当該複数の基準位置に対応する前記被写体上の複数点間の距離とに基づいて、前記被写体の大きさの目安となる第２の目印を構成する複数点の、前記被写体の画像上の位置を算出し、当該位置が計測可能領域内にある場合に、当該第２の目印を表示するための処理を実行する目印表示処理と、を前記計測用内視鏡装置に実行させることを特徴とするプログラムである。

本発明によれば、目印表示処理手段によって、画像の奥行き方向の被写体の傾きの目安となる第１の目印を表示するための処理が実行されるので、画像の奥行き方向の被写体の傾きをリアルタイムでユーザに知らせることができるという効果が得られる。また、本発明によれば、目印表示処理手段によって、被写体の大きさの目安となる第２の目印を表示するための処理が実行されるので、画像の奥行き方向の被写体の傾きと共に被写体の大きさをリアルタイムでユーザに知らせることができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による内視鏡装置（計測用内視鏡装置）の全体構成を示している。図１に示すように、内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を実行する際に必要な操作を行うためのリモートコントローラ４と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるＬＣＤ５（液晶モニタ）と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的なステレオ画像として立体視可能にするＦＭＤ６（フェイスマウントディスプレイ）と、このＦＭＤ６に画像データを供給するＦＭＤアダプタ６ａ等で主に構成されている。

挿入部２０は硬質な先端部２１と、柔軟性を有する可撓管部と（例えば上下左右に湾曲可能な湾曲部２２（図２））を連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタ７ａ，７ｂ、あるいは観察視野が１つの通常観察光学アダプタ７ｃ等、各種光学アダプタが着脱自在になっている。

図２に示すように、コントロールユニット３内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。

挿入部２０の先端部２１には固体撮像素子２ａが内蔵されている。固体撮像素子２ａは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、固体撮像素子２ａから出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には、音声信号処理回路１１、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、ＰＣカードＩ／Ｆ１５（ＰＣカードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８とが設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等の記録媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット３への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づく表示信号とＣＣＵ９からの映像信号を合成する処理や、ＬＣＤ５の画面上に表示するのに必要な処理等を行い、映像信号をＬＣＤ５に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、ＬＣＤ５の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

音声信号処理回路１１には、マイク３４によって集音されて生成された、メモリカード等の記録媒体に記録する音声信号、メモリカード等の記録媒体の再生によって得られた音声信号、あるいはＣＰＵ１８によって生成された音声信号が供給される。この音声信号処理回路１１は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ３５に出力する。このことによって、スピーカ３５から音声が出力される。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

図３に示すように、リモートコントローラ４の前面には、ジョイスティック４１、レバースイッチ４２、フリーズスイッチ４３、ストアースイッチ４４、および計測実行スイッチ４５が設けられている。また、リモートコントローラ４の側面にはズームレバー４７が設けられている。

ジョイスティック４１は、湾曲部２２の湾曲動作を指示するために操作されるスイッチであり、ユーザがこれを傾倒操作することによって、湾曲部２２がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。レバースイッチ４２は、グラフィック表示される各種メニューの操作や、計測を行う場合のポインター移動の際に操作されるスイッチであり、ジョイスティック４１と略同様に構成されている。フリーズスイッチ４３は、ＬＣＤ５での表示に関わるスイッチである。ストアースイッチ４４は、フリーズスイッチ４３の押下によって静止画像が表示された場合に、この静止画像をメモリカードに記録するときに用いるスイッチである。計測実行スイッチ４５は、計測ソフトを実行する際に用いるスイッチである。

なお、フリーズスイッチ４３、ストアースイッチ４４、および計測実行スイッチ４５は、オン／オフの指示を押下操作によって行う例えば押下式を採用して構成されている。コネクタ部４６は、ＦＭＤアダプタ６ａから伸びる電気ケーブルが接続される接続部であり、このコネクタ部４６に電気ケーブルを接続することによって、ＦＭＤ６を通してステレオ観察を行えるようになっている。ズームレバー４７は、手前と奥とに倒せる方向スイッチであり、電子ズームの制御を行う際に操作される。ユーザがズームレバー４７を奥に倒すとテレ（拡大）、手前に倒すとワイド（縮小）に動作する。

図４および図５は、本実施形態の内視鏡装置１で用いられる光学アダプタの１つであるステレオ光学アダプタ７ａの一例の構成を示している。図４および図５に示すように、直視型のステレオ光学アダプタ７ａの先端面には、一対の照明レンズ５１，５２と２つの対物レンズ系５３，５４とが設けられており、図５に示すように、固定リング５０の雌ねじ５０ａを、先端部２１に形成されている雄ねじ２１ａに螺合することによって一体的に固定されるようになっている。

図５に示すように、２つの対物レンズ系５３，５４により、先端部２１内に配設された固体撮像素子２ａの撮像面上に２つの光学像が結像される。そして、この固体撮像素子２ａで光電変換された撮像信号は、電気的に接続された信号線２ｂおよび内視鏡ユニット８を介してＣＣＵ９に供給されて映像信号に変換され、その後、映像信号処理回路１２に供給される。

本実施形態の内視鏡装置１では、次の（ａ１）〜（ｄ）に示すように、各内視鏡２に特有の撮像光学系の光学データが測定され、その光学データが、記録媒体である例えばメモリカード（ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等）に記録される。この光学データは以下の通りである。
（ａ１）２つの対物光学系の幾何学的歪み補正テーブル
（ａ２）像伝送光学系の幾何学歪み補正テーブル
（ｂ）左右の結像光学系それぞれの焦点距離
（ｃ）左右の結像光学系の主点間の距離
（ｄ）左右の結像光学系それぞれの画像上での光軸位置座標

上記の光学データの収集を行った後の内視鏡装置１にパーソナルコンピュータ３１を接続して、次に示す（Ａ）〜（Ｅ）の処理を行って各種寸法計測を行うことができる。
（Ａ）上記メモリカードから上記（ａ１）〜（ｄ）の光学データを読み込む。
（Ｂ）本内視鏡２にて被写体である被計測物を撮像し、画像を取り込む。
（Ｃ）上記の取り込んだ画像を、上記（ａ１）〜（ｄ）の光学データを基に座標変換する。
（Ｄ）座標変換された画像を基に、撮像データのマッチングにより任意の点の三次元座標を求める。
（Ｅ）上記三次元座標を基に各種三次元計測を行う。

次に、本実施形態の内視鏡装置１による被写体計測の原理を説明する。図６は、ｘ，ｙ，ｚ軸をもつ三次元空間座標系上の左右の２画像の位置関係を示している。この図６には、被写体までの距離（被写体距離）の計測対象となる測距点Ｐが撮像素子の右結像面１０１Ｒおよび左結像面１０１Ｌ上に結像した状態が示されている。図６において、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点Ｑ_Ｒ，Ｑ_Ｌを点Ｐの結像位置とし、距離Ｌを点ＯＲ−点ＯＬ間の距離とする。

図６において、直線Ｑ_Ｒ−ＯＲから次式が成立する。
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ） ・・・（１）
また、直線Ｑ_Ｌ−ＯＬから次式が成立する。
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ） ・・・（２）
この式をｘ，ｙ，ｚについて解けば、点Ｐの三次元座標が得られる。これにより、内視鏡２の撮像面から被写体までの距離（被写体距離）が求まる。

ここで、光学系の主点である点ＯＲと点ＯＬ間の距離、および結像光学系の焦点距離は、光学データとして予め記録されている。点Ｑ_Ｌの座標は測距点の座標そのものである。点Ｑ_Ｒは、測距点に対応する点を右画像の中から探索することで得ることができる。このことから、例えば、左画像を基準とした場合には、左画像での測距点（Ｑ_Ｌ）に対応する右画像の対応点（Ｑ_Ｒ）をマッチング処理により探索し、右画像の対応点が探索されたら、上式により空間座標を計算することで、測距点までの距離を求めることができる。

次に、本実施形態における内視鏡画像および目印の表示例を説明する。図７は、被写体の大きさおよび画像の奥行き方向の被写体の傾きの目安となる目印の設定を行うための表示画面を示している。図７において、ＬＣＤ５あるいはＦＭＤ６の表示画面７００に設定された計測可能領域７００Ｒ，７００Ｌ内にそれぞれ右画像と左画像が表示されている。これらの画像には被写体７１０が写っている。

ユーザは表示画面７００を見ながらリモートコントローラ４のレバースイッチ４２を操作し、まず、左画像内で目印の基準点となる被写体７１０上の２点Ｐ１，Ｐ２の位置を入力する。被写体７１０上で点Ｐ１は点Ｐ２よりも手前にあり、点Ｐ２は点Ｐ１よりも奥にあるものとする。これらの点Ｐ１，Ｐ２間の空間距離が被写体７１０の実際の大きさの目安を表すことになる。

図８は、目印が表示された状態の表示画面を示している。表示画面８００に設定された計測可能領域８００Ｒ，８００Ｌ内にそれぞれ右画像と左画像が表示され、左画像に目印８１０が表示されている。目印８１０は矢印として表示され、矢印の左側のマーク８１０Ｌが右側のマーク８１０Ｒよりも大きく表示されている。このマークの大きさが画像の奥行き方向の被写体８２０の傾きを表しており、ユーザは、マーク８１０Ｌ側が手前（近く）にあり、マーク８１０Ｒ側が奥（遠く）にあることを知ることができる。

また、ユーザは、数値８３０によって被写体８２０の大きさの概略を知ることができる。この数値８３０は、図７に示した２点Ｐ１，Ｐ２間の空間距離を表しており、矢印として表示されている目印８１０の長さに対応している。図８（ａ）では、被写体８２０の画像が表示される計測可能領域以外の場所に数値８３０が表示されているため、被写体８２０が見やすくなっている。図８（ｂ）では、被写体８２０の画像に重畳して数値８３０が表示されているため、数値の表示スペースを図８（ａ）よりも大きくとることができる。また、目印８１０の近傍に数値８３０が表示されているので、被写体の大きさをより把握しやすくなっている。

上記の説明では、２点Ｐ１，Ｐ２間の空間距離を表す数値を目印とは別個にしているが、目印を表す図形等と、２点Ｐ１，Ｐ２間の空間距離を表す数値とを包含したものを１つの目印としてもよい。

図９は目印の他の表示例を示している。図９（ａ）では、目印９００の全体の形状が矢印となっており、矢印の方向が被写体の傾きを表している。図９（ｂ）では、目印９１０の左右両端の線分９１０Ｌ，９１０Ｒの長さの違いが被写体の傾きを表している。図９（ｃ）では、目印９２０の形状が四角形状となっており、縦方向の幅の違いが被写体の傾きを表している。目印の形状は、図８や図９に示した形状以外でもよく、例えば多角形状や円形状でもよい。また、図７では２点Ｐ１，Ｐ２が横方向に並ぶように設定されているが、２点Ｐ１，Ｐ２の設定位置は任意であり、それらの設定位置に応じて矢印等の方向を変更することが可能である。

図１０は、被写体の大きさを示す数値の他の表示例を示している。目印１０００は、被写体の大きさの目安となる矢印１０００ａと、矢印１０００ａの長さおよび被写体の傾きを示す数値１０００ｂ，１０００ｃを含んで構成されている。計測可能領域外には、数値１０００ｂ，１０００ｃが表す長さの単位を示す数値１０１０が表示されている。矢印１０００ａの長さに相当する被写体上の空間距離は２．０ｍｍである。また、数値１０００ｂの方が数値１０００ｃよりも大きく表示されていることから、ユーザは、左側が手前（近く）にあり、右側が奥（遠く）にあることを知ることができる。

次に、本実施形態における被写体計測処理の具体的な手順を説明する。まず、第１の動作例の手順を説明する。この第１の動作例では、目印の表示位置が固定される。図１１は第１の動作例の手順を示している。リモートコントローラ４の計測実行スイッチ４５がオン側に操作されると、被写体計測処理が起動される。

被写体計測処理が起動されると、ＣＰＵ１８は以下の手順に従って動作する。まず、初期化処理（ステップＳ１００）を行い、続いて内視鏡装置１の動作モードが目印計測モードであるか否かを判定する（ステップＳ１１０）。動作モードが目印計測モード以外のモードであった場合には、被写体計測処理を終了する。また、動作モードが目印計測モードであった場合には、リモートコントローラ４のレバースイッチ４２の操作を監視し、図７に示した点Ｐ１が設定されたか否かを判定する（ステップＳ１２０）。

点Ｐ１が設定されていない場合には、ステップＳ１２０に戻り、点Ｐ１の設定に関する監視を続行する。また、点Ｐ１が設定された場合には、点Ｐ１の表示画面上での座標が計測可能領域内にあるか否かを判定する（ステップＳ１３０）。点Ｐ１の表示画面上での座標が計測可能領域の範囲外にある場合には、警告の表示処理を行い（ステップＳ１４０）、ステップＳ１２０に戻り、点Ｐ１の設定に関する監視を再度実行する。

また、点Ｐ１の表示画面上での座標が計測可能領域内にある場合には、点Ｐ１の表示画面上での座標をＲＡＭ１４に格納する（ステップＳ１５０）。続いて、リモートコントローラ４のレバースイッチ４２の操作を監視し、図７に示した点Ｐ２が設定されたか否かを判定する（ステップＳ１６０）。

点Ｐ２が設定されていない場合には、ステップＳ１６０に戻り、点Ｐ２の設定に関する監視を続行する。また、点Ｐ２が設定された場合には、点Ｐ２の表示画面上での座標が計測可能領域内にあるか否かを判定する（ステップＳ１７０）。点Ｐ２の表示画面上での座標が計測可能領域の範囲外にある場合には、警告の表示処理を行い（ステップＳ１８０）、ステップＳ１６０に戻り、点Ｐ２の設定に関する監視を再度実行する。

また、点Ｐ２の表示画面上での座標が計測可能領域内にある場合には、点Ｐ２の表示画面上での座標をＲＡＭ１４に格納する（ステップＳ１９０）。続いて、図１２に示す測距処理を実行し、点Ｐ１，Ｐ２の被写体上での空間座標および点Ｐ１，Ｐ２から内視鏡２の結像面までの被写体距離を計算する（ステップＳ２００）。続いて、図１３に示す計測処理を実行することによって点Ｐ１，Ｐ２の空間距離を計算し（ステップＳ２１０）、目印を含む計測結果の表示処理を実行する（ステップＳ２２０）。これによって、図８〜図１０に示したような表示形態で目印が表示される。計測結果を表示した後、ユーザによる終了操作の有無を判定し（ステップＳ２３０）、終了操作があった場合には、被写体計測処理を終了する。また、終了操作がなかった場合には、ステップＳ２００に戻り、処理を継続する。

図１２は、図１１のステップＳ２００の詳細を示している。ＣＰＵ１８は映像信号処理回路１２から画像データを取得し、ＲＡＭ１４に格納する（ステップＳ２００ａ）。続いて、ＣＰＵ１８は、この画像データが示す観察画像から右画像を切り出す処理（ステップＳ２００ｂ）と、左画像を切り出す処理（ステップＳ２００ｃ）とを行う。また、一般に、レンズ系による画像には光学的な歪みがあり、計測を行う場合には、この歪みが大きな誤差原因となるため、ＣＰＵ１８は各画像からこの歪みを取り除く処理を行う（ステップＳ２００ｄ，Ｓ２００ｅ）。

続いて、ＣＰＵ１８は、左画像において、点Ｐ１，Ｐ２のそれぞれの位置を測距点とし、パターンマッチングにより右画像との相関を求め、右画像の中から、各測距点に対応する点を探索する（ステップＳ２００ｆ）。続いて、ＣＰＵ１８は、（１）式および（２）式に基づいた三角測量の原理により、測距点の空間座標および測距点までの距離（被写体距離）を計算する（ステップＳ２００ｇ）。点Ｐ１，Ｐ２の被写体上での空間座標をそれぞれ（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）とすると、点Ｐ１における被写体距離はｚ１、点Ｐ２における被写体距離はｚ２となる。ステップＳ２００ｇで計算された空間座標および被写体距離はＲＡＭ１４に格納される。

図１３は、図１１のステップＳ２１０の詳細を示している。ＣＰＵ１８は、図１２のステップＳ２００ｇで計算した点Ｐ１，Ｐ２の空間座標をＲＡＭ１４から読み出して取得し（ステップＳ２１０ａ）、点Ｐ１，Ｐ２間の空間距離Ｌを以下の（３）式により計算する（ステップＳ２１０ｂ）。

図１１のステップＳ２２０において、ＣＰＵ１８は、ステップＳ２００で計算した、点Ｐ１，Ｐ２における被写体距離をＲＡＭ１４から読み出して取得し、これと点Ｐ１，Ｐ２間の空間距離とに基づいて、目印の表示処理を実行する。より具体的には、ＣＰＵ１８は、点Ｐ１における被写体距離と点Ｐ２における被写体距離とを比較し、比較結果に基づいて、被写体の傾きを視覚化するための処理を実行する。例えば、図８に示したように被写体の傾きを矢印で表す場合には、被写体距離が遠い方の点に描かれる矢印を大きくし、被写体距離が近い方の点に描かれる矢印を小さくする。また、ＣＰＵ１８は、点Ｐ１，Ｐ２間の空間距離の数値を目印の近傍またはその他の場所に表示するための処理を実行する。目印を表示する際には、その形状を、画像の光学的な歪みを考慮した形状としてもよい。

次に、第２の動作例の手順を説明する。この第２の動作例では、ユーザが表示画面上で目印を移動させることが可能である。図１４は第２の動作例の手順を示している。リモートコントローラ４の計測実行スイッチ４５がオン側に操作されると、被写体計測処理が起動される。

被写体計測処理が起動されると、ＣＰＵ１８は以下の手順に従って動作する。ステップＳ３００〜Ｓ４２０の処理は図１１のステップＳ１００〜Ｓ２２０の処理と同様であるので、説明を省略する。なお、ステップＳ４００の処理の詳細は、図１２に示した処理と同様であり、ステップＳ４１０の処理の詳細は、図１３に示した処理と同様である。

ステップＳ４２０に続いて、リモートコントローラ４のレバースイッチ４２の操作を監視し、目印の移動が指示されたか否かを判定する（ステップＳ４３０）。目印の移動が指示されていない場合には、ステップＳ４００に戻り、処理を継続する。また、目印の移動が指示された場合には、表示画面における点Ｐ１，Ｐ２の移動先の座標を計算し、点Ｐ１，Ｐ２の表示画面上での座標が共に計測可能領域内にあるか否かを判定する（ステップＳ４４０）。点Ｐ１，Ｐ２の座標の少なくとも一方が計測可能領域の範囲外にある場合には、警告の表示処理を行い（ステップＳ４５０）、続いてステップＳ４３０に戻り、点Ｐ１，Ｐ２の設定に関する監視を再度実行する。

また、点Ｐ１，Ｐ２の表示画面上での座標が共に計測可能領域内にある場合には、点Ｐ１，Ｐ２の座標をＲＡＭ１４に格納し（ステップＳ４６０）、ユーザによって指示された方向に目印が移動するように目印の表示を更新する処理を実行する（ステップＳ４７０）。続いて、ユーザによる終了操作の有無を判定し（ステップＳ４８０）、終了操作があった場合には、被写体計測処理を終了する。また、終了操作がなかった場合には、ステップＳ４００に戻り、処理を継続する。上記の処理により、図１５に示すように、計測可能領域１５００内で目印１５１０を自由に移動させることができる。

次に、第３の動作例の手順を説明する。第１および第２の動作例では、ユーザが点Ｐ１，Ｐ２の位置を入力していたが、第３の動作例では、ユーザが目安にしたい空間距離の値を入力する。

まず、図１９を参照しながら、第３の動作例の概略を説明する。図１９（ａ）は、被写体計測処理が起動された時点の表示画面を示しており、被写体の計測位置の基準となる照準１９００が表示されている。この状態で、目安にしたい空間距離の値がユーザによって入力される。この時点では、入力された被写体上での空間距離に対応した表示画面上での長さが不明であるため、図１９（ｂ）に示すように、まず照準１９００を基準とした所定の位置に点Ａ１，Ａ２が設定される。点Ａ１，Ａ２は実際の表示画面には表示されない。

続いて、第１および第２の動作例と同様にして、点Ａ１，Ａ２の被写体上での空間座標が計算され、点Ａ１，Ａ２の被写体上での空間座標から点Ａ１，Ａ２間の空間距離が計算される。予め設定された点Ａ１，Ａ２間の空間距離の計算結果が１０ｍｍであり、ユーザによって入力された空間距離が５ｍｍであるとすると、図１９（ｂ）に示した点Ａ１，Ａ２の間隔を１／２（＝５ｍｍ／１０ｍｍ）倍にし、図１９（ｃ）に示したように点Ａ１，Ａ２を設定すればよいことが分かる。図１９（ｄ）は最終的な表示画面を示しており、目印１９１０と空間距離の数値１９２０が表示される。

以下、第３の動作例の詳細を説明する。図１６は第３の動作例の手順を示している。リモートコントローラ４の計測実行スイッチ４５がオン側に操作されると、被写体計測処理が起動される。被写体計測処理が起動されると、ＣＰＵ１８は以下の手順に従って動作する。以下の被写体計測処理において、照準に関しては、表示画面内での照準の位置を装置が自動的に決定してもよいし、ユーザが任意の位置を指定できるようにしてもよい。

まず、初期化処理（ステップＳ５００）を行い、続いて内視鏡装置１の動作モードが目印計測モードであるか否かを判定する（ステップＳ５１０）。動作モードが目印計測モード以外のモードであった場合には、被写体計測処理を終了する。また、動作モードが目印計測モードであった場合には、リモートコントローラ４のレバースイッチ４２の操作を監視し、被写体の計測位置の基準として表示される照準の表示画面上での座標が計測可能領域内にあるか否かを判定する（ステップＳ５２０）。

照準の表示画面上での座標が計測可能領域の範囲外にある場合には、警告の表示処理を行い（ステップＳ５３０）、続いてステップＳ５２０に戻り、照準に関する監視を再度実行する。また、照準の表示画面上での座標が計測可能領域内にある場合には、以下の処理を実行する。照準が計測可能領域内に位置している状態で、ユーザは目安にしたい空間距離の値を入力することが可能である。ユーザがパーソナルコンピュータ３１（リモートコントローラ４のレバースイッチ４２でもよい）を操作し、空間距離の値を入力すると、ＣＰＵ１８はその値をＲＡＭ１４に格納する（ステップＳ５４０）。

続いて、点Ａ１，Ａ２の位置に関する初期所定値（例えば点Ａ１，Ａ２の表示画面上での距離を示す所定値）をＲＡＭ１４から読み出し、照準の表示画面上での座標に基づいて、基準位置となる点Ａ１，Ａ２の表示画面上での座標を計算する（ステップＳ５５０）。これによって、点Ａ１，Ａ２が仮設定されたことになる。続いて、点Ａ１，Ａ２の表示画面上での座標が共に計測可能領域内にあるか否かを判定する（ステップＳ５６０）。点Ａ１，Ａ２の座標の少なくとも一方が計測可能領域の範囲外にある場合には、警告の表示処理を行い（ステップＳ５７０）、ステップＳ５４０に戻る。

また、点Ａ１，Ａ２の表示画面上での座標が共に計測可能領域内にある場合には、点Ａ１，Ａ２の座標をＲＡＭ１４に格納し（ステップＳ５８０）、点Ａ１，Ａ２の被写体上での空間座標および点Ａ１，Ａ２から内視鏡２の結像面までの被写体距離を計算する（ステップＳ５９０）。ステップＳ５９０の処理は、図１２に示した処理と同様である。

続いて、図１７に示す計測処理を実行することによって点Ａ１，Ａ２の空間距離を計算する（ステップＳ６００）。さらに、図１８に示す結果情報表示処理を実行することによって、目印を含む計測結果の表示処理を実行する（ステップＳ６１０）。続いて、ユーザによる終了操作の有無を判定し（ステップＳ６２０）、終了操作があった場合には、被写体計測処理を終了する。また、終了操作がなかった場合には、ステップＳ５６０に戻り、処理を継続する。

図１７は、図１６のステップＳ６００の詳細を示している。ＣＰＵ１８は、図１６のステップＳ５４０で入力された空間距離の値、ステップＳ５９０で計算した点Ａ１，Ａ２の空間座標、および点Ａ１，Ａ２の表示画面上での位置に関する初期設定値をＲＡＭ１４から読み出して取得する（ステップＳ６００ａ）。続いて、点Ａ１，Ａ２間の空間距離を計算する（ステップＳ６００ｂ）。さらに、空間距離の入力値、点Ａ１，Ａ２の空間距離の計算結果、および点Ａ１，Ａ２の表示画面上での位置に関する初期設定値に基づいて、目印の両端の基準点となる点Ａ１，Ａ２の表示画面上での座標を計算し、計算結果をＲＡＭ１４に格納する（ステップＳ６００ｃ）。

ステップＳ６００ｃでは、例えば空間距離の入力値（前述した５ｍｍに対応）と、初期設定された点Ａ１，Ａ２の被写体上での空間距離の計算値（前述した１０ｍｍに対応）との比を計算する。続いて、空間距離の入力値に対応した表示画面（結像面）上の距離Ｌ’と、点Ａ１，Ａ２の表示画面（結像面）上での距離の初期設定値との比が上記の比と等しくなるように距離Ｌ’を計算する。そして、照準の位置を中心とし、点Ａ１，Ａ２間の距離がＬ’となるような点Ａ１，Ａ２の座標を計算する。

図１８は、図１６のステップＳ６１０の詳細を示している。ＣＰＵ１８は、図１７のステップＳ６００ｃで計算した点Ａ１，Ａ２における被写体距離と、図１６のステップＳ５９０で計算した点Ａ１，Ａ２の被写体上での空間座標とをＲＡＭ１４から読み出して取得し（ステップＳ６１０ａ）、被写体の大きさおよび傾きを視覚化するための目印の表示処理を実行する（ステップＳ６１０ｂ）。より具体的には、例えば点Ａ１，Ａ２の表示画面上での距離に応じた長さ（大きさ）となるように、かつ点Ａ１，Ａ２における被写体距離に応じた被写体の傾きを示す表示形態となるように、目印を表示するための処理を実行する。

図１７のステップＳ６００ｃで計算された点Ａ１，Ａ２のいずれかの表示画面上での座標が計測可能領域外となる場合には、計測可能領域に収まるように目印を表示することができない。また、点Ａ１，Ａ２の表示画面上での座標が著しく近い場合には、視認可能なように目印を表示することができない。そこで、点Ａ１，Ａ２のいずれかの表示画面上での座標が計測可能領域外となる場合には、空間距離を示す数値を「−−−」と表示し、点Ａ１，Ａ２の表示画面上での座標が著しく近い場合には、空間距離を示す数値を「０．０ｍｍ」と表示するなどして、エラー扱いとしてもよい。また、上記のような場合に、表示可能な最大または最小の大きさで目印を表示してもよい。

上述したように、本実施形態によれば、被写体の大きさと画像の奥行き方向の被写体の傾きとの目安となる目印を表示するための処理が実行されるので、被写体の大きさと画像の奥行き方向の被写体の傾きとをリアルタイムでユーザに知らせることができる。このため、実際に詳細な計測をしなくても必要な情報を得る機会を増やすことが可能となり、検査や観察の効率が向上する。本実施形態では、被写体の大きさと画像の奥行き方向の被写体の傾きとを同じ目印で表示しているが、被写体の大きさを表す目印と、画像の奥行き方向の被写体の傾きを表す目印とを別個に表示してもよい。本実施形態のように被写体の大きさと画像の奥行き方向の被写体の傾きとを同じ目印で表示することによって、より少ない表示スペースに、より多くの情報を表示することができる。

また、目印の表示画面上での大きさを点入力により指定すること（第１および第２の動作例）と、目印の被写体上での大きさを数値入力により指定すること（第３の動作例）とが可能となるので、作業の目的に応じた目印の指定方法をユーザが選択することにより、検査効率を向上させることができる。

第１および第２の動作例では、一旦設定された目印の表示画面上での大きさは変化せず、被写体距離に応じて目印の被写体上での大きさが変化する。また、第３の動作例では、ユーザによって入力された被写体上での目印の大きさは変化せず、被写体距離に応じて目印の表示画面上での大きさが変化する。

第３の動作例のように、目印の表示画面上での大きさが変化する形態では、被写体距離が極端に短くなることによって、目印が計測可能領域に収まらなくなったり、逆に被写体距離が極端に長くなることによって、目印が小さくなりすぎてしまったりすることがある。しかし、第１および第２の動作例のように、目印の表示画面上での大きさを固定することによって、常に被写体と目印を比較しやすくすることができる。一方、ユーザが被写体の大きさをイメージするには、所定の長さ・大きさの目印と実際の被写体を比較した方がイメージしやすいので、第３の動作例のように目印の被写体上での大きさを固定することによって、被写体の大きさをより分かりやすくすることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、第１および第２の動作例では、ユーザが目印の基準点となる２点を入力するようにしているが、入力点の数は３点以上でもよい。図２０は入力点の数が３点の場合の表示画面を示している。図２０（ａ）のようにユーザが点Ｐ１，Ｐ２，Ｐ３を指定すると、図２０（ｂ）のように目印２０００が表示される。

この場合、点Ｐ１，Ｐ２に関して、および点Ｐ２，Ｐ３に関してそれぞれ前述した処理が実行され、目印が表示される。目印の形状は、画像の奥行き方向の被写体の傾きに応じた形状となり、点Ｐ２の位置では点Ｐ１，Ｐ３の位置よりも被写体が奥側（遠く）にあることが分かる。

また、目印の濃淡や色の違いによって、画像の奥行き方向の被写体の傾きを表示してもよい。例えば、被写体距離が遠い場合には目印を薄く表示し、被写体距離が近い場合には目印を濃く表示すればよい。あるいは、例えば被写体距離が遠い場合には目印を青く表示し、被写体距離が近い場合には目印を赤く表示すればよい。

また、以下のような目印を表示してもよい。図２１〜図２５では右画像を省略し、左画像のみを示す。図２１（ａ）に示す目印は、被写体の大きさおよび傾きを示す矢印２１００ａと円形の枠線２１００ｂとを含んでいる。被写体の傾きの表示方法は、図８に示した目印８１０と同様である。図２１（ｂ）に示す目印は、被写体の大きさを示す線分２１１０ａと、被写体の傾きを示す四角形の枠線２１１０ｂとを含んでいる。被写体の傾きの表示方法は、図９に示した目印９２０と同様である。

図２２（ａ）では、図２１（ａ）に示した目印と共に、被写体上の空間距離を示す数値２２００が表示されている。図２２（ｂ）では、図２１（ｂ）に示した目印と共に、被写体上の空間距離を示す数値２２１０が表示されている。図２２（ｃ）では、円状の枠線２２２０の太さが被写体の傾きを表しており、ユーザは、枠線２２２０の太い方が手前（近く）にあり、細い方が奥（遠く）にあることを知ることができる。また、円を傾けると楕円に見えることから、枠線２２２０の形状を楕円とすることによって、ユーザが被写体の傾きをよりイメージしやすくなる。

上記では計測画面上の横方向の長さおよび傾きを表示する例を説明したが、以下に示すように、計測画面上の横方向および縦方向の長さおよび傾きを表示してもよい。図２３は、目印の表示に用いる被写体距離を計測する点を示している。２点で被写体距離を計測する場合と同様の方法により、４つの点Ｐ１，Ｐ２，Ｐ３，Ｐ４が設定され、各点での被写体距離が算出される。

図２４（ａ）に示す目印では、矢印２４００が横方向の被写体の大きさを示し、矢印２４１０が縦方向の被写体の大きさを示している。また、各矢印のマーク２４００Ｌ，２４００Ｒ，２４１０Ｕ，２４１０Ｄの大きさは４つの点Ｐ１，Ｐ２，Ｐ３，Ｐ４での被写体距離を示しており、被写体距離が近い場合にはマークが大きく表示され、被写体距離が遠い場合にはマークが小さく表示される。図２４（ｂ）に示す目印では、同様に線分２４２０が横方向の被写体の大きさを示し、線分２４３０が縦方向の被写体の大きさを示している。また、各線分の両端のマーク２４２０Ｌ，２４２０Ｒ，２４３０Ｕ，２４３０Ｄの大きさは４つの点Ｐ１，Ｐ２，Ｐ３，Ｐ４での被写体距離を示している。上記の目印の表示により、ユーザは被写体の２次元的な大きさと、被写体の２次元領域の傾きを知ることができる。

図２５（ａ）に示す目印では、線分２５００ａ，２５００ｂが横方向および縦方向の被写体の大きさを示しており、円状の枠線２５１０が被写体の傾きを示している。点Ｐ１，Ｐ４，Ｐ３，Ｐ２の順に被写体距離が近いとすると、枠線２５１０のうち点Ｐ１，Ｐ４側を太くし、点Ｐ２，Ｐ３側を細くするように枠線２５１０の太さが制御される。図２５（ｂ）に示す目印では、線分２５２０ａ，２５２０ｂが横方向および縦方向の被写体の大きさを示しており、四角形状の枠線２５３０が被写体の傾きを示している。枠線２５１０と同様に、枠線２５３０の太さも被写体距離に応じて制御される。図２５（ｃ）に示す目印では、点Ｐ１，Ｐ４での被写体距離が点Ｐ２，Ｐ３での被写体距離よりも近いため、被写体の左下部分が右上部分よりも近いことをユーザがイメージできるよう、枠線２５４０が傾いた状態となっている。図２５に示した目印の表示によっても、ユーザは被写体の２次元的な大きさと、被写体の２次元領域の傾きを知ることができる。

本発明の一実施形態による計測用内視鏡装置の全体構成を示す斜視図である。 本発明の一実施形態による計測用内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態による計測用内視鏡装置が備えるリモートコントローラの斜視図である。 本発明の一実施形態による計測用内視鏡装置に使用されるステレオ光学アダプタの斜視図である。 本発明の一実施形態による計測用内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。 本発明の一実施形態における被写体距離の計測原理を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における被写体計測処理（第１の動作例）の手順を示すフローチャートである。 本発明の一実施形態における被写体計測処理（第１の動作例）の手順を示すフローチャートである。 本発明の一実施形態における被写体計測処理（第１の動作例）の手順を示すフローチャートである。 本発明の一実施形態における被写体計測処理（第２の動作例）の手順を示すフローチャートである。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における被写体計測処理（第３の動作例）の手順を示すフローチャートである。 本発明の一実施形態における被写体計測処理（第３の動作例）の手順を示すフローチャートである。 本発明の一実施形態における被写体計測処理（第３の動作例）の手順を示すフローチャートである。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。

符号の説明

１・・・内視鏡装置、２・・・内視鏡、９・・・ＣＣＵ（信号処理手段）、１８・・・ＣＰＵ（測距処理手段、目印表示処理手段、計測処理手段）

Claims (7)

1. 被写体像を光電変換し、撮像信号を生成する内視鏡と、前記撮像信号を処理し、画像データを生成する信号処理手段と、前記画像データを用いて、被写体上の点の空間座標および被写体上の点から前記内視鏡の結像面までの被写体距離を三角測量の原理で計算する測距処理手段と、前記画像データに基づいた被写体の画像を表示する表示手段とを備えた計測用内視鏡装置において、
   前記被写体上の複数点の前記空間座標に基づいて当該複数点間の距離を計算する計測処理手段と、
   前記被写体上の複数点についての前記被写体距離に基づいて、前記画像の奥行き方向の前記被写体の傾きの目安となる第１の目印を表示するための処理を実行し、さらに、前記被写体上の距離を示す、予め設定された数値と、前記被写体の画像上の複数の基準位置と、当該複数の基準位置に対応する前記被写体上の複数点間の距離とに基づいて、前記被写体の大きさの目安となる第２の目印を構成する複数点の、前記被写体の画像上の位置を算出し、当該位置が計測可能領域内にある場合に、当該第２の目印を表示するための処理を実行する目印表示処理手段と、
   をさらに備えたことを特徴とする計測用内視鏡装置。
2. 前記目印表示処理手段はさらに、前記被写体上の複数点間の距離の値を表示するための処理を実行することを特徴とする請求項１に記載の計測用内視鏡装置。
3. 前記目印表示処理手段はさらに、前記被写体上の複数点間の距離の値を前記被写体の画像に重畳して表示するための処理を実行することを特徴とする請求項２に記載の計測用内視鏡装置。
4. 前記目印表示処理手段はさらに、前記被写体上の複数点間の距離の値を、前記被写体の画像が表示される場所以外の場所に表示するための処理を実行することを特徴とする請求項２に記載の計測用内視鏡装置。
5. 前記目印表示処理手段はさらに、前記被写体上の複数点間の距離の値を前記第２の目印の近傍に表示するための処理を実行することを特徴とする請求項２に記載の計測用内視鏡装置。
6. 前記第１の目印と前記第２の目印が同一であることを特徴とする請求項１〜請求項５のいずれかに記載の計測用内視鏡装置。
7. 被写体像を光電変換し、撮像信号を生成する内視鏡と、前記撮像信号を処理し、画像データを生成する信号処理手段と、前記画像データを用いて、被写体上の点の空間座標および被写体上の点から前記内視鏡の結像面までの被写体距離を三角測量の原理で計算する測距処理手段と、前記画像データに基づいた被写体の画像を表示する表示手段とを備えた計測用内視鏡装置の動作を制御するためのプログラムにおいて、
   前記被写体上の複数点の前記空間座標に基づいて当該複数点間の距離を計算する計測処理と、
   前記被写体上の複数点についての前記被写体距離に基づいて、前記画像の奥行き方向の前記被写体の傾きの目安となる第１の目印を表示するための処理を実行し、さらに、前記被写体上の距離を示す、予め設定された数値と、前記被写体の画像上の複数の基準位置と、当該複数の基準位置に対応する前記被写体上の複数点間の距離とに基づいて、前記被写体の大きさの目安となる第２の目印を構成する複数点の、前記被写体の画像上の位置を算出し、当該位置が計測可能領域内にある場合に、当該第２の目印を表示するための処理を実行する目印表示処理と、
   を前記計測用内視鏡装置に実行させることを特徴とするプログラム。

Images