JP4445622B2 - 三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法 - Google Patents
三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法 Download PDFInfo
- Publication number
- JP4445622B2 JP4445622B2 JP34943499A JP34943499A JP4445622B2 JP 4445622 B2 JP4445622 B2 JP 4445622B2 JP 34943499 A JP34943499 A JP 34943499A JP 34943499 A JP34943499 A JP 34943499A JP 4445622 B2 JP4445622 B2 JP 4445622B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- profile information
- display
- information
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像された被写体像の任意位置の距離を容易に計測することが可能な三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法に関する。
【０００２】
【従来の技術】
近年、医療分野及び工業分野において、内視鏡が広く用いられるようになった。通常の内視鏡による観察像では、一般に対象物は平面的なものとなり、凹凸等を認識し難い。そのため、最近では、内視鏡の先端に左右２系統の撮像手段を配設し、この２系統の撮像手段により撮像された左右画像から、ステレオ法により対象の立体形状を推定し、この立体形状を、プロファイルやワイヤフレームにより表示する技術が知られている。
【０００３】
例えば、特開平６−３３９４５４号公報はステレオ内視鏡を用いて三角測量の原理により、特開昭６３−２４６７１６号公報は単眼内視鏡を用いて三角測量の原理により対象までの距離、複数の対象点間の距離を算出する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかし、上述した先行技術に開示されている技術では、計測対象である被写体のプロファイル（立体形状を２次元的なグラフに変換表示したもの）を表示する手段がない、もしくはワイヤーフレームなどにより立体形状を表示する手段があるにしても、表示した立体形状と被写体像との対応関係が把握しがたい問題がある。
【０００５】
本発明はこのような事情に鑑み、立体形状と被写体像との対応関係を容易に把握することが可能な三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の一態様による三次元計測内視鏡装置は、細長な挿入部の先端部に設けた被写体像を撮像する撮像手段と、前記撮像手段により得られた複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定手段と、前記立体形状推定手段で推定された立体形状情報に基づいて、前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成手段と、前記プロファイル情報作成手段で作成されたプロファイル情報を表示手段に表示するよう制御するプロファイル情報表示制御手段と、前記表示手段に表示されたプロファイル情報の所定位置と前記被写体像中の所定位置との対応位置情報を取得する対応位置情報取得手段と、前記対応位置情報取得手段で取得された対応位置情報を前記表示手段に表示するよう制御する対応位置情報表示制御手段とを具備している。
【０００７】
また、他の態様による被写体計測表示装置は、被写体像を撮像する撮像手段と、前記撮像手段で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定手段と、前記立体形状推定手段で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成手段と、前記プロファイル情報作成手段で作成されたプロファイル情報を表示手段に表示するよう制御するプロファイル情報表示制御手段と、前記プロファイル情報表示手段に表示されたプロファイル情報と前記撮像手段から取得された画像信号との対応関係情報を取得する対応関係情報取得手段と、前記プロファイル情報作成手段で表示された前記プロファイル情報上で任意の位置を指定可能な指定手段と、前記指定手段で指定された指定情報と前記対応関係情報取得手段で取得された対応関係情報とに基づき、前記指定手段で指定された第１の位置情報を前記画像信号中における第２の位置情報として取得する位置情報取得手段と、前記位置情報取得手段で得られた第２の位置情報に基づき、前記画像信号に基づき表示される被写体像上に前記指定手段による指定位置情報を前記表示手段に表示するよう制御する指定位置情報表示制御手段とを具備している。
【０００８】
本発明の一態様による三次元計測内視鏡の被写体計測表示方法は、細長な挿入部の先端部に設けた被写体像を撮像する撮像手段により被写体像を撮像する撮像行程を具備した三次元計測内視鏡の被写体計測表示方法において、前記撮像行程で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定行程と、前記立体形状推定行程で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成行程と、前記プロファイル情報作成行程で作成されたプロファイル情報を表示するプロファイル情報表示行程と、前記プロファイル情報表示行程で表示されたプロファイル情報の所定位置と前記撮像行程で取得される前記被写体像中の所定位置との対応位置情報を取得する対応位置情報取得行程と、前記対応位置情報取得行程で取得された対応位置情報を表示する対応位置情報表示行程とを具備している。
【０００９】
また、本発明の他の態様による被写体計測表示方法は、被写体像を撮像する撮像行程を具備した被写体計測表示方法において、前記撮像行程で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定行程と、前記立体形状推定行程で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成行程と、前記プロファイル情報作成行程で作成されたプロファイル情報を表示するプロファイル情報表示行程と、前記プロファイル情報表示行程で表示されたプロファイル情報と前記撮像行程で取得された画像信号との対応関係情報を取得する対応関係情報取得行程と、前記プロファイル情報表示行程で表示された前記プロファイル情報上で任意の位置を指定可能な指定行程と、前記指定行程で指定された指定情報と前記対応関係情報取得行程で取得された対応関係情報とに基づき、前記指定行程で指定された第１の位置情報を前記画像信号中における第２の位置情報として取得する位置情報取得行程と、前記位置情報取得行程で得られた第２の位置情報に基づき、前記画像信号に基づき表示される被写体像上に前記指定行程による指定位置情報を表示する指定位置情報表示行程とを具備している。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。本実施の形態においては、適用する計測内視鏡として、先端に２系統の対物レンズを備えたステレオ内視鏡を用いる。
【００１１】
（第１実施の形態）
図１〜図１１は本発明の第１実施の形態に係わり、図１は計測用内視鏡装置の構成を示すブロック図、図２は内視鏡の挿入部先端部の説明図、図３は計測用内視鏡装置の機能構成を示すブロック図、図４はホストコンピュータの構成を示すブロック図、図５は外部記憶装置の構成を示すブロック図、図６は三次元座標系の説明図、図７は三次元座標算出原理のための説明図、図８は計測結果を描画する流れを示すフローチャート、図９はウィンドウ表示例、図１０は歪曲収差補正に関する説明図、図１１は立体形状（三次元データ）を図形（二次元データ）に変換する手段を示す説明図である。
【００１２】
（構成）
図３に示すように、本実施の形態において採用する計測用内視鏡装置は、ステレオ式ビデオイメージエンドスコープ（以下、単に「内視鏡」と称する）１０１と、この内視鏡１０１によって撮像される右画像及び左画像の各画像信号を信号処理する右画像用ビデオプロセッサ１１０Ｒ及び左画像用ビデオプロセッサ１１０Ｌと、この各ビデオプロセッサ１１０Ｒ，１１０Ｌから出力される、例えばＲＧＢ信号による各映像信号を記憶する右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌと、この各フレームメモリ１１２Ｒ，１１２Ｌから出力される、例えばＲＧＢ信号による映像信号を入力して、右画像，左画像を表示する右画像用モニタ１３０Ｒ及び左画像用モニタ１３０Ｌと、各フレームメモリ１１２Ｒ，１１２Ｌに記憶された画像を用いて、立体計測演算を行うホストコンピュータ１２０と、このホストコンピュータ１２０に接続された外部記憶１４０と、ホストコンピュータ１２０に接続されてモニタ１３０Ｒ，１３０Ｌに表示されるカーソルの操作や計測対象点の指定及び計測対象領域の設定等を行うマウス１４５とを備えている。
【００１３】
両ビデオプロセッサ１１０Ｒ，１１０Ｌは、互いに同期した信号処理を行うように設定されている。又、本実施の形態では、各フレームメモリ１１２Ｒ，１１２Ｌは、Ｒ，Ｇ，Ｂ用の各メモリを複数組備えており、１組には画像が記憶され、他の組にはカーソルが書き込まれ、各組に書き込まれた信号を足し合わせることにより、各モニタ１３０Ｒ，１３０Ｌの画面上に画像とカーソルとを表示できる。
【００１４】
又、図４に示すように、ホストコンピュータ１２０は、ＣＰＵ１２１、右フレームメモリインターフェース１２２Ｒ、左フレームメモリインターフェース１２２Ｌ、メインメモリ１２３、外部記憶インターフェース１２４、マウスインターフェース１２５、キーボード１２６及びＣＲＴ１２７を備え、これらは、バスによって互いに接続されている。
【００１５】
又、右フレームメモリインターフェース１２２Ｒ、左フレームメモリインターフェース１２２Ｌは、それぞれ、右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌに接続され、これらとの間で画像データの送受を行うと共に、各インターフェース１２２Ｒ，１２２Ｌを介して、フレームメモリ１１２Ｒ，１１２Ｌに対するカーソル制御を行うように設定されている。又、外部記憶インターフェース１２４は、外部記憶１４０に接続され、画像データ及び計測対象点位置情報の送受を行うように設定されている。又、マウスインターフェース１２５は、マウス１４５に接続される。
【００１６】
図５に示すように、外部記憶１４０は、計測対象点の位置情報を記憶し、ホストコンピュータ１２０と各種計測データの送受を行う計測データ情報用ファイル１８１と、ホストコンピュータ１２０と画像データの送受を行うステレオ画像マネージャー１８２と、このステレオ画像マネージャー１８２に連結され、左画像データを記憶する左用画像ファイル１８３Ｌと、ステレオ画像マネージャー１８２に連結され、右画像データを記憶する右用画像ファイル１８３Ｒとを備えている。
【００１７】
本実施の形態では、内視鏡１０１で得たステレオ画像を左右２枚１組で取り扱っており、ホストコンピュータ１２０から２枚１組で送られて来たステレオ画像は、ステレオ画像マネージャー１８２によって、左用、右用各画像ファイル１８３Ｌ，１８３Ｒに振り分けられて、記録される。又、ステレオ画像マネージャー１８２によって、各画像ファイル１８３Ｌ，１８３Ｒに記録された画像は、２枚１組で呼び出される。
【００１８】
又、図２に示すように内視鏡１０１は、細長の挿入部１０２を備え、この挿入部１０２の先端部に、複数の、例えば２つの観察窓と、照明窓とが設けられている。各観察窓の内側には、互いに視差を有する位置に、右眼用対物レンズ系１０３Ｒ、左眼用対物レンズ系１０３Ｌが設けられている。各対物レンズ系１０３Ｒ，１０３Ｌの結像位置には、それぞれ、固体撮像素子を用いた左、右撮像手段１０４Ｌ，１０４Ｒが配設されている。
【００１９】
又、照明窓の内側には、配光レンズ１０５が設けられ、この配光レンズ１０５の後端には、ファイババンドルよりなるライトガイド１０６が連設されている。このライトガイド１０６は、挿入部１０２内に挿通され、入射端部には図示しない光源装置が接続される。
【００２０】
この光源装置から出力される照明光が、ライトガイド１０６及び配光レンズ１０５を介して被写体に照射され、この被写体からの反射光が、対物レンズ系１０３Ｒ，１０３Ｌによって、それぞれ右画像、左画像として、撮像手段１０４Ｒ，１０４Ｌに結像される。
【００２１】
次に、計測用内視鏡装置の機能ブロック構成を図１を用いて説明する。
【００２２】
撮像手段１０４Ｒ，１０４Ｌによって撮像された被写体像の各画像信号は、それぞれ、ビデオプロセッサ１１０Ｒ，１１０Ｌに入力され、映像信号処理が施される。各ビデオプロセッサ１１０Ｒ，１１０Ｌから出力される各画像信号は、それぞれ、Ａ／Ｄ変換器１１１Ｒ，１１１Ｌによりデジタル信号に変換された後、画像メモリすなわち、各フレームメモリ１１２Ｒ，１１２Ｌのうちの画像用のメモリに記憶される。
【００２３】
そして、右画像、左画像用フレームメモリ１１２Ｒ，１１２Ｌから読み出された画像信号は、それぞれ、画像処理手段２００で所定に画像処理された後、表示制御手段２０１を経て、Ｄ／Ａ変換器１５８Ｒ，１５８Ｌに出力され、ここでアナログ信号に変換された後、右画像、左画像用モニタ１３０Ｒ，１３０Ｌにそれぞれ入力される。そして、この両モニタ１３０Ｒ，１３０Ｌに、それぞれ、右画像、左画像が表示される。
【００２４】
一方、カーソルの表示はカーソル表示手段１５１によって処理され、又、カーソル表示は表示制御手段２０１が管理する。カーソルは画面に重畳されて、両モニタ１３０Ｒ、１３０Ｌのいずれか一方に表示される。
【００２５】
カーソルにより指定された計測点に対して画像処理手段２００が三次元位置の導出、立体形状と画像上の計測点との対応表示などの処理を行い、表示制御手段２０１を通して、処理結果がモニタに表示される。
【００２６】
又、表示制御手段２０１は、カーソル表示の管理のほか、マルチウィンドウ表示に必要な処理を行う。画像処理手段２００、及び表示制御手段２０１における処理及び制御機能はホストコンピュータ１２０を動作させることにより達成される。この場合、通常、表示制御手段２０１の機能はオペレーティングシステムが有している。
【００２７】
尚、図３、図４に示す右画像、左画像用フレームメモリ１１２Ｒ，１１２Ｌは、本実施の形態ではホストコンピュータ１２０の外部に設けているが、ホストコンピュータ１２０にＰＣＩボードタイプのフレームメモリを利用して内蔵しても良い。又、図３においてステレオ画像の表示は右画像、左画像用モニタ１３０Ｒ，１３０Ｌに対して行っているが、パソコンのＣＲＴ１２７に対して行うようにしても良い。
【００２８】
次に、このように構成された計測用内視鏡装置により、立体形状の推定、推定した立体形状と画像上の計測点の対応を表示する過程を、図８の計測結果を描画する流れを示すフローチャートに従って説明する。
【００２９】
以下では左画像で計測ラインＬを指定し、右画像に対して対応点を求めるものとして説明を行うが、逆に右画像で計測する計測ラインを指定し、左画像で対応点を求めても問題はない。
【００３０】
操作者は、図９に示すように、左画像用モニタ１３０Ｌに表示されているステレオ画像の左画像において計測を行う部分として計測ラインＬを指定する。すると、右画像においては、計測ラインＬ上の各点の対応点が求められる。そして、三角測量の原理を用いることで、計測ラインＬの立体形状（三次元データ）が求められ、プロファイルとして表示する。
【００３１】
以下の説明では、画像ＡをＡ（ｐ，ｑ）とし、ｐ及びｑは画素の位置を表すものとする。又、画像の大きさは、特に断りのない場合は水平及び垂直方向に対しそれぞれＳＸ及びＳＹであるものとする。
【００３２】
先ず、Ｓ１−１においてステレオ画像の左画像上において、入力デバイスにより計測ラインＬを指定する。計測ラインＬ上の点をＬｉ（ｉ＝０，…，N-1）とする。計測ラインの指定はマウスなどのデバイスにより、例えば始点Ｌ0 と終点ＬN-1 を指定する。
【００３３】
Ｓ１−２において、左画像上で指定した点Ｌｉに対応する右画像上の対応点を求める。対応点の検出は、例えばエピポーララインを用いたテンプレートマッチングにより行うことができる。
【００３４】
Ｓ１−３において、三角測量の原理を用いて三次元位置を求める。計測ラインＬ上の点Ｌｉのそれぞれの三次元位置をＤｉ（ｉ＝０，…N-1）、その座標をＤｉ（ｘｉ，ｙｉ，ｚｉ）とする。
【００３５】
Ｓ１−４において、三次元位置Ｄｉを二次元グラフ（プロファイル）上に表示する。尚、二次元化の手法は後述する。
【００３６】
そして、図９に示すように、三次元位置Ｄｉに対応するプロファイル上の点をＴｉとした場合、この点Ｔｉについて所定の間隔Ｉｔごとにマーカー（図においては、点１，２，３，４）を描画する。つまり、ｉ％Ｉｔ＝０の場合に点Ｔｉにマーカーを描画する（％は整数の割り算の余りを表す）。それ以外の点Ｔｉではマーカーの描画を行わない。
【００３７】
尚、ここでいうマーカーとは描画位置を明確に示すための目印であり、具体的には丸、四角などの図形を使用する。又、マーカーに連続番号を付し、このマーカーの近傍に番号を描画する。
【００３８】
Ｓ１−５において、図９に示すように計測ラインＬを画像上に描画する。この場合、プロファイルと同様に、所定の間隔Ｉｔごとに計測ラインＬ上にマーカー（図においては、点１，２，３，４）の描画を行う。ｉ％Ｉｔ＝０の場合に、計測ラインＬ上の点Ｌｉにマーカーを描画する（％は整数の割り算の余りを表す）。
【００３９】
それ以外の点Ｌｉではマーカーの描画は行わない。この場合、プロファイルと同様にマーカーに連続番号を付し、マーカーの近傍に番号を描画する。但し、連続番号は対応する点Ｌｉと点Ｔｉが同じ番号となるように付与する。
【００４０】
以上の処理により、プロファイルと画像との対応関係が明確となる。この場合、マーカーの区別をつける方法は、連続番号をつけてマーカーの近傍に描画する手法に限定されるものではなく、例えば、
１）対応するマーカーごとにマーカーの形状を変更する。
２）対応するマーカーごとに色を変更する。
等が考えられる。
【００４１】
次に、Ｓ１−３における、対象までの距離を算出する原理をより具体的に説明する。
【００４２】
図６に示すように、対象物体の三次元座標は、内視鏡挿入部１０２の先端における２つの対物レンズ１０３Ｒ、１０３Ｌの中心を通る直線の方向をＸ軸とし、左側の対物レンズを原点ＯLとするＸＹＺ座標系により表されるものとする。図７（ａ），（ｂ）は得られる三次元座標系において内視鏡１０１の撮像系をＸ−Ｚ、Ｙ−Ｚ座標系に基づき表したものである。
【００４３】
計測対象点Ｐはマウス１４５を用いた操作により、フレームメモリ１１２Ｒ及び１１２Ｌ上で指定される。計測対象点Ｐは、対物レンズ系１０３Ｒ及び１０３Ｌを通じ、撮像手段１０４Ｒ及び１０４Ｌ上に結像したものである。ここでは、左右の光軸は平行であり、それぞれ撮像手段１０４Ｌ及び１０４Ｒと直交するものとする。又、対物レンズ系１０３Ｒと撮像手段１０４Ｒ、対物レンズ系１０３Ｌと撮像手段１０４Ｌは、それぞれ平行に配置されている。
【００４４】
計測対象点Ｐの三次元座標（Ｘｐ，Ｙｐ，Ｚｐ）は三角法を用いて算出される。図７において計測対象点Ｐの各撮像手段１０４Ｒ，１０４Ｌ上での結像位置は、原点Ｏ Ｌ （左対物レンズ系の中心）を基準として、それぞれ（Ｌｐｘ，Ｌｐｙ）、（Ｒｐｘ，Ｒｐｙ）として表される。但し、原点Ｏ Ｌ と右対物レンズ系の中心Ｏ Ｒ のＹ座標は等しく、Ｌｐｙ＝Ｒｐｙであるため、図７（ｂ）では左側撮像系のみを示す。又、撮像手段１０４Ｒ及び１０４Ｌと光軸と交点をＲ１，Ｌ１とする。
【００４５】
尚、内視鏡による撮像画像は、一般に広角レンズを使用しているため、歪曲収差による歪が存在する。本実施の形態においては、歪曲収差補正処理適用後の結像位置を（Ｌpx，Ｌpy）及び（Ｒpx，Ｒpy）とする。歪曲収差補正処理は例えば以下のように行う。
【００４６】
内視鏡を用いて、例えば図１０（ａ）に示す正方のます目を撮像した場合、得られる画像は図１０（ｂ）に示されるようなものになる。この歪画像が正方のます目画像になるように、各画素における補正値をあらかじめ決定しておき、実際の撮像画像に対しての補正を行うことにより歪曲収差補正処理を実現することが可能となる。より具体的な処理手法は、例えば、米国特許第４，８９５，４３１号に開示されている。以下、本実施の形態においては歪曲収差補正処理適用後の画像を取り扱うものとする。
【００４７】
図７においてＤは左右の光軸間の距離、Ｆは対物レンズ系１０３Ｒと撮像手段１０４Ｒとの距離を示し、この距離Ｆは対物レンズ系１０３Ｌと撮像手段１０４Ｌとの間も同じである。
【００４８】
計測対象点Ｐから内視鏡先端面上に下ろした垂線の足をＱとすると、次に示す（Ａ）（Ｂ）（Ｃ）の関係が成り立つ。
【００４９】
図７（ａ）より
（Ａ）ΔＰＱＯ Ｌ ∽ΔＯ Ｌ Ｌ１Ｌｐｘ
（Ｂ）ΔＰＯ Ｒ Ｑ∽ΔＯ Ｒ ＲｐｘＲ1
図７（ｂ）より
（Ｃ）ΔＰＱＯ Ｌ ∽ΔＯ Ｌ Ｌ１Ｌｐｙ
【００５０】
Ｌ１Ｌｐｘ、Ｒ１Ｒｐｘ及びＬ１Ｌｐｙの値は撮像素子面における距離として得ることができる。すなわち、フレームメモリ１１２Ｒ及び１１２Ｌ上における結像位置と１画素あたりの画素サイズから求めれば良い。
【００５１】
又、図７（ａ）より
（Ｄ）Ｏ Ｌ Ｑ＋ＱＯ Ｒ ＝Ｄ
が成り立ち、図７（ａ）及び（ｂ）より
（Ｅ）Ｏ Ｌ Ｌ１＝Ｏ Ｒ Ｒ１＝Ｆ
が成り立つ。
【００５２】
これらの条件（（Ａ）〜（Ｅ））により計測対象点Ｐの座標（Ｘp，Ｙp，Ｚp）は、以下の式（１）、（２）、（３）より求められる。
【００５３】
Ｘｐ＝ＤＬｐｘ／（Ｌｐｘ−Ｒｐｘ） …（１）
Ｙｐ＝ＤＬｐｙ／（Ｌｐｘ−Ｒｐｘ） …（２）
Ｚｐ＝ＤＦ／（Ｒｐｘ−Ｌｐｘ） …（３）
【００５４】
以上により得られた計測対象点の三次元座標より、内視鏡先端から計測対象点までの距離、複数の計測対象点間の距離を求めることができる。
【００５５】
Ｓ１−４における三次元座標をプロファイル上に表示する手法は、以下のように行う。
【００５６】
式（１）〜（３）で求まる座標は、図６の座標系、図１１（ａ）でいえばＸＹＺ座標系による座標値である。この座標値を横軸を計測ラインＬ、縦軸をＸＹＺ座標系のＺ軸とした二次元座標系に変換しプロットすることで二次元化する。
【００５７】
つまりＸＹＺ座標系による値を、図１１のＸ’Ｙ’Ｚ座標系に変換する（Ｘ’は計測ラインに平行な座標、Ｙ’はＸ’とＺと垂直な軸とする）。変換後の座標値のうちＸ’とＺを使って二次元グラフを作成する。Ｓ１−１で指定される計測ラインＬの始点と終点をＸＹＺ座標系において、Ｌ ０ （Ｘ Ｌ０ ，Ｙ Ｌ０ ，Ｆ），Ｌ Ｎ−１ （Ｘ ＬＮ−１ ，Ｙ ＬＮ−１ ，Ｆ）とする。
【００５８】
左右の光軸が平行であり、画像平面が光軸に垂直であるとした場合、画像上にどのような計測ラインＬを指定してもＸ軸とＸ’軸との関係は、Ｚ軸周りの回転しか生じない。従って、ＸＹ軸の二次元だけを考えてＸ軸とＸ’軸とのなす角を考えれば良いことになる。
【００５９】
このときの計測ラインＬの始点と終点とは、
Ｌ ０ （Ｘ Ｌ０ ，Ｙ ＬＯ ）
Ｌ Ｎ−１ （Ｘ ＬＮ−１ ，Ｙ ＬＮ−１ ） …（４）
となる。
【００６０】
又、Ｘ軸とＸ’軸とのなす角θは、
ｃｏｓθ＝（Ｘ Ｌ０ Ｘ ＬＮ−１ ＋Ｙ Ｌ０ Ｙ ＬＮ−１ ）／｛（Ｘ Ｌ０ ２＋Ｘ ＬＮ−１ ２）１／２＋（Ｙ Ｌ０ ２＋Ｙ ＬＮ−１ ２）１／２｝ …（５）
により求められる。求まったθを使ってＸＹ座標系の値をＸ’軸、Ｙ’軸に変換する。
【００６１】
【数１】
【００６２】
そして、求めたＸ’と式（３）によるＺとを、図１１（ｂ）に示すようにＸ’Ｚ座標系にプロットし、これをプロファイルＴとして表示する（図９参照）。
【００６３】
（第２実施の形態）
図１２、図１３に本発明の第２実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【００６４】
三次元計測を行った場合、プロファイル上の任意の点と画像上の点との対応が確認できることが望まれる場合がある。以下の説明では、プロファイルの任意の点を指定して、それに対する画像上点を明示することにより対応を明らかにする機能について、図１２の一時マーカーを描画する流れを示すフローチャートに従って説明する。
【００６５】
第１実施の形態の図８に示すフローチャートにおけるＳ１−１〜Ｓ１−５によりプロファイルを表示するとともに、画像上に計測ラインＬを描画する。この場合、点Ｌｉ，Ｄｉ，Ｔｉ（０≦ｉ≦N-1）は第１実施の形態と同じ内容を示すものとする。
【００６６】
そして、先ず、Ｓ２−１によりプロファイルに表示されている計測ラインＴ上の任意の点Ｔｉを指定する。指定する手段としてはマウスなどの入力デバイスを用い、所望の点上にカーソルを移動して、マウスであれば左ボタンを押すことにより指定する。この指定した点（以下「指定点」と称する）をＴ α とする。
【００６７】
Ｓ２−２により指定点Ｔ α に対する計測ラインＬ上の点（以下「計測点」と称する）を求める。点Ｌｉの画像上の座標をＬｉ（ｐ ｉ ，ｑ ｉ ）とすると、Ｔ α （０≦α≦N-1）を指定した場合の三次元位置はＤ α である。この点Ｄ α に対応する計測点はＬ α であり、その座標はＬ α （ｐ α ，ｑ α ）となる。
【００６８】
Ｓ２−３により、図１３に示すように計測ラインＬ上の点Ｌ α （ｐ α ，ｑ α ）に一時マーカーを描画し、Ｌ α に対する計測点を明示する。この場合、一時マーカとして、図形を一定間隔でフラッシュさせても良い。
【００６９】
尚、ここでいう一時マーカーとは、マウスの左ボタン、キーボードの特定のボタン等が押されたままの状態の間だけ表示されているマーカーを言う。
【００７０】
Ｓ２−４によりマウスの左ボタンが押されたままかどうか調べる。押されたままであればＳ２−３に戻る。
【００７１】
又、マウスの左ボタンが解放されているときは、Ｓ２−５により一時マーカーの表示を消去し、ルーチンを終了する。
【００７２】
以上の処理により、一時マーカーを計測ラインＬ上に描画することで、プロファイルに表示された計測ラインＴ上の任意の指定点に対する画像上の計測ラインＬ上の点との対応を、容易に知ることができる。
【００７３】
尚、計測点を明示する方法は、計測点上への図形の描画に制限されるものでなく、例えば以下のようなものがある。
【００７４】
１）計測点近傍へ計測点を指し示す矢印等の図形の描画を行う。
２）対応する計測点上にマウスカーソルを移動する。但し、不用意にカーソルを動かすことにより対応が分からなくなってしまわないように、所定の期間はカーソルの移動を禁止する。
逆に画像上の計測点を指定手段により指定し、対応するプロファイル上の点に一時マーカーを描画しても良い。
【００７５】
（第３実施の形態）
図１４〜図１６に本発明の第３実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【００７６】
計測を行った場合、各計測結果の信頼性を評価するということが行われる場合があり、その評価を計測結果と同時に見ることが望まれる場合がある。以下では信頼性を計測結果と同時に把握できる機能について、図１４に示すフローチャート従って説明する。
【００７７】
先ず、Ｓ３−１においてステレオ画像の左画像上で、計測ラインＬを指定する。計測ラインＬ上の点をＬｉ（ｉ＝０，…，N-1）と表す。ラインの指定はマウスなどの入力デバイスにより行う。
【００７８】
Ｓ３−２において、右画像の対応点を求める。
【００７９】
Ｓ３−３において、式（１）〜（３）により三次元位置を求める。点Ｌｉのそれぞれの三次元位置をＤｉ（ｉ＝０，…，N-1）とし、その座標をＤｉ（ｘｉ，ｙｉ，ｚｉ）とする。
【００８０】
同時に、計測の信頼性を求める。点Ｄｉに対する信頼性をＴｒｉ（ｉ＝０，…，N-1）とする。尚、信頼性を導出する手法については後述する。
【００８１】
Ｓ３−４において、図１５に示すように三次元位置をプロファイルＴとして描画するが、信頼性ＴｒｉによりプロファイルＤｉの背景を着色する。着色の方法については、後述する信頼性の導出手法を説明する際に、併せて説明する。
【００８２】
この場合、信頼性のユーザへの提示方法はプロファイルの背景着色に限定されるものではなく、例えば以下のような方法がある。
【００８３】
１）信頼性を別グラフ（ヒストグラムなど）として、プロファイルとオーバーラップ、もしくはプロファイルの近傍に描画する。
【００８４】
２）プロファイルの任意の位置をクリックすることにより、その点の計測の信頼性を小ウィンドウに表示する。必要に応じて、計測結果を同時に表示する。
【００８５】
この場合、信頼性は以下のようにして求める。
【００８６】
計測の信頼性を、例えばブロックマッチングの相互相関値の先鋭度評価により求める。相関値Ｃｒは −１．０〜１．０の値を取り、マッチングを行った画像同士が類似しているほど大きな値となる。
【００８７】
一般的に、マッチングのテクスチャーが顕著なほど相関値Ｃｒのグラフは先鋭度が高くなる傾向にある。そこで、相関値Ｃｒが１．０に近づくほど、換言すれば先鋭度が大きいほど信頼性が高いと考え、以下の式で信頼性Ｔｒを求める。
【００８８】
Ｔｒ＝Ｃｒmax （ｐ，ｑ）・ｇ（ｗ）
ここで、Ｃｒmax（ｐ，ｑ）は画像上の点（ｐ，ｑ）を中心としたテンプレートを使用して所定の領域内で、マッチングしたときの相関値Ｃｒ（ｐ，ｑ）の最大値とする。ｇ（ｗ）は係数であり、図１６（ｂ）に示すように、ｗに対する単調減少関数である。又、このｗは、図１６（ａ）に示すように、相関値Ｃｒ（ｐ，ｑ）が所定の値Ｔｈより大きい値を持つ幅とする。尚、信頼性の評価にはハレーションの有無などの情報を利用しても良い。
【００８９】
信頼性をバックグランドへの着色として表す場合は、例えば、
１）信頼性＞０．８なら「青」
２）信頼性＜０．２なら「赤」
という方法が考えられる。
【００９０】
尚、本実施の形態では、信頼性の表示はプロファイルの背景として行ったが、左画像上に描画した計測ラインＬの色を信頼性に基づいて変更することにより行っても良い。
【００９１】
（第４実施の形態）
図１７〜図２０に本発明の第４実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【００９２】
三次元計測を行い、左画像上の垂直方向を計測ラインＬとして指定し、それに対するプロファイルを二次元グラフにより表示した場合のことを考える。
【００９３】
第１実施の形態で示したように、三次元位置を二次元グラフに描画するときに、その横軸は垂直方向の計測ラインが選択される。
【００９４】
しかし、図１８に示すように、表示画面サイズの制限及び、ウィンドウの構成上の都合などにより、二次元グラフの横軸は水平方向に描画されるようになっており変更できない場合、画像上の計測ラインＬは垂直方向に描画されているが、垂直方向に沿った点の三次元位置は二次元位置に変換されて水平方向に沿って描画されることになる。
【００９５】
このように計測ラインＬの方向とプロファイルのプロット方向とが異なる場合に、画像上の計測ラインとプロファイルの対応が取り難いため、計測ラインとプロファイルの方向とを一致させたいという要求がある。又は、単に観察時に画像の方向、或いはプロファイルの方向を変えたいとの要求がある。
【００９６】
以下では、計測ラインＬとプロファイル方向とを調整できる機能について、図１７の画像の回転処理の流れを示すフローチャートに従って説明する。
【００９７】
第１実施の形態の図８におけるＳ１−１〜Ｓ１−５によりプロファイル上に計測ラインＴを表示するとともに、画像上に計測ラインＬを描画する。
【００９８】
このときの描画例を、図１９（ａ）に示す。但し、図１９において、マーカーは省略している。又、この場合の画像サイズをＳＸ・ＳＹ、画像表示ウィンドウサイズをＷＳＸ・ＷＳＹとする。
【００９９】
ウィンドウ上の回転させる対象の近傍に、図１９（ａ）に示すような矢印を描画する。この場合、画像が回転対象であり、以下では画像を例に説明する。
【０１００】
先ず、Ｓ４−１において矢印上にマウスカーソルを移動し、マウスの左ボタンを押し、ドラッグを開始する。
【０１０１】
ドラッグとはマウスカーソルを、移動したいオブジェクト上に移動してボタンを押し、そのままの状態でマウスカーソルを動かしてオブジェクトを移動させる一般的なマウスの使用方法である。
【０１０２】
Ｓ４−２において矢印をマウスカーソルの移動方向、移動量に応じて回転する。図２０（ｂ）に示すように、現在のマウスカーソルの位置と矢印中心とを結ぶ直線と垂直方向とのなす角をθとし、マウスカーソルの移動により矢印の回転と角度θの更新を行う。
【０１０３】
Ｓ４−３において矢印の回転に応じて画像を回転し表示する。画像表示ウィンドウの中心を原点とするＸＹ座標を考え、画像を点Ａ（ｐ，ｑ）とすると、
【数２】
により回転後の画像は点Ａ’（ｐ’，ｑ’）となり、この点Ａ’（ｐ’，ｑ’）をウィンドウに表示する。
【０１０４】
このとき回転後の画像を囲む最小矩形を新たな画像と考えると、図２０に示すように画像サイズは、
（ＳＸｃｏｓθ＋ＳＹｓｉｎθ）・（ＳＸｓｉｎθ＋ＳＹｃｏｓθ）
となる。
【０１０５】
したがって、θの値により、ウィンドウの表示サイズをオーバーして表示できない部分が発生する場合がある。このときはスクロールにより、画像のあらゆる部分を表示できるようにする。又、この場合、画面サイズ、ウィンドウサイズに応じて、できるだけ表示できない領域が減少するように、画像表示ウィンドウサイズを変更しても良い。
【０１０６】
又、図２０（ａ）に示す▲１▼〜▲４▼の領域のように、回転する角度によっては表示領域内に表示データが存在しない部分が発生する場合があるが、その部分は所定のデータ値（例えば０）でパディングする。
【０１０７】
Ｓ４−４においてドラッグが終了したか、つまり左ボタンが解放されたかを判断する。押されたままであればＳ４−２へ戻る。又、解放されたときはルーチンを終了する。
【０１０８】
画像を回転させた状態を、図１９（ｂ）に示す。画像の回転により計測ラインＬが水平に向いたため、画像の計測ラインＬとプロファイルの横軸の方向とが一致する。
【０１０９】
尚、画像が所定の大きさ以上の場合は、画像表示によるちらつきを防止するため、矢印のドラッグ中での画像回転及び表示は行わず、ドラッグ終了時に回転した画像を描画すると良い。具体的にはＳ４−３とＳ４−４とで行われる処理を入れ替えて、ドラッグ終了後に描画を行う処理を行うようにする。
【０１１０】
画像の回転量の指定は矢印の回転に制限されることはなく、単にメニュー、ボタンなどにあらかじめ回転量の選択肢を用意しておき、回転量を選択する方法、又はキーボードにより回転角を入力する方法も考えられる。これらのいくつかを併用して用いるようにしても良い。
【０１１１】
尚、本実施の形態では画像の回転を行ったが、プロファイルを回転しても同様の効果が得られる。
【０１１２】
（第５実施の形態）
図２１、図２２に本発明の第５実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【０１１３】
ステレオ画像の左、右画像はほぼ同じ領域が撮像されている。観察を容易にするため、一方の画像表示ウィンドウのスクロール操作に同期して、もう一方の画像ウィンドウを自動的にスクロールさせたいとの要望がある。以下においては、同期スクロールを実現する機能を備える計測用内視鏡装置について説明する。
【０１１４】
図２２（ａ）に左画像表示ウィンドウＷ１、右画像表示ウィンドウＷ２の表示例を示す。ここでは、両画像表示ウィンドウＷ１，Ｗ２のスクロールを、スクロールバーを移動し、その移動量に応じて画像の表示を変更する場合を例に説明する。
【０１１５】
各画像表示ウィンドウＷ１，Ｗ２のスクロールはスクロールポジションとスクロール量という値により制御されているとする。スクロールポジションはスクロールバーの位置を表す。スクロール量はユーザが移動したスクロールバーの移動量である。
【０１１６】
スクロールポジションにスクロール量を加減算することでスクロール状態を変化させる。つまり、スクロールポジションによりスクロールバーの位置、画像の表示領域が管理、決定されることとする。
【０１１７】
又、図２２に示すチェックボックスがセットされているときは同期スクロールするが、チェックされていないときは各画像表示ウィンドウＷ１，Ｗ２は独立にスクロールするものとする。
【０１１８】
尚、この場合、画面の表示スペース、デザイン上の都合によっては、画像をフルスケール（１倍）で表示しない場合がある。ここでは、左画像表示ウィンドウＷ１の縦サイズ、横サイズをそれぞれＫ１倍、右画像表示ウィンドウＷ２の縦サイズ、横サイズをそれぞれＫ２倍で表示したものとして考える（Ｋ１、Ｋ２は実数）。
【０１１９】
以下では、同期スクロールを実現する機能について、図２１の同期スクロールの流れを示すフローチャートに従って説明する。
【０１２０】
先ず、Ｓ５−１において画像表示ウィンドウＷｉ（ｉ＝１，２）のスクロールバーの移動を検出する。スクロールを検出したウィンドウを、メインウィンドウＷ α とし、非検出側のメインウィンドウをサブウィンドウＷ β とする。又、メインウィンドウＷ α のスクロール量をＭ α とする。
【０１２１】
Ｓ５−２においてチェックボックスがセットされているかどうか調べる。セットされている場合は、５−３ヘ進み、セットされていないときは、Ｓ５−４へ進む。
【０１２２】
Ｓ５−３においてメインウィンドウＷ α のスクロール処理を行う。
スクロール処理とは、スクロール量に応じたスクロールバーの移動と、メインウィンドウＷ α への画像の描画を行うことを言う。
【０１２３】
そして、メインウィンドウＷ α のスクロール後のスクロールポジションＳｔ α を取得する。又、サブウィンドウＷ β のスクロールポジションをＳｔ α ・（Ｋ β ／Ｋ α ）にセットする。
【０１２４】
次いで、サブウィンドウＷ β のスクロール処理を行った後、同期スクロールの処理を終了する。
【０１２５】
その結果、図２２（ｂ）に破線で示すように、両ウィンドウＷ１，Ｗ２の一方のメインウインドウに対して他方のサブウインドウが同期スクロールする。
【０１２６】
又、Ｓ５−２においてチェックボックスがセットされてないと判断されて、Ｓ５−４ヘ進むと、メインウィンドウＷ α のみスクロール処理を行い、ルーチンを終了する。
【０１２７】
このように、本実施の形態によれば、ステレオ画像の一方をスクロールすることにより、もう一方の画像の同じ場所を自動的に表示することができる。
【０１２８】
尚、図２２に示すチェックボックスがセットされたときは、スクロールバーを操作する前に、画像ウィンドウＷ１，Ｗ２のうちいずれかのウィンドウをメインウィンドウＷ α として設定して、Ｓ５−３を実行し、両ウインドウＷ１，Ｗ２のスクロールポジションを一致させた後、同期スクロールへ移行させる。
【０１２９】
尚、同期スクロールは、プロファイルＴに対して行っても良い。この場合、画像については、スクロールポジションごとに表示される計測ラインＬの区間、プロファイルについてスクロールポジションごとに表示される三次元位置に対応するプロファイルＴの区間を記憶しておき、スクロール要求に応じて、対応する部分が表示されるように制御する。
【０１３０】
（第６実施の形態）
図２３〜図２６に本発明の第６実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【０１３１】
画像上の任意の２点間の距離計測、及び計測位置の微調整を簡単に行いたいという要望がある。そこで、任意の点での計測及び、計測位置の調整を簡単に行える機能を、図２３〜図２５の距離計測の流れを示すフローチャートに従って説明する。
【０１３２】
先ず、Ｓ６−１において左画像上の２点を指定する（以下、指定点と呼ぶ）。２点の指定はマウスなどの入力デバイスを用いて行う。このとき、２点を通る直線を計測ラインＬとし、この計測ラインＬ上の点をＬｉ（ｉ＝０，…，N-1）とし、選択された２点をＬ α 、Ｌ β とし、その座標をＬ α （ｐ α ，ｑ α ）、Ｌ β （ｐ β ，ｑ β ）とする。
【０１３３】
Ｓ６−２において計測ラインＬ上の点について右画像の対応点を求める。次いで、（１）〜（３）式により計測ラインＬ上の点までの三次元位置を求める。そして、点Ｌｉに対する三次元位置をＤｉ（ｉ＝０，…，N-1）とし、その座標をＤｉ（ｘｉ，ｙｉ，ｚｉ）とする。
【０１３４】
Ｓ６−３においてＳ１−４と同様に三次元位置を二次元グラフ（プロファイル）により表示する。
【０１３５】
図２６は左画像用モニタ１３０Ｌに画像およびプロファイルを表示した例である。点Ｄｉ（ｘｉ，ｙｉ，ｚｉ）に対応する二次元グラフ上の点をＴｉ（ｉ＝０，…，N-1）とする。
【０１３６】
Ｓ６−４において図２６（ａ）のように計測ラインＬ及び、指定点Ｌ α 、Ｌ β を通過する所定の長さの垂直を描画する。指定点の近傍にその距離ｄ（例えば、３ｍｍ）を表示する。この距離ｄは次式により求める。
【０１３７】
ｄ＝｛（ｘ β −ｘ α ）２＋（ｙ β −ｙ α ）２＋（ｚ β −ｚ α ）２｝１／２ …（６）
Ｓ６−５において、図２６（ａ）に示すようにプロファイルには指定点に対応する部分Ｔ α 、Ｔ β を通過する所定の長さの垂直線を描画し、垂直線の近傍にその間の距離ｄを描画する。
【０１３８】
Ｓ６−６においてマウス入力がドラッグかクリックかを判定する。そして、マウス入力がドラッグのときは、Ｓ６−７へ進み、Ｓ６−７〜Ｓ６−９において、ドラッグ状態を判別する。
【０１３９】
すなわち、先ず、Ｓ６−７において、ドラッグが画像上か、プロファイル上かを判別し、画像上のときはＳ６−８へ進み、プロファイル上のときはＳ６−９へ進み、それ以外のときはＳ６−１２へ進む。
【０１４０】
Ｓ６−８においては、ドラッグ開始位置が左画像の垂線上もしくは近傍ならば計測位置変更モード１（Ｓ６−１０）へ進み、それ以外のときはＳ６−１２へ進む。
【０１４１】
Ｓ６−９においては、ドラッグ開始位置がプロファイルの垂直線上もしくは近傍ならば計測位置変更モード２（Ｓ６−１１）へ進み、それ以外のときはＳ６−１２へ進む。
【０１４２】
Ｓ６−１０において、図２６（ｂ）に示すように、画像内の垂線をマウスのドラッグに従って移動し、ドラッグが終了したとき垂線の移動を終了する。
【０１４３】
そして、ドラッグが停止した位置での垂線と交わる計測ラインＬ上の２点をそれぞれＬ α 、Ｌ β として垂線間の距離ｄ（例えば、６ｍｍ）を、（６）式で再計算し表示する。
【０１４４】
これにより同一の計測ラインＬについて計測位置の微調整が可能となる。又、このとき、プロファイル側の垂直線も垂直の位置変化に応じて移動し、同時にそのとき距離ｄを表示する。
【０１４５】
Ｓ６−１１において、プロファイル側の垂直線をマウスのドラッグに従って移動させ、ドラッグ終了時に、垂直線の移動を終了する。
【０１４６】
そして、垂直線と交わるプロファイルＴ上の２点をそれぞれＴ α 、Ｔ β に対応するＬ α 、Ｌ β を用いて、距離ｄを（６）式で再計算し表示する。これにより、同一の計測ラインについて計測位置の微調整が可能となる。このとき、左画像の垂線も垂直線の位置に対応して移動し、移動後の距離ｄを表示する。
【０１４７】
又、Ｓ６−６でマウス入力がクリックであると判定されて、Ｓ６−１４へ進むと、Ｓ６−１４、Ｓ６−１５で、マウスのクリック位置を調べ、左画像上で且つ垂線近傍のときは、Ｓ６−１２へ進み、それ以外のときは、Ｓ６−１へ戻り、計測ラインＬを再設定する。
【０１４８】
Ｓ６−１２において、画面に表示されているボタンの入力をチェックし、ボタンが押されていれば、それに応じた処理を行い、処理が終了した後ルーチンを終了する。又、ボタンが押されていないときは、そのままルーチンを終了する。
【０１４９】
図２６に示すように、画面上には垂線左移動、垂線右移動、垂直線左移動、垂直線右移動のボタンがそれぞれ表示されており、垂線及び、垂直線を１〜数画素単位などの微少単位で移動することができる。
【０１５０】
押されたボタンに応じて以下の処理を行う。但し、垂線と水平方向がなす角が４５〜１３５度の間は、垂線左移動は垂線上移動に対応する。垂線右移動は同様に垂線下移動に対応する。
【０１５１】
１）垂線左（上）移動
垂線を左（上）に移動する。垂線間の距離の再計算を行い、垂線近傍に再描画する。プロファイルの垂直線を垂線移動に応じて移動し、距離を再描画する。
２）垂線右（下）移動
垂線を右（下）に移動する。垂線間の距離の再計算を行い、垂線近傍に再描画する。プロファイルの垂直線を垂線移動に応じて移動し、距離を再描画する。
３）垂直線左移動
垂直線を左に移動する。垂直線間の距離を再計算を行い、垂直線近傍に再描画する。画像の垂線を垂直線移動に応じて移動し、距離を再描画する。
４）垂直線右移動
垂直線を右に移動する。垂直線間の距離の再計算を行い、垂直線近傍に再描画する。画像の垂線を垂直線移動に応じて移動し、距離を再描画する。
【０１５２】
尚、本実施の形態では２点間の距離を表示したが、２点間の高さなど他の計測値を表示しても良い。
【０１５３】
［付記］以上、詳述したように本発明によれば以下に示す構成を得ることができる。
（付記項１）
同一対象を異なる位置から撮像する撮影手段と、
撮像手段により得られる複数枚の画像から、計測対象の立体形状を推定する手段と、
推定した立体形状をプロファイル情報に変換する手段と、
変換されたプロファイル情報と画像との対応関係を求める手段と、
プロファイル情報と画像との対応関係を表示する表示手段と、
を具備したことを特徴とする計測用内視鏡装置。
このような構成よれば、計測対象の立体形状と画像上の計測点との対応を表示手段に表示することができる。
【０１５４】
（付記項２）
変換手段により変換されたプロファイル情報及び／又は撮像手段により撮像された画像を回転する手段と、
回転されたプロファイル情報及び／又は画像を表示する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成よれば、計測対象の立体形状と画像を任意方向で表示することができる。
【０１５５】
（付記項３）
前記変換されたプロファイル情報において指定点を指定する入力手段と、
画像において指定点に対応する計測ライン上の計測点を求める手段と、
前記計測点を明示する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、計測対象立体形状の任意の点と画像上の計測点との対応を表示することができる。
【０１５６】
（付記項４）
画像において計測ライン上の計測点を指定する入力手段と、
前記変換されたプロファイル情報において、指定された計測点に対応する対応点を求める手段と、
前記対応点を明示する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、画像上の任意の計測点と計測対象立体形状の対応を表示することができる。
【０１５７】
（付記項５）
立体形状推定結果の信頼性を求める手段と、
信頼性の数値及び／又は、図形により表示する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、計測の信頼性を立体形状とともに表示することができる。
【０１５８】
（付記項６）
撮像手段により撮像された二枚以上の画像を表示する手段と、
二枚以上の画像を同期してスクロールする手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、画像同士を同期してスクロールさせることができる。
【０１５９】
（付記項７）
撮像手段により撮像された一枚以上の画像を表示する手段と、
一枚以上の画像及び変換されたプロファイル情報を同期してスクロールする手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、画像とプロファイル情報とを同期してスクロールさせることができる。
【０１６０】
（付記項８）
変換されたプロファイル情報上又は、画像上の２点を指定する入力手段と、
指定された２点間の距離を求める手段と、
距離を表示する手段を有する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、画像或いはプロファイル上での任意の２点間の距離などの計測及び、計測点の微調整を行うことができる。
【０１６１】
【発明の効果】
以上、説明したように本発明によれば、撮像手段により撮像した被写体像と、被写体像の所定部位の立体形状に対応するプロファイル情報とを同時に表示すると共に、このプロファイル情報と被写体像を撮像した撮像信号との対応関係を示す対応関係情報を表示するようにしたので、立体形状と被写体像との位置関係を容易に把握することができる。
【図面の簡単な説明】
【図１】第１実施の形態による計測用内視鏡装置の構成を示すブロック図
【図２】同、内視鏡の挿入部先端部の説明図
【図３】同、計測用内視鏡装置の機能構成を示すブロック図
【図４】同、ホストコンピュータの構成を示すブロック図
【図５】同、外部記憶装置の構成を示すブロック図
【図６】同、三次元座標系の説明図
【図７】同、三次元座標算出原理を示す説明図
【図８】同、計測結果を描画する流れを示すフローチャート
【図９】同、ウィンドウ表示例を示す説明図
【図１０】同、歪曲収差補正に関する説明図
【図１１】同、立体形状（三次元データ）を図形（二次元データ）に変換する手段を示す説明図
【図１２】第２実施の形態による一時マーカーを描画する流れを示すフローチャート
【図１３】同、ウィンドウ表示例を示す説明図
【図１４】第３実施の形態による計測結果の信頼性を求める流れを示すフローチャート
【図１５】同、ウィンドウ表示例を示す説明図
【図１６】同、信頼性を求める原理を示す説明図
【図１７】第４実施の形態による画像の回転処理の流れを示すフローチャート
【図１８】同、ウィンドウ表示例を示す説明図
【図１９】同、画像の回転処理の際のウィンドウ表示例を示す説明図
【図２０】同、画像を回転処理する際の説明図
【図２１】第５実施の形態による同期スクロールの流れを示すフローチャート
【図２２】同、ウィンドウ表示例を示す説明図
【図２３】第６実施の形態による距離計測の流れを示すフローチャート(その１)
【図２４】同、距離計測の流れを示すフローチャート（その２）
【図２５】同、距離計測の流れを示すフローチャート（その３）
【図２６】同、ウィンドウ表示例を示す説明図
【符号の説明】
１０１ 内視鏡
１０４Ｌ 左撮像手段
１０４Ｒ 右撮像手段
１２０ ホストコンピュータ
１３０Ｌ 左画像用モニタ
１３０Ｒ 右画像用モニタ
Ｌ 計測ライン
Ｔ プロファイル
Ｌ α 、Ｌ β 指定点
Ｐ 計測対象点
【発明の属する技術分野】
本発明は、撮像された被写体像の任意位置の距離を容易に計測することが可能な三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法に関する。
【０００２】
【従来の技術】
近年、医療分野及び工業分野において、内視鏡が広く用いられるようになった。通常の内視鏡による観察像では、一般に対象物は平面的なものとなり、凹凸等を認識し難い。そのため、最近では、内視鏡の先端に左右２系統の撮像手段を配設し、この２系統の撮像手段により撮像された左右画像から、ステレオ法により対象の立体形状を推定し、この立体形状を、プロファイルやワイヤフレームにより表示する技術が知られている。
【０００３】
例えば、特開平６−３３９４５４号公報はステレオ内視鏡を用いて三角測量の原理により、特開昭６３−２４６７１６号公報は単眼内視鏡を用いて三角測量の原理により対象までの距離、複数の対象点間の距離を算出する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかし、上述した先行技術に開示されている技術では、計測対象である被写体のプロファイル（立体形状を２次元的なグラフに変換表示したもの）を表示する手段がない、もしくはワイヤーフレームなどにより立体形状を表示する手段があるにしても、表示した立体形状と被写体像との対応関係が把握しがたい問題がある。
【０００５】
本発明はこのような事情に鑑み、立体形状と被写体像との対応関係を容易に把握することが可能な三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の一態様による三次元計測内視鏡装置は、細長な挿入部の先端部に設けた被写体像を撮像する撮像手段と、前記撮像手段により得られた複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定手段と、前記立体形状推定手段で推定された立体形状情報に基づいて、前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成手段と、前記プロファイル情報作成手段で作成されたプロファイル情報を表示手段に表示するよう制御するプロファイル情報表示制御手段と、前記表示手段に表示されたプロファイル情報の所定位置と前記被写体像中の所定位置との対応位置情報を取得する対応位置情報取得手段と、前記対応位置情報取得手段で取得された対応位置情報を前記表示手段に表示するよう制御する対応位置情報表示制御手段とを具備している。
【０００７】
また、他の態様による被写体計測表示装置は、被写体像を撮像する撮像手段と、前記撮像手段で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定手段と、前記立体形状推定手段で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成手段と、前記プロファイル情報作成手段で作成されたプロファイル情報を表示手段に表示するよう制御するプロファイル情報表示制御手段と、前記プロファイル情報表示手段に表示されたプロファイル情報と前記撮像手段から取得された画像信号との対応関係情報を取得する対応関係情報取得手段と、前記プロファイル情報作成手段で表示された前記プロファイル情報上で任意の位置を指定可能な指定手段と、前記指定手段で指定された指定情報と前記対応関係情報取得手段で取得された対応関係情報とに基づき、前記指定手段で指定された第１の位置情報を前記画像信号中における第２の位置情報として取得する位置情報取得手段と、前記位置情報取得手段で得られた第２の位置情報に基づき、前記画像信号に基づき表示される被写体像上に前記指定手段による指定位置情報を前記表示手段に表示するよう制御する指定位置情報表示制御手段とを具備している。
【０００８】
本発明の一態様による三次元計測内視鏡の被写体計測表示方法は、細長な挿入部の先端部に設けた被写体像を撮像する撮像手段により被写体像を撮像する撮像行程を具備した三次元計測内視鏡の被写体計測表示方法において、前記撮像行程で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定行程と、前記立体形状推定行程で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成行程と、前記プロファイル情報作成行程で作成されたプロファイル情報を表示するプロファイル情報表示行程と、前記プロファイル情報表示行程で表示されたプロファイル情報の所定位置と前記撮像行程で取得される前記被写体像中の所定位置との対応位置情報を取得する対応位置情報取得行程と、前記対応位置情報取得行程で取得された対応位置情報を表示する対応位置情報表示行程とを具備している。
【０００９】
また、本発明の他の態様による被写体計測表示方法は、被写体像を撮像する撮像行程を具備した被写体計測表示方法において、前記撮像行程で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定行程と、前記立体形状推定行程で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成行程と、前記プロファイル情報作成行程で作成されたプロファイル情報を表示するプロファイル情報表示行程と、前記プロファイル情報表示行程で表示されたプロファイル情報と前記撮像行程で取得された画像信号との対応関係情報を取得する対応関係情報取得行程と、前記プロファイル情報表示行程で表示された前記プロファイル情報上で任意の位置を指定可能な指定行程と、前記指定行程で指定された指定情報と前記対応関係情報取得行程で取得された対応関係情報とに基づき、前記指定行程で指定された第１の位置情報を前記画像信号中における第２の位置情報として取得する位置情報取得行程と、前記位置情報取得行程で得られた第２の位置情報に基づき、前記画像信号に基づき表示される被写体像上に前記指定行程による指定位置情報を表示する指定位置情報表示行程とを具備している。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。本実施の形態においては、適用する計測内視鏡として、先端に２系統の対物レンズを備えたステレオ内視鏡を用いる。
【００１１】
（第１実施の形態）
図１〜図１１は本発明の第１実施の形態に係わり、図１は計測用内視鏡装置の構成を示すブロック図、図２は内視鏡の挿入部先端部の説明図、図３は計測用内視鏡装置の機能構成を示すブロック図、図４はホストコンピュータの構成を示すブロック図、図５は外部記憶装置の構成を示すブロック図、図６は三次元座標系の説明図、図７は三次元座標算出原理のための説明図、図８は計測結果を描画する流れを示すフローチャート、図９はウィンドウ表示例、図１０は歪曲収差補正に関する説明図、図１１は立体形状（三次元データ）を図形（二次元データ）に変換する手段を示す説明図である。
【００１２】
（構成）
図３に示すように、本実施の形態において採用する計測用内視鏡装置は、ステレオ式ビデオイメージエンドスコープ（以下、単に「内視鏡」と称する）１０１と、この内視鏡１０１によって撮像される右画像及び左画像の各画像信号を信号処理する右画像用ビデオプロセッサ１１０Ｒ及び左画像用ビデオプロセッサ１１０Ｌと、この各ビデオプロセッサ１１０Ｒ，１１０Ｌから出力される、例えばＲＧＢ信号による各映像信号を記憶する右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌと、この各フレームメモリ１１２Ｒ，１１２Ｌから出力される、例えばＲＧＢ信号による映像信号を入力して、右画像，左画像を表示する右画像用モニタ１３０Ｒ及び左画像用モニタ１３０Ｌと、各フレームメモリ１１２Ｒ，１１２Ｌに記憶された画像を用いて、立体計測演算を行うホストコンピュータ１２０と、このホストコンピュータ１２０に接続された外部記憶１４０と、ホストコンピュータ１２０に接続されてモニタ１３０Ｒ，１３０Ｌに表示されるカーソルの操作や計測対象点の指定及び計測対象領域の設定等を行うマウス１４５とを備えている。
【００１３】
両ビデオプロセッサ１１０Ｒ，１１０Ｌは、互いに同期した信号処理を行うように設定されている。又、本実施の形態では、各フレームメモリ１１２Ｒ，１１２Ｌは、Ｒ，Ｇ，Ｂ用の各メモリを複数組備えており、１組には画像が記憶され、他の組にはカーソルが書き込まれ、各組に書き込まれた信号を足し合わせることにより、各モニタ１３０Ｒ，１３０Ｌの画面上に画像とカーソルとを表示できる。
【００１４】
又、図４に示すように、ホストコンピュータ１２０は、ＣＰＵ１２１、右フレームメモリインターフェース１２２Ｒ、左フレームメモリインターフェース１２２Ｌ、メインメモリ１２３、外部記憶インターフェース１２４、マウスインターフェース１２５、キーボード１２６及びＣＲＴ１２７を備え、これらは、バスによって互いに接続されている。
【００１５】
又、右フレームメモリインターフェース１２２Ｒ、左フレームメモリインターフェース１２２Ｌは、それぞれ、右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌに接続され、これらとの間で画像データの送受を行うと共に、各インターフェース１２２Ｒ，１２２Ｌを介して、フレームメモリ１１２Ｒ，１１２Ｌに対するカーソル制御を行うように設定されている。又、外部記憶インターフェース１２４は、外部記憶１４０に接続され、画像データ及び計測対象点位置情報の送受を行うように設定されている。又、マウスインターフェース１２５は、マウス１４５に接続される。
【００１６】
図５に示すように、外部記憶１４０は、計測対象点の位置情報を記憶し、ホストコンピュータ１２０と各種計測データの送受を行う計測データ情報用ファイル１８１と、ホストコンピュータ１２０と画像データの送受を行うステレオ画像マネージャー１８２と、このステレオ画像マネージャー１８２に連結され、左画像データを記憶する左用画像ファイル１８３Ｌと、ステレオ画像マネージャー１８２に連結され、右画像データを記憶する右用画像ファイル１８３Ｒとを備えている。
【００１７】
本実施の形態では、内視鏡１０１で得たステレオ画像を左右２枚１組で取り扱っており、ホストコンピュータ１２０から２枚１組で送られて来たステレオ画像は、ステレオ画像マネージャー１８２によって、左用、右用各画像ファイル１８３Ｌ，１８３Ｒに振り分けられて、記録される。又、ステレオ画像マネージャー１８２によって、各画像ファイル１８３Ｌ，１８３Ｒに記録された画像は、２枚１組で呼び出される。
【００１８】
又、図２に示すように内視鏡１０１は、細長の挿入部１０２を備え、この挿入部１０２の先端部に、複数の、例えば２つの観察窓と、照明窓とが設けられている。各観察窓の内側には、互いに視差を有する位置に、右眼用対物レンズ系１０３Ｒ、左眼用対物レンズ系１０３Ｌが設けられている。各対物レンズ系１０３Ｒ，１０３Ｌの結像位置には、それぞれ、固体撮像素子を用いた左、右撮像手段１０４Ｌ，１０４Ｒが配設されている。
【００１９】
又、照明窓の内側には、配光レンズ１０５が設けられ、この配光レンズ１０５の後端には、ファイババンドルよりなるライトガイド１０６が連設されている。このライトガイド１０６は、挿入部１０２内に挿通され、入射端部には図示しない光源装置が接続される。
【００２０】
この光源装置から出力される照明光が、ライトガイド１０６及び配光レンズ１０５を介して被写体に照射され、この被写体からの反射光が、対物レンズ系１０３Ｒ，１０３Ｌによって、それぞれ右画像、左画像として、撮像手段１０４Ｒ，１０４Ｌに結像される。
【００２１】
次に、計測用内視鏡装置の機能ブロック構成を図１を用いて説明する。
【００２２】
撮像手段１０４Ｒ，１０４Ｌによって撮像された被写体像の各画像信号は、それぞれ、ビデオプロセッサ１１０Ｒ，１１０Ｌに入力され、映像信号処理が施される。各ビデオプロセッサ１１０Ｒ，１１０Ｌから出力される各画像信号は、それぞれ、Ａ／Ｄ変換器１１１Ｒ，１１１Ｌによりデジタル信号に変換された後、画像メモリすなわち、各フレームメモリ１１２Ｒ，１１２Ｌのうちの画像用のメモリに記憶される。
【００２３】
そして、右画像、左画像用フレームメモリ１１２Ｒ，１１２Ｌから読み出された画像信号は、それぞれ、画像処理手段２００で所定に画像処理された後、表示制御手段２０１を経て、Ｄ／Ａ変換器１５８Ｒ，１５８Ｌに出力され、ここでアナログ信号に変換された後、右画像、左画像用モニタ１３０Ｒ，１３０Ｌにそれぞれ入力される。そして、この両モニタ１３０Ｒ，１３０Ｌに、それぞれ、右画像、左画像が表示される。
【００２４】
一方、カーソルの表示はカーソル表示手段１５１によって処理され、又、カーソル表示は表示制御手段２０１が管理する。カーソルは画面に重畳されて、両モニタ１３０Ｒ、１３０Ｌのいずれか一方に表示される。
【００２５】
カーソルにより指定された計測点に対して画像処理手段２００が三次元位置の導出、立体形状と画像上の計測点との対応表示などの処理を行い、表示制御手段２０１を通して、処理結果がモニタに表示される。
【００２６】
又、表示制御手段２０１は、カーソル表示の管理のほか、マルチウィンドウ表示に必要な処理を行う。画像処理手段２００、及び表示制御手段２０１における処理及び制御機能はホストコンピュータ１２０を動作させることにより達成される。この場合、通常、表示制御手段２０１の機能はオペレーティングシステムが有している。
【００２７】
尚、図３、図４に示す右画像、左画像用フレームメモリ１１２Ｒ，１１２Ｌは、本実施の形態ではホストコンピュータ１２０の外部に設けているが、ホストコンピュータ１２０にＰＣＩボードタイプのフレームメモリを利用して内蔵しても良い。又、図３においてステレオ画像の表示は右画像、左画像用モニタ１３０Ｒ，１３０Ｌに対して行っているが、パソコンのＣＲＴ１２７に対して行うようにしても良い。
【００２８】
次に、このように構成された計測用内視鏡装置により、立体形状の推定、推定した立体形状と画像上の計測点の対応を表示する過程を、図８の計測結果を描画する流れを示すフローチャートに従って説明する。
【００２９】
以下では左画像で計測ラインＬを指定し、右画像に対して対応点を求めるものとして説明を行うが、逆に右画像で計測する計測ラインを指定し、左画像で対応点を求めても問題はない。
【００３０】
操作者は、図９に示すように、左画像用モニタ１３０Ｌに表示されているステレオ画像の左画像において計測を行う部分として計測ラインＬを指定する。すると、右画像においては、計測ラインＬ上の各点の対応点が求められる。そして、三角測量の原理を用いることで、計測ラインＬの立体形状（三次元データ）が求められ、プロファイルとして表示する。
【００３１】
以下の説明では、画像ＡをＡ（ｐ，ｑ）とし、ｐ及びｑは画素の位置を表すものとする。又、画像の大きさは、特に断りのない場合は水平及び垂直方向に対しそれぞれＳＸ及びＳＹであるものとする。
【００３２】
先ず、Ｓ１−１においてステレオ画像の左画像上において、入力デバイスにより計測ラインＬを指定する。計測ラインＬ上の点をＬｉ（ｉ＝０，…，N-1）とする。計測ラインの指定はマウスなどのデバイスにより、例えば始点Ｌ0 と終点ＬN-1 を指定する。
【００３３】
Ｓ１−２において、左画像上で指定した点Ｌｉに対応する右画像上の対応点を求める。対応点の検出は、例えばエピポーララインを用いたテンプレートマッチングにより行うことができる。
【００３４】
Ｓ１−３において、三角測量の原理を用いて三次元位置を求める。計測ラインＬ上の点Ｌｉのそれぞれの三次元位置をＤｉ（ｉ＝０，…N-1）、その座標をＤｉ（ｘｉ，ｙｉ，ｚｉ）とする。
【００３５】
Ｓ１−４において、三次元位置Ｄｉを二次元グラフ（プロファイル）上に表示する。尚、二次元化の手法は後述する。
【００３６】
そして、図９に示すように、三次元位置Ｄｉに対応するプロファイル上の点をＴｉとした場合、この点Ｔｉについて所定の間隔Ｉｔごとにマーカー（図においては、点１，２，３，４）を描画する。つまり、ｉ％Ｉｔ＝０の場合に点Ｔｉにマーカーを描画する（％は整数の割り算の余りを表す）。それ以外の点Ｔｉではマーカーの描画を行わない。
【００３７】
尚、ここでいうマーカーとは描画位置を明確に示すための目印であり、具体的には丸、四角などの図形を使用する。又、マーカーに連続番号を付し、このマーカーの近傍に番号を描画する。
【００３８】
Ｓ１−５において、図９に示すように計測ラインＬを画像上に描画する。この場合、プロファイルと同様に、所定の間隔Ｉｔごとに計測ラインＬ上にマーカー（図においては、点１，２，３，４）の描画を行う。ｉ％Ｉｔ＝０の場合に、計測ラインＬ上の点Ｌｉにマーカーを描画する（％は整数の割り算の余りを表す）。
【００３９】
それ以外の点Ｌｉではマーカーの描画は行わない。この場合、プロファイルと同様にマーカーに連続番号を付し、マーカーの近傍に番号を描画する。但し、連続番号は対応する点Ｌｉと点Ｔｉが同じ番号となるように付与する。
【００４０】
以上の処理により、プロファイルと画像との対応関係が明確となる。この場合、マーカーの区別をつける方法は、連続番号をつけてマーカーの近傍に描画する手法に限定されるものではなく、例えば、
１）対応するマーカーごとにマーカーの形状を変更する。
２）対応するマーカーごとに色を変更する。
等が考えられる。
【００４１】
次に、Ｓ１−３における、対象までの距離を算出する原理をより具体的に説明する。
【００４２】
図６に示すように、対象物体の三次元座標は、内視鏡挿入部１０２の先端における２つの対物レンズ１０３Ｒ、１０３Ｌの中心を通る直線の方向をＸ軸とし、左側の対物レンズを原点ＯLとするＸＹＺ座標系により表されるものとする。図７（ａ），（ｂ）は得られる三次元座標系において内視鏡１０１の撮像系をＸ−Ｚ、Ｙ−Ｚ座標系に基づき表したものである。
【００４３】
計測対象点Ｐはマウス１４５を用いた操作により、フレームメモリ１１２Ｒ及び１１２Ｌ上で指定される。計測対象点Ｐは、対物レンズ系１０３Ｒ及び１０３Ｌを通じ、撮像手段１０４Ｒ及び１０４Ｌ上に結像したものである。ここでは、左右の光軸は平行であり、それぞれ撮像手段１０４Ｌ及び１０４Ｒと直交するものとする。又、対物レンズ系１０３Ｒと撮像手段１０４Ｒ、対物レンズ系１０３Ｌと撮像手段１０４Ｌは、それぞれ平行に配置されている。
【００４４】
計測対象点Ｐの三次元座標（Ｘｐ，Ｙｐ，Ｚｐ）は三角法を用いて算出される。図７において計測対象点Ｐの各撮像手段１０４Ｒ，１０４Ｌ上での結像位置は、原点Ｏ Ｌ （左対物レンズ系の中心）を基準として、それぞれ（Ｌｐｘ，Ｌｐｙ）、（Ｒｐｘ，Ｒｐｙ）として表される。但し、原点Ｏ Ｌ と右対物レンズ系の中心Ｏ Ｒ のＹ座標は等しく、Ｌｐｙ＝Ｒｐｙであるため、図７（ｂ）では左側撮像系のみを示す。又、撮像手段１０４Ｒ及び１０４Ｌと光軸と交点をＲ１，Ｌ１とする。
【００４５】
尚、内視鏡による撮像画像は、一般に広角レンズを使用しているため、歪曲収差による歪が存在する。本実施の形態においては、歪曲収差補正処理適用後の結像位置を（Ｌpx，Ｌpy）及び（Ｒpx，Ｒpy）とする。歪曲収差補正処理は例えば以下のように行う。
【００４６】
内視鏡を用いて、例えば図１０（ａ）に示す正方のます目を撮像した場合、得られる画像は図１０（ｂ）に示されるようなものになる。この歪画像が正方のます目画像になるように、各画素における補正値をあらかじめ決定しておき、実際の撮像画像に対しての補正を行うことにより歪曲収差補正処理を実現することが可能となる。より具体的な処理手法は、例えば、米国特許第４，８９５，４３１号に開示されている。以下、本実施の形態においては歪曲収差補正処理適用後の画像を取り扱うものとする。
【００４７】
図７においてＤは左右の光軸間の距離、Ｆは対物レンズ系１０３Ｒと撮像手段１０４Ｒとの距離を示し、この距離Ｆは対物レンズ系１０３Ｌと撮像手段１０４Ｌとの間も同じである。
【００４８】
計測対象点Ｐから内視鏡先端面上に下ろした垂線の足をＱとすると、次に示す（Ａ）（Ｂ）（Ｃ）の関係が成り立つ。
【００４９】
図７（ａ）より
（Ａ）ΔＰＱＯ Ｌ ∽ΔＯ Ｌ Ｌ１Ｌｐｘ
（Ｂ）ΔＰＯ Ｒ Ｑ∽ΔＯ Ｒ ＲｐｘＲ1
図７（ｂ）より
（Ｃ）ΔＰＱＯ Ｌ ∽ΔＯ Ｌ Ｌ１Ｌｐｙ
【００５０】
Ｌ１Ｌｐｘ、Ｒ１Ｒｐｘ及びＬ１Ｌｐｙの値は撮像素子面における距離として得ることができる。すなわち、フレームメモリ１１２Ｒ及び１１２Ｌ上における結像位置と１画素あたりの画素サイズから求めれば良い。
【００５１】
又、図７（ａ）より
（Ｄ）Ｏ Ｌ Ｑ＋ＱＯ Ｒ ＝Ｄ
が成り立ち、図７（ａ）及び（ｂ）より
（Ｅ）Ｏ Ｌ Ｌ１＝Ｏ Ｒ Ｒ１＝Ｆ
が成り立つ。
【００５２】
これらの条件（（Ａ）〜（Ｅ））により計測対象点Ｐの座標（Ｘp，Ｙp，Ｚp）は、以下の式（１）、（２）、（３）より求められる。
【００５３】
Ｘｐ＝ＤＬｐｘ／（Ｌｐｘ−Ｒｐｘ） …（１）
Ｙｐ＝ＤＬｐｙ／（Ｌｐｘ−Ｒｐｘ） …（２）
Ｚｐ＝ＤＦ／（Ｒｐｘ−Ｌｐｘ） …（３）
【００５４】
以上により得られた計測対象点の三次元座標より、内視鏡先端から計測対象点までの距離、複数の計測対象点間の距離を求めることができる。
【００５５】
Ｓ１−４における三次元座標をプロファイル上に表示する手法は、以下のように行う。
【００５６】
式（１）〜（３）で求まる座標は、図６の座標系、図１１（ａ）でいえばＸＹＺ座標系による座標値である。この座標値を横軸を計測ラインＬ、縦軸をＸＹＺ座標系のＺ軸とした二次元座標系に変換しプロットすることで二次元化する。
【００５７】
つまりＸＹＺ座標系による値を、図１１のＸ’Ｙ’Ｚ座標系に変換する（Ｘ’は計測ラインに平行な座標、Ｙ’はＸ’とＺと垂直な軸とする）。変換後の座標値のうちＸ’とＺを使って二次元グラフを作成する。Ｓ１−１で指定される計測ラインＬの始点と終点をＸＹＺ座標系において、Ｌ ０ （Ｘ Ｌ０ ，Ｙ Ｌ０ ，Ｆ），Ｌ Ｎ−１ （Ｘ ＬＮ−１ ，Ｙ ＬＮ−１ ，Ｆ）とする。
【００５８】
左右の光軸が平行であり、画像平面が光軸に垂直であるとした場合、画像上にどのような計測ラインＬを指定してもＸ軸とＸ’軸との関係は、Ｚ軸周りの回転しか生じない。従って、ＸＹ軸の二次元だけを考えてＸ軸とＸ’軸とのなす角を考えれば良いことになる。
【００５９】
このときの計測ラインＬの始点と終点とは、
Ｌ ０ （Ｘ Ｌ０ ，Ｙ ＬＯ ）
Ｌ Ｎ−１ （Ｘ ＬＮ−１ ，Ｙ ＬＮ−１ ） …（４）
となる。
【００６０】
又、Ｘ軸とＸ’軸とのなす角θは、
ｃｏｓθ＝（Ｘ Ｌ０ Ｘ ＬＮ−１ ＋Ｙ Ｌ０ Ｙ ＬＮ−１ ）／｛（Ｘ Ｌ０ ２＋Ｘ ＬＮ−１ ２）１／２＋（Ｙ Ｌ０ ２＋Ｙ ＬＮ−１ ２）１／２｝ …（５）
により求められる。求まったθを使ってＸＹ座標系の値をＸ’軸、Ｙ’軸に変換する。
【００６１】
【数１】
そして、求めたＸ’と式（３）によるＺとを、図１１（ｂ）に示すようにＸ’Ｚ座標系にプロットし、これをプロファイルＴとして表示する（図９参照）。
【００６３】
（第２実施の形態）
図１２、図１３に本発明の第２実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【００６４】
三次元計測を行った場合、プロファイル上の任意の点と画像上の点との対応が確認できることが望まれる場合がある。以下の説明では、プロファイルの任意の点を指定して、それに対する画像上点を明示することにより対応を明らかにする機能について、図１２の一時マーカーを描画する流れを示すフローチャートに従って説明する。
【００６５】
第１実施の形態の図８に示すフローチャートにおけるＳ１−１〜Ｓ１−５によりプロファイルを表示するとともに、画像上に計測ラインＬを描画する。この場合、点Ｌｉ，Ｄｉ，Ｔｉ（０≦ｉ≦N-1）は第１実施の形態と同じ内容を示すものとする。
【００６６】
そして、先ず、Ｓ２−１によりプロファイルに表示されている計測ラインＴ上の任意の点Ｔｉを指定する。指定する手段としてはマウスなどの入力デバイスを用い、所望の点上にカーソルを移動して、マウスであれば左ボタンを押すことにより指定する。この指定した点（以下「指定点」と称する）をＴ α とする。
【００６７】
Ｓ２−２により指定点Ｔ α に対する計測ラインＬ上の点（以下「計測点」と称する）を求める。点Ｌｉの画像上の座標をＬｉ（ｐ ｉ ，ｑ ｉ ）とすると、Ｔ α （０≦α≦N-1）を指定した場合の三次元位置はＤ α である。この点Ｄ α に対応する計測点はＬ α であり、その座標はＬ α （ｐ α ，ｑ α ）となる。
【００６８】
Ｓ２−３により、図１３に示すように計測ラインＬ上の点Ｌ α （ｐ α ，ｑ α ）に一時マーカーを描画し、Ｌ α に対する計測点を明示する。この場合、一時マーカとして、図形を一定間隔でフラッシュさせても良い。
【００６９】
尚、ここでいう一時マーカーとは、マウスの左ボタン、キーボードの特定のボタン等が押されたままの状態の間だけ表示されているマーカーを言う。
【００７０】
Ｓ２−４によりマウスの左ボタンが押されたままかどうか調べる。押されたままであればＳ２−３に戻る。
【００７１】
又、マウスの左ボタンが解放されているときは、Ｓ２−５により一時マーカーの表示を消去し、ルーチンを終了する。
【００７２】
以上の処理により、一時マーカーを計測ラインＬ上に描画することで、プロファイルに表示された計測ラインＴ上の任意の指定点に対する画像上の計測ラインＬ上の点との対応を、容易に知ることができる。
【００７３】
尚、計測点を明示する方法は、計測点上への図形の描画に制限されるものでなく、例えば以下のようなものがある。
【００７４】
１）計測点近傍へ計測点を指し示す矢印等の図形の描画を行う。
２）対応する計測点上にマウスカーソルを移動する。但し、不用意にカーソルを動かすことにより対応が分からなくなってしまわないように、所定の期間はカーソルの移動を禁止する。
逆に画像上の計測点を指定手段により指定し、対応するプロファイル上の点に一時マーカーを描画しても良い。
【００７５】
（第３実施の形態）
図１４〜図１６に本発明の第３実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【００７６】
計測を行った場合、各計測結果の信頼性を評価するということが行われる場合があり、その評価を計測結果と同時に見ることが望まれる場合がある。以下では信頼性を計測結果と同時に把握できる機能について、図１４に示すフローチャート従って説明する。
【００７７】
先ず、Ｓ３−１においてステレオ画像の左画像上で、計測ラインＬを指定する。計測ラインＬ上の点をＬｉ（ｉ＝０，…，N-1）と表す。ラインの指定はマウスなどの入力デバイスにより行う。
【００７８】
Ｓ３−２において、右画像の対応点を求める。
【００７９】
Ｓ３−３において、式（１）〜（３）により三次元位置を求める。点Ｌｉのそれぞれの三次元位置をＤｉ（ｉ＝０，…，N-1）とし、その座標をＤｉ（ｘｉ，ｙｉ，ｚｉ）とする。
【００８０】
同時に、計測の信頼性を求める。点Ｄｉに対する信頼性をＴｒｉ（ｉ＝０，…，N-1）とする。尚、信頼性を導出する手法については後述する。
【００８１】
Ｓ３−４において、図１５に示すように三次元位置をプロファイルＴとして描画するが、信頼性ＴｒｉによりプロファイルＤｉの背景を着色する。着色の方法については、後述する信頼性の導出手法を説明する際に、併せて説明する。
【００８２】
この場合、信頼性のユーザへの提示方法はプロファイルの背景着色に限定されるものではなく、例えば以下のような方法がある。
【００８３】
１）信頼性を別グラフ（ヒストグラムなど）として、プロファイルとオーバーラップ、もしくはプロファイルの近傍に描画する。
【００８４】
２）プロファイルの任意の位置をクリックすることにより、その点の計測の信頼性を小ウィンドウに表示する。必要に応じて、計測結果を同時に表示する。
【００８５】
この場合、信頼性は以下のようにして求める。
【００８６】
計測の信頼性を、例えばブロックマッチングの相互相関値の先鋭度評価により求める。相関値Ｃｒは −１．０〜１．０の値を取り、マッチングを行った画像同士が類似しているほど大きな値となる。
【００８７】
一般的に、マッチングのテクスチャーが顕著なほど相関値Ｃｒのグラフは先鋭度が高くなる傾向にある。そこで、相関値Ｃｒが１．０に近づくほど、換言すれば先鋭度が大きいほど信頼性が高いと考え、以下の式で信頼性Ｔｒを求める。
【００８８】
Ｔｒ＝Ｃｒmax （ｐ，ｑ）・ｇ（ｗ）
ここで、Ｃｒmax（ｐ，ｑ）は画像上の点（ｐ，ｑ）を中心としたテンプレートを使用して所定の領域内で、マッチングしたときの相関値Ｃｒ（ｐ，ｑ）の最大値とする。ｇ（ｗ）は係数であり、図１６（ｂ）に示すように、ｗに対する単調減少関数である。又、このｗは、図１６（ａ）に示すように、相関値Ｃｒ（ｐ，ｑ）が所定の値Ｔｈより大きい値を持つ幅とする。尚、信頼性の評価にはハレーションの有無などの情報を利用しても良い。
【００８９】
信頼性をバックグランドへの着色として表す場合は、例えば、
１）信頼性＞０．８なら「青」
２）信頼性＜０．２なら「赤」
という方法が考えられる。
【００９０】
尚、本実施の形態では、信頼性の表示はプロファイルの背景として行ったが、左画像上に描画した計測ラインＬの色を信頼性に基づいて変更することにより行っても良い。
【００９１】
（第４実施の形態）
図１７〜図２０に本発明の第４実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【００９２】
三次元計測を行い、左画像上の垂直方向を計測ラインＬとして指定し、それに対するプロファイルを二次元グラフにより表示した場合のことを考える。
【００９３】
第１実施の形態で示したように、三次元位置を二次元グラフに描画するときに、その横軸は垂直方向の計測ラインが選択される。
【００９４】
しかし、図１８に示すように、表示画面サイズの制限及び、ウィンドウの構成上の都合などにより、二次元グラフの横軸は水平方向に描画されるようになっており変更できない場合、画像上の計測ラインＬは垂直方向に描画されているが、垂直方向に沿った点の三次元位置は二次元位置に変換されて水平方向に沿って描画されることになる。
【００９５】
このように計測ラインＬの方向とプロファイルのプロット方向とが異なる場合に、画像上の計測ラインとプロファイルの対応が取り難いため、計測ラインとプロファイルの方向とを一致させたいという要求がある。又は、単に観察時に画像の方向、或いはプロファイルの方向を変えたいとの要求がある。
【００９６】
以下では、計測ラインＬとプロファイル方向とを調整できる機能について、図１７の画像の回転処理の流れを示すフローチャートに従って説明する。
【００９７】
第１実施の形態の図８におけるＳ１−１〜Ｓ１−５によりプロファイル上に計測ラインＴを表示するとともに、画像上に計測ラインＬを描画する。
【００９８】
このときの描画例を、図１９（ａ）に示す。但し、図１９において、マーカーは省略している。又、この場合の画像サイズをＳＸ・ＳＹ、画像表示ウィンドウサイズをＷＳＸ・ＷＳＹとする。
【００９９】
ウィンドウ上の回転させる対象の近傍に、図１９（ａ）に示すような矢印を描画する。この場合、画像が回転対象であり、以下では画像を例に説明する。
【０１００】
先ず、Ｓ４−１において矢印上にマウスカーソルを移動し、マウスの左ボタンを押し、ドラッグを開始する。
【０１０１】
ドラッグとはマウスカーソルを、移動したいオブジェクト上に移動してボタンを押し、そのままの状態でマウスカーソルを動かしてオブジェクトを移動させる一般的なマウスの使用方法である。
【０１０２】
Ｓ４−２において矢印をマウスカーソルの移動方向、移動量に応じて回転する。図２０（ｂ）に示すように、現在のマウスカーソルの位置と矢印中心とを結ぶ直線と垂直方向とのなす角をθとし、マウスカーソルの移動により矢印の回転と角度θの更新を行う。
【０１０３】
Ｓ４−３において矢印の回転に応じて画像を回転し表示する。画像表示ウィンドウの中心を原点とするＸＹ座標を考え、画像を点Ａ（ｐ，ｑ）とすると、
【数２】
【０１０４】
このとき回転後の画像を囲む最小矩形を新たな画像と考えると、図２０に示すように画像サイズは、
（ＳＸｃｏｓθ＋ＳＹｓｉｎθ）・（ＳＸｓｉｎθ＋ＳＹｃｏｓθ）
となる。
【０１０５】
したがって、θの値により、ウィンドウの表示サイズをオーバーして表示できない部分が発生する場合がある。このときはスクロールにより、画像のあらゆる部分を表示できるようにする。又、この場合、画面サイズ、ウィンドウサイズに応じて、できるだけ表示できない領域が減少するように、画像表示ウィンドウサイズを変更しても良い。
【０１０６】
又、図２０（ａ）に示す▲１▼〜▲４▼の領域のように、回転する角度によっては表示領域内に表示データが存在しない部分が発生する場合があるが、その部分は所定のデータ値（例えば０）でパディングする。
【０１０７】
Ｓ４−４においてドラッグが終了したか、つまり左ボタンが解放されたかを判断する。押されたままであればＳ４−２へ戻る。又、解放されたときはルーチンを終了する。
【０１０８】
画像を回転させた状態を、図１９（ｂ）に示す。画像の回転により計測ラインＬが水平に向いたため、画像の計測ラインＬとプロファイルの横軸の方向とが一致する。
【０１０９】
尚、画像が所定の大きさ以上の場合は、画像表示によるちらつきを防止するため、矢印のドラッグ中での画像回転及び表示は行わず、ドラッグ終了時に回転した画像を描画すると良い。具体的にはＳ４−３とＳ４−４とで行われる処理を入れ替えて、ドラッグ終了後に描画を行う処理を行うようにする。
【０１１０】
画像の回転量の指定は矢印の回転に制限されることはなく、単にメニュー、ボタンなどにあらかじめ回転量の選択肢を用意しておき、回転量を選択する方法、又はキーボードにより回転角を入力する方法も考えられる。これらのいくつかを併用して用いるようにしても良い。
【０１１１】
尚、本実施の形態では画像の回転を行ったが、プロファイルを回転しても同様の効果が得られる。
【０１１２】
（第５実施の形態）
図２１、図２２に本発明の第５実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【０１１３】
ステレオ画像の左、右画像はほぼ同じ領域が撮像されている。観察を容易にするため、一方の画像表示ウィンドウのスクロール操作に同期して、もう一方の画像ウィンドウを自動的にスクロールさせたいとの要望がある。以下においては、同期スクロールを実現する機能を備える計測用内視鏡装置について説明する。
【０１１４】
図２２（ａ）に左画像表示ウィンドウＷ１、右画像表示ウィンドウＷ２の表示例を示す。ここでは、両画像表示ウィンドウＷ１，Ｗ２のスクロールを、スクロールバーを移動し、その移動量に応じて画像の表示を変更する場合を例に説明する。
【０１１５】
各画像表示ウィンドウＷ１，Ｗ２のスクロールはスクロールポジションとスクロール量という値により制御されているとする。スクロールポジションはスクロールバーの位置を表す。スクロール量はユーザが移動したスクロールバーの移動量である。
【０１１６】
スクロールポジションにスクロール量を加減算することでスクロール状態を変化させる。つまり、スクロールポジションによりスクロールバーの位置、画像の表示領域が管理、決定されることとする。
【０１１７】
又、図２２に示すチェックボックスがセットされているときは同期スクロールするが、チェックされていないときは各画像表示ウィンドウＷ１，Ｗ２は独立にスクロールするものとする。
【０１１８】
尚、この場合、画面の表示スペース、デザイン上の都合によっては、画像をフルスケール（１倍）で表示しない場合がある。ここでは、左画像表示ウィンドウＷ１の縦サイズ、横サイズをそれぞれＫ１倍、右画像表示ウィンドウＷ２の縦サイズ、横サイズをそれぞれＫ２倍で表示したものとして考える（Ｋ１、Ｋ２は実数）。
【０１１９】
以下では、同期スクロールを実現する機能について、図２１の同期スクロールの流れを示すフローチャートに従って説明する。
【０１２０】
先ず、Ｓ５−１において画像表示ウィンドウＷｉ（ｉ＝１，２）のスクロールバーの移動を検出する。スクロールを検出したウィンドウを、メインウィンドウＷ α とし、非検出側のメインウィンドウをサブウィンドウＷ β とする。又、メインウィンドウＷ α のスクロール量をＭ α とする。
【０１２１】
Ｓ５−２においてチェックボックスがセットされているかどうか調べる。セットされている場合は、５−３ヘ進み、セットされていないときは、Ｓ５−４へ進む。
【０１２２】
Ｓ５−３においてメインウィンドウＷ α のスクロール処理を行う。
スクロール処理とは、スクロール量に応じたスクロールバーの移動と、メインウィンドウＷ α への画像の描画を行うことを言う。
【０１２３】
そして、メインウィンドウＷ α のスクロール後のスクロールポジションＳｔ α を取得する。又、サブウィンドウＷ β のスクロールポジションをＳｔ α ・（Ｋ β ／Ｋ α ）にセットする。
【０１２４】
次いで、サブウィンドウＷ β のスクロール処理を行った後、同期スクロールの処理を終了する。
【０１２５】
その結果、図２２（ｂ）に破線で示すように、両ウィンドウＷ１，Ｗ２の一方のメインウインドウに対して他方のサブウインドウが同期スクロールする。
【０１２６】
又、Ｓ５−２においてチェックボックスがセットされてないと判断されて、Ｓ５−４ヘ進むと、メインウィンドウＷ α のみスクロール処理を行い、ルーチンを終了する。
【０１２７】
このように、本実施の形態によれば、ステレオ画像の一方をスクロールすることにより、もう一方の画像の同じ場所を自動的に表示することができる。
【０１２８】
尚、図２２に示すチェックボックスがセットされたときは、スクロールバーを操作する前に、画像ウィンドウＷ１，Ｗ２のうちいずれかのウィンドウをメインウィンドウＷ α として設定して、Ｓ５−３を実行し、両ウインドウＷ１，Ｗ２のスクロールポジションを一致させた後、同期スクロールへ移行させる。
【０１２９】
尚、同期スクロールは、プロファイルＴに対して行っても良い。この場合、画像については、スクロールポジションごとに表示される計測ラインＬの区間、プロファイルについてスクロールポジションごとに表示される三次元位置に対応するプロファイルＴの区間を記憶しておき、スクロール要求に応じて、対応する部分が表示されるように制御する。
【０１３０】
（第６実施の形態）
図２３〜図２６に本発明の第６実施の形態を示す。尚、本実施の形態における計測内視鏡装置の構成は第１実施の形態と同様であるため、ここでの説明は省略する。
【０１３１】
画像上の任意の２点間の距離計測、及び計測位置の微調整を簡単に行いたいという要望がある。そこで、任意の点での計測及び、計測位置の調整を簡単に行える機能を、図２３〜図２５の距離計測の流れを示すフローチャートに従って説明する。
【０１３２】
先ず、Ｓ６−１において左画像上の２点を指定する（以下、指定点と呼ぶ）。２点の指定はマウスなどの入力デバイスを用いて行う。このとき、２点を通る直線を計測ラインＬとし、この計測ラインＬ上の点をＬｉ（ｉ＝０，…，N-1）とし、選択された２点をＬ α 、Ｌ β とし、その座標をＬ α （ｐ α ，ｑ α ）、Ｌ β （ｐ β ，ｑ β ）とする。
【０１３３】
Ｓ６−２において計測ラインＬ上の点について右画像の対応点を求める。次いで、（１）〜（３）式により計測ラインＬ上の点までの三次元位置を求める。そして、点Ｌｉに対する三次元位置をＤｉ（ｉ＝０，…，N-1）とし、その座標をＤｉ（ｘｉ，ｙｉ，ｚｉ）とする。
【０１３４】
Ｓ６−３においてＳ１−４と同様に三次元位置を二次元グラフ（プロファイル）により表示する。
【０１３５】
図２６は左画像用モニタ１３０Ｌに画像およびプロファイルを表示した例である。点Ｄｉ（ｘｉ，ｙｉ，ｚｉ）に対応する二次元グラフ上の点をＴｉ（ｉ＝０，…，N-1）とする。
【０１３６】
Ｓ６−４において図２６（ａ）のように計測ラインＬ及び、指定点Ｌ α 、Ｌ β を通過する所定の長さの垂直を描画する。指定点の近傍にその距離ｄ（例えば、３ｍｍ）を表示する。この距離ｄは次式により求める。
【０１３７】
ｄ＝｛（ｘ β −ｘ α ）２＋（ｙ β −ｙ α ）２＋（ｚ β −ｚ α ）２｝１／２ …（６）
Ｓ６−５において、図２６（ａ）に示すようにプロファイルには指定点に対応する部分Ｔ α 、Ｔ β を通過する所定の長さの垂直線を描画し、垂直線の近傍にその間の距離ｄを描画する。
【０１３８】
Ｓ６−６においてマウス入力がドラッグかクリックかを判定する。そして、マウス入力がドラッグのときは、Ｓ６−７へ進み、Ｓ６−７〜Ｓ６−９において、ドラッグ状態を判別する。
【０１３９】
すなわち、先ず、Ｓ６−７において、ドラッグが画像上か、プロファイル上かを判別し、画像上のときはＳ６−８へ進み、プロファイル上のときはＳ６−９へ進み、それ以外のときはＳ６−１２へ進む。
【０１４０】
Ｓ６−８においては、ドラッグ開始位置が左画像の垂線上もしくは近傍ならば計測位置変更モード１（Ｓ６−１０）へ進み、それ以外のときはＳ６−１２へ進む。
【０１４１】
Ｓ６−９においては、ドラッグ開始位置がプロファイルの垂直線上もしくは近傍ならば計測位置変更モード２（Ｓ６−１１）へ進み、それ以外のときはＳ６−１２へ進む。
【０１４２】
Ｓ６−１０において、図２６（ｂ）に示すように、画像内の垂線をマウスのドラッグに従って移動し、ドラッグが終了したとき垂線の移動を終了する。
【０１４３】
そして、ドラッグが停止した位置での垂線と交わる計測ラインＬ上の２点をそれぞれＬ α 、Ｌ β として垂線間の距離ｄ（例えば、６ｍｍ）を、（６）式で再計算し表示する。
【０１４４】
これにより同一の計測ラインＬについて計測位置の微調整が可能となる。又、このとき、プロファイル側の垂直線も垂直の位置変化に応じて移動し、同時にそのとき距離ｄを表示する。
【０１４５】
Ｓ６−１１において、プロファイル側の垂直線をマウスのドラッグに従って移動させ、ドラッグ終了時に、垂直線の移動を終了する。
【０１４６】
そして、垂直線と交わるプロファイルＴ上の２点をそれぞれＴ α 、Ｔ β に対応するＬ α 、Ｌ β を用いて、距離ｄを（６）式で再計算し表示する。これにより、同一の計測ラインについて計測位置の微調整が可能となる。このとき、左画像の垂線も垂直線の位置に対応して移動し、移動後の距離ｄを表示する。
【０１４７】
又、Ｓ６−６でマウス入力がクリックであると判定されて、Ｓ６−１４へ進むと、Ｓ６−１４、Ｓ６−１５で、マウスのクリック位置を調べ、左画像上で且つ垂線近傍のときは、Ｓ６−１２へ進み、それ以外のときは、Ｓ６−１へ戻り、計測ラインＬを再設定する。
【０１４８】
Ｓ６−１２において、画面に表示されているボタンの入力をチェックし、ボタンが押されていれば、それに応じた処理を行い、処理が終了した後ルーチンを終了する。又、ボタンが押されていないときは、そのままルーチンを終了する。
【０１４９】
図２６に示すように、画面上には垂線左移動、垂線右移動、垂直線左移動、垂直線右移動のボタンがそれぞれ表示されており、垂線及び、垂直線を１〜数画素単位などの微少単位で移動することができる。
【０１５０】
押されたボタンに応じて以下の処理を行う。但し、垂線と水平方向がなす角が４５〜１３５度の間は、垂線左移動は垂線上移動に対応する。垂線右移動は同様に垂線下移動に対応する。
【０１５１】
１）垂線左（上）移動
垂線を左（上）に移動する。垂線間の距離の再計算を行い、垂線近傍に再描画する。プロファイルの垂直線を垂線移動に応じて移動し、距離を再描画する。
２）垂線右（下）移動
垂線を右（下）に移動する。垂線間の距離の再計算を行い、垂線近傍に再描画する。プロファイルの垂直線を垂線移動に応じて移動し、距離を再描画する。
３）垂直線左移動
垂直線を左に移動する。垂直線間の距離を再計算を行い、垂直線近傍に再描画する。画像の垂線を垂直線移動に応じて移動し、距離を再描画する。
４）垂直線右移動
垂直線を右に移動する。垂直線間の距離の再計算を行い、垂直線近傍に再描画する。画像の垂線を垂直線移動に応じて移動し、距離を再描画する。
【０１５２】
尚、本実施の形態では２点間の距離を表示したが、２点間の高さなど他の計測値を表示しても良い。
【０１５３】
［付記］以上、詳述したように本発明によれば以下に示す構成を得ることができる。
（付記項１）
同一対象を異なる位置から撮像する撮影手段と、
撮像手段により得られる複数枚の画像から、計測対象の立体形状を推定する手段と、
推定した立体形状をプロファイル情報に変換する手段と、
変換されたプロファイル情報と画像との対応関係を求める手段と、
プロファイル情報と画像との対応関係を表示する表示手段と、
を具備したことを特徴とする計測用内視鏡装置。
このような構成よれば、計測対象の立体形状と画像上の計測点との対応を表示手段に表示することができる。
【０１５４】
（付記項２）
変換手段により変換されたプロファイル情報及び／又は撮像手段により撮像された画像を回転する手段と、
回転されたプロファイル情報及び／又は画像を表示する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成よれば、計測対象の立体形状と画像を任意方向で表示することができる。
【０１５５】
（付記項３）
前記変換されたプロファイル情報において指定点を指定する入力手段と、
画像において指定点に対応する計測ライン上の計測点を求める手段と、
前記計測点を明示する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、計測対象立体形状の任意の点と画像上の計測点との対応を表示することができる。
【０１５６】
（付記項４）
画像において計測ライン上の計測点を指定する入力手段と、
前記変換されたプロファイル情報において、指定された計測点に対応する対応点を求める手段と、
前記対応点を明示する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、画像上の任意の計測点と計測対象立体形状の対応を表示することができる。
【０１５７】
（付記項５）
立体形状推定結果の信頼性を求める手段と、
信頼性の数値及び／又は、図形により表示する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、計測の信頼性を立体形状とともに表示することができる。
【０１５８】
（付記項６）
撮像手段により撮像された二枚以上の画像を表示する手段と、
二枚以上の画像を同期してスクロールする手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、画像同士を同期してスクロールさせることができる。
【０１５９】
（付記項７）
撮像手段により撮像された一枚以上の画像を表示する手段と、
一枚以上の画像及び変換されたプロファイル情報を同期してスクロールする手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、画像とプロファイル情報とを同期してスクロールさせることができる。
【０１６０】
（付記項８）
変換されたプロファイル情報上又は、画像上の２点を指定する入力手段と、
指定された２点間の距離を求める手段と、
距離を表示する手段を有する手段と、
を具備したことを特徴とする付記項１記載の計測用内視鏡装置。
このような構成によれば、画像或いはプロファイル上での任意の２点間の距離などの計測及び、計測点の微調整を行うことができる。
【０１６１】
【発明の効果】
以上、説明したように本発明によれば、撮像手段により撮像した被写体像と、被写体像の所定部位の立体形状に対応するプロファイル情報とを同時に表示すると共に、このプロファイル情報と被写体像を撮像した撮像信号との対応関係を示す対応関係情報を表示するようにしたので、立体形状と被写体像との位置関係を容易に把握することができる。
【図面の簡単な説明】
【図１】第１実施の形態による計測用内視鏡装置の構成を示すブロック図
【図２】同、内視鏡の挿入部先端部の説明図
【図３】同、計測用内視鏡装置の機能構成を示すブロック図
【図４】同、ホストコンピュータの構成を示すブロック図
【図５】同、外部記憶装置の構成を示すブロック図
【図６】同、三次元座標系の説明図
【図７】同、三次元座標算出原理を示す説明図
【図８】同、計測結果を描画する流れを示すフローチャート
【図９】同、ウィンドウ表示例を示す説明図
【図１０】同、歪曲収差補正に関する説明図
【図１１】同、立体形状（三次元データ）を図形（二次元データ）に変換する手段を示す説明図
【図１２】第２実施の形態による一時マーカーを描画する流れを示すフローチャート
【図１３】同、ウィンドウ表示例を示す説明図
【図１４】第３実施の形態による計測結果の信頼性を求める流れを示すフローチャート
【図１５】同、ウィンドウ表示例を示す説明図
【図１６】同、信頼性を求める原理を示す説明図
【図１７】第４実施の形態による画像の回転処理の流れを示すフローチャート
【図１８】同、ウィンドウ表示例を示す説明図
【図１９】同、画像の回転処理の際のウィンドウ表示例を示す説明図
【図２０】同、画像を回転処理する際の説明図
【図２１】第５実施の形態による同期スクロールの流れを示すフローチャート
【図２２】同、ウィンドウ表示例を示す説明図
【図２３】第６実施の形態による距離計測の流れを示すフローチャート(その１)
【図２４】同、距離計測の流れを示すフローチャート（その２）
【図２５】同、距離計測の流れを示すフローチャート（その３）
【図２６】同、ウィンドウ表示例を示す説明図
【符号の説明】
１０１ 内視鏡
１０４Ｌ 左撮像手段
１０４Ｒ 右撮像手段
１２０ ホストコンピュータ
１３０Ｌ 左画像用モニタ
１３０Ｒ 右画像用モニタ
Ｌ 計測ライン
Ｔ プロファイル
Ｌ α 、Ｌ β 指定点
Ｐ 計測対象点
Claims (12)
- 細長な挿入部の先端部に設けた被写体像を撮像する撮像手段と、
前記撮像手段により得られた複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定手段と、
前記立体形状推定手段で推定された立体形状情報に基づいて、前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成手段と、
前記プロファイル情報作成手段で作成されたプロファイル情報を表示手段に表示するよう制御するプロファイル情報表示制御手段と、
前記表示手段に表示されたプロファイル情報の所定位置と前記被写体像中の所定位置との対応位置情報を取得する対応位置情報取得手段と、
前記対応位置情報取得手段で取得された対応位置情報を前記表示手段に表示するよう制御する対応位置情報表示制御手段と、
を具備したことを特徴とする三次元計測内視鏡装置。 - 前記撮像手段により撮像された画像を表示する手段と、
前記撮像手段により撮像された画像又は前記プロファイル情報を回転表示させる指示を出す回転指示手段と、
を具備したことを特徴とする請求項１記載の三次元計測内視鏡装置。 - 前記撮像手段により撮像された一枚以上の画像を表示する手段と、
一枚以上の画像とプロファイル情報とを同期させてスクロールする手段と、
を具備したことを特徴とする請求項１記載の三次元計測内視鏡装置。 - 前記撮像手段により撮像された二枚以上の画像を表示する手段と、
二枚以上の画像を同期してスクロールする手段と、
を具備したことを特徴とする請求項１記載の三次元計測内視鏡。 - 前記立体形状推定手段による立体形状推定結果の信頼性を求める手段と、
信頼性の数値又は図形により表示する手段と、
を具備したことを特徴とする請求項１記載の三次元計測内視鏡。 - 被写体像を撮像する撮像手段と、
前記撮像手段で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定手段と、
前記立体形状推定手段で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成手段と、
前記プロファイル情報作成手段で作成されたプロファイル情報を表示手段に表示するよう制御するプロファイル情報表示制御手段と、
前記プロファイル情報表示手段に表示されたプロファイル情報と前記撮像手段から取得された画像信号との対応関係情報を取得する対応関係情報取得手段と、
前記プロファイル情報作成手段で表示された前記プロファイル情報上で任意の位置を指定可能な指定手段と、
前記指定手段で指定された指定情報と前記対応関係情報取得手段で取得された対応関係情報とに基づき、前記指定手段で指定された第１の位置情報を前記画像信号中における第２の位置情報として取得する位置情報取得手段と、
前記位置情報取得手段で得られた第２の位置情報に基づき、前記画像信号に基づき表示される被写体像上に前記指定手段による指定位置情報を前記表示手段に表示するよう制御する指定位置情報表示制御手段と、
を具備したことを特徴とする被写体計測表示装置。 - 前記撮像手段により撮像された画像を表示する手段と、
前記撮像手段により撮像された画像又は前記プロファイル情報を回転表示させる指示を出す回転指示手段と、
を具備したことを特徴とする請求項６記載の被写体計測表示装置。 - 前記撮像手段により撮像された一枚以上の画像を表示する手段と、
一枚以上の画像とプロファイル情報とを同期させてスクロールする手段と、
を具備したことを特徴とする請求項６記載の被写体計測表示装置。 - 前記撮像手段により撮像された二枚以上の画像を表示する手段と、
二枚以上の画像を同期してスクロールする手段と、
を具備したことを特徴とする請求項６記載の被写体計測表示装置。 - 前記立体形状推定手段による立体形状推定結果の信頼性を求める手段と、
信頼性の数値又は図形により表示する手段と、
を具備したことを特徴とする請求項６記載の被写体計測表示装置。 - 細長な挿入部の先端部に設けた被写体像を撮像する撮像手段により被写体像を撮像する撮像行程を具備した三次元計測内視鏡の被写体計測表示方法において、
前記撮像行程で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定行程と、
前記立体形状推定行程で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成行程と、
前記プロファイル情報作成行程で作成されたプロファイル情報を表示するプロファイル情報表示行程と、
前記プロファイル情報表示行程で表示されたプロファイル情報の所定位置と前記撮像行程で取得される前記被写体像中の所定位置との対応位置情報を取得する対応位置情報取得行程と、
前記対応位置情報取得行程で取得された対応位置情報を表示する対応位置情報表示行程と、
を具備したことを特徴とする三次元計測内視鏡の被写体計測表示方法。 - 被写体像を撮像する撮像行程を具備した被写体計測表示方法において、
前記撮像行程で取得された複数の画像信号から、前記被写体像の立体形状を推定する立体形状推定行程と、
前記立体形状推定行程で推定された立体形状情報に基づいて前記被写体像中の所定部位のプロファイル情報を作成するプロファイル情報作成行程と、
前記プロファイル情報作成行程で作成されたプロファイル情報を表示するプロファイル情報表示行程と、
前記プロファイル情報表示行程で表示されたプロファイル情報と前記撮像行程で取得された画像信号との対応関係情報を取得する対応関係情報取得行程と、
前記プロファイル情報表示行程で表示された前記プロファイル情報上で任意の位置を指定可能な指定行程と、
前記指定行程で指定された指定情報と前記対応関係情報取得行程で取得された対応関係情報とに基づき、前記指定行程で指定された第１の位置情報を前記画像信号中における第２の位置情報として取得する位置情報取得行程と、
前記位置情報取得行程で得られた第２の位置情報に基づき、前記画像信号に基づき表示される被写体像上に前記指定行程による指定位置情報を表示する指定位置情報表示行程と、
を具備したことを特徴とする被写体計測表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34943499A JP4445622B2 (ja) | 1999-12-08 | 1999-12-08 | 三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34943499A JP4445622B2 (ja) | 1999-12-08 | 1999-12-08 | 三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001167272A JP2001167272A (ja) | 2001-06-22 |
| JP2001167272A5 JP2001167272A5 (ja) | 2007-02-01 |
| JP4445622B2 true JP4445622B2 (ja) | 2010-04-07 |
Family
ID=18403728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34943499A Expired - Fee Related JP4445622B2 (ja) | 1999-12-08 | 1999-12-08 | 三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4445622B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4873794B2 (ja) * | 2001-05-30 | 2012-02-08 | オリンパス株式会社 | 画像処理計測装置及び計測内視鏡装置 |
| JP4759184B2 (ja) * | 2001-08-31 | 2011-08-31 | オリンパス株式会社 | 計測内視鏡装置 |
| US7520854B2 (en) | 2004-07-14 | 2009-04-21 | Olympus Corporation | Endoscope system allowing movement of a display image |
| JP2006052975A (ja) * | 2004-08-10 | 2006-02-23 | Nikon Corp | 双眼視装置 |
| US8496575B2 (en) | 2006-11-14 | 2013-07-30 | Olympus Corporation | Measuring endoscope apparatus, program and recording medium |
| JP5026769B2 (ja) * | 2006-11-14 | 2012-09-19 | オリンパス株式会社 | 計測用内視鏡装置、プログラム、および記録媒体 |
| JP5024785B2 (ja) * | 2007-03-29 | 2012-09-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置に搭載されるアームシステム |
| JP2008302073A (ja) * | 2007-06-08 | 2008-12-18 | Olympus Corp | 内視鏡画像表示装置及び内視鏡画像表示プログラム |
| EP2241922B1 (en) * | 2007-10-30 | 2012-02-22 | Olympus Corporation | Endoscope apparatus |
| JP5602449B2 (ja) * | 2010-02-10 | 2014-10-08 | オリンパス株式会社 | 内視鏡装置 |
| JP5530225B2 (ja) | 2010-03-09 | 2014-06-25 | オリンパス株式会社 | 内視鏡装置およびプログラム |
| JP5388921B2 (ja) | 2010-03-25 | 2014-01-15 | 株式会社東芝 | ３次元距離計測装置及びその方法 |
| JP2012147857A (ja) * | 2011-01-17 | 2012-08-09 | Olympus Medical Systems Corp | 画像処理装置 |
| JP6096441B2 (ja) * | 2012-09-05 | 2017-03-15 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム |
| JP2016095458A (ja) * | 2014-11-17 | 2016-05-26 | オリンパス株式会社 | 内視鏡装置 |
| JP6425586B2 (ja) * | 2015-03-04 | 2018-11-21 | 株式会社キーエンス | 光学式変位計測システム、撮像条件最適化方法および撮像条件最適化プログラム |
| WO2017038321A1 (ja) * | 2015-09-03 | 2017-03-09 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の表示変更制御方法 |
| JP7069062B2 (ja) * | 2019-02-20 | 2022-05-17 | 富士フイルム株式会社 | 内視鏡装置 |
-
1999
- 1999-12-08 JP JP34943499A patent/JP4445622B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001167272A (ja) | 2001-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4445622B2 (ja) | 三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法 | |
| US7232409B2 (en) | Method and apparatus for displaying endoscopic images | |
| CN102622081B (zh) | 一种实现体感交互的方法和系统 | |
| JP6057396B2 (ja) | ３次元ユーザインタフェース装置及び３次元操作処理方法 | |
| JP2001522098A (ja) | 画像処理方法および装置 | |
| JP4873794B2 (ja) | 画像処理計測装置及び計測内視鏡装置 | |
| JP6044426B2 (ja) | 情報操作表示システム、表示プログラム及び表示方法 | |
| JP6037683B2 (ja) | 計測装置、計測装置の作動方法、およびプログラム | |
| JP2001522098A5 (ja) | ||
| US11321861B2 (en) | Method of operating measurement device, measurement device, measurement system, three-dimensional shape restoration device, and recording medium | |
| TW201408041A (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
| US20140022198A1 (en) | Stereoscopic display device, method for accepting instruction, and non-transitory computer-readable medium for recording program | |
| JP2012223446A (ja) | 立体内視鏡装置 | |
| KR101818005B1 (ko) | 얼굴 데이터 관리 시스템 및 그 방법 | |
| CN111033573A (zh) | 信息处理装置、系统、图像处理方法、计算机程序及存储介质 | |
| JP2006329684A (ja) | 画像計測装置及び方法 | |
| TW200809698A (en) | A method and system for obtaining multiple views of an object for real-time video output | |
| US20130187852A1 (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, and program | |
| JP7049220B2 (ja) | 画像取得装置および画像取得装置の作動方法 | |
| JP2002156212A (ja) | 目盛表示装置及びその方法 | |
| JP6127465B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
| JP7341736B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2004030408A (ja) | 三次元画像表示装置及び表示方法 | |
| CN107884930A (zh) | 头戴式装置及控制方法 | |
| JP2019185475A (ja) | 特定プログラム、特定方法及び情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061206 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100118 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4445622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |