JPWO2018037778A1 - 計測処理装置 - Google Patents

Abstract

計測処理装置は、撮像部と、画像取得部と、表示部と、計測点表示制御部と、対応点算出部と、対応点画像生成部と、対応点画像表示制御部とを有する。前記計測点表示制御部は、ユーザーによって指定された計測位置を示す計測点を第１の画像上に表示させる。前記対応点画像生成部は、第２の画像において前記対応点算出部によって算出された対応点および当該対応点の周辺の領域を含み、かつ前記第２の画像の一部または全部で構成された対応点画像を生成する。前記対応点画像表示制御部は、表示画面において、前記計測点および前記対応点を通る直線が前記視差方向に直交するように、前記対応点画像を表示させる。

Description

本発明は、計測処理装置に関する。
本願は、２０１６年８月２６日に日本に出願された特願２０１６−１６５５６２号に基づき優先権を主張し、その内容をここに援用する。

ボイラー、タービン、エンジン、およびパイプ等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプタが用意されており、かつ内視鏡の先端部分は交換可能である。このような内視鏡装置の１つとして、視差の異なる２つの光学系を有するステレオ光学系を用いて３次元計測を実現する３次元計測用内視鏡装置が存在する。３次元計測用内視鏡装置には、撮像された画像上で指定された計測点を基準に、長さおよび面積などの計測を行う機能が備わっている。

３次元計測用内視鏡装置には、被写体の傷（欠陥）の長さおよび面積を正確かつ精密に計測することが求められている。ステレオ光学系を使用する３次元計測では、左右の画像の一方においてユーザーによって指定された計測点に位置的に対応する点（対応点）を左右の画像の他方において探すマッチング処理が行われる。しかしながら、被写体と内視鏡との位置関係（物体距離および角度）、照明の明るさ、被写体の形状および性状、等の撮像条件によっては、マッチング誤対応により計測性能が低下する可能性がある。マッチング誤対応は、マッチング処理が行われたときに、真の対応点とは異なる点が対応点として認識される現象である。例えば、内視鏡の照明光が被写体の表面で正反射し、かつ反射光が観察画像に映るという現象すなわちハレーションが発生する場合がある。照明光の正反射による光が映った領域で計測が行われた場合、マッチング誤対応が発生しやすい。マッチング誤対応が発生することにより計測性能が低下する。このため、ユーザーは、指定された計測点に対してマッチング誤対応が発生しているか否かを事前に確認しなければならない。

マッチング誤対応が発生しているか否かをユーザーがより容易に確認することができる技術が開示されている。例えば、特許文献１には、ユーザーが指定した計測点を含む左画像の一部と、マッチング処理により得られた対応点を含む右画像の一部とを、モニタ上に左右に並べて表示することが開示されている。

日本国特開２０１１−１７０２７６号公報

特許文献１に記載された発明では、ユーザーは、水平方向に視線を移動させながら左右の画像を見比べることにより、自身が指定した計測点と、マッチング処理により得られた対応点との位置関係に誤り（マッチング誤対応）があるか否かを判断する。しかしながら、特許文献１に記載された発明では、マッチング誤対応が発生しているか否かをユーザーが判断することが難しい場合がある。

本発明は、マッチング誤対応が発生しているか否かをユーザーが容易に判断することができる計測処理装置を提供することを目的とする。

本発明の第１の態様によれば、計測処理装置は、撮像部と、画像取得部と、表示部と、計測点表示制御部と、対応点算出部と、対応点画像生成部と、対応点画像表示制御部とを有する。前記撮像部は、被写体を撮像し、かつ撮像信号を生成する。前記画像取得部は、前記撮像信号に基づいて、所定の視差方向に互いに視差を有する第１の画像および第２の画像を取得する。前記表示部は、前記第１の画像が表示される表示画面を有する。前記計測点表示制御部は、ユーザーによって指定された計測位置を示す計測点を前記第１の画像上に表示させる。前記対応点算出部は、前記第１の画像上の前記計測点に対応する、前記第２の画像上の対応点を算出する。前記対応点画像生成部は、前記第２の画像において前記対応点算出部によって算出された前記対応点および当該対応点の周辺の領域を含み、かつ前記第２の画像の一部または全部で構成された対応点画像を生成する。前記対応点画像表示制御部は、前記対応点画像を前記表示画面上に表示させる。前記対応点画像表示制御部は、前記表示画面において、前記計測点および前記対応点を通る直線が前記視差方向に直交するように、前記対応点画像を表示させる。

本発明の第２の態様によれば、第１の態様において、前記対応点画像表示制御部は、前記対応点が前記計測点に対して離間するように、前記対応点画像を表示させてもよい。

本発明の第３の態様によれば、第１の態様において、前記対応点画像生成部は、前記視差方向における長さが、前記視差方向に直交する方向における長さよりも大きい前記対応点画像を生成してもよい。

本発明の第４の態様によれば、第３の態様において、前記対応点画像生成部は、前記視差方向における長さが、前記視差方向に直交する方向における長さよりも小さい第２の対応点画像を生成してもよい。前記対応点画像表示制御部は、前記第１の画像および前記第２の対応点画像が前記視差方向に沿って並ぶように、前記第２の対応点画像を前記表示画面上に表示させてもよい。

本発明の第５の態様によれば、第４の態様において、前記計測処理装置は、前記表示画面において、前記視差方向に平行であり、かつ前記計測点を通る補助線を前記第１の画像および前記第２の対応点画像上に表示させる補助線表示制御部をさらに有してもよい。

本発明の第６の態様によれば、第３の態様において、前記対応点画像表示制御部は、前記対応点画像の表示領域を前記表示画面に設定し、かつ当該表示領域内に前記対応点画像を表示させてもよい。前記対応点画像表示制御部は、前記対応点画像が表示されるとき、前記視差方向における前記表示領域の両端位置を、前記視差方向における前記第１の画像の両端位置にそれぞれ一致させてもよい。

本発明の第７の態様によれば、第２の態様において、前記計測処理装置は、前記表示画面において、前記視差方向に直交する１本以上の補助線を前記第１の画像および前記対応点画像上に表示させる補助線表示制御部をさらに有してもよい。

本発明の第８の態様によれば、第７の態様において、前記補助線表示制御部は、前記補助線が前記計測点を通るように前記補助線を表示させてもよい。

本発明の第９の態様によれば、第７の態様において、前記計測処理装置は、前記第１の画像の被写体において、前記計測点以外の第１の特徴点を算出する特徴点算出部をさらに有してもよい。前記補助線表示制御部は、前記補助線が前記第１の特徴点を通るように前記補助線を表示させてもよい。

本発明の第１０の態様によれば、第７の態様において、前記計測処理装置は、前記対応点画像の被写体において、前記対応点以外の第２の特徴点を算出する特徴点算出部をさらに有してもよい。前記補助線表示制御部は、前記補助線が前記第２の特徴点を通るように前記補助線を表示させてもよい。

本発明の第１１の態様によれば、第７の態様において、前記対応点画像表示制御部は、前記対応点画像の表示領域を前記表示画面に設定し、かつ当該表示領域内に前記対応点画像を表示させてもよい。前記対応点画像表示制御部は、前記対応点画像が表示されるとき、前記視差方向における前記表示領域の両端位置を、前記視差方向における前記第１の画像の両端位置にそれぞれ一致させてもよい。前記補助線表示制御部は、前記補助線が前記視差方向における前記対応点画像の両端の少なくとも一方を通るように前記補助線を表示させてもよい。

本発明の第１２の態様によれば、第２の態様において、前記計測処理装置は、特徴点算出部と、特徴対応点算出部と、補助線表示制御部とをさらに有してもよい。前記特徴点算出部は、前記第１の画像の被写体において、前記計測点以外の特徴点を算出してもよい。前記特徴対応点算出部は、前記第１の画像上の前記特徴点に対応する前記第２の画像上の特徴対応点を算出してもよい。前記補助線表示制御部は、前記特徴点および前記特徴対応点を通る補助線を表示させてもよい。

本発明の第１３の態様によれば、第２の態様において、前記対応点画像表示制御部は、前記計測点の位置に応じて、前記対応点画像の表示位置を制御してもよい。

本発明の第１４の態様によれば、第１３の態様において、前記対応点画像表示制御部は、前記第１の画像において、前記視差方向に直交する方向に並ぶ複数の画像領域を設定してもよい。前記複数の画像領域は、第１の画像領域および第２の画像領域を含んでもよい。前記視差方向に直交し、かつ前記第１の画像領域から前記第２の画像領域に向かう方向は第１の方向であってもよい。前記視差方向に直交し、かつ前記第２の画像領域から前記第１の画像領域に向かう方向は第２の方向であってもよい。前記計測点が前記第１の画像領域内にある場合、前記対応点画像表示制御部は、前記計測点よりも前記第１の方向側の位置に前記対応点画像を表示させてもよい。前記計測点が前記第２の画像領域内にある場合、前記対応点画像表示制御部は、前記計測点よりも前記第２の方向側の位置に前記対応点画像を表示させてもよい。

本発明の第１５の態様によれば、第１４の態様において、前記対応点画像表示制御部は、前記対応点画像を前記第１の画像上に表示させてもよい。

本発明の第１６の態様によれば、第１３の態様において、前記対応点画像表示制御部は、前記第１の画像において、前記視差方向に直交する方向に並ぶ複数の画像領域を設定してもよい。前記複数の画像領域は、第１の画像領域および第２の画像領域を含んでもよい。前記計測点が前記第１の画像領域内にある場合、前記対応点画像表示制御部は、前記第１の画像領域に前記対応点画像を表示させてもよい。前記計測点が前記第２の画像領域内にある場合、前記対応点画像表示制御部は、前記第２の画像領域に前記対応点画像を表示させてもよい。

本発明の第１７の態様によれば、第１３の態様において、前記対応点画像表示制御部は、前記第１の画像において、前記視差方向に直交する方向に前記第１の画像を二分した第１の画像領域および第２の画像領域を設定してもよい。前記視差方向に直交し、かつ前記第１の画像領域から前記第２の画像領域に向かう方向は第１の方向であってもよい。前記視差方向に直交し、かつ前記第２の画像領域から前記第１の画像領域に向かう方向は第２の方向であってもよい。前記対応点画像表示制御部は、前記表示画面において、前記第１の画像領域よりも前記第２の方向側の位置に第１の表示領域を設定し、かつ前記第２の画像領域よりも前記第１の方向側の位置に第２の表示領域を設定してもよい。前記計測点が前記第１の画像領域内にある場合、前記対応点画像表示制御部は、前記第１の表示領域に前記対応点画像を表示させてもよい。前記計測点が前記第２の画像領域内にある場合、前記対応点画像表示制御部は、前記第２の表示領域に前記対応点画像を表示させてもよい。

本発明の第１８の態様によれば、第１の態様において、前記第１の画像上に表示された前記計測点の移動速度が所定の閾値よりも小さい場合、前記対応点画像表示制御部は、前記対応点画像を表示させてもよい。

本発明の第１９の態様によれば、第１の態様において、前記計測処理装置は、計測点画像生成部と、計測点画像表示制御部とをさらに有してもよい。前記計測点画像生成部は、前記第１の画像において前記計測点および当該計測点の周辺の領域を含み、かつ前記第１の画像の一部で構成された計測点画像を生成してもよい。前記計測点画像表示制御部は、前記計測点画像を前記表示画面上に表示させてもよい。前記対応点画像表示制御部は、前記表示画面において、前記計測点画像における前記計測点と、前記対応点画像における前記対応点とを通る直線が前記視差方向に直交するように、前記対応点画像を表示させてもよい。

本発明の第２０の態様によれば、第１９の態様において、前記計測点画像表示制御部は、前記第１の画像の表示倍率よりも高い表示倍率で前記計測点画像を表示させてもよい。

本発明の第２１の態様によれば、第２０の態様において、前記対応点画像表示制御部は、前記計測点画像の表示倍率と同じ表示倍率で前記対応点画像を表示させてもよい。

本発明の第２２の態様によれば、第１の態様において、前記対応点画像表示制御部は、前記計測点と前記対応点画像とが重なり、かつ前記第１の画像が前記対応点画像を通して視認可能となるように、前記対応点画像を半透明処理し、かつ前記対応点画像を前記第１の画像上に表示させてもよい。

本発明の第２３の態様によれば、第２２の態様において、前記対応点画像表示制御部は、前記計測点と前記対応点とが互いに重なるように、前記対応点画像を前記第１の画像上に表示させてもよい。

本発明の第２４の態様によれば、第１の態様において、前記計測処理装置は、前記対応点を前記対応点画像上に表示させる対応点表示制御部をさらに有してもよい。

本発明の第２５の態様によれば、第２４の態様において、前記計測点表示制御部は、前記表示画面において、前記計測点を示す第１のカーソルを前記直線上に表示させてもよい。前記対応点表示制御部は、前記表示画面において、前記対応点を示す第２のカーソルを前記直線上に表示させてもよい。

本発明の第２６の態様によれば、第１の態様において、前記対応点画像表示制御部は、前記第１の画像の表示倍率と同じ表示倍率で前記対応点画像を表示させてもよい。

本発明の第２７の態様によれば、計測処理装置は、画像取得部と、表示部と、計測点表示制御部と、対応点算出部と、対応点画像生成部と、対応点画像表示制御部とを有する。前記画像取得部は、所定の視差方向に互いに視差を有する第１の画像および第２の画像を取得する。前記表示部は、前記第１の画像が表示される表示画面を有する。前記計測点表示制御部は、ユーザーによって指定された計測位置を示す計測点を前記第１の画像上に表示させる。前記対応点算出部は、前記第１の画像上の前記計測点に対応する、前記第２の画像上の対応点を算出する。前記対応点画像生成部は、前記第２の画像において前記対応点算出部によって算出された前記対応点および当該対応点の周辺の領域を含み、かつ前記第２の画像の一部または全部で構成された対応点画像を生成する。前記対応点画像表示制御部は、前記対応点画像を前記表示画面上に表示させる。前記対応点画像表示制御部は、前記表示画面において、前記計測点および前記対応点を通る直線が前記表示画面の垂直方向と平行、または前記表示画面の水平方向と平行になるように、前記対応点画像を表示させる。

上記の各態様によれば、対応点画像表示制御部は、表示画面において、計測点および対応点を通る直線が視差方向に直交するように、対応点画像を表示させる。これによって、マッチング誤対応が発生しているか否かをユーザーが容易に判断することができる。

本発明の第１の実施形態による計測内視鏡装置の全体構成を示す斜視図である。 本発明の第１の実施形態による計測内視鏡装置の内部構成を示すブロック図である。 本発明の第１の実施形態による計測内視鏡装置における挿入部の先端およびステレオ光学アダプタの構成を示す斜視図である。 本発明の第１の実施形態による計測内視鏡装置における挿入部の先端およびステレオ光学アダプタの構成を示す断面図である。 本発明の第１の実施形態によるＣＰＵの機能構成を示すブロック図である。 本発明の第１の実施形態のステレオ計測による計測点の３次元座標の算出方法を説明するための参考図である。 本発明の第１の実施形態による計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第１の実施形態における表示部の表示画面を示す参考図である。 本発明の第１の実施形態における表示部の表示画面を示す参考図である。 本発明の第１の実施形態の第１の変形例における表示部の表示画面を示す参考図である。 本発明の第１の実施形態の第２の変形例によるＣＰＵの機能構成を示すブロック図である。 本発明の第１の実施形態の第２の変形例における表示部の表示画面を示す参考図である。 本発明の第１の実施形態の第３の変形例における表示部の表示画面を示す参考図である。 本発明の第１の実施形態の第６の変形例における表示部の表示画面を示す参考図である。 本発明の第１の実施形態の第６の変形例における表示部の表示画面を示す参考図である。 本発明の第２の実施形態による計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第２の実施形態における表示部の表示画面を示す参考図である。 本発明の第３の実施形態による計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第３の実施形態における表示部の表示画面を示す参考図である。 本発明の第３の実施形態における表示部に表示される画像を示す参考図である。 本発明の第３の実施形態における表示部に表示される画像を示す参考図である。 本発明の第３の実施形態における表示部に表示される画像を示す参考図である。 本発明の第３の実施形態における表示部に表示される画像を示す参考図である。 本発明の第３の実施形態の第１の変形例によるＣＰＵの機能構成を示すブロック図である。 本発明の第３の実施形態の第１の変形例における表示部の表示画面を示す参考図である。 本発明の第３の実施形態の第２の変形例によるＣＰＵの機能構成を示すブロック図である。 本発明の第３の実施形態の第２の変形例における表示部の表示画面を示す参考図である。 本発明の第４の実施形態による計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第４の実施形態における表示部の表示画面を示す参考図である。 本発明の第４の実施形態における表示部の表示画面を示す参考図である。 本発明の第４の実施形態の第１の変形例における表示部の表示画面を示す参考図である。 本発明の第４の実施形態の第１の変形例における表示部の表示画面を示す参考図である。 本発明の第４の実施形態の第２の変形例における表示部の表示画面を示す参考図である。 本発明の第４の実施形態の第２の変形例における表示部の表示画面を示す参考図である。 本発明の第５の実施形態によるＣＰＵの機能構成を示すブロック図である。 本発明の第５の実施形態による計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第５の実施形態における表示部の表示画面を示す参考図である。 本発明の第５の実施形態における表示部の表示画面を示す参考図である。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の計測内視鏡装置１（計測処理装置）の外観を示している。計測内視鏡装置１は、被写体を撮像し、画像から被写体の幾何学的特徴を計測する。検査者は、種々の被写体の観察と計測とを行うために、挿入部２の先端に装着される光学アダプタの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを行うことが可能である。以下では、計測の一例として、ステレオ計測を行う場合について説明する。

図１に示すように、計測内視鏡装置１は、挿入部２と、コントロールユニット３と、操作部４と、表示部５（モニタ）とを有する。

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、計測部分を撮像し、かつ撮像信号をコントロールユニット３に出力する。挿入部２の先端２０には、ステレオ光学アダプタ３０（図３および図４）が装着される。コントロールユニット３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、計測内視鏡装置１に対するユーザーの操作を受ける。表示部５は、表示画面を有し、かつ挿入部２で撮像された被写体の画像および操作メニュー等を表示画面に表示する。

図２に示すように、コントロールユニット３は、内視鏡ユニット８と、ＣＣＵ（カメラコントロールユニット）９と、制御ユニット１０とを有する。内視鏡ユニット８は、観察に必要な照明光を供給する光源装置と、図示していない湾曲部を湾曲させる湾曲装置とを有する。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、ステレオ光学アダプタ３０を介して結像された被写体像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、前処理が行われた撮像信号をＮＴＳＣ信号等の映像信号に変換する。

制御ユニット１０は、映像信号処理回路１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４と、カードインタフェース１５と、外部機器インタフェース１６と、制御インタフェース１７と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８ａとを有する。

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａによって生成されるグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、カーソルの画像、補助線の画像、および計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。

ＲＯＭ１３は、ＣＰＵ１８ａが計測内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８ａが計測内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８ａは、ＲＯＭ１３に記録されたプログラムに基づいて計測内視鏡装置１の動作を制御する。

着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御ユニット１０に取り込む。また、カードインタフェース１５は、計測内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、パーソナルコンピュータ４１への情報の送信とパーソナルコンピュータ４１からの情報の受信とを行う。これによって、パーソナルコンピュータ４１のモニタが情報を表示することができる。また、ユーザーがパーソナルコンピュータ４１を介して、計測内視鏡装置１の制御に関する操作を行うことができる。

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、操作部４を介してユーザーによって入力された指示をＣＰＵ１８ａに通知する。制御インタフェース１７は、光源装置および湾曲装置の制御のための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８の制御のための制御信号をＣＣＵ９に出力する。

ＣＰＵ１８ａが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを計測内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、パーソナルコンピュータ４１がプログラムを読み込んで実行してもよい。パーソナルコンピュータ４１は、プログラムに従って、計測内視鏡装置１を制御するための制御情報を計測内視鏡装置１に送信することにより計測内視鏡装置１を制御してもよい。あるいは、パーソナルコンピュータ４１は、計測内視鏡装置１から映像信号を取得し、かつ取得された映像信号を用いて計測を行ってもよい。

上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により計測内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル（差分プログラム）であってもよい。

図３および図４は、挿入部２の先端２０およびステレオ光学アダプタ３０の構成を示している。図３は、挿入部２の先端２０およびステレオ光学アダプタ３０の外観を示している。図４は、挿入部２の先端２０およびステレオ光学アダプタ３０の断面を示している。図４では、第１の光学系３１および第２の光学系３２を含む断面が示されている。

ステレオ光学アダプタ３０が挿入部２の先端２０に装着されている。ステレオ光学アダプタ３０は、固定リング７１の雌ねじ７２により挿入部２の先端２０の雄ねじ２３と螺合されて固定される。ステレオ光学アダプタ３０の先端には、第１の光学系３１と、第２の光学系３２と、照明窓３３とが設けられている。第１の光学系３１および第２の光学系３２は、対物レンズを含む。第１の光学系３１および第２の光学系３２は、視差方向Ｄｒ１に離間している。被写体に向かって左側に第１の光学系３１が配置され、かつ右側に第２の光学系３２が配置されている。第１の光学系３１の光軸Ａｘ１および第２の光学系３２の光軸Ａｘ２は、視差方向Ｄｒ１に交差する方向Ｄｒ２に配置されている。つまり、第１の光学系３１の光軸Ａｘ１および第２の光学系３２の光軸Ａｘ２は、方向Ｄｒ２を向くように配置されている。視差方向Ｄｒ１は、第１の光学系３１の第１の光学中心（主点）と第２の光学系３２の第２の光学中心（主点）とを通る直線の方向である。方向Ｄｒ２は、視差方向Ｄｒ１に直交する。第１の光学系３１および第２の光学系３２は、挿入部２の先端２０内に設けられた撮像素子２８上に被写体の２つの像を結像する。第１の光学系３１は第１の光学像を結像し、かつ第２の光学系３２は第２の光学像を結像する。

第１の光学像および第２の光学像は、互いに視差を有する。第１の光学像に対応する第１の画像において計測点が指定される。被写体に向かって右側に第１の光学系３１が配置され、かつ左側に第２の光学系３２が配置されてもよい。

撮像素子２８は、イメージセンサである。撮像素子２８は、挿入部２の先端２０に配置される。撮像素子２８は、第１の光学系３１および第２の光学系３２の結像位置に配置された撮像面２４を有する。撮像素子２８は、第１の光学系３１を介して撮像面２４に結像された第１の光学像と、第２の光学系３２を介して撮像面２４に結像された第２の光学像とから撮像信号を生成する。つまり、撮像素子２８は、第１の光学系３１を介して得られた第１の光学像に対応する第１の画像および第２の光学系３２を介して得られた第２の光学像に対応する第２の画像を生成する。第１の画像および第２の画像は、互いに視差を有する。第１の実施形態において、左側の視野に対応する画像が第１の画像と定義され、かつ右側の視野に対応する画像が第２の画像と定義される。右側の視野に対応する画像が第１の画像と定義され、かつ左側の視野に対応する画像が第２の画像と定義されてもよい。

撮像素子２８は信号線８０に接続され、撮像信号が撮像素子２８から信号線８０に出力される。挿入部２の先端２０の端面には、撮像素子２８を保護するためのカバーガラス３５が配置されている。

上記のように、計測内視鏡装置１は、撮像素子２８（撮像部）と、ＣＣＵ９（画像取得部）と、表示部５と、ＣＰＵ１８ａとを有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。ＣＣＵ９は、撮像信号に基づいて映像信号を生成する。映像信号は、被写体の画像を含む。したがって、ＣＣＵ９は、撮像信号に基づいて、所定の視差方向に互いに視差を有する第１の画像および第２の画像を取得する。表示部５は、第１の画像が表示される表示画面を有する。

図５は、ＣＰＵ１８ａの機能構成を示している。制御部１８０、計測点検出部１８１、計測点表示制御部１８２、対応点算出部１８３、対応点画像生成部１８４、対応点画像表示制御部１８５、対応点表示制御部１８６、および計測部１８７によってＣＰＵ１８ａの機能が構成されている。図５に示すブロックの少なくとも１つがＣＰＵ１８ａとは別の回路で構成されてもよい。

制御部１８０は、各部が行う処理を制御する。計測点検出部１８１は、ユーザーによって操作される操作部４の状態を監視し、かつ第１の画像においてユーザーによって指定された計測位置を示す計測点を検出する。計測点表示制御部１８２は、ユーザーによって指定された計測点を第１の画像上に表示させる。例えば、計測点表示制御部１８２は、計測点を示すマークである第１のカーソルを第１の画像上の計測点の位置に表示させる。対応点算出部１８３は、第１の画像上の計測点に対応する、第２の画像上の対応点を算出する。一般的に、この処理はマッチング処理と呼ばれる。

対応点画像生成部１８４は、第２の画像において対応点算出部１８３によって算出された対応点および当該対応点の周辺の領域を含み、かつ第２の画像の一部または全部で構成された対応点画像を生成する。対応点画像表示制御部１８５は、対応点画像を表示画面上に表示させる。このとき、対応点画像表示制御部１８５は、表示画面において、計測点および対応点を通る直線が視差方向に直交するように、対応点画像を表示させる。対応点表示制御部１８６は、対応点を対応点画像上に表示させる。例えば、対応点表示制御部１８６は、対応点を示すマークである第２のカーソルを対応点画像上の対応点の位置に表示させる。計測部１８７は、計測点および対応点の２次元座標に基づいて、三角測量の原理により、計測点の３次元座標を算出する。計測部１８７は、計測点の３次元座標に基づいて被写体の３次元形状のサイズを計測する。

計測点表示制御部１８２が第１のカーソルを表示させる場合、計測点表示制御部１８２は、第１のカーソルのグラフィック画像信号を生成する。計測点表示制御部１８２は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これによって、第１のカーソルが第１の画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、計測点すなわち第１のカーソルが重畳された第１の画像を表示する。

対応点画像生成部１８４によって生成された対応点画像は、映像信号処理回路１２に出力される。対応点画像表示制御部１８５は、第１の画像における対応点画像の位置が所望の位置となるように対応点画像の表示位置を制御する。また、対応点画像表示制御部１８５が第２のカーソルを表示させる場合、対応点画像表示制御部１８５は、第２のカーソルのグラフィック画像信号を生成する。対応点画像表示制御部１８５は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これによって、第２のカーソルが対応点画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、対応点すなわち第２のカーソルが重畳された対応点画像を表示する。

図６を参照し、ステレオ計測の原理を説明する。ステレオ計測では、被写体像を２つの光学系で捉えたときの２つの光学測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元座標が算出される。左の光学中心（第１の光学中心６３）と右の光学中心（第２の光学中心６４）とを結ぶ線分の中点が原点Ｏとして定義される。また、右方向が正であるｘ軸と、下方向が正であるｙ軸とが定義される。また、光軸と平行に光学系から遠ざかる方向が正であるｚ軸が定義される。

左の光学系および右の光学系を介して得られた被写体像を含む画像に対して、三角測量の原理により、計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左の画像面の計測点６１と、歪み補正が施された右の画像面の対応点６２との２次元座標はそれぞれ、（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）である。これらの２次元座標の原点はそれぞれ、左の光学系および右の光学系の光軸と画像面との交点Ｏ_Ｌ、交点Ｏ_Ｒである。第１の光学中心６３と第２の光学中心６４との距離はＤである。焦点距離はＦである。パラメータｔは、Ｄ／（Ｘ_Ｒ−Ｘ_Ｌ）である。
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２・・・（１）
Ｙ＝−ｔ×Ｙ_Ｒ・・・（２）
Ｚ＝ｔ×Ｆ・・・（３）

上記のように画像面上での計測点６１と対応点６２との座標が決定された場合、パラメータＤとパラメータＦとを用いて計測点６０の３次元座標を求めることができる。いくつかの点の３次元座標を求めることによって、様々な計測機能が実現可能である。例えば、２点間の距離、２点を結ぶ線と１点の距離、複数点を結ぶ線で囲まれた領域の面積、基準面の深さ、および表面形状等が計測される。ユーザーは、様々な計測機能から所望の計測機能を選択することができる。また、第１の光学中心６３または第２の光学中心６４から被写体までの距離（物体距離）を求めることも可能である。上記のステレオ計測を行うためには、挿入部２の先端２０とステレオ光学アダプタ３０とを含む光学系の特性を示す光学データが必要である。例えば、マッチング処理および光学データの詳細は日本国特開２００４−４９６３８号公報に記載されているので、その説明を省略する。

図７、図８Ａ、および図８Ｂを参照し、ユーザーが計測を希望する１つの計測点の位置が確定するまでの一連の流れについて説明する。図７は、計測モードにおける処理を示している。図８Ａおよび図８Ｂは、表示部５の表示画面５０を示している。

内視鏡検査では、ユーザーは、被写体の状況をライブ画像により確認し、かつ欠陥または傷が存在するか否かを検査する。このとき、計測内視鏡装置１は、検査モードで動作する。被写体に計測対象となる欠陥または傷が発見された場合には、計測内視鏡装置１の状態は、検査モードから計測モードに移行する。

計測モードの動作が開始された後、撮像素子２８は被写体を撮像し、かつ撮像信号を取得する。ＣＣＵ９は、３次元計測に必要な第１の画像および第２の画像を静止画として取得する（ステップＳ１０１）。第１の画像および第２の画像は、映像信号処理回路１２に出力される。ＣＰＵ１８ａは、第１の画像および第２の画像を映像信号処理回路１２から取得する。

ステップＳ１０１の後、制御部１８０は、第１の画像を含むメインウィンドウＷＬ１１の画像信号を生成する。制御部１８０は、生成された画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力された画像信号とを合成する。これによって、第１の画像を含むメインウィンドウＷＬ１１が表示される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、第１の画像を含むメインウィンドウＷＬ１１を表示する（ステップＳ１０２）。このとき、第２の画像は表示画面５０に表示されていない。メインウィンドウＷＬ１１に含まれる第１の画像において、被写体の構造物が映っている。メインウィンドウＷＬ１１に表示される第１の画像は左側の視野に対応するが、右側の視野に対応する画像が第１の画像としてメインウィンドウＷＬ１１に表示されてもよい。

第１の画像を含むメインウィンドウＷＬ１１が表示された後、ユーザーは、計測したい点および領域を、操作部４の操作により決定する。例えば、操作部４は、リモートコントローラーおよびタッチパネル等の入力装置である。ユーザーがリモートコントローラーを使う場合、ユーザーは、リモートコントローラーに内蔵される十字キー等を利用して、計測したい点および領域の位置を調整する。ユーザーがタッチパネルを使う場合も同様に、十字ボタンＢ１等を利用して計測したい点および領域の位置を調整する。ユーザーが計測したい点および領域の位置をユーザーが視認できるように、ユーザーによって指定された点および領域をポインティングするための第１のカーソルＣ１１が表示される。計測点表示制御部１８２は、表示画面５０において、計測点を示す第１のカーソルＣ１１を表示させる。このとき、計測点表示制御部１８２は、第１の画像上に第１のカーソルＣ１１を表示させる（ステップＳ１０３）。例えば、第１の画像の中心に第１のカーソルＣ１１が表示される。第１のカーソルＣ１１が最初に表示される位置は、第１の画像の中心以外の位置であってもよい。第１のカーソルＣ１１の位置は、第１の画像における計測点の位置と同一である。第１のカーソルＣ１１の形状および大きさは問わない。

ステップＳ１０３の後、計測点検出部１８１は、操作部４からの位置移動命令を検出し、かつ移動後の計測点を検出する。計測点表示制御部１８２は、位置移動命令に基づいて第１のカーソルＣ１１の位置を移動させる。このとき、計測点検出部１８１は、表示画面５０に存在する第１のカーソルＣ１１の位置情報を計測点位置として適宜読み込む（ステップＳ１０４）。この計測点は、最終的な位置が確定していない仮計測点である。本発明の実施形態において、仮計測点は、広義の計測点として扱われる。以下の説明において、最終的な位置が確定していない計測点は、仮計測点に置き換えることができる。

ステップＳ１０４の後、第２の画像において、対応点を探索するマッチング処理が行われる。対応点は、計測点と最も似ている点すなわち計測点との相関値の高い点である。ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）のような処理がマッチング処理に良く使用される。これらのマッチング手法を用いることによって、対応点算出部１８３は、第１の画像上で指定された計測点に最も近い、第２の画像上の対応点を算出する（ステップＳ１０５）。

ステップＳ１０５の後、対応点画像生成部１８４は、第２の画像において対応点および当該対応点の周辺の領域を含み、かつ第２の画像の一部で構成された対応点画像を生成する。このとき、対応点画像生成部１８４は、視差方向ＤＲ１における長さが、視差方向ＤＲ１に直交する方向ＤＲ２における長さよりも大きい対応点画像を生成する。つまり、対応点画像生成部１８４は、視差方向ＤＲ１に細長い対応点画像を生成する（ステップＳ１０６）。図８Ａおよび図８Ｂにおいて、第１の画像および第２の画像における視差方向ＤＲ１は右方向である。視差方向ＤＲ１は左方向であってもよい。視差方向ＤＲ１は、表示画面５０における水平方向（左右方向）である。図８Ａおよび図８Ｂにおいて、方向ＤＲ２は上方向である。方向ＤＲ２は下方向であってもよい。方向ＤＲ２は、表示画面５０における垂直方向（上下方向）である。対応点画像は、第２の画像の全部で構成されてもよい。

ステップＳ１０６の後、対応点画像表示制御部１８５は、対応点画像を含むサブウィンドウＷＲ１１の画像信号を生成する。対応点画像表示制御部１８５は、生成された画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力された画像信号とを合成する。これによって、対応点画像を含むサブウィンドウＷＲ１１が表示される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、対応点画像を含むサブウィンドウＷＲ１１を表示する（ステップＳ１０７）。サブウィンドウＷＲ１１に含まれる対応点画像において、被写体の構造物が映っている。

図８Ａおよび図８Ｂに示すように、サブウィンドウＷＲ１１は、メインウィンドウＷＬ１１上に重畳される。ステップＳ１０７において、対応点画像表示制御部１８５は、対応点画像を第１の画像上に表示させる。このとき、対応点画像表示制御部１８５は、対応点画像の一部または全てが第１の画像と重なるように対応点画像を表示させる。図８Ａおよび図８Ｂにおいて、サブウィンドウＷＲ１１における対応点画像の全てがメインウィンドウＷＬ１１内の第１の画像と重なる。メインウィンドウＷＬ１１において、メインウィンドウＷＬ１１およびサブウィンドウＷＲ１１が互いに重なる領域の第１の画像は視認できない。ステップＳ１０７において、対応点画像表示制御部１８５は、対応点画像の表示領域（サブウィンドウＷＲ１１）を第１の画像に設定し、かつサブウィンドウＷＲ１１内に対応点画像を表示させる。

ステップＳ１０７において、対応点画像表示制御部１８５は、対応点画像における視差方向が第１の画像における視差方向ＤＲ１と同一になるように、対応点画像を表示させる。つまり、対応点画像表示制御部１８５は、第１の画像に対して対応点画像が傾かないように、対応点画像を表示させる。

ステップＳ１０７において、対応点画像表示制御部１８５は、対応点が計測点に対して離間するように、対応点画像を表示させる。つまり、対応点画像表示制御部１８５は、対応点および計測点の位置が異なるように、対応点画像を表示させる。これによって、第１の画像における計測点の周辺部分と、対応点画像における対応点の周辺部分とをユーザーが視認しやすくなる。また、対応点画像表示制御部１８５は、対応点画像が計測点に対して離間するように、対応点画像を表示させる。つまり、対応点画像表示制御部１８５は、対応点画像が計測点に重ならないように、対応点画像を表示させる。これによって、上記と同様に、第１の画像における計測点の周辺部分と、対応点画像における対応点の周辺部分とをユーザーが視認しやすくなる。

ステップＳ１０７において、対応点画像表示制御部１８５は、第１の画像の表示倍率と同じ表示倍率で対応点画像を表示させる。これによって、ユーザーが計測点周辺の画像および対応点周辺の画像を比較しやすくなる。

ステップＳ１０７の後、対応点の位置をユーザーが簡単に確認できるように、第２のカーソルＣ１２が表示される。対応点表示制御部１８６は、表示画面５０において、対応点を示す第２のカーソルＣ１２を表示させる。このとき、対応点表示制御部１８６は、対応点画像上に第２のカーソルＣ１２を表示させる（ステップＳ１０８）。第２のカーソルＣ１２の位置は、対応点画像における対応点の位置と同一である。第１のカーソルＣ１１および第２のカーソルＣ１２の形状は同一であり、かつ第１のカーソルＣ１１および第２のカーソルＣ１２の大きさは同一である。しかし、これに限らない。

図８Ａおよび図８Ｂに示すように、第２のカーソルＣ１２は第１のカーソルＣ１１に対して方向ＤＲ２に離間している。つまり、対応点は計測点に対して方向ＤＲ２に離間している。対応点画像が計測点に対して離間するように対応点画像が表示されるため、サブウィンドウＷＲ１１は第１のカーソルＣ１１と重ならない。

ステップＳ１０８の後、対応点画像表示制御部１８５は、サブウィンドウＷＲ１１内の対応点画像の位置を調整する。具体的には、対応点画像表示制御部１８５は、計測点および対応点が直線Ｌ１１上に配置されるように、対応点画像を表示させる。直線Ｌ１１は、第１のカーソルＣ１１および第２のカーソルＣ１２を通る。つまり、直線Ｌ１１は、計測点および対応点を通る。直線Ｌ１１は、第１の画像および第２の画像における視差方向ＤＲ１に直交する。したがって、対応点画像表示制御部１８５は、表示画面５０において、計測点および対応点を通る直線Ｌ１１が視差方向ＤＲ１に直交するように、対応点画像の位置を調整する（ステップＳ１０９）。このとき、直線Ｌ１１は、表示画面５０に表示されていない。

ステップＳ１０９において、計測点表示制御部１８２は第１のカーソルＣ１１の位置を調整し、かつ対応点表示制御部１８６は第２のカーソルＣ１２の位置を調整する。つまり、計測点表示制御部１８２は、表示画面５０において、第１のカーソルＣ１１を直線Ｌ１１上に表示させる。対応点表示制御部１８６は、表示画面５０において、第２のカーソルＣ１２を直線Ｌ１１上に表示させる。

ステレオ光学系（ステレオ光学アダプタ３０）が有する２つの対物光学系（第１の光学系３１および第２の光学系３２）は、互いに視差方向に離間している。マッチング処理により得られる対応点は、真の対応点に対して視差方向にずれ易い。視差方向に直交する直線上に計測点および対応点が位置するように、第１の画像および対応点画像が並べられる。ユーザーは、計測点周辺の画像および対応点周辺の画像を比較することにより、対応点周辺の画像が計測点周辺の画像に対してずれているか否かを確認する。これによって、マッチング誤対応が発生しているか否かをユーザーが容易に判断することができる。

図８Ａは、マッチング誤対応が発生していない場合における表示部５の表示画面５０を示している。被写体において第１のカーソルＣ１１および第２のカーソルＣ１２が示す位置は一致する。つまり、被写体上の計測点および対応点の位置は一致する。計測点および対応点を通る直線Ｌ１１が視差方向ＤＲ１に直交するように対応点画像の位置が調整された後、視差方向ＤＲ１における第１の画像内の計測点周辺の構造の位置と対応点画像内の対応点周辺の構造の位置とは同一である。このため、ユーザーは、マッチング誤対応が発生していないと判断することができる。

図８Ｂは、マッチング誤対応が発生している場合における表示部５の表示画面５０を示している。被写体において第１のカーソルＣ１１および第２のカーソルＣ１２が示す位置は一致しない。つまり、被写体上の計測点および対応点の位置は一致しない。具体的には、対応点は、被写体において計測点の位置よりも右側にずれている。計測点および対応点を通る直線Ｌ１１が視差方向ＤＲ１に直交するように対応点画像の位置が調整された後、対応点周辺の構造の位置は、第１の画像内の計測点周辺の構造の位置よりも左側にずれている。このため、ユーザーは、マッチング誤対応が発生していると判断することができる。

ステップＳ１０９の後、制御部１８０は、ユーザーによる判断の結果を確認する（ステップＳ１１０）。マッチング誤対応が発生している場合、ユーザーは、操作部４を操作することにより、計測点を移動させる。この場合、ステップＳ１０４における処理が行われる。マッチング誤対応が発生していない場合、ユーザーは、操作部４を操作することにより、表示画面５０における決定ボタンＢ２を押す。これによって、計測点が確定する（ステップＳ１１１）。決定ボタンＢ２が押されるまで、ステップＳ１０４からステップＳ１０９における処理が繰り返される。ステップＳ１１１における処理が行われることにより、図７に示す処理が終了する。

ユーザーによって複数の計測点が指定される場合、各計測点に関して、図７に示す処理が行われる。全ての計測点が確定した後、計測点の３次元座標が算出され、かつその３次元座標に基づいて被写体の３次元形状のサイズが計測される。

対応点画像において第２のカーソルＣ１２が表示されなくてもよい。したがって、ＣＰＵ１８ａが対応点表示制御部１８６を有していなくてもよい。

サブウィンドウＷＲ１１は視差方向ＤＲ１に長ければよく、サブウィンドウＷＲ１１の形状は問わない。図８Ａおよび図８Ｂにおいて、サブウィンドウＷＲ１１が矩形である例を示したが、サブウィンドウＷＲ１１は楕円形状または多角形であってもよい。

第１の実施形態において、対応点画像表示制御部１８５は、表示画面５０において、計測点および対応点を通る直線Ｌ１１が視差方向ＤＲ１に直交するように、対応点画像を表示させる。これによって、マッチング誤対応が発生しているか否かをユーザーが容易に判断することができる。

（第１の実施形態の第１の変形例）
図９は、第１の実施形態の第１の変形例における表示部５の表示画面５０を示している。メインウィンドウＷＬ２１に第１の画像が表示され、かつサブウィンドウＷＲ２１に対応点画像が表示される。計測点を示す第１のカーソルＣ２１および対応点を示す第２のカーソルＣ２２は、視差方向ＤＲ１に直交する直線Ｌ２１上に配置される。

制御部１８０は、第１の画像の第１の表示領域（メインウィンドウＷＬ２１）を設定し、かつメインウィンドウＷＬ２１内に第１の画像を表示させる。対応点画像表示制御部１８５は、対応点画像の第２の表示領域（サブウィンドウＷＲ２１）を設定し、かつサブウィンドウＷＲ２１内に対応点画像を表示させる。メインウィンドウＷＬ２１の位置およびサブウィンドウＷＲ２１の位置は異なる。メインウィンドウＷＬ２１およびサブウィンドウＷＲ２１は互いに重ならない。対応点画像表示制御部１８５は、表示画面５０において、メインウィンドウＷＬ２１よりも下側にサブウィンドウＷＲ２１を設定する。表示画面５０において、メインウィンドウＷＬ２１よりも上側にサブウィンドウＷＲ２１が設定されてもよい。

メインウィンドウＷＬ２１およびサブウィンドウＷＲ２１が互いに重ならないため、第１の画像の視認性が低下しない。

（第１の実施形態の第２の変形例）
第１の実施形態の第２の変形例において、第１の実施形態におけるＣＰＵ１８ａは、図１０に示すＣＰＵ１８ｂに変更される。図１０は、ＣＰＵ１８ｂの機能構成を示している。図１０に示す構成について、図５に示す構成と異なる点を説明する。

ＣＰＵ１８ｂは、図５に示す構成に加えて、補助線表示制御部１８８を有する。補助線表示制御部１８８は、表示画面５０において、補助線を表示させる。具体的には、補助線表示制御部１８８は、補助線のグラフィック画像信号を生成する。補助線表示制御部１８８は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｂから出力されたグラフィック画像信号とを合成する。これによって、補助線が表示される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、補助線を表示する。

上記以外の点について、図１０に示す構成は、図５に示す構成と同様である。

図１１は、第１の実施形態の第２の変形例における表示部５の表示画面５０を示している。メインウィンドウＷＬ３１に第１の画像が表示され、かつサブウィンドウＷＲ３１に対応点画像が表示される。計測点を示す第１のカーソルＣ３１および対応点を示す第２のカーソルＣ３２は、視差方向ＤＲ１に直交する直線Ｌ３１上に配置される。

対応点画像表示制御部１８５は、対応点画像の表示領域（サブウィンドウＷＲ３１）を表示画面５０に設定し、かつサブウィンドウＷＲ３１内に対応点画像を表示させる。対応点画像表示制御部１８５は、対応点画像が表示されるとき、視差方向ＤＲ１におけるサブウィンドウＷＲ３１の両端位置を、視差方向ＤＲ１における第１の画像の両端位置にそれぞれ一致させる。補助線表示制御部１８８は、補助線Ｌ３２が視差方向ＤＲ１における対応点画像の両端の少なくとも一方を通るように補助線Ｌ３２を表示させる。

視差方向ＤＲ１におけるサブウィンドウＷＲ３１の長さ（幅）は、視差方向ＤＲ１における第１の画像の長さ（幅）と同一である。サブウィンドウＷＲ３１の左端の位置は第１の画像の左端の位置と同一であり、かつサブウィンドウＷＲ３１の右端の位置は第１の画像の右端の位置と同一である。対応点画像表示制御部１８５は、計測点および対応点の位置が直線Ｌ３１上になるように、サブウィンドウＷＲ１１内の対応点画像の位置を調整する。

図１１に示すように、補助線Ｌ３２は、対応点画像の右端を通る。補助線Ｌ３２は、第１の画像および第２の画像における視差方向ＤＲ１に直交する。

視差方向ＤＲ１におけるサブウィンドウＷＲ３１の長さと視差方向ＤＲ１における第１の画像の長さとが同一であるため、対応点画像において、ステレオ光学アダプタ３０の設計仕様上の視差により見えない領域を除いた広い領域をユーザーが確認することができる。このため、ユーザーは、計測点および対応点の周辺の被写体情報だけでなく、より広範囲の被写体情報を参考にして、マッチング誤対応が発生しているか否かを判断することができる。

例えば、被写体が周期構造を有する場合、計測点の位置における構造と似た他の構造から、誤った対応点が検出される可能性がある。図１１において、メインウィンドウＷＬ３１に表示された第１の画像における構造物Ｆ３１に計測点が設定されている。また、サブウィンドウＷＲ３１に表示された対応点画像における構造物Ｆ３２から対応点が検出されている。第１の画像において、対応点画像における構造物Ｆ３１の下側の位置には構造物Ｆ３１に対応する構造がない。また、対応点画像における構造物Ｆ３３は、第１の画像における構造物Ｆ３３に対して、水平方向にずれている。このため、ユーザーは、マッチング誤対応が発生していると判断することができる。

図１１において、対応点の位置は計測点の位置に対して右方向に大きくずれている。対応点画像表示制御部１８５がサブウィンドウＷＲ３１内の対応点画像の位置を調整することにより、対応点画像は第１の画像に対して左方向に大きくずれて表示される。視差方向ＤＲ１における第１の画像の長さ（幅）および第２の画像の長さ（幅）は、同一である。対応点画像が第１の画像に対して左方向にずれて表示されることにより、対応点画像の右端位置および第１の画像の右端位置は一致しない。第１の画像の右端位置は、サブウィンドウＷＲ３１の右端位置と一致する。このため、サブウィンドウＷＲ３１の右端と対応点画像の右端との間に、画像が表示されない領域Ｒ３１が発生する。対応点画像において、サブウィンドウＷＲ３１の左端よりも左側にある部分は表示されない。ユーザーは、計測点周辺の画像および対応点周辺の画像の比較結果に加えて、領域Ｒ３１がどの程度、発生しているのかを確認した結果を参考にすることにより、マッチング誤対応が発生しているか否かを判断することができる。

内視鏡装置で取得された画像の背景は暗い場合が多い。このため、対応点画像の背景と領域Ｒ３１との境界が判別しにくい場合がある。補助線Ｌ３２が表示されることにより、画像が表示されない領域Ｒ３１がどの程度、発生しているのかユーザーが容易に判断することができる。マッチング誤対応が発生せず、かつ対応点画像の両端位置が第１の画像の両端位置と一致する場合、対応点画像の両端位置に２本の補助線が表示されてもよい。

（第１の実施形態の第３の変形例）
第１の実施形態の第３の変形例において、第１の実施形態におけるＣＰＵ１８ａは、図１０に示すＣＰＵ１８ｂに変更される。図１０については既に説明したので、図１０の説明を省略する。

図１２は、第１の実施形態の第３の変形例における表示部５の表示画面５０を示している。メインウィンドウＷＬ４１に第１の画像が表示され、かつサブウィンドウＷＲ４１に対応点画像が表示される。計測点を示す第１のカーソルＣ４１および対応点を示す第２のカーソルＣ４２は、視差方向ＤＲ１に直交する直線Ｌ４１上に配置される。

対応点画像生成部１８４は、第２の画像において対応点算出部１８３によって算出された対応点および当該対応点の周辺の領域を含み、かつ第２の画像の一部で構成された第２の対応点画像を生成する。このとき、対応点画像生成部１８４は、視差方向ＤＲ１における長さが、視差方向ＤＲ１に直交する方向ＤＲ２における長さよりも小さい第２の対応点画像を生成する。つまり、対応点画像生成部１８４は、方向ＤＲ２に細長い第２の対応点画像を生成する。対応点画像表示制御部１８５は、第１の画像および第２の対応点画像が視差方向ＤＲ１に沿って並ぶように、第２の対応点画像を表示画面５０上に表示させる。

対応点画像表示制御部１８５は、第２の対応点画像を含むサブウィンドウＷＲ４２の画像信号を生成する。対応点画像表示制御部１８５は、生成された画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｂから出力された画像信号とを合成する。これによって、第２の対応点画像を含むサブウィンドウＷＲ４２が表示される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、第２の対応点画像を含むサブウィンドウＷＲ４２を表示する。サブウィンドウＷＲ４２に含まれる第２の対応点画像において、被写体の構造物が映っている。

制御部１８０は、第１の画像の第１の表示領域（メインウィンドウＷＬ４１）を設定し、かつメインウィンドウＷＬ４１内に第１の画像を表示させる。対応点画像表示制御部１８５は、対応点画像の第２の表示領域（サブウィンドウＷＲ４１）を設定し、かつサブウィンドウＷＲ４１内に対応点画像を表示させる。さらに、対応点画像表示制御部１８５は、第２の対応点画像の第３の表示領域（サブウィンドウＷＲ４２）を設定し、かつサブウィンドウＷＲ４２内に第２の対応点画像を表示させる。メインウィンドウＷＬ４１の位置およびサブウィンドウＷＲ４２の位置は異なる。メインウィンドウＷＬ４１およびサブウィンドウＷＲ４２は互いに重ならない。対応点画像表示制御部１８５は、表示画面５０において、メインウィンドウＷＬ４１よりも右側にサブウィンドウＷＲ４２を設定する。表示画面５０において、メインウィンドウＷＬ４１よりも左側にサブウィンドウＷＲ４２が設定されてもよい。

視差方向ＤＲ１におけるサブウィンドウＷＲ４２の長さ（幅）は、視差方向ＤＲ１に直交する方向ＤＲ２におけるサブウィンドウＷＲ４２の長さ（幅）よりも小さい。視差方向ＤＲ１に直交する方向ＤＲ２におけるサブウィンドウＷＲ４２の長さ（幅）は、視差方向ＤＲ１に直交する方向ＤＲ２におけるメインウィンドウＷＬ４１の長さ（幅）と同一である。対応点表示制御部１８６は、表示画面５０において、対応点を示す第３のカーソルＣ４３を表示させる。このとき、対応点表示制御部１８６は、第２の対応点画像上に第３のカーソルＣ４３を表示させる。第３のカーソルＣ４３の位置は、第２の対応点画像における対応点の位置と同一である。

補助線表示制御部１８８は、表示画面５０において、視差方向ＤＲ１に平行であり、かつ計測点を通る補助線Ｌ４２を第１の画像および第２の対応点画像上に表示させる。補助線Ｌ４２は、第１のカーソルＣ４１を通る。補助線Ｌ４２が第２の対応点画像における対応点を通ってもよいし、あるいは補助線Ｌ４２が第２の対応点画像における対応点を通らなくてもよい。

第２の対応点画像が表示されることにより、ユーザーは、視差方向ＤＲ１の被写体情報だけでなく、視差方向ＤＲ１に直交する方向ＤＲ２におけるより広範囲の被写体情報も参考にして、マッチング誤対応が発生しているか否かを判断することができる。

（第１の実施形態の第４の変形例）
ユーザーからの指示あるいは何らかの判定処理により、サブウィンドウすなわち対応点画像の表示と非表示とを切り替える制御が行われてもよい。例えば、操作部４の操作によって移動命令が継続されているとき、つまり第１の画像において計測点が止まらずに動いているとき、対応点画像表示制御部１８５は、サブウィンドウすなわち対応点画像を表示させない。あるいは、第１の画像上に表示された計測点の移動速度が所定の閾値よりも大きい場合、対応点画像表示制御部１８５は、対応点画像を表示させない。第１の画像上に表示された計測点の移動速度が所定の閾値よりも小さい場合、対応点画像表示制御部１８５は、サブウィンドウすなわち対応点画像を表示させる。計測点が所定時間、例えば１秒間停止した場合に対応点画像表示制御部１８５は、サブウィンドウすなわち対応点画像を表示させてもよい。

計測点が計測に適しているか否かを示す信頼度の判定により、サブウィンドウすなわち対応点画像の表示と非表示とを切り替える制御が行われてもよい。例えば、計測点が指定された位置における画像の輝度を判定に使用することができる。マッチング処理の過程で生成された信頼度等の指標を判定に使用してもよい。例えば、信頼度が低い場合にはサブウィンドウが表示されるが、信頼度が高い場合にはサブウィンドウが表示されなくてもよい。

サブウィンドウすなわち対応点画像の表示と非表示との切替をユーザー自身が指示してもよい。例えば、表示および非表示を切り替えるためのボタンが操作部４に設けられている場合、ユーザーは、操作部４のボタンを操作することにより、表示または非表示の指示を入力する。表示の指示が入力された場合、対応点画像表示制御部１８５は、サブウィンドウすなわち対応点画像を表示させる。非表示の指示が入力された場合、対応点画像表示制御部１８５は、サブウィンドウすなわち対応点画像を表示させない。

ユーザーがサブウィンドウの透過率を設定できてもよい。サブウィンドウが透過状態に設定された場合、ユーザーは、メインウィンドウに表示された第１の画像における被写体の状態を確認することができる。

（第１の実施形態の第５の変形例）
サブウィンドウにズーム機能が搭載されてもよい。つまり、対応点画像表示制御部１８５は、第１の画像の表示倍率よりも高い表示倍率で対応点画像を表示させてもよい。あるいは、対応点画像表示制御部１８５は、第１の画像の表示倍率よりも低い表示倍率で対応点画像を表示させてもよい。ズーム機能により、ユーザーは、注目範囲が拡大表示された状態で、マッチング誤対応が発生しているか否かをより正確に判断することができる。あるいは、ユーザーは、対応点画像が縮小表示された状態で、被写体全体の様子を確認することができる。

ズーム機能がメインウィンドウに搭載されてもよい。つまり、対応点画像表示制御部１８５は、第１の画像の表示倍率を変更できてもよい。サブウィンドウが表示部５の表示画面５０に表示された直後にはメインウィンドウおよびサブウィンドウのズーム倍率が同一であってもよい。サブウィンドウが表示された直後に各ウィンドウのズーム倍率が等しい場合、ユーザーは、マッチング誤対応が発生しているか否かを簡単に確認することができる。

制御部１８０および対応点画像表示制御部１８５は、ユーザーからの倍率変更指示により、メインウィンドウにおけるズーム倍率とサブウィンドウにおけるズーム倍率とを連動させてもよい。各ウィンドウのズーム倍率が連動することで、マッチング誤対応が発生しているか否かをユーザーが確認する作業をサポートすることができる。

対応点画像に加えて、３次元計測によって得られる深さ画像（デプスマップ）または信頼度のマップが表示されてもよい。例えば、これらは対応点画像に重畳表示される。あるいは、ボタン等の操作により、対応点画像のみが表示された状態と、深さ画像または信頼度のマップのみが表示された状態とを切り替えることができてもよい。

計測点における計測値の信頼度が低かった場合、ユーザーに注意を促すための通知が行われてもよい。例えば、表示部５の表示画面５０に表示されたメインウィンドウおよびサブウィンドウの表示枠の色が変化してもよい。あるいは、メッセージが表示されてもよい。あるいは、表示された画像が加工されてもよい。

（第１の実施形態の第６の変形例）
第１の実施形態では、ステレオ光学アダプタ３０内の２つの光学系の視差方向が、表示部５の表示画面５０において水平方向（左右方向）であるケースを説明した。しかし、視差方向が、表示部５の表示画面５０において垂直方向（上下方向）であるケースも存在する。この場合においても、メインウィンドウおよびサブウィンドウは、視差方向に対して直交する方向に沿って並ぶ。この点では第１の実施形態と相違がない。しかし、視差方向が、表示部５の表示画面５０において垂直方向である場合、メインウィンドウおよびサブウィンドウは、水平方向に沿って並ぶ。

視差方向が、表示部５の表示画面５０において水平方向および垂直方向と異なる斜め方向になるケースも考えられる。この場合について以下に説明する。

第１の画像および第２の画像の平行化が行われていない場合、またはあえて視差方向が斜めになるように光学系が設計されている場合、視差方向が斜めになる。視差方向が表示部５の表示画面５０における水平方向に対して斜めである場合には、視差方向と直交する直線も斜めになる。第１の実施形態と同様に、視差方向に直交する直線上に計測点および対応点が配置されるように対応点画像の位置が調整された場合、表示部５の表示画面５０における水平方向に対して斜めの直線上に計測点および対応点が配置される。このような仕様では、製品の使用状況を考慮すると、ユーザーはマッチングが正しく行われているか否かを簡単に判断することができない。

そのため、視差方向に直交する直線が表示部５の表示画面５０における水平方向に対して斜めである場合（視差方向も斜めである場合）、計測点および対応点は、視差方向に完全に直交する直線上に配置されなくてもよい。この場合、表示部５の表示画面５０における水平方向および垂直方向のいずれか１つであって、かつ視差方向に直交する方向に近い方向（水平方向または垂直方向）に平行な直線上に計測点および対応点が配置される。

したがって、視差方向に直交する方向が垂直方向に近い場合、対応点画像表示制御部１８５は、表示画面５０において、計測点および対応点を通る直線が表示画面５０の垂直方向と平行になるように、対応点画像を表示させてもよい。あるいは、視差方向に直交する方向が水平方向に近い場合、対応点画像表示制御部１８５は、表示画面５０において、計測点および対応点を通る直線が表示画面５０の水平方向と平行になるように、対応点画像を表示させてもよい。

図１３Ａおよび図１３Ｂは、表示部５の表示画面５０を示している。図１３Ａに示すように、メインウィンドウＷＬ５１に第１の画像が表示され、かつサブウィンドウＷＲ５１に対応点画像が表示される。図１３Ｂに示すように、メインウィンドウＷＬ５２に第１の画像が表示され、かつサブウィンドウＷＲ５２に対応点画像が表示される。

図１３Ａにおいて、視差方向ＤＲ３は、表示画面５０における水平方向と一致せず、かつ表示画面５０における水平方向に対して傾きを有する。視差方向ＤＲ３に直交する方向ＤＲ４は、表示画面５０における垂直方向に近い。このため、計測点および対応点を通る直線Ｌ５１が表示画面５０における垂直方向と平行になるように、対応点画像が表示される。計測点を示す第１のカーソルＣ５１および対応点を示す第２のカーソルＣ５２は、直線Ｌ５１上に配置される。

図１３Ｂにおいて、視差方向ＤＲ５は、表示画面５０における垂直方向と一致せず、かつ表示画面５０における垂直方向に対して傾きを有する。視差方向ＤＲ５に直交する方向ＤＲ６は、表示画面５０における水平方向に近い。このため、計測点および対応点を通る直線Ｌ５２が表示画面５０における水平方向と平行になるように、対応点画像が表示される。計測点を示す第１のカーソルＣ５３および対応点を示す第２のカーソルＣ５４は、直線Ｌ５２上に配置される。

視差方向が表示画面５０における水平方向に対してちょうど４５ｄｅｇ傾いている場合、視差方向に直交する方向も表示画面５０における水平方向に対して４５ｄｅｇ傾く。この場合、表示画面５０において計測点および対応点は、水平方向および垂直方向のいずれか１つに平行な直線上に配置される。

計測用の光学アダプタをユーザーが取り付ける際に光学アダプタの取りつけ方が不十分であることにより、視差方向が表示画面５０に対して数ｄｅｇ程度傾く場合もありえる。この場合においても上述したように（図１３Ａに示すように）、視差方向と完全に直交する直線ではなく表示画面５０の垂直方向に平行な直線上に計測点および対応点が配置されればよい。これによって、ユーザーは、マッチング誤対応が発生しているか否かを素早く判断することができる。

（第２の実施形態）
図１および図２に示す計測内視鏡装置１を使用して、本発明の第２の実施形態を説明する。第２の実施形態では、第１の画像においてユーザーにより指定された計測点と、対応点画像における対応点との位置が一致するように、対応点画像の表示位置が調整される。また、第２の実施形態では、第１の画像が対応点画像を通して視認可能となるように、対応点画像は、半透明な状態で表示される。

対応点画像表示制御部１８５は、計測点と対応点画像とが重なり、かつ第１の画像が対応点画像を通して視認可能となるように、対応点画像を半透明処理し、かつ対応点画像を第１の画像上に表示させる。対応点画像表示制御部１８５は、計測点と対応点とが互いに重なるように、対応点画像を第１の画像上に表示させる。

図１４および図１５を参照し、第２の実施形態における処理について説明する。図１４は、計測モードにおける処理を示している。図１５は、表示部５の表示画面５０を示している。図１５に示すように、メインウィンドウＷＬ６１に第１の画像が表示され、かつサブウィンドウＷＲ６１に対応点画像が表示される。

図１４に示す処理について、図７に示す処理と異なる点を説明する。ステップＳ１０８の後、対応点画像表示制御部１８５は、対応点画像が半透明となるように対応点画像を処理する。対応点画像が第１の画像に重畳された状態で対応点画像が半透明となることにより、第１の画像および対応点画像が互いに重なる領域では、第１の画像および対応点画像の両方が視認できる。さらに、対応点画像表示制御部１８５は、サブウィンドウＷＲ６１内の対応点画像の位置を調整する。具体的には、対応点画像表示制御部１８５は、計測点および対応点の位置が一致するように、対応点画像を表示させる。このため、計測点を示す第１のカーソルＣ６１および対応点を示す第２のカーソルＣ６２は互いに重なる（ステップＳ１２１）。ステップＳ１２１の後、ステップＳ１１０における処理が行われる。

上記以外の点について、図１４に示す処理は、図７に示す処理と同様である。

図１５において、サブウィンドウＷＲ６１における対応点画像内の対応点周辺の構造の位置は、メインウィンドウＷＬ６１における第１の画像内の計測点周辺の構造の位置よりも左側にずれている。つまり、マッチング誤対応が発生している。対応点画像が半透明な状態で表示されるため、ユーザーは、第１の画像および対応点画像の両方のズレを確認することにより、マッチング誤対応が発生しているか否かを素早く判断することができる。

（第３の実施形態）
第３の実施形態において、第１の実施形態におけるＣＰＵ１８ａは、図１０に示すＣＰＵ１８ｂに変更される。図１０については既に説明したので、図１０の説明を省略する。第３の実施形態では、視差方向ＤＲ１に直交する１本以上の補助線が表示される。

補助線表示制御部１８８は、表示画面５０において、視差方向ＤＲ１に直交する１本以上の補助線を第１の画像および対応点画像上に表示させる。補助線表示制御部１８８は、補助線が計測点を通るように補助線を表示させる。

図１６および図１７を参照し、第３の実施形態における処理について説明する。図１６は、計測モードにおける処理を示している。図１７は、表示部５の表示画面５０を示している。図１７に示すように、メインウィンドウＷＬ７１に第１の画像が表示され、かつサブウィンドウＷＲ７１に対応点画像が表示される。計測点を示す第１のカーソルＣ７１および対応点を示す第２のカーソルＣ７２は、視差方向ＤＲ１に直交する直線上に配置される。

図１６に示す処理について、図７に示す処理と異なる点を説明する。ステップＳ１０９の後、補助線表示制御部１８８は、表示画面５０において、視差方向ＤＲ１に直交し、かつ計測点を通る補助線Ｌ７１を第１の画像および対応点画像上に表示させる。ステップＳ１０９において、計測点および対応点が視差方向ＤＲ１に直交する直線上に配置されるように、対応点画像が表示される。このため、視差方向ＤＲ１に直交する補助線Ｌ７１は、計測点および対応点を通る。つまり、補助線Ｌ７１は、第１のカーソルＣ７１および第２のカーソルＣ７２を通る。補助線表示制御部１８８は、補助線が計測点および対応点を通るように補助線を表示させる（ステップＳ１３１）。補助線Ｌ７１の線種、太さ、および色は任意に設定されてよい。ステップＳ１３１の後、ステップＳ１１０における処理が行われる。

上記以外の点について、図１６に示す処理は、図７に示す処理と同様である。

図１８Ａ、図１８Ｂ、図１８Ｃ、および図１８Ｄは、補助線の様々な例を示している。図１８Ａに示す補助線Ｌ７２は、第１のカーソルＣ７１および第２のカーソルＣ７２を通る直線である。つまり、補助線Ｌ７２は、計測点および対応点を通る直線である。補助線Ｌ７２は、補助線Ｌ７１と同様である。図１８Ｂに示す補助線Ｌ７３は、第１のカーソルＣ７１および第２のカーソルＣ７２を通る線分である。つまり、補助線Ｌ７３は、計測点および対応点を結ぶ線分である。

図１８Ｃおよび図１８Ｄに示すように、２本以上の補助線が表示されてもよい。図１８Ｃに示す補助線Ｌ７４は、第１のカーソルＣ７１を通る直線である。図１８Ｃに示す補助線Ｌ７５は、第２のカーソルＣ７２を通る直線である。補助線Ｌ７４および補助線Ｌ７５は、交わらない。図１８Ｄに示す補助線Ｌ７６および補助線Ｌ７７は、第１のカーソルＣ７１および第２のカーソルＣ７２と交わらない。補助線Ｌ７６および補助線Ｌ７７は、第１のカーソルＣ７１および第２のカーソルＣ７２を通る直線の一部である。

図１７において、サブウィンドウＷＲ７１における対応点画像内の対応点周辺の構造の位置は、メインウィンドウＷＬ７１における第１の画像内の計測点周辺の構造の位置よりも左側にずれている。つまり、マッチング誤対応が発生している。ユーザーは、補助線Ｌ７１の位置を参考にして、計測点周辺の画像および対応点周辺の画像を比較することにより、対応点周辺の画像が計測点周辺の画像に対してずれているか否かを容易に確認することができる。例えば、ユーザーは、第１の画像および対応点画像における補助線Ｌ７１から特徴的な構造までの距離を比較することにより画像のずれを確認することができる。このため、マッチング誤対応が発生しているか否かをユーザーが容易に判断することができる。

（第３の実施形態の第１の変形例）
第３の実施形態の第１の変形例において、ＣＰＵ１８ｂは、図１９に示すＣＰＵ１８ｃに変更される。図１９は、ＣＰＵ１８ｃの機能構成を示している。図１９に示す構成について、図１０に示す構成と異なる点を説明する。

ＣＰＵ１８ｃは、図１０に示す構成に加えて、特徴点算出部１８９を有する。特徴点算出部１８９は、第１の画像の被写体において、計測点以外の第１の特徴点を算出する。補助線表示制御部１８８は、補助線が第１の特徴点を通るように補助線を表示させる。また、特徴点算出部１８９は、対応点画像の被写体において、対応点以外の第２の特徴点を算出する。補助線表示制御部１８８は、補助線が第２の特徴点を通るように補助線を表示させる。

上記以外の点について、図１９に示す構成は、図１０に示す構成と同様である。

図２０は、表示部５の表示画面５０を示している。図２０に示すように、メインウィンドウＷＬ８１に第１の画像が表示され、かつサブウィンドウＷＲ８１に対応点画像が表示される。計測点を示す第１のカーソルＣ８１および対応点を示す第２のカーソルＣ８２は、視差方向ＤＲ１に直交する直線上に配置される。

補助線表示制御部１８８は、第１のカーソルＣ８１および第２のカーソルＣ８２を通る補助線Ｌ８１を表示させる。特徴点算出部１８９は、第１の画像における計測点周辺の画像から被写体の特徴点Ｐ８１を算出する。例えば、特徴点を算出するための方法として、Ｈａｒｒｉｓ特徴量、ＳＩＦＴ特徴量、およびＦＡＳＴ特徴量などを用いる方法が挙げられる。図２０において、第１の画像における１つの特徴点Ｐ８１が算出されるが、複数の特徴点が算出されてもよい。補助線表示制御部１８８は、視差方向ＤＲ１に直交し、かつ特徴点Ｐ８１を通る補助線Ｌ８２を表示させる。補助線Ｌ８２は、補助線Ｌ８１に平行である。

特徴点算出部１８９は、対応点画像における対応点周辺の画像から被写体の特徴点Ｐ８２を算出する。図２０において、対応点画像における１つの特徴点Ｐ８２が算出されるが、複数の特徴点が算出されてもよい。補助線表示制御部１８８は、視差方向ＤＲ１に直交し、かつ特徴点Ｐ８２を通る補助線Ｌ８３を表示させる。補助線Ｌ８３は、補助線Ｌ８１に平行である。特徴点Ｐ８１および特徴点Ｐ８２のいずれか１つのみが検出され、かつ補助線Ｌ８２および補助線Ｌ８３のいずれか１つのみが表示されてもよい。

図２０において、サブウィンドウＷＲ８１における対応点画像内の対応点周辺の構造の位置は、メインウィンドウＷＬ８１における第１の画像内の計測点周辺の構造の位置よりも左側にずれている。つまり、マッチング誤対応が発生している。補助線Ｌ８２および補助線Ｌ８３が表示されるため、第１の画像における計測点の周辺部分と、対応点画像における対応点の周辺部分とをユーザーが簡単に確認することができる。例えば、ユーザーは、第１の画像における補助線Ｌ８２または補助線Ｌ８３上の構造と、対応点画像における補助線Ｌ８２または補助線Ｌ８３上の構造とを比較することにより、画像のずれを確認することができる。このため、マッチング誤対応が発生しているか否かをユーザーが容易に判断することができる。

（第３の実施形態の第２の変形例）
第３の実施形態の第２の変形例において、ＣＰＵ１８ｃは、図２１に示すＣＰＵ１８ｄに変更される。図２１は、ＣＰＵ１８ｄの機能構成を示している。図２１に示す構成について、図１９に示す構成と異なる点を説明する。

ＣＰＵ１８ｄは、図１９に示す構成に加えて、特徴対応点算出部１９０を有する。特徴点算出部１８９は、第１の画像の被写体において、計測点以外の特徴点を算出する。特徴対応点算出部１９０は、第１の画像上の特徴点に対応する第２の画像上の特徴対応点を算出する。補助線表示制御部１８８は、特徴点および特徴対応点を通る補助線を表示させる。

上記以外の点について、図２１に示す構成は、図１９に示す構成と同様である。

図２２は、表示部５の表示画面５０を示している。図２２に示すように、メインウィンドウＷＬ９１に第１の画像が表示され、かつサブウィンドウＷＲ９１に対応点画像が表示される。計測点を示す第１のカーソルＣ９１および対応点を示す第２のカーソルＣ９２は、視差方向ＤＲ１に直交する直線上に配置される。

補助線表示制御部１８８は、第１のカーソルＣ９１および第２のカーソルＣ９２を通る補助線Ｌ９１を表示させる。特徴点算出部１８９は、第１の画像における計測点周辺の画像から被写体の特徴点Ｐ９１を算出する。図２２において、第１の画像における１つの特徴点Ｐ９１が算出されるが、複数の特徴点が算出されてもよい。特徴対応点算出部１９０は、対応点画像における対応点周辺の画像から被写体の特徴点Ｐ９２（特徴対応点）を算出する。図２２において、対応点画像における１つの特徴点Ｐ９２が算出されるが、複数の特徴点が算出されてもよい。特徴対応点算出部１９０は、特徴点Ｐ９１と特徴点Ｐ９２との間でマッチングを行い、かつ特徴点Ｐ９１および特徴点Ｐ９２における画像の特徴が似ているか否かを判断する。特徴が似ていると判断された場合、特徴対応点算出部１９０は、特徴点Ｐ９１および特徴点Ｐ９２が同一点であると判断する。つまり、特徴対応点算出部１９０は、特徴点Ｐ９２が特徴点Ｐ９１の特徴対応点であると判断する。特徴対応点は複数あってもよい。補助線表示制御部１８８は、同一点であると判断された特徴点Ｐ９１および特徴点Ｐ９２を通る補助線Ｌ９２を表示させる。

図２２において、第１のカーソルＣ９１が示す計測点は、三角形に最も近い長方形の左側に位置する長方形にある。第２のカーソルＣ９２が示す対応点は、三角形に最も近い長方形にある。このため、計測点と対応点とが一致しない。つまり、マッチング誤対応が発生している。ユーザーは、補助線Ｌ９２の位置を参考にして、計測点周辺の画像および対応点周辺の画像を比較することにより、対応点周辺の画像が計測点周辺の画像に対してずれているか否かを容易に確認することができる。例えば、補助線Ｌ９２が垂直ではなく斜めであることにより、ユーザーは画像のずれを確認することができる。このため、マッチング誤対応が発生しているか否かをユーザーが容易に判断することができる。

（第４の実施形態）
図１および図２に示す計測内視鏡装置１を使用して、本発明の第４の実施形態を説明する。第４の実施形態では、メインウィンドウに表示された第１の画像における計測点の位置に応じて、サブウィンドウの表示位置が切り替わる。

対応点画像表示制御部１８５は、計測点の位置に応じて、対応点画像の表示位置を制御する。対応点画像表示制御部１８５は、第１の画像において、視差方向ＤＲ１に直交する方向ＤＲ２に並ぶ複数の画像領域を設定する。複数の画像領域は、第１の画像領域および第２の画像領域を含む。視差方向ＤＲ１に直交し、かつ第１の画像領域から第２の画像領域に向かう方向は第１の方向である。視差方向ＤＲ１に直交し、かつ第２の画像領域から第１の画像領域に向かう方向は第２の方向である。計測点が第１の画像領域内にある場合、対応点画像表示制御部１８５は、計測点よりも第１の方向側の位置に対応点画像を表示させる。計測点が第２の画像領域内にある場合、対応点画像表示制御部１８５は、計測点よりも第２の方向側の位置に対応点画像を表示させる。対応点画像表示制御部１８５は、対応点画像を第１の画像上に表示させる。

図２３、図２４Ａ、および図２４Ｂを参照し、第４の実施形態における処理について説明する。図２３は、計測モードにおける処理を示している。図２４Ａおよび図２４Ｂは、表示部５の表示画面５０を示している。

対応点画像表示制御部１８５は、メインウィンドウＷＬ１０１に表示された第１の画像において、第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２を予め設定する。第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２は、視差方向ＤＲ１に直交する方向ＤＲ２に並ぶ。図２４Ａおよび図２４Ｂにおいて、第１の画像は、第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２のみを含む。図２４Ａおよび図２４Ｂにおいて、第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２の面積は同一であるが、第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２の面積が異なってもよい。図２４Ａおよび図２４Ｂにおいて、第１の方向ＤＲ１０１および第２の方向ＤＲ１０２が定義されている。第１の方向ＤＲ１０１は、視差方向ＤＲ１に直交し、かつ第１の画像領域Ｒ１０１から第２の画像領域Ｒ１０２に向かう方向である。第２の方向ＤＲ１０２は、視差方向ＤＲ１に直交し、かつ第２の画像領域Ｒ１０２から第１の画像領域Ｒ１０１に向かう方向である。第２の方向ＤＲ１０２は、第１の方向ＤＲ１０１の反対方向である。

図２３に示す処理について、図７に示す処理と異なる点を説明する。ステップＳ１０６の後、対応点画像表示制御部１８５は、ステップＳ１０４において読み込まれた計測点の位置を判断する（ステップＳ１４１）。計測点が第１の画像領域Ｒ１０１内にある場合、対応点画像表示制御部１８５は、計測点よりも第１の方向ＤＲ１０１側の位置に対応点画像を表示させる（ステップＳ１４２）。計測点が第２の画像領域Ｒ１０２内にある場合、対応点画像表示制御部１８５は、計測点よりも第２の方向ＤＲ１０２側の位置に対応点画像を表示させる（ステップＳ１４３）。ステップＳ１４２またはステップＳ１４３の後、ステップＳ１０８における処理が行われる。

ステップＳ１４２において、計測点が第１の画像領域Ｒ１０１にあったとしても、対応点画像が第２の画像領域Ｒ１０２に表示されるとは限らない。また、ステップＳ１４３において、計測点が第２の画像領域Ｒ１０２にあったとしても、対応点画像が第１の画像領域Ｒ１０１に表示されるとは限らない。ステップＳ１４２およびステップＳ１４３において対応点画像が表示される位置は、第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２のどちらであってもよい。また、ステップＳ１４２およびステップＳ１４３において対応点画像が表示される位置は、第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２と異なる領域であってもよい。つまり、ステップＳ１４２およびステップＳ１４３において対応点画像が表示される位置は、第１の画像よりも外側の領域であってもよい。

上記以外の点について、図２３に示す処理は、図７に示す処理と同様である。

図２４Ａに示すように、計測点を示す第１のカーソルＣ１０１は第１の画像領域Ｒ１０１内にある。このため、ステップＳ１４２において、対応点画像表示制御部１８５は、第１のカーソルＣ１０１よりも第１の方向ＤＲ１０１側の位置に対応点画像を表示させる。第１のカーソルＣ１０１よりも第１の方向ＤＲ１０１側の位置に、対応点画像を含むサブウィンドウＷＲ１０１が表示される。第４の実施形態では、サブウィンドウＷＲ１０１は、第２の画像領域Ｒ１０２に表示される。視差方向ＤＲ１に直交する方向ＤＲ２におけるサブウィンドウＷＲ１０１の長さ（幅）は、方向ＤＲ２における第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２の各々の長さ（幅）よりも小さい。第１のカーソルＣ１０１および第２のカーソルＣ１０２は、視差方向ＤＲ１に直交する直線Ｌ１０１上に配置される。サブウィンドウＷＲ１０１は必ずしも第２の画像領域Ｒ１０２に表示されるわけではない。第１のカーソルＣ１０１の位置によっては、サブウィンドウＷＲ１０１は第１の画像領域Ｒ１０１内に表示されうる。

図２４Ｂに示すように、計測点を示す第１のカーソルＣ１０３は第２の画像領域Ｒ１０２内にある。このため、ステップＳ１４３において、対応点画像表示制御部１８５は、第１のカーソルＣ１０３よりも第２の方向ＤＲ１０２側の位置に対応点画像を表示させる。第１のカーソルＣ１０３よりも第２の方向ＤＲ１０２側の位置に、対応点画像を含むサブウィンドウＷＲ１０２が表示される。第４の実施形態では、サブウィンドウＷＲ１０２は、第１の画像領域Ｒ１０１に表示される。視差方向ＤＲ１に直交する方向ＤＲ２におけるサブウィンドウＷＲ１０２の長さ（幅）は、方向ＤＲ２における第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２の各々の長さ（幅）よりも小さい。第１のカーソルＣ１０３および第２のカーソルＣ１０４は、視差方向ＤＲ１に直交する直線Ｌ１０２上に配置される。

図２４Ａおよび図２４Ｂにおいて、２つの画像領域が設定される。３つ以上の画像領域が設定されてもよい。３つ以上の画像領域が設定された場合、３つ以上の領域のうち２つの領域が第１の画像領域および第２の画像領域である。また、複数の画像領域は、必要に応じて変更可能であってもよい。

上記のように、計測点の位置に応じて、計測点よりも第１の方向ＤＲ１０１または第２の方向ＤＲ１０２側の位置に対応点画像が表示される。このため、表示部５の表示画面５０の大きさによる制限を受けにくい位置に対応点画像を表示することができる。つまり、対応点画像を見やすい位置に表示することができる。

（第４の実施形態の第１の変形例）
第４の実施形態の第１の変形例の対応点画像表示制御部１８５は、第１の画像において、視差方向ＤＲ１に直交する方向ＤＲ２に並ぶ複数の画像領域を設定する。複数の画像領域は、第１の画像領域および第２の画像領域を含む。計測点が第１の画像領域内にある場合、対応点画像表示制御部１８５は、第１の画像領域に対応点画像を表示させる。計測点が第２の画像領域内にある場合、対応点画像表示制御部１８５は、第２の画像領域に対応点画像を表示させる。

図２５Ａおよび図２５Ｂは、表示部５の表示画面５０を示している。対応点画像表示制御部１８５は、メインウィンドウＷＬ１１１に表示された第１の画像において、第１の画像領域Ｒ１１１および第２の画像領域Ｒ１１２を予め設定する。第１の画像領域Ｒ１１１および第２の画像領域Ｒ１１２は、図２４Ａおよび図２４Ｂにおける第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２と同様である。図２５Ａおよび図２５Ｂにおいて、第１の方向ＤＲ１１１および第２の方向ＤＲ１１２が定義されている。第１の方向ＤＲ１１１および第２の方向ＤＲ１１２は、図２４Ａおよび図２４Ｂにおける第１の方向ＤＲ１０１および第２の方向ＤＲ１０２と同様である。

図２５Ａに示すように、計測点を示す第１のカーソルＣ１１１は第１の画像領域Ｒ１１１内にある。このため、対応点画像表示制御部１８５は、第１の画像領域Ｒ１１１に対応点画像を表示させる。対応点画像を含むサブウィンドウＷＲ１１１が第１の画像領域Ｒ１１１内に表示される。視差方向ＤＲ１に直交する方向ＤＲ２におけるサブウィンドウＷＲ１１１の長さ（幅）は、方向ＤＲ２における第１の画像領域Ｒ１１１および第２の画像領域Ｒ１１２の各々の長さ（幅）よりも小さい。第１のカーソルＣ１１１および第２のカーソルＣ１１２は、視差方向ＤＲ１に直交する直線Ｌ１１１上に配置される。

図２５Ｂに示すように、計測点を示す第１のカーソルＣ１１３は第２の画像領域Ｒ１１２内にある。このため、対応点画像表示制御部１８５は、第２の画像領域Ｒ１１２に対応点画像を表示させる。対応点画像を含むサブウィンドウＷＲ１１２が第２の画像領域Ｒ１１２内に表示される。視差方向ＤＲ１に直交する方向ＤＲ２におけるサブウィンドウＷＲ１１２の長さ（幅）は、方向ＤＲ２における第１の画像領域Ｒ１１１および第２の画像領域Ｒ１１２の各々の長さ（幅）よりも小さい。第１のカーソルＣ１１３および第２のカーソルＣ１１４は、視差方向ＤＲ１に直交する直線Ｌ１１２上に配置される。

上記のように、計測点が表示される画像領域と同一の画像領域に対応点画像が表示される。計測点の近くに対応点画像が表示されやすいので、ユーザーが第１の画像と対応点画像とを比較しやすくなる。

（第４の実施形態の第２の変形例）
第４の実施形態の第２の変形例の対応点画像表示制御部１８５は、第１の画像において、視差方向ＤＲ１に直交する方向ＤＲ２に第１の画像を二分した第１の画像領域および第２の画像領域を設定する。視差方向ＤＲ１に直交し、かつ第１の画像領域から第２の画像領域に向かう方向は第１の方向である。視差方向ＤＲ１に直交し、かつ第２の画像領域から第１の画像領域に向かう方向は第２の方向である。対応点画像表示制御部１８５は、表示画面５０において、第１の画像領域よりも第２の方向側の位置に第１の表示領域を設定し、かつ第２の画像領域よりも第１の方向側の位置に第２の表示領域を設定する。計測点が第１の画像領域内にある場合、対応点画像表示制御部１８５は、第１の表示領域に対応点画像を表示させる。計測点が第２の画像領域内にある場合、対応点画像表示制御部１８５は、第２の表示領域に対応点画像を表示させる。

図２６Ａおよび図２６Ｂは、表示部５の表示画面５０を示している。対応点画像表示制御部１８５は、メインウィンドウＷＬ１２１に表示された第１の画像において、第１の画像領域Ｒ１２１および第２の画像領域Ｒ１２２を予め設定する。第１の画像領域Ｒ１２１および第２の画像領域Ｒ１２２は、図２４Ａおよび図２４Ｂにおける第１の画像領域Ｒ１０１および第２の画像領域Ｒ１０２と同様である。図２６Ａおよび図２６Ｂにおいて、第１の方向ＤＲ１２１および第２の方向ＤＲ１２２が定義されている。第１の方向ＤＲ１２１および第２の方向ＤＲ１２２は、図２４Ａおよび図２４Ｂにおける第１の方向ＤＲ１０１および第２の方向ＤＲ１０２と同様である。

対応点画像表示制御部１８５は、第１の画像領域Ｒ１２１に計測点がある場合には、第１の画像領域Ｒ１２１よりも第２の方向ＤＲ１２２側の位置に第１の表示領域Ｒ１２３を設定する。第１の表示領域Ｒ１２３は、第１の画像領域Ｒ１２１と重ならない。第１の表示領域Ｒ１２３は、第１の画像領域Ｒ１２１と表示画面５０の周縁部との間に設定される。第１の表示領域Ｒ１２３は、第１の画像領域Ｒ１２１と接してもよい。対応点画像表示制御部１８５は、第２の画像領域Ｒ１２２に計測点がある場合には、第２の画像領域Ｒ１２２よりも第１の方向ＤＲ１２１側の位置に第２の表示領域Ｒ１２４を設定する。第２の表示領域Ｒ１２４は、第２の画像領域Ｒ１２２と重ならない。第２の表示領域Ｒ１２４は、第２の画像領域Ｒ１２２と表示画面５０の周縁部との間に設定される。第２の表示領域Ｒ１２４は、第２の画像領域Ｒ１２２と接してもよい。

図２６Ａに示すように、計測点を示す第１のカーソルＣ１２１は第１の画像領域Ｒ１２１内にある。このため、対応点画像表示制御部１８５は、第１の表示領域Ｒ１２３に対応点画像を表示させる。対応点画像表示制御部１８５は、第１の表示領域Ｒ１２３および第２の表示領域Ｒ１２４のうち第１の画像領域Ｒ１２１により近い第１の表示領域Ｒ１２３に対応点画像を表示させる。対応点画像を含むサブウィンドウＷＲ１２１が第１の表示領域Ｒ１２３内に表示される。視差方向ＤＲ１に直交する方向ＤＲ２におけるサブウィンドウＷＲ１２１の長さ（幅）は、方向ＤＲ２における第１の表示領域Ｒ１２３および第２の表示領域Ｒ１２４の各々の長さ（幅）と同一である。第１のカーソルＣ１２１および第２のカーソルＣ１２２は、視差方向ＤＲ１に直交する直線Ｌ１２１上に配置される。

図２６Ｂに示すように、計測点を示す第１のカーソルＣ１２３は第２の画像領域Ｒ１２２内にある。このため、対応点画像表示制御部１８５は、第２の表示領域Ｒ１２４に対応点画像を表示させる。対応点画像表示制御部１８５は、第１の表示領域Ｒ１２３および第２の表示領域Ｒ１２４のうち第２の画像領域Ｒ１２２により近い第２の表示領域Ｒ１２４に対応点画像を表示させる。対応点画像を含むサブウィンドウＷＲ１２２が第２の表示領域Ｒ１２４内に表示される。視差方向ＤＲ１に直交する方向ＤＲ２におけるサブウィンドウＷＲ１２２の長さ（幅）は、方向ＤＲ２における第１の表示領域Ｒ１２３および第２の表示領域Ｒ１２４の各々の長さ（幅）と同一である。第１のカーソルＣ１２３および第２のカーソルＣ１２４は、視差方向ＤＲ１に直交する直線Ｌ１２２上に配置される。

（第５の実施形態）
本発明の第５の実施形態では、第１の画像から計測点周辺の計測点画像が生成される。また、第５の実施形態では、計測点画像における計測点と、対応点画像における対応点とを通る直線が視差方向ＤＲ１に直交するように、対応点画像が表示される。

第５の実施形態において、ＣＰＵ１８ａは、図２７に示すＣＰＵ１８ｅに変更される。図２７は、ＣＰＵ１８ｅの機能構成を示している。図２７に示す構成について、図５に示す構成と異なる点を説明する。

ＣＰＵ１８ｅは、図５に示す構成に加えて、計測点画像生成部１９１および計測点画像表示制御部１９２を有する。計測点画像生成部１９１は、第１の画像において計測点および当該計測点の周辺の領域を含み、かつ第１の画像の一部で構成された計測点画像を生成する。計測点画像表示制御部１９２は、計測点画像を表示画面５０上に表示させる。対応点画像表示制御部１８５は、表示画面５０において、計測点画像における計測点と、対応点画像における対応点とを通る直線が視差方向ＤＲ１に直交するように、対応点画像を表示させる。

上記以外の点について、図２７に示す構成は、図５に示す構成と同様である。

図２８、図２９Ａ、および図２９Ｂを参照し、第５の実施形態における処理について説明する。図２８は、計測モードにおける処理を示している。図２９Ａおよび図２９Ｂは、表示部５の表示画面５０を示している。図２９Ａおよび図２９Ｂに示すように、メインウィンドウＷＬ１３１に第１の画像が表示され、かつ計測点を示す第１のカーソルＣ１３１がメインウィンドウＷＬ１３１に表示される。

図２８に示す処理について、図７に示す処理と異なる点を説明する。ステップＳ１０３の後、計測点画像生成部１９１は、第１の画像において計測点および当該計測点の周辺の領域を含み、かつ第１の画像の一部で構成された計測点画像を生成する。このとき、計測点画像生成部１９１は、視差方向ＤＲ１における長さが、視差方向ＤＲ１に直交する方向ＤＲ２における長さよりも大きい計測点画像を生成する。つまり、計測点画像生成部１９１は、視差方向ＤＲ１に細長い対応点画像を生成する（ステップＳ１５１）。

ステップＳ１５１の後、計測点画像表示制御部１９２は、計測点画像を含むサブウィンドウＷＬ１３２の画像信号を生成する。計測点画像表示制御部１９２は、生成された画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｅから出力された画像信号とを合成する。これによって、計測点画像を含むサブウィンドウＷＬ１３２が表示される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、計測点画像を含むサブウィンドウＷＬ１３２を表示する（ステップＳ１５２）。サブウィンドウＷＬ１３２に含まれる計測点画像において、被写体の構造物が映っている。

図２９Ａおよび図２９Ｂに示すように、サブウィンドウＷＬ１３２は、メインウィンドウＷＬ１３１上に重畳される。ステップＳ１５２において、計測点画像表示制御部１９２は、計測点画像を第１の画像上に表示させる。このとき、計測点画像表示制御部１９２は、計測点画像の一部または全てが第１の画像と重なるように計測点画像を表示させる。図２９Ａおよび図２９Ｂにおいて、サブウィンドウＷＬ１３２における計測点画像の全てがメインウィンドウＷＬ１３１内の第１の画像と重なる。メインウィンドウＷＬ１３１において、メインウィンドウＷＬ１３１およびサブウィンドウＷＬ１３２が互いに重なる領域の第１の画像は視認できない。ステップＳ１５２において、計測点画像表示制御部１９２は、計測点画像の表示領域（サブウィンドウＷＬ１３２）を第１の画像に設定し、かつサブウィンドウＷＬ１３２内に計測点画像を表示させる。

ステップＳ１５２において、計測点画像表示制御部１９２は、計測点画像における視差方向が第１の画像における視差方向ＤＲ１と平行になるように、計測点画像を表示させる。つまり、計測点画像表示制御部１９２は、第１の画像に対して計測点画像が傾かないように、計測点画像を表示させる。

ステップＳ１５２において、計測点画像表示制御部１９２は、視差方向ＤＲ１における計測点画像上の計測点の位置と第１の画像上の計測点の位置とが異なるように、計測点画像を表示させる。つまり、計測点画像表示制御部１９２は、計測点画像における計測点が第１の画像における計測点に対して視差方向ＤＲ１にずれるように、計測点画像を表示させる。計測点画像表示制御部１９２は、視差方向ＤＲ１における計測点画像上の計測点の位置と第１の画像上の計測点の位置とが同一になるように、計測点画像を表示させてもよい。この場合、第１の画像における計測点と、計測点画像における計測点と、対応点画像における対応点とは、視差方向ＤＲ１に直交する直線上に配置される。

ステップＳ１５２において、計測点画像表示制御部１９２は、視差方向ＤＲ１に直交する方向ＤＲ２における計測点画像上の計測点の位置と第１の画像上の計測点の位置とが異なるように、計測点画像を表示させる。つまり、計測点画像表示制御部１９２は、計測点画像における計測点が第１の画像における計測点に対して方向ＤＲ２にずれるように、計測点画像を表示させる。計測点画像表示制御部１９２は、方向ＤＲ２における計測点画像上の計測点の位置と第１の画像上の計測点の位置とが同一になるように、計測点画像を表示させてもよい。この場合、第１の画像における計測点と、計測点画像における計測点とは、視差方向ＤＲ１に平行な直線上に配置される。

ステップＳ１５２において、計測点画像表示制御部１９２は、計測点画像における計測点が第１の画像における計測点に対して離間するように、計測点画像を表示させる。つまり、計測点画像表示制御部１９２は、計測点画像における計測点および第１の画像における計測点の位置が異なるように、計測点画像を表示させる。計測点画像表示制御部１９２は、計測点画像における計測点および第１の画像における計測点の位置が一致するように、計測点画像を表示させてもよい。

ステップＳ１５２において、計測点画像表示制御部１９２は、計測点画像が第１の画像における計測点に対して離間するように、計測点画像を表示させる。つまり、計測点画像表示制御部１９２は、計測点画像が第１の画像における計測点に重ならないように、計測点画像を表示させる。計測点画像表示制御部１９２は、計測点画像が第１の画像における計測点に重なるように、計測点画像を表示させてもよい。

ステップＳ１５２において、計測点画像表示制御部１９２は、第１の画像の表示倍率よりも高い表示倍率で計測点画像を表示させる。これによって、拡大画像を表示するためのズームウィンドウとしてサブウィンドウＷＬ１３２を使用することができる。計測点画像表示制御部１９２は、第１の画像の表示倍率と同じ表示倍率で計測点画像を表示させてもよい。サブウィンドウＷＬ１３２は、ズームウィンドウ以外の目的に使用されてもよい。例えば、縮小画像、深さ画像（デプスマップ）、または信頼度のマップがサブウィンドウＷＬ１３２に表示されてもよい。

ステップＳ１５２の後、計測点画像における計測点の位置をユーザーが簡単に確認できるように、第４のカーソルＣ１３３が表示される。計測点表示制御部１８２は、表示画面５０において、計測点画像における計測点を示す第４のカーソルＣ１３３を表示させる。このとき、計測点表示制御部１８２は、計測点画像上に第４のカーソルＣ１３３を表示させる（ステップＳ１５３）。ステップＳ１５３の後、ステップＳ１０４における処理が行われる。第４のカーソルＣ１３３の位置は、計測点画像における計測点の位置と同一である。第４のカーソルＣ１３３は、第１のカーソルＣ１３１が示す被写体上の位置と同一の位置を示す。第４のカーソルＣ１３３は、第１のカーソルＣ１３１の移動に連動して移動する。第４のカーソルＣ１３３の移動に関する処理は、図２８に示されていない。

図２９Ａおよび図２９Ｂに示すように、第４のカーソルＣ１３３は第１のカーソルＣ１３１に対して離間している。つまり、計測点画像における計測点は第１の画像における計測点に対して離間している。計測点画像が第１の画像における計測点に対して離間するように計測点画像が表示されるため、サブウィンドウＷＲ１３２は第１のカーソルＣ１３１と重ならない。

ステップＳ１０８の後、対応点画像表示制御部１８５は、サブウィンドウＷＲ１３１内の対応点画像の位置を調整する。具体的には、対応点画像表示制御部１８５は、計測点画像における計測点と、対応点画像における対応点とが直線Ｌ１３１上に配置されるように、対応点画像を表示させる。直線Ｌ１３１は、第４のカーソルＣ１３３および第２のカーソルＣ１３２を通る。つまり、直線Ｌ１３１は、計測点画像における計測点と、対応点画像における対応点とを通る。直線Ｌ１３１は、第１の画像および第２の画像における視差方向ＤＲ１に直交する。したがって、対応点画像表示制御部１８５は、表示画面５０において、計測点画像における計測点と、対応点画像における対応点とを通る直線Ｌ１３１が視差方向ＤＲ１に直交するように、対応点画像の位置を調整する（ステップＳ１５４）。このとき、直線Ｌ１３１は、表示画面５０に表示されていない。

ステップＳ１５４において、計測点表示制御部１８２は第４のカーソルＣ１３３の位置を調整し、かつ対応点表示制御部１８６は第２のカーソルＣ１３２の位置を調整する。つまり、計測点表示制御部１８２は、表示画面５０において、第４のカーソルＣ１３３を直線Ｌ１３１上に表示させる。対応点表示制御部１８６は、表示画面５０において、第２のカーソルＣ１３２を直線Ｌ１３１上に表示させる。ステップＳ１５４の後、ステップＳ１１０における処理が行われる。

ステップＳ１０７において対応点画像表示制御部１８５は、計測点画像の表示倍率と同じ表示倍率で対応点画像を表示させてもよい。これによって、ユーザーは、マッチング誤対応が発生しているか否かを簡単に確認することができる。

上記以外の点について、図２８に示す処理は、図７に示す処理と同様である。

図２９Ａは、マッチング誤対応が発生していない場合における表示部５の表示画面５０を示している。被写体において第４のカーソルＣ１３３および第２のカーソルＣ１３２が示す位置は一致する。つまり、被写体上の計測点および対応点の位置は一致する。計測点画像における計測点と対応点画像における対応点とを通る直線Ｌ１３１が視差方向ＤＲ１に直交するように対応点画像の位置が調整された後、視差方向ＤＲ１における計測点画像内の計測点周辺の構造の位置と対応点画像内の対応点周辺の構造の位置とは同一である。このため、ユーザーは、マッチング誤対応が発生していないと判断することができる。

図２９Ｂは、マッチング誤対応が発生している場合における表示部５の表示画面５０を示している。被写体において第４のカーソルＣ１３３および第２のカーソルＣ１３２が示す位置は一致しない。つまり、被写体上の計測点および対応点の位置は一致しない。具体的には、対応点画像における対応点は、計測点画像の被写体において計測点の位置よりも右側にずれている。計測点画像における計測点と対応点画像における対応点とを通る直線Ｌ１３１が視差方向ＤＲ１に直交するように対応点画像の位置が調整された後、対応点画像内の対応点周辺の構造の位置は、計測点画像内の計測点周辺の構造の位置よりも左側にずれている。このため、ユーザーは、マッチング誤対応が発生していると判断することができる。

ユーザーは、第１の画像を表示するためのメインウィンドウＷＬ１３１によって被写体全体の様子を確認することができる。同時に、ユーザーは、計測点画像が拡大表示されたサブウィンドウＷＬ１３２によって被写体の細かいテクスチャー（模様）、色味、およびエッジ位置を確認することができる。このため、ユーザーは、マッチング誤対応が発生しているか否かを簡単に確認することができる。

（補足）
計測点と対応点とが互いに重なるように対応点画像が第１の画像上に表示される場合、対応点画像は、第１の画像に対して上から覆うように表示されてもよい。つまり、第１の画像および対応点画像が互いに重なる領域の第１の画像が視認できなくてもよい。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

本発明の各実施形態によれば、マッチング誤対応が発生しているか否かをユーザーが容易に判断することができる。

１ 計測内視鏡装置
２ 挿入部
３ コントロールユニット
４ 操作部
５ 表示部
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御ユニット
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインタフェース
１６ 外部機器インタフェース
１７ 制御インタフェース
１８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅ ＣＰＵ
２０ 先端
２４ 撮像面
２８ 撮像素子
３０ ステレオ光学アダプタ
３１ 第１の光学系
３２ 第２の光学系
５０ 表示画面
１８０ 制御部
１８１ 計測点検出部
１８２ 計測点表示制御部
１８３ 対応点算出部
１８４ 対応点画像生成部
１８５ 対応点画像表示制御部
１８６ 対応点表示制御部
１８７ 計測部
１８８ 補助線表示制御部
１８９ 特徴点算出部
１９０ 特徴対応点算出部
１９１ 計測点画像生成部
１９２ 計測点画像表示制御部

Claims (27)

1. 被写体を撮像し、かつ撮像信号を生成する撮像部と、
   前記撮像信号に基づいて、所定の視差方向に互いに視差を有する第１の画像および第２の画像を取得する画像取得部と、
   前記第１の画像が表示される表示画面を有する表示部と、
   ユーザーによって指定された計測位置を示す計測点を前記第１の画像上に表示させる計測点表示制御部と、
   前記第１の画像上の前記計測点に対応する、前記第２の画像上の対応点を算出する対応点算出部と、
   前記第２の画像において前記対応点算出部によって算出された前記対応点および当該対応点の周辺の領域を含み、かつ前記第２の画像の一部または全部で構成された対応点画像を生成する対応点画像生成部と、
   前記対応点画像を前記表示画面上に表示させる対応点画像表示制御部と、
   を有し、
   前記対応点画像表示制御部は、前記表示画面において、前記計測点および前記対応点を通る直線が前記視差方向に直交するように、前記対応点画像を表示させる
   計測処理装置。
2. 前記対応点画像表示制御部は、前記対応点が前記計測点に対して離間するように、前記対応点画像を表示させる
   請求項１に記載の計測処理装置。
3. 前記対応点画像生成部は、前記視差方向における長さが、前記視差方向に直交する方向における長さよりも大きい前記対応点画像を生成する
   請求項１に記載の計測処理装置。
4. 前記対応点画像生成部は、前記視差方向における長さが、前記視差方向に直交する方向における長さよりも小さい第２の対応点画像を生成し、
   前記対応点画像表示制御部は、前記第１の画像および前記第２の対応点画像が前記視差方向に沿って並ぶように、前記第２の対応点画像を前記表示画面上に表示させる
   請求項３に記載の計測処理装置。
5. 前記表示画面において、前記視差方向に平行であり、かつ前記計測点を通る補助線を前記第１の画像および前記第２の対応点画像上に表示させる補助線表示制御部をさらに有する
   請求項４に記載の計測処理装置。
6. 前記対応点画像表示制御部は、前記対応点画像の表示領域を前記表示画面に設定し、かつ当該表示領域内に前記対応点画像を表示させ、
   前記対応点画像表示制御部は、前記対応点画像が表示されるとき、前記視差方向における前記表示領域の両端位置を、前記視差方向における前記第１の画像の両端位置にそれぞれ一致させる
   請求項３に記載の計測処理装置。
7. 前記表示画面において、前記視差方向に直交する１本以上の補助線を前記第１の画像および前記対応点画像上に表示させる補助線表示制御部をさらに有する
   請求項２に記載の計測処理装置。
8. 前記補助線表示制御部は、前記補助線が前記計測点を通るように前記補助線を表示させる
   請求項７に記載の計測処理装置。
9. 前記第１の画像の被写体において、前記計測点以外の第１の特徴点を算出する特徴点算出部をさらに有し、
   前記補助線表示制御部は、前記補助線が前記第１の特徴点を通るように前記補助線を表示させる
   請求項７に記載の計測処理装置。
10. 前記対応点画像の被写体において、前記対応点以外の第２の特徴点を算出する特徴点算出部をさらに有し、
    前記補助線表示制御部は、前記補助線が前記第２の特徴点を通るように前記補助線を表示させる
    請求項７に記載の計測処理装置。
11. 前記対応点画像表示制御部は、前記対応点画像の表示領域を前記表示画面に設定し、かつ当該表示領域内に前記対応点画像を表示させ、
    前記対応点画像表示制御部は、前記対応点画像が表示されるとき、前記視差方向における前記表示領域の両端位置を、前記視差方向における前記第１の画像の両端位置にそれぞれ一致させ、
    前記補助線表示制御部は、前記補助線が前記視差方向における前記対応点画像の両端の少なくとも一方を通るように前記補助線を表示させる
    請求項７に記載の計測処理装置。
12. 前記第１の画像の被写体において、前記計測点以外の特徴点を算出する特徴点算出部と、
    前記第１の画像上の前記特徴点に対応する前記第２の画像上の特徴対応点を算出する特徴対応点算出部と、
    前記特徴点および前記特徴対応点を通る補助線を表示させる補助線表示制御部と、
    をさらに有する請求項２に記載の計測処理装置。
13. 前記対応点画像表示制御部は、前記計測点の位置に応じて、前記対応点画像の表示位置を制御する
    請求項２に記載の計測処理装置。
14. 前記対応点画像表示制御部は、前記第１の画像において、前記視差方向に直交する方向に並ぶ複数の画像領域を設定し、
    前記複数の画像領域は、第１の画像領域および第２の画像領域を含み、
    前記視差方向に直交し、かつ前記第１の画像領域から前記第２の画像領域に向かう方向は第１の方向であり、
    前記視差方向に直交し、かつ前記第２の画像領域から前記第１の画像領域に向かう方向は第２の方向であり、
    前記計測点が前記第１の画像領域内にある場合、前記対応点画像表示制御部は、前記計測点よりも前記第１の方向側の位置に前記対応点画像を表示させ、
    前記計測点が前記第２の画像領域内にある場合、前記対応点画像表示制御部は、前記計測点よりも前記第２の方向側の位置に前記対応点画像を表示させる
    請求項１３に記載の計測処理装置。
15. 前記対応点画像表示制御部は、前記対応点画像を前記第１の画像上に表示させる
    請求項１４に記載の計測処理装置。
16. 前記対応点画像表示制御部は、前記第１の画像において、前記視差方向に直交する方向に並ぶ複数の画像領域を設定し、
    前記複数の画像領域は、第１の画像領域および第２の画像領域を含み、
    前記計測点が前記第１の画像領域内にある場合、前記対応点画像表示制御部は、前記第１の画像領域に前記対応点画像を表示させ、
    前記計測点が前記第２の画像領域内にある場合、前記対応点画像表示制御部は、前記第２の画像領域に前記対応点画像を表示させる
    請求項１３に記載の計測処理装置。
17. 前記対応点画像表示制御部は、前記第１の画像において、前記視差方向に直交する方向に前記第１の画像を二分した第１の画像領域および第２の画像領域を設定し、
    前記視差方向に直交し、かつ前記第１の画像領域から前記第２の画像領域に向かう方向は第１の方向であり、
    前記視差方向に直交し、かつ前記第２の画像領域から前記第１の画像領域に向かう方向は第２の方向であり、
    前記対応点画像表示制御部は、前記表示画面において、前記第１の画像領域よりも前記第２の方向側の位置に第１の表示領域を設定し、かつ前記第２の画像領域よりも前記第１の方向側の位置に第２の表示領域を設定し、
    前記計測点が前記第１の画像領域内にある場合、前記対応点画像表示制御部は、前記第１の表示領域に前記対応点画像を表示させ、
    前記計測点が前記第２の画像領域内にある場合、前記対応点画像表示制御部は、前記第２の表示領域に前記対応点画像を表示させる
    請求項１３に記載の計測処理装置。
18. 前記第１の画像上に表示された前記計測点の移動速度が所定の閾値よりも小さい場合、前記対応点画像表示制御部は、前記対応点画像を表示させる
    請求項１に記載の計測処理装置。
19. 前記第１の画像において前記計測点および当該計測点の周辺の領域を含み、かつ前記第１の画像の一部で構成された計測点画像を生成する計測点画像生成部と、
    前記計測点画像を前記表示画面上に表示させる計測点画像表示制御部と、
    をさらに有し、
    前記対応点画像表示制御部は、前記表示画面において、前記計測点画像における前記計測点と、前記対応点画像における前記対応点とを通る直線が前記視差方向に直交するように、前記対応点画像を表示させる
    請求項１に記載の計測処理装置。
20. 前記計測点画像表示制御部は、前記第１の画像の表示倍率よりも高い表示倍率で前記計測点画像を表示させる
    請求項１９に記載の計測処理装置。
21. 前記対応点画像表示制御部は、前記計測点画像の表示倍率と同じ表示倍率で前記対応点画像を表示させる
    請求項２０に記載の計測処理装置。
22. 前記対応点画像表示制御部は、前記計測点と前記対応点画像とが重なり、かつ前記第１の画像が前記対応点画像を通して視認可能となるように、前記対応点画像を半透明処理し、かつ前記対応点画像を前記第１の画像上に表示させる
    請求項１に記載の計測処理装置。
23. 前記対応点画像表示制御部は、前記計測点と前記対応点とが互いに重なるように、前記対応点画像を前記第１の画像上に表示させる
    請求項２２に記載の計測処理装置。
24. 前記対応点を前記対応点画像上に表示させる対応点表示制御部をさらに有する
    請求項１に記載の計測処理装置。
25. 前記計測点表示制御部は、前記表示画面において、前記計測点を示す第１のカーソルを前記直線上に表示させ、
    前記対応点表示制御部は、前記表示画面において、前記対応点を示す第２のカーソルを前記直線上に表示させる
    請求項２４に記載の計測処理装置。
26. 前記対応点画像表示制御部は、前記第１の画像の表示倍率と同じ表示倍率で前記対応点画像を表示させる
    請求項１に記載の計測処理装置。
27. 所定の視差方向に互いに視差を有する第１の画像および第２の画像を取得する画像取得部と、
    前記第１の画像が表示される表示画面を有する表示部と、
    ユーザーによって指定された計測位置を示す計測点を前記第１の画像上に表示させる計測点表示制御部と、
    前記第１の画像上の前記計測点に対応する、前記第２の画像上の対応点を算出する対応点算出部と、
    前記第２の画像において前記対応点算出部によって算出された前記対応点および当該対応点の周辺の領域を含み、かつ前記第２の画像の一部または全部で構成された対応点画像を生成する対応点画像生成部と、
    前記対応点画像を前記表示画面上に表示させる対応点画像表示制御部と、
    を有し、
    前記対応点画像表示制御部は、前記表示画面において、前記計測点および前記対応点を通る直線が前記表示画面の垂直方向と平行、または前記表示画面の水平方向と平行になるように、前記対応点画像を表示させる
    計測処理装置。

Images