JP6095429B2 - 計測装置およびプログラム - Google Patents

Description

本発明は、被写体を撮像して得た画像データに基づいて被写体のサイズを計測する計測装置に関する。また、本発明は、本計測装置としてコンピュータを機能させるためのプログラムに関する。

航空機エンジン等に用いられるタービンの検査において、コンプレッサーブレードあるいはタービンブレードの欠け量を測定する検査の需要がある。例えば、特許文献１では、ユーザが指定した２つの基準点に基づいて基準直線を設定し、さらにユーザが指定した計測点からその基準直線までの距離を計測する方法が開示されている。

以下、図４１を参照して、上記の計測方法を説明する。被写体ＯＢ１００のエッジの領域Ｒ１００ではエッジの一部が欠けて（失われて）いる。この領域Ｒ１００の欠けた部分の両端のエッジにユーザが２つの基準点Ｐ１００，Ｐ１０１を指定すると、基準点Ｐ１００，Ｐ１０１を通る基準直線Ｌ１００が設定される。続いて、欠けた部分の最も深い位置のエッジにユーザが計測点Ｐ１０２を指定すると、計測点Ｐ１０２から基準直線Ｌ１００に下ろした垂線の足となる基準点Ｐ１０３と計測点Ｐ１０２との距離が計測される。

３次元形状が直角である角部を有する被写体の角部の一部が欠けている場合も、上記の計測方法により、欠けた部分のサイズを計測することが可能である。以下、図４２を参照して、角部の欠けた部分のサイズを計測する方法を説明する。被写体ＯＢ１１０の領域Ｒ１１０では、角の先端の部分が欠けている。直線Ｌ１１０，Ｌ１１１は、欠けた角の先端のエッジを示しており、両者は直角に交わる。

この領域Ｒ１１０の欠けた部分の両端の一方のエッジ上にユーザが２つの基準点Ｐ１１０，Ｐ１１１を指定すると、基準点Ｐ１１０，Ｐ１１１を通る基準直線Ｌ１１２が設定される。続いて、欠けた部分の両端の他方のエッジ上にユーザが計測点Ｐ１１２を指定すると、計測点Ｐ１１２から基準直線Ｌ１１２に下ろした、３次元空間内での垂線の足となる基準点Ｐ１１３と計測点Ｐ１１２との距離が計測される。

上記のように、角部において欠けた部分の３次元形状が直角である場合には、ユーザが基準点と計測点を適切に指定することで、欠けた頂点の位置を、計測点から基準直線に下ろした、３次元空間内での垂線の足として推定することができる。したがって、上記の計測方法を、欠けた直角の角部の計測に用いることができる。

しかし、角部において欠けた部分の３次元形状が直角でない場合には、計測点から基準直線に下ろした、３次元空間内での垂線の足を欠けた頂点の位置として求めるのは不適切である。以下、図４３を参照して、角部において欠けた部分の形状が直角でない被写体に対して上記の計測方法を適用した例を説明する。被写体ＯＢ１１１の領域Ｒ１１１では、角の先端の部分が欠けている。直線Ｌ１１２，Ｌ１１３は、欠けた角の先端のエッジを示しており、両者は直角ではない角度で交わる。

この領域Ｒ１１１の欠けた部分の両端の一方のエッジ上にユーザが２つの基準点Ｐ１１４，Ｐ１１５を指定すると、基準点Ｐ１１４，Ｐ１１５を通る基準直線Ｌ１１４が設定される。続いて、欠けた部分の両端の他方のエッジ上にユーザが計測点Ｐ１１６を指定すると、計測点Ｐ１１６から基準直線Ｌ１１４に下ろした、３次元空間内での垂線の足となる基準点Ｐ１１７と計測点Ｐ１１６との距離が計測される。

上記のようにして求めた基準点Ｐ１１７の位置は、実際に欠けた部分の頂点の位置とは異なる。このため、基準点Ｐ１１７と計測点Ｐ１１６との距離は、実際に求めたい距離Ｄ１００とは異なり、欠けた部分の評価値として不適切である。

これに対して、特許文献２では、３次元形状が直角でない角部を有する被写体の角部の一部が欠けている場合に、欠けた部分のエッジの長さを計測する方法が開示されている。以下、図４４を参照して、この計測方法を説明する。

まず、欠けた部分の両端のエッジ上にユーザが２つの基準点Ｐ１１８，Ｐ１１９を指定する。続いて、基準点Ｐ１１８，Ｐ１１９をそれぞれ起点としてエッジ抽出処理とエッジ追跡処理が行われ、エッジの端点である計測点Ｐ１２０，Ｐ１２１が算出される。続いて、基準点Ｐ１１８と計測点Ｐ１２０を通る基準線および基準点Ｐ１１９と計測点Ｐ１２１を通る基準線が算出され、これらの基準線の交点Ｐ１２２が、欠けた部分の頂点として算出される。計測点Ｐ１２０と交点Ｐ１２２との距離および計測点Ｐ１２１と交点Ｐ１２２との距離が、欠けた部分の評価値として算出される。

特開平１０−２４８８０６号公報 特開２００９−１４９１４号公報

３次元計測では、なるべく被写体に近づいたほうが、空間分解能が高まり、計測精度が高くなる。角部において欠けた部分の量がある程度大きい場合に、計測精度を向上させるためにカメラを被写体に近づけると、欠けていない部分が視野内に少ししか入らないことが起こり得る。例えば、図４５に示すように、視野Ｆ１００では被写体ＯＢ１１１のわずかな部分のみが捉えられている。このような場合、エッジ抽出処理で抽出されるエッジの方向が不安定となり、本来のエッジの方向と、算出される基準線の方向との相違が大きくなることがある。特に、画像のコントラストが低い場合や画像にハレーションがある場合、エッジの方向が不安定となる可能性がより高くなる。このため、欠けた部分の頂点の位置の算出精度が低下し、評価値の誤差が大きくなるおそれがある。

本発明は、上述した課題に鑑みてなされたものであって、角部を有し、角部の一部が欠けている被写体の計測精度の低下の可能性を低減することができる計測装置およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、角部を有し、前記角部の一部が欠けている被写体を撮像して画像データを生成する撮像部と、前記画像データに基づく画像を表示する表示部と、前記画像において、前記角部のエッジに対応する第１のエッジ基準線を算出する第１の基準線算出部と、前記画像において、前記角部のエッジに対応する第２のエッジ基準線を算出する第２の基準線算出部と、前記第２のエッジ基準線が通る点を指定する点指定部と、前記第１のエッジ基準線に対して前記第２のエッジ基準線がなす、０度よりも大きく１８０度よりも小さい３次元空間内での角度を指定する角度指定部と、指定された前記角度に対応して前記第２のエッジ基準線がとりうる２つの方向のうち一方を選択する方向選択部と、指定された前記点を通り、選択された前記方向を向く前記第２のエッジ基準線と、前記第１のエッジ基準線との交点に対応する３次元座標に基づいて前記角部のサイズを算出するサイズ算出部と、を有することを特徴とする計測装置である。

また、本発明の計測装置において、前記角度指定部は、ユーザが前記角度を指定する指示に基づいて前記角度を指定することを特徴とする。

また、本発明の計測装置は、被写体毎の前記角度を記憶する記憶部をさらに有し、前記表示部はさらに、前記被写体と、前記被写体に対応する前記角度とを表示することを特徴とする。

また、本発明の計測装置において、前記表示部はさらに、前記２つの方向のそれぞれを向く前記第２のエッジ基準線の候補を表示し、前記方向選択部は、ユーザが前記第２のエッジ基準線の候補のいずれかを指定する指示に基づいて、前記２つの方向のうち一方を選択することを特徴とする。

また、本発明の計測装置において、前記方向選択部は、前記２つの方向のそれぞれを向く前記第２のエッジ基準線の候補と前記第１のエッジ基準線との交点を算出し、前記交点の位置に基づいて、前記２つの方向のうち一方を選択することを特徴とする。

また、本発明の計測装置において、前記方向選択部は、前記交点が前記画像の視野内にあるか否かを判定した結果に基づいて、前記２つの方向のうち一方を選択することを特徴とする。

また、本発明の計測装置において、前記第１の基準線算出部は、前記第１のエッジ基準線を構成する点として指定された２つの点に基づいて前記第１のエッジ基準線を算出し、前記方向選択部は、前記第１のエッジ基準線のうち前記２つの点の間に前記交点があるか否かを判定した結果に基づいて、前記２つの方向のうち一方を選択することを特徴とする。

また、本発明の計測装置において、前記第１の基準線算出部は、前記第１のエッジ基準線を構成する点として指定された２つの構成点に基づいて前記第１のエッジ基準線を算出し、前記点指定部は、前記第２のエッジ基準線の基準となる基準点と、前記第２のエッジ基準線が通る通過点とを指定し、前記方向選択部は、前記２つの方向のうち、前記通過点から見て、前記２つの構成点を両端とする線分と、前記基準点および前記通過点を両端とする線分とのうち長さが短い方の線分の方向により近い方向を選択することを特徴とする。

また、本発明は、角部を有し、前記角部の一部が欠けている被写体を撮像することにより生成された画像データに基づく画像において、前記角部のエッジに対応する第１のエッジ基準線を算出する第１の基準線算出ステップと、前記画像において、前記角部のエッジに対応する第２のエッジ基準線を算出する第２の基準線算出ステップと、前記第２のエッジ基準線が通る点を指定する点指定ステップと、前記第１のエッジ基準線に対して前記第２のエッジ基準線がなす、０度よりも大きく１８０度よりも小さい３次元空間内での角度を指定する角度指定ステップと、指定された前記角度に対応して前記第２のエッジ基準線がとりうる２つの方向のうち一方を選択する方向選択ステップと、指定された前記点を通り、選択された前記方向を向く前記第２のエッジ基準線と、前記第１のエッジ基準線との交点に対応する３次元座標に基づいて前記角部のサイズを算出するサイズ算出ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、第１のエッジ基準線に対して第２のエッジ基準線がなす３次元空間内での角度が指定され、指定された角度に対応して第２のエッジ基準線がとりうる２つの方向のうち一方が選択され、指定された点を通り、選択された方向を向く第２のエッジ基準線と、第１のエッジ基準線との交点に対応する３次元座標に基づいて角部のサイズが算出される。これによって、第２のエッジ基準線の方向の誤差が低減されるので、角部を有し、角部の一部が欠けている被写体の計測精度の低下の可能性を低減することができる。

本発明の第１の実施形態による計測用内視鏡装置の構成を示すブロック図である。 本発明の第１の実施形態による計測用内視鏡装置が備える計測処理部の構成を示すブロック図である。 本発明の第１の実施形態における基準点、基準線、基準点エリアを示す参考図である。 本発明の第１の実施形態における辺の欠損の欠損始点・終点、欠損構成点を示す参考図である。 本発明の第１の実施形態における角の欠損の欠損始点・終点・頂点、欠損構成点を示す参考図である。 本発明の第１の実施形態における辺の欠損の幅、深さ、面積を示す参考図である。 本発明の第１の実施形態における角の欠損の幅、辺の長さ、面積を示す参考図である。 本発明の第１の実施形態における計測点および計測点エリアを示す参考図である。 本発明の第１の実施形態における特徴点を示す参考図である。 本発明の第１の実施形態における特徴点を示す参考図である。 本発明の第１の実施形態における欠損計測の手順を示すフローチャートである。 本発明の第１の実施形態における欠損計測時に表示される計測画面を示す参考図である。 本発明の第１の実施形態における欠損計算の手順を示すフローチャートである。 本発明の第１の実施形態における基準線算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における特徴点算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における特徴点算出処理の手順を示す参考図である。 本発明の第１の実施形態における特徴点算出処理の手順を示す参考図である。 本発明の第１の実施形態における欠損種類判別処理の手順を示すフローチャートである。 本発明の第１の実施形態における欠損頂点算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における第１の計測点算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における第１の計測点算出処理の手順を示す参考図である。 本発明の第１の実施形態における欠損始点算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における欠損始点算出処理の手順を示す参考図である。 本発明の第１の実施形態における第２の計測点算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における第２の計測点算出処理の手順を示す参考図である。 本発明の第１の実施形態における欠損終点算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における欠損終点算出処理の手順を示す参考図である。 本発明の第１の実施形態におけるエッジ近似直線算出処理の手順を示すフローチャートである。 本発明の第１の実施形態におけるマッチング点の算出方法を示す参考図である。 本発明の第１の実施形態における欠損サイズ算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における欠損の辺の算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における欠損の辺の算出処理の手順を示す参考図である。 本発明の第１の実施形態における計測画面（計測角度の入力時）を示す参考図である。 本発明の第１の実施形態における欠損の辺の算出処理の手順を示す参考図である。 本発明の第１の実施形態における計測画面（第２のエッジ基準線の方向の選択時）を示す参考図である。 本発明の第２の実施形態における欠損の辺の算出処理の手順を示すフローチャートである。 本発明の第２の実施形態における方向選択処理の手順を示すフローチャートである。 本発明の第２の実施形態における第１の線分および第２の線分を示す参考図である。 本発明の第３の実施形態における角度リストを示す参考図である。 本発明の第３の実施形態における計測画面（計測角度の入力時）を示す参考図である。 従来の計測方法を示す参考図である。 従来の計測方法を示す参考図である。 従来の計測方法を示す参考図である。 従来の計測方法を示す参考図である。 従来の問題点を説明するための参考図である。

以下、図面を参照し、本発明の実施形態を説明する。以下では、計測装置の一例である計測用内視鏡装置を使用して、航空機エンジンへの異物等の侵入によりタービンブレードあるいはコンプレッサーブレードのエッジの一部が欠けることにより形成される欠損に対して計測を行う場合を例として説明する。

（第１の実施形態）
まず、本発明の第１の実施形態を説明する。図１は、本実施形態による計測用内視鏡装置の構成を示している。図１に示すように、計測用内視鏡装置１は、内視鏡２と、コントロールユニット３と、リモートコントローラ４と、液晶モニタ５（表示部）と、光学アダプタ７ａ，７ｂ，７ｃと、内視鏡ユニット８と、カメラコントロールユニット９と、制御ユニット１０とから構成されている。

計測対象物を撮像し撮像信号を生成する内視鏡２（撮像部）は細長の挿入部２０を備えている。挿入部２０は、先端側から順に、硬質な先端部２１と、例えば上下左右に湾曲可能な湾曲部２２と、柔軟性を有する可撓管部２３とを連設して構成されている。挿入部２０の基端部は内視鏡ユニット８に接続されている。先端部２１は、観察視野を２つ有するステレオ用の光学アダプタ７ａ，７ｂあるいは観察視野が１つだけの通常観察光学アダプタ７ｃ等、各種の光学アダプタが例えば螺合によって着脱自在な構成になっている。

コントロールユニット３は、内視鏡ユニット８、画像処理手段であるカメラコントロールユニット（以下、ＣＣＵと記載する）９、および制御装置である制御ユニット１０を内部に備えている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置とを備えている。ＣＣＵ９は、挿入部２０の先端部２１に内蔵されている固体撮像素子２ａから出力された撮像信号を入力し、これをＮＴＳＣ信号等の映像信号（画像データ）に変換して制御ユニット１０に供給する。

制御ユニット１０は、映像信号処理回路１２と、ＲＯＭ１３と、ＲＡＭ１４と、ＰＣカードインターフェース（以下、ＰＣカードＩ／Ｆと記載する）１５と、ＵＳＢインターフェース（以下、ＵＳＢ Ｉ／Ｆと記載する）１６と、ＲＳ−２３２Ｃインターフェース（以下、ＲＳ−２３２Ｃ Ｉ／Ｆと記載する）１７と、計測処理部１８とから構成されている。

映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するために、ＣＣＵ９からの映像信号を、計測処理部１８の制御により生成される操作メニュー等のための表示信号と合成する処理を行う。また、映像信号処理回路１２は、液晶モニタ５の画面上に映像を表示するために合成後の映像信号に所定の処理を施して液晶モニタ５に供給する。

ＰＣカードＩ／Ｆ１５は、ＰＣＭＣＩＡメモリカード３２やフラッシュメモリカード３３等のメモリカード（記録媒体）を自由に着脱できるようになっている。メモリカードを装着することにより、計測処理部１８の制御に従って、このメモリカードに記憶されている制御処理情報や画像情報等を取り込んだり、制御処理情報や画像情報等をメモリカードに記録したりすることができる。

ＵＳＢ Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェースである。このＵＳＢ Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを電気的に接続することにより、パーソナルコンピュータ３１側で内視鏡画像の表示の指示や計測時における画像処理等の各種の制御指示を行うことが可能となる。また、コントロールユニット３とパーソナルコンピュータ３１との間で各種の処理情報やデータを入出力することが可能となる。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行うリモートコントローラ４が接続されている。ユーザがリモートコントローラ４を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

計測処理部１８は、ＲＯＭ１３に格納されている計測用プログラム等のプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、計測用内視鏡装置１全体の動作制御を行う。ＲＡＭ１４は、計測処理部１８によって、データの一時格納用の作業領域として使用される。

計測処理部１８が実行するプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを計測用内視鏡装置１以外のコンピュータに読み込ませ、実行させてもよい。例えば、パーソナルコンピュータ３１がプログラムを読み込んで実行し、プログラムに従って、計測用内視鏡装置１を制御するための制御情報を計測用内視鏡装置１に送信して計測用内視鏡装置１を制御し、計測用内視鏡装置１から映像信号を取得して、取得した映像信号を用いて計測を行ってもよい。

ここで、「コンピュータ」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

図２は計測処理部１８の構成を示している。図２（ａ）に示すように計測処理部１８は、制御部１８ａと、基準点指定部１８ｂと、基準線算出部１８ｃと、欠損構成点算出部１８ｄと、欠損種類判別部１８ｅと、欠損サイズ算出部１８ｆと、記憶部１８ｇとから構成されている。

制御部１８ａは計測処理部１８内の各部を制御する。また、制御部１８ａは、液晶モニタ５に計測結果や操作メニュー等を表示させるための表示信号を生成して映像信号処理回路１２へ出力する機能も有している。

基準点指定部１８ｂは、リモートコントローラ４から入力される信号に基づいて、被写体である計測対象物上の基準点（基準点の詳細は後述する）を指定する。ユーザが、液晶モニタ５に表示された計測対象物の画像を見ながら所望の基準点を２点入力すると、それらの座標が基準点指定部１８ｂによって算出される。

基準線算出部１８ｃ（第１の基準線算出部）は、基準点指定部１８ｂによって指定された基準点に基づいて、計測対象物の輪郭を近似する輪郭近似線に相当する基準線（基準線の詳細は後述する）を算出する。欠損構成点算出部１８ｄは、基準点および基準線に基づいて、計測対象物に形成された欠損の輪郭（エッジ）を構成する欠損構成点（欠損構成点の詳細は後述する）を算出する。

欠損種類判別部１８ｅは、基準点指定部１８ｂによって指定された２つの基準点に対応した２本の基準線がなす、画像上の角度を算出し、その角度に応じて欠損の種類を判別する。欠損サイズ算出部１８ｆは、欠損構成点に基づいて欠損のサイズを計測する。記憶部１８ｇは、計測処理部１８内で処理される各種情報を記憶する。記憶部１８ｇに格納された情報は、適宜、制御部１８ａによって読み出されて各部へ出力される。

欠損サイズ算出部１８ｆは、角部の一部が欠けている計測対象物（後述する角の欠損）のサイズを算出するための構成として、図２（ｂ）に示す角度指定部１８ｆａ、点指定部１８ｆｂ、方向選択部１８ｆｃ、基準線算出部１８ｆｄ（第２の基準線算出部）、サイズ算出部１８ｆｅを有する。ユーザによって指定された基準点に基づいてエッジ抽出が行われて基準線が算出された後、視野内において欠けていない部分の量が評価される。この量が少ない場合、エッジ抽出の結果に基づいて算出された基準線の方向が不安定となりやすいので、設計上の基準線の３次元空間内での角度（設計角度）に基づいて、再度、基準線が算出される。

角度指定部１８ｆａは、角部の一部が欠けている計測対象物の２つのエッジに対応する２本の基準線のうち一方の基準線に対して他方の基準線がなす角度（０度よりも大きく１８０度よりも小さい３次元空間内での角度）を指定する。点指定部１８ｆｂは、他方の基準線が通る点を指定する。方向選択部１８ｆｃは、角度指定部１８ｆａによって指定された３次元空間内での角度に対応して他方の基準線がとりうる２つの方向のうち一方を選択する。基準線算出部１８ｆｄは、他方の基準線を算出する。サイズ算出部１８ｆｅは、２本の基準線の交点に対応する３次元座標に基づいて角部のサイズを算出する。

次に、本実施形態で使用する用語の内容を説明する。まず、図３を参照し、基準点、基準線、および基準点エリアを説明する。基準点３０１，３０２は、表示される計測画面上においてユーザが実際に指定する点であり、図３のように欠損３００の両側に位置し、かつ欠損の存在しないエッジ上の点である。

基準線３１１，３１２は、計測対象物の輪郭（エッジ）を近似する線であり、２つの基準点３０１，３０２に基づいて算出される。基準線は直線であってもよいし、内視鏡２の先端（先端部２１内）に設置された撮像光学系、および内視鏡２の先端に別途装着される撮像光学系（光学アダプタ７ａ，７ｂ，７ｃ）の歪みを補正した歪補正曲線であってもよい。

基準点エリア３２１，３２２は、基準線３１１，３１２を求める際に基準点周囲のエッジを抽出するための画像範囲である。基準点エリア３２１，３２２のサイズは、基準線の算出に適した値に設定するのが良い。

次に、図４〜図５を参照し、欠損の種類、欠損始点・終点・頂点、および欠損構成点を説明する。本実施形態で計測対象となる欠損には、辺の欠損と角の欠損の２種類がある。辺の欠損は図４の欠損４００のように計測対象のエッジの辺上に形成された欠損であり、角の欠損は図５の欠損５００のように計測対象のエッジの角に形成された欠損である。

欠損始点４０１，５０１は、表示される計測画面上において、後述する欠損計算で欠損を構成する点として最初に認識される点である。欠損終点４０２，５０２は、欠損を構成する点として最後に認識される点である。欠損頂点５０３は、角の欠損５００において、２つの基準線５２１，５２２の交点として認識される点である。欠損構成点４１０，５１０は、計測対象物に形成された欠損のエッジを構成する点であり、欠損始点・欠損終点・欠損頂点を含む。

次に、図６〜図７を参照し、欠損サイズを説明する。欠損サイズとは、検出された欠損の大きさを表すパラメータである。本実施形態で計算される欠損サイズは、辺の欠損では欠損の幅、深さ、面積であり、角の欠損では欠損の幅、２つの辺の長さ、面積である。より具体的には、欠損の幅は欠損始点−欠損終点間の空間距離である。欠損の深さは、所定の欠損構成点から、欠損始点と欠損終点を結んだ直線までの空間距離である。欠損の辺は欠損頂点−欠損始点間の空間距離および欠損頂点−欠損終点間の空間距離である。欠損の面積は、全ての欠損構成点で囲まれた領域の空間面積である。

図６は辺の欠損サイズを示しており、欠損の幅６００は、後述する欠損計算で欠損始点６１１と欠損終点６１２の空間距離として算出される。欠損の深さ６０１は所定の欠損構成点６１３から、欠損始点６１１と欠損終点６１２を結んだ直線までの空間距離として算出される。欠損の面積は、図示していない欠損構成点を含む全ての欠損構成点で囲まれた領域６２０の空間面積として算出される。面積の算出方法は、例えば特開平６−３３９４５４号公報に開示されている。

図７は角の欠損サイズを示しており、欠損の幅７００は、後述する欠損計算で欠損始点７１１と欠損終点７１２の空間距離として算出される。欠損の辺７０１は欠損頂点７１３と欠損始点７１１の空間距離として算出され、欠損の辺７０２は欠損頂点７１３と欠損終点７１２の空間距離として算出される。欠損の面積は、図示していない欠損構成点を含む全ての欠損構成点で囲まれた領域７２０の空間面積として算出される。

次に、図８を参照し、計測点および計測点エリアを説明する。計測点８０１は、表示される計測画面上における計測対象物のエッジ上の点であり、後述する欠損計算で第１の基準点８０２から第２の基準点８０３に向かう方向（方向Ｔ８）に順次サーチ（探索）される。さらに、サーチされた計測点の一部は、欠損構成点として認識される。

計測点エリア８０４は、計測点８０１をサーチする際に、計測点周囲のエッジを抽出するための画像範囲である。計測点エリア８０４のサイズは、エッジ抽出を行うのに適した値に設定するのが良い。

次に、図９〜図１０を参照し、特徴点を説明する。特徴点９０１，９０２および特徴点１００１，１００２は、基準点９０３を含む基準点エリア９１０および計測点１００３を含む計測点エリア１０１０内で抽出されるエッジ上の特徴的な点である。基準点エリア９１０内で抽出された特徴点９０１，９０２は、後述する欠損計算で基準線を算出するために用いられる。また、計測点エリア１０１０等で抽出された特徴点の一部は、欠損計算で計測点として選択される。

次に、本実施形態における欠損計測の手順を説明する。以下、図１１〜図１２を参照し、欠損計測の手順と計測画面を説明する。図１１は欠損計測の手順を示し、図１２は計測画面を示している。以後の説明に用いる図１２等の計測画面では、操作メニュー等が説明に不要な場合、その図示を省略することがある。図１２において、計測画面１２００，１２１０，１２２０は、辺の欠損を計測対象としたときの計測画面であり、計測画面１２３０，１２４０，１２５０は、角の欠損を計測対象としたときの計測画面である。

本実施形態では、ステレオ計測による欠損計測が行われる。ステレオ計測においては、ステレオ光学アダプタを内視鏡２の先端部２１に装着した状態で計測対象物を撮像するため、計測画面では計測対象物の画像が左右１対で表示される。なお、３次元座標を求める方法としては、ステレオ計測以外のパターン投影法、タイム・オブ・フライト法等の他の方法を用いてもよい。

欠損計測では、まず、液晶モニタ５に表示された計測画面上において、リモートコントローラ４の操作により、ユーザが基準点を２つ指定すると、指定された基準点の情報が計測処理部１８に入力される（ステップＳＡ）。このとき、ユーザは、欠損の両側に位置する点であって欠損の存在しないエッジ上の点を基準点として選択することが望ましい。図１２において、左画像内の基準点１２０１，１２０２と基準点１２３１，１２３２が指定されている。

続いて、指定された基準点の座標に基づいて、計測処理部１８が欠損計算を行う（ステップＳＢ）。欠損計算では、欠損構成点の座標や欠損サイズの算出、欠損の種類の判別が行われる。計測画面１２１０，１２４０は計算中の計測画面である。欠損計算の詳細については後述する。

欠損計算が終了すると、計測処理部１８の指示により、検出された欠損領域が計測画面上に表示される（ステップＳＣ）と共に、欠損の種類および欠損サイズが表示される（ステップＳＤ〜ＳＥ）。図１２に示すように、欠損領域は計測画面１２２０の左画面１２２１上および計測画面１２５０上の左画面１２５１上に表示される。より具体的には、算出された欠損構成点が線で結ばれて表示される。さらに、欠損構成点の中で、欠損始点・終点・頂点が、それぞれ○・＊・□のカーソルで表示される。

また、検出された欠損の種類は計測画面１２２０，１２５０の右画面１２２２，１２５２上の結果ウィンドウ１２２３，１２５３の上部にイメージで表示される。さらに、検出された欠損のサイズが計測画面１２２０，１２５０の右画面１２２２，１２５２上の結果ウィンドウ１２２３，１２５３の下部に文字で表示される。

次に、図１３を参照し、図１１のステップＳＢ２における欠損計算の手順を説明する。ユーザによって指定された左画面内の２つの基準点の位置情報が計測処理部１８に入力されると、基準点指定部１８ｂは２つの基準点の画像座標（液晶モニタ５に表示される画像上の２次元座標）を算出する（ステップＳＢ１）。続いて、基準線算出部１８ｃは、２つの基準点の画像座標に基づいて、２本の基準線を算出する（ステップＳＢ２）。

続いて、欠損種類判別部１８ｅは、２本の基準線がなす画像上の角度を算出し、その角度に応じて欠損の種類を判別する（ステップＳＢ３）。続いて、欠損構成点算出部１８ｄは、２つの基準点の画像座標に基づいて（角の欠損の場合には基準線も用いて）欠損構成点の画像座標を算出する（ステップＳＢ４）。

続いて、欠損構成点算出部１８ｄは、算出した左画面内の各欠損構成点に対応した右画面内のマッチング点の画像座標を算出し（ステップＳＢ５）、算出された欠損構成点およびそのマッチング点の画像座標に基づいて各欠損構成点の空間座標（現実の空間上の３次元座標）を算出する（ステップＳＢ６）。

空間座標の計算方法は、特開２００４−４９６３８号公報に記載されているものと同様である。最後に、欠損サイズ算出部１８ｆは、算出された欠損構成点の空間座標に基づいて、欠損の種類に応じた欠損サイズを算出する（ステップＳＢ７）。

次に、図１４を参照し、図１２のステップＳＢ２における基準線の算出処理の手順を説明する。基準点指定部１８ｂによって算出された２つの基準点の画像座標が入力される（ステップＳＢ２１）と、基準線算出部１８ｃは、入力された基準点の画像座標に基づいて、各基準点について特徴点を２つずつ算出する（ステップＳＢ２２）。

続いて、基準線算出部１８ｃは、２つの特徴点を通る基準線を算出する（ステップＳＢ２３）。基準点が２つであるので、２本の基準線が算出される。最後に、基準線算出部１８ｃは、この基準線の情報（基準線を構成する点の画像座標または基準線の式）を制御部１８ａへ出力する（ステップＳＢ２４）。

以下、図１５を参照し、上記のステップＳＢ２２における特徴点の算出処理の手順を説明する。特徴点の算出処理は基準線の算出時だけでなく欠損構成点の算出時にも行われる。欠損構成点の算出処理については後述するが、ここでは特徴点の算出処理をまとめて説明する。

また、図１６〜図１７は特徴点の算出処理の手順を模式的に示しており、適宜図１６〜図１７も参照する。図１６は基準点周囲の特徴点を算出する場合の手順を示し、図１７は計測点周囲の特徴点を算出する場合の手順を示している。

基準点の画像座標もしくは計測点の画像座標が入力される（ステップＳＦ１）と、入力された基準点の画像座標もしくは計測点の画像座標に基づいて、基準点エリア内もしくは計測点エリア内のエリア画像が抽出される（ステップＳＦ２）。これによって、基準点１６００を含む基準点エリア内のエリア画像１６０１、もしくは計測点１７００を含む計測点エリア内のエリア画像１７０１が抽出される。

続いて、抽出されたエリア画像がグレースケール化され（ステップＳＦ３）、グレースケール化された画像に対してエッジ抽出が行われる（ステップＳＦ４）。続いて、抽出されたエッジの近似直線が算出され（ステップＳＦ５）、算出されたエッジ近似直線とエリア境界線との２つの交点が算出される（ステップＳＦ６）。これによって、エッジ近似直線１６０２もしくはエッジ近似直線１７０２が算出され、エッジ近似直線１６０２とエリア境界線との交点１６０３，１６０４もしくはエッジ近似直線１７０２とエリア境界線との交点１７０３，１７０４が算出される。

最後に、算出された各交点と抽出されたエッジとの最近傍点が算出され（ステップＳＦ７）、算出された２つの最近傍点が特徴点として制御部１８ａへ出力される（ステップＳＦ８）。これによって、交点１６０３，１６０４に対応した最近傍点１６０５，１６０６、もしくは交点１７０３，１７０４に対応した最近傍点１７０５，１７０６が特徴点として出力される。

ステップＳＦ４のエッジ抽出後にエッジ近似直線の算出を行うため、エッジ抽出には、抽出後の画像にできるだけノイズが発生しない処理を用いるのが良い。例えばSobel・Prewitt・Gradientフィルタ等の１次微分フィルタやLaplacianフィルタ等の２次微分フィルタを用いると良い。

また、膨張・収縮・差分処理およびノイズ低減フィルタ等を組み合わせた処理を用いてエッジ抽出を行っても良い。このとき、グレースケール画像を２値化する必要があるが、２値化閾値には固定値を用いても良いし、Ｐ−タイル法、モード法、判別分析法など、グレースケール画像の輝度に基づいて閾値を変更する方法を用いても良い。

また、ステップＳＦ５のエッジ近似直線の算出では、ステップＳＦ４で抽出されたエッジの情報に基づいて、例えば最小２乗法を用いて近似直線を算出する。なお、上記では、エッジの形状に対して直線近似を行っているが、２次以上の関数を使って曲線近似を行っても良い。エッジの形状が直線よりも曲線に近い場合には、曲線近似を行った方がより精度の良い特徴点算出が可能となる。

次に、図１８を参照し、図１３のステップＳＢ３における欠損種類の判別処理の手順を説明する。２本の基準線の情報が制御部１８ａから入力される（ステップＳＢ３１）と、欠損種類判別部１８ｅは２本の基準線がなす画像上の角度を０〜１８０度の範囲で算出する（ステップＳＢ３２）。続いて、欠損種類判別部１８ｅは、２本の基準線のなす画像上の角度が所定の範囲であるか否かを判定する（ステップＳＢ３３）。

２本の基準線のなす画像上の角度が所定の範囲であった場合（例えば角度が１７５度以上の場合）、欠損種類判別部１８ｅは、欠損が辺の欠損であると判断し、欠損の判別結果を制御部１８ａへ出力する。制御部１８ａは欠損の判別結果を記憶部１８ｇに格納する（ステップＳＢ３４）。また、２本の基準線のなす画像上の角度が所定の範囲でなかった場合（例えば角度が１７５度未満の場合）、欠損種類判別部１８ｅは、欠損が角の欠損であると判断し、欠損の判別結果を制御部１８ａへ出力する。制御部１８ａは欠損の判別結果を記憶部１８ｇに格納する（ステップＳＢ３５）。

次に、図１３のステップＳＢ４における欠損構成点の算出処理の手順を説明する。欠損構成点の算出処理は、欠損頂点算出処理、欠損始点算出処理、２種類の計測点算出処理、および欠損終点算出処理で構成される。まず、図１９を参照し、欠損頂点算出処理の手順を説明する。

制御部１８ａから欠損の判別結果が入力される（ステップＳＢ４１１ａ）と、欠損構成点算出部１８ｄは、判別結果に基づいて欠損の種類を判別する（ステップＳＢ４１１ｂ）。欠損の種類が角の欠損であった場合、制御部１８ａから２本の基準線の情報が入力される（ステップＳＢ４１１ｃ）。

欠損構成点算出部１８ｄは、入力された情報に基づいて２本の基準線の交点を算出し（ステップＳＢ４１１ｄ）、算出した交点の画像座標を制御部１８ａへ出力する。なお、画像のノイズや計算の丸め誤差等の影響で、２本の基準線は実際には交わらないことがほとんどなので、それぞれの基準線上でもう１つの基準線にもっとも近い点を求め、その２点の中点を交点として出力する。制御部１８ａは２本の基準線の交点の画像座標を欠損構成点（欠損頂点）の画像座標として記憶部１８ｇに格納する（ステップＳＢ４１１ｅ）。続いて、図２０に示す第１の計測点算出処理へ処理が移行する。また、欠損の種類が辺の欠損であった場合、ステップＳＢ４１１ｂに続いて、図２０に示す第１の計測点算出処理へ処理が移行する。

次に、図２０を参照し、第１の計測点算出処理の手順を説明する。また、図２１は第１の計測点算出処理の手順を模式的に示しており、適宜図２１も参照する。ユーザによって指定された２つの基準点のうち、最初に指定された第１の基準点の画像座標が制御部１８ａから入力される（ステップＳＢ４１２ａ）と、欠損構成点算出部１８ｄは図１５に示した特徴点の算出処理を実行し、２つの特徴点を算出する（ステップＳＢ４１２ｂ）。これによって、第１の基準点２２００に対応した２つの特徴点２２０１，２２０２が算出される。

続いて、第２の基準点の画像座標が制御部１８ａから入力される（ステップＳＢ４１２ｃ）。欠損構成点算出部１８ｄは２つの特徴点と第２の基準点の２次元距離を算出し、２つの特徴点のうち第２の基準点に近い方を次の計測点とする（ステップＳＢ４１２ｄ）。第２の基準点のある方向が図２１の方向Ｔ２２である場合、特徴点２２０１，２２０２のうち特徴点２２０２が次の計測点２２０３となる。

続いて、欠損構成点算出部１８ｄは、算出した計測点の画像座標を制御部１８ａへ出力する。制御部１８ａは計測点の画像座標を記憶部１８ｇに格納する（ステップＳＢ４１２ｅ）。続いて、図２２に示す欠損始点算出処理へ処理が移行する。

次に、図２２を参照し、欠損始点算出処理の手順を説明する。また、図２３は欠損始点算出処理の手順を模式的に示しており、適宜図２３も参照する。まず、前回求めた計測点の画像座標が制御部１８ａから入力され（ステップＳＢ４１３ａ）、２本の基準線のうち第１の基準点から算出された第１の基準線の情報が制御部１８ａから入力される（ステップＳＢ４１３ｂ）。

続いて、欠損構成点算出部１８ｄは第１の基準線と計測点の２次元距離を算出し（ステップＳＢ４１３ｃ）、算出した２次元距離が所定値以上であるか否かを判定する（ステップＳＢ４１３ｄ）。算出した２次元距離が所定値以上であった場合、欠損構成点算出部１８ｄは、計測対象物のエッジを近似する直線であるエッジ近似直線を算出する（ステップＳＢ４１３ｅ）。例えば図２３に示すように、第１の基準点２４０１から算出された第１の基準線２４１０と計測点２４０２の２次元距離Ｄ２４が所定値以上であった場合、エッジ近似直線２４１１が算出される。

続いて、欠損構成点算出部１８ｄは第１の基準線とエッジ近似直線の交点を算出する（ステップＳＢ４１３ｆ）。これによって、第１の基準線２４１０とエッジ近似直線２４１１の交点２４０３が算出される。

続いて、欠損構成点算出部１８ｄは、算出した交点の画像座標を制御部１８ａへ出力する。制御部１８ａは交点の画像座標を欠損構成点（欠損始点）の画像座標として記憶部１８ｇに格納する（ステップＳＢ４１３ｇ）。続いて、図２４に示す第２の計測点算出処理へ処理が移行する。また、ステップＳＢ４１３ｃで算出した２次元距離が所定値未満であった場合、ステップＳＢ４１３ｄに続いて、図２４に示す第２の計測点算出処理へ処理が移行する。

次に、図２４を参照し、第２の計測点算出処理の手順を説明する。また、図２５は第２の計測点算出処理の手順を模式的に示しており、適宜図２５も参照する。前回求めた計測点の画像座標が制御部１８ａから入力される（ステップＳＢ４１４ａ）と、欠損構成点算出部１８ｄは図１５に示した特徴点の算出処理を実行し、２つの特徴点を算出する（ステップＳＢ４１４ｂ）。これによって、計測点２６００に対応した２つの特徴点２６０１，２６０２が算出される。

続いて、欠損構成点算出部１８ｄは、前回求めた計測点と２つの特徴点のそれぞれとの２次元距離を算出し、２つの特徴点のうち、前回求めた計測点から遠い方を次の計測点とする（ステップＳＢ４１４ｃ）。前回求めた計測点のある方向が図２５の方向Ｔ２６である場合、特徴点２６０１，２６０２のうち特徴点２６０２が次の計測点２６０３となる。

続いて、欠損構成点算出部１８ｄは、欠損始点の画像座標が既に記憶部１８ｇに格納されているか否かを判定する（ステップＳＢ４１４ｄ）。欠損始点の画像座標が既に記憶部１８ｇに格納されている場合、欠損構成点算出部１８ｄは、算出した計測点の画像座標を制御部１８ａへ出力する。制御部１８ａは計測点の画像座標を欠損構成点の画像座標として記憶部１８ｇに格納する（ステップＳＢ４１４ｅ）。続いて、図２６に示す欠損終点算出処理へ処理が移行する。また、欠損始点の画像座標が記憶部１８ｇにまだ格納されていない場合、図２２に示す欠損始点算出処理へ処理が再度移行する。

次に、図２６を参照し、欠損終点算出処理の手順を説明する。また、図２７は欠損終点算出処理の手順を模式的に示しており、適宜図２７も参照する。まず、前回求めた計測点の画像座標が制御部１８ａから入力され（ステップＳＢ４１５ａ）、２本の基準線のうち第２の基準点から算出された第２の基準線の情報が制御部１８ａから入力される（ステップＳＢ４１５ｂ）。

続いて、欠損構成点算出部１８ｄは第２の基準線と計測点の２次元距離を算出し（ステップＳＢ４１５ｃ）、算出した２次元距離が所定値以下であるか否かを判定する（ステップＳＢ４１５ｄ）。算出した２次元距離が所定値以下であった場合、欠損構成点算出部１８ｄは、計測対象物のエッジを近似する直線であるエッジ近似直線を算出する（ステップＳＢ４１５ｅ）。例えば図２７に示すように、第２の基準点２８００から算出された第２の基準線２８１０と計測点２８０１の２次元距離Ｄ２８が所定値以下であった場合、エッジ近似直線２８１１が算出される。

続いて、欠損構成点算出部１８ｄは第２の基準線とエッジ近似直線の交点を算出する（ステップＳＢ４１５ｆ）。これによって、第２の基準線２８１０とエッジ近似直線２８１１の交点２８０３が算出される。

続いて、欠損構成点算出部１８ｄは、算出した交点の画像座標を制御部１８ａへ出力する。制御部１８ａは交点の画像座標を欠損構成点（欠損終点）の画像座標として記憶部１８ｇに格納する（ステップＳＢ４１５ｇ）。この処理によって、上述した欠損構成点の算出処理の全体が終了する。また、ステップＳＢ４１５ｃで算出した２次元距離が所定値を超えた場合、ステップＳＢ４１５ｄに続いて、図２４に示した第２の計測点算出処理へ処理が再度移行する。

次に、図２８を参照し、図２２のステップＳＢ４１３ｅおよび図２６のステップＳＢ４１５ｅにおけるエッジ近似直線の算出処理の手順を説明する。計測点の画像座標が入力される（ステップＳＧ１）と、欠損構成点算出部１８ｄは、入力された計測点の画像座標に基づいて、計測点エリア内のエリア画像を抽出する（ステップＳＧ２）。

続いて、欠損構成点算出部１８ｄは、抽出したエリア画像をグレースケール化し（ステップＳＧ３）、グレースケール化した画像に対してエッジ抽出を行う（ステップＳＧ４）。続いて、欠損構成点算出部１８ｄは、抽出したエッジの近似直線を算出し（ステップＳＧ５）、算出したエッジ近似直線の情報を制御部１８ａへ出力する（ステップＳＧ６）。上記のステップＳＧ１〜ＳＧ５の処理は図１５のステップＳＦ１〜ＳＦ５の処理と同様である。

次に、図１３のステップＳＢ５におけるマッチング点の算出方法を説明する。欠損構成点算出部１８ｄは、上述した欠損計算で算出した欠損構成点に基づいてパターンマッチング処理を実行し、左右２画像の対応点であるマッチング点を算出する。このパターンマッチング処理の方法は特開２００４−４９６３８号公報に記載されたものと同じである。

しかし、欠損の種類が角の欠損であった場合、欠損頂点は計測対象物の背景に位置しており、画像上ではエッジ等の特徴的なパターンが存在しないので、パターンマッチング処理がうまく機能せず、マッチング点を算出できないことがある。そこで、本実施形態では、欠損の種類が角の欠損であった場合、欠損頂点のマッチング点の算出は以下のようにして行われる。

図２９（ａ）に示すように、まず、左画像３０００の基準点３００１，３００２に対応した右画像３０２０のマッチング点３０２１，３０２２が算出される。続いて、基準点３００１，３００２のそれぞれを通る基準線３０１０，３０１１と、マッチング点３０２１，３０２２のそれぞれを通る基準線３０３０，３０３１とが算出される。

続いて、図２９（ｂ）に示すように、左画像３０００の基準線３０１０，３０１１の交点３００３が欠損頂点として算出される。また、右画像３０２０の基準線３０３０，３０３１の交点３０２３が算出され、欠損頂点のマッチング点とみなされる。

次に、図３０を参照し、図１３のステップＳＢ７における欠損サイズの算出処理の手順を説明する。欠損構成点の空間座標（３次元座標）および欠損の判別結果が制御部１８ａから入力される（ステップＳＢ７１）と、欠損サイズ算出部１８ｆは欠損の幅（欠損始点−欠損終点間の空間距離）を算出する（ステップＳＢ７２）。

続いて、欠損サイズ算出部１８ｆは、欠損の判別結果に基づいて欠損の種類を判定する（ステップＳＢ７３）。欠損の種類が辺の欠損であった場合、欠損サイズ算出部１８ｆは欠損の深さ（所定の欠損構成点から、欠損始点と欠損終点を結んだ直線までの空間距離）を算出する（ステップＳＢ７４）。さらに、欠損サイズ算出部１８ｆは欠損の面積（全ての欠損構成点で囲まれた領域の空間面積）を算出する（ステップＳＢ７５）。

続いて、欠損サイズ算出部１８ｆは、算出した欠損サイズを制御部１８ａへ出力する。制御部１８ａは欠損サイズを記憶部１８ｇに格納する（ステップＳＢ７６）。また、欠損の種類が角の欠損であった場合には、欠損サイズ算出部１８ｆは欠損の辺の長さ（欠損頂点−欠損始点間の空間距離および欠損頂点−欠損終点間の空間距離）を算出する（ステップＳＢ７７）。これに続いて、処理はステップＳＢ７５に移行する。

次に、図３１を参照し、図３０のステップＳＢ７７における欠損の辺の長さの算出処理の手順を説明する。また、図３２〜図３５は欠損の辺の長さの算出処理の手順または計測画面を示しており、適宜図３２〜図３５も参照する。基準線算出部１８ｆｄは、ステップＳＢ１で指定された２つの基準点のうち欠損始点により近い第１の基準点と欠損始点との画像距離を算出する（ステップＳＢ７７１）。続いて、基準線算出部１８ｆｄは、ステップＳＢ１で指定された２つの基準点のうち欠損終点により近い第２の基準点と欠損終点との画像距離を算出する（ステップＳＢ７７２）。ステップＳＢ７７１，ＳＢ７７２の処理の順番は逆でもよい。

図３２に示すように、被写体ＯＢ１の領域Ｒ１では、角の先端の部分が欠けている。ステップＳＢ７３の欠損の種類の判定では、被写体ＯＢ１は角の欠損であると判定される。第１の基準点Ｐ１および第２の基準点Ｐ２は、ステップＳＢ１で指定された基準点である。領域Ｒ１の欠けた部分の両端のエッジ上に欠損始点Ｐ３および欠損終点Ｐ４がある。ステップＳＢ７７１では第１の基準点Ｐ１と欠損始点Ｐ３との画像距離が算出され、ステップＳＢ７７２では第２の基準点Ｐ２と欠損終点Ｐ４との画像距離が算出される。

続いて、基準線算出部１８ｆｄは、ステップＳＢ７７１，ＳＢ７７２で算出された２つの画像距離のうち短い方の距離が所定の閾値よりも小さいか否かを判定する。２つの画像距離のうち短い方の距離が閾値以上である場合、欠損の辺の長さの算出処理が終了する。また、２つの画像距離のうち短い方の距離が閾値よりも小さい場合、ステップＳＢ２２でエッジ抽出により算出された特徴点に基づいてステップＳＢ２３で算出された基準線の方向が不安定となりやすい。このため、ステップＳＢ７７４〜ＳＢ７８１の処理により、２つの基準線のうち一方が設計上の基準線の角度に基づいて再度算出され、算出された基準線に基づいて欠損頂点が算出される。

以下では、ステップＳＢ２で算出された基準線と区別するため、欠損頂点を算出するための基準線をエッジ基準線と記載する。２本のエッジ基準線のうち一方はステップＳＢで算出された基準線と同一であり、他方はステップＳＢ７７４〜ＳＢ７８１の処理により算出される基準線である。

基準線算出部１８ｆｄは、ステップＳＢ７７１，ＳＢ７７２で算出された２つの画像距離のうち長い方の距離に対応する欠損始点または欠損終点と、その点に最も近い基準点とを通る線を第１のエッジ基準線に指定する（ステップＳＢ７７４）。第１のエッジ基準線は、ステップＳＢで算出された２本の基準線のいずれかと同一である。続いて、点指定部１８ｆｂは、ステップＳＢ７７１，ＳＢ７７２で算出された２つの画像距離のうち短い方の距離に対応する欠損始点または欠損終点を第２のエッジ基準線の開始点に指定する（ステップＳＢ７７５）。ステップＳＢ７７４，ＳＢ７７５の処理の順番は逆でもよい。

図３２における画像距離Ｄ１よりも画像距離Ｄ２のほうが長い場合、第２の基準点Ｐ２と欠損終点Ｐ４とを通る線が第１のエッジ基準線となる。また、欠損始点Ｐ３が第２のエッジ基準線の開始点となる。

続いて、液晶モニタ５に表示された計測画面上において、リモートコントローラ４の操作により、ユーザが角の欠損の設計角度（例えば、１２０度）を指定する指示を入力すると、角度指定部１８ｆａは、指示された設計角度を、以降の処理に用いる角度に指定する（ステップＳＢ７７６）。指定される角度は、０度よりも大きく１８０度よりも小さい３次元空間内での角度である。また、設計角度は計測対象物毎に既知である。

図３３は、ステップＳＢ７７６における計測画面の一部を示している。所定の角度を選択するためのチェックボックスＣ１と共に、任意の数値を入力するための入力欄Ｉ１が表示される。リモートコントローラ４の操作により、いずれかのチェックボックスＣ１が選択され、または入力欄Ｉ１に数値が入力され、ボタンＢ１が押下されると、選択されたチェックボックスＣ１に対応する角度または入力欄Ｉ１に入力された数値に対応する角度が指定される。

続いて、基準線算出部１８ｆｄは、第２のエッジ基準線の開始点を通り、指定された角度に対応する２つの方向に引いた２本の直線を算出し（ステップＳＢ７７７）、２本の直線と第１のエッジ基準線とを画像上に描画した場合のそれらの交点の画像座標を算出する（ステップＳＢ７７８）。図３４において、第１のエッジ基準線Ｌ１は、第２の基準点Ｐ２および欠損終点Ｐ４を通る。第２のエッジ基準線の開始点である欠損始点Ｐ３を通り、第１のエッジ基準線Ｌ１に対して、３次元空間内で指定された角度αで交わる直線Ｌ２，Ｌ３が第２のエッジ基準線の候補である。ステップＳＢ７７７では、直線Ｌ２，Ｌ３と第１のエッジ基準線Ｌ１との交点Ｐ５，Ｐ６の画像座標が算出される。また、ステップＳＢ７７７では、ステップＳＢ７８０で選択される方向に対応する直線と、ステップＳＢ７８０で選択されない方向に対応する直線との両方が算出される。

続いて、基準線算出部１８ｆｄは、ステップＳＢ７７７で算出された２本の直線を液晶モニタ５の計測画面上に表示する（ステップＳＢ７７９）。ステップＳＢ７７９では、図３４の直線Ｌ２，Ｌ３が表示される。これによって、エッジ基準線の候補がユーザに提示される。ユーザは、ステップＳＢ７７９で表示された２本の直線を確認し、どちらの直線がエッジ基準線として適切であるのかを判断する。例えば、図３４では、直線Ｌ２の方がエッジ基準線として適切である。

続いて、ユーザがリモートコントローラ４を操作し、ステップＳＢ７７９で表示された２本の直線のうち一方を選択する指示を入力すると、方向選択部１８ｆｃは、入力された指示に対応する直線を第２のエッジ基準線として選択する（ステップＳＢ７８０）。ステップＳＢ７８０の処理は、概念的には第２のエッジ基準線の方向を選択することを包含する。選択された第２のエッジ基準線は、設計角度に基づいて算出された基準線であるので、本来のエッジに近い基準線を得ることができる。

図３５は、ステップＳＢ７８０における計測画面の一部を示している。左画面上に直線Ｌ４，Ｌ５が表示され、それらの一方（図３４では直線Ｌ４）が強調されている。また、２本の直線のうちの一方の選択をユーザに促すメッセージＭ１が表示される。ユーザは、リモートコントローラ４を操作し、強調される直線を切り替えることが可能である。例えば、図３５では直線Ｌ４が強調され、直線Ｌ５は強調されていないが、リモートコントローラ４の操作により、直線Ｌ５が強調され、直線Ｌ４が強調されていない状態にすることができる。リモートコントローラ４により、直線を選択する指示が入力されると、そのとき強調されている直線が第２のエッジ基準線として選択される。

本実施形態の例では、第２のエッジ基準線の候補となる２本の直線が算出された後、２本の直線のうち一方が選択されることで第２のエッジ基準線が選択される。すなわち、第２のエッジ基準線の方向が選択された時点で第２のエッジ基準線は既に算出されている。これに対して、第２のエッジ基準線の開始点を基準とした２つの方向が提示され、ユーザによって方向が選択された後、選択された方向に基づいて第２のエッジ基準線が算出されてもよい。

続いて、基準線算出部１８ｆｄは、ステップＳＢ７８０で選択された第２のエッジ基準線と第１のエッジ基準線とを画像に描画した場合の交点の画像座標を制御部１８ａへ出力する。制御部１８ａは交点の画像座標を欠損構成点（欠損頂点）の画像座標として記憶部１８ｇに格納する（ステップＳＢ７８１）。続いて、サイズ算出部１８ｆｅは、左画面内の欠損頂点に対応した右画面内のマッチング点の画像座標を算出し（ステップＳＢ７８２）、算出された欠損頂点およびそのマッチング点の画像座標に基づいて欠損頂点の空間座標を算出する（ステップＳＢ７８３）。ステップＳＢ７８２では、図２９を参照して説明した方法により、マッチング点の画像座標が算出される。続いて、サイズ算出部１８ｆｅは、欠損頂点−欠損始点間の空間距離および欠損頂点−欠損終点間の空間距離を算出する（ステップＳＢ７８４）。

なお、ステップＳＢ７７６で選択された角度が９０度であった場合、図示していないが、以下の処理が行われる。基準線算出部１８ｆｄは、第２のエッジ基準線の開始点を通り、第１のエッジ基準線に対して９０度で交わる方向に引いた直線を算出し、その直線と第１のエッジ基準線とを画像上に描画した場合のそれらの交点の画像座標を算出する。方向選択部１８ｆｃは、算出された直線を第２のエッジ基準線として選択する。続いて、ステップＳＢ７３１の処理が行われる。

上述したように、本実施形態によれば、第１のエッジ基準線に対して第２のエッジ基準線がなす３次元空間内での角度（設計角度）が指定され、指定された角度に対応して第２のエッジ基準線がとりうる２つの方向のうち一方が選択され、指定された点（本実施形態の例では欠損始点または欠損終点）を通り、選択された方向を向く第２のエッジ基準線と、第１のエッジ基準線との交点（欠損頂点）に対応する３次元座標に基づいて角の欠損のサイズが算出される。これによって、第２のエッジ基準線の方向の誤差が低減されるので、角部を有し、角部の一部が欠けている被写体の計測精度の低下を低減することができる。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。第１の実施形態では第２のエッジ基準線の方向がユーザの指示に基づいて選択されるが、第２の実施形態では第２のエッジ基準線の適切な方向が自動的に選択される。

図３０のステップＳＢ７７における欠損の辺の算出処理以外の処理は、第１の実施形態で説明した処理と同様である。以下、図３６を参照し、図３０のステップＳＢ７７における欠損の辺の算出処理の手順を説明する。図３６では、ステップＳＢ７７８の処理が行われた後、ステップＳＢ７８１の処理が行われる前に、第２のエッジ基準線の方向を選択する処理が行われる（ステップＳＢ７８５）。図３６におけるステップＳＢ７８５の処理以外の処理は、第１の実施形態で説明した処理と同様である。

以下、図３７を参照し、図３６のステップＳＢ７８５における方向選択処理の手順を説明する。以下では、ステップＳＢ７７１，ＳＢ７７２で算出された２つの画像距離のうち長い方の距離に対応する欠損始点または欠損終点と、その点に最も近い基準点とを結ぶ線分が第１の線分であり、ステップＳＢ７７１，ＳＢ７７２で算出された２つの画像距離のうち短い方の距離に対応する欠損始点または欠損終点と、その点に最も近い基準点とを結ぶ線分が第２の線分である。図３８において、第１の基準点Ｐ１と欠損始点Ｐ３とを結ぶ線分Ｌ６、第２の基準点Ｐ２と欠損終点Ｐ４とを結ぶ線分Ｌ７のうち両端の２点間の距離が長い方が第１の線分であり、両端の２点間の距離が短い方が第２の線分である。

方向選択部１８ｆｃは、ステップＳＢ７７８で算出された２つの交点の画像座標のうち一方が視野内にあり他方が視野外にあるか否かを判定する（ステップＳＢ７８５１）。視野は、例えば左画面である。２つの交点の画像座標のうち一方が視野内にあり他方が視野外にある場合、方向選択部１８ｆｃは、視野内にある交点を通る方向の直線を第２のエッジ基準線として選択する（ステップＳＢ７８５２）。

また、２つの交点の画像座標の両方が視野内または視野外にある場合、方向選択部１８ｆｃは、ステップＳＢ７７８で算出された２つの交点の画像座標のうち一方が第１の線分上にあり他方が第１の線分上以外にあるか否かを判定する（ステップＳＢ７８５３）。２つの交点の画像座標のうち一方が第１の線分上にあり他方が第１の線分上以外にある場合、方向選択部１８ｆｃは、交点が第１の線分上にある方向の直線を第２のエッジ基準線として選択する（ステップＳＢ７８５４）。この場合、第１の線分の両端の２つの点の間の部分に交点がある。

また、２つの交点の画像座標の両方が第１の線分上または第１の線分上以外にある場合、方向選択部１８ｆｃは、第２の線分の方向により近い方向の直線を第２のエッジ基準線として選択する（ステップＳＢ７８５５）。この場合、第２のエッジ基準線が通る通過点となる欠損始点または欠損終点から見て、第１の線分と第２の線分とのうち長さが短い方の第２の線分により近い方向の直線が選択される。

上述したように、本実施形態によれば、第２のエッジ基準線の方向が自動的に選択されるので、ユーザの手間を削減することができる。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。第３の実施形態では、被写体である計測対象物毎の設計角度が記録された角度リストから設計角度が選択される。

ＰＣ３１あるいはメモリカードには、計測対象物を識別するラベルと設計角度とが関連付けられて記録された角度リストが保持されている。この角度リストは計測用内視鏡装置１に読み込まれて計測処理部１８内の記憶部１８ｇに記憶される。図３９は角度リストの一例を示している。計測対象物のラベルと設計角度とが１対１に対応している。

図３１または図３６のステップＳＢ７７６では、角度指定部１８ｆａは、角度リストの内容を計測画面上に表示する。図４０は、ステップＳＢ７７６における計測画面の一部を示している。角度リストに記録されている計測対象物のラベルに基づく計測対象物の名称と設計角度の一覧が計測画面上に表示される。選択枠Ｆ１は、現在選択されている計測対象物の名称と設計角度の組合せを示している。

ユーザは、リモートコントローラ４を操作することで、選択枠Ｆ１を移動させ、選択される組合せを変更することができる。また、計測対象物の名称を検索するための文字列を入力するための入力欄Ｉ２が設けられている。ユーザは、リモートコントローラ４を操作し、入力欄Ｉ２に文字列を入力してボタンＢ２を押下することで、所望の名称を検索することができる。角度リストの要素が多い場合には、計測対象物の名称を検索することで、ユーザが所望の計測対象物を探す手間を省くことができる。検索語の入力は、図示しないオンスクリーンキーボードの文字を、ユーザがリモートコントローラ４を操作して選択することで行う。

リモートコントローラ４の操作により、ボタンＢ３が押下されると、選択枠Ｆ１により選択されている設計角度を指定する指示が入力される。角度指定部１８ｆａは、指示された設計角度を、以降の処理に用いる角度に指定する。

上述したように、本実施形態によれば、ユーザが設計角度を入力する際の入力ミスの発生を低減することができる。したがって、入力ミスの発生による被写体の計測精度の低下を低減することができる。また、ユーザが設計角度を簡便に入力することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１ 計測用内視鏡装置、１８ 計測処理部、１８ａ 制御部、１８ｂ 基準点指定部、１８ｃ，１８ｆｄ 基準線算出部、１８ｄ 欠損構成点算出部、１８ｅ 欠損種類判別部、１８ｆ 欠損サイズ算出部、１８ｆａ 角度指定部、１８ｆｂ 点指定部、１８ｆｃ 方向選択部、１８ｆｅ サイズ算出部、１８ｇ 記憶部

Claims (9)

1. 角部を有し、前記角部の一部が欠けている被写体を撮像して画像データを生成する撮像部と、
   前記画像データに基づく画像を表示する表示部と、
   前記画像において、前記角部のエッジに対応する第１のエッジ基準線を算出する第１の基準線算出部と、
   前記画像において、前記角部のエッジに対応する第２のエッジ基準線を算出する第２の基準線算出部と、
   前記第２のエッジ基準線が通る点を指定する点指定部と、
   前記第１のエッジ基準線に対して前記第２のエッジ基準線がなす、０度よりも大きく１８０度よりも小さい３次元空間内での角度を指定する角度指定部と、
   指定された前記角度に対応して前記第２のエッジ基準線がとりうる２つの方向のうち一方を選択する方向選択部と、
   指定された前記点を通り、選択された前記方向を向く前記第２のエッジ基準線と、前記第１のエッジ基準線との交点に対応する３次元座標に基づいて前記角部のサイズを算出するサイズ算出部と、
   を有することを特徴とする計測装置。
2. 前記角度指定部は、ユーザが前記角度を指定する指示に基づいて前記角度を指定することを特徴とする請求項１に記載の計測装置。
3. 被写体毎の前記角度を記憶する記憶部をさらに有し、
   前記表示部はさらに、前記被写体と、前記被写体に対応する前記角度とを表示する
   ことを特徴とする請求項２に記載の計測装置。
4. 前記表示部はさらに、前記２つの方向のそれぞれを向く前記第２のエッジ基準線の候補を表示し、
   前記方向選択部は、ユーザが前記第２のエッジ基準線の候補のいずれかを指定する指示に基づいて、前記２つの方向のうち一方を選択する
   ことを特徴とする請求項１に記載の計測装置。
5. 前記方向選択部は、前記２つの方向のそれぞれを向く前記第２のエッジ基準線の候補と前記第１のエッジ基準線との交点を算出し、前記交点の位置に基づいて、前記２つの方向のうち一方を選択することを特徴とする請求項１に記載の計測装置。
6. 前記方向選択部は、前記交点が前記画像の視野内にあるか否かを判定した結果に基づいて、前記２つの方向のうち一方を選択することを特徴とする請求項５に記載の計測装置。
7. 前記第１の基準線算出部は、前記第１のエッジ基準線を構成する点として指定された２つの点に基づいて前記第１のエッジ基準線を算出し、
   前記方向選択部は、前記第１のエッジ基準線のうち前記２つの点の間に前記交点があるか否かを判定した結果に基づいて、前記２つの方向のうち一方を選択する
   ことを特徴とする請求項５に記載の計測装置。
8. 前記第１の基準線算出部は、前記第１のエッジ基準線を構成する点として指定された２つの構成点に基づいて前記第１のエッジ基準線を算出し、
   前記点指定部は、前記第２のエッジ基準線の基準となる基準点と、前記第２のエッジ基準線が通る通過点とを指定し、
   前記方向選択部は、前記２つの方向のうち、前記通過点から見て、前記２つの構成点を両端とする線分と、前記基準点および前記通過点を両端とする線分とのうち長さが短い方の線分の方向により近い方向を選択する
   ことを特徴とする請求項５に記載の計測装置。
9. 角部を有し、前記角部の一部が欠けている被写体を撮像することにより生成された画像データに基づく画像において、前記角部のエッジに対応する第１のエッジ基準線を算出する第１の基準線算出ステップと、
   前記画像において、前記角部のエッジに対応する第２のエッジ基準線を算出する第２の基準線算出ステップと、
   前記第２のエッジ基準線が通る点を指定する点指定ステップと、
   前記第１のエッジ基準線に対して前記第２のエッジ基準線がなす、０度よりも大きく１８０度よりも小さい３次元空間内での角度を指定する角度指定ステップと、
   指定された前記角度に対応して前記第２のエッジ基準線がとりうる２つの方向のうち一方を選択する方向選択ステップと、
   指定された前記点を通り、選択された前記方向を向く前記第２のエッジ基準線と、前記第１のエッジ基準線との交点に対応する３次元座標に基づいて前記角部のサイズを算出するサイズ算出ステップと、
   をコンピュータに実行させるためのプログラム。

Images