JP6895382B2 - 観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための方法および機器 - Google Patents

Description

本明細書で開示される主題は、映像検査機器を使用して、観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための方法および機器に関する。

映像内視鏡またはボアスコープなどの映像検査機器は、例えば損傷、磨耗、腐食、または不適切な取り付けの結果として生じ得る、対象上の異常（例えば、穴または窪み）を特定および分析する目的で対象の表面を検査するために使用され得る。多くの場合、対象の表面は、接近不可能であり、映像検査機器を使用しなければ観視され得ない。例えば、映像検査機器は、表面に形成され得る異常を特定して、修理またはさらなる保守が必要かどうかを判定する目的で航空機または発電ユニットのタービンエンジンのブレードの表面を検査するために使用され得る。この判断を行うために、表面および異常の高精度の寸法測定値を取得して、異常がその対象の動作限界または要求仕様を超えていないまたはこれらから外れていないことを確認する必要があることが多い。

映像検査機器は、異常を示す、観視対象の表面の２次元画像を取得して表示し、表面上の異常の寸法を算出するために使用され得る。表面のこの２次元画像は、異常の近傍を含む、表面上の複数の点の３次元座標（例えば、（ｘ，ｙ，ｚ））を提供する、表面の３次元データを生成するために使用され得る。一部の映像検査機器では、ユーザは、測定モードで映像検査機器を操作して、ユーザが、異常の幾何学的寸法を算出するために２次元画像上にカーソルを配置する測定画面に入り得る。多くの場合、ユーザにとって、３次元空間で実行される測定を想像することは困難であるため、２次元画像から観視特徴の輪郭を判断することは困難であり、これにより、異常の近傍へのカーソルの高精度の配置が困難になっている。このプロセスは、異常の所望の幾何学的寸法または測定値が正しく算出されるという結果を必ずしももたらさず、時間のかかるものであり得る。

上記の解説は、一般的な背景情報のために提供されただけであり、特許請求される主題の範囲を決定する助けとして使用されることを意図しない。

英国特許出願公開第２５０５９２６号公報

映像検査機器を使用して、観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための方法および機器が開示される。映像検査機器は、観視対象の対象表面の２次元画像を表示し、複数の表面点の３次元座標を算出する。観視対象の３次元形状の少なくとも１つのレンダリング画像が、２次元画像と同時に表示される。測定カーソルが、２次元画像上に配置され移動されると、観視対象の３次元形状のレンダリング画像が自動的に更新される。

観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための方法および機器の開示されたいくつかの実施形態の実施において実現され得る利点は、異常のより良好な追加の視点がユーザに提供されることから測定の精度が改善され、異常の測定を実行する時間が短縮されることである。

一実施形態では、観視対象の対象表面を検査するための方法が開示される。本方法は、ディスプレイ上に対象表面の２次元画像を表示するステップと、中央処理装置を使用して対象表面上の複数の点の３次元座標を算出するステップと、中央処理装置を使用して対象表面の少なくとも一部の３次元形状のレンダリング画像を算出するステップと、ディスプレイ上に２次元画像およびレンダリング画像を同時に表示するステップと、ポインティングデバイスを使用して２次元画像上に複数の測定カーソルを配置し、ディスプレイ上の２次元画像上に複数の測定カーソルを表示するステップと、レンダリング画像上に、２次元画像上の測定カーソルに対応する複数の測定標識を表示するステップと、中央処理装置を使用して、２次元画像上の複数の測定カーソルの位置に基づいて対象表面の測定寸法を算出するステップとを含む。

別の実施形態では、本方法は、ポインティングデバイスを使用してレンダリング画像上に複数の測定カーソルを配置し、ディスプレイ上のレンダリング画像上に複数の測定カーソルを表示するステップと、２次元画像上に、レンダリング画像上の測定カーソルに対応する複数の測定標識を表示するステップと、中央処理装置を使用して、レンダリング画像上の複数の測定カーソルの位置に基づいて対象表面の測定寸法を算出するステップとを含む。

さらに別の実施形態では、本方法は、ディスプレイ上に対象表面の２次元ステレオ画像を表示するステップと、ステレオ技術を使用し、中央処理装置を使用して対象表面上の複数の点の３次元座標を算出するステップと、中央処理装置を使用して対象表面の少なくとも一部の３次元形状のレンダリング画像を算出するステップと、ディスプレイ上に２次元ステレオ画像およびレンダリング画像を同時に表示するステップとを含む。

さらに別の実施形態では、観視対象の対象表面を検査するための機器が開示される。本機器は、挿入チューブを備える細長いプローブと、対象表面の２次元ステレオ画像を取得するために挿入チューブの遠位端に配置されたイメージャと、対象表面上の複数の点の３次元座標を算出し、対象表面の少なくとも一部の３次元形状のレンダリング画像を算出するための中央処理装置と、２次元ステレオ画像およびレンダリング画像を同時に表示するためのディスプレイとを含む。

本発明のこの簡単な説明は、１つ以上の例示的な実施形態に従って本明細書で開示された主題の簡単な概要を提供することのみを意図しており、特許請求の範囲を解釈するための、または添付の特許請求の範囲によってのみ規定される本発明の範囲を規定もしくは限定するための手引きとしての役割を果たすものではない。この簡単な説明は、詳細な説明でさらに後述される概念の例示的な選択を簡略化した形で紹介するために提供されている。この簡単な説明は、特許請求される主題の重要な特徴または本質的な特徴を特定するためのものではないし、特許請求される主題の範囲を決定する助けとして使用するためのものでもない。特許請求される主題は、背景技術で指摘された欠点のいずれかまたはすべてを解決する実施態様に限定されない。

本発明の特徴が理解され得るように、本発明の詳細な説明は、特定の実施形態であって、これらの一部が添付図面に示されている特定の実施形態を参照してなされ得る。しかしながら、図面は、本発明の特定の実施形態のみを示しており、したがって、その範囲を限定するものと考えられるべきではなく、本発明の範囲は、他の同等に有効な実施形態を包含することに留意されたい。図面は必ずしも一定の縮尺ではなく、概して、本発明の特定の実施形態の特徴を例示することに重きが置かれている。図面では、様々な図を通して同じ部分を示すために同じ番号が使用されている。このようにして、本発明をさらに理解するために、図面に関連して解読される以下の詳細な説明は参照され得る。

例示的な映像検査機器のブロック図である。 例示的な実施形態において、異常を有する観視対象の対象表面の、映像検査機器によって取得された例示的な画像である。 例示的な実施形態において、図２の画像に示されている観視対象における表面の異常の最深点を自動的に特定するための例示的な方法のフロー図である。 映像検査機器によって算出された例示的な基準表面を示す。 映像検査機器によって算出された例示的な関心領域を示す。 映像検査機器によって算出された別の例示的な関心領域を示す。 例示的な実施形態における、図１の画像に示されている観視対象の対象表面の例示的なプロファイルのグラフ表示である。 例示的な実施形態における、異常を有する観視対象の表面の、映像検査機器によって取得された別の画像である。 例示的な実施形態において、図８の画像に示されている観視対象の表面を検査するために３次元データを表示するための方法のフロー図である。 点群図（ｐｏｉｎｔ ｃｌｏｕｄ ｖｉｅｗ）での複数の表面点のサブセットの表示である。 別の例示的な実施形態において、観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための例示的な方法のフロー図である。 観視対象の２次元画像およびステレオ画像の表示である。 測定カーソルを伴う、観視対象の２次元画像と、測定標識を伴う、深さプロファイル画像の形式の観視対象の３次元形状のレンダリング画像との表示である。 測定カーソルを伴う、観視対象の２次元画像と、測定標識を伴う、点群図の形式の観視対象の３次元形状のレンダリング画像との表示である。

図１は、例示的な映像検査機器１００のブロック図である。図１に示す映像検査機器１００は例示であり、本発明の範囲は、特定の映像検査機器１００または映像検査機器１００内の構成要素の特定の構成に限定されないことが理解されよう。

映像検査機器１００は、挿入チューブ１１０と、挿入チューブ１１０の遠位端に配置されたヘッドアセンブリ１２０とを備える細長いプローブ１０２を含み得る。挿入チューブ１１０は、可撓性の管状部であって、その中をヘッドアセンブリ１２０とプローブ電子回路１４０との間のすべての相互配線が通る可撓性の管状部であり得る。ヘッドアセンブリ１２０は、観視対象２０２からの光をイメージャ１２４に導いて集光するためのプローブ光学系１２２を含み得る。プローブ光学系１２２は、例えば単レンズ（ｌｅｎｓ ｓｉｎｇｌｅｔ）、または複数の構成要素を有するレンズを備え得る。イメージャ１２４は、観視対象２０２の画像を取得するための固体ＣＣＤまたはＣＭＯＳ画像センサであり得る。

着脱可能な先端部またはアダプタ１３０は、ヘッドアセンブリ１２０の遠位端に配置され得る。着脱可能な先端部１３０は、観視対象２０２からの光をイメージャ１２４に導いて集光するためにプローブ光学系１２２と協働する先端部観視光学系１３２（例えば、レンズ、窓、またはアパーチャ）を含み得る。着脱可能な先端部１３０はまた、映像検査機器１００の光源がプローブ１０２から観視対象２０２に光を送るために先端部１３０または光透過素子（図示せず）から発する場合、照明ＬＥＤ（図示せず）を含み得る。先端部１３０はまた、カメラ視野および光出力を側方に向ける導波路（例えば、プリズム）を含むことによって側方観視能力を提供し得る。先端部１３０はまた、観視表面の３次元データの測定で用いる立体光学系または構造化光投光素子（ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｐｒｏｊｅｃｔｉｎｇ ｅｌｅｍｅｎｔ）を設けてもよい。先端部１３０に含まれ得る素子はまた、プローブ１０２自体に含まれ得る。

イメージャ１２４は、複数の行および列に形成された複数の画素を含むことができ、イメージャ１２４の各画素に入射する光を表すアナログ電圧の形で画像信号を生成し得る。画像信号は、信号のバッファリングおよび調整用の電子回路を提供するイメージャハイブリッド１２６を介して、イメージャハイブリッド１２６とイメージャインタフェース電子回路１４２との間の、制御信号および映像信号用の配線を提供するイメージャハーネス１１２に伝送され得る。イメージャインタフェース電子回路１４２は、電源と、イメージャクロック信号を生成するためのタイミングジェネレータと、イメージャ映像出力信号をデジタル化するためのアナログフロントエンドと、デジタル化されたイメージャ映像データを処理してより有用な映像フォーマットにするためのデジタル信号プロセッサとを含み得る。

イメージャインタフェース電子回路１４２は、映像検査機器１００を動作させるための機能の集合を提供するプローブ電子回路１４０の一部である。プローブ電子回路１４０はまた、プローブ１０２および／または先端部１３０用の較正データを記憶する較正メモリ１４４を含み得る。ゲインおよび露出の設定を決定して設定するためにイメージャインタフェース電子回路１４２と通信し、較正メモリ１４４への／からの較正データの記憶および読み出しを行い、観視対象２０２に供給される光を制御し、映像検査機器１００の中央処理装置（ＣＰＵ）１５０と通信するためのマイクロコントローラ１４６もまた、プローブ電子回路１４０に含まれ得る。

さらに、マイクロコントローラ１４６との通信に加えて、イメージャインタフェース電子回路１４２は、１つ以上の映像プロセッサ１６０とも通信し得る。映像プロセッサ１６０は、イメージャインタフェース電子回路１４２から映像信号を受信し、一体型ディスプレイ１７０または外部モニタ１７２を含む様々なモニタ１７０、１７２に信号を出力し得る。一体型ディスプレイ１７０は、様々な画像またはデータ（例えば、観視対象２０２の画像、メニュー、カーソル、測定結果）を検査者に表示するための、映像検査機器１００に組み込まれたＬＣＤスクリーンであり得る。外部モニタ１７２は、様々な画像またはデータを表示するために映像検査機器１００に接続される映像モニタまたはコンピュータ用モニタ（ｃｏｍｐｕｔｅｒ−ｔｙｐｅ ｍｏｎｉｔｏｒ）であり得る。

映像プロセッサ１６０は、コマンド、ステータス情報、ストリーミング映像、静止映像画像、およびグラフィックオーバーレイをＣＰＵ１５０に／から送信／受信することができ、また、画像キャプチャ、画像強調、グラフィックオーバーレイのマージ、歪み補正、フレーム平均化、スケーリング、デジタルズーム、オーバーレイ、マージ、フリッピング、動き検出、ならびに映像フォーマットの変換および圧縮などの機能を提供するＦＰＧＡ、ＤＳＰ、または他の処理要素からなっていてもよい。

ＣＰＵ１５０は、画像、映像、および音声の記憶および呼び出し機能、システム制御、ならびに測定処理を含む他の機能のホストを提供することに加えて、ジョイスティック１８０、ボタン１８２、キーパッド１８４、および／またはマイクロフォン１８６を介して入力を受信することによってユーザインタフェースを管理するために使用され得る。ジョイスティック１８０は、メニュー選択、カーソル移動、スライダ調整、およびプローブ１０２の関節制御（ａｒｔｉｃｕｌａｔｉｏｎ ｃｏｎｔｒｏｌ）などの操作を実行するためにユーザによって操作され得るものであり、押しボタン機能を含み得る。ボタン１８２および／またはキーパッド１８４もまた、メニュー選択およびＣＰＵ１５０へのユーザコマンド（例えば、静止画像のフリーズ（ｆｒｅｅｚｉｎｇ）または保存）の送信に使用され得る。マイクロフォン１８６は、静止画像をフリーズまたは保存する音声命令を送信するために検査者によって使用され得る。

映像プロセッサ１６０はまた、処理中のデータのフレームバッファリングおよび一時保持のために映像プロセッサ１６０によって使用される映像メモリ１６２と通信し得る。ＣＰＵ１５０はまた、ＣＰＵ１５０によって実行されるプログラムを記憶するためのＣＰＵプログラムメモリ１５２と通信し得る。さらに、ＣＰＵ１５０は、揮発性メモリ１５４（例えば、ＲＡＭ）および不揮発性メモリ１５６（例えば、フラッシュメモリデバイス、ハードドライブ、ＤＶＤ、またはＥＰＲＯＭメモリデバイス）と通信し得る。不揮発性メモリ１５６は、ストリーミング映像および静止画像用の主記憶装置である。

ＣＰＵ１５０はまた、周辺機器およびネットワーク（ＵＳＢ、Ｆｉｒｅｗｉｒｅ、イーサネット（登録商標）、音声Ｉ／Ｏ、および無線トランシーバなど）に対して様々なインタフェースを提供するコンピュータＩ／Ｏインタフェース１５８と通信し得る。このコンピュータＩ／Ｏインタフェース１５８は、静止画像、ストリーミング映像、または音声の保存、呼び出し、送信、および／または受信を行うために使用され得る。例えば、ＵＳＢ「サムドライブ」またはコンパクトフラッシュ（登録商標）メモリカードが、コンピュータＩ／Ｏインタフェース１５８に差し込まれ得る。さらに、映像検査機器１００は、画像フレームデータまたはストリーミング映像データを外部のコンピュータまたはサーバに送信するように構成され得る。映像検査機器１００は、ＴＣＰ／ＩＰ通信プロトコルスイートを組み込むことができ、複数のローカルコンピュータおよびリモートコンピュータ（これらのコンピュータのそれぞれも同様にＴＣＰ／ＩＰ通信プロトコルスイートを組み込んでいる）を含む広域ネットワークに組み込まれ得る。ＴＣＰ／ＩＰプロトコルスイートを組み込むことにより、映像検査機器１００は、ＴＣＰおよびＵＤＰを含むいくつかのトランスポート層プロトコルと、ＨＴＴＰおよびＦＴＰを含むいくつかの異なる層プロトコルとを組み込む。

図１では、特定の構成要素が単一の構成要素（例えば、ＣＰＵ１５０）として示されているが、複数の別個の構成要素を使用して、ＣＰＵ１５０の機能を実行し得ることが理解されよう。

図２は、本発明の例示的な実施形態において、異常２０４を有する観視対象２０２の対象表面２１０の、映像検査機器１００によって取得された例示的な画像２００である。この例では、異常２０４は、材料が損傷または磨耗によって異常２０４において観視対象２０２の対象表面２１０から除去された窪みとして示されている。この例示的な実施形態に示されている異常２０４は単なる例であり、本発明の方法は他の種類の凹凸（例えば、亀裂、腐食孔、コーティング損失、表面堆積など）に適用されることが理解されよう。画像２００が取得され、異常２０４が確認されたら、画像２００は、異常２０４の寸法（例えば、高さまたは深さ、長さ、幅、面積、体積、ポイントツーライン（ｐｏｉｎｔ ｔｏ ｌｉｎｅ）、プロファイルスライスなど）を算出するために使用され得る。一実施形態では、使用される画像２００は、異常２０４を含む、観視対象２０２の対象表面２１０の２次元画像２００であり得る。

図３は、本発明の例示的な実施形態において、図２の画像２００に示されている観視対象２０２における対象表面２１０の異常２０４の最深点を自動的に特定するための例示的な方法３００のフロー図である。図３のフロー図に記載されているステップは、フロー図に示されている順序とは異なる順序で実行され得るものであり、特定の実施形態では、ステップのすべてが必要なわけではないことが理解されよう。

例示的な方法３００（図３）のステップ３１０では、図２に示されているように、ユーザは、映像検査機器１００（例えば、イメージャ１２４）を使用して、異常２０４を有する観視対象２０２の対象表面２１０の少なくとも１つの画像２００を取得して、それを映像モニタ（例えば、一体型ディスプレイ１７０または外部モニタ１７２）に表示し得る。一実施形態では、画像２００は、映像検査機器の測定モードで表示され得る。

例示的な方法３００（図３）のステップ３２０では、映像検査機器１００（例えば、ＣＰＵ１５０）は、異常２０４の表面点を含む、観視対象２０２の対象表面２１０上の複数の表面点の３次元座標（例えば、（ｘ，ｙ，ｚ）を算出し得る。一実施形態では、映像検査機器は、３次元座標を算出するために、画像２００から３次元データを生成し得る。いくつかの異なる既存の技術（例えば、ステレオ、走査システム、ステレオ三角測量、構造化光法（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｍｅｔｈｏｄ）（位相シフト分析、位相シフトモアレ、レーザドット投影など）など）が、対象表面２１０の画像２００（図２）における表面点の３次元座標を提供するために使用され得る。

このような技術の大部分は、３次元座標の誤差を低減するために使用される光学特性データを特に含む較正データの使用を含み、そうでなければ、光学的歪みによって、３次元座標の誤差が生じる。一部の技術では、３次元座標は、投影パターンなどを含んでもよい、近接時間（ｃｌｏｓｅ ｔｉｍｅ ｐｒｏｘｉｍｉｔｙ）にキャプチャされた１つ以上の画像を使用して算出されてもよい。画像２００を使用して算出された３次元座標への言及はまた、近接時間にキャプチャされた対象表面２１０の１つまたは複数の画像２００を使用して算出された３次元座標を含んでもよく、記載した動作中にユーザに表示される画像２００は、実際には３次元座標の算出に使用されても使用されなくてもよいことを理解されたい。

例示的な方法３００（図３）のステップ３３０では、図４に示すように、映像検査機器１００（例えば、ＣＰＵ１５０）は、基準表面２５０を算出し得る。一部の実施形態では、基準表面２５０は平坦であってもよく、他の実施形態では、基準表面２５０は湾曲していてもよい。同様に、一実施形態では、基準表面２５０は平面の形態であってもよく、他の実施形態では、基準表面２５０は異なる形状（例えば、円筒形、球形など）の形態であってもよい。例えば、ユーザは、基準表面を算出するために、映像検査機器１００のジョイスティック１８０（または他のポインティングデバイス（例えば、マウス、タッチスクリーン））を使用して、異常２０４の近傍の、観視対象２０２の対象表面２１０上の１つ以上の基準表面点を選択し得る。

一実施形態では、図４に示すように、合計で３つの基準表面点２２１、２２２、２２３が、異常２０４の深さ測定を行うために異常２０４の近傍の、観視対象２０２の対象表面２１０上に選択され、３つの基準表面点２２１、２２２、２２３が、異常２０４の近傍の対象表面２１０上に選択される。一実施形態では、観視対象２０２の対象表面２１０上の複数の基準表面点２２１、２２２、２２３は、基準表面カーソル２３１、２３２、２３３（または他のポインティングデバイス）を、対象表面２１０上の複数の基準表面点２２１、２２２、２２３に対応する、画像２００の画素２４１、２４２、２４３に配置することによって選択され得る。例示的な深さ測定では、映像検査機器１００（例えば、ＣＰＵ１５０）は、複数の基準表面点２２１、２２２、２２３のそれぞれの３次元座標を算出し得る。

異常２０４の近傍の対象表面２１０上に選択された３つの基準表面点２２１、２２２、２２３のうちの１つ以上の近傍の３つ以上の表面点の３次元座標が、基準表面２５０（例えば、平面）を算出するために使用され得る。一実施形態では、映像検査機器１００（例えば、ＣＰＵ１５０）は、３つの基準表面点２２１、２２２、２２３の３次元座標のカーブフィッティングを実行して、以下の形式を有する、基準表面２５０（例えば、平面）の式を算出し得る。

ｋ_0RS＋ｋ_1RS・ｘ_iRS＋ｋ_2RS・ｙ_iRS＝ｚ_iRS（１）
ただし、（ｘ_iRS，ｙ_iRS，ｚ_iRS）は、定められた基準表面２５０上の任意の３次元点の座標であり、ｋ_0RS、ｋ_1RS、およびｋ_2RSは、３次元座標のカーブフィッティングによって得られる係数である。

カーブフィッティングを実行するために、複数の基準表面点（すなわち、Ｋ係数の数と少なくとも同じ数の点）が使用されることに留意されたい。カーブフィッティング（例えば、最小二乗法）は、使用される点に最適なｋ係数を発見する。この結果、ｋ係数は、使用される３次元点に近い平面または他の基準表面２５０を定める。しかしながら、ｋ係数の数よりも多くの点がカーブフィッティングで使用される場合、平面の式（１）に使用される点のｘ座標およびｙ座標を代入したとき、ｚの結果は、一般に、実際には存在し得るノイズおよび平面からの偏差に起因して点のｚ座標と正確には一致しない。このように、ｘ_iRS1およびｙ_iRS1は任意の値であってもよく、結果として得られるｚ_iRSは、ｘ_iRS，ｙ_iRSにおける、定められた平面のｚを示す。したがって、これらの式に示されている座標は、定められた表面上の正確な任意の点のものであってもよく、必ずしも、ｋ係数を算出するフィッティングで使用される点でなくてもよい。

他の実施形態では、１つまたは２つの基準表面点しか選択されず、このため、ｋ_0RS、ｋ_1RS、およびｋ_2RSを算出するためには３つの点が必要であることから、これらの基準表面点の３次元座標のみに基づくカーブフィッティングは使用することができない。この場合、映像検査機器１００（例えば、ＣＰＵ１５０）は、基準表面点の近傍の対象表面２１０上の複数の点に対応する、画像の画素のそれぞれの近傍の複数の画素を特定して、近傍点の３次元座標を算出し、これにより、基準表面２５０を算出するカーブフィッティングを可能にする。

例示的な基準表面２５０は、基準表面カーソル２３１、２３２、２３３によって選択された基準表面点２２１、２２２、２２３に基づいて算出されるものとして説明してきたが、他の実施形態では、基準表面２５０は、基準表面形状２６０（例えば、円形、正方形、長方形、三角形など）を異常２０４の近傍に配置するためにポインティングデバイスを使用し、基準表面２５０を算出するために形状２６０の基準表面点２６１、２６２、２６３、２６４を使用することによって形成され得る。形状２６０の基準表面点２６１、２６２、２６３、２６４は、ポインティングデバイスによって選択される点であってもよいし、異常２０４を囲むサイズにされ得る形状の外周上またはその近傍の他の点であってもよいことが理解されよう。

例示的な方法３００（図３）のステップ３４０では、図５に示すように、映像検査機器１００（例えば、ＣＰＵ１５０）は、基準表面２５０の基準表面点に基づいて異常２０４の近傍に関心領域２７０を算出する。関心領域２７０は、異常２０４の複数の表面点を含む。一実施形態では、関心領域２７０は、基準表面点２２１、２２２、２２３のうちの２つ以上に基づいて関心領域形状２７１（例えば、円）を形成することによって形成される。別の実施形態では、関心領域２７０は、基準表面２５０に垂直な円柱を形成し、これに、基準表面点２２１、２２２、２２３のうちの２つ以上を通過させるか、またはこれらの近傍を通過させることによって算出され得る。再び図４を参照すると、関心領域は、基準表面形状２６０および基準表面点２６１、２６２、２６３、２６４内に形成され得る。

図５の例示的な関心領域形状２７１は、基準表面点２２１、２２２、２２３を通過することによって形成されているが、別の実施形態では、より小さい直径の基準表面形状が、基準表面点の近傍のみを通過することによって形成され得る。例えば、図６に示すように、関心領域２８０は、関心領域形状２８１（例えば、円）に２つの基準表面点２２１、２２２の近傍を通過させることによって形成され、この場合、円２８１の直径は、２つの基準表面点２２１、２２２間の距離よりも小さい。関心領域形状２７１、２８１および関心領域２７０、２８０は、画像２００上に表示されてもされなくてもよいことが理解されよう。

関心領域２７０、２８０が算出された後、例示的な方法３００（図３）のステップ３５０では、映像検査機器１００（例えば、ＣＰＵ１５０）は、関心領域内の複数の表面点のそれぞれから基準表面２５０までの距離（すなわち、深さ）を算出する。一実施形態では、映像検査機器１００（例えば、ＣＰＵ１５０）は、基準表面２５０と、関心領域２７０、２８０内の複数の表面点のそれぞれとの間に延びる直線の距離を算出するが、この場合、この直線は、基準表面２５０と直角に交差する。

例示的な方法３００（図３）のステップ３６０では、映像検査機器は、基準表面２５０から最も遠い表面点を算出する（例えば、基準表面２５０まで延びる最も長い直線を有する表面点を選択する）ことによって関心領域２７０、２８０内の最も深い表面点２２４の位置を算出する。本明細書で使用される場合、「最深点」または「最も深い表面点」は、基準表面２５０から最も遠い、凹所の点または基準表面２５０から最も遠い、凸所の点（すなわち、最も高い点）であり得ることが理解されよう。映像検査機器１００は、例えばカーソル２３４（図５）または他のグラフィック標識２８２（図６）を最も深い表面点２２４に表示することによって、画像上の関心領域２７０、２８０内の最も深い表面点２２４を特定し得る。さらに、図５および図６に示すように、映像検査機器１００は、画像２００上の関心領域２７０、２８０内の最も深い表面点２２４の深さ２９０（インチまたはミリメートル）（すなわち、最も深い表面点２２４から基準表面２５０まで延びる垂直線の長さ）を表示し得る。カーソル２３４または他のグラフィック標識２８２（図６）を関心領域２７０、２８０内の最も深い表面点２２４に自動的に表示することによって、映像検査機器１００は、ユーザが、異常２０４内の最も深い表面点２２４を手動で特定する必要がないことから、深さ測定を実行するのに必要な時間を短縮し、深さ測定の精度を改善する。

カーソル２３４が関心領域２７０、２８０内の最も深い表面点２２４に表示されたら、ユーザは、深さ測定値を取得して保存するためにその点を選択し得る。ユーザはまた、関心領域２７０、２８０内の他の表面点の深さを算出するために関心領域２７０、２８０内でカーソル２３４を移動させ得る。一実施形態では、映像検査機器１００（例えば、ＣＰＵ１５０）は、カーソル２３４の移動を監視し、カーソル２３４の移動が停止した時点を検出し得る。カーソル２３４の移動が、所定の時間量（例えば、１秒）の間停止したとき、映像検査機器１００（例えば、ＣＰＵ１５０）は、カーソル２３４の近傍（例えば、カーソル２３４を中心とする所定の円）の最も深い表面点を算出し、その位置にカーソル２３４を自動的に移動させ得る。

図７は、図１の画像２００に示されている観視対象２０２の対象表面２１０の例示的なプロファイル３７０のグラフ表示である。この例示的なプロファイル３７０では、２つの基準表面点２２１、２２２間およびそれぞれの基準表面カーソル２３１、２３２間に延びる基準表面２５０が示されている。関心領域内の最も深い表面点２２４の位置および深さ２９０もまた、グラフ表示に示されている。別の実施形態では、さらに点群図が、最も深い表面点２２４を示すために使用されてもよい。

図８は、本発明の例示的な実施形態において、異常５０４を有する観視対象５０２の対象表面５１０の、映像検査機器１００によって取得された別の画像５００である。同様に、この例でも、異常５０４は、材料が損傷または磨耗によって異常５０４において観視対象５０２の対象表面５１０から除去された窪みとして示されている。この例示的な実施形態に示されている異常５０４は単なる例であり、本発明の方法は他の種類の凹凸（例えば、亀裂、腐食孔、コーティング損失、表面堆積など）に適用されることが理解されよう。画像５００が取得され、異常５０４が確認されたら、画像５００は、異常５０４の寸法（例えば、高さまたは深さ、長さ、幅、面積、体積、ポイントツーライン、プロファイルスライスなど）を算出するために使用され得る。一実施形態では、使用される画像５００は、異常５０４を含む、観視対象５０２の対象表面５１０の２次元画像５００であり得る。

図９は、本発明の例示的な実施形態において、図８の画像５００に示されている観視対象５０２の対象表面５１０を検査するために３次元データを表示するための方法６００のフロー図である。図９のフロー図に記載されているステップは、フロー図に示されている順序とは異なる順序で実行され得るものであり、特定の実施形態では、ステップのすべてが必要なわけではないことが理解されよう。

ステップ６１０では、図８に示すように、オペレータは、異常５０４を有する、観視対象５０２の対象表面５１０の画像５００を取得して、これを映像モニタ（例えば、一体型ディスプレイ１７０または外部モニタ１７２）に表示するために映像検査機器１００を使用し得る。一実施形態では、画像５００は、映像検査機器の測定モードで表示され得る。

ステップ６２０では、映像検査機器１００のＣＰＵ１５０は、異常５０４を含む、観視対象５０２の対象表面５１０上の複数の表面点の、第１の座標系における３次元座標（ｘ_iS1、ｙ_iS1、ｚ_iS1）を算出し得る。一実施形態では、映像検査機器は、３次元座標を算出するために、画像５００から３次元データを生成し得る。上述したように、いくつかの異なる既存の技術（例えば、ステレオ、走査システム、構造化光法（位相シフト、位相シフトモアレ、レーザドット投影など）など）が、対象表面５１０の画像５００上の点の３次元座標を提供するために使用され得る。

ステップ６３０では、図８に示すように、オペレータは、映像検査機器１００のジョイスティック１８０（または他のポインティングデバイス（例えば、マウス、タッチスクリーン））を使用して、特定の種類の測定を行うために、異常５０４の近傍の、観視対象５０２の対象表面５１０上の複数の測定点を選択し得る。選択される測定点の数は、行われる測定の種類に依存する。特定の測定（例えば、長さ、プロファイル）は、２つの測定点の選択を必要とし得る一方で、他の測定（例えば、ポイントツーライン、面積、マルチセグメント（ｍｕｌｔｉ−ｓｅｇｍｅｎｔ））は、３つ以上の測定点の選択を必要とし得る。一実施形態では、図８に示すように、合計で４つの測定点５２１、５２２、５２３、５２４が、異常５０４の深さ測定を行うために異常５０４の近傍の、観視対象５０２の対象表面５１０上に選択され、測定点のうちの３つ５２１、５２２、５２３は、異常５０４の近傍の対象表面５１０上に選択され、第４の測定点５２４は異常５０４の最深点になるように選択される。一実施形態では、観視対象５０２の対象表面５１０上の複数の測定点５２１、５２２、５２３、５２４は、カーソル５３１、５３２、５３３、５３４（または他のポインティングデバイス）を、対象表面５１０上の複数の測定点５２１、５２２、５２３、５２４に対応する、画像５００の画素５４１、５４２、５４３、５４４に配置することによって選択され得る。例示的な深さ測定では、映像検査機器１００は、複数の測定点５２１、５２２、５２３、５２４のそれぞれの、第１の座標系における３次元座標を算出し得る。本発明の方法は、４つの測定点の選択を伴う深さ測定または測定に限定されるものではなく、それどころか、上述したものを含む、異なる数の点を伴う様々な種類の測定に適用されることが理解されよう。

ステップ６４０では、図８に示すように、映像検査機器１００のＣＰＵ１５０は、基準表面５５０を算出し得る。図８に示されている異常５０４の例示的な深さ測定では、異常５０４の近傍の対象表面５１０上に選択された３つの測定点５２１、５２２、５２３のうちの１つ以上の近傍の３つ以上の表面点の３次元座標が、基準表面５５０（例えば、平面）を算出するために使用され得る。一実施形態では、映像検査機器１００は、３つの測定点５２１、５２２、５２３の、第１の座標系における３次元座標（ｘ_iM1，ｙ_iM1，ｚ_iM1）のカーブフィッティングを実行して、以下の形式を有する、基準表面５５０（例えば、平面）の式を算出し得る。

ｋ_0RS1＋ｋ_1RS1・ｘ_iRS1＋ｋ_2RS1・ｙ_iRS1＝ｚ_iRS1（２）
ただし、（ｘ_iRS1，ｙ_iRS1，ｚ_iRS1）は、定められた基準表面５５０上の、第１の座標系における任意の３次元点の座標であり、ｋ_0RS1、ｋ_1RS1、およびｋ_2RS1は、第１の座標系における３次元座標のカーブフィッティングによって得られる係数である。

カーブフィッティングを実行するために、複数の測定点（すなわち、ｋ係数の数と少なくとも同じ数の点）が使用されることに留意されたい。カーブフィッティング（例えば、最小二乗法）は、使用される点に最適なｋ係数を発見する。この結果、ｋ係数は、使用される３次元点に近い平面または他の基準表面５５０を定める。しかしながら、ｋ係数の数よりも多くの点がカーブフィッティングで使用される場合、平面の式（２）に使用される点のｘ座標およびｙ座標を代入したとき、ｚの結果は、一般に、実際には存在し得るノイズおよび平面からの偏差に起因して点のｚ座標と正確には一致しない。このように、ｘ_iRS1およびｙ_iRS1は任意の値であってもよく、結果として得られるｚ_iRS1は、ｘ_iRS1，ｙ_iRS1における、定められた平面のｚを示す。したがって、これらの式に示されている座標は、定められた表面上の正確な任意の点のものであってもよく、必ずしも、ｋ係数を算出するフィッティングで使用される点でなくてもよい。

別の実施形態では、特定の測定（例えば、長さ、プロファイル）のために２つの測定点しか選択されず、このため、ｋ_0RS1、ｋ_1RS1、およびｋ_2RS1を算出するためには３つの点が必要であることから、これらの２つの測定点の３次元座標のみに基づくカーブフィッティングは使用することができない。この場合、映像検査機器１００は、測定点のそれぞれの近傍の対象表面５１０上の複数の点に対応する、画像の画素のそれぞれの近傍の複数の画素を特定して、これらの点の３次元座標を算出し、これにより、基準表面５５０を算出するカーブフィッティングを可能にする。

一実施形態では、図８に示すように、映像検査機器１００は、基準表面５５０の、異常５０４および測定点５２１、５２２、５２３、５２４の周りにフレーム５６２（例えば、長方形）を形成する複数のフレーム点５６０の、第１の座標系における３次元座標（ｘ_iF1，ｙ_iF1，ｚ_iF1）を算出することができ、それは、基準表面５５０の位置を表示するために後で使用され得る。

基準表面５５０が算出されたら、図８に示されている例示的な実施形態において、映像検査機器１００は、異常５０４の最深点に位置するように選択された第４の測定点５２４と基準表面５５０との間の距離を算出することによって異常５０４の測定（例えば、深さの）を行い得る。この深さ測定の精度は、観視対象５０２の対象表面５１０上の複数の測定点５２１、５２２、５２３、５２４を選択する際の精度によって決定される。前述したように多くの場合、２次元画像から画像５００内の異常５０４の輪郭を判断することは困難であり、複数の測定点５２１、５２２、５２３、５２４の位置を確実に決定するにはあまりに小さかったり、不十分であったりし得る。したがって、多くの場合、オペレータは、これらの測定点５２１、５２２、５２３、５２４の位置の精度を評価するために異常５０４の領域のさらなる詳細を必要とする。このため、一部の映像検査機器１００は、画像５００の全体の点群図を提供し得るが、この図は、前述したように異常５０４の必要なレベルの詳細を提供しない場合がある。画像５００の全体の３次元データの点群図によって提供されるものに比べて有意義な、測定点５２１、５２２、５２３、５２４の周りの領域の対象表面５１０の図を提供するために、本発明の方法は、関心領域内の３次元データのサブセットを生成する。

ステップ６５０では、映像検査機器１００のＣＰＵ１５０は、第１の座標系とは異なる第２の座標系を確立し得る。一実施形態では、第２の座標系は、基準表面５５０および複数の測定点５２１、５２２、５２３、および５２４に基づき得る。映像検査機器１００は、対象表面５１０上の複数の測定点５２１、５２２、５２３、５２４のうちの２つ以上に対応する、基準表面５５０上の点の３次元座標の平均位置５２５の近傍に位置するように第２の座標系の原点（ｘ_O2，ｙ_O2,ｚ_O2）＝（０，０，０）を割り当て得る（例えば、測定点５２１、５２２、５２３、および５２４を基準表面５５０に射影し、基準表面５５０上の平均位置５２５を算出することによって）。場合によっては、測定点５２１、５２２、５２３に対応する、基準表面５５０上の点の３次元座標は同じであり得る。しかしながら、一部の状況では、ノイズおよび／または対象表面５１０の小さな変化に起因して、測定点５２１、５２２、５２３は、基準表面５５０上に正確には位置せず、したがって、異なる座標を有する。

対象表面５１０上の測定点５２１、５２２、５２３、５２４に対応する、基準表面５５０上の点を算出するとき、直線の方向の概念を適用することが好適であり、これは、ｘ、ｙ、およびｚ平面における直線の相対的な傾きを教え、垂直線または平行線を確立するために使用され得る。２つの３次元座標（ｘ１，ｙ１，ｚ１）および（ｘ２，ｙ２，ｚ２）を通過する所与の直線について、直線方向（ｄｘ，ｄｙ，ｄｚ）は、以下のように定義されてもよい。

ｄｘ＝ｘ２−ｘ１（３）
ｄｙ＝ｙ２−ｙ１（４）
ｄｚ＝ｚ２−ｚ１（５）
直線上の点（ｘ１，ｙ１，ｚ１）および直線の方向（ｄｘ，ｄｙ，ｄｚ）が与えられたと仮定すると、直線は、以下によって定義され得る。

したがって、ｘ、ｙ、またはｚ座標のいずれか１つが与えられれば、残りの２つが計算され得る。平行線は、同じまたは線形にスケーリングされた直線方向を有する。方向（ｄｘ１，ｄｙ１，ｄｚ１）および（ｄｘ２，ｄｙ２，ｄｚ２）を有する２つの直線は、
ｄｘ１・ｄｘ２＋ｄｙ１・ｄｙ２＋ｄｚ１・ｄｚ２＝０（７）
ならば、互いに垂直である。

式（２）を使用して定義された基準平面に垂直なすべての直線の方向は、以下によって与えられる。

ｄｘ_RSN＝−ｋ_1RS（８）
ｄｙ_RSN＝−ｋ_2RS（９）
ｄｚ_RSN＝１（１０）
式（６）および式（８）〜式（１０）に基づいて、基準表面５５０に垂直であり、かつ表面点（ｘ_S,ｙ_S,ｚ_S）を通る直線は、次のように定義され得る。

一実施形態では、対象表面５１０上の点（ｘ_iS1，ｙ_iS1，ｚ_iS1）に対応する、基準表面５５０上の点の座標（ｘ_iRS1，ｙ_iRS1，ｚ_iRS1）（例えば、測定点５２１、５２２、５２３、５２４に対応する、基準表面５５０上の点の、第１の座標系における３次元座標）は、式（８）〜式（１０）で与えられる方向を有し、かつ（ｘ_iS1，ｙ_iS1，ｚ_iS1）を通過する、基準表面５５０に垂直な直線を定め、この直線と基準表面５５０との交点の座標を算出することによって算出され得る。したがって、式（２）および式（１１）から、

ｘ_iRS1＝ｋ_1RS1・（ｚ_iS1−Ｚ_iRS1）＋ｘ_iS1（１３）
ｙ_iRS1＝ｋ_2RS・（ｚ_iS1−Ｚ_iRS1）＋ｙ_iS1（１４）
である。

一実施形態では、これらのステップ（式（３）〜式（１４））は、測定点５２１、５２２、５２３、５２４に対応する、基準表面５５０上の点の３次元座標を算出するために使用され得る。この結果、基準表面５５０上の測定点のこれらの射影点の平均位置５２５（ｘ_M1avg，ｙ_M1avg，ｚ_M1avg）が算出され得る。この結果、第２の座標系の原点（ｘ_O2，ｙ_O2，ｚ_O2）＝（０，０，０）が、平均位置５２５（ｘ_M1avg，ｙ_M1avg，ｚ_M1avg）の近傍に割り当てられて配置され得る。

異常５０４の領域内の平均位置５２５の近傍に第２の座標系の原点が配置され、ｚ値が、各表面点から基準表面５５０までの垂直距離であることにより、異常５０４の領域を中心に点群図を回転させることができるようになり、深さマップカラースケールで基準表面５５０からの表面点の高さまたは深さを示すことが可能となる。

この第２の座標系を利用するために、ステップ６６０では、映像検査機器１００のＣＰＵ１５０は、様々な点（例えば、複数の表面点、複数の測定点５２１、５２２、５２３、５２４、フレーム点５６０を含む基準表面５５０上の点など）に関して算出された、第１の座標系における３次元座標（ｘ_i1，ｙ_i1，ｚ_i1）を第２の座標系における３次元座標（ｘ_i2，ｙ_i2，ｚ_i2）に変換する。

一実施形態では、座標変換行列（［Ｔ］）が、以下に従って座標を変換するために使用され得る。

（［ｘ_i1 ｙ_i1 ｚ_i1］−［ｘ_M1avg ｙ_M1avg ｚ_M1avg］）＊［Ｔ］＝［ｘ_i2 ｙ_i2 ｚ_i2］（１５）
ただし、［Ｔ］は、変換行列である。

非行列形式では、第２の座標系における３次元座標は、以下によって算出され得る。

ｘ_i2=（ｘ_i1−ｘ_M1avg）＊Ｔ₀₀＋（ｙ_i1−ｙ_M1avg）＊Ｔ₁₀₊（ｚ_i1−ｚ_M1avg）＊Ｔ₂₀（１６）
ｙ_i2=（ｘ_i1−ｘ_M1avg）＊Ｔ₀₁＋（ｙ_i1−ｙ_M1avg）＊Ｔ₁₁₊（ｚ_i1−ｚ_M1avg）＊Ｔ₂₁（１７）
ｚ_i2=（ｘ_i1−ｘ_M1avg）＊Ｔ₀₂＋（ｙ_i1−ｙ_M1avg）＊Ｔ₁₂₊（ｚ_i1−ｚ_M1avg）＊Ｔ₂₂（１８）
ただし、変換行列値は、第１の座標系における新しいｘ、ｙ、およびｚ軸の直線方向値である。

ステップ６７０では、映像検査機器１００のＣＰＵ１５０は、観視対象５０２の対象表面５１０上の関心領域内にある複数の表面点のサブセットを算出する。一実施形態では、関心領域は、点群図に使用される３次元データの量を最小にするように複数の選択された測定点５２１、５２２、５２３、５２４を囲む、観視対象５０２の対象表面５１０上の限定領域であり得る。サブセットを算出するステップは変換ステップ６６０の前または後に行われ得ることが理解されよう。例えば、ステップ６７０におけるサブセットの算出が変換ステップ６６０の後に行われる場合、映像検査機器１００は、関心領域外にある点を含むすべての表面点の座標を、これらの点のうちのどれが関心領域内にあるかを算出する前に変換してもよい。あるいは、ステップ６７０におけるサブセットの算出が変換ステップ６６０の前に行われる場合、映像検査機器１００は、関心領域内にある表面点の座標を変換するだけでよい。

一実施形態では、関心領域は、測定点５２１、５２２、５２３、５２４に対応する、基準表面５５０上の各点と、基準表面５５０上のこれらの点の平均位置５２５（変換後に行われる場合は第２の座標系の原点（ｘ_O2，ｙ_O2，ｚ_O2）＝（０，０，０）または変換前に行われる場合は第１の座標系における（ｘ_M1avg，ｙ_M1avg，ｚ_M1avg））との間の最大距離（ｄ_MAX）を算出することによって定められ得る。一実施形態では、関心領域は、基準表面５５０上の、測定点５２１、５２２、５２３、５２４の平均位置５２５から特定の閾値距離（ｄ_ROI）（例えば、これは、最大距離よりも小さい（ｄ_ROI＜ｄ_MAX）または最大距離よりもわずかに大きい（例えば、２０％大きい）（ｄ_ROI＝１．２＊ｄ_MAX））内にある、基準表面５５０上の対応する（すなわち、基準表面に射影されたときの）点を有するすべての表面点を含み得る。例えば、第２の座標系における平均位置５２５が、（ｘ_O2，ｙ_O2，ｚ_O2）＝（０，０，０）にある場合、その位置から、表面点に対応する、基準表面５５０上の点（ｘ_iRS2、ｙ_iRS2、ｚ_iRS2）までの距離（ｄ）は、以下によって与えられる。

同様に、第１の座標系における平均位置５２５が、（ｘ_M1avg，ｙ_M1avg，ｚ_M1avg）にある場合、その位置から、表面点に対応する、基準表面５５０上の点（ｘ_iRS1，ｙ_iRS1，ｚ_iRS1）までの距離（ｄ）は、以下によって与えられる。

表面点が、関心領域閾値距離（ｄ_ROI）未満の距離値（ｄ_iRS1またはｄ_iRS2）を有し、したがって、関心領域内にある場合、映像検査機器１００は、その表面点の３次元座標およびその表面点の深さに対応する画素の色を点群図ファイルに書き込み得る。この例示的な実施形態では、関心領域は、円柱の半径内にある表面点を含む円柱の形態である。関心領域を算出するための他の形状および方法が使用され得ることが理解されよう。

関心領域はまた、第１の座標系で映像検査機器１００によって算出された、観視対象５０２の対象表面５１０上の異常５０４の深さに基づいて定められ得る。例えば、異常５０４の深さが０．００５インチ（０．１２７ｍｍ）と測定された場合、関心領域は、基準表面５５０までの測定点５２１、５２２、５２３、５２４のうちの１つ以上の距離に基づいて、基準表面５５０（またはｚ寸法）から特定の範囲（±０．０１５インチ（０．３８１ｍｍ））内の距離を有する点のみを含むものとして定められ得る。表面点が、関心領域内に深さ値を有する場合、映像検査機器１００は、その表面点の３次元座標およびその表面点の深さに対応する画素の色を点群図ファイルに書き込み得る。表面点が、関心領域外の深さ値を有する場合、映像検査機器１００は、その表面点を点群図ファイルに含まなくてもよい。

ステップ６８０では、図１０に示すように、映像検査機器１００のモニタ１７０、１７２は、第２の座標系の３次元座標で複数の表面点のサブセットの、図の中心に原点７２５を有するレンダリング３次元図（例えば、点群図）７００を表示し得る。一実施形態（図示せず）では、点群図７００の表示は、第２の座標系における各表面点と基準表面７５０との間の距離を示すカラーマップを含み得る（例えば、特定の深さの第１の点は、その深さに対応する赤の色調で示され、異なる深さの第２の点は、その深さに対応する緑の色調で示される）。表示された点群図７００は、複数の測定点７２１、７２２、７２３、７２４の位置も含み得る。オペレータが点群図７００を見るのを補助するために、映像検査機器１００はまた、複数の測定点７２１、７２２、７２３のうちの２つ以上の間の直線に沿って３次元直線点７７１、７７２、７７３の、第２の座標系の３次元座標を算出し、これらの直線点７７１、７７２、７７３を点群図７００に表示し得る。点群図７００は、異常５０４の最深点に意図的に配置された測定点７２４から基準表面７５０までの深さ直線７７４も含み得る。一実施形態では、映像検査機器１００は、深さ直線７７４が公差仕様または他の閾値を超えているかどうかを判定し、そのような発生の視覚的または聴覚的表示または警報を提供し得る。

表示された点群図７００は、基準表面７５０の位置を示すために、第２の座標系で基準表面７５０上にフレーム７６２を形成する複数のフレーム点７６０も含み得る。別の実施形態では、表示された点群図７００は、基準表面７５０からの垂直距離を示すスケールも含み得る。

図１０に示すように、点群図７００のデータを関心領域内の点に限定し、関心領域の中心（例えば、原点）の点７２５を中心として図を回転させることによって、オペレータは、より容易に異常５０４を分析し、深さ測定および測定点７２１、７２２、７２３、７２４の配置が正確であるかどうかを判断し得る。一実施形態では、オペレータは、補正が必要な場合、点群図７００内の測定点７２１、７２２、７２３、７２４の１つ以上の位置を変更し得る。あるいは、補正が必要な場合、オペレータは、図８の２次元画像５００に戻り、測定点５２１、５２２、５２３、５２４の１つ以上を再選択し、プロセスを繰り返し得る。

別の実施形態では、映像検査機器１００のモニタ１７０、１７２は、座標の変換を一度も行うことなく、第１の座標系の３次元座標で複数の表面点のサブセットのレンダリング３次元図７００を表示し得る。本実施形態において、元の座標に基づく点群図７００も同様に、カラーマップ、複数の測定点の位置、３次元直線点、深さ直線、フレーム、またはスケールの表示を含む、オペレータを補助する上記した様々な特徴を含み得る。

図１１は、別の例示的な実施形態において、観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための例示的な方法８００のフロー図である。図１１のフロー図に記載されているステップは、フロー図に示されている順序とは異なる順序で実行され得るものであり、特定の実施形態では、ステップのすべてが必要なわけではないことが理解されよう。

例示的な方法（図１１）のステップ８１０では、図１２に示すように、映像検査機器１００（例えば、図１のイメージャ１２４）は、異常９１２を有する、観視対象９１０の対象表面９１１の少なくとも１つの２次元画像９０３を取得し、これをディスプレイ９００（例えば、一体型ディスプレイ１７０、外部モニタ１７２、またはユーザインタフェースのタッチスクリーン）の第１の側９０１に表示する。一実施形態では、２次元画像９０３は、映像検査機器１００の測定モードで表示される。

例示的な方法８００（図１１）のステップ８２０では、図１２に示すように、映像検査機器１００（例えば、図１のＣＰＵ１５０）は、観視対象９１０の対象表面９１１上の複数の表面点９１３、９１４の３次元座標（例えば、（ｘ，ｙ，ｚ））を算出する。一実施形態では、映像検査機器は、３次元座標を算出するために、２次元画像９０３から３次元データを生成する。図１２は、ディスプレイ９００の第１の側９０１の、観視対象９１０の２次元の第１のステレオ画像９０３と、ディスプレイ９００の第２の側９０２の、観視対象９１０の対応する２次元の第２のステレオ画像９０４とのディスプレイ９００である。一実施形態では、映像検査機器１００（例えば、ＣＰＵ１５０）は、対応する２次元の第２のステレオ画像９０４上の一致する表面点９１５、９１６を発見し、次に、２次元の第１のステレオ画像９０３上の複数の表面点９１３、９１４（または画素領域（例えば４×４の領域）と、対応する２次元の第２のステレオ画像９０４上の一致する表面点９１５、９１６との間の画素距離視差（ｐｉｘｅｌ ｄｉｓｔａｎｃｅ ｄｉｓｐａｒｉｔｙ）に基づいて３次元座標を算出することによって、２次元の第１のステレオ画像９０３上の複数の表面点９１３、９１４の３次元座標（例えば、（ｘ，ｙ，ｚ））を算出するためにステレオ技術を用いる。図１２〜図１４に示すように、ステレオ画像９０３、９０４に関する、２次元画像への本明細書での言及は、第１（左）のステレオ画像９０３および第２（右）のステレオ画像９０４の両方または一方を含み得ることが理解されよう。

いくつかの異なる既存の技術（例えば、ステレオ、走査システム、ステレオ三角測量、構造化光法（位相シフト分析、位相シフトモアレ、レーザドット投影など）など）が、対象表面９１１の２次元画像９０３（図１２）における表面点９１３、９１４の３次元座標を提供するために使用され得る。このような技術の大部分は、３次元座標の誤差を低減するために使用される光学特性データを特に含む較正データの使用を含み、そうでなければ、光学的歪みによって、３次元座標の誤差が生じる。一部の技術では、３次元座標は、投影パターンなどを含んでもよい、近接時間にキャプチャされた１つ以上の２次元画像を使用して算出されてもよい。２次元画像９０３を使用して算出された３次元座標への言及はまた、近接時間にキャプチャされた対象表面９１１の１つまたは複数の２次元画像を使用して算出された３次元座標を含んでもよく、記載した動作中にオペレータに表示される２次元画像９０３は、実際には３次元座標の算出に使用されても使用されなくてもよいことを理解されたい。

例示的な方法８００（図１１）のステップ８３０では、図１３および図１４に示すように、測定カーソル９３１、９３２を伴う、観視対象９１０の２次元画像９０３の少なくとも一部が、ディスプレイ９００の第１の側９０１に表示され、観視対象９１０の対象表面９１１の少なくとも一部の３次元形状のレンダリング画像９０５が、ディスプレイ９００の第２の側９０２に表示される。図１２と比較して、ディスプレイ９００内の第２（右）のステレオ画像９０４が、レンダリング画像９０５に置き換わっている。一実施形態では、映像検査機器１００（例えば、ＣＰＵ１５０）は、測定カーソル９３１、９３２の配置および表示の前に、観視対象９１０の対象表面９１１上の複数の表面点９１３、９１４の３次元座標（例えば、（ｘ，ｙ，ｚ））を算出するプロセスを開始する（そして、一実施形態ではこれを完了する）。図１３および図１４に示されている例示的な実施形態は、ディスプレイ９００の第２の側９０２に表示された、観視対象９１０の対象表面９１１の３次元形状の単一のレンダリング画像９０５を示しているが、１つより多いレンダリング画像９０５が、２次元画像９０３と同時にまたは２次元画像９０３なしに表示され得ることが理解されよう。

図１３に示す例示的な実施形態では、レンダリング画像９０５は、異常９１２を含む、観視対象９１０の対象表面９１１の３次元形状を示す深さプロファイル画像９０６である。図１４に示す別の例示的な実施形態では、レンダリング画像９０５は、異常９１２を含む、観視対象９１０の対象表面９１１の３次元形状を示す点群図９０７である。図１４に示す例示的な点群図９０７では、観視対象９１０の対象表面９１１上の表面点９１３、９１４の３次元座標のサブセットのみが、測定カーソル９３１、９３２の位置に基づく関心領域に表示されている。別の実施形態では、点群図９０７は、観視対象９１０の対象表面９１１上の表面点９１３、９１４の計算された３次元座標のすべてを表示する。一実施形態では、例えば、ディスプレイがユーザインタフェースタッチスクリーンである場合、ユーザは、タッチスクリーンを使用して点群図９０７を回転させ得る。

一実施形態では、図１４に示すように、点群図９０７は、観視対象９１０の対象表面９１１の表面点と、基準表面９６０（例えば、複数の測定カーソル９３１、９３２のうちの１つ以上の近傍の３次元座標を使用して算出された参照平面）との間の距離を示すように色付けされてもよい。例えば、特定の深さの第１の点は、その深さに対応する赤の色調で示され、異なる深さの第２の点は、その深さに対応する緑色の色調で示される。色深さスケール９０８は、点群図９０７に示されている色と基準表面９６０からのそれぞれの距離との関係を示すために設けられる。一実施形態では、点群図９０７は、点群図９０７内の隣接点の間の移行をグラフィカルに滑らかにするように平らにされてもよい。

観視対象９１０の対象表面９１１上の複数の表面点９１３、９１４の３次元座標が算出されたら、ユーザは、２次元画像９０３の測定を行い得る。

一実施形態では、映像検査機器１００は、２次元画像９０３およびレンダリング画像９０５の分割図を画像として保存する。映像検査機器１００はまた、３次元データの再計算および保存されたファイルからの再測定を可能にするために、図１２に示されているような第１（左）のステレオ画像９０３および第２（右）のステレオ画像９０４の元の完全なステレオ画像（例えば、グレースケールのみの）および較正データをメタデータとして保存し得る。あるいは、映像検査機器１００は、計算された３次元座標および／または視差データ（ｄｉｓｐａｒｉｔｙ ｄａｔａ）をメタデータとして保存し得るが、これは、呼び出し時の処理時間を短縮するものの、ファイルサイズが大きくなる。

例示的な方法８００（図１１）のステップ８４０では、図１３および図１４に示すように、測定カーソル９３１、９３２が（ポインティングデバイスを使用して）２次元画像９０３上に配置されて表示され、これにより、映像検査機器１００（例えば、ＣＰＵ１５０）は、異常９１２の寸法（例えば、高さまたは深さ、長さ、幅、面積、体積、ポイントツーライン、プロファイルスライスなど）を算出することができるようになる。２次元画像がステレオ画像でない別の実施形態でも、映像検査機器１００（例えば、ＣＰＵ１５０）が、異常９１２の寸法（例えば、高さまたは深さ、長さ、幅、面積、体積、ポイントツーライン、プロファイルスライスなど）を算出することができるようにするために、測定カーソル９３１、９３２（図１３および図１４に示されいるような）は２次元画像９０３上に配置され得る。さらに別の実施形態では、２次元画像９０３上に配置する代わりに、測定カーソルは、（ポインティングデバイスを使用して）ディスプレイ９００の第２の側９０２の、観視対象９１０の対象表面９１１の少なくとも一部の３次元形状のレンダリング画像９０５上に配置され得る。

例示的なディスプレイ９００では、第１の測定カーソル９３１は、観視対象９１０の対象表面９１１上の第１の測定点９２１に配置され、第２の測定カーソル９３２は、観視対象９１０の対象表面９１１上の第２の測定点９２２に配置される。観視対象９１０の対象表面９１１上の測定点９２１、９２２の３次元座標が知られるため、対象表面９１１の幾何学的測定（例えば、深さまたは長さの測定）をユーザは実行することができ、映像検査機器１００（例えば、ＣＰＵ１５０）は、図１３および図１４に示されているように測定寸法９５０を算出し得る。図１３および図１４に示されている例では、測定線９３３が、２次元画像９０３上に表示されている。

観視対象９１０の対象表面９１１の３次元形状のレンダリング画像９０５は、幾何学的測定を行うために２次元画像９０３上に測定カーソル９３１、９３２を配置することを補助するためにディスプレイ９００の第２の側９０２に表示される。ステレオまたは非ステレオ２次元画像に関わる従来のシステムでは、これらの測定カーソル９３１、９３２（図１３および図１４に示されているような）は、２次元画像９０３によって提供される図のみに基づいて配置されるが、このことは、測定カーソル９３１、９３２の正確な配置および正確な測定を可能としない場合がある。

例示的な方法８００（図１１）のステップ８５０では、図１３および図１４に示すように、２次元画像９０３上に配置された測定カーソル９３１、９３２に対応する測定標識９４１、９４２が、観視対象９１０の対象表面９１１の３次元形状のレンダリング画像９０５上に表示される。例えば、第１の測定標識９４１は、第１の測定カーソル９３１と同じ、観視対象９１０の対象表面９１１の３次元座標でレンダリング画像９０５上に示され、第２の測定標識９４２は、第２の測定カーソル９３２と同じ、観視対象９１０の対象表面９１１の３次元座標でレンダリング画像９０５上に示される。図１４に示されている例示的な点群図９０７では、２次元画像９０３の測定線９３３（例えば、深さ測定線）に対応する測定線標識９４３が表示されている。観視対象９１０の対象表面９１１の２次元画像９０３と同時に表示される、観視対象９１０の対象表面９１１の３次元形状のレンダリング画像９０５は、ユーザが、より正確な幾何学的測定を行うためにより正確に測定カーソル９３１、９３２を配置することを可能にする。さらに別の実施形態では、測定カーソルが（ポインティングデバイスを使用して）レンダリング画像９０５上に配置される場合、測定カーソルに対応する測定標識は、２次元画像９０３上に表示される。

一実施形態では、ユーザが２次元画像９０３内の測定カーソル９３１、９３２の位置を変更すると、ユーザが新しい測定を実質的にリアルタイムで想像することができるように、映像検査機器１００（例えばＣＰＵ１５０）は、測定カーソル９３１、９３２に対応する測定標識９４１、９４２の位置および観視対象９１０の対象表面９１１の３次元形状のレンダリング画像９０５（例えば、図１４の点群図９０７の関心領域または深さの色）を自動的に更新する。別の実施形態では、測定カーソル９３１、９３２が２次元画像９０３内に配置された後、測定標識９４１、９４２が、レンダリング画像９０５内に再配置され得る。

さらに別の実施形態では、測定カーソルが（ポインティングデバイスを使用して）レンダリング画像９０５上に配置され、測定カーソルに対応する測定標識が、２次元画像９０３上に表示される場合、ユーザがレンダリング画像９０５内の測定カーソルの位置を変更すると、ユーザが新しい測定を実質的にリアルタイムで想像することができるように、映像検査機器１００（例えば、ＣＰＵ１５０）は、測定カーソルに対応する測定標識の位置を自動的に更新し、二次元画像も変更される。別の実施形態では、測定カーソルがレンダリング画像９０５上に配置された後、測定標識が、２次元画像９０３内に再配置され得る。

例示的な方法８００（図１１）のステップ８６０では、図１３および図１４に示すように、映像検査機器１００（例えば、ＣＰＵ１５０）は、測定カーソル９３１、９３２の位置に基づいて、ユーザが求める、特定の幾何学的測定（例えば、深さまたは長さの測定）の測定寸法９５０を算出し、この測定寸法９５０をディスプレイ９００上に表示する。別の実施形態では、測定寸法は、ディスプレイ９００上のレンダリング画像９０５に表示され得る。

図１２〜図１４に示すように、ソフトキー９０９は、画像の取得および測定の実行の際にユーザに様々な機能（例えば、図の表示、取り消し、測定の追加、次の測定、オプション、削除、注釈、画像の取得、リセット、ズーム、フル画像／測定画像、深さマップのオン／オフなど）を提供するためにディスプレイ９００に設けられ得る。一実施形態では、ユーザが２次元画像９０３またはレンダリング画像９０５のいずれかを有効にすると、表示される特定のソフトキー９０９が、アクティブな画像に基づいて変更され得る。

上記によれば、本発明の実施形態は、表面上の異常における点の深さまたは高さを自動的に算出する。技術的効果は、測定の実行に必要な時間を短縮し、測定の精度を改善することである。

当業者によって理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具体化されてもよい。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとり得る。なお、これらはすべて、本明細書では一般的に「サービス」、「回路」、「電気回路」、「モジュール」、および／または「システム」と呼ばれ得る。さらに、本発明の態様は、１つ以上のコンピュータ可読媒体であって、そこで具体化されるコンピュータ可読プログラムコードを有する１つ以上のコンピュータ可読媒体で具体化されるコンピュータプログラム製品の形態をとってもよい。

１つ以上のコンピュータ可読媒体の任意の組み合わせが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子的な、磁気的な、光学的な、電磁的な、赤外線の、もしくは半導体のシステム、装置、もしくは機器、またはこれらの任意の適切な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、以下、すなわち、１つ以上の配線を有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶機器、磁気記憶機器、またはこれらの任意の適切な組み合わせを含む。本文書に関連して、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくは機器によって、またはこれらと共に使用されるプログラムを含むまたは記憶することができる任意の有形媒体であってもよい。

コンピュータ可読媒体で具体化されたプログラムコードおよび／または実行可能命令は、無線、有線、光ファイバケーブル、ＲＦなど、またはこれらの任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体を使用して送信されてもよい。

本発明の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、またはＣ＋＋などのオブジェクト指向プログラミング言語および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つ以上のプログラミング言語の組み合わせで記述されてもよい。プログラムコードは、完全にユーザのコンピュータ（機器）上で、単独のソフトウェアパッケージとして部分的にユーザのコンピュータ上で、部分的にはユーザのコンピュータ、部分的にはリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行されてもよい。最後の場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、この接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに対して行われてもよい。

本発明の態様は、本明細書では、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して説明されている。フローチャート図および／またはブロック図の各ブロックならびにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施され得ることが理解されよう。これらのコンピュータプログラム命令は、機械を製造するために汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに供給されてもよく、これにより、コンピュータまたは他のプログラム可能データ処理装置のプロセッサによって実行されるこれらの命令は、フローチャートおよび／またはブロック図のブロックまたは複数のブロックで指定された機能／動作を実施するための手段をもたらす。

特定の方法で機能するようにコンピュータ、他のプログラム可能データ処理装置、または他の機器に指示し得るこれらのコンピュータプログラム命令はまた、コンピュータ可読媒体に記憶されてもよく、これにより、フローチャートおよび／またはブロック図のブロックまたは複数のブロックで指定された機能／動作を実施する命令を含む、コンピュータ可読媒体に記憶された命令は、製品を製造する。

コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能装置上で実行された命令が、フローチャートおよび／またはブロック図のブロックまたは複数のブロックで指定された機能／動作を実施するためのプロセスを提供するように、コンピュータ、他のプログラム可能装置、または他の機器で一連の動作ステップを実行させてコンピュータ実施プロセスを生じるためにコンピュータ、他のプログラム可能データ処理装置、または他の機器にロードされてもよい。

ここに記載された説明は、最良の態様を含む本発明を開示するため、また、任意の機器またはシステムの作成および使用、ならびに任意の組み合わせられた方法の実行を含み、当業者が本発明を実施できるようにするために例を用いる。本発明の特許可能な範囲は、特許請求の範囲によって規定されており、また、当業者によって想到される他の例を含み得る。このような他の実施例が請求項の字義通りの文言と異ならない構造要素を有する場合、または、それらが請求項の字義通りの文言と実質的な差異がない等価な構造要素を含む場合には、このような他の実施例は特許請求の範囲内であることを意図している。

１００ 映像検査機器
１０２ プローブ
１１０ 挿入チューブ
１１２ イメージャハーネス
１２０ ヘッドアセンブリ
１２２ プローブ光学系
１２４ イメージャ
１２６ イメージャハイブリッド
１３０ 着脱可能な先端部
１３２ 先端部観視光学系
１４０ プローブ電子回路
１４２ イメージャインタフェース電子回路
１４４ 較正メモリ
１４６ マイクロコントローラ
１５０ 中央処理装置
１５２ ＣＰＵプログラムメモリ
１５４ 揮発性メモリ
１５６ 不揮発性メモリ
１５８ コンピュータＩ／Ｏインタフェース
１６０ 映像プロセッサ
１６２ 映像メモリ
１７０ 一体型ディスプレイ
１７２ 外部モニタ
１８０ ジョイスティック
１８２ ボタン
１８４ キーパッド
１８６ マイクロフォン
２００、５００、５４１、５４２、５４３、５４４ 画像
２０２、５０２、９１０ 観視対象
２０４、５０４、９１２ 異常
２１０、５１０、９１１ 対象表面
２２１、２２２、２２３ 基準表面点
２２４ 最も深い表面点
２３１、２３２、２３３ 基準表面カーソル
２３４、５３１、５３２、５３３、５３４ カーソル
２４１、２４２、２４３ 画素
２５０、５５０、７５０、９６０ 基準表面
２６０ 基準表面形状
２６１、２６２、２６３、２６４ 基準表面点
２７０、２８０ 関心領域
２７１ 関心領域形状
２８２ グラフィック標識
２９０ 深さ
３７０ プロファイル
５２５ 平均位置
５２１、５２２、５２３、５２４、７２１、７２２、７２３、７２４ 測定点
５６０、７６０ フレーム点
５６２、７６２ フレーム
７００、９０７ 点群図
７２５ 原点
７７１、７７２、７７３ ３次元直線
７７４ 深さ直線
９００ ディスプレイ
９０１ 第１の側
９０２ 第２の側
９０３ 第１のステレオ画像
９０４ 第２のステレオ画像
９０５ レンダリング画像
９０６ 深さプロファイル画像
９０８ 色深さスケール
９０９ ソフトキー
９１３、９１４、９１５、９１６ 表面点
９２１ 第１の測定点
９２２ 第２の測定点
９３１、９３２ 測定カーソル
９３３ 測定線
９４１、９４２ 測定標識
９４３ 測定線標識
９５０ 測定寸法

Claims (13)

1. 観視対象（９１０）の対象表面（９１１、５１０）を検査するための方法であって、
   ディスプレイ（９００）上に前記対象表面（９１１、５１０）の２次元画像を表示するステップと、
   中央処理装置（１５０）を使用して前記対象表面（９１１、５１０）上の複数の点の３次元座標を算出するステップと、
   前記中央処理装置（１５０）を使用して、前記対象表面（９１１、５１０）の少なくとも一部の３次元形状のレンダリング画像（９０７、７００）を算出するステップと、
   前記ディスプレイ（９００）上に前記２次元画像および前記３次元形状のレンダリング画像（９０７、７００）を同時に表示するステップと、
   ポインティングデバイスを使用して、オペレータにより前記２次元画像上の複数の測定点（９２１、９２２）にそれぞれ測定カーソル（９３１、９３２）を配置し、前記中央処理装置（１５０）を使用して、前記ディスプレイ（９００）上の前記２次元画像上に前記複数の測定カーソル（９３１、９３２）を表示するステップと、
   前記中央処理装置（１５０）を使用して、前記３次元形状のレンダリング画像（９０７、７００）上に、
   前記２次元画像上の前記複数の測定カーソル（９３１、９３２）にそれぞれ対応する測定点として複数の測定標識（９４１、９４２、７２１、７２２、７２３）を表示すると共に、
   前記複数の測定カーソル（９３１、９３２）のうちの１つ以上の近傍の３次元座標を使用して算出された基準表面（７５０、９６０）の表示と、
   前記基準表面（７５０、９６０）から最も遠い対象表面（９１１、５１０）上の凹所の点または凸所の点として前記中央処理装置（１５０）により自動的に特定された最深点に配置された測定点（７２４）と前記基準表面（７５０、９６０）との間に延びる深さ直線（７７４）の表示と
   を含んだ表示を、当該３次元形状のレンダリング画像（９０７、７００）上に表示するステップと、
   前記中央処理装置（１５０）を使用して、前記２次元画像上の前記複数の測定カーソル（９３１、９３２）の位置に基づいて、前記対象表面（９１１、５１０）の測定寸法（９５０）を算出するステップと
   を含む方法。
2. 前記３次元形状のレンダリング画像（９０７、７００）上の表示が、
   前記基準表面（７５０、９６０）からの前記対象表面（９１１、５１０）の深さのカラーマップの表示、
   前記複数の測定標識（９４１、９４２、７２１、７２２、７２３）が示す前記測定点の位置（９４１、９４２、７２１、７２２、７２３）同士の間を直線で結ぶ３次元直線点（７７１、７７２、７７３）の表示、
   前記測定点（９４１、９４２、７２１、７２２、７２３）の周りに配置されて前記基準表面（７５０）上にフレーム（７６２）を形成する複数のフレーム点（７６０）の表示、および、
   前記基準表面（７５０、９６０）からの前記対象表面（９１１、５１０）の深さを示す深さスケール（９０８）の表示、
   のうちの少なくともいずれか１つの表示を含む
   請求項１に記載の方法。
3. 前記３次元形状のレンダリング画像（９０７、７００）上の表示が、前記複数の測定標識（９４１、９４２、７２１、７２２、７２３）のうちの１つ（９４１）から他の１つ（９４２）まで連続して前記対象表面（９１１、５１０）上に引かれた測定線標識（９４３）の表示を含む
   請求項１に記載の方法。
4. 前記３次元形状のレンダリング画像（９０７、７００）が、深さプロファイル画像（９０６）の表示を含む
   請求項１に記載の方法。
5. 前記２次元画像が、第１のステレオ画像（９０３）または第２のステレオ画像（９０４）の一方である
   請求項１から４のいずれか１つの項に記載の方法。
6. 前記３次元形状のレンダリング画像（９０７、７００）が、点群図である
   請求項１から５のいずれか１つの項に記載の方法。
7. 前記測定寸法（９５０）が、前記複数の測定カーソル（９３１、９３２）のうちの１つ以上の近傍の３次元座標を使用して算出された前記基準表面（９６０）に対する、前記対象表面（９１１、５１０）上の特徴の深さである
   請求項１から６のいずれか１つの項に記載の方法。
8. 前記点群図（９０７、７００）が、前記対象表面（９１１、５１０）の表面点と前記基準表面（９６０）との間の距離を示すように色付けされる
   請求項６に記載の方法。
9. 前記中央処理装置（１５０）を使用して前記対象表面（９１１、５１０）上の前記複数の点の前記３次元座標を算出する前記ステップが、前記２次元画像上に前記複数の測定カーソル（９３１、９３２）を配置する前記ステップの前に開始される
   請求項５に記載の方法。
10. 前記中央処理装置（１５０）を使用して前記対象表面（９１１、５１０）上の前記複数の点の前記３次元座標を算出する前記ステップが、前記２次元画像上に前記複数の測定カーソル（９３１、９３２）を配置する前記ステップの前に完了する
    請求項９に記載の方法。
11. 前記点群図（９０７、７００）が、前記対象表面（９１１、５１０）上の表面点の前記３次元座標のサブセットを含む
    請求項６に記載の方法。
12. 前記２次元画像上における前記測定カーソル（９３１、９３２）の位置が前記オペレータによって変更されると、それに合わせて、前記３次元形状のレンダリング画像上における前記測定標識（９４１、９４２、７２１、７２２、７２３）を自動的に更新または再配置する
    請求項１から１１のいずれか１つの項に記載の方法。
13. 前記３次元座標を算出するステップが、前記３次元座標の誤差を低減するために使用される光学特性データを含んだ較正データの使用を含む
    請求項１から１２のいずれか１つの項に記載の方法。

Images