JP6030837B2 - 観察対象物の表面の３次元ビューを表示するための方法および装置 - Google Patents

Description

本明細書に開示する主題は、観察対象物の表面の３次元ビューを表示するための方法および装置に関する。

ビデオ内視鏡のようなビデオ検査装置は、観察対象物の表面を調べるために使用されて、物体の損傷または磨耗によって生じた可能性のあるその表面の凸凹を識別および分析することができる。多くの場合、表面は近づくことが難しく、ビデオ検査装置を使用せずに見ることができない。例えば、航空機または発電装置のタービンエンジンのブレードの表面を検査するためにビデオ内視鏡を使用して、表面に形成された可能性のある凸凹を識別し、修理またはさらなる整備が必要であるかどうかを判断することができる。その評価を行うために、多くの場合、表面および凸凹の非常に正確な寸法測定値を取得し、凸凹がその物体の運転制限値を超えていないまたは要求仕様を外れていないことを確認する必要がある。

表面の凸凹の寸法を測定するために、ビデオ検査装置を使用して、凸凹を示す観察対象物の表面の２次元画像を取得して表示することができる。表面のこの２次元画像を使用して、表面の３次元データを（例えばマップの形式で）生成することができ、表面の対象領域（例えば、凸凹に隣接）に含んでいる、表面の複数の点の３次元座標（例えば（ｘ，ｙ，ｚ））を提供する。一部のビデオ検査装置では、操作者は、ビデオ検査装置を測定モードで操作して測定画面に入ることができ、この画面で操作者は対象領域の２次元画像上にカーソルを置き、凸凹の幾何学的寸法を測定することができる。多くの場合、表示される形の輪郭は、２次元画像から評価することは困難であり、対象領域に非常に正確にカーソルを置くことを難しくする。例えば、くぼみまたは穴の深さを測定しようとするとき、２次元画像から、穴またはくぼみの中の最も深い点の位置を測定するのは困難である可能性がある。

操作者に対象領域に関する追加情報を提供するために、一部のビデオ検査装置はポイントクラウドビューを提供するが、このポイントクラウドビューは、画像中の観察対象物を描画した３次元の表面モデルであり、一般的にはプローブの先端に隣接しているビデオ検査装置のビューのフィールドの原点を中心に動かす（例えば、回転させる、ズームさせる、パンするなど）ことができる。対象領域が表面のフル画像と比べて比較的小さいとき、または対象領域がビューのフィールドの起点から離れているとき、フル画像のポイントクラウドビューは、対象領域の要求される詳細レベルを提供するのに必ずしも効果的ではない。このような場合、フル画像のポイントクラウドビューは十分な詳細が欠けている可能性があり、３次元データの大部分がプローブの先端から比較的遠い可能性がある対象領域に対して的外れであるので、ビューのフィールドの原点を中心に操作するとき、動かしにくくなる可能性がある。

一部のビデオ検査装置で使用される別の技術は、ポイントクラウドビューの中で３次元表面モデルがカラー化されて、深さマップのカラースケールを形成する、ポイントクラウドビューを使用する。カラー化されたポイントクラウドビューでは、各色がプローブの先端からの距離と関連付けられ、例えば、表面の各点と関連する２次元画像情報を使用しない。フル画像のポイントクラウドビューをこのようにカラー化して描画すると、ビュー全体に含まれる面積および範囲が広いために対象領域の細部を調べることが困難になる。したがって、より正確な検査および測定を可能にするために、対象領域の高度な詳細を提供する必要がある。

上述の説明は、単に一般的な背景情報のために行うものであり、請求される主題の範囲を決定する際の助けとして使用されることを目的としていない。

観察対象物の表面の３次元ビューを表示するための方法および装置を開示し、対象領域の観察対象物の全体画像からの３次元データのサブセットが測定され、表示されて、対象領域の高度な詳細を提供する。一部の開示した本方法の実施形態を実行して認識することができる利点は、より正確な検査および測定である。

１つの例示的実施形態では、観察対象物の表面の３次元ビューを表示するための方法を開示する。この方法は、観察対象物の表面の画像を取得して表示するステップと、観察対象物の表面の複数の表面点の第１の座標系における３次元座標を決定するステップと、観察対象物の表面の複数の測定点を選択するステップと、複数の測定点のうちの１つまたは複数に隣接した複数の表面点のうちの３つ以上の第１の座標系における３次元座標に基づいて基準表面を決定するステップと、基準表面および複数の測定点に基づいて第１の座標系とは異なる第２の座標系を設けるステップと、複数の表面点の第１の座標系における３次元座標を第２の座標系における３次元座標に変換するステップと、複数の測定点に基づいている、観察対象物の表面の対象領域内である複数の表面点のサブセットを決定するステップと、第２の座標系の３次元座標に複数の表面点のサブセットの描画された３次元ビューを表示するステップとを含む。

別の例示的実施形態では、観察対象物の表面の３次元ビューを表示するための方法は、観察対象物の表面の画像を取得して表示するステップと、観察対象物の表面の複数の表面点の第１の座標系における３次元座標を決定するステップと、観察対象物の表面の複数の測定点を選択するステップと、複数の測定点の位置に基づいて複数の表面点のサブセットを決定するステップと、複数の表面点のサブセットの描画された３次元ビューを表示するステップと、描画された３次元ビューに複数の測定ポイント表示するステップとを含む。

さらに別の例示的実施形態では、観察対象物の表面の３次元ビューを表示するための装置を開示する。この装置は、観察対象物の表面の画像を取得するためのイメージャと、観察対象物の表面の画像を表示するためのモニタと、観察対象物の表面の複数の測定点を選択するためのポインティングデバイスと、観察対象物の表面の複数の表面点の第１の座標系における３次元座標を決定し、複数の測定点のうちの１つまたは複数に隣接した複数の表面点のうちの３つ以上の第１の座標系における３次元座標に基づいて基準表面を決定し、基準表面および複数の測定点に基づいて第１の座標系とは異なる第２の座標系を設け、複数の表面点の第１の座標系における３次元座標を第２の座標系における３次元座標に変換し、複数の測定点に基づいている、観察対象物の表面の対象領域内である複数の表面点のサブセットを決定するための中央処理装置と、第２の座標系の３次元座標に複数の表面点のサブセットの描画された３次元ビューを表示することとを含む。

この本発明の簡単な説明は、単に１つまたは複数の例示的実施形態により本明細書に開示する主題の概要を提供することを目的とするものであり、特許請求の範囲を解釈する指針とならない、または本発明の範囲を定めるもしくは限定することはなく、本発明の範囲は添付の特許請求の範囲によってのみ定められる。この簡単な説明は、以下の詳細な説明でさらに説明する概念の例示的抜粋を簡略化して紹介するために行う。この簡単な説明は、特許請求の範囲に記載されている主題の主要な特徴または本質的特徴を確認することを目的とせず、さらに特許請求の範囲に記載されている主題の範囲を決定する助けとして使用されることを目的としない。特許請求の範囲に記載される主題は、背景に示される一部またはすべての不利点を解決する実施に限定されない。

本発明の特徴を理解することができるように、本発明の詳細な説明を、いくつかの実施形態を参照して行うことができ、その一部を添付の図面に示す。しかしながら、図面は、本発明のいくつかの実施形態のみを示しており、したがってその範囲を限定するとみなされるべきではなく、本発明の範囲は他の同様に効果的な実施形態を含むことに注意されたい。図面は、必ずしも一定尺度に応じておらず、発明のいくつかの実施形態の特徴を示す際には一般に強調が行われる。図面では、様々な図を通して同様の参照符号が同様の部分を示すために使用される。このように、本発明をさらに理解するために、図面に関連して読まれる次の詳細な説明を参照することができる。

本発明の例示的実施形態のビデオ検査装置のブロック図である。 本発明の例示的実施形態においてビデオ検査装置によって取得された、凸凹を有する観察対象物の表面の画像である。 本発明の例示的実施形態において図２の画像に示された観察対象物の表面を検査するために３次元データを表示するための方法の流れ図である。 ポイントクラウドビューにおける複数の表面点のサブセットの表示である。

観察対象物の表面の３次元ビューを表示するための方法および装置を開示し、対象領域の観察対象物の全体画像からの３次元データのサブセットが決定されて表示され、対象領域の高度な詳細を提供する。この方法および装置の一部の開示した実施形態を実施する際に理解することができる利点は、検査および測定がより正確であることである。

図１は、本発明の例示的実施形態のビデオ検査装置１００のブロック図である。図１に示すビデオ検査装置１００は例示であって、本発明の範囲はいかなる特定のビデオ検査装置１００にも、またはビデオ検査装置１００内の構成要素のいかなる特定の構成にも限定されないことは理解されるであろう。

ビデオ検査装置１００は、挿入管１１０および挿入管１１０の遠位端に配置されたヘッドアセンブリ１２０を備える細長いプローブ１０２を含むことができる。挿入管１１０は、可撓性のある管状部分とすることができ、ヘッドアセンブリ１２０とプローブ電子回路１４０との間のすべての相互接続がここを通過する。ヘッドアセンブリ１２０は、観察対象物２０２からの光をイメージャ１２４に導いて集めるためのプローブ光学部１２２を含むことができる。プローブ光学部１２２は、例えばレンズ単体または複数の構成要素を有するレンズを備えることができる。イメージャ１２４は、観察対象物２０２の画像を取得するための、ソリッドステートＣＣＤまたはＣＭＯＳ撮像センサとすることが可能である。

取り外し可能先端部またはアダプタ１３０を、ヘッドアセンブリ１２０の遠位端に取り付けることができる。取り外し可能先端部１３０は、観察対象物２０２からの光をイメージャ１２４に導いて集めるためにプローブ光学部１２２と連動して機能する先端観察光学部１３２（例えば、レンズ、窓、または開口）を含むことができる。また取り外し可能先端部１３０は、ビデオ検査装置１００の光源が先端部１３０から出る場合は照明ＬＥＤ（図示せず）を、またはプローブ１０２から観察対象物２０２へ光を通過させるための光通過要素（図示せず）を含むことができる。また先端部１３０は、カメラビューおよび光出力を側部に向けるための導波管（例えばプリズム）を含めることによって、側視のための機能を設けることができる。また先端部１３０は、立体光学部または観察対象物の３次元寸法データの測定に使用するための構造化された光投影要素を設けることができる。先端部１３０に含めることができる要素は、プローブ１０２自体に含めることもできる。

イメージャ１２４は、複数の行と列で形成された複数の画素を含むことができ、イメージャ１２４の各画素に当たる光を表すアナログ電圧の形で画像信号を生成することができる。画像信号は、信号のバッファリングおよび調節のための電子機器を提供するイメージャハイブリッド１２６を介して、イメージャハーネス１１２に伝えることができ、イメージャハーネスはイメージャハイブリッド１２６とイメージャインタフェース電子回路１４２との間で制御信号およびビデオ信号用のワイヤを提供する。イメージャインタフェース電子回路１４２は、電源と、イメージャのクロック信号を生成するためのタイミング生成器と、イメージャのビデオ出力信号をデジタル化するためのアナログフロントエンドと、デジタル化されたイメージャのビデオデータをより有用なビデオフォーマットに加工するためのデジタル信号プロセッサとを含むことができる。

イメージャインタフェース電子回路１４２は、ビデオ検査装置１０を操作するための機能を集めたプローブ電子回路１４０の一部である。プローブ電子回路１４０は、プローブ１０２および／または先端部１３０のキャリブレーションデータを格納するキャリブレーションメモリ１４４を含むこともできる。マイクロコントローラ１４６もまた、イメージャインタフェース電子回路１４２と通信して利得および露出の設定を決定し設定する、キャリブレーションメモリ１４４からキャリブレーションデータを格納して読み取る、観察対象物２０２に届けられる光を制御する、ならびにビデオ検査装置１０のＣＰＵ１５０と通信するために、プローブ電子回路１４０に含めることができる。

マイクロコントローラ１４６との通信に加えて、イメージャインタフェース電子回路１４２は、１つまたは複数のビデオプロセッサ１６０と通信することもできる。ビデオプロセッサ１６０は、イメージャインタフェース電子回路１４２からビデオ信号を受け取り、内蔵ディスプレイ１７０または外部モニタ１７２など様々なモニタ１７０、１７２に信号を出力することができる。内蔵ディスプレイ１７０は、様々な画像またはデータ（例えば、観察対象物２０２の画像、メニュー、カーソル、測定結果）を検査者に表示するためにビデオ検査装置１００に組み込まれたＬＣＤスクリーンとすることができる。外部モニタ１７２は、様々な画像またはデータを表示するためにビデオ検査装置１００と接続されたビデオモニタまたはコンピュータ型モニタとすることができる。

ビデオプロセッサ１６０は、コマンド、ステータス情報、ストリーミング映像、静止ビデオ画像、およびグラフィカルオーバレイをＣＰＵ１５０に提供する／ＣＰＵ１５０から受け取ることができ、ＦＰＧＡ、ＤＳＰ、または画像キャプチャ、画像画質向上、グラフィカルオーバレイのマージ、歪補正、フレームアベレージング、スケーリング、デジタルズーム、オーバレイ、マージ、反転、動作検出、ならびにビデオフォーマットの変換および圧縮のような機能を提供することができる他の処理要素を含むことができる。

ＣＰＵ１５０は、画像、映像、および音声の格納ならびに呼出し機能、システム制御、測定処理など、他の機能のホストを提供することに加えて、ジョイスティック１８０、ボタン１８２、キーパッド１８４、および／またはマイクロホン１８６を介して入力を受け取ることによって、ユーザインタフェースを管理するために使用することができる。ジョイスティック１８０は、操作者によって扱われて、メニュー選択、カーソル移動、スライダ調整、およびプローブ１０２の明瞭度制御のような操作を行うことができ、プッシュボタン機能を含むことができる。ボタン１８２および／またはキーパッド１８４は、メニュー選択およびユーザコマンドをＣＰＵ１５０に提供する（例えば、静止画像を静止するまたは保存する）ために使用することもできる。マイクロホン１８６は、検査者によって使用され、静止画像を静止するまたは保存するよう音声命令を与えることが可能である。

ビデオプロセッサ１６０は、ビデオメモリ１６２と通信することもでき、ビデオメモリ１６２は、フレームバッファのためにおよび処理の間データを一時的に保持するために、ビデオプロセッサ１６０によって使用される。ＣＰＵ１５０は、ＣＰＵ１５０によって実行されるプログラムを格納するためのＣＰＵプログラムメモリ１５２と通信することもできる。さらにＣＰＵ１５０は、揮発性メモリ１５４（例えばＲＡＭ）、および不揮発性メモリ１５６（例えばフラッシュメモリデバイス、ハードドライブ、ＤＶＤ、もしくはＥＰＲＯＭメモリデバイス）と通信することが可能である。不揮発性メモリ１５６は、ストリーミング映像および静止画像の一次記憶装置である。

ＣＰＵ１５０は、ＵＳＢ、Ｆｉｒｅｗｉｒｅ、Ｅｔｈｅｒｎｅｔ（登録商標）kakko、音声Ｉ／Ｏ、および無線トランシーバのような、周辺装置およびネットワークへの様々なインタフェースを提供するコンピュータＩ／Ｏインタフェース１５８と通信することも可能である。このコンピュータＩ／Ｏインタフェース１５８は、静止画像、ストリーミング映像、または音声を保存する、読み出す、送信する、および／または受信するために使用することができる。例えば、ＵＳＢ「ｔｈｕｍｂ ｄｒｉｖｅ」またはＣｏｍｐａｃｔＦｌａｓｈ（登録商標）カードをコンピュータＩ／Ｏインタフェース１５８に差し込むことができる。さらに、ビデオ検査装置１００は、画像データまたはストリーミング映像データのフレームを外部コンピュータまたはサーバに送信するように構成することができる。ビデオ検査装置１００は、ＴＣＰ／ＩＰ通信プロトコルスイートを組み込むことができ、複数のローカルコンピュータおよびリモートコンピュータを含むワイドエリアネットワークに組み込まれることが可能であり、このコンピュータのそれぞれも、ＴＣＰ／ＩＰ通信プロトコルスイートを組み込んでいる。ＴＣＰ／ＩＰプロトコルスイートを組み込むと、ビデオ検査装置１００は、ＴＣＰおよびＵＤＰなどのいくつかのトランスポート層プロトコル、ならびにＨＴＴＰおよびFＴＰなどいくつかの異なる層のプロトコルを組み込む。

図２は、本発明の例示的実施形態において、凸凹２０４を有する観察対象物２０２の表面２１０の、ビデオ検査装置１００によって取得された画像２００である。この例では、凸凹２０４はくぼみとして示されており、損傷または摩耗によって凸凹２０４の中の観察対象物２０２の表面２１０から物質が取り除かれている。この例示的実施形態に示す凸凹２０４は、一例にすぎず、本発明の方法は、他のタイプの凸凹（例えば、割れ目、腐食孔、コーティングの欠落、表層堆積物など）に適用されることが理解されるであろう。画像２００が取得され、凸凹２０４が識別されると、画像２００を使用して、凸凹２０４の寸法（例えば、高さまたは深さ、長さ、幅、面積、体積、点と線との距離（ｐｏｉｎｔ ｔｏ ｌｉｎｅ）、断面スライスなど）を測定することができる。１つの実施形態では、使用される画像２００は、凸凹２０４を含む観察対象物２０２の表面２１０の２次元画像２００とすることができる。

図３は、本発明の例示的実施形態において図２の画像２００に示された観察対象物２０２の表面２１０を検査するために３次元データを表示するための方法の流れ図である。図３の流れ図に記載する諸ステップは、流れ図に示すものとは異なる順に実行できること、およびある実施形態では諸ステップのすべてが必要とされるわけではないことが理解されるであろう。

ステップ３００では、図２に示すように、操作者はビデオ検査装置１００を使用して、凸凹２０４を有する観察対象物２０２の表面２１０の画像２００を取得し、これをビデオモニタ（例えば、内蔵ディスプレイ１７０または外部モニタ１７２）に表示することができる。

ステップ３１０では、ビデオ検査装置１００のＣＰＵ１５０は、凸凹２０４を含む観察対象物２０２の表面２１０上の複数の表面点の第１の座標系における３次元座標（ｘ_iS1，ｙ_iS1，ｚ_iS1）を決定することができる。いくつかの異なる既存技術を使用して、表面２１０の画像２００上の点の３次元座標を求めることができる（例えば、立体、走査システム、位相シフト、位相シフトモアレ、レーザドットプロジェクションなどのような構造光方式、）。大部分のこのような技術は、キャリブレーションデータの使用を含み、これは特に、他の場合は光学歪みによって生じる３次元座標における誤りを減少させるために使用される光学特性データを含む。いくつかの技術を用いると、３次元座標は、投影パターンなどを含むことができる非常に近接した時間に取り込まれた１つまたは複数の画像を使用して決定することができる。画像２００を使用して決定される３次元座標を参照することは、非常に近接した時間に取り込まれた表面２１０の画像２００の１つまたは複数を使用して３次元座標が決定されることも含むことができること、および説明した操作の間に操作者に表示される画像２００は、実際には３次元座標の決定に使用される、または使用されない場合があることを理解されたい。

ステップ３２０では、図２に示すように、操作者がビデオ検査装置１００のジョイスティック１８０（または他のポインティングデバイス（例えばマウス、タッチスクリーン））を使用して、凸凹２０４に隣接した観察対象物２０２の表面２１０の複数の測定点を選択して特定のタイプの測定を行うことができる。選択される測定点の数は、行われる測定のタイプによって決まる。ある測定は、２つの測定点（例えば、長さ、断面）の選択を要求することができ、他の測定は、３つ以上の測定点（例えば、点と線との距離、面積、マルチセグメント）の選択を要求することができる。１つの実施形態では、図２に示すように、４つの測定点２２１、２２２、２２３、２２４の全部が、凸凹２０４に隣接した観察対象物２０２の表面２１０で選択されて、凸凹２０４の深さの測定を行い、３つの測定点２２１、２２２、２２３は凸凹２０４に隣接した表面２１０で選択され、４つ目の測定点２２４は凸凹２０４の最も深い点となるように選択される。１つの実施形態では、観察対象物２０２の表面２１０の複数の測定点２２１、２２２、２２３、２２４は、表面２１０の複数の測定点２２１、２２２、２２３、２２４に対応する画像２００の画素２４１、２４２、２４３、２４４にカーソル２３１、２３２、２３３、２３４（または他のポインティングデバイス）を置くことによって選択されることが可能である。例示の深さの測定では、ビデオ検査装置１００は、複数の測定点２２１、２２２、２２３、２２４のそれぞれの第１の座標系における３次元座標を測定することができる。本発明の方法は、深さの測定または４つの選択された測定点を含む測定に限定されず、上述の測定を含む、異なる数の点を含む様々なタイプの測定に適用されることが理解されるであろう。

ステップ３３０では、図２に示すように、ビデオ検査装置１００のＣＰＵ１５０は、基準表面２５０を決定することができる。一部の実施形態では基準表面２５０は平面であることが可能であり、他の実施形態では基準表面２５０は曲面であることが可能である。同様に、１つの実施形態では基準表面２５０は平面の形状であることが可能であるが、他の実施形態では基準表面２５０は異なる形状（例えば、円柱、球など）であることが可能である。図２に示す凸凹２０４の例示的な深さの測定では、凸凹２０４に隣接する表面２１０で選択された３つの測定点２２１、２２２、２２３の１つまたは複数に隣接する３つ以上の表面点の３次元座標を使用して、基準表面２５０（例えば、平面）を決定することができる。１つの実施形態では、ビデオ検査装置１００は、３つの測定点２２１、２２２、２２３（ｘ_iM1，ｙ_iM1，ｚ_iM1）の第１の座標系における３次元座標の曲線の当てはめを行って、次のような形を有する基準表面２５０（例えば、平面）の式を求めることができる：

ここで（ｘ_iRS1，ｙ_iRS1，ｚ_iRS1）は、定められた基準表面２５０上の第１の座標系における任意の３次元の点の座標であり、ｋ_0RS1、ｋ_1RS1、およびｋ_2RS1は、第１の座標系における３次元座標の曲線の当てはめによって得られた係数である。

複数の測定点（すなわち少なくともｋ個の係数の数と同じ数の点）を使用して曲線の当てはめを行うことに注意されたい。曲線の当てはめは、使用される点に最も適合するｋ個の係数を見いだす（例えば、最小二乗法）。次いでｋ個の係数は、使用される３次元の点に近い平面または他の基準表面２５０を定める。しかしながら、曲線の当てはめにｋ個の係数の数よりも多い点が使用される場合、使用される点のｘ座標およびｙ座標を平面の式（１）に挿入すると、ｚの結果は一般に、ノイズおよび実際に存在する可能性がある平面からの歪みにより、点のｚ座標に厳密には一致しない。したがって、ｘ_iRS1およびｙ_iRS1は、任意の値とすることができ、結果として生じるｚ_iRS1は、ｘ_iRS1、ｙ_iRS1で定められる平面のｚを表す。よって、これらの式で示す座標は、まさしく定められた表面の任意の点に対するものとすることができ、必ずしも当てはめに使用されてｋ個の係数を決定する点に対するものではない。

別の実施形態では、特定の測定のために２つの測定点のみ（例えば、長さ、断面）が選択されるが、ｋ_0RS1、ｋ_1RS1、およびｋ_2RS1を測定するには３つの点が必要とされるので、これら２つの測定点の３次元座標にのみ基づいた曲線の当てはめを使用できないようにする。この場合、ビデオ検査装置１００は、測定点のそれぞれに隣接した表面２１０上の複数の点に対応する画像の画素のそれぞれに隣接した複数の画素を識別することができ、これらの点の３次元座標を決定し、曲線の当てはめを可能にして基準表面２５０を決定する。

１つの実施形態では、図２に示すように、ビデオ検査装置１００は、凸凹２０４および後に基準表面２５０の位置を表示するために使用することができる測定点２２１、２２２、２２３、２２４の周りの基準表面２５０上でフレーム２６２（例えば矩形）を形成する複数のフレームポイント２６０（ｘ_iF1、ｕ_iF1、ｚ_iF1）の第１の座標系における３次元座標を決定することができる。

基準表面２５０が決定されると、図２に示す例示的実施形態では、ビデオ検査装置１００は、凸凹２０４の最も深い点で選択された第４の測定点２２４と基準表面２５０との間の距離を測定することによって凸凹２０４の測定（例えば、深さ）を行うことができる。この深さの測定の精度は、観察対象物２０２の表面２１０の複数の測定点２２１、２２２、２２３、２２４を選択する際の精度によって決まる。上述のように多くの場合、画像２００の中の凸凹２０４の輪郭は、２次元画像から評価することは困難であり、複数の測定点２２１、２２２、２２３、２２４を確実に探し出すには小さすぎる、あるいは不十分である可能性がある。したがって、多くの場合操作者は、こうした測定点２２１、２２２、２２３、２２４の位置の精度を評価するために、凸凹２０４の領域のさらなる詳細を望む。つまり一部のビデオ検査装置１００はフル画像２００のポイントクラウドビューを提供できるが、前述のようにこのビューは凸凹２０４の要求されるレベルの詳細を提供することができない。測定点２２１、２２２、２２３、２２４の周りの領域で全体画像２００の３次元データのポイントクラウドビューによって提供されるよりも、より重要な表面２１０のビューを提供するために、本発明の方法は、対象領域の３次元データのサブセットを作成する。

ステップ３４０では、ビデオ検査装置１００のＣＰＵ１５０は、第１の座標系とは異なる第２の座標系を設けることができる。１つの実施形態では、第２の座標系は、基準表面２５０ならびに複数の測定点２２１、２２２、２２３、および２２４に基づくことができる。ビデオ測定装置１００は、第２の座標系の原点（ｘ_O2，ｙ_O2，ｚ_O2）＝（０，０，０）を、表面２１０の複数の測定点２２１、２２２、２２３、２２４の２つ以上に対応する基準表面２５０の点の３次元座標の平均的位置２２５に隣接して位置するように指定することができる（例えば、測定点２２１、２２２、２２３、および２２４を基準表面２５０に投影して、基準表面２５０上の平均的位置２２５を決定することによる）。場合によっては、測定点２２１、２２２、２２３に対応する基準表面２５０上の点の３次元座標は、同じである可能性がある。しかしながら、状況によっては、ノイズおよび／または表面２１０の小さな変動により、測定点２２１、２２２、２２３は基準表面２５０に正確に位置せず、したがって異なる座標を有する。

表面２１０上の測定点２２１、２２２、２２３、２２４に対応する基準表面２５０の点を決定するとき、直線の方向の概念を適用すると好都合であり、これはｘ面、ｙ面、およびｚ面における直線の相対的な傾きを伝え、垂直線または平行線を作るために使用することができる。２つの３次元座標（ｘ１，ｙ１，ｚ１）および（ｘ２，ｙ２，ｚ２）を通る所与の直線については、直線の方向（ｄｘ，ｄｙ，ｄｚ）は、次のように定めることができる：

直線上の点（ｘ１，ｙ１，ｚ１）および直線の方向（ｄｘ，ｄｙ，ｄｚ）が与えられると、直線は次のように定義することができる：

このように、ｘ、ｙ、またはｚ座標のいずれか１つが与えられると、残りの２つは計算することができる。平行線は、同じ、または直線的にスケール変更された直線方向を有する。方向（ｄｘ１，ｄｙ１，ｄｚ１）および（ｄｘ２，ｄｙ２，ｄｚ２）を有する２つの直線は、以下の場合、垂直である：

式（１）を使用して定められた基準面に垂直であるすべての直線の方向は、以下により求められる：

式（５）および（７）から（９）に基づいて、基準表面２５０に垂直であって、表面点（ｘ_S，ｙ_S，ｚ_S）を通る直線は、以下のように定めることができる：

１つの実施形態では、表面２１０の点（ｘ_iS1，ｙ_iS1，ｚ_iS1）に対応する基準表面２５０の点の座標（ｘ_iRS1，ｙ_iRS1，ｚ_iRS1）（例えば、測定点２２１、２２２、２２３、２２４に対応する基準表面２５０の点の第１の座標系における３次元座標）は、（７）〜（９）で求められる方向を有し、（ｘ_iS1，ｙ_iS1，ｚ_iS1）を通る基準表面２５０に垂直な直線を定めること、ならびにその直線の基準表面２５０との交点の座標を求めることによって決定することができる。したがって、式（１）および（１０）から：

１つの実施形態では、こうしたステップ（式（２）から（１３））を使用して、測定点２２１、２２２、２２３、２２４に対応する基準表面２５０の点の３次元座標を決定することができる。次に基準表面２５０の測定点のこうした投影点の平均的位置２２５（ｘ_M1avg，ｙ_M1avg，ｚ_M1avg）を決定することができる。次いで第２の座標系の原点（ｘ_O2，ｙ_O2，ｚ_O2）＝（０，０，０）を指定し、平均的位置２２５（ｘ_M1avg，ｙ_M1avg，ｚ_M1avg）に隣接して位置付けることができる。

ｚの値が各表面点から基準表面２５０までの垂直距離である、凸凹２０４の領域の中の平均的位置２２５に隣接して第２の座標系の原点を位置付けることにより、ポイントクラウドビューの回転が凸凹２０４の領域の中心を中心とすることができるようになり、任意の深さマップのカラースケールが基準表面２５０から表面点の高さまたは深さを示すことを可能にする。

この第２の座標系を利用するために、ステップ３５０では、ビデオ検査装置１００のＣＰＵ１５０は、様々な点（例えば、複数の表面点、複数の測定点２２１、２２２、２２３、２２４、フレームポイント２６０を含む基準表面２５０上の点など）に決定された第１の座標系における３次元座標（ｘ_i1，ｙ_i1，ｚ_i1）を第２の座標系における３次元座標（ｘ_i2，ｙ_i2，ｚ_i2）に変換する。

１つの実施形態では、座標変換行列（［Ｔ］）を使用して、次のように座標を変換することができる：
（［ｘ_i1 ｙ_i1 ｚ_i1］−［ｘ_M1avg ｙ_M1avg ｚ_M1avg］）＊［Ｔ］＝［ｘ_i2 ｙ_i2 ｚ_i2］ （１４）
ここで[Ｔ］は、変換行列である。

行列でない形式では、第２の座標系における３次元座標は、次のように決定することができる：
ｘ_i2＝（ｘ_i1−ｘ_M1avg）＊Ｔ₀₀＋（ｙ_i1−ｙ_M1avg）＊Ｔ₁₀＋（ｚ_i1−ｚ_M1avg）＊Ｔ₂₀ （１５）
ｙ_i2=（ｘ_i1−ｘ_M1avg）*Ｔ₀₁＋（ｙ_i1−ｙ_M1avg）＊Ｔ₁₁＋（ｚ_i1−ｚ_M1avg）＊Ｔ₂₁ （１６）
ｚ_i2=（ｘ_i1−ｘ_M1avg）＊Ｔ₀₂＋（ｙ_i1−ｙ_M1avg）＊Ｔ₁₂＋（ｚ_i1−ｚＭ_1avg）＊Ｔ₂₂ （１７）
ここで、変換行列の値は、第１の座標系における新しいｘ軸、ｙ軸、およびｚ軸の直線方向の値である。

ステップ３６０では、ビデオ検査装置１００のＣＰＵ１５０は、観察対象物２０２の表面２１０の対象領域内にある複数の表面点のサブセットを決定する。１つの実施形態では、対象領域は、ポイントクラウドビューで使用される３次元データの量を最小にするために、複数の選択された測定点２２１、２２２、２２３、２２４を囲む観察対象物２０２の表面２１０の限定された領域とすることができる。サブセット３６０を決定するステップは、変換ステップ３５０の前にまたはこの後に行うことができると理解されるであろう。例えば、変換ステップ３５０後のステップ３６０にサブセットの決定が行われる場合、ビデオ検査装置１００は、対象領域外の点を含む、すべての表面点の座標を変換することができ、その後、こうした点のどれが対象領域にあるかを判断する。あるいは、ステップ３６０においてサブセットを決定することは変換ステップ３５０の前に行われ、ビデオ検査装置１００は、対象領域内の表面点の座標を変換するだけでよい。

１つの実施形態では、対象領域は、測定点２２１、２２２、２２３、２２４に対応する基準表面２５０上の点のそれぞれの間の最大距離（ｄ_MAX）、基準表面２５０上のそれらの点の平均的位置２２５（変換後に行われる場合は第２の座標系の原点（ｘ_O2，ｙ_O2，ｚｘ_O2）＝（０，０，０）、または変換前に行われる場合は第１の座標系の（ｘ_M1avg，ｙ_M1avg，ｚ_M1avg））を決定することによって定めることができる。１つの実施形態では、対象領域は、基準表面２５０上の測定点２２１、２２２、２２３、２２４の平均的位置２２５の一定の閾値距離（ｄ_ROI）内にある（例えば、最大距離（ｄ_ROI＝ｄ_MAX）よりも小さい、または、最大距離（ｄ_ROI＝１．２＊ｄ_MAX）よりもわずかに大きい（例えば、２０パーセント大きい）距離よりも小さい）基準表面２５０の対応する点を有する（すなわち、基準表面上に投影されるとき）すべての表面点を含むことができる。例えば、第２の座標系における平均的位置２２５が（ｘ_O2，ｙ_O2，ｚ_O2）＝（０，０，０）である場合、この位置から表面点に対応する基準表面２５０の点（ｘ_iRS2，ｙ_iRS2，ｚ_iRS2）までの距離（ｄ）は、次のように求められる：

同様に、第１の座標系における平均的位置２２５が（ｘ_M1avg，ｙ_M1avg，ｚ_M1avg）である場合、この位置から表面点に対応する基準表面２５０の点（ｘ_iRS1，ｙ_iRS1，ｚ_iRS1）までの距離（ｄ）は、次のように求められる：

表面点が対象領域の閾値距離（ｄ_ROI）よりも小さい距離値（ｄ_iRS1またはｄ_iRS2）を有し、したがって対象領域内である場合、ビデオ検査装置１００は、その表面点の３次元座標およびその表面点の深さに対応する画素の色を、ポイントクラウドビューファイルに書き込むことができる。この例示の実施形態では、対象領域は、円柱の半径に収まる表面点を含む円柱の形である。対象領域を測定するために他の形状および方法を使用することができることを理解されたい。

対象領域は、第１の座標系でビデオ検査装置１００によって測定される観察対象物２０２の表面２１０上の凸凹２０４の深さに基づいて定めることもできる。例えば、凸凹２０４の深さが０．００５インチ（０．１２７ｍｍ）であると測定された場合、対象領域は、基準表面２５０までの測定点２２１、２２２、２２３、２２４の１つまたは複数の距離に基づいて、基準表面２５０からの距離（またはｚ寸法）が一定の範囲（±０．０１５インチ（０．３８１ｍｍ））内である点のみを含むように定めることができる。表面点が対象領域内の深さ値を有する場合、ビデオ検査装置１００は、その表面点の３次元座標、およびその表面点の深さに対応する画素の色を、ポイントクラウドビューファイルに書き込むことができる。表面点が、対象領域外の深さ値を有する場合、ビデオ検査装置１００は、ポイントクラウドビューファイルにその表面点を含むことができない。

ステップ３７０では、図４に示すように、ビデオ検査装置１００のモニタ１７０、１７２は、第２の座標系の３次元座標で複数の表面点のサブセットの描画された３次元ビュー（例えば、ポイントクラウドビュー）４００を、原点４２５をビューの中心にして表示することができる。１つの実施形態（図示せず）では、ポイントクラウドビュー４００の表示は、カラーマップを含んで、第２の座標系における表面点のそれぞれと基準表面４５０との距離を示すことができる（例えば、ある深さの第１の点は、その深さに対応する赤の色調で示し、異なる深さの第２の点は、その深さに対応する緑の色調で示す）。表示されたポイントクラウドビュー４００は、複数の測定点４２１、４２２、４２３、４２４の位置を含むこともできる。ポイントクラウドビュー４００を見る際に操作者を支援するために、ビデオ検査装置１００は、第２の座標系の３次元座標における複数の測定点４２１、４２２、４２３の２つ以上の間の直線に沿って３次元のラインポイント４７１、４７２、４７３を決定し、ポイントクラウドビュー４００にこれらのラインポイント４７１、４７２、４７３を表示することもできる。ポイントクラウドビュー４００は、凸凹２０４の最も深い点に位置付けられるように意図された測定点４２４から基準表面４５０への深さライン４７４を含むこともできる。１つの実施形態では、ビデオ検査装置１００は、深さライン４７４が公差仕様または他の閾値を超えているかどうかを判断し、そのような発生の視覚表示もしくは可聴表示またはアラームを提供することができる。

表示されるポイントクラウドビュー４００はまた、第２の座標系における基準表面４５０にフレーム４６２を形成する複数のフレームポイント４６０を含んで、基準表面４５０の位置を示すことができる。別の実施形態では、表示されるポイントクラウドビュー４００はまた、基準表面２５０からの垂直距離を示すスケールを含むことができる。

図４に示すように、ポイントクラウドビュー４００の中のデータを対象領域の点に限定し、ビューを対象領域の中心の点４２５の周りを回転できるようにすることによって、操作者は凸凹２０４をより簡単に分析し、深さの測定および測定点４２１、４２２、４２３、４２４の設置が正確であったかどうかを判断することができる。１つの実施形態では、操作者は、修正が必要である場合、ポイントクラウドビュー４００中の測定点４２１、４２２、４２３、４２４のうちの１つまたは複数の位置を変更することができる。あるいは、修正が必要である場合、操作者は図２の２次元画像２００に戻って、測定点２２１、２２２、２２３、２２４の１つまたは複数を再び選択し、プロセスを繰り返すことができる。

別の実施形態では、ビデオ検査装置１００のモニタ１７０、１７２は、座標の変換を行わずに第１の座標系の３次元座標で、複数の表面点のサブセットの描画された３次元ビュー４００を表示することができる。この実施形態では、元の座標に基づくポイントクラウドビュー４００は、カラーマップ、複数の測定点の位置、３次元ラインポイント、深さライン、フレーム、またはスケールを表示するなど、操作者を支援するための上記の様々な特徴を含むこともできる。

記載した説明は、最良の方式など、本発明を開示するための例、ならびに装置またはシステムを作成して使用すること、および組み込まれた方法を行うことなど、当業者が本発明を実行できるようにするための例を使用している。本発明の特許可能な範囲は、特許請求の範囲により定義するが、当業者であれば思い付く他の例も含むことができる。このような他の例は、特許請求の範囲の文字通りの言葉と違わない構造的要素を有する場合、または、特許請求の範囲の文字通りの言葉とはわずかな違いを有する等価な構造的要素を含む場合、特許請求の範囲の範囲内であるとする。

１００ ビデオ検査装置
１０２ プローブ
１１０ 挿入管
１２０ ヘッドアセンブリ
１３０ 取り外し可能先端部
１４０ プローブ電子回路
１５０ ＣＰＵ
２０２ 観察対象物

Claims (13)

1. 観察対象物（２０２）の表面（２１０）の３次元ビューを表示するための方法であって、
   前記観察対象物（２０２）の前記表面（２１０）で複数の表面点の第１の座標系における３次元座標を決定するステップ（３１０）と、
   前記観察対象物（２０２）の前記表面（２１０）で複数の測定点（２２１、２２２、２２３、２２４）の選択を受け取るステップ（３２０）と、
   前記複数の測定点（２２１、２２２、２２３、２２４）の１つまたは複数に隣接した前記複数の表面点の３つ以上の前記第１の座標系における前記３次元座標に基づいて基準表面（２５０）を決定するステップ（３３０）と、
   前記基準表面（２５０）および前記複数の測定点（２２１、２２２、２２３、２２４）に基づいて、第２の座標系の原点を前記複数の測定点（２２１、２２２、２２３、２２４）のうちの２つ以上に対応する前記基準表面（２５０）上の点の３次元座標の平均的位置（２２５）に隣接して位置するように指定することにより、前記第１の座標系とは異なる前記第２の座標系を設けるステップと、
   前記複数の表面点の前記第１の座標系における前記３次元座標を前記第２の座標系における前記３次元座標に変換するステップ（３５０）と、
   前記観察対象物（２０２）の前記表面（２１０）の対象領域内にある前記複数の表面点のサブセットを決定するステップであって、前記対象領域が、前記複数の測定点（２２１、２２２、２２３、２２４）に基づいているステップ（３６０）と、
   前記第２の座標系の前記３次元座標に前記複数の表面点の前記サブセットの描画された３次元ビュー（４００）を、モニタ上に表示するステップ（３７０）と、
   を含み、
   前記表示するステップ（３７０）は、対象領域の測定された幾何的寸法を表示するステップを含み、
   前記測定された幾何的寸法は、前記観察対象物（２０２）の表面の凸凹の深さを含む、
   方法。
2. 前記観察対象物（２０２）の前記表面（２１０）の２次元画像を取得して表示するステップ（３００）をさらに含む、請求項１に記載の方法。
3. 前記観察対象物（２０２）の前記表面（２１０）の画像を取得して表示するステップ（３００）をさらに含み、
   前記複数の測定点（２２１、２２２、２２３、２２４）の選択を受け取るステップが、表示された前記画像上で、ポインティングデバイスにより複数のカーソル位置で示された入力を受け取るステップを含む、請求項１または２に記載の方法。
4. 前記基準表面（２５０）が平面である、請求項１から３のいずれかに記載の方法。
5. 前記対象領域が、前記第２の座標系の前記原点から一定の距離内の表面点を含む、請求項１から４のいずれかに記載の方法。
6. 前記対象領域が、前記平均的位置（２２５）から一定の距離内の表面点を含む、請求項１から４のいずれかに記載の方法。
7. 前記対象領域が、前記測定点（２２１、２２２、２２３、２２４）および前記基準表面（２５０）の１つまたは複数からの距離に基づいて、前記基準表面（２５０）からの距離が一定の範囲内である表面点を含む、請求項１から４のいずれかに記載の方法。
8. 前記複数の表面点の前記サブセットの前記描画された３次元ビュー（４００）を表示する前記ステップが、前記複数の表面点の前記サブセットのポイントクラウドビューを表示するステップを含む、請求項１から７のいずれかに記載の方法。
9. 前記描画された３次元ビュー（４００）の回転が、前記第２の座標系の原点を中心とする、請求項１から８のいずれかに記載の方法。
10. 前記第２の座標系の前記３次元座標における前記複数の表面点の前記サブセットの前記描画された３次元ビュー（４００）を表示する前記ステップが、前記複数の表面点の前記サブセットと前記基準表面（２５０）との間の距離を示すためにカラーマップを使用するステップを含む、請求項１から９のいずれかに記載の方法。
11. 前記描画された３次元ビュー（４００）が、前記基準表面（２５０）からの垂直距離を示すスケールをさらに含む、請求項１から１０のいずれかに記載の方法。
12. 前記描画された３次元ビュー（４００）に前記複数の測定点（２２１、２２２、２２３、２２４）を表示する前記ステップをさらに含む、請求項１から１１のいずれかに記載の方法。
13. 前記複数の表面点の前記第１の座標系における前記３次元座標を第２の座標系（３５０）における前記３次元座標に変換する前記ステップが、前記観察対象物（２０２）の前記表面（２１０）で対象領域内にある前記複数の表面点のサブセットを決定する前記ステップ（３６０）の後に行われ、前記複数の表面点の前記サブセットのみが変換される、請求項１から１２のいずれかに記載の方法。