JP6537814B2 - 異常の表面上の最深点を自動的に識別するための方法およびデバイス - Google Patents

異常の表面上の最深点を自動的に識別するための方法およびデバイス Download PDF

Info

Publication number
JP6537814B2
JP6537814B2 JP2014249470A JP2014249470A JP6537814B2 JP 6537814 B2 JP6537814 B2 JP 6537814B2 JP 2014249470 A JP2014249470 A JP 2014249470A JP 2014249470 A JP2014249470 A JP 2014249470A JP 6537814 B2 JP6537814 B2 JP 6537814B2
Authority
JP
Japan
Prior art keywords
anomaly
points
interest
determining
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014249470A
Other languages
English (en)
Other versions
JP2015129746A (ja
Inventor
クラーク・アレキサンダー・ベンダール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2015129746A publication Critical patent/JP2015129746A/ja
Application granted granted Critical
Publication of JP6537814B2 publication Critical patent/JP6537814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Description

本明細書で開示される主題はビデオ検査デバイスを使用して表示対象物上の異常の表面上の最深点を自動的に識別するための方法およびデバイスに関する。
ビデオ内視鏡またはボアスコープなどのようなビデオ検査デバイスは、例えば損傷、摩耗、腐食、または不適切な設置などから生じた可能性のある対象物上の異常（例えば、ピットまたは凹み）を識別するおよび分析するため対象物の表面を検査するために使用することができる。多くの例では、対象物の表面はアクセスすることができずおよびビデオ検査デバイスを使用せずに表示することができない。例えば、ビデオ検査デバイスは、航空機または発電機のタービンエンジンのブレードの表面で任意の修理またはさらなるメンテナンスが必要であるかどうかを判断するため、表面上に形成された可能性のある任意の異常を識別するために検査するように使用することができる。その評価を行うためには、異常がその対象物にとっての動作制限または要求仕様を超えていないまたは外れていないことを確認するために、表面および異常の高精度な寸法測定を得ることがしばしば必要である。
ビデオ検査デバイスは表面上の異常の寸法を判断するために異常を示す表示対象物の表面の２次元画像を取得して表示するために使用することができる。この表面の２次元画像は異常に近接したものを含む表面上の複数の点の３次元座標（例えば、（ｘ、ｙ、ｚ））を提供する表面上の３次元データを生成するために使用することができる。いくつかのビデオ検査デバイスでは、ユーザは異常の幾何学的寸法を決定するためにユーザが２次元画像上にカーソルを配置する測定画面を入力する測定モードでビデオ検査デバイスを操作することができる。多くの例では、表示特徴の輪郭を２次元画像から評価することは困難であり、異常に近接してカーソルの高度に正確な配置を行うことは困難である。例えば、異常の深さを測定しようとする際には、２次元画像から異常の表面上の最深点の位置を決定し、その上にカーソルを配置することは困難である可能性がある。
いくつかのビデオ検査デバイスでは、異常の深さは基準表面を確立するために異常の周りに一つずつ３つのカーソルを配置し、その後基準表面および第４の点の表面との間の垂直距離を決定するために基準表面上ではない点に第４のカーソルを配置することにより決定される。この深さ測定は異常の表面上の最深点を測定しようとするために最も頻繁に使用される。各カーソルがジョイスティックを使用して配置された後、新しいカーソルが画面の中央に適宜最初に配置された後に、ユーザはそのカーソルの配置が行われ次の準備ができていることを示すためにボタンを押す。依って、深さ測定の第４のカーソルのために、ユーザはカーソルを画面の中央から異常の位置に移動しなければならず、および次に異常の表面上の最深点を手動で探すためカーソルを動き回さなければならない。このプロセスは時間がかかり得るものであり、常に最深点が識別される結果とはならないことがある。
上記の考察は単に一般的な背景情報のために提供され、請求される主題の範囲を決定する助けとして使用されるものではない。
米国特許出願公開第２０１３／０２８７２８８号明細書
ビデオ検査デバイスを使用して表示対象物上の異常の表面上の最深点を自動的に識別するための方法およびデバイスが開示される。ビデオ検査デバイスは表示対象物の表面の画像を取得するおよび表示する。基準表面は異常の表面上の複数の点を含む関心領域と共に決定される。ビデオ検査デバイスは関心領域内の異常の表面上の複数の点のそれぞれについて深さを決定する。異常の表面上の最大の深さを有する点が最深点として識別される。異常の表面上の最深点を自動的に識別するための方法およびデバイスのいくつかの開示された実施形態の実施で実現されてもよい利点は、ユーザは手動で最深点を識別する必要がないので深さ測定を実行するための時間が短縮され、および測定精度が改善されることである。
一実施形態は、表示対象物の表面上の異常の表面上の最深点を自動的に識別する方法である。方法はイメージャ（撮像装置）で表示対象物の表面の画像を取得するステップ、モニタ上に表示対象物の画像を表示するステップ、中央処理ユニットを使用して表示対象物の表面上の複数の点の３次元座標を決定するステップ、中央処理ユニットを使用して基準表面を決定するステップ、中央処理ユニットを使用して異常の表面上の複数の点を含む関心領域を決定するステップ、中央処理ユニットを使用して関心領域内の異常の表面上の複数の点のそれぞれについて深さを決定するステップ、および中央処理ユニットを使用して異常の表面上の最深点として最大の深さを有する関心領域内の異常の表面上の点を決定するステップを備える。
別の実施形態は、表示対象物の表面上の異常の表面上の最深点を自動的に識別するためのデバイスである。デバイスは表示対象物の表面の画像を取得するためのイメージャ、表示対象物の画像を表示するモニタ、および表示対象物の表面上の複数の点の３次元座標を決定する、基準表面を決定する、異常の表面上の複数の点を含む関心領域を決定する、関心領域内の異常の表面上の複数の点のそれぞれについて深さを決定する、および異常の表面上の最深点として最大の深さを有する関心領域内の異常の表面上の点を決定するための中央処理ユニットを備える。
本発明のこの簡単な説明は１つ以上の例示的実施形態により本明細書で開示される主題の概要を提供するだけのものであり、請求項を解釈するまたは添付の特許請求の範囲によってのみ定義される本発明範囲を定義するまたは制限するガイドとして機能しないことを意図している。この簡単な説明は以下の詳細な説明でさらに説明される簡略化された形式の概念の例示的な選択を紹介するために提供される。この簡単な説明は特許請求される主題の主要な特徴または本質的な特徴を特定することを意図するものではなく、また特許請求される主題の範囲を決定する助けとして使用されることを意図するものでもない。特許請求される主題は背景で述べたいずれかまたはすべての欠点を解決する実装に限定されるものではない。
本発明の特徴内の方法を理解できるようにするために、本発明の詳細な説明は特定の実施形態を参照することにより行われてもよく、それらのいくつかは添付の図面に示されている。しかしながら、図面は本発明の特定の実施形態のみを示し、したがって本発明の範囲は他の等しく有効な実施形態を包含するため、その範囲を限定するものとみなされるべきではないことに留意すべきである。図面は一般的に本発明の特定の実施形態の特徴を説明することに重点が置かれ、必ずしも一定の縮尺、強調はされていない。図面において、様々な図を通して同様の番号は同様の部品を示すために使用される。このように、本発明のさらなる理解のために、図面に関連して読まれる以下の詳細な説明に参照が行われ得る。
図１は、例示的なビデオ検査デバイスのブロック図である。 図２は、本発明の例示的な実施形態の異常を有する表示対象物の表面のビデオ検査デバイスにより得られた例示的な画像である。 図３は、本発明の例示的な実施形態の図２の画像に示されている表示対象物上の異常の表面上の最深点を自動的に識別するための例示的な方法およびデバイスのフロー図である。 図４は、ビデオ検査デバイスにより決定される例示的な基準表面を示す。 図５は、ビデオ検査デバイスにより決定される例示的な関心領域を示す。 図６は、ビデオ検査デバイスにより決定される別の例示的な関心領域を示す。 図７は、本発明の例示的な実施形態の図１の画像に示されている表示対象物の表面の例示的なプロファイルのグラフ表示である。
図１は例示的なビデオ検査デバイス１００のブロック図である。図１に示されるビデオ検査デバイス１００は例示的なものであり、および発明の範囲は任意の特定のビデオ検査デバイス１００またはビデオ検査デバイス１００内の構成要素の任意の特定の構成に限定されるものではないことが理解されるであろう。
ビデオ検査デバイス１００は挿入チューブ１１０を備える細長いプローブ１０２および挿入チューブ１１０の遠位端に配置されたヘッドアセンブリ１２０を含むことができる。挿入チューブ１１０はヘッドアセンブリ１２０およびプローブ電子回路１４０との間のすべての相互接続が通過する可撓性管状部分で有り得る。ヘッドアセンブリ１２０は表示対象物２０２からの光をイメージャ１２４上に導光して集束させるためのプローブ光学系１２２を含むことができる。プローブ光学系１２２は、例えばレンズシングレット（単レンズ）または複数の構成要素を有するレンズを備えることができる。イメージャ１２４は表示対象物２０２の画像を得るためのソリッドステートＣＣＤまたはＣＭＯＳイメージセンサで有り得る。
取り外し可能な先端部またはアダプタ１３０はヘッドアセンブリ１２０の遠位端上に配置することができる。取り外し可能な先端部１３０は表示対象物２０２からの光をイメージャ１２４上に導光して集束させるプローブ光学系１２２と組み合わせて機能する先端視野光学系１３２（例えば、レンズ、窓、または開口）を含むことができる。取り外し可能な先端部１３０はまたビデオ検査デバイス１００用の光源が先端部１３０から発光する場合に照明用ＬＥＤ（図示せず）を、またはプローブ１０２からの光を表示対象物２０２に通過させる光通過素子（図示せず）を含むことができる。先端部１３０はまた側面へのカメラビューおよび光出力をオンにする導波路（例えば、プリズム）を含むことにより側視用の機能を提供することができる。先端部１３０はまた表示表面の３次元データの決定に使用するための立体光学素子または構造化光投射素子を設けてもよい。先端部１３０に含めることができる素子はまたプローブ１０２自体に含めることができる。
イメージャ１２４は複数行複数列で形成された複数の画素を含むことができ、およびイメージャ１２４の各画素に入射する光のアナログ電圧を表す形式の画像信号を生成することができる。画像信号は信号バッファリングおよび調整のための電子機器を提供するイメージャハイブリッド１２６を介して、イメージャハイブリッド１２６およびイメージャインタフェース電子回路１４２との間で制御信号およびビデオ信号のための配線を提供するイメージャハーネス１１２に伝播することができる。イメージャインタフェース電子回路１４２は電源、イメージャクロック信号を生成するためのタイミングジェネレータ、イメージャ映像出力信号をデジタル化するためのアナログフロントエンド、およびデジタル化されたイメージャ映像データをより有用なビデオフォーマットに処理するためのデジタル信号プロセッサを含むことができる。
イメージャインタフェース電子回路１４２はビデオ検査デバイス１００を操作するための機能の収集を提供するプローブ電子回路１４０の一部である。プローブ電子回路１４０はまたプローブ１０２および／または先端部１３０のキャリブレーションデータを格納するキャリブレーションメモリ１４４を含むことができる。マイクロコントローラ１４６はまたゲインおよび露出設定値を決定するおよび設定するためにイメージャインタフェース電子回路１４２と通信するために、キャリブレーションメモリ１４４にキャリブレーションデータを格納しおよび読み取るために、表示対象物２０２に送達される光を制御するために、およびビデオ検査デバイス１００の中央処理ユニット（ＣＰＵ）１５０と通信するためにプローブ電子回路１４０に含まれることができる。
マイクロコントローラ１４６と通信することに加えて、イメージャインタフェース電子回路１４２はまた１つ以上のビデオプロセッサ１６０と通信することができる。ビデオプロセッサ１６０はイメージャインタフェース電子回路１４２からビデオ信号を受信することができ、および一体型ディスプレイ１７０または外部モニタ１７２を含む様々なモニタ１７０、１７２に信号を出力することができる。一体型ディスプレイ１７０は検査者に様々な画像またはデータ（例えば、表示対象物２０２の画像、メニュー、カーソル、測定結果）を表示するためのビデオ検査デバイス１００に内蔵された液晶画面で有り得る。外部モニタ１７２は様々な画像またはデータを表示するためのビデオ検査デバイス１００に接続されたビデオモニタまたはコンピュータ型モニタで有り得る。
ビデオプロセッサ１６０はＣＰＵ１５０に／からコマンド、ステータス情報、ストリーミングビデオ、スチルビデオ画像、およびグラフィカルオーバーレイを提供／受信することができ、および画像取り込み、画像強調、グラフィカルオーバーレイマージ、歪み補正、フレーム平均化、スケーリング、デジタルズーム、オーバーレイ、マージ、フリッピング、動き検出、ビデオフォーマット変換および圧縮などのような機能を提供するＦＰＧＡ、ＤＳＰ、または他の処理素子から構成されてもよい。
ＣＰＵ１５０は画像、ビデオ、およびオーディオ記憶部およびリコール機能、システム制御、測定処理などを含む他の機能をホストに提供することに加えて、ジョイスティック１８０、ボタン１８２、キーパッド１８４、および／またはマイクロフォン１８６を介して入力を受信することにより、ユーザインタフェースを管理するために使用することができる。ジョイスティック１８０はメニュー選択、カーソル移動、スライダの調整、およびプローブ１０２の関節制御などの操作を実行するためにユーザにより操作することができ、およびプッシュボタンの機能を含んでもよい。ボタン１８２および／またはキーパッド１８４はまたメニュー選択およびＣＰＵ１５０にユーザコマンド（例えば、スチル画像をフリーズするまたは保存する）を提供することのために使用することができる。マイクロフォン１８６はスチル画像をフリーズするまたは保存するための音声指示を提供するために検査者により使用することができる。
ビデオプロセッサ１６０はまたフレームバッファリングおよび処理中のデータを一時的に保持するためにビデオプロセッサ１６０により使用されるビデオメモリ１６２と通信することができる。ＣＰＵ１５０はまたＣＰＵ１５０により実行されるプログラムを記憶するためのＣＰＵプログラムメモリ１５２と通信することができる。加えて、ＣＰＵ１５０は揮発性メモリ１５４（例えば、ＲＡＭ）、および不揮発性メモリ１５６（例えば、フラッシュメモリデバイス、ハードドライブ、ＤＶＤ、またはＥＰＲＯＭメモリデバイス）と通信することができる。不揮発性メモリ１５６はストリーミングビデオおよびスチル画像のための一次記憶である。
ＣＰＵ１５０はまたＵＳＢ、ファイヤワイヤ、イーサネット（登録商標）、オーディオＩ／Ｏ、および無線トランシーバなどの周辺装置およびネットワークへの様々なインタフェースを提供するコンピュータＩ／Ｏインタフェース１５８と通信することができる。このコンピュータＩ／Ｏインタフェース１５８はスチル画像、ストリーミングビデオ、またはオーディオを保存、リコール、送信、および／または受信するために使用することができる。例えば、ＵＳＢ「サムドライブ」またはコンパクトフラッシュ（登録商標）メモリカードはコンピュータＩ／Ｏインタフェース１５８にプラグインすることができる。加えて、ビデオ検査デバイス１００は画像データまたはストリーミングビデオデータのフレームを外部コンピュータまたはサーバに送信するように構成することができる。ビデオ検査デバイス１００はＴＣＰ／ＩＰ通信プロトコルスイートを組み込むことができ、および各々のコンピュータはまたＴＣＰ／ＩＰ通信プロトコルスイートを組み込む複数のローカルおよびリモートコンピュータを含む広域ネットワークに組み入れることができる。ＴＣＰ／ＩＰプロトコルスイートの組み込みと合わせて、ビデオ検査デバイス１００はＴＣＰおよびＵＤＰを含むいくつかのトランスポート層プロトコルおよびＨＴＴＰおよびＦＴＰを含むいくつかの異なる層プロトコルを組み込んでいる。
図１において特定のコンポーネントは単一のコンポーネント（例えば、ＣＰＵ１５０）として示されているが、複数の別個のコンポーネントがコンポーネントの機能を実行するために使用することができることが理解されるであろう。
図２は本発明の例示的な実施形態の異常２０４を有する表示対象物２０２の表面２１０のビデオ検査デバイス１００により得られる例示的な画像２００である。この例では、異常２０４は材料が損傷または摩耗により異常２０４内で表示対象物２０２の表面２１０から除去された凹みとして示されている。この例示的な実施形態で示した異常２０４は単に一例であり、および本発明の方法は他のタイプの凹凸（例えば、亀裂、腐食孔、コーティングロス、表面付着物等）に適用されることが理解されるであろう。一旦画像２００が得られ、および異常２０４が識別されると、画像２００は異常２０４の寸法（例えば、高さまたは深さ、長さ、幅、面積、体積、線へのポイント、プロファイルスライス等）を決定するために使用することができる。一実施形態では、使用される画像２００は異常２０４を含む表示対象物２０２の表面２１０の２次元画像２００で有り得る。
図３は本発明の例示的な実施形態での図２の画像２００に示す表示対象物２０２上の異常２０４の表面２１０上の最深点を自動的に識別するための例示的な方法３００のフロー図である。図３のフロー図で説明するステップはフロー図に示すものとは異なる順序で実行することができ、および特定の実施形態のためにすべてのステップが必要ではないことが理解されるであろう。
例示的な方法３００（図３）のステップ３１０において、および図２に示すように、ユーザは異常２０４を有する表示対象物２０２の表面２１０の少なくとも１つの画像２００を取得し、およびそれをビデオモニタ（例えば、一体型ディスプレイ１７０または外部モニタ１７２）上に表示するためにビデオ検査デバイス１００（例えば、イメージャ１２４）を使用することができる。
例示的な方法３００（図３）のステップ３２０において、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）は異常２０４の表面点を含む表示対象物２０２の表面２１０上の複数の表面点の３次元座標（例えば、（ｘ、ｙ、ｚ））を決定することができる。一実施形態では、ビデオ検査デバイスは３次元座標を決定するために画像２００から３次元データを生成することができる。いくつかの異なる既存の技術は表面２１０の画像２００内（図２）の表面点の３次元座標を提供するために（例えば、ステレオ、走査システム、ステレオ三角測量、位相シフト解析、位相シフトモアレのような構造光法、レーザードットプロジェクション等）使用することができる。
大部分のこのような技術は、そうでなければ光学的歪みにより誘起されるであろう３次元座標の誤差を低減するために使用される光学的特性データをとりわけ含むキャリブレーションデータの使用を備える。いくつかの技術で、３次元座標は投射されたパターンと同様のものを含んでいてもよい近接した時間内で取得された１つ以上の画像を使用して決定されてもよい。画像２００を使用して決定された３次元座標への参照はまた近接した時間内に取得された表面２１０の１つまたは複数の画像２００を使用して決定された３次元座標を備えること、および説明された動作中であるユーザに表示される画像２００は実際には３次元座標の決定に使用してもまたはしなくてもよいことが理解されるべきである。
例示的な方法３００（図３）のステップ３３０において、および図４に示すように、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）は基準表面２５０を決定することができる。他の実施形態では、基準表面２５０は湾曲させることができる一方、いくつかの実施形態では、基準表面２５０は平坦とすることができる。同様に、他の実施形態では、基準表面２５０は異なる形状の形態（例えば、円筒、球等）とすることができる一方、一実施形態では、基準表面２５０は平面の形態とすることができる。例えば、ユーザは基準表面を決定するため異常２０４に近接する表示対象物２０２の表面２１０上の１つ以上の基準表面点を選択するためにビデオ検査デバイス１００のジョイスティック１８０（または他のポインティングデバイス（例えば、マウス、タッチスクリーン））を使用することができる。
一実施形態では、および図４に示すように、３つの基準表面点２２１、２２２、２２３の合計は異常２０４に近接する表面２１０上で選択される３つの基準表面点２２１、２２２、２２３で、異常２０４の深さ測定を行うために異常２０４に近接する表示対象物２０２の表面２１０上で選択される。一実施形態では、表示対象物２０２の表面２１０上の複数の基準表面点２２１、２２２、２２３は基準表面カーソル２３１、２３２、２３３（または他のポインティングデバイス）を表面２１０上の複数の基準表面点２２１、２２２、２２３に対応する画像２００の各画素２４１、２４２、２４３上に配置することにより選択することができる。例示的な深さ測定では、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）は複数の基準表面点２２１、２２２、２２３それぞれの３次元座標を決定することができる。
異常２０４に近接する表面２１０上で選択される３つの基準表面点２２１、２２２、２２３の１つ以上に近接する３つ以上の表面点の３次元座標は基準表面２５０（例えば、平面）を決定するために使用することができる。一実施形態では、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）は以下の形式を有する基準表面２５０（例えば、面）の方程式を決定するために、３つの基準表面点２２１、２２２、２２３の３次元座標のカーブフィッティングを実行することができる。
ｋ0RS＋ｋ1RS1・ｘiRS＋ｋ2RS・ｙiRS1＝ｚiRS （１）
ここで、（ｘiRS、ｙiRS、ｚiRS）は定義された基準表面２５０上の任意の３次元点の座標であり、およびｋ0RS、ｋ1RS、およびｋ2RSは３次元座標のカーブフィッティングにより得られた係数である。
複数の基準表面点（すなわち、少なくともｋ個の係数の数と同じ数の点）はカーブフィッティングを実行するために使用されることに留意すべきである。カーブフィッティングは使用される点（例えば、最小二乗近似）にベストフィットを与えるｋ個の係数を求める。ｋ個の係数は次に使用される３次元点に近接する平面または他の基準表面２５０を定義する。しかしながら、カーブフィッティングでｋ個の係数の数より多くの点が使用されている場合、平面方程式（数１）内で使用される点のｘおよびｙ座標を挿入する際、ｚの結果はノイズおよび実際に存在する可能性がある平面からの任意の偏差に起因して点のｚ座標と一般的に正確には一致しなくなるであろう。このように、ｘiRS1およびｙiRS1は任意の値とすることができ、および結果としてｚiRSはｘiRS、ｙiRSで定義された平面のｚを言い表している。依って、これらの式に示す座標は定義された表面上で正確に任意の点に対するものであることができ、必ずしもｋ個の係数を決定するためのフィッティング内で使用される点ではない。
他の実施形態では、３点がｋ0RS、ｋ1RS、およびｋ2RSを決定するのに必要とされているので、それらの基準表面点の３次元座標のみに基づいてフィッティングカーブの使用を禁止する、１つまたは２つだけの選択された基準表面点がある。その場合、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）は基準表面点（複数可）に近接する表面２１０上の複数の点に対応する画像の各画素に近接する複数の画素を識別することができ、および基準表面２５０を決定するためにカーブフィッティングを可能にする、近接点（複数可）の３次元座標を決定することができる。
例示的な基準表面２５０は基準表面カーソル２３１、２３２、２３３により選択された基準表面点２２１、２２２、２２３に基づいて決定されるものとして説明してきたが、他の実施形態では、基準表面２５０は異常２０４に近接する基準表面形状２６０（例えば、円形、正方形、長方形、三角形等）を配置するためのポインティングデバイスを使用すること、および基準表面２５０を決定するための形状２６０の基準表面点２６１、２６２、２６３、２６４を使用することにより形成することができる。形状２６０の基準表面点２６１、２６２、２６３、２６４はポインティングデバイスにより選択された点とすることができる、または異常２０４を囲むような大きさにすることができる形状の周囲の上にまたはこれに近接する他の点とすることができることが理解されるであろう。
例示的な方法３００（図３）のステップ３４０において、および図５に示すように、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）は基準表面２５０の基準表面点に基づいて異常２０４に近接する関心領域２７０を決定する。関心領域２７０は異常２０４の複数の表面点を含む。一実施形態では、関心領域２７０は２つ以上の基準表面点２２１、２２２、２２３に基づいて関心領域形状２７１（例えば、円形）を形成することにより形成される。別の実施形態では、関心領域２７０は基準表面２６０に垂直な円筒を形成すること、およびそれを２つ以上の基準表面点２２１、２２２、２２３に通す、または近接することにより決定することができる。再度図４を参照すると、関心領域は基準表面形状２６０および基準表面点２６１、２６２、２６３、２６４内に形成することができる。
図５の例示的な関心領域形状２７１は基準表面点２２１、２２２、２２３を通過させることにより形成されるが、別の実施形態では、より小さい直径の基準表面の形状は基準表面点に近接するのみで通過することにより形成することができる。例えば、図６に示すように、関心領域２８０は、円形２８１の直径が２つの基準表面点２２１、２２２間の距離よりも小さい２つの基準表面点２２１、２２２に近接する関心領域形状２８１（例えば、円形）を通過させることにより形成される。関心領域形状２７１、２８１および関心領域２７０、２８０は画像２００上に表示されてもまたはされなくてもよいことが理解されるであろう。
例示的な方法３００（図３）のステップ３５０において、関心領域２７０、２８０が決定された後、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）は関心領域内の複数の表面点それぞれから基準表面２５０への距離（すなわち、深さ）を決定する。一実施形態では、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）は基準表面２５０および関心領域２７０、２８０内の複数の表面点それぞれとの間に延びる線の距離を決定し、線は基準表面２５０と垂直に交差する。
例示的な方法３００（図３）のステップ３６０において、ビデオ検査デバイスは基準表面２５０から最も遠い表面点を決定することにより関心領域２７０、２８０内の最深表面点２２４の位置を決定する（例えば、基準表面２５０まで延びる最も長い線で表面点を選択する）。本明細書で使用される「最深点」または「最深表面点」は基準表面２５０に対して凹んでいる最も遠い点、または基準表面２５０から突出している最も遠い点とすることができることが理解されるであろう。ビデオ検査デバイス１００は、最深表面点２２４上に、例えばカーソル２３４（図５）またはその他のグラフィック識別子２８２（図６）を表示することにより画像上の関心領域２７０、２８０内の最深表面点２２４を識別することができる。加えてそして図５および図６に示すように、ビデオ検査デバイス１００は画像２００上の関心領域２７０、２８０内の最深表面点２２４の深さ２９０（インチまたはミリメートル）（すなわち、最深表面点２２４から基準表面２５０に延びる垂直線の長さ）を表示することができる。関心領域２７０、２８０内の最深表面点２２４におけるカーソル２３４またはその他のグラフィック識別子２８２（図６）を自動的に表示することにより、ユーザが異常２０４内の最深表面点２２４を手動で識別する必要がないので、ビデオ検査デバイス１００は深さ測定に必要な時間を短縮し、および深さ測定の精度を改善する。
一旦カーソル２３４が関心領域２７０、２８０内の最深表面点２２４で表示されると、ユーザは深さ測定を取得しおよび保存するためにその点を選択することができる。ユーザはまた関心領域２７０、２８０内の他の表面点の深さを決定するために関心領域２７０、２８０の中でカーソル２３４を移動させることができる。一実施形態では、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）はカーソル２３４の動きを監視することができ、およびカーソル２３４が動きを停止した際に検出することができる。カーソル２３４が所定時間（例えば１秒）の間動きを停止する際に、ビデオ検査デバイス１００（例えば、ＣＰＵ１５０）はカーソル２３４に近接する最深表面点を決定することができ（例えば、カーソル２３４を中心とする所定の円形）、およびカーソル２３４をその位置に自動的に移動することができる。
図７は図１の画像２００に示す表示対象物２０２の表面２１０の例示的なプロファイル４００のグラフ表示である。この例示的なプロファイル４００において、基準表面２５０は２つの基準表面点２２１、２２２およびそれぞれの基準表面カーソル２３１、２３２との間に延びているように示される。関心領域内の最深表面点２２４の位置および深さ２９０もまたグラフ表示に示されている。別の実施形態では、点群表示もまた最深表面点２２４を表示するために使用することができる。
上記に鑑み、本発明の実施形態は表面上の異常の深さを自動的に決定する。技術的効果は、ユーザが手動で最深点を識別する必要がないので、深さ測定を実行するのに必要な時間を低減すること、および深さ測定の精度を改善することである。
当業者により理解されるであろうように、本発明の態様はシステム、方法、またはコンピュータプログラム製品として具現化されてもよい。依って、本発明の態様は完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書で「サービス」、「回路」、「回路構成」、「モジュール」および／または「システム」としてすべて一般的に参照されてもよいソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとってもよい。さらに、本発明の態様はその上に具現化されたコンピュータ読み取り可能なプログラムコードを有する１つ以上のコンピュータ読み取り可能な媒体（複数可）内に具現化されたコンピュータプログラム製品の形態をとることができる。
１つ以上のコンピュータ読み取り可能な媒体（複数可）の任意の組み合わせを利用してもよい。コンピュータ読み取り可能な媒体はコンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、これらに限定されないが、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、またはデバイス、または前述の任意の適切な組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的リスト）は以下のものを含むであろう：１つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または前述のものの任意の適切な組み合わせ。この文書の文脈では、コンピュータ読み取り可能な記憶媒体は命令実行システム、装置、またはデバイスにより使用される、または関連してプログラムを含む、または格納することができる任意の有形媒体であってもよい。
コンピュータ読み取り可能な媒体上に具現化されたプログラムコードおよび／または実行可能な命令は無線、有線、光ファイバケーブル、ＲＦなど、または前述のものの任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を使用して伝送されてもよい。
本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語などのような従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されてもよい。プログラムコードは完全にユーザのコンピュータ（デバイス）上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上でおよび部分的にリモートコンピュータ上でまたは完全にリモートコンピュータまたはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は外部コンピュータに対して行われてもよい（例えば、インターネットサービスプロバイダを使用してインターネットを介して）。
本発明の態様は、本発明の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャート図解および／またはブロック図を参照して本明細書に記載される。フローチャート図解および／またはブロック図の各ブロック、およびフローチャート図解および／またはブロック図のブロックの組み合わせはコンピュータプログラム命令により実施することができることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図のブロックまたは複数ブロック内で指定された機能／行為を実施するための手段を作成するように、マシンを生成するために汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてもよい。
これらのコンピュータプログラム命令はまた、コンピュータ読み取り可能な媒体に格納された命令がフローチャートおよび／またはブロック図のブロックまたは複数ブロックで指定された機能／動作を実施する命令を含む製造物品を生成するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに特定の方法で機能するように指示することができるコンピュータ読み取り可能な媒体に格納されてもよい。
コンピュータプログラム命令はまた、コンピュータまたはその他のプログラム可能な装置上で実行される命令がフローチャートおよび／またはブロック図のブロックまたは複数ブロックで指定された機能／行為を実施するためのプロセスを提供するように、コンピュータ実装プロセスを生成するためにコンピュータ、他のプログラム可能なデータ処理装置、または他のデバイス上で実行される一連の動作ステップを引き起こすようにコンピュータ、他のプログラム可能な装置または他のデバイスにロードされてもよい。
本明細書は最良の形態を含む本発明を開示するとともに、あらゆる装置またはシステムを製作しかつ使用しまたあらゆる組込み方法を実行することを含む本発明の当業者による実施を可能にするために例を使用している。本発明の特許可能な範囲は特許請求の範囲により定義され、当業者が想到するその他の実施例を含んでいてもよい。このような他の実施例は、それらが特許請求の範囲の文言と異ならない構造要素を有する場合、またはそれらが特許請求の範囲の文言から実質的でない相違を有する等価な構造要素を含む場合、特許請求の範囲内にあることが意図される。
１００ ビデオ検査デバイス
１０２ プローブ
１１０ 挿入チューブ
１１２ イメージャハーネス
１２０ ヘッドアセンブリ
１２２ プローブ光学系
１２４ イメージャ
１２６ イメージャハイブリッド
１３０ 取り外し可能な先端部
１３２ 先端視野光学系
１４０ プローブ電子回路
１４２ イメージャインタフェース電子回路
１４４ キャリブレーションメモリ
１４６ マイクロコントローラ
１５０ ＣＰＵ
１５２ ＣＰＵプログラムメモリ
１５４ 揮発性メモリ
１５６ 不揮発性メモリ
１５８ コンピュータＩ／Ｏインタフェース
１６０ ビデオプロセッサ
１６２ ビデオメモリ
１７０ 一体型ディスプレイ
１７２ 外付けモニタ
１８０ ジョイスティック
１８２ ボタン
１８４ キーパッド
１８６ マイクロフォン
２００ 画像
２０２ 表示対象物
２０４ 異常
２１０ 表面
２２１ 基準表面点
２２２ 基準表面点
２２３ 基準表面点
２２４ 最深表面点
２３１ 基準表面カーソル
２３２ 基準表面カーソル
２３３ 基準表面カーソル
２３４ 最深点カーソル
２４１ 画素
２４２ 画素
２４３ 画素
２５０ 基準表面
２６０ 基準表面形状
２６１ 基準表面点
２６２ 基準表面点
２６３ 基準表面点
２６４ 基準表面点
２７０ 関心領域
２７１ 関心領域形状
２８０ 関心領域
２８１ 関心領域形状
２８２ 最深点グラフィックインジケータ
２９０ 深さ
３００ 方法
３１０ 表面の画像（ステップ）
３２０ 表面点の３Ｄ（ステップ）
３３０ 基準表面（ステップ）
３４０ 関心領域（ステップ）
３５０ 関心領域内の表面点の深さ（ステップ）
３６０ 最深表面点の位置および深さ
４００ プロファイル

Claims (13)

  1. 表示対象物（２０２）の表面上の異常（２０４）の表面上の最深点を自動的に識別する方法であって、
    前記表示対象物（２０２）の前記表面の画像をイメージャ（１２４）で取得するステップと、
    前記表示対象物（２０２）の画像をモニタ（１７０、１７２）上に表示するステップと、
    中央処理ユニット（１５０）を使用して前記表示対象物（２０２）の前記表面上の複数の点の３次元座標を決定するステップと、
    前記中央処理ユニット（１５０）を使用して基準表面（２５０）を決定するステップと、
    前記中央処理ユニット（１５０）を使用して前記異常（２０４）の前記表面上の複数の点を含む関心領域（２７０、２８０）を決定するステップと、
    前記中央処理ユニット（１５０）を使用して前記関心領域（２７０、２８０）内の前記異常（２０４）の前記表面上の前記複数の点のそれぞれについて深さを決定するステップと、
    前記中央処理ユニット（１５０）を使用して前記異常（２０４）の前記表面上の前記最深点として最大の深さを有する前記関心領域（２７０、２８０）内の前記異常（２０４）の前記表面上の点を決定するステップと、
    前記異常（２０４）の前記表面の前記画像上の前記異常（２０４）の前記表面上の前記最深点の位置でのグラフィカルインジケータ（２８２）を前記モニタ（１７０、１７２）上に表示するステップと、
    前記中央処理ユニット（１５０）を使用して前記関心領域（２７０、２８０）内の前記グラフィカルインジケータ（２８２）の動きを監視するステップと、
    前記中央処理ユニット（１５０）を使用して前記グラフィカルインジケータ（２８２）が移動を停止したかどうかを検出するステップと、
    前記中央処理ユニット（１５０）を使用して前記グラフィカルインジケータ（２８２）に近接する前記異常（２０４）の前記表面上の前記複数の点のそれぞれについて深さを決定するステップと、
    前記中央処理ユニット（１５０）を使用して前記グラフィカルインジケータ（２８２）に近接する前記異常（２０４）の前記表面上の前記最深点として最大の深さを有する前記グラフィカルインジケータ（２８２）に近接する前記異常（２０４）の前記表面上の前記点を識別するステップと、
    前記グラフィカルインジケータ（２８２）に近接する前記異常（２０４）の前記表面上の前記最深点に前記グラフィカルインジケータ（２８２）を移動するステップと、
    を含み、
    前記基準表面（２５０）を決定する前記ステップは、
    ポインティングデバイスを使用して前記異常（２０４）に近接する前記表示対象物（２０２）の前記表面の複数の基準表面点（２２１、２２２、２２３、２６１、２６２、２６３、２６４）を選択するステップと、
    前記複数の基準表面点（２２１、２２２、２２３、２６１、２６２、２６３、２６４）の３次元座標のカーブフィッティングを実行するステップと、
    を含む、
    方法。
  2. 前記グラフィカルインジケータ（２８２）はカーソルである、請求項１に記載の方法。
  3. 前記異常（２０４）の前記表面上の前記最深点の前記深さを前記モニタ（１７０、１７２）上に表示するステップをさらに備える、請求項１または２に記載の方法。
  4. 前記画像は２次元画像である、請求項１から３のいずれかに記載の方法。
  5. 前記基準表面（２５０）は平面、円柱、および球体の１つである、請求項１から４のいずれかに記載の方法。
  6. 前記異常（２０４）の前記表面上の前記複数の点を含む前記関心領域（２７０、２８０）を決定する前記ステップは前記表示対象物（２０２）の前記表面上の前記基準表面点（２２１、２２２、２２３、２６１、２６２、２６３、２６４）に基づいて前記異常（２０４）に近接する関心領域形状（２７１、２８１）を形成するステップを備える、請求項１から５のいずれかに記載の方法。
  7. 前記関心領域形状（２７１、２８１）は前記基準表面点（２２１、２２２、２２３、２６１、２６２、２６３、２６４）を形状が通過するまたは近接することにより形成される、請求項６に記載の方法。
  8. 前記関心領域形状（２７１、２８１）は円形、正方形、長方形、三角形、および円筒の１つである、請求項６または７に記載の方法。
  9. 前記関心領域（２７０、２８０）内の前記異常（２０４）の前記表面上の前記複数の点のそれぞれについて前記深さを決定する前記ステップは、前記基準表面（２５０）および各点との間に延びる線の距離を決定するステップであって、前記線は前記基準表面（２５０）と垂直に交差する、決定するステップを備える、請求項１から８のいずれかに記載の方法。
  10. 前記異常（２０４）の前記表面上の前記最深点として最大の深さを有する前記関心領域（２７０、２８０）内の前記異常（２０４）の前記表面上の前記点を決定する前記ステップは前記基準表面（２５０）および前記関心領域（２７０、２８０）内の前記異常（２０４）の前記表面上の前記複数の点のそれぞれとの間に延びる最も長い線で前記点を選択するステップを備える、請求項１から９のいずれかに記載の方法。
  11. 前記関心領域（２７０、２８０）内の前記異常（２０４）の前記表面上の前記最深点は前記基準表面（２５０）に対して凹んでいる、請求項１から１０のいずれかに記載の方法。
  12. 前記関心領域（２７０、２８０）内の前記異常（２０４）の前記表面上の前記最深点は前記基準表面（２５０）に対して突出している、請求項１から１０のいずれかに記載の方法。
  13. 表示対象物（２０２）の表面上の異常（２０４）の表面上の最深点を自動的に識別するデバイスであって、
    前記表示対象物（２０２）の前記表面の画像を取得するイメージャ（１２４）と、
    前記表示対象物（２０２）の画像を表示するモニタ（１７０、１７２）と、
    中央処理ユニット（１５０）であって、
    前記表示対象物（２０２）の前記表面上の複数の点の３次元座標を決定することと、
    基準表面（２５０）を決定することと、
    前記異常（２０４）の前記表面上の複数の点を含む関心領域（２７０、２８０）を決定することと、
    前記関心領域（２７０、２８０）内の前記異常（２０４）の前記表面上の前記複数の点のそれぞれについて深さを決定することと、
    前記異常（２０４）の前記表面上の前記最深点として最大の深さを有する前記関心領域（２７０、２８０）の前記異常（２０４）の前記表面上の点を決定することと、
    前記異常（２０４）の前記表面の前記画像上の前記異常（２０４）の前記表面上の前記最深点の位置でのグラフィカルインジケータ（２８２）を前記モニタ（１７０、１７２）上に表示することと、
    前記中央処理ユニット（１５０）を使用して前記関心領域（２７０、２８０）内の前記グラフィカルインジケータ（２８２）の動きを監視することと
    前記中央処理ユニット（１５０）を使用して前記グラフィカルインジケータ（２８２）が移動を停止したかどうかを検出することと、
    前記中央処理ユニット（１５０）を使用して前記グラフィカルインジケータ（２８２）に近接する前記異常（２０４）の前記表面上の前記複数の点のそれぞれについて深さを決定することと、
    前記中央処理ユニット（１５０）を使用して前記グラフィカルインジケータ（２８２）に近接する前記異常（２０４）の前記表面上の前記最深点として最大の深さを有する前記グラフィカルインジケータ（２８２）に近接する前記異常（２０４）の前記表面上の前記点を識別することと、
    前記グラフィカルインジケータ（２８２）に近接する前記異常（２０４）の前記表面上の前記最深点に前記グラフィカルインジケータ（２８２）を移動することと、
    のための中央処理ユニット（１５０）と、
    前記異常（２０４）に近接する前記表示対象物（２０２）の前記表面上の複数の基準表面点（２２１、２２２、２２３、２６１、２６２、２６３、２６４）を選択するためのポインティングデバイスであって、前記複数の基準表面点（２２１、２２２、２２３、２６１、２６２、２６３、２６４）は前記複数の基準表面点（２２１、２２２、２２３、２６１、２６２、２６３、２６４）の３次元座標のカーブフィッティングを実行することにより前記基準表面（２５０）を決定するために使用される、ポインティングデバイスと、
    を備える、デバイス。
JP2014249470A 2013-12-17 2014-12-10 異常の表面上の最深点を自動的に識別するための方法およびデバイス Active JP6537814B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/108,976 US9875574B2 (en) 2013-12-17 2013-12-17 Method and device for automatically identifying the deepest point on the surface of an anomaly
US14/108,976 2013-12-17

Publications (2)

Publication Number Publication Date
JP2015129746A JP2015129746A (ja) 2015-07-16
JP6537814B2 true JP6537814B2 (ja) 2019-07-03

Family

ID=53192776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014249470A Active JP6537814B2 (ja) 2013-12-17 2014-12-10 異常の表面上の最深点を自動的に識別するための方法およびデバイス

Country Status (4)

Country Link
US (1) US9875574B2 (ja)
JP (1) JP6537814B2 (ja)
CN (1) CN104713529A (ja)
DE (1) DE102014118015A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019812B2 (en) 2011-03-04 2018-07-10 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
US10586341B2 (en) 2011-03-04 2020-03-10 General Electric Company Method and device for measuring features on or near an object
US10157495B2 (en) 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US9984474B2 (en) 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
US9818039B2 (en) 2013-12-17 2017-11-14 General Electric Company Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US9842430B2 (en) 2013-12-17 2017-12-12 General Electric Company Method and device for automatically identifying a point of interest on a viewed object
CA2998880C (en) * 2015-09-25 2024-01-09 General Electric Company Method and device for measuring features on or near an object
JP6865046B2 (ja) * 2016-02-08 2021-04-28 ゼネラル・エレクトリック・カンパニイ 視認物体の深度測定において関心点を自動的に識別する方法および装置
JP6736383B2 (ja) * 2016-06-27 2020-08-05 株式会社キーエンス 測定装置
JP6695748B2 (ja) * 2016-06-27 2020-05-20 株式会社キーエンス 測定装置
CA3009798A1 (en) * 2017-07-12 2019-01-12 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
WO2019244345A1 (ja) * 2018-06-22 2019-12-26 オリンパス株式会社 ランドマーク推定方法、及び、内視鏡装置
KR102022964B1 (ko) * 2018-06-26 2019-09-19 주식회사 노바테크 구조물 내부 점검 장치
KR102013732B1 (ko) * 2018-07-16 2019-08-23 금나송 스캔용 마커 장치 및 이를 이용한 스캔 시스템
CN109900713B (zh) * 2019-04-17 2022-01-18 中国人民解放军国防科技大学 摄像引导的无人机风电叶片缺陷动态检测系统及其方法
JP2021049248A (ja) * 2019-09-26 2021-04-01 キヤノン株式会社 画像処理システム及びその制御方法
CN113393464B (zh) * 2021-08-18 2021-11-05 苏州鼎纳自动化技术有限公司 一种平板玻璃缺陷的三维检测方法

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL6918432A (ja) * 1969-01-09 1970-07-13
US4357660A (en) * 1973-05-01 1982-11-02 Schlumberger Technology Corporation Formation dip and azimuth processing technique
US4188122A (en) * 1978-03-27 1980-02-12 Rockwell International Corporation Interferometer
US4493105A (en) 1982-03-31 1985-01-08 General Electric Company Method and apparatus for visual image processing
US4688184A (en) * 1984-03-29 1987-08-18 Mitsubishi Denki Kabushiki Kaisha System for measuring three-dimensional coordinates
US4983836A (en) * 1988-06-30 1991-01-08 Nkk Corporation Method for detecting thinned out portion on inner surface or outer surface of pipe
US4988886A (en) 1989-04-06 1991-01-29 Eastman Kodak Company Moire distance measurement method and apparatus
FR2647913B1 (fr) 1989-06-05 1991-09-13 Essilor Int Dispositif optique a reseau et element separateur pour le controle, par detection de phase, d'un quelconque systeme optique, en particulier d'une lentille ophtalmique
US4980763A (en) 1989-06-12 1990-12-25 Welch Allyn, Inc. System for measuring objects viewed through a borescope
US5198877A (en) * 1990-10-15 1993-03-30 Pixsys, Inc. Method and apparatus for three-dimensional non-contact shape sensing
US5434669A (en) 1990-10-23 1995-07-18 Olympus Optical Co., Ltd. Measuring interferometric endoscope having a laser radiation source
US5175601A (en) 1991-10-15 1992-12-29 Electro-Optical Information Systems High-speed 3-D surface measurement surface inspection and reverse-CAD system
EP0549182A2 (en) 1991-12-23 1993-06-30 General Electric Company Apparatus and method for displaying surgical cuts in three-dimensional models
DE4301716C2 (de) 1992-02-04 1999-08-12 Hitachi Ltd Projektionsbelichtungsgerät und -verfahren
US5273429A (en) * 1992-04-03 1993-12-28 Foster-Miller, Inc. Method and apparatus for modeling a dental prosthesis
US5716324A (en) 1992-08-25 1998-02-10 Fuji Photo Film Co., Ltd. Endoscope with surface and deep portion imaging systems
US5307152A (en) 1992-09-29 1994-04-26 Industrial Technology Institute Moire inspection system
US5633675A (en) 1993-02-16 1997-05-27 Welch Allyn, Inc, Shadow probe
US5645740A (en) * 1993-11-01 1997-07-08 Naiman; Charles S. System and assemblage for producing microtexturized substrates and implants
US5510833A (en) 1994-06-13 1996-04-23 Display Laboratories Inc. Method and apparatus for transforming coordinate systems in an automated video monitor alignment system
US5581352A (en) 1994-09-22 1996-12-03 Zeien; Robert Phase shifting device with selectively activated grating generator
US5782762A (en) 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6208416B1 (en) 1996-03-22 2001-03-27 Loughborough University Innovations Limited Method and apparatus for measuring shape of objects
US6064759A (en) 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US5822066A (en) 1997-02-26 1998-10-13 Ultratech Stepper, Inc. Point diffraction interferometer and pin mirror for use therewith
GB9716240D0 (en) 1997-07-31 1997-10-08 Tricorder Technology Plc Scanning apparatus and methods
US6201541B1 (en) 1997-12-11 2001-03-13 Cognitens, Ltd. System and method for “Stitching” a plurality of reconstructions of three-dimensional surface features of object(s) in a scene defined relative to respective coordinate systems to relate them to a common coordinate system
US6438272B1 (en) 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
US6011624A (en) 1998-01-06 2000-01-04 Zygo Corporation Geometrically-Desensitized interferometer with adjustable range of measurement depths
JP3561403B2 (ja) 1998-01-21 2004-09-02 富士通株式会社 ３次元データ変換装置及び記録媒体
US6717578B1 (en) 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
US6256595B1 (en) 1998-03-04 2001-07-03 Amada Company, Limited Apparatus and method for manually selecting, displaying, and repositioning dimensions of a part model
JP2000227326A (ja) 1998-12-02 2000-08-15 Nikon Corp 平坦度測定装置
US6129722A (en) * 1999-03-10 2000-10-10 Ruiz; Luis Antonio Interactive corrective eye surgery system with topography and laser system interface
US6459481B1 (en) 1999-05-06 2002-10-01 David F. Schaack Simple system for endoscopic non-contact three-dimentional measurement
JP4399068B2 (ja) * 1999-11-18 2010-01-13 本田技研工業株式会社 筒形状加工物の評価方法および評価装置
JP4574770B2 (ja) 1999-11-29 2010-11-04 株式会社東芝 医用三次元画像表示装置
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US6956576B1 (en) 2000-05-16 2005-10-18 Sun Microsystems, Inc. Graphics system using sample masks for motion blur, depth of field, and transparency
US6670962B2 (en) 2001-03-16 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Surface following interaction method for adaptively sampled distance fields
JP2002286422A (ja) * 2001-03-25 2002-10-03 Omron Corp 変位センサ
US20020163573A1 (en) 2001-04-11 2002-11-07 Bieman Leonard H. Imaging system
CA2463570C (en) * 2001-10-11 2012-06-19 Laser Projection Technologies, Inc. Method and system for visualizing surface errors
US6714307B2 (en) 2001-10-16 2004-03-30 Zygo Corporation Measurement of complex surface shapes using a spherical wavefront
JP3898945B2 (ja) 2001-12-21 2007-03-28 ペンタックス株式会社 写真測量システムと写真測量方法と写真測量プログラムが格納された記録媒体
US7170677B1 (en) 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
GB2389914B (en) 2002-06-18 2004-05-26 Keymed Dual capability borescope
JP3938721B2 (ja) 2002-07-01 2007-06-27 オリンパス株式会社 計測用内視鏡装置
DE10242922A1 (de) 2002-09-16 2004-04-01 Siemens Ag Rechnergestütztes Selektionsverfahren für einen Teil eines Volumens
US6909988B2 (en) * 2002-10-15 2005-06-21 General Electric Company Method for positioning defects in metal billets
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
US7286246B2 (en) 2003-03-31 2007-10-23 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
SE526735C2 (sv) 2003-06-13 2005-11-01 Atos Medical Ab Anordning för mätning av fysiska egenskaper hos trumhinnan
WO2005054780A1 (en) 2003-11-28 2005-06-16 The General Hospital Corporation Method and apparatus for three-dimensional spectrally encoded imaging
FR2868156B1 (fr) * 2004-03-25 2006-11-10 Airbus France Sas Procede et dispositif de controle non destructif de structure et de caracterisation des endommagements de structure par le principe de moire d'ombre
JP4536422B2 (ja) 2004-05-21 2010-09-01 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大観察用操作プログラムおよびコンピュータで読み取り可能な記録媒体または記録した機器
EP1600564A1 (de) 2004-05-24 2005-11-30 Leica Geosystems AG Verfahren zur Steuerung einer oberflächenverändernden Maschine
WO2006056614A1 (en) 2004-11-27 2006-06-01 Bracco Imaging S.P.A. 2d / 3d integrated contour editor
US7755817B2 (en) 2004-12-07 2010-07-13 Chimei Innolux Corporation Color gamut mapping
JP2007029460A (ja) 2005-07-27 2007-02-08 Topcon Corp 眼科画像処理装置及び眼科画像処理プログラム
JP4701948B2 (ja) 2005-09-21 2011-06-15 オムロン株式会社 パタン光照射装置、３次元形状計測装置、及びパタン光照射方法
WO2007043899A1 (en) * 2005-10-14 2007-04-19 Applied Research Associates Nz Limited A method of monitoring a surface feature and apparatus therefor
CA2528791A1 (en) 2005-12-01 2007-06-01 Peirong Jia Full-field three-dimensional measurement method
JP4869699B2 (ja) 2005-12-13 2012-02-08 オリンパス株式会社 内視鏡装置
JP2007205918A (ja) 2006-02-02 2007-08-16 Olympus Corp 計測内視鏡
US7855732B2 (en) 2006-09-05 2010-12-21 Pc Connection, Inc. Hand producer for background separated images
DE102006048234A1 (de) 2006-10-11 2008-04-17 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts
US8810636B2 (en) 2006-12-20 2014-08-19 Ge Inspection Technologies, Lp Inspection apparatus method and apparatus comprising selective frame output
US7782453B2 (en) 2006-12-28 2010-08-24 Ge Inspection Technologies, Lp Method for measuring missing corner dimensions
US20080198159A1 (en) 2007-02-16 2008-08-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for efficient and flexible surveillance visualization with context sensitive privacy preserving and power lens data mining
AU2008271910A1 (en) 2007-06-29 2009-01-08 Three Pixels Wide Pty Ltd Method and system for generating a 3D model from images
US20090041553A1 (en) * 2007-08-06 2009-02-12 3M Innovative Properties Company Fly-cutting system and method, and related tooling and articles
JP4492654B2 (ja) 2007-08-29 2010-06-30 オムロン株式会社 ３次元計測方法および３次元計測装置
US8199813B2 (en) 2007-12-18 2012-06-12 GE Inspection Technologies Method for embedding frames of high quality image data in a streaming video
US8422030B2 (en) 2008-03-05 2013-04-16 General Electric Company Fringe projection system with intensity modulating by columns of a plurality of grating elements
US7821649B2 (en) 2008-03-05 2010-10-26 Ge Inspection Technologies, Lp Fringe projection system and method for a probe suitable for phase-shift analysis
US8107083B2 (en) 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
US7812968B2 (en) 2008-03-05 2010-10-12 Ge Inspection Technologies, Lp Fringe projection system and method for a probe using a coherent fiber bundle
US7969583B2 (en) 2008-03-05 2011-06-28 General Electric Company System and method to determine an object distance from a reference point to a point on the object surface
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
EP2313868B1 (en) * 2008-07-18 2016-03-16 Vorum Research Corporation Method, apparatus, signals and media for producing a computer representation of a three-dimensional surface of an appliance for a living body
JP5253109B2 (ja) * 2008-11-25 2013-07-31 オリンパス株式会社 内視鏡装置および内視鏡画像用プログラム
CA2754812A1 (en) 2009-03-19 2010-09-23 General Electric Company Optical gage and three-dimensional surface profile measurement method
WO2010110237A1 (ja) * 2009-03-26 2010-09-30 Hoya株式会社 反射型マスク用多層反射膜付基板及び反射型マスクブランク並びにそれらの製造方法
CN101871767B (zh) 2009-04-25 2012-05-30 鸿富锦精密工业（深圳）有限公司 零件形位公差检测系统及方法
IT1395344B1 (it) 2009-05-28 2012-09-14 Geosoft S R L Metodo di restituzione fotogrammetrica assistita da nuvola di punti e relativo apparato.
JP5503935B2 (ja) * 2009-09-30 2014-05-28 富士フイルム株式会社 ハードコートフィルム、反射防止フィルム、偏光板及び画像表示装置
KR20110054852A (ko) * 2009-11-18 2011-05-25 삼성전자주식회사 터치 스크린을 구비한 단말기 및 그 단말기에서 기하학적 데이터 측정 방법
JP2011158549A (ja) 2010-01-29 2011-08-18 Olympus Corp 内視鏡装置およびプログラム
US8760447B2 (en) * 2010-02-26 2014-06-24 Ge Inspection Technologies, Lp Method of determining the profile of a surface of an object
JP5530225B2 (ja) * 2010-03-09 2014-06-25 オリンパス株式会社 内視鏡装置およびプログラム
US8422034B2 (en) * 2010-04-21 2013-04-16 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US8165351B2 (en) 2010-07-19 2012-04-24 General Electric Company Method of structured light-based measurement
US9013469B2 (en) * 2011-03-04 2015-04-21 General Electric Company Method and device for displaying a three-dimensional view of the surface of a viewed object
US9984474B2 (en) * 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
US8411083B2 (en) 2011-04-06 2013-04-02 General Electric Company Method and device for displaying an indication of the quality of the three-dimensional data for a surface of a viewed object
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US10018467B2 (en) 2011-06-09 2018-07-10 Clark Alexander Bendall System and method for measuring a distance to an object
US8849620B2 (en) * 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
US20130287288A1 (en) * 2012-04-25 2013-10-31 General Electric Company Method and device for determining the offset distance between two surfaces
US10330608B2 (en) * 2012-05-11 2019-06-25 Kla-Tencor Corporation Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools
JP6052956B2 (ja) * 2012-07-02 2016-12-27 株式会社ミツトヨ 形状解析方法および形状解析プログラム
GB2505926A (en) 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
JP6176978B2 (ja) * 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP6737705B2 (ja) * 2013-11-14 2020-08-12 ザ・ジョージ・ワシントン・ユニバーシティＴｈｅ Ｇｅｏｒｇｅ Ｗａｓｈｉｎｇｔｏｎｕｎｉｖｅｒｓｉｔｙ 損傷部位の深さを決定するシステムの動作方法及び心臓組織の画像を生成するシステム
US9818039B2 (en) * 2013-12-17 2017-11-14 General Electric Company Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US9600928B2 (en) * 2013-12-17 2017-03-21 General Electric Company Method and device for automatically identifying a point of interest on the surface of an anomaly
US9842430B2 (en) * 2013-12-17 2017-12-12 General Electric Company Method and device for automatically identifying a point of interest on a viewed object

Also Published As

Publication number Publication date
JP2015129746A (ja) 2015-07-16
DE102014118015A1 (de) 2015-06-18
US9875574B2 (en) 2018-01-23
CN104713529A (zh) 2015-06-17
US20150170352A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP6537814B2 (ja) 異常の表面上の最深点を自動的に識別するための方法およびデバイス
US11514643B2 (en) Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US9600928B2 (en) Method and device for automatically identifying a point of interest on the surface of an anomaly
JP6446251B2 (ja) 異常の表面上の関心点を自動的に識別するための方法およびデバイス
US9842430B2 (en) Method and device for automatically identifying a point of interest on a viewed object
JP6030837B2 (ja) 観察対象物の表面の３次元ビューを表示するための方法および装置
US10019812B2 (en) Graphic overlay for measuring dimensions of features using a video inspection device
US11308343B2 (en) Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
JP6865046B2 (ja) 視認物体の深度測定において関心点を自動的に識別する方法および装置
US20130287288A1 (en) Method and device for determining the offset distance between two surfaces
JP7373037B2 (ja) 映像検査機器を使用して特徴の寸法を測定するためのグラフィックオーバーレイ
JP2012220496A (ja) 目視される物体の表面に関する３次元データの品質の指示を表示するための方法およびデバイス
JP6895382B2 (ja) 観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための方法および機器
JP6966997B2 (ja) 対象上または対象の近くの特徴を測定するための方法および機器
JP7098271B2 (ja) 視認物体上の関心点を自動的に識別する方法
JP7265594B2 (ja) 自動化されたタービンブレードとシュラウドとの間の間隙測定

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190605

R150 Certificate of patent or registration of utility model

Ref document number: 6537814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250