JP7098271B2 - 視認物体上の関心点を自動的に識別する方法 - Google Patents

視認物体上の関心点を自動的に識別する方法 Download PDF

Info

Publication number
JP7098271B2
JP7098271B2 JP2017017233A JP2017017233A JP7098271B2 JP 7098271 B2 JP7098271 B2 JP 7098271B2 JP 2017017233 A JP2017017233 A JP 2017017233A JP 2017017233 A JP2017017233 A JP 2017017233A JP 7098271 B2 JP7098271 B2 JP 7098271B2
Authority
JP
Japan
Prior art keywords
point
plane
offset
points
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017017233A
Other languages
English (en)
Other versions
JP2017162452A (ja
Inventor
クラーク・アレクサンダー・ベンドール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/018,587 external-priority patent/US9842430B2/en
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2017162452A publication Critical patent/JP2017162452A/ja
Application granted granted Critical
Publication of JP7098271B2 publication Critical patent/JP7098271B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed

Description

本明細書に開示の主題は、ビデオ検査装置を用いて視認物体上の関心点(たとえば、最深点または最高点)を自動的に識別する方法および装置に関する。
ビデオ内視鏡またはボアスコープ等のビデオ検査装置の使用により、物体の表面を検査して、たとえば損傷、摩耗、腐食、または不適切な設置に起因し得る物体上の異常(たとえば、窪みまたは凹み)を識別および解析することができる。多くの場合、物体の表面は、近づくことができず、ビデオ検査装置を用いなくては視認不可能である。たとえば、ビデオ検査装置を使用して、航空機または発電ユニットのタービンエンジンの翼の表面を検査することにより、表面に形成されている可能性があるあらゆる異常を識別して修繕または別途保守が必要であるかを判定することができる。この評価のため、表面および異常の寸法測定結果を高精度に取得して、異常が当該物体の動作限界または所要仕様を超えたり外れたりしていないことを確認することが必要になる場合が多い。
ビデオ検査装置の使用により、異常を示す視認物体の表面の2次元画像を取得および表示して、表面上の異常の寸法を決定することができる。また、この表面の2次元画像を用いることにより、異常の近接点を含む表面上の複数の点の3次元座標(たとえば、(x,y,z))を与える表面の3次元データを生成することができる。いくつかのビデオ検査装置において、ユーザは、ビデオ検査装置を測定モードで動作させて測定画面に入ることができるが、ここでは、カーソルを2次元画像上に配置して、異常の幾何学的寸法を決定する。多くの場合、視認形体の輪郭は、2次元画像で評価するのが難しく、異常に近接してカーソルを高精度に配置するのが難しくなる。たとえば、異常の深さを測定しようとする場合、2次元画像では、異常の表面の最深点の位置を決定してカーソルをその位置の上に配置するのが困難となる可能性がある。
いくつかのビデオ検査装置においては、異常の周りに3つのカーソルを1つずつ配置して基準面を確立した後、面外の点に第4のカーソルを配置して基準面と第4の点における表面との間の垂直距離を決定することにより、異常の深さが決定される。この深度測定は、異常の表面の最深点を測定しようとする場合に最もよく用いられる。ジョイスティックにより各カーソルを位置決めした後、ユーザは、ボタンを押して、当該カーソルに関する操作が完了し、次の準備ができたことを示す。その後、画面の中央において最初に、新たなカーソルが任意に位置決めされる。したがって、深度測定の第4のカーソルに関し、ユーザは、画面の中央から異常の位置までカーソルを移動させた後、カーソルをあちこち移動させて異常の表面の最深点を手動で探索する必要がある。このプロセスは、時間を要する可能性があり、また、必ずしも最深点が識別され得ない。
米国特許出願公開第2012/0314058号明細書
ビデオ検査装置を用いて視認物体上の関心点(たとえば、最深点または最高点)を自動的に識別する方法および装置が開示される。この方法では、物体の画像に第1のカーソルを配置して第1のスライス平面および第1の表面輪郭線を確立するとともに、第1のカーソルからオフセットした別のカーソルを配置して、オフセット(第2の)スライス平面およびオフセット(第2の)表面輪郭線を確立する。その後、第1の表面輪郭線およびオフセット(第2の)表面輪郭線上の対応する点間でのプロファイルスライス平面およびプロファイル表面輪郭線の決定により、関心点を自動的に識別する。関心点を自動的に識別する方法および装置の開示のいくつかの実施形態の実施に際して実現可能な利点として、ユーザが関心点(最深点または最高点)を手動で識別する必要がないことから、測定の実行に要する時間が短縮されるとともに、測定の精度が向上する。
一実施形態においては、視認物体上の関心点を自動的に識別する方法が開示される。この方法は、視認物体の画像をモニタに表示するステップと、中央演算処理ユニットを用いて、視認物体の表面上の複数の点の3次元座標を決定するステップと、ポインティングデバイスを用いて、第1の基準線位置決め点を選択するステップと、ポインティングデバイスを用いて、第2の基準線位置決め点を選択するステップと、中央演算処理ユニットを用いて、第1の基準線位置決め点および第2の基準線位置決め点と関連付けられた視認物体の表面上の複数の点に基づいて基準面を決定するステップと、中央演算処理ユニットを用いて、基準面に垂直であり、第1の基準線位置決め点と関連付けられた視認物体の表面上の点および第2の基準線位置決め点と関連付けられた視認物体の表面上の点を含む第1のスライス平面を決定するステップと、中央演算処理ユニットを用いて、第1のスライス平面に近接する視認物体の表面上の複数の点を含む第1の表面輪郭線を決定するステップと、ポインティングデバイスを用いて、オフセット基準線位置決め点を選択するステップと、中央演算処理ユニットを用いて、オフセット基準線位置決め点と関連付けられた視認物体の表面上の点を含むオフセットスライス平面を決定するステップと、中央演算処理ユニットを用いて、オフセットスライス平面に近接する視認物体の表面上の複数の点を含むオフセット表面輪郭線を決定するステップと、中央演算処理ユニットを用いて、第1の表面輪郭線とオフセット表面輪郭線との間の複数のプロファイル表面輪郭線を決定するステップと、中央演算処理ユニットを用いて、複数のプロファイル表面輪郭線のいずれかの上の最深点または最高点として関心点を決定するステップと、を含む。
別の実施形態において、この方法は、視認物体の画像をモニタに表示するステップと、中央演算処理ユニットを用いて、視認物体の表面上の複数の点の3次元座標を決定するステップと、ポインティングデバイスを用いて、第1の基準線位置決め点を選択するステップと、中央演算処理ユニットを用いて、第1の基準線位置決め点と関連付けられた視認物体の表面上の複数の点に基づいて基準面を決定するステップと、中央演算処理ユニットを用いて、基準面に垂直であり、第1の基準線位置決め点と関連付けられた視認物体の表面上の点を含む第1のスライス平面を決定するステップと、中央演算処理ユニットを用いて、第1のスライス平面に近接する視認物体の表面上の複数の点を含む第1の表面輪郭線を決定するステップと、ポインティングデバイスを用いて、オフセット基準線位置決め点を選択するステップと、中央演算処理ユニットを用いて、オフセット基準線位置決め点と関連付けられた視認物体の表面上の点を含むオフセットスライス平面を決定するステップと、中央演算処理ユニットを用いて、オフセットスライス平面に近接する視認物体の表面上の複数の点を含むオフセット表面輪郭線を決定するステップと、中央演算処理ユニットを用いて、第1の表面輪郭線とオフセット表面輪郭線との間の複数のプロファイル表面輪郭線を決定するステップと、中央演算処理ユニットを用いて、複数のプロファイル表面輪郭線のいずれかの上の最深点または最高点として関心点を決定するステップと、を含む。
さらに別の実施形態においては、視認物体上の関心点を自動的に識別する装置が開示される。この装置は、視認物体の画像を表示するモニタと、第1の基準線位置決め点を選択することと、オフセット基準線位置決め点を選択することとを行うポインティングデバイスと、視認物体の表面上の複数の点の3次元座標を決定することと、第1の基準線位置決め点および第2の基準線位置決め点と関連付けられた視認物体の表面上の複数の点に基づいて基準面を決定することと、基準面に垂直であり、第1の基準線位置決め点と関連付けられた視認物体の表面上の点および第2の基準線位置決め点と関連付けられた視認物体の表面上の点を含む第1のスライス平面を決定することと、第1のスライス平面に近接する視認物体の表面上の複数の点を含む第1の表面輪郭線を決定することと、オフセット基準線位置決め点と関連付けられた視認物体の表面上の点を含むオフセットスライス平面を決定することと、オフセットスライス平面に近接する視認物体の表面上の複数の点を含むオフセット表面輪郭線を決定することと、第1の表面輪郭線とオフセット表面輪郭線との間の複数のプロファイル表面輪郭線を決定することと、複数のプロファイル表面輪郭線のいずれかの上の最深点または最高点として関心点を決定することとを行う中央演算処理ユニットと、を備える。
上記実施形態は、例示に過ぎない。他の実施形態についても、開示の主題の範囲内である。
本発明の特徴を理解可能となるように、一部を添付の図面に示す特定の実施形態を参照して、本発明を詳細に説明する。ただし、開示の主題の範囲が他の実施形態も同様に網羅することから、図面は、本発明の特定の実施形態のみを示しており、その範囲を限定するものと見なすべきでなないことに留意するものとする。図面は、必ずしも原寸に比例しておらず、一般的に、本発明の特定の実施形態の特徴を図示することに重点を置いている。図中、さまざまな図面の全体を通して、類似する部分は、類似の番号を用いて指定している。
例示的なビデオ検査装置のブロック図である。 本発明の例示的な一実施形態における、ビデオ検査装置により取得された異常がある視認物体の物体表面の例示的な画像を示した図である。 本発明の例示的な一実施形態における、図2の画像に示す視認物体上の異常の表面上の最深点を自動的に識別する例示的な方法のフローチャートである。 ビデオ検査装置により決定された例示的な基準面を示した図である。 ビデオ検査装置により決定された例示的な関心領域を示した図である。 ビデオ検査装置により決定された別の例示的な関心領域を示した図である。 本発明の例示的な一実施形態における、図2の画像に示す視認物体の物体表面の例示的なプロファイルのグラフ表示図である。 本発明の別の例示的な実施形態における、ビデオ検査装置により取得された異常がある視認物体の物体表面の別の例示的な画像を示した図である。 異常の表面上の関心点を含む第1の基準線と第2の基準線との間の物体表面上の例示的なプロファイル表面輪郭線の決定を示した図である。 本発明の例示的な一実施形態における、図8の画像に示す視認物体の物体表面の別の例示的なプロファイルのグラフ表示図である。 本発明の例示的な一実施形態における、図8の画像に示す視認物体上の物体表面上の異常の表面上の関心点を自動的に識別する別の例示的な方法のフローチャートである。 本発明の別の例示的な実施形態における、ビデオ検査装置により取得された異常がある視認物体の物体表面のさらに別の例示的な画像を示した図である。 本発明の別の例示的な実施形態における、ビデオ検査装置により取得されたパイプの内側のさらに別の例示的な画像を示した図である。
開示の主題の実施形態は、ビデオ検査装置を用いて視認物体上の関心点を自動的に識別する技術を提供する。一実施形態において、この方法では、物体の画像に第1のカーソルを配置して第1のスライス平面および第1の表面輪郭線を確立するとともに、第1のカーソルからオフセットした別のカーソルを配置して、オフセット(第2の)スライス平面およびオフセット(第2の)表面輪郭線を確立する。その後、第1の表面輪郭線およびオフセット(第2の)表面輪郭線上の対応する点間でのプロファイルスライス平面およびプロファイル表面輪郭線の決定により、関心点を自動的に識別する。他の実施形態についても、開示の主題の範囲内である。
図1は、例示的なビデオ検査装置100のブロック図である。図1に示すビデオ検査装置100は例示であり、本発明の範囲は、如何なる特定のビデオ検査装置100にも、ビデオ検査装置100内の構成要素の如何なる特定の構成にも限定されないことが了解される。
ビデオ検査装置100は、挿入チューブ110を備えた細長プローブ102と、挿入チューブ110の遠位端に配設されたヘッドアセンブリ120とを具備し得る。挿入チューブ110としては、ヘッドアセンブリ120とプローブ電子機器140との間のすべての相互接続が通過する可撓性の管状部が可能である。ヘッドアセンブリ120は、視認物体202からの光を案内して撮像機器124上に集光するプローブ光学素子122を具備し得る。プローブ光学素子122は、たとえば単一のレンズまたは複数の構成要素を有するレンズを備え得る。撮像機器124としては、視認物体202の画像を取得する固体CCDまたはCMOS画像センサが可能である。
ヘッドアセンブリ120の遠位端には、取り外し可能な先端またはアダプタ130を配置可能である。取り外し可能な先端130は、プローブ光学素子122と協働することにより、視認物体202からの光を案内して撮像機器124上に集光する先端視認光学素子132(たとえば、レンズ、ウィンドウ、またはアパチャ)を具備し得る。また、取り外し可能な先端130は、ビデオ検査装置100の光源が先端130から発せされる場合の照明LED(図示せず)またはプローブ102から視認物体202に光を伝達する光伝達要素(図示せず)を具備し得る。また、先端130は、カメラ視野および光出力を側方に向ける導波路(たとえば、プリズム)を具備することにより、側視を可能にし得る。また、先端130は、視認面の3次元データの決定に用いられる立体視光学素子または構造化光投射要素を提供していてもよい。先端130に具備し得る要素は、プローブ102自体にも具備可能である。
撮像機器124は、複数の行および列に形成された複数の画素を具備するとともに、当該撮像機器124の各画素に入射する光を表すアナログ電圧の形態の画像信号を生成し得る。画像信号は、信号バッファリングおよび調節用の電子機器を提供する撮像混成器126を通って、撮像混成器126と撮像機器インターフェース電子機器142との間の制御およびビデオ信号用の配線を提供する撮像機器ハーネス112まで伝搬可能である。撮像機器インターフェース電子機器142は、電源と、撮像機器クロック信号を発生するタイミング発生器と、撮像機器ビデオ出力信号をデジタル化するアナログフロントエンドと、デジタル化された撮像機器ビデオデータをより有用なビデオフォーマットに処理するデジタルシグナルプロセッサとを具備し得る。
撮像機器インターフェース電子機器142は、ビデオ検査装置10を動作させる機能群を提供するプローブ電子機器140の一部である。また、プローブ電子機器140は、プローブ102および/または先端130の校正データを格納する校正メモリ144を具備し得る。また、プローブ電子機器140には、撮像機器インターフェース電子機器142と通信を行って利得および露出設定を決定および設定し、校正メモリ144に対する校正データの格納および読み出しを行い、視認物体202に供給される光を制御し、ビデオ検査装置100の中央演算処理ユニット(CPU)150と通信を行うため、マイクロコントローラ146を備え得る。
マイクロコントローラ146との通信の他、撮像機器インターフェース電子機器142は、1つまたは複数のビデオプロセッサ160とも通信可能である。ビデオプロセッサ160は、撮像機器インターフェース電子機器142からビデオ信号を受信するとともに、一体ディスプレイ170または外部モニタ172等のさまざまなモニタ170、172に信号を出力することができる。一体ディスプレイ170としては、ビデオ検査装置100に組み込まれ、さまざまな画像またはデータ(たとえば、視認物体202の画像、メニュー、カーソル、測定結果)を検査者に表示するLCDスクリーンが可能である。外部モニタ172としては、ビデオ検査装置100に接続され、さまざまな画像またはデータを表示するビデオモニタまたはコンピュータ型モニタが可能である。
ビデオプロセッサ160は、コマンド、ステータス情報、ストリーミングビデオ、静止ビデオ画像、およびグラフィックオーバーレイをCPU150に/から提供/受信可能であるとともに、画像取り込み、画像向上、グラフィックオーバーレイ結合、歪み補正、フレーム平均化、スケーリング、デジタルズーム、オーバーレイ、結合、フリッピング、動き検出、ならびにビデオフォーマット変換および圧縮等の機能を提供するFPGA、DSPまたはその他の処理要素で構成されていてもよい。
CPU150の使用により、画像、ビデオ、および音声の格納および呼び出し機能、システム制御、ならびに測定結果処理等の他の機能のホストを提供する他、ジョイスティック180、ボタン182、キーパッド184、および/またはマイク186を介して入力を受け付けることによって、ユーザインターフェースを管理可能である。ジョイスティック180は、ユーザによる操作によって、メニュー選択、カーソル移動、スライダ調整、およびプローブ102の関節制御等の動作を実行可能であり、押しボタン機能を含んでいてもよい。また、ボタン182および/またはキーパッド184は、メニュー選択およびユーザコマンドのCPU150への提供(たとえば、静止画像の凍結または保存)に使用可能である。マイク186は、検査者による使用によって、静止画像を凍結または保存する音声命令を提供可能である。
また、ビデオプロセッサ160は、フレームのバッファリングおよび処理中のデータの一時的保持のために当該ビデオプロセッサ160が使用するビデオメモリ162と通信可能である。また、CPU150は、CPUプログラムメモリ152と通信して、当該CPU150が実行するプログラムを格納することができる。さらに、CPU150は、揮発性メモリ154(たとえば、RAM)および不揮発性メモリ156(たとえば、フラッシュメモリデバイス、ハードドライブ、DVD,またはEPROMメモリデバイス)と通信可能である。不揮発性メモリ156は、ストリーミングビデオおよび静止画像の主記憶装置である。
また、CPU150は、USB、ファイヤワイヤ、イーサネット(登録商標)、オーディオI/O、および無線送受信機等のさまざまなインターフェースを周辺機器およびネットワークに提供するコンピュータI/Oインターフェース158と通信可能である。このコンピュータI/Oインターフェース158は、静止画像、ストリーミングビデオ、または音声の保存、呼び出し、送信、および/または受信に利用可能である。たとえば、コンピュータI/Oインターフェース158には、USB「サムドライブ」またはコンパクトフラッシュ(登録商標)メモリカードを差し込み可能である。また、ビデオ検査装置100は、画像データまたはストリーミングビデオデータのフレームを外部のコンピュータまたはサーバに送信するように構成可能である。ビデオ検査装置100は、TCP/IP通信プロトコル一式を組み込み可能であるとともに、複数のローカルおよびリモートコンピュータを含み、それぞれのコンピュータもTCP/IP通信プロトコル一式を組み込んだワイドエリアネットワークに組み込み可能である。TCP/IPプロトコル一式を組み込むことにより、ビデオ検査装置100は、TCPおよびUDP等の複数のトランスポート層プロトコルならびにHTTPおよびFTP等の複数の異なる層のプロトコルを組み込む。
図1においては、特定の構成要素を単一の構成要素(たとえば、CPU150)として示したが、複数の別個の構成要素を用いて当該構成要素の機能を実行可能であることが了解される。
図2は、本発明の例示的な一実施形態における、ビデオ検査装置100により取得された、異常204がある視認物体202の物体表面210の例示的な画像200である。この例においては、異常204を凹みとして示しており、損傷または摩耗によって、異常204における視認物体202の物体表面210から物質がなくなっている。例示的な本実施形態に示す異常204は、ほんの一例に過ぎず、本発明の方法は、他の種類の異常(たとえば、亀裂、孔食、被膜破損、表面堆積等)にも当てはまることが了解される。画像200が得られるとともに異常204が識別されたら、画像200を用いて、異常204の寸法(たとえば、高さまたは深さ、長さ、幅、面積、体積、点から線への距離、プロファイルスライス等)を決定することができる。一実施形態において、使用する画像200としては、異常204を含む視認物体202の物体表面210の2次元画像200が可能である。
図3は、本発明の例示的な一実施形態における、図2の画像200に示す視認物体202上の異常204の物体表面210上の最深点を自動的に識別する例示的な方法300のフローチャートである。図3のフローチャートに示すステップは、当該フローチャートと異なる順序で実行可能であり、特定の実施形態において、すべてのステップが必要なわけではないことが了解される。
例示的な方法300(図3)のステップ310においては、図2に示すように、ユーザがビデオ検査装置100(たとえば、撮像機器124)を用いて、異常204がある視認物体202の物体表面210の少なくとも1つの画像200を取得するとともに、これをビデオモニタ(たとえば、一体ディスプレイ170または外部モニタ172)に表示することができる。
例示的な方法300(図3)のステップ320において、ビデオ検査装置100(たとえば、CPU150)は、異常204の表面点等、視認物体202の物体表面210上の複数の表面点の3次元座標(たとえば、(x,y,z))を決定することができる。一実施形態において、ビデオ検査装置は、画像200から3次元データを生成することにより、3次元座標を決定することができる。複数の異なる既存技術(たとえば、立体撮像、走査システム、立体三角測量、および位相シフト解析、位相シフトモアレ、レーザドット投射等の構造化光法)を用いて、物体表面210の画像200(図2)における表面点の3次元座標を与えることができる。
ほとんどのこのような技術では、他の方法では光学的歪みによってもたらされ得る3次元座標中の誤差の低減に用いられる光学特性データを含む校正データを使用することを含む。いくつかの技術では、投射パターン等を含み得る近接時間に取り込まれた1つまたは複数の画像を用いて3次元座標が決定されるようになっていてもよい。また、画像200を用いて決定された3次元座標についての言及には、近接時間に取り込まれた物体表面210の1つまたは複数の画像200を用いて決定された3次元座標を含んでいてもよく、上記動作中にユーザに表示される画像200は実際のところ、3次元座標の決定に用いられていてもよいし、用いられていなくてもよいことが了解されるものとする。
例示的な方法300(図3)のステップ330においては、図4に示すように、ビデオ検査装置100(たとえば、CPU150)が基準面250を決定することができる。いくつかの実施形態においては、基準面250が平坦となり得る一方、他の実施形態においては、基準面250が湾曲し得る。同様に、一実施形態においては、基準面250が平面の形態であり得る一方、他の実施形態においては、基準面250が異なる形状(たとえば、円筒、球等)の形態であり得る。たとえば、ユーザは、ビデオ検査装置100のジョイスティック180(または、他のポインティングデバイス(たとえば、マウス、タッチスクリーン))を用いて、異常204に近接する視認物体202の物体表面210上の1つまたは複数の基準面点を選択することにより、基準面を決定することができる。
一実施形態においては、図4に示すように、異常204に近接する視認物体202の物体表面210上の合計3つの基準面点221、222、223を選択して異常204の深度測定を実施するために、3つの基準面点221、222、223は、異常204に近接する物体表面210上で選択している。一実施形態において、視認物体202の物体表面210上の複数の基準面点221、222、223は、物体表面210上の複数の基準面点221、222、223に対応する画像200の画素241、242、243上に基準面カーソル231、232、233(または、他のポインティングデバイス)を配置することによって選択可能である。この例示的な深度測定において、ビデオ検査装置100(たとえば、CPU150)は、複数の基準面点221、222、223それぞれの3次元座標を決定することができる。
異常204に近接する物体表面210上で選択された3つの基準面点221、222、223のうちの1つまたは複数に近接する3つ以上の表面点の3次元座標を用いて、基準面250(たとえば、平面)を決定することができる。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、3つの基準面点221、222、223の3次元座標の曲線適合を実行することにより、以下の形態の基準面250(たとえば、平面)の式を決定することができる。
Figure 0007098271000001
ここで、(xiRS,yiRS,ziRS)は、規定された基準面250上の任意の3次元点の座標であり、k0RS、k1RS、およびk2RSは、3次元座標の曲線適合により得られた係数である。
曲線適合の実行には、複数の基準面点(すなわち、少なくともk係数と同じ数の点)が用いられることに留意するものとする。曲線適合によれば、使用する点と最も適合するk係数が得られる(たとえば、最小二乗法)。そして、k係数は、使用する3次元点に近い平面または他の基準面250を規定する。ただし、曲線適合において、k係数の数より多い点が用いられる場合は、使用する点のxおよびy座標を平面の式(1)に挿入すると、一般的には、ノイズおよび実際に存在し得る平面からの任意の逸脱により、zの結果が当該点のz座標に対して厳密に一致しなくなる。このため、xiRS1およびyiRS1としては、任意の値が可能であり、結果としてのziRSによって、xiRS、yiRSにおける規定面のzが分かる。したがって、これらの式に示す座標としては厳密に、規定面上の任意の点が可能であり、必ずしも適合においてk係数の決定に用いられる点ではない。
他の実施形態においては、1つまたは2つの基準面点のみが選択されており、これらの基準面点の3次元座標にのみ基づく曲線適合の使用が妨げられている。k0RS、k1RS、およびk2RSの決定には、3つの点が必要だからである。この場合、ビデオ検査装置100(たとえば、CPU150)は、基準面点に近接する物体表面210上の複数の点に対応する画像の画素それぞれに近接する複数の画素を識別するとともに、近接点の3次元座標を決定して、基準面250を決定するための曲線適合を可能にすることができる。
例示的な基準面250は、基準面カーソル231、232、233により選択された基準面点221、222、223に基づいて決定されたものとして説明しているが、他の実施形態においては、ポインティングデバイスを用いて異常204に近接する基準面形状260(たとえば、円、正方形、長方形、三角形等)を配置するとともに、形状260の基準面点261、262、263、264を用いて基準面250を決定することにより形成可能である。形状260の基準面点261、262、263、264としては、ポインティングデバイスにより選択された点または異常204を囲むようにサイズ規定可能な形状の外周上もしくは外周に近接する点であり得ることが了解される。
例示的な方法300(図3)のステップ340においては、図5に示すように、ビデオ検査装置100(たとえば、CPU150)が基準面250の基準面点に基づいて、異常204に近接する関心領域270を決定する。関心領域270には、異常204の複数の表面点を含む。一実施形態においては、基準面点221、222、223のうちの2つ以上に基づいて関心領域形状271(たとえば、円)を形成することによって、関心領域270が形成される。別の実施形態においては、基準面260に垂直な円筒を形成し、基準面点221、222、223のうちの2つ以上の内部または近傍を通過させることによって、関心領域270を決定することができる。図4を再び参照して、基準面形状260および基準面点261、262、263、264の内部に関心領域を形成することも可能である。
図5の例示的な関心領域形状271は、基準面点221、222、223を通過させて形成されているが、別の実施形態においては、基準面点の近傍のみを通過させることによって、より小さな直径の基準面形状を形成可能である。たとえば、図6に示すように、関心領域形状281(たとえば、円)を基準面点221、222のうちの2つの近傍に通過させることによって、関心領域280が形成されるが、円281の直径は、2つの基準面点221、222間の距離よりも小さい。関心領域形状271、281および関心領域270、280は、画像200に表示されてもよいし、表示されなくてもよいことが了解される。
関心領域270、280の決定後、例示的な方法300(図3)のステップ350において、ビデオ検査装置100(たとえば、CPU150)は、関心領域における複数の表面点それぞれから基準面250までの距離(すなわち、深さ)を決定する。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、基準面250と関心領域270、280における複数の表面点それぞれとの間に延びた線分の距離を決定するが、この線分は、基準面250と垂直に交差している。
例示的な方法300(図3)のステップ360において、ビデオ検査装置は、基準面250から最も遠い表面点を決定することにより(たとえば、基準面250へと延びた線分が最も長い表面点を選択することにより)、関心領域270、280における最深表面点224の位置を決定する。本明細書において、「最深点」または「最深表面点」としては、基準面250に対して窪んだ最も遠い点または基準面250から突出した最も遠い点(すなわち、最高点)であり得ることが了解される。ビデオ検査装置100は、たとえばカーソル234(図5)または他のグラフィック識別子282(図6)を最深表面点224上に表示することにより、画像の関心領域270、280における最深表面点224を識別することができる。また、図5および図6に示すように、ビデオ検査装置100は、画像200の関心領域270、280における最深表面点224の深さ290(インチまたはミリメートル)(すなわち、最深表面点224から基準面250まで延びた垂直な線分の長さ)を表示することができる。関心領域270、280における最深表面点224にカーソル234または他のグラフィック識別子282(図6)を自動的に表示することによって、ビデオ検査装置100は、深度測定の実行に要する時間を短縮するとともに、深度測定の精度を向上させる。これは、異常204の最深表面点224をユーザが手動で識別する必要がなくなるためである。
関心領域270、280における最深表面点224にカーソル234が表示されたら、ユーザは、当該点を選択することにより、深度測定値を行って保存することができる。また、ユーザは、関心領域270、280においてカーソル234を移動させることにより、関心領域270、280における他の表面点の深さを決定することができる。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、カーソル234の移動を監視して、カーソル234がいつ移動を停止したかを検出することができる。カーソル234が所定期間(たとえば、1秒)にわたって移動を停止する場合、ビデオ検査装置100(たとえば、CPU150)は、カーソル234に近接する最深表面点(たとえば、カーソル234を中心とする所定の円)を決定するとともに、カーソル234を自動的に当該点へと移動させることができる。
図7は、図2の画像200に示す視認物体202の物体表面210の例示的なプロファイル400のグラフ表示図である。この例示的なプロファイル400においては、2つの基準面点221、222とそれぞれの基準面カーソル231、232との間に延びたものとして基準面250が示されている。また、このグラフ表示図には、関心領域における最深表面点224の位置および深さ290も示している。別の実施形態においては、点群表示図を用いて最深表面点224を示すことも可能である。
図8は、本発明の別の例示的な一実施形態における、ビデオ検査装置100により取得された、異常204がある視認物体202の物体表面210の別の例示的な画像500である。この例においても、異常204を凹みとして示しており、損傷または摩耗によって、異常204における視認物体202の物体表面210から物質がなくなっている。例示的な本実施形態に示す異常204は、ほんの一例に過ぎず、本発明の方法は、他の種類の異常(たとえば、亀裂、孔食、被膜破損、表面堆積等)にも当てはまることが了解される。画像500が得られるとともに異常204が識別されると、画像500を用いて、異常204の寸法(たとえば、高さまたは深さ、長さ、幅、面積、体積、点から線への距離、プロファイルスライス等)を決定することができる。一実施形態において、使用する画像500としては、異常204を含む視認物体202の物体表面210の2次元画像500が可能である。別の実施形態において、画像500としては、異常204を含む視認物体202の物体表面210の点群表示図または3次元表示が可能である。
図11は、本発明の例示的な一実施形態における、図8の画像500に示す視認物体202の物体表面210上の異常204の表面上の関心点502を自動的に識別する別の例示的な方法700のフローチャートである。図11のフローチャートに示すステップは、当該フローチャートと異なる順序で実行可能であり、特定の実施形態において、すべてのステップが必要なわけではないことが了解される。
例示的な方法700(図11)のステップ710においては、図8に示すように、ユーザがビデオ検査装置100(たとえば、撮像機器124)を用いて、異常204がある視認物体202の物体表面210の少なくとも1つの画像500を取得するとともに、これをビデオモニタ(たとえば、一体ディスプレイ170または外部モニタ172)に表示することができる。一実施形態において、画像500は、ビデオ検査装置100の測定モードにて表示可能である。
例示的な方法700(図11)のステップ720において、ビデオ検査装置100(たとえば、CPU150)は、異常204の表面点501、502、503等、視認物体202の物体表面210上の複数の表面点の3次元座標(たとえば、(x,y,z))を決定する。一実施形態において、ビデオ検査装置は、画像500から3次元データを生成することにより、3次元座標を決定することができる。物体表面210の画像500(図8)における表面点の3次元座標は、複数の異なる既存技術(たとえば、立体撮像、走査システム、立体三角測量、および位相シフト解析、位相シフトモアレ、レーザドット投射等の構造化光法)を用いて与えることができる。
この場合も、ほとんどのこのような技術では、他の方法では、他のものの中で、光学的歪みによってもたらされ得る3次元座標中の誤差の低減に用いられる光学特性データを含む校正データを使用する。いくつかの技術では、投射パターン等を含み得る近接時間に取り込まれた1つまたは複数の画像を用いて3次元座標が決定されるようになっていてもよい。また、画像500を用いて決定された3次元座標についての言及には、近接時間に取り込まれた物体表面210の1つまたは複数の画像500を用いて決定された3次元座標を含んでいてもよく、上記動作中にユーザに表示される画像500は実際のところ、3次元座標の決定に用いられていてもよいし、用いられていなくてもよいことが了解されるものとする。
例示的な方法700(図11)のステップ730においては、図8に示すように、ユーザがポインティングデバイス(たとえば、ジョイスティック、マウス、タッチスクリーン)を用いて、画像500の第1の画素561上の第1の基準線端点511を選択するとともに画像500の第2の画素562上の第2の基準線端点512を選択して画像500にカーソルを配置することにより、第1の基準線510を確立する。第1の基準線端点511および第2の基準線端点512は、異常204に近接してその第1の側に選択可能である。例示的な方法700(図11)のステップ732において、ビデオ検査装置100(たとえば、CPU150)は、第1の基準線端点511と第2の基準線端点512との間に延びた第1の基準線510上の複数の点の3次元座標を決定することができる。
同様に、例示的な方法700(図11)のステップ734においては、図8に示すように、ユーザがポインティングデバイスを用いて、画像500の第3の画素563上の第3の基準線端点521を選択するとともに画像500の第4の画素564上の第4の基準線端点522を選択して画像500にカーソルを配置することにより、第2の基準線520を確立する。第3の基準線端点521および第4の基準線端点522は、異常204に近接してその第2の側に選択可能である。例示的な方法700(図11)のステップ736において、ビデオ検査装置100(たとえば、CPU150)は、第3の基準線端点521と第4の基準線端点522との間に延びた第2の基準線520上の複数の点の3次元座標を決定することができる。図8に見られるように、第1の基準線510および第2の基準線520は、異常204を跨ぐような位置決めまたは囲むような位置決めが可能である。
一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1の基準線端点511と第2の基準線端点512との間の画素の3次元座標に対して(ノイズの影響を抑える)最小二乗回帰を用いることにより、第1の基準線510に関する以下の式を決定することができる。
Figure 0007098271000002
ここで、d1は、第1の基準線510に沿った部分であり、たとえば0.0~1.0の範囲である。たとえば、図8に示すように、第1の基準線510は、10個の部位に分かれている(d1=0.0,0.10,0.20,・・・0.90,1.00)。第1の基準線510に関して、一組の定数(k)項が決定される。部位数が同じ第2の基準線520についても、同じプロセスが実行される(すなわち、d2=0.0,0.10,0.20,・・・0.90,1.00)。例示的な本実施形態においては、部位数が同じで、同じ長さを有するものとして第1の基準線510および第2の基準線520を示しているが、他の実施形態においては、異なる長さおよび/または異なる部位数の基準線510、520が可能である。
図8に示す実施形態において、第1の基準線510および第2の基準線520は、直線である。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1の画素561と第2の画素562との間の直線に近接する画像500の画素に対応する物体表面210上の点の3次元座標に対して回帰を実行する。別の実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1の画素561と第2画素562との間の直線に近接する画像500の画素に対応する物体表面210上の点の3次元座標に対して低域通過フィルタリングを実行する。
別の実施形態において(たとえば、物体表面210がより複雑または曲面である場合)、第1の基準線510上の複数の点の3次元座標を決定するステップに関して、ビデオ検査装置100(たとえば、CPU150)は、物体表面210と(たとえば、垂直に)交差するとともに第1の基準線端点511および第2の基準線端点512を通過する第1の基準線平面581を決定する。そして、ビデオ検査装置100は、第1の基準線平面581に近接する(たとえば、第1の基準線平面581上または第1の基準線平面581の所定距離内の)物体表面210上の第1の表面輪郭線591の複数の点の3次元座標を決定する。同様に、第2の基準線520上の複数の点の3次元座標を決定するステップに関して、ビデオ検査装置100(たとえば、CPU150)は、物体表面210と(たとえば、垂直に)交差するとともに第3の基準線端点521および第4の基準線端点522を通過する第2の基準線平面582を決定する。そして、ビデオ検査装置100は、第2の基準線平面582に近接する(たとえば、第2の基準線平面582上または第2の基準線平面582の所定距離内の)物体表面210上の第2の表面輪郭線592の複数の点の3次元座標を決定する。本実施形態においては、基準線が湾曲している可能性があるため、基準線に沿った式およびd値に関して、異なる定数(k)集合が決定されることになる。
例示的な方法700(図11)のステップ740において、図8に示すように、ビデオ検査装置100(たとえば、CPU150)は、第1の基準線510上の複数の点(たとえば、514、515、516)のうちの少なくとも2つおよび第2の基準線520上の複数の点(たとえば、524、525、526)のうちの少なくとも1つの3次元座標を用いて、基準面550を決定する。明瞭化のため、図8では、第1の基準線510および第2の基準線520に沿った1つの点群の単一の基準面550の決定のみを示している。ただし、この例示的な方法においては、第1の基準線510および第2の基準線520に沿ったさまざまな点群に関して、複数の基準面が作成されることになる。たとえば、図示の基準面550は、d1=d2=0.50に近接する点に基づいて決定可能であるが、他の基準面は、d1=d2=0.00,0.10,0.20,0.30,0.40,0.60,0.70,0.80,0.90,1.00に近接する点に基づいて決定可能である。
いくつかの実施形態においては、基準面550が平坦(たとえば、平面)であり得る一方、他の実施形態においては、基準面550が曲面または異なる形状(たとえば、円筒、球等)の形態であり得る。第1の基準線510および/または第2の基準線520が湾曲した実施形態において、第1の基準線510および/または第2の基準線520それぞれに沿った基準面550は、少なくとも2つが平行ではない基準面を含み得る。
図8に戻って、d1=d2=0.50である第1の基準線510および第2の基準線520上の位置に対応する例示的な基準面550ならびに第1の基準線510上の2点の集合514、516(d1=0.50±0.05)および第2の基準線520上の2点の集合524、526(d2=0.50±0.05)の3次元座標の使用により、基準平面としての基準面550を決定する。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、4つの点514、516、524、526のうちの少なくとも3つの3次元座標の適合を実行することにより、以下の形態の基準面550の式を決定することができる。
Figure 0007098271000003
ここで、(x,y,z)は、規定された基準面550上の任意の3次元点の座標であり、a0、a1、およびa2は、3次元座標の適合により得られた係数である。例示的な本実施形態においては、基準線510、520の2つの対応部位からの点に基づいて基準面550を決定した(すなわち、d1=d2)が、他の実施形態においては、対応しない2つの部位に基づいて基準面550を決定することも可能である(すなわち、d1≠d2)。
例示的な方法700(図11)のステップ750において、図8に示すように、ビデオ検査装置100(たとえば、CPU150)は、異常204の表面上の複数の点501、502、503を含む各基準面550の関心領域570を決定する。一実施形態において、関心領域570は、第1の基準線510上の複数の点514、516のうちの少なくとも2つおよび第2の基準線520上の複数の点524、526のうちの少なくとも1つに基づく頂点を有する基準面550上の多角形571を決定することによって形成される。関心領域570には、基準面550に垂直で、多角形571内で基準面550と交差する線上にある異常204の表面上の複数の点501、502、503を含む。
別の実施形態において、関心領域570は、基準面550と(たとえば、垂直に)交差するとともに第1の基準線510上の複数の点のうちの少なくとも2つ514、516の間で第1の基準線510を通過する関心領域平面580を決定することによって形成される。関心領域570には、関心領域平面580の所定距離571、572内にある異常204の表面上の複数の点501、502、503を含む。
例示的な方法700(図11)のステップ760において、図8に示すように、ビデオ検査装置100(たとえば、CPU150)は、関心領域570それぞれにおいて、基準面550と異常204の表面上の複数の点501、502、503との間の距離を決定する。例示的な方法700(図11)のステップ770において、図8に示すように、ビデオ検査装置100(たとえば、CPU150)は、基準面からの距離が最大である関心領域570中の異常204の表面上の関心点502(たとえば、窪みの最深点または突起の最高点)の3次元座標を決定する。関心点502が識別されると、ビデオ検査装置100(たとえば、CPU150)は、関心点502を通過するプロファイル(または、プロファイルスライス)を探索しようとする。
例示的な方法700(図11)のステップ780において、図9に示すように、ビデオ検査装置100(たとえば、CPU150)は、図9に示すように異常204の表面上の関心点502を含む第1の基準線510と第2の基準線520との間の物体表面210上のプロファイル表面輪郭線594を決定する。一実施形態において、プロファイル表面輪郭線594には、図9に示すように、第1の基準線510上の第1の点518もしくは第1の基準線510に近接する第1の点518、第2の基準線520上の第2の点528もしくは第2の基準線520に近接する第2の点528、ならびに異常204の表面上の関心点502を含む。一実施形態において、関心点502(最深点または最高点)を通過するプロファイル表面輪郭線594を決定するため、ビデオ検査装置100(たとえば、CPU150)は、関心点502が見つかった第1の基準線510および第2の基準線520の特定部位において、反復プロセスを実行することができる。たとえば、図9に示すように、d1=d2=0.50に対応する部位に関心点502が見つかっているため、ビデオ検査装置100は、基準面550と(たとえば、垂直に)交差するとともに基準線510、520上の対応点を通過する複数の基準面平面583、584(たとえば、d1=d2)を決定することができる。例示的な本実施形態においては、基準線510、520の2つの対応部位からの点に基づいて複数の基準面平面583、584を決定する(すなわち、d1=d2)が、他の実施形態においては、対応しない2つの部位に基づいて基準面平面583、584を決定することも可能である(すなわち、d1≠d2)。
たとえば、ビデオ検査装置100(たとえば、CPU150)は、d1=d2=0.50に関して、関心点502と関心領域平面580との間の距離を決定することができる。図9に見られるように、関心点502は、関心領域平面580でのプロファイル(または、プロファイルスライス)が関心点502を含まないように、関心領域平面580からある距離574で離れて位置付けられている。
次に、ビデオ検査装置100(たとえば、CPU150)は、元の基準面550または新たな基準面(d1=d2=0.52に近接する基準線510、520上の点を用いて形成)と(たとえば、垂直に)交差するとともに、d1=d2=0.52に関して、第1の基準線510上の基準線分点517および第2の基準線520上の対応する基準線分点527を通過する基準面平面583を決定することができる。そして、ビデオ検査装置100は、d1=d2=0.52に関して、関心点502と基準面平面583との間の距離を決定することができる。図9に見られるように、関心点502は、基準面平面583でのプロファイル(または、プロファイルスライス)が関心点502を含まないように、基準面平面583からある距離575で離れて位置付けられている。
反復を続けて、ビデオ検査装置100(たとえば、CPU150)は、基準面550または新たな基準面(d1=d2=0.53に近接する基準線510、520上の点を用いて形成)と(たとえば、垂直に)交差するとともに、d1=d2=0.53に関して、第1の基準線510上の基準線分点518または第1の基準線510に近接する基準線分点518および第2の基準線520上の対応する基準線分点528または第2の基準線520に近接する対応基準線分点528を通過する基準面平面584を決定することができる。そして、ビデオ検査装置100は、d1=d2=0.53に関して、関心点502と基準面平面584との間の距離を決定することができる。図9に見られるように、関心点502は、基準面平面584でのプロファイル(または、プロファイルスライス)が関心点502を含むように、基準面平面584上に位置付けられている。そして、ビデオ検査装置100は、基準面平面584に近接する(たとえば、基準面平面584上または基準面平面584の所定距離内の)物体表面210上のプロファイル表面輪郭線594の複数の点の3次元座標を決定することができる。プロファイル表面輪郭線594には、図9に示すように、第1の基準線510上の点518もしくは第1の基準線510に近接する点518、第2の基準線520上の点528もしくは第2の基準線520に近接する点528、ならびに異常204の表面上の関心点502を含む。
例示的な方法700(図11)のステップ790において、ビデオ検査装置100(たとえば、CPU150)は、基準面550から物体表面210上のプロファイル表面輪郭線594の複数の点までの距離を決定することにより、関心点502を含む物体表面210のプロファイルを決定する。図10は、図8の画像500に示す視認物体202の物体表面210のプロファイルのグラフ表示の画像600である。プロファイル表面輪郭線594での視認物体202の断面を示すプロファイルのグラフ表示図は、ビデオモニタ(たとえば、一体ディスプレイ170または外部モニタ172)に表示可能である。プロファイルには、第1の基準線510上の点518もしくは第1の基準線510に近接する点518、第2の基準線520上の点528もしくは第2の基準線520に近接する点528、ならびに異常204の表面上の関心点502を含む。また、プロファイルのグラフ表示図は、基準面550と表面上の関心点502との間の距離602も表示する。別の実施形態においては、第1の基準線510上の点518もしくは第1の基準線510に近接する点518、第2の基準線520上の点528もしくは第2の基準線520に近接する点528、ならびに異常204の表面上の関心点502を含めて、たとえば基準面550およびプロファイル表面輪郭線594の3次元表示を含む点群表示画像をビデオモニタ(たとえば、一体ディスプレイ170または外部モニタ172)に表示可能である。
図12は、本発明の別の例示的な実施形態における、ビデオ検査装置100により取得された異常204がある視認物体202の物体表面210のさらに別の例示的な画像800である。この例においても、異常204を凹みとして示しており、損傷または摩耗によって、異常204における視認物体202の物体表面210から物質がなくなっている。例示的な本実施形態に示す異常204は、ほんの一例に過ぎず、本発明の方法は、他の種類の異常(たとえば、亀裂、孔食、被膜破損、表面堆積等)、表面形体(たとえば、溶接)、または表面間の隙間(たとえば、先端とシュラウドとの隙間)にも当てはまることが了解される。画像800が得られるとともに異常204が識別されると、画像800を用いて、異常204の寸法(たとえば、高さまたは深さ、長さ、幅、面積、体積、点から線への距離、プロファイルスライス等)を決定することができる。一実施形態において、使用する画像800としては、異常204を含む視認物体202の物体表面210の2次元画像800が可能である。別の実施形態において、画像800としては、異常204を含む視認物体202の物体表面210の点群表示図および他の3次元表示が可能である。
図12に示すように、ユーザは、ビデオ検査装置100(たとえば、撮像機器124)を用いて、異常204がある視認物体202の物体表面210の少なくとも1つの画像800を取得するとともに、これをビデオモニタ(たとえば、一体ディスプレイ170または外部モニタ172)に表示することができる。一実施形態において、画像800は、ビデオ検査装置100の測定モードにて表示可能である。
ビデオ検査装置100(たとえば、CPU150)は、異常204の表面点等、視認物体202の物体表面210上の複数の表面点の3次元座標(たとえば、(x,y,z))を決定することができる。一実施形態において、ビデオ検査装置は、画像800から3次元データを生成することにより、3次元座標を決定することができる。複数の異なる既存技術(たとえば、立体撮像、走査システム、立体三角測量、および位相シフト解析、位相シフトモアレ、レーザドット投射等の構造化光法)を用いて、物体表面210の画像800(図12)における表面点の3次元座標を与えることができる。
この場合も、ほとんどのこのような技術では、他の方法では、他のものの中で、光学的歪みによってもたらされ得る3次元座標中の誤差の低減に用いられる光学特性データを含む校正データを使用することを含む。いくつかの技術では、投射パターン等を含み得る近接時間に取り込まれた1つまたは複数の画像を用いて3次元座標が決定されるようになっていてもよい。また、画像800を用いて決定された3次元座標についての言及には、近接時間に取り込まれた物体表面210の1つまたは複数の画像800を用いて決定された3次元座標を含んでいてもよく、上記動作中にユーザに表示される画像800は実際のところ、3次元座標の決定に用いられていてもよいし、用いられていなくてもよいことが了解されるものとする。
図12に示すように、一実施形態において、ユーザは、たとえば画像800にカーソルを配置するポインティングデバイス(たとえば、ジョイスティック、マウス、タッチスクリーン)を用いることによって、第1のカーソル831を配置することにより、画像800の第1の画素861上の第1の基準線位置決め点811を選択可能であるとともに、第2のカーソル832を配置することにより、画像800の第2の画素862上の第2の基準線位置決め点812を選択可能である。第1の基準線位置決め点811および第2の基準線位置決め点812は、異常240の第1の側に選択可能である。別の実施形態において、ユーザは、第1のカーソル831を配置することにより、画像800の第1の画素861上の第1の基準線位置決め点811のみを選択し、第2の基準線位置決め点812は選択しない。
図12に示すように、ビデオ検査装置100(たとえば、CPU150)は、基準面850を決定することができる。いくつかの実施形態においては、基準面850が平坦となり得る一方、他の実施形態においては、基準面850が湾曲し得る。同様に、一実施形態においては、基準面850が平面の形態であり得る一方、他の実施形態においては、基準面850が異なる形状(たとえば、円筒、球等)の形態であり得る。ビデオ検査装置100(たとえば、CPU150)は、第1の基準線位置決め点811に関して第1のカーソル831の近傍の画素と関連付けられるとともに第2の基準線位置決め点812に関して第2のカーソル832の近傍の画素と関連付けられた視認物体202の物体表面210上の表面点の3次元座標を決定することができる。これら3次元座標の使用により、基準面850(たとえば、平面)を決定することができる。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1のカーソル831および第2のカーソル832の近傍の画素と関連付けられた表面点の3次元座標の曲線適合を実行することにより、上記式(1)に記載の基準面850(たとえば、平面)の式を決定することができる。別の実施形態において、曲線適合においては、第1のカーソル831の近傍の画素と関連付けられた表面点の3次元座標または第2のカーソル832の近傍の画素と関連付けられた表面点の3次元座標のみを使用して、基準面850の式を決定するようにしてもよい。
一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、基準面850に垂直(または、直角)であり、物体表面210と交差し、第1のカーソル831(第1の基準線位置決め点811)の近傍の画素と関連付けられた3次元座標および第2のカーソル832(第2の基準線位置決め点812)の近傍の画素と関連付けられた3次元座標を含む第1のスライス平面881を決定する。そして、ビデオ検査装置100(たとえば、CPU150)は、第1のスライス平面881に近接する(たとえば、第1のスライス平面881上または第1のスライス平面881の所定距離(たとえば、0.1mm)内の)物体表面210上の第1の表面輪郭線891の複数の表面点、第1のスライス平面881の反対側にある対角接触もしくは隣接接触の画素と関連付けられた表面点、または第1のスライス平面881の反対側にある対角もしくは隣接接触画素と関連付けられた表面点から補間された点の3次元座標を決定する。図12に示すように、一実施形態において、第1の表面輪郭線891は、(第1の基準線位置決め点811と関連付けられた)第1のカーソル831と(第2の基準線位置決め点812と関連付けられた)第2のカーソル832との間に位置付けられた表面点を含む。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1のスライス平面881に近接する物体表面210上の第1の表面輪郭線891の複数の表面点の3次元座標に対して、回帰および/または低域通過フィルタリングを実行する。
図12に示すように、ユーザは、たとえば画像800に第3のカーソル833を配置するポインティングデバイス(たとえば、ジョイスティック、マウス、タッチスクリーン)を用いることによって、第3のカーソル833を配置することにより、画像800の第3の画素863上のオフセット基準線位置決め点813を選択可能である。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第3のカーソル833の近傍の画素と関連付けられた視認物体202の物体表面210上の表面点の3次元座標を含むオフセット(第2の)スライス平面882を決定する。オフセット(第2の)スライス平面882は、第1のスライス平面881から垂直距離(D)だけ、第1の方向にオフセットしている。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1のスライス平面881に平行なスライス平面を決定するとともに、第3のカーソル833の近傍の画素と関連付けられた視認物体202の物体表面210上の表面点を含むまで当該スライス平面をオフセットさせることによって、オフセット(第2の)スライス平面882を決定することができる。別の実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1の基準線位置決め点811および第2の基準線位置決め点812を通過する第1の線分と、第1の線分に平行で、オフセット基準線位置決め点813を通過する第2の線分と、オフセット基準線位置決め点813の近傍において物体表面210に垂直で、オフセット基準線位置決め点813を通過するオフセット表面法線とを決定することによって、オフセット(第2の)スライス平面882を決定することが可能であり、オフセット(第2の)スライス平面は、第2の線分およびオフセット表面法線を含む。
そして、ビデオ検査装置100(たとえば、CPU150)は、オフセット(第2の)スライス平面882に近接する(たとえば、オフセット(第2の)スライス平面882上またはオフセット(第2の)スライス平面882の所定距離内の)物体表面210上のオフセット(第2の)表面輪郭線892の複数の表面点、オフセット(第2の)スライス平面882の反対側にある対角接触もしくは隣接接触の画素と関連付けられた表面点、またはオフセット(第2の)スライス平面882の反対側にある対角もしくは隣接接触画素と関連付けられた表面点から補間された点の3次元座標を決定する。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、オフセット(第2の)スライス平面882に近接する物体表面210上のオフセット(第2の)表面輪郭線892の複数の表面点の3次元座標に対して、回帰および/または低域通過フィルタリングを実行する。図12に見られるように、第1の表面輪郭線891およびオフセット(第2の)表面輪郭線892は、異常204を跨ぐような位置決めまたは囲むような位置決めがなされる。
図12に示すように、一実施形態において、オフセット(第2の)表面輪郭線892は、オフセット(第2の)スライス平面882に近接する物体表面210上の複数の表面点をすべて含むこともできるし、(たとえば、第1のオフセット(第2の)表面輪郭線端点821と第2のオフセット(第2の)表面輪郭線端点822との間の)オフセット(第2の)スライス平面882に近接する物体表面210上の複数の表面点の一部または部位のみを含むこともできる。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、オフセット(第2の)表面輪郭線892の全長(すなわち、オフセット(第2の)スライス平面882に近接する物体表面210上の複数の表面点すべて)のさまざまな部分または部位(たとえば、ストリップ)を評価することにより、曲率が第1の表面輪郭線891と同様(すなわち、曲率が一致または差が最小)の1つもしくは複数の部位または閾値未満もしくは許容範囲内の第1の表面輪郭線891と異なる曲率を有する1つもしくは複数の部位を探索することができる。また、一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、オフセット(第2の)表面輪郭線892の全長(すなわち、オフセット(第2の)スライス平面882に近接する物体表面210上の複数の表面点すべて)のさまざまな部分または部位(たとえば、ストリップ)を評価することにより、(基準面850に垂直な方向において)第1の表面輪郭線891と平行な1つまたは複数の部位を探索することができる。図12に示すように、第1のオフセット(第2の)表面輪郭線端点821と第2のオフセット(第2の)表面輪郭線端点822との間のオフセット(第2の)表面輪郭線892の部位は、第1の表面輪郭線891の曲率と同様の曲率を有するとともに、第1の表面輪郭線891と平行になるように選定される。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1の基準線位置決め点811と第2の基準線位置決め点812との間の距離だけ離隔したオフセット(第2の)表面輪郭線上の点の対を識別することができる。各点対に関して、当該対の両点を通過する線分と第1の基準線位置決め点811および第2の基準線位置決め点812を通過する線分との間の角度は、曲率差分値として演算され、この曲率差分値が最小となる点の対が第1のオフセット(第2の)表面輪郭線端点821および第2のオフセット(第2の)表面輪郭線端点822として選定される。図示の例において、第1のオフセット(第2の)表面輪郭線端点821は、第1の表面輪郭線891の第1の基準線位置決め点811に対応する。いくつかの例において、オフセット(第2の)表面輪郭線892は、第1の表面輪郭線891と異なる長さを有することになる。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、オフセット(第2の)スライス平面882に近接する物体表面210上のオフセット(第2の)表面輪郭線892の選択部分または部位の複数の表面点の3次元座標に対して、回帰および/または低域通過フィルタリングを実行する。図12に見られるように、第1の表面輪郭線891およびオフセット(第2の)表面輪郭線892は、異常204を跨ぐような位置決めまたは囲むような位置決めがなされる。
図13は、本発明の別の例示的な実施形態における、ビデオ検査装置100により取得されたパイプの内側のさらに別の例示的な画像900である。図13に見られるように、ユーザは、たとえばパイプの内側の画像800にカーソルを配置するポインティングデバイス(たとえば、ジョイスティック、マウス、タッチスクリーン)を用いることによって、第1のカーソル931および第2のカーソル932を配置することができる。そして、上述の技術を用いることにより、ビデオ検査装置100(たとえば、CPU150)は、パイプの内側面上の第1の表面輪郭線991の複数の表面点の3次元座標を決定する。図13に示すように、ユーザは、たとえば画像900に第3のカーソル933を配置するポインティングデバイス(たとえば、ジョイスティック、マウス、タッチスクリーン)を用いることによって、第3のカーソル933を配置することにより、オフセット基準線位置決め点を選択可能である。そして、ビデオ検査装置100(たとえば、CPU150)は、オフセット(第2の)表面輪郭線992の複数の表面点の3次元座標を決定する。
図13に示すように、ビデオ検査装置100(たとえば、CPU150)は、曲率が第1の表面輪郭線991と同様(すなわち、曲率が一致または差が最小)の部位または閾値未満もしくは許容範囲内の第1の表面輪郭線991と異なる曲率を有する、オフセット(第2の)表面輪郭線992の部位を探索することができる。一実施形態において、ビデオ検査装置100(たとえば、CPU150)は、第1の表面輪郭線991と平行なオフセット(第2の)表面輪郭線992の部位を探索することができる。図13に示すように、オフセット(第2の)表面輪郭線992の部位は、第1の表面輪郭線991の曲率と同様の曲率を有するとともに、第1の表面輪郭線991と平行になるように選定される。このように第1の表面輪郭線991とオフセット(第2の)表面輪郭線992とが平行に配置されていることにより、パイプの内側面を長手方向の下方に延びるプロファイル表面輪郭線944が得られる。
図12を再び参照して、第1の表面輪郭線891およびオフセット(第2の)表面輪郭線892が決まると、ビデオ検査装置100(たとえば、CPU150)は、表面輪郭線891、892それぞれの上に1つずつまたは近接して1つずつ、対応する点対(たとえば、第1のプロファイルスライス平面端点841および第2のプロファイルスライス平面端点842)を識別した後、端点対841、842それぞれの間にプロファイルスライス平面843およびプロファイル表面輪郭線844を決定することができる。たとえば、図12において、ビデオ検査装置100(たとえば、CPU150)は、第1のプロファイルスライス平面端点841および第2のプロファイルスライス平面端点842と関連付けられた視認物体202の表面上の複数の点、ならびに/または曲線適合または低域通過フィルタリングによって決定された表面点または3次元座標であってよく、一対のプロファイルスライス平面端点841、842に近接する第1の表面輪郭線891およびオフセット(第2の)表面輪郭線892上の点の3次元座標に基づいて、プロファイルスライス基準面851を決定することができる。プロファイルスライス基準面851は、基準面850を決定する上記と同じ技術を用いて決定可能である。
プロファイルスライス基準面851が確立した後、ビデオ検査装置100(たとえば、CPU150)は、プロファイルスライス基準面851に垂直(または、直角)であり、物体表面210と交差し、一対のプロファイルスライス平面端点841、842と関連付けられた3次元座標を含むプロファイルスライス平面843を決定する。そして、ビデオ検査装置100(たとえば、CPU150)は、プロファイルスライス平面843に近接する(たとえば、プロファイルスライス平面843上またはプロファイルスライス平面843の所定距離内の)一対の端点841、842間のプロファイル表面輪郭線844の複数の表面点、プロファイルスライス平面843の反対側にある対角接触もしくは隣接接触の画素と関連付けられた表面点、またはプロファイルスライス平面843の反対側にある対角もしくは隣接接触画素と関連付けられた表面点から補間された点の3次元座標を決定する。図8および図9に関して上述した通り、ビデオ検査装置100(たとえば、CPU150)は、表面輪郭線891、892それぞれの上の対応する複数の点対のプロファイルスライスを決定するとともに、関心点845すなわちプロファイルスライス基準面851からの距離が最大である表面点(たとえば、窪みの最深点または突起の最高点)を有するプロファイルスライスを識別する。関心点845が識別されたら、ビデオ検査装置100(たとえば、CPU150)は、画像800または3D点群表示図上に、基準面からの距離を表示するとともに、関心点の対応するスライス経路および位置を表示することができる。
以上を考慮して、本発明の実施形態は、表面上の異常の点の深さまたは高さを自動的に判定する。技術的効果として、ユーザが関心点(最深点または最高点)を手動で識別する必要がないことから、測定の実行に要する時間が短縮されるとともに、測定の精度が向上する。さらに、第1の表面輪郭線の曲率との一致に基づいてオフセット(第2の)表面輪郭線の端点が自動的に決定される本発明の実施形態において、ユーザは、関心点における測定高さまたは深さに対する表面曲率の影響がゼロまたは最小となるように端点を手動で正確に識別する負担がなくなる。
当業者には当然のことながら、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化されるようになっていてもよい。したがって、本発明の態様は、全体がハードウェアの実施形態であってもよいし、全体がソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)であってもよいし、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態であってもよく、本明細書においては、これらすべてを「サービス」、「回路」、「電気回路」、「モジュール」、および/または「システム」と総称する場合がある。さらに、本発明の態様は、コンピュータ可読プログラムコードが具現化された1つまたは複数のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態であってもよい。
1つまたは複数のコンピュータ可読媒体の任意の組み合わせ利用可能である。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、たとえば電子的、磁気的、光学的、電磁的、赤外線、もしくは半導体システム、装置、もしくは機器、またはこれらの任意適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)としては、1つまたは複数のワイヤを有する電気的接続、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去/プログラム可能リードオンリーメモリ(EPROMまたはフラッシュメモリ)、光ファイバ、携帯用コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶装置、磁気記憶装置、またはこれらの任意適当な組み合わせが挙げられる。本明細書の背景において、コンピュータ可読記憶媒体は、命令実行システム、装置、または機器による使用または併用のためのプログラムを含有または格納可能な任意の有形媒体であってもよい。
コンピュータ可読媒体に具現化されたプログラムコードおよび/または実行可能命令は、任意適当な媒体を用いて送信されるようになっていてもよく、無線、有線、光ファイバケーブル、RF等、またはこれらの任意適当な組み合わせが挙げられるが、これらに限定されない。
本発明の態様の動作を実行するコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++等のオブジェクト指向プログラミング言語およびCプログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む1つまたは複数のプログラミング言語の任意の組み合わせによって記述されていてもよい。プログラムコードは、全体がユーザのコンピュータ(機器)で実行されるようになっていてもよいし、独立型のソフトウェアパッケージとして一部がユーザのコンピュータで実行されるようになっていてもよいし、一部がユーザのコンピュータ、一部がリモートコンピュータで実行されるようになっていてもよいし、全体がリモートコンピュータまたはサーバで実行されるようになっていてもよい。後者の場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)等の任意の種類のネットワークを介してユーザのコンピュータに接続されていてもよいし、(たとえば、インターネットサービスプロバイダを使用してインターネットを介して)外部のコンピュータと接続されていてもよい。
本明細書において、本発明の態様は、本発明の実施形態に係る方法、装置(システム)、およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明している。コンピュータプログラム命令によって、フローチャートおよび/もしくはブロック図の各ブロックならびにフローチャートおよび/もしくはブロック図のブロックの組み合わせを実装可能であることが了解される。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに与えられてマシンを構成していてもよく、これにより、コンピュータのプロセッサ、または他のプログラム可能なデータ処理装置で実行される命令によって、フローチャートおよび/またはブロック図の1つまたは複数のブロックに指定された機能/動作を実装する手段が形成される。
また、これらのコンピュータプログラム命令は、コンピュータ、または他のプログラム可能なデータ処理装置または他の機器を特定の様態で機能させ得るコンピュータ可読媒体に格納されていてもよく、これにより、コンピュータ可読媒体に格納された命令によって、フローチャートおよび/またはブロック図の1つまたは複数のブロックに指定された機能/動作を実装する命令を含む製造品が得られる。
また、これらのコンピュータプログラム命令は、コンピュータ、または他のプログラム可能なデータ処理装置または他の機器にロードされて、コンピュータ、または他のプログラム可能な装置または他の機器上で一連の動作ステップを実行することにより、コンピュータ実装プロセスを生成するようにしてもよく、これにより、コンピュータ、または他のプログラム可能な装置で実行される命令によって、フローチャートおよび/またはブロック図の1つまたは複数のブロックに指定された機能/動作を実装するプロセスが提供される。
複数の要素に関する表現「~のうちの少なくとも1つ」を特許請求の範囲で使用する限りにおいて、これは、列挙した要素のうちの少なくとも1つまたは複数を意味するものであり、各要素の少なくとも1つに限定されない。たとえば、「要素A、要素B、および要素Cのうちの少なくとも1つ」は、要素Aのみ、要素Bのみ、もしくは要素Cのみ、またはこれらの任意の組み合わせを示すことを意図している。「要素A、要素B、および要素Cのうちの少なくとも1つ」は、要素Aのうちの少なくとも1つ、要素Bのうちの少なくとも1つ、および要素Cのうちの少なくとも1つに限定されるものではない。
本明細書では、最良の形態を含む例を用いて本発明を開示しており、如何なる当業者も、任意の機器もしくはシステムの作製および使用ならびに任意の組み込み方法の実行を含めて、本発明を実現可能である。本発明の特許可能な範囲は、特許請求の範囲によって規定されており、当業者が想到し得る他の例を含んでいてもよい。このような他の例は、特許請求の範囲の逐語的表現と異ならない構造的要素を有する場合または特許請求の範囲の逐語的表現との差異が実質的でない同等の構造的要素を含む場合、特許請求の範囲に含まれるものである。
最後に、代表的な実施態様を以下に示す。
[実施態様1]
視認物体(202)上の関心点(845)を自動的に識別する方法であって、
視認物体(202)の画像(800)をモニタ(170、172)に表示するステップと、
中央演算処理ユニット(150)を用いて、視認物体(202)の表面(210)上の複数の点の3次元座標を決定するステップと、
ポインティングデバイスを用いて、第1の基準線位置決め点(811)を選択するステップと、
ポインティングデバイスを用いて、第2の基準線位置決め点(812)を選択するステップと、
中央演算処理ユニット(150)を用いて、第1の基準線位置決め点(811)および第2の基準線位置決め点(812)と関連付けられた視認物体(202)の表面(210)上の複数の点に基づいて基準面(850)を決定するステップと、
中央演算処理ユニット(150)を用いて、基準面(850)に垂直であり、第1の基準線位置決め点(811)と関連付けられた視認物体(202)の表面(210)上の点および第2の基準線位置決め点(812)と関連付けられた視認物体(202)の表面(210)上の点を含む第1のスライス平面(881)を決定するステップと、
中央演算処理ユニット(150)を用いて、第1のスライス平面(881)に近接する視認物体(202)の表面(210)上の複数の点を含む第1の表面輪郭線(891)を決定するステップと、
ポインティングデバイスを用いて、オフセット基準線位置決め点(813)を選択するステップと、
中央演算処理ユニット(150)を用いて、オフセット基準線位置決め点(813)と関連付けられた視認物体(202)の表面(210)上の点を含むオフセットスライス平面(882)を決定するステップと、
中央演算処理ユニット(150)を用いて、オフセットスライス平面(882)に近接する視認物体(202)の表面(210)上の複数の点を含むオフセット表面輪郭線(892)を決定するステップと、
中央演算処理ユニット(150)を用いて、第1の表面輪郭線(891)とオフセット表面輪郭線(892)との間の複数のプロファイル表面輪郭線(844)を決定するステップと、
中央演算処理ユニット(150)を用いて、複数のプロファイル表面輪郭線(844)のいずれかの上の最深点または最高点として関心点(845)を決定するステップと、
を含む、方法。
[実施態様2]
第1の基準線位置決め点(811)および第2の基準線位置決め点(812)が、第1の表面輪郭線(891)の端点である、実施態様1に記載の方法。
[実施態様3]
第1の表面輪郭線(891)が、第1のスライス平面(881)上にある視認物体(202)の表面(210)上の点、第1のスライス平面(881)の所定距離内にある点、第1のスライス平面(881)の反対側にある対角接触もしくは隣接接触の画素と関連付けられた点、または第1のスライス平面(881)の反対側にある対角もしくは隣接接触画素と関連付けられた点から補間された点を含む、実施態様1に記載の方法。
[実施態様4]
オフセット表面輪郭線(892)が、オフセットスライス平面(882)上にある視認物体(202)の表面(210)上の点、オフセットスライス平面(882)の所定距離内にある点、オフセットスライス平面(882)の反対側にある対角接触もしくは隣接接触の画素と関連付けられた点、またはオフセットスライス平面(882)の反対側にある対角もしくは隣接接触画素と関連付けられた点から補間された点を含む、実施態様1に記載の方法。
[実施態様5]
中央演算処理ユニット(150)を用いて、オフセット表面輪郭線(892)に関する複数の可能性のある第1および第2のオフセット表面輪郭線端点対を決定するステップと、
中央演算処理ユニット(150)を用いて、複数の第1および第2のオフセット表面輪郭線端点対候補それぞれの間で、第1の表面輪郭線(891)とオフセット表面輪郭線(892)との曲率不整合値を演算するステップと、
中央演算処理ユニット(150)を用いて、複数の第1および第2のオフセット表面輪郭線端点対候補のうちの1つをその曲率不整合値に基づいて、オフセット表面輪郭線(892)の端点として選択するステップと、
をさらに含む、実施態様1に記載の方法。
[実施態様6]
オフセットスライス平面(882)が、第1のスライス平面(881)に平行である、実施態様1に記載の方法。
[実施態様7]
第1の表面輪郭線(891)とオフセット表面輪郭線(892)との間の複数のプロファイル表面輪郭線(844)がそれぞれ、第1の表面輪郭線(891)上の第1の点または第1の表面輪郭線(891)に近接する第1の点およびオフセット表面輪郭線(892)上の第2の点またはオフセット表面輪郭線(892)に近接する第2の点を含む、実施態様1に記載の方法。
[実施態様8]
複数のプロファイル表面輪郭線(844)を決定するステップが、各プロファイル表面輪郭線(844)に関して、
中央演算処理ユニット(150)を用いて、第1の表面輪郭線(891)上の第1のプロファイルスライス平面端点(841)を決定するステップと、
中央演算処理ユニット(150)を用いて、オフセット表面輪郭線(892)上の第2のプロファイルスライス平面端点(842)を決定するステップと、
中央演算処理ユニット(150)を用いて、第1のプロファイルスライス平面端点(841)に近接する第1の表面輪郭線(891)上の少なくとも1つの点および第2のプロファイルスライス平面端点(842)に近接するオフセット表面輪郭線(892)上の少なくとも1つの点に基づいてプロファイルスライス基準面(851)を決定するステップと、
中央演算処理ユニット(150)を用いて、プロファイルスライス基準面(851)に垂直であり、第1のプロファイルスライス平面端点(841)および第2のプロファイルスライス平面端点(842)を含むプロファイルスライス平面(843)を決定するステップと、
中央演算処理ユニット(150)を用いて、プロファイルスライス平面(843)に近接する視認物体(202)の表面(210)上の複数の点を含むプロファイル表面輪郭線(844)を決定するステップと、
をさらに含む、実施態様1に記載の方法。
[実施態様9]
中央演算処理ユニット(150)を用いて、プロファイルスライス基準面(851)とプロファイル表面輪郭線(844)上の複数の点との間の距離を決定するステップと、
中央演算処理ユニット(150)を用いて、プロファイルスライス基準面(851)からの距離が最大である表面(210)上の関心点(845)の3次元座標を決定するステップと、
をさらに含む、実施態様8に記載の方法。
[実施態様10]
基準面(850)が、基準平面である、実施態様1に記載の方法。
[実施態様11]
視認物体(202)上の関心点(845)を自動的に識別する方法であって、
視認物体(202)の画像(800)をモニタ(170、172)に表示するステップと、
中央演算処理ユニット(150)を用いて、視認物体(202)の表面(210)上の複数の点の3次元座標を決定するステップと、
ポインティングデバイスを用いて、第1の基準線位置決め点(811)を選択するステップと、
中央演算処理ユニット(150)を用いて、第1の基準線位置決め点(811)と関連付けられた視認物体(202)の表面(210)上の複数の点に基づいて基準面(850)を決定するステップと、
中央演算処理ユニット(150)を用いて、基準面(850)に垂直であり、第1の基準線位置決め点(811)と関連付けられた視認物体(202)の表面(210)上の点を含む第1のスライス平面(881)を決定するステップと、
中央演算処理ユニット(150)を用いて、第1のスライス平面(881)に近接する視認物体(202)の表面(210)上の複数の点を含む第1の表面輪郭線(891)を決定するステップと、
ポインティングデバイスを用いて、オフセット基準線位置決め点(813)を選択するステップと、
中央演算処理ユニット(150)を用いて、オフセット基準線位置決め点(813)と関連付けられた視認物体(202)の表面(210)上の点を含むオフセットスライス平面(882)を決定するステップと、
中央演算処理ユニット(150)を用いて、オフセットスライス平面(882)に近接する視認物体(202)の表面(210)上の複数の点を含むオフセット表面輪郭線(892)を決定するステップと、
中央演算処理ユニット(150)を用いて、第1の表面輪郭線(891)とオフセット表面輪郭線(892)との間の複数のプロファイル表面輪郭線(844)を決定するステップと、
中央演算処理ユニット(150)を用いて、複数のプロファイル表面輪郭線(844)のいずれかの上の最深点または最高点として関心点(845)を決定するステップと、
を含む、方法。
[実施態様12]
第1の表面輪郭線(891)が、第1のスライス平面(881)上にある視認物体(202)の表面(210)上の点、第1のスライス平面(881)の所定距離内にある点、第1のスライス平面(881)の反対側にある対角接触もしくは隣接接触の画素と関連付けられた点、または第1のスライス平面(881)の反対側にある対角もしくは隣接接触画素と関連付けられた点から補間された点を含む、実施態様11に記載の方法。
[実施態様13]
オフセット表面輪郭線(892)が、オフセットスライス平面(882)上にある視認物体(202)の表面(210)上の点、オフセットスライス平面(882)の所定距離内にある点、オフセットスライス平面(882)の反対側にある対角接触もしくは隣接接触の画素と関連付けられた点、またはオフセットスライス平面(882)の反対側にある対角もしくは隣接接触画素と関連付けられた点から補間された点を含む、実施態様11に記載の方法。
[実施態様14]
中央演算処理ユニット(150)を用いて、オフセット表面輪郭線(892)に関する複数の第1および第2のオフセット表面輪郭線端点対候補を決定するステップと、
中央演算処理ユニット(150)を用いて、複数の第1および第2のオフセット表面輪郭線端点対候補それぞれの間で、第1の表面輪郭線(891)とオフセット表面輪郭線(892)との曲率不整合値を演算するステップと、
中央演算処理ユニット(150)を用いて、複数の第1および第2のオフセット表面輪郭線端点対候補のうちの1つをその曲率不整合値に基づいて、オフセット表面輪郭線(892)の端点として選択するステップと、
をさらに含む、実施態様11に記載の方法。
[実施態様15]
オフセットスライス平面(882)が、第1のスライス平面(881)に平行である、実施態様11に記載の方法。
[実施態様16]
第1の表面輪郭線(891)とオフセット表面輪郭線(892)との間の複数のプロファイル表面輪郭線(844)がそれぞれ、第1の表面輪郭線(891)上の第1の点または第1の表面輪郭線(891)に近接する第1の点およびオフセット表面輪郭線(892)上の第2の点またはオフセット表面輪郭線(892)に近接する第2の点を含む、実施態様11に記載の方法。
[実施態様17]
複数のプロファイル表面輪郭線(844)を決定するステップが、各プロファイル表面輪郭線(844)に関して、
中央演算処理ユニット(150)を用いて、第1の表面輪郭線(891)上の第1のプロファイルスライス平面端点(841)を決定するステップと、
中央演算処理ユニット(150)を用いて、オフセット表面輪郭線(892)上の第2のプロファイルスライス平面端点(842)を決定するステップと、
中央演算処理ユニット(150)を用いて、第1のプロファイルスライス平面端点(841)に近接する第1の表面輪郭線(891)上の少なくとも1つの点および第2のプロファイルスライス平面端点(842)に近接するオフセット表面輪郭線(892)上の少なくとも1つの点に基づいてプロファイルスライス基準面(851)を決定するステップと、
中央演算処理ユニット(150)を用いて、プロファイルスライス基準面(851)に垂直であり、第1のプロファイルスライス平面端点(841)および第2のプロファイルスライス平面端点(842)を含むプロファイルスライス平面(843)を決定するステップと、
中央演算処理ユニット(150)を用いて、プロファイルスライス平面(843)に近接する視認物体(202)の表面(210)上の複数の点を含むプロファイル表面輪郭線(844)を決定するステップと、
をさらに含む、実施態様11に記載の方法。
[実施態様18]
中央演算処理ユニット(150)を用いて、プロファイルスライス基準面(851)とプロファイル表面輪郭線(844)上の複数の点との間の距離を決定するステップと、
中央演算処理ユニット(150)を用いて、プロファイルスライス基準面(851)からの距離が最大である表面(210)上の関心点(845)の3次元座標を決定するステップと、
をさらに含む、実施態様17に記載の方法。
[実施態様19]
基準面(850)が、基準平面である、実施態様11に記載の方法。
[実施態様20]
視認物体(202)上の関心点(845)を自動的に識別する装置であって、
視認物体(202)の画像(800)を表示するモニタ(170、172)と、
第1の基準線位置決め点(811)を選択することと、
オフセット基準線位置決め点(813)を選択することと、
を行うポインティングデバイスと、
視認物体(202)の表面(210)上の複数の点の3次元座標を決定することと、
第1の基準線位置決め点(811)および第2の基準線位置決め点(812)と関連付けられた視認物体(202)の表面(210)上の複数の点に基づいて基準面(850)を決定することと、
基準面(850)に垂直であり、第1の基準線位置決め点(811)と関連付けられた視認物体(202)の表面(210)上の点および第2の基準線位置決め点(812)と関連付けられた視認物体(202)の表面(210)上の点を含む第1のスライス平面(881)を決定することと、
第1のスライス平面(881)に近接する視認物体(202)の表面(210)上の複数の点を含む第1の表面輪郭線(891)を決定することと、
オフセット基準線位置決め点(813)と関連付けられた視認物体(202)の表面(210)上の点を含むオフセットスライス平面(882)を決定することと、
オフセットスライス平面(882)に近接する視認物体(202)の表面(210)上の複数の点を含むオフセット表面輪郭線(892)を決定することと、
第1の表面輪郭線(891)とオフセット表面輪郭線(892)との間の複数のプロファイル表面輪郭線(844)を決定することと、
複数のプロファイル表面輪郭線(844)のいずれかの上の最深点または最高点として関心点(845)を決定することと、
を行う中央演算処理ユニット(150)と、
を備えた、装置。
100 ビデオ検査装置
102 プローブ
110 挿入チューブ
112 撮像機器ハーネス
120 ヘッドアセンブリ
122 プローブ光学素子
124 撮像機器
126 撮像混成器
130 取り外し可能な先端
132 先端視認光学素子
140 プローブ電子機器
142 撮像機器インターフェース電子機器
144 校正メモリ
146 マイクロコントローラ
150 中央演算処理ユニットCPU
152 CPUプログラムメモリ
154 揮発性メモリ
156 不揮発性メモリ
158 コンピュータI/Oインターフェース
160 ビデオプロセッサ
162 ビデオメモリ
170 一体ディスプレイ
172 外部モニタ
180 ジョイスティック
182 ボタン
184 キーパッド
186 マイク
200 画像
202 視認物体
204 異常
210 表面
221 基準表面点
222 基準表面点
223 基準表面点
224 最深表面点
231 基準表面カーソル
232 基準表面カーソル
233 基準表面カーソル
234 最深点カーソル
241 画素
242 画素
243 画素
250 基準面
260 基準面形状
261 基準表面点
262 基準表面点
263 基準表面点
264 基準表面点
270 関心領域
271 関心領域形状
280 関心領域
281 関心領域形状
282 最深点グラフィックインジケータ
290 深さ
300 方法
310 表面の画像(ステップ)
320 表面点の3D(ステップ)
330 基準面(ステップ)
340 関心領域(ステップ)
350 関心領域における表面点の深さ(ステップ)
360 最深表面点の位置と深さ(ステップ)
400 プロファイル
500 画像
501 物体表面点
502 物体表面点(関心点)
503 物体表面点
510 第1の基準線
511 第1の基準線端点(第1の基準線)
512 第2の基準線端点(第1の基準線)
514 基準線分点(第1の基準線)
515 基準線分点(第1の基準線)
516 基準線分点(第1の基準線)
517 基準線分点(第1の基準線)
518 基準線分点(第1の基準線)
520 第2の基準線
521 第3の基準線端点(第2の基準線)
522 第4の基準線端点(第2の基準線)
524 基準線分点(第2の基準線)
525 基準線分点(第2の基準線)
526 基準線分点(第2の基準線)
527 基準線分点(第2の基準線)
528 基準線分点(第2の基準線)
550 基準面
561 第1の画素(第1の基準カーソル)
562 第2の画素(第2の基準カーソル)
563 第3の画素(第3の基準カーソル)
564 第4の画素(第4の基準カーソル)
570 関心領域
571 関心領域形状
572 第1の関心領域距離
573 第2の関心領域距離
574 表面点から平面までの距離
575 表面点から平面までの距離
580 関心領域平面(基準面に至る平面)
581 第1の基準線平面(物体表面に至る平面)
582 第2の基準線平面(物体表面に至る平面)
583 基準面に至る平面
584 基準面に至る平面
591 第1の表面輪郭線
592 第2の表面輪郭線
594 プロファイル表面輪郭線
600 プロファイル
602 深度測定
604 深度測定表示
700 方法
710 物体表面の画像(ステップ)
720 物体表面点の3D(ステップ)
730 第1の基準線(ステップ)
732 第1の基準線分点の3D(ステップ)
734 第2の基準線(ステップ)
736 第2の基準線分点の3D(ステップ)
740 基準面(ステップ)
750 関心領域(ステップ)
760 異常表面点の距離(ステップ)
770 関心点の3D(ステップ)
780 プロファイル表面輪郭線の3D(ステップ)
790 物体表面のプロファイル(ステップ)
800 画像
811 第1の基準線端点
812 第2の基準線端点
813 オフセット基準線位置決め点
821 第1のオフセット(第2の)表面輪郭線端点
822 第2のオフセット(第2の)表面輪郭線端点
831 第1のカーソル
832 第2のカーソル
833 オフセットカーソル
841 第1のプロファイルスライス平面端点
842 第2のプロファイルスライス平面端点
843 プロファイルスライス平面
844 プロファイル表面輪郭線
845 関心点
850 基準面
851 プロファイルスライス基準面
861 第1の画素
862 第2の画素
863 第3の画素
881 第1のスライス平面(物体表面に至る平面)
882 オフセット(第2の)スライス平面(物体表面に至る平面)
891 第1の表面輪郭線
892 オフセット(第2の)表面輪郭線
900 画像
931 第1のカーソル
932 第2のカーソル
933 オフセットカーソル
944 プロファイル表面輪郭線
991 第1の表面輪郭線
992 オフセット(第2の)表面輪郭線

Claims (7)

  1. 視認物体(202)上の関心点(845)を自動的に識別する方法であって、
    前記視認物体(202)の画像(800)をモニタ(170、172)に表示するステップと、
    中央演算処理ユニット(150)を用いて、前記視認物体(202)の表面(210)を表す3次元データから前記視認物体(202)の表面(210)上の複数の点の3次元座標を決定するステップと、
    ポインティングデバイスを用いて、第1の基準線位置決め点(811)を選択する入力を受け付けるステップと、
    ポインティングデバイスを用いて、第2の基準線位置決め点(812)を選択する入力を受け付けるステップと、
    前記中央演算処理ユニット(150)を用いて、前記第1の基準線位置決め点(811)および前記第2の基準線位置決め点(812)によってそれぞれ特定される前記視認物体(202)の前記表面(210)上の点に適合する面を基準面(850)として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記基準面(850)に垂直であり、前記第1の基準線位置決め点(811)および前記第2の基準線位置決め点(812)を含む面を第1のスライス平面(881)として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記第1のスライス平面(881)上に位置する前記視認物体(202)の前記表面(210)上の複数の点を含む線を第1の表面輪郭線(891)として決定するステップと、
    ポインティングデバイスを用いて、オフセット基準線位置決め点(813)を選択する入力を受け付けるステップと、
    前記中央演算処理ユニット(150)を用いて、前記第1のスライス平面(881)に平行であり、前記オフセット基準線位置決め点(813)によって特定される前記視認物体(202)の前記表面(210)上の点を含む面をオフセットスライス平面(882)として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記オフセットスライス平面(882)上に位置する前記視認物体(202)の前記表面(210)上の複数の点を含む線をオフセット表面輪郭線(892)として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記第1の表面輪郭線(891)と前記オフセット表面輪郭線(892)との間の複数のプロファイル表面輪郭線(844)を決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記複数のプロファイル表面輪郭線(844)のいずれかの上の最深点または最高点として前記関心点(845)を決定するステップと、
    を含み、
    前記複数のプロファイル表面輪郭線(844)を決定する前記ステップが、各々の前記プロファイル表面輪郭線(844)に関して、
    前記中央演算処理ユニット(150)を用いて、前記第1の表面輪郭線(891)上に位置する第1の点を第1のプロファイルスライス平面端点(841)として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記オフセット表面輪郭線(892)上に位置する第2の点を第2のプロファイルスライス平面端点(842)として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、少なくとも前記第1のプロファイルスライス平面端点(841)および前記第2のプロファイルスライス平面端点(842)に適合する面をプロファイルスライス基準面(851)として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記プロファイルスライス基準面(851)に垂直であり、前記第1のプロファイルスライス平面端点(841)および前記第2のプロファイルスライス平面端点(842)を含む面をプロファイルスライス平面(843)として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記プロファイルスライス平面(843)上に位置する前記視認物体(202)の前記表面(210)上の複数の点を含む線をプロファイル表面輪郭線(844)として決定するステップと、を含む、
    方法。
  2. 前記第1の基準線位置決め点(811)および前記第2の基準線位置決め点(812)が、前記第1の表面輪郭線(891)の端点である、請求項1記載の方法。
  3. 前記第1の表面輪郭線(891)が、前記第1のスライス平面(881)上にある前記視認物体(202)の前記表面(210)上の点、前記第1のスライス平面(881)から所定距離内にある前記視認物体(202)の前記表面(210)上の点、互いに前記第1のスライス平面(881)の反対側にあり、互いに接触する画素に対応する点、または互いに前記第1のスライス平面(881)の反対側にあり、互いに接触する画素に対応する点から補間された点を含む、請求項1又は2記載の方法。
  4. 前記オフセット表面輪郭線(892)が、前記オフセットスライス平面(882)上にある前記視認物体(202)の前記表面(210)上の点、前記オフセットスライス平面(882)から所定距離内にある前記視認物体(202)の前記表面(210)上の点、互いに前記オフセットスライス平面(882)の反対側にあり、互いに接触する画素に対応する点、または互いに前記オフセットスライス平面(882)の反対側にあり、互いに接触する画素に対応する点から補間された点を含む、請求項1から3のいずれか1項記載の方法。
  5. 前記中央演算処理ユニット(150)を用いて、前記オフセット表面輪郭線(892)上の複数の点対を複数の第1および第2のオフセット表面輪郭線端点対候補として決定するステップと、
    前記中央演算処理ユニット(150)を用いて、前記複数の第1および第2のオフセット表面輪郭線端点対候補それぞれの間で、前記第1の表面輪郭線(891)と前記オフセット表面輪郭線(892)との曲率の違いを表す値を曲率不整合値として演算するステップと、
    前記中央演算処理ユニット(150)を用いて、前記曲率不整合値が最小になる前記複数の第1および第2のオフセット表面輪郭線端点対候補を、前記オフセット表面輪郭線(892)の端点として選択するステップと、
    をさらに含む、請求項1から4のいずれか1項記載の方法。
  6. 前記複数のプロファイル表面輪郭線(844)を決定する前記ステップの後に、
    前記中央演算処理ユニット(150)を用いて、前記プロファイルスライス基準面(851)と前記プロファイル表面輪郭線(844)上の前記複数の点との間の距離を算出するステップと、
    前記中央演算処理ユニット(150)を用いて、前記算出された距離に基づいて、前記プロファイルスライス基準面(851)からの距離が最大である前記表面(210)上の点の3次元座標を前記関心点(845)の3次元座標として決定するステップと、
    をさらに含む、請求項1から5のいずれか1項記載の方法。
  7. 前記基準面(850)が、基準平面である、請求項1から6のいずれか1項記載の方法。
JP2017017233A 2016-02-08 2017-02-02 視認物体上の関心点を自動的に識別する方法 Active JP7098271B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/018,587 2016-02-08
US15/018,587 US9842430B2 (en) 2013-12-17 2016-02-08 Method and device for automatically identifying a point of interest on a viewed object

Publications (2)

Publication Number Publication Date
JP2017162452A JP2017162452A (ja) 2017-09-14
JP7098271B2 true JP7098271B2 (ja) 2022-07-11

Family

ID=59382219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017017233A Active JP7098271B2 (ja) 2016-02-08 2017-02-02 視認物体上の関心点を自動的に識別する方法

Country Status (2)

Country Link
JP (1) JP7098271B2 (ja)
DE (1) DE102017102228A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7392866B2 (ja) 2020-09-09 2023-12-06 日本電気株式会社 異常検出システム、異常検出方法、及びプログラム
JP7392867B2 (ja) 2020-09-09 2023-12-06 日本電気株式会社 異常検出システム、異常検出方法、及びプログラム
DE102023102837B3 (de) 2023-02-06 2024-04-25 K.A. Schmersal Holding Gmbh & Co. Kg Verfahren zur Definition einer räumlichen Begrenzung eines Schutzbereichs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110115791A1 (en) 2008-07-18 2011-05-19 Vorum Research Corporation Method, apparatus, signals, and media for producing a computer representation of a three-dimensional surface of an appliance for a living body
US20110210961A1 (en) 2010-02-26 2011-09-01 Clark Alexander Bendall Method of determining the profile of a surface of an object
JP2011182977A (ja) 2010-03-09 2011-09-22 Olympus Corp 内視鏡装置およびプログラム
US20120069012A1 (en) 2009-05-28 2012-03-22 Aldo Facchin Point cloud assisted photogrammetric rendering method and apparatus
JP2012185160A (ja) 2011-03-04 2012-09-27 General Electric Co <Ge> 観察対象物の表面の3次元ビューを表示するための方法および装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6446251B2 (ja) * 2014-10-13 2018-12-26 ゼネラル・エレクトリック・カンパニイ 異常の表面上の関心点を自動的に識別するための方法およびデバイス

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110115791A1 (en) 2008-07-18 2011-05-19 Vorum Research Corporation Method, apparatus, signals, and media for producing a computer representation of a three-dimensional surface of an appliance for a living body
US20120069012A1 (en) 2009-05-28 2012-03-22 Aldo Facchin Point cloud assisted photogrammetric rendering method and apparatus
US20110210961A1 (en) 2010-02-26 2011-09-01 Clark Alexander Bendall Method of determining the profile of a surface of an object
JP2011182977A (ja) 2010-03-09 2011-09-22 Olympus Corp 内視鏡装置およびプログラム
JP2012185160A (ja) 2011-03-04 2012-09-27 General Electric Co <Ge> 観察対象物の表面の3次元ビューを表示するための方法および装置

Also Published As

Publication number Publication date
JP2017162452A (ja) 2017-09-14
DE102017102228A1 (de) 2017-08-10

Similar Documents

Publication Publication Date Title
US11514643B2 (en) Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
US9600928B2 (en) Method and device for automatically identifying a point of interest on the surface of an anomaly
US10319103B2 (en) Method and device for measuring features on or near an object
US9842430B2 (en) Method and device for automatically identifying a point of interest on a viewed object
US9875574B2 (en) Method and device for automatically identifying the deepest point on the surface of an anomaly
US9013469B2 (en) Method and device for displaying a three-dimensional view of the surface of a viewed object
JP6446251B2 (ja) 異常の表面上の関心点を自動的に識別するための方法およびデバイス
US10217016B2 (en) Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US11170516B2 (en) Method and device for measuring features on or near an object
US20170337705A1 (en) Graphic overlay for measuring dimensions of features using a video inspection device
JP7373037B2 (ja) 映像検査機器を使用して特徴の寸法を測定するためのグラフィックオーバーレイ
JP6865046B2 (ja) 視認物体の深度測定において関心点を自動的に識別する方法および装置
JP6895382B2 (ja) 観視対象の3次元形状を描画する画像と同時に観視対象の2次元画像を表示するための方法および機器
JP6966997B2 (ja) 対象上または対象の近くの特徴を測定するための方法および機器
JP7098271B2 (ja) 視認物体上の関心点を自動的に識別する方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220629

R150 Certificate of patent or registration of utility model

Ref document number: 7098271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150