JP7294778B2 - 製造中または他の作業中における対象物のライブ計測 - Google Patents

製造中または他の作業中における対象物のライブ計測 Download PDF

Info

Publication number
JP7294778B2
JP7294778B2 JP2018136443A JP2018136443A JP7294778B2 JP 7294778 B2 JP7294778 B2 JP 7294778B2 JP 2018136443 A JP2018136443 A JP 2018136443A JP 2018136443 A JP2018136443 A JP 2018136443A JP 7294778 B2 JP7294778 B2 JP 7294778B2
Authority
JP
Japan
Prior art keywords
sensors
point cloud
scanning
polarization
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018136443A
Other languages
English (en)
Other versions
JP2019039909A (ja
Inventor
リアム アントニオ ウィンガート,
クリス エー. カントレル,
アンソニー ダブリュ. ベーカー,
ケネス ポール, ザ サード バウワース,
ジェームズ エー. グロスニクル,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2019039909A publication Critical patent/JP2019039909A/ja
Application granted granted Critical
Publication of JP7294778B2 publication Critical patent/JP7294778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Description

本開示は、対象物を検査すること、および対象物の測定または計測を実行することに関し、より詳細には、製造中または他の作業中における対象物のライブ計測またはほぼリアルタイムの計測に関する。
製造中または他のプロセス中に大きな構成要素または対象物を検査することは、時間および労力を要する作業であり、製造プロセスにコストおよび時間を追加する。製造中にそのような構成要素を測定することが不正確であると、製造上の非効率および品質欠陥が生じる可能性もある。したがって、これらの欠点を克服し、製造サイクルの早期に欠陥を検出し、検査時間を短縮し、製造、検査または他のプロセスの自動化に使用できるシステムおよび方法が必要とされている。
一例によれば、対象物のライブ計測のための方法は、複数のセンサによってスキャン動作を実行して、対象物の電子画像を収集することを含む。電子画像は、対象物のライブ計測のための3次元(3D)点群データを含み、各センサからの点群データは、対象物を表現する点群を規定する。本方法は、複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することを、さらに含む。本方法は、製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することを、さらに含む。
別の例によれば、対象物のライブ計測のためのシステムは、対象物の電子画像を収集するためにスキャン動作を実行するための複数のセンサを含む。電子画像は、対象物のライブ計測のための3D点群データを含む。各センサからの点群データは、対象物を表現する点群を規定する。本システムは、プロセッサと、プロセッサ上で動作するライブ計測モジュールとを、さらに含む。ライブ計測モジュールは、複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することを含む機能のセットを実行するように構成される。機能のセットは、製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することを、さらに含む。
さらなる例によれば、対象物のライブ計測のためのコンピュータプログラム製品は、それと共に具現化されているプログラム命令を有するコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は、それ自体、非一時的な媒体である。プログラム命令は、複数のセンサによってスキャン動作を実行して対象物の電子画像を収集することを含む方法を、デバイスに実行させるように、デバイスによって実行可能である。電子画像は、対象物のライブ計測のための3D点群データを含む。各センサからの点群データは、対象物を表現する点群を規定する。本方法は、複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することを、さらに含む。本方法は、製造時の対象物の再構成モデルを対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、複数のセンサを、種々のタイプのセンサの所定の1つのアレイまたは複数のアレイに配置することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、製造中に人間および機器からの干渉を避けるために、複数のセンサを対象物から所定の距離離して配置することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、スキャンされるべき対象物の表面または面がセンサに面している状態でスキャン動作を実行するために、選択された向きに対象物を配置することと、スキャン動作を実行した後に3D点群データを格納することとを、さらに含む。本方法または機能のセットは、対象物の他の表面または面をスキャンするために、他の選択された向きに対象物を再配置することと、各スキャン動作を実行した後に3D点群データを格納することとを、さらに含む。点群をスティッチングすることは、対象物の選択された向きの各々からの点群をスティッチングすることを含む。
別の例または前述の例のいずれかによれば、スキャン動作を実行することは、複数のセンサのうちの飛行時間型センサのグループを使用して深度マップを作成することを含む。深度マップは、飛行時間型センサから対象物までの距離を含む点群データの点群を含む。スキャン動作を実行することは、複数の偏光画像を収集するために深度マップを使用して複数のセンサのうちの複数の偏光センサまたはスキャンセンサを使用して対象物をスキャンすることを、さらに含む。各偏光画像は、各偏光センサによって生成された偏光点群を規定する。スキャン動作を実行することは、偏光画像をスティッチングして、結合された偏光センサマップを形成することを、さらに含む。スキャン動作を実行することは、複数のセンサのうちの複数の3Dスキャンセンサを使用して、対象物の複数の表面画像を取得することを、さらに含む。各表面画像は、3Dスキャンセンサに面する対象物の表面または面についての、3Dスキャンセンサの各々によって生成された表面画像点群を規定する。スキャン動作を実行することは、結合された偏光センサマップに表面画像をマッピングして、複数のセンサに面する対象物の表面または面についての、対象物の表面表現を生成することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、深度マップを使用して複数のスキャン領域を照明することを、さらに含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、深度マップを使用して複数のスキャンエリアを決定することを、さらに含む。
別の例または前述の例のいずれかによれば、偏光画像をスティッチングすることは、偏光点群から対象物の表現を生成することを含む。対象物の表現は、解像度適応メッシュを含む。
別の例または前述の例のいずれかによれば、結合された偏光センサマップに表面画像をマッピングすることは、偏光点群および表面画像点群を使用して対象物の表現を生成することを含む。対象物の表面表現は、対象物の3D計測のための、対象物に対応する解像度適応メッシュを含む。
別の例または前述の例のいずれかによれば、表面表現を生成することは、各点群の中間陰的表現を使用して、偏光点群および表面画像点群にメッシュをフィッティングすることを含む。
別の例または前述の例のいずれかによれば、点群をスティッチングすることは、点群を使用して解像度適応メッシュを生成することを含む。解像度適応メッシュは、対象物の3D計測のための製造時の対象物の再構成モデルに対応する。
別の例または前述の例のいずれかによれば、点群をスティッチングすることは、各点群の中間陰的表現を使用して、点群にメッシュをフィッティングすることを含む。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、製造時の対象物の再構成モデルの精度が、実際の製造された対象物に対して約0.003インチ以内である。
別の例または前述の例のいずれかによれば、本方法または機能のセットは、機械の機械コントローラへの入力として、製造時の対象物の再構成モデルを提供して、機械による不用意な接触を回避することを、さらに含む。
別の例または前述の例のいずれかによれば、複数のセンサは、光検出と測距(LIDAR)デバイスまたはシステムのアレイ、専用の位相イメージングセンサのアレイ、飛行時間型センサまたはカメラのアレイ、ステレオカメラのアレイ、ライトフィールドカメラのアレイ、および高解像度カメラのアレイ、または本明細書で説明される機能を実行することができる他のタイプのデバイスまたはセンサのアレイのうちの1つ以上を含む。
別の例または前述の例のいずれかによれば、製造時の対象物の再構成モデルは、スキャン動作を実行するのとほぼリアルタイムで生成される。
説明した特徴、機能、および利点は、様々な例で独立に達成することができ、またはさらに他の例で組み合わせてもよく、そのさらなる詳細は、以下の説明および図面を参照して理解することができる。
本開示の一例による、対象物のライブ計測を実行するためのシステムの一例のブロック概略図である。 本開示の一例による、対象物のライブ計測のための方法の一例のフローチャートである。 本開示の一例による、スキャン動作を実行して、対象物の表面表現を生成するための方法の一例のフローチャートである。 本開示の別の例による、対象物のライブ計測を実行するためのシステムの一例を示す図である。
実施例についての以下の詳細な説明は、本開示の具体的な実施例を示す添付の図面を参照する。異なる構造および動作を有する他の例が、本開示の範囲から逸脱するものではない。同様の参照番号が、異なる図面における同じ要素または構成要素を指すことがある。
本開示は、システム、方法、および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持し記憶することができる有形のデバイスであってもよい。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非包括的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、パンチカードまたは命令が記録されたグルーブ内の隆起構造などの機械的にエンコードされたデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波または他の自由に伝搬する電磁波、導波管または他の伝送媒体を通って伝搬する電磁波(例えば、光ファイバケーブルを通って流れる光パルス)、または電線を通って伝送される電気信号などの、それ自体一時的な信号であると解釈されるべきではない。
本明細書に記載のコンピュータ可読プログラム命令は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および/または無線ネットワークを介して、コンピュータ可読記憶媒体から、または外部コンピュータもしくは外部記憶デバイスから、それぞれのコンピューティング/処理デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび/またはエッジサーバを含むことができる。各コンピューティング/処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング/処理デバイス内のコンピュータ可読記憶媒体に格納するために、コンピュータ可読プログラム命令を転送する。
本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で、実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または外部コンピュータへ(例えば、インターネットサービスプロバイダを使用してインターネットを介して)接続がなされてもよい。いくつかの例では、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ(FPGA)、またはプログラマブルロジックアレイ(PLA)を含む電子回路は、本開示の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。
本開示の態様は、本開示の実施例による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して、本明細書に記載される。フローチャート図および/またはブロック図の各ブロック、ならびにフローチャート図および/またはブロック図におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されよう。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供され、コンピュータまたは他のプログラム可能データ処理装置のプロセッサによって実行されるこれらの命令が、フローチャートおよび/またはブロック図のブロックに指定された機能/動作を実施するための手段を生成するような機械を製造することができる。これらのコンピュータ可読プログラム命令は、特定の仕方で機能するようにコンピュータ、プログラム可能データ処理装置、および/または他のデバイスに指示することができるコンピュータ可読記憶媒体に格納することもでき、格納された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図のブロックに指定された機能/動作の態様を実施する命令を含む製品を含む。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされて、コンピュータ、他のプログラム可能装置または他のデバイス上で一連の動作ステップを実行させて、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行される命令が、フローチャートおよび/またはブロック図のブロックに指定された機能/動作を実施するような、コンピュータ実行プロセスを生成することもできる。
図1は、本開示の一例による、対象物102のライブ計測を実行するためのシステム100の一例のブロック概略図である。システム100は、対象物102の電子画像106を収集するためにスキャン動作を実行するための複数のセンサ104を含む。本明細書で説明されるように、対象物102は、測定され、組み立てられ、製造されており、および/または製造時の対象物102の再構成モデル112を使用する何らかの他の作業が、対象物102に対して実行されている。システム100によって実行可能なスキャン動作の一例が、図2および図3を参照して、より詳細に説明される。電子画像106は、対象物102のライブ計測またはライブ3D計測のための3次元(3D)点群データ108を含む。各センサ104からの点群データ108は、対象物102を表現する点群110を規定する。センサ104の例には、デジタルカメラ、光検出と測距(lidar)デバイスもしくはシステム、3Dレーザスキャンデバイス、飛行時間型(TOF)カメラもしくはセンサ、専用の位相イメージングセンサ、ステレオカメラ、ライトフィールドカメラ、高解像度カメラもしくはセンサ、または同様の撮像デバイスが含まれるが、必ずしもこれらに限定されない。センサ104は、これらの異なるタイプのセンサの任意の組み合わせを含むことができ、異なるタイプのセンサ104は、図4を参照して説明されている例示的なシステム400のものと同様に所定のアレイまたはグループで配列または配置されてもよい。さらに、人間または対象物102に関連する製造、組立もしくは他の機能において使用される機器142からの干渉を避けるために、複数のセンサ104およびストラクチャードライトプロジェクタ120は、対象物102から所定の距離だけ離れて配置される、または間隔を空けて配置される。
一例によれば、複数のセンサ104は、3次元(3D)スキャンセンサ114、TOFセンサ116、および偏光センサ118または他のタイプのスキャンセンサを含む。例示的なシステム100は、スキャン動作のためにセンサ104に面する対象物102の表面124を照明するための複数のストラクチャードライトプロジェクタ120を、さらに含む。3Dスキャンセンサ114は、対象物102の3D電子画像106を収集する。電子画像106は、対象物102のライブ計測のための3次元(3D)点群データ108を含む。各センサ104からの点群データ108は、対象物102を表現する点群110を規定する。
TOFセンサ116は、スキャン動作中に、センサ104からの対象物102の表面124上の点122または3D位置の深度「D」または距離データを含む画像106を収集する。TOFセンサ116は、対象物102上で赤外光ビームを反射させ、光ビームを送ってから、対象物102からの反射された光ビームが戻って来るまでの時間を測定することによって、深度Dまたは距離を決定する。対象物102上の点122の深度情報を含む点群110が、各TOFセンサ116によって生成される。TOFセンサ116によって生成された点群110は、本明細書で説明されるように、製造時の対象物102の再構成モデル112を生成する際に使用される深度マップ126を規定する。
偏光センサ118または他のタイプのスキャンセンサは、偏光画像128または光が対象物102上の点122もしくは3D位置から反射されるベクトル情報を含む他の電子スキャン画像を収集する。各偏光センサ118からの偏光画像128または各スキャンセンサからの他の電子スキャン画像は、本明細書で説明されるように、製造時の対象物102の再構成モデル112を生成する際に使用される微視的レベルでの対象物102の3D形状情報を含む測定値を含む点群110を規定する。
電子画像106は、対象物102の3D点群データ108を含む。各センサ104からの点群データ108は、対象物102を表現する点群110を規定する。各点群110は、多数の点132を含み、各点132は、対象物102の表面124上の対応する点122に関する少なくとも位置情報を含む。各センサ104からの点群データ108または点群110は、データベース130または他のデータ記憶デバイスに格納される。一例によれば、対象物102は、航空機または航空機の一部であり、本明細書に記載されているように、製造時の対象物102の再構成モデル112は、組立もしくは製造中または他の目的のために、航空機または航空機の一部の3Dライブ計測に使用される。他の例では、対象物102は、任意の製品もしくは品目または製品もしくは品目の一部であり、本明細書で説明するように、再構成モデル112は、組立、製造または他の作業中にデバイスまたは機器上で3Dライブ計測を実施するために使用される。
システム100は、プロセッサ134と、プロセッサ134上で動作するライブ計測モジュール136とを、さらに含む。例示的な一例によれば、ライブ計測モジュールは、図2および図3を参照して説明される動作または機能を実行するように構成されている。例えば、ライブ計測モジュール136は、複数のセンサ104からの点群110をスティッチングして、製造時の対象物102の再構成モデル112を生成し、再構成モデル112を、対象物102の設計時モデル138と比較して、対象物102が、対象物102の設計時モデル138に対する許容誤差140内で製造されていることを決定することを含むが、これに限定されない機能のセットを実行するように構成される。再構成モデル112は、図2および図3を参照して説明されるスキャン動作を実行するのとほぼリアルタイムで生成される。
一例によれば、システム100は、スキャンのために様々な向きまたは位置に対象物102を配置するための装置144を、さらに含む。航空機または航空機の構成要素などの大きな対象物102の場合、対象物102は、完全なまたは全体の製造時の対象物102の再構成モデル112が生成または形成されることができるように、様々な表面または面がセンサ104に面するように配置される必要があり得る。一例によれば、装置144はまた、人間または対象物102に関連する製造、組立もしくは他の機能で使用される機器142が装置144に対して移動可能であるように、寸法決めされている。プロセッサ134は、3Dスキャンセンサ114、飛行時間型センサ116、偏光センサ118またはスキャンセンサ、およびストラクチャードライトプロジェクタ120の動作を制御する。別の例によれば、プロセッサ134または別のプロセッサは、スキャンのために対象物102を配置するための装置144を、さらに制御する。
図2は、本開示の一例による、対象物のライブ計測のための方法200の一例のフローチャートである。一例によれば、方法200は、図1のシステム100によって具現化され実行される。ブロック202において、センサが、較正される。設計時の対象物に対して寸法が確認された既知または標準の対象物が、システム100内に配置されて、センサを較正し、センサが正しく動作しており、正確な測定データを収集していることを確認してもよい。さらに、較正は、正しく動作するためにライブ計測モジュール136によって使用されるパラメータ(内部パラメータおよび外部パラメータ)を収集する。製造時の対象物の再構成モデルの精度は、測定されているまたは再構成モデルが生成されている実際の製造された対象物に対して約0.003インチ以内であることが好ましい。
ブロック204において、対象物は、スキャンされるべき対象物の表面または面がセンサに面している状態でスキャン動作を実行するために、選択された向きに配置される。ブロック206において、スキャン動作が複数のセンサによって実行され、対象物の電子画像を収集する。電子画像は、対象物のライブ3D計測のための3D点群データを含む。各センサからの点群データは、先に説明したものと同様に、対象物を表現する点群を規定する。ブロック206で使用可能なスキャン動作の一例が、図3を参照して説明される。ブロック208において、スキャン動作を実行した後に、3D点群データが格納される。
ブロック210において、対象物の別の表面または面をスキャンするために、対象物の別の向きが選択されるべきかどうかの決定がなされる。別の向きが選択された場合、方法200はブロック204に戻り、対象物は、対象物の別の表面または面をスキャンするために別の選択された向きに配置または再配置される。その後、方法200は、先に説明したものと同様に続行する。このプロセスは、対象物のすべての所望の表面または面がスキャンされて、製造時の対象物の完全な再構成モデルを提供するまで続く。点群データまたは3D点群データは、各スキャン動作を実行した後に、格納される。
ブロック212において、全てのスキャン動作についての複数のセンサからの点群が、スティッチングされ、または融合されて、製造時の対象物の再構成モデルを生成する。点群をスティッチングすることは、対象物の選択された向きの各々からの点群をスティッチングすることを含む。一例によれば、点群をスティッチングまたは融合することは、点群を使用して解像度適応メッシュを生成することを含む。解像度適応メッシュは、対象物の3D計測のための製造時の対象物の再構成モデルに対応する。解像度適応メッシュを生成することによって点群をスティッチングまたは融合する例(以下、「解像度適応メッシュスティッチング技法」という)は、本明細書に記載されたものと同様に、複数のセンサまたは3Dスキャンシステムによって生成された点群データまたは3D点群データを表現および最適に組み合わせ、航空機などの対象物の製造または組立プロセス中に、例えば工場などの大きな空間容積内で対象物を測定および追跡する方法およびシステムを利用する。解像度適応メッシュスティッチング技法で使用されるシステムおよび方法は、同じ対象物を観察する複数のセンサの異なる方向において空間的に変化する解像度を考慮しながら、点群を計測に有用な表面表現に変換する。解像度適応メッシュスティッチング技法で使用されるシステムおよび方法は、点群内の点の予想される精度に応じて異なるように、表面表現への各点の寄与を重み付けすることによって、これを行う。これは、すべての点に均等に重み付けを行い、センサ解像度モデル、または対象物からの視線方向および距離の関数としてのセンサの予想される解像度に関する事前知識を組み入れない既存の表面再構成法とは対照的である。解像度適応メッシュスティッチング技法で使用されるシステムおよび方法は、対象物の、または同じ対象物を異なる方向と距離から観察する複数のセンサからの点群のスティッチングまたは融合から導き出された製造時の対象物の再構成モデルの3D表面表現を最適化する。
別の例によれば、点群をスティッチングすることは、各点群の中間陰的表現を使用して、点群にメッシュをフィッティングすることを含む。各点群の中間陰的表現を使用して点群をスティッチングまたは融合する例(以下、「中間陰的表現スティッチング技法」と呼ぶ)は、本明細書に記載されたものと同様に、複数のセンサまたは3Dスキャンシステムによって生成された点群データまたは3D点群データを表現および最適に組み合わせ、航空機のような対象物の組立または製造プロセス中に工場フロアなどの大きな空間容積内で対象物を測定および追跡するシステムおよび方法を利用する。中間陰的表現スティッチング技法で使用される方法またはシステムは、同じ対象物を観察する複数のセンサまたは3Dスキャンシステムの異なる方向において空間的に変化する解像度を考慮しながら、点群を計測に有用な表面表現に変換する。中間陰的表現スティッチング技法で使用される方法またはシステムは、点群を、3Dスキャンシステムのセンサの各々の解像度を考慮に入れた点群の中間陰的表現を使用してメッシュフィッティングするために最適化された点群に変換することによって、これを行う。中間陰的表現スティッチング技法で使用される方法またはシステムは、対象物の、または同じ対象物を異なる方向と距離から観察する複数のセンサからの点群のスティッチングまたは融合から導き出された製造時の対象物の再構成モデルの3D表面表現を最適化する。
ブロック214において、製造時の対象物の再構成モデルが、対象物の設計時モデルと比較されて、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定する。
ブロック216において、製造時の対象物の再構成モデルを使用して、製造時の対象物と設計時の対象物との間の偏差が決定される。再構成モデルを使用する製造作業などの作業が、対象物に対して実行されてもよい。例えば、一例によれば、製造時の対象物の再構成モデルが、機械の機械コントローラへの入力として使用され、機械による不用意な接触を回避する。
図3は、本開示の一例による、対象物の表面表現を生成するためにスキャン動作を実行する方法300の一例のフローチャートである。一例によれば、方法300は、図2のブロック206でスキャン動作を実行するために使用される。一例によれば、方法300は、図1のシステム100に具現化され、システム100によって実行される。ブロック302において、複数のセンサの飛行時間型センサのグループを使用して、深度マップが作成される。深度マップは、飛行時間型センサから対象物までの距離を含む点群データの点群を含む。
ブロック304において、複数のスキャン領域が、深度マップを使用して照明される。図1の例示的な例によれば、スキャン領域は、ストラクチャードライトプロジェクタ120によって照明される。
ブロック306において、対象物は、複数の偏光画像を収集するために、深度マップを使用して、複数のセンサのうちの複数の偏光センサまたは他のスキャンセンサを使用して、スキャンされる。対象物上の複数のスキャンエリアが、深度マップを使用して、決定される。各偏光画像は、各偏光センサによって生成された偏光点群を規定する。一例によれば、偏光センサまたはスキャンセンサは、スキャンのために対象物に対して移動するようにエレベータに取り付けられる。エレベータに対応するエレベータゾーンが、スキャン動作中、エレベータゾーンによって画定されたエリアから対象物を取り除いておくための面積によって割り当てられる。センサはまた、スキャン動作を実行するためのパン/チルトユニットに取り付け可能であり、これらに対応するエリアもまた、スキャン中、対象物が取り除いておかれる。
ブロック308において、偏光画像が、完全な、結合されたまたは融合された偏光センサマップを形成するために、スティッチングまたは融合される。一例によれば、偏光画像は、上述した解像度適応メッシュスティッチング技法または中間陰的表現スティッチング技法を使用して、スティッチングまたは融合される。偏光画像をスティッチングすることは、偏光点群から対象物の表現を生成することを含む。対象物の表現は、解像度適応メッシュを含む。
ブロック310において、複数のセンサのうちの複数の3Dスキャンセンサを使用して、対象物の複数の表面画像が、取得または収集される。各表面画像は、3Dスキャンセンサに面する対象物の表面または面についての、3Dスキャンセンサの各々によって生成された表面画像点群を規定する。
ブロック312において、表面画像が、結合されたまたは完全な偏光センサマップにマッピングされ、複数のセンサに面する対象物の表面または面についての対象物の表面表現を生成する。一例によれば、対象物の表面画像および偏光画像を規定する点群が、上述した解像度適応メッシュスティッチング技法または中間陰的表現スティッチング技法を用いて、マッピングまたは融合される。結合されたまたは完全な偏光センサマップへ表面画像をマッピングすることは、偏光点群および表面画像点群を使用して、対象物の表面表現を生成することを含む。対象物の表面表現は、対象物の3Dライブ計測のための、対象物に対応する解像度適応メッシュを含む。一例によれば、表面表現を生成することは、各点群の中間陰的表現を使用して、偏光点群および表面画像点群にメッシュをフィッティングすることを含む。
図4は、本開示の別の例による、対象物404のライブ測定を実行するためのシステム400の一例を示す図である。例示的な一例によれば、システム400は、図1のシステム100に使用される、または図1のシステム100の一部である。システム400は、スキャンのために対象物404を配置するための装置402を含む。装置402は、図1の装置144に使用されてもよい。対象物404を配置するための装置402は、ベース406と、ベース406から延びる一対の対向する側壁408および410とを含む。ガントリ412が、側壁408および410の頂部の間に延び、各側壁408および410上のトラック414に沿って移動する。ガントリ412は、本明細書で説明されるように、対象物404の様々な表面または面をスキャンするために対象物404を配置または再配置するためのクレーン416を含む。
システム400は、スキャン動作を実行するための複数のセンサ420および照明プロジェクタ422を支持するための取り付け装置418を、さらに含む。一例によれば、取り付け装置418は、複数のトラス424、または垂直構造部材428の間に延びる、センサ420および照明プロジェクタ422を取り付けるための複数の水平構造部材426を含むはしご型構造を含む。前述と同様に、一例によれば、センサ420は、製造時の対象物の再構成モデルを生成するための様々なタイプのデータを収集するための様々なタイプのセンサまたはカメラを含む。センサ420は、特定のスキャン動作および/またはスキャンされる対象物に基づいて所定のアレイまたはグループに配置される。例えば、第1の水平構造部材426aは、対象物404をスキャンし、製造時の対象物404の再構成モデルを生成するためのデータを含む電子画像を収集するためのパン/チルトユニット430の複数のアレイを含む。パン/チルトユニット430の例には、3Dスキャンセンサまたはデバイスが含まれるが、これに限定されない。第2の水平構造部材426bは、3Dスキャンセンサ432またはカメラの複数のアレイを含む。第3の水平構造部材426cは、飛行時間型センサ434の複数のアレイを含み、第4の水平構造部材426dは、複数の照明プロジェクタ422または赤外線照明プロジェクタを含む。図4の例示的な実施例は、システム400の一方の側にある、または一方の側壁408に関連付けられている取り付け装置418およびセンサ420を示す。別の例では、取り付け装置418およびセンサ420は、システム400の両側にあり、または両方の側壁408および410に関連付けられている。
一例によれば、方法200および方法300のうちのいずれかが、図1のコンピュータプログラム製品146などのコンピュータプログラム製品上に具体化されている。コンピュータプログラム製品146は、前述したものと同様のコンピュータ可読記憶媒体を含み、コンピュータプログラム命令148が、それと共に具体化されている。コンピュータ可読記憶媒体は、それ自体、一時的な媒体ではない。プログラム命令は、図1のプロセッサ134などのデバイスによって実行可能であり、デバイスに方法200または方法300を実行させる。一例によれば、コンピュータプログラム命令148は、プロセッサ134に関連した記憶デバイスに格納され、コンピュータプログラム製品146からダウンロード可能であるライブ計測モジュール136を規定する。
図のフローチャートおよびブロック図は、本開示の様々な例によるシステム、方法、およびコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施するための1つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または一部を表すことができる。いくつかの代替的な実施態様では、ブロックに記されている機能は、図に示された順序から外れて実施されてもよい。例えば、連続して示される2つのブロックは、実際には実質的に同時に実行されてもよく、または、関連する機能に応じて、時には、逆の順序で実行されてもよい。また、ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図のブロックの組み合わせは、指定された機能もしくは動作を実行する専用のハードウェアベースのシステムによって実行することができ、または専用のハードウェアとコンピュータ命令の組み合わせを実行するシステムによって実行することができる。
本明細書で使用する用語は、特定の例を説明するだけのためのものであり、本開示の例を限定することを意図するものではない。本明細書で使用される場合、単数形「a」、「an」および「the」は、そうでないことを文脈が明確に示さない限り、複数形も含むことが意図される。本明細書で使用される場合、用語「含む(comprises)」および/または「含む(comprising)」は、記載された特徴、整数、ステップ、動作、要素および/または構成要素の存在を明示するが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しない。
以下の特許請求の範囲の全てのミーンズまたはステッププラスファンクション要素の対応する構造、材料、動作、および均等物は、明確に特許請求されている他の特許請求された要素と組み合わせて該機能を実行するための任意の構造、材料、または動作を含むことが意図される。本実施例の説明は、例示および説明のために提示されたものであり、網羅的であることを意図するものでも、開示された形態の実施例に限定されることを意図するものでもない。実施例の範囲および精神から逸脱することなく、多くの変更および変形が、当業者には明らかであろう。
さらに、本開示は、以下の条項による実施例を含む。
条項1.
対象物のライブ計測のための方法であって、
複数のセンサによってスキャン動作を実行して、対象物の電子画像を収集することであって、電子画像は、対象物のライブ計測のための3D点群データを含み、各センサからの点群データが、対象物を表現する点群を規定する、収集することと、
複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することと、
製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することと、を含む方法。
条項2.
複数のセンサを、種々のタイプのセンサの所定の1つのアレイまたは複数のアレイに配置することを、さらに含む、条項1に記載の方法。
条項3.
製造中に人間および機器からの干渉を避けるために、複数のセンサを対象物から所定の距離離して配置することを、さらに含む、条項1に記載の方法。
条項4.
スキャンされるべき対象物の表面または面がセンサに面している状態でスキャン動作を実行するための、選択された向きに対象物を配置することと、
スキャン動作を実行した後に、3D点群データを格納することと、
対象物の他の表面または面をスキャンするための、他の選択された向きに対象物を再配置することと、
各スキャン動作を実行した後に、3D点群データを格納することと、をさらに含み、点群をスティッチングすることは、対象物の選択された向きの各々からの点群をスティッチングすることを含む、条項1に記載の方法。
条項5.
スキャン動作を実行することが、
複数のセンサのうちの飛行時間型センサのグループを使用して、飛行時間型センサから対象物までの距離を含む点群データの点群を含む深度マップを作成することと、
深度マップを使用して、複数のセンサのうちの複数のスキャンセンサを使用して対象物をスキャンして、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像を収集することと、
偏光画像をスティッチングして、結合された偏光センサマップを形成することと、
複数のセンサのうちの複数の3Dスキャンセンサを使用して、対象物の複数の表面画像であって、各表面画像が、3Dスキャンセンサに面する対象物の表面または面についての、3Dスキャンセンサの各々によって生成された表面画像点群を規定する、複数の表面画像を取得することと、
結合された偏光センサマップに表面画像をマッピングして、複数のセンサに面する対象物の表面または面についての、対象物の表面表現を生成することと、を含む、条項1に記載の方法。
条項6.
深度マップを使用して複数のスキャン領域を照明することを、さらに含む、条項5に記載の方法。
条項7.
深度マップを使用して複数のスキャンエリアを決定することを、さらに含む、条項5に記載の方法。
条項8.
偏光画像をスティッチングすることは、偏光点群から対象物の表現を生成することを含み、対象物の表現は、解像度適応メッシュを含む、条項5に記載の方法。
条項9.
結合された偏光センサマップに表面画像をマッピングすることは、偏光点群および表面画像点群を使用して対象物の表現を生成することを含み、対象物の表面表現は、対象物の3D計測のための、対象物に対応する解像度適応メッシュを含む、条項5に記載の方法。
条項10.
表面表現を生成することは、各点群の中間陰的表現を使用して、偏光点群および表面画像点群にメッシュをフィッティングすることを含む、条項9に記載の方法。
条項11.
点群をスティッチングすることは、点群を使用して解像度適応メッシュを生成することを含み、解像度適応メッシュが、対象物の3D計測のための製造時の対象物の再構成モデルに対応する、条項1に記載の方法。
条項12.
点群をスティッチングすることは、各点群の中間陰的表現を使用して、点群にメッシュをフィッティングすることを含む、条項1に記載の方法。
条項13.
製造時の対象物の再構成モデルの精度が、実際の製造された対象物に対して約0.003インチ以内である、条項1に記載の方法。
条項14.
機械の機械コントローラへの入力として、製造時の対象物の再構成モデルを提供して、機械による不用意な接触を回避することを、さらに含む、条項1に記載の方法。
条項15.
対象物のライブ計測のためのシステムであって、
対象物の電子画像を収集するためにスキャン動作を実行するための複数のセンサであって、電子画像は、対象物のライブ計測のための3D点群データを含み、各センサからの点群データが、対象物を表現する点群を規定する、複数のセンサと、
プロセッサと、
プロセッサ上で動作するライブ計測モジュールと、を備え、ライブ計測モジュールは、
複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することと、
製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することと、を含む機能のセットを実行するように構成されている、システム。
条項16.
複数のセンサが、光検出と測距(LIDAR)デバイスまたはシステムのアレイ、専用の位相イメージングセンサのアレイ、飛行時間型センサまたはカメラのアレイ、ステレオカメラのアレイ、ライトフィールドカメラのアレイ、および高解像度カメラのアレイのうちの1つ以上を含む、条項15に記載のシステム。
条項17.
製造時の対象物の再構成モデルは、スキャン動作を実行するのとほぼリアルタイムで生成される、条項15に記載のシステム。
条項18.
スキャン動作が、
複数のセンサのうちの飛行時間型センサのグループを使用して、飛行時間型センサから対象物までの距離を含む点群データの点群を含む深度マップを作成することと、
深度マップを使用して、複数のセンサのうちの複数のスキャンセンサを使用して対象物をスキャンして、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像を収集することと、
偏光画像をスティッチングして、結合された偏光センサマップを形成することと、
複数のセンサのうちの複数の3Dスキャンセンサを使用して、対象物の複数の表面画像であって、各表面画像が、3Dスキャンセンサに面する対象物の表面または面についての、3Dスキャンセンサの各々によって生成された表面画像点群を規定する、複数の表面画像を取得することと、
結合された偏光センサマップに表面画像をマッピングして、複数のセンサに面する対象物の表面または面についての、対象物の表面表現を生成することと、を含む機能のセットを含む、条項15に記載のシステム。
条項19.
対象物のライブ計測のためのコンピュータプログラム製品であって、コンピュータプログラム製品は、それと共に具現化されているプログラム命令を有するコンピュータ可読記憶媒体を含み、コンピュータ可読記憶媒体は、それ自体、非一時的な媒体であり、プログラム命令は、デバイスによって実行可能であり、
複数のセンサによってスキャン動作を実行して、対象物の電子画像を収集することであって、電子画像は、対象物のライブ計測のための3D点群データを含み、各センサからの点群データが、対象物を表現する点群を規定する、収集することと、
複数のセンサからの点群をスティッチングして、製造時の対象物の再構成モデルを生成することと、
製造時の対象物の再構成モデルを、対象物の設計時モデルと比較して、対象物が対象物の設計時モデルに対する許容誤差内で製造されていることを決定することと、を含む方法を、デバイスに実行させる、コンピュータプログラム製品。
条項20.
スキャン動作を実行することが、
複数のセンサのうちの飛行時間型センサのグループを使用して、飛行時間型センサから対象物までの距離を含む点群データの点群を含む深度マップを作成することと、
深度マップを使用して、複数のセンサのうちの複数のスキャンセンサを使用して対象物をスキャンして、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像を収集することと、
偏光画像をスティッチングして、結合された偏光センサマップを形成することと、
複数のセンサのうちの複数の3Dスキャンセンサを使用して、対象物の複数の表面画像であって、各表面画像が、3Dスキャンセンサに面する対象物の表面または面についての、3Dスキャンセンサの各々によって生成された表面画像点群を規定する、複数の表面画像を取得することと、
結合された偏光センサマップに表面画像をマッピングして、複数のセンサに面する対象物の表面または面についての、対象物の表面表現を生成することと、を含む、条項19に記載のコンピュータプログラム製品。
特定の実施例が、本明細書で図解し説明されてきたが、同じ目的を達成するように意図された任意の構成が、示されている特定の実施例と置き換えられてもよく、これらの実施例は、他の環境においては他の応用を有することが、当業者であれば、わかる。この応用は、あらゆる改造または変形をカバーすることが意図されている。以下の特許請求の範囲は、本開示の実施例の範囲を、本明細書に記載の特定の実施例に限定するものではない。

Claims (13)

  1. 対象物のライブ計測のためのシステムによる方法(200)であって、
    複数のセンサ(104)を用いてスキャン動作を実行して(206,300)、各センサからの3D点群データが、前記対象物を表現する点群(110)を規定する、前記対象物のライブ計測のための3D点群データ(108)を含む、前記対象物(102)の電子画像(106)を収集することと、
    前記複数のセンサからの前記点群をスティッチングして(212)、製造時の対象物の再構成モデル(112)を生成することと、
    前記製造時の対象物の前記再構成モデルを、前記対象物の設計時モデル(138)と比較して(214)、前記対象物が前記対象物の前記設計時モデルに対する許容誤差(140)内で製造されていることを決定することと、
    を含み、
    前記スキャン動作を実行することが、
    前記複数のセンサのうちの飛行時間型センサ(116)のグループを使用して、前記飛行時間型センサから前記対象物までの距離を含む点群データの点群を含む深度マップを作成すること(302)と、
    前記深度マップを使用して、前記複数のセンサのうちの複数のスキャンセンサ(104,118)を使用して前記対象物をスキャンして(306)、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像(128)を収集することと、
    前記偏光画像をスティッチングして(308)、結合された偏光センサマップを形成することと、
    前記複数のセンサのうちの複数の3Dスキャンセンサ(114)を使用して、各表面画像が、前記3Dスキャンセンサに面する前記対象物の表面または面の、前記3Dスキャンセンサの各々によって生成された表面画像点群を規定する、前記対象物の複数の表面画像を取得すること(310)と、
    前記表面画像を、前記結合された偏光センサマップにマッピングして(312)、前記複数のセンサに面する前記対象物の前記表面または面についての、前記対象物の表面表現を生成することと、
    を含む、方法(200)。
  2. 前記複数のセンサを、相異なるタイプのセンサ(420)の1つ以上の所定のアレイに配置することを、さらに含む、請求項1に記載の方法。
  3. 製造中に人間および機器からの干渉を回避するために、前記複数のセンサを、前記対象物から所定の距離離して配置することを、さらに含む、請求項1または2に記載の方法。
  4. スキャンされるべき前記対象物の表面(124)または面が前記センサに面している状態で前記スキャン動作を実行するための選択された向きに、前記対象物を配置すること(204)と、
    前記スキャン動作を実行した後に、前記3D点群データを格納すること(208)と、
    前記対象物の他の表面または面をスキャンするための他の選択された向きに、前記対象物を再配置すること(210,204)と、
    各スキャン動作を実行した後に、前記3D点群データを格納すること(208)と、
    をさらに含み、前記点群をスティッチングすることが、前記対象物の前記選択された向きの各々からの前記点群をスティッチングすることを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記深度マップを使用して、複数のスキャン領域を照明すること(304)を、さらに含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記深度マップを使用して、複数のスキャンエリアを決定すること(306)を、さらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記偏光画像をスティッチングすること(308)が、前記偏光点群から前記対象物の表現を生成することを含み、前記対象物の前記表現が、解像度適応メッシュを含む、請求項1から6のいずれか一項に記載の方法。
  8. 前記表面画像を、前記結合された偏光センサマップにマッピングすること(312)が、前記偏光点群および前記表面画像点群を使用して、前記対象物の表現を生成することを含み、前記対象物の前記表面表現が、前記対象物の3D計測のための、前記対象物に対応する解像度適応メッシュを含む、請求項1から6のいずれか一項に記載の方法。
  9. 前記表面表現を生成すること(312)が、各点群の中間陰的表現を使用して、前記偏光点群および前記表面画像点群にメッシュをフィッティングすることを含む、請求項8に記載の方法。
  10. 機械の機械コントローラへの入力として、前記製造時の対象物の前記再構成モデルを提供して(216)、前記機械による不用意な接触を回避することを、さらに含む、請求項1から9のいずれか一項に記載の方法。
  11. 対象物のライブ計測のためのシステム(100,400)であって、
    前記対象物(102)の電子画像(106)を収集するためにスキャン動作(206,300)を実行するための複数のセンサ(104)であって、前記電子画像は前記対象物のライブ計測のための3D点群データ(108)を含各センサからの前記3D点群データが前記対象物を表現する点群(110)を規定する、複数のセンサ(104)と、
    プロセッサ(134)と、
    前記プロセッサ上で動作するライブ計測モジュール(136)と、
    を備え、前記ライブ計測モジュールが、
    前記複数のセンサからの前記点群をスティッチングして(212)、製造時の対象物の再構成モデル(112)を生成することと、
    前記製造時の対象物の前記再構成モデルを、前記対象物の設計時モデル(138)と比較して(214)、前記対象物が前記対象物の前記設計時モデルに対する許容誤差(140)内で製造されていることを決定することと、
    を含む機能のセットを実行するように構成されていて、
    前記ライブ計測モジュールによる前記スキャン動作(206,300)が、
    前記複数のセンサのうちの飛行時間型センサ(116)のグループを使用して、前記飛行時間型センサから前記対象物までの距離を含む点群データの点群を含む深度マップを作成すること(302)と、
    前記深度マップを使用して、前記複数のセンサのうちの複数のスキャンセンサ(104,118)を使用して前記対象物をスキャンして(306)、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像(128)を収集することと、
    前記偏光画像をスティッチングして(308)、結合された偏光センサマップを形成することと、
    前記複数のセンサのうちの複数の3Dスキャンセンサ(114)を使用して、各表面画像が、前記3Dスキャンセンサに面する前記対象物の表面または面の、前記3Dスキャンセンサの各々によって生成された表面画像点群を規定する、前記対象物の複数の表面画像を取得すること(310)と、
    前記表面画像を、前記結合された偏光センサマップにマッピングして(312)、前記複数のセンサに面する前記対象物の前記表面または面についての、前記対象物の表面表現を生成することと、
    を含む機能のセットを含む、システム(100,400)。
  12. 前記複数のセンサ(104)が、光検出と測距(LIDAR)デバイスまたはシステムのアレイ、専用の位相イメージングセンサのアレイ、飛行時間型センサまたはカメラのアレイ、ステレオカメラのアレイ、ライトフィールドカメラのアレイ、および高解像度カメラのアレイのうちの1つ以上を含む、請求項11に記載のシステム。
  13. 対象物のライブ計測のためのコンピュータプログラム製品(146)であって、前記コンピュータプログラム製品が、それと共に具現化されたプログラム命令(148)を有するコンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体が、それ自体、非一時的な媒体であり、前記プログラム命令が、
    複数のセンサを用いてスキャン動作を実行して(206,300)、各センサからの3D点群データが、前記対象物を表現する点群を規定する、前記対象物のライブ計測のための3D点群データを含む、前記対象物の電子画像を収集することと、
    前記複数のセンサからの前記点群をスティッチングして(212)、製造時の対象物の再構成モデル(112)を生成することと、
    前記製造時の対象物の前記再構成モデル(112)を、前記対象物の設計時モデル(138)と比較して(214)、前記対象物が前記対象物の前記設計時モデルに対する許容誤差(140)内で製造されていることを決定することと、
    を含む方法であって、
    前記スキャン動作を実行することが、
    前記複数のセンサのうちの飛行時間型センサ(116)のグループを使用して、前記飛行時間型センサから前記対象物までの距離を含む点群データの点群を含む深度マップを作成すること(302)と、
    前記深度マップを使用して、前記複数のセンサのうちの複数のスキャンセンサ(104,118)を使用して前記対象物をスキャンして(306)、各偏光画像が、各スキャンセンサによって生成された偏光点群を規定する、複数の偏光画像(128)を収集することと、
    前記偏光画像をスティッチングして(308)、結合された偏光センサマップを形成することと、
    前記複数のセンサのうちの複数の3Dスキャンセンサ(114)を使用して、各表面画像が、前記3Dスキャンセンサに面する前記対象物の表面または面の、前記3Dスキャンセンサの各々によって生成された表面画像点群を規定する、前記対象物の複数の表面画像を取得すること(310)と、
    前記表面画像を、前記結合された偏光センサマップにマッピングして(312)、前記複数のセンサに面する前記対象物の前記表面または面についての、前記対象物の表面表現を生成することと、
    を含む、方法を、デバイスに実行させるように、前記デバイスによって実行可能である、コンピュータプログラム製品(146)。
JP2018136443A 2017-07-28 2018-07-20 製造中または他の作業中における対象物のライブ計測 Active JP7294778B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/663,397 2017-07-28
US15/663,397 US10732284B2 (en) 2017-07-28 2017-07-28 Live metrology of an object during manufacturing or other operations

Publications (2)

Publication Number Publication Date
JP2019039909A JP2019039909A (ja) 2019-03-14
JP7294778B2 true JP7294778B2 (ja) 2023-06-20

Family

ID=62597302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018136443A Active JP7294778B2 (ja) 2017-07-28 2018-07-20 製造中または他の作業中における対象物のライブ計測

Country Status (5)

Country Link
US (1) US10732284B2 (ja)
EP (1) EP3435028B1 (ja)
JP (1) JP7294778B2 (ja)
KR (1) KR102643295B1 (ja)
ES (1) ES2757561T3 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3480626A1 (en) * 2017-11-02 2019-05-08 Koninklijke Philips N.V. Improved depth image reconstruction
CN112686949A (zh) * 2020-12-30 2021-04-20 深圳艾灵网络有限公司 一种车辆定位方法、系统及相关设备
CN113190772A (zh) * 2021-03-31 2021-07-30 广州朗国电子科技有限公司 一种智能云屏的信息发布及反馈方法、系统及存储介质
CN116540255A (zh) * 2022-01-26 2023-08-04 上海飞机制造有限公司 利用多台激光雷达测量并获得飞机面型的系统和方法
US11875457B2 (en) * 2022-02-22 2024-01-16 Zebra Technologies Corporation 3D product reconstruction from multiple images collected at checkout lanes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009040991A1 (de) 2009-09-10 2011-04-07 Carl Zeiss Ag Messanordnung und Verfahren zum Vermessen einer Oberfläche
JP2013186100A (ja) 2012-03-12 2013-09-19 Hitachi Ltd 形状検査方法およびその装置
US20160261844A1 (en) 2015-03-06 2016-09-08 Massachusetts Institute Of Technology Methods and Apparatus for Enhancing Depth Maps with Polarization Cues
WO2016194728A1 (ja) 2015-06-01 2016-12-08 新日鐵住金株式会社 クランクシャフトの検査方法及び装置
US20170010087A1 (en) 2015-07-07 2017-01-12 Quality Vision International, Inc. Method and apparatus for scanning object

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886702A (en) 1996-10-16 1999-03-23 Real-Time Geometry Corporation System and method for computer modeling of 3D objects or surfaces by mesh constructions having optimal quality characteristics and dynamic resolution capabilities
US20050140670A1 (en) 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US7593565B2 (en) 2004-12-08 2009-09-22 Rudolph Technologies, Inc. All surface data for use in substrate inspection
EP1851527A2 (en) 2005-01-07 2007-11-07 GestureTek, Inc. Creating 3d images of objects by illuminating with infrared patterns
CN101464999B (zh) * 2007-12-19 2011-01-05 鸿富锦精密工业(深圳)有限公司 三维色阶比对系统及方法
JP2012518844A (ja) 2009-02-25 2012-08-16 ディメンジョナル フォトニクス インターナショナル,インコーポレイテッド 三次元計測システムのための輝度およびカラー表示
US8983794B1 (en) 2010-10-04 2015-03-17 The Boeing Company Methods and systems for non-destructive composite evaluation and repair verification
FR2992762B1 (fr) 2012-06-29 2014-07-11 Real Fusio France Procede de generation d’un maillage d’au moins un objet en trois dimensions
WO2014112908A1 (en) 2013-01-21 2014-07-24 Saab Ab A method and arrangement for providing a 3d model
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
EP2930691A1 (en) 2014-04-10 2015-10-14 Dassault Systèmes Fitting sample points with an isovalue surface
CN104063894B (zh) 2014-06-13 2017-02-22 中国科学院深圳先进技术研究院 点云三维模型重建方法及系统
US9646410B2 (en) 2015-06-30 2017-05-09 Microsoft Technology Licensing, Llc Mixed three dimensional scene reconstruction from plural surface models
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009040991A1 (de) 2009-09-10 2011-04-07 Carl Zeiss Ag Messanordnung und Verfahren zum Vermessen einer Oberfläche
JP2013186100A (ja) 2012-03-12 2013-09-19 Hitachi Ltd 形状検査方法およびその装置
US20160261844A1 (en) 2015-03-06 2016-09-08 Massachusetts Institute Of Technology Methods and Apparatus for Enhancing Depth Maps with Polarization Cues
WO2016194728A1 (ja) 2015-06-01 2016-12-08 新日鐵住金株式会社 クランクシャフトの検査方法及び装置
US20170010087A1 (en) 2015-07-07 2017-01-12 Quality Vision International, Inc. Method and apparatus for scanning object

Also Published As

Publication number Publication date
EP3435028A1 (en) 2019-01-30
KR20190013467A (ko) 2019-02-11
US10732284B2 (en) 2020-08-04
JP2019039909A (ja) 2019-03-14
KR102643295B1 (ko) 2024-03-04
ES2757561T3 (es) 2020-04-29
EP3435028B1 (en) 2019-08-21
US20190033461A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP7294778B2 (ja) 製造中または他の作業中における対象物のライブ計測
US9869755B2 (en) Laser scanner and method of registering a scene
JP2017528727A (ja) 2dカメラ画像からの3d画像の生成に当たり3d計量器と併用される拡張現実カメラ
Marcin et al. Hierarchical, three‐dimensional measurement system for crime scene scanning
JP2019101000A (ja) 測距点群データ測定システム、および制御プログラム
TW201205043A (en) Distance measuring system and distance measuring method
JP2016057063A (ja) 測定対象物の非接触検知方法及びその装置
Sommer et al. Scan methods and tools for reconstruction of built environments as basis for digital twins
JP2018163092A (ja) 表面形状測定装置及びそのスティッチング測定方法
US6927864B2 (en) Method and system for determining dimensions of optically recognizable features
JP2013178174A (ja) 複数の格子を用いた三次元形状計測装置
JP4313322B2 (ja) 欠陥粒子測定装置および欠陥粒子測定方法
Drouin et al. Active 3D imaging systems
Meguenani et al. Deflectometry based inline inspection of linearly moving plastic parts
JP6316240B2 (ja) 測定装置及び測定方法
Al-Durgham et al. Bundle adjustment-based stability analysis method with a case study of a dual fluoroscopy imaging system
JP2018162997A (ja) 情報処理装置及びプログラム
MacKinnon et al. Lateral resolution challenges for triangulation-based three-dimensional imaging systems
KR100379948B1 (ko) 3차원 형상 측정방법
Van-Bien et al. Improving the depth accuracy and assessment of microsoft kinect v2 towards a usage for mechanical part modeling
KR100866393B1 (ko) 평면 스캔 입자화상속도계 기법
Todorov et al. Technology of Three-Dimensional Scanning “Structured Light”
JPH11304483A (ja) 波高計測方法及び装置
Franke et al. 3D precision surface measurement by dynamic structured light
RU192408U1 (ru) Устройство для лазерного сканирования объектов

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7294778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150