JP2023525535A - 3次元画像内の表面特徴を識別する方法及び装置 - Google Patents

3次元画像内の表面特徴を識別する方法及び装置 Download PDF

Info

Publication number
JP2023525535A
JP2023525535A JP2022568621A JP2022568621A JP2023525535A JP 2023525535 A JP2023525535 A JP 2023525535A JP 2022568621 A JP2022568621 A JP 2022568621A JP 2022568621 A JP2022568621 A JP 2022568621A JP 2023525535 A JP2023525535 A JP 2023525535A
Authority
JP
Japan
Prior art keywords
data points
point cloud
identified
line
traits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022568621A
Other languages
English (en)
Inventor
ボーガン,ナタニエル
ヘルシャー,アンドリュー
ジェイ. マイケル,デイヴィッド
Original Assignee
コグネックス・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コグネックス・コーポレイション filed Critical コグネックス・コーポレイション
Publication of JP2023525535A publication Critical patent/JP2023525535A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本明細書で説明する技法は、3次元(3D)点群の一部分の表面特徴を識別するように構成された方法、装置及びコンピュータ可読媒体に関する。3D点群に沿った経路を示すデータが受信され、3D点群は、複数の3Dデータ点を含む。3Dデータ点の複数のリストが生成され、3Dデータ点の各リストは、受信した経路に交差する場所で3D点群にわたり延在し、3Dデータ点の各リストは、様々な場所で、受信した経路に交差する。表面特徴に関連する特質は、3Dデータ点の複数のリストの少なくとも一部において識別される。識別された特質は、識別された特質の1つ又は複数の特性に基づきグループ化される。表面特徴は、グループ化された特質に基づき識別される。

Description

関連出願
本出願は、米国特許法第119条(e)項に基づき、「METHODS AND APPARATUS FOR IDENTIFYING SURFACE FEATURES IN THREE-DIMENSIONAL IMAGES」という名称の2020年5月11日出願の米国仮出願第63/023,186号に対する優先権を主張するものであり、当該出願の全体が参照により本明細書に組み込まれる。
本明細書で説明する技法は、一般に、3次元画像内に取り込まれた物体の表面特徴を識別する技法を含む、マシン・ビジョンのための方法及び装置に関する。
マシン・ビジョン・システムは、3次元(3D)撮像デバイスを含め、強固な撮像機能を含み得る。例えば、3Dセンサは、場面を撮像し、それぞれが3D座標系内に(x,y,z)位置を含む3D点セットを生成し得る(例えば、座標系のz軸は、3D撮像デバイスからの距離を表す)。そのような3D撮像デバイスは、3D撮像工程の間に取り込まれた3D点セットを含む3D点群を生成し得る。しかし、3D点群内の絶対的な数の3D点は、(例えば、場面の2Dデータと比較すると)大量である場合がある。更に、3D点群は、純粋な3Dデータ点のみを含み得るため、3D点の間/中の関係を示すデータ、又は表面法線情報等の他の情報を含まないことがあり、他の点の間での関係を示すデータがなければ、3D点の処理を複雑化させることがある。したがって、3D点群は、大量の3Dデータを提供し得る一方で、3D点群データ上でのマシン・ビジョン・タスクの実施は、複雑化し、時間がかかり、著しい処理リソース等を必要とする場合がある。
開示する主題によれば、改善されたマシン・ビジョン技法のため、特に、3D画像内に取り込まれた物体の表面特徴を位置特定し得る、改善されたマシン・ビジョン技法のための装置、システム及び方法が提供される。例えば、本技法は、3D画像の表面内の折り目、隆起部及び/又は他のひだ縁部を位置特定し得る。
いくつかの態様は、3次元(3D)点群の一部分の表面特徴を識別する、コンピュータ化された方法に関する。本方法は、3D点群に沿った経路を示すデータを受信することを含み、3D点群は、複数の3Dデータ点を含む。本方法は、3Dデータ点の複数のリストを生成することを含み、3Dデータ点の各リストは、受信した経路に交差する場所で3D点群にわたり延在し、3Dデータ点の各リストは、様々な場所で、受信した経路に交差する。本方法は、3Dデータ点の複数のリストの少なくとも一部において、表面特徴に関連する特質を識別することを含む。本方法は、識別した特質の1つ又は複数の特性に基づき、識別した特質をグループ化することを含む。本方法は、グループ化した特質に基づき、3D点群の一部分の表面特徴を識別することを含む。
いくつかの例によれば、3Dデータ点の複数のリストを生成することは、3Dデータ点の各リストに対して、3Dデータ点のリストを生成するため、場所に配置された平面に基づき3Dデータ点セットを決定することを含む。平面は、3Dデータ点のリストのそれぞれを生成するために使用される平面が平行であるように、受信した経路に直交し得る。
いくつかの例によれば、3D点群の部分の識別される表面特徴は、ひだ縁部であり、ひだ縁部に関連する特質は、コーナである。
いくつかの例によれば、識別された特質をグループ化することは、識別された特質に線を当てはめることを含む。識別された特質に線を当てはめることは、第1の線を、識別された特徴の第1の部分に当てはめることと、第2の線を、識別された特徴の第2の部分に当てはめることと、第1の線が、第2の線の第2の向きに対して閾値差の範囲内にある第1の向きを含むことを決定することと、第1の線と第2の線とを組み合わせ、単一表現線にすることとを含み得る。
いくつかの例によれば、3D点群に沿った経路を示すデータを受信することは、指定注目領域を示すデータを受信することを含む。指定注目領域は、幅、長さ及び高さを含むことができ、経路は、幅、長さ及び高さに基づき指定される。
いくつかの例によれば、本方法は、識別された特徴の総数を決定することと、総数に基づき、3D点群の部分に沿った表面特徴の適用範囲を決定することとを含む。本方法は、識別された特徴のそれぞれのスコアを決定することと、識別された特徴の総数及び識別された特徴のそれぞれのスコアに基づき、特徴の全体スコアを決定することとを含み得る。
いくつかの例によれば、経路は、一方向によって指定される線形経路、湾曲経路、円形経路、らせん状経路、又はこれらの何らかの組合せである。
いくつかの実施形態は、非一時的コンピュータ可読媒体に関し、非一時的コンピュータ可読媒体は、コンピューティング・デバイス上の1つ又は複数のプロセッサによって実行されると、1つ又は複数のプロセッサに本明細書に記載の実施形態のいずれかの方法を実行させるように動作可能な命令を含む。
いくつかの実施形態は、システムに関し、システムは、命令を記憶するメモリと、本明細書の実施形態のいずれかの方法を実施するため、命令を実行するように構成されたプロセッサとを備える。
したがって、以下の詳細な説明をより良好に理解できるようにし、当技術分野に対する本発明の寄与をより良好に了解できるようにするため、開示する主題の特徴をかなり広範に概説している。当然、開示する主題に対し、以下で説明され、本明細書に添付される特許請求の範囲の主題を形成する更なる特徴がある。本明細書で使用する言い回し及び用語は、説明の目的であり、限定とみなすべきではないことを理解されたい。
図面において、様々な図面で示される同一又はほぼ同一のそれぞれの構成要素は、同じ参照記号によって表される。明確にするため、全ての構成要素を全ての図面で表示しないことがある。図面は、必ずしも一定の縮尺で描かれておらず、本明細書に記載の本技法及びデバイスの例示する様々な態様に重点が置かれる。
いくつかの実施形態による例示的マシン・ビジョン・システムを示す図である。 いくつかの実施形態による、3D点群の一部分の表面特徴を識別する、例示的なコンピュータ化された方法のフロー・チャートである。 いくつかの実施形態による3D点群の一例を示す図である。 いくつかの実施形態による、図3の点群を通る経路の一例を示す図である。 いくつかの実施形態による、3Dデータ点のリストを決定するために使用される平面の一例を示す図である。 いくつかの実施形態による、図5Aの平面に沿った3Dデータ点のリストを示す図である。 いくつかの実施形態による、2つの更なる平面、及び3Dデータ点の関連リストを示す図である。 いくつかの実施形態による、図5B~図5Cの3Dデータ点のリストに基づき識別されるコーナの例を示す図である。 いくつかの実施形態による、図5B~図5Cの3Dデータ点のリストに基づき識別されるコーナの例を示す図である。 いくつかの実施形態による、図5B~図5Cの3Dデータ点のリストに基づき識別されるコーナの例を示す図である。 いくつかの実施形態による、図6A~図6Cから識別されたコーナの例示的グループ化を示す図である。 いくつかの実施形態による、識別されたひだ縁部の一例を示す図である。
本明細書で説明する技法は、3D点群画像の分析のために使用し得るデータ低減技法を提供する。本発明者等は、従来のマシン・ビジョン技法は、3D点群データ、ボクセル・グリッド及び/又は3D体積表現等の3D画像を使用する際、著しい非効率さを被っている可能性があることを認識している。例えば、3D点群は、何十万又は何百万もの点を含むことが多い。空間内のそのような大量の3D点を直接解釈することは、かなり厄介である場合がある。更に、3D点群は、典型的には、3D点の間の空間関係についての情報を含まない。したがって、3D画像内の物体特徴を識別するには、時間がかかり、著しい処理リソースを必要とすることがある。いくつかの技法は、全体表面特徴を識別するために、特徴の特性(例えば、ひだ縁部)を探索し、次に、識別された領域を一続きにすることによって、点群内の局所領域を直接識別することを試みている。しかし、そのような技法は、遅く、原始的である場合がある。というのは、そのような技法は、任意の向きの物体のような特質を局所的に識別することが厄介である場合があるためである。
本発明者等は、これら及び他の非効率さに対処するため、マシン・ビジョン技法に対して技術的な改善を開発した。いくつかの実施形態によれば、本技法は、3D画像データ内の物体表面の特徴を位置特定する(例えば、識別する及び/又は場所を突き止める)ため、探索体積及び探索経路にアクセスする及び/又はこれらを受信することと、経路に沿って探索することとを含み得る。例示的な例では、本技法は、様々な向き(例えば、凹面又は凸面)において、ひだ縁部(例えば、折り畳まれた紙の折り目、筐体のコーナ等)を位置特定するために使用することを含み得る。ひだ縁部及び/又は他の物体特徴(例えば、円弧、円形等)は、製造部品の測定及び/又は検査等のために、様々なマシン・ビジョンのタスクで有用とし得る。
以下の説明では、開示する主題に対する完全な理解を提供するため、開示する主題のシステム及び方法、並びにそのようなシステム及び方法が動作し得る環境等に関する多数の具体的な詳細を示す。更に、以下で提供する例は、例示的であり、開示する主題の範囲内である他のシステム及び方法が企図されることは理解されよう。
図1は、いくつかの実施形態による例示的マシン・ビジョン・システム100を示す図である。例示的マシン・ビジョン・システム100は、カメラ102(又は他の撮像取得デバイス)と、コンピュータ104とを含む。1つのカメラ102のみを図1に示すが、複数のカメラをマシン・ビジョン・システム内で使用し得ることを了解されたい(例えば、点群が複数のカメラの点群からマージされる場合)。コンピュータ104は、1つ又は複数のプロセッサと、コンピュータ・ディスプレイの形態の人間-機械インターフェースと、任意で1つ又は複数の入力デバイス(例えば、キーボード、マウス、トラック・ボール等)とを含む。カメラ102は、構成要素の中でも、レンズ106と、カメラ・センサ要素(図示せず)とを含む。レンズ106は、視野108を含み、レンズ106は、視野108からセンサ要素上に集光する。センサ要素は、カメラ視野108のデジタル画像を生成し、コンピュータ104の一部を形成するプロセッサにこの画像を提供する。図1の例に示すように、物体112は、コンベア110に沿ってカメラ102の視野108内に進行する。カメラ102は、本明細書で更に説明するように、物体112が処理のための視野108内にある間、物体112の1つ又は複数のデジタル画像を生成し得る。動作中、コンベアは、複数の物体を含み得る。これらの物体は、検査工程等の間、カメラ102の視野108内を通過し得る。したがって、カメラ102は、それぞれ観察された物体112の少なくとも1つの画像を取得し得る。
いくつかの実施形態では、カメラ102は、3次元(3D)撮像デバイスである。一例として、カメラ102は、本出願の譲受人であるコグネックス・コーポレーションから入手可能なレーザー・プロファイラ3D変位センサのDS線等、場面を線単位で走査する3Dセンサとし得る。いくつかの実施形態によれば、3D撮像デバイスは、(x,y,z)点セットを生成し得る(例えば、z軸が、3D撮像デバイスからの距離等、第3の次元を追加する場合)。3D撮像デバイスは、陰影からの形状の推定(shape-from-shading)、立体撮像、飛行時間技法、投影器ベースの技法、及び/又は他の3D生成技法等、様々な3D画像生成技法を使用し得る。いくつかの実施形態では、マシン・ビジョン・システム100は、2次元(2D)CCD又はCMOS撮像アレイ等の2次元撮像デバイスを含む。いくつかの実施形態では、2次元撮像デバイスは、2Dアレイの輝度値を生成する。
いくつかの実施形態では、マシン・ビジョン・システムは、カメラ102から3Dデータを処理する。カメラ102から受信する3Dデータは、例えば、点群及び/又は範囲画像を含み得る。点群は、固体物体の表面上又はその付近にある3D点グループを含み得る。例えば、点は、点の座標の観点から直線又は他の座標系内に提示し得る。いくつかの実施形態では、どの点が物体の表面上で隣接しているかを示すメッシュ又はグリッド構造等の他の情報が任意で存在してもよい。いくつかの実施形態では、センサ測定から導出されるか、又は事前に計算される曲率、表面法線、縁部及び/又は色を含む表面特徴についての情報並びにアルベド情報を入力点群内に含めてよい。いくつかの実施形態では、2D及び/又は3Dデータは、2D及び/又は3Dセンサ、CAD又は他のソリッド・モデルから得る、及び/又は範囲画像、2D画像及び/又は他の画像を前処理することによって得ることができる。
いくつかの実施形態によれば、3D点グループは、ユーザ指定の注目領域内の3点群の一部分とし得る、及び/又は3D点群内の注目領域を指定するデータを含み得る。例えば、3D点群は、極めて多くの点を含み得るので、1つ又は複数の注目領域を指定及び/又は画定することが望ましい場合がある(例えば、本明細書で説明する技法が適用される空間を制限するために)。
コンピュータ104の例は、限定はしないが、単一サーバ・コンピュータ、一連のサーバ・コンピュータ、単一パーソナル・コンピュータ、一連のパーソナル・コンピュータ、ミニ・コンピュータ、メインフレーム・コンピュータ、及び/又はコンピューティング・クラウドを含み得る。コンピュータ104の様々な構成要素は、1つ又は複数のオペレーティング・システムを実行でき、1つ又は複数のオペレーティング・システムの例は、限定はしないが、例えば、Microsoft Windows Server(商標)、Novell Netware(商標)、Redhat Linux(商標)、Unix及び/又は特注オペレーティング・システムを含み得る。コンピュータ104の1つ又は複数のプロセッサは、1つ又は複数のプロセッサに接続されたメモリ内に記憶した動作を処理するように構成し得る。メモリは、限定はしないが、ハード・ディスク・ドライブ、フラッシュ・ドライブ、テープ・ドライブ、光学ドライブ、RAIDアレイ、ランダム・アクセス・メモリ(RAM)及び読取り専用メモリ(ROM)を含み得る。
本明細書で説明する技法は、3D画像の表面において、ひだ縁部等の物体特徴を識別し、その場所を突き止めるために提供される。いくつかの実施形態によれば、本技法は、指定された経路に基づき、平面セットを選択することと、平面の表面と3D画像の点との交線に基づき、3D画像からの点の対応するリストを決定することとを含み得る。本明細書で説明するように、点のリストは、点の線形アレイとし得る。点は、3D内の1D複写物(例えば、物体の表面に沿った1D経路)を提供し得ることを了解されたい。点のリストを含む領域は、2D平面とし得る。したがって、点のリストは、2D平面に沿った2D経路を提供し得る。本技法は、(例えば、所与の規模で、輪郭の経路に沿って)コーナ及び/又は他の高曲率点等の物体特質を抽出するため、各点リストを分析し得る。抽出された特質は、3D近接度及び/又は他の特性に基づきグループ化し得る。いくつかの例によれば、本技法は、3D画像内で物体の全体表面特徴を識別するため、抽出された特徴に線を当てはめることができる。
図2は、いくつかの実施形態による、3D点群の一部分の表面特徴(例えば、ひだ縁部)を識別する、例示的なコンピュータ化された方法200のフロー・チャートである。3D点群は、本明細書で説明するように、多数の3Dデータ点を含み、何十万又は何百万もの3Dデータ点を含み得る。図3は、いくつかの実施形態による3D点群300の一例を示す図である。説明の目的で、3D点群300は、少数の3D点302A、302Bから302Nを示すにすぎず、これらは、3D点302と総称される。また説明の目的で、図3は、筐体304(例えば、3D撮像デバイスによって取り込まれた場面内に存在する筐体等)の概要を示す。3D点群300は、筐体304を示す情報を含まないことを了解されたい。そうではなく、3D点群は、3D点302のデータを含むだけであり、3D点302自体の間の関係を示すデータさえ含まない場合がある。例えば、3D点群300は、単に、3D点群300内の各3D点302の(x,y,z)位置を含み得る。図3に示される点群は、本明細書で説明する技法の例を提供するために使用される。したがって、本技法は、これらの例による限定を意図しないことを了解されたい。
ステップ202において、マシン・ビジョン・システム(例えば、図1のマシン・ビジョン・システム100)は、3D点群に沿った経路を示すデータにアクセスする及び/又はこれらを受信する。図4は、いくつかの実施形態による、図3の点群300を通る経路402の一例を示す。経路402は、線形経路である。経路402は、例えば、ある方向(例えば、3D点群300に関連する座標系を使用して指定された方向)として指定し得る。しかし、経路402は線形経路であるが、この経路402は説明の目的にすぎず、限定を意図しないことを了解されたい。必要に応じて様々な形状及び種類の経路を使用し得る。例えば、経路は、湾曲経路、円形経路、らせん状経路、長方形経路等を含み得る。
いくつかの実施形態によれば、経路は、3D点群内の注目領域を使用して指定し得る。例えば、マシン・ビジョン・システムは、経路を示すデータを含む指定注目領域(例えば、筐体、球体等)を受信する及び/又はこれらにアクセスし得る。経路は、注目領域に対して指定し得る。例えば、注目領域が筐体である場合、注目領域は、幅、長さ及び高さを示すデータを含み、幅、長さ及び高さに基づき経路を指定するデータを含み得る。別の例として、注目領域は、円筒体であり、注目領域は、円筒体に関連する円筒座標系に基づき経路を指定するデータを含み得る。
ステップ204において、マシン・ビジョン・システムは、3Dデータ点の複数のリストを生成する。3Dデータ点の各リストは、経路に交差する場所で3D点群にわたり延在する。したがって、3Dデータ点の各リストは、3D点群によって取り込まれた物体の表面に沿うことができる点の1D複写物を取り込み得る。いくつかの実施形態によれば、点のリストは、点の各リストが平面内にある及び/又は平面の閾値距離内にあるように、経路に沿って延在する2次元平面セットを使用して生成し得る。平面は、経路に沿って様々な構成を有し得る。例えば、平面は、互いに平行であり、直線経路の方向に沿って延在し得る。別の例として、平面は、経路の方向に沿って湾曲経路に直交し得る。各平面、したがって、3Dデータ点の各リストは、様々な場所及び/又は方向で、受信された経路に交差する。
図5Aは、いくつかの実施形態による、3Dデータ点のリストを決定するために使用される平面502の一例を示す。この例では、平面502は、経路402に直交して配置されるが、本明細書で説明するように、このことは例示的な目的であり、限定を意図しない。図5Bに示すように、マシン・ビジョン・システムは、平面502に沿った点を識別することによって、3Dデータ点504のリストを決定する。図5Cは、いくつかの実施形態による、3Dデータ点の2つの更なるリストを示す。いくつかの実施形態によれば、図5Cに示すように、平面506は、3Dデータ点508の関連リストを識別するために使用され、平面510は、3Dデータ点512の関連リストを識別するために使用される。この例では、平面502、506及び510は、互いに平行である。
ステップ206において、マシン・ビジョン・システムは、3Dデータ点の複数のリストの少なくとも一部において、表面特徴に関連する特質を識別する。特質は、例えば、隆起部、ひだ、かど、縁部等、物体の定義となるような特徴とし得る。例えば、本技法は、所与の規模で、輪郭の経路に沿って、コーナ又は他の高曲率の点を識別し得る。図6A~図6Cは、いくつかの実施形態による、図5B~図5Cの3Dデータ点504、508及び512のリスト内で識別されたコーナ602、604及び606の例を示す。説明の目的で、コーナ602、604及び606は、点に沿った線と共に示されるが、これは、説明の目的でなされる。というのは、マシン・ビジョン・システムは、コーナを示すデータを様々なフォーマットで内部に記憶し得るためである。例えば、コーナを示すデータは、点、及び/又は光線セットの1つ又は複数、光線セットの間の角度、コーナのスコア、コーナが凹形であるか凸形であるかどうかを示すデータ等を含み得る。
ステップ208において、マシン・ビジョン・システムは、識別した特質の1つ又は複数の特性に基づき、識別した特質をグループ化する。例えば、マシン・ビジョン・システムは、3D内で識別された特質の近接度に基づき、及び/又は他の特性に基づき(例えば、特質のグループ化により、特質の予期される方向の角度内に経路を形成するかどうか等に基づき)、識別された特質をグループ化し得る。図7は、いくつかの実施形態による、図6A~図6Cから識別されたコーナ602、604及び606の例示的グループ化を示す。例えば、マシン・ビジョン・システムは、コーナがそれぞれ、3D点群の座標系内で同じ向き(又は閾値内にある同様の向き)を有することを決定し、互いに関連する可能性があるものとして3つのコーナをグループ化し得る。
ステップ210において、マシン・ビジョン・システムは、グループ化した特質に基づき、3D点群の一部分の表面特徴を識別する。いくつかの実施形態によれば、マシン・ビジョン・システムは、識別された特質の各グループに線を当てはめ得る。例えば、マシン・ビジョン・システムは、最小2乗法による当てはめ技法、RANSAC等の使用によって、各グループに対して最高の当てはめ線を決定し得る。図8は、いくつかの実施形態による、識別されたひだ縁部800の一例を示す。図8に示すように、ひだ縁部800は、3D点群300によって取り込まれた3D物体304の側部802の一部分を表す。したがって、本技法は、3D点群内の特徴を識別するために使用でき、3D点群内の特徴は、最終的に、3D点群によって取り込まれた物体を識別するために使用し得る。
本明細書で説明するように、3D点群は、決定された特徴が(例えば、マシン・ビジョン・システムによって取り込まれる本物の物体の特徴と比較して)何らかの閾値ノイズ差を有し得るために、何らかのノイズを呈する場合がある。いくつかの実施形態によれば、線は、特徴の様々なグループに複数の線を当てはめ、閾値の向き内にある線を組み合わせることによって、識別された特徴に当てはめ得る。例えば、マシン・ビジョン・システムは、識別された特徴の第1の部分に第1の線を当てはめ、識別された特徴の第2の部分に第2の線を当てはめ得る。マシン・ビジョン・システムは、第1の線が、第2の線の第2の向きに対して閾値差内にある第1の向きを有する(例えば、これらの線がほぼ同一直線上にある)ことを決定し、第1の線及び第2の線を単一表現線に組み合わせ得る。
いくつかの実施形態によれば、マシン・ビジョン・システムは、複数の線を識別すべきか否かを決定するため、閾値(例えば、分離閾値又は向きの閾値)を使用するように構成し得る。例えば、マシン・ビジョン・システムが、距離がわずかに(例えば、数ミクロン規模で)離れている線形特徴を有する物体を撮像する場合、マシン・ビジョン・システムを、それに応じた閾値により構成でき、マシン・ビジョン・システムが、複数の点/線をただ1つの線に組み合わせるのではなく、2つの線を識別するようにする。例示的な例として、物体が、10ミクロン離れていることが既知である複数の線を有する場合、閾値は、既知の距離(例えば、10ミクロン、12ミクロンまで等)に基づき設定でき、このため、マシン・ビジョン・システムが2つの線が閾値距離未満で離れていることを決定した場合、マシン・ビジョン・システムは、2つの線をただ1つの線に組み合わせるのではなく、2つの線を解像する。別の例として、マシン・ビジョン・システムは、どの3D点が関連する線又は特徴に属するかを決定する際、閾値を使用し得る。
いくつかの実施形態によれば、マシン・ビジョン・システムは、点群内の表面特徴の適用範囲を決定し得る。例えば、マシン・ビジョン・システムは、識別された特徴の総数を決定し、総数に基づき、3D点群の部分に沿った表面特徴の適用範囲を決定し得る。
いくつかの実施形態によれば、マシン・ビジョン・システムは、決定された特徴をスコア化し得る。例えば、マシン・ビジョン・システムは、識別された特徴のそれぞれのスコアを決定し得る。マシン・ビジョン・システムは、識別された特徴の総数及び識別された特徴のそれぞれのスコアに基づき、特徴の全体スコアを決定し得る。
様々なスコア化技法を使用して、それぞれ識別された特徴をスコア化し得る。例えば、マシン・ビジョン・システムは、何個のサンプルが、コーナを形成する直線区分の近くにあるかに基づき、個々のコーナをスコア化し得る。次に、マシン・ビジョン・システムは、一致するコーナの量及び質(例えば、同一線状性)に基づき、発見されたひだ縁部をスコア化し得る。スコア化技法は、(例えば、縁部が完全に形成されていることを決定するのではなく)識別されたコーナに基づき決定された縁部をどのくらい信頼できるかを決定するように設計し得る。
本明細書で説明するように、図3~図8は、本明細書で説明する技法を示すために使用される簡略図であり、様々な態様は、本明細書で説明する技法の趣旨から逸脱することなく修正し得る。例えば、本技法は、縁部又はコーナをチェーン化し、これらのチェーンを結果として報告することによって、非線形特徴(例えば、ひだ)を抽出し得る。いくつかの実施形態では、マシン・ビジョン・システムは、円形経路の外周に沿って3D点を径方向に分析し得る。そのような技法は、例えば、(例えば、円形特徴の半径及び/又は他の寸法を得るため)おおよその場所に円を正確に当てはめるために使用し得る。別の例として、本技法は、抽出平面向きのセットにおいて本明細書に記載の工程を適用することによって、全ての可能な方向で線形のひだを抽出し得る。更なる例として、本明細書で説明する技法は、様々な規模でひだ縁部を発見するため、様々なコーナ検出規模で(例えば、指数関数シーケンスで)繰り返し、任意で、空間内で近接するグループから最高のスコア結果を選択し得る。そのような手法は、例えば、表面特徴の全てで規模を指定する必要性をなくし得る。
いくつかの実施形態では、マシン・ビジョン・システムは、所望の解像度で動作するように構成し得る。高解像度では、線形特徴は、表面の不完全さ及び/又は撮像アーチファクトのために、非線形(例えば、波形)を出現させることがある一方で、線形特徴は、より粗い/より低い解像度でより線形を出現させることがある。例えば、それ以外の場合では人間の目には見えない機械加工したアルミニウム部品の隆起部が、撮像デバイスによって検出されるように、高解像度撮像デバイスは、ミクロン規模で細部を抽出し得る。いくつかの実施形態では、解像度は、表面特徴を識別する前、点群を低解像度処理することによって制御し得る。マシン・ビジョン・システムは、1つのボクセル内の複数の3D点を単一3D点に低減する等によって、3D点の数をボクセルに統合し得る。例えば、一平面の1つ又は複数のボクセルの場合、マシン・ビジョン・システムは、1つのボクセル内で複数の3Dデータ点を決定し、これらの3Dデータ点に基づき、このボクセルのための単一3Dデータ点を決定し、ボクセル内の単一3Dデータ点を記憶し得る。いくつかの実施形態によれば、マシン・ビジョン・システムは、ボクセル内の3D点の質量中心を計算し得る。いくつかの実施形態によれば、本技法は、現在のボクセル内の点及び/又は隣接するボクセル内の点に基づき、ボクセルの質量中心を決定し得る。例えば、質量中心は、現在のボクセル内の点、及び現在のボクセルに隣接する26個(例えば、現在のボクセルの下に9個、上に9個、側部の周囲に8個)のボクセル内の点に基づき計算し得る。
本明細書で説明する技法は、様々なマシン・ビジョン用途で使用し得る。例えば、本技法は、物体の検出、検査、分析等で使用し得る。一例として、本技法は、特定のひだの長さ/サイズを測定する、他のひだまでの距離を比較する等のための縁部の使用等によって、物体の測定で使用し得る。別の例として、検査の場合、本技法は、ひだが物体内に適切に形成されている、ひだが物体上に適切に位置決め/配置されているか等を保証するため、物体を検査するために使用し得る。
本明細書で説明する原理によって動作する技法は、あらゆる適切な様式で実装し得る。上記フロー・チャートの処理、判定ブロックは、これら様々な工程を実行するアルゴリズム内に含み得るステップ及び動作を表す。これらの工程から導出されるアルゴリズムは、1つ又は複数の専用若しくは汎用プロセッサと統合され、これらの動作を指示するソフトウェアとして実装し得るか、デジタル信号処理(DSP)回路若しくは特定用途向け集積回路(ASIC)等の機能的に等価の回路として実装し得るか、又はあらゆる他の適切な様式で実装し得る。本明細書に含まれるフロー・チャートは、あらゆる特定の回路あらゆる特定のプログラミング言語の構文若しくは動作、又はプログラミング言語の種類を示さないことを了解されたい。そうではなく、フロー・チャートは、本明細書で説明した種類の技法を実行する特定の装置の処理を実施するため、当業者が回路を製作する又はコンピュータ・ソフトウェア・アルゴリズムを実装するに使用し得る機能情報を示す。本明細書に別段に規定されていない限り、各フロー・チャートに記載される特定のシーケンスのステップ及び/又は動作は、アルゴリズムを示すにすぎず、これらのアルゴリズムは、本明細書で説明する原理の実装形態及び実施形態内で実装し、変更し得ることも了解されたい。
したがって、いくつかの実施形態では、本明細書に記載の技法は、アプリケーション・ソフトウェア、システム・ソフトウェア、ファームウェア、ミドルウェア、埋込みコード又はあらゆる他の適切な種類のコンピュータ・コードを含め、ソフトウェアとして実装されるコンピュータ実行可能命令において具現化し得る。そのようなコンピュータ実行可能命令は、いくつかの適切なプログラミング言語及び/又はプログラミング若しくはスクリプティング・ツールのいずれかを使用して書き込み、フレームワーク又は仮想マシン上で実行される実行可能機械語コード又は中間コードとしてコンパイルし得る。
本明細書で説明する技法をコンピュータ実行可能命令として具現化した場合、これらのコンピュータ実行可能命令は、いくつかの機能手段を含め、あらゆる適切な様式で実装でき、それぞれの機能手段は、これらの技法に従って動作するアルゴリズムの実行を完了させる1つ又は複数の動作をもたらす。しかし、例示した「機能手段」は、1つ又は複数のコンピュータと統合され、これらによって実行されると、1つ又は複数のコンピュータに特定の動作役割を実施させるコンピュータ・システムの構造構成要素である。機能手段は、ソフトウェア要素の一部分又は全体とし得る。例えば、機能手段は、工程の機能として、又は個別の工程として、又はあらゆる他の適切な処理ユニットとして実装し得る。本明細書で説明する技法を複数の機能手段として実装する場合、各機能手段は、独自の様式で実装し得る。全ての機能手段を同様に実装する必要はない。更に、これらの機能手段は、並行して及び/又は連続的に、適宜に実行し、機能手段を実行しているコンピュータ(複数可)上の共有メモリを使用して、メッセージ伝達プロトコルを使用して、又はあらゆる他の適切な様式で互いの間で情報を伝達し得る。
概して、機能手段は、特定のタスクを実施するか又は特定の抽象データ種を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、機能手段の機能は、機能手段が動作するシステム内で必要に応じて組み合わせるか又は分散し得る。いくつかの実装形態では、本明細書の技法を実行する1つ又は複数の機能手段は、完全なソフトウェア・パッケージを一緒に形成し得る。これらの機能手段は、代替実施形態では、ソフトウェア・プログラム・アプリケーションを実施するため、他の関連しない機能手段及び/又は工程との連携に適合させることができる。
1つ又は複数のタスクを実行するいくつかの例示的機能手段を本明細書に記載してきた。説明するタスクの機能手段及び部分は、本明細書で説明する例示的技法を実施し得る機能手段の種類を示すにすぎず、実施形態は、あらゆる特定の数、部分又は機能手段の種類で実施されることに限定されないことを了解されたい。いくつかの実装形態では、全ての機能は、単一機能手段内で実施し得る。いくつかの実装形態では、本明細書で説明する機能手段の一部は、他と一緒に(即ち、単一ユニットとして)、又は他とは個別に(若しくは個別ユニットとして)実施してもよく、これらの機能手段の一部は実施しなくてもよいことも了解されたい。
(1つ又は複数の機能手段として、又はあらゆる他の様式で実施される場合)本明細書で説明する技法を実施するコンピュータ実行可能命令は、いくつかの実施形態では、1つ又は複数のコンピュータ可読媒体上で符号化し、機能を媒体に提供し得る。コンピュータ可読媒体は、ハード・ディスク・ドライブ等の磁気媒体、コンパクト・ディスク(CD)又はデジタル多用途ディスク(DVD)等の光媒体、永久若しくは非永久ソリッドステート・メモリ(例えば、フラッシュ・メモリ、磁気RAM等)、又はあらゆる他の適切な記憶媒体を含む。そのようなコンピュータ可読媒体は、あらゆる適切な様式で実装し得る。本明細書で使用する「コンピュータ可読媒体」(「コンピュータ可読記憶媒体」とも呼ばれる)は、有形記憶媒体を指す。有形記憶媒体は、非一時的であり、少なくとも1つの物理的な構造構成要素を有する。本明細書で使用する「コンピュータ可読媒体」において、少なくとも1つの物理的な構造構成要素は、情報を埋め込んだ媒体を生成する工程、情報を媒体上に記録する工程、又は情報を有する媒体を符号化するあらゆる他の工程の間、何らかの方法で改変し得る少なくとも1つの物理特性を有する。例えば、コンピュータ可読媒体の物理構造の一部分の磁化状態は、記録工程の間に改変し得る。
更に、上記で説明したいくつかの技法は、これらの技法が使用する特定の様式で情報(例えば、データ及び/又は命令)を分類する動作を含む。これらの技法のいくつかの実装形態、-技法がコンピュータ実行可能命令として実装される実装形態等-では、情報は、コンピュータ可読記憶媒体上で符号化し得る。この情報を記憶するための有利な形式として特定の構造を本明細書で説明する場合、こうした構造は、記憶媒体上で符号化された際に物理的な情報機構を付与するために使用し得る。この場合、これらの有利な構造は、情報と連携する1つ又は複数のプロセッサの動作に影響を及ぼすことによって、例えば、プロセッサ(複数可)が実施するコンピュータ動作の効率を増大させることによって、記憶媒体に機能を提供し得る。
全てではないが、本技法をコンピュータ実行可能命令として具現化し得るいくつかの実装形態では、これらの命令は、あらゆる適切なコンピュータ・システム内で動作する1つ又は複数の適切なコンピューティング・デバイス(複数可)上で実行しても、1つ又は複数のコンピューティング・デバイス(又は1つ若しくは複数のコンピューティング・デバイスの1つ若しくは複数のプロセッサ)を、コンピュータ実行可能命令を実行するようにプログラムしてもよい。コンピューティング・デバイス又はプロセッサは、コンピューティング・デバイス又はプロセッサがアクセス可能な様式で命令をデータ・ストア等(例えば、オンチップ・キャッシュ又は命令レジスタ、バスを介してアクセス可能なコンピュータ可読記憶媒体、1つ又は複数のネットワークを介してアクセス可能であり、デバイス/プロセッサ等がアクセス可能なコンピュータ可読記憶媒体)の中に記憶させた場合、命令を実行するようにプログラムし得る。これらのコンピュータ実行可能命令を含む機能手段は、単一の汎用プログラマブル・デジタル・コンピューティング・デバイスの動作、処理能力を共有し、本明細書に記載の技法を一緒に実行する2つ以上の汎用コンピューティング・デバイスの座標系、単一コンピューティング・デバイス又は本明細書に記載の技法の実行専用の(共同設置又は地理的に分散された)コンピューティング・デバイスの座標系、本明細書に記載の技法を実行する1つ又は複数のフィールド・プログラマブル・ゲート・アレイ(FPGA)、又はあらゆる他の適切なシステムと統合するか、又はこれらを管理し得る。
コンピューティング・デバイスは、少なくとも1つのプロセッサと、ネットワーク・アダプタと、コンピュータ可読記憶媒体とを備え得る。コンピューティング・デバイスは、例えば、デスクトップ又はラップトップ・パーソナル・コンピュータ、携帯情報端末(PDA)、スマート・モバイル・フォン、サーバ又はあらゆる他の適切なコンピューティング・デバイスとし得る。ネットワーク・アダプタは、コンピューティング・デバイスが、あらゆる適切なコンピューティング・ネットワーク上で、あらゆる他の適切なコンピューティング・デバイスと有線で及び/又はワイヤレスに通信することを可能にするあらゆる適切なハードウェア及び/又はソフトウェアとし得る。コンピューティング・ネットワークは、インターネットを含め、2つ以上のコンピュータの間でデータを交換するためのワイヤレス・アクセス・ポイント、スイッチ、ルータ、ゲートウェイ、及び/又は他のネットワーク化機器、並びにあらゆる適切な有線及び/又は1つ若しくは複数のワイヤレス通信媒体を含む。コンピュータ可読媒体は、プロセッサが処理すべきデータ及び/又は実行すべき命令の記憶に適合し得る。プロセッサは、データの処理及び命令の実行を可能にする。データ及び命令は、コンピュータ可読記憶媒体上に記憶し得る。
コンピューティング・デバイスは、更に、入出力デバイスを含め、1つ又は複数の構成要素及び周辺機器を有し得る。これらのデバイスは、とりわけ、ユーザ・インターフェースを提示するために使用し得る。ユーザ・インターフェースを提供するために使用し得る出力デバイスの例は、出力を視覚的に提示するプリンタ又は表示画面、及び出力を可聴的に提示するスピーカ又は他の音生成デバイスを含む。ユーザ・インターフェースのために使用し得る入力デバイスの例は、キーボード、並びにマウス、タッチ・パッド及びデジタル化タブレット等のポインティング・デバイスを含む。別の例として、コンピューティング・デバイスは、音声認識を通じて又は他の可聴形式で入力情報を受信し得る。
技法が回路及び/又はコンピュータ実行可能命令内で実施される実施形態を説明してきた。いくつかの実施形態は、少なくとも1つの例が提供されている方法の形態とし得ることを了解されたい。方法の一部として実施される動作は、あらゆる適切な方法で順序を並べ替えてよい。したがって、動作が例示の順序とは異なる順序で実施される実施形態を構成でき、この実施形態は、例示的な実施形態では連続的な動作として示されるにもかかわらず一部の動作を同時に実施することを含み得る。
上記で説明した実施形態の様々な態様は、単独で、組み合わせて、又は上記の実施形態で具体的に説明されていない様々な構成で使用し得るため、その適用例では、上記の説明に示す又は図示する構成要素の詳細及び構成に限定されない。例えば、一実施形態に記載の態様は、任意の方法で他の実施形態に記載の態様と組み合わせることができる。
請求する要素を修飾するための特許請求の範囲における「第1」、「第2」、「第3」等の序数の使用は、それ自体、ある請求要素の他の請求要素に対する優先順位、先行順位若しくは順序、又は方法の動作が実施される時間順序を一切暗示するものではないが、特定の名称を有するある請求要素を(序数を使用するが)同じ名称を有する別の要素から区別するラベルとして使用し、請求要素を区別するものにすぎない。
また、本明細書で使用する言い回し及び用語は、説明の目的であり、限定とみなすべきではない。本明細書における「含む」、「備える」、「有する」、「含有する」、「伴う」及びこれらの変形体の使用は、その後に列挙した項目及びこれらの等価物並びに更なる項目を包含することを意味する。
単語「例示的」は、一例、事例又は実例の役割を果たすことを意味するように本明細書で使用される。したがって、本明細書で例示として説明するあらゆる実施形態、実装形態、工程、特徴等は、例示的な例と理解すべきであり、別段に規定されていない限り、好ましい又は有利な例として理解すべきではない。
このように少なくとも1つの実施形態のいくつかの態様を説明してきたが、様々な改変、修正及び改善は、当業者には容易に思い付くであろうことを了解されたい。そのような改変、修正及び改善は、本開示の一部であることが意図され、本明細書で説明する原理の趣旨及び範囲内にあることが意図される。したがって、上記の説明及び図面は、例にすぎない。
本願には種々の側面が記載され、限定される訳ではないが、以下の如き側面も含まれる。
1. 3次元(3D)点群の一部分の表面特徴を識別する、コンピュータ化された方法であって、前記方法は、
3D点群に沿った経路を示すデータを受信することであって、前記3D点群は、複数の3Dデータ点を含む、受信することと、
前記3Dデータ点の複数のリストを生成することであって、
前記3Dデータ点の各リストは、前記受信された経路に交差する場所で前記3D点群にわたり延在し、
前記3Dデータ点の各リストは、様々な場所で、前記受信された経路に交差する、生成することと、
前記3Dデータ点の複数のリストの少なくとも一部において、表面特徴に関連する特質を識別することと、
前記識別した特質の1つ又は複数の特性に基づき、前記識別した特質をグループ化することと、
前記グループ化した特質に基づき、前記3D点群の部分の表面特徴を識別することと
を含む、方法。
2. 前記3Dデータ点の複数のリストを生成することは、3Dデータ点の各リストに対して、3Dデータ点のリストを生成するため、前記場所に配置された平面に基づき3Dデータ点セットを決定することを含む、1.に記載の方法。
3. 前記平面は、前記3Dデータ点のリストのそれぞれを生成するために使用される前記平面が平行であるように、前記受信した経路に直交する、2.に記載の方法。
4. 前記3D点群の部分の識別される表面特徴は、ひだ縁部であり、前記ひだ縁部に関連する特質は、コーナである、1.~3.に記載の方法。
5. 前記識別された特質をグループ化することは、前記識別された特質に線を当てはめることを含む、1.~4.に記載の方法。
6. 前記識別された特徴を線に当てはめることは、
前記識別された特徴の第1の部分に第1の線を当てはめ、前記識別された特徴の第2の部分に第2の線を当てはめることと、
前記第1の線が、前記第2の線の第2の向きに対して閾値差内にある第1の向きを含むことを決定することと、
前記第1の線及び前記第2の線を単一表現線に組み合わせることと
を含む、5.に記載の方法。
7. 前記3D点群に沿った経路を示すデータを受信することは、指定注目領域を示すデータを受信することを含む、1.~6.に記載の方法。
8. 前記指定注目領域は、幅、長さ及び高さを含み、前記経路は、前記幅、前記長さ及び前記高さに基づき指定される、7.に記載の方法。
9.前記識別された特徴の総数を決定することと、
前記総数に基づき、前記3D点群の部分に沿った表面特徴の適用範囲を決定することと
を更に含む、1.~8.に記載の方法。
10. 前記識別された特徴のそれぞれのスコアを決定することと、
前記識別された特徴の前記総数及び前記識別された特徴のそれぞれの前記スコアに基づき、前記特徴の全体スコアを決定することと
を更に含む、9.に記載の方法。
11. 前記経路は、
一方向によって指定される線形経路、
湾曲経路、
円形経路、
らせん状経路、又はこれらの何らかの組合せである、1.~10.に記載の方法。
12. コンピューティング・デバイス上の1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに3次元(3D)点群の一部分の表面特徴を識別させるように動作可能な命令を含む非一時的コンピュータ可読媒体であって、前記命令は、
3D点群に沿った経路を示すデータを受信することであって、前記3D点群は、複数の3Dデータ点を含む、受信することと、
前記3Dデータ点の複数のリストを生成することであって、
前記3Dデータ点の各リストは、前記受信された経路に交差する場所で前記3D点群にわたり延在し、
前記3Dデータ点の各リストは、様々な場所で、前記受信された経路に交差する、生成することと、
前記3Dデータ点の複数のリストの少なくとも一部において、表面特徴に関連する特質を識別することと、
前記識別した特質の1つ又は複数の特性に基づき、前記識別した特質をグループ化することと、
前記グループ化した特質に基づき、前記3D点群の部分の表面特徴を識別することと
を含む、非一時的コンピュータ可読媒体。
13. 前記3Dデータ点の複数のリストを生成することは、3Dデータ点の各リストに対して、3Dデータ点のリストを生成するため、前記場所に配置された平面に基づき3Dデータ点セットを決定することを含む、12.に記載の非一時的コンピュータ可読媒体。
14. 前記識別された特質をグループ化することは、前記識別された特質に線を当てはめることを含み、前記当てはめは、
前記識別された特徴の第1の部分に第1の線を当てはめ、前記識別された特徴の第2の部分に第2の線を当てはめることと、
前記第1の線が、前記第2の線の第2の向きに対して閾値差内にある第1の向きを含むことを決定することと、
前記第1の線及び前記第2の線を単一表現線に組み合わせることと
を含む、12.~13.に記載の非一時的コンピュータ可読媒体。
15. 前記3D点群に沿った経路を示すデータを受信することは、指定注目領域を示すデータを受信することを含み、前記指定注目領域は、幅、長さ及び高さを含み、前記経路は、前記幅、前記長さ及び前記高さに基づき指定される、12.~14.に記載の非一時的コンピュータ可読媒体。
16. 前記命令は、前記1つ又は複数のプロセッサに、
前記識別された特徴の総数を決定すること、
前記総数に基づき、前記3D点群の部分に沿った表面特徴の適用範囲を決定すること
を実施させるように動作可能である、12.~15.に記載の非一時的コンピュータ可読媒体。
17. 命令を記憶するメモリと、3次元(3D)点群の一部分の表面特徴を識別するための命令を実行するように構成された少なくとも1つのプロセッサとを備えるシステムであって、前記命令は、
3D点群に沿った経路を示すデータを受信することであって、前記3D点群は、複数の3Dデータ点を含む、受信することと、
前記3Dデータ点の複数のリストを生成することであって、
前記3Dデータ点の各リストは、前記受信された経路に交差する場所で前記3D点群にわたり延在し、
前記3Dデータ点の各リストは、様々な場所で、前記受信された経路に交差する、生成することと、
前記3Dデータ点の複数のリストの少なくとも一部において、表面特徴に関連する特質を識別することと、
前記識別した特質の1つ又は複数の特性に基づき、前記識別した特質をグループ化することと、
前記グループ化した特質に基づき、前記3D点群の部分の表面特徴を識別することと
を含む、システム。
18. 前記3Dデータ点の複数のリストを生成することは、3Dデータ点の各リストに対して、3Dデータ点のリストを生成するため、前記場所に配置された平面に基づき3Dデータ点セットを決定することを含む、17.に記載のシステム。
19. 前記識別された特質をグループ化することは、前記識別された特質に線を当てはめることを含み、前記当てはめは、
前記識別された特徴の第1の部分に第1の線を当てはめ、前記識別された特徴の第2の部分に第2の線を当てはめることと、
前記第1の線が、前記第2の線の第2の向きに対して閾値差内にある第1の向きを含むことを決定することと、
前記第1の線及び前記第2の線を単一表現線に組み合わせることと
を含む、17.~18.に記載のシステム。
20. 前記3D点群に沿った経路を示すデータを受信することは、指定注目領域を示すデータを受信することを含み、前記指定注目領域は、幅、長さ及び高さを含み、前記経路は、前記幅、前記長さ及び前記高さに基づき指定される、17.~19.に記載のシステム。

Claims (20)

  1. 3次元(3D)点群の一部分の表面特徴を識別する、コンピュータ化された方法であって、前記方法は、
    3D点群に沿った経路を示すデータを受信することであって、前記3D点群は、複数の3Dデータ点を含む、受信することと、
    前記3Dデータ点の複数のリストを生成することであって、
    前記3Dデータ点の各リストは、前記受信された経路に交差する場所で前記3D点群にわたり延在し、
    前記3Dデータ点の各リストは、様々な場所で、前記受信された経路に交差する、生成することと、
    前記3Dデータ点の複数のリストの少なくとも一部において、表面特徴に関連する特質を識別することと、
    前記識別した特質の1つ又は複数の特性に基づき、前記識別した特質をグループ化することと、
    前記グループ化した特質に基づき、前記3D点群の部分の表面特徴を識別することと
    を含む、方法。
  2. 前記3Dデータ点の複数のリストを生成することは、3Dデータ点の各リストに対して、3Dデータ点のリストを生成するため、前記場所に配置された平面に基づき3Dデータ点セットを決定することを含む、請求項1に記載の方法。
  3. 前記平面は、前記3Dデータ点のリストのそれぞれを生成するために使用される前記平面が平行であるように、前記受信した経路に直交する、請求項2に記載の方法。
  4. 前記3D点群の部分の識別される表面特徴は、ひだ縁部であり、前記ひだ縁部に関連する特質は、コーナである、請求項1に記載の方法。
  5. 前記識別された特質をグループ化することは、前記識別された特質に線を当てはめることを含む、請求項1に記載の方法。
  6. 前記識別された特徴を線に当てはめることは、
    前記識別された特徴の第1の部分に第1の線を当てはめ、前記識別された特徴の第2の部分に第2の線を当てはめることと、
    前記第1の線が、前記第2の線の第2の向きに対して閾値差内にある第1の向きを含むことを決定することと、
    前記第1の線及び前記第2の線を単一表現線に組み合わせることと
    を含む、請求項5に記載の方法。
  7. 前記3D点群に沿った経路を示すデータを受信することは、指定注目領域を示すデータを受信することを含む、請求項1に記載の方法。
  8. 前記指定注目領域は、幅、長さ及び高さを含み、前記経路は、前記幅、前記長さ及び前記高さに基づき指定される、請求項7に記載の方法。
  9. 前記識別された特徴の総数を決定することと、
    前記総数に基づき、前記3D点群の部分に沿った表面特徴の適用範囲を決定することと
    を更に含む、請求項1に記載の方法。
  10. 前記識別された特徴のそれぞれのスコアを決定することと、
    前記識別された特徴の前記総数及び前記識別された特徴のそれぞれの前記スコアに基づき、前記特徴の全体スコアを決定することと
    を更に含む、請求項9に記載の方法。
  11. 前記経路は、
    一方向によって指定される線形経路、
    湾曲経路、
    円形経路、
    らせん状経路、又はこれらの何らかの組合せである、請求項1に記載の方法。
  12. コンピューティング・デバイス上の1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに3次元(3D)点群の一部分の表面特徴を識別させるように動作可能な命令を含む非一時的コンピュータ可読媒体であって、前記命令は、
    3D点群に沿った経路を示すデータを受信することであって、前記3D点群は、複数の3Dデータ点を含む、受信することと、
    前記3Dデータ点の複数のリストを生成することであって、
    前記3Dデータ点の各リストは、前記受信された経路に交差する場所で前記3D点群にわたり延在し、
    前記3Dデータ点の各リストは、様々な場所で、前記受信された経路に交差する、生成することと、
    前記3Dデータ点の複数のリストの少なくとも一部において、表面特徴に関連する特質を識別することと、
    前記識別した特質の1つ又は複数の特性に基づき、前記識別した特質をグループ化することと、
    前記グループ化した特質に基づき、前記3D点群の部分の表面特徴を識別することと
    を含む、非一時的コンピュータ可読媒体。
  13. 前記3Dデータ点の複数のリストを生成することは、3Dデータ点の各リストに対して、3Dデータ点のリストを生成するため、前記場所に配置された平面に基づき3Dデータ点セットを決定することを含む、請求項12に記載の非一時的コンピュータ可読媒体。
  14. 前記識別された特質をグループ化することは、前記識別された特質に線を当てはめることを含み、前記当てはめは、
    前記識別された特徴の第1の部分に第1の線を当てはめ、前記識別された特徴の第2の部分に第2の線を当てはめることと、
    前記第1の線が、前記第2の線の第2の向きに対して閾値差内にある第1の向きを含むことを決定することと、
    前記第1の線及び前記第2の線を単一表現線に組み合わせることと
    を含む、請求項12に記載の非一時的コンピュータ可読媒体。
  15. 前記3D点群に沿った経路を示すデータを受信することは、指定注目領域を示すデータを受信することを含み、前記指定注目領域は、幅、長さ及び高さを含み、前記経路は、前記幅、前記長さ及び前記高さに基づき指定される、請求項12に記載の非一時的コンピュータ可読媒体。
  16. 前記命令は、前記1つ又は複数のプロセッサに、
    前記識別された特徴の総数を決定すること、
    前記総数に基づき、前記3D点群の部分に沿った表面特徴の適用範囲を決定すること
    を実施させるように動作可能である、請求項12に記載の非一時的コンピュータ可読媒体。
  17. 命令を記憶するメモリと、3次元(3D)点群の一部分の表面特徴を識別するための命令を実行するように構成された少なくとも1つのプロセッサとを備えるシステムであって、前記命令は、
    3D点群に沿った経路を示すデータを受信することであって、前記3D点群は、複数の3Dデータ点を含む、受信することと、
    前記3Dデータ点の複数のリストを生成することであって、
    前記3Dデータ点の各リストは、前記受信された経路に交差する場所で前記3D点群にわたり延在し、
    前記3Dデータ点の各リストは、様々な場所で、前記受信された経路に交差する、生成することと、
    前記3Dデータ点の複数のリストの少なくとも一部において、表面特徴に関連する特質を識別することと、
    前記識別した特質の1つ又は複数の特性に基づき、前記識別した特質をグループ化することと、
    前記グループ化した特質に基づき、前記3D点群の部分の表面特徴を識別することと
    を含む、システム。
  18. 前記3Dデータ点の複数のリストを生成することは、3Dデータ点の各リストに対して、3Dデータ点のリストを生成するため、前記場所に配置された平面に基づき3Dデータ点セットを決定することを含む、請求項17に記載のシステム。
  19. 前記識別された特質をグループ化することは、前記識別された特質に線を当てはめることを含み、前記当てはめは、
    前記識別された特徴の第1の部分に第1の線を当てはめ、前記識別された特徴の第2の部分に第2の線を当てはめることと、
    前記第1の線が、前記第2の線の第2の向きに対して閾値差内にある第1の向きを含むことを決定することと、
    前記第1の線及び前記第2の線を単一表現線に組み合わせることと
    を含む、請求項17に記載のシステム。
  20. 前記3D点群に沿った経路を示すデータを受信することは、指定注目領域を示すデータを受信することを含み、前記指定注目領域は、幅、長さ及び高さを含み、前記経路は、前記幅、前記長さ及び前記高さに基づき指定される、請求項17に記載のシステム。
JP2022568621A 2020-05-11 2021-05-10 3次元画像内の表面特徴を識別する方法及び装置 Pending JP2023525535A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063023186P 2020-05-11 2020-05-11
US63/023,186 2020-05-11
PCT/US2021/031513 WO2021231260A1 (en) 2020-05-11 2021-05-10 Methods and apparatus for identifying surface features in three-dimensional images

Publications (1)

Publication Number Publication Date
JP2023525535A true JP2023525535A (ja) 2023-06-16

Family

ID=76197629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022568621A Pending JP2023525535A (ja) 2020-05-11 2021-05-10 3次元画像内の表面特徴を識別する方法及び装置

Country Status (6)

Country Link
US (1) US20210350115A1 (ja)
JP (1) JP2023525535A (ja)
KR (1) KR20230050270A (ja)
CN (1) CN116134482A (ja)
DE (1) DE112021002702T5 (ja)
WO (1) WO2021231260A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11937019B2 (en) 2021-06-07 2024-03-19 Elementary Robotics, Inc. Intelligent quality assurance and inspection device having multiple camera modules
US11605159B1 (en) 2021-11-03 2023-03-14 Elementary Robotics, Inc. Computationally efficient quality assurance inspection processes using machine learning
US11675345B2 (en) 2021-11-10 2023-06-13 Elementary Robotics, Inc. Cloud-based multi-camera quality assurance architecture
US11605216B1 (en) * 2022-02-10 2023-03-14 Elementary Robotics, Inc. Intelligent automated image clustering for quality assurance

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462450B2 (en) * 2014-04-28 2019-10-29 Autodesk, Inc. Combining two-dimensional images with depth data to detect junctions or edges
US9327406B1 (en) * 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
CA3115898C (en) * 2017-10-11 2023-09-26 Aquifi, Inc. Systems and methods for object identification
CN110998241A (zh) * 2018-01-23 2020-04-10 深圳市大疆创新科技有限公司 用于校准可移动对象的光学系统的系统和方法
CN112006711A (zh) * 2019-05-31 2020-12-01 通用电气精准医疗有限责任公司 3d透视指示器及其生成方法和应用
US11087479B1 (en) * 2019-12-20 2021-08-10 Facebook Technologies, Llc Artificial reality system with 3D environment reconstruction using planar constraints

Also Published As

Publication number Publication date
WO2021231260A1 (en) 2021-11-18
US20210350115A1 (en) 2021-11-11
KR20230050270A (ko) 2023-04-14
CN116134482A (zh) 2023-05-16
DE112021002702T5 (de) 2023-02-23

Similar Documents

Publication Publication Date Title
JP2023525535A (ja) 3次元画像内の表面特徴を識別する方法及び装置
JP6236118B2 (ja) 三次元データ処理装置、三次元データ処理システム、三次元データ処理方法およびプログラム
US10354402B2 (en) Image processing apparatus and image processing method
US20170308736A1 (en) Three dimensional object recognition
TW201616449A (zh) 點雲網格精細化系統及方法
JP6880618B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US11816857B2 (en) Methods and apparatus for generating point cloud histograms
Al Nasr et al. Intensity-based skeletonization of CryoEM gray-scale images using a true segmentation-free algorithm
JP2015132544A (ja) 画像処理装置および3次元空間情報取得方法
US11893744B2 (en) Methods and apparatus for extracting profiles from three-dimensional images
CN111295694A (zh) 点云的孔洞填充的方法和设备
KR20230050269A (ko) 3d 이미지의 볼륨을 결정하기 위한 방법 및 장치
JP5620741B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240054676A1 (en) Methods and apparatus for determining orientations of an object in three-dimensional data
KR20200030485A (ko) 기계 시각을 위한 이미지 데이터 처리 방법들 및 장치
Weinmann et al. Point cloud registration
KR101541114B1 (ko) 3d 스캐너를 위한 추가 촬영 방향 결정 방법
JP2019168251A (ja) 形状測定装置、形状測定方法及びプログラム
US11763462B2 (en) Mesh hole area detection
Pastor et al. An agent-based paradigm for the reconstruction of conical perspectives
WO2016132490A1 (ja) 図面作成システム及び図面作成方法
JP7000941B2 (ja) 処理装置、3次元モデルの分割方法及びプログラム
JP6227801B2 (ja) 図面作成システム及び図面作成方法
Svensson Image analysis and interactive visualization techniques for electron microscopy tomograms
HUYNH How to improve the laser scanning of shiny surfaces which can give unwanted reflections