JP2023525534A - 3次元画像から外形を抽出する方法及び装置 - Google Patents
3次元画像から外形を抽出する方法及び装置 Download PDFInfo
- Publication number
- JP2023525534A JP2023525534A JP2022568617A JP2022568617A JP2023525534A JP 2023525534 A JP2023525534 A JP 2023525534A JP 2022568617 A JP2022568617 A JP 2022568617A JP 2022568617 A JP2022568617 A JP 2022568617A JP 2023525534 A JP2023525534 A JP 2023525534A
- Authority
- JP
- Japan
- Prior art keywords
- axis
- point
- determining
- points
- bins
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000000926 separation method Methods 0.000 claims description 20
- 238000012935 Averaging Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 108050005509 3D domains Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005415 magnetization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- YLJREFDVOIBQDA-UHFFFAOYSA-N tacrine Chemical compound C1=CC=C2C(N)=C(CCCC3)C3=NC2=C1 YLJREFDVOIBQDA-UHFFFAOYSA-N 0.000 description 1
- 229960001685 tacrine Drugs 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
- G06F18/21345—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis enforcing sparsity or involving a domain transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本明細書で説明する技法は、3次元(3D)点群の一部分に対して2次元(2D)外形を決定するように構成された方法、装置及びコンピュータ可読媒体に関する。3D注目領域が決定され、3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む。3D注目領域内の3D点は、第1の軸及び第2の軸の座標値に基づき、2D点セットとして表される。2D点は、第1の軸に沿って配置された複数の2Dビンにグループ化される。各2Dビンに対して、表現2D位置は、関連する2D点セットに基づき決定される。表現2D位置のそれぞれは、2D外形を生成するため、隣接する表現2D位置に接続される。
Description
関連出願
本出願は、米国特許法第119条(e)項に基づき、「METHODS AND APPARATUS FOR EXTRACTING PROFILES FROM THREE-DIMENSIONAL IMAGES」という名称の2020年5月11日出願の米国仮出願第63/023,179号に対する優先権を主張するものであり、当該出願の全体が参照により本明細書に組み込まれる。
本出願は、米国特許法第119条(e)項に基づき、「METHODS AND APPARATUS FOR EXTRACTING PROFILES FROM THREE-DIMENSIONAL IMAGES」という名称の2020年5月11日出願の米国仮出願第63/023,179号に対する優先権を主張するものであり、当該出願の全体が参照により本明細書に組み込まれる。
本明細書で説明する技法は、一般に、3次元画像から外形を抽出する技法を含む、マシン・ビジョンのための方法及び装置に関し、詳細には、任意のポーズで3次元点群から外形を抽出することに関する。
マシン・ビジョン・システムは、3次元(3D)撮像デバイスを含め、強固な撮像機能を含み得る。例えば、3Dセンサは、場面を撮像し、それぞれが3D座標系内に(x,y,z)位置を含む3D点セットを生成し得る(例えば、座標系のz軸は、3D撮像デバイスからの距離を表す)。そのような3D撮像デバイスは、3D撮像工程の間に取り込まれた3D点セットを含む3D点群を生成し得る。しかし、3D点群内の絶対的な数の3D点は、(例えば、場面の2Dデータと比較すると)大量である場合がある。更に、3D点群は、純粋な3Dデータ点のみを含み得るため、3D点の間/中の関係を示すデータ、又は表面法線情報等の他の情報を含まないことがあり、他の点の間での関係を示すデータがなければ、3D点の処理を複雑化させることがある。したがって、3D点群は、大量の3Dデータを提供し得る一方で、3D点群データ上でのマシン・ビジョン・タスクの実施は、複雑化し、時間がかかり、著しい処理リソース等を必要とする場合がある。
開示する主題によれば、改善されたマシン・ビジョン技法のため、特に、(例えば、物体表面の)3D点群内の点から外形を生成する、改善されたマシン・ビジョン技法のための装置、システム及び方法が提供される。本技法は、任意のポーズで外形を生成し得る。いくつかの実施形態によれば、ユーザ指定とし得る平面及び/又は注目領域は、各外形を生成するために使用される。注目領域は、注目領域内の3D点を2D点に崩し、ビン化し、結果として生じる外形の生成に使用できるような3D注目領域とし得る。
いくつかの態様は、3次元(3D)点群の一部分に対して2次元(2D)外形を決定する、コンピュータ化された方法に関する。本方法は、複数の3D点を含む3D点群を示すデータを受信することと、3D点群内の3D注目領域を決定することとを含み、3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む。本方法は、それぞれが3D注目領域内に3D位置を含む複数の3D点の3D点セットを決定することと、3D点セットの第1の軸及び第2の軸の座標値に基づき、3D点セットを2D点セットとして表すことと、2D点セットを、第1の軸に沿って配置された複数の2Dビンにグループ化することとを含み、各2Dビンは、あるビン幅を含む。本方法は、複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき、表現2D位置を決定することと、2D外形を生成するため、表現2D位置のそれぞれを隣接する表現2D位置に接続することとを含む。
いくつかの例によれば、本方法は、第1の軸、第2の軸及び第3の軸を含む3D領域座標系を生成することを更に含み、3D領域座標系の起点は、3D領域の幅及び奥行きの中間に配置され、3D領域の高さは、起点で開始される。本方法は、3D点群の座標系からの点を3D領域座標系にマッピングすることを更に含み得る。
いくつかの例によれば、2D点セットとして3D点セットを表すことは、幅に等しい第1の次元及び高さに第2の次元を含む2D平面内に3D点を表すことを含み、第1の次元は、第1の軸に沿って延在し、第2の次元は、第2の軸に沿って延在する。2D点セットとして3D点セットを表すことは、3D点セットの第3の軸の各値をゼロに設定することを含み得る。複数の2Dビンは、2D平面の第1の次元内で第1の軸に沿って並べて配置し得る。
いくつかの例によれば、複数の2Dビンのそれぞれに対して表現2D位置を決定することは、複数の2Dビンの1つ又は複数の2Dビンの2D点セットが閾値未満であることを決定することと、1つ又は複数の2Dビンの2D点セットを空のセットに設定することとを含む。
いくつかの例によれば、複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各ビンの2D点セットの平均を決定することを含む。
いくつかの例によれば、複数の2Dビンのそれぞれに対して表現2D位置を決定することは、表現2D位置として、第2の軸の最大値に関連する2D点セットの2D点を選択することを含む。
いくつかの例によれば、複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、分離閾値より大きい、グループ化することと、1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、1つ又は複数の残りのどのクラスタが、第2の軸に沿った最大座標を有する2D点を含むかを決定することを含め、1つ又は複数の残りのクラスタの最大クラスタを決定することと、表現2D位置を決定するため、最大2D点クラスタを平均化することとを含む。
いくつかの例によれば、複数の2Dビンのそれぞれに対して表現2D位置を決定することは、空ではない2D点セットを有する複数の2Dビンの2Dビンに対してのみ表現2D位置を決定することを含む。
そのような実施形態は、非一時的コンピュータ可読媒体に関し、非一時的コンピュータ可読媒体は、コンピューティング・デバイス上の1つ又は複数のプロセッサによって実行されると、1つ又は複数のプロセッサに本明細書に記載の技法のいずれかの方法を実行させるように動作可能な命令を含む。
いくつかの実施形態は、システムに関し、システムは、命令を記憶するメモリと、本明細書で説明する技法のいずれかの方法を実施するため、命令を実行するように構成されたプロセッサとを備える。
したがって、以下の詳細な説明をより良好に理解できるようにし、当技術分野に対する本発明の寄与をより良好に了解できるようにするため、開示する主題の特徴をかなり広範に概説している。当然、開示する主題に対し、以下で説明され、本明細書に添付される特許請求の範囲の主題を形成する更なる特徴がある。本明細書で使用する言い回し及び用語は、説明の目的であり、限定とみなすべきではないことを理解されたい。
図面において、様々な図面で示される同一又はほぼ同一のそれぞれの構成要素は、同じ参照記号によって表される。明確にするため、全ての構成要素を全ての図面で表示しないことがある。図面は、必ずしも一定の縮尺で描かれておらず、本明細書に記載の本技法及びデバイスの例示する様々な態様に重点が置かれる。
本明細書で説明する技法は、3D点群画像の分析に使用するデータを低減する技法を提供する。3D点群は、3D点位置を使用して、検査下、物体表面の平易な表現を提供する。しかし、3D点群は、何十万又は何百万もの(x,y,z)点を含むことが多い。したがって、本発明者等は、そのような大量の3D点を空間内で直接解釈することは、かなり時間のかかる、多量のリソースを必要とするものであり得ると認識している。例えば、3D点群はそのような大量の3D点を含み、典型的には、3D点の間の構造又は空間関係についての情報を含まないので、純粋な3点群を解釈しようとすると、そのような解釈の実施に対して時間制限、ハードウェア・リソースの制限等があり得る多くのマシン・ビジョンの使用では、実行不可能である場合がある。したがって、従来の技法は、典型的には、最初に、3D点に沿った表面を生成するために3D点をメッシュ化し、次に、メッシュ化表面に基づき幾何演算を実施する。しかし、3D点のメッシュ化は、複雑な演算の実施を必要とすることがある。更に、得られたメッシュ表面は、(例えば、撮像物体の実際の表面に沿っていないノイズのある3D点による)ノイズ・アーチファクトを含み得る。
本発明者等は、これら及び他の非効率さに対処するため、マシン・ビジョン技法に対して技術的な改善を開発した。本明細書で説明する技法は、任意のポーズで3D点群から点群の外形を直接抽出し、(例えば、物体表面の)1次元(1D)信号を生成し得る。いくつかの実施形態によれば、各1D信号は、2D平面内で順序の付いた2D点シーケンスとして表し得る。2D平面上に基づき寸法決定される3D長方形等の3D形状は、外形を生成するため、3D点群内で隣接する3D点をどのように使用するかを指定し得る。3D形状内の3D点は、ビン化し、3D点クラスタとして処理し、平滑化し、3D点内のノイズを低減し得る。
いくつかの実施形態によれば、本技法は、3D形状付近又はその中の3D点を2D平面上の2D点として投影し、投影した2D点をビンに量子化することを含み得る。表現位置は、各ビンに対して決定し、隣接するビンの表現位置を接続し、ポリラインを生成し得る。3D点群内の従来の大量のデータを1次元又は2次元まで低減し得るので、本明細書で説明する技法は、性能を著しく改善し得る。本技法は、特徴抽出、計量測定、欠陥検査、視覚誘導ロボット等を含め、様々な種類の点群ベースの用途で使用し得る。
以下の説明では、開示する主題に対する完全な理解を提供するため、開示する主題のシステム及び方法並びにそのようなシステム及び方法が動作し得る環境等に関し、多数の具体的な詳細を示す。更に、以下で提供する例は、例示的であり、開示する主題の範囲内にある他のシステム及び方法が企図されることは理解されよう。
図1は、いくつかの実施形態による例示的マシン・ビジョン・システム100を示す図である。例示的マシン・ビジョン・システム100は、カメラ102(又は他の撮像取得デバイス)と、コンピュータ104とを含む。1つのカメラ102のみを図1に示すが、複数のカメラをマシン・ビジョン・システム内で使用し得ることを了解されたい(例えば、点群が複数のカメラの点群からマージされる場合)。コンピュータ104は、1つ又は複数のプロセッサと、コンピュータ・ディスプレイの形態の人間-機械インターフェースと、任意で1つ又は複数の入力デバイス(例えば、キーボード、マウス、トラック・ボール等)とを含む。カメラ102は、構成要素の中でも、レンズ106と、カメラ・センサ要素(図示せず)とを含む。レンズ106は、視野108を含み、レンズ106は、視野108からセンサ要素上に集光する。センサ要素は、カメラ視野108のデジタル画像を生成し、コンピュータ104の一部を形成するプロセッサにこの画像を提供する。図1の例に示すように、物体112は、コンベア110に沿ってカメラ102の視野108内に進行する。カメラ102は、本明細書で更に説明するように、物体112が処理のために視野108内にある間、物体112の1つ又は複数のデジタル画像を生成し得る。動作中、コンベアは、複数の物体を含み得る。これらの物体は、検査工程等の間、カメラ102の視野108内を通過し得る。したがって、カメラ102は、それぞれ観察された物体112の少なくとも1つの画像を取得し得る。
いくつかの実施形態では、カメラ102は、3次元(3D)撮像デバイスである。一例として、カメラ102は、本出願の譲受人であるコグネックス・コーポレーションから入手可能なレーザー・プロファイラ3D変位センサのDS線等、場面を線単位で走査する3Dセンサとし得る。いくつかの実施形態によれば、3D撮像デバイスは、(x,y,z)点セットを生成し得る(例えば、z軸が、3D撮像デバイスからの距離等、第3の次元を追加する場合)。3D撮像デバイスは、陰影からの形状の推定(shape-from-shading)、立体撮像、飛行時間技法、投影器ベースの技法、及び/又は他の3D生成技法等、様々な3D画像生成技法を使用し得る。いくつかの実施形態では、マシン・ビジョン・システム100は、2次元(2D)CCD又はCMOS撮像アレイ等の2次元撮像デバイスを含む。いくつかの実施形態では、2次元撮像デバイスは、2Dアレイの輝度値を生成する。
いくつかの実施形態では、マシン・ビジョン・システムは、カメラ102から3Dデータを処理する。カメラ102から受信する3Dデータは、例えば、点群及び/又は範囲画像を含み得る。点群は、固体物体の表面上又はその付近にある3D点グループを含み得る。例えば、点は、点の座標の観点から直線又は他の座標系内に提示し得る。いくつかの実施形態では、どの点が物体表面上に隣接しているかを示すメッシュ又はグリッド構造等の他の情報が、任意で存在してもよい。いくつかの実施形態では、センサ測定から導出されるか、又は事前に計算される曲率、表面法線、縁部及び/又は色を含む表面特徴についての情報並びにアルベド情報を入力点群内に含めてよい。いくつかの実施形態では、2D及び/又は3Dデータは、2D及び/若しくは3Dセンサ、CAD若しくは他のソリッド・モデルから得られる、並びに/又は範囲画像、2D画像及び/若しくは他の画像を前処理することによって得ることができる。
いくつかの実施形態によれば、3D点グループは、ユーザ指定の注目領域内の3点群の一部分とし得る、及び/又は3D点群内の注目領域を指定するデータを含み得る。例えば、3D点群は、極めて多くの点を含み得るので、1つ又は複数の注目領域を指定及び/又は画定することが望ましい場合がある(例えば、本明細書で説明する技法が適用される空間を制限するため)。
コンピュータ104の例は、限定はしないが、単一サーバ・コンピュータ、一連のサーバ・コンピュータ、単一パーソナル・コンピュータ、一連のパーソナル・コンピュータ、ミニ・コンピュータ、メインフレーム・コンピュータ、及び/又はコンピューティング・クラウドを含み得る。コンピュータ104の様々な構成要素は、1つ又は複数のオペレーティング・システムを実行でき、1つ又は複数のオペレーティング・システムの例は、限定はしないが、例えば、Microsoft Windows Server(商標)、Novell Netware(商標)、Redhat Linux(商標)、Unix及び/又は特注オペレーティング・システムを含み得る。コンピュータ104の1つ又は複数のプロセッサは、1つ又は複数のプロセッサに接続されたメモリ内に記憶した動作を処理するように構成し得る。メモリは、限定はしないが、ハード・ディスク・ドライブ、フラッシュ・ドライブ、テープ・ドライブ、光学ドライブ、RAIDアレイ、ランダム・アクセス・メモリ(RAM)及び読取り専用メモリ(ROM)を含み得る。
3Dビジョン・システムは、場面の3D点群を生成することによって、場面の画像を取り込む。3Dビジョン・システムが所与の方向から物体表面を見る際、見える表面のみが3D点群内に取り込まれる。というのは、他の表面(例えば、側面及び/又は底面)は隠れていることが多いためである。本明細書で説明する技法は、3D点群内の表面に対して1D複写物又は外形を推定することを提供する。外形は、例えば、点群の注目領域における物体表面の1つ又は複数の表面湾曲部を提示し得る。
いくつかの実施形態によれば、3D筐体を使用し、3D点群内の3D点セットを識別する。識別された3D点は、3D筐体に関連する2D平面に沿って2D点にマッピングされる。2D点は、ビンにグループ化し、各ビンに対して表現点を計算し得る。2D位置の平均化、最大2D点の識別、及び/又は認定クラスタからの位置の平均化によることを含めた様々な技法を使用し、ビンの表現点を決定し得る。隣接するビンの表現点は、ポリラインを形成するように接続し得る。いくつかの例によれば、各ポリラインは、観察方向の直交方向に沿って単調に増大する2D頂点を接続することによって作製し得る。
図2は、いくつかの実施形態による、3D点群の一部分の2D外形を決定する、例示的なコンピュータ化された方法200のフロー・チャートである。ステップ202において、マシン・ビジョン・システム(例えば、図1のマシン・ビジョン・システム100)は、複数の3D点を含む3D点群を受信する。いくつかの実施形態によれば、3D点群は、ボクセル・グリッド、3D格子等とし得る。図3は、いくつかの実施形態による3D点群300の一例を示す図である。説明の目的で、3D点群300は、少数の3D点302A、302Bから302Nを示すにすぎず、これらは、3D点302と総称される。3D点群は、X、Y及びZ軸に関連する点群座標系304を含む。
ステップ204において、マシン・ビジョン・システムは、3D点群内の3D注目領域を決定する。3D領域は、3D筐体、球体等のあらゆる3D形状とし得る。いくつかの実施形態によれば、本技法は、切取り平面(例えば、投影/抜取り方向、平面における観察方向、及び/又は隣接点を抑制するための注目領域を含む)を指定することを含む。例えば、切取り平面は、3D注目領域の決定に使用し得る奥行きと共に指定し得る。
いくつかの実施形態によれば、3D領域は、3D領域座標系に対して指定し得る。例えば、3D筐体の場合、3D注目領域は、座標系の第1の軸に沿った(例えば、X軸に沿った)幅、座標系の第2の軸に沿った(例えば、Z軸に沿った)高さ、及び座標系の第3の軸に沿った(例えば、Y軸に沿った)奥行きを有し得る。いくつかの実施形態によれば、本技法は、X軸及びZ軸が、長方形注目領域の幅及び高さにそれぞれ対応し、Y軸が長方形注目領域の奥行きに対応する直線座標空間を構成することを含み得る。注目領域は、3D領域座標系の起点に基づき指定し得る。例えば、長方形注目領域の例を続けると、3D領域の幅及び奥行きの中間点は、起点に配置され、3D領域の高さは、起点で開始し得る(例えば、起点は、3D領域の短辺の中心に位置するようにする)。
図4Aは、いくつかの実施形態による、長方形3D注目領域400の一例を示す図である。注目領域400は、注目領域のための切取り長方形と呼び得る、2D長方形402として指定し得る。長方形402の幅404は、3D領域座標系のX方向上に位置合わせされ、長方形402の高さ406は、座標系のZ方向上に位置合わせされる。筐体408は、3D注目領域を画定し、隣接する3D点を3D点群から識別するように構成される。筐体408は、前面410と背面412とを含み、前面410及び背面412の両方は、切取り長方形402の平行コピーであり、長方形402の垂直方向に沿って厚さ414によって互いに隔てられ、それぞれ、厚さ414の半分だけ長方形402から隔てられている。
図4Aに示すように、3D領域座標系416は、その起点が長方形402の底側の中心にあり、X軸及びZ軸はそれぞれ、長方形402の幅及び高さのそれぞれに対して平行である一方で、Y方向は、厚さ414に沿って延在するように規定される。図4Bは、いくつかの実施形態による、図3からの3D点群300に、図4Aの3D注目領域400を重ね合わせたことを示す図である。
本明細書で説明する3D注目領域は、独自の領域座標系に関連付けることができ、3D注目領域の領域座標系は、3D点群304の座標系とは異なってよい。いくつかの実施形態によれば、本技法は、3D点群座標系からの3D点を3D注目領域の領域座標系にマッピングし得る。そのようなマッピングの実施により、注目領域がある平面(例えば、長方形402)内に各3D点の投影を得ることができる一方で、注目領域の外側にある平面を除外する。いくつかの実施形態によれば、剛体変換を使用し、3D点群座標空間を3D領域座標空間に関連付けることができる。3D点群空間内の3D点「pointPointCloud」は、式1:
pointInROI=transformProfileFromPointCloud×pointPointCloud (式1)
を使用する変換transformProfileFromPointCloudを使用して、3D領域座標空間「Profile」に変換でき、式中、
×は、構成演算子を示し、
pointInROIは、長方形3D領域内の3D点であり、式2~4に示す以下の3つの条件:
-rectSizeX×0.5≦pointInROI.x≦rectSizeX×0.5 (式2)
0≦pointInROI.z+pointInROI.z≦rectSizeY (式3)
-Thickness×0.5≦pointInROI.y+pointInROI.y≦Thickness×0.5 (式4)
を満たし、式中、
rectSizeXは、長方形の幅(例えば、図4Aの幅404)であり、
rectSizeYは、長方形の高さ(例えば、図4Aの高さ406)であり、
Thicknessは、長方形の奥行き(例えば、図4Aの奥行き414)である。
pointInROI=transformProfileFromPointCloud×pointPointCloud (式1)
を使用する変換transformProfileFromPointCloudを使用して、3D領域座標空間「Profile」に変換でき、式中、
×は、構成演算子を示し、
pointInROIは、長方形3D領域内の3D点であり、式2~4に示す以下の3つの条件:
-rectSizeX×0.5≦pointInROI.x≦rectSizeX×0.5 (式2)
0≦pointInROI.z+pointInROI.z≦rectSizeY (式3)
-Thickness×0.5≦pointInROI.y+pointInROI.y≦Thickness×0.5 (式4)
を満たし、式中、
rectSizeXは、長方形の幅(例えば、図4Aの幅404)であり、
rectSizeYは、長方形の高さ(例えば、図4Aの高さ406)であり、
Thicknessは、長方形の奥行き(例えば、図4Aの奥行き414)である。
ステップ206において、マシン・ビジョン・システムは、3D注目領域内に位置する3D点セットを決定する。いくつかの実施形態によれば、マシン・ビジョン・システムは、3D注目領域の1つ又は複数の態様に基づき、3D注目領域内の3D点を決定する。例えば、図4Bを参照すると、マシン・ビジョン・システムは、(例えば、ユーザ指定とし得る)厚さ414内の点を決定することによって、長方形3D注目領域400内に示される3D点群の3D点を決定し得る。したがって、この例では、注目領域内の3D点は、厚さ414の半分未満の平面402からの距離である点である。
ステップ208において、マシン・ビジョン・システムは、3D点セットの指定された第1の軸及び第2の軸の座標値に基づき、3D点セットを2D点セットとして表す(例えば、(X,Y,Z)によって表される座標形態の場合、指定された第1の軸及び第2の軸は、X及びZ、Y及びZ等とし得る)。いくつかの実施形態によれば、各隣接する点は、3D注目領域の2D態様に投影される。いくつかの実施形態によれば、3D点は、2D平面で表し得る。いくつかの実施形態によれば、3D点は、3つの座標軸値のうち2つのみを使用して3D点を表すことによって、及び/又は3D点セットの軸(例えば、第3の軸)の各値をゼロに設定することによって、2D点として表し得る。
いくつかの実施形態によれば、例えば、図4Bを参照すると、3D点は、図5に示す面内点を得るため、各3D点のY成分をゼロに設定することによって、平面402に投影し得る。図5に示すように、平面402の第1の次元は、幅404に等しいように維持され、平面402の第2の次元も、高さ406に等しいように維持され、平面402が、最初に構成された、図4A~図4Bに示す次元と同じ次元を維持するようにする。平面402の次元は、3D領域座標系に対しても維持し得る。したがって、図5に示すように、幅404は、3D領域座標系416のX軸に沿って延在し、高さ406は、3D領域座標系416のZ軸に沿って延在する。
ステップ210において、マシン・ビジョン・システムは、2D点セットを、第1の軸に沿って配置された複数の2Dビンにグループ化する。2Dビンのそれぞれは、あるビン幅を有し、いくつかの実施形態では、2Dビンのそれぞれは、同じビン幅を有する。複数の2Dビンのそれぞれは、2D平面の第1の次元内で第1の軸に沿って(例えば、X軸に沿って)並べて配置し得る。
例えば、第1の軸がX軸である場合、2D点は、式5:
quantizedPointInROI=floor(pointInROI.x()/BinSize) (式5)
を使用してX成分を量子化することによって、X軸に沿って離間するビンにグループ化でき、式中、
pointInROIは、長方形領域内の3D点であり、
BinSizeは、ビンのサイズである。
quantizedPointInROI=floor(pointInROI.x()/BinSize) (式5)
を使用してX成分を量子化することによって、X軸に沿って離間するビンにグループ化でき、式中、
pointInROIは、長方形領域内の3D点であり、
BinSizeは、ビンのサイズである。
その結果、使用中のビンは、1つ又は複数の面内点を含み得る。したがって、いくつかの実施形態では、各2D点の面内点は、比率:pointInROI.x()/BinSizeを超えない最大整数に基づき、対応するビンに割り当てることができる。
図6は、いくつかの実施形態による、面内点がビンに量子化されている平面402を示す図である。平面402は、ビン602A、602Bから602Nを含み、これらは、ビン602と総称され、共通ビン・サイズ604を共有する。説明のために、図4A~図4Bも、ビン・サイズ604を示し、3D空間内のビン(及び2Dに投影され、ビンにマッピングされた、対応する3D点)を概念的に示す。図示のように、ビン602B等、いくつかのビン602は、3D点を全く含まなくてよい。
ステップ212において、マシン・ビジョン・システムは、各ビン内の2D点に基づき、2Dビンのそれぞれに対して表現2D位置(例えば、(x,z)位置)を決定する。いくつかの実施形態によれば、本技法は、特定のビンの2D点を含むかどうかを決定するため、閾値を使用し得る(特定のビンは、外形の一部分を決定するためにビンが使用されるかどうかに更に影響を及ぼし得る)。例えば、マシン・ビジョン・システムが、1つ又は複数の2Dビンの2D点の数が閾値未満であることを決定した場合、マシン・ビジョン・システムは、これらのビンがあらゆる2D点に関連付けられないように、これらのビンの2D点をゼロにし得る。例えば、図6を参照すると、点の最小数が2に設定された場合、ビン602Nは、ビン602Nが1つの2D点しか含まないので、後続の処理からフィルタ除去し得る。
各ビン(例えば、それぞれの空ではないビン)の表現2D位置を決定するために、様々な技法を使用し得る。例えば、表現2D位置は、ビンの2D点の平均、中間、標準偏差等に基づき決定し得る。別の例として、表現2D位置は、ビンの2D点の1つ又は複数の最大点値、最小点値等に基づき決定し得る。更なる例として、表現2D位置は、2Dビンの点をクラスタ化し、クラスタに基づき表現2D位置を決定することによって決定し得る。
図7~図9は、いくつかの実施形態による、表現2D位置の決定に使用し得る様々な技法を示す図である。いくつかの実施形態によれば、表現2D点は、ビン内の2D点の座標値を平均化することによって決定し得る。図7は、いくつかの実施形態による、例示的表現2D位置702のセットを示す図であり、例示的表現2D位置702のセットは、図6の2D点の値を平均化することによって決定される。例えば、マシン・ビジョン・システムは、各ビン0から9までの2D点のX及びZ値を平均化する平均モードを稼働させ、それぞれがX値の平均に等しいX値及びZ値の平均に等しいZ値を有する表現2D点702を決定するように構成し得る。
別の例として、いくつかの実施形態は、表現2D位置として1つの軸(例えば、第2の軸)の最大値を有する2D点を選択し得る。図8は、いくつかの実施形態による、例示的表現2D位置802のセットを示す図であり、例示的表現2D位置802のセットは、最大Z値を有する図6の各ビンの2D点を選択することによって決定される。この例では、各ビンの表現2D位置802は、各ビン内で最大Z値を有する2D点のX及びZ値に等しく設定される。
更なる例として、いくつかの実施形態は、表現2D位置を決定するため、各ビンの2D点をクラスタ化し得る。例えば、マシン・ビジョン・システムは、2D点セットを、各2D点クラスタの1つの軸(例えば、Z軸)の値の間の距離が分離閾値内にある1つ又は複数の2D点クラスタにグループ化し得る一方で、別の2D点クラスタの値の間の距離は、分離閾値を超える。マシン・ビジョン・システムは、1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去し得る。マシン・ビジョン・システムは、残りのどのクラスタが、(例えば、第2の軸に沿った)最大座標値を有する2D点を含むかを決定することによって、1つ又は複数の残りのクラスタの最大クラスタを決定し得る。マシン・ビジョン・システムは、2D点クラスタを平均化し、この2D点平均により、表現2D位置を決定し得る。
図9は、いくつかの実施形態による、例示的表現2D位置902のセットを示す図であり、例示的表現2D位置902のセットは、2D点をクラスタ化することによって決定される。いくつかの実施形態によれば、分離閾値は、ビン・サイズに基づき設定し得る。例示的な例として、図9を参照すると、ビンの2D点は、Z成分に基づき、1)異なるクラスタが、分離閾値を超えるZ距離を有するように、及び2)各クラスタに対して、(Zに基づく分類の後)あらゆる対のZの隣接する点の間のZ距離が、分離閾値を超えないように、クラスタにグループ化される。この例では、分離閾値は、3D注目領域の厚さの最大、及び(例えば、ステップ214に関連して更に説明される)外形線を生成する際に使用される接続距離として決定される。クラスタは、クラスタがビン内の点の少なくとも1つの閾値最小数を含む場合、認定クラスタとみなし得る。マシン・ビジョン・システムは、最大Z成分を有する認定クラスタを選択し得る。マシン・ビジョン・システムは、ビンの表現点として、選択された認定クラスタの点の平均を決定し得る。
上記のように、長方形筐体の例は、説明の目的で提供されるが、本明細書で説明する技法を限定することを意図しない。他の実施形態は、様々な形状、様々な領域座標系、及び/又は領域座標系に対して3D領域の様々な配置を使用すること等によって、これらの例の1つ又は複数の態様を修正し得る。したがって、本明細書で説明する技法は、これらに応じて修正し得る。単純な例として、切取り長方形をそのY方向に反転させた場合、最大モード及びクラスタ化モードは、最大Z値/外形ではなく、最小Z値/外形を抽出し得る。
ステップ214において、マシン・ビジョン・システムは、2D外形を生成するため、表現2D位置のそれぞれを、隣接する表現2D位置に接続する。いくつかの実施形態によれば、本技法は、1つ又は複数のポリラインを形成するため、1つの軸(例えば、X軸)に沿って配置された使用中のビンの隣接する表現2D位置を接続し得る。2つの使用中のビンは、これらのビンが、互いに隣り合う場合、及び/又はこれらのビンの間に非使用中のビンのみが存在する場合、隣接するとみなし得る。2つの隣接するビンは、表現2D位置の間の第1の軸(例えば、X軸)に沿った距離が、指定された接続距離閾値を超えない場合、同じポリラインに属するとみなし得る。例えば、接続距離閾値は、ビン・サイズの2倍を超えるように設定し得る(例えば、ビン3及びビン5は、図7~図9に示す例のそれぞれの中で接続されるようにする)。
いくつかの実施形態では、図7~図9のビン4の場合に示されるように、いくつかのビンは、任意の2D点によって使用されない場合がある、及び/又はビン内の2D点は、(十分な数の2D点がビン内にない場合)除去される及び/又は無視される場合がある。したがって、いくつかの実施形態では、使用中のビンの間に、空のビン又は間隙があり得る。いくつかの実施形態では、マシン・ビジョン・システムは、間隙にわたり使用中のビンを接続するように構成し得る。例えば、マシン・ビジョン・システムは、図7~図9に示すように、空ビン4を通じてビン3及び5を接続する。いくつかの実施形態では、マシン・ビジョン・システムは、使用中のビンを空ビンを通じて接続するかどうかを決定するため、閾値間隙距離を使用し得る。例えば、閾値は、2つの空ビン、3つの空ビン、5つの空ビン等とし得る。マシン・ビジョン・システムが、間隙が閾値間隙距離を上回ることを決定した場合、マシン・ビジョン・システムは、使用中のビンを接続しない(例えば、2つの分離2D外形を生成する)ように構成し得る一方で、間隙が閾値間隙距離を下回る場合、マシン・ビジョン・システムは、使用中のビンを接続する(例えば、間隙にわたり2D外形を継続させる)ように構成し得る。
いくつかの実施形態によれば、本技法は、物体に沿って外形を生成するために使用し得る。例えば、筐体の場合、本技法は、筐体のY方向に沿って均等に分散された切取り長方形を生成でき、関連する外形の生成に使用されるそれぞれの長方形は、筐体の前面XZ面の平行コピーである。図10は、いくつかの実施形態による、外形結果1000の一例を示し、外形結果1000は、筐体領域のY方向に沿って均等に分散された一連の切取り長方形から抽出されたものである。図示のように、それぞれの切取り長方形に対して、関連する外形1002Aから1002NがY方向に沿って生成される。
別の例として、本技法は、外形が物体の中心から径方向に配置されるように(例えば、外形領域が円筒形に配置されるように)、物体の角度方向に沿って均等に分散された切取り平面又は長方形を生成し得る。そのような例では、各長方形は、物体の軸、並びに軸と位置合わせされた物体の内部Y側及び表面上の外部Y側に平行とし得る。更なる例として、本技法は、任意の長方形セットを使用して外形を生成するために使用し得る。図11は、いくつかの実施形態による、円錐台の角度方向に沿って均等に分散された一連の切取り長方形から抽出された外形結果1100の一例を示す。図示のように、それぞれの切取り長方形に対して、関連する外形1102Aから1102Nは、角度方向に沿って生成される。
本明細書で説明する外形は、様々なマシン・ビジョン・ツールのために使用し得る。各外形は、切取り平面上又はその付近にある表面点等、物体の表面点の要約図を提供する表現として使用し得る。外形は、例えば、物体のコーナ点、外辺部、物体の面積等、取り込んだ物体の特徴、寸法及び/又は他の態様を測定するために使用し得る。別の例として、一連の外形は、物体の3D特徴(例えば、3D外辺部の線)、物体の何らかの部分及び/又は一部分の体積、物体の欠陥等、物体についての情報を決定するために使用し得る。図12の図表1200に示すように、本例では、(例えば、両側の大きな傾斜の変化により決定される)コーナ位置1206Aから1206N、(例えば、最大又は最小X又はZ位置により決定される)極端な位置1204A及び1204B、線形区分1208Aから1208N及び円形部分1210を含む変形特徴は、外形1202から導出し得る。そのように導出された特徴は、検査用途等の3Dビジョン用途では有用とし得る。図13は、3D線1306の一例の図1300であり、3D線1306は、関連する抽出外形シーケンス1302Aから1302Nから検出されたコーナ特徴1304Aから1304N上での直線当てはめによって抽出される。本技法は、切取り平面上の各外形の面積及び切取り物の厚さを考慮することによって、この表面によって覆われる体積を推定することもできる。図14は、連続外形シーケンスの1402Aから1402Nの変動を監視することによって、表面欠陥1404を検出する適用例を示す図である。
本明細書で説明する原理によって動作する技法は、あらゆる適切な様式で実装し得る。上記フロー・チャートの処理、判定ブロックは、これら様々な工程を実行するアルゴリズム内に含み得るステップ及び動作を表す。これらの工程から導出されるアルゴリズムは、1つ又は複数の専用若しくは汎用プロセッサと統合され、これらの動作を指示するソフトウェアとして実装し得るか、デジタル信号処理(DSP)回路若しくは特定用途向け集積回路(ASIC)等の機能的に等価の回路として実装し得るか、又はあらゆる他の適切な様式で実装し得る。本明細書に含まれるフロー・チャートは、あらゆる特定の回路あらゆる特定のプログラミング言語の構文若しくは動作、又はプログラミング言語の種類を示さないことを了解されたい。そうではなく、フロー・チャートは、本明細書で説明した種類の技法を実行する特定の装置の処理を実施するため、当業者が回路を製作する又はコンピュータ・ソフトウェア・アルゴリズムを実装するに使用し得る機能情報を示す。本明細書に別段に規定されていない限り、各フロー・チャートに記載される特定のシーケンスのステップ及び/又は動作は、アルゴリズムを示すにすぎず、これらのアルゴリズムは、本明細書で説明する原理の実装形態及び実施形態内で実装し、変更し得ることも了解されたい。
したがって、いくつかの実施形態では、本明細書に記載の技法は、アプリケーション・ソフトウェア、システム・ソフトウェア、ファームウェア、ミドルウェア、埋込みコード又はあらゆる他の適切な種類のコンピュータ・コードを含め、ソフトウェアとして実装されるコンピュータ実行可能命令において具現化し得る。そのようなコンピュータ実行可能命令は、いくつかの適切なプログラミング言語及び/又はプログラミング若しくはスクリプティング・ツールのいずれかを使用して書き込み、フレームワーク又は仮想マシン上で実行される実行可能機械語コード又は中間コードとしてコンパイルし得る。
本明細書で説明する技法をコンピュータ実行可能命令として具現化した場合、これらのコンピュータ実行可能命令は、いくつかの機能手段を含め、あらゆる適切な様式で実装でき、それぞれの機能手段は、これらの技法に従って動作するアルゴリズムの実行を完了させる1つ又は複数の動作をもたらす。しかし、例示した「機能手段」は、1つ又は複数のコンピュータと統合され、これらによって実行されると、1つ又は複数のコンピュータに特定の動作役割を実施させるコンピュータ・システムの構造構成要素である。機能手段は、ソフトウェア要素の一部分又は全体とし得る。例えば、機能手段は、工程の機能として、又は個別の工程として、又はあらゆる他の適切な処理ユニットとして実装し得る。本明細書で説明する技法を複数の機能手段として実装する場合、各機能手段は、独自の様式で実装し得る。全ての機能手段を同様に実装する必要はない。更に、これらの機能手段は、並行して及び/又は連続的に、適宜に実行し、機能手段を実行しているコンピュータ(複数可)上の共有メモリを使用して、メッセージ伝達プロトコルを使用して、又はあらゆる他の適切な様式で互いの間で情報を伝達し得る。
概して、機能手段は、特定のタスクを実施するか又は特定の抽象データ種を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、機能手段の機能は、機能手段が動作するシステム内で必要に応じて組み合わせるか又は分散し得る。いくつかの実装形態では、本明細書の技法を実行する1つ又は複数の機能手段は、完全なソフトウェア・パッケージを一緒に形成し得る。これらの機能手段は、代替実施形態では、ソフトウェア・プログラム・アプリケーションを実施するため、他の関連しない機能手段及び/又は工程との連携に適合させることができる。
1つ又は複数のタスクを実行するいくつかの例示的機能手段を本明細書に記載してきた。説明するタスクの機能手段及び部分は、本明細書で説明する例示的技法を実施し得る機能手段の種類を示すにすぎず、実施形態は、あらゆる特定の数、部分又は機能手段の種類で実施されることに限定されないことを了解されたい。いくつかの実装形態では、全ての機能は、単一機能手段内で実施し得る。いくつかの実装形態では、本明細書で説明する機能手段の一部は、他と一緒に(即ち、単一ユニットとして)、又は他とは個別に(若しくは個別ユニットとして)実施してもよく、これらの機能手段の一部は実施しなくてもよいことも了解されたい。
(1つ又は複数の機能手段として、又はあらゆる他の様式で実施される場合)本明細書で説明する技法を実施するコンピュータ実行可能命令は、いくつかの実施形態では、1つ又は複数のコンピュータ可読媒体上で符号化し、機能を媒体に提供し得る。コンピュータ可読媒体は、ハード・ディスク・ドライブ等の磁気媒体、コンパクト・ディスク(CD)又はデジタル多用途ディスク(DVD)等の光媒体、永久若しくは非永久ソリッドステート・メモリ(例えば、フラッシュ・メモリ、磁気RAM等)、又はあらゆる他の適切な記憶媒体を含む。そのようなコンピュータ可読媒体は、あらゆる適切な様式で実装し得る。本明細書で使用する「コンピュータ可読媒体」(「コンピュータ可読記憶媒体」とも呼ばれる)は、有形記憶媒体を指す。有形記憶媒体は、非一時的であり、少なくとも1つの物理的な構造構成要素を有する。本明細書で使用する「コンピュータ可読媒体」において、少なくとも1つの物理的な構造構成要素は、情報を埋め込んだ媒体を生成する工程、情報を媒体上に記録する工程、又は情報を有する媒体を符号化するあらゆる他の工程の間、何らかの方法で改変し得る少なくとも1つの物理特性を有する。例えば、コンピュータ可読媒体の物理構造の一部分の磁化状態は、記録工程の間に改変し得る。
更に、上記で説明したいくつかの技法は、これらの技法が使用する特定の様式で情報(例えば、データ及び/又は命令)を分類する動作を含む。これらの技法のいくつかの実装形態、-技法がコンピュータ実行可能命令として実装される実装形態等-では、情報は、コンピュータ可読記憶媒体上で符号化し得る。この情報を記憶するための有利な形式として特定の構造を本明細書で説明する場合、こうした構造は、記憶媒体上で符号化された際に物理的な情報機構を付与するために使用し得る。この場合、これらの有利な構造は、情報と連携する1つ又は複数のプロセッサの動作に影響を及ぼすことによって、例えば、プロセッサ(複数可)が実施するコンピュータ動作の効率を増大させることによって、記憶媒体に機能を提供し得る。
全てではないが、本技法をコンピュータ実行可能命令として具現化し得るいくつかの実装形態では、これらの命令は、あらゆる適切なコンピュータ・システム内で動作する1つ又は複数の適切なコンピューティング・デバイス(複数可)上で実行しても、1つ又は複数のコンピューティング・デバイス(又は1つ若しくは複数のコンピューティング・デバイスの1つ若しくは複数のプロセッサ)を、コンピュータ実行可能命令を実行するようにプログラムしてもよい。コンピューティング・デバイス又はプロセッサは、コンピューティング・デバイス又はプロセッサがアクセス可能な様式で命令をデータ・ストア等(例えば、オンチップ・キャッシュ又は命令レジスタ、バスを介してアクセス可能なコンピュータ可読記憶媒体、1つ又は複数のネットワークを介してアクセス可能であり、デバイス/プロセッサ等がアクセス可能なコンピュータ可読記憶媒体)の中に記憶させた場合、命令を実行するようにプログラムし得る。これらのコンピュータ実行可能命令を含む機能手段は、単一の汎用プログラマブル・デジタル・コンピューティング・デバイスの動作、処理能力を共有し、本明細書に記載の技法を一緒に実行する2つ以上の汎用コンピューティング・デバイスの座標系、単一コンピューティング・デバイス又は本明細書に記載の技法の実行専用の(共同設置又は地理的に分散された)コンピューティング・デバイスの座標系、本明細書に記載の技法を実行する1つ又は複数のフィールド・プログラマブル・ゲート・アレイ(FPGA)、又はあらゆる他の適切なシステムと統合するか、又はこれらを管理し得る。
コンピューティング・デバイスは、少なくとも1つのプロセッサと、ネットワーク・アダプタと、コンピュータ可読記憶媒体とを備え得る。コンピューティング・デバイスは、例えば、デスクトップ又はラップトップ・パーソナル・コンピュータ、携帯情報端末(PDA)、スマート・モバイル・フォン、サーバ又はあらゆる他の適切なコンピューティング・デバイスとし得る。ネットワーク・アダプタは、コンピューティング・デバイスが、あらゆる適切なコンピューティング・ネットワーク上で、あらゆる他の適切なコンピューティング・デバイスと有線で及び/又はワイヤレスに通信することを可能にするあらゆる適切なハードウェア及び/又はソフトウェアとし得る。コンピューティング・ネットワークは、インターネットを含め、2つ以上のコンピュータの間でデータを交換するためのワイヤレス・アクセス・ポイント、スイッチ、ルータ、ゲートウェイ、及び/又は他のネットワーク化機器、並びにあらゆる適切な有線及び/又は1つ若しくは複数のワイヤレス通信媒体を含む。コンピュータ可読媒体は、プロセッサが処理すべきデータ及び/又は実行すべき命令の記憶に適合し得る。プロセッサは、データの処理及び命令の実行を可能にする。データ及び命令は、コンピュータ可読記憶媒体上に記憶し得る。
コンピューティング・デバイスは、更に、入出力デバイスを含め、1つ又は複数の構成要素及び周辺機器を有し得る。これらのデバイスは、とりわけ、ユーザ・インターフェースを提示するために使用し得る。ユーザ・インターフェースを提供するために使用し得る出力デバイスの例は、出力を視覚的に提示するプリンタ又は表示画面、及び出力を可聴的に提示するスピーカ又は他の音生成デバイスを含む。ユーザ・インターフェースのために使用し得る入力デバイスの例は、キーボード、並びにマウス、タッチ・パッド及びデジタル化タブレット等のポインティング・デバイスを含む。別の例として、コンピューティング・デバイスは、音声認識を通じて又は他の可聴形式で入力情報を受信し得る。
技法が回路及び/又はコンピュータ実行可能命令内で実施される実施形態を説明してきた。いくつかの実施形態は、少なくとも1つの例が提供されている方法の形態とし得ることを了解されたい。方法の一部として実施される動作は、あらゆる適切な方法で順序を並べ替えてよい。したがって、動作が例示の順序とは異なる順序で実施される実施形態を構成でき、この実施形態は、例示的な実施形態では連続的な動作として示されるにもかかわらず一部の動作を同時に実施することを含み得る。
上記で説明した実施形態の様々な態様は、単独で、組み合わせて、又は上記の実施形態で具体的に説明されていない様々な構成で使用し得るため、その適用例では、上記の説明に示す又は図示する構成要素の詳細及び構成に限定されない。例えば、一実施形態に記載の態様は、任意の方法で他の実施形態に記載の態様と組み合わせることができる。
請求する要素を修飾するための特許請求の範囲における「第1」、「第2」、「第3」等の序数の使用は、それ自体、ある請求要素の他の請求要素に対する優先順位、先行順位若しくは順序、又は方法の動作が実施される時間順序を一切暗示するものではないが、特定の名称を有するある請求要素を(序数を使用するが)同じ名称を有する別の要素から区別するラベルとして使用し、請求要素を区別するものにすぎない。
また、本明細書で使用する言い回し及び用語は、説明の目的であり、限定とみなすべきではない。本明細書における「含む」、「備える」、「有する」、「含有する」、「伴う」及びこれらの変形体の使用は、その後に列挙した項目及びこれらの等価物並びに更なる項目を包含することを意味する。
単語「例示的」は、一例、事例又は実例の役割を果たすことを意味するように本明細書で使用される。したがって、本明細書で例示として説明するあらゆる実施形態、実装形態、工程、特徴等は、例示的な例と理解すべきであり、別段に規定されていない限り、好ましい又は有利な例として理解すべきではない。
このように少なくとも1つの実施形態のいくつかの態様を説明してきたが、様々な改変、修正及び改善は、当業者には容易に思い付くであろうことを了解されたい。そのような改変、修正及び改善は、本開示の一部であることが意図され、本明細書で説明する原理の趣旨及び範囲内にあることが意図される。したがって、上記の説明及び図面は、例にすぎない。
本願には種々の側面が記載され、限定される訳ではないが、以下の如き側面も含まれる。
1. 3次元(3D)点群の一部分に対して2次元(2D)外形を決定する、コンピュータ化された方法であって、前記方法は、
複数の3D点を含む3D点群を示すデータを受信することと、
前記3D点群における3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定することと、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定することと、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、前記3D点セットを2D点セットとして表すことと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化することと、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定することと、
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続することと
を含む、方法。
2. 前記第1の軸、前記第2の軸及び前記第3の軸を含む3D領域座標系を生成すること
を更に含み、前記3D領域座標系の起点は、前記3D領域の幅及び奥行きの中間に配置され、前記3D領域の高さは、前記起点で開始される、1.に記載の方法。
3. 前記3D点群の座標系からの点を前記3D領域座標系にマッピングすることを更に含む、2.に記載の方法。
4. 前記3D点セットを2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、1.~3.に記載の方法。
5. 前記3D点セットを2D点セットとして表すことは、前記3D点セットの前記第3の軸の各値をゼロに設定することを含む、4.に記載の方法。
6. 前記複数の2Dビンは、前記2D平面の前記第1の次元内に前記第1の軸に沿って並べて配置される、4.に記載の方法。
7. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、
前記複数の2Dビンのうち、1つ又は複数の2Dビンの2D点セットが閾値未満であることを決定することと、
前記1つ又は複数の2Dビンの前記2D点セットを空のセットに設定することと
を含む、1.~6.に記載の方法。
8. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、1.~7.に記載の方法。
9. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記表現2D位置として、前記第2の軸の最大値に関連する2D点セットの2D点を選択することを含む、1.~8.に記載の方法。
10. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、1.~9.に記載の方法。
11. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、空ではない2D点セットを有する前記複数の2Dビンの2Dビンに対してのみ前記表現2D位置を決定することを含む、1.~10.に記載の方法。
12. コンピューティング・デバイス上の1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに3次元(3D)点群の一部分に対して2次元(2D)外形を決定させるように動作可能な命令を含む非一時的コンピュータ可読媒体であって、前記命令は、
複数の3D点を含む3D点群を示すデータを受信することと、
前記3D点群において3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定することと、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定することと、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、前記3D点セットを2D点セットとして表すことと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化することと、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定することと、
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続することと
を含む、非一時的コンピュータ可読媒体。
13. 3D点セットを前記2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に前記3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、12.に記載の非一時的コンピュータ可読媒体。
14. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、12.~13.に記載の非一時的コンピュータ可読媒体。
15. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記表現2D位置として前記第2の軸の最大値に関連する2D点セットの2D点を選択することを含む、12.~14.に記載の非一時的コンピュータ可読媒体。
16. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、12.~15.に記載の非一時的コンピュータ可読媒体。
17. 命令を記憶するメモリと、命令を実行するように構成された少なくとも1つのプロセッサとを備えるシステムであって、前記命令は、
複数の3D点を含む3D点群を示すデータを受信すること、
前記3D点群において3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定すること、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定すること、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、2D点セットとして前記3D点セットを表すこと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化すること、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定すること、並びに
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続すること
を実施するためのものである、システム。
18. 前記3D点セットを2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に前記3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、17.に記載のシステム。
19. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、17.~18.に記載のシステム。
20. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、17.~19.に記載のシステム。
複数の3D点を含む3D点群を示すデータを受信することと、
前記3D点群における3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定することと、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定することと、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、前記3D点セットを2D点セットとして表すことと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化することと、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定することと、
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続することと
を含む、方法。
2. 前記第1の軸、前記第2の軸及び前記第3の軸を含む3D領域座標系を生成すること
を更に含み、前記3D領域座標系の起点は、前記3D領域の幅及び奥行きの中間に配置され、前記3D領域の高さは、前記起点で開始される、1.に記載の方法。
3. 前記3D点群の座標系からの点を前記3D領域座標系にマッピングすることを更に含む、2.に記載の方法。
4. 前記3D点セットを2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、1.~3.に記載の方法。
5. 前記3D点セットを2D点セットとして表すことは、前記3D点セットの前記第3の軸の各値をゼロに設定することを含む、4.に記載の方法。
6. 前記複数の2Dビンは、前記2D平面の前記第1の次元内に前記第1の軸に沿って並べて配置される、4.に記載の方法。
7. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、
前記複数の2Dビンのうち、1つ又は複数の2Dビンの2D点セットが閾値未満であることを決定することと、
前記1つ又は複数の2Dビンの前記2D点セットを空のセットに設定することと
を含む、1.~6.に記載の方法。
8. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、1.~7.に記載の方法。
9. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記表現2D位置として、前記第2の軸の最大値に関連する2D点セットの2D点を選択することを含む、1.~8.に記載の方法。
10. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、1.~9.に記載の方法。
11. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、空ではない2D点セットを有する前記複数の2Dビンの2Dビンに対してのみ前記表現2D位置を決定することを含む、1.~10.に記載の方法。
12. コンピューティング・デバイス上の1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに3次元(3D)点群の一部分に対して2次元(2D)外形を決定させるように動作可能な命令を含む非一時的コンピュータ可読媒体であって、前記命令は、
複数の3D点を含む3D点群を示すデータを受信することと、
前記3D点群において3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定することと、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定することと、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、前記3D点セットを2D点セットとして表すことと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化することと、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定することと、
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続することと
を含む、非一時的コンピュータ可読媒体。
13. 3D点セットを前記2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に前記3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、12.に記載の非一時的コンピュータ可読媒体。
14. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、12.~13.に記載の非一時的コンピュータ可読媒体。
15. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記表現2D位置として前記第2の軸の最大値に関連する2D点セットの2D点を選択することを含む、12.~14.に記載の非一時的コンピュータ可読媒体。
16. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、12.~15.に記載の非一時的コンピュータ可読媒体。
17. 命令を記憶するメモリと、命令を実行するように構成された少なくとも1つのプロセッサとを備えるシステムであって、前記命令は、
複数の3D点を含む3D点群を示すデータを受信すること、
前記3D点群において3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定すること、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定すること、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、2D点セットとして前記3D点セットを表すこと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化すること、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定すること、並びに
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続すること
を実施するためのものである、システム。
18. 前記3D点セットを2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に前記3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、17.に記載のシステム。
19. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、17.~18.に記載のシステム。
20. 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、17.~19.に記載のシステム。
Claims (20)
- 3次元(3D)点群の一部分に対して2次元(2D)外形を決定する、コンピュータ化された方法であって、前記方法は、
複数の3D点を含む3D点群を示すデータを受信することと、
前記3D点群における3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定することと、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定することと、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、前記3D点セットを2D点セットとして表すことと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化することと、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定することと、
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続することと
を含む、方法。 - 前記第1の軸、前記第2の軸及び前記第3の軸を含む3D領域座標系を生成すること
を更に含み、前記3D領域座標系の起点は、前記3D領域の幅及び奥行きの中間に配置され、前記3D領域の高さは、前記起点で開始される、請求項1に記載の方法。 - 前記3D点群の座標系からの点を前記3D領域座標系にマッピングすることを更に含む、請求項2に記載の方法。
- 前記3D点セットを2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、請求項1に記載の方法。
- 前記3D点セットを2D点セットとして表すことは、前記3D点セットの前記第3の軸の各値をゼロに設定することを含む、請求項4に記載の方法。
- 前記複数の2Dビンは、前記2D平面の前記第1の次元内に前記第1の軸に沿って並べて配置される、請求項4に記載の方法。
- 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、
前記複数の2Dビンのうち、1つ又は複数の2Dビンの2D点セットが閾値未満であることを決定することと、
前記1つ又は複数の2Dビンの前記2D点セットを空のセットに設定することと
を含む、請求項1に記載の方法。 - 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、請求項1に記載の方法。
- 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記表現2D位置として、前記第2の軸の最大値に関連する2D点セットの2D点を選択することを含む、請求項1に記載の方法。
- 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、請求項1に記載の方法。 - 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、空ではない2D点セットを有する前記複数の2Dビンの2Dビンに対してのみ前記表現2D位置を決定することを含む、請求項1に記載の方法。
- コンピューティング・デバイス上の1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに3次元(3D)点群の一部分に対して2次元(2D)外形を決定させるように動作可能な命令を含む非一時的コンピュータ可読媒体であって、前記命令は、
複数の3D点を含む3D点群を示すデータを受信することと、
前記3D点群において3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定することと、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定することと、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、前記3D点セットを2D点セットとして表すことと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化することと、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定することと、
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続することと
を含む、非一時的コンピュータ可読媒体。 - 3D点セットを前記2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に前記3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、請求項12に記載の非一時的コンピュータ可読媒体。
- 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、請求項12に記載の非一時的コンピュータ可読媒体。
- 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記表現2D位置として前記第2の軸の最大値に関連する2D点セットの2D点を選択することを含む、請求項12に記載の非一時的コンピュータ可読媒体。
- 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、請求項12に記載の非一時的コンピュータ可読媒体。 - 命令を記憶するメモリと、命令を実行するように構成された少なくとも1つのプロセッサとを備えるシステムであって、前記命令は、
複数の3D点を含む3D点群を示すデータを受信すること、
前記3D点群において3D注目領域を決定することであって、前記3D注目領域は、第1の軸に沿った幅、第2の軸に沿った高さ及び第3の軸に沿った奥行きを含む、決定すること、
それぞれが前記3D注目領域内に3D位置を含む前記複数の3D点の3D点セットを決定すること、
前記3D点セットの前記第1の軸及び前記第2の軸の座標値に基づき、2D点セットとして前記3D点セットを表すこと、
前記2D点セットを、前記第1の軸に沿って配置される複数の2Dビンにグループ化することであって、各2Dビンは、あるビン幅を含む、グループ化すること、
前記複数の2Dビンのそれぞれに対して、関連する2D点セットに基づき表現2D位置を決定すること、並びに
前記2D外形を生成するため、前記表現2D位置のそれぞれを、隣接する表現2D位置に接続すること
を実施するためのものである、システム。 - 前記3D点セットを2D点セットとして表すことは、前記幅に等しい第1の次元及び前記高さに等しい第2の次元を含む2D平面内に前記3D点を表すことを含み、前記第1の次元は、前記第1の軸に沿って延在し、前記第2の次元は、前記第2の軸に沿って延在する、請求項17に記載のシステム。
- 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、前記各ビンの前記2D点セットの平均を決定することを含む、請求項17に記載のシステム。
- 前記複数の2Dビンのそれぞれに対して表現2D位置を決定することは、各2Dビンに対して、
前記2D点セットを1つ又は複数の2D点クラスタにグループ化することであって、各前記2D点クラスタの第2の軸の値の間の距離は、分離閾値内にあり、異なる2D点クラスタの第2の軸の値の間の距離は、前記分離閾値より大きい、グループ化することと、
1つ又は複数のクラスタの残りのセットを生成するため、2D点の閾値最小数未満のあらゆるクラスタを除去することと、
前記1つ又は複数の残りのどのクラスタが、前記第2の軸に沿った最大座標を有する2D点を含むかを決定することを含む、前記1つ又は複数の残りのクラスタの最大クラスタを決定することと、
前記表現2D位置を決定するため、前記最大クラスタの2D点を平均化することと
を含む、請求項17に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063023179P | 2020-05-11 | 2020-05-11 | |
US63/023,179 | 2020-05-11 | ||
PCT/US2021/031503 WO2021231254A1 (en) | 2020-05-11 | 2021-05-10 | Methods and apparatus for extracting profiles from three-dimensional images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023525534A true JP2023525534A (ja) | 2023-06-16 |
Family
ID=76217920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022568617A Pending JP2023525534A (ja) | 2020-05-11 | 2021-05-10 | 3次元画像から外形を抽出する方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11893744B2 (ja) |
JP (1) | JP2023525534A (ja) |
KR (1) | KR20230050268A (ja) |
CN (1) | CN116830155A (ja) |
DE (1) | DE112021002696T5 (ja) |
WO (1) | WO2021231254A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116704125B (zh) * | 2023-06-02 | 2024-05-17 | 深圳市宗匠科技有限公司 | 一种基于三维点云的映射方法、装置、芯片及模组设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69013790T2 (de) * | 1989-08-04 | 1995-05-04 | Canon Kk | Verfahren und Vorrichtung zur Positionsbestimmung. |
US6992773B1 (en) * | 1999-08-30 | 2006-01-31 | Advanced Micro Devices, Inc. | Dual-differential interferometry for silicon device damage detection |
JP2004062980A (ja) * | 2002-07-29 | 2004-02-26 | Toyota Gakuen | 磁性合金、磁気記録媒体、および磁気記録再生装置 |
US20090232388A1 (en) * | 2008-03-12 | 2009-09-17 | Harris Corporation | Registration of 3d point cloud data by creation of filtered density images |
US20110310088A1 (en) * | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Personalized navigation through virtual 3d environments |
TWI528329B (zh) * | 2011-11-01 | 2016-04-01 | 鴻海精密工業股份有限公司 | 產品輪廓影像分析系統及方法 |
US8670591B2 (en) * | 2012-03-01 | 2014-03-11 | Exelis, Inc. | Foliage penetration based on 4D LIDAR datasets |
EP2674913B1 (en) * | 2012-06-14 | 2014-07-23 | Softkinetic Software | Three-dimensional object modelling fitting & tracking. |
WO2014020529A1 (en) * | 2012-08-02 | 2014-02-06 | Earthmine, Inc. | Three-dimensional plane panorama creation through hough-based line detection |
US9536339B1 (en) * | 2013-06-13 | 2017-01-03 | Amazon Technologies, Inc. | Processing unordered point cloud |
WO2015039239A1 (en) * | 2013-09-17 | 2015-03-26 | Société Des Arts Technologiques | Method, system and apparatus for capture-based immersive telepresence in virtual environment |
US11340345B2 (en) * | 2015-07-17 | 2022-05-24 | Origin Wireless, Inc. | Method, apparatus, and system for wireless object tracking |
US10699444B2 (en) * | 2017-11-22 | 2020-06-30 | Apple Inc | Point cloud occupancy map compression |
TWI651686B (zh) * | 2017-11-30 | 2019-02-21 | 國家中山科學研究院 | 一種光學雷達行人偵測方法 |
GB2569654B (en) * | 2017-12-22 | 2022-09-07 | Sportlight Tech Ltd | Apparatusses, systems and methods for object tracking |
US11151734B2 (en) * | 2018-09-14 | 2021-10-19 | Huawei Technologies Co., Ltd. | Method and system for generating synthetic point cloud data using a generative model |
US20200191971A1 (en) * | 2018-12-17 | 2020-06-18 | National Chung-Shan Institute Of Science And Technology | Method and System for Vehicle Detection Using LIDAR |
US11532168B2 (en) * | 2019-11-15 | 2022-12-20 | Nvidia Corporation | Multi-view deep neural network for LiDAR perception |
US11030763B1 (en) * | 2019-12-06 | 2021-06-08 | Mashgin Inc. | System and method for identifying items |
CN115039129A (zh) * | 2019-12-11 | 2022-09-09 | 辉达公司 | 用于自主机器应用的表面轮廓估计和隆起检测 |
-
2021
- 2021-05-10 DE DE112021002696.8T patent/DE112021002696T5/de active Pending
- 2021-05-10 CN CN202180061446.3A patent/CN116830155A/zh active Pending
- 2021-05-10 US US17/316,417 patent/US11893744B2/en active Active
- 2021-05-10 KR KR1020227043349A patent/KR20230050268A/ko unknown
- 2021-05-10 WO PCT/US2021/031503 patent/WO2021231254A1/en active Application Filing
- 2021-05-10 JP JP2022568617A patent/JP2023525534A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230050268A (ko) | 2023-04-14 |
DE112021002696T5 (de) | 2023-02-23 |
CN116830155A (zh) | 2023-09-29 |
WO2021231254A1 (en) | 2021-11-18 |
US20210350615A1 (en) | 2021-11-11 |
US11893744B2 (en) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6659336B2 (ja) | 3dモデル化オブジェクトのテクスチャリング | |
KR102171231B1 (ko) | 적외선과 컬러 컴포넌트 데이터 포인트 클라우드들의 믹싱 | |
WO2019160032A1 (ja) | 3次元計測システム及び3次元計測方法 | |
JP2016502704A (ja) | 奥行きアーチファクトを除去するための画像処理方法および装置 | |
US20210350115A1 (en) | Methods and apparatus for identifying surface features in three-dimensional images | |
TW201616449A (zh) | 點雲網格精細化系統及方法 | |
WO2019167453A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
KR20190059092A (ko) | 객체의 3차원 정보 복원 방법 및 장치 | |
CN111316330A (zh) | 用于对点云进行上采样的方法和装置 | |
TW201436552A (zh) | 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置 | |
JP2023525534A (ja) | 3次元画像から外形を抽出する方法及び装置 | |
US11816857B2 (en) | Methods and apparatus for generating point cloud histograms | |
Kim et al. | Depth video enhancement for haptic interaction using a smooth surface reconstruction | |
CN111295694A (zh) | 点云的孔洞填充的方法和设备 | |
JP2022064506A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN116420167A (zh) | 用于确定3d图像的体积的方法和装置 | |
KR20130101332A (ko) | 삼각형 메쉬로 표현된 3차원 물체를 DoSurface 표현 방법으로 변환하는 시스템 및 그 방법 | |
KR101827847B1 (ko) | 삼차원 영상 복원 장치 및 삼차원 영상 복원 방법 | |
JP5620741B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN113939852A (zh) | 物体识别装置以及物体识别方法 | |
US11763462B2 (en) | Mesh hole area detection | |
Beyer et al. | ILATO Project: Fusion of Optical Surface Models and Volumetric CT Data | |
JP2023104131A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Bajcsy et al. | Data acquisition and representation of mechanical parts and interfaces to manufacturing devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240509 |