JP7224604B2 - 車両検査システムとその方法 - Google Patents
車両検査システムとその方法 Download PDFInfo
- Publication number
- JP7224604B2 JP7224604B2 JP2021501140A JP2021501140A JP7224604B2 JP 7224604 B2 JP7224604 B2 JP 7224604B2 JP 2021501140 A JP2021501140 A JP 2021501140A JP 2021501140 A JP2021501140 A JP 2021501140A JP 7224604 B2 JP7224604 B2 JP 7224604B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- images
- sets
- points
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 81
- 238000000034 method Methods 0.000 title claims description 63
- 238000003384 imaging method Methods 0.000 claims description 92
- 239000002131 composite material Substances 0.000 claims description 41
- 230000033001 locomotion Effects 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
(i)それぞれの時点において、それぞれの区画の各表面点は、前記撮像装置のセットのうちの少なくとも2つの撮像装置によってキャプチャされ得る。
(ii)前記生成するステップは、画像のセットの各画像から車両を特徴付ける特徴を抽出するステップと;
(iii)セット内の異なる画像から抽出された特徴間で特徴相関マッチングを実行して、マッチした特徴を取得するステップと;マッチした特徴を三角測量して、マッチした特徴を表す3D点を取得するステップとを含み、これらの3D点が3Dパッチを構成する、ステップを含む。
(iv)この方法はさらに、前記所定の領域の境界、深さ平滑化アルゴリズム、連結成分分析、および前景・背景分類、のフィルタリングメカニズムの1つまたは複数に基づいて、前記3Dパッチから外れ値をフィルタリングするステップを含む。
(v)前記推定するステップは、前記複数の画像のセットのそれぞれから車両を特徴付ける特徴を抽出するステップと;2つの対応する時点における重なり合いキャプチャされた重複部分をカバーする2つの画像のセットの各選択されたペア間の局所3D変換を推定するステップであって、この推定は、抽出された特徴から選択された相互特徴の追跡に基づいて実行される、局所3D変換を推定するステップと;前記複数の時点の間に前記局所3D変換を3D変換に集約するステップとを含み得る。
(vi)前記局所3D変換を推定するステップは、2つの対応する時点において重複しキャプチャされた重複部分をカバーする2つの画像のセットの選択されたペアごとに:前記2つセットのうちの各セット内の異なる画像から、且つ前記2つのセットからの対応する画像間で抽出された特徴間の特徴相関マッチングを実行し、マッチした特徴のそれぞれのセットを取得するステップと;マッチした特徴のそれぞれのセットの中から相互特徴を選択するステップと;画像の各セット内の相互特徴を三角測量し、前記2つのセットの画像内の相互特徴を表す3D特徴セットのペアを生成するステップと;前記3D特徴セットのペア間の動きを追跡することにより、前記2つのセットの画像間の局所3D変換を推定するステップとを含み得る。
(vii)。この方法は、前記複合3D点群に基づいて車両の表面を表す3Dメッシュを生成するステップをさらに含み、前記3Dメッシュは、前記複合3D点群内の隣接する点の各グループに対して局所表面をフィッティングすることによって生成される。
(viii)この方法は、表面関数を使用して前記複合3D点群をフィルタリングするステップをさらに含み、ここで前記3Dメッシュは、フィルタリングされた複合3D点群に基づいて生成される。
(ix)この方法はさらに、前記3D変換に基づいて複数の時点での撮像装置のセットの仮想位置を推定するステップであって、前記仮想位置は、前記複数の時点での相対移動に従って前記撮像装置の調整された位置を表す、ステップと;車両の色情報を前記3Dメッシュ上に投影するステップであって、前記色情報は、複数の画像のセットおよび撮像装置のセットの仮想位置に基づいて決定され、車両の3Dモデルを生じさせる、ステップとを含み得る。
(x)この方法はさらに、車両の3Dモデルを使用して車両の1つまたは複数の仮想ビューをレンダリングするステップを含むことができ、ここで、3Dメッシュおよび/または3Dモデルおよび/または1つまたは複数の仮想ビューを、車両の表面上の異常を識別するのに利用可能である。
(xi)前記システムは、検査通路の少なくとも片側に配置された少なくとも1つのポールを含む支持構造に取り付けられた撮像装置のセットをさらに具え得る。
(xii)前記システムはさらに、支持構造を具え得る。撮像装置のセットは、異なる高さで支持構造に取り付けることができ、それぞれの時点で、それぞれの区画の各表面点が、前記撮像装置のセットのうちの少なくとも2つの撮像装置によってキャプチャされ得るように配向することができる。
(xiii)2つの隣接する撮像装置と車両の間の角度は60度未満にすることができる。
(xiv)前記所定の領域は、車両の寸法に従って決定することができる。
(xv)セット内の撮像装置の数は、所定の精度要件に従って決定することができる。
(xvi)複数の撮像装置のセットを前記支持構造に取り付けることができ、各セットはそれぞれの方向を向き、前記撮像装置のセットの数および/または各セット内の撮像装置の数は、所定の精度要件に従って決定することができる。
(xvii)前記システムはさらに、前記検査通路の地下に埋め込まれ、車両が通過するときに車両の足回りの1つまたは複数の画像をキャプチャするように構成された足回り検査ユニットをさらに具え得る。
(xviii)前記システムはさらに、前記所定の領域をカバーする照明を提供するために、検査通路の少なくとも片側に配置された1つまたは複数の照明ユニットをさらに具え得る。
(xix)前記車両は移動車両であり、前記支持構造は、車両が支持構造に対して検査通路上を移動するように地面に取り付けることができる。
(xx)前記車両は静止車両であり、前記支持構造は、車両に対して移動するように可動プラットフォームに取り付けることができる。
このように、色情報を含む車両の3Dモデルを作成することができる(714)。
Claims (27)
- コンピュータに実装された車両検査の方法において、
コンピュータのプロセッサおよびメモリ回路(PMC)により実行される以下のステップであって:
複数の撮像装置のセットから、車両の表面の複数の区画をキャプチャした複数の画像の複数のセットを取得するステップであって、前記複数の撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野(FOV)をカバーするように配向されており、前記複数の画像の複数のセットは、車両と複数の撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、i)複数の画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ii)前記複数の画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも複数の画像の2つのセットの中に少なくとも2つの時点でキャプチャされるように部分的に重なっており、前記少なくとも2つの画像のセット内にキャプチャされた所与の表面点は、前記2つの時点における前記所与の表面点と前記複数の撮像装置のセットとの間の異なる相対位置に係る異なる照明条件の下でキャプチャされたものである、ステップと;
所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした複数の画像のセットを使用して3Dパッチを生成するステップであって、当該3Dパッチは、対応する区画内の対応する表面点を表す3D点の点群を含み、複数の時点および複数の区画に対応する複数の3Dパッチを生成する、ステップと;
前記複数の時点における複数の撮像装置のセットと車両との間の相対移動に基づいて、複数の3Dパッチの3D変換を推定するステップと;
推定された3D変換を使用して複数の3Dパッチの見当合わせを行い、それにより車両の複合3D点群を生成するステップとを含み、前記複合3D点群は、前記複数の画像の複数のセットの少なくとも一部に含まれる光反射がそこから除去された車両の3Dメッシュおよび/または3Dモデルを再構築するために使用可能であり、前記3Dメッシュおよび/または3Dモデルは車両検査に使用可能であり、
前記推定するステップが、
前記複数の画像の複数のセットのそれぞれから車両を特徴付ける特徴を抽出するステップと;
2つの対応する時点において重なり合いキャプチャされた複数の画像の2つのセットの各選択されたペア間の局所3D変換を推定するステップであって、
前記複数の画像の2つのセットの各セット内の異なる画像から、且つ前記2つのセットからの対応する画像間で抽出された特徴間の特徴マッチングを実行し、マッチした特徴のそれぞれのセットを取得するステップと;
マッチした特徴のそれぞれのセットの中から相互特徴を選択するステップと;
複数の画像の各セット内の相互特徴を三角測量し、前記複数の画像の2つのセット内の相互特徴を表す3D特徴セットのペアを生成するステップと;
前記3D特徴セットのペア間の動きを追跡することにより、前記複数の画像の2つのセット間の局所3D変換を推定するステップとを含む、ステップと、
前記複数の時点の間に前記局所3D変換を3D変換に集約するステップとを含む、方法。 - 請求項1のコンピュータに実装された方法において、前記i)で、それぞれの時点において、それぞれの区画の各表面点は、前記複数の撮像装置のセットのうちの少なくとも2つの撮像装置によってキャプチャされる、方法。
- 請求項1のコンピュータに実装された方法において、前記生成するステップは、
複数の画像のセットの各画像から車両を特徴付ける特徴を抽出するステップと;
セット内の異なる画像から抽出された特徴間で特徴マッチングを実行して、マッチした特徴を取得するステップと;
前記マッチした特徴を三角測量して、前記マッチした特徴を表す3D点を取得するステップとを含み、これらの3D点が3Dパッチを構成する、方法。 - 請求項3のコンピュータに実装された方法において、さらに、前記所定の領域の境界、深さ平滑化アルゴリズム、連結成分分析、および前景・背景分類、のフィルタリングメカニズムの1つまたは複数に基づいて、前記3Dパッチから外れ値をフィルタリングするステップを含む、方法。
- 請求項1のコンピュータに実装された方法において、前記複合3D点群に基づいて車両の表面を表す3Dメッシュを生成するステップをさらに含み、前記3Dメッシュは、前記複合3D点群内の隣接する点の各グループに対して局所表面をフィッティングすることによって生成される、方法。
- 請求項5のコンピュータに実装された方法において、
表面関数を使用して前記複合3D点群をフィルタリングするステップをさらに含み、ここで前記3Dメッシュは、フィルタリングされた複合3D点群に基づいて生成される、方法。 - 請求項5のコンピュータに実装された方法において、さらに、
前記3D変換に基づいて複数の時点での複数の撮像装置のセットの仮想位置を推定するステップであって、前記仮想位置は、前記複数の時点での相対移動に従って前記撮像装置の調整された位置を表す、ステップと;
車両の色情報を前記3Dメッシュに投影するステップであって、前記色情報は、複数の画像の複数のセットおよび前記複数の撮像装置のセットの仮想位置に基づいて決定され、車両の3Dモデルを生成する、ステップとを含む、方法。 - 請求項7のコンピュータに実装された方法において、さらに、前記車両の3Dモデルを使用して車両の1つまたは複数の仮想ビューをレンダリングするステップを含み、前記3Dメッシュおよび/または3Dモデルおよび/または1つまたは複数の仮想ビューは、前記車両の表面上の異常を同定するのに利用可能である、方法。
- コンピュータに実装された車両検査システムにおいて、当該システムのプロセッサおよびメモリ回路(PMC)は、
複数の撮像装置のセットから、車両の表面の複数の区画をキャプチャした複数の画像の複数のセットを取得し、ここで前記複数の撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野(FOV)をカバーするように配向されており、前記複数の画像の複数のセットは、車両と複数の撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、i)複数の画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ii)前記複数の画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも複数の画像の2つのセットの中に少なくとも2つの時点でキャプチャされるように部分的に重なっており、前記複数の画像の少なくとも2つのセット内にキャプチャされた所与の表面点は、前記2つの時点における前記所与の表面点と前記複数の撮像装置のセットとの間の異なる相対位置に係る異なる照明条件下でキャプチャされたものであり;
所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした複数の画像のセットを使用して3Dパッチを生成し、当該3Dパッチは対応する区画内の対応する表面点を表す3D点の点群を含み、複数の時点および複数の区画に対応する複数の3Dパッチを生成し;
前記複数の時点における複数の撮像装置のセットと車両との間の相対移動に基づいて、複数の3Dパッチの3D変換を推定し;
推定された3D変換を使用して複数の3Dパッチの見当合わせを行い、それにより車両の複合3D点群を生成し、前記複合3D点群は、前記複数の画像の複数のセットの少なくとも一部に含まれる光反射がそこから除去された車両の3Dメッシュおよび/または3Dモデルを再構築するために使用可能であり、前記3Dメッシュおよび/または3Dモデルは車両検査に使用可能である、ように構成されており、
前記PMCは、
前記複数の画像の複数のセットのそれぞれから車両を特徴付ける特徴を抽出し;
2つの対応する時点において重なり合いキャプチャされた複数の画像の2つのセットの各選択されたペア間の局所3D変換を推定することであって、
前記複数の画像の2つのセットの各セット内の異なる画像から、且つ前記2つのセットからの対応する画像間で抽出された特徴間の特徴マッチングを実行し、マッチした特徴のそれぞれのセットを取得し;
マッチした特徴のそれぞれのセットの中から相互特徴を選択し;
複数の画像の各セット内の相互特徴を三角測量し、前記複数の画像の2つのセット内の相互特徴を表す3D特徴セットのペアを生成し;
前記3D特徴セットのペア間の動きを追跡することにより、前記複数の画像の2つのセット間の局所3D変換を推定することで、局所3D変換を推定し、
前記複数の時点の間に前記局所3D変換を3D変換に集約することにより、前記3D変換を推定するように構成されている、システム。 - 請求項9のコンピュータに実装された車両検査システムにおいて、前記i)で、それぞれの時点において、それぞれの区画の各表面点は、前記複数の撮像装置のセットのうちの少なくとも2つの撮像装置によってキャプチャされる、システム。
- 請求項9のコンピュータに実装された車両検査システムにおいて、前記PMCは、
複数の画像のセットの各画像から車両を特徴付ける特徴を抽出するステップと;
セット内の異なる画像から抽出された特徴間で特徴マッチングを実行して、マッチした特徴を取得するステップと;
前記マッチした特徴を三角測量して、前記マッチした特徴を表す3D点を取得するステップとによって3Dパッチを生成し、前記3D点が3Dパッチを構成する、システム。 - 請求項11のコンピュータに実装された車両検査システムにおいて、前記PMCがさらに、前記所定の領域の境界、深さ平滑化アルゴリズム、連結成分分析、および前景・背景分類、のフィルタリングメカニズムの1つまたは複数に基づいて、前記3Dパッチから外れ値をフィルタリングするように構成されている、システム。
- 請求項9のコンピュータに実装された車両検査システムにおいて、前記PMCがさらに、前記複合3D点群に基づいて車両の表面を表す3Dメッシュを生成するように構成されており、前記3Dメッシュは、前記複合3D点群内の隣接する点の各グループに対して局所表面をフィッティングすることによって生成される、システム。
- 請求項13のコンピュータに実装された車両検査システムにおいて、前記PMCはさらに、表面関数を使用して前記複合3D点群をフィルタリングするように構成されており、ここで前記3Dメッシュは、フィルタリングされた複合3D点群に基づいて生成される、システム。
- 請求項13のコンピュータに実装された車両検査システムにおいて、前記PMCがさらに、
前記3D変換に基づいて複数の時点での複数の撮像装置のセットの仮想位置を推定し、前記仮想位置は、前記複数の時点での相対移動に従って前記撮像装置の調整された位置を表し;
車両の色情報を前記3Dメッシュに投影し、前記色情報は、複数の画像の複数のセットおよび前記複数の撮像装置のセットの仮想位置に基づいて決定され、車両の3Dモデルを生成する、ように構成されている、システム。 - 請求項15のコンピュータに実装された車両検査システムにおいて、前記PMCがさらに、前記車両の3Dモデルを使用して車両の1つまたは複数の仮想ビューをレンダリングするように構成されており、前記3Dメッシュおよび/または3Dモデルおよび/または1つまたは複数の仮想ビューは、前記車両の表面上の異常を同定するのに利用可能である、システム。
- 請求項9のコンピュータに実装された車両検査システムにおいて、検査通路の少なくとも片側に配置された少なくとも1つのポールを含む支持構造に取り付けられた複数の撮像装置のセットをさらに具える、システム。
- 請求項17のコンピュータに実装された車両検査システムにおいて、さらに、前記支持構造を具え、前記複数の撮像装置のセットは、異なる高さで前記支持構造に取り付けられ、それぞれの時点で、それぞれの区画の各表面点が、前記複数の撮像装置のセットのうちの少なくとも2つの撮像装置によってキャプチャされるように配向されている、システム。
- 請求項18のコンピュータに実装された車両検査システムにおいて、2つの隣接する撮像装置と車両の間の角度は60度未満である、システム。
- 請求項9のコンピュータに実装された車両検査システムにおいて、前記所定の領域は、車両の寸法に従って決定される、システム。
- 請求項9のコンピュータに実装された車両検査システムにおいて、前記セット内の撮像装置の数は、所定の精度要件に従って決定される、システム。
- 請求項9のコンピュータに実装された車両検査システムにおいて、複数の撮像装置の複数のセットが支持構造に取り付けられており、各セットはそれぞれの方向を向き、前記複数の撮像装置のセットの数および/または各セット内の撮像装置の数は、所定の精度要件に従って決定される、システム。
- 請求項9のコンピュータに実装された車両検査システムにおいて、さらに、前記検査通路の地下に埋め込まれ、車両が通過するときに車両の足回りの1つまたは複数の画像をキャプチャするように構成された足回り検査ユニットをさらに具える、システム。
- 請求項9のコンピュータに実装された車両検査システムにおいて、さらに、前記所定の領域をカバーする照明を提供するために、前記検査通路の少なくとも片側に配置された1つまたは複数の照明ユニットを具える、システム。
- 請求項17のコンピュータに実装された車両検査システムにおいて、前記車両は移動する車両であり、前記支持構造は地面に取り付けられ、前記車両が前記支持構造に対して検査通路上を移動する、システム。
- 請求項17のコンピュータに実装された車両検査システムにおいて、前記車両は静止した車両であり、前記支持構造は、車両に対して移動するように可動プラットフォームに取り付けられる、システム。
- コンピュータに実行されたときに、車両検査方法を前記コンピュータに実行させる命令を含む非一時的なコンピュータ可読記憶媒体であって、この方法が、
複数の撮像装置のセットから、車両の表面の複数の区画をキャプチャした複数の画像の複数のセットを取得するステップであって、前記複数の撮像装置のセットは、車両が通過する検査通路の少なくとも片側に配置され、所定の領域に対応する視野(FOV)をカバーするように配向されており、前記複数の画像の複数のセットは、車両と複数の撮像装置のセットとの間の相対移動中に複数の時点でキャプチャされ、i)複数の画像の各セットは、それぞれの時点で前記所定の領域内に入るそれぞれの区画をキャプチャし、ii)前記複数の画像の複数のセットでキャプチャされた複数の区画は、これらの複数の区画の少なくともいくつかの所与の表面点がそれぞれ、少なくとも複数の画像の2つのセットの中に少なくとも2つの時点でキャプチャされるように部分的に重なっており、前記少なくとも2つの画像のセット内にキャプチャされた所与の表面点は、前記2つの時点における前記所与の表面点と前記複数の撮像装置のセットとの間の異なる相対位置に係る異なる照明条件の下でキャプチャされたものである、ステップと;
所与の時点ごとに、当該所与の時点で対応する区画をキャプチャした複数の画像のセットを使用して3Dパッチを生成するステップであって、当該3Dパッチは、対応する区画内の対応する表面点を表す3D点の点群を含み、複数の時点および複数の区画に対応する複数の3Dパッチを生成する、ステップと;
前記複数の時点における複数の撮像装置のセットと車両との間の相対移動に基づいて、複数の3Dパッチの3D変換を推定するステップと;
推定された3D変換を使用して複数の3Dパッチの見当合わせを行い、それにより車両の複合3D点群を生成するステップとを含み、前記複合3D点群は、前記複数の画像の複数のセットの少なくとも一部に含まれる光反射がそこから除去された車両の3Dメッシュおよび/または3Dモデルを再構築するために使用可能であり、前記3Dメッシュおよび/または3Dモデルは車両検査に使用可能であり、
前記推定するステップが、
前記複数の画像の複数のセットのそれぞれから車両を特徴付ける特徴を抽出するステップと;
2つの対応する時点において重なり合いキャプチャされた複数の画像の2つのセットの各選択されたペア間の局所3D変換を推定するステップであって、
前記複数の画像の2つのセットの各セット内の異なる画像から、且つ前記2つのセットからの対応する画像間で抽出された特徴間の特徴マッチングを実行し、マッチした特徴のそれぞれのセットを取得するステップと;
マッチした特徴のそれぞれのセットの中から相互特徴を選択するステップと;
複数の画像の各セット内の相互特徴を三角測量し、前記複数の画像の2つのセット内の相互特徴を表す3D特徴セットのペアを生成するステップと;
前記3D特徴セットのペア間の動きを追跡することにより、前記複数の画像の2つのセット間の局所3D変換を推定するステップとを含む、ステップと、
前記複数の時点の間に前記局所3D変換を3D変換に集約するステップとを含む方法である、コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862649594P | 2018-03-29 | 2018-03-29 | |
US62/649,594 | 2018-03-29 | ||
PCT/IL2019/050342 WO2019186545A1 (en) | 2018-03-29 | 2019-03-26 | System of vehicle inspection and method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021520008A JP2021520008A (ja) | 2021-08-12 |
JPWO2019186545A5 JPWO2019186545A5 (ja) | 2022-03-31 |
JP7224604B2 true JP7224604B2 (ja) | 2023-02-20 |
Family
ID=68057958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501140A Active JP7224604B2 (ja) | 2018-03-29 | 2019-03-26 | 車両検査システムとその方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11301981B2 (ja) |
EP (1) | EP3776465B1 (ja) |
JP (1) | JP7224604B2 (ja) |
KR (1) | KR102487842B1 (ja) |
WO (1) | WO2019186545A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11783443B2 (en) | 2019-01-22 | 2023-10-10 | Fyusion, Inc. | Extraction of standardized images from a single view or multi-view capture |
US10887582B2 (en) | 2019-01-22 | 2021-01-05 | Fyusion, Inc. | Object damage aggregation |
US11176704B2 (en) | 2019-01-22 | 2021-11-16 | Fyusion, Inc. | Object pose estimation in visual data |
US10964109B1 (en) * | 2019-10-23 | 2021-03-30 | Lenflash.Com, Corp. | Method for creating an exact digital replica of a vehicle |
DE102019132289A1 (de) * | 2019-11-28 | 2021-06-02 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Kalibrierung eines Trainingssystems |
US11776142B2 (en) | 2020-01-16 | 2023-10-03 | Fyusion, Inc. | Structuring visual data |
US11562474B2 (en) | 2020-01-16 | 2023-01-24 | Fyusion, Inc. | Mobile multi-camera multi-view capture |
US11605151B2 (en) * | 2021-03-02 | 2023-03-14 | Fyusion, Inc. | Vehicle undercarriage imaging |
DE102022002668A1 (de) | 2022-07-21 | 2024-02-01 | TWlNNER GmbH | Fahrzeugoberflächenanalysevorrichtung und Verfahren zur Fahrzeugoberflächenanalyse |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008292365A (ja) | 2007-05-25 | 2008-12-04 | Toyota Motor Corp | 形状評価方法、形状評価装置および三次元検査装置 |
US20180031364A1 (en) | 2016-07-28 | 2018-02-01 | Liberty Reach Inc. | Method and system for measuring outermost dimension of a vehicle positioned at an inspection station |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180211373A1 (en) * | 2017-01-20 | 2018-07-26 | Aquifi, Inc. | Systems and methods for defect detection |
US11341723B2 (en) * | 2018-02-23 | 2022-05-24 | Sony Group Corporation | Methods, devices, and computer program products for improved mesh generation in constructed 3D images |
-
2019
- 2019-03-26 KR KR1020207029250A patent/KR102487842B1/ko active IP Right Grant
- 2019-03-26 EP EP19777557.0A patent/EP3776465B1/en active Active
- 2019-03-26 US US17/041,586 patent/US11301981B2/en active Active
- 2019-03-26 WO PCT/IL2019/050342 patent/WO2019186545A1/en active Search and Examination
- 2019-03-26 JP JP2021501140A patent/JP7224604B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008292365A (ja) | 2007-05-25 | 2008-12-04 | Toyota Motor Corp | 形状評価方法、形状評価装置および三次元検査装置 |
US20180031364A1 (en) | 2016-07-28 | 2018-02-01 | Liberty Reach Inc. | Method and system for measuring outermost dimension of a vehicle positioned at an inspection station |
Also Published As
Publication number | Publication date |
---|---|
EP3776465A1 (en) | 2021-02-17 |
US20210090242A1 (en) | 2021-03-25 |
EP3776465A4 (en) | 2021-12-22 |
US11301981B2 (en) | 2022-04-12 |
EP3776465B1 (en) | 2024-05-08 |
KR20210005571A (ko) | 2021-01-14 |
WO2019186545A1 (en) | 2019-10-03 |
KR102487842B1 (ko) | 2023-01-13 |
JP2021520008A (ja) | 2021-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7224604B2 (ja) | 車両検査システムとその方法 | |
CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
US10303966B2 (en) | Method and system of image-based change detection | |
US11830163B2 (en) | Method and system for image generation | |
Qin et al. | 3D change detection at street level using mobile laser scanning point clouds and terrestrial images | |
CN104346608B (zh) | 稀疏深度图稠密化方法和装置 | |
Li et al. | A system of the shadow detection and shadow removal for high resolution city aerial photo | |
KR100834157B1 (ko) | 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체 | |
Mousavi et al. | The performance evaluation of multi-image 3D reconstruction software with different sensors | |
Kuschk | Large scale urban reconstruction from remote sensing imagery | |
Kedzierski et al. | Methodology of improvement of radiometric quality of images acquired from low altitudes | |
Sportouche et al. | Building extraction and 3D reconstruction in urban areas from high-resolution optical and SAR imagery | |
Guislain et al. | Fine scale image registration in large-scale urban LIDAR point sets | |
Ebrahimikia et al. | True orthophoto generation based on unmanned aerial vehicle images using reconstructed edge points | |
Novacheva | Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection | |
CN116805356A (zh) | 建筑模型的构建方法、设备及计算机可读存储介质 | |
TWI595446B (zh) | 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法 | |
Bethmann et al. | Object-based semi-global multi-image matching | |
Cavegn et al. | Robust and accurate image-based georeferencing exploiting relative orientation constraints | |
Kanzok et al. | Efficient removal of inconsistencies in large multi-scan point clouds | |
Zhang et al. | Tests and performance evaluation of DMC images and new methods for their processing | |
Yao et al. | Complex and photo-realistic scene representation based on range planar segmentation and model fusion | |
Chotikakamthorn | Near point light source location estimation from shadow edge correspondence | |
CN116452776B (zh) | 基于视觉同步定位与建图系统的低碳变电站场景重建方法 | |
Hanusch | Texture mapping and true orthophoto generation of 3D objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20201111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220323 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220323 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7224604 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |