JP7224603B2 - 車両画像の比較方法とそのシステム - Google Patents
車両画像の比較方法とそのシステム Download PDFInfo
- Publication number
- JP7224603B2 JP7224603B2 JP2021501137A JP2021501137A JP7224603B2 JP 7224603 B2 JP7224603 B2 JP 7224603B2 JP 2021501137 A JP2021501137 A JP 2021501137A JP 2021501137 A JP2021501137 A JP 2021501137A JP 7224603 B2 JP7224603 B2 JP 7224603B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- given
- portions
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 20
- 239000002131 composite material Substances 0.000 claims description 19
- 238000013136 deep learning model Methods 0.000 claims description 13
- 230000000052 comparative effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
(i)前記方法は、前記複数の差分マップを、前記入力画像内の関心のある差分(difference of interest:DOI)の存在の確率を示す複合差分マップへと結合するステップをさらに含み得る。
(ii)前記複数の画像部分は、スライディングウィンドウを用いて取得することができる。
(iii)前記複数の画像部分は、セグメンテーションモデルを使用して、車両の少なくとも一部に含まれる1つまたは複数の機械的構成要素に対応する1つまたは複数の入力セグメントへと前記入力画像をセグメント化することによって取得することができる。
(iv)前記入力画像は、第1の撮像条件で前記撮像装置によって取得することができ、前記参照画像のセット内の少なくとも1つの参照画像は、前記第1の撮像条件とは異なる第2の撮像条件で取得することができ、それによって前記第1および第2の撮像条件の違いに起因する、前記入力画像と少なくとも1つの参照画像との間に誤警報(false alarm:FA)の差異が生じる。
(v)前記第1および第2の撮像条件は、車両と撮像装置との間の相対位置、照明状態、および車両の速度のうちの1つまたは複数を含むことができる。
(vi)前記参照画像のセットは、前記入力画像内で車両を一意に識別するインスタンス記述子を使用して取得することができる。
(vii)前記参照画像のセットは、車両の同じインスタンスをキャプチャした画像の第1のセットと、車両に類似のインスタンスをキャプチャした画像の第2のセットを含むグループから選択することができる。
(viii)前記画像の第2のセットは、エンコーディングモデルを使用して前記入力画像および候補参照画像のそれぞれのベクトル表現を取得し、前記入力画像のベクトル表現と各参照画像候補との間の類似性メトリックを使用して前記第2の画像セットを選択することによって選択することができる。
(ix)前記比較モデルは、DOIを識別し、各画像ペア間の差分マップでFAの差異を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルにすることができる。
(x)前記類似性モデルは、見当合わせされた画像から抽出された複数の画像部分のセットを含むトレーニングデータセットを使用してトレーニングされた類似性深層学習モデルとすることができ、前記類似性モデルは、画像部分の複数のセットの各セット内の画像部分の各ペア内の類似性を反映するようにトレーニングされる。
(xi)前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルとすることができる。
(xii)前記所与の画像部分に対応する差分マップは、前記所与の画像部分におけるDOIの存在の部分ごとの確率を示すことができる。
(xiii)前記所与の画像部分に対応する差分マップは、前記所与の画像部分にDOIが存在するピクセル単位の確率を示すことができる。
(xiv)前記複合差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生成することができる。
Claims (31)
- 車両画像比較のコンピュータ化された方法であって:
車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップであって、前記入力画像は複数の画像部分を含む、ステップと;
参照画像のセットを取得するステップと;
前記複数の画像部分のうちの所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索するステップであって、
i)前記参照画像のセットに対応する参照部分候補のセットを取得するステップであって、前記セット内の所与の参照画像ごとに:
前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別するステップであって、前記参照領域は、前記所与の画像部分よりも小さくないサイズを有する、ステップと;
前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の1つまたは複数のそれぞれの位置を有する1つまたは複数の参照画像部分に対応する1つまたは複数のセクションを含む類似性マップを取得するステップであって、前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示している、ステップと;
前記1つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択するステップとを含む、
取得するステップと、
ii)前記参照部分候補のセットから最も一致する参照部分を選択するステップとを含む、
検索するステップと;
比較モデルを使用して、前記所与の各画像部分を前記最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生成するステップであって、前記差分マップは、前記所与の画像部分における関心の差(DOI)の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを得る、ステップとを含む方法。 - 請求項1のコンピュータ化された方法において、さらに、前記複数の差分マップを、前記入力画像内の関心のある差分(difference of interest:DOI)の存在の確率を示す複合差分マップへと結合するステップを含む、方法。
- 請求項1のコンピュータ化された方法において、前記複数の画像部分は、スライディングウィンドウを用いて取得される、方法。
- 請求項1のコンピュータ化された方法において、前記複数の画像部分は、セグメンテーションモデルを使用して、車両の少なくとも一部に含まれる1つまたは複数の機械的構成要素に対応する1つまたは複数の入力セグメントへと前記入力画像をセグメント化することによって取得される、方法。
- 請求項1のコンピュータ化された方法において、前記入力画像は、第1の撮像条件で前記撮像装置によって取得され、前記参照画像のセット内の少なくとも1つの参照画像は、前記第1の撮像条件とは異なる第2の撮像条件で取得され、それによって前記第1および第2の撮像条件の違いに起因する、前記入力画像と少なくとも1つの参照画像との間の誤警報(false alarm:FA)の差異が生じる、方法。
- 請求項5のコンピュータ化された方法において、前記第1および第2の撮像条件は、車両と撮像装置との間の相対位置、照明状態、および車両の速度のうちの1つまたは複数を含む、方法。
- 請求項1のコンピュータ化された方法において、前記参照画像のセットは、前記入力画像内で車両を一意に識別するインスタンス記述子を使用して取得される、方法。
- 請求項7のコンピュータ化された方法において、前記参照画像のセットは、車両の同じインスタンスをキャプチャした画像の第1のセットと、車両に類似のインスタンスをキャプチャした画像の第2のセットとを含むグループから選択される、方法。
- 請求項8のコンピュータ化された方法において、前記画像の第2のセットは、エンコーディングモデルを使用して前記入力画像および候補参照画像のそれぞれのベクトル表現を取得し、前記入力画像のベクトル表現と各参照画像候補との間の類似性メトリックを使用して前記第2の画像セットを選択することによって選択される、方法。
- 請求項1のコンピュータ化された方法において、前記比較モデルは、前記DOIを識別し、各画像ペア間の差分マップで誤警報(false alarm:FA)の差異を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルである、方法。
- 請求項1のコンピュータ化された方法において、前記類似性モデルは、見当合わせされた画像から抽出された複数の画像部分のセットを含むトレーニングデータセットを使用してトレーニングされた類似性深層学習モデルであり、前記類似性モデルは、画像部分の複数のセットの各セット内の画像部分の各ペア内の類似性を反映するようにトレーニングされる、方法。
- 請求項4のコンピュータ化された方法において、前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルである、方法。
- 請求項1のコンピュータ化された方法において、前記所与の画像部分に対応する差分マップは、前記所与の画像部分におけるDOIの存在の部分ごとの確率を示す、方法。
- 請求項1のコンピュータ化された方法において、前記所与の画像部分に対応する差分マップは、前記所与の画像部分にDOIが存在するピクセル単位の確率を示す、方法。
- 請求項2のコンピュータ化された方法において、前記複合差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生じる、方法。
- 車両画像比較のコンピュータ化されたシステムであって、当該システムはI/Oインターフェースに動作可能に接続されたプロセッサおよびメモリ回路(PMC)を具え、
前記I/Oインターフェースは:
車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得し、ここで前記入力画像は複数の画像部分を含んでおり;
参照画像のセットを検索するように構成されており;
前記PMCは:
前記複数の画像部分の所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索し、これには
i)前記参照画像のセットに対応する参照部分候補のセットを取得することであって、前記セット内の所与の参照画像ごとに:
前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別すること、ここで前記参照領域は、前記所与の画像部分よりも小さくないサイズを有する;
前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の1つまたは複数のそれぞれの位置を有する1つまたは複数の参照画像部分に対応する1つまたは複数のセクションを含む類似性マップを取得すること、ここで前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示す;および、
前記1つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択することと、
ii)前記参照部分候補のセットから最も一致する参照部分を選択すること;が含まれ、
比較モデルを使用して、前記所与の各画像部分を最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生じさせ、ここで前記差分マップは、前記所与の画像部分における関心の差(DOI)の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを生成するように構成される、システム。 - 請求項16のコンピュータ化されたシステムにおいて、前記PMCがさらに、前記複数の差分マップを、前記入力画像内の関心のある差分(difference of interest:DOI)の存在の確率を示す複合差分マップへと結合する、システム。
- 請求項16のコンピュータ化されたシステムにおいて、前記複数の画像部分は、スライディングウィンドウを用いて取得される、システム。
- 請求項16のコンピュータ化されたシステムにおいて、前記複数の画像部分は、セグメンテーションモデルを使用して、車両の少なくとも一部に含まれる1つまたは複数の機械的構成要素に対応する1つまたは複数の入力セグメントへと前記入力画像をセグメント化することによって取得される、システム。
- 請求項16のコンピュータ化されたシステムにおいて、前記入力画像は、第1の撮像条件で前記撮像装置によって取得され、前記参照画像のセット内の少なくとも1つの参照画像は、前記第1の撮像条件とは異なる第2の撮像条件で取得され、それによって前記第1および第2の撮像条件の違いに起因する、前記入力画像と少なくとも1つの参照画像との間の誤警報(false alarm:FA)の差異が生じる、システム。
- 請求項20のコンピュータ化されたシステムにおいて、前記第1および第2の撮像条件は、車両と撮像装置との間の相対位置、照明状態、および車両の速度のうちの1つまたは複数を含む、システム。
- 請求項16のコンピュータ化されたシステムにおいて、前記参照画像のセットは、前記入力画像内で車両を一意に識別するインスタンス記述子を使用して取得される、システム。
- 請求項22のコンピュータ化されたシステムにおいて、前記参照画像のセットは、車両の同じインスタンスをキャプチャした画像の第1のセットと、車両に類似のインスタンスをキャプチャした画像の第2のセットとを含むグループから選択される、システム。
- 請求項23のコンピュータ化されたシステムにおいて、前記画像の第2のセットは、エンコーディングモデルを使用して前記入力画像および候補参照画像のそれぞれのベクトル表現を取得し、前記入力画像のベクトル表現と各参照画像候補との間の類似性メトリックを使用して前記第2の画像セットを選択することによって選択される、システム。
- 請求項16のコンピュータ化されたシステムにおいて、前記比較モデルは、前記DOIを識別し、各画像ペア間の差分マップで誤警報(false alarm:FA)の差異を除外できるように、それぞれがターゲット画像と参照画像を含む画像ペアのセットを含むトレーニングデータセットを使用してトレーニングされた比較深層学習モデルである、システム。
- 請求項16のコンピュータ化されたシステムにおいて、前記類似性モデルは、見当合わせされた画像から抽出された複数の画像部分のセットを含むトレーニングデータセットを使用してトレーニングされた類似性深層学習モデルであり、前記類似性モデルは、画像部分の複数のセットの各セット内の画像部分の各ペア内の類似性を反映するようにトレーニングされる、システム。
- 請求項19のコンピュータ化されたシステムにおいて、前記セグメンテーションモデルは、そこに含まれる機械的構成要素に従って事前にセグメント化された車両画像のセットを含むトレーニングデータセットを使用してトレーニングされたセグメンテーション深層学習モデルである、システム。
- 請求項16のコンピュータ化されたシステムにおいて、前記所与の画像部分に対応する差分マップは、前記所与の画像部分におけるDOIの存在の部分ごとの確率を示す、システム。
- 請求項16のコンピュータ化されたシステムにおいて、前記所与の画像部分に対応する差分マップは、前記所与の画像部分にDOIが存在するピクセル単位の確率を示す、システム。
- 請求項17のコンピュータ化されたシステムにおいて、前記複合差分マップのピクセルの少なくとも一部は、異なる参照画像との比較から生じる、システム。
- コンピュータによって実行されると前記コンピュータに車両画像比較の方法を実行させる命令を含む非一時的コンピュータ可読記憶媒体であって、前記方法が:
車両の少なくとも一部をキャプチャする撮像装置によって取得された入力画像を取得するステップであって、前記入力画像は複数の画像部分を含む、ステップと;
参照画像のセットを取得するステップと;
前記複数の画像部分のうちの所与の画像部分ごとに、前記参照画像のセット内で最も一致する参照部分を検索するステップであって、
i)前記参照画像のセットに対応する参照部分候補のセットを取得するステップであって、前記セット内の所与の参照画像ごとに:
前記入力画像内の所与の画像部分の位置に従って前記所与の参照画像内の参照領域を識別するステップであって、前記参照領域は、前記所与の画像部分よりも小さくないサイズを有する、ステップと;
前記所与の画像部分および参照領域の類似性モデルを使用して、前記参照領域内の1つまたは複数のそれぞれの位置を有する1つまたは複数の参照画像部分に対応する1つまたは複数のセクションを含む類似性マップを取得するステップであって、前記類似性マップの各セクションは、前記所与の画像部分とそれぞれの参照画像部分との間の類似性を示している、ステップと;
前記1つまたは複数の参照画像部分から、前記所与の参照画像の参照部分候補として最も類似性の高い参照画像部分を選択するステップとを含む、
取得するステップと、
ii)前記参照部分候補のセットから最も一致する参照部分を選択するステップとを含む、
検索するステップと;
比較モデルを使用して、前記所与の各画像部分を前記最も一致する参照部分と比較し、前記所与の画像部分に対応する差分マップを生成するステップであって、前記差分マップは、前記所与の画像部分における関心の差(DOI)の存在の確率を示し、これにより、前記入力画像の複数の画像部分に対応する複数の差分マップを得る、ステップとを含む非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/940,142 | 2018-03-29 | ||
US15/940,142 US10643332B2 (en) | 2018-03-29 | 2018-03-29 | Method of vehicle image comparison and system thereof |
PCT/IL2019/050326 WO2019186530A1 (en) | 2018-03-29 | 2019-03-24 | Method of vehicle image comparison and system thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021520006A JP2021520006A (ja) | 2021-08-12 |
JP7224603B2 true JP7224603B2 (ja) | 2023-02-20 |
Family
ID=68054563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501137A Active JP7224603B2 (ja) | 2018-03-29 | 2019-03-24 | 車両画像の比較方法とそのシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10643332B2 (ja) |
EP (1) | EP3776450A4 (ja) |
JP (1) | JP7224603B2 (ja) |
KR (1) | KR102503559B1 (ja) |
WO (1) | WO2019186530A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11030726B1 (en) * | 2019-04-25 | 2021-06-08 | Shutterstock, Inc. | Image cropping with lossless resolution for generating enhanced image databases |
IL267563A (en) * | 2019-06-20 | 2019-11-28 | HYATT Yonatan | Establishing a process for visual inspection |
CN110766077A (zh) * | 2019-10-24 | 2020-02-07 | 上海眼控科技股份有限公司 | 证据链图像中特写图筛选方法、装置和设备 |
US11048976B2 (en) | 2019-11-11 | 2021-06-29 | Midea Group Co., Ltd. | Method and system for controlling machines based on object recognition |
CN111242951A (zh) * | 2020-01-08 | 2020-06-05 | 上海眼控科技股份有限公司 | 车辆检测方法、装置、计算机设备和存储介质 |
US11386537B2 (en) * | 2020-02-27 | 2022-07-12 | Shanghai United Imaging Intelligence Co., Ltd. | Abnormality detection within a defined area |
CN112218041B (zh) * | 2020-09-01 | 2023-06-16 | 恒大新能源汽车投资控股集团有限公司 | 车辆监控方法、系统及车辆 |
US11921494B2 (en) * | 2020-10-08 | 2024-03-05 | Raymond H Scherzer | Rapid automation system and method for line clearance |
KR20220130398A (ko) * | 2021-03-18 | 2022-09-27 | 현대자동차주식회사 | 차량 검사 장치 및 차량의 검사 방법 |
DE102021116068A1 (de) | 2021-06-22 | 2022-12-22 | Zf Cv Systems Global Gmbh | Verfahren zum Inspizieren eines Fahrzeuges und Inspektions-System |
US11875496B2 (en) * | 2021-08-25 | 2024-01-16 | Genpact Luxembourg S.à r.l. II | Dimension estimation using duplicate instance identification in a multiview and multiscale system |
CN117437624B (zh) * | 2023-12-21 | 2024-03-08 | 浙江啄云智能科技有限公司 | 违禁品检测方法、装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114596A (ja) | 2011-11-30 | 2013-06-10 | Kddi Corp | 画像認識装置及び方法 |
WO2017056399A1 (ja) | 2015-09-30 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 車種識別装置およびこれを備えた車種識別システムならびに車種識別方法 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10213422A (ja) * | 1997-01-29 | 1998-08-11 | Hitachi Ltd | パタ−ン検査装置 |
JP4469476B2 (ja) * | 2000-08-09 | 2010-05-26 | パナソニック株式会社 | 眼位置検出方法および眼位置検出装置 |
JP4035974B2 (ja) * | 2001-09-26 | 2008-01-23 | 株式会社日立製作所 | 欠陥観察方法及びその装置 |
JP3669698B2 (ja) * | 2002-09-20 | 2005-07-13 | 日東電工株式会社 | 印刷物の検査方法及び検査装置 |
JP4403219B2 (ja) | 2003-06-19 | 2010-01-27 | 株式会社ブロードリーフ | 損傷解析支援システム |
SG121906A1 (en) * | 2004-10-11 | 2006-05-26 | Stratech Systems Ltd | Intelligent vehicle access control system |
US20060132291A1 (en) * | 2004-11-17 | 2006-06-22 | Dourney Charles Jr | Automated vehicle check-in inspection method and system with digital image archiving |
WO2006075594A1 (ja) * | 2005-01-11 | 2006-07-20 | Nec Corporation | テンプレートマッチングのための方法、その装置及びそのためのプログラムを記録した記録媒体 |
US20060171593A1 (en) * | 2005-02-01 | 2006-08-03 | Hitachi High-Technologies Corporation | Inspection apparatus for inspecting patterns of a substrate |
US8019164B2 (en) * | 2007-01-29 | 2011-09-13 | Hitachi High-Technologies Corporation | Apparatus, method and program product for matching with a template |
WO2012012576A1 (en) | 2010-07-20 | 2012-01-26 | Lockheed Martin Corporation | Image analysis systems using non-linear data processing techniques and methods using same |
JP2013536500A (ja) * | 2010-07-20 | 2013-09-19 | ロッキード マーティン コーポレイション | 非線形データ処理技術を用いる画像解析システムおよびその使用方法 |
US20130188878A1 (en) * | 2010-07-20 | 2013-07-25 | Lockheed Martin Corporation | Image analysis systems having image sharpening capabilities and methods using same |
JP5840940B2 (ja) * | 2011-12-16 | 2016-01-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム |
US8995718B2 (en) * | 2012-10-11 | 2015-03-31 | Ittiam Systems (P) Ltd. | System and method for low complexity change detection in a sequence of images through background estimation |
WO2014149197A1 (en) * | 2013-02-01 | 2014-09-25 | Kla-Tencor Corporation | Detecting defects on a wafer using defect-specific and multi-channel information |
JP6362333B2 (ja) * | 2013-02-14 | 2018-07-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
EP2911112B1 (en) | 2014-02-21 | 2019-04-17 | Wipro Limited | Methods for assessing image change and devices thereof |
US9153079B1 (en) | 2014-03-18 | 2015-10-06 | Robert Bruce Wood | System and method of automated 3D scanning for vehicle maintenance |
US20150294182A1 (en) * | 2014-04-13 | 2015-10-15 | Samsung Electronics Co., Ltd. | Systems and methods for estimation of objects from an image |
CN105787495A (zh) | 2014-12-17 | 2016-07-20 | 同方威视技术股份有限公司 | 具有车辆参考图像检索及比对功能的车辆检查系统和方法 |
SE538405C2 (en) * | 2015-01-07 | 2016-06-14 | Viscando Ab | Method and system for categorization of a scene |
US9232118B1 (en) * | 2015-01-23 | 2016-01-05 | Interra Systems, Inc | Methods and systems for detecting video artifacts |
EP3176751B1 (en) | 2015-12-01 | 2020-12-30 | Ricoh Company, Ltd. | Information processing device, information processing method, computer-readable recording medium, and inspection system |
CN106991423B (zh) * | 2016-01-21 | 2019-06-07 | 腾讯科技(深圳)有限公司 | 识别规格图片中是否包含水印的方法及装置 |
US9773196B2 (en) | 2016-01-25 | 2017-09-26 | Adobe Systems Incorporated | Utilizing deep learning for automatic digital image segmentation and stylization |
US10692050B2 (en) | 2016-04-06 | 2020-06-23 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
US10298864B2 (en) * | 2016-06-10 | 2019-05-21 | Apple Inc. | Mismatched foreign light detection and mitigation in the image fusion of a two-camera system |
CN106127747B (zh) | 2016-06-17 | 2018-10-16 | 史方 | 基于深度学习的汽车表面损伤分类方法及装置 |
US10043088B2 (en) * | 2016-06-23 | 2018-08-07 | Siemens Healthcare Gmbh | Image quality score using a deep generative machine-learning model |
WO2018015414A1 (en) * | 2016-07-21 | 2018-01-25 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
JP6694362B2 (ja) * | 2016-09-30 | 2020-05-13 | 富士フイルム株式会社 | 画像検査方法及び装置、プログラム並びに画像記録システム |
US10282843B2 (en) * | 2016-10-27 | 2019-05-07 | International Business Machines Corporation | System and method for lesion analysis and recommendation of screening checkpoints for reduced risk of skin cancer |
US10628890B2 (en) * | 2017-02-23 | 2020-04-21 | International Business Machines Corporation | Visual analytics based vehicle insurance anti-fraud detection |
US10255526B2 (en) * | 2017-06-09 | 2019-04-09 | Uptake Technologies, Inc. | Computer system and method for classifying temporal patterns of change in images of an area |
US10726307B2 (en) * | 2017-06-30 | 2020-07-28 | Ai Systems Co., Ltd. | Real-time identification of moving objects in video images |
US10445891B2 (en) * | 2017-11-03 | 2019-10-15 | Canon Medical Systems Corporation | Medical image processing apparatus and method |
-
2018
- 2018-03-29 US US15/940,142 patent/US10643332B2/en active Active
-
2019
- 2019-03-24 EP EP19775728.9A patent/EP3776450A4/en active Pending
- 2019-03-24 JP JP2021501137A patent/JP7224603B2/ja active Active
- 2019-03-24 KR KR1020207029249A patent/KR102503559B1/ko active IP Right Grant
- 2019-03-24 WO PCT/IL2019/050326 patent/WO2019186530A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013114596A (ja) | 2011-11-30 | 2013-06-10 | Kddi Corp | 画像認識装置及び方法 |
WO2017056399A1 (ja) | 2015-09-30 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 車種識別装置およびこれを備えた車種識別システムならびに車種識別方法 |
Non-Patent Citations (2)
Title |
---|
Feature-Level Change Detection Using Deep Representation and Feature Change Analysis for Multispectral Imagery,IEEE Geoscience and Remote Sensing Letters,2016年11月30日,VOL. 13, NO. 11,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7559716 |
プラント内の直線を利用した拡張現実感用リローカリゼーション手法の開発,ヒューマンインタフェース学会研究報告集 Vol. 18,No. 3,2016年06月17日 |
Also Published As
Publication number | Publication date |
---|---|
WO2019186530A1 (en) | 2019-10-03 |
EP3776450A4 (en) | 2022-01-05 |
EP3776450A1 (en) | 2021-02-17 |
KR102503559B1 (ko) | 2023-02-27 |
JP2021520006A (ja) | 2021-08-12 |
US10643332B2 (en) | 2020-05-05 |
US20190304099A1 (en) | 2019-10-03 |
KR20210006336A (ko) | 2021-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7224603B2 (ja) | 車両画像の比較方法とそのシステム | |
JP7130216B2 (ja) | 車両画像の比較方法とそのシステム | |
CN110032949B (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
CN110222604B (zh) | 基于共享卷积神经网络的目标识别方法和装置 | |
CN109271908B (zh) | 车损检测方法、装置及设备 | |
CN111046856A (zh) | 基于动静态特征提取并行位姿跟踪与地图创建的方法 | |
CN110334622B (zh) | 基于自适应特征金字塔的行人检索方法 | |
Yang et al. | Learning deep feature correspondence for unsupervised anomaly detection and segmentation | |
JP7337216B2 (ja) | ニューラルネットワークをトレーニングする方法、ニューラルネットワークをトレーニングするシステム、及びニューラルネットワーク | |
CN115546113A (zh) | 掌子面裂隙图像与前方三维结构参数预测方法及系统 | |
Du et al. | Dynamic pavement distress image stitching based on fine‐grained feature matching | |
Shahsavarani et al. | Multi-modal image processing pipeline for NDE of structures and industrial assets | |
Zhang et al. | Reading various types of pointer meters under extreme motion blur | |
Al-Shammri et al. | A combined method for object detection under rain conditions using deep learning | |
Gao et al. | A new method for repeated localization and matching of tunnel lining defects | |
Li et al. | Semid: Blind image inpainting with semantic inconsistency detection | |
JP2023515476A (ja) | 知覚システムのための訓練データ候補の自動特定 | |
Kang et al. | Image corner detection using Hough transform | |
US11430143B2 (en) | System of depth estimation and method thereof | |
Wang et al. | RiWNet: A moving object instance segmentation network being robust in adverse weather conditions | |
CN110427796B (zh) | 获取动态纹理描述模型的方法及视频异常行为检索法 | |
Olufowobi | Towards a Low-cost Vision System for Real-time Pavement Condition Assessment | |
Dini et al. | Detecting Anomalies in Textured Images Using Modified Transformer Masked Autoencoder | |
Hanel et al. | Semantic road scene knowledge for robust self-calibration of environment-observing vehicle cameras | |
CN116721401A (zh) | 一种自动驾驶实时定位动态噪点剔除方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7224603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |