JP7414540B2 - 確率取得装置及び確率取得方法 - Google Patents

確率取得装置及び確率取得方法 Download PDF

Info

Publication number
JP7414540B2
JP7414540B2 JP2020004590A JP2020004590A JP7414540B2 JP 7414540 B2 JP7414540 B2 JP 7414540B2 JP 2020004590 A JP2020004590 A JP 2020004590A JP 2020004590 A JP2020004590 A JP 2020004590A JP 7414540 B2 JP7414540 B2 JP 7414540B2
Authority
JP
Japan
Prior art keywords
image
zebra
processing
predetermined
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020004590A
Other languages
English (en)
Other versions
JP2021111275A (ja
Inventor
亮 中岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020004590A priority Critical patent/JP7414540B2/ja
Priority to US17/141,626 priority patent/US11640535B2/en
Publication of JP2021111275A publication Critical patent/JP2021111275A/ja
Application granted granted Critical
Publication of JP7414540B2 publication Critical patent/JP7414540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象物の２つの３次元画像間における一致及び不一致の確率を取得する確率取得装置などに関する。
従来、特許文献１に記載された画像監視装置が知られている。この画像監視装置は、所定空間における人や不審物の存在を監視するものであり、監視カメラ及び画像処理部などを備えている。この画像処理部では、監視空間の３次元の実画像を監視カメラによって撮影し、この実画像に対してエッジ処理が実行される。
また、メモリ内の３次元モデルなどを用いて監視空間の模擬画像を作成し、この摸擬画像に対してエッジ処理が実行される。そして、エッジ処理済みの実画像及び摸擬画像を比較することにより、実画像の摸擬画像に対する相違画素を取得し、この相違画素に基づいて、物体の検知などが実行される。
特許第６５４８６８６号公報
近年、自動車などの３次元の対象物を設計する際、クレイモデルなどの試作品を作成し、所定の３Ｄ－ＣＡＤソフトウエアを用いて、この試作品の摸擬画像である３Ｄ－ＣＡＤ画像を作成することが実施されている。この場合、３Ｄ－ＣＡＤ画像は、試作品の外観形状に対して可能な限り近い精度が要求されるので、試作品を測定又は撮影したデータから実画像を作成した場合、３Ｄ－ＣＡＤ画像をこの実画像に可能な限り近づける必要性がある。これを実現するには、３Ｄ－ＣＡＤ画像と実画像の間における一致及び不一致の確率を精度よく取得する必要がある。
これに対して、前述した特許文献１の手法によって、上記の３Ｄ－ＣＡＤ画像と実画像の間における一致及び不一致の確率を取得しようとした際、この確率を精度よく取得できないという問題がある。この問題は、３Ｄ－ＣＡＤ画像に限らず、他のソフトウエアを用いて作成された摸擬画像と実画像の間における一致及び不一致の確率を取得する際にも発生する。また、これらの摸擬画像と実画像の間に限らず、対象物の３次元の摸擬画像と、対象物を測定又は撮影したデータから取得した３次元画像との間における一致及び不一致の確率を精度よく取得することが望まれている。
本発明は、上記課題を解決するためになされたもので、対象物の２つの３次元画像を用いて、両者の一致及び不一致の確率を精度よく取得することができる確率取得装置などを提供することを目的とする。
上記目的を達成するために、請求項１に係る確率取得装置１は、対象物を測定又は撮影したデータに基づき、対象物の３次元画像である第１画像を取得する第１画像取得部１１と、対象物の３次元の模擬画像である第２画像を取得する第２画像取得部１２と、第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、第２画像にゼブラシェーディング処理を施した第２ゼブラ画像とを、同一アングル、同一縮尺及び同一縦横サイズの画像として取得するゼブラ画像取得部１３と、第１ゼブラ画像から対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより、第１選択画像を取得するとともに、第２ゼブラ画像から第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより、第２選択画像を取得する選択画像取得部１４と、第１選択画像及び第２選択画像を所定の機械学習モデルに入力することにより、所定の機械学習モデルの出力として、第１選択画像及び第２選択画像の間における一致及び不一致の確率を取得する確率取得部１５，１５０と、を備え、所定の第１画像処理では、第１ゼブラ画像から選択した一部の画像領域に対して、所定のノイズ除去処理が施され、所定の第２画像処理では、第２ゼブラ画像から選択した同一部分の画像領域に対して、所定の特徴量抽出処理が施されることを特徴とする。
この確率取得装置によれば、対象物を実際に測定又は撮影したデータに基づき、対象物の３次元の第１画像が取得され、対象物の３次元の模擬画像である第２画像が取得される。さらに、第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、第２画像にゼブラシェーディング処理を施した第２ゼブラ画像とが、同一アングル、同一縮尺及び同一縦横サイズの画像として取得される。
さらに、第１ゼブラ画像から対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより、第１選択画像が取得されるとともに、第２ゼブラ画像から第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより、第２選択画像が取得される。そして、第１選択画像及び第２選択画像を所定の機械学習モデルに入力することにより、所定の機械学習モデルの出力として、第１選択画像及び第２選択画像の間における一致及び不一致の確率が取得される。したがって、この所定の機械学習モデルとして、モデルパラメータが十分に学習されたものを用いることにより、第１選択画像及び第２選択画像の間における一致及び不一致の確率を精度よく取得することができる。
この確率取得装置によれば、第１ゼブラ画像から選択した一部の画像領域に対して、所定のノイズ除去処理を施すことにより、第１選択画像が取得されるので、第１ゼブラ画像におけるノイズの影響を抑制しながら、第１選択画像を取得することができる。また、第２ゼブラ画像から選択した第１選択画像と同一部分の画像領域に対して、所定の特徴量抽出処理を施すことにより、第２選択画像が取得されるので、選択部分の画像領域の特徴をより反映させながら、第２選択画像を取得することができる。以上により、第１選択画像及び第２選択画像の間における一致及び不一致の確率を取得する際、その取得精度を向上させることができる。
請求項２に係る発明は、請求項１に記載の確率取得装置１において、所定のノイズ除去処理は、メディアンフィルタ処理及び縮小・膨張処理の一方であることを特徴とする。
この確率取得装置によれば、第１ゼブラ画像から選択した一部の画像領域に対して、メディアンフィルタ処理及び縮小・膨張処理の一方が施されるので、この画像領域に含まれるノイズの影響を抑制しながら、第１選択画像を取得することができる。
請求項３に係る発明は、請求項１又は２に記載の確率取得装置１において、所定の特徴量抽出処理は、Ｓｏｂｅｌフィルタ処理、ＣＡＮＮＹ法及びｓｋｅｌｔｏｎ法の１つであることを特徴とする。
この確率取得装置によれば、Ｓｏｂｅｌフィルタ処理、ＣＡＮＮＹ法及びｓｋｅｌｔｏｎ法の１つを用いて、第２ゼブラ画像から選択した部分の画像における特徴量を適切に抽出しながら、第２選択画像を取得することができる。
請求項４に係る発明は、請求項１ないし３のいずれかに記載の確率取得装置１において、ゼブラ画像取得部１３は、第１ゼブラ画像及び第２ゼブラ画像をいずれもグレースケール画像として取得することを特徴とする。
この確率取得装置によれば、第１ゼブラ画像及び第２ゼブラ画像がいずれもグレースケール画像として取得されるので、第１ゼブラ画像及び第２ゼブラ画像としてカラー画像を用いた場合と比べて、画像処理時の演算負荷を低減できるとともに、着色状態に起因する誤差の発生を抑制することができる。
上記目的を達成するために、請求項５に係る確率取得装置１は、対象物を測定又は撮影したデータに基づき、対象物の３次元画像である第１画像を取得する第１画像取得部１１と、対象物の３次元の模擬画像である第２画像を取得する第２画像取得部１２と、第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、第２画像にゼブラシェーディング処理を施した第２ゼブラ画像とを、同一アングル、同一縮尺及び同一縦横サイズの画像として取得するゼブラ画像取得部１３と、第１ゼブラ画像から対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより、第１選択画像を取得するとともに、第２ゼブラ画像から第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより、第２選択画像を取得する選択画像取得部１４と、第１選択画像及び第２選択画像を所定の機械学習モデルに入力することにより、所定の機械学習モデルの出力として、第１選択画像及び第２選択画像の間における一致及び不一致の確率を取得する確率取得部１５，１５０と、を備え、所定の機械学習モデルは、ＣＮＮ１５ｂであり、選択画像取得部１４は、第１選択画像及び第２選択画像を縦横比が１：１の画像として取得し、確率取得部１５は、第１選択画像及び第２選択画像を互いに重畳した１つの重畳画像としてＣＮＮ１５ｂに入力することを特徴とする。
この確率取得装置によれば、所定の機械学習モデルとして、モデルパラメータが十分に学習されたものを用いることにより、第１選択画像及び第２選択画像の間における一致及び不一致の確率を精度よく取得することができる。一般に、機械学習モデルがＣＮＮ（畳み込みニューラルネットワーク）である場合、これに入力する画像の縦横比が１：１の画像でないときには、縦横比を１：１にするための何らかの画像処理工程が必要になる。これに対して、この確率取得装置によれば、第１選択画像及び第２選択画像は、縦横比が１：１の画像として取得され、互いに重畳した１つの重畳画像としてＣＮＮに入力されるので、ＣＮＮのモデルパラメータの学習を実行する際、その学習作業を容易に実行することができる。
さらに、前述した目的を達成するために、請求項６に係る確率取得方法は、対象物を測定又は撮影したデータに基づき、対象物の３次元画像である第１画像を取得し、対象物の３次元の模擬画像である第２画像を取得し、第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、第２画像にゼブラシェーディング処理を施した第２ゼブラ画像とを、同一アングル、同一縮尺及び同一縦横サイズの画像として取得し、第１ゼブラ画像から対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより第１選択画像を取得し、第２ゼブラ画像から第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより第２選択画像を取得し、第１選択画像及び第２選択画像を所定の機械学習モデルに入力することにより、第１選択画像及び第２選択画像の間における一致及び不一致の確率を取得し、所定の第１画像処理では、第１ゼブラ画像から選択した一部の画像領域に対して、所定のノイズ除去処理が施され、所定の第２画像処理では、第２ゼブラ画像から選択した同一部分の画像領域に対して、所定の特徴量抽出処理が施されることを特徴とする。
また、前述した目的を達成するために、請求項７に係る確率取得方法は、対象物を測定又は撮影したデータに基づき、対象物の３次元画像である第１画像を取得し、対象物の３次元の模擬画像である第２画像を取得し、第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、第２画像にゼブラシェーディング処理を施した第２ゼブラ画像とを、同一アングル、同一縮尺及び同一縦横サイズの画像として取得し、第１ゼブラ画像から対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより第１選択画像を縦横比が１：１の画像として取得し、第２ゼブラ画像から第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより第２選択画像を取得し、第１選択画像及び第２選択画像を互いに重畳した１つの重畳画像としてＣＮＮに入力することにより、第１選択画像及び第２選択画像の間における一致及び不一致の確率を取得することを特徴とする。
本発明の一実施形態に係る確率取得装置としてのパーソナルコンピュータを示す図である。 確率取得装置の機能的な構成を示すブロック図である。 ゼブラ画像取得部の機能的な構成を示すブロック図である。 第１ゼブラ画像の一例を示す図である。 第２ゼブラ画像の一例を示す図である。 選択画像取得部の機能的な構成を示すブロック図である。 第１選択画像の一例を示す図である。 第２選択画像の一例を示す図である。 確率取得部の機能的な構成を示すブロック図である。 第１ゼブラ画像の他の一例を示す図である。 第２ゼブラ画像の他の一例を示す図である。 ヒートマップの一例を示す図である。 第１選択画像及び第２選択画像が一致しているときのディスプレイの表示例を示す図である。 第１選択画像及び第２選択画像が不一致であるときのディスプレイの表示例を示す図である。 ノイズ除去済みの第１ゼブラ画像の一例を示す図である。 図１２の画像からトリミングした第１選択画像の一例を示す図である。 図１２の画像からトリミングした第１選択画像の他の一例を示す図である。 図１２の画像からトリミングした第１選択画像のさらに他の一例を示す図である。
以下、図面を参照しながら、本発明の一実施形態に係る確率取得装置について説明する。本実施形態の確率取得装置では、以下に述べるように、対象物としての自動車のクレイモデル（図示せず）に基づいて作成された３次元画像と、３Ｄ－ＣＡＤソフトを用いて作成された３次元画像とを比較することにより、両者の一致及び不一致の確率などが取得される。
図１に示すように、本実施形態の確率取得装置１は、パーソナルコンピュータタイプのものであり、ディスプレイ１ａ、装置本体１ｂ及び入力インターフェース１ｃなどを備えている。装置本体１ｂは、ＨＤＤなどのストレージ、プロセッサ及びメモリ（ＲＡＭ、Ｅ２ＰＲＯＭ、ＲＯＭなど）などを備えている（いずれも図示せず）。
この装置本体１ｂのストレージには、３次元ＣＡＤソフト及び後述する各種処理を実行するためのアプリケーションソフトがインストールされている。また、入力インターフェース１ｃは、確率取得装置１を操作するためのキーボード及びマウスなどで構成されている。
次に、図２を参照しながら、本実施形態の確率取得装置１の機能的な構成について説明する。同図に示すように、確率取得装置１は、第１画像取得部１１、第２画像取得部１２、ゼブラ画像取得部１３、選択画像取得部１４及び確率取得部１５を備えている。
この第１画像取得部１１では、以下に述べる手法によって、第１画像が３次元画像として自動車のクレイモデルから取得される。まず、図示しない３次元スキャナによって、自動車のクレイモデルをスキャニングすることにより、点群データを取得し、この点群データに対してポリゴンメッシュ処理を施すことにより、ポリゴンメッシュデータが取得される。
次いで、このポリゴンメッシュデータをシェーディング表示した画像として、第１画像が取得される。以上のように取得された第１画像は、ゼブラ画像取得部１３に入力される。
また、第２画像取得部１２では、上記のポリゴンメッシュデータを、装置本体１ｂのストレージ内のＣＡＤソフトで読み込んだ後、ＣＡＤソフトによって、ポリゴンメッシュデータからサーフェースデータを作成し、これをシェーディング表示した摸擬画像として、第２画像が取得される。この第２画像は、第１画像と同一部位の３次元画像であって、同一アングル、同一縮尺及び同一縦横サイズの画像として取得される。以上のように取得された第２画像は、ゼブラ画像取得部１３に入力される。
次に、前述したゼブラ画像取得部１３について説明する。このゼブラ画像取得部１３では、以下に述べるように、上述した第１画像及び第２画像から、第１ゼブラ画像及び第２ゼブラ画像が取得される。
図３に示すように、ゼブラ画像取得部１３は、ゼブラシェーディング部１３ａ及びグレースケール変換部１３ｂを備えている。このゼブラシェーディング部１３ａでは、上述した第１画像及び第２画像に対して、ゼブラシェーディング処理が施される。
また、グレースケール変換部１３ｂでは、ゼブラシェーディング処理済みの第１画像及び第２画像をグレースケール変換することにより、第１ゼブラ画像及び第２ゼブラ画像が作成される。
例えば、第１ゼブラ画像は、図４Ａに示すように作成され、第２ゼブラ画像は、図４Ｂに示すように作成される。両図に示すように、第１ゼブラ画像及び第２ゼブラ画像は、両者が同一アングル、同一縮尺及び同一縦横サイズ（同一の画素数）の画像として作成される。以上のように作成された第１ゼブラ画像及び第２ゼブラ画像は、選択画像取得部１４に入力される。
次に、前述した選択画像取得部１４について説明する。この選択画像取得部１４では、以下に述べるように、上述した第１ゼブラ画像及び第２ゼブラ画像から、第１選択画像及び第２選択画像が取得される。
図５に示すように、選択画像取得部１４は、ノイズ除去部１４ａ、特徴量抽出部１４ｂ及びトリミング部１４ｃを備えている。この選択画像取得部１４では、第１ゼブラ画像がノイズ除去部１４ａに入力され、第２ゼブラ画像が特徴量抽出部１４ｂに入力される。
このノイズ除去部１４ａでは、メディアンフィルタ処理により、第１ゼブラ画像のノイズが除去される。なお、本実施形態では、メディアンフィルタ処理及びトリミング処理が所定の第１画像処理に相当し、メディアンフィルタ処理が所定のノイズ除去処理に相当する。その後、ノイズ除去済みの第１ゼブラ画像は、トリミング部１４ｃに入力される。
また、特徴量抽出部１４ｂでは、Ｓｏｂｅｌフィルタ処理により、第２ゼブラ画像の特徴量が抽出される。なお、本実施形態では、Ｓｏｂｅｌフィルタ処理及びトリミング処理が所定の第２画像処理に相当し、Ｓｏｂｅｌフィルタ処理が所定の特徴量抽出処理に相当する。その後、特徴量抽出済みの第２ゼブラ画像は、トリミング部１４ｃに入力される。
一方、トリミング部１４ｃでは、ノイズ除去済みの第１ゼブラ画像及び特徴量抽出済みの第２ゼブラ画像から、トリミング処理により、１つの第１選択画像及び１つの第２選択画像を１組として、ｎ（ｎは正の整数）組の第１選択画像及び第２選択画像が取得される。
この場合、各組の第１選択画像及び第２選択画像は、互いに同一の領域の部分であって、正方形の画像すなわち縦横比が１：１の画像として取得される。これは、以下の理由による。すなわち、後述するように、第１選択画像及び第２選択画像を互いに重畳することにより、重畳画像が作成され、これがＣＮＮに入力される関係上、第１選択画像及び第２選択画像が縦横比が１：１の画像でない場合には、何らかの画像処理工程により、これらを縦横比が１：１の画像にする必要がある。したがって、このような画像処理工程を不要とするために、各組の第１選択画像及び第２選択画像は、縦横比が１：１の画像として取得される。
例えば、図６Ａに示すように、正方形の領域の第１選択画像がノイズ除去済みの第１ゼブラ画像からトリミングされた場合、図６Ｂに示すように、正方形の領域の第２選択画像が、特徴量抽出済みの第２ゼブラ画像からトリミングされる。本実施形態の場合、以上のように、トリミング部１４ｃでのトリミング手法が実施される。なお、トリミング部１４ｃでのトリミング手法は以上の手法に限らず、後述するような手法を用いてもよい。
また、ｎ組の第１選択画像及び第２選択画像は、正方形の画像として取得されるものであればよく、各組の第１選択画像及び第２選択画像のサイズが異なるように取得されてもよい。例えば、１組の第１選択画像及び第２選択画像と、他の１組の第１選択画像及び第２選択画像とが異なるサイズで取得されるように構成してもよい。さらに、ノイズ除去済みの第１ゼブラ画像及び特徴量抽出済みの第２ゼブラ画像がいずれも正方形の画像である場合には、第１ゼブラ画像全体を第１選択画像とし、第２ゼブラ画像全体を第２選択画像として取得してもよい。
本実施形態では、ｎ組の第１選択画像及び第２選択画像が選択画像取得部１４において以上のように取得された後、確率取得部１５に入力される。
次に、確率取得部１５について説明する。この確立取得部１５では、以下に述べるように、ｎ組の第１選択画像及び第２選択画像において、各組の第１選択画像及び第２選択画像の間における一致及び不一致の判定などが実行される。
図７に示すように、確率取得部１５は、重畳画像作成部１５ａ、ＣＮＮ１５ｂ、可否判定部１５ｃ及びヒートマップ作成部１５ｄを備えている。
この重畳画像作成部１５ａでは、各組の第１選択画像及び第２選択画像を互いに重畳することにより、ｎ個の重畳画像が作成される。すなわち、重畳画像は、その縦横のサイズが第１選択画像及び第２選択画像と同じものとして作成される。以上のように作成されたｎ個の重畳画像は、１個ずつ、ＣＮＮ（畳み込みニューラルネットワーク）１５ｂに入力される。
ＣＮＮ１５ｂでは、上記の重畳画像が入力された場合、重畳画像に含まれる第１選択画像及び第２選択画像の「一致」及び「不一致」をラベルとして、一致ラベル及び不一致ラベルの確率が出力される。この場合、一致ラベルの確率は、値０～１の範囲内の値として出力され、不一致ラベルの確率は、値１から一致ラベルの確率を減算した値として出力される。
このＣＮＮ１５ｂの場合、そのモデルパラメータ（重み及びバイアス）は、以下に述べるように学習されている。まず、学習用データとして、一致データ及び不一致データが作成される。この一致データは、互いに一致している第１選択画像及び第２選択画像を重畳するとともに、「一致」のラベルを付与したデータとして作成される。
また、不一致データは、互いに不一致の第１選択画像及び第２選択画像を重畳するとともに、「不一致」のラベルを付与したデータとして作成される。
そして、一致データをＣＮＮ１５ｂに入力した際には、値「１」とＣＮＮ１５ｂから出力される一致ラベルの確率との損失関数（例えば平均２乗和誤差）を用いて、バックプロパゲーション法などにより、ＣＮＮ１５ｂのモデルパラメータの学習が実行される。
これと同様に、不一致データをＣＮＮ１５ｂに入力した際には、値「１」とＣＮＮ１５ｂから出力される不一致ラベルの確率との損失関数（例えば平均２乗和誤差）を用いて、バックプロパゲーション法などにより、ＣＮＮ１５ｂのモデルパラメータの学習が実行される。
本実施形態のＣＮＮ１５ｂの場合、以上の手法によりモデルパラメータが十分に学習されている。それにより、上記の重畳画像がＣＮＮ１５ｂに入力された場合、一致ラベル及び不一致ラベルの確率が出力されるとともに、その一致ラベルの確率が可否判定部１５ｃに入力される。この一致ラベルの確率は、入力された重畳画像における第１選択画像及び第２選択画像の一致の確率を表すものである。
この可否判定部１５ｃでは、一致ラベルの確率を百分率のスコアに変換した場合において、そのスコアが所定値（例えば５０％）以上であるときには、重畳画像における１組の第１選択画像及び第２選択画像が一致していると判定され、スコアが所定値（例えば５０％）未満であるときには、１組の第１選択画像及び第２選択画像が不一致であると判定される。
この可否判定部１５ｃの場合、以上の第１選択画像及び第２選択画像の一致／不一致の判定が、ｎ個の重畳画像の全てに対して実施される。そして、後述するように、ｎ個の重畳画像の各々における判定結果及びスコアが、ディスプレイ１ａに表示可能に構成されているとともに、ｎ個の重畳画像全体に対する判定結果及びスコアも、ディスプレイ１ａに表示可能に構成されている。
この場合、ｎ個の重畳画像全体のスコアは、ｎ個の重畳画像の各々におけるスコアの平均値として算出される。それにより、このｎ個の重畳画像全体のスコアは、第１ゼブラ画像と第２ゼブラ画像が全体として一致しているか否かを表す値となる。
また、ヒートマップ作成部１５ｄでは、可否判定部１５ｃにおいて、第１ゼブラ画像と第２ゼブラ画像が全体として不一致であると判定された場合、すなわち、ｎ個の重畳画像全体のスコアが所定値未満である場合には、Ｇｒａｄ－ＣＡＭ＋＋手法を用い、ヒートマップが重畳画像から作成される。例えば、ノイズ除去済みの第１ゼブラ画像及び特徴量抽出済みの第２ゼブラ画像として、図８Ａ及び図８Ｂに示す画像をそれぞれ用いた場合、図９に示すように、ヒートマップが作成される。
このヒートマップは、ｎ個の重畳画像における第１選択画像及び第２選択画像の一致及び不一致を判定した結果に基づいて作成される。この図９のヒートマップにおいて、色の濃い部分がＣＮＮ１５ｂの最終層において反応の強かった箇所、すなわち第１選択画像及び第２選択画像の間で不一致の度合が大きかった箇所に相当する。
以上のように構成された確率取得部１５の場合、ユーザが１組の第１選択画像及び第２選択画像の一致及び不一致の判定結果を参照する際、ユーザによる入力インターフェース１ｃの操作により、可否判定部１５ｃの判定結果がディスプレイ１ａに表示される。
例えば、可否判定部１５ｃにおいて、１組の第１選択画像及び第２選択画像が一致していると判定された場合には、その判定結果が図１０に示すように表示される。すなわち、ディスプレイ１ａの画面の上部には、「判定結果：一致」の文字と「スコア：数値（図１０では７６．８９）」の文字が表示され、その下方には、第２選択画像と、第１選択画像及び第２選択画像が一致していることを示すチェックマークが表示される。
また、ユーザが、第１ゼブラ画像及び第２ゼブラ画像が全体として一致しているか否かを参照する際にも、上記と同様の操作により、可否判定部１５ｃの判定結果がディスプレイ１ａに表示される。
例えば、可否判定部１５ｃにおいて、第１ゼブラ画像及び第２ゼブラ画像が全体として不一致であると判定され、ヒートマップ作成部１５ｄにおいて、ヒートマップが作成された場合、図１１に示すように、それらの判定結果及びヒートマップがディスプレイ１ａに表示される。すなわち、ディスプレイ１ａの画面の上部には、「判定結果：不一致」の文字と「スコア：数値（図１１では３．６３）」の文字が表示され、その下方には、ヒートマップが表示される。
以上のように、本実施形態の確率取得装置１によれば、自動車のクレイモデルを３次元スキャナによってスキャニングすることにより、点群データが取得され、この点群データにポリゴンメッシュ処理などを施すことにより、ポリゴンメッシュデータが取得されるとともに、このポリゴンメッシュデータをシェーディング表示した画像として、３次元の第１画像が取得される。
また、ＣＡＤソフトによって、ポリゴンメッシュデータからサーフェースデータが作成され、これをシェーディング表示した摸擬画像として、第２画像が取得される。この第２画像は、第１画像と同一部位の３次元画像であって、同一アングル、同一縮尺及び同一縦横サイズの画像として取得される。
さらに、第１ゼブラ画像に対して、メディアンフィルタ処理及びトリミング処理を施すことにより、第１選択画像が取得されるので、第１ゼブラ画像におけるノイズの影響を抑制しながら、第１選択画像を取得することができる。一方、第２ゼブラ画像に対して、Ｓｏｂｅｌフィルタ処理及びトリミング処理を施すことにより、第２選択画像が第１選択画像と同一部分の画像領域として取得されるので、第２ゼブラ画像から選択された画像領域の特徴をより反映させながら、第２選択画像を取得することができる。
そして、第１選択画像及び第２選択画像を互いに重畳することにより、重畳画像が作成され、これがＣＮＮ１５ｂに入力されることにより、第１選択画像及び第２選択画像の間における一致及び不一致の確率が取得される。
このＣＮＮ１５ｂの場合、前述したように、バックプロパゲーション法などによりモデルパラメータが十分に学習されているので、そのようなＣＮＮ１５ｂを用いることによって、第１選択画像及び第２選択画像の間における一致及び不一致の確率を精度よく取得することができる。
さらに、ｎ組の第１選択画像及び第２選択画像が取得されるので、第１ゼブラ画像及び第２ゼブラ画像において、不一致度合が大きい部分、一致度合の大きい部分、第１ゼブラ画像及び第２ゼブラ画像の間における全体としての一致／不一致度合を容易に判定することができる。これに加えて、第１選択画像及び第２選択画像の間において不一致の度合が高い場合、その要因となった箇所をヒートマップにより容易に特定することができる。
また、第１ゼブラ画像及び第２ゼブラ画像がいずれもグレースケール変換した画像として取得されるので、第１ゼブラ画像及び第２ゼブラ画像としてカラー画像を用いた場合と比べて、画像処理時の演算負荷を低減できるとともに、着色状態に起因する誤差の発生を抑制することができる。
なお、前述したトリミング部１４ｃでのトリミング手法は、前述した画像の一部を正方形に切り出す手法に限らず、以下に述べる手法を用いてもよい。例えば、ノイズ除去済みの第１ゼブラ画像及び特徴量抽出済みの第２ゼブラ画像として、図１２に示す横長の画像がトリミング部１４ｃに入力された場合には、図１２の画像を図１３に示すような正方形の画像にリサイズする手法を用いてもよい。この場合には、ノイズ除去済みの第１ゼブラ画像及び特徴量抽出済みの第２ゼブラ画像から、１組の第１選択画像及び第２選択画像が取得されることになる。
また、図１２の画像を、図１４に示すように正方形の複数の画像に分割する手法を用いてもよい。この場合には、ノイズ除去済みの第１ゼブラ画像及び特徴量抽出済みの第２ゼブラ画像から、複数組の第１選択画像及び第２選択画像が取得されることになる。さらに、図１２に示す横長の画像を、図１５に示すように、正方形の画像の中央にスケーリングする手法を用いてよい。この場合には、ノイズ除去済みの第１ゼブラ画像及び特徴量抽出済みの第２ゼブラ画像から、１組の第１選択画像及び第２選択画像が取得されることになる。
なお、実施形態は、対象物として、自動車のクレイモデルを用いた例であるが、本発明の対象物は、これに限らず、他の物体を対象物としてもよい。例えば、ドライヤー又はアイロンを対象物としてもよく、これら以外の産業機器を対象物としてもよい。
また、実施形態は、３Ｄスキャナによって取得した対象物の点群データをポリゴンメッシュデータに変換した後、これをシェーディング表示した画像として第１画像を取得した例であるが、本発明の第１画像は、これに限らず、対象物を測定又は撮影したデータに基づいて取得された３次元画像であればよい。例えば、高精度デジタルカメラによって対象物を撮影した撮影データから３次元画像を作成し、これを第１画像として用いてもよい。
さらに、実施形態は、３Ｄスキャナによって取得した対象物の点群データをポリゴンメッシュデータに変換した後、ＣＡＤソフトによって、このポリゴンメッシュデータからサーフェースデータを作成し、これをシェーディング表示した摸擬画像として、第２画像を取得した例であるが、本発明の第２画像は、これに限らず、対象物の３次元の模擬画像であればよい。例えば、第２画像として、ＣＡＤソフト以外の、３Ｄレンダリング手法によって、ポリゴンメッシュデータから作成した摸擬画像を用いてもよい。
一方、実施形態は、所定の機械学習モデルとして、ＣＮＮを用いた例であるが、本発明の所定の機械学習モデルは、これに限らず、第１選択画像及び第２選択画像が入力されたときに、第１選択画像及び第２選択画像の間における一致及び不一致の確率を出力するものであればよい。例えば、所定の機械学習モデルとして、ＤＮＮ（深層ニューラルネットワーク）又はＲＮＮ（再帰型ニューラルネットワーク）などを用いてもよい。
また、実施形態は、所定の第１画像処理として、メディアンフィルタ処理及びトリミング処理を用いた例であるが、本発明の所定の第１画像処理は、これらに限らず、第１ゼブラ画像から選択した一部の画像領域に対して、所定の第１画像処理を施すことにより、第１選択画像が取得されるものであればよい。例えば、所定の第１画像処理として、平滑化フィルタ処理及びトリミング処理を用いてもよい。
さらに、実施形態は、所定のノイズ除去処理として、メディアンフィルタ処理を用いた例であるが、これに代えて、縮小・膨張処理を用いてもよい。
一方、実施形態は、所定の第２画像処理として、所定の特徴量抽出処理及びトリミング処理を用いた例であるが、本発明の所定の第２画像処理は、これらに限らず、第２ゼブラ画像から選択した第１選択画像と同一部分の画像領域に対して、所定の第２画像処理を施すことにより、第２選択画像が取得されるものであればよい。例えば、所定の第２画像処理として、エッジ処理及びトリミング処理を用いてもよい。
また、実施形態は、所定の特徴量抽出処理として、Ｓｏｂｅｌフィルタ処理を用いた例であるが、これに代えて、ＣＡＮＮＹ法及びｓｋｅｌｔｏｎ法の一方を所定の特徴量抽出処理として用いてもよい。
さらに、実施形態は、第１ゼブラ画像及び第２ゼブラ画像として、グレースケール変換した画像を用いた例であるが、第１ゼブラ画像及び第２ゼブラ画像として、カラー画像を用いてもよい。このように、第１ゼブラ画像及び第２ゼブラ画像としてカラー画像を用いた場合、画像処理時の演算負荷が増大し、着色状態に起因する誤差が発生する関係上、これらの観点から、実施形態のように、グレースケール変換した画像を用いた方が有利である。
１ 確率取得装置
１１ 第１画像取得部
１２ 第２画像取得部
１３ ゼブラ画像取得部
１４ 選択画像取得部
１５ 確率取得部
１５ｂ ＣＮＮ

Claims (7)

  1. 対象物を測定又は撮影したデータに基づき、前記対象物の３次元画像である第１画像を取得する第１画像取得部と、
    前記対象物の３次元の模擬画像である第２画像を取得する第２画像取得部と、
    前記第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、前記第２画像にゼブラシェーディング処理を施した第２ゼブラ画像とを、同一アングル、同一縮尺及び同一縦横サイズの画像として取得するゼブラ画像取得部と、
    前記第１ゼブラ画像から前記対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより、第１選択画像を取得するとともに、前記第２ゼブラ画像から当該第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより、第２選択画像を取得する選択画像取得部と、
    前記第１選択画像及び前記第２選択画像を所定の機械学習モデルに入力することにより、当該所定の機械学習モデルの出力として、前記第１選択画像及び前記第２選択画像の間における一致及び不一致の確率を取得する確率取得部と、
    を備え、
    前記所定の第１画像処理では、前記第１ゼブラ画像から選択した前記一部の画像領域に対して、所定のノイズ除去処理が施され、前記所定の第２画像処理では、前記第２ゼブラ画像から選択した前記同一部分の画像領域に対して、所定の特徴量抽出処理が施されることを特徴とする確率取得装置。
  2. 請求項１に記載の確率取得装置において、
    前記所定のノイズ除去処理は、メディアンフィルタ処理及び縮小・膨張処理の一方であることを特徴とする確率取得装置。
  3. 請求項１又は２に記載の確率取得装置において、
    前記所定の特徴量抽出処理は、Ｓｏｂｅｌフィルタ処理、ＣＡＮＮＹ法及びｓｋｅｌｔｏｎ法の１つであることを特徴とする確率取得装置。
  4. 請求項１ないし３のいずれかに記載の確率取得装置において、
    前記ゼブラ画像取得部は、前記第１ゼブラ画像及び前記第２ゼブラ画像をいずれもグレースケール画像として取得することを特徴とする確率取得装置。
  5. 対象物を測定又は撮影したデータに基づき、前記対象物の３次元画像である第１画像を取得する第１画像取得部と、
    前記対象物の３次元の模擬画像である第２画像を取得する第２画像取得部と、
    前記第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、前記第２画像にゼブラシェーディング処理を施した第２ゼブラ画像とを、同一アングル、同一縮尺及び同一縦横サイズの画像として取得するゼブラ画像取得部と、
    前記第１ゼブラ画像から前記対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより、第１選択画像を取得するとともに、前記第２ゼブラ画像から当該第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより、第２選択画像を取得する選択画像取得部と、
    前記第１選択画像及び前記第２選択画像を所定の機械学習モデルに入力することにより、当該所定の機械学習モデルの出力として、前記第１選択画像及び前記第２選択画像の間における一致及び不一致の確率を取得する確率取得部と、
    を備え、
    前記所定の機械学習モデルは、ＣＮＮであり、
    前記選択画像取得部は、前記第１選択画像及び前記第２選択画像を縦横比が１：１の画像として取得し、
    前記確率取得部は、前記第１選択画像及び前記第２選択画像を互いに重畳した１つの重畳画像として前記ＣＮＮに入力することを特徴とする確率取得装置。
  6. 対象物を測定又は撮影したデータに基づき、前記対象物の３次元画像である第１画像を取得し、
    前記対象物の３次元の模擬画像である第２画像を取得し、
    前記第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、前記第２画像にブラシェーディング処理を施した第２ゼブラ画像とを、同一アングル、同一縮尺及び同縦横サイズの画像として取得し、
    前記第１ゼブラ画像から前記対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより第１選択画像を取得し、
    前記第２ゼブラ画像から当該第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより第２選択画像を取得し、
    前記第１選択画像及び前記第２選択画像を所定の機械学習モデルに入力することにより、前記第１選択画像及び前記第２選択画像の間における一致及び不一致の確率を取得し、
    前記所定の第１画像処理では、前記第１ゼブラ画像から選択した前記一部の画像領域に対して、所定のノイズ除去処理が施され、
    前記所定の第２画像処理では、前記第２ゼブラ画像から選択した前記同一部分の画像領域に対して、所定の特徴量抽出処理が施されることを特徴とする確率取得方法。
  7. 対象物を測定又は撮影したデータに基づき、前記対象物の３次元画像である第１画像を取得し、
    前記対象物の３次元の模擬画像である第２画像を取得し、
    前記第１画像にゼブラシェーディング処理を施した第１ゼブラ画像と、前記第２画像にブラシェーディング処理を施した第２ゼブラ画像とを、同一アングル、同一縮尺及び同縦横サイズの画像として取得し、
    前記第１ゼブラ画像から前記対象物の少なくとも一部の画像領域を選択して所定の第１画像処理を施すことにより第１選択画像を縦横比が１：１の画像として取得し、
    前記第２ゼブラ画像から当該第１選択画像と同一部分の画像領域を選択して所定の第２画像処理を施すことにより第２選択画像を縦横比が１：１の画像として取得し、
    前記第１選択画像及び前記第２選択画像を互いに重畳した１つの重畳画像としてＣＮＮに入力することにより、前記第１選択画像及び前記第２選択画像の間における一致及び不一致の確率を取得することを特徴とする確率取得方法。
JP2020004590A 2020-01-15 2020-01-15 確率取得装置及び確率取得方法 Active JP7414540B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020004590A JP7414540B2 (ja) 2020-01-15 2020-01-15 確率取得装置及び確率取得方法
US17/141,626 US11640535B2 (en) 2020-01-15 2021-01-05 Probability acquisition apparatus and probability acquisition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020004590A JP7414540B2 (ja) 2020-01-15 2020-01-15 確率取得装置及び確率取得方法

Publications (2)

Publication Number Publication Date
JP2021111275A JP2021111275A (ja) 2021-08-02
JP7414540B2 true JP7414540B2 (ja) 2024-01-16

Family

ID=76763166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004590A Active JP7414540B2 (ja) 2020-01-15 2020-01-15 確率取得装置及び確率取得方法

Country Status (2)

Country Link
US (1) US11640535B2 (ja)
JP (1) JP7414540B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099762A (ja) 1998-09-25 2000-04-07 Honda Motor Co Ltd ３次元ｃａｄモデルに対する陰影処理方法およびその装置
JP2014224803A (ja) 2013-04-26 2014-12-04 本田技研工業株式会社 ワーク品質判定方法及びワーク品質判定システム
US20170372127A1 (en) 2016-06-24 2017-12-28 Skusub LLC System and Method for Part Identification Using 3D Imaging

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6548686B2 (ja) 2017-03-30 2019-07-24 セコム株式会社 画像比較装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099762A (ja) 1998-09-25 2000-04-07 Honda Motor Co Ltd ３次元ｃａｄモデルに対する陰影処理方法およびその装置
JP2014224803A (ja) 2013-04-26 2014-12-04 本田技研工業株式会社 ワーク品質判定方法及びワーク品質判定システム
US20170372127A1 (en) 2016-06-24 2017-12-28 Skusub LLC System and Method for Part Identification Using 3D Imaging

Also Published As

Publication number Publication date
JP2021111275A (ja) 2021-08-02
US11640535B2 (en) 2023-05-02
US20210216748A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
JP4926116B2 (ja) 画像検査装置
JP5777367B2 (ja) パターン識別装置、パターン識別方法及びプログラム
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN113409461B (zh) 构建地貌地图的方法、装置、电子设备和可读存储介质
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN110909615A (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN112884669A (zh) 基于多尺度内容注意力机制的图像修复方法、存储介质和终端
CN113077419A (zh) 用于髋关节ct影像识别的信息处理方法及装置
CN113744142B (zh) 图像修复方法、电子设备及存储介质
CN109448093B (zh) 一种风格图像生成方法及装置
CN113569896A (zh) 基于图像和深度数据进行对象3d定位的计算机实现方法
JP5295044B2 (ja) マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
JP2023003763A (ja) 学習装置、画像処理装置、学習処理方法、及びプログラム
JP7414540B2 (ja) 確率取得装置及び確率取得方法
JP2003141567A (ja) ３次元都市モデル生成装置及び３次元都市モデル生成方法
CN111383054A (zh) 广告检验方法和装置
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
JP3897306B2 (ja) 地理画像間変化領域の抽出の支援方法及び地理画像間変化領域の抽出を支援可能なプログラム
JP2775122B2 (ja) イラストデータの自動輪郭抽出ベクトル化処理方法，及びそれに使用する処理装置
JP6962662B2 (ja) 検出装置及びプログラム
CN114219757A (zh) 一种基于改进Mask R-CNN的车辆智能定损方法
CN113344838A (zh) 图像融合方法、装置、电子设备及可读存储介质
KR101117045B1 (ko) 부재 검색을 위한 3차원 데이터의 평활화를 위한 노이즈 제거 시스템 및 그 제거 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150