JP6658054B2 - 車体部品の施工部位判定システム及び施工部位判定方法 - Google Patents

車体部品の施工部位判定システム及び施工部位判定方法 Download PDF

Info

Publication number
JP6658054B2
JP6658054B2 JP2016027110A JP2016027110A JP6658054B2 JP 6658054 B2 JP6658054 B2 JP 6658054B2 JP 2016027110 A JP2016027110 A JP 2016027110A JP 2016027110 A JP2016027110 A JP 2016027110A JP 6658054 B2 JP6658054 B2 JP 6658054B2
Authority
JP
Japan
Prior art keywords
dimensional image
construction site
construction
image data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016027110A
Other languages
English (en)
Other versions
JP2017144454A (ja
Inventor
克秀 有元
克秀 有元
貴夫 水野
貴夫 水野
雄太 横道
雄太 横道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Auto Body Co Ltd
Original Assignee
Toyota Auto Body Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Auto Body Co Ltd filed Critical Toyota Auto Body Co Ltd
Priority to JP2016027110A priority Critical patent/JP6658054B2/ja
Priority to PCT/JP2016/077317 priority patent/WO2017141475A1/ja
Publication of JP2017144454A publication Critical patent/JP2017144454A/ja
Priority to US15/807,764 priority patent/US10507550B2/en
Application granted granted Critical
Publication of JP6658054B2 publication Critical patent/JP6658054B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K11/00—Resistance welding; Severing by resistance heating
    • B23K11/10—Spot welding; Stitch welding
    • B23K11/11—Spot welding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、車体部品の施工部位を判定する技術に関する。
自動車の製造工程においては、種々の車体部品に対してスポット溶接が施工された後、このスポット溶接が予め作成された工法書に従って適正になされているか否かが検査される。従来、この検査は、スポット溶接によって形成された打点を作業者が目視で確認する視覚的検査として行われていた。例えば、作業者は、スポット溶接が施工された車体部品について、スポット溶接によって形成された打点の数と位置を目視によって確認する。その後、作業者は、その検査結果をチェックシート等に手書きで記入する。ところが、このような検査手法は、作業者本人の判断のみによるため人為的な誤判定の原因になり得る。
そこで、視覚的検査による検査手法の問題点を解消するべく、下記特許文献１には、カメラを用いて打点の判定を行う検査システムが開示されている。この検査システムでは、車体部品における打点を指し示す指示具と、指示具に設けられた識別部に向けて配置されるカメラと、が使用される。カメラを車体部品に対して固定位置に配置した後、このカメラによって車体部品を撮影することによってカメラからの撮像信号に基づいて打点の位置を検出する。そして、検出した打点の位置を予め登録された打点の位置と照合することによって、検出した打点の位置が適正であるか否かを判定する。
特開２００７−１５２３７１号公報
しかしながら、上記特許文献１に開示の検査システムを用いる場合、カメラを車体部品に対して決まった位置に固定配置する必要がある。従って、準備作業に時間及び工数がかかる。また、カメラとは別に、該カメラを固定する固定部材、及び打点を指し示す指示具を少なくとも準備する必要があり、検査に要するコストが高い。
そこで、この種のシステムの設計に際しては、車体部品の施工部位を簡単に且つ低コストで判定できる技術が求められている。また、この技術では、スポット溶接の打点が形成された施工部位のみならず、車体部品に開口形成された開口穴、車体部品に溶接されたボルト、ナット、座金などの施工部位についても同様に判定できるのが好ましい。
本発明は、かかる課題に鑑みてなされたものであり、車体部品の施工部位を簡単に且つ低コストで判定するのに有効な技術を提供しようとするものである。
本発明の一態様は、
車体部品の３次元画像を記録する撮影装置と、
上記撮影装置によって記録された上記車体部品の３次元画像に基づいて、上記車体部品の施工部位を判定する処理を行う処理装置と、を備え、
上記処理装置は、
上記３次元画像を３次元画像データに変換する画像処理部と、
上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品において上記施工部位と異なる基準部位とを抽出する抽出部と、
上記基準部位を位置合わせ基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行う位置合わせ部と、
上記位置合わせ部によって位置合わせされた上記３次元画像データ及び上記３次元設計データについて、上記抽出部によって上記３次元画像データから抽出された上記施工部位と上記抽出部によって上記３次元設計データから抽出された上記施工部位との関係を判定する判定部と、を備える、車体部品の施工部位判定システムにある。
本発明の他の態様は、
車体部品の施工部位を判定する、車体部品の施工部位判定方法であって、
上記車体部品の３次元画像を記録する撮影装置を準備し、
上記撮影装置によって記録された上記車体部品の３次元画像を３次元画像データに変換し、
変換した上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品において上記施工部位と異なる基準部位とを抽出し、
抽出した上記基準部位を位置合わせ基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行い、
位置合わせした上記３次元画像データ及び上記３次元設計データについて、上記３次元画像データから抽出した上記施工部位と上記３次元設計データから抽出した上記施工部位との関係を判定する、車体部品の施工部位判定方法にある。
上記の、車体部品の施工部位判定システム、及び車体部品の施工部位判定方法によれば、３次元画像データから基準部位を抽出し、且つこの基準部位を基準にして３次元画像データと３次元設計データとの位置合わせを行うことができる。このため、撮影装置を車体部品に対して決まった位置に固定配置する必要がない。従って、可搬式の３Ｄカメラのような比較的安価な撮影装置を使用することができる。また、作業者は撮影環境（車体部品に対する角度、明るさ、距離など）を気にすることなく、撮影装置によって車体部品を簡単に撮影することができる。更に、施工部位についての判定が視覚的な判定によらない場合には、作業に要する時間及び工数を低く抑えることができ、また人為的な誤判定が生じるのを阻止できる。
以上のごとく、上記の車体部品の施工部位判定システム、及び車体部品の施工部位判定方法によれば、車体部品の施工部位を簡単に且つ低コストで判定することが可能になる。
本実施形態の、車体部品の施工部位判定システムの概要を示す図。 図１中の処理装置におけるデータ確認画面の表示例を示す図。 図１中の処理装置による処理フローを示す図。 図３の処理フローの第１ステップにおける処理を模式的に示す図。 図３の処理フローの第２ステップにおける、施工部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第２ステップにおける、基準部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第３ステップにおける、施工部位についてのデータの抽出を模式的に示す図。 図３の処理フローの第３ステップにおける、基準部位についてのデータの抽出を模式的に示す図。 第３ステップで用いる抽出ロジックを説明するための図。 ３次元設計データと３次元画像データとの座標系の相違を説明するための図。 座標系の変換ロジックを説明するための図。 ３次元設計データと３次元画像データとを同一の座標系で重ね合わせた状態の図。 帳票の記載例を示す図。
本実施形態において、「施工部位」とは、車体を構成する車体部品において所定の施工がなされた部位、若しくは所定の施工が予定された部位をいう。従って、施工部位の判定によって、施工部位に実際になされている施工結果が設計通りのものであるか否かが判定され、若しくは施工部位に予定通り施工されているか否かが判定される。
また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記抽出部は、上記施工部位及び上記基準部位のそれぞれの形状の特徴を識別するように予め機械学習がなされた分類器を有し、上記分類器によって上記施工部位及び上記基準部位のそれぞれを抽出するのが好ましい。これにより、抽出部が施工部位及び基準部位のそれぞれを抽出する精度を高めることができる。
また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記位置合わせ部は、上記抽出部によって抽出された上記基準部位を基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行うのが好ましい。これにより、位置合わせ部における３次元画像データと３次元設計データとの位置合わせの精度を高めることができる。
また、上記の車体部品の施工部位判定システムにおいて、上記処理装置の上記判定部は、上記３次元画像データから上記施工部位が抽出され且つ該施工部位と上記３次元設計データから抽出された上記施工部位との間の距離が予め設定された許容値を下回る場合に、上記関係として上記車体部品における上記施工部位に設計通りの施工がなされていると判定するのが好ましい。これにより、判定部による適正な判定が可能になる。
また、上記の車体部品の施工部位判定システムにおいて、上記車体部品における上記施工部位は、スポット溶接による打点が形成される部位であるのが好ましい。これにより、スポット溶接による打点について、３次元画像データにおける打点と３次元設計データにおける打点との関係を判定することができる。
また、上記の車体部品の施工部位判定システムは、上記処理装置の上記判定部による判定結果を出力する出力装置を備えるのが好ましい。これにより、出力装置によって出力された判定結果を複数の人でチェックできる。その結果、人為的な誤判定を起こりにくくすることができる。
また、上記の車体部品の施工部位判定システムにおいて、上記出力装置は、上記判定結果とともに上記施工部位の３次元画像を表示するのが好ましい。これにより、作業者若しくは確認者は、施工部位の３次元画像に着目することによって、施工部位に設計通りの施工がなされているか否かを一目で確認できる。
以下、本実施形態の車体部品の施工部位判定システム及び施工部位判定方法について、図面を参照しつつ説明する。
図１に示されるように、施工部位判定システム１は、車体部品Ｗの施工部位を判定するシステムである。この施工部位判定システム１は、撮影装置１０、処理装置２０、出力装置３０、サーバ４０及びＬＡＮ５０を含む。この施工部位判定システム１を、「施工部位判定装置」ということもできる。車体部品Ｗとして、自動車の車体を構成する各種の製品を対象とすることができる。この車体部品Ｗには、施工部位Ｐ及び基準部位Ｑが含まれている。
撮影装置１０は、車体部品Ｗの撮影によってこの車体部品Ｗの３次元画像を記録する機能を有する。この撮影装置１０は、処理装置２０に接続されることによって、処理装置２０との間でのデータの送受信が可能になる。この撮影装置１０は、車体部品Ｗの撮影時に処理装置２０に接続された状態であってもよいし、或いは処理装置２０から分離された状態であってもよい。
本実施形態では、この撮影装置１０が３Ｄカメラによって構成されている。３Ｄカメラとして、２つのレンズのそれぞれで撮影された画像を合成することによって３次元画像を得る複眼式のカメラや、１つのレンズで角度を変えて２回撮影された画像を合成することによって３次元画像を得る単眼式のカメラを用いることができる。この３Ｄカメラとして、可搬式の小型カメラや、特定の位置に設置される大型の定点カメラを用いることができる。処理装置２０による後述の処理についての要求精度が高くない場合には、コストメリットの高い安価な可搬式の小型カメラを用いるのが好ましい。
処理装置２０は、撮影装置１０によって記録された車体部品Ｗの３次元画像に基づいて、車体部品Ｗの施工部位Ｐを判定する処理を行う機能を有する。この処理装置２０は、画像処理部２１、記憶部２２、入出力部２３及び演算部２４を備えている。この処理装置２０は、モニター（表示手段）、キーボード（入力手段）、マウス（選択手段）、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する、デスクトップ型若しくはノート型のパーソナルコンピュータ（ＰＣ）によって構成されている。
出力装置３０は、データを印字によって出力するプリンター、データを表示によって出力するモニター、データを音声によって出力するスピーカーのうちの少なくとも１つによって構成されている。
サーバ４０は、ＬＡＮ５０を介して送信された入力データを記憶する一方で、記憶しているデータを要求先からの制御信号に応じて読み出して要求先に送信する機能を有する。このサーバ４０は、上記の入力データとして、複数の車体部品Ｗのそれぞれについての３次元設計データ（「３次元ＣＡＤデータ」ともいう。）を記憶するように構成されている。この３次元設計データは、車体部品Ｗの設計上の３次元の点群データであり、車体部品Ｗの要求仕様書（工法書）に基づいて作製されている。
画像処理部２１は、撮影装置１０によって撮影された車体部品Ｗの３次元画像を、直交座標（Ｘ，Ｙ，Ｚ）で表現される３次元の点群データ、即ち３次元画像データ（「３次元製品データ」ともいう。）に変換する機能を有する。この画像処理部２１によって得られた、車体部品Ｗの３次元画像データは、記憶部２２に送信される。
この画像処理部２１は、所定の処理開始信号に応じて３次元画像を３次元画像データに変更する変換処理を実行するように構成されている。一方で、この画像処理部２１は、撮影装置１０と処理装置２０との接続時にこの変換処理を自動的に実行するように構成されてもよい。
記憶部２２は、撮影装置１０から送信された３次元画像、画像処理部２１から送信された３次元画像データ、及びサーバ４０から入出力部２３を経由して送信された３次元設計データを記憶（格納）する機能を有する。この記憶部２２は、画像処理部２１、入出力部２３及び演算部２４のそれぞれとの間でデータの送受信が可能になっている。
入出力部２３は、外部機器との間でデータの送受信を行う機能を有する。この外部機器は、上記の出力装置３０、サーバ４０及びＬＡＮ５０のそれぞれに接続された複数のＯＡ端末等によって構成されている。
演算部２４は、記憶部２２或いは入出力部２３から入力された情報を処理する機能を有し、抽出部２５、位置合わせ部２６、判定部２７を備えている。
抽出部２５は、画像処理部２１によって変換された３次元画像データと、車体部品Ｗの設計に用いられる３次元設計データとのそれぞれを記憶部２２から読み出して、これら３次元画像データ及び３次元設計データとの双方からそれぞれ、施工部位及び基準部位を抽出する機能を有する。
本実施形態の場合、車体部品Ｗの施工部位Ｐは、スポット溶接によるスポット溶接打点（以下、単に「打点」ともいう。）が形成される部位として予め設定されている。また、車体部品Ｗの基準部位Ｑは、開口穴が開口形成された部位として予め設定されている。
位置合わせ部２６は、抽出部２５によって抽出された基準部位Ｑａ，Ｑｂを基準にして３次元画像データ及び３次元設計データの位置合わせを行う機能を有する。基準部位Ｑａは、抽出部２５によって３次元設計データから抽出される。基準部位Ｑｂは、抽出部２５によって３次元画像データから抽出される。
判定部２７は、位置合わせ部２６によって位置合わせされた３次元画像データ及び３次元設計データについて、抽出部２５によって３次元設計データから抽出された施工部位Ｐａと抽出部２５によって３次元画像データから抽出された施工部位Ｐｂとの関係を判定する。具体的には、実際に施工がなされる予定の施工部位Ｐに対応した施工部位Ｐｂの状態が、要求仕様書に係る施工部位Ｐａの通りであるか否か、即ち施工部位Ｐに設計通りの施工がなされているか否かが、この判定部２７によって判定される。
この判定において、施工部位Ｐに実際に施工がなされているか否かは問わない。施工部位Ｐに実際に施工がなされている場合には、施工部位Ｐａと施工部位Ｐｂとの対比によって、施工部位Ｐになされている施工結果（数及び位置）が設計通りのものであるか否かが判定される。これに対して、施工部位Ｐに実際に施工がなされていない場合には、施工部位Ｐａと施工部位Ｐｂとの対比によって、施工部位Ｐに予定通り施工されているか否かが判定される。
撮影装置１０によって記録された車体部品Ｗの３次元画像ｄは、例えば、処理装置２０のモニターに表示されるデータ確認画面（図２参照）上で登録される。このデータ確認画面には、登録情報をプルダウンリストから選択可能な複数の入力欄６１が表示される。入力欄６１における登録情報には、車体部品Ｗにスポット溶接が施工されたロボットの管理番号等が含まれている。また、このデータ確認画面の表示部６２には、複数の入力欄６１の登録情報によって特定される、車体部品Ｗの３次元設計データｄ１が表示される。更に、このデータ確認画面の表示部６４には、ファイル欄６３において指定されたファイル先に保存されている、車体部品Ｗの３次元画像ｄが表示される。
なお、処理装置２０において処理を実行する前の準備作業として、作業者は、撮影装置１０を使用して車体部品Ｗを撮影する。このとき、車体部品Ｗの施工部位Ｐ及び基準部位Ｑの双方が写るように撮影される必要がある。これにより、処理装置２０の処理で使用される、車体部品Ｗの３次元画像ｄが得られる。
表示部６４に表示された３次元画像ｄは、「処理対象に追加」と表示された表示領域６５がクリックされることによって、３次元設計データｄ１に紐付けされた情報として記憶部１２に記憶される。「判定処理実行」と表示された表示領域６６がクリックされると、所定の処理開始信号によって処理装置２０による処理が自動的に実行される。この処理について、以下に図３〜１３を参照しつつ説明する。
処理装置２０による処理には、図３中のステップＳ１０１からステップＳ１０５までのステップが含まれている。これらのステップに対して、必要に応じて１または複数のステップが追加されてもよい。
ステップＳ１０１は、指定された車体部品Ｗについて、その３次元画像ｄを３次元画像データｄ２に変換するステップ（第１ステップ）である。このステップＳ１０１は、処理装置２０の画像処理部２１によって実行される。このステップＳ１０１によれば、車体部品Ｗの３次元画像ｄが記憶部２２から読み出され、直交座標（Ｘ，Ｙ，Ｚ）で表現される３次元の点群データである３次元画像データｄ２に変換される。このステップＳ１０１で得られた３次元画像データｄ２は、記憶部２２に記憶される。
なお、処理装置２０における処理精度を高めるためには、図４が参照されるように、車体部品Ｗが異なる角度で撮影された複数種類の３次元画像ｄ（図４では、３次元画像ｄａと３次元画像ｄｂとの２種類について記載）を使用するのが好ましい。
ステップＳ１０２は、指定された車体部品Ｗについて、３次元設計データｄ１の特徴点である施工部位Ｐａ及び基準部位Ｑａのそれぞれの取り込みを行うステップ（第２ステップ）である。このステップＳ１０２は、処理装置２０の抽出部２５によって実行される。このステップＳ１０２によれば、記憶部２２から３次元設計データｄ１が読み出され、この３次元設計データｄ１から施工部位Ｐａについてのデータが取り込まれる（抽出される）。
図５に示されるように、この施工部位Ｐａには、車体部品Ｗにスポット溶接によって形成される予定の５つの打点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１が含まれている。同様に、３次元設計データｄ１から基準部位Ｑａについてのデータが取り込まれる（抽出される）。図６に示されるように、この基準部位Ｑａには、車体部品Ｗに設けられる予定の３つの開口穴Ｌ１，Ｍ１，Ｎ１が含まれている。
ステップＳ１０３は、指定された車体部品Ｗについて、３次元画像データｄ２の特徴点である施工部位Ｐｂ及び基準部位Ｑｂのそれぞれの検出を行うステップ（第３ステップ）である。このステップＳ１０３は、処理装置２０の抽出部２５によって実行される。このステップＳ１０３は、ステップＳ１０２と同時並行的に実行されてもよいし、或いはステップＳ１０２よりも前に実行されてもよいし、或いはステップＳ１０２に引き続いて実行されてもよい。
このステップＳ１０３によれば、記憶部２２から３次元画像データｄ２が読み出され、この３次元画像データｄ２から施工部位Ｐｂについてのデータが検出（抽出される）。図７に示されるように、この施工部位Ｐｂには、車体部品Ｗにスポット溶接によって形成されていると想定される５つの打点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２が含まれている。同様に、３次元画像データｄ２から基準部位Ｑｂについてのデータが検出（抽出される）。図８に示されるように、この基準部位Ｑｂには、車体部品Ｗに設けられている３つの開口穴Ｌ２，Ｍ２，Ｎ２が含まれている。
本実施形態では、ステップＳ１０２における施工部位Ｐａ及び基準部位Ｑａや、ステップＳ１０３における施工部位Ｐｂ及び基準部位Ｑｂを精度良く抽出するために、図９に示される抽出ロジックを用いている。この抽出ロジックを実行するために、処理装置２０の抽出部２５は分類器ＤＣを備えている。
図９に示されるように、例えば施工部位Ｐｂに含まれる打点Ａ２を抽出する場合、分類器ＤＣは、打点Ａ２の形状の特徴を識別するように予め機械学習がなされている。この場合、打点Ａ２が含まれる複数のサンプル画像データＳａと、打点Ａ２とは異なる形状Ａ３が含まれる複数のサンプル画像データＳｂと、を準備する。そして、これらの複数のサンプル画像データＳａ，Ｓｂを分類器ＤＣに入力して、サンプル画像データＳａに含まれる打点Ａ２の形状の特徴を学習させる。これにより、打点Ａ２の形状、若しくは打点Ａ２の形状に近い形状を有する識別対象を識別可能な分類器ＤＣを作成できる。この分類器ＤＣによれば、入力画像データＳｃに打点Ａ２及び形状Ａ３の双方が含まれる場合、この入力画像データＳｃに含まれる情報から識別対象としての打点Ａ２を識別できる。
その他の打点や、基準点についても、この打点Ａ２の場合と同様の抽出ロジックを使用した抽出が可能である。
なお、分類器ＤＣの具体的な作成手法については、例えば、Ｈａａｒ−Ｌｉｋｅアルゴリズムによる分類器作成についてリンクhttp://gihyo.jp/dev/feature/01/opencv/0003に記載されている説明、ＬＢＰアルゴリズムによる分類器作成についてリンクhttp://compsci.world.coocan.jp/OUJ/2012PR/pr_15_a.pdfに記載されている説明、ＨＯＧアルゴリズムによる分類器作成についてリンクhttp://www.vision.cs.chubu.ac.jp/joint_hog/pdf/HOG+Boosting_LN.pdfに記載されている説明等を参考にすることができる。
ステップＳ１０４は、抽出部２５によって抽出された基準部位Ｑａ，Ｑｂを基準にして３次元設計データｄ１及び３次元画像データｄ２の位置合わせを行うステップ（第４ステップ）である。このステップＳ１０４は、ステップＳ１０２及びステップＳ１０３の終了後に、処理装置２０の位置合わせ部２６によって実行される。
ここで、３次元画像データの座標系は、人による撮影位置等に応じて撮影毎に変わる（１つに定まらない）ため、３次元設計データの座標系と異なる。従って、図１０が参照されるように、３次元画像データｄ２の座標系は３次元設計データｄ１の座標系と相違する。そこで、この位置合わせ部２６によれば、基準部位Ｑａと基準部位Ｑｂとを互いに合わせることによって、３次元画像データｄ２の座標系を３次元設計データｄ１の座標系に合わせることができる。
具体的には、図１１の座標系の変換ロジックが参照されるように、３次元設計データｄ１の基準部位Ｑａに含まれる３つの開口穴Ｌ１，Ｍ１，Ｎ１を頂点とした三角形Ｔ１と、３次元画像データｄ２の基準部位Ｑｂに含まれる３つの開口穴Ｌ２，Ｍ２，Ｎ２を頂点とした三角形Ｔ２とを対比する。そして、開口穴Ｌ２を開口穴Ｌ１に合わせ、且つ開口穴Ｍ２を開口穴Ｍ１に合わせ、且つ開口穴Ｎ２を開口穴Ｎ１に合わせるように、３次元画像データｄ２の座標系を変換する。
その結果、図１２に示されるように、３次元設計データｄ１及び３次元画像データｄ２は、同一の座標系で且つ基準部位Ｑａと基準部位Ｑｂとが一致するように互いに重ね合わせられた状態で表示される。この変換ロジックでは、異なる座標系を互いに合わせるために、開口穴のような基準点が少なくとも３つ必要になる。
ステップＳ１０５は、３次元画像データｄ２から抽出された施工部位Ｐｂと３次元設計データｄ１から抽出された施工部位Ｐａとの関係を判定するステップである。このステップＳ１０５は、ステップＳ１０４の終了後に、処理装置２０の判定部２７によって実行される。このステップＳ１０５によれば、図１２が参照されるように、３次元設計データｄ１（図中の実線参照）における施工部位Ｐａ（打点Ａ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１）と、３次元画像データｄ２（図中の二点鎖線参照）における施工部位Ｐｂ（打点Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２）との関係が判定される。
具体的には、３次元画像データｄ２を３次元設計データｄ１と対比することによって、３次元画像データｄ２に３次元設計データｄ１の各打点に対応した打点が有るか否かが判定される（第１の判定）。図１２では、互いに重ね合わせられた３次元設計データｄ１及び３次元画像データｄ２について、３次元設計データｄ１に含まれている打点が「△」で示され、３次元画像データｄ２に含まれている打点が「□」で示されている。この第１の判定によれば、車体部品Ｗに実際に施工された打点の数（Ｎｕｍｂｅｒ）を確認できる。
第１の判定において、３次元画像データｄ２に３次元設計データｄ１の打点に対応した打点が有ると判定された場合（第１の判定結果が「ＹＥＳ」の場合）、更に、３次元設計データｄ１の打点に対する３次元画像データｄ２の打点の位置ずれ（以下、「誤差」という。）が予め設定された許容値を下回るか否かが判定される（第２の判定）。この場合、誤差は、比較する２つの打点間の距離として算出される。この第２の判定によれば、車体部品Ｗに実際に施工された打点の位置（Ｐｏｓｉｔｉｏｎ）を確認できる。
そして、第１の判定結果が「ＹＥＳ」であり、且つ第２の判定結果が「ＹＥＳ」の場合に、判定に係る打点が合格（ＯＫ）であり、打点が設計通り形成されていると判定される。そして、判定対象である全打点について合格（ＯＫ）である場合に、車体部品Ｗの施工部位Ｐに設計通りの施工がなされていると判定される。
図１３に示されるように、本実施形態では、上記の判定部２７による判定結果を示す帳票７０が上記の出力装置３０によって印字出力される。帳票７０には、車体部品Ｗの３次元画像ｄを表示する欄７１と、施工部位Ｐの打点のチェック結果（３次元画像データｄ２における施工部位Ｐｂの判定結果）を示すチェック結果一覧７２と、が記載されている。チェック結果一覧７２には、施工部位Ｐの各打点を示す打点番号の欄７３、打点画像の欄７４、誤差の欄７５及び結果の欄７６が含まれている。
なお、欄７１に３次元画像ｄに代えて３次元画像データｄ２が表示されてもよい。また、帳票７０の印字に代えて或いは加えて、帳票７０の記載の内容がモニター（図示省略）に表示されてもよい。
誤差の欄７５において、誤差ｅ１は、打点Ａ１と打点Ａ２との間の距離として算出されている。誤差ｅ２は、打点Ｂ１と打点Ｂ２との間の距離として算出されている。誤差ｅ３は、打点Ｃ１と打点Ｃ２との間の距離として算出されている。誤差ｅ４は、打点Ｄ１と打点Ｄ２との間の距離として算出されている。誤差ｅ５は、打点Ｅ１と打点Ｅ２との間の距離として算出されている。
作業者若しくは確認者は、結果の欄７６を視認することによって、各打点のチェック結果が合格（ＯＫ）であるか否かを確認できる。これにより、車体部品Ｗに実際に施工されている打点の数及び位置のチェック（ＮＰチェック）を容易に行うことができる。
また、本実施形態では、打点画像の欄７４に、車体部品Ｗに実際に施工された打点の３次元画像が表示されるように設定されている。このため、スポット溶接が実際に施工されている場合には、打点画像の欄７４に打点の３次元画像が母材の３次元画像とともに表示される。一方で、スポット溶接が実際に施工されていない場合には、打点画像の欄７４に打点の３次元画像は表示されずに母材の３次元画像のみが表示される。従って、作業者若しくは確認者は、この打点画像の欄７４を視認することによって、スポット溶接が予定された部位に実際に打点が形成されているか否かを一目で確認できる。
なお、処理装置２０の抽出部２５によって３次元画像データｄ２から抽出された打点の数の合計値や、３次元設計データｄ１から抽出された打点の数の合計値が帳票７０に記載されるようにしてもよい。
上記の実施形態によれば、以下のような作用効果が得られる。
上記の施工部位判定システム１、及び施工部位判定システム１を使用した判定方法によれば、３次元画像データｄ２から基準部位Ｑｂを抽出し、且つこの基準部位Ｑｂを基準にして３次元画像データｄ２と３次元設計データｄ１との位置合わせを行うことができる。このため、撮影装置１０を車体部品Ｗに対して決まった位置に固定配置する必要がない。従って、可搬式の３Ｄカメラのような比較的安価な撮影装置１０を使用することができる。また、作業者は撮影環境（車体部品Ｗに対する角度、明るさ、距離など）を気にすることなく、撮影装置１０によって車体部品Ｗを簡単に撮影することができる。更に、施工部位Ｐについての判定が処理装置２０によって自動的に実行され、当該判定が視覚的な判定によらないため、作業に要する時間及び工数を低く抑えることができ、また人為的な誤判定が生じるのを阻止できる。その結果、車体部品Ｗの施工部位Ｐの状態を簡単に且つ低コストで判定することが可能になる。
また、処理装置２０の抽出部２５が分類器ＤＣを備えているため、抽出部２５が施工部位Ｐａ，Ｐｂ及び基準部位Ｑａ，Ｑｂのそれぞれを抽出する精度を高めることができる。
また、処理装置２０の位置合わせ部２６は、基準部位Ｑａ，Ｑｂを基準にして３次元画像データｄ２の座標系と３次元設計データｄ１の座標系とを合わせるため、３次元画像データｄ２と３次元設計データｄ１との位置合わせの精度を高めることができる。
また、処理装置２０の判定部２７による判定結果を出力する出力装置３０が用いられるため、この出力装置３０によって出力された判定結果を複数の人でチェックできる。その結果、人為的な誤判定を起こりにくくすることができる。また、この出力装置３０による出力情報には、処理装置２０の判定部２７による判定結果とともに施工部位Ｐの３次元画像が含まれている。このため、作業者若しくは確認者は、施工部位Ｐの３次元画像に着目することによって、施工部位Ｐに設計通りの施工がなされているか否かを一目で確認できる。
本発明は、上記の典型的な実施形態のみに限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の応用や変形が考えられる。例えば、上記の実施形態を応用した次の各形態を実施することもできる。
上記の実施形態では、溶接スポット溶接によって打点が形成される部位を車体部品Ｗの施工部位Ｐとする場合について例示したが、その他の部位を施工部位Ｐとすることもできる。その他の部位として、典型的には、車体部品Ｗに開口穴が開口形成された部位や、車体部品Ｗにボルト、ナット、座金などが接合された部位などが挙げられる。
上記の実施形態では、開口穴が形成された部位を車体部品Ｗの基準部位Ｑとする場合について例示したが、その他の部位を基準部位Ｑとすることもできる。その他の部位として、典型的には、車体部品Ｗにボルト、ナット、座金などが接合された部位や、溶接スポット溶接による打点が形成される部位などが挙げられる。参考例では、施工部位と同一の部位を基準部位にすることもできる。
上記の実施形態では、撮影装置１０として３Ｄカメラを用いる場合について例示したが、３Ｄカメラに代えて、該３Ｄカメラと同様の機能を備えた装置、例えばタブレット型の端末を用いることもできる。
１ 施工部位判定システム
１０ 撮影装置
２０ 処理装置
２１ 画像処理部
２５ 抽出部
２６ 位置合わせ部
２７ 判定部
３０ 出力装置
ｄ，ｄａ，ｄｂ ３次元画像
ｄ１ ３次元設計データ
ｄ２ ３次元画像データ
ＤＣ 分類器
Ｐ，Ｐａ，Ｐｂ 施工部位
Ｑ，Ｑａ，Ｑｂ 基準部位
Ｗ 車体部品

Claims (7)

  1. 車体部品の３次元画像を記録する撮影装置と、
    上記撮影装置によって記録された上記車体部品の３次元画像に基づいて、上記車体部品の施工部位を判定する処理を行う処理装置と、を備え、
    上記処理装置は、
    上記３次元画像を３次元画像データに変換する画像処理部と、
    上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品において上記施工部位と異なる基準部位とを抽出する抽出部と、
    上記基準部位を位置合わせ基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行う位置合わせ部と、
    上記位置合わせ部によって位置合わせされた上記３次元画像データ及び上記３次元設計データについて、上記抽出部によって上記３次元画像データから抽出された上記施工部位と上記抽出部によって上記３次元設計データから抽出された上記施工部位との関係を判定する判定部と、を備える、車体部品の施工部位判定システム。
  2. 上記処理装置の上記抽出部は、上記施工部位及び上記基準部位のそれぞれの形状の特徴を識別するように予め機械学習がなされた分類器を有し、上記分類器によって上記施工部位及び上記基準部位のそれぞれを抽出する、請求項１に記載の、車体部品の施工部位判定システム。
  3. 上記処理装置の上記判定部は、上記３次元画像データから上記施工部位が抽出され且つ該施工部位と上記３次元設計データから抽出された上記施工部位との間の距離が予め設定された許容値を下回る場合に、上記関係として上記車体部品における上記施工部位に設計通りの施工がなされていると判定する、請求項１または２に記載の、車体部品の施工部位判定システム。
  4. 上記車体部品における上記施工部位は、スポット溶接による打点が形成される部位である、請求項１〜３のいずれか一項に記載の、車体部品の施工部位判定システム。
  5. 上記処理装置の上記判定部による判定結果を出力する出力装置を備える、請求項１〜４のいずれか一項に記載の、車体部品の施工部位判定システム。
  6. 上記出力装置は、上記判定結果とともに上記施工部位の３次元画像を表示する、請求項５に記載の、車体部品の施工部位判定システム。
  7. 車体部品の施工部位を判定する、車体部品の施工部位判定方法であって、
    上記車体部品の３次元画像を記録する撮影装置を準備し、
    上記撮影装置によって記録された上記車体部品の３次元画像を３次元画像データに変換し、
    変換した上記３次元画像データと上記車体部品の設計に用いられる３次元設計データとの双方からそれぞれ、上記施工部位と上記車体部品において上記施工部位と異なる基準部位とを抽出し、
    抽出した上記基準部位を位置合わせ基準にして上記３次元画像データの座標系と上記３次元設計データの座標系とを合わせることにより、上記３次元画像データ及び上記３次元設計データの位置合わせを行い、
    位置合わせした上記３次元画像データ及び上記３次元設計データについて、上記３次元画像データから抽出した上記施工部位と上記３次元設計データから抽出した上記施工部位との関係を判定する、車体部品の施工部位判定方法。
JP2016027110A 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法 Active JP6658054B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016027110A JP6658054B2 (ja) 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法
PCT/JP2016/077317 WO2017141475A1 (ja) 2016-02-16 2016-09-15 車体部品の施工部位判定システム及び施工部位判定方法
US15/807,764 US10507550B2 (en) 2016-02-16 2017-11-09 Evaluation system for work region of vehicle body component and evaluation method for the work region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016027110A JP6658054B2 (ja) 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法

Publications (2)

Publication Number Publication Date
JP2017144454A JP2017144454A (ja) 2017-08-24
JP6658054B2 true JP6658054B2 (ja) 2020-03-04

Family

ID=59624950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016027110A Active JP6658054B2 (ja) 2016-02-16 2016-02-16 車体部品の施工部位判定システム及び施工部位判定方法

Country Status (3)

Country Link
US (1) US10507550B2 (ja)
JP (1) JP6658054B2 (ja)
WO (1) WO2017141475A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6669714B2 (ja) * 2017-11-28 2020-03-18 ファナック株式会社 教示操作盤およびロボット制御システム
CN109186457B (zh) * 2018-09-14 2021-02-12 天津玛特检测设备有限公司 一种双目的零件识别方法和装置及使用该装置的生产线
US12002192B2 (en) * 2021-11-16 2024-06-04 Solera Holdings, Llc Transfer of damage markers from images to 3D vehicle models for damage assessment

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0631683B1 (en) * 1992-03-20 2001-08-01 Commonwealth Scientific And Industrial Research Organisation An object monitoring system
US5809658A (en) * 1993-09-29 1998-09-22 Snap-On Technologies, Inc. Method and apparatus for calibrating cameras used in the alignment of motor vehicle wheels
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP3849505B2 (ja) * 2001-11-26 2006-11-22 株式会社デンソー 障害物監視装置及びプログラム
US20050264472A1 (en) * 2002-09-23 2005-12-01 Rast Rodger H Display methods and systems
JP2004078987A (ja) * 2003-10-20 2004-03-11 Jutaku Shizai Ryutsu Center:Kk 建築物の施工状況確認方法
US8275193B2 (en) * 2004-08-04 2012-09-25 America Gnc Corporation Miniaturized GPS/MEMS IMU integrated board
JP2006088160A (ja) * 2004-09-21 2006-04-06 Toyota Auto Body Co Ltd 溶接位置検査装置および溶接位置検査プログラム
DE102005056665B4 (de) * 2004-11-30 2011-03-17 Honda Motor Co., Ltd. Fahrzeugumgebungsüberwachungsvorrichtung
US20100222925A1 (en) * 2004-12-03 2010-09-02 Takashi Anezaki Robot control apparatus
US7966127B2 (en) * 2004-12-28 2011-06-21 Kabushiki Kaisha Toyota Chuo Kenkyusho Vehicle motion control device
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
JP2007152371A (ja) * 2005-12-01 2007-06-21 Kanto Auto Works Ltd 溶接打点位置検査システム
JP2008261749A (ja) * 2007-04-12 2008-10-30 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
WO2009016925A1 (ja) * 2007-07-31 2009-02-05 Kabushiki Kaisha Toyota Jidoshokki 駐車支援装置、駐車支援装置の車両側装置、駐車支援方法及び駐車支援プログラム
JP4975592B2 (ja) * 2007-11-19 2012-07-11 アルプス電気株式会社 撮像装置
JP5293994B2 (ja) * 2008-01-21 2013-09-18 トヨタ車体株式会社 溶接検査方法、溶接検査装置、溶接検査プログラム
JP2010025615A (ja) * 2008-07-16 2010-02-04 Central Motor Co Ltd 自動スポット溶接検査システム
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
EP2416292A4 (en) * 2009-03-31 2014-09-03 Konica Minolta Holdings Inc IMAGE INTEGRATION UNIT AND IMAGE INTEGRATION PROCESS
JP5272891B2 (ja) * 2009-05-21 2013-08-28 トヨタ車体株式会社 スポット溶接の打点位置電子化装置、スポット溶接の打点位置電子化方法、及びスポット溶接の打点位置電子化プログラム
JP5740241B2 (ja) * 2011-08-03 2015-06-24 株式会社東芝 車両検出装置
JP5840909B2 (ja) * 2011-10-14 2016-01-06 日立Ｇｅニュークリア・エナジー株式会社 検査装置及び方法
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
US9591274B2 (en) * 2012-07-27 2017-03-07 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
US9721169B2 (en) * 2012-07-27 2017-08-01 Clarion Co., Ltd. Image processing device for detecting vehicle in consideration of sun position
JP6282157B2 (ja) * 2014-03-31 2018-02-21 ダイハツ工業株式会社 形状認識装置
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2017146228A (ja) * 2016-02-18 2017-08-24 トヨタ自動車株式会社 溶接位置検査システム

Also Published As

Publication number Publication date
US20180065211A1 (en) 2018-03-08
US10507550B2 (en) 2019-12-17
JP2017144454A (ja) 2017-08-24
WO2017141475A1 (ja) 2017-08-24

Similar Documents

Publication Publication Date Title
JP5713159B2 (ja) ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
US8659660B2 (en) Calibration apparatus and calibration method
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
US11654571B2 (en) Three-dimensional data generation device and robot control system
US11094120B2 (en) Inspection processing system, inspection processing method, and inspection processing program
US20130063570A1 (en) System and Method for Remote Full Field Three-Dimensional Displacement and Strain Measurements
US20190033074A1 (en) Inspection processing system, inspection processing method, and inspection processing program
JP6658054B2 (ja) 車体部品の施工部位判定システム及び施工部位判定方法
EP3239931A1 (en) Image processing apparatus and image processing method
CN110926330B (zh) 图像处理装置和图像处理方法
JP5334237B2 (ja) 埋金設置位置照合方法および埋金設置位置照合システム
JP2008235504A (ja) 組立品検査装置
WO2011118476A1 (ja) ３次元距離計測装置及びその方法
JP2015005181A (ja) 情報処理装置、判定方法および判定プログラム
WO2017115620A1 (ja) 変形加工支援システムおよび変形加工支援方法
JP2018092636A (ja) 複数のカメラに対する複数部品コレスポンダ
JP5093591B2 (ja) 三次元位置姿勢計測方法および装置
KR101892740B1 (ko) 통합 이미지 마커 생성 방법 및 그 방법을 수행하는 시스템
JP2009289046A (ja) ３次元データを用いた作業支援装置及び方法
JP5574551B2 (ja) 画像処理装置および画像処理方法
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JP2013170831A (ja) ひずみ計測装置及びひずみ計測方法
JP7336253B2 (ja) 据付物の施工方法
WO2022107548A1 (ja) ３次元骨格検出方法及び３次元骨格検出装置
JP2019185448A (ja) 部品管理データベース、部品管理システム、および部品管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R150 Certificate of patent or registration of utility model

Ref document number: 6658054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250