JP7373053B2 - 車両部品のギャップ・フラッシュ測定方法及び測定用トンネル - Google Patents

車両部品のギャップ・フラッシュ測定方法及び測定用トンネル Download PDF

Info

Publication number
JP7373053B2
JP7373053B2 JP2022506341A JP2022506341A JP7373053B2 JP 7373053 B2 JP7373053 B2 JP 7373053B2 JP 2022506341 A JP2022506341 A JP 2022506341A JP 2022506341 A JP2022506341 A JP 2022506341A JP 7373053 B2 JP7373053 B2 JP 7373053B2
Authority
JP
Japan
Prior art keywords
vehicle
measuring
tunnel
video camera
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022506341A
Other languages
English (en)
Other versions
JP2022553597A (ja
Inventor
プラ，ヘスス ベルダ
ルイス，ホルヘ ブロト
ロサノ，ホセ アリバス
クベル，マリア ホセ エステベ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eines Systems SLU
Original Assignee
Eines Systems SLU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eines Systems SLU filed Critical Eines Systems SLU
Publication of JP2022553597A publication Critical patent/JP2022553597A/ja
Application granted granted Critical
Publication of JP7373053B2 publication Critical patent/JP7373053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/005—Inspection and final control devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/02—Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
    • B62D65/024—Positioning of sub-units or components with respect to body shell or other sub-units or components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0025—Measuring of vehicle parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/14—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

発明の目的
本発明の目的は、車両部品のギャップおよびフラッシュ（面一度）の測定方法、および車両部品のギャップおよびフラッシュを測定するために必要な手段を備えた測定トンネルである。
本発明の目的は、その方法によって、異なる車両部品の周囲の部品に対するギャップおよびフラッシュを測定するプロセスを自動化することである。例えば、車両のドアは、他のドア、フェンダなど、ドアを囲む車両部品とフラッシュでなければならない周縁を有する。さらに、ドアは、ドアが適切に開閉するように、非常に狭いマージン内で特定のギャップを有する必要がある。
本発明が属する技術分野は、車両表面に接触することなく該車両表面に適用される測定装置および測定方法である。
現在、「ギャップ・アンド・フラッシュ」と呼ばれる測定システムは、３Ｄセンサを内蔵したロボットを用いて（主に最終組立製品上で）測定を行うことが多い自動システムである。固定式センサを用いたシステムもあるが、精度に欠ける。また、手動式のシステムもあり、携帯端末を持ったオペレータが車体の測定箇所にメータを当てて揺動させることでフラッシュを測定する。
オペレータを必要とするシステムは、一人の作業者が車体の左右に移動しなければならないため時間がかかり、さらに、車体に測定器を載せるために車体の塗装に影響を与える可能性がある。
ロボットを用いた計測システムは、ロボットやセキュリティなどのコストが高いため、導入コストが高いという欠点がある。すなわち、よくあることであるが最終組み立てを行うオペレータのようにロボットの専門家ではないユーザーには設定が難しい、メンテナンスコストが高い、新しいポイントを追加または削除する際にロボットを再プログラムしなければならないために変更への適応性が十分ではない、測定するセクションの数が限られている、言い換えれば、物理的な限界を持つロボットの速度に強く依存するため、可能なセクション数には最大数が存在する、などの欠点を有している。
したがって、車両を構成する部品のギャップとフラッシュを計算する問題に対して、完全に自動化された解決策を見つけることが望ましいと思われる。
本発明は、車両部品のギャップとフラッシュを測定する方法と、車両部品のギャップとフラッシュを測定するための測定トンネルを開示する。
本発明の第１の態様では、車両部品のギャップとフラッシュを測定するための測定用トンネルが開示される。この測定トンネルは、車両の画像を撮影するビデオカメラと、車両を直線的に移動させて測定トンネルを長手方向に通過させるコンベアと、車両の移動を測定する位置エンコーダと、測定トンネル構造の固定点を精密かつ３Ｄで測定するトータルステーションと、較正パターンが配置された較正チェスボードと、ビデオカメラと同期した少なくとも２つのライトと、少なくともビデオカメラによって撮影された画像、車両のコンピュータ支援設計（ＣＡＤ）ファイルおよびエッジ認識アルゴリズムが記憶されている処理・記憶手段で構成されている。さらに、処理・記憶手段は、ライト、ビデオカメラ、コンベア、および位置エンコーダに接続されている。最後に、処理手段および記憶手段は、本発明の別の形態で定義される車両部品のギャップおよびフラッシュを測定するための方法のステップを実行するように構成されている。
位置エンコーダは、コンベヤを動かすモータのシャフトに接続し、モータが回転している間にパルスを発生させるパルス発生器であることに留意しなければならない。本発明では、パルスが長さの測定値に変換されるため、位置エンコーダは、その搬送中における車両の前進を測定するために使用される。
測定トンネルの一実施形態において、較正パターンは、千鳥状に配置されたマスによって形成されている。さらに、較正パターンは、データマトリクスコードとフィデューシャルマーカとから構成される。データマトリクスコード及びフィデューシャルマーカは、行及び列の数、中央のマスの位置、マスのサイズ、マスの色などの較正パターンに関連する情報を含む。好ましくは、マスは、その接続点を決定する際にコントラストが大きくなるため、白黒とする。
本発明の測定トンネルの別の実施形態では、測定トンネルは、さらに、測定トンネル内を観察するために、ライトとカメラを支持するために、逆Ｕ字型の支持構造体と前部支持構造体とを備える。ライトとビデオカメラのためのこれらの支持体は、ビデオカメラを、カメラが測定トンネルの内部にある車両を完全に走査できるように位置付けるために好都合である。
測定トンネルの別の実施形態では、ライトは最小４００ｍｍの長さを有する。さらに、または選択的に、ライトはＬＥＤ技術を有する。
本発明の第２の態様では、本発明の第１の態様の測定トンネルに関連する車両部品のギャップ及びフラッシュを測定するための方法が開示される。車両部品のギャップ及びフラッシュを測定するための方法は、以下のステップを備える。
ビデオカメラの内部パラメータ及び外部パラメータを計算することによって、測定トンネル内に構成されたビデオカメラを較正するステップ。
測定トンネルのための共通基準システムＳＣＥを構築し、ビデオカメラを共通基準システムSCEにリンクさせるステップ。
共通基準システムＳＣＥに基づき、車両の少なくとも４つの基準点のステレオビジョンによる３Ｄ座標を計算し、各基準点のＸ、Ｙ、Ｚ座標を取得するステップ。
コンピュータ支援設計（ＣＡＤ）ファイルから車両基準系（ＳＣＶ）に基づいて各基準点のＸ，Ｙ，Ｚ座標を計算し、３次元の車両測定値を得るステップ。
少なくとも２つのライトから、前記ビデオカメラに同期して、前記車両部品から反射する光と、前記車両部品間の隙間に入り光を反射しない光ビームを発射し、光反射の欠如が光を反射しないエッジ間に閉じ込められるステップ。
ビデオカメラによって、反射を欠く車両部品の少なくとも２つの同期した２Ｄ画像を撮影し、各同期した２Ｄ画像の識別子ＩＤは、測定トンネルに対する車両の空間位置に関連付けられ、共通基準系ＳＣＥに基づいて各エッジのＸ，Ｙ座標と識別子ＩＤを計算するエッジ認識アルゴリズムを適用するステップ。
同期された２Ｄ画像を３Ｄ画像に結合し、３Ｄ画像内のエッジが共通基準系ＳＣＥにリンクされたＸ，Ｙ，Ｚ座標を有するステップ。
車両基準系ＳＣＶにリンクされた３Ｄ画像のエッジのＸ，Ｙ，Ｚ座標を次式から計算するステップ。
ＳＣＶ＝逆数（ＭＲ）×ＳＣＥ
ここで、ＳＣＶは車両基準系ＳＣＶにリンクしたＸ，Ｙ，Ｚ座標を定義する行列、ＳＣＥは共通基準系ＳＣＥにリンクしたＸ，Ｙ，Ｚ座標を定義する行列、ＭＲは両方の基準系の間の関係行列で、ある基準系から別の基準系に変換するために必要な移動、回転、倍率を定義する行列である。
車両基準系ＳＣＶにリンクされた座標Ｘ，Ｙ，Ｚ上のエッジ間のギャップ距離として、車両部品のフラッシュとギャップを計算すること。
この例として、車両のフロントドアから対応するフェンダまでの距離を測定する場合、ライトに照らされたときに光を反射するドアの最後のポイントによって決まる「セクション」（線）があり、これがセクションの端となり、ライトで照らされたときに光を反射するフェンダの最後のポイントが、セクションの他の端となる。端と端の間の部分は光を反射せず、車両部品（ドアとフェンダ）間の３次元的な距離（ギャップとフラッシュ）を表す。
ビデオカメラの較正ステップで説明したビデオカメラの較正処理では、内部パラメータと外部パラメータを算出する。内部パラメータを計算するために、以下のサブステップが実行される。
少なくともデータマトリクスコードとフィデューシャルマーカを含む較正チェスボードの少なくとも２つの画像を撮影するサブステップ。
データマトリクスコードを復号して、較正チェスボードのマスのサイズ、行数および列数を取得するサブステップ。
データマトリクスコードに基づいて、較正チェスボードの中心マスを決定するサブステップ。
前記中心マスを起点とするマスの繋がりをすべて計算するサブステップ。
前記マスの繋がり、ビデオカメラに含まれる光学系サイズ、ビデオカメラのＣＣＤのセルサイズから、光学中心、焦点距離、少なくとも６つの径方向歪みパラメータ（Ｋ１－Ｋ６）、少なくとも２つの接線歪みパラメータ（Ｐ１、Ｐ２）を計算するサブステップ。
さらに、外部パラメータを算出するために、車両のギャップとフラッシュを測定する方法は、以下のサブステップを含む。
較正チェスボードを測定トンネル内の少なくとも１台のビデオカメラで見える位置に設置するサブステップ。
トータルステーションを使用して、較正チェスボードを測定するサブステップ。
トータルステーションにより測定トンネルの構造上の４つの固定点を測定するブステップ。
トータルステーションを繰り返し配置し、検査トンネル内を介して車両を搬送する車両コンベヤを基準とした共通基準系ＳＣＥを取得するサブステップ。
共通基準系（ＳＣＥ）においてトータルステーションを使用し、較正チェスボード上に位置する少なくとも１２の補助点を測定するサブステップ。
剛体の推定と変換を使用して、共通基準系（ＳＣＥ）と較正チェスボードとの間の関係を計算するサブステップ。
各ビデオカメラによる、較正チェスボードの少なくとも１つの画像を保存するサブステップ。
各ビデオカメラのローカル座標系を計算し、ローカル座標系の共通基準系ＳＣＥへの変換を計算するサブステップ。
ビデオカメラの較正が完了し、共通基準系ＳＣＥを構築してビデオカメラを共通基準系ＳＣＥにリンクすると、次に、共通基準系ＳＣＥに基づいて車両の４つの基準点のステレオビジョンによる３次元座標を計算し、各基準点のＸ，Ｙ，Ｚ座標を取得する。車両の４つの基準点のステレオビジョンによる３次元座標を計算するために、以下のステップが実行される。
測定する４つの基準点に対して視覚的にアクセスできるビデオカメラを、車両の片側につき２台選択するステップ。
測定トンネルに対するコンベア上の車両の同期した動きを考慮し、車両上で計算される基準点を選択するステップ。
オプションとして、先の２つのステップに加えて、ベクトル検索アルゴリズムによって後続の類似車両を認識するための認識パターンを作成することができる。
図１は、車両部品のギャップやフラッシュを測定するための測定トンネルと、その内部の車両を示す。 図２は、較正チェスボードが底面に配置された本発明の測定トンネルを示す。 図３は、較正チェスボードの較正パターンを示す。 図４は、トータルステーションが測定トンネルの４つの固定点の３次元座標を取得している様子を示す。 図５は、ビデオカメラによる車両の４つの基準点の算出を示したものである。 図６は、４つの基準点を示す透視図である。 図７は、共通基準点システムＳＣＥと車両基準点システムＳＣＶを示す図である。 図８は、２つの部品間のギャップとフラッシュを測定する車両を示す図である。 図９は、車両の２つの部品の表面の掃引と、２つのエッジの間に定義された前記表面の不連続性とを示す図である。 図１０は、車両の２つの部品の間の不連続の２Ｄ画像と、エッジのＸ，Ｙ座標による２Ｄのエッジの位置とを示す図である。 図１１は、車両の２つの部品間の不連続性と、エッジのＸ、Ｙ、Ｚ座標による3次元でのエッジの位置の３次元画像である。
１． 計測用トンネル。
２． ビデオカメラ
３． 較正チェスボード
４． 較正パターン：４ａ－データマトリクスコード、４ｂ－フィデューシャルマーカ、４ｃ－マス、４ｄ－中央マス。
５． ビデオカメラの逆Ｕ字型支持構造。
６． 前面支持構造。
７． 車体。
８． 車両コンベア
９． 位置決め用エンコーダ
１０． 処理・記憶手段
１１． トータルステーション
１２． 測定トンネル構造物の固定点
１３． 使用しない。
１４． 使用しない。
１５． 車載用基準点。
１６． 共通基準点ＳＣＥ。
１７． 車両基準点システム ＳＣＶ。
１８． １辺の２次元ＸＹ座標。
１９． １辺の３次元ＸＹＺ座標。
２０． エッジの同期した２Ｄ画像。
２１． エッジの３Ｄ画像。
２２． ＬＥＤライト。
２３． 測定するセクション。
２４． 断面の不連続部のエッジ。
２５． 車両表面のスキャン。
以下、本発明の一実施形態を図に関連して説明する。
図１は、車体の任意の２点間のギャップおよびフラッシュを測定するための本発明の測定用トンネル１を示す図である。図１は、測定用トンネル１と、その内部で、コンベア８上の車両フレーム７を示す。コンベア８は、測定用トンネル１の内部で、車両７を移動させる。測定トンネル１は、主にビデオカメラ２とその近傍のＬＥＤライト２２で構成され、これら（２，２２）は全て逆Ｕ字型の支持構造５、さらに前部の支持構造６で支持されている。さらに、計測トンネル１は、車両コンベア８と、位置エンコーダ９と、処理・記憶手段１０とを備えている。処理・記憶手段１０は、本発明に記載の方法のステップを実行するとともに、測定トンネルを構成する残りの要素と相互接続するように構成されたプロセッサおよびメモリである。さらに、位置エンコーダ９により、測定トンネル１は、車両の位置を常に知ることができる。これにより、後述するように、同期した画像を撮影することができる。
車両部品間の距離を３Ｄで測定する処理を開始する前に、ビデオカメラ２を較正する必要がある。ビデオカメラ２の較正は、ビデオカメラの内部パラメータと外部パラメータを計算することにより行われる。
内部パラメータを計算するために、図２に示すように、較正チェスボード３が測定トンネル１内に設置されています。較正パターン４は、較正チェスボード3の表面に設置され、その形状は図３に示す通りである。較正パターン４は、チェスボードと同様に、黒と白のマス４ｃが千鳥状に交互に配置されたものである。較正パターン４は、データマトリクスコード４ａとフィデューシャルマーカ４ｂとが異なる白色のマス目に配置されて構成されている。処理・記憶手段１０は、内部パラメータを計算するために、ビデオカメラ２によって較正パターン４を有する較正チェスボード３の少なくとも２つの画像を撮影し、データマトリクスコード４ａを復号して、較正チェスボード３のマス４ｃ、中心マス４ｄ、行数および列数の大きさを得るというステップを実行する。処理・記憶手段１０は、前記情報により、中心マスを基準にマスのつながりを全て計算し、マスのつながり、ビデオカメラに含まれる光学系のサイズ、カメラのＣＣＤセルのサイズにより、光学中心、焦点距離、少なくとも６つのラジアル歪みパラメータ（Ｋ１～Ｋ６）、少なくとも２つの接線歪みパラメータ（Ｐ１、Ｐ２）である内部パラメータを計算する。
外部パラメータに関しては、較正チェスボード3を使用することに加えて、図４に示すように、トータルステーション１１を使用する。まず、較正チェスボード３は、測定トンネル１内の少なくとも１台のビデオカメラ２によって見える位置に設置される。次に、トータルステーション１１を用いて較正チェスボード３の計測を行う。これは、共通基準系ＳＣＥ１５を作成することを意味し、そのために、測定トンネル構造１の４点と較正チェスボード３上に位置する１２点の反復測定がトータルステーション１１によって行われる。言い換えれば、測定トンネル１の同じ４つの点と較正チェスボード３上に位置する１２点は、測定トンネル１に対するトータルステーション１１の異なる位置から測定される。異なる位置は、好ましくは、車両がコンベヤ８上を移動する位置である。言い換えれば、測定トンネル１の４つの固定点１２と較正チェスボード３上に位置する１２点の測定値の関係から、共通基準系ＳＣＥ１５を作成することができる。共通基準系ＳＣＥ １５が定義されると、後で車両部品の1つのエッジの３Ｄ座標を決定できるように、共通基準系ＳＣＥ １５に関して各ビデオカメラ２をリンクすることが必要である。そのためには、まず、剛体の変換と推定によって、共通基準系ＳＣＥと較正チェスボードとの間の関係を計算する必要がある。次に、各ビデオカメラ2によって撮影された較正チェスボード3の少なくとも１つの画像を保存し、各ビデオカメラ２のローカル座標系を計算し、最後に、ローカル座標系から共通基準系ＳＣＥへの変換を計算する。
ビデオカメラ２が較正され、共通基準系ＳＣＥ １６が構築されると、ビデオカメラを共通基準系ＳＣＥ １６にリンクし、次のステップが適用される。具体的に、共通基準系ＳＣＥに基づいて車両の４つの基準点１５のステレオビジョンによる３Ｄ座標を計算し、それによって図５および６に示すように各基準点のＸ，Ｙ，Ｚ座標を得るステップである。図５に示すように、車両７の両側では、２台のビデオカメラ２が基準点１５を撮影し、共通基準系ＳＣＥ１６を基準とした基準点１５の３次元座標を得る。したがって、車両の両側でそれぞれ１つずつ、２つの基準点１５の３次元座標が得られる。同時に、または順次、車両の両側に１つずつ、別の２つの基準点１５の３次元座標が計算される。これは、他の２つの基準点１５を撮影できるビデオカメラ２がある場合には、同時に、または、２つのビデオカメラ２が他の２つの基準点１５にアクセスできるようになるまで、コンベヤ８によって車両７を移動させることによって、順次実行することが可能である。基準点１５の３次元座標は、順次実行される場合、移動を排除するための補正係数を有し、これは、コンベヤ８に位置する位置エンコーダ９によって既知である。測定トンネル１内で検査される後続の同様の車両について、図５及び図６について説明したステップを繰り返す必要がないように、処理及び記憶手段１０は、コントラストベクトル探索アルゴリズムによって認識パターンを作成することができる。
車両７の４つの基準点１６の３Ｄ座標が共通基準系ＳＣＥ １６に関して計算されると、共通基準系ＳＣＥ １６に関する車両の４つの基準点１５の３Ｄ座標と車両基準系ＳＣＶ １７（図７）に関する車両のそれらの同じ４つの基準点15の３Ｄ座標との間の対応を確立し、３Ｄの車両の測定／座標を含むコンピュータ支援設計（ＣＡＤ）ファイルに４つの基準点を位置づけることが可能である。つまり、ビデオカメラによって算出された各基準点１５と、ＣＡＤファイルから抽出された同じ基準点１５との間に対応関係が確立される。
次に、車両７の表面をスキャン２５（図９）により解析し、測定すべきギャップゾーン（またはセクション）２３を検出する（図８）。具体的には、本発明の方法は、車両の異なる隣接部分の間に生じる不連続性のエッジ２４（図９）の３Ｄ座標を計算する。そのために、ビデオカメラ２と同期しているライト２２によって光ビームを照射し、車両を構成する部品からの光の反射と、前記車両の部品間のギャップ（図９及び図１０のエッジ２４間の空間）に闇（光の反射がないこと-詳細拡大図１０参照）を発生させる。
そのために、ビデオカメラによって車両7の複数の同期した２次元画像２０が撮影される（図１０）。各「同期」画像について、画像の識別子ＩＤと、ビデオカメラの空間位置と、車両の空間位置との間に直接的な関係があるため、２Ｄ画像が「同期」していると言われるが、これは、車両がコンベヤ８上にあり、その測定トンネル１との空間関係が位置エンコーダ９によって既知であるためである。図１０に示すように、各同期化２Ｄ画像２０にエッジ認識アルゴリズムが適用され、これを通じて処理・記憶手段が共通基準系ＳＣＥに基づいて各エッジ２４のＸ，Ｙ座標１８を計算し、それを識別子ＩＤに関連付け、さらなる処理のために記憶することが可能である。
エッジ１８の複数の同期した２Ｄ画像２０（少なくとも２つ）が撮影されると、同期した２Ｄ画像を３Ｄ画像２１と組み合わせて、３Ｄ画像内のエッジが共通の基準系ＳＣＥにリンクしたＸ，Ｙ，Ｚ座標１９を有する３Ｄ画像を得ることができる。車両自体のエッジ２４間の距離を意味する２つの車両部品間の距離を計算しているので、共通基準系ＳＣＥの３Ｄ画像のエッジのＸ，Ｙ，Ｚ座標の車両基準系ＳＣＶへの変換が、数式によって計算される。
Figure 0007373053000001
 ここで、ＳＣＶは車両基準系ＳＣＶに連動するＸ，Ｙ，Ｚ座標を定義する行列、ＳＣＥは共通基準系ＳＣＥに連動するＸ，Ｙ，Ｚ座標を定義する行列、ＭＲはＳＣＶ基準系からＳＣＥ基準系に行くのに必要な並進、回転、スケールを定義する関係行列である。これにより、エッジ１９の3次元座標（Ｘ，Ｙ，Ｚ）は、車両基準系ＳＣＥにリンクされた３次元画像において、車両７の塗装上に得られる。

Claims (7)

  1. 測定トンネルによって車両部品間のギャップとフラッシュを測定する方法であって、
    ビデオカメラの内部パラメータと外部パラメータを計算することにより、前記測定トンネルに設置された前記ビデオカメラを較正するステップ、
    前記測定トンネルの共通基準系ＳＣＥを構築し、前記ビデオカメラを前記共通基準系ＳＣＥにリンクさせるステップ、
    前記共通基準系ＳＣＥに基づき、車両の少なくとも４つの基準点のステレオビジョンによる３Ｄ座標を計算し、前記４つの基準点のそれぞれのＸ、Ｙ、Ｚ座標を取得するステップ、
    コンピュータ支援設計ファイルＣＡＤから、３次元の車両寸法と車両基準系ＳＣＶに基づいて、前記４つの基準点のそれぞれのＸ，Ｙ，Ｚ座標を計算するステップ、
    前記ビデオカメラに同期して少なくとも２つのライトから光ビームを発射するステップであって、前記車両部品の部品に当たった光ビームは反射し、前記車両部品間のギャップに入った光は光ビームを反射する部品エッジ間に閉じ込められて反射しない、ステップ、
    前記ビデオカメラによって、反射を欠く前記車両部品の少なくとも２つの同期した２Ｄ画像を撮影するステップであって、前記同期した２Ｄ画像のそれぞれの識別子ＩＤは、前記測定トンネルに対する前記車両の空間位置に関連付けられ、前記共通基準系ＳＣＥに基づいて前記エッジのそれぞれのＸ，Ｙ座標と前記識別子ＩＤを計算するエッジ認識アルゴリズムを適用するステップ、
    前記同期した２Ｄ画像を３Ｄ画像に結合し、前記３Ｄ画像内の前記エッジが前記共通基準系ＳＣＥにリンクされたＸ，Ｙ，Ｚ座標を有するようにするステップ、
    前記車両基準系ＳＣＶにリンクされた前記３Ｄ画像の前記エッジのＸ，Ｙ，Ｚ座標を数式１を用いて計算するステップであって、
    Figure 0007373053000002
     ここで、ＳＣＶは前記車両基準系ＳＣＶにリンクしたＸ，Ｙ，Ｚ座標を定義する行列、ＭＲは関係行列、ＳＣＥは前記共通基準系統ＳＣＥにリンクしたＸ，Ｙ，Ｚ座標を定義する行列であり、ＳＣＶは前記車両基準系ＳＣＶにリンクしたＸ，Ｙ，Ｚ座標を定義する行列である、ステップ、および
    前記車両基準系ＳＣＶにリンクされた座標Ｘ，Ｙ，Ｚ上の前記エッジ間のギャップ距離として、車両部品間のフラッシュとギャップを算出するステップ、とを含む方法。
  2. 前記ビデオカメラを較正するステップは、前記内部パラメータを計算するために、
    少なくともデータマトリクスコードとフィデューシャルマーカを含む較正チェスボードの少なくとも２つの画像を撮影するサブステップ、
    前記データマトリクスコードを復号して、前記較正チェスボードのマスのサイズ、行数および列数を取得するサブステップ、
    前記データマトリクスコードに基づいて、前記較正チェスボードの中心マスを決定するサブステップ、
    前記中心マスを起点とする前記マスの全ての接続を計算するサブステップ、および
    前記マスのつながり、前記ビデオカメラに内蔵された光学系のサイズ、および前記カメラのＣＤＤのセルサイズに基づいて、光学中心、焦点距離、少なくとも６つの放射状歪みのパラメータ（Ｋ１－Ｋ６）および少なくとも２つの接線方向歪みのパラメータ（Ｐ１、Ｐ２）を計算するサブステップを含むことを特徴とする、請求項１に記載の測定トンネルによって車両部品間のギャップ及びフラッシュを測定するための方法。
  3. 前記ビデオカメラを較正するステップは、さらに、前記外部パラメータを計算するために、
    前記較正チェスボードを、少なくとも１つの前記ビデオカメラによって見える前記測定トンネル内の位置に設置するサブステップ、
    トータルステーションを使用して、前記較正チェスボードを測定するサブステップを含み、
    前記較正チェスボードの測定は、
    前記トータルステーションにより前記測定トンネルの４つの固定点を測定すること、
    前記測定トンネル内で前記車両を搬送する車両コンベアに対して、前記共通基準系ＳＣＥを得るために前記トータルステーションを反復して配置すること。
    前記トータルステーションを前記共通基準系ＳＣＥで使用し、前記較正チェスボード上にある少なくとも１２点の補助点を測定すること、
    剛体の推定と変換を使用して、前記共通基準系ＳＣＥと前記較正チェスボードとの間の関係を計算すること、
    前記ビデオカメラのそれぞれによる前記較正チェスボードの少なくとも１つの画像を保存すること、
    前記ビデオカメラのそれぞれのローカル座標系を計算し、前記ローカル座標系と前記共通基準系ＳＣＥとの変換を計算することを含む、ことを特徴とする請求項１に記載の測定トンネルによって車両部品間のギャップ及びフラッシュを測定するための方法。
  4. 前記ステレオビジョンによって前記３Ｄ座標を計算するステップは、
    測定された前記４つの基準点に視覚的にアクセスできる、車両の片側あたり２つの前記ビデオカメラを選択するサブステップ、
    前記測定トンネルに対する前記車両コンベア上の前記車両の同期した動きを考慮し、前記車両上で計算する基準点を選択するサブステップ、および
    コントラストベクトル探索アルゴリズムにより、後続の類似車両を認識するための認識パターンを作成するサブステップを含む、請求項１に記載の測定トンネルによって車両部品のギャップ及びフラッシュを測定する方法。
  5. 車両部品間のギャップとフラッシュを測定するための測定トンネルであって、測定トンネル（１）は、
    車両（７）の画像を撮影するためのビデオカメラ（２）、
    前記車両（７）を直線的に移動させ、前記測定トンネル（１）内を長手方向に通過させるコンベア（８）、
    前記車両（７）の移動を計測する位置エンコーダ（９）、
    前記測定トンネルにおける複数の固定点を測定するトータルステーション（１１）（１２）と、
    較正パターン（４）が配置された較正チェスボード（３）、
    前記ビデオカメラ（２）と同期している少なくとも２つのライト（２２）、
    少なくとも前記ビデオカメラによって撮影された画像、前記車両のコンピュータ支援設計（ＣＡＤ）ファイル、およびエッジ認識アルゴリズムを記憶する処理・記憶手段（１０）であって、前記ライト（２２）、前記ビデオカメラ（２）、前記コンベヤ（８）および前記位置エンコーダ（９）に接続され、処理・記憶手段が、請求項１から４のいずれか一項に記載の方法の手順を実行するように構成されている、測定トンネル。
  6. 前記較正パターン（４）が、千鳥状に配置されたマス（４ｃ）によって形成されており、さらにデータマトリクスコード（４ａ）およびフィデューシャルマーカ（４ｂ）を含む、請求項５に記載の車両部品間のギャップおよびフラッシュを測定するための測定トンネル。
  7. 前記測定トンネル（１）が、前記測定トンネル（１）の内部に、前記ビデオカメラ（２）及び前記ライト（２２）を支持するための逆Ｕ字型の支持構造（５）及び前部支持構造（６）をさらに含む、請求項５に記載の車両部品間のギャップ及びフラッシュを測定するための測定トンネル。
JP2022506341A 2019-10-23 2020-07-28 車両部品のギャップ・フラッシュ測定方法及び測定用トンネル Active JP7373053B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ESP201930936 2019-10-23
ES201930936A ES2821104B2 (es) 2019-10-23 2019-10-23 Metodo de medicion de enrase y separacion de partes de un vehiculo y tunel de medicion
PCT/ES2020/070488 WO2021079018A1 (es) 2019-10-23 2020-07-28 Método de medición de enrase y separación de partes de un vehículo y túnel de medición

Publications (2)

Publication Number Publication Date
JP2022553597A JP2022553597A (ja) 2022-12-26
JP7373053B2 true JP7373053B2 (ja) 2023-11-01

Family

ID=75538890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022506341A Active JP7373053B2 (ja) 2019-10-23 2020-07-28 車両部品のギャップ・フラッシュ測定方法及び測定用トンネル

Country Status (8)

Country Link
US (1) US11953310B2 (ja)
EP (1) EP4049920A4 (ja)
JP (1) JP7373053B2 (ja)
KR (1) KR102639910B1 (ja)
CN (1) CN114502456B (ja)
ES (1) ES2821104B2 (ja)
TW (1) TW202134098A (ja)
WO (1) WO2021079018A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024209269A1 (en) * 2023-04-03 2024-10-10 Leidos Industrial Engineers Limited (Uk) A tool monitoring system and method of use thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2362262T3 (es) 2009-01-14 2011-06-30 Peugeot Citroën Automobiles SA Procedimiento de medida de holguras y desniveles.
WO2012154878A1 (en) 2011-05-11 2012-11-15 Tyzx, Inc. Camera calibration using an easily produced 3d calibration pattern
JP2012253758A (ja) 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh 車両視覚システムの較正方法および車両視覚システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2041151T3 (es) * 1989-03-28 1993-11-01 Renault Automation Dispositivo de ensamblaje de carrocerias con utillajes laterales interlocalizables.
DE19910699B4 (de) 1999-03-10 2006-04-27 Inos Automationssoftware Gmbh Anordnung zum Messen der Breite eines Spalts, Spaltmessanordnung und Messverfahren
WO2001047661A1 (fr) * 1999-12-28 2001-07-05 Honda Giken Kogyo Kabushiki Kaisha Procede de construction de chaines de production, procede d'assemblage de carrosseries et chaine d'assemblage de carrosseries
US6971175B2 (en) * 2003-05-05 2005-12-06 Utica Enterprises, Inc. Assembly line and method for vehicle body manufacturing
JP4974489B2 (ja) * 2005-07-27 2012-07-11 トヨタ自動車株式会社 組付け精度計測システム
FR2922639B1 (fr) * 2007-10-23 2009-12-11 Peugeot Citroen Automobiles Sa Procede et dispositif de mesure de jeu et d'affleurement entre des pieces fixees sur un ensemble en l'absence de l'une d'elles
FR2928453B1 (fr) * 2008-03-06 2011-01-07 Peugeot Citroen Automobiles Sa Systeme de mesure de jeux et d'affleurements et procede correspondant
CN103685936A (zh) * 2012-09-25 2014-03-26 通用汽车环球科技运作有限责任公司 宽视场摄像机图像的校准和扭曲恢复
KR102359925B1 (ko) * 2017-07-12 2022-02-07 현대자동차 주식회사 자동차 조립라인의 차체 트랙킹 장치 및 방법
CN107765257A (zh) * 2017-11-16 2018-03-06 深圳市唯特视科技有限公司 一种基于反射强度辅助外部校准的激光探测与测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2362262T3 (es) 2009-01-14 2011-06-30 Peugeot Citroën Automobiles SA Procedimiento de medida de holguras y desniveles.
WO2012154878A1 (en) 2011-05-11 2012-11-15 Tyzx, Inc. Camera calibration using an easily produced 3d calibration pattern
JP2012253758A (ja) 2011-06-01 2012-12-20 Harman Becker Automotive Systems Gmbh 車両視覚システムの較正方法および車両視覚システム

Also Published As

Publication number Publication date
EP4049920A1 (en) 2022-08-31
WO2021079018A1 (es) 2021-04-29
TW202134098A (zh) 2021-09-16
US20220333914A1 (en) 2022-10-20
KR20220075309A (ko) 2022-06-08
ES2821104A1 (es) 2021-04-23
CN114502456B (zh) 2024-07-09
KR102639910B1 (ko) 2024-02-23
CN114502456A (zh) 2022-05-13
EP4049920A4 (en) 2022-12-28
JP2022553597A (ja) 2022-12-26
ES2821104B2 (es) 2021-08-23
US11953310B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
US7414732B2 (en) Method and device for determining the 3D profile of an object
Yin et al. Development and calibration of an integrated 3D scanning system for high-accuracy large-scale metrology
US8502991B2 (en) Method for the determination of the 3D coordinates of an object
KR101167292B1 (ko) 검사경로의 계획방법 및 검사영역의 결정방법
KR20150128300A (ko) 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
KR102643295B1 (ko) 제조 또는 다른 동작 동안 물체의 라이브 계측
JPH11166818A (ja) 三次元形状計測装置の校正方法及び校正装置
JP2016090401A (ja) 外観検査装置、外観検査システム、及び外観検査方法
CN112257536A (zh) 一种空间与物体三维信息采集匹配设备及方法
CN113850280A (zh) 一种智能飞机零件喷码标识方法、装置、存储介质及设备
JP7373053B2 (ja) 車両部品のギャップ・フラッシュ測定方法及び測定用トンネル
CN114994647A (zh) 激光雷达与相机联合外参标定系统及方法
JP6035031B2 (ja) 複数の格子を用いた三次元形状計測装置
JP2015045571A (ja) 隙間段差計測装置及び方法
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
González-Aguilera et al. Accuracy assessment of vehicles surface area measurement by means of statistical methods
CN116958038A (zh) 用于利用人工智能协助检查表面的方法和系统
Di Leo et al. Uncertainty of line camera image based measurements
Kim et al. Development of Structured Light 3D Scanner Based on Image Processing
CN114430841A (zh) 运载器的油漆缺陷的检查方法及检查隧道
Shi et al. Development of an automatic optical measurement system for automotive part surface inspection
US20230334653A1 (en) Method and system for inspecting a surface with artificial intelligence assist
Peng et al. 3D digitizing technology in product reverse design
US20230333028A1 (en) Method and system for inspecting a surface with artifical intelligence assist
EP3467430B1 (en) Method and system for optically scanning and measuring objects

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231020

R150 Certificate of patent or registration of utility model

Ref document number: 7373053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150