JP7310750B2 - 色味補正システム及び色味補正方法 - Google Patents

色味補正システム及び色味補正方法 Download PDF

Info

Publication number
JP7310750B2
JP7310750B2 JP2020134738A JP2020134738A JP7310750B2 JP 7310750 B2 JP7310750 B2 JP 7310750B2 JP 2020134738 A JP2020134738 A JP 2020134738A JP 2020134738 A JP2020134738 A JP 2020134738A JP 7310750 B2 JP7310750 B2 JP 7310750B2
Authority
JP
Japan
Prior art keywords
image
work
target work
workpiece
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020134738A
Other languages
English (en)
Other versions
JP2022030615A (ja
Inventor
裕太 椿
駿 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020134738A priority Critical patent/JP7310750B2/ja
Priority to US17/376,714 priority patent/US11783472B2/en
Priority to CN202110895324.6A priority patent/CN114091168A/zh
Publication of JP2022030615A publication Critical patent/JP2022030615A/ja
Application granted granted Critical
Publication of JP7310750B2 publication Critical patent/JP7310750B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、色味補正システム及び色味補正方法に関する。
車両等の製造工程において、ワークに部品を組み付ける際、ワーク内の組み付けた部品を撮像し、撮像した画像を用いて部品組付け位置を判定する検査業務が行われている。この業務では、通常、検査員が画像を見て部品組付け位置を判定するため、良好な画像を用いる必要がある。画像処理に関連する技術として、例えば、特許文献１や２が知られている。
特開２０１７－０７２９４５号公報 特開２００５－１５９６５０号公報
しかしながら、上記検査業務のためのシステムにおいて、ワーク内の部品組付け位置を画像判定する際、ワークの傾きに応じて画像における部品の色味が変化するため、製造現場で誤欠品を検出することができないという問題がある。
これは、ワークが傾くことで、任意の部品において光源からの距離と光源に対する角度が変化することに起因する。ワークの傾きに伴い、入射光の照度と反射率が変化するため、部品の色味がワークの傾きに応じて変化してしまうのである。よって、画像上見た限りでは基準のものとは異なる色合いになり部品の判別や誤欠品の検出が困難となる。
これに対して、特許文献１では、被写体の撮像画像を取得し、該撮像画像の撮像時に表示部に表示されていた画像の色特性に基づいて、該色特性を相殺する色補正を行うための色補正情報を生成し、該色補正情報に基づいて撮像画像を補正する技術が開示されている。また、特許文献２では、撮影装置により被写体を撮影することで得られた画像を処理し、輝度と濃度の関係を表す階調変換テーブルを生成し、階調変換テーブルを元に画像を補正する技術が開示されている。しかしながら、これらの関連する技術では、同一光源において色補正を行うことができず、被写体の傾きに対応して色補正を行うことができない。
本発明は、このような事情に鑑みてなされたものであって、ワークの傾きによる画像の色味の変化を抑えることが可能な色味補正システム及び色味補正方法を提供するものである。
本発明の一態様に係る色味補正システムは、ワーク内の部品組付け位置を画像判定する際の画像判定における色味補正システムであって、対象ワークを撮像した対象ワーク画像と前記対象ワークの設計情報を受信する受信部と、基準ワークを撮像した基準ワーク画像を保存する基準ワーク画像保存部と、前記受信された対象ワーク画像と前記受信された設計情報に基づいて前記対象ワークが前記基準ワークよりも傾いているか否かを判別する画像判別部と、前記対象ワークが傾いていると判断された場合、前記保存された基準ワーク画像と前記対象ワーク画像に基づいて前記対象ワークの傾き角を推定する計算処理部と、前記傾き角と色味補正値との関係を保存する色味データ保存部と、前記推定された傾き角と前記保存された関係に応じた色味補正式とに基づいて、前記対象ワーク画像の色味を補正する画像補正部と、前記補正された対象ワーク画像を送信及び／または表示する出力部と、を備える。
この一態様において、前記計算処理部は、前記基準ワーク画像と前記対象ワーク画像とを比較し、前記基準ワークと前記対象ワークの輪郭の差分と各頂点の分光量から前記対象ワークの傾き角を推定してもよい。
また、前記計算処理部は、前記基準ワーク及び前記対象ワークの任意の点の照度に基づき、前記対象ワークの任意の点の第１の軸方向の座標を算出し、前記算出した座標から前記対象ワークの第１の軸周りの傾き角を推定してもよい。
さらに、前記計算処理部は、前記第１の軸周りの傾き角と、前記基準ワークの任意の点の３次元座標と、前記対象ワークの任意の点の３次元座標とに基づいて、前記対象ワークの第２の軸周り及び第３の軸周りの傾き角を推定してもよい。
本発明の一態様に係る色味補正方法は、ワーク内の部品組付け位置を画像判定する際の画像判定における色味補正方法であって、対象ワークを撮像した対象ワーク画像と前記対象ワークの設計情報を受信し、基準ワークを撮像した基準ワーク画像を保存し、前記受信された対象ワーク画像と前記受信された設計情報に基づいて前記対象ワークが前記基準ワークよりも傾いているか否かを判別し、前記対象ワークが傾いていると判断された場合、前記保存された基準ワーク画像と前記対象ワーク画像に基づいて前記対象ワークの傾き角を推定し、前記傾き角と色味補正値との関係を保存し、前記推定された傾き角と前記保存された関係に応じた色味補正式とに基づいて、前記対象ワーク画像の色味を補正し、前記補正された対象ワーク画像を送信及び／または表示する、ことを特徴とする。
本発明によれば、ワークの傾きによる画像の色味の変化を抑えることが可能な色味補正システム及び色味補正方法を提供することができる。
本発明の実施の形態に係るワーク検査システムの概略的な構成を示すブロック図である。 本発明の実施の形態に係る色味補正システムの概略的な構成を示すブロック図である。 本発明の実施の形態に係るワーク検査システムの処理フローを示すフローチャートである。 本発明の実施の形態に係る画像取得処理の処理フローを示すフローチャートである。 本発明の実施の形態に係る画像補正処理の処理フローを示すフローチャートである。 ワークの幅の検出例を示す図である。 ワークの傾き有りの場合の画像判別例を示す図である。 ワークの傾き無しの場合の画像判別例を示す図である。 本発明の実施の形態に係るワーク傾き角及び色味補正式算出処理の処理フローを示すフローチャートである。 画像の照度算出例を示す図である。 照度と距離の関係を示す図である。 ワークの傾き有りの場合と傾き無しの場合の座標例を示す図である。 傾き角に対応した色味データ例を示す図である。 本発明の実施の形態に係る画像表示処理の処理フローを示すフローチャートである。
以下、図面を参照して本発明の実施の形態について説明する。ただし、本発明が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図１は、本発明の実施の形態に係るワーク検査システムの概略的な構成を示すブロック図であり、図２は、このワーク検査システムに含まれる色味補正システム（明度・色味補正システム）の概略的な構成を示すブロック図である。本実施の形態に係るワーク検査システム１は、部品が組み付けられたワークを撮像したワーク画像に基づき、ワークの部品組み付け状態を検査するシステムである。また、色味補正システム２（判定ＰＣ４００）は、ワーク検査システム１において、ワークの傾きに応じてワーク画像の色味を補正するシステムである。なお、本実施の形態におけるワークは、例えば車両の製造のためのワークであるが、車両に限らず任意の製造物のワークでもよい。
図１に示すように、ワーク検査システム１は、撮影設備１００と、生産計画ＰＣ２００と、設計部サーバ３００と、判定ＰＣ４００と、検査員ＰＣ５００とを備える。撮影設備１００、生産計画ＰＣ２００、設計部サーバ３００、判定ＰＣ４００及び検査員ＰＣ５００は、ＬＡＮ（Local Area Network）等の通信網を介して通信可能に接続されている。
撮影設備１００は、生産指示に応じて、部品が組み付けられたワークを撮影する設備（システム）である。撮影設備１００は、生産指示受信部１１０と、ワーク撮影部１２０と、撮影データ転送部１３０とを備える。生産指示受信部１１０、ワーク撮影部１２０及び撮影データ転送部１３０を、それぞれ別の装置で構成してもよいし、撮影設備１００に必要な機能を１つまたは複数の任意の装置で実現してもよい。
生産指示受信部１１０は、生産計画ＰＣ２００からワークの生産指示を受信する受信部である。生産指示は、ワークを生産するための指示であるとともに、生産されるワークを撮影するための撮影指示でもある。生産指示受信部１１０は、ＰＣ（Personal Computer）やタブレット端末等の情報処理装置でもよいし、ワーク撮影部１２０と同じカメラ等の撮影機器でもよい。
ワーク撮影部１２０は、ワークを撮影（撮像）するカメラ等の撮影機器（撮像部）である。ワーク撮影部１２０は、ワーク組み付け装置の近傍の所定の位置に固定されており、生産指示の受信に応じて部品が組み付けられたワークを撮影し、ワークを含む２次元のワーク画像を生成する。
撮影データ転送部１３０は、判定ＰＣ４００へ撮影したデータを送信（転送）する送信部である。この例では、撮影したデータとして、ワーク撮影部１２０が撮影したワーク画像と、ワークの車種情報と、ワークの測定部位情報を送信する。車種情報は、ワークにより製造される車種を示す情報（例えば車両の型式）であり、測定部位情報は、ワークの部位（例えば車両の中の部位）を示す情報である。車種情報及び測定部位情報は、ワークを識別するワーク情報でもある。車種情報及び測定部位情報は、予め設定されていてもよいし、ワークの撮影時にワーク組み付け装置等から取得してもよい。撮影データ転送部１３０は、ワーク撮影部１２０がワークを撮影すると、撮影したワーク画像、車種情報及び測定部位情報を判定ＰＣ４００へ送信する。撮影データ転送部１３０は、ＰＣやサーバ等の情報処理装置でもよいし、その他の送信装置でもよい。
生産計画ＰＣ２００は、車両などの生産計画を管理し、ワークの生産指示を行う装置である。生産計画ＰＣ２００は、生産指示受付部２１０と、生産指示送信部２２０とを備える。生産計画ＰＣ２００は、例えばＰＣやサーバ等の情報処理装置で構成されるが、生産計画ＰＣ２００に必要な機能を複数の任意の装置で実現してもよい。
生産指示受付部２１０は、ワークの生産指示を受け付ける受付部である。例えば、生産指示受付部２１０は、入力または受信により生産指示を受け付ける。すなわち、生産指示受付部２１０は、管理者の入力操作により生産指示を入力する入力装置でもよいし、他の装置から生産指示を受信する受信装置でもよい。
生産指示送信部２２０は、生産指示を撮影設備１００へ送信する送信部である。生産指示送信部２２０は、生産指示受付部２１０が生産指示を受け付けると、受け付けた生産指示を撮影設備１００や他の装置へ送信する。
設計部サーバ３００は、車両などのワーク及び部品の設計情報を管理し、他の装置からの要求等に応じて設計情報を送信する装置である。設計部サーバ３００は、設計情報蓄積部３１０と、設計情報送信部３２０とを備える。設計部サーバ３００は、例えばサーバやＰＣ等の情報処理装置で構成されるが、設計部サーバ３００に必要な機能を複数の任意の装置で実現してもよい。
設計情報蓄積部３１０は、ワーク及び部品の設計情報を蓄積する蓄積部である。設計情報蓄積部３１０は、設計部サーバ３００の内部または外部の記憶装置やデータベースでもよいし、記憶装置内の保存領域でもよい。設計情報送信部３２０は、設計情報を判定ＰＣ４００へ送信する送信部である。設計情報送信部３２０は、判定ＰＣ４００からの要求に応じて、設計情報蓄積部３１０に蓄積された該当するワークや部品の設計情報を判定ＰＣ４００へ送信する。
判定ＰＣ４００は、ワーク画像の傾きを判別し色味を補正する装置である。本実施の形態に係る色味補正システム２は、例えば判定ＰＣ４００から構成されるが、必要に応じてその他の装置や機能を備えてもよい。図２に示すように、判定ＰＣ４００は、受信部４１０と、蓄積部４２０と、画像処理部４３０と、出力部４４０とを備える。判定ＰＣ４００は、例えばＰＣやサーバ等の情報処理装置で構成されるが、判定ＰＣ４００に必要な機能を複数の任意の装置で実現してもよい。
受信部４１０は、撮影設備１００や設計部サーバ３００から情報を受信する受信部である。受信部４１０は、撮影データ受信部４１１と、設計情報受信部４１２とを有する。撮影データ受信部４１１は、撮影設備１００から送信されたワーク画像、車種情報及び測定部位情報を受信する。設計情報受信部４１２は、設計部サーバ３００から送信されたワークの設計情報を受信する。
蓄積部４２０は、ワーク画像を処理するために必要なデータを蓄積する蓄積部（記憶部）である。蓄積部４２０は、判定ＰＣ４００の内部または外部の記憶装置やデータベースでもよいし、記憶装置内の保存領域でもよい。蓄積部４２０は、未処理データ保存部４２１と、基準画像データ保存部４２２と、色味データ保存部４２３とを有する。
未処理データ保存部４２１は、撮影データ受信部４１１が撮影設備１００から受信したワーク画像、車種情報及び測定部位情報を保存する。未処理データ保存部４２１が保存する未処理データは、画像処理部４３０が処理する前もしくは処理中のデータである。未処理データのワーク画像には、基準ワーク画像と検査対象ワーク画像が含まれる。基準ワーク画像は、予め検査前に基準となる（傾きの無い）状態のワーク（基準ワーク）を撮影した画像であり、傾きや補正の基準となる画像である。検査対象ワーク画像は、検査時に検査対象のワーク（検査対象ワーク）を撮影した画像である。検査対象ワーク画像または基準ワーク画像のいずれかまたは両方をワーク画像と言う場合がる。基準画像データ保存部４２２は、基準ワーク画像を保存する基準ワーク画像保存部である。基準画像データ保存部４２２は、例えば画像処理部４３０が基準ワーク画像であると判断した画像を保存するが、撮影設備１００から受信した画像を直接保存してもよい。色味データ保存部４２３は、予め学習されたワーク傾き角（傾き角度）と色味データ（色味補正値）の関係を保存する。
画像処理部４３０は、ワーク画像の判別及び補正を行う処理部である。画像処理部４３０は、画像判別部４３１と、計算処理部４３２と、画像補正部４３３とを有する。画像判別部４３１は、設計部サーバ３００から受信した設計情報をもとに、未処理データ保存部４２１に保存されたワーク画像のワークが傾いているか否かを判別する。例えば、検査対象ワークが基準ワークよりも傾いているか否かを判別する。なお、画像判別部４３１は、基準ワーク画像の基準ワークをもとに検査対象ワーク画像の検査対象ワークの傾きの有無を判別してもよい。
計算処理部４３２は、基準画像データ保存部４２２に保存された基準ワーク画像と未処理データ保存部４２１に保存された検査対象ワーク画像に基づいて、検査対象ワークのワーク傾き角を推定する。計算処理部４３２は、画像処理部４３０により検査対象ワークが傾き有りと判断された場合に、検査対象ワークのワーク傾き角を推定する。ワーク傾き角は、基準ワークに対する検査対象ワークの３次元の傾き（傾き角度）である。また、計算処理部４３２は、色味データ保存部４２３に保存されたワーク傾き角と色味データの関係に基づいた色味補正式を求める。画像補正部４３３は、推定されたワーク傾き角と色味補正式を用いて、検査対象ワーク画像の色味を補正する。
出力部４４０は、色味を補正した色味補正後画像を送信または表示により出力する出力部である。出力部４４０は、補正画像転送部４４１と、表示部４４２とを有する。補正画像転送部４４１及び表示部４４２の両方を有していてもよいし、いずれか一方を有していてもよい。補正画像転送部４４１は、色味補正後画像を検査員ＰＣ５００へ送信する送信部である。表示部４４２は、色味補正後画像を表示する液晶表示装置などの表示装置である。なお、補正前の画像と補正後の画像を出力してもよい。また、検査対象ワーク画像とともに基準ワーク画像を出力してもよい。例えば、ワークの傾きの有無や傾き角が表示されるように出力してもよい。
検査員ＰＣ５００は、表示されるワーク画像をもとに検査員が検査を行う装置である。図１に示すように、検査員ＰＣ５００は、受信部５１０と、表示部５２０とを備える。検査員ＰＣ５００は、例えばＰＣやサーバ等の情報処理装置で構成されるが、検査員ＰＣに必要な機能を複数の任意の装置で実現してもよい。受信部５１０は、色味補正後画像を判定ＰＣ４００から受信する受信部である。表示部５２０は、受信した色味補正後画像を表示する液晶表示装置などの表示装置である。
図３は、本実施の形態に係るワーク検査システム１の処理フローを示すフローチャートである。図３に示すように、ワーク検査システム１は、ワーク画像を取得する画像取得処理（Ｓ１０１）、取得されたワーク画像を補正する画像補正処理（Ｓ１０２）、補正されたワーク画像を表示する画像表示処理（Ｓ１０３）の順に処理を行う。
まず、Ｓ１０１の画像取得処理について説明する。図４は、画像取得処理の処理フローを示すフローチャートである。この画像取得処理は撮影設備１００により実行され、この処理により、事前に撮影設備１００が基準ワークを撮影すると、判定ＰＣ４００が基準ワーク画像を取得し、その後、撮影設備１００が検査対象ワークを撮影すると、判定ＰＣ４００が検査対象ワーク画像を取得する。
図４に示すように、生産指示受信部１１０は、生産計画ＰＣ２００から生産指示を受信する（Ｓ２０１）。生産計画ＰＣ２００がワークの生産指示を送信すると、生産指示受信部１１０は、生産計画ＰＣ２００から送信されたワークの生産指示（撮影指示）を受信する。
続いて、ワーク撮影部１２０は、ワークを撮影する（Ｓ２０２）。生産指示受信部１１０がワークの生産指示を受信すると、ワーク撮影部１２０は、部品が組み付けられたワークを撮影する。例えば、生産指示に応じてワーク組み付け装置がワークに部品を組み付け、ワーク撮影部１２０は、部品の組み付けが完了したワークを撮影し、ワーク画像を生成する。
続いて、撮影データ転送部１３０は、ワーク画像、車種情報及び測定部位情報を判定ＰＣ４００へ送信する（Ｓ２０３）。ワーク撮影部１２０がワーク画像を撮影すると、撮影データ転送部１３０は、撮影したワークの車種情報及び測定部位情報（ワーク情報）を取得し、ワーク画像、車種情報及び測定部位情報を、判定ＰＣ４００の未処理データ保存部４２１へ送信する。そうすると、判定ＰＣ４００の未処理データ保存部４２１は、撮影データ受信部４１１を介してワーク画像、車種情報及び測定部位情報を受信し保存する。
次に、図３に示したＳ１０２の画像補正処理について説明する。図５は、画像補正処理の処理フローを示すフローチャートである。この画像補正処理は判定ＰＣ４００により実行され、この処理により、基準ワーク画像と検査対象ワーク画像を比較し、ワークの輪郭の差分と各頂点の分光量からワーク傾き角を推定し、ワークの傾きによる部品の色味を補正する。
図５に示すように、画像判別部４３１は、ワーク画像、車種情報及び測定部位情報を取り込む（Ｓ３０１）。画像判別部４３１は、撮影設備１００から取得し未処理データ保存部４２１に保存されたワーク画像、車種情報及び測定部位情報を取り込む。
続いて、画像判別部４３１は、設計部サーバ３００から該当ワークの設計情報を取得する（Ｓ３０２）。画像判別部４３１は、設計情報受信部４１２を介して設計部サーバ３００内の設計情報蓄積部３１０から、撮影されたワーク画像のワークの設計情報を取得する。具体的には、ワーク画像とともに取り込んだ車種情報及び測定部位情報に対応するワークの設計情報を設計部サーバ３００に要求し、該当するワークの寸法情報を取得する。
続いて、画像判別部４３１は、ワーク画像のワークの輪郭を検出する（Ｓ３０３）。例えば、画像判別部４３１は、取り込んだワーク画像に対しエッジ検出処理を行い、画像内のワーク（ワーク領域）の輪郭を抽出する。なお、画像内のワーク領域をワーク画像と呼ぶ場合がある。
続いて、画像判別部４３１は、ワーク画像のワークのＸ軸方向及びＹ軸方向の幅（検出サイズ）を検出する（Ｓ３０４）。例えば、図６に示すように、画像判別部４３１は、検出されたワーク（ワーク領域）の輪郭における各点のＸ座標の最大値（ｍａｘｘ）と最小値（ｍｉｎｘ）を求め、次の式（１）のようにＸ座標の最大値と最小値を合計することで、Ｘ軸方向の検出幅（ｘｍ）を算出する。同様に、検出されたワークの輪郭における各点のＹ座標の最大値（ｍａｘｙ）と最小値（ｍｉｎｙ）を求め、次の式（１）のようにＹ座標の最大値と最小値を合計することで、Ｙ軸方向の検出幅（ｙｍ）を算出する。
Figure 0007310750000001
続いて、画像判別部４３１は、設計情報に基づいて画像上のワークのＸ軸方向及びＹ軸方向の設計幅（設計サイズ）を算出する（Ｓ３０５）。画像判別部４３１は、該当ワークの設計情報である寸法情報に基づいて、画像上のワーク（ワーク領域）のＸ軸方向の設計幅（ｘｄ）とＹ軸方向の設計幅（ｙｄ）を求める。例えば、ワークを撮影するワーク撮影部１２０のカメラパラメータを用いて、ワークの設計図面のＸ軸方向の寸法とＹ軸方向の寸法を、画像上のＸ軸方向の幅とＹ軸方向の幅に変換する。なお、設計幅の代わりに、基準ワーク画像におけるワークの幅を使用してもよい。
続いて、画像判別部４３１は、ワークの検出幅と設計幅との差分が設計寸法公差以内かどうか判定する（Ｓ３０６）。これにより、撮影したワークが傾いているか否か判別する。画像判別部４３１は、ワーク画像におけるワークのＸ軸方向の検出幅（ｘｍ）と設計幅（ｘｄ）との差が設計寸法公差（ｈｘ）以内かどうか、及び、ワーク画像におけるワークのＹ軸方向の検出幅（ｙｍ）と設計幅（ｙｄ）との差が設計寸法公差（ｈｙ）以内かどうか判定する。具体的には、次の式（２）を満たすか否か判断する。式（２）において、￣ｈｘ及び￣ｈｙ（バー記号付きのｈｘ及びｈｙ）は、Ｘ軸方向及びＹ軸方向の設計寸法公差の平均値である。
Figure 0007310750000002
例えば、式（２）のいずれかを満たさない場合、ワークの傾き有り（基準に対し傾いている）と判断し、式（２）の両方を満たす場合、ワークの傾き無し（基準に対し傾いていない）と判断する。Ｓ３０６において、ワークの検出幅と設計幅との差分が設計寸法公差以内（傾き無し）の場合、判定したワーク画像を基準ワーク画像として基準画像データ保存部４２２に保存する（Ｓ３０７）。例えば、基準ワーク画像として保存した後、Ｓ３１１以降で補正を行わずに画像を出力する。なお必要に応じて、Ｓ３０８～Ｓ３１０の補正処理を行ってもよい。
上記のＳ３０１～Ｓ３０６は、画像判別部４３１がワーク画像に基づいて撮影したワークの傾きの有無を判別する画像判別処理である。図７は、ワークがＸ軸、Ｙ軸及びＺ軸方向に傾き有りの場合の画像判別処理の例を示している。なお、この例では、ワークの形状を画像のＸ－Ｙ平面（カメラから見た平面視）で四角形としているが、四角形に限らず任意の形状でもよい。また、Ｚ軸方向の形状も限定されない。
図７に示すように、撮影したワーク画像の検出値と設計値に基づくワークのＸ軸方向及びＹ軸方向の線分の差分を算出する。すなわち、画像判別処理では、上記のように、設計情報から求められる画像上のワークのＸ軸方向の線分の長さである設計幅（ｘｄ）と、ワーク画像から検出されるワークのＸ軸方向の線分の長さである検出幅（ｘｍ）との差分を求め、同様に、設計情報から求められる画像上のワークのＹ軸方向の線分の長さである設計幅（ｙｄ）と、ワーク画像から検出されるワークのＹ軸方向の線分の長さである検出幅（ｙｍ）との差分を求める。
図７の例では、Ｘ軸方向の設計寸法公差（ｈｘ）よりも画像縮尺比を加味した差分（ｘｄ－ｘｍ）が大きく、また、Ｙ軸方向の設計寸法公差（ｈｙ）よりも画像縮尺比を加味した差分（ｙｄ－ｙｍ）が大きい。このため、撮影したワークの傾き有りと判定する。この場合、以降の処理で、傾きにより遷移した任意の点（例えばＧ０及びＧ１）の座標を取得し、この座標を用いて３次元の傾きを求めることで、色味補正を行う。
図８は、ワークの傾き無しの場合の画像判別処理の例を示している。図７と同様、ワークのＸ軸方向の設計幅（ｘｄ）と検出幅（ｘｍ）との差分を求め、また、ワークのＹ軸方向の設計幅（ｙｄ）と検出幅（ｙｍ）との差分を求める。図８の例では、Ｘ軸方向の設計寸法公差（ｈｘ）以内に画像縮尺比を加味した差分（ｘｄ－ｘｍ）が収まっており、また、Ｙ軸方向の設計寸法公差（ｈｙ）以内に画像縮尺比を加味した差分（ｙｄ－ｙｍ）が収まっている。このため、撮影したワークの傾き無しと判定する。この場合、以降の処理で色味補正を行わない。
図５に示すように、Ｓ３０６において、ワークの検出幅と設計幅との差分が設計寸法公差よりも大きい（傾き有り）と判断された場合、計算処理部４３２は、次のＳ３０８～Ｓ３１０により色味補正を行う。まず、計算処理部４３２は、基準ワーク画像と未処理データを取り込む（Ｓ３０８）。この場合の未処理データは検査対象ワーク画像である。すなわち、計算処理部４３２は、基準画像データ保存部４２２に保存された基準ワーク画像と未処理データ保存部４２１に保存された検査対象ワーク画像を取り込む。
続いて、計算処理部４３２は、ワーク傾き角及び色味補正式算出処理を行う（Ｓ３０９）。図９は、ワーク傾き角及び色味補正式算出処理（Ｓ３０９）の処理フローを示すフローチャートである。
図９に示すように、計算処理部４３２は、検査対象ワークの任意の点の照度を算出する（Ｓ４０１）。計算処理部４３２は、検査対象ワーク画像のワーク（ワーク領域）を抽出し、抽出したワークの輪郭の任意の点を特定する。任意の点として、例えば、図１０に示すように、検査対象ワークの頂点Ｒ１～Ｒ４の位置を特定する。計算処理部４３２は、例えば、検査対象ワーク画像のＨＳＶ値（Ｈ：色相、Ｓ：彩度、Ｖ：輝度）から、頂点Ｒ１～Ｒ４の色相Ａ１～Ａ４、彩度Ｂ１～Ｂ４、明度Ｃ１～Ｃ４を取得し、取得した値に基づいて頂点Ｒ１～Ｒ４の照度を算出する。なお、ＨＳＶ値に限らず、ＲＧＢ値やその他の色空間の値を使用してもよい。また、その他の方法で各頂点の分光量（分光照度）を取得してもよい。
続いて、基準ワークと対象ワークの輪郭の差分と各頂点の分光量から対象ワークの傾き角を推定する。この例では、次のＳ４０２～Ｓ４０４で、２次元の画像に基づき、ワークの任意の点の照度（分光量）と、ワークの傾きによる任意の点の座標の遷移（輪郭の差分）からワークの３次元の傾き角を推定する。具体的には、計算処理部４３２は、検査対象ワークの任意の点のＺ軸座標を算出する（Ｓ４０２）。計算処理部４３２は、基準ワーク画像と検査対象ワーク画像を比較し、光源からの距離と照度の関係より、基準ワーク画像と検査対象ワーク画像の任意の点の照度に基づき、任意の点におけるＺ軸座標（例えば第１の軸方向の座標）を算出する。例えば、上記のように照度を求めたワークの頂点のいずれかのＺ軸座標を算出する。ここでは、基準ワークのＸ軸方向（例えば第２の軸方向）及びＹ軸方向（例えば第３の軸方向）の平面に対し垂直な方向をＺ軸方向とし、Ｚ軸方向の任意の位置の光源からワークに対し光が照射されているものとする。
図１１に示すように、任意の点の照度は光源からの距離に依存する。光源からの距離ｄ１の位置にある点Ｐ１の照度をＥ１、光源からの距離ｄ２の位置にある点Ｐ２の照度をＥ２とすると、次の式（３）が成り立つ。例えば、この光源からの距離と照度の関係式から、任意の点のＺ軸座標を求める。なお、式（３）は一例であり、その他の式を用いてもよい。
Figure 0007310750000003
基準ワーク画像における基準ワークの各頂点の距離（Ｚ軸座標）は所定の距離である。このため、基準ワーク画像における基準ワークの任意の頂点の照度と検査対象ワーク画像における検査対象ワークの任意の頂点の照度から、式（３）を用いて、検査対象ワークの任意の頂点のＺ軸座標を求めることができる。
続いて、計算処理部４３２は、検査対象ワークのＺ軸周りの回転角を推定する（Ｓ４０３）。計算処理部４３２は、上記のように算出した任意の点のＺ軸座標からＺ軸周りの回転角θｚを算出する。例えば、中心点Ｏの位置を特定し、中心点Ｏから基準ワーク画像における基準ワークの任意の頂点に延びる線と、中心点Ｏから検査対象ワーク画像における検査対象ワークの任意の頂点に延びる線との間のＺ軸周りの角度を算出する。
続いて、計算処理部４３２は、検査対象ワークのＸ軸周りの回転角及びＹ軸周りの回転角を推定する（Ｓ４０４）。例えば、図１２に示すように、傾き無しの場合のワーク（基準ワーク）の任意の点Ｇ０の３次元座標と傾き有りの場合のワーク（検査対象ワーク）の任意の点Ｇ１の３次元座標を取得する。Ｘ軸座標及びＹ軸座標は、画像平面から取得でき、Ｚ軸座標は上記の方法で算出できる。点Ｇ０から点Ｇ１へのワーク傾きによる遷移と、上記のように算出した回転角θｚとから、Ｘ軸周りの回転角及びＹ軸周りの回転角を求める。計算処理部４３２は、例えば、次の式（４）を用いて、任意の点において、傾き有無の２点の３次元座標とＺ軸周りの回転角θｚから、Ｘ軸周りの回転角θｘ、Ｙ軸周りの回転角θｙを算出する。なお、式（４）は一例であり、その他の式を用いてもよい。これにより、検査対象ワークの３次元の傾き角（θｘ、θｙ、θｚ）が推定される。
Figure 0007310750000004
続いて、計算処理部４３２は、補正値とワーク傾き角から色味補正式を算出する（Ｓ４０５）。図１３に示すように、ワークの任意の点における傾き角に対応した色味データを事前に学習し、任意の点ごとに傾き角と色味データを関連付けて色味データ保存部４２３に保存する。保存されている色味データは、基準値との差分であり、傾き角に応じて補正するための色味補正値である。例えば、色味データは、傾き角（θｘ、θｙ、θｚ）に対応したＲＧＢ値とＨＳＶ値である。なお、ＲＧＢ値及びＨＳＶ値の両方を色味データしてもよいし、いずれか一方のみを色味データしてもよい。さらに、その他の色空間の値を色味データしてもよい。例えば、色味とは所定の色空間で特定される色であり、色味の補正とは、所定の色空間上の位置を補正することである。すなわち、本実施の形態における色味は、ＲＧＢやＨＳＶ、その他の色空間における任意の要素を含む。
計算処理部４３２は、傾き角と色味の差分（色味データ）の関係から色味補正式を算出する。具体的には、次の式（５）により、補正値Ｗと傾き角θから色味補正式Ｕを求める。この補正値Ｗは、傾き角と色味の差分の関係に基づいた値であり、例えばＲＧＢ値の補正値である。例えば任意の点ごとに色味補正式を求めてもよい。
Figure 0007310750000005
続いて、図５に示すように、画像補正部４３３は、ワーク傾き角と色味補正式から画像を補正する（Ｓ３１０）。画像補正部４３３は、計算処理部４３２により推定されたワーク傾き角と上記式（５）の色味補正式を用いて、検査対象ワーク画像の色味を補正する。例えば、任意の点ごとの色味補正式を用いて、ワークの全体の色味を補正する。
続いて、補正画像転送部４４１は、色味補正後画像を検査員ＰＣ５００へ送信する（Ｓ３１１）。補正画像転送部４４１は、画像補正部４３３により補正された補正後の検査対象ワーク画像を検査員ＰＣ５００の受信部５１０へ送信する。また、判定ＰＣ４００の表示部４４２に補正後の検査対象ワーク画像を表示する。
次に、図３に示したＳ１０３の画像表示処理について説明する。図１４は、画像表示処理の処理フローを示すフローチャートである。この画像表示処理は検査員ＰＣ５００により実行される。
図１４に示すように、受信部５１０は、判定ＰＣ４００から補正後画像を受信する（Ｓ５０１）。判定ＰＣ４００が検査対象ワーク画像の色味を補正し送信すると、受信部５１０は、補正後の検査対象ワーク画像を受信する。続いて、表示部５２０は、受信した補正後画像を表示する（Ｓ５０２）。受信部５１０が補正後の検査対象ワーク画像を受信すると、表示部５２０は、受信した補正後の検査対象ワーク画像を表示する。検査員は、表示された画像により、ワークの部品組み付け位置を判定する。
以上のように、本実施の形態では、ワーク内の部品組み付け位置を画像判定する検査システムにおいて、（傾いた画像を含めた）基準画像データベースを用意し、基準画像と検査対象のワークを撮像した画像とをもとに、ワークの傾きによる輪郭の差分と各頂点の照度に応じてワークの傾き角度を推定することで、検査対象ワーク画像におけるワークの傾きによる部品の色味を補正する。これによって、ワーク内の部品組付け位置を画像判定する際、ワークが傾くことにより部品の色味が変化しても、ワークの傾きに応じて画像の色味が補正されるため画像が明確になる。したがって、適切にワーク内の部品組付け位置を判断することができ、製造現場で誤欠品の検出を行うことが可能となる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態では、ワークの傾きの有無の検出及び傾き角を推定し、ワーク画像を補正する色味補正システムについて説明したが、ワークの傾きの有無の検出し出力する装置としてもよいし、ワークの傾き角を推定し出力する装置としてもよい。
上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置の機能（処理）を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施形態における方法（例えば色味補正方法）を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することにより実現してもよい。
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１ ワーク検査システム
２ 色味補正システム
１００ 撮影設備
１１０ 生産指示受信部
１２０ ワーク撮影部
１３０ 撮影データ転送部
２００ 生産計画ＰＣ
２１０ 生産指示受付部
２２０ 生産指示送信部
３００ 設計部サーバ
３１０ 設計情報蓄積部
３２０ 設計情報送信部
４００ 判定ＰＣ
４１０ 受信部
４１１ 撮影データ受信部
４１２ 設計情報受信部
４２０ 蓄積部
４２１ 未処理データ保存部
４２２ 基準画像データ保存部
４２３ 色味データ保存部
４３０ 画像処理部
４３１ 画像判別部
４３２ 計算処理部
４３３ 画像補正部
４４０ 出力部
４４１ 補正画像転送部
４４２ 表示部
５００ 検査員ＰＣ
５１０ 受信部
５２０ 表示部

Claims (5)

  1. ワーク内の部品組付け位置を画像判定する際の画像判定における色味補正システムであって、
    対象ワークを撮像した対象ワーク画像と前記対象ワークの設計情報を受信する受信部と、
    基準ワークを撮像した基準ワーク画像を保存する基準ワーク画像保存部と、
    前記受信された対象ワーク画像と前記受信された設計情報に基づいて前記対象ワークが前記基準ワークよりも傾いているか否かを判別する画像判別部と、
    前記対象ワークが傾いていると判断された場合、前記保存された基準ワーク画像と前記対象ワーク画像に基づいて前記対象ワークの傾き角を推定する計算処理部と、
    前記傾き角と色味補正値との関係を保存する色味データ保存部と、
    前記推定された傾き角と前記保存された関係に応じた色味補正式とに基づいて、前記対象ワーク画像の色味を補正する画像補正部と、
    前記補正された対象ワーク画像を送信及び／または表示する出力部と、
    を備えることを特徴とする色味補正システム。
  2. 前記計算処理部は、前記基準ワーク画像と前記対象ワーク画像とを比較し、前記基準ワークと前記対象ワークの輪郭の差分と各頂点の分光量から前記対象ワークの傾き角を推定する、
    請求項１に記載の色味補正システム。
  3. 前記計算処理部は、前記基準ワーク及び前記対象ワークの任意の点の照度に基づき、前記対象ワークの任意の点の第１の軸方向の座標を算出し、前記算出した座標から前記対象ワークの第１の軸周りの傾き角を推定する、
    請求項２に記載の色味補正システム。
  4. 前記計算処理部は、前記第１の軸周りの傾き角と、前記基準ワークの任意の点の３次元座標と、前記対象ワークの任意の点の３次元座標とに基づいて、前記対象ワークの第２の軸周り及び第３の軸周りの傾き角を推定する、
    請求項３に記載の色味補正システム。
  5. ワーク内の部品組付け位置を画像判定する際の画像判定における色味補正方法であって、
    対象ワークを撮像した対象ワーク画像と前記対象ワークの設計情報を受信し、
    基準ワークを撮像した基準ワーク画像を保存し、
    前記受信された対象ワーク画像と前記受信された設計情報に基づいて前記対象ワークが前記基準ワークよりも傾いているか否かを判別し、
    前記対象ワークが傾いていると判断された場合、前記保存された基準ワーク画像と前記対象ワーク画像に基づいて前記対象ワークの傾き角を推定し、
    前記傾き角と色味補正値との関係を保存し、
    前記推定された傾き角と前記保存された関係に応じた色味補正式とに基づいて、前記対象ワーク画像の色味を補正し、
    前記補正された対象ワーク画像を送信及び／または表示する、
    ことを特徴とする色味補正方法。
JP2020134738A 2020-08-07 2020-08-07 色味補正システム及び色味補正方法 Active JP7310750B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020134738A JP7310750B2 (ja) 2020-08-07 2020-08-07 色味補正システム及び色味補正方法
US17/376,714 US11783472B2 (en) 2020-08-07 2021-07-15 Color tone correction system and color tone correction method
CN202110895324.6A CN114091168A (zh) 2020-08-07 2021-08-05 色调校正系统和色调校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020134738A JP7310750B2 (ja) 2020-08-07 2020-08-07 色味補正システム及び色味補正方法

Publications (2)

Publication Number Publication Date
JP2022030615A JP2022030615A (ja) 2022-02-18
JP7310750B2 true JP7310750B2 (ja) 2023-07-19

Family

ID=80113936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020134738A Active JP7310750B2 (ja) 2020-08-07 2020-08-07 色味補正システム及び色味補正方法

Country Status (3)

Country Link
US (1) US11783472B2 (ja)
JP (1) JP7310750B2 (ja)
CN (1) CN114091168A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210313A1 (ja) * 2022-04-28 2023-11-02 パナソニックＩｐマネジメント株式会社 測定方法、測定システム、および情報処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000205957A (ja) 1999-01-13 2000-07-28 Toyota Motor Corp 色調測定方法および色調測定装置
JP2013217671A (ja) 2012-04-04 2013-10-24 Fuji Electric Co Ltd ３次元物体位置・姿勢検出方法及び装置
JP2015114722A (ja) 2013-12-09 2015-06-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム
JP2017085193A (ja) 2015-10-22 2017-05-18 キヤノン株式会社 画像処理装置、画像処理方法
JP2019191117A (ja) 2018-04-27 2019-10-31 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20200175669A1 (en) 2018-12-04 2020-06-04 General Electric Company System and method for work piece inspection

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005159650A (ja) 2003-11-25 2005-06-16 Canon Inc 画像処理装置、画像処理方法ならびに記憶媒体、プログラム
JP5528139B2 (ja) * 2010-02-02 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5832278B2 (ja) * 2011-12-26 2015-12-16 三菱重工業株式会社 カメラ計測システムのキャリブレーション方法
EP2821980A4 (en) * 2012-03-02 2015-05-27 Nissan Motor DEVICE FOR DETECTING THREE-DIMENSIONAL OBJECTS
CN105474261B (zh) * 2013-05-23 2018-11-27 生物梅里埃公司 用于改进图像质量的方法、系统和计算机程序产品
JP6000478B2 (ja) * 2014-01-24 2016-09-28 三菱電機株式会社 工具形状測定装置および工具形状測定方法
KR102081139B1 (ko) * 2014-03-12 2020-02-25 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
JP2017072945A (ja) 2015-10-06 2017-04-13 キヤノン株式会社 画像処理装置、画像処理方法
CN108965690B (zh) * 2017-05-17 2021-02-26 欧姆龙株式会社 图像处理系统、图像处理装置及计算机可读存储介质
DE102018116790A1 (de) * 2018-07-11 2020-01-16 Intom GmbH Vorrichtung und Verfahren zur additiven Fertigung eines Werkstücks
CN112888531B (zh) * 2018-12-11 2023-04-14 本田技研工业株式会社 工件检查装置和工件检查方法
US20230041378A1 (en) * 2021-08-09 2023-02-09 Mujin, Inc. Systems and methods for object detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000205957A (ja) 1999-01-13 2000-07-28 Toyota Motor Corp 色調測定方法および色調測定装置
JP2013217671A (ja) 2012-04-04 2013-10-24 Fuji Electric Co Ltd ３次元物体位置・姿勢検出方法及び装置
JP2015114722A (ja) 2013-12-09 2015-06-22 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システムおよびプログラム
JP2017085193A (ja) 2015-10-22 2017-05-18 キヤノン株式会社 画像処理装置、画像処理方法
JP2019191117A (ja) 2018-04-27 2019-10-31 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20200175669A1 (en) 2018-12-04 2020-06-04 General Electric Company System and method for work piece inspection

Also Published As

Publication number Publication date
US20220044380A1 (en) 2022-02-10
JP2022030615A (ja) 2022-02-18
CN114091168A (zh) 2022-02-25
US11783472B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US9866818B2 (en) Image processing apparatus and method, image processing system and program
US7389041B2 (en) Determining scene distance in digital camera images
US8401274B2 (en) Image processing apparatus and method
US20110228052A1 (en) Three-dimensional measurement apparatus and method
JP2022501603A (ja) 体積測定方法、システム、装置及びコンピュータ読取可能な記憶媒体
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
EP1536378A2 (en) Three-dimensional image display apparatus and method for models generated from stereo images
US20240303772A1 (en) Device and method for correspondence analysis in images
US20180316912A1 (en) Camera parameter calculation method, recording medium, camera parameter calculation apparatus, and camera parameter calculation system
US20120127279A1 (en) Image photographing device and method for three-dimensional measurement
JP2007333679A (ja) ３次元位置補正装置
EP3633606B1 (en) Information processing device, information processing method, and program
JP2020197797A (ja) 画像処理装置及び画像処理方法
US10002437B2 (en) Method and electronic device of identifying redundant data
JP2006250722A (ja) キャリブレーション装置及びその方法、キャリブレーション用プログラム
JP7310750B2 (ja) 色味補正システム及び色味補正方法
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
US20210156677A1 (en) Three-dimensional measurement apparatus and method
CN117830251A (zh) 缺陷分析方法、缺陷分析装置及电子设备
WO2024049645A1 (en) Systems and methods for generating point-accurate three-dimensional models with point-accurate color information from a non-cosited capture
US6963666B2 (en) Matching device
JP5446285B2 (ja) 画像処理装置及び画像処理方法
JP2012185030A (ja) 色ムラ判別装置、色ムラ判別方法及び表示装置
CN115867861A (zh) 信息处理装置和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7310750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151