JP4442661B2 - 3次元計測方法および3次元計測装置 - Google Patents
3次元計測方法および3次元計測装置 Download PDFInfo
- Publication number
- JP4442661B2 JP4442661B2 JP2007222168A JP2007222168A JP4442661B2 JP 4442661 B2 JP4442661 B2 JP 4442661B2 JP 2007222168 A JP2007222168 A JP 2007222168A JP 2007222168 A JP2007222168 A JP 2007222168A JP 4442661 B2 JP4442661 B2 JP 4442661B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- dimensional
- coordinates
- image
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
たとえば、工場の組立ラインでのロボットハンドの位置決めを3次元計測により行う場合に、計測結果が不正確になったことに気づかないまま処理が進められると、不良品が発生したり、処理エラーが生じる可能性がある。また3次元計測による検査を行う場合にも、不良品が見過ごされて出荷されたり、良品であるのに不良品として判別される製品が増えるおそれがある。
なお、第3ステップにおいて比較画像側の対応点を検索する場合には、検索を効率良く行うために、エピポーラ線に沿って検索を行うのが望ましいが、その場合には、対応点がエピポーラ線からずれた場合に対応できるように、エピポーラ線からある程度離れた範囲までを検索対象にする必要がある。
この発明の評価値は、対応点自体は正しいが、3次元座標の算出に必要なパラメータが実際のカメラの配置に対応しないものになっている状態を把握するためのものであり、特許文献1の信頼度とは概念が全く異なる。また、特許文献1では、照合対象の画像にエピポーラ線に沿って参照ウィンドウを走査しながら、走査位置毎に基準ウィンドウとの輝度差の絶対値和(SAD)を用いた演算により信頼度を算出しており、エピポーラ線に対する対応点のずれ量を求める点については、何も記載されていない。
したがって、いずれのカメラが動いたかを特定することができなくとも、出力された評価値によってカメラの配置の関係が狂ったことを認識することができるので、精度の悪い3次元計測結果が使用されるのを防止することができる。
この3次元計測装置は、工場の生産ラインなどにおいて、同形状の計測対象物を順に処理対象領域に搬入し、2台または3台のカメラを用いた3次元計測を行うものである。
また、この実施例では、カメラC1,C2をそれぞれ基準カメラC0に個別に組み合わせて3次元計測を行うので、これらの組み合わせ毎に、上記のパラメータを算出する必要がある。
この実施例では、所定広さの処理対象領域に計測対象物を順に搬入して3次元計測を行うようにしている。基準カメラC0は、処理対象領域の真上に、光軸を鉛直方向に向けて設置されるので、計測対象物の上面を正面から見た状態を示す画像(正面視画像)を生成する。一方、比較画像を生成するカメラC1は、この処理対象領域を斜め上から撮像するように設置される。
カメラC1の位置または姿勢が変化し、ユーザがそれに気づかないまま撮像を行うと、実際のエピポーラ線は、図3に示したEPとは異なる直線になるが、保存されているパラメータでこの正しいエピポーラ線を特定することは不可能である。このため、図4に示すように、比較画像A1中の代表点P1は、エピポーラ線EPから位置ずれした状態になる。
判定部110は、評価値を所定の許容値と比較し、許容値を上回る評価値が算出された場合には警報出力部112を作動する。警報出力部112は、ユーザーに、3次元計測結果の信頼度が著しく低下したことを示すメッセージ情報を作成し、これを表示部12等に出力する(以下、この警報出力部112による処理を「警報出力」という。)。
この図5の例は、各計測対象物につきそれぞれ複数の計測対象部位の3次元計測を行う場合を想定しているが、1代表点しか計測しない場合もある。後記する図7,8の例も同様である。
さらにST12では、毎時のST6で求めた各代表点の3次元座標と、ST11で設定した評価値Hとを出力する。この出力は、前記したように、表示、外部出力、メモリへの保存の3つの態様で行われる。
この問題を解決するために、つぎの図7の例では、制御処理部10にカメラを3台接続し、斜め方向から撮像を行うカメラC1,C2を、それぞれ基準カメラC0と組み合わせ、組み合わせ毎に3次元座標や評価値を算出するようにしている。
さらに評価値hが許容値Dを上回った場合には、ST30からST31に進み、警報を出力する。
この実施例では、カメラC1,C2を基準カメラC0に個別に組み合わせ、組み合わせ毎に3次元座標および対応点のずれ量を算出し、大きい方のずれ量を評価値として採用するので、ユーザは、この評価値により、3次元計測の精度が低下したことを容易に把握することができる。
この実施例でも、図7の例と同様に、カメラC1,C2をそれぞれ基準カメラC0に個別に組み合わせ、組み合わせ毎に3次元座標の算出処理を実行する。ただし、3次元計測の精度を評価する方法は、図7の実施例とは異なっている。
この後、各代表点に順に着目して、比較画像毎に、エピポーラ線の特定(ST43a,43b)、検索範囲の設定(ST44a,44b)、対応点の検索(ST45a,45b)、3次元座標の算出(ST46a,46b)の各処理を実行する。これらの処理も、図7の例と同様のものであるため、詳細な説明は省略する。
ここで、L>LXとなった場合には、ST51に進み、警報出力を行った後、以後の計測を中止する。
10 制御処理部
105 画像処理部
107 パラメータ記憶部
108 3次元計測部
109 評価値算出部
110 判定部
111 出力部
112 警報出力部
Claims (3)
- 3台以上のカメラをそれぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置するとともに、これらのカメラの中の特定の1台を基準カメラに設定し、
前記3台以上のカメラの各視野が重なる範囲に入った計測対象物に対し、各カメラによる撮像を行う第1ステップと、前記基準カメラにより生成された基準画像から前記計測対象物の代表点を抽出する第2ステップと、基準カメラ以外の各カメラにより生成された比較画像と前記基準画像とを用いて前記第2ステップで抽出された代表点の3次元座標を算出する第3ステップと、第3ステップで算出された3次元座標に基づき、前記計測対象物に対する3次元計測結果を出力する第4ステップとを実行する3次元計測方法において、
前記第3ステップでは、前記基準カメラ以外の各カメラにより生成された比較画像をそれぞれ個別に前記基準画像に組み合わせ、組み合わせ毎に、前記基準画像から抽出された代表点に対する比較画像側の対応点を検索するステップと、この検索により特定された対応点の座標と基準画像中の前記代表点の座標とを用いてこれらの座標に対応する3次元座標を求めるステップとを実行するとともに、少なくとも1つの代表点について、基準画像中の当該代表点の座標とカメラ間のあらかじめ定められた関係とに基づき特定される比較画像中のエピポーラ線に対し、前記検索により特定された対応点のずれ量を算出するステップを、前記基準画像と比較画像との組み合わせ毎に実行し、
前記第4ステップでは、前記基準画像と比較画像との組み合わせ毎に算出されたずれ量の中の最大値に基づき3次元計測結果の精度を表す評価値を設定するとともに、ずれ量が最小となった組み合わせに対して算出された3次元座標により前記計測対象物に対する3次元計測結果を特定し、この3次元計測結果とともに前記評価値を出力する、ことを特徴とする3次元計測方法。 - それぞれの視野が所定の範囲で重なるように位置関係および光軸方向を定めて配置された3台以上のカメラから、各カメラの視野が重なる範囲に入った計測対象物の画像を個別に入力する画像入力手段と、
前記3台以上のカメラのうちの特定の1台を基準カメラとして、この基準カメラにより生成された基準画像から前記計測対象物の代表点を抽出する代表点抽出手段と、
前記基準カメラ以外の各カメラにより生成された比較画像において、それぞれ前記基準画像側の代表点に対応する点を検索する対応点検索手段と、
前記基準カメラ以外の各カメラにより生成された比較画像をそれぞれ個別に前記基準画像に組み合わせて、組み合わせ毎に、前記基準画像側の代表点の座標と前記対応点検索手段の検索処理により特定された比較画像側の対応点の座標とを用いてこれらの座標に対応する3次元座標を算出する3次元座標算出手段と、
少なくとも1つの代表点について、基準画像中の当該代表点の座標とカメラ間のあらかじめ定められた関係とに基づき特定される比較画像中のエピポーラ線に対し、前記対応点検索手段の検索により特定された対応点のずれ量を算出するステップを、前記基準画像と比較画像との組み合わせ毎に実行するずれ量算出手段と、
前記基準画像と比較画像との組み合わせ毎に算出されたずれ量の中の最大値に基づき3次元計測結果の精度を表す評価値を設定するとともに、ずれ量が最小となった組み合わせにつき前記3次元座標算出手段により算出された3次元座標により前記計測対象物に対する3次元計測結果を特定し、前記評価値を特定された3次元計測結果とともに出力する出力手段とを、具備する3次元計測装置。 - 前記ずれ量算出手段により算出されたずれ量が所定の許容値を上回るものになったとき、警告のための報知を実行する報知手段を、さらに具備する請求項2に記載された3次元計測装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007222168A JP4442661B2 (ja) | 2007-08-29 | 2007-08-29 | 3次元計測方法および3次元計測装置 |
DE102008041524.3A DE102008041524B4 (de) | 2007-08-29 | 2008-08-25 | Verfahren und Vorrichtung zur Durchführung dreidimensionaler Messungen |
US12/230,441 US8648895B2 (en) | 2007-08-29 | 2008-08-28 | Method and apparatus for performing three-dimensional measurement |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007222168A JP4442661B2 (ja) | 2007-08-29 | 2007-08-29 | 3次元計測方法および3次元計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009053136A JP2009053136A (ja) | 2009-03-12 |
JP4442661B2 true JP4442661B2 (ja) | 2010-03-31 |
Family
ID=40431505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007222168A Active JP4442661B2 (ja) | 2007-08-29 | 2007-08-29 | 3次元計測方法および3次元計測装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8648895B2 (ja) |
JP (1) | JP4442661B2 (ja) |
DE (1) | DE102008041524B4 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11699247B2 (en) | 2009-12-24 | 2023-07-11 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
JP5663352B2 (ja) * | 2011-03-03 | 2015-02-04 | 日本電産エレシス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
IL216515A (en) * | 2011-11-22 | 2015-02-26 | Israel Aerospace Ind Ltd | A system and method for processing images from a camera set |
EP3120325B1 (en) * | 2014-03-21 | 2018-06-06 | Omron Corporation | Method and apparatus for detecting and mitigating optical impairments in an optical system |
US9674504B1 (en) * | 2015-12-22 | 2017-06-06 | Aquifi, Inc. | Depth perceptive trinocular camera system |
US10735670B2 (en) | 2016-02-22 | 2020-08-04 | Sony Corporation | Information processing apparatus and information processing method |
JP2018017617A (ja) * | 2016-07-28 | 2018-02-01 | 株式会社神戸製鋼所 | 建設機械 |
JP6684682B2 (ja) | 2016-08-18 | 2020-04-22 | 株式会社神戸製鋼所 | 建設機械 |
DE102018004592A1 (de) * | 2017-06-20 | 2018-12-20 | Mitutoyo Corporation | Messapparat für dreidimensionale Geometrie und Messverfahren für dreidimensionale Geometrie |
DE102017117594A1 (de) * | 2017-08-03 | 2019-02-07 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Automatisierte Erkennung einer Scheinwerferfehlstellung |
CN110966984B (zh) * | 2018-09-29 | 2023-01-20 | 宝钢新日铁汽车板有限公司 | 一种基于视觉图像的炉鼻子水平监测系统及方法 |
US11636621B2 (en) * | 2020-08-28 | 2023-04-25 | Unity Technologies Sf | Motion capture calibration using cameras and drones |
US11600022B2 (en) * | 2020-08-28 | 2023-03-07 | Unity Technologies Sf | Motion capture calibration using drones |
CN115655206B (zh) * | 2022-12-09 | 2023-04-07 | 富视达技术(武汉)有限公司 | 基于多视觉位移测量设备的测量数据联合解算系统及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004234423A (ja) | 2003-01-31 | 2004-08-19 | Seiko Epson Corp | ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム |
WO2004106856A1 (ja) | 2003-05-29 | 2004-12-09 | Olympus Corporation | ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム |
JP2004354256A (ja) | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
-
2007
- 2007-08-29 JP JP2007222168A patent/JP4442661B2/ja active Active
-
2008
- 2008-08-25 DE DE102008041524.3A patent/DE102008041524B4/de active Active
- 2008-08-28 US US12/230,441 patent/US8648895B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
DE102008041524A1 (de) | 2009-05-14 |
JP2009053136A (ja) | 2009-03-12 |
US8648895B2 (en) | 2014-02-11 |
US20090066968A1 (en) | 2009-03-12 |
DE102008041524B4 (de) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4442661B2 (ja) | 3次元計測方法および3次元計測装置 | |
JP6280525B2 (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
EP3496035B1 (en) | Using 3d vision for automated industrial inspection | |
KR101155816B1 (ko) | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 | |
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
EP2416113B1 (en) | Position and orientation measurement apparatus and position and orientation measurement method | |
US7724380B2 (en) | Method and system for three-dimensional measurement | |
CN1922473B (zh) | 用于设计检测路径及用于确定待检测区域的方法 | |
US8103376B2 (en) | System and method for the on-machine 2-D contour measurement | |
US20120099798A1 (en) | Information processing apparatus, information processing method, and program | |
CN112276936B (zh) | 三维数据生成装置以及机器人控制系统 | |
US11158039B2 (en) | Using 3D vision for automated industrial inspection | |
CN110087828B (zh) | 信息处理装置及加工不良确定方法 | |
de Araujo et al. | Computer vision system for workpiece referencing in three-axis machining centers | |
EP3322959B1 (en) | Method for measuring an artefact | |
JP5858773B2 (ja) | 3次元計測方法、3次元計測プログラム及びロボット装置 | |
CN112419406B (zh) | 物体检测装置以及物体检测用计算机程序产品 | |
JP6594052B2 (ja) | 組み立て設備検査方法 | |
JP7414850B2 (ja) | ロボットシステム | |
JP2019049509A (ja) | 表面検査装置及び表面検査方法 | |
JP2020197495A (ja) | 情報処理装置、計測装置、情報処理方法、プログラム、システム及び物品の製造方法 | |
JP4837541B2 (ja) | 端面形状検査方法および同装置 | |
KR101888363B1 (ko) | 물체의 3차원 형상을 센싱하기 위한 센서 테스트 베드, 물체 센싱 장치 및 물체 센싱 방법 | |
WO2023238465A1 (ja) | 部品検査方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4442661 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |