JPS60183509A - 視覚装置 - Google Patents
視覚装置Info
- Publication number
- JPS60183509A JPS60183509A JP3863684A JP3863684A JPS60183509A JP S60183509 A JPS60183509 A JP S60183509A JP 3863684 A JP3863684 A JP 3863684A JP 3863684 A JP3863684 A JP 3863684A JP S60183509 A JPS60183509 A JP S60183509A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- camera
- image
- contour
- dimensional position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の利用分野〕
本発明は、2次元的な平面視覚と、3点以上の点の3次
元位置を測定しうる測定装置とを組み合わせることによ
り、2次元画像の3次元的位置を高速に認識することが
できる視覚装置に関するものである。
元位置を測定しうる測定装置とを組み合わせることによ
り、2次元画像の3次元的位置を高速に認識することが
できる視覚装置に関するものである。
近年、■−八(工場自動化)の−環として溶接。
組立等の作業に産業用ロボットが利用されるようKif
)、jR覚センサ等を用いたフレキシブルな作業の−−
ズが高まっている。従来、産業用ロボレトに用いられて
いる視覚装置の大部分は、2次元的な平面視覚でちゃ、
3次元視覚については研究段階のものはあるものの、実
用化された例はない。
)、jR覚センサ等を用いたフレキシブルな作業の−−
ズが高まっている。従来、産業用ロボレトに用いられて
いる視覚装置の大部分は、2次元的な平面視覚でちゃ、
3次元視覚については研究段階のものはあるものの、実
用化された例はない。
これは、距離センサや両眼視による3次元情報のみで認
識を行なおうとすると、認識時間がががりすぎて実用的
でないためである。一方、2次元視覚の場合には、認識
時間は短いものの、平面的な認識しかできないために傾
いた物体の認識ができず、あらかじめ傾きを直すような
装置を必要とするという問題があった。
識を行なおうとすると、認識時間がががりすぎて実用的
でないためである。一方、2次元視覚の場合には、認識
時間は短いものの、平面的な認識しかできないために傾
いた物体の認識ができず、あらかじめ傾きを直すような
装置を必要とするという問題があった。
本発明の目的は、上記した事情に鑑み、2次元画像の3
次元的位置を高速に認識することができる視覚装置を提
供することにある。
次元的位置を高速に認識することができる視覚装置を提
供することにある。
本発明に係る視覚装置は、物体の2次元的な画像を撮像
する撮像装置と、その2次元画像を解析1〜で当該輪郭
線を検出する画像処理装置と、その輪郭線上の少なくと
も3点の3次元位置を測定しつる3次元位置d11]定
装置と、上記輪郭線について所望の補正を施す画像補正
装置と、上記の3次元位置測定結果および輪郭線補正結
果に基づき、」二記輪郭線の:3次元座標を計算し、そ
の3次元位置を復元する3次元位置計算装置とから構成
するようにしたものである。
する撮像装置と、その2次元画像を解析1〜で当該輪郭
線を検出する画像処理装置と、その輪郭線上の少なくと
も3点の3次元位置を測定しつる3次元位置d11]定
装置と、上記輪郭線について所望の補正を施す画像補正
装置と、上記の3次元位置測定結果および輪郭線補正結
果に基づき、」二記輪郭線の:3次元座標を計算し、そ
の3次元位置を復元する3次元位置計算装置とから構成
するようにしたものである。
なお、その原理を図に基づいて補足すると次のとおりで
ある。
ある。
第1図は2次元画像の一例の座標系を表わす概念図、第
2図はその2次元画像」二の3点の3次元位置を表わす
概念図である。
2図はその2次元画像」二の3点の3次元位置を表わす
概念図である。
TVカメラ等で入力した2次元画像は画像処理装置で処
理される。通常、この処理では雑音除去。
理される。通常、この処理では雑音除去。
セグメンテーション、2値化処理7輪郭線検出等が行な
われ、その処理後の画像は例えば第1図に示すような輪
郭線画像とすることができる。このとき、画面の座標系
を第1図のようにとれば、輪郭線上の各点の画面上での
位置(i、j)がわかることになる。この情報から、2
次元画像の重心。
われ、その処理後の画像は例えば第1図に示すような輪
郭線画像とすることができる。このとき、画面の座標系
を第1図のようにとれば、輪郭線上の各点の画面上での
位置(i、j)がわかることになる。この情報から、2
次元画像の重心。
慣性主軸等をめ、あらかじめめておいたパターンとマツ
チングさせることにより、その認識を行なうことができ
る。しかし、このようなマツチングが可能となるために
は次のような制約がある。
チングさせることにより、その認識を行なうことができ
る。しかし、このようなマツチングが可能となるために
は次のような制約がある。
(1) あらかじめパターンを作る時と、実際に物体を
見る時とで、TVカメラから物体1での距離は同じでな
ければならない。なぜなら、T′Xlカメラでは遠くの
物体程小さく見えるからである。
見る時とで、TVカメラから物体1での距離は同じでな
ければならない。なぜなら、T′Xlカメラでは遠くの
物体程小さく見えるからである。
(2)物体の表面はTVカメラの軸に対して常に一定の
傾き(通常は垂直)でなければならない。
傾き(通常は垂直)でなければならない。
そうでなければ、例えば実際は円形の物体でも楕円に見
えてしまい、マツチングができない。
えてしまい、マツチングができない。
ところで第2図に示すように、平面上の3点PI(il
、) +)、P2(iz、) 2)、P3(+3 +
+3 )における3次元位置(xl + yl +Zl
)+ (X2+ )’2 + 22 )+ (X3+
Y3 +23、)が測定しうるならば、この平面の空
間での方程式が定まるから、平面上の任意の点1)(+
、J)の3次元位置(X+ y+”)がまる。この結果
、該当平面の絶対的な大きさ2位置の決定ができること
となり、任意の位置、姿勢から見た面の形状u: R1
’IIによつでめることかり能となる。すなわち、」二
記のパターンマツチングは空間的なパターンに対しても
実施しうろことになる。この際、上記(])の理由によ
り、TVカメラからの距離2が大きいほど物体は小さく
見えていることになるので、その補正が必要である。ま
た、TVカメラのレンズの將性等によっても平面画像に
歪みができるので、1゛■カメラごとの個有の補正も必
要となる。
、) +)、P2(iz、) 2)、P3(+3 +
+3 )における3次元位置(xl + yl +Zl
)+ (X2+ )’2 + 22 )+ (X3+
Y3 +23、)が測定しうるならば、この平面の空
間での方程式が定まるから、平面上の任意の点1)(+
、J)の3次元位置(X+ y+”)がまる。この結果
、該当平面の絶対的な大きさ2位置の決定ができること
となり、任意の位置、姿勢から見た面の形状u: R1
’IIによつでめることかり能となる。すなわち、」二
記のパターンマツチングは空間的なパターンに対しても
実施しうろことになる。この際、上記(])の理由によ
り、TVカメラからの距離2が大きいほど物体は小さく
見えていることになるので、その補正が必要である。ま
た、TVカメラのレンズの將性等によっても平面画像に
歪みができるので、1゛■カメラごとの個有の補正も必
要となる。
以下、本発明の実施例を図に基づいて説明する。
第3図は本発明に係る視覚装置の一実施例の構は同じく
物体上の点の3次元位置検出の概念図、第7図は同じく
遠近による2次元像の歪みを示す概念図、第8図は同じ
く3次元位置の計算フロー図である。
物体上の点の3次元位置検出の概念図、第7図は同じく
遠近による2次元像の歪みを示す概念図、第8図は同じ
く3次元位置の計算フロー図である。
本装置は、2次元的な画像の撮像装置としてのTVカメ
ラ1と、画像処理装置2と、3次元位置測定装置3と、
3次元位置計算装置4と、画像補正装置5とからなり、
台7上の物体6の認識を行なうものである。
ラ1と、画像処理装置2と、3次元位置測定装置3と、
3次元位置計算装置4と、画像補正装置5とからなり、
台7上の物体6の認識を行なうものである。
本実施例によると、以下の手順で2次元画像データに3
次元位置情報を付与することができる。
次元位置情報を付与することができる。
(1)台7」二の物体6をTVカメラ]で撮り、画像を
画像処理装置2へ入力する。
画像処理装置2へ入力する。
(2)画像処理装置2ば、第4図に示すフロー図に基づ
き、物体の輪郭線を検出する。
き、物体の輪郭線を検出する。
(3)3次元位置測定装置3を用いて、物体6の面上の
3点以上の点の3次元位置を測定する。本実施例では、
測定装置としてスリット光を利用したレンジファインダ
を用いる。これは、3角測量の原理を用いて位置を測定
する一種の距離測定装置で、その詳細を第5図に示す。
3点以上の点の3次元位置を測定する。本実施例では、
測定装置としてスリット光を利用したレンジファインダ
を用いる。これは、3角測量の原理を用いて位置を測定
する一種の距離測定装置で、その詳細を第5図に示す。
3次元位置測定装置3は、’I’Vカメラ1に固定され
ており、その左右にスリット光発生装置8を有する。ス
リット光はTVカメラ1に対して傾いて物体6に投射さ
れているだめ、TVカメラ1から見たスリット光は第6
図のようになる。したがって、物体の輪郭上の点PL、
P2.P3゜1? 4の画面−1−での位置を検出する
こと可能となる1、また、、TV右カメラとスリット光
発生装置8との相体位置関係が既知であるから、3角測
昂の原理に基ついて、点I)1.P2.P3゜P4のl
” Vカメラ1から見た3次元座標がわかる。
ており、その左右にスリット光発生装置8を有する。ス
リット光はTVカメラ1に対して傾いて物体6に投射さ
れているだめ、TVカメラ1から見たスリット光は第6
図のようになる。したがって、物体の輪郭上の点PL、
P2.P3゜1? 4の画面−1−での位置を検出する
こと可能となる1、また、、TV右カメラとスリット光
発生装置8との相体位置関係が既知であるから、3角測
昂の原理に基ついて、点I)1.P2.P3゜P4のl
” Vカメラ1から見た3次元座標がわかる。
(4)3次元位置計算装置4は、上記(3)でめた4点
のうちの3点の3次元座標をもとに、輪郭線上の点の3
次元座標を計算する。もちろん、3点以上の座標から最
小2乗法等の数学的手法を用いて計算することも可能で
ある。その際、画像補正装置5によって、輪郭画像の遠
近による歪みや、レンズ系の歪みを補正する。例えは遠
近による歪みを考えると、四角柱を斜めに切った切り口
は長方形であるが、それを真−ヒから’]’Vカメラ1
で見ると、切り口は第7図に示すように台形となる。こ
の場合、点Ql、Q2゜Q3の画面上での位置(jl
+ 11 )+ (+2 +J2 )+ (i3.J3
)およびTV右カメラから見た座標(Xl + yl
+ zl ) 、+ (X2 +Y2 + 22 )+
(X3 + Y3 + 23 )がわかったとすると
、点Q (i 、 J )の座標(Xl ’3’ +2
)は次式で与えられる。
のうちの3点の3次元座標をもとに、輪郭線上の点の3
次元座標を計算する。もちろん、3点以上の座標から最
小2乗法等の数学的手法を用いて計算することも可能で
ある。その際、画像補正装置5によって、輪郭画像の遠
近による歪みや、レンズ系の歪みを補正する。例えは遠
近による歪みを考えると、四角柱を斜めに切った切り口
は長方形であるが、それを真−ヒから’]’Vカメラ1
で見ると、切り口は第7図に示すように台形となる。こ
の場合、点Ql、Q2゜Q3の画面上での位置(jl
+ 11 )+ (+2 +J2 )+ (i3.J3
)およびTV右カメラから見た座標(Xl + yl
+ zl ) 、+ (X2 +Y2 + 22 )+
(X3 + Y3 + 23 )がわかったとすると
、点Q (i 、 J )の座標(Xl ’3’ +2
)は次式で与えられる。
X=X、+十((i i+)at+(J−−Jt)ai
)Z/z+ −(1)y=yx+((i−i+)b++
1−Jt)b+lz/Zt ・(2)Z=z l」−(
(盈 −−11)C1+(J−J 1 ) C,)zl
zl ・・(3)ここで ・・(4) ・・・(5) であり、l+t、b+およびC,’、Cjは、それぞれ
式(4) 、 (5)中のXをy、Zで置き換えること
によって得られる。
)Z/z+ −(1)y=yx+((i−i+)b++
1−Jt)b+lz/Zt ・(2)Z=z l」−(
(盈 −−11)C1+(J−J 1 ) C,)zl
zl ・・(3)ここで ・・(4) ・・・(5) であり、l+t、b+およびC,’、Cjは、それぞれ
式(4) 、 (5)中のXをy、Zで置き換えること
によって得られる。
以上によって、輪郭線の3次元座標をめることができる
。第4図以降の計算フローを第8図に示す。
。第4図以降の計算フローを第8図に示す。
このようにして本実施例によれば、(1)物体の位置・
姿勢等の3次元情報がわかるので、例えば物体の正面か
ら見た形状を複元することができ、・きクーンマッチン
グによる認識が可能となるとともに、(ii)3次元情
報が高速に得られるので、産業用1コボソト等の視覚に
利用して、3次元物体の組立作業等を実時間で行なうこ
とができ、さらに(Ill)2次元視覚と3次元位置測
定装置とを組み合わせて3次元視覚と同等の効果を得る
ことができるので、従来の〃眼視やスリット光切断方式
による3次元視覚に比へて経済性に優れ、装置の小型化
も可能である。
姿勢等の3次元情報がわかるので、例えば物体の正面か
ら見た形状を複元することができ、・きクーンマッチン
グによる認識が可能となるとともに、(ii)3次元情
報が高速に得られるので、産業用1コボソト等の視覚に
利用して、3次元物体の組立作業等を実時間で行なうこ
とができ、さらに(Ill)2次元視覚と3次元位置測
定装置とを組み合わせて3次元視覚と同等の効果を得る
ことができるので、従来の〃眼視やスリット光切断方式
による3次元視覚に比へて経済性に優れ、装置の小型化
も可能である。
以上、詳述したように、本発明によれば、2次視覚と3
次元位置測定装置を組み合わせて、平面画像の3次元情
報を高速で認識することができるので、例えば産業用ロ
ボット等の視覚装置として利用して、3次元物体の認識
、・・ンドリング等の実時間化を可能として1、その効
率向上、経済化に顕著な効果が得られる。
次元位置測定装置を組み合わせて、平面画像の3次元情
報を高速で認識することができるので、例えば産業用ロ
ボット等の視覚装置として利用して、3次元物体の認識
、・・ンドリング等の実時間化を可能として1、その効
率向上、経済化に顕著な効果が得られる。
第1図は2次元画像の一例の座標系を表わす概念図、第
2図はその2次元画像上の3点の3次元位置を表わす概
念図、第3図は本発明に係る視覚装置の一実施例の構成
図、第4図はその画像処理装置の計算フロー図、第5図
は同しく3次元位置測定装置の詳細構成図、第6図は同
じく物体」−の点の3次元位置検出の概念図、第7図は
同しく遠近による2次元画像の歪みを示す概念図、第8
図は同じく3次元位置の計算フロー図である。 1・・・1゛vカメラ、2・画像処理装置、33次元位
置測定装置、43次元位置計算装置、5・・画像補正装
置、6・・物体、7・台、8・・スリット光(,1,,
1名)″心、’:l 、f、1弄1 図 第2固 茶3 口 ! 茅4− 目 / 茅、5′ 区 $名 固 輩7 目 茅 8 目
2図はその2次元画像上の3点の3次元位置を表わす概
念図、第3図は本発明に係る視覚装置の一実施例の構成
図、第4図はその画像処理装置の計算フロー図、第5図
は同しく3次元位置測定装置の詳細構成図、第6図は同
じく物体」−の点の3次元位置検出の概念図、第7図は
同しく遠近による2次元画像の歪みを示す概念図、第8
図は同じく3次元位置の計算フロー図である。 1・・・1゛vカメラ、2・画像処理装置、33次元位
置測定装置、43次元位置計算装置、5・・画像補正装
置、6・・物体、7・台、8・・スリット光(,1,,
1名)″心、’:l 、f、1弄1 図 第2固 茶3 口 ! 茅4− 目 / 茅、5′ 区 $名 固 輩7 目 茅 8 目
Claims (1)
- ■、物体の2次元的な画像を撮像する撮像装置と、その
2次元画像を解析して当該輪郭線を検出する画像処理装
置と、その輪郭線上の少なくとも3点の3次元位置を測
定しうる3次元位置測定装置と、上記輪郭線について所
望の補正を施す画像補正装置と、上記の3次元位置測定
結果および輪郭線補正結果に基づき、上記輪郭線の3次
元座標を計算し、その3次元位置を復元する3次元位置
計算装置とから構成される装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP59038636A JPH061162B2 (ja) | 1984-03-02 | 1984-03-02 | 視覚装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP59038636A JPH061162B2 (ja) | 1984-03-02 | 1984-03-02 | 視覚装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS60183509A true JPS60183509A (ja) | 1985-09-19 |
JPH061162B2 JPH061162B2 (ja) | 1994-01-05 |
Family
ID=12530726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP59038636A Expired - Lifetime JPH061162B2 (ja) | 1984-03-02 | 1984-03-02 | 視覚装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH061162B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0282106A (ja) * | 1988-09-19 | 1990-03-22 | Kawasaki Heavy Ind Ltd | 光学的3次元位置計測方法 |
JPH07286820A (ja) * | 1994-04-20 | 1995-10-31 | Fanuc Ltd | 3次元視覚センサを用いた位置計測方法及び位置ずれ補正方法 |
EP1411322A3 (en) * | 2002-10-17 | 2007-08-01 | Fanuc Ltd | Optical sensor for measuring position and orientation of an object in three dimensions |
US7526121B2 (en) | 2002-10-23 | 2009-04-28 | Fanuc Ltd | Three-dimensional visual sensor |
JP2010210342A (ja) * | 2009-03-09 | 2010-09-24 | Toyota Motor Corp | 変位量計測装置及び変位量計測方法 |
JP2013543591A (ja) * | 2010-10-08 | 2013-12-05 | オムロン株式会社 | 形状計測装置および形状計測方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56155803A (en) * | 1980-05-07 | 1981-12-02 | Mitsubishi Electric Corp | Shape detector |
JPS58208606A (ja) * | 1982-05-29 | 1983-12-05 | Nippon Telegr & Teleph Corp <Ntt> | 3次元位置計測方式 |
-
1984
- 1984-03-02 JP JP59038636A patent/JPH061162B2/ja not_active Expired - Lifetime
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56155803A (en) * | 1980-05-07 | 1981-12-02 | Mitsubishi Electric Corp | Shape detector |
JPS58208606A (ja) * | 1982-05-29 | 1983-12-05 | Nippon Telegr & Teleph Corp <Ntt> | 3次元位置計測方式 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0282106A (ja) * | 1988-09-19 | 1990-03-22 | Kawasaki Heavy Ind Ltd | 光学的3次元位置計測方法 |
JPH07286820A (ja) * | 1994-04-20 | 1995-10-31 | Fanuc Ltd | 3次元視覚センサを用いた位置計測方法及び位置ずれ補正方法 |
EP1411322A3 (en) * | 2002-10-17 | 2007-08-01 | Fanuc Ltd | Optical sensor for measuring position and orientation of an object in three dimensions |
US7502504B2 (en) | 2002-10-17 | 2009-03-10 | Fanuc Ltd | Three-dimensional visual sensor |
US7526121B2 (en) | 2002-10-23 | 2009-04-28 | Fanuc Ltd | Three-dimensional visual sensor |
JP2010210342A (ja) * | 2009-03-09 | 2010-09-24 | Toyota Motor Corp | 変位量計測装置及び変位量計測方法 |
JP2013543591A (ja) * | 2010-10-08 | 2013-12-05 | オムロン株式会社 | 形状計測装置および形状計測方法 |
Also Published As
Publication number | Publication date |
---|---|
JPH061162B2 (ja) | 1994-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108965690B (zh) | 图像处理系统、图像处理装置及计算机可读存储介质 | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
KR900002509B1 (ko) | 화상 처리 장치 | |
US20140009583A1 (en) | Three-dimensional measurement apparatus and robot system | |
JPH06137828A (ja) | 障害物位置検出方法 | |
KR101379787B1 (ko) | 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법 | |
JP3690581B2 (ja) | 位置検出装置及びその方法、平面姿勢検出装置及びその方法 | |
Rudakova et al. | Camera matrix calibration using circular control points and separate correction of the geometric distortion field | |
JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
JPS60183509A (ja) | 視覚装置 | |
Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
JP3696335B2 (ja) | 複数枚の画像の各計測点の対応づけ方法 | |
JPH05196437A (ja) | 3次元情報入力装置 | |
JP6890422B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
WO2021145304A1 (ja) | 画像処理システム | |
US20170122730A1 (en) | Methods and Apparatus to Project Distance Measurements and Images onto a Flat or Curved Surface | |
JPH0875454A (ja) | 測距装置 | |
JPH04269194A (ja) | 平面計測方法 | |
Abeysekara et al. | Depth map generation for a reconnaissance robot via sensor fusion | |
JP2000028355A (ja) | 3次元画像処理装置 | |
JPH1137736A (ja) | 3次元形状計測方法及び3次元形状計測装置 | |
JP2015178138A (ja) | 情報処理装置、情報処理方法 | |
KR100784734B1 (ko) | 산업용 로봇 시스템의 타원 보간방법 | |
JPH05329793A (ja) | 視覚センサ | |
Goddard et al. | Robust pose determination for autonomous docking |