JPH061162B2 - 視覚装置 - Google Patents
視覚装置Info
- Publication number
- JPH061162B2 JPH061162B2 JP59038636A JP3863684A JPH061162B2 JP H061162 B2 JPH061162 B2 JP H061162B2 JP 59038636 A JP59038636 A JP 59038636A JP 3863684 A JP3863684 A JP 3863684A JP H061162 B2 JPH061162 B2 JP H061162B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- plane
- dimensional position
- plane portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の詳細な説明】 〔発明の利用分野〕 本発明は、２次元的な平面視覚と、３点以上の点の３次
元位置を測定しうる測定装置とを組み合わせることによ
り、２次元画像の３次元的位置を高速に認識することが
できる視覚装置に関するものである。
元位置を測定しうる測定装置とを組み合わせることによ
り、２次元画像の３次元的位置を高速に認識することが
できる視覚装置に関するものである。
近年、ＦＡ（工場自動化）の一環として溶接、組立等の
作業に産業用ロボットが利用されるようになり、視覚セ
ンサ等を用いたフレキシブルな作業のニーズが高まって
いる。従来、産業用ロボットに用いられている視覚装置
の大部分は、２次元的な平面視覚であり、３次元視覚に
ついては研究段階のものはあるものの、実用化された例
はない。これは、距離センサや両眼視による３次元情報
のみで認識を行なおうとすると、認識時間がかかりすぎ
て実用的でないためである。一方、２次元視覚の場合に
は、認識時間は短いものの、平面的な認識しかできない
ために傾いた物体の認識ができず、あらかじめ傾きを直
すような装置を必要とするという問題があった。
作業に産業用ロボットが利用されるようになり、視覚セ
ンサ等を用いたフレキシブルな作業のニーズが高まって
いる。従来、産業用ロボットに用いられている視覚装置
の大部分は、２次元的な平面視覚であり、３次元視覚に
ついては研究段階のものはあるものの、実用化された例
はない。これは、距離センサや両眼視による３次元情報
のみで認識を行なおうとすると、認識時間がかかりすぎ
て実用的でないためである。一方、２次元視覚の場合に
は、認識時間は短いものの、平面的な認識しかできない
ために傾いた物体の認識ができず、あらかじめ傾きを直
すような装置を必要とするという問題があった。
本発明の目的は、上記した事情に鑑み、２次元画像の３
次元的位置を高速に認識することができる視覚装置を提
供することにある。
次元的位置を高速に認識することができる視覚装置を提
供することにある。
本発明に係る視覚装置は、表面に少くも１つの平面部分
のある予め形状の定義された３次元物体に対し、該３次
元物体の上記平面部分に２本のスリット光を投光する手
段と、投光された平面部分を２次元的な画像として撮像
する撮像手段と、該撮像した２次元画像から上記平面の
２次元パターンを抽出する画像処理手段と、該抽出した
２次元パターンの輪郭線と、上記２本のスリット光が交
叉する少なくとも同一直線上にない３つの交点に対応す
る３点の３次元位置を測定しうる３次元位置測定手段
と、該３点の３次元位置測定結果から上記平面の３次元
空間内における傾きを計算する手段と、該平面の傾きの
計算結果と上記３次元物体表面の上記平面部分の３次元
座標を計算し、該平面部分の３次元位置を復元する３次
元位置計算手段とからなることを特徴とする。
のある予め形状の定義された３次元物体に対し、該３次
元物体の上記平面部分に２本のスリット光を投光する手
段と、投光された平面部分を２次元的な画像として撮像
する撮像手段と、該撮像した２次元画像から上記平面の
２次元パターンを抽出する画像処理手段と、該抽出した
２次元パターンの輪郭線と、上記２本のスリット光が交
叉する少なくとも同一直線上にない３つの交点に対応す
る３点の３次元位置を測定しうる３次元位置測定手段
と、該３点の３次元位置測定結果から上記平面の３次元
空間内における傾きを計算する手段と、該平面の傾きの
計算結果と上記３次元物体表面の上記平面部分の３次元
座標を計算し、該平面部分の３次元位置を復元する３次
元位置計算手段とからなることを特徴とする。
なお、その原理を図に基づいて補足すると次のとおりで
ある。
ある。
第１図は２次元画像の一例の座標系を表わす概念図、第
２図はその２次元画像上の３点の３次元位置を表わす概
念図である。
２図はその２次元画像上の３点の３次元位置を表わす概
念図である。
ＴＶカメラ等で入力した２次元画像は画像処理装置で処
理される。通常、この処理では雑音除去、セグメンテー
ション、２値化処理、輪郭線検出等が行なわれ、その処
理後の画像は例えば第１図に示すような輪郭線画像とす
ることができる。このとき、画面の座標系を第１図のよ
うにとれば、輪郭線上の各点の画面上での位置（ｉ，
ｊ）がわかることになる。この情報から、２次元画像の
重心、慣性主軸等を求め、あらかじめ求めておいたパタ
ーンとマッチングさせることにより、その認識を行なう
ことができる。しかし、このようなマッチングが可能と
なるためには次のような制約がある。(1) あらかじめ
パターンを作る時と、実際に物体を見る時とで、ＴＶカ
メラから物体までの距離は同じでなければならない。な
ぜなら、ＴＶカメラでは遠くの物体程小さく見えるから
である。
理される。通常、この処理では雑音除去、セグメンテー
ション、２値化処理、輪郭線検出等が行なわれ、その処
理後の画像は例えば第１図に示すような輪郭線画像とす
ることができる。このとき、画面の座標系を第１図のよ
うにとれば、輪郭線上の各点の画面上での位置（ｉ，
ｊ）がわかることになる。この情報から、２次元画像の
重心、慣性主軸等を求め、あらかじめ求めておいたパタ
ーンとマッチングさせることにより、その認識を行なう
ことができる。しかし、このようなマッチングが可能と
なるためには次のような制約がある。(1) あらかじめ
パターンを作る時と、実際に物体を見る時とで、ＴＶカ
メラから物体までの距離は同じでなければならない。な
ぜなら、ＴＶカメラでは遠くの物体程小さく見えるから
である。
(2) 物体の表面はＴＶカメラの軸に対して常に一定の
傾き（通常は垂直）でなければならない。そうでなけれ
ば、例えば実際は円形の物体でも楕円に見えてしまい、
マッチングができない。
傾き（通常は垂直）でなければならない。そうでなけれ
ば、例えば実際は円形の物体でも楕円に見えてしまい、
マッチングができない。
ところで第２図に示すように、平面上の３点Ｐ１
（ｉ１，ｊ１），Ｐ２（ｉ２，ｊ２），Ｐ３（ｉ３，ｊ
３）における３次元位置（ｘ１，ｙ１，ｚ１），
（ｘ２，ｙ２，ｚ２），（ｘ３，ｙ３，ｚ３）が測定し
うるならば、この平面の空間での方程式が定まるから、
平面上の任意の点Ｐ（ｉ，ｊ）の３次元位置（ｘ，ｙ，
ｚ）が求まる。この結果、該当平面の絶対的な大きさ、
位置の決定ができることとなり、任意の位置、姿勢から
見た面の形状は計算によつて求めることが可能となる。
すなわち、上記のパターンマッチングは空間的なパター
ンに対しても実施しうることになる。この際、上記(1)
の理由により、ＴＶカメラからの距離ｚが大きいほど物
体は小さく見えていることになるので、その補正が必要
である。また、ＴＶカメラのレンズの特性等によつても
平面画像に歪みができるので、ＴＶカメラごとの個有の
補正も必要となる。
（ｉ１，ｊ１），Ｐ２（ｉ２，ｊ２），Ｐ３（ｉ３，ｊ
３）における３次元位置（ｘ１，ｙ１，ｚ１），
（ｘ２，ｙ２，ｚ２），（ｘ３，ｙ３，ｚ３）が測定し
うるならば、この平面の空間での方程式が定まるから、
平面上の任意の点Ｐ（ｉ，ｊ）の３次元位置（ｘ，ｙ，
ｚ）が求まる。この結果、該当平面の絶対的な大きさ、
位置の決定ができることとなり、任意の位置、姿勢から
見た面の形状は計算によつて求めることが可能となる。
すなわち、上記のパターンマッチングは空間的なパター
ンに対しても実施しうることになる。この際、上記(1)
の理由により、ＴＶカメラからの距離ｚが大きいほど物
体は小さく見えていることになるので、その補正が必要
である。また、ＴＶカメラのレンズの特性等によつても
平面画像に歪みができるので、ＴＶカメラごとの個有の
補正も必要となる。
以下、本発明の実施例を図に基づいて説明する。
第３図は本発明に係る視覚装置の一実施例の構成図、第
４図はその画像処理装置の計算フロー図、第５図は同じ
く３次元位置測定装置の詳細構成図、第６図は同じく物
体上の点の３次元位置検出の概念図、第７図は同じく遠
近による２次元像の歪みを示す概念図、第８図は同じく
３次元位置の計算フロー図である。
４図はその画像処理装置の計算フロー図、第５図は同じ
く３次元位置測定装置の詳細構成図、第６図は同じく物
体上の点の３次元位置検出の概念図、第７図は同じく遠
近による２次元像の歪みを示す概念図、第８図は同じく
３次元位置の計算フロー図である。
本装置は、２次元的な画像の撮像装置としてのＴＶカメ
ラ１と、画像処理装置２と、３次元位置測定装置３、３
次元位置計算装置４と、画像補正装置５とからなり、台
７上の物体６の認識を行なうものである。
ラ１と、画像処理装置２と、３次元位置測定装置３、３
次元位置計算装置４と、画像補正装置５とからなり、台
７上の物体６の認識を行なうものである。
本実施例によると、以下の手順で２次元画像データに３
次元位置情報を付与することができる。
次元位置情報を付与することができる。
(1) 台７上の物体６をＴＶカメラ１で撮り、画像を画
像処理装置２へ入力する。
像処理装置２へ入力する。
(2) 画像処理装置２は、第４図に示すフロー図に基づ
き、物体の輪郭線を検出する。
き、物体の輪郭線を検出する。
(3) ３次元位置測定装置３を用いて、物体６の面上の
３点以上の点の３次元位置を測定する。本実施例では、
測定装置としてスリット光を利用したレンジファインダ
を用いる。これは、３角測量の原理を用いて位置を測定
する一種の距離測定装置で、その詳細を第５図に示す。
３次元位置測定装置３は、ＴＶカメラ１に固定されてお
り、その左右にスリット光発生装置８を有する。スリッ
ト光はＴＶカメラ１に対して傾いて物体６に投射されて
いるため、ＴＶカメラ１から見たスリット光は第６図の
ようになる。したがって、物体の輪郭上の点Ｐ１，Ｐ
２，Ｐ３，Ｐ４の画面上での位置を検出すること可能と
なる。また、ＴＶカメラ１とスリット光発生装置８との
相体位置関係が既知であるから、３角測量の原理に基づ
いて、点Ｐ１，Ｐ２，Ｐ３，Ｐ４のＴＶカメラ１から見
た３次元座標がわかる。
３点以上の点の３次元位置を測定する。本実施例では、
測定装置としてスリット光を利用したレンジファインダ
を用いる。これは、３角測量の原理を用いて位置を測定
する一種の距離測定装置で、その詳細を第５図に示す。
３次元位置測定装置３は、ＴＶカメラ１に固定されてお
り、その左右にスリット光発生装置８を有する。スリッ
ト光はＴＶカメラ１に対して傾いて物体６に投射されて
いるため、ＴＶカメラ１から見たスリット光は第６図の
ようになる。したがって、物体の輪郭上の点Ｐ１，Ｐ
２，Ｐ３，Ｐ４の画面上での位置を検出すること可能と
なる。また、ＴＶカメラ１とスリット光発生装置８との
相体位置関係が既知であるから、３角測量の原理に基づ
いて、点Ｐ１，Ｐ２，Ｐ３，Ｐ４のＴＶカメラ１から見
た３次元座標がわかる。
(4) ３次元位置計算装置４は、上記(3)で求めた４点の
うちの３点の３次元座標をもとに、輪郭線上の点の３次
元座標を計算する。もちろん、３点以上の座標から最小
２乗法等の数学的手法を用いて計算することも可能であ
る。その際、画像補正装置５によって、輪郭画像の遠近
による歪みや、レンズ系の歪みを補正する。例えば遠近
による歪みを考えると、四角柱を斜めに切った切り口は
長方形であるが、それを真上からＴＶカメラ１で見る
と、切り口は第７図に示すように台形となる。この場
合、点Ｑ１，Ｑ２，Ｑ３の画面上での位置（ｉ１，
ｊ１），（ｉ２，ｊ２），（ｉ３，ｊ３）およびＴＶカ
メラ１から見た座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ
２，ｚ２），（ｘ３，ｙ３，ｚ３）がわかったとする
と、点Ｑ（ｉ，ｊ）の座標（ｘ，ｙ，ｚ）は次式で与え
られる。
うちの３点の３次元座標をもとに、輪郭線上の点の３次
元座標を計算する。もちろん、３点以上の座標から最小
２乗法等の数学的手法を用いて計算することも可能であ
る。その際、画像補正装置５によって、輪郭画像の遠近
による歪みや、レンズ系の歪みを補正する。例えば遠近
による歪みを考えると、四角柱を斜めに切った切り口は
長方形であるが、それを真上からＴＶカメラ１で見る
と、切り口は第７図に示すように台形となる。この場
合、点Ｑ１，Ｑ２，Ｑ３の画面上での位置（ｉ１，
ｊ１），（ｉ２，ｊ２），（ｉ３，ｊ３）およびＴＶカ
メラ１から見た座標（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ
２，ｚ２），（ｘ３，ｙ３，ｚ３）がわかったとする
と、点Ｑ（ｉ，ｊ）の座標（ｘ，ｙ，ｚ）は次式で与え
られる。
x=x1+{(i-i1)ai+(j-j1)ai}z/z1…(1) y=y1+{(i-i1)bi+(j-j1)bi}z/z1…(2) z=z1+{(i-i1)ci+(j-j1)ci}z/z1…(3) ここで であり、ｂｉ，ｂｊおよびｃｉ，ｃｊは、それぞれ式
(4)，(5)中のｘをｙ，ｚで置き換えることによって得ら
れる。
(4)，(5)中のｘをｙ，ｚで置き換えることによって得ら
れる。
以上によって、輪郭線の３次元座標を求めることができ
る。第４図以降の計算フローを第８図に示す。
る。第４図以降の計算フローを第８図に示す。
このようにして本実施例によれば、(i)物体の位置・姿
勢等の３次元情報がわかるので、例えば物体の正面から
見た形状を複元することができ、パターンマッチングに
よる認識が可能となるとともに、(ii)３次元情報が高速
に得られるので、産業用ロボット等の視覚に利用して、
３次元物体の組立作業等を実時間で行なうことができ、
さらに(iii)２次元視覚と３次元位置測定装置とを組み
合わせて３次元視覚と同等の効果を得ることができるの
で、従来の双眼鏡やスリット光切断方式による３次元視
覚に比べて経済性に優れ、装置の小型化も可能である。
勢等の３次元情報がわかるので、例えば物体の正面から
見た形状を複元することができ、パターンマッチングに
よる認識が可能となるとともに、(ii)３次元情報が高速
に得られるので、産業用ロボット等の視覚に利用して、
３次元物体の組立作業等を実時間で行なうことができ、
さらに(iii)２次元視覚と３次元位置測定装置とを組み
合わせて３次元視覚と同等の効果を得ることができるの
で、従来の双眼鏡やスリット光切断方式による３次元視
覚に比べて経済性に優れ、装置の小型化も可能である。
以上、詳述したように、本発明によれば、２次元視覚と
３次元位置測定装置を組み合わせて、平面画像の３次元
情報を高速で認識することができるので、例えば産業用
ロボット等の視覚装置として利用して、３次元物体の認
識、ハンドリング等の実時間化を可能として、その効率
向上、経済化に顕著な効果が得られる。
３次元位置測定装置を組み合わせて、平面画像の３次元
情報を高速で認識することができるので、例えば産業用
ロボット等の視覚装置として利用して、３次元物体の認
識、ハンドリング等の実時間化を可能として、その効率
向上、経済化に顕著な効果が得られる。
第１図は２次元画像の一例の座標系を表わす概念図、第
２図はその２次元画像上の３点の３次元位置を表わす概
念図、第３図は本発明に係る視覚装置の一実施例の構成
図、第４図はその画像処理装置の計算フロー図、第５図
は同じく３次元位置測定装置の詳細構成図、第６図は同
じく物体上の点の３次元位置検出の概念図、第７図は同
じく遠近による２次元画像の歪みを示す概念図、第８図
は同じく３次元位置の計算フロー図である。 １…ＴＶカメラ、２…画像処理装置、３…３次元位置測
定装置、４…３次元位置計算装置、５…画像補正装置、
６…物体、７…台、８…スリット光発生装置。
２図はその２次元画像上の３点の３次元位置を表わす概
念図、第３図は本発明に係る視覚装置の一実施例の構成
図、第４図はその画像処理装置の計算フロー図、第５図
は同じく３次元位置測定装置の詳細構成図、第６図は同
じく物体上の点の３次元位置検出の概念図、第７図は同
じく遠近による２次元画像の歪みを示す概念図、第８図
は同じく３次元位置の計算フロー図である。 １…ＴＶカメラ、２…画像処理装置、３…３次元位置測
定装置、４…３次元位置計算装置、５…画像補正装置、
６…物体、７…台、８…スリット光発生装置。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 秦 清治 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所生産技術研究所内 (56)参考文献 特開 昭56−155803（ＪＰ，Ａ) 特開 昭58−208606（ＪＰ，Ａ)
Claims (1)
- 【請求項１】表面に少くも１つの平面部分のある予め形
状の定義された３次元物体に対し、該３次元物体の上記
平面部分に２本のスリット光を投光する手段と、投光さ
れた平面部分を２次元的な画像として撮像する撮像手段
と、該撮像した２次元画像から上記平面の２次元パター
ンを抽出する画像処理手段と、該抽出した２次元パター
ンの輪郭線と、上記２本のスリット光が交叉する少なく
とも同一直線上にない３つの交点に対応する３点の３次
元位置を測定しうる３次元位置測定手段と、該３点の３
次元位置測定結果から上記平面の３次元空間内における
傾きを計算する手段と、該平面の傾きの計算結果と上記
３次元物体表面の上記平面部分の３次元座標を計算し、
該平面部分の３次元位置を復元する３次元位置計算手段
とからなることを特徴とする視覚装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59038636A JPH061162B2 (ja) | 1984-03-02 | 1984-03-02 | 視覚装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59038636A JPH061162B2 (ja) | 1984-03-02 | 1984-03-02 | 視覚装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS60183509A JPS60183509A (ja) | 1985-09-19 |
| JPH061162B2 true JPH061162B2 (ja) | 1994-01-05 |
Family
ID=12530726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP59038636A Expired - Lifetime JPH061162B2 (ja) | 1984-03-02 | 1984-03-02 | 視覚装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH061162B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2567923B2 (ja) * | 1988-09-19 | 1996-12-25 | 川崎重工業株式会社 | 距離計測方法 |
| JP3442140B2 (ja) * | 1994-04-20 | 2003-09-02 | ファナック株式会社 | ３次元視覚センサを用いた位置計測装置及び位置ずれ補正装置 |
| JP3859571B2 (ja) | 2002-10-17 | 2006-12-20 | ファナック株式会社 | ３次元視覚センサ |
| JP3859574B2 (ja) | 2002-10-23 | 2006-12-20 | ファナック株式会社 | ３次元視覚センサ |
| JP5229013B2 (ja) * | 2009-03-09 | 2013-07-03 | トヨタ自動車株式会社 | 変位量計測装置及び変位量計測方法 |
| US8334985B2 (en) * | 2010-10-08 | 2012-12-18 | Omron Corporation | Shape measuring apparatus and shape measuring method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS56155803A (en) * | 1980-05-07 | 1981-12-02 | Mitsubishi Electric Corp | Shape detector |
| JPS58208606A (ja) * | 1982-05-29 | 1983-12-05 | Nippon Telegr & Teleph Corp <Ntt> | ３次元位置計測方式 |
-
1984
- 1984-03-02 JP JP59038636A patent/JPH061162B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPS60183509A (ja) | 1985-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108406731B (zh) | 一种基于深度视觉的定位装置、方法及机器人 | |
| US9679385B2 (en) | Three-dimensional measurement apparatus and robot system | |
| CA2577840C (en) | A method for automated 3d imaging | |
| KR900002509B1 (ko) | 화상 처리 장치 | |
| EP1580523A1 (en) | Three-dimensional shape measuring method and its device | |
| JPH1151650A (ja) | 移動体の３次元自己位置認識装置 | |
| CN112541973A (zh) | 虚实叠合方法与系统 | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| US9787969B2 (en) | Figure ground organization of 3-D scenes | |
| KR100824744B1 (ko) | 모서리 형태를 이용한 이동로봇의 자기위치 검출 시스템 및방법 | |
| JPH061162B2 (ja) | 視覚装置 | |
| Pachidis et al. | Pseudo-stereo vision system: a detailed study | |
| JP3556319B2 (ja) | 距離計測装置 | |
| JPH09329440A (ja) | 複数枚の画像の各計測点の対応づけ方法 | |
| JP3501841B2 (ja) | 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法 | |
| JPH0778252A (ja) | 物体認識方法 | |
| JPH0875454A (ja) | 測距装置 | |
| Abeysekara et al. | Depth map generation for a reconnaissance robot via sensor fusion | |
| JPH06258028A (ja) | 視覚に基く三次元位置および姿勢の認識方法とその装置 | |
| JPH08261719A (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| JP2000028355A (ja) | ３次元画像処理装置 | |
| JPH1137736A (ja) | ３次元形状計測方法及び３次元形状計測装置 | |
| KR20180076458A (ko) | 우주 환경에서 스테레오 카메라를 이용한 마커기반의 거리 추정 알고리즘 | |
| Shah et al. | Autonomous mobile robot navigation using fish-eye lenses |