JPH0778252A - 物体認識方法 - Google Patents
物体認識方法Info
- Publication number
- JPH0778252A JPH0778252A JP5161438A JP16143893A JPH0778252A JP H0778252 A JPH0778252 A JP H0778252A JP 5161438 A JP5161438 A JP 5161438A JP 16143893 A JP16143893 A JP 16143893A JP H0778252 A JPH0778252 A JP H0778252A
- Authority
- JP
- Japan
- Prior art keywords
- image
- points
- round bar
- image pickup
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 移動ステレオの手法により認識対象物体の三
次元位置姿勢を認識するもので，移動ステレオによる三
次元位置検出のためのデータ抽出の方法を改良した物体
の三次元位置姿勢認識方法を提供する。 【構成】 移動ステレオ手法における各画像間で同一の
撮像点を対応付けする処理を正確且つ容易にできるよう
改良したもので，各撮像位置で撮像された二次元画像か
ら上記対象物上に複数の特徴点（撮像点）を抽出し，そ
れぞれの特徴点について同一の特徴点が検出された画像
位置（撮像位置）と，この画像が検出されなくなった画
像位置とをツリー構造的（検出された画像位置を根，検
出されなくなった画像位置を葉とするような）にデータ
構造化することで多数の同一特徴点の対応付けが容易と
なる。
次元位置姿勢を認識するもので，移動ステレオによる三
次元位置検出のためのデータ抽出の方法を改良した物体
の三次元位置姿勢認識方法を提供する。 【構成】 移動ステレオ手法における各画像間で同一の
撮像点を対応付けする処理を正確且つ容易にできるよう
改良したもので，各撮像位置で撮像された二次元画像か
ら上記対象物上に複数の特徴点（撮像点）を抽出し，そ
れぞれの特徴点について同一の特徴点が検出された画像
位置（撮像位置）と，この画像が検出されなくなった画
像位置とをツリー構造的（検出された画像位置を根，検
出されなくなった画像位置を葉とするような）にデータ
構造化することで多数の同一特徴点の対応付けが容易と
なる。
Description
【０００１】
【産業上の利用分野】本発明は，散積みされた物体をロ
ボットハンド等によりピックアップするような複雑な形
状の対象物の場合に上記物体の三次元位置及び姿勢を認
識するための物体認識方法に関する。
ボットハンド等によりピックアップするような複雑な形
状の対象物の場合に上記物体の三次元位置及び姿勢を認
識するための物体認識方法に関する。
【０００２】
【従来の技術】例えば，図８に示すように，同一形状の
丸棒４が散積みされて重なり合った状態にあるものか
ら，個々の丸棒４の位置及び姿勢を認識するための従来
技術について示す。まず，図９（ａ）（ｂ）に示すよう
に，予め丸棒４の表面Ａ−Ａ方向の明るさの分布，及
び，丸棒４の長さを測定して，光学モデルとして登録し
ておく。次に，図８に示すように，散積みされた複数の
丸棒４を光源２２で照明し，撮像装置２１で撮像して，
その画像を画像処理装置２３に取り込む。画像中の任意
ライン上の明るさ分布は，図１０に示すようになるの
で，この中から予め登録されている丸棒４の光学モデル
の明るさ分布と似通っている部分（図１０ではと）
を抽出する。次いで，抽出された部分の軸方向の長さが
登録された長さに近似であれば，これを所要の丸棒４と
して認識する。図１０に示す例では，部分に相当する
丸棒４ａが認識される。部分に相当する丸棒４ｂは重
なりがあって長さが短くなるため認識されない。従っ
て，認識された丸棒４ａのみをロボットハンド等により
ピックアップすることができる。上記のように丸棒４ａ
をピックアップするような場合には，丸棒４ａが他の対
象物と分離可能かどうか，即ち，丸棒４ａが立体的に他
と別体の対象物であるかどうかが問題となる。
丸棒４が散積みされて重なり合った状態にあるものか
ら，個々の丸棒４の位置及び姿勢を認識するための従来
技術について示す。まず，図９（ａ）（ｂ）に示すよう
に，予め丸棒４の表面Ａ−Ａ方向の明るさの分布，及
び，丸棒４の長さを測定して，光学モデルとして登録し
ておく。次に，図８に示すように，散積みされた複数の
丸棒４を光源２２で照明し，撮像装置２１で撮像して，
その画像を画像処理装置２３に取り込む。画像中の任意
ライン上の明るさ分布は，図１０に示すようになるの
で，この中から予め登録されている丸棒４の光学モデル
の明るさ分布と似通っている部分（図１０ではと）
を抽出する。次いで，抽出された部分の軸方向の長さが
登録された長さに近似であれば，これを所要の丸棒４と
して認識する。図１０に示す例では，部分に相当する
丸棒４ａが認識される。部分に相当する丸棒４ｂは重
なりがあって長さが短くなるため認識されない。従っ
て，認識された丸棒４ａのみをロボットハンド等により
ピックアップすることができる。上記のように丸棒４ａ
をピックアップするような場合には，丸棒４ａが他の対
象物と分離可能かどうか，即ち，丸棒４ａが立体的に他
と別体の対象物であるかどうかが問題となる。
【０００３】
【発明が解決しようとする課題】物体を立体的に認識す
る方法として所定距離離れた２点から物体を撮像して，
共通撮影点についての撮像間隔と撮像角度とから物体の
所要位置のカメラからの距離を算出するステレオビジョ
ンの手法が知られている。この方式では複数の共通撮像
点について離れた２つの画像間でそれぞれ共通撮像点毎
に対応付けすることが困難（対象物が複雑な立体の場
合，離れた２つの位置から同じ対象物を見てもまったく
異なる画像が得られるので）であるため，この対応付け
を容易にするための方法として移動ステレオの手法（電
子通信学会論文誌１８６／１１Ｖｏｌ．Ｊ６９−Ｄ Ｎ
ｏ．１１ Ｐ１７６５〜１７７２）が用いられる。この
移動ステレオ手法では，１台のカメラを小さな間隔で移
動させて撮像することにより，上記共通撮像点の対応付
けを隣接画像間で容易に行おうとするものである。この
移動ステレオの手法を用いることにより，前記丸棒の立
体認識も理論的には可能である。しかし，複雑な立体物
あるいは同一物が多数散積みされた状態の物体の三次元
位置姿勢を認識するためには，物体上に多数の撮像点を
設定し，それぞれの三次元位置を測定することを要する
が，上記移動ステレオ手法における各画像間で多数の共
通撮像点を対応付けすることに複雑な処理を要し，対応
付けの誤りや処理時間が長くなるという問題がある。本
発明は，上記移動ステレオ手法における各画像間で同一
の撮像点を対応付けする処理を正確且つ容易にできるよ
う改良して，上記移動ステレオ手法の課題を解消するこ
とを目的とする。
る方法として所定距離離れた２点から物体を撮像して，
共通撮影点についての撮像間隔と撮像角度とから物体の
所要位置のカメラからの距離を算出するステレオビジョ
ンの手法が知られている。この方式では複数の共通撮像
点について離れた２つの画像間でそれぞれ共通撮像点毎
に対応付けすることが困難（対象物が複雑な立体の場
合，離れた２つの位置から同じ対象物を見てもまったく
異なる画像が得られるので）であるため，この対応付け
を容易にするための方法として移動ステレオの手法（電
子通信学会論文誌１８６／１１Ｖｏｌ．Ｊ６９−Ｄ Ｎ
ｏ．１１ Ｐ１７６５〜１７７２）が用いられる。この
移動ステレオ手法では，１台のカメラを小さな間隔で移
動させて撮像することにより，上記共通撮像点の対応付
けを隣接画像間で容易に行おうとするものである。この
移動ステレオの手法を用いることにより，前記丸棒の立
体認識も理論的には可能である。しかし，複雑な立体物
あるいは同一物が多数散積みされた状態の物体の三次元
位置姿勢を認識するためには，物体上に多数の撮像点を
設定し，それぞれの三次元位置を測定することを要する
が，上記移動ステレオ手法における各画像間で多数の共
通撮像点を対応付けすることに複雑な処理を要し，対応
付けの誤りや処理時間が長くなるという問題がある。本
発明は，上記移動ステレオ手法における各画像間で同一
の撮像点を対応付けする処理を正確且つ容易にできるよ
う改良して，上記移動ステレオ手法の課題を解消するこ
とを目的とする。
【０００４】
【課題を解決するための手段】上記目的を達成するため
に本発明が採用する方法は，立体的対象物を所定距離離
れた２点よりカメラにより撮像し，上記２点での両画像
内の共通撮像点の位置を，上記２点間距離及び角度から
三角測量の原理により計測すべく，上記カメラを上記２
点の一方の点から他方の点に向けて移動させ，上記２点
及び該２点間の１以上の点において上記対象物を撮像
し，上記２点間の隣接する撮像点で得られた画像から上
記共通撮像点を認識する物体認識方法において，複数の
共通撮像点について，それぞれ当該共通撮像点が画像内
で検出され続ける範囲内での初めて検出されたカメラ位
置およびその撮像角度と，画像内に検出されなくなった
カメラ位置及びその撮像角度とを検出し，これらのデー
タから上記複数の共通撮像点の位置を演算することを特
徴とする物体認識方法である。
に本発明が採用する方法は，立体的対象物を所定距離離
れた２点よりカメラにより撮像し，上記２点での両画像
内の共通撮像点の位置を，上記２点間距離及び角度から
三角測量の原理により計測すべく，上記カメラを上記２
点の一方の点から他方の点に向けて移動させ，上記２点
及び該２点間の１以上の点において上記対象物を撮像
し，上記２点間の隣接する撮像点で得られた画像から上
記共通撮像点を認識する物体認識方法において，複数の
共通撮像点について，それぞれ当該共通撮像点が画像内
で検出され続ける範囲内での初めて検出されたカメラ位
置およびその撮像角度と，画像内に検出されなくなった
カメラ位置及びその撮像角度とを検出し，これらのデー
タから上記複数の共通撮像点の位置を演算することを特
徴とする物体認識方法である。
【０００５】
【作用】ステレオビジョンでは，撮像間隔を大きくとる
ことにより，３次元位置計測精度の向上が図れる。本発
明によれば，各カメラ位置で撮像された二次元画像から
上記対象物上に複数の共通撮像点を抽出し，各共通撮像
点の画像間での移動をデータ構造化して，それぞれの共
通撮像点について初めて検出されたカメラ位置と，この
画像が検出されなくなったカメラ位置及び撮像角度とか
ら撮像点までの距離を演算する。この演算を各共通撮像
点について行うことにより，対象物の三次元位置姿勢を
高精度に認識できるとともに，視覚センサによる対象物
の検出範囲を広げることができる。
ことにより，３次元位置計測精度の向上が図れる。本発
明によれば，各カメラ位置で撮像された二次元画像から
上記対象物上に複数の共通撮像点を抽出し，各共通撮像
点の画像間での移動をデータ構造化して，それぞれの共
通撮像点について初めて検出されたカメラ位置と，この
画像が検出されなくなったカメラ位置及び撮像角度とか
ら撮像点までの距離を演算する。この演算を各共通撮像
点について行うことにより，対象物の三次元位置姿勢を
高精度に認識できるとともに，視覚センサによる対象物
の検出範囲を広げることができる。
【０００６】
【実施例】以下，添付図面を参照して，本発明を具体化
した実施例につき説明し，本発明の理解に供する。尚，
以下の実施例は本発明を具体化した一例であって，本発
明の技術的範囲を限定するものではない。ここに，図１
は本発明に係る物体認識方法を実施するための構成を示
す模式図，図２は実施例による撮像画像の例を示す画像
図，図３は撮像画像から散積みされた丸棒の中心線を求
める画像処理の手順を示すフローチャート，図４はステ
レオビジョンの原理図，図５はステレオビジョンにおけ
る対応付け探索範囲の説明図，図６は移動ステレオの原
理図，図７は移動ステレオ手法により検出された画像特
徴の対応付けの連続関係を示すツリー構造の構成図であ
る。本実施例は，散積みされた丸棒の三次元位置姿勢を
認識するもので，移動ステレオ手法を用いて散積みされ
た丸棒の三次元位置姿勢を認識する。物体認識を行うた
めの物体認識装置１は，撮像装置（カメラ）２と，該撮
像装置２を認識対象となる散積み状態の丸棒４の散積み
面に対して平行方向に直線移動させるための移動台３
と，散積みされた丸棒４を照明する光源５と，撮像装置
２によって撮像された画像から丸棒４の三次元位置姿勢
を認識するための処理を行う画像処理装置６と，該画像
処理装置６の指令に基づき上記移動台３上の撮像装置２
を移動させる駆動制御装置７とを具備して構成されてい
る。上記構成になる物体認識装置１により散積みされた
丸棒４の三次元位置姿勢の認識方法について以下に説明
する。撮像装置２により移動台３のある位置から散積み
された丸棒４を撮像すると，図２に示すような画像が得
られる。この画像は画像処理装置６により，図３に示す
ような手順で丸棒４の中心線が求められる。即ち，光源
５からの照明により表面が鏡面反射している丸棒４の画
像を明るさ分布を所定の閾値で二値化することにより，
中心線上の明部が抽出されるので，この明部を細線化処
理し，直線検出することにより丸棒４の中心線が求めら
れる。
した実施例につき説明し，本発明の理解に供する。尚，
以下の実施例は本発明を具体化した一例であって，本発
明の技術的範囲を限定するものではない。ここに，図１
は本発明に係る物体認識方法を実施するための構成を示
す模式図，図２は実施例による撮像画像の例を示す画像
図，図３は撮像画像から散積みされた丸棒の中心線を求
める画像処理の手順を示すフローチャート，図４はステ
レオビジョンの原理図，図５はステレオビジョンにおけ
る対応付け探索範囲の説明図，図６は移動ステレオの原
理図，図７は移動ステレオ手法により検出された画像特
徴の対応付けの連続関係を示すツリー構造の構成図であ
る。本実施例は，散積みされた丸棒の三次元位置姿勢を
認識するもので，移動ステレオ手法を用いて散積みされ
た丸棒の三次元位置姿勢を認識する。物体認識を行うた
めの物体認識装置１は，撮像装置（カメラ）２と，該撮
像装置２を認識対象となる散積み状態の丸棒４の散積み
面に対して平行方向に直線移動させるための移動台３
と，散積みされた丸棒４を照明する光源５と，撮像装置
２によって撮像された画像から丸棒４の三次元位置姿勢
を認識するための処理を行う画像処理装置６と，該画像
処理装置６の指令に基づき上記移動台３上の撮像装置２
を移動させる駆動制御装置７とを具備して構成されてい
る。上記構成になる物体認識装置１により散積みされた
丸棒４の三次元位置姿勢の認識方法について以下に説明
する。撮像装置２により移動台３のある位置から散積み
された丸棒４を撮像すると，図２に示すような画像が得
られる。この画像は画像処理装置６により，図３に示す
ような手順で丸棒４の中心線が求められる。即ち，光源
５からの照明により表面が鏡面反射している丸棒４の画
像を明るさ分布を所定の閾値で二値化することにより，
中心線上の明部が抽出されるので，この明部を細線化処
理し，直線検出することにより丸棒４の中心線が求めら
れる。
【０００７】この時点では，丸棒４の二次元的な位置姿
勢が検出されているが，丸棒４が積み重なった上下関係
や三次元的な位置姿勢は検出できない。そこで，撮像装
置２を移動台３上で直線移動させ，複数の撮像位置から
撮像した画像から丸棒４の三次元位置姿勢を求める。ま
ず，離れた２点位置からステレオ視することにより物体
を立体的に認識できることを利用したステレオビジョン
の原理から説明する。図４に示すように，散積みされた
丸棒４から，任意の丸棒４ａの特徴的な点（共通撮像点
に相当）Ｏ1 を２台の撮像装置２ａ，２ｂを所定距離離
れた位置ａ，ｂに撮像軸を平行に配して撮像する。この
場合の各撮像装置２ａ，２ｂの各撮像面８ａ，８ｂ上で
の点Ｏ1 の像の撮像軸中心からの位置をそれぞれＰ0 ，
Ｐ1 とし，像Ｐ0 及びＰ1 の撮像軸中心からの距離をそ
れぞれｘa 及びｘb ，撮像装置２ａ，２ｂのレンズの焦
点距離をｆとすると，線分ａｂから物点Ｏ1 までの距離
Ｚは，下式のようにして計算できる。 Ｚ＝ｆ・ａｂ／（ｘb ＋ｘa ） しかし，２台の撮像装置２ａ，２ｂを用いるステレオビ
ジョンでは，Ｐ0 に対応するＰ1 を決定する対応ずけが
一般的に困難である。例えば，点Ｏ1 の近くに丸棒４ｂ
の丸棒４ａと同一位置の点Ｏ2 があると，誤ってＰ0 の
対応点としてＰ 2 を選んでしまう可能性がある。この問
題点は，図５に示すように，奥行き方向の丸棒４ａの検
出範囲Ｚw がＺmin ≦Ｚw ≦Ｚmax として与えられてい
る場合には，Ｐ0 に対応するＰ1 の撮像面上での存在範
囲ｘb は，下式に示すように限定できる。 ｘa ＋（ｆ・ａｂ）／Ｚmax ≦ｘb ≦ｘa ＋（ｆ・ａ
ｂ）／Ｚmin 上式により，撮像装置２ａ，２ｂ間の距離ａｂが小さい
場合には，この対応付けの検索範囲は小さくなり，Ｐ0
とＰ1 の対応付けは容易となるが，間隔ａｂを小さくす
ると点Ｏ1 の三次元位置の計測精度が低下する問題が生
じる。
勢が検出されているが，丸棒４が積み重なった上下関係
や三次元的な位置姿勢は検出できない。そこで，撮像装
置２を移動台３上で直線移動させ，複数の撮像位置から
撮像した画像から丸棒４の三次元位置姿勢を求める。ま
ず，離れた２点位置からステレオ視することにより物体
を立体的に認識できることを利用したステレオビジョン
の原理から説明する。図４に示すように，散積みされた
丸棒４から，任意の丸棒４ａの特徴的な点（共通撮像点
に相当）Ｏ1 を２台の撮像装置２ａ，２ｂを所定距離離
れた位置ａ，ｂに撮像軸を平行に配して撮像する。この
場合の各撮像装置２ａ，２ｂの各撮像面８ａ，８ｂ上で
の点Ｏ1 の像の撮像軸中心からの位置をそれぞれＰ0 ，
Ｐ1 とし，像Ｐ0 及びＰ1 の撮像軸中心からの距離をそ
れぞれｘa 及びｘb ，撮像装置２ａ，２ｂのレンズの焦
点距離をｆとすると，線分ａｂから物点Ｏ1 までの距離
Ｚは，下式のようにして計算できる。 Ｚ＝ｆ・ａｂ／（ｘb ＋ｘa ） しかし，２台の撮像装置２ａ，２ｂを用いるステレオビ
ジョンでは，Ｐ0 に対応するＰ1 を決定する対応ずけが
一般的に困難である。例えば，点Ｏ1 の近くに丸棒４ｂ
の丸棒４ａと同一位置の点Ｏ2 があると，誤ってＰ0 の
対応点としてＰ 2 を選んでしまう可能性がある。この問
題点は，図５に示すように，奥行き方向の丸棒４ａの検
出範囲Ｚw がＺmin ≦Ｚw ≦Ｚmax として与えられてい
る場合には，Ｐ0 に対応するＰ1 の撮像面上での存在範
囲ｘb は，下式に示すように限定できる。 ｘa ＋（ｆ・ａｂ）／Ｚmax ≦ｘb ≦ｘa ＋（ｆ・ａ
ｂ）／Ｚmin 上式により，撮像装置２ａ，２ｂ間の距離ａｂが小さい
場合には，この対応付けの検索範囲は小さくなり，Ｐ0
とＰ1 の対応付けは容易となるが，間隔ａｂを小さくす
ると点Ｏ1 の三次元位置の計測精度が低下する問題が生
じる。
【０００８】この問題を解決するため，本実施例では移
動ステレオの手法を用いる。図１に示した物体認識装置
１において撮像装置２を移動台３により図６に示すよう
に撮像位置ａ，ｂ，ｃ─にわずかづつ移動させ，各撮像
位置で散積みされた丸棒４を撮像する。図６において，
撮像位置ａ，ｂ，ｃ…の間隔（視点間距離）は下記の関
係式を満足させるように決定される。 ａｂ＝ｂｃ＝…＝Ｌ（定数） 奥行き方向の丸棒４の検出範囲Ｚw がＺmin ≦Ｚw ≦Ｚ
max として与えられているとすると，任意の丸棒４ａの
特徴的な点Ｏ1 （前記のように直線検出された点）を撮
像した撮像位置ａ，ｂでの撮像面８上での点Ｏ1 の像の
撮像軸中心からの位置をそれぞれＰ0 ，Ｐ1 とすると，
Ｐ0 に対応するＰ1 の撮像面上での存在範囲ｘb は，下
式に示すようになる。 ｘa ＋（ｆ・Ｌ）／Ｚmax ≦ｘb ≦ｘa ＋（ｆ・Ｌ）／
Ｚmin ここで，視点間距離Ｌを小さく決定しておくと，上記存
在範囲内に存在するＰ 0 の対応点候補を限定することが
できる。同様に撮像位置ｂで得られる像Ｐ1 に対応する
撮像位置ｃの撮像面上での探索範囲ｘc は下式のように
示され，この探索範囲内に存在するＰ1 の対応点候補も
限定することができる。 ｘb ＋（ｆ・Ｌ）／Ｚmax ≦ｘc ≦ｘb ＋（ｆ・Ｌ）／
Ｚmin 上記のようにして，撮像位置ａ，ｂ，ｃ…のうち，隣接
する撮像位置間での対応候補をそれぞれ求めることがで
きる。上記のように視点間距離Ｌを小さく設定した各撮
像位置間では，対応候補を求めることが容易にできる
が，先にステレオビジョンの原理で説明したように，視
点間距離Ｌが小さい場合の物体の三次元位置計測の精度
が低下する。そこで，撮像位置ａ，ｂ，ｃ…の各隣接す
る視点間距離で対応付けを進め，撮像装置２を移動させ
て共通撮像点の対応付けができる最大の２点間距離か
ら，共通撮像点の三次元位置を求めると，対応付けと視
点間距離とを満足させることができる。
動ステレオの手法を用いる。図１に示した物体認識装置
１において撮像装置２を移動台３により図６に示すよう
に撮像位置ａ，ｂ，ｃ─にわずかづつ移動させ，各撮像
位置で散積みされた丸棒４を撮像する。図６において，
撮像位置ａ，ｂ，ｃ…の間隔（視点間距離）は下記の関
係式を満足させるように決定される。 ａｂ＝ｂｃ＝…＝Ｌ（定数） 奥行き方向の丸棒４の検出範囲Ｚw がＺmin ≦Ｚw ≦Ｚ
max として与えられているとすると，任意の丸棒４ａの
特徴的な点Ｏ1 （前記のように直線検出された点）を撮
像した撮像位置ａ，ｂでの撮像面８上での点Ｏ1 の像の
撮像軸中心からの位置をそれぞれＰ0 ，Ｐ1 とすると，
Ｐ0 に対応するＰ1 の撮像面上での存在範囲ｘb は，下
式に示すようになる。 ｘa ＋（ｆ・Ｌ）／Ｚmax ≦ｘb ≦ｘa ＋（ｆ・Ｌ）／
Ｚmin ここで，視点間距離Ｌを小さく決定しておくと，上記存
在範囲内に存在するＰ 0 の対応点候補を限定することが
できる。同様に撮像位置ｂで得られる像Ｐ1 に対応する
撮像位置ｃの撮像面上での探索範囲ｘc は下式のように
示され，この探索範囲内に存在するＰ1 の対応点候補も
限定することができる。 ｘb ＋（ｆ・Ｌ）／Ｚmax ≦ｘc ≦ｘb ＋（ｆ・Ｌ）／
Ｚmin 上記のようにして，撮像位置ａ，ｂ，ｃ…のうち，隣接
する撮像位置間での対応候補をそれぞれ求めることがで
きる。上記のように視点間距離Ｌを小さく設定した各撮
像位置間では，対応候補を求めることが容易にできる
が，先にステレオビジョンの原理で説明したように，視
点間距離Ｌが小さい場合の物体の三次元位置計測の精度
が低下する。そこで，撮像位置ａ，ｂ，ｃ…の各隣接す
る視点間距離で対応付けを進め，撮像装置２を移動させ
て共通撮像点の対応付けができる最大の２点間距離か
ら，共通撮像点の三次元位置を求めると，対応付けと視
点間距離とを満足させることができる。
【０００９】本実施例では，対応付けの関係を明確化す
るため，図７に示すような多視点での画像特徴の対応関
係を示す樹木構造をデータ構造として導入する。上記画
像特徴とは，共通撮像点に対応する点で各撮像位置ａ，
ｂ，ｃ…で撮像され，前述のように画像処理（直線検
出）された結果得られる丸棒４の中心線である。図７に
おいて，撮像位置ａでの画像特徴０ａに対応する撮像位
置ｂでの画像特徴候補が画像特徴０ｂ及び１ｂ，撮像位
置ｂでの画像特徴１ｂに対応する撮像位置ｃでの画像特
徴候補が画像特徴０ｃ及び１ｃで撮像位置ｄでは画像特
徴１ｃに対応する画像特徴が発見できない場合には，画
像特徴０ａをツリー構造の「根」，画像特徴０ｂ，０
ｃ，１ｃを「葉」とするデータ構造とする。このように
撮像位置をａ，ｂ，ｃ…と移動させたときに初めて画像
内に出現した画像特徴はツリー構造の「根」とし，撮像
位置の移動に伴って画像内から消滅していった画像特徴
はツリー構造の「葉」とする。上記のようなツリー構造
を導入することにより，上記対応付けができる最大の撮
像位置間距離は，各ツリー構造の「根」から「葉」に至
る個々の画像特徴対応経路を解析することによって求め
ることができる。つまり，図６に示したように移動ステ
レオ手法では三角形の相似により，撮像位置の移動に伴
う画像特徴の画像上での移動量は，撮像位置の移動量に
正比例するため，ａｂ＝ｂｃ＝──＝Ｌの条件より，各
像Ｐ0 ，Ｐ1 ，Ｐ2 の撮像面８上の移動距離は，図６の
状態で示すと下式のようになり，微小視差Ｄを求めるこ
とができる。 ｘa ＋ｘb ＝ｘb ＋ｘc ＝──≡Ｄ そこで，ツリー構造の「根」から各「葉」に至る画像特
徴対応パスにおいて，ツリー構造のリンクで接続されて
いる画像特徴間の上記微小視差Ｄをそれぞれ計算し，得
られた微小視差列の分散がいちばん小さくなる「根」か
ら「葉」に至る画像特徴対応パスを求める対応付けパス
とする。
るため，図７に示すような多視点での画像特徴の対応関
係を示す樹木構造をデータ構造として導入する。上記画
像特徴とは，共通撮像点に対応する点で各撮像位置ａ，
ｂ，ｃ…で撮像され，前述のように画像処理（直線検
出）された結果得られる丸棒４の中心線である。図７に
おいて，撮像位置ａでの画像特徴０ａに対応する撮像位
置ｂでの画像特徴候補が画像特徴０ｂ及び１ｂ，撮像位
置ｂでの画像特徴１ｂに対応する撮像位置ｃでの画像特
徴候補が画像特徴０ｃ及び１ｃで撮像位置ｄでは画像特
徴１ｃに対応する画像特徴が発見できない場合には，画
像特徴０ａをツリー構造の「根」，画像特徴０ｂ，０
ｃ，１ｃを「葉」とするデータ構造とする。このように
撮像位置をａ，ｂ，ｃ…と移動させたときに初めて画像
内に出現した画像特徴はツリー構造の「根」とし，撮像
位置の移動に伴って画像内から消滅していった画像特徴
はツリー構造の「葉」とする。上記のようなツリー構造
を導入することにより，上記対応付けができる最大の撮
像位置間距離は，各ツリー構造の「根」から「葉」に至
る個々の画像特徴対応経路を解析することによって求め
ることができる。つまり，図６に示したように移動ステ
レオ手法では三角形の相似により，撮像位置の移動に伴
う画像特徴の画像上での移動量は，撮像位置の移動量に
正比例するため，ａｂ＝ｂｃ＝──＝Ｌの条件より，各
像Ｐ0 ，Ｐ1 ，Ｐ2 の撮像面８上の移動距離は，図６の
状態で示すと下式のようになり，微小視差Ｄを求めるこ
とができる。 ｘa ＋ｘb ＝ｘb ＋ｘc ＝──≡Ｄ そこで，ツリー構造の「根」から各「葉」に至る画像特
徴対応パスにおいて，ツリー構造のリンクで接続されて
いる画像特徴間の上記微小視差Ｄをそれぞれ計算し，得
られた微小視差列の分散がいちばん小さくなる「根」か
ら「葉」に至る画像特徴対応パスを求める対応付けパス
とする。
【００１０】この結果，決定された対応付けパスが，例
えば，「根」の画像内のｘ座標がｘ a であり，「葉」の
画像内のｘ座標がｘc であったときには，求める点Ｏ1
の奥行き方向位置は下式によってもとめることができ
る。 Ｚ＝ｆ・ａｃ／（ｘa ＋ｘc ） 従って，散積みされた丸棒４を撮像した画像を図３に示
した画像処理により各丸棒４の中心線を求め，中心線の
両端が検出できる丸棒の中心線の両端を特徴点（共通撮
像点）として抽出し，この特徴点毎の各画像間の対応関
係を上記ツリー構造で表現した後，ツリー構造の「根」
から「葉」に至る経路を解析することにより，散積みさ
れた丸棒４個々の奥行き位置，傾きを計測でき，三次元
位置姿勢が認識される。本実施例では，上記の通り散積
みされた丸棒の三次元位置姿勢の認識方法を示したが，
立体物の所要位置に特徴点を抽出して，同様の処理を行
うことにより各特徴点の三次元位置座標が検出でき，立
体物の三次元位置姿勢を認識することができる。
えば，「根」の画像内のｘ座標がｘ a であり，「葉」の
画像内のｘ座標がｘc であったときには，求める点Ｏ1
の奥行き方向位置は下式によってもとめることができ
る。 Ｚ＝ｆ・ａｃ／（ｘa ＋ｘc ） 従って，散積みされた丸棒４を撮像した画像を図３に示
した画像処理により各丸棒４の中心線を求め，中心線の
両端が検出できる丸棒の中心線の両端を特徴点（共通撮
像点）として抽出し，この特徴点毎の各画像間の対応関
係を上記ツリー構造で表現した後，ツリー構造の「根」
から「葉」に至る経路を解析することにより，散積みさ
れた丸棒４個々の奥行き位置，傾きを計測でき，三次元
位置姿勢が認識される。本実施例では，上記の通り散積
みされた丸棒の三次元位置姿勢の認識方法を示したが，
立体物の所要位置に特徴点を抽出して，同様の処理を行
うことにより各特徴点の三次元位置座標が検出でき，立
体物の三次元位置姿勢を認識することができる。
【００１１】
【発明の効果】本発明は以上の説明の通り，移動ステレ
オ手法による三次元位置姿勢の認識における各撮像位置
での画像間の同一撮像点の対応付けが誤認識なく容易に
実行されるので，立体対象物の奥行き方向の計測精度が
最良となる撮像間距離が正確に求められ，立体対象物の
三次元位置姿勢の認識が正確且つ迅速になされる効果を
奏する。
オ手法による三次元位置姿勢の認識における各撮像位置
での画像間の同一撮像点の対応付けが誤認識なく容易に
実行されるので，立体対象物の奥行き方向の計測精度が
最良となる撮像間距離が正確に求められ，立体対象物の
三次元位置姿勢の認識が正確且つ迅速になされる効果を
奏する。
【図１】 本発明に係る物体認識方法を実施するための
構成を示す模式図。
構成を示す模式図。
【図２】 実施例に係る撮像画像の例を示す画像図。
【図３】 実施例に係る撮像画像から散積みされた丸棒
の中心線を求める画像処理の手順を示すフローチャー
ト。
の中心線を求める画像処理の手順を示すフローチャー
ト。
【図４】 ステレオビジョンの原理図。
【図５】 ステレオビジョンにおける対応付けの検索範
囲を示す説明図。
囲を示す説明図。
【図６】 実施例に係る移動ステレオの原理図。
【図７】 実施例に係る移動ステレオ手法により検出さ
れた画像特徴の対応付けの連続関係を示すツリー構造の
構成図。
れた画像特徴の対応付けの連続関係を示すツリー構造の
構成図。
【図８】 従来例に係る物体位置の認識方法を実施する
ための構成図。
ための構成図。
【図９】 丸棒（ａ）とその表面の明るさ分布を示すグ
ラフ（ｂ）。
ラフ（ｂ）。
【図１０】 従来例に係る物体認識方法を示す説明図。
１…物体認識装置 ２…撮像装置（カメラ） ３…移動台 ４…丸棒（対象物） ６…画像処理装置 ８…撮像面
Claims (1)
- 【請求項１】 立体的対象物を所定距離離れた２点より
カメラにより撮像し，上記２点での両画像内の共通撮像
点の位置を，上記２点間距離及び角度から三角測量の原
理により計測すべく，上記カメラを上記２点の一方の点
から他方の点に向けて移動させ，上記２点及び該２点間
の１以上の点において上記対象物を撮像し，上記２点間
の隣接する撮像点で得られた画像から上記共通撮像点を
認識する物体認識方法において，複数の共通撮像点につ
いて，それぞれ当該共通撮像点が画像内で検出され続け
る範囲内での初めて検出されたカメラ位置およびその撮
像角度と，画像内に検出されなくなったカメラ位置及び
その撮像角度とを検出し，これらのデータから上記複数
の共通撮像点の位置を演算することを特徴とする物体認
識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5161438A JPH0778252A (ja) | 1993-06-30 | 1993-06-30 | 物体認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5161438A JPH0778252A (ja) | 1993-06-30 | 1993-06-30 | 物体認識方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0778252A true JPH0778252A (ja) | 1995-03-20 |
Family
ID=15735120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5161438A Pending JPH0778252A (ja) | 1993-06-30 | 1993-06-30 | 物体認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0778252A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007278844A (ja) * | 2006-04-06 | 2007-10-25 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2007323615A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2007323616A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| US7433494B2 (en) | 2002-09-19 | 2008-10-07 | Denso Corporation | Moving body detecting apparatus |
| JP2009128201A (ja) * | 2007-11-26 | 2009-06-11 | Mitsubishi Electric Corp | 位置姿勢認識装置 |
| JP2013096934A (ja) * | 2011-11-04 | 2013-05-20 | Nec Corp | 目標位置検出装置、該検出装置に用いられる目標位置検出方法及び目標位置検出プログラム |
| CN106548127A (zh) * | 2015-09-18 | 2017-03-29 | 松下电器（美国）知识产权公司 | 图像识别方法 |
| JP2018173321A (ja) * | 2017-03-31 | 2018-11-08 | 日鉄住金テックスエンジ株式会社 | 原料ヤードの原料山形状の計測方法および計測装置 |
| JP2020082231A (ja) * | 2018-11-19 | 2020-06-04 | Dmg森精機株式会社 | 測定方法 |
-
1993
- 1993-06-30 JP JP5161438A patent/JPH0778252A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7433494B2 (en) | 2002-09-19 | 2008-10-07 | Denso Corporation | Moving body detecting apparatus |
| JP2007278844A (ja) * | 2006-04-06 | 2007-10-25 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2007323615A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2007323616A (ja) * | 2006-06-05 | 2007-12-13 | Topcon Corp | 画像処理装置及びその処理方法 |
| JP2009128201A (ja) * | 2007-11-26 | 2009-06-11 | Mitsubishi Electric Corp | 位置姿勢認識装置 |
| JP2013096934A (ja) * | 2011-11-04 | 2013-05-20 | Nec Corp | 目標位置検出装置、該検出装置に用いられる目標位置検出方法及び目標位置検出プログラム |
| CN106548127A (zh) * | 2015-09-18 | 2017-03-29 | 松下电器（美国）知识产权公司 | 图像识别方法 |
| JP2018173321A (ja) * | 2017-03-31 | 2018-11-08 | 日鉄住金テックスエンジ株式会社 | 原料ヤードの原料山形状の計測方法および計測装置 |
| JP2020082231A (ja) * | 2018-11-19 | 2020-06-04 | Dmg森精機株式会社 | 測定方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108406731B (zh) | 一种基于深度视觉的定位装置、方法及机器人 | |
| O’Riordan et al. | Stereo vision sensing: Review of existing systems | |
| US20130106833A1 (en) | Method and apparatus for optical tracking of 3d pose using complex markers | |
| US6721444B1 (en) | 3-dimensional object recognition method and bin-picking system using the method | |
| CN110425996A (zh) | 基于双目立体视觉的工件尺寸测量方法 | |
| KR900002509B1 (ko) | 화상 처리 장치 | |
| JPH0778252A (ja) | 物体認識方法 | |
| JP7365567B2 (ja) | 計測システム、計測装置、計測方法及び計測プログラム | |
| Goto et al. | 3D environment measurement using binocular stereo and motion stereo by mobile robot with omnidirectional stereo camera | |
| Li et al. | Workpiece intelligent identification and positioning system based on binocular machine vision | |
| Chen et al. | Improving the accuracy of depth estimation in binocular vision for robotic applications | |
| JP2697917B2 (ja) | 三次元座標計測装置 | |
| JPH06258028A (ja) | 視覚に基く三次元位置および姿勢の認識方法とその装置 | |
| CN206291864U (zh) | 一种固定式立体检测方法的专用设备 | |
| Sheng et al. | Image segmentation and object measurement based on stereo vision | |
| Su | Vanishing points in road recognition: A review | |
| Okada et al. | A parts picking system with a range finder and a camera system | |
| Abdelhamid et al. | Extracting depth information using a correlation matching algorithm | |
| Chiu | Dual laser 3D scanner for Random Bin Picking system | |
| JPH05173644A (ja) | ３次元物体認識装置 | |
| Lin et al. | Stereo with coplanar sensor rotation | |
| Kita et al. | Reference Plane based Fisheye Stereo Epipolar Rectification. | |
| JPH1194527A (ja) | 画像処理を用いたステレオ計測方法及び装置 | |
| WO2022099597A1 (zh) | 一种基于虚拟轮廓特征点的机械零件6d位姿测量方法 | |
| JP3055721B2 (ja) | 左，右カメラの撮像画像の対応点検索方法 |