JPH04370703A - 三次元物体の検出方法及び装置 - Google Patents
三次元物体の検出方法及び装置Info
- Publication number
- JPH04370703A JPH04370703A JP3146371A JP14637191A JPH04370703A JP H04370703 A JPH04370703 A JP H04370703A JP 3146371 A JP3146371 A JP 3146371A JP 14637191 A JP14637191 A JP 14637191A JP H04370703 A JPH04370703 A JP H04370703A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- contour
- contour shape
- shape
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 25
- 230000005484 gravity Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 24
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 21
- 230000009466 transformation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は三次元物体の検出方法及
び装置に関し、特に産業用ロボットに部品を組み立てさ
せるとき、部品の位置や姿勢を検出させる三次元物体の
検出方法及び装置に関する。
び装置に関し、特に産業用ロボットに部品を組み立てさ
せるとき、部品の位置や姿勢を検出させる三次元物体の
検出方法及び装置に関する。
【０００２】
【従来の技術】従来の三次元物体の検出方法及び装置に
おいて、文献１，ベソルド・ケー・ピー・ホーン（Ｂｅ
ｒｔｈｏｌｄ．Ｋ．Ｐ．Ｈｏｒｎ），ロボットビジョン
（Ｒｏｂｏｔ Ｖｉｓｉｏｎ），ザミットプレス（Ｔ
ｈｅ ＭＩＴ Ｐｒｅｓｓ），３６５〜３９９頁、
４２３〜４５１頁，１９８６．に記載の技術により図５
（Ａ）に示すトーラス物体１００の姿勢を検出する手法
を説明する。
おいて、文献１，ベソルド・ケー・ピー・ホーン（Ｂｅ
ｒｔｈｏｌｄ．Ｋ．Ｐ．Ｈｏｒｎ），ロボットビジョン
（Ｒｏｂｏｔ Ｖｉｓｉｏｎ），ザミットプレス（Ｔ
ｈｅ ＭＩＴ Ｐｒｅｓｓ），３６５〜３９９頁、
４２３〜４５１頁，１９８６．に記載の技術により図５
（Ａ）に示すトーラス物体１００の姿勢を検出する手法
を説明する。
【０００３】第１の段階では、予めトーラス物体１００
の表面上の各点Ｐ（ｕ，ｖ）で算出されるガウス曲率を
ｋ（ｕ，ｖ）とし、点Ｐ（ｕ，ｖ）におけるトーラス物
体１００の法線方向ｎ（ｕ，ｖ）と同じ法線方向を持つ
単位球面上の位置をＳ（ξ，η）としたとき、式（１）
でモデルＧｍ （ξ，η）を合成する。
の表面上の各点Ｐ（ｕ，ｖ）で算出されるガウス曲率を
ｋ（ｕ，ｖ）とし、点Ｐ（ｕ，ｖ）におけるトーラス物
体１００の法線方向ｎ（ｕ，ｖ）と同じ法線方向を持つ
単位球面上の位置をＳ（ξ，η）としたとき、式（１）
でモデルＧｍ （ξ，η）を合成する。
【０００４】
Ｇｍ （ξ，η）＝１／ｋ（ｕ，ｖ）
…
（１）第２段階として文献１の２９９〜３３３頁に記載
されている照度差ステレオ手法で検出されるトーラス物
体１００の図５（Ｂ）に示す法線方向群｛ｎｉ ，ｉ＝
１，２，…，Ｎ｝の単位球面上でのヒストグラムＧｏ
（ξ′，η′）は見えているトーラス物体の特徴量とし
て式（２）で求める。
…
（１）第２段階として文献１の２９９〜３３３頁に記載
されている照度差ステレオ手法で検出されるトーラス物
体１００の図５（Ｂ）に示す法線方向群｛ｎｉ ，ｉ＝
１，２，…，Ｎ｝の単位球面上でのヒストグラムＧｏ
（ξ′，η′）は見えているトーラス物体の特徴量とし
て式（２）で求める。
【０００５】
Ｇｏ （ξ′，η′）←Ｇｏ （ξ′，η′）＋１
…（２）た
だし（ξ′，η′）は単位球面上の位置Ｓ（ξ′，η′
）における法線方向がｎｉ と一致する様に選択される
。
…（２）た
だし（ξ′，η′）は単位球面上の位置Ｓ（ξ′，η′
）における法線方向がｎｉ と一致する様に選択される
。
【０００６】第３段階として文献１の４３９〜４４０頁
に記載されている手法でモデルＧｍ （ξ，η）とヒス
トグラムＧｏ （ξ′，η′）を照合することにより座
標系ξ−ηとξ′−η′の座標変換行列Ｒを式（３）で
求め、 Ｒ：（ξ，η）＝（ξ′，η′）Ｒ
…（
３）見えているトーラス物体の姿勢として検出していた
。
に記載されている手法でモデルＧｍ （ξ，η）とヒス
トグラムＧｏ （ξ′，η′）を照合することにより座
標系ξ−ηとξ′−η′の座標変換行列Ｒを式（３）で
求め、 Ｒ：（ξ，η）＝（ξ′，η′）Ｒ
…（
３）見えているトーラス物体の姿勢として検出していた
。
【０００７】
【発明が解決しようとする課題】上述した従来の三次元
物体の検出方法及び装置では、屋外で使用された場合に
外乱光の影響等で見えている三次元物体表面の法線方向
群を精度良く検出するのは困難であるため、見えている
三次元物体の姿勢が正しく求められるという問題がある
。
物体の検出方法及び装置では、屋外で使用された場合に
外乱光の影響等で見えている三次元物体表面の法線方向
群を精度良く検出するのは困難であるため、見えている
三次元物体の姿勢が正しく求められるという問題がある
。
【０００８】本発明の目的は、屋外でも使用できる三次
元物体の姿勢や位置の検出が正しくできる三次元物体の
検出方法及び装置を提供することにある。
元物体の姿勢や位置の検出が正しくできる三次元物体の
検出方法及び装置を提供することにある。
【０００９】
【課題を解決するための手段】第１の発明の三次元物体
の検出方法は、視線が重心を通過する状態で観測された
輪郭形状と、三次元物体の前記輪郭形状を予めあらゆる
視線方向から前記状態で観測して合成された前記三次元
物体のモデルと、このモデルと前記観測された輪郭形状
とを照合して前記三次元物体の姿勢と位置を検出する。
の検出方法は、視線が重心を通過する状態で観測された
輪郭形状と、三次元物体の前記輪郭形状を予めあらゆる
視線方向から前記状態で観測して合成された前記三次元
物体のモデルと、このモデルと前記観測された輪郭形状
とを照合して前記三次元物体の姿勢と位置を検出する。
【００１０】第２の発明の三次元物体の検出装置は、視
線が重心を通過する状態であらゆる方向から観測して得
られる三次元物体の輪郭形状群の画像が記憶されるモデ
ル記憶手段と、指定された視点と視線方向とにより三次
元物体画像を出力する撮像手段と、前記三次元物体画像
の輪郭形状を抽出する輪郭抽出手段と、前記輪郭形状の
重心位置が光軸と一致するように前記撮像手段を制御す
る視野制御手段と、前記輪郭形状と前記輪郭形状群との
照合により前記三次元物体を姿勢を検出する姿勢検出手
段とを有する。
線が重心を通過する状態であらゆる方向から観測して得
られる三次元物体の輪郭形状群の画像が記憶されるモデ
ル記憶手段と、指定された視点と視線方向とにより三次
元物体画像を出力する撮像手段と、前記三次元物体画像
の輪郭形状を抽出する輪郭抽出手段と、前記輪郭形状の
重心位置が光軸と一致するように前記撮像手段を制御す
る視野制御手段と、前記輪郭形状と前記輪郭形状群との
照合により前記三次元物体を姿勢を検出する姿勢検出手
段とを有する。
【００１１】第３の発明の三次元物体の検出装置は、あ
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測することにより得られる輪郭形状
群の画像モデルを予め記憶するモデル記憶手段と、指定
された視点と視線方向とにより三次元物体画像を出力す
る撮像手段と、三次元物体画像から求められる輪郭形状
の面積が極大になるように前記撮像手段を制御する能動
的輪郭抽出手段と、前記輪郭形状の重心位置が光軸と一
致するように前記撮像手段を制御する視野制御手段と、
前記輪郭形状と前記輪郭形状群との照合により前記三次
元物体の姿勢を検出する姿勢検出手段とを有する。
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測することにより得られる輪郭形状
群の画像モデルを予め記憶するモデル記憶手段と、指定
された視点と視線方向とにより三次元物体画像を出力す
る撮像手段と、三次元物体画像から求められる輪郭形状
の面積が極大になるように前記撮像手段を制御する能動
的輪郭抽出手段と、前記輪郭形状の重心位置が光軸と一
致するように前記撮像手段を制御する視野制御手段と、
前記輪郭形状と前記輪郭形状群との照合により前記三次
元物体の姿勢を検出する姿勢検出手段とを有する。
【００１２】第４の発明の三次元物体の検出装置は、あ
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測して得られる輪郭形状群の記述を
記憶する拡張モデル記憶手段と、指定された視点から指
定された視線方向で観測された三次元物体画像を出力す
る撮像手段と、前記三次元物体画像から輪郭形状を求め
る輪郭抽出手段と、、前記輪郭形状の重心位置が光軸と
一致するように前記撮像手段を制御する視野制御手段と
、前記輪郭形状と前記輪郭形状群の記述と照合する三次
元情報抽出手段を具備し、見えている三次元物体の姿勢
と位置を検出する。
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測して得られる輪郭形状群の記述を
記憶する拡張モデル記憶手段と、指定された視点から指
定された視線方向で観測された三次元物体画像を出力す
る撮像手段と、前記三次元物体画像から輪郭形状を求め
る輪郭抽出手段と、、前記輪郭形状の重心位置が光軸と
一致するように前記撮像手段を制御する視野制御手段と
、前記輪郭形状と前記輪郭形状群の記述と照合する三次
元情報抽出手段を具備し、見えている三次元物体の姿勢
と位置を検出する。
【００１３】第５の発明の三次元物体の検出装置は、あ
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測して得られる輪郭形状群の記述を
記憶する拡張モデル記憶手段と、指定された視点から指
定された視線方向に観測した三次元物体画像を出力する
撮像手段と、前記三次元物体画像から求められる輪郭形
状の面積が極大になるように前記撮像手段を制御する能
動的輪郭抽出手段と、前記輪郭形状の重心位置が光軸と
一致するように前記撮像手段を制御する視野制御手段と
、前記輪郭形状と前記輪郭形状群の記述と照合する三次
元情報抽出手段を具備し、見えている三次元物体の姿勢
と位置を検出する。
らゆる視線方向から視線が輪郭形状の重心を通過するよ
うに三次元物体を観測して得られる輪郭形状群の記述を
記憶する拡張モデル記憶手段と、指定された視点から指
定された視線方向に観測した三次元物体画像を出力する
撮像手段と、前記三次元物体画像から求められる輪郭形
状の面積が極大になるように前記撮像手段を制御する能
動的輪郭抽出手段と、前記輪郭形状の重心位置が光軸と
一致するように前記撮像手段を制御する視野制御手段と
、前記輪郭形状と前記輪郭形状群の記述と照合する三次
元情報抽出手段を具備し、見えている三次元物体の姿勢
と位置を検出する。
【００１４】
【作用】本発明の第１の原理は、視線が輪郭形状の重心
を通過する状態で観測される見えている三次元物体の輪
郭形状を、同様の条件で予めあらゆる視線方向から観測
して合成された輪郭形状群と照合することにより、見え
ている三次元物体の姿勢を検出するものである。ここに
、三次元物体の姿勢とは同図におけるモデル座標系Ｏ−
Ｘ−Ｙ−ＺとＴＶカメラ座標系Ｏ−ｘ−ｙ−ｚの基底変
換として定義されるものである。
を通過する状態で観測される見えている三次元物体の輪
郭形状を、同様の条件で予めあらゆる視線方向から観測
して合成された輪郭形状群と照合することにより、見え
ている三次元物体の姿勢を検出するものである。ここに
、三次元物体の姿勢とは同図におけるモデル座標系Ｏ−
Ｘ−Ｙ−ＺとＴＶカメラ座標系Ｏ−ｘ−ｙ−ｚの基底変
換として定義されるものである。
【００１５】例えば、図６に示す三次元物体１０１が与
えられたとき、第１段階として三次元物体１０１にモデ
ル座標系Ｏ−Ｘ−Ｙ−Ｚを設定する。第２段階としてモ
デル座標系Ｏ−Ｘ−Ｙ−Ｚを Ｘ２ ＋Ｙ２ ＋Ｚ２ ＝１
…（４）式（４）で定義される球面上の
極座標式（５） （ｃｏｓφｉ ｓｉｎθｊ ，ｓｉ
ｎφｉ ｓｉｎθｊ ，ｃｏｓθｊ ） …（５
）で表わされる位置Ｐｉｊにおける法線方向を式（６）
とする。
えられたとき、第１段階として三次元物体１０１にモデ
ル座標系Ｏ−Ｘ−Ｙ−Ｚを設定する。第２段階としてモ
デル座標系Ｏ−Ｘ−Ｙ−Ｚを Ｘ２ ＋Ｙ２ ＋Ｚ２ ＝１
…（４）式（４）で定義される球面上の
極座標式（５） （ｃｏｓφｉ ｓｉｎθｊ ，ｓｉ
ｎφｉ ｓｉｎθｊ ，ｃｏｓθｊ ） …（５
）で表わされる位置Ｐｉｊにおける法線方向を式（６）
とする。
【００１６】
ｎ（φｉ ，θｊ ）＝（ｃｏｓφｉ ｓｉｎθｊ
，ｓｉｎφｉ ｓｉｎθｊ ，ｃｏｓθｊ ）
…（６）第３段階として、図７に示すＷ軸が
ｎ（φｉ ，θｊ ）と対向する座標系Ｏｏ −ｕ−ｖ
−ｗを設定し、上記座標系Ｏｏ −ｕ−ｖ−ｗのｕ−ｖ
平面をπｉｊとする。第４段階として、前記三次元物体
１０１を平面πｉｊに平行投影して生成される輪郭形状
を前記座標系Ｏｏ −ｕ−ｖ−ｗで測り、輪郭形状の重
心位置を式（７）で求める。
，ｓｉｎφｉ ｓｉｎθｊ ，ｃｏｓθｊ ）
…（６）第３段階として、図７に示すＷ軸が
ｎ（φｉ ，θｊ ）と対向する座標系Ｏｏ −ｕ−ｖ
−ｗを設定し、上記座標系Ｏｏ −ｕ−ｖ−ｗのｕ−ｖ
平面をπｉｊとする。第４段階として、前記三次元物体
１０１を平面πｉｊに平行投影して生成される輪郭形状
を前記座標系Ｏｏ −ｕ−ｖ−ｗで測り、輪郭形状の重
心位置を式（７）で求める。
【００１７】
【００１８】第５段階として、平面πｉｊ上において、
ｍｏ を原点とする座標系ｏ−ｕ−ｖ−ｗを設定する。
ｍｏ を原点とする座標系ｏ−ｕ−ｖ−ｗを設定する。
【００１９】第６段階として、座標系ｏ−ｕ−ｖ−ｗに
おいて、ｗ軸上の位置を式（８）の
おいて、ｗ軸上の位置を式（８）の
【００２０】
【００２１】焦点Ｆとして平面πｉｊに一点投影される
三次元物体１０１の輪郭形状を座標系ｏ−ｕ−ｖで測り
、重心位置を式（９）で求める。
三次元物体１０１の輪郭形状を座標系ｏ−ｕ−ｖで測り
、重心位置を式（９）で求める。
【００２２】
【００２３】第７段階としてｍ１ が零ベクトルでない
場合、輪郭形状の重心位置が原点となる様に三次元物体
１０１の原点位置を式（１０）の値に変更する。
場合、輪郭形状の重心位置が原点となる様に三次元物体
１０１の原点位置を式（１０）の値に変更する。
【００２４】
【００２５】第８段階として原点位置を変更した後の三
次元物体１０１を平面πｉｊに一点投影して生成される
輪郭形状を座標系ｏ−ｕ−ｖで測り、重心位置が原点と
なるまで第７段階の処理を繰り返し、その条件が満たさ
れた段階で求まる輪郭形状の主軸方向に基づき、図６に
おけるＴＶカメラの座標系ｏ−ｘ−ｙ−ｚを式（１１）
〜式（１３）の様に定める。
次元物体１０１を平面πｉｊに一点投影して生成される
輪郭形状を座標系ｏ−ｕ−ｖで測り、重心位置が原点と
なるまで第７段階の処理を繰り返し、その条件が満たさ
れた段階で求まる輪郭形状の主軸方向に基づき、図６に
おけるＴＶカメラの座標系ｏ−ｘ−ｙ−ｚを式（１１）
〜式（１３）の様に定める。
【００２６】
【００２７】第９段階として、この時点で前記では平面
に写っている輪郭形状ｇ（ｘ，ｙ，φｉ ，θｊ ）の
式（１４），式（１５）に示すモーメント不変量と主軸
方向の式（１６）を図８に示す姿勢図１０２の（φｉ
，θｊ ）で定まる位置に記憶する。
に写っている輪郭形状ｇ（ｘ，ｙ，φｉ ，θｊ ）の
式（１４），式（１５）に示すモーメント不変量と主軸
方向の式（１６）を図８に示す姿勢図１０２の（φｉ
，θｊ ）で定まる位置に記憶する。
【００２８】
【００２９】第１０段階として、以上の処理を球面上の
複数個の位置Ｐｉｊについて繰返す。第１１段階として
三次元物体１０１について、Ｚ軸が光軸でｘ−ｙ平面が
撮像面となるＴＶカメラから入力した画像から輪郭形状
ｇｏ （ｘ，ｙ）を抽出する。
複数個の位置Ｐｉｊについて繰返す。第１１段階として
三次元物体１０１について、Ｚ軸が光軸でｘ−ｙ平面が
撮像面となるＴＶカメラから入力した画像から輪郭形状
ｇｏ （ｘ，ｙ）を抽出する。
【００３０】第１２段階として、輪郭形状ｇｏ （ｘ，
ｙ）の重心位置ｍｏ を算出し、重心位置ｍｏ が予め
求めておいた画面内での光軸位置Ｃに一致しない場合に
は重心位置ｍｏ が光軸位置Ｃに一致するようにＴＶカ
メラの位置を移動させる処理をくり返す。
ｙ）の重心位置ｍｏ を算出し、重心位置ｍｏ が予め
求めておいた画面内での光軸位置Ｃに一致しない場合に
は重心位置ｍｏ が光軸位置Ｃに一致するようにＴＶカ
メラの位置を移動させる処理をくり返す。
【００３１】第１３段階として、輪郭形状ｇｏ （ｘ，
ｙ）の重心位置ｍｏ が光軸位置Ｃに一致した時点で輪
郭形状ｇｏ （ｘ，ｙ）の式（１４）に示したモーメン
ト不変量Ｉ１ Ｉ２ と主軸方向ηを算出する。
ｙ）の重心位置ｍｏ が光軸位置Ｃに一致した時点で輪
郭形状ｇｏ （ｘ，ｙ）の式（１４）に示したモーメン
ト不変量Ｉ１ Ｉ２ と主軸方向ηを算出する。
【００３２】第１４段階として、前記姿勢図１０２に記
憶されているモーメント不変量をＩ１ （φｉ ，θｊ
），Ｉ２ （φｉ ，θｊ ）と表わしたとき、モー
メント不変量位Ｉ１ ，Ｉ２ との相異度が式（１７）
で
憶されているモーメント不変量をＩ１ （φｉ ，θｊ
），Ｉ２ （φｉ ，θｊ ）と表わしたとき、モー
メント不変量位Ｉ１ ，Ｉ２ との相異度が式（１７）
で
【００３３】
【００３４】最小となる図８の姿勢図１０２の位置φＫ
，θＬ をみつけ、その位置から主軸方向ηＫ を取
り出す。第１５段階として式（１３）に示すＲ（φ，θ
，η）を用いて表される三次元物体１０１に設定された
座標系Ｏ−Ｘ−Ｙ−ＺからＴＶカメラに設定された座標
系Ｏ−ｘ−ｙ−ｚへの基底変換行列を式（１８）として
見えている三次元物体１０１の姿勢を検出する。
，θＬ をみつけ、その位置から主軸方向ηＫ を取
り出す。第１５段階として式（１３）に示すＲ（φ，θ
，η）を用いて表される三次元物体１０１に設定された
座標系Ｏ−Ｘ−Ｙ−ＺからＴＶカメラに設定された座標
系Ｏ−ｘ−ｙ−ｚへの基底変換行列を式（１８）として
見えている三次元物体１０１の姿勢を検出する。
【００３５】
【００３６】本発明の第２の原理は、第１の原理の第１
１段階で求められる輪郭形状ｇｏ （ｘ，ｙ）の面積が
極大になるようにＴＶカメラを移動させることにより、
輪郭形状ｇｏ （ｘ，ｙ）のモーメント不変量、及び主
軸方向を安定させ、その結果姿勢検出精度を向上させる
ものである。
１段階で求められる輪郭形状ｇｏ （ｘ，ｙ）の面積が
極大になるようにＴＶカメラを移動させることにより、
輪郭形状ｇｏ （ｘ，ｙ）のモーメント不変量、及び主
軸方向を安定させ、その結果姿勢検出精度を向上させる
ものである。
【００３７】本発明の第３の原理は、第１の原理の第９
段階で式（１４）に示すモーメント不変量と式（１６）
に示す主軸方向と式（１５）に示す０次のモーメントＭ
００を記憶しておき、第１の原理の第１３段階で同様の
処理の他に輪郭形状ｇｏ （ｘ，ｙ）の０次のモーメン
トとして面積Ｓを算出し、第１の原理の第１４段階で同
様の処理の他に、０次のモーメントをＳＫＬとして取り
出し、第１の原理の第１５段階で同様の処理の他に式（
１０）に示すＤ０ を用いて式（１９）で距離を算出す
る。
段階で式（１４）に示すモーメント不変量と式（１６）
に示す主軸方向と式（１５）に示す０次のモーメントＭ
００を記憶しておき、第１の原理の第１３段階で同様の
処理の他に輪郭形状ｇｏ （ｘ，ｙ）の０次のモーメン
トとして面積Ｓを算出し、第１の原理の第１４段階で同
様の処理の他に、０次のモーメントをＳＫＬとして取り
出し、第１の原理の第１５段階で同様の処理の他に式（
１０）に示すＤ０ を用いて式（１９）で距離を算出す
る。
【００３８】
【００３９】
【実施例】次に本発明について図面を参照して説明する
。図１は本発明の第１の実施例のブロック図である。
。図１は本発明の第１の実施例のブロック図である。
【００４０】三次元物体１０１をロボットに掴ませる図
１の三次元物体の検出装置において、モデル記憶手段７
は作用の項で説明の第１段階から第１０段階の手順で合
成された図８の姿勢図１０２を記憶している。この装置
の動作は、制御手段６がロボットアームの手先に設けた
ＣＣＤＴＶカメラの撮像手段１を起動して始まる。
１の三次元物体の検出装置において、モデル記憶手段７
は作用の項で説明の第１段階から第１０段階の手順で合
成された図８の姿勢図１０２を記憶している。この装置
の動作は、制御手段６がロボットアームの手先に設けた
ＣＣＤＴＶカメラの撮像手段１を起動して始まる。
【００４１】起動された撮像手段１は図９（Ａ）に示す
三次元物体１０１の画像１０３を画像記憶手段２に記憶
して処理を終了する。撮像手段１が処理を終了すると制
御手段６は輪郭抽出手段３を起動する。起動された輪郭
抽出手段３は、第１段階として三次元物体の画像１０３
をｉ（ｘ，ｙ）と表わしたとき、
三次元物体１０１の画像１０３を画像記憶手段２に記憶
して処理を終了する。撮像手段１が処理を終了すると制
御手段６は輪郭抽出手段３を起動する。起動された輪郭
抽出手段３は、第１段階として三次元物体の画像１０３
をｉ（ｘ，ｙ）と表わしたとき、
【００４２】
【００４３】式（２０）で合成される微分強度画像ｄ（
ｘ，ｙ）の強度ヒストグラムｈ（ｄ）を作成する。第２
段階として例えば文献２大津辰之，判別および最小２乗
規準に基づく自動しきい値選定法，電子通信学会論文誌
，１９８０年，第４号，３４９〜３５６頁に記載されて
いる手法により、強度ヒストグラムｈ（ｄ）に適用して
求められる閾値Ｔを用いて式（２１）により図９（Ｂ）
に示す２値のエッジ画像１０４を合成する。
ｘ，ｙ）の強度ヒストグラムｈ（ｄ）を作成する。第２
段階として例えば文献２大津辰之，判別および最小２乗
規準に基づく自動しきい値選定法，電子通信学会論文誌
，１９８０年，第４号，３４９〜３５６頁に記載されて
いる手法により、強度ヒストグラムｈ（ｄ）に適用して
求められる閾値Ｔを用いて式（２１）により図９（Ｂ）
に示す２値のエッジ画像１０４を合成する。
【００４４】
ｉ′（ｘ，ｙ）＝１ （ｄ（ｘ，ｙ）＞Ｔ）
＝０ （ｄ（ｘ，ｙ）
≦Ｔ） …（
２１）第３段階として２値のエッジ画像１０４に含まれ
る領域毎に算出される面積群のうち、値が最大である領
域を１で塗りつぶした図９（Ｃ）に示す輪郭画像１０５
を輪郭記憶手段４に記憶して処理を終了する。輪郭抽出
手段３が処理を終了すると制御手段６は視野制御手段１
１と起動する。起動された視野制御手段１１は、第１段
階として輪郭画像１０５の重心Ｍを算出する。第２段階
として予め求めておいた画面内での光軸位置Ｃと表わし
たとき ｜Ｍ−Ｃ｜＜ε
…（２２）式（２２）が満たされない
場合には撮像手段１を構成するロボットアームの位置を
式（２３）の位置に移動させて処理を終了する。
＝０ （ｄ（ｘ，ｙ）
≦Ｔ） …（
２１）第３段階として２値のエッジ画像１０４に含まれ
る領域毎に算出される面積群のうち、値が最大である領
域を１で塗りつぶした図９（Ｃ）に示す輪郭画像１０５
を輪郭記憶手段４に記憶して処理を終了する。輪郭抽出
手段３が処理を終了すると制御手段６は視野制御手段１
１と起動する。起動された視野制御手段１１は、第１段
階として輪郭画像１０５の重心Ｍを算出する。第２段階
として予め求めておいた画面内での光軸位置Ｃと表わし
たとき ｜Ｍ−Ｃ｜＜ε
…（２２）式（２２）が満たされない
場合には撮像手段１を構成するロボットアームの位置を
式（２３）の位置に移動させて処理を終了する。
【００４５】
現在の位置＋（Ｍ−Ｃ）
…（２３）視野制御手段１１が処理を終了すると制御
手段６は撮像手段１から始まる一連の処理を式（２２）
が満たされるまでくり返した後に特徴算出手段５を起動
する。起動された特徴算出手段５は式（１４）と（１６
）を用いて算出される輪郭画像１０５のモーメント不変
量Ｉ１ ′とＩ２ ′，及び主軸方向ηを特徴記憶手段
８に記憶して処理を終了する。特徴算出手段５が処理を
終了すると制御手段６は姿勢検出手段１０を起動する。 起動された上記姿勢検出手段１０は作用の第１４段階で
説明した手法により求められる姿勢図１０２の位置φＫ
とθＬ ，主軸方向ηＫＬ及び式（１３）に示すＲ（
φ，θ，η）を用いて表現される基底変換行列の式（２
４） Ｒ（φＫ θＬ ηＫＬ＋ｎ）
…（２４）をロボット制御手段９に出力して処
理を終了する。姿勢検出手段１０が処理を終了すると制
御手段６はロボット制御手段９を起動する。起動された
ロボット制御手段９は姿勢検出手段１０が出力する基底
変換行列から見えている三次元物体１０１が掴めるロボ
ットの姿勢を決めた後、文献１の４４３〜４４４頁に示
されているアルゴリズムに従ってロボットに三次元物体
１０１を掴ませてすべての処理を終了する。
…（２３）視野制御手段１１が処理を終了すると制御
手段６は撮像手段１から始まる一連の処理を式（２２）
が満たされるまでくり返した後に特徴算出手段５を起動
する。起動された特徴算出手段５は式（１４）と（１６
）を用いて算出される輪郭画像１０５のモーメント不変
量Ｉ１ ′とＩ２ ′，及び主軸方向ηを特徴記憶手段
８に記憶して処理を終了する。特徴算出手段５が処理を
終了すると制御手段６は姿勢検出手段１０を起動する。 起動された上記姿勢検出手段１０は作用の第１４段階で
説明した手法により求められる姿勢図１０２の位置φＫ
とθＬ ，主軸方向ηＫＬ及び式（１３）に示すＲ（
φ，θ，η）を用いて表現される基底変換行列の式（２
４） Ｒ（φＫ θＬ ηＫＬ＋ｎ）
…（２４）をロボット制御手段９に出力して処
理を終了する。姿勢検出手段１０が処理を終了すると制
御手段６はロボット制御手段９を起動する。起動された
ロボット制御手段９は姿勢検出手段１０が出力する基底
変換行列から見えている三次元物体１０１が掴めるロボ
ットの姿勢を決めた後、文献１の４４３〜４４４頁に示
されているアルゴリズムに従ってロボットに三次元物体
１０１を掴ませてすべての処理を終了する。
【００４６】図２は本発明の第２の実施例のブロック図
である。三次元物体１０１をロボットに掴ませる図２の
三次元物体の検出装置において、この装置の動作は、第
１の実施例で説明した手順と同様にして進み、制御手段
６は能動的輪郭抽出手段１２を起動する。起動された能
動的輪郭抽出手段１２は第１段階として輪郭抽出手段３
の第１段階から第３段階で説明した手順と同様にして図
９（Ｃ）に示す輪郭画像１０５を合成する。第２段階と
して撮像手段１を構成するロボットアームを制御するこ
とにより、ＴＶカメラ座標系Ｏ−ｘ−ｙ−ｚのｘ軸をΔ
θｘ だけ回転させた後に上述した手順と同様に処理し
て合成される図１０に示す輪郭画像１０６の面積を、輪
郭画像１０５の面積と比較する手順をＴＶカメラ座標系
Ｏ−ｘ−ｙ−ｚの各軸に対してくり返すことにより求ま
る面積が極大となる輪郭画像を輪郭記憶手段４に記憶し
て処理を終了する。能動的輪郭抽出手段１２が処理を終
了すると制御手段６は視野制御手段１１を起動し、その
後の動作は第１の実施例で説明した手順と同様に進み、
起動されたロボット制御手段９がロボットに、三次元物
体１０１を掴ませてすべての処理を終了する。
である。三次元物体１０１をロボットに掴ませる図２の
三次元物体の検出装置において、この装置の動作は、第
１の実施例で説明した手順と同様にして進み、制御手段
６は能動的輪郭抽出手段１２を起動する。起動された能
動的輪郭抽出手段１２は第１段階として輪郭抽出手段３
の第１段階から第３段階で説明した手順と同様にして図
９（Ｃ）に示す輪郭画像１０５を合成する。第２段階と
して撮像手段１を構成するロボットアームを制御するこ
とにより、ＴＶカメラ座標系Ｏ−ｘ−ｙ−ｚのｘ軸をΔ
θｘ だけ回転させた後に上述した手順と同様に処理し
て合成される図１０に示す輪郭画像１０６の面積を、輪
郭画像１０５の面積と比較する手順をＴＶカメラ座標系
Ｏ−ｘ−ｙ−ｚの各軸に対してくり返すことにより求ま
る面積が極大となる輪郭画像を輪郭記憶手段４に記憶し
て処理を終了する。能動的輪郭抽出手段１２が処理を終
了すると制御手段６は視野制御手段１１を起動し、その
後の動作は第１の実施例で説明した手順と同様に進み、
起動されたロボット制御手段９がロボットに、三次元物
体１０１を掴ませてすべての処理を終了する。
【００４７】図３は本発明の第３の実施例のブロック図
である。三次元物体１０１をロボットに掴ませる図３の
三次元物体の検出装置において、拡張モデル記憶手段１
４は作用の第３の原理で説明した姿勢図１０２を記憶し
ている。この装置の動作は、第１の実施例で説明した手
順と同様にして進み、三次元情報抽出手段１３が起動さ
れる。起動された三次元情報抽出手段１３は作用の第３
の原理で説明した基底変換行列Ｒ（φＫ ，θＬ ，η
ＫＬ）と距離ＤＫＬをロボット制御手段９に出力し、処
理を終了する。三次元情報抽出手段１３が処理を終了す
ると、制御手段６はロボット制御手段９を起動する。起
動されたロボット制御手段９は第１段階として視線方向
に対して距離０．９ＤＫＵだけロボットハンドを素速く
移動させた後に第１の実施例で説明した手順と同様にし
て三次元物体１０１をロボットに掴ませてすべての処理
を終了する。
である。三次元物体１０１をロボットに掴ませる図３の
三次元物体の検出装置において、拡張モデル記憶手段１
４は作用の第３の原理で説明した姿勢図１０２を記憶し
ている。この装置の動作は、第１の実施例で説明した手
順と同様にして進み、三次元情報抽出手段１３が起動さ
れる。起動された三次元情報抽出手段１３は作用の第３
の原理で説明した基底変換行列Ｒ（φＫ ，θＬ ，η
ＫＬ）と距離ＤＫＬをロボット制御手段９に出力し、処
理を終了する。三次元情報抽出手段１３が処理を終了す
ると、制御手段６はロボット制御手段９を起動する。起
動されたロボット制御手段９は第１段階として視線方向
に対して距離０．９ＤＫＵだけロボットハンドを素速く
移動させた後に第１の実施例で説明した手順と同様にし
て三次元物体１０１をロボットに掴ませてすべての処理
を終了する。
【００４８】図４は本発明の第４の実施例のブロック図
である。三次元物体１０１をロボットに掴ませる第２と
第３の実施例を用いた図４の三次元物体の検出装置にお
いて、拡張モデル記憶手段１４は第３の実施例で説明し
た姿勢図１０２を記憶している。この装置の動作は第２
の実施例で説明した手順と同様に進み、三次元情報抽出
手段１３が起動される。三次元情報抽出手段１３が起動
された後の処理は第３の実施例で説明した手順と同様に
進み、起動されたロボット制御手段９がロボットに三次
元物体１０１を掴ませてすべての処理を終了する。
である。三次元物体１０１をロボットに掴ませる第２と
第３の実施例を用いた図４の三次元物体の検出装置にお
いて、拡張モデル記憶手段１４は第３の実施例で説明し
た姿勢図１０２を記憶している。この装置の動作は第２
の実施例で説明した手順と同様に進み、三次元情報抽出
手段１３が起動される。三次元情報抽出手段１３が起動
された後の処理は第３の実施例で説明した手順と同様に
進み、起動されたロボット制御手段９がロボットに三次
元物体１０１を掴ませてすべての処理を終了する。
【００４９】なお、以上の説明で、画像記憶手段２と輪
郭記憶手段４と特徴記憶手段８とモデル記憶手段７と拡
張モデル記憶手段１４とはメモリで構成でき、制御手段
６はメモリとマイクロプロセサで構成でき、ロボット制
御手段９は現在ののボット技術で構成できる。
郭記憶手段４と特徴記憶手段８とモデル記憶手段７と拡
張モデル記憶手段１４とはメモリで構成でき、制御手段
６はメモリとマイクロプロセサで構成でき、ロボット制
御手段９は現在ののボット技術で構成できる。
【００５０】
【発明の効果】以上説明したように本発明は、照度差ス
テレオ手法等の照明効果を利用した処理部を含まないた
め、屋外等の照明条件を設定するのが困難である環境下
でも見えている三次元物体の姿勢及び位置を精度よく検
出できる効果がある。
テレオ手法等の照明効果を利用した処理部を含まないた
め、屋外等の照明条件を設定するのが困難である環境下
でも見えている三次元物体の姿勢及び位置を精度よく検
出できる効果がある。
【図１】本発明の第１の実施例のブロック図である。
【図２】本発明の第２の実施例のブロック図である。
【図３】本発明の第３の実施例のブロック図である。
【図４】本発明の第４の実施例のブロック図である。
【図５】従来の三次元物体の検出方法を説明するための
図である。
図である。
【図６】本発明の作用を説明するための図である。
【図７】本発明の作用を説明するための図である。
【図８】本発明の作用を説明するための図である。
【図９】第１の実施例の動作を説明するための図である
。
。
【図１０】第２の実施例の動作を説明するための図であ
る。
る。
【符号の説明】
１ 撮像手段
３ 輪郭抽出手段
４ 輪郭記憶手段
５ 特徴算出手段
６ 制御手段
７ モデル記憶手段
８ 特徴記憶手段
９ ロボット制御手段
１０ 姿勢検出手段
１１ 視野制御手段
１２ 能動的輪郭抽出手段
１３ 三次元情報抽出手段
１４ 拡張モデル記憶手段
Claims (5)
- 【請求項１】 視線が重心を通過する状態で観測され
た輪郭形状と、三次元物体の前記輪郭形状を予めあらゆ
る視線方向から前記状態で観測して合成された前記三次
元物体のモデルと、このモデルと前記観測された輪郭形
状とを照合して前記三次元物体の姿勢と位置を検出する
ことを特徴とする三次元物体の検出方法。 - 【請求項２】 視線が重心を通過する状態であらゆる
方向から観測して得られる三次元物体の輪郭形状群の画
像が記憶されるモデル記憶手段と、指定された視点と視
線方向とにより三次元物体画像を出力する撮像手段と、
前記三次元物体画像の輪郭形状を抽出する輪郭抽出手段
と、前記輪郭形状の重心位置が光軸と一致するように前
記撮像手段を制御する視野制御手段と、前記輪郭形状と
前記輪郭形状群との照合により前記三次元物体の姿勢を
検出する姿勢検出手段とを有することを特徴とする三次
元物体の検出装置。 - 【請求項３】 あらゆる視線方向から視線が輪郭形状
の重心を通過するように三次元物体を観測することによ
り得られる輪郭形状群の画像モデルを予め記憶するモデ
ル記憶手段と、指定された視点と視線方向とにより三次
元物体画像を出力する撮像手段と、三次元物体画像から
求められる輪郭形状の面積が極大になるように前記撮像
手段を制御する能動的輪郭抽出手段と、前記輪郭形状の
重心位置が光軸と一致するように前記撮像手段を制御す
る視野制御手段と、前記輪郭形状と前記輪郭形状群との
照合により前記三次元物体の姿勢を検出する姿勢検出手
段とを有することを特徴とする三次元物体の検出装置。 - 【請求項４】 あらゆる視線方向から視線が輪郭形状
の重心を通過するように三次元物体を観測して得られる
輪郭形状群の記述を記憶する拡張モデル記憶手段と、指
定された視点から指定された視線方向で観測された三次
元物体画像を出力する撮像手段と、前記三次元物体画像
から輪郭形状を求める輪郭抽出手段と、、前記輪郭形状
の重心位置が光軸と一致するように前記撮像手段を制御
する視野制御手段と、前記輪郭形状と前記輪郭形状群の
記述と照合する三次元情報抽出手段を具備し、見えてい
る三次元物体の姿勢と位置を検出することを特徴とする
三次元物体の検出装置。 - 【請求項５】 あらゆる視線方向から視線が輪郭形状
の重心を通過するように三次元物体を観測して得られる
輪郭形状群の記述を記憶する拡張モデル記憶手段と、指
定された視点から指定された視線方向に観測した三次元
物体画像を出力する撮像手段と、前記三次元物体画像か
ら求められる輪郭形状の面積が極大になるように前記撮
像手段を制御する能動的輪郭抽出手段と、前記輪郭形状
の重心位置が光軸と一致するように前記撮像手段を制御
する視野制御手段と、前記輪郭形状と前記輪郭形状群の
記述と照合する三次元情報抽出手段を具備し、見えてい
る三次元物体の姿勢と位置を検出することを特徴とする
三次元物体の検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3146371A JP2976589B2 (ja) | 1991-06-19 | 1991-06-19 | 三次元物体の検出方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3146371A JP2976589B2 (ja) | 1991-06-19 | 1991-06-19 | 三次元物体の検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04370703A true JPH04370703A (ja) | 1992-12-24 |
| JP2976589B2 JP2976589B2 (ja) | 1999-11-10 |
Family
ID=15406208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3146371A Expired - Lifetime JP2976589B2 (ja) | 1991-06-19 | 1991-06-19 | 三次元物体の検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2976589B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200260B1 (en) | 1999-04-08 | 2007-04-03 | Fanuc Ltd | Teaching model generating device |
-
1991
- 1991-06-19 JP JP3146371A patent/JP2976589B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200260B1 (en) | 1999-04-08 | 2007-04-03 | Fanuc Ltd | Teaching model generating device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2976589B2 (ja) | 1999-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7399210B2 (ja) | ヘッドマウントディスプレイシステムの装着者の眼の眼画像を処理するための方法 | |
| US7283661B2 (en) | Image processing apparatus | |
| JP5715833B2 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
| EP0665507B1 (en) | Position and orientation estimation neural network system and method | |
| JP5812599B2 (ja) | 情報処理方法及びその装置 | |
| JP5160235B2 (ja) | 画像中の物体の検出及び追跡 | |
| JP2013217893A (ja) | モデル生成装置、位置姿勢推定装置、情報処理装置、モデル生成方法、位置姿勢推定方法、情報処理方法 | |
| CN111079565B (zh) | 视图二维姿态模板的构建方法及识别方法、定位抓取系统 | |
| JPH05196421A (ja) | 影像と対象との間の距離を決定する方法と装置 | |
| Vassallo et al. | A general approach for egomotion estimation with omnidirectional images | |
| JP2001101429A (ja) | 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体 | |
| Li et al. | 3D object recognition and pose estimation for random bin-picking using Partition Viewpoint Feature Histograms | |
| US11544966B2 (en) | Image acquisition system for off-axis eye images | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN113706381A (zh) | 一种三维点云数据的拼接方法及装置 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| WO2008099963A1 (ja) | 物体形状生成方法、物体形状生成装置及びプログラム | |
| Azad et al. | Accurate shape-based 6-dof pose estimation of single-colored objects | |
| JPH04370703A (ja) | 三次元物体の検出方法及び装置 | |
| Miyake et al. | 3D Pose Estimation for the Object with Knowing Color Symbol by Using Correspondence Grouping Algorithm | |
| JPH06258028A (ja) | 視覚に基く三次元位置および姿勢の認識方法とその装置 | |
| US20230267646A1 (en) | Method, System, And Computer Program For Recognizing Position And Attitude Of Object Imaged By Camera | |
| CN116901054A (zh) | 识别位置姿态的方法、系统以及存储介质 | |
| Goral | Application of range and color imaging sensors for spatial orientation tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990810 |