JPH1031747A - 三次元情報抽出装置および三次元情報抽出方法 - Google Patents
三次元情報抽出装置および三次元情報抽出方法Info
- Publication number
- JPH1031747A JPH1031747A JP8184776A JP18477696A JPH1031747A JP H1031747 A JPH1031747 A JP H1031747A JP 8184776 A JP8184776 A JP 8184776A JP 18477696 A JP18477696 A JP 18477696A JP H1031747 A JPH1031747 A JP H1031747A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- dimensional information
- teaching
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 因子分解法によると、正しく三次元情報が復
元されない場合があるという課題があった。 【解決手段】 基準平面である部品箱１０の底面上にお
いて、撮像される各画像２１〜２５の視野内に存在する
ように位置認識可能マーク１１〜１４が設定される。撮
像される各画像２１〜２５における位置認識可能マーク
１１〜１４の位置があらかじめ認識され、それらの位置
は各画像２１〜２５における特徴点の位置として含めら
れる。生成された対象物の三次元情報は、その情報中の
位置認識可能マーク１１〜１４のｚ座標にもとづいて確
定されるものである。
元されない場合があるという課題があった。 【解決手段】 基準平面である部品箱１０の底面上にお
いて、撮像される各画像２１〜２５の視野内に存在する
ように位置認識可能マーク１１〜１４が設定される。撮
像される各画像２１〜２５における位置認識可能マーク
１１〜１４の位置があらかじめ認識され、それらの位置
は各画像２１〜２５における特徴点の位置として含めら
れる。生成された対象物の三次元情報は、その情報中の
位置認識可能マーク１１〜１４のｚ座標にもとづいて確
定されるものである。
Description
【０００１】
【発明の属する技術分野】この発明は、対象物の三次元
情報を抽出する三次元情報抽出装置および三次元情報抽
出方法に関するものである。三次元情報抽出装置および
三次元情報抽出方法は、例えば、ロボットが未知の対象
物について操作しようとする場合に必要となる対象物の
三次元情報を、カメラなどの撮像手段によって入手した
画像を処理することによって抽出する。
情報を抽出する三次元情報抽出装置および三次元情報抽
出方法に関するものである。三次元情報抽出装置および
三次元情報抽出方法は、例えば、ロボットが未知の対象
物について操作しようとする場合に必要となる対象物の
三次元情報を、カメラなどの撮像手段によって入手した
画像を処理することによって抽出する。
【０００２】
【従来の技術】電子情報通信学会論文誌Ｄ−II，第Ｊ７
６−Ｄ−II巻、第８号（１９９３年８月発行）の第１４
９７頁〜第１５０５頁（「因子分解法による物体形状と
カメラ運動の復元」）に、三次元情報抽出方法の一つで
ある因子分解法が記載されている。因子分解法は、よく
知られている二眼立体視法とは異なり、３点以上の異な
る視点から撮像された多数の画像を用いて三次元情報を
抽出する方法である。
６−Ｄ−II巻、第８号（１９９３年８月発行）の第１４
９７頁〜第１５０５頁（「因子分解法による物体形状と
カメラ運動の復元」）に、三次元情報抽出方法の一つで
ある因子分解法が記載されている。因子分解法は、よく
知られている二眼立体視法とは異なり、３点以上の異な
る視点から撮像された多数の画像を用いて三次元情報を
抽出する方法である。
【０００３】以下、因子分解法の原理を簡単に説明す
る。対象物を特徴点の集合と考える。そして、対象物の
座標原点をその重心にとる。カメラモデルを正射影モデ
ルと考えると、画像への対象物の座標原点の投影点は、
画像に投影された各特徴点の画像における重心に一致す
る。そこで、画像座標の原点を、その画像における各特
徴点の重心にとる。そして、対象物をそれぞれ異なる各
視点から撮像して各画像を得る。ｆ番目の画像を撮像し
たときのカメラの姿勢を表す回転マトリクスＲf を
（１）式のように表す。
る。対象物を特徴点の集合と考える。そして、対象物の
座標原点をその重心にとる。カメラモデルを正射影モデ
ルと考えると、画像への対象物の座標原点の投影点は、
画像に投影された各特徴点の画像における重心に一致す
る。そこで、画像座標の原点を、その画像における各特
徴点の重心にとる。そして、対象物をそれぞれ異なる各
視点から撮像して各画像を得る。ｆ番目の画像を撮像し
たときのカメラの姿勢を表す回転マトリクスＲf を
（１）式のように表す。
【０００４】
【数１】
【０００５】ｐ番目の特徴点の座標を（ｘp ，ｙp ，ｚ
p ）とすると、その特徴点のｆ番目の画像上の座標（ｘ
fp，ｙfp）は、（２）式のように表される。
p ）とすると、その特徴点のｆ番目の画像上の座標（ｘ
fp，ｙfp）は、（２）式のように表される。
【０００６】
【数２】
【０００７】ただし、ｒifは、行ベクトルである。そこ
で、（３）〜（５）式を作る。
で、（３）〜（５）式を作る。
【０００８】
【数３】
【数４】
【数５】
【０００９】ここで、Ｆは画像の総数、Ｐは特徴点の総
数である。（３）式による行列Ｗは、上半分に各特徴点
の各画像におけるｘ座標を保持し、下半分に各特徴点の
各画像におけるｙ座標を保持している。行列Ｗの各要素
は、得られた各画像から取得できる。すなわち、行列Ｗ
の各要素が観測されうるデータである。行列Ｍの上半分
は、カメラの姿勢の各画像におけるｘ座標に関連してい
る各行ベクトルを保持し、下半分は、カメラの姿勢の各
画像におけるｙ座標に関連している各行ベクトルを保持
している。行列Ｓは、対象物の重心を原点とする各特徴
点の座標を表している。正射影モデルでは、各特徴点の
各画像における座標を表している行列Ｗは、次式で与え
られる。 Ｗ＝ＭＳ ・・・（６）
数である。（３）式による行列Ｗは、上半分に各特徴点
の各画像におけるｘ座標を保持し、下半分に各特徴点の
各画像におけるｙ座標を保持している。行列Ｗの各要素
は、得られた各画像から取得できる。すなわち、行列Ｗ
の各要素が観測されうるデータである。行列Ｍの上半分
は、カメラの姿勢の各画像におけるｘ座標に関連してい
る各行ベクトルを保持し、下半分は、カメラの姿勢の各
画像におけるｙ座標に関連している各行ベクトルを保持
している。行列Ｓは、対象物の重心を原点とする各特徴
点の座標を表している。正射影モデルでは、各特徴点の
各画像における座標を表している行列Ｗは、次式で与え
られる。 Ｗ＝ＭＳ ・・・（６）
【００１０】観測された行列Ｗを行列Ｍと行列Ｓとに分
離できれば、行列Ｓから、各特徴点のｘ，ｙ，ｚ座標が
得られる。すなわち、各特徴点の三次元情報が得られ
る。特異値分解定理によれば、任意の２Ｆ×Ｐ行列Ｗ
は、（７）式に示すように３つの行列の積に分解でき
る。 Ｗ＝ＵΣＶT ・・・（７） ここで、Ｕは２Ｆ×Ｐの直交行列、ΣはＰ×Ｐの対角行
列、ＶはＰ×Ｐの直交行列である。
離できれば、行列Ｓから、各特徴点のｘ，ｙ，ｚ座標が
得られる。すなわち、各特徴点の三次元情報が得られ
る。特異値分解定理によれば、任意の２Ｆ×Ｐ行列Ｗ
は、（７）式に示すように３つの行列の積に分解でき
る。 Ｗ＝ＵΣＶT ・・・（７） ここで、Ｕは２Ｆ×Ｐの直交行列、ΣはＰ×Ｐの対角行
列、ＶはＰ×Ｐの直交行列である。
【００１１】行列Σの対角要素は、 σ1 ≧σ2 ≧σ3 ・・・≧σP ≧０ ・・・（８） のように降順に並んでいる。そうでなければ、そのよう
にすることは容易である。そこで、 Ｍ＾＝Ｕ，Ｓ＾＝ΣＶT ・・・（９） とおけば、１つの分解 Ｗ＝Ｍ＾Ｓ＾ ・・・（１０） が得られる。
にすることは容易である。そこで、 Ｍ＾＝Ｕ，Ｓ＾＝ΣＶT ・・・（９） とおけば、１つの分解 Ｗ＝Ｍ＾Ｓ＾ ・・・（１０） が得られる。
【００１２】ノイズがなければ、上記文献に記載されて
いるように、行列Ｗのランクは高々３である。よって、
（８）式におけるσ4 以降の特異値は０になり、Ｍ＾は
２Ｆ×３行列、Ｓ＾は３×Ｐ行列になる。一般に観測さ
れた行列Ｗにはノイズが含まれているのでランクは３に
ならないが、σ4 以降の特異値は、σ3 に比べて十分小
さい。すなわち、σ4 以降の値を０で近似できる。する
と、Ｍ＾の第４列以降およびＳ＾の第４行以降を無視で
きる。その結果は、最小二乗法的意味での最良近似解に
なっている。Ｍ＾Ｓ＾への分解は一意的ではないが、
（１１）式に示すように、行列Ｒを一つ固定すると、Ｍ
＾Ｓ＾を一意に決定することができる。行列Ｒを一つ固
定するということは、座標系基準となるカメラを決定す
ることと等価である。（１１）式は、対象物の三次元座
標系のｘ，ｙ，ｚの方向を、最初の画像を撮像したカメ
ラの座標に一致させることを意味する。
いるように、行列Ｗのランクは高々３である。よって、
（８）式におけるσ4 以降の特異値は０になり、Ｍ＾は
２Ｆ×３行列、Ｓ＾は３×Ｐ行列になる。一般に観測さ
れた行列Ｗにはノイズが含まれているのでランクは３に
ならないが、σ4 以降の特異値は、σ3 に比べて十分小
さい。すなわち、σ4 以降の値を０で近似できる。する
と、Ｍ＾の第４列以降およびＳ＾の第４行以降を無視で
きる。その結果は、最小二乗法的意味での最良近似解に
なっている。Ｍ＾Ｓ＾への分解は一意的ではないが、
（１１）式に示すように、行列Ｒを一つ固定すると、Ｍ
＾Ｓ＾を一意に決定することができる。行列Ｒを一つ固
定するということは、座標系基準となるカメラを決定す
ることと等価である。（１１）式は、対象物の三次元座
標系のｘ，ｙ，ｚの方向を、最初の画像を撮像したカメ
ラの座標に一致させることを意味する。
【００１３】
【数６】
【００１４】Ｍ＾Ｓ＾が一意に分解されると、行列Ｓが
一意に得られたことになる。よって、得られた行列Ｓの
各要素から各特徴点の三次元情報が得られる。
一意に得られたことになる。よって、得られた行列Ｓの
各要素から各特徴点の三次元情報が得られる。
【００１５】因子分解法は、いわゆる二眼立体視法など
と比べると、カメラの相対位置や方向のデータが不要
で、かつ、レンズの焦点距離や光軸中心の位置のデータ
も不要であるという利点がある。すなわち、各画像中の
特徴点の対応付けができるように対象物が写っているだ
けでよく、厳密なカメラの位置調整を行う必要はない。
なお、このような手法を実現する三次元情報抽出装置
は、例えば、カメラ、駆動機構および計算機で実現され
る。
と比べると、カメラの相対位置や方向のデータが不要
で、かつ、レンズの焦点距離や光軸中心の位置のデータ
も不要であるという利点がある。すなわち、各画像中の
特徴点の対応付けができるように対象物が写っているだ
けでよく、厳密なカメラの位置調整を行う必要はない。
なお、このような手法を実現する三次元情報抽出装置
は、例えば、カメラ、駆動機構および計算機で実現され
る。
【００１６】
【発明が解決しようとする課題】従来の三次元情報抽出
装置および三次元情報抽出方法は以上のように構成され
ているので、以下のような課題があった。（１１）式は
行列Ｍ＾を固定するために用いられるが、行列Ｍ＾に使
われるｒ11，ｒ21の第３列は０である。よって、（１
０）式において行列Ｍ＾の第３列の各要素と行列Ｓ＾の
第３行（特徴点のｚ座標）の各要素の符号を全て反転さ
せても（１０）式は成り立つ。つまり、１つの観測結果
にもとづいてｚ座標（奥行き）について２通りの解釈が
成り立つ。この発明の発明者は、シミュレーションによ
って、観測された行列Ｗから正しく三次元情報が復元さ
れる場合と奥行きが反転した三次元情報が復元される場
合とがあることを確認した。
装置および三次元情報抽出方法は以上のように構成され
ているので、以下のような課題があった。（１１）式は
行列Ｍ＾を固定するために用いられるが、行列Ｍ＾に使
われるｒ11，ｒ21の第３列は０である。よって、（１
０）式において行列Ｍ＾の第３列の各要素と行列Ｓ＾の
第３行（特徴点のｚ座標）の各要素の符号を全て反転さ
せても（１０）式は成り立つ。つまり、１つの観測結果
にもとづいてｚ座標（奥行き）について２通りの解釈が
成り立つ。この発明の発明者は、シミュレーションによ
って、観測された行列Ｗから正しく三次元情報が復元さ
れる場合と奥行きが反転した三次元情報が復元される場
合とがあることを確認した。
【００１７】この発明は上記のような課題を解決するた
めになされたもので、奥行きが反転していない正しい三
次元情報を常に出力できる三次元情報抽出装置および三
次元情報抽出方法を得ることを目的とする。
めになされたもので、奥行きが反転していない正しい三
次元情報を常に出力できる三次元情報抽出装置および三
次元情報抽出方法を得ることを目的とする。
【００１８】
【課題を解決するための手段】請求項１記載の発明に係
る三次元情報抽出装置は、対象物がその平面の一方の側
に存在するような基準平面上における点であって各画像
の視野内に存在する教示点の位置を、各画像における各
特徴点の位置として含める教示点反映手段と、三次元情
報生成手段によって得られた対象物の三次元情報を、そ
の情報中の教示点のｚ座標にもとづいて確定する三次元
情報確定手段とを備えたものである。
る三次元情報抽出装置は、対象物がその平面の一方の側
に存在するような基準平面上における点であって各画像
の視野内に存在する教示点の位置を、各画像における各
特徴点の位置として含める教示点反映手段と、三次元情
報生成手段によって得られた対象物の三次元情報を、そ
の情報中の教示点のｚ座標にもとづいて確定する三次元
情報確定手段とを備えたものである。
【００１９】請求項２記載の発明に係る三次元情報抽出
装置は、教示点反映手段が、教示点である位置認識可能
マークの各画像における位置をあらかじめ認識する位置
認識可能マーク抽出部を含むものである。
装置は、教示点反映手段が、教示点である位置認識可能
マークの各画像における位置をあらかじめ認識する位置
認識可能マーク抽出部を含むものである。
【００２０】請求項３記載の発明に係る三次元情報抽出
装置は、教示点反映手段が、対象物の形状にかかわらず
各画像に写るような位置に設定された教示点である位置
認識可能マークの位置を、各画像から認識するように構
成されているものである。
装置は、教示点反映手段が、対象物の形状にかかわらず
各画像に写るような位置に設定された教示点である位置
認識可能マークの位置を、各画像から認識するように構
成されているものである。
【００２１】請求項４記載の発明に係る三次元情報抽出
装置は、教示点反映手段が、どの３点も同一直線上には
ない少なくとも４点の教示点の位置を各画像における各
特徴点の位置として含めるように構成されているととも
に、特徴点位置決定手段が各特徴点の位置を決定すると
きの位置探索範囲を、各画像における各教示点の位置に
もとづいて限定する範囲限定手段をさらに備えたもので
ある。
装置は、教示点反映手段が、どの３点も同一直線上には
ない少なくとも４点の教示点の位置を各画像における各
特徴点の位置として含めるように構成されているととも
に、特徴点位置決定手段が各特徴点の位置を決定すると
きの位置探索範囲を、各画像における各教示点の位置に
もとづいて限定する範囲限定手段をさらに備えたもので
ある。
【００２２】請求項５記載の発明に係る三次元情報抽出
装置は、教示点反映手段が、対象物および基準平面がそ
の平面の一方の側に存在するような第２の基準平面上に
おける点であって、各画像の視野内に存在し、どの３点
も同一直線上にはない少なくとも４点の第２の教示点の
位置を、各画像における各特徴点の位置として含めるよ
うに構成され、範囲限定手段が、特徴点位置決定手段の
位置探索範囲を、各画像における各第２の教示点の位置
にもとづいてさらに限定するように構成されているもの
である。
装置は、教示点反映手段が、対象物および基準平面がそ
の平面の一方の側に存在するような第２の基準平面上に
おける点であって、各画像の視野内に存在し、どの３点
も同一直線上にはない少なくとも４点の第２の教示点の
位置を、各画像における各特徴点の位置として含めるよ
うに構成され、範囲限定手段が、特徴点位置決定手段の
位置探索範囲を、各画像における各第２の教示点の位置
にもとづいてさらに限定するように構成されているもの
である。
【００２３】請求項６記載の発明に係る三次元情報抽出
方法は、対象物がその平面の一方の側に存在するような
基準平面上における点であって、撮像される各画像の視
野内に存在する教示点を設定するステップと、撮像され
る各画像における教示点の位置をあらかじめ認識するス
テップと、少なくとも３箇所の異なる視点から対象物を
撮像し、教示点の位置を各画像における特徴点の位置と
して含めるステップと、生成された対象物の三次元情報
を、その情報中の教示点のｚ座標にもとづいて確定する
ステップとを備えたものである。
方法は、対象物がその平面の一方の側に存在するような
基準平面上における点であって、撮像される各画像の視
野内に存在する教示点を設定するステップと、撮像され
る各画像における教示点の位置をあらかじめ認識するス
テップと、少なくとも３箇所の異なる視点から対象物を
撮像し、教示点の位置を各画像における特徴点の位置と
して含めるステップと、生成された対象物の三次元情報
を、その情報中の教示点のｚ座標にもとづいて確定する
ステップとを備えたものである。
【００２４】請求項７記載の発明に係る三次元情報抽出
方法は、対象物がその平面の一方の側に存在するような
基準平面上における点であって、撮像される全ての画像
に写るような教示点を設定するステップと、教示点の位
置を各画像における特徴点の位置として含めるステップ
と、生成された対象物の三次元情報を、その情報中の教
示点のｚ座標にもとづいて確定するステップとを備えた
ものである。
方法は、対象物がその平面の一方の側に存在するような
基準平面上における点であって、撮像される全ての画像
に写るような教示点を設定するステップと、教示点の位
置を各画像における特徴点の位置として含めるステップ
と、生成された対象物の三次元情報を、その情報中の教
示点のｚ座標にもとづいて確定するステップとを備えた
ものである。
【００２５】なお、ｚ座標にもとづいて三次元情報を確
定するとは、三次元情報生成手段が生成した三次元情報
において教示点のｚ座標に矛盾が生じている場合には、
その三次元情報における各ｚ座標値を修正し、三次元情
報生成手段が生成した三次元情報において教示点のｚ座
標に矛盾が生じていない場合には、三次元情報生成手段
が生成した三次元情報を正しいものと認識することであ
る。
定するとは、三次元情報生成手段が生成した三次元情報
において教示点のｚ座標に矛盾が生じている場合には、
その三次元情報における各ｚ座標値を修正し、三次元情
報生成手段が生成した三次元情報において教示点のｚ座
標に矛盾が生じていない場合には、三次元情報生成手段
が生成した三次元情報を正しいものと認識することであ
る。
【００２６】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による三
次元情報抽出装置の構成を示すブロック図である。図に
おいて、１はそれぞれ異なる複数の視点から対象物（図
示せず）を撮像するカメラ、２はカメラ１を駆動する駆
動装置、３は対象物の基準平面に設けられた位置認識可
能マークを抽出する位置認識可能マーク抽出部、４は最
初に得られた画像から各特徴点を決定する特徴点抽出部
（特徴点抽出手段）、５は各画像における特徴点の座標
を得る特徴点位置決定部（特徴点位置決定手段）、６は
特徴点の三次元座標を得る演算部、７は特徴点のｚ座標
値の修正およびシフトを行うｚ座標決定部、８は特異な
値を示す特徴点を除外する特徴点除去部、９は記憶部で
ある。
説明する。 実施の形態１．図１はこの発明の実施の形態１による三
次元情報抽出装置の構成を示すブロック図である。図に
おいて、１はそれぞれ異なる複数の視点から対象物（図
示せず）を撮像するカメラ、２はカメラ１を駆動する駆
動装置、３は対象物の基準平面に設けられた位置認識可
能マークを抽出する位置認識可能マーク抽出部、４は最
初に得られた画像から各特徴点を決定する特徴点抽出部
（特徴点抽出手段）、５は各画像における特徴点の座標
を得る特徴点位置決定部（特徴点位置決定手段）、６は
特徴点の三次元座標を得る演算部、７は特徴点のｚ座標
値の修正およびシフトを行うｚ座標決定部、８は特異な
値を示す特徴点を除外する特徴点除去部、９は記憶部で
ある。
【００２７】なお、位置認識可能マーク抽出部３、特徴
点抽出部４、特徴点位置決定部５、演算部６、ｚ座標決
定部７および特徴点除去部８は、例えば、計算機のプロ
グラムで実現される。また、この場合には、撮像手段
は、カメラ１で実現される。三次元情報生成手段は、演
算部６で実現される。教示点反映手段は、位置認識可能
マーク抽出部３および演算部６で実現される。三次元情
報確定手段は、ｚ座標決定部７で実現される。範囲限定
手段は、特徴点位置決定部５で実現される。
点抽出部４、特徴点位置決定部５、演算部６、ｚ座標決
定部７および特徴点除去部８は、例えば、計算機のプロ
グラムで実現される。また、この場合には、撮像手段
は、カメラ１で実現される。三次元情報生成手段は、演
算部６で実現される。教示点反映手段は、位置認識可能
マーク抽出部３および演算部６で実現される。三次元情
報確定手段は、ｚ座標決定部７で実現される。範囲限定
手段は、特徴点位置決定部５で実現される。
【００２８】図２は三次元情報抽出装置による撮像位置
および対象物の一例を示す説明図である。この例では、
部品箱１０の中にランダムに堆積された部品（図示せ
ず）の三次元情報を抽出する場合を例にする。また、５
つの画像を用いる場合を例にする。図２において、１１
〜１４はこの場合の基準平面である部品箱１０の底面に
設けられた位置認識可能マーク（以下、マークとい
う）、２１〜２５はそれぞれ異なる視点から撮像された
第１〜第５の画像を示している。マーク１１〜１４は、
どの３点も同一直線上にないように設定される。なお、
図に示すように、画像２１は、部品箱１０の底面に垂直
な方向から撮像されたものである。
および対象物の一例を示す説明図である。この例では、
部品箱１０の中にランダムに堆積された部品（図示せ
ず）の三次元情報を抽出する場合を例にする。また、５
つの画像を用いる場合を例にする。図２において、１１
〜１４はこの場合の基準平面である部品箱１０の底面に
設けられた位置認識可能マーク（以下、マークとい
う）、２１〜２５はそれぞれ異なる視点から撮像された
第１〜第５の画像を示している。マーク１１〜１４は、
どの３点も同一直線上にないように設定される。なお、
図に示すように、画像２１は、部品箱１０の底面に垂直
な方向から撮像されたものである。
【００２９】次に動作について説明する。この三次元情
報抽出装置は、動作モードとして、教示モードと三次元
認識モードとを有する。図３は教示モードの動作を示す
フローチャートである。教示モードにおいて、駆動装置
２は、第１の画像２１が得られるようにカメラ１の位置
を制御する（ステップＳＴ１１）。その位置でカメラ１
が撮像した第１の画像２１は位置認識可能マーク抽出部
３に入力される。位置認識可能マーク抽出部３は、第１
の画像２１におけるマーク１１〜１４を認識し、それら
の座標値を記憶部９中のマーク座標ファイルに格納する
（ステップＳＴ１３，ＳＴ１４，ＳＴ１５，ＳＴ１
６）。駆動装置２は第２〜第５の画像２２〜２５が得ら
れるようにカメラ１の位置を順次制御し（ステップＳＴ
１７，ＳＴ１８）、各位置に応じて、第２〜第５の画像
２２〜２５におけるマーク１１〜１４の認識および座標
値の格納を行う（ステップＳＴ１２〜ＳＴ１６）。マー
ク１１〜１４を認識する際に、位置認識可能マーク抽出
部３は、パターンマッチングなどの手法を用いることが
できる。なお、教示モードの動作は、部品箱１０が空の
状態で実行される。
報抽出装置は、動作モードとして、教示モードと三次元
認識モードとを有する。図３は教示モードの動作を示す
フローチャートである。教示モードにおいて、駆動装置
２は、第１の画像２１が得られるようにカメラ１の位置
を制御する（ステップＳＴ１１）。その位置でカメラ１
が撮像した第１の画像２１は位置認識可能マーク抽出部
３に入力される。位置認識可能マーク抽出部３は、第１
の画像２１におけるマーク１１〜１４を認識し、それら
の座標値を記憶部９中のマーク座標ファイルに格納する
（ステップＳＴ１３，ＳＴ１４，ＳＴ１５，ＳＴ１
６）。駆動装置２は第２〜第５の画像２２〜２５が得ら
れるようにカメラ１の位置を順次制御し（ステップＳＴ
１７，ＳＴ１８）、各位置に応じて、第２〜第５の画像
２２〜２５におけるマーク１１〜１４の認識および座標
値の格納を行う（ステップＳＴ１２〜ＳＴ１６）。マー
ク１１〜１４を認識する際に、位置認識可能マーク抽出
部３は、パターンマッチングなどの手法を用いることが
できる。なお、教示モードの動作は、部品箱１０が空の
状態で実行される。
【００３０】図４は三次元認識モードの動作を示すフロ
ーチャートである。三次元認識モードの動作は、部品箱
１０に部品が入っている状態で実行される。三次元認識
モードにおいて、駆動装置２は、第１の画像２１が得ら
れるようにカメラ１の位置を制御する。その位置でカメ
ラ１が撮像した第１の画像２１は特徴点抽出部４に入力
される（ステップＳＴ２１）。特徴点抽出部４は、第１
の画像２１中の多数の特徴点を抽出する（ステップＳＴ
２２）。特徴点として、周囲の点と紛らわしくない点を
抽出するのがよい。他の画像上で、それらの対応点を求
める必要があるからである。例えば、特徴点抽出部４
は、第１の画像２１中に多数の注目点を設定し、各注目
点を中心とする周囲数画素の小領域を見た場合に、その
中にある程度強い縦の濃度エッジ成分と横の濃度エッジ
成分とが適当に混在しているような点を特徴点として抽
出する。
ーチャートである。三次元認識モードの動作は、部品箱
１０に部品が入っている状態で実行される。三次元認識
モードにおいて、駆動装置２は、第１の画像２１が得ら
れるようにカメラ１の位置を制御する。その位置でカメ
ラ１が撮像した第１の画像２１は特徴点抽出部４に入力
される（ステップＳＴ２１）。特徴点抽出部４は、第１
の画像２１中の多数の特徴点を抽出する（ステップＳＴ
２２）。特徴点として、周囲の点と紛らわしくない点を
抽出するのがよい。他の画像上で、それらの対応点を求
める必要があるからである。例えば、特徴点抽出部４
は、第１の画像２１中に多数の注目点を設定し、各注目
点を中心とする周囲数画素の小領域を見た場合に、その
中にある程度強い縦の濃度エッジ成分と横の濃度エッジ
成分とが適当に混在しているような点を特徴点として抽
出する。
【００３１】次に、駆動装置２は、第２の画像２２が得
られるようにカメラ１の位置を制御する。その位置でカ
メラ１が撮像した第２の画像２２は特徴点位置決定部５
に入力される（ステップＳＴ２３）。特徴点位置決定部
５は、第１の画像２１中の各特徴点に対応する点の座標
を見つける。そのために、特徴点位置決定部５は、ま
ず、対応点探索のための開始点を決める（ステップＳＴ
２４）。
られるようにカメラ１の位置を制御する。その位置でカ
メラ１が撮像した第２の画像２２は特徴点位置決定部５
に入力される（ステップＳＴ２３）。特徴点位置決定部
５は、第１の画像２１中の各特徴点に対応する点の座標
を見つける。そのために、特徴点位置決定部５は、ま
ず、対応点探索のための開始点を決める（ステップＳＴ
２４）。
【００３２】ある平面を異なった視点から撮像したとき
に、一方の画像における任意の４点に対応する各点の位
置が他方の画像において決まれば、一方の画像における
全ての点に対応する点の位置が他方の画像において一意
に決まる。ただし、どの３点も同一直線上にないことが
条件である。このことは、例えば、「コンピュータビジ
ョン、グラフィックスのための射影幾何学［II］（計測
と制御，第２９巻第１２号第４８頁〜第５６頁，１９９
０年発行）」に示されている。その対応変換マトリクス
は容易に求められる。第１の画像２１および第２の画像
２２においてマーク１１〜１４は部品に隠れて写ってい
ないかも知れないが、教示モードにおいて、第１の画像
２１および第２の画像２２におけるマーク１１〜１４の
位置は既に抽出されている。従って、部品箱１０の底面
上の各点の第２の画像２２における位置は計算で求ま
る。
に、一方の画像における任意の４点に対応する各点の位
置が他方の画像において決まれば、一方の画像における
全ての点に対応する点の位置が他方の画像において一意
に決まる。ただし、どの３点も同一直線上にないことが
条件である。このことは、例えば、「コンピュータビジ
ョン、グラフィックスのための射影幾何学［II］（計測
と制御，第２９巻第１２号第４８頁〜第５６頁，１９９
０年発行）」に示されている。その対応変換マトリクス
は容易に求められる。第１の画像２１および第２の画像
２２においてマーク１１〜１４は部品に隠れて写ってい
ないかも知れないが、教示モードにおいて、第１の画像
２１および第２の画像２２におけるマーク１１〜１４の
位置は既に抽出されている。従って、部品箱１０の底面
上の各点の第２の画像２２における位置は計算で求ま
る。
【００３３】図５に示すように、第１の画像２１におい
て特徴点（Ｐ点）の位置がｐ点であったとする。する
と、Ｐ点は、部品箱１０の底面上のＢ点（Ｐ点から底面
に下ろした垂線と底面との交点）の真上にあるはずであ
る。底面上のＢ点の第２の画像２２における位置はｂ点
として計算で求まる。すなわち、探索開始点としてｂ点
が決定される。同様にして、第１の画像２１における全
ての特徴点に対応した第２の画像２２における探索開始
点を求める。次に、特徴点位置決定部５は、第２の画像
２２における各特徴点の座標を求める（ステップＳＴ２
５）。
て特徴点（Ｐ点）の位置がｐ点であったとする。する
と、Ｐ点は、部品箱１０の底面上のＢ点（Ｐ点から底面
に下ろした垂線と底面との交点）の真上にあるはずであ
る。底面上のＢ点の第２の画像２２における位置はｂ点
として計算で求まる。すなわち、探索開始点としてｂ点
が決定される。同様にして、第１の画像２１における全
ての特徴点に対応した第２の画像２２における探索開始
点を求める。次に、特徴点位置決定部５は、第２の画像
２２における各特徴点の座標を求める（ステップＳＴ２
５）。
【００３４】第２の画像２２における特徴点の位置であ
るｑ点は、ｂ点を始点とする半直線上にある。すなわ
ち、特徴点（Ｐ点）の第２の画像２２における位置を探
索する際に、ｂ点を始点とする半直線上で行えばよい。
このように探索範囲が限定されるので、処理時間が短縮
される。図２に示すように、第１の画像２１、第２の画
像２２および第４の画像２４のｘｚ平面が一致するよう
に撮像し、第１の画像２１、第３の画像２３および第５
の画像２５のｙｚ平面が一致するように撮像しておけ
ば、第２の画像２２において、特徴点探索のための半直
線は、ｘ軸と平行な方向になる。なお、カメラ１の設定
位置精度を考慮して、実際には、ｂ点を要とする扇形の
範囲を探索する。以下、特徴点位置決定部５は、同様に
して第２の画像２２における全ての特徴点の座標を求め
る。
るｑ点は、ｂ点を始点とする半直線上にある。すなわ
ち、特徴点（Ｐ点）の第２の画像２２における位置を探
索する際に、ｂ点を始点とする半直線上で行えばよい。
このように探索範囲が限定されるので、処理時間が短縮
される。図２に示すように、第１の画像２１、第２の画
像２２および第４の画像２４のｘｚ平面が一致するよう
に撮像し、第１の画像２１、第３の画像２３および第５
の画像２５のｙｚ平面が一致するように撮像しておけ
ば、第２の画像２２において、特徴点探索のための半直
線は、ｘ軸と平行な方向になる。なお、カメラ１の設定
位置精度を考慮して、実際には、ｂ点を要とする扇形の
範囲を探索する。以下、特徴点位置決定部５は、同様に
して第２の画像２２における全ての特徴点の座標を求め
る。
【００３５】特徴点の探索に際して、特徴点位置決定部
５は、特徴点探索のための半直線上の各点の周囲の小領
域の画像を評価して、特徴点か否か決定するのがよい。
すなわち、第１の画像２１における対応する点の周囲画
像を基準としたパターンマッチングによって、特徴点位
置決定部５は、第２の画像２２における特徴点を検出で
きる。
５は、特徴点探索のための半直線上の各点の周囲の小領
域の画像を評価して、特徴点か否か決定するのがよい。
すなわち、第１の画像２１における対応する点の周囲画
像を基準としたパターンマッチングによって、特徴点位
置決定部５は、第２の画像２２における特徴点を検出で
きる。
【００３６】特徴点位置決定部５は、第３の画像２３、
第４の画像２４および第５の画像２５について同様の処
理を行い、第３の画像２３、第４の画像２４および第５
の画像２５における全ての特徴点の座標を求める（ステ
ップＳＴ２６）。以上の処理が完了すると、全ての画像
における各特徴点のｘｙ座標値が得られたことになる。
すなわち、（３）式で示された行列Ｗの各要素が得られ
たことになる。
第４の画像２４および第５の画像２５について同様の処
理を行い、第３の画像２３、第４の画像２４および第５
の画像２５における全ての特徴点の座標を求める（ステ
ップＳＴ２６）。以上の処理が完了すると、全ての画像
における各特徴点のｘｙ座標値が得られたことになる。
すなわち、（３）式で示された行列Ｗの各要素が得られ
たことになる。
【００３７】実際には観測されていないが、全ての画像
におけるマーク１１〜１４の座標が得られている。そこ
で、演算部６は、各画像におけるマーク１１〜１４の座
標を、あたかも観測された特徴点の座標のようにみなし
て、マーク１１〜１４の各座標値を行列Ｗに追加する
（ステップＳＴ２７）。そして、演算部６は、因子分解
法によって特徴点の三次元座標の行列Ｓ＾を得る（ステ
ップＳＴ２８）。行列Ｗを（７）式に示すように分解す
るには、例えば「Ｃにおける数値処理法（Numerical Re
cipes in C），第２版，第５９頁，１９９２年ケンブリ
ッジ大学出版（CAMBRIDGE UNIV. PRESS ）刊」に記載さ
れている特異値分解法（Singular Value Decompositio
n）というアルゴリズムを使用することができる。
におけるマーク１１〜１４の座標が得られている。そこ
で、演算部６は、各画像におけるマーク１１〜１４の座
標を、あたかも観測された特徴点の座標のようにみなし
て、マーク１１〜１４の各座標値を行列Ｗに追加する
（ステップＳＴ２７）。そして、演算部６は、因子分解
法によって特徴点の三次元座標の行列Ｓ＾を得る（ステ
ップＳＴ２８）。行列Ｗを（７）式に示すように分解す
るには、例えば「Ｃにおける数値処理法（Numerical Re
cipes in C），第２版，第５９頁，１９９２年ケンブリ
ッジ大学出版（CAMBRIDGE UNIV. PRESS ）刊」に記載さ
れている特異値分解法（Singular Value Decompositio
n）というアルゴリズムを使用することができる。
【００３８】（１０）式に示すような分解Ｍ＾Ｓ＾が得
られた後、（１１）式に示された条件を適用すると、Ｓ
＾が得られる。この場合、（１１）式として、第１の画
像２１を撮像した位置におけるカメラのｘ，ｙ，ｚ軸方
向の基準ベクトルを基準座標系で表示したものとなる。
第１の画像２１のｘｙ座標系は、カメラのｘｙ座標系と
一致している。従って、ｘｙ座標が第１の画像２１にお
けるｘｙ座標に一致しｚ座標が第１の画像２１の視点方
向に一致している座標系で、特徴点の三次元座標の行列
Ｓ＾が得られる。すなわち、各特徴点の三次元情報が得
られる。ただし、原点はマーク１１〜１４を含む各特徴
点の重心である。
られた後、（１１）式に示された条件を適用すると、Ｓ
＾が得られる。この場合、（１１）式として、第１の画
像２１を撮像した位置におけるカメラのｘ，ｙ，ｚ軸方
向の基準ベクトルを基準座標系で表示したものとなる。
第１の画像２１のｘｙ座標系は、カメラのｘｙ座標系と
一致している。従って、ｘｙ座標が第１の画像２１にお
けるｘｙ座標に一致しｚ座標が第１の画像２１の視点方
向に一致している座標系で、特徴点の三次元座標の行列
Ｓ＾が得られる。すなわち、各特徴点の三次元情報が得
られる。ただし、原点はマーク１１〜１４を含む各特徴
点の重心である。
【００３９】ｚ座標決定部７は、得られた行列Ｓ＾にお
いて奥行きが反転していないかどうか調べる（ステップ
ＳＴ２９）。マーク１１〜１４は、第１の画像２１の位
置から見ると、どの特徴点よりも奥にある。つまり、マ
ーク１１〜１４のｚ座標値は負であるはずである。従っ
て、マーク１１〜１４のｚ座標値が正である場合には全
ての特徴点のｚ座標値を反転することにより、正しい三
次元情報が得られる（ステップＳＴ３０）。
いて奥行きが反転していないかどうか調べる（ステップ
ＳＴ２９）。マーク１１〜１４は、第１の画像２１の位
置から見ると、どの特徴点よりも奥にある。つまり、マ
ーク１１〜１４のｚ座標値は負であるはずである。従っ
て、マーク１１〜１４のｚ座標値が正である場合には全
ての特徴点のｚ座標値を反転することにより、正しい三
次元情報が得られる（ステップＳＴ３０）。
【００４０】次いで、ｚ座標決定部７は、各特徴点のｚ
座標値にマーク１１〜１４のｚ座標値の絶対値を加算す
ることにより各ｚ座標値をシフトする（ステップＳＴ３
１）。この操作によって、各特徴点のｚ座標値は、部品
箱１０の底面からの高さを示す値になる。そして、特徴
点除去部８は、第２〜第５の画像２２〜２５を対象とし
た対応点探索時に大きく誤った可能性のある特徴点の情
報を除去する（ステップＳＴ３２）。行列Ｓ＾として抽
出された各特徴点のｘ，ｙ，ｚ座標値のうちｘ，ｙ座標
値は、第１の画像２１から各特徴点を抽出したときの各
ｘ，ｙ座標値と一致しているはずである。従って、行列
Ｓ＾として抽出されたｘ，ｙ座標値のうちで、第１の画
像２１における各特徴点のｘ，ｙ座標値から大きくかけ
離れているものは、第２〜第５の画像２２〜２５を対象
とした対応点探索時に誤った結果が反映されたものであ
るとみなせる。そのようなｘ，ｙ座標値に対応したｚ座
標値は信頼できない。そこで、特徴点除去部８は、その
ようなｘ，ｙ座標値を持つ特徴点の情報を結果から除去
する。
座標値にマーク１１〜１４のｚ座標値の絶対値を加算す
ることにより各ｚ座標値をシフトする（ステップＳＴ３
１）。この操作によって、各特徴点のｚ座標値は、部品
箱１０の底面からの高さを示す値になる。そして、特徴
点除去部８は、第２〜第５の画像２２〜２５を対象とし
た対応点探索時に大きく誤った可能性のある特徴点の情
報を除去する（ステップＳＴ３２）。行列Ｓ＾として抽
出された各特徴点のｘ，ｙ，ｚ座標値のうちｘ，ｙ座標
値は、第１の画像２１から各特徴点を抽出したときの各
ｘ，ｙ座標値と一致しているはずである。従って、行列
Ｓ＾として抽出されたｘ，ｙ座標値のうちで、第１の画
像２１における各特徴点のｘ，ｙ座標値から大きくかけ
離れているものは、第２〜第５の画像２２〜２５を対象
とした対応点探索時に誤った結果が反映されたものであ
るとみなせる。そのようなｘ，ｙ座標値に対応したｚ座
標値は信頼できない。そこで、特徴点除去部８は、その
ようなｘ，ｙ座標値を持つ特徴点の情報を結果から除去
する。
【００４１】以上のように、この実施の形態１によれ
ば、部品を観測するときには写らない可能性があるマー
ク１１〜１４の各画像における座標をあらかじめ教示し
ておき、それらの座標を付加して因子分解法を実行する
ので、因子分解法の処理結果において奥行きが反転して
いないかどうか判定できる。
ば、部品を観測するときには写らない可能性があるマー
ク１１〜１４の各画像における座標をあらかじめ教示し
ておき、それらの座標を付加して因子分解法を実行する
ので、因子分解法の処理結果において奥行きが反転して
いないかどうか判定できる。
【００４２】１個の位置認識可能マークが設けられてい
れば、奥行きが反転していないかどうか判定できる。し
かし、この実施の形態１のように、どの３個も同一直線
上にない４個以上のマーク１１〜１４を設けると、画像
２２〜２５における対応点探索時に探索範囲を限定でき
る。よって、処理時間を短縮できる効果がある。
れば、奥行きが反転していないかどうか判定できる。し
かし、この実施の形態１のように、どの３個も同一直線
上にない４個以上のマーク１１〜１４を設けると、画像
２２〜２５における対応点探索時に探索範囲を限定でき
る。よって、処理時間を短縮できる効果がある。
【００４３】なお、ここでは、１台のカメラ１が駆動装
置２によって第１〜第５の画像２１〜２５を撮像する位
置に移動される場合について説明したが、固定された５
台のカメラによって一時に部品を撮像してもよい。
置２によって第１〜第５の画像２１〜２５を撮像する位
置に移動される場合について説明したが、固定された５
台のカメラによって一時に部品を撮像してもよい。
【００４４】実施の形態２．実施の形態１ではマーク１
１〜１４の座標があらかじめ教示されるようにしたが、
部品が存在していても必ずどのカメラ位置からも観測さ
れるようにマーク１１〜１４を設定できるのであれば、
各画像からマーク１１〜１４の座標を認識してもよい。
例えば、マーク１１〜１４を部品箱１０の枠の四隅上面
などに設定できる場合である。その場合、教示モードは
不要である。
１〜１４の座標があらかじめ教示されるようにしたが、
部品が存在していても必ずどのカメラ位置からも観測さ
れるようにマーク１１〜１４を設定できるのであれば、
各画像からマーク１１〜１４の座標を認識してもよい。
例えば、マーク１１〜１４を部品箱１０の枠の四隅上面
などに設定できる場合である。その場合、教示モードは
不要である。
【００４５】そのような処理を行う三次元情報抽出装置
は実施の形態１における三次元情報抽出装置と同様に構
成される。ただし、位置認識可能マーク抽出部３は、実
施の形態１の場合とは異なり、三次元認識モードにおい
て撮像された第１〜第５の画像２１〜２５からマーク１
１〜１４の位置を認識する。
は実施の形態１における三次元情報抽出装置と同様に構
成される。ただし、位置認識可能マーク抽出部３は、実
施の形態１の場合とは異なり、三次元認識モードにおい
て撮像された第１〜第５の画像２１〜２５からマーク１
１〜１４の位置を認識する。
【００４６】この場合には、三次元認識モードにおける
各カメラ位置を教示モードにおける各カメラ位置に一致
させる必要はなく、対象物に応じた任意の位置から対象
物を撮像できる効果がある。
各カメラ位置を教示モードにおける各カメラ位置に一致
させる必要はなく、対象物に応じた任意の位置から対象
物を撮像できる効果がある。
【００４７】実施の形態３．実施の形態１ではマーク１
１〜１４が部品箱１０の底面に設定されていたが、底面
と上面とのそれぞれ４個ずつ設定してもよい。上面で
は、例えば部品箱１０の枠の四隅上面に設定される。
１〜１４が部品箱１０の底面に設定されていたが、底面
と上面とのそれぞれ４個ずつ設定してもよい。上面で
は、例えば部品箱１０の枠の四隅上面に設定される。
【００４８】そのような処理を行う三次元情報抽出装置
は実施の形態１における三次元情報抽出装置と同様に構
成される。ただし、特徴点位置決定部５の処理がより高
速化される。図６に示すように、部品箱１０の上面にお
けるＴ点の第２の画像２２における位置は、部品箱１０
の上面に設けられたマークの第２の画像２２における位
置にもとづいて決定できる。この点をｔ点とする。部品
が部品箱１０の上面からはみ出ないとすると、特徴点で
あるＰ点はＴ点よりも上にはない。よって、対応点探索
時に、探索範囲を、ｂ点とｔ点とを結ぶ線分上に限定で
きる。従って、この実施の形態３によれば、処理時間を
さらに短縮できる効果がある。
は実施の形態１における三次元情報抽出装置と同様に構
成される。ただし、特徴点位置決定部５の処理がより高
速化される。図６に示すように、部品箱１０の上面にお
けるＴ点の第２の画像２２における位置は、部品箱１０
の上面に設けられたマークの第２の画像２２における位
置にもとづいて決定できる。この点をｔ点とする。部品
が部品箱１０の上面からはみ出ないとすると、特徴点で
あるＰ点はＴ点よりも上にはない。よって、対応点探索
時に、探索範囲を、ｂ点とｔ点とを結ぶ線分上に限定で
きる。従って、この実施の形態３によれば、処理時間を
さらに短縮できる効果がある。
【００４９】実施の形態４．実施の形態１および実施の
形態３では固定的に設けられた位置認識可能マークを用
いて教示モードが実行されたが、位置認識可能マークは
必ずしも固定的に設けられている必要はない。例えば、
ＬＥＤのような点光源を所定の位置間で移動させるよう
にしてもよい。
形態３では固定的に設けられた位置認識可能マークを用
いて教示モードが実行されたが、位置認識可能マークは
必ずしも固定的に設けられている必要はない。例えば、
ＬＥＤのような点光源を所定の位置間で移動させるよう
にしてもよい。
【００５０】そのような処理を行う三次元情報抽出装置
は実施の形態１における三次元情報抽出装置と同様に構
成される。ＬＥＤのような点光源は、実施の形態１にお
けるマーク１１〜１４の位置に移動させられる。位置認
識可能マーク抽出部３は、点光源がマーク１１〜１４の
位置にきたときに撮像された４枚の第１の画像２１のそ
れぞれにおいて点光源の位置を認識する。第２〜第５の
画像２２〜２５についても同様である。その他の動作は
実施の形態１の場合と同様である。従って、この場合に
も、実施の形態１の場合と同様の効果が得られる。
は実施の形態１における三次元情報抽出装置と同様に構
成される。ＬＥＤのような点光源は、実施の形態１にお
けるマーク１１〜１４の位置に移動させられる。位置認
識可能マーク抽出部３は、点光源がマーク１１〜１４の
位置にきたときに撮像された４枚の第１の画像２１のそ
れぞれにおいて点光源の位置を認識する。第２〜第５の
画像２２〜２５についても同様である。その他の動作は
実施の形態１の場合と同様である。従って、この場合に
も、実施の形態１の場合と同様の効果が得られる。
【００５１】
【発明の効果】以上のように、請求項１記載の発明によ
れば、三次元情報抽出装置を、教示点の位置を各画像に
おける各特徴点の位置として含め、得られた対象物の三
次元情報を教示点のｚ座標にもとづいて確定するように
構成したので、得られた対象物の三次元情報において奥
行き情報が反転していないかどうか容易に確認でき、常
に正しい奥行き情報を含む三次元情報が得られる効果が
ある。
れば、三次元情報抽出装置を、教示点の位置を各画像に
おける各特徴点の位置として含め、得られた対象物の三
次元情報を教示点のｚ座標にもとづいて確定するように
構成したので、得られた対象物の三次元情報において奥
行き情報が反転していないかどうか容易に確認でき、常
に正しい奥行き情報を含む三次元情報が得られる効果が
ある。
【００５２】請求項２記載の発明によれば、三次元情報
抽出装置を、位置認識可能マークの各画像における位置
をあらかじめ認識する位置認識可能マーク抽出部を含む
ように構成したので、各画像中に教示点が写らないよう
な場合でも、確実に正しい奥行き情報を含む三次元情報
が得られる効果がある。
抽出装置を、位置認識可能マークの各画像における位置
をあらかじめ認識する位置認識可能マーク抽出部を含む
ように構成したので、各画像中に教示点が写らないよう
な場合でも、確実に正しい奥行き情報を含む三次元情報
が得られる効果がある。
【００５３】請求項３記載の発明によれば、三次元情報
抽出装置を、対象物の形状にかかわらず各画像に写るよ
うな位置に設定された位置認識可能マークの位置を各画
像から認識するように構成したので、三次元情報抽出処
理に際して、対象物に応じた任意の位置から対象物を撮
像できる効果がある。すなわち、撮像位置の自由度が増
す効果がある。
抽出装置を、対象物の形状にかかわらず各画像に写るよ
うな位置に設定された位置認識可能マークの位置を各画
像から認識するように構成したので、三次元情報抽出処
理に際して、対象物に応じた任意の位置から対象物を撮
像できる効果がある。すなわち、撮像位置の自由度が増
す効果がある。
【００５４】請求項４記載の発明によれば、三次元情報
抽出装置を、どの３点も同一直線上にはない少なくとも
４点の教示点の位置を各画像における各特徴点の位置と
して含めるように構成したので、各特徴点の各画像にお
ける位置を決定するときの位置探索範囲が各画像におけ
る各教示点の位置にもとづいて限定され、三次元情報抽
出の処理時間が短縮される効果がある。
抽出装置を、どの３点も同一直線上にはない少なくとも
４点の教示点の位置を各画像における各特徴点の位置と
して含めるように構成したので、各特徴点の各画像にお
ける位置を決定するときの位置探索範囲が各画像におけ
る各教示点の位置にもとづいて限定され、三次元情報抽
出の処理時間が短縮される効果がある。
【００５５】請求項５記載の発明によれば、三次元情報
抽出装置を、対象物および基準平面がその平面の一方の
側に存在するような第２の基準平面上における点であっ
て、どの３点も同一直線上にはない少なくとも４点の第
２の教示点の位置も各画像における各特徴点の位置とし
て含めるように構成したので、各特徴点の各画像におけ
る位置を決定するときの位置探索範囲が第２の教示点の
位置にもとづいてさらに限定され、三次元情報抽出の処
理時間がさらに短縮される効果がある。
抽出装置を、対象物および基準平面がその平面の一方の
側に存在するような第２の基準平面上における点であっ
て、どの３点も同一直線上にはない少なくとも４点の第
２の教示点の位置も各画像における各特徴点の位置とし
て含めるように構成したので、各特徴点の各画像におけ
る位置を決定するときの位置探索範囲が第２の教示点の
位置にもとづいてさらに限定され、三次元情報抽出の処
理時間がさらに短縮される効果がある。
【００５６】請求項６記載の発明によれば、三次元情報
抽出方法を、教示点を設定するステップと、各画像にお
ける教示点の位置をあらかじめ認識するステップと、教
示点の位置を各画像における特徴点の位置として含める
ステップと、対象物の三次元情報を教示点のｚ座標にも
とづいて確定するステップとを備えるように構成したの
で、各画像中に教示点が写らないような場合でも、常に
正しい奥行き情報を含む三次元情報が得られる効果があ
る。
抽出方法を、教示点を設定するステップと、各画像にお
ける教示点の位置をあらかじめ認識するステップと、教
示点の位置を各画像における特徴点の位置として含める
ステップと、対象物の三次元情報を教示点のｚ座標にも
とづいて確定するステップとを備えるように構成したの
で、各画像中に教示点が写らないような場合でも、常に
正しい奥行き情報を含む三次元情報が得られる効果があ
る。
【００５７】請求項７記載の発明によれば、三次元情報
抽出方法を、撮像される全ての画像に写るような教示点
を設定するステップと、教示点の位置を各画像における
特徴点の位置として含めるステップと、対象物の三次元
情報を教示点のｚ座標にもとづいて確定するステップと
を備えるように構成したので、常に正しい奥行き情報を
含む三次元情報が得られる効果がある。また、撮像位置
の自由度が増す効果がある。
抽出方法を、撮像される全ての画像に写るような教示点
を設定するステップと、教示点の位置を各画像における
特徴点の位置として含めるステップと、対象物の三次元
情報を教示点のｚ座標にもとづいて確定するステップと
を備えるように構成したので、常に正しい奥行き情報を
含む三次元情報が得られる効果がある。また、撮像位置
の自由度が増す効果がある。
【図１】 この発明の実施の形態１による三次元情報抽
出装置の構成を示すブロック図である。
出装置の構成を示すブロック図である。
【図２】 三次元情報抽出装置による撮像位置および対
象物の一例を示す説明図である。
象物の一例を示す説明図である。
【図３】 教示モードの動作を示すフローチャートであ
る。
る。
【図４】 三次元認識モードの動作を示すフローチャー
トである。
トである。
【図５】 この発明の実施の形態１における対応点の探
索範囲の限定の様子を示す説明図である。
索範囲の限定の様子を示す説明図である。
【図６】 この発明の実施の形態３における対応点の探
索範囲の限定の様子を示す説明図である。
索範囲の限定の様子を示す説明図である。
１ カメラ（撮像手段）、３ 位置認識可能マーク抽出
部（教示点反映手段）、４ 特徴点抽出部（特徴点抽出
手段）、５ 特徴点位置決定部（特徴点位置決定手段，
範囲限定手段）、６ 演算部（三次元情報生成手段，教
示点反映手段）、７ ｚ座標決定部（三次元情報確定手
段）。
部（教示点反映手段）、４ 特徴点抽出部（特徴点抽出
手段）、５ 特徴点位置決定部（特徴点位置決定手段，
範囲限定手段）、６ 演算部（三次元情報生成手段，教
示点反映手段）、７ ｚ座標決定部（三次元情報確定手
段）。
Claims (7)
- 【請求項１】 少なくとも３箇所の異なる視点から対象
物を撮像する撮像手段と、前記撮像手段による各画像の
うちの１つの画像から対象物の３点以上の特徴点を抽出
する特徴点抽出手段と、 前記各特徴点が抽出された画像以外の各画像における各
特徴点の位置を決定する特徴点位置決定手段と、 前記各画像における各特徴点の位置から前記対象物の三
次元情報を生成する三次元情報生成手段とを備えた三次
元情報抽出装置において、 前記対象物がその平面の一方の側に存在するような基準
平面上における点であって前記各画像の視野内に存在す
る教示点の位置を、前記各画像における各特徴点の位置
として含める教示点反映手段と、 前記三次元情報生成手段による対象物の三次元情報を、
その情報中の教示点のｚ座標にもとづいて確定する三次
元情報確定手段とを備えたことを特徴とする三次元情報
抽出装置。 - 【請求項２】 教示点反映手段は、教示点である位置認
識可能マークの各画像における位置をあらかじめ認識す
る位置認識可能マーク抽出部を含むことを特徴とする請
求項１記載の三次元情報抽出装置。 - 【請求項３】 教示点反映手段は、対象物の形状にかか
わらず各画像に写るような位置に設定された教示点であ
る位置認識可能マークの位置を各画像から認識する請求
項１記載の三次元情報抽出装置。 - 【請求項４】 教示点反映手段は、どの３点も同一直線
上にはない少なくとも４点の教示点の位置を各画像にお
ける各特徴点の位置として含め、 特徴点位置決定手段が各特徴点の位置を決定するときの
位置探索範囲を、各画像における各教示点の位置にもと
づいて限定する範囲限定手段をさらに備えたことを特徴
とする請求項１から請求項３のうちのいずれか１項記載
の三次元情報抽出装置。 - 【請求項５】 教示点反映手段は、対象物および基準平
面がその平面の一方の側に存在するような第２の基準平
面上における点であって、前記各画像の視野内に存在
し、どの３点も同一直線上にはない少なくとも４点の第
２の教示点の位置を、前記各画像における各特徴点の位
置として含め、 範囲限定手段は、特徴点位置決定手段が各特徴点の位置
を決定するときの位置探索範囲を、各画像における各第
２の教示点の位置にもとづいてさらに限定することを特
徴とする請求項４記載の三次元情報抽出装置。 - 【請求項６】 対象物がその平面の一方の側に存在する
ような基準平面上における点であって、撮像される各画
像の視野内に存在する教示点を設定し、 あらかじめ、撮像される各画像における教示点の位置を
認識し、 少なくとも３箇所の異なる視点から対象物を撮像し、 各画像のうちの１つの画像から対象物の３点以上の特徴
点を抽出し、 各特徴点が抽出された画像以外の各画像における各特徴
点の位置を決定するとともに、教示点の位置を各画像に
おける特徴点の位置として含め、 前記各画像における各特徴点の位置から前記対象物の三
次元情報を生成し、 生成された対象物の三次元情報を、その情報中の教示点
のｚ座標にもとづいて確定する三次元情報抽出方法。 - 【請求項７】 対象物がその平面の一方の側に存在する
ような基準平面上における点であって、撮像される全て
の画像に写る教示点を設定し、 少なくとも３箇所の異なる視点から対象物を撮像し、 各画像のうちの１つの画像から対象物の３点以上の特徴
点を抽出し、 各特徴点が抽出された画像以外の各画像における各特徴
点および教示点の位置を決定するとともに、教示点の位
置を各画像における特徴点の位置として含め、 前記各画像における各特徴点の位置から前記対象物の三
次元情報を生成し、 生成された対象物の三次元情報を、その情報中の教示点
のｚ座標にもとづいて確定する三次元情報抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8184776A JPH1031747A (ja) | 1996-07-15 | 1996-07-15 | 三次元情報抽出装置および三次元情報抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8184776A JPH1031747A (ja) | 1996-07-15 | 1996-07-15 | 三次元情報抽出装置および三次元情報抽出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1031747A true JPH1031747A (ja) | 1998-02-03 |
Family
ID=16159115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8184776A Pending JPH1031747A (ja) | 1996-07-15 | 1996-07-15 | 三次元情報抽出装置および三次元情報抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1031747A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6628819B1 (en) | 1998-10-09 | 2003-09-30 | Ricoh Company, Ltd. | Estimation of 3-dimensional shape from image sequence |
| WO2005119507A1 (ja) * | 2004-06-03 | 2005-12-15 | Japan Science And Technology Agency | 行列の高速高精度特異値分解方法、プログラムおよび装置 |
| JP2013151043A (ja) * | 2012-01-25 | 2013-08-08 | Honda Motor Co Ltd | 締付トルク管理システム |
| CN113048980A (zh) * | 2021-03-11 | 2021-06-29 | 浙江商汤科技开发有限公司 | 位姿优化方法、装置、电子设备及存储介质 |
-
1996
- 1996-07-15 JP JP8184776A patent/JPH1031747A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6628819B1 (en) | 1998-10-09 | 2003-09-30 | Ricoh Company, Ltd. | Estimation of 3-dimensional shape from image sequence |
| WO2005119507A1 (ja) * | 2004-06-03 | 2005-12-15 | Japan Science And Technology Agency | 行列の高速高精度特異値分解方法、プログラムおよび装置 |
| US8306361B2 (en) | 2004-06-03 | 2012-11-06 | Japan Science And Technology Agency | High-speed high-accuracy matrix singular value decomposition method, program, and device |
| JP2013151043A (ja) * | 2012-01-25 | 2013-08-08 | Honda Motor Co Ltd | 締付トルク管理システム |
| CN113048980A (zh) * | 2021-03-11 | 2021-06-29 | 浙江商汤科技开发有限公司 | 位姿优化方法、装置、电子设备及存储介质 |
| CN113048980B (zh) * | 2021-03-11 | 2023-03-14 | 浙江商汤科技开发有限公司 | 位姿优化方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN112634451B (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
| US10109055B2 (en) | Multiple hypotheses segmentation-guided 3D object detection and pose estimation | |
| EP2202672B1 (en) | Information processing apparatus, information processing method, and computer program | |
| JP2919284B2 (ja) | 物体認識方法 | |
| CN108629843B (zh) | 一种实现增强现实的方法及设备 | |
| JP6968342B2 (ja) | 物体認識処理装置、物体認識処理方法及びプログラム | |
| KR101682656B1 (ko) | 3차원 얼굴 캡쳐링 장치 및 방법 | |
| CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
| JPH0685183B2 (ja) | ２次元像による３次元物体の同定方法 | |
| JPH10320588A (ja) | 画像処理装置および画像処理方法 | |
| CN110926330A (zh) | 图像处理装置和图像处理方法 | |
| JP2012022411A (ja) | 情報処理装置及びその制御方法、プログラム | |
| US11504608B2 (en) | 6DoF inside-out tracking game controller | |
| CN114766042A (zh) | 目标检测方法、装置、终端设备及介质 | |
| CN110415363A (zh) | 一种基于三目视觉的散乱物识别定位方法 | |
| KR20110089299A (ko) | 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체 | |
| JP7178803B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| JP2018173882A (ja) | 情報処理装置、方法、及びプログラム | |
| JP3614709B2 (ja) | 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 | |
| US20230100238A1 (en) | Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object | |
| JPH1031747A (ja) | 三次元情報抽出装置および三次元情報抽出方法 | |
| JPH11248431A (ja) | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JPH0814860A (ja) | モデル作成装置 |