JPH08261719A - 相対的移動量算出装置及び相対的移動量算出方法 - Google Patents
相対的移動量算出装置及び相対的移動量算出方法Info
- Publication number
- JPH08261719A JPH08261719A JP7059272A JP5927295A JPH08261719A JP H08261719 A JPH08261719 A JP H08261719A JP 7059272 A JP7059272 A JP 7059272A JP 5927295 A JP5927295 A JP 5927295A JP H08261719 A JPH08261719 A JP H08261719A
- Authority
- JP
- Japan
- Prior art keywords
- position information
- dimensional position
- coordinate system
- reliability
- amount calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】視覚センサ搭載の自律移動体が、ある視点で観
測した３次元位置情報から、作業環境に対する自己の相
対的な移動量を算出したり、物体認識の際にモデルとし
て登録された物体の位置・姿勢を算出できるようにす
る。 【構成】対象物の視点座標系における３次元位置情報を
信頼度を付加して算出する３次元位置算出手段１と、該
３次元位置情報を物体の重み付き重心を原点とする物体
重心座標系における３次元位置情報に変換する変換手段
２と、物体重心座標系における特徴点の３次元位置情報
とその信頼度から観測系の対象物に対する相対的な回転
量を求める回転量算出手段３と、回転量算出手段によっ
て求められた回転量と視点座標系における特徴点の３次
元位置情報とその信頼度から観測系の対象物に対する相
対的な平行移動量を求める平行移動量算出手段４とを具
備する。
測した３次元位置情報から、作業環境に対する自己の相
対的な移動量を算出したり、物体認識の際にモデルとし
て登録された物体の位置・姿勢を算出できるようにす
る。 【構成】対象物の視点座標系における３次元位置情報を
信頼度を付加して算出する３次元位置算出手段１と、該
３次元位置情報を物体の重み付き重心を原点とする物体
重心座標系における３次元位置情報に変換する変換手段
２と、物体重心座標系における特徴点の３次元位置情報
とその信頼度から観測系の対象物に対する相対的な回転
量を求める回転量算出手段３と、回転量算出手段によっ
て求められた回転量と視点座標系における特徴点の３次
元位置情報とその信頼度から観測系の対象物に対する相
対的な平行移動量を求める平行移動量算出手段４とを具
備する。
Description
【０００１】
【産業上の利用分野】本発明は、例えば、自律移動ロボ
ットのナビゲーション等に用いられるロボットの移動量
算出、あるいは、画像検査等に用いられる検査対象の位
置・姿勢算出に用いる相対的移動量算出装置及び相対的
移動量算出方法に関する。
ットのナビゲーション等に用いられるロボットの移動量
算出、あるいは、画像検査等に用いられる検査対象の位
置・姿勢算出に用いる相対的移動量算出装置及び相対的
移動量算出方法に関する。
【０００２】
【従来の技術】近年、ＴＶカメラから得られる画像を用
いて、対象物の立体形状や、３次元位置を計測する研究
が盛んに行われている。この技術を用いることにより、
ロボットが周囲の環境に適応的に行動することが可能と
なり、また、３次元情報を用いた、より高度な画像監
視、画像検査等を行なうことが可能となる。
いて、対象物の立体形状や、３次元位置を計測する研究
が盛んに行われている。この技術を用いることにより、
ロボットが周囲の環境に適応的に行動することが可能と
なり、また、３次元情報を用いた、より高度な画像監
視、画像検査等を行なうことが可能となる。
【０００３】画像から対象の３次元位置情報を計測する
方法としては、ステレオ法と呼ばれる方法が代表的であ
り、古くから盛んに研究が行なわれている。このステレ
オ法というのは、視差のある２枚の画像を用いる手法で
あり、同一視野を撮影野とする近接して並列配置された
左右２台のカメラから得られる２枚の画像（左像および
右像）から、３次元空間中で同一点に対応する点を求
め、三角測量の原理を用いて、対象の３次元位置情報を
復元する方法である。
方法としては、ステレオ法と呼ばれる方法が代表的であ
り、古くから盛んに研究が行なわれている。このステレ
オ法というのは、視差のある２枚の画像を用いる手法で
あり、同一視野を撮影野とする近接して並列配置された
左右２台のカメラから得られる２枚の画像（左像および
右像）から、３次元空間中で同一点に対応する点を求
め、三角測量の原理を用いて、対象の３次元位置情報を
復元する方法である。
【０００４】ステレオ法等で得られる情報は、ステレオ
カメラに設定した視点座標系における３次元位置情報で
ある。ステレオ法等を用いて移動ロボットのナビゲーシ
ョンを行なう場合、得られた視点座標系における３次元
位置情報とロボットが持つ環境地図を照合し、移動ロボ
ットの移動量、あるいは、自己位置を算出することが必
要となる。
カメラに設定した視点座標系における３次元位置情報で
ある。ステレオ法等を用いて移動ロボットのナビゲーシ
ョンを行なう場合、得られた視点座標系における３次元
位置情報とロボットが持つ環境地図を照合し、移動ロボ
ットの移動量、あるいは、自己位置を算出することが必
要となる。
【０００５】そして、これを行なうことにより、ロボッ
トが目的地までの最短経路を計算したり、より安全な経
路を選ぶことができる。また、ロボットが多視点で得ら
れた視点座標系における３次元位置情報を統合すること
により、計測精度を向上させたり、計測範囲を広げるこ
とが可能となる。この場合は、ロボットが移動しながら
静止対象物を観測し、ロボットの移動量を算出する場合
であるが、ロボットの移動と対象物の移動は相対的なも
のであるから、ロボットが静止したまま移動対象物を観
測し、その対象物の移動量を算出する場合も同様に扱う
ことが出来る。
トが目的地までの最短経路を計算したり、より安全な経
路を選ぶことができる。また、ロボットが多視点で得ら
れた視点座標系における３次元位置情報を統合すること
により、計測精度を向上させたり、計測範囲を広げるこ
とが可能となる。この場合は、ロボットが移動しながら
静止対象物を観測し、ロボットの移動量を算出する場合
であるが、ロボットの移動と対象物の移動は相対的なも
のであるから、ロボットが静止したまま移動対象物を観
測し、その対象物の移動量を算出する場合も同様に扱う
ことが出来る。
【０００６】
【数１】
【０００７】
【数２】
【０００８】
【数３】
【０００９】
【数４】 であり、式（３）は非線形連立方程式になる。この方程
式は解析的には解くことが出来ないから、反復法を用い
ることにより、ロボットの対象物に対する相対的な移動
量、つまり、回転量と平行移動量を求めることが出来
る。
式は解析的には解くことが出来ないから、反復法を用い
ることにより、ロボットの対象物に対する相対的な移動
量、つまり、回転量と平行移動量を求めることが出来
る。
【００１０】
【発明が解決しようとする課題】以上のように、視覚セ
ンサ（撮像系）により得られた視点座標系における３次
元位置情報から、視覚センサと対象物の相対的な移動量
を求めるためには、複雑な非線形方程式を反復法により
解かねばならない。
ンサ（撮像系）により得られた視点座標系における３次
元位置情報から、視覚センサと対象物の相対的な移動量
を求めるためには、複雑な非線形方程式を反復法により
解かねばならない。
【００１１】しかも、この方法はノイズに非常に敏感
で、真値に近い適切な初期値が必要であり、初期値が不
適切であれば著しく精度が低下するという問題や、反復
法を用いるため計算コストが高く、ロボットの実時間制
御を実現することが出来ないという問題があった。
で、真値に近い適切な初期値が必要であり、初期値が不
適切であれば著しく精度が低下するという問題や、反復
法を用いるため計算コストが高く、ロボットの実時間制
御を実現することが出来ないという問題があった。
【００１２】また、一般に３次元位置の計測誤差は、対
象までの距離が大きい場合は大きく、対象までの距離が
小さい場合は小さいという性質があり、さらに、ステレ
オ法で計測する場合には、使用するレンズの焦点距離や
カメラ間隔により３次元位置の計測誤差が変化するとい
う性質があるが、従来は、このような３次元位置の計測
誤差の性質を考慮していないため、得られる対象物の３
次元位置の精度が良くないという問題があった。
象までの距離が大きい場合は大きく、対象までの距離が
小さい場合は小さいという性質があり、さらに、ステレ
オ法で計測する場合には、使用するレンズの焦点距離や
カメラ間隔により３次元位置の計測誤差が変化するとい
う性質があるが、従来は、このような３次元位置の計測
誤差の性質を考慮していないため、得られる対象物の３
次元位置の精度が良くないという問題があった。
【００１３】そこで、この発明はこのような問題を解決
するためになされたものであり、自律移動体に搭載した
視覚センサの取得情報に基づいて対象物の相対的移動量
を観測するにあたり、処理は線形計算の範囲内で行な
い、しかも、３次元位置の計測誤差も考慮して、視覚セ
ンサ（撮像系）の対象物に対する相対的な移動量を高精
度に算出することが出来るようにする相対的移動量算出
装置及び相対的移動量算出方法を提供することを目的と
している。
するためになされたものであり、自律移動体に搭載した
視覚センサの取得情報に基づいて対象物の相対的移動量
を観測するにあたり、処理は線形計算の範囲内で行な
い、しかも、３次元位置の計測誤差も考慮して、視覚セ
ンサ（撮像系）の対象物に対する相対的な移動量を高精
度に算出することが出来るようにする相対的移動量算出
装置及び相対的移動量算出方法を提供することを目的と
している。
【００１４】
【課題を解決するための手段】前記目的を達成するた
め、本発明はつぎのように構成する。すなわち、第１に
は、対象物をとらえた視覚センサからの視差のある画像
より、この対象物の画像中の位置情報を取得し、この視
覚センサの前記対象物に対する相対的な移動に伴って得
られた複数視点からの対象物の３次元位置情報を前記位
置情報から求めて、この３次元位置情報から前記視覚セ
ンサの前記対象物に対する相対的な移動量を求める相対
的移動量算出装置において、対象物の画像中の前記位置
情報を用い、この対象物上の特徴点の視点座標系におけ
る３次元位置情報を、前記視覚センサと対象物との関係
に応じて定まる信頼度を付加して算出する３次元位置算
出手段と、この３次元位置算出手段により得られた３次
元位置情報を、物体の重み付き重心を原点とする物体重
心座標系における３次元位置情報に変換する変換手段
と、前記物体重心座標系における特徴点の３次元位置情
報とその信頼度から観測系の対象物に対する相対的な回
転量を求める回転量算出手段と、この回転量算出手段に
よって求められた回転量と、視点座標系における特徴点
の３次元位置情報とその信頼度から観測系の対象物に対
する相対的な平行移動量を求める平行移動量算出手段と
より構成する。
め、本発明はつぎのように構成する。すなわち、第１に
は、対象物をとらえた視覚センサからの視差のある画像
より、この対象物の画像中の位置情報を取得し、この視
覚センサの前記対象物に対する相対的な移動に伴って得
られた複数視点からの対象物の３次元位置情報を前記位
置情報から求めて、この３次元位置情報から前記視覚セ
ンサの前記対象物に対する相対的な移動量を求める相対
的移動量算出装置において、対象物の画像中の前記位置
情報を用い、この対象物上の特徴点の視点座標系におけ
る３次元位置情報を、前記視覚センサと対象物との関係
に応じて定まる信頼度を付加して算出する３次元位置算
出手段と、この３次元位置算出手段により得られた３次
元位置情報を、物体の重み付き重心を原点とする物体重
心座標系における３次元位置情報に変換する変換手段
と、前記物体重心座標系における特徴点の３次元位置情
報とその信頼度から観測系の対象物に対する相対的な回
転量を求める回転量算出手段と、この回転量算出手段に
よって求められた回転量と、視点座標系における特徴点
の３次元位置情報とその信頼度から観測系の対象物に対
する相対的な平行移動量を求める平行移動量算出手段と
より構成する。
【００１５】また、第２には、対象物の３次元位置情報
を得るべく、少なくとも２台の撮像系を互いに同一視野
を撮影視野として並列配置して視差ある対をなす画像を
得る撮像手段を用い、この撮像手段からの画像から得た
対象物の位置情報より、対象物に対する撮像系の相対的
な移動に伴う対象物の３次元位置情報を求め、この３次
元位置情報から、撮像系の対象物に対する相対的な移動
量を求める相対的移動量算出装置において、前記撮像系
の焦点距離と、２台の撮像系の間隔と対象物までの距離
の関数によって３次元位置情報の信頼度を求めると共
に、画像から得た対象物の前記位置情報をもとに、この
対象物上の特徴点の視点座標系における３次元位置情報
を前記求めた信頼度を付加して算出する３次元位置算出
手段と、この３次元位置算出手段により得られた３次元
位置情報を、物体の重み付き重心を原点とする物体重心
座標系における３次元位置情報に変換する変換手段と、
前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から生成される行列を特異値分解することに
より、観測系の対象物に対する相対的な回転量を求める
回転量算出手段と、この回転量算出手段により求められ
た回転量と、視点座標系における特徴点の３次元位置情
報とその信頼度から観測系の対象物に対する相対的な平
行移動量を求める平行移動量算出手段とより構成する。
を得るべく、少なくとも２台の撮像系を互いに同一視野
を撮影視野として並列配置して視差ある対をなす画像を
得る撮像手段を用い、この撮像手段からの画像から得た
対象物の位置情報より、対象物に対する撮像系の相対的
な移動に伴う対象物の３次元位置情報を求め、この３次
元位置情報から、撮像系の対象物に対する相対的な移動
量を求める相対的移動量算出装置において、前記撮像系
の焦点距離と、２台の撮像系の間隔と対象物までの距離
の関数によって３次元位置情報の信頼度を求めると共
に、画像から得た対象物の前記位置情報をもとに、この
対象物上の特徴点の視点座標系における３次元位置情報
を前記求めた信頼度を付加して算出する３次元位置算出
手段と、この３次元位置算出手段により得られた３次元
位置情報を、物体の重み付き重心を原点とする物体重心
座標系における３次元位置情報に変換する変換手段と、
前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から生成される行列を特異値分解することに
より、観測系の対象物に対する相対的な回転量を求める
回転量算出手段と、この回転量算出手段により求められ
た回転量と、視点座標系における特徴点の３次元位置情
報とその信頼度から観測系の対象物に対する相対的な平
行移動量を求める平行移動量算出手段とより構成する。
【００１６】
【作用】そして、このような構成において、対象物をと
らえた視覚センサからの視差のある画像より、この対象
物の画像中の位置情報を取得し、この視覚センサの前記
対象物に対する相対的な移動に伴って得られた複数視点
からの対象物の３次元位置情報を前記位置情報から求め
て、この３次元位置情報から前記視覚センサの前記対象
物に対する相対的な移動量を求めるが、対象物をとらえ
る視覚センサからの視差のある画像、すなわち、撮像系
であるステレオカメラで得たステレオ画像（左右像）上
の対象物の位置情報を３次元位置算出手段に与えると、
これよりこの３次元位置算出手段は対象物の視点座標系
における３次元位置情報を、前記視覚センサと対象物と
の関係に応じて定まる信頼度を付加して算出し、変換手
段はこの３次元位置算出手段が求めた３次元位置情報
を、物体の重み付き重心を原点とする物体重心座標系に
おける３次元位置情報に変換し、回転量算出手段は物体
重心座標系における特徴点の３次元位置情報とその信頼
度から観測系の対象物に対する相対的な回転量を求め
る。そして、平行移動量算出手段は、回転量算出手段に
よって求められた回転量と視点座標系における特徴点の
３次元位置情報とその信頼度から観測系の対象物に対す
る相対的な平行移動量を求めるといった処理を行なうも
のである。
らえた視覚センサからの視差のある画像より、この対象
物の画像中の位置情報を取得し、この視覚センサの前記
対象物に対する相対的な移動に伴って得られた複数視点
からの対象物の３次元位置情報を前記位置情報から求め
て、この３次元位置情報から前記視覚センサの前記対象
物に対する相対的な移動量を求めるが、対象物をとらえ
る視覚センサからの視差のある画像、すなわち、撮像系
であるステレオカメラで得たステレオ画像（左右像）上
の対象物の位置情報を３次元位置算出手段に与えると、
これよりこの３次元位置算出手段は対象物の視点座標系
における３次元位置情報を、前記視覚センサと対象物と
の関係に応じて定まる信頼度を付加して算出し、変換手
段はこの３次元位置算出手段が求めた３次元位置情報
を、物体の重み付き重心を原点とする物体重心座標系に
おける３次元位置情報に変換し、回転量算出手段は物体
重心座標系における特徴点の３次元位置情報とその信頼
度から観測系の対象物に対する相対的な回転量を求め
る。そして、平行移動量算出手段は、回転量算出手段に
よって求められた回転量と視点座標系における特徴点の
３次元位置情報とその信頼度から観測系の対象物に対す
る相対的な平行移動量を求めるといった処理を行なうも
のである。
【００１７】求めた対象物の３次元位置の値は、撮像系
と対象物の距離の大小に応じ、誤差の割合が変わってく
る。そこで、本発明ではこれを信頼度としてパラメータ
に加えて補正するようにした。
と対象物の距離の大小に応じ、誤差の割合が変わってく
る。そこで、本発明ではこれを信頼度としてパラメータ
に加えて補正するようにした。
【００１８】このように、本発明は、３次元位置算出手
段において対象物の視点座標系における３次元位置情報
を信頼度を付加して算出し、変換手段において前記３次
元位置情報を物体の重み付き重心を原点とする物体重心
座標系における３次元位置情報に変換し、さらに、回転
量算出手段において物体重心座標系における特徴点の３
次元位置情報とその信頼度から回転量を求め、求めた回
転量と、対象物上の特徴点の視点座標系における３次元
位置情報とその信頼度から平行移動量算出手段において
平行移動量を求めるという処理を行なうことで、本発明
では、３次元位置の計測誤差の性質を考慮するものとし
ているから観測系の、対象物に対する相対的な移動量を
高精度に求めることが出来る。
段において対象物の視点座標系における３次元位置情報
を信頼度を付加して算出し、変換手段において前記３次
元位置情報を物体の重み付き重心を原点とする物体重心
座標系における３次元位置情報に変換し、さらに、回転
量算出手段において物体重心座標系における特徴点の３
次元位置情報とその信頼度から回転量を求め、求めた回
転量と、対象物上の特徴点の視点座標系における３次元
位置情報とその信頼度から平行移動量算出手段において
平行移動量を求めるという処理を行なうことで、本発明
では、３次元位置の計測誤差の性質を考慮するものとし
ているから観測系の、対象物に対する相対的な移動量を
高精度に求めることが出来る。
【００１９】また、全ての計算を線形計算の範囲内で行
なっているから、高速に、しかも、ノイズに対して安定
に観測系の、対象物に対する相対的な移動量を求めるこ
とが出来る。
なっているから、高速に、しかも、ノイズに対して安定
に観測系の、対象物に対する相対的な移動量を求めるこ
とが出来る。
【００２０】
【実施例】以下に、図面を参照して、本発明の一実施例
について説明する。図１に同実施例における相対的移動
算出装置の概略構成をブロック図で示す。ここでは、３
次元位置算出部１、変換部２、回転量算出部３、平行移
動量算出部４から構成される。また、図２に、図１の構
成の本装置における全体の処理の流れを示す。
について説明する。図１に同実施例における相対的移動
算出装置の概略構成をブロック図で示す。ここでは、３
次元位置算出部１、変換部２、回転量算出部３、平行移
動量算出部４から構成される。また、図２に、図１の構
成の本装置における全体の処理の流れを示す。
【００２１】図１において３次元位置算出部１は自律移
動ロボット等の自律移動体に搭載された撮像系から得ら
れる対象物が撮像されて、図示しない位置抽出の画像処
理系から得られたステレオ画像上の当該対象物の位置の
情報から、各視点座標系の３次元位置と、その不確定性
を表す数値すなわち信頼度を算出して変換部２と平行移
動量算出部４に出力するものである。
動ロボット等の自律移動体に搭載された撮像系から得ら
れる対象物が撮像されて、図示しない位置抽出の画像処
理系から得られたステレオ画像上の当該対象物の位置の
情報から、各視点座標系の３次元位置と、その不確定性
を表す数値すなわち信頼度を算出して変換部２と平行移
動量算出部４に出力するものである。
【００２２】自律移動ロボット等の自律移動体に搭載さ
れた撮像系は、同一視野を撮影野とする近接して並列配
置された左右２台の撮像装置から構成されるステレオカ
メラであり、このステレオカメラからの左右像がステレ
オ画像として不図示の画像処理系に入力されるようにな
っており、画像処理系は画像認識を含む画像処理により
画像中の対象物の、画像上での位置を求めてその位置情
報をステレオ画像上の当該対象物の位置情報として３次
元位置算出部１に供給する。
れた撮像系は、同一視野を撮影野とする近接して並列配
置された左右２台の撮像装置から構成されるステレオカ
メラであり、このステレオカメラからの左右像がステレ
オ画像として不図示の画像処理系に入力されるようにな
っており、画像処理系は画像認識を含む画像処理により
画像中の対象物の、画像上での位置を求めてその位置情
報をステレオ画像上の当該対象物の位置情報として３次
元位置算出部１に供給する。
【００２３】３次元位置算出部１はこの位置情報を受け
て対象物の各視点座標系の３次元位置を求め、この３次
元位置の情報と、撮像系の幾何学的位置関係、光学的関
係とから信頼度を算出する構成である。対象物のカメラ
からの距離、撮像系の幾何学的位置関係、光学的関係に
より、対象物のカメラからの距離が離れるにつれて求め
た対象物の３次元位置の誤差が大きくなる。これを考慮
すべく本装置では信頼度に反映させる。
て対象物の各視点座標系の３次元位置を求め、この３次
元位置の情報と、撮像系の幾何学的位置関係、光学的関
係とから信頼度を算出する構成である。対象物のカメラ
からの距離、撮像系の幾何学的位置関係、光学的関係に
より、対象物のカメラからの距離が離れるにつれて求め
た対象物の３次元位置の誤差が大きくなる。これを考慮
すべく本装置では信頼度に反映させる。
【００２４】また、変換部２は、この入力された各視点
座標系の３次元位置と、その不確定性を表す数値すなわ
ち信頼度より、対象物の重み付き重心を原点とする物体
重心座標系における対象物の３次元位置を算出して出力
するものである。
座標系の３次元位置と、その不確定性を表す数値すなわ
ち信頼度より、対象物の重み付き重心を原点とする物体
重心座標系における対象物の３次元位置を算出して出力
するものである。
【００２５】また、回転量算出部３は、この変換部２か
らの対象物の３次元位置の情報を用いて相対的移動量の
回転量を表す回転行列を算出するものであり、平行移動
量算出部４はこの回転行列と、３次元位置算出部１から
の各視点座標系の３次元位置と、その不確定性を表す数
値すなわち信頼度を用いて並進ベクトルＴを求めること
により、ロボットの対象物に対する相対的な移動量を出
力するものである。
らの対象物の３次元位置の情報を用いて相対的移動量の
回転量を表す回転行列を算出するものであり、平行移動
量算出部４はこの回転行列と、３次元位置算出部１から
の各視点座標系の３次元位置と、その不確定性を表す数
値すなわち信頼度を用いて並進ベクトルＴを求めること
により、ロボットの対象物に対する相対的な移動量を出
力するものである。
【００２６】このような構成の本装置は、同一視野を撮
影野とする近接して並列配置された左右２台の撮像装置
から構成されるステレオカメラから得られた左右像を元
に画像処理系が対象物の、ステレオ画像上での位置を算
出し、これが３次元位置算出部１に入力されるようにし
てある。３次元位置算出部１はこの画像上の位置情報を
受けて対象物についての、各視点座標系の３次元位置
と、この３次元位置と撮像系（ステレオカメラ）とから
定まる信頼度を算出して変換部２と平行移動量算出部４
に与える。
影野とする近接して並列配置された左右２台の撮像装置
から構成されるステレオカメラから得られた左右像を元
に画像処理系が対象物の、ステレオ画像上での位置を算
出し、これが３次元位置算出部１に入力されるようにし
てある。３次元位置算出部１はこの画像上の位置情報を
受けて対象物についての、各視点座標系の３次元位置
と、この３次元位置と撮像系（ステレオカメラ）とから
定まる信頼度を算出して変換部２と平行移動量算出部４
に与える。
【００２７】変換部２では、この入力された各視点座標
系の３次元位置と、その不確定性を表す数値すなわち信
頼度より、対象物の重み付き重心を原点とする物体重心
座標系における対象物の３次元位置を算出して回転量算
出部３に出力する。
系の３次元位置と、その不確定性を表す数値すなわち信
頼度より、対象物の重み付き重心を原点とする物体重心
座標系における対象物の３次元位置を算出して回転量算
出部３に出力する。
【００２８】回転量算出部３では、この変換部２からの
対象物の３次元位置の情報を用いて相対的移動量の回転
量を表す回転行列を算出し、平行移動量算出部４に与
え、平行移動量算出部４はこの回転行列と、３次元位置
算出部１からの各視点座標系の３次元位置と、その不確
定性を表す数値すなわち信頼度を用いて並進ベクトルＴ
を求めることにより、ロボットの対象物に対する相対的
な移動量を出力する。
対象物の３次元位置の情報を用いて相対的移動量の回転
量を表す回転行列を算出し、平行移動量算出部４に与
え、平行移動量算出部４はこの回転行列と、３次元位置
算出部１からの各視点座標系の３次元位置と、その不確
定性を表す数値すなわち信頼度を用いて並進ベクトルＴ
を求めることにより、ロボットの対象物に対する相対的
な移動量を出力する。
【００２９】３次元位置算出部１で求めた対象物の３次
元位置の値は、撮像系と対象物の距離の大小に応じ、誤
差の割合が変わってくる。そこで、本発明ではこれを信
頼度としてパラメータに加えて補正するようにした。
元位置の値は、撮像系と対象物の距離の大小に応じ、誤
差の割合が変わってくる。そこで、本発明ではこれを信
頼度としてパラメータに加えて補正するようにした。
【００３０】このように、本発明は、３次元位置算出手
段において対象物の視点座標系における３次元位置情報
を信頼度を付加して算出し、変換手段において前記３次
元位置情報を物体の重み付き重心を原点とする物体重心
座標系における３次元位置情報に変換し、さらに、回転
量算出手段において物体重心座標系における特徴点の３
次元位置情報とその信頼度から回転量を求め、求めた回
転量と、対象物上の特徴点の視点座標系における３次元
位置情報とその信頼度から平行移動量算出手段において
平行移動量を求めるという処理を行なうことで、本発明
では、３次元位置の計測誤差の性質を考慮するものとし
ているから、観測系の、対象物に対する相対的な移動量
を高精度に求めることが出来る。
段において対象物の視点座標系における３次元位置情報
を信頼度を付加して算出し、変換手段において前記３次
元位置情報を物体の重み付き重心を原点とする物体重心
座標系における３次元位置情報に変換し、さらに、回転
量算出手段において物体重心座標系における特徴点の３
次元位置情報とその信頼度から回転量を求め、求めた回
転量と、対象物上の特徴点の視点座標系における３次元
位置情報とその信頼度から平行移動量算出手段において
平行移動量を求めるという処理を行なうことで、本発明
では、３次元位置の計測誤差の性質を考慮するものとし
ているから、観測系の、対象物に対する相対的な移動量
を高精度に求めることが出来る。
【００３１】本装置の動作の概要は以上の如きものであ
るが、つぎにもう少し詳しく、本発明を説明する。本実
施例では、図３のように、ＴＶカメラを左右２台搭載し
たロボットが、視点Ａ，Ｂにおいて静止対象物をステレ
オ法により観測し、２視点で得られた対象物の各視点座
標系における３次元位置情報からロボットの移動量を算
出する場合について説明する。
るが、つぎにもう少し詳しく、本発明を説明する。本実
施例では、図３のように、ＴＶカメラを左右２台搭載し
たロボットが、視点Ａ，Ｂにおいて静止対象物をステレ
オ法により観測し、２視点で得られた対象物の各視点座
標系における３次元位置情報からロボットの移動量を算
出する場合について説明する。
【００３２】
【数５】
【００３３】また、視点座標系の座標軸は、図５のよう
に左像撮像用のＴＶカメラｃａｍｅｒａ‐Ｌと、右像撮
像用のＴＶカメラｃａｍｅｒａ‐Ｒとを互いに同じ視野
を撮像視野とするべく、並設した構成のステレオカメラ
を用いたとして、その水平方向、視線方向、垂直方向に
各々ｘ，ｙ，ｚ軸をとる。
に左像撮像用のＴＶカメラｃａｍｅｒａ‐Ｌと、右像撮
像用のＴＶカメラｃａｍｅｒａ‐Ｒとを互いに同じ視野
を撮像視野とするべく、並設した構成のステレオカメラ
を用いたとして、その水平方向、視線方向、垂直方向に
各々ｘ，ｙ，ｚ軸をとる。
【００３４】
【数６】 という関係式が成立する。以下に図４を参照して、この
関係式について説明する。３次元空間中の１点Ｐは、視
点と呼ばれる点Ｃを通って画像上の点（ｕ，ｖ）に投影
される。
関係式について説明する。３次元空間中の１点Ｐは、視
点と呼ばれる点Ｃを通って画像上の点（ｕ，ｖ）に投影
される。
【００３５】
【数７】
【００３６】
【数８】 カメラパラメータｈ11〜ｈ24からなる以下のような行列
Ｈをカメラパラメータ行列と呼ぶ。
Ｈをカメラパラメータ行列と呼ぶ。
【００３７】
【数９】
【００３８】
【数１０】 と表わすことができる。
【００３９】
【数１１】
【００４０】
【数１２】 を用いる。ここでｋは正の定数である。
【００４１】
【数１３】 変換部２では、以下の式により対象物の重み付き重心を
原点とする物体重心座標系における対象物の３次元位置
Ｑi ，Ｑ′i （ｉ＝１〜Ｎ）を算出する。
原点とする物体重心座標系における対象物の３次元位置
Ｑi ，Ｑ′i （ｉ＝１〜Ｎ）を算出する。
【００４２】
【数１４】
【００４３】
【数１５】
【００４４】
【数１６】
【００４５】
【数１７】 但し、Ｔｒ［Ａ］は行列Ａのトレース（対角成分の和）
を表し、Ａt はＡの転置行列を表す。
を表し、Ａt はＡの転置行列を表す。
【００４６】
【数１８】 を最大にする回転行列Ｒを求めれば良いことになる。
【００４７】回転行列Ｒは行列の特異値分解を用いれば
求めることが出来る。ＣをＣ＝ＵＷＶt （Ｕ，Ｖ：直交
行列、Ｗ：対角要素が非負の対角行列）と特異値分解
し、Ｔｒ［ＡＢ］＝Ｔｒ［ＢＡ］の関係を用いると、
求めることが出来る。ＣをＣ＝ＵＷＶt （Ｕ，Ｖ：直交
行列、Ｗ：対角要素が非負の対角行列）と特異値分解
し、Ｔｒ［ＡＢ］＝Ｔｒ［ＢＡ］の関係を用いると、
【００４８】
【数１９】
【００４９】以上のようにして、ロボットの、対象物に
対する相対的な移動量を算出することが出来る。なお、
本実施例では視点座標系における３次元位置情報を求め
る方法として２つのカメラによるステレオ法を用いてい
るが、３台以上のカメラを用いたり、１つのカメラを動
かして３次元位置情報を求めても良いし、さらに、パタ
ーンを投影して得られた画像を用いたり、画像を用いず
にレーザや超音波を用いることにより、３次元位置情報
を求めても良い。また、ある視点ではステレオ法により
３次元位置を計測し、別の視点ではレーザを用いて３次
元位置を計測するというような視点によって違う３次元
位置計測法を用いても良い。また、３次元位置の計測誤
差の信頼度として、
対する相対的な移動量を算出することが出来る。なお、
本実施例では視点座標系における３次元位置情報を求め
る方法として２つのカメラによるステレオ法を用いてい
るが、３台以上のカメラを用いたり、１つのカメラを動
かして３次元位置情報を求めても良いし、さらに、パタ
ーンを投影して得られた画像を用いたり、画像を用いず
にレーザや超音波を用いることにより、３次元位置情報
を求めても良い。また、ある視点ではステレオ法により
３次元位置を計測し、別の視点ではレーザを用いて３次
元位置を計測するというような視点によって違う３次元
位置計測法を用いても良い。また、３次元位置の計測誤
差の信頼度として、
【００５０】
【数２０】 等を用いても良い（ｋ：正定数）。また、ステレオカメ
ラのレンズの焦点距離とカメラ間隔を可変とした場合の
信頼度として、
ラのレンズの焦点距離とカメラ間隔を可変とした場合の
信頼度として、
【００５１】
【数２１】 等を用いても良い（ｋ：正定数）。
【００５２】また、２視点間の移動量を求める場合につ
いて説明したが、２視点以上の多視点間の移動量も同様
に求めることが出来る。その他、本発明の要旨を逸脱し
ない範囲で変形を実施できる。
いて説明したが、２視点以上の多視点間の移動量も同様
に求めることが出来る。その他、本発明の要旨を逸脱し
ない範囲で変形を実施できる。
【００５３】本発明は、対象物の３次元位置情報を計測
することが出来る視覚センサの、対象物に対する相対的
な移動に伴って得られた複数視点からの対象物の３次元
位置情報から、視覚センサの対象物に対する相対的な移
動量を求める際に、３次元位置計測の計測誤差の性質を
考慮し、かつ、すべての計算を線形計算の範囲で行なう
相対的移動量算出手法及び装置を実現するものであり、
例えば、視覚センサを搭載した自律移動ロボットが、あ
る視点で観測した３次元位置情報から、作業環境に対す
る自己のとるべき相対的な移動量を算出してこの算出量
対応に移動制御したり、物体認識の際にモデルとして登
録された物体の位置・姿勢を算出することができるよう
にしたものである。
することが出来る視覚センサの、対象物に対する相対的
な移動に伴って得られた複数視点からの対象物の３次元
位置情報から、視覚センサの対象物に対する相対的な移
動量を求める際に、３次元位置計測の計測誤差の性質を
考慮し、かつ、すべての計算を線形計算の範囲で行なう
相対的移動量算出手法及び装置を実現するものであり、
例えば、視覚センサを搭載した自律移動ロボットが、あ
る視点で観測した３次元位置情報から、作業環境に対す
る自己のとるべき相対的な移動量を算出してこの算出量
対応に移動制御したり、物体認識の際にモデルとして登
録された物体の位置・姿勢を算出することができるよう
にしたものである。
【００５４】そのために本実施例においては、対象物の
３次元位置情報を得るべく、少なくとも２台の撮像系を
互いに同一視野を撮影視野として並列配置して視差ある
対をなす画像を得る撮像手段を用い、この撮像手段から
の画像から得た対象物の位置情報より、対象物に対する
撮像系の相対的な移動に伴う対象物の３次元位置情報を
求め、この３次元位置情報から、撮像系の対象物に対す
る相対的な移動量を求める相対的移動量算出装置におい
て、前記撮像系の焦点距離と、２台の撮像系の間隔と対
象物までの距離の関数によって３次元位置情報の信頼度
を求めると共に、画像から得た対象物の前記位置情報を
もとに、この対象物上の特徴点の視点座標系における３
次元位置情報を前記求めた信頼度を付加して算出する３
次元位置算出手段と、この３次元位置算出手段により得
られた３次元位置情報を、物体の重み付き重心を原点と
する物体重心座標系における３次元位置情報に変換する
変換手段と、前記物体重心座標系における特徴点の３次
元位置情報とその信頼度から生成される行列を特異値分
解することにより、観測系の対象物に対する相対的な回
転量を求める回転量算出手段と、この回転量算出手段に
より求められた回転量と、視点座標系における特徴点の
３次元位置情報とその信頼度から観測系の対象物に対す
る相対的な平行移動量を求める平行移動量算出手段とよ
り構成した。
３次元位置情報を得るべく、少なくとも２台の撮像系を
互いに同一視野を撮影視野として並列配置して視差ある
対をなす画像を得る撮像手段を用い、この撮像手段から
の画像から得た対象物の位置情報より、対象物に対する
撮像系の相対的な移動に伴う対象物の３次元位置情報を
求め、この３次元位置情報から、撮像系の対象物に対す
る相対的な移動量を求める相対的移動量算出装置におい
て、前記撮像系の焦点距離と、２台の撮像系の間隔と対
象物までの距離の関数によって３次元位置情報の信頼度
を求めると共に、画像から得た対象物の前記位置情報を
もとに、この対象物上の特徴点の視点座標系における３
次元位置情報を前記求めた信頼度を付加して算出する３
次元位置算出手段と、この３次元位置算出手段により得
られた３次元位置情報を、物体の重み付き重心を原点と
する物体重心座標系における３次元位置情報に変換する
変換手段と、前記物体重心座標系における特徴点の３次
元位置情報とその信頼度から生成される行列を特異値分
解することにより、観測系の対象物に対する相対的な回
転量を求める回転量算出手段と、この回転量算出手段に
より求められた回転量と、視点座標系における特徴点の
３次元位置情報とその信頼度から観測系の対象物に対す
る相対的な平行移動量を求める平行移動量算出手段とよ
り構成した。
【００５５】そして、対象物をとらえた視覚センサから
の視差のある画像より、この対象物の画像中の位置情報
を取得し、この視覚センサの前記対象物に対する相対的
な移動に伴って得られた複数視点からの対象物の３次元
位置情報を前記位置情報から求めて、この３次元位置情
報から前記視覚センサの前記対象物に対する相対的な移
動量を求めるが、対象物をとらえる視覚センサからの視
差のある画像、すなわち、ステレオカメラで得たステレ
オ画像（左右像）上の対象物の位置情報を３次元位置算
出手段に与えると、これよりこの３次元位置算出手段は
対象物の視点座標系における３次元位置情報を信頼度を
付加して算出し、変換手段はこの３次元位置算出手段が
求めた３次元位置情報を、物体の重み付き重心を原点と
する物体重心座標系における３次元位置情報に変換し、
回転量算出手段は物体重心座標系における特徴点の３次
元位置情報とその信頼度から観測系の対象物に対する相
対的な回転量を求める。そして、平行移動量算出手段
は、回転量算出手段によって求められた回転量と視点座
標系における特徴点の３次元位置情報とその信頼度から
観測系の対象物に対する相対的な平行移動量を求めると
いった処理を行なうものである。
の視差のある画像より、この対象物の画像中の位置情報
を取得し、この視覚センサの前記対象物に対する相対的
な移動に伴って得られた複数視点からの対象物の３次元
位置情報を前記位置情報から求めて、この３次元位置情
報から前記視覚センサの前記対象物に対する相対的な移
動量を求めるが、対象物をとらえる視覚センサからの視
差のある画像、すなわち、ステレオカメラで得たステレ
オ画像（左右像）上の対象物の位置情報を３次元位置算
出手段に与えると、これよりこの３次元位置算出手段は
対象物の視点座標系における３次元位置情報を信頼度を
付加して算出し、変換手段はこの３次元位置算出手段が
求めた３次元位置情報を、物体の重み付き重心を原点と
する物体重心座標系における３次元位置情報に変換し、
回転量算出手段は物体重心座標系における特徴点の３次
元位置情報とその信頼度から観測系の対象物に対する相
対的な回転量を求める。そして、平行移動量算出手段
は、回転量算出手段によって求められた回転量と視点座
標系における特徴点の３次元位置情報とその信頼度から
観測系の対象物に対する相対的な平行移動量を求めると
いった処理を行なうものである。
【００５６】３次元位置算出手段で求めた対象物の３次
元位置の値は、自律移動体に搭載された観測系である撮
像系と対象物の距離の大小に応じ、誤差の割合が変わっ
てくる。そこで、本発明ではこれを信頼度としてパラメ
ータに加えて補正するようにした。
元位置の値は、自律移動体に搭載された観測系である撮
像系と対象物の距離の大小に応じ、誤差の割合が変わっ
てくる。そこで、本発明ではこれを信頼度としてパラメ
ータに加えて補正するようにした。
【００５７】このように、本発明は、３次元位置算出手
段において対象物の視点座標系における３次元位置情報
を、撮像系と対象物の関係に応じて得た信頼度を付加し
て算出し、変換手段において前記３次元位置情報を物体
の重み付き重心を原点とする物体重心座標系における３
次元位置情報に変換し、さらに、回転量算出手段におい
て物体重心座標系における特徴点の３次元位置情報とそ
の信頼度から回転量を求め、求めた回転量と、対象物上
の特徴点の視点座標系における３次元位置情報とその信
頼度から平行移動量算出手段において平行移動量を求め
るという処理を行なうことで、本発明では、３次元位置
の計測誤差の性質を考慮するものとしているから高精度
に観測系の、対象物に対する相対的な移動量を求めるこ
とが出来る。
段において対象物の視点座標系における３次元位置情報
を、撮像系と対象物の関係に応じて得た信頼度を付加し
て算出し、変換手段において前記３次元位置情報を物体
の重み付き重心を原点とする物体重心座標系における３
次元位置情報に変換し、さらに、回転量算出手段におい
て物体重心座標系における特徴点の３次元位置情報とそ
の信頼度から回転量を求め、求めた回転量と、対象物上
の特徴点の視点座標系における３次元位置情報とその信
頼度から平行移動量算出手段において平行移動量を求め
るという処理を行なうことで、本発明では、３次元位置
の計測誤差の性質を考慮するものとしているから高精度
に観測系の、対象物に対する相対的な移動量を求めるこ
とが出来る。
【００５８】また、全ての計算を線形計算の範囲内で行
なっているから、高速に、しかも、ノイズに対して安定
に観測系の、対象物に対する相対的な移動量を求めるこ
とが出来る。
なっているから、高速に、しかも、ノイズに対して安定
に観測系の、対象物に対する相対的な移動量を求めるこ
とが出来る。
【００５９】
【発明の効果】以上本発明によれば、視覚センサの移動
量や、移動対象物の移動量を高速かつ高精度に求めるこ
とが可能となるから、物体認識や移動ロボットのナビゲ
ーション、あるいは、多視点から得られた３次元位置情
報の統合を従来より高速かつ高精度に行なうことが出
来、その実用的効果は多大である。
量や、移動対象物の移動量を高速かつ高精度に求めるこ
とが可能となるから、物体認識や移動ロボットのナビゲ
ーション、あるいは、多視点から得られた３次元位置情
報の統合を従来より高速かつ高精度に行なうことが出
来、その実用的効果は多大である。
【図１】本発明の実施例を説明するための図であって、
本発明装置の構成例を示すブロック図。
本発明装置の構成例を示すブロック図。
【図２】本発明の実施例を説明するための図であって、
図１に示す本装置の全体の処理の流れを示す図。
図１に示す本装置の全体の処理の流れを示す図。
【図３】本発明の実施例を説明するための図であって、
各視点座標系間の関係を説明するための図。
各視点座標系間の関係を説明するための図。
【図４】本発明の実施例を説明するための図であって、
本発明に用いるカメラモデルを節目するための図。
本発明に用いるカメラモデルを節目するための図。
【図５】本発明の実施例を説明するための図であって、
視点座標系の定義を説明するための図。
視点座標系の定義を説明するための図。
【図６】本発明の実施例を説明するための図であって、
本発明装置における回転量算出の処理の流れを示す図。
本発明装置における回転量算出の処理の流れを示す図。
１…３次元位置算出部 ２…変換部 ３…回転量算出部 ４…平行移動量算出部
Claims (9)
- 【請求項１】 対象物をとらえた視覚センサからの視差
のある画像より、この対象物の画像中の位置情報を取得
し、この視覚センサの前記対象物に対する相対的な移動
に伴って得られた複数視点からの対象物の３次元位置情
報を前記位置情報から求めて、この３次元位置情報から
前記視覚センサの前記対象物に対する相対的な移動量を
求める相対的移動量算出装置において、 対象物の画像中の前記位置情報を用い、この対象物上の
特徴点の視点座標系における３次元位置情報を、前記視
覚センサと対象物との関係に応じて定まる信頼度を付加
して算出する３次元位置算出手段と、 この３次元位置算出手段により得られた３次元位置情報
を、物体の重み付き重心を原点とする物体重心座標系に
おける３次元位置情報に変換する変換手段と、 前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から観測系の対象物に対する相対的な回転量
を求める回転量算出手段と、 この回転量算出手段によって求められた回転量と、視点
座標系における特徴点の３次元位置情報とその信頼度か
ら観測系の対象物に対する相対的な平行移動量を求める
平行移動量算出手段と、を具備することを特徴とする相
対的移動量算出装置。 - 【請求項２】 対象物をとらえた視覚センサからの視差
のある画像より、この対象物の画像中の位置情報を取得
し、この視覚センサの前記対象物に対する相対的な移動
に伴って得られた複数視点からの対象物の３次元位置情
報を前記位置情報から求めて、この３次元位置情報から
前記視覚センサの前記対象物に対する相対的な移動量を
求める相対的移動量算出装置において、 対象物の画像中の前記位置情報を用い、この対象物上の
特徴点の視点座標系における３次元位置情報を、前記視
覚センサと対象物との関係に応じて定まる信頼度を付加
して算出する３次元位置算出手段と、 この３次元位置算出手段により得られた３次元位置情報
を、物体の重み付き重心を原点とする物体重心座標系に
おける３次元位置情報に変換する変換手段と、 前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から生成される行列を特異値分解することに
より、観測系の対象物に対する相対的な回転量を求める
回転量算出手段と、 この回転量算出手段により求められた回転量と、視点座
標系における特徴点の３次元位置情報とその信頼度から
観測系の対象物に対する相対的な平行移動量を求める平
行移動量算出手段と、を具備することを特徴とする相対
的移動量算出装置。 - 【請求項３】 対象物の３次元位置情報を得るべく、少
なくとも２台の撮像系を互いに同一視野を撮影視野とし
て並列配置して視差ある対をなす画像を得る撮像手段を
用い、この撮像手段からの画像から得た対象物の位置情
報より、対象物に対する撮像系の相対的な移動に伴う対
象物の３次元位置情報を求め、この３次元位置情報か
ら、撮像系の対象物に対する相対的な移動量を求める相
対的移動量算出装置において、 画像から得た対象物の前記位置情報をもとに、この対象
物上の特徴点の視点座標系における３次元位置情報を、
前記撮像系と対象物との関係に応じて定まる信頼度を付
加して算出する３次元位置算出手段と、 この３次元位置算出手段により得られた３次元位置情報
を、物体の重み付き重心を原点とする物体重心座標系に
おける３次元位置情報に変換する変換手段と、前記物体
重心座標系における特徴点の３次元位置情報とその信頼
度から観測系の対象物に対する相対的な回転量を求める
回転量算出手段と、 この回転量算出手段により求められた回転量と、視点座
標系における特徴点の３次元位置情報とその信頼度から
観測系の対象物に対する相対的な平行移動量を求める平
行移動量算出手段と、を具備することを特徴とする相対
的移動量算出装置。 - 【請求項４】 対象物の３次元位置情報を得るべく、少
なくとも２台の撮像系を互いに同一視野を撮影視野とし
て並列配置して視差ある対をなす画像を得る撮像手段を
用い、この撮像手段からの画像から得た対象物の位置情
報より、対象物に対する撮像系の相対的な移動に伴う対
象物の３次元位置情報を求め、この３次元位置情報か
ら、撮像系の対象物に対する相対的な移動量を求める相
対的移動量算出装置において、 前記撮像系の焦点距離と、２台の撮像系の間隔と対象物
までの距離の関数によって３次元位置情報の信頼度を求
めると共に、画像から得た対象物の前記位置情報をもと
に、この対象物上の特徴点の視点座標系における３次元
位置情報を前記求めた信頼度を付加して算出する３次元
位置算出手段と、 この３次元位置算出手段により得られた３次元位置情報
を、物体の重み付き重心を原点とする物体重心座標系に
おける３次元位置情報に変換する変換手段と、 前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から生成される行列を特異値分解することに
より、観測系の対象物に対する相対的な回転量を求める
回転量算出手段と、 この回転量算出手段により求められた回転量と、視点座
標系における特徴点の３次元位置情報とその信頼度から
観測系の対象物に対する相対的な平行移動量を求める平
行移動量算出手段と、を具備することを特徴とする相対
的移動量算出装置。 - 【請求項５】 対象物の３次元位置情報を得るべく、少
なくとも２台の撮像系を互いに同一視野を撮影視野とし
て並列配置して視差ある対をなす画像を得る撮像手段を
用い、この撮像手段からの画像から得た対象物の位置情
報より、対象物に対する撮像系の相対的な移動に伴う対
象物の３次元位置情報を求め、この３次元位置情報か
ら、撮像系の対象物に対する相対的な移動量を求める相
対的移動量算出装置において、 前記撮像系の焦点距離ｆと、２台の撮像系の間隔ａと対
象物までの距離ｙの関数ｗ＝ｋ・ａ・ｆ／ｙにより、３
次元位置情報の信頼度ｗを求めると共に、画像から得た
対象物の前記位置情報をもとに、この対象物上の特徴点
の視点座標系における３次元位置情報をこの信頼度ｗを
付加して算出する３次元位置算出手段と、 この３次元位置算出手段により得られた３次元位置情報
を、物体の重み付き重心を原点とする物体重心座標系に
おける３次元位置情報に変換する変換手段と、 前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から生成される行列を特異値分解することに
より、観測系の対象物に対する相対的な回転量を求める
回転量算出手段と、 この回転量算出手段により求められた回転量と、視点座
標系における特徴点の３次元位置情報とその信頼度から
観測系の対象物に対する相対的な平行移動量を求める平
行移動量算出手段と、を具備することを特徴とする相対
的移動量算出装置。 - 【請求項６】 対象物をとらえた視覚センサからの視差
のある画像より、この対象物の画像中の位置情報を取得
し、この視覚センサの前記対象物に対する相対的な移動
に伴って得られた複数視点からの対象物の３次元位置情
報を前記位置情報から求めて、この３次元位置情報から
前記視覚センサの前記対象物に対する相対的な移動量を
求める方法において、 対象物の画像中の前記位置情報を用い、この対象物上の
特徴点の視点座標系における３次元位置情報を、前記視
覚センサと対象物との関係に応じて定まる信頼度を付加
して算出する３次元位置算出ステップと、 この３次元位置算出ステップにより得られた３次元位置
情報を、物体の重み付き重心を原点とする物体重心座標
系における３次元位置情報に変換する変換ステップと、 前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から観測系の対象物に対する相対的な回転量
を求める回転量算出ステップと、 この回転量算出ステップにより求められた回転量と、視
点座標系における特徴点の３次元位置情報とその信頼度
から観測系の対象物に対する相対的な平行移動量を求め
る平行移動量算出ステップと、を具備することを特徴と
する相対的移動量算出方法。 - 【請求項７】 対象物をとらえた視覚センサからの視差
のある画像より、この対象物の画像中の位置情報を取得
し、この視覚センサの前記対象物に対する相対的な移動
に伴って得られた複数視点からの対象物の３次元位置情
報を前記位置情報から求めて、この３次元位置情報から
前記視覚センサの前記対象物に対する相対的な移動量を
求める方法において、 対象物の画像中の前記位置情報を用い、この対象物上の
特徴点の視点座標系における３次元位置情報を、前記視
覚センサと対象物との関係に応じて定まる信頼度を付加
して算出する３次元位置算出ステップと、 この３次元位置算出ステップにより得られた３次元位置
情報を、物体の重み付き重心を原点とする物体重心座標
系における３次元位置情報に変換する変換ステップと、 前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から生成される行列を特異値分解することに
より、観測系の対象物に対する相対的な回転量を求める
回転量算出ステップと、 この回転量算出ステップにより求められた回転量と、視
点座標系における特徴点の３次元位置情報とその信頼度
から観測系の対象物に対する相対的な平行移動量を求め
る平行移動量算出ステップと、を具備することを特徴と
する相対的移動量算出方法。 - 【請求項８】 対象物の３次元位置情報を得るべく、少
なくとも２台の撮像系を互いに同一視野を撮影視野とし
て並列配置して視差ある対をなす画像を得る撮像手段を
用い、この撮像手段からの画像から得た対象物の位置情
報より、対象物に対する撮像系の相対的な移動に伴う対
象物の３次元位置情報を求め、この３次元位置情報か
ら、撮像系の対象物に対する相対的な移動量を求める方
法において、 前記撮像系の焦点距離と、２台の撮像系の間隔と対象物
までの距離の関数により３次元位置情報の信頼度を求め
ると共に、画像から得た対象物の前記位置情報をもと
に、この対象物上の特徴点の視点座標系における３次元
位置情報を前記求めた信頼度を付加して算出する３次元
位置算出ステップと、 この３次元位置算出ステップにより得られた３次元位置
情報を、物体の重み付き重心を原点とする物体重心座標
系における３次元位置情報に変換する変換ステップと、 前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から生成される行列を特異値分解することに
より、観測系の対象物に対する相対的な回転量を求める
回転量算出ステップと、 この回転量算出ステップにより求められた回転量と、視
点座標系における特徴点の３次元位置情報とその信頼度
から観測系の対象物に対する相対的な平行移動量を求め
る平行移動量算出ステップと、を具備することを特徴と
する相対的移動量算出方法。 - 【請求項９】 対象物の３次元位置情報を得るべく、少
なくとも２台の撮像系を互いに同一視野を撮影視野とし
て並列配置して視差ある対をなす画像を得る撮像手段を
用い、この撮像手段からの画像から得た対象物の位置情
報より、対象物に対する撮像系の相対的な移動に伴う対
象物の３次元位置情報を求め、この３次元位置情報か
ら、撮像系の対象物に対する相対的な移動量を求める方
法において、 前記撮像系の焦点距離ｆと、２台の撮像系の間隔ａと対
象物までの距離ｙの関数ｗ＝ｋ・ａ・ｆ／ｙにより、３
次元位置情報の信頼度ｗを求めると共に、画像から得た
対象物の前記位置情報をもとに、この対象物上の特徴点
の視点座標系における３次元位置情報をこの信頼度ｗを
付加して算出する３次元位置算出ステップと、 この３次元位置算出ステップにより得られた３次元位置
情報を、物体の重み付き重心を原点とする物体重心座標
系における３次元位置情報に変換する変換ステップと、 前記物体重心座標系における特徴点の３次元位置情報と
その信頼度から生成される行列を特異値分解することに
より、観測系の対象物に対する相対的な回転量を求める
回転量算出ステップと、 この回転量算出ステップにより求められた回転量と、視
点座標系における特徴点の３次元位置情報とその信頼度
から観測系の対象物に対する相対的な平行移動量を求め
る平行移動量算出ステップと、を具備することを特徴と
する相対的移動量算出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05927295A JP3512894B2 (ja) | 1995-03-17 | 1995-03-17 | 相対的移動量算出装置及び相対的移動量算出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05927295A JP3512894B2 (ja) | 1995-03-17 | 1995-03-17 | 相対的移動量算出装置及び相対的移動量算出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08261719A true JPH08261719A (ja) | 1996-10-11 |
| JP3512894B2 JP3512894B2 (ja) | 2004-03-31 |
Family
ID=13108584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05927295A Expired - Fee Related JP3512894B2 (ja) | 1995-03-17 | 1995-03-17 | 相対的移動量算出装置及び相対的移動量算出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3512894B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10124681A (ja) * | 1996-10-18 | 1998-05-15 | Ricoh Co Ltd | 携帯型情報処理装置及び情報処理方法 |
| US7110021B2 (en) | 2002-05-31 | 2006-09-19 | Matsushita Electric Industrial Co., Ltd. | Vehicle surroundings monitoring device, and image production method/program |
| CN100346194C (zh) * | 2004-03-03 | 2007-10-31 | 株式会社东芝 | 三维图像显示装置 |
| WO2012176249A1 (ja) * | 2011-06-21 | 2012-12-27 | 国立大学法人奈良先端科学技術大学院大学 | 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、及び移動体 |
| CN104154918A (zh) * | 2014-07-14 | 2014-11-19 | 南京航空航天大学 | 单目视觉导航特征点丢失故障处理方法 |
| KR101707113B1 (ko) * | 2015-12-17 | 2017-03-16 | 재단법인대구경북과학기술원 | 관심영역 영상의 선택을 위한 도구 및 이를 이용한 선택 방법 |
| US11361466B2 (en) | 2018-11-30 | 2022-06-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
-
1995
- 1995-03-17 JP JP05927295A patent/JP3512894B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10124681A (ja) * | 1996-10-18 | 1998-05-15 | Ricoh Co Ltd | 携帯型情報処理装置及び情報処理方法 |
| US7110021B2 (en) | 2002-05-31 | 2006-09-19 | Matsushita Electric Industrial Co., Ltd. | Vehicle surroundings monitoring device, and image production method/program |
| CN100346194C (zh) * | 2004-03-03 | 2007-10-31 | 株式会社东芝 | 三维图像显示装置 |
| WO2012176249A1 (ja) * | 2011-06-21 | 2012-12-27 | 国立大学法人奈良先端科学技術大学院大学 | 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、及び移動体 |
| JPWO2012176249A1 (ja) * | 2011-06-21 | 2015-04-27 | 国立大学法人 奈良先端科学技術大学院大学 | 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、及び移動体 |
| CN104154918A (zh) * | 2014-07-14 | 2014-11-19 | 南京航空航天大学 | 单目视觉导航特征点丢失故障处理方法 |
| CN104154918B (zh) * | 2014-07-14 | 2017-02-15 | 南京航空航天大学 | 单目视觉导航特征点丢失故障处理方法 |
| KR101707113B1 (ko) * | 2015-12-17 | 2017-03-16 | 재단법인대구경북과학기술원 | 관심영역 영상의 선택을 위한 도구 및 이를 이용한 선택 방법 |
| US11361466B2 (en) | 2018-11-30 | 2022-06-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| US11816861B2 (en) | 2018-11-30 | 2023-11-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3512894B2 (ja) | 2004-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785702B (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
| CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| US9841271B2 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
| CN106052584B (zh) | 一种基于视觉及惯性信息融合的轨道空间线形测量方法 | |
| JP2018527554A (ja) | 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 | |
| CN108413917B (zh) | 非接触式三维测量系统、非接触式三维测量方法及测量装置 | |
| JP2011027623A (ja) | 位置姿勢計測方法及び装置 | |
| CN103020952A (zh) | 信息处理设备和信息处理方法 | |
| Ahmed et al. | Pothole 3D reconstruction with a novel imaging system and structure from motion techniques | |
| Lagisetty et al. | Object detection and obstacle avoidance for mobile robot using stereo camera | |
| JP2015212644A (ja) | 情報処理装置およびその方法、計測装置、並びに、作業装置 | |
| JP5463584B2 (ja) | 変位計測方法、変位計測装置及び変位計測プログラム | |
| Barczyk et al. | Towards realistic covariance estimation of ICP-based Kinect V1 scan matching: The 1D case | |
| CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
| JP5698815B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| JP6040264B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| Kawata et al. | Scale optimization of structure from motion for structured light-based all-round 3D measurement | |
| Aliakbarpour et al. | Inertial-visual fusion for camera network calibration | |
| JP3712847B2 (ja) | ３次元形状計測方法と３次元形状計測装置及び撮像手段の姿勢検出装置 | |
| Xu et al. | A real-time ranging method based on parallel binocular vision | |
| JP3512919B2 (ja) | 物体形状・カメラ視点移動の復元装置及び復元方法 | |
| Barron et al. | Motion and structure from time-varying optical flow | |
| JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090116 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110116 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |