JP2920513B2 - ３次元物体位置姿勢決定方法 - Google Patents
３次元物体位置姿勢決定方法Info
- Publication number
- JP2920513B2 JP2920513B2 JP9008749A JP874997A JP2920513B2 JP 2920513 B2 JP2920513 B2 JP 2920513B2 JP 9008749 A JP9008749 A JP 9008749A JP 874997 A JP874997 A JP 874997A JP 2920513 B2 JP2920513 B2 JP 2920513B2
- Authority
- JP
- Japan
- Prior art keywords
- free
- form surface
- model
- range data
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、自由曲面体の入力
画像を自由曲面体モデルと照合して、自由曲面体の位置
姿勢を決定するための手法と、そのために必要な自由曲
面体モデルの生成法とを含む３次元物体位置姿勢決定方
法に関するものである。
画像を自由曲面体モデルと照合して、自由曲面体の位置
姿勢を決定するための手法と、そのために必要な自由曲
面体モデルの生成法とを含む３次元物体位置姿勢決定方
法に関するものである。
【０００２】
【従来の技術】物体の入力画像からその物体の位置姿勢
を決定する場合、物体表面上の固定エッジが重要な手が
かりとなる。ここで、固定エッジとは、物体表面形状の
不連続、または物体表面反射率の不連続を意味する。こ
の固定エッジから３次元的な幾何特徴を抽出し、これを
物体の固定エッジをモデル化した物体モデルと照合する
ことにより、物体の位置姿勢を決定している。
を決定する場合、物体表面上の固定エッジが重要な手が
かりとなる。ここで、固定エッジとは、物体表面形状の
不連続、または物体表面反射率の不連続を意味する。こ
の固定エッジから３次元的な幾何特徴を抽出し、これを
物体の固定エッジをモデル化した物体モデルと照合する
ことにより、物体の位置姿勢を決定している。
【０００３】
【発明が解決しようとする課題】入力されたステレオ画
像から物体の位置姿勢を決定する従来の手法は、固定エ
ッジを持たない自由曲面体を扱うことは困難であった。
像から物体の位置姿勢を決定する従来の手法は、固定エ
ッジを持たない自由曲面体を扱うことは困難であった。
【０００４】自由曲面体をＩＴＶカメラなどで撮影した
場合、その輪郭線は、曲面の遮蔽輪郭線（物体が背景を
遮ることによって生じる輪郭線）のみが見かけの輪郭線
として観測される。この見かけの輪郭線の自由曲面体表
面上における物理的な位置は、自由曲面体を観測する方
向によって様々に変化する。このため、ステレオ画像と
の照合に利用できるよう、自由曲面体をモデル化するこ
とは困難であった。
場合、その輪郭線は、曲面の遮蔽輪郭線（物体が背景を
遮ることによって生じる輪郭線）のみが見かけの輪郭線
として観測される。この見かけの輪郭線の自由曲面体表
面上における物理的な位置は、自由曲面体を観測する方
向によって様々に変化する。このため、ステレオ画像と
の照合に利用できるよう、自由曲面体をモデル化するこ
とは困難であった。
【０００５】本発明は、上記のような問題点に着目して
なされたもので、ステレオ画像と自由曲面体モデルとの
照合によって自由曲面体の位置姿勢を決定するととも
に、そのために必要な自由曲面体のモデル化を可能とす
る３次元物体位置姿勢決定方法を提供することを目的と
している。
なされたもので、ステレオ画像と自由曲面体モデルとの
照合によって自由曲面体の位置姿勢を決定するととも
に、そのために必要な自由曲面体のモデル化を可能とす
る３次元物体位置姿勢決定方法を提供することを目的と
している。
【０００６】
【課題を解決するための手段】本発明にかかる３次元物
体位置姿勢決定方法は、あらかじめ物体を計測して得ら
れる全周囲レンジデータからなる自由曲面体モデルと３
次元物体である自由曲面体の入力画像とを照合して前記
自由曲面体の位置姿勢を決定する３次元物体位置姿勢決
定方法であって、前記自由曲面体をある観測方向から観
測したステレオ画像を入力し、このステレオ画像から該
物体のエッジを抽出して、その局所的形状によりセグメ
ントに分割し、これらのセグメントに局所的幾何特徴を
付加し、この局所的幾何特徴を前記自由曲面体モデルの
局所的幾何特徴モデルと初期照合を行うことにより対応
する候補を検出するとともに、この候補の位置姿勢およ
び前記観測方向より、自由曲面体の見かけの輪郭線に対
応する自由曲面体モデルの小平面パッチを選び、この小
平面パッチを用いて各対応する候補を微調整し、この初
期照合と微調整の認識処理により前記自由曲面体の位置
姿勢を検出するようにしたものである。
体位置姿勢決定方法は、あらかじめ物体を計測して得ら
れる全周囲レンジデータからなる自由曲面体モデルと３
次元物体である自由曲面体の入力画像とを照合して前記
自由曲面体の位置姿勢を決定する３次元物体位置姿勢決
定方法であって、前記自由曲面体をある観測方向から観
測したステレオ画像を入力し、このステレオ画像から該
物体のエッジを抽出して、その局所的形状によりセグメ
ントに分割し、これらのセグメントに局所的幾何特徴を
付加し、この局所的幾何特徴を前記自由曲面体モデルの
局所的幾何特徴モデルと初期照合を行うことにより対応
する候補を検出するとともに、この候補の位置姿勢およ
び前記観測方向より、自由曲面体の見かけの輪郭線に対
応する自由曲面体モデルの小平面パッチを選び、この小
平面パッチを用いて各対応する候補を微調整し、この初
期照合と微調整の認識処理により前記自由曲面体の位置
姿勢を検出するようにしたものである。
【０００７】また、自由曲面体モデルは、表面が自由曲
面形状である物体を計測して得られる全周囲レンジデー
タをサンプリングして得られる小平面パッチと、前記全
周囲レンジデータの重心を原点とする単位球上に設定し
たサンプリング方向からその全周囲レンジデータを観測
したときに推定される輪郭線から生成される局所的幾何
特徴モデルからなり、自由曲面体の観測方向が未知であ
っても前記局所的幾何特徴モデルと入力画像との初期照
合を可能にしたものである
面形状である物体を計測して得られる全周囲レンジデー
タをサンプリングして得られる小平面パッチと、前記全
周囲レンジデータの重心を原点とする単位球上に設定し
たサンプリング方向からその全周囲レンジデータを観測
したときに推定される輪郭線から生成される局所的幾何
特徴モデルからなり、自由曲面体の観測方向が未知であ
っても前記局所的幾何特徴モデルと入力画像との初期照
合を可能にしたものである
【０００８】
【発明の実施の形態】図１は、本発明による３次元物体
位置姿勢決定方法を実現するためのシステム構成を示す
ブロック図である。同図中１はシステム全体を制御する
コンピュータで、データバス２を通じて各部と接続され
ている。
位置姿勢決定方法を実現するためのシステム構成を示す
ブロック図である。同図中１はシステム全体を制御する
コンピュータで、データバス２を通じて各部と接続され
ている。
【０００９】３ａ，３ｂはテレビカメラで、そのアナロ
グ出力はＡ／Ｄ変換器４ａ，４ｂによりデジタル信号に
変換されてデータバス２に送出される。
グ出力はＡ／Ｄ変換器４ａ，４ｂによりデジタル信号に
変換されてデータバス２に送出される。
【００１０】５は全周囲レンジファインダで、その出力
である物体の全周囲レンジデータがデータバス２に送出
される。ここで、全周囲レンジデータとは、物体の全て
の面のデータを含んでいるレンジデータである。その獲
得については、基本的にはレーザ光源（および観測装
置）を移動させる方法と、物体を移動させる方法の２種
類があるが、その詳細は省略する。
である物体の全周囲レンジデータがデータバス２に送出
される。ここで、全周囲レンジデータとは、物体の全て
の面のデータを含んでいるレンジデータである。その獲
得については、基本的にはレーザ光源（および観測装
置）を移動させる方法と、物体を移動させる方法の２種
類があるが、その詳細は省略する。
【００１１】６はテレビカメラ３ａ，３ｂで撮像した物
体の画像を格納する画像メモリ、７は画像を表示するデ
ィスプレイ装置、８はプリンタ、９は画像データ，全周
囲レンジデータおよび自由曲面体モデルを保存するため
のデータを格納するハードディスク、１０はキーボード
ターミナルである。このシステムは、更に外部のホスト
コンピュータ１００と接続されている。
体の画像を格納する画像メモリ、７は画像を表示するデ
ィスプレイ装置、８はプリンタ、９は画像データ，全周
囲レンジデータおよび自由曲面体モデルを保存するため
のデータを格納するハードディスク、１０はキーボード
ターミナルである。このシステムは、更に外部のホスト
コンピュータ１００と接続されている。
【００１２】図２は、図１のシステムにおいて、本発明
の３次元物体位置姿勢決定方法の処理のために用いる、
自由曲面体モデルを生成するための処理の流れを示すフ
ローチャートであり、実際の自由曲面体を計測して得ら
れる自由曲面体の全周囲レンジデータから３次元物体位
置姿勢決定に必要な特徴を抽出するための処理の流れを
示している。なお、（Ｓｍ１），（Ｓｍ２−１），・・
・は各ステップを示す。
の３次元物体位置姿勢決定方法の処理のために用いる、
自由曲面体モデルを生成するための処理の流れを示すフ
ローチャートであり、実際の自由曲面体を計測して得ら
れる自由曲面体の全周囲レンジデータから３次元物体位
置姿勢決定に必要な特徴を抽出するための処理の流れを
示している。なお、（Ｓｍ１），（Ｓｍ２−１），・・
・は各ステップを示す。
【００１３】まず、自由曲面体の全周囲レンジデータを
入力し（Ｓｍ１）、この全周囲レンジデータをサンプリ
ングして（Ｓｍ２−１）、小平面パッチを生成する（Ｓ
ｍ２−２）。一方、全周囲レンジデータの重心を原点と
する単位球上にサンプリング方向を設定し（Ｓｍ３−
１）、各方向からレンジデータを観測したときに推定さ
れる輪郭線を生成し（Ｓｍ３−２）、それらの輪郭線を
局所的形状によりセグメントに分割する（Ｓｍ３−
３）。それぞれのセグメントから局所的幾何特徴を抽出
し（Ｓｍ３−４）、局所的幾何特徴モデルであるモデル
頂点・モデル円弧を生成する（Ｓｍ３−５）。こうして
生成された小平面パッチと局所的幾何特徴モデルとを統
合して（Ｓｍ４）生成した自由曲面体モデルをハードデ
ィスクに登録しておく（Ｓｍ５）。
入力し（Ｓｍ１）、この全周囲レンジデータをサンプリ
ングして（Ｓｍ２−１）、小平面パッチを生成する（Ｓ
ｍ２−２）。一方、全周囲レンジデータの重心を原点と
する単位球上にサンプリング方向を設定し（Ｓｍ３−
１）、各方向からレンジデータを観測したときに推定さ
れる輪郭線を生成し（Ｓｍ３−２）、それらの輪郭線を
局所的形状によりセグメントに分割する（Ｓｍ３−
３）。それぞれのセグメントから局所的幾何特徴を抽出
し（Ｓｍ３−４）、局所的幾何特徴モデルであるモデル
頂点・モデル円弧を生成する（Ｓｍ３−５）。こうして
生成された小平面パッチと局所的幾何特徴モデルとを統
合して（Ｓｍ４）生成した自由曲面体モデルをハードデ
ィスクに登録しておく（Ｓｍ５）。
【００１４】次に、図３〜図７を参照してさらに上記の
自由曲面体モデルの生成処理を詳細に説明する。
自由曲面体モデルの生成処理を詳細に説明する。
【００１５】図３は、自由曲面体モデルが、小平面パッ
チ２１と、局所的幾何特徴モデルであるモデル頂点・モ
デル円弧２４からなり、自由曲面体の全周囲レンジデー
タ２０をもとに、生成されることを示している。２２は
単位球を、サンプリング方向を表す多面体として示して
いる。この多面体を測地ドームとも言う。２３は輪郭線
を示す。
チ２１と、局所的幾何特徴モデルであるモデル頂点・モ
デル円弧２４からなり、自由曲面体の全周囲レンジデー
タ２０をもとに、生成されることを示している。２２は
単位球を、サンプリング方向を表す多面体として示して
いる。この多面体を測地ドームとも言う。２３は輪郭線
を示す。
【００１６】小平面パッチ２１は、自由曲面体の表面形
状を代表するデータであり、全周囲レンジデータ２０を
サンプリングして生成する。ここで、小平面パッチ２１
の大きさは、サンプリングの間隔に等しい。サンプリン
グの間隔は、対象とする物体の形状とサイズに依存す
る。
状を代表するデータであり、全周囲レンジデータ２０を
サンプリングして生成する。ここで、小平面パッチ２１
の大きさは、サンプリングの間隔に等しい。サンプリン
グの間隔は、対象とする物体の形状とサイズに依存す
る。
【００１７】小周囲パッチの作成には、以下の手順をふ
む。 （ａ）レンジデータをサンプリングする。サンプリング
間隔は対象物体の大きさと認識システムの設定に依存す
る（バナナ程度の物体であれば３ｍｍ間隔程度）。 （ｂ）サンプリングしたデータ（以下、サンプル点）近
傍のレンジデータを使って、そのサンプル点における表
面法線を計算する。この法線が「小平面パッチの法線」
である。 （ｃ）サンプル点の３次元座標とその表面法線ベクトル
によって決まる平面の、サンプル点座標を中心とする近
傍領域を小平面パッチとする。したがって、小平面パッ
チの重心＝サンプル点である。近傍の大きさは、サンプ
ル点間隔に依存する（サンプル点間隔が３ｍｍであれ
ば、小平面パッチの巾も３ｍｍ）。
む。 （ａ）レンジデータをサンプリングする。サンプリング
間隔は対象物体の大きさと認識システムの設定に依存す
る（バナナ程度の物体であれば３ｍｍ間隔程度）。 （ｂ）サンプリングしたデータ（以下、サンプル点）近
傍のレンジデータを使って、そのサンプル点における表
面法線を計算する。この法線が「小平面パッチの法線」
である。 （ｃ）サンプル点の３次元座標とその表面法線ベクトル
によって決まる平面の、サンプル点座標を中心とする近
傍領域を小平面パッチとする。したがって、小平面パッ
チの重心＝サンプル点である。近傍の大きさは、サンプ
ル点間隔に依存する（サンプル点間隔が３ｍｍであれ
ば、小平面パッチの巾も３ｍｍ）。
【００１８】図４には、ある自由曲面体（バナナの模
型）を例としたモデルの小平面パッチ２１ａを、面の重
心と法線方向を示すニードル（needle）によって表示し
た。また、小平面パッチ２１の数は全周囲レンジデータ
２０のサンプリング数による。
型）を例としたモデルの小平面パッチ２１ａを、面の重
心と法線方向を示すニードル（needle）によって表示し
た。また、小平面パッチ２１の数は全周囲レンジデータ
２０のサンプリング数による。
【００１９】図４は、バナナの表面に栗のいがのように
針が生えている状態の（コンピュータのモニタ映像を印
刷出力した）写真である。それぞれの針を拡大すると、
点と細い線からなっている。点が小平面パッチの重心
を、線が法線方向を示している。
針が生えている状態の（コンピュータのモニタ映像を印
刷出力した）写真である。それぞれの針を拡大すると、
点と細い線からなっている。点が小平面パッチの重心
を、線が法線方向を示している。
【００２０】モデル頂点・モデル円弧２４は、自由曲面
体の見かけの輪郭線の形状に関する特徴を反映したデー
タ構造である。
体の見かけの輪郭線の形状に関する特徴を反映したデー
タ構造である。
【００２１】自由曲面体の見かけの輪郭線である遮蔽輪
郭線は、観測方向によって異なる。このため、理想的に
は、任意の方向から観測されるすべての輪郭線２３を考
慮することが必要となるが、実用的なシステムとしてイ
ンプリメントすることは困難である。そこで、本実施形
態では、図３に示すような全周囲レンジデータ２０の重
心を原点とする単位球２２上の離散的な点として観測方
向をサンプリングし、各サンプリング方向から観測され
る輪郭線２３のみを考慮する。
郭線は、観測方向によって異なる。このため、理想的に
は、任意の方向から観測されるすべての輪郭線２３を考
慮することが必要となるが、実用的なシステムとしてイ
ンプリメントすることは困難である。そこで、本実施形
態では、図３に示すような全周囲レンジデータ２０の重
心を原点とする単位球２２上の離散的な点として観測方
向をサンプリングし、各サンプリング方向から観測され
る輪郭線２３のみを考慮する。
【００２２】なお、任意の方向から観測される輪郭線は
無限に存在し、これをモデル化することは困難なので、
有限の観測方向を離散的にサンプリングする。これをサ
ンプリング方向と表現している。観測方向は、単位球上
の点として表現できるので、単位球上に離散的に点をと
ることによってサンプリング方向を設定することができ
る。
無限に存在し、これをモデル化することは困難なので、
有限の観測方向を離散的にサンプリングする。これをサ
ンプリング方向と表現している。観測方向は、単位球上
の点として表現できるので、単位球上に離散的に点をと
ることによってサンプリング方向を設定することができ
る。
【００２３】サンプリング方向の密度は、物体形状の複
雑さと使用する計算機の能力に依存する。サンプリング
方向の設定が密であればあるほど認識の精度は向上する
が、計算量も増える。
雑さと使用する計算機の能力に依存する。サンプリング
方向の設定が密であればあるほど認識の精度は向上する
が、計算量も増える。
【００２４】図５に示すように、観測方向Ｇからの自由
曲面体の見かけの輪郭線２３は、物体表面上の点の法線
方向Ｎについて、
曲面体の見かけの輪郭線２３は、物体表面上の点の法線
方向Ｎについて、
【００２５】
【数１】Ｎ・Ｇ＝０ を満たす点の集合である。しかし、実際の全周囲レンジ
データ２０は、量子化誤差などの影響により、滑らかな
輪郭線２３としてこれらの点を抽出することは困難であ
る。そこで、
データ２０は、量子化誤差などの影響により、滑らかな
輪郭線２３としてこれらの点を抽出することは困難であ
る。そこで、
【００２６】
【数２】 であるような、図中斜線で示した領域が見かけの輪郭線
２３を形成すると見なす。この領域を細線化すること
で、観測方向Ｇからの見かけの輪郭線２３に対応する物
体表面上の点の集合を得ることができる。
２３を形成すると見なす。この領域を細線化すること
で、観測方向Ｇからの見かけの輪郭線２３に対応する物
体表面上の点の集合を得ることができる。
【００２７】各点の world座標（ｘ，ｙ，ｚ）t を、観
測方向Ｇからみた画像座標（ｃｏｌ，ｒｏｗ）t に変換
して得られた画像座標における輪郭線２３を、特徴点
（分岐点，変曲点，屈曲点，遷移点）でセグメントに分
割する。
測方向Ｇからみた画像座標（ｃｏｌ，ｒｏｗ）t に変換
して得られた画像座標における輪郭線２３を、特徴点
（分岐点，変曲点，屈曲点，遷移点）でセグメントに分
割する。
【００２８】局所的幾何特徴モデルであるモデル頂点・
モデル円弧２４は、セグメントに円弧または直線をあて
はめることによって生成する。図６に示すように、隣接
するセグメントにあてはめられた円弧または直線からモ
デル頂点が、また、セグメントに円弧があてはめられた
場合はモデル円弧が、それぞれ生成される。図に示すよ
うに、モデル頂点は、セグメント端点、すなわち輪郭線
２３の特徴点の３次元座標と２つの方向ベクトルを、モ
デル円弧についてはさらに半径を情報として持つ。
モデル円弧２４は、セグメントに円弧または直線をあて
はめることによって生成する。図６に示すように、隣接
するセグメントにあてはめられた円弧または直線からモ
デル頂点が、また、セグメントに円弧があてはめられた
場合はモデル円弧が、それぞれ生成される。図に示すよ
うに、モデル頂点は、セグメント端点、すなわち輪郭線
２３の特徴点の３次元座標と２つの方向ベクトルを、モ
デル円弧についてはさらに半径を情報として持つ。
【００２９】ところで、自由曲面体の見かけの輪郭線２
３は、一般に３次元空間における自由曲線を構成するた
め、単独の円弧または直線をセグメントにあてはめた場
合、誤差が無視できないほど大きくなることが多い。こ
のため、セグメントへの直線または円のあてはめ誤差が
大きい場合は、図７に示すように、セグメントを分割し
て再帰的にあてはめを行うこととした。モデル頂点・モ
デル円弧２４の生成には、セグメント端点を含む直線・
円弧のみを使用する。
３は、一般に３次元空間における自由曲線を構成するた
め、単独の円弧または直線をセグメントにあてはめた場
合、誤差が無視できないほど大きくなることが多い。こ
のため、セグメントへの直線または円のあてはめ誤差が
大きい場合は、図７に示すように、セグメントを分割し
て再帰的にあてはめを行うこととした。モデル頂点・モ
デル円弧２４の生成には、セグメント端点を含む直線・
円弧のみを使用する。
【００３０】このようにして算出した各サンプリング方
向からのモデル頂点・モデル円弧２４と前記小平面パッ
チ２１を統合し、自由曲面体モデルとする。生成された
自由曲面体モデルは、システムのハードディスク９に登
録される。
向からのモデル頂点・モデル円弧２４と前記小平面パッ
チ２１を統合し、自由曲面体モデルとする。生成された
自由曲面体モデルは、システムのハードディスク９に登
録される。
【００３１】図８は、図１のシステムにおいて、本発明
の３次元物体位置姿勢決定方法の基本的な処理の流れを
示すフローチャートであり、入力画像を自由曲面体モデ
ルと照合して自由曲面体の位置姿勢を決定するための処
理の流れを示している。なお、（Ｓ１）〜（Ｓ８）は各
ステップを示す。
の３次元物体位置姿勢決定方法の基本的な処理の流れを
示すフローチャートであり、入力画像を自由曲面体モデ
ルと照合して自由曲面体の位置姿勢を決定するための処
理の流れを示している。なお、（Ｓ１）〜（Ｓ８）は各
ステップを示す。
【００３２】まず、ある観測方向から撮像した３次元物
体のステレオ画像を入力し（Ｓ１）、このステレオ画像
から該物体のエッジを抽出して（Ｓ２）、その局所的特
徴によりセグメントに分割する（Ｓ３）。そして、この
セグメントに局所的幾何特徴であるデータ頂点・データ
円弧を付加し（Ｓ４）、次いで、このセグメントの局所
的幾何特徴を上記自由曲面体モデルの局所的幾何特徴モ
デルと初期照合することにより対応する候補を検出する
とともに（Ｓ５）、この候補の位置姿勢および前記観測
方向より、自由曲面体の見かけの輪郭線に対応する自由
曲面体モデルの小平面パッチを選び（Ｓ６）、この小平
面パッチを用いて各対応する候補を微調整し（Ｓ７）、
この初期照合と微調整により上記自由曲面体の位置姿勢
を検出する（Ｓ８）ものである。
体のステレオ画像を入力し（Ｓ１）、このステレオ画像
から該物体のエッジを抽出して（Ｓ２）、その局所的特
徴によりセグメントに分割する（Ｓ３）。そして、この
セグメントに局所的幾何特徴であるデータ頂点・データ
円弧を付加し（Ｓ４）、次いで、このセグメントの局所
的幾何特徴を上記自由曲面体モデルの局所的幾何特徴モ
デルと初期照合することにより対応する候補を検出する
とともに（Ｓ５）、この候補の位置姿勢および前記観測
方向より、自由曲面体の見かけの輪郭線に対応する自由
曲面体モデルの小平面パッチを選び（Ｓ６）、この小平
面パッチを用いて各対応する候補を微調整し（Ｓ７）、
この初期照合と微調整により上記自由曲面体の位置姿勢
を検出する（Ｓ８）ものである。
【００３３】次に、図９〜図１４を参照してさらに上記
の３次元物体位置姿勢決定の処理を詳細に説明する。
の３次元物体位置姿勢決定の処理を詳細に説明する。
【００３４】図９（ａ）に入力ステレオ画像の例（640
×480 pixels，256 gray-levels）を示す。同図（ｂ）
は、（ａ）のステレオ画像から、セグメントベーストス
テレオによって復元された３次元情報を、正面および平
面図によって表している。なお、３次元情報を持つ点を
データ点と呼ぶことにする。
×480 pixels，256 gray-levels）を示す。同図（ｂ）
は、（ａ）のステレオ画像から、セグメントベーストス
テレオによって復元された３次元情報を、正面および平
面図によって表している。なお、３次元情報を持つ点を
データ点と呼ぶことにする。
【００３５】認識のための幾何特徴は、画像の境界表現
（Ｂ−ＲＥＰ）のセグメントに円弧または直線をあては
めることによって生成する。これには前述の図６により
説明したモデル頂点・モデル円弧２４の生成と同様に、
隣接するセグメントにあてはめられた円弧または直線か
らデータ頂点が、また、セグメントに円弧があてはめら
れた場合はデータ円弧が、それぞれ生成される。図に示
すように、データ頂点・データ円弧は、セグメント端
点、すなわち輪郭線の特徴点の３次元座標と２つの方向
ベクトルを、データ円弧についてはさらに半径を情報と
して持つ。
（Ｂ−ＲＥＰ）のセグメントに円弧または直線をあては
めることによって生成する。これには前述の図６により
説明したモデル頂点・モデル円弧２４の生成と同様に、
隣接するセグメントにあてはめられた円弧または直線か
らデータ頂点が、また、セグメントに円弧があてはめら
れた場合はデータ円弧が、それぞれ生成される。図に示
すように、データ頂点・データ円弧は、セグメント端
点、すなわち輪郭線の特徴点の３次元座標と２つの方向
ベクトルを、データ円弧についてはさらに半径を情報と
して持つ。
【００３６】ところで、自由曲面体の見かけの輪郭線
は、一般に３次元空間における自由曲線を構成するた
め、単独の円弧または直線をセグメントにあてはめた場
合、誤差が無視できないほど大きくなることが多い。こ
のため、セグメントへの直線または円のあてはめ誤差が
大きい場合は、図７に示すように、セグメントを分割し
て再帰的にあてはめを行うこととした。データ頂点・円
弧の生成には、セグメント端点を含む直線・円弧のみを
使用する。
は、一般に３次元空間における自由曲線を構成するた
め、単独の円弧または直線をセグメントにあてはめた場
合、誤差が無視できないほど大きくなることが多い。こ
のため、セグメントへの直線または円のあてはめ誤差が
大きい場合は、図７に示すように、セグメントを分割し
て再帰的にあてはめを行うこととした。データ頂点・円
弧の生成には、セグメント端点を含む直線・円弧のみを
使用する。
【００３７】物体の位置姿勢は、モデルを認識データ中
の対応する場所に移動させる３×３回転行列Ｒと平行移
動ベクトルｔで表現できる。本発明で提案する自由曲面
体の位置姿勢検出アルゴリズムは、“初期照合”および
“微調整”の２段階の処理からなる。
の対応する場所に移動させる３×３回転行列Ｒと平行移
動ベクトルｔで表現できる。本発明で提案する自由曲面
体の位置姿勢検出アルゴリズムは、“初期照合”および
“微調整”の２段階の処理からなる。
【００３８】初期照合は、局所的な幾何特徴であるデー
タ頂点・データ円弧とモデル頂点・モデル円弧を照合
し、自由曲面体のおよその位置姿勢を算出する処理であ
る。
タ頂点・データ円弧とモデル頂点・モデル円弧を照合
し、自由曲面体のおよその位置姿勢を算出する処理であ
る。
【００３９】図１０に示すように、モデル頂点・モデル
円弧の点Ｐm とベクトルＶm1，Ｖm2を、対応するデータ
頂点・データ円弧の点Ｐd とベクトルＶd1，Ｖd2の位置
に移動させることを考える。このとき、回転行列Ｒ′と
平行移動ベクトルｔ′は、
円弧の点Ｐm とベクトルＶm1，Ｖm2を、対応するデータ
頂点・データ円弧の点Ｐd とベクトルＶd1，Ｖd2の位置
に移動させることを考える。このとき、回転行列Ｒ′と
平行移動ベクトルｔ′は、
【００４０】
【数３】ｔ′＝Ｐd −Ｐm ， Ｖd1＝Ｒ′Ｖm1， Ｖd2＝Ｒ′Ｖｍ２ より算出することができる。
【００４１】しかしながら、データ頂点・円弧とモデル
頂点・円弧の正しい組み合わせを前もって知ることはで
きないので、頂点については角度を、円弧については半
径をそれぞれ比較し、その差がしきい値以下である全て
の組み合わせを物体の位置姿勢に関する仮説とする。
頂点・円弧の正しい組み合わせを前もって知ることはで
きないので、頂点については角度を、円弧については半
径をそれぞれ比較し、その差がしきい値以下である全て
の組み合わせを物体の位置姿勢に関する仮説とする。
【００４２】微調整は、初期照合で得られた仮説を検証
するとともに、認識精度を向上させる処理である。
するとともに、認識精度を向上させる処理である。
【００４３】Ｒ′，ｔ′によってモデルを移動させる。
ここで、移動後の小平面パッチの重心をＳ，法線をＮと
すると、
ここで、移動後の小平面パッチの重心をＳ，法線をＮと
すると、
【００４４】
【数４】 を満足する小平面は、観測位置ｏから観測可能である。
したがって、式（１）を満足する小平面パッチ領域の境
界が、自由曲面体の輪郭線に対応するとみなすことがで
きる。
したがって、式（１）を満足する小平面パッチ領域の境
界が、自由曲面体の輪郭線に対応するとみなすことがで
きる。
【００４５】こうして選んだ小平面の近傍にデータ点が
存在するとき、その小平面とデータ点をそれぞれＭｉ
，Ｄi （ｉ＝１，・・・，ｎ）と表す。ここで、ｎは
小平面とデータ点の組の数である。このとき、図１１に
示すように、データ点位置ＰD から小平面に降ろした垂
線の足をＰM とすると、ＰM をＰD に一致するように移
動させる最適なＲ″，ｔ″を、
存在するとき、その小平面とデータ点をそれぞれＭｉ
，Ｄi （ｉ＝１，・・・，ｎ）と表す。ここで、ｎは
小平面とデータ点の組の数である。このとき、図１１に
示すように、データ点位置ＰD から小平面に降ろした垂
線の足をＰM とすると、ＰM をＰD に一致するように移
動させる最適なＲ″，ｔ″を、
【００４６】
【数５】 を最小にする最小自乗法によって算出する。ここで、
【００４７】
【数６】Ｒ＝Ｒ″Ｒ′ ｔ＝ｔ″＋ｔ′ が微調整後の物体位置を表す。精度が十分でない場合
は、
は、
【００４８】
【数７】Ｒ′＝Ｒ ｔ′＝ｔ として処理を繰り返す。十分な繰り返し処理の後も認識
精度が収束しない場合は、初期照合が誤りであったとみ
なす。
精度が収束しない場合は、初期照合が誤りであったとみ
なす。
【００４９】初期照合で得られたすべての仮説について
上記の処理を行い、最大のｎが得られた仮説を最終的な
認識結果とする。
上記の処理を行い、最大のｎが得られた仮説を最終的な
認識結果とする。
【００５０】図１２に、微調整の過程を（ｃｏｌ，ｒｏ
ｗ）t 座標に変換して示した。図中、・はデータ点、○
は近傍にデータ点が存在する小平面パッチを、●はデー
タ点が近傍にない小平面パッチを表す。図に示すよう
に、まず初期照合に使ったモデル頂点・円弧近傍の小平
面パッチのみにより微調整（１）を行い、その後すべて
の小平面パッチを用いた微調整（２）を行うことで、処
理効率を高めている。
ｗ）t 座標に変換して示した。図中、・はデータ点、○
は近傍にデータ点が存在する小平面パッチを、●はデー
タ点が近傍にない小平面パッチを表す。図に示すよう
に、まず初期照合に使ったモデル頂点・円弧近傍の小平
面パッチのみにより微調整（１）を行い、その後すべて
の小平面パッチを用いた微調整（２）を行うことで、処
理効率を高めている。
【００５１】実験では、図１２，１３，１４の自由曲面
体モデルの構築には、ステレオレンジファインダによっ
て計測した720 ×480 点の全周囲レンジデータを用い
た。モデル頂点・モデル円弧の算出には、一例として４
６点のサンプリング方向を用いた。また、小平面パッチ
の大きさは、３mm×３mmとした。
体モデルの構築には、ステレオレンジファインダによっ
て計測した720 ×480 点の全周囲レンジデータを用い
た。モデル頂点・モデル円弧の算出には、一例として４
６点のサンプリング方向を用いた。また、小平面パッチ
の大きさは、３mm×３mmとした。
【００５２】認識結果の例を、図１３に示す。回転行列
Ｒ，平行移動ベクトルｔによってモデルを移動させ、輪
郭線に対応する小平面パッチの重心を連結した折れ線を
図９のステレオ画像（左）上に投影して作成した。
Ｒ，平行移動ベクトルｔによってモデルを移動させ、輪
郭線に対応する小平面パッチの重心を連結した折れ線を
図９のステレオ画像（左）上に投影して作成した。
【００５３】図１４には、異なる４つの観測方向からの
認識結果を示した。
認識結果を示した。
【００５４】
【発明の効果】以上のように、本発明は、あらかじめ物
体を計測して得られる全周囲レンジデータからなる自由
曲面体モデルと３次元物体である自由曲面体の入力画像
とを照合して前記自由曲面体の位置姿勢を決定する３次
元物体位置姿勢決定方法であって、前記自由曲面体をあ
る観測方向から観測したステレオ画像を入力し、このス
テレオ画像から該物体のエッジを抽出して、その局所的
形状によりセグメントに分割し、これらのセグメントに
局所的幾何特徴を付加し、この局所的幾何特徴を前記自
由曲面体モデルの局所的幾何特徴モデルと初期照合を行
うことにより対応する候補を検出するとともに、この候
補の位置姿勢および前記観測方向より、自由曲面体の見
かけの輪郭線に対応する自由曲面体モデルの小平面パッ
チを選び、この小平面パッチを用いて各対応する候補を
微調整し、この初期照合と微調整の認識処理により前記
自由曲面体の位置姿勢を検出するようにしたので、ステ
レオ画像と自由曲面体モデルの照合によって自由曲面体
の位置姿勢を決定することが可能になる。
体を計測して得られる全周囲レンジデータからなる自由
曲面体モデルと３次元物体である自由曲面体の入力画像
とを照合して前記自由曲面体の位置姿勢を決定する３次
元物体位置姿勢決定方法であって、前記自由曲面体をあ
る観測方向から観測したステレオ画像を入力し、このス
テレオ画像から該物体のエッジを抽出して、その局所的
形状によりセグメントに分割し、これらのセグメントに
局所的幾何特徴を付加し、この局所的幾何特徴を前記自
由曲面体モデルの局所的幾何特徴モデルと初期照合を行
うことにより対応する候補を検出するとともに、この候
補の位置姿勢および前記観測方向より、自由曲面体の見
かけの輪郭線に対応する自由曲面体モデルの小平面パッ
チを選び、この小平面パッチを用いて各対応する候補を
微調整し、この初期照合と微調整の認識処理により前記
自由曲面体の位置姿勢を検出するようにしたので、ステ
レオ画像と自由曲面体モデルの照合によって自由曲面体
の位置姿勢を決定することが可能になる。
【００５５】また、自由曲面体モデルは、表面が自由曲
面形状である物体を計測して得られる全周囲レンジデー
タをサンプリングして得られる小平面パッチと、前記全
周囲レンジデータの重心を原点とする単位球上に設定し
たサンプリング方向からその全周囲レンジデータを観測
したときに推定される輪郭線から生成される局所的幾何
特徴モデルからなるので、自由曲面体の観測方向が未知
であっても、入力画像と局所的幾何特徴モデルとの初期
照合が可能となる。
面形状である物体を計測して得られる全周囲レンジデー
タをサンプリングして得られる小平面パッチと、前記全
周囲レンジデータの重心を原点とする単位球上に設定し
たサンプリング方向からその全周囲レンジデータを観測
したときに推定される輪郭線から生成される局所的幾何
特徴モデルからなるので、自由曲面体の観測方向が未知
であっても、入力画像と局所的幾何特徴モデルとの初期
照合が可能となる。
【図１】本発明を実施するためのシステム構成を示すブ
ロック図である。
ロック図である。
【図２】本発明の自由曲面体モデル生成の基本的な処理
の流れを示すフローチャートである。
の流れを示すフローチャートである。
【図３】自由曲面体モデルの構成ともとになる全周囲レ
ンジデータを示した図である。
ンジデータを示した図である。
【図４】自由曲面体モデルの小平面パッチをニードル表
現で示した図である。
現で示した図である。
【図５】自由曲面体の全周囲レンジデータの見かけの輪
郭線についての説明図である。
郭線についての説明図である。
【図６】局所的幾何特徴の生成の説明図である。
【図７】自由曲線セグメントへの直線・円あてはめの図
である。
である。
【図８】本発明の３次元物体の位置姿勢決定の基本的な
処理を示すフローチャートである。
処理を示すフローチャートである。
【図９】ステレオ画像と復元された３次元情報を示す図
である。
である。
【図１０】局所的幾何特徴による初期照合の説明図であ
る。
る。
【図１１】微調整における小平面パッチ近傍のデータ点
を説明する図である。
を説明する図である。
【図１２】微調整の過程と結果を示した図である。
【図１３】認識結果を示す図である。
【図１４】様々な観測方向からの認識結果を示す図であ
る。
る。
１ コンピュータ ２ データバス ３ａ，３ｂ ＩＴＶ ４ａ，４ｂ Ａ／Ｄ ５ 全周囲レンジファインダ ６ 画像メモリ ７ ディスプレイ ８ プリンタ ９ ハードディスク １０ キーボードターミナル ２０ 全周囲レンジデータ ２１，２１ａ 小平面パッチ ２２ 単位球 ２３ 輪郭線 ２４ モデル頂点・モデル円弧 １００ ホストコンピュータ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−178885（ＪＰ，Ａ) 特開 平１−158573（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G01B 11/00 - 11/30 G06T 7/00
Claims (2)
- 【請求項１】 あらかじめ物体を計測して得られる全周
囲レンジデータからなる自由曲面体モデルと３次元物体
である自由曲面体の入力画像とを照合して前記自由曲面
体の位置姿勢を決定する３次元物体位置姿勢決定方法で
あって、前記自由曲面体をある観測方向から観測したス
テレオ画像を入力し、このステレオ画像から該物体のエ
ッジを抽出して、その局所的形状によりセグメントに分
割し、これらのセグメントに局所的幾何特徴を付加し、
この局所的幾何特徴を前記自由曲面体モデルの局所的幾
何特徴モデルと初期照合を行うことにより対応する候補
を検出するとともに、この候補の位置姿勢および前記観
測方向より、自由曲面体の見かけの輪郭線に対応する自
由曲面体モデルの小平面パッチを選び、この小平面パッ
チを用いて各対応する候補を微調整し、この初期照合と
微調整の認識処理により前記自由曲面体の位置姿勢を検
出することを特徴とする３次元物体位置姿勢決定方法。 - 【請求項２】 自由曲面体モデルは、表面が自由曲面形
状である物体を計測して得られる全周囲レンジデータを
サンプリングして得られる小平面パッチと、前記全周囲
レンジデータの重心を原点とする単位球上に設定したサ
ンプリング方向からその全周囲レンジデータを観測した
ときに推定される輪郭線から生成される局所的幾何特徴
モデルからなり、自由曲面体の観測方向が未知であって
も前記局所的幾何特徴モデルと入力画像との初期照合を
可能にしたものであることを特徴とする請求項１記載の
３次元物体位置姿勢決定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9008749A JP2920513B2 (ja) | 1997-01-21 | 1997-01-21 | ３次元物体位置姿勢決定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9008749A JP2920513B2 (ja) | 1997-01-21 | 1997-01-21 | ３次元物体位置姿勢決定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10206135A JPH10206135A (ja) | 1998-08-07 |
| JP2920513B2 true JP2920513B2 (ja) | 1999-07-19 |
Family
ID=11701591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9008749A Expired - Lifetime JP2920513B2 (ja) | 1997-01-21 | 1997-01-21 | ３次元物体位置姿勢決定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2920513B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011017611A (ja) * | 2009-07-09 | 2011-01-27 | National Institute Of Advanced Industrial Science & Technology | ３次元曲面認識方法及びマニピュレーションシステム |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000057129A1 (fr) | 1999-03-19 | 2000-09-28 | Matsushita Electric Works, Ltd. | Procede de reconnaissance d'objet tridimensionnel et systeme de collecte de broches a l'aide de ce procede |
| JP4900204B2 (ja) * | 2007-11-22 | 2012-03-21 | 株式会社Ｉｈｉ | 物体認識方法 |
| JP5297727B2 (ja) * | 2008-09-04 | 2013-09-25 | トヨタ自動車株式会社 | ロボット装置及び物体の位置姿勢推定方法 |
| JP5141452B2 (ja) * | 2008-09-05 | 2013-02-13 | 富士通株式会社 | 姿勢計測装置及び姿勢計測方法 |
| US8442304B2 (en) * | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
| JP2011198330A (ja) * | 2010-03-24 | 2011-10-06 | National Institute Of Advanced Industrial Science & Technology | ３次元位置合わせにおける照合方法およびそのプログラム |
| JP5963353B2 (ja) * | 2012-08-09 | 2016-08-03 | 株式会社トプコン | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム |
| US10515259B2 (en) * | 2015-02-26 | 2019-12-24 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining 3D object poses and landmark points using surface patches |
| CN113566737B (zh) * | 2021-07-28 | 2022-08-19 | 赤湾集装箱码头有限公司 | 岸边起重机船体离梆监测方法及其岸边起重机 |
| CN114296397B (zh) * | 2021-12-01 | 2023-07-21 | 浙江大学 | 一种用于神经网络的零件模型几何特征提取方法 |
-
1997
- 1997-01-21 JP JP9008749A patent/JP2920513B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011017611A (ja) * | 2009-07-09 | 2011-01-27 | National Institute Of Advanced Industrial Science & Technology | ３次元曲面認識方法及びマニピュレーションシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10206135A (ja) | 1998-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105741346B (zh) | 用于校准深度照相机的方法 | |
| US7711180B2 (en) | Three-dimensional image measuring apparatus and method | |
| US6587601B1 (en) | Method and apparatus for performing geo-spatial registration using a Euclidean representation | |
| JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
| Pizarro et al. | Large area 3-D reconstructions from underwater optical surveys | |
| KR101007276B1 (ko) | 3차원 안면 인식 | |
| US8340401B2 (en) | Method and system for aligning three-dimensional surfaces | |
| CN100430690C (zh) | 利用单数码相机自由拍摄进行物体三维测量的方法 | |
| JP2016161569A (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| CN111079565B (zh) | 视图二维姿态模板的构建方法及识别方法、定位抓取系统 | |
| JP2920513B2 (ja) | ３次元物体位置姿勢決定方法 | |
| CN110021039A (zh) | 序列图像约束的多视角实物表面点云数据初始配准方法 | |
| Seales et al. | Building three-dimensional object models from image sequences | |
| JP3926059B2 (ja) | 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体 | |
| JP2961264B1 (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN111400830A (zh) | 一种三维毛坯工件的加工校准方法及装置 | |
| EP3499464B1 (en) | Three-dimensional data matching device and method | |
| CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| WO2022018811A1 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| JP5030183B2 (ja) | ３次元物体位置姿勢計測方法 | |
| JP4389663B2 (ja) | 画像処理方法及び画像処理装置 | |
| CN114511637A (zh) | 一种基于构造强特征的弱特征物体图像三维重建系统及方法 | |
| JPH1055446A (ja) | 物体認識装置 | |
| CN113034673A (zh) | 一种3d点云建模系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |