JPH08114416A - 画像データに基づく三次元物体認識装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】対象物の三次元運動及び位置姿勢を推定した上
で物体を認識し、対象物の三次元映像をも生成可能にす
る。 【構成】モデルデータベース７は、対象物の三次元ワイ
ヤフレーム情報を記憶しており、移動体抽出部４は、Ｃ
ＣＤカメラ２による映像ソースからブロックマッチング
法により移動体領域を抽出する。空間量子化部１０は、
移動体領域の二次元画像とテクスチャマッピングにより
生成した推定画像との間の比較計算を行いながら、移動
対象物の三次元位置姿勢を推定する。テクスチャマッピ
ング部９は、対象物メモリ８中のワイヤフレーム情報を
基準にし、かつ空間量子化部１０から出力される位置姿
勢情報を用いて、対象物のワイヤフレームへのテクスチ
ャマッピングを実行し、画像推定部１１は、斯様なテク
スチャマッピングを元にして対象物の仮想実画像を生成
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自律走行形自動車が車
外環境を画像処理技術により認識して既知形状の対象物
体（自動車、障害物、建築物など）を発見したり、自律
移動ロボットが既知対象物体と自身との間の三次元的な
位置関係を画像処理技術により検出する際の視覚認識装
置、或いは三次元映像データベースの構築や超低ビット
レート画像伝送のためのモデルベース符号化装置などの
用途に利用できる画像データに基づく三次元物体認識装
置に関する。

【０００２】

【従来の技術】近年では、ＦＡ検査の自動化機器、無人
監視装置、無人移動車、或いは自律移動ロボット用の視
覚装置に代表されるロボットビジョンなどの需要増大に
伴い、対象物や環境の運動・形状・色彩などを認識して
異なる視点から見た三次元映像を即座且つ自在に作り出
すことができる装置が要求されている。また、ＴＶ電話
などの超低ビットレート画像伝送や三次元映像の臨場感
通信を目的とした次世代映像符号化技術が研究されてい
るが、この場合の符号化プロセスにおいても、被写体の
三次元運動や変形を自動的に推定することが要求されて
いる。さらに、コンピュータグラフィックスを用いた映
像合成・編集技術においても、対象物のモデリングの自
動化に対する要求が非常に大きく、このような要求は人
工現実感技術の出現により益々増大している。

【０００３】例えば、工場内において形状が既知である
ワークを扱うＦＡ用自律移動ロボットについては、単眼
視カメラ（例えばＣＣＤカメラ）による二次元的な視覚
情報（画像情報）に基づいて三次元位置姿勢を認識する
ことが要求される。この場合には、絶対座標系で固定さ
れた画像処理対象からの特徴量抽出や形状パラメータ計
算などに基づいて、単眼視カメラの三次元現在位置と姿
勢とを算出することが目標となる。

【０００４】このようなＦＡ用位置姿勢認識手法として
は、例えば特開平６−２６２５６８号公報及び特開平６
−２５８０２８号公報に見られるように、画像情報に基
づいて対象物体の形状の特徴を示す画像特徴点を抽出す
ると共に、カメラの位置姿勢を表現するパラメータ空間
を目標精度の格子間隔で量子化し、各量子化空間点に対
応する画像特徴量の誤差評価関数最小化によって最適姿
勢位置を探索するものが考えられている。このような位
置姿勢認識手法は、工場内という既知の屋内環境におい
て既知形状の対象物を扱う場合を想定しているため、対
象物の見え方が限定でき、しかも照明条件がほぼ一定で
あることから、特徴点を二値化して抽出することが可能
となり、探索領域も機械の停止精度から限定できる。従
って、パラメータ毎の巡回的な一次元探索を数回繰り返
せば最適な位置姿勢を推定することができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
ような位置姿勢認識手法では、屋外環境のように明るさ
の変動や光の反射などの雑音成分レベルが大きい場所で
使用する場合、或いは非対象物と画像の重なりがあるな
どして対象物の見え方が限定できない場合などのよう
に、特徴点抽出を安定して行えない状況下では適用が困
難になるものであった。また、対象物そのものが曲面形
状を主体に構成されている場合のように特徴点の定義が
できない場合にも、適用が困難になるという事情があっ
た。つまり、従来構成では、対象物の形状、その見え方
と位置姿勢範囲、照明条件などに関して制約が存在する
ため、これが実用上の障害になっていた。また、従来構
成では、静止画像処理を基本にしているため移動対象物
の運動情報を推定することができず、このような点も課
題の一つとなっていた。

【０００６】一方、従来では、映像情報に基づく移動物
体の認識装置として、特開平５−７３６８１号公報及び
特開平５−７３６８２号公報などに記載されたもののよ
うに、対象物の特徴点抽出を前提としたものが知られて
いるが、これらのものも上述と同様の理由により曲面形
状の物体には適用が困難である。

【０００７】本発明は上記のような事情に鑑みてなされ
たものであり、その目的は、明るさの変動や光の反射な
どの雑音成分が多い状況下、或いは対象物の特徴点抽出
を安定して行えない状況下においても、異なる視点から
見た移動対象物の三次元映像を自在に生成可能となり、
しかも、斯様な三次元映像の生成を、対象物が曲面形状
を主体に構成されている場合或いは撮像手段の姿勢位置
が不明な状況下でも支障なく行い得るようになるなどの
効果を奏する画像データに基づく三次元物体認識装置を
提供することにある。

【０００８】

【課題を解決するための手段】本発明による三次元物体
認識装置は上記目的を達成するために、三次元形状が既
知である対象物を撮影する撮像手段を備え、この撮像手
段により撮影された系列画像中の連続する複数のフレー
ムの画像データに基づいた動画像処理を行うことにより
対象物の三次元位置姿勢を認識するための装置におい
て、前記複数のフレームの画面間で出現する二次元動ベ
クトルに基づいて移動体領域を抽出する移動体領域抽出
手段と、前記対象物の三次元構造をモデリングした形状
データを記憶している記憶手段と、前記移動体領域抽出
手段により抽出された移動体領域の二次元形状が得られ
る撮像手段位置及び姿勢を探索することにより前記対象
物の位置姿勢を推定する空間量子化手段と、この空間量
子化手段が推定した対象物の位置姿勢と前記記憶手段に
記憶された形状データとに基づいた三次元構造モデリン
グにより前記対象物の仮想実画像を生成する画像推定手
段とを備えた構成としたものである（請求項１）。

【０００９】この場合、前記空間量子化手段を、前記画
像推定手段により生成された仮想実画像と実際の観測画
像との間の誤差を予め定義された誤差評価関数により算
出すると共に、その誤差評価関数が最小値を取った状態
での三次元位置姿勢を最終推定結果として出力する構成
としても良い（請求項２）。

【００１０】また、前記空間量子化手段を、前記移動体
領域抽出手段により抽出された移動体領域の二次元形状
の長軸及び短軸の長さ情報から複数個の探索領域中心を
設定し、これらの探索領域を並列に一次元探索したデー
タに基づいて最終的に１つの位置姿勢を推定する構成と
しても良い（請求項３）。

【００１１】さらに、対象物における視覚的に特徴を把
握し易い部分を特徴領域として設定し、前記画像推定手
段を、仮想実画像の生成に当たって前記特徴領域以外の
画素密度が当該特徴領域より粗くなるように補間する構
成とすることもできる（請求項４）。

【００１２】前記移動体領域抽出手段は、ブロックマッ
チング法を用いてブロック単位の移動体領域を抽出して
ラベリングする構成とすることができる（請求項５）。

【００１３】この場合、移動体領域抽出手段は、ブロッ
ク単位で抽出した移動体領域から、雑音成分を含むブロ
ックを除去する機能を備えたものとすることができる
（請求項６）。

【００１４】また、上記移動体領域抽出手段は、ブロッ
ク単位で抽出した移動体領域に囲まれた範囲に動ベクト
ルが存在しない領域が含まれる場合に、そのブロックを
周囲のブロックと同一にラベリングする機能を備えた構
成とするこができる（請求項７）。

【００１５】さらに、上記移動体領域抽出手段は、ブロ
ック単位で抽出した移動体領域から、前記対象物の影に
対応した部分を色空間分割処理によって除去する機能を
備えた構成とすることができる（請求項８）。

【００１６】前記記憶手段を、前記対象物の形状データ
をワイヤフレームデータとして記憶した構成とし、前記
画像推定手段を、前記ワイヤフレームに対して前記対象
物を複数方向から撮影した実画像を張り付けるというテ
クスチャマッピングを行うことにより仮想実画像を生成
する構成としても良い（請求項９）。

【００１７】また、最終的な推定位置姿勢情報により生
成された複数の仮想実画像を含む再生映像に対して、推
定位置の時系列に応じた移動平均による平滑化処理を行
う構成としても良い（請求項１０）。

【００１８】

【作用及び発明の効果】請求項１記載の装置では、移動
体領域抽出手段が、撮像手段により撮影された系列画像
のうち、連続する複数のフレームの画面間で出現する二
次元動ベクトル（オプティカルフロー）に基づいて移動
体領域を抽出するようになる。このように抽出された移
動体領域の二次元形状は、撮像手段位置及び姿勢に応じ
た形状を呈するものであり、空間量子化手段は、上記抽
出移動体領域の二次元形状が得られるような撮像手段位
置及び姿勢を探索することにより前記対象物の三次元位
置姿勢を推定する。画像推定手段は、上記のように空間
量子化手段が推定した対象物の三次元位置姿勢と、記憶
手段に記憶された形状データ、つまり対象物の三次元構
造をモデリングした形状データとに基づいた三次元構造
モデリングにより対象物の仮想実画像を生成する。

【００１９】この結果、撮像手段の姿勢位置が不明な状
況下においても、異なる視点から見た対象物の三次元映
像を自在に生成可能となるものである。特にこの場合に
は、従来の位置姿勢認識手法のように、二値化処理によ
る特徴点の抽出が不要であるから、屋外環境のように明
るさの変動や光の反射などの雑音成分レベルが大きい場
所で使用する場合、或いは非対象物と画像の重なりなど
により対象物の見え方が限定できない場合であっても、
上記のような異なる視点から見た対象物の三次元映像の
生成を支障なく行い得るようになる。また、対象物その
ものが曲面形状を主体に構成されている場合において
も、当該対象物の三次元構造をモデリング可能であれ
ば、つまりその三次元構造をモデリングした形状データ
が記憶手段に記憶されてさえいれば、上述同様の対象物
の三次元映像の生成を支障なく行い得るようになる。

【００２０】請求項２記載の装置では、空間量子化手段
が、画像推定手段により生成された仮想実画像と実際の
観測画像との間の誤差を予め定義された誤差評価関数に
より算出すると共に、その誤差評価関数が最小値を取っ
た状態での三次元位置姿勢を最終推定結果として出力す
るようになる。この結果、最終的に画像推定手段により
生成される仮想実画像の精度を高め得るようになる。

【００２１】請求項３記載の装置では、空間量子化手段
が、移動体領域抽出手段により抽出された移動体領域の
二次元形状の長軸及び短軸の長さ情報から複数個の探索
領域中心を設定し、これらの探索領域を並列に一次元探
索したデータに基づいて最終的に１つの位置姿勢を推定
するようになる。従って、対象物の探索時に局所最適に
陥ることを防止できるようになり、しかも、このように
二次元形状から長軸及び短軸を抽出する処理自体は比較
的簡単であるから、探索領域中心の設定のための処理を
容易に行い得るようになって、空間量子化手段における
演算量を減らすことが可能となる。

【００２２】請求項４記載の装置では、対象物における
視覚的に特徴を把握し易い部分が特徴領域として設定さ
れ、画像推定手段は、仮想実画像の生成に当たって上記
特徴領域以外の画素密度が当該特徴領域より粗くなるよ
うに補間する構成であるから、画像推定手段での演算量
の低減を図り得るようになる。

【００２３】請求項５記載の装置では、移動体領域抽出
手段は、ブロックマッチング法を用いてブロック単位の
移動体領域を抽出してラベリングするようになる。この
場合、ブロックマッチング法は実用技術として既に確立
されたものであるから、移動体領域の抽出を確実に行い
得るようになる。

【００２４】請求項６記載の装置では、移動体領域抽出
手段は、ブロックマッチング法によりブロック単位で抽
出された移動体領域から、雑音成分を含むブロックを除
去するようになる。この結果、輝度のムラに起因した雑
音や画像そのものの雑音などによる悪影響を受けること
がなくなり、移動体領域の抽出精度を高め得るようにな
る。

【００２５】請求項７記載の装置では、移動体領域抽出
手段は、ブロック単位で抽出された移動体領域に囲まれ
た範囲に動ベクトルが存在しない領域が含まれる場合
に、そのブロックを周囲のブロックと同一にラベリング
するようになる。この結果、対象物からの光の反射など
により動ベクトルを検知できなかったブロックが存在す
る場合でも、移動体領域の抽出精度が低下する虞がなく
なる。

【００２６】請求項８記載の装置では、移動体領域抽出
手段は、ブロック単位で抽出された移動体領域から、対
象物の影に対応した部分を色空間分割処理によって除去
するようになるから、対象物の影が存在する状況下でも
移動体領域の抽出を精度良く行い得るようになる。

【００２７】請求項９記載の装置では、対象物の形状デ
ータがワイヤフレームデータとして記憶手段に記憶され
ていると共に、画像推定手段は、斯かるワイヤフレーム
に対して対象物を複数方向から撮影した実画像を張り付
けるというテクスチャマッピングを行うことにより仮想
実画像を生成するようになっているから、その仮想実画
像の生成を比較的簡単に行い得るようになる。

【００２８】請求項１０記載の装置では、最終的な推定
位置姿勢情報により生成された複数の仮想実画像を含む
再生映像に対して、推定位置の時系列に応じた移動平均
による平滑化処理が行われるから、各再生画像間におけ
る仮想実画像が滑らかな運動を示すようになり、高品質
の物体認識結果が得られるようになる。

【００２９】

【実施例】以下、本発明を自動車の走行シーンを撮影し
た原画像から当該自動車の三次元運動を推定する機能を
備えた三次元位置認識装置に適用した一実施例について
図面を参照しながら説明する。

【００３０】図１には、本実施例による三次元位置認識
装置の基本的な構成が機能ブロックの組み合わせにより
示されており、まず、この構成について概略的に説明す
る。即ち、図１において、Ａ／Ｄ変換部１は、例えばＲ
ＧＢ画像信号を発生するＣＣＤカメラ２（本発明による
撮像手段に相当）により撮影される系列画像、つまり対
象物を含むシーンを供給する映像ソースをデジタイズす
るようになっており、そのデジタイズ後の映像ソース
は、前処理部３にて雑音除去やフィルタリングが行われ
る。本発明でいう移動体領域抽出手段に相当した移動体
抽出部４は、前処理部３の出力データ（映像ソース）か
ら移動体領域画像の抽出を行い、特徴量抽出部５は、前
処理部３の出力データから動ベクトル以外の特徴量（特
徴点位置、領域分割、エッジ情報その他）の抽出を行
う。

【００３１】構造及び特徴量モデリング部６は、対象物
の三次元構造をワイヤフレームとしてモデリングする機
能を有するものであり、そのモデリングは例えば人手を
介在させて行い、斯様なワイヤフレームによる三次元構
造データはモデルデータベース７（本発明でいう記憶手
段に相当）に登録（記憶）される。このモデルデータベ
ース７に登録されたワイヤフレーム情報は、構造及び特
徴量モデリング部６内の要求解釈部により抽出された対
象物情報によって選択的にアクセスされて、対象物メモ
リ８にストアされるようになっている。

【００３２】テクスチャマッピング部９は、対象物メモ
リ８にストアされたワイヤフレームデータを基準にし、
且つ空間量子化部１０から出力される位置姿勢情報を用
いて、対象物のワイヤフレームへのテクスチャマッピン
グを実行し、テクスチャマッピング部９と共に本発明で
いう画像推定手段を構成する画像推定部１１は、斯様な
テクスチャマッピングを元にして対象物の仮想実画像を
生成する。上記空間量子化部１０は、本発明でいう空間
量子化手段を構成するもので、前記移動体抽出部４によ
る移動体領域の抽出画像を利用した移動対象物の位置姿
勢の推定を後述のように行うと共に、画像推定部１１に
よる仮想実画像に基づいた推定画像と移動体抽出部４に
よる移動体領域の抽出画像との照合による位置姿勢探索
を後述のように行うものであり、その結果を最適な位置
姿勢情報として出力するようになっている。属性演算部
１２は、空間量子化部１０からの位置姿勢情報、並びに
対象物に関する先見的情報、構造情報、色情報、周囲の
環境情報などに基づいて運動・色彩・形状及び環境情報
を出力する。

【００３３】前記構造及び特徴量モデリング部６は、外
部から入力される音声、言語、数値データなどの指示に
より対象物体や環境の認識に関わる要求を取り込み、装
置内の動作モード及びデータ形式に変換する機能を有す
る。また、構造及び特徴量モデリング部６は、未知対象
物のモデルデータベース７への登録の際に、そのカテゴ
リに応じた分類と数値入力要求、既登録対象物の検索を
行い、対象物メモリ８へ構造及び画像属性データを転送
する機能も有する。さらに、構造及び特徴量モデリング
部６においては、未知対象物の構造データの教示を対話
的に行うことにより、入力データの管理を行うようにな
っている。

【００３４】画像圧縮再生システム１３は、映像ソース
或いは仮想生成した環境映像または画像合成部１４によ
り得られる両者の合成画像などの画像データ群を圧縮し
て画像記憶部１５に順次蓄積する。通信用インタフェイ
ス１６は、例えば情報通信ネットワークにより得られた
圧縮画像情報やモデルデータベース情報或いは処理要求
のコマンドを装置内に取り込むと共に、他の装置にデー
タ送信する機能を有する。Ｄ／Ａ変換部１７は、装置内
で生成された映像データをアナログビデオ画像として出
力するものであり、その映像データはモニタ１８におい
て再生可能となっている。

【００３５】図２には、本実施例による三次元位置認識
装置の作動内容が示されており、以下、これについて関
連した部分の構成及び作動と共に説明する。

【００３６】図２に示された作動内容の概略は次の通り
である。ＣＣＤカメラ２による時刻ｎ（但し、ｎは自然
数）及び時刻（ｎ＋１）での各１フレーム分の画像を読
み込み（ステップＳ１、Ｓ２）、それらのフレーム間の
画像偏移量に基づいて算出したブロック毎の動ベクトル
に基づいてブロック単位の移動体領域の抽出を行う（移
動体領域抽出ルーチンＳ３）。次いで、抽出した移動体
領域の二次元形状や事前に得られた先見的な情報などか
らＣＣＤカメラ２の姿勢及び位置パラメータの探索初期
値を設定し、或いは複数個の探索候補領域の設定を行っ
てそれらの候補領域に対して量子化空間点の階層的並列
探索を行う（探索領域限定ルーチンＳ４）。さらに、モ
デルベース符号化による対象物（この場合は自動車）の
画像を再生するために、三次元構造モデリングルーチン
Ｓ５において、テクスチャマッピングにより仮想実画像
を推定すると共に、この推定画像と観測画像との間の誤
差評価関数が最小値を取るときの位置姿勢を推定し、こ
のようにして得られる位置姿勢情報を各時刻ｎについて
求め、これを元にして軌道ベクトルを計算するという動
作（ステップＳ６）を繰り返す。

【００３７】具体的には、上記移動体領域抽出ルーチン
Ｓ３での移動体領域の抽出は、以下のようにして行う。
尚、このルーチンＳ３での処理内容は、本発明でいう移
動体領域抽出手段の機能に相当する。

【００３８】まず、対象物（この実施例の場合は自動
車）がＣＣＤカメラ２の視野内に収まっていると仮定し
て、当該カメラ２により撮影された系列画像から得た連
続する２フレーム分の画像データに基づいて、ブロック
画素毎の二次元的な動ベクトルの分布（オプティカルフ
ロー）を検出する。この場合には、ＭＰＥＧ動画像圧縮
基準などで採用されているブロックマッチング法に基づ
くフレーム間処理によって、ブロックを構成する符号化
対象画素毎の二次元的な動ベクトルの分布を検出するも
のであり、これにより図３（ａ）に示すようなオプティ
カルフローが得られる。

【００３９】尚、図３（ａ）は、２フレーム目の画像を
表したもので、Ａは対象物である自動車を示し、矢印が
各ブロックの動ベクトルを示すものであるが（但し、図
３では、図面の煩雑化を防止するためにブロック数を減
らした状態で示している）、同図中において、自動車Ａ
以外の部分で発生している動ベクトルは、雑音成分であ
る。また、通常のブロックマッチング法におけるブロッ
クサイズは、一般的には符号化しようとする画素を囲む
８×８画素程度に設定されるものであるが、処理対象に
応じて適宜に変更できるものである。例えば、本実施例
のように対象物が自動車である場合には、２４（縦）×
１２（横）画素のブロックサイズに設定している。

【００４０】次いで、上記のように得た図３（ａ）に示
すようなオプティカルフローの発生状況に基づいて各ブ
ロックのラベリングを行う。尚、図３（ｂ）には、動ベ
クトルが検出されたブロックを斜線帯によりグループ分
けした状態で示した。

【００４１】ところで、一般にブロックマッチング法で
は、画像中の輝度のムラや画像そのものの雑音、光の反
射の影響などにより、必ずしも移動対象物が存在する領
域のみに動ベクトルが発生するとは限らず、雑音成分が
含まれることが避けられないという事情がある。そこ
で、移動体領域の抽出を行うに当たっては、以下〜
のような雑音成分除去のための各処理を行う。

【００４２】…しきい値処理 しきい値処理の方法としては、２つの方法が用意されて
おり、前提条件に応じてこれらの方法を使い分ける。具
体的には、対象物である自動車が急激な方向転換を行わ
ないことが分かっている場合、並びに対象物の概略位置
を検出する場合には、第１の方法を利用し、これ以外の
場合には第２の方法を利用する（演算速度が十分に早い
場合などには第２の方法のみを利用する構成も可）。

【００４３】第１の方法では、動ベクトルか否かの判定
をしきい値処理により行う。つまり、予めしきい値Ｖth
を設定しておき、動ベクトルの大きさＶが、 Ｖ≧Ｖth の関係にあるときのみ、該当ブロックを動ベクトル発生
領域と見なしてラベリングを行うものであり、この方法
によれば演算速度が速くなる。

【００４４】第２の方法は、ブロックマッチング法によ
る画像偏移量算出時においてブロック画素間の誤差評価
関数を計算する際に、次式（１）の条件が成立するとき
に動ベクトルが（０，０）であるとするものである。但
し、式（１）は、第ｎ番目のフレーム及び第（ｎ−１）
番目のフレーム中でブロックの範囲及び探索範囲が図４
（ａ）、（ｂ）に示すようなＸＹ座標で定義されている
ことを前提としたものであり、（ｒij，ｇij，ｂij）
は、第ｎフレームの（ｉ，ｊ）の位置にある画素のＲＧ
Ｂ成分を示し、（ｒ'ij ，ｇ'ij ，ｂ'ij ）は、第（ｎ
−１）フレームの（ｉ，ｊ）の位置にある画素のＲＧＢ
成分を示し、（ｘs ，ｙs ）、（ｘe 、ｙe ）は、該当
画素ブロックの対角頂点の座標、ΔOFは予め設定された
しきい値である。

【００４５】

【数１】

【００４６】具体的には、本実施例の場合、ブロックサ
イズを２４×１２画素、マッチングを計算する領域の幅
ｄｘ＝ｄｙ＝１５画素とし、しきい値ΔOF＝２×２４×
１２とした。

【００４７】…孤立点除去処理 前述のように求めた動ベクトル発生ブロックのラベリン
グ情報において、孤立して存在するブロックについて
は、誤った偏移量検出が行われたものと判断して、その
ブロックの動ベクトルを（０，０）に設定する。例え
ば、図５に示すように、孤立点除去処理対象ブロックに
ついて８方向から隣接したブロックの動ベクトルをチェ
ックし、全てが静止ブロック（動ベクトルが（０，
０））であった場合に当該対象ブロックを孤立点ブロッ
クと見なして画像処理対象から除去する。

【００４８】…反射の除去処理 金属面の反射や光沢がもたらすオプティカルフローは、
面全体のフローと向き、時間変化状態などが異なること
が多いという性質を利用して、図３（ｂ）に示すように
移動体領域の穴となるようなブロックｈを周囲と同一に
ラベリングする。この場合、上記ブロックｈの動ベクト
ルの大きさは、周囲のブロックのデータを利用した内挿
計算により求める。

【００４９】上記のような処理を行った後には、ラベリ
ングによるブロック領域の抽出を行う。この場合には、
ブロックを単位とした各行について、オプティカルフロ
ーが発生しているブロックの左右両端に位置したもの及
びそれらの間に位置したブロックをラベリングする。こ
のようにして、移動対象物が空間中に連続して分布する
物体（この実施例では自動車）であると仮定した場合
に、図３（ｃ）に示すように、対象物である自動車Ａ及
びその影を含むブロック単位の移動体領域（太線で囲ん
だ部分）が求められることになる。

【００５０】この後には、色空間分割による影の除去を
行う。即ち、一般にブロックマッチング法では、照明条
件によっては上述のように対象物の影も移動体領域とし
て抽出されることになる。そこで、その影の部分を、周
知の色空間のクラスタリング手法によって分離し、最終
的に図３（ｄ）のような移動体領域を抽出する。尚、こ
のクラスタリングに際しては、例えばＫ平均クラスタリ
ングやＬＢＧ法などが考えられるが、特に影の部分はほ
とんどの場合無彩色であるという性質を利用して経験的
にＲＧＢ各成分のベクトルのシードとしきい値を設定し
ている。

【００５１】具体的には、対象物の車体色が例えば赤色
であった場合には、上記のようなクラスタリング時にお
ける初期クラスタ中心のＲＧＢ成分の分布値を２５６階
調（８ビット）で、車体部分について（ＲＧＢ）＝（２
５５，０，０）に設定し、影部分について（ＲＧＢ）＝
（８５，８５，８５）に設定することになる。

【００５２】また、上記のようにしてオプティカルフロ
ー検出領域を抽出する際には、対象物の画像が欠ける場
合があるため、実際には、移動体領域はそれより一回り
大きく抽出する。また、上述したような雑音除去処理な
どを施して得られるラベリング領域については平均動ベ
クトルを算出する。

【００５３】一方、探索領域限定ルーチンＳ４では、Ｃ
ＣＤカメラ２から取り込んだ映像ソースが初期フレーム
か否か（つまりｎ＝１か否か）を判断し、初期フレーム
でなかった場合には、ＣＣＤカメラ２に関する後述のパ
ラメータ（γ，θ，φ，ｒ）の探索初期値が、前のフレ
ームでのパラメータ（γ，θ，φ，ｒ）n-1 となるよう
に設定する。

【００５４】ところで、本実施例においては、対象物の
ＣＣＤカメラ２による観測を全方位から行うことを前提
としている。そこで、図６に示すように、対象物（自動
車Ａ）を囲むドーム状の空間を想定し、全方位から対象
物を観測した場合の見え方を推定するようにしており、
このために、対象物に対するカメラ座標系を、位置ｒ、
θ、φ及び姿勢α、β、γの６個のパラメータで表現
し、このパラメータ空間を後述のように量子化して仮想
実画像を推定する構成としている。

【００５５】この場合、ＣＣＤカメラ２から取り込んだ
映像ソースが初期フレームであった場合には、探索領域
を限定することが困難であるため、以下に述べる処理を
実行する。即ち、図７は、この処理の流れを示してお
り、まず、移動体領域抽出ルーチンＳ３で抽出した移動
体領域の二次元形状の大きさを計算により判定して、図
９に示すように、その二次元形状から長軸ａ、短軸ｂ及
び長軸ａの傾き角度Ψを計算し、その計算情報から距離
ｒと角度θ、φに関する探索領域の限定を行う。この場
合、対象物を全方位から観測した全ての見え方を仮想実
画像で推定するためには、計算量が大幅に増えるという
事情があるので、移動体領域の形状情報を用いて候補と
なる見え方を絞り込み、これに基づいて図８に示すよう
に複数個の探索候補領域Ｑ1 〜Ｑi を設定し、それらの
候補領域の一次元探索を並列に行うものである。

【００５６】上記のような探索領域の候補となる見え方
の絞り込み処理において、移動体領域の長軸ａ、短軸ｂ
及び長軸ａの傾き角度Ψを計算するに当たっては、以下
のような第１の形状判定方法及び第２の形状判定方法が
考えられる。

【００５７】…第１の形状判定方法 図１０に示すように、ブロック単位で抽出した移動体領
域に対し、最左辺に存するブロック群ＢＬの垂直座標成
分の中心位置、並びに最右辺に存するブロック群ＢＲの
垂直座標成分の中心位置をそれぞれ計算し、それらの中
心位置間を直線で結ぶ。次に、上記直線の中点から当該
直線と直交した直線を引いて、その直線と移動体領域の
外周との交点を求める。このように得られた２本の線分
のうち、長い方を長軸Ｌmax 、短い方を短軸Ｌmin と
し、長軸と水平軸との角度をΨ0 する。この場合、移動
体領域の重心は長軸Ｌmax 及び短軸Ｌmin の交点となる
ものであるが、その重心と画像中心とは一般的には一致
しない。

【００５８】…第２の形状判定方法 図１１に示すように、ブロック単位で抽出した移動体領
域の重心から、水平軸に対し任意角度を呈する多数本の
直線を引くことを仮定し、これらの直線に対して移動体
領域の外周部に位置する各ブロックの中心からの距離を
計算すると共に、その総和を評価関数とした最小二乗法
によって最適角度Ψo を求めるものであり、その最適角
度Ψo に対応した線分を長軸Ｌmax とする。また、移動
体領域の重心から長軸と直交する直線を引き、その直線
が移動体領域に含まれる部分を短軸Ｌmin とする。

【００５９】上記のような第１及び第２の形状判定方法
の何れかで求めた長軸Ｌmax 、短軸Ｌmin 、及び角度Ψ
の情報を元にしてカメラ位置（ｒ，θ，φ）の候補領域
を絞り込むものであり、この場合には、その情報から距
離ｒと角度θ、φに関する探索領域の限定を行う。その
後、図６に示すようなドーム状の空間に探索中心の候補
値を数十個程度設定し、各探索中心を並列に一次元探索
することによって、最終的に１つの位置姿勢を出力す
る。

【００６０】具体的には、探索領域の限定は例えば以下
の方法で行う。即ち、図６のように、位置ｒ、θ、φ及
び姿勢α、β、γの６個のパラメータで表現された対象
物（自動車Ａ）に対するカメラの座標系において、

【００６１】 α＝β＝γ＝０ [deg] と固定し、 ｒ＝ｒmin ＋ｉΔｒ （但し、ｉは負でない整数、ｒ≦ｒmax ） θ＝θmin ＋ｊΔθ （但し、ｊは負でない整数、θ≦θmax ） φ＝φmin ＋ｋΔφ （但し、ｋは負でない整数、φ≦φmax ）

【００６２】なる各パラメータｒ、θ、φについて、自
動車Ａのモデルの仮想実画像を生成し、その仮想実画像
の二次元形状の特徴となる前記図１０或いは図１１に示
すような長軸Ｌmax （ｒ，θ，φ）、短軸Ｌmin （ｒ，
θ，φ）、傾き角度Ψ（ｒ，θ，φ）を、前述した第１
及び第２の形状判定方法の何れかを用いて計算する。但
し、ｒmin 、θmin 、φmin 及びｒmax 、θmax 、φma
x は、それぞれのパラメータについての最小探索値及び
最大探索値である。これにより、 （ｒ，θ，φ）→（Ｌmax ，Ｌmin ，Ψ）［ｒ，θ，φ］ の対応表を予め作成しておく。この対応表を参照するこ
とにより、（Ｌmax ，Ｌmin ，Ψ）から（ｒ，θ，φ）
を計算することができる。この場合、本実施例において
は、θmin 、θmax 、φmin 、φmax は全方位について
対応表が作成される。また、ｒmin 、ｒmax は（Ｌmax
，Ｌmin ，Ψ0 ）との間の粗いスケールの対応表から
決めるか、或いは応用対象に応じて適宜に設定する。

【００６３】上記対応表の探索を行う場合には、次式
（２）の関係を満たす（ｒ，θ，φ）の組である（ｒo
i，θ0i，φ0i）を求める。但し、i は候補数Ｎに応じ
た自然数（i ＝１，２，…，Ｎ）である。また、式
（２）において、Ｌ0max、Ｌ0minは前述した第１の形状
判定方法或いは第２の形状判定方法により算出した長軸
及び短軸の長さ、ΔＬmax 、ΔＬmin 、ΔΨはしきい値
である。

【００６４】

【数２】

【００６５】次に、図１２に示すように、移動体領域の
重心（ｘG ，ｙG ）から姿勢パラメータα、βを次式に
よって求める。但し、ＦはＣＣＤカメラ２の焦点距離、
ｘGは画像中心を原点とした移動体領域の重心の水平座
標、ｙG は画像中心を原点とした移動体領域の重心の垂
直座標である。

【００６６】α＝arctan（ｙG ／Ｆ） β＝arctan｛（−ｘG ／Ｆ）×cos α｝ また、姿勢パラメータγについては、本実施例の場合、
対象物である自動車ＡとＣＣＤカメラ２との姿勢の関係
において、γ方向のずれはほとんどないものとしてお
り、このためγ＝０としている。

【００６７】そして、このようして得られた（ｒoi，θ
0i，φ0i）及び（α，β，γ）をＣＣＤカメラ２に対す
る移動体の位置姿勢の候補値とする。尚、候補値の数Ｎ
は、ΔＬmax 、ΔＬmin 、ΔΨの値に依存するが、後述
の形状特徴の誤差評価関数に基づいて誤差が小さいもの
から優先的に候補値を選択し、本実施例の装置の演算機
能を司るプロセッサの演算能力と実時間性に応じてＮを
決定する。

【００６８】ここで、観測時の姿勢パラメータα、β
は、対応表作成時のα＝β＝０に限定できないという問
題点が残るが、一般的にＣＣＤカメラ２の画角の範囲で
は、Ｌmax 、Ｌmin 、Ψ0 にそれほどの違いが出ない上
に、探索領域の限定という一次推定としての精度があれ
ば良いと考えれば特に支障はない。勿論、演算能力に余
裕がある場合には、上式のα、βの値を組み入れて対応
表を計算する。尚、本実施例では、上記のような一次元
探索の探索幅を各パラメータｒ、θ、φ、α、β、γに
ついて、例えば以下に記した表１のように設定した。

【００６９】

【表１】

【００７０】三次元構造モデリングルーチンＳ５におい
ては、以下に述べるような処理が行われる。透視変換行
列の計算に当たっては、カメラ座標系の位置姿勢パラメ
ータｒ、θ、φ、α、β、γにより表現されるドーム状
のパラメータ空間での量子化空間点を視点とした透視変
換行列を計算する。

【００７１】斯様な透視変換行列を利用して行う仮想実
画像の推定に当たっては、対象物が自動車の場合には、
例えば図１３（ａ）に示すように、予め対象物の三次元
構造をモデリングしたワイヤフレームを作成しておき、
予め前後左右の４方向から撮影した実画像Ｐ１〜Ｐ４を
テクスチャマッピングにより張り付けることにより、図
１３（ｂ）に示すような任意の視点から見た任意配置の
仮想的な実画像を任意個数だけ生成できる。この場合、
上記仮想実画像の枚数は、これが少なすぎると全方向か
ら見た場合の可視面の生成が不可能となり、多すぎると
データ量及び計算速度の点で不具合が生ずるから、これ
らの条件を勘案して決定する。尚、対象物の天井部は平
板状であると見なすものであり、その部分には、例えば
上記実画像からサンプリングした色の平板パネルを張り
付ける。

【００７２】このような手法により仮想実画像の生成を
行う場合に必要となる対象物画像のテクスチャは、予め
撮影した対象物画像から得る方法と、観測画像からリア
ルタイムにて得る方法とが考えられるものであり、以下
これらの方法について個別に説明しておく。

【００７３】（ａ）予め撮影した対象物画像からテクス
チャを得る方法 この場合には、対象物の実画像を、良好な照明条件や位
置姿勢で撮影でき、しかもワイヤフレーム作成のための
実際寸法の計測も当時に行える利点があるから、生成さ
れる仮想実画像の品質向上を図り得る。また、得られた
画像に対するワイヤフレームの張り付けも十分に時間を
かけて行い得るものであり、このような張り付けに際し
ては以下〜のような４つのレベルがある。

【００７４】…インタラクティブに計算機操作を行い
ながら透視変換行列を変更し、人手のカットアンドトラ
イで画面上の張り付けを行う方法。 …インタラクティブに計算機操作を行いながら、特徴
点の抽出と対応のみ指定し、透視ｎ点問題を計算機上で
解くことにより透視変換する方法。 …特徴点抽出及び対応関係の決定から透視ｎ点問題の
計算まで自動的に計算機で解くことにより透視変換行列
を求め、その結果を人手により検査し、修正する方法。 …上記を人手を介さずに行う方法（透視変換行列の
計算結果を計算機の自律的評価のみにより検査・修正す
る方法）。

【００７５】（ｂ）観測画像からリアルタイムにテクス
チャを得る方法 この場合には、観測画像に対するワイヤフレームの張り
付けが自動的に行われねばならない。そこで、まず、抽
出された移動体領域に対するワイヤフレーム構造の当て
はめを行うものであり、この当てはめ時には、以下〜
の条件が満たされるようにする。

【００７６】…図１４（ａ）に示すように、ワイヤフ
レームＷＦの外周が移動体領域ＭＡをはみ出ないこと。 …図１４（ｂ）に示すように、ワイヤフレームＷＦの
外周と移動体領域ＭＡの外周とが極端に離れないこと。 …図１４（ｃ）に示すように、ワイヤフレームＷＦ及
び移動体領域ＭＡにおける長軸、短軸及び傾き角度が互
いに大きくずれいないこと。

【００７７】この他にも、予め撮影した画像を用いた仮
想実画像のテクスチャモデルにより初期位置姿勢を求め
る構成としても良く、これらの条件を満たす推定画像は
図１４（ｄ）のようになる。また、この場合において、
初期位置姿勢で当てはめたワイヤフレームの修正は、計
算機の自律的評価により行うことになる。

【００７８】また、図２には示されていないが、本実施
例では、生成される仮想実画像の品質を高めるために、
以下のような推定画像生成における可変密度補間（標本
化）及び色の適応化処理を行っており、以下これらにつ
いて説明する。

【００７９】（ａ）推定画像生成における可変密度補間 この場合、人間の感性に基づいて、対象物における視覚
的に特徴を把握し易い部分を特徴領域として設定する。
例えば、図１５のような自動車Ａでは、ヘッドライト、
ナンバプレート、タイヤのホイールなどを特徴領域とし
て設定し、これらの特徴領域では細かく、他のパッチ面
では粗くするという補間密度の可変化を行う。これによ
り、演算量の低減と統計的な平滑化を達成している。
尚、本実施例の場合、仮想実画像生成におけるパッチ面
１つ当たりの補間密度及び特徴領域の補間密度は１６×
１６点（或いは２０×２０点）程度で標本化するもので
あるが、実際には、特徴領域の方が一般のパッチ面に比
べて面積が小さいため、特徴領域側の方が等価的に標本
化密度が高くなっている。

【００８０】（ｂ）色の適応化処理 この場合には次のようなケースで、対象物の性質に応じ
てパッチ面内の画素を他の画素領域からサンプリングし
た色または対象物領域の平均色で塗りつぶす。 …モデリング作成のために実画像において孤立点状に
存在する異なる色の領域、 …モデル作成用画像において観測されていない面。

【００８１】ところで、本実施例のように、対象物が屋
外の未知の環境を移動するような状況下では、非対象物
と画像の重なり具合や明るさが変動したり、対象物の見
え方が限定不能になるなどの諸条件があるため、安定し
た特徴点抽出が困難になると共に、位置姿勢パラメータ
の量子化空間点の探索の際に所謂局所最適に陥る危険性
も大きくなる。このような危険性を回避するために、本
実施例では、三次元構造モデリングルーチンＳ５におい
て推定画像と観測画像との間の誤差評価関数が最小値を
取るときの位置姿勢を推定する際に、その誤差評価関数
を次のように改良した。

【００８２】具体的には、面積誤差、画素値の誤差、特
徴領域の二次元位置の誤差、形状特徴の評価を用いて総
合的に評価するものであり、まず、斯かる総合的評価の
基礎となる各ファクタについて個別に説明する。

【００８３】（ａ）面積誤差 図１６のように、移動体領域に対して仮想実画像による
推定画像を重ね合わせ、次のように場合分けして個別の
荷重により誤差評価を計算する。 …移動体領域外に重なる画素数が一定値以上ある場合
は、その推定画像を棄却する。 …移動体領域内で推定画像領域外の場合は、その誤差
面積Ｅａ（移動体領域抽出画像と仮想実画像とが重なら
ない領域の面積）を画素単位で計算し、誤差荷重ｗａを
高める。この場合、 Ｅａ＝ｗａΣ（画素数） で得られることになる（ｗａは「５」程度）。

【００８４】（ｂ）画素値の誤差 実画像（観測画像）と推定画像（仮想実画像）とが重な
る領域については、同じ位置にある各画像の画素につい
て、画素値の絶対値誤差和（または二乗距離和など）を
取る。 Ｅｖ＝ｗｖΣ（画素値の誤差） 具体的には、本実施例では、次式（３）の画素値誤差評
価関数を用いて計算した。

【００８５】

【数３】

【００８６】但し、（３）式中における各記号の意味は
次の通りである。 Ｐ：仮想実画像の画面上に投影された各パッチ面上での
サンプル画素の集合。 Ｎ：Ｐに含まれる画素数。 ｒ1xy 、ｇ1xy 、ｂ1xy ：観測画像から抽出した移動体
領域における画素（ｘ，ｙ）のＲＧＢ成分の値。 ｒ2xy 、ｇ2xy 、ｂ2xy ：仮想実画像においてサンプリ
ングした画素（ｘ，ｙ）のＲＧＢ成分の値。 Ｗxy：座標xyに依存した重み係数。但し、この重み係数
Ｗxyは以下の３通りに設定される。

【００８７】第１のケース：（ｘ，ｙ）に位置する画素
が、仮想実画像において特徴領域上にある場合→ｗ1 第２のケース：（ｘ，ｙ）に位置する画素が、仮想実画
像において特徴領域上になく、且つ観測画像から抽出し
た移動体領域に含まれている場合→ｗ2 第３のケース：（ｘ，ｙ）に位置する画素が、仮想実画
像において特徴領域上になく、且つ観測画像から抽出し
た移動体領域にも含まれていない場合→ｗ3

【００８８】このような重み係数の設定により、次のよ
うな効果が生ずる。即ち、第１のケースの設定によっ
て、モデルの特徴領域の部分が観測画像から抽出した移
動体領域の対応する部分に重なったときに誤差が最小と
なる。第２ケース及び第３のケースの設定によって、画
素値の誤差Ｅｖの値は、仮想実画像が移動体領域の外側
に出た場合に大きくなり、仮想実画像が移動体領域内に
収まったときに最小となる。尚、本実施例では、上記画
素値誤差評価関数における重み係数ｗ1 〜ｗ3 を、例え
ば以下に記した表２のように設定した。

【００８９】

【表２】

【００９０】（ｃ）特徴領域の二次元位置の誤差 画素処理による特徴領域の二次元位置の検出が可能なら
ば、図１６のように対応する特徴領域の位置の誤差Ｅｐ
を評価関数の一つとして計算する。例えば二乗距離和を
誤差評価尺度に用いれば、次式（４）で得られる。

【００９１】

【数４】

【００９２】ここで、Ｎｆは対象となる特徴領域の数、
ｕvi、ｖviは仮想実画像の特徴領域内の特徴点の（ｕ，
ｖ）座標上における位置、ｕmi、ｖmiは移動体領域の特
徴領域内の特徴点の（ｕ，ｖ）座標上における位置であ
る。

【００９３】（ｄ）形状特徴の評価 形状特徴の評価は、移動体領域の長軸と短軸とに着目し
て行うものであり、その評価を行う関数Ｅｓは次式
（５）で得られる。

【００９４】

【数５】

【００９５】但し、 Ｌ1max：観測画像より抽出した移動体領域から計算した
長軸の長さ Ｌ1min：観測画像より抽出した移動体領域から計算した
短軸の長さ Ψ1 ：観測画像より抽出した移動体領域から計算した
長軸の傾き角度 Ｌ2max：仮想実画像から計算した長軸の長さ Ｌ2min：仮想実画像から計算した短軸の長さ Ψ2 ：仮想実画像から計算した長軸の傾き角度 ｗｓi ：重み係数（i ＝１、２、３）。この重み係数の
値は、例えば以下のように設定する。但し、Δmax 、Δ
min 、ΔΨはしきい値である。 ｗｓ1 ＝０（０≦Ｌ1max−Ｌ2max＜Δmax の場合） ｗｓ1 ＞０（上記の場合以外） ｗｓ2 ＝０（０≦Ｌ1min−Ｌ2min＜Δmin の場合） ｗｓ2 ＞０（上記の場合以外） ｗｓ3 ＝０（（Ψ1 −Ψ2 ）の絶対値がΔΨより小さい
場合） ｗｓ3 ＞０（上記の場合以外）

【００９６】このような形状特徴誤差評価関数を組み入
れることにより、仮想実画像が移動体領域より極端に小
さくなる状態（図１４（ｂ）のような状態）となること
を避け得るようになる。尚、本実施例では、上記形状特
徴誤差評価関数における重み係数ｗｓ1 〜ｗｓ3 及びし
きい値Δmax 、Δmin 、ΔΨを、例えば以下に記した表
３のように設定した。

【００９７】

【表３】

【００９８】しかして、以上述べた４つの評価関数Ｅ
ａ、Ｅｖ、Ｅｐ、Ｅｓを統合した誤差評価関数Ｅを得る
ためには、例えば次のような線形結合を求める。

【００９９】

【数６】 Ｅ＝αａ・Ｅａ＋αｖ・Ｅｖ＋αｐ・Ｅｐ＋αｓ・Ｅｓ ……（６）

【０１００】この場合、αａ、αｖ、αｐ、αｓは任意
の係数であり、これらの係数を「０」に設定すれば評価
関数Ｅａ、Ｅｖ、Ｅｐ、Ｅｓの取捨選択を容易に行い得
るものであるが、少なくともαｖ、αｓについては
「０」以外に設定することが望ましい。

【０１０１】そして、上記のように得られた誤差評価関
数Ｅを用いて、前記探索領域限定ルーチンＳ４で得られ
た複数の候補値を探索中心とした量子化空間点の一次元
探索を実行する。このような一次元探索のパラメータの
順番は実際の応用事例に応じて変更するものであるが、
本実施例のように対象物が自動車である場合には、図１
７に示すような順番で行う。このような一次元探索は、
前にも述べたように、対象物（自動車）を囲むドーム状
の空間に設定された数十個程度の探索中心の候補値につ
いて並列に行われるものであり、評価関数が最も小さい
位置姿勢を最終的な推定値として出力する。本実施例の
場合、仮想実画像生成におけるパッチ面１つ当たりの補
間密度は例えば１６×１６点程度であり、量子化点の探
索数は１パラメータ当たり１０回程度で良い。

【０１０２】一方、第３フレーム目以降の探索領域の設
定は、重心移動の推定に基づいて行うことができる。即
ち、今、第ｋフレーム（ｋ≧３）の映像ソースが得られ
た場合には、第（ｋ−１）フレーム及び第ｋフレームの
各画像から移動体領域を抽出する。このときのフレーム
間の画像偏移量に基づいてブロック毎の動ベクトルの平
均（ｘOF，ｙOF）を計算して、姿勢パラメータα、βの
探索中心を次のように設定する。

【０１０３】 αc[k]＝arctan（tan αE[k-1]−ｙOF／Ｆ[k-1] ） βc[k]＝arctan{(tan βE[k-1]−ｘOF／Ｆ[k-1] ）× cosα} ここで、 αE[k-1]：時刻 k-1における姿勢パラメータαの推定値 βE[k-1]：時刻 k-1における姿勢パラメータβの推定値 Ｆ[k-1] ：時刻 k-1におけるカメラの焦点距離

【０１０４】である。これは動ベクトル（オプティカル
フロー）の重心が１フレーム時間内に移動する量を光軸
ずれの時間変化量（Δα，Δβ）として、第ｋフレーム
の三次元位置の初期推定を行うことを意味する。一方、
位置パラメータ（ｒ，θ，φ）については、時刻 k-1に
関する位置姿勢探索に基づいて得られた推定結果である
ところの、 （ｒ[k-1] ，θ[k-1] ，φ[k-1] ） を第ｋフレームについての探索中心とする。

【０１０５】また、初期フレームでは複数個の探索候補
領域について並列に一次元探索を行ったが、第ｋフレー
ム以降は上記のような重心移動の推定により探索領域を
１つに限定できるので、評価関数は前記（６）式と同様
に計算し、例えば、特願平５−２４７２２９号の発明に
記載された手段と同様に、上記計算による評価誤差値が
最小となるような各パラメータ毎の探索点を独立して一
次元探索すれば良いものであり、これにより、フレーム
毎に位置姿勢の最適値を出力する。

【０１０６】ところで、ここまで述べてきたような画像
再生方法では、上記重心移動の推定以外の位置姿勢探索
が各静止画フレーム毎に独立して行われるため、連続再
生画像は、対象物である自動車があたかも凸凹道を走行
しているかのようなギクシャクした映像となることがあ
る。そこで、実際の自動車の走行状況に近い滑らかな運
動推定結果を得るためには、推定した位置姿勢の時系列
に対して例えば次式のような移動平均による平滑化処理
を施せば良い。

【０１０７】

【数７】

【０１０８】しかして、上述のような処理により得られ
た推定画像を実画像から得た移動体領域に照合させ、上
述した評価関数と量子化空間点の探索方法を用いれば、
例えば対象物である自動車の連続的な走行シーンにおけ
る位置姿勢に関する三次元運動情報（ｒ，θ，φ，α，
β，γ）の推定結果を、複数枚の推定画像により得るこ
とができる。そして、この位置姿勢の推定結果に対して
移動平均による平滑化処理を適用し、モデルベース再生
による仮想実画像によって自動車の運動を再現すれば、
上記連続的な自動車走行シーンに対応した滑らかな運動
推定結果を得ることができる。

【０１０９】要するに上記した本実施例の構成によれ
ば、時間的に連続する２画面間で出現する二次元動ベク
トルに基づいて抽出した移動体領域の二次元形状から対
象物の見え方を仮想実画像で推定しているため、カメラ
の姿勢位置が不明な状況下においても、同じ映像ソース
に基づいて異なった視点から見た移動対象物の三次元映
像を自在に生成可能となるものである。特にこの場合に
は、特開平６−２６２５６８号公報或いは特開平６−２
５８０２８号公報に見られるような従来の位置姿勢認識
手法のように、二値化処理による特徴点の抽出が不要で
あるから、屋外環境のように明るさの変動や光の反射な
どの雑音成分レベルが大きい場所で使用する場合、或い
は非対象物と画像の重なりなどにより移動対象物の見え
方が限定できない場合であっても、上記のような異なる
視点から見た移動対象物の三次元映像の生成を支障なく
行い得るようになる。従って、自動車の追従走行やロボ
ットの遠隔操作技術などに展開可能となる。

【０１１０】また、対象物そのものが曲面形状を主体に
構成されている場合においても、当該対象物の三次元構
造をモデリング可能であれば、つまりその三次元構造を
モデリングした形状データがモデルデータベース７に記
憶されてさえいれば、上述同様の対象物の三次元映像の
生成を支障なく行い得るようになる。

【０１１１】尚、本実施例の構成によれば、単に移動対
象物の三次元運動の推定に限らず、対象物がどのような
姿勢にあるのかを認識可能となるものであり、三次元モ
デルとの照合によって移動対象物の位置姿勢を推定すれ
ば、その対象物に含まれる細かな部位（自動車の場合、
ミラー位置など）の位置姿勢推定も可能になる。さら
に、障害物の形状及び位置姿勢が既知であれば、移動対
象物が当該障害物によって一部遮られているような状況
下でも、その対象物の三次元運動を推定可能となる。

【０１１２】対象物領域を色情報などで限定可能であれ
ば、静止対象物の位置姿勢であっても検出可能となる。
また、対象物の存在、位置姿勢、運動、色彩などを認識
した上で画像を物体として符号化することができる。こ
れにより、対象物の三次元映像データベースの構築や、
公衆電話回線を利用したＴＶ電話用などの超低ビットレ
ート画像伝送のためのモデルベース符号化・復号化装置
に応用することも可能になる。

【０１１３】上記のように推定した仮想実画像と実際の
観測画像との間の誤差を予め定義された誤差評価関数、
特には面積誤差、画素値の誤差、特徴領域の二次元位置
の誤差及び形状特徴の各評価関数を統合した誤差評価関
数により算出すると共に、その誤差評価関数が最小値を
取った状態での位置姿勢を最終推定結果として出力する
構成となっているから、上記推定仮想実画像の精度を高
め得るようになる。

【０１１４】さらに、上記のように抽出した移動体領域
の二次元形状の長軸及び短軸の長さ情報から複数個の探
索領域中心を設定し、これらの探索領域を並列に一次元
探索したデータに基づいて最終的に１つの位置姿勢を推
定する構成となっているから、対象物の探索時に局所最
適に陥ることを防止できるようになり、しかも、このよ
うに二次元形状から長軸及び短軸を抽出する処理自体は
比較的簡単であるから、探索領域中心の設定のための処
理を容易に行い得るようになって演算量を減らすことが
可能となる。

【０１１５】また、対象物における視覚的に特徴を把握
し易い部分（自動車の場合、ヘッドライト、ナンバプレ
ート、タイヤのホイールなど）を特徴領域として設定
し、仮想実画像の生成に当たっては、上記特徴領域以外
の画素密度が当該特徴領域より粗くなるように補間する
構成となっているから、これによっても演算量の低減を
図り得るようになる。

【０１１６】移動体領域の抽出時には、実用技術として
既に確立されたブロックマッチング法によりブロック単
位の移動体領域を抽出してラベリングするようになるか
ら、移動体領域の抽出を確実に行い得るようになる。こ
の場合、ブロック単位で抽出された移動体領域から、画
像中の輝度のムラや画像そのものの雑音などのような雑
音成分を含むブロックを除去するようになるから、雑音
成分による悪影響を受けることがなくなり、移動体領域
の抽出精度を高め得るようになる。

【０１１７】上記のようにブロック単位で抽出された移
動体領域に囲まれた範囲に動ベクトルが存在しない領域
が含まれる場合に、そのブロックを周囲のブロックと同
一にラベリングするようになるから、対象物からの光の
反射などにより動ベクトルを検知できなかったブロック
が存在する場合でも、移動体領域の抽出精度が低下する
虞がなくなる。また、ブロック単位で抽出された移動体
領域から、対象物の影に対応した部分を色空間分割処理
によって除去するようになるから、対象物の影が存在す
る状況下でも移動体領域の抽出を精度良く行い得るよう
になる。

【０１１８】さらに、対象物の形状データをワイヤフレ
ームデータとして記憶すると共に、斯かるワイヤフレー
ムに対して対象物を複数方向から撮影した実画像を張り
付けるというテクスチャマッピングを行うことにより仮
想実画像を生成するようにしているから、仮想実画像の
生成を比較的簡単に行い得るようになる。

【０１１９】また、最終的な推定位置姿勢情報により生
成された複数の仮想実画像を含む再生映像に対して、推
定位置の時系列に応じた移動平均による平滑化処理が行
われるから、例えば自動車の走行シーンを再現する場合
などには、各再生画像間における仮想実画像が滑らかな
運動を示すようになり、高品質の物体認識結果が得られ
るようになる。

【０１２０】尚、上記実施例では探索領域の限定を行う
に当たって、（ｒ，θ，φ）→（Ｌmax ，Ｌmin ，Ψ）
［ｒ，θ，φ］の対応表を参照する方法を採用したが、
これに代えて、以下〜の手段を組み合わせた方法を
採用することもできる。

【０１２１】…θ、φの限定 対象物から視点までの距離をある一定の基準値ｒ0 （例
えば１０ｍ）に設定した上で、対象物のワイヤフレーム
モデルの透視変換を（θ，φ）の全方位のスキャンによ
って計算し、前記第１の形状判定方法（図１０参照）或
いは第２の形状判定方法（図１１参照）などを用いて、
長軸ａ0 及び短軸ｂ0 を求める。この結果から、それら
の比、即ち、 ｃ0 ＝ｂ0 ／ａ0 と長軸ａ0 及びその傾き角度Ψ0 との組み合わせである
（ｃ0 ，ａ0 ，Ψ0)と、前記（θ，φ）との間の対応表
を計算で求める。

【０１２２】次に、この対応表を用いて、観測画像から
得られる長軸ａ及び短軸ｂの比、即ち、 ｃ＝ｂ／ａ と同じく観測画像から得られる長軸の傾き角度Ψとか
ら、形状特徴の評価関数として例えば

【数８】

【０１２３】を計算し、所定の判定基準、例えば Ｅsc≦ΔＥsc を満たすならば（ΔＥscはしきい値）、上記対応表中の
θとφは探索候補値であると見なす。

【０１２４】…ｒの限定 上記で求めたθ、φの候補値に対する長軸ａ0 と観測
画像から得た長軸ａの大きさを用いて、ｒの概略推定値
ｒE を次式から求める。

【０１２５】 ｒE ＝ｒ0 ・（ａ0 ［ｒ0 ，θ，φ］／ａ）

【０１２６】…α、βの限定 抽出された移動体領域の重心は、画像中心と一般的に一
致しない。そこで中心ずれα、βの値を例えば特開平６
−２６２５６８号公報或いは特開平６−２５８０２８号
公報に見られるような方法で求める。但し、実際上は対
象物が画面内に収まっていれば、α＝β＝０として計算
しても対応表の計算には支障を生じない。従って、演算
能力に余裕が在る場合のみ、動的に観測画像から計算し
たα、βの値を組み入れた対応表を計算すれば良い。

【図面の簡単な説明】

【図１】本発明の一実施例を示す全体の機能ブロック図

【図２】動作内容説明用のフローチャート

【図３】移動体領域の抽出動作を説明するための摸式図

【図４】ブロックマッチング法によるオプティカルフロ
ー検出時のしきい値処理を説明するためのＸＹ座標図

【図５】ブロック単位で抽出した移動体領域の孤立ブロ
ックを除去する処理を説明するための摸式図

【図６】量子化空間点の探索動作に必要なパラメータを
説明するための摸式図

【図７】初期フレームでの探索領域を限定するための処
理を示すフローチャート

【図８】初期フレームでの探索領域を説明するための摸
式図

【図９】移動体領域の二次元形状の判定方法を説明する
ための図

【図１０】移動体領域の長軸及び短軸の抽出方法を説明
するための図その１

【図１１】移動体領域の長軸及び短軸の抽出方法を説明
するための図その２

【図１２】移動体領域の重心から姿勢パラメータを求め
る例を説明するためのＸＹ座標図

【図１３】仮想実画像をテクスチャマッピングにより生
成する方法を摸式的に示す図

【図１４】ワイヤフレームと移動体領域との関係例を示
す摸式図

【図１５】特徴領域の位置を説明するための摸式図

【図１６】誤差評価関数の内容を表現した摸式図

【図１７】一次元探索法を示すフローチャート

【符号の説明】

２…ＣＣＤカメラ（撮像手段）、４…移動体抽出部（移
動体領域抽出手段）、７…モデルデータベース（記憶手
段）、９…テクスチャマッピング部、１０…空間量子化
部（空間量子化手段）、１１…画像推定部（画像推定手
段）。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成６年１１月１日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正内容】

【００１４】また、上記移動体領域抽出手段は、ブロッ
ク単位で抽出した移動体領域に囲まれた範囲に動きベク
トルが存在しない領域が含まれる場合に、そのブロック
を周囲のブロックと同一にラベリングする機能を備えた
構成とすることができる（請求項７）。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００７６

【補正方法】変更

【補正内容】

【００７６】…図１４（ａ）に示すように、ワイヤフ
レームＷＦの外周が移動体領域ＭＡをはみ出ないこと。 …図１４（ｂ）に示すように、ワイヤフレームＷＦの
外周と移動体領域ＭＡの外周とが極端に離れないこと。 …図１４（ｃ）に示すように、ワイヤフレームＷＦ及
び移動体領域ＭＡにおける長軸、短軸及び傾き角度が互
いに大きくずれないこと。

フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/00 9061−5Ｈ Ｇ０６Ｆ 15/70 ３３０ Ｑ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 三次元形状が既知である対象物を撮影す
   る撮像手段を備え、この撮像手段により撮影された系列
   画像中の連続する複数のフレームの画像データに基づい
   た動画像処理を行うことにより対象物の三次元位置姿勢
   を認識するための装置において、 前記複数のフレームの画面間で出現する二次元動ベクト
   ルに基づいて移動体領域を抽出する移動体領域抽出手段
   と、 前記対象物の三次元構造をモデリングした形状データを
   記憶している記憶手段と、 前記移動体領域抽出手段により抽出された移動体領域の
   二次元形状が得られる撮像手段位置及び姿勢を探索する
   ことにより前記対象物の位置姿勢を推定する空間量子化
   手段と、 この空間量子化手段が推定した対象物の位置姿勢と前記
   記憶手段に記憶された形状データとに基づいた三次元構
   造モデリングにより前記対象物の仮想実画像を生成する
   画像推定手段とを備えたことを特徴とする画像データに
   基づく三次元物体認識装置。
2. 【請求項２】 前記空間量子化手段は、前記画像推定手
   段により生成された仮想実画像と実際の観測画像との間
   の誤差を予め定義された誤差評価関数により算出するよ
   うに設けられ、その誤差評価関数が最小値を取った状態
   での三次元位置姿勢を最終推定結果として出力するよう
   に構成されていることを特徴とする請求項１記載の画像
   データに基づく三次元物体認識装置。
3. 【請求項３】 前記空間量子化手段は、前記移動体領域
   抽出手段により抽出された移動体領域の二次元形状の長
   軸及び短軸の長さ情報から複数個の探索領域中心を設定
   し、これらの探索領域を並列に一次元探索したデータに
   基づいて最終的に１つの位置姿勢を推定するように構成
   されていることを特徴とする請求項１記載の画像データ
   に基づく三次元物体認識装置。
4. 【請求項４】 対象物における視覚的に特徴を把握し易
   い部分を特徴領域として設定し、前記画像推定手段は、
   仮想実画像の生成に当たって前記特徴領域以外の画素密
   度が当該特徴領域より粗くなるように補間することを特
   徴とする請求項１記載の画像データに基づく三次元物体
   認識装置。
5. 【請求項５】 前記移動体領域抽出手段は、ブロックマ
   ッチング法を用いてブロック単位の移動体領域を抽出し
   てラベリングするように構成されていることを特徴とす
   る請求項１記載の画像データに基づく三次元物体認識装
   置。
6. 【請求項６】 前記移動体領域抽出手段は、ブロック単
   位で抽出した移動体領域から、雑音成分を含むブロック
   を除去する機能を備えていることを特徴とする請求項５
   記載の画像データに基づく三次元物体認識装置。
7. 【請求項７】 前記移動体領域抽出手段は、ブロック単
   位で抽出した移動体領域に囲まれた範囲に動ベクトルが
   存在しない領域が含まれる場合に、そのブロックを周囲
   のブロックと同一にラベリングする機能を備えているこ
   とを特徴とする請求項５記載の画像データに基づく三次
   元物体認識装置。
8. 【請求項８】 前記移動体領域抽出手段は、ブロック単
   位で抽出した移動体領域から、前記対象物の影に対応し
   た部分を色空間分割処理によって除去する機能を備えて
   いることを特徴とする請求項５記載の画像データに基づ
   く三次元物体認識装置。
9. 【請求項９】 前記記憶手段は、前記対象物の形状デー
   タをワイヤフレームデータとして記憶して成り、 前記画像推定手段は、前記ワイヤフレームに対して前記
   対象物を複数方向から撮影した実画像を張り付けるとい
   うテクスチャマッピングを行うことにより仮想実画像を
   生成するように構成されていることを特徴とする請求項
   １記載の画像データに基づく三次元物体認識装置。
10. 【請求項１０】 最終的な推定位置姿勢情報により生成
    された複数の仮想実画像を含む再生映像に対して、推定
    位置の時系列に応じた移動平均による平滑化処理が行わ
    れることを特徴とする請求項１記載の画像データに基づ
    く三次元物体認識装置。