JPH11110566A

JPH11110566A - 画像認識方法及び装置

Info

Publication number: JPH11110566A
Application number: JP9274050A
Authority: JP
Inventors: Koji Miyajima; 耕治宮島; Naoki Takegawa; 直樹武川
Original assignee: NTT Data Corp
Current assignee: NTT Data Group Corp
Priority date: 1997-10-07
Filing date: 1997-10-07
Publication date: 1999-04-23

Abstract

(57)【要約】【課題】時系列画像における移動物体の３次元形状の
推定をオプティカルフロー技術を用いて高速且つ高精度
に行う画像認識装置を提供する。【解決手段】コンピュータ処理によるオプティカルフ
ローと操作者によって明示的に入力された画像間の対応
点座標とを融合させて画像認識装置１を構成する。具体
的には、時間的に連続した動画に含まれる対象物体画像
から輝度勾配画像生成部１３で画素毎の輝度勾配画像を
生成し、オプティカルフロー推定部１４で、輝度勾配画
像と対応点座標に基づいて対象物体画像の画素の動きを
表すオプティカルフローを推定する。３次元形状データ
生成部１５は、推定されたオプティカルフローから対象
物体画像を復元するための３次元形状データを生成し、
これを操作者に提示する。推定形状が不適切な場合は対
応点座標を修正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、時系列に変化する
画像（以下、動画）の認識技術に係り、より詳しくは、
動画に写っている移動物体のみかけ上の速度分布（以
下、オプティカルフロー：optical flow）を推定して移
動物体の３次元形状を効率的に推定するための技術に関
する。

【０００２】

【従来の技術】動画に写っている移動物体の３次元形状
を認識する手法として、オプティカルフローを用いた画
像解析手法が知られている。これは、移動物体の任意の
点（画素）における空間的明るさの差分及び変化前後の
画像間の明るさの差分の間に近似的に成立する評価関数
を導出し、この評価関数を最小とするようなオプティカ
ルフローを弛緩法等による反復演算によって推定するこ
とを主な内容とする。

【０００３】この手法では、まず、移動物体の画像Ｉ
(x,y,t)の空間x−yに関する微分画像、即ち画像間の空
間的な明るさの差分を（Ｉx,Ｉy）、画像Ｉ(x,y,t)の時
間ｔに関する微分画像、即ち画像間の明るさの差分をＩ
t、画像上の点(x,y)におけるオプティカルフローを
(ｕ，ｖ)^Tとする。また、「移動物体は剛体である」、
「移動後の輝度値は変化しない」、というオプティカル
フロー技術における２つの仮定を導入すると、ペナルテ
ィ汎関数Eaは、式（１）のように定義することができ
る。一方、２次元の動きベクトルの空間的変動は滑らか
であると仮定すると、安定化汎関数Ebは、式（２）のよ
うに定義することができる。さらに、これらの評価関数
の和Eは、式（３）で定義することができる。

【０００４】

【数１】

【０００５】この評価関数の和Ｅを最小化させることに
より、オプティカルフローの推定が行われる。このよう
な推定方法は、正則化手法と呼ばれているものであり、
式（３）の係数αは、２つの評価関数Ｅａ及びＥｂに関
する重み係数で、正則化パラメータと呼ばれている。な
お、正則化パラメータは、対象物の複雑さ、動きの複雑
さによって予め設定されるものである。式（３）におけ
る最小化問題は、ｕ，ｖに対する「Euler-Lagrangeの方
程式」を求め、これを離散化した連立方程式を解くこと
に帰着する。この場合、∂Ｅ／∂ｕ＝０、∂Ｅ／∂ｖ＝
０とすれば、以下の式（４）及び（５）が導かれる。さ
らに、「Gauss-Seidel法」を用いると、オプティカルフ
ローｕ，ｖは、再帰的に以下の式（６）及び（７）で求
められる。

【０００６】

【数２】

【０００７】但し、上記式（６）及び（７）において、
バーをつけて表したuⁿ及びvⁿは、局所領域におけるｎ回
目のｕ，ｖの平均値である。

【０００８】次に、カメラの並進運動パラメータをＴ
（＝（Ｕ，Ｖ，Ｘ)^T）、カメラの回転パラメータをΩ
（＝（Ａ，Ｂ，Ｃ)^T）とすれば、３次元空間上の点Ｐ
（X,Y,Z）における速度ベクトルＶ（＝（X,Y,Z)^T）は、
以下の式（８）で定義される。

【０００８】

【数３】Ｖ＝Ｔ＋Ω×Ｐ・・・(8)

【０００９】また、点Ｐ（X,Y,Z）は、画像平面上に投
影されているので、焦点距離をｆとすると、平面上の点
（ｘ，ｙ）におけるｘ座標値及びｙ座標値は、以下の式
（９）で定義することができ、また、画像上における見
かけの動きは、以下の式（１０）で定義することができ
る。さらに、式（１０）の左辺は、まさに前述のオプテ
ィカルフローであるので、上述の式（８）式を用いて右
辺を計算すると、以下の式（１１）及び（１２）が導か
れる。

【００１０】

【数４】

【００１１】カメラの並進運動パラメータＴ及び回転運
動パラメータΩが既知であるとすれば、式（６）及び
（７）より得られているｕ，ｖに基づいて、式（１１）
及び（１２）に対して最小２乗法等を用いることによ
り、カメラ画像の各画素毎に奥行きＺを求めることが出
来る。このことから、画像に写っている対象の形状が取
得可能となる。なお、この手法については、例えば、
「ダイナミックシーンの理解」：電子情報通信学会編35
〜51頁[1994]に詳しく記述されている。一方、上記手法
と異なり、操作者が一対の画像を並べて画像間の移動物
体の対応点座標をポインティングデバイスにより直接入
力して画像間の特徴部位を対応付けることにより、３次
元形状を求める手法がある。これは、上述の解析手法の
代替として用いられるものである。

【００１３】

【発明が解決しようとする課題】ところで、上記従来の
解析手法では、オプティカルフローの推定の際に、上述
の式（３）における正則化パラメータαを予め設定して
いる。この正則化パラメータαは、３次元形状を推定す
る対象物における形状の滑らかさや複雑さ等を反映して
おり、当該対象物の形状によって一意に決定されるもの
である。この正則化パラメータを用いた３次元形状の推
定手法では、対象物における３次元形状の制約として、
移動物体の形状が滑らかであることを前提としている
が、実際には形状の滑らかさを仮定できない領域も画像
中には存在する。例えば、物体の稜線や輪郭など、形状
が不連続な領域が存在し、この領域においてオプティカ
ルフローに誤差が生じるため、３次元形状復元の際に更
に誤差が増大してしまう。

【００１４】また、操作者がステレオ画像を用いて画像
間の特徴部位を対応付ける場合は、対応点数が多くない
と３次元形状の推定精度が低下する。そのため、３次元
形状の推定精度を高めるためには数多くの対応点座標を
入力することが必要となり、作業負荷が多大になること
から、処理効率を高めることができない。

【００１５】そこで本発明の課題は、３次元形状の復元
の処理効率とその精度向上を図ることができる、改良さ
れた画像認識方法を提供することにある。本発明の他の
課題は、上記画像認識方法の実施に適した画像認識装置
を提供することにある。

【００１６】

【課題を解決するための手段】上記課題を解決する本発
明の画像認識方法は、形状推定の対象となる移動物体の
画像（対象物体画像）に対して明示的に与えた特徴間の
対応点座標と、オプティカルフローとを融合させる。す
なわち、時間的に連続した動画に含まれる対象物体画像
を解析して画素の動きを表すオプティカルフローを推定
演算する推定演算過程と、前記推定演算の結果及び前記
動画像の撮影時の並進、回転運動パラメータに基づいて
前記対象物体画像の３次元形状を推定する物体形状推定
過程とを含む画像認識方法において、前記対象物体画像
の同一特徴部位の画素を後続の画像間で対応付けるため
の対応点座標の入力を受け付けて特徴部位間のオプティ
カルフローの誤差を表す所定の誤差評価関数を演算し、
この誤差評価関数の演算結果を前記オプティカルフロー
の推定演算に反映させることを特徴とする。

【００１７】前記入力を受け付ける対応点座標は、前記
対象物体画像における稜線、輪郭、頂点等の明示的な特
徴点の座標とする。前記物体形状推定過程で推定された
３次元形状が前記対象物体画像の形状に適合しない場合
は、前記対応点座標を修正して前記誤差評価関数の演算
と前記オプティカルフローの推定演算とを、前記推定さ
れた３次元形状が前記対象物体画像の形状に適合するま
で繰り返す。

【００１８】なお、前記誤差評価関数は、画素毎に導出
されるものであり、前記対応点座標によって対応付けら
れた画素と対応付けられない画素とでそれぞれ異なる重
み係数をもつことを特徴とする。

【００１９】また、上記課題を解決する本発明の画像認
識装置は、時間的に連続した動画に含まれる対象物体画
像から画素毎の輝度勾配画像を生成する前処理手段と、
前記対象物体画像の同一特徴部位の画素を後続の画像間
で対応付けるための対応点座標の入力を受け付ける座標
入力手段と、前記輝度勾配画像及び対応点座標に基づい
て前記対象物体画像の画素の動きを表すオプティカルフ
ローを推定するオプティカルフロー推定手段と、前記推
定されたオプティカルフローから前記対象物体画像を復
元するための３次元形状データを生成する手段と、を備
えて成る。

【００２０】好ましくは、前記生成された３次元形状デ
ータを操作者に提示するとともに、該提示に対して入力
された指示を解読して同一対象物体画像についてのオプ
ティカルフローの推定を継続するか否かを判定する終了
判定手段をも備えるようにする。この場合において、継
続すると判定した場合は、前記対応点座標の再入力を前
記操作者に提示する。これにより、対応点座標が座標入
力手段に入力され、オプティカルフロー推定手段で再び
その対象物体画像についてのオプティカルフローが再推
定されるようになる。また、３次元形状データを保持す
るデータ保持手段をさらに備えるようにし、前記終了判
定手段は、前記オプティカルフローの推定を継続しない
と判定した場合に当該対象物体画像について最後に生成
された前記３次元形状データを前記データ保持手段に保
持させるように構成する。

【００２１】上記画像認識装置の好ましい実施の形態と
して、前記座標入力手段は、同一の対象物体画像を異な
る角度で視覚化したステレオ画面を提示するインタフェ
ース手段を有し、このステレオ画面を通じて前記特徴部
位が特定されるように構成する。

【００２２】なお、前記オプティカルフロー推定手段
は、前記輝度勾配画像に基づくペナルティ汎関数及び重
み付けされた安定化汎関数と、前記入力された対応点座
標に基づくオプティカルフローの誤差を表す所定の誤差
評価関数とを演算し、この演算結果を最小化することで
前記オプティカルフローを推定するように構成される。

【００２３】

【発明の実施の形態】以下、本発明の画像認識方法の実
施の形態を詳細に説明する。図１は、この方法を実施す
るための画像認識装置の構成例を示す機能ブロック図で
ある。図中、実線は処理の流れ、点線はデータの流れを
表している。この画像認識装置１は汎用コンピュータ装
置によって実現されるもので、そのコンピュータ装置が
所定のプログラムを読み込んで実行することにより形成
される、時系列画像入力部１１、初期設定部１２、輝度
勾配画像生成部１３、オプティカルフロー推定部１４、
３次元形状データ生成部１５、３次元形状データ出力部
１６、３次元形状データ判定部１７、３次元形状データ
格納部１８、対応点入力部１９、画面インタフェース２
０の各機能ブロックを備えて構成される。本発明の構成
要素との関係では、時系列画像入力部１１、初期設定部
１２、輝度勾配画像生成部１３が前処理手段に相当し、
３次元データ判定部１７が終了判定手段に相当し、対応
点入力部１９及び画面インタフェース（インタフェース
手段）が座標入力手段に相当する。

【００２４】上記プログラムは、通常、コンピュータ装
置の内部記憶装置あるいは外部記憶装置に格納され、随
時読み取られて実行されるようになっているが、コンピ
ュータ装置とは分離可能な記録媒体、例えばＣＤ−ＲＯ
ＭやＦＤ等の可搬性媒体、あるいは構内ネットワークの
プログラムサーバ等の固定媒体に格納され、使用時に上
記内部記憶装置または外部記憶装置にインストールされ
て随時実行に供されるものであっても良い。

【００２５】時系列画像入力部１１は、図示しない入力
装置からの動画の入力を受け付けるものである。入力さ
れた動画は、初期設定部１２に入力される。初期設定部
１２では、時系列画像入力部１１から入力された動画に
対する形状推定に関する初期設定を行う。具体的には、
正則化パラメータα、後述する対応点パラメータβ、及
びオプティカルフロー推定の反復終了回数等が設定さ
れ、当該設定値に基づいた初期化が行われる。初期化
後、動画及び初期設定値は、輝度勾配画像生成部１３に
入力される。

【００２６】輝度勾配画像生成部１３は、入力された動
画に含まれる対象物体画像の輝度勾配画像を生成し、こ
れをオプティカルフロー推定部１４に入力する。オプテ
ィカルフロー推定部１４は輝度勾配画像及び必要に応じ
て入力された対応点入力部１９からの対応点座標に基づ
いてオプティカルフローの推定を行うものである。推定
されたオプティカルフローは、３次元形状データ生成部
１５に入力される。３次元形状データ生成部１５は、こ
のオプティカルフローから、３次元形状を推定して対象
物体画像を復元するための３次元形状データの生成を行
う。生成された３次元形状データは、３次元形状データ
出力部１６、及び画面インタフェース２０を通じて図示
しないディスプレイ装置に表示されるようになってい
る。

【００２７】３次元形状データ判定部１７は、ディスプ
レイ装置に表示された３次元形状データに対して、操作
者から入力される指示を解読して「適切」または「不適
切」かを判定し、判定結果に基づいて異なる処理を行
う。具体的には、判定結果が「適切」の場合、即ち復元
された対象物体画像の形状が元画像のものに適合する場
合は、対応する３次元形状データを３次元形状データ格
納部１８が管理するメモリ領域に格納させる。一方、
「不適切」の場合、即ち復元された対象物体画像の形状
が元画像のものに適合しない場合は、対応点入力部１９
へ処理を移す。

【００２８】対応点入力部１９は、３次元形状データ判
定部１７の判定結果に基づいて、あるいは操作者の意思
によって入力された対応点座標を受け付けるものであ
る。対応点座標の入力は、図示しないマウスやタブレッ
ト等のポインティングデバイスを通じて行われる。な
お、対応点座標は、従来のように画像間の詳細な対応点
を入力するのではなく、画像間における稜線、輪郭、頂
点等の明示的な特徴点の座標のみを入力することで足り
る。また、この対応点座標の入力は、操作者の入力作業
を考慮して、画面インタフェース２０に通じて行えるよ
うになっている。

【００２９】画面インタフェース２０は、複数の方向か
ら見た同一の対象物体画像と、対応点座標の入力に伴っ
て推定されたオプティカルフロー及び３次元形状データ
を同一画面に同時に表示させるものである。この画面イ
ンタフェース２０によるディスプレイ装置上の表示例を
図２に示す。操作者は、図２（ａ）及び図２（ｂ）に例
示される２つの画面（ステレオ画面）を使用して、対応
付ける部位をマウス等を使用して特定する。画面インタ
フェース２０は、特定された部位の座標を検知してこれ
を対応点入力部１９に入力する。図示の例では、図中に
示された（x1,y1）及び（x2,y2）が対応点座標である。
図２（ｃ）は、オプティカルフロー推定部１４で推定さ
れたオプティカルフローに基づく画像であり、また図２
（ｄ）は、３次元形状データ生成部１５において生成さ
れる３次元形状データに基づく画像である。操作者は、
これらの画像を画面インタフェース２０で確認しながら
特徴点の対応付けを行うことができるので、画像間の対
応付けが極めて容易かつ正確なものとなる。

【００３０】次に、図３を参照して、上記画像認識装置
１における全体処理をより詳細に説明する。動画が時系
列画像入力部１１に入力されると、初期設定部１２は、
オプティカルフロー推定における反復終了回数Ｎ、正則
化パラメータαを設定する（ステップＳ１０１）。ま
た、オプティカルフロー推定における反復回数ｎを設定
するとともに、オプティカルフローを“０”で初期化す
る（ステップＳ１０２）。輝度勾配画像算出部１３で
は、画像I(x,y,t)に対し、式（１３）で示されるx,y,t
方向の輝度勾配画像を生成する（ステップＳ１０３）。

【００３１】

【数５】

【００３２】従来手法と同様に、画像上の点（ｘ，ｙ）
におけるオプティカルフローを（ｕ，ｖ）^Tとする。対
象物体は剛体であり、移動後の輝度値は変化しないと仮
定すると、ペナルティ汎関数Ｅａは、式（１４）のよう
に定義することができる。また、２次元の動きベクトル
の空間的変動は滑らかであると仮定すると、安定化汎関
数Ｅｂは式（１５）のように定義することができる。

【００３３】

【数６】

【００３４】次に、対応点入力部８で入力された２つの
画像Ｉ1、Ｉ2間の対応点座標を各々、（x1,y1）及び（x
2,y2）とする（ステップＳ１１０）。これらの対応点座
標から得られる動きベクトル「ハットｕ」を「x2-x
1」、「ハットｖ」を「y2-y1」とし、これらの動きベク
トルとオプティカルフローとの誤差を表す評価関数Ｅｃ
を以下の式（１６）のように定義する。

【００３５】

【数７】

【００３６】この評価関数Ｅｃは、対応点における座標
間の差分に着目して定義したものであり、換言すれば、
対応点に係る信頼性の妥当性を示すものである。この評
価関数Ｅｃを用いることにより、誤差精度の向上が保証
されるようになる。さらに、以下の式（１７）のよう
に、これらの評価関数の和Ｅが導かれる。

【００３７】

【数８】Ｅ＝Ｅａ＋αＥｂ＋βＥｃ・・・(17)

【００３８】オプティカルフロー推定部１４では、この
評価関数Ｅを最小化させることにより、オプティカルフ
ローの推定を行う。正則化パラメータα及び対応点パラ
メータβは、評価関数の重みを意味するものである。対
応点パラメータβは、操作者が与える対応点座標に関し
て設定されるものであり、上述の「ハットｕ」及び「ハ
ットｖ」が定義されていない画素、即ち対応点入力部１
９における対応点座標の入力前の段階では、対応点パラ
メータβを“０”とする。一方、「ハットｕ」及び「ハ
ットｖ」が定義されている画素、即ち対応点座標の入力
後の段階では、対応点パラメータβは、正則化パラメー
タαに比べて大きい値を与えるように適宜設定する（ス
テップＳ１１１）。なお、これらの正則化パラメータ
α，βは、対象物の複雑さや動きの複雑さに基づいて設
定されるものである。

【００３９】上記式（１７）における最小化問題は、
ｕ，ｖに対する「Euler-Lagrangeの方程式」を求め、こ
れを離散化した連立方程式を解くことに帰着するので、
∂Ｅ／∂ｕ＝０、∂Ｅ／∂ｖ＝０より、以下の式（１
８）及び（１９）が導かれる。さらに、「Gauss-Seidel
法」を用いると、ｕ，ｖは、再帰的に以下の式（２０）
及び（２１）で求められる。

【００４０】

【数９】

【００４１】但し、上記式（２０）及び（２１）におい
て、「バーuⁿ」，「バーvⁿ」は、局所領域におけるｎ回
目のｕ及びｖの平均値である。オプティカルフロー推定
部１４では、上述の式（２０）及び（２１）によりオプ
ティカルフローを推定する。このオプティカルフロー
は、初期設定部１２において設定された推定反復回数Ｎ
で反復演算されて算出される（ステップＳ１０４〜Ｓ１
０６）。この推定に際しては、操作者により対応点座標
が与えられていない状況では、上述のステップＳ１１０
における対応点パラメータ等は考慮されずに、従来と同
様の処理によるオプティカルフロー推定となる。

【００４２】３次元形状データ生成部１５では、カメラ
の並進運動パラメータ及び回転運動パラメータと、オプ
ティカルフロー推定部１４より得られたｕ，ｖに基づい
て、前述の式（１１）及び（１２）に最小２乗法等を適
合させることにより、カメラ画像の各画素毎に奥行きＺ
を算出し（ステップＳ１０７）、３次元形状データを生
成する。生成された３次元形状データは、３次元形状デ
ータ出力部１６を通じて操作者に提示される。

【００４３】提示された３次元形状データを見た操作者
は、その３次元形状データについての後続処理の指示を
３次元形状データ判定部１７に入力する。３次元形状デ
ータ判定部１７は、操作者等からの指示を解読して「適
切」ならば（ステップＳ１０８:Yes）、３次元形状デー
タ格納部１８にその３次元形状データを格納させ（ステ
ップＳ１０９）、一方、「適切」でなければ（ステップ
Ｓ１０８：No）、ステップＳ１１０に戻る。対応点入力
部１９に対応点座標が再入力された場合は、オプティカ
ルフロー推定及び３次元形状データの生成を繰り返す。

【００４４】このように、本実施形態の画像認識装置１
では、コンピュータ処理によって推定されるオプティカ
ルフローと、対応点座標の入力による画像間の対応付け
とを融合させるようにしたので、形状推定処理の効率化
と推定精度の向上を同時に満足することができるように
なる。また、これにより、従来の正則化手法による３次
元形状推定方法では困難であった物体の境界、稜線等の
領域における３次元形状の滑らかさの仮定が可能とな
り、オプティカルフローの推定精度を格段に高めること
ができる。対応点座標の入力は、対象物体画像の稜線や
輪郭等の特徴点を２画像間で対応付けるだけで足りるの
で、操作者側の負荷を増大させることもなくなる。

【００４５】

【発明の効果】以上の説明から明らかなように、本発明
によれば、３次元形状推定の際に、誤差の少ないオプテ
ィカルフローが推定可能になるため、３次元形状の復元
精度が高まる効果がある。従って、３次元形状の復元処
理の効率も大幅に向上する。

【００４６】また、２画像間の特徴を対応付けるための
対応点の入力は、物体の稜線、輪郭、頂点等の必要最小
限の特徴部分だけで足りるので、簡便な構成の画像認識
装置が実現可能となる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る画像認識装置の機能
ブロック図。

【図２】本実施形態による対応点入力部における画面イ
ンタフェースの表示例を示す図で、（ａ），（ｂ）は同
一対象物体画像を異なる角度から見た図、（ｃ）は推定
されたオプティカルフローを視覚化した図、（ｄ）は３
次元形状データを視覚化した図である。

【図３】本実施形態による全体的な処理手順図。

【符号の説明】

１画像認識装置１１時系列画像入力部１２初期設定部１３輝度勾配画像生成部１４オプティカルフロー推定部１５３次元形状データ生成部１６３次元形状データ出力部１７３次元形状データ判定部１８３次元形状データ格納部１９対応点入力部２０画面インタフェース

Claims

【特許請求の範囲】

【請求項１】時間的に連続した動画に含まれる対象物
体画像を解析して当該対象物体画像のオプティカルフロ
ーを推定演算する推定演算過程と、前記推定演算の結果
及び前記動画像の撮影時の並進、回転運動パラメータに
基づいて前記対象物体画像の３次元形状を推定する物体
形状推定過程とを含む画像認識方法において、前記対象物体画像の同一特徴部位を後続の画像間で対応
付けるための対応点座標の入力を受け付けて特徴部位間
のオプティカルフローの誤差を表す所定の誤差評価関数
を演算し、この誤差評価関数の演算結果を前記オプティ
カルフローの推定演算に反映させることを特徴とする画
像認識方法。
【請求項２】前記対応点座標は、前記対象物体画像に
おける稜線、輪郭、頂点等の明示的な特徴部位の座標で
あることを特徴とする請求項１記載の画像認識方法。
【請求項３】前記物体形状推定過程で推定された３次
元形状が前記対象物体画像の形状に適合しない場合に、
前記対応点座標を修正して前記誤差評価関数の演算と前
記オプティカルフローの推定演算とを、前記推定された
３次元形状が前記対象物体画像の形状に適合するまで繰
り返すことを特徴とする請求項１記載の画像認識方法。
【請求項４】前記特徴部位が画素毎に特定されるもの
であり、前記誤差評価関数は、前記対応点座標によって
対応付けられた画素と対応付けられない画素とでそれぞ
れ異なる重み係数が付与されることを特徴とする請求項
１記載の画像認識方法。
【請求項５】時間的に連続した動画に含まれる対象物
体画像から画素毎の輝度勾配画像を生成する前処理手段
と、前記対象物体画像の特徴部位を後続の画像との間で対応
付けるための対応点座標の入力を受け付ける座標入力手
段と、前記輝度勾配画像及び対応点座標に基づいて前記対象物
体画像のオプティカルフローを推定するオプティカルフ
ロー推定手段と、前記推定されたオプティカルフローから前記対象物体画
像を復元するための３次元形状データを生成する手段
と、を備えて成る画像認識装置。
【請求項６】前記生成された３次元形状データを操作
者に提示するとともに、該提示に対して入力された指示
を解読して同一対象物体画像についてのオプティカルフ
ローの推定を継続するか否かを判定する終了判定手段を
さらに備え、継続すると判定した場合は、前記対応点座
標の再入力を前記操作者に提示することを特徴とする請
求項５記載の画像認識装置。
【請求項７】前記生成された３次元形状データを保持
するデータ保持手段をさらに備え、前記終了判定手段
は、前記オプティカルフローの推定を継続しないと判定
した場合に、当該対象物体画像について最後に生成され
た前記３次元形状データを前記データ保持手段に保持さ
せるように構成されていることを特徴とする請求項６記
載の画像認識装置。
【請求項８】前記座標入力手段は、同一の対象物体画
像を異なる角度で視覚化したステレオ画面を提示するイ
ンタフェース手段を有し、このステレオ画面を通じて前
記特徴部位が特定されるように構成されていることを特
徴とする請求項５ないし７のいずれかの項記載の画像認
識装置。
【請求項９】前記オプティカルフロー推定手段は、前
記輝度勾配画像に基づくペナルティ汎関数及び重み付け
された安定化汎関数と、前記入力された対応点座標に基
づくオプティカルフローの誤差を表す所定の誤差評価関
数とを演算し、この演算結果を最小化することで前記オ
プティカルフローを推定するように構成されていること
を特徴とする請求項５ないし８のいずれかの項記載の画
像認識装置。