JP3940690B2 - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP3940690B2 JP3940690B2 JP2003082120A JP2003082120A JP3940690B2 JP 3940690 B2 JP3940690 B2 JP 3940690B2 JP 2003082120 A JP2003082120 A JP 2003082120A JP 2003082120 A JP2003082120 A JP 2003082120A JP 3940690 B2 JP3940690 B2 JP 3940690B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- target object
- images
- posture
- base image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、一定の照明条件下で撮影された画像から任意の照明条件下で撮影される画像を表すことのできる照明変動画像基底を計算し、照明条件や対象物体の姿勢の変化に対して安定に物体を認識する画像処理装置及びその方法に関するものである。
【0002】
【従来の技術】
画像による物体認識技術は、セキュリティ向け個人認識やロボットの視覚等の実現には欠くことのできない要素技術の一つである。しかしながら、三次元物体の画像は、その物体の姿勢や照明位置により大きく変動してしまう。照明条件の変化や物体向きの変化に対して安定した認識を行うことは、画像による物体認識において解決すべき重要な問題である。
【0003】
画像における見え方の違いを利用したビューベースの画像認識の手法には、主にテンプレートマッチング法と部分空間法がある。テンプレートマッチング法とは、テンプレートとよばれる登録物体を表す代表的な画像を予め用意しておき、認識対象が写っている入力画像とテンプレートとの類似度を計算し、類似度が最も高いテンプレートに写っている物体として認識する方法である。
【0004】
一方、部分空間法では、テンプレートの代わりに部分空間を利用する。登録物体の画像集合から登録物体を表す部分空間を予め求めておき、認識対象が写っている入力画像に対応するベクトル部分空間との類似度から、認識結果を得る。この部分空間法は、登録物体の画像集合の統計的広がりを部分空間で表現することができるため、テンプレートマッチングに比べて比較的画像の変動に強いといえる。以下では、入力と比較するために予め登録しておくテンプレートや部分空間などを辞書と呼ぶことにする。
【0005】
このような部分空間法の特徴を利用して、照明条件の変化と物体向きの変化を考慮に入れた手法が既に提案されている。
【0006】
非特許文献1では、照明位置と登録物体の姿勢を変化させた画像集合が多様体で表されることから、多様体を辞書として用いるパラメトリック固有空間法を提案している。
【0007】
また非特許文献2では、制約相互部分空間法を提案している。この手法では、動画像を用いることにより物体の姿勢変化を考慮し、物体毎の個体差をより良く表すための空間(制約部分空間)に辞書画像や入力画像を射影することにより、照明変化に依存する成分を取り除くことができる。
【0008】
これらの認識手法を有効に活用するためには、様々な照明・姿勢変化を表すことができる辞書空間が求まっていることが前提となり、予め辞書空間作成用画像を大量に用意する必要がある。しかし照明変化に関しては、次に述べる事実が知られている。
【0009】
第jフレーム目の画像の輝度値を成分にもつベクトルをI(j)で表す。
【0010】
姿勢を固定した物体が任意の方向から照明に照らされた場合の画像I(j)は、三枚の互いに異なる方向から照らされた画像キャップI(j)(j=1,2,3)の線形和で表される。
【0011】
線形結合係数を三次元ベクトルa(j)の要素で表し、輝度値は必ず正の値であることを考慮すると、
【0012】
【数1】
【0013】
これを明細書中では、文字入力ができないために前記したように「キャップI」と呼ぶ。以下では、線形和の基底となる画像を「基底画像」と呼び、基底画像をまとめて「照明変動画像基底」と呼ぶことにする。
【0014】
基底画像の最適な枚数は対象物体の表面反射特性によって若干異なるが、基底画像の考え方を用いれば、三枚〜九枚等という少ない枚数、すなわち、少ない照明位置の変化で任意の照明条件を表すことができる。但し、基底画像を求めるためには、照明条件のみ変化させ対象物体は静止している必要があり、この原理を顔認識等に適用するためには、辞書登録の際にユーザーに完全に静止してもらわなければならず、ユーザーに負担を強いることになる。
【0015】
もし、ある一定の照明条件の下で固定されたカメラの前で姿勢変化する三次元物体を撮影し、基底画像を様々な姿勢に対して合成することができれば、辞書登録の際に登録対象に静止を強いるという負担を軽減できるだけでなく、照明を変化させさるための特別な設備を使うことも無く、照明と姿勢の変動を含む辞書用画像を用意することができ、前述の認識手法の特徴を生かした、照明や姿勢変動に対して安定な認識を行うことが可能となる。
【0016】
ここで固定カメラにより一定の照明条件下で運動物体を撮影した場合、物体の姿勢が画像毎に異なるため、各画像中で座標の共通する画素は三次元物体表面の同じ点を表すとは限らない。また、三次元物体表面の同じ点を照らす照明の方向も相対的に変化するため、画像中の三次元物体表面の同じ点を表す画素における輝度も画像毎に異なる。そのため、三次元物体表面の同じ点に対応する画素(これを以下では、「対応点」と呼ぶ)を探索することは困難とされていたが、異なる姿勢をした物体の画像から基底画像を合成するためには対応点探索を避けることはできない。
【0017】
この点、特許文献1では、画像からの三次元形状復元を目的とした研究において、複数画像間の輝度値に対して幾何輝度拘束が成り立つことを示した。すなわち、幾何輝度拘束を利用すれば対応点問題を解決することが可能になる。
【0018】
【特許文献1】
特願平11−65407号公報
【非特許文献1】
村瀬、S.K.Nayar:電子情報通信学会論文誌、J77−D−II:11,2179−2187(1994)
【非特許文献2】
福井他:電子情報通信学会論文誌、J82−D−II:4,613−620(1999)
【0019】
【発明が解決しようとする課題】
そこで、本発明は特許文献1記載の発明の如く、複数画像間の輝度値に対して幾何輝度拘束が成り立つことを利用しつつ、一定の照明条件下で様々な姿勢をした物体を固定カメラで撮影して得られた画像から、任意の照明条件下における画像を合成することのできる照明変動画像基底を様々な姿勢に対して計算し、照明変動と姿勢変動に対して安定な認識を行う画像処理装置とその方法を提供する。
【0020】
【課題を解決するための手段】
請求項1の発明は、固定された撮像装置を用いて一定の基準照明条件下で姿勢変化する対象物体を写した複数の画像を入力する画像入力手段と、前記複数の入力画像の中の一枚の入力画像を基準画像として、前記基準画像と前記他の入力画像とに基づいて、任意の照明条件下で、かつ、前記基準画像に写った対象物体の姿勢に従った画像を生成することができる基底画像を合成する基底画像合成手段と、を有することを特徴とする画像処理装置である。
【0021】
請求項2の発明は、前記基底画像合成手段は、前記複数の入力画像の中から選択した一枚の入力画像を基準画像に設定する基準画像設定手段と、前記設定した基準画像における前記対象物体の姿勢を基準にして、前記他の入力画像における前記対象物体の姿勢を表す運動パラメータを計算する運動パラメータ計算手段と、前記入力画像間での照明の影響を表す線形結合係数を計算する線形結合係数計算手段と、前記運動パラメータと前記線形結合係数に基づいて、画像間の画素の対応付けを計算する対応付け計算手段と、前記対応付けに基づいて画素を並び替えることにより、前記基準照明条件とは異なる照明条件下で、かつ、前記基準画像における前記対象物体の姿勢に従った画像を生成する画素並び替え手段と、前記画素並び替え画像から、任意照明条件下で、かつ、前記基準画像における前記対象物体の姿勢に従った画像を生成することのできる基底画像を求める基底画像算出手段と、を有することを特徴とする請求項1記載の画像処理装置である。
【0022】
請求項3の発明は、前記運動パラメータ計算手段は、前記基底画像算出手段において得られた画像間の画素の対応付けを基に運動パラメータを再度計算し、前記対応付け計算手段は、当該再計算された運動パラメータに基づいて、画像間の画素の対応付けを計算することを特徴とする請求項2記載の画像処理装置である。
【0023】
請求項4の発明は、前記線形結合係数計算手段は、前記基底画像算出手段において得られた画像間の画素の対応付けを基に線形結合係数を再度計算し、前記対応付け計算手段は、当該再計算された線形結合係数に基づいて、画像間の画素の対応付けを計算することを特徴とする請求項2記載の画像処理装置である。
【0024】
請求項5の発明は、前記基準画像設定手段は、前記設定された基準画像とは異なる入力画像を基準画像に再設定し、前記運動パラメータ計算手段は、前記計算された運動パラメータから前記再設定した基準画像を基準とした運動パラメータに補正し、前記基底画像算出手段は、前記補正した運動パラメータと前記線形結合係数に基づいて、前記基準照明条件とは異なる照明条件下で、かつ、前記再設定した基準画像における対象物体の姿勢に従った基底画像を求めることを特徴とする請求項2記載の画像処理装置である。
【0025】
請求項6の発明は、前記設定した基準画像、または、前記再設定した基底画像に含まれない対象物体の姿勢における基底画像である補間用基底画像を合成する画像処理装置であって、前記設定した基準画像、または、前記再設定した基準画像に基づいて求めた基底画像に含まれない前記対象物体の姿勢を表す補間用運動パラメータを設定する補間用運動パラメータ設定手段と、前記設定された補間用運動パラメータと前記対象物体の表面の三次元座標から、前記補間用運動パラメータが表す姿勢で前記対象物体を撮影したと推定される画素位置を計算する画素座標計算手段と、を有し、前記基底画像算出手段は、前記推定した画素位置に従って、前記補間用基底画像を求めることを特徴とする請求項2記載の画像処理装置である。
【0026】
請求項7の発明は、固定された撮像装置を用いて一定の基準照明条件下で複数の姿勢をした対象物体を撮影した画像を入力し、前記複数の入力画像の中の一枚の入力画像を基準画像として、前記基準画像と前記他の入力画像とに基づいて、前記基準照明条件とは異なる照明条件下で、かつ、前記基準画像に写った対象物体の姿勢に従った画像を生成することができる基底画像を合成して、前記合成した基底画像を登録したい対象物体の基底画像として登録する登録手段と、認識したい対象物体の画像と前記登録した対象物体の基底画像とを用いて対象物体同士の類似度を計算する類似度計算手段と、前記計算した類似度から認識したい対象物体を識別する識別手段と、を有することを特徴とする画像処理装置である。
【0027】
請求項8の発明は、固定された撮像装置を用いて一定の基準照明条件下で複数の姿勢をした対象物体を写した画像を入力する画像入力ステップと、前記複数の入力画像の中の一枚の入力画像を基準画像として、前記基準画像と前記他の入力画像とに基づいて、前記基準照明条件とは異なる照明条件下で、かつ、前記基準画像に写った対象物体の姿勢に従った画像を生成することができる基底画像を合成する基底画像合成ステップと、を有する
ことを特徴とする画像処理方法である。
【0028】
請求項9の発明は、固定された撮像装置を用いて一定の基準照明条件下で複数の姿勢をした対象物体を写した画像を入力する画像入力機能と、前記複数の入力画像の中の一枚の入力画像を基準画像として、前記基準画像と前記他の入力画像とに基づいて、前記基準照明条件とは異なる照明条件下で、かつ、前記基準画像に写った対象物体の姿勢に従った画像を生成することができる基底画像を合成する基底画像合成機能と、をコンピュータによって実現することを特徴とする画像処理方法のプログラムである。
【0029】
以上により、本発明は、一定の照明条件下で様々な姿勢をした物体を固定カメラで撮影して得られた画像から、任意の照明条件下における画像を合成することのできる照明変動画像基底を様々な姿勢に対して計算し、照明変動と姿勢変動に対して安定な認識を行うものである。
【0030】
【発明の実施の形態】
以下、本発明の実施形態について、画面に基づいて説明する。
(1)照明変動画像基底を利用した画像処理装置
図1は、照明変動画像基底を利用した画像処理装置の構成と物体認識処理全体の流れの一例を示す。
【0031】
図1に示すように、画像処理装置は、画像入力部1、照明変動画像基底合成部19、辞書空間登録部20、認識部23とよりなる。これらの各部の機能は、コンピュータに記憶されたプログラムによって実現できる。
【0032】
物体認識は大きく分けて辞書登録処理と認識処理の二種類の処理から成る。図1では、前者を点線の矢印で、後者を実線の矢印で示している。そして、予め登録したい物体に対して登録処理を行っておき、認識したい物体を登録物体と比べることによって認識処理が行われる。
(1−1)辞書登録処理
辞書登録処理について、図2に基づいて説明する。
【0033】
辞書登録処理では、まず画像入力部1において、一定の照明条件下で様々な姿勢をした登録物体を固定カメラで撮影された画像(4フレーム以上)が入力される。図2では、照明0タイプを基準照明条件として、人の顔の4つの姿勢が撮影されている。照明0タイプとは、正面から顔に向かって照明装置の光を当てた状態をいい、以下、この照明装置の位置を変化させて顔に向かって光を当てる状態を、その位置変化に応じて照明1タイプ等の表現を用いる。
【0034】
また、基準照明条件とは、固定されたカメラと固定された照明装置によって光を当てて、固定されたカメラから撮影された照明タイプをいう。なお、カメラは、静止画像を撮影するものでもよく、また、動画像を撮影して、その動画像の中から一フレームの画像を用いてもよい。
【0035】
そして、下記の入力画像が撮影される。入力画像1では、照明0タイプにおいて正面向きの顔が撮影されている。入力画像2では、照明0タイプにおいて上向きの顔が撮影されている。入力画像3では、照明0タイプにおいて左向きの顔が撮影されている。入力画像4では、照明0タイプにおいて右向きの顔が撮影されている。以下、これら入力画像1〜4が基準画像となる。
【0036】
これらの基準画像から、照明変動画像基底合成部19において、顔の複数の姿勢に対してそれぞれ照明変動画像基底を合成する。
【0037】
すなわち、下記の基底画像を合成する。照明1〜3タイプにおける正面向きの顔の基底画像から構成された照明変動画像基底(図2における一段目の照明変動画像基底)と、照明1〜3タイプにおける上向きの顔の基底画像から構成された照明変動画像基底(図2における二段目の照明変動画像基底)と、照明1〜3タイプにおける左向きの顔の基底画像から構成された照明変動画像基底(図2における三段目の照明変動画像基底)と、照明1〜3タイプにおける右向きの顔の基底画像から構成された照明変動画像基底(図2における四段目の照明変動画像基底)とを合成する。
【0038】
辞書空間登録部20において、認識段階で認識対象物体と比較するために使われる登録物体の辞書部分空間を照明変動画像基底から計算し、辞書部分空間を物体名と共に登録しておく。
【0039】
なお、登録処理に使われる入力画像は、個々の登録物体毎には一定の照明条件下で撮影されていることが必要であるが、異なる登録物体に対して同一の照明条件である必要はない。
(1−2)認識処理
認識処理では、認識したい対象物体が写っている画像を画像入力部1において入力する。認識部23において、入力画像と、既に登録してある全ての物体の辞書部分空間との類似度を計算し、類似度が最大となる辞書に対応する物体を認識結果として出力する。このとき、類似度がどの辞書と比べてもそれほど高くない場合は、登録物体とは一致しないという結果を出力する。認識対象を撮影した入力画像は一フレームでも良いが、複数フレーム用いることもできる。その場合、類似度を計算する前に、複数フレームの入力画像集合から入力部分空間を求めればよい。
【0040】
以下では、照明変動画像基底合成方法、辞書作成方法、認識方法についてそれぞれ詳しく述べる。
(2)照明変動画像基底合成方法
ある照明条件の下で固定されたカメラによって物体が様々な姿勢で撮影された画像がnjフレーム入力された場合を考える。但しnjは4以上の整数である。これらの画像から、複数の姿勢に対してそれぞれ照明変動画像基底を合成する方法を説明する。
【0041】
図2は、上記したように、対象物体として顔を用い、nj=4の入力画像から四種類の顔向き毎に三枚の基底画像が求まった様子を概念的に示す。
【0042】
図3に照明変動画像基底合成部19の処理の流れの一例を示す。
(2−1)画像入力ステップ1
画像入力ステップ1において、画像入力部1へ所定の照明条件の下で固定されたカメラによって物体が様々な姿勢で撮影された画像がnjフレーム入力される。
【0043】
前記したように、図2に示すように基準照明条件として照明0タイプを用いて、顔の4つの向きの入力画像1〜4を入力する。
(2−2)基準画像設定ステップ2
基準画像設定ステップ2において、njフレームの中から1フレームを選び、基準画像I(1)に設定する。例えば、図2に示す入力画像1を基準画像に設定する。
(2−3)特徴点検出ステップ3
特徴点検出ステップ3において、全フレームに共通な特徴点(但し、四点以上)を抽出する。顔画像の場合なら例えば、目尻、口端等にあたる点を用いることができる。
(2−4)運動パラメータ計算ステップ6
運動パラメータ計算ステップ6において、これらの特徴点座標から運動パラメータM(j)(j=1,…nj)、t(j)(j=1,…nj)を求める。ここで、M(j)は、物体の回転を表す2×3行列、t(j)は画像中における物体の平行移動を表す二次元ベクトルである。これらの運動パラメータは、基準画像の設定を変更した場合にも利用するため、運動パラメータ格納部7に保存しておく。
(2−5)線形結合係数計算ステップ4
一方、線形結合係数計算ステップ4において、特徴点の輝度値から(1)式における線形結合係数ベクトルa(j)(j=1,…nj)を計算する。例えば、検出された特徴点の輝度に対して最小二乗法を適用して計算することができる(特許文献1)。
【0044】
すなわち、特徴点検出ステップ3において抽出された特徴点の数をnj個とする。第jフレームのi番目の特徴点における輝度値を第ij成分にもつni×nj行列をIとする。Iに対して特異点分解を行い、Iのランクが3であることを利用して、nj×3行列キャップIと3×nj行列aに分解する。
【0045】
すなわち、
【0046】
【数2】
【0047】
となる。このときに得られる行列aの各列ベクトルが線形結合係数ベクトルa(j)(j=1,2,…nj)となっている。
【0048】
この値は、基準画像の設定を変更した場合にも、そのまま利用するため、線形結合係数格納部5に保存しておく。
(2−6)対応点探索ステップ10
次に、対応点探索ステップ10において対応点探索を行う。基準画像のi番目の画素を xi(1)とする。ここで括弧の中の1は基準画像を意味する。この画素xi(1)に対応した三次元物体表面上の点をXiとする。Xiに対応するjフレーム目の画素座標をxi(j)で表す。ここで、xi(j)(j=1,…nj)は画像中の座標を表す二次元ベクトル、Xiは点の三次元位置を表す三次元ベクトルである。
【0049】
XiのX,Y座標がxi(1)のx,y座標と一致するように座標系を選択するものとし、奥行きを表すZ座標をZiとする。正しいZiの値は未知なので、まずZiを適当な値に設定する。この時、線形結合係数計算ステップ4で得られた運動パラメータM(j),t(j)からXiに対応するjフレーム目の画素座標xi(j)は、
【0050】
【数3】
【0051】
で計算できる。従って、jフレーム目の対応点における輝度Ii(j)は、Ziの設定値に応じてxi(j)における輝度値として仮定することができる。すなわち、
【0052】
【数4】
【0053】
となる。このようにして得られる輝度の観測値Ii(j)(j=1,…nj)と運動パラメータ計算ステップ6で得られたパラメータa(j)を
【0054】
【数5】
【0055】
により計算する。なお、推定値を表すときに文字の頭に「^(ハット)」を付する。
【0056】
奥行きZiの値が正しい場合、誤差Eiはゼロになるはずである。この拘束条件、すなわち、Ei=0が前述の特許文献1記載の説明によって導出された幾何輝度拘束と呼ばれるものである。ここで実画像には雑音が含まれるため、正しい奥行きZiの値に対しても誤差Eiは完全にゼロにはならない。
【0057】
そこで、奥行きZiの値を変化させながら、その都度上記と同様に式(2)〜(6)より誤差Eiを計算し、Eiを最小にするZiを探索する。その最小にしたZiから式(2)により求まる画素座標xi(j)(j=2,…nj)が、jフレーム目の画像における正しい対応点となる。この対応点探索を基準画像の全画素xi(1)に対して行う。
【0058】
図4に対応付けの様子を概念的に示す。図4において、基準フレームIi(1)のある点に対して、他フレームの対応点は式(2)で表されるエピポーラ線上に存在する。ここで適切な奥行きZを仮定することにより、輝度拘束を満たすような対応付けを探索する。
(2−7)輝度並べ替えステップ11
輝度並べ替えステップ11において、対応付けされた画素座標における輝度Ii(j)(j=1,…nj)を基準画像の画素位置xi(1)に従って並び替えることにより、基準画像におけるのと同じ姿勢をした物体の画像を得ることができる。
(2−8)主成分分析ステップ12
こうして得られた画像と基準画像に対して、主成分分析ステップ12において主成分分析を行えば、その固有ベクトルとして基底画像が得られる。この得られた基底画像が、図2の一段目の照明変動画像基底である。より厳密に物体の影などを考慮して基底画像を求めたい場合は、主成分分析のかわりに Georghiades らが提案した手法などを用いることもできる(文献4:A. S.Georghiades, P. N. Belhumeur, and D. J. Kriegman:IEEE Transactions Pattern Analysis and Machine Intelligence, Vol.23, No.6, 643-659 (2001) )。具体的には主成分分析の手法によれば、影を雑音として扱うが、文献4記載の手法では、影となる画素を取り除いて繰り返し計算を行うことにより基底画像を求める。
こうして得られた基底画像は基底画像格納部13に保存しておく。
【0059】
ここで、初期条件が不十分な場合でも精度良く基底画像を合成する改善手法(繰り返し計算方法)について述べる。前述のとおり、運動パラメータと線形結合係数は、特徴点検出ステップ3で得られる特徴点から運動パラメータ計算ステップ6と線形結合係数計算ステップ4で計算し、それを基に対応点探索が行われる。従って、得られる対応付けの精度は運動パラメータと線形結合係数の精度の影響を受け、運動パラメータや線形結合係数を精度良く求めることができなければ、対応点を精度良く探索することができない。
【0060】
しかし、必ずしもこれらのパラメータを計算するために十分な情報を含む特徴点が特徴点検出ステップ3で検出されるとは限らない。特に、特徴点の数が多い場合はある程度精度良くパラメータが求まるが、特徴点の数が少ない場合は精度の低下が顕著である。このように、対応付けのための初期条件が不十分な場合でも、図3の破線によって示されるような対応付け結果のフィードバックを行い、運動パラメータと線形結合係数の計算と対応付けを繰り返し行うことにより、最終的に精度良く対応付けを行うことができる。以下では、その方法について述べる。
【0061】
まず、前述の手法(図3の実線)に従って、図3の画像入力から対応点探索までを一通り行う。この一回目の対応点探索で得られた対応点座標を、運動パラメータ計算ステップ6にあらためて入力し(図3の中央左側の破線)、これらの対応点の座標から運動パラメータを計算し直す。この時、対応点探索を行った全ての対応点座標を利用してもよいが、閾値を設定したり、RANSAC(文献5:M. A. Fischler and R.C. Bolles: Graphics and Image Processing, Vol.24, No. 6, 381-395 (1981) )などの手法により誤差の大きな座標を除いて利用することもできる。ここでRANSACとは、まず、全データの中からランダムに選ばれたデータ集合を用いてパラメータを求め、そのパラメータを基に残りのデータの誤差を計算し、誤差が大きいものは取り除く。以上を繰り返し、取り除かれたデータの数が最も少なかった場合のデータを最終的に整合性の高いデータとみなすデータ選択の一手法である。この結果得られた運動パラメータ格納部7に保存されている運動パラメータは更新される。そして更新された運動パラメータを用いて再度対応点を探索する。
【0062】
一方、一回目の対応点探索で得られた対応点における輝度を、線形結合係数計算ステップ4にあらためて入力し(図3の右側の破線)、これらの対応点における輝度の情報から線形結合係数を計算し直す。この場合も運動パラメータの繰り返し計算と同様に、対応点探索を行った全ての対応点座標を利用してもよいが、閾値を設定したり、RANSACなどの手法により誤差の大きな座標を除いて利用することもできる。こうして得られた線形結合係数格納部5に保存されている線形結合係数は更新される。そして更新された線形結合係数を用いて再度対応点探索を行なう。
【0063】
これらの運動パラメータと線形結合係数の計算のやり直し(再計算)は、それぞれ独立に行うことができる。運動パラメータと線形結合係数を共に更新してもよいし、運動パラメータは更新しないで、線形結合係数のみ更新することもできる。また、その逆でもよい。こうしてフィードバック演算を行なうことにより、更新したパラメータと係数に基づいて、対応点探索を再度行うことができる。
【0064】
これらの処理を繰り返し行うことによって、対応点探索の精度を上げることができる。繰り返しを行う回数は、経験的に決めることもできるし、式(6)で示す輝度の誤差Eiをiについて足し合わせたものが、閾値より小さくなるまで繰り返しを行うこともできる。
(3)複数の姿勢に対する照明変動画像基底合成方法
複数の姿勢に対してそれぞれ照明変動画像基底を求めるためには、基準画像の設定を変更し、対応点探索を行えばよい。すなわち、図2において、上記の(2)欄では、入力画像1を基準画像として一段目の照明変動画像基底を求めたが、この(3)欄では入力画像2〜4を基準画像として、二段目から四段目の照明変動画像基底を求める。照明変動画像基底合成部19における基準画像変更後の処理の流れの一例を図3の点線の矢印で示す。
(3−1)基準画像変更ステップ8
まず、基準画像変更ステップ8において、今まで用いていた基準画像とは物体の向きの異なる画像を入力画像の中から選び基準画像に設定し直す。例えば、図2における入力画像2を基準画像を設定する。
(3−2)運動パラメータ補正ステップ9
運動パラメータ格納部7に格納してある動きパラメータを呼び出す。このパラメータを求める際に基準画像として設定された画像における姿勢からの相対的な運動を表すため、運動パラメータ補正ステップ9において現在設定されている基準画像を基準とした動きパラメータに補正する。
(3−3)対応点探索ステップ10、輝度並べ替えステップ11
また、線形結合係数格納部5に格納してある線形結合係数を呼び出す。これらのパラメータを用いて、前の基準画像(入力画像1)の場合と同様に、対応点探索ステップ10において対応点探索を行い、輝度並べ替えステップ11において輝度並べ替えを行うことによって現在の基準画像(入力画像2)と同じ姿勢の物体画像を得ることができる。
(3−4)主成分分析ステップ12、基底画像格納部13
得られた画像と基準画像に対して主成分分析ステップ12において主成分分析を行えば、その固有ベクトルとして基底画像が得られる。得られた基底画像は基底画像格納部13に保存しておく。
【0065】
以上の処理(図3の点線矢印で示される処理)を繰り返すことにより、入力画像2〜4に含まれる複数の姿勢に対してそれぞれ照明変動画像基底を合成することができる。
(4)姿勢補間による照明変動画像基底合成方法
上記の方法では、入力画像に含まれる姿勢に対しては基底画像を得ることができたが、入力画像に含まれない姿勢に対しては基底画像を得ることができない。すなわち、図2では、顔の向きが正面、上向き、左向き、右向きであるが、これ以外の向きの基底画像を得ることができない。
【0066】
そこで以下では、上記の方法で合成される照明変動画像基底が表す物体の姿勢とは異なる姿勢に対する基底画像(以下、補間用基底画像という)を合成する方法について述べる。
【0067】
図5に、姿勢補間による照明変動画像基底合成処理の流れの一例を示す。
(4−1)三次元座標格納部27
予め、前述の幾何輝度拘束を用いて照明変動画像基底を計算する際に対応付けされ、正しいZiの求まっている画像中の各点の三次元座標Xiを保存しておく必要がある。但し、選択された基準画像によって、座標系が異なるため、例えば、はじめに選択した基準画像(以下、第1基準画像という)での三次元座標系に全て統一することにする。
【0068】
まず、第1基準画像で対応付けを行った画像中各点の三次元座標Xiを全て保存しておく。基準画像の設定を変更した後は、対応点探索を行って得られる三次元座標を、統一した三次元座標に変換する。変換した座標が既に保存してあるXiと一致しなければ、その点の三次元座標も保存しておく。この処理を対応点が求まる度に行うことによって、対象物体表面上の点の三次元座標Xiを密に三次元座標格納部27に保存する。
【0069】
一般に、複数の方向から見た物体の表面形状を表す三次元座標はそれぞれ雑音を含んでいるため、それぞれの形状データを統一した三次元座標に変換してもぴったりと重ならない。そのような場合に、複数の形状データを合わせ込み、滑らかに表面形状を計算する手法が既に多数提案されている(例えば、文献6:M. D. Wheeler, Y. Sato, and K. Ikeuchi: Proc. 6th International Conference on Computer Vision, 917-924 (1998) )。このような手法を利用して、異なる基準画像から得られるそれぞれの三次元座標を合わせ込み、得られる三次元座標を三次元座標格納部27に保存してもよい。
(4−2)補間用運動パラメータ設定ステップ28
補間用運動パラメータ設定ステップ28において、補間用運動パラメータM(jnew),t(jnew)を設定する。
【0070】
但し、補間用運動パラメータは、前述の幾何輝度拘束を用いた方法で合成される照明変動画像基底が表す物体の姿勢とは、異なる姿勢を表すように設定する。(4−3)画素座標計算ステップ29
画素座標計算ステップ29において、この補間用運動パラメータと三次元座標格納部27において保存してある三次元座標Xiを用いて、式(2)より、求めたい姿勢における画素座標xi(jnew)を求める。
【0071】
また、画素座標計算ステップ29において、運動パラメータ格納部7に保存された運動パラメータM(j),t(j)と三次元座標格納部27に保存された三次元座標Xiを用いて、jフレーム目の入力画像における対応点の画素座標xi(j)を式(2)より求める。
(4−4)輝度並べ替えステップ11
輝度並べ替えステップ11において、その画素座標xi(j)における輝度Ii(j)を、画素座標xi(jnew)に従って並べ替えれば、求めたい姿勢における画像をniフレーム合成することができる。
(4−5)主成分分析ステップ12
主成分分析ステップ12において、得られたniフレームに主成分分析を施せば、固有ベクトルから求めたい姿勢に対する補間用基底画像を得ることができる。最後に、得られた補間用基底画像を基底画像格納部13に保存する。このように姿勢補間を行えば、入力画像に含まれない任意の姿勢に対して補間用基底画像を得ることができ、姿勢変化のバリエーションをより充実させることができる。
【0072】
また、入力画像に含まれる姿勢でも、前述の幾何輝度拘束を利用する方法で全ての姿勢に対して照明変動画像基底を求める必要はなく、まばらに求めておいて、上述の姿勢補間によって照明変動画像基底を求めることもできる。
【0073】
なお、入力画像として対象物体の重心の位置が常に同じ画素座標にあるような画像を用いる場合、照明変動基底画像を合成する際に必要となる運動パラメータのうち並進運動を表すt(j)は全てのjに対してゼロとなるため省略することができ、回転運動を表すM(j)のみ考えればよい。
(5)照明変動画像基底の利用例
照明変動画像基底が求まれば、式(1)に示されるように、結合係数を変えるだけで様々な照明条件下での画像を合成することができる。
【0074】
従って、本発明における照明変動画像基底の合成法は、物体認識の辞書作成に利用が限定されるものではない。例えば、ウェブ美術館、ネットショッピング、電子カタログ、アミューズメント応用などに利用すれば、ユーザーの要求に応じて、限られた画像から物体の様々な姿勢や照明条件下での見え方を表示することができる。また、ShashuaとRiklin-Raviv(文献7:"The quotient image:Class-based re-rendering and recognition with varying illuminations",IEEE Transactions Pattern Analysis and Machine Intelligence,2001,vol.23,No.2,pp.129-139.)に示されているような画像のレンダリングの前処理等にも利用することができる。
【0075】
照明変動画像基底を物体認識に利用する場合、従来技術で述べたようなテンプレートマッチングや部分空間法といった様々な認識手法を適用することができる。以下では、認識方法として前述の非特許文献2によって提案された制約相互空間法を取り上げ、辞書空間を作成し類似度を求める方法について詳しく述べる。(6)辞書空間作成の方法
辞書空間登録部20において、図6に辞書空間作成処理の流れの一例を示す。(6−1)基底画像格納部13
基底画像格納部13に保存してある、登録したい物体kの様々な姿勢での照明変動画像基底は、各姿勢jにおける任意の照明変動を含む部分空間の基底になっている。各姿勢における任意の照明変動を含む部分空間をS(k)j(j=1,…nj)で表す。
(6−2)共通部分空間計算ステップ14
照明変動空間の共通部分空間計算ステップ14において、S(k)j(j=1,…nj)の共通部分空間S(k)を、文献8(福井他:電子情報通信学会論文誌、J82−D−II:4、613−620(1999))に従って作成する。このような共通部分空間を登録したい物体(1,…nk)それぞれに対して作成する。
(6−3)制約部分空間計算ステップ15
制約部分空間計算ステップ15において、これらS(k)(k=1,…nk)から制約部分空間を作成する。制約部分空間の作成法は、前述の非特許文献2や文献9(特願平10−199123号公報)に詳しい。作成した制約部分空間は類似度を計算する際にも用いるため、制約部分空間格納部18に保存しておく。(6−4)辞書空間計算ステップ16
辞書空間計算ステップ16において、制約部分空間にS(k)を射影し、これを辞書空間として制約部分空間格納部17に登録する。またSj(j=1,…nj)の共通部分空間の代わりに、S(k)(j=1,…nj)の和空間を作成してもよい。
(7)類似度の計算方法
以上のように得られる辞書空間と制約部分空間を利用して、認識部23において類似度を計算する処理の流れの一例を図7に示す。
(7−1)画像入力ステップ1
画像入力部1において、認識したい物体の動画像が入力される。
(7−2)入力空間計算ステップ22
入力空間計算ステップ22において、入力動画像に対して主成分分析を行い、得られる固有ベクトルで張られる部分空間を入力画像部分空間とする。
(7−3)制約部分空間への射影ステップ24
制約部分空間への射影ステップ24において、この入力画像空間を、照明変動画像基底を利用して作成された制約部分空間に射影することにより、照明による変動を取り除き、認識対象物体の特徴が強調されるような空間を作成することができる。
(7−4)類似度計算ステップ25
類似度計算ステップ25において、この空間と、既に登録されている物体の辞書空間との類似度を計算する。類似度としては、空間同士の近さの尺度の一つである正準角cos(θ)を用いることができる。正準角の計算方法は前述の文献2や文献10(シャトラン著「行列の固有値」シュプリンガー・フェエアラーク東京(1993))に詳しい。類似度は登録されている全ての物体の辞書空間に対して計算する。
(7−5)認識結果出力ステップ26
認識結果出力ステップ26において、最も大きな類似度をもつ登録物体が認識結果として出力される。また、類似度の閾値を設定し、どの登録物体との類似度も閾値より低い場合は、認識対象物体は登録されていないという結果を出力することもできる。
(8)物体認識の利用例
本発明は任意の三次元物体に対して有効である。認識対象物体として顔を扱った場合は、セキュリティ用の個人認証だけでなく、ロボットの視覚として用いれば、発話者が持ち主だと認識された場合のみ命令に従ったり、近寄っていく等、ロボットの行動制御に利用することもできる。また、物体認識の手法は、画像中に目的の物体が写っているかいないかを判断し、物体領域の切り出し等にも利用することができる。
【0076】
なお、本発明における物体認識の手法は、向き認識にも適用可能である。照明変動基底画像格納部13において、照明変動画像基底を計算する際に用いた運動パラメータも保存しておき、辞書空間を運動パラメータ毎に作成すれば、その辞書空間と入力画像との類似度が最大となる運動パラメータが対象物体の向きの推定値として得ることができる。
【0077】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0078】
【発明の効果】
以上述べてきたように、本発明によれば、ある限られた照明条件下で撮影された様々な姿勢をした物体の画像から、複数の姿勢に対して、任意の照明を照らして撮影されたような物体の画像を合成することのできる、照明変動画像基底を計算することができる。
【0079】
従って、画像を撮影する際に、照明を変化させたり、物体を固定したりする特別な設備等を必要とせず、固定されたカメラの前で物体が動くだけで、照明と姿勢の様々なバリエーションを表すことのできる画像を合成することができる。また、照明変動画像基底を用いて物体認識用辞書を作成すれば、照明変動と姿勢変動に対して安定な物体認識を行うことができるようになる。
【図面の簡単な説明】
【図1】 本発明の実施形態の画像処理装置の構成図である。
【図2】 入力画像と照明変動画像基底の関係を示す図である。
【図3】 照明変動画像基底合成処理の流れを示す図である。
【図4】 画像間の対応付けの概念図である。
【図5】 姿勢補間による照明変動画像基底合成処理の流れを示す図である。
【図6】 照明変動画像基底を用いた辞書登録処理の流れを示す図である。
【図7】 制約相互部分空間法による認識処理の流れを示す図である。
【符号の説明】
1 画像入力部
5 線形結合係数格納部
7 運動パラメータ格納部
3 基準画像格納部
17 辞書空間格納部
18 制約部分空間格納部
19 照明変動画像基底合成部
20 辞書空間登録部
23 認識部
Claims (12)
- 固定された撮像装置を用いて一定の基準照明条件下で姿勢変化する対象物体を写した複数の画像を入力する画像入力手段と、
前記複数の入力画像の中から複数の基準画像を選択する基準画像選択手段と、
前記複数の基準画像の各々について、前記各基準画像における前記対象物体の姿勢を基準にして、前記複数の入力画像の中の他の入力画像における前記対象物体の姿勢を表す運動パラメータを計算する運動パラメータ計算手段と、
前記複数の入力画像間での照明の影響を表す線形結合係数を計算する線形結合係数計算手段と、
前記複数の基準画像の各々について、前記運動パラメータと前記線形結合係数に基づいて、前記基準照明条件とは異なる照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った基底画像を求める基底画像算出手段と、
前記運動パラメータと前記線形結合係数に基づいて、画像間の画素の対応付けを計算する対応付け計算手段と、
前記複数の基準画像の各々について、前記対応付けに基づいて画素を並び替えることにより、前記基準照明条件とは異なる照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った画像を生成する画素並び替え手段と、
前記複数の基準画像の各々について、前記画素並び替え画像から、任意照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った画像を生成することのできる基底画像を求める基底画像算出手段と、
前記複数の基準画像のいずれとも異なる姿勢をした前記対象物体の姿勢を表す補間用運動パラメータを設定する補間用運動パラメータ設定手段と、
前記設定された補間用運動パラメータと前記対象物体の表面の三次元座標から、前記補間用運動パラメータが表す姿勢で前記対象物体を撮影したと推定される画素位置を計算する画素座標計算手段と、
を有し、
前記基底画像算出手段は、前記推定した画素位置に従って、前記複数の基準画像のいずれとも異なる姿勢の前記対象物体の基底画像をも求める
ことを特徴とする画像処理装置。 - 前記運動パラメータ計算手段は、前記基底画像算出手段において得られた画像間の画素の対応付けを基に運動パラメータを再度計算し、
前記対応付け計算手段は、当該再計算された運動パラメータに基づいて、画像間の画素の対応付けを計算する
ことを特徴とする請求項1記載の画像処理装置。 - 前記線形結合係数計算手段は、前記基底画像算出手段において得られた画像間の画素の対応付けを基に線形結合係数を再度計算し、
前記対応付け計算手段は、当該再計算された線形結合係数に基づいて、画像間の画素の対応付けを計算する
ことを特徴とする請求項1記載の画像処理装置。 - 登録したい対象物体の基底画像を合成するために、請求項1から請求項3までのいずれかに記載された画像処理装置を備える基底画像合成手段と登録したい対象物体の、
前記基底画像合成手段で合成された基底画像を登録したい対象物体の基底画像として登録する登録手段と、
認識したい対象物体の画像と前記登録した対象物体の基底画像とを用いて対象物体同士の類似度を計算する類似度計算手段と、
前記計算した類似度から認識したい対象物体を識別する識別手段と、
を有することを特徴とする画像処理装置。 - 固定された撮像装置を用いて一定の基準照明条件下で姿勢変化する対象物体を写した複数の画像を入力する画像入力ステップと、
前記複数の入力画像の中から複数の基準画像を選択する基準画像選択ステップと、
前記複数の基準画像の各々について、前記各基準画像における前記対象物体の姿勢を基準にして、前記複数の入力画像の中の他の入力画像における前記対象物体の姿勢を表す運動パラメータを計算する運動パラメータ計算ステップと、
前記複数の入力画像間での照明の影響を表す線形結合係数を計算する線形結合係数計算ステップと、
前記複数の基準画像の各々について、前記運動パラメータと前記線形結合係数に基づいて、前記基準照明条件とは異なる照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った基底画像を求める基底画像算出ステップと、
前記運動パラメータと前記線形結合係数に基づいて、画像間の画素の対応付けを計算する対応付け計算ステップと、
前記複数の基準画像の各々について、前記対応付けに基づいて画素を並び替えることにより、前記基準照明条件とは異なる照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った画像を生成する画素並び替えステップと、
前記複数の基準画像の各々について、前記画素並び替え画像から、任意照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った画像を生成することのできる基底画像を求める基底画像算出ステップと、
前記複数の基準画像のいずれとも異なる姿勢をした前記対象物体の姿勢を表す補間用運動パラメータを設定する補間用運動パラメータ設定ステップと、
前記設定された補間用運動パラメータと前記対象物体の表面の三次元座標から、前記補間用運動パラメータが表す姿勢で前記対象物体を撮影したと推定される画素位置を計算する画素座標計算ステップと、
を有し、
前記基底画像算出ステップでは、前記推定した画素位置に従って、前記複数の基準画像のいずれとも異なる姿勢における前記対象物体の基底画像をも求める、
ことを特徴とする画像処理方法。 - 前記運動パラメータ計算ステップでは、前記基底画像算出手段において得られた画像間の画素の対応付けを基に運動パラメータを再度計算し、
前記対応付け計算ステップでは、当該再計算された運動パラメータに基づいて、画像間の画素の対応付けを計算する
ことを特徴とする請求項5記載の画像処理方法。 - 前記線形結合係数計算ステップでは、前記基底画像算出手段において得られた画像間の画素の対応付けを基に線形結合係数を再度計算し、
前記対応付け計算ステップでは、当該再計算された線形結合係数に基づいて、画像間の画素の対応付けを計算する
ことを特徴とする請求項5記載の画像処理方法。 - 請求項5から請求項7までのいずれか一項に記載された画像処理方法を用いて、登録したい対象物体の基底画像を合成する基底画像合成ステップと、
前記基底画像合成ステップで合成された基底画像を前記登録したい対象物体の基底画像として登録する登録ステップと、
認識したい対象物体の画像と前記登録した対象物体の基底画像とを用いて対象物体同士の類似度を計算する類似度計算ステップと、
前記計算した類似度から認識したい対象物体を識別する識別ステップと、
を有することを特徴とする画像処理方法。 - コンピュータに、
固定された撮像装置を用いて一定の基準照明条件下で姿勢変化する対象物体を写した複数の画像を入力する画像入力ステップと、
前記複数の入力画像の中から複数の基準画像を選択する基準画像選択ステップと、
前記複数の基準画像の各々について、前記各基準画像における前記対象物体の姿勢を基準にして、前記複数の入力画像の中の他の入力画像における前記対象物体の姿勢を表す運動パラメータを計算する運動パラメータ計算ステップと、
前記複数の入力画像間での照明の影響を表す線形結合係数を計算する線形結合係数計算ステップと、
前記複数の基準画像の各々について、前記運動パラメータと前記線形結合係数に基づいて、前記基準照明条件とは異なる照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った基底画像を求める基底画像算出ステップと、
前記運動パラメータと前記線形結合係数に基づいて、画像間の画素の対応付けを計算する対応付け計算ステップと、
前記複数の基準画像の各々について、前記対応付けに基づいて画素を並び替えることにより、前記基準照明条件とは異なる照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った画像を生成する画素並び替えステップと、
前記複数の基準画像の各々について、前記画素並び替え画像から、任意照明条件下で、かつ、前記各基準画像における前記対象物体の姿勢に従った画像を生成することのできる基底画像を求める基底画像算出ステップと、
前記複数の基準画像のいずれとも異なる姿勢をした前記対象物体の姿勢を表す補間用運動パラメータを設定する補間用運動パラメータ設定ステップと、
前記設定された補間用運動パラメータと前記対象物体の表面の三次元座標から、前記補間用運動パラメータが表す姿勢で前記対象物体を撮影したと推定される画素位置を計算する画素座標計算ステップと、
を実行させ、
前記基底画像算出ステップでは、前記推定した画素位置に従って、前記複数の基準画像のいずれとも異なる姿勢における前記対象物体の基底画像をも求める、
ことを特徴とするプログラム。 - 前記運動パラメータ計算ステップでは、前記基底画像算出手段において得られた画像間の画素の対応付けを基に運動パラメータを再度計算し、
前記対応付け計算ステップでは、当該再計算された運動パラメータに基づいて、画像間の画素の対応付けを計算する
ことを特徴とする請求項9記載のプログラム。 - 前記線形結合係数計算ステップでは、前記基底画像算出手段において得られた画像間の画素の対応付けを基に線形結合係数を再度計算し、
前記対応付け計算ステップでは、当該再計算された線形結合係数に基づいて、画像間の画素の対応付けを計算する
ことを特徴とする請求項9記載のプログラム。 - コンピュータに、
請求項9から請求項11までのいずれか一項に記載されたプログラムを実行して、登録したい対象物体の基底画像を合成する基底画像合成ステップと、
前記基底画像合成ステップで合成された基底画像を登録したい対象物体の基底画像として登録する登録ステップと、
認識したい対象物体の画像と前記登録した対象物体の基底画像とを用いて対象物体同士 の類似度を計算する類似度計算ステップと、
前記計算した類似度から認識したい対象物体を識別する識別ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003082120A JP3940690B2 (ja) | 2002-03-25 | 2003-03-25 | 画像処理装置及びその方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002084598 | 2002-03-25 | ||
JP2003082120A JP3940690B2 (ja) | 2002-03-25 | 2003-03-25 | 画像処理装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004005509A JP2004005509A (ja) | 2004-01-08 |
JP3940690B2 true JP3940690B2 (ja) | 2007-07-04 |
Family
ID=30445950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003082120A Expired - Fee Related JP3940690B2 (ja) | 2002-03-25 | 2003-03-25 | 画像処理装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3940690B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006011261A1 (ja) | 2004-07-26 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置および画像処理プログラム |
WO2006011255A1 (ja) | 2004-07-28 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム |
JP4623320B2 (ja) * | 2004-11-04 | 2011-02-02 | 日本電気株式会社 | 三次元形状推定システム及び画像生成システム |
EP1808810A4 (en) | 2004-11-04 | 2013-07-24 | Nec Corp | 3D-FORM-ESTIMATING SYSTEM AND PICTURE GENERATION SYSTEM |
JP4661319B2 (ja) * | 2005-04-18 | 2011-03-30 | パナソニック電工株式会社 | 画像処理装置及び画像処理方法 |
JP3930898B2 (ja) * | 2005-08-08 | 2007-06-13 | 松下電器産業株式会社 | 画像合成装置および画像合成方法 |
EP2660773A4 (en) | 2010-12-28 | 2017-04-05 | Fujitsu Limited | Biometric authentication device, biometric authentication method, and biometric authentication program |
JP6166705B2 (ja) * | 2014-09-29 | 2017-07-19 | セコム株式会社 | 対象識別装置 |
CN112766023B (zh) * | 2019-11-04 | 2024-01-19 | 北京地平线机器人技术研发有限公司 | 目标对象的姿态确定方法、装置、介质及设备 |
-
2003
- 2003-03-25 JP JP2003082120A patent/JP3940690B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004005509A (ja) | 2004-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dai et al. | A 3d morphable model of craniofacial shape and texture variation | |
US9053388B2 (en) | Image processing apparatus and method, and computer-readable storage medium | |
Siarohin et al. | Appearance and pose-conditioned human image generation using deformable gans | |
Bronstein et al. | Calculus of nonrigid surfaces for geometry and texture manipulation | |
JP5873442B2 (ja) | 物体検出装置および物体検出方法 | |
JP5631086B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
Kocabas et al. | Hugs: Human gaussian splats | |
JPH10320588A (ja) | 画像処理装置および画像処理方法 | |
WO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
CN112528902B (zh) | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 | |
WO2006134821A1 (ja) | 画像合成装置、それを用いた画像照合装置、画像合成方法およびプログラム | |
CN111815768B (zh) | 三维人脸重建方法和装置 | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
JP3940690B2 (ja) | 画像処理装置及びその方法 | |
JP2002024811A (ja) | 影成分除去装置 | |
Liu et al. | Panoramic face recognition | |
JP5503510B2 (ja) | 姿勢推定装置および姿勢推定プログラム | |
JP2010231350A (ja) | 人物識別装置、そのプログラム、及び、その方法 | |
JP2000268161A (ja) | 実時間表情検出装置 | |
JP6931267B2 (ja) | 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法 | |
CN111783497A (zh) | 视频中目标的特征确定方法、装置和计算机可读存储介质 | |
Qammaz et al. | A Unified Approach for Occlusion Tolerant 3D Facial Pose Capture and Gaze Estimation Using MocapNETs | |
RU2720361C1 (ru) | Обучение по нескольким кадрам реалистичных нейронных моделей голов говорящих персон |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040609 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070402 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100406 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |