JP3630582B2 - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP3630582B2 JP3630582B2 JP06540799A JP6540799A JP3630582B2 JP 3630582 B2 JP3630582 B2 JP 3630582B2 JP 06540799 A JP06540799 A JP 06540799A JP 6540799 A JP6540799 A JP 6540799A JP 3630582 B2 JP3630582 B2 JP 3630582B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- matrix
- image
- time
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば工業部品などの設計を支援するための３次元ＣＡＤ（計算機援用設計）、３次元ＣＧ（コンピュータグラフィクス）を用いた映像作成、あるいは人物の顔画像を用いたＨＩ（ヒューマンインタフェイス）、ゲームへの応用を含むＶＲ（バーチャルリアリティ）上でのアバタの作成などで用いられるものであり、対象物体のモデル記述の作成を支援することに有用な画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
近年、工業部品などの設計を支援するための３次元ＣＡＤ、３次元ＣＧを用いた映像作成、あるいは人物の顔画像を用いたＨＩなど、画像生成、画像処理、画像認識といった画像に関わる計算機処理のニーズが急速に拡大している。
【０００３】
これらの処理においては、対象とする物体の幾何形状、表面属性、そして、必要に応じて動きのデータを計算機に数値化して入力することが必要である。この入力過程をモデリングと呼び、入力された数値データをモデルと呼ぶ。現在、このモデリング作業は、人手により多くの手間を掛けて行っており、生産性やコストの面からも自動化が強く望まれている。
【０００４】
そこで、カメラで得た画像を解析することにより、対象物体の形状及び表面属性を自動的に求める手法の研究が行われている。すなわち、複数台のカメラを用いて３角測量の原理により距離を求めるステレオ法や、簡素なシステムとして一台のカメラの焦点距離を変えて得た画像を解析することにより距離を求める手法を用いて、環境に存在する物体のモデリングを自動的に行う試みがなされている。
【０００５】
しかしながら、一台のカメラで焦点距離を変える際には物体が静止していることが必要であり、ステレオ法において複数のカメラを用いる場合、一台のカメラを用いるのに比べてコストに問題がある。また、一台のカメラで動物体を複数方向から撮影し、ステレオ法を応用するためには、物体の向きと照明方向の相対変化を考慮した対応付け問題が一般に解決されておらず、例えば人間の頭部のように複雑形状、かつ、動きのある物体のモデルを実用的な精度と処理速度を満足しつつ自動的に作成する方式は未だ実現されていない。
【０００６】
【発明が解決しようとする課題】
上述したように、従来の方法では、焦点距離を変える際には物体が静止していることが必要であり、ステレオ法において複数のカメラを用いる場合、一台のカメラを用いるのに比べてコストに問題があった。また、一台のカメラで動物体を複数方向から撮影し、ステレオ法を応用するためには、物体の向きと照明方向の相対変化を考慮した対応づけ問題が一般に解決されておらず、例えば人間の頭部のように複雑形状、かつ、動きのある物体を実用的にモデリングすることはできなかった。
【０００７】
本発明は上記のような点に鑑みなされたもので、人間の頭部のように複雑形状、かつ、動きのある物体のモデルを一台のカメラで実用的な精度と処理速度を満足しつつ自動的に作成することのできる画像処理装置及び画像処理方法を提供することを目的とする。
【０００８】
また、この場合に、光源が一つのときだけでなく複数のときでも上記目的を解決できるものを提供する。
【００１３】
【課題を解決するための手段】
請求項１の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理装置であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応手段と、前記特徴点対応手段によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定手段と、前記特徴点対応手段によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定手段と、前記幾何学的条件決定手段により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定手段により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算手段と、を具備し、前記光学的条件決定手段は、前記特徴点対応手段によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成手段と、前記輝度行列生成手段によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割手段と、前記部分行列分割手段によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算手段と、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換手段と、を具備することを特徴とする画像処理装置である。
【００１５】
請求項２の発明は、前記部分行列分割手段は、前記輝度行列生成手段によって生成された輝度行列とその転置行列を掛け合わせた行列の固有ベクトルを計算する固有ベクトル計算手段と、前記固有ベクトル計算手段によって計算された固有ベクトルを各列に含んだ行列と、その転置行列を掛け合わせた表面行列を計算する表面行列計算手段と、前記表面行列計算手段によって計算された表面行列の行と列の同時の並替えを、前記表面行列の非対角成分が零となるように繰り返す並替え手段と、前記並替え手段による並べ替えの繰り返しと同じ順序で前記輝度行列の要素を並べ替え、前記表面行列の各対角ブロックの次元に対応して前記輝度行列を所定の数の部分行列に分割する分割手段と、を具備することを特徴とする請求項１記載の画像処理装置である。
【００１６】
請求項３の発明は、前記分割手段は、前記輝度行列のランクを計算し、この計算されたランク数に応じた数に部分行有することを特徴とする請求項２記載の画像処理装置である。
【００１７】
請求項５の発明は、前記距離情報計算手段は、前記時系列画像のうち特定時点Ａの画像を選択して基準画像とし、この基準画像中で各画素における前記対象物体までの距離Ｚを設定する距離設定手段と、前記距離設定手段によって設定された距離Ｚ及び前記幾何学的条件決定手段により決定された前記対象物体の各時点の位置と姿勢の変化に基づいて、前記各画素と対応する画素を、前記特定時点Ａと異なる３時点以上の画像群において決定する対応画像決定手段と、前記対応画像決定手段によって決定された画素における輝度と前記基準画像中の画素における輝度との整合の度合を、前記光学的条件決定手段により決定された前記時系列画像間の前記複数の光源に対応した線形結合係数に基づいて計算する整合度合計算手段と、前記整合度合計算手段によって計算された整合度合に応じて、前記距離設定手段によって設定された距離Ｚを評価して、この評価に基づいて距離情報を計算する評価手段と、を具備したことを特徴とする請求項１記載の画像処理装置である。
【００１９】
請求項５の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップによって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応ステップと、前記特徴点対応ステップによって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定ステップと、前記特徴点対応ステップによって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定ステップと、前記幾何学的条件決定ステップにより決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定ステップにより決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算ステップと、を具備し、前記光学的条件決定ステップは、前記特徴点対応ステップによって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成ステップと、前記輝度行列生成ステップによって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割ステップと、前記部分行列分割ステップによって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算ステップと、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換ステップと、を具備することを特徴とする画像処理方法である。
【００２１】
請求項６の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法を実現するプログラムを記憶した記録媒体であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出機能と、前記特徴点抽出機能によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応機能と、前記特徴点対応機能によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定機能と、前記特徴点対応機能によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定機能と、前記幾何学的条件決定機能により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定機能により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算機能と、を実現し、前記光学的条件決定機能は、前記特徴点対応機能によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成機能と、前記輝度行列生成機能によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割機能と、前記部分行列分割機能によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算機能と、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換機能と、を実現するプログラムを記憶したことを特徴とする画像処理方法の記録媒体である。
【００２２】
以上により、本発明は、対象物体の撮影によって得られる時系列画像を用い、その時系列画像の各時点の画像に含まれる特徴点同士を対応づけ、その対応づけられた各特徴点の位置座標情報から対象物体の各時点の３次元の位置と姿勢、したがって、時系列画像間の幾何学的結合条件を求め、一方でその対応づけられた各特徴点の輝度情報から時系列画像間の光学的結合条件及び光源の方向を計算し、時系列画像間の幾何学的及び光学的結合条件を用いて各画素における距離情報及び表面法線ベクトルを獲得し、さらに表面法線ベクトルを利用して距離情報を補正したものを上記対象物体のモデル情報として出力するものである。
【００２３】
なお、表面法線ベクトルは距離情報の補正以外に映像の生成に利用できる。
【００２４】
このような構成により、例えば人間の頭部のように複雑形状、かつ、動きのある物体を対象に、一台のカメラを入力装置としてそのモデルを自動作成することができる。
【００２５】
なお、本発明は、この意味で複数台のカメラを用いるＵＳ Ｐａｔｅｎｔ ５４７５４２２ （参考文献１：ＵＳ Ｐａｔｅｎｔ ５４７５４２２− Ｄｅｃ． １２， １９９５ （ＮＴＴ） ”Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ”）等の提案とは内容を異にする。
【００２６】
また、以下で発明の実施の形態として対象物体の動きを算出するためにＣ． Ｔｏｍａｓｉ 等による因子分解法（参考文献２：Ｃ． Ｔｏｍａｓｉ ａｎｄ Ｔ． Ｋａｎａｄｅ， ”Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ ｕｎｄｅｒ ｏｒｔｈｏｇｒａｐｈｙ： Ａ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｖｏｌ． ９：２ ｐｐ １３７−１５４， １９２２ ）を用いており、その際、一撃計算により特定に選択された点の３次元位置が同時に求まるが、これの外挿を基本とするモデル化は関連して別途”特願平９−７６７号”として出願している。また、対応づけに基づくステレオ法を応用することで対象物体の３次元表面全体を復元する方法についても”特願平９−２７３５７３号”として出願している。
【００２７】
これに対し本発明は、３次元の奥行きと表面の法線ベクトルを同時推定しようとするものであり、物体形状の精度の向上に寄与するものである。
【００２８】
【発明の実施の形態】
（参考実施形態）
以下、本発明には含まれないが、後述する本発明の実施形態の参考となる参考実施形態について、人間の頭部の表面モデルを自動生成する場合を例にとって説明する。
【００２９】
図１（ａ）に本実施形態の基本的な構成例を示し、図１（ｂ）に本実施形態の詳細な構成例を示す。
【００３０】
画像取込部０により得られた動画像系列から、まず特徴点抽出部１により、モデル作成を行う物体の表面を構成する特徴点を抽出する。
【００３１】
次に、３次元動き推定部２により、連続画像間でこれら抽出した特徴点同士の対応づけを行い、対応づけられた特徴点群の２次元座標から生成される行列を係数行列として含む関係式を変形操作することにより、頭部の位置・姿勢を求める。
【００３２】
また、線形結合係数計算部３により、対応づけられた各特徴点の輝度情報から生成される行列を係数行列として含む関係式を変形操作することにより、画像間の線形結合係数を求める。
【００３３】
最後に、距離情報検出部４により、頭部の位置・姿勢と画像間の線形結合係数にしたがって、幾何学輝度拘束条件に基づいて、物体への距離情報を検出し、形状復元を行う。
【００３４】
次に、上記基本構成における各構成要素の構成例について説明する。
【００３５】
（ａ）特徴点抽出部
図２に、特徴点抽出部１の詳細な構成例を示す。
【００３６】
まず平滑化処理部１０において、抽出する原画像に平滑化処理を施す。この処理をデジタルフィルタで実現する場合は、例えば、
【数１】
という係数を持つサイズ３の空間フィルタで実現できる。
【００３７】
この処理は、次の２次元差分処理部１１、及び方向別分散値計算部１４における、ノイズ低減のための前処理として行われる。二次空間差分処理部１１では、上記平滑化処理結果に対し二次空間差分処理を施すことにより、孤立した特徴点部分の明度強調を行う。この処理をデジタル空間フィルタで実現する場合は、例えば、
【数２】
という係数を持つサイズ３の空間フィルタで実現できる。
【００３８】
次に、孤立特徴点抽出部１２において、この明度強調結果で適当に設定した閾値以上の部分を抽出することにより、例えば頭部における黒子のような孤立した特徴点を抽出し、この座標値を記憶部に順次格納する。
【００３９】
さらに、局所マスク設定部１３では、前記平滑化処理部１０の結果に対し、例えば頭部における目尻、唇の端点のような連続特徴点を抽出するための局所マスク領域を順次設定する。
【００４０】
連続特徴点は、例えば目尻であれば目領域の上輪郭と下輪郭の交差する点、唇の端点であれば上唇の輪郭と下唇の輪郭の交差する点、というように、複数の輪郭線（エッジ）の交差部分、すなわち複数の方向に輝度勾配が強い点として求められる。マスク領域の大きさは、抽出する特徴点を構成する輪郭線（エッジ）の長さと必要となる演算量を考慮して最適となるように設定する。
【００４１】
次に、方向別分散値計算部１４において、この設定された各局所マスク内の方向別分散値を計算する。この方向としては例えば、垂直、水平、右４５゜、左４５゜の４方向を選択し、局所マスク内の各方向に連続した画素の明度値を用いて、各方向別分散値を計算する。
【００４２】
次に、連結特徴点抽出部１５において、上記方向別分散値計算部１４において計算された方向別分散値が、２つ以上の方向に対し一定閾値以上の値を有する局所マスクの中心点を連結特徴点として抽出し、この座標値を記憶部に順次格納する。
【００４３】
（ｂ）３次元動き情報抽出部
次に、前記３次元動き情報抽出部２の詳細な構成例について、図３を用いて説明する。
【００４４】
特徴点対応づけ部２０において、前記特徴点抽出部１で抽出された孤立特徴点群、及び連結特徴点群の、連続時系列画像間における対応づけを行う。
【００４５】
図４に、上記特徴点対応づけ部２０の詳細な構成例を示す。
【００４６】
まず、特徴点選択部２００で、連続時系列画像間における対応づけを行う特徴点の組を選択する。
【００４７】
次に、局所マスク設定部２０１において、これら特徴点を含む５×５や７×７などのサイズを持つ局所マスク領域を各々の画像中に設定する。
【００４８】
次に、相関値計算部２０２において、これら局所マスク領域間の相関係数の値を計算する。
【００４９】
次に、対応判定部２０３において、上記相関係数値が閾値以上、かつ最大となる組を、対応づけが求まったものとして記憶部に格納する処理を、抽出された各特徴点について順次行う。
【００５０】
次に、計測行列設定部２１では、これら対応づけの得られた特徴点の画像中の座標値を用いて、３次元動き情報を求めるための計測行列を作成する。
【００５１】
本実施形態では、モデル作成を行う対象そのものの奥行きに対し、観測に用いるカメラが対象から十分遠方にある（正射影の条件を満たす）場合について、因子分解法を適用した例について述べる。この条件は例えば顔を撮影する場合、通常カメラを特に遠方に配置しなくても満たされる。
【００５２】
対応づけが得られた特徴点の組において、ｆ枚目の画像中のｐ番目の特徴点の位置を（Ｘｆｐ ，Ｙｆｐ ）とする。また、画像の相枚数をＦ、特徴点の組の数をＰとする。
【００５３】
ｆ枚目の画像中の特徴点群の重心位置を（Ａｆ ，Ｂｆ ）とするとこれらは、
【数３】
として与えられる。次にこれらの座標間の差をとって、
【数４】
とする。このとき計測行列Ｗは、
【数５】
として設定される。この計測行列Ｗは、２Ｆ×Ｐの行列である。次に、計測行列変形操作部２２では、上記計測行列Ｗに対し変形操作を行って
【数６】
と２つの行列の積の形に分解する。ただし、
【数７】
は２Ｆ×３の行列、
【数８】
は３×Ｐの行列である。この分解は、例えば特異値分解処理を用いることにより実行される。
【００５４】
ここで、Ｓにおける成分Ｓｐ は対応づけられたｐ番目の特徴点の３次元位置（Ｘｐ ，Ｙｐ ，Ｚｐ ）である。一方、Ｍの行列の成分のうち（ｘｆ ，ｙｆ ）は、ｆ番目の画像の基本ベクトルであり、動画像系列における各時点での画像の中心位置を与えており、これらの差からフレーム間の物体の３次元の動き情報、すなわち位置と姿勢の変化を決定することができる。
【００５５】
なお、特異値分解は一般に任意性を有するが、Ｍの要素ベクトルが正規直交系を構成することなどの適当な拘束条件の下に分解を一意に決定できる（詳細は参考文献２）。
【００５６】
これにより、動画像系列中にある時点での入力画像の任意の点の座標と、その点までの推測される距離Ｚから、他の画像において対応する点の座標を算出することができる。
【００５７】
（ｃ）画像間線形結合計算部
次に、前記画像間線形結合計算部３の詳細な構成例について、図５を用いて説明する。
【００５８】
ここで、一般に１つの無限遠点光源を考えるときある画素ｘｉ の輝度Ｉは、その画素に対応する物体表面上の点の内向きの３次元単位法線ベクトルに表面反射率を乗じた量Ｂｉ と、点光源の光の方向を示す３次元単位ベクトルに光源の
強さを乗じた量ｓ １ との内積、すなわち
【数９】
で表現されることに注意されたい（図８参照）。またこれに基づいて、単一点光源下で得られる完全拡散反射表面を持つ凸物体の任意の画像は、同一平面状にない３個の単一点光源によって対象物体を同じ方向から撮影した任意の３枚の画像を基底画像とし、それらの線形結合で表現できることがＳｈａｓｈｕａ （参考文献３：Ａ． Ｓｈａｓｈｕａ ”Ｇｅｏｍｅｔｒｙ ａｎｄ ｐｈｏｔｏｍｅｔｒｙ ｉｎ ３Ｄ ｖｉｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ” Ｐｈ． Ｄ． Ｔｈｅｓｉｓ， Ｄｅｐｔ． Ｂｒａｉｎ ａｎｄ Ｃｏｇｎｉｔｉｖｅ Ｓｃｉｅｎｃｅ， ＭＩＴ， １９９２．）によって示されている。
【００５９】
いま、物体表面上の点が動画像系列上の点ｘ（ｊ） に投影されるとき、無限遠のｎｋ 個の点光源による反射をＬａｍｂｅｒｔｉａｎモデルで表現すると、ｊ番目の画像のｉ番目の点の輝度値は、
【数１０】
で与えられる。ただし、上式において、Ｂｉ は物体表面の内向きの単位法線ベ
クトルに表面反射率を乗じたものであり、Ｒ（ｊ） は最初の画像からｊ番目の画
像までの物体の回転を表す行列であり、ｓ ｋ はｋ番目の光の方向を示す単位ベ
クトルに光源の強さを乗じたものである。ある光源によって画素が照射されていないと内積が負の値をとるのでｍａｘ（・，０）とする必要がある。
【００６０】
式（７） は次のように書くこともできる。
【００６１】
【数１１】
は光源に関する因子であり、Ｄｋ （ｊ） はｋ番目の光源がｊ番目の画像を照射しているかどうかで、１または０の値をとる。
【００６２】
画像中の特徴点がｎｉ 個であり、ｎｊ 枚の動画像系列を解析する場合、以下の行列表現をすることができる。
【００６３】
【数１２】
なお、ＩはＩｉ （ｊ） を要素とするｎｉ ×ｎｊ の行列であり、ＢはＢ ｉ Ｔを各行とするｎｉ ×３の行列であり、ｓはｓ´（ｊ）を各列とする３×ｎｊ の行列である。
【００６４】
３次元動き抽出部２中で記述済みの特徴点対応づけ部２０で、ｎｊ 枚通して全ての動画像系列中の各々の特徴点に対して対応づけを行うことで、対応づけされた特徴点の輝度値Ｉｉ （ｊ） をＩにおいて記録することができる。
【００６５】
輝度行列設定部３１では、これら対応づけの得られた特徴点における輝度値を用いて、輝度行列を作成する。
【００６６】
次に、単一点光源を考えるとき輝度行列変形操作部３２では、計測行列Ｉに対し例えば特異値分解等を行うことによって、ｒａｎｋ３の行列による近似表現を得ることができる。
【００６７】
【数１３】
は、線形結合係数を含む３×ｎｊ の行列である。
【００６８】
よく知られているように特異値分解による分解は一意ではなく、一般には任意の３×３正則行列Ａを用いて次のように表現される。
【００６９】
【数１４】
を満たす行列Ａを計算すれば距離情報と同時に光源の方向が求まる。そのような行列Ａは以下のように計算することができる。
【００７０】
まず、式（１１）の行列ｓに含まれる光源の物理的な意味に立ち戻ると、その解釈は次のようになる。すなわち１列目のｓ（１） が最初のフレームの光源ベクトル、つまり真の光源ベクトルであり、その他の列は物体の回転にしたがい
【数１５】
によって表されるベクトルとなる。ここでＲ（ｊ） は最初のフレームからｊ番目のフレームにかけての物体の３×３次元回転行列であり、回転行列の転置を乗じることは、光源が相対的に逆向きの回転をしているという解釈に基づいている。回転行列は、前記３次元動き抽出部２の説明における式（４） でサンプル点の座標から計算した２×３次元行列Ｍ（ｊ） から直接与えられる。
【００７１】
式（１４）両辺の各列の関係を、上記の光源ベクトルが満たすべき条件式（１５）に代入すると、関係式
【数１６】
が得られる。式（１６）は基準画像に対して参照画像１フレームにつき３本の方程式を与えるので、参照画像が３フレームあれば方程式が９本得られ、これらを適当に展開すると行列Ａの９個の要素についての同次方程式を得る。
【００７２】
しかしその解には自由度が３残っており、同次方程式のみから行列Ａを一意に決定することはできない。これは物理的に条件が不足していることを意味しており、最初のフレームにおける光源と物体の初期配置に自由度３の任意性があるためと解釈できる。この任意性を取り除いて問題を良設定なものにするためには、何らかの拘束条件を与えることが必要である。そこで、条件として任意のサンプル点を一つ取り上げ、その点における法線方向Ｂ ｉ Ｔを用いることにする。これは知識として与えてもよいが、そのサンプル点周辺の奥行きを先に計算しておくことで、その領域の勾配から計算することができる。式（６） と式（１４）から
【数１７】
以上に述べた行列Ａに関する条件（１６）及び（１７）を入力画像が３枚の場合についてまとめて整理すると、
【数１８】
（ｄ）距離情報検出部
次に、距離情報検出部４の詳細な構成例について、図７を用いて説明する。
【００７３】
基本的な概念は動画像中からある基本画像を選択し、この画像中で顔に相当する部分の各画素において他の画像との幾何的輝度拘束―幾何学的に対応する点における輝度間に成立する線形拘束―にしたがって距離を推定するものであり、前記３次元動き情報抽出部２と前記画像間線形結合計算部３の結果の双方を利用するものである。
【００７４】
この概念は図７に４枚の時系列画像を用いて示されるごとくである。
【００７５】
基準画像の任意の画素の輝度Ｉｉ （１） は、他の３枚の画像において幾何学的に対応している点の輝度Ｉｉ（２） ，Ｉｉ（３） ，Ｉｉ（４） の線形結合で表される。なお図中、対象物体の動きは撮影するカメラの逆位相の動きとして解釈されている。
【００７６】
すなわち、１番目の画像において顔表面のある点Ｘｉが投影された画素の輝度Ｉｉ（１） を考えるとき、その点Ｘｉへの距離Ｚを仮定、これにしたがって同じ点Ｘｉが異なる時点の画像において投影された輝度Ｉｉ（２） ，Ｉｉ（３） ，Ｉｉ（４） を推測し、これらの輝度が、画像間線形結合計算部で計算された線形結合係数に基づいた線形結合拘束を正しく満たす度合を評価することで、正しい距離Ｚを探索によって求めることができる。
【００７７】
ある距離Ｚを仮定するときこれに対する３次元基底画素計算部４０と評価関数計算部４１は以下のように構成する。
【００７８】
【数１９】
なる拘束式が成立し、これを最小２乗の意味でもっとよく満足する解として次の３次元ベクトルを得る。
【００７９】
【数２０】
距離判定部４２では、推測の距離Ｚを変化させつつ上記評価関数Ｅｉ（Ｚ） の計算を行い、評価関数を最小（理想的には零）とするＺをもってその点での距離とする。以上の操作を画像上の各点において実行することで画像全体の距離画像を得る。
【００８０】
ここで、前記光源方向推定部３３により光源の方向がすでにわかっている場合は、さらに法線ベクトル計算部４３によって物体表面の法線ベクトルを計算できる。この場合、前記評価関数計算部４１における式（２１）は次式で置き換えられる。
【００８１】
【数２１】
また、法線ベクトルが得られると、距離補正部４４で局所領域での奥行きの連続性を利用し、各画素の周辺画素での奥行きＺ０ と法線ベクトルＢ ｉ Ｔから奥行きの推定値Ｚｅ を計算することもできる。周辺の画素の範囲は連続性を考慮する度合に応じて決定し、奥行き推定値はその範囲内の各画素での計算値の例えば平均値を取る。簡単には上下左右の４画素だけを考慮しても効果が見られるが、範囲をωとし、そこに含まれる画素数をｎとしてＺｅ を定式化すると
【数２２】
となる。ただしＺ０ｋは画素ｋにおける奥行きの一次近似、Ｄｋ は画素ｋから画素ｉまでの距離、ｇｒａｄｋ は画素ｋから画素ｉを見た方向の距離勾配であり各画素の法線方向Ｂ Ｔ から算出される。前記距離判定部４２の奥行き探索において、式（２２）による誤差関数Ｅｉ （Ｚ） の極小ピークが複数存在する場合は、それぞれを候補とした上で式（２４）による奥行き推定値Ｚｅ に最も近い極小ピークをもって真の奥行きとすることができる。こうした処理は一種のヒューリスティックとも呼べ、また結果としてスムージング効果を持つことになるが、奥行き探索の結果から直接意味のある値のみを残すことを可能とする。
【００８２】
変更例１
なお、本発明は上記実施形態で記載した内容に限定されるものではない。
【００８３】
例えば、距離判定部４２で距離Ｚを推測する際、３次元動き情報抽出部において物体の動きと同時に抽出される特徴点の３次元位置情報Ｓを用いて距離Ｚの推測範囲を限定することができる。
【００８４】
光源についてはさらに、ここで記述した単一点光源における議論を基に、その組合せとして一般光源へ拡張した環境へも対応することが可能である。このように本発明は物体の幾何的条件と光学的条件を組み合わせることにより様々な拡張が可能である。
【００８５】
（本発明の実施形態）
図９に本発明の実施形態の詳細な構成例を示す。
【００８６】
参考実施形態では、単一光源の場合について説明したが、本発明の実施形態では、複数光源が存在する場合について説明する。なお、画像間線形結合部計算部３の式(18)までは、参考実施形態と同様の処理を行う。そのために、式(1) から式(18)までは、参考実施形態を参照し、式(19)以降については、本発明の実施形態の式番号を参照する。
【００８７】
したがって、図１０に示す画像間線形結合部計算部３の輝度行列変形操作部３２において複数点光源が存在する場合を考える。
【００８８】
最も単純な場合として、全ての点光源が物体表面上の全ての点を照射している状況では、それらの点光源の重ね合わせに等価な一つの光源を仮定し、上述の単一光源における方法をあてはめることで線形結合係数を計算することができる。さらに光源方向推定部３３で光源の方向が推定できる。しかし、物体表面上の多くの点は実際には複数光源の部分的な組合せによって照射されており、その組合せは各点においてまちまちである。
【００８９】
すなわち、輝度行列設定部３１で設定した輝度行列は、様々な光源の組合せによって生じた輝度が格納されることになる。この状況では輝度行列分割部３０を経て輝度行列変形操作部３２以降の処理を行う必要がある。
【００９０】
輝度行列分割部３０では、輝度行列を共通する組合せの光源によって生じた輝度のみを含んだ部分行列へ各行の並べ替えによって分割し、正準化する。この分割ができると、輝度行列変形操作部３２以降の処理は各部分行列ごとに行い、対応する線形結合係数及び光源の方向を計算すればよい。
【００９１】
以下、部分行列への分割を一般性を失うことなく２つの点光源が存在する場合を例にとって説明する。
【００９２】
まず、２点光源（ｌ１ ，ｌ２ とおく）における輝度行列は単一光源下における関係式（１０）に対応し、次のように表現できる。
【００９３】
【数２３】
ここで、ｓ１ とｓ２ は光源ｌ１ とｌ２ に対応した列を含み、Ｄ ｋ（ｋ＝０，１，２，３）は３×３単位行列Ｅ及び零行列からなる次の４種類の６×６行列のいずれかで、輝度行列Ｉの各要素に寄与している光源の組合せに対応している。
【００９４】
【数２４】
Ｄ ０は特徴点がｌ１ とｌ２ の両方の光源に照射されている場合、Ｄ １及びＤ ２は特徴点が各々ｌ１ またはｌ２ の片一方に照射されている状況に対応する。特徴点が完全な陰の部分にある場合がもしあれば、その場合の輝度値は０でありＤ ３が対応する。
【００９５】
いま、ｎｉ 個の特徴点のうちｎ０ 個が入力画像列を通して光源ｌ１ とｌ２ の両方に照射されており、ｎ１ 個が光源ｌ１ のみに、またｎ２ 個が光源ｌ２ に照射されているとする。
【００９６】
つまり、陰になる部分を除外して考えｎｉ ＝ｎ０ ＋ｎ１ ＋ｎ２ とする。
【００９７】
ここで、輝度行列の分割の方法を説明する前に、分割した部分行列の表現形式について述べておく。何らかの方法で特徴点の分類が照射する光源の組合せごとにわかっている状況を考え、これにしたがって輝度行列Ｉの各々ｎｋ 個の特徴点に対応する部分行列Ｉ ｋ（ｋ＝０，１，２）への分割がなされているとする。このとき式（１９）は次のように表現でき、
【数２５】
と表される。ここでｎｋ ×３行列Ｂ ｋの各行に係わる特徴点はＤｋ （ｋ＝０，１，２）に対応する光源の組に照射されており、またｓ ０は光源ｌ１ とｌ２ を重ね合わせたベクトル
【数２６】
であることに注意する。
【００９８】
式（２０）では陰の部分を除外して考えることでＤ ３に対応するＩ ３を無視しているが、更に光源Ｉ１ が物体全体を、光源ｌ２ が物体の一部分のみを照射していると考えても一般的な議論には差し支えない。これにより部分行列Ｉ ２を省略するとき（ｎｉ ＝ｎ０ ＋ｎ１ ）、輝度行列は次のような正準型となる。
【００９９】
【数２７】
同じことが輝度行列Ｉにもそのまま当てはまるため、入力画像の枚数を６枚以上、つまりｎｊ ≧６としておく（一般に光源の組合せがｎｍ とおりある場合は３ｎｍ 枚を用いることになる）。
【０１００】
ここで、輝度行列Ｉの任意の行がｎｊ 次元輝度空間Ｒｎｊの一点を表すものと解釈すると、部分行列Ｉ ０の各行は３次元部分空間Ｌ０ の一点を、また部分行列Ｉ １の各行は別の３次元部分空間Ｌ１ の一点を表すことになる。
【０１０１】
したがって、特徴点を分類する問題は、空間Ｒｎｊにおけるｎｊ 個の特徴点群を２つの異なる３次元部分空間に分けることに帰着される。
【０１０２】
以下では、まずこの分類が数学的に可能であることを述べた上で、表面行列と呼ばれる行列を導入することで現実的に分類を行う方法について述べる。
【０１０３】
【数２８】
定義よりこれはランクｒの半正値対称行列である。その固有値をλ１ ≧，…，≧λＮ （最初のｒ個のみが零でない）とし、対応する固有ベクトルの正規直交系を｛υ１ ，…，υＮ ｝とする。そしてＮ×Ｎ作用行列Ｑ＝（Ｑαβ）を次のように定義する。
【０１０４】
【数２９】
すなわち、αとβは２つの任意の特徴点、Ｉ αとＩ βは輝度行列Ｉのうちでそれらに対応する行とする。定義よりこれはランク６の半正値対称行列である。その固有値をλ１ ≧，…，≧λｎｉ（最初の６個のみが非零）とし、対応する固有ベクトルの正規直交系を｛υ１ ，…，υｎｉ｝とする。そしてｎｉ ×ｎｉ 作用行列Ｈ＝（Ｈαβ）を次のように定義し
【数３０】
つまり、この表面行列Ｈは各特徴点対αとβの分類の可能性を示すもので、２点を照射する光源の組合せが共通であるか異なるかをＨαβの計算に基づいて判断できる。Ｈαβが非零であれば光源の組合せが共通で、光源の組合せが異なればＨαβの値が零となる。表面行列Ｈを求めることで特徴点全てを対象としてこの判断を組織的に行う方法を以下で述べる。
【０１０５】
図１１に、輝度行列分割部３０の詳細な構成例を示す。
【０１０６】
まず、表面行列生成部３００では，輝度行列Ｉに次の特異値分解を直接に施す。
【０１０７】
【数３１】
となる。
【０１０８】
定義から表面行列Ｈは輝度行列Ｉから一意に計算できるばかりか、輝度行列Ｉの行の順序を入れ替えても、その値の組Ｈαβは一定のままで並び方が入れ替わるのみである。つまり輝度行列Ｉの行αとβを入れ替えると、行列Ｕの対応する行αとβが入れ替わり、結果として表面行列Ｈの行αとβが一定の値のまま同時に入れ替わることになる。
【０１０９】
【数３２】
表面行列対角化部３０１では、表面行列生成部３００で生成した表面行列Ｈのブロック形式への対角化を行う。ここでブロックの数、つまり特徴点群の輝度が帰属する輝度部分空間の数ｍに関しては、特徴点群の分類に先立って輝度行列ランクｒを計算することで求められる。すなわちｒ＝３ｍである。
【０１１０】
計測した特徴点の輝度に雑音を含む環境では、表面行列Ｈの要素のうち異なる光源の組合せに照射された特徴点対に対応するものでも小さな非零値をもつ場合が考えられる。しかし、表面行列Ｈの対角化は、表面の相関エネルギーを表す量としてＨ２ αβを用い、Ｈの非対角成分のエネルギーを最小化するように全ての行と列の入れ替えを探索することで行う。この問題に対しては、簡単な最小化アルゴリズムで十分であるが、ヒルクライミング法や欲張り法などの探索法を用いて効率を上げることも可能である。
【０１１１】
続いて、輝度行列正準化部３０２では、表面行列対角化部３０１において表面行列Ｈの行と列の各々の組を並べ替えたのと、同じ順序で輝度行列Ｉの行の入れ替えを行う。この結果、同一の光源に照射された特徴点が隣接した行に並ぶ輝度行列Ｉの正準型輝度行列を生成することができる。
【０１１２】
そして、得られた部分輝度行列の各々に対して独立に輝度行列変形操作部３２以降の処理を施すことで、対応する線形結合係数及び光源の方向ｓ ０とｓ １を計算する。以上の処理は２点光源の場合だけでなく任意点光源に対しても適応できる。
【０１１３】
次に距離情報検出部４の詳細な構成例について、図１２を用いて説明する。
【０１１４】
基本的な概念は動画像中からある基本画像を選択し、この画像中で顔に相当する部分の各画素において他の画像との幾何的輝度拘束―幾何学的に対応する点における輝度間に成立する線形拘束―にしたがって距離を推定するものであり、前記３次元動き情報抽出部２と前記画像間線形結合計算部３の結果の双方を利用するものである。この概念は図７に４枚の時系列画像を用いて示されるごとくである。
【０１１５】
すなわち、１番目の画像において顔表面のある点Ｘｉが投影された画素の輝度Ｉｉ （１） を考えるとき、その点Ｘｉへの距離Ｚを仮定、これにしたがって同じ点Ｘｉが異なる時点の画像において投影された輝度Ｉｉ（２） ，Ｉｉ（３） ，Ｉｉ（４） を推測し、これらの輝度が、前記画像間線形結合計算部３で計算された線形結合係数に基づいた線形結合を正しく満たす度合いを評価することで、正しい距離Ｚを探索によって求めることができる。
【０１１６】
ある距離Ｚを仮定するときこれに対する３次元基底画素計算部４０と評価関数計算部４１は以下のように構成する。
【０１１７】
【数３３】
ここで評価関数Ｅｉ （Ｚ）は光源の異なる組合せに対する複数の線形結合係数について計算し、その最も小さい値を選択する。
【０１１８】
距離判定部４２では、推測の距離Ｚを変化させつつ上記評価関数Ｅｉ （Ｚ）の計算を行い、評価関数を最小（理想的には零）とするＺをもってその点での距離とする。以上の操作を画像上の各点において実行することで画像全体の距離画像を得る。
【０１１９】
変更例２
なお、本発明は上記実施形態で記載した内容に限定されるものではない。
【０１２０】
光源についてはさらに、ここで記述した複数の点光源における議論を基に、その組合せとして一般光源へ拡張した環境へも対応することが可能である。このように本発明は物体の幾何的条件と光学的条件を組み合わせることにより様々な拡張が可能である。
【０１２１】
【発明の効果】
本発明によれば、複雑形状かつ動きのある物体の形状復元を、実用的な精度と処理速度を満足して行うための画像処理方法及びその装置を提供することが可能となり、３次元ＣＡＤ、また３次元ＣＧ（コンピュータグラフィクス）を用いた映像作成等の技術に、大きく貢献する。
【図面の簡単な説明】
【図１】（ａ）は、本発明の参考実施形態の基本的な構成を示すブロック図である。（ｂ）は、（ａ）の全体構成を示すブロック図である。
【図２】図１の特徴点抽出部の詳細な構成を示すブロック図である。
【図３】図１の３次元動き抽出部の詳細な構成を示すブロック図である。
【図４】図３の特徴点対応づけ部の詳細な構成を示すブロック図である。
【図５】図１の画像間線形結合計算部の詳細な構成を示すブロック図である。
【図６】図１の距離情報検出部の詳細な構成を示すブロック図である。
【図７】図６の距離情報検出部において用いられる幾何学的輝度拘束を示すスケッチ図である。
【図８】物体の表面反射モデルを示すスケッチ図である。
【図９】本発明の画像処理装置の全体構成を示すブロック図である。
【図１０】本発明の実施形態の画像間線形結合計算部の詳細な構成を示すブロック図である。
【図１１】輝度行列分割部の詳細な構成を示すブロック図である。
【図１２】距離情報検出部の詳細な構成を示すブロック図である。
【符号の説明】
０ 画像取込部
１ 特徴点抽出部
２ ３次元動き情報抽出部
３ 画像間線形結合計算部
４ 距離情報検出部
１０ 平滑化処理部
１１ ２次元空間差分処理部
１２ 孤立特徴点抽出部
１３ 局所マスク設定部
１４ 方向別分散値検出部
１５ 連結特徴点抽出部
２０ 特徴点対応づけ部
２１ 計測行列設定部
２２ 計測行列変形操作部
２００ 特徴点対選択部
２０１ 局所マスク設定部
２０２ 相関値計算部
２０３ 対応判定部
３１ 輝度行列設定部
３２ 輝度行列変形操作部
３３ 光源方向推定部
３００ 表面行列生成部
３０１ 表面行列対角化部
３０２ 輝度行列正準化部
４０ ３次元基底画素計算部
４１ 評価関数計算部
４２ 距離判定部
４３ 法線ベクトル計算部
４４ 距離補正部
【発明の属する技術分野】
本発明は、例えば工業部品などの設計を支援するための３次元ＣＡＤ（計算機援用設計）、３次元ＣＧ（コンピュータグラフィクス）を用いた映像作成、あるいは人物の顔画像を用いたＨＩ（ヒューマンインタフェイス）、ゲームへの応用を含むＶＲ（バーチャルリアリティ）上でのアバタの作成などで用いられるものであり、対象物体のモデル記述の作成を支援することに有用な画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
近年、工業部品などの設計を支援するための３次元ＣＡＤ、３次元ＣＧを用いた映像作成、あるいは人物の顔画像を用いたＨＩなど、画像生成、画像処理、画像認識といった画像に関わる計算機処理のニーズが急速に拡大している。
【０００３】
これらの処理においては、対象とする物体の幾何形状、表面属性、そして、必要に応じて動きのデータを計算機に数値化して入力することが必要である。この入力過程をモデリングと呼び、入力された数値データをモデルと呼ぶ。現在、このモデリング作業は、人手により多くの手間を掛けて行っており、生産性やコストの面からも自動化が強く望まれている。
【０００４】
そこで、カメラで得た画像を解析することにより、対象物体の形状及び表面属性を自動的に求める手法の研究が行われている。すなわち、複数台のカメラを用いて３角測量の原理により距離を求めるステレオ法や、簡素なシステムとして一台のカメラの焦点距離を変えて得た画像を解析することにより距離を求める手法を用いて、環境に存在する物体のモデリングを自動的に行う試みがなされている。
【０００５】
しかしながら、一台のカメラで焦点距離を変える際には物体が静止していることが必要であり、ステレオ法において複数のカメラを用いる場合、一台のカメラを用いるのに比べてコストに問題がある。また、一台のカメラで動物体を複数方向から撮影し、ステレオ法を応用するためには、物体の向きと照明方向の相対変化を考慮した対応付け問題が一般に解決されておらず、例えば人間の頭部のように複雑形状、かつ、動きのある物体のモデルを実用的な精度と処理速度を満足しつつ自動的に作成する方式は未だ実現されていない。
【０００６】
【発明が解決しようとする課題】
上述したように、従来の方法では、焦点距離を変える際には物体が静止していることが必要であり、ステレオ法において複数のカメラを用いる場合、一台のカメラを用いるのに比べてコストに問題があった。また、一台のカメラで動物体を複数方向から撮影し、ステレオ法を応用するためには、物体の向きと照明方向の相対変化を考慮した対応づけ問題が一般に解決されておらず、例えば人間の頭部のように複雑形状、かつ、動きのある物体を実用的にモデリングすることはできなかった。
【０００７】
本発明は上記のような点に鑑みなされたもので、人間の頭部のように複雑形状、かつ、動きのある物体のモデルを一台のカメラで実用的な精度と処理速度を満足しつつ自動的に作成することのできる画像処理装置及び画像処理方法を提供することを目的とする。
【０００８】
また、この場合に、光源が一つのときだけでなく複数のときでも上記目的を解決できるものを提供する。
【００１３】
【課題を解決するための手段】
請求項１の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理装置であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応手段と、前記特徴点対応手段によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定手段と、前記特徴点対応手段によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定手段と、前記幾何学的条件決定手段により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定手段により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算手段と、を具備し、前記光学的条件決定手段は、前記特徴点対応手段によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成手段と、前記輝度行列生成手段によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割手段と、前記部分行列分割手段によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算手段と、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換手段と、を具備することを特徴とする画像処理装置である。
【００１５】
請求項２の発明は、前記部分行列分割手段は、前記輝度行列生成手段によって生成された輝度行列とその転置行列を掛け合わせた行列の固有ベクトルを計算する固有ベクトル計算手段と、前記固有ベクトル計算手段によって計算された固有ベクトルを各列に含んだ行列と、その転置行列を掛け合わせた表面行列を計算する表面行列計算手段と、前記表面行列計算手段によって計算された表面行列の行と列の同時の並替えを、前記表面行列の非対角成分が零となるように繰り返す並替え手段と、前記並替え手段による並べ替えの繰り返しと同じ順序で前記輝度行列の要素を並べ替え、前記表面行列の各対角ブロックの次元に対応して前記輝度行列を所定の数の部分行列に分割する分割手段と、を具備することを特徴とする請求項１記載の画像処理装置である。
【００１６】
請求項３の発明は、前記分割手段は、前記輝度行列のランクを計算し、この計算されたランク数に応じた数に部分行有することを特徴とする請求項２記載の画像処理装置である。
【００１７】
請求項５の発明は、前記距離情報計算手段は、前記時系列画像のうち特定時点Ａの画像を選択して基準画像とし、この基準画像中で各画素における前記対象物体までの距離Ｚを設定する距離設定手段と、前記距離設定手段によって設定された距離Ｚ及び前記幾何学的条件決定手段により決定された前記対象物体の各時点の位置と姿勢の変化に基づいて、前記各画素と対応する画素を、前記特定時点Ａと異なる３時点以上の画像群において決定する対応画像決定手段と、前記対応画像決定手段によって決定された画素における輝度と前記基準画像中の画素における輝度との整合の度合を、前記光学的条件決定手段により決定された前記時系列画像間の前記複数の光源に対応した線形結合係数に基づいて計算する整合度合計算手段と、前記整合度合計算手段によって計算された整合度合に応じて、前記距離設定手段によって設定された距離Ｚを評価して、この評価に基づいて距離情報を計算する評価手段と、を具備したことを特徴とする請求項１記載の画像処理装置である。
【００１９】
請求項５の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップによって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応ステップと、前記特徴点対応ステップによって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定ステップと、前記特徴点対応ステップによって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定ステップと、前記幾何学的条件決定ステップにより決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定ステップにより決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算ステップと、を具備し、前記光学的条件決定ステップは、前記特徴点対応ステップによって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成ステップと、前記輝度行列生成ステップによって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割ステップと、前記部分行列分割ステップによって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算ステップと、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換ステップと、を具備することを特徴とする画像処理方法である。
【００２１】
請求項６の発明は、複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法を実現するプログラムを記憶した記録媒体であって、前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出機能と、前記特徴点抽出機能によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応機能と、前記特徴点対応機能によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定機能と、前記特徴点対応機能によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定機能と、前記幾何学的条件決定機能により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定機能により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算機能と、を実現し、前記光学的条件決定機能は、前記特徴点対応機能によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成機能と、前記輝度行列生成機能によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割機能と、前記部分行列分割機能によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算機能と、前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換機能と、を実現するプログラムを記憶したことを特徴とする画像処理方法の記録媒体である。
【００２２】
以上により、本発明は、対象物体の撮影によって得られる時系列画像を用い、その時系列画像の各時点の画像に含まれる特徴点同士を対応づけ、その対応づけられた各特徴点の位置座標情報から対象物体の各時点の３次元の位置と姿勢、したがって、時系列画像間の幾何学的結合条件を求め、一方でその対応づけられた各特徴点の輝度情報から時系列画像間の光学的結合条件及び光源の方向を計算し、時系列画像間の幾何学的及び光学的結合条件を用いて各画素における距離情報及び表面法線ベクトルを獲得し、さらに表面法線ベクトルを利用して距離情報を補正したものを上記対象物体のモデル情報として出力するものである。
【００２３】
なお、表面法線ベクトルは距離情報の補正以外に映像の生成に利用できる。
【００２４】
このような構成により、例えば人間の頭部のように複雑形状、かつ、動きのある物体を対象に、一台のカメラを入力装置としてそのモデルを自動作成することができる。
【００２５】
なお、本発明は、この意味で複数台のカメラを用いるＵＳ Ｐａｔｅｎｔ ５４７５４２２ （参考文献１：ＵＳ Ｐａｔｅｎｔ ５４７５４２２− Ｄｅｃ． １２， １９９５ （ＮＴＴ） ”Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ”）等の提案とは内容を異にする。
【００２６】
また、以下で発明の実施の形態として対象物体の動きを算出するためにＣ． Ｔｏｍａｓｉ 等による因子分解法（参考文献２：Ｃ． Ｔｏｍａｓｉ ａｎｄ Ｔ． Ｋａｎａｄｅ， ”Ｓｈａｐｅ ａｎｄ ｍｏｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ｓｔｒｅａｍｓ ｕｎｄｅｒ ｏｒｔｈｏｇｒａｐｈｙ： Ａ ｆａｃｔｏｒｉｚａｔｉｏｎ ｍｅｔｈｏｄ” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｖｏｌ． ９：２ ｐｐ １３７−１５４， １９２２ ）を用いており、その際、一撃計算により特定に選択された点の３次元位置が同時に求まるが、これの外挿を基本とするモデル化は関連して別途”特願平９−７６７号”として出願している。また、対応づけに基づくステレオ法を応用することで対象物体の３次元表面全体を復元する方法についても”特願平９−２７３５７３号”として出願している。
【００２７】
これに対し本発明は、３次元の奥行きと表面の法線ベクトルを同時推定しようとするものであり、物体形状の精度の向上に寄与するものである。
【００２８】
【発明の実施の形態】
（参考実施形態）
以下、本発明には含まれないが、後述する本発明の実施形態の参考となる参考実施形態について、人間の頭部の表面モデルを自動生成する場合を例にとって説明する。
【００２９】
図１（ａ）に本実施形態の基本的な構成例を示し、図１（ｂ）に本実施形態の詳細な構成例を示す。
【００３０】
画像取込部０により得られた動画像系列から、まず特徴点抽出部１により、モデル作成を行う物体の表面を構成する特徴点を抽出する。
【００３１】
次に、３次元動き推定部２により、連続画像間でこれら抽出した特徴点同士の対応づけを行い、対応づけられた特徴点群の２次元座標から生成される行列を係数行列として含む関係式を変形操作することにより、頭部の位置・姿勢を求める。
【００３２】
また、線形結合係数計算部３により、対応づけられた各特徴点の輝度情報から生成される行列を係数行列として含む関係式を変形操作することにより、画像間の線形結合係数を求める。
【００３３】
最後に、距離情報検出部４により、頭部の位置・姿勢と画像間の線形結合係数にしたがって、幾何学輝度拘束条件に基づいて、物体への距離情報を検出し、形状復元を行う。
【００３４】
次に、上記基本構成における各構成要素の構成例について説明する。
【００３５】
（ａ）特徴点抽出部
図２に、特徴点抽出部１の詳細な構成例を示す。
【００３６】
まず平滑化処理部１０において、抽出する原画像に平滑化処理を施す。この処理をデジタルフィルタで実現する場合は、例えば、
【数１】
【００３７】
この処理は、次の２次元差分処理部１１、及び方向別分散値計算部１４における、ノイズ低減のための前処理として行われる。二次空間差分処理部１１では、上記平滑化処理結果に対し二次空間差分処理を施すことにより、孤立した特徴点部分の明度強調を行う。この処理をデジタル空間フィルタで実現する場合は、例えば、
【数２】
【００３８】
次に、孤立特徴点抽出部１２において、この明度強調結果で適当に設定した閾値以上の部分を抽出することにより、例えば頭部における黒子のような孤立した特徴点を抽出し、この座標値を記憶部に順次格納する。
【００３９】
さらに、局所マスク設定部１３では、前記平滑化処理部１０の結果に対し、例えば頭部における目尻、唇の端点のような連続特徴点を抽出するための局所マスク領域を順次設定する。
【００４０】
連続特徴点は、例えば目尻であれば目領域の上輪郭と下輪郭の交差する点、唇の端点であれば上唇の輪郭と下唇の輪郭の交差する点、というように、複数の輪郭線（エッジ）の交差部分、すなわち複数の方向に輝度勾配が強い点として求められる。マスク領域の大きさは、抽出する特徴点を構成する輪郭線（エッジ）の長さと必要となる演算量を考慮して最適となるように設定する。
【００４１】
次に、方向別分散値計算部１４において、この設定された各局所マスク内の方向別分散値を計算する。この方向としては例えば、垂直、水平、右４５゜、左４５゜の４方向を選択し、局所マスク内の各方向に連続した画素の明度値を用いて、各方向別分散値を計算する。
【００４２】
次に、連結特徴点抽出部１５において、上記方向別分散値計算部１４において計算された方向別分散値が、２つ以上の方向に対し一定閾値以上の値を有する局所マスクの中心点を連結特徴点として抽出し、この座標値を記憶部に順次格納する。
【００４３】
（ｂ）３次元動き情報抽出部
次に、前記３次元動き情報抽出部２の詳細な構成例について、図３を用いて説明する。
【００４４】
特徴点対応づけ部２０において、前記特徴点抽出部１で抽出された孤立特徴点群、及び連結特徴点群の、連続時系列画像間における対応づけを行う。
【００４５】
図４に、上記特徴点対応づけ部２０の詳細な構成例を示す。
【００４６】
まず、特徴点選択部２００で、連続時系列画像間における対応づけを行う特徴点の組を選択する。
【００４７】
次に、局所マスク設定部２０１において、これら特徴点を含む５×５や７×７などのサイズを持つ局所マスク領域を各々の画像中に設定する。
【００４８】
次に、相関値計算部２０２において、これら局所マスク領域間の相関係数の値を計算する。
【００４９】
次に、対応判定部２０３において、上記相関係数値が閾値以上、かつ最大となる組を、対応づけが求まったものとして記憶部に格納する処理を、抽出された各特徴点について順次行う。
【００５０】
次に、計測行列設定部２１では、これら対応づけの得られた特徴点の画像中の座標値を用いて、３次元動き情報を求めるための計測行列を作成する。
【００５１】
本実施形態では、モデル作成を行う対象そのものの奥行きに対し、観測に用いるカメラが対象から十分遠方にある（正射影の条件を満たす）場合について、因子分解法を適用した例について述べる。この条件は例えば顔を撮影する場合、通常カメラを特に遠方に配置しなくても満たされる。
【００５２】
対応づけが得られた特徴点の組において、ｆ枚目の画像中のｐ番目の特徴点の位置を（Ｘｆｐ ，Ｙｆｐ ）とする。また、画像の相枚数をＦ、特徴点の組の数をＰとする。
【００５３】
ｆ枚目の画像中の特徴点群の重心位置を（Ａｆ ，Ｂｆ ）とするとこれらは、
【数３】
【数４】
【数５】
【数６】
【数７】
【数８】
【００５４】
ここで、Ｓにおける成分Ｓｐ は対応づけられたｐ番目の特徴点の３次元位置（Ｘｐ ，Ｙｐ ，Ｚｐ ）である。一方、Ｍの行列の成分のうち（ｘｆ ，ｙｆ ）は、ｆ番目の画像の基本ベクトルであり、動画像系列における各時点での画像の中心位置を与えており、これらの差からフレーム間の物体の３次元の動き情報、すなわち位置と姿勢の変化を決定することができる。
【００５５】
なお、特異値分解は一般に任意性を有するが、Ｍの要素ベクトルが正規直交系を構成することなどの適当な拘束条件の下に分解を一意に決定できる（詳細は参考文献２）。
【００５６】
これにより、動画像系列中にある時点での入力画像の任意の点の座標と、その点までの推測される距離Ｚから、他の画像において対応する点の座標を算出することができる。
【００５７】
（ｃ）画像間線形結合計算部
次に、前記画像間線形結合計算部３の詳細な構成例について、図５を用いて説明する。
【００５８】
ここで、一般に１つの無限遠点光源を考えるときある画素ｘｉ の輝度Ｉは、その画素に対応する物体表面上の点の内向きの３次元単位法線ベクトルに表面反射率を乗じた量Ｂｉ と、点光源の光の方向を示す３次元単位ベクトルに光源の
強さを乗じた量ｓ １ との内積、すなわち
【数９】
【００５９】
いま、物体表面上の点が動画像系列上の点ｘ（ｊ） に投影されるとき、無限遠のｎｋ 個の点光源による反射をＬａｍｂｅｒｔｉａｎモデルで表現すると、ｊ番目の画像のｉ番目の点の輝度値は、
【数１０】
クトルに表面反射率を乗じたものであり、Ｒ（ｊ） は最初の画像からｊ番目の画
像までの物体の回転を表す行列であり、ｓ ｋ はｋ番目の光の方向を示す単位ベ
クトルに光源の強さを乗じたものである。ある光源によって画素が照射されていないと内積が負の値をとるのでｍａｘ（・，０）とする必要がある。
【００６０】
式（７） は次のように書くこともできる。
【００６１】
【数１１】
【００６２】
画像中の特徴点がｎｉ 個であり、ｎｊ 枚の動画像系列を解析する場合、以下の行列表現をすることができる。
【００６３】
【数１２】
【００６４】
３次元動き抽出部２中で記述済みの特徴点対応づけ部２０で、ｎｊ 枚通して全ての動画像系列中の各々の特徴点に対して対応づけを行うことで、対応づけされた特徴点の輝度値Ｉｉ （ｊ） をＩにおいて記録することができる。
【００６５】
輝度行列設定部３１では、これら対応づけの得られた特徴点における輝度値を用いて、輝度行列を作成する。
【００６６】
次に、単一点光源を考えるとき輝度行列変形操作部３２では、計測行列Ｉに対し例えば特異値分解等を行うことによって、ｒａｎｋ３の行列による近似表現を得ることができる。
【００６７】
【数１３】
【００６８】
よく知られているように特異値分解による分解は一意ではなく、一般には任意の３×３正則行列Ａを用いて次のように表現される。
【００６９】
【数１４】
【００７０】
まず、式（１１）の行列ｓに含まれる光源の物理的な意味に立ち戻ると、その解釈は次のようになる。すなわち１列目のｓ（１） が最初のフレームの光源ベクトル、つまり真の光源ベクトルであり、その他の列は物体の回転にしたがい
【数１５】
【００７１】
式（１４）両辺の各列の関係を、上記の光源ベクトルが満たすべき条件式（１５）に代入すると、関係式
【数１６】
【００７２】
しかしその解には自由度が３残っており、同次方程式のみから行列Ａを一意に決定することはできない。これは物理的に条件が不足していることを意味しており、最初のフレームにおける光源と物体の初期配置に自由度３の任意性があるためと解釈できる。この任意性を取り除いて問題を良設定なものにするためには、何らかの拘束条件を与えることが必要である。そこで、条件として任意のサンプル点を一つ取り上げ、その点における法線方向Ｂ ｉ Ｔを用いることにする。これは知識として与えてもよいが、そのサンプル点周辺の奥行きを先に計算しておくことで、その領域の勾配から計算することができる。式（６） と式（１４）から
【数１７】
【数１８】
次に、距離情報検出部４の詳細な構成例について、図７を用いて説明する。
【００７３】
基本的な概念は動画像中からある基本画像を選択し、この画像中で顔に相当する部分の各画素において他の画像との幾何的輝度拘束―幾何学的に対応する点における輝度間に成立する線形拘束―にしたがって距離を推定するものであり、前記３次元動き情報抽出部２と前記画像間線形結合計算部３の結果の双方を利用するものである。
【００７４】
この概念は図７に４枚の時系列画像を用いて示されるごとくである。
【００７５】
基準画像の任意の画素の輝度Ｉｉ （１） は、他の３枚の画像において幾何学的に対応している点の輝度Ｉｉ（２） ，Ｉｉ（３） ，Ｉｉ（４） の線形結合で表される。なお図中、対象物体の動きは撮影するカメラの逆位相の動きとして解釈されている。
【００７６】
すなわち、１番目の画像において顔表面のある点Ｘｉが投影された画素の輝度Ｉｉ（１） を考えるとき、その点Ｘｉへの距離Ｚを仮定、これにしたがって同じ点Ｘｉが異なる時点の画像において投影された輝度Ｉｉ（２） ，Ｉｉ（３） ，Ｉｉ（４） を推測し、これらの輝度が、画像間線形結合計算部で計算された線形結合係数に基づいた線形結合拘束を正しく満たす度合を評価することで、正しい距離Ｚを探索によって求めることができる。
【００７７】
ある距離Ｚを仮定するときこれに対する３次元基底画素計算部４０と評価関数計算部４１は以下のように構成する。
【００７８】
【数１９】
【００７９】
【数２０】
【００８０】
ここで、前記光源方向推定部３３により光源の方向がすでにわかっている場合は、さらに法線ベクトル計算部４３によって物体表面の法線ベクトルを計算できる。この場合、前記評価関数計算部４１における式（２１）は次式で置き換えられる。
【００８１】
【数２１】
【数２２】
【００８２】
変更例１
なお、本発明は上記実施形態で記載した内容に限定されるものではない。
【００８３】
例えば、距離判定部４２で距離Ｚを推測する際、３次元動き情報抽出部において物体の動きと同時に抽出される特徴点の３次元位置情報Ｓを用いて距離Ｚの推測範囲を限定することができる。
【００８４】
光源についてはさらに、ここで記述した単一点光源における議論を基に、その組合せとして一般光源へ拡張した環境へも対応することが可能である。このように本発明は物体の幾何的条件と光学的条件を組み合わせることにより様々な拡張が可能である。
【００８５】
（本発明の実施形態）
図９に本発明の実施形態の詳細な構成例を示す。
【００８６】
参考実施形態では、単一光源の場合について説明したが、本発明の実施形態では、複数光源が存在する場合について説明する。なお、画像間線形結合部計算部３の式(18)までは、参考実施形態と同様の処理を行う。そのために、式(1) から式(18)までは、参考実施形態を参照し、式(19)以降については、本発明の実施形態の式番号を参照する。
【００８７】
したがって、図１０に示す画像間線形結合部計算部３の輝度行列変形操作部３２において複数点光源が存在する場合を考える。
【００８８】
最も単純な場合として、全ての点光源が物体表面上の全ての点を照射している状況では、それらの点光源の重ね合わせに等価な一つの光源を仮定し、上述の単一光源における方法をあてはめることで線形結合係数を計算することができる。さらに光源方向推定部３３で光源の方向が推定できる。しかし、物体表面上の多くの点は実際には複数光源の部分的な組合せによって照射されており、その組合せは各点においてまちまちである。
【００８９】
すなわち、輝度行列設定部３１で設定した輝度行列は、様々な光源の組合せによって生じた輝度が格納されることになる。この状況では輝度行列分割部３０を経て輝度行列変形操作部３２以降の処理を行う必要がある。
【００９０】
輝度行列分割部３０では、輝度行列を共通する組合せの光源によって生じた輝度のみを含んだ部分行列へ各行の並べ替えによって分割し、正準化する。この分割ができると、輝度行列変形操作部３２以降の処理は各部分行列ごとに行い、対応する線形結合係数及び光源の方向を計算すればよい。
【００９１】
以下、部分行列への分割を一般性を失うことなく２つの点光源が存在する場合を例にとって説明する。
【００９２】
まず、２点光源（ｌ１ ，ｌ２ とおく）における輝度行列は単一光源下における関係式（１０）に対応し、次のように表現できる。
【００９３】
【数２３】
【００９４】
【数２４】
【００９５】
いま、ｎｉ 個の特徴点のうちｎ０ 個が入力画像列を通して光源ｌ１ とｌ２ の両方に照射されており、ｎ１ 個が光源ｌ１ のみに、またｎ２ 個が光源ｌ２ に照射されているとする。
【００９６】
つまり、陰になる部分を除外して考えｎｉ ＝ｎ０ ＋ｎ１ ＋ｎ２ とする。
【００９７】
ここで、輝度行列の分割の方法を説明する前に、分割した部分行列の表現形式について述べておく。何らかの方法で特徴点の分類が照射する光源の組合せごとにわかっている状況を考え、これにしたがって輝度行列Ｉの各々ｎｋ 個の特徴点に対応する部分行列Ｉ ｋ（ｋ＝０，１，２）への分割がなされているとする。このとき式（１９）は次のように表現でき、
【数２５】
【数２６】
【００９８】
式（２０）では陰の部分を除外して考えることでＤ ３に対応するＩ ３を無視しているが、更に光源Ｉ１ が物体全体を、光源ｌ２ が物体の一部分のみを照射していると考えても一般的な議論には差し支えない。これにより部分行列Ｉ ２を省略するとき（ｎｉ ＝ｎ０ ＋ｎ１ ）、輝度行列は次のような正準型となる。
【００９９】
【数２７】
【０１００】
ここで、輝度行列Ｉの任意の行がｎｊ 次元輝度空間Ｒｎｊの一点を表すものと解釈すると、部分行列Ｉ ０の各行は３次元部分空間Ｌ０ の一点を、また部分行列Ｉ １の各行は別の３次元部分空間Ｌ１ の一点を表すことになる。
【０１０１】
したがって、特徴点を分類する問題は、空間Ｒｎｊにおけるｎｊ 個の特徴点群を２つの異なる３次元部分空間に分けることに帰着される。
【０１０２】
以下では、まずこの分類が数学的に可能であることを述べた上で、表面行列と呼ばれる行列を導入することで現実的に分類を行う方法について述べる。
【０１０３】
【数２８】
【０１０４】
【数２９】
【数３０】
【０１０５】
図１１に、輝度行列分割部３０の詳細な構成例を示す。
【０１０６】
まず、表面行列生成部３００では，輝度行列Ｉに次の特異値分解を直接に施す。
【０１０７】
【数３１】
【０１０８】
定義から表面行列Ｈは輝度行列Ｉから一意に計算できるばかりか、輝度行列Ｉの行の順序を入れ替えても、その値の組Ｈαβは一定のままで並び方が入れ替わるのみである。つまり輝度行列Ｉの行αとβを入れ替えると、行列Ｕの対応する行αとβが入れ替わり、結果として表面行列Ｈの行αとβが一定の値のまま同時に入れ替わることになる。
【０１０９】
【数３２】
【０１１０】
計測した特徴点の輝度に雑音を含む環境では、表面行列Ｈの要素のうち異なる光源の組合せに照射された特徴点対に対応するものでも小さな非零値をもつ場合が考えられる。しかし、表面行列Ｈの対角化は、表面の相関エネルギーを表す量としてＨ２ αβを用い、Ｈの非対角成分のエネルギーを最小化するように全ての行と列の入れ替えを探索することで行う。この問題に対しては、簡単な最小化アルゴリズムで十分であるが、ヒルクライミング法や欲張り法などの探索法を用いて効率を上げることも可能である。
【０１１１】
続いて、輝度行列正準化部３０２では、表面行列対角化部３０１において表面行列Ｈの行と列の各々の組を並べ替えたのと、同じ順序で輝度行列Ｉの行の入れ替えを行う。この結果、同一の光源に照射された特徴点が隣接した行に並ぶ輝度行列Ｉの正準型輝度行列を生成することができる。
【０１１２】
そして、得られた部分輝度行列の各々に対して独立に輝度行列変形操作部３２以降の処理を施すことで、対応する線形結合係数及び光源の方向ｓ ０とｓ １を計算する。以上の処理は２点光源の場合だけでなく任意点光源に対しても適応できる。
【０１１３】
次に距離情報検出部４の詳細な構成例について、図１２を用いて説明する。
【０１１４】
基本的な概念は動画像中からある基本画像を選択し、この画像中で顔に相当する部分の各画素において他の画像との幾何的輝度拘束―幾何学的に対応する点における輝度間に成立する線形拘束―にしたがって距離を推定するものであり、前記３次元動き情報抽出部２と前記画像間線形結合計算部３の結果の双方を利用するものである。この概念は図７に４枚の時系列画像を用いて示されるごとくである。
【０１１５】
すなわち、１番目の画像において顔表面のある点Ｘｉが投影された画素の輝度Ｉｉ （１） を考えるとき、その点Ｘｉへの距離Ｚを仮定、これにしたがって同じ点Ｘｉが異なる時点の画像において投影された輝度Ｉｉ（２） ，Ｉｉ（３） ，Ｉｉ（４） を推測し、これらの輝度が、前記画像間線形結合計算部３で計算された線形結合係数に基づいた線形結合を正しく満たす度合いを評価することで、正しい距離Ｚを探索によって求めることができる。
【０１１６】
ある距離Ｚを仮定するときこれに対する３次元基底画素計算部４０と評価関数計算部４１は以下のように構成する。
【０１１７】
【数３３】
【０１１８】
距離判定部４２では、推測の距離Ｚを変化させつつ上記評価関数Ｅｉ （Ｚ）の計算を行い、評価関数を最小（理想的には零）とするＺをもってその点での距離とする。以上の操作を画像上の各点において実行することで画像全体の距離画像を得る。
【０１１９】
変更例２
なお、本発明は上記実施形態で記載した内容に限定されるものではない。
【０１２０】
光源についてはさらに、ここで記述した複数の点光源における議論を基に、その組合せとして一般光源へ拡張した環境へも対応することが可能である。このように本発明は物体の幾何的条件と光学的条件を組み合わせることにより様々な拡張が可能である。
【０１２１】
【発明の効果】
本発明によれば、複雑形状かつ動きのある物体の形状復元を、実用的な精度と処理速度を満足して行うための画像処理方法及びその装置を提供することが可能となり、３次元ＣＡＤ、また３次元ＣＧ（コンピュータグラフィクス）を用いた映像作成等の技術に、大きく貢献する。
【図面の簡単な説明】
【図１】（ａ）は、本発明の参考実施形態の基本的な構成を示すブロック図である。（ｂ）は、（ａ）の全体構成を示すブロック図である。
【図２】図１の特徴点抽出部の詳細な構成を示すブロック図である。
【図３】図１の３次元動き抽出部の詳細な構成を示すブロック図である。
【図４】図３の特徴点対応づけ部の詳細な構成を示すブロック図である。
【図５】図１の画像間線形結合計算部の詳細な構成を示すブロック図である。
【図６】図１の距離情報検出部の詳細な構成を示すブロック図である。
【図７】図６の距離情報検出部において用いられる幾何学的輝度拘束を示すスケッチ図である。
【図８】物体の表面反射モデルを示すスケッチ図である。
【図９】本発明の画像処理装置の全体構成を示すブロック図である。
【図１０】本発明の実施形態の画像間線形結合計算部の詳細な構成を示すブロック図である。
【図１１】輝度行列分割部の詳細な構成を示すブロック図である。
【図１２】距離情報検出部の詳細な構成を示すブロック図である。
【符号の説明】
０ 画像取込部
１ 特徴点抽出部
２ ３次元動き情報抽出部
３ 画像間線形結合計算部
４ 距離情報検出部
１０ 平滑化処理部
１１ ２次元空間差分処理部
１２ 孤立特徴点抽出部
１３ 局所マスク設定部
１４ 方向別分散値検出部
１５ 連結特徴点抽出部
２０ 特徴点対応づけ部
２１ 計測行列設定部
２２ 計測行列変形操作部
２００ 特徴点対選択部
２０１ 局所マスク設定部
２０２ 相関値計算部
２０３ 対応判定部
３１ 輝度行列設定部
３２ 輝度行列変形操作部
３３ 光源方向推定部
３００ 表面行列生成部
３０１ 表面行列対角化部
３０２ 輝度行列正準化部
４０ ３次元基底画素計算部
４１ 評価関数計算部
４２ 距離判定部
４３ 法線ベクトル計算部
４４ 距離補正部
Claims (6)
- 複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理装置であって、
前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応手段と、
前記特徴点対応手段によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定手段と、
前記特徴点対応手段によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定手段と、
前記幾何学的条件決定手段により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定手段により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算手段と、
を具備し、
前記光学的条件決定手段は、
前記特徴点対応手段によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成手段と、
前記輝度行列生成手段によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割手段と、
前記部分行列分割手段によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算手段と、
前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換手段と、
を具備する
ことを特徴とする画像処理装置。 - 前記部分行列分割手段は、
前記輝度行列生成手段によって生成された輝度行列とその転置行列を掛け合わせた行列の固有ベクトルを計算する固有ベクトル計算手段と、
前記固有ベクトル計算手段によって計算された固有ベクトルを各列に含んだ行列と、その転置行列を掛け合わせた表面行列を計算する表面行列計算手段と、
前記表面行列計算手段によって計算された表面行列の行と列の同時の並替えを、前記表面行列の非対角成分が零となるように繰り返す並替え手段と、
前記並替え手段による並べ替えの繰り返しと同じ順序で前記輝度行列の要素を並べ替え、前記表面行列の各対角ブロックの次元に対応して前記輝度行列を所定の数の部分行列に分割する分割手段と、
を具備する
ことを特徴とする請求項１記載の画像処理装置。 - 前記分割手段は、
前記輝度行列のランクを計算し、この計算されたランク数に応じた数に部分行有する
ことを特徴とする請求項２記載の画像処理装置。 - 前記距離情報計算手段は、
前記時系列画像のうち特定時点Ａの画像を選択して基準画像とし、この基準画像中で各画素における前記対象物体までの距離Ｚを設定する距離設定手段と、
前記距離設定手段によって設定された距離Ｚ及び前記幾何学的条件決定手段により決定された前記対象物体の各時点の位置と姿勢の変化に基づいて、前記各画素と対応する画素を、前記特定時点Ａと異なる３時点以上の画像群において決定する対応画像決定手段と、
前記対応画像決定手段によって決定された画素における輝度と前記基準画像中の画素における輝度との整合の度合を、前記光学的条件決定手段により決定された前記時系列画像間の前記複数の光源に対応した線形結合係数に基づいて計算する整合度合計算手段と、
前記整合度合計算手段によって計算された整合度合に応じて、前記距離設定手段によって設定された距離Ｚを評価して、この評価に基づいて距離情報を計算する評価手段と、
を具備した
ことを特徴とする請求項１記載の画像処理装置。 - 複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法であって、
前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップによって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応ステップと、
前記特徴点対応ステップによって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定ステップと、
前記特徴点対応ステップによって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定ステップと、
前記幾何学的条件決定ステップにより決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定ステップにより決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算ステップと、
を具備し、
前記光学的条件決定ステップは、
前記特徴点対応ステップによって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成ステップと、
前記輝度行列生成ステップによって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割ステップと、
前記部分行列分割ステップによって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算ステップと、
前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換ステップと、
を具備する
ことを特徴とする画像処理方法。 - 複数の光源に照らされている動きのある対象物体を、静止した１台の画像取込み手段から時系列的に撮影して、その対象物体の形状を獲得するための少なくとも距離情報を演算する画像処理方法を実現するプログラムを記憶した記録媒体であって、
前記画像取込み手段によって取込まれた時系列画像から前記対象物体の特徴点を抽出する特徴点抽出機能と、
前記特徴点抽出機能によって抽出された前記時系列画像の各時点の画像中に含まれる特徴点同士を対応づける特徴点対応機能と、
前記特徴点対応機能によって対応づけられた各特徴点の位置座標情報に基づいて、前記時系列画像の各時点における前記対象物体の位置と姿勢の変化を決定する幾何学的条件決定機能と、
前記特徴点対応機能によって対応づけられた各特徴点と、その周囲の輝度情報に基づいて、前記複数の光源に対応した前記時系列画像間の線形結合係数を決定する光学的条件決定機能と、
前記幾何学的条件決定機能により決定された前記対象物体の前記時系列画像中の各時点の位置及び姿勢と、前記光学的条件決定機能により決定された前記複数の光源に対応した前記時系列画像間の線形結合係数に基づいて、前記対象物体の各点への距離情報を計算する距離情報計算機能と、
を実現し、
前記光学的条件決定機能は、
前記特徴点対応機能によって対応づけられた各特徴点の輝度情報とそれら各特徴点の周囲の輝度情報を格納した輝度行列を生成する輝度行列生成機能と、
前記輝度行列生成機能によって生成された輝度行列を前記複数の光源の組合せ毎に部分行列に分割する部分行列分割機能と、
前記部分行列分割機能によって分解された各部分行列を特異値分解することにより前記複数の光源に対応した線形結合係数を計算する線形結合係数計算機能と、
前記対象物体の姿勢変化及び任意の特徴点での面法線ベクトルに基づいて、前記複数の光源に対応した線形結合係数を光源方向に変換する光源方向変換機能と、
を実現するプログラムを記憶した
ことを特徴とする画像処理方法の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06540799A JP3630582B2 (ja) | 1999-03-11 | 1999-03-11 | 画像処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06540799A JP3630582B2 (ja) | 1999-03-11 | 1999-03-11 | 画像処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000259835A JP2000259835A (ja) | 2000-09-22 |
| JP3630582B2 true JP3630582B2 (ja) | 2005-03-16 |
Family
ID=13286157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06540799A Expired - Fee Related JP3630582B2 (ja) | 1999-03-11 | 1999-03-11 | 画像処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3630582B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4301791B2 (ja) | 2002-10-04 | 2009-07-22 | 三菱重工業株式会社 | Ｃａｄシステム及びｃａｄプログラム |
| JP2007025966A (ja) * | 2005-07-14 | 2007-02-01 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像処理プログラム |
| JP5297677B2 (ja) * | 2008-04-08 | 2013-09-25 | 株式会社フローベル | 検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステム |
-
1999
- 1999-03-11 JP JP06540799A patent/JP3630582B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000259835A (ja) | 2000-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230054821A1 (en) | Systems and methods for keypoint detection with convolutional neural networks | |
| CN110998659B (zh) | 图像处理系统、图像处理方法、及程序 | |
| JP4195096B2 (ja) | ３次元表面形状再構築のための装置 | |
| EP2272050B1 (en) | Using photo collections for three dimensional modeling | |
| JP4677536B1 (ja) | ３次元物体認識装置及び３次元物体認識方法 | |
| KR101007276B1 (ko) | 3차원 안면 인식 | |
| CN111325794A (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
| WO2015188684A1 (zh) | 三维模型重建方法与系统 | |
| US8086027B2 (en) | Image processing apparatus and method | |
| CN108926355A (zh) | 用于站立对象的x射线系统和方法 | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| US20200057831A1 (en) | Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation | |
| US20110249865A1 (en) | Apparatus, method and computer-readable medium providing marker-less motion capture of human | |
| CN111899328B (zh) | 一种基于rgb数据与生成对抗网络的点云三维重建方法 | |
| JP2007310707A (ja) | 姿勢推定装置及びその方法 | |
| JPH10320588A (ja) | 画像処理装置および画像処理方法 | |
| JP2008186456A (ja) | ２ｄイメージシーケンスからの３ｄシーン再構成方法 | |
| CN113012293A (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
| CN106652015B (zh) | 一种虚拟人物头像生成方法及装置 | |
| CN103733226A (zh) | 快速的有关节运动的跟踪 | |
| CN107170037A (zh) | 一种基于多摄像机的实时三维点云重建方法和系统 | |
| WO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
| US20200057778A1 (en) | Depth image pose search with a bootstrapped-created database | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| JP2021060989A (ja) | マルチモーダル密対応関係撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040708 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041014 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |