JP4921847B2

JP4921847B2 - 対象物の三次元位置推定装置

Info

Publication number: JP4921847B2
Application number: JP2006128338A
Authority: JP
Inventors: 真一小島; 芳樹二宮; 勇彦田中
Original assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Priority date: 2006-05-02
Filing date: 2006-05-02
Publication date: 2012-04-25
Anticipated expiration: 2026-05-02
Also published as: JP2007299312A

Description

本発明は、対象物の三次元位置推定装置にかかり、特に、ドライバの頭部等の対象物の姿勢等の位置を推定することができる対象物の三次元位置推定装置に関する。

人物を撮影した画像をパターン認識等の画像処理することにより、人物の位置の推定や予測する技術が一般的に知られている。例えば、特許文献１には、撮影された画像から、パーティクルフィルタ法により対象物の物理量を推定したり、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を推定したりする技術が提案されている。また、非特許文献１には、パーティクルフィルタを用いて頭部の姿勢を推定する技術が提案されている。
特開２００５−４４３５２号岡兼司、佐藤洋一、中西泰人、小池英樹、"適応的拡散制御を伴うパーティクルフィルタを用いた頭部姿勢推定システム" 電子情報通信学会論文誌 D-II、vol. J88-D-11, no.8 pp.1601-1613, August 2005.

しかしながら、上記文献による技術では、精度確保のために、多数、例えば１００個以上の仮説による計算が必要なため、人物の位置の推定や予測、例えば頭部の姿勢を推定するのには膨大な計算時間を必要とする。文献の技術では、仮説生成の結果を反映させるべく画像上のほぼ全てを探索範囲とするので、画像空間において類似度の大小に拘わらず無駄な探索を行うことになる。これは、文献の技術が仮説を生成するのに状態空間でのみ行っているので、観測空間の情報が反映されないためである。なお、膨大な計算は、高性能のコンピュータを用いることで解消できるものの、例えば、自動車に搭載するための車載環境下の演算装置で対象物の位置や姿勢を推定するためには工夫が必要となる。

本発明は、上記事実を考慮して成されたもので、簡単な計算によってドライバの頭部等の対象物の姿勢等の位置を推定することができる対象物の三次元位置推定装置を提供することを目的とする。

上記目的を達成するために本発明は、各々三次元座標値を有する複数の特徴点と、各特徴点に関連付けられた部分画像を表す部分画像情報とから構成される三次元モデルを記憶する記憶手段と、三次元モデルを二次元の観測空間上へ投影するときの該観測空間への投影点を計算する投影点演算手段と、前記特徴点に関連付けられた部分画像と、前記特徴点に対応する投影点を含む前記部分画像と略一致する大きさの観測画像との類似度を部分画像を構成する要素と観測画像を構成する要素について演算する類似度演算手段と、観測空間で演算した要素に基づく類似度に基づいて要素に対応する複数の画像特徴点を計算用の特徴点セットとして選択しかつ、複数選択した特徴点セット及び三次元モデルに基づいて、三次元モデルの状態値を推定する推定手段と、前記観測空間への投影点、前記類似度、及び推定された三次元モデルの状態値に基づいて、推定された三次元モデルの状態値を観測空間へ投影することによって、推定結果の状態値による三次元モデルの観測空間における適合度を算出する算出手段と、前記推定手段による三次元モデルの状態値推定及び算出手段による適合度算出を繰り返し、該繰り返しによって得られた複数の三次元モデルの状態値及び複数の適合度に基づいて、最終的な三次元モデルの状態値を計算する計算手段と、を含んでいる。

記憶手段は、各々三次元座標値を有する複数の特徴点と、各特徴点に関連付けられた部分画像情報とから構成される三次元モデルを記憶する。この三次元座標としては、直交座標、旧座標、円柱座標等がある。また、部分画像情報には、輝度画像、ＲＧＢ画像、輝度ヒストグラム、ＲＧＢヒストグラム等がある。

投影点演算手段は、三次元モデルを二次元の観測空間上へ投影するときの該観測空間への投影点を計算する。この投影には、透視投影、弱中心投影、正射影等がある。類似度演算手段は、前記特徴点に関連付けられた部分画像と、前記特徴点に対応する投影点を含む観測画像との類似度を演算する。この類似度は、輝度画像を用いた場合には正規化相関、ＳＡＤ（差分の絶対値和）、ＳＳＤ（差分の自乗和）等から求めることができ、輝度ヒストグラムを用いた場合にはヒストグラム間距離、バタチャリア距離から求めることができる。

推定手段は、前記類似度を基に観測空間から複数選択した特徴点セットに基づいて、三次元モデルの状態量を推定する。この状態量の推定は、カルマンフィルタを用いる方法、α−βフィルタを用いる方法、α−β−γフィルタを用いる方法、最小二乗法を用いる方法等がある。算出手段は、観測空間への投影点、前記類似度、及び推定された三次元モデルの状態量に基づいて、推定結果の状態量による三次元モデルの観測空間における適合度を算出して、計算手段により推定手段による三次元モデルの状態量推定及び算出手段による適合度算出を繰り返し、該繰り返しによって得られた複数の三次元モデルの状態量及び複数の適合度に基づいて、最終的な三次元モデルの状態量を計算する。

この最終的な三次元モデルの状態量は、最大適合度を有する特徴点セット（仮説）を最終的な三次元モデルの状態量、全ての特徴点セット（仮説）の状態量の平均値を最終的な三次元モデルの状態量、適合度の大小で選択した複数の特徴点セット（仮説）の平均値を最終的な三次元モデルの状態量、全ての特徴点セット（仮説）の状態量に適合度の重みを付した平均値を最終的な三次元モデルの状態量、適合度の大小で選択した特徴点セット（仮説）の状態量に適合度の重みを付した平均値を最終的な三次元モデルの状態量等から求めることができる。

以上説明したように本発明によれば、観測空間において有効な特徴点セットを用いて最終的な三次元モデルの状態量を計算するので、計算量を減少した簡単な計算によってドライバの頭部等の対象物の姿勢等の位置を推定することができる、という優れた効果が得られる。

以下、図面を参照して、本発明をドライバの頭部、特に顔の方向を推定する車両用の推定装置に適用した実施の形態について詳細に説明する。

図１に示すように、本発明の実施形態にかかる推定装置１０は、顔の方向を推定する演算処理を司るＣＰＵ１２，ＲＯＭ１４，及びＲＡＭ１６の各々がバス２４を介してコマンドやデータを授受可能に接続されたコンピュータ構成とされている。このバス２４には、カメラ２０からの撮影画像が入力される画像取り込み装置１８に接続されている。このカメラ２０は車両内に搭載され、対象物であるドライバ等の乗員（特に上半身や顔）を撮影するようになっている。

また、バス２４には、外部装置へ各種データを出力するためのデータ出力Ｉ／Ｆ２２が接続されている。ＲＯＭ１４には、詳細を後述する三次元モデルや処理ルーチン等のプログラムが予め記憶されている。なお、本実施形態に係る推定装置１０には、以上の構成の他に、電源装置等、多数の電気系の構成要素が含まれているが、周知または一般的なものであるため詳細な説明を省略する。

図２に示すように、本実施形態では、対象物３６が状態空間内３８内に存在して対象物３６の位置や方向が変化することを想定している。状態空間３８内における対象物３６を三次元モデル３０で表現することができる。状態空間３８は、例えば、各々直交するＸ軸、Ｙ軸、Ｚ軸を座標軸とする三次元空間であり、この三次元空間内の三次元点は、三次元座標（Ｘ，Ｙ，Ｚ）、各座標軸に付随する回転方向ψ，θ，φにより規定される姿勢（ψ，θ，φ）及び各々の成分の速度（や加速度）等により表現できる。この状態空間３８における対象物３６に関する情報すなわち三次元位置（Ｘ，Ｙ，Ｚ）、姿勢（ψ，θ，φ）及び各成分速度（や加速度）等が、本実施形態において最終的に求める情報である。なお、三次元座標としては、直交座標、球座標、円柱座標等がある。

図３には三次元モデル３０の一例を示した。三次元モデル３０は、状態空間３８内に存在し、複数の三次元点３２から構成されている。この三次元点３２は、対象物３６の特徴的な部位の代表点（以下、特徴点という）であり、この三次元点３２には、特徴的な部位の２次元の部分画像３４が関連付けられている。なお、この部分画像３４は予め設定してもよく、また後述する計測中に取得して設定してもよい。また、部分画像３４を表す部分画像情報には、輝度画像、ＲＧＢ画像、輝度ヒストグラム、ＲＧＢヒストグラム等がある。

図４にはカメラ２０で撮影して得られた画像４０を示した。本実施形態では、この画像４０内を観測空間４２としている。すなわち、観測空間４２は、カメラ２０から得られる情報、例えば二次元画像（濃淡画像またはカラー画像）であり、例えば、各々直交するｘ軸、ｙ軸を座標軸とする二次元空間であり、この二次元空間内の二次元点は、二次元座標（ｘｉ，ｙｉ）により表現される。

次に、本実施の形態の推定装置１０で実行されるドライバの頭部、特に顔の方向を推定する処理について説明する。

図５は、推定装置１０における処理を示す流れ図であり、ステップ１００では、三次元モデルの前回の状態推定結果を読み取る。このステップ１００を最初に処理する場合、ＲＯＭ１４に記憶されている三次元モデル３０の初期値を読み取るようにしてもよく、また、カメラ２０で撮影した撮影画像から求めても良い。

本実施形態では、ドライバ等の乗員を対象物とし、特に上半身のうちの顔を含む頭部を採用する。以下、説明を簡単にするために、乗員の頭部（顔）を顔モデル４４として扱い、座標表現するために、図７に示すように、球座標の顔モデル座標系を用いる。顔モデル座標系（顔モデル４４の座標系）内の三次元点は、状態空間３８における対象物３６である乗員等の頭部（顔）に関する情報すなわち三次元位置（Ｘｍ，Ｙｍ，Ｚｍ）を球座標として表現するための半径ｒ、及び角度（α，β，γ）の情報である。この顔モデル座標系（顔モデル４４の座標系）と、状態空間座標系（状態空間３８の座標系）と、観測空間座標系（観測空間４２の座標系）との相互関係を、図８に示した。以下の説明では、これらの相互関係を用いて説明する。

カメラ２０で撮影した撮影画像から求める場合の一例を、次に数式で示す。この数式に従って求めた値をＲＡＭ１６に記憶し、読み取った値を三次元モデルの前回の状態推定結果（状態値）とすることができる。

次のステップ１０２では、三次元モデルの前回の状態推定結果から今回の三次元モデルの状態を予測する。すなわちステップ１０２では、今回の三次元モデルの状態の予測として、三次元モデルの各位置を予測する。この予測は、ＲＯＭ１４に記憶されている三次元モデル３０の初期値または前回の推定結果を記憶したＲＡＭ１６から読み取った状態値に基づいて、次に示す数式に従って現在の三次元モデル３０の位置を予測し、その値を予測位置として求める。

次に、ステップ１０４では、三次元モデル３０の状態空間３８における各特徴点の予測位置を観測空間４２へ投影する。このステップ１０４では、三次元座標を二次元座標に変換する処理であり、次に示す数式に従って求める。なお、この投影には、透視投影、弱中心投影、正射影等がある。

なお、図６には、状態空間３８上における三次元モデルの前回の状態推定結果５０から現在の三次元モデル３０の予測位置５２への状態推移、そして観測空間４２への投影点５４を概念的に示した。

次に、図５のステップ１０６では、上記ステップ１０４における各特徴点毎の観測空間４２への投影点を含む小範囲の観察部分画像と三次元モデル３０に関連付けられた部分画像３４との類似度を求めるマッチング演算を行い、類似度マップを生成する。観察部分画像の大きさは、部分画像３４の大きさに対応される。マッチング演算における類似度は、輝度画像を用いた場合には正規化相関、ＳＡＤ（差分の絶対値和）、ＳＳＤ（差分の自乗和）等から求めることができ、輝度ヒストグラムを用いた場合にはヒストグラム間距離、バタチャリア距離から求めることができる。類似度マップは、特徴点と類似度との対応をテーブル化したものである。このステップ１０６の処理における類似度を求めるマッチング演算の一例を、次の数式に示す。次式は、正規化相関の場合に、モデルに対応付けた部分画像の要素数をＬ、要素をＭｉ（ｉ＝０…Ｌ）、平均を／Ｍ、観察部分画像の要素をＯｉ（ｉ＝０…Ｌ）、平均を／Ｏ、としたとき、
類似度ｓｉとして正規化相関値を求めるためのものである。

次のステップ１０８では、各特徴点毎に類似度マップ内から類似度に従って複数の特徴点を以下の計算用の特徴点セットとして選択する。なお、選択された特徴点セットが仮説に相当する。この選択は、類似度の大小や所定範囲内の特徴点を抽出することで実行できる。この特徴点セットの選択について、以下に示す。

上記のようにして特徴点セットの選択が終了すると、ステップ１１０において、選択した特徴点セットと三次元モデル３０を用いて、三次元モデルの状態量を推定する。ステップ１１０は、前記類似度を基に観測空間４２から複数選択した特徴点セットに基づいて、三次元モデル３０の状態量を推定するもので、状態量の推定は、カルマンフィルタを用いる方法、α−βフィルタを用いる方法、α−β−γフィルタを用いる方法、最小二乗法を用いる方法等がある。この推定の一例を次に数式で示す。なお、以下の数６は、上記数１と同様であるが、画像特徴点及び投影点の値が異なるものである。

なお、図６には、観測空間４２上における投影点５４について求めた類似度マップ５６、その類似度マップ５６基づき選択された特徴点セット５８、そして、選択した特徴点セット５８と三次元モデル３０を用いて、状態空間３８状における推定結果の三次元モデルの状態量６０を概念的に示した。

次に、図５のステップ１１２では、推定した状態空間３８における現在の三次元モデル３０の状態を観測空間４２へ投影し、推定した状態の三次元モデルの適合度を計算する。この適合度の計算は、次の数式に従って求めることができる。次の数式では、適合度をｆ、特徴点の数をｎ、各特徴点の類似度をｓｉ（ｉ＝０〜ｎ）とし、モデルの観測空間への投影の適合度を求めている。図６には、推定結果の三次元モデルの状態量６０による三次元モデルを観測空間４２上に投影して求めた適合度６２を概念的に示した。

以上の処理によって、１つの特徴点セットについて適合度を求める処理が完了する。本実施形態では、複数の特徴点セットから最終的な三次元モデルの状態量を求める。本実施形態では、特徴点セットについて適合度を求める処理の繰り返し回数を予め定めておき（例えば、Ｎ回：Ｎは自然数）、ステップ１１４においてＮ回の繰り返しが終了したか否かを判断する。ステップ１１４で肯定されると、Ｎ回の繰り返し処理が終了し、Ｎ個の特徴点セットについての適合度が得られる。

そして、次のステップ１１６において、次に数式で示すように、各特徴点セットで計算した三次元モデルの状態量を適合度の重みで足し合わせたものを現在の三次元モデルの状態量に設定する。この最終的な三次元モデルの状態量は、最大適合度を有する特徴点セット（仮説）を最終的な三次元モデルの状態量、全ての特徴点セットの状態量の平均値を最終的な三次元モデルの状態量、適合度の大小で選択した複数の特徴点セットの平均値を最終的な三次元モデルの状態量、全ての特徴点セットの状態量に適合度の重みを付した平均値を最終的な三次元モデルの状態量、適合度の大小で選択した特徴点セットの状態量に適合度の重みを付した平均値を最終的な三次元モデルの状態量等から求めることができる。

以上の処理を行なうことにより、観察空間の有効な点のみを用いて特徴点セット（仮説）を生成するので、計算量を大幅に削減することができる。

本発明の実施の形態にかかる推定装置の概略構成を示すブロック図である。本発明の実施の形態における状態空間の説明図である。本発明の実施の形態における三次元モデルを示す概念図である。本発明の実施の形態における観察空間の説明図である。本発明の実施の形態にかかる推定装置の処理の流れを示すフローチャートである。現在の三次元モデルの状態を求める過程の説明図である。本発明の実施の形態における球座標の顔モデル座標系の説明図である。本発明の実施の形態における座標系の相互関係の説明図である。

符号の説明

１０推定装置
１２ＣＰＵ
１４ＲＯＭ
１６ＲＡＭ
２０カメラ
３０三次元モデル
３８状態空間
４２観測空間

Claims

各々三次元座標値を有する複数の特徴点と、各特徴点に関連付けられた部分画像を表す部分画像情報とから構成される三次元モデルを記憶する記憶手段と、
三次元モデルを二次元の観測空間上へ投影するときの該観測空間への投影点を計算する投影点演算手段と、
前記特徴点に関連付けられた部分画像と、前記特徴点に対応する投影点を含む前記部分画像と略一致する大きさの観測画像との類似度を部分画像を構成する要素と観測画像を構成する要素について演算する類似度演算手段と、
観測空間で演算した要素に基づく類似度に基づいて要素に対応する複数の画像特徴点を計算用の特徴点セットとして選択しかつ、複数選択した特徴点セット及び三次元モデルに基づいて、三次元モデルの状態値を推定する推定手段と、
前記観測空間への投影点、前記類似度、及び推定された三次元モデルの状態値に基づいて、推定された三次元モデルの状態値を観測空間へ投影することによって、推定結果の状態値による三次元モデルの観測空間における適合度を算出する算出手段と、
前記推定手段による三次元モデルの状態値推定及び算出手段による適合度算出を繰り返し、該繰り返しによって得られた複数の三次元モデルの状態値及び複数の適合度に基づいて、最終的な三次元モデルの状態値を計算する計算手段と、
を含む対象物の三次元位置推定装置。