JP6315542B2 - 画像生成装置及び画像生成方法 - Google Patents

Description

本発明は画像を生成する装置及び方法に関するものである。

従来より、画像処理の分野においては、運動する物体の３次元画像を生成する技術が考案されているが、例えば特許文献１に示されるように、予め定めた特徴点の画像間における対応関係に着目することによって当該３次元画像を生成する手法が採用されている。
これに対して、特許文献２に示されるように、上記特徴点を用いる替わりに画像を徐々に変形しながら対応点を探索する技術も考案されている。

しかし、特許文献２に示された技術は、二つの画像間で全体につき剛体位置合せを実行した後に、上記画像を夫々分割することにより得られる対応領域で剛体位置合せを実行するという手法を採用しているため、対象物体の外観を再現する上で必ずしも最適な画像変形がなされていない。

特開２００３−１３２３３８号公報 特開２０１１−０２４７６３号公報

これまでに考案されている上記手法を用いて運動する物体の全周形状を計測するには、同時に複数の方向から当該物体を計測することが求められるために複数のセンサが必要となる。このことから、運動物体の全周形状を計測するためには、当該複数のセンサを含むシステムを構築するための高いコストがかかるという課題がある。
また、上記センサの数を増やした場合においても、上記物体の運動が事前にわからない場合、全周を隙間なく計測するために必要なセンサの数や配置を事前に計画することが難しいという課題もある。

本発明は、上記課題を解決するためになされたもので、対象とする物体が運動している場合においても、単一あるいは複数のセンサを用いて簡易な手段により当該物体の外観を示す画像を精度よく生成することができる画像生成装置及び画像生成方法を提供することを目的とする。

対象物を撮像することにより得られた複数の初期画像データ間の所定の座標系における位置のずれに応じて、初期画像データのスケーリングを変えると共に初期画像データを回転および平行移動させて上記初期画像データを変形し、変形された複数の初期画像データを合成するという手段を採ることによって上記課題を解決することができる。

また、上記課題は、対象物を予め撮像することにより得られた基準画像データと初期画像データとの間の所定の座標系における位置のずれに応じて、初期画像データのスケーリングを変えると共に初期画像データを回転および平行移動させて上記初期画像データを変形し、変形された複数の初期画像データを上記対象物を撮像して得られた複数の基準画像データに対応して合成するという手段を採ることによっても解決することができる。

本発明によれば、簡易な手段により物体の外観を示す画像を精度よく生成することができる。

本発明の実施の形態に係る画像生成装置１の構成を示す図である。 図１に示された画像生成装置１による、時系列距離画像を用いた全周運動モデリング動作を示すフローチャートである。 図２に示された動作を説明するための図である。 図１に示された画像生成装置１による、時系列距離画像と形状テンプレートを用いた全周運動モデリング動作を示すフローチャートである。

以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。
図１は、本発明の実施の形態に係る画像生成装置１の構成を示す図である。図１に示されるように、本発明の実施の形態に係る画像生成装置１は、変形部３と合成部４、情報転写部５、補完部６、初期画像データ入力端子７、撮像画像データ入力端子８、及び生成画像データ出力端子９を含む。

ここで、変形部３は、初期画像データ入力端子７に接続される。合成部４は、変形部３と情報転写部５、及び補完部６に接続される。情報転写部５は、変形部３と初期画像データ入力端子７、撮像画像データ入力端子８、及び補完部６に接続される。補完部６は、変形部３と初期画像データ入力端子７及び撮像画像データ入力端子８に接続される。そして、生成画像データ出力端子９は、合成部４、情報転写部５、及び補完部６に接続される。
画像生成装置１は、時系列距離画像を用いた全周運動モデリング、および、時系列距離画像と形状テンプレートを用いた全周運動モデリングの２種類の用途に用いることができる。

図２は、図１に示された画像生成装置１による、時系列距離画像を用いた全周運動モデリング動作を示すフローチャートである。以下において、図２を用いて画像生成装置１の本動作を詳しく説明する。
本動作は、単一または複数の距離画像カメラで連続撮影して得られる距離画像を、互いに非剛体変形位置合わせすることによって、計測対象の全周形状を復元するものである。

図２に示されるように、ステップＳ１において、変形部３は初期画像データ入力端子７を介して初期画像データを入力する。ここで、初期画像データとは、計測した距離画像であり、その後変形されるものである。
そして、ステップＳ２において、変形部３は位置合わせ対象となる初期画像データが２つ以上あるか否かを判断し、あると判断した場合にはステップＳ３へ進み、ないと判断した場合にはステップＳ１へ戻る。

ステップＳ３において、変形部３は取得した初期画像データを対象として、画像間の非剛体変形位置合わせを行う。この計算は、以下の方法で実行される。
まず、初期画像データを三角形メッシュに変換する。次に、対となるメッシュＳとメッシュＱを選択し、両者の距離が十分小さくなるように、メッシュＳをメッシュＱに対して非剛体変形位置合わせし、新たなメッシュＳ'を算出する。
上記非剛体変形は、メッシュの各頂点における局所相似変換の組み合わせで表される。すなわち、メッシュＳに含まれる頂点座標ｐ_i(ｉ=１,…,ｎ)がメッシュＳ'に含まれる頂点座標ｐ_i'に変形されるとき、頂点番号ｉの頂点に接続する辺は、スケールｓ_i(＞０)と回転Ｒ_iを用いて以下の式で表される。

上記［数１］の式において、ｅ_ij(=ｐ_i−ｐ_j),ｅ'_ij(=ｐ_i'−ｐ_j')は変形前後のメッシュの辺を表し、ｊ∈Ｎ_iはメッシュＳ上で頂点番号ｉの頂点に隣接する頂点の番号集合を示す。

ここで、一般の非剛体変形では、すべての頂点において［数１］の式を満たすことはできない。そこで、以下の目的関数Ｅ_i ^vertexのすべての頂点に関する和を最小化するスケールｓ_i(＞０)と回転Ｒ_iを求める。

なお、係数ｗ_ijは各辺の重みパラメータであり、以下の式で表される。

また、角Θ_ijと角φ_ijはメッシュＳ上の三角形における、頂点番号ｉの頂点の辺ｅ_ijに接する内角を表す。ここで、局所相似変換のパラメータとしてのスケールｓ_i(＞０)と回転Ｒ_iは頂点座標ｐ_i'を用いて以下の式で計算できる。

ただし、行列Ｕ_iと行列Ｖ_iは、変形前後のメッシュの辺が作る共分散行列の特異値分解、すなわち

という式から得られる回転行列であり、行列Ｄ_iは対角行列を示す。また、detは行列式、signは正負に応じて±１を返す関数を示す。

上記の計算をメッシュの各頂点ｉ(ｉ=１,…,ｎ)に対して実行し、以下の式を最小化することによってメッシュＳからメッシュＳ'への変形を計算する。

次に、ステップＳ４において、変形部３はメッシュ間の対応点を近傍探索によって決定する。図３に示されるように、メッシュＳ'に含まれる頂点座標ｐ_i'に対応する、メッシュＱ上の頂点座標ｑ_jが、頂点番号ｋ,ｌ,ｍの頂点で構成される三角形上にあるとする。このとき、対応する二点間の距離を最小化するための目的関数は以下の式で表される。

ただし、座標ｔ_k,ｔ_l,ｔ_mは、それぞれが０以上で、かつ、和が１となる三角形上の重心座標である。

また、図３に示されるように、メッシュＱ上の頂点座標ｑ_jにおける法線をｎ_jとすると、対応する点と面の間の距離を最小化するための目的関数は以下の式で表される。

そして、メッシュＳ'とメッシュＱの対応する二点間の距離を最小化するための目的関数は、以下の式で表される。

ここでＣは対応点の頂点番号の集合、関数ｗ_iは各対応の重みを表す関数であり、以下の式で表される。

ただし、距離ｄ_maxは対応点間の最大距離であり、αとβは対応点の性質を制御するための重みである。

上記の対応点探索において、信頼性が低い対応点を計算から除外する。具体的には、対応点の距離がｄ_max以上、あるいは対応点の法線の角度が閾値以上、あるいは対応点がメッシュ境界と一致する場合には、対応点の信頼性が低いものとする。

また、２つのメッシュ間の対応点の数が閾値以下の場合には、当該メッシュ間には対応点が存在しないものとして計算から除外する。

ステップＳ５において、変形部３は、メッシュＳをメッシュＱに近づける非剛体変形位置合わせを実行する。これは、上述の目的関数Ｅ^similarity を、Ｅ^matchが０となるという拘束下で最小化することによって実現される。

この問題は、Levenberg-Marquardt法などの一般的な非線形最小化手法を用いて解くことができる。ただし実際には、局所相似変換のパラメータとしてのスケールｓ_i(＞０)と回転Ｒ_iが持つ高い非線形性のため、局所解への収束が問題となる。そこで以下、大域的最小解への収束性の高い、新しい最適化手法を説明する。

目的関数Ｅ^similarityの局所最小解において頂点座標ｐ_i'に関する偏導関数が０になることから、以下の式が成立する。

この式は以下の線形連立方程式で表される。

ただし行列Ｌは［数１２］式の左辺の係数を表すLaplace-Beltrami行列、行列Ｉ₃は３×３の単位行列であり、ベクトルｐ'はメッシュＳ'の頂点座標を一列に並べた列ベクトル、ベクトルｒは［数１２］の右辺項を表す列ベクトルである。

一方、［数１０］の式はベクトルｐ'に関する２次式であり、Ｅ^matchが０となるという条件は以下の式で表される。

ただし、行列Ｃと行列Ｄは［数１０］の右辺を生成する、メッシュＳ'とメッシュＱの対応点を表す疎行列であり、ベクトルｑは、Ｑの頂点座標ｑ_jを一列に並べた列ベクトルである。

［数１３］および［数１４］の式は、１対のメッシュに関する計算式であり、３つ以上のメッシュを含む時系列に対しては、時系列に含まれる全てのメッシュの組み合わせに関して、同様の拘束式を同時に満たすように計算する。以下に、その方法を述べる。

長さτの時系列に含まれるメッシュＳ(ｔ)(ｔ=１,…,τ)を非剛体変形して、メッシュＳ'(ｔ)を得るものとする。［数１３］においてメッシュＳ'(ｓ)をメッシュＳ'(ｔ)に非剛体変形位置合わせする場合の右辺をベクトルｒ(ｔ)で表す。また、［数１４］において、同様の場合に、メッシュＳ'(ｓ)とメッシュＳ'(ｔ)の対応点を表す疎行列をＣ(ｓ,ｔ)と疎行列Ｄ(ｓ,ｔ)とする。さらに、ベクトルｐ'(ｔ)を、Ｓ'(ｔ)の頂点座標ｐ_i'(ｔ)∈Ｓ'(ｔ)を一列に並べた列ベクトルとする。

このとき、ベクトルｐ'(ｔ)は以下の線形最小二乗問題の解として得られる。

ただし、行列Ａとベクトルａは、ベクトルｐ'(ｔ)の座標系を指定するための固定点情報である。そして、本問題は、以下の手順によって解くことができる。

最初に、全てのｔ∈[１,τ]に関して、Ｓ'(ｔ)=Ｓ(ｔ)とする。そして、行列Ａとベクトルａを設定する。次に、ｔと異なる全てのｓ∈[１,τ]について疎行列Ｃ(ｔ,ｓ)と疎行列Ｄ(ｔ,ｓ)を計算する。そして、メッシュＳ'(ｔ)の頂点座標からｒ(ｔ)を計算する。そして、この計算結果を利用して上記［数１５］の式を解き、得られたベクトルｐ'(ｔ)を用いて全てのメッシュＳ'(ｔ)を更新する。

次に、ステップＳ６において、変形部３は以下の基準により収束したものと判定するまでステップＳ３に戻り、ベクトルｒ(ｔ)の再計算から以降の手順を繰り返す。このとき、かかる手順の繰り返しによっても収束しない場合には、メッシュ間の対応点の計算に戻って全てのｔ∈[１,τ]と、ｔと異なる全てのｓ∈[１,τ]について疎行列Ｃ(ｔ,ｓ)と疎行列Ｄ(ｔ,ｓ)を更新し、以降の手順を繰り返す。

ここで、上記の収束を判定する基準は、以下の３条件の何れかを満たすこととされる。第一の条件は、解となるベクトルｐ'(ｔ)の更新量が十分に小さく、全てのｔ∈[１,τ]に関して、以下の式を満たすことである。

また、第二の条件は、最小二乗誤差が十分に小さく、全てのｔ∈[１,τ]と、ｔと異なる全てのｓ∈[１,τ]に関して、以下の式を満たすことである。

また、第三の条件は、反復計算回数が閾値を超えることである。

一方、ステップＳ６において、変形部３が収束したものと判断した場合にはステップＳ７へ進み、変形部３は計測対象とする物体に対して全周計測が完了したか否かを判断する。そして、完了していないと判断した場合にはステップＳ１へ戻り、完了したものと判断した場合にはステップＳ８へ進む。

ステップＳ７では、合成部４は上記のような手法により変形部３によって生成された変形画像データを同一の座標系で合成し、得られた画像データを生成画像データ出力端子９を介して外部へ出力する。

ステップＳ８では、合成部４は上記のような手法により変形部３によって生成された変形画像データを合成する。

図４は、図１に示された画像生成装置１による、時系列距離画像と形状テンプレートを用いた全周運動モデリング動作を示すフローチャートである。以下において、図４を用いて画像生成装置１による本動作を詳しく説明する。
本動作は、単一または複数の距離画像カメラで連続撮影して得られる基準距離画像の全てに対して、事前に取得した初期画像を非剛体変形位置合わせすることによって、計測対象の全周形状を復元、画像情報の転写、画像情報の補間を実現するものである。

まず、ステップＳ１において、変形部３は初期画像データ入力端子７を介して初期画像データを入力する。ここで、初期画像データとは、事前に準備したテンプレートメッシュ画像であり、その後変形されるものである。
そして、ステップＳ２において、変形部３は撮像画像入力端子８を介して時系列基準画像を入力する。ここで、時系列基準画像とは、異なる時間に計測された一連の距離画像であって、後に変形されないものである。

その後、ステップＳ３において変形部３は初期画像データを変形して得られた変形画像の局所相似変換パラメータを計算し、ステップＳ４において変形画像と時系列基準画像の対応点を探索し、ステップＳ５において変形画像を時系列基準画像に非剛体変形位置合わせするが、これらの手順は、図２に示されたステップＳ３からステップＳ５と同様に以下の手順により実現される。

時系列基準画像の長さをτとし、各基準画像Ｑ(ｔ)(ｔ=１,…,τ)は３次元点群、あるいは３次元メッシュに変換されているものとする。初期画像データを変換して得られる三角形メッシュをＳとし、ＳをＱ(ｔ)に非剛体変形位置合わせして得られるメッシュをＳ'(ｔ)とする。
ここで、初期メッシュＳを時系列基準画像集合{Ｑ(ｔ)|ｔ=１,…,τ}に非剛体変形位置合わせする場合には、時系列変形メッシュＳ'(ｔ)(ｔ=１,…,τ)の時間的連続性を保証するために、以下の目的関数を最小化する。

上記目的関数は、以下の線形拘束式で表現される。

ただし、上記行列Ｓは［数１８］の式における右辺の係数を生成する行列である。

また、［数１３］においてメッシュＳをメッシュＱ(ｔ)に非剛体変形位置合わせする場合の右辺をベクトルｒ(ｔ)で表す。また、［数１４］において、同様の場合に、メッシュＳ'とメッシュＱ(ｔ)の対応点を表す疎行列をＣ(ｔ)と疎行列Ｄ(ｔ)とする。また、ベクトルｑ(ｔ)はメッシュＱ(ｔ)の頂点座標を一列に並べた列ベクトルである。このとき、以下の線形最小二乗問題を解くことによって、テンプレートをなすメッシュＳの、時系列メッシュ集合{Ｑ(ｔ)|ｔ=１,…,τ}への非剛体変形位置合わせを実現する。

そして、行列Ｃ(ｔ)と行列Ｄ(ｔ)を計算して［数２０］の式を解き、得られたベクトルｐ'(ｔ)を用いることにより全ての上記メッシュＳ'(ｔ)を更新する。

以上において、変形部３で初期画像データを変形させる場合に基準とされるデータ、すなわち上記撮像画像データは、撮像対象物が静止している時に撮像された画像や運動している時に撮像された画像に限られず、上記撮像対象物と異なる対象物を撮像することにより得られた画像のデータであってもよい。

また、上記においては、初期画像データを変形することにより撮像画像データに近似させる方法を述べたが、全く同様の手法は逆の組み合わせ、すなわち撮像画像データを変形して初期画像データに近似させる方法、あるいはその両者の組み合わせに関して適用可能である。

よって例えば、上記撮像画像データを、当初の撮像対象物と異なる第二の対象物を撮像することにより得られた画像を示すデータとして、合成部４は変形部３において変形された初期画像データに対応して、上記第二の対象物を撮像することにより得られた画像を示すデータを合成対象とすることもできる。

そして、ステップＳ７では、合成部４は上記のような手法により変形部３によって生成された変形画像データを同一の座標系で合成し、得られた画像データを生成画像データ出力端子９を介して外部へ出力する。

また、情報転写部５は、変形画像データＳ'(ｔ)を利用して、初期画像データが有する情報を撮像画像データの対応点に転写し、得られた画像データを生成画像データ出力端子９又は合成部４に出力する。

また、補完部６は、変形部３によって得られた変形画像データと撮像画像データの対応点に関する情報を参照して、撮像画像データの欠損部分を補完し、あるいは共通の位相を持つメッシュモデルを生成（相同モデル化）し、処理後の画像データを合成部４や情報転写部５、生成画像データ出力端子９に出力する。

なお、画像生成装置１の上記各動作は、図１に示されたハードウェア構成の他、上記動作を記述したソフトウェアプログラムを計算機上で実行させることによっても実現することができる。

以上より、本発明の実施の形態に係る画像生成装置１及び画像生成方法によれば、上記のように単一あるいは複数のセンサで異なる時刻に計測した運動物体の形状を基に、各時刻における当該運動物体の全周形状及び運動物体のある一部の経時変化（軌跡）を示す画像を精度よく生成し、計測画像を補間し、別データの表面属性を転写することができる。

１ 画像生成装置
３ 変形部
４ 合成部
５ 情報転写部
６ 補完部

Claims (7)

1. 対象物を撮像することにより得られた複数の初期画像データ間の所定の座標系における位置のずれに応じて、前記初期画像データのスケーリングを変えると共に前記初期画像データを回転および平行移動させ、前記初期画像データを変形する変形手段と、
   前記対象物と異なる第二の対象物を撮像することにより得られた画像を変形して、変形された初期画像データに近似させた第二の対象物の変形画像データを生成し、前記第二の対象物の変形画像データを利用して、前記変形された初期画像データが有する情報を前記第二の対象物の変形画像データの対応点に転写する情報転写手段、または、変形された初期画像データを変形して、前記対象物と異なる第二の対象物を撮像することにより得られた画像に近似させて再度変形された初期画像データを生成し、前記再度変形された初期画像データを利用して、前記再度変形された初期画像データが有する情報を前記第二の対象物の画像データの対応点に転写する情報転写手段とを備えた画像生成装置。
2. 前記変形手段により変形された複数の前記初期画像データを合成する合成手段をさらに備えた請求項１に記載の画像生成装置。
3. 対象物を予め撮像することにより得られた基準画像データと初期画像データとの間の所定の座標系における位置のずれに応じて、前記初期画像データのスケーリングを変えると共に前記初期画像データを回転および平行移動させ、前記初期画像データを変形する変形手段と、
   前記対象物と異なる第二の対象物を撮像することにより得られた画像を変形して、変形された初期画像データに近似させた第二の対象物の変形画像データを生成し、前記第二の対象物の変形画像データを利用して、前記変形された初期画像データが有する情報を前記第二の対象物の変形画像データの対応点に転写する情報転写手段、または、変形された初期画像データを変形して、前記対象物と異なる第二の対象物を撮像することにより得られた画像に近似させて再度変形された初期画像データを生成し、前記再度変形された初期画像データを利用して、前記再度変形された初期画像データが有する情報を前記第二の対象物の画像データの対応点に転写する情報転写手段とを備えた画像生成装置。
4. 前記変形手段により変形された複数の前記初期画像データを、前記対象物を撮像して得られた複数の前記基準画像データに対応して合成する合成手段をさらに備えた請求項３に記載の画像生成装置。
5. 前記基準画像データは、前記対象物を静止時に撮像した場合に得られる画像を示すデータであり、
   前記合成手段は、前記対象物を静止時に撮像した場合に得られる画像を生成する請求項４に記載の画像生成装置。
6. 前記基準画像データは、前記対象物を運動中に撮像した場合に得られる画像を示すデータであり、
   前記合成手段は、前記合成により、前記対象物を前記運動中に撮像した場合に得られる画像を生成する請求項４に記載の画像生成装置。
7. 前記基準画像データは、前記対象物を運動中に撮像した場合に得られる画像を示すデータであり、
   前記合成手段は、前記対象物の表面上の点が前記運動により描く軌跡を示す画像を生成する請求項４に記載の画像生成装置。

Images