JP6361775B2 - 対象姿勢特定の方法および装置 - Google Patents

Description

本発明は、画像処理領域を特定する方法および装置に関し、詳しく、対象の姿勢を特定する方法と装置に関する。

画像処理において、視覚測定処理を用いて景色を三次元的に再現することができる。その視覚測定処理は、撮像装置により採集された画像を分析することで、ロボットや車両などの対象の位置及び向きを含む姿勢が特定される。

例えば、画像フレームの配列において、カレントフレーム及びカレントフレーム前のフレームの情報に基づいて、画像間に特徴の対応関係を特定する視覚測定方法が知られている。しかし、この方法で得られる対応関係は、信頼度が低いため、後ほど行われる運動予測及び視覚測定の結果に充分な正確さが保証されず、顕著な累積誤差が生じる。

本発明は、上記の問題を鑑みて、運動予測の精度を大幅に向上させることにより、対象姿勢特定の精度を向上させ、累積誤差を低減することができる対象姿勢特定の方法及び装置を提供することを目的とする。

本発明は、まず、一実施例として対象の姿勢を特定する方法を提供する。具体的に、対象が運動中に採集した画像フレームの配列を取得し；前記画像フレームの配列におけるカレントフレームの特徴を検知し；前記カレントフレーム前の特定フレームにおける各特徴と当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び前記特定フレームと当該前記特定フレーム前の少なくとも1つのフレームとの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定し；前記対応関係と、前記カレントフレームの画像及び前記特定フレームの画像に基づいて、運動予測を行い；前記運動予測の結果に基づいて対象の姿勢を特定する各ステップを含む方法である。

また、本発明は、別の実施例として対象の姿勢を特定する装置を提供する。具体的に、対象が運動中に採集した画像フレームの配列を取得する画像取得部と、前記画像フレームの配列におけるカレントフレームの特徴を検知する特徴検知部と、前記カレントフレーム前の特定フレームにおける各特徴と当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び前記特定フレームと当該前記特定フレーム前の少なくとも1つのフレームの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴の対応関係を特定する関係特定部と、前記対応関係と、前記カレントフレームの画像及び前記特定フレームの画像に基づいて、運動予測を行う運動予測部と、前記運動予測の結果に基づいて前記対象の姿勢を特定する姿勢特定部と、を具備する装置を提供する。

更に、本発明は、別の実施例として対象姿勢特定装置を提供する。具体的に、対象が運動中に採集した画像フレームの配列を取得する画像取得手段と、コントローラと、メモリと、前記メモリに記憶されるコンピュータプログラム指令とを有する対象姿勢特定装置において、前記コントローラが前記コンピュータプログラム指令を実行することにより、対象が運動中に採集した画像フレームの配列を取得し；前記画像フレームの配列におけるカレントフレームの特徴を検知し；前記カレントフレーム前の特定フレームにおける各特徴と当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び前記特定フレームと当該前記特定フレーム前の少なくとも1つのフレームとの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定し；前記対応関係と、前記カレントフレームの画像及び前記特定フレームの画像に基づいて、運動予測を行い；前記運動予測の結果に基づいて対象の姿勢を特定する各ステップが実行される。

なお、本発明は、更に別の実施例としてコンピュータプログラム製品を提供する。具体的に、コンピュータプログラム指令が記憶される記憶媒体を含むコンピュータプログラム製品において、コンピュータにより前記コンピュータプログラムが実行される際に、対象が運動中に採集した画像フレームの配列を取得し；前記画像フレームの配列におけるカレントフレームの特徴を検知し；前記カレントフレーム前の特定フレームにおける各特徴と当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び前記特定フレームと当該前記特定フレーム前の少なくとも1つのフレームとの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定し；前記対応関係と、前記カレントフレームの画像及び前記特定フレームの画像に基づいて、運動予測を行い；前記運動予測の結果に基づいて対象の姿勢を特定する各ステップを有する前記コンピュータプログラム指令を実行する。

本発明に係る、対象の姿勢を特定する方法及び装置は、カレントフレーム前の少なくとも２つのフレームの画像情報を用いて特徴間の対応関係を特定して運動予測を行うことにより、運動予測の精度を向上させることで、対象姿勢特定の精度を顕著に向上すると共に、累積誤差を低減する効果を奏する。

本発明の実施例に係る、対象の姿勢を特定する方法及び装置の一実施例を示す図である。 本発明の実施例に係る、対象の姿勢を特性する方法における主要なステップを示すフロー図である。 本発明の実施例に係る、カレントフレームの特徴と特定フレームの特徴との対応関係を特定する主な処理を示すフロー図である。 本発明の実施例に係る方法においてカレントフレームの特徴と特定フレームの特徴の対応関係を特定する処理を示すフロー図である。 本発明の実施例に係る方法により特定されるカレントフレームにおける特徴と特定フレームにおける特徴の間の対応関係を示す図である。 本発明の実施例に係る、対象の姿勢を特定する装置の主な構成を示すブロック図である 図6に示す、対象の姿勢を特定する装置の関係特定部の構成を示すブロック図である。 図7に示す関係特定部における対応関係特定部の構成を示すブロック図である。 本発明の実施例に係る、対象の姿勢を特定する装置の主なハードウェア構成を示す図である。

以下は、図面を参考して本発明の実施例を詳しく説明する。

まず、図１を参考して本発明に係る、対象の姿勢を特定する方法及び装置を説明する。

図１に本発明に係る対象姿勢特定方法及び対象姿勢特定装置の実施例を示す。

図１に示すように、本実施例に係る、対象の姿勢を特定する方法及び装置は、対象100の姿勢特定に適用される。対象100は、例えば、スマートロボットに限らず、車、ウェアラブルデバイス等、所在の場所で自ら運動するものや、ユーザの操作や装着を通して所在の場所で自ら運動ものである。以下、上記2つのケースを対象100の運動という。

上記の対象100は、例えば静止画撮像ヘッド、動画撮像ヘッドなどの撮像素子から構成される画像形成ユニット110を含む。対象100が所在の場所で自ら運動する時に、画像形成ユニットはその場所を撮影し、静止画または動画の画像（画像フレームの配列）を取得する。

このように、画像形成ユニット110により採集された画像を分析することで、対象100の位置及び向きを含む姿勢を特定することができる。

以下、図2を参考して対象の姿勢を特定する処理方法を詳細に説明する。

図2は本実施例に係る、対象の姿勢を特性する方法における主要なステップを示すフロー図である。

図2に示すように、まず、ステップS1で、対象100は運動中に画像フレームの配列を採集する。具体的に、対象100は、運動中の画像フレームの配列をリアルタイムに採集することができる。それ以外に、対象100は、運動終了後に運動中の画像フレームの配列を採集してもよい。

次に、ステップS2において、画像フレームの配列におけるカレントフレームの特徴を検知する。

具体的に、例えば、画像フレームの配列において、ｔ個のフレーム（ｔは自然数）を有する。言い換えれば、画像フレームの配列は画像フレーム（0,1，…，t−1，t）で表すことができる。そこで、t番目のフレームを現在処理しているフレーム（カレントフレーム）とすると、0番目〜（t−1）番目のフレームはカレントフレーム前のフレームであり、過去フレームとも言う。

更に具体的に、特徴は、例えば、特徴点の位置情報と記述情報の中の少なくとも一つでよい。記述情報は、画素点領域の特徴的な情報であり、例えば、勾配の棒グラフ情報、輝度の棒グラフ情報等周知する情報である。対象の姿勢を特定する方法は、例えば、SIFT（Scale−Invariant Feature Transform）、ORB（Oriented FAST and Rotated BRIEF）などの特徴抽出算法を用いて特徴を検知する方法である。勿論、これらの方法は例に過ぎず、従来またこれから開発される他の公知の特徴検知方法で、カレントフレーム画像における他の特徴を検知してもよい。

そこで、ステップS2の処理により、カレントフレームtからN個の特徴
（外１）

（i＝1,2，…，N、Nは自然数である）が検知されたとする。また、例えば、特徴毎に位置情報Litと記述情報
（外２）

を有する。そして、ステップS3に進む。

ステップS3で、カレントフレーム前の特定フレームにおける各特徴と当該特定フレーム前の少なくとも一つのフレームにおける対応特徴、及び当該特定フレームと当該特定フレーム前の少なくとも一つのフレームとの間の運動パラメータ情報に基づいて、カレントフレームにおける特徴と特定フレームとにおける特徴との対応関係を特定する。

具体的に、上記の特定フレームとは、何れかの過去フレームである。例えば、より正確な姿勢特定の結果を得るために、カレントフレームに時間的に近いフレーム、例えば、カレントフレームの直前のフレーム、即ち、t−1番目のフレーム、を特定フレームとする。

また、上記の特定フレーム前の少なくとも一つのフレームは、0番目フレーム〜t−2番目フレームの中の何れか一つまたは複数のフレームであれば良い。例えば、より正確な姿勢特定の結果のために、0番目からt−2番目まで全てのフレームを特定フレーム前の少なく一つフレームとする。

特定フレームにおける特徴は、先に実行された運動予測処理により、当該特定フレーム前の少なくとも一つのフレームにおける対応特徴に対応すると特定された特徴である。以下、便宜のため、対応関係と特定された2つの特徴を同一の特徴とみなしても良い。

以下、t−1番目フレームを特定フレームとし、0〜t−2番目全てのフレームを特定フレーム前の少なくとも一つのフレームとして説明していく。そして、上述したように、本発明は、以下に説明する実施例に限定されない。

ステップS3において、0〜t−1番目のフレームの特徴、及び0〜t-1番目のフレーム間の運動パラメータ情報に基づいて、t番目フレームの特徴とt−1番目フレームの特徴との対応関係を特定する。

図3に、ステップ3でカレントフレームの特徴と前記特定フレームの特徴との対応関係を特定する処理を示す。

図3に示すように、まず、ステップS31で、特定フレームにおける特徴毎に、該当特徴を表すための特徴モデルを取得する。

具体的に、各特徴の特徴モデルは、前記特定フレームの特徴及び該特定フレーム前の少なくとも一つの対応特徴に基づいて形成される。例えば、t−1番目フレームにおいて、各特徴の特徴モデルは、t−1番目フレームの特徴と0〜t−2番目のフレームにおける対応特徴に基づいて形成される。

更に詳しく言うと、上述したように、特徴は位置情報と記述情報の少なくとも一つを含む。例えば、特徴を記述する記述情報で特徴モデルを構成する。

例えば、t−1番目フレームに対して運動予測を行った後に、M個の特徴を得たとする。Mは自然数である。t−1番目フレームの特徴について、特徴モデルは、
（外３）

で表すことができる。
（外４）

は、t−1番目フレームの特徴jと、t−2番目〜0番目のフレームにおける対応特徴である。f（・）は特徴モデルを表す関数であり、検知された状態によって異なり、ここで限定しない。

t−1番目フレームにおける特徴の特徴モデルは、t番目フレームにおいて前記のt−1番目フレームにおける特徴に対応する対応特徴を記述する記述情報であると理解しても良い。即ち、t番目のフレームにおいて、前記特徴ｊに対応する記述情報
（外５）

を次の式（1）で表すことができるとする。

ここで、記述情報を例として用いて特徴モデルを説明したが、本発明は上記実施例で示した方法に限定されず、特徴に含まれる他の情報（例えば位置情報など）で特徴モデルを形成しても良い。

一方、ステップS32で、対象の過去姿勢モデルを取得する。

上記した対象の過去姿勢モデルは前記特定フレームと該特定フレーム前の少なくとも一つのフレームとの間の運動パラメータ情報に基づいて形成される。

例えば、対象の過去姿勢モデルは0〜t−1番目のフレームの間の運動パラメータ情報に基づいて形成される。運動パラメータ情報は、三次元空間において、対象の各軸空間における運動パラメータを含む。例えば、平行移動パラメータ、回転パラメータ等がある。対象の過去姿勢モデルは特徴の位置情報により形成される。

従って、t−1番目フレーム以後の対象の過去姿勢モデルを、
（外６）

で表すことができる。ここで、
（外７）

はt−1番目フレームとt−2番目フレームの間の運動パラメータ情報であり、
（外８）

は1番目フレームと2番目フレームの間の運動パラメータ情報であり、
（外９）

は0番目フレームと1番目フレームの間の運動パラメータ情報である。運動パラメータ情報は特徴の位置情報に基づいて得られる。g（・）は、姿勢モデル関数であり、具体的な形式が検知された状態によって変わるために、ここで具体的に定義しない。

ここで、図3にステップS32はステップS31の次となっているが、実際にステップS31とS32の前後順序は任意である（並行でもよく逆でも良い）。

そして、ステップS33で、過去姿勢モデルに基づいて、対象のカレント姿勢モデル
（外１０）

を予測する。ここで、
（外１１）

はt−1番目のフレームとt番目のフレームの間の予測姿勢モデル（運動パラメータ）を示す。

更に詳しく言うと、第1の例において、回帰方法でカレント姿勢モデルを予測する。第2の例において、ML(Maximum Likelihood)方法でカレント姿勢モデルを予測する。第3の例において、MAP（Maximum a Posteriori）方法でカレント姿勢モデルを予測する。以上は例に過ぎず、これらの例の以外に、他の適切な方法を用いても良い。

また、ここで予測される対象として、カレント姿勢モデルが三次元モデルであるが、二次元画像平面の計算の場合に、関数変換によって対応する二次元モデルを得ることができる。

具体的に、例えば、以下の式（2）によりt番目フレームにおいて特徴jに対応する特徴の位置情報
（外１２）

を予測することができる。

ここで、上記したように、
（外１３）

は予測された三次元空間における対象のカレント姿勢モデル、即ち、予測されたt−1番目フレームとt番目フレームの間の運動パラメータ情報である。
（外１４）

は、二次元空間（画像平面）におけるt−1番目フレームのj番目特徴の位置情報である。

h（・）は変換関数である。h（・）は、t−1番目フレームにおけるj番目特徴に関する二次元位置情報
（外１５）

をt−1番目フレームにおけるj番目特徴に対応される三次元情報に変換する。そして、このt−1番目フレームにおけるj番目特徴に対応される三次元情、及び予測されたt−1〜t番目フレームの間の運動パラメータ情報
（外１６）

に基づいて、t番目フレームにおけるj番目特徴に対応される三次元位置情報を予測し、予測された三次元位置情報を二次元位置情報
（外１７）

に逆変換する。二次元と三次元の間の位置変換または逆位置変換について周知のため、ここで詳細な説明を割愛する。

本実施例において位置情報を例として過去またはカレント姿勢モデルを説明したが、本発明はこれに限定されない。特徴に含む他の情報（例えば記述情報等）で過去またはカレント姿勢モデルを形成してもよい。ここで詳細な説明を省く。

次に、ステップS34で、特徴モデル及び予測されたカレント姿勢モデルに基づいて、対応関係を特定する。

以下、図4に参照して対応関係の特定処理を説明する。

図4に本実施例に係る方法においてカレントフレームの特徴と特定フレームの特徴の対応関係を特定する処理のフローを示す。

図4に示すように、ステップS341で、カレントフレームにおいて、特徴毎にその特徴と特定フレームにおける各特徴の特徴モデルのマッチング度合いを表す第1のマッチング度を計算する。

具体的に、t番目フレームの特徴とt-1番目フレームの特徴モデルの間に、第1のマッチエング度
（外１８）

を下の式（3）で表すことができる。

ここで、
（外１９）

はt番目のフレームにおいて検知されたi番目の特徴の記述情報である。
（外２０）

は、t番目のフレームにおいて、t-1番目のフレームにおける特徴jに対応すると予測された特徴iの記述情報、即ち前記した特徴モデルである。
（外２１）

は第1のマッチング度を計算する関数である。
（外２２）

は必要に応じて設けてよく、特に限定されるものではない。例えば、
（外２３）

と
（外２４）

が互いに近ければ、言い換えれば、カレントフレームにおける各特徴が特徴モデルに一致すればするほど、算出された第1のマッチング度が大きくなる。逆に、
（外２５）

と
（外２６）

で互いにずれが大きければ、言い換えれば、カレントフレームにおける各特徴が特徴モデルからずれが大きくなればなるほど、算出された第1のマッチング度が小さくなる。

そして、ステップS342で、カレントフレームにおいて特徴毎に、その特徴と予測されたカレント姿勢モデルのマッチング度合いを表す第2のマッチング度を計算する。

具体的に、t番目のフレームにおける特徴と予測されるカレント姿勢モデルの第2のマッチング度
（外２７）

は下の式（4）で計算される。

ここで、
（外２８）

はt番目フレームにおける特徴ｊに対応する特徴の位置情報であり、予測されたカレント姿勢モデルを表す。
（外２９）

はt番目フレームのi番目特徴の位置情報である。
（外３０）

は第2のマッチング度を計算する関数であり、必要に応じて適宜設定してよく、限定されるものではない。

例えば、
（外３１）

と
（外３２）

が互いに近ければ、言い換えれば、カレントフレームにおける各特徴が特徴モデルに一致すればするほど、算出された第2のマッチング度が大きくなる。逆に、
（外３３）

と
（外３４）

で互いにずれが大きければ、言い換えれば、カレントフレームにおける各特徴が特徴モデルからずれが大きくなればなるほど、算出された第2のマッチング度が小さくなる。

上記したように、ステップS341で第1のマッチング度、ステップS342で第2のマッチング度を得た後に、これら第1のマッチング度と第2のマッチング度に基づいて、カレントフレームにおける特徴の総合マッチング度を計算する。

例えば、上記算出された第1のマッチング度と第2のマッチング度の中に少なくとも1つが大きい場合に、算出される総合マッチング度が大きくなる。また、算出された第1のマッチング度と第2のマッチング度の何れも小さい場合に、算出される総合マッチング度が小さくなる。具体的に、例えば、先のケースの場合に、第1のマッチング度と第2のマッチング度の和を求めて総合マッチング度を計算することができる。後のケースの場合に、第1のマッチング度に第2のマッチング度を足して総合マッチング度を計算することができる。総合マッチング度の計算方法について、上記した2つのケースは例に過ぎず、他の方法を用いても良く、限定されるものではない。

そして、ステップS344で、総合マッチング度に基づいて、カレントフレームにおける特徴と特定フレームにおける特徴との間の対応関係を特定する。

以下、図5に参照しながら上記対応関係を特定する一例を説明する。

図5に本実施例に係る方法により特定されるカレントフレームにおける特徴と特定フレームにおける特徴の間の対応関係を示す。

図5に示すように、X1、X2、及びX3はそれぞれt-1番目フレームの特徴であり、Y1、Y2、及びY3はそれぞれt番目フレームの特徴であり、
（外３５）

はt-1番目フレームの特徴とt番目フレームの特徴の総合マッチング度である。例えば、
（外３６）

はX2とY3の総合マッチング度である。

即ち、t番目のフレームにおける各特徴とt-1番目のフレームにおける各特徴との組み合わせについて、それぞれの総合マッチング度を算出することができる。そして、異なる組み合わせを選択する場合に、t番目のフレームにおけるすべての特徴の全体総合マッチング度を計算する。例えば、（X1,Y1）、（X2,Y2）、（X3,Y3）を対応関係の第1候補として選んだ場合に、第1の全体総合マッチング度
（外３７）

を算出する。また、（X1,Y1）、（X2,Y3）、（X3,Y2）を対応関係の第２候補として選んだ場合に、第2の全体総合マッチング度
（外３８）

を算出する。すべての対応関係の候補で全体総合マッチング度を算出すると、最も大きい全体総合マッチング度を選択して、それの対応関係を得ることができる。

以上は一例に過ぎず、他に各種動的企画方法でもカレントフレームの特徴と特定フレームの特徴の対応関係を特定することができる。例えば、同じく図5を例とする場合に、まずt-1番目フレームにおける特徴（例えばX1）との総合マッチング度が最も大きい特徴、例えばY3を選択する。そして、残りの組み合わせの中から特徴（例えばX2）との総合マッチング度が最も大きい特徴、例えばY2を選択する。こうすることで、対応関係（X1,Y3）、（X2,Y2）、（X3,Y1）を得る。

以上、図3〜図5に参照しながら図1に示すステップS3での対応関係特定処理を詳しく説明した。

本実施例において特徴モデル及び姿勢モデルにより対応関係を特定する方法を説明したが、これに限られるものではない。他の方法で対応関係を特定してもよい。例えば、0番目〜t-1番目のフレームの記述情報及び前記運動パラメータ情報に基づいて、t番目フレームの特徴とt-1番目の特徴の対応関係を特定してもよい。

また、周知のように、上記した0番目からt番目のフレームにおいて、t=1の時に、0番目の特徴のみで対応関係を特定する。

図2に戻って、本実施例に係る、対象の姿勢を特定する方法について説明する。対応関係を特定すると、ステップS4に進む。ステップS4で、前記の対応関係に基づいて、カレントフレームの画像と特定フレームの画像に対して運動予測を行う。

具体的に、周知またはこれから開発される種々の運動予測算法、例えば3D-2D算法などで、上記の対応関係に基づいて、カレントフレームの画像と特定フレームの画像に対して運動予測を行う。ここで具体的な限定を行わない。

また、上記対応関係の特定により、カレントフレームの特徴を、特定フレームの特徴に対応する第1の特徴と、前記特定フレームにおけるいずれの特徴とも対応しない第2の特徴の2種類に分けることができる。第1の特徴は旧特徴と通称され、例えば、対象が類似する景色を撮像した画像の場合である。第2の特徴は、新特徴、またはカレントフレームにおいて新たに現れる特徴と通称される。例えば、差異の大きい景色が対象から撮像された画像の場合である。例えば、対象が建築物の撮像から空き地の撮像まで運動した、等がある。

このために、ステップS4の運動予測の際に、第2の特徴を考慮せずに、第1の特徴と、カレントフレームの画像及び特定フレームの画像に基づいて運動予測を行い、運動予測の結果を得る。

そして、ステップS5で、運動予測結果に基づいて対象の姿勢を特定する。具体的に、周知またはこれから開発される種々の算法を用いて、運動予測の結果に基づいて、対象の姿勢を特定する。これについて、詳細な記述を省く。

また、本実施例において、次のフレームに対する処理のために、運動予測の結果を得た後に、特徴モデルと姿勢モデルのいずれかまたは両方に対して選択可能に更新しておくことができる。

具体的に例えば、運動予測の結果はカレントフレームと特定フレームとの間の運動パラメータ情報を含む。このために、姿勢モデルの更新について、カレントフレームと特定モデルの間の運動パラメータ情報に基づいて過去姿勢モデルを更新することができる。すなわち、カレントフレームと特定フレームの間の運動パラメータ情報及び過去姿勢モデルに基づいて、対象のカレント姿勢モデルを構成する。これに関して、具体的な処理は上記ステップS32について記載された処理に類似するため、詳細な説明を省く。
一方、特徴モデルの更新について、まず、カレントフレームと特定フレームとの間の運動パラメータ情報に基づいて、第1の特徴を第1のサブ特徴と第2のサブ特徴に再分類することができる。第1のサブ特徴は、上記の旧特徴において、カレントフレームと特定フレームの間の運動パラメータ情報に一致するものであり、域内特徴と称する。第1のサブ特徴は、過去フレームに基づいて予測される特徴が、カレントフレームにおいて実際に検知される特徴に一致するものである。また、前記第2のサブ特徴は、上記の旧特徴において、カレントフレームムと特定フレームの間の運動パラメータ情報に一致しないものであり、域外特徴と称する。第２のサブ特徴は、過去フレームに基づいて予測された特徴が、カレントフレームにおいて実際に検知される特徴に一致しないものである。

そして、域内特徴について、カレントフレームと特定フレームの間の運動パラメータ情報でその特徴モデルを更新する。具体的な処理について、上記ステップS31に記載された処理と同様であり、説明を省く。一方、域外特徴の特徴モデルを省く。

また、差異の大きい画像が対象から撮影された場合に、特定フレームにおいて、カレントフレームにおける特徴に対応しない特徴が存在するかもしれない。即ち、その特徴はカレントフレームにおいて消えった。この場合に、特定フレームにおいてこのような特徴の特徴モデルを省く。

更に、カレントフレームに新たに現れる特徴について、その特徴のモデルに対して初期化を行う。具体的な処理について、上記ステップS31に記載された処理と同様であるために、説明を省く。

以上、図1〜5に参照して本発明の実施例に係る対象姿勢特定の方法を説明した。この対象姿勢特定方法は、カレントフレーム（例えばt番目のフレーム）前のフレームを少なく2つ（例えば0番目フレームとt-1番目フレーム）を用い、それらの画像情報に基づいて特徴間の対応関係を特定して運動予測を行った。このため、運動予測の精度を著しく向上させたため、対象姿勢特定精度が著しく向上し、累積誤差が低下した。

以上、本発明の実施例に係る対象姿勢特定方法を説明したが、この方法におけるステップは必要に応じて適宜改良、組み合わせ、変更、追加または削除することができる。例えば、運動予測のみ行う場合に、上記本実施例に係る方法においてステップS5を省くことができる。即ち、本発明の実施例は、対象が運動中に採集した画像フレームの配列を取得し；前記画像フレームの配列におけるカレントフレームの特徴を検知し；前記カレントフレーム前の特定フレームにおける各特徴と当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び前記特定フレームと当該前記特定フレーム前の少なくとも1つのフレームの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定し、前記対応関係と、前記カレントフレームの画像及び前記特定フレームの画像に基づいて、運動予測を行い運動予測の結果を得る、運動予測を行なう方法を提供する。

以下、図6を参照して本発明の実施例に係る対象姿勢特定装置を説明する。

図6は本発明の実施例に係る、対象の姿勢を特定する装置の主な構成を示すブロック図である。

図6に示すように、本発明の実施例に係る対象姿勢特定装置600は、画像取得部110、特徴検知部620、関係特定部630、運動予測部640及び姿勢特定部650を含む。

画像取得部610は対象が運動中に撮像した画像フレームの配列を取得する。

特徴検知部620は画像フレームの配列におけるカレントフレームの特徴を検知する。

関係特徴部630は、カレントフレーム前の特定フレームにおける各特徴と、当該特定フレーム前の少なくとも一つのフレームにおける対応特徴、及び当該特定フレームとこの特定フレーム前の少なくとも1つのフレームの間の運動パラメータ情報に基づいて、カレントフレームにおける特徴と当該特定フレームにおける特徴との対応関係を特定する。

運動予測部640は、上記対応関係に基づいて、カレントフレームの画像及び特定フレームの画像に対して運動予測を行う。

姿勢特定部650は、上記運動予測の結果に基づいて、対象の姿勢を特定する。

以下、図7に参照して関係特定部630の一実施例を説明する。

図7は、図6に示す、対象の姿勢を特定する装置の関係特定部の構成を示すブロック図である。

関係特定部630は、図7に示すように、特徴モデル取得部6310、姿勢モデル取得部6320、姿勢モデル予測部6330、及び対応関係特定部6340を含む。

具体的に、特徴モデル取得部6310は特定フレームにおいて特徴毎に特徴モデルを取得する。特徴モデルは、当該特徴及び当該特徴を有する特定フレームの前の少なくとも一つのフレームにおける対応特徴に基づいて形成される。

姿勢モデル取得部6320は、対象について、特定フレームと、当該特定フレームの前の少なくとも1つのフレームとの間の運動パラメータ情報に基づいて形成される過去姿勢モデルを取得する。

姿勢モデル予測部6330は、過去姿勢モデルに基づいて、対象のカレント姿勢モデルを予測する。

対応関係特定部6340は特徴モデル及び過去姿勢モデルに基づいて対応関係を特定する。

以下、図8に参照して対応関係特定部6340の一例を説明する。

図8は、図7に示す関係特定部における対応関係特定部の構成を示すブロック図である。

対応関係特定部6340は、図8に示すように、第1のマッチング度計算部6340A、第2のマッチング度計算部6340B、総合マッチング度計算部6340C、及び特徴対応関係特定部6340Dを含む。

第1のマッチング度計算部6340Aは、カレントフレームにおける各特徴と、特定フレームにおける各特徴の特徴モデルとの間の第1のマッチング度を計算する。第2のマッチング度計算部6340Bは、カレントフレームにおける各特徴と、予測されるカレント姿勢モデルとの間の第2のマッチング度を計算する。総合マッチング度計算部6340Cは第1のマッチング度と第2のマッチング度に基づいて、カレントフレームにおける各特徴の総合マッチング度を計算する。特徴対応関係特定部6340Dは総合マッチング度に基づいて、カレントフレームにおける特徴と特定フレームにおける特徴との対応関係を特定する。

また、別の実施例において、対応関係特定部は、カレントフレームにおける特徴を、特定フレームにおけるいずれかの特徴に対応する第1の特徴と、特定フレームにおけるいずれの特徴にも対応しない第2の特徴に分類する。これに応じて、運動予測部は、第1の特徴に基づいてカレントフレームの画像及び特徴フレームの画像に対して運動予測を行う。

更に別の実施例において、運動予測の結果は、カレントフレームと特定フレームの間の運動パラメータ情報を含む。装置は、カレントフレームと特定フレームとの間の運動パラメータ情報及び過去姿勢モデルに基づいて対象のカレント姿勢モデルを構成する姿勢モデル更新部と、カレントフレームと特定フレームとの間の運動パラメータ情報に基づいて、第1の特徴を、カレントフレームと特定フレームとの間の運動パラメータ情報に一致する第1のサブ特徴と、カレントフレームと特定フレームとの間の運動パラメータ情報に一致しない第2のサブ特徴を更に分類し、カレントフレームと特定フレームとの間の運動パラメータ情報で第1のサブ特徴の特徴モデルを更新し、第2のサブ特徴の特徴モデルを省く特徴モデル更新部と、の中に少なくとも一つを更に含む。

本実施例の対象姿勢特定装置600を構成する各部の詳細構成及び操作について、図1〜5に示す対象姿勢特定方法の説明において詳細に述べたため、ここでの説明は省略する。

また、以上で本発明の実施例に係る、対象の姿勢を特定する装置を説明したが、この装置を構成する各部は必要に応じて適宜改良、組み合わせ、変更、追加または削除することができる。例えば、運動予測のみ行う場合に、上記本実施例に係る装置において姿勢特定部を省くことができる。即ち、本発明の実施例は、対象が運動中に採集した画像フレームの配列を取得する画像取得部と、前記画像フレームの配列におけるカレントフレームの特徴を検知する特徴検知部と、前記カレントフレーム前の特定フレームにおける各特徴と当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び前記特定フレームと当該前記特定フレーム前の少なくとも1つのフレームとの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴の対応関係を特定する関係特定部、及び、前記対応関係と、前記カレントフレームの画像及び前記特定フレームの画像に基づいて、運動予測を行い運動予測の結果を得る運動予測部と、を具備する、運動予測を行う装置を提供する。

以下、図9を参照して本発明に係る実施例の対象姿勢特定装置を説明する。

図9は、本発明の実施例に係る、対象姿勢特定装置の主なハードウェアの構成を示す図である。

図9に示すように、本発明の実施例の対象姿勢特定装置900は主に、一つ又は複数のコントローラ910、メモリ920、画像取得部940及び出力部950を含む。これらは互いにパスシステム930及び／又は別の形態の接続機構（未図示）で接続される。ここで、図9に示す対象姿勢特定装置900の構成の一例に過ぎず、限定されるものではなく、必要に応じて別の構成としても良い。

画像撮像部940は、対象が運動中の画像フレームの配列を取得する。例えば、画像撮像部940は静的撮像ヘッドや動的撮像ヘッドなどの撮像素子で構成される。出力部950は、対象姿勢特定の結果を出力する。例えば、出力部950はディスプレーなどの画像出力部又はスピーカなどの音声出力部がある。

コントローラ910は、CPUまたはデータ処理能力若しくは指令執行能力を備える他の形態の処理部であり、対象姿勢特定装置900における他の構成部を制御して所定の機能を実現させる。

メモリ920は一つ又は複数のコンピュータプログラム製品である。コンピュータプログラム製品は、種々のコンピュータ読取可能な記憶媒体、例えば、揮発性記憶媒体及び／または非揮発性記憶媒体である。揮発性記憶媒体は、例えばRAM及び／または高速キャッシュ（cache）等がある。非揮発性記憶媒体は、例えばROM、HDD、フラッシュメモリ等がある。コントローラ910は、コンピュータが読取可能な記憶媒体に記憶される一つまたは複数のコンピュータプログラム指令を実行し、本発明の実施例に係る対象姿勢特定方法の機能及び／またはその他の機能を実現する。また、図9に示すように、コントローラ910はプログラム指令を実行することにより、図6に示す画像取得部610、特徴検知部620、関係特定部630、運動予測部640及び姿勢特定部650がそれぞれ相応の機能が実現される。

例えば、コントローラ910はプログラム指令を実行して、以下の処理を実施させる。

画像撮影部から画像フレームの配列を取得し；前記画像フレームの配列におけるカレントフレームの特徴を検知し；前記カレントフレーム前の特定フレームにおける各特徴と当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び当該特定フレームと前記特定フレーム前の少なくとも1つのフレームとの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定し；前記対応関係に基づいて、前記カレントフレームの画像及び前記特定フレームの画像に対して、運動予測を行い；運動予測の結果に基づいて対象の姿勢を特定する。

上記図9に示すように、コントローラにより対象姿勢特定装置を実現したことは一例に過ぎない。本発明は、組み込みシステム等の他のハードウェア回路で対象姿勢特定装置を実現しても良く、ここで、詳細な説明を省略する。

以上、図1〜9を用いて本発明の実施例に係る対象姿勢特定方法及び装置を詳細に説明した。

本発明の実施例に係る対象姿勢特定方法及び装置は、カレントフレーム前の少なくとも2つのフレームの画像情報を用いて、特徴同士間の対応関係を特定し、運動予測を行なうことにより、運動予測の精度を著しく向上させた。このために、対象姿勢特定の精度を向上させ、累積誤差を低減した。

上記の説明において、「含む」や「有する」、またその変化形等の述語は非排他的な意味を有する。このために、複数の要件を含む工程、方法、製品または設備などは、明示された要件に限らず、未表示の要件、またはこれら工程、方法、製品または設備などに固有の要件も含む。特別に説明しない限り、「・・・を一つ含む」で限定された要件は、その要件を含む工程、方法、製品または設備などにおいて他の同等な要件を有することもあり得る。

また、上記説明において、「第1…部」や「第2…部」のような文言は記載上便宜で区別するためのものであって、実際に物理的に分離された2つまたは複数の機能部であることを意味しない。実際の場合に、必要に応じて、これらの機能部は1つの機能部にまとめてもよく、複数の機能部に分けてもよい。

最後に、上記処理は上記した順序で時間的に順次実行してもよく、時間的な順序がなく、並行または別々に実行されてもよい。

上記のように、本発明はソフトウェアと必要なハードウェアの組合せを介して実現される。勿論全てハードウェアで実施してもよい。これによって、本発明において、背景技術に寄与する部分はソフトウェアにより実現される。ソフトウェアは、コンピュータ（PC、サーバ、またはネットデバイスなど）を本発明の各実施例または実施例の一部に記載される方法に基づく指令を、例えばROM／RAM、フロッピィデスク、DVD等の記憶媒介に記憶される。

また、本実施例において、種々タイプのコントローラ実行できるように、機能部／モジュールはソフトウェアにより実行される。例えば、一つの標識についての実行可能なコードモジュールはコンピュータ指令の一つまたは複数の物理あるいはロジックのモジュールを含む。例えば、対象や過程または関数で構成される。しかし、標識モジュールの実行可能なコードは物理的に一体化する必要せず、異なる領域に記憶される異なる指令を含む。これらの指令がロジック的に組み合わせられる時に、機能部やモジュールが構成され、その機能部の所定の目的を実現する。

ソフトウェアにより機能部／モジュールを実現でき、コストを考慮に入れない場合に、現在のハードウェア加工水準で、ソフトウェアにより構成される全ての機能部／モジュールに対応するハードウェア回路が設けられる。ハードウェア回路は、集積回路（VLSI）やゲートアレイ、及びロジックチップ、トランジスタなどの従来の半導体、若しくはその他の素子である。モジュールは、プログラマブルハードウェアデバイスであり、例えば、FPGA（Field-Programmable Gate Array）、PAL（Programmable Array Logic）、PLD（Programmable Logic Device）等がある。

以上、具体的な実施例を用いて本発明の原理や実施形態を詳しく説明したが、取上げられた実施例は、本発明の方法及び装置、並びに発明の趣旨を理解するのに助けるものであり、本発明はこれによって限定されない。また、本発明の思想に基づいて上記実施形態や適用範囲が変更されても本発明の請求範囲に属することが言うまでもない。

Claims (12)

1. 対象の姿勢を特定する方法であって、
   対象が運動中に採集した画像フレームの配列を取得するステップと、
   前記画像フレームの配列におけるカレントフレームの特徴を検知するステップと、
   前記カレントフレーム前の特定フレームにおける各特徴、当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び前記特定フレームと当該前記特定フレーム前の少なくとも1つのフレームとの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定するステップと、
   前記対応関係、前記カレントフレームの画像、及び前記特定フレームの画像に基づいて、運動予測を行うステップと、
   前記運動予測の結果に基づいて、前記対象の姿勢を特定するステップと、を含む方法。
2. 請求項1に記載の方法であって、
   前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定するステップは、
   前記特定フレームにおける特徴毎に、前記特定フレームの特徴及び該特定フレーム前の少なくとも一つの対応特徴に基づいて形成される特徴モデルを取得するステップと、
   前記特定フレームと該特定フレーム前の少なくとも一つのフレームとの間の運動パラメータ情報に基づいて形成される前記対象の過去姿勢モデルを取得するステップと、
   前記過去姿勢モデルに基づいて、前記対象のカレント姿勢モデルを予測するステップと、
   前記特徴モデル及び予測された前記カレント姿勢モデルに基づいて、前記対応関係を特定するステップと、を含む、方法。
3. 請求項2に記載の方法であって、
   前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定するステップは、前記カレントフレームの特徴を、前記特定フレームにおける特徴に対応する第1の特徴と、前記特定フレームにおけるいずれの特徴にも対応しない第2の特徴に分けて前記対応関係とするステップを含み、
   前記運動予測のステップは、前記第1の特徴、前記カレントフレームの画像、及び前記特定フレームの画像に基づいて、運動予測を行うステップを含む、方法。
4. 請求項3に記載の方法であって、
   前記運動予測の結果は、前記カレントフレームと前記特定フレームとの間の運動パラメータ情報を含み、
   前記方法は、
   前記カレントフレームと前記特定フレームとの間の運動パラメータ情報及び過去姿勢モデルに基づいて、前記対象のカレント姿勢モデルを構成するステップと、
   前記カレントフレームと前記特定フレームとの間の運動パラメータ情報に基づいて、前記第1の特徴を、前記カレントフレームと前記特定フレームの間の運動パラメータ情報に一致する第1のサブ特徴と、前記カレントフレームムと前記特定フレームの間の運動パラメータ情報に一致しない第2のサブ特徴に更に分類し、前記カレントフレームと前記特定フレームとの間の運動パラメータ情報を用いて前記第1のサブ特徴の特徴モデルを更新し、前記第2のサブ特徴の特徴モデルを放棄するステップと、のうちの少なくとも一つを更に含む、方法。
5. 請求項2に記載の方法であって、
   前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定するステップは、
   前記カレントフレームにおける各特徴と、前記特定フレームにおける各特徴の特徴モデルとの間の第1のマッチング度を計算するステップと、
   前記カレントフレームにおける各特徴と、予測されるカレント姿勢モデルとの間の第2のマッチング度を計算するステップと、
   前記第1のマッチング度と前記第2のマッチング度に基づいて、前記カレントフレームにおける各特徴の総合マッチング度を計算するステップと、
   前記総合マッチング度に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定するステップを含む、方法。
6. 対象の姿勢を特定する装置であって、
   対象が運動中に採集した画像フレームの配列を取得する画像取得部と、
   前記画像フレームの配列におけるカレントフレームの特徴を検知する特徴検知部と、
   前記カレントフレーム前の特定フレームにおける各特徴、当該特定フレーム前の少なくとも1つのフレームにおける対応特徴、及び前記特定フレームと当該前記特定フレーム前の少なくとも1つのフレームの間の運動パラメータ情報に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴の対応関係を特定する関係特定部と、
   前記対応関係、前記カレントフレームの画像、及び前記特定フレームの画像に基づいて、運動予測を行う運動予測部と、
   前記運動予測の結果に基づいて、前記対象の姿勢を特定する姿勢特定部と、を含む、装置。
7. 請求項6に記載の装置であって、
   前記関係特定部は、
   前記特定フレームにおける特徴毎に、前記特定フレームの特徴及び該特定フレーム前の少なくとも一つの対応特徴に基づいて形成される特徴モデルを取得する特徴モデル取得部と、
   前記特定フレームと該特定フレーム前の少なくとも一つのフレームとの間の運動パラメータ情報に基づいて形成される前記対象の過去姿勢モデルを取得する姿勢モデル取得部と、
   前記過去姿勢モデルに基づいて、前記対象のカレント姿勢モデルを予測する姿勢モデル予測部と、
   前記特徴モデル及び予測された前記カレント姿勢モデルに基づいて、前記対応関係を特定する対応関係特定部と、を含む、装置。
8. 請求項7に記載の装置であって、
   前記関係特定部は、前記カレントフレームの特徴を、前記特定フレームにおける特徴に対応する第1の特徴と、前記特定フレームにおけるいずれの特徴とも対応しない第2の特徴に分けて前記対応関係とするように構成され、
   前記運動予測部は、前記第1の特徴、前記カレントフレームの画像、及び前記特定フレームの画像に基づいて運動予測を行うように構成される、装置。
9. 請求項8に記載の装置であって、
   前記運動予測の結果は、前記カレントフレームと前記特定フレームとの間の運動パラメータ情報を含み、
   前記装置は、
   前記カレントフレームと前記特定フレームとの間の運動パラメータ情報及び前記過去姿勢モデルに基づいて、前記対象のカレント姿勢モデルを構成する姿勢モデル更新部と、
   前記カレントフレームと前記特定フレームとの間の運動パラメータ情報に基づいて、前記第1の特徴を、前記カレントフレームと前記特定フレームの間の運動パラメータ情報に一致する第1のサブ特徴と、前記カレントフレームムと前記特定フレームの間の運動パラメータ情報に一致しない第2のサブ特徴に更に分類し、前記カレントフレームと前記特定フレームとの間の運動パラメータ情報を用いて前記第1のサブ特徴の特徴モデルを更新し、前記第2のサブ特徴の特徴モデルを放棄する特徴モデル更新部と、のうちの少なくとも一つを更に含む、装置。
10. 請求項7に記載の装置であって、
    前記対応関係特定部は、
    前記カレントフレームにおける各特徴と、前記特定フレームにおける各特徴の特徴モデルとの間の第1のマッチング度を計算する第1のマッチング度計算部と、
    前記カレントフレームにおける各特徴と、予測されるカレント姿勢モデルとの間の第2のマッチング度を計算する第2のマッチング度計算部と、
    前記第1のマッチング度と前記第2のマッチング度に基づいて、前記カレントフレームにおける各特徴の総合マッチング度を計算する総合マッチング度計算部と、
    前記総合マッチング度に基づいて、前記カレントフレームにおける特徴と前記特定フレームにおける特徴との対応関係を特定する特徴対応関係特定部と、を含む、装置。
11. プログラムであって、
    コンピュータに、請求項1〜5の任意の1項に記載の方法を実行させるためのプログラム。
12. 請求項11に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
    

Images