JP6562197B2 - 画像処理方法および画像処理システム - Google Patents

Description

本発明は、画像処理方法および画像処理システムに関し、特に、複数の撮像装置による撮像によって得られた複数の画像を用いて被写体の三次元モデルを復元するための画像処理方法および画像処理装置に関する。

コンピュータビジョンの分野における三次元再構成技術では、複数の２次元画像間で対応付けを行い、三次元モデルの復元、つまり、カメラ姿勢または被写体の３次元位置の推定を行う。

例えば、特許文献１では、単眼カメラからの入力動画像の初期数フレームにおいて、特徴点を抽出し、フレームマッチング処理により特徴点位置の対応付けを行う。後続のフレームでは、拡張カルマンフィルタを用いた時系列特徴点追跡により特徴点位置情報を取得する。対応付けられた特徴点を用いてＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）により三次元モデルを復元している。

また、特許文献２では、ステレオカメラで同期撮像した２つの動画像から所定周期で取得したキーフレームで特徴点マッチングを行い、三次元モデルを再構成する。また、特徴点の時間方向の変化を用いて、キーフレーム間の三次元モデルの再構成が可能となる。

さらに、特許文献３では、３台以上の複数カメラ間でキャリブレーションを行い、取得したカメラパラメータにより各カメラ座標系を任意視点の仮想カメラ座標系へ変換する。その仮想カメラ座標系において、座標変換後の画像間のブロックマッチングによる対応付けを行い、距離情報を推定する。推定した距離情報を基に仮想カメラ視点の画像を生成する。

特開２００９−２３７８４５号公報 特開２０１２−１６０９３７号公報 特開２０１０−２５０４５２号公報

しかしながら、上記特許文献１〜３の技術では、高精度の三次元モデルを容易に復元することができないという問題がある。

そこで、本発明は、高精度の三次元モデルを容易に復元するための画像処理方法および画像処理システムを提供する。

本発明の一態様に係る画像処理方法は、複数の画像に対して処理を行う画像処理方法であって、複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた画像を取得し、取得された複数の画像のそれぞれの撮像時刻を取得し、取得された前記複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セットを生成する。

なお、この包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の画像処理方法および画像処理システムを用いれば、高精度の三次元モデルを容易に復元することができる。

図１Ａは、動画像の同期撮像の一例を示す図である。 図１Ｂは、動画像の非同期撮像の一例を示す図である。 図２は、実施の形態における画像処理装置の構成を示すブロック図である。 図３は、実施の形態における画像処理方法の一例を示すフローチャートである。 図４は、実施の形態における、同期撮像によって得られた複数の動画像を選択する方法の一例を示す図である。 図５Ａは、実施の形態における、動画像に含まれる画像であって、同期撮像時間帯の前後の撮像時刻の画像の一例を示す図である。 図５Ｂは、実施の形態における、２枚のフレーム間において静止している被写体の領域を示す図である。 図６は、実施の形態における、補間フレームの時刻と、補間に使用されるフレームの時刻とを示す図である。 図７は、実施の形態における、等速運動モデルに基づくフレーム補間が行われる場合の、補間フレーム、その前後のフレーム、および動きベクトルのそれぞれの一例を示す図である。 図８は、本実施の形態における、補間フレームの時刻と、補間に使用されるフレームの時刻とを示す図である。 図９は、本実施の形態における、等加速度運動モデルに基づくフレーム補間が行われる場合の、補間フレーム、その前後のフレーム、および動きベクトルのそれぞれの一例を示す図である。 図１０Ａは、本発明の一態様に係る画像処理方法を示すフローチャートである。 図１０Ｂは、本発明の一態様に係る画像処理システムを示すブロック図である。

（本発明の基礎となった知見）
まず、本発明の一態様における同期撮像を定義する。

図１Ａおよび図１Ｂは、撮像装置の撮像周期と露光時間の一例を示す図である。撮像装置の撮像により画像を取得する際、シャッタが開放されている時間、つまり露光が行われている時間を露光時間という。撮像では、露光時間中にレンズを通して撮像素子にさらされたシーンを含む画像が得られる。例えば、動画像の撮像では、予め定められた撮像周期ごとに露光が繰り返し行われ、その露光が行われる露光時間中に画像が得られる。ここで、図１Ａに示すように、撮像装置１と撮像装置２では、露光時間が重複している。これにより２つの撮像装置の撮像により取得された各画像は、同一時刻のシーンを含んでいる。一方、図１Ｂでは、撮像装置１と撮像装置２では、露光時間の重複がないため、２つの撮像装置の撮像により取得された各画像には、同一時刻のシーンは含まれていない。図１Ａのように、同一時刻のシーンを含んだ複数の画像を撮像によって得ることを同期撮像という。一方、図１Ｂのように、同一時刻のシーンを含んでいない複数の画像を撮像によって得ることを非同期撮像という。

同期撮像が可能であれば、被写体が動いていても、同一時刻の複数フレームを入力とすれば、静止画像と同様の方法により三次元モデルを復元できる。

しかし、複数の撮像装置で撮像する際、各撮像装置において、シャッタを開放するためのトリガ信号の受信に時間差が生じたる場合がある。また、トリガ信号を受信してから実際にシャッタを開放するまでに遅延が生じたり、露光時間に差があることにより、露光時間が重複しない場合がある。露光時間が重複しない場合、つまり撮像時刻にずれが発生する場合であっても、被写体が静止物体であれば三次元モデルの復元が可能である。しかし、露光時間が重複しない場合に、被写体が動物体であれば、各視点の画像内で被写体が時間方向と空間方向の両方にずれているため、画像間の対応付けが困難となり、高精度な三次元モデルの復元ができない。このように、従来の上記特許文献１〜３の技術であっても、高精度の三次元モデルの復元を容易に行うことができないのである。

具体的には、三次元モデルの復元の対象となる被写体が動いている場合、特許文献１のような単眼カメラからの時系列画像では、フレームマッチングが困難となる。また、特許文献３では、キャリブレーション時のみ同期撮像を行うため、特許文献１と同様に、動いている被写体を対象とした高精度の三次元位置推定は困難である。さらに、特許文献２では、２台のカメラ位置関係が固定であるステレオカメラを使用するため、カメラ位置に制約が生じる。

そこで、本発明の一態様に係る画像処理方法は、複数の画像に対して処理を行う画像処理方法であって、複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた画像を取得し、取得された複数の画像のそれぞれの撮像時刻を取得し、取得された前記複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セットを生成する。

これにより、画像セットには、撮像時刻が互いに略一致する複数の画像が含まれるため、この画像セットを用いれば、高精度の三次元モデルを容易に復元することができる。なお、撮像時刻が互いに略一致するとは、撮像時刻が実質的に一致していることを意味し、撮像時刻が厳密に一致することだけでなく、技術効果的に撮像時刻が一致しているとみなされることも含む。

また、前記画像処理方法は、さらに、前記画像セットに含まれる複数の画像に基づいて、当該複数の画像のそれぞれに対応する撮像装置および被写体のうちの少なくとも一方の状態を三次元的に示す三次元情報を算出してもよい。例えば、前記三次元情報は、前記画像セットに含まれる複数の画像のそれぞれに対応する撮像装置の位置および姿勢のうちの少なくとも一方を前記状態として示す。または、前記三次元情報は、前記画像セットに含まれる複数の画像のそれぞれに対応する被写体の位置および形状のうちの少なくとも一方を前記状態として示す。

これにより、撮像時刻が互いに略一致する複数の画像が三次元情報の算出に用いられるため、高精度の三次元情報を容易に算出することができる。つまり、高精度の三次元モデルを容易に復元することができる。

また、前記画像セットの生成では、取得された前記複数の画像のうちの１つである基準画像と、当該基準画像の撮像のための露光と重複したタイミングの露光による撮像によって得られた画像である少なくとも１つの露光重複画像とを、撮像時刻が互いに略一致する前記複数の画像として選択してもよい。

これにより、画像セットには、基準画像と、その基準画像と露光のタイミングが一致する少なくとも１つの露光重複画像とが含まれる。つまり、同一時刻の被写体が映し出された複数の画像が画像セットに含まれる。したがって、この画像セットを用いれば、より高精度の三次元モデルを容易に復元することができる。

また、前記撮像時刻の取得では、取得された前記複数の画像のうちの何れの露光時間よりも高い時間精度で示される、前記複数の画像のそれぞれの前記撮像時刻を取得してもよい。

これにより、より高精度の三次元モデルを容易に復元することができる。

また、前記画像の取得では、前記複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた前記画像を含む画像信号を取得し、前記画像セットの生成では、取得された複数の画像信号から、撮像時刻が互いに略一致する前記複数の画像のそれぞれを含む複数の画像信号を選択することにより、選択された前記複数の画像信号からなる前記画像セットを生成してもよい。例えば、前記画像信号は、複数の画像と、前記複数の画像のそれぞれの撮像時刻を取得するための時刻情報とを含む動画像データであって、前記撮像時刻の取得では、画像信号ごとに、当該画像信号に含まれる前記時刻情報に基づいて、当該画像信号に含まれる前記複数の画像のそれぞれの撮像時刻を取得する。

これにより、動画像データに含まれる複数の画像（例えば複数のピクチャまたはフレーム）のそれぞれの撮像時刻を、その動画像データに含まれる時刻情報に基づいて容易に取得することができる。なお、時刻情報は、例えば、動画像データに含まれる先頭の画像の撮像時刻およびフレームレートを示していてもよく、動画像データに含まれる複数の画像のそれぞれの撮像時刻を示していてもよい。

または、前記画像信号は、画像と、前記画像の撮像時刻を取得するための時刻情報とを含む画像データであって、前記撮像時刻の取得では、画像信号ごとに、当該画像信号に含まれる前記時刻情報に基づいて、当該画像信号に含まれる前記画像の撮像時刻を取得してもよい。

これにより、画像データに含まれる例えば静止画像の撮像時刻を、その画像データに含まれる時刻情報に基づいて容易に取得することができる。

また、前記画像セットの生成では、さらに、前記複数の撮像装置のうちの何れかである処理対象装置から取得された画像である元画像から、当該元画像の撮像時刻と異なる時刻において静止していると推定される被写体が写っている領域の画像を、前記処理対象装置から取得された、前記時刻を撮像時刻とする静止画像として生成し、生成された前記静止画像を含む、前記複数の撮像装置から取得された複数の画像から、撮像時刻が互いに略一致する前記複数の画像を選択してもよい。

これにより、撮像装置から実際に取得された画像だけでなく、生成された静止画像も選択することができ、その結果、画像セットに含まれる、撮像時刻が互いに略一致する画像の数を増やすことできる。したがって、複数の撮像装置のそれぞれから実際に取得された、撮像時刻が互いに略一致する画像の数が少なくても、この画像セットを用いれば、高精度の三次元モデルを容易に復元することができる。

また、前記静止画像の生成では、前記元画像の撮像時刻の前および後のうちの少なくとも一方において、前記処理対象装置による撮像によって得られた少なくとも１つの画像と、前記元画像とを比較することによって、前記元画像から前記領域を特定してもよい。例えば、前記領域の特定では、前記元画像を構成する処理単位ごとに、当該処理単位が前記領域に該当するか否かを判定することによって、前記領域を特定し、前記処理単位は、ブロック、前記元画像に写っているオブジェクト、または、前記オブジェクトが分割されることによって示されるサブオブジェクトである。

これにより、適切な静止画像を生成することができる。したがって、この静止画像を含む画像セットを用いれば、より高精度の三次元モデルを容易に復元することができる。

また、前記画像セットの生成では、さらに、前記複数の撮像装置のうちの何れかである処理対象装置から取得された複数の画像である複数の参照画像に対して補間を行うことより、前記複数の参照画像のそれぞれの撮像時刻と異なる時刻を撮像時刻とする補間画像を、前記処理対象装置から取得された画像として生成し、生成された前記補間画像を含む、前記複数の撮像装置から取得された複数の画像から、撮像時刻が互いに略一致する前記複数の画像を選択してもよい。例えば、前記補間画像の生成では、等速運動モデルに基づいて前記補間画像を生成する。

これにより、撮像装置から実際に取得された画像だけでなく、生成された補間画像も選択することができ、その結果、画像セットに含まれる、撮像時刻が互いに略一致する画像の数を増やすことできる。したがって、複数の撮像装置のそれぞれから実際に取得された、撮像時刻が互いに略一致する画像の数が少なくても、この画像セットを用いれば、高精度の三次元モデルを容易に復元することができる。

また、前記補間画像の生成では、前記複数の参照画像のそれぞれを構成する処理単位ごとに補間を行い、前記処理単位は、ブロック、前記複数の参照画像のそれぞれに写っているオブジェクト、または、前記オブジェクトが分割されることによって示されるサブオブジェクトであってもよい。

これにより、適切な補間画像を生成することができる。したがって、この補間画像を含む画像セットを用いれば、より高精度の三次元モデルを容易に復元することができる。

以下、実施の形態について、図面を用いて詳細に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
図２は、本実施の形態における画像処理装置２００の構成を示すブロック図である。

画像処理装置２００は、複数の撮像装置より画像を取得し、同一時刻の被写体が写し出された複数の画像からなる画像セットを作成する装置またはシステムである。なお、複数の撮像装置はそれぞれ、画像を画像データである画像信号に含めて送信する。その画像は、動画像であっても静止画像であってもよい。このような画像処理装置２００は、図２に示すように、画像取得部２０１、時刻情報取得部２０２、画像セット生成部２０３、および三次元情報算出部２０４を備える。

画像取得部２０１は、複数の撮像装置（撮像装置１〜Ｎ）のそれぞれから画像を取得する。各撮像装置と画像取得部２０１とは、有線の伝送路で接続されていてもよいし、無線の伝送路で接続されていてもよい。また、基地局を経由して接続されていてもよい。例えば、撮像装置は基地局へ画像を無線伝送し、基地局は画像取得部２０１へ画像を無線伝送する。撮像装置から伝送される画像のフォーマットは、現像を行う前のＲＡＷ画像でもよいし、ＲＡＷ画像を現像したビットマップ画像などのＲＧＢ非圧縮画像でもよいし、さらにＲＧＢ画像をフォーマット変換したＹＵＶ非圧縮画像でもよい。または、そのフォーマットは、Ｈ．２６５／ＨＥＶＣまたはＪＰＥＧなどの画像符号化方式により非圧縮画像を符号化した符号化ストリームでもよい。これらの取得された画像は、三次元情報を計算するために任意に指定されたフォーマットへ変換されてもよい。そのため、画像取得部２０１は、ＲＡＷ画像を現像するための画像現像処理部、ＲＧＢ画像をＹＵＶフォーマットに変換する画像変換部、あるいは符号化ストリームを復号する画像復号部を含んでもよい。また、上述の画像現像処理部、画像変換部、あるいは画像復号部は、画像取得部２０１と独立して画像処理装置２００に備えられてもよい。画像取得部２０１は、複数の撮像装置のそれぞれから取得された、画像を含む画像データ２０１Ｄを、時刻情報取得部２０２および画像セット生成部２０３へ出力する。

時刻情報取得部２０２は、画像取得部２０１から出力された画像データ２０１Ｄから、撮像された時刻、つまり画像の撮像時刻を示す時刻情報２０２Ｄを取得する。時刻情報２０２Ｄは、露光時間よりも細かい時間精度（または、高い時間精度）の撮像時刻を示し、撮像装置のそれぞれ毎に設定された情報である。例えば、撮像装置は、フレームレート３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の動画像を得るときには、約３３ミリ秒の周期で撮像を行う。その撮像において露光時間を１０ミリ秒とする。この場合、時刻情報２０２Ｄは、１３時４１分０８秒２４３ミリ秒というように、１０ミリ秒より小さい１ミリ秒精度で撮像時刻を示す。なお、撮像時刻は、露光時間の終点つまりシャッタが閉じた時点でもよいし、露光時間の始点つまりシャッタが開いた時点でもよい。以下では、説明のため、撮像時刻は露光時間の終点とする。

この撮像時刻（または時刻情報２０２Ｄ）は、画像データ２０１Ｄに付加されている。具体的には、撮像時刻は、画像ファイルのヘッダ部に付加されていてもよいし、画像データ２０１Ｄをトランスポートストリームとしてパケット化して伝送する際の各パケットの先頭に保持されていてもよい。あるいは、撮像時刻は、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットに保持されていてもよい。または、撮像時刻は、符号化ストリームのＵｓｅｒ ｄａｔａ ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩなどに保持されていてもよい。時刻情報取得部２０２は、画像ファイルのヘッダ部、トランスポートストリームのパケット、あるいは、復号されたＵｓｅｒ ｄａｔａ ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩなどから、時刻情報２０２Ｄを取得し、画像セット生成部２０３へ出力する。なお、上記のように、撮像時刻は、撮像装置から出力された情報であってもよいし、画像処理装置２００が画像を受信した時刻に基づいて、時刻合わせまたは調整が行われた時刻であっても良い。

なお、動画像の場合、動画像データである画像データ２０１Ｄより取得される時刻情報２０２Ｄは、その動画像データに含まれる１フレーム目の撮像開始時刻のみを示してもよいし、フレーム毎の撮像時刻を示してもよい。時刻情報２０２Ｄが１フレーム目の撮像開始時刻のみを示す場合、時刻情報取得部２０２は、さらに、動画像のフレームレートを取得し、１フレーム目に後続する各フレームの撮像時刻を算出する。具体的には、時刻情報取得部２０２は、Ｔ（Ｎ）＝Ｃｌｉｐ（Ｔ（１）＋（１／Ｆ）×（Ｎ−１））によって、フレームレートから算出された撮像周期の整数倍の時間を、１フレーム目の撮像開始時刻に加算する。

ここで、Ｎは動画像内のフレーム番号、Ｔ（１）は１フレーム目の撮像開始時刻、Ｔ（Ｎ）はＮフレーム目の撮像開始時刻、Ｆは動画像のフレームレート、Ｃｌｉｐ（）は、必要な時間精度で時刻をクリップ処理する関数である。

画像セット生成部２０３は、取得した画像データ２０１Ｄおよび時刻情報２０２Ｄを用いて、撮像時刻が同期した複数の画像からなる集合を、１つの画像セット２０３Ｄとして生成し、三次元情報算出部２０４へ出力する。つまり、画像セット生成部２０３は、取得された複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セット２０３Ｄを生成する。撮像時刻が互いに略一致する複数の画像では、その複数の画像のそれぞれの撮像のための露光時間が部分的にまたは全体的に重複している。また、その露光時間は例えば１０ミリ秒である。

三次元情報算出部２０４は、取得した画像セット２０３Ｄを用いて、三次元情報を算出し、出力する。三次元情報の算出方法の一例として、三次元情報算出部２０４は、ＳｆＭなどを用いて、撮像装置の姿勢または被写体の三次元モデルを同時に復元する。本来、ＳｆＭでは、ある静止したオブジェクトなどの静止シーンを１台の撮像装置の視点を変えながら撮像することによって得られた複数の時系列画像から、三次元再構成を行う。しかし、本実施の形態では、複数の撮像装置のそれぞれの撮像によって得られた、被写体の撮像時刻が同期した複数の画像から、ＳｆＭなどを用いることによって、ある時刻（時間範囲）における三次元再構成を行うことが可能になる。

図３は、本実施の形態における画像処理方法の一例を示すフローチャートである。

ステップＳ３０１では、画像取得部２０１は、外部の複数の撮像装置のそれぞれから画像データ２０１Ｄを取得し、時刻情報取得部２０２および画像セット生成部２０３へ出力する。例えば、画像データ２０１Ｄは動画像を含む。

ステップＳ３０２では、時刻情報取得部２０２は、複数の画像データ２０１Ｄのそれぞれに含まれる時刻情報２０２Ｄを取得し、画像セット生成部２０３へ出力する。

ステップＳ３０３では、画像セット生成部２０３は、複数の画像データ２０１Ｄおよび複数の時刻情報２０２Ｄを用いて、同時刻の被写体が写っている複数の画像からなる画像セット２０３Ｄを生成し、三次元情報算出部２０４へ出力する。同時刻とは、例えば、それぞれの画像を得るための露光時間が、所定の時間範囲において、部分的または全体的に重複していることである。

ステップＳ３０４では、三次元情報算出部２０４は、画像セット生成部２０３が生成した画像セット２０３Ｄを用いて被写体の三次元情報を計算し、出力する。

ステップＳ３０３の処理について以下、図４を用いて詳細に説明する。

図４は、Ｎ台の撮像装置の撮像によって得られたＮ本の動画像から、撮像時刻が互いに略一致する少なくとも２本以上の動画像を選択する例を示す図である。つまり、この図４は、同期撮像によって得られた複数の動画像を選択する方法の一例を示す。なお、選択される動画像の最大数は、Ｎ本でもよいし、三次元情報算出部２０４に要求された数でもよいし、任意に設定された数でもよい。

画像セット生成部２０３は、撮像装置の露光時間をＴミリ秒として、時刻Ｗ時Ｘ分Ｙ秒Ｚミリ秒から時刻Ｗ時Ｘ分Ｙ秒（Ｚ＋Ｔ）ミリ秒までの間に、露光が行われた２以上の動画像を、撮像時刻が互いに略一致する少なくとも２本以上の動画像として選択する。つまり、これらの２以上の動画像は同期していると判定され、画像セット２０３Ｄに含められる。また、このような時刻Ｗ時Ｘ分Ｙ秒Ｚミリ秒から時刻Ｗ時Ｘ分Ｙ秒（Ｚ＋Ｔ）ミリ秒までの時間帯を同期撮像時間帯とする。

図４に示すように、同期撮像時間帯は、例えば、複数の撮像装置から選択されたある基準撮像装置の露光時間である動画像１の露光時間とする。なお、同期撮像時間帯は、基準撮像装置のフレームレートに応じた周期で存在する。この場合、画像セット生成部２０３は、動画像１と、動画像１を出力する基準撮像装置の露光時間と部分的または全体的に重複する露光時間の撮像によって得られた動画像２、３、５・・・とを、選択する。これらの動画像１、２、３、５・・・のうち、ある同期撮像時間帯の撮像により得られたＭ枚の画像は、画像セット２０３Ｄにおけるある時間帯（同期撮像時間帯）の画像群である。なお、Ｍ枚は、Ｎ枚の内、重複する露光時間の撮像によって得られる動画像の総数を示す。画像セット生成部２０３は、上述のような選択を各時間帯で行うことにより、時間帯（同期撮像時間帯）ごとに画像群を有する時系列データで構成される画像セット２０３Ｄを生成する。三次元情報算出部２０４は、この画像セット２０３Ｄを用いることで三次元再構成を行うことが可能になる。

ここで、画像セット生成部２０３は、基準撮像装置を選択する場合、解像度、動きボケの少なさ、または符号化歪みの少なさといった画質を指標として選択してもよいし、ランダムに選択してもよい。また、基準撮像装置として固定カメラを使用してもよい。

なお、同期撮像時間帯は、複数の撮像装置の露光時間の平均の時間幅を持つ任意の時間帯であってもよい。図４を例にすると、最も早い時刻に露光時間が始まる動画像４を出力する撮像装置の露光時間と、最も遅い時刻に露光時間が始まる動画像５を出力する撮像装置の露光時間との平均時間が同期撮像時間帯に設定される。この場合は、より多くの撮像装置からの画像が１つの画像セットに含められることが可能になるため、より精度の高い三次元モデルを復元することができる可能性が高い。もちろん、撮像装置における撮像時刻があまりにもバラバラの場合には、適切ではない同期撮像時間帯が設定される場合もある。このため、画像セット生成部２０３は、撮像時刻または露光時間の差分の大小などに応じて、上述のような同期撮像時間帯の設定方法を用いるか否かを判断してもよい。

なお、同期撮像時間帯の時間幅は、撮像装置の露光時間に限らず、三次元情報の算出の精度を保持するのに必要な時間幅であってもよい。例えば、画像セット生成部２０３は、基準撮像装置の露光時間を同期撮像時間帯として用いて画像セット２０３Ｄを生成する。そして、画像セット生成部２０３は、生成された画像セット２０３Ｄに基づいて三次元再構成が行われた際に、画像が少なすぎて三次元モデルの精度が所定値以下であるか否かを判定する。その精度が所定値以下であると判定すると、画像セット生成部２０３は、同期撮像時間帯の前後に数ミリ秒増やした時間帯を新たな同期撮像時間帯として用い、改めて画像セット２０３Ｄを生成してもよい。逆に、画像セット生成部２０３は、露光時間が長すぎて画像セット２０３Ｄ内に含まれる画像同士の相関が低くなると判断すると、同期撮像時間帯の前後を数ミリ秒減らした時間帯を、新たな同期撮像時間帯に設定してもよい。

図４の例では、動画像１、動画像２、動画像３、および動画像５・・・が画像セット２０３Ｄに含められる。つまり、動画像１、動画像２、動画像３、および動画像５は、同期していると判定され、言い換えれば、同期撮像によって得られた画像と判定され、動画像４は同期していない（非同期）と判定される。

なお、画像セット２０３Ｄは、上記で、時間帯（同期撮像時間帯）ごとに画像群を有する時系列データで構成されていると説明した。しかし、画像セット２０３Ｄは、ある同期撮像時間帯において、各動画像から抜き出されたフレームの集合であってもよい。つまり、画像セット２０３Ｄを、ある時刻に限定して捉えれば、このようにほぼ同時刻の撮像により得られた複数画像の集まりと見ることができる。一方、画像セット２０３Ｄを、時間幅を有するデータとして捉えれば、動画像の集合として見ることができる。つまり、その動画像の集合は、各時刻（同期撮像時間帯）において、ほぼ同時刻に撮像された複数画像を有する。

なお、画像セット２０３Ｄを動画像の集合とする場合、画像セット生成部２０３は、まず、同期撮像時間帯に基づいて、複数の動画像からなる画像セット候補を生成する。次に、画像セット生成部２０３は、画像セット候補の中から、符号化ストリームにおけるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造が一致している複数の動画像を選択し、その選択された複数の動画像からなる画像セット２０３Ｄを生成してもよい。また、画像セット生成部２０３は、上述の手順とは逆に画像セット２０３Ｄを生成してもよい。例えば、画像セット生成部２０３は、各撮像装置の動画像から、ＧＯＰ構造がＩＰＢＢの動画像を除き、ＩＰＰＰの複数の動画像のみを選択し、そのＩＰＰＰの複数の動画像からなる画像セット候補を生成する。次に、画像セット生成部２０３は、画像セット候補の中から、同期撮像時間帯に基づいて動画像を選択することによって、画像セット２０３Ｄを生成する。

なお、画像セット２０３Ｄをフレーム（静止画）の集合とする場合、画像セット生成部２０３は、まず、同期撮像時間帯に基づいて、複数のフレームからなる画像セット候補を生成する。次に、画像セット生成部２０３は、画像セット候補の中から、符号化ストリームにおけるピクチャタイプが一致している複数のフレームを選択し、その選択された複数のフレームからなる画像セット２０３Ｄを生成してもよい。なお、ピクチャタイプは、例えば、Ｉピクチャ、ＰピクチャまたはＢピクチャなどである。例えば、画像セット生成部２０３は、画像セット候補の中からＰピクチャおよびＢピクチャを除き、複数のＩピクチャのみを選択し、その複数のＩピクチャからなる画像セット２０３Ｄを生成する。また、画像セット生成部２０３は、上述の手順とは逆に画像セット２０３Ｄを生成してもよい。具体的には、画像セット生成部２０３は、まず、ピクチャタイプが一致する複数のフレームからなる画像セット候補を生成する。次に、画像セット生成部２０３は、画像セット候補の中から、同期撮像時間帯に基づいて、複数のフレームを選択し、その選択された複数のフレームからなる画像セット２０３Ｄを生成する。

なお、画像セット生成部２０３は、画像処理装置２００が撮像装置から動画像を取得した時刻に基づいて、画像セット２０３Ｄに含まれる動画像を選択してもよい。具体的には、画像セット生成部２０３は、画像処理装置２００が撮像装置から動画像Ｘを取得した時刻、つまり撮像装置より伝送された動画像Ｘが画像処理装置２００に到着した時刻と、時刻情報２０２Ｄによって示される時刻とを比較する。画像セット生成部２０３は、それらの時刻の時間差が、任意に設定された時間差以上である場合は、時刻情報２０２Ｄの信頼性が低いと判断し、時刻情報２０２Ｄに対応する動画像Ｘを画像セット２０３Ｄの選択から除外する。

これにより、複数の撮像装置より取得した複数の動画像から、被写体を撮像した時刻が一致した複数の動画像あるいはフレームからなる画像セットが生成される。したがって、この画像セットを用いて三次元情報を算出することにより、撮像装置の姿勢または被写体の三次元モデルを高精度に復元することができる。

このように本実施の形態では、複数の撮像装置１〜Ｎのそれぞれから、当該撮像装置による撮像によって得られた画像を取得し、取得された複数の画像のそれぞれの撮像時刻を取得する。さらに、取得されたその複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セット２０３Ｄを生成する。また、本実施の形態では、さらに、その画像セット２０３Ｄに含まれる複数の画像に基づいて、その複数の画像のそれぞれに対応する撮像装置および被写体のうちの少なくとも一方の状態を三次元的に示す三次元情報を算出する。具体的には、この三次元情報は、画像セット２０３Ｄに含まれる複数の画像のそれぞれに対応する撮像装置の位置および姿勢のうちの少なくとも一方を示す。または、三次元情報は、画像セット２０３Ｄに含まれる複数の画像のそれぞれに対応する被写体の位置および形状のうちの少なくとも一方を示す。

これにより、画像セット２０３Ｄには、撮像時刻が互いに略一致する複数の画像が含まれるため、この画像セット２０３Ｄを用いれば、高精度の三次元モデルを容易に復元することができる。

また、本実施の形態では、画像セット生成部２０３は、図４に示すように、取得された複数の画像のうちの１つである基準画像（動画像１）と、基準画像の撮像のための露光と重複したタイミングの露光による撮像によって得られた画像である少なくとも１つの露光重複画像（動画像２、３および５）とを、撮像時刻が互いに略一致する複数の画像として選択する。

これにより、画像セット２０３Ｄには、基準画像と、その基準画像と露光のタイミングが一致する少なくとも１つの露光重複画像とが含まれる。つまり、同一時刻の被写体が映し出された複数の画像が画像セット２０３Ｄに含まれる。したがって、この画像セット２０３Ｄを用いれば、より高精度の三次元モデルを容易に復元することができる。

また、本実施の形態では、時刻情報取得部２０２は、取得された複数の画像のうちの何れの露光時間よりも高い時間精度で示される各画像の撮像時刻を取得する。これにより、より高精度の三次元モデルを容易に復元することができる。

また、本実施の形態では、画像取得部２０１は、複数の撮像装置１〜Ｎのそれぞれから、当該撮像装置による撮像によって得られた画像を含む画像信号（つまり画像データ２０１Ｄ）を取得する。そして、画像セット生成部２０３は、取得された複数の画像信号から、撮像時刻が互いに略一致する複数の画像のそれぞれを含む複数の画像信号を選択することにより、選択された複数の画像信号からなる画像セット２０３Ｄを生成する。具体的には、上述の画像信号は、複数の画像（例えば複数のピクチャまたはフレーム）と、その複数の画像のそれぞれの撮像時刻を取得するための時刻情報２０２Ｄとを含む動画像データである。時刻情報取得部２０２は、画像信号、つまり動画像データごとに、当該画像信号に含まれる時刻情報２０２Ｄに基づいて、その画像信号に含まれる複数の画像のそれぞれの撮像時刻を取得する。

これにより、動画像データに含まれる複数の画像（例えば複数のピクチャまたはフレーム）のそれぞれの撮像時刻を、その動画像データに含まれる時刻情報に基づいて容易に取得することができる。なお、時刻情報は、例えば、動画像データに含まれる先頭の画像の撮像時刻およびフレームレートを示していてもよく、動画像データに含まれる複数の画像のそれぞれの撮像時刻を示していてもよい。

また、上述の画像信号は、画像と、その画像の撮像時刻を取得するための時刻情報とを含む画像データ２０１Ｄであってもよい。つまり、この場合には、画像は静止画像またはフレームであり、画像データ２０１Ｄは静止画像データである。この場合にも、時刻情報取得部２０２は、画像信号ごとに、その画像信号に含まれる時刻情報に基づいて、その画像信号に含まれる画像の撮像時刻を取得する。これにより、画像データ２０１Ｄに含まれる例えば静止画像の撮像時刻を、その画像データ２０１Ｄに含まれる時刻情報に基づいて容易に取得することができる。

（変形例１）
ここで、同期撮像により得られた画像（動画像あるいはフレーム）のみを選択すると、画像セット２０３Ｄ内に含まれる画像の数が少なくなり、三次元情報の算出に必要とされる画像、つまり入力データ量が不足する場合がある。

そこで、本変形例では、新たな画像を、同期撮像により得られた画像として生成する。

図５Ａは、図４で非同期と判定された動画像４に含まれる、同期撮像時間帯の前後の撮像時刻の画像の一例を示す図である。

２枚のフレーム(画像)のうちの１枚のフレームの撮像時刻は、同期撮像時間帯の前であって、時刻Ｗ時Ｘ分Ｙ秒（Ｚ−α）ミリ秒（Ｚ−α＜Ｚ）である。一方、２枚のフレームのうちの残りのフレームの撮像時刻は、同期撮像時間帯の後であって、時刻Ｗ時Ｘ分Ｙ秒（Ｚ＋Ｔ＋β）ミリ秒（Ｚ＋Ｔ＋β＞Ｚ＋Ｔ）である。したがって、上述の同期撮像時間帯に基づく選択では、これらの２枚のフレームは画像セット２０３Ｄには含まれない。ただし、それらのフレーム内における物体Ａの位置、大きさおよび形状などは同一であるため、物体Ａは、２枚のフレームのそれぞれの撮像時刻の間は静止している。つまり、仮に、同期撮像時間帯において撮像が行われた場合には、その撮像によって得られるフレームにも、上記２枚のフレームに写っている物体Ａと同じ位置、大きさおよび形状で、物体Ａが写っていると推定できる。

図５Ｂは、２枚のフレーム間において静止している被写体の領域を示す図である。

画像セット生成部２０３は、例えば図５Ｂに示すように、図５Ａの２枚のフレームのうちの一方から、静止している被写体が写っている領域（以下、同期撮像領域または静止領域という）を特定し、その領域の画像を、上述の同期撮像時間帯における撮像によって得られた静止画像として生成する。そして、画像セット生成部２０３は、画像取得部２０１によって取得された複数の画像と、その生成された静止画像とから、画像セット２０３Ｄを生成する。

具体的には、画像セット生成部２０３は、Ｎ台の撮像装置から取得されたＮ本の動画像のそれぞれから静止領域（同期撮像領域）を特定し、その静止領域における被写体が同期撮像時間帯でも静止しているか否かを判定する。そして、画像セット生成部２０３は、静止していると判定された静止領域の画像（静止画像）を抽出して画像セット２０３Ｄに含める。

なお、画像セット生成部２０３は、完全に静止している被写体が写っている領域を静止領域として特定してもよいし、許容範囲内の動き量で動いている被写体が写っている領域を静止領域として特定してもよい。ここでの許容範囲内の動き量とは、任意に指定された動き量でもよいし、三次元情報算出部２０４が指定した動き量でもよい。さらに、動き量には、画像取得部２０１が符号化ストリームを復号して取得した動きベクトルを使用してもよい。

なお、同期撮像により得られた複数の画像のみからなる画像セット２０３Ｄに対し、非同期の動画像における静止画像を追加してもよい。

具体的な方法としては、画像セット生成部２０３は、Ｎ台の撮像装置から取得されたＮ本の動画像から、同期撮像時間帯に撮像が行われたＫ本の動画像を選択し、画像セット２０３Ｄに含める。そして、画像セット生成部２０３は、残りの（Ｎ−Ｋ）本の動画像のそれぞれにおいて、その動画像に含まれる複数のフレームから所定のフレームを特定する。この所定のフレームは、同期撮像時間帯から撮像周期以内の近い時刻を撮像時刻とするフレームである。次に、画像セット生成部２０３は、その所定のフレームから静止領域を特定し、その静止領域における被写体が同期撮像時間帯でも静止しているか否かを判定する。そして、画像セット生成部２０３は、その静止領域における被写体が同期撮像時間帯でも静止していると判定すると、その静止領域の画像を静止画像として画像セット２０３Ｄに追加する。

これにより、同期撮像により得られた画像が少なくても、非同期の動画像から、画質が視認されやすい静止領域あるいは動き量が少ない領域の画像を抽出し、三次元情報の算出に利用することができる。したがって、同期ずれを原因とする三次元情報算出での情報量の不足を改善することができる。

このように本変形例では、画像セット生成部２０３は、さらに、複数の撮像装置のうちの何れかである処理対象装置から取得された画像である元画像から、当該元画像の撮像時刻と異なる時刻において静止していると推定される被写体が写っている領域の画像を、処理対象装置から取得された、その時刻を撮像時刻とする静止画像として生成する。そして、画像セット生成部２０３は、生成された静止画像を含む、複数の撮像装置から取得された複数の画像から、撮像時刻が互いに略一致する複数の画像を選択する。

これにより、撮像装置から実際に取得された画像だけでなく、生成された静止画像も選択することができ、その結果、画像セット２０３Ｄに含まれる、撮像時刻が互いに略一致する画像の数を増やすことできる。したがって、複数の撮像装置のそれぞれから実際に取得された、撮像時刻が互いに略一致する画像の数が少なくても、この画像セット２０３Ｄを用いれば、高精度の三次元モデルを容易に復元することができる。

また、本変形例では、画像セット生成部２０３は、元画像の撮像時刻の前および後のうちの少なくとも一方において、処理対象装置による撮像によって得られた少なくとも１つの画像と、その元画像とを比較することによって、元画像から上述の領域（つまり同期撮像領域または静止領域）を特定する。このとき、画像セット生成部２０３は、元画像を構成する処理単位ごとに、当該処理単位がその領域に該当するか否かを判定することによって、その領域を特定する。ここで、その処理単位は、ブロック、元画像に写っているオブジェクト、または、そのオブジェクトが分割されることによって示されるサブオブジェクトである。

これにより、適切な静止画像を生成することができる。したがって、この静止画像を含む画像セット２０３Ｄを用いれば、より高精度の三次元モデルを容易に復元することができる。

（変形例２）
ここで、撮像装置の台数の問題などにより、動画像または画像の選択、あるいは静止画像の抽出では、三次元情報の算出において入力データ量が不足する場合がある。

そこで、本変形例では、各動画像でフレーム補間を行うことによって、新たな画像（補間フレーム）を生成し、その新たな画像を画像セット２０３Ｄに含める。

具体的な方法としては、画像セット生成部２０３は、Ｎ台の撮像装置から取得されたＮ本の動画像から、同期撮像時間帯に撮像が行われたＫ本の動画像を選択し、画像セット２０３Ｄに含める。そして、画像セット生成部２０３は、残りの（Ｎ−Ｋ）本の動画像のそれぞれにおいてフレーム補間を行うことによって、同期撮像時間帯における新たなフレームを補間フレームとして生成し、画像セット２０３Ｄに追加する。

なお、フレーム補間を行う際には、同期撮像時間帯の前後のフレーム間では、被写体は等速運動を行っていると仮定して、動き量を線形補間してもよい。

具体的な方法について、図６および図７を用いて説明する。

図６は、動画像Ｍにおける補間フレームの時刻と、補間に使用されるフレームの時刻とを示す図である。説明のため、補間フレームの時刻Ｔｃは、同期撮像時間帯の中心とされているが、同期撮像時間帯の任意の時刻でもよい。また、同期撮像時間帯の前後にある撮像時刻ＴａおよびＴｂのそれぞれのフレームが補間に使用される。

図７は、時刻Ｔａ、Ｔｂ、Ｔｃの各フレームおよび動物体の動きベクトルを示す図である。なお、図７では、各フレームに写っている物体Ａを静止物体とし、物体Ｂを動物体とする。

まず、画像セット生成部２０３は、動画像Ｍに含まれるフレームＦ（Ｔａ）とフレームＦ（Ｔｂ）より、フレームＦ（Ｔｂ）における物体Ｂの動きベクトルＭＶ（Ｔｂ）を算出する。フレームＦ（Ｔａ）は、時刻Ｔａを撮像時刻とするフレームであり、フレームＦ（Ｔｂ）は、時刻Ｔｂを撮像時刻とするフレームである。

なお、画像セット生成部２０３は、フレームＦ（Ｔｂ）を複数のブロックに分割し、ブロック毎に動きベクトルを算出してもよい。また、画像セット生成部２０３は、フレームＦ（Ｔｂ）内でオブジェクト抽出を行い、抽出されたオブジェクト毎に動きベクトルを算出してもよい。また、画像セット生成部２０３は、上記ブロックをさらに細かなサブブロックに分割し、サブブロックごとに動きベクトルを算出してもよい。また、画像セット生成部２０３は、上記オブジェクトをさらに細かな複数のサブオブジェクトに分割し、サブオブジェクトごとに動きベクトルを算出してもよい。

なお、ここでは、物体Ｂのような動領域（つまり、動いているオブジェクトが写っている領域）のみに対して動きベクトルを算出したが、領域の動きに関わらずフレーム全体に対して動きベクトルを算出してもよい。

なお、画像セット生成部２０３は、動画像Ｍが符号化ストリームとして画像処理装置２００へ入力された場合には、復号時に得られるブロック単位の動きベクトルを、物体Ｂの動きベクトルとして使用してもよい。

次に、フレームＦ（Ｔａ）とフレームＦ（Ｔｂ）との間において、動物体は等速運動していると仮定される。したがって、画像セット生成部２０３は、フレームＦ（Ｔｃ）における物体Ｂの動きベクトルＭＶ（Ｔｃ）を、下記の（式１）に基づいて算出する。フレームＦ（Ｔｃ）は、時刻Ｔｃを撮像時刻として想定される補間フレームである。

次に、画像セット生成部２０３は、この動きベクトルとフレームＦ（Ｔａ）に基づき、動き補償を行うことによって、フレームＦ（Ｔｃ）を生成する。なお、画像セット生成部２０３は、動き補償を上述のブロック単位で行ってもよいし、オブジェクト単位で行ってもよい。

ここで、フレーム補間を行う際には、同期撮像時間帯の前後のフレーム間では、被写体は等加速度運動を行っていると仮定して、動き量を補間してもよい。

具体的な方法について、図８および図９を用いて説明する。

図８は、動画像Ｍにおける補間フレームの時刻と、補間に使用されるフレームの時刻とを示す図である。説明のため、補間フレームの時刻Ｔｃは、同期撮像時間帯の中心とされているが、同期撮像時間帯の任意の時刻でもよい。また、同期撮像時間帯の前後にある撮像時刻Ｔａ、Ｔｂ、およびＴｄのそれぞれのフレームが補間に使用される。

なお、撮像時刻Ｔｄは、撮像時刻Ｔａの１フレーム前の撮像時刻であるが、撮像時刻Ｔｂの１フレーム後の撮像時刻でもよい。あるいは、撮像時刻Ｔｄは、撮像時刻Ｔａの複数フレーム前の撮像時刻、または撮像時刻Ｔｂの複数フレーム後の撮像時刻でもよい。

図９は、時刻Ｔａ、Ｔｂ、Ｔｃ、Ｔｄの各フレームおよび動物体の動きベクトルを示す図である。なお、図９では、各フレームに写っている物体Ａを静止物体とし、物体Ｂを動物体とする。

まず、画像セット生成部２０３は、動画像Ｍに含まれるフレームＦ（Ｔｄ）とフレームＦ（Ｔａ）より、フレーム（Ｔａ）における物体Ｂの動きベクトルＭＶ（Ｔａ）を算出する。なお。フレームＦ（Ｔｄ）は、時刻Ｔｄを撮像時刻とするフレームである。さらに、画像セット生成部２０３は、フレームＦ（Ｔａ）とフレームＦ（Ｔｂ）より、フレームＦ（Ｔｂ）における物体Ｂの動きベクトルＭＶ（Ｔｂ）を算出する。なお、画像セット生成部２０３は、上述の等速運動の場合と同様の処理単位（例えばブロックなど）ごとに動きベクトルを算出してもよい。

画像セット生成部２０３は、この２つの動きベクトルＭＶ（Ｔａ）とＭＶ（Ｔｂ）との差分をとることにより、フレーム（Ｔａ）からフレーム（Ｔｂ）間の物体Ｂの加速度を近似的に求める。ここで、フレームＦ（Ｔａ）とフレームＦ（Ｔｂ）との間において、動物体は等加速度運動していると仮定される。したがって、画像セット生成部２０３は、フレームＦ（Ｔｃ）における物体Ｂの動きベクトルＭＶ（Ｔｃ）を、下記の（式２）に基づいて算出する。

次に、画像セット生成部２０３は、この動きベクトルとフレームＦ（Ｔａ）に基づき、動き補償を行うことによって、フレームＦ（Ｔｃ）を補間フレームとして生成する。なお、画像セット生成部２０３は、動き補償を、上述の等速運動の場合と同様の処理単位（ブロックなど）で行ってもよい。

なお、ここでは、フレームＦ（Ｔａ）を基準にした動きベクトルを算出する例を示したが、フレームＦ（Ｔｄ）を基準とし、動き補償にもフレームＦ（Ｔｄ）を使用してもよい。

このように本変形例では、画像セット生成部２０３は、さらに、複数の撮像装置１〜Ｎのうちの何れかである処理対象装置から取得された複数の画像である複数の参照画像（例えば、フレームＦ（Ｔａ）またはＦ（Ｔｂ））に対して補間を行うことより、その複数の参照画像のそれぞれの撮像時刻と異なる時刻（例えば時刻Ｔｃ）を撮像時刻とする補間画像（例えば、補間フレームＦ（Ｔｃ））を、その処理対象装置から取得された画像として生成する。そして、画像セット生成部２０３は、生成されたその補間画像を含む、複数の撮像装置１〜Ｎから取得された複数の画像から、撮像時刻が互いに略一致する複数の画像を選択する。ここで、画像セット生成部２０３は、等速運動モデルまたは等加速度運動モデルに基づいて補間画像を生成する。

これにより、撮像装置から実際に取得された画像だけでなく、生成された補間画像も選択することができ、その結果、画像セット２０３Ｄに含まれる、撮像時刻が互いに略一致する画像の数を増やすことできる。したがって、複数の撮像装置のそれぞれから実際に取得された、撮像時刻が互いに略一致する画像の数が少なくても、この画像セット２０３Ｄを用いれば、高精度の三次元モデルを容易に復元することができる。

つまり、被写体を撮像した時刻が一致した十分な数の画像を含む画像セット２０３Ｄを用いて三次元情報を算出することにより、撮像装置の姿勢または被写体の三次元モデルといった三次元情報の精度を向上することができる。

また、本変形例では、画像セット生成部２０３は、複数の参照画像のそれぞれを構成する処理単位ごとに補間を行う。その処理単位は、ブロック、複数の参照画像のそれぞれに写っているオブジェクト、または、そのオブジェクトが分割されることによって示されるサブオブジェクトである。

これにより、適切な補間画像を生成することができる。したがって、この補間画像を含む画像セットを用いれば、より高精度の三次元モデルを容易に復元することができる。

以上、本発明の一態様に係る画像処理方法について、上記実施の形態およびその変形例に基づいて説明したが、本発明は、この実施の形態およびその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態または変形例に施したものや、実施の形態および各変形例における構成要素を組み合わせて構築される形態も本発明に含まれてもよい。例えば、図１０Ａおよび図１０Ｂに示す方法およびシステムも本発明に含まれる。

図１０Ａは、本発明の一態様に係る画像処理方法を示すフローチャートである。

この画像処理方法は、複数の画像に対して処理を行う画像処理方法であって、複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた画像を取得するステップＳ１１と、取得された複数の画像のそれぞれの撮像時刻を取得するステップＳ１２と、取得された複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セットを生成するステップＳ１３とを含む。

図１０Ｂは、本発明の一態様に係る画像処理システムの構成を示すブロック図である。

この画像処理システム１０は、処理回路１１と、処理回路１１に接続される記憶装置１２とを備える。処理回路１１は、複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた画像を取得して記憶装置１２に格納し、取得された複数の画像のそれぞれの撮像時刻を取得し、記憶装置１２に格納されている複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セットを生成する。

このように、図１０Ａおよび図１０Ｂに示す画像処理方法または画像処理システム１０であっても、上記実施の形態およびその変形例と同様の作用効果を奏することができる。つまり、画像セットには、撮像時刻が互いに略一致する複数の画像が含まれるため、この画像セットを用いれば、高精度の三次元モデルを容易に復元することができる。また、図２に示す三次元情報算出部２０４は本発明において必須の構成要素ではない。

また、上記実施の形態または各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および各変形例の画像処理装置または画像処理システムなどを実現するソフトウェアは、図１０Ａの各ステップをコンピュータに実行させるプログラムである。

なお、以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明は、高精度な三次元モデルの復元を行うことができるという効果を奏し、例えば、三次元再構成を行うシステムまたは装置などに利用することができる。

１０ 画像処理システム
１１ 処理回路
１２ 記憶装置
２００ 画像処理装置
２０１ 画像取得部
２０２ 時刻情報取得部
２０３ 画像セット生成部
２０４ 三次元情報算出部
２０１Ｄ 画像データ
２０２Ｄ 時刻情報
２０３Ｄ 画像セット

Claims (13)

1. 複数の画像に対して処理を行う画像処理方法であって、
   複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた画像を取得し、
   取得された複数の画像のそれぞれの撮像時刻を取得し、
   取得された前記複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セットを生成し、
   前記画像セットの生成では、
   取得された前記複数の画像のうちの１つである基準画像と、当該基準画像の撮像のための露光と重複したタイミングの露光による撮像によって得られた画像である少なくとも１つの露光重複画像とを、撮像時刻が互いに略一致する前記複数の画像として選択する、
   画像処理方法。
2. 前記画像処理方法は、さらに、
   前記画像セットに含まれる複数の画像に基づいて、当該複数の画像のそれぞれに対応する撮像装置および被写体のうちの少なくとも一方の状態を三次元的に示す三次元情報を算出する
   請求項１に記載の画像処理方法。
3. 前記三次元情報は、前記画像セットに含まれる複数の画像のそれぞれに対応する撮像装置の位置および姿勢のうちの少なくとも一方を前記状態として示す
   請求項２記載の画像処理方法。
4. 前記三次元情報は、前記画像セットに含まれる複数の画像のそれぞれに対応する被写体の位置および形状のうちの少なくとも一方を前記状態として示す
   請求項２に記載の画像処理方法。
5. 前記撮像時刻の取得では、
   取得された前記複数の画像のうちの何れの露光時間よりも高い時間精度で示される、前記複数の画像のそれぞれの前記撮像時刻を取得する
   請求項１に記載の画像処理方法。
6. 前記画像の取得では、
   前記複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた前記画像を含む画像信号を取得し、
   前記画像セットの生成では、
   取得された複数の画像信号から、撮像時刻が互いに略一致する前記複数の画像のそれぞれを含む複数の画像信号を選択することにより、選択された前記複数の画像信号からなる前記画像セットを生成する
   請求項１〜５の何れか１項に記載の画像処理方法。
7. 前記画像信号は、複数の画像と、前記複数の画像のそれぞれの撮像時刻を取得するための時刻情報とを含む動画像データであって、
   前記撮像時刻の取得では、
   画像信号ごとに、当該画像信号に含まれる前記時刻情報に基づいて、当該画像信号に含まれる前記複数の画像のそれぞれの撮像時刻を取得する
   請求項６に記載の画像処理方法。
8. 前記画像信号は、画像と、前記画像の撮像時刻を取得するための時刻情報とを含む画像データであって、
   前記撮像時刻の取得では、
   画像信号ごとに、当該画像信号に含まれる前記時刻情報に基づいて、当該画像信号に含まれる前記画像の撮像時刻を取得する
   請求項６に記載の画像処理方法。
9. 複数の画像に対して処理を行う画像処理方法であって、
   複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた画像を取得し、
   取得された複数の画像のそれぞれの撮像時刻を取得し、
   取得された前記複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セットを生成し、
   前記画像セットの生成では、
   さらに、前記複数の撮像装置のうちの何れかである処理対象装置から取得された画像である元画像から、当該元画像の撮像時刻と異なる時刻において静止していると推定される被写体が写っている領域の画像を、前記処理対象装置から取得された、前記時刻を撮像時刻とする静止画像として生成し、
   生成された前記静止画像を含む、前記複数の撮像装置から取得された複数の画像から、撮像時刻が互いに略一致する前記複数の画像を選択する
   画像処理方法。
10. 前記静止画像の生成では、
    前記元画像の撮像時刻の前および後のうちの少なくとも一方において、前記処理対象装置による撮像によって得られた少なくとも１つの画像と、前記元画像とを比較することによって、前記元画像から前記領域を特定する
    請求項９に記載の画像処理方法。
11. 前記領域の特定では、
    前記元画像を構成する処理単位ごとに、当該処理単位が前記領域に該当するか否かを判定することによって、前記領域を特定し、
    前記処理単位は、ブロック、前記元画像に写っているオブジェクト、または、前記オブジェクトが分割されることによって示されるサブオブジェクトである
    請求項１０に記載の画像処理方法。
12. 処理回路と、前記処理回路に接続される記憶装置とを備える画像処理システムであって、
    前記処理回路は、
    複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた画像を取得して前記記憶装置に格納し、
    取得された複数の画像のそれぞれの撮像時刻を取得し、
    前記記憶装置に格納されている前記複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セットを生成し、
    前記画像セットの生成では、
    取得された前記複数の画像のうちの１つである基準画像と、当該基準画像の撮像のための露光と重複したタイミングの露光による撮像によって得られた画像である少なくとも１つの露光重複画像とを、撮像時刻が互いに略一致する前記複数の画像として選択する、
    画像処理システム。
13. 複数の画像に対して処理を行うためのプログラムであって、
    複数の撮像装置のそれぞれから、当該撮像装置による撮像によって得られた画像を取得し、
    取得された複数の画像のそれぞれの撮像時刻を取得し、
    取得された前記複数の画像から、撮像時刻が互いに略一致する複数の画像を選択することにより、選択された複数の画像からなる画像セットを生成することをコンピュータに実行させ、
    前記画像セットの生成では、
    取得された前記複数の画像のうちの１つである基準画像と、当該基準画像の撮像のための露光と重複したタイミングの露光による撮像によって得られた画像である少なくとも１つの露光重複画像とを、撮像時刻が互いに略一致する前記複数の画像として選択する、
    プログラム。

Images