JP5327339B2 - 画像処理システム、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理技術に関する。

１つの撮影画像から該撮影画像に係る視点とは異なる仮想的な視点から同一の被写体をとらえた画像（仮想視点画像）が擬似的に生成されれば、いわゆる３Ｄテレビの技術等で採用される立体視が可能な画像群の生成が可能となる。

ところが、上記仮想視点画像では、元の撮影画像では捉えられていない被写体の部分に対応する領域が、画素値が不明な領域（オクルージョン領域）となってしまう。

この問題に対し、いわゆる領域競合法によって分割された画像のテクスチャに係る統計量に基づいてオクルージョン領域に係る画素値が補填される技術が提案されている（例えば、特許文献１等）。

そして、特許文献１の技術では、奥行き情報が明示的にも与えられず、且つステレオ画像のように暗示的にも与えられない画像（非立体画像）から奥行き推定データが作成され、該奥行き推定データと非立体画像とから擬似的な立体画像が生成される。

特開２００５−１５１５３４号公報

しかしながら、上記特許文献１の技術では、オクルージョン領域に係る画素値が、元の撮影画像で捉えられている領域（撮影領域）に係る画素値に基づいて推定される。このため、補填される画素値は偽の情報であり、画素値が補填された画像は視覚的に違和感のあるものとなってしまう虞がある。

本発明は、上記課題に鑑みてなされたものであり、視覚的に違和感のない仮想視点画像を生成することが可能な技術を提供することを目的とする。

上記課題を解決するために、第１の態様に係る画像処理システムは、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識する認識部を有するとともに、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像のうちの前記非対応領域に係る画素値に基づいて画素値を付与する補填部と、を備え、前記補填部が、前記第１画像に第１基準点を設定するとともに、前記第２画像のうちの前記第１画像と対応する対応領域に含まれ且つ前記第１基準点に対応する第２基準点を設定する設定部を有し、前記第１仮想視点画像における前記第１基準点および前記第２基準点に対応する第１仮想基準点の位置情報、前記第２画像における前記第２基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係、ならびに前記第２画像に基づいて擬似的に生成され且つ前記第２画像の撮影に係る一視点が基準とされて前記第１視点に対する前記第１仮想視点と同一の位置関係を有する一仮想視点からの撮影によって取得され得る第２仮想視点画像における前記第２基準点に対応する第２仮想基準点と前記第２基準点との相対的な位置関係と、前記第１仮想基準点と前記第１基準点との相対的な位置関係との違いに基づいて、前記第１仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。

第２の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対象点の近傍に位置する点を前記第２基準点として設定する。

第３の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対象点の近傍に位置し、且つ前記第２画像の撮影における第２視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記第２基準点として設定する。

第４の態様に係る画像処理システムは、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、を備え、前記補填部が、前記第２画像に基づいて擬似的に生成され且つ前記第２画像の撮影における第２視点に対して前記第１視点に対する前記第１仮想視点と同じ位置関係を有する第２仮想視点からの撮影によって取得され得る第２仮想視点画像のうちの、前記第１仮想視点画像における前記非撮影領域の各画素と同一座標に係る画素値を、該非撮影領域の各画素に対して付与する。

第５の態様に係る画像処理システムは、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、を備え、前記補填部が、前記第２画像から擬似的に生成される第２仮想視点画像に基づいて、前記非撮影領域の各画素に画素値を付与し、前記第２画像が、第２視点からの撮影によって取得される画像であり、前記第２仮想視点画像が、第２仮想視点からの撮影によって取得され得る画像であり、前記第２視点と前記第２仮想視点との相対的な位置関係が、前記第１視点と前記第１仮想視点との相対的な位置関係と同一である。

第６の態様に係る画像処理システムは、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、を備え、前記第１画像が、第１カメラによる撮影によって得られ、前記第２画像が、前記第１カメラとは異なる第２カメラによる撮影によって得られる。

第７の態様に係る画像処理システムは、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、を備え、前記第１画像が、第１カメラによる撮影によって得られ、前記取得部が、前記第１撮影時刻に前記第１カメラとは異なる第２カメラによる撮影によって得られる第３画像を取得し、前記補填部が、前記第２画像と前記第３画像とに基づいて、前記非撮影領域の各画素に画素値を付与する。

第８の態様に係る画像処理システムは、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、を備え、前記第１画像から特定種類の物体が捉えられた第１物体領域と該第１物体領域で捉えられている前記特定種類の物体の第１姿勢とを検出するとともに、前記第１撮影時刻とは異なる複数の撮影時刻における撮影によって得られ且つ前記取得部によって取得される前記複数の画像から前記特定種類の物体が捉えられた複数の物体領域と該複数の物体領域で捉えられている前記特定種類の物体の姿勢とをそれぞれ検出する第１検出部、を更に備え、前記補填部が、前記第１姿勢から前記第１仮想視点画像で捉えられた前記特定種類の物体の第１仮想姿勢の情報を得るとともに、前記複数の物体領域から、前記第１仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域を検出する第２検出部を有し、該第２検出部によって検出された物体領域に基づいて、前記非撮影領域の各画素に画素値を付与する。

第９の態様に係る画像処理システムは、第８の態様に係る画像処理システムであって、前記補填部が、前記第２検出部によって２以上の物体領域が検出された場合、前記２以上の物体領域のうち、撮影時刻が前記第１撮影時刻に最も近い画像に含まれる物体領域に基づいて、前記非撮影領域の各画素に画素値を付与する。

第１０の態様に係る画像処理システムは、第８の態様に係る画像処理システムであって、前記補填部が、前記第２検出部によって２以上の物体領域が検出された場合、前記２以上の物体領域のうち、画素値のパターンが前記第１物体領域の画素値のパターンに最も近い一つの物体領域に基づいて前記非撮影領域の各画素に画素値を付与する。
第１１の態様に係る画像処理システムは、第８から第１０の何れか１つの態様に係る画像処理システムであって、前記補填部が、前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
第１２の態様に係る画像処理システムは、第１１の態様に係る画像処理システムであって、前記認識部が、前記第１および第２画像がＭＰＥＧ形式の動画ファイルを構成する２つのフレーム画像である場合、前記ＭＰＥＧ形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識する。
第１３の態様に係る画像処理システムは、第５から第７の何れか１つの態様に係る画像処理システムであって、前記補填部が、前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与する。
第１４の態様に係る画像処理システムは、第１３の態様に係る画像処理システムであって、前記認識部が、前記第１および第２画像がＭＰＥＧ形式の動画ファイルを構成する２つのフレーム画像である場合、前記ＭＰＥＧ形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識する。
第１５の態様に係る画像処理システムは、第１３または第１４の態様に係る画像処理システムであって、前記補填部が、前記第２画像のうちの前記第１画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第１仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第２画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第１仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。
第１６の態様に係る画像処理システムは、第１５の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対象点の近傍に位置する点を前記基準点として設定する。
第１７の態様に係る画像処理システムは、第１５の態様に係る画像処理システムであって、前記設定部が、前記対応領域のうちの前記処理対象点の近傍に位置し、且つ前記第２画像の撮影における第２視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定する。
第１８の態様に係る画像処理システムは、第１から第１７の何れか１つの態様に係る画像処理システムであって、前記第１画像と、前記第１視点から前記被写体の各部分までの距離に係る距離情報とに基づいて、前記第１仮想視点画像を生成する生成部、を更に備える。
第１９の態様に係る画像処理システムは、第１８の態様に係る画像処理システムであって、前記第１視点から前記被写体の各部分までの距離を測定する距離測定部、を更に備える。

第２０の態様に係る画像処理方法は、第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得ステップと、前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識するとともに、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像のうちの前記非対応領域に係る画素値に基づいて画素値を付与する補填ステップと、を備え、前記補填ステップにおいて、前記第１画像に第１基準点を設定するとともに、前記第２画像のうちの前記第１画像と対応する対応領域に含まれ且つ前記第１基準点に対応する第２基準点を設定し、前記第１仮想視点画像における前記第１基準点および前記第２基準点に対応する第１仮想基準点の位置情報、前記第２画像における前記第２基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係、ならびに前記第２画像に基づいて擬似的に生成され且つ前記第２画像の撮影に係る一視点が基準とされて前記第１視点に対する前記第１仮想視点と同一の位置関係を有する一仮想視点からの撮影によって取得され得る第２仮想視点画像における前記第２基準点に対応する第２仮想基準点と前記第２基準点との相対的な位置関係と、前記第１仮想基準点と前記第１基準点との相対的な位置関係との違いに基づいて、前記第１仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与する。

第２１の態様に係るプログラムは、情報処理システムに含まれる制御部において実行されることにより、前記情報処理システムを、第１から第１９の何れか１つの態様に係る画像処理システムとして機能させる。

第１から第１９の何れの態様に係る画像処理システムによっても、第１画像から生成される仮想視点画像における非撮影領域の各画素に係る画素値が、第１画像とは撮影時刻が異なる第２画像に基づいて補填されるため、視覚的に違和感のない仮想視点画像の生成が可能となる。また、非撮影領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない仮想視点画像の生成が短時間で実行可能となる。さらに、非撮影領域の各画素に係る画素値が高精度で求められるため、視覚的に違和感のない仮想視点画像の生成がより確実に可能となる。

第１２および第１４の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値を特定するための演算量が低減されるため、視覚的に違和感のない仮想視点画像の生成が更に短時間で実行可能となる。

第４の態様に係る画像処理システムによれば、演算量の低減による処理の高速化が図られる。

第５および第６の何れの態様に係る画像処理システムによっても、非撮影領域の各画素に係る画素値の補填に要する演算量が低減され得る。

第７の態様に係る画像処理システムによれば、撮影環境の変化の大小に拘わらず、視覚的に違和感のない仮想視点画像の生成が可能となる。

第８から第１０の何れの態様に係る画像処理システムによっても、ある物体を捉えた画像領域内における画素値の不自然な変化が低減され得る。

第９および第１０の何れの態様に係る画像処理システムによっても、ある物体を捉えた画像領域と、その周囲の画像領域との間における不整合が低減され得る。

第２０の態様に係る画像処理方法および第２１の態様に係るプログラムの何れによっても、第１画像から生成される仮想視点画像における非撮影領域の各画素に係る画素値が、第１画像とは撮影時刻が異なる第２画像に基づいて補填されるため、視覚的に違和感のない仮想視点画像の生成が可能となる。また、非撮影領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない仮想視点画像の生成が短時間で実行可能となる。さらに、非撮影領域の各画素に係る画素値が高精度で求められるため、視覚的に違和感のない仮想視点画像の生成がより確実に可能となる。

図１は、一実施形態に係る情報処理システムの概略構成を示す図である。 図２は、一実施形態に係る情報処理装置の機能的な構成を示す図である。 図３は、Ｔ１画像を例示するイメージ図である。 図４は、Ｔ１画像の撮影条件を例示する模式図である。 図５は、Ｔ２画像を例示するイメージ図である。 図６は、Ｔ２画像の撮影条件を例示する模式図である。 図７は、Ｔ１仮想視点画像に係る仮想的な撮影条件を例示する模式図である。 図８は、Ｔ１仮想視点画像の生成方法を説明するための図である。 図９は、オクルージョン領域を含むＴ１仮想視点画像を例示する図である。 図１０は、第１補填方法を説明するための図である。 図１１は、第１補填方法を説明するための図である。 図１２は、画素値が補填されたＴ１仮想視点画像を示すイメージ図である。 図１３は、画像処理システムの動作フローを示すフローチャートである。 図１４は、Ｔ２画像を例示するイメージ図である。 図１５は、Ｔ２画像の撮影条件を例示する模式図である。 図１６は、画素値が補填されたＴ１仮想視点画像を示すイメージ図である。 図１７は、Ｔ２画像を例示するイメージ図である。 図１８は、Ｔ２画像の撮影条件を例示する模式図である。 図１９は、画素値が補填されたＴ１仮想視点画像を示すイメージ図である。 図２０は、一変形例に係る情報処理装置の機能的な構成を示す図である。 図２１は、一変形例に係るオクルージョン領域の補填方法を説明するための図である。 図２２は、一変形例に係る情報処理システムの概略構成を示す図である。 図２３は、一変形例に係る情報処理装置の機能的な構成を示す図である。 図２４は、一変形例に係る情報処理システムの概略構成を示す図である。 図２５は、一変形例に係る情報処理装置の機能的な構成を示す図である。 図２６は、第１変形例に係る情報処理装置の機能的な構成を示す図である。 図２７は、第１変形例に係る補填処理を説明するための図である。 図２８は、第１変形例に係る撮影条件を例示する模式図である。 図２９は、第２変形例に係る補填処理を説明するための図である。 図３０は、第３変形例に係る補填処理を説明するための図である。 図３１は、第４変形例に係る情報処理装置の機能的な構成を示す図である。 図３２は、第４変形例に係る補填処理を説明するための図である。 図３３は、第４変形例に係る画像処理装置の動作フローを示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。

＜(１)情報処理システムの構成＞
図１は、本発明の一実施形態に係る情報処理システム１の概略構成を示す図である。

情報処理システム１は、カメラ２と、測距機３と、カメラ２と測距機３とに対してデータの送受信が可能に接続される情報処理装置４とを備える。

カメラ２は、例えば、ＣＣＤ等の撮像素子を有するデジタルカメラによって構成される。カメラ２では、被写体からの光が受光され、光電変換によって被写体に係る輝度情報の分布を該被写体に係る画像データとして取得する撮影が行われる。そして、カメラ２は、所定のタイミングで複数回の撮影を行うことで、複数の画像データを取得する。例えば、時刻Ｔ１の撮影によって画像データ（以下「Ｔ１画像データ」と称する）が得られ、時刻Ｔ２の撮影によって画像データ（以下「Ｔ２画像データ」と称する）が得られる。カメラ２で得られる各画像データは、データ線ＣＢを介して情報処理装置４に送信される。

なお、以下では、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と総称する。例えば、「Ｔ１画像データ」を「Ｔ１画像」と称し、「Ｔ２画像データ」を「Ｔ２画像」と称する。

測距機３は、カメラ２に対する位置関係および姿勢が保持されるように該カメラ２とともに併設され、例えば、レーザーを用いて撮影対象としての被写体までの距離を計測する機器である。そして、測距機３によって、カメラ２（具体的には、撮像素子）から被写体の各部分までの距離が測定されることで、各撮影時の視点から被写体の各部分までの距離が測定される。

例えば、時刻Ｔ１の撮影時におけるカメラ２（具体的には、視点、以下「Ｔ１視点」とも称する）から被写体の各部までの距離を示す情報（以下「Ｔ１距離情報」とも称する）が得られる。また、時刻Ｔ２の撮影時におけるカメラ２（具体的には、視点、以下「Ｔ２視点」とも称する）から被写体の各部までの距離を示す情報（以下「Ｔ２距離情報」とも称する）が得られる。測距機３で得られる各距離情報は、データ線ＣＢを介して情報処理装置４に送信される。

情報処理装置４は、例えばパーソナルコンピュータ（パソコン）で構成され、マウスやキーボード等を含む操作部４１と、液晶ディスプレイ等を備えて構成される表示部４２と、カメラ２および測距機３からのデータを受信するインターフェース(Ｉ／Ｆ)部４３とを備える。また、情報処理装置４は、記憶部４４と入出力部４５と制御部４６とを有する。

記憶部４４は、例えばハードディスク等で構成され、カメラ２によって得られる各画像を記憶する。また、記憶部４４には、後述する仮想視点画像生成動作を行うためのプログラムＰＧ等が格納される。

入出力部４５は、例えばディスクドライブを備えて構成され、光ディスク等の記憶媒体９を受け付け、制御部４６との間でデータの授受を行う。

制御部４６は、プロセッサーとして働くＣＰＵ４６ａと、情報を一時的に記憶するメモリ４６ｂとを有し、情報処理装置４の各部を統括的に制御する。また、制御部４６では、記憶部４４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。例えば、制御部４６の制御により、情報処理システム１が、仮想視点画像生成動作を行う画像処理システムとして働く。なお、記憶媒体９に記憶されているプログラムデータを入出力部４５を介してメモリ４６ｂに格納させることが可能である。

また、制御部４６は、カメラ２から所定距離ずれた位置にカメラ２が仮想的に設定された場合に該仮想的なカメラ２の撮影によって得られるものと予測される画像を、Ｔ１画像に基づいて、擬似的に生成する仮想視点画像生成動作を行う。

仮想視点画像生成動作では、Ｔ１画像に基づいて、Ｔ１視点とは異なる仮想的な視点（以下「Ｔ１仮想視点」とも称する）からカメラ２で撮影したとすれば取得され得ると推測される画像（以下「Ｔ１仮想視点画像」とも称する）が生成される。

なお、ここでは、Ｔ１視点に係るカメラ２の撮影方向（例えば、撮影レンズの光軸）と、Ｔ１仮想視点に係るカメラ２の仮想的な撮影方向（例えば、撮影レンズの光軸）とが略平行（好ましくは完全に平行）である。更に、Ｔ１視点とＴ１仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有する。ここで「或る距離」とは、例えば、一般的な人間の両目の間隔等に設定される。

しかしながら、Ｔ１仮想視点画像には、Ｔ１画像では捉えられていない被写体の部分に相当する領域（以下「Ｔ１非撮影領域」とも称する）が存在する。このため、単純にＴ１画像からＴ１仮想視点画像が生成された時点では、Ｔ１非撮影領域には画素値が与えられていない。そこで、仮想視点画像生成動作では、Ｔ２画像に基づいて、Ｔ１非撮影領域に含まれる各画素の画素値が補填される。これにより、視覚的に違和感のない仮想視点画像の生成が可能となる。

また、制御部４６は、Ｔ１画像とＴ１仮想視点画像とから、いわゆる立体視が可能な画像（３Ｄ画像）を生成する。そして、表示部４２では、制御部４６で生成された３Ｄ画像が可視的に出力される。なお、以下では、１つのＴ１画像から１つのＴ１仮想視点画像が生成される例を挙げて説明するが、カメラ２によって３以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた画像（仮想視点画像）が生成されても良い。このような構成では、動画の態様の３Ｄ画像が生成され、該３Ｄ画像が表示部４２によって可視的に出力される。

＜(２)仮想視点画像生成動作に係る機能的な構成＞
本実施形態では、Ｔ１画像およびＴ２画像において、それぞれ同一の物体が捉えられ、同一の背景が含まれる例を挙げて説明する。但し、本実施形態に係る仮想視点画像生成動作が実現されるためには、Ｔ１画像と２画像とが、同一の物体を捉えた画像であること、および同一の背景を捉えた画像であることといった２つの条件のうちの少なくとも一方の条件を満たせば良い。

図２は、情報処理装置４の仮想視点画像生成動作に係る機能的な構成を示す図である。なお、ここでは、制御部４６の機能的な構成が、プログラムの実行によって実現されるものとして説明しているが、専用のハードウエア構成によって実現されても良い。

図２で示されるように、制御部４６は、機能的な構成として、画像取得部４６１、距離情報取得部４６２、仮想視点画像生成部４６３、オクルージョン補填部４６４、および立体視画像生成部４６５を有する。以下、各部４６１〜４６５について順次に説明する。

＜(２−１)画像取得部＞
画像取得部４６１は、カメラ２で順次に得られるＴ１画像およびＴ２画像を、該カメラ２から取得する。Ｔ１画像およびＴ２画像は、カメラ２から記憶部４４に一旦記憶された後に、画像取得部４６１によって取得されても良い。ここでは、カメラ２の位置および姿勢（すなわち撮影方向）が固定されており、Ｔ１視点とＴ２視点とが同一である例を挙げて説明する。

図３は、Ｔ１画像Ｇ１を例示するイメージ図であり、図４は、Ｔ１画像Ｇ１の撮影条件を例示する模式図である。

図３では、図の複雑化を避けるために、Ｔ１画像Ｇ１として、近景である物体としての人物の頭部２ＨＵを捉えた領域（以下「Ｔ１物体領域」と称する）Ａ１１と背景２ＷＡを捉えた領域（以下「Ｔ１背景領域」と称する）Ａ１２とによって構成されている画像が例示されている。つまり、被写体が、頭部２ＨＵと背景２ＷＡとで構成される。また、Ｔ１画像Ｇ１では、左上端の画素を原点として、横方向の位置（具体的にはアドレス）がＸ座標で示され、縦方向の位置（具体的にはアドレス）がＹ座標で示されるものとする。以下、図４以降で示されるその他の各画像についても、同様な構成を有するものを例示しつつ説明する。

図４では、カメラ２、人物２ＨＵ、および背景２ＷＡの配置関係を上方から見た模式図が示されている。また、図４では、カメラ２によって撮影可能な空間の領域（以下「撮影可能領域」とも称する）の外縁が太い一点鎖線で示され、近景としての頭部２ＨＵからカメラ２に入射する光の光路（以下「近景光路」とも称する）の外縁が細い一点鎖線で示されている。

図３および図４で示されるように、Ｔ１画像Ｇ１は、頭部２ＨＵの正面側からのカメラ２による撮影によって得られる。

図５は、Ｔ２画像Ｇ２を例示するイメージ図であり、図６は、Ｔ２画像Ｇ２の撮影条件を例示する模式図である。

図６では、図４と同様に、カメラ２、人物２ＨＵ、および背景２ＷＡの配置関係を上方から見た模式図が示されており、カメラ２の撮影可能領域の外縁が太い一点鎖線で示され、頭部２ＨＵに係る近景光路の外縁が細い一点鎖線で示されている。また、Ｔ１画像Ｇ１の撮影時における頭部２ＨＵの位置および該頭部２ＨＵに係る近景光路の外縁が細い破線で示されている。

図６で示されるように、Ｔ１画像Ｇ１の撮影時よりも頭部２ＨＵがカメラ２から見て左方に若干移動し且つ上方から見て時計回りに若干の角度（例えば２０度程度）回転した後の状態における撮影によって、Ｔ２画像Ｇ２が得られる。ここでは、説明の複雑化を防ぐために、頭部２ＨＵが水平面内での移動および垂直な軸を中心とした回転のみを行う例を挙げて説明する。

図５および図６で示されるように、Ｔ２画像Ｇ２は、頭部２ＨＵの斜め前方からカメラ２による撮影によって得られ、頭部２ＨＵを捉えた領域（以下「Ｔ２物体領域」とも称する）Ａ２１と、背景２ＷＡを捉えた領域（以下「Ｔ２背景領域」とも称する）Ａ２２とによって構成される。

＜(２−２)距離情報取得部＞
距離情報取得部４６２は、測距機３で順次に得られるＴ１距離情報とＴ２距離情報とを測距機３から取得する。Ｔ１距離情報およびＴ２距離情報は、カメラ２から記憶部４４に一旦記憶された後に、距離情報取得部４６２によって取得されても良い。

＜(２−３)仮想視点画像生成部＞
仮想視点画像生成部４６３は、Ｔ１画像Ｇ１と、Ｔ１視点から被写体の各部分までの距離を示すＴ１距離情報とに基づいて、Ｔ１仮想視点画像を擬似的に生成する。上述したように、Ｔ１仮想視点画像は、Ｔ１画像Ｇ１の撮影に係るＴ１視点とは異なるＴ１仮想視点に係る撮影によって取得され得る画像である。

ここでは、三角測量の原理に基づいて、Ｔ１画像Ｇ１の各画素の位置（各画素値に係る座標）をシフトさせることで、Ｔ１仮想視点画像が生成される。

図７は、Ｔ１仮想視点画像に係る仮想的な撮影条件を例示する模式図であり、図８は、三角測量の原理に基づいて、Ｔ１画像Ｇ１からＴ１仮想視点画像を生成する方法を説明するための図である。

図７では、Ｔ１仮想視点に仮想的に設定されるカメラ（以下「仮想カメラ」とも称する）２ｖが細い破線で示されるとともに、該仮想カメラ２ｖについて、撮影可能範囲の外縁が太い破線で示され且つ頭部２ＨＵに係る近景光路の外縁が細い破線で示されている。なお、図７には、図４で示されたＴ１画像Ｇ１の撮影条件についても併せて示されている。

ここで、カメラ２（すなわち視点）から被写体２０Ｂまでの距離をＤ、Ｔ１視点とＴ１仮視点との離隔距離をＢ、カメラ２のレンズの焦点距離をｆ、Ｔ１画像Ｇ１とＴ１仮想視点画像との間における同じ部分を捉えた画素のズレ量（視差）をΔｄとすると、下式(１)の関係が成立する。

Ｄ＝ｆ×Ｂ／Δｄ ・・・(１)。

上式(１)のうち、離隔距離Ｂについては、Ｔ１視点の位置に対するＴ１仮想視点の位置が仮想的に設定されることで一義的に決まる。焦点距離ｆは、カメラ２の設計によって決まる。また、距離Ｄについては、Ｔ１距離情報によって与えられる。このため、Ｔ１画像Ｇ１の各画素について視差Δｄが求まる。そこで、視差Δｄに従って、Ｔ１画像Ｇ１の各画素をシフトさせることで、Ｔ１仮想視点画像が生成される。つまり、視差Δｄが、Ｔ１画像Ｇ１からＴ１仮想視点画像が生成される際における各画素のシフト量となる。

図９は、Ｔ１仮想視点画像Ｇ１１を例示するイメージ図である。

図９で示されるように、Ｔ１仮想視点画像Ｇ１１は、頭部２ＨＵを捉えた領域（以下「Ｔ１仮想物体領域」とも称する）Ａ１１１と、背景２ＷＡを捉えた領域（以下「Ｔ１仮想背景領域」とも称する）Ａ１１２とを有する。

但し、Ｔ１仮想視点画像Ｇ１１では、画素の移動に伴って、画素が抜け落ちて画素値が不明の領域（すなわちオクルージョン領域）が生じる。このオクルージョン領域は、Ｔ１画像では捉えられていない被写体の部分に相当するＴ１非撮影領域である。

このオクルージョン領域が生じる原因としては、(Ｉ)撮影方向と近景の物体が存在する方向との間の角度関係の変化、(II)近景の物体によって隠れている背景のシフト、および(III)カメラ２の画角による撮影可能範囲のシフト、の３つの原因が挙げられる。

例えば、図９で示されるＴ１仮想視点画像Ｇ１１では、(ｉ)原因(Ｉ)によるＴ１仮想物体領域Ａ１１１のオクルージョン領域Ａｏ１１１、(ii)原因(II)によるＴ１仮想背景領域Ａ１１２のうちのＴ１仮想物体領域Ａ１１１の近傍のオクルージョン領域Ａｏ１１２、および(iii)原因(III)によるＴ１仮想背景領域Ａ１１２の右端近傍のオクルージョン領域Ａｏ１１３、の３種類のオクルージョン領域が発生している。

なお、図７では、３つのオクルージョン領域Ａｏ１１１〜Ａｏ１１３に対応する部分ＯＰ１１１〜ＯＰ１１３に太線が付されている。オクルージョン領域Ａｏ１１１〜Ａｏ１１３のうち、オクルージョン領域Ａｏ１１３は、離隔距離Ｂと画角との関係から一義的に区別可能に認識される。

＜(２−４)オクルージョン補填部＞
オクルージョン補填部４６４は、Ｔ１仮想視点画像のうち、Ｔ１画像Ｇ１では捉えられていない被写体の部分に相当するオクルージョン領域に係る画素値を、Ｔ２画像Ｇ２に基づいて補填する処理（以下「画素値補填処理」とも称する）を行う。画素値補填処理を実現する方法（画素値の補填方法）については、種々のバリエーションが存在する。ここで、具体例として第１および第２補填方法について順次に説明する。

＜(２−４−１)第１補填方法＞
図１０から図１２は、第１補填方法を説明するための図である。

図１０では、Ｔ１画像Ｇ１（図３）に対して、Ｔ１物体領域Ａ１１内の点Ｐ１１（ここではＴ１物体領域Ａ１１内の右端の画素を示す点）と、Ｔ１背景領域Ａ１２内の点Ｐ１２（ここではＴ１背景領域Ａ１２内の点Ｐ１１と隣接する画素を示す点）とが便宜的に付された図が示されている。

図１１では、Ｔ２画像Ｇ２（図５）に対して、Ｔ１画像Ｇ１の点Ｐ１１の画素で捉えられていた被写体の部分と同一の部分が捉えられた画素を示す点Ｐ２１と、Ｔ１画像Ｇ１の点Ｐ１２の画素で捉えられていた被写体の部分と同一の部分が捉えられた画素を示す点Ｐ２２とが便宜的に付された図が示されている。

ここでは、図６で示されるように、時刻Ｔ１から時刻Ｔ２にかけて、カメラ２から見て頭部２ＨＵが左方に移動するとともに該頭部２ＨＵの向きが変化する。このとき、Ｔ２画像Ｇ２では、Ｔ１画像Ｇ１で捉えられていない頭部２ＨＵの一部分（以下「物体出現部分」とも称する）ＯＡ２１と背景２ＷＡの一部分（以下「背景出現部分」とも称する）ＢＡ２２とが捉えられている。なお、図６では、物体出現部分ＯＡ２１および背景出現部分ＢＡ２２に太線が付されている。

図１１では、物体出現部分ＯＡ２１を捉えた領域（以下「Ｔ２物体出現領域」とも称する）Ｎ２１に斜線ハッチングが付され、背景出現部分ＢＡ２２を捉えた領域（以下「Ｔ２背景出現領域」とも称する）Ｎ２２に斜線ハッチングが付されて示されている。

第１補填方法では、Ｔ２物体出現領域Ｎ２１およびＴ２背景出現領域Ｎ２２の各画素に係る画素値が、Ｔ１仮想視点画像Ｇ１１（図９）のオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に対して付与される。

具体的には、オクルージョン補填部４６４において機能的に実現される認識部によって、Ｔ１画像Ｇ１とＴ２画像Ｇ２との間で画素の対応付けが行われることで、Ｔ２画像Ｇ２のうちのＴ１画像Ｇ１とは対応していない領域（以下「非対応領域」とも称する）が認識される。ここで言う「画素の対応付け」は、例えば、Ｔ１画像Ｇ１に含まれる各画素について、Ｔ２画像Ｇ２から同一の被写体を捉えた画素を探索する処理であり、いわゆるＳＡＤ(Sum of Absolute Difference)法やＰＯＣ(Phase-only Correlation)法等と称される既存の方法によって実現可能である。

ここで認識される非対応領域には、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２とが含まれる。そして、カメラ２から頭部２ＨＵまでの距離とカメラ２から背景２ＷＡまでの距離との違いに着目することで、Ｔ２距離情報に基づいて、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２とが区別可能に認識される。なお、Ｔ１物体領域Ａ１１における点Ｐ１１とＴ２物体領域Ａ２１における点Ｐ２１との対応関係、すなわち時刻Ｔ１から時刻Ｔ２にかけての物体のシフト量も求まる。

次に、Ｔ２距離情報に基づいて、Ｔ２物体出現領域Ｎ２１の画素とオクルージョン領域Ａｏ１１１の画素とを対応付ける処理（以下「物体対応付け処理」とも称する）、およびＴ２背景出現領域Ｎ２２の画素とオクルージョン領域Ａｏ１１２の画素とを対応付ける処理（以下「背景対応付け処理」とも称する）が行われる。

ここでは、カメラ２が固定されている条件下にあるため、背景対応付け処理では、例えば、Ｔ２背景出現領域Ｎ２２の各画素に対して、Ｔ２距離情報と上式(１)とから視差（シフト量）Δｄが算出され、該シフト量Δｄに従った画素の対応付けが行われる。また、物体対応付け処理では、点Ｐ１１と点Ｐ２１とのズレ量（すなわち時間経過に応じたシフト量）がない簡略化されたケースであれば、背景対応付け処理と同様な処理が行われる。

詳細には、まず、時刻Ｔの撮影によって得られた画像について、任意の各画素のＸ座標がｘ、Ｙ座標がｙとされ、その各画素に係る座標が（ｘ，ｙ，Ｔ）の形式で表され、更に、その各画素に係る画素値がＩ（ｘ，ｙ，Ｔ）の形式で表されるものとする。このとき、Ｔ２距離情報に含まれるＴ２視点から物体出現部分ＯＡ２１の各部までの距離をＤ_f、Ｔ２視点から背景出現部分ＢＡ２２の各部までの距離をＤ_hとすると、距離Ｄ_fが上式(１)のＤに代入されると、Ｔ２物体出現領域Ｎ２１の各画素に係るシフト量Δｄ_fが求まり、距離Ｄ_hが上式(１)のＤに代入されると、Ｔ２背景出現領域Ｎ２２の各画素に係るシフト量Δｄ_hが求まる。

ここで、Ｔ２物体出現領域Ｎ２１内の任意の画素の座標を（ｘ_N21，ｙ_N21，Ｔ２）とすると、該画素が、オクルージョン領域Ａｏ１１１における座標が（ｘ_N21−Δｄ_f，ｙ_N21，Ｔ１）である画素に対応付けられる。また、Ｔ２背景出現領域Ｎ２２内の任意の画素の座標を（ｘ_N22，ｙ_N22，Ｔ２）とすると、該画素が、オクルージョン領域Ａｏ１１２における座標が（ｘ_N22−Δｄ_h，ｙ_N22，Ｔ１）である画素に対応付けられる。このような画素の対応付けがオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に対して行われる。

そして、上記画素の対応付け結果に基づいて、オクルージョン領域Ａｏ１１１内の座標が（ｘ_N21−Δｄ_f，ｙ_N21，Ｔ１）である画素に対して、Ｔ２物体出現領域Ｎ２１内の座標が（ｘ_N21，ｙ_N21，Ｔ２）である画素に係る画素値Ｉ（ｘ_N21，ｙ_N21，Ｔ２）が付与される。また、オクルージョン領域Ａｏ１１２内の座標が（ｘ_N22−Δｄ_h，ｙ_N22，Ｔ１）である画素に対して、Ｔ２背景出現領域Ｎ２２内の座標が（ｘ_N22，ｙ_N22，Ｔ２）である画素に係る画素値Ｉ（ｘ_N22，ｙ_N22，Ｔ２）が付与される。

このような画素値の付与がオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に対して行われることで、画素値補填処理が完了する。

図１２では、Ｔ１仮想視点画像Ｇ１１に対して画素値補填処理が施されることで生成されるＴ１仮想視点画像Ｇ１１ｒが示されている。Ｔ１仮想視点画像Ｇ１１ｒは、図９で示されたＴ１仮想視点画像Ｇ１１をベースとして、オクルージョン領域Ａｏ１１１に対してＴ２物体出現領域Ｎ２１に係る画素値が付与された領域Ｎｏ１１１と、オクルージョン領域Ａｏ１１２に対してＴ２背景出現領域Ｎ２２に係る画素値が付与された領域Ｎｏ１１２とが加えられたものである。図１２では、領域Ｎｏ１１１，Ｎｏ１１２にはそれぞれ斜線のハッチングが付されている。

なお、図１２では、オクルージョン領域Ａｏ１１３が残存しているＴ１仮想視点画像Ｇ１１ｒが例示されている。このため、例えば、Ｔ１仮想視点画像Ｇ１１ｒからオクルージョン領域Ａｏ１１３が含まれないようなサイズの矩形状の外縁を有する画像が生成されるとともに、このサイズに合わせて、Ｔ１画像Ｇ１から同一サイズの矩形状の外縁を有する画像が生成されても良い。また、オクルージョン領域Ａｏ１１３に対して、近傍の画素に係る画素値と同一の画素値が付与される構成も考えられる。

ところで、点Ｐ１１と点Ｐ２１とのズレ量（すなわち時間経過に応じたシフト量）があれば、物体対応付け処理は、該シフト量が加味された処理であることが好ましい。このような物体対応付け処理では、例えば、点Ｐ１１と点Ｐ２１との間におけるシフト量をΔｄ_fTとすれば、Ｔ２物体出現領域Ｎ２１内の座標が（ｘ_N21，ｙ_N21，Ｔ２）の画素が、オクルージョン領域Ａｏ１１１内の座標が（ｘ_N21−Δｄ_f−Δｄ_fT，ｙ_N21，Ｔ１）である画素に対応付けられる。

このような構成では、物体対応付け処理の精度を向上させる観点から言えば、点Ｐ２１の画素は、Ｔ２物体出現領域Ｎ２１の近傍の画素であることが好ましく、例えば、Ｔ２物体出現領域Ｎ２１の隣接画素であっても良いし、Ｔ２物体出現領域Ｎ２１から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、Ｔ２視点から被写体までの距離と解像度との関係から設定されても良い。

また、オクルージョン領域Ａｏ１１１，Ａｏ１１２のうち、上記画素値補填処理によっての画素値が付与されていない領域の各画素に対して、その近傍の画素の画素値を用いた補間処理によって画素値が付与されても良い。

図１３は、情報処理システム１において実現される画素値補填処理の動作フローを例示するフローチャートである。

図１３で示されるように、まず、時刻Ｔ１において、カメラ２による撮影動作に応じて画像取得部４６１によってＴ１画像Ｇ１が取得され（ステップＳＴ１）、測距機３による測距動作に応じて距離情報取得部４６２によってＴ１距離情報が得られる（ステップＳＴ２）。次に、時刻Ｔ２において、カメラ２による撮影動作に応じて画像取得部４６１によってＴ２画像Ｇ２が取得され（ステップＳＴ３）、測距機３による測距動作に応じて距離情報取得部４６２によってＴ２距離情報が得られる（ステップＳＴ４）。その次に、仮想視点画像生成部４６３によってＴ１画像Ｇ１とＴ１距離情報とに基づいてＴ１仮想視点画像が生成される（ステップＳＴ５）。そして、オクルージョン補填部４６４によってオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に対する画素値の付与が行われる（ステップＳＴ６）。

なお、カメラ２によって３以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた画像（仮想視点画像）が得られても良い。

また、オクルージョン領域Ａｏ１１１，Ａｏ１１２のうちの少なくとも一方の領域の各画素に対して画素値が付与されるような構成も考えられる。

例えば、頭部２ＨＵが回転せず、Ｔ２物体出現領域Ｎ２１が生じないケースでは、背景２ＷＡに係るオクルージョン領域Ａｏ１１２の各画素に対して画素値が付与されれば良い。

図１４は、時刻Ｔ１から時刻Ｔ２にかけて頭部２ＨＵがカメラ２から見て左方に若干移動した後の状態において撮影が行われることで得られるＴ２画像Ｇ２ａを例示するイメージ図である。図１５は、Ｔ２画像Ｇ２ａの撮影条件を例示する模式図である。

図１５では、図４および図６と同様に、カメラ２、人物２ＨＵ、および背景２ＷＡの配置関係を上方から見た模式図が示されており、カメラ２の撮影可能領域の外縁が太い一点鎖線で示され、頭部２ＨＵに係る近景光路の外縁が細い一点鎖線で示されている。また、時刻Ｔ１における頭部２ＨＵの位置および該頭部２ＨＵに係る近景光路の外縁が細い破線で示されている。

図１４および図１５で示されるように、Ｔ２画像Ｇ２ａは、頭部２ＨＵを捉えたＴ２物体領域Ａ２１ａと、背景２ＷＡを捉えたＴ２背景領域Ａ２２ａとによって構成される。そして、Ｔ２画像Ｇ２ａでは、Ｔ２背景出現領域Ｎ２２ａが生じている。図１５では、Ｔ２背景出現領域Ｎ２２ａに対応する部分ＢＡ２２ａに太線が付されている。このようなケースでは、Ｔ２背景出現領域Ｎ２２ａの画素値に基づいて、オクルージョン領域Ａｏ１１２の各画素に対して画素値が付与される。但し、Ｔ２画像Ｇ２ａからは、オクルージョン領域Ａｏ１１１に対応する画素値が得られない。

図１６は、画素値補填処理が施された後のＴ１仮想視点画像Ｇ１１ｒａを例示する図である。Ｔ１仮想視点画像Ｇ１１ｒａは、図９で示されたＴ１仮想視点画像Ｇ１１をベースとして、オクルージョン領域Ａｏ１１２に対してＴ２背景出現領域Ｎ２２ａに係る画素値が付与された領域Ｎｏ１１２ａが加えられたものである。図１６では、領域Ｎｏ１１２ａに斜線のハッチングが付されている。

また、例えば、頭部２ＨＵの動きによって、Ｔ２背景出現領域Ｎ２２が生じないケースでは、頭部２ＨＵに係るオクルージョン領域Ａｏ１１１の各画素に対して画素値が付与されれば良い。

図１７は、時刻Ｔ１から時刻Ｔ２にかけて頭部２ＨＵが上方から見て時計回りに若干の角度（例えば２０度程度）回転した後の状態において撮影が行われることで得られるＴ２画像Ｇ２ｂを例示するイメージ図である。図１８は、Ｔ２画像Ｇ２ｂの撮影条件を例示する模式図である。

図１８では、図４、図６、および図１５と同様に、カメラ２、人物２ＨＵ、および背景２ＷＡの配置関係を上方から見た模式図が示されており、カメラ２の撮影可能領域の外縁が太い一点鎖線で示され、頭部２ＨＵに係る近景光路の外縁が細い一点鎖線で示されている。ここでは、時刻Ｔ１における頭部２ＨＵの位置が細い破線で示されており、時刻Ｔ１における頭部２ＨＵに係る近景光路の外縁は、時刻Ｔ２における頭部２ＨＵに係る近景光路の外縁と略同一となる。

図１７および図１８で示されるように、Ｔ２画像Ｇ２ｂは、頭部２ＨＵを捉えたＴ２物体領域Ａ２１ｂと、背景２ＷＡを捉えたＴ２背景領域Ａ２２ｂとによって構成される。そして、Ｔ２画像Ｇ２ｂでは、Ｔ２物体出現領域Ｎ２１ｂが生じている。図１８では、Ｔ２背景出現領域Ｎ２１ａに対応する部分ＯＡ２１ｂに太線が付されている。このようなケースでは、Ｔ２物体出現領域Ｎ２１ｂの画素値に基づいて、オクルージョン領域Ａｏ１１１の各画素に対して画素値が付与される。但し、Ｔ２画像Ｇ２ｂからは、オクルージョン領域Ａｏ１１２に対応する画素値が得られない。

図１９は、画素値補填処理が施された後のＴ１仮想視点画像Ｇ１１ｒｂを例示する図である。Ｔ１仮想視点画像Ｇ１１ｒｂは、図９で示されたＴ１仮想視点画像Ｇ１１をベースとして、オクルージョン領域Ａｏ１１１に対してＴ２物体出現領域Ｎ２１ｂに係る画素値が付与された領域Ｎｏ１１１ｂが加えられたものである。図１９では、領域Ｎｏ１１１ｂに斜線のハッチングが付されている。

以上のように、第１補填方法に係る画素値補填処理では、Ｔ１仮想視点画像Ｇ１１におけるＴ１非撮影領域の各画素に係る画素値が、撮影時刻が異なるＴ２画像Ｇ２に基づいて補填される。このため、視覚的に違和感のない画素値補填処理後のＴ１仮想視点画像（以下「補填済みＴ１仮想視点画像」とも称する）が生成される。

＜(２−４−２)第２補填方法＞
第２補填方法では、上記第１補填方法と比較して、物体対応付け処理および背景対応付け処理がより正確に行われる。なお、第２補填方法は、物体対応付け処理および背景対応付け処理以外は、上記第１補填方法と同様となる。以下、第２補填方法について、上記第１補填方法と異なる物体対応付け処理および背景対応付け処理について説明し、上記第１補填方法と同様な部分については、重複説明を省略する。

第２補填方法では、物体対応付け処理および背景対応付け処理が、同様な方法によって行われるため、以下では、物体対応付け処理と背景対応付け処理とを、まとめて「対応付け処理」と総称する。

ここでは、Ｔ２物体出現領域Ｎ２１およびＴ２背景出現領域Ｎ２２内の任意の画素の座標を（ｘ_N2，ｙ_N2，Ｔ２）とする。また、Ｔ２画像Ｇ２のうちのＴ１画像Ｇ１と対応する領域、すなわちＴ１画像Ｇ１で捉えられた被写体の部分と同一の部分が捉えられた領域を「対応領域」と称するものとする。更に、Ｔ２物体領域Ａ２１のうちのＴ１物体領域Ａ１１で捉えられた被写体の部分と同一の部分が捉えられた領域を「物体対応領域」と称し、Ｔ２背景領域Ａ２２のうちのＴ１背景領域Ａ１２で捉えられた被写体の部分と同一の部分が捉えられた領域を「背景対応領域」と称する。なお、「物体対応領域」と「背景対応領域」とを「対応領域」と総称する。

第２補填方法に係る対応付け処理では、まず、第１ステップとして、次の３つの条件(具体的には、条件１〜３)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。

(条件１)Ｔ１画像Ｇ１で捉えられている被写体の部分であること。

(条件２)Ｔ２画像Ｇ２のうちの、対応付け処理の対象となっている座標が（ｘ_N2，ｙ_N2，Ｔ２）である画素（以下「Ｔ２処理対象画素」とも称する）の近傍に位置する画素（近傍画素）で捉えられている被写体の部分であること。

(条件３)Ｔ２処理対象画素（以下「Ｔ２処理対象点」とも称する）で捉えられている被写体の部分と、カメラ２からの離隔距離が略同一である被写体の部分であること。

具体的には、オクルージョン補填部４６４の設定部として働く部分によって、対応領域のうちの上記３つの条件（具体的には、条件１〜３）を満たす画素がＴ２基準画素（以下「Ｔ２基準点」とも称する）として設定される。ここでは、Ｔ２基準点の座標を（ｘ₂，ｙ₂，Ｔ２）とする。例えば、Ｔ２処理対象点がＴ２物体出現領域Ｎ２１に含まれる場合は、点Ｐ２１（図１１）等がＴ２基準点として設定され、Ｔ２処理対象点がＴ２背景出現領域Ｎ２２に含まれる場合は、点Ｐ２２（図１１）等がＴ２基準点として設定される。

なお、上記条件２の「近傍画素」としては、Ｔ２処理対象点の画素と同一の物体（または同一の背景）を捉えた画素と推定される画素であれば良い。

例えば、Ｔ２処理対象点がＴ２物体出現領域Ｎ２１に含まれる場合には、近傍画素は、物体対応領域内の画素であれば良い。そして、物体対応付け処理の精度を向上させる観点から言えば、該近傍画素は、Ｔ２処理対象点からの離隔距離がより短く且つＴ２物体出現領域Ｎ２１の近傍の画素であることが好ましい。従って、該近傍画素は、Ｔ２物体出現領域Ｎ２１の隣接画素であっても良いし、Ｔ２物体出現領域Ｎ２１から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、被写体までの距離と解像度との関係から設定されても良い。

また、Ｔ２処理対象点がＴ２背景出現領域Ｎ２２に含まれる場合には、近傍画素は、背景対応領域内の画素であれば良い。そして、背景対応付け処理の精度を向上させる観点から言えば、該近傍画素は、Ｔ２処理対象点からの離隔距離がより短く且つＴ２背景出現領域Ｎ２２の近傍の画素であることが好ましい。従って、該近傍画素は、Ｔ２背景出現領域Ｎ２２の隣接画素であっても良いし、Ｔ２背景出現領域Ｎ２２から所定数の範囲内の画素であっても良い。該所定数としては、例えば、数個等が考えられ、被写体までの距離と解像度との関係から設定されても良い。

また、上記条件３の「カメラ２からの離隔距離が略同一」については、測距の精度によって略同一の範囲として許容される範囲は異なるが、例えば、カメラ２からＴ２処理対象点の画素で捉えられた被写体の部分までの離隔距離に対してある程度の範囲内の離隔距離を含む。この「ある程度の範囲」は、カメラ２からＴ２処理対象点の画素で捉えられた被写体の部分までの離隔距離に対する所定割合の範囲（例えば、数％〜１０％程度等）に設定されても良く、対応付け処理の精度を向上させる観点から言えば、狭ければ狭いほど好ましい。

ここで、第１画像Ｇ１のうちのＴ２基準点と同じ被写体の部分が捉えられた画素をＴ１基準画素（以下「Ｔ１基準点」とも称する）とし、Ｔ１基準点の座標を（ｘ₁，ｙ₁，Ｔ１）とする。例えば、Ｔ２基準点がＴ２物体領域Ａ２１に含まれる場合には、Ｔ１物体領域Ａ１１に含まれる点Ｐ１１（図１０）等がＴ１基準点として設定され、Ｔ２基準点がＴ２背景領域Ａ２２に含まれる場合には、Ｔ１背景領域Ａ１２に含まれる点Ｐ１２（図１０）等がＴ１基準点として設定される。

また、Ｔ１視点からＴ１基準点の画素で捉えられた被写体の部分までの距離をＤ₁(Ｔ１)とし、Ｔ２視点からＴ２基準点の画素で捉えられた被写体の部分までの距離をＤ₂(Ｔ２)とし、Ｔ２視点からＴ２処理対象点の画素で捉えられた被写体の部分までの距離をＤ_N2(Ｔ２)とする。更に、オクルージョン領域Ａｏ１１１，Ａｏ１１２のうち、Ｔ２処理対象点の画素値が付与される対象となる画素をＴ１被補填画素（以下「Ｔ１被補填点」とも称する）とし、該Ｔ１被補填点の座標を（ｘ_o11，ｙ_o11，Ｔ１）とする。

距離Ｄ₁(Ｔ１)は、Ｔ１距離情報から得られ、距離Ｄ₂(Ｔ２)および距離をＤ_N2(Ｔ２)は、Ｔ２距離情報から得られる。また、Ｔ１仮想視点画像Ｇ１１上でＴ１基準点と同じ被写体の部分が捉えられた画素をＴ１仮想基準画素（以下「Ｔ１仮想基準点」とも称する）とし、Ｔ１画像Ｇ１におけるＴ１基準点の座標と、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の座標との差（以下「Ｔ１視差」とも称する）をΔｄ_T1とすると、Ｔ１視差Δｄ_T1は、距離Ｄ₁(Ｔ１)が上式(１)に代入されることで求められる。そして、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の座標は（ｘ₁−Δｄ_T1，ｙ₁，Ｔ１）と表される。

なお、例えば、Ｔ１基準点が点Ｐ１１（図１０）であれば、Ｔ１仮想基準点が点Ｐ１１１（図９）となり、Ｔ１基準点が点Ｐ１２（図１０）であれば、Ｔ１仮想基準点が点Ｐ１１２（図９）となる。

また、Ｔ２基準点の座標について、距離Ｄ₂(Ｔ２)が上式(１)に代入されることで求められる視差（以下「Ｔ２視差」とも称する）をΔｄ_T2とする。ここでは、仮に、Ｔ２画像Ｇ２と、Ｔ２視点から被写体の各部分までの距離を示すＴ２距離情報とに基づいて、Ｔ２仮想視点からの撮影によって取得され得る画像（以下「Ｔ２仮想視点画像」）が生成された場合を想定する。なお、Ｔ１視点とＴ１仮想視点との位置関係と、Ｔ２視点とＴ２仮想視点との位置関係とは同一である。この場合、Ｔ２視差Δｄ_T2は、Ｔ２仮想視点画像におけるＴ２基準点と同一の部分が捉えられた点（以下「Ｔ２仮想基準点」とも称する）と、Ｔ２画像Ｇ２におけるＴ２基準点との間における座標のズレ量に相当する。

更に、Ｔ１仮想視点画像Ｇ１１において、Ｔ２処理対象点と同一の被写体の部分が捉えられた画素をＴ１仮想処理対象画素（以下「Ｔ１仮想処理対象点」とも称する）とする。このＴ１仮想処理対象点が、Ｔ１被補填点に相当する。

次に、対応付け処理の第２ステップとして、下記計算式に従った処理によって、Ｔ１被補填点の座標が求められる。

具体的には、Ｔ１視点とＴ１仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、Ｔ１被補填点のＸ座標の値ｘ_o11は、下式(２)の関係を有する。

ｘ_o11＝{ｘ₁−Δｄ_T1}＋(ｘ_N2−ｘ₂)＋{Δｄ_T1−Δｄ_T2} ・・・(２)。

ここで、上式(２)の右辺の第１項は、Ｔ１仮想視点画像Ｇ１１のうちのオクルージョン領域に属しない画素のＸ座標を示し、具体的には、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の位置情報を示す。詳細には、Ｔ１仮想視点画像Ｇ１１のうちのＴ１基準点に対応するＴ１仮想基準点のＸ座標に相当する。

上式(２)の右辺の第２項は、Ｔ２画像Ｇ２上におけるＴ２基準点とＴ２処理対象点との間における座標の差（以下「Ｔ２ズレ量」と称する）を示す。すなわち、Ｔ２画像Ｇ２におけるＴ２基準点とＴ２処理対象点との相対的な位置関係を示す。なお、ここでは、Ｔ２視点からＴ２基準点で捉えられた被写体の部分までの距離と、Ｔ２視点からＴ２処理対象点で捉えられた被写体の部分までの距離とが同一である場合には、Ｔ１仮想視点画像Ｇ１１のおけるＴ１仮想基準点とＴ１仮想処理対象点との間における座標の差（以下「Ｔ１仮想ズレ量」とも称する）は、Ｔ２ズレ量と同一となる。

上式(２)の右辺の第３項は、Ｔ１視差Δｄ_T1とＴ２視差Δｄ_T2との違い（Δｄ_T1−Δｄ_T2）を示す。仮に、Ｔ１視差Δｄ_T1とＴ２視差Δｄ_T2とが異なれば、Ｔ２画像Ｇ２上におけるＴ２基準点とＴ２処理対象点とのズレ量（Ｔ２ズレ量）と、Ｔ１仮想視点画像Ｇ１１上におけるＴ１仮想基準点とＴ１仮想処理対象点とのズレ量（Ｔ１仮想ズレ量）との間に差が生じる。そこで、右辺の第３項は、Ｔ２ズレ量とＴ１仮想ズレ量との間の差を補正する役割を有する。

このような上式(２)に従った演算により、物体対応付け処理と背景対応付け処理とを含む対応付け処理が実現される。つまり、対応付け処理が、オクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素、すなわち座標（ｘ_o11，ｙ_o11，Ｔ１）のＴ１被補填点に対して、座標（ｘ_N2，ｙ_N2，Ｔ２）のＴ２処理対象点が対応付けられる。

なお、このような対応付け処理の結果に応じて、座標（ｘ_N2，ｙ_N2，Ｔ２）のＴ２処理対象点の画素値Ｉ（ｘ_N2，ｙ_N2，Ｔ２）が、座標（ｘ_o11，ｙ_o11，Ｔ１）のＴ１被補填点の画素値として付与される。つまり、Ｉ（ｘ_o11，ｙ_o11，Ｔ１）＝Ｉ（ｘ_N2，ｙ_N2，Ｔ２）の関係が成立する。

以上のように、第２補填方法に係る画素値補填処理では、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の位置情報と、Ｔ２画像におけるＴ２基準点とＴ２処理対象点との相対的な位置関係とに基づき、Ｔ１仮想視点画像Ｇ１１においてＴ２処理対象点に対応するＴ１被補填点が特定される。そして、該Ｔ１被補填点に対してＴ２処理対象点に係る画素値が付与される。このため、Ｔ１非撮影領域の各画素に係る画素値が高精度で求められる。その結果、視覚的に違和感のない補填済みＴ１仮想視点画像がより確実に生成される。

なお、Ｔ１視点とＴ１仮想視点とが、地面に対して垂直な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有する場合には、Ｙ座標について上式(２)と同様な数式を設定し、Ｔ１被補填点のＹ座標の値を求めれば良い。更に、Ｔ１視点とＴ１仮想視点とが、地面に対して水平な方向にも垂直な方向にもずらされた位置関係を有する場合には、Ｘ座標およびＹ座標の双方について上式(２)と同様な数式を設定し、Ｔ１被補填点のＸ座標およびＹ座標の値を求めれば良い。

ところで、第２補填法に係る対応付け処理の第１ステップでは、３つの条件（具体的には、条件１〜３）を満たすようにＴ２基準点が設定されたが、例えば、条件３を除く２つの条件（具体的には、条件１，２）を満たすようにＴ２基準点が設定されても良い。但し、上式(２)における右辺の第３項による補正の効果を高めて、対応付け処理の精度を向上させる観点から言えば、条件３も満たすようにＴ２基準点が設定される方が好ましい。

＜(２−５)立体視画像生成部＞
立体視画像生成部４６５は、Ｔ１画像とＴ１仮想視点画像とから、いわゆる立体視が可能な３Ｄ画像を生成する。なお、カメラ２によって３以上のタイミングで得られる多数の画像について、それぞれ視点を仮想的に異ならせた仮想視点画像が得られる場合には、同一撮影時刻に係る画像とその仮想視点画像との各ペアの画像に基づいて、動画の態様の３Ｄ画像が生成される。立体視画像生成部４６５で生成される３Ｄ画像については、例えば、記憶部４４および記憶媒体９の何れかに記憶される。そして、該３Ｄ画像は、表示部４２において適時可視的に出力されても良い。

＜(３)本実施形態のまとめ＞
以上のように、一実施形態に係る情報処理システム１で実現される画像処理システムによれば、Ｔ１仮想視点画像Ｇ１１におけるオクルージョン領域の各画素に係る画素値が、撮影時刻が異なるＴ２画像Ｇ２に基づいて補填される。このため、視覚的に違和感のない補填済みＴ１仮想視点画像の生成が可能となる。その結果、視覚的に違和感のない立体視可能な３Ｄ画像の生成が可能となる。

また、Ｔ１画像Ｇ１とＴ２画像Ｇ２との間における画素の対応付けによって、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２とが認識される。その結果、オクルージョン領域の各画素に係る画素値が容易に求められるため、視覚的に違和感のない補填済みＴ１仮想視点画像の生成が短時間で実行される。

更に、Ｔ１仮想視点画像Ｇ１１におけるＴ１仮想基準点の位置情報と、Ｔ２画像Ｇ２におけるＴ２基準点とＴ２処理対象点との相対的な位置関係とに基づいて、Ｔ１仮想視点画像Ｇ１１においてＴ２処理対象点に対応するＴ１被補填点が特定される。このため、オクルージョン領域の各画素に係る画素値が高精度で求められる。その結果、視覚的に違和感のない補填済みＴ１仮想視点画像がより確実に生成される。

＜(４)変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

＜(４−１)一実施形態をベースとした変形例＞
◎例えば、上記一実施形態では、画像上における２次元の位置を示す情報が主に用いられて、Ｔ２処理対象点に対応するＴ１被補填点が特定されたが、これに限られない。例えば、３次元の位置を示す情報が用いられて、Ｔ２処理対象点に対応するＴ１被補填点が特定されても良い。以下、具体例を示して説明する。

図２０は、一変形例に係る情報処理装置４の仮想視点画像生成動作に係る機能的な構成を示す図である。ここでは、記憶部４４に格納されたプログラムＰＧＡが制御部４６で実行されることで、制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。

図２０で示されるように、制御部４６は、機能的な構成として、画像取得部４６１、距離情報取得部４６２、仮想視点画像生成部４６３、オクルージョン補填部４６４Ａ、立体視画像生成部４６５、物体推定部４６６、および情報更新部４６７を有する。なお、画像取得部４６１、距離情報取得部４６２、仮想視点画像生成部４６３、および立体視画像生成部４６５については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。

物体推定部４６６は、Ｔ１画像Ｇ１から特定種類の物体（ここでは、頭部）が捉えられたＴ１物体領域Ａ１１を検出するとともに、Ｔ２画像Ｇ２から特定種類の物体（ここでは、頭部）が捉えられたＴ２物体領域Ａ２１を検出する。例えば、頭部や顔の一般的な形状や画素値のパターン等を用いたパターンマッチングによって、Ｔ１画像Ｇ１からＴ１物体領域Ａ１１を検出することが可能であり、Ｔ２画像Ｇ２からＴ２物体領域Ａ２１を検出することが可能である。

また、演算部としての物体推定部４６６は、距離情報取得部４６２から得られるＴ１距離情報に基づき、Ｔ１物体領域Ａ１１を構成する各画素で捉えられている被写体の部分について３次元空間における位置を示す情報（３次元情報）を算出する。また、該物体推定部４６６は、距離情報取得部４６２から得られるＴ２距離情報に基づき、Ｔ２物体領域Ａ２１を構成する各画素で捉えられている被写体の部分について３次元空間における位置を示す情報（３次元情報）を算出する。

例えば、上式(１)の関係を利用すると、各部分の３次元空間における座標（Ｘｏ，Ｙｏ，Ｚｏ）は、下式(３)〜(５)によって算出される。ここで、Ｘｏ、Ｙｏ、およびＺｏは、相互に直交するＸ、Ｙ、およびＺの３軸に係る座標を示す。そして、カメラ２から被写体の部分に向けた方向がＺ軸が伸びる方向に相当し、Ｔ１視点からＴ２視点に向けた方向がＸ軸が伸びる方向に相当し、Ｘ軸およびＺ軸に対して直交し且つ地面に対して垂直な方向がＹ軸が伸びる方向に相当する。

Ｘｏ＝ｘＤ／ｆ ・・・(３)
Ｙｏ＝ｙＤ／ｆ ・・・(４)
Ｚｏ＝Ｄ ・・・(５)。

情報更新部４６７は、Ｔ１物体領域Ａ１１を構成する各画素について、その３次元情報とその画素値とを関連付けて、物体情報４４１として記憶部４４に記憶する。つまり、上記物体情報４４１は、特定種類の物体（ここでは、頭部）の３次元形状に関する情報を含む。

また、情報更新部４６７は、Ｔ２物体領域Ａ２１のうちのＴ１物体領域Ａ１１を構成する各画素とは同一の部分を捉えていない各画素について、その３次元情報とその画素値とを関連付けて、物体情報４４１に追加する。換言すれば、物体推定部４６６によるＴ２物体領域Ａ２１に係る算出結果に基づいて、Ｔ２物体領域Ａ２１のうちのＴ１物体領域Ａ１１に対応していない各画素（つまり非対応領域の各画素）に対して、その３次元情報とその画素値とが関連付けられて、物体情報４４１に追加される。すなわち、特定種類の物体の新たな３次元情報が得られる度に、物体情報４４１が更新され、特定種類の物体（ここでは、頭部）に係る情報が充実化される。

ここでは、Ｔ１物体領域Ａ１１とＴ２物体領域Ａ２１との間で、同一の被写体の部分が捉えられている画素を認識する対応付けが行われることにより、Ｔ１物体領域Ａ１１では捉えられていない被写体の部分が捉えられている画素（すなわちＴ２物体出現領域Ｎ２１に係る画素）がＴ２物体領域Ａ２１から認識される。そして、Ｔ１画像Ｇ１が図３で示されるようなものであり、Ｔ２画像Ｇ２が図５で示されるようなものであれば、物体情報４４１に頭部の左側の部分の情報が追加される。

なお、３次元形状に係る情報が更新される際には、Ｔ１画像Ｇ１とＴ２画像Ｇ２とによって重複して捉えられている部分に係る３次元形状が整合するように、物体情報４４１に既に含まれている３次元形状に係る情報に対して、新たな３次元形状に係る情報が追加される。

オクルージョン補填部４６４Ａは、物体情報４４１を参照することで、該物体情報４４１に基づいて、Ｔ１仮想視点画像Ｇ１１のうちの非撮影領域（具体的には、オクルージョン領域Ａｏ１１１）の各画素に対して画素値を付与する。ここでは、Ｔ１仮想物体領域Ａ１１１のうちのオクルージョン領域Ａｏ１１１に含まれない点（例えば、鼻の頂点が捉えられている点）が基準となる特徴点とされて、物体情報４４１に基づき、オクルージョン領域Ａｏ１１１に対応する３次元空間における座標およびその画素値が求められる。

このような構成によっても、上記一実施形態と同様に、視覚的に違和感のない補填済みＴ１仮想視点画像の生成が可能となる。そして、非撮影領域の各画素に係る画素値がより確実に求められる。

◎また、上記一実施形態では、Ｔ２画像Ｇ２の画素と、オクルージョン領域Ａｏ１１１，Ａｏ１１２の画素との対応付けを行う対応付け処理が行われたが、この対応付け処理を簡略化することで、画素値補填処理に係る処理速度を飛躍的に向上させることが可能である。具体例としては、例えば、次の補填方法が考えられる。

図２１は、一変形例に係るオクルージョン領域の補填方法を説明するための図である。本変形例では、上記一実施形態と比較して、オクルージョン補填部４６４の処理における補填方法が簡略化されたものとなっている。

ここでは、まず、Ｔ２視点についても、Ｔ１視点に対するＴ１仮想視点の位置関係と同一の位置関係を有するＴ２仮想視点が仮定される。そして、上記一実施形態に係る仮想視点画像生成動作と同様な方法で、Ｔ２画像Ｇ２とＴ２距離情報とに基づき、Ｔ２仮想視点画像Ｇ２１が擬似的に生成される。次に、図２１で示されるように、オクルージョン補填部４６４によって、Ｔ２仮想視点画像Ｇ２１のうちの、Ｔ１仮想視点画像Ｇ１１における非撮影領域の画素と同一座標の画素に係る画素値が、該非撮影領域の画素に対して付与される。そして、このような画素値の付与が非撮影領域の各画素に対して可能な限り行われる。

このような単純な態様の画素値の補填方法は、例えば、物体が移動してＴ２画像Ｇ２においてＴ２背景出現領域Ｎ２２が生じるようなケースに適用可能である。そして、このようなケースでは、例えば、Ｔ２背景出現領域Ｎ２２の各画素の画素値が、オクルージョン領域Ａｏ１１２の各画素に対して付与される。

なお、このような補填方法では、時刻Ｔ１を基準とした過去および未来のうちの少なくとも一方に係る複数の異なる時刻に撮影された複数の画像からそれぞれ生成される複数の仮想視点画像の各画素の画素値が、非撮影領域の同一座標の画素に対してそれぞれ付与されても良い。これにより、オクルージョン領域のより広い領域についての画素値の補填が可能となる。

そして、このような一変形例によれば、演算量の低減による処理の高速化が図られる。

◎また、上記一実施形態では、測距機３によってＴ１距離情報およびＴ２距離情報が得られたが、これに限られない。例えば、測距機３によらずにＴ１距離情報およびＴ２距離情報を得ても良い。具体例としては、次のような構成が考えられる。

図２２は、一変形例に係る情報処理システム１Ｂの概略構成を示す図である。一変形例に係る情報処理システム１Ｂは、上記一実施形態に係る情報処理システム１と比較して、測距機３が取り除かれ、制御部４６に読み込まれて各種機能等を実現させるためのプログラムＰＧが異なる各種機能等を実現させるためのプログラムＰＧＢに変更されているが、その他の構成については、同様な構成を備える。

図２３は、一変形例に係る情報処理装置４の機能的な構成を示す図である。ここでは、記憶部４４に格納されたプログラムＰＧＢが制御部４６で実行されることで、制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。

図２３で示されるように、制御部４６は、機能的な構成として、画像取得部４６１、仮想視点画像生成部４６３、オクルージョン補填部４６４Ｂ、立体視画像生成部４６５、および距離情報推定部４６８を有する。なお、画像取得部４６１、仮想視点画像生成部４６３、および立体視画像生成部４６５については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。

距離情報推定部４６８は、Ｔ１画像Ｇ１で捉えられている物体とカメラ２（つまりＴ１視点）との距離（すなわちＴ１距離情報）を推定する。

ここでは、例えば、まず、特定種類の物体（ここでは頭部や顔）の一般的な形状や画素値のパターン等を用いたパターンマッチングによって、Ｔ１画像Ｇ１からＴ１物体領域Ａ１１を検出することが可能である。その特定種類の物体の一般的な形状情報または奥行き情報等が記憶部４４に記憶されていれば、次に、該一般的な形状情報または奥行き情報等に基づいて、Ｔ１距離情報が推定される。仮想視点画像生成部４６３では、推定されたＴ１距離情報とＴ１画像Ｇ１とに基づいて、Ｔ１仮想視点画像Ｇ１１が生成される。

オクルージョン補填部４６４Ｂでは、まず、Ｔ１画像Ｇ１とＴ２画像Ｇ２との間で画素の対応付けを行う処理が行われることで、Ｔ２画像Ｇ２のうちのＴ１画像Ｇ１とは対応していない非対応領域が認識される。次に、非対応領域の画素パターンが、Ｔ１仮想視点画像Ｇ１１のオクルージョン領域に貼り付けられることで、画素値の補填が行われる。

なお、非対応領域とオクルージョン領域とのサイズが若干異なる場合には、非対応領域の画素パターンが拡大または縮小された後にオクルージョン領域に貼り付けられれば良い。また、非対応領域とオクルージョン領域との形状が若干異なる場合には、非対応領域の画素パターンがオクルージョン領域の全域を覆う程度拡張されて、非対応領域の画素パターンがオクルージョン領域に貼り付けられても良い。なお、このとき、オクルージョン領域からはみ出る画素パターンについては、貼り付けないことが好ましい。

このような構成が採用されれば、画素値補填処理の高速化が図られる。

なお、本変形例では、推定されたＴ１距離情報とＴ１画像Ｇ１とに基づいて、Ｔ１仮想視点画像Ｇ１１が生成される例が示されたが、これに限られない。例えば、Ｔ１画像Ｇ１と、Ｔ２画像Ｇ２と、外部の装置等において既に生成されたＴ１仮想視点画像Ｇ１１とが取得されて、オクルージョン領域の補填処理が行われるような構成も考えられる。

◎また、上記一実施形態では、時刻Ｔ１よりも後の時刻Ｔ２における撮影で得られるＴ２画像Ｇ２に基づいて、Ｔ１仮想視点画像Ｇ１１のオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に係る画素値が補填されたが、これに限られない。時刻Ｔ１よりも時刻Ｔ２の方が時間的に前の時刻であっても良い。つまり、Ｔ１画像Ｇ１の撮影時刻Ｔ１よりも前の撮影時刻Ｔ２に係るＴ２画像Ｇ２に基づいて、Ｔ１仮想視点画像Ｇ１１のオクルージョン領域Ａｏ１１１，Ａｏ１１２の各画素に係る画素値が補填されても良い。すなわち、過去のＴ２画像Ｇ２に基づいて、その後の撮影時刻Ｔ１に係るＴ１画像Ｇ１から生成されるＴ１仮想視点画像Ｇ１１に対して画素値の補填が行われても良い。このような構成は、画像処理によって表示に係るタイムラグを生じさせたくないケース、例えば生放送に係る動画像が扱われるケース等に適している。

一方、既に取得が終了している動画像等が扱われる場合には、Ｔ１画像Ｇ１を基準とした過去および未来の何れのＴ２画像Ｇ２に基づいてＴ１仮想視点画像Ｇ１１に対する画素値の補填が行われても良い。また、時刻Ｔ１を基準とした過去および未来の画像の双方に基づいた画素値の補填が行われても良い。更に、時刻Ｔ１を基準とした過去および未来のうちの少なくとも一方における複数回の撮影によって得られる複数の画像が用いられて、該複数の画像における画素値の平均値や画素値の最頻出値が利用された画素値の補填が行われても良い。

◎また、上記一実施形態では、カメラ２の位置および姿勢が固定されているケースについて説明したが、これに限られない。上記一実施形態の第２補填方法に係る画素値補填処理については、カメラ２の位置および姿勢が変化するケースにも適用可能である。

◎また、上記一実施形態では、Ｔ１画像Ｇ１とＴ２画像Ｇ２との間における画素の対応付けが行われることで、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２とを含む非対応領域が認識されたが、これに限られない。例えば、Ｔ１画像Ｇ１およびＴ２画像Ｇ２がＭＰＥＧ形式の動画ファイルを構成する２つのフレーム画像である場合には、該ＭＰＥＧ形式の動画ファイルに含まれる動きベクトルの情報に基づいて、Ｔ２物体出現領域Ｎ２１とＴ２背景出現領域Ｎ２２と含む非対応領域が認識されても良い。このような構成によれば、オクルージョン領域Ａｏ１１１，Ａｏ１１２に相当する非撮影領域の各画素に係る画素値を特定するための演算量が低減される。このため、視覚的に違和感のない補填済みＴ１仮想視点画像の生成が更に短時間で実行可能となる。

◎また、上記一実施形態では、測距機３における測距方法がレーザーを用いたものであったが、これに限られない。測距機３における測距方法については、例えば、レーダーによる測距方法や、光を投影して測距を行う方法（光切断法）等のその他の方法が採用されても良い。

また、測距機３が用いられてＴ１距離情報とＴ２距離情報とが得られる代わりに、時刻Ｔ１および時刻Ｔ２において、複数台のカメラによる撮影によって異なる視点からの複数の画像がそれぞれ取得された上で、該複数の画像からＴ１距離情報およびＴ２距離情報が得られても良い。

図２４は、２台のカメラ２１Ｃ，２２Ｃを用いてＴ１距離情報とＴ２距離情報とが得られる情報処理システム１Ｃの概略構成を示す図である。本変形例に係る情報処理システム１Ｃは、上記一実施形態に係る情報処理システム１と比較して、測距機３が取り除かれ、１台のカメラ２が２台のカメラ２１Ｃ，２２Ｃから成るステレオカメラに変更され、制御部４６に読み込まれて各種機能等を実現させるためのプログラムＰＧが異なる各種機能等を実現させるためのプログラムＰＧＣに変更されているが、その他の構成については、同様である。

なお、２台のカメラ２１Ｃ，２２Ｃについては、それらの光軸が略平行であり、該光軸に対して垂直な方向にシフトされた位置関係を有する。この２台のカメラ２１Ｃ，２２Ｃのズレの方向については、地面に対して水平、垂直、斜めの何れの方向であっても良い。

図２５は、本変形例に係る情報処理装置４の機能的な構成を示す図である。ここでは、記憶部４４に格納されたプログラムＰＧＣが制御部４６で実行されることで、制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。

図２５で示されるように、制御部４６は、機能的な構成として、画像取得部４６１Ｃ、距離情報取得部４６２Ｃ、仮想視点画像生成部４６３、オクルージョン補填部４６４、および立体視画像生成部４６５を有する。なお、仮想視点画像生成部４６３、オクルージョン補填部４６４、立体視画像生成部４６５については、上記一実施形態と同様な機能を有するため、同じ符号を付して説明を省略する。

画像取得部４６１Ｃは、時刻Ｔ１および時刻Ｔ２において２台のカメラ２１Ｃ，２２Ｃによる撮影によって得られる画像をそれぞれ取得する。例えば、カメラ２１Ｃによって得られる撮影時刻Ｔ１に係る画像がＴ１画像Ｇ１とされ、カメラ２１Ｃによって得られる撮影時刻Ｔ２に係る画像がＴ２画像Ｇ２とされる。なお、ここでは、カメラ２２Ｃによって得られる撮影時刻Ｔ１に係る画像がＴ１測距用画像とされ、カメラ２２Ｃによって得られる撮影時刻Ｔ２に係る画像がＴ２測距用画像とされる。

距離情報取得部４６２Ｃは、Ｔ１画像Ｇ１とＴ１測距用画像とに基づいてＴ１距離情報を取得し、Ｔ２画像Ｇ２とＴ２測距用画像とに基づいてＴ２距離情報を取得する。ここでは、上式(１)の関係が利用されることで、Ｔ１距離情報とＴ２距離情報とが得られる。

具体的には、まず、Ｔ１画像Ｇ１とＴ１測距用画像との間において同一の部分を捉えた画素の対応関係（すなわち同じ部分が捉えられた画素のズレ量）、およびＴ２画像Ｇ２とＴ２測距用画像との間において同一の部分を捉えた画素の対応関係（すなわち同じ部分が捉えられた画素のズレ量）が認識される。次に、上式(１)のうち、焦点距離ｆの値として２台のカメラ２１Ｃ，２２Ｃの焦点距離が代入され、視点の離隔距離Ｂの値として２台のカメラ２１Ｃ，２２Ｃの光軸のズレ量（視点の離隔距離）Ｂが代入され、視差Δｄの値として同じ部分が捉えられた画素のズレ量が代入されると、距離Ｄが求められる。

このようにして、Ｔ１画像Ｇ１およびＴ２画像Ｇ２の各画素に係るＴ１距離情報およびＴ２距離情報が得られる。そして、このＴ１距離情報およびＴ２距離情報が、仮想視点画像生成部４６３、およびオクルージョン補填部４６４において使用される。

◎また、上記一実施形態では、１枚のＴ１画像Ｇ１から１枚のＴ１仮想視点画像Ｇ１１が生成されて、画素値の補填が行われたが、これに限られない。例えば、１枚のＴ１画像Ｇ１から２つの異なる仮想的な視点（仮想視点）に係る画像（仮想視点画像）が生成されても良い。すなわち、１つのＴ１画像Ｇ１から複数のＴ１仮想視点画像が生成されても良い。

◎また、上記一実施形態では、画素の対応付けが画素単位で行われたが、これに限られない。画素単位よりも細かいサブピクセル単位での点どうしの対応付けが行われても良い。このような構成では、Ｔ２画像Ｇ２に画素値が、Ｔ１仮想視点画像Ｇ１１の非撮影領域の各画素に対して単純に付与されず、例えば、内挿などの種々の補間演算によって求まる画素値が、Ｔ１仮想視点画像Ｇ１１のＴ１非撮影領域の各画素に対して付与されるような態様が考えられる。

＜(４−２)その他の変形例＞
◎また、上記一実施形態では、時刻Ｔ１に係るＴ１仮想視点画像Ｇ１１のＴ１非撮影領域（オクルージョン領域）の各画素に、Ｔ２画像Ｇ２の画素値が付与されたが、これに限られない。例えば、時刻Ｔ１とは異なる時刻の撮影によって得られるその他の各種画像の画素値が、Ｔ１非撮影領域の各画素に付与される各種変形例が採用されても良い。この各種変形例としては、例えば、次の第１〜４変形例が採用され得る。

［１］第１変形例では、ステレオカメラのうちの一方のカメラによる撮影で得られた画像（基準画像とも言う）に基づいて生成される仮想視点画像の非撮影領域の各画素に、他方のカメラによる同一時刻の撮影で得られた画像（参照画像とも言う）の画素値が付与される。

［２］第２変形例では、ある時刻に係る仮想視点画像の非撮影領域の各画素に、ある時刻とは異なる他の時刻に係る仮想視点画像の画素値が付与される。

［３］第３変形例では、ステレオカメラのうちの一方のカメラによる撮影で得られた基準画像に基づいて生成される仮想視点画像の非撮影領域の各画素に、他方のカメラによる異なる時刻の撮影で得られた参照画像の画素値が付与される。

［４］第４変形例では、ある時刻に係る仮想視点画像に含まれる物体領域の非撮影領域の各画素に、ある時刻とは異なる時刻の撮影で得られた画像に含まれる同様な姿勢の物体に係る画素値が付与される。

以下、これらの第１〜４変形例について順に説明する。

＜(４−２−１)第１変形例＞
＜(４−２−１−１)第１変形例の概要＞
第１変形例は、図２４で示された情報処理システム１Ｃにおいて実現され得る。

図２６は、第１変形例に係る情報処理装置４の機能的な構成を示す図である。ここでは、記憶部４４に格納されたプログラムＰＧＤが制御部４６で実行されることで、制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成は専用のハードウエア構成によって実現されても良い。

図２６で示されるように、第１変形例に係る制御部４６は、図２５で示された一変形例に係る制御部４６が有する機能的な構成がベースとされて、画像取得部４６１Ｃが画像取得部４６１Ｄに置換され、オクルージョン補填部４６４がオクルージョン補填部４６４Ｄに置換された機能的な構成を有する。また、第１変形例では、カメラ２１Ｃとカメラ２２Ｃとが複数回の同じタイミングで時間順次に撮影を行う。これにより、複数のいわゆるステレオ画像が得られる。各ステレオ画像は、カメラ２１Ｃによる撮影で得られる画像（基準画像）とカメラ２２Ｃによる撮影で得られる画像（参照画像）とを含む画像の組であり、相互に異なる視点から同一時刻に同一の被写体が捉えられた画像の組である。

画像取得部４６１Ｄは、カメラ２１Ｃとカメラ２２Ｃとによって得られる複数のステレオ画像を取得する。これにより、例えば、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎ（ｎは自然数）におけるカメラ２１Ｃおよびカメラ２２Ｃの撮影によって得られたｎ＋１組のステレオ画像が画像取得部４６１Ｄによって取得される。なお、画像取得部４６１Ｄは、複数のステレオ画像をカメラ２１Ｃとカメラ２２Ｃとから直接取得しても良いし、記憶部４４等に一旦記憶された複数のステレオ画像を取得しても良い。

図２７は、第１変形例に係る画素値の補填を行う処理（補填処理とも言う）を説明するための図である。図２７には、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎにおけるカメラ２１Ｃおよびカメラ２２Ｃによる撮影によって得られたｎ＋１組のステレオ画像、ならびにｎ＋１枚のＴ０〜Ｔｎ基準画像ＧＬ_T0〜ＧＬ_Tnにそれぞれ対応するＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが例示されている。

図２７では、左側の縦一列にＴ０〜Ｔｎ基準画像ＧＬ_T0〜ＧＬ_Tnが示され、中央の縦一列にＴ０〜Ｔｎ参照画像ＧＳ_T0〜ＧＳ_Tnが示され、右側の縦一列にＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが示されている。各Ｔ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnは、仮想視点画像生成部４６３において、Ｔ０〜Ｔｎ基準画像ＧＬ_T0〜ＧＬ_TnおよびＴ０〜Ｔｎ距離情報のうちの対応する時刻の基準画像と距離情報とに基づいてそれぞれ生成される。また、図２７では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図２７では、一例として時間の経過とともに人物の顔がカメラ２１Ｃ，２２Ｃ側から見て左方に移動している様子が捉えられた複数の画像が示されている。

図２８は、時刻Ｔ１におけるステレオ画像の撮影条件および仮想視点画像に係る仮想的な撮影条件を例示する模式図である。

図２８では、時刻Ｔ１における２つのカメラ２１Ｃ，２２Ｃが実線で示されるとともに、時刻Ｔ１に係る仮想視点（Ｔ１仮想視点とも称する）に仮想的に設定されるカメラ（仮想カメラとも言う）２１ｖＤが細い破線で示されている。なお、時刻Ｔ１におけるカメラ２１Ｃの位置がＴ１基準視点とされ、Ｔ１基準視点とＴ１仮想視点との位置関係が標準的な人の左目と右目の位置関係とに対応し、Ｔ１基準視点とＴ１仮想視点との離隔距離がＢとされている。

そして、図２８では、カメラ２１Ｃによって撮影可能な空間の領域（撮影可能領域）の外縁が太い一点鎖線で示されている。また、カメラ２２Ｃによって撮影可能な空間の領域（撮影可能領域）の外縁が太い二点鎖線で示されている。更に、仮想カメラ２１ｖＤによって撮影可能な空間の領域（撮影可能領域）の外縁が太い破線で示されている。

図２８で示されるように、背景２ＷＡのうち、カメラ２１Ｃと仮想カメラ２１ｖＤとの間では、頭部２ＨＵの後に隠れている領域が異なる。具体的には、時刻Ｔ１に係るＴ１仮想視点画像ＧＲ_T1では、時刻Ｔ１に係るＴ１基準画像ＧＬ_T1では捉えられていない背景部分ＯＰ１１２が捉えられる。換言すれば、Ｔ１仮想視点画像ＧＲ_T1には、Ｔ１基準画像ＧＬ_T1では捉えられていない被写体の部分に相当する領域（Ｔ１非撮影領域とも言う）が存在する。

但し、背景部分ＯＰ１１２のうちの一部分Ｂｄ１は、時刻Ｔ１におけるカメラ２２Ｃの撮影で得られるＴ１参照画像ＧＳ_T1で捉えられており、背景部分ＯＰ１１２のうちの一部分Ｂｄ１を除く残余の部分Ｂｄ２は、Ｔ１参照画像ＧＳ_T1でも捉えられていない。

そこで、オクルージョン補填部４６４Ｄでは、Ｔ１仮想視点画像ＧＲ_T1のうちの背景部分ＯＰ１１２に対応するＴ１非撮影領域のうちの一部の領域Ａｄ１_T1の各画素には、Ｔ１参照画像ＧＳ_T1で一部分Ｂｄ１が捉えられた領域ＡＳｄ_T1の画素値が付与される。また、Ｔ１仮想視点画像ＧＲ_T1のうちのＴ１非撮影領域のうちの一部の領域Ａｄ１_T1を除く残余の領域Ａｄ２_T1の各画素には、時刻Ｔｎにおけるカメラ２１Ｃの撮影で得られるＴｎ基準画像ＧＬ_Tnにおいて残余の部分Ｂｄ２が捉えられた領域ＡＬｄ_Tnの画素値が付与される。残余の領域Ａｄ２_T1の各画素に領域ＡＬｄ_Tnの画素値が付与される方法としては、上記一実施形態と同様な方法が採用され得る。

ここで、Ｔ１非撮影領域のうちの一部の領域Ａｄ１_T1の各画素にＴ１参照画像ＧＳ_T1の領域ＡＳｄ_T1の画素値が付与される補填方法としては、上記一実施形態の第１または第２補填方法と同様な方法が採用され得る。例えば、該補填方法は、次の工程(A1)〜(A4)が順に行われることで実現され得る。

(A1)Ｔ１基準画像ＧＬ_T1とＴ１参照画像ＧＳ_T1との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるＳＡＤ法およびＰＯＣ法等の既存の方法で実現され得る。これにより、Ｔ１参照画像ＧＳ_T1のうちのＴ１基準画像ＧＬ_T1とは対応していない領域（Ｔ１非対応領域とも言う）が認識される。このとき、上式(１)に、Ｔ１基準画像ＧＬ_T1とＴ１参照画像ＧＳ_T1との間における画素の対応付けの結果から導出される各視差Δｄと、カメラ２１Ｃとカメラ２２Ｃとの離隔距離と、カメラ２１Ｃとカメラ２２Ｃの焦点距離ｆとが代入されることで、時刻Ｔ１におけるＴ１距離情報が取得され得る。このＴ１距離情報には、カメラ２１Ｃの位置（Ｔ１基準視点とも言う）から被写体の各部分までの距離を示す情報（Ｔ１基準距離情報とも言う）と、カメラ２２Ｃの位置（Ｔ１参照視点とも言う）から被写体の各部分までの距離を示す情報（Ｔ１参照距離情報とも言う）とが含まれる。なお、Ｔ１距離情報は、別に設けられた測距機による測定によって得られても良い。

(A2)Ｔ１参照画像ＧＳ_T1のＴ１非対応領域から、Ｔ１基準画像ＧＬ_T1で捉えられていない物体（例えば、頭部２ＨＵ）の一部分が捉えられた領域（Ｔ１物体出現領域）と、Ｔ１基準画像ＧＬ_T1で捉えられていない背景２ＷＡの一部分が捉えられた領域（Ｔ１背景出現領域）とが、Ｔ１参照距離情報に基づいて区別可能に認識される。

(A3)Ｔ１距離情報に基づいて、Ｔ１参照画像ＧＳ_T1のＴ１背景出現領域と、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域との間で画素が対応付けられる処理（背景対応付け処理）が行われる。この背景対応付け処理については、上記一実施形態の第１または第２補填方法における背景対応付け処理と同様な処理が採用されれば良い。この背景対応付け処理では、例えば、上記一実施形態の第１または第２補填方法の背景対応付け処理におけるＴ２背景出現領域Ｎ２２とオクルージョン領域Ａｏ１１２とが、Ｔ１参照画像ＧＳ_T1のＴ１背景出現領域とＴ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域とにそれぞれ置換されれば良い。工程(A3)の処理内容については更に後述する。

(A4)工程(A3)における背景対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域の各画素に、Ｔ１参照画像ＧＳ_T1のＴ１背景出現領域内の対応する画素に係る画素値が付与される。

なお、ここでは、背景対応付け処理が行われる例を挙げて説明したが、Ｔ１距離情報に基づいて、Ｔ１参照画像ＧＳ_T1の物体出現領域と、Ｔ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域との間で画素が対応付けられる処理（物体対応付け処理）が行われても良い。このとき、物体対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域の各画素に、Ｔ１物体出現領域内の対応する画素に係る画素値が付与される。

＜(４−２−１−２)第１補填方法がベースとされた背景対応付け処理＞
工程(A3)において実行される上記一実施形態の第１補填方法がベースとされた背景対応付け処理では、例えば、Ｔ１参照画像ＧＳ_T1のＴ１背景出現領域内における座標（ｘ_N22，ｙ_N22，Ｔ１）の画素が、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域内における座標（ｘ_N22−Δｄ_h−Δｄ_hT，ｙ_N22，Ｔ１）の画素に対応付けられる。ここで、Δｄ_hは、時刻Ｔ１におけるカメラ２１Ｃの位置（Ｔ１基準視点）と仮想カメラ２１ｖＤの位置（Ｔ１仮想視点）との離隔距離に応じた視差であり、上式(１)の関係と、該離隔距離と、カメラ２１Ｃの焦点距離ｆと、Ｔ１基準距離情報とから求められる。また、Δｄ_hTは、Ｔ１参照画像ＧＳ_T1の背景を捉えた領域内のうちのＴ１背景出現領域の近傍の画素（参照背景近傍点とも言う）と、Ｔ１基準画像ＧＬ_T1の背景を捉えた領域内のうちの参照背景近傍点に対応する画素（基準背景対応点とも言う）との間における座標のシフト量である。

＜(４−２−１−３)第２補填方法がベースとされた背景対応付け処理＞
一方、工程(A3)において実行される上記一実施形態の第２補填方法がベースとされた背景対応付け処理は、例えば、Ｔ１参照画像ＧＳ_T1の背景を捉えた領域内の任意の座標が（ｘ_N1S，ｙ_N1S，Ｔ１）とされれば、次の処理によって実現され得る。

まず、第１ステップとして、Ｔ１参照画像ＧＳ_T1のうち、次の３つの条件(具体的には、条件１ｄ〜３ｄ)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。

(条件１ｄ)Ｔ１基準画像ＧＬ_T1で捉えられている被写体の部分であること。

(条件２ｄ)Ｔ１参照画像ＧＳ_T1のうちの、対応付け処理の対象となっている座標が（ｘ_N1S，ｙ_N1S，Ｔ１）である画素（Ｔ１処理対象画素とも、Ｔ１処理対象点とも言う）の近傍に位置する画素（近傍画素）で捉えられている被写体の部分であること。

(条件３ｄ)Ｔ１処理対象点で捉えられている被写体の部分と、カメラ２２Ｃからの離隔距離が略同一である被写体の部分であること。

具体的には、これらの条件１ｄ〜３ｄを満たす画素が背景対応付け処理において基準となるＴ１参照基準画素（Ｔ１参照基準点とも言う）として設定される。ここでは、Ｔ１参照基準点の座標が（ｘ_1S，ｙ_1S，Ｔ１）とされる。

ここで、Ｔ１基準画像ＧＬ_T1のうちのＴ１参照基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準基準点とも言う）の座標が（ｘ_1L，ｙ_1L，Ｔ１）とされる。また、Ｔ１基準視点からＴ１基準基準点の画素で捉えられた被写体の部分までの距離がＤ_1L(Ｔ１)とされ、Ｔ１参照視点からＴ１参照基準点の画素で捉えられた被写体の部分までの距離がＤ_1S(Ｔ１)とされる。また、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域において画素値が付与される対象である画素（Ｔ１被補填点）の座標が（ｘ_o11，ｙ_o11，Ｔ１）とされる。

距離Ｄ_1L(Ｔ１)は、Ｔ１基準距離情報から得られ、距離Ｄ_1S(Ｔ１)は、Ｔ１参照距離情報から得られる。また、Ｔ１基準基準点の座標と、Ｔ１仮想視点画像ＧＲ_T1においてＴ１基準基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準仮想基準点とも言う）の座標との差（Ｔ１基準視差とも言う）がΔｄ_T1Lとされる。Ｔ１基準視差Δｄ_T1Lは、距離Ｄ_1L(Ｔ１)等が上式(１)に代入されることで求められる。また、Ｔ１参照基準点の座標と、Ｔ１仮想視点画像ＧＲ_T1においてＴ１参照基準点と同じ被写体の部分が捉えられた画素（Ｔ１参照仮想基準点とも言う）の座標との差（Ｔ１参照視差とも言う）がΔｄ_T1Sとされる。Ｔ１参照視差Δｄ_T1Sは、距離Ｄ_1S(Ｔ１)が上式(１)等に代入されることで求められる。

次に、第２ステップとして、下式(６)に従った演算によって、Ｔ１処理対象点の画素値が付与されるＴ１被補填点の座標が求められる。具体的には、Ｔ１基準視点とＴ１参照視点とＴ１仮想視点とが、地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、Ｔ１被補填点のＸ座標の値ｘ_o11は、下式(６)の関係を有し、Ｔ１被補填点のＹ座標の値ｙ_o11は、ｙ_N1Sとなる。

ｘ_o11＝{ｘ_1L−Δｄ_T1L}＋(ｘ_N1S−ｘ_1S)＋{Δｄ_T1L−Δｄ_T1S} ・・・(６)。

このようにして、座標（ｘ_N1S，ｙ_N1S，Ｔ１）のＴ１処理対象点に対して、座標（ｘ_o11，ｙ_o11，Ｔ１）のＴ１被補填点が対応付けられる。

＜(４−２−１−４)第１変形例のまとめ＞
以上のように、第１変形例によれば、ある時刻とは異なる時刻に撮影された画像だけでなく、ある時刻と同じ時刻に撮影された画像も用いられて、ある時刻に係るオクルージョン領域の各画素に画素値が付与される。これにより、例えば、時間の経過とともに被写体の明るさおよび形状等が変化するような場合であっても、これらの変化による仮想視点画像に対する影響が抑制され得る。換言すれば、撮影環境の変化の大小に拘わらず、視覚的に違和感のない仮想視点画像の生成が可能となる。

＜(４−２−２)第２変形例＞
＜(４−２−２−１)第２変形例の概要＞
第２変形例では、ある撮影時刻Ｔ１に係るＴ１仮想視点画像ＧＲ_T1のＴ１非撮影領域の各画素に、ある撮影時刻Ｔ１とは異なる他の撮影時刻に係る仮想視点画像の画素値が付与される。これにより、Ｔ１仮想視点画像ＧＲ_T1のオクルージョン領域の各画素に画素値が付与される補填処理に要する時間が削減される得る。

第２変形例は、図１で示された情報処理システム１において実現され得る。ここでは、記憶部４４に格納されたプログラムＰＧＥが制御部４６で実行されることで、図２で示される機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。

図２で示されるように、第２変形例に係る制御部４６は、図２で示された上記一実施形態に係る制御部４６が有する機能的な構成がベースとされて、オクルージョン補填部４６４がオクルージョン補填部４６４Ｅに置換された機能的な構成を有する。

図２９は、第２変形例に係る補填処理を説明するための図である。図２９には、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎにおけるカメラ２による撮影によって得られたｎ＋１枚のＴ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_Tn、ならびにｎ＋１枚のＴ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_Tnにそれぞれ対応するＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが例示されている。

図２９には、左側の縦一列にＴ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_Tnが示され、右側の縦一列にＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが示されている。各Ｔ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnは、仮想視点画像生成部４６３において、Ｔ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_TnおよびＴ０〜Ｔｎ距離情報のうちの対応する時刻の画像と距離情報とに基づいてそれぞれ生成される。また、図２９では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図２９では、一例として時間の経過とともに人物の顔がカメラ２側から見て左を向く方向に回転している様子が捉えられた複数の画像が示されている。

なお、ここでは、時刻Ｔ１におけるカメラ２の位置（Ｔ１視点）とＴ１仮想視点画像ＧＲ_T1が取得され得る仮想カメラ２ｖの位置（Ｔ１仮想視点）との間における相対的な位置関係が、時刻Ｔ０におけるカメラ２の位置（Ｔ０視点とも言う）とＴ０仮想視点画像ＧＲ_T0が取得され得る仮想カメラ２ｖの位置（Ｔ０仮想視点とも言う）との間における相対的な位置関係と等しいものとする。

また、時刻Ｔ２におけるカメラ２の位置（Ｔ２視点）とＴ２仮想視点画像ＧＲ_T2が取得され得る仮想カメラ２ｖの位置（Ｔ２仮想視点）との間における相対的な位置関係が、Ｔ１視点とＴ１仮想視点との相対的な位置関係と等しいものとする。更に、時刻Ｔｎにおけるカメラ２の位置（Ｔｎ視点とも言う）とＴｎ仮想視点画像ＧＲ_Tnが取得され得る仮想カメラ２ｖの位置（Ｔｎ仮想視点とも言う）との間における相対的な位置関係が、Ｔ１視点とＴ１仮想視点との相対的な位置関係と等しいものとする。

オクルージョン補填部４６４Ｅでは、ある時刻（例えば、時刻Ｔ１）に係る仮想視点画像（例えば、Ｔ１仮想視点画像ＧＲ_T1）の非撮影領域（例えば、Ｔ１非撮影領域）の各画素に、ある時刻とは異なる他の時刻（例えば、時刻Ｔ０）に係る仮想視点画像（例えば、Ｔ０仮想視点画像ＧＲ_T0）の画素値が付与される。

例えば、図２９で示されるように、Ｔ１仮想視点画像ＧＲ_T1のうちの物体に係るＴ１非撮影領域（オクルージョン領域）Ａｏｅ_T1のうちの一部の領域Ａｅ_T1の各画素に、Ｔ０仮想視点画像ＧＲ_T0のうちの一部の領域ＡＲｅ_T0の画素値が付与される。ここでは、ごく近い撮影時刻に係るＴ０仮想視点画像ＧＲ_T0とＴ１仮想視点画像ＧＲ_T1との間では、被写体を捉えた画像領域の変化が小さなことが利用されている。このような補填処理により、上記一実施形態の補填処理において時刻Ｔｎの撮影で得られたＴｎ画像ＧＬ_Tnの一部の領域ＡＬｅ_Tnの画素値が一部の領域Ａｅ_T1の各画素に付与されるよりも、処理に要する時間が削減される。従って、非撮影領域（オクルージョン領域）の各画素に対する画素値の付与に要する演算量が削減され得る。なお、ここでは、一部の領域Ａｅ_T1の各画素に、一部の領域ＡＲｅ_T0の画素値が付与される例を挙げて説明するが、これに限られず、例えば、時刻Ｔ０，Ｔ１とも異なる時刻に係る仮想視点画像の画素値が付与されても良い。

ここで、Ｔ１仮想視点画像ＧＲ_T1におけるオクルージョン領域の各画素に、Ｔ０仮想視点画像ＧＲ_T0の画素値が付与される補填方法としては、上記一実施形態の第１または第２補填方法がベースとされた補填方法が採用され得る。例えば、該補填方法は、次の工程(B1)〜(B4)が順に行われることで実現され得る。

(B1)Ｔ１画像ＧＬ_T1とＴ０仮想視点画像ＧＲ_T0との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるＳＡＤ法およびＰＯＣ法等の既存の方法で実現され得る。これにより、Ｔ０仮想視点画像ＧＲ_T0のうちのＴ１画像ＧＬ_T1とは対応していない領域（Ｔ０仮想非対応領域とも言う）が認識される。

(B2)Ｔ０仮想視点画像ＧＲ_T0のＴ０仮想非対応領域から、Ｔ１画像ＧＬ_T1で捉えられていない物体（例えば、頭部２ＨＵ）の一部分が捉えられた領域（Ｔ０物体非対応領域）と、Ｔ１画像ＧＬ_T1で捉えられていない背景２ＷＡの一部分が捉えられた領域（Ｔ０背景非対応領域）とが、Ｔ０距離情報に基づいて区別可能に認識される。なお、Ｔ０距離情報は時刻Ｔ０において測距機３によって取得され得る。

(B3)Ｔ０仮想視点画像ＧＲ_T0のＴ０物体非対応領域と、Ｔ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域との間で画素が対応付けられる処理（物体対応付け処理）が行われる。この物体対応付け処理については、上記一実施形態の第１または第２補填方法における物体対応付け処理と同様な処理が採用され得る。この物体対応付け処理は、例えば、上記一実施形態の第１または第２補填方法の背景対応付け処理におけるＴ２背景出現領域Ｎ２２とオクルージョン領域Ａｏ１１２とが、Ｔ０仮想視点画像ＧＲ_T0のＴ０物体非対応領域とＴ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域とに置換された処理であれば良い。但し、Ｔ０仮想視点画像ＧＲ_T0は、Ｔ０画像ＧＬ_T0が既に視差Δｄ_fに応じてシフトされて生成されるため、この物体対応付け処理では、このシフトに係る重複する演算が適宜に省略される。視差Δｄ_fは、時刻Ｔ０におけるカメラ２の位置（Ｔ０視点）と仮想カメラ２ｖの位置（Ｔ０仮想視点）との離隔距離に応じた視差であり、上式(１)の関係と、該離隔距離と、カメラ２の焦点距離ｆと、Ｔ０距離情報とから求められ得る。工程(B3)の処理内容については更に後述する。

(B4)工程(B3)における物体対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域の各画素に、Ｔ０仮想視点画像ＧＲ_T0のＴ０物体非対応領域内の対応する画素に係る画素値が付与される。

なお、ここでは、物体対応付け処理が行われる例を挙げて説明したが、Ｔ０仮想視点画像ＧＲ_T0のＴ０背景非対応領域とＴ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域との間で画素が対応付けられる処理（背景対応付け処理）が行われても良い。このとき、背景対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域の各画素に、Ｔ０背景非対応領域内の対応する画素に係る画素値が付与される。

また、オクルージョン領域のうちの第２変形例の補填方法では画素値が付与されない画素（空白画素とも言う）には、例えば、上記一実施形態の補填方法によって画素値が付与されても良い。更に、空白画素の数が所定数以下であれば、空白画素の画素値が、該空白画素の周辺に位置する画素の画素値が用いられた補間処理によって付与されても良い。

また、ｎ＋１枚のＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnのうちの所定の仮想視点画像については、第２変形例に係る補填方法が実行されずに、上記一実施形態に係る補填方法が実行されても良い。ここで、所定の仮想視点画像としては、所定数のフレーム毎の仮想視点画像等が挙げられる。これにより、オクルージョン領域に含まれる画素のうち、画素値が付与されていない画素が削減され、演算量の低減が図られつつ、出来るだけ視覚的に違和感のない仮想視点画像の生成が可能となる。

＜(４−２−２−２)第１補填方法がベースとされた物体対応付け処理＞
工程(B3)において実行される上記一実施形態の第１補填方法がベースとされた物体対応付け処理では、例えば、Ｔ０仮想視点画像ＧＲ_T0のＴ０物体非対応領域内における座標（ｘ_N21，ｙ_N21，Ｔ０）の画素が、Ｔ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域内における座標（ｘ_N21−Δｄ_fT，ｙ_N21，Ｔ１）の画素に対応付けられる。ここで、Δｄ_fTは、Ｔ０仮想視点画像ＧＲ_T0の物体を捉えた領域内のうちのＴ０物体非対応領域の近傍の画素（Ｔ０仮想物体近傍点とも言う）と、Ｔ１仮想視点画像ＧＲ_T1の物体を捉えた領域内のうちのＴ０物体近傍点に対応する画素（Ｔ１仮想物体対応点とも言う）との間における座標のシフト量である。このシフト量Δｄ_fTは、工程(B1)におけるＴ１画像ＧＬ_T1とＴ０仮想視点画像ＧＲ_T0との間での画素の対応付けの結果と、Ｔ１画像ＧＬ_T1からＴ１仮想視点画像ＧＲ_T1が生成される際の画素のシフト量とに基づいて求められる。

＜(４−２−２−３)第２補填方法がベースとされた物体対応付け処理＞
一方、工程(B3)において実行される上記一実施形態の第２補填方法がベースとされた物体対応付け処理は、例えば、Ｔ０仮想視点画像ＧＲ_T0の物体を捉えた領域内の任意の座標が（ｘ_NOR，ｙ_NOR，Ｔ０）とされれば、次の処理によって実現され得る。

まず、第１ステップとして、Ｔ０仮想視点画像ＧＲ_T0のうち、次の３つの条件(具体的には、条件１ｅ〜３ｅ)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。

(条件１ｅ)Ｔ１画像ＧＳ_L1で捉えられている被写体の部分であること。

(条件２ｅ)Ｔ０仮想視点画像ＧＲ_T0のうちの、対応付け処理の対象となっている座標が（ｘ_NOR，ｙ_NOR，Ｔ０）である画素（Ｔ０処理対象画素とも、Ｔ０処理対象点とも言う）の近傍に位置する画素（近傍画素）で捉えられている被写体の部分であること。

(条件３ｅ)Ｔ０処理対象点で捉えられている被写体の部分と、カメラ２からの離隔距離が略同一である被写体の部分であること。

具体的には、これらの条件１ｅ〜３ｅを満たす画素が対応付け処理において基準となるＴ０仮想基準画素（Ｔ０仮想基準点とも言う）として設定される。ここでは、Ｔ０仮想基準点の座標が（ｘ_0R，ｙ_0R，Ｔ０）とされる。

ここで、Ｔ１画像ＧＬ_T1のうちのＴ０仮想基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準点とも言う）の座標が（ｘ_1L，ｙ_1L，Ｔ１）とされる。また、Ｔ１視点からＴ１基準点の画素で捉えられた被写体の部分までの距離がＤ_1L(Ｔ１)とされ、Ｔ０仮想視点からＴ０仮想基準点の画素で捉えられた被写体の部分までの距離がＤ_OR(Ｔ０)とされる。また、Ｔ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域において画素値が付与される対象である画素（Ｔ１被補填点）の座標が（ｘ_o11，ｙ_o11，Ｔ１）とされる。

距離Ｄ_1L(Ｔ１)は、Ｔ１距離情報から得られ、距離Ｄ_OR(Ｔ０)は、Ｔ０距離情報から得られる。また、Ｔ１基準点の座標と、Ｔ１仮想視点画像ＧＲ_T1においてＴ１基準点と同じ被写体の部分が捉えられた画素（Ｔ１仮想基準点とも言う）の座標との差（Ｔ１視差とも言う）がΔｄ_T1とされる。Ｔ１視差Δｄ_T1は、距離Ｄ_1L(Ｔ１)等が上式(１)に代入されることで求められる。また、Ｔ０画像ＧＬ_T0においてＴ０仮想基準点と同じ被写体の部分が捉えられた画素（Ｔ０基準点とも言う）の座標と、Ｔ０仮想基準点の座標との差（Ｔ０視差とも言う）がΔｄ_T0とされる。Ｔ０視差Δｄ_T0は、距離Ｄ_OR(Ｔ０)等が上式(１)に代入されることで求められる。

次に、第２ステップとして、下式(７)に従った演算によって、Ｔ０処理対象点の画素値が付与されるＴ１被補填点の座標が求められる。具体的には、Ｔ０視点とＴ０仮想視点との組ならびにＴ１視点とＴ１仮想視点との組が、それぞれ地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、Ｔ１被補填点のＸ座標の値ｘ_o11は、下式(７)の関係を有し、Ｔ１被補填点のＹ座標の値ｙ_o11は、ｙ_NORとなる。

ｘ_o11＝{ｘ_1L−Δｄ_T1}＋(ｘ_NOR−ｘ_0R)＋{Δｄ_T1−Δｄ_T0} ・・・(７)。

このようにして、座標（ｘ_NOR，ｙ_NOR，Ｔ０）のＴ０処理対象点に対して、座標（ｘ_o11，ｙ_o11，Ｔ１）のＴ１被補填点が対応付けられる。

＜(４−２−３)第３変形例＞
＜(４−２−３−１)第３変形例の概要＞
第３変形例では、ある時刻Ｔ１の撮影で得られるステレオ画像のＴ１基準画像ＧＬ_T1に基づいて生成されるＴ１仮想視点画像ＧＲ_T1のＴ１非撮影領域の各画素に、ある時刻Ｔ１とは異なる他の時刻の撮影で得られるステレオ画像に含まれた参照画像の画素値が付与される。これにより、補填処理に要する時間が削減され得る。

第３変形例は、図２４で示された情報処理システム１Ｃにおいて実現され得る。ここでは、記憶部４４に格納されたプログラムＰＧＦが制御部４６で実行されることで、図２６で示される機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。

図２６で示されるように、第３変形例に係る制御部４６は、上記第１変形例に係る制御部４６が有する機能的な構成がベースとされて、オクルージョン補填部４６４Ｄがオクルージョン補填部４６４Ｆに置換された機能的な構成を有する。

図３０は、第３変形例に係る補填処理を説明するための図である。図３０には、図２７と同様に、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎにおけるカメラ２１Ｃおよびカメラ２２Ｃによる撮影によって得られたｎ＋１組のステレオ画像、ならびにｎ＋１枚のＴ０〜Ｔｎ基準画像ＧＬ_T0〜ＧＬ_Tnにそれぞれ対応するＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが例示されている。

図３０では、図２７と同様に、左側の縦一列にＴ０〜Ｔｎ基準画像ＧＬ_T0〜ＧＬ_Tnが示され、中央の縦一列にＴ０〜Ｔｎ参照画像ＧＳ_T0〜ＧＳ_Tnが示され、右側の縦一列にＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが示されている。各Ｔ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnは、仮想視点画像生成部４６３において、Ｔ０〜Ｔｎ基準画像ＧＬ_T0〜ＧＬ_TnおよびＴ０〜Ｔｎ距離情報のうちの対応する時刻の基準画像と距離情報とに基づいてそれぞれ生成される。また、図３０では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図３０では、一例として時間の経過とともに人物の顔がカメラ２１Ｃ，２２Ｃ側から見て左を向く方向に回転している様子が示されている。

オクルージョン補填部４６４Ｆでは、時刻Ｔ１の撮影で得られたＴ１基準画像ＧＬ_T1に基づいて生成されるＴ１仮想視点画像ＧＲ_T1のうちのＴ１非撮影領域Ａｏｆ_T1の各画素に、時刻Ｔ１とは異なる他の時刻の撮影で得られた参照画像（例えば、Ｔ２参照画像ＧＳ_T2）のうちの一部の領域（例えば、一部の領域ＡＳｆ_T2）の画素値が付与される。これにより、上記一実施形態において時刻Ｔｎの撮影で得られたＴｎ画像ＧＬ_Tnの一部の領域ＡＬｆ_Tnの画素値がＴ１非撮影領域Ａｏｆ_T1の各画素に付与されるよりも、補填処理に要する時間が削減され得る。従って、非撮影領域（オクルージョン領域）の各画素に対する画素値の補填に要する演算量が低減され得る。

ここで、時刻Ｔ１に係るＴ１仮想視点画像ＧＲ_T1におけるオクルージョン領域Ａｏｆ_T1の各画素に、時刻Ｔ１とは異なる他の時刻における撮影で得られた参照画像の画素値が付与される補填方法としては、上記一実施形態の第１または第２補填方法と同様な補填方法が採用され得る。例えば、上記一実施形態におけるＴ１仮想視点画像Ｇ１１のオクルージョン領域の各画素にＴ２画像Ｇ２の画素値が付与される補填処理がベースとされ、Ｔ１仮想視点画像Ｇ１１がＴ１仮想視点画像ＧＲ_T1に置換され、Ｔ２画像Ｇ２がＴ２参照画像ＧＳ_T2に置換された補填処理が採用され得る。この補填処理の具体例について以下に説明する。なお、以下では、オクルージョン領域Ａｏｆ_T1の各画素に、Ｔ２参照画像ＧＳ_T2の画素値が付与される一例を挙げて説明するが、これに限られず、例えば、時刻Ｔ１，Ｔ２とも異なる時刻に係る参照画像の画素値が付与されても良い。

＜(４−２−３−２)距離情報が用いられる補填方法＞
まず、時刻Ｔ２の撮影時におけるカメラ２２ＣとＴ２参照画像ＧＳ_T2の各画素で捉えられた被写体の各部までの距離を示すＴ２距離情報が用いられる補填方法について説明する。この補填方法は、例えば、以下の工程(C1)〜(C4)が順に行われることで実現され得る。

なお、各時刻Ｔ０〜ＴｎにおけるＴ０〜Ｔｎ距離情報は、各時刻Ｔ０〜Ｔｎの撮影で得られたステレオ画像における画素の対応付けの処理結果としての各視差Δｄと、カメラ２１Ｃとカメラ２２Ｃとの離隔距離と、カメラ２１Ｃとカメラ２２Ｃの焦点距離ｆとが上式(１)に代入されることで取得され得る。各Ｔ０〜Ｔｎ距離情報には、カメラ２１Ｃの位置（Ｔ０〜Ｔｎ基準視点）から被写体の各部分までの距離を示す情報（Ｔ０〜Ｔｎ基準距離情報）と、カメラ２２Ｃの位置（Ｔ０〜Ｔｎ参照視点）から被写体の各部分までの距離を示す情報（Ｔ０〜Ｔｎ参照距離情報）とが含まれる。なお、Ｔ０〜Ｔｎ距離情報は、別に設けられた測距機による測定によって得られても良い。

(C1)時刻Ｔ１に係るＴ１基準画像ＧＬ_T1と時刻Ｔ２に係るＴ２参照画像ＧＳ_T2との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるＳＡＤ法およびＰＯＣ法等の既存の方法で実現され得る。これにより、Ｔ２参照画像ＧＳ_T2のうちのＴ１基準画像ＧＬ_T1とは対応していない領域（Ｔ２非対応領域とも言う）が認識される。

(C2)Ｔ２参照画像ＧＳ_T2のＴ２非対応領域から、Ｔ１基準画像ＧＬ_T1で捉えられていない物体（例えば、頭部２ＨＵ）の一部分が捉えられた領域（Ｔ２物体出現領域）と、Ｔ１基準画像ＧＬ_T1で捉えられていない背景２ＷＡの一部分が捉えられた領域（Ｔ２背景出現領域）とが、時刻Ｔ２に係るＴ２距離情報に基づいて区別可能に認識される。

(C3)Ｔ２距離情報に基づいて、Ｔ２参照画像ＧＳ_T2のＴ２物体出現領域と、Ｔ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域との間で画素が対応付けられる処理（物体対応付け処理）が行われる。この物体対応付け処理については、上記一実施形態の第１または第２補填方法における物体対応付け処理と同様な処理が採用されれば良い。この物体対応付け処理は、例えば、上記一実施形態の第１または第２補填方法の背景対応付け処理におけるＴ２背景出現領域Ｎ２２とオクルージョン領域Ａｏ１１２とが、Ｔ２参照画像ＧＳ_T2のＴ２物体出現領域とＴ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域とにそれぞれ置換された処理であれば良い。工程(C3)の処理内容については更に後述する。

(C4)工程(C3)における物体対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域の各画素に、Ｔ２参照画像ＧＳ_T2の物体出現領域内の対応する画素に係る画素値が付与される。

なお、ここでは、物体対応付け処理が行われる例を挙げて説明したが、Ｔ２距離情報に基づいて、Ｔ２参照画像ＧＳ_T2のＴ２背景出現領域と、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域との間で画素が対応付けられる処理（背景対応付け処理）が行われても良い。このとき、背景対応付け処理の結果に基づいて、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域の各画素に、Ｔ２参照画像ＧＳ_T2の背景出現領域内の対応する画素に係る画素値が付与される。

＜(４−２−３−２−１)第１補填方法がベースとされた物体対応付け処理＞
工程(C3)において実行される上記一実施形態の第１補填方法がベースとされた物体対応付け処理では、例えば、Ｔ２参照画像ＧＳ_T2のＴ２物体出現領域内における座標（ｘ_N21，ｙ_N21，Ｔ２）の画素が、Ｔ１仮想視点画像ＧＲ_T1の物体に係るオクルージョン領域内における座標（ｘ_N21−Δｄ_f−Δｄ_fT，ｙ_N21，Ｔ１）の画素に対応付けられる。ここで、Δｄ_fは、時刻Ｔ１におけるカメラ２１Ｃの位置（Ｔ１基準視点）と仮想カメラ２１ｖＤの位置（Ｔ１仮想視点）との離隔距離に応じた視差であり、上式(１)の関係と、該離隔距離と、カメラ２１Ｃの焦点距離ｆと、Ｔ１基準距離情報とから求められる。また、Δｄ_fTは、Ｔ２参照画像ＧＳ_T2の物体を捉えた領域内のうちのＴ２物体出現領域の近傍の画素（参照物体近傍点）と、Ｔ１基準画像ＧＬ_T1の物体を捉えた領域内のうちの参照物体近傍点に対応する画素（基準物体対応点）との間における座標のシフト量である。

＜(４−２−３−２−２)第２補填方法がベースとされた物体対応付け処理＞
一方、工程(C3)において実行される上記一実施形態の第２補填方法がベースとされた物体対応付け処理は、例えば、Ｔ２参照画像ＧＳ_T2の物体を捉えた領域内の任意の座標が（ｘ_N2S，ｙ_N2S，Ｔ２）とされれば、次の処理によって実現され得る。

まず、第１ステップとして、Ｔ２参照画像ＧＳ_T2のうち、次の３つの条件(具体的には、条件１ｆ〜３ｆ)を満たす被写体の部分が捉えられた画素が、対応付け処理において基準となる点として設定される。

(条件１ｆ)Ｔ１基準画像ＧＬ_T1で捉えられている被写体の部分であること。

(条件２ｆ)Ｔ２参照画像ＧＳ_T2のうちの、対応付け処理の対象となっている座標が（ｘ_N2S，ｙ_N2S，Ｔ２）である画素（Ｔ２処理対象画素とも、Ｔ２処理対象点とも言う）の近傍に位置する画素（近傍画素）で捉えられている被写体の部分であること。

(条件３ｆ)Ｔ２処理対象点で捉えられている被写体の部分と、カメラ２２Ｃからの離隔距離が略同一である被写体の部分であること。

具体的には、これらの条件１ｆ〜３ｆを満たす画素が対応付け処理において基準となるＴ２参照基準画素（Ｔ２参照基準点とも言う）として設定される。ここでは、Ｔ２参照基準点の座標が（ｘ_2S，ｙ_2S，Ｔ２）とされる。

ここで、Ｔ１基準画像ＧＬ_T1のうちのＴ２参照基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準基準点とも言う）の座標が（ｘ_1L，ｙ_1L，Ｔ１）とされる。また、Ｔ１基準視点からＴ１基準基準点の画素で捉えられた被写体の部分までの距離がＤ_1L(Ｔ１)とされ、Ｔ２参照視点からＴ２参照基準点の画素で捉えられた被写体の部分までの距離がＤ_2S(Ｔ２)とされる。また、Ｔ１仮想視点画像ＧＲ_T1の背景に係るオクルージョン領域において画素値が付与される対象である画素（Ｔ１被補填点）の座標が（ｘ_o11，ｙ_o11，Ｔ１）とされる。

距離Ｄ_1L(Ｔ１)は、Ｔ１基準距離情報から得られ、距離Ｄ_2S(Ｔ２)は、Ｔ２参照距離情報から得られる。また、Ｔ１基準基準点の座標と、Ｔ１仮想視点画像ＧＲ_T1においてＴ１基準基準点と同じ被写体の部分が捉えられた画素（Ｔ１基準仮想基準点とも言う）の座標との差（Ｔ１基準視差とも言う）がΔｄ_T1Lとされる。Ｔ１基準視差Δｄ_T1Lは、距離Ｄ_1L(Ｔ１)等が上式(１)に代入されることで求められる。また、Ｔ２参照基準点の座標と、Ｔ２仮想視点画像ＧＲ_T2においてＴ２参照基準点と同じ被写体の部分が捉えられた画素（Ｔ２参照仮想基準点とも言う）の座標との差（Ｔ２参照視差とも言う）がΔｄ_T2Sとされる。Ｔ２参照視差Δｄ_T2Sは、距離Ｄ_2S(Ｔ２)等が上式(１)に代入されることで求められる。

次に、第２ステップとして、下式(８)に従った演算によって、Ｔ２処理対象点の画素値が付与されるＴ１被補填点の座標が求められる。具体的には、Ｔ１基準視点とＴ１仮想視点との組ならびにＴ２参照視点とＴ２仮想視点との組が、それぞれ地面に対して水平な面内において撮影方向と垂直な方向に或る距離ずらされた位置関係を有するため、Ｔ１被補填点のＸ座標の値ｘ_o11は、下式(８)の関係を有し、Ｔ１被補填点のＹ座標の値ｙ_o11は、ｙ_N2Sとなる。

ｘ_o11＝{ｘ_1L−Δｄ_T1L}＋(ｘ_N2S−ｘ_2S)＋{Δｄ_T1L−Δｄ_T2S} ・・・(８)。

このようにして、座標（ｘ_N2S，ｙ_N2S，Ｔ２）のＴ２処理対象点に対して、座標（ｘ_o11，ｙ_o11，Ｔ１）のＴ１被補填点が対応付けられる。

＜(４−２−３−３)距離情報が用いられない補填方法＞
次に、カメラ２１Ｃ，２２Ｃと被写体の各部までの距離を示す距離情報が用いられない補填方法について説明する。この補填方法は、例えば、次の工程(D1)〜(D4)が順に行われることで実現され得る。

(D1)時刻Ｔ１のＴ１基準画像ＧＬ_T1と時刻Ｔ２のＴ２参照画像ＧＳ_T2との間で画素の対応付けが行われる。この画素の対応付けは、上記一実施形態と同様に、いわゆるＳＡＤ法やＰＯＣ法等の既存の方法で実現され得る。これにより、Ｔ２参照画像ＧＳ_T2のうちのＴ１基準画像ＧＬ_T1とは対応していない領域（Ｔ２非対応領域とも言う）が認識される。

(D2)Ｔ２参照画像ＧＳ_T2のうちのＴ２非対応領域の周囲の残余の領域において、Ｔ２非対応領域との境界近傍に位置する複数の点（境界近傍点とも言う）が設定される。複数の境界近傍点は、例えば、Ｔ２非対応領域を挟む左右の２点等であれば良い。

(D3)上記工程(D1)における画素の対応付けの結果に基づき、Ｔ１仮想視点画像ＧＲ_T1のうち、各境界近傍点にそれぞれ対応する点（境界近傍対応点とも言う）が認識される。

(D4)複数の境界近傍対応点の相対的な位置関係に対して、複数の境界近傍点の相対的な位置関係が合致するように、必要に応じてＴ２非対応領域が拡大または縮小された上で、Ｔ１仮想視点画像ＧＲ_T1のオクルージョン領域に貼り付けられる。これにより、オクルージョン領域の各画素に、Ｔ２非対応領域内の対応する画素に係る画素値が付与される。なお、Ｔ２非対応領域とオクルージョン領域との形状が若干異なる場合には、Ｔ２非対応領域の画素のパターンがオクルージョン領域を覆う程度に拡張された上で、Ｔ２非対応領域の画素のパターンがオクルージョン領域に貼り付けられても良い。但し、オクルージョン領域からはみ出る画素パターンは、貼り付けられないことが好ましい。

なお、ここでは、Ｔ１仮想視点画像ＧＲ_T1のオクルージョン領域の各画素に、Ｔ２非対応領域内の画素に係る画素値が付与されたが、これに限られない。例えば、Ｔ１仮想視点画像ＧＲ_T1のオクルージョン領域の各画素に、Ｔ０，Ｔ３〜Ｔｎ参照画像ＧＳ_T0，ＧＳ_T3〜ＧＳ_Tnの少なくとも１つの参照画像に含まれる非対応領域内の画素に係る画素値が付与されても良い。このとき、Ｔ０，Ｔ３〜Ｔｎ参照画像ＧＳ_T0，ＧＳ_T3〜ＧＳ_Tnのうちの何れの参照画像に含まれる非対応領域の画素値が用いられるのかについては、例えば、ユーザーによる操作部４１の操作に応じて決定されても良いし、上記工程(D1)における画素の対応付けの結果に基づいて決定されても良い。この決定方法としては、例えば、Ｔ１非撮影領域Ａｏｆ_T1と非対応領域との間における大きさおよび形状の類似度に基づいて決定される方法等が考えられる。類似度としては、領域の大きさの比等が考えられ、Ｔ１非撮影領域Ａｏｆ_T1の面積を非対応領域の面積で除した値が１に近ければ近いほど、類似しているものとすることができる。

以上のように、第３変形例によれば、例えば、図２８で示されるように、時刻Ｔ１におけるカメラ２１Ｃの位置（Ｔ１基準視点）よりも、時刻Ｔ２におけるカメラ２２Ｃの位置（Ｔ２参照視点）の方が、時刻Ｔ１における仮想カメラ２１ｖＤの位置（Ｔ１仮想視点）に近ければ、Ｔ１仮想視点画像ＧＲ_T1の非撮影領域の各画素への画素値の補填に要する演算量が低減され得る。従って、補填処理に要する時間が削減され得る。このような効果が顕著に得られる場合としては、例えば、Ｔ２参照画像ＧＳ_T2にＴ１仮想視点画像ＧＲ_T1のＴ１非撮影領域Ａｏｆ_T1に対応する全画素若しくは全画素に近い数の画素が含まれる場合などがあり得る。

＜(４−２−４)第４変形例＞
第４変形例では、ある時刻に係る仮想視点画像に含まれる物体領域の非撮影領域の各画素に、ある時刻とは異なる時刻の撮影で得られた画像に含まれる同一姿勢の物体に係る画素値が付与される。これにより、ある物体を捉えた画像領域内における画素値の不自然な変化が低減される。

第４変形例は、図１で示された情報処理システム１において実現され得る。ここでは、記憶部４４に格納されたプログラムＰＧＧが制御部４６で実行されることで、図３１で示される制御部４６の機能的な構成が実現される例を挙げて説明するが、該機能的な構成が専用のハードウエア構成によって実現されても良い。

図３１で示されるように、第４変形例に係る制御部４６は、図２で示された一実施形態に係る制御部４６が有する機能的な構成がベースとされて、画像領域検出部４６６Ｇが追加されるとともに、オクルージョン補填部４６４がオクルージョン補填部４６４Ｇに置換されたものである。

画像領域検出部４６６Ｇは、画像取得部４６１で得られる各画像から特定種類の物体（例えば、人物の顔や体等）が捉えられた領域（物体領域）を検出する。ここでは、特定種類の物体に係る標準的な画素値（輝度および色等）の分布を示す画素値のパターンが用意されていれば、その画素値のパターンが用いられたパターンマッチングによって物体領域が検出され得る。

ここで、画像領域検出部４６６Ｇでは、物体の姿勢（向き等）に応じた画素値のパターンが準備されていれば、物体の姿勢（向き等）に応じた物体領域が検出され得る。すなわち、画像領域検出部４６６Ｇでは、特定種類の物体が捉えられた物体領域の位置情報と、その姿勢に係る情報（姿勢情報とも言う）とが取得され得る。この姿勢情報の一例としては、顔の向きに係る情報が挙げられる。顔の向きは、例えば、所定角度（例えば、５°）毎の画素値のパターンを用いたパターンマッチングによって検出され得る。また、顔を捉えた画像領域（顔領域とも言う）が所定色（例えば肌色等）を基準として検出され、該顔領域を占める鼻を捉えた領域の位置によって顔の向きが検出されても良い。

画像取得部４６１で得られる画像の数が３以上の複数である場合、画像領域検出部４６６Ｇでは、３以上の複数の画像から特定種類の物体が捉えられた３以上の複数の物体領域が検出され得る。ここで検出される物体領域に係る情報は、記憶部４４に物体情報４４１Ｇとして記憶される。そして、この物体領域に係る情報には、例えば、該物体領域の位置（例えば、アドレス）を示す情報、該物体領域の検出元である画像の撮影時刻を示す情報、および該物体領域で捉えられた物体の姿勢情報とが含まれる。

図３２は、時刻Ｔ０、時刻Ｔ１、時刻Ｔ２、・・・、時刻Ｔｎにおけるカメラ２による撮影によって得られたｎ＋１枚のＴ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_Tn、ならびにｎ＋１枚のＴ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_Tnにそれぞれ対応するＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが例示されている。

図３２では、左側の縦一列にＴ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_Tnが示され、右側の縦一列にＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが示されている。各Ｔ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnは、仮想視点画像生成部４６３において、Ｔ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_TnおよびＴ０〜Ｔｎ距離情報のうちの対応する時刻の画像と距離情報とに基づいてそれぞれ生成される。また、図３２では、下になれば下になるほど、撮影時刻が後となるように各画像が示されている。そして、図３２では、一例として時間の経過とともに人物の顔がカメラ２側から見て左を向く方向に回転している様子が捉えられた複数の画像が示されている。

オクルージョン補填部４６４Ｇでは、次の工程(E1)〜(E3)が順に行われることで、ある時刻（例えば、時刻Ｔ１）の撮影で得られた仮想視点画像（例えば、Ｔ１仮想視点画像ＧＲ_T1）のうちの非撮影領域（例えば、Ｔ１非撮影領域Ａｏｆ_T1）の各画素に、ある時刻とは異なる時刻（例えば、時刻Ｔｎ）の撮影で得られた画像（例えば、Ｔｎ画像ＧＬ_Tn）のうちの一部の領域（例えば、一部の領域ＡＬｆ_Tn）の画素値が付与される。

(E1)記憶部４４内の物体情報４４１Ｇが参照され、ある時刻（例えば、時刻Ｔ１）の撮影で得られた画像（例えば、Ｔ１画像ＧＬ_T1）の物体領域に係る姿勢情報から、ある時刻に係る仮想視点画像（例えば、Ｔ１仮想視点画像ＧＲ_T1）の物体領域に係る姿勢（仮想姿勢とも言う）を示す情報（仮想姿勢情報とも言う）が得られる。ここでは、画像から仮想視点画像が生成される際に、画素のシフト量等から該仮想視点画像の物体領域に係る仮想姿勢情報が得られ得る。

(E2)領域検出部によって、画像領域検出部４６６Ｇで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域（補填用物体領域とも言う）が検出される。ここで言う許容誤差は、例えば、姿勢が或る向きを基準とした物体の回転角度で示される場合には、仮想姿勢に係る回転角度を基準とした値域範囲（例えば、±１°の範囲）との意味を含む。すなわち、許容誤差は、姿勢を示す値について基準値を含む値域範囲との意味を有する。なお、画像領域検出部４６６Ｇで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢と一致する姿勢の物体が捉えられた補填用物体領域が検出されることがより好ましい。

(E3)工程(E2)において検出された補填用物体領域に基づいて、仮想視点画像（例えば、Ｔ１仮想視点画像ＧＲ_T1）の物体領域（仮想物体領域とも言う）におけるオクルージョン領域（例えば、Ｔ１非撮影領域Ａｏｆ_T1）の各画素に画素値が付与される。具体的には、例えば、まず、必要であれば、工程(E2)において検出された補填用物体領域のサイズが、仮想物体領域のサイズに合うように、補填用物体領域が拡大または縮小される。次に、オクルージョン領域の各画素について、仮想物体領域においてオクルージョン領域の各画素が占める相対的な位置と、補填用物体領域において各画素が占める相対的な位置とが一致するように、画素の対応付けが行われる。そして、オクルージョン領域の各画素に、補填用物体領域の対応する画素の画素値が付与される。

ここで、第４変形例に係る画素値補填処理の動作フローについて説明する。図３３は、情報処理システム１において実現される第４変形例に係る動作フローを例示するフローチャートである。

図３３で示されるように、まず、画像取得部４６１によって、時刻Ｔ０〜Ｔｎの撮影で得られたＴ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_Tnが取得され（ステップＳＰ１）、測距機３で得られた時刻Ｔ０〜ＴｎにおけるＴ０〜Ｔｎ距離情報が得られる（ステップＳＰ２）。次に、仮想視点画像生成部４６３によってＴ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_TnとＴ０〜Ｔｎ距離情報とに基づいてＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnが生成される（ステップＳＰ３）。その次に、画像領域検出部４６６Ｇによって、各Ｔ０〜Ｔｎ画像ＧＬ_T0〜ＧＬ_TnとＴ０〜Ｔｎ仮想視点画像ＧＲ_T0〜ＧＲ_Tnとにおける所定種類の物体に係る物体領域の位置情報および姿勢情報が検出される（ステップＳＰ４）。そして、オクルージョン補填部４６４Ｇによって、ステップＳＰ４の検出結果に基づきオクルージョン領域Ａｏｆ_T1の各画素に対する画素値の付与が行われる（ステップＳＰ５）。

なお、図３１では、測距機３によって距離情報が得られる例が示されているが、測距機３の代わりに、ステレオカメラで得られたステレオ画像に基づき距離情報が得られても良い。また、画像取得部４６１で得られる複数の画像に同一種類の物体が複数個含まれている場合には、画像において各物体が捉えられている位置等によって、各物体が捉えられている物体領域が識別され、各物体領域に係る情報が物体情報４４１Ｇにおいて区別可能に記憶されても良い。

また、各物体領域に係る情報に、距離情報を含む３次元位置に係る情報が含まれても良い。また、例えば、ある時刻に係る仮想視点画像のオクルージョン領域の各画素に、ある時刻とは異なる時刻に係る仮想視点画像の画素値が付与されても良いし、ステレオ画像が得られる場合には、ある時刻とは異なる時刻に係る参照画像の画素値が付与されても良い。

また、上記工程(E2)において、画像領域検出部４６６Ｇで検出された複数の物体領域から、工程(E1)で得られた仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた２以上の物体領域が検出される場合には、所定のルールに従って、２以上の物体領域が１つの物体領域に絞り込まれても良い。所定のルールとしては、例えば、時刻Ｔ１に係るＴ１仮想視点画像ＧＲ_T1のオクルージョン領域の各画素に画素値が付与される場合、２以上の物体領域のうち、撮影時刻が時刻Ｔ１に最も近い画像に含まれる物体領域が自動的に選択されるルールが挙げられる。また、例えば、２以上の物体領域のうち、輝度および色の少なくとも一方の分布、すなわち時刻Ｔ１の撮影で得られたＴ１画像ＧＬ_T1の物体領域における画素値のパターンに最も近い画素値のパターンを有する一つの物体領域が自動的に選択されるルールも挙げられる。なお、画素値のパターンが最も近いとは、例えば、画素値のパターンどうしの差分の総和が最も小さいような状態が含まれる。

これにより、仮想視点画像において、ある物体を捉えた画像領域と、その周囲の画像領域との間における不整合が低減され得る。従って、ある物体を捉えた画像領域内における画素値の不自然な変化が低減され得る。

◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。

１，１Ｂ，１Ｃ 情報処理システム
２，２１Ｃ，２２Ｃ カメラ
２ｖ，２１ｖＤ 仮想カメラ
３ 測距機
４ 情報処理装置
４４ 記憶部
４６ 制御部
４４１，４４１Ｇ 物体情報
４６１，４６１Ｃ，４６１Ｄ 画像取得部
４６２，４６２Ｃ 距離情報取得部
４６３ 仮想視点画像生成部
４６４，４６４Ａ，４６４Ｂ，４６４Ｄ〜４６４Ｇ オクルージョン補填部
４６６ 物体推定部
４６６Ｇ 画像領域検出部
４６７ 情報更新部
４６８ 距離情報推定部

Claims (21)

1. 第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、
   前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識する認識部を有するとともに、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像のうちの前記非対応領域に係る画素値に基づいて画素値を付与する補填部と、
   を備え、
   前記補填部が、
   前記第１画像に第１基準点を設定するとともに、前記第２画像のうちの前記第１画像と対応する対応領域に含まれ且つ前記第１基準点に対応する第２基準点を設定する設定部を有し、前記第１仮想視点画像における前記第１基準点および前記第２基準点に対応する第１仮想基準点の位置情報、前記第２画像における前記第２基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係、ならびに前記第２画像に基づいて擬似的に生成され且つ前記第２画像の撮影に係る一視点が基準とされて前記第１視点に対する前記第１仮想視点と同一の位置関係を有する一仮想視点からの撮影によって取得され得る第２仮想視点画像における前記第２基準点に対応する第２仮想基準点と前記第２基準点との相対的な位置関係と、前記第１仮想基準点と前記第１基準点との相対的な位置関係との違いに基づいて、前記第１仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与することを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムであって、
   前記設定部が、
   前記対応領域のうちの前記処理対象点の近傍に位置する点を前記第２基準点として設定することを特徴とする画像処理システム。
3. 請求項１に記載の画像処理システムであって、
   前記設定部が、
   前記対応領域のうちの前記処理対象点の近傍に位置し、且つ前記第２画像の撮影における第２視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記第２基準点として設定することを特徴とする画像処理システム。
4. 第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、
   前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、
   を備え、
   前記補填部が、
   前記第２画像に基づいて擬似的に生成され且つ前記第２画像の撮影における第２視点に対して前記第１視点に対する前記第１仮想視点と同じ位置関係を有する第２仮想視点からの撮影によって取得され得る第２仮想視点画像のうちの、前記第１仮想視点画像における前記非撮影領域の各画素と同一座標に係る画素値を、該非撮影領域の各画素に対して付与することを特徴とする画像処理システム。
5. 第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、
   前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、
   を備え、
   前記補填部が、
   前記第２画像から擬似的に生成される第２仮想視点画像に基づいて、前記非撮影領域の各画素に画素値を付与し、
   前記第２画像が、
   第２視点からの撮影によって取得される画像であり、
   前記第２仮想視点画像が、
   第２仮想視点からの撮影によって取得され得る画像であり、
   前記第２視点と前記第２仮想視点との相対的な位置関係が、前記第１視点と前記第１仮想視点との相対的な位置関係と同一であることを特徴とする画像処理システム。
6. 第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、
   前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、
   を備え、
   前記第１画像が、
   第１カメラによる撮影によって得られ、
   前記第２画像が、
   前記第１カメラとは異なる第２カメラによる撮影によって得られることを特徴とする画像処理システム。
7. 第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、
   前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、
   を備え、
   前記第１画像が、
   第１カメラによる撮影によって得られ、
   前記取得部が、
   前記第１撮影時刻に前記第１カメラとは異なる第２カメラによる撮影によって得られる第３画像を取得し、
   前記補填部が、
   前記第２画像と前記第３画像とに基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。
8. 第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得部と、
   前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像に基づいて画素値を付与する補填部と、
   を備え、
   前記第１画像から特定種類の物体が捉えられた第１物体領域と該第１物体領域で捉えられている前記特定種類の物体の第１姿勢とを検出するとともに、前記第１撮影時刻とは異なる複数の撮影時刻における撮影によって得られ且つ前記取得部によって取得される前記複数の画像から前記特定種類の物体が捉えられた複数の物体領域と該複数の物体領域で捉えられている前記特定種類の物体の姿勢とをそれぞれ検出する第１検出部、
   を更に備え、
   前記補填部が、
   前記第１姿勢から前記第１仮想視点画像で捉えられた前記特定種類の物体の第１仮想姿勢の情報を得るとともに、前記複数の物体領域から、前記第１仮想姿勢を基準とした許容誤差内に含まれる姿勢の物体が捉えられた物体領域を検出する第２検出部を有し、該第２検出部によって検出された物体領域に基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。
9. 請求項８に記載の画像処理システムであって、
   前記補填部が、
   前記第２検出部によって２以上の物体領域が検出された場合、前記２以上の物体領域のうち、撮影時刻が前記第１撮影時刻に最も近い画像に含まれる物体領域に基づいて、前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。
10. 請求項８に記載の画像処理システムであって、
    前記補填部が、
    前記第２検出部によって２以上の物体領域が検出された場合、前記２以上の物体領域のうち、画素値のパターンが前記第１物体領域の画素値のパターンに最も近い一つの物体領域に基づいて前記非撮影領域の各画素に画素値を付与することを特徴とする画像処理システム。
11. 請求項８から請求項１０の何れか１つの請求項に記載の画像処理システムであって、
    前記補填部が、
    前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与することを特徴とする画像処理システム。
12. 請求項１１に記載の画像処理システムであって、
    前記認識部が、
    前記第１および第２画像がＭＰＥＧ形式の動画ファイルを構成する２つのフレーム画像である場合、前記ＭＰＥＧ形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識することを特徴とする画像処理システム。
13. 請求項５から請求項７の何れか１つの請求項に記載の画像処理システムであって、
    前記補填部が、
    前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識する認識部を有するとともに、前記非対応領域に係る画素値に基づいて、前記非撮影領域の各画素に対して画素値を付与することを特徴とする画像処理システム。
14. 請求項１３に記載の画像処理システムであって、
    前記認識部が、
    前記第１および第２画像がＭＰＥＧ形式の動画ファイルを構成する２つのフレーム画像である場合、前記ＭＰＥＧ形式の動画ファイルに含まれる動きベクトルの情報に基づいて、前記非対応領域を認識することを特徴とする画像処理システム。
15. 請求項１３または請求項１４に記載の画像処理システムであって、
    前記補填部が、
    前記第２画像のうちの前記第１画像と対応する対応領域に含まれる基準点を設定する設定部を有し、前記第１仮想視点画像における前記基準点に対応する仮想基準点の位置情報と、前記第２画像における前記基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係とに基づいて、前記第１仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与することを特徴とする画像処理システム。
16. 請求項１５に記載の画像処理システムであって、
    前記設定部が、
    前記対応領域のうちの前記処理対象点の近傍に位置する点を前記基準点として設定することを特徴とする画像処理システム。
17. 請求項１５に記載の画像処理システムであって、
    前記設定部が、
    前記対応領域のうちの前記処理対象点の近傍に位置し、且つ前記第２画像の撮影における第２視点から被写体までの離隔距離が前記処理対象点と略同一である点を前記基準点として設定することを特徴とする画像処理システム。
18. 請求項１から請求項１７の何れか１つの請求項に記載の画像処理システムであって、
    前記第１画像と、前記第１視点から前記被写体の各部分までの距離に係る距離情報とに基づいて、前記第１仮想視点画像を生成する生成部、
    を更に備えることを特徴とする画像処理システム。
19. 請求項１８に記載の画像処理システムであって、
    前記第１視点から前記被写体の各部分までの距離を測定する距離測定部、
    を更に備えることを特徴とする画像処理システム。
20. 第１撮影時刻における第１視点からの撮影によって得られる第１画像と、前記第１撮影時刻とは異なる第２撮影時刻における撮影によって得られる第２画像とを取得する取得ステップと、
    前記第２画像のうちの前記第１画像とは対応していない非対応領域を認識するとともに、前記第１画像に基づいて擬似的に生成され且つ前記第１視点とは異なる第１仮想視点からの撮影によって取得され得る第１仮想視点画像のうちの、前記第１画像で捉えられていない被写体の部分に相当する非撮影領域の各画素に対し、前記第２画像のうちの前記非対応領域に係る画素値に基づいて画素値を付与する補填ステップと、
    を備え、
    前記補填ステップにおいて、
    前記第１画像に第１基準点を設定するとともに、前記第２画像のうちの前記第１画像と対応する対応領域に含まれ且つ前記第１基準点に対応する第２基準点を設定し、前記第１仮想視点画像における前記第１基準点および前記第２基準点に対応する第１仮想基準点の位置情報、前記第２画像における前記第２基準点と前記非対応領域に含まれる処理対象点との相対的な位置関係、ならびに前記第２画像に基づいて擬似的に生成され且つ前記第２画像の撮影に係る一視点が基準とされて前記第１視点に対する前記第１仮想視点と同一の位置関係を有する一仮想視点からの撮影によって取得され得る第２仮想視点画像における前記第２基準点に対応する第２仮想基準点と前記第２基準点との相対的な位置関係と、前記第１仮想基準点と前記第１基準点との相対的な位置関係との違いに基づいて、前記第１仮想視点画像において前記処理対象点に対応する被補填点を特定するとともに、前記処理対象点に係る画素値に従って、前記被補填点に対して画素値を付与することを特徴とする画像処理方法。
21. 情報処理システムに含まれる制御部において実行されることにより、前記情報処理システムを、請求項１から請求項１９の何れか１つの請求項に記載の画像処理システムとして機能させるプログラム。

Images