WO2013187130A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

表示部に表示されたカメラ撮影画像に、時間とともに表示位置や角度を変更した仮想画像を重畳表示する構成を実現する。撮像部と、撮像部の撮影画像を表示する表示部と、表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有する。データ処理部は、表示位置、表示角度を時系列に変更した仮想画像の動画を撮影画像上に重畳表示する。データ処理部は、仮想画像コンテンツのフレーム対応メタデータとして、仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓと、仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、これらの各パラメータを取得し、取得パラメータを適用して、表示位置または表示角度を時系列に変更した仮想画像を生成して重畳表示する。

Description

情報処理装置、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。特に、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示を実行する情報処理装置、および情報処理方法、並びにプログラムに関する。

　例えばカメラの撮影画像に、撮影画像以外の仮想画像を重畳した画像は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像と呼ばれ、昨今、様々な分野で利用されている。
　特に、近年、通信機能に加えカメラ機能とディスプレイを備えたスマートフォンなどの携帯端末が普及し、これらのスマートフォンにおいて拡張現実（ＡＲ）画像を適用したアプリケーションが多く利用されている。

　ＡＲ画像の１つの利用例として、以下のような例がある。
　例えばスマートフォン等の携帯端末のカメラ機能を用いて人物のポスターを撮影し、スマートフォンの表示部に表示する。
　スマートフォンのデータ処理部は、撮影されたポスター、あるいはポスターに設定されたマーカを識別し、ポスターに移っている人物に対応する画像データを記憶部、あるいは外部のサーバから取得する。
　さらに、取得した画像を撮影画像に重畳表示する。このような処理によってポスターから人物が飛び出してくるような画像を表示、観察することができる。
　なお、ＡＲ画像の生成、表示処理について開示した従来技術として、例えば特許文献１（特開２０１２－５８８３８号公報）がある。

　さらに、ポスターから飛び出した人物画像を時間経過とともに拡大するといった処理によって、そのスマートフォンを持つユーザ側に人物が近付いてくるようなＡＲ画像の表示が可能となる。

　例えばカメラがポスターを斜め方向から撮影している場合、撮影画像上ではポスターにプリントされた人物は斜めから見た画像として表示される。この斜めから見た人物がポスターから飛び出すような自然なＡＲ画像を生成するためには、重畳する画像もポスターと同様、斜めから見た人物の画像とすることが必要である。

　しかし、この斜めから見た人物画像を時間の経過とともにユーザ側に近づいてくる画像として生成すると、斜めからみた人物が、そのままの姿勢でユーザ側に近付いてくる画像となり、不自然な画像となってしまう。

特開２０１２－５８８３８号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、例えばユーザの持つ携帯端末のカメラで撮影され表示部に表示された撮影画像に重畳して仮想画像を表示する構成において、例えば人物などの仮想画像の位置や角度を時間に応じて変化させる制御を行うことで、より自然なＡＲ画像の表示を実現する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　撮像部で撮像される撮像画像を取得する取得部と、
　前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
　前記データ処理部は、
　仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる、
情報処理装置にある。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータを適用した画像変換処理を実行して少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータとして、
　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
　これらの各パラメータを取得し、取得パラメータを適用して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成して前記撮影画像上に重畳表示する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記仮想画像の初期画像に対応するモデルビュー行列Ｍｍａｒｋｅｒを、前記仮想画像の最終画像に対応するモデルビュー行列Ｍｄｉｓｐｌａｙに変換する変換パラメータを算出し、算出した変換パラメータに対して、各仮想画像フレームに対応して設定されたメタデータである。前記相対位置パラメータＲｐｏｓ、または、前記相対角度パラメータＲｒｏｔを乗算して、各仮想画像フレームの変換処理に適用するオフセット情報を算出し、算出したオフセット情報を適用した仮想画像フレームの変換処理を実行して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画を生成する。

　さらに、本開示の情報処理装置の一実施態様において、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各々は、前記仮想画像の初期画像から最終画像に至る各動画像フレームにおいて０～１の範囲で順次変化する値である。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記仮想画像の撮影画像に対する重畳表示処理に際して、仮想画像と撮影画像の境界部の仮想画像のぼかし処理を実行する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記仮想画像動画コンテンツの生成処理を実行し、仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
　上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて０～１の範囲で設定する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記仮想画像の初期画像から最終画像に至る各動画像フレームに対して０～１の範囲で順次変化する値を、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの値として設定する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各々の値を、モード設定に応じて異なる態様で前記仮想画像を構成する各動画像フレームに対して設定する。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記仮想画像動画コンテンツの生成処理に際して、予め設定された許容範囲の角度と距離を示す制限情報を表示部に出力し、前記許容範囲の角度と距離内での仮想オブジェクトを含む仮想画像動画コンテンツを生成する。

　さらに、本開示の第２の側面は、
　画像撮影を実行する撮像部と、
　前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
　前記データ処理部は、
　仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
　上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理装置にある。

　さらに、本開示の情報処理装置の一実施態様において、前記データ処理部は、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて０～１の範囲で設定する。

　さらに、本開示の第３の側面は、
　画像撮影を実行する撮像部と、
　前記撮像部の撮影画像を表示する表示部と、
　前記表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有し、
　前記データ処理部は、
　少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画をサーバから取得し、取得した仮想画像を前記撮影画像上に重畳表示する情報処理装置にある。

　さらに、本開示の第４の側面は、
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、撮像部で撮像される撮像画像を取得する取得部と、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部を有し、
　前記データ処理部は、
　仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる情報処理方法にある。

　さらに、本開示の第５の側面は、
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、画像撮影を実行する撮像部と、前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
　前記データ処理部は、
　仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
　上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理方法にある。

　さらに、本開示の第６の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、撮像部で撮像される撮像画像を取得する取得部と、
　前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
　前記プログラムは、前記データ処理部に、
　仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させるプログラムにある。

　さらに、本開示の第７の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、画像撮影を実行する撮像部と、前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
　上記各パラメータを算出させ、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、表示部に表示されたカメラ撮影画像に、時間とともに表示位置や角度を変更した仮想画像を重畳表示する構成が実現される。
　具体的には、撮像部と、撮像部の撮影画像を表示する表示部と、表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有する。データ処理部は、表示位置、表示角度を時系列に変更した仮想画像の動画を撮影画像上に重畳表示する。データ処理部は、仮想画像コンテンツのフレーム対応メタデータとして、仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓと、仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、これらの各パラメータを取得し、取得パラメータを適用して、表示位置または表示角度を時系列に変更した仮想画像を生成して重畳表示する。
　これらの構成により、カメラ撮影画像に、時間とともに表示位置や角度を変更した仮想画像を重畳表示する構成が実現される。

本開示の処理の概要について説明する図である。 本開示のコンテンツ生成処理のシーケンスについて説明するフローチャートを示す図である。 本開示のコンテンツ表示処理のシーケンスについて説明するフローチャートを示す図である。 重畳表示する仮想画像の表示角度制御について説明する図である。 重畳表示する仮想画像の表示角度制御について説明する図である。 重畳表示する仮想画像の表示角度制御について説明する図である。 情報処理装置の構成例について説明する図である。 仮想画像コンテンツの生成時の制限構成について説明する図である。 仮想画像コンテンツの生成時の制限構成を実現する説明情報とアイコンの表示例について説明する図である。 適応的マスキング処理の具体例について説明する図である。 適応的マスキング処理のシーケンスについて説明するフローチャートを示す図である。 適応的マスキング処理を実行する情報処理装置の構成例について説明する図である。 オブジェクト切り出し処理を実行する情報処理装置の構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．本開示の処理の概要について
　　２．本開示の第１実施例について
　　　２－１．仮想画像動画コンテンツの生成処理について
　　　２－２．仮想画像動画コンテンツを撮影画像に重畳表示する処理について
　　３．情報処理装置の構成例について
　　４．変形実施例について
　　　４－１．仮想画像コンテンツ生成時の被写体の位置に関する制約を設定した実施例について
　　　４－２．仮想画像表示処理時の画像エッジの加工処理を行なう実施例について
　　　４－３．複数の仮想画像に対する処理を行なう実施例について
　　　４－４．処理の一部をネットワーク接続したサーバで実行する処理例について
　　５．本開示の構成のまとめ

　　［１．本開示の処理の概要について］
　まず、図１を参照して、本開示の処理の概要について説明する。
　図１は、以下の２つのＡＲ画像の表示処理例を示している。
　（Ａ）角度制御なしの仮想画像表示処理
　（Ｂ）角度制御ありの仮想画像表示処理

　いずれも、ユーザがカメラ機能を持つスマートフォン等の携帯端末を用いて、人物の印刷されたポスター１１を撮影し、携帯端末の表示部に表示されたカメラ撮影画像１５を時間経過（ｔ０～ｔ４）とともに示した図である。
　（Ａ），（Ｂ）いずれも撮影画像ではない仮想画像を、撮影画像に重畳表示している。

　仮想画像は、例えばポスター１１にプリントされた人物と同じ実際の人物の２次元画像データであり、例えばスマートフォン等の携帯端末の記憶部に格納された画像データ、あるいはネットワークを介したサーバの提供する画像データである。

　ユーザは、ポスター１１を斜め方向から撮影している。図１（Ａ）に示す角度制御なしの仮想画像表示処理では、斜めに撮影されているポスターから人物が飛び出しくるように表示するため、重畳表示する仮想画像２１もポスターと同様、斜め方向から見た人物画像としている。

　その後、この人物が時間の経過（ｔ０～ｔ４）とともに、ユーザ側に近づいてくる表示を行うため、その斜めから見た画像を適用した動画表示処理を行なっている。
　しかし、図１（Ａ）に示す時間（ｔ３），（ｔ４）等の仮想画像２１は、カメラに近づいているにも関わらず、人物は斜め方向から見た画像のままであり、ユーザに近づくにつれて不自然な画像であると認識され、明らかに撮影画像と別の貼り付け画像であると認識されることになる。これは、時間（ｔ０）の初期画像の撮影方向と同様の方向から撮影した画像をそのまま適用することに起因する。

　これに対して、図１（Ｂ）の角度制御ありの仮想画像表示処理は、以下に説明する本開示の処理を適用した仮想画像の表示処理例である。
　図１（Ｂ）に示す例では、図１（Ａ）と異なり、仮想画像３１は、時間の経過（ｔ１→ｔ４）とともに、斜め向きから正面向きに表示角度が変更されている。
　このように仮想画像の角度の制御を行なうことで、ポスターから飛び出した人物が、より自然にユーザ側に近づいてくる画像を提供することが可能となる。
　図１（Ｂ）に示す例では、時間（ｔ０）の初期画像の撮影方向と同様の方向から撮影した画像に対して、例えば仮想画像の距離に応じた角度制御等を実行して、仮想画像の向きなどを変更する処理を行なっている。この処理によってより自然な仮想画像の表示が可能となる。
　以下、このような画像表示を実現する本開示の処理の詳細について説明する。

　図１（Ｂ）に示すような画像表示を行うため、例えば、仮想画像の動画コンテンツを構成する各フレームにカメラとの相対位置・角度（の割合）をメタデータとして設定する。
　メタデータは仮想画像として表示するオブジェクト、例えば人物などのオブジェクトの距離情報に応じたデータとして設定する。
　なお、距離情報は、例えばカメラからの被写体距離を例えば画素単位で設定したデプスマップが利用可能である。デプスマップは、複眼カメラなどで撮影したデータを用いた処理、あるいはカメラと別に距離情報（デプス）を取得するデバイスを用いて、事前に生成可能である。
　なお、デプスマップがない場合も、距離測定対象となるオブジェクトが人物であれば顔検出を用いて顔の大きさから距離を判定することが可能である。
　また、ユーザやオペレータが手動で距離情報を設定してもよい。

　なお、以下の実施例において詳細に説明するが、例えば図１（Ｂ）に示すようなポスターから飛び出した人物の角度制御処理の態様としては、様々な設定が可能である。
　例えば、仮想画像として表示した人物が時間経過に伴い、カメラに近づいた後、あるいは遠ざかったあとは、常に正面向きとするなど、仮想画像とカメラとの角度を一定にする設定等の制御が可能である。

　なお、画像撮影および表示を実行する装置は、スマートフォンに限らず、例えばＰＣや、メガネ型のＡＲグラスなど、様々な情報処理装置によって実現可能である。

　本開示の処理を適用することで、スマートフォンやＡＲグラスなどの情報処理装置に表示中のカメラ撮影画像等のベース画像に、人物などの仮想画像を重畳表示する構成において、より自然な仮想画像の表示が可能となる。
　具体的には、仮想画像の表示位置や表示角度を時間経過とともに変更して、より自然な仮想画像の表示、すなわち、仮想画像が重畳対象となる撮影画像等のベース画像中に存在するような表示を実現することが可能となる。

　なお、重畳する仮想画像は、例えば仮想画像が実写の人物画像である場合、人物以外の画素部分の透過度を最大にし、人物領域の透過度を０に設定するなどの透過度情報あるいはマスク情報と呼ばれる画素単位のαチャンネル情報を持つ画像データが利用可能である。このようなαチャンネルを持つコンテンツを撮影画像に重畳することで、仮想画像に含まれる人物領域のみがクライアントの撮影画像に重畳され、人物以外の画像領域では撮影画像がそのまま表示される。

　　［２．本開示の第１実施例について］
　本開示の第１実施例について説明する。
　図１（Ｂ）を参照して説明したようなカメラ撮影画像に対して、仮想画像を重畳表示する処理を実現するための処理として、以下の２つの処理が必要となる。
　（ａ）仮想画像動画コンテンツの生成処理、
　（ｂ）上記（ａ）の処理において生成した仮想画像動画コンテンツを撮影画像に重畳表示する処理、
　以下、これらの各処理について、順次、説明する。

　　［２－１．仮想画像動画コンテンツの生成処理について］
　まず、図１（Ｂ）に示す仮想画像３１を表示するための仮想画像動画コンテンツの生成処理シーケンスについて図２に示すフローを参照して説明する。
　なお、この動画コンテンツの生成処理は、例えばスマートフォン等の情報処理装置において実行してもよいし、その他のＰＣ等の情報処理装置において実行してもよい。

　なお、フローに示す処理は、情報処理装置の記憶部に格納されたプログラムに従って、データ処理部、すなわちプログラム実行機能を有するＣＰＵ等を有するデータ処理部の制御の下に実行される。
　以下、各ステップの処理の詳細について、順次、説明する。

　　（ステップＳ１０１）
　まず、情報処理装置のデータ処理部は、入力部を介するユーザによるモード設定情報を入力し、「飛び出す効果」をどのような演出にするかを決定する。設定モードは例えば以下の２種類がある。
　（１）シンプルモード
　シンプルモードは、単純に仮想画像とカメラ（情報処理装置）との距離に応じてカメラ重畳表示する仮想画像のなす角度・位置を決定するモードである。
　（２）コンスタントモード
　コンスタントモードは、撮影画像であるベース画像の撮影オブジェクトであるポスターなどから仮想画像を飛び出させた後は、カメラとのなす角度を一定にする、例えば正面向きに設定する処理を行なうモードである。

　なお、これらのモードは２者択一モードとした設定としてもよいが、シンプルモードからコンスタントモードまでの間のモードについても設定可能な構成としてもよい。
　また、カメラとのなす角度を変化させる速度をユーザがパラメータとして入力部を介して入力する構成とし、データ処理部が入力パラメータに応じた制御を行う構成としてもよい。

　　（ステップＳ１０２）
　次に、ステップＳ１０２において、情報処理装置の撮像部（カメラ）を適用してカメラ画像取得処理を行なう。これは、仮想画像として表示する例えば人物などからなる撮影画像を取得する処理である。例えばグリーンバックの設備のあるスタジオなどで人物を撮影する。

　　（ステップＳ１０３）
　次に、ステップＳ１０３において、仮想画像として表示する被写体である人物等のオブジェクトまでの距離を算出する。
　なお、被写体距離情報の取得方法としては、様々な手法が適用可能である。
　具体的には、例えば、以下の手法が適用できる。
　（ア）複眼カメラを用いてステレオビジョン的、もしくはＫｉｎｅｃｔのように近赤外カメラを併用して距離を取得しデプスマップを生成する。生成したデプスマップを用いて、映像処理をした切り抜き後のオブジェクトの領域におけるデプスの平均を距離とする。
　（イ）仮想画像として表示する被写体対象が人物であれば、顔検出や人体検出を用いて大きさから距離を推定する。
　（ウ）映像処理をした切り抜き後のオブジェクトの領域面積の大きさから距離を推定する。

　　（ステップＳ１０４）
　次に、情報処理装置は、ステップＳ１０４において、仮想画像として表示するオブジェクト、例えば人物の相対位置と角度を、仮想画像動画コンテンツを構成する各フレーム対応のメタデータ（属性情報）として設定する。

　以下、このメタデータ設定処理の詳細アルゴリズムについて説明する。
　なお、このメタデータ設定処理は、前述したモードに応じて異なる処理となる。
　すなわち、「シンプルモード」と「コンスタントモード」では異なる処理となる。
　以下、各モードに対応するメタデータ設定処理アルゴリズムについて説明する。

　　（シンプルモードにおけるメタデータ設定アルゴリズムについて）
　シンプルモードは、前述したように単純に仮想画像とカメラ（情報処理装置）との距離に応じてカメラ重畳表示する仮想画像のなす角度・位置を決定するモードである。

　まず、以下のように各変数を定義する。
　動作開始点における距離：Ｄｓｔａｒｔ
　処理時刻における距離：Ｄｐｒｏｃ
　動画シーケンスにおける最短距離：Ｄｍｉｎ
　とする。
　例えば、動作開始点における距離：Ｄｓｔａｒｔは、図１（Ｂ）の例では、カメラからポスターまでの距離に相当する。
　処理時刻における距離：Ｄｐｒｏｃは、図１（Ｂ）の例で、時刻（ｔ０～ｔ４）
各々のカメラから仮想画像の距離に相当する。
　動画シーケンスにおける最短距離：Ｄｍｉｎは、図無１（Ｂ）の例では、時刻（ｔ４）のカメラから仮想画像の距離に相当する。

　なお、Ｄｓｔａｒｔ＞＝Ｄｐｒｏｃ＞＝Ｄｍｉｎ＞＝０
　としたとき、
　相対位置パラメータ：Ｒｐｏｓと、相対角度パラメータ：Ｒｒｏｔを、以下のように定義する。
　Ｒｐｏｓ＝（Ｄｓｔａｒｔ－Ｄｐｒｏｃ）／（Ｄｓｔａｒｔ－Ｄｍｉｎ）
　Ｒｒｏｔ＝（Ｄｓｔａｒｔ－Ｄｐｒｏｃ）／（Ｄｓｔａｒｔ－Ｄｍｉｎ）

　上記式から明らかなように、
　相対位置パラメータ：Ｒｐｏｓ＝０～１
　相対角度パラメータ：Ｒｒｏｔ＝０～１
　これらの値を取り得る。
　処理時刻における距離：Ｄｐｒｏｃが、動作開始点における距離：Ｄｓｔａｒｔに等しい場合、すなわち、例えば図１（Ｂ）の設定の時刻（ｔ０）では、
　Ｒｐｏｓ＝０
　Ｒｒｏｔ＝０
　である。

　また、処理時刻における距離：Ｄｐｒｏｃが、動画シーケンスにおける最短距離：Ｄｍｉｎに等しい場合、すなわち、例えば図１（Ｂ）の設定の時刻（ｔ４）では、
　Ｒｐｏｓ＝１
　Ｒｒｏｔ＝１
　である。

　すなわち、相対位置パラメータ：Ｒｐｏｓと、相対角度パラメータ：Ｒｒｏｔはいずれも動作開始点から、最短距離に至るまで０～１の値を連続的に変化するパラメータとなる。
　これらのパラメータを適用した仮想画像表示処理については後段で説明する。
　例えば、
　相対位置パラメータ：Ｒｐｏｓ＝０、
　相対角度パラメータ：Ｒｒｏｔ＝０、
　このようなパラメータ設定では、図１（Ｂ）の時刻（ｔ０）のように、ポスターの人物と同一の仮想画像を重畳表示する処理を実行する。
　すなわち、仮想オブジェクトの位置、角度が、撮影画像のポスターと同一となる設定とする。

　また、
　相対位置パラメータ：Ｒｐｏｓ＝１、
　相対角度パラメータ：Ｒｒｏｔ＝１、
　このようなパラメータ設定では、図１（Ｂ）の時刻（ｔ４）のように、仮想画像を予め既定したカメラへの最近接位置とし、かつ正面向きの仮想画像を表示する処理を実行する。
　これらのパラメータを適用した仮想画像表示処理については後段で説明する。

　なお、このパラメータ定義式、すなわち、
　相対位置パラメータ：Ｒｐｏｓ＝（Ｄｓｔａｒｔ－Ｄｐｒｏｃ）／（Ｄｓｔａｒｔ－Ｄｍｉｎ）
　相対角度パラメータ：Ｒｒｏｔ＝（Ｄｓｔａｒｔ－Ｄｐｒｏｃ）／（Ｄｓｔａｒｔ－Ｄｍｉｎ）
　これらのパラメータ定義式は、一例であり、様々な変形が可能である。

　例えば、カメラとのなす角度＝０になる距離閾値：Ｄｌｉｍを導入して、以下のアルゴリズムに従ってパラメータを設定してもよい。
　相対位置パラメータ：Ｒｐｏｓ＝（Ｄｓｔａｒｔ－Ｄｐｒｏｃ）／（Ｄｓｔａｒｔ－Ｄｍｉｎ）
　Ｉｆ　Ｄｐｒｏｃ＜Ｄｌｉｍ　Ｔｈｅｎ
　　　　　　　　　Ｒｒｏｔ＝１．０
Ｅｌｓｅ
　　　　　　　　　Ｒｒｏｔ＝（Ｄｓｔａｒｔ－Ｄｐｒｏｃ）／（Ｄｓｔａｒｔ－Ｄｌｉｍ）
Ｅｎｄｉｆ

　上記のパラメータ設定アルゴリズムは、仮想画像オブジェクトが最短位置（Ｄｍｉｎ）に到達する前に、所定の距離（Ｄｌｉｍ）に到達したことを条件として、仮想画像オブジェクトとカメラとのなす角をゼロ、すなわち、仮想画像としての人物をカメラに正面向きに設定する処理を実行するアルゴリズムである。
　なお、このようなアルゴリズムの設定処理は、例えば、情報処理装置の入力部を介したモード設定やパラメータ入力によって実行可能である。

　シンプルモードでは、上記の相対位置パラメータ：Ｒｐｏｓと、相対角度パラメータ：Ｒｒｏｔを仮想画像の動画コンテンツの構成フレームにメタデータとして時系列に順次設定する。
　例えば、動画コンテンツがフレーム０～１０００の１０００フレームである場合、
　相対位置パラメータ：Ｒｐｏｓ＝０～１、
　相対角度パラメータ：Ｒｒｏｔ＝０～１、
　これらのパラメータを仮想画像の動画コンテンツの構成フレームに時系列に順次設定する。

　　（コンスタントモードにおけるメタデータ設定アルゴリズムについて）
　コンスタントモードは、前述したように、撮影画像であるベース画像の撮影オブジェクトであるポスターなどから仮想画像を飛び出させた後は、カメラとのなす角度を一定にする、例えば正面向きに設定する処理を行なうモードである。

　コンスタントモードでは、
　上記のシンプルモードで定義した変数、すなわち、
　動作開始点における距離：Ｄｓｔａｒｔ
　処理時刻における距離：Ｄｐｒｏｃ
　動画シーケンスにおける最短距離：Ｄｍｉｎ
　これらの変数に加え、
　カメラとのなす角ゼロになる距離閾値Ｄｌｉｍを初めて下回る時刻Ｔｌｉｍ、
　処理時刻Ｔｐｒｏｃ、
　これらの変数を定義する。

　コンスタントモードでは、以下のアルゴリズムに従って、相対角度パラメータ：Ｒｒｏｔを算出する。
　Ｉｆ　Ｔｐｒｏｃ＞＝Ｔｌｉｍ　Ｔｈｅｎ
　　　　　　　　　Ｒｒｏｔ＝１．０
Ｅｌｓｅ
　　　　　　　　　Ｒｒｏｔ＝（Ｄｓｔａｒｔ－Ｄｐｒｏｃ）／（Ｄｓｔａｒｔ－Ｄｌｉｍ）
Ｅｎｄｉｆ

　なお、相対位置パラメータ：Ｒｐｏｓは、シンプルモードと同様の設定としてよい。
　上記のアルゴリズムで「一旦飛び出したあとはカメラとのなす角が常にゼロになる」ような仮想画像表示が可能になる。

　コンスタントモードでは、上記の相対位置パラメータ：Ｒｐｏｓと、相対角度パラメータ：Ｒｒｏｔを仮想画像の動画コンテンツの構成フレームにメタデータとして時系列に順次設定する。
　例えば、動画コンテンツがフレーム０～１０００の１０００フレームである場合、
　相対位置パラメータ：Ｒｐｏｓ＝０～１、
　相対角度パラメータ：Ｒｒｏｔ＝０～１、
　これらのパラメータを仮想画像の動画コンテンツの構成フレームに時系列に順次設定する。

　　（ステップＳ１０５）
　情報処理装置は、次にステップＳ１０５において、画そう画像の動画コンテンツの生成処理を行なう。
　具体的には、重畳表示するオブジェクト、たとえば人物のみを切り出した映像を生成する処理を行なう。
　例えば、仮想画像が実写の人物画像である場合、人物以外の画素部分の透過度を最大にし、人物領域の透過度を０に設定するなどの透過度情報あるいはマスク情報と呼ばれる画素単位のαチャンネル情報を持つ画像データを生成する。このようなαチャンネルを持つコンテンツを撮影画像に重畳することで、仮想画像に含まれる人物領域のみがクライアントの撮影画像に重畳され、人物以外の画像領域では撮影画像がそのまま表示される。

　　（ステップＳ１０６）
　情報処理装置は、次に、ステップＳ１０４において生成したメタデータと、ステップＳ１０５において生成した画像データを対応付けて記録する。例えばハードディスクやフラッシュメモリ、などのメディアに記録する処理を行なう。

　　（ステップＳ１０７）
　最後に、ステップＳ１０７において、終了判定を行う。
　処理している動画シーケンスに次のフレームがあれば、ステップＳ１０２に戻り、次のフレームを処理する。全ての処理が終了した場合、処理を終了する。

　　［２－２．仮想画像動画コンテンツを撮影画像に重畳表示する処理について］
　次に、図２に示すフローに従って生成した重畳表示用の仮想画像からなる動画コンテンツを表示する処理シーケンスについて図３に示すフローチャートを参照して説明する。
　なお、この仮想画像動画コンテンツを撮影画像に重畳表示する処理は、例えばスマートフォン等の撮像部（カメラ）と表示部を備えた情報処理装置において実行される。なお、その他、撮像部（カメラ）と表示部を備えた構成であれは、例えばＰＣやＡＲグラスなどの様々な装置において実行可能である。

　なお、フローに示す処理は、情報処理装置の記憶部に格納されたプログラムに従って、データ処理部、すなわちプログラム実行機能を有するＣＰＵ等を有するデータ処理部の制御の下に実行される。
　以下、各ステップの処理の詳細について、順次、説明する。

　　（ステップＳ２０１）
　まず、情報処理装置のデータ処理部は、情報処理装置の撮像部（カメラ）で画像撮影を実行し、撮影画像を取得する。
　例えば、図１（Ｂ）に示す時間（ｔ０）のような画像である。

　　（ステップＳ２０２）
　次に情報処理装置はステップＳ２０２において、後段で必要となるカメラの位置・角度情報を算出するための情報取得に成功したか否かを判定する。
　カメラの位置・角度情報を算出するための情報とは、例えば、撮影画像に含まれるマーカである。マーカとは、例えば図１に示すポスター１１に予め印刷されたサイバーコード（Ｃｙｂｅｒ－Ｃｏｄｅ）などの二次元バーコード等である。このようなマーカを認識すれば、カメラ画像に映るマーカの角度から、カメラの位置や角度を算出することができる。

　なお、カメラの位置・角度情報を算出するための情報としては、サイパーコード等のマーカに限らず、ポスターやＣＤのジャケットなどの物体自身であってもよい。
　情報処理装置の実行するカメラの位置・角度算出処理アルゴリズムに応じて、何をカメラの位置・角度情報を算出するための情報として利用するかは異なり、適用情報は様々な設定が可能である。

　例えば、情報処理装置のカメラによって撮影された画像から特徴点を抽出しトラッキングすることでカメラの三次元的位置を認識するようなＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　Ａｎｄ　Ｍａｐｐｉｎｇ）の技術を適用した位置同定処理を行なう構成としてもよい。なお、ＳＬＡＭを適用した処理については、例えば本出願人と同一出願人の特開２０１１－４３４１９号公報等に記載されている。

　また、その他、カメラの位置・角度情報を算出するための情報として、情報処理装置に付属するセンサの情報を適用してもよい。
　このように、ステップＳ２０２では、情報処理装置の実行するカメラの位置・角度情報の取得に成功したか否かを判定する。
　情報が得られない場合は、その後のＡＲ画像生成処理は不可能と判断し、処理を終了する。
　情報が得られた場合は、ステップＳ２０３に進む。

　　（ステップＳ２０３）
　次に、情報処理装置はステップＳ２０３において、ステップＳ２０２で得られた情報を適用して情報処理装置（カメラ）の現在の位置および姿勢を算出する。

　　（ステップＳ２０４）
　次に、情報処理装置は、ステップＳ２０４において、重畳表示予定の仮想画像コンテンツのデコード処理を実行する。

　　（ステップＳ２０５）
　次に、情報処理装置はステップＳ２０５において、ステップＳ２０３で求めたカメラの位置・角度情報、および、仮想画像コンテンツの各画像フレーム対応のメタデータとして設定されたパラメータを利用して、情報処理装置の表示部に表示する仮想画像の生成処理を行なう。

　なお、仮想画像コンテンツの各フレームのメタデータとして設定されたパラメータとは、先に図２のフローを参照して説明した以下のパラメータである。
　相対位置パラメータ：Ｒｐｏｓ、
　相対角度パラメータ：Ｒｒｏｔ、
　これらのパラメータである。

　具体的には、例えば、仮想画像フレームに設定されたパラメータが、
　Ｒｐｏｓ＝０、
　Ｒｒｏｔ＝０、
　これらの設定である画像の場合は、撮影画像のマーカに張り付けた位置、および角度とした仮想画像を重畳する。
　例えば、図１（Ｂ）の時間（ｔ０）のポスター１１の人物に等しい位置、角度で仮想画像を重畳表示する。

　一方、例えば、仮想画像フレームに設定されたパラメータが、
　Ｒｐｏｓ＝１、
　Ｒｒｏｔ＝２、
　これらの設定である画像の場合は、情報処理装置側に最も近付いた位置で、かつ正面向きの仮想画像を重畳する。
　例えば、図１（Ｂ）の時間（ｔ３）に示す仮想画像３１に相当する画像を重畳表示する。

　なお、先に図２のフローを参照して説明したように、仮想画像コンテンツは、動画像コンテンツであり、この動画像コンテンツを構成する各フレームに、個別に以下のパラメータが設定されている。
　相対位置パラメータ：Ｒｐｏｓ＝０～１、
　相対角度パラメータ：Ｒｒｏｔ＝０～１、

　情報処理装置は、仮想画像コンテンツの各画像フレームについて、フレーム対応の上記２つのパラメータを取得して、各画像フレームの仮想画像の表示位置と表示角度を算出する。さらに、各画像フレームの仮想画像に対して、これらのパラメータを適用した画像変換処理を実行して、各画像フレームに対応する表示位置と表示角度を持つ変換仮想画像を生成する。この変換処理によって生成した変換仮想画像を重畳表示する。

　この画像変換処理には、例えば、仮想画像コンテンツの各画像フレームに対する以下の処理が含まれる。
　（ａ）回転処理、
　（ｂ）スケール変更処理（拡大、縮小）、
　（ｃ）平行移動処理、

　情報処理装置は、仮想画像コンテンツの各画像フレームについて、上記処理（ａ）～（ｃ）を実行するため、各画像フレームに対応する上記（ａ）～（ｃ）の各処理に対応する処理パラメータを算出する。

　この処理パラメータは以下の手順で算出する。
　まず、以下の２つのモデルビュー行列を取得する。
　（Ａ）初期状態モデルビュー行列（Ｍｍａｒｋｅｒ）
　仮想画像コンテンツの初期状態である仮想画像、例えば、図１（Ｂ）に示す時間（ｔ０）のポスター１１の人物と同じ位置、角度の仮想画像のモデルビュー行列：Ｍｍａｒｋｅｒ、
　（Ｂ）最終状態モデルビュー行列（Ｍｄｉｓｐｌａｙ）
　仮想画像コンテンツの最終状態である仮想画像、例えば、図１（Ｂ）に示す時間（ｔ３）の情報処理装置（カメラ）に最近接し、正面向きの仮想画像であり、ディスプレスに正規化された仮想画像のモデルビュー行列：Ｍｄｉｓｐｌａｙ、
　これらを記憶部から取得、または各画像に基づいて生成する。

　なお、モデルビュー行列とは、モデル（図１に示す例では人物対応の仮想画像）の位置および姿勢を表す行列であり、基準座標系の３次元座標をカメラ座標系に変換する変換行列である。
　なお、これらのモデルビュー行列は、図２を参照してコンテンツ生成時に算出して情報処理装置の記憶部に格納しておいてもよいし、この図３に示すフローのステップＳ２０５の処理に際して各画像から算出してもよい。

　次に、この２つのモデルビュー行列、Ｍｍａｒｋｅｒと、Ｍｄｉｓｐｌａｙを用いて、行列Ｍｍａｒｋｅｒを、行列Ｍｄｉｓｐｌａｙに変換するための以下のパラメータを算出する。
　回転軸：Ｖｒｏｔ、
　回転角度：θｒｏｔ
　スケール：Ｖｓｃａｌｅ、
　移動成分：Ｖｔｒａｎｓｌａｔｅ、
　これらのパラメータを算出する。

　さらに、各画像フレームに対応して設定されたメタデータ、すなわち、
　相対位置パラメータ：Ｒｐｏｓ＝０～１、
　相対角度パラメータ：Ｒｒｏｔ＝０～１、
　これらのパラメータを用いて、各画像フレームの仮想画像を変換するパラメータとして、以下のオフセット情報を算出する。
　（１）回転角度オフセット：Ｒｒｏｔ×θｒｏｔ、
　（２）スケールオフセット：Ｒｐｏｓ×Ｖｓｃａｌｅ、
　（３）移動成分オフセット：Ｒｐｏｓ×Ｖｔｒａｎｓｌａｔｅ、

　例えば、上記の（１）回転角度オフセット：Ｒｒｏｔ×θｒｏｔは、仮想画像コンテンツの各画像フレームに設定された相対角度パラメータ：Ｒｒｏｔ＝０～１に応じて図４のグラフに示す値に設定される。
　図４は、横軸に仮想画像コンテンツの各画像フレームに設定された相対角度パラメータ：Ｒｒｏｔ＝０～１、縦軸に、各画像に対応して算出される回転角度オフセット：Ｒｒｏｔ×θｒｏｔを示している。
　横軸の相対角度パラメータ：Ｒｒｏｔ＝０～１は、動画像を構成する各画像フレーム、すなわち第０フレームｆ（ｔ０）～最終フレームｆ（ｔｎ）の
各画像に設定されたパラメータである。

　第０フレームｆ（ｔ０）では、相対角度パラメータ：Ｒｒｏｔ＝０であり、
　回転角度オフセット：Ｒｒｏｔ×θｒｏｔ＝０となる。
　すなわち、この場合、仮想画像コンテンツの第０フレームｆ（ｔ０）の仮想画像に対して回転処理は実行されずに重畳表示用の画像を生成する。

　また、第ｎフレームｆ（ｔｎ）では、相対角度パラメータ：Ｒｒｏｔ＝１であり、
　回転角度オフセット：Ｒｒｏｔ×θｒｏｔ＝θｒｏｔとなる。
　すなわち、この場合、仮想画像コンテンツの第ｎフレームｆ（ｔｎ）の仮想画像に対して、初期状態モデルビュー行列（Ｍｍａｒｋｅｒ）を最終状態モデルビュー行列（Ｍｄｉｓｐｌａｙ）に変換するための回転角度：θｒｏｔに応じて回転処理を実行して重畳表示用の画像を生成する。

　仮想画像コンテンツの第０フレームｆ（ｔ０）～第ｎフレームｆ（ｔｎ）までの各フレームにおいて、図４に示すグラフのように、
　回転角度オフセット：Ｒｒｏｔ×θｒｏｔは、各画像対応のメタデータとして設定された相対角度パラメータ：Ｒｒｏｔ＝０～１に応じて、順次０からθｒｏｔまで変化することになる。
　すなわち、各仮想画像フレームのモデル、例えば図１（Ｂ）に示す仮想画像３１の人物が順次、少しずつ回転して表示されることになる。

　図４には。回転角度オフセット：Ｒｒｏｔ×θｒｏｔの例を示したが、その他のスケールオフセット：Ｒｐｏｓ×Ｖｓｃａｌｅ、移動成分オフセット：Ｒｐｏｓ×Ｖｔｒａｎｓｌａｔｅについても同様の処理によって、スケール変更処理と移動処理が各画像に設定されたメタデータである、以下のパラメータ、すなわち、
　相対位置パラメータ：Ｒｐｏｓ、
　相対角度パラメータ：Ｒｒｏｔ、
　これらのパラメータに応じて、スケールオフセット：Ｒｐｏｓ×Ｖｓｃａｌｅ、移動成分オフセット：Ｒｐｏｓ×Ｖｔｒａｎｓｌａｔｅ、これらのオフセット情報を決定する。

　情報処理装置は、これら、各オフセット情報、すなわち、
　（１）回転角度オフセット：Ｒｒｏｔ×θｒｏｔ、
　（２）スケールオフセット：Ｒｐｏｓ×Ｖｓｃａｌｅ、
　（３）移動成分オフセット：Ｒｐｏｓ×Ｖｔｒａｎｓｌａｔｅ、
　これらのオフセット情報を、各画像対応のメタデータとして設定された相対位置パラメータ：Ｒｐｏｓ＝０～１、相対角度パラメータ：Ｒｒｏｔ＝０～１を適用して算出し、算出したオフセット情報を適用して各画像の画像変換を実行し、重畳表示する変換仮想画像を生成する。
　なお、変換対象とする仮想画像の動画像コンテンツは、例えば、図１（Ｂ）の例では、時間（ｔ０）の初期画像に示すような、ポスターの人物を斜め方向から撮影した動画像コンテンツが利用可能である。この斜め方向から撮影した画像を時間経過とともに異なる画像変換を行うことで、図１（Ｂ）に示す時間経過とともに正面向きの仮想画像の動画シーケンスを生成することができる。

　なお、図４に示す回転角度オフセット：Ｒｒｏｔ×θｒｏｔの設定例は、各仮想画像フレームに設定する相対角度パラメータ：Ｒｒｏｔを画像フレームの表示時間に応じて線形に変更した場合の例である。

　各仮想画像フレームに設定する相対角度パラメータ：Ｒｒｏｔの設定態様を変更することで、例えば、図５、図６に示すように、画像の進行に応じて、回転角度オフセット：Ｒｒｏｔ×θｒｏｔが少しずつ減少または増加する設定としてもよい。これらの処理によって、画像フレームの進行に応じて、画像の回転角度が少しずつ減少または増加するといった処理が可能となる。
　その他のスケールオフセット：Ｒｐｏｓ×Ｖｓｃａｌｅ、移動成分オフセット：Ｒｐｏｓ×Ｖｔｒａｎｓｌａｔｅについても同様の処理が可能である。

　　（ステップＳ２０６）
　次に、情報処理装置は、ステップＳ２０６において、ステップＳ２０５において生成した仮想画像コンテンツを、情報処理装置の表示部に表示中のカメラ撮影画像に重畳する。

　　（ステップＳ２０７）
　次に、情報処理装置はステップＳ２０７において、情報処理装置の表示部（ディスプレイ）に最終結果としての撮影画像に仮想画像を重畳したＡＲ画像を出力する。
　　（ステップＳ２０８）
　ステップＳ２０８において、予め設定した終了条件、例えば画像撮影処理の終了、あるいはアプリケーションの終了などの終了条件が発生したか否かを判定し、終了条件が発生した場合は無処理を終了する。終了条件が発生しない場合は、ステップＳ２０１に戻り、同様の処理を繰り返す。

　このようにして、例えば図１（Ｂ）を参照して説明したように、表示位置や表示角度が順次変更された仮想画像が情報処理装置の表示部に表示中の撮影画像に重畳され表示されることになる。

　　［３．情報処理装置の構成例について］
　図７に、上述した処理を実行する情報処理装置の構成例を示す。
　情報処理装置は、図２のフローチャートを参照して説明したコンテンツ生成処理を実行するコンテンツ生成部１２０と、例えば図２を参照して説明したコンテンツ生成処理において生成したコンテンツおよびメタデータを記憶する記憶部１４０、さらに、図３のフローチャートを参照して説明したコンテンツ表示処理を実行するコンテンツ表示制御部１６０を有する。

　コンテンツ生成部１２０は、図２を参照して説明したコンテンツ生成処理を実行する。
　コンテンツ生成部１２０に示す各構成の実行する処理について、図２のフローの各ステップの処理と対応付けて説明する。

　コンテンツ生成部１２０の撮像部（カメラ）１２１は、図２に示すフローのステップＳ１０２のカメラ画像取得処理を実行する。
　距離推定部１２２が、図２のフローのステップＳ１０３の被写体距離の算出処理を実行する。
　相対位置・角度算出部１２４は、図２のフローのステップＳ１０４の処理、すなわち、仮想画像として表示する動画像構成フレーム対応のメタデータを各画像に設定する。すなわち、
　相対位置パラメータ：Ｒｐｏｓ＝０～１
　相対角度パラメータ：Ｒｒｏｔ＝０～１
　これらの各パラメータを画像対応のメタデータとして設定する。

　なお、先に図２のフローのステップＳ１０４の処理について説明したように、これらのパラメータは、モードに応じたパラメータとなる。すなわち、
　シンプルモード、
　コンスタントモード、
　これらのモートに応じてパラメータが設定される。
　これらのモードは、入力部１２３を介したユーザ入力に従って設定される。

　相対位置・角度算出部１２４の算出した、
　相対位置パラメータ：Ｒｐｏｓ＝０～１
　相対角度パラメータ：Ｒｒｏｔ＝０～１
　これらのパラメータは、各画像対応のメタデータとして、各画像に対応付けて記憶部１４０のメタデータ記憶部１４２に格納される。

　画像処理部１２５は、撮像部（カメラ）１２１の取得したコンテンツ、すなわち仮想画像の動画コンテンツを動画コンテンツデータベース１４１に格納する。

　なお、図７には、記憶部１４０に、動画コンテンツデータベース１４１と、メタデータ記憶部１４２を個別に示しているが、画像とメタデータは、１つのデータベース内に記憶してもよい。いずれの場合も、メタデータは各画像フレームに対応づけられて記録される。

　次に、コンテンツ表示制御部１６０の構成について説明する。
　コンテンツ表示制御部１６０に示す各構成の実行する処理について、図３のフローの各ステップの処理と対応付けて説明する。

　コンテンツ表示制御部１６０の撮像部（カメラ）１６１は、図３に示すフローのステップＳ２０１のカメラ画像取得処理を実行する。
　撮影画像は、表示部１６７に出力され、表示される。
　画像認識部１６２、認識判定部１６３は、図３のフローのステップＳ２０２の処理、すなわち、カメラ位置・姿勢算出情報の取得処理と取得可否の判定処理を実行する。具体的には、例えば図１に示すポスターなどの被写体に設定されたマーカの認識処理を実行する。

　重畳仮想画像生成部１６５は、図３に示すフローのステップＳ２０５の処理、すなわち、表示部１６７に表示する仮想画像を生成する。
　データ取得部１６４は、動画コンテンツデータベース１４１に格納されたドウガコンテンツを取得し、さらに、メタデータ記憶部１４２に格納されたメタデータを取得して重畳仮想画像生成部１６５に出力する。
　なお、コンテンツが符号化されて記録されている場合、データ取得部１６４はデコードして重畳仮想画像生成部１６５に出力する。

　重畳仮想画像生成部１６５は、データ取得部１６４を介して、仮想画像動画コンテンツと、各フレーム対応のメタデータを入力する。
　さらに、重畳仮想画像生成部１６５は、認識判定部１６３から、カメラ位置・姿勢情報を取得する。

　重畳仮想画像生成部１６５は、先に説明した図３のフローのステップＳ２０５の処理を実行する。
　すなわち、各画像フレームに対応して設定されたメタデータ、すなわち、
　相対位置パラメータ：Ｒｐｏｓ＝０～１、
　相対角度パラメータ：Ｒｒｏｔ＝０～１、
　これらのパラメータを用いて、各画像フレームの仮想画像を変換するパラメータとして、以下のオフセット情報を算出する。
　（１）回転角度オフセット：Ｒｒｏｔ×θｒｏｔ、
　（２）スケールオフセット：Ｒｐｏｓ×Ｖｓｃａｌｅ、
　（３）移動成分オフセット：Ｒｐｏｓ×Ｖｔｒａｎｓｌａｔｅ、
　これらのオフセット情報を用いて、画像フレームの変換処理を実行して、表示用の変換仮想画像を生成する。

　動画重畳部１６６は、図３のフローのステップＳ２０６～Ｓ２０７の処理、すなわち、仮想画像を、表示部１６７に表示中のカメラ撮影画像に重畳したＡＲ画像を出力する。

　なお、図７に示す構成は、情報処理装置の主要構成を示す図であり、情報処理装置は、図に示す構成の他、例えば、図２、図３を参照して説明した処理を制御するＣＰＵ等を有する制御部や、制御部において実行するプログラムを格納した記憶部などを有する。

　このようにして、仮想画像がクライアントの表示部に表示中の撮影画像に重畳され表示されることになる。

　　［４．変形実施例について］
　以下、上述した実施例の情報処理装置の構成または処理を一部変更した変形実施例について説明する。
　以下の３つの変形実施例について、順次説明する。
　（１）仮想画像コンテンツ生成時の被写体の位置に関する制約を設定した実施例
　（２）仮想画像表示処理時の画像エッジの加工処理を行なう実施例
　（３）複数の仮想画像に対する処理を行なう実施例
　（４）処理の一部をネットワーク接続したサーバで実行する処理例
　以下、これらの各変形実施例について説明する。

　　［４－１．仮想画像コンテンツ生成時の被写体の位置に関する制約を設定した実施例について］
　まず、仮想画像コンテンツ生成時の被写体の位置に関する制約を設定した実施例について説明する。
　本実施例は、先に説明した図２のフローチャートに従った仮想画像の動画コンテンツの生成時に、仮想画像として重畳表示する被写体（オブジェクト）の位置、すなわち、カメラとの相対位置に制限を設定して仮想画像コンテンツを生成する実施例である。

　具体的には、仮想画像として重畳表示する被写体（オブジェクト）を撮影する場合、カメラに対する被写体位置について予め制限し、許容位置内で重畳表示する被写体（オブジェクト）を撮影した仮想画像コンテンツを生成可能とした実施例である。

　具体的には、
　カメラに対する被写体の撮影角度について、
　予め規定した所定の上下角度範囲内、
　予め規定した所定の左右角度範囲内、
　さらに、
　カメラからの被写体距離も予め規定した所定の距離範囲、
　これらの各制限を設け、重畳表示用の仮想画像コンテンツを生成させる。

　図８（ａ）は、被写体に対するカメラの左右角度の制限の設定例を示す図である。
　図８（ｂ）は、被写体に対するカメラの上下角度の制限と、被写体とカメラ間の距離の制限の設定例を示す図である。

　このように仮想画像オブジェクトの撮影において、撮影角度と距離に対する制約を持たせることで、より自然なＡＲでの表現を実現する。
　なお、この上下・左右角度、及び距離に対する制約情報のデータは各動画に紐付けられる。もしくは、各動画における各フレームに紐付けられていても良い。

　例えば人がポスターから飛び出すようなコンテンツを考える場合、カメラを左右方向にふった場合は自然にみえるが、上下方向に振るとありえない方向に人が飛び出してきているように見えてしまい、不自然になってしまう。一般的に、垂直な壁に貼ったポスターという認識対象を想定すると、上下方向に大きくふることは想定しづらいが、フェイルセーフの意味でも、各動画コンテンツに「視野角」のような定義で上下方向の限界角度を指定することで、その限界角度を超えた状態でポスターを認識した場合はきちんと角度内に収まるような誘導を行い、それからＡＲ動画コンテンツの重畳を開始する。

　なお、この角度・距離の許容範囲の設定はコンテンツ依存となる。例えば、人が上方向に飛び出してくるのは不自然だが、鳥なら自然であり、重畳表示する仮想オブジェクトとして鳥を撮影する場合は、上下方向の制約は緩やかにしてよい。
　情報処理装置の記憶部に、コンテンツの種別に応じた許容角度や許容距離のテーブルを格納し、コンテンツ制作者が必要に応じて撮影するコンテンツの種別を選択し、許容角度と距離を確認して撮影することが望ましい。

　なお、コンテンツに応じてテーブルから読み込まれた許容角度情報や許容距離情報に応じて、情報処理装置は、撮影画像を表示する表示部に現在の撮影画像が許容範囲内であるか否かの情報を表示し、許容範囲内の画像撮影を促すための指示アイコンや説明などを表示する。
　図９に指示アイコンと説明の表示例を示す。

　図９（ａ１）～（ａ３）は、カメラと被写体との距離の許容最大距離（Ｘｍａｘ）を５ｍに設定した場合の撮影画像とアイコンの表示例を示している。
　（ａ１）～（ａ３）は以下の状態を示している。
　（ａ１）撮影画像の被写体距離（Ｘａｃｔｕａｌ）が１０ｍであり、カメラを被写体に近づける指示アイコンと指示情報を表示している。
　（ａ２）撮影画像の被写体距離（Ｘａｃｔｕａｌ）が７ｍであり、カメラを被写体に近づける指示アイコンと指示情報を表示している。
　（ａ３）撮影画像の被写体距離（Ｘａｃｔｕａｌ）が５ｍであり、許容最大距離（Ｘｍａｘ）に一致したので、指示アイコン、指示情報の表示が消えた状態である。

　図９（ｂ１）～（ｂ３）は、カメラと被写体との上下角度の許容最大角度（Φｍａｘ）を１５度に設定した場合の撮影画像とアイコンの表示例を示している。
　（ｂ１）～（ｂ３）は以下の状態を示している。
　（ｂ１）撮影画像の被写体に対するカメラの上下角度（Φａｃｔｕａｌ）が４５度であり、カメラの上下角度をより垂直に向けるように指示アイコンと指示情報を表示している。
　（ｂ２）撮影画像の被写体に対するカメラの上下角度（Φａｃｔｕａｌ）が２５度であり、カメラの上下角度をより垂直に向けるように指示アイコンと指示情報を表示している。
　（ｂ３）撮影画像の被写体に対するカメラの上下角度（Φａｃｔｕａｌ）が１５度であり、許容最大角度（Φｍａｘ）に一致したので、指示アイコン、指示情報の表示が消えた状態である。

　このように、仮想画像コンテオンツの撮影時に、指示情報を表示することで、ユーザが許容範囲でコンテンツ撮影を行うことができる。

　　［４－２．仮想画像表示処理時の画像エッジの加工処理を行なう実施例について］
　次に、仮想画像表示処理時の画像エッジの加工処理を行なう実施例について説明する。
　本実施例は、先に説明した図３のフローチャートに従った仮想画像の表示処理時に、撮影画像に対して違和感のない仮想画像の重畳表示を行うため、例えば撮影オブジェクトとの境界領域にある仮想画像のエッジ部分をぼかすなどのエッジ処理（マスク処理）を行う実施例である。
　本構成は、ＡＲ動画コンテンツを撮影する際に、重畳するオブジェクトの一部が画角から外れてしまっても、違和感を最小化させる見せ方を実現するものである。

　仮想画像の重畳表示の際に、例えば、重畳するオブジェクトの一部が撮影画角から外れており、かつ、重畳するオブジェクトがクライアント端末のディスプレイの画角に全て収まってしまう場合に、仮想画像オブジェクトのエッジをぼかすなどの処理をすることで違和感を減らす。
　例えば、図１０（Ａ）は、本実施例のマスク処理を適用しない場合の仮想オブジェクトの表示例である。
　撮影画像中に表示した仮想画像（人物）３１１の下側端部のエッジ領域３１２において、直線的に被写体画像が切れており、不自然に見える。

　一方、図１０（Ｂ）は、本実施例のマスク処理を適用した場合の仮想オブジェクトの表示例である。
　撮影画像中に表示した仮想画像（人物）３２１の下側端部のエッジ領域３２２がぼかすマスク適用処理が施され、不自然さが解消される。

　図１１に、本実施例の適応的マスキング処理の処理シーケンスについて説明するフローを示す。なお、このフローに示す処理は、図３を参照して説明したフローにおけるステップＳ２０６の「仮想画像の重畳処理」において実行される。

　図１１のフローの各ステップの処理について説明する。
　　（ステップＳ３０１）
　まず、情報処理装置は、ステップＳ３０１において、仮想画像コンテンツフレーム端判定を行う。
　描画しようとしている仮想画像コンテンツの処理フレームで、仮想画像オブジェクトがコンテンツの画角に収まっているかを判定する。具体的には、重畳する仮想画像コンテンツの上下左右の各外側１ラインでのアルファ値１がｎピクセル以上連続で続くか否かを調べる。ｎは任意の閾値とする。上下左右の各ラインに対してオブジェクト端が見切れていないかを判定する。なお、この処理は事前に生成側で行い、メタデータを受信することで実現しても良い。

　　（ステップＳ３０２）
　次に、ステップＳ３０２において、カメラ撮影画像端非衝突判定処理を行なう。
　ステップＳＺ３０１において、仮想画像の処理フレームのオブジェクト端が見切れている場合、実際にカメラ画像にコンテンツを重畳する位置で見切れている部分がみえてしまうかを判定する。
　元の動画ソースで見切れている部分が、重畳した時にも完全に見切れていれば問題ないが、重畳した時にその端の部分が見えてしまっていると、違和感が大きい。すなわち、図１０（Ａ）に示すような不自然な直線的エッジが見えてしまう。
　このような場合は、ステップＳ３０３に進む。

　　（ステップＳ３０３）
　ステップＳ３０３において、仮想画像コンテンツのエッジの画像処理を行なう。
　ステップＳ３０２において、カメラ撮影画像に見切れている部分が写り込んでいると判定された場合、その方向の端だけ適応的にぼかすなどの処理を行う。
　すなわち、図１０（Ｂ）に示すようなエッジ領域のぼかし処理を行なう。

　　（ステップＳ３０４）
　最後に、最終的な結果、すなわち、図１０（Ｂ）に示すような仮想画像と撮影画像との境界領域にある仮想画像のエッジをぼかした仮想画像を出力する。

　なお、この処理を適用する場合、仮想画像端がカメラフレームから出たり入ったりする状態だとエッジの画像処理がなされるフレームとなされないフレームが交互に発生しバタバタしてしまう。そのため、実運用上は、ローパスフィルターなどを挿入し、ある程度、時系列での平滑化をすることが望ましい。

　図１１に示すフローに従った適応的マスキング処理を実行する情報処理装置の構成例を図１２に示す。
　図１２に示す情報処理装置は、先に図７を参照して説明した情報処理装置のコンテンツ表示制御部１６０内に、適応的マスク処理部１７１を追加した点のみが異なる。
　適応的マスク処理部１７１は、図１１を参照して説明した処理を実行する。
　その他の構成は、図７を参照して説明した構成と同様である。

　　［４－３．複数の仮想画像に対する処理を行なう実施例について］
　次に、複数の仮想画像に対する処理を行なう実施例について説明する。
　本実施例は、先に説明した図２のフローチャートに従った仮想画像の動画コンテンツの生成時に、仮想画像として重畳表示するオブジェクトが複数、存在する場合の処理例である。

　仮想画像コンテンツの撮影時に複数のオブジェクトが存在する場合、オブジェクトごとに距離が異なる場合が想定できる。そのような場合、本実施例ではコンテンツ生成時にオブジェクトの切り出し処理を行い、それぞれを別のコンテンツとして取り扱い、重畳時に合成することで、複数のコンテンツを破綻なく取り扱う。

　なお、複数のオブジェクト、すなわち重畳表示予定の複数の仮想オブジェクトが撮影カメラから見て重なり合っている場合、便宜的に同じ仮想オブジェクトとして取り扱う。ただし、もし距離が大幅に異なる複数のオブジェクトを重畳することを想定するのであれば、重なり合わないように撮影することが望ましい。

　ただし、複数のオブジェクトが重なりあうときに距離がある程度一致している場合、例えば、２人が別の方向から登場して最後抱きあい、ポスターの中に帰っていくといった設定の２人の人物の場合、登場する１人目をオブジェクトＡ、登場する２人目をオブジェクトＢ、１人目と２人目が重なりあったものをオブジェクトＣとして、計３オブジェクトとして処理を行う。

　図１３に本実施例の処理を行なう情報処理装置の構成例を示す。
　図１３に示す情報処理装置は、先に図７を参照して説明した情報法処理装置のコンテンツ生成部１２０内に、オブジェクト切り出し部１８１を追加した点のみが異なる。
　オブジェクト切り出し部１８１は、上述したように、仮想画像コンテンツの生成時に撮影する画像内に複数の仮想オブジェクトが存在する場合に、それぞれの仮想オブジェクトの切り出し処理を行なう。
　なお、切り出した仮想オブジェクトに対しては、その後、個別のメタデータ、すなわち前述した相対位置パラメータＲｐｏｓ、相対角度パラメータＲｒｏｔを個別に算出し、個別のメタデータとして設定して記憶部に格納する。

　また、コンテンツ表示制御部１６０において仮想画像を重畳表示する場合は、重畳画像生成部１６５は、各オブジェクトに対して各パラメータを適用した個別の重畳仮想画像生成処理を実行して、生成した仮想画像を重畳表示する。
　その他の構成は、図７を参照して説明した構成と同様である。

　　［４－４．処理の一部をネットワーク接続したサーバで実行する処理例について］
　上述した実施例は、全ての処理を情報処理装置において実行する実施例として説明した。
　しかし、これらの処理の一部は、情報処理装置とネットワーク接続したサーバにおいて実行する構成としてもよい。

　例えば、スマートフォン等の情報処理装置は、カメラでの撮影処理のみを実行し、サーバが重畳表示する仮想画像を提供する構成が可能である。
　サーバは、先に図２を参照して説明した処理を実行し、動画シーケンスに応じて表示位置と表示角度を制御した仮想動画コンテンツを情報処理装置（クライアント）に提供する。
　情報処理装置（クライアント）は、サーバから受信した仮想画像コンテンツを、撮影画像に重畳して表示する。
　なお、この場合、情報処理装置（クライアント）は、サーバに対して、提供する仮想画像コンテンツを特定するための情報、例えば、図１（Ｂ）に示すポスター１１に設定されたマーカなどの情報を提供する。
　このような処理例とすることで、情報処理装置（クライアント）の処理負荷の軽減が実現される。

　　［５．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　撮像部で撮像される撮像画像を取得する取得部と、
　前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
　前記データ処理部は、
　仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる、
情報処理装置。

　（２）前記データ処理部は、前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータを適用した画像変換処理を実行して少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成する前記（１）に記載の情報処理装置。
　（３）前記データ処理部は、前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータとして、
　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
　これらの各パラメータを取得し、取得パラメータを適用して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成して前記撮影画像上に重畳表示する前記（２）に記載の情報処理装置。

　（４）前記データ処理部は、前記仮想画像の初期画像に対応するモデルビュー行列Ｍｍａｒｋｅｒを、前記仮想画像の最終画像に対応するモデルビュー行列Ｍｄｉｓｐｌａｙに変換する変換パラメータを算出し、算出した変換パラメータに対して、各仮想画像フレームに対応して設定されたメタデータである。前記相対位置パラメータＲｐｏｓ、または、前記相対角度パラメータＲｒｏｔを乗算して、各仮想画像フレームの変換処理に適用するオフセット情報を算出し、算出したオフセット情報を適用した仮想画像フレームの変換処理を実行して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画を生成する前記（３）に記載の情報処理装置。
　（５）前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各々は、前記仮想画像の初期画像から最終画像に至る各動画像フレームにおいて０～１の範囲で順次変化する値である前記（４）に記載の情報処理装置。

　（６）前記データ処理部は、前記仮想画像の撮影画像に対する重畳表示処理に際して、仮想画像と撮影画像の境界部の仮想画像のぼかし処理を実行する前記（１）～（５）いずれかに記載の情報処理装置。
　（７）前記データ処理部は、前記仮想画像動画コンテンツの生成処理を実行し、仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
　上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する前記（１）～（６）いずれかに記載の情報処理装置。
　（８）前記データ処理部は、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて０～１の範囲で設定する前記（７）に記載の情報処理装置。

　（９）前記データ処理部は、前記仮想画像の初期画像から最終画像に至る各動画像フレームに対して０～１の範囲で順次変化する値を、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの値として設定する前記（７ょまたは（８）に記載の情報処理装置。
　（１０）前記データ処理部は、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各々の値を、モード設定に応じて異なる態様で前記仮想画像を構成する各動画像フレームに対して設定する前記（９）に記載の情報処理装置。
　（１１）前記データ処理部は、前記仮想画像動画コンテンツの生成処理に際して、予め設定された許容範囲の角度と距離を示す制限情報を表示部に出力し、前記許容範囲の角度と距離内での仮想オブジェクトを含む仮想画像動画コンテンツを生成する前記（７）～（９）いずれかに記載の情報処理装置。

　（１２）画像撮影を実行する撮像部と、
　前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
　前記データ処理部は、
　仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
　上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理装置。
　（１３）前記データ処理部は、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて０～１の範囲で設定する前記（１２）に記載の情報処理装置。

　（１４）　画像撮影を実行する撮像部と、
　前記撮像部の撮影画像を表示する表示部と、
　前記表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有し、
　前記データ処理部は、
　少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画をサーバから取得し、取得した仮想画像を前記撮影画像上に重畳表示する情報処理装置。

　さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、表示部に表示されたカメラ撮影画像に、時間とともに表示位置や角度を変更した仮想画像を重畳表示する構成が実現される。
　具体的には、撮像部と、撮像部の撮影画像を表示する表示部と、表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有する。データ処理部は、表示位置、表示角度を時系列に変更した仮想画像の動画を撮影画像上に重畳表示する。データ処理部は、仮想画像コンテンツのフレーム対応メタデータとして、仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓと、仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、これらの各パラメータを取得し、取得パラメータを適用して、表示位置または表示角度を時系列に変更した仮想画像を生成して重畳表示する。
　これらの構成により、カメラ撮影画像に、時間とともに表示位置や角度を変更した仮想画像を重畳表示する構成が実現される。

　　１１　ポスター
　　１５　カメラ撮影画像
　　２１　仮想画像
　　３１　仮想画像
　１２０　コンテンツ生成部
　１２１　撮像部（カメラ）
　１２２　距離推定部
　１２３　入力部
　１２４　相対位置・角度算出部
　１２５　画像処理部
　１４０　記憶部
　１４１　メタデータ
　１４２　動画コンテンツデータベース
　１６０　コンテンツ表示制御部
　１６１　撮像部（カメラ）
　１６２　画像認識部
　１６３　認識判定部
　１６４　データ取得部
　１６５　重畳仮想画像生成部
　１６６　動画重畳部
　１６７　表示部
　１７１　適応的マスク処理部
　１８１　オブジェクト切り出し部

Claims (18)

1. 　撮像部で撮像される撮像画像を取得する取得部と、
   　前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
   　前記データ処理部は、
   　仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる、
   情報処理装置。
2. 　前記データ処理部は、
   　前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータを適用した画像変換処理を実行して少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成する請求項１に記載の情報処理装置。
3. 　前記データ処理部は、
   　前記仮想画像の動画コンテンツの各フレームに対応付けて設定されたメタデータとして、
   　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
   　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
   　これらの各パラメータを取得し、取得パラメータを適用して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像を生成して前記撮影画像上に重畳表示する請求項２に記載の情報処理装置。
4. 　前記データ処理部は、
   　前記仮想画像の初期画像に対応するモデルビュー行列Ｍｍａｒｋｅｒを、
   　前記仮想画像の最終画像に対応するモデルビュー行列Ｍｄｉｓｐｌａｙに変換する変換パラメータを算出し、
   　算出した変換パラメータに対して、各仮想画像フレームに対応して設定されたメタデータである。前記相対位置パラメータＲｐｏｓ、または、前記相対角度パラメータＲｒｏｔを乗算して、各仮想画像フレームの変換処理に適用するオフセット情報を算出し、算出したオフセット情報を適用した仮想画像フレームの変換処理を実行して、少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画を生成する請求項３に記載の情報処理装置。
5. 　前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各々は、前記仮想画像の初期画像から最終画像に至る各動画像フレームにおいて０～１の範囲で順次変化する値である請求項４に記載の情報処理装置。
6. 　前記データ処理部は、
   　前記仮想画像の撮影画像に対する重畳表示処理に際して、仮想画像と撮影画像の境界部の仮想画像のぼかし処理を実行する請求項１に記載の情報処理装置。
7. 　前記データ処理部は、
   　前記仮想画像動画コンテンツの生成処理を実行し、仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
   　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
   　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
   　上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する請求項１に記載の情報処理装置。
8. 　前記データ処理部は、
   　前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて０～１の範囲で設定する請求項７に記載の情報処理装置。
9. 　前記データ処理部は、
   　前記仮想画像の初期画像から最終画像に至る各動画像フレームに対して０～１の範囲で順次変化する値を、前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの値として設定する請求項７に記載の情報処理装置。
10. 　前記データ処理部は、
    　前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各々の値を、モード設定に応じて異なる態様で前記仮想画像を構成する各動画像フレームに対して設定する請求項９に記載の情報処理装置。
11. 　前記データ処理部は、
    　前記仮想画像動画コンテンツの生成処理に際して、予め設定された許容範囲の角度と距離を示す制限情報を表示部に出力し、前記許容範囲の角度と距離内での仮想オブジェクトを含む仮想画像動画コンテンツを生成する請求項７に記載の情報処理装置。
12. 　画像撮影を実行する撮像部と、
    　前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
    　前記データ処理部は、
    　仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
    　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
    　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
    　上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理装置。
13. 　前記データ処理部は、
    　前記相対位置パラメータＲｐｏｓ、および、前記相対角度パラメータＲｒｏｔの各値を、画像動画コンテンツの各動画像フレームにおける仮想画像の被写体距離に応じて０～１の範囲で設定する請求項１２に記載の情報処理装置。
14. 　画像撮影を実行する撮像部と、
    　前記撮像部の撮影画像を表示する表示部と、
    　前記表示部に表示された撮影画像上に仮想画像を重畳表示するデータ処理部を有し、
    　前記データ処理部は、
    　少なくとも表示位置または表示角度のいずれかを時系列に変更した仮想画像の動画をサーバから取得し、取得した仮想画像を前記撮影画像上に重畳表示する情報処理装置。
15. 　情報処理装置において実行する情報処理方法であり、
    　前記情報処理装置は、撮像部で撮像される撮像画像を取得する取得部と、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部を有し、
    　前記データ処理部は、
    　仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させる情報処理方法。
16. 　情報処理装置において実行する情報処理方法であり、
    　前記情報処理装置は、画像撮影を実行する撮像部と、前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
    　前記データ処理部は、
    　仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
    　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
    　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
    　上記各パラメータを算出し、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行する情報処理方法。
17. 　情報処理装置において情報処理を実行させるプログラムであり、
    　前記情報処理装置は、撮像部で撮像される撮像画像を取得する取得部と、
    　前記撮像画像に、入力画像を変形することで生成される仮想画像を重畳して表示部に表示させるデータ処理部とを有し、
    　前記プログラムは、前記データ処理部に、
    　仮想的に設定される前記撮像部と入力画像との相対位置、または相対角度のいずれかを時系列に変化させることで生成される前記仮想画像を前記表示部に表示させるプログラム。
18. 　情報処理装置において情報処理を実行させるプログラムであり、
    　前記情報処理装置は、画像撮影を実行する撮像部と、前記撮像部の撮影画像に基づいて仮想画像動画コンテンツを生成するデータ処理部を有し、
    　前記プログラムは、前記データ処理部に、
    　仮想画像動画コンテンツ生成処理に際して、仮想画像動画コンテンツの構成フレームに対して、
    　仮想画像の表示位置の決定に適用する相対位置パラメータＲｐｏｓ、
    　仮想画像の表示角度の決定に適用する相対角度パラメータＲｒｏｔ、
    　上記各パラメータを算出させ、算出したパラメータを画像フレーム対応のメタデータとして記憶部に格納する処理を実行させるプログラム。

Images