JP6410874B1 - Ａｒ映像生成装置 - Google Patents

Abstract

【課題】仮想物体配置面に複雑な高低差ないし凹凸を有する背景物体に適用する場合にあっても、仮想物体に関して沿面追従性や遠近識別性が適正に担保された、見た目に自然なＡＲ映像を生成すること。【解決手段】背景物体の三次元モデルをあらわす情報と背景物体の床面上に配置されるべき仮想物体を表す情報と撮影距離や撮影角度等の撮影条件とに基づいて、背景物体の床面上の指定位置に仮想物体を配置した状態を当該撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成し、背景物体現実画像の上に中間画像を位置整合させて重畳しかつ中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を表示部に表示させる。【選択図】図１１

Description

この発明は、拡張現実（以下、「ＡＲ」という）映像の生成装置に係り、特に、仮想物体配置面を提供する背景物体を任意の撮影条件で撮影して得られる現実映像の上に、所望の仮想物体に相当する仮想映像を重畳することでＡＲ映像を生成するＡＲ映像生成装置に関する。

仮想物体配置面（例えば、床面や壁面等々）を提供する背景物体を任意の撮影条件（例えば、姿勢や距離）で撮影して得られる現実映像の上に、所望の仮想物体（例えは、ＣＧで製作された人形や車両等の静止又は移動物体）に相当する仮想映像を重畳（配置）することでＡＲ映像を生成するＡＲ映像生成装置は、従来より知られている（例えば、特許文献１参照）。

ところで、このようにして生成されるＡＲ映像中において、アニメーション技法を利用して、背景物体の例えば床面上を仮想物体が所望ルートに沿って違和感なく移動（歩行や走行）するように見せかけるためには、現実映像の元となる画像中の所望ルートに沿った背景物体床面高さと仮想映像の元となる画像中の仮想物体基準高さとが常に一定の関係を満たすように、正確な沿面移動制御が必要となる。

このような沿面移動制御の一例としては、現実映像の元となる画像に対して画像認識処理を施すことにより、所望ルートに沿った背景物体床面高さを計算し、こうして計算により求められた背景物体床面高さと仮想映像の元となる画像中の仮想物体基準高さとが常に一定の関係を満たすように、沿面移動制御を行うものが挙げられる。

特開２０１１−２０４０４７号公報

上述の画像認識処理を利用する沿面移動制御にあっては、仮想物体が配置されるべき床面や壁面等の面が比較的平坦な背景物体に適用する場合には有効であるものの、仮想物体配置面に複雑な高低差ないし凹凸を有する背景物体に適用する場合には、画像認識能力の限界に起因して、背景物体の面高さを正確に計算することが困難となり、その結果、仮想物体を構成するＣＧ人形やＣＧ車両が背景物体の床面を離れて宙に浮いた状態で歩行や走行を行ったり、所望ルートを外れて歩行や走行を行ったり、その一部が床面に潜って歩行や走行したりと言った不自然なＡＲ映像が生成され、見る者に違和感を与えることがある。

また、画像認識処理を利用する沿面移動制御にあっては、画像認識能力の限界に起因して、背景物体に相当する二次元画像において、遠近感の認識がなかなか難しく、その結果、配置されるべき仮想物体が、他の物体の背後に位置していることから、本来は、その一部が隠れて見えなければならないにも拘わらず、仮想物体の方が手前に位置していると誤認されて、その全体が露出すると言った不自然なＡＲ映像が生成され、見る者に違和感を与えるとがある。

この発明は、このような技術的背景に着目してなされたものであり、その目的とすることころは、仮想物体配置面に複雑な高低差ないし凹凸を有する背景物体に適用する場合にあっても、仮想物体に関して沿面追従性や遠近識別性が適正に担保された、見た目に自然なＡＲ映像を生成可能とすることにある。

この発明のさらに他の目的ないし作用効果は、明細書の以下の記述を参照することにより、当業者であれば容易に理解されるであろう。

上述の技術的課題は、以下の構成を有する、携帯型の情報処理端末をＡＲ映像生成装置として機能させるためのコンピュータプログラム、こうして得られるＡＲ映像生成装置、携帯型の情報処理端末の制御方法、及びＡＲ映像提供用の玩具セットにより解決することができる。

すなわち、本発明のコンピュータプログラムは、
撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末を、
前記撮像部を介して取得された現実画像に含まれるマーカ情報に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や姿勢等の撮影条件を計算により取得する基礎情報取得手段と、
前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得する三次元モデル情報取得手段と、
前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得する仮想物体情報取得手段と、
前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記距離や姿勢等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成する中間画像生成手段と、
前記位置情報により特定される背景物体現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる表示制御手段と、を包含する、ＡＲ映像生成装置として機能させるためのコンピュータプログラムである。

このような構成によれば、背景物体の現実画像と仮想物体の仮想画像（例えば、ＣＧ画像）とを画像認識技術を利用して直接的に位置合わせするのではなく、先ず、背景物体の三次元モデルと仮想物体の仮想画像との間で三次元情報を用いて正確な位置合わせを行い、しかるのち、これを同じ撮影条件にて撮影して得られた中間画像（二次元画像）を背景物体の現実画像（二次元画像）の上に、中間画像の背景物体部分については、これを透明化して、重畳するものであるから、こうして得られるＡＲ映像においては、仮想物体の映像は、背景物体の映像上の指定位置に精度良く位置決めされ、かつ周囲の物体との正しい遠近関係をもって描かれる。そのため、例えば、アニメーション技法を用いることで、床の起伏に沿って歩行すべきＣＧ人形が宙に浮いて歩行したり、ある物体の背後を歩行すべきＣＧ人形がその物体の手前を歩行すると言った不自然な映像がなくなり、仮想物体の挙動に違和感を与えることがない見た目に自然なＡＲ映像を生成可能となる。すなわち、本発明によれば、仮想物体配置面に複雑な高低差ないし凹凸を有する背景物体に適用する場合にあっても、仮想物体に関して沿面追従性や遠近識別性が適正に担保された、見た目に自然なＡＲ映像を生成することができる。

好ましい実施の態様においては、
前記仮想物体情報取得手段は、
それぞれ１又は２以上の仮想物体を含む複数の仮想物体群の中から、その１つの群を選択して取得可能とされていてもよい。

このような構成によれば、複数の仮想物体群のそれぞれとして、予め、様々な仮想物体の組み合わせ（例えば、ＣＧ人形であれば、性別、年齢、職業等々の組み合わせ、ＣＧ車両であれば、二輪車や四輪車の種別、台数、色彩等々の組み合わせ、列車であれば、新幹線、在来特急、その種別、台数、色彩等々の組み合わせ）を用意しておくことで、例えば、背景物体の内容に合わせて、その映像上に登場されるべき一群の仮想物体を一括して変更することができる。

このとき、前記仮想物体群の中からその１つの群を選択して取得する動作は、予め設定された複数の期間のうち、現時点が属する期間に応じて自動的に実行される、ものであってもよい。

このような構成によれば、現時点が属する期間として、例えば、季節（春季、夏季、秋季、冬季）、イベント期間（正月期間、クリスマス期間、ハロウィン期間、夏休み期間等々）を採用すると共に、各期間に相応しい装いのＣＧ人形群を設定しておけば、その期間が到来すると共に、背景映像上にはその期間に相応しい服装のＣＧ人形等を自動的に出現させることができる。

このとき、前記複数の期間には、時刻により区切られた期間が含まれていてもよい。

このような構成によれば、期間として、朝の通勤時間帯、昼の時間帯、夜の通勤時間帯などを設定しておくと共に、各期間に相応しい鉄道利用者を模したＣＧ人形群を設定しておくことにより、例えば、背景物体として、鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具を採用することにより、時間帯毎に、よりリアルな鉄道の駅構内の風景を演出可能となる。

好ましい実施の態様においては、前記仮想物体情報取得手段は、ユーザが任意に作成した仮想物体画像を取得可能とされていてもよい。

このような構成によれば、例えば、手書きの顔をスマホカメラやタブレット型ＰＣ等で撮影して得た画像や家族の顔をスマホカメラやタブレット型ＰＣ等で撮影して得た画像を仮想物体として登録しておくことにより、背景物体の映像上に好みの顔を持ったＣＧ人形を出現させることもできる。

好ましい実施の態様においては、
前記中間画像生成手段は、
前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記撮影条件に基づいて、当該仮想物体と前記撮影部との距離が規定値よりも短いと判定されるときには、当該仮想物体に対して所定の変化を加える、ものであってもよい。

このような構成によれば、ＡＲ映像に含まれる仮想物体（例えば、ＣＧ人形やＣＧ車両等）に撮像部（例えば、タブレット型情報処理端末のカメラのレンズ）を近付けて、その仮想物体を表示部（例えば、タブレット型情報処理端末のディスプレイ）に大写しにすると、当該仮想物体の映像に変化が生ずることとなり、恰も、仮想物体がユーザのアクションに反応したかのような演出により、仮想物体に対して、ユーザに親しみを与えることができる。変化処理の態様としては、色彩や輝度の変化、形状の変化、動きの変化、等々、様々な変化を挙げることができる。また、これらの変化と共に、サウンド変化を与えるようにしてもよい。

好ましい実施の態様においては、
前記中間画像生成手段は、
前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記表示部を構成するタッチパネルを介して、当該仮想物体が指定されたと判定されるときには、当該仮想物体に対して所定の変化を加える、ものであってもよい。

このような構成によれば、ＡＲ映像に含まれる仮想物体（例えば、ＣＧ人形やＣＧ車両等）にタッチパネルを介してタッチすると、当該仮想物体の映像に変化が生ずることとなり、恰も、仮想物体がユーザのアクションに反応したかのような演出により、仮想物体に対して、ユーザに親しみを与えることができる。変化処理の態様としては、色彩や輝度の変化、形状の変化、動きの変化、等々、様々な変化を挙げることができる。また、これらの変化と共に、サウンド変化を与えるようにしてもよい。

このとき、前記所定の変化が、仮想物体を構成する人形の顔が前記撮影部の方を振り向くように変化させるものであってもよい。

このような構成によれば、ＡＲ映像に含まれる人形（例えば、ＣＧ人形）のそれぞれに撮像部を近付けると、それらの人形は大写しになるとともにユーザの方に振り向いてくれることから、人形のそれぞれと恰も対話可能の感を与え、ユーザは一層の親しみやすさを覚えることなる。

好ましい実施の態様においては、
前記既知の背景物体が、
その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具であつてもよい。

このような構成によれば、開放型構築物玩具を俯瞰撮影したときに得られる現実映像とその現実映像の上に配置されるべき仮想物体の仮想映像との調和を図ることにより、設計者の意図するＡＲ映像を確実に実現することができる。このとき、開放型構築物玩具としては、サッカースタジアム、野球場、競馬場、ショッピングモール、子供部屋、等々を模して俯瞰可能な開放型に構成することで、様々な演出が可能となる。

このとき、前記開放型構築物玩具が、鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具であってもよい。

このような構成によれば、例えば、出願人がプラレール（登録商標）として販売する列車玩具に適用して、鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具とすることで、これに実際の列車玩具やミニチュアカー玩具を搭載した上で、その空きスペースに乗客や駅員を模したＣＧ人形を仮想映像で登場させることにより、この種の列車玩具に新たな遊び方を提案することができる。

別の一面から見た本発明は、ＡＲ映像生成装置として把握することもできる。すなわち、このＡＲ映像生成装置は、
撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末を有し、
前記情報処理端末は、
前記撮像部を介して取得された現実画像に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や姿勢等の撮影条件を計算により取得する基礎情報取得手段と、
前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得する三次元モデル情報取得手段と、
前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得する仮想物体情報取得手段と、
前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記距離や姿勢等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成する中間画像生成手段と、
前記背景物体の現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる表示制御手段と、を包含する。

好ましい実施の態様においては、
前記仮想物体情報取得手段は、
それぞれ１又は２以上の仮想物体を含む複数の仮想物体群の中から、その１つの群を選択して取得可能とされていてもよい。

好ましい実施の態様においては、
前記中間画像生成手段は、
前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記撮影条件に基づいて、当該仮想物体と前記撮影部との距離が規定値よりも短いと判定されるときには、当該仮想物体に対して所定の変化処理を加える、ものであってもよい。

好ましい実施の態様においては、
前記中間画像生成手段は、
前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記表示部を構成するタッチパネルを介して、当該仮想物体が指定されたと判定されるときには、当該仮想物体に対して所定の変化を加える、ものであってもよい。

好ましい実施の態様においては、
前記既知の背景物体が、
その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具であってもよい。

別の一面から見た本発明は、携帯型の情報処理端末の制御方法として把握することもできる。すなわち、この方法は、
撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末の制御方法であって、
前記撮像部を介して取得された現実画像に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や角度等の撮影条件を計算により取得する第１のステップと、
前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得する第２のステップと、
前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得する第３のステップと、
前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記距離や姿勢等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成する第４のステップと、
前記背景物体の現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる第５のステップとを包含する。

好ましい実施の態様においては、
前記第３のステップは、
それぞれ１又は２以上の仮想物体を含む複数の仮想物体群の中から、その１つの群を選択して取得可能とされていてもよい。

好ましい実施の態様においては、
前記第４のステップは、
前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記撮影条件に基づいて、当該仮想物体と前記撮影部との距離が規定値よりも短いと判定されるときには、当該仮想物体に対して所定の変化処理を加える、ものであってもよい。

好ましい実施の態様においては、
前記第４のステップは、
前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記表示部を構成するタッチパネルを介して、当該仮想物体が指定されたと判定されるときには、当該仮想物体に対して所定の変化を加える、ものであってもよい。

好ましい実施の態様においては、
前記既知の背景物体が、
その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具であってもよい。

別の一面から見た本発明は、ＡＲ映像提供用の玩具セットとして把握することもできる。すなわち、このセットは、
その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具と、
前記玩具と一定の相対的な位置関係を持って配置されるべく提供され、かつ所定の図形的特徴を有するマーカが表示されたマーカ表示体と、
撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末を、
前記撮像部を介して取得された現実画像に含まれるマーカ情報に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や姿勢等の撮影条件を計算により取得する基礎情報取得手段と、
前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得する三次元モデル情報取得手段と、
前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得する仮想物体情報取得手段と、
前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記距離や姿勢等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成する中間画像生成手段と、
前記背景物体の現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる表示制御手段と、を包含する、ＡＲ映像生成装置として機能させるためのコンピュータプログラムと、を包含する。

好ましい実施の態様におては、
前記仮想物体情報取得手段は、
それぞれ１又は２以上の仮想物体を含む複数の仮想物体群の中から、その１つの群を選択して取得可能とされていてもよい。

好ましい実施の態様においては、
前記中間画像生成手段は、
前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記撮影条件に基づいて、当該仮想物体と前記撮影部との距離が規定値よりも短いと判定されるときには、当該仮想物体に対して所定の変化処理を加える、ものであってもよい。

好ましい実施の態様においては、
前記中間画像生成手段は、
前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記表示部を構成するタッチパネルを介して、当該仮想物体が指定されたと判定されるときには、当該仮想物体に対して所定の変化を加える、ものであってもよい。

好ましい実施の態様においては、
前記開放型構築物玩具が、
鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具であってもよい。

本発明によれば、背景物体の現実画像と仮想物体の仮想画像（例えば、ＣＧ画像）とを画像認識技術を利用して直接的に位置合わせするのではなく、先ず、背景物体の三次元モデルと仮想物体の仮想画像との間で三次元情報を用いて正確な位置合わせを行い、しかるのち、これを同じ撮影条件にて撮影して得られた中間画像（二次元画像）を背景物体の現実画像（二次元画像）の上に、中間画像の背景物体部分については、これを透明化して、重畳するものであるから、こうして得られるＡＲ映像においては、仮想物体の映像は、背景物体の映像上の指定位置に精度良く位置決めされ、かつ周囲の物体との正しい遠近関係をもって描かれる。そのため、例えば、アニメーション技術を用いることで、床の起伏に沿って歩行すべきＣＧ人形が宙に浮いて歩行したり、ある物体の背後を歩行すべきＣＧ人形がその物体の手前を歩行すると言った不自然な映像がなくなり、仮想物体の挙動に違和感を与えることがない見た目に自然なＡＲ映像を生成可能となる。すなわち、本発明によれば、仮想物体配置面に複雑な高低差ないし凹凸を有する背景物体に適用する場合にあっても、仮想物体に関して沿面追従性や遠近識別性が適正に担保された、見た目に自然なＡＲ映像を生成することができる。

図１は、アプリ提供システム全体の構成を示す説明図である。 図２は、タブレット型端末の一般的なハードウェア構成を示すブロック図である。 図３は、アプリ提供サーバのハードウェア構成を示すブロック図である。 図４は、アプリダウンロード動作の説明図である。 図５は、アプリを構成する処理の全体を概略的に説明するゼネラルフローチャートである。 図６は、ＡＲオブジェクト決定処理の詳細フローチャートである。 図７は、ＡＲ用中間画像生成処理の詳細フローチャートである。 図８は、オブジェクト配置処理の詳細フローチャートである。 図９は、開始操作の説明図である。 図１０は、ＡＲ映像生成用の中間画像の説明図である。 図１１は、生成されたＡＲ映像（仮想オブジェクトがＣＧ人形）の説明図（その１）である。 図１２は、生成されたＡＲ映像（仮想オブジェクトがＣＧ列車）の説明図（その２）である。 図１３は、生成されたＡＲ映像（仮想オブジェクトがＣＧ列車）の説明図（その３）である。 図１４は、生成されたＡＲ映像（仮想オブジェクトがＣＧ列車）の説明図（その４）である。 図１５は、手前に遮蔽物がある場合のＡＲ映像の例である。 図１６は、時間帯別の登場人物変更処理の説明図である。 図１７は、接近に伴う仮想物体の変化態様の説明図である。

以下に、本発明の好適な実施の一形態を添付図面（図１〜図１７）にしたがって詳細に説明する。なお、本発明の要旨は特許請求の範囲の記載に基づいて特定されるものであって、以下の実施形態の記述は本発明の一例を示すものに過ぎないものであることは言うまでもない。

本発明に係るコンピュータプログラム（以下、「アプリ」と称する）は、先に説明したように、撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末（例えば、スマートフォンやタブレット型ＰＣ等のタブレット型端末）を、基礎情報取得手段と、三次元モデル情報取得手段と、仮想物体情報取得手段と、中間画像生成手段と、表示制御手段と、を包含する、ＡＲ映像生成装置として機能させるものである。

ここで、基礎情報取得手段とは、 前記撮像部を介して取得された現実画像に含まれるマーカ情報に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や姿勢等の撮影条件を計算により取得するものである。

また、三次元モデル情報取得手段とは、前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得するものである。

また、仮想物体情報取得手段とは、前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得するものである。

また、中間画像生成手段とは、前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記距離や姿勢等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成するものである。

さらに、表示制御手段とは、前記位置情報により特定される背景物体現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させるものである。

＜ＡＲ映像生成用アプリの提供＞
上述のＡＲ映像生成用アプリをどのような提供方法によりタブレット型端末側へとインストールするかについては、ＳＤメモリやＵＳＢメモリ等の可搬型記録媒体を介する提供方法、赤外線等の短距離無線通信を介して提供する提供方法等々、種々の方法が考えられるが、この実施形態においては、クライアントアンドサーバ・システムであるアプリ提供システムを構築すると共に、インターネット上のアプリ提供サーバからタブレット型端末へとダウンロードするという提供方法が採用されている。

−アプリ提供システムの構成−
アプリ提供システム全体の構成すを示す説明図が、図１に示されている。同図に示されるように、タブレット型端末６であるところの様々な機種のスマートホン１，１，１・・・や様々な機種のタブレットＰＣ２，２，２・・・は、公知の手法により、インターネット５へと無線接続可能とされており、一方、インターネット５には、アプリ提供サーバ４が公知の手法で接続されている。

−タブレット型端末の構成−
タブレット型端末６の一般的なハードウェア構成を示すブロック図が、図２に示されている。この種のハードウェア構成については、各種の文献により公知であるから、その説明については、本発明の要部を除き、簡単に行う。

同図において、制御部（ＣＰＵ）６ａは端末全体を統括制御するものであり、公知のマイクロプロセッサや特定の回路機能を実現するＡＳＩＣ、ＦＰＧＡ等で構成されいるのが通例である。

マイク６ｂ及びスピーカ６ｃは、例えば、音声通話等に使用される。タッチパネル制御部６ｄ及びタッチパネル６ｃは、表示画面におけるタッチパネル機能を実現するためのものである。バイブレータ６ｆは、着信通知その他、何らかの状態をユーザに通知するためのものである。ランプ駆動部６ｇ及びＬＥＤランプ６ｈは、各種の状態表示用のＬＥＤランプの作動用のものである。

カメラモジュール６ｉは、その撮影用窓が表示画面の後方へと向けられたメインカメラに関する機能モジュールであって、具体的には、撮影に必要なレンズやイメージセンサ等を含んで構成されている。このメインカメラモジュール６ｉで取得される画像データは、公知の画像処理エンジンを介して編集されたのち、制御部６ａに内蔵されるバッファ用画像メモリに格納されたのち、必要により、表示画面に表示されたり、後述のフラッシュメモリ６ｏに保存される。このカメラモジュール６ｉが、本発明における撮影部に相当するものである。

３軸地磁気センサ６ｊは、当業者には、よく知られているように、磁気センサの一種であって、地磁気の向きを検知し，方位を直交３軸（Ｘ軸、Ｙ軸、Ｚ軸）の値で算出するセンサである。すなわち、このセンサは、前後方向と左右方向の第１、第２の磁気センサに加えて上下方向の地磁気を検出する第３の地磁気センサを持っている。

無線通信部６ｋは、当該タブレット型端末を、公知の手法により、無線ＬＡＮ等を介してインターネットに接続する場合等に用いられる。キー入力装置６ｌは、電源投入ボタンや各種の押しボタン式操作キーで構成され、必要な指示を当該タブレット型端末に与えるために利用される。

画像表示部６ｎ及び表示コントローラ６ｍは画像表示器（液晶式画像表示器、有機ＥＬ式画像表示器、等々）を構成するものであって、表示コントローラ６ｍは、表示デバイスである画像表示部６ｍと制御部６ａに内蔵される図示しないビデオＲＡＭ（表示されるべき画像データを格納するメモリ）との間にあって、画像表示制御を司るものである。

フラッシュメモリ６ｏは、ダウンロードされる各種のアプリケーションプログラムの格納のほか、各種の設定データの格納に利用される。ＲＡＭ６ｐは、各種演算処理のためのワーキング領域等として利用される。

３軸加速度センサ６ｑは、当業者にはよく知られているように、Ｘ軸・Ｙ軸・Ｚ軸の３方向の加速度を１つのデバイスで測定できるセンサであって、３次元の加速度が検出でき、重力（静的加速度）の計測にも対応できる。

３軸角速度センサ６ｒは、当業者には、よく知られているように、回転角速度の測定を直交３軸（Ｘ軸，Ｙ軸，Ｚ軸）で実現する慣性センサの一種であって、ジャイロセンサとも称される。角速度センサは加速度センサでは反応しない回転の動きを測定する。

−アプリ提供サーバの構成−
アプリ提供サーバのハードウェア構成を示すブロック図が、図３に示されている。この種のハードウェア構成については、各種の文献により公知であるから、その説明については、本発明の要部を除き、簡単に行う。

同図に示されるように、アプリ提供サーバ４は、サーバ装置の全体制御を司るＣＰＵ等からなる制御部４ａ、ＲＯＭ、ＲＡＭ、又はハードディスク等からなり、前述した各種の体感型ゲーム用アプリを含む各種のプログラムや各種のデータ等を記憶するための記憶部４ｂ、外部機器とＬＡＮ又はインターネット等を介して通信を行うための通信部４ｃ、表示処理を行うための表示部４ｄ、外部機器との入出力を行うＩ／Ｆ部４ｅ、入力操作を行うための入力操作部４ｆ等から構成される。なお、記憶部４ｂは、ストレージ等としてサーバ装置とは別に設けられていてもよい。

−アプリダウンロード動作−
アプリダウンロード動作の説明図が、図４に示されている。ユーザは、スーパーマーケット、コンビニエンスストア、街の玩具店等々の実店舗において、好みの開放型構築物玩具８（図９参照）に対応する商品を購入したのち、パンフレット、包装箱の表示等々適当な宣伝媒体を通じて取得した、あるいは、検索サイトを通じて取得したＵＲＬを頼りとして、自己のタブレット型端末６からアプリ提供サーバ４への接続を行う。

この状態において、タブレット型端末６の側において所定のユーザ操作が行われると、タブレット型端末６は、アプリ提供サーバ４へ宛ててダウンロードリクエストを送信したのち、アプリ提供サーバ４から認証コードリクエストが返送されてくるのを待機する（ステップ１０１）。

ダウンロードリクエストを受信したアプリ提供サーバ４の側では（ステップ１１１）、タブレット型端末６へ宛てて認証コードリクエストを送信したのち（ステップ１１２）、タブレット型端末６から認証コードが返送されてくるのを待機する。

タブレット型端末６は、認証コードリクエストが受信されるのを待って（ステップ１０２）、アプリ提供サーバ４へ宛てて認証コードを送信したのち（ステップ１０３）、アプリ提供サーバ４から認証エラーが返送されるか（ステップ１０４）、又は目的とするＡＲ映像生成用アプリが返送されてくるのを待機する（ステップ１０５）。ここで、認証コードとしては、先に、商品パッケージ７の購入により取得されたカードに表示された商品パッケージコード等を利用することができる。

アプリ提供サーバ４は、タブレット型端末６から認証コードが返送されてくるのを待って、所定の認証処理（例えば、その認証コードとして送られてきた商品パッケージコードが販売済みのものであって、ダウンロード未完のものか、あるいは所定のダウンロード許可条件に合致するものかの判定）を実行したのち（ステップ１１３）、認証成功の場合には（ステップ１１４ＹＥＳ）、タブレット型端末６へと指定のＡＲ映像生成用アプリを送信するのに対して（ステップ１１５）、認証失敗の場合には（ステップ１１４ＮＯ）、タブレット型端末６へと認証エラーコードを送信する。

タブレット型端末６の側では、アプリ提供サーバ４からＡＲ映像生成用アプリが送られてきたときには、これを受信したのち（ステップ１０５）、所定の記憶領域（例えば、フラッシュメモリ６ｏ等）に保存したのち、所定のアプリ起動操作を待って、これを実行する一方、認証エラーコードが送られてきたときには、直ちに、処理を終了する。

＜既知の背景物体＞
次に、仮想物体を配置するための面（例えば、床面や壁面等）を提供する既知の背景物体について、説明する。仮想物体としては、上述の「面」を有する限り、任意の構築物を採用することができるが、好ましくは、その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具であってもよい。開放型構築物玩具としては、例えば、サッカースタジアム、野球場、競馬場、ショッピングモール、子供部屋、等々を模して俯瞰可能な開放型に構成することで、様々なもの採用することができる。

このような開放型構築物玩具の一例が、図９に示されている。同図に示される開放型構築物玩具８は、鉄道駅の構内やその周辺施設を、屋根や天井を取り払うことで、俯瞰可能とした開放型構築物玩具として構成されている。この開放型構築物玩具８は、高低差ないし起伏を有する床面を有するものであって、具体的には、改札内１階床面８ａ、改札外１階床面８ｂ、１階１番線のプラットホーム８ｃ、１階２番線のプラットホーム８ｄ、２階１番線のプラットホーム８ｅ、１階と２階とを繋ぐ階段８ｆ、バスやタクシー乗降用の屋上スペース８ｇ、及び屋上スペースと地上を繋ぐスロープ８ｈを有している。その他、この開放型構築物玩具８は、改札ゲートブロック８ｉ、ホームドア収納ブロック８ｊ、ホームドア開閉用のレバー８ｋ、及び信号機８ｌを備えている。

そのため、上述の床面８ａ〜８ｈのいずれかに仮想物体（例えば、アニメーションＣＧ人形）を配置すると、配置場所と撮影方向によっては、それらの仮想物体は、改札ゲートブロック８ｉ、ホームドア収納ブロック８ｊ、ホームドア開閉用のレバー８ｋ、信号機８ｌ等の陰となり、その映像の一部が欠落せねばならない。

なお、図において、その他の物体、すなわち、１階１番線のレール９ａ、１階２番線のレール９ｂ、２階１番線のレール９ｃ、１階１番線の列車玩具１０ａ、１階２番線の列車玩具１０ｂ、２階１番線の列車玩具１０ｃ、セダン型のミニチュアカー玩具１１ａ、バス型のミニチュアカー玩具１１ｂ、セダン型のミニチュアカー玩具１１ｃ、及びバス型のミニチュアカー玩具１１ｄは、開放型構築物玩具８を構成するものではなく、ユーザにより別途購入されるべきものである（図１０参照）。

＜ＡＲ映像生成用アプリの動作＞
ＡＲ映像生成用アプリを構成する処理の全体を概略的に示すフローチャートが、図５に示されてる。

ＡＲ映像生成用アプリが組み込まれたタブレット型端末６の使用に先立ち、ユーザは、所定の開始時操作を実行する。後述するように、この開始時操作は、ＡＲ映像生成用アプリに対して、開放型構築物玩具８に関する撮影部（カメラ）の撮影姿勢や撮影距離を教示するために行われる。

開始時操作の説明図が、図９に示されている。同図に示されるように、この開始時操作では、先ず、位置決め用のマーカが表示されたマーカ表示体７を用意する。図示のマーカ表示体７は、略細長長方形状の輪郭を有する厚手の紙製シートであって、その一対の長辺の１つは非直線状に裁断されて位置決め用辺縁７ａとされている。一方、開放型構築物玩具８の基台にも、対応する非直線状の位置決め用辺縁（図示せず）が設けられている。そして、それら２つの位置決め用辺縁同士を凹凸整合させることで、マーカ表示体７と開放型構築物玩具８との間に、予定された相対的位置関係を設定することができる。

また、マーカを構成する図形パターンとしては、マーカ表示体７の輪郭内周に沿って太線で輪郭線を描くと共に、輪郭線で囲まれるその内部には、比較的に大きなカタカナ文字により、「トイレール」なる文字列を描いてなるものが採用されている。なお、マーカ表示体７は、開放型構築物玩具８の梱包に同梱してもよいし、梱包に用いる紙製箱体の一部に予め印刷しておいて、これをユーザの側で切り取るようにしてもよい。

この状態において、ＡＲ映像生成用アプリが起動されると、まず、開放型構築物玩具８に対する撮影部（カメラ）の撮影姿勢や撮影距離などを「撮影条件」として取得するための一連の処理（ステップ２０１〜２０４）、及び撮影視野内における開放型構築物玩具８に対応する画像の存在位置を取得するための処理（ステップ２０５）が実行される。

これらの処理を概説すれば、先ず、撮影処理（ステップ２０１）の実行により、カメラモジュール６ｉ（図２参照）を駆動して視野に対応する現実画像を取得すると共に、こうして取得された現実画像をＲＡＭ６ｐ（図２参照）の所定エリアに書き込む。

続いて、公知の画像解析処理（ステップ２０２）により、ＲＡＭ６ｐ（図２参照）の所定エリアに書き込まれた現実画像に対して所定の画像解析処理を実行することにより、マーカ表示体７に表示されたマーカに相当する画像パターンをパターンマッチングにより探索する処理を所定の探索最大時間を条件として、継続する（ステップ２０３ＮＯ）。

マーカに相当する画像パターンが見つかったならば（ステップ２０３ＹＥＳ）、続いて、公知の撮影条件の計算処理（ステップ２０４）の実行により、開放型構築物玩具８に対する撮影部（カメラ）の撮影姿勢や撮影距離などを「撮影条件」として取得する。

この「撮影条件」を取得するための計算処理（ステップ２０４）は、例えば、マーカ表示体７と開放型構造物玩具８とを所定の関係に位置決めした状態において、所定の基準となる撮影条件（撮影姿勢や撮影距離等）において、マーカ表示体７上のマーカを撮影して得られたマーカ画像を基準画像パターンとして予め記憶しておくと共に、この基準画像パターンを、任意の撮影条件（撮影姿勢や撮影距離等）にてマーカ表示体７上のマーカを撮影して得られたマーカ画像と、予め決められた複数の照合項目（例えば、全体のサイズ、特定の線分の太さ、特定の一対の線分の交叉角度、特定の線分の傾斜角度、等々）のそれぞれについて照合することで、実現することができる。なお、当業者にはよく知られているように、この「撮影条件」を取得するための計算処理（ステップ２０４）は、マーカレス方式にて実現することもできる。

続いて、ＡＲ対象領域の計算処理（ステップ２０５）の実行により、任意の撮影条件（撮影姿勢や撮影距離等）にて撮影部を介して取得された現実画像中において、開放型構築物玩具８に相当する画像（ＡＲ対象画像領域）を特定する情報（例えば、位置及び姿勢）が取得される。

このＡＲ対象領域を特定するための情報を取得するための計算処理（ステップ２０５）は、現実画像中にマーカ画像は含まれているものの、開放型構築物玩具８に相当する画像（ＡＲ対象画像領域）は含まれていない場合には、マーカ画像と開放型構築物玩具８に相当する画像（ＡＲ対象画像領域）との間に設定された既知の相関を利用した推定処理により、実行することができる。

また、上述のＡＲ対象領域を特定するための情報は、一定周期（例えば、１／３０秒、１／６０秒）毎に新たな撮影（ステップ２１０）が行われるたびに所定のアルゴリズムに基づいて更新される。ひとつのアルゴリズムとしては、例えば、３軸加速度センサ６ｐや３軸角速度センサ６ｒ（図２参照）の検出値変化分を用いた所謂積分式のトラッキング制御により、逐次、ＡＲ対象領域を特定するための情報を更新するものが挙げられる。他のひとつのアルゴリズムとしては、ＡＲ対象領域の図形的な特徴に着目して、パターンマッチング技法により、現実画像上のＡＲ対象領域を追跡することにより、逐次、ＡＲ対象領域を特定するための情報を更新するものが挙げられる。

昨今、この種のＡＲ映像生成技術の分野においては、ＡＲ映像生成アプリを手軽に開発することが可能な各種の支援ツールが市場に提供されているので、上述の画像解析処理（ステップ２０２）、撮影条件の計算処理（ステップ２０４）、及びＡＲ対象領域の計算処理（ステップ２０５）については、そのような支援ツール（例えば、ソニーデジタルネットワークアプリケーションズ株式会社の提供するＳｍａｒｔＡＲ（登録商標））を利用することにより、必要な機能を容易に実現することができる。

次に、ＡＲ用オブジェクトの決定処理（ステップ２０６）を実行する。ＡＲ用オブジェクトの決定処理の詳細が、図６に示されている。同図に示されるように、このＡＲ用オブジェクトの決定処理においては、３つの動作モードが用意されている。

同図において処理が開始されると、先ず、予め設定された「登場オブジェクト設定」を読み込んだのち（ステップ３０１）、デフォルト設定モードか（ステップ３０２）、動的設定モードか（ステップ３０４）、又は追加設定モードか（ステップ３１２）の判定を行う。

「デフォルト設定」モードと判定されると（ステップ３０２ＹＥＳ）、続いて、予め決められた一群のオブジェクトが、登場オブジェクトとして選択される（ステップ３０１）。ここで、「登場オブジェクト」とは、現実画像の上に配置されるべき仮想画像に相当するもので、人物、動物、移動体の実画像やＣＧ製作画像、さらには、それらの静止画像、アニメーション画像等々を広く含むことができる。この例にあっては、一群のオブジェクトとしては、例えば、それぞれアニメーション技法により歩行する５〜１０人のＣＧ人形を挙げることができる。それらのＣＧ人形の性別構成比、年齢構成費、社会人・学生構成比等々は、その服装と共に、目的とする背景画像を構成する開放型構築物玩具８にマッチするように設計される。

「動的設定」モードと判定されると（ステップ３０４ＹＥＳ）、現時刻を読み込んだのち（ステップ３０５）、現時点について、朝の時間帯に属するか（ステップ３０６）、昼の時間帯に属するか（ステップ３０８）、又は夜の時間帯に属するか（ステップ３１０）が判定される。ここで、朝の時間帯としては、例えば午前６時〜午前１０時の時間帯を挙げることができ、昼の時間帯としては、例えば午前１０時〜午後２時の時間帯を挙げることができ、夜の時間帯としては、例えば午後５時〜午後１０時の時間帯を挙げることができる。それらの時間帯に属さないときは、例えば、デフォルトに戻すことで不自然な演出を回避することができる。

朝の時間帯と判定されると（ステップ３０６ＹＥＳ）、朝の時間帯用の一群のオブジェクト（例えば、学生や通勤客の服装をした男女総勢５ないし１０名程度のＣＧ人形）が登場オブジェクトとして選択される（ステップ３０７）。

昼の時間帯と判定されると（ステップ３０８ＹＥＳ）、昼の時間帯用の一群のオブジェクト（例えば、子供連れのお母さんやお年寄りの服装をした男女総勢５ないし１０名程度のＣＧ人形）が登場オブジェクトとして選択される（ステップ３０９）。

夜の時間帯と判定されると（ステップ３１０ＹＥＳ）、夜の時間帯用の一群のオブジェクト（例えば、主として通勤客の服装をした男女総勢５ないし１０名程度のＣＧ人形）が登場オブジェクトとして選択される（ステップ３１１）。

「追加設定」モードと判定されると（ステップ３１２ＹＥＳ）、予めユーザが手書きした顔や家族の顔をスマートフォン等で撮影した画像をＣＧ人形と合成して得られたオブジェクトが登場オブジェクトとして追加される（ステップ３１３）。

次に、図５に戻って、本発明の要部であるＡＲ用の中間画像生成処理（ステップ２０７）について説明する。ＡＲ用の中間画像生成処理の詳細フローチャートが、図７に示されている。

同図に示されるように、ＡＲ用の中間画像生成処理は、ＡＲ対象領域３Ｄモデル上へのオブジェクト配置処理（ステップ４０１）と中間画像変換処理（ステップ４０２）とから構成されている。

オブジェクト配置処理の詳細が、図８に示されている。ここで、「ＡＲ対象領域３Ｄモデル」とは、背景物体（例えば、鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具）の構造を三次元座標にて表現する画像データであって、ＡＲ映像生成用アプリと共にタブレット型端末６にインストールされて、所定のメモリ（例えば、フラッシュメモリ６ｏ）に格納されたものである。また、仮想オブジェクトに対応する仮想画像（例えば、ＣＧ製作の人形、車両等の移動体）についても、好ましくは三次元情報が付与されており、予め所定のメモリ（例えば、フラッシュメモリ６ｏ）に格納されている。

図８において、処理が開始されると、先ず、選択された一群のオブジェクトのメモリからの読み出し処理（ステップ５０１）及びＡＲ対象領域に対応する３Ｄモデルの読み出し処理（ステップ５０２）を順に実行したのち、一連の処理（ステップ５０４〜５０８）をポインタＰが１〜Ｐｍａｘに達するまで（ステップ５０３、５０９、５１０）、繰り返して実行する。

まず、ポインタＰで指定のオブジェクトをメモリから読み出し（ステップ５０４）、次いで、当該オブジェクトを３Ｄモデル上の決められた歩行予定位置に配置する（ステップ５０５）。このとき、３Ｄモデルは三次元の位置情報を有するものであるから、指定の仮想オブジェクトを３Ｄモデル上の指定位置に正確に配置することができる。

例えば、３Ｄモデルが、鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具８に対応するものであれば、改札内１階床面８ａ、改札外１階床面８ｂ、１階１番線のプラットホーム８ｃ、１階２番線のプラットホーム８ｄ、２階１番線のプラットホーム８ｅ、１階と２階とを繋ぐ階段８ｆ、バスやタクシー乗降用の屋上スペース８ｇ、及び屋上スペースと地上を繋ぐスロープ８ｈ等のオブジェクト配置面を三次元空間上で正確に認識した上で、それと一定の位置関係となるようにして、仮想オブジェクトであるＣＧ人形やＣＧ車両等々を配置することができる。このとき、仮想オブジェクトであるＣＧ人形等の側にも３次元情報ないし指向情報を有するものであれば、３Ｄモデル上の指定位置にＣＧ人形等を指定の向きで正確に配置することもできる。

また、沿面移動を行わせたいのであれば、３Ｄモデルにおける当該配置面の高さと各オブジェクトの基準位置（例えば、脚部の下端、車両の車輪下端）とをほぼ一致するようにして、仮想オブジェクトを配置すればよい。また、飛びはね移動を行わせたいのであれば、その予定飛びはね軌跡と仮想オブジェクトの基準位置とがほぼ一致するようにして、３Ｄオブジェクト上に仮想オブジェクトを配置すればよい。

なお、配置面は必ずしも床面に限るものではなく、その他、任意の垂直な壁面を配置面とすることもできる。その場合には、３Ｄモデルにおける当該壁面の高さと各オブジェクトの基準位置（例えば、脚部の下端、車両の車輪下端）とをほぼ一致するようにして、仮想オブジェクトを配置すればよい。、

次に、当該オブジェクトと撮影視点（例えば、タブレット型端末カメラのレンズ位置）との距離を計算し（ステップ５０６）、その距離が規定値よりも短い場合に限り（ステップ５０７ＹＥＳ）、仮想オブジェクトであるＣＧ人形の顔部分を撮影視点にへと向けるように所定の変化処理を実行する（ステップ５０８）。

続いて、図６に戻って、中間画像変換処理（ステップ４０２）を実行する。この中間画像変換処理（ステップ４０２）は、上述のオブジェクト配置処理（ステップ４０１）にて生成された仮想物体配置済み背景物体の３次元仮想画像を、現在の撮影条件と同じ撮影条件にて、仮想カメラで撮影することにより、仮想物体配置済み背景物体の２次元仮想画像を取得し、これをＡＲ映像生成用の中間画像として生成する。

こうして生成されたＡＲ映像生成用の中間画像の一例が、図１０に示されている。同図において、二点鎖線にて描かれている部分が背景物体の３Ｄモデルを仮想カメラにて実際と同じ撮影条件にて撮影して得られた二次元画像部分（符号８ａ〜８ｈで示す）であり、実線にて描かれている部分が仮想物体の仮想画像を仮想カメラにて実際と同じ撮影条件にて撮影して得られた二次元画像部分（符号１２ａ〜１２ｃで示す）である。

続いて、図５に戻って、表示制御処理（ステップ２０８）を実行する。表示制御処理（ステップ２０８）においては、前記位置情報により特定される背景物体現実画像（図９参照）の上に上で得られた中間画像（図９参照）を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分（二点鎖線部分）については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる（図１１参照）。

＜ＡＲ映像生成装置の実施形態に関する作用効果＞
以上説明したように、ＡＲ映像生成用アプリ（図５〜図８）の組み込まれたタブレット型端末６によれば、所定の開始時操作（図９参照）並びに登場オブジェクト設定を行ったのち、これを背景物体である鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具８の上にかざすと、表示部である液晶スクリーン上には、背景物体を構成する鉄道駅の構内やその周辺施設を俯瞰して得られる現実映像の上に、仮想物体（オブジェクト）である仮想映像（この例では、３体のアニメーションＣＧ人形１２ａ，１２ｂ，１２ｃ）が重畳されてなるＡＲ映像が表示されることとなる（図１０、１１参照）。そのため、例えば、出願人がプラレール（登録商標）として販売する列車玩具に適用して、鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具とすることで、これを所定のレール軌道（９ａ〜９ｃ）中に配置して、実際の列車玩具やミニチュアカー玩具（１１ａ〜１１ｄ）を搭載した上で、その空きスペースに乗客や駅員を模したＣＧ人形を仮想映像で登場させることにより、この種の列車玩具に新たな遊び方を提案することができる。

そして、このＡＲ映像は、背景物体の現実画像と仮想物体の仮想画像とを画像認識技術を利用して直接的に位置合わせするのではなく、先ず、背景物体の三次元モデルと仮想物体の仮想画像との間で三次元情報を用いて正確な位置合わせを行い（図８参照）、しかるのち、これを同じ撮影条件にて撮影して得られた中間画像（図１０参照）を背景物体の現実画像（図９参照）の上に、中間画像の背景物体部分については、これを透明化して、重畳することで得られたものであるから、仮想物体の映像（歩行するアニメーションＣＧ人形１２ａ，１２ｂ，１２ｃ）は、背景物体の映像上の指定位置に精度良く位置決めされて描かれる。そのため、仮想物体配置面に複雑な高低差ないし凹凸を有する背景物体に適用する場合にあっても、床の起伏に沿って歩行すべきＣＧ人形が宙に浮いて歩行したりすることがなくなり、仮想物体に関して沿面追従性が適正に担保された、見た目に自然なＡＲ映像となる。

また、同様の理由から、こうして得られる仮想物体の映像は、周囲の物体との間の遠近関係が明確化されて描かれる。そのため、図１５に示されるように、仮想物体（ＣＧ人形１２ｄ，１２ｅ）の歩行中、その手前に遮蔽物（改札ゲートブロック８ｉやホームドア収納ブロック８ｊ）が現れるような場合には、それらの遮蔽物にて一部が遮蔽される状態における仮想物体（ＣＧ人形１２ｄ'，１２ｅ'）は遮蔽物に隠されて見えなくなり、遠近識別性が適正に担保された、見た目に自然なＡＲ映像となる。

また、登場オブジェクト設定において、「動的設定」を選択すれば、一連の時間帯別オブジェクト設定処理（図６、ステップ３０４〜３１１参照）が実行される結果、図１６に示されるように、改札ゲートを通過する乗降客（アニメーションＣＧ人形）については、朝の時間帯は主として学生（中学生や高校生）や通勤客が中心となり、昼の時間帯は主として買い物客や子連れ客が中心となり、夜の時間帯は主として通勤客が中心となり、より一層リアルな駅の風景を提供することができる。

また、オブジェクト配置処理においては、距離対応変化処理（図８、ステップ５０６〜５０８）が実行される結果、図１７に示されるように、ＡＲ映像上の特定のオブジェクト（２階１番線のホーム間際で列車に向かって立っている駅員を模したＣＧ人形１２ａ）にタブレット型端末６の撮影部を近付けると、当該オブジェクトは大写しになると共に、ユーザの方を振り向いてくれることとなり、当該オブジェクトに関して、ユーザに親しみを感じさせることができる。

さらに、１階１番線の列車玩具１０ａ及び１階２番線の列車玩具１０ｂ、それ自体を仮想オブジェクトとすれば、図１３に示されるように、それらの線路が実際には空の状態であるにも拘わらず、それらの線路上に列車玩具１０ａ，１０ｂの仮想映像を出現させることができる。しかも、このようにして得られる列車の仮想映像は三次元モデルに基づくものであるから、列車のいずれの方向からの撮影にも対応するものであり、例えば、図１４に示されるように、列車の前面からの撮影に対しては、列車を前面から見た仮想映像を提供することができる。

＜その他＞
以上の実施形態においては、タブレット型端末６の撮像部（カメラ）をＡＲ映像上の特定の仮想物体に近づけると、当該仮想物体に変化が起こるように構成したが（図８のステップ５０６〜５０８及び図１７参照）、当該仮想物体に変化が起こるためのトリガとしては、レンズを近づける動作のみならず、例えば、タブレット型端末６のタッチパネルをタッチすることで、タッチされた仮想物体に変化が起こるようにしてもよい。

また、以上の実施形態においては、複数の仮想物体群から１つの仮想物体群を選択する動作が現時刻の属する時間帯に応じて自動的に行われるようにしたが（図６のステップ３０４〜３１１）、勿論、ユーザのキー操作などを介して、上述の選択動作が手動で行われるものであってもよい。

また、複数の仮想物体群の中からその１つの群を選択して取得する動作は、予め設定された複数の期間のうち、現時点が属する期間に応じて自動的に実行される、ものであってもよい。

このような構成によれば、現時点が属する期間として、例えば、季節（春季、夏季、秋季、冬季）、イベント期間（正月期間、クリスマス期間、ハロウィン期間、夏休み期間等々）を採用すると共に、各期間に相応しい装いのＣＧ人形群を設定しておけば、その期間が到来すると共に、背景映像上にはその期間に相応しい服装のＣＧ人形等を自動的に出現させることができる。

さらに、以上の実施形態にあっては、既知の背景物体として、鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具８を採用したが、その他、開放型構築物玩具としては、サッカースタジアム、野球場、競馬場、ショッピングモール、子供部屋、等々を模して俯瞰可能な開放型に構成することで、様々な演出が可能となる。

本発明によれば、仮想物体配置面に複雑な高低差ないし凹凸を有する背景物体に適用する場合にあっても、仮想物体に関して沿面追従性や遠近識別性が適正に担保された、見た目に自然なＡＲ映像を生成することができる。

１ スマートホン
２ タブレット型ＰＣ
４ アプリ提供サーバ
４ａ 制御部
４ｂ 記憶部
４ｃ 通信部
４ｄ 表示部
５ インターネット
６ タブレット型端末
６ａ 制御部
６ｂ マイク
６ｃ スピーカ
６ｄ タッチパネル制御部
６ｅ タッチパネル
６ｆ バイブレータ
６ｇ ランプ駆動部
６ｈ ＬＥＤランプ
６ｉ カメラモジュール
６ｊ ３軸地磁気センサ
６ｋ 無線通信部
６ｌ キー入力装置
６ｍ 表示コントローラ
６ｎ 画像表示部
６ｏ フラッシュメモリ
６ｐ ＲＡＭ
６ｑ ３軸加速度センサ
６ｒ ３軸角速度センサ
７ マーカ表示シート
７ａ 位置決め用辺縁
８ 開放型構築物玩具
８ａ 改札内１階床面
８ｂ 改札外１階床面
８ｃ １階１番線のプラットホーム
８ｄ １階２番線のプラットホーム
８ｅ ２階１番線のプラットホーム
８ｆ １階と２階とを繋ぐ階段
８ｇ バスやタクシー乗降用の屋上スペース
８ｈ 屋上スペースと地上とを繋ぐスロープ
８ｉ 改札ゲートブロック
８ｊ ホームドア収納ブロック
８ｋ ホームドア開閉用のレバー
８ｌ 信号機
９ａ １階１番線のレール
９ｂ １階２番線のレール
９ｃ ２階１番線のレール
１０ａ １階１番線の列車玩具
１０ｂ １階２番線の列車玩具
１０ｃ ２階１番線の列車玩具
１１ａ セダン型のミニチュアカー玩具
１１ｂ バス型のミニチュアカー玩具
１１ｃ セダン型のミニチュアカー玩具
１１ｄ バス型のミニチュアカー玩具
１２ａ 改札内１階床面に配置されたＣＧ人形
１２ｂ ２階１番線ホーム間際に配置されたＣＧ人形
１２ｃ 屋上スペースに配置されたＣＧ人形
１２ｄ 改札ゲート進入前のＣＧ人形
１２ｄ' 改札ゲート通過中のＣＧ人形
１２ｅ ホームドア進入前のＣＧ人形
１２ｅ' ホームドア進入後のＣＧ人形

Claims (25)

1. 撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末を、
   前記撮像部を介して取得された現実画像に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や角度等の撮影条件を計算により取得する基礎情報取得手段と、
   前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得する三次元モデル情報取得手段と、
   前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得する仮想物体情報取得手段と、
   前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記撮影距離や撮影角度等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成する中間画像生成手段と、
   前記背景物体の現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる表示制御手段と、を包含する、ＡＲ映像生成装置として機能させるためのコンピュータプログラム。
2. 前記仮想物体情報取得手段は、
   それぞれ１又は２以上の仮想物体を含む複数の仮想物体群の中から、その１つの群を選択して取得可能とされている、請求項１に記載のコンピュータプログラム。
3. 前記仮想物体群の中からその１つの群を選択して取得する動作は、予め設定された複数の期間のうち、現時点が属する期間に応じて自動的に実行される、請求項２に記載のコンピュータプログラム。
4. 前記複数の期間には、時刻により区切られた期間が含まれる、請求項３に記載のコンピュータプログラム。
5. 前記仮想物体情報取得手段は、ユーザが任意に作成した仮想物体画像を取得可能とされている、請求項１に記載のコンピュータプログラム。
6. 前記中間画像生成手段は、
   前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記撮影条件に基づいて、当該仮想物体と前記撮影部との距離が規定値よりも短いと判定されるときには、当該仮想物体に対して所定の変化を加える、請求項１に記載のコンピュータプログラム。
7. 前記中間画像生成手段は、
   前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記表示部を構成するタッチパネルを介して、当該仮想物体が指定されたと判定されるときには、当該仮想物体に対して所定の変化を加える、請求項１に記載のコンピュータプログラム。
8. 前記所定の変化が、仮想物体を構成する人形の顔が前記撮影部の方に向くように変化するものである、請求項６又は７に記載のコンピュータプログラム。
9. 前記既知の背景物体が、
   その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具である、請求項１に記載のコンピュータプログラム。
10. 前記開放型構築物玩具が、鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具である、請求項９に記載のコンピュータプログラム。
11. 撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末を有し、
    前記情報処理端末は、
    前記撮像部を介して取得された現実画像に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や角度等の撮影条件を計算により取得する基礎情報取得手段と、
    前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得する三次元モデル情報取得手段と、
    前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得する仮想物体情報取得手段と、
    前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記撮影距離や撮影角度等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成する中間画像生成手段と、
    前記景物体の現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる表示制御手段と、を包含する、ＡＲ映像生成装置。
12. 前記仮想物体情報取得手段は、
    それぞれ１又は２以上の仮想物体を含む複数の仮想物体群の中から、その１つの群を選択して取得可能とされている、請求項１１に記載のＡＲ映像生成装置。
13. 前記中間画像生成手段は、
    前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記撮影条件に基づいて、当該仮想物体と前記撮影部との距離が規定値よりも短いと判定されるときには、当該仮想物体に対して所定の変化処理を加える、請求項１１に記載のＡＲ映像生成装置。
14. 前記中間画像生成手段は、
    前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記表示部を構成するタッチパネルを介して、当該仮想物体が指定されたと判定されるときには、当該仮想物体に対して所定の変化処理を加える、請求項１１に記載のＡＲ映像生成装置。
15. 前記既知の背景物体が、
    その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具である、請求項１１に記載のＡＲ画像生成装置。
16. 撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末の制御方法であって、
    前記撮像部を介して取得された現実画像に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や角度等の撮影条件を計算により取得する第１のステップと、
    前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得する第２のステップと、
    前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得する第３のステップと、
    前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記撮影距離や撮影角度等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成する第４のステップと、
    前記背景物体の現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる第５のステップとを包含する、携帯型の情報処理端末の制御方法。
17. 前記第３のステップは、
    それぞれ１又は２以上の仮想物体を含む複数の仮想物体群の中から、その１つの群を選択して取得可能とされている、請求項１６に記載の携帯型の情報処理端末の制御方法。
18. 前記第４のステップは、
    前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記撮影条件に基づいて、当該仮想物体と前記撮影部との距離が規定値よりも短いと判定されるときには、当該仮想物体に対して所定の変化処理を加える、請求項１６に記載の携帯型の情報処理端末の制御方法。
19. 前記中間画像生成手段は、
    前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記表示部を構成するタッチパネルを介して、当該仮想物体が指定されたと判定されるときには、当該仮想物体に対して所定の変化処理を加える、請求項１６に記載の携帯型の情報処理端末の制御方法。
20. 前記既知の背景物体が、
    その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具である、請求項１６に記載の携帯型の情報処理端末の制御方法。
21. その上に仮想物体が配置されるべき床面や壁面等の面を有する俯瞰可能な開放型構築物玩具と、
    前記玩具と一定の相対的な位置関係を持って配置されるべく提供され、かつ所定の図形的特徴を有するマーカが表示されたマーカ表示体と、
    撮影部と表示部と記憶部とを少なくとも備えた携帯型の情報処理端末を、
    前記撮像部を介して取得された現実画像に含まれるマーカ情報に基づいて、仮想物体を配置するための面を提供する既知の背景物体に対する撮影部の距離や角度等の撮影条件を計算により取得する基礎情報取得手段と、
    前記記憶部から、前記背景物体の三次元モデルをあらわす情報を取得する三次元モデル情報取得手段と、
    前記記憶部から、前記背景物体の前記面上に配置されるべき仮想物体をあらわす情報を取得する仮想物体情報取得手段と、
    前記背景物体の三次元モデルをあらわす情報と前記背景物体の前記面上に配置されるべき仮想物体を表す情報と前記撮影距離や撮影角度等の撮影条件とに基づいて、前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態を前記撮影条件にて撮影したときに得られるであろう仮想物体配置済み背景物体の仮想画像をＡＲ映像生成用の中間画像として生成する中間画像生成手段と、
    前記背景物体の現実画像の上に前記中間画像を位置整合させて重畳しかつ前記中間画像中の背景物体画像部分については透明として、その下に位置する背景物体現実画像が透視されるように処理することにより、目的とするＡＲ映像を前記表示部に表示させる表示制御手段と、を包含する、ＡＲ映像生成装置として機能させるためのコンピュータプログラムと、からなるＡＲ映像提供用の玩具セット。
22. 前記仮想物体情報取得手段は、
    それぞれ１又は２以上の仮想物体を含む複数の仮想物体群の中から、その１つの群を選択して取得可能とされている、請求項２１に記載のＡＲ映像提供用の玩具セット。
23. 前記中間画像生成手段は、
    前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記撮影条件に基づいて、当該仮想物体と前記撮影部との距離が規定値よりも短いと判定されるときには、当該仮想物体に対して所定の変化処理を加える、請求項２１に記載のＡＲ映像提供用の玩具セット。
24. 前記中間画像生成手段は、
    前記背景物体の前記面上の指定位置に前記仮想物体を配置した状態において、前記表示部を構成するタッチパネルを介して、当該仮想物体が指定されたと判定されるときには、当該仮想物体に対して所定の変化処理を加える、請求項２１に記載のＡＲ映像提供用の玩具セット。
25. 前記開放型構築物玩具が、
    鉄道駅の構内やその周辺施設を俯瞰可能な開放型構築物玩具である、請求項２１に記載のＡＲ映像提供用の玩具セット。

Images