JP5616622B2 - 拡張現実感提供方法及び拡張現実感提供システム - Google Patents

Description

本発明は拡張現実感提供方法及び拡張現実感提供システムに関する。

従来から、現実空間の映像に情報（アノテーション）を重畳して表示する拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；ＡＲ）技術が開発されている。このＡＲ技術はコンピュータグラフィックスの一つの応用といえる。例えば下記特許文献１には、景色に関する情報をデータベースから読み出し、当該情報とカメラで撮影された映像とを結合することで得られたイメージを表示する視覚システムが記載されている。また下記特許文献２，３にも、現実空間の映像に拡張コンテンツを重ねて表示する拡張現実表示システムが記載されている。

特表平９−５０５１３８号公報 特開２００１−９２９９５号公報 特開２００１−１４２６０４号公報

しかしながら、拡張現実感を提供する技術は、予め用意されているコンテンツを現実空間の映像に重ねて表示するものであり、コンテンツの作成にユーザが参加する態様にはなっていない。

そこで本発明は、ユーザが作成したコンテンツを用いた拡張現実感を提供可能な拡張現実感提供方法及び拡張現実感提供システムを提供することを目的とする。

本発明の拡張現実感提供方法は、第１の携帯端末、第２の携帯端末、及びサーバを備える拡張現実感提供システムにより実行される拡張現実感提供方法であって、第１の携帯端末が、該第１の携帯端末の移動軌跡を検出するステップと、第１の携帯端末が、検出された移動軌跡を描線とするコンテンツデータを生成するステップと、第１の携帯端末が、生成されたコンテンツデータを該第１の携帯端末の現在位置を示す位置情報とともにサーバに送信するステップと、サーバが、第１の携帯端末から送信された位置情報及びコンテンツデータを関連付けて記憶装置に記憶するステップと、サーバが、第２の携帯端末の現在位置を示す位置情報を該第２の携帯端末から受信するステップと、サーバが、第２の携帯端末から受信した位置情報に基づいて、該第２の携帯端末の位置の周辺に対応するコンテンツデータを記憶装置から抽出するステップと、サーバが、抽出されたコンテンツデータを第２の携帯端末に送信するステップと、第２の携帯端末が、サーバから受信したコンテンツデータに基づいて、該第２の携帯端末により撮影された映像内の対応する位置にコンテンツを重畳して表示するステップと、第２の携帯端末が、該第２の携帯端末の移動軌跡を検出するステップと、第２の携帯端末が、検出された該第２の携帯端末の移動軌跡で示される描線のデータを、サーバから受信した、第２の携帯端末の位置の周辺に対応するコンテンツデータに追加するステップと、第２の携帯端末が、描線のデータが追加されたコンテンツデータをサーバに送信するステップと、サーバが、第２の携帯端末から送信されたコンテンツデータを記憶装置に記憶することによりコンテンツデータを更新するステップと、を含むことを特徴とする。

また本発明の拡張現実感提供システムは、第１の携帯端末と、第２の携帯端末と、サーバと、を備え、第１の携帯端末が、第１の携帯端末の移動軌跡を検出する第１検出手段と、第１検出手段により検出された移動軌跡を描線とするコンテンツデータを生成する生成手段と、生成手段により生成されたコンテンツデータを第１の携帯端末の現在位置を示す位置情報とともにサーバに送信する第１送信手段と、を備え、サーバが、第１の携帯端末から送信された位置情報及びコンテンツデータを関連付けて記憶装置に記憶する第１記憶手段と、第２の携帯端末の現在位置を示す位置情報を該第２の携帯端末から受信する受信手段と、受信手段により受信された位置情報に基づいて、第２の携帯端末の位置の周辺に対応するコンテンツデータを記憶装置から抽出する抽出手段と、抽出手段により抽出されたコンテンツデータを第２の携帯端末に送信する第２送信手段と、を備え、第２の携帯端末が、第２の携帯端末の現在位置を示す位置情報をサーバに送信する第３送信手段と、サーバから受信したコンテンツデータに基づいて、第２の携帯端末により撮影された映像内の対応する位置にコンテンツを重畳して表示する表示手段と、第２の携帯端末の移動軌跡を検出する第２検出手段と、第２検出手段により検出された移動軌跡で示される描線のデータを、サーバから受信した、前記第２の携帯端末の位置の周辺に対応するコンテンツデータに追加する追加手段と、追加手段により描線のデータが追加されたコンテンツデータをサーバに送信する第４送信手段と、を備え、サーバが、第４送信手段によって送信されたコンテンツデータを記憶装置に記憶することによりコンテンツデータを更新する第２記憶手段を更に備える、ことを特徴とする。

このような発明によれば、第１の携帯端末においてその移動軌跡に基づいて生成されたコンテンツデータが第１の携帯端末の位置情報とともにサーバに送られ、コンテンツデータとして記憶される。その後、第２の携帯端末がその位置情報をサーバに送ると、その端末の周辺に対応するコンテンツデータが読み出されてサーバから第２の携帯端末に送られる。そして、第２の携帯端末で撮影された映像に合わせてコンテンツが重畳表示される。これにより、ある地点で第１の携帯端末のユーザが作成したコンテンツを、その後に当該地点の近辺に来て撮影をしているユーザの携帯端末（第２の携帯端末）上に現実空間の映像と重ねて表示することができる。すなわち、第１の携帯端末のユーザが作成したコンテンツを用いた拡張現実感を第２の携帯端末のユーザに提供することができる。

また、第２の携帯端末においてその移動軌跡に基づいて生成された描線が、サーバから受信したコンテンツに追加される。そして、新たな描線を含むコンテンツ、すなわち編集されたコンテンツデータがサーバに送られて記憶される。これにより、現実空間の映像に重畳表示されるコンテンツを複数のユーザの共同作業により作成することができる。

本発明の拡張現実感提供方法では、コンテンツを重畳して表示するステップが、第２の携帯端末の位置情報とサーバから受信したコンテンツデータの位置情報とに基づいて算出した距離が所定の閾値以下である場合には、コンテンツの作者に対する所定の支援処理を行うための画面を表示するステップを含んでもよい。

この場合、第２の携帯端末にある程度近い位置で作成されたコンテンツの作者に対する支援処理の画面が表示されるので、コンテンツの作者に何らかの報奨を与えてコンテンツの制作を促すことが可能になる。

このような拡張現実感提供方法及び拡張現実感提供システムによれば、ある地点で第１の携帯端末により作成されたコンテンツが、その後に当該地点の近辺に位置した第２の携帯端末により取得され、第２の携帯端末の撮影画像に重ねて表示されるので、ユーザが作成したコンテンツを用いた拡張現実感を提供することができる。

実施形態に係る拡張現実感提供システムの全体構成を示す図である。 図１に示す第１端末の機能構成を示すブロック図である。 図１に示す携帯端末のハードウェア構成を示す図である。 （ａ），（ｂ）図１に示す携帯端末の外観を示す図である。 （ａ）は第１端末の移動軌跡の例を示す図であり、（ｂ）はその軌跡に基づいて表示される描線を示す図である。 （ａ），（ｂ）は第１端末の移動軌跡に基づいて表示される描線の例を示す図である。 コンテンツの構成例を示す図である。 コンテンツデータの構成例を示す図である。 図１に示すコンテンツサーバの機能構成を示すブロック図である。 図１に示すコンテンツサーバのハードウェア構成を示す図である。 図１に示す第２端末の機能構成を示すブロック図である。 編集されたコンテンツデータの構成例を示す図である。 図１に示す拡張現実感提供システムによるコンテンツの生成及び表示の処理を示すシーケンス図である。 図１に示す拡張現実感提供システムによるコンテンツの編集及び更新の処理を示すシーケンス図である。 図１に示す拡張現実感提供システムによる送金処理を示すシーケンス図である。 （ａ），（ｂ）は、アニメーションを生成するための軌跡の例を示す図である。 （ａ）〜（ｃ）は、図１６に示す軌跡に基づくアニメーションの表示例を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

まず、実施形態に係る拡張現実感提供システム１の機能及び構成を説明する。拡張現実感提供システム１は、ある場所でユーザが携帯端末を動かした軌跡を描線とするコンテンツを作成すると、同じ場所をカメラ視界に入れた携帯端末のライブビュー画像に当該コンテンツが重畳して表示されるシステムである。すなわち、拡張現実感提供システム１はユーザが作成したコンテンツをアノテーションとして表示し拡張現実感を提供するシステム（ＡＲシステム）である。

拡張現実感提供システム１は、最近注目されているアートパフォーマンスの一つであるライトペインティングという手法をＡＲシステム内で実現するものである。ライトペインティングとは、遅いシャッタースピードのカメラにより夜景を長時間露光で撮影しつつ、カメラ視界内でペンライト等の光源を動かすことにより、夜景の映像に光の軌跡によるグラフィックを作成するものである。また、同じ場所で少しずつ光の軌跡を変化させた写真を撮影し、それらを連続的に表示することでアニメーションを作成する場合もある。

このようなライトペインティングと拡張現実感提供システム１を対比すると、ライトペインティングが特定地点で光源を動かすことによりグラフィックを作成するのに対し、拡張現実感提供システム１は特定地点で携帯端末を動かすことによりコンテンツを作成するものであり、いずれもユーザのアナログな操作によって描画が行われる。また、ライトペインティングが特定地点の夜景上で作成されるものであるのに対し、拡張現実感提供システム１はグラフィックコンテンツを特定地点のライブビュー画像に重畳して表示するものであり、いずれも特定地点の風景を背景としたものである。このように、拡張現実感提供システム１はライトペインティングを模した機能を実現する。

拡張現実感提供システム１の構成について説明する。拡張現実感提供システム１は、図１に示すように、ユーザの携帯端末１０と、コンテンツデータを管理するコンテンツサーバ２０と、寄付に関する処理を実行する送金サーバ３０を備えている。携帯端末１０とコンテンツサーバ２０又は送金サーバ３０とは、移動体通信網ＮａやインターネットＮｂを含むネットワークＮを介して互いに通信することが可能である。図１では携帯端末１０を２台示しているが、拡張現実感提供システム１は１台以上の携帯端末１０があれば成立し得る。また、図１ではコンテンツサーバ２０及び送金サーバ３０を１台ずつしか示していないが、負荷分散などのために各サーバを複数設けてもよい。また、コンテンツサーバ２０及び送金サーバ３０の機能を１台のサーバに集約してもよい。以下では、図１における２台の携帯端末１０を第１端末１１，第２端末１２と区別して説明する。

第１端末１１は、ユーザが動かした軌跡を描線とするコンテンツを作成するために使用される。この第１端末１１はデータ通信や撮影、測位、マルチメディア処理などの機能を有している。第１端末１１の例としては携帯電話機や携帯情報端末（ＰＤＡ）、携帯ゲーム機などが考えられるが、端末の種類は限定されない。図２に示すように、この第１端末１１は機能的構成要素として測位部１１１、コンテンツ生成部１１２、送信部１１３及び３Ｄグラフィックス生成部１１４を備えている。

第１端末１１のハードウェア構成は図３に示すようなものである。すなわち第１端末１１は、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ１０１と、ＲＯＭやＲＡＭで構成される主記憶部１０２と、メモリなどで構成される補助記憶部１０３と、データ通信を行う通信制御部１０４と、入力キーなどで構成される操作部１０５と、液晶モニタなどで構成される表示部１０６と、ＧＰＳ衛星からの信号を受信して測位を行うＧＰＳ受信機１０７と、地磁気を検出して方位を求める電子コンパス等の方位センサ１０８と、端末に与えられる加速度を検出する加速度センサ１０９と、カメラ１１０とを備えている。第１端末１１の外観は例えば図４に示す通りであり、操作部１０５及び表示部１０６が配置された面（図４（ａ）参照）と対向する面にカメラ１１０のレンズが配置されている（図４（ｂ）参照）。

図２に示す第１端末１１の各機能は、ＣＰＵ１０１及び主記憶部１０２の上に所定のプログラムを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４、操作部１０５、表示部１０６、ＧＰＳ受信機１０７、方位センサ１０８、加速度センサ１０９及びカメラ１１０を動作させるとともに、主記憶部１０２や補助記憶部１０３に対してデータの読み出し又は書き込みを行うことで実現される。

図２に戻って、測位部１１１は第１端末１１の現在位置を取得する手段であり、ＧＰＳ受信機１０７などにより実現される。測位部１１１は、ＧＰＳ衛星から受信した電波などに基づいて第１端末１１の現在位置（緯度経度）を算出し、その位置を示す位置情報を生成して生成部１１２ｂに出力する。

コンテンツ生成部１１２は、コンテンツを描くための操作画面をユーザに提供し、その画面を介してユーザから入力された指示を受け付けてコンテンツを生成する手段である。

コンテンツ生成部１１２の機能を説明する前に、図５，６を用いて、ユーザの立場から見たコンテンツ作成の方法を説明する。ユーザは操作画面上で所定のメニューを選択してコンテンツの作成を開始し、第１端末１１を任意の方向に動かすことで、その軌跡を描線とするコンテンツを作成する。例えば図５（ａ）に示すように、ユーザが始点Ｓからハート形のような軌跡ＴＲで第１端末１１を動かし、終点Ｅでその移動（描画）を打ち切ると、軌跡ＴＲに沿った三次元グラフィック（３Ｄグラフィック）Ｌ１が生成され、図５（ｂ）に示すように第１端末１１の表示部１０６に表示される。コンテンツ生成部１１２はこの３ＤグラフィックＬ１を成す軌跡データを一つの「パス」として管理する。なお、図５（ｂ）の例では表示部１０６にカメラ１１０の映像（現実空間の映像）が表示されているが、これはコンテンツを構成しない。なお、生成されるグラフィックは二次元のものでもよい。

ユーザはそこで描画操作を止めてコンテンツを完成させてもよいし（図５（ｂ）参照）、更に線を追加してより複雑なコンテンツを作成してもよい。例えば、ユーザは図６（ａ）に示すように３ＤグラフィックＬ２，Ｌ３を更に追加して、複数の描線で構成されるコンテンツを作ることができる。その場合にコンテンツ生成部１１２は、３ＤグラフィックＬ１，Ｌ２，Ｌ３を成す複数のパスを一つの「フレーム」として管理する。また、ユーザが図５（ｂ）あるいは図６（ａ）に示すフレームを作成した時点で処理を終了させた場合には、コンテンツ生成部１１２はそのフレームを一つの「コンテンツ」として管理する。

ユーザは複数フレームで構成されるコンテンツを作成してもよい。例えば図６（ｂ）に示すように、図６（ａ）に示すコンテンツのコピーから３ＤグラフィックＬ３を消去して代わりに３ＤグラフィックＬ４を追加することで、ユーザは図６（ａ），（ｂ）に示す二つのフレームから成るアニメーションを得ることができる。この場合、コンテンツ生成部１１２はこれら二つのコンテンツ（フレーム）から成るコンテンツを一つのコンテンツとして管理する。

すなわち、コンテンツは一以上のフレームで構成され、フレームは一以上のパスで構成される。図７の例では、コンテンツＣはフレームＦ１，Ｆ２から構成されている。フレームＦ１は三つのパスＰ１１，Ｐ１２，Ｐ１３から構成され、フレームＦ２は三つのパスＰ２１，Ｐ２２，Ｐ２３から構成されている。

上記のようなコンテンツの作成を実現するために、コンテンツ生成部１１２は軌跡検出部１１２ａ及び生成部１１２ｂを備えている。

軌跡検出部１１２ａは第１端末１１の移動軌跡を検出する手段であり、方位センサ１０８や加速度センサ１０９などにより実現される。具体的には、軌跡検出部１１２ａは移動軌跡を示すデータ（軌跡データ）を検出し、そのデータを所定の時間間隔で生成部１１２ｂに出力する。検出される軌跡データは、例えば加速度センサ１０９から出力された加速度のデータである。

生成部１１２ｂは、軌跡検出部１１２ａから入力された軌跡データを、パスをなすパスデータ、フレームをなすフレームデータ、コンテンツをなすコンテンツデータとして蓄積してコンテンツを生成する手段である。

コンテンツの作成を開始するための指示をユーザが入力すると、生成部１１２ｂは測位部１１１から位置情報を取得する。続いて、生成部１１２ｂは新規のコンテンツ・オブジェクトを初期化する処理を実行し、更にそのコンテンツを構成する新規のフレーム・オブジェクトを初期化する処理を実行する。

続いて、生成部１１２ｂは描線の属性（例えば色や幅など）を選択するための画面をユーザに提供し、ユーザが属性を確定して描画開始の指示を入力すると、生成部１１２ｂは軌跡検出部１１２ａから入力される軌跡データを記録し始める。生成部１１２ｂは、所定の時間間隔毎に、記録された軌跡データに基づいてベクトルを算出し保持する。ユーザが一本の描線（パス）の作成を終えてその線を確定させる指示を入力すると、生成部１１２ｂは線の属性及び算出した一以上のベクトルを含むパスデータを生成し、フレーム・オブジェクトと関連付けて保持する。すなわち、生成部１１２ｂはパスデータをフレームに追加する。このようなパスデータの生成及び追加は、ユーザがフレームを確定させる指示を入力するまで繰り返し実行され得る。

１フレーム分の入力を確定させる指示をユーザが入力すると、生成部１１２ｂは一以上のパスデータから成るフレーム・オブジェクトをコンテンツ・オブジェクトに関連付けて保持する。すなわち、生成部１１２ｂはフレームをコンテンツに追加する。このようなフレームの作成及び追加は、ユーザがコンテンツを確定させる指示を入力するまで繰り返し実行され得る。

作成したコンテンツを確定させる指示をユーザが入力すると、生成部１１２ｂは確定されたコンテンツデータを送信部１１３に出力する。このコンテンツデータは、図８に示すように、コンテンツを識別するコンテンツＩＤと、測位部１１１から入力された位置情報と、フレームを識別するフレームＩＤと、パスの識別子、色、幅、及び一以上のベクトルから成るパスデータと、コンテンツの作者（第１端末１１のユーザ）を示す作者ＩＤとを含んで構成される。

図８のパスデータに関して言うと、例えばパスデータ「Ｐ（１）＝（ｃｏｌｏｒ_１，ｗｉｄｔｈ_１，Ｓ_１（０），Ｓ_１（１），…，Ｓ_１（ｉ））」は、識別子がＰ（１）であり、色がｃｏｌｏｒ_１であり、幅がｗｉｄｔｈ_１であり、且つｉ個のベクトルＳ_１で示されるパスを示している。作者ＩＤは、コンテンツではなく個々のパスに関連付けられる。これは、あるユーザが作成したコンテンツに別のユーザがパス又はフレームを追加できるようにするためであるが、この詳細は後述する。

送信部１１３は、生成部１１２ｂから入力されたコンテンツデータをコンテンツサーバ２０に送信する手段である。図８の例からも分かるように、この送信の時点でコンテンツデータには第１端末１１の位置情報及び作者ＩＤが関連付けられている。

３Ｄグラフィックス生成部１１４は、コンテンツ作成中に生成部１１２ｂから入力されてくるパスデータに基づいて３Ｄグラフィックスを生成し、表示部１０６に出力する手段である。これにより、表示部１０６には入力中のデータに基づく３Ｄグラフィックスが表示される。

コンテンツサーバ２０は、第１端末１１から受信したコンテンツデータを記憶し、第２端末１２からの要求に応じてコンテンツを提供するコンピュータである。また、コンテンツサーバ２０は第２端末１２で編集されたコンテンツデータを当該端末から受信し記憶する。図９に示すように、このコンテンツサーバ２０は機能的構成要素として受信部２１、記憶部２２、抽出部２３及び送信部２４を備えている。

コンテンツサーバ２０のハードウェア構成は図１０に示すようなものである。すなわちコンテンツサーバ２０は、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ２０１と、ＲＯＭやＲＡＭで構成される主記憶部２０２と、ハードディスクなどで構成される補助記憶部２０３と、データの送受信を行う通信制御部２０４と、キーボードやマウスなどで構成される入力部２０５と、モニタなどで構成される出力部２０６とを備えている。図９に示すコンテンツサーバ２０の各機能は、ＣＰＵ２０１又は主記憶部２０２上に所定のプログラムを読み込ませ、ＣＰＵ２０１の制御の下で通信制御部２０４、入力部２０５及び出力部２０６を動作させるとともに、主記憶部２０２又は補助記憶部２０３に対してデータの読み出し又は書き込みを行うことで実現される。

図９に戻って、受信部２１は第１端末１１又は第２端末１２から送られてきたデータ又は信号を受信する手段である。具体的には、受信部２１は第１端末１１又は第２端末１２からコンテンツデータを受信して記憶部２２に出力する。また、受信部２１は第２端末１２の現在位置（緯度経度）を示す位置情報を当該端末から受信して抽出部２３に出力する。

記憶部２２は、受信部２１から入力されたコンテンツデータを記憶する手段である。本実施形態では、入力された時点で既にコンテンツデータに位置情報及び作者ＩＤが含まれているので、記憶部２２はそのコンテンツデータをそのまま記憶すればよい。なお、記憶部２２は補助記憶部２０３などにより実現されてもよいし、コンテンツサーバ２０とネットワークで接続された別の記憶装置などにより実現されてもよい。

抽出部２３は、受信部２１から入力された第２端末１２の位置情報に基づいて、当該端末の位置の周辺に対応するコンテンツデータを記憶部２２から抽出する手段である。抽出部２３は入力された位置情報と記憶部２２に記憶されているコンテンツデータの位置情報とを比較して、第２端末１２の位置から所定の範囲内（例えば半径数十メートルの範囲内）で作成されたコンテンツデータの情報（例えば位置情報）を記憶部２２から読み出す。そして抽出部２３は読み出したコンテンツデータの情報を送信部１１３に出力する。

送信部１１３は、抽出部２３から入力されたデータや情報を第２端末１２に送信する手段である。

第２端末１２は、第１端末１１のユーザが作成したコンテンツを取得し、そのコンテンツを現実空間の映像に重畳して表示する携帯端末である。すなわち、第２端末１２はユーザに拡張現実感を提供する。この第２端末１２も第１端末１１と同様にデータ通信や撮影、測位、マルチメディア処理などの機能を有している。第２端末１２の例としては、やはり第１端末１１と同様に、携帯電話機や携帯情報端末（ＰＤＡ）、携帯ゲーム機などが考えられるが、端末の種類は限定されない。

この第２端末１２は、図１１に示すように機能的構成要素として測位部１２１、送信部１２２、受信部１２３、表示制御部１２４、コンテンツ生成部１２５、及び送金指示部１２６を備えている。第２端末１２のハードウェア構成は図３，４に示すものと同じであり、そのハードウェア上での各種機能の実現方法は第１端末１１と同様なので、これらの説明を省略する。

測位部１２１は第２端末１２の現在位置を取得する手段であり、ＧＰＳ受信機１０７などにより実現される。カメラ１１０を起動して撮影しているユーザがコンテンツデータを得るための指示を入力すると、測位部１２１はＧＰＳ衛星から受信した電波などに基づいて第２端末１２の現在位置（緯度経度）を算出し、その位置を示す位置情報を生成して送信部１２２に出力する。

送信部１２２は、各種データを送信する手段である。具体的には、送信部１２２は測位部１２１から入力された位置情報や、生成部１２５ｂから入力されたコンテンツデータをコンテンツサーバ２０に送信する。また、送信部１２２は送金指示部１２６から入力された送金情報を送金サーバ３０に送信する。

受信部１２３は、第２端末１２の位置情報に基づいてコンテンツサーバ２０で抽出及び送信されたコンテンツデータ又はその情報を受信する手段である。受信部１２３は受信したデータ又は情報を表示制御部１２４に出力する。

表示制御部１２４は、受信部１２３から入力されたコンテンツデータに基づいて生成した３Ｄグラフィックス（コンテンツ）を、第２端末１２により撮影された映像内の対応する位置に重畳して表示する手段である。表示制御部１２４は方位センサ１０８の検出結果及びＧＰＳ受信機１０７による測位に基づいて現在の撮影範囲（カメラの視界）を算出する。続いて表示制御部１２４は、算出した撮影範囲とコンテンツデータの位置情報とを比較して、その範囲内に表示され得るコンテンツデータを選択する。続いて表示制御部１２４は、撮影範囲内におけるコンテンツの表示位置を算出した上で、そのコンテンツを示すアイコンを表示部１０６に映されている現実空間の映像に重畳して表示する。

これにより、ユーザはカメラ視界内のどこでコンテンツが作られたかを知ることができる。ユーザはアイコンを選択し、そのアイコンに対応するコンテンツを表示又は編集することができる。

ユーザが特定のアイコンを選択し、更にコンテンツ表示を選択すると、表示制御部１２４はそのアイコンに対応するコンテンツデータをコンテンツサーバ２０から取得し、取得したデータに基づいて３Ｄグラフィックスを生成する。そして、表示制御部１２４はそのグラフィックスをコンテンツとして表示部１０６に表示する。このとき、表示制御部１２４はコンテンツデータと、方位センサ１０８の検出結果及びＧＰＳ受信機１０７による測位結果とに基づいて、表示部１０６における描画の位置、大きさ及び角度を決定し、３Ｄグラフィックスのレンダリングを行う。これにより、第１端末１１で作成されたコンテンツがカメラ１１０で撮影されている現実空間の映像に重畳して表示される。ユーザが選択したアイコンのコンテンツが複数フレームで構成されている場合には、表示制御部１２４はそれらのフレームを順に切り替えることで被選択コンテンツをアニメーションとして表示する。

コンテンツ生成部１２５は、重畳表示されたコンテンツを編集するための操作画面をユーザに提供し、その画面を介してユーザから入力された指示を受け付けてコンテンツに描線を追加する手段である。

コンテンツ生成部１２５の機能を説明する前に、ユーザの立場から見たコンテンツ編集方法を説明する。ユーザが、表示制御部１２４により表示部１０６に表示されたアイコンを選択し、更にコンテンツ編集を選択すると、コンテンツへのフレームの追加、又は特定のフレームへのパスの追加を選択可能なメニュー画面が表示される。

フレーム追加を選択した場合には、アイコンに対応するコンテンツの各フレームがサムネイル表示される。ユーザはそのサムネイルから特定のフレームを選択することで、そのフレームの直後に新しいフレームを挿入できる。一方、パス追加を選択した場合にも、アイコンに対応するコンテンツの各フレームがサムネイル表示される。ユーザがそのサムネイルから特定のフレームを選択すると当該フレームが表示部１０６上にフルサイズ表示され、ユーザはそのフレームに新規のパスを追加できる。

上記のような編集処理を実現するために、コンテンツ生成部１２５は軌跡検出部１２５ａ及び生成部１２５ｂを備えている。軌跡検出部１２５ａの機能は第１端末１１の軌跡検出部１１２ａと同様である。生成部１２５ｂの機能も基本的に第１端末１１の生成部１１２ｂと同様だが、生成部１２５ｂは既に作成されたコンテンツデータを編集する手段でありこの点で生成部１１２ｂと異なるので、以下では生成部１２５ｂの機能について補足説明する。

ユーザがフレーム追加処理を選択すると、生成部１２５ｂは新規のフレーム・オブジェクトを初期化する処理を実行する。続いて生成部１２５ｂは、第１端末１１の生成部１１２ｂと同様に、描線の属性を選択するための画面をユーザに提供し、ユーザが描線の属性を確定して描画開始の指示を入力すると、軌跡検出部１２５ａから入力される軌跡データを記録し始める。そして生成部１２５ｂは、第１端末１１の生成部１１２ｂと同様にパスデータを生成し、フレーム・オブジェクトと関連付けて保持する。その後、フレームを確定させる指示をユーザが入力すると、生成部１２５ｂはフレーム・オブジェクトを、ユーザに選択されているコンテンツデータに関連付けて保持する。すなわち、生成部１２５ｂはフレームをコンテンツに追加する。このようなフレームの追加は、ユーザがコンテンツを確定させる指示を入力するまで繰り返し実行され得る。

一方、ユーザがパス追加処理を選択すると、生成部１２５ｂは、描線の属性を選択するための画面をユーザに提供する。そしてユーザが描線の属性を確定して描画開始の指示を入力すると、生成部１２５ｂは上述したように軌跡検出部１２５ａからの軌跡データに基づいてパスデータを生成し、ユーザに選択されているフレームのオブジェクトにそのパスデータを関連付けて保持する。すなわち、生成部１２５ｂは選択されているフレームにパスを追加する。このようなパスデータの追加は、ユーザがフレームを確定させる指示を入力するまで繰り返し実行され得る。

コンテンツを確定させる指示をユーザが入力すると、生成部１２５ｂは編集されたコンテンツデータを送信部１２２に出力する。例えば図８に示すコンテンツデータは生成部１２５ｂの処理により図１２のように変更される。図１２の例は、作者ＩＤが「０００２」である第２端末１２のユーザにより、フレームＦ（２）とフレームＦ（４）（旧フレームＦ（３））との間にフレームＦ（３）が挿入され、フレームＦ（４）にパスＰ（ｋ）が追加されたことを示している。

送金指示部１２６は、コンテンツ作者への送金に関する指示を受け付ける手段である。ユーザにより選択されたコンテンツが表示制御部１２４により表示部１０６に表示されると、送金指示部１２６は測位部１２１で算出された第２端末１２の位置情報とそのコンテンツの位置情報とに基づいて、第２端末１２からコンテンツの作成位置までの距離ｄを算出する。続いて送金指示部１２６は、予め内部に記憶している閾値と算出した距離ｄとを比較し、距離ｄがその閾値以下であれば、コンテンツの作者に寄付をするか否かをユーザに選択させるための画面を表示部１０６に表示する。

ユーザがその画面上で寄付を選択した場合には、送金指示部１２６は第２端末１２のユーザからコンテンツ作者への寄付が発生することを示す送金情報を生成して送信部１２２に出力する。この送金情報には、第２端末１２又はそのユーザを特定するＩＤと、コンテンツデータから取得された作者ＩＤとが含まれる。なお、送金指示部１２６は寄付金額の入力を受け付け、入力された金額を送金情報に含めてもよい。この送金情報は送金サーバ３０に送られ、所定の手法（例えばマイクロ・ペイメント・システム）により処理される。

次に、図１３〜１５を用いて、図１に示す拡張現実感提供システム１の動作を説明するとともに本実施形態に係る拡張現実感提供方法について説明する。

第１端末１１で作成されたコンテンツを第２端末１２で表示する処理は図１３に示すように行われる。まず、第１端末１１において測位部１１１が当該端末の現在位置を測定し（ステップＳ１０１）、続いてコンテンツ生成部１１２がユーザの操作に応じてコンテンツデータを生成する（ステップＳ１０２）。ステップＳ１０２の処理は、軌跡検出部１１２ａが第１端末１１の動きを検出して軌跡データを生成し、生成部１１２ｂがその軌跡データに基づいてパスデータやフレーム・オブジェクト、コンテンツ・オブジェクトを生成することで実現される。続いて、送信部１１３が生成されたコンテンツデータをコンテンツサーバ２０に送信する（ステップＳ１０３）。このコンテンツデータには第１端末１１の位置情報と、当該端末のユーザを示す作者ＩＤとが含まれている。コンテンツサーバ２０では、受信部２１がコンテンツデータを受信し、記憶部２２がそのデータを記憶する（ステップＳ１０４）。

その後、第２端末１２においてそのユーザがコンテンツを取得する操作を実行すると、測位部１２１が当該端末の現在位置を測定し（ステップＳ１０５）、送信部１２２がその位置を示す位置情報をコンテンツサーバ２０に送信する（ステップＳ１０６）。コンテンツサーバ２０では、受信部２１がその位置情報を受信し、抽出部２３が第２端末１２の位置の周囲で作成されたコンテンツデータをその位置情報に基づいて抽出する（ステップＳ１０７）。続いて、送信部２４が抽出されたコンテンツデータを第２端末１２に送信する（ステップＳ１０８）。

第２端末１２では、受信部１２３がコンテンツデータを受信し、表示制御部１２４がカメラ１１０で撮影されている範囲に表示され得るコンテンツデータを受信データの中から抽出する（ステップＳ１０９）。そして表示制御部１２４は、ユーザが選択したコンテンツデータに基づいて３Ｄグラフィックスをレンダリングし、カメラ１１０の映像に重畳して表示する（ステップＳ１１０）。

第２端末１２でのコンテンツの編集は図１４に示すように行われる。図１３に示す処理により第２端末１２がコンテンツデータを取得した後に、ユーザが特定のコンテンツを編集する操作を行うと、コンテンツ生成部１２５がその操作に応じてコンテンツデータを編集する（ステップＳ２０１）。ステップＳ２０１の処理は、軌跡検出部１２５ａが第２端末１２の動きを検出して軌跡データを生成し、生成部１２５ｂがその軌跡データに基づいてパスデータやフレーム・オブジェクトを追加作成することで実現される。続いて、送信部１２２が編集されたコンテンツデータをコンテンツサーバ２０に送信する（ステップＳ２０２）。コンテンツサーバ２０では、受信部２１がコンテンツデータを受信し、記憶部２２がそのデータを記憶する（ステップＳ２０３）。これによりコンテンツデータが更新される。

第２端末１２での送金指示は図１５に示すように行われる。図１３に示す処理により第２端末１２がコンテンツデータを取得し、その中からユーザが特定のコンテンツを選択すると、送金指示部１２６が第２端末１２と選択されたコンテンツとの距離を算出する（ステップＳ３０１）続いて送金指示部１２６は、その距離が所定の閾値以下である場合に、送金（寄付）の指示を受け付け、そこで第２端末１２のユーザが寄付を選択した場合には送金情報を生成する（ステップＳ３０２）。そして、送信部１２２がその送金情報を送金サーバ３０に送信する（ステップＳ３０３）。送金サーバ３０は、その送金情報に基づいて所定の送金処理を実行する（ステップＳ３０４）。

以上説明したように、本実施形態によれば、第１端末１１においてその移動軌跡に基づいて生成されたコンテンツデータ（コンテンツＩＤ、フレームＩＤ、パスデータ）が第１端末１１の位置情報とともにコンテンツサーバ２０に送られ、記憶される。その後、第２端末１２がその位置情報をコンテンツサーバ２０に送ると、その端末の周辺に対応するコンテンツデータが読み出されて第２端末１２に送られる。そして、第２端末１２で撮影された映像に合わせて、コンテンツデータから生成された３Ｄグラフィックスがレンダリングされ重畳表示される。これにより、ある地点で第１端末１１のユーザが作成したコンテンツを、その後に当該地点の近辺に来たユーザの携帯端末（第２端末１２）上に現実空間の映像と重ねて表示することができる。すなわち、第１端末１１のユーザが作成したコンテンツを用いた拡張現実感を第２端末１２のユーザに提供することができる。

また本実施形態によれば、第２端末１２においてその移動軌跡に基づいて生成された描線が、コンテンツサーバ２０から受信したコンテンツに追加される。そして、新たな描線を含むコンテンツ、すなわち編集されたコンテンツデータがコンテンツサーバ２０に送られて記憶される。これにより、現実空間の映像に重畳表示されるコンテンツを複数のユーザの共同作業により作成することができる。

また本実施形態によれば、第２端末１２にある程度近い位置で作成されたコンテンツの作者に対する送金（寄付）処理の画面が表示されるので、コンテンツの作者に金銭を与えてコンテンツの制作を促すことが可能になる。

また本実施形態によれば、ユーザは携帯端末１０を動かすことでコンテンツを作成できるので、通常のライトペインティングのようにペンライトなどの光源の動きを長時間露光で撮影する手法と比較してコンテンツの作成が容易になる。また、一度完成したコンテンツに後から描線を追加することも容易になる。

このように本実施形態によれば、携帯端末１０のユーザはコンテンツの作成に手軽に参加したり、従来にない拡張現実感を経験したりすることができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

本発明で使用する携帯端末は、当然ながら上記実施形態における第１端末１１及び第２端末１２の双方の機能を備えたものでもよい。この場合には、１台の携帯端末でコンテンツの新規作成や編集、寄付行為などを行うことができる。また、このような携帯端末を使えば、ユーザは自作してコンテンツサーバ２０に送ったコンテンツを再度取得して現実空間の映像に重ねて確認したり、そのコンテンツにさらに描線を加えてコンテンツサーバ２０に保存したりすることもできる。

上記実施形態では、コンテンツの作者に送金（寄付）するための画面が第２端末１２上で表示されたが、当該作者を支援する手法はこれに限定されない。例えば、作者に金銭以外の支援（例えば応援や評価のコメントなど）を送るための画面を第２端末１２上に表示させてもよい。また、送金指示部１２６は、第２端末１２とコンテンツとの距離を算出することなく、当該端末のユーザにより選択されたコンテンツの作者に寄付するための画面を表示してもよい。

第２の携帯端末は、コンテンツを現実空間の映像に重畳して表示する機能のみを備えてもよい。すなわち、上記のコンテンツ生成部１２５や送金指示部１２６に相当する機能は本発明において必須ではない。

また、上記実施形態では、コンテンツに含まれる複数のフレームを順に切り替えることでアニメーション表示を実現したが、アニメーション表示を実現する方法はこれに限るものではなく、種々の方法が可能である。例えば、第１の携帯端末１１を図１６（ａ），（ｂ）に示す軌跡を描くように動かしてパスデータＰ３１，Ｐ３２を作成し、図１７に示すように、パスデータＰ３１から生成した３ＤグラフィックスＧを、パスデータＰ３２から生成された軌道Ｒ上で移動させることによりアニメーションを実現することも可能である。図１７（ａ）は第１の携帯端末１１の画面上に規定された軌道Ｒを示した図面であり、図１７（ｂ）は軌道Ｒ上に３ＤグラフィックスＧを表示した状態を示す図面であり、図１７（ｃ）は軌道Ｒに沿って３ＤグラフィックスＧを移動させる態様を説明するための図面である。図１７（ｃ）の例では、初期位置に表示された３ＤグラフィックスＧを軌道Ｒに沿ってＧ´、Ｇ″と移動させることによりアニメーションを実現している。

さらに、上記実施形態では、パスデータから３Ｄグラフィックスを生成し、これをレンダリングして画面に表示する場合について説明したが、生成された３Ｄグラフィックスを軌道として光点（高輝度の点）を表示し、光点を移動させながら表示を行うようにしてもよい。この場合、光点の動いた軌跡の一部が残像として表示されるようにすれば、実世界におけるライトペインティングの一手法を拡張現実システムで再現することができる。

１…拡張現実感提供システム、１１…第１端末（第１の携帯端末）、１１１…測位部、１１２…コンテンツ生成部（生成手段）、１１２ａ…軌跡検出部（検出手段）、１１２ｂ…生成部、１１３…送信部（第１送信手段）、１１４…３Ｄグラフィックス生成部、１２…第２端末（第２の携帯端末）、１２１…測位部、１２２…送信部（第３送信手段）、１２３…受信部、１２４…表示制御部（表示手段）、１２５…コンテンツ生成部、１２５ａ…軌跡検出部、１２５ｂ…生成部、１２６…送金指示部、２０…コンテンツサーバ、２１…受信部（受信手段）、２２…記憶部（記憶手段）、２３…抽出部（抽出手段）、２４…送信部（第２送信手段）、３０…送金サーバ。

Claims (3)

1. 第１の携帯端末、第２の携帯端末、及びサーバを備える拡張現実感提供システムにより実行される拡張現実感提供方法であって、
   前記第１の携帯端末が、該第１の携帯端末の移動軌跡を検出するステップと、
   前記第１の携帯端末が、検出された前記移動軌跡を描線とするコンテンツデータを生成するステップと、
   前記第１の携帯端末が、生成された前記コンテンツデータを該第１の携帯端末の現在位置を示す位置情報とともに前記サーバに送信するステップと、
   前記サーバが、前記第１の携帯端末から送信された位置情報及びコンテンツデータを関連付けて記憶装置に記憶するステップと、
   前記サーバが、前記第２の携帯端末の現在位置を示す位置情報を該第２の携帯端末から受信するステップと、
   前記サーバが、前記第２の携帯端末から受信した前記位置情報に基づいて、該第２の携帯端末の位置の周辺に対応するコンテンツデータを前記記憶装置から抽出するステップと、
   前記サーバが、抽出された前記コンテンツデータを前記第２の携帯端末に送信するステップと、
   前記第２の携帯端末が、前記サーバから受信したコンテンツデータに基づいて、該第２の携帯端末により撮影された映像内の対応する位置にコンテンツを重畳して表示するステップと、
   前記第２の携帯端末が、該第２の携帯端末の移動軌跡を検出するステップと、
   前記第２の携帯端末が、検出された該第２の携帯端末の移動軌跡で示される描線のデータを、前記サーバから受信した、前記第２の携帯端末の位置の周辺に対応するコンテンツデータに追加するステップと、
   前記第２の携帯端末が、前記描線のデータが追加されたコンテンツデータを前記サーバに送信するステップと、
   前記サーバが、前記第２の携帯端末から送信されたコンテンツデータを前記記憶装置に記憶することによりコンテンツデータを更新するステップと、
   を含むことを特徴とする拡張現実感提供方法。
2. 前記コンテンツを重畳して表示するステップが、前記第２の携帯端末の位置情報と前記サーバから受信したコンテンツデータの位置情報とに基づいて算出した距離が所定の閾値以下である場合には、前記コンテンツの作者に対する所定の支援処理を行うための画面を表示するステップを含む、
   ことを特徴とする請求項１に記載の拡張現実感提供方法。
3. 第１の携帯端末と、
   第２の携帯端末と、
   サーバと、
   を備え、
   前記第１の携帯端末が、
   前記第１の携帯端末の移動軌跡を検出する第１検出手段と、
   前記第１検出手段により検出された移動軌跡を描線とするコンテンツデータを生成する生成手段と、
   前記生成手段により生成されたコンテンツデータを前記第１の携帯端末の現在位置を示す位置情報とともに前記サーバに送信する第１送信手段と、
   を備え、
   前記サーバが、
   前記第１の携帯端末から送信された位置情報及びコンテンツデータを関連付けて記憶装置に記憶する第１記憶手段と、
   前記第２の携帯端末の現在位置を示す位置情報を該第２の携帯端末から受信する受信手段と、
   前記受信手段により受信された位置情報に基づいて、前記第２の携帯端末の位置の周辺に対応するコンテンツデータを前記記憶装置から抽出する抽出手段と、
   前記抽出手段により抽出されたコンテンツデータを前記第２の携帯端末に送信する第２送信手段と、
   を備え、
   前記第２の携帯端末が、
   前記第２の携帯端末の現在位置を示す位置情報を前記サーバに送信する第３送信手段と、
   前記サーバから受信した前記コンテンツデータに基づいて、前記第２の携帯端末により撮影された映像内の対応する位置にコンテンツを重畳して表示する表示手段と、
   前記第２の携帯端末の移動軌跡を検出する第２検出手段と、
   前記第２検出手段により検出された移動軌跡で示される描線のデータを、前記サーバから受信した、前記第２の携帯端末の位置の周辺に対応するコンテンツデータに追加する追加手段と、
   前記追加手段により前記描線のデータが追加されたコンテンツデータを前記サーバに送信する第４送信手段と、
   を備え、
   前記サーバが、
   前記第４送信手段によって送信されたコンテンツデータを前記記憶装置に記憶することによりコンテンツデータを更新する第２記憶手段を更に備える、
   ことを特徴とする拡張現実感提供システム。

Images