JP5284428B2 - 拡張現実サービスの共有方法並びに拡張現実サービスを共有するために用いるユーザ端末、遠隔端末及びシステム - Google Patents

Description

本発明は、ユーザ端末が他の遠隔端末（ｒｅｍｏｔｅ ｔｅｒｍｉｎａｌ）に表示されている映像（ｉｍａｇｅ）を受信し、ユーザ端末にその映像を表示することにより、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）サービスを提供することのできる拡張現実サービスの共有方法並びに拡張現実サービスの共有方法を用いるユーザ端末、遠隔端末及びシステムに関する。

拡張現実技術は、実際の環境（ｒｅａｌ ｅｎｖｉｒｏｎｍｅｎｔ）に人工的な物や情報（ａｒｔｉｆｉｃｉａｌ ｏｂｊｅｃｔ ｏｒ ｉｎｆｏｒｍａｔｉｏｎ）を合成するコンピュータグラフィック技術に関するものである。ＡＲサービスは、仮想の空間や物だけを対象とする仮想現実技術とは異なり、実際の環境上に人工的な物や情報を合成することによって、現実世界だけでは得難い補足情報を付加するものである。ＡＲサービスを提供可能なユーザ端末は、備えられたカメラによって撮影された映像に含まれるオブジェクトを分析し、分析結果を基にＡＲ情報を提供する。したがって、ユーザ端末が提供することのできるＡＲ情報が制限的なものとなり、誤った情報を提供する状況が生じる可能性がある。

上記のような問題を解決するための本発明の目的は、他の端末とのデータ共有によって、より豊富で多様なＡＲ情報を提供することのできる、拡張現実サービスの共有方法、並びに拡張現実サービスを共有するために用いるユーザ端末、遠隔端末及びシステムを提供することにある。

本発明の一実施形態に係るユーザ端末の拡張現実サービスを共有する方法は、遠隔端末から受信される映像を表示することと、表示された映像に含まれるオブジェクトを認識することと、第１データベースに格納されたオブジェクトに対応する第１拡張現実データを用いて第１ＡＲ結果情報を生成することと、生成された第１ＡＲ結果情報と認識されたオブジェクトとを表示することとを含んでもよい。

オブジェクトを認識することは、受信した映像データを分析してオブジェクトを認識することを含んでもよい。

遠隔端末からオブジェクトを認識するのに必要なオブジェクト認識情報を受信することをさらに含み、オブジェクトを認識することは、受信したオブジェクト認識情報を分析してオブジェクトを認識することを含んでもよい。

遠隔端末は、表示された映像と同一の映像およびオブジェクトに対応する第２ＡＲデータを用いて第２ＡＲ結果情報を表示してもよい。

遠隔端末から第２ＡＲ結果情報を受信することと、受信した第２ＡＲ結果情報と第１ＡＲ結果情報とが異なれば、第１ＡＲ結果情報に第２ＡＲ結果情報を追加して第１ＡＲ結果情報を補足することと、補足された第１ＡＲ結果情報を表示することとをさらに含んでもよい。

補足された第１ＡＲ結果情報および補足された第１ＡＲ結果情報のＡＲデータのうち少なくとも１つを第１データベースに格納することをさらに含んでもよい。

遠隔端末から第２ＡＲデータを格納する第２データベースのアドレス情報を受信することと、アドレス情報を参照して第２データベースにアクセスすることと、第２データベースに格納された第２ＡＲデータを用いて生成される第３ＡＲ結果情報を受信することとをさらに含んでもよい。

第３ＡＲ結果情報および第３ＡＲ結果情報の前記第２ＡＲデータのうち少なくとも１つを第１データベースに格納することと、受信した第２データベースのアドレス情報をデータベースリストに追加することとをさらに含んでもよい。

遠隔端末に認識されたオブジェクトに関する追加情報の提供をリクエストすることと、遠隔端末から認識されたオブジェクトに関する追加情報を受信することと、受信した追加情報を用いて、認識されたオブジェクトに対応する第１ＡＲ結果情報を補足することとを含んでもよい。

追加情報は、認識されたオブジェクトのＡＲ情報、認識されたオブジェクトを認識するのに必要なオブジェクト認識情報および認識されたオブジェクトのＡＲ情報を格納するデータベースのアドレスのうち少なくとも１つを含んでもよい。

本発明の他の実施形態に係る拡張現実サービスの共有のためのユーザ端末は、遠隔端末から受信される映像を表示する表示部と、表示された映像に含まれるオブジェクトを認識するオブジェクト認識部と、第１データベースに格納されたオブジェクトに対応する第１拡張現実データを用いて第１ＡＲ結果情報を生成するＡＲ情報管理部とを備え、生成された第１ＡＲ結果情報と認識されたオブジェクトとを、表示部に表示してもよい。

オブジェクト認識部は、受信した映像データを分析してオブジェクトを認識してもよい。

遠隔端末からオブジェクトを認識するのに必要なオブジェクト認識情報を受信する通信部をさらに備え、オブジェクト認識部は、受信したオブジェクト認識情報を分析してオブジェクトを認識してもよい。

遠隔端末は、表示された映像と同一の映像およびオブジェクトに対応する第２ＡＲデータを用いて第２ＡＲ結果情報を表示してもよい。

遠隔端末から第２ＡＲ結果情報を受信する通信部をさらに備え、ＡＲ情報管理部は、受信した第２ＡＲ結果情報と第１ＡＲ結果情報とが異なれば、第１ＡＲ結果情報に第２ＡＲ結果情報を追加して第１ＡＲ結果情報を補足し、補足された第１ＡＲ結果情報を表示部に表示してもよい。

補足された第１ＡＲ結果情報および補足された第１ＡＲ結果情報のＡＲデータのうち少なくとも１つを第１データベースに格納するデータベース管理部をさらに備えてもよい。

通信部は、遠隔端末から第２ＡＲデータを格納する第２データベースのアドレス情報をさらに受信して、受信したアドレス情報を参照して第２データベースにアクセスし、第２データベースに格納された第２ＡＲデータを用いて生成される第３ＡＲ結果情報を受信して、データベース管理部は、第３ＡＲ結果情報を第１データベースに格納してもよい。

データベース管理部は、受信した第２データベースのアドレス情報をデータベースリストに追加してもよい。

遠隔端末に認識されたオブジェクトに関する追加情報の提供をリクエストするメッセージを送信して、遠隔端末から認識されたオブジェクトに関する追加情報を受信する通信部をさらに備え、ＡＲ情報管理部は、受信した追加情報を用いて認識されたオブジェクトに対応する第１ＡＲ結果情報を補足してもよい。

本発明の他の実施形態に係るユーザ端末と遠隔端末とで拡張現実サービスを共有する方法は、映像および映像のオブジェクトに対応するＡＲ結果情報を表示することと、ユーザ端末に表示されている映像およびオブジェクトを認識するのに必要なオブジェクト認識情報を送信することとを含んでもよい。

オブジェクトに対応するＡＲデータを用いてＡＲ結果情報（ユーザに実際に見られる情報を含む）を生成することと、生成されたＡＲ結果情報をユーザ端末に送信することと、ユーザ端末にＡＲデータが格納されたデータベースのアドレスを送信することとを含んでもよい。

本発明の他の実施形態に係るユーザ端末と拡張現実サービスを共有するための遠隔端末は、映像および映像のオブジェクトに対応するＡＲ結果情報を表示する表示部と、ユーザ端末に表示されている映像およびオブジェクトを認識するのに必要なオブジェクト認識情報を送信する通信部とを備えてもよい。

オブジェクトに対応するＡＲデータを用いてＡＲ結果情報（ユーザに実際に見られる情報を含む）を生成するＡＲ情報管理部をさらに備え、通信部は、生成されたＡＲ結果情報およびＡＲデータが格納されたデータベースのアドレスをユーザ端末に送信してもよい。

また、前記ユーザ端末から提供される、前記ユーザ端末に格納された前記オブジェクトに対応するＡＲデータを格納するデータベースをさらに備えてもよい。

本発明の他の実施形態に係る拡張現実サービスを共有するためのシステムは、ユーザ端末と、遠隔端末と、を含み、前記遠隔端末は映像を取得し、前記映像を前記ユーザ端末に送信し、前記ユーザ端末は、前記遠隔端末から前記映像を受信し、前記映像を分析してオブジェクトを決定し、前記オブジェクトに対応する第１ＡＲ結果情報を生成し、前記第１ＡＲ結果情報と前記映像とを表示部に表示してもよい。

本発明の実施形態によれば、遠隔端末との通信によってＡＲサービスを共有することができる。したがって、ユーザ端末は、遠隔端末と双方向ＡＲサービスを提供することができる。

また、本発明の実施形態によれば、遠隔端末によって撮影された映像を共有し、遠隔端末からＡＲサービスのための情報提供を受けることによって、ＡＲサービスのコンテンツを補足して、ユーザ端末内のＤＢを更新させることができる。

また、本発明の実施形態によれば、ユーザ端末は、所望するオブジェクトを選択し、選択されたオブジェクトと関連する情報を遠隔端末にリクエストすることができる。このように、ＡＲサービスの双方向化によってサービス品質を向上させることができる。

本発明の一実施形態に係る拡張現実サービスを共有するシステムを示す図である。 図１に示したユーザ端末を示すブロック図である。 図１に示した遠隔端末を示すブロック図である。 本発明の一実施形態に係る拡張現実サービスの共有方法を説明するためのフローチャートである。 本発明の他の実施形態に係る拡張現実サービスの共有方法を説明するためのフローチャートである。 本発明の他の実施形態に係る拡張現実サービスの共有方法を説明するためのフローチャートである。

以下、添付の図面を参照しながら本発明の実施形態を説明する。本発明の説明において、関連する公知の機能または構成に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合には、その詳細な説明を省略する。そして、本明細書で用いる用語（ｔｅｒｍｉｎｏｌｏｇｙ）は、本発明の好ましい実施形態を適切に表現するために用いた用語であり、これらは、ユーザ及び運用者の意図、または本発明が属する分野の当業者の慣例などによって変わることがある。したがって、本用語に対する定義は、本明細書全般に亘る内容を基に判断すべきである。

図１は、本発明の一実施形態に係る拡張現実（ＡＲ）サービスを共有するシステムを示す図である。

図１を参照すれば、ＡＲシステムは、ユーザ端末１００と遠隔端末２００とを備える。ユーザ端末１００と遠隔端末２００は、ＡＲサービスをサポート（ｓｕｐｐｏｒｔ）し、ネットワーク通信網（図示せず）を介して有線または無線で通信する。ユーザ端末１００と遠隔端末２００は、ＡＲサービスを共有するのに必要なデータを送受信する。ユーザ端末１００と遠隔端末２００は、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ、及び音声・画像通信オーディオビジュアル端末などの電子機器であってもよい。図２および図３を参照して説明するユーザ端末１００と遠隔端末２００の各構成要素は、物理的またはソフトウェア的に区分することができ、メモリに格納されたプログラムに従ってプロセッサ（図示せず）または制御部（図示せず）によって実現することができる。

ユーザ端末１００は、遠隔端末２００から映像データ（ｉｍａｇｅ ｄａｔａ）を受信して表示し、ＡＲサービスの提供を受けるユーザの端末であってもよい。ユーザ端末１００が他の遠隔端末とＡＲサービスを共有する場合、ユーザ端末１００は遠隔端末２００の機能を提供することができる。

遠隔端末２００は、遠隔端末２００によって取得された映像をユーザ端末１００に送信し、映像に含まれるオブジェクトに関するＡＲ結果情報（ＡＲ ｒｅｓｕｌｔ ｉｎｆｏｒｍａｔｉｏｎ）またはＡＲデータを、ユーザ端末１００に提供してもよい。また、遠隔端末２００は、ユーザ端末１００の機能を提供できる。

以下では、ＡＲサービスを共有する具体的な実施形態について説明し、まず説明の便宜のために表１のように、本明細書で用いる用語の意図を簡略的に説明する。

図２は、図１に示したユーザ端末１００を示すブロック図である。

図２を参照すれば、ユーザ端末１００は、第１ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部１１０、第１データベース（ＤＢ：ＤａｔａＢａｓｅ）部１２０、第１通信部１３０、第１映像処理部１４０、第１オブジェクト認識部１５０、第１ＤＢリスト管理部１６０、第１ＤＢ管理部１６５、第１ＡＲ情報管理部１７０、および第１オブジェクト情報抽出部１８０を備えてもよい。

第１ＵＩ部１１０は、ユーザとユーザ端末１００との間のインターフェースを提供し、第１表示部１１１および第１操作パネル１１３を備えてもよい。

遠隔端末２００から受信した映像データが信号処理されると、第１表示部１１１は信号処理された映像データを用いて映像を表示する。ユーザ端末１００がタッチ方式のＵＩを提供する場合、第１表示部１１１にはタッチパネルのＵＩが表示されてもよい。ユーザ端末１００がカメラを備える場合、第１表示部１１１にはカメラによって撮影された映像が表示されてもよい。

第１操作パネル１１３は、ユーザの命令が入力され、ボタン、方向キー、タッチパネルなどのさまざまなインターフェースを備えても良い。

第１ＤＢ部１２０は、第１ＤＢ管理部１６５によって管理され、ＡＲサービスを提供するための第１ＡＲデータがオブジェクトごとに格納されてもよい。第１ＤＢ部１２０は、複数の物理的なＡＲ ＤＢ１２１，１２３を備えてもよく、各ＡＲ ＤＢ１２１，１２３はユーザ端末１００内に備えられるか、またはユーザ端末１００が用いる外部サーバ（図示せず）に備えられてもよい。

また、第１ＤＢ部１２０には、第１ＡＲデータを用いて実際にユーザに表示される第１ＡＲ結果情報を格納してもよい。第１ＡＲ結果情報は、第１ＡＲデータを表示する際に用いるフォント、文字サイズ、色情報など、ユーザに最終的に見せるために用いるすべての情報を含んでもよい。

第１通信部１３０は、遠隔端末２００と有線または無線方式で通信し、第１受信部１３１、第２受信部１３３、第３受信部１３５、および第１送信部１３７を備えてもよい。第１受信部１３１、第２受信部１３３、第３受信部１３５、および第１送信部１３７は、物理的に１つの通信モジュールで実現してもよく、別々の通信モジュールで実現してもよい。

第１受信部１３１は、遠隔端末２００から映像データを受信して第１映像処理部１４０に送信する。映像データは、動画データまたは静止画データであってもよい。映像データは、遠隔端末２００で撮影して取得されたデータであってもよい。

第２受信部１３３は、遠隔端末２００からオブジェクト認識情報（ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を受信して分析し、分析結果を第１オブジェクト認識部１５０に送信する。オブジェクト認識情報の分析結果は、遠隔端末２００の座標情報、遠隔端末２００のカメラのビュー情報（ｖｉｅｗ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ａ ｃａｍｅｒａ）を含んでもよい。

第３受信部１３５は、遠隔端末２００から第２ＡＲ結果情報及びＤＢ情報を受信し、第２ＡＲ結果情報を第１ＡＲ情報管理部（ＡＲ ｄａｔａ ｍａｎａｇｉｎｇ ｕｎｉｔ）１７０に送信し、ＤＢ情報を第１ＤＢ管理部１６５に送信する。送信された第２ＡＲ結果情報は、ユーザ端末１００の第１ＤＢ部１２０に格納された第１ＡＲ結果情報とともにユーザに提供され、第１ＡＲ結果情報の補足情報として用いられてもよい。ＤＢ情報は、第１ＤＢリスト管理部１６０に記録された（ｒｅｃｏｒｄｅｄ）ＤＢリストの補足情報として用いられてもよい。

第１送信部１３７は、表示された映像に含まれる特定オブジェクト（ｓｐｅｃｉｆｉｃ ｏｂｊｅｃｔ）に関する追加情報をリクエスト（ｒｅｑｕｅｓｔ）するメッセージを遠隔端末２００に送信してもよい。特定オブジェクトは、表示された映像内に含まれる。表示された映像は、第１受信部１３１を介して受信して表示される映像であってもよい。メッセージは、特定オブジェクトを識別できる情報と、特定オブジェクトが選択された理由に関する意図情報（ｉｎｔｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）とを含んでもよい。

第１〜第３受信部１３１，１３３，１３５は、上述した送信されたメッセージに応答する追加情報を遠隔端末２００から受信してもよい。遠隔端末２００は、意図情報を参照して追加情報を選別して送信してもよい。

第１映像処理部１４０は、第１受信部１３１から送信された映像データを表示可能な信号に処理し、信号処理された映像データを第１オブジェクト認識部１５０および第１表示部１１１に送信する。第１表示部１１１は、信号処理された映像データを用いて映像を表示する。そして、第１表示部１１１には、遠隔端末２００から提供された映像が表示され、ユーザ端末１００は結果的に遠隔端末２００と映像を共有することになる。

第１オブジェクト認識部１５０は、第１映像処理部１４０から受信した映像データに含まれるオブジェクトを決定してもよい。第１オブジェクト認識部１５０は、映像データに輪郭検出アルゴリズム（ｃｏｎｔｏｕｒ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を適用してオブジェクトを決定してもよい。また、第１オブジェクト認識部１５０は、第２受信部１３３で分析されたオブジェクト認識情報を用いてオブジェクトを認識してもよい。このように認識されるオブジェクトは複数であってもよい。第１オブジェクト認識部１５０は、認識されたオブジェクトを第１オブジェクト情報抽出部１８０および第１ＤＢ管理部１６５に送信してもよい。

第１ＤＢリスト管理部１６０は、第１ＤＢ部１２０に格納されたＡＲデータ及びＡＲ結果情報のソース情報（ｓｏｕｒｃｅ ｉｎｆｏｒｍａｔｉｏｎ）を管理してもよい。すなわち、第１ＤＢリスト管理部１６０は、第１ＤＢ部１２０のうち、ＡＲデータ及びＡＲ結果情報が格納されているＤＢの位置情報を含むＤＢリストを管理してもよい。

第１ＤＢ管理部１６５は、第１オブジェクト認識部１５０から受信されたオブジェクトの関連情報を格納するＤＢを検索（ｒｅｔｒｉｅｖｅ）してもよい。この関連情報は、ＡＲデータまたはＡＲデータを用いて実際に表示されるＡＲ結果情報であってもよい。以下では、関連情報として第１ＡＲデータを例に挙げて説明するが、これは一例であって、これに限定されるものではない。

第１ＤＢ管理部１６５は、ＤＢリストを参照して前記オブジェクトの関連情報が格納されたＤＢの位置情報を、オブジェクトごとに特定（ｉｄｅｎｔｉｆｙ）してもよい。第１ＤＢ管理部１６５は、特定された位置情報に対応するＤＢを制御してオブジェクトに関連する第１ＡＲデータを第１ＡＲ情報管理部１７０に送信する。

第１ＡＲ情報管理部１７０は、第１ＤＢ部１２０の当該ＤＢに第１ＡＲデータをリクエストしたり、または第１ＤＢ管理部１６５にリクエストしてもよい。

第１ＡＲ情報管理部１７０は、第１ＤＢ部１２０の当該ＤＢから第１ＡＲデータを受信し、受信した第１ＡＲデータを用いて第１ＡＲ結果情報を生成してもよい。例えば、第１ＡＲデータが、「Ａ」商品の価格が「１＄」という情報を含む場合、第１ＡＲ情報管理部１７０は「１＄」のフォント、文字サイズ、文字色などを調整して第１ＡＲ結果情報を生成する。

第１ＡＲ情報管理部１７０は、生成された第１ＡＲ結果情報を第１表示部１１１に送信する。これにより、第１表示部１１１には、第１映像処理部１４０から受信された映像と、第１ＡＲ情報管理部１７０から受信された第１ＡＲ結果情報とを整合して共に（ｔｏｇｅｔｈｅｒ）表示してもよい。

第１オブジェクト情報抽出部１８０は、第１オブジェクト認識部１５０から送信されたオブジェクトのうち特定オブジェクトが選択されると、選択された特定オブジェクトの情報と特定オブジェクトが選択された意図情報とを第１送信部１３７に送信する。第１オブジェクト情報抽出部１８０については後述する。

以下では、ユーザ端末１００に格納された第１ＡＲ結果情報、遠隔端末２００から提供される映像、及び第２ＡＲ結果情報を用いたＡＲサービスを実現するプロセスについて説明する。

第１ＡＲ情報管理部１７０は、第３受信部１３５から受信される第２ＡＲ結果情報と第１ＤＢ部１２０に格納された第１ＡＲ結果情報とを比較して、第１ＡＲ結果情報が第２ＡＲ結果情報と同一であるかを判断する。第１ＡＲ結果情報と第２ＡＲ結果情報は、ユーザ端末１００と遠隔端末２００とで現在適用されているＡＲサービスカテゴリーが異なる場合、第１ＡＲ結果情報と第２ＡＲ結果情報とが互いに異なることがある。例えば、ユーザ端末１００に適用されたカテゴリーは、建築歴史に関するものであり、遠隔端末２００に適用されたカテゴリーは建築美術に関するものであれば、第１ＡＲ結果情報と第２ＡＲ結果情報とは互いに異なることがある。

また、互いに適用されたカテゴリーが同一でも、例えば、ユーザ端末１００と遠隔端末２００とで格納されたＡＲデータが異なる場合や、ＡＲデータのアップデート時間の違いや、ＤＢ管理業者の違いなどによって、第１ＡＲ結果情報と第２ＡＲ結果情報とは互いに異なり得る。

第１ＡＲ結果情報と第２ＡＲ結果情報が異なる場合、第１ＡＲ情報管理部１７０は、第２ＡＲ結果情報を第１ＡＲ結果情報に追加して第１ＡＲ結果情報を補足し（ｓｕｐｐｌｅｍｅｎｔ）、補足された第１ＡＲ結果情報を、第１表示部１１１に送信する。また、第１ＡＲ情報管理部１７０は、第１ＡＲ結果情報と第２ＡＲ結果情報が異なれば、第２ＡＲ結果情報を第１ＤＢ管理部１６５に送信する。

第１ＤＢ管理部１６５は、第１ＡＲ情報管理部１７０から送信された第２ＡＲ結果情報を第１ＤＢ部１２０に格納した後、第１ＡＲデータの検索が可能となる。このとき、第１ＤＢ管理部１６５は、第２ＡＲ結果情報をオブジェクトの第１ＡＲ結果情報を格納するＤＢにアップデートしてもよい。第１ＤＢ管理部１６５は、第１ＡＲデータを、オブジェクトを認識するために用いられるオブジェクトデータを格納する第１ＤＢ部１２０のＤＢから検索し、第１ＡＲ情報管理部１７０に第１ＡＲデータを送信してもよい。また、第１ＤＢ管理部１６５は、第１ＡＲ情報管理部１７０から補足された第１ＡＲ結果情報を受信して、第１ＤＢ部１２０にアップデートしてもよい。

また、第１ＤＢ管理部１６５は、第３受信部１３５から受信したＤＢ情報を第１ＤＢリスト管理部１６０に格納されたＤＢリストに追加し、ＤＢリストを補足してもよい。

以下では、ユーザ端末１００が遠隔端末２００に、特定オブジェクトに関する追加情報のフィードバックをリクエストするプロセス例について説明する。

上述したように、第１オブジェクト認識部１５０によって認識されたオブジェクトは、第１オブジェクト情報抽出部１８０に送信されてもよい。

第１オブジェクト情報抽出部１８０は、第１オブジェクト認識部１５０から送信されたオブジェクトのうち特定オブジェクトが選択されると、選択された特定オブジェクトの情報および特定オブジェクトが選択された意図情報を第１送信部１３７に送信する。

特定オブジェクトの情報は、例えば、表示された映像に含まれる特定オブジェクトの座標情報と、映像が遠隔端末２００により取得された時間情報とを含んでもよい。特定オブジェクトは、ユーザが第１表示部１１１に表示されたオブジェクトのうち追加情報が必要であるために選択したオブジェクトであってもよく、また現在使用中のアプリケーションが自動的に選択したオブジェクトであってもよい。また、特定オブジェクトが選択された理由を含む意図情報は、例えば、第２ＡＲ結果情報のリクエスト、オブジェクト認識情報のリクエスト、およびＡＲデータのリクエストする意図を含むものであってもよい。

第１送信部１３７は、特定オブジェクトに関する追加情報をリクエストするメッセージを遠隔端末２００に送信してもよい。メッセージは特定オブジェクトを識別できる情報と、リクエストされた追加情報、特定オブジェクトが選択された理由を含む意図情報を含んでもよい。

第２および第３受信部１３３，１３５のうち少なくとも１つは、前記メッセージに応答する追加情報を遠隔端末２００から受信してもよい。遠隔端末２００は意図情報を参照して追加情報を選別した後にユーザ端末１００に送信してもよい。

第１オブジェクト認識部１５０および第１ＡＲ情報管理部１７０のうちの少なくとも１つは、第２および第３受信部１３３，１３５のうちの少なくとも１つから送信される追加情報を受信し、追加情報をユーザに提供したり、第１ＤＢ部１２０に格納された情報をアップデートしてもよい。

図３は、図１に示した遠隔端末２００を示すブロック図である。

図３を参照すると、遠隔端末２００は、第２ＵＩ部２１０、第２ＤＢ部２２０、映像データ入力部２３０、第２映像処理部２３５、検出部２４０、第２オブジェクト認識部２４５、第２ＤＢリスト管理部２５０、第２ＤＢ管理部２５５、第２ＡＲ情報管理部２６０、第２通信部２７０、および第２オブジェクト情報抽出部２８０を備えてもよい。

第２ＵＩ部２１０は、ユーザと遠隔端末２００との間のインターフェースを提供し、第２表示部２１１および第２操作パネル２１３を備えてもよい。第２ＵＩ部２１０は、図２の第１ＵＩ部１１０と類似のものであるため、詳細な説明は省略する。

第２ＤＢ部２２０は、第２ＤＢ管理部２５５によって管理され、ＡＲサービスを提供するための第２ＡＲデータをオブジェクトごとに格納してもよい。第２ＤＢ部２２０は、複数の物理的ＤＢ２２１，２２３を備えてもよく、ＤＢ２２１，２２３の各々は遠隔端末２００内に備えられるか、または遠隔端末２００が用いる外部サーバ（図示せず）に備えられてもよい。

また、第２ＤＢ部２２０には、第２ＡＲデータを用いて実際にユーザ端末１００に表示される第２ＡＲ結果情報を格納されてもよい。

また、第２ＤＢ部２２０には、ユーザ端末１００から第１ＤＢ部１２０に格納された第１ＡＲデータ（オブジェクトに対応するＡＲデータ）がさらに格納されてもよい。

映像データ入力部２３０は、外付けのカメラ（図示せず）によって取得される映像データを受信して第２映像処理部２３５に送信する。映像データ入力部２３０がカメラを備えていてもよい。

第２映像処理部２３５は、映像データを表示可能な信号に処理し、信号処理された映像データを第２表示部２１１および第２オブジェクト認識部２４５に送信する。第２表示部２１１は、映像データを用いて映像を表示する。

検出部２４０は、センサ（図示せず）を用いて検出される検出データを分析してオブジェクト認識情報を取得してもよい。検出部２４０は、オブジェクト認識情報を第２オブジェクト認識部２４５に送信する。

第２オブジェクト認識部２４５は、検出部２４０から受信したオブジェクト認識情報を用いて映像データに含まれるオブジェクトを認識してもよい。または、第２オブジェクト認識部２４５は、映像データに輪郭検出アルゴリズムを適用してオブジェクトを認識してもよい。認識されるオブジェクトは複数であってもよい。第２オブジェクト認識部２４５は、認識されたオブジェクトを検出部２４０および第２ＤＢ管理部２５５に送信してもよい。

また、第２オブジェクト認識部２４５は、ユーザ端末１００から特定オブジェクトに関する追加情報をリクエストするメッセージが受信されると、メッセージを分析してリクエストされた追加情報が何であるかを把握する。なお、この詳細については、後述することとする。

第２ＤＢリスト管理部２５０は、第２ＤＢ部２２のうち第２ＡＲデータが格納されているＤＢの位置情報を含むＤＢリストを管理する。

第２ＤＢ管理部２５５は、第２オブジェクト認識部２４５から受信したオブジェクトの関連情報を有するＤＢを検索してもよい。関連情報は、第２ＡＲデータまたは第２ＡＲデータを用いて実際に表示される第２ＡＲ結果情報であってもよい。第２ＤＢ管理部２５５は、ＤＢリストを参照して前記オブジェクトの関連情報が格納されたＤＢの位置情報をオブジェクトごとに特定してもよい。第２ＤＢ管理部２５５は、特定された位置情報に対応する当該ＤＢを制御してオブジェクトの第２ＡＲデータが第２ＡＲ情報管理部２６０に提供されるようにしてもよい。

また、第２ＤＢ管理部２５５は、ＤＢリストを参照して前記オブジェクトの関連情報が格納されたＤＢを検索し、検索されたＤＢの情報、すなわちＤＢのアドレス情報を第２通信部２７０に送信する。第２通信部２７０は、関連情報が格納されたＤＢのアドレス情報をユーザ端末１００に送信する。

第２ＡＲ情報管理部２６０は、第２ＤＢ部２２０の対応するＤＢに直接第２ＡＲデータをリクエストしたり、または第２ＤＢ管理部２５５に第２ＡＲデータをリクエストしてもよい。

また、第２ＡＲ情報管理部２６０は、第２ＤＢ部２２０から第２ＡＲデータを受信し、第２ＡＲデータを用いて第２ＡＲ結果情報を生成してもよい。第２ＡＲ情報管理部２６０は、生成された第２ＡＲ結果情報を、第２表示部２１１および第２通信部２７０に送信する。これにより、第２表示部２１１には、第２映像処理部２３５から受信された映像と、第２ＡＲ情報管理部２６０から受信された第２ＡＲ結果情報とを整合させて共に表示することができる。また、第２ＡＲ結果情報は、第２通信部２７０を介してユーザ端末１００に送信されてユーザ端末１００に表示されてもよい。

第２通信部２７０は、ユーザ端末１００と有線または無線方式で通信し、第２送信部２７１、第３送信部２７３、第４送信部２７５、および第４受信部２７７を備えてもよい。

第２送信部２７１は、映像データ入力部２３０から受信された映像データをユーザ端末１００に送信する。

第３送信部２７３は、検出部２４０から入力されるオブジェクト認識情報をユーザ端末１００に送信する。

第４送信部２７５は、第２ＤＢ管理部２５５から受信されたＤＢ情報と、第２ＡＲ情報管理部２６０から受信された第２ＡＲ結果情報を、ユーザ端末１００に送信する。

第４受信部２７５は、ユーザ端末１００から特定オブジェクトに関する追加情報をリクエストするメッセージを受信して第２オブジェクト情報抽出部２８０に送信する。

第２送信部２７１、第３送信部２７３、および第４送信部２７５のうち少なくとも１つは、前記メッセージに対応する追加情報をユーザ端末１００に送信してもよい。

第２オブジェクト情報抽出部２８０は、第４受信部２７７から受信したメッセージを分析して、特定オブジェクトの識別情報を把握する。特定オブジェクトは、第２送信部２７１によりユーザ端末１００に送信され、ユーザ端末１００に表示されている映像に存在する（ｅｘｉｓｔ）オブジェクトのうちの１つである。特定オブジェクトの識別情報は、特定オブジェクトのＩＤおよび特定オブジェクトの位置情報のうちの少なくとも１つを含んでもよい。特定オブジェクトの位置情報は、映像を基準として算出されてもよい。第２オブジェクト情報抽出部２８０は、抽出された特定オブジェクトの識別情報と前記メッセージを、第２オブジェクト認識部２４５に送信する。

リクエストされた追加情報がオブジェクト認識情報の送信である場合、第２オブジェクト認識部２４５は、検出部２４０に追加情報がリクエストされたことを通知する。検出部２４０は、オブジェクト認識情報を新しく取得したり、または最終取得したオブジェクト認識情報を第２通信部２７０に送信する。

また、リクエストされた追加情報は、第２ＡＲデータおよびＤＢ情報のうちの少なくともひとつであれば、第２オブジェクト認識部２４５は、把握した特定オブジェクトの識別情報を、第２ＤＢ管理部２５５に送信する。第２ＤＢ管理部２５５は、特定オブジェクトの識別情報に対応するＤＢを第２ＤＢリスト管理部２５０から特定して、第２ＤＢ部２２０のＤＢから追加情報に対応するデータを読み出してもよい。

読み出された追加情報に対応する前記オブジェクト認識情報、第２ＡＲデータおよびＤＢ情報のうち少なくとも１つは、第２通信部２７０を介してユーザ端末１００にフィードバックしてもよい。

図４は、本発明の一実施形態に係る、拡張現実サービスの共有方法を説明するためのフローチャートである。

図４のＡＲサービスの共有方法のためのユーザ端末と遠隔端末は、図１および図２のユーザ端末１００と遠隔端末２００によって、またはプロセッサ（図示せず）によって動作してもよい。

ステップＳ４００において、遠隔端末は、映像データを取得して表示する。映像データは遠隔端末のカメラの撮影によって取得されたり、または、遠隔端末内に格納されたデータであってもよい。

ステップＳ４１０において、ユーザ端末は、遠隔端末から遠隔端末に表示されている映像データを受信してもよい。

ステップＳ４２０において、ユーザ端末は、受信した映像データを映像として表示する。従って、ユーザ端末と遠隔端末は同一の映像を共有して表示することとなる。

ステップＳ４３０において、ユーザ端末は、遠隔端末からオブジェクト認識情報を受信する。オブジェクト認識情報は、表示された映像に存在するオブジェクトを認識するために必要な情報である。

ステップＳ４４０において、ユーザ端末は、オブジェクト認識情報を分析し、オブジェクトの認識に必要な情報を取得する。取得される情報は、遠隔端末のＧＰＳ情報、遠隔端末のカメラのビュー情報、ジャイロスコープの検出情報などを含んでもよい。

ステップＳ４５０において、ユーザ端末は、ステップＳ４１０で受信した映像データに含まれるオブジェクトを認識してもよい。第１オブジェクト認識部１５０は、映像データに輪郭検出アルゴリズムを適用してオブジェクトを認識してもよい。

ステップＳ４６０において、ユーザ端末は、第１ＤＢリストを検索して認識されたオブジェクトのＡＲデータである第１ＡＲデータを格納しているＤＢを検索してもよい。

ステップＳ４７０において、ユーザ端末は、検索されたＤＢからオブジェクトの第１ＡＲデータを検索してもよい。

ステップＳ４８０において、ユーザ端末は、検索された第１ＡＲデータを用いて表示可能な形態の第１ＡＲ結果情報を生成し、第１ＡＲ結果情報と映像のオブジェクト（ｏｂｊｅｃｔ ｏｆ ｔｈｅ ｉｍａｇｅ）とを整合させて表示してもよい。

図５は、本発明の他の実施形態に係る拡張現実サービスの共有方法を説明するためのフローチャートである。

図５に図示された共有方法は、ユーザ端末に格納されたＡＲ結果情報と遠隔端末に格納されたＡＲ結果情報とを用いてＡＲサービスを実現するプロセスであり、ユーザ端末１００と遠隔端末２００とによって動作するものであってもよい。また、図５に図示された第１ＤＢは、ユーザ端末１００の第１ＤＢ部１２０であってもよく、第２ＤＢは、遠隔端末２００の第２ＤＢ部２２０であってもよい。

まず、遠隔端末及びユーザ端末は、図４を参照して説明したステップＳ４００〜ステップＳ４８０を実行する。

ステップＳ５００において、ユーザ端末は、遠隔端末から映像に存在するオブジェクトの第２ＡＲ結果情報を受信してもよい。

ステップＳ５１０において、ユーザ端末は、ステップＳ５００で受信した第２ＡＲ結果情報とユーザ端末に格納された第１ＡＲ結果情報とを比較して第１ＡＲ結果情報と第２ＡＲ結果情報とが同一であるかを判断する。

互いに同一でなければ、ステップＳ５２０において、ユーザ端末は、第２ＡＲ結果情報を用いて第１ＡＲ結果情報を補足して表示する。

ステップＳ５３０において、ユーザ端末は、補足された第１ＡＲ結果情報を第１ＤＢ部に格納してもよい。

ステップＳ５４０において、ユーザ端末は、ＤＢアドレス情報及び遠隔端末からオブジェクトと関連するＤＢアドレスを含むＤＢ情報を受信してもよい。受信したＤＢ情報またはＤＢアドレスは第１ＤＢ部のＤＢリストに追加されてもよい。

ステップＳ５５０において、ユーザ端末は、第２ＤＢ部にあるＤＢのうち、ステップＳ５４０において受信したＤＢアドレスに対応するＤＢに、第２ＡＲデータをリクエストしてもよい。すなわち、ユーザ端末は認識されたオブジェクトに対応するＡＲデータである第２ＡＲデータをリクエストする。

ステップＳ５６０において、ユーザ端末は、遠隔端末から第３ＡＲ結果情報を受信する。ステップＳ５６０で受信される第２ＡＲ結果情報とステップＳ５００で受信される第３ＡＲ結果情報とは、互いに異なるＡＲデータによって生成される。

ステップＳ５７０において、ユーザ端末は、ステップＳ５６０で受信した第３ＡＲ結果情報を用いて第１ＡＲ結果情報を補足する。

ステップＳ５８０において、ユーザ端末は、ステップＳ５７０で補足された第１ＡＲ結果情報を第１ＤＢ部に格納する。

ステップＳ５９０において、ユーザ端末は、ＡＲ結果情報を表示する。ＡＲ結果情報は、ステップＳ５７０で補足された第１ＡＲ結果情報であってもよい。また、ステップＳ５９０において、ステップＳ５００で受信した第２ＡＲ結果情報が第１結果情報と同一である場合、ユーザ端末は、第１ＡＲ結果情報を表示してもよい。

図６は、本発明の他の実施形態に係る拡張現実サービスの共有方法を説明するためのフローチャートである。

図６に図示された共有方法は、ユーザ端末が遠隔端末にＡＲサービスのための追加情報のフィードバックをリクエストするプロセスに関し、ユーザ端末１００と遠隔端末２００によって動作されてもよい。

ステップＳ６００の前に、遠隔端末とユーザ端末は、図４を参照して説明したステップＳ４００〜ステップＳ４５０を実行することができる。

ステップＳ６００において、ユーザ端末１００は、表示された映像に存在するオブジェクトのうち特定オブジェクトを選択してもよい。特定オブジェクトは、ユーザによって選択されたり、または使用中のアプリケーションによって自動的に選択されてもよい。

ステップＳ６１０において、ユーザ端末は、遠隔端末に特定オブジェクトに関する追加情報をリクエストするメッセージを送信してもよい。メッセージは、特定オブジェクトを識別できる情報と、特定オブジェクトが選択された理由を含む意図情報とを含んでもよい。特定オブジェクトが選択された理由を含む意図情報は、例えば、第２ＡＲ結果情報のリクエスト、ＡＲデータのリクエスト、及びオブジェクト認識情報のリクエストのうち少なくとも１つを含んでもよい。

意図情報が第２ＡＲ結果情報のリクエストを含む場合、ステップＳ６２０で、ユーザ端末は遠隔端末から第２ＡＲ結果情報のフィードバックを受信することができる。

意図情報がＡＲデータのリクエストを含む場合、ステップＳ６３０で、ユーザ端末は、遠隔端末から第２ＡＲデータのフィードバックを受信することができる。

意図情報がオブジェクト認識情報のリクエストを含む場合、ステップＳ６４０で、ユーザ端末は、遠隔端末からオブジェクトの認識のために用いられるオブジェクト認識情報のフィードバックを受信することができる。

また、上述した本発明の一実施形態は、以下に説明する状況でも適用することができる。

第１例として、音声・画像通信端末（ａｕｄｉｏ−ｖｉｄｅｏ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｅｒｍｉｎａｌ）を用いて第２ユーザと通信する第１ユーザは、第１ユーザが位置する空間ではない、第２ユーザが位置する遠隔地の空間（ａ ｄｉｓｔａｎｔ ｓｐａｃｅ）上にエアタグ（ａｉｒ ｔａｇｇｉｎｇ）を提供することができる。

第２例として、音声・画像通信端末を用いて第２ユーザと音声・画像通信を行う第１ユーザが、現在位置する空間の映像を送ると、第２ユーザから第１ユーザが現在位置する空間の位置及び方向に関する情報の提供を受けることができる。例えば、第１ユーザと第２ユーザは、第１ユーザが位置する公園の映像を共有して、第２ユーザは第１ユーザに公園の道案内サービスを提供することができる。

第３例として、音声・画像通信端末を用いて第１ユーザが撮影中の映像を、第２ユーザが共有して見ているとき、第１ユーザは道案内ＡＲサービス（ｎａｖｉｇａｔｉｏｎ ＡＲ ｓｅｒｖｉｃｅ）を実行し、第２ユーザは飲食店の案内ＡＲサービスを実行してもよい。このとき、第２ユーザは、第１ユーザから道案内ＡＲサービスを提供され、道案内情報によって第２ユーザの飲食店の案内ＡＲサービスを補足してもよい。

第４例として、音声・画像通信端末を用いて第１ユーザが撮影中の映像を、第２ユーザが共有して見ているとき、第１ユーザは道案内ＡＲサービスを実行し、第２ユーザは飲食店案内ＡＲサービスを実行してもよく、このとき、第１ユーザは、映像内の飲食店をオブジェクトとして認識していないこともあるため、第２ユーザは自身が認識した飲食店のオブジェクトを第１ユーザの端末を指定して提供してもよい。

第５例として、音声・画像通信端末を用いて第１ユーザが撮影中の映像を、第２ユーザが共有して見ていて、同一のＡＲサービスを実行しているとき、第１ユーザと第２ユーザの用いるＡＲサーバが異なる、またはデータベースが異なるために、ＡＲサービスが互いに異なることがある。このような場合、第１ユーザと第２ユーザとは、お互いのＡＲ結果情報を共有してそれぞれのＡＲサービスを補足してもよい。

このように、本発明の一実施形態によれば、ユーザ端末と遠隔端末とが通信によりＡＲサービスを共有することにより、ユーザ端末と遠隔端末との双方向のＡＲサービス（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ＡＲ ｓｅｒｖｉｃｅ）を提供可能な、ＡＲサービスを共有するためのユーザ端末、遠隔端末、及び方法を提供することができる。

また、本発明の一実施形態によれば、ユーザ端末が遠隔端末により撮影された映像を遠隔端末と共有し、遠隔端末からＡＲサービスを受信し、受信された情報によりＡＲサービスの内容を補足することにより、ユーザ端末のデータベースを更新することが可能な、ＡＲサービスを共有するためのユーザ端末、遠隔端末、及び方法を提供することができる。

さらに、本発明の一実施形態によれば、ユーザ端末が表示された映像から所望のオブジェクトを選択し、選択したオブジェクトの情報を提供するように遠隔端末にリクエストし、遠隔端末から情報を受信することにより、ユーザ端末と遠隔端末との双方向のＡＲサービスを提供可能な、ＡＲサービスを共有するためのユーザ端末、遠隔端末、及び方法を提供することができる。

本発明の実施形態に係る方法は、多様なコンピュータ手段によって実行することのできるプログラム命令形態で実現され、コンピュータ読み出し可能媒体に記録されてもよい。前記記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。前記記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものであってもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。

上述したように本発明を限定された実施形態と図面によって説明したが、本発明は、上記実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１００：ユーザ端末
１１０：第１ＵＩ部
１２０：第１ＤＢ部
１３０：第１通信部
１４０：第１映像処理部
１５０：第１オブジェクト認識部
１６０：第１ＤＢリスト管理部
１６５：第１ＤＢ管理部
１７０：第１ＡＲ情報管理部
１８０：第１オブジェクト情報抽出部

Claims (19)

1. 映像を表示する表示部と、前記映像に含まれるオブジェクトを認識するオブジェクト認識部と、前記オブジェクトに対応する第１ＡＲデータが格納される第１データベースと、前記第１データベースに格納された前記第１ＡＲデータを用いて第１ＡＲ結果情報を生成するＡＲ情報管理部と、遠隔端末から送信される情報を受信する通信部とを含むユーザ端末の拡張現実サービスを共有する方法であって、
   前記ユーザ端末が実行する処理が、
   前記表示部が、前記遠隔端末から受信される映像を表示することと、
   前記オブジェクト認識部が、前記遠隔端末から受信した映像データを分析し、前記表示された映像に含まれるオブジェクトを認識することと、
   前記通信部が、前記遠隔端末から第２ＡＲ結果情報を受信し、
   前記ＡＲ情報管理部が、前記受信した第２ＡＲ結果情報が前記第１ＡＲ結果情報と異なれば、前記第１ＡＲ結果情報に前記第２ＡＲ結果情報を追加して補足された第１ＡＲ結果情報を生成することと、
   前記表示部が、前記生成された第１ＡＲ結果情報と前記認識されたオブジェクトとを表示することと、
   を含むことを特徴とする拡張現実サービスの共有方法。
2. 前記通信部が、前記遠隔端末から前記オブジェクトを認識するのに必要なオブジェクト認識情報を受信することをさらに含み、
   前記オブジェクト認識部は、前記受信したオブジェクト認識情報を分析して前記オブジェクトを認識することを特徴とする、請求項１に記載の拡張現実サービスの共有方法。
3. 前記ユーザ端末は、データベース管理部をさらに含み、
   前記データベース管理部は、前記補足された第１ＡＲ結果情報および前記補足された第１ＡＲ結果情報のＡＲデータのうち少なくとも１つを前記第１データベースに格納することをさらに含むことを特徴とする、請求項１または２に記載の拡張現実サービスの共有方法。
4. 前記通信部が、前記遠隔端末から第２ＡＲデータを格納している第２データベースのアドレス情報を受信することと、
   前記アドレス情報を参照して前記第２データベースにアクセスすることと、
   前記第２データベースに格納された前記第２ＡＲデータを用いて生成される第３ＡＲ結果情報を受信することと、
   をさらに含むことを特徴とする、請求項１または２に記載の拡張現実サービスの共有方法。
5. 前記データベース管理部が、前記第３ＡＲ結果情報または前記第３ＡＲ結果情報の前記第２ＡＲデータのうち少なくとも１つを前記第１データベースに格納することと、
   前記受信した第２データベースのアドレス情報をデータベースリストに追加することと、
   をさらに含むことを特徴とする、請求項４に記載の拡張現実サービスの共有方法。
6. 前記通信部が、前記遠隔端末に前記認識されたオブジェクトに関する追加情報の提供をリクエストすることと、
   前記遠隔端末から前記認識されたオブジェクトに関する前記追加情報を受信することと、
   前記ＡＲ情報管理部が、前記受信した追加情報を用いて、前記認識されたオブジェクトに関する前記第１ＡＲ結果情報を補足することと、
   を含むことを特徴とする、請求項１に記載の拡張現実サービスの共有方法。
7. 前記追加情報は、前記認識されたオブジェクトのＡＲ情報、前記認識されたオブジェクトを認識するのに必要なオブジェクト認識情報および前記認識されたオブジェクトのＡＲ情報を格納するデータベースのアドレスのうち少なくとも１つを含むことを特徴とする、請求項６に記載の拡張現実サービスの共有方法。
8. 遠隔端末から受信される映像を表示する表示部と、
   前記表示された映像に含まれるオブジェクトを認識するオブジェクト認識部と、
   前記オブジェクトに対応する第１ＡＲデータが格納される第１データベースと、
   前記第１データベースに格納された前記オブジェクトに対応する第１ＡＲデータを用いて第１ＡＲ結果情報を生成するＡＲ情報管理部と、
   前記遠隔端末から送信される情報を受信する通信部と、
   を含み、
   前記表示部が、前記遠隔端末から受信される映像を表示し
   前記オブジェクト認識部が、前記遠隔端末から受信した映像データを分析し、前記表示された映像に含まれるオブジェクトを認識し
   前記通信部が、前記遠隔端末から第２ＡＲ結果情報を受信し、
   前記ＡＲ情報管理部が、前記受信した第２ＡＲ結果情報が前記第１ＡＲ結果情報と異なれば、前記第１ＡＲ結果情報に前記第２ＡＲ結果情報を追加して補足された第１ＡＲ結果情報を生成し、
   前記生成された第１ＡＲ結果情報と前記認識されたオブジェクトは、前記表示部に表示されることを特徴とする、拡張現実サービスの共有のためのユーザ端末。
9. 前記遠隔端末から前記オブジェクトを認識するのに必要なオブジェクト認識情報を受信する通信部をさらに備え、
   前記オブジェクト認識部は、前記受信したオブジェクト認識情報を分析して前記オブジェクトを認識することを特徴とする、請求項８に記載の拡張現実サービスの共有のためのユーザ端末。
10. 前記補足された第１ＡＲ結果情報および前記補足された第１ＡＲ結果情報のＡＲデータのうち少なくとも１つを前記第１データベースに格納するデータベース管理部をさらに備えることを特徴とする、請求項８に記載の拡張現実サービスの共有のためのユーザ端末。
11. 前記通信部は、前記遠隔端末から第２ＡＲデータを格納する第２データベースのアドレス情報をさらに受信し、前記受信したアドレス情報を参照して前記第２データベースにアクセスし、前記第２データベースに格納された前記第２ＡＲデータを用いて生成される第３ＡＲ結果情報を受信し、
    前記データベース管理部は、前記第３ＡＲ結果情報を前記第１データベースに格納することを特徴とする、請求項１０に記載の拡張現実サービスの共有のためのユーザ端末。
12. 前記データベース管理部は、前記受信した第２データベースのアドレス情報をデータベースリストに追加することを特徴とする、請求項１１に記載の拡張現実サービスの共有のためのユーザ端末。
13. 前記通信部は、前記遠隔端末に前記認識されたオブジェクトに関する追加情報の提供をリクエストするメッセージを送信して、前記遠隔端末から前記認識されたオブジェクトに関する前記追加情報を受信し、
    前記ＡＲ情報管理部は、前記受信した追加情報を用いて、前記認識されたオブジェクトに対応する前記第１ＡＲ結果情報を補足することを特徴とする、請求項８に記載の拡張現実サービスの共有のためのユーザ端末。
14. 前記追加情報は、前記認識されたオブジェクトのＡＲ情報、前記認識されたオブジェクトを認識するのに必要なオブジェクト認識情報および前記認識されたオブジェクトのＡＲ情報を格納するデータベースのアドレスのうち少なくとも１つを含むことを特徴とする、請求項１３に記載の拡張現実サービスの共有のためのユーザ端末。
15. ユーザ端末と遠隔端末とで拡張現実サービスを共有する方法において、
    前記ユーザ端末は、映像を表示する表示部と、前記映像に含まれるオブジェクトを認識するオブジェクト認識部と、前記オブジェクトに対応する第１ＡＲデータが格納される第１データベースと、前記第１データベースに格納された前記第１ＡＲデータを用いて第１ＡＲ結果情報を生成するＡＲ情報管理部と、前記遠隔端末から送信される情報を受信する通信部とを含み、
    前記ユーザ端末が実行する処理が、
    前記表示部が、前記遠隔端末から受信される映像を表示することと、
    前記オブジェクト認識部が、前記遠隔端末から受信した映像データを分析し、前記表示された映像に含まれるオブジェクトを認識することと、
    前記通信部が、前記遠隔端末から第２ＡＲ結果情報を受信し、
    前記ＡＲ情報管理部が、前記受信した第２ＡＲ結果情報が前記第１ＡＲ結果情報と異なれば、前記第１ＡＲ結果情報に前記第２ＡＲ結果情報を追加して補足された第１ＡＲ結果情報を生成することと、
    前記表示部が、前記生成された第１ＡＲ結果情報と前記認識されたオブジェクトとを表示することと、を含み、
    前記遠隔端末に、前記映像および前記映像のオブジェクトに対応する前記第２ＡＲ結果情報を表示することと、
    前記遠隔端末は、前記ユーザ端末に、前記表示された映像および前記オブジェクトを認識するのに必要なオブジェクト認識情報を送信することと、
    を含むことを特徴とする、拡張現実サービスの共有方法。
16. 前記オブジェクトに対応するＡＲデータを用いてＡＲ結果情報を生成することと、
    前記生成されたＡＲ結果情報を前記ユーザ端末に送信することと、
    前記ユーザ端末に前記ＡＲデータが格納されたデータベースのアドレスを送信することと、
    を含むことを特徴とする、請求項１５に記載の拡張現実サービスの共有方法。
17. ユーザ端末と拡張現実サービスを共有するための遠隔端末において、
    前記ユーザ端末は、映像を表示する表示部と、前記映像に含まれるオブジェクトを認識するオブジェクト認識部と、前記オブジェクトに対応する第１ＡＲデータが格納される第１データベースと、前記第１データベースに格納された前記第１ＡＲデータを用いて第１ＡＲ結果情報を生成するＡＲ情報管理部と、前記遠隔端末から送信される情報を受信する通信部とを含み、
    前記ユーザ端末が実行する処理が、
    前記表示部が、前記遠隔端末から受信される映像を表示することと、
    前記オブジェクト認識部が、前記遠隔端末から受信した映像データを分析し、前記表示された映像に含まれるオブジェクトを認識することと、
    前記通信部が、前記遠隔端末から第２ＡＲ結果情報を受信し、
    前記ＡＲ情報管理部が、前記受信した第２ＡＲ結果情報が前記第１ＡＲ結果情報と異なれば、前記第１ＡＲ結果情報に前記第２ＡＲ結果情報を追加して補足された第１ＡＲ結果情報を生成することと、
    前記表示部が、前記生成された第１ＡＲ結果情報と前記認識されたオブジェクトとを表示することと、を含み、
    前記遠隔端末は、前記映像および前記映像のオブジェクトに対応する前記第２ＡＲ結果情報を表示する表示部と、
    前記ユーザ端末に、前記表示された映像および前記オブジェクトを認識するのに必要なオブジェクト認識情報を送信する通信部と、
    を備えることを特徴とする、拡張現実サービスの共有のための遠隔端末。
18. 前記オブジェクトに対応するＡＲデータを用いてＡＲ結果情報を生成するＡＲ情報管理部をさらに備え、
    前記通信部は、前記生成されたＡＲ結果情報および前記ＡＲデータが格納されたデータベースのアドレスを前記ユーザ端末に送信することを特徴とする、請求項１７に記載の拡張現実サービスの共有のための遠隔端末。
19. 拡張現実サービスを共有するためのシステムであって、
    前記システムは、
    ユーザ端末と、
    遠隔端末と、を含み、
    前記遠隔端末が実行する処理が、映像を取得し、前記映像を前記ユーザ端末に送信することと、第２ＡＲ結果情報を生成することとを含み、
    前記ユーザ端末は、前記映像を表示する表示部と、前記映像に含まれるオブジェクトを認識するオブジェクト認識部と、前記オブジェクトに対応する第１ＡＲデータが格納される第１データベースと、前記第１データベースに格納された前記第１ＡＲデータを用いて第１ＡＲ結果情報を生成するＡＲ情報管理部と、前記遠隔端末から送信される情報を受信する通信部とを含み、
    前記ユーザ端末が実行する処理が、
    前記表示部が、前記遠隔端末から受信される前記映像を表示することと、
    前記オブジェクト認識部が、前記遠隔端末から受信した映像データを分析し、前記表示された映像に含まれるオブジェクトを認識することと、
    前記通信部が、前記遠隔端末から第２ＡＲ結果情報を受信し、
    前記ＡＲ情報管理部が、前記受信した第２ＡＲ結果情報が前記第１ＡＲ結果情報と異なれば、前記第１ＡＲ結果情報に前記第２ＡＲ結果情報を追加して補足された第１ＡＲ結果情報を生成することと、
    前記表示部が、前記生成された第１ＡＲ結果情報と前記認識されたオブジェクトとを表示することと、を含むことを特徴とする拡張現実サービスを共有するためのシステム。
    

Images