JP6951810B1 - 拡張現実システム - Google Patents

Abstract

【課題】特定のユーザのみが仮想情報を確認できる拡張現実システムを提供する。【解決手段】贈答物に仮想情報を付与する拡張現実システムであって、第１ユーザ端末１と、第２ユーザ端末２と、サーバ３と、を有する。その動作は、拡張現実情報生成手段と、コード情報生成手段と、通知情報生成手段と、接続手段と、画像生成手段と、表示情報生成手段と、表示手段と、を備える。通知情報生成手段は、サーバ３から送信されたコード情報を取得し、コード情報を含む通知情報を、第１ユーザ端末１を用いて生成する。接続手段は、第１ユーザ端末１から送信された通知情報を取得し、接続データ及びアプリ起動データに基づき、第２ユーザ端末２を用いてサーバ３と接続する。【選択図】図５

Description

本発明は、贈答品に仮想情報を付与する拡張現実システムに関する。

従来、贈答物に仮想画像等の仮想情報を付与する方法として、例えば特許文献１のような拡張現実システム等が提案されている。

特許文献１では、仮想画像サーバが、後記仮想画像となる画像をインターネットなどのネットワークを介し画像送信装置から受信して仮想画像記憶装置に予め登録しておき、カメラで撮影したＡＲマーカが付された印刷媒体の前記ＡＲマーカを前記ネットワークを介して受信し、ＡＲマーカに紐付けられた動画や静止画などの前記仮想画像を見出しこの仮想画像を仮想画像記憶装置から読み出して、この仮想画像を前記カメラを備えたＡＲ表示装置で前記撮影画像に重ねて表示するように前記ＡＲ表示装置に送信する技術が開示されている。

特開２０１５−２１０８０７号公報

ここで、特許文献１では、贈答品等の印刷媒体に、二次元コード等のＡＲマーカが付与されていることを前提としている。このため、ＡＲマーカに紐づけられた仮想画像は、印刷媒体を受取る側が確認できるほか、印刷媒体を配送する配送者や、仕分者等の不特定多数の者に確認される恐れがある。このため、特定のユーザのみが仮想画像等のような仮想情報を確認できる方法が望まれていた。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、特定のユーザのみが仮想情報を確認できる拡張現実システムを提供することにある。

第１発明に係る拡張現実システムは、贈答物に仮想情報を付与する拡張現実システムであって、前記贈答物を送る側の第１ユーザが保有する第１ユーザ端末と、前記贈答物を受取る側の第２ユーザが保有する第２ユーザ端末と、前記第１ユーザ端末、及び前記第２ユーザ端末と接続されるサーバと、前記贈答物の画像を示す画像データ、前記贈答物に対して前記仮想情報を付与する位置を特定するためのマーキングデータ、及び前記マーキングデータに基づき表示する前記仮想情報の種類を示す仮想情報データを含む拡張現実情報を、前記第１ユーザ端末を用いて生成する拡張現実情報生成手段と、前記第１ユーザ端末から送信された前記拡張現実情報を取得し、前記拡張現実情報に紐づく接続データ、及び前記拡張現実情報を利用するためのアプリ起動データを含むコード情報を、前記サーバを用いて生成するコード情報生成手段と、前記サーバから送信された前記コード情報を取得し、前記コード情報を含む通知情報を、前記第１ユーザ端末を用いて生成する通知情報生成手段と、前記第１ユーザ端末から送信された前記通知情報を取得し、前記接続データ及び前記アプリ起動データに基づき、前記第２ユーザ端末を用いて前記サーバと接続する接続手段と、前記第１ユーザから送られてきた前記贈答物を撮像した評価画像データを、前記第２ユーザ端末を用いて生成する画像生成手段と、前記第２ユーザ端末から送信された前記評価画像データを取得し、前記評価画像データと前記画像データとを比較して対応すると判断した場合、前記マーキングデータ及び前記仮想情報データを含む表示情報を、前記サーバを用いて生成する表示情報生成手段と、前記サーバから送信された前記表示情報を取得し、前記表示情報に基づき前記仮想情報を、前記第２ユーザ端末の表示部に表示する表示手段と、を備え、前記コード情報生成手段は、前記画像データの少なくとも一部に基づき、位置合わせ用画像を生成し、前記位置合わせ用画像を含む前記コード情報を生成することを含み、前記画像生成手段は、前記位置合わせ用画像を前記第２ユーザ端末の前記表示部に表示し、撮像された前記贈答物が、前記表示部上で前記位置合わせ用画像と重なる場合に、前記評価画像データを生成することを含むことを特徴とする。

第２発明に係る拡張現実システムは、第１発明において、予め取得された広告情報群が記憶された広告用データベースと、前記表示手段が、前記表示情報に基づき前記仮想情報を、前記第２ユーザ端末の表示部に表示したあと、前記広告用データベースから前記評価画像データに対応する広告情報を、前記サーバを用いて選択する広告情報選択手段と、前記サーバから送信された前記広告情報を取得し、前記広告情報を前記第２ユーザ端末の前記表示部に表示する広告情報表示手段と、をさらに備えることを特徴とする。

第３発明に係る拡張現実システムは、第２発明において、前記広告用データベースから第１ユーザ用広告情報を、前記サーバを用いて選択する付加広告情報選択手段と、前記サーバから送信された前記第１ユーザ用広告情報を取得し、前記第１ユーザ用広告情報を前記第１ユーザ端末の表示部に表示する付加広告情報表示手段と、をさらに備えることを特徴とする。

第４発明に係る拡張現実システムは、第２発明又は第３発明において、前記広告用データベースには、学習用評価画像データを説明変数、及び前記学習用評価画像データに紐づく学習用広告情報を目的変数として、それぞれ用いた機械学習により生成された広告用学習済みモデルが記憶され、前記広告情報選択手段は、前記広告用学習済みモデルを参照し、前記評価画像データに対応する前記広告情報を選択することを特徴とする。

第５発明に係る拡張現実システムは、第１発明〜第４発明の何れかにおいて、前記接続手段は、ソーシャルネットワークサービスを介して、前記第１ユーザ端末から前記通知情報を取得することを特徴とする。

第６発明に係る拡張現実システムは、第１発明〜第５発明の何れかにおいて、前記拡張現実情報は、前記第１ユーザが入力したメッセージデータを含むことを特徴とする。

第７発明に係る拡張現実システムは、第１発明において、学習用評価画像データを説明変数、及び前記学習用評価画像データに紐づく学習用画像データを目的変数として、それぞれ用いた機械学習により生成された学習済みモデルが記憶された保存部をさらに備え、前記表示情報生成手段は、前記学習済みモデルを参照し、前記評価画像データと前記画像データとを比較することを特徴とする。

第１発明〜第７発明によれば、通知情報生成手段は、コード情報を含む通知情報を、第１ユーザ端末を用いて生成する。また、接続手段は、接続データ及びアプリ起動コードに基づき、第２ユーザ端末を用いてサーバと接続する。これらのため、拡張現実情報に紐づく接続データは、第２ユーザ端末以外の不特定多数のユーザが取得することを防ぐことができる。これにより、特定のユーザのみが仮想情報を確認することが可能となる。

また、第１発明〜第７発明によれば、コード情報生成手段は、サーバを用いてコード情報を生成する。このため、第１ユーザ端末によって実施される処理を低減することができる。これにより、第１ユーザ端末における負荷低減を図ることが可能となる。

特に、第２発明によれば、広告情報選択手段は、表示手段が、前記表示情報に基づき前記仮想情報を、前記第２ユーザ端末の表示部に表示したあと、広告用データベースから評価画像データに対応する広告情報を、サーバを用いて選択する。このため、第２ユーザに対して興味を持つ可能性の高い広告情報を表示させることができる。これにより、広告情報の閲覧精度を向上させることが可能となる。また、贈答物を受取る側の第２ユーザを対象とした、新規プロモーション手法として利用することが可能となる。

特に、第３発明によれば、付加広告情報選択手段は、サーバを用いて広告用データベースから第１ユーザ用広告情報を選択する。このため、第２ユーザに対して利用した広告情報群を、第１ユーザに対しても利用することができ、広告情報群を共有することができる。これにより、広告用データベースの容量の削減を図ることが可能となる。また、広告情報群から選択された情報に対する履歴を、容易に把握することが可能となる。

特に、第４発明によれば、広告情報選択手段は、広告用学習済みモデルを参照し、評価画像データに対する広告情報を選択する。このため、学習用評価画像データとは異なる未知の評価用画像データに対しても、最適な広告情報を選択することができる。これにより、よりユーザに適したプロモーション手法として利用することが可能となる。

特に、第５発明によれば、接続手段は、ソーシャルネットワークサービスを介して、第１ユーザ端末から通知情報を取得する。このため、ユーザの知人のみのような限られたネットワーク内で各情報の送受信を実施することができる。これにより、秘匿性を向上させることが可能となる。

特に、第６発明によれば、拡張現実情報は、第１ユーザが入力したメッセージデータを含む。このため、第１ユーザから第２ユーザに対し、贈答物の趣旨等を付与することができる。これにより、利便性の向上を図ることが可能となる。

特に、第７発明によれば、表示情報生成手段は、学習済みモデルを参照し、評価画像データと画像データとを比較する。このため、学習済みモデルをサーバ上で管理することができる。これにより、学習済みモデルのメンテナンスを容易に実施することが可能となる。

また、第１発明〜第７発明によれば、画像生成手段は、撮像された贈答物が、表示部上で位置合わせ用画像と重なる場合に、評価画像データを生成する。即ち、位置合わせ用画像を用いることで、画像データに示された贈答物の撮像角度や撮像距離等の撮像条件に近い状態で、評価画像データを生成することができる。このため、表示情報生成手段における評価画像データと、画像データとを比較する際の精度を飛躍的に向上させることができる。これにより、拡張現実システムの利便性向上を図ることが可能となる。

図１は、第１実施形態における拡張現実システムの一例を示す模式図である。 図２（ａ）及び図２（ｂ）は、第１実施形態における拡張現実システムの動作の一例を示す模式図である。 図３（ａ）は、第１ユーザ端末の構成の一例を示す模式図であり、図３（ｂ）は、第１ユーザ端末の機能の一例を示す模式図であり、図３（ｃ）は、第２ユーザ端末の機能の一例を示す模式図であり、図３（ｄ）は、サーバの機能の一例を示す模式図である。 図４（ａ）は、マーキングデータの一例を示す模式図であり、図４（ｂ）は、仮想情報の一例を示す模式図である。 図５は、第１実施形態における拡張現実システムの動作の一例を示すシーケンス図である。 図６は、第２実施形態における拡張現実システムの動作の一例を示すシーケンス図である。 図７（ａ）及び図７（ｂ）は、第２実施形態における拡張現実システムの動作の一例を示す模式図である。 図８（ａ）及び図８（ｂ）は、第３実施形態における拡張現実システムの動作の一例を示す模式図である。

以下、本発明の実施形態における拡張現実システムの一例について、図面を参照しながら説明する。

（第１実施形態：拡張現実システム１００）
図１は、第１実施形態における拡張現実システム１００の一例を示す模式図である。図２（ａ）及び図２（ｂ）は、第１実施形態における拡張現実システム１００の動作の一例を示す模式図である。

拡張現実システム１００は、贈答物Ｇに仮想情報ＡＲを付与するために用いられる。拡張現実システム１００は、第１ユーザ端末１と、第２ユーザ端末２と、サーバ３とを備える。第１ユーザ端末１、第２ユーザ端末２、及びサーバ３は、それぞれ通信網４を介して接続され、各種データの送受信を実施することができる。なお、第１ユーザ端末１と、第２ユーザ端末２との間における各種データの送受信は、サーバ３又は他の既存サーバ等を介して実施されるほか、例えば各端末１、２間で直接実施されてもよい。

拡張現実システム１００では、第１ユーザが第２ユーザに対して送る贈答物Ｇに対して、仮想情報ＡＲを付与することができる。拡張現実システム１００では、例えば図２（ａ）に示すように、第１ユーザ端末１を用いて撮像した贈答物Ｇに対し、第１ユーザの操作に基づき仮想情報ＡＲを付与することができる。また、第２ユーザ端末２を用いて贈答物Ｇを撮像することで、贈答物Ｇに付与された仮想情報ＡＲを表示させることができる。なお、「贈答物Ｇに仮想情報ＡＲを付与する」とは、第１ユーザ端末１又は第２ユーザ端末２を用いて贈答物Ｇを撮像する際、撮像された贈答物Ｇに連動して仮想情報ＡＲが表示されるための処理を行うことを示す。

贈答物Ｇは、ユーザ間で享受可能な物を示す。贈答物Ｇとして、例えば土産、プレゼント、御中元、御歳暮、ふるさと納税品、特産物等のような特定の条件に基づき享受される物が用いられてもよい。また、贈答物Ｇは、食材、食品物、お菓子、飲料物、お酒、置物、陶芸品、工芸品、化粧品、香水等を含んでもよく、例えばユーザの創作物を含んでもよい。なお、例えば贈答物Ｇには、文字が記載されているほうが好ましく、この場合、仮想情報ＡＲを付与する位置を特定し易くすることが可能となる。

拡張現実システム１００は、例えば各端末１、２に専用のアプリケーションをインストールし、各端末１、２がそれぞれサーバ３と接続されることで実現してもよい。特に、拡張現実システム１００では、各端末１、２が各処理を実施する間、サーバ３と接続された状態を維持することで、各処理の一部をサーバ３側で実施することができ、各端末１、２への負荷を大幅に低減することができる。拡張現実システム１００は、例えば各端末１、２以外の複数の端末がそれぞれサーバ３と接続されてもよい。

＜第１ユーザ端末１＞
第１ユーザ端末１は、例えば携帯電話、スマートフォン、タブレット型端末、ウェアラブル端末等の持ち運びが容易な公知の電子機器を示す。

図３（ａ）は、第１ユーザ端末１の構成の一例を示す模式図であり、図３（ｂ）は、第１ユーザ端末１の機能の一例を示す模式図である。

第１ユーザ端末１は、例えば図３（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５〜１０８とを備える。各構成１０１〜１０８は、内部バス１１２により接続される。

ＣＰＵ１０１は、第１ユーザ端末１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４には、各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）のほか、ＳＳＤ（Solid State Drive）等のデータ保存装置が用いられる。

Ｉ／Ｆ１０５は、通信網４を介して、必要に応じて第２ユーザ端末２やサーバ３との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０９との情報の送受信を行うためのインターフェースである。入力部１０９として、例えばタッチパネルが用いられ、第１ユーザは入力部１０９を介して、各種情報、又は第１ユーザ端末１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１１０との各種情報の送受信を行うためのインターフェースである。表示部１１０は、保存部１０４に保存された各種情報や、サーバ３から送信された仮想情報ＡＲ等を表示する。表示部１１０として、ディスプレイが用いられる。Ｉ／Ｆ１０８は、撮像部１１１との各種情報の送受信を行うためのインターフェースである。撮像部１１１として、カメラが用いられる。なお、上述した各構成１０１〜１１２として、それぞれ公知の電子機器に備え付けられたものが用いられてもよい。

図３（ｂ）は、第１ユーザ端末１の機能の一例を示す模式図である。第１ユーザ端末１は、取得部１１と、生成部１２と、出力部１３と、記憶部１４とを備える。なお、図３（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現される。第１ユーザ端末１は、例えば専用のアプリケーション（拡張現実プログラム）をインストールすることで、各機能の少なくとも一部を備えてもよいほか、公知の電子機器に備え付けられた機能を利用してもよい。

＜＜取得部１１＞＞
取得部１１は、拡張現実システム１００に利用する各種情報を取得するために用いられる。取得部１１は、例えば第２ユーザ端末２やサーバ３等の他の装置と通信接続し、送信された各種情報を取得する。取得部１１は、例えば入力部１０９を介して、第１ユーザが入力した各種情報を取得する。

＜＜生成部１２＞＞
生成部１２は、拡張現実システム１００に利用する各種情報を生成するために用いられる。生成部１２は、例えば拡張現実情報生成部と、通知情報生成部とを含む。

拡張現実情報生成部は、拡張現実情報を生成する。拡張現実情報生成部は、例えば入力部１０９及び撮像部１１１を介して取得された各種情報に基づき、拡張現実情報を生成する。

拡張現実情報は、第２ユーザ端末２等に仮想情報ＡＲを表示するために生成される。拡張現実情報は、サーバ３を用いてコード情報を生成する際に用いられる。拡張現実情報は、画像データと、マーキングデータと、仮想情報データとを含む。拡張現実情報は、例えばメッセージデータを含んでもよい。

画像データは、例えば図２（ａ）に示すように、第１ユーザ端末１を用いて撮像された贈答物Ｇの画像を示す。画像データは、撮像部１１１を介して生成され、静止画のほか例えば動画でもよい。画像データには、例えば画像処理により認識できる程度の大きさ及び解像度で贈答物Ｇが撮像されていればよく、背景や人物等が含まれた画像でもよい。

マーキングデータは、贈答物Ｇに対して仮想情報ＡＲを付与する位置を特定するために用いられる。マーキングデータは、例えば贈答物Ｇに対して仮想情報ＡＲを付与する向きに関する情報を含んでもよい。仮想情報ＡＲを付与する向きは、例えば図４（ａ）に示すように、贈答物Ｇの面に対して傾きを有する向き（「配置Ａ」に相当）や、贈答物Ｇの面に平行な向き（「配置Ｂ」に相当）等のような、贈答物Ｇに対する仮想情報ＡＲの表示条件を示す。

仮想情報データは、マーキングデータに基づき表示する仮想情報ＡＲの種類を示す。仮想情報データは、例えば図４（ｂ）に示すように、予め用意された複数の仮想情報ＡＲ（例えば仮想画像１ＡＲａ、仮想画像２ＡＲｂ、及び仮想画像３ＡＲｃ）のうち、第１ユーザが選択した仮想情報ＡＲを表示するためのデータを示す。仮想情報データは、例えば贈答物Ｇに関連する複数の仮想情報ＡＲから、第１ユーザが特定の仮想情報ＡＲを選択することで、仮想情報データとして取得される。

仮想情報は、例えば図４（ｂ）に示す画像形式の情報を含むほか、例えば動画、音声、アニメーション等のようなユーザが認識できる形式の情報を含んでもよい。

メッセージデータは、例えば入力部１０９を介して、第１ユーザが入力した情報を示す。メッセージデータは、テキストデータのほか、例えば絵文字等を表示するための画像用のデータ（例えばｊｐｅｇ等）を含んでもよい。メッセージデータは、例えば仮想情報ＡＲに連動して表示されてもよい。

通知情報生成部は、通知情報を生成する。通知情報生成部は、サーバ３を用いて生成されたコード情報を取得し、コード情報を含む通知情報を生成する。通知情報は、例えば第２ユーザに対してコード情報の趣旨を伝えるためのテキストデータ等を含んでもよい。

＜＜出力部１３＞＞
出力部１３は、第２ユーザ端末２やサーバ３等の他の装置と通信接続し、各種情報を送信する。出力部１３は、例えば表示部１１０に対して各種情報を表示するための各種情報を出力する。

＜＜記憶部１４＞＞
記憶部１４は、保存部１０４に保存された各種情報を、必要に応じて取出す。記憶部１４は、各構成１１〜１３により取得又は生成された各種情報を、必要に応じて保存部１０４に保存する。

＜第２ユーザ端末２＞
第２ユーザ端末２は、上述した第１ユーザ端末１と同種の電子機器を示し、第１ユーザ端末１の構成及び機能の少なくとも一部が同様でもよい。そのため、上述した第１ユーザ端末１と同様の内容については、説明を省略する。

図３（ｃ）は、第２ユーザ端末２の機能の一例を示す図である。第２ユーザ端末２は、取得部２１と、生成部２２と、出力部２３と、記憶部２４とを備える。第２ユーザ端末２は、例えば専用のアプリケーションをインストールすることで、各機能の少なくとも一部を備えてもよいほか、公知の電子機器に備え付けられた機能を利用してもよい。

＜＜取得部２１＞＞
取得部２１は、拡張現実システム１００に利用する各種情報を取得するために用いられる。取得部２１は、例えば第１ユーザ端末１やサーバ３等の他の装置と通信接続し、送信された各種情報を取得する。取得部２１は、例えば第２ユーザ端末２の有する入力部を介して、第２ユーザが入力した各種情報を取得する。

＜＜生成部２２＞＞
生成部２２は、拡張現実システム１００に利用する各種情報を生成するために用いられる。生成部２２は、例えば画像生成部を含む。

画像生成部は、第１ユーザから送られてきた贈答物Ｇを撮像した、評価画像データを生成する。評価画像データは、サーバ３を用いて表示情報を生成する際に用いられる。

評価画像データは、例えば第２ユーザ端末２に設けられた撮像部を介して生成され、静止画のほか例えば動画でもよい。評価画像データには、例えば画像処理により認識できる程度の大きさ及び解像度で贈答物Ｇが撮像されていればよく、背景や人物等が含まれた画像でもよい。

＜＜出力部２３＞＞
出力部２３は、サーバ３を用いて生成された表示情報を、第２ユーザ端末２に設けられた表示部に出力する。表示情報は、マーキングデータ及び仮想情報データを含む。これにより、第２ユーザ端末２に設けられた表示部には、マーキングデータ及び仮想情報データに基づく仮想情報ＡＲが表示される。

＜＜記憶部２４＞＞
記憶部２４は、第２ユーザ端末２の備える保存部に保存された各種情報を、必要に応じて取出す。記憶部２４は、各構成２１〜２３により取得又は生成された各種情報を、必要に応じて第２ユーザ端末２の備える保存部に保存する。

＜サーバ３＞
サーバ３は、通信網４を介して送信された各種情報を取得し、適宜処理を行って生成された処理情報を送信する。サーバ３は、例えば第１ユーザ端末１、及び第２ユーザ端末２を含む複数の端末から送信された各種情報や、各種情報に基づき生成された処理情報を蓄積する。

サーバ３として、例えばクライアントサーバモデル等を実現するための公知の電子機器が用いられ、例えば第１ユーザ端末１と同種の構成を含んでもよい。そのため、上述した第１ユーザ端末１と同様の内容については、説明を省略する。図３（ｄ）は、サーバ３の機能の一例を示す図である。サーバ３は、取得部３１と、生成部３２と、出力部３３と、記憶部３４とを備え、例えば学習部３５を備えてもよい。なお、図３（ｄ）に示した各機能は、サーバ３の備えるＣＰＵが、サーバ３の備えるＲＡＭを作業領域として、サーバ３の備える保存部等に記憶されたプログラムを実行することにより実現される。

＜＜取得部３１＞＞
取得部３１は、拡張現実システム１００に利用する各種情報を取得するために用いられる。取得部３１は、例えば第１ユーザ端末１や第２ユーザ端末２等の他の装置と通信接続し、送信された各種情報を取得する。取得部３１は、例えばサーバ３の有する入力部を介して、拡張現実システム１００の管理者等が入力した各種情報を取得する。

＜＜生成部３２＞＞
生成部３２は、拡張現実システム１００に利用する各種情報を生成するために用いられる。生成部３２は、例えばサーバ３の備える保存部に記憶されたデータベースを参照し、各種情報を生成する。生成部３２は、例えばコード情報生成部と、表示情報生成部とを含む。

コード情報生成部は、第１ユーザ端末１を用いて生成された拡張現実情報に基づき、コード情報を生成する。コード情報は、拡張現実情報に紐づく接続データ、及び拡張現実情報を利用するためのアプリ起動データを含む。

接続データは、サーバ３に保存された複数の拡張現実情報のうち、特定の拡張現実情報と接続するためのデータを示す。接続データとして、例えばＵＲＬ（Uniform Resource Locator）やバーコード等のような、公知の保存場所を特定する情報が用いられる。

接続データは、第２ユーザ端末２と接続する際に用いられる。このため、接続データを用いて接続された第２ユーザ端末２は、サーバ３に保存された複数の拡張現実情報のうち、特定の拡張現実情報のみと接続され、他の拡張現実情報とは接続されない。

アプリ起動データは、拡張現実システム１００を利用するためのプログラムを起動するためのデータを示す。アプリ起動データには、上記プログラムが含まれるほか、例えば上記プログラムをダウンロードするためのＵＲＬを含んでもよい。

コード情報生成部は、例えば拡張現実情報に対する接続データを、ランダムに選択された文字列に基づき生成する。コード情報生成部は、例えばデータベースを参照し、拡張現実情報に対する接続データを選択し、接続データを含むコード情報を生成する。この際、データベースには、例えば予め取得された画像データと、画像データに紐づく接続データとの一対のデータが、複数記憶される。

データベースとして、例えば上述した一対のデータを複数記憶したリレーショナルデータベースが用いられる。データベースには、例えば上述した一対のデータを複数用いた機械学習によって生成された学習済みモデルが記憶されてもよい。学習済みモデルは、例えばＣＮＮ（Convolutional Neural Network）等のニューラルネットワークモデルを示すほか、ＳＶＭ（Support Vector Machine）等を示す。また、機械学習として、例えば深層学習を用いることができる。

表示情報生成部は、第２ユーザ端末２を用いて生成された評価画像データに基づき、表示情報を生成する。表示情報生成部は、評価画像データと画像データとを比較し、対応すると判断した場合、表示情報を生成する。表示情報は、コード情報を生成する際に用いた拡張現実情報に含まれるマーキングデータ及び仮想情報データを含む。

表示情報生成部は、例えば公知の画像マッチング技術を用いて、評価画像データと画像データとを比較する。この場合、評価画像データと画像データとが対応すると判断する基準は、任意に設定することができる。

表示情報生成部は、例えばデータベースを参照し、評価画像データと画像データとを比較してもよい。この場合、データベースには、機械学習により生成された学習済みモデルが記憶される。機械学習には、予め取得された学習用評価画像データを説明変数、及び学習用評価画像データに紐づく学習用画像データを目的変数とした一対の学習データが、複数用いられる。学習済みモデルは、例えばＣＮＮ等のニューラルネットワークモデルを示すほか、ＳＶＭ等を示す。また、機械学習として、例えば深層学習を用いることができる。

＜＜出力部３３＞＞
出力部３３は、第１ユーザ端末１や第２ユーザ端末２等の他の装置と通信接続し、各種情報を送信する。出力部３３は、例えばサーバ３に設けられた表示部に対して各種情報を表示するための情報を出力する。

＜＜記憶部３４＞＞
記憶部３４は、サーバ３の備える保存部に記憶されたデータベース等の各種情報を、必要に応じて取出す。記憶部３４は、各構成３１〜３４により取得又は生成された各種情報を、必要に応じてサーバ３の備える保存部に保存する。

＜＜学習部３５＞＞
学習部３５は、例えば上述したデータベースを生成、又は更新する。学習部３５は、例えば公知の更新技術を用いることができる。学習部３５は、例えば上述した説明変数及び目的変数の一対の学習データを新たに取得し、機械学習により学習済みモデルを更新する。

＜通信網４＞
通信網４は、第１ユーザ端末１と、第２ユーザ端末２と、サーバ３とを通信回線を介して接続される公知のインターネット等を示す。通信網４として、例えばＷｉ−Ｆｉ（登録商標）等のような公知の無線通信技術が用いられ、用途に応じて任意に設定できる。

（第１実施形態：拡張現実システム１００の動作）
次に、本実施形態における拡張現実システム１００の動作の一例について説明する。図５は、本実施形態における拡張現実システム１００の動作の一例を示すシーケンス図である。

拡張現実システム１００は、拡張現実情報生成ステップＳ１１０と、コード情報生成ステップＳ１２０と、通知情報生成ステップＳ１３０と、接続ステップＳ１４０と、画像生成ステップＳ１５０と、表示情報生成ステップＳ１６０と、表示ステップＳ１７０とを備える。

＜拡張現実情報生成ステップＳ１１０＞
拡張現実情報生成ステップＳ１１０は、第１ユーザ端末１を用いて、拡張現実情報を生成する。拡張現実情報生成ステップＳ１１０では、例えば画像データ、マーキングデータ、仮想情報データの順に生成され、画像データ、マーキングデータ、及び仮想情報データを含む拡張現実情報が生成される。

例えば第１ユーザ端末１の拡張現実情報生成部は、撮像部１１１を介して贈答物Ｇの画像を示す画像データを取得する。画像データを取得するタイミングは、任意である。

その後、拡張現実情報生成部は、例えば入力部１０９を介して第１ユーザが入力した内容に基づき、画像データ内の贈答物Ｇに対するマーキングデータを生成する。拡張現実情報生成部は、例えば第１ユーザが画像データ内の贈答物Ｇに対する特定の位置を選択し、選択した内容に基づきマーキングデータを生成する。拡張現実情報生成ステップＳ１１０では、例えば図４（ａ）に示す仮想情報ＡＲを付与する向きの候補から、第１ユーザが特定の向きを選択し、選択した内容をマーキングデータに含ませてもよい。

その後、拡張現実情報生成部は、例えば入力部１０９を介して第１ユーザが入力した内容に基づき、仮想情報ＡＲの種類を示す仮想情報データを生成する。拡張現実情報生成ステップＳ１１０では、例えば図４（ｂ）に示す複数の仮想情報ＡＲの候補から、第１ユーザが特定の仮想情報ＡＲを選択し、拡張現実情報生成部が選択された仮想情報ＡＲを表示するための仮想情報データを生成する。

上述した画像データ、マーキングデータ、及び仮想情報データが生成されることで、各データを含む拡張現実情報が生成される。なお、拡張現実情報生成ステップＳ１１０では、第１ユーザ端末１と、サーバ３とが接続状態であるほうが好ましい。この場合、例えば上述した仮想情報ＡＲの候補を、全て第１ユーザ端末１に保存する必要がなく、贈答物Ｇに適した仮想情報ＡＲの候補のみをサーバ３から取得し、第１ユーザに選択させることができる。これにより、第１ユーザ端末１で使用されるデータ容量の増加を抑制することが可能となる。

＜コード情報生成ステップＳ１２０＞
コード情報生成ステップＳ１２０は、サーバ３を用いてコード情報を生成する。例えばサーバ３のコード情報生成部は、拡張現実情報に基づき、コード情報を生成する。

コード情報生成部は、第１ユーザ端末１から送信された拡張現実情報を取得し、例えば拡張現実情報をデータベース等に記憶させる。その後、コード情報生成部は、拡張現実情報に紐づく接続データを生成する。接続データとして、例えばランダムで選択された文字列を含むＵＲＬが生成される。その後、コード情報生成部は、接続データ及びアプリ起動データを含むコード情報を生成する。なお、アプリ起動データは、例えば予め保存部等に保存されてもよい。

＜通知情報生成ステップＳ１３０＞
通知情報生成ステップＳ１３０は、第１ユーザ端末１を用いて、通知情報を生成する。例えば第１ユーザ端末１の通知情報生成部は、コード情報に基づき、通知情報を生成する。

通知情報生成部は、サーバ３から送信されたコード情報を取得する。その後、通知情報生成部は、コード情報を含む通知情報を生成する。通知情報生成部は、例えば第１ユーザが入力したメッセージデータを、通知情報に含ませて生成してもよい。

＜接続ステップＳ１４０＞
接続ステップＳ１４０は、第２ユーザ端末２を用いて、サーバ３と接続する。例えば第２ユーザ端末２の取得部２１は、第１ユーザ端末１から送信された通知情報を取得する。その後、取得部２１は、通知情報に含まれる接続データ及びアプリ起動データを用いて、サーバ３と接続する。例えば取得部２１は、アプリ起動データを用いて専用のアプリケーションを起動したあと、接続データを用いてサーバ３に接続する。

＜画像生成ステップＳ１５０＞
画像生成ステップＳ１５０は、第２ユーザ端末２を用いて、評価画像データを生成する。例えば第２ユーザ端末２の画像生成部は、第２ユーザ端末２に設けられた撮像部を介して、評価画像データを生成する。

画像生成部は、贈答物Ｇを撮像した評価画像データを生成する。この際、接続ステップＳ１４０において起動した専用のアプリケーションを利用して、評価画像データを生成できるようにしてもよい。なお、画像生成部が評価画像データを生成するタイミングや頻度は、任意に設定することができる。

なお、拡張現実情報生成ステップＳ１１０を実施したあと、画像生成ステップＳ１５０を実施する前までに、贈答物Ｇは第１ユーザから第２ユーザに受け渡される。贈答物Ｇの受け渡し方法は、任意である。

＜表示情報生成ステップＳ１６０＞
表示情報生成ステップＳ１６０は、サーバ３を用いて、表示情報を生成する。例えば、サーバ３の表示情報生成部は、評価画像データに基づき、表示情報を生成する。

表示情報生成部は、第２ユーザ端末２から送信された評価画像データを取得する。その後、表示情報生成部は、評価画像データと、画像データとを比較する。この際、比較対象となる画像データは、コード情報生成ステップＳ１２０で取得した拡張現実情報に含まれる画像データを示し、第２ユーザ端末２が接続する際に用いた接続データと紐づけられた画像データを示す。

表示情報生成部は、評価画像データが画像データと対応すると判断した場合、マーキングデータ及び仮想情報データを含む表示情報を生成する。この際、マーキングデータ及び仮想情報データは、コード情報生成ステップＳ１２０で取得した拡張現実情報に含まれるマーキングデータ及び仮想情報データを示す。

＜表示ステップＳ１７０＞
表示ステップＳ１７０は、例えば図２（ｂ）に示すように、第２ユーザ端末２の表示部に、仮想情報ＡＲを表示する。例えば第２ユーザ端末２の出力部２３は、サーバ３から送信された表示情報を取得する。その後、出力部２３は、第２ユーザ端末２の表示部に対し、表示情報を出力する。これにより、表示部には、表示情報に含まれるマーキングデータ及び仮想情報データに基づく仮想情報ＡＲが表示される。なお、表示ステップＳ１７０における仮想情報ＡＲを表示させる方法は、公知の技術により実施されてもよい。

これにより、拡張現実システム１００の動作が終了する。なお、各ステップを実施する頻度や順番は、用途に応じて任意に設定できる。

本実施形態によれば、通知情報生成ステップＳ１３０は、コード情報を含む通知情報を、第１ユーザ端末１を用いて生成する。また、接続ステップＳ１４０は、接続データ及びアプリ起動コードに基づき、第２ユーザ端末２を用いてサーバ３と接続する。これらのため、拡張現実情報に紐づく接続データは、第２ユーザ端末２以外の不特定多数のユーザが取得することを防ぐことができる。これにより、特定のユーザのみが仮想情報ＡＲを確認することが可能となる。

また、本実施形態によれば、コード情報生成ステップＳ１２０は、サーバ３を用いてコード情報を生成する。このため、第１ユーザ端末１によって実施される処理を低減することができる。これにより、第１ユーザ端末１における負荷低減を図ることが可能となる。

また、本実施形態によれば、接続ステップＳ１４０は、ソーシャルネットワークサービスを介して、第１ユーザ端末１から通知情報を取得する。このため、ユーザの知人のみのような限られたネットワーク内で各情報の送受信を実施することができる。これにより、秘匿性を向上させることが可能となる。

また、本実施形態によれば、拡張現実情報は、第１ユーザが入力したメッセージデータを含む。このため、第１ユーザから第２ユーザに対し、贈答物Ｇの趣旨等を付与することができる。これにより、利便性の向上を図ることが可能となる。

また、本実施形態によれば、表示情報生成ステップＳ１６０は、学習済みモデルを参照し、評価画像データと画像データとを比較する。このため、学習済みモデルをサーバ３上で管理することができる。これにより、学習済みモデルのメンテナンスを容易に実施することが可能となる。

（第２実施形態：拡張現実システム１００）
次に、第２実施形態における拡張現実システム１００の一例について説明する。上述した実施形態と、第２実施形態との違いは、広告情報ＡＤが記憶された広告用データベースを備える点である。なお、上述した実施形態と同様の内容については、説明を省略する。

本実施形態における拡張現実システム１００は、予め取得された広告情報群が記憶された広告用データベースを備える。広告用データベースは、例えばサーバ３の保存部に保存される。

広告用データベースには、例えば予め取得された学習用評価画像データと、学習用評価画像データに紐づく広告情報ＡＤとの一対のデータが、複数記憶される。広告用データベースとして、例えば上述した一対のデータを複数記憶したリレーショナルデータベースが用いられる。

広告用データベースには、例えば学習用評価画像データを説明変数、及び広告情報ＡＤを目的変数とした一対の学習データを複数用いた機械学習によって生成された、広告用学習済みモデルが記憶されてもよい。広告用学習済みモデルは、例えばＣＮＮ等のニューラルネットワークモデルを示すほか、ＳＶＭ等を示す。

学習用評価データは、例えば以前に利用した評価画像データのほか、以前に利用した画像データを含んでもよく、評価画像データと比較できるデータであれば任意である。

広告情報ＡＤは、例えば図７（ａ）に示すように、仮想情報ＡＲの表示に合わせて表示されるほか、例えば図７（ｂ）に示すように、仮想情報ＡＲとは異なるタイミングに表示されてもよく、用途に応じて任意に設定することができる。

広告情報ＡＤとして、任意の広告内容を用いることができるが、特に贈答物Ｇや仮想情報ＡＲに関連する広告内容を用いることで、第２ユーザが閲覧する可能性を高めることができる。

なお、広告用データベースには、例えば第１ユーザ端末１に表示するための広告情報ＡＤ（第１ユーザ用広告情報）が記憶されてもよい。この場合、例えば第１ユーザ端末１を用いて生成された画像データに基づき、画像データに適した広告情報ＡＤを第１ユーザ端末１に表示することができる。

（第２実施形態：拡張現実システム１００の動作）
次に、本実施形態における拡張現実システム１００の動作の一例について説明する。図６は、本実施形態における拡張現実システム１００の動作の一例を示すシーケンス図である。なお、上述した実施形態と同様の内容については、説明を省略する。

本実施形態における拡張現実システム１００は、広告情報選択ステップＳ１８０と、広告情報表示ステップＳ１９０とをさらに備える。

＜広告情報選択ステップＳ１８０＞
広告情報選択ステップＳ１８０は、例えば図６に示すように、表示ステップＳ１７０のあとに実施される。なお、広告情報選択ステップＳ１８０は、例えば表示情報生成ステップＳ１６０の前後で実施されてもよい。

広告情報選択ステップＳ１８０は、サーバ３を用いて、広告情報ＡＤを選択する。広告情報選択ステップＳ１８０では、例えばサーバ３の表示情報生成部は、広告用データベースから評価画像データに対応する広告情報ＡＤを選択する。

この際、表示情報生成部は、例えば公知の画像マッチング技術を用いて、評価画像データと、広告用データベースに記憶された学習用評価画像データとを比較し、評価画像データに対応する学習用評価画像データを特定してもよい。この場合、表示情報生成部は、特定した学習用評価画像データに紐づく広告情報ＡＤを選択する。上記のほか、表示情報生成部は、例えば広告用学習済みモデルを参照し、評価画像データに対応する広告情報ＡＤを選択してもよい。

＜広告情報表示ステップＳ１９０＞
広告情報表示ステップＳ１９０は、第２ユーザ端末２を用いて、広告情報ＡＤを表示する。例えば第２ユーザ端末２の出力部２３は、サーバ３から送信された広告情報ＡＤを取得する。その後、出力部２３は、第２ユーザ端末２の表示部に対し、広告情報ＡＤを出力する。これにより、表示部には、広告情報ＡＤが表示される。なお、広告情報表示ステップＳ１９０は、表示ステップＳ１７０と同じタイミングで実施されてもよい。また、広告情報表示ステップＳ１９０における広告情報ＡＤを表示させる方法は、公知の技術により実施されてもよい。

本実施形態における拡張現実システム１００は、例えば付加広告情報選択ステップと、付加広告情報表示ステップとをさらに備えてもよい。各ステップを実施するタイミングは、任意である。

付加広告情報選択ステップは、サーバ３を用いて、第１ユーザ用広告情報を選択する。例えば、サーバ３の表示情報生成部は、広告用データベースから第１ユーザ用広告情報を選択する。表示情報生成部は、第１ユーザ用広告情報を選択する際、画像データのほか、評価画像データに基づき選択してもよい。なお、第１ユーザ用広告情報を選択する方法は、上述した広告情報選択ステップＳ１８０における広告情報ＡＤの選択方法と同様でもよい。

付加広告情報表示ステップは、第１ユーザ端末１の表示部１１０に、第１ユーザ用広告情報を表示する。例えば第１ユーザ端末１の出力部１３は、サーバ３から送信された第１ユーザ用広告情報を取得する。その後、出力部１３は、表示部１１０に対し、第１ユーザ用広告情報を出力する。これにより、表示部１１０には、第１ユーザ用広告情報が表示される。なお、付加広告情報表示ステップにおける第１ユーザ用広告情報を表示させる方法は、公知の技術により実施されてもよい。

本実施形態によれば、広告情報選択ステップＳ１８０は、表示ステップＳ１７０のあと、広告用データベースから評価画像データに対応する広告情報ＡＤを、サーバ３を用いて選択する。このため、第２ユーザに対して興味を持つ可能性の高い広告情報ＡＤを表示させることができる。これにより、広告情報ＡＤの閲覧精度を向上させることが可能となる。また、贈答物Ｇを受取る側の第２ユーザを対象とした、新規プロモーション手法として利用することが可能となる。

また、本実施形態によれば、付加広告情報選択ステップは、サーバ３を用いて広告用データベースから第１ユーザ用広告情報を選択する。このため、第２ユーザに対して利用した広告情報群を、第１ユーザに対しても利用することができ、広告情報群を共有することができる。これにより、広告用データベースの容量の削減を図ることが可能となる。また、広告情報群から選択された情報に対する履歴を、容易に把握することが可能となる。

また、本実施形態によれば、広告情報選択ステップＳ１８０は、広告用学習済みモデルを参照し、評価画像データに対する広告情報ＡＤを選択する。このため、学習用評価画像データとは異なる未知の評価用画像データに対しても、最適な広告情報ＡＤを選択することができる。これにより、よりユーザに適したプロモーション手法として利用することが可能となる。

また、本実施形態によれば、広告情報選択ステップＳ１８０は、広告用データベースから評価画像データに対応する広告情報ＡＤを選択する。即ち、広告情報ＡＤを選択する際、ユーザの情報を含むＣｏｏｋｉｅ等のデータを利用しない。このため、個人情報を利用することなく、広告情報ＡＤを選択することができる。これにより、従来よりも個人情報の取扱いを配慮した広告情報ＡＤの提供が可能となる。

（第３実施形態：拡張現実システム１００）
次に、第３実施形態における拡張現実システム１００の一例について説明する。上述した実施形態と、第３実施形態との違いは、位置合わせ用画像を用いる点である。なお、上述した実施形態と同様の内容については、説明を省略する。

本実施形態における拡張現実システム１００では、例えば上述した画像生成ステップＳ１５０において、位置合わせ用画像が用いられる。画像生成ステップＳ１５０は、例えば図８（ａ）に示すように、第２ユーザ端末２において評価画像データを生成する際、位置合わせ用画像Ｔを第２ユーザ端末２の表示部に表示する。その後、例えば図８（ｂ）に示すように、撮像された贈答物Ｇが、表示部上で位置合わせ用画像Ｔと重なる場合に、評価画像データを生成する。

位置合わせ画像は、画像データに含まれる贈答物Ｇの少なくとも一部を示し、例えば半透明化された画像を示す。なお、「半透明化された画像」とは、例えば画像データに対して透明度が０％を超えて１００％未満に設定された画像を示す。

（第３実施形態：拡張現実システム１００の動作）
次に、第３実施形態における拡張現実システム１００の動作の一例について説明する。なお、上述した実施形態と同様の内容については、説明を省略する。

本実施形態における拡張現実システム１００では、上述したコード情報生成ステップＳ１２０は、画像データの少なくとも一部に基づき、位置合わせ用画像を生成し、位置合わせ用画像を含むコード情報を生成することを含む。

例えばサーバ３のコード情報生成部は、画像データから、贈答物Ｇの画像を抽出する。その後、抽出した画像に対して任意の透明度で加工することで、位置合わせ用画像を生成する。なお、贈答物Ｇの画像は、例えば贈答物Ｇ全体のほか、贈答物Ｇの少なくとも一部でもよく、用途に応じて任意に設定することができる。

また、上述した画像生成ステップＳ１５０は、位置合わせ画像を第２ユーザ端末２の表示部に表示し、撮像された贈答物Ｇが、表示部上で位置合わせ画像Ｔと重なる場合に、評価画像データを生成することを含む。

例えば第２ユーザ端末２の画像生成部は、評価画像データを生成する条件として、撮像された贈答物Ｇが、表示部上で位置合わせ画像Ｔと重なる場合とし、位置合わせ画像Ｔと重ならない場合には、評価画像データを生成しない。撮像された贈答物Ｇが、表示部上で位置合わせ画像Ｔと重なる度合いについては、任意に設定することができる。

なお、「位置合わせ画像Ｔと重なる」とは、完全に一致する場合を示すほか、位置合わせ画像Ｔの表示範囲に、撮像された贈答物Ｇが一部重なる場合を示す（例えば図８（ｂ）に示す場合も含む）。例えば位置合わせ画像Ｔに対して、贈答物Ｇが５０％以上１００％以下の重なる場合に、評価画像データを生成してもよい。

本実施形態によれば、画像生成ステップＳ１５０は、撮像された贈答物Ｇが、表示部上で位置合わせ用画像Ｔと重なる場合に、評価画像データを生成する。即ち、位置合わせ用画像Ｔを用いることで、画像データに示された贈答物Ｇの撮像角度や撮像距離等の撮像条件に近い状態で、評価画像データを生成することができる。このため、表示情報生成ステップＳ１６０における評価画像データと、画像データとを比較する際の精度を飛躍的に向上させることができる。これにより、拡張現実システム１００の利便性向上を図ることが可能となる。

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。このような新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ：第１ユーザ端末
２ ：第２ユーザ端末
３ ：サーバ
４ ：通信網
１０ ：筐体
１１ ：取得部
１２ ：生成部
１３ ：出力部
１４ ：記憶部
２１ ：取得部
２２ ：生成部
２３ ：出力部
２４ ：記憶部
３１ ：取得部
３２ ：生成部
３３ ：出力部
３４ ：記憶部
３５ ：学習部
１００ ：拡張現実システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：Ｉ／Ｆ
１０９ ：入力部
１１０ ：表示部
１１１ ：撮像部
１１２ ：内部バス
ＡＤ ：広告情報
ＡＲ ：仮想情報
Ｇ ：贈答物
Ｓ１１０ ：拡張現実情報生成ステップ
Ｓ１２０ ：コード情報生成ステップ
Ｓ１３０ ：通知情報生成ステップ
Ｓ１４０ ：接続ステップ
Ｓ１５０ ：画像生成ステップ
Ｓ１６０ ：表示情報生成ステップ
Ｓ１７０ ：表示ステップ
Ｓ１８０ ：広告情報選択ステップ
Ｓ１９０ ：広告情報表示ステップ

Claims (7)

1. 贈答物に仮想情報を付与する拡張現実システムであって、
   前記贈答物を送る側の第１ユーザが保有する第１ユーザ端末と、
   前記贈答物を受取る側の第２ユーザが保有する第２ユーザ端末と、
   前記第１ユーザ端末、及び前記第２ユーザ端末と接続されるサーバと、
   前記贈答物の画像を示す画像データ、前記贈答物に対して前記仮想情報を付与する位置を特定するためのマーキングデータ、及び前記マーキングデータに基づき表示する前記仮想情報の種類を示す仮想情報データを含む拡張現実情報を、前記第１ユーザ端末を用いて生成する拡張現実情報生成手段と、
   前記第１ユーザ端末から送信された前記拡張現実情報を取得し、前記拡張現実情報に紐づく接続データ、及び前記拡張現実情報を利用するためのアプリ起動データを含むコード情報を、前記サーバを用いて生成するコード情報生成手段と、
   前記サーバから送信された前記コード情報を取得し、前記コード情報を含む通知情報を、前記第１ユーザ端末を用いて生成する通知情報生成手段と、
   前記第１ユーザ端末から送信された前記通知情報を取得し、前記接続データ及び前記アプリ起動データに基づき、前記第２ユーザ端末を用いて前記サーバと接続する接続手段と、
   前記第１ユーザから送られてきた前記贈答物を撮像した評価画像データを、前記第２ユーザ端末を用いて生成する画像生成手段と、
   前記第２ユーザ端末から送信された前記評価画像データを取得し、前記評価画像データと前記画像データとを比較して対応すると判断した場合、前記マーキングデータ及び前記仮想情報データを含む表示情報を、前記サーバを用いて生成する表示情報生成手段と、
   前記サーバから送信された前記表示情報を取得し、前記表示情報に基づき前記仮想情報を、前記第２ユーザ端末の表示部に表示する表示手段と、
   を備え、
   前記コード情報生成手段は、
   前記画像データの少なくとも一部に基づき、位置合わせ用画像を生成し、
   前記位置合わせ用画像を含む前記コード情報を生成すること
   を含み、
   前記画像生成手段は、
   前記位置合わせ用画像を前記第２ユーザ端末の前記表示部に表示し、
   撮像された前記贈答物が、前記表示部上で前記位置合わせ用画像と重なる場合に、前記評価画像データを生成すること
   を含むこと
   を特徴とする拡張現実システム。
2. 予め取得された広告情報群が記憶された広告用データベースと、
   前記表示手段が、前記表示情報に基づき前記仮想情報を、前記第２ユーザ端末の表示部に表示したあと、前記広告用データベースから前記評価画像データに対応する広告情報を、前記サーバを用いて選択する広告情報選択手段と、
   前記サーバから送信された前記広告情報を取得し、前記広告情報を前記第２ユーザ端末の前記表示部に表示する広告情報表示手段と、
   をさらに備えること
   を特徴とする請求項１記載の拡張現実システム。
3. 前記広告用データベースから第１ユーザ用広告情報を、前記サーバを用いて選択する付加広告情報選択手段と、
   前記サーバから送信された前記第１ユーザ用広告情報を取得し、前記第１ユーザ用広告情報を前記第１ユーザ端末の表示部に表示する付加広告情報表示手段と、
   をさらに備えること
   を特徴とする請求項２記載の拡張現実システム。
4. 前記広告用データベースには、学習用評価画像データを説明変数、及び前記学習用評価画像データに紐づく学習用広告情報を目的変数として、それぞれ用いた機械学習により生成された広告用学習済みモデルが記憶され、
   前記広告情報選択手段は、前記広告用学習済みモデルを参照し、前記評価画像データに対応する前記広告情報を選択すること
   を特徴とする請求項２又は３記載の拡張現実システム。
5. 前記接続手段は、ソーシャルネットワークサービスを介して、前記第１ユーザ端末から前記通知情報を取得すること
   を特徴とする請求項１〜４の何れか１項記載の拡張現実システム。
6. 前記拡張現実情報は、前記第１ユーザが入力したメッセージデータを含むこと
   を特徴とする請求項１〜５の何れか１項記載の拡張現実システム。
7. 学習用評価画像データを説明変数、及び前記学習用評価画像データに紐づく学習用画像データを目的変数として、それぞれ用いた機械学習により生成された学習済みモデルが記憶された保存部をさらに備え、
   前記表示情報生成手段は、前記学習済みモデルを参照し、前記評価画像データと前記画像データとを比較すること
   を特徴とする請求項１記載の拡張現実システム。

Images