JP6889304B1 - Augmented reality display system, augmented reality display method, and computer program - Google Patents
Augmented reality display system, augmented reality display method, and computer program Download PDFInfo
- Publication number
- JP6889304B1 JP6889304B1 JP2020061895A JP2020061895A JP6889304B1 JP 6889304 B1 JP6889304 B1 JP 6889304B1 JP 2020061895 A JP2020061895 A JP 2020061895A JP 2020061895 A JP2020061895 A JP 2020061895A JP 6889304 B1 JP6889304 B1 JP 6889304B1
- Authority
- JP
- Japan
- Prior art keywords
- content
- users
- augmented reality
- displayed
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】新しいAR表示技術を提供する。【解決手段】現実空間上の複数ユーザに共通する地点において複数ユーザのそれぞれに対して個別のコンテンツ130を表示するために、複数ユーザのそれぞれに対する表示対象のコンテンツ130が、予め用意されたコンテンツ群から選択される。表示対象のコンテンツ130が拡張現実表示されるように、複数ユーザのそれぞれが有するモバイルデバイス10のディスプレイ14に対する表示制御が行われる。【選択図】図1PROBLEM TO BE SOLVED: To provide a new AR display technique. SOLUTION: In order to display individual contents 130 for each of a plurality of users at a point common to a plurality of users in a real space, a content group to be displayed for each of the plurality of users is prepared in advance. Is selected from. Display control is performed on the display 14 of the mobile device 10 owned by each of the plurality of users so that the content 130 to be displayed is displayed in augmented reality. [Selection diagram] Fig. 1
Description
本開示は、拡張現実表示システム及び関連する方法に関する。 The present disclosure relates to augmented reality display systems and related methods.
従来、共通の仮想オブジェクトを、複数ユーザのそれぞれが有するヘッドマウントディスプレイを通じて複数ユーザに表示するシステムが知られている(例えば特許文献1参照)。 Conventionally, there is known a system in which a common virtual object is displayed to a plurality of users through a head-mounted display owned by each of the plurality of users (see, for example, Patent Document 1).
このシステムでは、テーブル上に仮想オブジェクトが表示される。テーブルを囲む各ユーザには、テーブルに対するユーザの相対位置に応じた外観で仮想オブジェクトが表示される。このシステムは、医師による手術前カンファレンスにおいて、手術の対象となる部位を拡張現実表示するために使用される。 In this system, virtual objects are displayed on the table. Each user who surrounds the table sees the virtual object in an appearance that corresponds to the user's relative position to the table. This system is used in preoperative conferences by doctors to provide augmented reality of the site of surgery.
ところで、本発明者らは、拡張現実(AR)表示技術を利用して、広告コンテンツなどの消費者向けのコンテンツを、ユーザに表示することを考えている。しかしながら、この種のコンテンツに関する従来技術は、決められた現実空間上の地点に、その地点に関連付けられた単一のコンテンツを、AR表示するという単純なものである。 By the way, the present inventors are considering displaying consumer content such as advertising content to a user by using augmented reality (AR) display technology. However, the prior art for this type of content is as simple as AR-displaying a single piece of content associated with a given point in real space.
そこで、本開示の一側面によれば、複数ユーザに対するコンテンツ表示に適した新しいAR表示技術を提供できることが望ましい。 Therefore, according to one aspect of the present disclosure, it is desirable to be able to provide a new AR display technology suitable for displaying contents to a plurality of users.
本開示の一側面によれば、選択部と、表示制御部とを備える拡張現実表示システムが提供される。選択部は、現実空間上の複数ユーザに共通する地点において複数ユーザのそれぞれに対して個別のコンテンツを表示するために、複数ユーザのそれぞれに対する表示対象のコンテンツを、予め用意されたコンテンツ群から選択するように構成され得る。表示制御部は、上記共通する地点において上記選択された表示対象のコンテンツが拡張現実表示されるように、複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行うように構成され得る。 According to one aspect of the present disclosure, an augmented reality display system including a selection unit and a display control unit is provided. The selection unit selects the content to be displayed for each of the plurality of users from the content group prepared in advance in order to display the individual content for each of the plurality of users at a point common to the plurality of users in the real space. Can be configured to. The display control unit may be configured to control the display of the mobile device of each of the plurality of users so that the content to be displayed selected is displayed in augmented reality at the common point.
複数ユーザに共通する地点でユーザ別のコンテンツを拡張現実表示することによれば、ユーザ間における拡張現実の情報共有を可能にしつつ、各ユーザに適したコンテンツを表示することができる。従って、本開示の一側面によれば、複数ユーザに対するコンテンツ表示に適した新しいAR表示技術を提供することができる。 By displaying the content for each user in augmented reality at a point common to a plurality of users, it is possible to display the content suitable for each user while enabling information sharing of the augmented reality among the users. Therefore, according to one aspect of the present disclosure, it is possible to provide a new AR display technology suitable for displaying contents to a plurality of users.
本開示の一側面によれば、表示制御部は、表示対象のコンテンツが複数ユーザに共通する仮想オブジェクトを含む拡張現実画像として表示されるように、ディスプレイに対する表示制御を行う構成にされ得る。 According to one aspect of the present disclosure, the display control unit may be configured to control the display on the display so that the content to be displayed is displayed as an augmented reality image including a virtual object common to a plurality of users.
表示制御によって、複数ユーザのそれぞれのディスプレイには、拡張現実画像に対応する三次元物体が仮に上記地点において現実に存在する場合の周囲からの三次元物体の外観を模倣するように、対応するユーザの位置及び向きに応じた形態で拡張現実画像が表示されてもよい。 By the display control, the corresponding user so as to imitate the appearance of the three-dimensional object from the surroundings when the three-dimensional object corresponding to the augmented reality image actually exists at the above point on each display of the plurality of users. The augmented reality image may be displayed in a form corresponding to the position and orientation of.
共通地点で複数ユーザに共通する仮想オブジェクトを表示することによれば、ユーザ間で仮想オブジェクトの認識を共有することができる。コンテンツのユーザ別の表示によれば、各ユーザに対してより適したコンテンツを表示することができる。しかも、現実の三次元物体の見え方に即した拡張現実画像の表示は、現実空間に対して親和性が高い。 By displaying a virtual object common to a plurality of users at a common point, the recognition of the virtual object can be shared among the users. According to the user-specific display of the content, it is possible to display the content more suitable for each user. Moreover, the display of an augmented reality image that matches the appearance of a real three-dimensional object has a high affinity for the real space.
従って、本開示の一側面によれば、多様でありながら統一感のある、現実空間との調和のとれたコンテンツのAR表示技術を提供することができる。この技術は、消費者向けの多様なコンテンツのAR表示に適している。 Therefore, according to one aspect of the present disclosure, it is possible to provide an AR display technology for contents that are diverse but unified and that are in harmony with the real space. This technology is suitable for AR display of various contents for consumers.
本開示の一側面によれば、複数ユーザのそれぞれの位置及び向きは、対応するユーザのモバイルデバイスに搭載されたカメラからの映像データ又は測距デバイスからの測距データと、現実空間の三次元マップデータとに基づいて推定されてもよい。 According to one aspect of the present disclosure, the respective positions and orientations of the plurality of users are the video data from the camera mounted on the mobile device of the corresponding user or the distance measurement data from the distance measurement device, and the three dimensions of the real space. It may be estimated based on the map data.
拡張現実表示システムは、映像データ又は測距データに基づき、三次元マップデータを更新するように構成されるマップ更新部を更に備えていてもよい。三次元マップデータに基づけば、ユーザの位置及び向きを高精度に推定可能であり、高精度な推定は、地点に紐づいた拡張現実画像の適切な表示に役立つ。 The augmented reality display system may further include a map update unit configured to update the three-dimensional map data based on the video data or the distance measurement data. Based on the three-dimensional map data, the position and orientation of the user can be estimated with high accuracy, and the high-precision estimation is useful for appropriately displaying the augmented reality image associated with the point.
本開示の一側面によれば、選択部は、複数ユーザのそれぞれの属性及び行動履歴の少なくとも一方を説明する説明データを取得してもよい。選択部は、説明データに基づき、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。こうした選択によれば、各ユーザに適切なコンテンツを表示可能である。 According to one aspect of the present disclosure, the selection unit may acquire explanatory data explaining at least one of the attributes and behavior history of each of the plurality of users. The selection unit may select the content to be displayed for each of the plurality of users from the content group based on the explanatory data. With such a selection, it is possible to display appropriate content to each user.
本開示の一側面によれば、選択部は、複数ユーザのそれぞれに対する過去のコンテンツの表示履歴を説明する表示履歴データを取得してもよい。選択部は、表示履歴データに基づき、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。 According to one aspect of the present disclosure, the selection unit may acquire display history data for explaining the display history of past contents for each of the plurality of users. The selection unit may select the content to be displayed for each of the plurality of users from the content group based on the display history data.
本開示の一側面によれば、拡張現実表示システムは、状態判別部を備えていてもよい。状態判別部は、現実空間を撮影するカメラからの映像データに基づき、複数ユーザのそれぞれの状態として、心理的な状態及び身体的な状態の少なくとも一方を判別するように構成されてもよい。 According to one aspect of the present disclosure, the augmented reality display system may include a state determination unit. The state determination unit may be configured to determine at least one of a psychological state and a physical state as each state of the plurality of users based on the video data from the camera that captures the real space.
本開示の一側面によれば、選択部は、状態判別部により判別された複数ユーザのそれぞれの状態に基づき、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。こうした選択によれば、各ユーザの状態に応じた適切なコンテンツを表示可能である。 According to one aspect of the present disclosure, the selection unit may select the content to be displayed for each of the plurality of users from the content group based on the respective states of the plurality of users determined by the state determination unit. According to such a selection, it is possible to display appropriate contents according to the state of each user.
本開示の一側面によれば、拡張現実表示システムは、関係判別部を備えていてもよい。関係判別部は、ユーザ間の社会的関係を判別するように構成されてもよい。選択部は、関係判別部により判別された社会的関係に基づいて、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。 According to one aspect of the present disclosure, the augmented reality display system may include a relationship determination unit. The relationship determination unit may be configured to determine the social relationship between users. The selection unit may select the content to be displayed for each of the plurality of users from the content group based on the social relationship determined by the relationship determination unit.
本開示の一側面によれば、関係判別部は、複数ユーザのそれぞれの予め登録された知人情報に基づき、社会的関係を判別してもよい。選択部は、知人関係にあるユーザグループに対して、同じコンテンツ又は相互に関連するコンテンツが表示されるように、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択してもよい。こうした選択によれば、行動を共にしている可能性や目的を共有している可能性の高い知人関係にある複数ユーザに対して、より適切なコンテンツを表示可能である。 According to one aspect of the present disclosure, the relationship determination unit may determine the social relationship based on the pre-registered acquaintance information of each of the plurality of users. The selection unit may select the content to be displayed for each of the plurality of users from the content group so that the same content or the content related to each other is displayed to the user group having an acquaintance relationship. According to such a selection, more appropriate content can be displayed to a plurality of users who are acquainted with each other and who are likely to be acting together or sharing a purpose.
本開示の一側面によれば、拡張現実表示システムは、地点判別部を備えていてもよい。地点判別部は、コンテンツが表示される地点の特徴を判別するように構成されてもよい。選択部は、地点判別部により判別された地点の特徴に基づいて、複数ユーザのそれぞれに対する表示対象のコンテンツを、コンテンツ群から選択するように構成されてもよい。 According to one aspect of the present disclosure, the augmented reality display system may include a point determination unit. The point determination unit may be configured to determine the characteristics of the point where the content is displayed. The selection unit may be configured to select the content to be displayed for each of the plurality of users from the content group based on the characteristics of the point determined by the point determination unit.
本開示の一側面によれば、選択部は、上記地点の特徴に応じてコンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、複数ユーザのそれぞれに対する表示対象のコンテンツを選択するように構成されてもよい。 According to one aspect of the present disclosure, the selection unit excludes a part of the content group from the selection target according to the characteristics of the above points, and selects the content to be displayed for each of a plurality of users from the remaining content group. It may be configured to be selected.
本開示の一側面によれば、選択部は、コンテンツ群における各コンテンツの特徴と地点の特徴との関係に基づいて、コンテンツ群の一部を選択対象から除外してもよい。コンテンツの表示に関する価値又は適切さは、そのコンテンツが表示される地点の特徴とコンテンツの特徴との関係に応じて変化する。従って、地点の特徴に応じて、その地点に相応しくないコンテンツ群の一部を選択対象から除外することは、大変有意義である。 According to one aspect of the present disclosure, the selection unit may exclude a part of the content group from the selection target based on the relationship between the feature of each content in the content group and the feature of the point. The value or appropriateness of displaying the content varies depending on the relationship between the characteristics of the point where the content is displayed and the characteristics of the content. Therefore, it is very meaningful to exclude a part of the content group that is not suitable for the point from the selection target according to the characteristics of the point.
本開示の一側面によれば、予め用意されたコンテンツ群から表示対象のコンテンツを選択する選択部と、表示対象のコンテンツがユーザの視界において現実空間に重ねて拡張現実表示されるように、ユーザが有するモバイルデバイスのディスプレイに対する表示制御を行うように構成される表示制御部と、コンテンツが表示される現実空間上の地点の特徴を判別するように構成される地点判別部と、を備え、選択部が、コンテンツ群における各コンテンツの特徴と地点の特徴との関係に基づいて、コンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、表示対象のコンテンツを選択する拡張現実表示システムが提供されてもよい。 According to one aspect of the present disclosure, a selection unit for selecting content to be displayed from a group of contents prepared in advance and a user so that the content to be displayed is displayed in augmented reality so as to be superimposed on the real space in the user's view. A display control unit configured to control the display of the mobile device of the mobile device, and a point determination unit configured to discriminate the characteristics of the point in the real space where the content is displayed, and select the content. Augmented reality in which the department excludes a part of the content group from the selection target and selects the content to be displayed from the remaining content group based on the relationship between the characteristic of each content in the content group and the characteristic of the point. A display system may be provided.
本開示の一側面によれば、地点判別部は、地点の特徴として、地点に存在する施設の属性を判別してもよい。選択部は、コンテンツ群における各コンテンツの特徴と施設の属性との関係に基づいて、コンテンツ群の一部を選択対象から除外してもよい。こうした除外によれば、表示地点に存在する施設に対して相応しくない広告コンテンツ等のコンテンツを選択対象から除外することができる。 According to one aspect of the present disclosure, the point determination unit may determine the attributes of the facilities existing at the point as a feature of the point. The selection unit may exclude a part of the content group from the selection target based on the relationship between the characteristics of each content in the content group and the attributes of the facility. According to such exclusion, content such as advertising content that is not suitable for the facility existing at the display point can be excluded from the selection target.
本開示の一側面によれば、拡張現実表示システムにおける選択部、表示制御部、状態判別部、関係判別部、地点判別部、及びマップ更新部の少なくとも一つとしてコンピュータを機能させるためのコンピュータプログラムが提供されてもよい。 According to one aspect of the present disclosure, a computer program for operating a computer as at least one of a selection unit, a display control unit, a state determination unit, a relationship determination unit, a point determination unit, and a map update unit in an augmented reality display system. May be provided.
本開示の一側面によれば、コンピュータによって実行される拡張現実表示方法が提供されてもよい。拡張現実表示方法は、現実空間上の複数ユーザに共通する地点において複数ユーザのそれぞれに対して個別のコンテンツを表示するために、複数ユーザのそれぞれに対する表示対象のコンテンツを、予め用意されたコンテンツ群から選択することと、当該共通する地点において表示対象のコンテンツが拡張現実表示されるように、複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行うことと、を含んでいてもよい。 According to one aspect of the present disclosure, an augmented reality display method performed by a computer may be provided. In the augmented reality display method, in order to display individual contents for each of a plurality of users at a point common to a plurality of users in the real space, the content to be displayed for each of the plurality of users is prepared in advance as a content group. It may include selecting from, and performing display control on the display of the mobile device owned by each of the plurality of users so that the content to be displayed is displayed in augmented reality at the common point.
表示制御を行うことは、表示対象のコンテンツが複数ユーザに共通する仮想オブジェクトを含む拡張現実画像として表示されるように、ディスプレイに対する表示制御を行うことを含んでいてもよい。 The display control may include performing display control on the display so that the content to be displayed is displayed as an augmented reality image including a virtual object common to a plurality of users.
表示制御によって、複数ユーザのそれぞれのディスプレイには、拡張現実画像に対応する三次元物体が仮に地点において現実に存在する場合の周囲からの三次元物体の外観を模倣するように、対応するユーザの位置及び向きに応じた形態で拡張現実画像が表示されてもよい。 Due to display control, each display of multiple users has a corresponding user's display so that the appearance of the three-dimensional object from the surroundings when the three-dimensional object corresponding to the augmented reality image actually exists at the point is imitated. The augmented reality image may be displayed in a form corresponding to the position and orientation.
本開示の一側面によれば、コンピュータによって実行される拡張現実表示方法であって、予め用意されたコンテンツ群から表示対象のコンテンツを選択することと、表示対象のコンテンツがユーザの視界において現実空間に重ねて拡張現実表示されるように、ユーザが有するモバイルデバイスのディスプレイに対する表示制御を行うことと、コンテンツが表示される現実空間上の地点の特徴を判別することと、を備える拡張現実表示方法が提供されてもよい。選択することは、コンテンツ群における各コンテンツの特徴と地点の特徴との関係に基づいて、コンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、表示対象のコンテンツを選択することを含んでいてもよい。 According to one aspect of the present disclosure, it is an augmented reality display method executed by a computer, in which the content to be displayed is selected from a group of contents prepared in advance, and the content to be displayed is a real space in the user's view. Augmented reality display method that includes performing display control on the display of a mobile device owned by the user so that the content is displayed in augmented reality, and determining the characteristics of points in the real space where the content is displayed. May be provided. The selection is based on the relationship between the characteristics of each content in the content group and the characteristics of the points, a part of the content group is excluded from the selection target, and the content to be displayed is selected from the remaining content group. It may include that.
以下に本開示の例示的実施形態を、図面を参照しながら説明する。
本実施形態の拡張現実(AR)表示システム1は、ユーザ毎のモバイルデバイス10と、サービス提供システム50とを備える。このAR表示システム1では、モバイルデバイス10が、サービス提供システム50からAR画像データの提供を受けて、ユーザの視界にある現実空間に重ねてAR画像110を表示する。以下において「AR」は、拡張現実を意味すると理解されてよい。
An exemplary embodiment of the present disclosure will be described below with reference to the drawings.
The augmented reality (AR) display system 1 of the present embodiment includes a
モバイルデバイス10は、例えば、眼鏡、ゴーグル、又はコンタクトレンズ型のウェアラブル機器として構成される。モバイルデバイス10は、プロセッサ11と、メモリ12と、ストレージ13と、ディスプレイ14と、入力デバイス15と、カメラ16と、位置検出器17と、通信デバイス19とを備える。
The
プロセッサ11は、ストレージ13に格納されたコンピュータプログラムに従う処理を実行するように構成される。メモリ12は、プロセッサ11による処理実行時に作業領域として使用される。ストレージ13は、例えばフラッシュメモリで構成される。ストレージ13は、コンピュータプログラム及び各種データを記憶する。
The
ディスプレイ14は、例えば透過型ディスプレイとして構成され、ユーザの視界上に配置される。ディスプレイ14は、プロセッサ11により制御されて、ユーザの視界にある現実空間に重ねてAR画像110を表示する。
The
入力デバイス15は、モバイルデバイス10に対するユーザ操作を受付可能であり、ユーザからの操作信号をプロセッサ11に入力するように構成される。入力デバイス15の例には、ユーザからのタッチ操作を受付可能なデバイスの他、ユーザからの音声操作を受付可能なデバイスが含まれる。
The
カメラ16は、ユーザの視界に対応するユーザの前方領域を撮影可能に配置される。カメラ16は、ユーザ周りの複数方位を撮影可能な多眼カメラや全方位カメラであってもよい。位置検出器17は、現在の位置及び向きを検出するように構成される。位置検出器17は、例えばGPS受信機、モーションセンサ、及び電子コンパスを備えることができる。
The
位置検出器17は、GPS受信機を備えることに代えて、ペアリングされたスマートフォン等のユーザデバイスからのGPS位置情報を取得して、現在の位置及び向きを検出するように構成されてもよい。
Instead of providing a GPS receiver, the
通信デバイス19は、モバイルデバイス10とサービス提供システム50との間の広域ネットワークNTを通じた通信のために、セルラー通信及び/又は無線LAN(ローカルエリアネットワーク)通信可能に構成される。
The
このモバイルデバイス10は、位置検出器17によって得られる位置及び向きに関する粗い情報と、三次元マップデータ61と、カメラ16からの映像データと、に基づいた自己位置推定により、精度の高い位置及び向き、換言すれば、モバイルデバイス10を装着するユーザの位置及び向きを推定するように構成される。
The
モバイルデバイス10は、推定された位置及び向きに基づき、ユーザの視界に表示すべきAR画像110に対応するAR画像データをサービス提供システム50から取得し、ディスプレイ14を通じてAR画像110をユーザに表示するように構成される。
The
サービス提供システム50は、一つ以上のサーバ装置から構成される。図1において簡易表示されるサービス提供システム50は、プロセッサ51と、メモリ52と、ストレージ53と、通信デバイス59とを備える。
The
プロセッサ51は、ストレージ53に格納されたコンピュータプログラムに従う処理を実行するように構成される。メモリ52は、プロセッサ51による処理実行時に作業領域として使用される。
The
ストレージ53は、コンピュータプログラム及び各種データを記憶する。通信デバイス59は、広域ネットワークNTを通じて各ユーザのモバイルデバイス10と通信可能に構成される。
The
サービス提供システム50は、ストレージ53内に、三次元マップデータ61と、コンテンツ関連データベース63と、登録地点データベース65と、選択制御データベース67と、顧客データベース69とを備える。
The
三次元マップデータ61は、複数のモバイルデバイス10から収集される映像データに基づき生成される、現実空間の屋外及び屋内における三次元空間位置座標を示すデータである。三次元マップデータ61は、モバイルデバイス10での自己位置推定に利用される。
The three-
コンテンツ関連データベース63は、図2Aに示すように、予め用意されたコンテンツ毎のコンテンツ関連データ631を備える。コンテンツ関連データ631は、図2Aに示すように、対応するコンテンツの識別情報であるコンテンツIDに関連付けて、コンテンツそれ自体を定義するコンテンツデータ、及び、コンテンツ属性を示すコンテンツ属性データを備える。
As shown in FIG. 2A, the content-related
コンテンツは、例えば、ユーザに訴求する商品又は役務に関する広告コンテンツであり得る。この場合、コンテンツ属性は、広告コンテンツが訴求しようとする商品又は役務の属性を示し得る。 The content may be, for example, advertising content relating to a product or service that appeals to the user. In this case, the content attribute may indicate the attribute of the product or service that the advertising content intends to appeal to.
別例として、コンテンツ属性は、コンテンツの配信対象として適切なユーザのデモグラフィック属性、ジオグラフィック属性、及びサイコグラフィック属性を示し得る。デモグラフィック属性の例には、性別、年齢及び職業が含まれる。ジオグラフィック属性の例には、居住地域が含まれる。コンテンツ属性は、複数種類の属性の組み合わせで定義され得る。 As another example, the content attribute may indicate a demographic attribute, a geographic attribute, and a psychographic attribute of the user suitable for delivering the content. Examples of demographic attributes include gender, age and occupation. Examples of geographic attributes include residential areas. Content attributes can be defined by a combination of multiple types of attributes.
図2Bに示される登録地点データベース65は、コンテンツの表示地点として登録された現実空間上の地点毎に、登録地点データ651を有する。各登録地点データ651は、対応する地点の識別情報である地点IDに関連付けて、対応する地点の絶対位置座標及び場所属性の情報を有する。場所属性の情報は、対応する地点に相応しくない種類のコンテンツが表示対象として選択されるのを抑制する目的で利用される。
The
場所属性は、人が対応する地点に対して通常認識する場所の属性を示し得る。コンテンツの表示地点が屋外である場合、対応する地点の場所属性は、当該地点周辺に存在する施設の属性を示し得る。コンテンツの表示地点が屋内の商業施設である場合、対応する地点の場所属性は、当該対応する地点周辺に存在する店舗の属性を示し得る。 The location attribute can indicate the attribute of the location that a person normally recognizes for the corresponding point. When the display point of the content is outdoors, the location attribute of the corresponding point may indicate the attribute of the facility existing around the point. When the display point of the content is an indoor commercial facility, the location attribute of the corresponding point may indicate the attribute of the store existing around the corresponding point.
図2Cに示される選択制御データベース67は、場所属性毎の選択制御データ671を備える。選択制御データ671は、対応する場所属性の情報に関連付けて禁止リストを備える。禁止リストは、対応する場所属性を有するコンテンツの表示地点で、表示対象から除外されるべきコンテンツ群に対応するコンテンツ属性の一覧を示す。
The
図3に示される顧客データベース69は、サービス提供システム50に対して登録されたユーザ毎に、顧客データ691を備える。顧客データ691は、対応するユーザの識別コードであるユーザIDに関連付けて、ユーザ属性データ、表示履歴データ、行動履歴データ、フレンド登録データ、及び、ユーザ指定重みデータを備える。
The
ユーザ属性データは、対応するユーザのデモグラフィック属性、ジオグラフィック属性、及びサイコグラフィック属性を示す。具体的に、ユーザ属性データは、対応するユーザの性別、年齢、職業、居住地域、関心、及び好みの一以上を表す情報を有し得る。 The user attribute data indicates the demographic, geographic, and psychographic attributes of the corresponding user. Specifically, the user attribute data may have information representing one or more of the corresponding user's gender, age, occupation, area of residence, interests, and preferences.
表示履歴データは、対応するユーザに対するコンテンツの表示履歴を示す。表示履歴データは、対応するユーザに対する過去のコンテンツ表示毎に、当該コンテンツの表示日時及び表示コンテンツのコンテンツIDを示し得る。この表示履歴データによれば、ユーザに対する各コンテンツの表示回数を特定可能である。 The display history data indicates the display history of the content for the corresponding user. The display history data may indicate the display date and time of the content and the content ID of the displayed content for each past content display to the corresponding user. According to this display history data, it is possible to specify the number of times each content is displayed to the user.
行動履歴データは、対応するユーザの行動履歴を示す。具体的に、行動履歴データは、対応するユーザの過去の各時刻における位置情報を有し得る。位置情報は、絶対位置座標を示してもよいし、自宅、職場、カフェ、及びレストラン等の対応する位置の分類を示してもよい。 The action history data shows the action history of the corresponding user. Specifically, the action history data may have position information of the corresponding user at each time in the past. The position information may indicate absolute position coordinates, or may indicate the classification of corresponding positions such as home, work, cafe, and restaurant.
フレンド登録データは、対応するユーザによってフレンドとして登録されたユーザのリストを示す。すなわち、フレンド登録データは、対応するユーザの知人情報であり、対応するユーザの他のユーザとの社会的関係を示す。フレンド登録データは、ユーザIDのリストの形態で、フレンドとして登録されたユーザを示し得る。 The friend registration data shows a list of users registered as friends by the corresponding user. That is, the friend registration data is the acquaintance information of the corresponding user, and indicates the social relationship of the corresponding user with other users. The friend registration data may indicate a user registered as a friend in the form of a list of user IDs.
ユーザ指定重みデータは、対応するユーザに配信するコンテンツの選択に用いられるデータである。ユーザ指定重みデータの詳細については後述する。 The user-specified weight data is data used for selecting the content to be delivered to the corresponding user. The details of the user-specified weight data will be described later.
続いて、図4を用いてAR画像110の表示方法を説明する。本実施形態では、登録地点データベース65に登録された、現実空間上の絶対位置座標で規定される地点100にAR画像110が表示される。AR画像110は、地点100に現実に存在するかのように表示される。
Subsequently, a method of displaying the
すなわち、AR画像110は、対応する地点100において、AR画像110に対応する三次元物体が仮に現実に存在する場合の周囲からの三次元物体の外観を模倣するように、ユーザの地点100に対する相対位置及び向きに応じた外観で、当該ユーザに対応するモバイルデバイス10のディスプレイ14に表示される。
That is, the
図4によれば、室内の地点100に存在するかのように表示されるAR画像110を見る三人のユーザU1,U2,U3が、室内の異なる位置に存在する。ユーザU1は、地点100の正面に位置し、ユーザU2は、地点100の左側に位置し、ユーザU3は、地点100の右側に位置する。
According to FIG. 4, three users U1, U2, U3 who see the
このとき、ユーザU1により使用されるディスプレイ14には、図5Aに示す外観でAR画像110が表示され、ユーザU2により使用されるディスプレイ14には、図5Bに示す外観でAR画像110が表示される。ユーザU3により使用されるディスプレイ14には、図5Cに示す外観でAR画像110が表示される。
At this time, the
図5A−5Cに示される例によれば、仮想的なディスプレイの形態を有する三次元の仮想オブジェクト120上に、ユーザ別のコンテンツ130を有するAR画像110が表示される。本実施形態では、例えば、複数ユーザに共通する仮想オブジェクト120と、仮想オブジェクト120上に表示されるユーザ別のコンテンツ130との組合せにより、ユーザ別のAR画像110が表示される。
According to the example shown in FIGS. 5A-5C, an
同じ現実空間に位置する複数ユーザU1,U2,U3に対し、共通する地点100に、AR画像110が表示されることによって、ユーザU1,U2,U3間では、拡張現実の表示位置に関する情報を共有することができる。更に、複数ユーザU1,U2,U3に共通する仮想オブジェクト120が表示されることによって、ユーザU1,U2,U3間では、仮想オブジェクト120の認識を共有することができる。
By displaying the
更に、コンテンツ130のユーザ別の表示は、各ユーザに適したコンテンツ130の表示を可能にする。しかも、現実の三次元物体の見え方に即したAR画像110の表示は、現実空間に対して親和性が高い。
Further, the user-specific display of the
従って、本実施形態によれば、多様でありながら統一感のある、現実空間との調和のとれたコンテンツのAR表示が可能である。この表示技術は、特に広告コンテンツを含む消費者向けの多様なコンテンツのAR表示に適している。 Therefore, according to the present embodiment, it is possible to AR-display contents that are diverse but have a sense of unity and are in harmony with the real space. This display technology is particularly suitable for AR display of various contents for consumers including advertising contents.
仮想オブジェクト120は、図5A−5Cに示される仮想スクリーンの形態に限定されない。仮想オブジェクト120は、例えば商品ラベルの付されていない瓶、缶、袋の外形を有する仮想オブジェクトであってもよい。コンテンツ130は、仮想オブジェクト120に対応するポリゴン上のテクスチャであってもよい。
The
仮想オブジェクト120として、外形の異なる複数種類の仮想オブジェクトが用意されてもよい。更には、コンテンツの表示地点毎に異なる外形の仮想オブジェクトが表示されてもよい。
As the
この場合、図2Bに破線で示すように、登録地点データ651には、対応する地点で表示すべき仮想オブジェクトのタイプを示す情報が含まれてもよい。また、図2Aに破線で示すように、コンテンツ関連データ631には、コンテンツに対応する仮想オブジェクトのタイプを示す情報が含まれてもよい。この場合、表示対象のコンテンツは、対応する地点のオブジェクトタイプに合致するコンテンツ群の中から選択される。
In this case, as shown by the broken line in FIG. 2B, the
続いて、モバイルデバイス10のプロセッサ11が、AR画像表示のために繰返し実行する表示制御処理を、図6を用いて説明する。この表示制御処理を開始すると、プロセッサ11は、現在位置周辺の三次元マップデータ61を、広域ネットワークNTを通じてサービス提供システム50から通信により取得する(S110)。プロセッサ11は、現在位置周辺の三次元マップデータ61を取得するために、粗い現在の位置及び向きの情報を、位置検出器17から取得することができる。
Subsequently, the display control process repeatedly executed by the
その後、プロセッサ11は、位置検出器17から得られる粗い現在の位置及び向きの情報、カメラ16からの映像データ、及び、三次元マップデータ61に基づき、詳細な現在位置及び向きを推定する(S120)。この推定は、公知の自己推定技術に基づいて実現され得る。具体的にプロセッサ11は、映像データの解析により判別される三次元空間の形状と、三次元マップデータ61が示す三次元空間の形状との照合により、カメラ16の位置を高精度に推定し、それにより、モバイルデバイス10の現在の位置及び向きを高精度に推定することができる。
After that, the
S120での推定後、プロセッサ11は、カメラ16からの映像データに、推定された位置及び向きの情報を付加してなる位置映像データを、サービス提供システム50に送信する(S130)。
After the estimation in S120, the
その後、プロセッサ11は、カメラ16の映像データ及び推定された位置及び向きの情報に基づき、ユーザの視界にコンテンツの表示地点として登録された地点が存在するか否かを判断する(S140)。この判断のために、三次元マップデータ61は、コンテンツの表示地点の情報を含んだ構成にされ得る。例えば、三次元マップデータ61は、各表示地点の地点IDに関連付けて、その地点の絶対位置座標を示すデータを内包した構成にされ得る。
After that, the
プロセッサ11は、ユーザの視界にコンテンツの表示地点がないと判断すると(S140でNo)、表示制御処理を終了する。プロセッサ11は、表示地点があると判断すると(S140でYes)、その地点でのAR表示のためにコンテンツリクエストをサービス提供システム50に通信デバイス19を通じて送信する(S150)。プロセッサ11は、ユーザの視界にある表示地点の地点IDと共に、S120で推定されたユーザの現在位置及び向きの情報を含んだコンテンツリクエストを送信することができる。
When the
その後、プロセッサ11は、コンテンツリクエストに対する応答データを、通信デバイス19を通じてサービス提供システム50から受信する(S160)。プロセッサ11は、受信データに基づいて、表示地点に対するユーザの相対的な位置及び向きに応じた外観で、AR画像110が当該地点に表示されるように、ディスプレイ14に対するAR画像110の表示制御を行う(S170)。その後、プロセッサ11は、当該表示制御処理を終了する。
After that, the
コンテンツリクエストに対するサービス提供システム50からの応答データは、AR画像データを含む。このAR画像データは、例えば、コンテンツの表示地点に対するユーザの相対的な位置及び向きを考慮して、AR画像110の形状及びテクスチャの最適化がなされたAR画像データであり得る。このAR画像データは、AR画像110の三次元データをディスプレイ表示用の二次元データに置換して形成され得る。すなわち、このAR画像データは、モバイルデバイス10が、回転やサイズ調整などの加工なしに、ユーザの視点からの外観を有するAR画像110を、ディスプレイ14に表示可能な画像データであり得る。
The response data from the
あるいは、サービス提供システム50から送信されるAR画像データは、ユーザの位置及び向きを考慮しないAR画像データであってもよい。AR画像データは、AR画像110の三次元データであってもよい。この場合、プロセッサ11は、受信したAR画像データに基づいて、ユーザの位置及び向きを考慮した回転及びサイズ調整などのAR画像110に対する加工を伴って、ディスプレイ14に、加工後のAR画像110を表示させる表示制御を行うことができる。
Alternatively, the AR image data transmitted from the
すなわち、プロセッサ11は、受信したAR画像110の三次元表現を含むAR画像データに対するレンダリング処理を実行して、AR画像データをユーザの位置及び向きを考慮したディスプレイ表示用の二次元データに変換し、ディスプレイ14に、ユーザの位置及び向きに応じたAR画像110を表示させてもよい。
That is, the
続いて、サービス提供システム50のプロセッサ51が繰返し実行する受信更新処理の詳細を、図7を用いて説明する。受信更新処理は、ユーザ毎に実行される。受信更新処理では、対応するユーザのモバイルデバイス10からS130で送信されてくる位置映像データに基づく処理が実行される。
Subsequently, the details of the reception update process repeatedly executed by the
この受信更新処理を開始すると、プロセッサ51は、対応するユーザのモバイルデバイス10から送信されてくる位置映像データを受信する(S210)。その後、プロセッサ51は、受信した位置映像データに基づいて、対応するユーザの状態を判別する(S220)。
When this reception update process is started, the
S220において、プロセッサ51は、図8に示す状態判別処理を実行する。状態判別処理において、プロセッサ51は、受信した位置映像データに対する映像解析を行う(S221)。この解析結果に基づいて、ユーザが手に把持しているものを判別する(S223)。現在の映像にユーザの手が写っていない場合、プロセッサ51は、映像の時間変化に基づいて、過去に把持されていると判別された物が依然として手に把持されているかを判別することができる。この判別は、ユーザの身体的な状態を判別することに対応する。
In S220, the
続くS225において、プロセッサ51は、ユーザが注視しているものを判別する。プロセッサ51は、現在の映像だけではなく一定期間前からの映像から特定される視線の時間変化に基づいて、ユーザが注視しているものを判別することができる。例えば、所定時間継続的にユーザの視界中心に映るものをユーザが注視しているものと判別することができる。
In the following S225, the
続くS227において、プロセッサ51は、共に行動するフレンドを判別する。プロセッサ51は、この判別のために、対応するユーザが登録するフレンドの位置情報を参照することができる。フレンドの位置情報は、そのフレンドのモバイルデバイス10からサービス提供システム50に送信される位置映像データに基づいて判別可能である。フレンドは、ユーザとの間に強い社会的関係が存在する知人に対応する。
In the following S227, the
プロセッサ51は、フレンドの移動軌跡とユーザの移動軌跡とが重なっており、更には、ユーザの視界に高頻度に入り込むフレンドがいると推定されるとき、対応するフレンドを、共に行動するフレンドとして判別することができる。
When the movement locus of a friend and the movement locus of a user overlap each other and it is estimated that there is a friend who frequently enters the user's field of view, the
続くS229において、プロセッサ51は、ユーザの感情を判別する(S229)。モバイルデバイス10のカメラ16には、マイクロフォン(図示せず)も付属しており、位置映像データには、音声が含まれる。プロセッサ51は、この音声からユーザの感情を推定することができる(S229)。あるいは、プロセッサ51は、ユーザの現在位置及び向きに基づき、ユーザを視界に収める別のユーザの位置映像データを参照し、その位置映像データからユーザの顔の表情を分析して、ユーザの感情を判別することができる。ユーザの感情は、ユーザの心理的な状態に対応する。
In the following S229, the
その後、プロセッサ51は、S230に移行し、ユーザが現在いる場所の意味を判別する。ここでいう「場所の意味」は、ユーザがその場所にいる理由に対応する。「場所の意味」として、プロセッサ51は、「自宅」、「職場」、「休憩」、「食事」、「買い物」などの予め定められた「場所の意味」の選択肢の中から、最も合致する選択肢を選択することにより、場所の意味を判別することができる。この判別のために、顧客データ691は、ユーザの自宅及び職場の情報を有することができる(図示せず)。
After that, the
続くS240において、プロセッサ51は、ユーザの顧客データ691が有する行動履歴データを更新する。プロセッサ51は、受信した位置映像データから、ユーザの現在の位置及び向きを判別することができる。
In the subsequent S240, the
プロセッサ51は、位置映像データから、ユーザの現在の行為を判別することができる。プロセッサ51は、判別した行為の情報を、現在時刻、並びにユーザの位置及び向きと関連付けたレコードを、ユーザの行動履歴データに登録することによって、行動履歴データを更新することができる。
The
続くS250において、プロセッサ51は、図9に示す重み計算処理を実行する(S250)。上述したコンテンツ属性は、予め定められた範囲の属性値を採り得る。S250では、例えば、この採り得る属性値のそれぞれに対する重みを計算し得る。大きい重みが設定された属性値を有するコンテンツほど、表示対象コンテンツとして選択される可能性を高くする目的で重みは計算され得る。すなわち各属性値に対する重みは、対応する属性値を有するコンテンツを表示対象として選択する確率に対応し得る。以下、S250で計算される重みのことを、コンテンツ重みと表現する。
In the subsequent S250, the
重み計算処理において、プロセッサ51は、S220で判別されたユーザが手に把持しているものに基づく、第一のコンテンツ重みW1を計算する(S251)。手に把持しているものが存在している場合には、把持しているものに関連する属性値を有するコンテンツの選択確率が上昇するようにコンテンツ重みW1を計算することができる。手に把持しているものが存在しない場合には、各属性値に対する重みが一律である形式的なコンテンツ重みW1を算出し得る。
In the weight calculation process, the
サービス提供システム50は、予め重みの計算ルールを定義する定義データをストレージ53に記憶することができる。プロセッサ51は、記憶された定義データに従って、手に把持されているものに対応するコンテンツ重みW1を計算することができる。
The
続くS252において、プロセッサ51は、S220で判別されたユーザが注視しているものに基づく、第二のコンテンツ重みW2を算出する。ユーザが注視しているものが存在している場合には、注視しているものに関連する属性値を有するコンテンツの選択確率が上昇するようにコンテンツ重みW2を算出することができる。注視しているものが存在しない場合には、各属性値に対する重みが一律である形式的なコンテンツ重みW2を算出し得る。
In the following S252, the
続くS253において、プロセッサ51は、S220で判別された共に行動するフレンドに基づく、第三のコンテンツ重みW3を算出する。例えば、共に行動するフレンドが存在している場合には、集団行動に関連するコンテンツの選択確率が上昇するように、関連する属性値に対する重みを高くする方式で、コンテンツ重みW3を算出することができる。共に行動するフレンドが存在しない場合には、各属性値に対する重みが一律の形式的なコンテンツ重みW3を算出し得る。
In the subsequent S253, the
続くS254において、プロセッサ51は、S220で判別されたユーザの感情に基づく、第四のコンテンツ重みW4を算出する。例えば、ユーザの感情に適したコンテンツの選択確率が上昇するように、関連する属性値に対する重みを高くする方式で、コンテンツ重みW4を算出することができる。
In the following S254, the
続くS255において、プロセッサ51は、ユーザの顧客データ691を参照して判別されるユーザ属性に基づく、第五のコンテンツ重みW5を算出する。例えば、ユーザの性別及び年齢に適したコンテンツの選択確率が上昇するように、関連する属性値に対する重みを高くする方式で、コンテンツ重みW5を算出することができる。
In the following S255, the
続くS256において、プロセッサ51は、S230で判別されたユーザの現在位置に対応する場所の意味に基づく、第六のコンテンツ重みW6を算出する。続くS257において、プロセッサ51は、ユーザの顧客データ691内の行動履歴データを参照して、ユーザの行動パターンに基づく、第七のコンテンツ重みW7を算出する。例えば、プロセッサ51は、ユーザの行動パターンに適したコンテンツの選択確率が上昇するように、コンテンツ重みW7を算出することができる。
In the following S256, the
続くS259において、プロセッサ51は、上記算出したコンテンツ重みW1〜W7を統合して、統合コンテンツ重みWSを算出し得る。統合コンテンツ重みWSは、コンテンツ重みW1〜W7の和に対応し得る。統合コンテンツ重みWSは、顧客データ691が有するユーザ指定重みデータを参照して、コンテンツ重みW1〜W7を重み付けしながら、統合コンテンツ重みWSを算出し得る。その後、重み計算処理(図9)を終了する。
In the subsequent S259, the
ユーザ指定重みデータは、第一から第七のコンテンツ重みW1〜W7に対する重み係数を示し得る。この場合、統合コンテンツ重みWSは、重み係数に従うコンテンツ重みW1〜W7の重み付け和であり得る。重み係数を用いることにより、把持しているもの重視、感情重視、行動履歴重視といったユーザの好みに応じた重みで、コンテンツ選択及び表示を行うことができる。 The user-specified weight data may indicate weighting coefficients for the first to seventh content weights W1 to W7. In this case, the integrated content weight WS may be the weighted sum of the content weights W1 to W7 according to the weighting coefficient. By using the weighting coefficient, it is possible to select and display the content with a weight according to the user's preference such as emphasizing what is being held, emphasizing emotions, and emphasizing behavior history.
上述した重み計算処理(S250)を終了すると、プロセッサ51は、ユーザのモバイルデバイス10から受信した位置映像データに基づき、三次元マップデータ61を更新して(S260)、受信更新処理(図7)を終了する。
When the weight calculation process (S250) described above is completed, the
続いて、サービス提供システム50のプロセッサ51が繰返し実行する受信応答処理の詳細を、図10を用いて説明する。受信応答処理は、ユーザ毎に実行される。受信応答処理では、対応するユーザのモバイルデバイス10からS150で送信されるコンテンツリクエストに基づく処理が実行される。
Subsequently, the details of the reception response processing repeatedly executed by the
受信応答処理を開始すると、プロセッサ51は、対応するモバイルデバイス10からのコンテンツリクエストを受信するまで待機する(S310)。コンテンツリクエストを受信すると、そのコンテンツリクエストに含まれる地点IDに対応する登録地点データ651を参照して、対応する地点の場所属性を判別する(S320)。
When the reception response processing is started, the
プロセッサ51は、上記判別した場所属性に基づいて、表示対象コンテンツとして選択可能なコンテンツ群を絞り込む(S330)。プロセッサ51は、例えば図11に示す除外処理を実行することにより、選択可能なコンテンツ群を絞り込むことができる。
The
除外処理(図11)において、プロセッサ51は、S320で判別した場所属性に関連付けられた選択制御データ671内の禁止リストを読み出す(S331)。そして、コンテンツ関連データベース63に登録されたコンテンツ群のうち、禁止リストに列挙されたコンテンツ属性を有するコンテンツ群を、選択可能なコンテンツ群から除外することにより、選択可能なコンテンツ群を絞り込む(S335)。
In the exclusion process (FIG. 11), the
禁止リストは、対応する場所属性を有する地点での表示が好ましくないコンテンツのコンテンツ属性を示す。例えば、図12に示すように建物200に関連付けて屋外でAR画像110が表示される場合を考える。この場合、AR画像110は、無意識のうちに、ユーザに建物200と関連付けて理解される可能性がある。
The prohibition list indicates the content attribute of the content that is not preferable to be displayed at the point having the corresponding location attribute. For example, consider a case where the
例えば、建物200が警察署である場合、ユーザは、表示されるAR画像110のコンテンツ130に信用があると錯覚する場合がある。また、建物200に対応する企業が、自社のブランド価値を守るために、特定の種類のコンテンツの表示を好ましくないと考える可能性がある。禁止リストは、こうした可能性を考慮して作成され得る。
For example, when the
本実施形態では、禁止リストに基づいて、場所属性にふさわしくないコンテンツ属性を有するコンテンツ群が除外され、残りのコンテンツ群から表示対象のコンテンツが選択されることにより、現実空間の地点と結び付けた適切なAR表示が可能である。 In the present embodiment, the content group having the content attribute that is not suitable for the location attribute is excluded based on the prohibition list, and the content to be displayed is selected from the remaining content group, so that the content is appropriately linked to the point in the real space. AR display is possible.
S330での選別を抑えると、続いてプロセッサ51は、ユーザと共に行動するフレンドがいるか否かを判断する(S340)。ここでは、S227での判別に従うことができる。
Suppressing the selection in S330, the
共に行動するフレンドがいないと判断すると(S340でNo)、プロセッサ51は、S250で算出された、対応するユーザの統合コンテンツ重みWSを参照する(S350)。この統合コンテンツ重みWSは、上述した通り、現在のユーザの状態、行動履歴、及び場所の意味が考慮された各コンテンツ属性の重みである。
If it is determined that there are no friends to act with (No in S340), the
プロセッサ51は、この統合コンテンツ重みWSに基づいて、表示対象コンテンツを、S330で絞り込まれたコンテンツ群の中から選択する(S360)。例えば、プロセッサ51は、統合コンテンツ重みWSに従う確率で選択するという条件の中で、無作為に一つのコンテンツを、上記絞り込まれたコンテンツ群の中から選択することができる。
Based on this integrated content weight WS, the
選択に際して、プロセッサ51は、対応するユーザの顧客データ691内の表示履歴データを参照し、表示回数又は表示頻度の少ないコンテンツほど優先的に選択されるように、各コンテンツの選択確率に修正を加えて、上記コンテンツ群の中から、一つのコンテンツを、表示対象コンテンツとして選択することができる。
At the time of selection, the
一方、共に行動するフレンドがいると判断すると(S340でYes)、プロセッサ51は、ユーザの統合コンテンツ重みWSと、共に行動する一人以上のフレンドの統合コンテンツ重みWSとを統合して、ユーザグループの統合コンテンツ重みWGを算出する(S370)。ここでいうユーザグループは、注目ユーザと、注目ユーザと共に行動する一人以上のフレンドからなるグループである。注目ユーザは、コンテンツリクエスト送信元のユーザである。
On the other hand, when it is determined that there is a friend who acts together (Yes in S340), the
ユーザグループの統合コンテンツ重みWGは、ユーザグループに属する注目ユーザ及びフレンドの統合コンテンツ重みWGの平均であり得る。平均は、重み付け平均であってもよい。重み付け平均は、注目ユーザの重みよりも、フレンドの重みを小さくすることにより実現され得る。別例として重み付け平均は、ユーザグループ内の一人をランダムにグループリーダを選択し、グループリーダの重みを大きくすることにより実現され得る。 The integrated content weight WG of the user group can be the average of the integrated content weight WG of the noted users and friends belonging to the user group. The average may be a weighted average. The weighted average can be realized by making the weight of the friend smaller than the weight of the user of interest. As another example, the weighted average can be realized by randomly selecting a group leader for one person in the user group and increasing the weight of the group leader.
続くS380において、プロセッサ51は、ユーザグループの統合コンテンツ重みWGに基づいて、表示対象コンテンツを、S330で絞り込まれたコンテンツ群の中から選択する。S380での選択方法は、S360と同様であり得る。S380では、ユーザグループ全体におけるコンテンツの表示履歴を加味して、表示対象コンテンツを選択することができる。
In the subsequent S380, the
S380で選択される表示対象コンテンツは、注目ユーザに対する表示対象コンテンツであってもよいし、ユーザグループ全体に対する表示対象コンテンツであってもよい。 The display target content selected in S380 may be display target content for the attention user or display target content for the entire user group.
ユーザグループ全体に対して共通する一つの表示対象コンテンツを選択する場合には、次のように表示対象コンテンツを選択することができる。すなわち、ユーザグループ内のグループリーダからのコンテンツリクエストに基づくS380の処理で表示対象コンテンツを統合コンテンツ重みWGに基づいて選択する。 When selecting one display target content that is common to the entire user group, the display target content can be selected as follows. That is, the content to be displayed is selected based on the integrated content weight WG in the process of S380 based on the content request from the group leader in the user group.
ユーザグループ内のグループリーダ以外のユーザからのコンテンツリクエストに基づくS380の処理では、グループリーダに関するS380の処理で選択された表示対象コンテンツと同じコンテンツを、表示対象コンテンツに選択する。この場合、一つのユーザグループに属する知人関係のある行動を共にする全てのユーザに対して同一のコンテンツがAR画像110として各モバイルデバイス10で表示されることになる。
In the process of S380 based on the content request from the user other than the group leader in the user group, the same content as the display target content selected in the process of S380 regarding the group leader is selected as the display target content. In this case, the same content will be displayed on each
別例として、一部のコンテンツ属性の重みを他のコンテンツ属性の重みよりも顕著に大きくするように、ユーザグループ間で共通する統合コンテンツ重みWGを設定すれば、ユーザグループに属する知人関係のある行動を共にするユーザの夫々に対し相互に関連性の高いコンテンツが表示対象コンテンツとして選択される。サービス提供システム50は、S380における表示対象コンテンツの選択方法を、ユーザからの指示に基づき、又は確率的に切り替えるように構成され得る。
As another example, if the integrated content weight WG common among the user groups is set so that the weights of some content attributes are significantly larger than the weights of other content attributes, there is an acquaintance relationship belonging to the user group. Content that is highly relevant to each of the users who act together is selected as the content to be displayed. The
プロセッサ51は、S360又はS380において表示対象コンテンツを選択すると、続くS400において、コンテンツ関連データベース63から表示対象コンテンツに対応するコンテンツデータを読み出し、読み出したコンテンツデータと、S310でコンテンツリクエストと共に受信したユーザの位置及び向きの情報と、に基づいて、コンテンツの表示地点に対するユーザの相対位置及び向きに応じた外観で、表示対象コンテンツと仮想オブジェクトとの組合せからなるAR画像110をモバイルデバイス10に表示させるためのAR画像データを生成する。
When the
その後、プロセッサ51は、S400で生成したAR画像データを格納した、コンテンツリクエストに対する応答データを、コンテンツリクエスト送信元に送信する(S410)。これにより、ユーザのモバイルデバイス10では、ユーザの位置及び向きに応じた外観でディスプレイ14にAR画像110が表示される。
After that, the
プロセッサ51は、更に、応答データの送信によりモバイルデバイス10で表示されるコンテンツについての表示履歴を記録するように、対応するユーザの表示履歴データを更新する(S420)。その後、図10に示す受信応答処理を終了する。
The
以上に説明した本実施形態によれば、複数ユーザに共通する仮想オブジェクト120と、ユーザ別のコンテンツ130との組合せによる新規で有意義なAR表示が可能である。本実施形態によれば、AR画像110の表示が現実空間の地点と結びついている。そこで、表示地点の場所属性にふさわしくないコンテンツが表示されないように、禁止リストに基づき、一部属性のコンテンツが表示対象コンテンツに選択されないようにした。
According to the present embodiment described above, a new and meaningful AR display is possible by combining the
従って、本実施形態によれば、現実空間との関係を考慮しつつ、ユーザの状態、行動特性、及び関心等に基づくユーザ別の適切なコンテンツを、AR画像110として、ユーザに表示可能である。
Therefore, according to the present embodiment, it is possible to display the appropriate content for each user based on the user's state, behavioral characteristics, interests, etc. as the
本開示が、上述した実施形態に限定されることなく、種々の態様を採り得ることは言うまでもない。例えば、時間的な変化の少ない静的な場所属性だけではなく、ユーザの視界に写る物体の属性である物属性に基づいて、表示対象コンテンツとして選択するコンテンツ群の絞り込みを行ってもよい。 It goes without saying that the present disclosure is not limited to the above-described embodiment, and various aspects can be adopted. For example, the content group to be selected as the display target content may be narrowed down based on not only the static location attribute that does not change with time but also the object attribute that is the attribute of the object that appears in the user's field of view.
例えば、サービス提供システム50は、選択制御データベース67に、場所属性に関連する禁止リストと共に、物属性に関連する禁止リストを備えることができる。プロセッサ51は、S360,S380において、図13に示す選択処理を実行することができる。
For example, the
すなわち、プロセッサ51は、ユーザ又はユーザグループのモバイルデバイス10から受信した位置映像データに基づいて、ユーザ又はユーザグループの視界にある物の属性を判別し(S391)、その視界にある物属性に対応する禁止リストを読み出すことができる(S393)。
That is, the
更に、プロセッサ51は、読み出した禁止リストに列挙されたコンテンツ属性に対応するコンテンツ群を、S330で絞り込まれたコンテンツ群から更に除外し(S395)、残りのコンテンツ群から表示対象コンテンツを選択する(S397)。S397での表示対象コンテンツの選択手法は、上述したS360,S380での選択手法と同様である。
Further, the
こうした物属性に基づいた一部コンテンツ群の表示対象からの排除は、ユーザの視界に写る商品に競合する別の商品の広告コンテンツの表示を禁止するのに役立つ。 Exclusion of some content groups from the display target based on such physical attributes helps to prohibit the display of advertising content of another product that competes with the product in the user's field of view.
また、上述したモバイルデバイス10は、ウェアラブル機器ではなくスマートフォンやタブレットなどの携帯端末であってもよい。この他、サービス提供システム50で実行される処理の一部は、モバイルデバイス10で実行されてもよいし、モバイルデバイス10で実行される処理の一部は、サービス提供システム50で実行されてもよい。
Further, the
モバイルデバイス10は、カメラ16に代えて、又は、カメラ16に加えて、LiDAR(Light Detection And Ranging)などの測距デバイスが周辺の空間位置座標の特定のために、及び、三次元マップの形成のために設けられてもよい。
In the
モバイルデバイス10は、周辺の空間位置座標を示す測距デバイスからの測距データと、三次元マップデータ61とに基づいて、位置及び向きを推定するように構成されてもよい。測距データは、モバイルデバイス10からサービス提供システム50に送信されてもよい(S130)。三次元マップデータ61は、複数のモバイルデバイス10から収集される測距データに基づき生成されてもよい(S260)。モバイルデバイス10には、その他の周辺環境を捕捉するためのセンサが設けられてもよい。
The
コンテンツの選択手法も、上述した実施形態に説明した具体的手法に限定されない。例えば、ユーザの状態及び関心等に基づいたユーザの特徴を表す特徴ベクトルと、各コンテンツの特徴を表す特徴ベクトルとの間の特徴空間上の距離に基づいて、ユーザの特徴と各コンテンツの特徴との類似度を判別し、判別した類似度に基づいて表示対象コンテンツを選択するように、サービス提供システム50は構成されてもよい。
The content selection method is also not limited to the specific method described in the above-described embodiment. For example, the user's characteristics and the characteristics of each content are based on the distance in the feature space between the feature vector representing the user's characteristics based on the user's state and interest, and the feature vector representing the characteristics of each content. The
上述した共通する仮想オブジェクト120とユーザ別のコンテンツ130との組合せに基づくAR画像110の表示は、仮想オブジェクト120に対応する仮想的な缶の三次元画像に仮想的に貼り付けるコンテンツ130としてのラベルを、ユーザ別に選択することにより、ユーザの嗜好に合致した飲料の広告を行う目的にも活用できる。仮想オブジェクト120は、芸術性のある仮想的な外形を有することができる。この場合、コンテンツ130は、仮想オブジェクト120を装飾する模様及び色彩であってもよい。
The display of the
フレンドの判別は、モバイルデバイス10がスマートフォンであるときの電話帳を参照して行われてもよいし、モバイルデバイス10内のチャットツールを参照して行われてもよい。
The determination of the friend may be performed by referring to the telephone directory when the
上記実施形態では、サービス提供システム50が、コンテンツ関連データベース63から表示対象コンテンツに対応するコンテンツデータを読み出し、コンテンツデータに基づくコンテンツ130を、仮想オブジェクト120と合成して、表示対象コンテンツと仮想オブジェクトとの組合せからなるAR画像110をモバイルデバイス10に表示させるためのAR画像データを生成した。
In the above embodiment, the
しかしながら、合成後のAR画像110を表すAR画像データが、最初からコンテンツ関連データベース63に、コンテンツデータとして格納されていてもよい。この場合、プロセッサ51は、S440において、表示対象コンテンツに対応するAR画像データを、コンテンツ関連データベース63から読み出し、このAR画像データを、ディスプレイ表示用の二次元データに変換して、応答データを、モバイルデバイス10に送信することができる。
However, the AR image data representing the combined
この他、上記実施形態における1つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、1つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。 In addition, the functions of one component in the above embodiment may be distributed to a plurality of components. The functions of the plurality of components may be integrated into one component. Some of the configurations of the above embodiments may be omitted. At least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment. The embodiments of the present disclosure are all aspects contained in the technical idea identified from the wording described in the claims.
1…AR表示システム、10…モバイルデバイス、11…プロセッサ、12…メモリ、13…ストレージ、14…ディスプレイ、15…入力デバイス、16…カメラ、17…位置検出器、19…通信デバイス、50…サービス提供システム、51…プロセッサ、52…メモリ、53…ストレージ、59…通信デバイス、61…三次元マップデータ、63…コンテンツ関連データベース、65…登録地点データベース、67…選択制御データベース、69…顧客データベース、110…AR画像、120…仮想オブジェクト、130…コンテンツ、200…建物、631…コンテンツ関連データ、651…登録地点データ、671…選択制御データ、691…顧客データ、NT…広域ネットワーク。 1 ... AR display system, 10 ... mobile device, 11 ... processor, 12 ... memory, 13 ... storage, 14 ... display, 15 ... input device, 16 ... camera, 17 ... position detector, 19 ... communication device, 50 ... service Provided system, 51 ... processor, 52 ... memory, 53 ... storage, 59 ... communication device, 61 ... three-dimensional map data, 63 ... content-related database, 65 ... registration point database, 67 ... selection control database, 69 ... customer database, 110 ... AR image, 120 ... virtual object, 130 ... content, 200 ... building, 631 ... content related data, 651 ... registration point data, 671 ... selection control data, 691 ... customer data, NT ... wide area network.
Claims (16)
前記共通する地点において前記表示対象のコンテンツが拡張現実表示されるように、前記複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行う表示制御部と、
前記複数ユーザのそれぞれの状態を判別するように構成される状態判別部と、
を備え、
前記状態判別部は、前記複数ユーザの少なくとも一人に関して、対応するユーザの状態を、複数のカメラによる撮影画像に基づき判別し、
前記複数のカメラには、前記対応するユーザが有するモバイルデバイスのカメラと、前記対応するユーザが有するモバイルデバイスのカメラとは別の、前記対応するユーザを視界に収める位置で前記対応するユーザを撮影するカメラとが含まれ、
前記選択部は、前記状態判別部により判別された前記複数ユーザのそれぞれの前記状態に基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。 Selection to select the content to be displayed for each of the plurality of users from a group of contents prepared in advance in order to display individual contents for each of the plurality of users at a point common to a plurality of users in the real space. Department and
A display control unit that controls the display of the mobile device of each of the plurality of users so that the content to be displayed is displayed in augmented reality at the common point.
A state determination unit configured to determine the state of each of the plurality of users,
With
The state determination unit determines the state of the corresponding user with respect to at least one of the plurality of users based on the images taken by the plurality of cameras.
The plurality of cameras capture the corresponding user at a position in which the corresponding user is in the field of view , which is different from the camera of the mobile device owned by the corresponding user and the camera of the mobile device owned by the corresponding user. Includes a camera and
The selection unit is an augmented reality display system that selects content to be displayed for each of the plurality of users from the content group based on the respective states of the plurality of users determined by the state determination unit.
前記共通する地点において前記表示対象のコンテンツが拡張現実表示されるように、前記複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行う表示制御部と、
前記複数ユーザのそれぞれの状態を判別するように構成される状態判別部と、
を備え、
前記状態判別部は、前記複数ユーザの少なくとも一人に関して、対応するユーザの状態を、前記複数ユーザのうち前記対応するユーザとは別のユーザが有する前記モバイルデバイスのカメラを含む少なくとも一つのカメラによる撮影画像に基づき判別し、
前記選択部は、前記状態判別部により判別された前記複数ユーザのそれぞれの前記状態に基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。 Selection to select the content to be displayed for each of the plurality of users from a group of contents prepared in advance in order to display individual contents for each of the plurality of users at a point common to a plurality of users in the real space. Department and
A display control unit that controls the display of the mobile device of each of the plurality of users so that the content to be displayed is displayed in augmented reality at the common point.
A state determination unit configured to determine the state of each of the plurality of users,
With
The state determination unit captures the state of the corresponding user with respect to at least one of the plurality of users by at least one camera including the camera of the mobile device owned by a user other than the corresponding user among the plurality of users. Determine based on the image
The selection unit is an augmented reality display system that selects content to be displayed for each of the plurality of users from the content group based on the respective states of the plurality of users determined by the state determination unit.
前記状態判別部は、前記対応するユーザの状態として、前記対応するユーザの心理的な状態及び身体的な状態の少なくとも一方を、前記少なくとも一つのカメラによる撮影画像に基づき判別する拡張現実表示システム。 The augmented reality display system according to claim 2.
The state determination unit is an augmented reality display system that determines at least one of the psychological state and the physical state of the corresponding user as the corresponding user's state based on an image captured by the at least one camera.
前記表示制御部は、前記表示対象のコンテンツが、前記複数ユーザに共通する仮想オブジェクトを含む拡張現実画像として表示されるように、前記ディスプレイに対する表示制御を行うように構成され、
前記表示制御によって、前記複数ユーザのそれぞれの前記ディスプレイには、前記拡張現実画像に対応する三次元物体が仮に前記地点において現実に存在する場合の周囲からの前記三次元物体の外観を模倣するように、対応するユーザの位置及び向きに応じた形態で前記拡張現実画像が表示される拡張現実表示システム。 The augmented reality display system according to any one of claims 1 to 3.
The display control unit is configured to perform display control on the display so that the content to be displayed is displayed as an augmented reality image including a virtual object common to the plurality of users.
By the display control, the appearance of the three-dimensional object from the surroundings when the three-dimensional object corresponding to the augmented reality image actually exists at the point is imitated on the display of each of the plurality of users. An augmented reality display system in which the augmented reality image is displayed in a form according to the position and orientation of the corresponding user.
前記複数ユーザのそれぞれの位置及び向きは、対応するユーザの前記モバイルデバイスに搭載されたカメラからの映像データ又は測距デバイスからの測距データと、前記現実空間の三次元マップデータとに基づいて推定され、
前記拡張現実表示システムは、前記映像データ又は前記測距データに基づき、前記三次元マップデータを更新するように構成されるマップ更新部を更に備える拡張現実表示システム。 The augmented reality display system according to claim 4.
The positions and orientations of the plurality of users are based on the video data from the camera mounted on the mobile device of the corresponding user or the distance measurement data from the distance measurement device and the three-dimensional map data in the real space. Estimated,
The augmented reality display system is an augmented reality display system further including a map update unit configured to update the three-dimensional map data based on the video data or the distance measurement data.
前記選択部は、前記複数ユーザのそれぞれの属性及び行動履歴の少なくとも一方を説明する説明データを取得し、前記説明データに更に基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。 The augmented reality display system according to any one of claims 1 to 5.
The selection unit acquires explanatory data for explaining at least one of the attributes and behavior history of each of the plurality of users, and based on the explanatory data, displays the content to be displayed for each of the plurality of users from the content group. Augmented reality display system to choose from.
前記選択部は、前記複数ユーザのそれぞれに対する過去のコンテンツの表示履歴を説明する表示履歴データを取得し、前記表示履歴データに更に基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。 The augmented reality display system according to any one of claims 1 to 6.
The selection unit acquires display history data for explaining the display history of past contents for each of the plurality of users, and further based on the display history data, displays the content to be displayed for each of the plurality of users in the content group. Augmented reality display system to choose from.
ユーザ間の社会的関係を判別するように構成される関係判別部
を備え、
前記選択部は、前記関係判別部により判別された前記社会的関係に更に基づいて、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。 The augmented reality display system according to any one of claims 1 to 7.
It has a relationship discriminator that is configured to discriminate social relationships between users.
The selection unit is an augmented reality display system that selects content to be displayed for each of the plurality of users from the content group based on the social relationship determined by the relationship determination unit.
前記関係判別部は、前記複数ユーザのそれぞれの予め登録された知人情報に基づき、前記社会的関係を判別し、
前記選択部は、知人関係にあるユーザグループに対して、同じコンテンツ又は相互に関連するコンテンツが表示されるように、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択する拡張現実表示システム。 The augmented reality display system according to claim 8.
The relationship determination unit determines the social relationship based on the pre-registered acquaintance information of each of the plurality of users.
The selection unit selects the content to be displayed for each of the plurality of users from the content group so that the same content or the content related to each other is displayed to the user group having an acquaintance relationship. Display system.
前記コンテンツが表示される前記地点の特徴を判別するように構成される地点判別部
を備え、
前記選択部は、前記地点判別部により判別された前記地点の特徴に更に基づいて、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択するように構成される拡張現実表示システム。 The augmented reality display system according to any one of claims 1 to 9.
It is provided with a point determination unit configured to determine the characteristics of the point where the content is displayed.
The selection unit is an augmented reality display system configured to select content to be displayed for each of the plurality of users from the content group based on the characteristics of the point determined by the point determination unit.
前記選択部は、前記地点の特徴に応じて前記コンテンツ群の一部を選択対象から除外し、残りのコンテンツ群の中から、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記状態判別部により判別された前記状態に基づき、選択するように構成される拡張現実表示システム。 The augmented reality display system according to claim 10.
The selection unit excludes a part of the content group from the selection target according to the characteristics of the point, and from the remaining content group, the content to be displayed for each of the plurality of users is selected by the state determination unit. An augmented reality display system configured to select based on the determined state.
前記選択部は、前記コンテンツ群における各コンテンツの特徴と前記地点の特徴との関係に基づいて、前記コンテンツ群の一部を選択対象から除外する拡張現実表示システム。 The augmented reality display system according to claim 11.
The selection unit is an augmented reality display system that excludes a part of the content group from the selection target based on the relationship between the characteristics of each content in the content group and the characteristics of the point.
現実空間上の複数ユーザに共通する地点において前記複数ユーザのそれぞれに対して個別のコンテンツを表示するために、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、予め用意されたコンテンツ群から選択することと、
前記共通する地点において前記表示対象のコンテンツが拡張現実表示されるように、前記複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行うことと、
前記複数ユーザのそれぞれの状態を判別することと、
を含み、
前記判別することは、前記複数ユーザの少なくとも一人に関して、対応するユーザの状態を、複数のカメラによる撮影画像に基づき判別することを含み、
前記複数のカメラには、前記対応するユーザが有するモバイルデバイスのカメラと、前記対応するユーザが有するモバイルデバイスのカメラとは別の、前記対応するユーザを視界に収める位置で前記対応するユーザを撮影するカメラとが含まれ、
前記選択することは、前記判別された前記複数ユーザのそれぞれの前記状態に基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択することを含む拡張現実表示方法。 An augmented reality display method performed by a computer
In order to display individual contents for each of the plurality of users at a point common to a plurality of users in the real space, the content to be displayed for each of the plurality of users is selected from a group of contents prepared in advance. When,
To control the display of the mobile device of each of the plurality of users so that the content to be displayed is displayed in augmented reality at the common point.
Determining the status of each of the plurality of users
Including
The determination includes determining the state of the corresponding user with respect to at least one of the plurality of users based on images taken by a plurality of cameras.
The plurality of cameras capture the corresponding user at a position in which the corresponding user is in the field of view , which is different from the camera of the mobile device owned by the corresponding user and the camera of the mobile device owned by the corresponding user. Includes a camera and
The selection is an augmented reality display method including selecting content to be displayed for each of the plurality of users from the content group based on the determined states of the plurality of users.
現実空間上の複数ユーザに共通する地点において前記複数ユーザのそれぞれに対して個別のコンテンツを表示するために、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、予め用意されたコンテンツ群から選択することと、
前記共通する地点において前記表示対象のコンテンツが拡張現実表示されるように、前記複数ユーザのそれぞれが有するモバイルデバイスのディスプレイに対する表示制御を行うことと、
前記複数ユーザのそれぞれの状態を判別することと、
を含み、
前記判別することは、前記複数ユーザの少なくとも一人に関して、対応するユーザの状態を、前記複数ユーザのうち前記対応するユーザとは別のユーザが有する前記モバイルデバイスのカメラを含む少なくとも一つのカメラによる撮影画像に基づき判別することを含み、
前記選択することは、前記判別された前記複数ユーザのそれぞれの前記状態に基づき、前記複数ユーザのそれぞれに対する表示対象のコンテンツを、前記コンテンツ群から選択することを含む拡張現実表示方法。 An augmented reality display method performed by a computer
In order to display individual contents for each of the plurality of users at a point common to a plurality of users in the real space, the content to be displayed for each of the plurality of users is selected from a group of contents prepared in advance. When,
To control the display of the mobile device of each of the plurality of users so that the content to be displayed is displayed in augmented reality at the common point.
Determining the status of each of the plurality of users
Including
The determination is that, with respect to at least one of the plurality of users, the state of the corresponding user is captured by at least one camera including the camera of the mobile device owned by a user other than the corresponding user among the plurality of users. Including discriminating based on images
The selection is an augmented reality display method including selecting content to be displayed for each of the plurality of users from the content group based on the determined states of the plurality of users.
前記表示制御を行うことは、前記表示対象のコンテンツが前記複数ユーザに共通する仮想オブジェクトを含む拡張現実画像として表示されるように、前記ディスプレイに対する表示制御を行うことを含み、
前記表示制御によって、前記複数ユーザのそれぞれの前記ディスプレイには、前記拡張現実画像に対応する三次元物体が仮に前記地点において現実に存在する場合の周囲からの前記三次元物体の外観を模倣するように、対応するユーザの位置及び向きに応じた形態で前記拡張現実画像が表示される拡張現実表示方法。 The augmented reality display method according to claim 14 or 15.
Performing the display control includes performing display control on the display so that the content to be displayed is displayed as an augmented reality image including a virtual object common to the plurality of users.
By the display control, the appearance of the three-dimensional object from the surroundings when the three-dimensional object corresponding to the augmented reality image actually exists at the point is imitated on the display of each of the plurality of users. An augmented reality display method in which the augmented reality image is displayed in a form corresponding to the position and orientation of the corresponding user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020061895A JP6889304B1 (en) | 2020-03-31 | 2020-03-31 | Augmented reality display system, augmented reality display method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020061895A JP6889304B1 (en) | 2020-03-31 | 2020-03-31 | Augmented reality display system, augmented reality display method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6889304B1 true JP6889304B1 (en) | 2021-06-18 |
JP2021162980A JP2021162980A (en) | 2021-10-11 |
Family
ID=76429569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020061895A Active JP6889304B1 (en) | 2020-03-31 | 2020-03-31 | Augmented reality display system, augmented reality display method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6889304B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220365990A1 (en) * | 2021-05-11 | 2022-11-17 | Google Llc | Determining a visual theme in a collection of media items |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010231741A (en) * | 2009-03-30 | 2010-10-14 | Nec Corp | Electronic tag generating and displaying system, electronic tag generating and displaying device, and method thereof |
JP5471626B2 (en) * | 2010-03-09 | 2014-04-16 | ソニー株式会社 | Information processing apparatus, map update method, program, and information processing system |
WO2013108549A1 (en) * | 2012-01-16 | 2013-07-25 | シャープ株式会社 | Ar information management device and method for managing ar information |
JP6286123B2 (en) * | 2012-12-27 | 2018-02-28 | サターン ライセンシング エルエルシーSaturn Licensing LLC | Information processing apparatus, content providing method, and computer program |
JP6264870B2 (en) * | 2013-12-13 | 2018-01-24 | 富士通株式会社 | Information providing apparatus, program, and system |
JP6076304B2 (en) * | 2014-09-29 | 2017-02-08 | 京セラドキュメントソリューションズ株式会社 | Article information providing apparatus, article information providing system, article information providing method, and article information providing program |
JP6635037B2 (en) * | 2014-08-01 | 2020-01-22 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
TWI615776B (en) * | 2016-12-23 | 2018-02-21 | 李雨暹 | Method and system for creating virtual message onto a moving object and searching the same |
WO2018125766A1 (en) * | 2016-12-30 | 2018-07-05 | Facebook, Inc. | Systems and methods for providing augmented reality personalized content |
US20200098012A1 (en) * | 2018-09-25 | 2020-03-26 | XRSpace CO., LTD. | Recommendation Method and Reality Presenting Device |
-
2020
- 2020-03-31 JP JP2020061895A patent/JP6889304B1/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220365990A1 (en) * | 2021-05-11 | 2022-11-17 | Google Llc | Determining a visual theme in a collection of media items |
US12008057B2 (en) * | 2021-05-11 | 2024-06-11 | Google Llc | Determining a visual theme in a collection of media items |
Also Published As
Publication number | Publication date |
---|---|
JP2021162980A (en) | 2021-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11659348B2 (en) | Localizing binaural sound to objects | |
US9418481B2 (en) | Visual overlay for augmenting reality | |
US10554870B2 (en) | Wearable apparatus and methods for processing image data | |
US11825012B2 (en) | Server, client terminal, control method, and storage medium | |
TWI615776B (en) | Method and system for creating virtual message onto a moving object and searching the same | |
US20180322145A1 (en) | Information processing device, system, information processing method, and program | |
US20200004291A1 (en) | Wearable apparatus and methods for processing audio signals | |
US20120019557A1 (en) | Displaying augmented reality information | |
US20140195371A1 (en) | Information processing apparatus, information processing method, program and terminal apparatus | |
CN110531847B (en) | Social contact method and system based on augmented reality | |
JP6720385B1 (en) | Program, information processing method, and information processing terminal | |
US20220346683A1 (en) | Information processing system and information processing method | |
US20090241039A1 (en) | System and method for avatar viewing | |
JPWO2009038149A1 (en) | Video provision system and video provision method | |
US11887135B2 (en) | Information processing system and information processing method | |
KR20110088273A (en) | Mobile terminal and method for forming human network using mobile terminal | |
JP2013054494A (en) | Information processing apparatus, information processing method, program, recording medium, and information processing system | |
JP6889304B1 (en) | Augmented reality display system, augmented reality display method, and computer program | |
US20200279110A1 (en) | Information processing apparatus, information processing method, and program | |
JP6318289B1 (en) | Related information display system | |
KR20150127472A (en) | Apparatus and method for providing augmented reality | |
WO2023026546A1 (en) | Information processing device | |
US11601639B2 (en) | Information processing apparatus and image display method | |
US20210192844A1 (en) | Passive Data Capture-based Environment Generation | |
JP6999538B2 (en) | Information processing methods, information processing programs, information processing systems, and information processing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200331 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200331 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6889304 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |