JP7219859B2 - Communication system, communication method and communication program - Google Patents

Communication system, communication method and communication program Download PDF

Info

Publication number
JP7219859B2
JP7219859B2 JP2021092765A JP2021092765A JP7219859B2 JP 7219859 B2 JP7219859 B2 JP 7219859B2 JP 2021092765 A JP2021092765 A JP 2021092765A JP 2021092765 A JP2021092765 A JP 2021092765A JP 7219859 B2 JP7219859 B2 JP 7219859B2
Authority
JP
Japan
Prior art keywords
user
communication
display device
head
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021092765A
Other languages
Japanese (ja)
Other versions
JP2022185234A (en
Inventor
俊允 中村
仁美 村井
忠 萬國谷
Original Assignee
株式会社Nttコノキュー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Nttコノキュー filed Critical 株式会社Nttコノキュー
Priority to JP2021092765A priority Critical patent/JP7219859B2/en
Publication of JP2022185234A publication Critical patent/JP2022185234A/en
Application granted granted Critical
Publication of JP7219859B2 publication Critical patent/JP7219859B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、通信システム、通信方法及び通信プログラムに関する。 The present invention relates to a communication system, communication method and communication program.

近年、仮想現実(VR:Virtual Reality)や拡張現実(AR:Augmented Reality)をユーザに体感させるHMD(Head Mounted Display)などが提案されている。このうち、AR技術を用いたHMDとして、一般的な眼鏡と同様に、ユーザの頭部に装着して使用されるARグラスが提案されている。 In recent years, HMDs (Head Mounted Displays) and the like have been proposed that allow users to experience virtual reality (VR) and augmented reality (AR). Among these, as an HMD using AR technology, AR glasses, which are worn on the user's head and used in the same manner as general eyeglasses, have been proposed.

ARグラスは、ユーザの前方の実空間を撮像し、撮像した実空間の画像を、ARグラスのレンズ部分に相当するディスプレイに表示させる。また、ARグラスは、CGで生成された仮想的なコンテンツを、撮像された実空間の画像に重畳してディスプレイに表示させる。これにより、ARグラスを装着したユーザは、実空間の中に仮想的なコンテンツが重畳されたAR空間を体感することができる。 The AR glasses capture an image of the real space in front of the user, and display the captured image of the real space on a display corresponding to the lens portion of the AR glasses. In addition, AR glasses display virtual content generated by CG on a display by superimposing it on a captured image of the real space. As a result, a user wearing AR glasses can experience an AR space in which virtual content is superimposed on a real space.

特許第6655751号公報Japanese Patent No. 6655751

ARグラスのディスプレイにRPG(Role-Playing Game)コンテンツを表示させることで、RPGをユーザに体験させるシステムが提案されている。このシステムに対し、リアリティのあるAR体験のユーザへの提供が要望されていた。 A system has been proposed that allows a user to experience an RPG (Role-Playing Game) by displaying RPG (Role-Playing Game) content on an AR glass display. There has been a demand for this system to provide users with a realistic AR experience.

本発明は、上記に鑑みてなされたものであって、リアリティのある仮想空間上の体験をユーザに提供することを可能とする通信システム、通信方法及び通信プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a communication system, a communication method, and a communication program capable of providing a user with a realistic virtual space experience.

上述した課題を解決し、目的を達成するために、本発明の通信システムは、ユーザが使用する表示装置と、ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムであって、表示装置は、他のユーザが使用する表示装置との間で無線通信を行う通信部と、を有し、サーバは、少なくとも、各ユーザが携帯するスマートデバイスの位置情報と地図情報とを基に、ユーザと他のユーザとの間の状態を判定する判定部と、ユーザと他のユーザとの間の状態に応じて、ユーザが使用する表示装置と、他のユーザが使用する表示装置との間の通信の制限を設定する設定部と、を有し、スマートデバイスは、少なくとも該スマートデバイスの位置情報を検出し、位置情報をサーバに送信する位置検出部と、設定部による設定にしたがって、ユーザが使用する表示装置と、他のユーザが使用する表示装置との間の通信を制限する制限部と、を有することを特徴とする。 In order to solve the above-described problems and achieve the object, the communication system of the present invention is a communication system that includes a display device used by a user, a smart device carried by the user, and a server that communicates with the smart device. The display device has a communication unit that performs wireless communication with a display device used by another user, and the server provides at least location information and map information of the smart device carried by each user. a determination unit that determines the state between the user and the other user based on the display device used by the user and the display used by the other user according to the state between the user and the other user a setting unit for setting restrictions on communication with a device, the smart device at least detecting location information of the smart device and transmitting the location information to a server; and setting by the setting unit. and a restriction unit that restricts communication between a display device used by a user and a display device used by another user.

本発明によれば、リアリティのある仮想空間上の体験をユーザに提供することを可能とする。 According to the present invention, it is possible to provide a user with a realistic virtual space experience.

図1は、ARグラスのディスプレイに表示される画像の一例を示す図である。FIG. 1 is a diagram showing an example of an image displayed on a display of AR glasses. 図2は、実施の形態に係る通信システムの構成を説明する図である。FIG. 2 is a diagram illustrating the configuration of the communication system according to the embodiment. 図3は、実施の形態に係る通信システムの構成の一例を示すブロック図である。FIG. 3 is a block diagram showing an example of the configuration of the communication system according to the embodiment. 図4は、図3に示すARグラスの構成の一例を示すブロック図である。4 is a block diagram showing an example of the configuration of the AR glasses shown in FIG. 3. FIG. 図5は、図3に示すスマートデバイスの構成の一例を示すブロック図である。FIG. 5 is a block diagram showing an example of the configuration of the smart device shown in FIG. 3. As shown in FIG. 図6は、図3に示すサーバの構成の一例を示すブロック図である。FIG. 6 is a block diagram showing an example of the configuration of the server shown in FIG. 3; 図7は、図6に示す通信制限ルールのデータ構成の一例を示す図である。7 is a diagram showing an example of the data configuration of the communication restriction rule shown in FIG. 6. FIG. 図8は、図6に示す通信制限ルールのデータ構成の一例を示す図である。8 is a diagram showing an example of the data configuration of the communication restriction rule shown in FIG. 6. FIG. 図9は、通信システムにおけるユーザ間の通信制限を説明する図である。FIG. 9 is a diagram for explaining communication restrictions between users in a communication system. 図10は、通信システムにおけるユーザ間の通信制限を説明する図である。FIG. 10 is a diagram for explaining communication restrictions between users in a communication system. 図11は、実施の形態に係る通信システムにおける通信処理の処理手順を示すシーケンス図である。FIG. 11 is a sequence diagram illustrating a procedure of communication processing in the communication system according to the embodiment; 図12は、プログラムを実行するコンピュータを示す図である。FIG. 12 is a diagram showing a computer that executes a program.

以下に、本願に係る通信システム、通信方法及び通信プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る通信システム、通信方法及び通信プログラムが限定されるものではない。 Hereinafter, embodiments of a communication system, a communication method, and a communication program according to the present application will be described in detail with reference to the drawings. Note that the communication system, communication method, and communication program according to the present application are not limited by this embodiment.

以下の実施の形態では、実施の形態に係る通信システム、通信方法及び通信プログラムの処理の流れを順に説明し、最後に実施の形態による効果を説明する。 In the following embodiments, a communication system, a communication method, and a processing flow of a communication program according to the embodiments will be described in order, and finally effects of the embodiments will be described.

[実施の形態]
まず、実施の形態について説明する。実施の形態では、観光地(例えば、島)を観光するユーザに、ユーザが使用する表示装置として、例えば、仮想的なRPGコンテンツを表示可能であるARグラスを装着させ、観光地を観光しながら、RPGも体験可能とするシステムについて説明する。
[Embodiment]
First, an embodiment will be described. In the embodiment, a user visiting a sightseeing spot (for example, an island) wears, for example, AR glasses capable of displaying virtual RPG content as a display device used by the user, and tours the tourist spot. , RPG will also be described.

図1は、ARグラスのディスプレイに表示される画像の一例を示す図である。図1に例示するように、実際の島の画像に、例えば、敵であるモンスターのコンテンツC1やコインのコンテンツC2を重畳してARグラスに表示させ、ユーザが、モンスターを倒す、コインを集める、ミッションに取り組むなどのゲーム体験を可能としている。 FIG. 1 is a diagram showing an example of an image displayed on a display of AR glasses. As exemplified in FIG. 1, the image of the actual island is superimposed, for example, with contents C1 of enemy monsters and contents C2 of coins, displayed on the AR glass, and the user defeats the monsters, collects coins, and so on. It enables game experiences such as working on missions.

また、ARグラスを装着したユーザ間では、通信が可能である。このため、実施の形態では、小さな島全体を活用して、ユーザ自身が体を動かし、さらに、仲間とコミュニケーションを取りながら、その土地ならではのRPG体験を可能とする。 Further, communication is possible between users wearing AR glasses. For this reason, in the embodiment, the entire small island is used to allow the user to move his/her body and communicate with his or her companions, thereby enabling an RPG experience unique to the area.

そして、ユーザは、他のユーザと通信でコミュニケーションを取りながら、イベントのために互いに協力したり、他のユーザが困っている時にサポートアイテムを送ったりすることができる。 Then, while communicating with other users by communication, the users can cooperate with each other for events or send support items when other users are in trouble.

ここで、実施の形態では、ユーザ間のコミュケーションの取り方にゲーム性を取り入れて、よりリアリティのあるAR体験を提供する。具体的には、実施の形態では、ユーザ間の距離が離れている場合、及び、ユーザ間に障害物がある場合、ユーザ間の通信を制限する。例えば、ユーザと他のユーザとの間に仮想的な敵のキャラクターがいる場合、その敵にジャミングされ、ユーザと他のユーザとの間で通信ができないといった、ユーザ間のコミュケーションの取り方に、ゲーム性を取り入れる。 Here, in the embodiment, a more realistic AR experience is provided by incorporating game elements into the way of communication between users. Specifically, in the embodiment, communication between users is restricted when the distance between users is long and when there is an obstacle between users. For example, if there is a virtual enemy character between a user and another user, the enemy jams and communication between the user and the other user becomes impossible. , Incorporate gameplay.

[通信システムの構成]
実施の形態に係る通信システムの構成を説明する。図2は、実施の形態に係る通信システムの構成を説明する図である。図3は、実施の形態に係る通信システムの構成の一例を示すブロック図である。
[Configuration of communication system]
A configuration of a communication system according to an embodiment will be described. FIG. 2 is a diagram illustrating the configuration of the communication system according to the embodiment. FIG. 3 is a block diagram showing an example of the configuration of the communication system according to the embodiment.

本実施の形態では、例えば、ともに観光地を観光しながらRPGを体験するユーザA(ユーザ)とユーザB(他のユーザ)とが通信システム1を利用する場合を例に説明する。図2及び図3に示すように、実施の形態に係る通信システム1は、ユーザA,Bがそれぞれ装着するARグラス10A,10B(表示装置)、ユーザA,Bがそれぞれ手に持つモーションコントローラー20A,20B、ユーザA,Bがそれぞれ携帯するスマートデバイス30A,30B、及び、データセンタ等に配置されるサーバ40を有する。 In this embodiment, for example, a case in which user A (user) and user B (another user) who experience an RPG while sightseeing in a sightseeing spot use the communication system 1 will be described as an example. As shown in FIGS. 2 and 3, the communication system 1 according to the embodiment includes AR glasses 10A and 10B (display devices) worn by users A and B, respectively, and a motion controller 20A held by each of the users A and B. , 20B, smart devices 30A and 30B carried by users A and B, respectively, and a server 40 located in a data center or the like.

ARグラス10Aは、一般的な眼鏡と同様にユーザAの頭部に装着される。ARグラス10Aは、撮像機能、音声入力機能、通信機能、表示機能、音声出力機能を有する。ARグラス10Aは、実空間を撮像し、撮像した実空間の画像を、ARグラス10Aのレンズ部分に相当するディスプレイに表示させる。ARグラス10Aは、スマートデバイス30Aの制御の基、CGで生成された仮想的なコンテンツを、撮像された実空間の画像に重畳してディスプレイに表示させる。ARグラス10Aは、スマートデバイス30Aの制御の基、仮想的なコンテンツ、例えば、RPG要素である敵、味方、コイン等のキャラクター画像を表示する。また、ARグラス10Aは、仮想的なコンテンツが音声である場合には、この音声を出力してもよい。 The AR glasses 10A are worn on the head of the user A like general eyeglasses. The AR glasses 10A have an imaging function, an audio input function, a communication function, a display function, and an audio output function. The AR glasses 10A capture an image of the real space, and display the captured image of the real space on a display corresponding to the lens portion of the AR glasses 10A. Under the control of the smart device 30A, the AR glasses 10A superimpose the CG-generated virtual content on the captured image of the real space and display it on the display. Under the control of the smart device 30A, the AR glasses 10A display virtual content such as character images such as RPG elements such as enemies, allies, and coins. Also, if the virtual content is audio, the AR glasses 10A may output this audio.

ARグラス10Bは、ユーザBの頭部に装着され、ARグラス10Aと同様の機能を有する。ARグラス10Bは、スマートデバイス30Bの制御に従い各種処理を実行する。なお、以降において、ARグラス10A,10Bを総称する場合、ARグラス10と記載する。 The AR glasses 10B are worn on the head of the user B and have the same functions as the AR glasses 10A. The AR glasses 10B execute various processes under the control of the smart device 30B. In the following description, the AR glasses 10A and 10B are collectively referred to as the AR glasses 10. FIG.

モーションコントローラー20Aは、ユーザAが手に持つコントローラである。モーションコントローラー20Aは、例えば、加速度センサと、加速度センサの検出結果をスマートデバイス30Aに送信する通信機能とを有する。モーションコントローラー20Bは、ユーザBが手に持つコントローラであり、モーションコントローラー20Aと同様の機能を有する。モーションコントローラー20Bは、加速度センサの検出結果をスマートデバイス30Bに送信する。 The motion controller 20A is a controller held by the user A. The motion controller 20A has, for example, an acceleration sensor and a communication function to transmit the detection result of the acceleration sensor to the smart device 30A. The motion controller 20B is a controller held by the user B and has the same functions as the motion controller 20A. The motion controller 20B transmits the detection result of the acceleration sensor to the smart device 30B.

スマートデバイス30Aは、ユーザAが携帯するデバイスであり、例えば、タブレット、スマートフォン等のスマートデバイスであり、位置検出機能、画像認識機能、音声認識機能を有する。スマートデバイス30Aは、ARグラス10Aの制御を行う。スマートデバイス30Aは、モーションコントローラー20Aから送信された加速度センサの検出結果を基に、ユーザAの手の動きを取得する。以降において、スマートデバイス30A,30Bを総称する場合、スマートデバイス30と記載する。 The smart device 30A is a device carried by the user A, for example, a smart device such as a tablet or a smart phone, and has a position detection function, an image recognition function, and a voice recognition function. The smart device 30A controls the AR glasses 10A. The smart device 30A acquires the motion of the user A's hand based on the detection result of the acceleration sensor transmitted from the motion controller 20A. Hereinafter, the smart devices 30A and 30B are collectively referred to as the smart device 30. FIG.

スマートデバイス30Aは、ネットワークNを介して、サーバ40に接続し、ユーザAの位置情報等をサーバ40に送信する。スマートデバイス30Aは、ネットワークNを介して、サーバ40から、ARグラス10Aが出力する仮想的なコンテンツの提供を受ける。スマートデバイス30Aは、ARグラス10Aに、サーバ40から提供された仮想的なコンテンツを出力させる。 The smart device 30A connects to the server 40 via the network N and transmits the location information of the user A and the like to the server 40 . The smart device 30A receives virtual content output from the AR glasses 10A from the server 40 via the network N. FIG. The smart device 30A causes the AR glasses 10A to output virtual content provided by the server 40. FIG.

さらに、スマートデバイス30Aは、サーバ40による設定にしたがって、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信を制限する。なお、スマートデバイス30Bは、スマートデバイス30Aと同様の機能を有し、ARグラス10Bに、サーバ40から提供された仮想的なコンテンツを出力させる。スマートデバイス30Bは、サーバ40による設定にしたがって、ユーザBが装着するARグラス10Bと、ユーザAが装着するARグラス10Aとの間の通信を制限する。 Furthermore, the smart device 30A restricts communication between the AR glasses 10A worn by the user A and the AR glasses 10B worn by the user B according to the setting by the server 40. FIG. Note that the smart device 30B has the same function as the smart device 30A, and causes the AR glasses 10B to output virtual content provided by the server 40. FIG. The smart device 30B restricts communication between the AR glasses 10B worn by the user B and the AR glasses 10A worn by the user A according to the setting by the server 40 .

サーバ40は、地図情報及びAR空間上の仮想的なコンテンツを保持するとともに、仮想的なコンテンツを選択し、スマートデバイス30に送信する。サーバ40は、スマートデバイス30A,30Bから送信されたユーザA,Bの位置情報を基に、ユーザAとユーザBとの間の状態を判定する。そして、サーバ40は、ユーザAとユーザBとの間の状態に応じて、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信の制限を設定する。 The server 40 holds map information and virtual content in the AR space, selects virtual content, and transmits it to the smart device 30 . The server 40 determines the status between the users A and B based on the location information of the users A and B transmitted from the smart devices 30A and 30B. Then, the server 40 sets communication restrictions between the AR glasses 10A worn by the user A and the AR glasses 10B worn by the user B according to the state between the users A and B. FIG.

[ARグラス]
次に、ARグラス10Aについて説明する。図4は、図3に示すARグラス10Aの構成の一例を示すブロック図である。なお、ARグラス10Bは、ARグラス10Aと同様の構成を有する。
[AR glass]
Next, the AR glass 10A will be explained. FIG. 4 is a block diagram showing an example of the configuration of the AR glasses 10A shown in FIG. 3. As shown in FIG. The AR glass 10B has the same configuration as the AR glass 10A.

図4に示すように、ARグラス10は、撮像部11、音声入力部12(録音部)、通信部13、表示部14及び音声出力部15を有する。 As shown in FIG. 4 , the AR glasses 10 have an imaging unit 11 , an audio input unit 12 (recording unit), a communication unit 13 , a display unit 14 and an audio output unit 15 .

撮像部11は、実空間を撮像する。例えば、撮像部11は、撮像部11の撮像方向がARグラス10の前方である場合には、ARグラス10の前方の実空間を撮像する。撮像部11は、CCDやCMOS等の光電変換素子と、撮像素子から出力される光電変換信号を処理して実空間の画像を生成する。撮像部11は、例えば、R(赤)、G(緑)、B(青)の3色の2次元画像を取得する。 The imaging unit 11 images the real space. For example, when the imaging direction of the imaging unit 11 is in front of the AR glasses 10 , the imaging unit 11 images the real space in front of the AR glasses 10 . The imaging unit 11 generates an image of a real space by processing a photoelectric conversion element such as a CCD or a CMOS and a photoelectric conversion signal output from the imaging element. The imaging unit 11 acquires a two-dimensional image of three colors of R (red), G (green), and B (blue), for example.

音声入力部12は、音声の入力を受け付け、入力された音声を録音するデバイスによって構成される。 The voice input unit 12 is configured by a device that receives input of voice and records the input voice.

通信部13は、スマートデバイス30との無線通信を行う。通信部13は、撮像部11が撮像した画像及び音声入力部12が録音した音声を、スマートデバイス30に送信する。通信部13は、スマートデバイス30から送信された仮想的なコンテンツを受信する。また、通信部13は、ユーザBが装着するARグラス10Bとの間で通信を行い、ユーザA,B間での会話を可能とする。 The communication unit 13 performs wireless communication with the smart device 30 . The communication unit 13 transmits the image captured by the imaging unit 11 and the audio recorded by the audio input unit 12 to the smart device 30 . The communication unit 13 receives virtual content transmitted from the smart device 30 . In addition, the communication unit 13 communicates with the AR glasses 10B worn by the user B to enable conversation between the users A and B. FIG.

表示部14は、ディスプレイによって構成される。表示部14は、撮像部11が撮像した実空間の画像を表示する。表示部14は、通信部13が受信した仮想的なコンテンツ、例えば、敵、味方、コイン等のキャラクター画像を、実空間の画像に重畳して表示する。なお、表示部14は、透過表示可能なディスプレイであって、仮想的なコンテンツのうち、敵、味方、コイン等のキャラクター画像を表示してもよい。 The display unit 14 is configured by a display. The display unit 14 displays the image of the real space captured by the imaging unit 11 . The display unit 14 displays the virtual content received by the communication unit 13, such as character images such as enemies, allies, and coins, superimposed on images in real space. Note that the display unit 14 is a display capable of transmissive display, and may display character images such as enemies, allies, coins, etc. among virtual contents.

音声出力部15は、音声を出力する。音声出力部15は、通信部が受信した仮想的なコンテンツのうち、動物の鳴き声や足音等の音声を出力する。 The audio output unit 15 outputs audio. The audio output unit 15 outputs sounds such as animal barks and footsteps from the virtual content received by the communication unit.

[スマートデバイス]
次に、スマートデバイス30Aについて説明する。図5は、図3に示すスマートデバイス30Aの構成の一例を示すブロック図である。なお、スマートデバイス30Bは、スマートデバイス30Aと同様の構成を有する。図5に示すように、スマートデバイス30は、通信部31、記憶部32及び制御部33を有する。
[Smart Device]
Next, the smart device 30A will be described. FIG. 5 is a block diagram showing an example of the configuration of the smart device 30A shown in FIG. 3. As shown in FIG. Note that the smart device 30B has the same configuration as the smart device 30A. As shown in FIG. 5 , the smart device 30 has a communication section 31 , a storage section 32 and a control section 33 .

通信部31は、無線または有線にて他の装置との間で通信を行う。通信部21は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部31は、NIC(Network Interface Card)等で実現され、LAN(Local Area Network)やインターネットなどの電気通信回線を介した他の装置と制御部33(後述)との間の通信を行う。例えば、通信部31は、ARグラス10Aから画像、音声を受信し、ARグラス10Aに仮想的なコンテンツを送信する。通信部31は、サーバ40に、スマートデバイス30Aの位置情報を送信し、サーバ40から仮想的なコンテンツを受信する。 The communication unit 31 performs wireless or wired communication with other devices. The communication unit 21 is a communication interface that transmits and receives various information to and from another device connected via a network or the like. The communication unit 31 is realized by a NIC (Network Interface Card) or the like, and performs communication between another device and the control unit 33 (described later) via an electric communication line such as a LAN (Local Area Network) or the Internet. For example, the communication unit 31 receives images and sounds from the AR glasses 10A and transmits virtual content to the AR glasses 10A. The communication unit 31 transmits location information of the smart device 30</b>A to the server 40 and receives virtual content from the server 40 .

記憶部32は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置である。なお、記憶部32は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等のデータを書き換え可能な半導体メモリであってもよい。記憶部32は、スマートデバイス30Aで実行されるOS(Operating System)や各種プログラムを記憶する。さらに、記憶部32は、プログラムの実行で用いられる各種情報を記憶する。記憶部32は、サーバ40から送信された仮想的なコンテンツを含むコンテンツ情報321を記憶する。記憶部32は、ARグラス10Aから送信された画像データ(不図示)を記憶する。 The storage unit 32 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), an optical disc, or the like. Note that the storage unit 32 may be a rewritable semiconductor memory such as a RAM (Random Access Memory), a flash memory, or an NVSRAM (Non Volatile Static Random Access Memory). The storage unit 32 stores an OS (Operating System) and various programs executed by the smart device 30A. Furthermore, the storage unit 32 stores various information used in executing the program. The storage unit 32 stores content information 321 including virtual content transmitted from the server 40 . The storage unit 32 stores image data (not shown) transmitted from the AR glasses 10A.

制御部33は、スマートデバイス30A全体を制御する。制御部33は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路である。また、制御部33は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部33は、各種のプログラムが動作することにより各種の処理部として機能する。制御部33は、位置検出部331、動き検出部332及びARグラス制御部333(制御部)を有する。 The control unit 33 controls the entire smart device 30A. The control unit 33 is, for example, an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). The control unit 33 also has an internal memory for storing programs defining various processing procedures and control data, and executes each processing using the internal memory. Further, the control unit 33 functions as various processing units by running various programs. The control unit 33 has a position detection unit 331, a motion detection unit 332, and an AR glasses control unit 333 (control unit).

位置検出部331は、スマートデバイス30Aの位置を検出する。位置検出部331は、例えば、GPS(Global Positioning System)等によりスマートデバイス30Aの位置情報が取得可能である。位置検出部331は、定期的に、スマートデバイス30Aの位置を取得して、緯度及び経度で表した位置情報を、通信部31を介して、サーバ40に送信する。 The position detector 331 detects the position of the smart device 30A. The position detection unit 331 can acquire the position information of the smart device 30A by GPS (Global Positioning System), for example. The position detection unit 331 periodically acquires the position of the smart device 30A and transmits the position information represented by latitude and longitude to the server 40 via the communication unit 31 .

動き検出部332は、モーションコントローラー20Aから送信された加速度センサの検出結果を基に、ユーザの手の動きを取得する。なお、通信システム1では、モーションコントローラー20の使用はオプションでもよい。モーションコントローラー20を使用しない場合には、スマートデバイス30から動き検出部332を省略してもよい。 The motion detection unit 332 acquires the motion of the user's hand based on the detection result of the acceleration sensor transmitted from the motion controller 20A. In addition, in the communication system 1, use of the motion controller 20 may be optional. The motion detector 332 may be omitted from the smart device 30 when the motion controller 20 is not used.

ARグラス制御部333は、ARグラス10Aの処理を制御する。例えば、ARグラス制御部333は、ARグラス10Aのレンズ部のディスプレイへの画像表示処理やARグラス10による音声出力処理を制御する。ARグラス制御部333は、コンテンツ合成部334と、通信制御部335とを有する。 The AR glasses control unit 333 controls the processing of the AR glasses 10A. For example, the AR glasses control unit 333 controls image display processing on the display of the lens unit of the AR glasses 10A and audio output processing by the AR glasses 10A. The AR glasses control unit 333 has a content synthesis unit 334 and a communication control unit 335 .

コンテンツ合成部334は、サーバ40から送信された仮想的なコンテンツが、実空間の画像に重畳するキャラクター画像である場合、キャラクター画像と実空間の画像との合成処理を行う。コンテンツ合成部334による合成処理後、ARグラス制御部333は、ARグラス10Aの表示部14に、実空間の画像にキャラクター画像を重畳させた画像を表示させる。キャラクター画像の重畳位置は、例えば、予め設定されている。或いは、キャラクター画像の重畳位置は、サーバ40による指示によって設定される。 When the virtual content transmitted from the server 40 is a character image to be superimposed on the real space image, the content synthesizing unit 334 performs synthesizing processing of the character image and the real space image. After the composition processing by the content composition unit 334, the AR glasses control unit 333 causes the display unit 14 of the AR glasses 10A to display an image in which the character image is superimposed on the image of the real space. The superimposition position of the character image is set in advance, for example. Alternatively, the character image superimposition position is set by an instruction from the server 40 .

また、仮想的なコンテンツは、RPG要素である敵、味方、コイン等のキャラクター画像のほか、動物の鳴き声や足音等の音声であってもよい。ARグラス制御部333は、取得したコンテンツが、動物の鳴き声や足音等の音声である場合、ARグラス10Aの音声出力部15から、音声を出力させる。 In addition, the virtual content may be character images such as enemies, allies, and coins, which are RPG elements, as well as sounds such as animal cries and footsteps. The AR glasses control unit 333 causes the audio output unit 15 of the AR glasses 10A to output audio when the acquired content is audio such as animal cries and footsteps.

[サーバ]
次に、サーバ40について説明する。図6は、図3に示すサーバ40の構成の一例を示すブロック図である。図6に示すように、サーバ40は、通信部41、記憶部42及び制御部43を有する。
[server]
Next, the server 40 will be explained. FIG. 6 is a block diagram showing an example of the configuration of server 40 shown in FIG. As shown in FIG. 6 , the server 40 has a communication section 41 , a storage section 42 and a control section 43 .

通信部41は、無線または有線にて他の装置との間で通信を行う。通信部41は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部41は、NIC等で実現され、LANやインターネットなどの電気通信回線を介した他の装置と制御部43後述)との間の通信を行う。例えば、通信部41は、スマートデバイス30A,30Bから位置情報、画像認識結果、音声認識結果を受信し、スマートデバイス30A,30Bに仮想的なコンテンツを送信する。 The communication unit 41 performs wireless or wired communication with other devices. The communication unit 41 is a communication interface that transmits and receives various information to and from another device connected via a network or the like. The communication unit 41 is implemented by a NIC or the like, and performs communication between another device and the control unit 43 (to be described later) via an electric communication line such as a LAN or the Internet. For example, the communication unit 41 receives location information, image recognition results, and voice recognition results from the smart devices 30A and 30B, and transmits virtual content to the smart devices 30A and 30B.

記憶部42は、HDD、SSD、光ディスク等の記憶装置である。なお、記憶部42は、RAM、フラッシュメモリ、NVSRAM等のデータを書き換え可能な半導体メモリであってもよい。記憶部42は、サーバ40で実行されるOSや各種プログラムを記憶する。 The storage unit 42 is a storage device such as an HDD, an SSD, an optical disc, or the like. Note that the storage unit 42 may be a rewritable semiconductor memory such as a RAM, a flash memory, or an NVSRAM. The storage unit 42 stores the OS and various programs executed by the server 40 .

さらに、記憶部42は、プログラムの実行で用いられる各種情報を記憶する。記憶部42は、地図情報421、コンテンツ情報422、ユーザ情報423、障害物情報424及び通信制限ルール425を記憶する。 Further, the storage unit 42 stores various information used in executing the program. The storage unit 42 stores map information 421 , content information 422 , user information 423 , obstacle information 424 and communication restriction rules 425 .

地図情報421は、ユーザが観光する島等の観光地の森、川、山、平野、名所等を含む地図である。地図情報421は、等高線で土地の高低が示される。 The map information 421 is a map including forests, rivers, mountains, plains, famous places, etc. of sightseeing spots such as islands that the user visits. The map information 421 indicates the elevation of the land by contour lines.

コンテンツ情報422は、各種仮想的なコンテンツを含む。各種仮想的なコンテンツは、敵、味方、コイン等のキャラクター画像、または、動物の足音或いは鳴き声の音声である。敵、味方、コイン等のキャラクター画像は、出現させる位置が予め設定されている。敵、味方のキャラクター画像は、強さが予め設定されている。また、仮想的なコンテンツは、所定の地域(観光地)や、観光地の森、川、山、平野、名所等の各所定箇所に対応づけて予め作成された、観光地の各所定箇所に特有のコンテンツであってもよい。また、観光地の各所定箇所に特有のコンテンツは、敵または味方に分けて、それぞれ作成されたものでもよい。 Content information 422 includes various virtual contents. Various virtual contents are character images such as enemies, allies, coins, etc., or sounds of animal footsteps or cries. Character images such as enemies, allies, coins, etc. have preset positions to appear. The character images of enemies and allies have strengths set in advance. In addition, virtual content is created in advance in association with predetermined areas (sightseeing spots), forests, rivers, mountains, plains, famous places, etc. It can be unique content. Also, the content unique to each predetermined location of the tourist spot may be created separately for each enemy or friend.

ユーザ情報423は、通信システム1を利用して、所定の地域でRPG体験を行うユーザの各種情報を含む。ユーザ情報423は、例えば、ユーザの識別情報、ユーザのRPG体験開始時刻、RPG体験終了時刻、RPG上のレベル、保有するサポートアイテム、同行するユーザの識別情報等を含む。 The user information 423 includes various information of users who use the communication system 1 and experience RPGs in a predetermined area. The user information 423 includes, for example, user identification information, user's RPG experience start time, RPG experience end time, level in RPG, owned support items, identification information of accompanying users, and the like.

障害物情報424は、ユーザの進行の障害となる障害物の種別及び位置を示す情報である。障害物情報424は、障害物である、地形の凹凸、森林、川、建築物の位置、大きさ、高さを含む。また、障害物情報424は、障害物となる敵となるキャラクター画像と、その位置及び強さを含む。 The obstacle information 424 is information indicating the types and positions of obstacles that hinder the progress of the user. The obstacle information 424 includes the position, size, and height of terrain irregularities, forests, rivers, and buildings that are obstacles. Further, the obstacle information 424 includes an enemy character image that serves as an obstacle, and its position and strength.

通信制限ルール425は、ユーザA,B間の通信を制限する場合の制限ルールである。ユーザA,B間の通信は、ユーザAとユーザBとの間の距離、障害物の有無、障害物の種別、大きさ、数によって、どの程度制限されるか、予め設定されており、適宜変更も可能である。 A communication restriction rule 425 is a restriction rule for restricting communication between users A and B. FIG. The extent to which communication between users A and B is limited by the distance between users A and B, the presence or absence of obstacles, the type, size, and number of obstacles is set in advance. Modifications are possible.

図7及び図8は、図6に示す通信制限ルール425のデータ構成の一例を示す図である。図7では、ユーザA,B間の各距離と、各距離に対応する通信制限の内容とが対応付けられている。例えば、図7に示すように、ユーザAとユーザBとの間の距離が、10m未満であれば、通信制限はないが、10m以上30m未満である場合には、30分毎に10分のみ通信が可能であるように制限される。そして、図7の例では、ユーザAとユーザBとの間の距離が離れているほど、ユーザA,B間の通信が制限されるように設定される。 7 and 8 are diagrams showing an example of the data configuration of the communication restriction rule 425 shown in FIG. 6. FIG. In FIG. 7, each distance between users A and B is associated with the content of communication restriction corresponding to each distance. For example, as shown in FIG. 7, if the distance between user A and user B is less than 10 m, there is no communication restriction, but if the distance is 10 m or more and less than 30 m, only 10 minutes every 30 minutes Limited to what communication is possible. In the example of FIG. 7, the communication between the users A and B is restricted as the distance between the users A and B increases.

また、図8では、ユーザA,B間の障害物の種別、大きさ、レベル(強さ)と、これらに対応する通信制限の内容とが対応付けられている。図8に示すように、ユーザAとユーザBとの間に障害物がない場合には通信制限はないが、例えば、所定規模より小さい森がある場合には、30分毎に15分のみ通信が可能であるように制限される。そして、所定規模より大きい森がある場合には、30分毎に1分のみ通信が可能であるように制限される。図8の例では、障害物が大きくなるほど、ユーザ間の通信が制限されるように設定される。そして、ユーザAとユーザBとの間に敵キャラクターがある場合には、敵のレベル(強さ)が上がるにしたがってユーザA,B間の通信が制限されるように設定される。 Further, in FIG. 8, the types, sizes, and levels (strengths) of obstacles between users A and B are associated with the contents of communication restrictions corresponding thereto. As shown in FIG. 8, if there is no obstacle between user A and user B, there is no communication limit. is restricted as possible. If there is a forest larger than a predetermined size, communication is limited to one minute every 30 minutes. In the example of FIG. 8, communication between users is restricted as the obstacle becomes larger. If there is an enemy character between user A and user B, communication between users A and B is restricted as the level (strength) of the enemy increases.

制御部43は、サーバ40全体を制御する。制御部43は、例えば、CPU、MPU等の電子回路や、ASIC、FPGA等の集積回路である。また、制御部43は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部43は、各種のプログラムが動作することにより各種の処理部として機能する。制御部43は、判定部431及び通信制限設定部432(設定部)を有する。 The control unit 43 controls the server 40 as a whole. The control unit 43 is, for example, an electronic circuit such as a CPU or MPU, or an integrated circuit such as an ASIC or FPGA. The control unit 43 also has an internal memory for storing programs defining various processing procedures and control data, and executes each processing using the internal memory. Further, the control unit 43 functions as various processing units by running various programs. The control unit 43 has a determination unit 431 and a communication restriction setting unit 432 (setting unit).

判定部431は、少なくとも、スマートデバイス30A,30Bから受信したスマートデバイス30A,30Bの各位置情報と、地図情報421とを基に、ユーザA,Bの位置を検出し、ユーザAとユーザBとの間の状態を判定する。具体的には、判定部431は、ユーザAとユーザBとの間の距離を判定する。 Based on at least the location information of the smart devices 30A and 30B received from the smart devices 30A and 30B and the map information 421, the determination unit 431 detects the locations of the users A and B, determine the state between Specifically, the determination unit 431 determines the distance between the user A and the user B.

そして、判定部431は、ユーザAとユーザBとの間の障害物の有無を判定する。例えば、判定部431は、地図情報421及び障害物情報424を参照し、ユーザAとユーザBとの間に、敵となるキャラクターがいる場合、その敵のキャラクターを障害物であると判定する。また、判定部431は、地図情報421及び障害物情報424を参照し、ユーザA,Bとの間に、地形の凹凸、森林、川または建築物がある場合、この地形の凹凸、森林、川または建築物を障害物であると判定する。判定部431は、地図情報421に含まれる等高線を基に、山、丘、窪地等を、障害物として判定してもよい。判定部431は、ユーザA,Bとの間に、味方となるキャラクターがいるか否かを判定してもよい。 Then, the determination unit 431 determines whether or not there is an obstacle between the user A and the user B. For example, the determining unit 431 refers to the map information 421 and the obstacle information 424, and determines that the enemy character is an obstacle when there is an enemy character between the user A and the user B. Further, the determination unit 431 refers to the map information 421 and the obstacle information 424, and if there is a terrain unevenness, a forest, a river, or a building between the users A and B, the terrain unevenness, the forest, the river, etc. Alternatively, the building is determined to be an obstacle. Based on the contour lines included in the map information 421, the determination unit 431 may determine mountains, hills, depressions, and the like as obstacles. The determination unit 431 may determine whether or not there is a friendly character between the users A and B.

通信制限設定部432は、判定部431によって判定された、ユーザAとユーザBとの間の状態に応じて、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信の制限を設定する。通信制限設定部432は、ユーザAとユーザBとの間の距離、及び、ユーザAとユーザBとの間の障害物の有無に応じて、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信の制限を設定する。 The communication restriction setting unit 432 limits the distance between the AR glasses 10A worn by the user A and the AR glasses 10B worn by the user B according to the state between the user A and the user B determined by the determination unit 431. set communication limits. The communication restriction setting unit 432 sets the AR glasses 10A worn by the user A and the Set restrictions on communication with the AR glasses 10B to be worn.

通信制限設定部432は、図7及び図8に例示する通信制限ルール425を参照して、ユーザAとユーザBとの間の距離が離れているほど、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信が制限されるように設定する。 The communication restriction setting unit 432 refers to the communication restriction rule 425 illustrated in FIGS. Setting is made so that communication with the AR glasses 10B worn by the user B is restricted.

通信制限設定部432は、図7及び図8に例示する通信制限ルール425を参照して、ユーザAとユーザBとの間に、敵となるキャラクターがいる場合、敵となるキャラクターの数及び強さに応じて、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信の制限を設定する。 The communication restriction setting unit 432 refers to the communication restriction rule 425 illustrated in FIGS. Accordingly, communication restrictions between the AR glasses 10A worn by user A and the AR glasses 10B worn by user B are set.

通信制限設定部432は、図7及び図8に例示する通信制限ルール425を参照して、ユーザAとユーザBとの間に、地形の凹凸、森林、川または建築物がある場合、地形の凹凸、森林、川または建築物の大きさに応じて、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信の制限を設定する。通信制限設定部432は、ユーザAとユーザBとの間の距離、及び、ユーザAとユーザBとの間の障害物の有無に応じて、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信の遮断を設定してもよい。 The communication restriction setting unit 432 refers to the communication restriction rule 425 illustrated in FIGS. Restrictions on communication between the AR glasses 10A worn by user A and the AR glasses 10B worn by user B are set according to the size of unevenness, a forest, a river, or a building. The communication restriction setting unit 432 sets the AR glasses 10A worn by the user A and the It may be set to cut off communication with the AR glasses 10B to be worn.

この際、通信制限設定部432は、ユーザA,B間の距離や障害物に応じて、通信時間を制限するほか、通信状態を悪化させてもよい。例えば、通信制限設定部432は、ユーザA,B間の距離が離れているほど、ノイズが多くなるような通信制限を設定してもよい。また、通信制限設定部432は、ユーザA,B間の、森が大きいほど、或いは、敵であるキャラクターのレベルが上がるほど、ノイズが多くなるような通信制限を設定してもよい。また、通信制限設定部432は、敵であるキャラクターのレベルが所定レベルを超えた場合には、ユーザA,B間の通信を遮断してもよい。 At this time, the communication limit setting unit 432 may limit the communication time or worsen the communication state in accordance with the distance between users A and B and obstacles. For example, the communication limit setting unit 432 may set a communication limit such that noise increases as the distance between users A and B increases. Further, the communication restriction setting unit 432 may set a communication restriction such that the larger the forest between the users A and B or the higher the level of the enemy character, the more noise there is. Further, the communication restriction setting unit 432 may cut off the communication between the users A and B when the level of the enemy character exceeds a predetermined level.

また、通信制限設定部432は、ユーザA,Bが、障害物から所定距離以上離れると、通信制限を解除してもよいし、ユーザAまたはユーザBが敵のキャラクターを倒すと、倒したキャラクターの数に合わせて段階的に通信制限を解除してもよい。通信制限設定部432は、ユーザA,B間に、味方となるキャラクターがいる場合、味方となるキャラクターの数及び強さに応じて、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信の制限を緩和してもよい。 Further, the communication restriction setting unit 432 may release the communication restriction when the users A and B are separated from the obstacle by a predetermined distance or more, and when the user A or the user B defeats the enemy character, the defeated character Communication restrictions may be lifted in stages according to the number of If there are friendly characters between users A and B, the communication restriction setting unit 432 sets the AR glasses 10A worn by user A and the AR glasses 10A worn by user B according to the number and strength of the friendly characters. Restrictions on communication with the AR glasses 10B may be relaxed.

[通信制限例]
図9及び図10は、通信システム1におけるユーザ間の通信制限を説明する図である。図9及び図10では、説明の容易化のため、地図上に疑似的に各ユーザを配置して説明を行う。
[Example of communication restrictions]
9 and 10 are diagrams for explaining communication restrictions between users in the communication system 1. FIG. In FIGS. 9 and 10, for ease of explanation, each user is pseudo-arranged on a map for explanation.

図9に例示するユーザU11とユーザU12との間の通信制限について説明する。ユーザU11とユーザU12との間には、森B1が位置している。この森B1は、所定規模よりも大きい。このため、通信システム1では、常時、ユーザU11とユーザU12との通信ができないように通信を制限する(図9の(1))。例えば、森B1が所定規模よりも大きいため、通信システム1では、ユーザU11とユーザU12とに対し、30分に1分のみの通信に制限する。これに対し、ユーザU12とユーザU13との間は、障害物もないため、通信制限はなく、通信が可能である(図9の(2))。 Communication restrictions between user U11 and user U12 illustrated in FIG. 9 will be described. A forest B1 is located between the user U11 and the user U12. This forest B1 is larger than a predetermined scale. Therefore, in the communication system 1, communication is always restricted so that the user U11 and the user U12 cannot communicate ((1) in FIG. 9). For example, since the forest B1 is larger than the predetermined size, the communication system 1 limits the communication between the user U11 and the user U12 to only one minute every 30 minutes. On the other hand, since there is no obstacle between the user U12 and the user U13, there is no communication restriction and communication is possible ((2) in FIG. 9).

次に、図10に示すユーザU13とユーザU14との間の通信制限について説明する。ユーザU13とユーザU14との間には、敵である3体のモンスターB2~B4がいる。これらのモンスターB2~B4は、仮想的なコンテンツとして配置されているものであり、それぞれレベルも設定されている。このため、通信システム1では、常時、ユーザU13とユーザU14との通信ができないように通信を制限する(図10の(1))。 Next, communication restrictions between the user U13 and the user U14 shown in FIG. 10 will be described. Between the user U13 and the user U14 are three enemy monsters B2 to B4. These monsters B2 to B4 are arranged as virtual contents, and their levels are also set. Therefore, in the communication system 1, communication is always restricted so that the user U13 and the user U14 cannot communicate ((1) in FIG. 10).

例えば、モンスターB2~B4がいずれもレベル1の場合、モンスターB2~B4のレベルを加算する。通信システム1では、各レベルを加算した値「3」に対応させて、ユーザU13とユーザU14とに対し、30分に1分のみの通信に制限する。ユーザU13とユーザU14とがモンスターを倒すと、通信システム1は、倒したモンスターの分、ユーザU13とユーザU14とに対する通信制限も解除する。なお、通信システム1では、複数のモンスターがいる場合には、モンスターのうち最も高いレベルのモンスターを基準に通信を制限してもよい。 For example, if monsters B2-B4 are all level 1, the levels of monsters B2-B4 are added. In the communication system 1, each level is added to the value "3", and the user U13 and the user U14 are limited to communication for only one minute every 30 minutes. When the user U13 and the user U14 defeat the monsters, the communication system 1 also cancels the communication restriction for the user U13 and the user U14 by the amount of the defeated monsters. In addition, in the communication system 1, when there are a plurality of monsters, communication may be restricted based on the highest level monster among the monsters.

通信システム1は、モンスターに限らず、地形の凹凸、森林、川、建築物等の障害物の大きさや高さを基に、通信を制限してもよい。そして、通信システム1では、複数の障害物がある場合、各障害物に対応する通信制限のうち最も制限がある障害物を基準に通信を制限してもよい。もちろん、通信システム1では、図7に示す通信制限ルールに従って、ユーザ間の距離に応じて通信制限を行ってもよい。また、通信システム1は、ユーザ間の距離に応じた通信制限、及び、ユーザ間の障害物に応じた通信制限のうち、最も制限がある障害物を基準に通信を制限してもよい。 The communication system 1 may restrict communication based on the size and height of obstacles such as uneven terrain, forests, rivers, and buildings, as well as monsters. Then, in the communication system 1, when there are a plurality of obstacles, the communication may be restricted based on the obstacle with the most restriction among the communication restrictions corresponding to each obstacle. Of course, in the communication system 1, communication may be restricted according to the distance between users according to the communication restriction rule shown in FIG. In addition, the communication system 1 may limit communication based on the most restrictive obstacle among the communication limit according to the distance between users and the communication limit according to obstacles between users.

[通信処理の処理手順]
図11は、実施の形態に係る通信システム1における通信処理の処理手順を示すシーケンス図である。
[Processing procedure of communication processing]
FIG. 11 is a sequence diagram showing the procedure of communication processing in the communication system 1 according to the embodiment.

図11に示すように、サーバ40は、通信制限対象のユーザA,Bを認識するために、ユーザ情報423を参照する(ステップS1)。サーバ40は、地図情報421を参照する(ステップS2)。 As shown in FIG. 11, the server 40 refers to the user information 423 in order to recognize users A and B subject to communication restriction (step S1). The server 40 refers to the map information 421 (step S2).

スマートデバイス30A,30Bは、スマートデバイス30A,30Bの位置を検出する度に(ステップS3,S6)、サーバ40に位置情報を送信する(ステップS4,S7)。サーバ40は、受信した位置情報と地図情報421とを基にユーザA,Bの位置を判定する(ステップS5,S8)。 Each time the smart devices 30A and 30B detect the positions of the smart devices 30A and 30B (steps S3 and S6), they transmit position information to the server 40 (steps S4 and S7). The server 40 determines the positions of the users A and B based on the received position information and map information 421 (steps S5 and S8).

サーバ40は、ユーザAとユーザBとの間の状態を判定する。まず、サーバ40は、ユーザAとユーザBとの間の距離を判定する(ステップS9)。サーバ40は、障害物情報424を参照し(ステップS10)、ユーザAとユーザBとの間の障害物の有無を判定する(ステップS11)。 Server 40 determines the status between User A and User B. First, the server 40 determines the distance between the user A and the user B (step S9). The server 40 refers to the obstacle information 424 (step S10) and determines whether or not there is an obstacle between the user A and the user B (step S11).

サーバ40は、通信制限ルール425を参照し(ステップS12)、ステップS9及びステップS11の判定結果を基に、通信制限を行うか否かを判定する(ステップS13)。 The server 40 refers to the communication restriction rule 425 (step S12), and determines whether or not to restrict communication based on the determination results of steps S9 and S11 (step S13).

サーバ40は、通信制限を行わないと判定した場合(ステップS13:No)、ステップS5に戻る。サーバ40は、例えば、図7及び図8に通信制限ルール425に例示するように、ユーザAとユーザBとの間の距離が10m未満であり、ユーザAとユーザBとの間に障害物がない場合、通信制限を行わないと判定する。 When the server 40 determines not to restrict communication (step S13: No), the process returns to step S5. For example, as illustrated in the communication restriction rule 425 in FIGS. If not, it is determined that communication restriction is not performed.

サーバ40は、通信制限を行うと判定した場合(ステップS13:Yes)、通信制限ルール425にしたがって、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信の制限を設定する(ステップS14)。そして、スマートデバイス30A,30Bに、通信制限を指示する(ステップS15,S17)。スマートデバイス30A,30Bは、サーバ40による設定にしたがって、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信を制限する(ステップS16,S18)。 If the server 40 determines to restrict communication (step S13: Yes), communication between the AR glasses 10A worn by the user A and the AR glasses 10B worn by the user B is restricted according to the communication restriction rule 425. A limit is set (step S14). Then, the smart devices 30A and 30B are instructed to restrict communication (steps S15 and S17). The smart devices 30A and 30B restrict communication between the AR glasses 10A worn by the user A and the AR glasses 10B worn by the user B according to the setting by the server 40 (steps S16 and S18).

[実施の形態の効果]
このように、本実施の形態では、ユーザAとユーザBとの間の状態に応じて、ユーザAが装着するARグラス10Aと、ユーザBが装着するARグラス10Bとの間の通信を制限する。例えば、実施の形態では、ユーザ間の距離が離れている場合や、ユーザ間に敵のキャラクターなどの障害物がある場合に、ユーザ間の通信を制限することで、コミュケーションの取り方にゲーム性を取り入れて、よりリアリティのある仮想空間上の体験をユーザに提供することができる。
[システム構成等]
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUやGPU及び当該CPUやGPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
[Effects of Embodiment]
As described above, in the present embodiment, communication between the AR glasses 10A worn by the user A and the AR glasses 10B worn by the user B is restricted according to the state between the users A and B. . For example, in the embodiment, when the distance between the users is long, or when there is an obstacle such as an enemy character between the users, communication between the users is restricted so that the game can be used as a communication method. It is possible to provide the user with a more realistic virtual space experience.
[System configuration, etc.]
Also, each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured. Furthermore, all or any part of each processing function performed by each device is realized by a CPU or GPU and a program analyzed and executed by the CPU or GPU, or as hardware by wired logic can be realized.

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 Further, among the processes described in this embodiment, all or part of the processes described as being automatically performed can be performed manually, or the processes described as being performed manually can be performed manually. All or part of this can also be done automatically by known methods. In addition, information including processing procedures, control procedures, specific names, and various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified.

[プログラム]
また、上記実施形態において説明したARグラス10、スマートデバイス30A,30B及びサーバ40及びが実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態におけるARグラス10、スマートデバイス30A,30B及びサーバ40が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
[program]
It is also possible to create a program in which the processes executed by the AR glasses 10, the smart devices 30A and 30B, and the server 40 described in the above embodiment are described in a computer-executable language. For example, it is possible to create a program in which the processes executed by the AR glasses 10, the smart devices 30A and 30B, and the server 40 in the embodiment are described in a computer-executable language. In this case, the same effects as those of the above embodiments can be obtained by having the computer execute the program. Further, such a program may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read by a computer and executed to realize processing similar to that of the above embodiments.

図12は、プログラムを実行するコンピュータを示す図である。図12に例示するように、コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有し、これらの各部はバス1080によって接続される。 FIG. 12 is a diagram showing a computer that executes a program. As illustrated in FIG. 12, computer 1000 includes, for example, memory 1010, CPU 1020, hard disk drive interface 1030, disk drive interface 1040, serial port interface 1050, video adapter 1060, and network interface 1070. , and these units are connected by a bus 1080 .

メモリ1010は、図12に例示するように、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、図12に例示するように、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。 The memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012 as illustrated in FIG. The ROM 1011 stores a boot program such as BIOS (Basic Input Output System). Hard disk drive interface 1030 is connected to hard disk drive 1090 as illustrated in FIG. A disk drive interface 1040 is connected to the disk drive 1100 . A removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 . Serial port interface 1050 is connected to mouse 1110 and keyboard 1120, for example. Video adapter 1060 is connected to display 1130, for example.

ここで、図12に例示するように、ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、上記の、プログラムは、コンピュータ1000によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ1090に記憶される。 Here, as illustrated in FIG. 12, the hard disk drive 1090 stores an OS 1091, application programs 1092, program modules 1093, and program data 1094, for example. That is, the above program is stored, for example, in hard disk drive 1090 as a program module in which instructions to be executed by computer 1000 are described.

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出し、各種処理手順を実行する。 Various data described in the above embodiments are stored as program data in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads the program modules 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes various processing procedures.

なお、プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してCPU1020によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。 Note that the program module 1093 and program data 1094 related to the program are not limited to being stored in the hard disk drive 1090. For example, they may be stored in a removable storage medium and read by the CPU 1020 via a disk drive or the like. . Alternatively, the program module 1093 and program data 1094 related to the program are stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.), and are transmitted via the network interface 1070. It may be read by CPU 1020 .

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 The above-described embodiments and modifications thereof are included in the scope of the invention described in the claims and their equivalents, as well as in the technology disclosed in the present application.

10,10A,10B ARグラス
11 撮像部
12 音声入力部
13,31,41 通信部
14 表示部
15 音声出力部
20A,20B モーションコントローラー
30,30A,30B スマートデバイス
32,42 記憶部
33,43 制御部
40 サーバ
321,422 コンテンツ情報
331 位置検出部
332 動き検出部
333 ARグラス制御部
334 コンテンツ合成部
335 通信制御部
421 地図情報
423 ユーザ情報
424 障害物情報
425 通信制限ルール
431 判定部
432 通信制限設定部
10, 10A, 10B AR glasses 11 imaging unit 12 audio input unit 13, 31, 41 communication unit 14 display unit 15 audio output unit 20A, 20B motion controller 30, 30A, 30B smart device 32, 42 storage unit 33, 43 control unit 40 server 321, 422 content information 331 position detection unit 332 motion detection unit 333 AR glasses control unit 334 content synthesis unit 335 communication control unit 421 map information 423 user information 424 obstacle information 425 communication restriction rule 431 determination unit 432 communication restriction setting unit

Claims (6)

ユーザの頭部に装着される表示装置と、前記ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムであって、
前記表示装置は、
実空間を撮像する撮像部と、
前記実空間の画像に仮想的なコンテンツを重畳して表示する表示部と、
他のユーザの頭部に装着される表示装置との間で無線通信を行う通信部と、
を有し、
前記サーバは、
少なくとも、各ユーザが携帯する前記スマートデバイスの位置情報と地図情報とを基に、前記ユーザと前記他のユーザとの間の状態を判定する判定部と、
前記ユーザと前記他のユーザとの間の状態に応じて、前記ユーザの頭部に装着される前記表示装置と、前記他のユーザの頭部に装着される前記表示装置との間の通信の制限を設定する設定部と、
を有し、
前記スマートデバイスは、
少なくとも該スマートデバイスの位置情報を検出し、前記位置情報をサーバに送信する位置検出部と、
前記設定部による設定にしたがって、前記ユーザの頭部に装着される表示装置と、前記他のユーザの頭部に装着される表示装置との間の通信を制限する制限部と、
を有し、
前記判定部は、各ユーザが携帯する前記スマートデバイスの位置情報と、地図情報と、前記ユーザの進行の障害となる障害物の種別及び位置を示す障害物情報とを基に、前記ユーザと前記他のユーザとの間の距離、及び、前記ユーザと前記他のユーザとの間の障害物の有無を判定し、
前記設定部は、前記ユーザと前記他のユーザとの間の距離、及び、前記ユーザと前記他のユーザとの間の障害物の有無に応じて、前記ユーザの頭部に装着される前記表示装置と、前記他のユーザの頭部に装着される前記表示装置との間の通信の制限を設定することを特徴とする通信システム。
A communication system comprising a display device worn on the head of a user, a smart device carried by the user, and a server communicating with the smart device,
The display device
an imaging unit that captures an image of a real space;
a display unit that superimposes and displays virtual content on the image of the real space;
a communication unit that performs wireless communication with a display device worn on the head of another user;
has
The server is
a determination unit that determines a state between the user and the other user based on at least location information and map information of the smart device carried by each user;
communication between the display device worn on the user's head and the display device worn on the head of the other user according to the state between the user and the other user; a setting unit for setting limits;
has
The smart device is
a location detection unit that detects at least location information of the smart device and transmits the location information to a server;
a restriction unit that restricts communication between the display device worn on the head of the user and the display device worn on the head of the other user according to the setting by the setting unit;
has
The determination unit determines whether the smart device carried by each user is located on the basis of map information, and obstacle information indicating the type and position of an obstacle that hinders the progress of the user. Determining the distance to another user and the presence or absence of an obstacle between the user and the other user,
The setting unit configures the display mounted on the user's head according to the distance between the user and the other user and the presence or absence of an obstacle between the user and the other user. A communication system characterized by setting restrictions on communication between the device and the display device worn on the head of the other user .
前記設定部は、前記ユーザと前記他のユーザとの間の距離、及び、前記ユーザと前記他のユーザとの間の障害物の有無に応じて、前記ユーザが使用する前記表示装置と前記他のユーザが使用する表示装置との間の通信の遮断を設定することを特徴とする請求項に記載の通信システム。 The setting unit adjusts the distance between the user and the other user and the presence/absence of an obstacle between the user and the other user. 2. The communication system according to claim 1 , wherein blocking of communication with the display device used by the user is set. 前記仮想的なコンテンツは、位置及び強さが予め設定された前記ユーザの敵となるキャラクターを含み、
前記判定部は、前記ユーザと前記他のユーザとの間に、敵となる前記キャラクターがいる場合、前記敵となるキャラクターを前記障害物であると判定し、
前記設定部は、前記敵となるキャラクターの数及び強さに応じて、前記ユーザが使用する前記表示装置と前記他のユーザが使用する表示装置との間の通信の制限を設定することを特徴とする請求項またはに記載の通信システム。
The virtual content includes an enemy character of the user whose position and strength are set in advance,
The determining unit determines that, when there is an enemy character between the user and the other user, the enemy character is the obstacle,
The setting unit sets communication restrictions between the display device used by the user and the display device used by the other user according to the number and strength of the enemy characters. The communication system according to claim 1 or 2 , wherein
前記仮想的なコンテンツは、位置及び強さが予め設定された前記ユーザの味方となるキャラクターを含み、
前記判定部は、前記ユーザと前記他のユーザとの間に、味方となる前記キャラクターがいると判定した場合、
前記設定部は、前記味方となるキャラクターの数及び強さに応じて、前記ユーザが使用する前記表示装置と前記他のユーザが使用する表示装置との間の通信の制限を緩和することを特徴とする請求項のいずれか一つに記載の通信システム。
The virtual content includes a character who is an ally of the user whose position and strength are preset,
When the determination unit determines that the character serving as an ally exists between the user and the other user,
The setting unit relaxes restrictions on communication between the display device used by the user and the display device used by the other user, according to the number and strength of the friendly characters. The communication system according to any one of claims 1 to 3 , wherein
ユーザの頭部に装着される表示装置と、前記ユーザが携帯するスマートデバイスと、スマートデバイスと通信を行うサーバとを有する通信システムが実行する通信方法であって、
前記表示装置が、実空間を撮像する工程と、
前記表示装置が、前記実空間の画像に仮想的なコンテンツを重畳して表示する工程と、
前記表示装置が、他のユーザの頭部に装着される表示装置との間で無線通信を行う工程と、
前記サーバが、少なくとも、各ユーザが携帯する前記スマートデバイスの位置情報と地図情報とを基に、前記ユーザと前記他のユーザとの間の状態を判定する工程と、
前記サーバが、前記ユーザと前記他のユーザとの間の状態に応じて、前記ユーザの頭部に装着される前記表示装置と、前記他のユーザの頭部に装着される前記表示装置との間の通信の制限を設定する工程と、
前記スマートデバイスが、少なくとも該スマートデバイスの位置情報を検出し、前記位置情報をサーバに送信する工程と、
前記スマートデバイスが、前記設定する工程における設定にしたがって、前記ユーザの頭部に装着される表示装置と、前記他のユーザの頭部に装着される表示装置との間の通信を制限する工程と、
を含み、
前記判定する工程は、各ユーザが携帯する前記スマートデバイスの位置情報と、地図情報と、前記ユーザの進行の障害となる障害物の種別及び位置を示す障害物情報とを基に、前記ユーザと前記他のユーザとの間の距離、及び、前記ユーザと前記他のユーザとの間の障害物の有無を判定し、
前記設定する工程は、前記ユーザと前記他のユーザとの間の距離、及び、前記ユーザと前記他のユーザとの間の障害物の有無に応じて、前記ユーザの頭部に装着される前記表示装置と、前記他のユーザの頭部に装着される前記表示装置との間の通信の制限を設定することを特徴とする通信方法。
A communication method executed by a communication system having a display device worn on the head of a user, a smart device carried by the user, and a server communicating with the smart device, comprising:
a step in which the display device captures an image of a real space;
a step in which the display device superimposes and displays virtual content on the image of the real space;
performing wireless communication between the display device and a display device worn on the head of another user;
a step in which the server determines a state between the user and the other user based on at least location information and map information of the smart device carried by each user;
The server is configured to select between the display device worn on the user's head and the display device worn on the other user's head according to the state between the user and the other user. setting limits for communication between
the smart device detecting at least location information of the smart device and transmitting the location information to a server;
the smart device restricting communication between the display device worn on the user's head and the display device worn on the head of the other user according to the settings in the setting step; ,
including
In the determining step, based on location information of the smart device carried by each user, map information, and obstacle information indicating the type and position of an obstacle that hinders the progress of the user, Determining the distance between the other user and the presence or absence of an obstacle between the user and the other user,
In the setting step, according to the distance between the user and the other user and the presence/absence of an obstacle between the user and the other user, the A communication method , comprising: setting restrictions on communication between a display device and the display device worn on the other user's head .
方法をコンピュータに実行させる通信プログラムであって、
ユーザの頭部に装着される表示装置としてのコンピュータに、
実空間を撮像するステップと、
前記実空間の画像に仮想的なコンテンツを重畳して表示するステップと、
他のユーザの頭部に装着される表示装置との間で無線通信を行うステップと、
を実行させ、
サーバとしてのコンピュータに、
少なくとも、各ユーザが携帯するスマートデバイスの位置情報と地図情報とを基に、前記ユーザと前記他のユーザとの間の状態を判定するステップと、
前記ユーザと前記他のユーザとの間の状態に応じて、前記ユーザの頭部に装着される前記表示装置と、前記他のユーザの頭部に装着される前記表示装置との間の通信の制限を設定するステップと、
を実行させ、
前記スマートデバイスとしてのコンピュータに、
少なくとも該スマートデバイスの位置情報を検出し、前記位置情報をサーバに送信するステップと、
前記スマートデバイスが、前記設定するステップにおける設定にしたがって、前記ユーザの頭部に装着される表示装置と、前記他のユーザの頭部に装着される表示装置との間の通信を制限するステップと、
を実行させ
前記判定するステップは、各ユーザが携帯する前記スマートデバイスの位置情報と、地図情報と、前記ユーザの進行の障害となる障害物の種別及び位置を示す障害物情報とを基に、前記ユーザと前記他のユーザとの間の距離、及び、前記ユーザと前記他のユーザとの間の障害物の有無を判定し、
前記設定するステップは、前記ユーザと前記他のユーザとの間の距離、及び、前記ユーザと前記他のユーザとの間の障害物の有無に応じて、前記ユーザの頭部に装着される前記表示装置と、前記他のユーザの頭部に装着される前記表示装置との間の通信の制限を設定することを特徴とする通信プログラム。
A communication program that causes a computer to perform the method, comprising:
A computer as a display device worn on the user's head ,
imaging a real space;
a step of superimposing and displaying virtual content on the image of the real space;
wireless communication with a display device worn on the head of another user;
and
computer as a server,
determining a state between the user and the other user based on at least location information and map information of a smart device carried by each user;
communication between the display device worn on the user's head and the display device worn on the head of the other user according to the state between the user and the other user; setting limits;
and
a computer as the smart device;
detecting location information of at least the smart device and transmitting the location information to a server;
the smart device restricting communication between a display device worn on the user's head and a display device worn on the head of the other user according to the settings in the setting step; ,
and
In the determining step, based on location information of the smart device carried by each user, map information, and obstacle information indicating the type and position of an obstacle that hinders the progress of the user, Determining the distance between the other user and the presence or absence of an obstacle between the user and the other user,
In the setting step, according to the distance between the user and the other user and the presence/absence of an obstacle between the user and the other user, the A communication program for setting restrictions on communication between a display device and the display device worn on the head of the other user .
JP2021092765A 2021-06-02 2021-06-02 Communication system, communication method and communication program Active JP7219859B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021092765A JP7219859B2 (en) 2021-06-02 2021-06-02 Communication system, communication method and communication program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021092765A JP7219859B2 (en) 2021-06-02 2021-06-02 Communication system, communication method and communication program

Publications (2)

Publication Number Publication Date
JP2022185234A JP2022185234A (en) 2022-12-14
JP7219859B2 true JP7219859B2 (en) 2023-02-09

Family

ID=84438857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021092765A Active JP7219859B2 (en) 2021-06-02 2021-06-02 Communication system, communication method and communication program

Country Status (1)

Country Link
JP (1) JP7219859B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075805A (en) 2017-09-13 2019-05-16 株式会社コロプラ Computer-implemented method for providing content in mobile means, program for causing computer to execute the method, content providing device, and content providing system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075805A (en) 2017-09-13 2019-05-16 株式会社コロプラ Computer-implemented method for providing content in mobile means, program for causing computer to execute the method, content providing device, and content providing system

Also Published As

Publication number Publication date
JP2022185234A (en) 2022-12-14

Similar Documents

Publication Publication Date Title
US11199705B2 (en) Image rendering responsive to user actions in head mounted display
US10489983B2 (en) Sensory stimulus management in head mounted display
US8070573B2 (en) Video game apparatus and video game program
US20210026588A1 (en) Integrating Audience Participation Content into Virtual Reality Content
CN110755845B (en) Virtual world picture display method, device, equipment and medium
US10271159B2 (en) Information processing apparatus, information processing system, storage medium having stored therein information processing program, and information processing method
CN111589139B (en) Virtual object display method and device, computer equipment and storage medium
CN111338534A (en) Virtual object game method, device, equipment and medium
JP4050658B2 (en) GAME DEVICE, GAME CONTROL PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
US20140187325A1 (en) Information processing system, information processing apparatus, storage medium and information processing method
WO2019225115A1 (en) Information processing device, information processing method, and program
JP2022087213A (en) Game program, game device, and game system
CN113181645A (en) Special effect display method and device, electronic equipment and storage medium
JP7219859B2 (en) Communication system, communication method and communication program
US20140187324A1 (en) Information processing apparatus, information processing system, storage medium and information processing method
JP7219860B2 (en) Communication system, communication method and communication program
JP7216940B2 (en) Communication system, communication method and communication program
JP7219862B2 (en) Communication system, communication method and communication program
JP7219861B2 (en) Communication system, communication method and communication program
US20240075379A1 (en) Dynamically Generated Local Virtual Events
WO2021075161A1 (en) Information processing device, information processing method, and information processing program
JP7231856B2 (en) Game programs, computers, and game systems
JP7071308B2 (en) Programs, information processing equipment, game servers and game systems
JP5907452B2 (en) Mobile terminal and program
US20230042269A1 (en) In-game asset tracking using nfts that track impressions across multiple platforms

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20221216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230106

R150 Certificate of patent or registration of utility model

Ref document number: 7219859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150