JP6815439B2 - A system including a terminal device and a server device for displaying a virtual object, and the server device. - Google Patents

A system including a terminal device and a server device for displaying a virtual object, and the server device. Download PDF

Info

Publication number
JP6815439B2
JP6815439B2 JP2019107433A JP2019107433A JP6815439B2 JP 6815439 B2 JP6815439 B2 JP 6815439B2 JP 2019107433 A JP2019107433 A JP 2019107433A JP 2019107433 A JP2019107433 A JP 2019107433A JP 6815439 B2 JP6815439 B2 JP 6815439B2
Authority
JP
Japan
Prior art keywords
terminal device
virtual object
information
display
server device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019107433A
Other languages
Japanese (ja)
Other versions
JP2019153348A (en
Inventor
健治 横田
健治 横田
修 水田
修 水田
義浩 伊藤
義浩 伊藤
祥一 大川
祥一 大川
和彦 増崎
和彦 増崎
あかり 山崎
あかり 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019107433A priority Critical patent/JP6815439B2/en
Publication of JP2019153348A publication Critical patent/JP2019153348A/en
Application granted granted Critical
Publication of JP6815439B2 publication Critical patent/JP6815439B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、携帯型の端末装置に仮想物体を表示させる技術に関する。 The present invention relates to a technique for displaying a virtual object on a portable terminal device.

非特許文献１は、端末装置の撮像部、加速度センサ及びジャイロセンサにより場所記述情報を生成し、生成した場所記述情報により、現実には存在しない仮想物体があたかも存在しているかの様に、撮像部が撮像している撮像画像に仮想物体を重畳させてディスプレイに表示する技術を開示している。 In Non-Patent Document 1, location description information is generated by an imaging unit, an acceleration sensor, and a gyro sensor of a terminal device, and the generated location description information is used to image as if a virtual object that does not actually exist exists. It discloses a technique of superimposing a virtual object on an image captured by a unit and displaying it on a display.

まず、非特許文献１に記載の場所記述情報の生成について簡単に説明する。場所記述情報とは、撮像部が撮像している画像から撮像部の３次元空間位置と撮像部による撮像方向とを判定できる情報である。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部により画像を撮像しながら、撮像位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の撮像部の位置を原点とし、加速度センサ及びジャイロセンサにより測定した加速度情報及び角速度情報に基づき、撮像部による撮像位置及び撮像方向を判定し続ける。また、端末装置は、撮像部が撮像している画像内の特徴点を求める。このとき、端末装置は、３次元空間における撮像位置及び撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各撮像位置及び各撮像方向において、撮像部が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部が撮像している画像の特徴点とを比較することで、そのときの撮像部の撮像位置と撮像方向を判定することができる。なお、３次元空間の原点は、場所記述情報を開始したときの位置である。また、端末装置は、既に保存している場所記述情報と、撮像部が撮像している画像の特徴点との比較により撮像位置及び撮像方向を判定すると同時に、撮像部が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。 First, the generation of the place description information described in Non-Patent Document 1 will be briefly described. The location description information is information that can determine the three-dimensional spatial position of the imaging unit and the imaging direction by the imaging unit from the image captured by the imaging unit. When the user of the terminal device starts acquiring the location description information, the user changes the imaging position and the imaging direction while capturing the image by the imaging unit. During the acquisition of the location description information, the terminal device determines the imaging position and imaging direction by the imaging unit based on the acceleration information and the angular velocity information measured by the acceleration sensor and the gyro sensor, with the position of the imaging unit at the start as the origin. Continue to do. In addition, the terminal device obtains feature points in the image captured by the imaging unit. At this time, the terminal device determines the imaging position and imaging direction in the three-dimensional space and the position of the same feature point in the image, that is, the screen coordinates of the feature point. As a result, the terminal device generates location description information indicating at which position in the image captured by the imaging unit each feature point can be seen at each imaging position and each imaging direction in the three-dimensional space. Therefore, the terminal device can determine the imaging position and the imaging direction of the imaging unit at that time by comparing the already generated location description information with the feature points of the image captured by the imaging unit. The origin of the three-dimensional space is the position when the place description information is started. Further, the terminal device determines the imaging position and the imaging direction by comparing the location description information already stored with the feature points of the image captured by the imaging unit, and at the same time, the image capturing unit captures the image. The location description information that has already been saved is also updated based on the feature points.

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞Tango, [online], [Searched on January 10, 2017], Internet, <URL: https: // get. google. com / tango />

非特許文献１に記載の技術により各ユーザは、それぞれ独自の仮想物体を端末装置のディスプレイに表示することができる。しかしながら、各ユーザが、その端末装置に独自の仮想物体を表示できるのみで、あるユーザが、当該ユーザの第１端末装置に表示している第１仮想物体と共に、他のユーザが、当該他のユーザの第２端末装置に表示している第２仮想物体を第１端末装置に表示することはできない。 According to the technique described in Non-Patent Document 1, each user can display his / her own virtual object on the display of the terminal device. However, each user can only display his or her own virtual object on the terminal device, and one user can display the first virtual object displayed on the user's first terminal device, and another user can display the other virtual object. The second virtual object displayed on the user's second terminal device cannot be displayed on the first terminal device.

本発明は、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示できる仕組みを提供するものである。 The present invention provides a mechanism capable of displaying a virtual object displayed on a display of another terminal device on the display of the terminal device.

本発明の一態様によると、第１仮想物体を第１撮像手段により撮像した第１撮像画像に重畳させて第１ディスプレイに表示することができる第１端末装置、及び、第２仮想物体を第２撮像手段により撮像した第２撮像画像に重畳させて第２ディスプレイに表示することができる第２端末装置を含む、複数の端末装置と、前記複数の端末装置のそれぞれと無線ネットワークを介して通信できるサーバ装置と、を含むシステムであって、前記第２端末装置は、実空間上の第２位置を示す第２位置情報と、前記第２端末装置が属する端末装置のグループを特定する情報と、前記第２仮想物体を前記第２ディスプレイに表示しているか否かを示す表示状態情報と、を前記サーバ装置に送信し、前記サーバ装置は、前記表示状態情報が前記第２仮想物体を前記第２ディスプレイに表示していることを示していると、前記グループに属する前記第１端末装置に前記第２仮想物体を示す仮想物体情報及び前記第２位置情報を送信することを特徴とする。 According to one aspect of the present invention, a first terminal device capable of superimposing a first virtual object on a first captured image captured by a first imaging means and displaying it on a first display , and a second virtual object are the first. 2 Communication with a plurality of terminal devices including a second terminal device that can be superimposed on a second captured image captured by the imaging means and displayed on the second display, and each of the plurality of terminal devices via a wireless network. A system including a capable server device, wherein the second terminal device includes second position information indicating a second position in real space and information for specifying a group of terminal devices to which the second terminal device belongs. , Display state information indicating whether or not the second virtual object is displayed on the second display is transmitted to the server device, and the server device uses the display state information to display the second virtual object. When it is shown that it is displayed on the second display, it is characterized in that virtual object information indicating the second virtual object and the second position information are transmitted to the first terminal device belonging to the group.

本発明によると、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示することができる。 According to the present invention, a virtual object displayed on the display of another terminal device can also be displayed on the display of the terminal device.

一実施形態によるシステム構成図。System configuration diagram according to one embodiment. 一実施形態による端末装置の位置及び仮想物体の配置位置を示す図。The figure which shows the position of the terminal apparatus and the arrangement position of a virtual object by one Embodiment. 一実施形態によるシーケンス図。Sequence diagram according to one embodiment. 一実施形態による端末装置の位置及び仮想物体の配置位置を示す図。The figure which shows the position of the terminal apparatus and the arrangement position of a virtual object by one Embodiment. 一実施形態による端末装置のディスプレイに表示される画像を示す図。The figure which shows the image displayed on the display of the terminal apparatus by one Embodiment. 一実施形態による端末装置によるディスプレイへの表示処理の説明図。An explanatory diagram of display processing on a display by a terminal device according to an embodiment. 一実施形態による端末装置によるディスプレイへの表示処理の説明図。An explanatory diagram of display processing on a display by a terminal device according to an embodiment. 一実施形態による端末装置の構成図。The block diagram of the terminal apparatus by one Embodiment. 一実施形態による制御部のブロック図。A block diagram of a control unit according to an embodiment.

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. The following embodiments are examples, and the present invention is not limited to the contents of the embodiments. Further, in each of the following figures, components that are not necessary for the description of the embodiment will be omitted from the drawings.

図１は、本実施形態によるシステムの構成図である。端末装置１０及び２０は、例えば、スマートフォンやタブレット等の無線通信機能を有する携帯型の通信装置であり、ネットワーク５０を介してサーバ装置６０と通信することができる。ネットワーク５０は、所謂、移動通信ネットワークや無線ＬＡＮ等の無線ネットワークを含み、さらには、インターネット等の広域ネットワークを含むことができる。端末装置１０は、第１場所記述情報と、第１仮想物体情報と、第１配置情報と、を保持している。第１場所記述情報は、端末装置１０が非特許文献１に記載の技術により生成した場所記述情報である。ただし、その座標系は、緯度、経度及び高度により示される座標系（以後、実座標系と呼ぶ。）となっている。これは、端末装置１０が第１場所記述情報の取得を開始したときの位置及び方向を、それぞれ、そのときに端末装置１０が測位システムにより取得している端末装置１０の実空間位置（実座標系での位置）、及び、地磁気センサにより取得している方位とすることで行うことができる。第１仮想物体情報は、第１仮想物体を示す情報、つまり、第１仮想物体をディスプレイに表示するための情報である。第１仮想物体情報は、２次元の画像を示す情報であっても、第１仮想物体の３次元モデルを示す情報であっても良い。さらに、第１仮想物体の動きを記述するモーション情報を含むものとすることもできる。さらに、第１仮想物体の大きさを示す情報を含むものとすることができる。また、第１配置情報は、第１仮想物体の配置位置を特定するための情報であり、例えば、端末装置１０の実空間位置を基準とする、相対位置（例えば、相対距離及び相対方向）により示される。端末装置２０が保持する第２場所記述情報と、第２仮想物体を示す第２仮想物体情報と、第２仮想物体の配置位置を特定する第２配置情報についても同様である。 FIG. 1 is a configuration diagram of a system according to the present embodiment. The terminal devices 10 and 20 are, for example, portable communication devices having a wireless communication function such as a smartphone or a tablet, and can communicate with the server device 60 via the network 50. The network 50 includes a so-called mobile communication network, a wireless network such as a wireless LAN, and can further include a wide area network such as the Internet. The terminal device 10 holds the first place description information, the first virtual object information, and the first arrangement information. The first place description information is the place description information generated by the terminal device 10 by the technique described in Non-Patent Document 1. However, the coordinate system is a coordinate system indicated by latitude, longitude and altitude (hereinafter referred to as a real coordinate system). This is the position and direction when the terminal device 10 starts acquiring the first place description information, respectively, in the real space position (real coordinates) of the terminal device 10 which the terminal device 10 has acquired by the positioning system at that time. This can be done by setting the position in the system) and the orientation acquired by the geomagnetic sensor. The first virtual object information is information indicating the first virtual object, that is, information for displaying the first virtual object on the display. The first virtual object information may be information indicating a two-dimensional image or information indicating a three-dimensional model of the first virtual object. Further, it may include motion information that describes the movement of the first virtual object. Further, it may include information indicating the size of the first virtual object. Further, the first arrangement information is information for specifying the arrangement position of the first virtual object, for example, by a relative position (for example, a relative distance and a relative direction) with reference to the real space position of the terminal device 10. Shown. The same applies to the second location description information held by the terminal device 20, the second virtual object information indicating the second virtual object, and the second arrangement information for specifying the arrangement position of the second virtual object.

ここで、図２に示す様に、端末装置１０が、位置３１に第１仮想物体が存在する様に、そのディスプレイに表示し、端末装置２０が、位置３２に第２仮想物体が存在する様に、そのディスプレイに表示している状態を考える。なお、図２の線５１は、端末装置１０が撮像部により撮像している範囲を示し、線５２は、端末装置２０が撮像部により撮像している範囲を示している。端末装置１０は、第１場所記述情報と撮像部が撮像している画像とに基づき、そのときの撮像位置及び撮像方向を判定できる。また、端末装置１０は、撮像部の光学特性に基づき、線５１で示す範囲と、線５１で示す範囲内の実空間位置とスクリーン座標系での位置（撮像部が撮像している画像の画素位置）との対応関係を判定できる。また、端末装置１０は、第１場所記述情報と撮像部が撮像している画像とに基づき判定した撮像位置及び撮像方向と、第１配置情報に基づき位置３１を特定できる。よって、端末装置１０は、位置３１に第１仮想物体が存在する様に、そのディスプレイに表示することができる。なお、端末装置１０は、撮像位置及び撮像方向と、第１配置情報に基づき位置３１を特定すると、その撮像位置及び撮像方向を変化させても位置３１は変化させない。つまり、第１配置情報は、第１仮想物体の初期配置位置を決める情報である。なお、第１配置情報を、第１仮想物体の配置位置を実座標で示す情報とすることもできる。端末装置２０についても同様である。従来技術では、このように、端末装置１０が、位置３１に第１仮想物体が存在する様にディスプレイに表示し、端末装置２０が、位置３２に第２仮想物体が存在する様にディスプレイに表示することはできるが、端末装置１０が、第１仮想物体及び第２仮想物体を、そのディスプレイに表示することができない。本発明は、端末装置１０が、第１仮想物体及び第２仮想物体を、そのディスプレイに表示することを可能にする。 Here, as shown in FIG. 2, the terminal device 10 displays on the display so that the first virtual object exists at the position 31, and the terminal device 20 displays the second virtual object at the position 32. First, consider the state displayed on the display. The line 51 in FIG. 2 shows the range imaged by the terminal device 10 by the image pickup unit, and the line 52 shows the range imaged by the terminal device 20 by the image pickup unit. The terminal device 10 can determine the imaging position and the imaging direction at that time based on the first place description information and the image captured by the imaging unit. Further, the terminal device 10 is based on the optical characteristics of the imaging unit, the range indicated by the line 51, the real space position within the range indicated by the line 51, and the position in the screen coordinate system (pixels of the image captured by the imaging unit). The correspondence with the position) can be determined. Further, the terminal device 10 can specify the position 31 based on the image pickup position and the image pickup direction determined based on the first place description information and the image captured by the image pickup unit, and the first arrangement information. Therefore, the terminal device 10 can be displayed on the display so that the first virtual object exists at the position 31. When the terminal device 10 specifies the position 31 based on the imaging position and the imaging direction and the first arrangement information, the position 31 does not change even if the imaging position and the imaging direction are changed. That is, the first placement information is information that determines the initial placement position of the first virtual object. The first placement information can also be information indicating the placement position of the first virtual object in real coordinates. The same applies to the terminal device 20. In the prior art, thus, the terminal device 10 displays on the display so that the first virtual object exists at the position 31, and the terminal device 20 displays on the display so that the second virtual object exists at the position 32. However, the terminal device 10 cannot display the first virtual object and the second virtual object on its display. The present invention allows the terminal device 10 to display the first virtual object and the second virtual object on its display.

図３は、本実施形態によるシステムにおいて送受信される信号のシーケンス図である。Ｓ１で、端末装置２０は、第２仮想物体の実空間位置を示す第２位置情報と、第２仮想物体情報をサーバ装置６０に送信する。第２位置情報は、図２の位置３２を特定する情報であり、位置３２の実空間位置、つまり、実座標系における位置３２の座標を示す情報とすることができる。或いは、第２位置情報は、端末装置２０の実空間位置と、当該実空間位置から位置３２までの距離及び方向（方位）とを含む情報とすることができる。端末装置２０は、例えば、第２場所記述情報により求めた撮像画像の撮像位置及び撮像方向と、第２配置情報とにより第２位置情報を求めることができる。サーバ装置６０は、Ｓ２で、第２位置情報と、第２仮想物体情報を保存する。Ｓ３で、端末装置１０は、例えば、第１場所記述情報により取得した端末装置１０の（撮像部の）実空間位置を示す第１位置情報をサーバ装置６０に送信すると、サーバ装置６０は、Ｓ４で、第１位置情報が示す第１位置と第２位置情報が示す第２位置との距離が所定値以内であるか否かを判定する。そして、第１位置と第２位置との距離が所定値以内であると、サーバ装置６０は、Ｓ５で、端末装置１０に第２位置情報と、第２仮想物体情報を送信する。 FIG. 3 is a sequence diagram of signals transmitted and received in the system according to the present embodiment. In S1, the terminal device 20 transmits the second position information indicating the real space position of the second virtual object and the second virtual object information to the server device 60. The second position information is information for specifying the position 32 in FIG. 2, and can be information indicating the real space position of the position 32, that is, the coordinates of the position 32 in the real coordinate system. Alternatively, the second position information can be information including the real space position of the terminal device 20 and the distance and direction (direction) from the real space position to the position 32. For example, the terminal device 20 can obtain the second position information from the imaging position and the imaging direction of the captured image obtained from the second location description information and the second arrangement information. The server device 60 stores the second position information and the second virtual object information in S2. In S3, when the terminal device 10 transmits, for example, the first position information indicating the real space position (of the imaging unit) of the terminal device 10 acquired by the first place description information to the server device 60, the server device 60 sends the server device 60 to S4. Then, it is determined whether or not the distance between the first position indicated by the first position information and the second position indicated by the second position information is within a predetermined value. Then, when the distance between the first position and the second position is within a predetermined value, the server device 60 transmits the second position information and the second virtual object information to the terminal device 10 in S5.

なお、Ｓ４で、第１位置情報が示す第１位置との距離が所定値以内である第２位置情報が存在しない場合、端末装置１０はＳ５で情報を受信しない。このため、例えば、端末装置１０は繰り返し第１位置情報をサーバ装置６０に送信することができる。この場合、サーバ装置６０は、定期的にＳ４で、第１位置との距離が所定値以内の第２位置があるかを判定する。また、サーバ装置６０は、第１位置が変更されると、Ｓ４での判定処理を行う構成とすることができる。また、端末装置１０は、第１位置が所定値以上変動すると、サーバ装置６０に第１位置情報を送信する構成とすることもできる。さらに、本実施形態は、１つの端末装置２０を例にしているが、端末装置２０は複数の場合もあり得る。この場合、サーバ装置６０は、Ｓ５である端末装置２０の第２位置情報及び第２仮想物体情報を端末装置１０に送信すると、その直前のＳ３で受信した第１位置情報が示す実空間位置を基準位置として保存しておく。そして、端末装置１０がサーバ装置６０に繰り返し送信する第１位置情報により示される第１位置が基準位置から所定距離以上離れると、サーバ装置６０は、当該第１位置との距離が所定値以内である第２位置情報が存在するかをＳ４で判定する構成とすることもできる。 If there is no second position information in S4 in which the distance from the first position indicated by the first position information is within a predetermined value, the terminal device 10 does not receive the information in S5. Therefore, for example, the terminal device 10 can repeatedly transmit the first position information to the server device 60. In this case, the server device 60 periodically determines in S4 whether there is a second position whose distance from the first position is within a predetermined value. Further, the server device 60 can be configured to perform the determination process in S4 when the first position is changed. Further, the terminal device 10 may be configured to transmit the first position information to the server device 60 when the first position fluctuates by a predetermined value or more. Further, although the present embodiment uses one terminal device 20 as an example, there may be a plurality of terminal devices 20. In this case, when the server device 60 transmits the second position information and the second virtual object information of the terminal device 20 which is S5 to the terminal device 10, the server device 60 obtains the real space position indicated by the first position information received in S3 immediately before that. Save it as a reference position. Then, when the first position indicated by the first position information repeatedly transmitted by the terminal device 10 to the server device 60 is separated from the reference position by a predetermined distance or more, the server device 60 keeps the distance from the first position within a predetermined value. It is also possible to determine in S4 whether or not a certain second position information exists.

さらに、端末装置１０が、サーバ装置６０を介して第２位置情報及び第２仮想物体情報を取得できる端末装置２０を限定することもできる。たとえば、端末装置２０は、Ｓ１で、グループを特定する識別情報を合わせてサーバ装置６０に送信し、サーバ装置６０は、Ｓ２で、識別情報も保存する。同様に、端末装置１０は、Ｓ３でグループを特定する識別情報を合わせてサーバ装置６０に送信する。そして、サーバ装置６０は、保存している第２位置情報及び第２仮想物体情報に対応する識別情報と同じ識別情報に対応する第１位置情報を受信すると、Ｓ４で、同じ識別情報、つまり、同じグループに属する端末装置１０と端末装置２０の第１位置と第２位置とを比較する。この構成により、端末装置２０は、その第２仮想物体を表示することができる端末装置１０を制限することができる。同様に、端末装置１０は、周囲にいる総ての端末装置２０の第２仮想物体がそのディスプレイに表示されることを防ぐことができる。 Further, the terminal device 10 can limit the terminal device 20 capable of acquiring the second position information and the second virtual object information via the server device 60. For example, the terminal device 20 also transmits the identification information for identifying the group to the server device 60 in S1, and the server device 60 also stores the identification information in S2. Similarly, the terminal device 10 also transmits the identification information that identifies the group in S3 to the server device 60. Then, when the server device 60 receives the first position information corresponding to the same identification information as the identification information corresponding to the stored second position information and the second virtual object information, the same identification information, that is, the same identification information, that is, is received in S4. The first position and the second position of the terminal device 10 and the terminal device 20 belonging to the same group are compared. With this configuration, the terminal device 20 can limit the terminal device 10 capable of displaying the second virtual object. Similarly, the terminal device 10 can prevent the second virtual object of all the surrounding terminal devices 20 from being displayed on the display.

また、端末装置２０は、Ｓ１で、グループを特定する識別情報を合わせてサーバ装置６０に送信し、サーバ装置６０は、Ｓ２で、識別情報も保存するが、端末装置１０は、Ｓ３でグループを特定する識別情報を送信しない構成とすることもできる。この場合、サーバ装置６０は、Ｓ４で、グループに拘らず第１位置と第２位置との距離を判定するが、端末装置１０には、第２位置情報と第２仮想物体情報に加えて識別情報も送信する。これにより、端末装置１０は、識別情報に基づきディスプレイに表示する第２仮想物体を選択することができる。このため、例えば、端末装置１０のユーザは、ディスプレイに表示する第２仮想物体の識別情報を選択する。なお、グループを特定する識別子として、例えば、同じグループに属する端末装置の電話番号を列挙したものを使用することができる。或いは、グループを特定する識別子として、同じグループに属する端末装置のユーザ間で決めた任意の値を使用することができる。さらには、グループを特定する識別子として、第１仮想物体と第２仮想物体の共通性、例えば、第１仮想物体と第２仮想物体がそれぞれ漫画等の登場人物である場合、当該漫画の題名を示す情報を使用することができる。さらに、グループを特定する識別子として、ユーザの出身地や国籍等の情報を使用することができる。 Further, the terminal device 20 also transmits the identification information for identifying the group to the server device 60 in S1, the server device 60 also stores the identification information in S2, but the terminal device 10 stores the group in S3. It is also possible to configure so that the identification information to be specified is not transmitted. In this case, the server device 60 determines the distance between the first position and the second position in S4 regardless of the group, but the terminal device 10 identifies in addition to the second position information and the second virtual object information. Information is also sent. As a result, the terminal device 10 can select the second virtual object to be displayed on the display based on the identification information. Therefore, for example, the user of the terminal device 10 selects the identification information of the second virtual object to be displayed on the display. As an identifier that identifies a group, for example, an identifier that lists the telephone numbers of terminal devices belonging to the same group can be used. Alternatively, as an identifier that identifies the group, an arbitrary value determined among the users of the terminal devices belonging to the same group can be used. Furthermore, as an identifier that identifies the group, the commonality between the first virtual object and the second virtual object, for example, when the first virtual object and the second virtual object are characters such as cartoons, the title of the cartoon is given. The information shown can be used. Further, information such as the user's birthplace and nationality can be used as an identifier for identifying the group.

図３の処理により、端末装置１０は、第２仮想物体をディスプレイに表示するために必要な第２仮想物体情報と、第２仮想物体の配置位置を示す第２位置情報を取得し、これにより、第１仮想物体に加えて、第２仮想物体が第２位置に存在しているかのように、ディスプレイに表示することができる。図４は、端末装置１０が、位置３１に第１仮想物体が存在し、第２位置情報で示される位置３２に第１仮想物体が存在している様にディスプレイに表示していることを概念的に説明する図である。また、図５は、端末装置１０のディスプレイに表示されている画像の説明図である。なお、実際には、端末装置１０の撮像部が撮像している撮像画像も表示されるが、図の簡略化のため、図５では省略している。図５の右側が第１仮想物体であり、図５の左側が第２仮想物体である。例えば、第２仮想物体情報が、第２仮想物体の大きさを示す情報を含む場合、当該大きさを示す情報と、第２仮想物体までの距離に基づき、第２仮想物体の大きさを反映してディスプレイに表示することができる。 By the process of FIG. 3, the terminal device 10 acquires the second virtual object information necessary for displaying the second virtual object on the display and the second position information indicating the arrangement position of the second virtual object. , In addition to the first virtual object, the second virtual object can be displayed on the display as if it were present at the second position. FIG. 4 is a concept that the terminal device 10 displays on the display as if the first virtual object exists at the position 31 and the first virtual object exists at the position 32 indicated by the second position information. It is a figure to explain. Further, FIG. 5 is an explanatory diagram of an image displayed on the display of the terminal device 10. Actually, the captured image captured by the imaging unit of the terminal device 10 is also displayed, but it is omitted in FIG. 5 for the sake of simplification of the figure. The right side of FIG. 5 is the first virtual object, and the left side of FIG. 5 is the second virtual object. For example, when the second virtual object information includes information indicating the size of the second virtual object, the size of the second virtual object is reflected based on the information indicating the size and the distance to the second virtual object. Can be displayed on the display.

しかしながら、端末装置２０が第２位置情報の判定に使用する第２場所記述情報の座標系は、端末装置２０がＧＰＳ等の測位システムにより取得した位置情報に基づくものであり誤差が含まれている。端末装置１０が判定する第１位置情報についても同様である。つまり、端末装置１０と端末装置２０それぞれの場所記述情報の座標系は、共に、実座標系に変換にされてはいるが、この変換に使用する測位システムの誤差により、その座標系で示される位置は完全には一致しない。したがって、端末装置１０に対する実際の第２位置が図６の位置３２であるとしても、端末装置１０の座標系において第２位置が位置３３の様になることが生じ得る。 However, the coordinate system of the second place description information used by the terminal device 20 for determining the second position information is based on the position information acquired by the terminal device 20 by a positioning system such as GPS, and includes an error. .. The same applies to the first position information determined by the terminal device 10. That is, although the coordinate systems of the location description information of the terminal device 10 and the terminal device 20 are both converted to the actual coordinate system, they are indicated by the coordinate system due to the error of the positioning system used for this conversion. The positions do not exactly match. Therefore, even if the actual second position with respect to the terminal device 10 is the position 32 in FIG. 6, the second position may be like the position 33 in the coordinate system of the terminal device 10.

図６において、位置３３は、端末装置１０の撮像部による撮影範囲内であり、よって、端末装置１０が撮像する撮像画像内に含まれる位置である。しかしながら、位置３３と端末装置１０との距離はかなり離れている。この場合においても、端末装置１０は、位置３３に第２仮想物体があるものとしてディスプレイに表示しても良いが、第２仮想物体が小さくなりすぎる。このため、例えば、端末装置１０は、自身の第１位置と取得した第２位置との距離が閾値より大きいと、第２仮想物体を配置する第３位置を、第２位置から変更することができる。第３位置は、端末装置１０の撮像部による撮影範囲内であり、かつ、第１位置との距離が閾値以内の距離とすることができる。さらに、このとき、第３位置を、第１位置と第２位置とを結ぶ線５３上の位置から選択する構成とすることができる。図６は、端末装置１０の位置である第１位置と、第２仮想物体の位置として取得した第２位置（位置３３）とを結ぶ線５３上にあり、かつ、第１位置との距離が閾値以内である位置３４を第３位置として選択した状態を示している。この第３位置に第２仮想物体が存在する様に端末装置１０がディスプレイに第２仮想物体を表示することで、測位システムでの誤差等に基づく座標系のずれに拘らず、第２仮想物体を適切な大きさでディスプレイに表示することができる。 In FIG. 6, the position 33 is within the shooting range of the imaging unit of the terminal device 10, and is therefore included in the captured image captured by the terminal device 10. However, the distance between the position 33 and the terminal device 10 is quite large. Also in this case, the terminal device 10 may display on the display assuming that the second virtual object is at the position 33, but the second virtual object becomes too small. Therefore, for example, when the distance between the first position of the terminal device 10 and the acquired second position is larger than the threshold value, the terminal device 10 may change the third position where the second virtual object is placed from the second position. it can. The third position can be within the shooting range of the imaging unit of the terminal device 10 and the distance from the first position can be within the threshold value. Further, at this time, the third position can be selected from the positions on the line 53 connecting the first position and the second position. FIG. 6 is on the line 53 connecting the first position, which is the position of the terminal device 10, and the second position (position 33) acquired as the position of the second virtual object, and the distance from the first position is large. A state in which the position 34 within the threshold value is selected as the third position is shown. By displaying the second virtual object on the display so that the second virtual object exists at the third position, the second virtual object is displayed regardless of the deviation of the coordinate system due to an error in the positioning system or the like. Can be displayed on the display in an appropriate size.

なお、図７に示す様に、端末装置１０が取得する第２位置が、位置３３の様に、端末装置１０の撮像部による撮影範囲外である場合もある。この場合も、端末装置１０は、第２仮想物体を配置する第３位置を決定する。第３位置は、端末装置１０の撮像部による撮影範囲内であり、かつ、第１位置との距離が閾値以内の距離とすることができる。 As shown in FIG. 7, the second position acquired by the terminal device 10 may be outside the shooting range of the imaging unit of the terminal device 10, as in the position 33. In this case as well, the terminal device 10 determines the third position where the second virtual object is placed. The third position can be within the shooting range of the imaging unit of the terminal device 10 and the distance from the first position can be within the threshold value.

なお、本実施形態では、端末装置２０は、第２仮想物体を表示している位置を第２位置としてサーバ装置６０に送信した。しかしながら、上述した様に、測位システムで取得できる位置には誤差があるため、第２仮想物体を表示している位置に代えて、端末装置２０の実空間位置を第２位置としてサーバ装置６０に送信する構成とすることもできる。また、本実施形態において、端末装置１０は、第１場所記述情報と撮像画像に基づき自装置の位置を判定し、判定した位置を第１位置情報としてサーバ装置６０に送信していた。しかしながら、ＧＰＳ等の測位システムで取得した位置情報を第１位置情報としてサーバ装置６０に送信する構成であっても良い。端末装置２０が、自装置の位置を第２位置情報として送信する場合も同様である。 In the present embodiment, the terminal device 20 transmits the second virtual object to the server device 60 with the position displaying the second virtual object as the second position. However, as described above, since there is an error in the position that can be acquired by the positioning system, the server device 60 uses the real space position of the terminal device 20 as the second position instead of the position where the second virtual object is displayed. It can also be configured to transmit. Further, in the present embodiment, the terminal device 10 determines the position of the own device based on the first location description information and the captured image, and transmits the determined position to the server device 60 as the first position information. However, the configuration may be such that the position information acquired by a positioning system such as GPS is transmitted to the server device 60 as the first position information. The same applies when the terminal device 20 transmits the position of its own device as the second position information.

また、端末装置２０は、図３のＳ１で、サーバ装置に第２位置情報と第２仮想物体情報を送信するが、これは、端末装置２０がディスプレイに第２仮想物体を表示しているときに行う構成とすることができる。また、端末装置２０は、第２位置情報及び第２仮想物体情報と共に、或いは、第２位置情報及び第２仮想物体情報とは別に、第２仮想物体をディスプレイに表示しているか否かを示す表示状態情報をサーバ装置６０に送信することもできる。この場合、サーバ装置６０は、第１位置と第２位置との距離が所定値以内であり、かつ、表示状態情報が、第２仮想物体をディスプレイに表示していると示している場合に、第２位置情報と、第２仮想物体情報を端末装置１０に送信する構成とすることもできる。また、端末装置２０は、表示状態情報を繰り返しサーバ装置６０に送信することができる。サーバ装置６０は、表示状態情報により、端末装置２０が第２仮想物体をディスプレイに表示している状態から、表示していない状態に変化すると、端末装置１０に、端末装置２０が第２仮想物体をディスプレイに表示していないことを通知する。そして、端末装置１０は、端末装置２０が第２仮想物体をディスプレイに表示していないとの通知を受けると、第２仮想物体のディスプレイへの表示を停止することができる。さらに、端末装置１０及び２０は、繰り返しサーバ装置６０に第１位置情報及び第２位置情報をそれぞれ送信し、サーバ装置６０は、第１位置情報が示す第１位置と第２位置情報が示す第２位置との距離を判定する構成とすることができる。この場合、サーバ装置６０は、第１位置と第２位置との距離が所定の距離を超えると、端末装置１０にその旨を通知し、端末装置１０は、第１位置と第２位置との距離が所定の距離を超えたとの通知をサーバ装置６０から受信すると、第２仮想物体のディスプレイへの表示を停止、或いは、第２仮想物体情報及び第２位置情報を削除することができる。 Further, the terminal device 20 transmits the second position information and the second virtual object information to the server device in S1 of FIG. 3, which is when the terminal device 20 displays the second virtual object on the display. It can be configured to be performed. Further, the terminal device 20 indicates whether or not the second virtual object is displayed on the display together with the second position information and the second virtual object information, or separately from the second position information and the second virtual object information. The display state information can also be transmitted to the server device 60. In this case, the server device 60 indicates that the distance between the first position and the second position is within a predetermined value, and the display state information indicates that the second virtual object is displayed on the display. The configuration may be such that the second position information and the second virtual object information are transmitted to the terminal device 10. Further, the terminal device 20 can repeatedly transmit the display state information to the server device 60. When the server device 60 changes from the state in which the terminal device 20 displays the second virtual object on the display to the state in which the second virtual object is not displayed according to the display state information, the terminal device 20 tells the terminal device 10 that the second virtual object is not displayed. Is not displayed on the display. Then, when the terminal device 10 is notified that the terminal device 20 is not displaying the second virtual object on the display, the terminal device 10 can stop displaying the second virtual object on the display. Further, the terminal devices 10 and 20 repeatedly transmit the first position information and the second position information to the server device 60, respectively, and the server device 60 has the first position indicated by the first position information and the second position information indicated by the second position information. It can be configured to determine the distance between the two positions. In this case, when the distance between the first position and the second position exceeds a predetermined distance, the server device 60 notifies the terminal device 10 to that effect, and the terminal device 10 sets the first position and the second position. When the notification that the distance exceeds a predetermined distance is received from the server device 60, the display of the second virtual object on the display can be stopped, or the second virtual object information and the second position information can be deleted.

また、本実施形態において、端末装置１０は、第２仮想物体の配置位置である第３位置を選択する。ここで、第３位置は、サーバ装置６０から受信した第２位置情報が示す第２位置であるか、第２位置に基づき端末装置１０が第２仮想物体の配置位置として選択した位置である。一方、端末装置１０は、端末装置１０の位置と、第１配置情報に基づき、第１仮想物体を配置する第４位置を決定する。端末装置１０は、第４位置に第１仮想物体が存在し、第３位置に第２仮想物体が存在しているかのように、撮像画像に第１仮想物体及び第２仮想物体を重畳させてディスプレイに表示する。ここで、第３位置と第４位置が近接している場合、第１仮想物体と第２仮想物体が部分的に同じ空間を占有する様な状態、つまり、干渉が生じ得る。この場合、端末装置１０は、第１仮想物体と第２仮想物体が干渉しない様に、第３位置又は第４位置を変更することができる。 Further, in the present embodiment, the terminal device 10 selects the third position, which is the arrangement position of the second virtual object. Here, the third position is the second position indicated by the second position information received from the server device 60, or the position selected by the terminal device 10 as the placement position of the second virtual object based on the second position. On the other hand, the terminal device 10 determines a fourth position for arranging the first virtual object based on the position of the terminal device 10 and the first arrangement information. The terminal device 10 superimposes the first virtual object and the second virtual object on the captured image as if the first virtual object exists at the fourth position and the second virtual object exists at the third position. Show on the display. Here, when the third position and the fourth position are close to each other, a state in which the first virtual object and the second virtual object partially occupy the same space, that is, interference may occur. In this case, the terminal device 10 can change the third position or the fourth position so that the first virtual object and the second virtual object do not interfere with each other.

＜端末装置の構成＞
図８は、本実施形態による端末装置１０の構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を取得する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、ネットワーク５０を介する通信の通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。 <Configuration of terminal device>
FIG. 8 is a configuration diagram of the terminal device 10 according to the present embodiment. The terminal device 10 is a portable communication device such as a smartphone. The speaker 101 converts the voice signal output from the control unit 100 into voice. The microphone 102 converts voice into a voice signal and outputs it to the control unit 100. The image pickup unit 103 has a lens and a CCD sensor, acquires image information, and outputs the image information to the control unit 100. The GPS processing unit 104 receives a signal from a GPS satellite and outputs position information including latitude, longitude, and altitude to the control unit 100 based on the received signal. It should be noted that the configuration may be such that position information is acquired based on signals from satellites of other positioning systems, such as quasi-zenith satellites, instead of GPS satellites. In the present embodiment, the display 105 is a touch-sensitive display, and in addition to presenting information to the user, it also functions as an input unit for user operation. If the display is not a touch-sensitive display, an input unit is provided separately. The depth sensor 106 measures the distance (depth) to the object and outputs the measurement result to the control unit 100 as depth information. The communication unit 107 performs communication processing for communication via the network 50. The geomagnetic sensor 108 detects the geomagnetism and outputs directional information indicating the current azimuth of the reference direction of the terminal to the control unit 100. The acceleration sensor 109 detects the acceleration and outputs the acceleration information to the control unit 100. The gyro sensor 110 detects the angular velocity and outputs the angular velocity information to the control unit 100.

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。 The control unit 100 is a control unit for the entire terminal device, and includes one or more processors and a memory unit. The memory unit has a RAM used by the processor for temporary storage of data, an operating system and application executed by the processor, and a flash memory for storing data to be retained even when the power is turned off. ..

図９は、制御部１００の機能ブロック図である。場所記述情報生成部１００１は、例えば、加速度センサ１０９が検出する加速度情報と、ジャイロセンサ１１０が検出する角速度情報と、撮像部１０３が撮像する画像の画像情報とを使用して非特許文献１に記載された技術に基づき第１場所記述情報を生成する。なお、上述した様に、本実施形態では、ＧＰＳ処理部１０４が取得する位置情報及び地磁気センサ１０８が検出する方位情報を使用することで、撮像位置及び撮像方向として実座標系での座標と方位が得られる第１場所記述情報を生成する。そして、場所記述情報生成部１００１は、生成した第１場所記述情報を情報保持部１００４に格納する。 FIG. 9 is a functional block diagram of the control unit 100. The location description information generation unit 1001 uses, for example, the acceleration information detected by the acceleration sensor 109, the angular velocity information detected by the gyro sensor 110, and the image information of the image captured by the imaging unit 103 in Non-Patent Document 1. The first place descriptive information is generated based on the described technique. As described above, in the present embodiment, by using the position information acquired by the GPS processing unit 104 and the orientation information detected by the geomagnetic sensor 108, the coordinates and orientation in the actual coordinate system are used as the imaging position and imaging direction. Generates first place descriptive information from which Then, the place description information generation unit 1001 stores the generated first place description information in the information holding unit 1004.

情報保持部１００４は、第１場所記述情報と、第１仮想物体情報と、第１配置情報と、を保持している。なお、第１仮想物体情報と、第１配置情報は、例えば、端末装置１０が予めネットワーク５０を介して取得、或いは、外部記憶媒体を介して情報保持部１００４に予め格納したものである。表示処理部１００２は、撮像部１０３が撮像してディスプレイ１０５に表示している画像（以下、撮像画像と呼ぶ。）の特徴点と、第１場所記述情報に基づき、実空間における撮像部１０３の位置及び方向を判定する。なお、撮像部１０３の位置及び方向は、端末装置１０の位置及び方向でもある。また、表示処理部１００２は、第１配置情報と、判定した撮像部１０３の位置に基づき、第１仮想物体を表示する第４位置を判定し、第１仮想物体が第４位置に存在する様に第１仮想物体を撮像画像に重畳させてディスプレイ１０５に表示する表示制御を行う。なお、このとき深さ情報を、第１仮想物体を表示させる第４位置より端末装置１０側に他のオブジェクトが存在するか否か、つまり、オクルージョンが生じているか否の判定に使用する。また、表示処理部１００２は、第１場所記述情報に基づき判定した端末装置１０の位置を情報受信部１００３に通知する。 The information holding unit 1004 holds the first place description information, the first virtual object information, and the first arrangement information. The first virtual object information and the first arrangement information are, for example, those acquired by the terminal device 10 in advance via the network 50 or stored in advance in the information holding unit 1004 via an external storage medium. The display processing unit 1002 of the image pickup unit 103 in the real space is based on the feature points of the image (hereinafter referred to as the captured image) imaged by the image pickup unit 103 and displayed on the display 105 and the first place description information. Determine the position and direction. The position and direction of the imaging unit 103 are also the position and direction of the terminal device 10. Further, the display processing unit 1002 determines the fourth position for displaying the first virtual object based on the first arrangement information and the determined position of the imaging unit 103, so that the first virtual object exists at the fourth position. The display control is performed so that the first virtual object is superimposed on the captured image and displayed on the display 105. At this time, the depth information is used to determine whether or not another object exists on the terminal device 10 side from the fourth position where the first virtual object is displayed, that is, whether or not occlusion has occurred. Further, the display processing unit 1002 notifies the information receiving unit 1003 of the position of the terminal device 10 determined based on the first place description information.

情報受信部１００３は、表示処理部１００２から通知された端末装置１０の位置を第１位置情報として、通信部１０７を介してサーバ装置６０に送信し、その応答として第２位置情報と第２仮想物体情報をサーバ装置６０から取得する。第２位置情報と第２仮想物体情報をサーバ装置６０から取得すると、表示処理部１００２は、第２位置情報に基づき、第２仮想物体を表示する第３位置を上述した様に判定する。この場合、表示処理部１００２は、第１仮想物体が第４位置にあり、第２仮想物体が第３位置にあるように、第１仮想物体及び第２仮想物体を撮像画像に重畳させてディスプレイ１０５に表示する表示制御を行う。なお、第１仮想物体が第４位置にあり、第２仮想物体が第３位置にあると、第１仮想物体と第２仮想物体とが干渉する場合には、第３位置又は第４位置を補正して第１仮想物体と第２仮想物体とが干渉しないようにする。 The information receiving unit 1003 transmits the position of the terminal device 10 notified from the display processing unit 1002 as the first position information to the server device 60 via the communication unit 107, and as a response, the second position information and the second virtual Object information is acquired from the server device 60. When the second position information and the second virtual object information are acquired from the server device 60, the display processing unit 1002 determines the third position for displaying the second virtual object as described above based on the second position information. In this case, the display processing unit 1002 superimposes the first virtual object and the second virtual object on the captured image so that the first virtual object is in the fourth position and the second virtual object is in the third position. The display control to be displayed on 105 is performed. If the first virtual object is in the fourth position and the second virtual object is in the third position, when the first virtual object and the second virtual object interfere with each other, the third position or the fourth position is set. The correction is made so that the first virtual object and the second virtual object do not interfere with each other.

なお、上記実施形態では、端末装置２０がそのディスプレイに表示している第２仮想物体を端末装置１０でも表示させていたが、同時に、端末装置１０がそのディスプレイに表示している第１仮想物体を端末装置２０でも表示させる構成とすることができる。つまり、端末装置１０と端末装置２０の構成は同様である。端末装置１０がそのディスプレイに表示している第１仮想物体を端末装置２０でも表示させる場合、端末装置１０は、第１仮想物体情報と、第４位置を示す情報をサーバ装置６０に送信する。 In the above embodiment, the second virtual object displayed on the display by the terminal device 20 is also displayed on the terminal device 10, but at the same time, the first virtual object displayed on the display by the terminal device 10 is displayed. Can be displayed on the terminal device 20 as well. That is, the configurations of the terminal device 10 and the terminal device 20 are the same. When the terminal device 10 also displays the first virtual object displayed on the display on the terminal device 20, the terminal device 10 transmits the first virtual object information and the information indicating the fourth position to the server device 60.

以上、本実施形態によると、端末装置のディスプレイに他の端末装置がディスプレイに表示する仮想物体も表示することができる。 As described above, according to the present embodiment, a virtual object displayed on the display of another terminal device can also be displayed on the display of the terminal device.

なお、本発明による端末装置は、コンピュータを上記端末装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。 The terminal device according to the present invention can be realized by a program that operates a computer as the terminal device. These computer programs are stored in a computer-readable storage medium or can be distributed over a network.

１０、２０：端末装置、６０：サーバ装置 10, 20: Terminal device, 60: Server device

Claims (9)

第１仮想物体を第１撮像手段により撮像した第１撮像画像に重畳させて第１ディスプレイに表示することができる第１端末装置、及び、第２仮想物体を第２撮像手段により撮像した第２撮像画像に重畳させて第２ディスプレイに表示することができる第２端末装置を含む、複数の端末装置と、
前記複数の端末装置のそれぞれと無線ネットワークを介して通信できるサーバ装置と、
を含むシステムであって、
前記第２端末装置は、実空間上の第２位置を示す第２位置情報と、前記第２端末装置が属する端末装置のグループを特定する情報と、前記第２仮想物体を前記第２ディスプレイに表示しているか否かを示す表示状態情報と、を前記サーバ装置に送信し、
前記サーバ装置は、前記表示状態情報が前記第２仮想物体を前記第２ディスプレイに表示していることを示していると、前記グループに属する前記第１端末装置に前記第２仮想物体を示す仮想物体情報及び前記第２位置情報を送信することを特徴とするシステム。 A first terminal device capable of superimposing a first virtual object on a first captured image captured by the first imaging means and displaying it on a first display , and a second terminal device in which a second virtual object is imaged by a second imaging means. A plurality of terminal devices including a second terminal device that can be superimposed on the captured image and displayed on the second display.
A server device capable of communicating with each of the plurality of terminal devices via a wireless network,
Is a system that includes
The second terminal device uses the second position information indicating a second position in real space, information for identifying a group of terminal devices to which the second terminal device belongs , and the second virtual object on the second display. Display status information indicating whether or not it is displayed is transmitted to the server device, and the display status information is transmitted to the server device.
When the display state information indicates that the second virtual object is displayed on the second display, the server device indicates that the second virtual object is displayed on the first terminal device belonging to the group. A system characterized by transmitting object information and the second position information . 前記第２端末装置は、前記仮想物体情報を前記サーバ装置に送信することを特徴とする請求項１に記載のシステム。 The second terminal device, the system according to claim 1, wherein transmitting the virtual object information to the server apparatus. 前記第２位置は、前記第２端末装置の前記実空間上の位置又は前記第２仮想物体を配置する前記実空間上の位置であることを特徴とする請求項１又は２に記載のシステム。 The system according to claim 1 or 2, wherein the second position is a position in the real space of the second terminal device or a position in the real space in which the second virtual object is arranged. 前記第２仮想物体を配置する前記実空間上の前記第２位置を示す前記第２位置情報は、前記第２端末装置の前記実空間上の位置と、前記第２端末装置の前記実空間上の位置から前記第２位置への方向及び距離とを示す情報を含むことを特徴とする請求項３に記載のシステム。 The second position information indicating the second position on the real space where the second virtual object is placed is the position on the real space of the second terminal device and the real space of the second terminal device. The system according to claim 3, wherein the system includes information indicating a direction and a distance from the position of the second position. 前記サーバ装置は、前記グループに属する前記第１端末装置から当該第１端末装置の前記実空間上の第１位置を示す第１位置情報を受信し、前記第１位置と前記第２位置との距離が所定値以内である場合に、前記グループに属する前記第１端末装置への前記仮想物体情報及び前記第２位置情報の送信を実行することを特徴とする請求項１から４のいずれか１項に記載のシステム。 The server device receives first position information indicating the first position of the first terminal device in the real space from the first terminal device belonging to the group, and the first position and the second position Any one of claims 1 to 4, wherein the virtual object information and the second position information are transmitted to the first terminal device belonging to the group when the distance is within a predetermined value. The system described in the section. 第１仮想物体を第１撮像手段により撮像した第１撮像画像に重畳させて第１ディスプレイに表示することができる第１端末装置、及び、第２仮想物体を第２撮像手段により撮像した第２撮像画像に重畳させて第２ディスプレイに表示することができる第２端末装置を含む、複数の端末装置と、
前記複数の端末装置のそれぞれと無線ネットワークを介して通信できるサーバ装置と、を含むシステムの前記サーバ装置であって、
前記第２端末装置から、実空間上の第２位置を示す第２位置情報と、前記第２端末装置が属する端末装置のグループを特定する情報と、前記第２仮想物体を前記第２ディスプレイに表示しているか否かを示す表示状態情報と、を受信する受信手段と、
前記表示状態情報が前記第２仮想物体を前記第２ディスプレイに表示していることを示していると、前記グループに属する前記第１端末装置に前記第２仮想物体を示す仮想物体情報及び前記第２位置情報を送信する送信手段と、
を備えていることを特徴とするサーバ装置。 A first terminal device capable of superimposing a first virtual object on a first captured image captured by the first imaging means and displaying it on a first display , and a second terminal device in which a second virtual object is imaged by a second imaging means. A plurality of terminal devices including a second terminal device that can be superimposed on the captured image and displayed on the second display.
The server device of a system including a server device capable of communicating with each of the plurality of terminal devices via a wireless network.
From the second terminal device, the second position information indicating the second position in the real space, the information for specifying the group of the terminal device to which the second terminal device belongs , and the second virtual object are displayed on the second display. Display status information indicating whether or not it is displayed, a receiving means for receiving, and
When the display status information indicates that displaying the second virtual object in the second display, the virtual object information and the second indicating the second virtual object in said first terminal device belonging to the group 2 Transmission means for transmitting location information and
A server device characterized by being equipped with. 前記受信手段は、前記仮想物体情報を前記第２端末装置から受信することを特徴とする請求項６に記載のサーバ装置。 It said receiving means, the server apparatus according to pre-Symbol virtual object information from the second terminal apparatus to claim 6, wherein the reception to Rukoto. 前記第２位置は、前記第２端末装置の実空間上の位置又は前記第２仮想物体を配置する前記実空間上の位置であることを特徴とする請求項７に記載のサーバ装置。 The server device according to claim 7, wherein the second position is a position in the real space of the second terminal device or a position in the real space where the second virtual object is arranged. 前記受信手段は、前記グループに属する前記第１端末装置から当該第１端末装置の前記実空間上の第１位置を示す第１位置情報を受信し、
前記送信手段は、前記第１位置と前記第２位置との距離が所定値以内である場合に、前記グループに属する前記第１端末装置への前記仮想物体情報及び前記第２位置情報の送信を実行することを特徴とする請求項７又は８に記載のサーバ装置。 The receiving means receives the first position information indicating the first position of the first terminal device in the real space from the first terminal device belonging to the group, and receives the first position information.
When the distance between the first position and the second position is within a predetermined value, the transmitting means transmits the virtual object information and the second position information to the first terminal device belonging to the group. The server device according to claim 7 or 8, wherein the server device is executed.
JP2019107433A 2019-06-07 2019-06-07 A system including a terminal device and a server device for displaying a virtual object, and the server device. Active JP6815439B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019107433A JP6815439B2 (en) 2019-06-07 2019-06-07 A system including a terminal device and a server device for displaying a virtual object, and the server device.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019107433A JP6815439B2 (en) 2019-06-07 2019-06-07 A system including a terminal device and a server device for displaying a virtual object, and the server device.

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017061000A Division JP6541704B2 (en) 2017-03-27 2017-03-27 System including terminal device for displaying virtual object and server device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020211541A Division JP7082175B2 (en) 2020-12-21 2020-12-21 A system including a terminal device for displaying a virtual object and a server device, and the server device.

Publications (2)

Publication Number Publication Date
JP2019153348A JP2019153348A (en) 2019-09-12
JP6815439B2 true JP6815439B2 (en) 2021-01-20

Family

ID=67946717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019107433A Active JP6815439B2 (en) 2019-06-07 2019-06-07 A system including a terminal device and a server device for displaying a virtual object, and the server device.

Country Status (1)

Country Link
JP (1) JP6815439B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4133976B2 (en) * 2004-09-01 2008-08-13 株式会社ソニー・コンピュータエンタテインメント Image processing apparatus, game apparatus, and image processing method
JP5512378B2 (en) * 2010-04-28 2014-06-04 株式会社Ｎｔｔドコモ Object display device, object display system, and object display method
JP5776201B2 (en) * 2011-02-10 2015-09-09 ソニー株式会社 Information processing apparatus, information sharing method, program, and terminal apparatus
JP5942456B2 (en) * 2012-02-10 2016-06-29 ソニー株式会社 Image processing apparatus, image processing method, and program
JP6304241B2 (en) * 2013-04-04 2018-04-04 ソニー株式会社 Display control apparatus, display control method, and program

Also Published As

Publication number Publication date
JP2019153348A (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN109891874B (en) Panoramic shooting method and device
CN108876739B (en) Image compensation method, electronic equipment and computer readable storage medium
KR100651508B1 (en) Method for providing local information by augmented reality and local information service system therefor
US9357126B2 (en) Imaging operation terminal, imaging system, imaging operation method, and program device in which an operation mode of the operation terminal is selected based on its contact state with an imaging device
JP5528057B2 (en) Device discovery method
US8478308B2 (en) Positioning system for adding location information to the metadata of an image and positioning method thereof
KR20110052829A (en) Display apparatus, user terminal, and methods thereof
JP2014035642A (en) Display device, control method therefor, display system, and program
KR20190101427A (en) Image Synthesis Methods, Devices, and Non-Volatile Computer-readable Media
JP6724931B2 (en) Screen resolution adjustment system, display control system, screen resolution adjustment method, and display control method
JP5514062B2 (en) Electronic device, imaging screen display method with information, and program
JP6815439B2 (en) A system including a terminal device and a server device for displaying a virtual object, and the server device.
JP7082175B2 (en) A system including a terminal device for displaying a virtual object and a server device, and the server device.
CN108769529B (en) Image correction method, electronic equipment and computer readable storage medium
US11864117B2 (en) Program and electronic device
JP6541704B2 (en) System including terminal device for displaying virtual object and server device
JP5801690B2 (en) Image processing apparatus and image processing method
JP2019061341A (en) Terminal device, program, and system
CN111147745B (en) Shooting method, shooting device, electronic equipment and storage medium
JP2019043473A (en) Flight device, management device, photographing control method, and photographing control program
WO2018079043A1 (en) Information processing device, image pickup device, information processing system, information processing method, and program
WO2019142347A1 (en) Portable device
US20220345680A1 (en) Information processing apparatus, information processing method, and program
JP7169422B2 (en) Portable device and display control method
JP6999052B2 (en) Mobile devices and video display methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150