JP6896688B2 - Position calculation device, position calculation program, position calculation method, and content addition system - Google Patents

Position calculation device, position calculation program, position calculation method, and content addition system Download PDF

Info

Publication number
JP6896688B2
JP6896688B2 JP2018187909A JP2018187909A JP6896688B2 JP 6896688 B2 JP6896688 B2 JP 6896688B2 JP 2018187909 A JP2018187909 A JP 2018187909A JP 2018187909 A JP2018187909 A JP 2018187909A JP 6896688 B2 JP6896688 B2 JP 6896688B2
Authority
JP
Japan
Prior art keywords
calculation device
position calculation
content
marker
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018187909A
Other languages
Japanese (ja)
Other versions
JP2019153274A (en
Inventor
裕哉 上曽山
裕哉 上曽山
俊則 星川
俊則 星川
ビョンチョル 裴
ビョンチョル 裴
翔太 斎藤
翔太 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Digital Solutions Corp filed Critical Toshiba Digital Solutions Corp
Publication of JP2019153274A publication Critical patent/JP2019153274A/en
Application granted granted Critical
Publication of JP6896688B2 publication Critical patent/JP6896688B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、自位置を取得する技術に関する。 An embodiment of the present invention relates to a technique for acquiring a self-position.

従来、現実の世界の物事に対して仮想の情報を付加するAR(Augmented Reality:拡張現実)技術が知られている。このAR技術によれば、現実環境が映された映像における特定のパターン、現実環境における機器の位置などに対応して、3Dモデル、テキストなどのコンテンツが提示される。 Conventionally, AR (Augmented Reality) technology that adds virtual information to things in the real world has been known. According to this AR technology, contents such as 3D models and texts are presented corresponding to a specific pattern in a video showing a real environment, the position of a device in the real environment, and the like.

このようなAR技術において、カメラに撮像された画像や空間など機器に認識可能な周辺環境に基づいてコンテンツの提示を行うものはビジョンベースARと呼ばれ、また、GNSS(Global Navigation Satellite System)センサなどにより得られる機器の位置情報に基づいてコンテンツの提示を行うものはロケーションARと呼ばれる。 In such AR technology, the one that presents the content based on the surrounding environment that can be recognized by the device such as the image captured by the camera and the space is called the vision-based AR, and the GNSS (Global Navigation Satellite System) sensor. A device that presents content based on the location information of a device obtained by such means is called a location AR.

ロケーションARは、現実環境にコンテンツを付加するというその特性から、作業空間における作業支援への応用が期待されている。AR技術を用いた作業支援としては、作業空間における任意の位置に対して、作業に関する注意事項や指示などをコンテンツとして付加することが考えられている。 Location AR is expected to be applied to work support in the work space due to its characteristic of adding content to the real environment. As work support using AR technology, it is considered to add precautions and instructions regarding work as contents to an arbitrary position in the work space.

また、関連する技術として、画像を撮像した端末の位置及び姿勢を基準として画像に映る環境の位置及び姿勢を表現する環境認識行列を認識する認識部と、環境認識行列の逆行列を計算する計算部と、環境認識行列の逆行列に基づく位置及び姿勢を有する仮想オブジェクトを環境内に配置するオブジェクト配置部とを備える画像処理装置、が知られている(特許文献1)。 In addition, as related technologies, a recognition unit that recognizes an environment recognition matrix that expresses the position and orientation of the environment reflected in the image based on the position and orientation of the terminal that captured the image, and a calculation that calculates the inverse matrix of the environment recognition matrix. An image processing device including a unit and an object arranging unit that arranges a virtual object having a position and an orientation based on an inverse matrix of an environment recognition matrix in the environment is known (Patent Document 1).

特開2016−177834号公報Japanese Unexamined Patent Publication No. 2016-177834

現実世界において特定の位置にコンテンツを付加する場合、また付加したコンテンツを提示する場合、その前提として現実世界における機器の位置の特定が不可欠である。機器の位置の特定については、緯度及び経度を得られるGNSSセンサを用いるのが一般的である。しかし、地下などのGNSS信号の受信が困難な環境においては、精度良く機器の位置を得ることができず、したがって、コンテンツの付加及び提示が適切になされない、という問題があった。 When adding content to a specific position in the real world or presenting the added content, it is indispensable to specify the position of the device in the real world as a premise. For specifying the position of the device, it is common to use a GNSS sensor that can obtain the latitude and longitude. However, in an environment where it is difficult to receive a GNSS signal such as underground, there is a problem that the position of the device cannot be obtained accurately, and therefore the content is not properly added and presented.

本発明の実施形態は、上述した問題点を解決するためになされたものであり、GNSS信号を取得することが困難な環境においても、精度良く機器の位置を得ることができる技術を提供することを目的とする。 An embodiment of the present invention has been made to solve the above-mentioned problems, and provides a technique capable of accurately obtaining the position of an apparatus even in an environment where it is difficult to acquire a GNSS signal. With the goal.

上述した課題を解決するため、本発明の実施形態は、自位置を算出する位置算出装置であって、所定箇所に配されたマーカーを撮像する撮像装置と、前記撮像された撮像画像におけるマーカーの大きさ及び形状に基づいて、前記マーカーの位置を原点とした前記位置算出装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、前記位置算出装置の周囲の物体の3次元特徴点群を所定の時間毎に検出する深度センサと、時系列において前後する3次元特徴点群間の変位に基づいて、前記位置算出装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記位置算出装置の位置及び姿勢を更新するパラメータ更新部とを備える。 In order to solve the above-mentioned problems, an embodiment of the present invention is a position calculation device that calculates its own position, and is an imaging device that images a marker arranged at a predetermined position, and a marker in the captured image. A parameter calculation unit that calculates the initial position and initial posture of the position calculation device with the position of the marker as the origin based on the size and shape, and a three-dimensional feature point of an object around the position calculation device. The displacement of the position and posture of the position calculation device is calculated based on the displacement between the depth sensor that detects the group at predetermined time intervals and the group of three-dimensional feature points that move back and forth in the time series, and the initial position and the initial position are calculated. It is provided with a parameter update unit for updating the position and posture of the position calculation device starting from the posture.

また、本発明の実施形態は、自位置を算出する位置算出装置と該位置算出装置とネットワークにより接続可能なサーバ装置とを備えるコンテンツ付加システムであって、前記位置算出装置は、所定箇所に配されたマーカーを撮像する撮像装置と、前記撮像された撮像画像におけるマーカーの大きさ及び形状に基づいて、前記マーカーの位置を原点とした前記位置算出装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、前記位置算出装置の周囲の物体の3次元特徴点群を所定の時間毎に検出する深度センサと、時系列において前後する3次元特徴点群間の変位に基づいて、前記位置算出装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記位置算出装置の位置及び姿勢を更新するパラメータ更新部と、所定の指定箇所と前記位置算出装置との離間距離を前記深度センサにより取得し、該離間距離と前記位置算出装置の位置及び姿勢とに基づいて前記マーカーの位置を原点とした前記指定箇所の位置を算出し、該指定箇所の位置と該指定箇所に付加される所定のコンテンツとを対応付けた付加コンテンツを前記サーバ装置に送信する付加処理部とを備え、前記サーバ装置は、前記位置算出装置により送信された付加コンテンツを受信する受信部と、受信された付加コンテンツをコンテンツ情報として管理するコンテンツ情報管理部とを備える。 Further, the embodiment of the present invention is a content addition system including a position calculation device for calculating its own position, a position calculation device, and a server device that can be connected by a network, and the position calculation device is arranged at a predetermined position. Based on the image pickup device that captures the image of the marker and the size and shape of the marker in the captured image, the initial position and initial posture of the position calculation device with the position of the marker as the origin are calculated as initial parameters. Based on the parameter calculation unit, the depth sensor that detects the three-dimensional feature point group of the object around the position calculation device at predetermined time intervals, and the displacement between the three-dimensional feature point groups that move back and forth in the time series. A parameter update unit that calculates the displacement of the position and posture of the position calculation device and updates the position and posture of the position calculation device starting from the initial position and the initial posture, a predetermined designated location, and the position calculation device. The distance between the two is acquired by the depth sensor, and the position of the designated location with the position of the marker as the origin is calculated based on the separation distance and the position and orientation of the position calculation device. The server device includes an additional processing unit that transmits the additional content associated with the predetermined content added to the designated location to the server device, and the server device receives the additional content transmitted by the position calculation device. It is provided with a unit and a content information management unit that manages received additional content as content information.

第1の実施形態に係るコンテンツ付加システムの全体構成を示す概略図である。It is the schematic which shows the overall structure of the content addition system which concerns on 1st Embodiment. 第1の実施形態に係るコンテンツ付加システムが運用される作業現場を示す概略平面図である。It is a schematic plan view which shows the work site where the content addition system which concerns on 1st Embodiment is operated. サーバ装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware configuration of a server device. 位置算出装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware composition of the position calculation apparatus. 位置算出装置の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the position calculation apparatus. サーバ装置の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of a server device. コンテンツの付加に係る位置算出装置の全体動作を示すフローチャートである。It is a flowchart which shows the whole operation of the position calculation apparatus which concerns on the addition of content. 初期位置及び初期姿勢の算出を説明するための概略図である。It is the schematic for demonstrating the calculation of the initial position and the initial posture. 初期位置から現位置までの経路を示す概略平面図である。It is a schematic plan view which shows the path from an initial position to the present position. コンテンツ付加処理の動作を示すフローチャートである。It is a flowchart which shows the operation of the content addition processing. コンテンツ付加位置と仮想オブジェクトとを示す概略図である。It is a schematic diagram which shows a content addition position and a virtual object. コンテンツの付加に係るサーバ装置の全体動作を示すフローチャートである。It is a flowchart which shows the whole operation of the server device which concerns on the addition of contents. 撮像画像に対して重畳表示された付加コンテンツを示す概略図である。It is the schematic which shows the additional content superposed on the captured image. カテゴリと対応付けられた付加コンテンツを示す概略図である。It is a schematic diagram which shows the additional content associated with a category. 第2の実施形態に係るコンテンツ付加システムが運用される製造工場を示す概略平面図である。It is a schematic plan view which shows the manufacturing factory which operates the content addition system which concerns on 2nd Embodiment. 建物における一方の付加コンテンツの出力を示す概略図である。It is a schematic diagram which shows the output of one additional content in a building. 建物における他方の付加コンテンツの出力を示す概略図である。It is the schematic which shows the output of the other additional content in a building. 第3の実施形態に係るコンテンツ付加システムが運用される観光地を示す概略図である。It is a schematic diagram which shows the sightseeing spot where the content addition system which concerns on 3rd Embodiment is operated. モニュメントにおける付加コンテンツの出力を示す概略図である。It is a schematic diagram which shows the output of the additional content in a monument.

以下、本発明の実施形態について図面を参照しつつ説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

<第1の実施形態>
(全体構成)
第1の実施形態に係るコンテンツ付加システム1の全体構成及びこのコンテンツ付加システムが運用される作業現場について説明する。図1は、本実施形態に係るコンテンツ付加システムの全体構成を示す概略図である。図2は、本実施形態に係るコンテンツ付加システムが運用される作業現場を示す概略平面図である。
<First Embodiment>
(overall structure)
The overall configuration of the content addition system 1 according to the first embodiment and the work site where the content addition system is operated will be described. FIG. 1 is a schematic view showing the overall configuration of the content addition system according to the present embodiment. FIG. 2 is a schematic plan view showing a work site where the content addition system according to the present embodiment is operated.

図1に示すように、本実施形態に係るコンテンツ付加システムは、サーバ装置10と、管理者端末20と、少なくとも1つ以上の位置算出装置30を備える。位置算出装置30は、携帯可能な装置であり、本実施形態においてコンテンツ付加システムが運用される作業現場において作業者により使用される。また、サーバ装置10と管理者端末20は、作業現場とは異なる場所にある管理センターに設置される。 As shown in FIG. 1, the content addition system according to the present embodiment includes a server device 10, an administrator terminal 20, and at least one or more position calculation devices 30. The position calculation device 30 is a portable device, and is used by an operator at a work site where the content addition system is operated in the present embodiment. Further, the server device 10 and the administrator terminal 20 are installed in a management center located at a place different from the work site.

位置算出装置30は、作業現場に設置された無線LAN(Local Area Network)を介してネットワークに接続し、ネットワークを介してサーバ装置10と通信する。また、管理者端末20は、管理センターに設置された有線LANを介してサーバ装置10と通信する。なお、位置算出装置30は、ネットワークに常時接続されていなくとも良く、送受信すべきデータを位置算出装置30内に一時記憶し、ネットワークに接続された際に、データの送受信を行うようにしても良い。 The position calculation device 30 connects to the network via a wireless LAN (Local Area Network) installed at the work site, and communicates with the server device 10 via the network. Further, the administrator terminal 20 communicates with the server device 10 via a wired LAN installed in the management center. The position calculation device 30 does not have to be always connected to the network, and data to be transmitted / received may be temporarily stored in the position calculation device 30 so that data can be transmitted / received when connected to the network. good.

本実施形態において、作業現場は、コンテンツ付加システムが運用される建屋であり、例えば、原子力発電所などにおける1区画とする。この作業現場は、図2に示すように、壁部で囲まれた複数の部屋がある1区画であり、区画内に複数の設備が配されているものとする。 In the present embodiment, the work site is a building in which the content addition system is operated, and is, for example, one section in a nuclear power plant or the like. As shown in FIG. 2, this work site is one section having a plurality of rooms surrounded by walls, and it is assumed that a plurality of facilities are arranged in the section.

この作業現場においては、位置算出装置30をそれぞれ有した作業者が従事し、以下に詳述するコンテンツ付加システムを用いることによって、壁部または設備における特定箇所に対して、この箇所に対応付けられたコンテンツが存在することを示す仮想オブジェクトを付加する。この仮想オブジェクトは、位置算出装置30のタッチパネル34(図4参照)を介して作業者が視認可能な仮想の目印である。 At this work site, a worker having each of the position calculation devices 30 is engaged, and by using the content addition system described in detail below, the specific location on the wall or equipment is associated with this location. Add a virtual object that indicates that the content is present. This virtual object is a virtual mark that can be visually recognized by the operator via the touch panel 34 (see FIG. 4) of the position calculation device 30.

また、作業現場の入口付近の壁部には、正方形内に所定のパターンが描画された2次元画像であるマーカーが貼着される。このマーカーは所謂ARマーカーであり、後に詳述するように、位置算出装置30の位置及び仮想オブジェクトの位置を示す座標の原点として機能する。このマーカーは、位置算出装置30とマーカーとの位置関係を推定するのに適したものであれば、どのような画像であっても良い。 Further, a marker, which is a two-dimensional image in which a predetermined pattern is drawn in a square, is attached to the wall portion near the entrance of the work site. This marker is a so-called AR marker, and as will be described in detail later, functions as the origin of coordinates indicating the position of the position calculation device 30 and the position of the virtual object. The marker may be any image as long as it is suitable for estimating the positional relationship between the position calculation device 30 and the marker.

(ハードウェア構成)
サーバ装置及び位置算出装置のハードウェア構成について説明する。図3は、サーバ装置のハードウェア構成を示すブロック図である。図4は、位置算出装置のハードウェア構成を示すブロック図である。
(Hardware configuration)
The hardware configuration of the server device and the position calculation device will be described. FIG. 3 is a block diagram showing a hardware configuration of the server device. FIG. 4 is a block diagram showing a hardware configuration of the position calculation device.

サーバ装置10は、図3に示すように、ハードウェアとして、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、記憶装置13、入出力I/F(Interface)14、ネットワークI/F15を備える。CPU11及びRAM12は協働して各種機能を実行し、記憶装置13は各種機能により実行される処理に用いられる各種データを記憶する。入出力I/F14は、サーバ装置10に接続されるキーボードなどの入力装置やディスプレイなどの出力装置とのデータの入出力を行う。ネットワークI/F15は、管理者端末20や位置算出装置30などの他の装置との有線通信及び無線通信を行う。本実施形態においては、管理者端末20はサーバ装置10と同様のハードウェア構成であるものとし、よって説明を省略する。 As shown in FIG. 3, the server device 10 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, a storage device 13, an input / output I / F (Interface) 14, and a network I / F 15 as hardware. To be equipped. The CPU 11 and the RAM 12 cooperate to execute various functions, and the storage device 13 stores various data used for processing executed by the various functions. The input / output I / F 14 inputs / outputs data to / from an input device such as a keyboard connected to the server device 10 and an output device such as a display. The network I / F 15 performs wired communication and wireless communication with other devices such as the administrator terminal 20 and the position calculation device 30. In the present embodiment, the administrator terminal 20 has the same hardware configuration as the server device 10, and the description thereof will be omitted.

位置算出装置30は、タブレット型端末であり、図4に示すように、ハードウェアとして、CPU31、RAM32、記憶装置33、タッチパネル34、ネットワークI/F35、カメラ36、深度センサ37を備える。CPU31及びRAM32は協働して各種機能を実行し、記憶装置33は各種機能により実行される処理に用いられる各種データを記憶する。タッチパネル34は、ディスプレイとタッチセンサとを有し、位置算出装置30の正面側に備えられた入出力装置である。ネットワークI/F35は、サーバ装置10との無線通信を行う。 The position calculation device 30 is a tablet-type terminal, and as shown in FIG. 4, includes a CPU 31, a RAM 32, a storage device 33, a touch panel 34, a network I / F 35, a camera 36, and a depth sensor 37 as hardware. The CPU 31 and the RAM 32 cooperate to execute various functions, and the storage device 33 stores various data used for processing executed by the various functions. The touch panel 34 is an input / output device having a display and a touch sensor and provided on the front side of the position calculation device 30. The network I / F35 performs wireless communication with the server device 10.

カメラ36は、位置算出装置30の背面側に備えられ、可視光による2次元画像及び映像を撮像する撮像装置である。深度センサ37は、位置算出装置30の背面側に備えられ、レーザを投光してその反射光を受光素子により受光することにより、位置算出装置30から周囲の物体までの距離を測定するセンサである。この深度センサ37は、本実施形態においては、投光パルスに対する受光パルスの遅れ時間を距離に換算するToF(Time of Flight)方式を用いて、位置算出装置30から周囲の物体までの距離を測定して3次元点群化するセンサとする。なお、カメラ36による撮像方向と深度センサ37による測定方向は一致しているものとする。 The camera 36 is provided on the back side of the position calculation device 30 and is an imaging device that captures a two-dimensional image and a video by visible light. The depth sensor 37 is a sensor provided on the back side of the position calculation device 30 and measures the distance from the position calculation device 30 to surrounding objects by projecting a laser and receiving the reflected light by a light receiving element. is there. In the present embodiment, the depth sensor 37 measures the distance from the position calculation device 30 to a surrounding object by using a ToF (Time of Flight) method that converts the delay time of the received light pulse with respect to the floodlight pulse into a distance. Then, the sensor is made into a three-dimensional point cloud. It is assumed that the imaging direction by the camera 36 and the measurement direction by the depth sensor 37 are the same.

(位置算出装置の機能構成)
位置算出装置の機能構成について説明する。図5は、位置算出装置の機能構成を示すブロック図である。
(Functional configuration of position calculation device)
The functional configuration of the position calculation device will be described. FIG. 5 is a block diagram showing a functional configuration of the position calculation device.

図5に示すように、位置算出装置30は、機能として、パラメータ算出部301、パラメータ更新部302、付加処理部303、表示部(提示部)304、ユーザ情報送信部305、コンテンツ情報受信部306、位置送信部307、映像送信部308を備える。 As shown in FIG. 5, the position calculation device 30 functions as a parameter calculation unit 301, a parameter update unit 302, an additional processing unit 303, a display unit (presentation unit) 304, a user information transmission unit 305, and a content information reception unit 306. A position transmission unit 307 and a video transmission unit 308 are provided.

パラメータ算出部301は、カメラ36による撮像画像におけるマーカーを認識し、認識したマーカーに基づいて、貼着されたマーカーを原点としたマーカー座標における位置算出装置30の初期位置及び初期姿勢をパラメータとして算出する。パラメータ更新部302は、深度センサ37により取得される3次元点群の前後のフレーム間の変位に基づいて、位置算出装置30の位置及び姿勢の変位をフレーム毎に算出し、この変位に基づいて、パラメータ算出部301により算出された初期位置及び初期姿勢を起点とした位置算出装置30の位置及び姿勢を更新する。なお、位置算出装置30の位置及び姿勢は、それぞれ算出、更新された時点の時刻と対応付けられるものとする。 The parameter calculation unit 301 recognizes the marker in the image captured by the camera 36, and based on the recognized marker, calculates the initial position and the initial posture of the position calculation device 30 in the marker coordinates with the attached marker as the origin as parameters. To do. The parameter update unit 302 calculates the displacement of the position and orientation of the position calculation device 30 for each frame based on the displacement between the frames before and after the three-dimensional point group acquired by the depth sensor 37, and based on this displacement. , The position and the posture of the position calculation device 30 starting from the initial position and the initial posture calculated by the parameter calculation unit 301 are updated. The position and posture of the position calculation device 30 are associated with the time at the time of calculation and update, respectively.

付加処理部303は、位置算出装置30の現在位置及び現在姿勢と、深度センサ37により測定された、位置算出装置30からコンテンツを付加する対象物としての設備または壁部上の指定箇所までの距離とに基づいてマーカー座標上における指定箇所の位置を算出し、指定箇所とコンテンツとを対応付けることによりコンテンツを付加する。また、付加処理部303は、付加したコンテンツをサーバ装置10へ送信し、付加コンテンツとして、マーカー座標系における所定の座標、及びこの座標を指し示す仮想オブジェクトの向きと対応付けられたコンテンツをサーバ装置10へ送信する。ここでコンテンツは、例えば、テキスト、URL、音声、画像などの出力装置を介して、直接的または間接的にユーザに提示可能なあらゆるデータを含む。 The addition processing unit 303 is the distance between the current position and the current posture of the position calculation device 30 and the equipment or the designated location on the wall portion as the object to which the content is added from the position calculation device 30 measured by the depth sensor 37. The position of the designated location on the marker coordinates is calculated based on the above, and the content is added by associating the designated location with the content. Further, the additional processing unit 303 transmits the added content to the server device 10, and as the additional content, the server device 10 transmits the content associated with the predetermined coordinates in the marker coordinate system and the orientation of the virtual object pointing to the coordinates. Send to. Here, the content includes any data that can be directly or indirectly presented to the user via an output device such as text, URL, voice, image or the like.

表示部304は、カメラ36により撮像された画像に仮想オブジェクトを重畳してタッチパネル34に表示する。なお、表示部304は、複数の仮想オブジェクトをタッチパネル34に表示する際、位置算出装置30の現在位置及び現在姿勢に基づいて、複数の仮想オブジェクトまたは実在の物体との前後関係を算出し、手前に位置する仮想オブジェクトまたは実在の物体を奥に位置する仮想オブジェクトまたは実在の物体上に重畳して表示する。 The display unit 304 superimposes a virtual object on the image captured by the camera 36 and displays it on the touch panel 34. When displaying the plurality of virtual objects on the touch panel 34, the display unit 304 calculates the context with the plurality of virtual objects or the actual objects based on the current position and the current posture of the position calculation device 30, and the front side. The virtual object or real object located in is superimposed on the virtual object or real object located in the back and displayed.

ユーザ情報送信部305は、ユーザとして作業者を一意に示すユーザIDとこのユーザIDに対応する認証情報とを認証要求としてサーバ装置10へ送信する。コンテンツ情報受信部306は、ユーザ情報送信部305による認証要求に対する応答としてサーバ装置10により送信されたコンテンツ情報を受信する。位置送信部307は、パラメータ算出部301により算出された初期位置とパラメータ更新部302により逐次算出された後続位置とをサーバ装置10へ送信する。映像送信部308は、表示部304によりタッチパネル34に表示された表示画面をその時点における位置算出装置30の位置と対応付けて、表示画面が時系列に連なる表示画面映像としてサーバ装置10へ送信する。 The user information transmission unit 305 transmits the user ID uniquely indicating the worker as a user and the authentication information corresponding to the user ID to the server device 10 as an authentication request. The content information receiving unit 306 receives the content information transmitted by the server device 10 as a response to the authentication request by the user information transmitting unit 305. The position transmission unit 307 transmits the initial position calculated by the parameter calculation unit 301 and the subsequent position sequentially calculated by the parameter update unit 302 to the server device 10. The video transmission unit 308 associates the display screen displayed on the touch panel 34 by the display unit 304 with the position of the position calculation device 30 at that time, and transmits the display screen to the server device 10 as a display screen image in which the display screens are continuous in chronological order. ..

(サーバ装置の機能構成)
サーバ装置の機能構成について説明する。図6は、サーバ装置の機能構成を示すブロック図である。
(Functional configuration of server device)
The functional configuration of the server device will be described. FIG. 6 is a block diagram showing a functional configuration of the server device.

図6に示すように、サーバ装置10は、機能として、ユーザ情報管理部101、ユーザ認証部102、付加コンテンツ受信部103、コンテンツ情報管理部104、コンテンツ情報送信部105、位置受信部106、経路管理部107、経路送信部108、映像受信部109、映像管理部110、映像送信部111を備える。 As shown in FIG. 6, the server device 10 functions as a user information management unit 101, a user authentication unit 102, an additional content reception unit 103, a content information management unit 104, a content information transmission unit 105, a position reception unit 106, and a route. It includes a management unit 107, a route transmission unit 108, a video reception unit 109, a video management unit 110, and a video transmission unit 111.

ユーザ情報管理部101は、ユーザIDと認証情報とを対応付けてユーザ情報として管理する。ユーザ認証部102は、位置算出装置30により送信されたユーザ情報とユーザ情報管理部101により管理されたユーザ情報とを照合して位置算出装置30の認証を行う。なお、ユーザIDは、管理者端末20のユーザにも割り当てられており、ユーザ認証部102は、位置算出装置30と同様に管理者端末20に対する認証を行う。 The user information management unit 101 manages the user ID and the authentication information in association with each other as user information. The user authentication unit 102 authenticates the position calculation device 30 by collating the user information transmitted by the position calculation device 30 with the user information managed by the user information management unit 101. The user ID is also assigned to the user of the administrator terminal 20, and the user authentication unit 102 authenticates the administrator terminal 20 in the same manner as the position calculation device 30.

付加コンテンツ受信部103は、付加コンテンツを位置算出装置30より受信する。コンテンツ情報管理部104は、付加コンテンツ受信部103により受信されたコンテンツをこのコンテンツを一意に示す識別子であるコンテンツIDを付してコンテンツ情報として管理する。ここで、コンテンツ情報は、付加コンテンツと、閲覧制限の可否と、閲覧を許可されたユーザのユーザIDとが対応付けられたものである。コンテンツ情報には、全てのユーザが取得可能に閲覧制限がなされていないものと一部のユーザのみが取得可能に閲覧制限されたものとがあり、後者のコンテンツ情報のみに閲覧が許可されたユーザのユーザIDが設定されるものとする。コンテンツ情報送信部105は、ユーザ認証部102により認証されたユーザについて、このユーザが閲覧を制限されていないコンテンツ情報のみを位置算出装置30へ送信する。 The additional content receiving unit 103 receives the additional content from the position calculation device 30. The content information management unit 104 manages the content received by the additional content receiving unit 103 as content information with a content ID which is an identifier uniquely indicating the content. Here, the content information is associated with the additional content, whether or not viewing is restricted, and the user ID of the user who is permitted to view. There are two types of content information, one that is not restricted to be viewed by all users and the other that is restricted to be viewed by only some users. Users who are permitted to view only the latter content information It is assumed that the user ID of is set. The content information transmission unit 105 transmits only the content information for which the user is not restricted from viewing to the position calculation device 30 for the user authenticated by the user authentication unit 102.

位置受信部106は、位置算出装置30より送信された位置を受信する。経路管理部107は、ユーザ認証部102によりユーザが認証される毎に、作業現場における位置算出装置30の経路を一意に示す経路IDを生成し、経路IDとユーザIDと経路情報とを対応付けて管理する。ここで経路情報は、認証されたユーザが使用する位置算出装置30より送信された初期位置及び更新された位置とこれらの算出時刻とを含む。経路送信部108は、管理者端末20による所定の経路の取得要求に応じて、該当する経路情報を管理者端末20へ送信する。 The position receiving unit 106 receives the position transmitted from the position calculating device 30. Each time the user is authenticated by the user authentication unit 102, the route management unit 107 generates a route ID that uniquely indicates the route of the position calculation device 30 at the work site, and associates the route ID with the user ID and the route information. To manage. Here, the route information includes the initial position and the updated position transmitted from the position calculation device 30 used by the authenticated user, and the calculated times thereof. The route transmission unit 108 transmits the corresponding route information to the administrator terminal 20 in response to the acquisition request of the predetermined route by the administrator terminal 20.

映像受信部109は、位置算出装置30により送信された表示画面映像を受信する。映像管理部110は、映像受信部109により受信された表示画面映像とユーザIDとを対応付け、表示画面映像を一意に示す映像IDを付して管理する。映像送信部111は、管理者端末20による所定の表示画面映像の取得要求に応じて、該当する表示画面映像を管理者端末20へ送信する。この表示画面映像は、管理者端末20により閲覧可能とすることにより、作業者としてのユーザの状況を管理センターから確認することができる。なお、表示画面映像を構成する一連の表示画面には、位置算出装置30の位置が対応付けられているため、図2に示したように、作業現場の一部領域をマスクエリアとして予め設定することによって、このマスクエリア内における撮像画像に基づく表示画面は黒塗りにするなどのマスクを施しても良い。これによって、作業現場におけるマスクエリア内の設備を外部から閲覧不能に秘匿することができる。 The video receiving unit 109 receives the display screen video transmitted by the position calculation device 30. The video management unit 110 associates the display screen video received by the video reception unit 109 with the user ID, and manages the display screen video by assigning a video ID uniquely indicating the display screen video. The video transmission unit 111 transmits the corresponding display screen image to the administrator terminal 20 in response to the acquisition request of the predetermined display screen image by the administrator terminal 20. By making the display screen image viewable by the administrator terminal 20, the status of the user as a worker can be confirmed from the management center. Since the position of the position calculation device 30 is associated with the series of display screens constituting the display screen image, a part area of the work site is preset as a mask area as shown in FIG. As a result, the display screen based on the captured image in this mask area may be masked such as being painted black. As a result, the equipment in the mask area at the work site can be concealed so that it cannot be viewed from the outside.

(位置算出装置の動作)
コンテンツの付加に係る位置算出装置の動作について説明する。図7は、コンテンツの付加に係る位置算出装置の全体動作を示すフローチャートである。図8は、初期位置及び初期姿勢の算出を説明する概略図である。図9は、初期位置から現位置までの経路を示す概略平面図である。なお、図7においては、カメラによる撮像画像がパラメータ算出部により予め取得されているものとする。
(Operation of position calculation device)
The operation of the position calculation device related to the addition of contents will be described. FIG. 7 is a flowchart showing the overall operation of the position calculation device related to the addition of the content. FIG. 8 is a schematic view illustrating the calculation of the initial position and the initial posture. FIG. 9 is a schematic plan view showing a route from the initial position to the current position. In FIG. 7, it is assumed that the image captured by the camera has been acquired in advance by the parameter calculation unit.

図7に示すように、パラメータ算出部301は、カメラ36による撮像画像において、マーカーが認識されたか否かを判定する(S101)。 As shown in FIG. 7, the parameter calculation unit 301 determines whether or not the marker is recognized in the image captured by the camera 36 (S101).

マーカーが認識された場合(S101,YES)、パラメータ算出部301は、マーカーを原点とする位置算出装置30の初期位置及び初期姿勢をパラメータとして算出する(S102)。 When the marker is recognized (S101, YES), the parameter calculation unit 301 calculates the initial position and the initial posture of the position calculation device 30 with the marker as the origin as parameters (S102).

ここで、初期位置及び初期姿勢の算出について説明する。図8に示すように、作業現場における壁部Wに対して、水平面に垂直する壁面に貼着されたマーカーMを含む撮像範囲Sがカメラ36により撮像されると、マーカーMと位置算出装置30との位置関係によって、撮像画像上のマーカーmに拡縮、変形が生じる。パラメータ算出部301は、基準となるマーカーの形状及び大きさを示すマーカー情報に基づいて、マーカーmの大きさ及び形状から、マーカーMに対する位置算出装置30の相対位置及び相対姿勢を算出する。更にパラメータ算出部301は、この相対位置及び相対姿勢からマーカーMを原点とした3軸上(図中x,y,z)の位置算出装置30の位置及び、これら3軸に平行する回転軸(x1,y1,z1)周りの位置算出装置30の回転を算出することによって、位置算出装置30の初期位置及び初期姿勢を算出する。なお、本実施形態において、マーカーMの中心点を原点Oとし、カメラ36の中心、具体的にはイメージセンサの中心点を回転軸の原点Iとする。 Here, the calculation of the initial position and the initial posture will be described. As shown in FIG. 8, when the image pickup range S including the marker M attached to the wall surface perpendicular to the horizontal plane is imaged by the camera 36 with respect to the wall portion W at the work site, the marker M and the position calculation device 30 Depending on the positional relationship with, the marker m on the captured image is scaled or deformed. The parameter calculation unit 301 calculates the relative position and the relative posture of the position calculation device 30 with respect to the marker M from the size and shape of the marker m based on the marker information indicating the shape and size of the reference marker. Further, the parameter calculation unit 301 determines the position of the position calculation device 30 on three axes (x, y, z in the figure) with the marker M as the origin from the relative position and the relative posture, and the rotation axis (x, y, z in the figure) parallel to these three axes. By calculating the rotation of the position calculation device 30 around x1, y1, z1), the initial position and the initial posture of the position calculation device 30 are calculated. In the present embodiment, the center point of the marker M is set as the origin O, and the center of the camera 36, specifically, the center point of the image sensor is set as the origin I of the rotation axis.

初期位置及び初期姿勢の算出後、ユーザ情報送信部305は、認証要求として、サーバ装置10へユーザ情報を送信する(S103)。次に、コンテンツ情報受信部306は、認証要求に対するサーバ装置10の応答により、認証が許可されたか否かを判定する(S104)。 After calculating the initial position and the initial posture, the user information transmission unit 305 transmits the user information to the server device 10 as an authentication request (S103). Next, the content information receiving unit 306 determines whether or not the authentication is permitted based on the response of the server device 10 to the authentication request (S104).

認証が許可された場合(S104,YES)、コンテンツ情報受信部306が、サーバ装置10から送信されたコンテンツ情報を受信し(S105)、位置送信部307が位置算出装置30の現在位置、即ち直近に算出された位置座標を、その算出または更新時刻とともにサーバ装置10へ送信し(S106)、パラメータ更新部302が深度センサ37により検出される3次元特徴点群の変位に基づいて位置算出装置30の現在位置及び現在姿勢を更新する(S107)。 When authentication is permitted (S104, YES), the content information receiving unit 306 receives the content information transmitted from the server device 10 (S105), and the position transmitting unit 307 is the current position of the position calculating device 30, that is, the nearest position. The position coordinates calculated in the above are transmitted to the server device 10 together with the calculation or update time (S106), and the position calculation device 30 is based on the displacement of the three-dimensional feature point group detected by the parameter update unit 302 by the depth sensor 37. Update the current position and current posture of (S107).

ここで、現在位置及び現在姿勢の更新について説明する。パラメータ更新部302は、時系列に前後する3次元特徴点群の変位に基づいて、位置算出装置30の位置及び姿勢の変位を算出し、この変位を初期位置及び初期姿勢または前回更新した位置及び姿勢に積算することによって、位置算出装置30の現在位置及び現在姿勢を逐次更新する。このように現在位置及び現在姿勢を更新することによって、図9に示すように、時系列に得られる一連の位置及び姿勢から、現在位置及び現在姿勢Cに先立つ位置算出装置30の経路Rが得られる。なお、3次元特徴点群の変位に基づく自位置及び自姿勢の変位の算出については、SLAM(Simultaneous Localization and Mapping)法やSfM(Structure from Motion)法など既知の手法を用いるものとする。また、VSLAM(Visual SLAM)法を用いて、カメラ36により撮像された撮像画像に基づいて位置算出装置30の位置及び姿勢の変位を算出するようにしても良い。 Here, the update of the current position and the current posture will be described. The parameter update unit 302 calculates the displacement of the position and posture of the position calculation device 30 based on the displacement of the three-dimensional feature point group before and after the time series, and calculates this displacement as the initial position and the initial posture or the position and the previously updated position. The current position and the current posture of the position calculation device 30 are sequentially updated by integrating with the posture. By updating the current position and the current posture in this way, as shown in FIG. 9, the path R of the position calculation device 30 prior to the current position and the current posture C is obtained from the series of positions and postures obtained in the time series. Be done. For the calculation of the displacement of the self-position and the self-posture based on the displacement of the three-dimensional feature point group, a known method such as the SLAM (Simultaneus Localization and Mapping) method or the SfM (Structure from Motion) method shall be used. Further, the displacement of the position and the posture of the position calculation device 30 may be calculated based on the image captured by the camera 36 by using the VSLAM (Visual SLAM) method.

現在位置及び現在姿勢の更新後、付加処理部303は、タッチパネル34を介して所定箇所にコンテンツを付加する付加指示がなされたか否かを判定する(S108)。 After updating the current position and the current posture, the addition processing unit 303 determines whether or not an addition instruction for adding the content to a predetermined position has been given via the touch panel 34 (S108).

付加指示がなされた場合(S108,YES)、付加処理部303は、後述するコンテンツ付加処理を実行する(S109)。次に、付加処理部303は、タッチパネル34を介して、コンテンツの付加に係る処理を終了する終了指示がなされたか否かを判定する(S110)。 When the addition instruction is given (S108, YES), the addition processing unit 303 executes the content addition process described later (S109). Next, the addition processing unit 303 determines whether or not an end instruction for terminating the processing related to the addition of the content has been given via the touch panel 34 (S110).

終了指示がなされた場合(S110,YES)、コンテンツの付加に係る処理が終了される。 When the end instruction is given (S110, YES), the process related to the addition of the content is terminated.

一方、終了指示がなされない場合(S110,NO)、位置送信部307が更新された位置算出装置30の位置をサーバ装置10へ送信する(S106)。 On the other hand, when the end instruction is not given (S110, NO), the position transmission unit 307 transmits the updated position of the position calculation device 30 to the server device 10 (S106).

また、ステップS108において、付加指示がなされなかった場合(S108,NO)、位置送信部307が更新された位置算出装置30の位置をサーバ装置10へ送信する(S106)。 If no additional instruction is given in step S108 (S108, NO), the position transmission unit 307 transmits the updated position of the position calculation device 30 to the server device 10 (S106).

また、ステップS104において、認証が拒否された場合(S104,NO)、コンテンツの付加に係る処理が終了される。 If the authentication is rejected in step S104 (S104, NO), the process related to the addition of the content is terminated.

また、ステップS101において、マーカーが認識されない場合(S101,NO)、パラメータ算出部301は、再度、カメラ36による撮像画像において、マーカーが認識されたか否かを判定する(S101)。 If the marker is not recognized in step S101 (S101, NO), the parameter calculation unit 301 again determines whether or not the marker is recognized in the image captured by the camera 36 (S101).

(コンテンツ付加処理)
コンテンツ付加処理について説明する。図10は、コンテンツ付加処理の動作を示すフローチャートである。図11は、コンテンツ付加位置と仮想オブジェクトとを示す概略図である。
(Content addition processing)
The content addition process will be described. FIG. 10 is a flowchart showing the operation of the content addition process. FIG. 11 is a schematic view showing the content addition position and the virtual object.

図10に示すように、付加処理部303は、タッチパネル34を介して、コンテンツの付加位置が指定されたか否かを判定する(S201)。ここで、付加位置の指定は、タッチパネル34に表示されたカメラ36による撮像画像上をタップすることによりなされるものとする。 As shown in FIG. 10, the addition processing unit 303 determines whether or not the addition position of the content is specified via the touch panel 34 (S201). Here, the additional position is specified by tapping on the image captured by the camera 36 displayed on the touch panel 34.

コンテンツの付加位置が指定された場合(S201,YES)、付加処理部303は、撮像画像上の指定箇所に対応する壁部または設備上の所定箇所について、深度センサ37により検出された位置算出装置30との離間距離を取得し(S202)、この離間距離と位置算出装置30の現在位置及び現在姿勢とに基づいて、付加位置を算出する(S203)。 When the additional position of the content is specified (S201, YES), the additional processing unit 303 is a position calculation device detected by the depth sensor 37 with respect to a predetermined location on the wall or equipment corresponding to the designated location on the captured image. The separation distance from 30 is acquired (S202), and the additional position is calculated based on the separation distance and the current position and current posture of the position calculation device 30 (S203).

ここで、付加位置の座標の算出について説明する。図11に示すように、作業現場における設備Fについて、まず、所定箇所にコンテンツが付加される場合、タッチパネル34においてカメラ36による撮像画像として表示される設備F上の撮像範囲Pにおいて、所望の位置がタッチパネル34に対するタップにより指定される。付加処理部303は、タッチパネル34上の指定箇所に対応する設備F上の指定箇所Aと深度センサ37により検出される位置算出装置30との離間距離Dを取得し、この離間距離Dとこの際の位置算出装置30の位置及び姿勢とに基づいて、マーカーを原点とする座標系における指定箇所Aの位置座標を算出する。 Here, the calculation of the coordinates of the additional position will be described. As shown in FIG. 11, regarding the equipment F at the work site, first, when content is added to a predetermined location, a desired position in the imaging range P on the equipment F displayed as an image captured by the camera 36 on the touch panel 34. Is specified by tapping on the touch panel 34. The additional processing unit 303 acquires the separation distance D between the designated location A on the equipment F corresponding to the designated location on the touch panel 34 and the position calculation device 30 detected by the depth sensor 37, and the separation distance D and the separation distance D at this time. Based on the position and orientation of the position calculation device 30, the position coordinates of the designated position A in the coordinate system with the marker as the origin are calculated.

指定箇所Aの位置座標にコンテンツが付加されると、この指定箇所Aが撮像範囲Pに含まれるようにカメラ36により撮像した際、タッチパネル34において撮像画像に指定箇所Aを示す仮想オブジェクトVが重畳されて表示される。ここで仮想オブジェクトVは、指定箇所Aを指し示す矢印上の3次元モデルまたは画像により表現され、この3次元モデルまたは画像は、その指し示す方向が、指定箇所Aとコンテンツを付加した際の位置算出装置30の位置Cとを結ぶ線分の延在方向を向くようになっている。 When content is added to the position coordinates of the designated location A, when the camera 36 takes an image so that the designated location A is included in the imaging range P, the virtual object V indicating the designated location A is superimposed on the captured image on the touch panel 34. Is displayed. Here, the virtual object V is represented by a three-dimensional model or image on an arrow pointing to the designated location A, and the three-dimensional model or image is a position calculation device when the pointing direction adds the designated location A and the content. It faces the extending direction of the line segment connecting the position C of 30.

このように付加位置Aの座標が算出された後、付加処理部303は、この付加位置の座標と、この座標を指し示す仮想オブジェクトVの向きと、コンテンツとを、付加コンテンツとしてサーバ装置10へ送信する(S204)。 After the coordinates of the additional position A are calculated in this way, the additional processing unit 303 transmits the coordinates of the additional position, the direction of the virtual object V pointing to the coordinates, and the content to the server device 10 as additional content. (S204).

また、ステップS201において、コンテンツの付加位置が指定されない場合(S201,NO)、付加処理部303は、再度、タッチパネル34を介して、コンテンツの付加位置が指定されたか否かを判定する(S201)。 If the content addition position is not specified in step S201 (S201, NO), the addition processing unit 303 again determines whether or not the content addition position is specified via the touch panel 34 (S201). ..

このように、マーカー位置を原点とした座標における自位置を算出することによって、地下にある建屋のようなGNSS信号の利用が困難な場所においても他の装置と同様の基準において自位置を得ることができる。 In this way, by calculating the self-position at the coordinates with the marker position as the origin, the self-position can be obtained by the same standard as other devices even in a place where it is difficult to use the GNSS signal such as an underground building. Can be done.

(サーバ装置の動作)
図12は、コンテンツの付加に係るサーバ装置の全体動作を示すフローチャートである。なお、図12は、所定の1ユーザを対象とした場合の動作を示すものとする。
(Operation of server device)
FIG. 12 is a flowchart showing the overall operation of the server device related to the addition of contents. Note that FIG. 12 is intended to show an operation when a predetermined one user is targeted.

図12に示すように、ユーザ情報管理部101は、位置算出装置30からユーザ情報を受信したか否かを判定する(S301)。 As shown in FIG. 12, the user information management unit 101 determines whether or not the user information has been received from the position calculation device 30 (S301).

ユーザ情報を受信した場合(S301,YES)、ユーザ認証部102は、ユーザ情報に含まれるユーザIDにより示されるユーザが正当なユーザであるかを判定する(S302)。ここで、ユーザ認証部102は、ユーザ情報管理部101において、認証対象とするユーザIDに対応付けられた認証情報と、受信されたユーザ情報に含まれる認証情報との比較により認証を行い、これらの一致を以ってユーザを正当と判定する。 When the user information is received (S301, YES), the user authentication unit 102 determines whether the user indicated by the user ID included in the user information is a legitimate user (S302). Here, the user authentication unit 102 authenticates in the user information management unit 101 by comparing the authentication information associated with the user ID to be authenticated with the authentication information included in the received user information. The user is judged to be valid based on the match of.

ユーザが正当なユーザである場合(S302,YES)、コンテンツ情報送信部105は、コンテンツ情報管理部104に管理されるコンテンツ情報のうち、対象とするユーザにより取得可能とされた全てのコンテンツ情報を位置算出装置30へ送信する(S303)。 When the user is a legitimate user (S302, YES), the content information transmission unit 105 collects all the content information that can be acquired by the target user among the content information managed by the content information management unit 104. It is transmitted to the position calculation device 30 (S303).

次に、位置受信部106は、位置算出装置30より送信された現在位置を受信したか否かを判定する(S304)。 Next, the position receiving unit 106 determines whether or not the current position transmitted from the position calculating device 30 has been received (S304).

現在位置を受信した場合(S304,YES)、経路管理部107が、経路IDと現在位置及びこれに付された算出または更新時刻とを対応付けて記録し(S305)、付加コンテンツ受信部103が位置算出装置30より付加コンテンツを受信したか否かを判定する(S306)。 When the current position is received (S304, YES), the route management unit 107 records the route ID in association with the current position and the calculation or update time attached to the current position (S305), and the additional content receiving unit 103 records the current position in association with each other (S305). It is determined whether or not the additional content is received from the position calculation device 30 (S306).

付加コンテンツを受信した場合(S306,YES)、コンテンツ情報管理部104が、付加コンテンツ受信部103により受信された付加コンテンツにコンテンツIDを付して記録し、コンテンツ情報として管理し(S307)、位置受信部106が、再度、位置算出装置30より送信された現在位置を受信したか否かを判定する(S304)。なお、コンテンツ情報は、このコンテンツを付加したユーザが使用する位置算出装置30または管理者端末20により、閲覧制限の可否、閲覧を許可するユーザIDを設定可能となっている。 When the additional content is received (S306, YES), the content information management unit 104 records the additional content received by the additional content receiving unit 103 with a content ID, manages it as content information (S307), and positions the position. The receiving unit 106 again determines whether or not the current position transmitted from the position calculating device 30 has been received (S304). For the content information, the position calculation device 30 or the administrator terminal 20 used by the user to which the content is added can set whether or not the viewing is restricted and the user ID that permits the viewing.

一方、付加コンテンツを受信しない場合(S306,NO)、位置受信部106が、再度、位置算出装置30より送信された現在位置を受信したか否かを判定する(S304)。 On the other hand, when the additional content is not received (S306, NO), the position receiving unit 106 determines again whether or not the current position transmitted from the position calculating device 30 has been received (S304).

また、ステップS304において、現在位置を受信しない場合(S304,NO)、位置受信部106が、再度、位置算出装置30より送信された現在位置を受信したか否かを判定する(S304)。 Further, in step S304, when the current position is not received (S304, NO), it is determined whether or not the position receiving unit 106 has received the current position transmitted from the position calculation device 30 again (S304).

また、ステップS302において、ユーザが正当なユーザではない場合(S302,NO)、ユーザ情報管理部101は、再度、位置算出装置30からユーザ情報を受信したか否かを判定する(S301)。 Further, in step S302, if the user is not a legitimate user (S302, NO), the user information management unit 101 again determines whether or not the user information has been received from the position calculation device 30 (S301).

また、ステップS301において、ユーザ情報を受信しない場合(S301,NO)、ユーザ情報管理部101は、再度、位置算出装置30からユーザ情報を受信したか否かを判定する(S301)。 If the user information is not received in step S301 (S301, NO), the user information management unit 101 again determines whether or not the user information has been received from the position calculation device 30 (S301).

(付加コンテンツの重畳表示)
付加コンテンツの重畳表示について説明する。図13は、撮像画像に対して重畳表示された付加コンテンツを示す概略図である。図14は、カテゴリと対応付けられた付加コンテンツを示す概略図である。
(Overlapping display of additional content)
The superimposed display of the additional content will be described. FIG. 13 is a schematic view showing additional content superimposed and displayed on the captured image. FIG. 14 is a schematic view showing additional content associated with a category.

図13に示すように、位置算出装置30のタッチパネル34には、付加コンテンツV1,V2が、カメラ36による撮像画像に重畳表示される。これらの付加コンテンツV1,V2は、タッチパネル34に表示された仮想オブジェクトVをタップすることで表示される。ここで、付加コンテンツV1,V2は、それぞれ、作業手順、注意事項を示すテキストである。 As shown in FIG. 13, the additional contents V1 and V2 are superimposed and displayed on the image captured by the camera 36 on the touch panel 34 of the position calculation device 30. These additional contents V1 and V2 are displayed by tapping the virtual object V displayed on the touch panel 34. Here, the additional contents V1 and V2 are texts indicating work procedures and precautions, respectively.

このように、マーカー位置を原点とした座標に位置付けられたコンテンツを複数の装置により共有可能とすることによって、GNSS信号を利用することなく、特定の位置に対応付けられたコンテンツを複数の装置間で共有して閲覧する、所謂ロケーションベースARを達成することができる。 In this way, by making it possible for a plurality of devices to share the content positioned at the coordinates with the marker position as the origin, the content associated with a specific position can be shared between the plurality of devices without using the GNSS signal. It is possible to achieve a so-called location-based AR that is shared and browsed by.

また、図14に示すように、付加コンテンツと付加コンテンツの内容に応じて分類されたカテゴリとを対応付け、付加コンテンツを分類しても良い。図14においては、作業現場内の3つの設備のそれぞれにコンテンツが付加コンテンツV3〜V5として付加されている。ここで、付加コンテンツV3は、そのカテゴリがノウハウや慣例を含む「伝承」に設定されており、扉の開け方を説明するテキストを含む。また、付加コンテンツV4は、そのカテゴリが期限を設定された他の作業者への要求である「即時対応要求」に設定されており、盤の扉が施錠されていなかった原因の説明と今後の対策を要求するテキストを含む。また、付加コンテンツV5は、そのカテゴリが他の作業者へ注意を催す「警告」に設定されており、液晶パネルにドット抜けが発生しているため、状態の更なる悪化を確認することを催すテキストを含む Further, as shown in FIG. 14, the additional content may be classified by associating the additional content with the categories classified according to the content of the additional content. In FIG. 14, contents are added as additional contents V3 to V5 to each of the three facilities in the work site. Here, the category of the additional content V3 is set to "tradition" including know-how and customs, and includes a text explaining how to open the door. In addition, the additional content V4 has its category set to "immediate response request", which is a request to other workers whose deadline has been set, and explains the reason why the door of the board was not locked and the future. Includes text requesting action. In addition, the category of the additional content V5 is set to "warning" to warn other workers, and since the liquid crystal panel has missing dots, it is necessary to confirm the further deterioration of the state. Includes text

このように、付加コンテンツをカテゴリと対応付けることによって、例えば、作業現場において付加コンテンツが多数あるような場合において、所定のカテゴリが設定された付加コンテンツのみを表示することが可能となり、作業者の目的に応じた付加コンテンツを容易に見出すことができる。 By associating the additional content with the category in this way, for example, when there are a large number of additional contents at the work site, it is possible to display only the additional contents for which a predetermined category is set, and the purpose of the worker. It is possible to easily find additional content according to the above.

<第2の実施形態>
第2の実施形態に係るコンテンツ付加システムについて説明する。図15は、本実施形態に係るコンテンツ付加システムが運用される製造工場を示す概略平面図である。図16、図17は、それぞれ、建物における一方、他方の付加コンテンツの出力を示す概略図である。
<Second embodiment>
The content addition system according to the second embodiment will be described. FIG. 15 is a schematic plan view showing a manufacturing factory in which the content addition system according to the present embodiment is operated. 16 and 17 are schematic views showing the output of one additional content in the building, respectively.

本実施形態に係るコンテンツ付加システム1は、位置算出装置30が音声を出力するスピーカ(不図示)を更に備える点と、マーカーとして所定の対象物を用いる点と、運用される環境と提示されるコンテンツの種類とが第1の実施形態とは異なる。以下、第1の実施形態と異なる点のみについて説明する。 The content addition system 1 according to the present embodiment is presented with a point that the position calculation device 30 further includes a speaker (not shown) that outputs sound, a point that a predetermined object is used as a marker, and an operating environment. The type of content is different from the first embodiment. Hereinafter, only the points different from the first embodiment will be described.

本実施形態において、コンテンツ付加システム1は、図15に示すような、建物や設備を複数有する製造工場として敷地全体において運用される。この敷地内には、3つの工場と3つの設備とがあり、第1の実施形態における作業現場と同様に、位置算出装置30をそれぞれ有した作業者が従事しているものとする。また、敷地内部と敷地外部とは壁などによって隔てられ、作業者は、門を介して敷地内部に出入りすることができる。 In the present embodiment, the content addition system 1 is operated in the entire site as a manufacturing factory having a plurality of buildings and equipment as shown in FIG. It is assumed that there are three factories and three facilities in this site, and a worker having a position calculation device 30 is engaged as in the work site in the first embodiment. In addition, the inside of the site and the outside of the site are separated by a wall or the like, and workers can enter and exit the inside of the site through a gate.

本実施形態においては、貼着された二次元画像の代わりに門がマーカーとして用いられる。具体的には、敷地外側からカメラ36により撮像された門が、パラメータ算出部301によりマーカーとして認識される。ここで、パラメータ算出部301は、真正面から撮像された門の形状及び大きさを示すマーカー情報に基づいて、マーカーとしての門の大きさ及び形状から、門に対する位置算出装置30の相対位置及び相対姿勢を算出し、この相対位置及び相対姿勢から門を原点とした3軸上の位置算出装置30の位置及び、これら3軸に平行する回転軸周りの位置算出装置30の回転を算出することによって、位置算出装置30の初期位置及び初期姿勢を算出する。本実施形態において、門の中心点を原点Oとし、第1の実施形態と同様に、カメラ36におけるイメージセンサの中心点を回転軸の原点Iとする。 In this embodiment, a gate is used as a marker instead of the attached two-dimensional image. Specifically, the gate imaged by the camera 36 from the outside of the site is recognized as a marker by the parameter calculation unit 301. Here, the parameter calculation unit 301 is based on the marker information indicating the shape and size of the gate imaged from the front, and the relative position and relative position of the position calculation device 30 with respect to the gate from the size and shape of the gate as a marker. By calculating the posture, the position of the position calculation device 30 on the three axes with the gate as the origin and the rotation of the position calculation device 30 around the rotation axis parallel to these three axes are calculated from the relative position and the relative posture. , The initial position and the initial posture of the position calculation device 30 are calculated. In the present embodiment, the center point of the gate is set as the origin O, and the center point of the image sensor in the camera 36 is set as the origin I of the rotation axis as in the first embodiment.

このように、本実施形態に係るコンテンツ付加システム1によれば、門のような所定の対象物を、位置算出装置30の位置及び仮想オブジェクトの位置を示す座標の原点として機能させることができる。このマーカーとして用いる対象物は、位置算出装置30との位置関係を推定するのに適したものであれば、どのような物体であっても良い。 As described above, according to the content addition system 1 according to the present embodiment, a predetermined object such as a gate can function as the origin of the coordinates indicating the position of the position calculation device 30 and the position of the virtual object. The object used as this marker may be any object as long as it is suitable for estimating the positional relationship with the position calculation device 30.

パラメータ更新部302は、撮像された門に基づいて算出された初期位置及び初期姿勢を起点とする点のみが第1の実施形態とは異なり、位置算出装置30の位置及び姿勢の変位をフレーム毎に算出し、初期位置及び初期姿勢を起点とした位置算出装置30の現在位置及び現在姿勢Cを逐次更新する点については第1の実施形態と同様である。 The parameter update unit 302 differs from the first embodiment only in the initial position calculated based on the imaged gate and the point starting from the initial posture, and changes the position and posture of the position calculation device 30 for each frame. The current position and the current posture C of the position calculation device 30 starting from the initial position and the initial posture are sequentially updated in the same manner as in the first embodiment.

付加処理部303によるコンテンツの付加方法は、第1の実施形態と同様であるが、テキストと音声が指定箇所に付加される点が第1の実施形態とは異なる。図15に示すように、敷地内における建物B1には、2つのコンテンツが付加され、図16及び図17に示すように、これらのコンテンツの付加位置が仮想オブジェクトV6,V7として、位置算出装置30のタッチパネル34に表示される。ここで、仮想オブジェクトV6により示されるコンテンツは建物B1における一方の出入口近傍に付加され、仮想オブジェクトV7により示されるコンテンツは建物B1における他方の出入口近傍に付加される。 The method of adding the content by the addition processing unit 303 is the same as that of the first embodiment, but is different from the first embodiment in that the text and the voice are added to the designated portion. As shown in FIG. 15, two contents are added to the building B1 in the site, and as shown in FIGS. 16 and 17, the added positions of these contents are virtual objects V6 and V7, and the position calculation device 30 It is displayed on the touch panel 34 of. Here, the content indicated by the virtual object V6 is added to the vicinity of one entrance / exit in the building B1, and the content indicated by the virtual object V7 is added to the vicinity of the other entrance / exit in the building B1.

図16に示すように、タッチパネル34に表示される仮想オブジェクトV6がタップされると、仮想オブジェクトV6近傍のドアから建物B1内に立ち入ることが可能である旨のメッセージを含むコンテンツが位置算出装置30を有する作業者に提示される。ここで、このコンテンツは、テキストTXT1、音声SND1、画像IMG1を含み、作業者に提示される際、位置算出装置30の表示部304が、テキストTXT1及び画像IMG1をカメラ36による撮像画像に重畳してタッチパネル34に表示し、音声SND1をスピーカに出力させる。 As shown in FIG. 16, when the virtual object V6 displayed on the touch panel 34 is tapped, the content including the message that it is possible to enter the building B1 from the door in the vicinity of the virtual object V6 is displayed in the position calculation device 30. It is presented to the worker who has. Here, this content includes the text TXT1, the voice SND1, and the image IMG1, and when presented to the operator, the display unit 304 of the position calculation device 30 superimposes the text TXT1 and the image IMG1 on the image captured by the camera 36. Is displayed on the touch panel 34, and the voice SND1 is output to the speaker.

また、図17に示すように、タッチパネル34に表示される仮想オブジェクトV7がタップされると、仮想オブジェクトV7近傍のドアから建物B1内に立ち入ることを禁じる旨のメッセージを含むコンテンツが位置算出装置30を有する作業者に提示される。ここで、このコンテンツは、テキストTXT2、音声SND2、画像IMG2を含み、作業者に提示される際、表示部304がテキストTXT2及び画像IMG2の表示と、音声SND2の出力を行う。 Further, as shown in FIG. 17, when the virtual object V7 displayed on the touch panel 34 is tapped, the content including a message for prohibiting entry into the building B1 from the door in the vicinity of the virtual object V7 is included in the position calculation device 30. It is presented to the worker who has. Here, this content includes the text TXT2, the voice SND2, and the image IMG2, and when presented to the operator, the display unit 304 displays the text TXT2 and the image IMG2 and outputs the voice SND2.

このように、本実施形態に係るコンテンツ付加システム1は、屋外で運用され、音声がコンテンツとして付加される。なお、出力される音声は、コンテンツとして予め付加されたものに限らず、例えば、音声合成によってコンテンツに含まれるテキストが読み上げられたものであっても良い。 As described above, the content addition system 1 according to the present embodiment is operated outdoors, and audio is added as content. The output voice is not limited to the one added in advance as the content, and may be, for example, the text included in the content read aloud by voice synthesis.

<第3の実施形態>
第3の実施形態に係るコンテンツ付加システムについて説明する。図18は、本実施形態に係るコンテンツ付加システムが運用される観光地を示す概略平面図である。図19は、モニュメントにおける付加コンテンツの出力を示す概略図である。
<Third embodiment>
The content addition system according to the third embodiment will be described. FIG. 18 is a schematic plan view showing a tourist spot where the content addition system according to the present embodiment is operated. FIG. 19 is a schematic diagram showing the output of additional content in the monument.

本実施形態に係るコンテンツ付加システム1は、運用される環境のみが第2の実施形態とは異なり、図18に示すような、観光資源としての建物やモニュメントを有する観光地において運用される。この観光地には、3つの建物と2つのモニュメントとがあり、位置算出装置30をそれぞれ有した観光客が訪れているものとする。また、観光地における所定位置、例えば、観光地において、最寄りにあるバス停や駅から近接する位置には、観光地を案内する標識があり、本実施形態においては、この標識がマーカーとして用いられる。なお、この標識に基づく原点Oの算出については、第2の実施形態と同様であるため、その説明を省略する。また、本実施形態においては、第1及び第2の実施形態と同様に、カメラ36におけるイメージセンサの中心点を回転軸の原点Iとする。 The content addition system 1 according to the present embodiment is different from the second embodiment only in the operating environment, and is operated in a tourist resort having a building or a monument as a tourist resource as shown in FIG. It is assumed that there are three buildings and two monuments in this tourist spot, and tourists who each have a position calculation device 30 are visiting. In addition, there is a sign that guides the tourist spot at a predetermined position in the tourist spot, for example, at a position close to the nearest bus stop or station in the tourist spot, and this sign is used as a marker in the present embodiment. Since the calculation of the origin O based on this sign is the same as that of the second embodiment, the description thereof will be omitted. Further, in the present embodiment, as in the first and second embodiments, the center point of the image sensor in the camera 36 is set as the origin I of the rotation axis.

観光地におけるモニュメントM1には、2つのコンテンツが付加される。図19に示すように、モニュメントM1は、歴史的価値を有する仏像であり、2つのコンテンツの付加位置が仮想オブジェクトV8,V9として、位置算出装置30のタッチパネル34に表示される。ここで、仮想オブジェクトV8により示されるコンテンツはモニュメントM1における頭部に付加され、仮想オブジェクトV9により示されるコンテンツはモニュメントM1における胴部に付加される。 Two contents are added to the monument M1 in the tourist spot. As shown in FIG. 19, the monument M1 is a Buddha image having historical value, and the additional positions of the two contents are displayed as virtual objects V8 and V9 on the touch panel 34 of the position calculation device 30. Here, the content represented by the virtual object V8 is added to the head in the monument M1, and the content represented by the virtual object V9 is added to the body in the monument M1.

タッチパネル34に表示される仮想オブジェクトV8がタップされると、モニュメントM1の頭部について解説するメッセージを含むコンテンツが位置算出装置30を有する観光客に提示される。ここで、このコンテンツは、テキストTXT3及び音声SND3を含み、観光客に提示される際、位置算出装置30の表示部304が、テキストTXT3をタッチパネル34に表示し、音声SND3をスピーカに出力させる。 When the virtual object V8 displayed on the touch panel 34 is tapped, content including a message explaining the head of the monument M1 is presented to the tourist having the position calculation device 30. Here, this content includes the text TXT3 and the voice SND3, and when presented to the tourist, the display unit 304 of the position calculation device 30 displays the text TXT3 on the touch panel 34 and causes the voice SND3 to be output to the speaker.

また、タッチパネル34に表示される仮想オブジェクトV9がタップされると、モニュメントM1の胴部について解説するメッセージを含むコンテンツが位置算出装置30を有する観光客に提示される。ここで、このコンテンツは、テキストTXT4、音声SND4を含み、観光客に提示される際、表示部304がテキストTXT4の表示と、音声SND4の出力を行う。 When the virtual object V9 displayed on the touch panel 34 is tapped, content including a message explaining the body of the monument M1 is presented to the tourist having the position calculation device 30. Here, this content includes the text TXT4 and the voice SND4, and when presented to the tourist, the display unit 304 displays the text TXT4 and outputs the voice SND4.

本実施形態に示したように、コンテンツ付加システム1は、作業者が従事する場所に限らず、観光地のような環境においても運用可能である。 As shown in this embodiment, the content addition system 1 can be operated not only in a place where a worker engages but also in an environment such as a tourist spot.

本実施の形態において、位置算出プログラムは上述した位置算出装置の内部に予めインストールされているものとして記載したが、本発明における位置算出プログラムは記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ、磁気ディスク(ハードディスクドライブ等)、光ディスク(CD−ROM、DVDディスク等)、光磁気ディスク(MO等)、フラッシュメモリ等、位置算出装置に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した位置算出装置としてのコンピュータで読み取りや実行が可能な全ての媒体をいう。 In the present embodiment, the position calculation program is described as being pre-installed inside the above-mentioned position calculation device, but the position calculation program in the present invention also includes a program stored in a storage medium. Here, the storage medium is a medium that can be attached to and detached from a position calculation device, such as a magnetic tape, a magnetic disk (hard disk drive, etc.), an optical disk (CD-ROM, DVD disk, etc.), an optical magnetic disk (MO, etc.), and a flash memory. Also, all media that can be read and executed by a computer as the above-mentioned position calculation device, such as a medium that can be transmitted via a network.

発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments of the invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

30 位置算出装置
36 カメラ(撮像装置)
37 深度センサ
301 パラメータ算出部
302 パラメータ更新部
30 Position calculation device 36 Camera (imaging device)
37 Depth sensor 301 Parameter calculation unit 302 Parameter update unit

Claims (2)

サーバ装置とネットワークにより接続可能であり、自位置を算出する位置算出装置であって、
所定箇所に配されたマーカーを撮像する撮像装置と、
前記撮像された撮像画像におけるマーカーの大きさ及び形状に基づいて、前記マーカーの位置を原点とした前記位置算出装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記位置算出装置の周囲の物体の3次元特徴点群を所定の時間毎に検出する深度センサと、
時系列において前後する3次元特徴点群間の変位に基づいて、前記位置算出装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記位置算出装置の位置及び姿勢を更新するパラメータ更新部と、
前記撮像装置により撮像された撮像画像を表示する表示部と、
前記表示された撮像画像において指定された指定箇所と前記位置算出装置との離間距離を前記深度センサにより取得し、該離間距離と前記位置算出装置の位置及び姿勢とに基づいて前記マーカーの位置を原点とした前記指定箇所の位置を算出し、該指定箇所の位置に対して該指定箇所に付加される所定のコンテンツを付加コンテンツとして対応付けるともに、前記指定箇所と前記位置算出装置の位置とを結ぶ線分の延在方向を向く仮想オブジェクトとを対応付け、前記付加コンテンツと該付加コンテンツの指定箇所に対応付けた仮想オブジェクトの向きとを前記サーバ装置に送信する付加処理部と
を備える位置算出装置。
It is a position calculation device that can be connected to the server device via a network and calculates its own position.
An imaging device that captures images of markers placed at predetermined locations,
A parameter calculation unit that calculates the initial position and initial posture of the position calculation device with the position of the marker as the origin based on the size and shape of the marker in the captured image.
A depth sensor that detects a group of three-dimensional feature points of an object around the position calculation device at predetermined time intervals, and
Based on the displacement between the three-dimensional feature point groups that move back and forth in the time series, the displacement of the position and posture of the position calculation device is calculated, and the position and posture of the position calculation device starting from the initial position and the initial posture. Parameter update part to update, and
A display unit that displays an image captured by the image pickup device, and a display unit.
The distance between the designated location designated in the displayed captured image and the position calculation device is acquired by the depth sensor, and the position of the marker is determined based on the distance and the position and orientation of the position calculation device. The position of the designated location as the origin is calculated, the predetermined content added to the designated location is associated with the position of the designated location as additional content, and the designated location and the position of the position calculation device are connected. A position calculation device including an additional processing unit that associates a virtual object that faces the extending direction of a line segment and transmits the additional content and the direction of the virtual object associated with a designated portion of the additional content to the server device. ..
自位置を算出する位置算出装置と該位置算出装置とネットワークにより接続可能なサーバ装置とを備えるコンテンツ付加システムであって、
前記位置算出装置は、
所定箇所に配されたマーカーを撮像する撮像装置と、
前記撮像された撮像画像におけるマーカーの大きさ及び形状に基づいて、前記マーカーの位置を原点とした前記位置算出装置の初期位置及び初期姿勢を初期パラメータとして算出するパラメータ算出部と、
前記位置算出装置の周囲の物体の3次元特徴点群を所定の時間毎に検出する深度センサと、
時系列において前後する3次元特徴点群間の変位に基づいて、前記位置算出装置の位置及び姿勢の変位を算出し、前記初期位置及び前記初期姿勢を起点とした前記位置算出装置の位置及び姿勢を更新するパラメータ更新部と、
前記撮像装置により撮像された撮像画像を表示する表示部と、
前記表示された撮像画像において指定された指定箇所と前記位置算出装置との離間距離を前記深度センサにより取得し、該離間距離と前記位置算出装置の位置及び姿勢とに基づいて前記マーカーの位置を原点とした前記指定箇所の位置を算出し、該指定箇所の位置と該指定箇所に付加される所定のコンテンツとを対応付けた付加コンテンツを前記サーバ装置に送信するとともに、前記指定箇所と対応付けられた仮想オブジェクトの向きとして前記指定箇所と前記位置算出装置の位置とを結ぶ線分の延在方向を前記サーバ装置に送信する付加処理部とを備え、
前記サーバ装置は、
前記位置算出装置により送信された付加コンテンツ及び仮想オブジェクトの向きを受信する受信部と、
受信された付加コンテンツ及び仮想オブジェクトの向きをコンテンツ情報として管理するコンテンツ情報管理部とを備えることを特徴とするコンテンツ付加システム。
It is a content addition system including a position calculation device that calculates its own position, the position calculation device, and a server device that can be connected via a network.
The position calculation device is
An imaging device that captures images of markers placed at predetermined locations,
A parameter calculation unit that calculates the initial position and initial posture of the position calculation device with the position of the marker as the origin based on the size and shape of the marker in the captured image.
A depth sensor that detects a group of three-dimensional feature points of an object around the position calculation device at predetermined time intervals, and
Based on the displacement between the three-dimensional feature point groups that move back and forth in the time series, the displacement of the position and posture of the position calculation device is calculated, and the position and posture of the position calculation device starting from the initial position and the initial posture. Parameter update part to update, and
A display unit that displays an image captured by the image pickup device, and a display unit.
The distance between the designated location designated in the displayed captured image and the position calculation device is acquired by the depth sensor, and the position of the marker is determined based on the distance and the position and orientation of the position calculation device. The position of the designated location as the origin is calculated, and additional content in which the position of the designated location is associated with the predetermined content added to the designated location is transmitted to the server device and associated with the designated location. It is provided with an additional processing unit that transmits the extending direction of the line segment connecting the designated position and the position of the position calculation device to the server device as the direction of the virtual object.
The server device
A receiver that receives the orientation of the additional content and virtual object transmitted by the position calculation device, and
A content addition system characterized by including a content information management unit that manages the orientation of received additional content and virtual objects as content information.
JP2018187909A 2018-02-28 2018-10-03 Position calculation device, position calculation program, position calculation method, and content addition system Active JP6896688B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018034509 2018-02-28
JP2018034509 2018-02-28

Publications (2)

Publication Number Publication Date
JP2019153274A JP2019153274A (en) 2019-09-12
JP6896688B2 true JP6896688B2 (en) 2021-06-30

Family

ID=67946631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018187909A Active JP6896688B2 (en) 2018-02-28 2018-10-03 Position calculation device, position calculation program, position calculation method, and content addition system

Country Status (1)

Country Link
JP (1) JP6896688B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7144796B2 (en) * 2018-02-08 2022-09-30 株式会社バンダイナムコ研究所 Simulation system and program
JP7150894B2 (en) * 2019-10-15 2022-10-11 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド AR scene image processing method and device, electronic device and storage medium
CN110806198A (en) * 2019-10-25 2020-02-18 北京前沿探索深空科技有限公司 Target positioning method and device based on remote sensing image, controller and medium
US20230035962A1 (en) * 2020-01-09 2023-02-02 Maxell, Ltd. Space recognition system, space recognition method and information terminal
JP7467810B2 (en) 2021-05-07 2024-04-16 Kyoto’S 3D Studio株式会社 Mixed reality providing system and method
WO2023010262A1 (en) * 2021-08-03 2023-02-09 广东高驰运动科技有限公司 Underwater environment detection apparatus and method, fishing rod, and storage medium
JP7330323B2 (en) * 2021-10-18 2023-08-21 東芝デジタルソリューションズ株式会社 CONTENT DISPLAY DEVICE, CONTENT DISPLAY PROGRAM, CONTENT DISPLAY METHOD, AND CONTENT DISPLAY SYSTEM
WO2023067836A1 (en) * 2021-10-18 2023-04-27 東芝デジタルソリューションズ株式会社 Content display device, content display program, content display method, and content display system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164697A (en) * 2012-02-10 2013-08-22 Sony Corp Image processing device, image processing method, program and image processing system
JP2014203194A (en) * 2013-04-03 2014-10-27 キヤノン株式会社 Virtual object display control apparatus, virtual object display control method, and program
JP6500355B2 (en) * 2014-06-20 2019-04-17 富士通株式会社 Display device, display program, and display method
JPWO2017134886A1 (en) * 2016-02-02 2018-11-22 ソニー株式会社 Information processing apparatus, information processing method, and recording medium
JP6701930B2 (en) * 2016-04-28 2020-05-27 富士通株式会社 Authoring device, authoring method, and authoring program

Also Published As

Publication number Publication date
JP2019153274A (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP6896688B2 (en) Position calculation device, position calculation program, position calculation method, and content addition system
US11120628B2 (en) Systems and methods for augmented reality representations of networks
US20190272676A1 (en) Local positioning system for augmented reality applications
US20170230633A1 (en) Method and apparatus for generating projection image, method for mapping between image pixel and depth value
EP0867690A1 (en) Device and system for labeling sight images
JP3225882B2 (en) Landscape labeling system
US10890447B2 (en) Device, system and method for displaying measurement gaps
US11395102B2 (en) Field cooperation system and management device
JP2013235367A (en) Flight path display system, method, and program
JP3156646B2 (en) Search-type landscape labeling device and system
JP2000050156A (en) News supporting system
JP3053172B2 (en) Distance reference type landscape labeling device and system
JP3156645B2 (en) Information transmission type landscape labeling device and system
US20220180592A1 (en) Collaborative Augmented Reality Measurement Systems and Methods
JP3114862B2 (en) An interactive landscape labeling system
KR102202705B1 (en) Method for determining a position and/or orientation of a sensor
CN112558008B (en) Navigation method, system, equipment and medium based on optical communication device
JP3053169B2 (en) Communication device and system using landscape label
JP3156649B2 (en) Deformable label landscape labeling device and system
KR20160099932A (en) Image mapping system of a closed circuit television based on the three dimensional map
WO2022121606A1 (en) Method and system for obtaining identification information of device or user thereof in scenario
JPH1132250A (en) Verbal guiding type sight labeling device and system
JP2022155553A (en) Business management support device, business management support system, business management support method, and business management support program
JP2020123078A (en) Lot number information providing system and lot number information providing method
JPH1166354A (en) Disaster preventing scene labeling device and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181003

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20181030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210121

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210121

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210201

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210609

R150 Certificate of patent or registration of utility model

Ref document number: 6896688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150