JP6849582B2 - AR information provision system and information processing equipment - Google Patents

AR information provision system and information processing equipment Download PDF

Info

Publication number
JP6849582B2
JP6849582B2 JP2017241437A JP2017241437A JP6849582B2 JP 6849582 B2 JP6849582 B2 JP 6849582B2 JP 2017241437 A JP2017241437 A JP 2017241437A JP 2017241437 A JP2017241437 A JP 2017241437A JP 6849582 B2 JP6849582 B2 JP 6849582B2
Authority
JP
Japan
Prior art keywords
information
range
image data
unit
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017241437A
Other languages
Japanese (ja)
Other versions
JP2019109319A (en
JP2019109319A5 (en
Inventor
小坂　忠義
忠義 小坂
貴之 藤原
貴之 藤原
瑛 長坂
瑛 長坂
健太郎 大西
健太郎 大西
克朗 菊地
克朗 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2017241437A priority Critical patent/JP6849582B2/en
Priority to PCT/JP2018/043209 priority patent/WO2019123971A1/en
Publication of JP2019109319A publication Critical patent/JP2019109319A/en
Publication of JP2019109319A5 publication Critical patent/JP2019109319A5/ja
Application granted granted Critical
Publication of JP6849582B2 publication Critical patent/JP6849582B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Description

本発明は、ＡＲ情報提供システム及び情報処理装置に関する。 The present invention relates to an AR information providing system and an information processing device.

特許文献１には、「遠隔通信システムにおいて情報伝達の迅速性を確保する。」、「互いに通信可能な第１端末と第２端末とを含み、第１端末にて撮影される映像が第１端末および第２端末の両方にて表示され、第２端末において、表示されている映像に示される目標位置にマークを描画するための入力操作が行われると、第１端末および第２端末にて表示される映像にて前記目標位置の動きに追随して動くように前記マークが前記目標位置に重畳表示される遠隔通信システムに含まれるマーク処理装置であって、前記第１端末のユーザへ前記マークの存在を通知する必要性の有無を判定し、必要性有と判定した場合、前記マークの存在を前記ユーザへ通知する通知処理を前記第１端末に実行させる判定部を備えた」と記載されている。 Patent Document 1 includes "ensuring the speed of information transmission in a remote communication system" and "a first terminal and a second terminal capable of communicating with each other, and an image taken by the first terminal is first. It is displayed on both the terminal and the second terminal, and when the input operation for drawing the mark at the target position shown in the displayed image is performed on the second terminal, the first terminal and the second terminal perform the input operation. A mark processing device included in a remote communication system in which the mark is superimposed and displayed on the target position so as to follow the movement of the target position in the displayed image, and is described to the user of the first terminal. It is provided with a determination unit that causes the first terminal to execute a notification process for notifying the user of the existence of the mark when it is determined whether or not it is necessary to notify the existence of the mark and it is determined that there is a necessity. " Has been done.

特許文献２には、「指示者が、撮影された現在の画像の範囲外に位置する対象物を、作業員に指示可能とする」、「カメラが撮影した複数の画像から得られる、該カメラの姿勢情報及び該画像の特徴点マップに基づいて、該複数の画像を重ね合わせて３次元パノラマ画像を生成して第１の表示部に表示させ、前記３次元パノラマ画像上でなされた対象物の指定に応じて、前記カメラの現在の姿勢情報に基づいて、指定された該対象物の位置情報を第２の表示部に出力させる処理をコンピュータが行う作業支援方法が提供される」と記載されている。 Patent Document 2 states that "the instructor can instruct the worker on an object located outside the range of the current image taken" and "the camera obtained from a plurality of images taken by the camera". A three-dimensional panoramic image is generated by superimposing the plurality of images based on the posture information of the above and the feature point map of the image and displayed on the first display unit, and the object made on the three-dimensional panoramic image is displayed. In response to the designation of the camera, a work support method is provided in which the computer performs a process of outputting the designated position information of the object to the second display unit based on the current posture information of the camera. " Has been done.

特許文献３には、「マーカや登録オブジェクト画像を用いることなく、一方の端末のカメラに写る映像に対して、他方の端末から画像的に指示する」、「第１の端末が、カメラによる撮影動画像を逐次、第２の端末へ送信する第１のステップと、第２の端末が、受信した撮影動画像をディスプレイに表示し、当該撮影動画像に対する指示静止画像をユーザに書き込ませる第２のステップと、第２の端末が、ユーザに書き込まれた指示静止画像と、当該指示静止画像を含む所定範囲で撮影動画像を静止画像としてトリミングした撮影静止画像とを、第１の端末へ送信する第３のステップと、第１の端末が、カメラによって撮影された撮影動画像と撮影静止画像とをマッチングさせ、一致した部分の撮影動画像に指示静止画像を重畳させてディスプレイに表示する第４のステップとを有する」と記載されている。 Patent Document 3 states that "the image captured by the camera of one terminal is image-instructed from the other terminal without using a marker or a registered object image", and "the first terminal is photographed by the camera". The first step of sequentially transmitting the moving image to the second terminal, and the second, in which the second terminal displays the received shooting moving image on the display and causes the user to write the instruction still image for the shooting moving image. Step, and the second terminal transmits the instruction still image written to the user and the photographed still image obtained by trimming the photographed moving image as a still image in a predetermined range including the instruction still image to the first terminal. The third step is to match the captured moving image captured by the camera with the captured still image, and the first terminal superimposes the indicated still image on the captured moving image of the matching portion and displays it on the display. It has 4 steps. "

特開２０１７−３７４３４号公報Japanese Unexamined Patent Publication No. 2017-37434 特開２０１７−５８７５２号公報JP-A-2017-58752 特開２０１５−１１５７２３号公報Japanese Unexamined Patent Publication No. 2015-115723

昨今、設備の保守運用、製品の製造、流通等の様々な業務分野においてＡＲ（Augmented Reality：拡張現実）技術の応用が進められている。特許文献１〜３には、遠隔地に存
在する熟練者や管理者等の遠隔支援者が操作する端末から、現場作業者が所持する端末に対して作業指示や作業を補助する情報をＡＲオブジェクトとして提供することが記載されている。 Recently, the application of AR (Augmented Reality) technology is being promoted in various business fields such as equipment maintenance and operation, product manufacturing, and distribution. In Patent Documents 1 to 3, AR objects provide information that assists work instructions and work from terminals operated by remote supporters such as skilled workers and managers in remote areas to terminals possessed by field workers. It is stated that it will be provided as.

ここでこのように遠隔に存在する遠隔支援者の端末から現場作業者の端末にＡＲオブジェクトを提供する際は、通信の状態や端末の性能に起因する通信の遅延が問題となる。 Here, when the AR object is provided from the terminal of the remote supporter who exists remotely to the terminal of the field worker in this way, the delay of communication due to the communication state and the performance of the terminal becomes a problem.

例えば、特許文献１，２の構成では、通信遅延により、現場作業者の端末のカメラで撮影され遠隔支援者の端末に送信された映像に基づき作成されたＡＲオブジェクトが現場作業者の端末に送られて表示されるまでの間に現場作業者の端末の位置や方向が変化してしまうことがあり、ＡＲオブジェクトが正しい位置に表示されないことがある。 For example, in the configurations of Patent Documents 1 and 2, due to communication delay, an AR object created based on an image taken by a camera of a field worker's terminal and transmitted to a remote supporter's terminal is sent to the field worker's terminal. The position and orientation of the terminal of the field worker may change before it is displayed, and the AR object may not be displayed in the correct position.

また特許文献３では、管理者から作業者に画像情報を送る必要があるため通信負荷が高く、画像データの圧縮や伸張に起因する遅延が問題となる。また往路と復路の夫々で圧縮処理が繰り返し行われることで画像マッチングの精度が低下してしまうことも問題となる。 Further, in Patent Document 3, since it is necessary to send image information from an administrator to an operator, a communication load is high, and a delay due to compression or decompression of image data becomes a problem. Another problem is that the accuracy of image matching is reduced due to repeated compression processing on each of the outward and return routes.

本発明は、通信の遅延が生じ得る環境でも精度よくＡＲ情報を提供することが可能なＡＲ情報提供システム及び情報処理装置を提供することを目的としている。 An object of the present invention is to provide an AR information providing system and an information processing device capable of accurately providing AR information even in an environment where communication delay may occur.

上記課題を解決するための本発明のうちの一つは、第１情報処理装置と、前記第１情報処理装置と通信可能に接続する第２情報処理装置と、を含んで構成されるＡＲ情報提供システムであって、前記第１情報処理装置は、現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、前記範囲特定情報を前記第２情報処理装置に送信する範囲特定情報送信部と、を備え、前記第２情報処理装置は、前記範囲特定情報を受信する範囲特定情報受信部と、前記範囲特定情報に基づき特定される前記所定範囲の前記所定位置に対応づけて前記ＡＲ情報を設定するＡＲ情報設定部と、設定した前記ＡＲ情報を、前記所定位置を特定する情報である所定位置特定情報とともに前記第１情報処理装置に送信するＡＲ情報送信部と、を備え、前記第１情報処理装置は、前記ＡＲ情報とともに前記所定位置特定情報を受信するＡＲ情報受信部を有し、前記範囲特定情報取得部は、現在の前記範囲特定情報を取得し、前記ＡＲ情報表示部は、受信した前記所定位置特定情報と取得した前記現在の範囲特定情報とに基づき、受信した前記ＡＲ情報の表示位置を特定し、特定した前記表示位置に基づき前記ＡＲ情報の表示を制御する。 One of the present inventions for solving the above problems is AR information including a first information processing device and a second information processing device communicably connected to the first information processing device. In the providing system, the first information processing device displays an AR information display unit that superimposes AR information on a predetermined position of a landscape in an actual predetermined range, and a range specifying information that is information for specifying the predetermined range. The second information processing device includes a range-specific information acquisition unit to be acquired and a range-specific information transmission unit that transmits the range-specific information to the second information processing device, and the second information processing device specifies a range for receiving the range-specific information. The information receiving unit, the AR information setting unit that sets the AR information in association with the predetermined position in the predetermined range specified based on the range specifying information, and the set AR information specify the predetermined position. The first information processing device includes an AR information transmission unit that transmits information to the first information processing device together with predetermined position identification information, and the first information processing device receives the predetermined position identification information together with the AR information. The range identification information acquisition unit acquires the current range identification information, and the AR information display unit receives the information based on the received predetermined position identification information and the acquired current range identification information. The display position of the AR information is specified, and the display of the AR information is controlled based on the specified display position.

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。 In addition, the problems disclosed in the present application and the solutions thereof will be clarified by the column of the form for carrying out the invention and the drawings.

本発明により、通信の遅延が生じ得る環境でも精度よくＡＲ情報を提供することができる。 According to the present invention, AR information can be provided with high accuracy even in an environment where communication delay may occur.

第１実施形態のＡＲ情報提供システムの概略的な構成を示す図である。It is a figure which shows the schematic structure of the AR information provision system of 1st Embodiment. 第１実施形態のＡＲ情報表示装置の主な構成を示す図である。It is a figure which shows the main structure of the AR information display device of 1st Embodiment. 第１実施形態のＡＲ情報表示装置の一例を示す外観図である。It is an external view which shows an example of the AR information display device of 1st Embodiment. 第１実施形態のＡＲ情報提供装置の主な構成を示す図である。It is a figure which shows the main structure of the AR information providing apparatus of 1st Embodiment. 第１実施形態のＡＲ情報提供システムにおいて行われる処理を説明するフローチャートである。It is a flowchart explaining the process performed in the AR information provision system of 1st Embodiment. ＡＲ情報表示部が表示する画面の例である。This is an example of a screen displayed by the AR information display unit. （ａ），（ｂ）は、ＡＲ情報表示部が表示する画面の例である。(A) and (b) are examples of screens displayed by the AR information display unit. 第２実施形態のＡＲ情報表示装置の主な構成を示す図である。It is a figure which shows the main structure of the AR information display device of 2nd Embodiment. 第２実施形態のＡＲ情報提供装置の主な構成を示す図である。It is a figure which shows the main structure of the AR information providing apparatus of 2nd Embodiment. 第２実施形態のＡＲ情報提供システムにおいて行われる処理を説明するフローチャートである。It is a flowchart explaining the process performed in the AR information provision system of 2nd Embodiment. 第３実施形態のＡＲ情報表示装置の主な構成を示す図である。It is a figure which shows the main structure of the AR information display device of 3rd Embodiment. 第３実施形態のＡＲ情報提供装置の主な構成を示す図である。It is a figure which shows the main structure of the AR information providing apparatus of 3rd Embodiment. 第３実施形態のＡＲ情報提供システムにおいて行われる処理を説明するフローチャートである。It is a flowchart explaining the process performed in the AR information provision system of 3rd Embodiment.

以下、実施形態につき適宜図面を参照しつつ説明する。尚、以下の説明において、同一の又は類似する構成に同一の符号を付して重複した説明を省略することがある。また以下の説明において、拡張現実のことをＡＲ（Augmented Reality）と表記することがある。
また以下の説明において、「データベース」のことを「ＤＢ」と、「プログラム」のことを「ＰＧ」と、夫々略記することがある。 Hereinafter, embodiments will be described with reference to the drawings as appropriate. In the following description, the same or similar configurations may be designated by the same reference numerals and duplicated description may be omitted. In the following description, augmented reality may be referred to as AR (Augmented Reality).
Further, in the following description, the "database" may be abbreviated as "DB" and the "program" may be abbreviated as "PG".

［第１実施形態］
図１に第１実施形態として説明するＡＲ情報提供システム１の概略的な構成を示している。ＡＲ情報提供システム１は、ＡＲ情報６（ＡＲオブジェクト）を利用（参照）するＡＲ情報利用者３が装着もしくは携帯するＡＲ情報表示装置１０（第１情報処理装置）と、ＡＲ情報６を提供するＡＲ情報提供者４が操作するＡＲ情報提供装置２０（第２情報処理装置）とを含む。 [First Embodiment]
FIG. 1 shows a schematic configuration of the AR information providing system 1 described as the first embodiment. The AR information providing system 1 provides the AR information display device 10 (first information processing device) worn or carried by the AR information user 3 who uses (references) the AR information 6 (AR object), and the AR information 6. It includes an AR information providing device 20 (second information processing device) operated by the AR information provider 4.

ＡＲ情報表示装置１０とＡＲ情報提供装置２０とは、通信ネットワーク５を介して双方向通信を行う。通信ネットワーク５は、有線方式や無線方式の通信手段（インターネット（Internet）、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、公衆通
信網、専用線等）や各種通信装置（ルータ、ハブ、ＮＩＣ（Network Interface Card）、無線通信モジュール等）を用いて構成される。 The AR information display device 10 and the AR information providing device 20 perform two-way communication via the communication network 5. The communication network 5 includes wired and wireless communication means (Internet (Internet), LAN (Local Area Network), WAN (Wide Area Network), public communication network, dedicated line, etc.) and various communication devices (routers, hubs, etc.). It is configured using a NIC (Network Interface Card), wireless communication module, etc.).

ＡＲ情報利用者３は、例えば、設備の保守運用業務を行う現場の作業員である。ＡＲ情報利用者３は、ＡＲ情報表示装置１０が表示する、ＡＲ情報提供装置２０から送られてきたＡＲ情報６を参照しつつ、設備の点検や修理等の作業を遂行する。 The AR information user 3 is, for example, an on-site worker who performs maintenance and operation work of equipment. The AR information user 3 carries out work such as inspection and repair of equipment while referring to the AR information 6 sent from the AR information providing device 20 displayed by the AR information display device 10.

ＡＲ情報提供者４は、例えば、ＡＲ情報利用者３が行う業務の管理者や熟練者等である。ＡＲ情報提供者４は、ＡＲ情報提供装置２０を操作し、作業指示、作業手順、各種アドバイス等の情報を含むＡＲ情報６を設定（生成）する。ＡＲ情報提供者４によって設定されたＡＲ情報６は、ＡＲ情報提供装置２０からＡＲ情報表示装置１０に送信され、ＡＲ情報利用者３に提供される。 The AR information provider 4 is, for example, a manager or an expert of the work performed by the AR information user 3. The AR information provider 4 operates the AR information providing device 20 to set (generate) AR information 6 including information such as work instructions, work procedures, and various advices. The AR information 6 set by the AR information provider 4 is transmitted from the AR information providing device 20 to the AR information display device 10 and provided to the AR information user 3.

図２にＡＲ情報表示装置１０の主な構成を示している。同図に示すように、ＡＲ情報表示装置１０は、プロセッサ１１、記憶装置１２、表示装置１３、通信装置１４、カメラ１５、及び各種センサ１６を備える。同図に示す構成の他、ＡＲ情報表示装置１０は、音声入出力装置（マイクロフォン、スピーカ等）を備えていてもよい。同図では蓄電装置（バッテリ）や電源回路等の基本的なハードウェアについては省略している。 FIG. 2 shows the main configuration of the AR information display device 10. As shown in the figure, the AR information display device 10 includes a processor 11, a storage device 12, a display device 13, a communication device 14, a camera 15, and various sensors 16. In addition to the configuration shown in the figure, the AR information display device 10 may include an audio input / output device (microphone, speaker, etc.). In the figure, basic hardware such as a power storage device (battery) and a power supply circuit are omitted.

プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）を用いて構成される。プロセッサ１１が記憶装置１２に格納されているプログラムを実行することによりＡＲ情報表示装置１０の各種の機能が実現される。 The processor 11 is configured by using, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). Various functions of the AR information display device 10 are realized by the processor 11 executing the program stored in the storage device 12.

記憶装置１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＮＶＲＡＭ（Non-volatile memory））、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）、光学式／磁気式記憶装置等を用いて構成される。 The storage device 12 includes, for example, ROM (Read Only Memory), RAM (Random Access Memory), NVRAM (Non-volatile memory)), SSD (Solid State Drive), HDD (Hard Disk Drive), optical / magnetic storage. It is configured by using a device or the like.

表示装置１３は、現実の風景（本例ではＡＲ情報利用者３が現在眺めている現場の風景）にＡＲ情報を重ねて表示する。表示装置１３は、例えば、ハーフミラーを利用して虚像を形成する虚像投影方式、人の目の水晶体を利用して網膜に直接結像させる網膜投影方式等の方式により、現実の風景にＡＲ情報を重ねて表示する。表示装置１３は、例えば、マイクロディスプレイ（ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（EL:Electro Luminescence）、ＬＥＤ（Light Emitting Diode）等を用いて構成されたもの等）、投射レン
ズ、導光板、ＬＥＤ等の発光デバイス等を含んで構成される。尚、表示装置１３がＡＲ情報を現場の外界光に重ねて表示する方法は必ずしも限定されない。また現実の風景にＡＲ情報を重ねる方式は必ずしも直接的な外界光を利用する光学透過方式でなくてもよく、例えば、ＡＲ情報表示装置１０に装備されたカメラにより撮影された間接的な現実の風景映像にＡＲ情報を重ねるビデオ透過方式であってもよい。 The display device 13 superimposes AR information on the actual scenery (in this example, the scenery of the site currently being viewed by the AR information user 3). The display device 13 uses, for example, a virtual image projection method for forming a virtual image using a half mirror, a retinal projection method for directly forming an image on the retina using the crystalline lens of the human eye, and the like to display AR information in a real landscape. Is displayed in layers. The display device 13 includes, for example, a micro display (such as one configured by using an LCD (Liquid Crystal Display), an organic EL (EL: Electro Luminescence), an LED (Light Emitting Diode), etc.), a projection lens, a light guide plate, and an LED. Etc., including light emitting devices and the like. The method in which the display device 13 superimposes the AR information on the external light at the site is not necessarily limited. Further, the method of superimposing AR information on a real landscape does not necessarily have to be an optical transmission method that uses direct external light. For example, an indirect reality photographed by a camera mounted on the AR information display device 10. A video transmission method in which AR information is superimposed on a landscape image may be used.

通信装置１４は、通信ネットワーク５を介してＡＲ情報提供装置２０と無線方式又は有線方式により通信する装置であり、例えば、無線通信モジュールやＮＩＣ（Network Interface Card）を用いて構成される。 The communication device 14 is a device that communicates with the AR information providing device 20 via the communication network 5 by a wireless system or a wired system, and is configured by using, for example, a wireless communication module or a NIC (Network Interface Card).

カメラ１５は、ＡＲ情報表示装置１０の周囲の風景を撮影する装置であり、例えば、光学機構、ＣＣＤ（Charged-coupled devices）方式やＣＭＯＳ(Complementary metal-oxide-semiconductor）方式の撮像素子、映像（画像）処理装置、記憶装置等を備えて構成さ
れる。 The camera 15 is a device that captures the scenery around the AR information display device 10, and includes, for example, an optical mechanism, a CCD (Charged-coupled devices) type image sensor, and a CMOS (Complementary metal-oxide-semiconductor) type image pickup device, and an image ( Image) It is configured to be equipped with a processing device, a storage device, and the like.

各種センサ１６は、ＡＲ情報表示装置１０の状態（現在位置、姿勢、移動）や周囲環境に関する情報を検知して出力する。各種センサ１６は、例えば、深度カメラ（タイムオブフライト（TOF: Time Of Flight）カメラ、ステレオカメラ、レーザレーダ（LiDAR: Laser imaging Detection and Ranging）、赤外線深度センサ、超音波センサ等）、ＧＰＳ（Global Positioning System）、ジャイロセンサ、加速度センサ、方位センサ、赤外線センサ、照度センサ等である。カメラ１５も各種センサ１６として機能させることができる。 The various sensors 16 detect and output information on the state (current position, posture, movement) of the AR information display device 10 and the surrounding environment. The various sensors 16 include, for example, a depth camera (Time Of Flight (TOF) camera, stereo camera, laser radar (LiDAR: Laser imaging Detection and Ranging), infrared depth sensor, ultrasonic sensor, etc.), GPS (Global). Positioning System), gyro sensor, acceleration sensor, orientation sensor, infrared sensor, illuminance sensor, etc. The camera 15 can also function as various sensors 16.

図３は、ＡＲ情報表示装置１０の一例として示す、眼鏡型のウェアラブルデバイス（ＨＭＤ（Head Mounted Display））の外観である。ＡＲ情報表示装置１０の本体フレーム１９には、図２に示したＡＲ情報表示装置１０の符号１１〜１６で示す各構成が実装されている。同図に示すＡＲ情報表示装置１０の場合、外界光を透過する眼鏡部分１３２に装着された表示装置１３の表示画面１３１にＡＲ情報が表示される。尚、同図はＡＲ情報表示装置１０の一例に過ぎず、ＡＲ情報表示装置１０は、例えば、スマートフォン、タブレット、各種携帯端末等の他の種類の装置であってもよい。 FIG. 3 is an appearance of a glasses-type wearable device (HMD (Head Mounted Display)) shown as an example of the AR information display device 10. Each configuration shown by reference numerals 11 to 16 of the AR information display device 10 shown in FIG. 2 is mounted on the main body frame 19 of the AR information display device 10. In the case of the AR information display device 10 shown in the figure, AR information is displayed on the display screen 131 of the display device 13 mounted on the spectacles portion 132 that transmits external light. Note that the figure is only an example of the AR information display device 10, and the AR information display device 10 may be, for example, another type of device such as a smartphone, a tablet, or various mobile terminals.

図２に戻り、記憶装置１２は、ＡＲ情報表示プログラム（以下、ＡＲ情報表示ＰＧ１１１と称する。）、範囲特定情報取得プログラム（以下、範囲特定情報取得ＰＧ１１２と称する。）、範囲特定情報送信プログラム（以下、範囲特定情報送信ＰＧ１１３と称する。）、ＡＲ情報受信プログラム（以下、ＡＲ情報受信ＰＧ１１４と称する。）、及び画像データ送信プログラム（以下、画像データ送信ＰＧ１１５と称する。）を記憶する。記憶装置１２は、更にＯＳ（Operating System）やＤＢＭＳ（Database Management System）を実現するためのプログラムを記憶していてもよい。 Returning to FIG. 2, the storage device 12 includes an AR information display program (hereinafter referred to as AR information display PG111), a range specific information acquisition program (hereinafter referred to as range specific information acquisition PG112), and a range specific information transmission program (hereinafter referred to as range specific information acquisition PG112). Hereinafter, the range specific information transmission PG113 (hereinafter referred to as the range specific information transmission PG113), the AR information reception program (hereinafter referred to as the AR information reception PG114), and the image data transmission program (hereinafter referred to as the image data transmission PG115) are stored. The storage device 12 may further store a program for realizing an OS (Operating System) or a DBMS (Database Management System).

以下、ＡＲ情報表示ＰＧ１１１によって実現される機能のことをＡＲ情報表示部と、範囲特定情報取得ＰＧ１１２によって実現される機能のことを範囲特定情報取得部と、範囲特定情報送信ＰＧ１１３によって実現される機能のことを範囲特定情報送信部と、ＡＲ情報受信ＰＧ１１４によって実現される機能のことをＡＲ情報受信部と、画像データ送信ＰＧ１１５によって実現される機能のことを画像データ送信部と、夫々称する。 Hereinafter, the function realized by the AR information display PG111 is the function realized by the AR information display unit, the function realized by the range specific information acquisition PG112 is the function realized by the range specific information acquisition unit, and the function realized by the range specific information transmission PG113. The range-specific information transmission unit, the function realized by the AR information reception PG 114 is referred to as an AR information reception unit, and the function realized by the image data transmission PG 115 is referred to as an image data transmission unit.

同図に示すように、記憶装置１２は、ＡＲ情報１２１、地図情報１２２、及びマーカ情報１２３を記憶する。ＡＲ情報１２１、地図情報１２２、及びマーカ情報１２３は、例えば、ＤＢＭＳのデータベースに管理される。 As shown in the figure, the storage device 12 stores AR information 121, map information 122, and marker information 123. The AR information 121, the map information 122, and the marker information 123 are managed in, for example, a database of DBMS.

ＡＲ情報１２１は、ＡＲ情報提供装置２０から送られてきたＡＲ情報であり、ＡＲ情報の構成要素となる文字情報、図形情報（平面図形（幾何学図形）、立体等）等を含む。 The AR information 121 is AR information sent from the AR information providing device 20, and includes character information, graphic information (planar graphic (geometric graphic), solid body, etc.) which is a component of the AR information.

地図情報１２２は、世界座標系（ワールド座標系）で表されたＡＲ情報表示装置１０の周囲の３次元の地図情報（例えば、立体モデルによるもの）を含む。 The map information 122 includes three-dimensional map information (for example, by a three-dimensional model) around the AR information display device 10 represented by the world coordinate system (world coordinate system).

マーカ情報１２３は、ＡＲ情報表示装置１０の周囲（本例では作業現場）に固定設置された一つ以上のマーカの夫々についての、世界座標系による設置位置情報と撮影画像からマーカを特定するためのマッチング情報とを含む。 The marker information 123 is for identifying the markers from the installation position information and the captured image in the world coordinate system for each of the one or more markers fixedly installed around the AR information display device 10 (in this example, the work site). Includes matching information.

前述したＡＲ情報表示部は、現実の所定範囲の風景の所定位置に重なるように、表示装置１３の表示画面１３１にＡＲ情報を表示する。またＡＲ情報表示部は、ＡＲ情報が存在する方向等のＡＲ情報に関する情報を表示画面１３１に表示する。ＡＲ情報の具体的な表示制御については後述する。 The AR information display unit described above displays AR information on the display screen 131 of the display device 13 so as to overlap the predetermined position of the landscape in the actual predetermined range. Further, the AR information display unit displays information on the AR information such as the direction in which the AR information exists on the display screen 131. The specific display control of AR information will be described later.

範囲特定情報取得部は、上記の所定範囲を特定する情報である範囲特定情報を取得する。上記の所定範囲は、例えば、ある時点におけるカメラ１５の撮影範囲（画角、視野角等で特定される範囲）と一致する。また範囲特定情報は、例えば、ある時点にＡＲ情報利用者３がＡＲ情報表示装置１０の眼鏡部分１３２を介して周囲を眺めた視野範囲（画角、視野角）と一致する。範囲特定情報取得部は、例えば、各種センサ１６が出力する情報に基づき範囲特定情報を生成する。範囲特定情報は、例えば、ＡＲ情報表示装置１０の現在位置を世界座標系で示した情報と、ＡＲ情報表示装置１０の姿勢（例えば、ＡＲ情報表示装置１０のカメラ１５が向いている方向）を示す情報とを含む。 The range specifying information acquisition unit acquires the range specifying information which is the information for specifying the above-mentioned predetermined range. The above-mentioned predetermined range corresponds to, for example, the shooting range (range specified by the angle of view, viewing angle, etc.) of the camera 15 at a certain time point. Further, the range specifying information matches, for example, the viewing range (angle of view, viewing angle) in which the AR information user 3 looks at the surroundings through the spectacle portion 132 of the AR information display device 10 at a certain point in time. The range specifying information acquisition unit generates range specifying information based on the information output by various sensors 16, for example. The range identification information includes, for example, information indicating the current position of the AR information display device 10 in the world coordinate system and the posture of the AR information display device 10 (for example, the direction in which the camera 15 of the AR information display device 10 is facing). Includes information to indicate.

範囲特定情報送信部は、範囲特定情報取得部が送信した範囲特定情報をＡＲ情報提供装置２０に送信する。範囲特定情報送信部は、送信する範囲特定情報にタイムスタンプ（例えば、当該範囲特定情報を取得した時刻や当該範囲特定情報が生成された時刻）を付帯させる。このタイムスタンプは、例えば、後述する画像データと対応をとるために利用される。 The range-specific information transmission unit transmits the range-specific information transmitted by the range-specific information acquisition unit to the AR information providing device 20. The range-specific information transmission unit attaches a time stamp (for example, the time when the range-specific information is acquired or the time when the range-specific information is generated) to the range-specific information to be transmitted. This time stamp is used, for example, to correspond with the image data described later.

ＡＲ情報受信部は、ＡＲ情報提供装置２０からＡＲ情報を受信し、ＡＲ情報１２１として記憶する。ＡＲ情報受信部が受信するＡＲ情報には、前述した所定位置を特定する情報である所定位置特定情報が付帯する。所定位置特定情報は、例えば、上記所定位置を世界座標で表した情報を含む。 The AR information receiving unit receives AR information from the AR information providing device 20 and stores it as AR information 121. The AR information received by the AR information receiving unit is accompanied by the predetermined position identification information which is the information for specifying the predetermined position described above. The predetermined position identification information includes, for example, information representing the predetermined position in world coordinates.

画像データ送信部は、カメラ１５によって撮影され出力される画像データをＡＲ情報提供装置２０に送信する。画像データは、静止画でもよいし、動画データを構成している各フレームであってもよい。画像データにはタイムスタンプ（例えば、画像データ又はフレームを取得した時刻やこれらが生成された時刻）が付帯する。 The image data transmission unit transmits the image data captured and output by the camera 15 to the AR information providing device 20. The image data may be a still image or each frame constituting the moving image data. The image data is accompanied by a time stamp (for example, the time when the image data or the frame is acquired or the time when these are generated).

図４にＡＲ情報提供装置２０の主な構成を示している。同図に示すように、ＡＲ情報提供装置２０は、プロセッサ２１、記憶装置２２、入力装置２３、表示装置２４、及び通信装置２５を備える。同図に示す構成の他、ＡＲ情報提供装置２０は、音声入出力装置（マイクロフォン、スピーカ等）を備えていてもよい。同図では電源回路等の基本的なハードウェアについては省略している。 FIG. 4 shows the main configuration of the AR information providing device 20. As shown in the figure, the AR information providing device 20 includes a processor 21, a storage device 22, an input device 23, a display device 24, and a communication device 25. In addition to the configuration shown in the figure, the AR information providing device 20 may include a voice input / output device (microphone, speaker, etc.). In the figure, basic hardware such as the power supply circuit is omitted.

プロセッサ２１は、例えば、ＣＰＵやＭＰＵを用いて構成される。プロセッサ２１が記憶装置２２に格納されているプログラムを実行することによりＡＲ情報提供装置２０の各種の機能が実現される。記憶装置２２は、例えば、ＲＯＭ、ＲＡＭ、ＮＶＲＡＭ、ＳＳＤ、ＨＤＤ、光学式／磁気式記憶装置等を用いて構成される。入力装置２３は、例えば、マウスやキーボード等であり、ユーザから情報の入力を受け付ける。表示装置２４は、例えば、ＬＣＤ（Liquid Crystal Display）等であり、各種の情報をユーザに提供する。通信装置２５は、通信ネットワーク５を介してＡＲ情報表示装置１０と無線方式又は有線方式により通信する装置であり、例えば、無線通信モジュールやＮＩＣを用いて構成される。 The processor 21 is configured by using, for example, a CPU or an MPU. Various functions of the AR information providing device 20 are realized by the processor 21 executing the program stored in the storage device 22. The storage device 22 is configured by using, for example, a ROM, a RAM, an NVRAM, an SSD, an HDD, an optical / magnetic storage device, or the like. The input device 23 is, for example, a mouse, a keyboard, or the like, and receives input of information from the user. The display device 24 is, for example, an LCD (Liquid Crystal Display) or the like, and provides various information to the user. The communication device 25 is a device that communicates with the AR information display device 10 via a communication network 5 by a wireless system or a wired system, and is configured by using, for example, a wireless communication module or a NIC.

同図に示すように、記憶装置２２は、範囲特定情報受信プログラム（以下、範囲特定情報受信ＰＧ２１１と称する。）、画像データ受信プログラム（以下、画像データ受信ＰＧ２１２と称する。）、ＡＲ情報設定プログラム（以下、ＡＲ情報設定ＰＧ２１３と称する。）、ＡＲ情報送信プログラム（以下、ＡＲ情報送信ＰＧ２１４と称する。）を記憶する。記憶装置１２は、更にＯＳやＤＢＭＳを実現するためのプログラムを記憶してもよい。 As shown in the figure, the storage device 22 includes a range-specific information receiving program (hereinafter, referred to as a range-specific information receiving PG211), an image data receiving program (hereinafter, referred to as an image data receiving PG212), and an AR information setting program. (Hereinafter referred to as AR information setting PG213) and AR information transmission program (hereinafter referred to as AR information transmission PG214) are stored. The storage device 12 may further store a program for realizing an OS or a DBMS.

以下、範囲特定情報受信ＰＧ２１１によって実現される機能のことを範囲特定情報受信部と、画像データ受信ＰＧ２１２によって実現される機能のことを画像データ受信部と、ＡＲ情報設定ＰＧ２１３によって実現される機能のことをＡＲ情報設定部と、ＡＲ情報送信ＰＧ２１４によって実現される機能のことをＡＲ情報送信部と、夫々称する。 Hereinafter, the function realized by the range specifying information receiving PG211 is the function realized by the range specifying information receiving unit, the function realized by the image data receiving PG212 is the image data receiving unit, and the function realized by the AR information setting PG213. This is referred to as an AR information setting unit, and the function realized by the AR information transmission PG214 is referred to as an AR information transmission unit.

記憶装置２２は、ＡＲ情報２２１及び地図情報２２２を記憶する。ＡＲ情報２２１及び地図情報２２２は、例えば、ＤＢＭＳのデータベースに管理される。ＡＲ情報１２１は、ＡＲ情報設定部により設定されたＡＲ情報である。地図情報２２２は、世界座標系（ワールド座標系）で表された、ＡＲ情報表示装置１０の周囲の３次元の地図情報（例えば、立体モデルによるもの）を含む。地図情報２２２は、ＡＲ情報表示装置１０の記憶装置１２が記憶する地図情報１２２の内容と共通している。 The storage device 22 stores AR information 221 and map information 222. The AR information 221 and the map information 222 are managed in, for example, a database of DBMS. The AR information 121 is AR information set by the AR information setting unit. The map information 222 includes three-dimensional map information (for example, by a three-dimensional model) around the AR information display device 10 represented by the world coordinate system (world coordinate system). The map information 222 is common to the contents of the map information 122 stored in the storage device 12 of the AR information display device 10.

範囲特定情報受信部は、ＡＲ情報表示装置１０から送られてくる範囲特定情報を受信して記憶する。 The range specifying information receiving unit receives and stores the range specifying information sent from the AR information display device 10.

画像データ受信部は、ＡＲ情報表示装置１０から送られてくる画像データを受信して記憶する。 The image data receiving unit receives and stores the image data sent from the AR information display device 10.

ＡＲ情報設定部は、ユーザインタフェース（入力装置２３、表示装置２４）を介して行われるユーザとの対話処理によりＡＲ情報の編集操作（ＡＲ情報の新規作成、ＡＲ情報の修正、表示位置の変更等）を受け付けてＡＲ情報を設定する。ＡＲ情報設定部は、設定中のＡＲ情報をカメラ画像に重ねて表示装置２４に表示する。ＡＲ情報設定部は、上記対話処理により生成されたＡＲ情報をＡＲ情報２２１として記憶する。記憶する各ＡＲ情報には、範囲特定情報受信部が受信した範囲特定情報に基づき特定された、前述の所定位置特定情報が付帯する。 The AR information setting unit performs AR information editing operations (new creation of AR information, correction of AR information, change of display position, etc.) by interactive processing with the user performed via the user interface (input device 23, display device 24). ) Is accepted and AR information is set. The AR information setting unit superimposes the AR information being set on the camera image and displays it on the display device 24. The AR information setting unit stores the AR information generated by the above-mentioned interactive processing as AR information 221. Each AR information to be stored is accompanied by the above-mentioned predetermined position identification information specified based on the range identification information received by the range identification information receiving unit.

ＡＲ情報送信部は、ＡＲ情報設定部が設定したＡＲ情報を所定位置特定情報とともにＡＲ情報表示装置１０に送信する。 The AR information transmission unit transmits the AR information set by the AR information setting unit to the AR information display device 10 together with the predetermined position identification information.

続いて、図５に示すフローチャートとともにＡＲ情報提供システム１において行われる処理について説明する。 Subsequently, the processing performed in the AR information providing system 1 will be described together with the flowchart shown in FIG.

ＡＲ情報表示装置１０の画像データ送信部は、カメラ１５から画像データを取得し（Ｓ５１１）、取得した画像データをＡＲ情報提供装置２０に送信する（Ｓ５１２）。送信さ
れる各画像データにはタイムスタンプが付帯する。画像データ送信部１１５は、例えば、ＲＴＰ（Real-time Transport Protocol）及びＵＤＰ(User Datagram Protocol)により画像データを送信する。その場合、上記タイムスタンプとしてＲＴＰヘッダのタイムスタンプを用いてもよい。尚、タイムスタンプは必ずしも全ての画像データに付帯させなくてもよく、例えば、時間ずれが実用上問題にならない範囲で間欠的に付帯させるようにしてもよい。また送信する画像データが映像データに基づくものである場合、例えば、フレーム毎にタイムスタンプを送信してもよい。Ｓ５１１〜Ｓ５１２の処理は繰り返し行われる。 The image data transmission unit of the AR information display device 10 acquires image data from the camera 15 (S511) and transmits the acquired image data to the AR information providing device 20 (S512). A time stamp is attached to each image data to be transmitted. The image data transmission unit 115 transmits image data by, for example, RTP (Real-time Transport Protocol) and UDP (User Datagram Protocol). In that case, the time stamp of the RTP header may be used as the time stamp. The time stamp does not necessarily have to be attached to all the image data, and for example, the time stamp may be attached intermittently within a range in which the time lag does not pose a practical problem. When the image data to be transmitted is based on the video data, for example, a time stamp may be transmitted for each frame. The processes of S511 to S512 are repeated.

ＡＲ情報提供装置２０の画像データ受信部は、ＡＲ情報表示装置１０から送られてくる画像データを受信し（Ｓ５１３）、受信した画像データに基づく画像（以下、カメラ画像と称する。）を表示装置２４に表示する（Ｓ５１４）。このとき、画像データ受信部は、画像データ受信部が行う処理とＡＲ情報設定部が行う処理との間の対応をとるため、受信した画像データに付帯するタイムスタンプをＡＲ情報設定部に通知する。尚、タイムスタンプは必ずしも画像データを受信する度に通知しなくてもよく、例えば、画像データ受信部が行う処理とＡＲ情報設定部が行う処理との間の時間ずれが実用上問題にならない範囲で間欠的に通知するようにしてもよい。また上記の時間ずれが実用上問題にならない場合（例えば、ＡＲ情報提供装置２０の処理能力が高い場合）は上記通知は行わなくてもよい。Ｓ５１３〜Ｓ５１４の処理は繰り返し行われる。 The image data receiving unit of the AR information providing device 20 receives the image data sent from the AR information displaying device 10 (S513), and displays an image based on the received image data (hereinafter, referred to as a camera image). It is displayed on 24 (S514). At this time, the image data receiving unit notifies the AR information setting unit of the time stamp attached to the received image data in order to take a correspondence between the processing performed by the image data receiving unit and the processing performed by the AR information setting unit. .. The time stamp does not necessarily have to be notified each time the image data is received. For example, the time difference between the process performed by the image data receiving unit and the processing performed by the AR information setting unit does not pose a practical problem. You may be notified intermittently with. Further, when the above time lag does not pose a practical problem (for example, when the processing capacity of the AR information providing device 20 is high), the above notification may not be given. The processes of S513 to S514 are repeated.

ＡＲ情報表示装置１０の範囲特定情報取得部は、範囲特定情報を取得し（Ｓ５１５）、取得した範囲特定情報をＡＲ情報提供装置２０に送信する（Ｓ５１６）。送信される上記範囲特定情報には画像データと対応をとるためのタイムスタンプが付帯する。本例では、範囲特定情報は、ＡＲ情報表示装置１０の現在位置を世界座標系で示した情報とカメラ１５が向いている方向を示す情報を含む。範囲特定情報取得部は、例えば、ＧＰＳに基づく情報とマーカを撮影した画像データに基づき範囲特定情報を取得する。また範囲特定情報取得部は、例えば、撮影されたマーカのサイズとマーカの縦横の歪みをマーカ情報１２３と照合することにより、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。また範囲特定情報取得部は、例えば、深度カメラから取得されるデータと地図情報１２２とを照合することにより、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。また範囲特定情報取得部は、例えば、その他の公知の方法により、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。Ｓ５１５〜Ｓ５１６の処理は繰り返し行われる。 The range specifying information acquisition unit of the AR information display device 10 acquires the range specifying information (S515), and transmits the acquired range specifying information to the AR information providing device 20 (S516). The transmitted range-specific information is accompanied by a time stamp for corresponding to the image data. In this example, the range specifying information includes information indicating the current position of the AR information display device 10 in the world coordinate system and information indicating the direction in which the camera 15 is facing. The range-specific information acquisition unit acquires range-specific information based on, for example, GPS-based information and image data obtained by capturing a marker. Further, the range specifying information acquisition unit collates, for example, the size of the photographed marker and the vertical and horizontal distortion of the marker with the marker information 123, so that the accurate current position of the AR information display device 10 and the accuracy that the camera 15 is facing are accurate. Get the direction. Further, the range specifying information acquisition unit acquires, for example, the accurate current position of the AR information display device 10 and the accurate direction in which the camera 15 is facing by collating the data acquired from the depth camera with the map information 122. To do. Further, the range specifying information acquisition unit acquires the accurate current position of the AR information display device 10 and the accurate direction in which the camera 15 is facing, for example, by another known method. The processes of S515 to S516 are repeated.

ＡＲ情報提供装置２０の範囲特定情報受信部は、ＡＲ情報表示装置１０から送られてくる範囲特定情報を受信する（Ｓ５１７）。続いて、ＡＲ情報提供装置２０のＡＲ情報設定部は、ユーザインタフェース（入力装置２３及び表示装置２４）を介した対話処理により、受信した範囲特定情報に基づき特定される所定範囲についてＡＲ情報の設定を開始する（Ｓ５１８）。具体的には、ＡＲ情報設定部は、ユーザインタフェースを介してＡＲ情報の編集を受け付け、それにより生成されたＡＲ情報を上記所定範囲の所定位置を示す情報（世界座標系で示した情報）である所定位置特定情報に対応づけた情報をＡＲ情報２２１として記憶する。ユーザはＡＲ情報を新規に設定することもできるし、予め記憶しているＡＲ情報２２１を利用して設定することもできる。 The range-specific information receiving unit of the AR information providing device 20 receives the range-specific information sent from the AR information display device 10 (S517). Subsequently, the AR information setting unit of the AR information providing device 20 sets AR information for a predetermined range specified based on the received range specifying information by interactive processing via the user interface (input device 23 and display device 24). Is started (S518). Specifically, the AR information setting unit accepts editing of AR information via the user interface, and the AR information generated thereby is information indicating a predetermined position in the predetermined range (information indicated in the world coordinate system). Information associated with a certain predetermined position identification information is stored as AR information 221. The user can newly set the AR information, or can set it by using the AR information 221 stored in advance.

ＡＲ情報の設定に際し、ＡＲ情報設定部は、設定中のＡＲ情報をカメラ画像に重ねて表示装置２４に表示する。またＡＲ情報設定部は、図６に示すように、ＡＲ情報利用者３の位置と視線方向やＡＲ情報の位置と方向を含む位置情報７と、ＡＲ情報利用者３の近傍の地図情報８を表示する（Ｓ５１９）。これによりユーザは現場のカメラ画像を確認しながら正確な位置（世界座標系の位置）にＡＲ情報を設定することができる。尚、本実施形態では、ＡＲ情報設定部にＡＲ情報利用者３の近くに任意に設定した原点からの相対位置を位置情報７として表示させているが、ＡＲ情報設定部に緯度、経度からなる世界座標系の
座標を位置情報７として表示させてもよい。 When setting the AR information, the AR information setting unit superimposes the AR information being set on the camera image and displays it on the display device 24. Further, as shown in FIG. 6, the AR information setting unit provides position information 7 including the position and line-of-sight direction of the AR information user 3 and the position and direction of the AR information, and map information 8 in the vicinity of the AR information user 3. Display (S519). As a result, the user can set the AR information at an accurate position (position in the world coordinate system) while checking the camera image of the site. In the present embodiment, the AR information setting unit displays the relative position from the origin arbitrarily set near the AR information user 3 as the position information 7, but the AR information setting unit consists of latitude and longitude. The coordinates of the world coordinate system may be displayed as the position information 7.

ＡＲ情報の設定が終了すると（Ｓ５２０：ＹＥＳ）、ＡＲ情報提供装置２０のＡＲ情報送信部は、生成したＡＲ情報を、当該ＡＲ情報の所定位置特定情報（世界座標系）とともにＡＲ情報表示装置１０に送信する（Ｓ５２１）。Ｓ５１７〜Ｓ５２１の処理は繰り返し行われる。 When the setting of the AR information is completed (S520: YES), the AR information transmission unit of the AR information providing device 20 displays the generated AR information together with the predetermined position identification information (world coordinate system) of the AR information in the AR information display device 10. (S521). The processes of S517 to S521 are repeated.

ＡＲ情報表示装置１０のＡＲ情報受信部は、ＡＲ情報提供装置２０から送られてくるＡＲ情報と所定位置特定情報（世界座標系）とを受信する（Ｓ５２２）。続いて、ＡＲ情報表示装置１０の範囲特定情報取得部は、現在における範囲特定情報（世界座標系）を新たに取得する（Ｓ５２３）。続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、新たに取得した範囲特定情報（世界座標系）と受信した所定位置特定情報（世界座標系）とを照合し、ＡＲ情報の表示装置１３の表示画面１３１の座標系における表示位置を求める（Ｓ５２４）。このとき、ＡＲ情報表示装置１０のＡＲ情報表示部は、所定位置特定情報に含まれるＡＲ情報表示装置１０の現在位置とカメラ１５が向いている方向からなる位置情報７とを表示する（Ｓ５２５）。 The AR information receiving unit of the AR information display device 10 receives the AR information sent from the AR information providing device 20 and the predetermined position identification information (world coordinate system) (S522). Subsequently, the range specifying information acquisition unit of the AR information display device 10 newly acquires the current range specifying information (world coordinate system) (S523). Subsequently, the AR information display unit of the AR information display device 10 collates the newly acquired range identification information (world coordinate system) with the received predetermined position identification information (world coordinate system), and the AR information display device 13 The display position of the display screen 131 in the coordinate system is obtained (S524). At this time, the AR information display unit of the AR information display device 10 displays the current position of the AR information display device 10 included in the predetermined position identification information and the position information 7 including the direction in which the camera 15 is facing (S525). ..

続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、ＡＲ情報の表示位置が、新たに取得した範囲特定情報から特定される範囲内か否かを判断する（Ｓ５２６）。ＡＲ情報の表示位置が新たに取得した範囲特定情報から特定される範囲内である場合（Ｓ５２６：ＹＥＳ）、ＡＲ情報表示部は、表示画面１３１における、Ｓ５２４で求めた表示位置にＡＲ情報を表示する（Ｓ５２７）。その後、処理はＳ５２２に戻る。 Subsequently, the AR information display unit of the AR information display device 10 determines whether or not the display position of the AR information is within the range specified from the newly acquired range specifying information (S526). When the display position of the AR information is within the range specified from the newly acquired range specific information (S526: YES), the AR information display unit displays the AR information at the display position obtained in S524 on the display screen 131. (S527). After that, the process returns to S522.

一方、ＡＲ情報の表示位置が範囲特定情報から特定される範囲内でない場合（Ｓ５２６：ＮＯ）、ＡＲ情報表示部は、Ｓ５２４で求めた表示位置が存在する方向を示す情報や、ＡＲ情報が変更された旨の情報等の代替のオブジェクトを表示画面１３１に表示する（Ｓ５２８）。その後、処理はＳ５２２に戻る。 On the other hand, when the display position of the AR information is not within the range specified from the range specifying information (S526: NO), the AR information display unit changes the information indicating the direction in which the display position obtained in S524 exists and the AR information. An alternative object such as information to that effect is displayed on the display screen 131 (S528). After that, the process returns to S522.

図７（ａ）に、Ｓ５２７でＡＲ情報表示部が表示する画面の一例を、図７（ｂ）に、Ｓ５２８でＡＲ情報表示部が表示する画面の一例を、夫々示す。図７（ａ）に示すように、ＡＲ情報の表示位置が範囲特定情報から特定される範囲内であるため、表示画面１３１のＳ５２４で求めた表示位置にＡＲ情報（符号７１１）と位置情報７が表示されている。一方、図７（ｂ）では、ＡＲ情報の表示位置が範囲特定情報から特定される範囲内でないため、Ｓ５２４で求めた表示位置が存在する方向を示す情報（符号７１２）と位置情報７が表示画面１３１に表示されている。 FIG. 7A shows an example of the screen displayed by the AR information display unit in S527, and FIG. 7B shows an example of the screen displayed by the AR information display unit in S528. As shown in FIG. 7A, since the display position of the AR information is within the range specified from the range specifying information, the AR information (reference numeral 711) and the position information 7 are at the display position obtained in S524 of the display screen 131. Is displayed. On the other hand, in FIG. 7B, since the display position of the AR information is not within the range specified from the range specifying information, the information (reference numeral 712) indicating the direction in which the display position obtained in S524 exists and the position information 7 are displayed. It is displayed on the screen 131.

以上に説明したように、第１実施形態のＡＲ情報提供システム１においては、ＡＲ情報表示装置１０が、ＡＲ情報提供装置２０から送られてくるＡＲ情報と所定位置特定情報（世界座標系）に基づきＡＲ情報の表示を制御するので、位置ずれを生じさせずに精度よくＡＲ情報を提供することができる。またＡＲ情報表示装置１０からＡＲ情報提供装置２０へは、画像データと範囲特定情報を送信するのみであり、ＡＲ情報提供装置２０からＡＲ情報表示装置へは、ＡＲ情報と所定位置特定情報を送信するのみである。そのため、通信量の増大を抑えつつ効率よくＡＲ情報提供装置２０からＡＲ情報表示装置１０にＡＲ情報を提供することができる。 As described above, in the AR information providing system 1 of the first embodiment, the AR information display device 10 uses the AR information sent from the AR information providing device 20 and the predetermined position identification information (world coordinate system). Since the display of AR information is controlled based on this, it is possible to provide AR information with high accuracy without causing misalignment. Further, only image data and range specifying information are transmitted from the AR information display device 10 to the AR information providing device 20, and AR information and predetermined position specifying information are transmitted from the AR information providing device 20 to the AR information displaying device. Only do. Therefore, AR information can be efficiently provided from the AR information providing device 20 to the AR information display device 10 while suppressing an increase in the amount of communication.

［第２実施形態］
第１実施形態のＡＲ情報提供システム１では、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に画像データを送信し、ＡＲ情報提供装置２０が、ＡＲ情報の設定に際してＡＲ情報をカメラ画像に重ねて表示装置２４に表示する。第２実施形態のＡＲ情報提供システム１では、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に画像データを送信せず、Ａ
Ｒ情報提供装置２０は、記憶している地図情報２２２にＡＲ情報を重ねて表示装置２４に表示しつつ、ユーザとの対話処理によりＡＲ情報の設定を行う。 [Second Embodiment]
In the AR information providing system 1 of the first embodiment, image data is transmitted from the AR information display device 10 to the AR information providing device 20, and the AR information providing device 20 superimposes the AR information on the camera image when setting the AR information. It is displayed on the display device 24. In the AR information providing system 1 of the second embodiment, the image data is not transmitted from the AR information display device 10 to the AR information providing device 20, and A
The R information providing device 20 sets the AR information by interactive processing with the user while superimposing the AR information on the stored map information 222 and displaying it on the display device 24.

図８に第２実施形態のＡＲ情報表示装置１０の主な構成を示している。同図に示すように、第２実施形態のＡＲ情報表示装置１０は、プロセッサ１１、記憶装置１２、表示装置１３、通信装置１４、カメラ１５、及び各種センサ１６を備える。これらの構成は基本的に第１実施形態のＡＲ情報表示装置１０と同様である。但し、第２実施形態のＡＲ情報表示装置１０は、記憶装置１２が、画像データ送信ＰＧ１１５（画像データ送信部）を記憶していない点で第１実施形態のＡＲ情報表示装置１０と構成が異なる。 FIG. 8 shows the main configuration of the AR information display device 10 of the second embodiment. As shown in the figure, the AR information display device 10 of the second embodiment includes a processor 11, a storage device 12, a display device 13, a communication device 14, a camera 15, and various sensors 16. These configurations are basically the same as those of the AR information display device 10 of the first embodiment. However, the AR information display device 10 of the second embodiment has a different configuration from the AR information display device 10 of the first embodiment in that the storage device 12 does not store the image data transmission PG 115 (image data transmission unit). ..

図９に第２実施形態のＡＲ情報提供装置２０の主な構成を示している。同図に示すように、第２実施形態のＡＲ情報提供装置２０は、プロセッサ２１、記憶装置２２、入力装置２３、表示装置２４、及び通信装置２５を備える。これらの構成は基本的に第１実施形態のＡＲ情報提供装置２０と同様である。但し、第２実施形態のＡＲ情報提供装置２０は、記憶装置２２が画像データ受信ＰＧ２１２を記憶していない点、及び、ＡＲ情報設定部が、ユーザとの対話処理によりＡＲ情報の編集を受け付ける際、設定中のＡＲ情報を、地図情報２２２に基づく３次元の地図画像に重ねて表示装置２４に表示する点で第１実施形態のＡＲ情報提供装置２０と構成が異なる。 FIG. 9 shows the main configuration of the AR information providing device 20 of the second embodiment. As shown in the figure, the AR information providing device 20 of the second embodiment includes a processor 21, a storage device 22, an input device 23, a display device 24, and a communication device 25. These configurations are basically the same as those of the AR information providing device 20 of the first embodiment. However, in the AR information providing device 20 of the second embodiment, the storage device 22 does not store the image data receiving PG212, and when the AR information setting unit accepts the editing of AR information by interactive processing with the user. The configuration is different from that of the AR information providing device 20 of the first embodiment in that the AR information being set is superimposed on the three-dimensional map image based on the map information 222 and displayed on the display device 24.

図１０は、第２実施形態のＡＲ情報提供システム１において行われる処理を説明するフローチャートである。以下、同図とともに上記処理について説明する。 FIG. 10 is a flowchart illustrating the processing performed in the AR information providing system 1 of the second embodiment. Hereinafter, the above processing will be described together with the figure.

まずＡＲ情報表示装置１０の範囲特定情報取得部は、範囲特定情報を取得し（Ｓ１０１５）、取得した範囲特定情報をＡＲ情報提供装置２０に送信する（Ｓ１０１６）。これらの処理は図５のＳ５１１，Ｓ５１２の処理と同様であるので説明を省略する。 First, the range specifying information acquisition unit of the AR information display device 10 acquires the range specifying information (S1015), and transmits the acquired range specifying information to the AR information providing device 20 (S1016). Since these processes are the same as the processes of S511 and S512 of FIG. 5, the description thereof will be omitted.

ＡＲ情報提供装置２０の範囲特定情報受信部は、ＡＲ情報表示装置１０から送られてくる範囲特定情報を受信する（Ｓ１０１７）。 The range-specific information receiving unit of the AR information providing device 20 receives the range-specific information sent from the AR information display device 10 (S1017).

続いて、ＡＲ情報提供装置２０のＡＲ情報設定部は、ユーザインタフェース（入力装置２３及び表示装置２４）を介した対話処理により、受信した範囲特定情報に基づき特定される所定範囲についてＡＲ情報の設定を開始する（Ｓ１０１８）。具体的には、ＡＲ情報設定部は、ユーザインタフェースを介してＡＲ情報の編集を受け付け、それにより生成されたＡＲ情報を上記所定範囲の所定位置（世界座標系）を示す情報である所定位置特定情報に対応づけた情報をＡＲ情報２２１として記憶する。尚、ユーザは、上記ＡＲ情報を新規に設定することもできるし、予め記憶しているＡＲ情報２２１を利用して設定することもできる。ＡＲ情報の設定に際し、ＡＲ情報設定部は、設定中のＡＲ情報を地図情報２２２に基づく３次元の地図画像に重ねて表示装置２４に表示する。これによりユーザは３次元の地図画像を確認しながら正確な位置にＡＲ情報を設定することができる。 Subsequently, the AR information setting unit of the AR information providing device 20 sets AR information for a predetermined range specified based on the received range specifying information by interactive processing via the user interface (input device 23 and display device 24). Is started (S1018). Specifically, the AR information setting unit accepts the editing of the AR information via the user interface, and the AR information generated thereby is the predetermined position identification which is the information indicating the predetermined position (world coordinate system) in the predetermined range. The information associated with the information is stored as AR information 221. The user can newly set the AR information, or can set it by using the AR information 221 stored in advance. When setting the AR information, the AR information setting unit superimposes the AR information being set on the three-dimensional map image based on the map information 222 and displays it on the display device 24. As a result, the user can set the AR information at an accurate position while checking the three-dimensional map image.

Ｓ１０１８〜Ｓ１０２７の処理は、Ｓ５１９及びＳ５２５に相当する処理を除いて図５のＳ５１８〜Ｓ５２８の処理と同様であるので説明を省略する。 The processing of S1018 to S1027 is the same as the processing of S518 to S528 of FIG. 5 except for the processing corresponding to S519 and S525, and thus the description thereof will be omitted.

以上に説明したように、第２実施形態のＡＲ情報提供システム１においては、第１実施形態と同様に、ＡＲ情報表示装置１０が、ＡＲ情報提供装置２０から送られてくるＡＲ情報と所定位置特定情報（世界座標系）とに基づきＡＲ情報の表示を制御するので、位置ずれを生じさせずに精度よくＡＲ情報を提供することができる。またＡＲ情報表示装置１０からＡＲ情報提供装置２０に画像データを送信せず、ＡＲ情報提供装置２０は、設定中のＡＲ情報を地図情報２２２に基づく３次元の地図画像に重ねて表示装置２４に表示しつつ、ユーザとの対話処理によりＡＲ情報の設定を行う。そのため、通信量の増大を抑えつつ
効率よくＡＲ情報提供装置２０からＡＲ情報表示装置１０にＡＲ情報を提供することができる。 As described above, in the AR information providing system 1 of the second embodiment, the AR information display device 10 has the AR information sent from the AR information providing device 20 and a predetermined position as in the first embodiment. Since the display of AR information is controlled based on specific information (world coordinate system), AR information can be provided accurately without causing misalignment. Further, the AR information display device 10 does not transmit the image data to the AR information providing device 20, and the AR information providing device 20 superimposes the AR information being set on the three-dimensional map image based on the map information 222 on the display device 24. While displaying, AR information is set by interactive processing with the user. Therefore, AR information can be efficiently provided from the AR information providing device 20 to the AR information display device 10 while suppressing an increase in the amount of communication.

［第３実施形態］
第１実施形態のＡＲ情報提供システム１では、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に範囲特定情報を送信し、ＡＲ情報提供装置２０が、範囲特定情報を受信し、受信した範囲特定情報に基づき特定される所定範囲についてＡＲ情報の設定を行っている。第３実施形態のＡＲ情報提供システム１では、ＡＲ情報表示装置１０は範囲特定情報をタイムスタンプと対応づけた履歴情報として記憶し、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に範囲特定情報を送信しない。一方、ＡＲ情報提供装置２０は、ＡＲ情報の設定に際してＡＲ情報をカメラ画像に重ねて表示装置２４に表示しつつユーザとの対話処理によりカメラ画像の範囲（所定範囲）についてＡＲ情報の設定を行い、設定したＡＲ情報を、当該ＡＲ情報に対応づけられている所定位置特定情報、及びＡＲ情報の設定に際して重ねたカメラ画像（画像データ）のタイムスタンプとともにＡＲ情報表示装置１０に送信する。そしてＡＲ情報表示装置１０は、記憶している履歴情報からＡＲ情報とともに受信したタイムスタンプに対応する範囲特定情報の履歴を取得し、ＡＲ情報の世界座標系における表示位置を特定する。 [Third Embodiment]
In the AR information providing system 1 of the first embodiment, the range specifying information is transmitted from the AR information display device 10 to the AR information providing device 20, and the AR information providing device 20 receives the range specifying information and receives the range specifying information. AR information is set for a predetermined range specified based on. In the AR information providing system 1 of the third embodiment, the AR information display device 10 stores the range specifying information as history information associated with the time stamp, and the range specifying information is stored from the AR information display device 10 to the AR information providing device 20. Do not send. On the other hand, the AR information providing device 20 sets the AR information for the range (predetermined range) of the camera image by interactive processing with the user while superimposing the AR information on the camera image and displaying it on the display device 24 when setting the AR information. , The set AR information is transmitted to the AR information display device 10 together with the predetermined position identification information associated with the AR information and the time stamp of the camera image (image data) superimposed when the AR information is set. Then, the AR information display device 10 acquires the history of the range specifying information corresponding to the time stamp received together with the AR information from the stored history information, and specifies the display position of the AR information in the world coordinate system.

図１１に、第３実施形態のＡＲ情報表示装置１０の主な構成を示している。同図に示すように、第３実施形態のＡＲ情報表示装置１０は、プロセッサ１１、記憶装置１２、表示装置１３、通信装置１４、カメラ１５、及び各種センサ１６を備える。これらの構成は基本的に第１実施形態のＡＲ情報表示装置１０と同様である。但し、第３実施形態のＡＲ情報表示装置１０は、記憶装置１２が、範囲特定情報送信ＰＧ１１３を記憶していない点、並びに、記憶装置１２が、範囲特定情報履歴記憶ＰＧ１１６、範囲特定情報履歴特定ＰＧ１１７、及び範囲特定情報履歴１２４を記憶している点で第１実施形態のＡＲ情報表示装置１０と構成が異なる。 FIG. 11 shows the main configuration of the AR information display device 10 of the third embodiment. As shown in the figure, the AR information display device 10 of the third embodiment includes a processor 11, a storage device 12, a display device 13, a communication device 14, a camera 15, and various sensors 16. These configurations are basically the same as those of the AR information display device 10 of the first embodiment. However, in the AR information display device 10 of the third embodiment, the storage device 12 does not store the range specifying information transmission PG 113, and the storage device 12 stores the range specifying information history storage PG116 and the range specifying information history. The configuration is different from that of the AR information display device 10 of the first embodiment in that the PG 117 and the range specifying information history 124 are stored.

尚、以下の説明において、プロセッサ１１が範囲特定情報履歴記憶ＰＧ１１６を実行することにより実現される機能のことを範囲特定情報履歴記憶部と、プロセッサ１１が範囲特定情報履歴特定ＰＧ１１７を実行することにより実現される機能のことを範囲特定情報履歴特定部と、夫々称する。 In the following description, the functions realized by the processor 11 executing the range-specific information history storage PG116 are described by the range-specific information history storage unit and the processor 11 executing the range-specific information history-specific PG117. The functions to be realized are referred to as a range-specific information history-specific unit, respectively.

図１２に第３実施形態のＡＲ情報提供装置２０の主な構成を示している。同図に示すように、第３実施形態のＡＲ情報提供装置２０は、プロセッサ２１、記憶装置２２、入力装置２３、表示装置２４、及び通信装置２５を備える。これらの構成は基本的に第１実施形態のＡＲ情報提供装置２０と同様である。但し、第２実施形態のＡＲ情報提供装置２０は、記憶装置２２が範囲特定情報受信ＰＧ２１１を記憶していない点、並びに、ＡＲ情報設定部がＡＲ情報とともに画像データに基づくカメラ画像の座標系（以下、カメラ画像座標系と称する。）による所定位置特定情報を生成する点、ＡＲ情報送信部が、ＡＲ情報ととともに、所定位置特定情報（カメラ画像座標系）と、ＡＲ情報の設定に際し重ねて表示したカメラ画像のタイムスタンプとをＡＲ情報表示装置１０に送信する点で、第１実施形態のＡＲ情報提供装置２０と構成が異なる。 FIG. 12 shows the main configuration of the AR information providing device 20 of the third embodiment. As shown in the figure, the AR information providing device 20 of the third embodiment includes a processor 21, a storage device 22, an input device 23, a display device 24, and a communication device 25. These configurations are basically the same as those of the AR information providing device 20 of the first embodiment. However, in the AR information providing device 20 of the second embodiment, the storage device 22 does not store the range specifying information receiving PG211 and the AR information setting unit performs the coordinate system of the camera image based on the image data together with the AR information. Hereinafter referred to as a camera image coordinate system), the AR information transmission unit superimposes the predetermined position identification information (camera image coordinate system) and the AR information together with the AR information. The configuration is different from that of the AR information providing device 20 of the first embodiment in that the time stamp of the displayed camera image is transmitted to the AR information display device 10.

図１３は、第３実施形態のＡＲ情報提供システム１において行われる処理を説明するフローチャートである。以下、同図とともに上記処理について説明する。 FIG. 13 is a flowchart illustrating the processing performed in the AR information providing system 1 of the third embodiment. Hereinafter, the above processing will be described together with the figure.

まず同図におけるＳ１３１１〜Ｓ１３１４の処理は、図５におけるＳ５１１〜Ｓ５１４の処理と同様であるので説明を省略する。 First, since the processing of S1311 to S1314 in the figure is the same as the processing of S511 to S514 in FIG. 5, the description thereof will be omitted.

Ｓ１３１５〜Ｓ１３１６では、ＡＲ情報表示装置１０の範囲特定情報取得部が、範囲特
定情報を取得し（Ｓ１３１５）、ＡＲ情報表示装置１０の範囲特定情報履歴記憶部が、範囲特定情報取得部が取得した範囲特定情報を記憶装置１２に範囲特定情報履歴１２４として逐次蓄積記憶する（Ｓ１３１６）。ここで範囲特定情報履歴１２４として蓄積記憶される各範囲特定情報には、画像データのタイムスタンプとの対応をとるためのタイムスタンプが付帯する。本例では、範囲特定情報は、ＡＲ情報表示装置１０の現在位置を世界座標系で示した情報とカメラ１５が向いている方向を示す情報を含むものとする。範囲特定情報取得部は、例えば、ＧＰＳに基づく情報とマーカを撮影した画像データに基づき範囲特定情報を取得する。また範囲特定情報取得部は、例えば、撮影されたマーカのサイズとマーカの縦横の歪みをマーカ情報１２３と照合することにより、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。また範囲特定情報取得部は、例えば、深度カメラから取得されるデータと地図情報１２２とを照合することにより、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。また範囲特定情報取得部は、例えば、その他の公知の方法により、ＡＲ情報表示装置１０の正確な現在位置やカメラ１５が向いている正確な方向を取得する。 In S1315 to S1316, the range-specific information acquisition unit of the AR information display device 10 acquires the range-specific information (S1315), and the range-specific information history storage unit of the AR information display device 10 acquires the range-specific information acquisition unit. The range-specific information is sequentially stored and stored in the storage device 12 as the range-specific information history 124 (S1316). Here, each range-specific information stored and stored as the range-specific information history 124 is accompanied by a time stamp for corresponding to the time stamp of the image data. In this example, the range specifying information includes information indicating the current position of the AR information display device 10 in the world coordinate system and information indicating the direction in which the camera 15 is facing. The range-specific information acquisition unit acquires range-specific information based on, for example, GPS-based information and image data obtained by capturing a marker. Further, the range specifying information acquisition unit collates, for example, the size of the photographed marker and the vertical and horizontal distortion of the marker with the marker information 123, so that the accurate current position of the AR information display device 10 and the accuracy that the camera 15 is facing are accurate. Get the direction. Further, the range specifying information acquisition unit acquires, for example, the accurate current position of the AR information display device 10 and the accurate direction in which the camera 15 is facing by collating the data acquired from the depth camera with the map information 122. To do. Further, the range specifying information acquisition unit acquires the accurate current position of the AR information display device 10 and the accurate direction in which the camera 15 is facing, for example, by another known method.

ＡＲ情報提供装置２０のＡＲ情報設定部は、ユーザインタフェース（入力装置２３及び表示装置２４）を介した対話処理により、表示装置２４に表示されているカメラ画像（以下、対象カメラ画像と称する。）の範囲（所定範囲）についてＡＲ情報の設定を開始する（Ｓ１３１８）。具体的には、ＡＲ情報設定部は、ユーザインタフェースを介してＡＲ情報の編集を受け付け、それにより生成されたＡＲ情報を上記所定範囲の所定位置を示す情報（対象カメラ画像の座標系（以下、カメラ画像座標系と称する。）で示した情報）である所定位置特定情報（カメラ画像座標系）に対応づけた情報をＡＲ情報２２１として記憶する。尚、ユーザは、上記ＡＲ情報を新規に設定することもできるし、予め記憶しているＡＲ情報２２１を利用して設定することもできる。ＡＲ情報の設定に際し、ＡＲ情報設定部は、設定中のＡＲ情報をカメラ画像に重ねて表示装置２４に表示する。これによりユーザはカメラ画像を確認しながら正確な位置にＡＲ情報を設定することができる。 The AR information setting unit of the AR information providing device 20 is a camera image displayed on the display device 24 (hereinafter, referred to as a target camera image) by interactive processing via a user interface (input device 23 and display device 24). Start setting AR information for the range (predetermined range) of (S1318). Specifically, the AR information setting unit accepts the editing of the AR information via the user interface, and the AR information generated by the editing is the information indicating the predetermined position in the predetermined range (the coordinate system of the target camera image (hereinafter, hereinafter, the coordinate system). The information associated with the predetermined position identification information (camera image coordinate system), which is the information shown in) (referred to as camera image coordinate system), is stored as AR information 221. The user can newly set the AR information, or can set it by using the AR information 221 stored in advance. When setting the AR information, the AR information setting unit superimposes the AR information being set on the camera image and displays it on the display device 24. This allows the user to set the AR information at an accurate position while checking the camera image.

ＡＲ情報の編集が終了すると（Ｓ１３１９：ＹＥＳ）、ＡＲ情報提供装置２０のＡＲ情報送信部は、生成したＡＲ情報を、当該ＡＲ情報に対応づけられているカメラ画像座標系で表された所定位置特定情報、及びＳ１３１３で受信した対象カメラ画像の画像データのタイムスタンプとともにＡＲ情報表示装置１０に送信する（Ｓ１３２０）。 When the editing of the AR information is completed (S1319: YES), the AR information transmission unit of the AR information providing device 20 transmits the generated AR information to a predetermined position represented by the camera image coordinate system associated with the AR information. It is transmitted to the AR information display device 10 together with the specific information and the time stamp of the image data of the target camera image received in S1313 (S1320).

ＡＲ情報表示装置１０のＡＲ情報受信部は、ＡＲ情報提供装置２０から送られてくるＡＲ情報、所定位置特定情報（カメラ画像座標系）、及びタイムスタンプを受信する（Ｓ１３２１）。 The AR information receiving unit of the AR information display device 10 receives the AR information, the predetermined position identification information (camera image coordinate system), and the time stamp sent from the AR information providing device 20 (S1321).

続いて、ＡＲ情報表示装置１０の範囲特定情報履歴特定部は、受信したタイムスタンプに対応する範囲特定情報（世界座標系）を範囲特定情報履歴１２４から特定（取得）する（Ｓ１３２２）。 Subsequently, the range specifying information history specifying unit of the AR information display device 10 specifies (acquires) the range specifying information (world coordinate system) corresponding to the received time stamp from the range specifying information history 124 (S1322).

続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、範囲特定情報履歴特定部が特定した上記範囲特定情報（世界座標系）に基づき、Ｓ１３２１で受信した所定位置特定情報（カメラ画像座標系）を世界座標系で表された情報に変換する（Ｓ１３２３）。 Subsequently, the AR information display unit of the AR information display device 10 receives the predetermined position identification information (camera image coordinate system) received in S1321 based on the range identification information (world coordinate system) specified by the range identification information history identification unit. Is converted into information represented in the world coordinate system (S1323).

続いて、ＡＲ情報表示装置１０の範囲特定情報取得部は、現在での範囲特定情報（世界座標系）を新たに取得する（Ｓ１３２４）。 Subsequently, the range specifying information acquisition unit of the AR information display device 10 newly acquires the current range specifying information (world coordinate system) (S1324).

続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、Ｓ１３２４で新たに取得した範囲特定情報（世界座標系）とＳ１３２３で世界座標系に変換したＡＲ情報の所定位置特定情報とを照合し、ＡＲ情報の表示装置１３の表示画面１３１の表示位置を求める（Ｓ１３２
５）。 Subsequently, the AR information display unit of the AR information display device 10 collates the range identification information (world coordinate system) newly acquired in S1324 with the predetermined position identification information of the AR information converted into the world coordinate system in S1323. Obtain the display position of the display screen 131 of the AR information display device 13 (S132).
5).

続いて、ＡＲ情報表示装置１０のＡＲ情報表示部は、ＡＲ情報の表示位置が、範囲特定情報から特定される範囲内か否かを判断する（Ｓ１３２６）。ＡＲ情報の表示位置が範囲特定情報から特定される範囲内である場合（Ｓ１３２６：ＹＥＳ）、ＡＲ情報表示部は、表示画面１３１のＳ１３２５で求めた表示位置にＡＲ情報を表示する（Ｓ１３２７）。その後、処理はＳ１３２１に戻る。 Subsequently, the AR information display unit of the AR information display device 10 determines whether or not the display position of the AR information is within the range specified from the range specifying information (S1326). When the display position of the AR information is within the range specified from the range specifying information (S1326: YES), the AR information display unit displays the AR information at the display position obtained in S1325 of the display screen 131 (S1327). After that, the process returns to S1321.

一方、ＡＲ情報の表示位置が範囲特定情報から特定される範囲内でない場合（Ｓ１３２６：ＮＯ）、ＡＲ情報表示部は、Ｓ１３２５で求めた表示位置が存在する方向を示す情報や、ＡＲ情報が変更された旨の情報等を含む代替のＡＲ情報（ＡＲオブジェクト）を表示画面１３１に表示する（Ｓ１３２８）。その後、処理はＳ１３２１に戻る。 On the other hand, when the display position of the AR information is not within the range specified from the range specifying information (S1326: NO), the AR information display unit changes the information indicating the direction in which the display position obtained in S1325 exists or the AR information. The alternative AR information (AR object) including the information to that effect is displayed on the display screen 131 (S1328). After that, the process returns to S1321.

以上に説明したように、第３実施形態のＡＲ情報提供システム１においては、ＡＲ情報表示装置１０からＡＲ情報提供装置２０に範囲特定情報を送信せず、ＡＲ情報提供装置２０は、ＡＲ情報表示装置１０から送られてくる画像データに基づくカメラ画像をＡＲ情報に重ねて表示装置２４に表示しつつ、ユーザとの対話処理によりＡＲ情報の設定を行う。そのため、ＡＲ情報提供装置２０側では画像データと範囲特定情報の対応をとる必要がなく、通信量の増大を抑えつつ効率よくＡＲ情報提供装置２０からＡＲ情報表示装置１０にＡＲ情報を提供することができる。 As described above, in the AR information providing system 1 of the third embodiment, the range specifying information is not transmitted from the AR information display device 10 to the AR information providing device 20, and the AR information providing device 20 displays the AR information. The AR information is set by interactive processing with the user while displaying the camera image based on the image data sent from the device 10 on the AR information and displaying it on the display device 24. Therefore, it is not necessary for the AR information providing device 20 to correspond between the image data and the range specifying information, and the AR information providing device 20 efficiently provides the AR information to the AR information display device 10 while suppressing an increase in the amount of communication. Can be done.

ところで、本発明は以上に説明した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また上記実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 By the way, it goes without saying that the present invention is not limited to the embodiments described above, and various modifications can be made without departing from the gist thereof. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to add / delete / replace a part of the configuration of the above embodiment with another configuration.

また上記の各構成、機能部、処理部、処理手段等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ等の記録装置、又はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。 Further, each of the above configurations, functional units, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD, or a recording medium such as an IC card, an SD card, or a DVD.

また上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。例えば、実際にはほとんど全ての構成が相互に接続されていると考えてもよい。 Further, in each of the above figures, the control lines and information lines are shown as necessary for explanation, and not all the control lines and information lines in the implementation are necessarily shown. For example, in practice almost all configurations may be considered interconnected.

また以上に説明した各装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態はＡＲ情報提供システム１が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。 Further, the arrangement form of various functional units, various processing units, and various databases of each device described above is only an example. The arrangement form of the various function units, the various processing units, and the various databases can be changed to the optimum arrangement form from the viewpoint of the performance, processing efficiency, communication efficiency, and the like of the hardware and software included in the AR information providing system 1.

また前述したデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。 Further, the above-mentioned database configuration (schema, etc.) can be flexibly changed from the viewpoints of efficient use of resources, improvement of processing efficiency, improvement of access efficiency, improvement of search efficiency, and the like.

１ ＡＲ情報提供システム、３ ＡＲ情報利用者、４ ＡＲ情報提供者、５ 通信ネットワーク、６ ＡＲ情報、７ 位置情報、８ 地図情報、１０ ＡＲ情報表示装置、１１１
ＡＲ情報表示ＰＧ（ＡＲ情報表示部）、１１２ 範囲特定情報取得ＰＧ（範囲特定情報
取得部）、１１３ 範囲特定情報送信ＰＧ（範囲特定情報送信部）、１１４ ＡＲ情報受信ＰＧ（ＡＲ情報受信部）、１１５ 画像データ送信ＰＧ（画像データ送信部）、１１６
範囲特定情報履歴記憶ＰＧ（範囲特定情報履歴記憶部）、１１７ 範囲特定情報履歴特定ＰＧ（範囲特定情報履歴特定部）、１２１ ＡＲ情報、１２２ 地図情報、１２３ マーカ情報、１２４ 範囲特定情報履歴、２０ ＡＲ情報提供装置、２１１ 範囲特定情報受信ＰＧ（範囲特定情報受信部）、２１２ 画像データ受信ＰＧ（画像データ受信部）、２１３ ＡＲ情報設定ＰＧ（ＡＲ情報設定部）、２１４ ＡＲ情報送信ＰＧ（ＡＲ情報送信部）、２２１ ＡＲ情報、２２２ 地図情報 1 AR information providing system, 3 AR information user, 4 AR information provider, 5 communication network, 6 AR information, 7 location information, 8 map information, 10 AR information display device, 111
AR information display PG (AR information display unit), 112 range specific information acquisition PG (range specific information acquisition unit), 113 range specific information transmission PG (range specific information transmission unit), 114 AR information reception PG (AR information reception unit) , 115 Image data transmission PG (image data transmission unit), 116
Range specific information history storage PG (range specific information history storage unit) 117 Range specific information history specific PG (range specific information history specific unit), 121 AR information, 122 map information, 123 marker information, 124 range specific information history, 20 AR information providing device, 211 range specific information receiving PG (range specific information receiving unit), 212 image data receiving PG (image data receiving unit), 213 AR information setting PG (AR information setting unit), 214 AR information transmitting PG (AR) Information transmitter), 221 AR information, 222 map information

Claims (6)

第１情報処理装置と、
前記第１情報処理装置と通信可能に接続する第２情報処理装置と、
を含んで構成されるＡＲ情報提供システムであって、
前記第１情報処理装置は、
現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、
前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、
前記範囲特定情報をタイムスタンプに対応づけて蓄積記憶する範囲特定情報履歴記憶部と、
前記所定範囲の画像データを取得する画像データ取得部と、
取得した前記画像データと前記画像データのタイムスタンプとを前記第２情報処理装置に送信する送信部と、
を有し、
前記第２情報処理装置は、
前記画像データを前記タイムスタンプとともに受信する画像データ受信部と、
受信した前記画像データに基づく画像を表示しつつ前記ＡＲ情報の設定に関する操作入力を受け付けるユーザインタフェースと、
設定した前記ＡＲ情報を、前記所定位置を特定する情報である所定位置特定情報及び前記タイムスタンプとともに前記第１情報処理装置に送信するＡＲ情報送信部と、
を有し、
前記第１情報処理装置は、
前記ＡＲ情報とともに前記所定位置特定情報及び前記タイムスタンプを受信するＡＲ情報受信部と、
蓄積記憶している前記範囲特定情報から、受信した前記タイムスタンプに対応する前記範囲特定情報を特定する範囲特定情報履歴特定部と、
を有し、
前記範囲特定情報取得部は、現在の前記範囲特定情報を取得し、
前記ＡＲ情報表示部は、前記特定した範囲特定情報の履歴、受信した前記所定位置特定情報、及び取得した前記現在の範囲特定情報に基づき、受信した前記ＡＲ情報の表示位置を特定し、特定した前記表示位置に基づき前記ＡＲ情報の表示を制御する、
ＡＲ情報提供システム。 The first information processing device and
A second information processing device that is communicably connected to the first information processing device,
It is an AR information providing system composed of
The first information processing device is
An AR information display unit that superimposes AR information on a predetermined position of a landscape in a predetermined range of reality,
A range-specific information acquisition unit that acquires range-specific information, which is information that specifies the predetermined range,
A range-specific information history storage unit that stores and stores the range-specific information in association with a time stamp,
An image data acquisition unit that acquires image data in the predetermined range, and
A transmission unit that transmits the acquired image data and a time stamp of the image data to the second information processing apparatus, and a transmission unit.
Have,
The second information processing device is
An image data receiving unit that receives the image data together with the time stamp,
A user interface that accepts operation input related to the setting of AR information while displaying an image based on the received image data, and
An AR information transmission unit that transmits the set AR information to the first information processing apparatus together with the predetermined position identification information which is the information for specifying the predetermined position and the time stamp.
Have,
The first information processing device is
An AR information receiving unit that receives the predetermined position identification information and the time stamp together with the AR information.
From the stored and stored range-specific information, a range-specific information history-specific unit that specifies the range-specific information corresponding to the received time stamp, and
Have,
The range-specific information acquisition unit acquires the current range-specific information and obtains the current range-specific information.
The AR information display unit identifies and identifies the display position of the received AR information based on the history of the specified range identification information, the received predetermined position identification information, and the acquired current range identification information. Controlling the display of the AR information based on the display position,
AR information provision system. 請求項１に記載のＡＲ情報提供システムであって、
前記所定位置特定情報は、前記所定位置を前記画像データに基づくカメラ画像の座標系で示した情報を含み、
前記ＡＲ情報表示部は、範囲特定情報履歴特定部が特定した前記範囲特定情報の履歴に基づき、前記ＡＲ情報受信部が受信した前記所定位置特定情報を世界座標系で表された情報に変換する、
ＡＲ情報提供システム。 The AR information providing system according to claim 1.
The predetermined position identification information includes information indicating the predetermined position in the coordinate system of the camera image based on the image data.
The AR information display unit converts the predetermined position identification information received by the AR information receiving unit into information represented in the world coordinate system based on the history of the range specifying information specified by the range specifying information history specifying unit. ,
AR information provision system. 請求項１に記載のＡＲ情報提供システムであって、
前記ＡＲ情報表示部は、特定した前記表示位置が前記現在の範囲特定情報で特定される範囲内であれば、前記受信したＡＲ情報を前記表示位置に表示する、
ＡＲ情報提供システム。 The AR information providing system according to claim 1.
The AR information display unit displays the received AR information at the display position if the specified display position is within the range specified by the current range identification information.
AR information provision system. 請求項３に記載のＡＲ情報提供システムであって、
前記ＡＲ情報表示部は、特定した前記表示位置が前記現在の範囲特定情報で特定される範囲内でなければ、前記受信したＡＲ情報が存在する方向を示すＡＲ情報を前記範囲内に表示する、
ＡＲ情報提供システム。 The AR information providing system according to claim 3.
If the specified display position is not within the range specified by the current range specifying information, the AR information display unit displays AR information indicating the direction in which the received AR information exists within the range.
AR information provision system. 現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、 An AR information display unit that superimposes AR information on a predetermined position of a landscape in a predetermined range of reality,
前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、 A range-specific information acquisition unit that acquires range-specific information, which is information that specifies the predetermined range,
前記範囲特定情報をタイムスタンプに対応づけて蓄積記憶する範囲特定情報履歴記憶部と、 A range-specific information history storage unit that stores and stores the range-specific information in association with a time stamp,
前記所定範囲の画像データを取得する画像データ取得部と、 An image data acquisition unit that acquires image data in the predetermined range, and
取得した前記画像データと前記画像データのタイムスタンプとを、通信可能に接続する、前記画像データを前記タイムスタンプとともに受信する画像データ受信部と、受信した前記画像データに基づく画像を表示しつつ前記ＡＲ情報の設定に関する操作入力を受け付けるユーザインタフェースと、設定した前記ＡＲ情報を前記所定位置を特定する情報である所定位置特定情報及び前記タイムスタンプとともに送信してくるＡＲ情報送信部と、を有する他の情報処理装置に送信する送信部と、 The image data receiving unit that connects the acquired image data and the time stamp of the image data in a communicable manner and receives the image data together with the time stamp, and the image based on the received image data is displayed. Other than having a user interface that accepts operation input related to setting AR information, and an AR information transmitting unit that transmits the set AR information together with the predetermined position identification information that is information for specifying the predetermined position and the time stamp. And the transmitter that sends to the information processing device of
前記他の情報処理装置から、前記ＡＲ情報とともに前記所定位置特定情報及び前記タイムスタンプを受信するＡＲ情報受信部と、 An AR information receiving unit that receives the predetermined position identification information and the time stamp together with the AR information from the other information processing device.
蓄積記憶している前記範囲特定情報から、受信した前記タイムスタンプに対応する前記範囲特定情報を特定する範囲特定情報履歴特定部と、 From the stored and stored range-specific information, a range-specific information history-specific unit that specifies the range-specific information corresponding to the received time stamp, and
を有し、 Have,
前記範囲特定情報取得部は、現在の前記範囲特定情報を取得し、 The range-specific information acquisition unit acquires the current range-specific information and obtains the current range-specific information.
前記ＡＲ情報表示部は、前記特定した範囲特定情報の履歴、受信した前記所定位置特定情報、及び取得した前記現在の範囲特定情報に基づき、受信した前記ＡＲ情報の表示位置を特定し、特定した前記表示位置に基づき前記ＡＲ情報の表示を制御する、 The AR information display unit identifies and identifies the display position of the received AR information based on the history of the specified range identification information, the received predetermined position identification information, and the acquired current range identification information. Controlling the display of the AR information based on the display position,
情報処理装置。 Information processing device. 現実の所定範囲の風景の所定位置にＡＲ情報を重ねて表示するＡＲ情報表示部と、前記所定範囲を特定する情報である範囲特定情報を取得する範囲特定情報取得部と、前記範囲特定情報をタイムスタンプに対応づけて蓄積記憶する範囲特定情報履歴記憶部と、前記所定範囲の画像データを取得する画像データ取得部と、取得した前記画像データと前記画像データのタイムスタンプとを送信してくる送信部と、を有する、通信可能に接続する他の情報処理装置から、前記画像データを前記タイムスタンプとともに受信する画像データ受信部と、An AR information display unit that superimposes AR information on a predetermined position of a landscape in an actual predetermined range, a range specific information acquisition unit that acquires range specific information that is information that specifies the predetermined range, and the range specific information. A range specific information history storage unit that is stored and stored in association with a time stamp, an image data acquisition unit that acquires image data in the predetermined range, and the acquired image data and a time stamp of the image data are transmitted. An image data receiving unit that receives the image data together with the time stamp from another information processing device that has a transmitting unit and is communicably connected.
受信した前記画像データに基づく画像を表示しつつ前記ＡＲ情報の設定に関する操作入力を受け付けるユーザインタフェースと、 A user interface that accepts operation input related to the setting of AR information while displaying an image based on the received image data, and
設定した前記ＡＲ情報を、前記所定位置を特定する情報である所定位置特定情報及び前記タイムスタンプとともに前記他の情報処理装置に送信するＡＲ情報送信部と、 An AR information transmission unit that transmits the set AR information to the other information processing device together with the predetermined position identification information and the time stamp which are the information for specifying the predetermined position.
を有する、 Have,
情報処理装置。 Information processing device.
JP2017241437A 2017-12-18 2017-12-18 AR information provision system and information processing equipment Active JP6849582B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017241437A JP6849582B2 (en) 2017-12-18 2017-12-18 AR information provision system and information processing equipment
PCT/JP2018/043209 WO2019123971A1 (en) 2017-12-18 2018-11-22 Ar information providing system and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017241437A JP6849582B2 (en) 2017-12-18 2017-12-18 AR information provision system and information processing equipment

Publications (3)

Publication Number Publication Date
JP2019109319A JP2019109319A (en) 2019-07-04
JP2019109319A5 JP2019109319A5 (en) 2020-05-14
JP6849582B2 true JP6849582B2 (en) 2021-03-24

Family

ID=66993258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017241437A Active JP6849582B2 (en) 2017-12-18 2017-12-18 AR information provision system and information processing equipment

Country Status (2)

Country Link
JP (1) JP6849582B2 (en)
WO (1) WO2019123971A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253567B2 (en) * 2003-03-28 2009-04-15 オリンパス株式会社 Data authoring processor
JP2016012168A (en) * 2014-06-27 2016-01-21 株式会社デジタル Information sharing system
JP6521352B2 (en) * 2014-10-15 2019-05-29 Kddi株式会社 Information presentation system and terminal
JP6540108B2 (en) * 2015-03-09 2019-07-10 富士通株式会社 Image generation method, system, device, and terminal
JP6531007B2 (en) * 2015-08-07 2019-06-12 シャープ株式会社 Mark processing device, program

Also Published As

Publication number Publication date
JP2019109319A (en) 2019-07-04
WO2019123971A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
US10614581B2 (en) Deep image localization
EP2613296B1 (en) Mixed reality display system, image providing server, display apparatus, and display program
CN104331929B (en) Scene of a crime restoring method based on video map and augmented reality
US9129429B2 (en) Augmented reality on wireless mobile devices
JP5582548B2 (en) Display method of virtual information in real environment image
CN109374008A (en) A kind of image capturing system and method based on three mesh cameras
US10868977B2 (en) Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information
US20190222774A1 (en) Head-mounted display apparatus, display system, and method of controlling head-mounted display apparatus
JP6896688B2 (en) Position calculation device, position calculation program, position calculation method, and content addition system
US11668577B1 (en) Methods and systems for response vehicle deployment
JP2017126142A (en) Information processing apparatus, information processing method, and program
JPWO2018088037A1 (en) Control device for movable imaging device, control method for movable imaging device, and program
JP2007052809A (en) System for providing photograph with location and direction and its program
US8903957B2 (en) Communication system, information terminal, communication method and recording medium
JP7109395B2 (en) WORK SUPPORT SYSTEM, WORK SUPPORT DEVICE, AND WORK SUPPORT METHOD
KR20210086207A (en) Method for providng work guide based augmented reality and evaluating work proficiency according to the work guide
JP6849582B2 (en) AR information provision system and information processing equipment
JP2010205030A (en) Method, system and program for specifying related information display position
JP5864371B2 (en) Still image automatic generation system, worker information processing terminal, instructor information processing terminal, and determination device in still image automatic generation system
US11238658B2 (en) AR space image projecting system, AR space image projecting method, and user terminal
KR102143616B1 (en) System for providing performance contents using augmented reality and Method for providing the same
KR20160022482A (en) Military traning monitoring system
JP7179583B2 (en) Image processing device and image processing method
CN115223384B (en) Vehicle data display method and device, electronic equipment and storage medium
JP6348750B2 (en) Electronic device, display method, program, and communication system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

R150 Certificate of patent or registration of utility model

Ref document number: 6849582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250