WO2012133172A1 - Head-mounted display - Google Patents

Head-mounted display Download PDF

Info

Publication number
WO2012133172A1
WO2012133172A1 PCT/JP2012/057491 JP2012057491W WO2012133172A1 WO 2012133172 A1 WO2012133172 A1 WO 2012133172A1 JP 2012057491 W JP2012057491 W JP 2012057491W WO 2012133172 A1 WO2012133172 A1 WO 2012133172A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
head
work
image
status
Prior art date
Application number
PCT/JP2012/057491
Other languages
French (fr)
Japanese (ja)
Inventor
英哲 山田
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011-076773 priority Critical
Priority to JP2011076773A priority patent/JP5423716B2/en
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2012133172A1 publication Critical patent/WO2012133172A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Abstract

Provided are head-mounted displays which, in circumstances in which a plurality of users are performing work, allow each user to easily ascertain the work status of the other users, thus improving overall work efficiency. A head-mounted display acquires, from a server, data of a list of work contents that a user will view when performing work (S23), and displays the list (S24). If a user selects work content from the list (S25:YES), the head-mounted display notifies the server of the display status of the work content (S26), and displays the selected work content (S28). The head-mounted display, if a head-mounted display present in the viewing direction of the user is identified (S36:YES, S37), displays the display status of work content of the identified head-mounted display (S38, S40).

Description

ヘッドマウントディスプレイHead mounted display
 本発明は、作業中のユーザに作業内容を把握させることができるヘッドマウントディスプレイに関する。 The present invention relates to a head-mounted display that allows a user who is working to grasp the work content.
 従来、ユーザの頭部に装着されるヘッドマウントディスプレイを用いて作業中のユーザの作業効率を向上させる技術が知られている。例えば、特許文献1が開示しているヘッドマウントディスプレイは、ユーザの視野方向を撮影するCCDセンサを備える。作業対象(例えば、車)に設けられたバーコードをCCDセンサが撮影すると、ヘッドマウントディスプレイは、撮影したバーコードに対応した画像(例えば、車の内部画像)を表示する。その結果、ユーザは、通常の視野では視認できない画像を視認しながら作業を行うことができる。また、特許文献2が開示しているヘッドマウントディスプレイは、作業手順を表示することでユーザの作業効率の向上を図っている。 Conventionally, a technique for improving the working efficiency of a user who is working using a head mounted display mounted on the user's head is known. For example, a head-mounted display disclosed in Patent Document 1 includes a CCD sensor that captures a user's viewing direction. When the CCD sensor photographs a barcode provided on a work target (for example, a car), the head mounted display displays an image (for example, an internal image of the car) corresponding to the photographed barcode. As a result, the user can perform an operation while visually recognizing an image that cannot be visually recognized in a normal visual field. Moreover, the head mounted display which patent document 2 discloses is aiming at the improvement of a user's work efficiency by displaying a work procedure.
特開2010-200209号公報JP 2010-200909 A 特開2004-101372号公報JP 2004-101372 A
 従来の技術では、ユーザは自分の作業対象・作業手順を確認することはできるが、同時に作業を行っている他のユーザの作業状況をヘッドマウントディスプレイによって確認することはできない。従って、次に行う作業を選択する際に、他のユーザの作業の遅れ等を考慮して最適な判断を行うためには、各ユーザは他のユーザとの会話等を通じて作業状況を自ら確認する必要があった。つまり、複数のユーザが作業を行っている場合に、各ユーザに他のユーザの作業状況を容易に把握させて作業全体の効率を向上させることは、従来の技術では困難であった。 In the conventional technology, the user can check his / her work target and work procedure, but cannot check the work status of other users who are working at the same time on the head mounted display. Therefore, when selecting the work to be performed next, in order to make an optimum determination in consideration of delays in work of other users, each user confirms the work situation himself / herself through conversations with other users. There was a need. In other words, when a plurality of users are working, it is difficult for the conventional technology to make each user easily understand the work status of other users and improve the efficiency of the whole work.
 本発明は、複数のユーザが作業を行っている場合に、各ユーザに他のユーザの作業状況を容易に把握させて作業全体の効率を向上させることができるヘッドマウントディスプレイを提供することを目的とする。 An object of the present invention is to provide a head-mounted display capable of improving the efficiency of the entire work by allowing each user to easily grasp the work status of other users when a plurality of users are working. And
 上記目的を達成するために、本発明のヘッドマウントディスプレイは、ユーザの頭部に装着され、前記ユーザの目に画像を表示する表示手段を有する複数のヘッドマウントディスプレイと、前記複数のヘッドマウントディスプレイの各々との間でデータを送受信することが可能なサーバとを備えた画像表示システムで用いられる前記ヘッドマウントディスプレイであって、前記ユーザが作業を実行する際に視認する作業用コンテンツのリストのデータを前記サーバから取得するリスト取得手段と、前記リスト取得手段によって取得されたデータに従って前記リストを前記表示手段に表示させるリスト表示手段と、前記リスト表示手段によって表示された前記リスト中の作業用コンテンツを選択するための前記ユーザからの指示を受け付ける指示受付手段と、前記指示受付手段によって指示が受け付けられた場合に、前記指示によって選択された作業用コンテンツを前記表示手段に表示させる作業用コンテンツ表示手段と、前記作業用コンテンツ表示手段によって前記表示手段に表示されている作業用コンテンツの表示状況を前記サーバに通知する表示状況通知手段と、前記ユーザの視野方向を撮影する撮影手段から画像データを取得する画像取得手段と、前記画像取得手段によって取得された画像データから、前記視野方向に存在するヘッドマウントディスプレイを識別する識別手段と、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を示すデータを前記サーバから取得する状況取得手段と、前記状況取得手段によって取得されたデータに従って、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を前記表示手段に表示させる状況表示手段と、を備えている。 In order to achieve the above object, a head-mounted display according to the present invention includes a plurality of head-mounted displays mounted on a user's head and having display means for displaying an image of the user's eyes, and the plurality of head-mounted displays. A head-mounted display used in an image display system including a server capable of transmitting / receiving data to / from each of the devices, wherein a list of work contents that the user visually recognizes when performing work List acquisition means for acquiring data from the server; list display means for displaying the list on the display means according to the data acquired by the list acquisition means; and work for the work in the list displayed by the list display means Accept instructions from the user to select content Display accepting means, work content display means for displaying the work content selected by the instruction on the display means when the instruction is accepted by the instruction accepting means, and the display by the work content display means Display status notifying means for notifying the server of the display status of the work content displayed on the means, image acquisition means for acquiring image data from the imaging means for capturing the viewing direction of the user, and the image acquisition means A status of acquiring from the server identification data for identifying a head-mounted display existing in the visual field direction from the acquired image data, and data indicating the display status of the working content of the head-mounted display identified by the identification device Acquisition means and the data acquired by the situation acquisition means. According to another, and a, a status display means for displaying the display status of the work contents of the head-mounted display which is identified on the display means by said identification means.
 このように、前記ヘッドマウントディスプレイは、ユーザによって選択された作業用コンテンツを表示する際に、表示状況をサーバに通知するとともに、さらに、ユーザの視野方向に存在する他のヘッドマウントディスプレイを識別し、識別したヘッドマウントディスプレイにおける作業用コンテンツの表示状況を、サーバから取得したデータに従って表示する。従って、各ユーザは自分が選択した作業用コンテンツを確認できるだけでなく、視野方向にあるヘッドマウントディスプレイの表示状況を容易に把握することができ、そのことで、他のユーザの作業状況をも把握できる。よって、ヘッドマウントディスプレイは、複数のユーザが作業を行っている場合に作業全体の効率を向上させることができる。 In this way, the head-mounted display notifies the server of the display status when displaying the work content selected by the user, and further identifies other head-mounted displays that exist in the user's viewing direction. The display status of the work content on the identified head mounted display is displayed according to the data acquired from the server. Therefore, each user can not only confirm the work content that he / she has selected, but also can easily grasp the display status of the head mounted display in the viewing direction, thereby grasping the work status of other users. it can. Therefore, the head-mounted display can improve the efficiency of the entire work when a plurality of users are working.
 また、前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示中の作業用コンテンツが示す作業の進捗状況を前記表示手段に表示させてもよい。 Further, the status display means may display the progress status of the work indicated by the work content being displayed on the head mounted display identified by the identification means on the display means.
 また、前記状況取得手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示されている作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータを、作業の進捗状況を示すデータとして前記サーバから取得してもよい。 In addition, the status acquisition unit may include data corresponding to at least one of information on the number of pages of work content displayed on the head mounted display identified by the identification unit and information indicating a moving image progress rate. You may acquire from the said server as data which show the progress of work.
 また、前記状況表示手段は、前記状況取得手段によって取得されたデータであり、作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータに従って、作業の進捗状況を表示してもよい。 Further, the status display means is data acquired by the status acquisition means, and the progress of work according to data corresponding to at least one of information on the number of pages of work content and information indicating the progress rate of a moving image. The status may be displayed.
 また、前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイにおいて表示される全ての作業用コンテンツにおける表示中の作業用コンテンツを示す一覧画像を、作業の進捗状況として表示してもよい。 In addition, the status display unit may display a list image indicating the work content being displayed in all the work content displayed on the head mounted display identified by the identification unit as a work progress status. .
 また、前記ヘッドマウントディスプレイは、前記作業用コンテンツ表示手段によって作業用コンテンツが前記表示手段に表示されているか否かを判断する表示判断手段と、前記表示判断手段の判断結果に応じて、前記画像取得手段によって取得された画像データに対する処理を切り替える処理切替手段とをさらに備え、前記処理切替手段は、前記表示判断手段によって作業用コンテンツが表示されていると判断された場合には、前記画像取得手段によって取得された視野方向の画像の画像データを前記サーバに送信する処理を実行し、前記表示判断手段によって作業用コンテンツが表示されていないと判断された場合には、前記識別手段によるヘッドマウントディスプレイの識別処理を実行してもよい。 In addition, the head mounted display includes a display determination unit that determines whether or not work content is displayed on the display unit by the work content display unit, and the image according to a determination result of the display determination unit. A process switching unit that switches a process for the image data acquired by the acquisition unit, and the process switching unit acquires the image when the display determination unit determines that the work content is displayed. When the processing for transmitting the image data of the image in the viewing direction obtained by the means to the server is executed, and it is determined that the work content is not displayed by the display determination means, the head mount by the identification means Display identification processing may be executed.
 また、前記ヘッドマウントディスプレイは、前記識別手段によって識別されたヘッドマウントディスプレイから前記サーバに送信された画像データを前記サーバから取得する送信画像取得手段をさらに備え、前記状況表示手段は、前記送信画像取得手段によって取得された画像データに従って、前記識別手段によって識別されたヘッドマウントディスプレイの視野方向の画像を前記表示手段に表示させてもよい。 The head mounted display further includes transmission image acquisition means for acquiring, from the server, image data transmitted from the head mounted display identified by the identification means to the server, and the status display means includes the transmission image. According to the image data acquired by the acquisition unit, an image in the visual field direction of the head mounted display identified by the identification unit may be displayed on the display unit.
 また、各ユーザが装着する装着物には識別情報が付されており、前記識別手段は、前記画像データに含まれる識別情報を用いてヘッドマウントディスプレイを識別してもよい。 In addition, identification information is attached to an attachment worn by each user, and the identification unit may identify the head mounted display using identification information included in the image data.
画像表示システム100のシステム構成を示す図である。1 is a diagram showing a system configuration of an image display system 100. FIG. ヘッドマウントディスプレイ1の斜視図である。1 is a perspective view of a head mounted display 1. FIG. ヘッドマウントディスプレイ1の電気的構成を示すブロック図である。2 is a block diagram showing an electrical configuration of the head mounted display 1. FIG. 制御装置33の電気的構成を示すブロック図である。3 is a block diagram showing an electrical configuration of a control device 33. FIG. サーバ6の電気的構成を示すブロック図である。3 is a block diagram showing an electrical configuration of a server 6. FIG. サーバ6のHDD64に記憶される表示状況管理データのデータ構成を説明するための説明図である。6 is an explanatory diagram for explaining a data configuration of display status management data stored in an HDD 64 of a server 6. FIG. サーバ6が実行するサーバ処理のフローチャートである。It is a flowchart of the server process which the server 6 performs. ヘッドマウントディスプレイ1が実行する作業中処理のフローチャートである。4 is a flowchart of a process during work executed by the head mounted display 1; リスト画像71の一例を示す図である。It is a figure which shows an example of the list image. 作業用コンテンツ75の一例を示す図である。It is a figure which shows an example of the work content. 撮影画像表示部87を含む状況画像81の一例を示す図である。It is a figure which shows an example of the situation image 81 containing the picked-up image display part 87. FIG. 撮影画像を含まない状況画像91の一例を示す図である。It is a figure which shows an example of the situation image 91 which does not contain a picked-up image.
 以下、本発明を具現化した一実施の形態について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。 Hereinafter, an embodiment embodying the present invention will be described with reference to the drawings. The drawings to be referred to are used for explaining technical features that can be adopted by the present invention. The configuration of the apparatus, the flowcharts of various processes, and the like described in the drawings are not intended to be limited to these, but are merely illustrative examples.
 図1を参照して、本実施の形態に係る画像表示システム100の全体構成について説明する。画像表示システム100は、作業中のユーザの作業効率を向上させるための各種画像をユーザに視認させるシステムである。画像表示システム100は、複数のヘッドマウントディスプレイ1と、サーバ6とを備える。ヘッドマウントディスプレイ1およびサーバ6の各々はネットワーク8に接続している。 With reference to FIG. 1, the overall configuration of the image display system 100 according to the present embodiment will be described. The image display system 100 is a system that allows the user to visually recognize various images for improving the working efficiency of the user who is working. The image display system 100 includes a plurality of head mounted displays 1 and a server 6. Each of the head mounted display 1 and the server 6 is connected to the network 8.
 ヘッドマウントディスプレイ1は、画像表示システム100を利用するユーザが頭部に装着する画像表示装置である。ヘッドマウントディスプレイ1は、画像信号に応じて変調されたレーザ光を2次元方向に走査させて画像光として射出し、ユーザの少なくとも一方の眼の網膜に画像を直接投影する網膜走査型ディスプレイである。しかし、本発明が適用できるのは、網膜走査型のヘッドマウントディスプレイに限られない。例えば、液晶表示素子などの空間光変調素子を画像表示素子として表示した画像を、接眼光学系やハーフミラーを介してユーザの眼に投影することで画像を視認させるヘッドマウントディスプレイにも、本発明は適用できる。ユーザは、ヘッドマウントディスプレイ1が表示した画像と実際の視界とを共に視認することができる。 The head mounted display 1 is an image display device that a user who uses the image display system 100 wears on the head. The head mounted display 1 is a retinal scanning display that projects laser light modulated in accordance with an image signal in a two-dimensional direction and emits the image light as image light, and directly projects an image on the retina of at least one eye of the user. . However, the present invention is not limited to a retinal scanning type head mounted display. For example, the present invention is also applied to a head-mounted display that visually recognizes an image by projecting an image obtained by displaying a spatial light modulation element such as a liquid crystal display element as an image display element onto a user's eye via an eyepiece optical system or a half mirror. Is applicable. The user can view both the image displayed on the head mounted display 1 and the actual field of view.
 ヘッドマウントディスプレイ1は、作業用コンテンツを表示することができる。作業用コンテンツは、ユーザが作業を実行する際に視認するコンテンツであり、作業対象・作業手順等を示す文章、図面、写真、グラフ等からなる。ユーザは、作業用コンテンツを視認しながら作業を行うことで効率よく作業を進めることができる。ヘッドマウントディスプレイ1は、ネットワーク8を介してサーバ6から作業用コンテンツのリストのデータを取得し、リストを表示する。ユーザは、表示されたリストに含まれる作業用コンテンツのうち、実行する作業の作業用コンテンツを選択する。ヘッドマウントディスプレイ1は、選択された作業用コンテンツを表示する。その結果、ユーザは、実行する作業の作業用コンテンツを容易に選択して視認することができる。なお、ヘッドマウントディスプレイ1で表示されるリストでは、各作業について、未着手、完了済、および着手中のいずれであるかが明示される。作業が着手中の場合、作業に着手しているユーザが明示される(図9参照)。 The head mounted display 1 can display work content. The work content is content that is visually recognized by the user when performing work, and includes text, drawings, photographs, graphs, and the like that indicate work targets and work procedures. The user can work efficiently by performing work while visually recognizing the work content. The head-mounted display 1 acquires work content list data from the server 6 via the network 8 and displays the list. The user selects work content for work to be executed from the work content included in the displayed list. The head mounted display 1 displays the selected work content. As a result, the user can easily select and visually recognize the work content of the work to be performed. In the list displayed on the head mounted display 1, it is clearly shown whether each work is unstarted, completed, or started. When the work is underway, the user who has started the work is clearly indicated (see FIG. 9).
 さらに、ヘッドマウントディスプレイ1は、ユーザの視野方向に存在する他のヘッドマウントディスプレイ1を識別することができる。ヘッドマウントディスプレイ1は、識別した他のヘッドマウントディスプレイ1(以下、「識別機器」という。)における作業用コンテンツの表示状況を示すデータを、ネットワーク8を介してサーバ6から取得する。ヘッドマウントディスプレイ1は、識別機器における作業用コンテンツの表示状況を表示することができる。ユーザは、識別機器における作業用コンテンツの表示状況を認識することで、識別機器を使用しているユーザの作業状況を容易に把握した上で次に行う作業を選択することができる。その結果、複数のユーザによって行われている作業全体の効率が向上する。 Furthermore, the head mounted display 1 can identify other head mounted displays 1 existing in the direction of the user's visual field. The head mounted display 1 acquires data indicating the display status of the work content on the other identified head mounted display 1 (hereinafter referred to as “identification device”) from the server 6 via the network 8. The head mounted display 1 can display the display status of the work content in the identification device. By recognizing the display status of the work content on the identification device, the user can easily grasp the work status of the user using the identification device and select the next operation to be performed. As a result, the efficiency of the entire work performed by a plurality of users is improved.
 サーバ6は、リストのデータ、および作業用コンテンツのデータを各ヘッドマウントディスプレイ1に送信する。さらに、サーバ6は、画像表示システム100内の全てのヘッドマウントディスプレイ1における作業用コンテンツの表示状況(作業状況)を管理する。ヘッドマウントディスプレイ1が他のヘッドマウントディスプレイ1を識別すると、サーバ6は、識別機器における表示状況を示すデータをヘッドマウントディスプレイ1に送信する。 The server 6 transmits the list data and the work content data to each head-mounted display 1. Furthermore, the server 6 manages the display status (work status) of work content on all the head mounted displays 1 in the image display system 100. When the head mounted display 1 identifies another head mounted display 1, the server 6 transmits data indicating the display status on the identification device to the head mounted display 1.
 図2を参照して、ヘッドマウントディスプレイ1の物理的構成について説明する。ヘッドマウントディスプレイ1は眼鏡型の表示装置であり、ユーザの網膜に画像を直接投影して画像を視認させることができる。ヘッドマウントディスプレイ1は、頭部装着部2と、出射装置3と、ハーフミラー4とを少なくとも備える。頭部装着部2は、出射装置3を支持し、且つヘッドマウントディスプレイ1をユーザの頭部に固定する。ハーフミラー4は、出射装置3の光出射口に配置される。 The physical configuration of the head mounted display 1 will be described with reference to FIG. The head mounted display 1 is a glasses-type display device, and can directly project an image on a user's retina so that the image can be viewed. The head mounted display 1 includes at least a head mounting portion 2, an emission device 3, and a half mirror 4. The head mounting unit 2 supports the emission device 3 and fixes the head mounted display 1 to the user's head. The half mirror 4 is disposed at the light exit of the exit device 3.
 出射装置3は、画像信号に応じた画像光をハーフミラー4に出射する。ハーフミラー4は、出射装置3に対して固定的な位置にある。ハーフミラー4は、出射装置3が出射した画像光をユーザの眼に向かって反射させる。ハーフミラー4は、例えば所定の反射率(例えば50%)となるように、透明樹脂板に金属薄膜を蒸着することで形成される。その結果、ハーフミラー4は外界からの外光の一部を透過してユーザの眼に導く。つまり、ハーフミラー4は、ユーザの側方から入射した画像光と、外界からの外光とをユーザの眼に入射させる。従って、ユーザは実際の視界と画像光に基づく画像とを視認できる。 The emitting device 3 emits image light corresponding to the image signal to the half mirror 4. The half mirror 4 is in a fixed position with respect to the emission device 3. The half mirror 4 reflects the image light emitted from the emission device 3 toward the user's eyes. The half mirror 4 is formed by evaporating a metal thin film on a transparent resin plate so as to have a predetermined reflectance (for example, 50%), for example. As a result, the half mirror 4 transmits a part of the external light from the outside and guides it to the user's eyes. That is, the half mirror 4 causes image light incident from the side of the user and external light from the outside to enter the user's eyes. Therefore, the user can visually recognize an actual field of view and an image based on image light.
 出射装置3を備える枠部の正面(図2の紙面左下側)には、カメラ5が設置されている。カメラ5はユーザの視野方向を撮影する。カメラ5はヘッドマウントディスプレイ1に内蔵されている必要は無く、小型のカメラをヘッドマウントディスプレイ1に装着して使用してもよい。 A camera 5 is installed on the front surface (lower left side of the drawing in FIG. 2) of the frame portion including the emission device 3. The camera 5 captures the viewing direction of the user. The camera 5 does not need to be built in the head mounted display 1, and a small camera may be mounted on the head mounted display 1 for use.
 ヘッドマウントディスプレイ1は、ケーブル7によって制御装置33に接続される。制御装置は小型・軽量の電子機器であり、ボタンおよび十字キー等からなる操作部38を備える。制御装置は、サーバ6との間の通信、ユーザからの操作入力の受け付け等を行う。 The head mounted display 1 is connected to the control device 33 by a cable 7. The control device is a small and light electronic device, and includes an operation unit 38 including a button and a cross key. The control device performs communication with the server 6, accepts an operation input from the user, and the like.
 図3を参照して、ヘッドマウントディスプレイ1の電気的構成について説明する。ヘッドマウントディスプレイ1は、制御部10、ビデオRAM14、フォントROM15、およびフラッシュメモリ16を備える。制御部10は、CPU11、ROM12、およびRAM13を備える。CPU11はヘッドマウントディスプレイ1の制御を司る。ROM12は、後述する作業中処理(図8参照)を実行するための制御プログラムおよび初期値等を記憶している。RAM13は、制御プログラムで使用される各種情報を一時的に記憶する。ビデオRAM14、フォントROM15、およびフラッシュメモリ16は、バスを介して制御部10と電気的に接続されている。制御部10は、ビデオRAM14、フォントROM15、およびフラッシュメモリ16に記憶された情報を適宜参照できる。 The electrical configuration of the head mounted display 1 will be described with reference to FIG. The head mounted display 1 includes a control unit 10, a video RAM 14, a font ROM 15, and a flash memory 16. The control unit 10 includes a CPU 11, a ROM 12, and a RAM 13. The CPU 11 controls the head mounted display 1. The ROM 12 stores a control program, an initial value, and the like for executing a work process (see FIG. 8) described later. The RAM 13 temporarily stores various information used in the control program. The video RAM 14, font ROM 15, and flash memory 16 are electrically connected to the control unit 10 via a bus. The control unit 10 can refer to information stored in the video RAM 14, font ROM 15, and flash memory 16 as appropriate.
 ヘッドマウントディスプレイ1は、カメラ制御回路17、充電制御回路18、および機器接続インタフェイス19を備える。カメラ制御回路17はカメラ5を制御する。カメラ制御回路17は、バスを介して制御部10と電気的に接続している。従って、制御部10はカメラ5に撮影を実行させて、カメラ5が撮影した画像データを取得することができる。充電制御回路18は、ヘッドマウントディスプレイ1を駆動する電源となる電池9に接続し、電池9の充電を制御する。機器接続インタフェイス19は、ケーブル7(図2参照)を介したデータ通信を制御する。機器接続インタフェイス19は、バスを介して制御部10と電気的に接続している。従って、制御部10は、制御装置33との間でデータの入出力を行うことができる。 The head mounted display 1 includes a camera control circuit 17, a charge control circuit 18, and a device connection interface 19. The camera control circuit 17 controls the camera 5. The camera control circuit 17 is electrically connected to the control unit 10 via a bus. Therefore, the control unit 10 can cause the camera 5 to perform shooting and acquire image data captured by the camera 5. The charge control circuit 18 is connected to the battery 9 serving as a power source for driving the head mounted display 1 and controls charging of the battery 9. The device connection interface 19 controls data communication via the cable 7 (see FIG. 2). The device connection interface 19 is electrically connected to the control unit 10 via a bus. Therefore, the control unit 10 can input / output data to / from the control device 33.
 ヘッドマウントディスプレイ1は、ユーザに画像を視認させる表示部20を備える。表示部20は、画像信号処理部21、レーザ群26、およびレーザドライバ群30を備える。画像信号処理部21は、画像信号を制御部10から受信する。画像信号処理部21は、受信した画像信号を、ユーザの網膜に直接投影するために必要な各信号に変換する。レーザ群26は、青色出力レーザ(Bレーザ)27、緑色出力レーザ(Gレーザ)28、赤色出力レーザ(Rレーザ)29を含む。レーザ群26は、青色、緑色、および赤色のレーザ光を出力する。レーザドライバ群30は、画像信号処理部21から入力した信号に応じてレーザ群26を制御する。 The head mounted display 1 includes a display unit 20 that allows a user to visually recognize an image. The display unit 20 includes an image signal processing unit 21, a laser group 26, and a laser driver group 30. The image signal processing unit 21 receives an image signal from the control unit 10. The image signal processing unit 21 converts the received image signal into signals necessary for direct projection onto the user's retina. The laser group 26 includes a blue output laser (B laser) 27, a green output laser (G laser) 28, and a red output laser (R laser) 29. The laser group 26 outputs blue, green, and red laser beams. The laser driver group 30 controls the laser group 26 according to the signal input from the image signal processing unit 21.
 表示部20は、垂直走査ミラー22、垂直走査制御回路23、水平走査ミラー24、および水平走査制御回路25を備えている。垂直走査ミラー22は、レーザ群26から出力されたレーザ光を垂直方向に反射、搖動させることで垂直走査を行う。そして、水平走査ミラー24は、前記垂直走査ミラー22で垂直走査されたレーザ光を水平方向に反射、搖動させることで水平走査を行う。その結果、前記レーザ光は2次元方向に走査して出力される。なお、垂直走査制御回路23は、画像信号処理部21から入力した信号に応じて垂直走査ミラー22の駆動制御を行、水平走査制御回路25は、画像信号処理部21から入力した信号に応じて水平走査ミラー24の駆動制御を行う。 The display unit 20 includes a vertical scanning mirror 22, a vertical scanning control circuit 23, a horizontal scanning mirror 24, and a horizontal scanning control circuit 25. The vertical scanning mirror 22 performs vertical scanning by reflecting and swinging the laser beam output from the laser group 26 in the vertical direction. The horizontal scanning mirror 24 performs horizontal scanning by reflecting and swinging the laser beam vertically scanned by the vertical scanning mirror 22 in the horizontal direction. As a result, the laser beam is scanned and output in a two-dimensional direction. The vertical scanning control circuit 23 performs drive control of the vertical scanning mirror 22 in accordance with the signal input from the image signal processing unit 21, and the horizontal scanning control circuit 25 performs the control in response to the signal input from the image signal processing unit 21. Drive control of the horizontal scanning mirror 24 is performed.
 画像信号処理部21は、バスを介して制御部10と電気的に接続している。従って、画像信号処理部21は、制御部10から受信した画像信号に応じた色およびタイミングで、レーザ群26の各レーザ27~29からレーザ光を出力させることができる。さらに、画像信号処理部21は、制御部10から受信した画像信号に応じた方向へレーザ光を反射させることができる。その結果、ヘッドマウントディスプレイ1は、画像信号に応じた光束を2次元方向に走査し、走査した光をユーザの眼に導いて網膜上に画像を形成することができる。 The image signal processing unit 21 is electrically connected to the control unit 10 via a bus. Therefore, the image signal processing unit 21 can output laser beams from the lasers 27 to 29 of the laser group 26 with colors and timings corresponding to the image signals received from the control unit 10. Further, the image signal processing unit 21 can reflect the laser light in a direction corresponding to the image signal received from the control unit 10. As a result, the head mounted display 1 can scan a light beam according to an image signal in a two-dimensional direction and guide the scanned light to the user's eyes to form an image on the retina.
 図4を参照して、制御装置33の電気的構成について説明する。制御装置33は、ヘッドマウントディスプレイ1をネットワーク8に接続し、且つユーザからの操作入力を受け付ける機器である。制御装置33では、CPU34、ROM35、RAM36、およびI/Oインタフェイス40がバスを介して接続されている。CPU34は、制御装置33の通信処理等を司る。ROM35は各種制御プログラムおよび初期値等を記憶している。RAM36は情報を一時的に記憶する。I/Oインタフェイス40には、外部通信インタフェイス37、操作部38、および機器接続インタフェイス39が接続されている。外部通信インタフェイス37は制御装置33をネットワーク8に接続する。操作部38はユーザによって操作され、操作信号をI/Oインタフェイス40に出力する。機器接続インタフェイス39は、ケーブル7を介して制御装置33をヘッドマウントディスプレイ1に接続する。なお、操作部38の代わりに、ユーザが発した指示音声を入力するマイクを備えてもよい。この場合、ヘッドマウントディスプレイ1は、マイクから入力された指示音声に対して周知の音声認識処理を実行し、指示内容を判断すればよい。 The electrical configuration of the control device 33 will be described with reference to FIG. The control device 33 is a device that connects the head mounted display 1 to the network 8 and receives an operation input from a user. In the control device 33, a CPU 34, a ROM 35, a RAM 36, and an I / O interface 40 are connected via a bus. The CPU 34 manages communication processing of the control device 33. The ROM 35 stores various control programs and initial values. The RAM 36 temporarily stores information. An external communication interface 37, an operation unit 38, and a device connection interface 39 are connected to the I / O interface 40. The external communication interface 37 connects the control device 33 to the network 8. The operation unit 38 is operated by the user and outputs an operation signal to the I / O interface 40. The device connection interface 39 connects the control device 33 to the head mounted display 1 via the cable 7. Instead of the operation unit 38, a microphone for inputting instruction voices uttered by the user may be provided. In this case, the head mounted display 1 may perform a well-known voice recognition process on the instruction voice input from the microphone and determine the instruction content.
 図5を参照して、サーバ6の電気的構成について説明する。サーバ6では、CPU61、ROM62、およびRAM63がI/Oインタフェイス66に接続されている。I/Oインタフェイス66には、ハードディスクドライブ(以下、「HDD」という。)64および外部通信インタフェイス65が接続されている。CPU61は、サーバ6の制御を司る。ROM62は各種制御プログラムおよび初期値等を記憶している。RAM63は情報を一時的に記憶する。HDD64は不揮発性の記憶装置であり、後述するサーバ処理(図7参照)を実行するためのサーバプログラム、表示状況管理データ(図6参照)等を記憶する。なお、サーバプログラムは、ネットワーク8を経由してダウンロードしてもよいし、CD-ROMドライブ等の読取装置(図示外)を用いて記憶媒体から読み取ってもよい。外部通信インタフェイス65は、サーバ6をネットワーク8に接続する。 The electrical configuration of the server 6 will be described with reference to FIG. In the server 6, a CPU 61, a ROM 62, and a RAM 63 are connected to the I / O interface 66. A hard disk drive (hereinafter referred to as “HDD”) 64 and an external communication interface 65 are connected to the I / O interface 66. The CPU 61 controls the server 6. The ROM 62 stores various control programs and initial values. The RAM 63 temporarily stores information. The HDD 64 is a non-volatile storage device, and stores a server program for executing server processing (see FIG. 7) described later, display status management data (see FIG. 6), and the like. The server program may be downloaded via the network 8 or read from a storage medium using a reading device (not shown) such as a CD-ROM drive. The external communication interface 65 connects the server 6 to the network 8.
 図6を参照して、サーバ6がHDD64に記憶する表示状況管理データについて説明する。表示状況管理データは、各作業用コンテンツの表示状況に関するデータである。ヘッドマウントディスプレイ1は、表示状況管理データに基づいて画像を表示することで、各作業の進捗状況をユーザに把握させることができる。図6に示す例では、作業番号「1」から「6」の6つの作業用コンテンツが用意されている。1つの作業は、1または複数の工程からなる。各作業用コンテンツには1または複数のページが含まれており、1つのページが1つの工程に対応する。 The display status management data stored in the HDD 64 by the server 6 will be described with reference to FIG. The display status management data is data relating to the display status of each work content. The head mounted display 1 displays the image based on the display status management data, thereby allowing the user to grasp the progress status of each work. In the example shown in FIG. 6, six work contents with work numbers “1” to “6” are prepared. One operation consists of one or a plurality of steps. Each work content includes one or more pages, and one page corresponds to one process.
 各作業用コンテンツに対して記憶されるデータには、「ページ数」、「ページの表示時間」、「担当したユーザ」、および「進捗状況」のデータがある。「ページ数」は、1つの作業用コンテンツに含まれる全ページのうち表示中のページを示すデータである。例えば、作業番号「2」の「工程3/5」は、全ページ数(全工程)が5であり、且つ表示中のページ数が3ページ目(実行中の工程が3番目の工程)であることを示す。最後まで表示が完了した作業用コンテンツについては、「ページ数」のデータは消去される(作業番号「1」参照)。 The data stored for each work content includes data of “number of pages”, “page display time”, “user in charge”, and “progress status”. “Number of pages” is data indicating a page being displayed among all pages included in one work content. For example, in the “process 3/5” of the work number “2”, the total number of pages (all processes) is 5, and the number of displayed pages is the third page (the process being executed is the third process). Indicates that there is. For the work content that has been displayed to the end, the data of “number of pages” is deleted (see work number “1”).
 「ページの表示時間」は、表示中のページが表示されている時間である。作業用コンテンツが動画である場合、「ページの表示時間」は動画の進行割合を示すことになる。つまり、あらかじめ設定された動画の再生時間を「ページの表示時間」で割ることで、動画の進行割合を算出できる。 “Page display time” is the time during which the currently displayed page is displayed. When the working content is a moving image, the “page display time” indicates the progress rate of the moving image. In other words, the progress rate of the moving image can be calculated by dividing the reproduction time of the moving image set in advance by the “page display time”.
 「担当したユーザ」は、作業用コンテンツを表示したヘッドマウントディスプレイ1のユーザを示すデータである。つまり、「担当したユーザ」は、作業用コンテンツを視認しながら作業を実行した、または実行しているユーザとなる。なお、各ヘッドマウントディスプレイ1にはIDが付されている。サーバ6は、各ヘッドマウントディスプレイ1のIDと、登録されたユーザ名とを対応付けて、HDD64に記憶している。従って、ヘッドマウントディスプレイ1のIDが判明すれば、そのヘッドマウントディスプレイ1を使用するユーザも判明する。 “The user in charge” is data indicating the user of the head mounted display 1 that displayed the work content. That is, the “user in charge” is a user who has performed or is performing the work while viewing the work content. Each head mounted display 1 is given an ID. The server 6 stores the ID of each head mounted display 1 and the registered user name in the HDD 64 in association with each other. Therefore, if the ID of the head mounted display 1 is determined, the user who uses the head mounted display 1 is also determined.
 「進捗状況」は、作業の進捗状況を示すデータである。「進捗状況」のデータは、「ページ数」および「ページの表示時間」の少なくともいずれかのデータから作成される。図6に示す例では、サーバ6のCPU61は作業番号「2」の作業について、全5ページからなる作業用コンテンツのうち3ページ目が表示されている段階であるため、進捗状況を60%としている。また、CPU61は、作業番号「4」の作業について、1分40秒の動画からなる作業用コンテンツの表示が開始されてから5秒が経過した段階であるため、進捗状況を5%としている。なお、表示が完了した作業用コンテンツには「済」、未だ表示されていない作業用コンテンツには「未着手」が記憶される。 “Progress status” is data indicating the progress status of the work. The “progress status” data is created from at least one of “number of pages” and “page display time”. In the example shown in FIG. 6, the CPU 61 of the server 6 is in a stage where the third page of the work content consisting of all five pages is displayed for the work with the work number “2”. Yes. Further, the CPU 61 sets the progress status to 5% since the work of the work number “4” is in a stage where 5 seconds have elapsed since the display of the work content including the moving image of 1 minute 40 seconds is started. Note that “completed” is stored for the work content that has been displayed, and “not yet started” is stored for the work content that has not yet been displayed.
 図7を参照して、サーバ6が実行するサーバ処理について説明する。サーバ6のHDD64には、サーバ処理を実行するためのサーバプログラムが記憶されている。サーバ6のCPU61は、作業を開始する指示をヘッドマウントディスプレイ1から入力すると、図7に示すサーバ処理を実行する。 The server process executed by the server 6 will be described with reference to FIG. The HDD 64 of the server 6 stores a server program for executing server processing. When the CPU 61 of the server 6 inputs an instruction to start work from the head mounted display 1, the CPU 61 executes the server process shown in FIG.
 サーバ処理が開始されると、作業用コンテンツのリストの送信要求をいずれかのヘッドマウントディスプレイ1から受信したか否かが判断される(S11)。受信していなければ(S11:NO)、処理はそのままS13の判断へ移行する。リストの送信要求を受信した場合(S11:YES)、表示状況管理データ(図6参照)に基づいて、作業用コンテンツのリストのデータが作成される。作成されたリストのデータが、リストを要求したヘッドマウントディスプレイ1に送信される(S12)。処理はS13へ移行する。ヘッドマウントディスプレイ1は、サーバ6から受信したデータに基づいてリスト画像71(図9参照)を表示するが、この詳細は後述する。 When the server process is started, it is determined whether or not a transmission request for a list of work contents has been received from any of the head mounted displays 1 (S11). If it has not been received (S11: NO), the process proceeds directly to the determination of S13. When a list transmission request is received (S11: YES), work content list data is created based on display status management data (see FIG. 6). The created list data is transmitted to the head mounted display 1 that requested the list (S12). The process proceeds to S13. The head mounted display 1 displays a list image 71 (see FIG. 9) based on the data received from the server 6, and details thereof will be described later.
 次いで、いずれかのヘッドマウントディスプレイ1から表示状況を受信したか否かが判断される(S13)。詳細は後述するが、ヘッドマウントディスプレイ1は、表示中の作業用コンテンツおよびそのページ数を、作業用コンテンツの表示状況として、ページの表示開始時にサーバ6に送信(通知)する。表示状況を受信していなければ(S13:NO)、処理はそのままS17の判断へ移行する。表示状況を受信した場合(S13:YES)、表示状況管理データ(図6参照)のうち該当する作業用コンテンツのデータが更新される。詳細には、表示状況の送信元のヘッドマウントディスプレイ1のID、およびユーザ名が記憶される(S14)。表示中のページ数が記憶される(S15)。ページの表示時間の計測が開始される(S16)。 Next, it is determined whether a display status is received from any of the head mounted displays 1 (S13). As will be described in detail later, the head mounted display 1 transmits (notifies) the working content being displayed and the number of pages to the server 6 at the start of page display as the working content display status. If the display status has not been received (S13: NO), the process proceeds directly to the determination in S17. When the display status is received (S13: YES), the data of the corresponding work content in the display status management data (see FIG. 6) is updated. Specifically, the ID of the head mounted display 1 that is the transmission source of the display status and the user name are stored (S14). The number of pages being displayed is stored (S15). Measurement of the page display time is started (S16).
 次いで、いずれかのヘッドマウントディスプレイ1から、識別機器についての表示状況データの送信要求を受信したか否かが判断される(S17)。詳細は後述するが、ヘッドマウントディスプレイ1は、他のヘッドマウントディスプレイ1を識別すると、識別機器についての表示状況データの送信をサーバ6に要求する。表示状況データは、作業用コンテンツの表示状況を示す状況画像81、91(図11および図12参照)を表示するためのデータである。送信要求を受信していなければ(S17:NO)、処理はそのままS19の判断へ移行する。表示状況データの送信要求を受信すると(S17:YES)、表示状況管理データ(図6参照)に基づいて、識別機器の表示状況データが作成される。作成された表示状況データが、データの送信を要求したヘッドマウントディスプレイ1に送信される(S18)。処理はS19へ移行する。リストに含まれる全ての作業が終了していなければ(S19:NO)、処理はS11の判断へ戻り、S11~S19の処理が繰り返される。全ての作業が終了すると(S19:YES)、サーバ処理は終了する。 Next, it is determined whether or not a display status data transmission request for the identification device has been received from any of the head mounted displays 1 (S17). As will be described in detail later, when the head mounted display 1 identifies another head mounted display 1, the head mounted display 1 requests the server 6 to transmit display status data regarding the identification device. The display status data is data for displaying status images 81 and 91 (see FIGS. 11 and 12) indicating the display status of the work content. If no transmission request has been received (S17: NO), the process proceeds directly to the determination in S19. When the display status data transmission request is received (S17: YES), the display status data of the identification device is created based on the display status management data (see FIG. 6). The created display status data is transmitted to the head mounted display 1 that has requested transmission of data (S18). The process proceeds to S19. If all the operations included in the list have not been completed (S19: NO), the process returns to the determination of S11, and the processes of S11 to S19 are repeated. When all the operations are completed (S19: YES), the server process ends.
 図8から図12を参照して、ヘッドマウントディスプレイ1が実行する作業中処理について説明する。ヘッドマウントディスプレイ1のROM12には、作業中処理を実行するための制御プログラムが記憶されている。ヘッドマウントディスプレイ1のCPU11は、作業中処理を開始する指示を操作部38から入力すると、図8に示す作業中処理を実行する。 Referring to FIG. 8 to FIG. 12, the in-work processing executed by the head mounted display 1 will be described. The ROM 12 of the head mounted display 1 stores a control program for executing processing during work. When the CPU 11 of the head mounted display 1 inputs an instruction to start the work process from the operation unit 38, the CPU 11 executes the work process shown in FIG.
 作業中処理が開始されると、起動処理が実行される(S21)。操作部38から電源オフの指示を入力したか否かが判断される(S22)。電源オフの指示を入力していなければ(S22:NO)、作業用コンテンツのリストの送信要求がサーバ6に送信され、リストのデータがサーバ6から取得される(S23)。取得されたリストのデータに基づいて、リスト画像71が表示される(S24)。 When the in-work process is started, a startup process is executed (S21). It is determined whether a power-off instruction has been input from the operation unit 38 (S22). If the power-off instruction has not been input (S22: NO), a work content list transmission request is transmitted to the server 6, and the list data is acquired from the server 6 (S23). A list image 71 is displayed based on the acquired list data (S24).
 図9に示すように、リスト画像71は、ユーザが作業を実行する際に視認する作業用コンテンツのリストを示す画像である。前述したように、リストのデータは表示状況管理データ(図6参照)に基づいて作成される。よって、ヘッドマウントディスプレイ1は、完了した作業、着手中の作業、および未着手の作業を把握できるように、リスト画像71を表示することができる。本実施の形態のリスト画像71には、6個の作業用コンテンツの各々の表示状況(作業の進行状況)を示す詳細リスト72と、6個の作業の進行手順を示す手順リスト73とが表示される。従って、ユーザは、各作業の進行状況の詳細と作業全体の手順とを共に容易に把握することができる。 As shown in FIG. 9, the list image 71 is an image showing a list of work contents visually recognized when the user performs the work. As described above, the list data is created based on the display status management data (see FIG. 6). Therefore, the head mounted display 1 can display the list image 71 so that the completed work, the work being started, and the work not yet started can be grasped. In the list image 71 of the present embodiment, a detailed list 72 indicating the display status (work progress status) of each of the six work contents and a procedure list 73 indicating the progress procedure of the six tasks are displayed. Is done. Therefore, the user can easily grasp both the details of the progress of each work and the procedure of the whole work.
 図8の説明に戻る。リスト画像71が表示されると、リスト画像71に表示された作業用コンテンツが選択されたか否かが判断される(S25)。選択されていなければ(S25:NO)、処理はS22の判断へ戻る。従って、リスト画像71には常に最新の表示状況管理データ(図6参照)が反映される。ユーザは作業を開始する場合、制御装置33の操作部38(図2および図4参照)を操作し、リスト画像71において「未着手」と表示された作業用コンテンツを選択する。作業用コンテンツが選択されると(S25:YES)、作業用コンテンツの表示状況がサーバ6に通知される(S26)。詳細には、選択されて表示される作業用コンテンツおよびページ数の情報がサーバ6へ送信される。カメラ5が撮影した画像データのサーバ6への送信が開始される(S27)。選択された作業用コンテンツが表示される(S28)。なお、詳細は後述するが、サーバ6へ送信された画像データは、次に実行する作業を選択する他のユーザのヘッドマウントディスプレイ1に転送される。 Returning to the explanation of FIG. When the list image 71 is displayed, it is determined whether or not the work content displayed on the list image 71 is selected (S25). If not selected (S25: NO), the process returns to the determination of S22. Therefore, the list image 71 always reflects the latest display status management data (see FIG. 6). When starting the work, the user operates the operation unit 38 (see FIGS. 2 and 4) of the control device 33 and selects the work content displayed as “Not started” in the list image 71. When the work content is selected (S25: YES), the display status of the work content is notified to the server 6 (S26). Specifically, the work content to be selected and displayed and the information on the number of pages are transmitted to the server 6. Transmission of image data captured by the camera 5 to the server 6 is started (S27). The selected work content is displayed (S28). Although details will be described later, the image data transmitted to the server 6 is transferred to the head mounted display 1 of another user who selects the work to be executed next.
 次いで、操作部38に対してページ送り操作が行われたか否かが判断される(S29)。操作が行われていなければ(S29:NO)、同一の作業用コンテンツの表示が継続される(S28)。ページ送り操作が行われると(S29:YES)、ページが更新されることを示す情報がサーバ6へ送信される(S30)。CPU11は、表示中の作業用コンテンツ内の全てのページの表示が終了したか否かを判断することで、作業が完了したか否かを判断する(S31)。全てのページの表示が未だ終了していなければ(S31:NO)、処理はS28へ戻り、更新されたページが表示される。全てのページの表示が終了すると(S31:YES)、次に実行する作業をユーザに選択させるための処理が行われる(S34~S41)。 Next, it is determined whether or not a page turning operation has been performed on the operation unit 38 (S29). If no operation is performed (S29: NO), the display of the same work content is continued (S28). When the page turning operation is performed (S29: YES), information indicating that the page is updated is transmitted to the server 6 (S30). The CPU 11 determines whether or not the work has been completed by determining whether or not the display of all pages in the work content being displayed has been completed (S31). If the display of all pages has not been completed yet (S31: NO), the process returns to S28, and the updated page is displayed. When the display of all pages is completed (S31: YES), a process for causing the user to select a work to be executed next is performed (S34 to S41).
 図10に示すように、作業用コンテンツ75は、ユーザが選択した作業の作業対象・作業手順等をユーザに把握させるためのコンテンツであり、文章、図面、写真、グラフ等からなる。図10に例示する作業用コンテンツ75は、作業情報76、工程情報77、および手順説明図面78を含む。作業情報76は、表示中の作業用コンテンツ75の作業番号および作業名の情報である。工程情報77は、1または複数の工程の概要と実行中の工程とを示す情報である。太枠で囲まれた工程「1」が実行中の工程である。手順説明図面78は、実行中の工程の手順を説明するための図面である。手順説明図面78は静止画および動画のいずれであってもよい。図10に示す状態でユーザがページ送り操作を行うと、実行中の工程が工程「2」に移行し、手順説明図面78は工程「2」の図面に更新される。ユーザは、作業用コンテンツ75を視認しながら作業を行うことで、作業対象・作業手順等を容易に把握して円滑に作業を行うことができる。なお、作業用コンテンツ75は、ユーザの視野方向の一部(図10に示す例では上部)に表示される。従って、ユーザは、作業用コンテンツ75が表示されない部分では実際の視界79を視認することができる。 As shown in FIG. 10, the work content 75 is content for allowing the user to grasp the work target / work procedure of the work selected by the user, and includes text, drawings, photographs, graphs, and the like. The work content 75 illustrated in FIG. 10 includes work information 76, process information 77, and a procedure explanation drawing 78. The work information 76 is information on the work number and work name of the work content 75 being displayed. The process information 77 is information indicating an outline of one or a plurality of processes and a process being executed. The process “1” surrounded by a thick frame is the process being executed. The procedure explanation drawing 78 is a diagram for explaining the procedure of the process being executed. The procedure explanation drawing 78 may be either a still image or a moving image. When the user performs a page turning operation in the state illustrated in FIG. 10, the process being executed shifts to the process “2”, and the procedure explanation drawing 78 is updated to the drawing of the process “2”. The user can easily grasp the work target, work procedure, etc. by performing the work while visually recognizing the work content 75, and can perform the work smoothly. The work content 75 is displayed in a part of the user's visual field direction (upper part in the example shown in FIG. 10). Therefore, the user can visually recognize the actual field of view 79 in the portion where the work content 75 is not displayed.
 図8の説明に戻る。選択された作業用コンテンツの全てのページの表示が終了し、1つの作業が完了したと判断すると(S31:YES)、カメラ5が撮影した画像データのサーバ6への送信が停止される(S34)。カメラ5が撮影した画像データが取得され、取得された画像データに対して画像処理が行われて、画像内の識別コード51が探索される(S35)。図11および図12に示すように、本実施の形態では、各ユーザが装着するヘルメット50に識別コード51が付されている。識別コード51は、それぞれのヘッドマウントディスプレイ1に割り当てられており、識別コード51の各々にヘッドマウントディスプレイ1のIDが対応付けられてフラッシュメモリ16に記憶されている。従って、ヘッドマウントディスプレイ1は、識別コード51を識別することで、カメラ5の撮影範囲(ユーザの視野方向)に存在するヘッドマウントディスプレイ1および装着するユーザを識別することができる。なお、識別コード51が付されるのは、ユーザが装着する装着物であればよく。ヘルメット50に限られない。例えば、ヘッドマウントディスプレイ1の枠部、服、帽子等に識別コード51を付してもよい。また、識別コード51は図11および図12に示すものに限られず、バーコード等の他の識別コードを用いても良い。 Returning to the explanation of FIG. When the display of all pages of the selected work content is completed and it is determined that one work is completed (S31: YES), transmission of the image data captured by the camera 5 to the server 6 is stopped (S34). ). Image data captured by the camera 5 is acquired, image processing is performed on the acquired image data, and an identification code 51 in the image is searched (S35). As shown in FIGS. 11 and 12, in the present embodiment, an identification code 51 is attached to the helmet 50 worn by each user. The identification code 51 is assigned to each head mounted display 1, and the ID of the head mounted display 1 is associated with each identification code 51 and stored in the flash memory 16. Therefore, by identifying the identification code 51, the head mounted display 1 can identify the head mounted display 1 existing in the shooting range of the camera 5 (the user's visual field direction) and the user who wears it. It should be noted that the identification code 51 may be attached to an attachment worn by the user. The helmet 50 is not limited. For example, the identification code 51 may be attached to the frame, clothes, hat, etc. of the head mounted display 1. Further, the identification code 51 is not limited to that shown in FIGS. 11 and 12, and other identification codes such as a barcode may be used.
 カメラ5が撮影した画像内に識別コード51が存在しなければ(S36:NO)、処理はそのままS41の判断へ移行する。識別コード51が存在する場合(S36:YES)、識別コード51に割り当てられているヘッドマウントディスプレイ1のIDが識別される(S37)。その結果、カメラ5の撮像範囲に存在するヘッドマウントディスプレイ1が識別される。次いで、識別されたヘッドマウントディスプレイ1(識別機器)の表示状況データの送信要求がサーバ6に送信され、表示状況データが取得される(S38)。前述したように、表示状況データは、作業用コンテンツの表示状況を示す状況画像81、91(図11および図12参照)を表示するためのデータである。さらに、識別機器のカメラ5が撮影した画像を表示させる場合には、識別機器からサーバ6に送信された画像データがサーバ6から取得される(S39)。S38およびS39の処理で取得されたデータに基づいて、識別機器の状況画像81、91が表示される(S40)。 If the identification code 51 does not exist in the image taken by the camera 5 (S36: NO), the process proceeds to the determination of S41 as it is. When the identification code 51 exists (S36: YES), the ID of the head mounted display 1 assigned to the identification code 51 is identified (S37). As a result, the head mounted display 1 existing in the imaging range of the camera 5 is identified. Next, a transmission request for display status data of the identified head mounted display 1 (identification device) is transmitted to the server 6 to acquire display status data (S38). As described above, the display status data is data for displaying the status images 81 and 91 (see FIGS. 11 and 12) indicating the display status of the work content. Further, when displaying an image taken by the camera 5 of the identification device, image data transmitted from the identification device to the server 6 is acquired from the server 6 (S39). Based on the data acquired in the processes of S38 and S39, the status images 81 and 91 of the identification device are displayed (S40).
 図11を参照して、状況画像81について説明する。状況画像81は、識別機器のカメラ5の撮影画像を表示する場合の一例である。図11に例示する状況画像81は、プログレスバー82および進行割合表示部83を含む。プログレスバー82および進行割合表示部83は、識別機器で表示中の作業用コンテンツが示す作業の進捗状況を表示する。前述したように、作業の進捗状況は、表示されているページのページ数およびページの表示時間の少なくともいずれかによって判断できる(図6参照)。プログレスバー82は進捗状況を棒グラフで表すものであり、進行割合表示部83は進捗状況を数値で表すものである。ユーザは、識別機器を使用しているユーザの作業の進捗状況を、プログレスバー82および進行割合表示部83によって容易に把握することができる。 The situation image 81 will be described with reference to FIG. The situation image 81 is an example when a captured image of the camera 5 of the identification device is displayed. A situation image 81 illustrated in FIG. 11 includes a progress bar 82 and a progress rate display unit 83. The progress bar 82 and the progress rate display unit 83 display the progress of work indicated by the work content being displayed on the identification device. As described above, the progress of work can be determined based on at least one of the number of displayed pages and the page display time (see FIG. 6). The progress bar 82 represents the progress status as a bar graph, and the progress rate display section 83 represents the progress status as a numerical value. The user can easily grasp the progress status of the work of the user using the identification device by the progress bar 82 and the progress rate display unit 83.
 また、図11に例示する状況画像81は、作業内容表示部84およびコメント表示部85を含む。作業内容表示部84は、識別機器を使用するユーザの現在の作業内容を表示する。作業内容表示部84に表示される作業内容は、作業用コンテンツに対応付けてあらかじめ記憶されている。コメント表示部85は各種コメントを表示する。図11に示す例では、各作業用コンテンツを表示する標準時間があらかじめ定められている。1つの作業用コンテンツの表示時間が標準時間未満であれば、ヘッドマウントディスプレイ1は、図11に示す「順調、手伝不要」のコメントを表示する。作業用コンテンツの表示時間が標準時間以上となれば、ヘッドマウントディスプレイは「作業遅延中」等のコメントをコメント表示部85に表示することができる。コメント表示部85に表示するコメントの内容は、サーバ6が決定してヘッドマウントディスプレイ1に通知してもよいし、ヘッドマウントディスプレイ1が「ページの表示時間(図6参照)」の情報をサーバ6から取得して決定してもよい。さらに、図11に例示する状況画像81は、識別機器のカメラ5が撮影した画像を表示する撮影画像表示部87を含む。ユーザは、撮影画像表示部87を視認することで、識別機器を使用するユーザの視線方向の画像を確認することができる。よって、識別機器を使用するユーザの作業の進捗状況をより的確に把握することができる。 Further, the situation image 81 illustrated in FIG. 11 includes a work content display unit 84 and a comment display unit 85. The work content display unit 84 displays the current work content of the user who uses the identification device. The work content displayed on the work content display unit 84 is stored in advance in association with the work content. The comment display unit 85 displays various comments. In the example shown in FIG. 11, a standard time for displaying each work content is determined in advance. If the display time of one work content is less than the standard time, the head mounted display 1 displays the comment “smooth, no help needed” shown in FIG. If the display time of the work content is equal to or longer than the standard time, the head mounted display can display a comment such as “work delay” on the comment display unit 85. The content of the comment displayed on the comment display unit 85 may be determined by the server 6 and notified to the head mounted display 1, or the head mounted display 1 may provide information on “page display time (see FIG. 6)” to the server. 6 may be obtained and determined. Furthermore, the situation image 81 illustrated in FIG. 11 includes a captured image display unit 87 that displays an image captured by the camera 5 of the identification device. The user can confirm the image in the line-of-sight direction of the user who uses the identification device by viewing the captured image display unit 87. Therefore, it is possible to more accurately grasp the progress of the work of the user who uses the identification device.
 図12を参照して、状況画像91について説明する。状況画像91は、識別機器のカメラ5の撮影画像を表示しない場合の一例である。図12に例示する状況画像91は、作業内容表示部92、作業一覧画像表示部93、および工程一覧画像表示部94を含む。作業内容表示部92は、識別機器で表示中の作業用コンテンツが示す作業の内容を表示する。作業一覧画像表示部93では、リスト画像71(図9参照)に含まれる全ての作業用コンテンツの一覧画像が表示され、且つ識別機器で表示されている作業用コンテンツが太枠で示される。従って、ユーザは、識別機器を使用しているユーザが作業全体のうちのどの作業を担当しているのかを容易に把握することができる。工程一覧画像表示部94では、識別機器において表示される1または複数のページ(工程)からなる作業用コンテンツの一覧画像が表示され、且つ識別機器で表示されているページ(工程)が太枠で示される。従って、ユーザは、実行されるべき工程のうちどれだけの工程を識別機器のユーザが完了させたのかを容易に把握することができる。なお、図12に示す状況画像91に撮影画像表示部87(図11参照)を設けてもよいことは言うまでもない。 The situation image 91 will be described with reference to FIG. The situation image 91 is an example of a case where a captured image of the camera 5 of the identification device is not displayed. The situation image 91 illustrated in FIG. 12 includes a work content display unit 92, a work list image display unit 93, and a process list image display unit 94. The work content display unit 92 displays the work content indicated by the work content being displayed on the identification device. In the work list image display unit 93, a list image of all work contents included in the list image 71 (see FIG. 9) is displayed, and the work contents displayed on the identification device are indicated by a thick frame. Therefore, the user can easily grasp which work of the entire work is being handled by the user using the identification device. In the process list image display unit 94, a list image of work contents including one or a plurality of pages (processes) displayed on the identification device is displayed, and the page (process) displayed on the identification device is a thick frame. Indicated. Therefore, the user can easily grasp how many steps to be executed are completed by the user of the identification device. Needless to say, the captured image display unit 87 (see FIG. 11) may be provided in the situation image 91 shown in FIG.
 図8の説明に戻る。状況画像81、91を表示させる処理(S36~S40)が終了すると、作業を移行するための操作が操作部38に入力されたか否かが判断される(S41)。入力されていなければ(S41:NO)、処理はS35へ戻り、S35~S41の処理が繰り返される。作業を移行するための操作が入力されると(S41:YES)、処理はS22の判断へ戻る。その後に電源がオフされなければ(S22:NO)、リスト画像71が再び表示されて、作業者は新たな作業に移行する。電源がオフとされると(S22:YES)、処理は終了する。 Returning to the explanation of FIG. When the process of displaying the situation images 81 and 91 (S36 to S40) is completed, it is determined whether or not an operation for shifting the operation is input to the operation unit 38 (S41). If not input (S41: NO), the process returns to S35, and the processes of S35 to S41 are repeated. When an operation for shifting work is input (S41: YES), the process returns to the determination in S22. If the power is not turned off thereafter (S22: NO), the list image 71 is displayed again, and the worker shifts to a new work. When the power is turned off (S22: YES), the process ends.
 以上説明したように、本実施の形態のヘッドマウントディスプレイ1は、ユーザによって選択された作業用コンテンツを表示する際に、表示状況をサーバに通知する。さらに、ヘッドマウントディスプレイ1は、ユーザの視野方向に存在する他のヘッドマウントディスプレイ1を識別する。識別機器における作業用コンテンツの表示状況を、サーバから取得した表示状況データに従って表示する。従って、各ユーザは自分が選択した作業用コンテンツを確認できるだけでなく、視野方向にある識別機器における作業用コンテンツの表示状況を容易に把握することができる。ユーザは、識別機器における作業用コンテンツの表示状況を把握することで、識別機器を使用しているユーザの作業状況を把握できる。よって、ヘッドマウントディスプレイ1は、複数のユーザが作業を行っている場合に作業全体の効率を向上させることができる。 As described above, the head mounted display 1 according to the present embodiment notifies the server of the display status when displaying the work content selected by the user. Furthermore, the head mounted display 1 identifies another head mounted display 1 existing in the direction of the visual field of the user. The display status of the work content in the identification device is displayed according to the display status data acquired from the server. Accordingly, each user can not only confirm the work content that he / she has selected, but also can easily grasp the display status of the work content on the identification device in the visual field direction. The user can grasp the work status of the user using the identification device by grasping the display status of the work content on the identification device. Therefore, the head mounted display 1 can improve the efficiency of the entire work when a plurality of users are working.
 ヘッドマウントディスプレイ1は、各ユーザが装着する装着物に付されている識別コード51を識別することで、視野方向に存在する他のヘッドマウントディスプレイ1を容易に識別することができる。 The head-mounted display 1 can easily identify other head-mounted displays 1 existing in the visual field direction by identifying the identification code 51 attached to the attachment worn by each user.
 ヘッドマウントディスプレイ1は、識別機器で表示中の作業用コンテンツが示す作業の進捗状況を、状況画像81、91によって表示することができる。従って、ユーザは他のユーザの作業の進捗状況を容易に把握して的確な判断を行うことができ、作業全体の効率がさらに向上する。ヘッドマウントディスプレイ1は、作業用コンテンツのページ数の情報および動画の進行割合(表示時間)の情報の少なくともいずれかに応じた表示状況データを、作業の進捗状況を示すデータとしてサーバ6から取得する。ヘッドマウントディスプレイ1は、取得した表示状況データに従って状況画像81、91を表示する。従って、ユーザは、他のユーザの作業の進捗状況を詳細且つ的確に把握することができる。さらに、ヘッドマウントディスプレイ1は、識別機器で表示される全ての作業用コンテンツにおける表示中の作業用コンテンツ(ページ)を示す一覧画像を、作業の進捗状況として表示させることができる。従って、ユーザは、実行されるべき全ての作業のうちどれだけの作業(工程)を他のユーザが完了させたのかを容易に把握することができる。 The head mounted display 1 can display the progress status of the work indicated by the work content being displayed on the identification device by the situation images 81 and 91. Therefore, the user can easily grasp the progress status of the work of other users and make an accurate determination, and the efficiency of the entire work is further improved. The head mounted display 1 acquires display status data corresponding to at least one of information on the number of pages of work content and information on the progress rate (display time) of moving images from the server 6 as data indicating the work progress status. . The head mounted display 1 displays the situation images 81 and 91 according to the acquired display situation data. Therefore, the user can grasp the progress status of the work of other users in detail and accurately. Furthermore, the head-mounted display 1 can display a list image indicating work contents (pages) being displayed in all work contents displayed on the identification device as work progress statuses. Therefore, the user can easily grasp how much work (process) of all work to be executed has been completed by other users.
 作業用コンテンツが表示されている場合、ユーザは作業中である。作業用コンテンツが表示されていない場合、ユーザは次に行う作業(次に表示させる作業用コンテンツ)を選択する必要がある。ヘッドマウントディスプレイ1は、作業用コンテンツを表示しているか否かに応じて、カメラ5が撮像した画像データに対する処理を切り替える。よって、ユーザの状況に応じた適切な処理を行うことができる。詳細には、ヘッドマウントディスプレイ1は、ユーザが作業中であれば、ユーザの視野方向の画像データをサーバ6に送信する。その結果、他のユーザに視野方向の画像を確認させることができる。一方、ユーザが次に行う作業を選択する場合には、ヘッドマウントディスプレイ1は、画像内の他のヘッドマウントディスプレイ1を識別し、識別機器を使用しているユーザの作業の進捗状況を表示することができる。従って、ヘッドマウントディスプレイ1は無駄な処理が実行されることを防止し、ユーザの状況に応じた適切な処理を行うことができる。ヘッドマウントディスプレイ1は、他のユーザの視野方向の画像を表示することができるため、他のユーザの作業の進捗状況をより容易に把握することができる。 If the work content is displayed, the user is working. When the work content is not displayed, the user needs to select the next work (work content to be displayed next). The head mounted display 1 switches processing for image data captured by the camera 5 depending on whether or not work content is being displayed. Therefore, it is possible to perform appropriate processing according to the user's situation. Specifically, if the user is working, the head mounted display 1 transmits image data in the user's visual field direction to the server 6. As a result, it is possible to cause other users to check the image in the viewing direction. On the other hand, when the user selects an operation to be performed next, the head mounted display 1 identifies the other head mounted display 1 in the image and displays the progress status of the operation of the user using the identification device. be able to. Therefore, the head mounted display 1 can prevent an unnecessary process from being executed, and can perform an appropriate process according to the user's situation. Since the head mounted display 1 can display an image in the viewing direction of another user, it is possible to more easily grasp the progress status of the work of the other user.
 上記実施の形態において、表示部20が本発明の「表示手段」に相当する。図8のS23で作業用コンテンツのリストのデータを取得するCPU11が「リスト取得手段」として機能する。図8のS24でリスト画像71を表示させるCPU11が「リスト表示手段」として機能する。図8のS25で作業用コンテンツの選択指示を受け付けるCPU11が「指示受付手段」として機能する。図8のS28で、選択された作業用コンテンツを表示させるCPU11が「作業用コンテンツ表示手段」として機能する。図8のS26、S30で作業用コンテンツの表示状況をサーバ6に通知するCPU11が「表示状況通知手段」として機能する。図8のS35で画像データをカメラ5から取得するCPU11が「画像取得手段」として機能する。図8のS35でヘッドマウントディスプレイ1を識別するCPU11が「識別手段」として機能する。図8のS38で表示状況データをサーバ6から取得するCPU11が「状況取得手段」として機能する。図8のS40で状況画像81、91を表示させるCPU11が「状況表示手段」として機能する。 In the above embodiment, the display unit 20 corresponds to the “display unit” of the present invention. The CPU 11 that acquires the work content list data in S23 of FIG. 8 functions as a “list acquisition unit”. The CPU 11 that displays the list image 71 in S24 of FIG. 8 functions as “list display means”. The CPU 11 that receives a work content selection instruction in S25 of FIG. 8 functions as an “instruction reception unit”. In S28 of FIG. 8, the CPU 11 that displays the selected work content functions as “work content display means”. The CPU 11 that notifies the server 6 of the display status of the work content in S26 and S30 of FIG. 8 functions as a “display status notification unit”. The CPU 11 that acquires image data from the camera 5 in S35 of FIG. 8 functions as an “image acquisition unit”. The CPU 11 for identifying the head mounted display 1 in S35 of FIG. 8 functions as “identification means”. The CPU 11 that acquires the display status data from the server 6 in S38 of FIG. 8 functions as a “status acquisition unit”. The CPU 11 that displays the situation images 81 and 91 in S40 of FIG. 8 functions as “situation display means”.
 識別コード51が本発明の「識別情報」に相当する。図8のS25で作業用コンテンツの表示を開始させるか否かを判断するCPU11、および、S31で表示中の作業用コンテンツ内の全てのページの表示が終了したか否かを判断するCPU11が「表示判断手段」として機能する。図8のS27、S34、S35で画像データに対する処理を切り替えるCPU11が「処理切替手段」として機能する。図8のS39で識別機器の画像データをサーバ6から取得するCPU11が「送信画像取得手段」として機能する。 The identification code 51 corresponds to “identification information” of the present invention. The CPU 11 that determines whether or not to start the display of the work content in S25 of FIG. 8 and the CPU 11 that determines whether or not the display of all pages in the work content that is being displayed in S31 is completed. It functions as “display determination means”. The CPU 11 that switches processing for image data in S27, S34, and S35 in FIG. 8 functions as a “processing switching unit”. The CPU 11 that acquires the image data of the identification device from the server 6 in S39 of FIG. 8 functions as a “transmission image acquisition unit”.
 本発明は上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、上記実施の形態のヘッドマウントディスプレイ1は、識別機器のユーザの作業の進捗状況を、状況画像81、91によって表示する。しかし、ヘッドマウントディスプレイ1が表示できる画像は、図11および図12に例示した画像に限られない。例えば、ヘッドマウントディスプレイ1は、作業の進捗状況(具体的には、プログレスバー82の表示、進行割合表示部83の表示、工程一覧画像表示部94の表示等)を表示せずに、識別機器で表示されている作業用コンテンツのみを表示してもよい。ユーザは、識別機器で表示されている作業用コンテンツを把握することで、識別機器のユーザが実行している作業を把握することができる。よって、ユーザは、他のユーザが実行している作業を把握した上で、次に自分が実行する作業を円滑に選択することができる。 It goes without saying that the present invention is not limited to the above embodiment, and various modifications are possible. For example, the head mounted display 1 according to the above embodiment displays the progress status of the work of the user of the identification device by the status images 81 and 91. However, the images that can be displayed by the head mounted display 1 are not limited to the images illustrated in FIGS. 11 and 12. For example, the head mounted display 1 does not display the progress status of the work (specifically, display of the progress bar 82, display of the progress rate display unit 83, display of the process list image display unit 94, etc.), and the identification device. Only the work content displayed in (1) may be displayed. The user can grasp the work performed by the user of the identification device by grasping the work content displayed on the identification device. Therefore, the user can smoothly select the work to be performed next after grasping the work being performed by another user.
 上記実施の形態では、ヘッドマウントディスプレイ1が状況画像81、91を表示するための表示状況データをサーバ6が作成する。ヘッドマウントディスプレイ1は、表示状況データをサーバ6から取得して状況画像81、91を表示する。しかし、状況画像81.91を表示するヘッドマウントディスプレイ1自身が表示状況データを作成してもよい。この場合、ヘッドマウントディスプレイ1は、識別機器において表示されている作業用コンテンツのページ数の情報、およびページの表示時間の情報をサーバ6から取得し、取得した情報に基づいて表示状況データを作成すればよい。 In the above embodiment, the server 6 creates display status data for the head mounted display 1 to display the status images 81 and 91. The head mounted display 1 acquires display status data from the server 6 and displays the status images 81 and 91. However, the head mounted display 1 itself that displays the situation image 81.91 may create display situation data. In this case, the head mounted display 1 acquires information about the number of pages of work content displayed on the identification device and information about the display time of the page from the server 6, and creates display status data based on the acquired information. do it.
1  ヘッドマウントディスプレイ
5  カメラ
6  サーバ
11  CPU
12  ROM
16  フラッシュメモリ
20  表示部
33  制御装置
38  操作部
51  識別コード
61  CPU
64  HDD
71  リスト画像
75  作業用コンテンツ
81  状況画像
87  撮影画像表示部
91  状況画像
93  作業一覧画像表示部
94  工程一覧画像表示部
100  画像表示システム
1 Head Mount Display 5 Camera 6 Server 11 CPU
12 ROM
16 Flash memory 20 Display unit 33 Control unit 38 Operation unit 51 Identification code 61 CPU
64 HDD
71 List Image 75 Work Content 81 Situation Image 87 Captured Image Display Unit 91 Situation Image 93 Work List Image Display Unit 94 Process List Image Display Unit 100 Image Display System

Claims (8)

  1.  ユーザの頭部に装着され、前記ユーザの目に画像を表示する表示手段を有する複数のヘッドマウントディスプレイと、前記複数のヘッドマウントディスプレイの各々との間でデータを送受信することが可能なサーバとを備えた画像表示システムで用いられる前記ヘッドマウントディスプレイであって、
     前記ユーザが作業を実行する際に視認する作業用コンテンツのリストのデータを前記サーバから取得するリスト取得手段と、
     前記リスト取得手段によって取得されたデータに従って前記リストを前記表示手段に表示させるリスト表示手段と、
     前記リスト表示手段によって表示された前記リスト中の作業用コンテンツを選択するための前記ユーザからの指示を受け付ける指示受付手段と、
     前記指示受付手段によって指示が受け付けられた場合に、前記指示によって選択された作業用コンテンツを前記表示手段に表示させる作業用コンテンツ表示手段と、
     前記作業用コンテンツ表示手段によって前記表示手段に表示されている作業用コンテンツの表示状況を前記サーバに通知する表示状況通知手段と、
     前記ユーザの視野方向を撮影する撮影手段から画像データを取得する画像取得手段と、
     前記画像取得手段によって取得された画像データから、前記視野方向に存在するヘッドマウントディスプレイを識別する識別手段と、
     前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を示すデータを前記サーバから取得する状況取得手段と、
     前記状況取得手段によって取得されたデータに従って、前記識別手段によって識別されたヘッドマウントディスプレイの作業用コンテンツの表示状況を前記表示手段に表示させる状況表示手段と、
     を備えたことを特徴とするヘッドマウントディスプレイ。
    A plurality of head mounted displays mounted on a user's head and having display means for displaying an image of the user's eyes, and a server capable of transmitting and receiving data to and from each of the plurality of head mounted displays; A head-mounted display used in an image display system comprising:
    A list acquisition means for acquiring, from the server, data of a list of work contents to be visually recognized when the user performs work;
    List display means for displaying the list on the display means according to the data acquired by the list acquisition means;
    Instruction accepting means for accepting an instruction from the user for selecting work content in the list displayed by the list display means;
    Work content display means for displaying the work content selected by the instruction on the display means when the instruction is accepted by the instruction accepting means;
    Display status notification means for notifying the server of the display status of the work content displayed on the display means by the work content display means;
    Image acquisition means for acquiring image data from imaging means for imaging the user's visual field direction;
    Identification means for identifying a head-mounted display existing in the visual field direction from the image data acquired by the image acquisition means;
    Status acquisition means for acquiring data indicating the display status of the work content of the head-mounted display identified by the identification means from the server;
    In accordance with the data acquired by the status acquisition means, status display means for displaying on the display means the display status of the work content of the head mounted display identified by the identification means;
    A head-mounted display characterized by comprising:
  2.  前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示中の作業用コンテンツが示す作業の進捗状況を前記表示手段に表示させることを特徴とする請求項1に記載のヘッドマウントディスプレイ。 2. The head mounted display according to claim 1, wherein the status display means causes the display means to display a work progress status indicated by the work content being displayed on the head mounted display identified by the identification means. .
  3.  前記状況取得手段は、前記識別手段によって識別されたヘッドマウントディスプレイで表示されている作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータを、作業の進捗状況を示すデータとして前記サーバから取得することを特徴とする請求項2に記載のヘッドマウントディスプレイ。 The status acquisition means receives data corresponding to at least one of information on the number of pages of work content displayed on the head mounted display identified by the identification means and information indicating a moving image progress rate. The head mounted display according to claim 2, wherein the head mounted display is acquired from the server as data indicating a progress situation.
  4.  前記状況表示手段は、前記状況取得手段によって取得されたデータであり、作業用コンテンツのページ数の情報、および動画の進行割合を示す情報の少なくともいずれかに応じたデータに従って、作業の進捗状況を表示することを特徴とする請求項3に記載のヘッドマウントディスプレイ。 The status display means is data acquired by the status acquisition means, and displays the progress status of the work according to data corresponding to at least one of information on the number of pages of work content and information indicating the progress rate of the moving image. 4. The head mounted display according to claim 3, wherein the head mounted display is displayed.
  5.  前記状況表示手段は、前記識別手段によって識別されたヘッドマウントディスプレイにおいて表示される全ての作業用コンテンツにおける表示中の作業用コンテンツを示す一覧画像を、作業の進捗状況として表示させることを特徴とする請求項2に記載のヘッドマウントディスプレイ。 The status display means displays a list image indicating work contents being displayed in all work contents displayed on the head mounted display identified by the identification means as a work progress status. The head mounted display according to claim 2.
  6.  前記作業用コンテンツ表示手段によって作業用コンテンツが前記表示手段に表示されているか否かを判断する表示判断手段と、
     前記表示判断手段の判断結果に応じて、前記画像取得手段によって取得された画像データに対する処理を切り替える処理切替手段とをさらに備え、
     前記処理切替手段は、
     前記表示判断手段によって作業用コンテンツが表示されていると判断された場合には、前記画像取得手段によって取得された視野方向の画像の画像データを前記サーバに送信する処理を実行し、
     前記表示判断手段によって作業用コンテンツが表示されていないと判断された場合には、前記識別手段によるヘッドマウントディスプレイの識別処理を実行することを特徴とする請求項2に記載のヘッドマウントディスプレイ。
    Display determination means for determining whether or not work content is displayed on the display means by the work content display means;
    Processing switching means for switching processing for the image data acquired by the image acquisition means according to the determination result of the display determination means;
    The process switching means
    When it is determined that the work content is displayed by the display determination unit, a process of transmitting image data of the image in the viewing direction acquired by the image acquisition unit to the server is executed.
    3. The head mounted display according to claim 2, wherein when the display determining unit determines that the work content is not displayed, the identification processing of the head mounted display by the identifying unit is executed.
  7.  前記識別手段によって識別されたヘッドマウントディスプレイから前記サーバに送信された画像データを前記サーバから取得する送信画像取得手段をさらに備え、
     前記状況表示手段は、前記送信画像取得手段によって取得された画像データに従って、前記識別手段によって識別されたヘッドマウントディスプレイの視野方向の画像を前記表示手段に表示させることを特徴とする請求項2に記載のヘッドマウントディスプレイ。
    Further comprising transmission image acquisition means for acquiring, from the server, image data transmitted to the server from the head mounted display identified by the identification means,
    3. The display device according to claim 2, wherein the status display unit causes the display unit to display an image in a visual field direction of the head mounted display identified by the identification unit according to the image data acquired by the transmission image acquisition unit. The described head mounted display.
  8.  各ユーザが装着する装着物には識別情報が付されており、
     前記識別手段は、前記画像データに含まれる識別情報を用いてヘッドマウントディスプレイを識別することを特徴とする請求項1に記載のヘッドマウントディスプレイ。
    Identification information is attached to the items worn by each user,
    The head-mounted display according to claim 1, wherein the identification unit identifies the head-mounted display using identification information included in the image data.
PCT/JP2012/057491 2011-03-30 2012-03-23 Head-mounted display WO2012133172A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011-076773 2011-03-30
JP2011076773A JP5423716B2 (en) 2011-03-30 2011-03-30 Head mounted display

Publications (1)

Publication Number Publication Date
WO2012133172A1 true WO2012133172A1 (en) 2012-10-04

Family

ID=46930896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057491 WO2012133172A1 (en) 2011-03-30 2012-03-23 Head-mounted display

Country Status (2)

Country Link
JP (1) JP5423716B2 (en)
WO (1) WO2012133172A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015156889A (en) * 2014-02-21 2015-09-03 ソニー株式会社 Display control device, display device and display control system
JP2016220839A (en) * 2015-05-28 2016-12-28 オリンパス株式会社 Endoscope system and display switch means of endoscopic image in endoscope system
JP2018061850A (en) * 2017-12-20 2018-04-19 ソニー株式会社 Endoscope system, display control system, and display control device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251710B1 (en) * 2014-11-04 2021-05-14 넥시스 주식회사 System, method and computer readable medium for managing content of external device using wearable glass device
JP2016138908A (en) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 Display system, portable display device, display control device, and display method
JP6693060B2 (en) * 2015-07-06 2020-05-13 セイコーエプソン株式会社 Display system, display device, display device control method, and program
JP6407824B2 (en) 2015-09-01 2018-10-17 株式会社東芝 Glasses-type wearable terminal and method using the terminal
JP6334484B2 (en) 2015-09-01 2018-05-30 株式会社東芝 Glasses-type wearable device, control method thereof, and information management server
JP2017049763A (en) * 2015-09-01 2017-03-09 株式会社東芝 Electronic apparatus, support system, and support method
JP6367166B2 (en) 2015-09-01 2018-08-01 株式会社東芝 Electronic apparatus and method
JP2017049762A (en) 2015-09-01 2017-03-09 株式会社東芝 System and method
JP6253619B2 (en) 2015-09-02 2017-12-27 株式会社東芝 Electronic device and support method
JP2017049869A (en) 2015-09-03 2017-03-09 株式会社東芝 Spectacle-type wearable terminal and data processing method therefor
JP6509686B2 (en) 2015-09-04 2019-05-08 株式会社東芝 Electronic device and method
JP2017134575A (en) * 2016-01-27 2017-08-03 セイコーエプソン株式会社 Display device, control method of display device, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101372A (en) * 2002-09-10 2004-04-02 Mitsubishi Heavy Ind Ltd Working support device
WO2005093687A1 (en) * 2004-03-26 2005-10-06 Atsushi Takahashi 3d entity digital magnifying glass system having 3d visual instruction function
JP2010200209A (en) * 2009-02-27 2010-09-09 Brother Ind Ltd Head mount display
JP2010217719A (en) * 2009-03-18 2010-09-30 Ricoh Co Ltd Wearable display device, and control method and program therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101372A (en) * 2002-09-10 2004-04-02 Mitsubishi Heavy Ind Ltd Working support device
WO2005093687A1 (en) * 2004-03-26 2005-10-06 Atsushi Takahashi 3d entity digital magnifying glass system having 3d visual instruction function
JP2010200209A (en) * 2009-02-27 2010-09-09 Brother Ind Ltd Head mount display
JP2010217719A (en) * 2009-03-18 2010-09-30 Ricoh Co Ltd Wearable display device, and control method and program therefor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015156889A (en) * 2014-02-21 2015-09-03 ソニー株式会社 Display control device, display device and display control system
US10874284B2 (en) 2014-02-21 2020-12-29 Sony Corporation Display control device, display device, surgical endoscopic system and display control system
JP2016220839A (en) * 2015-05-28 2016-12-28 オリンパス株式会社 Endoscope system and display switch means of endoscopic image in endoscope system
JP2018061850A (en) * 2017-12-20 2018-04-19 ソニー株式会社 Endoscope system, display control system, and display control device

Also Published As

Publication number Publication date
JP2012212991A (en) 2012-11-01
JP5423716B2 (en) 2014-02-19

Similar Documents

Publication Publication Date Title
JP5423716B2 (en) Head mounted display
EP2876484B1 (en) Maintenance assistant system
JP6693060B2 (en) Display system, display device, display device control method, and program
JP5168161B2 (en) Head mounted display
JP5141672B2 (en) Head mounted display device and image sharing system using head mounted display device
EP2163937A1 (en) Head mount display
US11073901B2 (en) Display device, control method for display device, and computer program
JP2010152443A (en) Head mounted display
JP2010210822A (en) Head mounted display
JP2010139901A (en) Head mount display
US20110316763A1 (en) Head-mounted display apparatus, image control method and image control program
JP2010067154A (en) Head mounted display, information browsing system, and management server
WO2010103995A1 (en) Head mount display
JP5251813B2 (en) Work support system, head mounted display and program
JP2010136263A (en) Head-mounted display
JP2011065392A (en) Head mounted display
JP2005181034A (en) Size measurement device and program
WO2010050301A1 (en) Image display system
JP5012780B2 (en) Head mounted display
JP2006165763A (en) Video display device
JP6494060B2 (en) Information processing apparatus, information processing method, and program
JP2011124898A (en) Head-mounted display
WO2010098275A1 (en) Head mounted display
JP2006174248A (en) Image-taking device
US10565414B2 (en) Barcode reading device, control method and computer-readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12763980

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct app. not ent. europ. phase

Ref document number: 12763980

Country of ref document: EP

Kind code of ref document: A1