WO2021084884A1 - 頭部装着型表示装置および表示コンテンツ制御方法 - Google Patents

頭部装着型表示装置および表示コンテンツ制御方法 Download PDF

Info

Publication number
WO2021084884A1
WO2021084884A1 PCT/JP2020/032836 JP2020032836W WO2021084884A1 WO 2021084884 A1 WO2021084884 A1 WO 2021084884A1 JP 2020032836 W JP2020032836 W JP 2020032836W WO 2021084884 A1 WO2021084884 A1 WO 2021084884A1
Authority
WO
WIPO (PCT)
Prior art keywords
head
display device
content
mounted display
sensor
Prior art date
Application number
PCT/JP2020/032836
Other languages
English (en)
French (fr)
Inventor
拓也 中道
将史 山本
航史 山崎
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US17/767,487 priority Critical patent/US20230221794A1/en
Priority to CN202080070691.6A priority patent/CN114556187B/zh
Publication of WO2021084884A1 publication Critical patent/WO2021084884A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention relates to a head-mounted display device and a display content control method.
  • a see-through type head-mounted display device (also called a head-mounted display) that is attached to the user's head and displays an image of a virtual space superimposed on the real space has attracted attention.
  • a see-through type head-mounted display device also called a head-mounted display
  • the operator does not have to hold the information display device in his hand or go to see the information display device in the distance, and the work efficiency is improved. be able to.
  • the display control in the head-mounted display device it will be easy to use by configuring the display image to be switched according to the head-mounted display device and the state of the user.
  • the visual stimulus image is displayed on the outside centering on the face according to the mounting position of the head-mounted display, thereby suppressing the binocular visual field struggle and making the displayed image easier to see. ing.
  • the information (shape, size, position, inclination, iris pattern) of the user's eye is detected by the camera, and at least a part of the image display mechanism is moved.
  • the visual stimulus image is displayed on the outside centering on the face, but the position of the displayed image is not changed.
  • the display mechanism is controlled by the movement of the user's eyes, but the content is not easy to see. Further, since the display mechanism is provided, the size and weight of the head-mounted display device may increase, which may hinder the work.
  • the present invention has been made to solve the above-mentioned problems, and the content is optimized according to the wearing state of the head-mounted display device, the nature of the user (usage, the number of times the content is viewed, etc.), or both. It is an object of the present invention to provide a head-mounted display device and a display content control method that make it easy to see the contents by arranging the contents in.
  • the head-mounted display device of the present invention has a wearing state sensor (for example, sensor 12) whose sensor value changes according to the wearing state, and a wearing state according to the output of the wearing state sensor.
  • a mounting state determination unit for determining, a storage unit for storing the content to be displayed, a content control unit for changing the content stored in the storage unit, and a display unit for displaying the content stored in the storage unit.
  • the content control unit is characterized in that the content is changed according to the mounting state output by the mounting state determining unit.
  • the content is optimally arranged according to the wearing state of the head-mounted display device and the nature of the user, and the user can comfortably view the desired content.
  • FIG. It is a figure which shows the appearance of the head-mounted display device which concerns on Embodiment 1.
  • FIG. It is a figure which shows the hardware composition of the head-mounted display device which concerns on Embodiment 1.
  • FIG. It is a figure which shows the functional structure of the head-mounted display device and its peripheral device which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the process of the wearing state determination part which concerns on Embodiment 1.
  • FIG. 1 It is a figure which shows the field of view of the worker which concerns on Embodiment 1, and another example of the content placeable area. It is a figure which shows the visual field of the worker which concerns on Embodiment 1, and still another example of the content placeable area. It is a figure which shows the content arrangement example when the head-mounted display device is attached to the right eye which concerns on Embodiment 1.
  • FIG. It is a figure which shows the content arrangement example when the head-mounted display device is attached to the left eye which concerns on Embodiment 1.
  • FIG. It is a figure which shows the appearance of the head-mounted display device which concerns on Embodiment 2.
  • FIG. It is a figure which shows the functional structure of the head-mounted display device and its peripheral device which concerns on Embodiment 2.
  • FIG. 1 It is a flowchart which shows the process of the wearing state determination part which concerns on Embodiment 2. It is a figure which shows the appearance of the head-mounted display device which concerns on Embodiment 3. It is a figure which shows the functional structure of the head-mounted display device and its peripheral device which concerns on Embodiment 4. FIG. It is a figure which shows the functional structure of the head-mounted display device and its peripheral device which concerns on Embodiment 5.
  • Embodiments for carrying out the present invention will be described in detail with reference to the drawings as appropriate.
  • Changing the content includes changing the content and arrangement of the content.
  • the change of the content is, for example, changing the horizontal writing of the content to the vertical writing.
  • Japanese if the horizontally written content is placed on the left side, it will be visible from the end of the sentence, making it difficult to read.
  • vertical writing makes it easier to read.
  • Changing the arrangement of the contents means changing the position of the contents in the virtual space described later.
  • a configuration for changing the arrangement of contents will be described.
  • FIG. 1 is an external view of the monocular head-mounted display device 1 according to the first embodiment.
  • the head-mounted display device 1 is configured as a transmissive head-mounted display (HMD).
  • HMD transmissive head-mounted display
  • the display unit 11 of the head-mounted display device 1 is mounted so that it can be visually recognized by the left eye, but the display unit 11 of the head-mounted display device 1 is also mounted so that it can be visually recognized by the right eye. be able to.
  • the head-mounted display device 1 is mounted upside down.
  • the sensor 12 mounted state sensor
  • the sensor 12 mounted state sensor
  • the head-mounted display device 1 includes a display unit 11, a sensor 12, and a controller 13.
  • the display unit 11 is arranged in front of the eyes 40 of the worker 400 so that the image can be seen in the line-of-sight direction of the worker 400.
  • the sensor 12 detects the wearing state of the head-mounted display device 1 of the worker 400 and the movement of the head of the worker 400.
  • the controller 13 is attached to the helmet 300.
  • the head-mounted display device 1 is fixed to the helmet 300 by extending the arm 320 from the fixing jig 310 fixed to the helmet 300 and connecting the head-mounted display device 1 and the arm 320.
  • the arm 320 can be freely bent and stretched so that the display unit 11 is arranged at the optimum position of the eye 40.
  • the head-mounted display device 1 may be fixed at two locations as shown in FIG. If only one place is fixed, the head-mounted display device 1 can easily rotate with that place as a fulcrum, so that the positions of the eyes 40 and the display unit 11 tend to shift. If the position shifts, the image will be chipped or blurred, which will lead to a decrease in visibility.
  • the fixed positions are the opposite end of the display unit 11 of the head-mounted display device 1 and the position where the head-mounted display device 1 bends in an L shape.
  • FIG. 2 is a diagram showing a hardware configuration of the head-mounted display device 1.
  • the hardware of the controller 13 includes a CPU (Central Processing Unit) 141, a ROM (Read Only Memory) 142, a RAM (Random Access Memory) 143, a sensor input unit 144, a video output unit 145, and the like.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the sensor 12 (wearing state sensor) outputs a detected value according to the wearing state and the movement of the head of the worker 400.
  • the sensor fixed to the display unit 11 is shown.
  • the type of sensor 12 not only an acceleration sensor, an angular velocity sensor, and a geomagnetic sensor, but also a camera, a microphone (microphone), and the like can be used.
  • a sensor capable of acquiring 3-axis acceleration and 3-axis angular velocity will be used.
  • an acceleration sensor As the head motion sensor, an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, or the like can be used.
  • the CPU 141 executes a program stored in the ROM 142 or the RAM 143. Specifically, the functions of each part of the head-mounted display device 1 are realized by the CPU 141 executing the program.
  • the ROM 142 is a storage medium for storing a program executed by the CPU 141 and various parameters required for the execution.
  • the RAM 143 is a storage medium for storing an image to be displayed on the display unit 11 and various kinds of information.
  • the RAM 143 also functions as a temporary storage area for data used by the CPU 141.
  • the head-mounted display device 1 may have a plurality of CPU 141, ROM 142, and RAM 143, respectively.
  • the sensor input unit 144 acquires the sensor value from the sensor 12. Data may be transmitted / received between the sensor input unit 144 and the sensor 12 by a protocol such as I2C (Inter-Integrated Circuit), SPI (Serial Peripheral Interface), UART (Universal Asynchronous Receiver Transmitter), or the sensor 12 may transmit / receive data.
  • the sensor input unit 144 may periodically observe a signal such as an output voltage value.
  • the video output unit 145 adds a synchronization signal or the like to the image stored in the ROM 14 or the RAM 15 and transmits it to the display unit 11.
  • the hardware configuration of the head-mounted display device 1 is not limited to the configuration shown in FIG.
  • the CPU 141, the ROM 142, and the RAM 143 may be provided separately from the head-mounted display device 1.
  • the head-mounted display device 1 may be realized by using a general-purpose computer (for example, a server computer, a personal computer, a smartphone, etc.).
  • each computer can share the functions of each part of the head-mounted display device 1.
  • one or more of the functions of the head-mounted display device 1 can be realized by using dedicated hardware.
  • FIG. 3 is a block diagram showing a functional configuration of the head-mounted display device 1 and its surroundings according to the first embodiment.
  • the head-mounted display device 1 is connected to a peripheral device 2 and a cloud server 3.
  • the head-mounted display device 1 includes a display unit 11, a sensor 12, a mounting state determination unit 101, a head motion determination unit 102, a display control unit 103, an external interface 104, a wireless communication unit 105, a storage unit 106, and a timer 107.
  • a content control unit 108 is provided.
  • Peripheral device 2 includes a camera 20, a microphone 21, a remote controller 22, and a speaker 23.
  • the camera 20 can take a picture of the surroundings of the worker 400.
  • the microphone 21 inputs the voice of the worker 400 to the head-mounted display device 1.
  • the remote controller 22 is a device that instructs video switching, display mode setting, and the like.
  • the speaker 23 supports the work of the worker 400 by voice.
  • the remote controller is an abbreviation for a remote controller.
  • the wireless communication unit 31 and the cloud server 3 may be provided.
  • the wireless communication unit 105 wirelessly communicates with the wireless communication unit 31.
  • WiFi or Bluetooth is used as the communication means.
  • the wireless communication unit 31 transmits the data received from the wireless communication unit 105 to the cloud server 3.
  • the cloud server 3 referred to here is on the remote administrator side, and it is assumed that the remote administrator side shares video and audio, changes setting values, acquires data, and the like for the HMD of the worker 400.
  • the data received by the wireless communication unit 31 may be video data of the camera 20 or audio data input from the microphone 21.
  • the wireless communication unit 31 transmits the data received from the cloud server 3 to the wireless communication unit 105.
  • the mounting state determination unit 101 determines the mounting state of the worker 400 from the acceleration obtained by the sensor 12.
  • the display unit 11 is fixed to the side of the face.
  • FIG. 4 is a flowchart showing the processing of the mounting state determination unit 101 according to the first embodiment.
  • Step S401 The mounting state determination unit 101 acquires the acceleration sensor value from the sensor 12.
  • Step S402 Obtain the vertical component Zt of the HMD coordinate system from the acquired acceleration sensor value. Specifically, the gravitational acceleration vector G on the three-dimensional Cartesian coordinates of the HMD coordinate system of the head-mounted display device 1 is obtained, and the magnitude of the vertical component Zt of the HMD coordinate system is obtained.
  • the HMD coordinate system is a coordinate system fixed to the display unit 11, and the vertical direction of the HMD coordinate system is a direction equal to the vertical direction of the global coordinates when the worker 400 is upright.
  • Step S403 It is determined whether the magnitude of the vertical component Zt is larger than the threshold value Dz. If it is larger than the threshold value Dz (steps S403, Yes), the process proceeds to S404, and if it is equal to or less than the threshold value Dz (steps S403, No), the process returns to S401.
  • Step S404 The timer 107 is reset and started.
  • Step S405 The acceleration sensor value is acquired from the sensor 12 in the same manner as in step S401.
  • Step S406 The vertical component Z of the HMD coordinate system is obtained from the acceleration sensor value in the same manner as in step S402.
  • Step S407 It is determined whether the absolute value of the vertical component Z is larger than the threshold value Dz and the signs of the vertical component Z and the vertical component Zt are equal. If it is true (step S407, Yes), the process proceeds to step S408, and if it is false (step S407, No), the process returns to step S401.
  • the signs of the vertical component Z and the vertical component Zt are equal, the signs are reversed in a time equal to or less than the sampling rate of the acceleration sensor value by the mounting state determination unit 101, and the absolute value of the vertical component Z is the threshold Dz. When is large, the mounting state determination unit 101 does not make a left / right determination.
  • Step S408 It is determined whether the value of the timer 107 is equal to or greater than the threshold value Dt seconds. If the threshold value is Dt or more (step S408, Yes), the process proceeds to step S409, and if it is smaller (step S408, No), the process returns to step S405.
  • the wearing direction of the head-mounted display device 1 can be determined only when the head-mounted display device 1 is worn in the same direction for a threshold value of Dt seconds or more.
  • the timer 107 is not used, the mounting state is determined even when the vertical component Z is reversed for a time shorter than the threshold value Dt seconds due to the crouching motion or the forward tilting motion of the worker 400.
  • Step S409 Determine if the vertical component Z is greater than zero. If it is greater than 0 (step S409, Yes), the process proceeds to step S410, and if it is less than 0 (step S409, No), the process proceeds to step S411. Step S410: It is determined that the head-mounted display device 1 is worn on the right eye. Step S411: It is determined that the head-mounted display device 1 is worn on the left eye.
  • step S410 and step S411 can be interchanged depending on the direction of the axis in the vertical direction of the HMD coordinate system.
  • steps S402 and S406 an example in which the mounting state determination unit 101 uses a uniaxial acceleration sensor as another method for obtaining the vertical component Zt of the HMD coordinate system and the vertical component Z of the HMD coordinate system will be described. ..
  • the axis of the uniaxial accelerometer is installed so as to be equal to the vertical direction of the global coordinates when the worker 400 is stationary. At this time, the vertical component Z of the HMD coordinate system becomes equal to the sensor value Za.
  • the head motion determination unit 102 calculates where in the global coordinate system the head is facing. At least the yaw angle Ry and the pitch angle Rp of the global coordinate system of the head-mounted display device 1 are calculated.
  • the yaw angle Ry and the pitch angle Rp can be obtained by repeating the rotation calculation according to the sensor values of the triaxial angular velocity sensor included in the sensor 12. Further, the accuracy of the yaw angle Ry and the pitch angle Rp can be improved by combining the 3-axis angular velocity sensor included in the sensor 12 and the 3-axis acceleration sensor included in the sensor 12. At this time, a generally known Kalman filter or Madgwick filter can be used for the calculation of the yaw angle Ry and the pitch angle Rp.
  • the display control unit 103 extracts the display information stored in the storage unit 106 according to the yaw angle Ry and the pitch angle Rp output by the head motion determination unit 102, and outputs the display information to the display unit 11 as a video signal.
  • FIG. 5 is a diagram showing a method in which the display control unit 103 cuts out the display information stored in the storage unit 106.
  • the virtual space VS is stored in the storage unit 106.
  • the virtual space VS is a two-dimensional image including a content image, and is Fw pixels in the horizontal direction (X-axis direction) and Fh pixels in the vertical direction (Y-axis direction).
  • the display area S is an area in the virtual space VS that is actually displayed on the display unit 11.
  • the display control unit 103 appropriately cuts out the display area S from the virtual space VS.
  • the display area S is a two-dimensional image, and when the head of the worker 400 is facing the line of sight L, the pixels (Xs, Ys) in the virtual space VS are set as the origins in the horizontal direction (X-axis direction). Sw pixels, Sh pixels in the vertical direction (Y-axis direction).
  • the display control unit 103 obtains Xs and Ys and outputs the corresponding display area S.
  • Xs and Ys are calculated by the following equations.
  • the horizontal FOV (Field of View) of the display unit 11 is FOVw [°]
  • the vertical FOV is FOVh [°].
  • Xs (Fw-Sw) /2- (Ry * Sw) / FOVw
  • Ys (Fh-Sh) / 2- (Rp * Sh) / FOVh
  • the worker 400 can perceive the virtual space VS as being fixed in the real space, and can selectively display the content required at that time.
  • FIGS. 6A to 6C are diagrams showing the field of view of the worker 400 and the content arrangeable area CL.
  • the worker 400 wears the head-mounted display device 1 so that the display unit 11 can be visually recognized by the right eye.
  • the worker 400 perceives the image included in the right eye visual field FR with the right eye and the image included in the left eye visual field FL with the left eye.
  • the binocular visual field FS is a visual field in which the right eye visual field FR and the left eye visual field FL overlap. Since the head-mounted display device 1 is a monocular type, it can be perceived only by either the right eye or the left eye. For example, when the head-mounted display device 1 is attached to the right eye, when the content is displayed in the field of view obtained by subtracting the binocular field of view FS from the left eye field of view FL, the worker 400 cannot perceive it.
  • FIG. 6A is a diagram in which the wearing side is the content placement area CL rather than the opposite side 20 ° of the wearing with the front face F as a reference. It is known that humans try to visually recognize with the eye on the side with the visual angle stimulus when the visual stimulus is outside about 20 ° with respect to the front of the face. By setting the wearing side as the content placement area rather than the 20 ° on the opposite side of the wearing, it is possible to prevent the content from being visually recognized by the eyes of the non-wearing side. Since there are individual differences in the above 20 °, it may be changed as appropriate.
  • FIG. 6B is a diagram in which the wearing side of the front face F is the content placement area CL. Compared with the case of FIG. 6A, the content can be visually recognized by the eyes on the wearing side.
  • FIG. 6C is a diagram in which the wearing side is the content placement area CL rather than the wearing side 20 ° with reference to the front face F. At this time, the content is tried to be visually recognized only by the right eye.
  • the content control unit 108 controls the content included in the virtual screen VS in the storage unit 106.
  • Content control includes changing any of the position, text color, background color, size, and content of the content.
  • FIG. 7A is an example of content arrangement when the worker 400 wears the head-mounted display device 1 on the right eye.
  • Content C1 and content C2 are arranged on the virtual screen VS.
  • the origin of the content C1 is the pixels (Xc1, Yc1) of the virtual space VS.
  • the center of the binocular visual field FS in the initial state is set to pass through the center pixels (Fw / 2, Fh / 2) of the virtual screen VS.
  • the content control unit 108 changes the positions of the content C1 and the content C2 so that the content C1 and the content C2 are included in the content arrangeable area CL.
  • the center of the right eye visual field FR in the initial state may be set to pass through the center pixels (Fw / 2, Fh / 2) of the virtual screen VS.
  • FIG. 7B is an example of content arrangement when the worker 400 wears the head-mounted display device 1 on the left eye. Similar to the case of the right eye, the content control unit 108 changes the positions of the content C1 and the content C2 so that the content C1 and the content C2 are included in the content arrangeable area CL.
  • the positions of content C1 and content C2 can be changed according to the importance of each content.
  • the importance of each content is stored in the storage unit 106.
  • the content control unit 108 compares the importance of each content, and changes the position of the highly important content to the vicinity of the center of the visual field of the eye determined by the wearing state determination unit 101. At this time, the positions of the contents are changed so that they do not overlap.
  • the positions of the content C1 and the content C2 can be changed according to the content type of each content.
  • the content type is, for example, an image type, a horizontal writing Japanese character string type, a vertical writing Japanese character string type, and the like.
  • Content Each content type is stored in the storage unit 106.
  • the content control unit 108 changes the position of the content according to the content type. For example, if the content type is a horizontal Japanese character string type, the content is placed on the right side. This is because Japanese horizontal writing continues from left to right, and by arranging it on the right side, the worker 400 can perceive it from the left side of the character string.
  • the peripheral device 2 can set where in the real space the central pixel (Fw / 2, Fh / 2) of the virtual screen VS passes.
  • the yaw angle Ry and the pitch angle of the head motion determination unit 102 are operated.
  • Rp can be reset.
  • the yaw angle Ry and the pitch angle Rp may be set to 0, or only the yaw angle Ry may be set to 0.
  • the content control unit 108 can change the content of the content by a signal output from the peripheral device 2 or the wireless communication unit 105.
  • the wearing state by determining the wearing state and changing the arrangement of the contents in the virtual space accordingly, it is possible to realize a head-mounted display device that makes it easy to see the contents regardless of which eye is worn.
  • Embodiment 2 An example including a microphone (microphone) as the sensor 12 will be described. Those having the same configuration and function as those of the first embodiment are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 8 is an external view of the head-mounted display device 1 using a microphone as the sensor 12.
  • the head-mounted display device includes a microphone 12a and a microphone 12b.
  • the microphones are installed so as to sandwich the head-mounted display device 1, and the straight line connecting the microphones becomes vertical when the worker 400 wears the head-mounted display device 1.
  • the microphone 12b is on the top and the microphone 12a is on the bottom.
  • FIG. 9 is a block diagram showing a functional configuration of the head-mounted display device 1 and its surroundings according to the second embodiment.
  • the mounting state determining unit 101A is provided instead of the mounting state determining unit 101 in the first embodiment.
  • the wearing state determination unit 101A determines whether the head-mounted display device 1 is worn on the left or right eye according to the volume Va and the volume Vb output from the microphone 12a and the microphone 12b.
  • FIG. 10 is a flowchart showing the processing of the mounting state determination unit 101A according to the second embodiment. By this process, it is possible to determine whether the head-mounted display device 1 is mounted on the left or right side based on the volume difference between the microphone 12a and the microphone 12b, which is generated when the worker 400 speaks.
  • Step S501 The mounting state determination unit 101A acquires the volume Va and the volume Vb output from the microphone 12a and the microphone 12b.
  • Step S502 Obtain the volume difference Vzt between the volume Va and Vb.
  • Step S503 It is determined whether the magnitude of the volume difference Vzt is larger than the threshold value Dvz. If it is larger than the threshold value Dvz (step S503, Yes), the transition to S504 is performed, and if it is equal to or lower than the threshold value Dvz (step S503, No), the process returns to S501.
  • Step S504 The timer 107 is reset and started.
  • Step S505 The volume Va and the volume Vb output from the microphone 12a and the microphone 12b are acquired in the same manner as in step S501.
  • Step S506 The volume difference Vz between the volume Va and Vb is obtained in the same manner as in step S502.
  • Step S507 It is determined whether the absolute value of the volume difference Vz is larger than the threshold value Dvz and the signs of the volume difference Vz and the volume difference Vzz are equal. If true, the process proceeds to step S508 (step S507, Yes), and if false, the process returns to step S501 (step S507, No).
  • Step S508 It is determined whether the value of the timer 107 is equal to or greater than the threshold value Dt seconds. If the threshold value is Dt or more (step S508, Yes), the process proceeds to step S509, and if it is smaller (step S508, No), the process returns to step S505.
  • Step S509 It is determined whether the volume difference Vz is larger than 0. If it is greater than 0 (step S509, Yes), the process proceeds to step S510, and if it is less than 0 (step S509, No), the process proceeds to step S511.
  • Step S510 It is determined that the head-mounted display device 1 is attached to the right eye.
  • Step S511 It is determined that the head-mounted display device 1 is worn on the left eye.
  • step S510 and step S511 can be interchanged depending on the direction of the axis in the vertical direction of the HMD coordinate system.
  • the volume Va and Vb output by the microphone 12a and the microphone 12b may be the volume of only human voice. In that case, it can be realized by a bandpass filter that cuts other than human voice.
  • the microphone 12a and the microphone 12b can also be installed in the peripheral device 2. At this time, the volume Va and the volume Vb are input to the mounting state determination unit 101A via the external interface 104.
  • the head-mounted display device 1 it is possible to determine which of the left and right eyes the head-mounted display device 1 is attached to by determining the direction of the mouth with two microphones (microphones). As a result, the wearing state of the head-mounted display device 1 can be correctly determined even when the forward tilting motion or the crouching motion is performed.
  • Embodiment 3 An example including an illuminance sensor as the sensor 12 will be described. Those having the same configuration and function as those of the first and second embodiments are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 11 is an external view of the head-mounted display device 1 using an illuminance sensor as the sensor 12.
  • the head-mounted display device 1 in the third embodiment replaces the microphone 12a in the second embodiment with the illuminance sensor 12c and the microphone 12b with the illuminance sensor 12d.
  • the illuminance sensor 12d is on the upper side and the illuminance sensor 12c is on the lower side.
  • the illuminance sensor 12c and the illuminance sensor 12d each output illuminance.
  • the method of determining the wearing state of the head-mounted display device 1 in the third embodiment can be realized by replacing the volume Va and the volume Vb of the second embodiment with illuminance, respectively.
  • the illuminance sensor 12c and the illuminance sensor 12c can also be installed in the peripheral device 2. At this time, the illuminance is input to the mounting state determination unit 101A via the external interface 104.
  • the third embodiment it is possible to determine which of the left and right eyes the head-mounted display device 1 is worn by determining the direction of light by the two illuminance sensors. Thereby, even when the second embodiment cannot be applied in a high noise environment or the like, the wearing state of the head-mounted display device 1 can be determined.
  • Embodiment 4 An example of changing the position of the content based on the wearing state or the interest (texture) information input by the worker 400 will be described. Those having the same configuration and function as those of the first to third embodiments are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the head-mounted display device 1 in the fourth embodiment may be a monocular type or a binocular type.
  • the binocular type is a head-mounted display device in which both the left and right eyes can visually recognize the display of the display unit 11.
  • FIG. 12 is a block diagram showing a functional configuration of the head-mounted display device 1 and its surroundings according to the fourth embodiment.
  • the head-mounted display device 1 includes a mounted state storage unit 111.
  • the wearing state storage unit 111 stores the wearing state of the head-mounted display device 1 or the interest information of the worker 400.
  • the wearing state and interest information can be input from the peripheral device 2 via the external interface 104.
  • the wearing state and interest information can be obtained from the result of voice recognition of the voice data obtained from the microphone 21.
  • a right eye wearing button and a left eye wearing button are arranged on the remote controller, and the wearing state and interest information can be obtained by pressing the buttons.
  • the camera can read the QR (Quick Response) code (trademark registration) that includes the set value to obtain the wearing state and interest information.
  • the content control unit 108 changes the position of the content in the virtual space VS according to the mounting state or interest information stored by the mounting state storage unit 111.
  • the interest information saved by the attached state storage unit 111 is the left eye
  • the position of the content is changed in the same manner as when the attached state is left
  • the interest information stored by the attached state storage unit 111 is stored.
  • the position of the content is changed in the same manner as when the wearing state is the right.
  • the position of the content can be easily changed by the input of the user.
  • Embodiment 5 is an example in which the importance of the content is determined according to the line of sight of the worker 400, and the position of the content is changed from the content importance.
  • Those having the same configuration and function as those of the first to fourth embodiments are designated by the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 13 is a block diagram showing a functional configuration of the head-mounted display device 1 and its surroundings according to the fifth embodiment.
  • the head-mounted display device 1 includes a content importance determination unit 112.
  • the content importance determination unit 112 changes the importance of each content stored in the storage unit 106 according to the line of sight of the worker 400.
  • the line of sight of the worker 400 is a straight line connecting the center pixels (Xs + Sw / 2, Ys + Sh / 2) of the display area S and the center of the eye 40.
  • the content importance determination unit 112 increments the importance of the content. This makes it possible to increase the importance of frequently viewed content.
  • the content importance determination unit 112 can increase the importance of the content only when the content is continuously viewed for a certain period of time. Thereby, for example, when viewing the content C2 beyond the content C1, the importance of the content C1 can be increased without increasing the importance of the content C1.
  • the content control unit 108 compares the importance of each content and changes the position of the highly important content to the vicinity of the center of the visual field of the eye determined by the wearing state determination unit 101. At this time, the positions of the contents are changed so that they do not overlap.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • Wireless communication unit 106 Storage unit 107
  • Wearing state storage unit 300 Helmet 310 Fixing jig 320 Arm 400 Worker CL Content placement area F Face front FL Left eye field of view FR Right eye field of view FS Both eyes field of view L Line of sight S Display area VS Virtual space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

頭部装着型表示装置（１）は、装着状態に応じてセンサ値が変化する装着状態センサ（例えば、センサ（１２））と、装着状態センサの出力に応じて装着状態を判断する装着状態判断部（１０１）と、表示するコンテンツを保存する記憶部（１０６）と、記憶部（１０６）に保存されているコンテンツを変更するコンテンツ制御部（１０８）と、記憶部（１０６）に保存されているコンテンツを表示する表示部（１１）とを備え、コンテンツ制御部（１０８）は装着状態判定部が出力する装着状態に応じてコンテンツを変更する。

Description

頭部装着型表示装置および表示コンテンツ制御方法
　本発明は、頭部装着型表示装置および表示コンテンツ制御方法に関する。
　近年、ユーザの頭部に装着して、現実空間に仮想空間の画像を重畳して表示するシースルー型頭部装着型表示装置（ヘッドマウントディスプレイとも呼ばれる）が注目されている。工場などでは、作業工程などのコンテンツを見ながら作業を行うケースがあるが、作業対象の近くにディスプレイなどの情報表示装置を配置することが難しい場合がある。そのようなとき、シースルー型頭部装着型表示装置を使用すれば、作業者は情報表示装置を手に持ったり、遠くの情報表示装置を見に行ったりする必要がなく、作業効率を改善することができる。
　頭部装着型表示装置における表示制御については、頭部装着型表示装置やユーザの状態に応じて表示画像を切り替える構成とすることで使いやすいものとなる。例えば、特許文献１に記載のヘッドマウントディスプレイでは、ヘッドマウントディスプレイの装着位置に応じて、顔を中心とした外側に視覚刺激映像を表示することにより、両目視野闘争を抑制し表示画像を見やすくしている。
　また、特許文献２に記載のヘッドマウントディスプレイでは、ユーザの眼の情報（形状、サイズ、位置、傾き、虹彩パターン）をカメラで検出し、画像表示機構の少なくとも一部を移動する。
特開２０１９－１３２９００号公報 特開２０１９－７４５８２号公報
　作業者が、作業工程などのコンテンツを見ながら作業を行う場合、コンテンツを違和感や疲れがないように表示することが重要である。例えば、ユーザが片方の眼前に固定する片眼型の頭部装着型表示装置を装着する場合、顔中心として頭部装着型表示装置を付けた眼の反対側にコンテンツを配置すると、顔を右に振ってコンテンツを探す場合に見にくくなる。また、ユーザが両方の眼前に固定する両眼型の頭部装着型表示装置を装着する場合でも、コンテンツの配置と利目に関係によって、コンテンツが見にくくなり、いずれにしても作業の妨げになる場合がある。
　特許文献１に記載の方法では、顔を中心とした外側に視覚刺激映像を表示しているが、表示画像の位置は変更していない。また、特許文献２に記載の方法では、ユーザの眼の動きによって表示機構を制御するが、コンテンツを見やすくするものではない。さらに、表示機構を備えるため、頭部装着型表示装置の大きさや重量が増加し、作業の妨げになる場合がある。
　本発明は、前記した課題を解決するためになされたものであり、頭部装着型表示装置の装着状態やユーザの性質（利用度、コンテンツ閲覧回数など）、もしくはその両方に応じてコンテンツを最適に配置することで、コンテンツを見やすくする頭部装着型表示装置および表示コンテンツ制御方法を提供することを目的とする。
　前記目的を達成するため、本発明の頭部装着型表示装置は、装着状態に応じてセンサ値が変化する装着状態センサ（例えば、センサ１２）と、装着状態センサの出力に応じて装着状態を判断する装着状態判断部と、表示するコンテンツを保存する記憶部と、記憶部に保存されているコンテンツを変更するコンテンツ制御部と、記憶部に保存されているコンテンツを表示する表示部と、を備え、コンテンツ制御部は、装着状態判断部が出力する装着状態に応じてコンテンツを変更することを特徴とする。本発明のその他の態様については、後記する実施形態において説明する。
　本発明によれば、頭部装着型表示装置の装着状態やユーザの性質に応じてコンテンツを最適に配置し、ユーザは所望のコンテンツを快適に見ることができる。
実施形態１に係る頭部装着型表示装置の外観を示す図である。 実施形態１に係る頭部装着型表示装置のハードウェア構成を示す図である。 実施形態１に係る頭部装着型表示装置とその周辺機器の機能構成を示す図である。 実施形態１に係る装着状態判断部の処理を示すフローチャートである。 表示制御部が記憶部内に保存されている表示情報を切り出す方法を示す図である。 実施形態１に係る作業者の視野とコンテンツ配置可能領域を示す図である。 実施形態１に係る作業者の視野とコンテンツ配置可能領域の他の例を示す図である。 実施形態１に係る作業者の視野とコンテンツ配置可能領域のさらに他の例を示す図である。 実施形態１に係る右目に頭部装着型表示装置を装着した場合のコンテンツ配置例を示す図である。 実施形態１に係る左目に頭部装着型表示装置を装着した場合のコンテンツ配置例を示す図である。 実施形態２に係る頭部装着型表示装置の外観を示す図である。 実施形態２に係る頭部装着型表示装置とその周辺機器の機能構成を示す図である。 実施形態２に係る装着状態判断部の処理を示すフローチャートである。 実施形態３に係る頭部装着型表示装置の外観を示す図である。 実施形態４に係る頭部装着型表示装置とその周辺機器の機能構成を示す図である。 実施形態５に係る頭部装着型表示装置とその周辺機器の機能構成を示す図である。
　本発明を実施するための実施形態について、適宜図面を参照しながら詳細に説明する。
<<実施形態１>>
　実施形態１では、ユーザの頭部装着型表示装置の装着状態を装着状態検出センサにより検出し、これに応じて仮想空間内のコンテンツを変更する配置する構成とした。コンテンツの変更とは、コンテンツの内容や配置を変更することを含む。コンテンツの内容の変更とは、例えばコンテンツの横書きを縦書きに変更することなどである。日本語の場合、横書きのコンテンツを左側に配置する場合、文末から視認することになり、読みにくくなってしまう。日本語のコンテンツを左側に配置する場合は縦書きにすることで読みやすくなる。コンテンツの配置の変更とは、後述する仮想空間内のコンテンツの位置を変更することである。以降では、コンテンツの配置を変更する構成を説明する。
　図１は、実施形態１に係る片眼型の頭部装着型表示装置１の外観図である。頭部装着型表示装置１は透過型ヘッドマウントディスプレイ（Head Mounted Display、以下ＨＭＤ）として構成されている。ＨＭＤを用いた作業支援においては、作業者４００はヘルメット３００を被ることが多いので、ヘルメット３００にＨＭＤを接続した例を用いて説明する。
　図１では、頭部装着型表示装置１の表示部１１を左目で視認できるように装着しているが、頭部装着型表示装置１の表示部１１を右眼で視認できるようにも装着することができる。この場合、頭部装着型表示装置１の上下を反転して装着する。上下を反転した場合、センサ１２（装着状態センサ）も上下が反転することになる。
　頭部装着型表示装置１は、表示部１１、センサ１２、コントローラ１３を備える。表示部１１は作業者４００の目４０の正面に配置され、これにより作業者４００の視線方向に映像が見えるようにする。センサ１２は、作業者４００の頭部装着型表示装置１の装着状態および作業者４００の頭部の動きを検出する。
　コントローラ１３は、ヘルメット３００に組み付けられている。ヘルメット３００に固定された固定治具３１０からアーム３２０を延伸して頭部装着型表示装置１とアーム３２０を接続することにより、頭部装着型表示装置１をヘルメット３００に固定する。表示部１１が目４０の最適な位置に配置されるように、アーム３２０は自由に曲げ伸ばしが可能である。図１のように２箇所で頭部装着型表示装置１を固定してもよい。１か所のみ固定すると、その箇所を支点として頭部装着型表示装置１が回転しやすくなるので、目４０と表示部１１の位置がずれやすくなる。位置がずれると映像の欠けやぼやけが発生するので、視認性の低下につながってしまう。２箇所で固定すれば回転しにくくなるので、視認性低下を抑制できる。固定位置は、頭部装着型表示装置１の表示部１１の反対側端部、および頭部装着型表示装置１がＬ字に折れ曲がる箇所とするのが有効である。
　図２は、頭部装着型表示装置１のハードウェア構成を示す図である。コントローラ１３のハードウェアは、ＣＰＵ（Central Processing Unit）１４１、ＲＯＭ（Read Only Memory）１４２、ＲＡＭ（Random Access Memory）１４３、センサ入力部１４４および映像出力部１４５等を備えている。
　センサ１２（装着状態センサ）は、装着状態および作業者４００の頭部の動きに応じた検出値を出力する。ここでは、表示部１１に固定されたセンサを示している。センサ１２の種類としては、加速度センサ、角速度センサ、地磁気センサだけでなく、カメラ、マイク（マイクロフォン）なども使用可能である。なお、以下の説明では、３軸加速度および３軸角速度を取得可能なセンサとする。
　また、センサ１２のうち、頭部動作センサとしては、加速度センサ、角速度センサ、地磁気センサなどを使用することができる。
　ＣＰＵ１４１は、ＲＯＭ１４２またはＲＡＭ１４３に格納されているプログラムを実行する。具体的には、ＣＰＵ１４１がプログラムを実行することにより、頭部装着型表示装置１の各部の機能が実現される。ＲＯＭ１４２は、ＣＰＵ１４１が実行するプログラムおよび実行に必要な各種パラメータを格納するための記憶媒体である。ＲＡＭ１４３は、表示部１１で表示するための画像および各種情報を格納するための記憶媒体である。また、ＲＡＭ１４３は、ＣＰＵ１４１が使用するデータの一時保管領域としても機能する。頭部装着型表示装置１は、ＣＰＵ１４１とＲＯＭ１４２とＲＡＭ１４３をそれぞれ複数有する構成でもよい。
　センサ入力部１４４は、センサ１２からセンサ値を取得する。センサ入力部１４４とセンサ１２との間は、Ｉ２Ｃ（Inter-Integrated Circuit）、ＳＰＩ（Serial Peripheral Interface）、ＵＡＲＴ（Universal Asynchronous Receiver Transmitter）などのプロトコルでデータを送受信してもよいし、センサ１２が出力する電圧値等の信号をセンサ入力部１４４が定期的に観測してもよい。
　映像出力部１４５は、ＲＯＭ１４またはＲＡＭ１５に保存された画像に同期信号等を付与し、表示部１１に送信する。
　なお、頭部装着型表示装置１のハードウェア構成は、図２に示す構成に限定されない。例えばＣＰＵ１４１、ＲＯＭ１４２、ＲＡＭ１４３を頭部装着型表示装置１とは別体として設けるようにしてもよい。その場合、頭部装着型表示装置１は汎用のコンピュータ（例えばサーバコンピュータやパーソナルコンピュータ、スマートフォン等）を用いて実現するようにしてもよい。
　また、複数のコンピュータをネットワークで接続して、頭部装着型表示装置１の各部の機能を各コンピュータが分担することもできる。一方で、頭部装着型表示装置１の機能の１つ以上を、専用のハードウェアを用いて実現することもできる。
　図３は、実施形態１に係る頭部装着型表示装置１とその周辺の機能構成を示すブロック図である。頭部装着型表示装置１は、周辺機器２やクラウドサーバ３に接続されている。
　頭部装着型表示装置１は、表示部１１、センサ１２、装着状態判断部１０１、頭部動作判断部１０２、表示制御部１０３、外部インターフェース１０４、無線通信部１０５、記憶部１０６、タイマー１０７、コンテンツ制御部１０８を備える。
　周辺機器２は、カメラ２０、マイク２１、リモコン２２、スピーカ２３を含む。カメラ２０は、作業者４００の周囲を撮影することができる。マイク２１は、作業者４００の声を頭部装着型表示装置１に対して入力する。リモコン２２は、映像切替や表示モード設定などを指示するデバイスである。スピーカ２３は、音声によって作業者４００の作業を支援する。なお、リモコンはリモートコントローラの略称である。
　頭部装着型表示装置１が外部と通信する場合（例えば中央監視室と作業者４００が作業状況を共有する場合）、無線通信部３１とクラウドサーバ３を設けてもよい。無線通信部１０５は無線通信部３１と無線通信する。通信手段は例えばＷｉＦｉやＢｌｕｅｔｏｏｔｈを用いる。無線通信部３１は無線通信部１０５から受信したデータをクラウドサーバ３に送信する。ここで言うクラウドサーバ３は遠隔管理者側であり、遠隔管理者側から作業者４００のＨＭＤに対して映像や音声の共有、設定値の変更、データ取得などを実施することを想定する。無線通信部３１が受信するデータは、カメラ２０の映像データでもよいし、マイク２１から入力された音声データでもよい。無線通信部３１はクラウドサーバ３から受信したデータを無線通信部１０５に送信する。
　装着状態判断部１０１は、センサ１２によって得られた加速度から、作業者４００の装着状態を判断する。実施形態１の頭部装着型表示装置１は、顔の側方で表示部１１が固定されている。頭部装着型表示装置１を左右付け替える場合は、頭部装着型表示装置１の天地が反対になる。
　図４は、実施形態１に係る装着状態判断部１０１の処理を示すフローチャートである。
ステップＳ４０１：装着状態判断部１０１はセンサ１２から加速度センサ値を取得する。
ステップＳ４０２：取得した加速度センサ値からＨＭＤ座標系の垂直方向成分Ｚｔを求める。具体的には、頭部装着型表示装置１のＨＭＤ座標系三次元直交座標上の重力加速度ベクトルＧを求め、ＨＭＤ座標系の垂直方向成分Ｚｔの大きさを求める。ＨＭＤ座標系とは、表示部１１に固定された座標系であり、ＨＭＤ座標系の垂直方向とは作業者４００が直立しているときにグローバル座標の鉛直方向と等しくなる方向である。重力加速度ベクトルＧはセンサ１２の座標系とＨＭＤ座標系が等しい場合には、３軸加速度センサが出力する３つの値（Ｘａ，Ｙａ，Ｚａ）を重力加速度ベクトルＧの要素に各々代入し、ノルムが１になるように正規化することで求めることができる。
ステップＳ４０３：垂直方向成分Ｚｔの大きさが閾値Ｄｚより大きいか判断する。閾値Ｄｚより大きい場合は（ステップＳ４０３，Ｙｅｓ）、Ｓ４０４に遷移し、閾値Ｄｚ以下の場合は（ステップＳ４０３，Ｎｏ）、Ｓ４０１に戻る。
ステップＳ４０４：タイマー１０７をリセットし、スタートする。
ステップＳ４０５：ステップＳ４０１と同様にしてセンサ１２から加速度センサ値を取得する。
ステップＳ４０６：ステップＳ４０２と同様にして加速度センサ値からＨＭＤ座標系の垂直方向成分Ｚを求める。
ステップＳ４０７：垂直方向成分Ｚの絶対値が閾値Ｄｚより大きく、かつ垂直方向成分Ｚと垂直方向成分Ｚｔの符号が等しいか判断する。真の場合は（ステップＳ４０７，Ｙｅｓ）、ステップＳ４０８に遷移し、偽の場合は（ステップＳ４０７，Ｎｏ）、ステップＳ４０１に戻る。垂直方向成分Ｚと垂直方向成分Ｚｔの符号が等しいか判断することにより、装着状態判断部１０１による加速度センサ値のサンプリングレート以下の時間で符号が逆転し、垂直方向成分Ｚの絶対値が閾値Ｄｚが大きい場合に、装着状態判断部１０１が左右の判断をしないようになる。
ステップＳ４０８：タイマー１０７の値が閾値Ｄｔ秒以上であるかを判断する。閾値Ｄｔ以上の場合は（ステップＳ４０８，Ｙｅｓ）、ステップＳ４０９に遷移し、小さい場合は（ステップＳ４０８，Ｎｏ）、ステップＳ４０５に戻る。これにより、閾値Ｄｔ秒以上同じ方向に装着している場合のみ、頭部装着型表示装置１の装着方向を判断することができる。タイマー１０７を使用しない場合は、作業者４００のしゃがみ動作や前傾動作などにより閾値Ｄｔ秒より短い時間だけ垂直方向成分Ｚが逆になる場合にも装着状態の判断をしてしまう。
ステップＳ４０９：垂直方向成分Ｚが０より大きいか判断する。０より大きい場合は（ステップＳ４０９，Ｙｅｓ）、ステップＳ４１０に遷移し、０以下の場合は（ステップＳ４０９，Ｎｏ）、ステップＳ４１１に遷移する。
ステップＳ４１０：頭部装着型表示装置１を右眼に装着していると判断する。
ステップＳ４１１：頭部装着型表示装置１を左眼に装着していると判断する。
　ただし、ステップＳ４１０とステップＳ４１１は、ＨＭＤ座標系の垂直方向の軸の向きにより入れ替えることができる。
　また、ステップＳ４０２およびステップＳ４０６において、装着状態判断部１０１がＨＭＤ座標系の垂直方向成分ＺｔおよびＨＭＤ座標系の垂直方向成分Ｚを求める別の方法として、１軸の加速度センサを用いる例を説明する。１軸の加速度センサの軸を、作業者４００が静止しているときにグローバル座標の鉛直方向と等しくなるように設置する。このときＨＭＤ座標系の垂直方向成分Ｚは、センサ値Ｚａと等しくなる。
　図３に戻り、頭部動作判断部１０２は、頭部がグローバル座標系のどこを向いているかを算出する。少なくとも頭部装着型表示装置１のグローバル座標系のヨー角Ｒｙおよびピッチ角Ｒｐを算出する。ヨー角Ｒｙおよびピッチ角Ｒｐは、センサ１２に含まれる３軸角速度センサのセンサ値によって回転演算を繰り返すことで求めることができる。また、センサ１２に含まれる３軸角速度センサとセンサ１２に含まれる３軸加速度センサを組み合わせてヨー角Ｒｙおよびピッチ角Ｒｐの精度を向上することもできる。このとき、ヨー角Ｒｙおよびピッチ角Ｒｐの計算には、一般に知られているカルマンフィルタやＭａｄｇｗｉｃｋフィルタを用いることができる。
　表示制御部１０３は、頭部動作判断部１０２が出力するヨー角Ｒｙおよびピッチ角Ｒｐに応じて、記憶部１０６内に保存されている表示情報を抜き出して表示部１１に映像信号として出力する。
　図５は、表示制御部１０３が記憶部１０６内に保存されている表示情報を切り出す方法を示す図である。記憶部１０６には、仮想空間ＶＳが保存されている。仮想空間ＶＳは、コンテンツ画像を含む２次元の画像であり、横方向（Ｘ軸方向）にＦｗピクセル、縦方向（Ｙ軸方向）にＦｈピクセルである。仮想空間ＶＳの原点画素（Ｘ，Ｙ）＝（０，０）は原点アドレスＡＤＤＲに保存され、記憶部１０６内のメモリには仮想空間ＶＳの横方向が連続になるように保存されている。また、画素（Ｆｗ、０）と画素（０，１）はメモリ上で連続な領域に格納されている。
　表示領域Ｓは、実際に表示部１１に表示される仮想空間ＶＳ内の領域である。表示制御部１０３は、仮想空間ＶＳの中から、適切に表示領域Ｓを切り出す。表示領域Ｓは、２次元の画像であり、作業者４００の頭部が視線Ｌを向いているとき、仮想空間ＶＳ内の画素（Ｘｓ，Ｙｓ）を原点として、横方向（Ｘ軸方向）にＳｗピクセル、縦方向（Ｙ軸方向）にＳｈピクセルである。
　表示制御部１０３は、ＸｓおよびＹｓを求めて、それに応じた表示領域Ｓを出力する。ここで、ＸｓおよびＹｓは、以下の式で求められる。なお、表示部１１の横方向のＦＯＶ（Field of View）をＦＯＶｗ［°］、縦方向のＦＯＶをＦＯＶｈ［°］とする。
　　Ｘｓ＝（Ｆｗ－Ｓｗ）／２－（Ｒｙ＊Ｓｗ）／ＦＯＶｗ
　　Ｙｓ＝（Ｆｈ－Ｓｈ）／２－（Ｒｐ＊Ｓｈ）／ＦＯＶｈ
　この方法は、ヨー角Ｒｙおよびピッチ角Ｒｐがともに０［°］の場合に、仮想空間ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）と表示領域Ｓの中心画素（Ｘｓ＋Ｓｗ／２、Ｙｓ＋Ｓｈ／２）が同じ画素となる。
　この方法によって、作業者４００は仮想空間ＶＳが現実空間に固定されているように知覚することができ、その時々に必要なコンテンツを選択的に表示することができる。
　図６Ａから図６Ｃは、作業者４００の視野とコンテンツ配置可能領域ＣＬを表す図である。作業者４００は右目で表示部１１を視認できるように頭部装着型表示装置１を装着している。作業者４００は、右目で右目視野ＦＲに含まれる像を知覚し、左目で左目視野ＦＬに含まれる像を知覚する。また、両目視野ＦＳは右目視野ＦＲと左目視野ＦＬの重なる視野である。頭部装着型表示装置１は片眼型のため、右目または左目のどちらかでしか知覚することができない。例えば、右目に頭部装着型表示装置１を装着した場合、左目視野ＦＬから両目視野ＦＳを引いた視野にコンテンツを表示した場合、作業者４００はそれを知覚することができない。
　また、右目に装着した頭部装着型表示装置１の表示部１１を右目視野のみで知覚できる場合でも、仮想空間ＶＳ内の左目視野ＦＬ付近に配置されたコンテンツは、右目で見にくいことが分かっている。これらのことから、コンテンツの配置を頭部装着型表示装置１の装着状態によって適切に変更することで、コンテンツを見やすい頭部装着型表示装置を提供することができる。
　図６Ａは、顔正面Ｆを基準として装着の反対側２０°よりも装着側をコンテンツ配置可能領域ＣＬとした図である。人間は、顔正面を基準として約２０°よりも外側に視覚刺激がある場合は、視角刺激がある側の目で視認しようとすることが分かっている。装着の反対側２０°よりも装着側をコンテンツ配置可能領域とすることにより、装着していない側の目でコンテンツを視認しようとすることを防ぐことができる。なお、前記２０°は個人差もあるので、適宜変更してもよい。
　図６Ｂは、顔正面Ｆよりも装着側をコンテンツ配置可能領域ＣＬとした図である。図６Ａの場合よりも、より装着側の目でコンテンツを視認することができる。
　図６Ｃは、顔正面Ｆを基準として装着側２０°よりも装着側をコンテンツ配置可能領域ＣＬとした図である。このとき、ほぼ右目のみでコンテンツを視認しようとするようになる。
　図３に戻り、コンテンツ制御部１０８は、記憶部１０６内の仮想画面ＶＳに含まれるコンテンツを制御する。コンテンツ制御とは、コンテンツの位置、文字色、背景色、大きさ、内容のいずれかを変更することを含む。
　図７Ａは、作業者４００が右目に頭部装着型表示装置１を装着している場合の、コンテンツ配置の例である。仮想画面ＶＳにはコンテンツＣ１とコンテンツＣ２が配置されている。コンテンツＣ１の原点は、仮想空間ＶＳの画素（Ｘｃ１、Ｙｃ１）である。初期状態の両目視野ＦＳの中心が、仮想画面ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）を通るように設定する。このとき、コンテンツ制御部１０８は、コンテンツＣ１とコンテンツＣ２がコンテンツ配置可能領域ＣＬに含まれるように、コンテンツＣ１とコンテンツＣ２の位置を変更する。また、初期状態の右目視野ＦＲの中心が、仮想画面ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）を通るように設定してもよい。
　図７Ｂは、作業者４００が左目に頭部装着型表示装置１を装着している場合の、コンテンツ配置の例である。右目の場合と同様に、コンテンツ制御部１０８は、コンテンツＣ１とコンテンツＣ２がコンテンツ配置可能領域ＣＬに含まれるように、コンテンツＣ１とコンテンツＣ２の位置を変更する。
　コンテンツＣ１およびコンテンツＣ２の位置は、コンテンツそれぞれの重要度によって変更することができる。コンテンツそれぞれの重要度は記憶部１０６に保存されている。コンテンツ制御部１０８は、コンテンツそれぞれの重要度を比較し、重要度が高いコンテンツの位置を、装着状態判断部１０１が判断した目の視野中心付近に変更する。このとき、それぞれのコンテンツは重ならないように位置が変更される。
　また、コンテンツＣ１およびコンテンツＣ２の位置は、コンテンツそれぞれのコンテンツタイプによって変更することができる。コンテンツタイプは、例えば、画像タイプ、横書き日本語文字列タイプ、縦書き日本語文字列タイプなどである。コンテンツそれぞれのコンテンツタイプは記憶部１０６に保存されている。コンテンツ制御部１０８は、コンテンツタイプに応じてコンテンツの位置を変更する。例えば、コンテンツタイプが横書き日本語文字列タイプの場合は、コンテンツを右側に配置する。これは、日本語の横書きが左から右へ文字が続くためであり、右側に配置することで、作業者４００は文字列の左側から知覚することができる。
　仮想画面ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）が現実空間のどこを通るかは、周辺機器２によって設定することができる。例えば、作業者４００が仮想画面ＶＳの中心画素（Ｆｗ／２、Ｆｈ／２）を設定したい方向を向いて、リモコン２２を操作することで、頭部動作判断部１０２のヨー角Ｒｙおよびピッチ角Ｒｐをリセットすることができる。このリセットは、ヨー角Ｒｙおよびピッチ角Ｒｐを０にしてもよいし、ヨー角Ｒｙのみを０にしてもよい。ピッチ角Ｒｐを０にしないことによって、仮想空間ＶＳの上下位置をリセット後も保つことができる。
　コンテンツ制御部１０８は、周辺機器２や無線通信部１０５から出力される信号によって、コンテンツの内容を変更することができる。
　実施形態１によれば、装着状態を判断し、それに応じて仮想空間内のコンテンツの配置を変更することにより、どちらの目に装着した場合でもコンテンツを見やすい頭部装着型表示装置を実現できる。
<<実施形態２>>
　実施形態２では、センサ１２として、マイク（マイクロフォン）を含む例を説明する。なお、実施形態１と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。
　図８は、センサ１２としてマイクを用いた頭部装着型表示装置１の外観図である。頭部装着型表示装置はマイク１２ａおよびマイク１２ｂを備える。このマイクは、頭部装着型表示装置１を挟むように設置されており、それぞれのマイクを結ぶ直線は頭部装着型表示装置１を作業者４００が装着したときに鉛直になる。頭部装着型表示装置１を反対側に装着した場合は、マイク１２ｂが上になり、マイク１２ａが下になる。
　図９は、実施形態２に係る頭部装着型表示装置１とその周辺の機能構成を示すブロック図である。実施形態１における装着状態判断部１０１に換えて、装着状態判断部１０１Ａを備える。装着状態判断部１０１Ａは、マイク１２ａおよびマイク１２ｂから出力される音量Ｖａおよび音量Ｖｂに応じて、頭部装着型表示装置１が左右のどちらの目に装着されているかを判断する。
　図１０は、実施形態２に係る装着状態判断部１０１Ａの処理を示すフローチャートである。この処理により、作業者４００が声を発したとき発生する、マイク１２ａとマイク１２ｂの音量差によって頭部装着型表示装置１が左右のどちらに装着されているかを判断することができる。
ステップＳ５０１：装着状態判断部１０１Ａはマイク１２ａおよびマイク１２ｂから出力される音量Ｖａおよび音量Ｖｂを取得する。
ステップＳ５０２：音量ＶａおよびＶｂの音量差Ｖｚｔを求める。 
ステップＳ５０３：音量差Ｖｚｔの大きさが閾値Ｄｖｚより大きいか判断する。閾値Ｄｖｚより大きい場合は（ステップＳ５０３，Ｙｅｓ）、Ｓ５０４に遷移し、閾値Ｄｖｚ以下の場合は（ステップＳ５０３，Ｎｏ）、Ｓ５０１に戻る。
ステップＳ５０４：タイマー１０７をリセットし、スタートする。
ステップＳ５０５：ステップＳ５０１と同様にしてマイク１２ａおよびマイク１２ｂから出力される音量Ｖａおよび音量Ｖｂを取得する。
ステップＳ５０６：ステップＳ５０２と同様にして音量ＶａおよびＶｂの音量差Ｖｚを求める。
ステップＳ５０７：音量差Ｖｚの絶対値が閾値Ｄｖｚより大きく、かつ音量差Ｖｚと音量差Ｖｚｔの符号が等しいか判断する。真の場合は（ステップＳ５０７，Ｙｅｓ）、ステップＳ５０８に遷移し、偽の場合は（ステップＳ５０７，Ｎｏ）、ステップＳ５０１に戻る。
ステップＳ５０８：タイマー１０７の値が閾値Ｄｔ秒以上であるかを判断する。閾値Ｄｔ以上の場合は（ステップＳ５０８，Ｙｅｓ）、ステップＳ５０９に遷移し、小さい場合は（ステップＳ５０８，Ｎｏ）、ステップＳ５０５に戻る。
ステップＳ５０９：音量差Ｖｚが０より大きいか判断する。０より大きい場合は（ステップＳ５０９，Ｙｅｓ）ステップＳ５１０に遷移し、０以下の場合は（ステップＳ５０９，Ｎｏ）、ステップＳ５１１に遷移する。
ステップＳ５１０：頭部装着型表示装置１を右眼に装着していると判断する。
ステップＳ５１１：頭部装着型表示装置１を左眼に装着していると判断する。
　ただし、ステップＳ５１０とステップＳ５１１は、ＨＭＤ座標系の垂直方向の軸の向きにより入れ替えることができる。
　マイク１２ａおよびマイク１２ｂが出力する音量ＶａおよびＶｂは、人の音声のみの音量でもよい。その場合、人の声以外をカットするバンドパスフィルタによって実現できる。
　なお、マイク１２ａおよびマイク１２ｂは、周辺機器２に設置することもできる。このとき、音量Ｖａおよび音量Ｖｂは、外部インターフェース１０４を介して装着状態判断部１０１Ａに入力される。
　実施形態２によれば、２つのマイク（マイクロフォン）によって口の方向を判断することによって、頭部装着型表示装置１が左右のどちらの目に装着されているかを判断することができる。これにより、前傾動作やしゃがみ動作を行っても、正しく頭部装着型表示装置１の装着状態を判断することができる。
<<実施形態３>>
　実施形態３では、センサ１２として、照度センサを含む例を説明する。なお、実施形態１乃至実施形態２と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。
　一般に、光は作業者４００の頭上から入射することが多い。例えば、屋内の場合は天井に照明があり、屋外の場合は空に太陽があり、光は頭上から入射する。つまり、光が強い方向を検出することで、頭部装着型表示装置１が左右のどちらの目に装着されているかを判断することができる。
　図１１は、センサ１２として照度センサを用いた頭部装着型表示装置１の外観図である。実施形態３における頭部装着型表示装置１は、実施形態２におけるマイク１２ａを照度センサ１２ｃに、マイク１２ｂを照度センサ１２ｄに置き換えたものである。実施形態２と同じように、頭部装着型表示装置１を反対側に装着した場合は、照度センサ１２ｄが上になり、照度センサ１２ｃが下になる。
　照度センサ１２ｃおよび照度センサ１２ｄは、それぞれ照度を出力する。実施形態３における頭部装着型表示装置１の装着状態判断方法は、実施形態２の音量Ｖａおよび音量Ｖｂをそれぞれ照度に置き換えることで実現することができる。
　なお、照度センサ１２ｃおよび照度センサ１２ｃは、周辺機器２に設置することもできる。このとき、照度は、外部インターフェース１０４を介して装着状態判断部１０１Ａに入力される。
　実施形態３によれば、２つの照度センサによって光の方向を判断することによって、頭部装着型表示装置１が左右のどちらの目に装着されているかを判断することができる。これにより、高騒音環境などで実施形態２が適用できない場合でも、頭部装着型表示装置１の装着状態を判断することができる。
<<実施形態４>>
　実施形態４では、作業者４００が入力した装着状態もしくは利目（ききめ）情報をもとにコンテンツの位置を変更する例を説明する。なお、実施形態１乃至実施形態３と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。
　実施形態４における頭部装着型表示装置１は、片眼型でも両眼型でもよい。両眼型とは、左右の目の両方が表示部１１の表示を視認することができる頭部装着型表示装置である。
　図１２は、実施形態４に係る頭部装着型表示装置１とその周辺の機能構成を示すブロック図である。頭部装着型表示装置１は、装着状態保存部１１１を備える。装着状態保存部１１１は、頭部装着型表示装置１の装着状態もしくは作業者４００の利目情報を保存する。装着状態および利目情報は、外部インターフェース１０４を介して、周辺機器２から入力することができる。
　例えば、マイク２１から得られた音声データを音声認識した結果によって装着状態や利目情報を得ることができる。また、リモコンに右目装着ボタンや左目装着ボタンを配置し、その押下によって装着状態や利目情報を得ることができる。さらに、カメラで設定値が盛り込まれたＱＲ（Quick Response）コード（商標登録）を読み取り、装着状態や利目情報を得ることができる。
　コンテンツ制御部１０８は、装着状態保存部１１１が保存している装着状態もしくは利目情報に応じて、仮想空間ＶＳ内のコンテンツの位置を変更する。装着状態保存部１１１が保存している利目情報が左目の場合は、装着状態が左であるときと同様にコンテンツの位置を変更し、装着状態保存部１１１が保存している利目情報が右目の場合は、装着状態が右であるときと同様にコンテンツの位置を変更する。
　実施形態４によれば、ユーザの入力によりコンテンツの位置を見やすく変更することができる。
<<実施形態５>>
　実施形態５は、作業者４００の視線に応じてコンテンツの重要度を判断し、そのコンテンツ重要度からコンテンツの位置を変更する例である。なお、実施形態１乃至実施形態４と同一の構成、機能を有するものには同一の符号を付して、その詳細な説明を省略する。
　図１３は、実施形態５に係る頭部装着型表示装置１とその周辺の機能構成を示すブロック図である。頭部装着型表示装置１は、コンテンツ重要度判断部１１２を備える。
　コンテンツ重要度判断部１１２は、作業者４００の視線に応じて、記憶部１０６に保存されている、各コンテンツの重要度を変更する。作業者４００の視線とは、表示領域Ｓの中心画素（Ｘｓ＋Ｓｗ／２、Ｙｓ＋Ｓｈ／２）および目４０の中心を結ぶ直線である。コンテンツ重要度判断部１１２は、表示領域Ｓの中心画素にコンテンツが含まれる場合、該コンテンツの重要度をインクリメントする。これによって、よく見るコンテンツの重要度を上げることができる。また、コンテンツ重要度判断部１１２は、一定時間コンテンツを見続けた場合のみ、コンテンツの重要度を上げることもできる。これにより、例えば、コンテンツＣ１を越えてコンテンツＣ２を見る場合に、コンテンツＣ１の重要度は増えずに、コンテンツＣ２の重要度を上げることができる。
　コンテンツ制御部１０８は、実施形態１で説明したように、コンテンツそれぞれの重要度を比較し、重要度が高いコンテンツの位置を、装着状態判断部１０１が判断した目の視野中心付近に変更する。このとき、それぞれのコンテンツは重ならないように位置が変更される。
＜変形例＞
　本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１　　頭部装着型表示装置
　２　　周辺機器
　３　　クラウドサーバ
　１１　　表示部
　１２　　センサ（装着状態センサ、頭部動作センサ）
　１２ａ，１２ｂ　　マイク（マイクロフォン）
　１２ｃ，１２ｄ　　照度センサ
　１３　　コントローラ
　４０　　目
　１０１，１０１Ａ　　装着状態判断部
　１０２　　頭部動作判断部
　１０３　　表示制御部
　１０４　　外部インターフェース
　１０５　　無線通信部
　１０６　　記憶部
　１０７　　タイマー
　１０８　　コンテンツ制御部
　１１１　　装着状態保存部
　３００　　ヘルメット
　３１０　　固定治具
　３２０　　アーム
　４００　　作業者
　ＣＬ　　コンテンツ配置可能領域
　Ｆ　　顔正面
　ＦＬ　　左目視野
　ＦＲ　　右目視野
　ＦＳ　　両目視野
　Ｌ　　視線
　Ｓ　　表示領域
　ＶＳ　　仮想空間

Claims (14)

  1. 　装着状態に応じてセンサ値が変化する装着状態センサと、
    　前記装着状態センサの出力に応じて装着状態を判断する装着状態判断部と、
    　表示するコンテンツを保存する記憶部と、
    　前記記憶部に保存されているコンテンツを変更するコンテンツ制御部と、
    　前記記憶部に保存されているコンテンツを表示する表示部と、を備え、
    　前記コンテンツ制御部は、前記装着状態判断部が出力する装着状態に応じてコンテンツを変更することを特徴とする頭部装着型表示装置。
  2. 　請求項１に記載の頭部装着型表示装置であって、
    　前記装着状態センサは、頭部の動きを検出する頭部動作センサであり、
    　前記頭部動作センサのセンサ値に応じて頭部の動作を判断する頭部動作判断部と、
    　前記記憶部に保存された映像を前記頭部動作判断部の判断に応じて切り出して出力する表示制御部と、を備える頭部装着型表示装置。
  3. 　請求項１又は請求項２に記載の頭部装着型表示装置であって、
    　外部と通信を行う外部インターフェースを備え、
    　前記コンテンツ制御部は、前記外部インターフェースにつながる入力装置の入力に応じて前記記憶部に保存されているコンテンツを変更する
    　ことを特徴とする頭部装着型表示装置。
  4. 　請求項１又は請求項２に記載の頭部装着型表示装置であって、
    　前記コンテンツ制御部は、前記装着状態判断部の判断に応じて前記記憶部に保存されているコンテンツの位置を装着側に変更する
    　ことを特徴とする頭部装着型表示装置。
  5. 　請求項３に記載の頭部装着型表示装置であって、
    　前記外部インターフェースは、入力装置の入力に応じて装着状態を出力し、
    　前記コンテンツ制御部は、前記外部インターフェースの出力に応じて前記記憶部に保存されているコンテンツの位置を装着側に変更する
    　ことを特徴とする頭部装着型表示装置。
  6. 　請求項４又は請求項５に記載の頭部装着型表示装置であって、
    　前記装着側とは、顔正面を基準として装着の反対側２０°よりも装着側である
    　ことを特徴とする頭部装着型表示装置。
  7. 　請求項４又は請求項５に記載の頭部装着型表示装置であって、
    　前記装着側とは、顔正面よりも装着側である
    　ことを特徴とする頭部装着型表示装置。
  8. 　請求項４又は請求項５に記載の頭部装着型表示装置であって、
    　前記装着側とは、顔正面を基準として装着側２０°よりも装着側である
    　ことを特徴とする頭部装着型表示装置。
  9. 　請求項１乃至７のいずれか１項に記載の頭部装着型表示装置であって、
    　前記装着状態センサは、加速度センサであり、
    　前記装着状態判断部は、前記加速度センサのセンサ値の絶対値が一定時間以上閾値を超えた場合に該センサ値の正負に応じて装着状態を判断する
    　ことを特徴とする頭部装着型表示装置。
  10. 　請求項１乃至７のいずれか１項に記載の頭部装着型表示装置であって、
    　前記装着状態センサは、２つ以上の照度センサであり、
    　前記装着状態判断部は、前記２つ以上の照度センサのセンサ値の差が一定時間以上閾値を超えた場合に該差の正負に応じて装着状態を判断する
    　ことを特徴とする頭部装着型表示装置。
  11. 　請求項１乃至７のいずれか１項に記載の頭部装着型表示装置であって、
    　前記装着状態センサは、２つ以上のマイクロフォンであり、
    　前記装着状態判断部は、前記２つ以上のマイクロフォンの音量の差が一定時間以上閾値を超えた場合に該差の正負に応じて装着状態を判断する
    　ことを特徴とする頭部装着型表示装置。
  12. 　請求項１乃至９のいずれか１項に記載の頭部装着型表示装置であって、さらに、
    　前記記憶部に保存されているコンテンツの重要度を変更するコンテンツ重要度判断部を備え、
    　前記コンテンツ重要度判断部は、外部インターフェースにつながる入力装置の入力に応じて前記記憶部に保存されているコンテンツの重要度を変更し、
    　前記コンテンツ制御部は前記記憶部に保存されたコンテンツの重要度によって該コンテンツの位置を変更する
    　ことを特徴とする頭部装着型表示装置。
  13. 　請求項１２に記載の頭部装着型表示装置であって、
    　前記コンテンツ重要度判断部は、表示制御部が出力する画像の中心に映っているコンテンツに応じて前記記憶部に保存されているコンテンツの重要度を変更する
    　ことを特徴とする頭部装着型表示装置。
  14. 　装着状態に応じてセンサ値が変化する装着状態センサと、前記装着状態センサの出力に応じて装着状態を判断する装着状態判断部と、表示するコンテンツを保存する記憶部と、前記記憶部に保存されているコンテンツを変更するコンテンツ制御部と、前記記憶部に保存されているコンテンツを表示する表示部と、を備える頭部装着型表示装置の表示コンテンス制御方法であって、
    　前記コンテンツ制御部は、前記装着状態判断部が出力する装着状態に応じてコンテンツを変更することを特徴とする表示コンテンツ制御方法。
PCT/JP2020/032836 2019-10-28 2020-08-31 頭部装着型表示装置および表示コンテンツ制御方法 WO2021084884A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/767,487 US20230221794A1 (en) 2019-10-28 2020-08-31 Head mounted display device and display content control method
CN202080070691.6A CN114556187B (zh) 2019-10-28 2020-08-31 头部佩戴型显示装置和显示内容控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-194911 2019-10-28
JP2019194911A JP2021067899A (ja) 2019-10-28 2019-10-28 頭部装着型表示装置および表示コンテンツ制御方法

Publications (1)

Publication Number Publication Date
WO2021084884A1 true WO2021084884A1 (ja) 2021-05-06

Family

ID=75637129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032836 WO2021084884A1 (ja) 2019-10-28 2020-08-31 頭部装着型表示装置および表示コンテンツ制御方法

Country Status (4)

Country Link
US (1) US20230221794A1 (ja)
JP (1) JP2021067899A (ja)
CN (1) CN114556187B (ja)
WO (1) WO2021084884A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111828A (ja) * 1998-10-06 2000-04-21 Sharp Corp 装着型画像表示装置
JP2014021272A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
JP2014071277A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US20150338652A1 (en) * 2014-05-26 2015-11-26 Lg Electronics Inc. Eyewear type terminal and control method thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL200627A (en) * 2009-08-27 2014-05-28 Erez Berkovich A method for dynamically changing visual indication on a display device
JP4913913B2 (ja) * 2010-04-28 2012-04-11 新日鉄ソリューションズ株式会社 情報処理システム、情報処理方法及びプログラム
US20140218288A1 (en) * 2011-09-22 2014-08-07 Nec Casio Mobile Communications, Ltd. Display device, display control method, and program
US20140129207A1 (en) * 2013-07-19 2014-05-08 Apex Technology Ventures, LLC Augmented Reality Language Translation
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
JP6536340B2 (ja) * 2014-12-01 2019-07-03 株式会社デンソー 画像処理装置
KR20160108983A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 웨어러블 전자 장치의 분실 방지 방법 및 장치
JP6693060B2 (ja) * 2015-07-06 2020-05-13 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
JP5869177B1 (ja) * 2015-09-16 2016-02-24 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
JP6479199B2 (ja) * 2015-09-25 2019-03-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
CN107728986B (zh) * 2017-11-07 2020-10-09 北京小鸟看看科技有限公司 一种双显示屏的显示方法以及显示装置
CN109960039B (zh) * 2017-12-22 2021-08-06 精工爱普生株式会社 显示系统、电子设备以及显示方法
CN109727316B (zh) * 2019-01-04 2024-02-02 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000111828A (ja) * 1998-10-06 2000-04-21 Sharp Corp 装着型画像表示装置
JP2014021272A (ja) * 2012-07-18 2014-02-03 Nikon Corp 情報入出力装置、及び情報入出力方法
JP2014071277A (ja) * 2012-09-28 2014-04-21 Brother Ind Ltd ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
US20150338652A1 (en) * 2014-05-26 2015-11-26 Lg Electronics Inc. Eyewear type terminal and control method thereof

Also Published As

Publication number Publication date
JP2021067899A (ja) 2021-04-30
US20230221794A1 (en) 2023-07-13
CN114556187A (zh) 2022-05-27
CN114556187B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US11030771B2 (en) Information processing apparatus and image generating method
EP3349107B1 (en) Information processing device and image generation method
EP2475178B1 (en) Information processing program, information processing method and information processing apparatus
CN108027700B (zh) 信息处理装置
US20140062854A1 (en) Head mounted display and method of controlling digital device using the same
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
JP2013258614A (ja) 画像生成装置および画像生成方法
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
WO2020241189A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
CN113544626A (zh) 信息处理装置、信息处理方法和计算机可读记录介质
WO2020129029A2 (en) A system for generating an extended reality environment
JP6927797B2 (ja) ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ
WO2021084884A1 (ja) 頭部装着型表示装置および表示コンテンツ制御方法
WO2020105269A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230071690A1 (en) Remote control system, remote operation apparatus, video image processing apparatus, and computer-readable medium
GB2582106A (en) Display device and display device control method
JP7247371B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
JP6779715B2 (ja) 情報処理システム
KR20180060403A (ko) 영상 기반의 드론 제어장치
JP6518028B1 (ja) 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
WO2020071144A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024057783A1 (ja) ３６０度画像視点位置同定部を備える情報処理装置
JP6801136B1 (ja) 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20881796

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20881796

Country of ref document: EP

Kind code of ref document: A1