WO2016052090A1 - 制御装置、および制御方法、並びにプログラム - Google Patents

制御装置、および制御方法、並びにプログラム Download PDF

Info

Publication number
WO2016052090A1
WO2016052090A1 PCT/JP2015/075392 JP2015075392W WO2016052090A1 WO 2016052090 A1 WO2016052090 A1 WO 2016052090A1 JP 2015075392 W JP2015075392 W JP 2015075392W WO 2016052090 A1 WO2016052090 A1 WO 2016052090A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
period
user
pulse
control
Prior art date
Application number
PCT/JP2015/075392
Other languages
English (en)
French (fr)
Inventor
一郎 間山
秀法 菊池
佳世子 田中
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15846926.2A priority Critical patent/EP3203464A4/en
Priority to CN201580049214.0A priority patent/CN107077822B/zh
Priority to US15/501,245 priority patent/US10302952B2/en
Priority to JP2016551681A priority patent/JP6593337B2/ja
Publication of WO2016052090A1 publication Critical patent/WO2016052090A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2014Display of intermediate tones by modulation of the duration of a single pulse during which the logic level remains constant
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2018Display of intermediate tones by time modulation using two or more time intervals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G02B2027/012Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility comprising devices for attenuating parasitic image effects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2230/00Details of flat display driving waveforms
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0257Reduction of after-image effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream

Definitions

  • the present disclosure relates to a control device, a control method, and a program.
  • the present invention relates to a control device, a control method, and a program for performing display control of a display device worn on a user's body such as a head-mounted display that is a head-mounted display or carried by the user.
  • HMD head mounted displays
  • a display device that is worn on the head to view images that is, a head-mounted display (HMD)
  • HMD head-mounted display
  • the head-mounted display has a display unit that can be observed with either the left or right eye, or both eyes, and is configured to control vision and hearing in combination with headphones.
  • Patent Document 1 Japanese Patent Laid-Open No. 2011-145488.
  • the display information can be confirmed relatively stably if the user is stationary, but the display information is displayed when an operation such as walking or running is performed. There arises a problem that it becomes difficult to recognize.
  • the present disclosure has been made in view of, for example, the above-described problems, and is a display device having movement such as vibration, such as a head-mounted display or the like that is mounted on a user's body or a portable type that is carried by the user. It is an object of the present invention to provide a control device, a control method, and a program that can suppress a decrease in the recognition rate by display control.
  • the first aspect of the present disclosure is: A control unit that executes display information output control for a user-mounted or portable display unit;
  • the controller is An afterimage-considering pulse display in which a lighting (ON) period that is an output period of display information for the display unit and an extinguishing (OFF) period that is a non-output period of display information are set and the extinguishing period is set within an afterimage recognition period
  • the control device switches and controls the normal pulse display in which the extinguishing period is set to be longer than the afterimage recognition period.
  • control unit executes switching control between afterimage-considered pulse display and normal pulse display according to the eyeball speed of the user holding the display unit.
  • control unit performs afterimage-considered pulse display when the eyeball velocity of the user holding the display unit is less than a threshold value, and displays normal pulse display when the eyeball speed is equal to or greater than the threshold value. Execute.
  • control unit calculates a user's eye velocity based on user motion information input from sensor information, and displays an afterimage-considered pulse display according to the calculated eye velocity. And normal pulse display switching control.
  • control device includes an acceleration sensor, and the control unit calculates the eyeball velocity of the user by applying detection information of the acceleration sensor, and calculates the calculated eyeball velocity. In response to this, switching control between afterimage-considering pulse display and normal pulse display is executed.
  • the display unit is a head-mounted display unit that is worn on a user's head, and the control unit is configured to respond to dynamics up and down the user's head. Then, the eyeball moving speed at the time of the generated eyeball movement is calculated, and switching control between afterimage-considering pulse display and normal pulse display is executed according to the calculated eyeball moving speed.
  • control unit executes pulse display in which one lighting (ON) period is set to 10 ms or less.
  • the display unit is a display unit having a lens for setting a virtual observation position at a position farther from the display surface than the user's eyes.
  • the second aspect of the present disclosure is: A control unit that executes display information output control for a user-mounted or portable display unit;
  • the controller is A hold display for continuously executing display information output to the display unit;
  • Pulse display as intermittent display that repeats a lighting (ON) period that is an output period of display information to the display unit and a light-off (OFF) period that is a non-output period of display information, It is in the control device that controls switching.
  • control unit performs switching control between hold display and pulse display according to the eyeball speed of the user holding the display unit.
  • control unit executes hold display when the eyeball speed of the user holding the display unit is less than a threshold value, and executes pulse display when the eyeball speed is equal to or greater than the threshold value.
  • control unit calculates a user's eyeball speed based on the user's movement information input from sensor information, and switches between hold display and pulse display according to the calculated eyeball speed. Execute.
  • control device includes an acceleration sensor, and the control unit applies detection information of the acceleration sensor to calculate a user's eyeball velocity, and according to the calculated eyeball velocity, Switch control between hold display and pulse display.
  • the display unit is a head-mounted display unit that is worn on a user's head, and the control unit generates an eyeball that is generated in accordance with the up and down motion of the user's head.
  • the eyeball moving speed at the time of movement is calculated, and switching control between hold display and pulse display is executed according to the calculated eyeball moving speed.
  • control unit when executing the pulse display, executes the pulse display in which one lighting (ON) period is 10 ms or less.
  • the display unit is a display unit including a lens for setting a virtual observation position at a position farther from the display surface than the user's eyes.
  • the third aspect of the present disclosure is: A control method executed by a control device for a user-mounted or portable display unit,
  • the control unit An afterimage-considering pulse display in which a lighting (ON) period that is an output period of display information for the display unit and an extinguishing (OFF) period that is a non-output period of display information are set and the extinguishing period is set within an afterimage recognition period
  • the normal pulse display in which the extinguishing period is set to be longer than the afterimage recognition period is switched.
  • the fourth aspect of the present disclosure is: A control method executed by a control device for a user-mounted or portable display unit,
  • the control unit A hold display for continuously executing display information output to the display unit; Pulse display as intermittent display that repeats a lighting (ON) period that is an output period of display information to the display unit and a light-off (OFF) period that is a non-output period of display information, There is a control method for switching control.
  • the fifth aspect of the present disclosure is: A program that causes a control device to execute control on a user-mounted or portable display unit,
  • the program is stored in the control device.
  • An afterimage-considering pulse display in which a lighting (ON) period that is an output period of display information for the display unit and an extinguishing (OFF) period that is a non-output period of display information are set and the extinguishing period is set within an afterimage recognition period
  • the sixth aspect of the present disclosure is: A program that causes a control device to execute control on a user-mounted or portable display unit,
  • the program is stored in the control device.
  • a hold display for continuously executing display information output to the display unit; Pulse display as intermittent display that repeats a lighting (ON) period that is an output period of display information to the display unit and a light-off (OFF) period that is a non-output period of display information, It is in the program that controls switching.
  • the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an image processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • display information output control with improved visibility of a user-mounted or portable display unit. Specifically, it has a control part which performs display information output control with respect to a user wearing type or a portable display part, and a control part turns on display information output with respect to a display part as a display information output period to a display part. (ON) period and non-output (OFF) period, which is a non-output period of display information, and afterimage-considering pulse display in which the extinction period is set within the afterimage recognition period Switch and control the pulse display.
  • ON ON
  • OFF non-output
  • the control unit executes switching control between afterimage-considered pulse display and normal pulse display according to the user's eye velocity, and executes afterimage-considered pulse display when the user's eyeball velocity is less than the threshold, Normal pulse display is executed.
  • output control of display information with improved visibility of the display unit is realized. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 is a view showing a user wearing a head mounted display (HMD) 10.
  • the head-mounted display 10 has a configuration that can be mounted on the user's head.
  • the head-mounted display 10 shown in the figure is configured such that the display unit 11 is provided on the right eye side of the user and no display is provided on the left eye side.
  • the display unit 11 is set so as not to cover the front surface of the eye. With such a configuration, the user can usually observe the outside world without looking at the display unit 11.
  • the user can perform walking (walking), running (running), or running on a bicycle or motorcycle while wearing the head-mounted display 10.
  • the user can confirm display information on the display unit 11 by temporarily moving his / her line of sight to the display unit 11 while performing these exercises and the like. That is, the display information can be confirmed by moving the line of sight occasionally while performing operations such as walking and running.
  • Examples of display information include map information indicating the current location, temperature / humidity information, and information on the user's heart rate.
  • the head-mounted display 10 is provided with various sensors for acquiring each of these pieces of information. Under the control of the control unit 15, display information based on the sensor detection information is generated and display processing is performed. .
  • the head-mounted display 10 is provided with speakers 12L and 12R at the positions of the left and right ears, and outputs sound in accordance with display information on the display unit 11.
  • the control unit 15 executes output control of display information for the display unit 11 and audio output control for the speakers 12L and 12R.
  • HMD head-mounted display
  • the decrease in visibility due to “(2) human eye movement” is specifically based on a plurality of biological reactions as follows.
  • “vestibular eye movements” that reflexively move the eyeballs in accordance with body movements that humans are performing unconsciously
  • saccade eye movements that are used to obtain peripheral vision information
  • objects This is a decrease in visibility due to “focusing” and “following vision” that occur for recognition and recognition.
  • Examples of conventional countermeasures against the visibility degradation based on such factors include the following.
  • physical measures such as fixing the display device firmly to the head and using a parallel light lens are effective. These methods are effective when the display unit is sufficiently light, and when the “force” from the outside is small.
  • a large “force” such as acceleration exceeding a predetermined value is applied from the outside, the vibration width becomes large, and the vibration is not only in a certain direction, but, for example, a twist occurs, and vibrations in a plurality of directions occur. In such a case, there is a problem that a retinal slip or the like occurs and a reduction in recognition rate cannot be prevented.
  • FIG. 2 for example, a user who is looking at the outside world (front) while exercising walking, running, biking, etc. wearing a head-mounted display moves his / her line of sight to the display section of the head-mounted display. It is a figure explaining the phenomenon which causes the state transition until it recognizes display information and the visibility fall which generate
  • State 1 An outside world observation state looking far away (in front of the outside world) outside the display unit,
  • State 2 A line-of-sight movement state in which the line of sight moves to the display unit
  • State 3 Focus adjustment state for adjusting the focus on the display unit
  • State 4 Display information recognition state for recognizing display information on the display unit,
  • the external observation state in which the user is looking far away (front of the external world) outside the display unit is, for example, a state in which the user is moving toward the front. This is a state in which the outside world in front is seen by walking, running, cycling, etc., facing in the traveling direction.
  • the line-of-sight movement state in which the line of sight moves to the display unit is a state in which the user moves his / her line of sight in order to see the display unit of the head-mounted display, for example, the display unit at the end of the right eye It is.
  • the user performs a fine eye movement called a saccade eye movement, and tries to capture the position of the display unit (display) at the center of the eye.
  • the display unit (display) is shaking at this line-of-sight movement stage, the display unit cannot be captured in a short time. If you can't catch it right away, eye movements that look for other places or return your gaze to the front occur.
  • the focus adjustment state in which the focus is adjusted on the display unit is a process after capturing the display unit, and is a state in which the eyeball is focused on the display surface of the display unit.
  • 400 ms is a standard time for focusing. If it takes time to focus, focusing will not be successful due to the shaking of the display unit body and body during that time.
  • the display information on the display unit can be observed far away by setting the optical system of the display unit.
  • the lens of the optical system may be set so that display information on the display unit is observed on the retina with a setting close to parallel light. This lens setting example will be described later.
  • the display information recognition state for recognizing display information on the display unit is a state in which a display information recognition process is performed after the focus is achieved. Problems in this display information recognition process include the afterimage effect of human eyes and the effect of following vision (retinal slip).
  • the afterimage effect is to hold what a human sees with eyes for a short time.
  • a well-known example of a phenomenon that is difficult to see due to the afterimage effect is that you feel "motion blur" when you watch a fast-moving screen such as sports on an LCD TV that has a constant backlight. There is. This is because, for example, when a moving image such as sports is displayed on the display unit and observed, the afterimage of the first frame appears to overlap the image of the second frame when changing from the first frame to the second frame constituting the moving image. This is a problem that occurs.
  • Follow-up vision is to capture a moving object at the center of the field of view and then move the eyeball by predicting movement to follow it continuously.
  • misrecognition such as a process of supplementing what the brain does not actually see as if it was visible or disappearing occurs. This also contributes to motion blur.
  • factors that cause a reduction in visibility can be classified into two categories: eyeball factors and body movement factors.
  • eyeball factors As countermeasures against the shaking and impact of the display as a body movement factor, it is considered effective to reduce the size, weight, and setting of vibration absorbing members such as head pads and cushions.
  • the “saccade” one of the eyeball factors, is greatly affected by the shaking of the display, as a device for reducing the shaking of the head mounted display, the small size of the head mounted display itself is similar to the above. Measures such as reduction in weight, weight reduction, and setting of vibration absorbing members such as head pads and cushions are considered effective.
  • focusing which is one of the eyeball factors
  • the display information at a short distance must be viewed, which is caused by the gap in the focal position.
  • FIG. 3 shows a cross-sectional configuration of a display device 30 such as a head-mounted display and a user's eye 20 that observes display information.
  • the display device 30 includes a lens 32 on the front surface of the display surface 31.
  • the user observes display information on the display surface 31 through the lens 32.
  • the distance between the display surface 31 and the user's eye 20 is about 30 mm.
  • the focal length of the eye 20 In order to directly recognize display information on the display surface 31 without using the lens 32, the focal length of the eye 20 must be set to 30 mm. For example, from the state of looking at a distant view, if you move the viewpoint to the display surface 31 and try to focus, it will be necessary to change the focus position to a position 30 mm from the distant position, and focus time will be required Therefore, display information recognition delay occurs.
  • the output light 51a of the display surface 31 is controlled by the lens 32 as indicated by the control line 51b. That is, the output light of the display surface 31 is controlled by the lens 32 to a setting that is almost similar to parallel light and is observed by the user's eye 20.
  • display information on the display surface 31, for example, the character [A] shown in the figure is observed on the user's eye 20 at positions along the control lines 51b and 51c, that is, the virtual observation position 35 shown in the figure. It will be.
  • the virtual observation position 35 is at a distance of about 3 m from the eye 20.
  • the distance to the virtual observation position 35 is a distance determined by the configuration of the lens 32 and can be changed by setting the lens.
  • the viewing position of the display information on the display surface 31 is set far by the lens 32, so that the user can view the display information output on the display surface 31 of the display device 30 from the state of viewing the distant scenery outside.
  • the lens is moved, the fluctuation amount of the focal length of the eye 20 can be reduced. Thereby, the time required for the alignment of the focal position is reduced, and the display information can be recognized immediately.
  • the lens control method shown in FIG. 3 is a method that is already used in existing head-mounted displays as a parallel light and long-distance imaging method. Further, when this lens control method is used, for example, even if the position of the eye 20 with respect to the display device 30 is displaced as shown in the eyes 20p and 20q in the figure, the amount of displacement with respect to the virtual observation position 35 is the position with respect to the display surface 31. Since it is relatively reduced compared to the amount of deviation, it is not necessary to move the viewpoint, and display information can be observed more stably.
  • the afterimage effect is an effect of holding what the human eye sees for a short time.
  • the afterimages of the previous frame appear to overlap the images of the subsequent frame, and so on. There is.
  • Follow-up vision is to capture a moving object at the center of the field of view and then move the eyeball by predicting movement to follow it continuously. This is a process that makes it seem as if something that is not actually seen is seen due to a deviation between the predicted position and the actual display position, and this causes a motion blur.
  • a motion flow technique adopted in a television apparatus manufactured by Sony.
  • This is a method of reducing the influence of afterimages by turning on and off the backlight of the liquid crystal display device. Specifically, by performing the process of turning on the LED backlight in order from top to bottom in order of about 1 ms (1/960), the image is set to the same setting as that of a 16 ⁇ (960 frames per second) image. This makes it possible to significantly reduce the viewer's afterimage feeling. That is, the afterimage feeling is reduced by shortening the display time of the frame image which is one fixed image.
  • the display application that operates on the display device 40 randomly generates and displays a two-digit number.
  • the display pattern is (A) “Continuous display (hold display) pattern” that continues to light continuously with numbers. (B) “intermittent display (pulse display) pattern” in which numbers are turned on and off in 10 ms. These two types were set and executed.
  • the test subject confirmed the visibility of the display information by observing the display information while holding the display device 40 in one hand and shaking the display device 40 lightly.
  • an evaluation result was determined that the “intermittent display (pulse display) pattern” that repeatedly turns on and off compared to the “continuous display (hold display) pattern” was clearly visible. .
  • a control board was attached to an existing head-mounted display, and various experiments were conducted by creating an experimental device that can turn on and off the liquid crystal backlight that constitutes the display section at high speed.
  • the ON time of the graph shown in FIG. 5 can be adjusted in the range of 1 to 10 ms, and the OFF time can be adjusted in the range of 10 to 500 ms. ON and OFF are repeated at set time intervals, and as a result, the display information on the display unit becomes a pulse display that repeats ON / OFF.
  • a head mounted display having a display unit capable of displaying a pulse is attached to a subject (user), and the subject walks, runs, bicycles, goes up and down stairs, slides, and shakes his neck.
  • Various exercises and movements were executed.
  • An experiment was conducted in which the subject confirmed the display information on the display unit while performing these various exercises.
  • FIG. 7 is a diagram based on the paper “Head and eye movements for maintaining gaze stability during walking” (Osaka University, Hirasaki Akira 2000).
  • User 50U, 50M. 50D indicates the position and inclination of the face during walking. Humans move their heads up and down vertically during walking. At this time, in order to stabilize the line of sight, the head is tilted unconsciously.
  • the user 50M shows the position and inclination of the face at the intermediate position in the vertical direction during walking.
  • the user 50U indicates the position and inclination of the face when the user is located at the top during walking.
  • the user 50D shows the position and inclination of the face when positioned at the bottom when walking.
  • a human sets an observation target (Target) when walking and walks while watching the observation target. Therefore, when the head moves up and down, the head is tilted up and down to direct the line of sight to the observation target (Target).
  • the observation target (Target) can be set at various positions.
  • a far observation position (Far Target) and a near observation position (Near Target) are shown as two setting examples.
  • the user sets one of these as an observation target (Target), and walks while viewing the observation target.
  • the inclination of the head is zero.
  • the user 50U whose head has moved upward in the vertical direction tilts his / her head downward in order to see the same observation target (Target).
  • the tilt angle is the head rotation angle ( ⁇ h) shown in the figure.
  • the user 50D whose head has moved to the lower part in the vertical direction tilts his head upward in order to see the same observation target (Target).
  • the tilt angle is the head rotation angle ( ⁇ h) shown in the figure.
  • the inclination angle of the head is not completely accurate with respect to the observation target.
  • the inclination ( ⁇ h) of the head becomes large. It will end up looking at a place (HFP) that is a little closer.
  • a correction process is performed in which the eyeball moves in the direction opposite to the head. This movement angle of the eyeball is an eyeball rotation angle ( ⁇ e) shown in the figure.
  • correction processing is performed in which the eyeball moves in the direction opposite to the head, but the near-field observation target (Near Target) close to the user is observed.
  • correction processing is performed in which the eyeball moves in the same direction as the head.
  • Such a movement process of the eyeball is one of the causes of a decrease in visibility. It is said that when the rotational angular velocity of the eyeball is 2 to 4 deg / s or more, the visibility decreases.
  • the eyeball movement speed (angular speed) during walking and running was calculated on the assumption that the head tilt and eyeball movement as shown in FIG. 7 occur.
  • FIG. 8 is a diagram illustrating an example of calculation processing of the eyeball moving speed (angular speed) during walking.
  • FIG. 9 is a diagram showing a calculation curve for the eyeball moving speed (angular speed) during running.
  • FIG. 8 shows the following two graphs. (A1) Time transition of head position during walking (A2) Time transition of eyeball direction and eyeball movement speed (angular velocity) during walking
  • the temporal transition of the head position during walking is based on the theory described with reference to FIG. 7, and is a graph showing the vertical movement of the head according to walking.
  • the moving distance of the head during walking was set to 50 mm in the vertical width and the frequency (corresponding to the number of steps per second) was set to 2 Hz.
  • dotted line data is angle transition data indicating the direction of the eyeball
  • solid line data indicates the moving speed (angular speed) of the eyeball.
  • the movement speed (angular velocity) of the eyeball indicated by the solid line in FIG. ⁇ e ⁇ v ⁇ 1.8 deg / s to +1.8 deg / s This is a graph that periodically repeats this range.
  • the angular velocity at which the visibility degradation described above occurs is 2 to 4 deg / s or less, and at this level, it is determined that the visibility degradation is small.
  • FIG. 9 shows the following two graphs as in FIG. (B1) Time transition of head position during running (B2) Time transition of eye direction and eye movement speed (angular velocity) during running
  • (B1) The time transition of the head position during running is based on the theory described with reference to FIG. 7, and is a graph showing the vertical movement of the head according to running.
  • the moving distance of the head during running was set to 100 mm in the vertical width and the frequency (corresponding to the number of steps per second) was set to 3 Hz.
  • dotted line data is angle transition data indicating the direction of the eyeball
  • solid line data indicates the moving speed (angular speed) of the eyeball.
  • FIG. 10A shows the size feeling of characters displayed on a 24-inch virtual image monitor 3 m ahead.
  • the display information shown in FIG. 10A is information that the user who observes the display device 30 including the lens 32 described above with reference to FIG. 3 observes the display information on the display unit 31 at the virtual observation position 35. It corresponds to.
  • the letters ABC and Landolt ring C are 5.2 mm long.
  • the characters ABC and Landolt ring C shown in (9) 5.2 mm in length are characters that can be seen by a person with a visual acuity of 0.8. That is, it is a premise that a person with a visual acuity of 0.8 can see a character ABC and a Landolt ring with a length of 5.2 mm (9) in a stationary state where the body is not moving.
  • the moving speed of the eyeballs varies depending on the exercise being performed, such as during walking. Therefore, according to the display time of the display information on the display unit and the type of exercise performed by the display unit observer, the size of the identifiable character, that is, the visibility determination described with reference to FIG.
  • the size of the character that generates the threshold is different.
  • FIG. 11 shows the following three types of motion states: (1) walking, (2) Low speed running, which is slower (3) High-speed running that is faster running, It is the result of analyzing the amount of character shift generated according to the moving speed of the eyeball during execution of these three types of movement and the information display time, and the size (size) of the recognizable character.
  • the display time of the characters in the pulse display is 6 types of 1 ms, 2 ms, 3 ms, 5 ms, 10 ms, and 16 ms.
  • the display time of 16 ms corresponds to continuous display (halt display).
  • the recognizable character size is set to a recognizable character size of 10 times the amount of deviation based on the criterion that recognition is impossible when a display deviation amount of 10% of the character size occurs.
  • the dotted line frame shown in FIG. 11 is a frame indicating an entry corresponding to the longest display time in which all characters (1) 88 mm to (9) 5.2 mm in FIG. 10A can be recognized.
  • FIG. 12 is a table summarizing two analysis results obtained from the results shown in FIG. FIG. 12 shows the results of analyzing the following two analysis results for each of (a) walking, (b) low-speed running, and (c) high-speed running.
  • (Analysis result 2) The minimum character shown in FIG. Display time of pulse display capable of recognizing 5.2 mm long characters
  • the character size that can be recognized in the hold display gradually increases as the exercise becomes intense.
  • (Analysis result 2) is a pulse display that can recognize a character with a minimum length of 5.2 mm shown in FIG. 10A for each of (a) walking, (b) low-speed running, and (c) high-speed running. The display time is shown. As shown in the figure, the following analysis results were obtained.
  • the pulse display when it is stopped is not only obstructive, but the visibility may be worse and worse than the normal display (hold display).
  • the display content characters, images, etc.
  • other information depending on the user's activity / operation status (walking, running, cycling, etc.) and the external light environment (morning, night, night, region, etc.) It is considered preferable to control the parameter value (optimum adjustment).
  • the embodiment described below is an embodiment of a display device that can be used comfortably in various use environments and states by controlling the display mode, timing, content, brightness, and the like according to the exercise / activity state.
  • FIG. 13 is a diagram for explaining an example of display control according to various exercise states of a user who wears or carries a human-mounted or portable display device such as a head-mounted display.
  • the following five exercise situations are set as the exercise situations of the user.
  • WALK Walking
  • JOG Low speed running
  • RUN High speed running
  • BIKE Bicycle
  • FIG. 13 shows the following information corresponding to these five exercise situations.
  • A Movement vibration period (Sec)
  • B Head movement width (mm)
  • C Eye velocity (deg / s)
  • D Optimal display mode
  • e Optimal display time
  • f Information depth
  • the motion cycle basically corresponds to the motion cycle of a body part such as a head equipped with a display device such as a head, mount, or display.
  • a body part such as a head equipped with a display device such as a head, mount, or display.
  • 0.5 seconds for walking
  • 0.3 seconds for low-speed running 0.5 seconds for high-speed running.
  • the head movement width corresponds to the movement width of each head in the cycle (a). It is 0 mm for stationary, 50 mm for walking, 100 mm for low-speed running, and 100 mm for high-speed running. In the case of cycling, the speed varies depending on the road conditions.
  • the eyeball velocity is data on the eyeball angular velocity (deg / s) based on the theory described above with reference to FIG. It is 0 deg / s for stationary, 2.0 deg / s for walking, 5.0 deg / s for low speed running, and 10 deg / s for high speed running. In the case of cycling, the speed varies depending on the road conditions.
  • the optimum display mode is setting information for the optimum display mode according to the user exercise situation obtained based on the analysis results described above with reference to FIGS. That is, this is display mode setting information that allows the display information on the display unit to be recognized without unreasonableness. Specifically, this is an optimal display mode in which the eyeball movement speed is calculated based on the motion state of the head and determined according to the calculation result.
  • the display In still, walking, and low-speed running, the display is held (continuous). However, when intense body movement or shock that causes the eyeball to move at high speed is detected, the display is temporarily turned off (OFF). Execute control.
  • pulse display when performing pulse display during walking, low-speed running, high-speed running, and bicycle running, it is preferable to further control the display ON / OFF timing in the pulse display according to the user's exercise. Specifically, the following control is performed.
  • a preset threshold for example, 0.25 seconds
  • the display time is continuous, that is, infinite ( ⁇ ).
  • the lighting (ON) time is set to 2 to 10 ms and the extinguishing (OFF) time is set to 50 to 200 ms.
  • the information depth means the level of information displayed on the display unit. For example, in a stationary state, a full display for displaying detailed information including a sentence using a small character size, a map, a detailed figure, and the like is performed. In a situation where movement occurs such as walking or running, the display of information such as small character information is stopped, and information of a level that can be recognized with a medium amount of deviation is displayed. For example, current location information, simple maps, navigation information, and the like. Furthermore, in a situation where movement is intense, such as high-speed running or bicycle running, only information of a level that can be recognized even if the amount of deviation is large is displayed. Specifically, for example, simple instruction information, danger avoidance information, and the like.
  • FIG. 14 the figure which put together the example of the setting of the display mode in each following user state and display information is shown.
  • Stationary (STAY) (2) Walking (WALK) (3) Low speed running (JOG) (4) High speed running (RUN) (5) Bicycle (BIKE)
  • Hold display is used for stationary, walking, and low-speed running
  • pulse display is used for walking, low-speed running, high-speed running, and bicycle running.
  • either setting of hold display or pulse display may be used.
  • a preset threshold value for example, 3.5 deg / s
  • the display information is displayed by increasing the amount of information as the eye movement speed, such as still or walking, is reduced, and by constructing display information using a small character size.
  • the display processing is performed by constructing display information with a smaller amount of information and a larger character size as the eyeball moving speed is higher, such as high-speed running and bicycle running.
  • the eyeball during walking or running, the eyeball generates a movement according to the user's movement cycle.
  • the moving speed (angular velocity) of the eyeball at this time also varies at a predetermined cycle.
  • FIG. 15 is a graph showing the position (direction angle) and moving speed (angular velocity) of the eyeball during walking and running described above with reference to FIGS. 8 and 9.
  • FIG. 15A is a graph showing the position (direction angle) and moving speed (angular velocity) of the eyeball during walking, and corresponds to the graph of FIG. 8A2.
  • FIG. 15B is a graph showing the position (direction angle) and moving speed (angular velocity) of the eyeball during running, and corresponds to the graph of FIG. 9B2.
  • the eyeball moving speed (angular velocity) is shown as a solid line graph.
  • the moving speed of the eyeball indicated by the solid line has a periodic speed change, and points indicating a speed of 0 regularly appear.
  • points indicated by the arrows (p), (q), (r), and (s) shown in FIG. 15B 0. At these timings, even when the user is walking or running, the eyeball is in a stationary state in which there is almost no movement of the eyeball.
  • FIG. 16 shows a graph of the eyeball direction and eyeball movement speed during walking in the upper row.
  • the lower part shows an example of display control in the case of performing pulse display in which the display unit is turned on (ON) at the timing when the eyeball velocity derived from this graph becomes almost zero.
  • the graph shown in the lower part of FIG. 16 shows a pulse display in which the display is turned on (ON) at the timing when the eyeball velocity becomes almost zero, that is, each timing of p, q, and r, and the other timings are turned off (OFF). This is the setting to be made. It should be noted that pulse display with the ON period set to 2 to 10 ms and the OFF period set to about 200 ms can realize pulse display that is turned ON only when the eyeball velocity becomes almost zero during walking.
  • FIG. 17 shows a graph of the eye direction and the eye movement speed during running in the upper part.
  • the lower part shows an example of display control in the case of performing pulse display in which the display unit is turned on (ON) at the timing when the eyeball velocity derived from this graph becomes almost zero.
  • the graph shown in the lower part of FIG. 17 is a pulse in which the display is turned on (ON) and the other timings are turned off (OFF) at the timing when the eyeball velocity becomes almost zero, that is, at each timing of p, q, r, and s. It is a setting to display. It should be noted that the pulse display with the ON period set to 2 to 10 ms and the OFF period set to about 150 ms can realize the pulse display set to ON only at the timing when the eyeball velocity becomes almost zero during running.
  • FIG. 18 is a block diagram of the experimental system.
  • a light box 77 for photographic negative projection is disposed as a background luminance device.
  • the light box 77 presents light equivalent to outside light to the subject (maximum 4000 nt).
  • a display device 70 is arranged on the right side.
  • the display device 70 includes an LED 71 including a control unit, a diffusion plate 72, and an OHP sheet 73.
  • the display device 70 is a display monitor that assumes a virtual image screen of a head-mounted display (maximum 2500 nt).
  • the light emitted from the display device 70 is reflected by the half mirror 74 to which the central light shielding sheet 75 is attached and is input to the eyes of the subject 78.
  • the display character of the display device 70 is a white Landolt ring (C) made of the OHP sheet 73. This system created a simulated environment in which the display information on the head-mounted display was observed while exposed to outdoor light.
  • the display device 70 can arbitrarily change the brightness and the display time.
  • the display time was decreased from 3 ms to 1 ms, the luminance at which the subject 78 began to recognize the Landolt ring and the luminance at which the Landolt ring was clearly visible were measured. There are 4 subjects.
  • the graph shown in FIG. 19 is a graph showing the results.
  • FIG. 19 shows experimental results of pulse display of the following pattern.
  • A Display brightness in which display information is recognized in a pulse display of 1 ms on and 300 ms off
  • B Display brightness in which display information is recognized in a pulse display of 2 ms on and 300 ms off
  • C Display luminance in which display information is recognized in a pulse display of 3 ms on and 300 ms off
  • Each line shown in FIG. 19 shows an average value of four subjects.
  • the display luminance can be visually recognized if the display luminance is 400 nt or more. Further, it was confirmed by actual measurement that the display luminance is 4000 nt or more when the background luminance is 4000 nt and the display luminance is 1200 nt when the background luminance is 4000 nt when the lighting is 1 ms.
  • the background luminance of 4000 nt that can be actually measured with the system shown in FIG. 18 is a brightness equivalent to a sunny day / daytime in spring, and a brighter environment is assumed when used during actual sports.
  • the horizontal axis represents the environmental luminance of the background environment corresponding to the outside, and the vertical axis represents the average luminance of one frame used as display information on the display unit. From this graph, it can be seen that the relationship between the display average luminance and the background luminance does not depend on the display time (2 ms, 3 ms).
  • FIG. 21 shows the result of calculating data corresponding to the actual external environment.
  • the horizontal axis represents the ambient luminance of the external environment
  • the vertical axis represents the one-frame average luminance of a frame used as display information on the display unit.
  • the environmental brightness of the outside environment is, for example, about 6000 nt for summer sunny weather, about 11000 nt for summer sunny weather, and about 16000 nt for summer sunny and reflected environments such as the sea.
  • FIG. 22 (10-1. Basic sequence for switching between hold display and pulse display)
  • the flowchart shown in FIG. 22 is a basic display when the display device display is a hold (continuous) display or a pulse display that repeats lighting (ON) / extinguishing (OFF), or alternative processing is performed. It is a flowchart explaining a control sequence. The process of each step will be described.
  • Step S11 sensor information attached to a display device such as a head-mounted display is acquired.
  • the display device includes various sensors such as a sensor that detects a user's movement.
  • the control unit acquires these sensor information.
  • sensor information such as an acceleration sensor is acquired.
  • Step S12 the control unit determines the user's movement based on the acquired sensor information, and calculates the maximum movement speed of the eyeball based on the determined user's movement.
  • the eye velocity calculation process is executed as a calculation process according to the theory described above with reference to FIGS. 7 to 9, for example.
  • step S13 it is determined whether the maximum eyeball speed calculated in step S12 is greater than or equal to a predetermined threshold value.
  • the threshold is, for example, an eyeball velocity of 2 deg / s, and the determination formula is as follows. Maximum eye speed> 2 deg / sec
  • step S12 If the determination formula is satisfied, that is, if it is determined that the maximum eyeball speed calculated in step S12 is equal to or greater than a predetermined threshold value, the process proceeds to step S14. If the determination formula is not satisfied, that is, if it is determined that the maximum eyeball speed calculated in step S12 is less than a predetermined threshold value, the process proceeds to step S15. Note that the above threshold value is an example, and various threshold values can be set.
  • Step S14 If the above determination formula is satisfied, that is, if it is determined that the maximum eyeball speed calculated in step S12 is equal to or greater than a predetermined threshold value, the process proceeds to step S14, where the display on the display unit is set to pulse display and display processing is performed. Execute. Note that it is preferable to set the lighting (ON) time in the pulse display to 2 to 10 msec, and the extinguishing (OFF) time to 50 to 200 msec.
  • Step S15 If the determination formula is not satisfied, that is, if it is determined that the maximum eyeball speed calculated in step S12 is less than a predetermined threshold value, the process proceeds to step S15, and the display on the display unit is set to hold (continuation) display. Execute display processing.
  • the movement speed of the eyeball has been described based on the user's movement and based on the theory described above with reference to FIG. 7 to FIG. It is also possible to use a sensor that directly monitors and measures the movement of the sensor.
  • Step S101 sensor information attached to a display device such as a head-mounted display is acquired.
  • the display device includes various sensors such as a sensor that detects a user's movement, and the control unit acquires the sensor information.
  • sensor information such as an acceleration sensor is acquired.
  • Step S102 Based on the sensor information acquired in step S101, the control unit determines whether the user is stationary, performing a periodic motion that repeats a certain motion, or performing a non-periodic motion.
  • the periodic exercise is, for example, walking (walking) described with reference to FIG. 8, running such as running described with reference to FIG.
  • the non-periodic exercise is an exercise accompanied by a non-constant movement, such as a bicycle run.
  • step S103 When it is determined that the user is in a stationary state or in a state of performing periodic exercise, the process proceeds to step S103. If it is determined that the user is performing a non-periodic motion that is not a periodic motion, the process proceeds to step S106.
  • Step S103 If it is determined in step S102 that the user is stationary or performing a periodic exercise, the process proceeds to step S103, and further, whether the user is stationary or walking, or is in a running (running) state. judge. This determination is made based on the length of the exercise cycle. That is, as described above with reference to FIG. 13, determination based on the length of the motion vibration period in FIG. 13 (1) is possible.
  • step S103 If it is determined in step S103 that the user is stationary or walking, the process proceeds to step S104. On the other hand, if it is determined in step S103 that the user is in the running (running) state, the process proceeds to step S105.
  • Step S104 If it is determined in step S103 that the user is stationary or walking, the process proceeds to step S104, and display control corresponding to stationary or low-cycle motion is executed in step S104. That is, display control corresponding to the case where the user is standing still or walking is executed. This process corresponds to the hold display process shown in the (d) column of FIG.
  • Step S105 If it is determined in step S103 that the user is in the running (running) state, the process proceeds to step S105, and in step S105, display control corresponding to the high-cycle motion is executed. That is, display control corresponding to the case where the user is walking or running (running) is executed.
  • This process is a process corresponding to the display control process during the execution of the periodic motion excluding the non-periodic motion in the bicycle running or the like during the pulse display processing shown in the column (d) of FIG.
  • Step S106 If it is determined in step S102 that the user is performing a non-periodic exercise, the process proceeds to step S106, and display control corresponding to the non-periodic exercise state is executed in step S106. That is, display control corresponding to the case where the user is traveling on a bicycle is executed.
  • This process is a process corresponding to the display control process during the execution of the aperiodic motion during the pulse display process shown in the column (d) of FIG.
  • Step S201 First, in step S201, sensor information attached to a display device such as a head-mounted display is acquired.
  • the display device is equipped with various sensors that measure the user's position, the user's body condition (heart rate and sweating amount), and the outside temperature, humidity, and illuminance. ing.
  • the control unit acquires these sensor information.
  • Step S202 the control unit builds display information to be presented to the user based on the acquired sensor information.
  • the control unit For example, it is composed of map information indicating the current position based on information obtained from the position sensor, information indicating the physical condition of the user obtained from a sensor that grasps the state of the user's body, information on the outside temperature and humidity, etc. Build display information.
  • Step S203 a screen for combining the display information generated in step S202 and outputting it to the display unit is generated.
  • the display screen is a halt display screen for continuous display.
  • the display brightness is determined according to the brightness of the outside world obtained by the illuminance sensor, that is, the brightness determined according to the environmental brightness. Specifically, as described above with reference to FIGS. 19 to 21 and the like, the display information determined in accordance with the environmental luminance is set to a recognizable luminance level.
  • step S204 continuation (hold) display of the display screen generated in step S203 is started.
  • the flow shown on the right side of FIG. 24 is an interrupt control flow executed while the processing of steps S201 to S204 on the left side is continued. This processing flow will be described.
  • step S251 the control unit acquires sensor information attached to a display device such as a head-mounted display.
  • the display device is provided with a sensor that detects, for example, a sudden impact, for example, an acceleration sensor.
  • the control unit determines whether or not there is a shock such as an impact on the display device based on the output from the acceleration sensor. If it is determined that a shock has been detected, the process proceeds to step S252.
  • Step S252 If it is determined in step S251 that a shock has been detected, the output of the display unit is stopped in step S252. This process corresponds to the display-off process at the time of shock detection during the hold display execution in the optimum display mode of FIG. 13D described above with reference to FIG.
  • Step S301 sensor information attached to a display device such as a head-mounted display is acquired.
  • the display device has various sensors that measure the user's position, the user's body condition (heart rate and sweating amount), and the outside temperature, humidity, illuminance, etc.
  • a sensor is provided.
  • the control unit acquires these sensor information.
  • Step S302 the control unit builds display information to be presented to the user based on the acquired sensor information.
  • the control unit For example, it is composed of map information indicating the current position based on information obtained from the position sensor, information indicating the physical condition of the user obtained from a sensor that grasps the state of the user's body, information on the outside temperature and humidity, etc. Build display information.
  • step S303 the eyeball stability timing is calculated.
  • the timing at which the eyeball movement speed as described above with reference to FIGS. 16 and 17 becomes approximately zero is calculated. This timing can be calculated based on the movement period of the eyeball calculated from the user's movement period.
  • This timing information can be calculated by a learning process of the user's exercise status data.
  • step S303 for example, correspondence data between the user's movement cycle and the eyeball stability timing is created, and data that can immediately determine whether the current time is the eyeball stability timing from the user's movement situation detected by the sensor. Generate.
  • Step S304 it is determined whether or not the user operation cycle is equal to or less than a predetermined threshold. If it is equal to or less than the threshold value, the process proceeds to step S306. If larger than the threshold value, the process proceeds to step S305. In this process, for example, when intense exercise with a short cycle such as high-speed running is performed, the process proceeds to step S306, pulse display with a short lighting time for display ON is executed, and a relatively long cycle such as low-speed running is performed. If a gentle exercise is being performed, it means that the process proceeds to step S305, and pulse display with a longer lighting time for display ON is executed.
  • Step S305 is processing when it is determined in step S304 that the user's operation cycle is larger than a predetermined threshold value. In other words, this is processing when a gentle exercise with a relatively long period, such as low-speed running, is performed. In this case, in step S305, the pulse display with the lighting time set to ON for display is set to be executed.
  • Step S306 is processing when it is determined in step S304 that the user's operation cycle is equal to or less than a predetermined threshold. That is, it is a process when a long and intense exercise with a short cycle, such as high-speed running, is performed, and in this case, in step S306, a setting is made to execute pulse display with the lighting time set to display ON shortened.
  • Step S307 In step S305 or step S306, after the pulse display setting is completed, it is determined in step S307 whether or not the eyeball stabilization timing has come. That is, based on the correspondence data between the user's exercise situation and eyeball stability timing calculated in step S303, it is sequentially determined whether or not it is eyeball stability timing from the exercise information detected from the sensor.
  • step S3 If it is determined that the current time is the eyeball stabilization timing, the process also proceeds to step S308. Otherwise, the process returns to step S301.
  • Step S308 it is determined whether or not the turn-off time (OFF) in the pulse display is within a predetermined time range.
  • step S308 it is determined whether the turn-off (OFF) time is in the range of 50 to 200 ms. In the case of Yes, it progresses to step S309, and in No, it returns to step S301.
  • step S309 display information is output in the pulse display, that is, the display unit is turned on (ON) and the display information is output.
  • the lighting (ON) time is the lighting (ON) time set in step S305 or step S306. If lighting time passes, it will return to step S301.
  • Step S401 First, in step S401, sensor information attached to a display device such as a head-mounted display is acquired.
  • the display device is equipped with various sensors that measure the user's position, the user's body condition (heart rate and sweating amount), and the outside temperature, humidity, and illuminance. ing.
  • the control unit acquires these sensor information.
  • Step S402 the control unit builds display information to be presented to the user based on the acquired sensor information.
  • the control unit is composed of map information indicating the current position based on information obtained from the position sensor, information indicating the physical condition of the user obtained from a sensor that grasps the state of the user's body, information on the outside temperature and humidity, etc. Build display information.
  • Step S403 a screen for combining the display information generated in step S402 and outputting it to the display unit is generated.
  • the display screen is a pulse display screen.
  • the display brightness is determined according to the brightness of the outside world obtained by the illuminance sensor, that is, the brightness determined according to the environmental brightness. Specifically, as described above with reference to FIGS. 19 to 21 and the like, the display information determined in accordance with the environmental luminance is set to a recognizable luminance level.
  • Step S404 pulse display of the display screen generated in step S403 is started.
  • the flow shown on the right side of FIG. 26 is an interrupt control flow executed while the processing of steps S401 to S404 on the left side is continued. This processing flow will be described.
  • Step S451 the control unit acquires sensor information attached to a display device such as a head-mounted display.
  • the display device is provided with a sensor that detects, for example, a sudden impact, for example, an acceleration sensor.
  • the control unit determines whether or not there is a shock such as an impact on the display device based on the output from the acceleration sensor. If it is determined that a shock has been detected, the process proceeds to step S452.
  • Step S452 If it is determined in step S451 that a shock has been detected, the output of the display unit is stopped in step S452.
  • the display control to be described switches the display on the display unit in the following two modes.
  • A Pulse display that repeats turning on / off (ON / OFF) of the backlight of the display unit, and an afterimage-considering pulse display in which the non-display period is set within the afterimage recognition period;
  • B Pulse display in which the backlight of the display unit is repeatedly turned on / off (ON / OFF), a normal pulse display in which the non-display period is set to be longer than the afterimage recognition period,
  • the control which switches the display of said (a), (b) is performed.
  • (A) Afterimage-considering pulse display has substantially the same effect as “always-on“ continuous display (hold display) ”in the above-described embodiment, that is, the observer can continuously observe the display information. It is a display method that is in a state. This afterimage considering pulse display will be described with reference to FIG.
  • FIG. 27 is a graph showing time on the horizontal axis and ON / OFF setting of the display unit on the vertical axis.
  • the display unit is in an ON state and information display is executed.
  • the display unit is in an OFF state, and information display is not executed.
  • an afterimage is generated in the human eye, and the display information, for example, the character [ABC] displayed on the display unit shown in the figure is recognized. is there. That is, a “afterimage recognition period” of a predetermined period occurs.
  • the afterimage pulse display is a pulse display in which a non-display period (for example, times t2 to t3, t4 to t5, and the like shown in the drawing) is set to a time within the “afterimage recognition period”.
  • a non-display period for example, times t2 to t3, t4 to t5, and the like shown in the drawing.
  • normal pulse display is a pulse display in which the non-display period is set to be longer than the afterimage recognition period, and corresponds to the pulse display described in the above-described embodiment.
  • the display control to be described switches the display of the display unit in these two modes.
  • after-image consideration pulse display is used when the user state is stationary, walking, and low-speed running
  • normal pulse display is used when walking, low-speed running, high-speed running, and bicycle driving. is there.
  • the flowchart shown in FIG. 29 is a flowchart for explaining a basic display control sequence in a case where an alternative process is performed for the display device to display afterimage-considered pulse display or normal pulse display. The process of each step will be described.
  • Step S501 sensor information attached to a display device such as a head-mounted display is acquired.
  • the display device includes various sensors such as a sensor that detects a user's movement.
  • the control unit acquires these sensor information.
  • sensor information such as an acceleration sensor is acquired.
  • Step S502 the control unit determines the user's movement based on the acquired sensor information, and calculates the maximum movement speed of the eyeball based on the determined user's movement.
  • the eye velocity calculation process is executed as a calculation process according to the theory described above with reference to FIGS. 7 to 9, for example.
  • step S503 it is determined whether the maximum eyeball speed calculated in step S502 is greater than or equal to a predetermined threshold value.
  • the threshold is, for example, an eyeball velocity of 2 deg / s, and the determination formula is as follows. Maximum eye speed> 2 deg / sec
  • step S502 If the determination formula is satisfied, that is, if it is determined that the maximum eye velocity calculated in step S502 is equal to or greater than a predetermined threshold, the process proceeds to step S504. If the determination formula is not satisfied, that is, if it is determined that the maximum eyeball speed calculated in step S502 is less than a predetermined threshold value, the process proceeds to step S505. Note that the above threshold value is an example, and various threshold values can be set.
  • Step S504 If the determination formula is satisfied, that is, if it is determined that the maximum eyeball speed calculated in step S502 is equal to or greater than a predetermined threshold value, the process proceeds to step S504, where the display unit displays normal pulse display, that is, the display unit is not displayed. Display processing is executed with the display period set to normal pulse display set to be longer than the afterimage recognition period.
  • Step S505 When the determination formula is not satisfied, that is, when it is determined that the maximum eyeball speed calculated in step S502 is less than a predetermined threshold value, the process proceeds to step S505, and the display unit displays the afterimage-considered pulse display, that is, the display unit.
  • the non-display period is set to the afterimage considering pulse display set within the afterimage recognition period, and the display process is executed.
  • the eyeball velocity is measured by directly monitoring the eyeball movement.
  • the setting may be calculated from the following values during exercise (running). (1) The movement of the torso, such as the head, waist and shoulders, the movement of the legs and arms, the running speed, the movement cycle, etc.
  • L Target viewpoint (tentatively 3.0 m) [m]
  • a Constant (0 ⁇ a ⁇ 0.3) (assuming 0.21)
  • Ph Head position (height change amount) [m]
  • FIG. 30 is a flowchart for explaining the display parameter setting and display control sequence when the display on the display device is the afterimage-considered pulse display.
  • the afterimage-considering pulse display is executed as a repetitive process of “display and non-display” for a fixed time.
  • a shock acceleration
  • the process of each step will be described.
  • Step S521 First, in step S521, a non-display time (period) is set.
  • the non-display time is calculated by the following formula, for example.
  • Non-display time afterimage recognition time (period) x 0.8
  • a value (default value) 96 ms in consideration of a general afterimage recognition time. Note that the afterimage recognition time varies depending on the user, and when a value unique to each user can be measured, the measured value may be set.
  • Step S522 the display time per time is set.
  • the display time is set to 10 ms, for example.
  • an afterimage considering pulse display screen is generated.
  • it is composed of map information indicating the current position based on information obtained from the position sensor, information indicating the physical condition of the user obtained from a sensor that grasps the state of the user's body, information on the outside temperature and humidity, etc.
  • Build display information The display brightness is determined according to the brightness of the outside world obtained by the illuminance sensor, that is, the brightness determined according to the environmental brightness. Specifically, as described above with reference to FIGS. 19 to 21 and the like, the display information determined in accordance with the environmental luminance is set to a recognizable luminance level.
  • the control device 100 is a display device that is worn on the human body of a user, such as a head-mounted display, or a device that performs control of a portable display device. As illustrated in FIG. 31, the control device 100 includes a control unit 101, a memory 102, an operation unit 103, a display unit 104, an audio output unit 105, a communication unit 106, and various sensors.
  • the sensors include a geomagnetic sensor 121, a GPS unit 122, an atmospheric pressure sensor 123, a heart rate sensor 124, a sweating amount sensor 125, a gyro sensor 126, an acceleration sensor 127, an illuminance sensor 128, a temperature / humidity sensor 129, and the like.
  • the sensor shown in the figure is an example, and a configuration including another sensor may be employed.
  • the control unit 101 is a data processing unit having a program execution function such as a CPU, and executes various processes according to a data processing program stored in the memory 102. Specifically, for example, processing according to the flowcharts shown in FIGS. 22 to 26 described above is executed.
  • the memory 102 stores data such as content output via the display unit 104 and the audio output unit 105, sensor information acquired by each sensor, and the like.
  • the operation unit 103 includes various operation units such as a power switch, selection of output data for the display unit 104, and volume operation for sound output.
  • the display unit 104 is a display unit configured by an LCD or the like, for example, and displays various data under the control of the control unit 101. In addition, based on control of the control part 101, the display in various aspects, such as a hold display and a pulse display, is performed.
  • the audio output unit 105 is a speaker, for example, and outputs music, audio information, and the like corresponding to the content displayed on the display unit 105.
  • the communication unit 105 includes wireless, wired, and various setting communication units, and transmits and receives data to and from an external terminal.
  • the geomagnetic sensor 121 acquires geomagnetic information to be applied to calculation processing such as current location information.
  • the sensor information acquired by each sensor is input to the control unit 101, and various types of pre-defined information are calculated by processing according to the sensor information analysis program stored in the memory 102.
  • the geomagnetic information acquired by the geomagnetic sensor 121 is input to the control unit 101 and used for current location information calculation processing and the like.
  • the GPS unit 122 is also a sensor used for acquiring current position data using GPS satellites, and information acquired by the GPS unit 122 is input to the control unit 101 and used for current location information calculation processing and the like.
  • the atmospheric pressure sensor 123 is a sensor that measures atmospheric pressure.
  • the heart rate sensor 124 is a sensor that measures a user's heart rate.
  • the perspiration amount sensor 124 is a sensor that measures the perspiration amount of the user.
  • the gyro sensor 126 is an angle or angular velocity detection sensor.
  • the acceleration sensor 127 is a sensor that detects acceleration.
  • the illuminance sensor 128 is a sensor that detects the illuminance of the outside world.
  • the temperature / humidity sensor 129 is a sensor that measures the temperature and humidity of the outside world.
  • the detection information of each of these sensors is input to the control unit 102. Used to construct and control display information.
  • the controller has a control part which performs display information output control to a user wearing type or portable type display part
  • the controller is An afterimage-considering pulse display in which a lighting (ON) period that is an output period of display information for the display unit and an extinguishing (OFF) period that is a non-output period of display information are set and the extinguishing period is set within an afterimage recognition period
  • a control device that switches and controls normal pulse display in which the extinguishing period is set to be longer than the afterimage recognition period.
  • control unit performs switching control between afterimage-considered pulse display and normal pulse display according to the eyeball speed of the user holding the display unit.
  • the control unit executes afterimage-considered pulse display when the eyeball velocity of the user holding the display unit is less than a threshold value, and executes normal pulse display when the eyeball velocity is greater than or equal to the threshold value.
  • the control unit calculates the user's eyeball speed based on the user's movement information input from the sensor information, and executes switching control between afterimage-considered pulse display and normal pulse display according to the calculated eyeball speed.
  • the control device according to any one of (1) to (3).
  • the control device includes an acceleration sensor, and the control unit applies detection information of the acceleration sensor to calculate a user's eyeball velocity, and displays an afterimage-considered pulse display and a normal one according to the calculated eyeball velocity.
  • the control device according to any one of (1) to (4), which executes pulse display switching control.
  • the display unit is a head-mounted display unit that is worn on a user's head, and the control unit is configured to move an eyeball at the time of eye movement that occurs according to the vertical motion of the user's head.
  • the control device according to any one of (1) to (5), wherein the control for switching between afterimage-considering pulse display and normal pulse display is executed according to the calculated eyeball movement speed.
  • control unit executes pulse display in which one lighting (ON) period is 10 ms or less.
  • the display unit is a display unit having a lens for setting a virtual observation position at a position far from the display surface with respect to the user's eyes. apparatus.
  • (9) having a control unit that executes display information output control for a user-mounted or portable display unit;
  • the controller is A hold display for continuously executing display information output to the display unit;
  • Pulse display as intermittent display that repeats a lighting (ON) period that is an output period of display information to the display unit and a light-off (OFF) period that is a non-output period of display information, Control device for switching control.
  • control unit executes switching control between hold display and pulse display according to an eyeball speed of a user holding the display unit.
  • control unit (9) or (10), wherein the control unit executes hold display when the eyeball velocity of the user holding the display unit is less than a threshold value, and executes pulse display when the eyeball speed is equal to or greater than the threshold value. Control device.
  • the control unit calculates the user's eyeball speed based on the user's movement information input from the sensor information, and executes switching control between hold display and pulse display according to the calculated eyeball speed. ) To (11).
  • the control device includes an acceleration sensor, and the control unit applies detection information of the acceleration sensor to calculate a user's eyeball velocity, and performs hold display and pulse display according to the calculated eyeball velocity.
  • the control device according to any one of (9) to (12), which executes switching control.
  • the display unit is a head-mounted display unit that is worn on a user's head, and the control unit is configured to move an eyeball at the time of eye movement that occurs according to the up and down motion of the user's head.
  • the control device according to any one of (9) to (13), wherein the control for switching between hold display and pulse display is executed according to the calculated eyeball movement speed.
  • a control method executed by a control device for a user-mounted or portable display unit The control unit An afterimage-considering pulse display in which a lighting (ON) period that is an output period of display information for the display unit and an extinguishing (OFF) period that is a non-output period of display information are set and the extinguishing period is set within an afterimage recognition period
  • a control method for switching and controlling normal pulse display in which the extinguishing period is set to be longer than the afterimage recognition period.
  • a control method executed by a control device for a user-mounted or portable display unit The control unit A hold display for continuously executing display information output to the display unit; Pulse display as intermittent display that repeats a lighting (ON) period that is an output period of display information to the display unit and a light-off (OFF) period that is a non-output period of display information, A control method for switching control.
  • a program that causes a control device to execute control on a user-mounted or portable display unit The program is stored in the control device.
  • An afterimage-considering pulse display in which a lighting (ON) period that is an output period of display information for the display unit and an extinguishing (OFF) period that is a non-output period of display information are set and the extinguishing period is set within an afterimage recognition period
  • a program that causes a control device to execute control on a user-mounted or portable display unit The program is stored in the control device.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • display information output control with improved visibility of a user-mounted or portable display unit. Specifically, it has a control part which performs display information output control with respect to a user wearing type or a portable display part, and a control part turns on display information output with respect to a display part as a display information output period to a display part. (ON) period and non-output (OFF) period, which is a non-output period of display information, and afterimage-considering pulse display in which the extinction period is set within the afterimage recognition period Switch and control the pulse display.
  • ON ON
  • OFF non-output
  • the control unit executes switching control between afterimage-considered pulse display and normal pulse display according to the user's eye velocity, and executes afterimage-considered pulse display when the user's eyeball velocity is less than the threshold, Normal pulse display is executed.

Abstract

ユーザ装着型または携帯型の表示部の視認性を向上させた表示情報出力制御を実行する構成を提供する。ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、制御部は、表示部に対する表示情報の出力期間である点灯(ON)期間と、非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する。制御部は、ユーザの眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行し、ユーザの眼球速度が閾値未満の場合は残像考慮パルス表示を実行し、閾値以上の場合は通常パルス表示を実行する。

Description

制御装置、および制御方法、並びにプログラム
 本開示は、制御装置、および制御方法、並びにプログラムに関する。特に、頭部装着型のディスプレイであるヘッド・マウント・ディスプレイなどユーザの体に装着、あるいはユーザが携帯する表示装置の表示制御を実行する制御装置、および制御方法、並びにプログラムに関する。
 近年、携帯型の表示装置や、ヘッド・マウント・ディスプレイ(HMD:Head Mount Display)などの頭部装着型の表示装置が普及し、多くのユーザがこれらの携帯型または装着型表示装置を移動中や運動中に使用している。しかし、これらの携帯型または装着型の表示装置はユーザの動きなどに応じて振動し、表示部の表示情報の認識が困難になるという問題がある。この表示情報の認識困難性は、周囲への注意散漫による事故や眼の疲れの誘発などの原因になり、危険な事態の発生も懸念される。
 特に、頭部に装着して映像を視聴する表示装置、すなわちヘッド・マウント・ディスプレイ(HMD:Head Mount Display)は、ユーザが手に持つ必要がなく、ウォーキングやランニングなど運動しながら好みの映像や音楽を楽しむことができる。しかし、一方でウォーキングやランニングなどの運動に応じた振動を抑えることは難しく、表示部の表示情報の認識がより困難になってしまうという問題がある。
 なお、ヘッド・マウント・ディスプレイ(HMD)は、左右の眼のいずれか、あるいは両眼で観察可能な表示部を有し、さらにヘッドフォンと併用して視覚および聴覚を制御できるように構成されている。
 なお、ヘッド・マウント・ディスプレイの構造と原理について開示した従来技術として、例えば特許文献1(特開2011-145488号公報)がある。
 上述したように、携帯型あるいは装着型の表示装置を用いる場合、ユーザが静止した状態であれば比較的安定して表示情報を確認できるが、歩行やランニング等の動作を行った場合、表示情報の認識が困難になるといった問題が発生する。
特開2011-145488号公報
 本開示は、例えば上記問題点に鑑みてなされたものであり、ヘッド・マウント・ディスプレイ等、ユーザの体に装着する装着型、あるいはユーザが携帯する携帯型など、振動等の動きのある表示装置の表示制御により、認識率の低下を抑制可能とした制御装置、および制御方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、
 前記制御部は、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する制御装置にある。
 さらに、本開示の制御装置の一実施態様において、前記制御部は、表示部を保持したユーザの眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する。
 さらに、本開示の制御装置の一実施態様において、前記制御部は、表示部を保持したユーザの眼球速度が閾値未満の場合は残像考慮パルス表示を実行し、閾値以上の場合は通常パルス表示を実行する。
 さらに、本開示の制御装置の一実施態様において、前記制御部は、センサ情報から入力するユーザの動き情報に基づいてユーザの眼球速度を算出し、算出した眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する。
 さらに、本開示の制御装置の一実施態様において、前記制御装置は加速度センサを有し、前記制御部は、加速度センサの検出情報を適用して、ユーザの眼球速度を算出し、算出した眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する。
 さらに、本開示の制御装置の一実施態様において、前記表示部はユーザの頭部に装着する頭部装着型の表示部であり、前記制御部は、ユーザの頭部の上下の動気に応じて発生する眼球移動時の眼球移動速度を算出し、算出した眼球移動速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する。
 さらに、本開示の制御装置の一実施態様において、前記制御部は、1回の点灯(ON)期間を10ms以下としたパルス表示を実行する。
 さらに、本開示の制御装置の一実施態様において、前記表示部は、ユーザの眼に対して表示面より遠い位置に仮想的観察位置を設定するためのレンズを有する表示部である。
 さらに、本開示の第2の側面は、
 ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、
 前記制御部は、
 前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
 切り替え制御する制御装置にある。
 さらに、本開示の制御装置において、前記制御部は、表示部を保持したユーザの眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する。
 さらに、本開示の制御装置において、前記制御部は、表示部を保持したユーザの眼球速度が閾値未満の場合はホールド表示を実行し、閾値以上の場合はパルス表示を実行する。
 さらに、本開示の制御装置において、前記制御部は、センサ情報から入力するユーザの動き情報に基づいてユーザの眼球速度を算出し、算出した眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する。
 さらに、本開示の制御装置において、前記制御装置は加速度センサを有し、前記制御部は、加速度センサの検出情報を適用して、ユーザの眼球速度を算出し、算出した眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する。
 さらに、本開示の制御装置において、前記表示部はユーザの頭部に装着する頭部装着型の表示部であり、前記制御部は、ユーザの頭部の上下の動気に応じて発生する眼球移動時の眼球移動速度を算出し、算出した眼球移動速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する。
 さらに、本開示の制御装置において、前記制御部は、パルス表示を実行する場合、1回の点灯(ON)期間を10ms以下としたパルス表示を実行する。
 さらに、本開示の制御装置において、前記表示部は、ユーザの眼に対して表示面より遠い位置に仮想的観察位置を設定するためのレンズを有する表示部である。
 さらに、本開示の第3の側面は、
 ユーザ装着型または携帯型の表示部に対して制御装置の実行する制御方法であり、
 制御部が、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する制御方法にある。
 さらに、本開示の第4の側面は、
 ユーザ装着型または携帯型の表示部に対して制御装置の実行する制御方法であり、
 制御部が、
 前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
 切り替え制御する制御方法にある。
 さらに、本開示の第5の側面は、
 ユーザ装着型または携帯型の表示部に対する制御を制御装置に実行させるプログラムであり、
 前記プログラムは、前記制御装置に、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御させるプログラムにある。
 さらに、本開示の第6の側面は、
 ユーザ装着型または携帯型の表示部に対する制御を制御装置に実行させるプログラムであり、
 前記プログラムは、前記制御装置に、
 前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
 切り替え制御させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、ユーザ装着型または携帯型の表示部の視認性を向上させた表示情報出力制御が実現される。
 具体的には、ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、制御部は、表示部に対する表示情報出力を表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する。制御部は、ユーザの眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行し、ユーザの眼球速度が閾値未満の場合は残像考慮パルス表示を実行し、閾値以上の場合は通常パルス表示を実行する。
 本構成により、表示部の視認性を向上させた表示情報の出力制御が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
ヘッド・マウント・ディスプレイの構成例について説明する図である。 表示装置の視認性低下要因について説明する図である。 表示部の画像を仮想的に遠方に見えるようにする手法の一例について説明する図である。 表示文字を点滅させて表示するアプリケーションを利用して認識レベルを評価する実験について説明する図である。 表示部の間欠表示(パルス表示)について説明する図である。 パルス表示を可能とした表示部を持つヘッド・マウント・ディスプレイを被験者(ユーザ)に装着し、様々な運動や動作を行いながら表示部の表示情報を確認させる実験について説明する図である。 歩行中の視線安定を維持する頭部運動と眼球運動について説明する図である。 歩行時の眼球移動速度(角速度)の算出処理例について説明する図である。 ランニング時の眼球移動速度(角速度)の算出処理例について説明する図である。 眼球移動速度と視認性低下レベルとの対応関係について説明する図である。 歩行、低速ランニング、高速ランニングの3種類の運動を実行中の眼球の移動速度と情報の表示時間に応じて発生する文字のずれ量と、認識可能な文字の大きさ(サイズ)について解析した結果について説明する図である。 図11に示す結果から得られる2つの解析結果をまとめた図である。 ヘッド・マウント・ディスプレイ等、人体装着型あるいは携帯型の表示装置を装着または携帯したユーザの様々な運動状態に応じた表示制御の例を説明する図である。 各ユーザ状態における表示態様と表示情報の設定例について説明する図である。 歩行時とランニング時の眼球の位置(方向角度)と移動速度(角速度)および眼球速度帆0のポイントを示す図である。 歩行時において眼球速度がほぼ0になるタイミングに表示部の表示を点灯(ON)とするパルス表示を行う場合の表示制御例について説明する図である。 ランニング時において眼球速度がほぼ0になるタイミングに表示部の表示を点灯(ON)とするパルス表示を行う場合の表示制御例について説明する図である。 背景視野の明るさに応じたパルス表示の光量制御について確認する実験装置について説明する図である。 図18に示す実験装置を適用した実験の結果について説明する図である。 4000ntを超える環境下での必要輝度について、実測した表示輝度を1フレーム平均輝度(1フレーム=16.67ms)に換算したグラフを示す図である。 横軸に外界環境の環境輝度、縦軸に表示部の表示情報として利用するフレームの1フレーム平均輝度を設定し、環境輝度に対して必要となる表示部輝度を説明するグラフを示す図である。 ホールド表示とパルス表示の切り替え制御の基本シーケンスについて説明するフローチャートを示す図である。 運動状況判定処理シーケンスについて説明するフローチャートを示す図である。 静止または低周期運動実行時の表示制御シーケンスについて説明するフローチャートを示す図である。 高周期運動実行時の表示制御シーケンスについて説明するフローチャートを示す図である。 非周期運動実行時の表示制御シーケンスについて説明するフローチャートを示す図である。 残像考慮パルス表示の具体例について説明する図である。 各ユーザ状態における表示態様と表示情報の設定例について説明する図である。 表示装置の表示を残像考慮パルス表示とするか、通常パルス表示とするか択一的な処理を行なう場合の基本的な表示制御シーケンスを説明するフローチャートを示す図である。 表示装置の表示を残像考慮パルス表示とする場合の表示パラメータの設定と表示制御シーケンスを説明するフローチャートを示す図である。 本開示の制御装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の制御装置、および制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
  1.ヘッド・マウント・ディスプレイの構成例について
  2.表示情報の視認性低下の要因と解析について
  3.視認性低下の抑制に関する考察
  4.残像と追従視(網膜すべり)に起因する視認性低下についての考察
  5.パルス表示による視認性低下の抑制について
  6.パルス表示による視認性向上の理論について
  7.ユーザの動きに応じた制御を実行する構成について
  8.パルス表示における表示タイミングの制御について
  9.表示部の輝度制御について
  10.表示制御の処理シーケンスについて
  10-1.ホールド表示とパルス表示の切り替え制御の基本シーケンス
  10-2.運動状況判定処理シーケンス
  10-3.静止または低周期運動実行時の表示制御シーケンス
  10-4.高周期運動実行時の表示制御シーケンス
  10-5.非周期運動実行時の表示制御シーケンス
 11.非表示期間を残像認識期間内に設定した残像考慮パルス表示と通常パルス表示の切り替え処理例について
  12.制御装置のハードウェア構成例について
  13.本開示の構成のまとめ
  [1.ヘッド・マウント・ディスプレイの構成例について]
 まず、本開示の表示装置の一例であるヘッド・マウント・ディスプレイ(HMD)の構成例について説明する。
 図1は、ヘッド・マウント・ディスプレイ(HMD)10を装着したユーザを示した図である。
 ヘッド・マウント・ディスプレイ10はユーザの頭部に装着可能な構成を有する。図に示すヘッド・マウント・ディスプレイ10は、ユーザの右眼側に表示部11が設けられ、左眼側にはディスプレイを持たない設定である。表示部11は、眼の前面を覆わない設定となっている。このような構成とすることで、ユーザは、通常は表示部11を見ることなく前方の外界を観察することが可能としなる。
 従って、ユーザはヘッド・マウント・ディスプレイ10を装着したまま、例えば歩行(ウォーキング)、走行(ランニング)、あるいは自転車やバイクによる走行などを行うことが可能となる。ユーザはこれらの運動等をしながら一時的に表示部11に視線を移動することで、表示部11の表示情報を確認することができる。
 すなわち、歩行、ランニングなどの動作をしながら時々視線を移動させることで表示情報を確認することができる。
 なお、表示情報の例としては現在地を示す地図情報や、温度湿度情報、ユーザの心拍数の情報などがある。
 ヘッド・マウント・ディスプレイ10には、これらの各情報を取得するための様々なセンサが設けられ、制御部15の制御の下に、センサ検出情報に基づく表示情報が生成され、表示処理が行われる。
 また、ヘッド・マウント・ディスプレイ10には表示部11の他に左右の耳の位置にスピーカ12L,12Rが備えられ、表示部11の表示情報に応じた音声出力がなされる。表示部11に対する表示情報の出力制御や、スピーカ12L,12Rに対する音声出力制御は、制御部15において実行する。
  [2.表示情報の視認性低下の要因と解析について]
 図1に示すヘッド・マウント・ディスプレイ10など、ユーザが携帯型あるいは装着型の表示装置の表示情報を見る場合、ユーザが静止した状態であれば比較的安定して表示情報を確認することが可能である。しかし、例えば歩行やランニング等の動作を行いながら表示部を見た場合、表示情報を即座に認識できない、すなわち表示情報の認識が困難になるといった問題が発生する。
 ヘッド・マウント・ディスプレイ(HMD)等の表示情報が、運動中に認識困難になる要因は、大きく分類すると以下の2つの要因に分類できる。
 (1)ヘッド・マウント・ディスプレイ(HMD)本体の揺れ
 (2)人間の眼球運動
 これらの2つの要因がある。
 「(1)ヘッド・マウント・ディスプレイ(HMD)本体の揺れ」に起因する視認性低下は、ヘッド・マウント・ディスプレイ(HMD)の表示部に対する眼球の位置ずれや振動によって表示が物理的に視界から外れる、もしくは、その振動速度が速いために生ずる視認性の低下である。
 また、「(2)人間の眼球運動」に起因する視認性低下は、具体的には以下のような複数の生体反応に基づくものである。すなわち、人間が無意識に行っている体の動きにあわせて反射的に眼球を動かす「前庭性眼球運動」や、周辺視野の情報を取得するためのかす「サッケード眼球運動」、さらには対象物を認知・認識のために生じる「焦点合わせ」、「追従視」などによる視認性低下である。
 このような要因に基づく視認性低下に対する従来の対策としては例えば以下のようなものがある。
 「(1)ヘッド・マウント・ディスプレイ(HMD)本体の揺れ」に対しては、表示装置を頭部にしっかり固定させ、且つ、平行光レンズを使うなど物理的な対策が有効である。これらの方法は、表示部が十分に軽量化な場合、また、外部からの「力」が小さい場合は有効に作用する。しかし、所定以上の加速度等、外部から大きな「力」が作用した場合は振動幅が大きくなり、また振動が一定方向のみならず、例えばひねりが入り、複数方向の揺れが発生する。このような場合には、網膜すべりなどが発生し、認識率の低下が防止できなくなるという問題がある。
 もう一方の「(2)人間の眼球運動」に関しての有効な対策については、特に開示されたものは見つからなかった。
 そこで(2)人間の眼球運動に基づいて発生する視認性の低下について解析した。
 図2は、例えばヘッド・マウント・ディスプレイを装着して歩行、ランニング、自転車走行等の運動を行いながら外界(正面)を見ているユーザが、ヘッド・マウント・ディスプレイの表示部に視線を移動して表示情報を認識するまでの状態遷移と、各状態において発生する視認性低下の原因となる現象について説明する図である。
 ヘッド・マウント・ディスプレイの表示部を見て表示された情報を認識するまでには、図2に示すように以下の4つの状態の遷移が発生する。
 (状態1)表示部外の遠く(外界正面)を見ている外界観察状態、
 (状態2)表示部に視線を移動する視線移動状態、
 (状態3)表示部に焦点を調整する焦点調整状態、
 (状態4)表示部の表示情報を認識する表示情報認識状態、
 (状態1)表示部外の遠く(外界正面)を見ている外界観察状態は、例えば、ユーザが正面を向いて運動している状態である。進行方向を向いて歩行、ランニング、自転車走行等を行って正面の外界を見ている状態である。
 (状態2)表示部に視線を移動する視線移動状態は、ユーザが、ヘッド・マウント・ディスプレイの表示部、例えば右目の端部にある表示部を見に行くために視線を移動している状態である。
 このとき、ユーザは、サッケード眼球運動という微細な眼球運動を行い、表示部(ディスプレイ)の位置を目の中心で捕捉しようとする。しかし、この視線移動段階で表示部(ディスプレイ)が揺れていると短時間で表示部を捕捉することができない。すぐに捕捉ができないと、他の場所を探すか、正面に視線を戻す眼球運動が発生する。
 視線移動を正確にかつ高速に実行可能とするためには、表示部の揺れを極力減らすことが必要である。表示部の揺れを減少させることで、サッケード眼球運動による捕捉を助けることが可能となる。
 (状態3)表示部に焦点を調整する焦点調整状態は、表示部を捕捉した後の処理であり、表示部の表示面に対する眼球の焦点合わせを行う状態である。焦点合わせの時間には個人差があるが、一般的に焦点合わせに要する時間は400msが標準的な時間と言われている。焦点合わせに時間がかかると、その間の表示部本体や身体の揺れにより、焦点合わせが上手くいかなくなる。
 この焦点合わせ処理における視認性低下を抑制するためには、表示部に対して眼球が多少ずれても、目が動く範囲であれば、同じ像が見えるように設定する処理が有効である。
 また、表示部の表示情報を虚像として遠くに観察されるように制御すれば、遠くを観察していたユーザは、表示部の表示情報に視点を移動しても焦点合わせがほぼ不要となり、焦点合わせの所要時間を短縮させることが可能となる。
 なお、表示部の光学系の設定により、表示部の表示情報を遠くに観察されるようにすることが可能である。具体的には、表示部の表示情報を平行光に近い設定で網膜に観察されるように光学系のレンズを設定すればよい。このレンズ設定例については後段で説明する。
 (状態4)表示部の表示情報を認識する表示情報認識状態は、焦点があった後の表示情報の認識処理を行なう状態である。
 この表示情報の認識処理における問題点として、人間の眼の残像効果と追従視(網膜すべり)による影響の問題がある。
 残像効果とは、簡単に言えば、人間が目で見たものを短時間保持することである。残像効果によって見えにくくなる現象の一例としてよく知られているのは、バックライトを常時点灯している液晶テレビにおいて、スポーツなどの早い動きの画面を見た際に"動きぼやけ"を感じるというものがある。
 これは、例えば表示部に例えばスポーツなどの動画を表示して観察すると、動画を構成する1フレーム目から2フレーム目に変わる時に、2フレーム目の画に1フレーム目の残像画が重なって見えてしまうために発生する問題である。
 追従視(網膜すべり)とは、動く物体を視野中心でとらえたのち、それを連続的に追うために動きを予測して眼球を移動させることである。予測した位置と実際の表示位置にずれが発生した場合は、実際には見えていないものを脳が見えたように補う処理や、消してしまうなどの誤認識が発生する。これも動きぼやけを助長する原因となる。
  [3.視認性低下の抑制に関する考察]
 図2を参照して説明したように、外界を見ているユーザが、ヘッド・マウント・ディスプレイの表示部に視線を移動して表示情報を認識するまでには視認性低下を発生させる様々な要因がある。
 図2に示すように、視認性低下を発生させる要因は、眼球要因と身体動作要因の2つのカテゴリに分類できる。
 身体動作要因としてのディスプレイの揺れや衝撃に対する対策としては、ヘッド・マウント・ディスプレイ自体の小型化、軽量化、ヘッドパッドやクッションなどの振動吸収部材の設定などの対策が有効と考えられる。
 また、眼球要因の1つである「サッケード」もディスプレイの揺れによって大きく影響を受けるため、ヘッド・マウント・ディスプレイの揺れを少なくするための工夫として、上記と同様、ヘッド・マウント・ディスプレイ自体の小型化、軽量化、ヘッドパッドやクッションなどの振動吸収部材の設定などの対策が有効と考えられる。
 また、眼球要因の1つである「焦点合わせ」に起因する視認性低下は、ユーザが表示部に視線を移動する前の外界観察状態では、眼球が遠距離に焦点があった状態であるのに対して、表示部の表示情報を見るときに近距離の表示情報を見なければならず、この焦点位置のギャップによって発生するものである。
 このための対策として、前述したように表示部の光学系を工夫して表示部の画像を仮想的に遠方に見えるようにする手法が有効てある。
 この手法について、図3を参照して説明する。
 図3には、例えばヘッド・マウント・ディスプレイ等の表示装置30の断面構成と表示情報を観察するユーザの眼20を示している。
 表示装置30は、表示面31の前面にレンズ32を備えている。ユーザは、レンズ32を介して表示面31の表示情報を観察する。
 表示面31とユーザの眼20との距離は約30mmとする。
 レンズ32を介さないで直接、表示面31の表示情報を認識するためには、眼20の焦点距離を30mmに設定しなければならない。例えば、遠方の景色を見ている状態から、表示面31に視点を移動して焦点を合わせようとすると、焦点位置を遠方から30mmの位置に大きく変更する処理が必要となり、焦点合わせ時間が必要となるため表示情報の認識の遅延が発生する。
 しかし、図3に示す構成では、レンズ32によって表示面31の出力光51aが制御ライン51bに示すように制御される。すなわち、表示面31の出力光はレンズ32によってほぼ平行光に近い設定に制御されてユーザの眼20に観察される。
 この制御によってユーザの眼20には、表示面31の表示情報、例えば図に示す文字[A]が、制御ライン51b,51cに沿った位置、すなわち図に示す仮想的観察位置35において観察されることになる。
 図に示す例では、仮想的観察位置35は、眼20から約3mの距離にある。この仮想的観察位置35までの距離は、レンズ32構成によって決定される距離であり、レンズの設定によって変更可能である。
 このようにレンズ32によって表示面31の表示情報の観察位置が遠方に設定されるため、ユーザは外の遠い景色を見ていた状態から表示装置30の表示面31に出力される表示情報に視点を移動させた場合、眼20の焦点距離の変動量を少なくできる。これにより焦点位置の位置合わせに要する時間が減少し、表示情報を即座に認識することが可能となる。
 なお、図3に示すレンズ制御方式は、平行光、遠距離結像方式として、既に既存のヘッド・マウント・ディスプレイにおいて利用されている方式である。
 また、このレンズ制御方式を利用した場合、例えば表示装置30に対する眼20の位置が図に示す眼20p,20qのようにずれても、仮想的観察位置35に対する位置ずれ量は表示面31に対する位置ずれ量に比較して相対的に減少するため、大きな視点移動をする必要がなくなり、より安定して表示情報を観察できる。
  [4.残像と追従視(網膜すべり)に起因する視認性低下についての考察]
 次に、図2に示す眼球要因の視認性低下の1つの要因である残像と追従視(網膜すべり)に起因する視認性低下について考察する。
 先に図2を参照して説明したように、残像効果は、人間が目で見たものを短時間保持してしまう効果である。例えばバックライトを常時点灯している液晶テレビにおいて、スポーツなどの早い動きの画面を見た際に後続フレームの画に先行フレームの残像画が重なって見えてしまうため"動きぼやけ"を感じるものなどがある。
 追従視(網膜すべり)は、動く物体を視野中心でとらえたのち、それを連続的に追うために動きを予測して眼球を移動させることであり。予測位置と実際の表示位置のずれにより、実際には見えていないものを見えたように感じる処理などであり、これが動きぼやけを助長する原因となる。
 残像の回避方法の一例として、ソニー製のテレビ装置に採用されているモーションフロー技術がある。これは、液晶表示装置のバックライトの点灯と消灯によって、残像の影響を低減させる方法である。
 具体的には、LEDのバックライトを上から下に向けて順に約1ms(1/960)ずつ点灯させる処理を行なうことで、映像が16倍速(1秒間960コマ)の映像と同等の設定にすることが可能となり、これにより視聴者の残像感を大幅に低減することが可能となる。
 これは、すなわち、1つの固定画像であるフレーム画像の表示時間を短縮して残像感を減少させるものである。
 我々は、これをユーザ装着型または携帯型ディスプレイに応用するためのデータを得るための簡単な実験を行った。この実験について図4を参照して説明する。タブレット端末としての表示装置40に2ケタの数字からなる表示文字41を出力し、この表示文字を点滅させて表示するアプリケーションを作成し、これを観察して認識レベルを評価する実験を行った。
 表示装置40上で動作する表示アプリは、2桁の数字をランダムで生成し表示する。表示パターンは、
 (a)数字を継続して常時点灯し続ける「継続表示(ホールド表示)パターン」、
 (b)数字の点灯消灯を10msで繰り返す「間欠表示(パルス表示)パターン」、
 これらの2種類を設定して、それぞれ実行した。
 被験者は、表示装置40を片手に持ち、表示装置40を軽く振った状態で表示情報を観察して表示情報の視認性を確認した。数名の評価結果として、「継続表示(ホールド表示)パターン」に比較して点灯消灯をほ繰り返す「間欠表示(パルス表示)パターン」の方が明らかに見えやすいと判定した評価結果が得られた。
  [5.パルス表示による視認性低下の抑制について]
 図4を参照して説明した実験に基づいて、ヘッド・マウント・ディスプレイ等の人体装着型あるいは携帯型表示装置に対する情報表示において、表示情報の出力(ON)と停止(OFF)を繰り返し行うパルス表示が、視認性低下の抑制効果を持つことが確認された。
 パルス表示は、表示部の情報表示を短時間間隔の表示、非表示の繰り返しとするものである。この処理によって短時間の出力画像を網膜に映すことが可能となり、網膜上でのすべりを回避させる効果があると考えられる。
 次に、表示情報の出力(ON)と停止(OFF)各々の期間設定など、パルス表示制御と視認性との相関について考察する。
 既存のヘッド・マウント・ディスプレイに制御基板を取り付け、表示部を構成する液晶のバックライトを高速に点灯・消灯ができる実験装置を作成して各種の実験を行った。
 表示部のバックライトは、常時ONの「継続表示(ホールド表示)」の設定の他、図5に示すように点灯/消灯(ON/OFF)の各時間を様々な設定とした「間欠表示(パルス表示)」を実行可能な構成とした。
 図5に示すように点灯/消灯(ON/OFF)の各時間は、以下の範囲で任意に設定可能な構成とした。
 点灯時間=1ms~10ms、
 消灯時間=10ms~500ms、
 上記の範囲の時間設定でON/OFFを可能とした表示部を備えたヘッド・マウント・ディスプレイを被験者(ユーザ)に装着し、実験を実施した。
 図5に示すグラフのON時間は、1~10msの範囲で調整可能であり、OFF時間は10~500msの範囲で調整可能とした。
 ONとOFFは、設定時間間隔で繰り返され、この結果、表示部の表示情報がON/OFFを繰り返すパルス表示になる。
 図6に示すように、パルス表示を可能とした表示部を持つヘッド・マウント・ディスプレイを被験者(ユーザ)に装着し、被験者に歩行、ランニング、自転車、さらに、階段の昇降、滑り台、首の強振など、様々な運動や動作を実行させた。被験者にこれら様々な運動を行いながら表示部の表示情報を確認させる実験を行った。
 この実験の結果、表示部の表示情報の視認性評価結果として以下の結論が得られた。
 (結論1)「継続表示(ホールド表示)」と「間欠表示(パルス表示)」との比較、
 視認性は、「継続表示(ホールド表示)」よりも、「間欠表示(パルス表示)」の方が良好である。
 (結論2)様々なON/OFF設定の「間欠表示(パルス表示)」の比較、
 視認性は、点灯(ON)時間=1~5ms、消灯(OFF)時間=100ms~300msの設定とした場合に、効果が顕著である。
 これらの結論が得られた。
  [6.パルス表示による視認性向上の理論について]
 網膜すべりの発生原理に基づくパルス表示の有効性について理論的な検証を行った。
 図7は、論文「歩行中の視線安定を維持する頭部運動と眼球運動」(大阪大学 平崎鋭矢 2000)に基づく図である。
 図7に示すユーザ50U,50M.50Dは、歩行時の顔の位置と傾きを示している。人間は、歩行時に頭部が垂直方向に上下する。このとき視線を安定させるために、無意識で頭部を傾ける動作を行っている。
 ユーザ50Mは、歩行時の垂直方向中間位置の顔の位置と傾きを示している。
 ユーザ50Uは、歩行時に最も上部に位置したときの顔の位置と傾きを示している。
 ユーザ50Dは、歩行時に最も下部に位置したときの顔の位置と傾きを示している。
 人間は、歩行時にある観察目標(Target)を設定し、その観察目標を見ながら歩く。従って、頭が上下すると、観察目標(Target)に対して視線を向けるために頭の向きを上下に傾ける。
 観察目標(Target)は、様々な位置に設定可能である。図には、2つの設定例として、遠方観察位置(Far Target)と近方観察位置(Near Target)を示している。ユーザは、例えばこれらのいずれかを一方を観察目標(Target)として設定し、この観察目標を見ながら歩行する。
 例えば、図に示す中間位置のユーザ50Mは、ユーザMの視線と同一高さの観察目標(Target)を見ているため、頭の傾きが0である。しかし、垂直方向上部に頭が移動したユーザ50Uは、同じ観察目標(Target)を見るため、頭を下方向に傾ける。傾ける角度は、図に示す頭部回転角(Φh)である。
 同様に、垂直方向下部に頭が移動したユーザ50Dは、同じ観察目標(Target)を見るため、頭を上方向に傾ける。傾ける角度は、図に示す頭部回転角(Φh)である。
 しかし、この頭部の傾き角度は完全に観察目標に対して正確な方向ではなく、例えば、遠くの遠方観察目標(Far target)を眺めている場合、頭部の傾き(φh)が大きくなってしまい、少し近くの場所(HFP)をみることになってしまう。これを補正するために、眼球が頭部と反対方向に動く補正処理が行われる。この眼球の移動角度が、図に示す眼球回移転角(Φe)である。
 このような頭部の回転と、行き過ぎた頭部回転を保税するための眼球の回転によって、観察目標を継続して観察して、安定した歩行を行うことが可能となる。
 なお、より遠い遠方観察目標(Far Target)を観察して歩く場合は、眼球が頭部と反対方向に動く補正処理が行われるが、ユーザに近い近方観察目標(Near Target)を観察して歩く場合は、眼球が頭部と同じ方向に動く補正処理が行われる。
 すなわち、遠方観察目標(Far Target)を観察している場合も、近方観察目標(Near Target)を観察して歩く場合、いずれの場合も、頭部は、ほぼ頭部方向固定位置(HPF:Head fixation point)に向くように傾き調整がなされる。眼球は、この頭部方向固定位置(HPF)に向けられた頭部の方向と観察目標(Target)との位置関係に応じて、頭部の傾きと同一または反対方向に移動する。この処理によって観察目標(Target)に対する視線を外さないで歩くことができる。
 このような眼球の移動処理は、視認性低下の要因の1つとなる。眼球の回転角速度が2~4deg/s以上の速度になると、視認性低下が発生すると言われている。
 図7に示すような頭部の傾きおよび眼球移動が発生することを前提に、歩行時とランニング時の眼球移動速度(角速度)を算出してみた。
 図8は歩行時の眼球移動速度(角速度)の算出処理例を示す図である。
 図9は、ランニング時の眼球移動速度(角速度)の算出胥吏玲を示す図である。
 まず、図8を参照して、歩行時の眼球移動速度(角速度)の算出処理例について説明する。
 図8には、以下の2つのグラフを示している。
 (A1)歩行時の頭部位置の時間推移
 (A2)歩行時の眼球方向と眼球移動速度(角速度)の時間推移
 (A1)歩行時の頭部位置の時間推移は、図7を参照して説明した理論に基づくものであり、歩行に応じた頭部の垂直方向の動きを示すグラフである。なお、歩行時の頭部の移動距離を上下幅50mm、周波数(1秒当たりの歩数相当)を2Hzとした。
 (A2)歩行時の眼球方向と眼球移動速度(角速度)の時間推移中、眼球方向(=眼球方向角度(Φe))は図7を参照して説明した理論に基づくものであり、眼球移動速度(角速度)(=眼球角速度(Φe-v))は、眼球の方向の時間推移データに基づいて算出した眼球の速度データ(角速度)である。
 図8(A2)に示すグラフ中、点線データが、眼球の方向を示す角度推移データであり、実線データが、眼球の移動速度(角速度)を示している。
 図8(A2)の実線で示す眼球の移動速度(角速度)=Φe-vは、
 Φe-v=-1.8deg/s~+1.8deg/s
 この範囲を周期的に繰り返すグラフとなっている。
 歩行時の眼球の移動速度(角速度)=Φe-v=-1.8deg/s~+1.8deg/sは、
 先に説明した視認性低下の発生する角速度=2~4deg/s以下であり、このレベルでは、視認性低下の発生は少ないと判断される。
 次に、図9を参照して、ランニング時の眼球移動速度(角速度)の算出処理例について説明する。
 図9には、図8と同様、以下の2つのグラフを示している。
 (B1)ランニング時の頭部位置の時間推移
 (B2)ランニング時の眼球方向と眼球移動速度(角速度)の時間推移
 (B1)ランニング時の頭部位置の時間推移は、図7を参照して説明した理論に基づくものであり、ランニングに応じた頭部の垂直方向の動きを示すグラフである。なお、ランニング時の頭部の移動距離を上下幅100mm、周波数(1秒当たりの歩数相当)を3Hzとした。
 (B2)ランニング時の眼球方向と眼球移動速度(角速度)の時間推移中、眼球方向(=眼球方向角度(Φe))は図7を参照して説明した理論に基づくものであり、眼球移動速度(角速度)(=眼球角速度(Φe-v))は、眼球の方向の時間推移データに基づいて算出した速度データである。
 図9(B2)に示すグラフ中、点線データが、眼球の方向を示す角度推移データであり、実線データが、眼球の移動速度(角速度)を示している。
 図9(B2)の実線で示す眼球の移動速度(角速度)=Φe-vは、
 Φe-v=-5.5deg/s~+5.5deg/s
 この範囲を周期的に繰り返すグラフとなっている。
 ランニング時の眼球の移動速度(角速度)=Φe-v=-5.5deg/s~+5.5deg/sは、
 先に説明した視認性低下の発生する角速度=2~4deg/sを超えており、このレベルでは、視認性低下が発生すると判断される。
 次に、図10以下を参照して眼球移動速度と視認性低下レベルとの対応関係について説明する。
 図10(a)は、3m先の24インチの虚像モニターに表示される文字のサイズ感を示している。
 図10(a)に示す表示情報は、先に図3を参照して説明したレンズ32を備えた表示装置30を観察するユーザが表示部31の表示情報を仮想的観察位置35で観察した情報に相当する。
 図10(a)に示す表示情報は、
 (1)縦88mm~(9)縦5.2mmまで、9種類の大きさの文字A,B,Cとランドルト環[C]を示している。
 なお、(1)縦88mmは縦の長さが88mmの文字またはランドルト環であることを示している。
 一番小さい文字は、(9)縦5.2mmの文字ABCとランドルト環Cである。この(9)縦5.2mmに示す文字ABCとランドルト環Cは、視力0.8相当の人が見える文字である。つまり、体を動かしていない静止状態であれば、視力0.8の人は、(9)縦5.2mmの文字ABCとランドルト環が見えるという前提である。
 次に、これらの文字がどれだけずれると視認性が低下するかという条件を定める。今回、視認性の低下の判断条件は、図10(b)に示すように、文字高に対して像が10%ずれたとき(ランドルト環の隙間が50%埋まる程度)とした。
 例えば図10(a)に示す最も大きな文字である(1)縦88mmの文字が認識できないと判定されるのは、文字高88mmに対して10%のずれが発生した場合、すなわち、
 88mm×0.1=8.8mm
 の文字ずれが発生した場合となる。
 また、図10(a)に示す(3)縦44mmの文字が認識できないと判定されるのは、文字高44mmに対して10%のずれが発生した場合、すなわち、
 44mm×0.1=4.48mm
 の文字ずれが発生した場合となる。
 さらに、図10(a)に示す最も小さな文字である(9)縦5.2mmの文字が認識できないと判定されるのは、文字高5.2mmに対して10%のずれが発生した場合、すなわち、
 5.2mm×0.1=0.52mm
 の文字ずれが発生した場合となる。
 このように、大きな文字は、ずれ量が大きくても認識することが容易であり、小さな文字は、ずれ量がわずかで認識することが困難となる。
 例えば表示部に図10(a)に示す情報を継続して表示し、観察者が歩行やランニングを行ないながら表示部の表示情報を見ると、先に図8、図9を参照して説明したように眼球の移動が発生する。この眼球移動によって、図10(b)に示すような文字ずれを発生させた画像が認識される。
 しかし、例えば表示部に図10(a)に示す情報を継続表示(ホールド表示)ではなく、短時間表示、すなわちパルス表示を行うと、観察者の眼には表示期間に相当する時間内の眼球移動に応じたずれ量しか認識されない。従って、パルス表示により認識度の向上が実現されることが期待される。
 なお、先に図8、図9等を参照して説明したように、眼球の移動速度は、歩行時ランニング時等、行っている運動に応じて異なる速度となる。
 従って、表示部の表示情報の表示時間と、表示部観察者の実行する運動の種類に応じて、識別可能な文字の大きさ、すなわち、図10(b)を参照して説明した視認性判定閾値(文字高10%ずれ)を発生させる文字の大きさが異なることになる。
 図11は、以下の3種類の運動状態、すなわち、
 (1)歩行、
 (2)遅めのランニングである低速ランニング、
 (3)速めのランニングである高速ランニング、
 これらの3種類の運動を実行中の眼球の移動速度と情報の表示時間に応じて発生する文字のずれ量と、認識可能な文字の大きさ(サイズ)について解析した結果である。
 眼球移動速度は、図7、図8、図9を参照して説明した論理に従って算出し、以下の各値とした。
 (1)歩行時の眼球移動速度=2deg/s、
 (2)遅めのランニングである低速ランニング時の眼球移動速度=5deg/s、
 (3)速めのランニングである高速ランニング時の眼球移動速度=10deg/s、
 また、パルス表示における文字の表示時間は、1ms、2ms、3ms、5ms、10ms、16msの6種類とした。なお、表示時間16msは、継続表示(ホールト表示)に相当する。
 網膜上のずれ量は、眼球移動速度と表示時間の乗算値に基づいて算出した。すなわち、
 網膜ずれ量=眼球移動速度×表示時間
 上記算出式で算出する。
 さらに、上記算出式で算出する「網膜ずれ量」を、図10(b)を参照して説明した「ずれ量」とする。認識可能文字サイズは、文字サイズの10%の表示ずれ量が発生した場合に認識が不可能になるとの判断基準に基づいて、ずれ量の10倍のサイズを認識可能文字サイズとする。
 まず、歩行(眼球移動速度2deg/s)の場合について説明する。
 表示時間=1ms(パルス表示相当)の設定画像とした場合、ずれ量=0.1mmとなる。これを前述の視認性低下条件(文字高10%のずれ、ランドルト環の隙間50%が埋まる相当)を用いて識別可能な文字サイズを算出する。
 ずれ量:10%=0.1mmとなる文字の大きさ(縦サイズ)は1.00mmとなる。これは、図10(a)中の(9)縦5.2mm以下のサイズである。
 つまり、歩行時、表示時間=1msのパルス表示とした場合、図10(a)中の(1)~(9)すべてのサイズの文字が認識可能であるということである。
 一方、表示時間=16ms(ホールド表示相当)の設定画像とした場合、ずれ量=1.68mmとなる。これを前述の視認性低下条件(文字高10%のずれ、ランドルト環の隙間50%が埋まる相当)と比較する。
 ずれ量:10%=1.68mmとなる文字の大きさ(縦サイズ)は16.8mmとなる。これは、図10(a)中の(6)縦18.0mm~(7)縦14.0mmの間に位置する。
 つまり、歩行時、表示時間=16ms(ホールド表示相当)とした場合、図10(a)中の(6)以上のサイズの文字は認識可能であるが、図10(a)中の(7)以下のサイズの文字は認識できなくなるということである。
 歩行(眼球移動速度2deg/s)時に、図10(a)中の(9)5.2mmの文字を視認させるための最長表示時間は、図11に示すデータから、認識可能文字サイズ5.2mmを示すエントリ、すなわち、表示時間=5msであると判定できる。
 すなわち、歩行(眼球移動速度2deg/s)時には、ON出力期間を5ms以下の時間に設定したパルス表示を行うことで、図10(a)に示す(1)~(9)のすべてのサイズの文字が認識可能となる。
 なお、図11に示す点線枠は、図10(a)の(1)88mm~(9)5.2mmのすべての文字が認識可能となる最長表示時間に対応するエントリを示す枠である。
 次に、低速ランニング(眼球移動速度5deg/s)の場合について説明する。
 表示時間=1ms(パルス表示相当)の設定画像とした場合、ずれ量=0.21mmとなる。これを前述の視認性低下条件(文字高10%のずれ、ランドルト環の隙間50%が埋まる相当)を用いて識別可能な文字サイズを算出する。
 ずれ量:10%=0.21mmとなる文字の大きさ(縦サイズ)は2.10mmとなる。これは、図10(a)中の(9)縦5.2mm以下のサイズである。
 つまり、低速ランニング時、表示時間=1msのパルス表示とした場合、図10(a)中の(1)~(9)すべてのサイズの文字が認識可能であるということである。
 一方、表示時間=5ms(パルス表示相当)の設定画像とした場合、ずれ量=0.63mmとなる。これを前述の視認性低下条件(文字高10%のずれ、ランドルト環の隙間50%が埋まる相当)と比較する。
 ずれ量:10%=0.63mmとなる文字の大きさ(縦サイズ)は6.30mmとなる。これは、図10(a)中の(8)縦10.0mm~(9)縦5.2mmの間に位置する。
 つまり、低速ランニング時、表示時間=5ms(パルス表示相当)とした場合、図10(a)中の(8)以上のサイズの文字は認識可能であるが、図10(a)中の(9)以下のサイズの文字は認識できなくなるということである。
 低速ランニング(眼球移動速度5deg/s)時に、図10(a)中の(9)5.2mmの文字を視認させるための最長表示時間は、図11に示すデータから、認識可能文字サイズ5.2mm以下を示すエントリ、すなわち、表示時間=2msであると判定できる。
 すなわち、低速ランニング(眼球移動速度5deg/s)時には、ON出力期間を2ms以下の時間に設定したパルス表示を行うことで、図10(a)に示す(1)~(9)のすべてのサイズの文字が認識可能となる。
 次に、高速ランニング(眼球移動速度10deg/s)の場合について説明する。
 表示時間=1ms(パルス表示相当)の設定画像とした場合、ずれ量=0.521mmとなる。これを前述の視認性低下条件(文字高10%のずれ、ランドルト環の隙間50%が埋まる相当)を用いて識別可能な文字サイズを算出する。
 ずれ量:10%=0.52mmとなる文字の大きさ(縦サイズ)は5.20mmとなる。これは、図10(a)中の(9)縦5.2mmに相当するサイズである。
 つまり、高速ランニング時、表示時間=1msのパルス表示とした場合、図10(a)中の(1)~(9)すべてのサイズの文字が認識可能であるということである。
 一方、表示時間=2ms(パルス表示相当)の設定画像とした場合、ずれ量=1.05mmとなる。これを前述の視認性低下条件(文字高10%のずれ、ランドルト環の隙間50%が埋まる相当)と比較する。
 ずれ量:10%=1.05mmとなる文字の大きさ(縦サイズ)は10.50mmとなる。これは、図10(a)中の(7)縦14.0mm~(8)縦10.0mmの間に位置する。
 つまり、高速ランニング時、表示時間=2ms(パルス表示相当)とした場合、図10(a)中の(7)以上のサイズの文字は認識可能であるが、図10(a)中の(8)以下のサイズの文字は認識できなくなるということである。
 高速ランニング(眼球移動速度10deg/s)時に、図10(a)中の(9)5.2mmの文字を視認させるための最長表示時間は、図11に示すデータから、認識可能文字サイズ5.2mm以下を示すエントリ、すなわち、表示時間=1msであると判定できる。
 すなわち、高速ランニング(眼球移動速度10deg/s)時には、ON出力期間を1ms以下の時間に設定したパルス表示を行うことで、図10(a)に示す(1)~(9)のすべてのサイズの文字が認識可能となる。
 図12は、図11に示す結果から得られる2つの解析結果をまとめた図である。図12には、以下の2つの解析結果を、(a)歩行、(b)低速ランニング、(c)高速ランニングの各々について解析した結果を示している。
 (解析結果1)図10(a)に示す文字中、継続表示(ホールド表示=16ms)において認識可能な文字サイズと、認識不可の文字サイズ
 (解析結果2)図10(a)に示す最小文字縦5.2mmの文字を認識できるパルス表示の表示時間
 (解析結果1)は、(a)歩行、(b)低速ランニング、(c)高速ランニングの各々について、継続表示(ホールド表示=16ms)を行った場合に認識可能な文字サイズと、認識不可の文字サイズを示している。
 図に示すように、以下の解析結果が得られた。
 (a)歩行(眼球移動速度=2deg/s)
 認識可:図10(a)の(1)縦88mm~(6)縦18.0mm
 認識不可:図10(a)の(7)縦14.0mm~(9)縦5.2mm
 (b)低速ランニング(眼球移動速度=5deg/s)
 認識可:図10(a)の(1)縦88mm~(3)縦44.0mm
 認識不可:図10(a)の(4)縦33.6mm~(9)縦5.2mm
 (c)高速ランニング(眼球移動速度=10deg/s)
 認識可:図10(a)の(1)縦88mmのみ
 認識不可:図10(a)の(2)縦67.2mm~(9)縦5.2mm
 上記結果から理解されるように、運動が激しくなるに従い、ホールド表示において認識可能な文字サイズは次第に大きくなる。
 また、(解析結果2)は、(a)歩行、(b)低速ランニング、(c)高速ランニングの各々について、図10(a)に示す最小文字縦5.2mmの文字を認識できるパルス表示の表示時間を示している。
 図に示すように、以下の解析結果が得られた。
 (a)歩行(眼球移動速度=2deg/s)
 表示時間5ms以下のパルス表示
 (b)低速ランニング(眼球移動速度=5deg/s)
 表示時間2ms以下のパルス表示
 (c)高速ランニング(眼球移動速度=10deg/s)
 表示時間1ms以下のパルス表示
 上記結果から理解されるように、パルス表示における表示時間を歩行時には5mms以下とし、運動が激しくなるに従い、パルス表示における表示時間を、さらに短く設定することが必要となる。
 パルス表示時間を1ms~5msにすることで、(a)歩行、(b)低速ランニング、(c)高速ランニング、いずれの運動時においても図10(a)に示す(1)縦88mm~(9)縦5.2mmの全ての文字の視認性の確保ができるということになる。
 図11、図12に示す解析結果から理解されるように、運動強度に応じて「表示文字(記号)サイズとパルス表示時間」の制御によって、運動中に表示内容がはっきり認識できる表示装置が実現できることが確認された。
  [7.ユーザの動きに応じた制御を実行する構成について]
 上述した解析結果から、ヘッド・マウント・ディスプレイ等、人体装着型あるいは携帯型の表示装置の表示情報を、運動中にはっきり認識可能とするというポイントだけを考えると、短い表示時間と残像時間以上の非表示時間を有するパルス表示とすることによる解決が可能であると言える。
 しかしながら、例えば、立ち止まっているときのパルス表示は目障りな上に、視認性も通常表示(ホールド表示)に対して悪く不快に感じる場合があると推定される。
 このような事情を考慮すると、ユーザの活動状態・動作状況(歩行、ランニング、自転車走行等)や外光環境(朝昼夜、地域等)に応じて、表示内容(文字、画像等)やその他のパラメータ値を制御(最適アジャスト)することが好ましいと考えられる。
 以下、このように状況に応じた表示制御を実行して、表示情報認識処理における快適性向上を実現する実施例について説明する。
 以下に説明する実施例は、表示のモード、タイミング、内容、輝度等を運動/活動状態に合わせて制御することによって、様々な使用環境・状態で快適に使える表示装置の実施例である。
 図13は、ヘッド・マウント・ディスプレイ等、人体装着型あるいは携帯型の表示装置を装着または携帯したユーザの様々な運動状態に応じた表示制御の例を説明する図である。
 図13には、ユーザの運動状況として、以下の5つの運動状況を設定している。
 (1)静止(STAY)
 (2)歩行(WALK)
 (3)低速ランニング(JOG)
 (4)高速ランニング(RUN)
 (5)自転車(BIKE)
 図13には、これらの5つの運動状況に対応する以下の各情報を示している。
 (a)運動振動周期(Sec)
 (b)頭部移動幅(mm)
 (c)眼球速度(deg/s)
 (d)最適表示モード
 (e)最適表示時間
 (f)情報深度
 (a)運動周期は、基本的にヘッド・マウント・ディスプレイ等表示装置を装着した頭部等の体の部位の動きの周期に相当する。
 静止の場合は、無限大(∞)であり、歩行の場合0.5秒、低速ランニングの場合、0.3秒、高速ランニングの場合0.2秒となる。これらの周期は歩行、ランニングを実行する際の1歩の周期に対応する。自転車走行の場合は、速度や路面状況によって異なり、周期的なデータは得られなかった。
 (b)頭部移動幅は、(a)の周期の各の頭部の移動幅に対応する。
 静止の場合は0mm、歩行の場合は50mm、低速ランニングでは100mm、高速ランニングは100mm以上となる。自転車走行の場合は、速度や路面状況によって異なるものとなる。
 (c)眼球速度は先に図7等を参照して説明した理論に基づく眼球角速度(deg/s)のデータである。
 静止の場合は0deg/s、歩行の場合は2.0deg/s、低速ランニングでは5.0deg/s、高速ランニングは10deg/sとなる。自転車走行の場合は、速度や路面状況によって異なるものとなる。
 (d)最適表示モードは、先に図7~図12を参照して説明した解析結果に基づいて得られるユーザ運動状況に応じた最適な表示モードの設定情報である。すなわち表示部の表示情報を無理なくかつ違和感なく認識可能な表示モードの設定情報である。具体的には、頭部の運動状況に基づいて眼球移動速度を算出し、算出結果に応じて決定した最適表示モードである。
 図13に示す例では、
 ユーザ状態が、静止、歩行、低速ランニングでは、ホールド(継続)表示とし、歩行、低速ランニング、高速ランニング、自転車走行の場合はパルス表示としている。
 歩行や低速ランニンクにおいては、ホールド表示、バルス表示のいずれを選択してもよいことを示している。
 なお、静止、歩行、低速ランニングでは、ホールド(継続)表示とするが、眼球が高速に移動する激しい体の動きやショック等が検出された場合は、表示を一時的に消灯(OFF)する表示制御を実行する。
 また、歩行、低速ランニング、高速ランニング、自転車走行においてパルス表示を行う場合、パルス表示における表示ONとOFFのタイミングについては、さらにユーザの運動に応じて制御することが好ましい。
 具体的には、以下のような制御を行う。
 *運動周期結果から得られる眼球安定タイミングに表示期間を設定したパルス表示とし、動作周期が予め設定した閾値(例えば0.25秒)以下の場合は、点灯(ON)時間の短い短パルス表示とし、動作周期が閾値より長い場合は、点灯(ON)時間の長い長パルス表示とする。
 *非周期運動では固定周期のパルス表示
 このような表示制御を行うことでもユーザは、より安定して表示情報を認識することが可能となる。
 (d)最適表示時間は、ユーザ状態が、静止、歩行、低速ランニングでは、ホールド(継続)表示としているので、表示時間は継続、すなわち無限大(∞)となる。
 歩行、低速ランニング、高速ランニング、自転車走行におけるパルス表示の場合は、活動状況や外部照度に応じて制御することが好ましい。
 具体的には、点灯(ON)時間を2~10ms、消灯(OFF)時間を50~200msと設定したパルス表示を行うことが好ましい。
 (e)情報深度とは、表示部に表示する情報のレベルを意味する。
 例えば、静止状態では小さい文字サイズを使った文章や地図や細かい図などを含む詳細情報を表示するフル表示を行う。
 歩行、ランニングなど動きが発生している状況では、小さな文字情報などの情報表示を停止し、ずれ量が中程度で認識可能なレベルの情報を表示する。例えば現在地情報、簡易地図、ナビ情報などである。
 さらに高速ランニングや自転車走行等、動きの激しい状況では、ずれ量が大きくても認識可能なレベルの情報のみを表示する。
 具体的には例えば簡易指示情報、危険回避情報等である。
 図14に、以下の各ユーザ状態における表示態様と表示情報の設定例をまとめた図を示す。
 (1)静止(STAY)
 (2)歩行(WALK)
 (3)低速ランニング(JOG)
 (4)高速ランニング(RUN)
 (5)自転車(BIKE)
 静止、歩行、低速ランニングの場合はホールド表示とし、歩行、低速ランニング、高速ランニング、自転車走行の場合はパルス表示とする。
 なお、歩行、低速ランニングの場合はホールド表示、パルス表示の何れの設定でもよい。具体的には例えば眼球移動速度に応じて切り替え制御する構成とすることが好ましい。予め設定した閾値(例えば3.5deg/s)以下の移動速度であればホールド表示とし、閾値以上の速度であればパルス表示とする設定である。
 表示情報は、静止、歩行など眼球移動速度が小さいほど、情報量を多くして、また小さい文字サイズを利用した表示情報を構築して表示処理をを行う。
 高速ランニング、自転車走行等、眼球移動速度が大きいほど、情報量を少なくして、かつ文字サイズを大きくした表示情報を構築して表示処理を行なう。
  [8.パルス表示における表示タイミングの制御について]
 図13を参照して説明したパルス表示において、運動周期結果から得られる眼球安定タイミングに表示期間を設定したパルス表示について簡単に説明したが、以下、この処理について詳細に説明する。
 先に、図8、図9を参照して説明したように、歩行時やランニング時には、眼球は、ユーザの運動周期に応じた動きを発生させる。
 この時の眼球の移動速度(角速度)も所定の周期で変動する。
 図15は、先に図8および図9を参照して説明した歩行時とランニング時の眼球の位置(方向角度)と移動速度(角速度)を示すグラフである。
 図15(A)は、歩行時の眼球の位置(方向角度)と移動速度(角速度)を示すグラフであり、図8(A2)のグラフに相当する。
 図15(B)は、ランニング時の眼球の位置(方向角度)と移動速度(角速度)を示すグラフであり、図9(B2)のグラフに相当する。
 これらの各グラフにおいて、眼球移動速度(角速度)は実線のグラフとして示されている。この実線で示す眼球の移動速度は、周期的な速度変化があり、定期的に速度0を示すポイントが出現する。
 例えば、歩行時の場合は、図15(A)に示す(p),(q),(r)の各矢印で示す点が移動速度=0となる点である。
 また、ランニング時の場合は、図15(B)に示す(p),(q),(r),(s)の各矢印で示す点が移動速度=0となる点である。
 これらのタイミングでは、ユーザは歩行、ランニング中であっても眼球の移動がほぼない眼球静止状態となる。
 これらの矢印のタイミングをパルス表示におけるON(点灯)時間とした制御を行えば、ユーザの眼球移動がほぼない状態で、表示情報を観察することが可能となり、安定した表示情報の認識が可能となる。
 図16は、上段に歩行時の眼球方向と眼球移動速度のグラフを示している。下段には、このグラフから導かれる眼球速度がほぼ0になるタイミングに表示部の表示を点灯(ON)とするパルス表示を行う場合の表示制御例を示している。
 図16の下段に示すグラフは、眼球速度がほぼ0になるタイミング、すなわち、p,q,rの各タイミングにおいて表示を点灯(ON)し、その他のタイミングを消灯(OFF)とするパルス表示を行う設定である。
 なお、ON期間を2~10ms、OFF期間は約200msとした設定でのパルス表示によって、歩行時において眼球速度がほぼ0になるタイミングのみにONとしたパルス表示が実現できる。
 図17は、上段にランニング時の眼球方向と眼球移動速度のグラフを示している。下段には、このグラフから導かれる眼球速度がほぼ0になるタイミングに表示部の表示を点灯(ON)とするパルス表示を行う場合の表示制御例を示している。
 図17の下段に示すグラフは、眼球速度がほぼ0になるタイミング、すなわち、p,q,r,sの各タイミングにおいて表示を点灯(ON)し、その他のタイミングを消灯(OFF)とするパルス表示を行う設定である。
 なお、ON期間を2~10ms、OFF期間を約150msとした設定でのパルス表示によって、ランニング時において眼球速度がほぼ0になるタイミングのみにONとしたパルス表示が実現できる。
  [9.表示部の輝度制御について]
 パルス表示を行った場合の視認性は、表示時間と輝度の積の値によって変動する。人の眼は時間積分した光量に応じて明るさを感じており、表示時間が短いとその分光量が必要となるからである。(バロックの法則)
 また明るい屋外での利用も考慮する必要がある。背景視野が明るければ、瞳孔が縮み、それだけパルス表示の光量を増やさなくてはならない。ミリ秒単位の表示時間と輝度の関係についての論文は存在しないため、実験システムを構築し実際に測定を行った。図18は実験システムの構成図である。
 まず、背景輝度装置として写真ネガ投影用のライトボックス77を配置する。このライトボックス77は、外光相当の光を被験者に提示する(最大4000nt)。
 右側には表示装置70を配置する。表示装置70は、制御部を含むLED71、拡散板72、OHPシート73を有する。この表示装置70は、ヘッド・マウント・ディスプレイの虚像画面を想定した表示モニターである(最大2500nt)。
 表示装置70から出された光は、中央の遮光シート75の貼り付けられたハーフミラー74で反射し、被験者78の眼に入力する。表示装置70の表示文字はOHPシート73で作られた白抜きのランドルト環(C)である。このシステムにより、屋外の光を浴びながら、ヘッド・マウント・ディスプレイの表示部の表示情報を観察するという疑似環境をつくりだした。
 表示装置70は、輝度と表示時間を任意に変更することができる。実験では、表示時間を3msから1msに減少させていったとき、被験者78がランドルト環を認識し始める輝度とランドルト環がはっきり見えた輝度を測定した。被験者は4名である。
 図19に示すグラフが結果を示すグラフである。
 図19には、以下のパターンのパルス表示の実験結果を示している。
 (a)1ms点灯、300ms消灯のパルス表示において表示情報が認識された表示輝度、
 (b)2ms点灯、300ms消灯のパルス表示において表示情報が認識された表示輝度、
 (c)3ms点灯、300ms消灯のパルス表示において表示情報が認識された表示輝度、
 図19に示す各ラインは、いずれも4人の被験者の平均値を示している。
 この実験結果によれば、例えば、3ms点灯の際、背景輝度=4000ntのとき、表示輝度は400nt以上あれば視認できることがわかる。
 また、2ms点灯では、背景輝度4000ntのとき、表示輝度700nt以上、1ms点灯では、背景輝度=4000ntで表示輝度1200ntが必要ということが実測により確認できた。
 続いて、実験結果をもとにより明るい環境下での表示部に情報を表示した場合の表示情報の視認に必要となる必要輝度を算出する。前述の図18に示すシステムで実測できた背景輝度4000ntは、ほぼ春の晴天/昼相当の明るさであり、実際のスポーツ中の使用時は、より明るい環境が想定される。
 図20は、4000ntを超える環境下での必要輝度の算出にあたり、実測した表示輝度を1フレーム平均輝度(1フレーム=16.67ms)に換算したグラフである。横軸が外界に相当する背景環境の環境輝度、縦軸が表示部の表示情報として利用するフレームの1フレーム平均輝度を示している。このグラフより、表示平均輝度と背景輝度の関係は、表示時間(2ms、3ms)に依存しないものになることがわかる。
 上記結果を踏まえて、実際の外界環境に対応するデータを算出した結果が図21である。
 図21は、横軸が外界環境の環境輝度、縦軸が表示部の表示情報として利用するフレームの1フレーム平均輝度を示している。
 外界環境の環境輝度は、例えば、夏の晴天が約6000nt、夏の快晴が約11000nt、海等、夏の快晴&照り返し環境が約16000ntとなる。
 例えばランニング等の運動環境としての標準的な環境(夏の快晴=11000nt)の場合、パルス表示を実行する表示部の点灯(ON)時間を4ms、2ms、1msとした場合、
 4msパルス表示=必要輝度1000nt、
 2msパルス表示=必要輝度2000nt、
 1msパルス表示=必要輝度4000nt
 上記のように、各パルス表示において情報認識に必要となる必要輝度情報が得られた。
 また、明るさの極限環境である快晴照り返し(=16000nt)では、パルス表示を実行する表示部の点灯(ON)時間を3ms、2ms、1msとした場合、
 3msパルス表示=必要輝度2000nt、
 2msパルス表示=必要輝度3000nt、
 1msパルス表示=必要輝度6000nt
 上記のように、各パルス表示において情報認識に必要となる必要輝度情報が得られた。
  [10.表示制御の処理シーケンスについて]
 次に、図22以下に示すフローチャートを参照して、本開示の制御装置の実行する表示制御処理のシーケンスについて説明する。
 なお、図22以下に示すフローチャートを参照して説明する処理は、例えば制御装置のメモリに格納されたプログラムに従ってプログラム実行機能を有するCPU等からなるデータ処理部(制御部)の制御に従って実行される。
  (10-1.ホールド表示とパルス表示の切り替え制御の基本シーケンス)
 図22に示すフローチャートは、表示装置の表示をホールド(継続)表示とするか、点灯(ON)/消灯(OFF)を繰り返すパルス表示とするか択一的な処理を行なう場合の基本的な表示制御シーケンスを説明するフローチャートである。
 各ステップの処理について説明する。
  (ステップS11)
 まず、ステップS11においてヘッド・マウント・ディスプレイ等の表示装置に付属するセンサ情報を取得する。表示装置にはユーザの動きを検出するセンサ等、様々なセンサが備えられている。制御部はこれらのセンサ情報を取得する。ステップS11では、具体的には例えば加速度センサ等のセンサ情報を取得する。
  (ステップS12)
 次にステップS12において、制御部は取得したセンサ情報に基づいて、ユーザの動きを判定し、判定したユーザの動きに基づいて眼球の最大移動速度を算出する。
 眼球速度の算出処理は、例えば先に図7~図9を参照して説明した理論に従った算出処理として実行される。
  (ステップS13)
 次にステップS13において、ステップS12で算出した最大眼球速度が予め規定した閾値以上であるか閾値未満であるかを判定する。閾値は例えば2deg/sの眼球速度であり、判定式は以下の通りとなる。
 最大眼球速度≧2deg/sec
 上記判定式を満足する場合、すなわちステップS12で算出した最大眼球速度が予め規定した閾値以上であると判定した場合は、ステップS14に進む。
 上記判定式を満足しない場合、すなわちステップS12で算出した最大眼球速度が予め規定した閾値未満であると判定した場合は、ステップS15に進む。
 なお、上述の閾値は一例であり、閾値は様々な設定が可能である。
  (ステップS14)
 上記判定式を満足する場合、すなわちステップS12で算出した最大眼球速度が予め規定した閾値以上であると判定した場合は、ステップS14に進み、表示部の表示をパルス表示に設定して表示処理を実行する。
 なお、パルス表示における点灯(ON)時間は2~10msec、消灯(OFF)時間は50~200msecの設定とすることが好ましい。
  (ステップS15)
 上記判定式を満足しない場合、すなわちステップS12で算出した最大眼球速度が予め規定した閾値未満であると判定した場合は、ステップS15に進み、表示部の表示をホールド(継続)表示に設定して表示処理を実行する。
 なお、図22に示すフローに従った処理は定期的に繰り返し実行されることになる。したがって、ユーザの運動状況の変化に応じてホールド表示とパルス表示が、適宜切り替えられることになる。
 ただし、この切り替えを頻繁に実行してしまうと、かえって視認性が低下してしまう懸念がある。従って、バルス表示とホールド表示の切り替えには適当なヒステリシスを持たせ、頻繁にモードが切り替わらないようにする。
 なお、上記の説明では、眼球の移動速度の算出をユーザの動きに基づいて、先に図7~図9を参照して説明した理論に基づいて算出するものとして説明したが、眼球速度は眼球の動きを直接監視して測定するセンサを利用した処理としてもよい。
 なお、ユーザの動きを検出する頭部に装着したセンサの測定値から眼球の移動速度を算出する場合は、例えば以下の式に従った処理が適用可能である。
 目標視点(例えば3.0m)=L[m]、
 定数=a(ただし、0<a<0.3)、以下の例では、a=0.21とする。
 頭部位置(高さ変化量)Ph]m]、
 とする。
 眼球移動角速度:Ve[deg/sec]は以下の式で求められる。
 Ve=d(arctan(Ph/L)-arntan(Ph/aL))/dt
  (10-2.運動状況判定処理シーケンス)
 次に、図23に示すフローチャートを参照してヘッド・マウント・ディスプレイ等の表示装置を装着したユーザの運動状況を判定する処理シーケンスについて説明する。
 各ステップの処理について説明する。
  (ステップS101)
 まず、ステップS101においてヘッド・マウント・ディスプレイ等の表示装置に付属するセンサ情報を取得する。表示装置にはユーザの動きを検出するセンサ等、各種のセンサが備えられており、制御部はこれらのセンサ情報を取得する。ステップS101では、具体的には例えば加速度センサ等のセンサ情報を取得する。
  (ステップS102)
 制御部は、ステップS101で取得したセンサ情報に基づいてユーザが静止または、一定の動きを繰り返す周期的運動を実行しているか、あるいは非周期的運動を行っているかを判定する。
 なお、周期的運動とは、例えば図8を参照して説明した歩行(ウォーキング)や、図9を参照して説明したランニング等の運動である。
 非周期的運動とは、一定しない動きを伴う運動であり、例えば自転車走行等である。
 ユーザが静止状態または周期的運動を行っている状態であると判定した場合は、ステップS103に進む。
 ユーザが周期的運動ではない非周期的運動を行っている状態であると判定した場合はステップS106に進む。
  (ステップS103)
 ステップS102においてユーザが静止または周期的運動を行っている状態であると判定した場合は、ステップS103に進み、さらに、ユーザが静止または歩行状態であるか、あるいはランニング(走行)状態であるかを判定する。この判定は運動周期の長さに基づいて判定する。すなわち、先に図13を参照して説明したように図13(1)運動振動周期の長さに基づく判定が可能である。
 ステップS103で、ユーザが静止または歩行状態であると判定した場合は、ステップS104に進む。
 一方、ステップS103で、ユーザがランニング(走行)状態であると判定した場合は、ステップS105に進む。
  (ステップS104)
 ステップS103で、ユーザが静止または歩行状態であると判定した場合は、ステップS104に進み、ステップS104において、静止または低周期運動対応の表示制御を実行する。すなわちユーザが静止または歩行等を行っている場合に対応した表示制御を実行する。
 なお、この処理は、図13の(d)欄に示すホールド表示処理に対応する処理である。
  (ステップS105)
 ステップS103で、ユーザがランニング(走行)状態であると判定した場合は、ステップS105に進み、ステップS105において、高周期運動対応の表示制御を実行する。すなわちユーザが歩行やランニング(走行)等を行っている場合に対応した表示制御を実行する。
 なお、この処理は、図13の(d)欄に示すパルス表示処理中、(5)自転車走行等における非周期運動を除く周期的運動の実行中の表示制御処理に対応する処理である。
  (ステップS106)
 ステップS102で、ユーザが非周期的運動を行っていると判定した場合は、ステップS106に進み、ステップS106において、非周期的運動状態に対応した表示制御を実行する。すなわちユーザが自転車走行等を行っている場合に対応した表示制御を実行する。
 なお、この処理は、図13の(d)欄に示すパルス表示処理中、(5)自転車走行等における非周期運動の実行中の表示制御処理に対応する処理である。
  (10-3.静止または低周期運動実行時の表示制御シーケンス)
 次に、図24に示すフローチャートを参照して、ユーザが静止または歩行等の低周期運動を行っている場合の表示制御処理シーケンスについて説明する。すなわち、図23に示すステップS104における表示制御処理の詳細シーケンスである。
 各ステップの処理について説明する。
  (ステップS201)
 まず、ステップS201においてヘッド・マウント・ディスプレイ等の表示装置に付属するセンサ情報を取得する。表示装置にはユーザの動きの他、ユーザの位置、ユーザの体の状況(心拍や発汗量)を把握するためのセンサ、さらに外界の温度、湿度、照度などを計測する各種のセンサが備えられている。制御部はこれらのセンサ情報を取得する。
  (ステップS202)
 次にステップS202において、制御部は取得したセンサ情報に基づいて、ユーザに提示するための表示情報を構築する。
 例えば位置センサから得られた情報に基づく現在位置を示す地図情報や、ユーザの体の状況を把握するセンサから得られたユーザの体調を示す情報や、外気温や湿度の情報などから構成される表示情報を構築する。
  (ステップS203)
 ステップS203では、ステップS202において生成した表示情報を組み合わせて表示部に出力するための画面を生成する。表示画面は継続表示ようのホールト表示画面である。また、表示輝度は、照度センサによって得られる外界の輝度、すなわち環境輝度に応じて決定した輝度とする。具体的には、先に図19~図21等を参照して説明したように、環境輝度に応じて決定される表示情報を容易に認識可能な輝度レベルとする。
  (ステップS204)
 ステップS204では、ステップS203で生成した表示画面の継続(ホールド)表示を開始する。
 図24の右側に示すフローは、左側のステップS201~S204の処理を継続中に実行される割り込み制御フローである。この処理フローについて説明する。
  (ステップS251)
 ステップS251において、制御部は、ヘッド・マウント・ディスプレイ等の表示装置に付属するセンサ情報を取得する。表示装置には、例えば突然の衝撃などを検知するセンサ例えば加速度センサが備えられている。
 制御部は加速度センサからの出力に基づいて、表示装置に対する衝撃等のショックの有無を判定する。
 ショックを検出したと判定した場合は、ステップS252に進む。
  (ステップS252)
 ステップS251においてショックを検出したと判定した場合、ステップS252において、表示部の出力を停止する。
 なお、この処理は、先に図13を参照して説明した図13(d)の最適表示モードにおけるホールド表示実行時のショック検出時の表示オフ処理に相当する。
  (10-4.高周期運動実行時の表示制御シーケンス)
 次に、図25に示すフローチャートを参照して、ユーザがランニング等の高周期運動を行っている場合の表示制御処理シーケンスについて説明する。すなわち、図23に示すステップS105における表示制御処理の詳細シーケンスである。
 各ステップの処理について説明する。
  (ステップS301)
 まず、ステップS301においてヘッド・マウント・ディスプレイ等の表示装置に付属するセンサ情報を取得する。前述したように表示装置にはユーザの動きの他、ユーザの位置、ユーザの体の状況(心拍や発汗量)を把握するためのセンサ、さらに外界の温度、湿度、照度などを計測する各種のセンサが備えられている。制御部はこれらのセンサ情報を取得する。
  (ステップS302)
 次にステップS302において、制御部は取得したセンサ情報に基づいて、ユーザに提示するための表示情報を構築する。
 例えば位置センサから得られた情報に基づく現在位置を示す地図情報や、ユーザの体の状況を把握するセンサから得られたユーザの体調を示す情報や、外気温や湿度の情報などから構成される表示情報を構築する。
  (ステップS303)
 ステップS303では、眼球の安定タイミングを算出する。すなわち、先に図16、図17を参照して説明したような眼球移動速度がほぼ0となるタイミングを算出する。このタイミングは、ユーザの運動周期から算出される眼球の移動周期に基づいて算出することができる。
 このタイミング情報はユーザの運動状況データの学習処理によって算出可能である。
 ステップS303では、例えばユーザの運動周期と眼球安定タイミングとの対応データを作成し、センサによって検出されるユーザの運動状況から、現時点が眼球安定タイミングであるか否かを即座に判定可能なデータを生成する。
  (ステップS304)
 ステップS304では、ユーザの動作周期が予め規定した閾値以下であるか否かを判定する。
 閾値以下であれば、ステップS306に進む。閾値より大きい場合は、ステップS305に進む。
 この処理は、例えば高速ランニング等、周期の短い激しい運動を行っている場合は、ステップS306に進み、表示ONとする点灯時間を短くしたパルス表示を実行し、低速走行等、周期の比較的長い穏やかな運動を行っている場合は、ステップS305に進み、表示ONとする点灯時間を長くしたパルス表示を実行することを意味する。
  (ステップS305)
 ステップS305は、ステップS304において、ユーザの動作周期が予め規定した閾値より大きいと判定した場合の処理である。すなわち、低速ランニング等、周期の比較的長い穏やかな運動を行っている場合の処理であり、この場合は、ステップS305において、表示ONとする点灯時間を長くしたパルス表示を実行する設定とする。
  (ステップS306)
 ステップS306は、ステップS304において、ユーザの動作周期が予め規定した閾値以下と判定した場合の処理である。すなわち、高速ランニング等、周期の短い長い激しい運動を行っている場合の処理であり、この場合は、ステップS306において、表示ONとする点灯時間を短くしたパルス表示を実行する設定とする。
  (ステップS307)
 ステップS305、またはステップS306において、パルス表示設定が完了後、ステップS307において、眼球安定タイミングになったか否かを判定する。すなわち、ステップS303において算出したユーザの運動状況と眼球安定タイミングとの対応関係データに基づいて、センサから検出される運動情報から眼球安定タイミングであるか否かを逐次的に判定する。
 現時点が眼球安定タイミングであると判定した場合はもステップS308に進み、それ以外はステップS301に戻る。
  (ステップS308)
 ステップS308では、パルス表示における消灯時間(OFF)が予め規定した時間の範囲内にあるか否かを判定する。
 パルス表示における点灯(ON),消灯(OFF)の適正時間は、例えば図10~図13を参照して説明したように、
 点灯(ON)時間=2~10ms、
 消灯(OFF)時間=50~200ms、
 である。
 ステップS308では、消灯(OFF)時間が50~200msの範囲にあるか否かを判定する。
 Yesの場合は、ステップS309に進み、Noの場合はステップS301に戻る。
  (ステップS309)
 ステップS309では、パルス表示において表示情報を出力、すなわち表示部を点灯(ON)して表示情報を出力する。点灯(ON)時間は、ステップS305、またはステップS306において設定した点灯(ON)時間とする。点灯時間が経過したらステップS301に戻る。
  (10-5.非周期運動実行時の表示制御シーケンス)
 次に、図26に示すフローチャートを参照して、ユーザが自転車走行等の非周期運動を行っている場合の表示制御処理シーケンスについて説明する。すなわち、図23に示すステップS106における表示制御処理の詳細シーケンスである。
 各ステップの処理について説明する。
  (ステップS401)
 まず、ステップS401においてヘッド・マウント・ディスプレイ等の表示装置に付属するセンサ情報を取得する。表示装置にはユーザの動きの他、ユーザの位置、ユーザの体の状況(心拍や発汗量)を把握するためのセンサ、さらに外界の温度、湿度、照度などを計測する各種のセンサが備えられている。制御部はこれらのセンサ情報を取得する。
  (ステップS402)
 次にステップS402において、制御部は取得したセンサ情報に基づいて、ユーザに提示するための表示情報を構築する。
 例えば位置センサから得られた情報に基づく現在位置を示す地図情報や、ユーザの体の状況を把握するセンサから得られたユーザの体調を示す情報や、外気温や湿度の情報などから構成される表示情報を構築する。
  (ステップS403)
 ステップS403では、ステップS402において生成した表示情報を組み合わせて表示部に出力するための画面を生成する。表示画面はパルス表示画面である。また、表示輝度は、照度センサによって得られる外界の輝度、すなわち環境輝度に応じて決定した輝度とする。具体的には、先に図19~図21等を参照して説明したように、環境輝度に応じて決定される表示情報を容易に認識可能な輝度レベルとする。
  (ステップS404)
 ステップS404では、ステップS403で生成した表示画面のパルス表示を開始する。
 図26の右側に示すフローは、左側のステップS401~S404の処理を継続中に実行される割り込み制御フローである。この処理フローについて説明する。
  (ステップS451)
 ステップS451において、制御部は、ヘッド・マウント・ディスプレイ等の表示装置に付属するセンサ情報を取得する。表示装置には、例えば突然の衝撃などを検知するセンサ例えば加速度センサが備えられている。
 制御部は加速度センサからの出力に基づいて、表示装置に対する衝撃等のショックの有無を判定する。
 ショックを検出したと判定した場合は、ステップS452に進む。
  (ステップS452)
 ステップS451においてショックを検出したと判定した場合、ステップS452において、表示部の出力を停止する。
  [11.非表示期間を残像認識期間内に設定した残像考慮パルス表示と通常パルス表示の切り替え処理例について]
 上述した実施例では、以下の2つの設定の切り替え制御を行う構成として説明した。
 (a)表示部のバックライトを常時ONの「継続表示(ホールド表示)」、
 (b)表示部のバックライトの点灯/消灯(ON/OFF)を繰り返す「間欠表示(パルス表示)」、
 これらの切り替え制御を行う実施例として説明した。
 先に、図13、図14を参照して説明したように、ユーザ状態が、静止、歩行、低速ランニングでは、ホールド(継続)表示とし、歩行、低速ランニング、高速ランニング、自転車走行の場合はパルス表示とする制御である。
 このような表示制御の他の例について説明する。以下、説明する表示制御は、表示部の表示を以下の2つの態様で切り替える。
 (a)表示部のバックライトの点灯/消灯(ON/OFF)を繰り返すパルス表示であり、非表示期間を残像認識期間内に設定した残像考慮パルス表示、
 (b)表示部のバックライトの点灯/消灯(ON/OFF)を繰り返すパルス表示であり、非表示期間を残像認識期間以上に設定した通常パルス表示、
 上記(a),(b)の表示を切り替える制御を実行する。
 「(a)残像考慮パルス表示」は、上述した実施例における「常時ONの「継続表示(ホールド表示)」と実質的に同様の効果、すなわち、観察者は、継続して表示情報を観察可能な状態となる表示方式である。
 この残像考慮パルス表示について、図27を参照して説明する。
 図27は、横軸に時間、縦軸に表示部のON/OFF設定を示すグラフを示している。
 例えば時間t1~t2や、時間t3~t4は、表示部がON状態であり情報表示が実行される。
 一方、時間t2~t3や、時間t4~t5は、表示部がOFF状態であり情報表示が実行されない。
 しかし、表示部がON状態からOFF状態に切り替わった直後においては、人間の眼には残像が発生し、表示情報、例えば図に示す表示部に表示された[ABC]の文字を認識した状態にある。すなわち、所定期間の「残像認識期間」が発生する。
 所定期間の「残像認識期間」が経過して始めて、人は表示部に何も表示されていないことを認識することができる。
 しかし、この「残像認識期間」が経過する前に、再度、表示部をON状態に設定すると、人は、表示部の表示情報が継続的に表示されているものと判断する。
 残像パルス表示は、このように、表示部の非表示期間(例えば図に示す時間t2~t3、t4~t5等)を「残像認識期間」以内の時間に設定したパルス表示である。
 このようなパルス表示を実行することで、人は表示部の表示情報が継続的に表示されているものと認識する。
 すなわち、前述の実施例におけるホールト表示と同様の効果を発生させる。
 なお、(b)通常パルス表示は、非表示期間を残像認識期間以上に設定したパルス表示であり、前述の実施例において説明したパルス表示に相当する。
 以下、説明する表示制御は、表示部の表示をこの2つの態様で切り替える。
 すなわち、
 (a)表示部のバックライトの点灯/消灯(ON/OFF)を繰り返すパルス表示であり、非表示期間を残像認識期間内に設定した残像考慮パルス表示、
 (b)表示部のバックライトの点灯/消灯(ON/OFF)を繰り返すパルス表示であり、非表示期間を残像認識期間以上に設定した通常パルス表示、
 上記(a),(b)の表示を切り替える制御を実行する。
 具体的には、図28に示すように、ユーザ状態が、静止、歩行、低速ランニングでは、残像考慮パルス表示とし、歩行、低速ランニング、高速ランニング、自転車走行の場合は通常パルス表示とする制御である。
 図29に示すフローチャートは、表示装置の表示を残像考慮パルス表示とするか、通常パルス表示とするか択一的な処理を行なう場合の基本的な表示制御シーケンスを説明するフローチャートである。
 各ステップの処理について説明する。
  (ステップS501)
 まず、ステップS501においてヘッド・マウント・ディスプレイ等の表示装置に付属するセンサ情報を取得する。表示装置にはユーザの動きを検出するセンサ等、様々なセンサが備えられている。制御部はこれらのセンサ情報を取得する。ステップS501では、具体的には例えば加速度センサ等のセンサ情報を取得する。
  (ステップS502)
 次にステップS502において、制御部は取得したセンサ情報に基づいて、ユーザの動きを判定し、判定したユーザの動きに基づいて眼球の最大移動速度を算出する。
 眼球速度の算出処理は、例えば先に図7~図9を参照して説明した理論に従った算出処理として実行される。
  (ステップS503)
 次にステップS503において、ステップS502で算出した最大眼球速度が予め規定した閾値以上であるか閾値未満であるかを判定する。閾値は例えば2deg/sの眼球速度であり、判定式は以下の通りとなる。
 最大眼球速度≧2deg/sec
 上記判定式を満足する場合、すなわちステップS502で算出した最大眼球速度が予め規定した閾値以上であると判定した場合は、ステップS504に進む。
 上記判定式を満足しない場合、すなわちステップS502で算出した最大眼球速度が予め規定した閾値未満であると判定した場合は、ステップS505に進む。
 なお、上述の閾値は一例であり、閾値は様々な設定が可能である。
  (ステップS504)
 上記判定式を満足する場合、すなわちステップS502で算出した最大眼球速度が予め規定した閾値以上であると判定した場合は、ステップS504に進み、表示部の表示を通常パルス表示、すなわち表示部の非表示期間を残像認識期間以上に設定した通常パルス表示に設定して表示処理を実行する。
  (ステップS505)
 上記判定式を満足しない場合、すなわちステップS502で算出した最大眼球速度が予め規定した閾値未満であると判定した場合は、ステップS505に進み、表示部の表示を残像考慮パルス表示、すなわち表示部の非表示期間を残像認識期間内に設定した残像考慮パルス表示に設定して表示処理を実行する。
 なお、図29に示すフローに従った処理は定期的に繰り返し実行されることになる。したがって、ユーザの運動状況の変化に応じて残像考慮パルス表示と通常パルス表示が、適宜切り替えられることになる。
 ただし、この切り替えを頻繁に実行してしまうと、かえって視認性が低下してしまう懸念がある。従って、低速バルス表示と通常パルス表示の切り替えには適当なヒステリシスを持たせ、頻繁にモードが切り替わらないようにする。
 なお、眼球速度は眼球の動きを直接監視して測定する方式が望ましい。直接眼球の動きを測定できない場合は、例えば、運動(走行)時の以下の値から算出する設定としてもよい。
 (1)頭部・腰・肩など胴体部の動き、脚・腕などの動き、走行スピード、運動周期など。
 具体例として、頭部装着したセンサ測定値から、
 「Ve:眼球移動角速度[deg/sec]」
 を推定する例を説明する。
 例えば、以下の各パラメータを設定する。
  L:目標視点(仮に3.0m)[m]、
  a:定数(0<a<0.3)(仮に0.21)、
  Ph:頭部位置(高さ変化量)[m]
 これらのパラメータ設定の下、
 Ve:眼球移動角速度[deg/sec]は、以下の式によって算出することができる。
  Ve=d(arctan(Ph/L)-arctan(Ph/aL))/dt
 図30は、表示装置の表示を残像考慮パルス表示とする場合の表示パラメータの設定と表示制御シーケンスを説明するフローチャートである。残像考慮パルス表示は固定した時間の「表示と非表示」の繰返し処理として実行される。ただし、接眼レンズ部の振動幅が視認可能な限界を超えてしまうようなショック(加速度)が掛かった際には、安全のため、表示動作を瞬間休止(表示消灯)する設定とすることが好ましい。
 各ステップの処理について説明する。
  (ステップS521)
 まず、ステップS521において、非表示時間(期間)を設定する。
 非表示時間は、例えば、以下の式によって算出する。
 非表示時間=残像認識時間(期間)×0.8
 具体的な値の例として、例えば一般的な残像認識時間を考慮した値(デフォルト値)=96msの設定が可能である。なお、残像認識時間はユーザによって差があり、各ユーザ固有の値が計測可能な場合は、その計測値を設定してもよい。
  (ステップS522)
 次に、1回あたりの表示時間を設定する。
 表示時間は、例えば10msの設定とする。
  (ステップS523)
 次に、残像考慮パルス表示画面を生成する。例えば位置センサから得られた情報に基づく現在位置を示す地図情報や、ユーザの体の状況を把握するセンサから得られたユーザの体調を示す情報や、外気温や湿度の情報などから構成される表示情報を構築する。なお、表示輝度は、照度センサによって得られる外界の輝度、すなわち環境輝度に応じて決定した輝度とする。具体的には、先に図19~図21等を参照して説明したように、環境輝度に応じて決定される表示情報を容易に認識可能な輝度レベルとする。
 なお、図30示すフローでは、非表示期間の設定値を例えば96msとしているが、前述のように、例えばユーザの測定値がある場合は、その測定値以下となるよう調整する設定とすることが好ましい。図30に示すフローチャートに従った制御例では、残像認識期間に対して20%の余裕を考慮した設定である。
 また、表示時間は図30に示すフローでは10msとしているが、これは一例であり、実際には、表示素子の輝度-消費電力特性/応答速度、外部輝度等を考慮して決定することが好ましい。
 なお、ON/OFF繰り返し時間をビデオなどの1フレームに合わせることによって、低速表示でも一般的なビデオコンテンツの視聴も可能である。例えば、非表示期間=2ms、表示時間=(1フレーム-2ms)と設定する。
  [12.制御装置のハードウェア構成例について]
 次に、図31を参照して上述した処理を実行する制御装置のハードウェア構成例について説明する。
 制御装置100は、例えばヘッド・マウント・ディスプレイ等のようなユーザの人体に装着する表示装置、あるいるは携帯型表示装置の制御を実行する装置である。
 制御装置100は、図31に示すように、制御部101、メモリ102、操作部103、表示部104、音声出力部105、通信部106、さらに各種のセンサを有する。
 センサとしては、地磁気センサ121、GPS部122、気圧センサ123、心拍センサ124、発汗量センサ125、ジャイロセンサ126、加速度センサ127、照度センサ128、温湿度センサ129等が備えられている。
 なお、図に示すセンサは一例であり、この他のセンサを備えた構成としてもよい。
 制御部101は、例えばCPU等のプログラム実行機能を有するデータ処理部であり、メモリ102に格納されたデータ処理プログラムに従って各種の処理を実行する。具体的には、例えば先に説明した図22~図26に示すフローチャートに従った処理等を実行する。
 メモリ102には、制御部で実行するプログラムの他、表示部104や音声出力部105を介して出力するコンテンツ等のデータや、各センサによって取得されたセンサ情報等を格納する。
 操作部103は、例えば電源スイッチや、表示部104に対する出力データの選択や音声出力のボリューム操作等の各種の操作部を含む。
 表示部104は、例えばLCD等によって構成される表示部であり、制御部101の制御の下に様々なデータを表示する。なお、制御部101の制御に基づいて、ホールド表示やパルス表示等、様々な態様での表示が実行される。
 音声出力部105は、例えばスピーカであり、表示部105に表示されるコンテンツに対応する音楽や音声情報等を出力する。
 通信部105は、無線、有線、様々な設定の通信部によって構成され、外部端末等とのデータの送受信を行う。
 地磁気センサ121は、現在地情報などの算出処理に適用するための地磁気情報を取得する。なお、各センサによって取得されたセンサ情報は制御部101に入力され、メモリ102に格納されたセンサ情報解析プログラムに従った処理により予め規定された様々な情報の算出が行われる。
 地磁気センサ121によって取得された地磁気情報は、制御部101に入力され現在地情報算出処理などに利用される。
 GPS部122も、GPS衛星を利用した現在位置データの取得に利用されるセンサであり、GPS部122によって取得された情報は、制御部101に入力され現在地情報算出処理などに利用される。
 気圧センサ123は気圧を計測するセンサである。
 心拍センサ124は、ユーザの心拍数を計測するセンサである。
 発汗量センサ124は、ユーザの発汗量を計測するセンサである。
 ジャイロセンサ126は、角度や角速度の検出センサである。
 加速度ゼンサ127は加速度を検出するセンサである。
 照度センサ128は外界の照度を検出するセンサである。
 温湿度センサ129は外界の温度および湿度を計測するセンサである。
 これらの各センサの検出情報は制御部102に入力され。表示情報の構築や制御に利用される。
  [13.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、
 前記制御部は、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する制御装置。
 (2)前記制御部は、表示部を保持したユーザの眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する前記(1)に記載の制御装置。
 (3)前記制御部は、表示部を保持したユーザの眼球速度が閾値未満の場合は残像考慮パルス表示を実行し、閾値以上の場合は通常パルス表示を実行する前記(1)または(2)に記載の制御装置。
 (4)前記制御部は、センサ情報から入力するユーザの動き情報に基づいてユーザの眼球速度を算出し、算出した眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する前記(1)~(3)いずれかに記載の制御装置。
 (5)前記制御装置は加速度センサを有し、前記制御部は、加速度センサの検出情報を適用して、ユーザの眼球速度を算出し、算出した眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する前記(1)~(4)いずれかに記載の制御装置。
 (6)前記表示部はユーザの頭部に装着する頭部装着型の表示部であり、前記制御部は、ユーザの頭部の上下の動気に応じて発生する眼球移動時の眼球移動速度を算出し、算出した眼球移動速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する前記(1)~(5)いずれかに記載の制御装置。
 (7)前記制御部は、1回の点灯(ON)期間を10ms以下としたパルス表示を実行する前記(1)~(6)いずれかに記載の制御装置。
 (8)前記表示部は、ユーザの眼に対して表示面より遠い位置に仮想的観察位置を設定するためのレンズを有する表示部である前記(1)~(7)いずれかに記載の制御装置。
 (9) ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、
 前記制御部は、
 前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
 切り替え制御する制御装置。
 (10)前記制御部は、表示部を保持したユーザの眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する前記(9)に記載の制御装置。
 (11)前記制御部は、表示部を保持したユーザの眼球速度が閾値未満の場合はホールド表示を実行し、閾値以上の場合はパルス表示を実行する前記(9)または(10)に記載の制御装置。
 (12)前記制御部は、センサ情報から入力するユーザの動き情報に基づいてユーザの眼球速度を算出し、算出した眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する前記(9)~(11)いずれかに記載の制御装置。
 (13)前記制御装置は加速度センサを有し、前記制御部は、加速度センサの検出情報を適用して、ユーザの眼球速度を算出し、算出した眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する前記(9)~(12)いずれかに記載の制御装置。
 (14)前記表示部はユーザの頭部に装着する頭部装着型の表示部であり、前記制御部は、ユーザの頭部の上下の動気に応じて発生する眼球移動時の眼球移動速度を算出し、算出した眼球移動速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する前記(9)~(13)いずれかに記載の制御装置。
 (15)前記制御部は、パルス表示を実行する場合、1回の点灯(ON)期間を10ms以下としたパルス表示を実行する前記(9)~(14)いずれかに記載の制御装置。
 (16)前記表示部は、ユーザの眼に対して表示面より遠い位置に仮想的観察位置を設定するためのレンズを有する表示部である前記(9)~(15)いずれかに記載の制御装置。
 (17) ユーザ装着型または携帯型の表示部に対して制御装置の実行する制御方法であり、
 制御部が、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する制御方法。
 (18) ユーザ装着型または携帯型の表示部に対して制御装置の実行する制御方法であり、
 制御部が、
 前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
 切り替え制御する制御方法。
 (19) ユーザ装着型または携帯型の表示部に対する制御を制御装置に実行させるプログラムであり、
 前記プログラムは、前記制御装置に、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御させるプログラム。
 (20)ユーザ装着型または携帯型の表示部に対する制御を制御装置に実行させるプログラムであり、
 前記プログラムは、前記制御装置に、
 前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
 前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
 切り替え制御させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、ユーザ装着型または携帯型の表示部の視認性を向上させた表示情報出力制御が実現される。
 具体的には、ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、制御部は、表示部に対する表示情報出力を表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する。制御部は、ユーザの眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行し、ユーザの眼球速度が閾値未満の場合は残像考慮パルス表示を実行し、閾値以上の場合は通常パルス表示を実行する。
 本構成により、表示部の視認性を向上させた表示情報の出力制御が実現される。
  10 ヘッド・マウント・ディスプレイ
  11 表示部
  12 スピーカ
  15 制御部
  30 表示装置
  31 表示面
  32 レンズ
  35 仮想的観察位置
  40 表示装置
  41 表示文字
 100 制御装置
 101 制御部
 102 メモリ
 103 操作部
 104 表示部
 105 音声出力部
 106 通信部
 121 地磁気センサ
 122 GPS部
 123 気圧センサ
 124 心拍センサ
 125 発汗量センサ
 126 ジャイロセンサ
 127 加速度センサ
 128 照度センサ
 129 温湿度センサ

Claims (20)

  1.  ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、
     前記制御部は、
     前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する制御装置。
  2.  前記制御部は、
     表示部を保持したユーザの眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する請求項1に記載の制御装置。
  3.  前記制御部は、
     表示部を保持したユーザの眼球速度が閾値未満の場合は残像考慮パルス表示を実行し、閾値以上の場合は通常パルス表示を実行する請求項1に記載の制御装置。
  4.  前記制御部は、
     センサ情報から入力するユーザの動き情報に基づいてユーザの眼球速度を算出し、算出した眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する請求項1に記載の制御装置。
  5.  前記制御装置は加速度センサを有し、
     前記制御部は、
     加速度センサの検出情報を適用して、ユーザの眼球速度を算出し、算出した眼球速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する請求項1に記載の制御装置。
  6.  前記表示部はユーザの頭部に装着する頭部装着型の表示部であり、
     前記制御部は、
     ユーザの頭部の上下の動気に応じて発生する眼球移動時の眼球移動速度を算出し、算出した眼球移動速度に応じて、残像考慮パルス表示と通常パルス表示の切り替え制御を実行する請求項1に記載の制御装置。
  7.  前記制御部は、
     1回の点灯(ON)期間を10ms以下としたパルス表示を実行する請求項1に記載の制御装置。
  8.  前記表示部は、
     ユーザの眼に対して表示面より遠い位置に仮想的観察位置を設定するためのレンズを有する表示部である請求項1に記載の制御装置。
  9.  ユーザ装着型または携帯型の表示部に対する表示情報出力制御を実行する制御部を有し、
     前記制御部は、
     前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
     前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
     切り替え制御する制御装置。
  10.  前記制御部は、
     表示部を保持したユーザの眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する請求項9に記載の制御装置。
  11.  前記制御部は、
     表示部を保持したユーザの眼球速度が閾値未満の場合はホールド表示を実行し、閾値以上の場合はパルス表示を実行する請求項9に記載の制御装置。
  12.  前記制御部は、
     センサ情報から入力するユーザの動き情報に基づいてユーザの眼球速度を算出し、算出した眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する請求項9に記載の制御装置。
  13.  前記制御装置は加速度センサを有し、
     前記制御部は、
     加速度センサの検出情報を適用して、ユーザの眼球速度を算出し、算出した眼球速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する請求項9に記載の制御装置。
  14.  前記表示部はユーザの頭部に装着する頭部装着型の表示部であり、
     前記制御部は、
     ユーザの頭部の上下の動気に応じて発生する眼球移動時の眼球移動速度を算出し、算出した眼球移動速度に応じて、ホールド表示とパルス表示の切り替え制御を実行する請求項9に記載の制御装置。
  15.  前記制御部は、
     パルス表示を実行する場合、1回の点灯(ON)期間を10ms以下としたパルス表示を実行する請求項9に記載の制御装置。
  16.  前記表示部は、
     ユーザの眼に対して表示面より遠い位置に仮想的観察位置を設定するためのレンズを有する表示部である請求項9に記載の制御装置。
  17.  ユーザ装着型または携帯型の表示部に対して制御装置の実行する制御方法であり、
     制御部が、
     前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御する制御方法。
  18.  ユーザ装着型または携帯型の表示部に対して制御装置の実行する制御方法であり、
     制御部が、
     前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
     前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
     切り替え制御する制御方法。
  19.  ユーザ装着型または携帯型の表示部に対する制御を制御装置に実行させるプログラムであり、
     前記プログラムは、前記制御装置に、
     前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を設定し、消灯期間を残像認識期間内に設定した残像考慮パルス表示と、消灯期間を残像認識期間以上に設定した通常パルス表示を切り替え制御させるプログラム。
  20.  ユーザ装着型または携帯型の表示部に対する制御を制御装置に実行させるプログラムであり、
     前記プログラムは、前記制御装置に、
     前記表示部に対する表示情報出力を継続的に実行するホールド表示と、
     前記表示部に対する表示情報の出力期間である点灯(ON)期間と、表示情報の非出力期間である消灯(OFF)期間を繰り返す間欠表示としてのパルス表示を、
     切り替え制御させるプログラム。
PCT/JP2015/075392 2014-09-30 2015-09-08 制御装置、および制御方法、並びにプログラム WO2016052090A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15846926.2A EP3203464A4 (en) 2014-09-30 2015-09-08 Control device, control method, and program
CN201580049214.0A CN107077822B (zh) 2014-09-30 2015-09-08 控制设备和控制方法
US15/501,245 US10302952B2 (en) 2014-09-30 2015-09-08 Control device, control method, and program
JP2016551681A JP6593337B2 (ja) 2014-09-30 2015-09-08 制御装置、および制御方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-199678 2014-09-30
JP2014199678 2014-09-30

Publications (1)

Publication Number Publication Date
WO2016052090A1 true WO2016052090A1 (ja) 2016-04-07

Family

ID=55630133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/075392 WO2016052090A1 (ja) 2014-09-30 2015-09-08 制御装置、および制御方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10302952B2 (ja)
EP (1) EP3203464A4 (ja)
JP (1) JP6593337B2 (ja)
CN (1) CN107077822B (ja)
WO (1) WO2016052090A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161789A (ja) * 2016-03-10 2017-09-14 富士通株式会社 網膜描画表示装置、網膜描画表示方法および網膜描画表示プログラム
DE102017213177A1 (de) * 2017-07-31 2019-01-31 Audi Ag Verfahren zum Betreiben eines Bildschirms eines Kraftfahrzeugs sowie Kraftfahrzeug
US11194391B2 (en) 2017-09-27 2021-12-07 Apple Inc. Visual artifact mitigation of dynamic foveated displays
KR102422036B1 (ko) * 2017-12-29 2022-07-18 엘지디스플레이 주식회사 낮은 레이턴시 가상 현실을 구동 및 보상하는 표시장치
KR20210043566A (ko) * 2018-08-09 2021-04-21 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램
CN109637463B (zh) * 2019-01-28 2020-11-06 京东方科技集团股份有限公司 背光插黑优化方法、装置、介质及电子设备
CN111326119B (zh) * 2020-04-03 2021-08-27 京东方科技集团股份有限公司 一种场序显示装置中背光模组的驱动方法和场序显示装置
US11803237B2 (en) * 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357953U (ja) * 1989-10-07 1991-06-05
JP2002091400A (ja) * 2000-09-19 2002-03-27 Matsushita Electric Ind Co Ltd 液晶表示装置
JP2002229021A (ja) * 2001-02-02 2002-08-14 Tdk Corp バックライトおよびそれを使用した表示装置
JP2009069544A (ja) * 2007-09-14 2009-04-02 Nissan Motor Co Ltd 画像情報提供装置
JP2013073177A (ja) * 2011-09-29 2013-04-22 Brother Ind Ltd ヘッドマウントディスプレイ

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357953A (ja) 1989-07-26 1991-03-13 Sumitomo Metal Ind Ltd 超音波探傷装置の回転体スケール取除き方法
KR101217226B1 (ko) * 2006-01-27 2012-12-31 삼성전자주식회사 잔상소거가 가능한 표시장치 및 그의 잔상소거방법
JP2011145488A (ja) 2010-01-14 2011-07-28 Sony Corp ヘッドマウントディスプレイ
JP5973795B2 (ja) * 2012-06-07 2016-08-23 オリンパス株式会社 頭部装着型表示装置、画像表示システム及びプログラム
JP5659195B2 (ja) * 2012-07-17 2015-01-28 株式会社東芝 画像提示装置及び方法
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357953U (ja) * 1989-10-07 1991-06-05
JP2002091400A (ja) * 2000-09-19 2002-03-27 Matsushita Electric Ind Co Ltd 液晶表示装置
JP2002229021A (ja) * 2001-02-02 2002-08-14 Tdk Corp バックライトおよびそれを使用した表示装置
JP2009069544A (ja) * 2007-09-14 2009-04-02 Nissan Motor Co Ltd 画像情報提供装置
JP2013073177A (ja) * 2011-09-29 2013-04-22 Brother Ind Ltd ヘッドマウントディスプレイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3203464A4 *

Also Published As

Publication number Publication date
US10302952B2 (en) 2019-05-28
JP6593337B2 (ja) 2019-10-23
EP3203464A4 (en) 2018-12-12
CN107077822A (zh) 2017-08-18
JPWO2016052090A1 (ja) 2017-07-13
CN107077822B (zh) 2019-07-26
EP3203464A1 (en) 2017-08-09
US20170219833A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6593337B2 (ja) 制御装置、および制御方法、並びにプログラム
US10231614B2 (en) Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US10204599B2 (en) Method of vision correction in a virtual reality environment
US8831278B2 (en) Method of identifying motion sickness
JP5420793B1 (ja) 画像の視認距離を調整できるヘッドマウントディスプレイ
US9921645B2 (en) Retinal projection device and method for activating a display of a retinal projection device
JP6277673B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2007097672A (ja) 視力回復訓練装置
JPWO2019176577A1 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2008020181B1 (en) Determination of distance of visual fixation using input from respiratory system and/or from eyelid function, for the purpose of controlling applications including the focus of image capture and viewing devices
US11157078B2 (en) Information processing apparatus, information processing method, and program
JP6036291B2 (ja) 表示装置、表示システム、および、表示装置の制御方法
KR20180076023A (ko) 객체추적을 이용한 안구운동장치 및 방법
US10459255B2 (en) Compensating visual impairment by using an eye-mounted display
KR101874861B1 (ko) 명암을 이용한 안구운동장치 및 방법
JP2010148742A (ja) 視力改善訓練装置および視力改善訓練制御プログラム
CN110840721A (zh) 一种基于近眼显示的视力防控、训练方法及近眼显示设备
JP2007097673A (ja) 視力回復訓練装置
JP2016071103A (ja) 制御装置、および制御方法、並びにプログラム
US11747897B2 (en) Data processing apparatus and method of using gaze data to generate images
WO2016139976A1 (ja) 情報処理装置、情報処理方法およびプログラム
TWI762231B (zh) 可調整焦距的虛擬實境眼鏡
JP2007014417A (ja) 視力回復訓練装置
WO2016143389A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6268747B2 (ja) 画像表示装置及び画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15846926

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016551681

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15501245

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015846926

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015846926

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE