WO2016194232A1 - 映像表示装置および制御方法 - Google Patents

映像表示装置および制御方法 Download PDF

Info

Publication number
WO2016194232A1
WO2016194232A1 PCT/JP2015/066383 JP2015066383W WO2016194232A1 WO 2016194232 A1 WO2016194232 A1 WO 2016194232A1 JP 2015066383 W JP2015066383 W JP 2015066383W WO 2016194232 A1 WO2016194232 A1 WO 2016194232A1
Authority
WO
WIPO (PCT)
Prior art keywords
video display
video
unit
display device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/066383
Other languages
English (en)
French (fr)
Inventor
孝弘 松田
大内　敏
瀬尾　欣穂
誠治 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Priority to PCT/JP2015/066383 priority Critical patent/WO2016194232A1/ja
Priority to US15/579,295 priority patent/US20180184042A1/en
Priority to CN201580080171.2A priority patent/CN107836020B/zh
Priority to JP2017521479A priority patent/JP6571767B2/ja
Publication of WO2016194232A1 publication Critical patent/WO2016194232A1/ja
Anticipated expiration legal-status Critical
Priority to US16/546,612 priority patent/US11856323B2/en
Priority to US18/389,249 priority patent/US12284462B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/3413—Details of control of colour illumination sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235—Field-sequential colour display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Definitions

  • the present invention relates to a video display device that can be mounted on a user's head and displays a video in front of the user's eyes, and a control method thereof.
  • This type of video display device has an advantage that information can be obtained while both hands can be used freely, and is expected to be applied to a wide range of applications.
  • This video disturbance can be attributed to the display method of the video display device. For example, if the video display device uses a liquid crystal, the screen flickers when updating the video information on the screen, and if the video display device uses a field sequential method (color time division method), color breaks (color breaks) may be considered. It is done. In the case of a wearable video display device, these video disturbances may be recognized as a great discomfort by the device user when the device user moves. In addition, a display method that reduces image disturbance increases power consumption.
  • a video display device that can be mounted on a user's head for solving the above-described problem, a video display unit that can switch between two or more display methods, and a control unit that instructs the video display unit to display the display method
  • a first detection unit that detects the movement of the user's head, a second detection unit that detects the movement of the user's viewpoint, the output of the first detection unit, and the second detection unit
  • an exercise determination unit for determining the exercise status of the apparatus user based on the output of.
  • the control unit instructs the video display unit to change the display method according to the determination result of the motion determination unit.
  • a wearable image display device in a wearable image display device, it is possible to reduce the discomfort felt by the device user from the image with low power consumption.
  • FIG. 1 is a block diagram of a video display device 10 according to a first embodiment.
  • 1 is an example of an external view of a video display device 10.
  • FIG. It is a figure when the video display apparatus 10 shown to FIG. 1B is mounted
  • FIG. 6 is another example of an external view of the video display device 10.
  • the video display apparatus 10 shown to FIG. 1D is mounted
  • another example of the video display apparatus 10 is mounted.
  • 2 is a block diagram showing an embodiment of a video display unit 1001 in the video display device 10.
  • FIG. 10 is a circuit diagram showing an example of a light source element 2003 in the image display unit 1001.
  • 3 is a timing chart showing an example of a 1 ⁇ speed display operation of a video display unit 1001 in the video display device 10.
  • 3 is a timing chart showing an example of a double speed display operation of the video display unit 1001 in the video display device 10.
  • 4 is a timing chart illustrating an example in which a double-speed display operation and frame complementation are performed by a video display unit 1001 in the video display device 10.
  • 4 is a timing chart showing an example of a triple speed display operation of the video display unit 1001 in the video display device 10. It is a table
  • 10 is a flowchart illustrating a determination processing flow by a control unit 1003 and an exercise determination processing unit 1006. It is an example of the outside world.
  • 3 is a display example by the video display device 10.
  • This is a video display example in which the contrast is weakened by the video processing unit 1008.
  • This is an image display example in which the sharpness is weakened by the image processing unit 1008.
  • 6 is an example of a video that is a target of the video determination processing unit 1009; It is another example of the image
  • 4 is a timing chart showing an example of a light source control stop display operation of a video display unit in the video display device 10.
  • FIG. 6 is a timing chart showing an example of an update stop operation example of a ferroelectric liquid crystal in a video display unit in the video display device 10; It is a figure which shows one Example of a 2nd sensor. It is detail drawing which shows one Example of a 2nd sensor. It is an example of a video at the time of initial setting of a video display device. It is a figure which shows the video display range at the time of the initial setting of a video display apparatus.
  • FIG. 6 is a block diagram illustrating a video display device according to a second embodiment. It is a block diagram which shows the video display apparatus 140 by Example 2.
  • FIG. It is a block diagram which shows the video display apparatus 150 by Example 2.
  • FIG. It is a block diagram which shows the video display apparatus 160 by Example 3.
  • FIG. FIG. 10 is a block diagram illustrating an example of a method for controlling a video display device according to a third embodiment.
  • FIG. 1A is a block diagram showing an image display device that can be worn by a user and displays an image in front of the user's eyes.
  • the video display device 10 includes a video display unit 1001, a display control unit 1002, a control unit 1003, a first sensor 1004, a second sensor 1005, a motion determination processing unit 1006, a video information source 1007, a video processing unit 1008, and a video determination processing unit. 1009, a storage unit 1010, a frequency determination processing unit 1011, and a power supply unit 1012.
  • the video display apparatus 10 transmits the video information acquired from the video information source 1007 to the video display unit 1001 via the video processing unit 1008 to display the video.
  • the video display unit 1001 is typically a display using a liquid crystal element or a mirror array element.
  • the video information source 1007 appropriately selects video information data stored in a storage device (not shown), performs processing such as data decryption and decryption as necessary, and transmits the video information to 1008.
  • a time-series moving image may be transmitted in time series, or a still image may be transmitted sequentially.
  • the control unit 1003 is connected to a controller 1020 outside the video display device 10 by wire or wirelessly.
  • the controller 1020 may be a controller dedicated to the video display device 10 or may be used as a controller by installing a dedicated application program on the smartphone.
  • the power supply unit 1012 is provided with a switch for turning the power on / off separately from the controller.
  • the display control unit 1002, the control unit 1003, the motion determination processing unit 1006, the video information source 1007, the video processing unit 1008, the video determination processing unit 1009, and the frequency determination processing unit 1011 are mounted on the video display device 10 as independent hardware. Is done. Alternatively, they may be realized by one or more arithmetic processors, microprocessors, software, and firmware. They may be implemented as a part of functional blocks of an integrated circuit, or may be realized by a programmable logic device such as an FPGA (Field-Programmable Gate Array).
  • FPGA Field-Programmable Gate Array
  • the storage unit 1010 does not need to be mounted as an individual component, and may be mounted as a partial functional block of the integrated circuit.
  • FIG. 1B is an external view of an example of the video display device 10.
  • Main components are housed in the joint between the lens and the vine, and an image is projected onto the lens portion that is a half mirror.
  • the controller 1020 and the main body of the apparatus are connected by a cable.
  • FIG. 1C is a diagram when the video display device 10 of FIG. 1B is mounted.
  • FIG. 1D is an external view of another example of the video display device 10.
  • Main components are housed in the joint between the lens and the vine, and the prism is a projection unit (2007 in FIG. 2) of the image display unit 1001.
  • FIG. 1E is a diagram when the video display device 10 of FIG. 1D is mounted.
  • FIG. 1F is an external view of still another example of the video display device 10.
  • the prism in front of the eyes is a projection unit (2007 in FIG. 2) of the image display unit 1001, and other components are distributed and stored in the helmet and the vine portion.
  • the video display unit 1001 includes a video signal processing unit 2001, a light source element power source control unit 2002, a light source element 2003, a light source driver 2004, a modulator 2005, a modulator driver 2006, a projection unit 2007, and a setting control unit 2008.
  • the video information from the video processing unit 1008 is transmitted to the video signal processing unit 2001, and the video signal processing unit 2001 determines the brightness of the light source, the timing of driving the light source, and the modulator driving pattern corresponding to the received video information.
  • the light source element power control unit 2002 controls the supply voltage to the light source element 2003 according to the received brightness information.
  • the timing of driving the light source is transmitted to the light source driver 2004.
  • the light source driver 2004 controls the light source element 2003 according to the timing of driving the light source.
  • the light source element power control unit 2002 and the light source driver 2004 may be mounted in the same element.
  • FIG. 3 shows a detailed configuration diagram of the light source element power source control unit 2002, the light source element 2003, and the light source driver 2004.
  • the light source element 2003 includes three LEDs of three primary colors of a red LED 3001, a green LED 3002, and a blue LED 3003.
  • the three LEDs are connected in series with current limiting resistors 3004, 3005, and 3006, respectively, and potentials VLEDr, VLEDg, and VLEDb are applied from the light source element power supply control unit 2002, respectively.
  • the potentials of VLEDr, VLEDg, and VLEDb can be set to arbitrary values by the light source element power supply control unit 2002, and the light emission of the red LED 3001, the green LED 3002, and the blue LED 3003 can be controlled.
  • the terminals of the current limiting resistors 3004, 3005, and 3006 on the opposite side of the LED are connected to the light source driver 2004.
  • the light source driver 2004 changes the potential of each terminal of CTRLr, CTRLg, and CTRLb to control the light emission amount and the light emission time of the red LED 3001, the green LED 3002, and the blue LED 3003, respectively, and the modulator 2005 controls all the pixels (pixels). ) Is modulated.
  • the display control unit 1002 sends a control signal designating the brightness of the light source to the setting control unit 2008 of the video display unit 1001.
  • the light source has been described as having a configuration of three primary color LEDs one by one, it is not limited to this. It is good also as a structure which has one or more white LED. Moreover, light sources other than LED may be sufficient.
  • the three primary colors may not be configured so that the light source emits only the primary color, and may be configured such that a specific color is extracted by a filter using, for example, a white light source and a dichroic filter or a color wheel.
  • the modulator drive pattern is transmitted to the modulator driver 2006.
  • the modulator driver 2006 drives the modulator 2005 according to the modulator driving pattern.
  • the modulator 2005 is, for example, a transmissive liquid crystal element, LCOS (Liquid Crystal On Silicon), DMD (Digital Mirror Device), or the like.
  • the modulator 2005 and the modulator driver 2006 may be configured as one element component.
  • description will be made assuming that the modulator 2005 is an LCOS system.
  • Light emitted from the light source element 2003 is modulated by the modulator 2005 and projected onto the projection unit 2007.
  • the projection unit 2007 include a reflector such as a mirror, a scatterer such as a screen, a prism, a half mirror, and a lens. Also, a combination of these may be used.
  • the video display device 10 of the present invention has a form like an opaque goggle that covers the entire field of view of the device user 20, and the device user 20 visually recognizes the outside world. It is possible to adopt a transmissive type in which an image is recognized by a part of the field of view. The following description assumes a transmissive type.
  • the device user 20 visually recognizes an image as shown in FIGS. 7A, 7B, and 7C. That is, the device user 20 can recognize the external world as shown in FIG. 7A and the virtual video 7001 as shown in FIG.
  • the video display device 10 has a mode in which video is projected on both eyes of the device user 20 and a mode in which only one eye is projected. In FIG. 2, it is assumed that only one eye is projected. However, when projecting to both eyes, two projection units 2007 are provided so that light from the modulator 2005 is incident on the left and right eyes. Configure as follows.
  • the video display unit 1001 as a whole may have two configurations for the right eye and the left eye, and different images with parallax may be projected to form a stereoscopic video.
  • the apparatus user 20 observes the light from the projection unit 2007, so that the light corresponding to the input video information can be recognized as a video.
  • the setting control unit 2008 can receive the control signal and change the setting of the video signal processing unit 2001.
  • the video display unit 1001 has two or more display methods for displaying video.
  • the display method is illustrated in FIGS. 4A, 4B, 4C, and 4D.
  • the video information is treated as moving image information in which N still images are arranged in a predetermined order per second on average, and N is a positive number of 1 or more.
  • N is referred to as a frame rate, and is expressed as frames per second (fps: frames per second) as the number of still images per second.
  • the frame rate is generally 30 fps or 60 fps, for example.
  • the display count of the video display unit 1001 is changed with respect to the frame rate of the video information.
  • FIG. 4A illustrates the first display method.
  • the video display unit 1001 changes the display video once per 1 / N second with respect to the frame rate N.
  • the display image is called a frame.
  • a field sequential method (color time division method) will be described as an example. That is, for one frame display, the video display unit 1001 divides video information into primary color components of red, green, and blue, and displays video of each color component separately within a time obtained by further dividing 1 / N second into three. .
  • the display of the modulator 2005 which is an LCOS, is set (1R) corresponding to the red component divided from the video information of frame 1, and the red LED 3001 is shorter than 1 / (3N) seconds. Light is emitted for a predetermined time (period 1R).
  • the modulator 2005 is set to a setting (1G) corresponding to the green component of frame 1, and the green LED 3002 emits light for a predetermined time (period 1G) shorter than 1 / (3N) seconds.
  • the modulator 2005 is set (1B) corresponding to the blue component of the frame 1, and the blue LED 3003 emits light for a predetermined time (period 1B) shorter than 1 / (3N) seconds.
  • Such display of each color component is similarly performed on the frame 2 and the frame 3 of the display image.
  • FIGS. 4A to 4D the description up to frame 3 is shown, but the same processing is repeated for the subsequent frames.
  • FIG. 4B illustrates the second display method.
  • the display time of each color component of the modulator 2005 for each frame is further divided into two, and 1 / N second corresponding to the frame rate N of the display image.
  • One color component is displayed in a period divided into six.
  • This second display method is called double speed drive because the modulator 2005 is driven at twice the update speed of the first display method.
  • Changing the driving speed of the modulator 2005 and the light source element 2003 means changing the update period of the pixel information of the liquid crystal element or mirror array element.
  • FIG. 4D shows a timing chart of the triple speed driving.
  • FIG. 4C shows a modification at the time of double speed driving.
  • the driving cycle of the modulator 2005 and the light source element 2003 is the same as the display method of FIG. 4B.
  • the generation of the intermediate frame is performed by the video processing unit 1008.
  • an intermediate frame can be generated even at an update rate such as 3 ⁇ speed or 4 ⁇ speed faster than 2 ⁇ speed, and is not limited to 2 ⁇ speed.
  • the device user 20 When the 1 ⁇ speed display, 2 ⁇ speed display, 3 ⁇ speed display, and double speed are given, or by generating an intermediate frame, the device user 20 is less likely to perceive color breakup, and the motion of the image is reduced. Will be smooth, but power consumption will increase.
  • the display control unit 1002 transmits a control signal instructing switching of the display method via the setting control unit 2008 of the video display unit 1001.
  • the video processing unit 1008 can change the video information input from the video information source 1007 and output it to the video display unit 1001.
  • the video information is, for example, information including data of H ⁇ V pixels vertically (H is an integer of 1 or more) and V (V is an integer of 1 or more) horizontally.
  • Changing the contrast of an image is a process for changing the difference between light and dark colors.
  • a pixel value input from the video information source 1007 is multiplied by a proportional coefficient higher than 1 to be a pixel value to be output to the video display unit 1001. It is processing.
  • the image brightness change is a process of incrementing a pixel value by a specified value to obtain an output pixel value.
  • An arbitrary value is added to the pixel value input from the video information source 1007 to display a video. This is processing for converting the pixel value to be output to the display unit 1001.
  • the video processing unit 1008 performs processing such as increasing or decreasing the contrast of the image and / or increasing or decreasing the brightness of the image in accordance with a signal from the control unit 1003.
  • the video processing unit 1008 may change other parameters related to the image, for example, sharpness, saturation, and hue in accordance with a signal from the control unit.
  • the video processing unit 1008 can be switched to send video information to the video display unit 1001 without performing these processes in accordance with a signal from the control unit 1003.
  • the first sensor 1004 is a sensor for detecting the rotation of the head of the device user 20, for example, a gyro sensor.
  • the first sensor 1004 outputs a three-dimensional motion vector indicating the head movement for a predetermined time.
  • the second sensor 1005 is a line-of-sight sensor for detecting the movement of the line of sight and the position of the gazing point, and outputs a two-dimensional motion vector or a three-dimensional vector indicating the line-of-sight movement of the device user 20 for a predetermined time.
  • the exercise determination processing unit 1006 determines the exercise status of the device user 20 from the outputs of the first sensor 1004 and the second sensor 1005. Specifically, there are three directions: head movement, line-of-sight movement, head movement, and line-of-sight movement direction. Processing for determining these three items from the sensor output will be described later.
  • the motion determination processing unit 1006 determines whether or not the gazing point is on the virtual video 7001 by the video display device, and the processing will be described later.
  • the control unit 1003 determines the processing contents from the determination result of the motion determination processing unit 1006 according to FIG. 5, the display speed of the video display unit 1001 is displayed on the display control unit 1002, and the processing related to the video parameters is performed on the video processing.
  • the unit 1008 is instructed.
  • the process A is a process in which the display method of the video display unit 1001 is set to 1 ⁇ speed driving, the video processing by the video processing unit 1008 is not performed, and the video from the video information source is passed to the video display unit 1001 without any change. .
  • This is the process with the least power consumption.
  • Pattern 5 is different from Pattern 1 in that the point of gaze detected by the second sensor 1005 is not on the virtual image. At this time, the apparatus user 20 is stopped, and the virtual image 7001 is not visually recognized, and the importance of visibility is reduced, so the control unit 1003 instructs the process B.
  • Processing B is processing in which the display method of the video display unit 1001 is set to 1 ⁇ speed driving and the video processing unit 1008 reduces the contrast and brightness of the video by a predetermined amount.
  • Pattern 3, pattern 5, and pattern 8 in FIG. 5 are either when the movement of the head of the apparatus user 20 is detected or the movement of the line of sight is detected, and are on the gazing point virtual image It is. In these patterns, the device user 20 is not stationary, and the possibility that the device user 20 of the video display device 10 feels uncomfortable increases, so the need for consideration for discomfort increases.
  • the control unit 1003 for reducing discomfort instructs the processing C.
  • the display method of the video display unit 1001 is set to the triple speed with a higher update speed, while the video processing by the video processing unit 1008 is returned to the initial value.
  • Pattern 4, pattern 6, and pattern 9 in FIG. 5 are either when the movement of the head of the apparatus user 20 is detected or the movement of the line of sight is detected, and the gazing point is not on the virtual video. It is. In these patterns, the device user 20 is not stationary, and the necessity of considering the discomfort of the device user 20 is increased. However, the device user 20 does not visually recognize the virtual image 6001 and is visually recognized. Therefore, the control unit 1003 instructs the process D.
  • the display method of the video display unit 1001 is set to triple speed with a faster update speed, while the video processing unit 1008 reduces the contrast and brightness of the video by a predetermined amount.
  • the movement of the head of the apparatus user 20 is detected and the movement of the line of sight is detected. If the direction of movement of the head at this time and the direction of movement of the line of sight are substantially the same direction, the eye movement is highly likely to be a so-called saccade (intermittent movement), and the device user 20 There is a high possibility that both the outside world and the virtual video 7001 are not recognized. In such a case as well, it is necessary to consider the discomfort of the device user 20 in the video, but since the importance of the visibility of the virtual video is low, the control unit 1003 instructs the process D described above.
  • FIG. 6 is a flowchart for realizing the control mode by the pattern shown in FIG. 5, and is executed by the control unit 1003 and the motion determination processing unit 1006.
  • the process starts from step S010.
  • step S020 the control unit 1003 performs initial setting and energization processing of the first sensor 1004 and the second sensor 1005.
  • the display method of the video display unit 1001 is set to double speed, and various parameters of the video processing unit 1008 are set to specified initial values.
  • step S030 the motion determination processing unit 1006 acquires a sensor output from the first sensor 1004.
  • step S040 the motion determination processing unit 1006 acquires a sensor output from the second sensor 1005.
  • step S050 the motion determination processing unit 1006 determines from the output of the first sensor whether the magnitude of the rotational speed of the head is equal to or greater than the specified value A1 (A1 is a positive value), and the determination result is X. . X is true ('1') if the detection result is greater than or equal to the specified value A1, and X is false ('0') if it is less than A1.
  • step S060 the motion determination processing unit 1006 determines from the output of the second sensor whether the magnitude of the movement speed of the line of sight is equal to or greater than a specified value S1 (S1 is a positive value). And If the detection result is greater than or equal to the specified value S1, Y is true ('1'), and if it is less than S1, Y is false ('0').
  • step S070 the motion determination processing unit 1006 determines whether the two-dimensional coordinates of the line-of-sight position (gaze point) are on the virtual image (within a predetermined range) from the output of the second sensor, and the determination result Is Z.
  • Z is true ('1')
  • Z is false ('0').
  • XOR exclusive OR
  • step S100 the motion determination processing unit 1006 compares the head moving speed direction output from the first sensor 1004 with the line-of-sight moving direction output from the second sensor 1005, and the motion vector direction is determined. It is determined whether or not they substantially match. The determination method will be described later.
  • step S111 conditional branching is performed based on the determination result Z. If Z is true, the process proceeds to step S140, and the control unit 1003 instructs process C. If Z is false, the process proceeds to step S150, and the control unit 1003 instructs process D.
  • step S160 it is determined whether this flow is set to be continuously executed.
  • the apparatus user 20 may set or change the setting, or a default may be set. If the setting is valid, the process proceeds to standby step S170, and if the setting is invalid, the process proceeds to end step S180.
  • step S170 after waiting for a predetermined time (about 300 milliseconds to 10 seconds), the process returns to step S030.
  • step S180 power-off processing and suspension setting for the first sensor 1004 and the second sensor 1005 are performed. The process ends in end step S190.
  • the video display device 10 has a storage unit 1010.
  • the control unit 1003 records the changed history, time, and the like in the storage unit 1010.
  • the frequency determination processing unit 1011 is a video information source 1007. Is requested to change the setting of the video information according to the change history.
  • the video information change request is performed, for example, at the timing of the end process in step S180 in FIG. 6, and the video information change is a change in parameters such as image contrast, sharpness, saturation, hue, and image brightness. .
  • Gaze Sensor An example of a gaze sensor that is the second sensor 1005 will be introduced. As shown in FIG. 11A, a sensor A element 1101, a sensor B element 1102, and a detection controller 1103 are provided. When the sensor A element 1101 detects movement, the detection controller 1103 activates the sensor 2 element 1102 and instructs the sensor B element to output more precise data.
  • FIG. 11B A more specific configuration is shown in FIG. 11B. It is suitable for mounting on a frame portion of a glasses-type device as shown in FIGS. 1B and 1D.
  • the line-of-sight sensor can detect the movement of the eye 1111 of the device user 20, and includes a first light projecting unit 1112 and a second light projecting unit 1113 that emit infrared light, a first light receiver 1114, and a second light receiving unit.
  • the infrared light emitted from the first light projecting unit 1112 and the second light projecting unit 1113 is projected onto the eye 1111 of the device user 20 and reflected.
  • the reflected infrared light is incident on the first light receiver 1114 and the second light receiver 1115.
  • the first light receiver 1114 and the second light receiver 1115 are installed in different directions with respect to the eye 1111, and the amount of received light varies depending on the position of the black eye and the white eye. Since the first light receiver 1114 and the second light receiver 1115 are arranged on the left and right of the eye 1111, the change in the amount of received light when the eye 1111 is displaced differs depending on the light receiver.
  • the movement of the eye 1111 can be detected by obtaining a difference by the comparator 1116 from the amount of light received by the first light receiver 1114 and the amount of light received by the second light receiver 1115. This is a detection method called scleral reflection method.
  • the motion detector 1120 determines that the movement of the eye 1111 is detected when the output of the comparator 1116 is equal to or greater than a predetermined value, outputs a motion detection signal, and moves to the eye 1111 when the output of the comparator 1116 is smaller than the predetermined value. It is determined that there is no motion, and a motion non-detection signal is output.
  • the pause control unit 1121 places the first camera 1117 and the second camera 1118 in an imaging state capable of capturing an image, and these cameras are reflected from the eyes 1111.
  • the eye 1111 is imaged with infrared light.
  • Image processing is performed by an image processing unit (not shown) from videos captured by the first camera 1117 and the second camera 1118, and more detailed movement of the line of sight and the position of the viewpoint are estimated.
  • a dark pupil method, a corneal reflection method, or the like is used.
  • the pause control unit 1121 stops a part of functions in the first camera and the second camera and puts them into a pause state that suppresses power consumption.
  • the motion detection processing unit 1120 changes the power supplied to the first light projecting unit 1112 and the second light projecting unit 1113 by sending a motion detection or motion non-detection signal to the current control unit 1119. Control is performed so that the amount of current in the imaging state is greater than the amount of current in the resting state.
  • a camera element has higher power consumption than a photoreceiver, and more light is required for detection. For this reason, the power consumption of the apparatus is suppressed by this control method in which the camera element is in the imaging state only when a rough movement is detected by the light receiver, rather than the camera element is always in the imaging state.
  • the case where there are two light projecting units is illustrated, but the number is not limited to this. Furthermore, you may have many light projection parts. Further, the light receiving timing of each light projecting unit may be controlled to be different, and the light receiver or the camera element may acquire data in accordance with the light emission of each light projecting unit.
  • the number of camera elements and light receivers is exemplified as two, but the number is not limited to this.
  • the light receiver and the camera element may be configured as one element.
  • some pixels of the camera element may be configured as a light receiver.
  • Initialization processing of the second sensor 1005 may be performed in the initial setting step S020 shown in FIG.
  • the second sensor 1005 is a sensor that detects the line of sight of the device user 20
  • the motion determination processing unit 1006 displays a diagonal virtual image 1201 in the display area as shown in FIG. 12A on the video display unit 1001 during the initialization process, and looks at the intersection of the device user 20. Display a text prompting you to do so.
  • the second sensor 1005 detects that the position of the gazing point is stationary for a predetermined number of seconds, it is determined that the device user 20 is staring at the intersection of the virtual images 1201, and the position of the gazing point is determined.
  • the reference position p0 (h0, v0) of the two sensors 1005 is set.
  • the detection timing of the reference position may be performed at the time designated by the apparatus user 20 by the controller 1020 in addition to the initial processing.
  • the device user 20 may instruct the second sensor 1005 to detect the detection timing by intentionally blinking a specific length or a specific order before and after gaze at a specified point.
  • the virtual display image 1202 does not have to be a square, and may be another figure such as a triangle or a circle.
  • Direction of Eye Movement of Head Movement In the movement determination unit 1006, the direction of movement of each of the head movement and the eye movement is calculated from the motion vector output of the first sensor 1004 and the motion vector output of the second sensor 1005. Detect if matches.
  • the output of the first sensor 1004 and can be expressed by three-dimensional vector A 0.
  • the orthogonal projection vector of the three-dimensional vector A 0 with respect to the plane S is A.
  • a similar vector conversion process is performed when the output of the second sensor 1005 is a three-dimensional vector.
  • the distance that the device user 20 recognizes the virtual image 7001 is determined by the optical configuration of the projection unit 2007 and the like in the image display unit 1001, and the device user 20 moves the virtual image 7001 away by a predetermined distance by the focus adjustment function of the eyeball. Recognize at the position.
  • the second sensor 1005 When the second sensor 1005 outputs a two-dimensional vector B0, consider the plane T of the three-dimensional space including the detecting axis of the second sensor 1005, converts the two-dimensional vector B0 to a three-dimensional vector B 1 on the plane T and, the orthogonal projection vector relative to the plane S of the three-dimensional vector B 1 and B.
  • a similar vector conversion process may be performed when the detection result of the first sensor 1004 is obtained as a two-dimensional output.
  • the movement vector of the output of the first sensor 1004 is A
  • the movement vector B of the output of the second sensor 1005 is an angle formed by both vectors.
  • (ANGLE) ⁇ A comparison is made by comparing the absolute value of ANGLE (AB) with an arbitrary value ⁇ ( ⁇ is a positive value).
  • the first sensor 1004 and the second sensor 1005 are an acceleration sensor, a geomagnetic sensor, a GPS, a camera that shoots a user, a camera that shoots an external image viewed from the user, and measures the pulse of the user.
  • a sensor, a sensor for measuring the blood flow of the user, a clock, or the like may be used.
  • the first sensor 1004 and the second sensor 1005 may each include a filter, an amplifier, a level shifter, and the like.
  • a configuration including a comparator and transmitting a binary result indicating whether the detection result is higher or lower than the threshold value together with the vector value may be used.
  • a signal may be output indicating that motion has been detected.
  • the video determination processing unit 1009 may determine the feature of the image.
  • the video determination processing unit 1009 determines whether or not the video information may cause display discomfort to the device user 20. For example, as shown in FIG. 9A, in the case of an image in which an object moves continuously in the screen, the apparatus user 20 is predicted to follow the moving image by moving the eyeball. Further, for example, as shown in FIG. 9B, when the video includes content that makes sense by continuously recognizing a character string or the like in the vertical, horizontal, and diagonal directions, the user 20 It is expected to move the viewpoint along the image by moving.
  • Such an image can be detected in advance by the video determination processing unit 1009 analyzing the digital image and referring to the amount of difference data between image frames. 9A and 9B, the video determination processing unit 1009 outputs a control signal to the control unit 1003 so that the process C is applied in the case of a video whose movement of the viewpoint is predicted in advance.
  • the video determination processing unit 1009 determines whether the video to be displayed is a video related to the outside world, for example, an augmented reality (AR) video. You may judge.
  • the video determination processing unit 1009 can determine the type of video from video metadata and additional information.
  • the virtual video 7001 in FIG. 7B displays information related to the external world in FIG. 7A, and when it is determined that the video is related to the external world in this way, the point of interest is a position other than the virtual video 7001. Even if it is detected (Z is false), since the importance of the visibility of the display image is high, the controller 1003 is instructed to apply the process C in FIG.
  • the display method shown in FIG. 10A may be adopted.
  • the double speed driving shown in FIG. 4B is performed, the control of the light source is stopped, and the light emission periods of the red LED 3001, green LED 3002, and blue LED 3003 of the light source element 2003 are made substantially simultaneous.
  • the light from the three LEDs is mixed, and the device user 20 recognizes the video as a black and white image, and in principle, no color break occurs.
  • the present invention may be applied to the processes C and D in FIG.
  • the frame update of the modulator 2005 may be stopped. For example, as shown in FIG. 10B, when the frames 1, 2, and 3 are substantially the same image, the modulator 2005 continues to display the same frame 1 during the period corresponding to these frames.
  • the video information can be expressed as H ⁇ V pixel information (both H and V are positive integers)
  • the number of pixels whose information has been changed between consecutive frames is that the images are substantially the same.
  • H ⁇ V the number of pixels whose information has been changed between consecutive frames
  • the color information of each pixel can be expressed as primary color information of R, G, B (for example, R, G, B are positive integers from 0 to 255)
  • continuous frames The change in the R, G, and B values of each pixel is sufficiently small.
  • the modulator 2005 uses a ferroelectric liquid crystal, power is consumed for erasing and redisplaying information in order to display the same frame a plurality of times. Stopping the frame update of the modulator 2005 further reduces power consumption. You may apply to the process C and the process D of FIG.
  • the video information source 1007 may be configured to acquire video information from the outside.
  • it may be a receiver that complies with video transmission standards such as DVI, HDMI (registered trademark), and DisplayPort, or a receiver that uses a general electric signal transmission method such as SPI, I2C, RS232, or USB.
  • It may be a wired network receiver such as Ethernet (registered trademark) or a wireless network receiver such as a wireless LAN or Bluetooth (registered trademark).
  • the video information source 1007 may include a decoder that receives compressed information and expands it to video information, and includes a function that receives and decrypts encrypted video information. Also good.
  • the power supply unit 1012 supplies power to the video display device 10.
  • the power supply unit 1012 is a rechargeable battery that can be charged from an external power source as a power source, a power supply circuit that extracts desired power from a replaceable primary battery, a converter that connects to an external power source such as an outlet, and power Includes one or more of the stabilizing circuits.
  • the power supply unit 1012 may include a power control integrated circuit for controlling charging, supply power, etc. or observing the power source.
  • the control unit 1003 acquires information on the remaining power amount of the power source from the power supply unit 1012, and controls the video processing unit 1008 to operate the video processing only when the remaining power amount exceeds a predetermined value.
  • the control unit 1003 may be configured to change the display method of the video display unit 1001 so that the display cycle is shortened only when the remaining power amount of the power supply unit 1012 exceeds a predetermined value.
  • the control unit 1003 may be configured to change the display method of the video display unit 1001 so that the display cycle becomes longer when the remaining power amount of the power supply unit 1012 is lower than a predetermined value.
  • FIG. 13 is an explanatory diagram of the second embodiment. Only the parts different from FIG. 1 will be described.
  • the first sensor 1304 and the second sensor 1305 are provided separately from the housing of the video display device 130. Each sensor detects the operation of the device user 20 as in the first embodiment.
  • exchange of information between the first sensor 1304 and the video display device 130 is performed via the communication unit 1013.
  • the communication unit 1013 and the first sensor 1304 may communicate with each other as an electrical signal on a physically connected conductor, or via wireless communication such as a wireless LAN, Bluetooth (registered trademark), or Zigbee (registered trademark). It may be done.
  • the first sensor 1304 may be configured to include a communication unit (not shown). When using wireless communication, the first sensor 1304 may be supplied with power from a power source different from that of the video display device 130.
  • the second sensor 1305 may exchange information with the communication unit 1013 using the wired communication or the wireless communication.
  • the second sensor 1305 may be configured to include a communication unit (not shown). Further, when wireless communication is used, power may be supplied from a power source different from that of the video display device 130.
  • the motion determination processing unit 1006 receives the outputs of the first sensor 1304 and the second sensor 1305 via the communication unit 1013.
  • the first sensor 1404, the second sensor 1405, and the motion determination processing unit 1406 are provided separately from the housing of the video display device 140. Information exchange between the motion determination processing unit 1406 and the control unit 1003 is performed via the communication unit 1013, and may be performed by the wired communication or the wireless communication.
  • the first sensor 1404, the second sensor 1405, and the motion determination processing unit 1406 may be included in the same housing. Further, the motion determination processing unit 1406 may be configured to include a communication unit (not shown).
  • the second sensor 1305 is provided separately from the casing of the video display device 150.
  • Information exchange between the second sensor 1305 and the motion determination processing unit 1006 is performed via the communication unit 1013, and may be performed by wired communication or wireless communication as described above.
  • the first sensor 1304 and the second sensor 1305 provided separately do not need to be attached to the device user 20, and may only detect the movement of the head of the device user 20, the movement of the eyes, etc.
  • a sensor using image processing may be used. It is assumed that the apparatus user 20 works while watching the image at a fixed position, and the camera-type first sensor 1304 and the second sensor 1305 are installed on the work table. Further, when the device user 20 stands upright or sits at a fixed position and uses the image display device 130, the image display device 140, or the image display device 150, the pressure distribution for measuring the displacement of the center of gravity position below the device user 20.
  • a first sensor 1304 or a second sensor 1305 may be provided by providing a detection sensor such as a measuring instrument.
  • FIG. 16 is an explanatory diagram of the third embodiment. Only the parts different from FIG. 1 will be described.
  • the storage unit 1610 and the frequency determination processing unit 1611 are provided in the server 1601 separately from the video display device 160.
  • the operations of the storage unit 1610 and the frequency determination processing unit 1611 are the same as those of the storage unit 1010 and the frequency determination processing unit 1011 of the first embodiment.
  • Information exchange between the storage unit 1310 and the control unit 1003 is performed via the communication unit 1013 of the video display device 160 and the communication unit 1612 of the server 1601, and the communication unit 1013 and the communication unit 1612 are physically connected. It may be communicated as an electrical signal on a conductive wire connected to, or may be performed via wireless communication such as wireless LAN, Bluetooth (registered trademark), Zigbee (registered trademark). Similarly, information exchange between the frequency determination processing unit 1611 and the video information source 1007 is performed via the communication unit 1013 and the communication unit 1612, and may be performed by wired communication or wireless communication as described above. .
  • FIG. 17 shows a control method in a system including a plurality of video display devices 160.
  • the first video display device 1711, the second video display device 1712, the third video display device 1713, and the fourth video display device 1714 can communicate with the server 1601 via the network 1730.
  • the first video display device 1711 is used by the first user 1721
  • the second video display device 1712 is used by the second user 1722
  • the third video display device 1713 is used by the third user 1723
  • the fourth video display device 1714 is used by the fourth user 1724.
  • the server 1601 includes a storage unit 1610 and a frequency determination processing unit 1611, and includes a first video display device 1711, a second video display device 1712, a third video display device 1713, and a fourth video display device 1714.
  • a history or time when the display method of the video display unit 1001 is changed or the processing method of the video processing unit 1008 is changed is received from the control unit 1003 via the network 1730.
  • the server 1601 extracts common information from the change information sent from each video display device, and the processing of each video display device recorded in the storage unit 1610 by the frequency determination processing unit 1611 is common.
  • the common processing exceeds a predetermined number of times within a predetermined time, the video information source 1007 is requested to change the video information.
  • the change of the video information is, for example, a change of parameters such as image contrast, sharpness, saturation, hue, and image brightness.
  • the number of video display devices 160 connected to the network 1730 is not limited to the number shown in the present embodiment, and one or more video display devices 160 may be connected.
  • DESCRIPTION OF SYMBOLS 10 ... Video display apparatus 1001 ... Video display part 1002 ... Display control part 1003 ... Control part 1004 ... 1st sensor 1005 ... 2nd sensor 1006 ... Motion determination process part 1007 ... Video information source 1008 ... Video processing unit 1009 ... Video judgment processing unit 1010 ... Storage unit 1011 ... Frequency judgment processing unit 1012 ... Power supply unit 1013 ... Communication unit 1020 ... Controller 20: Device user 2001 ... Video signal processing unit 2002 ... Light source element power source control unit 2003 ... Light source element 2004 ... Light source driver 2005 ... Modulator 2006 ... Modulator Driver 2007 ... Projection unit 2008 ... Setting control unit 3001 ... Red LED 3002 ... Green LED 3003 ...
  • Frequency determination processing unit 1612 Communication unit 1711 ... First video display device 1712 ... Second video display device 713 ... Third video display device 1714 ... Fourth video display device 1721 ... First user 1722 ... Second user 1723 ... Third user 1724 ... ⁇ Fourth user 1730 ... Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

利用者の頭部に装着可能な映像表示装置であって、二つ以上の表示方法を切り替えることができる映像表示部と、映像表示部に表示方法を指定する制御部と、利用者の頭部の動きを検出する第一の検出部と、利用者の視点の動きを検出する第二の検出部と、前記第一の検出部の出力と前記第二の検出部の出力により装置利用者の運動状況を判定する運動判定部とを含む。制御部は運動判定部の判定結果に応じて、映像表示部に表示方法の変更を指示する。

Description

映像表示装置および制御方法
　本願発明は、使用者の頭部に装着可能で、使用者の眼前に映像が表示される映像表示装置と、その制御方法に関する。
　使用者装着型の映像表示装置は、軽量化・小型化の開発が進み、装置利用者への負担が低減される見込みである。この種の映像表示装置には、両手が自由に使用できる状態で情報を得られる利点があり、広い用途への応用が期待されている。
特許第５２２８３０５号
　例えば上記特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザーの目の直前に表示部を配置して表示および表示の終了を行う装置が提案されている。
　装着型の映像表示装置では、装置利用者が映像から視線を外すことが難しく、表示を維持しつつも映像の乱れなどからくる不快感を軽減するのが望ましい。しかし、参考文献１のように装置の判断で表示の終了を行うことは、装置の用途によっては映像を表示し続けることが重要な場合もあり、その場合は装置利用者にとって不利益となる場合が存在する。
　この映像の乱れは映像表示装置の表示方式に起因するものが考えられる。例えば液晶を利用した映像表示装置であれば画面の映像情報を更新する際の画面のちらつき、またフィールドシーケンシャル方式（色時分割方式）の映像表示装置であればカラーブレイク（色割れ）などが考えられる。これらの映像の乱れは、装着型の映像表示装置の場合、装置利用者が動くことで装置利用者により大きな不快感として認識される可能性がある。また、映像の乱れを軽減する表示方法は消費電力を増大させる。
　上記課題を解決するための利用者の頭部に装着可能な映像表示装置であって、二つ以上の表示方法を切り替えることができる映像表示部と、映像表示部に表示方法を指示する制御部と、利用者の頭部の動きを検出する第一の検出部と、利用者の視点の動きを検出する第二の検出部と、前記第一の検出部の出力と前記第二の検出部の出力により装置利用者の運動状況を判定する運動判定部とを含む。制御部は運動判定部の判定結果に応じて、映像表示部に表示方法の変更を指示する。
　本発明によれば、装着型の映像表示装置において、装置利用者が映像から感じる不快感の低減を低消費電力で実現できる。
　本発明の他の目的、特徴及び利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
実施例１による映像表示装置１０のブロック図である。 映像表示装置１０の外観図の一例である。 図１Ｂに示した映像表示装置１０を装着した時の図である。 映像表示装置１０の外観図の他の一例である。 図１Ｄに示した映像表示装置１０を装着した時の図である。 映像表示装置１０のさらに他の一例を装着した時の図である。 映像表示装置１０内の映像表示部１００１の実施例を示すブロック図である。 映像表示部内１００１の光源素子２００３の実施例を示す回路図である。 映像表示装置１０内の映像表示部１００１の１倍速表示動作例を示すタイミングチャートである。 映像表示装置１０内の映像表示部１００１の２倍速表示動作例を示すタイミングチャートである。 映像表示装置１０内の映像表示部１００１の２倍速表示動作かつフレーム補完を実施する例を示すタイミングチャートである。 映像表示装置１０内の映像表示部１００１の３倍速表示動作例を示すタイミングチャートである。 運動判定処理部１００６による判定処理を示す表である。 制御部１００３と運動判定処理部１００６による判定処理フローを示すフローチャートである。 外界の例である。 映像表示装置１０が表示する仮想映像の表示例である。 外界に仮想映像を重ね合わせた例である。 映像表示装置１０による表示例である。 映像処理部１００８によりコントラストを弱めた映像表示例である。 映像処理部１００８によりシャープネスを弱めた映像表示例である。 映像判定処理部１００９の対象となる映像の一例である。 映像判定処理部１００９の対象となる映像の他の一例である。 映像表示装置１０内の映像表示部の光源制御停止表示動作例を示すタイミングチャートである。 映像表示装置１０内の映像表示部の強誘電液晶の更新停止動作例を示すタイミングチャートである。 第２センサの一実施例を示す図である。 第２センサの一実施例を示す詳細図である。 映像表示装置の初期設定時の映像例である。 映像表示装置の初期設定時の映像表示範囲を示す図である。 実施例２による映像表示装置１３０を示すブロック図である。 実施例２による映像表示装置１４０を示すブロック図である。 実施例２による映像表示装置１５０を示すブロック図である。 実施例３による映像表示装置１６０を示すブロック図である。 実施例３による映像表示装置の制御方法例を示すブロック図である。
　以下、本発明の実施例について図面を用いて説明する。
　本発明の実施形態を添付図面に従って説明する。
　１．装置の概要
　図１Ａは使用者に装着可能で、使用者の眼前に映像が表示される映像表示装置を示すブロック図である。
　映像表示装置１０は、映像表示部１００１、表示制御部１００２、制御部１００３、第１センサ１００４、第２センサ１００５、運動判定処理部１００６、映像情報源１００７、映像処理部１００８、映像判定処理部１００９、記憶部１０１０、頻度判定処理部１０１１、電源部１０１２を備えている。
　映像表示装置１０は、映像情報源１００７から取得された映像情報を、映像処理部１００８を介して、映像表示部１００１に送信して映像を表示する。映像表示部１００１は、代表的には、液晶素子またはミラーアレイ素子を用いたディスプレイである。
　映像情報源１００７は図示しない記憶装置に保存された映像情報のデータを、適宜選択して必要に応じてデータの復号や暗号化の解除などの処理を行い、映像情報を１００８に送信する。時系列の動画像を時系列に送信してもよいし、静止画を逐次送信してもよい。
　制御部１００３は映像表示装置１０の外部にあるコントローラ１０２０と有線あるいは無線で接続されている。装置利用者２０がコントローラ１０２０を操作する事により、映像表示装置１０の電源Ｏｎ／Ｏｆｆや映像に関する各種設定を行うことができる。コントローラ１０２０は、映像表示装置１０専用のコントローラでも良いし、スマートフォンに専用のアプリケーションプログラムをインストールしてコントローラとして使用できるようにしてもよい。電源部１０１２には、コントローラとは別に、電源をＯｎ／Ｏｆｆするスイッチが設けられている。
　表示制御部１００２、制御部１００３、運動判定処理部１００６、映像情報源１００７、映像処理部１００８、映像判定処理部１００９、頻度判定処理部１０１１は、それぞれ独立のハードウェアとして映像表示装置１０に実装される。あるいは、それらは１つ以上の演算処理器やマイクロプロセッサとソフトウェアやファームウェアにより実現されても良い。それらは集積回路の一部の機能ブロックとして実装されてもよいし、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのプログラマブルロジックデバイスによって実現されてもよい。
　記憶部１０１０についても、個別の部品として実装される必要はなく、集積回路の一部の機能ブロックとして実装されてもよい。
　図１Ｂは、映像表示装置１０の一例の外観図である。レンズとつるの接合部に主な構成要素が収納され、ハーフミラーであるレンズ部分に映像を投影する。コントローラ１０２０と装置の本体がケーブルにて接続されている。
　図１Ｃは、図１Ｂの映像表示装置１０を装着した時の図である。
　図１Ｄは、映像表示装置１０の他の一例の外観図である。レンズとつるの接合部に主な構成要素が収納され、プリズムが映像表示部１００１の投影部（図２の２００７）となっている。
　図１Ｅは、図１Ｄの映像表示装置１０を装着した時の図である。
　図１Ｆは、映像表示装置１０のさらに他の一例の外観図である。目の前のプリズムが映像表示部１００１の投影部（図２の２００７）となり、他の構成要素をヘルメットとつるの部分に分散して収納している。
２．映像の表示
　映像表示部１００１の構成例を図２に図示する。映像表示部１００１は、映像信号処理部２００１、光源素子電源制御部２００２、光源素子２００３、光源ドライバ２００４、変調器２００５、変調器ドライバ２００６、投影部２００７、設定制御部２００８を備えている。
　映像処理部１００８からの映像情報は映像信号処理部２００１に送信され、映像信号処理部２００１は受信した映像情報に対応する光源の明るさ、光源駆動のタイミング、変調器駆動パターンを決定する。
　光源の明るさの情報は光源素子電源制御部２００２に送信される。光源素子電源制御部２００２は受信した明るさの情報に応じて光源素子２００３への供給電圧を制御する。
　光源駆動のタイミングは光源ドライバ２００４に送信される。光源ドライバ２００４は　光源駆動のタイミングに応じて、光源素子２００３を制御する。
光源素子電源制御部２００２と光源ドライバ２００４は同一の素子内に実装されていてもよい。
　図３に光源素子電源制御部２００２、光源素子２００３、光源ドライバ２００４の詳細な構成図を示す。光源素子２００３は赤色ＬＥＤ３００１、緑色ＬＥＤ３００２、青色ＬＥＤ３００３の三原色の三つのＬＥＤからなる。前記三つのＬＥＤはそれぞれ電流制限抵抗３００４、３００５、３００６と直列に接続され、光源素子電源制御部２００２からそれぞれ電位ＶＬＥＤｒ、ＶＬＥＤｇ、ＶＬＥＤｂを印加される。ＶＬＥＤｒ、ＶＬＥＤｇ、ＶＬＥＤｂの電位は光源素子電源制御部２００２により任意の値に設定可能であり、それぞれ赤色ＬＥＤ３００１、緑色ＬＥＤ３００２、青色ＬＥＤ３００３の発光を制御できる。前記各電流制限抵抗３００４、３００５、３００６のＬＥＤと逆側の端子は、光源ドライバ２００４に接続される。光源ドライバ２００４はＣＴＲＬｒ、ＣＴＲＬｇ、ＣＴＲＬｂの各端子の電位を変化させることで、それぞれ赤色ＬＥＤ３００１、緑色ＬＥＤ３００２、青色ＬＥＤ３００３の発光量や発光時間などを制御し、変調器２００５により、すべての画素（ピクセル）に変調される。表示制御部１００２は、映像表示部１００１の設定制御部２００８に対して、光源の明るさを指定する制御信号を送る。
　光源は三原色ＬＥＤを一つずつ有する構成として説明したが、これに限るものではない。白色ＬＥＤを一つ以上有する構成としてもよい。また、ＬＥＤ以外の光源であってもよい。三原色についても、光源が原色のみを発光する構成でなくてもよく、例えば白色光源とダイクロイックフィルタやカラーホイールなどにより、特定色をフィルタで取り出すような構成であってもよい。
　図２の説明に戻る。
　変調器駆動パターンは変調器ドライバ２００６に送信される。変調器ドライバ２００６は前記変調器駆動パターンに応じて変調器２００５を駆動する。
　変調器２００５は例えば透過型液晶素子やＬＣＯＳ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｏｎ　Ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）などである。
　変調器２００５と変調器ドライバ２００６は一つの素子部品として構成されてもよい。
以下変調器２００５をＬＣＯＳ方式と想定して説明する。
　前記光源素子２００３から出射された光は、前記変調器２００５によって変調され、投影部２００７に投射される。
　投影部２００７は例えばミラーなどの反射物やスクリーンなどの散乱物、またはプリズム、ハーフミラー、レンズなどが挙げられる。また、これら複数の組み合わせでもよい。
　投影部２００７の構造またはその他の構成要素の追加によって、本発明の映像表示装置１０は装置利用者２０の視界全体を覆う不透明なゴーグルのような形態と、装置利用者２０が外界を視認することが可能であり視界の一部に映像を認識させる透過型形態が考えられる。以下の説明は透過型の形態を想定する。
　透過型の形態では、装置利用者２０は図７Ａ，図７Ｂ，図７Ｃに示すように映像を視認する。すなわち、装置利用者２０は、図７Ａのような外界と図７Ｂのように仮想映像７００１を重ね合わせ、図７Ｃのように認識できる。
　また、映像表示装置１０には、映像を装置利用者２０の両眼に投影する形態と、片方の目のみに投影する形態がある。図２では片方の目のみに投影する場合を想定しているが、両眼に投影する場合には、変調器２００５からの光を左右二つの目に入射するように２つの投影部２００７を持つように構成する。または映像表示部１００１全体を右目用と左目用の二つ有する構成として、視差を伴う異なる画像を投影し、立体映像としてもよい。
　前記投影部２００７からの光を装置利用者２０が観測することで、前記入力された映像情報に応じた光を映像として認識することができる。
　設定制御部２００８は制御信号を受信し、映像信号処理部２００１の設定を変更することができる。
　映像表示部１００１は映像を表示するための表示方法を二つ以上有する。図４Ａ、４Ｂ，４Ｃ，４Ｄに表示方法を例示する。映像情報は例えば平均して１秒間当たりにＮ枚分の静止画が決まった順序で並べられた動画情報として扱われる、Ｎは１以上の正の数である。この時Ｎをフレームレートと呼び、毎秒の静止画数としてフレーム毎秒（ｆｐｓ：ｆｌａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）であらわされる。フレームレートは例えば３０ｆｐｓや６０ｆｐｓなどが現在は一般的である。図４の例では映像情報のフレームレートに対して、映像表示部１００１の表示回数を変更している。
　図４Ａに第一の表示方法を例示する。第一の表示方法では映像表示部１００１は、フレームレートＮに対し１／Ｎ秒につき１回表示映像を変更する。表示映像をフレームと呼称する。
　本実施では、フィールドシーケンシャル方式（色時分割方式）を例として説明する。すなわち一つのフレームの表示に対し、映像表示部１００１は映像情報を赤、緑、青の原色成分に分割し、１／Ｎ秒をさらに３分割した時間内で各色成分の映像をそれぞれ別に表示する。
　例えばフレーム１の表示期間の最初では、ＬＣＯＳである変調器２００５の表示をフレーム１の映像情報から分割された赤成分に対応する設定（１Ｒ）とし、赤色ＬＥＤ３００１を１／（３Ｎ）秒より短い所定時間（期間１Ｒ）だけ発光する。次に、変調器２００５はフレーム１の緑成分に対応する設定（１Ｇ）とし、緑色ＬＥＤ３００２を１／（３Ｎ）秒より短い所定時間（期間１Ｇ）だけ発光する。さらに変調器２００５をフレーム１の青成分に対応する設定（１Ｂ）とし、青色ＬＥＤ３００３を１／（３Ｎ）秒より短い所定時間（期間１Ｂ）だけ発光する。各色成分の表示を高速に順次行うことにより、装置を装着している観測者には三原色の成分が混ざったフルカラーの画像として認識される。
　このような各色成分の表示が表示映像のフレーム２、フレーム３に対しても同様に行われる。図４Ａ～Ｄではフレーム３までの記載であるが、以降のフレームに対しても同様の処理が繰り返し実行される。
　図４Ｂには第二の表示方法を例示する。第二の表示方法では図４Ａの第一の表示方法と比較して、各フレームに対する変調器２００５の各色成分の表示時間をさらに２分割し、表示映像のフレームレートＮに対応する１／Ｎ秒を６分割した期間で一つの色成分を表示する。この第二の表示方法を、第一の表示方法の２倍の更新速度で変調器２００５を駆動することから、２倍速駆動と呼ぶ。
　さらに変調器２００５と光源素子２００３の駆動速度を高速化することで、３倍速、４倍速、それ以上の表示方法も実現可能である。変調器２００５と光源素子２００３の駆動速度を変更することは、液晶素子またはミラーアレイ素子の画素情報の更新周期を変更することである。図４Ｄに３倍速駆動のタイミングチャートを示した。
　図４Ｃには２倍速駆動時の変形例を示す。変調器２００５や光源素子２００３の駆動周期は図４Ｂの表示方法と同様である。元の映像情報のフレーム１とフレーム２や他のフレームの映像から中間フレームのフレーム１．５を生成し、フレーム１、フレーム１．５、フレーム２の順に表示することで、観測者にとってはより滑らかな画像として認識される。中間フレームの生成は映像処理部１００８により実施される。
　例えば図４Ｄのように２倍速よりも速い３倍速や４倍速などの更新速度であっても、中間フレームの生成は可能であり、２倍速に限るものではない。
　１倍速表示、２倍速表示、３倍速表示と倍速を挙げると、あるいは、中間フレームを生成することにより、装置利用者２０が色割れを知覚しづらくなることで不快感は少なくなり、画像の動きがなめらかになるが、電力の消費量が大きくなる。
　表示制御部１００２は、映像表示部１００１の設定制御部２００８を介して表示方法の切り替えを指示する制御信号を送信する。
　映像処理部１００８は、映像情報源１００７から入力された映像情報に変化を加えて映像表示部１００１に出力することができる。
　映像情報は例えば１フレームにつき縦にＨ個（Ｈは１以上の整数）横にＶ個（Ｖは１以上の整数）のＨ×Ｖ個の画素のデータを含む情報である。
　画像のコントラスト変更とは、色の明暗の差異を変化させる処理で、映像情報源１００７から入力された画素値に１より高い比例係数を掛けた値を映像表示部１００１に出力する画素値とする処理である。
　画像の明るさ変更とは、画素値に対して、指定された値だけ増分して出力の画素値とする処理で、映像情報源１００７から入力された画素値に任意の値を加算して映像表示部１００１に出力する画素値とする処理である。
　映像処理部１００８は、制御部１００３からの信号に応じて画像のコントラストを上げるまたは下げる、および／または画像の明るさを上げるまたは下げるなどの処理をおこなう。
　映像処理部１００８は、画像に関する他のパラメータ、例えば、シャープネス、彩度、色相を制御部からの信号に応じて変更しても良い。
　映像処理部１００８は、制御部１００３からの信号に応じて、これらの処理を行わずに映像情報を映像表示部１００１に送るように切り替えることも可能である。
　例えば図８Ａに示す映像に対して、コントラストを弱めると図８Ｂのような映像になる。一方図８Ａの映像のシャープネスを弱めると図８Ｃのような映像になる。後述するように、装置利用者２０の視点位置が表示画像の映像上に無い場合には、コントラストやシャープネスを弱めることにより、装置利用者２０の目の疲労を軽減することができる。
　３．装置利用者の動きと映像の制御
　第１センサ１００４は装置利用者２０の頭部の回転を検出するためのセンサであり、例えばジャイロセンサである。第１センサ１００４は、所定時間の頭部の動きを示す３次元動きベクトルを出力する。第２センサ１００５は視線の動きや注視点の位置を検出するための視線センサであり、装置利用者２０の所定時間の視線の動きを示す２次元動きベクトルまたは３次元ベクトルを出力する。
　運動判定処理部１００６は、第１センサ１００４と第２センサ１００５の出力から、装置利用者２０の運動状況を判定する。具体的には、頭部の動き、視線の動き、頭部の動きと視線の動きの方向の３つである。センサ出力からこの３つの項目を判定する処理については、後述する。また、運動判定処理部１００６は、注視点が映像表示装置による仮想映像７００１上にあるかないかを判定するが、その処理についても後述する。
　制御部１００３は、前記運動判定処理部１００６の判定結果から、処理内容を図５にしたがって決定して、映像表示部１００１の表示速度を表示制御部１００２に、および映像のパラメータに関する処理を映像処理部１００８に指示する。
　図５のパターン１では、装置利用者２０の頭部の動きがなく、視線の動きがなく、注視点が仮想映像上にある場合である。この時、装置利用者２０は静止しているため、装置への加振や装置と装置利用者２０の位置ずれも発生しづらい。また眼球の移動もない。カラーブレイクなどの装置利用者２０が不快に感じる現象も発生しづらい。このような場合、不快感への影響に対して配慮の必要性は低いので、制御部１００３は処理Ａを指示する。
　処理Ａとは、映像表示部１００１の表示方法を１倍速駆動とし、映像処理部１００８による映像処理を行わず、映像情報源からの映像に変更を加えることなく映像表示部１００１に渡す処理である。最も、電力消費の少ない処理である。
　図５のパターン２では、パターン１と比較して、第２センサ１００５による検出される注視点が仮想映像上にない点が違う。この時、装置利用者２０は停止しており、さらに仮想映像７００１を視認しておらず、視認性の重要度が低下するため、制御部１００３は処理Ｂを指示する。
　処理Ｂとは、映像表示部１００１の表示方法を１倍速駆動とし、映像処理部１００８によって映像のコントラストと明るさを規定の量下げる処理である。
　図５のパターン３、パターン５、パターン８は、装置利用者２０の頭部の動きが検出されたか、または視線の動きの検出がされたかのいずれかであり、かつ注視点仮想映像上にある場合である。
　これらのパターンでは、装置利用者２０は静止しておらず、映像表示装置１０の装置利用者２０が不快を感じる可能性が増すため、不快感への配慮の必要性は高くなる。不快感を低減するための制御部１００３は処理Ｃを指示する。
　処理Ｃでは、映像表示部１００１の表示方法をより更新速度の早い３倍速とする一方、映像処理部１００８による映像処理を初期値に戻す。
　図５のパターン４、パターン６、パターン９は、装置利用者２０の頭部の動きが検出された、または視線の動きが検出されたかのいずれかであり、かつ注視点が仮想映像上にない場合である。
　これらのパターンでは、装置利用者２０は静止しておらず、装置利用者２０の不快感への配慮の必要性は高くなるが、装置利用者２０は仮想映像６００１を視認しておらず、視認性の重要度も低いため、制御部１００３は処理Ｄを指示する。
　処理Ｄでは、映像表示部１００１の表示方法をより更新速度の早い３倍速とする一方、映像処理部１００８によって映像のコントラストと明るさを規定の量下げる。
　図５のパターン７では、装置利用者２０の頭部の動きが検出され、かつ視線の動きが検出されている。この時の前記頭部の動きの方向と前記視線の動きの方向が略同一の方向である場合、眼球運動はいわゆるサッカード（ｓａｃｃａｄｅ：断続性運動）である可能性が高く、装置利用者２０は外界も仮想映像７００１も認識外になっている可能性が高い。このような場合にも装置利用者２０の映像への不快感には配慮する必要があるが、仮想映像の視認性の重要度は低いので、制御部１００３は前述の処理Ｄを指示する。
　図６は図５に表した、パターンによる制御様式を実現するためのフローチャートであり、制御部１００３と運動判定処理部１００６により実行される。
　本体電源スイッチがＯＮにされた時、あるいは、装置利用者２０からの指示があった時に、ステップＳ０１０から処理が開始される。
　ステップＳ０２０において、制御部１００３は、初期設定と第１センサ１００４および第２センサ１００５の通電処理を行う。初期処理では、映像表示部１００１の表示方法を２倍速に設定し、映像処理部１００８の各種パラメータを規定の初期値にする。
　ステップＳ０３０において、運動判定処理部１００６が第１センサ１００４からセンサ出力を取得する。
　ステップＳ０４０において、運動判定処理部１００６が第２センサ１００５からセンサ出力を取得する。
　ステップＳ０５０では、頭部の回転速度の大きさが規定値Ａ１（Ａ１は正の値）以上であるかを、運動判定処理部１００６が第１センサの出力から判定し、判定結果をＸとする。該検出結果が規定値Ａ１以上であればＸは真（‘１’）とし、Ａ１未満であればＸは偽（‘０’）とする。
　ステップＳ０６０では、運動判定処理部１００６が、第２センサの出力から、視線の移動の速度の大きさが、規定値Ｓ１（Ｓ１は正の値）以上であるかを判定し、判定結果をＹとする。該検出結果が規定値Ｓ１以上であればＹは真（‘１’）とし、Ｓ１未満であればＹは偽（‘０’）とする。
　ステップＳ０７０では、運動判定処理部１００６が、第２センサの出力から、視線の位置（注視点）の２次元座標が仮想画像の上（所定の範囲内）にあるかどうかを判定し、判定結果をＺとする。注視点の位置が所定の範囲内である場合Ｚは真（‘１’）として、注視点の位置が所定の範囲外である場合Ｚは偽（‘０’）とする。
　上述のＸ，Ｙ，Ｚとその値を図５にも示してあるので参照されたい。
ステップＳ０８０では、運動判定処理部１００６が、前記判定結果Ｘと前記判定結果Ｙの論理積に基づいて条件分岐をおこなう。Ｘ・Ｙ＝０であるならば、ステップＳ１１０に進み、Ｘ・Ｙ＝１であるならばステップＳ０９０に進む。
　ステップＳ０９０では、運動判定処理部１００６が、前記判定結果Ｘと前記判定結果Ｙの排他的論理和（ＸＯＲ）に基づいて条件分岐を行う。Ｘ　ＸＯＲ Ｙ＝１であるならばステップＳ１１１に進み、Ｘ　ＸＯＲ Ｙ＝０であるならばステップＳ１００に進む。
　ステップＳ１１０では、Ｚが真であるならばステップＳ１２０に進み、制御部１００３が処理Ａを指示し、Ｚが偽であるならばステップＳ１３０に進み、制御部１００３が処理Ｂを指示する。
　ステップＳ１００では、運動判定処理部１００６が、第１センサ１００４の出力である頭部の移動速度の方向と、第２センサ１００５の出力である視線の移動方向とを比較し、動きベクトルの方向が略一致するかを判定する。その判定方法については、後述する。
　ステップＳ１１１では、判定結果Ｚに基づいて条件分岐を行う。Ｚが真であるならばステップＳ１４０に進み、制御部１００３が処理Ｃを指示し、Ｚが偽であるならばステップＳ１５０に進み、制御部１００３が処理Ｄを指示する。
　ステップＳ１６０では、本フローを連続的に実施する設定となっているかを判定する。該設定は装置利用者２０が設定あるいは設定変更しても良いし、デフォルトが設定されていてもよい。設定が有効であれば待機ステップＳ１７０に進み、設定が無効であれば終了ステップＳ１８０に進む。
　ステップＳ１７０では、所定の時間（３００ミリ秒から１０秒程度）の待機を行った後、ステップＳ０３０に戻る。
　ステップＳ１８０では第１センサ１００４および第２センサ１００５の電源遮断処理や休止設定を実施する。
　終了ステップＳ１９０で処理が終了する。
　映像表示装置１０は記憶部１０１０を有する。制御部１００３は映像表示部１００１の表示方法を変更した際、または映像処理部１００８の処理方式を変更した際に、変更を行った履歴や時刻等を記憶部１０１０に記録する。
　頻度判定処理部１０１１は記憶部１０１０に記録された各処理の変更履歴が所定時間内に所定の回数を超えた場合、例えば、３日間に５回の変更が行われた場合、映像情報源１００７に対して変更履歴に応じた映像情報の設定変更を要求する。映像情報の変更要求は、例えば図６のステップＳ１８０の終了処理のタイミングで行われ、映像情報の変更とは画像のコントラスト、シャープネス、彩度、色相、画像の明るさなどのパラメータの変更である。
　４．視線センサ
　第２センサ１００５である視線センサの１例を紹介する。
　図１１Ａに示すようにセンサＡ素子１１０１とセンサＢ素子１１０２と検出制御器１１０３を備える構成である。センサＡ素子１１０１が動きを検出すると検出制御器１１０３がセンサ２素子１１０２を起動し、より精密なデータを出力するようにセンサＢ素子に命令する。
　より具体的な構成を図１１Ｂに示す。図１Ｂ，図１Ｄのような眼鏡型の装置のフレーム部分に実装するのに適している。視線センサは装置利用者２０の目１１１１の動きの検出が可能であり、赤外光を出射する第一の投光部１１１２および第二の投光部１１１３、第一の受光器１１１４および第二の受光器１１１５、比較器１１１６、第一のカメラ１１１７および第二のカメラ１１１８、電流制御部１１１９、動き検出処理部１１２０、休止制御部１１２１から構成される。
　第一の投光部１１１２および第二の投光部１１１３から出射された赤外光は装置利用者２０の目１１１１に投影され反射される。反射された赤外光は第一の受光器１１１４および第二の受光器１１１５に入射する。第一の受光器１１１４と第二の受光器１１１５は目１１１１に対して左右異なる方向に設置され、黒目と白目の位置によって受光量が変化する。目１１１１の左右に第一の受光器１１１４と第二の受光器１１１５が配置されるため、目１１１１が変位した際の受光量の変化は受光器によって異なる。第一の受光器１１１４の受光量と第二の受光器１１１５の受光量から、比較器１１１６によって差分を求めることで、目１１１１の動きを検出できる。強膜反射法と呼ばれる検出方法である。
　動き検出器１１２０は、比較器１１１６出力が所定値以上の場合に目１１１１の動きを検出したと判定し、動き検出信号を出力し、比較器１１１６出力が所定値より小さい場合に目１１１１に動き無しと判定し、動き不検出信号を出力する。
　動き検出器１１２０から動き検出の信号を受信すると、休止制御部１１２１は第一のカメラ１１１７および第二のカメラ１１１８を映像の撮影が可能な撮像状態とし、それらのカメラは目１１１１から反射された赤外光により目１１１１を撮像する。第一のカメラ１１１７および第二のカメラ１１１８により撮像された映像から、図示しない画像処理部により画像処理を行いより詳細な視線の動きおよび視点の位置を推定する。画像処理には、暗瞳孔法や角膜反射法などを用いる。
　動き検出器１１２０から動き不検出の信号を受信すると、休止制御部１１２１は第一のカメラおよび第二のカメラ内の一部機能を停止して消費電力を抑える休止状態とさせる。
　動き検出処理部１１２０は、動き検出あるいは動き不検出の信号を電流制御部１１１９に送る事によって、第一の投光部１１１２および第二の投光部１１１３への供給電力を変更する。休止状態における電流量よりも撮像状態における電流量が大きくなるように制御する。
　一般的にカメラ素子は受光器よりも消費電力が高く、また検出に必要となる光量も多くなる。このため、常時カメラ素子を撮像状態とするよりも、大まかな動きが受光器で検出された場合のみカメラ素子を撮像状態とする本制御方法により装置の消費電力が抑制される。
　本実施例では投光部は二つの場合を例示したが、個数はこれに限るものではない。さらに多くの投光部を有してもよい。また、各投光部の発光タイミングを異なるように制御して、各投光部の発光に合わせて受光器またはカメラ素子はデータを取得する構成でもよい。
　また、カメラ素子と受光器の個数についても、各二個の場合を例示したが、個数はこれに限るものではない。また、受光器とカメラ素子は一つの素子として構成されてもよく、例えばカメラ素子の一部画素を受光器として構成しても良い。
　５．視点のずれ補正と注視点位置の検出
　図６に示した初期設定ステップＳ０２０では、第２センサ１００５の初期化処理を行ってもよい。第２センサ１００５が装置利用者２０の視線を検出するセンサである場合、装置利用者２０の注視点と第２センサと位置の間に、装置の使用毎にずれが生じる可能性がある。
　このずれを補正するために、運動判定処理部１００６は、初期化処理時に映像表示部１００１に図１２Ａに示すように表示領域に対角線仮想映像１２０１を表示し、装置利用者２０をその交点を見つめるように促す文章を表示する。第２センサ１００５が注視点の位置で所定の秒数静止していることを検出した場合、装置利用者２０が仮想映像１２０１の交点を凝視していると判断して、注視点の位置を第２センサ１００５の基準位置ｐ０（ｈ０，ｖ０）と設定する。
　映像表示部１００１の映像表示範囲全体が仮想映像１２０１のようにＰ１（Ｈｍｉｎ，Ｖｍｉｎ）、Ｐ２（Ｈｍａｘ，Ｖｍｉｎ）、Ｐ３（Ｈｍｉｎ，Ｖｍａｘ）、Ｐ４（Ｈｍａｘ，Ｖｍａｘ）で囲まれる四角形である時、ｈ０＝（Ｈｍａｘ－Ｈｍｉｎ）／２、ｖ０＝（Ｖｍａｘ－Ｖｍｉｎ）／２となる。
　図６の注視点判定ステップＳ０７０では基準位置ｐ０（ｈ０，ｖ０）を基準として、第２センサ１００５の検出結果が映像表示部１００１に表示された映像の上にあるか（Ｚが‘１’か）を判定する。図１２Ｂのように、任意の仮想表示映像１２０２がＱ１（Ｈｌ，Ｖｄ）、Ｑ２（Ｈｌ，Ｖｕ）、Ｑ３（Ｈｒ，Ｖｄ）、Ｑ４（Ｈｒ，Ｖｕ）に囲まれる領域に表示されているとき（Ｈｍｉｎ≦Ｈｌ≦Ｈｍａｘ、Ｈｍｉｎ≦Ｈｒ≦Ｈｍａｘ、Ｖｍｉｎ≦Ｖｄ≦Ｖｍａｘ、Ｖｍｉｎ≦Ｖｕ≦Ｖｍａｘ）、第２センサ１００５により、注視点の位置がｐ（ｈ，ｖ）として得られたとする。この時、ｐ（ｈ，ｖ）が四角形Ｑ１Ｑ２Ｑ３Ｑ４内にある場合に、運動判定処理部１００６は、注視点の位置が仮想映像上にあるとし、ステップＳ０７０のＺが真であると判定する。
　基準位置の検出タイミングは、初期処理以外にも、コントローラ１０２０により、装置利用者２０が指定した時点に行ってもよい。装置利用者２０が指定された点の注視の前後に故意に特定の長さまたは特定の順序のまばたきをすることで第２センサ１００５に検出タイミングを指示してもよい。
　仮想表示映像１２０２は四角形である必要はなく、三角形や円形などその他の図形でもよい。
　６．頭部の動きの視線の動きの方向
　運動判定部１００６では、第１センサ１００４の動きベクトル出力と、第２センサ１００５の動きベクトル出力から、頭部の動きと視線の動きのそれぞれの動きの方向が一致するかを検出する。
　第１センサ１００４の出力が三次元ベクトルＡ０で表現できるとする。装置利用者２０が仮想映像７００１を認識する距離にあり、仮想映像７００１の四隅を含む仮想平面をＳとしたとき、平面Ｓに対する三次元ベクトルＡ０の正射影ベクトルをＡとする。第２センサ１００５の出力が三次元ベクトルの場合も同様のベクトル変換処理を行う。
　装置利用者２０が仮想映像７００１を認識する距離は映像表示部１００１内の投影部２００７などの光学的な構成によって決まり、装置利用者２０は眼球の焦点調節機能により仮想映像７００１を所定の距離離れた位置に認識する。
　第２センサ１００５が二次元ベクトルＢ０を出力するとき、第２センサ１００５の検出軸を含む三次元空間上の平面Ｔを考えて、二次元ベクトルＢ０を平面Ｔ上の三次元ベクトルＢ１に変換し、三次元ベクトルＢ１の平面Ｓに対する正射影ベクトルをＢとする。第１センサ１００４の検出結果が二次元の出力で得られる場合も同様のベクトル変換処理を行ってもよい。
　両検出センサの移動方向を単一の平面に投影したベクトルとして表現し、第１センサ１００４の出力の移動ベクトルをＡ、第２センサ１００５の出力の移動ベクトルＢとしたとき、両ベクトルのなす角（ANGLE） θ＝　ＡＮＧＬＥ（Ａ－Ｂ）の絶対値と、任意の値α（αは正の値）との比較を持って略一致を判断する。
　すなわち、θ≦αであれば移動方向が略一致すると判定し、θ＞αであれば移動方向が一致しないと判定する。
　７．変形例
　（１）第１センサ１００４と第２センサ１００５は、加速度センサ、地磁気センサ、ＧＰＳ、使用者を撮影するカメラ、使用者から見た外界映像を撮影するカメラ、使用者の脈拍を測定するセンサ、使用者の血流を測定するセンサ、時計などでもよい。また、第１センサ１００４および第２センサ１００５はそれぞれにフィルタや増幅器やレベルシフタなどを含んでいてもよい。または、コンパレータを含んで、閾値に対して検出結果が高いか低いかの二値での結果をベクトル値とともに送信する構成でもよい。また、検出結果である動きの持続時間が所定の時間を超えた場合、動きが所定の速度を超えた場合、動きが所定の変動量を超えた場合のいずれかの一つ以上の条件を満たすときに、動きが検出されたとする信号を出力する構成でもよい。
　（２）第１センサ１００４または第２センサ１００５の出力を利用した運動判定処理部１００６の判定処理に替わりに、映像判定処理部１００９が画像の特徴を判定しても良い。
　映像判定処理部１００９は、映像情報が装置利用者２０に対して、表示の不快感を発生する可能性があるかを判定する。例えば図９Ａに示すように画面内を物体が連続的に移動するような映像の場合、装置使用者２０は移動する映像に対して眼球を動かして追従すると予測される。また、例えば図９Ｂに示すように画面内に文字列などの縦、横、斜めの方向に連続的に認識することで意味を生じるような内容が映像に含まれる場合、装置使用者２０は眼球を動かして視点を映像に沿って動かすことが予想される。
　このような画像は、映像判定処理部１００９がデジタル画像の映像解析を行い、画像フレーム間の差分データの量を参照する事により、予め検出できる。
　図９Ａ、図９Ｂのようにあらかじめ視点を動かすことが予測されるような映像の場合は、処理Ｃを適用するように、映像判定処理部１００９が制御部１００３に制御信号を出力する。
　また、映像表示装置１０の投影部２００７が透過型である場合、映像判定処理部１００９は、表示する映像が外界と関連のある映像、例えば拡張現実（ＡＲ：Ａｒｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）の映像であるかを判定してもよい。映像判定処理部１００９は、映像のメタデータや付加情報から映像の種類を判定できる。例えば図７Ｂの仮想映像７００１は、図７Ａの外界と関連した情報を表示しており、このように外界と関連のある映像であると判定された場合は、注視点が仮想映像７００１以外の位置に検出されても（Ｚが偽）、表示映像の視認性の重要度は高いため、図５の処理Ｃの適用を制御部１００３に指示する。
　（３）映像表示部１００１の表示方法として、図１０Ａに示す表示方法を採用しても良い。図１０Ａに示す表示方法では、図４Ｂの２倍速駆動とし、光源の制御を停止し、光源素子２００３の赤色ＬＥＤ３００１、緑色ＬＥＤ３００２、青色ＬＥＤ３００３の発光期間を略同時とする。このようにすることで、三つのＬＥＤからの光が混色され、装置利用者２０は映像を白黒の画像として認識し、原理上カラーブレイクが発生しない。図５において、映像の不快感配慮への必要性が高いとした図５の処理Ｃおよび処理Ｄに適用してもよい。
　さらに、映像情報のうち連続する複数のフレームの画像が略同一の画像である場合、変調器２００５のフレームの更新を停止してもよい。例えば図１０Ｂのように、フレーム１とフレーム２とフレーム３が、略同一の画像である場合、これらのフレームに対応する期間、変調器２００５は同一のフレーム１を表示し続ける。
　略同一の画像であるとは、例えばＨ×Ｖ個の画素情報（Ｈ、Ｖともに正の整数）として映像情報が表現できるとき、連続するフレームの間で、情報が変更された画素の数がＨ×Ｖ個よりも十分小さい場合や、各画素の色情報がＲ、Ｇ、Ｂの原色情報（例えばＲ、Ｇ、Ｂともに０～２５５までの正の整数）として表現できるとき、連続するフレームの間で各画素のＲ、Ｇ、Ｂの値の変化が十分に小さい場合などが挙げられる。
　こうすることで画像のちらつきを低減できる。また変調器２００５が強誘電液晶を使用している場合には、同一のフレームを複数回表示するために、情報の消去と再表示に電力を消費する。変調器２００５のフレーム更新を停止することでさらに電力消費の低減につながる。図５の処理Ｃおよび処理Ｄに適用しても良い。
　（４）映像情報源１００７は外部から映像情報を取得する構成でもよい。例えば、ＤＶＩ、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔなどの映像伝送規格に準拠した受信器であってもよいし、ＳＰＩ、Ｉ２Ｃ、ＲＳ２３２、ＵＳＢなどの一般的な電気信号の伝送方法を用いる受信器であってもよいし、Ｅｔｈｅｒｎｅｔ（登録商標）などの有線ネットワーク受信器であってもよいし、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線ネットワーク受信器であってもよい。
　また、映像情報源１００７は、圧縮された情報を受信して伸張することで映像情報にするデコーダを含んでいてもよいし、暗号化された映像情報を受信して復号する機能を含んでいてもよい。
　（５）電源部１０１２は映像表示装置１０に電力を供給する。電源部１０１２は電力源として外部電源から充電可能な充電式電池、交換可能な一次電池から所望の電力を取り出す電源回路、コンセントなどの外部電源と接続して所望の電力を取り出すためのコンバータ、電力安定化回路のうち一つ以上を含む。また、電源部１０１２は電力源の他に、充電や供給電力などを制御したり電力源を観測したりするための電力制御用の集積回路を含む構成でもよい。
　制御部１００３は、電源部１０１２から電力源の残り電力量の情報を取得し、残り電力量が所定値を上回る場合のみ、映像処理部１００８の映像処理を動作させるように制御する。
　制御部１００３は、電源部１０１２の残り電力量が所定値を上回る場合のみ、映像表示部１００１の表示方法を表示周期が短くなるように変更できる構成としてもよい。
　制御部１００３は、電源部１０１２の残り電力量が所定値を下回る場合、映像表示部１００１の表示方法を表示周期が長くなるように変更する構成としてもよい。
　図１３は実施例２の説明図である。図１と異なる部分のみ説明する。
　第１センサ１３０４、第２センサ１３０５は映像表示装置１３０の筐体とは分離して設けられている。いずれのセンサも実施例１と同様、装置使用者２０の動作を検出する。
　本実施例では、第１センサ１３０４と映像表示装置１３０との間の情報のやり取りは、通信部１０１３を介して行う。通信部１０１３と第１センサ１３０４とは物理的に接続された導線上を電気信号として通信されてもよいし、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などの無線通信を介して行われてもよい。第１センサ１３０４は図示しない通信部を含んで構成されてもよい。無線通信を利用する場合には第１センサ１３０４は、映像表示装置１３０と異なる電源から電力供給されてもよい。
　第２センサ１３０５についても、第１センサ１３０５と同様に、通信部１０１３との情報のやり取りを前記の有線通信で行っても前記の無線通信で行ってもよい。第２センサ１３０５は図示しない通信部を含んで構成されてもよい。また、無線通信を利用する場合には、映像表示装置１３０と異なる電源から電力供給されてもよい。
　運動判定処理部１００６は通信部１０１３を介して、第１センサ１３０４ないし第２センサ１３０５の出力を受信する。
　図１４、図１５は本実施例の変形例である。
　図１４に示す変形例では、第１センサ１４０４、第２センサ１４０５、運動判定処理部１４０６は、映像表示装置１４０の筐体とは分離して設けられている。運動判定処理部１４０６と制御部１００３との間の情報のやり取りは通信部１０１３を介して行われ、前記の有線通信で行っても前記の無線通信で行ってもよい。また、第１センサ１４０４、第２センサ１４０５、運動判定処理部１４０６が、同一の筐体内に含まれる構成でもよい。また、運動判定処理部１４０６は図示しない通信部を含んで構成されてもよい。
　図１５に示す変形例では、第２センサ１３０５は、映像表示装置１５０の筐体とは分離して設けられている。第２センサ１３０５と運動判定処理部１００６との間の情報のやり取りは通信部１０１３を介して行われ、前述の様に有線通信で行っても無線通信で行ってもよい。
　分離して設けられる第１センサ１３０４、第２センサ１３０５は、装置利用者２０に装着される必要はなく、装置使用者２０の頭の動きや、目の動きなどを検出できれば良く、例えばカメラと画像処理を用いたセンサであってもよい。装置利用者２０が固定した位置において映像を見ながら作業を行い、作業台にカメラ型の第１センサ１３０４および第２センサ１３０５を設置する場合が想定される。
　また、装置使用者２０が定位置に直立または着座して映像表示装置１３０、映像表示装置１４０、映像表示装置１５０を使用する場合、装置利用者２０の下に重心位置の変位を測定する圧力分布測定器などの検出センサを設けることで、第１センサ１３０４または第２センサ１３０５としてもよい。
　図１６は実施例３の説明図である。図１と異なる部分のみ説明する。
　本実施例では、記憶部１６１０、頻度判定処理部１６１１は映像表示装置１６０と分離してサーバー１６０１に設けられる。記憶部１６１０、頻度判定処理部１６１１の動作は実施例１の記憶部１０１０、頻度判定処理部１０１１とそれぞれ同様である。
　記憶部１３１０と制御部１００３との間の情報のやり取りは、映像表示装置１６０の通信部１０１３とサーバー１６０１の通信部１６１２とを介して行われ、通信部１０１３と通信部１６１２の間は物理的に接続された導線上を電気信号として通信されてもよいし、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などの無線通信を介して行われてもよい。
　頻度判定処理部１６１１と映像情報源１００７との間の情報のやり取りも同様に通信部１０１３と通信部１６１２を介して行われ、前述の様に有線通信で行っても無線通信で行ってもよい。
　また、図１７は映像表示装置１６０を複数含むシステムでの制御方法について示している。第一の映像表示装置１７１１、第二の映像表示装置１７１２、第三の映像表示装置１７１３、第四の映像表示装置１７１４とし、それぞれがネットワーク１７３０を介してサーバー１６０１と通信可能となっている。
　第一の映像表示装置１７１１は第一の使用者１７２１に使用され、第二の映像表示装置１７１２は第二の使用者１７２２に使用され、第三の映像表示装置１７１３は第三の使用者１７２３に使用され、第四の映像表示装置１７１４は第四の使用者１７２４に使用されている。
　第一の映像表示装置１７１１、第二の映像表示装置１７１２、第三の映像表示装置１７１３、第四の映像表示装置１７１４は、それぞれが映像表示装置１６０と同等の性能を有している。
　サーバー１６０１は記憶部１６１０と頻度判定処理部１６１１を有しており、第一の映像表示装置１７１１、第二の映像表示装置１７１２、第三の映像表示装置１７１３、第四の映像表示装置１７１４の制御部１００３から、ネットワーク１７３０を介して、映像表示部１００１の表示方法を変更した際、または映像処理部１００８の処理方式を変更した際の履歴や時刻などを受信する。
　サーバー１６０１は、それぞれの映像表示装置から送られてきた変更情報から共通する情報を抜き出し、頻度判定処理部１６１１により、記憶部１６１０に記録されたそれぞれの映像表示装置の処理が共通であり、その共通の処理が所定時間内に所定の回数を超えた場合に、映像情報源１００７に対して映像情報の変更を要求する。映像情報の変更は、例えば画像のコントラスト、シャープネス、彩度、色相、画像の明るさなどのパラメータの変更である。
　ネットワーク１７３０に接続される映像表示装置１６０の数は、本実施例に示した数に限ったものではなく、１台以上の映像表示装置１６０が接続されていればよい。
　上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業者に明らかである。
　１０・・・映像表示装置
　１００１・・・映像表示部
　１００２・・・表示制御部
　１００３・・・制御部
　１００４・・・第１センサ
　１００５・・・第２センサ
　１００６・・・運動判定処理部
　１００７・・・映像情報源
　１００８・・・映像処理部
　１００９・・・映像判定処理部
　１０１０・・・記憶部
　１０１１・・・頻度判定処理部
　１０１２・・・電源部
　１０１３・・・通信部
　１０２０・・・コントローラ
　２０・・・装置利用者
　２００１・・・映像信号処理部
　２００２・・・光源素子電源制御部
　２００３・・・光源素子
　２００４・・・光源ドライバ
　２００５・・・変調器
　２００６・・・変調器ドライバ
　２００７・・・投影部
　２００８・・・設定制御部
　３００１・・・赤色ＬＥＤ
　３００２・・・緑色ＬＥＤ
　３００３・・・青色ＬＥＤ
　３００４、３００５、３００６・・・電流制限抵抗
　７００１・・・仮想映像
　１１０１・・・センサＡ
　１１０２・・・センサＢ
　１１０３・・・検出制御部
　１１１１・・・目
　１１１２、１１１３・・・投光部
　１１１４、１１１５・・・受光器
　１１１６・・・比較器
　１１１７、１１１８・・・カメラ
　１１１９・・・電流制御部
　１１２０・・・動き検出処理部
　１１２１・・・休止制御部
　１２０１・・・仮想映像
　１２０２・・・仮想表示映像
　１３０・・・映像表示装置
　１３０４・・・第１センサ
　１３０５・・・第２センサ
　１４０・・・映像表示装置
　１４０４・・・第１センサ
　１４０５・・・第２センサ
　１４０６・・・運動判定処理部
　１５０・・・映像表示装置
　１６０・・・映像表示装置
　１６０１・・・サーバー
　１６１０・・・記憶部
　１６１１・・・頻度判定処理部
　１６１２・・・通信部
　１７１１・・・第一の映像表示装置
　１７１２・・・第二の映像表示装置
　１７１３・・・第三の映像表示装置
　１７１４・・・第四の映像表示装置
　１７２１・・・第一の使用者
　１７２２・・・第二の使用者
　１７２３・・・第三の使用者
　１７２４・・・第四の使用者
　１７３０・・・ネットワーク

Claims (15)

  1. 　利用者の頭部に装着可能な映像表示装置であって、
    　　二つ以上の表示方法を切り替えることができる映像表示部と、
    　　前記映像表示部に表示方法を指定する制御部と、
    　　利用者の頭部の動きを検出する第一の検出部と、
    　　利用者の視点の動きを検出する第二の検出部と、
    　　前記第一の検出部の出力と前記第二の検出部の出力により装置利用者の運動状況を判定する運動判定部と、
    を含み、
    　　前記制御部は前記運動判定部の判定結果に応じて、前記映像表示部に前記表示方法の変更を指示することを特徴とする映像表示装置。
  2. 　請求項１に記載の映像表示装置であって、
    　　前記映像表示部は液晶素子またはミラーアレイ素子を用いたディスプレイであって、
    前記二つ以上の表示方法とは、液晶素子またはミラーアレイ素子の画素情報の更新周期、光源の点灯周期のうち一つ以上が異なる方法である、
    映像表示装置。
  3. 　請求項１に記載の映像表示装置であって、
    　　映像のパラメータであるコントラスト、シャープネス、彩度、色相、画像の明るさの少なくとも１つを変更可能な映像処理手段を有し、
    　　前記二つ以上の表示方法とは、前記映像処理手段にコントラスト、シャープネス、彩度、色相、画像の明るさの少なくとも１つを変更する方法である、
    映像表示装置。
  4. 　請求項２に記載の映像表示装置であって、
    　　映像のパラメータであるコントラスト、シャープネス、彩度、色相、画像の明るさの少なくとも１つを変更可能な映像処理手段を有し、
    　　前記二つ以上の表示方法とは、前記映像処理手段にコントラスト、シャープネス、彩度、色相、画像の明るさの少なくとも１つを変更する方法である、
    映像表示装置。
  5. 　請求項２に記載の映像表示装置であって、
    　　前記運動判定部が、前記第一の検出部の出力と前記第二の検出部の出力から、利用者の頭部の動きの有無、利用者の視線の動きの有無、利用者の視点が映像表示部により表示されている映像上にあるか否か、頭部の動きと視線の動きが一致するか否かを利用者の運動状況として判定する、
    映像表示装置。
  6. 　請求項５に記載の映像表示装置であって、
    　　前記制御部は、利用者の頭部に対する視線の相対的な動きが大きいほど、前記映像表示部の液晶素子またはミラーアレイ素子の画素情報の更新周期と光源の点灯周期の少なくとも一方を大きくし、利用者の視点が映像表示部により表示されている映像上に無い場合に、映像のコントラスト、明るさの少なくとも１つを下げる処理を行う、
    映像表示装置。
  7. 　請求項１記載の映像表示装置であって、更に
    　　前記制御部が映像パラメータの切り替えを指示したことを記憶する記憶部と、
    　　前記記憶部に記憶された切り替えの内容と規定の時間内の切り替え回数を判定する頻度判定部を有し、
    　　前記頻度判定部が、切り替え回数の多かった映像パラメータの変更を映像情報源に伝達することを特徴とする映像表示装置。
  8. 　請求項５に記載の映像表示装置であって、
    　　前記映像表示部はフィールドシーケンシャル方式のディスプレイであって、
    Ｒ，Ｇ，Ｂの全光源の発光周期をほぼ同時として、白黒表示とすることができ、
    　　前記運動判定部が、利用者の頭部の動きと利用者の視線の動きの少なくとも一方があると判定した場合に、前記制御部は前記映像表示部に白黒表示を指示する、
    映像表示装置。
  9. 　請求項５に記載の映像表示装置であって、
    　　前記運動判定部は、第一の検出部の出力ベクトルと第二の検出部の出力ベクトルを映像表示平面に正射影して、それぞれ二次元ベクトルに変換し、２つの変換された二次元ベクトルの角度が規定値を下回った時に頭部の動きと視線の動きの方向が一致すると判定する、
    映像表示装置。
  10. 　請求項１に記載の映像表示装置であって、
    　　前記第一の検出部はジャイロセンサ、加速度センサ、地磁気センサ、ＧＰＳ、カメラのいずれか１つを含む構成である、
    映像表示装置。
  11. 　請求項１に記載の映像表示装置であって、
    　　前記制御部は電源の残り電力量の情報を得て、前記映像表示部の表示方法の変更を制限する映像表示装置。
  12. 　利用者の頭部に装着可能であり、二つ以上の表示方法を切り替えることができる映像表示部により映像を表示する方法であって、
    　　第一の検出部により利用者の頭部の動きを検出し、
    　　第二の検出部により利用者の視点の動きを検出し、
    　　運動判定部により前記第一の検出部の出力と前記第二の検出部の出力により装置利用者の運動状況を判定し、
    　　前記運動判定部の判定結果に応じて、前記映像表示部に表示方法の変更を指示する、
    映像表示方法。
  13. 　視線の動きまたは視点を検出する方法であって、
    　　第一のセンサ素子により視線の動きを検出し、
    　　前記第一のセンサ素子が視線の動きを検出したことに応じて、第一のセンサ素子より詳細に視線の動きを検出可能な第二のセンサ素子を、視線検出可能な動作状態と休止状態の二つの状態の間で切り替える、
    方法。
  14. 　利用者の頭部に装着可能な映像表示装置における、視点のずれの補正方法であって、
    　　映像表示装置に規定点を表示し、
    　　利用者に規定点を注視するように促し、
    　　視点検出センサにより利用者の注視点の位置を決定し、
    　　決定された注視点の位置を基準点とし、
    　　前記視点検出センサにより検出された利用者の視点が、基準点からの距離にしたがって、表示されている映像上にあるか否かが判定される、
    方法。
  15. 　視線検出器であって、
    　　目の異なる位置に対して、光を照射する少なくとも２つの投光器と、
    　　前記照射された光の目から反射光を受信する異なる位置にある２つの受光器と、
    　　前記２つの受光器の出力から眼球の動きを検出する動き検出器と、
    　　前記動き検出器が眼球の動きを検出している間に動作する少なくとも１つの目を撮影するカメラ、
    を含む、視線検出器。
PCT/JP2015/066383 2015-06-05 2015-06-05 映像表示装置および制御方法 Ceased WO2016194232A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2015/066383 WO2016194232A1 (ja) 2015-06-05 2015-06-05 映像表示装置および制御方法
US15/579,295 US20180184042A1 (en) 2015-06-05 2015-06-05 Video display device and control method
CN201580080171.2A CN107836020B (zh) 2015-06-05 2015-06-05 影像显示装置和控制方法
JP2017521479A JP6571767B2 (ja) 2015-06-05 2015-06-05 映像表示装置および制御方法
US16/546,612 US11856323B2 (en) 2015-06-05 2019-08-21 Video display device and control method
US18/389,249 US12284462B2 (en) 2015-06-05 2023-11-14 Video display device and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066383 WO2016194232A1 (ja) 2015-06-05 2015-06-05 映像表示装置および制御方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/579,295 A-371-Of-International US20180184042A1 (en) 2015-06-05 2015-06-05 Video display device and control method
US16/546,612 Division US11856323B2 (en) 2015-06-05 2019-08-21 Video display device and control method

Publications (1)

Publication Number Publication Date
WO2016194232A1 true WO2016194232A1 (ja) 2016-12-08

Family

ID=57440838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/066383 Ceased WO2016194232A1 (ja) 2015-06-05 2015-06-05 映像表示装置および制御方法

Country Status (4)

Country Link
US (3) US20180184042A1 (ja)
JP (1) JP6571767B2 (ja)
CN (1) CN107836020B (ja)
WO (1) WO2016194232A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101051A (ja) * 2016-12-20 2018-06-28 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2019059150A1 (ja) * 2017-09-23 2019-03-28 ブラザー工業株式会社 携帯型画像表示装置及び画像表示制御方法
WO2020157979A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
JP2021131428A (ja) * 2020-02-18 2021-09-09 株式会社ジャパンディスプレイ 表示装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6987346B2 (ja) * 2018-01-18 2021-12-22 マクセル株式会社 ウェアラブル装置およびこれに用いるバッテリーと給電システム
US11176901B1 (en) * 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
CN110706675A (zh) * 2019-09-29 2020-01-17 Oppo广东移动通信有限公司 信息显示方法和装置
US11308920B1 (en) 2021-05-07 2022-04-19 Facebook Technologies, Llc. Display artifact reduction

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0264513A (ja) * 1988-08-31 1990-03-05 Canon Inc 視線検出装置
JPH04138432A (ja) * 1990-09-29 1992-05-12 Canon Inc 視線検出手段を有した光学装置
JPH05215960A (ja) * 1992-02-06 1993-08-27 Minolta Camera Co Ltd 視線検知カメラ
JPH0634873A (ja) * 1992-07-16 1994-02-10 Canon Inc 視線検出装置を有した光学装置
JPH07148114A (ja) * 1993-11-25 1995-06-13 Canon Inc 視線検出装置及び視線検出方法
JP2007101618A (ja) * 2005-09-30 2007-04-19 Konica Minolta Photo Imaging Inc 表示装置
JP2007114579A (ja) * 2005-10-21 2007-05-10 Pioneer Electronic Corp 表示装置、表示方法、表示システム及びサーバ及びプログラム
WO2011111711A1 (ja) * 2010-03-09 2011-09-15 株式会社Hdt カラー表示装置及び方法
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2014050841A1 (ja) * 2012-09-25 2014-04-03 京セラ株式会社 携帯端末および表示制御方法
JP2014225725A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 表示装置及び画像表示装置用光源
JP2015028654A (ja) * 2014-09-24 2015-02-12 ソニー株式会社 頭部装着型表示装置、表示方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5228305B2 (ja) 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法
CN102263874B (zh) * 2010-05-28 2014-03-12 京瓷办公信息系统株式会社 具有省电模式的图像形成装置
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US9501152B2 (en) * 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
JP5994412B2 (ja) * 2012-06-13 2016-09-21 富士ゼロックス株式会社 画像表示装置、画像制御装置、画像形成装置およびプログラム
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
KR101660657B1 (ko) * 2013-02-04 2016-09-27 가부시키가이샤 오루투스 테크놀로지 액정 표시 장치
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US9230368B2 (en) * 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
JP6337433B2 (ja) * 2013-09-13 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20160147063A1 (en) * 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) * 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10643390B2 (en) * 2016-03-30 2020-05-05 Seiko Epson Corporation Head mounted display, method for controlling head mounted display, and computer program

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0264513A (ja) * 1988-08-31 1990-03-05 Canon Inc 視線検出装置
JPH04138432A (ja) * 1990-09-29 1992-05-12 Canon Inc 視線検出手段を有した光学装置
JPH05215960A (ja) * 1992-02-06 1993-08-27 Minolta Camera Co Ltd 視線検知カメラ
JPH0634873A (ja) * 1992-07-16 1994-02-10 Canon Inc 視線検出装置を有した光学装置
JPH07148114A (ja) * 1993-11-25 1995-06-13 Canon Inc 視線検出装置及び視線検出方法
JP2007101618A (ja) * 2005-09-30 2007-04-19 Konica Minolta Photo Imaging Inc 表示装置
JP2007114579A (ja) * 2005-10-21 2007-05-10 Pioneer Electronic Corp 表示装置、表示方法、表示システム及びサーバ及びプログラム
WO2011111711A1 (ja) * 2010-03-09 2011-09-15 株式会社Hdt カラー表示装置及び方法
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2014050841A1 (ja) * 2012-09-25 2014-04-03 京セラ株式会社 携帯端末および表示制御方法
JP2014225725A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 表示装置及び画像表示装置用光源
JP2015028654A (ja) * 2014-09-24 2015-02-12 ソニー株式会社 頭部装着型表示装置、表示方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018101051A (ja) * 2016-12-20 2018-06-28 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2018116519A1 (ja) * 2016-12-20 2018-06-28 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2019059150A1 (ja) * 2017-09-23 2019-03-28 ブラザー工業株式会社 携帯型画像表示装置及び画像表示制御方法
JP2019060913A (ja) * 2017-09-23 2019-04-18 ブラザー工業株式会社 携帯型画像表示装置及び画像表示制御方法
WO2020157979A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
JPWO2020157979A1 (ja) * 2019-02-01 2021-11-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
US11955094B2 (en) 2019-02-01 2024-04-09 Sony Interactive Entertainment Inc. Head-mounted display and image displaying method
JP2021131428A (ja) * 2020-02-18 2021-09-09 株式会社ジャパンディスプレイ 表示装置
JP7377124B2 (ja) 2020-02-18 2023-11-09 株式会社ジャパンディスプレイ 表示装置

Also Published As

Publication number Publication date
US20240080412A1 (en) 2024-03-07
CN107836020A (zh) 2018-03-23
US11856323B2 (en) 2023-12-26
JP6571767B2 (ja) 2019-09-04
JPWO2016194232A1 (ja) 2018-05-24
US20190379860A1 (en) 2019-12-12
US20180184042A1 (en) 2018-06-28
CN107836020B (zh) 2020-09-25
US12284462B2 (en) 2025-04-22

Similar Documents

Publication Publication Date Title
JP6571767B2 (ja) 映像表示装置および制御方法
US9269193B2 (en) Head-mount type display device
US9465226B2 (en) Automatic shutdown of 3D based on glasses orientation
US10725300B2 (en) Display device, control method for display device, and program
KR101615573B1 (ko) 입체 영상 3d 시스템의 적응형 안정한 이미지 타이밍을 위한 방법 및 장치
KR102600905B1 (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
US9485498B2 (en) Display apparatus, projection apparatus, display assist apparatus, and system
US20150130915A1 (en) Apparatus and system for dynamic adjustment of depth for stereoscopic video content
US9898097B2 (en) Information processing apparatus and control method of information processing apparatus
JP2023500026A (ja) 瞳孔サイズに基づく画像調整のためのシステムおよび方法
US9846305B2 (en) Head mounted display, method for controlling head mounted display, and computer program
US20120236131A1 (en) Display device, display system, and method for controlling display device
US20190072768A1 (en) Improvements in and relating to displays
US10679589B2 (en) Image processing system, image processing apparatus, and program for generating anamorphic image data
JP5370174B2 (ja) 映像信号処理装置、映像信号処理方法および映像表示装置
JP6743254B2 (ja) 映像表示装置および制御方法
JP5828400B2 (ja) 映像表示装置および映像表示方法
US11189249B2 (en) Operation method for head-mounted display device and head-mounted display device
JP6430347B2 (ja) 電子機器および表示方法
WO1998038803A1 (en) 3d-viewing
KR102868241B1 (ko) 표시 장치 및 이를 포함하는 가상 현실 표시 시스템
WO2025140182A1 (zh) 电子设备及其显示方法、处理设备、计算机可读存储介质
KR101142176B1 (ko) 입체 영상 제공 장치 및 그 방법
EP0900502A1 (en) 3d-viewing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15894265

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017521479

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15579295

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15894265

Country of ref document: EP

Kind code of ref document: A1