WO2015125363A1 - 電子機器、および画像の提供方法 - Google Patents

電子機器、および画像の提供方法 Download PDF

Info

Publication number
WO2015125363A1
WO2015125363A1 PCT/JP2014/080544 JP2014080544W WO2015125363A1 WO 2015125363 A1 WO2015125363 A1 WO 2015125363A1 JP 2014080544 W JP2014080544 W JP 2014080544W WO 2015125363 A1 WO2015125363 A1 WO 2015125363A1
Authority
WO
WIPO (PCT)
Prior art keywords
illuminance
luminance
information
unit
electronic device
Prior art date
Application number
PCT/JP2014/080544
Other languages
English (en)
French (fr)
Inventor
博隆 石川
岩津　健
翼 塚原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/118,584 priority Critical patent/US10672309B2/en
Priority to JP2016503940A priority patent/JP6492330B2/ja
Publication of WO2015125363A1 publication Critical patent/WO2015125363A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present disclosure relates to an electronic device and an image providing method.
  • HMD head mounted display
  • an image real image
  • a type of HMD has also been developed in which an image (virtual image) is perceived by guiding image display light to an observer's eye using an optical system.
  • Patent Literature 1 describes a technique for realizing an HMD capable of guiding image display light from a lateral direction with respect to an observer's eye and allowing it to enter the eye.
  • Patent Document 2 when the illuminance of light transmitted through the HMD optical system from the front of the observer's eye and guided to the observer's eye is detected and the illuminance changes from a bright area to a dark area, A technique is described in which the luminance of the image display light is gradually reduced and the luminance of the image display light is gradually increased when the illuminance changes from the dark region to the bright region. According to this technique, it is possible to visually recognize an image even when the illuminance of light transmitted through the optical system from the front of the observer's eye and guided to the observer's eye is very bright or dark.
  • wearable optical devices such as HMDs are being reduced in size and weight by using the technology described in Patent Document 1 and other technologies. Therefore, such wearable optical devices are being used in more various situations.
  • the technique described in Patent Document 2 is not necessarily sufficient. In other words, it is not limited to the condition that the illuminance of the light guided to the observer's eyes is bright or dark, and the visibility of the image is improved in response to various situations that occur around the observer and the wearable optical device. Technology is needed for this.
  • the present disclosure proposes a new and improved electronic device and an image providing method capable of improving the visibility of an image provided by a wearable optical device in response to various surrounding situations. .
  • an illuminance information acquisition unit that acquires illuminance information indicating the illuminance of light incident on the wearable optical device from the real space toward the observer, and acquires situation information indicating the surrounding state of the wearable optical device. Based on the situation information acquisition unit, the illuminance information, and the situation information, a luminance determination that determines the luminance of light emitted by the wearable optical device so as to cause the observer to perceive an image superimposed on the real space.
  • an electronic apparatus comprising a control unit and a control unit that controls the wearable optical device to emit light with the determined luminance.
  • the illuminance of light incident on the wearable optical device from the real space toward the observer is detected, the situation information indicating the surrounding situation of the wearable optical device is obtained, and the illuminance and the situation information are acquired.
  • a method of providing an image wherein the wearable optical device emits light at the determined luminance so that the wearable optical device causes the observer to perceive an image superimposed on the real space. Provided.
  • the visibility of the image is improved corresponding to various surrounding situations. Can do.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system according to a first embodiment of the present disclosure.
  • FIG. It is a block diagram which shows the schematic function structure of the system shown in FIG.
  • FIG. 3 is a diagram illustrating an example of a processing sequence in the system according to the first embodiment of the present disclosure.
  • 3 is a block diagram illustrating a functional configuration for brightness control of image display light according to the first embodiment of the present disclosure.
  • FIG. It is a figure which shows the example of the attachment position of the illumination intensity sensor in 1st Embodiment of this indication. It is a figure which shows the example of the function used in 1st Embodiment of this indication.
  • FIG. 6 is a diagram for describing processing in the first embodiment of the present disclosure. It is a flowchart which shows the example of operation
  • FIG. 3 is a block diagram illustrating functional composition for luminance control of image display light in a 3rd embodiment of this indication. It is a figure which shows the example of mounting
  • 12 is a flowchart illustrating an example of processing according to the third embodiment of the present disclosure. It is a block diagram showing functional composition for luminance control of image display light in a 4th embodiment of this indication. It is a figure for demonstrating the noise removal in 4th Embodiment of this indication. It is a flowchart which shows the example of operation
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an electronic device according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a schematic configuration of a system according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing a schematic functional configuration of the system shown in FIG.
  • the system 10 includes a head mounted display (HMD) 100, a smartphone 200, and a server 300.
  • HMD head mounted display
  • smartphone 200 a smartphone
  • server 300 a server
  • the HMD 100 includes a display unit 110 and a control unit 160.
  • the display unit 110 has, for example, a glasses-type housing, and is attached to the head of the user (observer).
  • the control unit 160 is connected to the display unit 110 with a cable.
  • the display unit 110 includes a light source 112 and a light guide plate 114 as shown in FIG.
  • the light source 112 emits image display light according to the control of the control unit 160.
  • the light guide plate 114 guides the image display light incident from the light source 112 and emits the image display light at a position corresponding to the user's eyes.
  • Light that enters from the real space and passes through the light guide plate 114 and image display light guided from the light source 112 by the light guide plate 114 enter the user's eyes. Accordingly, the user wearing the display unit 110 can perceive an image superimposed on the real space.
  • a technique described in Japanese Patent No. 4777285 described above may be used.
  • the display unit 110 may further include an optical system (not shown) for such a configuration.
  • the display unit 110 includes an illuminance sensor 116, a motion sensor 118, and a camera 120 as shown in FIG.
  • the illuminance sensor 116 detects the illuminance of light incident on the display unit 110 from the real space toward the user (observer).
  • the illuminance information output from the illuminance sensor is used to control the luminance of image display light emitted from the light source 112.
  • the illuminance sensor 116 may have directivity so as to detect the illuminance in a region corresponding to the user's field of view in real space.
  • the motion sensor 118 includes, for example, a 3-axis acceleration sensor, a 3-axis gyro sensor, and a 3-axis geomagnetic sensor.
  • the posture and movement (displacement and rotation) of the display unit 110 can be specified.
  • the posture and movement of the display unit 110 may be regarded as the posture and movement of the user's head.
  • the camera 120 captures an image of real space. An image photographed by the camera 120 is treated as an image corresponding to the user's field of view in real space, for example.
  • the control unit 160 includes a processor 162, a memory 164, a communication device 166, an input key 168, a touch sensor 170, a microphone 172, a speaker 174, and a battery 176.
  • the processor 162 implements various functions by operating in accordance with programs stored in the memory 164. Functions such as an illuminance information acquisition unit, a luminance determination unit, and a control unit described later are realized by the processor 162, for example.
  • the processor 162 transmits a control signal to the display unit 110 by wired communication via a cable, and controls emission of image display light by the light source 112.
  • the processor 162 acquires data output from the illuminance sensor 116, the motion sensor 118, and the camera 120 provided in the display unit 110, and executes processing based on these data.
  • the memory 164 stores various data for the operation of the processor 162. For example, the memory 164 stores programs for the processor 162 to realize various functions. Further, the memory 164 temporarily stores data output from the illuminance sensor 116, the motion sensor 118, and the camera 120 of the display unit 110.
  • the communication device 166 performs wireless communication with the smartphone 200. For wireless communication, for example, Bluetooth (registered trademark) or Wi-Fi is used.
  • the input keys 168 include, for example, a return key, a PTT (Push to Talk) key, and the like, and acquire user operations on the HMD 100.
  • the touch sensor 170 acquires a user operation on the HMD 100. More specifically, for example, the touch sensor 170 acquires a user's operation such as a tap or a swipe.
  • the microphone 172 converts the sound into an audio signal and provides it to the processor 162.
  • the speaker 174 outputs sound according to the control of the processor 162.
  • the battery 176 supplies power to the entire control unit 160 and the display unit 110.
  • the processor 162, the microphone 172, the speaker 174, the battery 176, and the like are mounted on the control unit 160, and the display unit 110 and the control unit 160 are separated and connected by a cable, thereby reducing the size of the display unit 110. And we are trying to reduce weight. Since the control unit 160 is also carried by the user, it is desirable to make it as small and light as possible.
  • the functions realized by the processor 162 are set to the minimum functions for controlling the display unit 110, and the other functions are realized by the smartphone 200, thereby reducing the power consumption of the processor 162 and the battery 176 and The entire control unit 160 may be downsized.
  • the smartphone 200 includes a processor 202, a memory 204, communication devices 206 and 208, a sensor 210, a display 212, a touch panel 214, a GPS (Global Positioning System) receiver 216, a microphone 218, a speaker 220, A battery 222.
  • the processor 202 implements various functions by operating in accordance with a program stored in the memory 204.
  • the control unit 160 can be downsized by realizing various functions in cooperation with the processor 162 included in the control unit 160 of the HMD 100.
  • the memory 204 stores various data for the operation of the smartphone 200.
  • the memory 204 stores programs for the processor 202 to realize various functions.
  • the memory 204 temporarily or continuously stores data acquired by the sensor 210 and the GPS receiver 216 and data transmitted to and received from the HMD 100.
  • the communication device 206 performs wireless communication with the communication device 166 included in the control unit 160 of the HMD 100 using Bluetooth (registered trademark) or Wi-Fi.
  • the communication device 208 performs network communication with the server 300. Network communication may be performed via a mobile phone network, for example.
  • the display 212 displays various images according to the control of the processor 202.
  • the touch panel 214 is disposed on the display 212 and acquires a user's touch operation on the display 212.
  • the GPS receiver 216 receives a GPS signal for measuring the latitude, longitude, and altitude of the smartphone 200.
  • the microphone 218 converts the sound into an audio signal and provides it to the processor 202.
  • the speaker 220 outputs sound according to the control of the processor 202.
  • the battery 222 supplies power to the entire smartphone 200.
  • the server 300 includes a processor 302, a memory 304, and a communication device 306.
  • the server 300 is realized by, for example, a plurality of server devices cooperating on a network, but here, it is described as a virtual single device for the sake of simplicity.
  • the processor 302 implements various functions by operating in accordance with programs stored in the memory 304.
  • the processor 302 of the server 300 executes various types of information processing in response to requests received from the smartphone 200 and transmits the results to the smartphone 200.
  • the memory 304 stores various data for the operation of the server 300.
  • the memory 304 stores programs for the processor 302 to realize various functions.
  • the memory 304 may further store data uploaded from the smartphone 200 temporarily or continuously.
  • the communication device 306 executes network communication with the smartphone 200 via, for example, a mobile phone network.
  • the HMD 100 is an example of an electronic device that includes a wearable optical device (display unit 110).
  • the HMD 100 perceives an image by guiding the image display light to the viewer's eyes using the light guide plate 114. Therefore, although the term “display” is used, the HMD 100 does not necessarily form an image on the display surface.
  • an HMD of a type that forms an image on the display surface instead of the HMD 100 may be used.
  • the image display light may be projected onto a display surface (in the case of a projector), may be emitted by a light emitting element disposed on the display surface (in the case of an organic EL display or the like), or displayed.
  • the light emitted from the light source disposed on the back surface or the side surface of the surface may be modulated on the display surface (in the case of a liquid crystal display).
  • the image display light is emitted from the display unit 110 at a predetermined luminance determined by the processor 162 included in the control unit 160, for example.
  • the term “injection” in this specification means that the light source emits light toward the light guide plate, the display surface, or the like, as in the above example. That is, the term “injection” does not necessarily mean that the light emitted by the light source is directed outside the wearable optical device.
  • the HMD 100 does not necessarily have to be separated into the display unit 110 and the control unit 160.
  • the entire configuration of the HMD 100 described above is integrated in a glasses-type housing such as the display unit 110. May be.
  • at least a part of the function for controlling the HMD 100 may be realized by the smartphone 200.
  • the display unit 110 may also include a processor, and information processing in the HMD 100 may be realized by cooperation between the processor 162 of the control unit 160 and the processor of the display unit 110.
  • the system 10 may not include the smartphone 200, and communication may be directly performed between the HMD 100 and the server 300.
  • the smartphone 200 may be replaced by another device capable of executing communication with both the HMD 100 and the server 300, such as a tablet terminal, a personal computer, or a portable game machine.
  • FIG. 3 is a diagram illustrating an example of a processing sequence in the system according to the first embodiment of the present disclosure.
  • a user operation is input through, for example, the touch sensor 170 (S101).
  • the processor 162 transmits information indicating the content of the user operation to the smartphone 200 via the communication device 166 (S103).
  • the processor 202 determines the content of the next image to be displayed based on the information received from the HMD 100 via the communication device 206 (S105).
  • the processor 202 may communicate with the server 300 via the communication device 208 to acquire information necessary for an image to be displayed next.
  • the processor 202 transmits information necessary for an image to be displayed next, such as an icon and text, to the HMD 100 via the communication device 206 (S107).
  • the processor 162 generates an image (frame image) to be displayed next based on information received from the smartphone 200 via the communication device 166 (S109). Further, the processor 162 controls the light source 112 of the display unit 110 based on the generated frame image data, and updates the image frame provided by the image display light emitted from the light source 112 (S111).
  • FIG. 4 is a block diagram illustrating a functional configuration for luminance control of image display light according to the first embodiment of the present disclosure.
  • the luminance control of the image display light is realized by a functional configuration including an illuminance information acquisition unit 510, a luminance determination unit 520, a control unit 530, and an illuminance change rate calculation unit 540. Is done.
  • these functional configurations are realized by, for example, the processor 162 included in the control unit 160 of the HMD 100 operating according to the program stored in the memory 164.
  • the processor 202 of the smartphone 200 that communicates with the HMD 100 via wireless communication such as Bluetooth (registered trademark) or Wi-Fi operates according to a program stored in the memory 204. It may be realized by.
  • part or all of the functional configuration described above may be realized by the processor 302 of the server 300 operating according to a program stored in the memory 304. That is, the functional configuration described above may be realized in any electronic device (HMD 100, smartphone 200, or server 300) included in the system 10, and a plurality of electronic devices included in the system 10 cooperate. It may be realized by.
  • the luminance determination unit 520 determines luminance based on the illuminance indicated by the illuminance information acquired by the illuminance information acquisition unit 510, and the control unit 530 determines an image with the determined luminance.
  • the light source 112 of the display unit 110 is controlled to emit display light.
  • the illuminance information acquisition unit 510 acquires illuminance information indicating the illuminance of light incident on the display unit 110 (more specifically, a position corresponding to the user's eye of the light guide plate 114) from the real space toward the observer.
  • the display unit 110 is an example of a wearable optical device.
  • the illuminance information is acquired by the illuminance sensor 116 included in the display unit 110.
  • the illuminance sensor 116 may have directivity so as to detect the illuminance in a region corresponding to the user's field of view in real space.
  • the illuminance sensor 116 is attached to the front side of the display unit 110.
  • the front direction of the display unit 110 matches the direction in which the user perceives the real space through the light guide plate 114.
  • the illuminance sensor 116 may have directivity (corresponding to the arrow shown in FIG. 5) facing the front of the display unit 110, and may detect the illuminance in an area corresponding to the user's field of view in real space.
  • the luminance determination unit 520 displays the display unit 110 (in order to make the user (observer) perceive an image superimposed on the real space based on the illuminance information acquired by the illuminance information acquisition unit 510. More specifically, the brightness of the light emitted by the light source 112), that is, the brightness of the image display light is determined. For example, the luminance determining unit 520 converts the illuminance indicated by the illuminance information into the luminance of the image display light using a step function.
  • the step is performed along a predetermined inclination so that the luminance is high when the illuminance is high (bright) and the luminance is low when the illuminance is low (dark). Is formed.
  • the image display light can be emitted with high luminance, and the visibility of the image can be maintained.
  • the image display light is emitted at a low luminance, and it is possible to prevent the image from being too bright and making it difficult to see the background real space.
  • FIG. 6 an example of a step function used by the luminance determination unit 520 to convert the illuminance into the luminance of the image display light is shown in FIG.
  • the illuminance is converted into luminance using the step functions F1 and F2.
  • the luminance determination unit 520 uses the step function F1 (first step function) when the illuminance indicated by the illuminance information is increasing.
  • the luminance determination unit 520 uses the step function F2 (second step function) when the illuminance indicated by the illuminance information is reduced.
  • the step function F2 is obtained by offsetting the step function F1 in the negative direction of illuminance.
  • the illuminance (input value) and the luminance (output value) are both normalized and expressed with a maximum value of 1.0.
  • the luminance of the image display light corresponds to the illuminance in the real space
  • the visibility of the image is not necessarily improved if the luminance is changed one by one with respect to a fine change in illuminance. Therefore, when the illuminance is converted to luminance using the step functions F1 and F2 as in the above example, the luminance is kept constant with respect to the fine illuminance change, and a large illuminance change occurs. Can change the brightness corresponding to the illuminance.
  • so-called hysteresis control is realized by using the step function F1 when the illuminance increases and the step function F2 when the illuminance decreases.
  • the luminance determination unit 520 switches the function to be used from the step function F1 to the step function F2 when the illuminance starts to decrease. Since the step function F2 is obtained by offsetting the step function F1 in the negative direction of illuminance, the boundary value of illuminance with respect to the output value of the same luminance is lower than that of the step function F1. Therefore, even when the illuminance starts to decrease, the luminance does not decrease immediately, and the luminance decreases only when the luminance becomes lower than the boundary value of the step function F2 for the luminance. Such control can prevent output changes such as chattering that occur when the illuminance rises and falls near the boundary value of the step function.
  • the luminance determining unit 520 may smooth the luminance obtained using the step function as shown in FIG. 6 using, for example, a low-pass filter.
  • a low-pass filter An example of smoothing using a low-pass filter is shown in FIG.
  • the luminance B1 obtained using the step function is smoothed by passing through a low-pass filter, and is output as luminance B2.
  • the luminance determination unit 520 determines the luminance of the image display light by the above-described processing, so that it is difficult for fine luminance fluctuations and rapid changes to occur, and the visibility of the image provided by the HMD 100 is reduced. Will improve.
  • the above processing delays the change in the luminance of the image display light as compared to the change in the illuminance of the light incident from the real space as described below, there is a possibility that a problem may occur depending on the surrounding conditions of the HMD 100. There is.
  • the illuminance when the illuminance is converted into luminance using a step function as shown in FIG. 6, even if the illuminance indicated by the illuminance information is reduced, the luminance does not decrease until the illuminance reaches the boundary value of the step function F2. At this time, the change in luminance causes a delay compared to the change in illuminance.
  • the luminance B1 of the prior smoothing rises from instantaneously b 0 at time t 0 to b 1
  • brightness B2 is From time t 0, it gradually rises from b 0 to b 1 .
  • the change in the brightness B2 is delayed with respect to the change in the brightness B1, and is also delayed with respect to the change in illuminance corresponding to the brightness B1.
  • the example of FIG. 7 is a case where the luminance B1 increases, but the same applies to the case where the luminance B1 decreases.
  • the periphery of the HMD 100 is darkened suddenly (when the illuminance is drastically reduced). If the brightness of the image display light emitted from the display unit 110 is too high compared to the illuminance of the field of view in the real space, it is difficult to see the real space of the background. Therefore, it is necessary to quickly reduce the brightness for safety. .
  • the luminance determination unit 520 since the rapid change in luminance is suppressed, the change in luminance is delayed with respect to the change in illuminance. The state in which the brightness of the image display light is still high continues for a short time, but temporarily makes it difficult to see the real space of the background.
  • the luminance determination unit 520 prevents the above situation from occurring by executing control based on the situation information indicating the surrounding situation of the HMD 100 in addition to the basic luminance control described above.
  • the luminance control based on the situation information which is executed together with the basic luminance control, will be further described.
  • the illuminance change rate calculation unit 540 calculates the change rate of illuminance based on the illuminance information acquired by the illuminance information acquisition unit 510.
  • the information indicating the change rate of illuminance is an example of status information indicating the peripheral status of the display unit 110 (wearable optical device). Therefore, it can be said that the illuminance change rate calculation unit 540 is a situation information acquisition unit that acquires situation information. More specifically, for example, the illuminance change rate calculation unit 540 calculates the change rate by differentiating the illuminance indicated by the illuminance information after smoothing it using a low-pass filter.
  • the luminance determining unit 520 uniformly sets the output luminance to the lowest value (for example, 0) regardless of the luminance obtained by the process using the above step function when the change rate indicates a rapid decrease in illuminance. To do.
  • the control unit 530 turns off the light source 112 of the display unit 110, for example.
  • FIG. 8 is a diagram for explaining the above process in more detail along with examples of illuminance and luminance waveforms.
  • the process of the luminance determination unit 520 is illustrated as the step function 521, the low-pass filter 523, and the switch 525, and the process of the illuminance change rate calculation unit 540 is illustrated as the low-pass filter 541 and the change rate calculation unit 543. .
  • the illuminance information acquisition unit 510 acquires illuminance information indicating a change in illuminance as in the waveform (a).
  • the luminance of the stepped waveform (b) is obtained by the conversion by the step function 521, and is further smoothed as the waveform (c) by the low-pass filter 523.
  • the in the smoothed luminance waveform (c) the luminance decreases over time from time t 1 when the luminance starts decreasing in waveform (a) to time t 2 .
  • the change rate calculation unit 543 calculates the change rate of illuminance by differentiation for the waveform (d) obtained by removing high-frequency noise from the waveform (a) by the low-pass filter 541.
  • the change rate of the illuminance obtained as a result that is, the slope of the waveform (d) after time t 1 is negative (the illuminance is reduced), and the absolute value of the slope exceeds the threshold (the illuminance changes rapidly).
  • the luminance determination unit 520 is not controlled by the switch 525 according to the waveform (c) obtained by the step function 521 and the low-pass filter 523, but by controlling the luminance uniformly to 0 (minimum value). Select.
  • control unit 530 turns off the light source 112 of the display unit 110 in order to set the luminance of the image display light to zero.
  • the luminance of the image display light as shown in waveform (e), becomes zero at an earlier time than the time t 2.
  • the brightness determining unit 520 the time t 3 when the elapsed time from the switch 525 is operated in a predetermined, as described above, luminance control in accordance with the waveform (c) obtained by the step function 521 and the low-pass filter 523 May be restored.
  • the luminance control for example, when the illuminance rises again, the luminance control corresponding to the illuminance can be resumed smoothly.
  • FIG. 9 is a flowchart showing an example of the operation of the switch 525 shown in FIG.
  • the switch 525 is turned on, that is, the luminance obtained by the step function 521 and the low-pass filter 523 is set to be transmitted to the control unit 530 (S201).
  • the switch 525 is off, that is, the luminance is uniformly 0 (minimum value). Is transmitted to the control unit 530 (S205). Further, when a predetermined time has elapsed from S203 (S207), the process returns to S201.
  • the luminance determination process based on the illuminance information includes a plurality of candidate processes (a process that converts illuminance into luminance using the step function 521 and the low-pass filter 523, and uniform luminance regardless of illuminance. Is set to 0 (minimum value)) based on the situation information (the change rate of illuminance indicated by the illuminance information) indicating the surrounding situation of the display unit 110.
  • the first process (the process of converting the illuminance into luminance using the step function 521 and the low-pass filter 523) has a luminance with respect to the change in illuminance that occurs in order to suppress a rapid change in luminance.
  • the delay of change is included.
  • the second process a process in which the luminance is uniformly set to 0 (minimum value) regardless of the illuminance
  • a sudden change in luminance is not suppressed (rather, it is suddenly reduced to 0 (minimum value)). Therefore, the delay as in the first process is not included. Strictly speaking, the delay is not zero in the second process, but it does not affect the user's perception.
  • filters having different characteristics may be used for the low-pass filter 523 and the low-pass filter 541 because of the difference in purpose between the first process and the second process as described above.
  • the switch 525 included in the luminance determination unit 520 does not include a delay in order to secure the field of view in the real space for the safety of the user. Select the second process. Otherwise, switch 525 selects the first process.
  • the illuminance into luminance using a step function or a low-pass filter by converting the illuminance into luminance using a step function or a low-pass filter, the fluctuation of luminance or a sudden change is suppressed, and the visibility of the image provided by the image display light is reduced. Can be improved. Furthermore, in the present embodiment, when the surroundings of the HMD 100 suddenly become dark by using information indicating the change rate of the illuminance indicated by the illuminance information as the situation information indicating the surroundings of the HMD 100, the brightness fluctuations. In addition, the processing for suppressing the rapid change can be cut, and the brightness of the image display light can be quickly lowered following the illuminance. Therefore, in the present embodiment, it is possible to improve the visibility of the image provided by the HMD 100 while ensuring the safety of the user when the surrounding area suddenly becomes dark.
  • FIG. 10 is a block diagram illustrating a functional configuration for brightness control of image display light according to the second embodiment of the present disclosure.
  • the luminance control of the image display light is performed by the illuminance information acquisition unit 510, the luminance determination unit 620, the control unit 530, the illuminance change rate calculation unit 540, and the motion data acquisition unit 640.
  • a functional configuration including the motion data analysis unit 650 Similar to the first embodiment, these functional configurations are, for example, one of the processor 162 included in the control unit 160 of the HMD 100, the processor 202 of the smartphone 200, the processor 302 of the server 300, or their cooperation. Realized.
  • the overlapping description is abbreviate
  • the illuminance change rate calculation unit 540 is not necessarily provided as long as the user's safety can be ensured when the surroundings of the HMD 100 are suddenly darkened by other means.
  • the luminance determination unit 620 is similar to the luminance determination unit 520 in the first embodiment described above when the illuminance change rate calculation unit 540 detects a sudden decrease in illuminance. However, a duplicate description is omitted here.
  • the motion data acquisition unit 640 acquires the output value (hereinafter also referred to as motion data) of the motion sensor 118 included in the display unit 110.
  • the motion data can be regarded as indicating the posture and movement of the user (observer) head. .
  • the motion data analysis unit 650 analyzes the motion data acquired by the motion data acquisition unit 640 and detects the motion of the user wearing the display unit 110.
  • a process for detecting a user's motion such as walking, running, standing, and sitting based on acceleration, angular velocity, direction, and the like included in the motion data is disclosed in, for example, Japanese Patent Application Laid-Open No. 2010-198595. Since it is a technique, detailed description is omitted here.
  • the motion data analysis unit 650 may detect a user motion different from general motions such as walking, running, standing, and sitting while using the above-described technology.
  • the motion data analysis unit 650 detects motion that changes the range of the real space included in the user's field of view, such as looking back, walking (running), turning a corner, looking down, looking up. May be.
  • Such motion can be identified by detecting the rotation of the user's neck and body based on the output value of the gyro sensor, for example.
  • the information indicating the user's motion is an example of status information indicating the peripheral status of the display unit 110 (wearable optical device) (the status of the user wearing the display unit 110). Therefore, the motion data analysis unit 650 can be said to be a situation information acquisition unit that acquires situation information.
  • the luminance determination unit 620 determines the luminance of the image display light based on the illuminance information acquired by the illuminance information acquisition unit 510 and information indicating the user's motion provided by the motion data analysis unit 650. For example, the luminance determination unit 620 converts the illuminance indicated by the illuminance information into the luminance of the image display light using a step function. Similar to the first embodiment, in the step function, a step is performed along a predetermined slope so that the luminance is high when the illuminance is high (bright), and the luminance is low when the illuminance is low (dark). Is formed.
  • the luminance determination unit 620 selects a function to be used from among a plurality of candidate functions based on information indicating the user's motion.
  • a function selected in this embodiment is shown in FIG.
  • the function used for determining the luminance is selected from the step functions F1, F2 and the step functions F3, F4.
  • the step functions F1 and F2 are the same as those shown in FIG. 6, and the step function F2 is obtained by offsetting the step function F1 in the negative direction of illuminance.
  • the step functions F3 and F4 are the same as the step functions F1 and F2 in that they are a set of step functions offset from each other, but the slope at which the step is formed is gentler than the step functions F1 and F2. . That is, the step functions F3 and F4 convert illuminance into luminance at a lower rate than the step functions F1 and F2. For example, when the illuminance increases to the maximum value (1.0), the luminance increases to the maximum value (1.0) in the step function F1, but the luminance increases only to about 70% of the maximum value in the step function F3. . Therefore, when the illuminance is converted into luminance using the step functions F3 and F4, the output luminance value is darker than that of the step functions F1 and F2. In the graph of FIG. 11 as well, the illuminance (input value) and the luminance (output value) are both normalized with the maximum value being 1.0.
  • the luminance determination unit 620 selects one of the step functions F1, F2 and the step functions F3, F4 based on information indicating the user's motion. For example, the luminance determination unit 620 selects the step functions F3 and F4 when the user is stationary, and selects the step functions F1 and F2 when the user is walking or running.
  • the real space of the background does not change, so the image is easy to visually recognize. Therefore, by emitting the image display light with lower brightness using the step functions F3 and F4, it is possible to provide an image that can be visually recognized and does not get in the way.
  • the image is difficult to visually recognize because the real space of the background changes. Accordingly, by emitting the image display light with higher brightness using the step functions F1 and F2, it is possible to provide an image that is easy to visually recognize.
  • the brightness determining unit 620 detects motion that changes the range of the real space included in the user's field of view, such as looking back, walking (running), turning a corner, looking down, looking up. If so, the step functions F3 and F4 may be selected, and if not, the step functions F1 and F2 may be selected.
  • the range of the real space included in the field of view changes, it is necessary to look closely at the state of the real space. Therefore, by selecting the step functions F3 and F4 and emitting the image display light with lower luminance, the user can easily see the state of the real space.
  • the luminance determination unit 620 may execute only one of the above two determinations, or may execute both in combination.
  • An example of processing when both are combined is shown in the flowchart of FIG. Referring to FIG. 12, when the luminance determining unit 620 acquires information indicating the user's motion (S301), it first determines whether or not the user is stationary (S303). Here, when the user is stationary (YES), the luminance determination unit 620 selects step functions F3 and F4 (S305).
  • the luminance determining unit 620 determines whether or not a specific motion is detected (S307).
  • the specific motion is a motion that changes the range of the real space included in the user's field of view, such as looking back, walking (running), turning a corner, looking down, looking up.
  • the luminance determination unit 620 selects step functions F3 and F4 (S305).
  • the luminance determination unit 620 selects the step functions F1 and F2 (S309). By selecting the step functions F1 and F2, an output value having a higher luminance than that obtained when the step functions F3 and F4 are selected can be obtained for the same illuminance input value.
  • the luminance determination unit 620 converts the illuminance input value (illuminance indicated by the illuminance information) into a luminance output value (luminance of the image display light) using the function selected in S305 or S309 ( In S311), the obtained luminance value is provided to the control unit 530 (S315). At this time, the luminance determination unit 620 may smooth the luminance value using a low-pass filter or the like as described in the first embodiment (S313).
  • the brightness of the image display light is determined by the above processing. Therefore, for example, even if the illuminance in the real space is constant, when the user stops, the image is provided with a slightly lower luminance, and the luminance increases when the user starts walking. Further, when the user turns around or turns a corner, the brightness temporarily decreases. Due to such a change in brightness, the user can sufficiently view the image, the brightness is too high so that the image does not get in the way, and when the user wants to see the state of the real space well, the image is temporarily displayed. The brightness of is suppressed and the real space becomes easy to visually recognize.
  • the luminance determination process based on the illuminance information is performed by the display unit 110 from among a plurality of candidate processes (a process using the step functions F1 and F2 and a process using the step functions F3 and F4). Is selected based on the situation information (information indicating the user's motion generated based on the output value of the motion sensor attached to the user (observer)).
  • the second process is indicated by the illuminance information at a rate (second rate) lower than the rate of the first process (first rate). Illuminance is converted into luminance of image display light.
  • the second embodiment of the present disclosure described above may be performed independently of the first embodiment or may be performed in combination. More specifically, for example, a function other than the step function may be used instead of the step functions F1 to F4 illustrated in FIG.
  • the luminance determination unit 620 may convert the illuminance into the luminance by a more complicated procedure instead of converting the illuminance into the luminance using a simple function. Even in such a case, for example, if at least two processes having different ratios of the luminance output value to the illuminance input value can be set, the present embodiment can be applied.
  • FIG. 13 shows a functional configuration according to the modification.
  • the motion data analysis unit 650 is replaced with an action recognition unit 660 in the functional configuration of the second embodiment shown in FIG. 10.
  • the process for detecting the user's motion based on the motion data is a technique well known as action recognition.
  • a behavior recognition technique for example, as described in Japanese Patent Application Laid-Open No. 2011-81431 and Japanese Patent Application Laid-Open No. 2012-8771, etc., a behavior pattern associated with a relatively long-time behavior pattern, a location attribute, or the like is used.
  • a technique for realizing higher-level recognition is also known.
  • the behavior recognition unit 660 recognizes the user's behavior using these various behavior recognition technologies. While the analysis by the motion data analysis unit 650 described above is specialized for the recognition of the user's motion, the behavior recognition unit 660 can recognize various behaviors of the user as well as the motion as necessary. Is possible.
  • the information indicating the user's action is an example of status information indicating the peripheral status of the display unit 110 (wearable optical device) (the status of the user wearing the display unit 110). Therefore, it can be said that the action recognition unit 660 is a situation information acquisition unit that acquires situation information.
  • the behavior recognition unit 660 may perform behavior recognition based on output values of other various sensors without being limited to the output values of the motion sensor.
  • the behavior recognition unit 660 uses the illuminance sensor 116 and the camera 120 included in the display unit 110 of the HMD 100, the microphone 172 included in the control unit 160, the sensor 210, the GPS receiver 216, and the microphone 218 included in the smartphone 200 as sensors.
  • the action recognition based on these output values may be executed.
  • These sensors are attached to the user (observer) of the HMD 100, for example.
  • the sensor may be integrated with the display unit 110 (wearable optical device) of the HMD 100, or incorporated in other electronic devices such as the control unit 160, the smartphone 200, and other electronic devices worn or carried by other users. It may be.
  • the processing of the action recognition unit 660 may have a high processing load or require access to accumulated data. Therefore, the process of the action recognition unit 660 may be realized in an electronic device different from other functional configurations, that is, the illuminance information acquisition unit 510, the luminance determination unit 620, the control unit 530, and the like.
  • the illuminance information acquisition unit 510, the luminance determination unit 620, and the control unit 530 are realized by the processor 162 included in the control unit 160 of the HMD 100
  • the behavior recognition unit 660 is the processor 202 of the smartphone 200 or the processor of the server 300. 302 may be realized.
  • the brightness of the image display light is controlled according to various actions of the user, not limited to motion such as still or moving, so that the images provided by the HMD 100 can be used in more various situations. Visibility can be improved.
  • FIG. 14 is a block diagram illustrating a functional configuration for brightness control of image display light according to the third embodiment of the present disclosure.
  • the luminance control of the image display light is performed by illuminance information acquisition unit 510, luminance determination unit 720, control unit 530, illuminance change rate calculation unit 540, and attachment attachment detection unit 740.
  • these functional configurations are, for example, one of the processor 162 included in the control unit 160 of the HMD 100, the processor 202 of the smartphone 200, the processor 302 of the server 300, or their cooperation. Realized.
  • the overlapping description is abbreviate
  • the illuminance change rate calculation unit 540 is not necessarily provided as long as the user's safety can be ensured when the surroundings of the HMD 100 are suddenly darkened by other means.
  • the luminance determination unit 720 is similar to the luminance determination unit 520 in the first embodiment described above when the illuminance change rate calculation unit 540 detects a sudden decrease in illuminance. However, a duplicate description is omitted here.
  • the attachment attachment detection unit 740 acquires optical attachment to the display unit 110, for example, attachment attachment information indicating the wearing state of sunglasses.
  • the attachment mounting information is generated, for example, by detecting the connection between the display unit 110 and the attachment using a switch.
  • the information indicating the mounting state of the optical attachment detected by the attachment mounting detection unit 740 is an example of status information indicating the peripheral status of the display unit 110 (wearable optical device). Therefore, it can be said that the attachment attachment detection unit 740 is a situation information acquisition unit that acquires situation information.
  • FIG. 15 shows a specific example of such a configuration.
  • the display unit 110 is provided with a connecting portion 124 for attaching the sunglasses 122.
  • the connecting portion 124 may be a concave portion into which a convex portion provided on the sunglasses 122 is fitted, or may be a region for fixing the sunglasses 122 with a clip.
  • a connection detection switch 126 is provided in the connection part 124.
  • the connection detection switch 126 is a switch that is turned on when the sunglasses 122 is connected to the connection portion 124.
  • the attachment attachment detection unit 740 realized by the processor 162 of the control unit 160 determines that the sunglasses 122 is attached to the display unit 110 when receiving a signal output when the connection detection switch 126 is turned on. To do.
  • the sunglasses 122 covers a region of the light guide plate 114 corresponding to the user's eyes, but does not cover the illuminance sensor 116. That is, the illuminance information acquired by the illuminance information acquisition unit 510 in the present embodiment is generated based on the output value of the illuminance sensor 116 (optical sensor) that is not optically affected by the sunglasses 122 (optical attachment). ing. Therefore, even if the illuminance of light incident from the real space is reduced by wearing the sunglasses 122, such illuminance change is not reflected in the illuminance information.
  • the brightness determination unit 720 determines the brightness of the image display light in the same manner as when the sunglasses 122 is not worn, the brightness of the image display light is too high and is visible through the sunglasses 122. The real space in the background may be difficult to see.
  • the luminance determination unit 720 determines the luminance of the image display light based on the illuminance information acquired by the illuminance information acquisition unit 510 and the attachment mounting information provided by the attachment mounting detection unit 740.
  • the optical characteristics of the optical attachment are registered in advance.
  • the amount of decrease in illuminance of light incident from real space by wearing sunglasses 122 on display unit 110 is, for example, memory 164 included in control unit 160, memory 204 included in smartphone 200, or server 300. It is registered in advance in the memory 304 provided.
  • the luminance determining unit 720 uses the optical influence of wearing the sunglasses 122, that is, the illuminance decrease of light incident from the real space as the luminance of the image display light. To reflect.
  • the luminance determining unit 720 selects a function used for determining luminance from the step functions F1 and F2 and the step functions F5 and F6.
  • the step functions F1 and F2 are the same as those shown in FIG. 6, and the step function F2 is obtained by offsetting the step function F1 in the negative direction of illuminance.
  • the step functions F5 and F6 are the same as the step functions F1 and F2 in that they are a set of step functions offset from each other, but the slope at which the step is formed is more gradual than the step functions F1 and F2.
  • the output value of the brightness is saturated at a predetermined brightness b2.
  • the luminance determining unit 720 converts the illuminance into luminance using the step functions F5 and F6 when the attachment wearing information indicates that the sunglasses 122 is worn, and otherwise the step function. Illuminance is converted into luminance using F1 and F2.
  • the luminance of the image display light determined by the luminance determination unit 720 reflects a decrease in the illuminance of light incident from the real space due to the wearing of the sunglasses 122, and is more appropriate in a state where the sunglasses 122 is worn.
  • the brightness of the image display light is determined.
  • the third embodiment of the present disclosure described above may be performed independently of the first embodiment and / or the second embodiment, or may be performed in combination. More specifically, for example, a function other than the step function may be used instead of the step functions F1, F2, F5, and F6 illustrated in FIG. Or the brightness
  • FIG. 17 is a block diagram illustrating a functional configuration for brightness control of image display light according to the fourth embodiment of the present disclosure.
  • the illuminance information acquisition unit 510 in addition to the illuminance information acquisition unit 510, the luminance determination unit 520, the control unit 530, and the illuminance change rate calculation unit 540 similar to those of the first embodiment, the illuminance information acquisition unit 510 An illuminance noise reduction unit 840 is provided in the previous stage.
  • Each functional configuration including the illuminance noise reduction unit 840 is, for example, one of the processor 162 included in the control unit 160 of the HMD 100, the processor 202 of the smartphone 200, or the processor 302 of the server 300, as in the first embodiment. Or it is realized by these cooperation.
  • the illuminance change rate calculation unit 540 is not necessarily provided as long as the safety of the user when the surroundings of the HMD 100 are suddenly darkened by other means can be ensured.
  • the illuminance noise reduction unit 840 removes noise generated in the detected illuminance value when, for example, the illuminance sensor 116 is covered with hair.
  • a specific example of such processing is shown in FIG.
  • the steep valley-shaped noise component N is removed from the illuminance L1 before the noise processing is removed, and the illuminance L2 is obtained.
  • FIG. 19 is a flowchart showing an example of the operation of the illuminance noise reduction unit 840 in the present embodiment.
  • the illuminance noise reduction unit 840 is set to be off, that is, the illuminance information acquired from the illuminance sensor 116 is directly input to the illuminance information acquisition unit 510 (S401).
  • the illuminance noise reduction unit 840 is turned on.
  • the illuminance noise reduction unit 840 removes the component corresponding to the change in illuminance at the time frequency exceeding the threshold from the illuminance indicated by the illuminance information (S405).
  • the illuminance noise reduction unit 840 may detect an illuminance change at a time frequency exceeding the threshold in S403 using a high-pass filter. Further, the illuminance noise reduction unit 840 may remove a time frequency component (corresponding to noise) exceeding a threshold by using a low-pass filter.
  • FIG. 20 is a block diagram illustrating a hardware configuration example of an electronic device according to an embodiment of the present disclosure.
  • the illustrated electronic device 900 can realize, for example, a server device that configures the HMD 100, the smartphone 200, and / or the server 300 in the above-described embodiment.
  • the electronic device 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the electronic device 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the electronic device 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the electronic device 900 may have a processing circuit called DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the electronic device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the electronic device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data to the electronic device 900 and instruct processing operations.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, an audio output device such as a speaker and headphones, and a printer device.
  • the output device 917 outputs the result obtained by the processing of the electronic device 900 as video such as text or an image, or outputs it as audio such as voice or sound.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the electronic device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the electronic device 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting the device to the electronic device 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933 uses various members such as an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935 obtains information related to the state of the electronic device 900 itself, such as the posture of the casing of the electronic device 900, and information related to the surrounding environment of the electronic device 900, such as brightness and noise around the electronic device 900.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • Embodiments of the present disclosure include, for example, an electronic device, a system, a method executed by the electronic device or the system as described above, a program for causing the electronic device to function, and a non-temporary tangible recording of the program.
  • Media may be included.
  • An illuminance information acquisition unit that acquires illuminance information indicating the illuminance of light incident on the wearable optical device from the real space toward the observer;
  • a situation information acquisition unit that acquires situation information indicating a surrounding situation of the wearable optical device;
  • a luminance determining unit that determines the luminance of light emitted by the wearable optical device to cause the observer to perceive an image superimposed on the real space based on the illuminance information and the situation information;
  • An electronic device comprising: a control unit that controls the wearable optical device to emit light at the determined luminance.
  • the status information includes information indicating a change rate of illuminance indicated by the illuminance information
  • the said brightness determination part is an electronic device as described in said (1) which minimizes the delay of the said brightness change with respect to the change of the said illumination intensity, when the rapid fall of illumination intensity is shown by the said change rate.
  • the situation information includes information indicating a change rate of illuminance indicated by the illuminance information
  • the plurality of candidate processes include a first process including a delay of the luminance with respect to a change in illuminance indicated by the illuminance information, and a second process not including the delay
  • the brightness determination unit selects the second process when the sudden decrease in illuminance is indicated by the change rate, and selects the first process otherwise, according to (3).
  • Electronic equipment (5) The electronic device according to (4), wherein the first process suppresses a rapid change in the luminance.
  • the status information includes information generated based on an output value of a motion sensor attached to the observer.
  • the plurality of candidate processes are a first process for converting the illuminance indicated by the illuminance information into the luminance at a first ratio, and the illuminance indicated by the illuminance information is lower than the first ratio.
  • a second process of converting to the luminance at a second rate The brightness determination unit selects the second process when the situation information indicates the occurrence of a motion that changes the range of the real space included in the field of view of the observer, and otherwise selects the second process.
  • the status information includes behavior information indicating the behavior of the observer.
  • the status information includes attachment mounting information indicating a mounting state of an optical attachment to the wearable optical device.
  • the attachment mounting information is provided by a switch that detects a connection between the wearable optical device and the attachment.
  • the illuminance information is generated based on an output value of an optical sensor that is not optically affected by the attachment, The luminance determination unit determines the optical influence of the attachment when the attachment is indicated by the attachment attachment information based on the optical characteristics of the attachment registered in advance.
  • the electronic device according to the above (10) or (11), which is reflected in the luminance to be performed.
  • the luminance determination unit converts the illuminance indicated by the illuminance information into the luminance using a step function.
  • the step function is a first step function used when the illuminance indicated by the illuminance information is increasing, and a second step function used when the illuminance indicated by the illuminance information is decreasing.
  • Step function The electronic device according to (13), wherein the second step function is offset in a negative illuminance direction than the first step function.
  • the luminance determination unit smoothes the luminance obtained by using the step function.
  • the electronic device according to any one of (1) to (15), further including an illuminance noise reduction unit that reduces noise included in the illuminance.
  • the illuminance noise reduction unit removes a component corresponding to the change from the illuminance when a change in the illuminance at a time frequency exceeding a threshold is detected. .
  • the illuminance of light incident on the wearable optical device from the real space toward the observer is detected, Obtaining status information indicating the surrounding status of the wearable optical device; Determining brightness based on the illuminance and the situation information; The wearable optical device emits light for causing the observer to perceive an image superimposed on the real space at the determined luminance.

Abstract

本発明は、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることを目的とする。。実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部（５１０）と、上記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部（５４０）と、上記照度情報および上記状況情報に基づいて、上記実空間に重畳される画像を上記観察者に知覚させるために上記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部（５２０）と、上記ウェアラブル光学装置を制御して、上記決定された輝度で光を出射させる制御部（５３０）とを備える電子機器が提供される。

Description

電子機器、および画像の提供方法
　本開示は、電子機器、および画像の提供方法に関する。
　近年、実空間の像に重畳する仮想的な画像を観察者に知覚させることが可能な光学装置が種々開発されている。こうした光学装置は、例えばウェアラブル光学装置であり、特にユーザの頭部に装着されるものはヘッドマウントディスプレイ（ＨＭＤ：Head　Mounted　Display）として知られている。ＨＭＤとして、例えば観察者の瞳の前方に設けられるハーフミラーを表示面として、そこに画像（実像）を結像させるタイプのものが知られている。また、光学系を用いて画像表示光を観察者の眼に導光することによって画像（虚像）を知覚させるタイプのＨＭＤも開発されている。例えば、特許文献１には、観察者の眼に対して横方向から画像表示光を導光して眼に入射させることが可能なＨＭＤを実現するための技術が記載されている。
　また、こうしたＨＭＤを用いて実空間の像と仮想的な画像とを観察するときに、実空間の明るさが変化しても画像の視認性を保つための技術も提案されている。例えば、特許文献２には、観察者の眼の前方からＨＭＤの光学系を透過して観察者の眼に導かれる光の照度を検出し、照度が明領域から暗領域に変化した場合には画像表示光の輝度を徐々に暗くし、照度が暗領域から明領域に変化した場合には画像表示光の輝度を徐々に明るくする技術が記載されている。この技術によれば、観察者の眼の前方から光学系を透過して観察者の眼に導かれる光の照度が非常に明るくても暗くても、画像を良好に視認することができる。
特許４７７６２８５号公報 特開２０１１－１７５０３５号公報
　例えば特許文献１に記載されたような技術や、その他の技術を利用することによって、ＨＭＤのようなウェアラブル光学装置の小型化および軽量化が進んでいる。それゆえ、こうしたウェアラブル光学装置は、より多様な状況において利用されるものになりつつある。このような中、ウェアラブル光学装置によって提供される画像の視認性を向上させるための方法として、例えば特許文献２に記載されたような技術では必ずしも十分とはいえなくなっている。つまり、単に観察者の眼に導かれる光の照度が明るいか暗いかという条件には限らず、観察者およびウェアラブル光学装置の周辺で発生するさまざまな状況に対応して画像の視認性を向上させるための技術が希求されている。
　そこで、本開示では、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることが可能な、新規かつ改良された電子機器、および画像の提供方法を提案する。
　本開示によれば、実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部と、上記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部と、上記照度情報および上記状況情報に基づいて、上記実空間に重畳される画像を上記観察者に知覚させるために上記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部と、上記ウェアラブル光学装置を制御して、上記決定された輝度で光を出射させる制御部とを備える電子機器が提供される。
　また、本開示によれば、実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を検出し、上記ウェアラブル光学装置の周辺状況を示す状況情報を取得し、上記照度および上記状況情報に基づいて輝度を決定し、上記ウェアラブル光学装置が、上記実空間に重畳される画像を上記観察者に知覚させるための光を、上記決定された輝度で射出することを含む画像の提供方法が提供される。
　ウェアラブル光学装置の周辺状況を示す状況情報を、画像を知覚させるためにウェアラブル光学装置によって射出される光の輝度に反映させることによって、多様な周辺状況に対応して画像の視認性を向上させることができる。
　以上説明したように本開示によれば、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係るシステムの概略的な構成を示す図である。 図１に示すシステムの概略的な機能構成を示すブロック図である。 本開示の第１の実施形態に係るシステムにおける処理シーケンスの例を示す図である。 本開示の第１の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第１の実施形態における照度センサの取り付け位置の例を示す図である。 本開示の第１の実施形態において用いられる関数の例を示す図である。 本開示の第１の実施形態における輝度の値の平滑化の例を示す図である。 本開示の第１の実施形態における処理について説明するための図である。 図８に示すスイッチの動作の例を示すフローチャートである。 本開示の第２の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第２の実施形態において用いられる関数の例を示す図である。 本開示の第２の実施形態における処理の例を示すフローチャートである。 本開示の第２の実施形態の変形例における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第３の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第３の実施形態における光学的なアタッチメントの装着の例を示す図である。 本開示の第３の実施形態における処理の例を示すフローチャートである。 本開示の第４の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第４の実施形態におけるノイズ除去について説明するための図である。 本開示の第４の実施形態における照度ノイズ低減部の動作の例を示すフローチャートである。 本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１－１．システム構成
　　１－２．画像表示光の輝度制御
　２．第２の実施形態
　３．第３の実施形態
　４．第４の実施形態
　５．ハードウェア構成
　６．補足
　（１．第１の実施形態）
　（１－１．システム構成）
　図１は、本開示の第１の実施形態に係るシステムの概略的な構成を示す図である。図２は、図１に示すシステムの概略的な機能構成を示すブロック図である。図１および図２を参照すると、システム１０は、ヘッドマウントディスプレイ（ＨＭＤ）１００と、スマートフォン２００と、サーバ３００とを含む。以下、それぞれの機器の構成について説明する。
　（ヘッドマウントディスプレイ）
　ＨＭＤ１００は、ディスプレイユニット１１０と、コントロールユニット１６０とを含む。ディスプレイユニット１１０は、例えば眼鏡型の筐体を有し、ユーザ（観察者）の頭部に装着される。コントロールユニット１６０は、ディスプレイユニット１１０にケーブルで接続される。
　ディスプレイユニット１１０は、図１に示されるように、光源１１２と、導光板１１４とを備える。光源１１２は、コントロールユニット１６０の制御に従って画像表示光を射出する。導光板１１４は、光源１１２から入射した画像表示光を導光し、ユーザの眼に対応する位置で画像表示光を出射する。ユーザの眼には、実空間から入射して導光板１１４を透過する光と、導光板１１４によって光源１１２から導光された画像表示光とが入射する。これによって、ディスプレイユニット１１０を装着したユーザは、実空間に重畳される画像を知覚することができる。なお、光源１１２から導光板１１４を介して画像表示光を出射させるための構成には、例えば上述した特許４７７６２８５号公報に記載されたような技術が用いられてもよい。ディスプレイユニット１１０は、このような構成のための図示しない光学系をさらに備えてもよい。
　さらに、ディスプレイユニット１１０は、図２に示されるように、照度センサ１１６と、モーションセンサ１１８と、カメラ１２０とを備える。照度センサ１１６は、実空間からユーザ（観察者）に向けてディスプレイユニット１１０に入射する光の照度を検出する。後述するように、照度センサから出力される照度情報は、光源１１２が射出する画像表示光の輝度を制御するために利用される。このため、照度センサ１１６は、実空間におけるユーザの視界に対応する領域の照度を検出するように、指向性を有していてもよい。モーションセンサ１１８は、例えば、３軸加速度センサ、３軸ジャイロセンサ、および３軸地磁気センサを含む。これらのセンサによって検出されるディスプレイユニット１１０の加速度、角速度、および方位に基づいて、ディスプレイユニット１１０の姿勢や動き（変位および回転）を特定することができる。ディスプレイユニット１１０がユーザの頭部に装着されている場合、ディスプレイユニット１１０の姿勢や動きは、ユーザの頭部の姿勢や動きとみなされてもよい。カメラ１２０は、実空間の画像を撮影する。カメラ１２０によって撮影される画像は、例えば、実空間におけるユーザの視界に対応する画像として扱われる。
　コントロールユニット１６０は、プロセッサ１６２と、メモリ１６４と、通信装置１６６と、入力キー１６８と、タッチセンサ１７０と、マイクロフォン１７２と、スピーカ１７４と、バッテリー１７６とを備える。プロセッサ１６２は、メモリ１６４に格納されたプログラムに従って動作することによって各種の機能を実現する。後述する照度情報取得部、輝度決定部、および制御部などの機能は、例えばプロセッサ１６２によって実現される。プロセッサ１６２は、ケーブルを介した有線通信によってディスプレイユニット１１０に制御信号を送信し、光源１１２による画像表示光の射出を制御する。また、プロセッサ１６２は、ディスプレイユニット１１０に備えられる照度センサ１１６、モーションセンサ１１８、およびカメラ１２０から出力されたデータを取得し、これらに基づく処理を実行する。
　メモリ１６４は、プロセッサ１６２の動作のためのさまざまなデータを格納する。例えば、メモリ１６４は、プロセッサ１６２が各種機能を実現するためのプログラムを格納する。また、メモリ１６４は、ディスプレイユニット１１０の照度センサ１１６、モーションセンサ１１８、およびカメラ１２０から出力されたデータを一時的に格納する。通信装置１６６は、スマートフォン２００との間で無線通信を実行する。無線通信には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉなどが用いられる。入力キー１６８は、例えば戻るキーやＰＴＴ（Push　to　Talk）キーなどを含み、ＨＭＤ１００に対するユーザ操作を取得する。タッチセンサ１７０も、同様にＨＭＤ１００に対するユーザ操作を取得する。より具体的には、例えば、タッチセンサ１７０は、ユーザによるタップやスワイプなどの操作を取得する。
　マイクロフォン１７２は、音声を音声信号に変換し、プロセッサ１６２に提供する。スピーカ１７４は、プロセッサ１６２の制御に従って音声を出力する。バッテリー１７６は、コントロールユニット１６０およびディスプレイユニット１１０の全体に電源を供給する。なお、ＨＭＤ１００では、プロセッサ１６２やマイクロフォン１７２、スピーカ１７４、バッテリー１７６などをコントロールユニット１６０に搭載し、ディスプレイユニット１１０とコントロールユニット１６０とを分離してケーブルで接続することによって、ディスプレイユニット１１０の小型化および軽量化を図っている。コントロールユニット１６０もまたユーザによって携帯されるため、可能な限り小型化および軽量化することが望ましい。そこで、例えば、プロセッサ１６２が実現する機能をディスプレイユニット１１０の制御のための最低限の機能とし、それ以外の機能についてはスマートフォン２００で実現することによって、プロセッサ１６２の消費電力の低減によるバッテリー１７６およびコントロールユニット１６０全体の小型化を図ってもよい。
　（スマートフォン）
　スマートフォン２００は、プロセッサ２０２と、メモリ２０４と、通信装置２０６，２０８と、センサ２１０と、ディスプレイ２１２と、タッチパネル２１４と、ＧＰＳ（Global　Positioning　System）受信機２１６と、マイクロフォン２１８と、スピーカ２２０と、バッテリー２２２とを備える。プロセッサ２０２は、メモリ２０４に格納されたプログラムに従って動作することによって各種の機能を実現する。上述の通り、プロセッサ２０２がＨＭＤ１００のコントロールユニット１６０が備えるプロセッサ１６２と協働して各種の機能を実現することによって、コントロールユニット１６０を小型化することができる。メモリ２０４は、スマートフォン２００の動作のためのさまざまなデータを格納する。例えば、メモリ２０４は、プロセッサ２０２が各種機能を実現するためのプログラムを格納する。また、メモリ２０４は、センサ２１０やＧＰＳ受信機２１６によって取得されたデータ、およびＨＭＤ１００との間で送受信されるデータを、一時的または継続的に格納する。
　通信装置２０６は、ＨＭＤ１００のコントロールユニット１６０が備える通信装置１６６との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉなどを用いた無線通信を実行する。また、通信装置２０８は、サーバ３００との間でネットワーク通信を実行する。ネットワーク通信は、例えば携帯電話網を経由して実行されてもよい。ディスプレイ２１２は、プロセッサ２０２の制御に従って各種の画像を表示する。タッチパネル２１４は、ディスプレイ２１２上に配置され、ディスプレイ２１２に対するユーザのタッチ操作を取得する。ＧＰＳ受信機２１６は、スマートフォン２００の緯度、経度、および高度を測定するためのＧＰＳ信号を受信する。マイクロフォン２１８は、音声を音声信号に変換し、プロセッサ２０２に提供する。スピーカ２２０は、プロセッサ２０２の制御に従って音声を出力する。バッテリー２２２は、スマートフォン２００の全体に電源を供給する。
　（サーバ）
　サーバ３００は、プロセッサ３０２と、メモリ３０４と、通信装置３０６とを備える。なお、サーバ３００は、例えばネットワーク上で複数のサーバ装置が協働することによって実現されるが、ここでは説明を簡単にするために仮想的な単一の装置として説明する。プロセッサ３０２は、メモリ３０４に格納されたプログラムに従って動作することによって各種の機能を実現する。サーバ３００のプロセッサ３０２は、例えば、スマートフォン２００から受信したリクエストに応じて各種の情報処理を実行し、結果をスマートフォン２００に送信する。メモリ３０４は、サーバ３００の動作のためのさまざまなデータを格納する。例えば、メモリ３０４は、プロセッサ３０２が各種機能を実現するためのプログラムを格納する。メモリ３０４は、さらに、スマートフォン２００からアップロードされたデータを一時的または継続的に格納してもよい。通信装置３０６は、スマートフォン２００との間で、例えば携帯電話網を経由したネットワーク通信を実行する。
　以上、本開示の第１の実施形態におけるシステム構成について説明した。なお、本実施形態において、ＨＭＤ１００は、ウェアラブル光学装置（ディスプレイユニット１１０）を含む電子機器の一例である。上述の通り、ＨＭＤ１００は、導光板１１４を用いて画像表示光を観察者の眼に導光することによって画像を知覚させる。従って、ディスプレイという用語が用いられているが、ＨＭＤ１００は必ずしも表示面に画像を結像させるものではない。もちろん、他の方式のＨＭＤとして知られているように、ＨＭＤ１００に代えて表示面に画像を結像させるタイプのＨＭＤが用いられてもよい。この場合、画像表示光は、例えば表示面に投影されてもよいし（プロジェクタの場合）、表示面に配設された発光素子によって射出されてもよいし（有機ＥＬディスプレイなどの場合）、表示面の背面または側面に配設された光源から射出された光が表示面において変調されたものであってもよい（液晶ディスプレイの場合）。いずれの場合も、画像表示光は、例えばコントロールユニット１６０が備えるプロセッサ１６２によって決定された所定の輝度で、ディスプレイユニット１１０から射出される。なお、本明細書における「射出」という用語は、上記の例のように、光源が導光板や表示面などに向けて光を発することを意味する。つまり、「射出」という用語は、必ずしも、光源が発する光がウェアラブル光学装置の外部に向けられていることを意味するのではない。
　また、上記のシステム構成は一例であり、他にもさまざまなシステム構成が可能である。例えば、ＨＭＤ１００は、必ずしもディスプレイユニット１１０とコントロールユニット１６０とに分離していなくてもよく、例えば上記で説明したＨＭＤ１００の構成の全体が、ディスプレイユニット１１０のような眼鏡型の筐体に集約されていてもよい。また、既に述べた通り、ＨＭＤ１００を制御するための機能の少なくとも一部が、スマートフォン２００で実現されてもよい。あるいは、ディスプレイユニット１１０もプロセッサを備え、ＨＭＤ１００における情報処理がコントロールユニット１６０のプロセッサ１６２とディスプレイユニット１１０のプロセッサとの協働によって実現されてもよい。
　さらなる変形例として、システム１０がスマートフォン２００を含まず、ＨＭＤ１００とサーバ３００との間で直接的に通信が実行されてもよい。また、システム１０において、スマートフォン２００は、ＨＭＤ１００およびサーバ３００の両方との通信を実行することが可能な他の装置、例えばタブレット端末、パーソナルコンピュータ、または携帯型ゲーム機などによって代替されてもよい。
　図３は、本開示の第１の実施形態に係るシステムにおける処理シーケンスの例を示す図である。図３を参照すると、まず、ＨＭＤ１００のコントロールユニット１６０において、例えばタッチセンサ１７０などを介してユーザ操作が入力される（Ｓ１０１）。このとき、プロセッサ１６２は、ユーザ操作の内容を示す情報を、通信装置１６６を介してスマートフォン２００に送信する（Ｓ１０３）。スマートフォン２００では、プロセッサ２０２が、通信装置２０６を介してＨＭＤ１００から受信した情報に基づいて、次に表示する画像の内容を判断する（Ｓ１０５）。図示していないが、このとき、プロセッサ２０２は、通信装置２０８を介してサーバ３００と通信し、次に表示する画像のために必要な情報を取得してもよい。
　続いて、プロセッサ２０２は、通信装置２０６を介して、次に表示する画像のために必要な情報、例えばアイコンやテキストなどをＨＭＤ１００に送信する（Ｓ１０７）。ＨＭＤ１００では、プロセッサ１６２が、通信装置１６６を介してスマートフォン２００から受信した情報に基づいて、次に表示する画像（フレーム画像）を生成する（Ｓ１０９）。さらに、プロセッサ１６２は、生成されたフレーム画像のデータに基づいてディスプレイユニット１１０の光源１１２を制御し、光源１１２から射出される画像表示光によって提供される画像のフレームを更新する（Ｓ１１１）。
　（１－２．画像表示光の輝度制御）
　図４は、本開示の第１の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図４を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部５１０と、輝度決定部５２０と、制御部５３０と、照度変化率算出部５４０とを含む機能構成によって実現される。
　上述のように、システム１０において、これらの機能構成は、例えばＨＭＤ１００のコントロールユニット１６０が備えるプロセッサ１６２がメモリ１６４に格納されたプログラムに従って動作することによって実現される。あるいは、上記の機能構成の一部または全部は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉなどの無線通信を介してＨＭＤ１００と通信するスマートフォン２００のプロセッサ２０２がメモリ２０４に格納されたプログラムに従って動作することによって実現されてもよい。同様に、上記の機能構成の一部または全部は、サーバ３００のプロセッサ３０２がメモリ３０４に格納されたプログラムに従って動作することによって実現されてもよい。つまり、上記の機能構成は、システム１０に含まれるいずれかの電子機器（ＨＭＤ１００、スマートフォン２００、またはサーバ３００）において実現されてもよいし、システム１０に含まれる複数の電子機器が協働することによって実現されてもよい。
　（基本的な輝度制御）
　まず、基本的な輝度制御について説明する。本実施形態では、基本的な輝度制御として、照度情報取得部５１０によって取得された照度情報によって示される照度に基づいて輝度決定部５２０が輝度を決定し、制御部５３０が決定された輝度で画像表示光を射出するようにディスプレイユニット１１０の光源１１２を制御する。
　照度情報取得部５１０は、実空間から観察者に向けてディスプレイユニット１１０（より詳細には、導光板１１４のユーザの眼に対応する位置）に入射する光の照度を示す照度情報を取得する。本実施形態において、ディスプレイユニット１１０は、ウェアラブル光学装置の一例である。照度情報は、ディスプレイユニット１１０が備える照度センサ１１６によって取得される。上述のように、照度センサ１１６は、実空間におけるユーザの視界に対応する領域の照度を検出するように、指向性を有していてもよい。
　ここで、照度センサ１１６の取り付け位置の例を、図５に示す。図５に示す例において、照度センサ１１６は、ディスプレイユニット１１０の正面向きに取り付けられる。ディスプレイユニット１１０の正面向きは、ユーザが導光板１１４を透過して実空間を視認する向きに一致する。さらに、照度センサ１１６は、ディスプレイユニット１１０の正面向きの指向性（図５に示す矢印に対応する）を有し、実空間におけるユーザの視界に対応する領域の照度を検出してもよい。
　再び図４を参照して、輝度決定部５２０は、照度情報取得部５１０が取得した照度情報に基づいて、実空間に重畳される画像をユーザ（観察者）に知覚させるためにディスプレイユニット１１０（より詳しくは光源１１２）によって射出される光、すなわち画像表示光の輝度を決定する。輝度決定部５２０は、例えば、照度情報によって示される照度を、ステップ関数を用いて画像表示光の輝度に変換する。ステップ関数では、後述する例に示すように、照度が高い（明るい）場合には輝度が高くなり、照度が低い（暗い）場合には輝度が低くなるように、所定の傾きに沿ってステップが形成されている。これによって、実空間におけるユーザの視界が明るい場合には画像表示光を高い輝度で射出し、画像の視認性を維持することができる。また、実空間におけるユーザの視界が暗い場合には画像表示光を低い輝度で射出し、画像が明るすぎて背景の実空間が見えづらくなることを防ぐことができる。
　ここで、輝度決定部５２０が照度を画像表示光の輝度に変換するために用いるステップ関数の例を、図６に示す。図６に示す例では、ステップ関数Ｆ１，Ｆ２を用いて照度が輝度に変換される。輝度決定部５２０は、照度情報によって示される照度が上昇している場合にはステップ関数Ｆ１（第１のステップ関数）を用いる。また、輝度決定部５２０は、照度情報によって示される照度が低下している場合にはステップ関数Ｆ２（第２のステップ関数）を用いる。ステップ関数Ｆ２は、ステップ関数Ｆ１を照度の負方向にオフセットしたものである。図６のグラフでは、照度（入力値）および輝度（出力値）が、いずれも最大値を１．０として正規化して表現されている。
　画像表示光の輝度が実空間の照度に対応していたとしても、細かい照度の変化に対して逐一輝度が変化したのでは、画像の視認性は必ずしも向上しない。そこで、上記の例のようにステップ関数Ｆ１，Ｆ２を用いて照度を輝度に変換することによって、細かい照度の変化に対しては輝度を一定に維持しつつ、大きい照度の変化が発生した場合には照度に対応して輝度を変更することができる。さらに、照度の上昇時にはステップ関数Ｆ１を、照度の低下時にはステップ関数Ｆ２を用いることによって、いわゆるヒステリシス制御が実現される。例えば、照度が上昇してステップ関数Ｆ１の境界値を超え、輝度が１ステップ分上昇した直後に低下し始めたとする。この場合、輝度決定部５２０は、照度が低下し始めた時点で、使用する関数をステップ関数Ｆ１からステップ関数Ｆ２に切り替える。ステップ関数Ｆ２はステップ関数Ｆ１を照度の負方向にオフセットしたものであるため、同じ輝度の出力値に対する照度の境界値はステップ関数Ｆ１よりも低い。従って、照度が低下し始めても、すぐに輝度が低下することはなく、当該輝度に対するステップ関数Ｆ２の境界値よりも低くなって初めて輝度が低下することになる。このような制御によって、照度がステップ関数の境界値付近で上下した場合に発生するチャタリングのような出力変化を防ぐことができる。
　さらに、輝度決定部５２０は、図６に示したようなステップ関数を用いて得られた輝度を、例えばローパスフィルタなどを用いて平滑化してもよい。ローパスフィルタを用いた平滑化の例を、図７に示す。図７に示す例では、ステップ関数を用いて得られた輝度Ｂ１が、ローパスフィルタを通すことによって平滑化され、輝度Ｂ２として出力される。これによって、輝度の時間変化が滑らかになり、輝度の急激な変化によってユーザが感じる違和感を軽減できる。従って、ユーザは、照度の変化に伴って輝度が変化した場合でも気を散らすことなく、実空間と画像とを視認し続けることができる。
　本実施形態では、輝度決定部５２０が上記のような処理によって画像表示光の輝度を決定することによって、輝度の細かな揺れや急激な変化が生じにくくなり、ＨＭＤ１００によって提供される画像の視認性が向上する。ただし、上記の処理は、以下で説明するように画像表示光の輝度の変化を実空間から入射する光の照度の変化に比べて遅延させるために、ＨＭＤ１００の周辺状況によっては問題が生じる可能性がある。
　例えば、図６に示すようなステップ関数を用いて照度を輝度に変換する場合、照度情報によって示される照度が低下していても、照度がステップ関数Ｆ２の境界値に達するまで輝度は低下しない。このとき、輝度の変化には、照度の変化に比べて遅延が生じることになる。また、図７に示すようにローパスフィルタを用いて輝度の変化を平滑化する場合、平滑化前の輝度Ｂ１が時刻ｔ０で瞬間的にｂ０からｂ１まで立ち上がるのに対し、輝度Ｂ２は、時刻ｔ０から徐々にｂ０からｂ１まで上昇する。従って、輝度Ｂ２の変化は、輝度Ｂ１の変化に対して遅延し、輝度Ｂ１に対応する照度の変化に対しても遅延することになる。なお、図７の例は輝度Ｂ１が上昇する場合であるが、輝度Ｂ１が低下する場合についても同様である。
　ここで、例えば、ＨＭＤ１００の周辺が急激に暗くなった場合（照度が急激に大きく低下した場合）を考える。ディスプレイユニット１１０から射出される画像表示光の輝度が、実空間の視界の照度に比べて高すぎると背景の実空間が見えづらくなるため、安全のためには早急に輝度を低下させる必要がある。しかしながら、上述したような輝度決定部５２０による基本的な輝度制御では、輝度の急激な変化が抑制される分、輝度の変化が照度の変化に対して遅延するために、周辺が暗いにもかかわらず画像表示光の輝度が依然として高い状態が、短時間ではあるものの継続し、一時的に背景の実空間が見えづらくなってしまう。
　本実施形態では、輝度決定部５２０が、上記の基本的な輝度制御に加えてＨＭＤ１００の周辺状況を示す状況情報に基づいた制御を実行することによって、上記のような事態が生じることを防ぐ。以下では、再び図４を参照して、上記の基本的な輝度制御とともに実行される、状況情報に基づく輝度制御について、さらに説明する。
　（状況情報に基づく輝度制御）
　照度変化率算出部５４０は、照度情報取得部５１０が取得した照度情報に基づいて、照度の変化率を算出する。本実施形態において、照度の変化率を示す情報は、ディスプレイユニット１１０（ウェアラブル光学装置）の周辺状況を示す状況情報の一例である。従って、照度変化率算出部５４０は、状況情報を取得する状況情報取得部ともいえる。より具体的には、例えば、照度変化率算出部５４０は、照度情報によって示される照度をローパスフィルタを用いて平滑化した上で微分することによって変化率を算出する。算出された変化率を示す情報は、輝度決定部５２０に提供される。輝度決定部５２０は、変化率によって照度の急激な低下が示される場合に、上記のステップ関数を用いた処理によって得られる輝度にかかわらず、出力する輝度を一律に最低値（例えば０）に設定する。制御部５３０は、輝度が最低値に設定された場合、例えばディスプレイユニット１１０の光源１１２をオフにする。これによって、ＨＭＤ１００の周辺が急激に暗くなった場合（照度が急激に大きく低下した場合）には、遅延を最小化することによって輝度を迅速に低下させることができ、実空間の視界を確保してユーザの安全を図ることができる。
　図８は、上記の処理を、照度および輝度の波形の例とともにより詳しく説明するための図である。図８では、輝度決定部５２０の処理がステップ関数５２１、ローパスフィルタ５２３、およびスイッチ５２５として、照度変化率算出部５４０の処理がローパスフィルタ５４１、および変化率算出部５４３として、それぞれ示されている。
　例えば、照度情報取得部５１０が、波形（ａ）のような照度の変化を示す照度情報を取得したとする。波形（ａ）では、時刻ｔ１以降に輝度の急激かつ大きな低下が発生している。ここで、輝度決定部５２０の基本的な処理では、ステップ関数５２１による変換によって階段状の波形（ｂ）の輝度が得られ、さらにそれがローパスフィルタ５２３によって波形（ｃ）のように平滑化される。平滑化された輝度の波形（ｃ）では、波形（ａ）において輝度の低下が始まった時刻ｔ１から、時刻ｔ２までの時間をかけて輝度が低下する。
　一方、照度変化率算出部５４０の処理では、ローパスフィルタ５４１によって波形（ａ）から高周波のノイズを除去した波形（ｄ）について、変化率算出部５４３が微分によって照度の変化率を算出する。この結果得られる照度の変化率、つまり時刻ｔ１以降における波形（ｄ）の傾きが負であり（照度が低下している）、かつ傾きの絶対値が閾値を超える（照度が急激に変化している）場合、輝度決定部５２０は、スイッチ５２５によって、ステップ関数５２１およびローパスフィルタ５２３によって得られた波形（ｃ）に従った輝度制御ではなく、輝度を一律に０（最低値）にする制御を選択する。この時点で、制御部５３０は、画像表示光の輝度を０に設定するために、ディスプレイユニット１１０の光源１１２をオフにする。この結果、画像表示光の輝度は、波形（ｅ）に示すように、時刻ｔ２よりも早い時点で０になる。
　さらに、輝度決定部５２０は、上記のようにスイッチ５２５が動作してから所定の時間が経過した時刻ｔ３に、ステップ関数５２１およびローパスフィルタ５２３によって得られた波形（ｃ）に従った輝度制御を復帰させてもよい。時刻ｔ３までの所定の時間は、例えば、ステップ関数５２１およびローパスフィルタ５２３によって得られる波形（ｃ）でも照度の変化が反映されて輝度が０になるまでの時間、またはそれよりも長い時間でありうる。輝度制御を復帰させることによって、例えば照度が再び上昇したような場合に、照度に対応した輝度の制御を円滑に再開することができる。
　図９は、図８に示すスイッチ５２５の動作の例を示すフローチャートである。図９を参照すると、通常の場合、スイッチ５２５はオン、つまりステップ関数５２１およびローパスフィルタ５２３によって得られた輝度が制御部５３０に伝達されるように設定されている（Ｓ２０１）。ここで、変化率算出部５４３によって算出された照度の変化率が閾値（負の値）よりも小さくなった場合（Ｓ２０３のＹＥＳ）、スイッチ５２５はオフ、つまり一律に０（最低値）の輝度が制御部５３０に伝達されるように設定される（Ｓ２０５）。さらに、Ｓ２０３から所定の時間が経過すると（Ｓ２０７）、処理はＳ２０１に戻る。
　このように、本実施形態では、照度情報に基づく輝度の決定プロセスが、複数の候補プロセス（ステップ関数５２１およびローパスフィルタ５２３を用いて照度を輝度に変換するプロセスと、照度に関わらず一律に輝度を０（最低値）に設定するプロセス）の中から、ディスプレイユニット１１０の周辺状況を示す状況情報（照度情報によって示される照度の変化率）に基づいて選択される。複数の候補プロセスのうち、第１のプロセス（ステップ関数５２１およびローパスフィルタ５２３を用いて照度を輝度に変換するプロセス）には、輝度の急激な変化を抑制するために生じる、照度の変化に対する輝度の変化の遅延が含まれる。これに対して、第２のプロセス（照度に関わらず一律に輝度を０（最低値）に設定するプロセス）では、輝度の急激な変化を抑制しない（むしろ、急激に０（最低値）にする）ため、第１のプロセスのような遅延は含まれない。厳密には、第２のプロセスでも遅延は０ではないが、ユーザの知覚に影響する程度ではない。なお、上記のような第１のプロセスと第２のプロセスとの目的の相違ために、ローパスフィルタ５２３とローパスフィルタ５４１とには、それぞれ異なる特性を有するフィルタが使用されてもよい。照度の変化率によって照度の急激な低下が示される場合には、例えば実空間の視界を確保してユーザの安全を図るために、輝度決定部５２０に含まれるスイッチ５２５が、遅延を含まない第２のプロセスを選択する。そうでない場合、スイッチ５２５は第１のプロセスを選択する。
　以上で説明したように、本実施形態では、ステップ関数やローパスフィルタを用いて照度を輝度に変換することによって、輝度の揺れや急激な変化を抑え、画像表示光によって提供される画像の視認性を向上させることができる。さらに、本実施形態では、ＨＭＤ１００の周辺状況を示す状況情報として、照度情報によって示される照度の変化率を示す情報を利用することによって、ＨＭＤ１００の周辺が急激に暗くなった場合には輝度の揺れや急激な変化を抑えるための処理をカットし、画像表示光の輝度を照度に追従して迅速に低下させることができる。従って、本実施形態では、周辺が急激に暗くなった場合のユーザの安全性を確保しつつ、ＨＭＤ１００によって提供される画像の視認性を向上させることができる。
　（２．第２の実施形態）
　次に、本開示の第２の実施形態について説明する。第２の実施形態では、上記の第１の実施形態と同様のシステム１０において、第１の実施形態とは異なる画像表示光の輝度制御が実行される。従って、第１の実施形態と共通するシステム構成については重複した説明を省略し、以下では輝度制御の処理について特に説明する。
　図１０は、本開示の第２の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図１０を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部５１０と、輝度決定部６２０と、制御部５３０と、照度変化率算出部５４０と、モーションデータ取得部６４０と、モーションデータ解析部６５０とを含む機能構成によって実現される。これらの機能構成は、第１の実施形態と同様に、例えばＨＭＤ１００のコントロールユニット１６０が備えるプロセッサ１６２、スマートフォン２００のプロセッサ２０２、もしくはサーバ３００のプロセッサ３０２のうちのいずれか、またはこれらの協働によって実現される。
　なお、照度情報取得部５１０、制御部５３０、および照度変化率算出部５４０については、第１の実施形態と同様の機能構成であるため、重複した説明を省略する。また、照度変化率算出部５４０は、他の手段によってＨＭＤ１００の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。照度変化率算出部５４０が設けられる場合、輝度決定部６２０は、照度変化率算出部５４０によって照度の急激な低下が検出された場合について、上記の第１の実施形態における輝度決定部５２０と同様に動作するが、これについても重複した説明を省略する。
　モーションデータ取得部６４０は、ディスプレイユニット１１０が備えるモーションセンサ１１８の出力値（以下、モーションデータともいう）を取得する。ここで、モーションセンサ１１８を含むディスプレイユニット１１０はユーザ（観察者）の頭部に装着されているため、モーションデータはユーザ（観察者）の頭部の姿勢や動きを示すものとみなすことができる。
　モーションデータ解析部６５０は、モーションデータ取得部６４０が取得したモーションデータを解析して、ディスプレイユニット１１０を装着したユーザのモーションを検出する。モーションデータに含まれる加速度、角速度、および方位などに基づいて、歩く、走る、立つ、座るといったユーザのモーションを検出するための処理については、例えば特開２０１０－１９８５９５号公報などに記載された公知技術であるため、ここでは詳細な説明を省略する。
　ここで、モーションデータ解析部６５０は、上記のような技術を利用しつつ、歩く、走る、立つ、座るといった一般的なモーションとは異なるユーザのモーションを検出してもよい。例えば、モーションデータ解析部６５０は、振り返る、歩いて（走って）角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションを検出してもよい。こうしたモーションは、例えば、ジャイロセンサの出力値に基づいてユーザの首や体の回転を検出することによって特定することができる。
　本実施形態において、ユーザのモーションを示す情報は、ディスプレイユニット１１０（ウェアラブル光学装置）の周辺状況（ディスプレイユニット１１０を装着したユーザの状況）を示す状況情報の一例である。従って、モーションデータ解析部６５０は、状況情報を取得する状況情報取得部ともいえる。
　輝度決定部６２０は、照度情報取得部５１０が取得した照度情報と、モーションデータ解析部６５０によって提供されるユーザのモーションを示す情報とに基づいて画像表示光の輝度を決定する。輝度決定部６２０は、例えば、照度情報によって示される照度を、ステップ関数を用いて画像表示光の輝度に変換する。第１の実施形態と同様に、ステップ関数では、照度が高い（明るい）場合には輝度が高くなり、照度が低い（暗い）場合には輝度が低くなるように、所定の傾きに沿ってステップが形成されている。
　さらに、本実施形態では、輝度決定部６２０が、ユーザのモーションを示す情報に基づいて、複数の候補関数の中から使用する関数を選択する。本実施形態において選択される関数の例を、図１１に示す。図１１に示す例では、ステップ関数Ｆ１，Ｆ２、およびステップ関数Ｆ３，Ｆ４の中から、輝度の決定に用いられる関数が選択される。ステップ関数Ｆ１，Ｆ２は、図６に示されたものと同様であり、ステップ関数Ｆ２はステップ関数Ｆ１を照度の負方向にオフセットしたものである。一方、ステップ関数Ｆ３，Ｆ４は、相互にオフセットされた１組のステップ関数という点ではステップ関数Ｆ１，Ｆ２と同様であるが、ステップが形成される傾きがステップ関数Ｆ１，Ｆ２よりも緩やかである。つまり、ステップ関数Ｆ３，Ｆ４は、ステップ関数Ｆ１，Ｆ２よりも低い割合で、照度を輝度に変換する。例えば、照度が最大値（１．０）まで上昇した場合、ステップ関数Ｆ１では輝度も最大値（１．０）まで上昇するが、ステップ関数Ｆ３では輝度が最大値の７０％程度までしか上昇しない。従って、ステップ関数Ｆ３，Ｆ４を用いて照度を輝度に変換した場合、出力される輝度の値は、全体的にステップ関数Ｆ１，Ｆ２の場合よりも暗くなる。なお、図１１のグラフでも、照度（入力値）および輝度（出力値）がいずれも最大値を１．０として正規化して表現されている。
　上記の例において、輝度決定部６２０は、ユーザのモーションを示す情報に基づいて、ステップ関数Ｆ１，Ｆ２およびステップ関数Ｆ３，Ｆ４のうちのどちらかを選択する。例えば、輝度決定部６２０は、ユーザが静止している場合にはステップ関数Ｆ３，Ｆ４を選択し、ユーザが歩いたり走ったりしている場合にはステップ関数Ｆ１，Ｆ２を選択する。ユーザが静止している場合は、背景の実空間が変化しないため画像が視認しやすい。従って、ステップ関数Ｆ３，Ｆ４を用いてより低い輝度で画像表示光を射出することで、視認可能でありかつ邪魔にならない画像の提供が可能になる。一方、ユーザが歩いたり走ったりしている場合は、背景の実空間が変化するために画像が視認しにくい。従って、ステップ関数Ｆ１，Ｆ２を用いてより高い輝度で画像表示光を射出することで、視認しやすい画像の提供が可能になる。
　さらに、輝度決定部６２０は、振り返る、歩いて（走って）角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションが検出されている場合にはステップ関数Ｆ３，Ｆ４を選択し、そうでない場合にはステップ関数Ｆ１，Ｆ２を選択してもよい。視界に含まれる実空間の範囲が転換するときには、実空間の様子をよく見ることが必要とされる。従って、ステップ関数Ｆ３，Ｆ４を選択してより低い輝度で画像表示光を射出することで、ユーザが実空間の様子を視認しやすくすることができる。
　本実施形態において、輝度決定部６２０は、上記の２つの判定のいずれか一方だけを実行してもよいし、両方を組み合わせて実行してもよい。両方を組み合わせる場合の処理の例を、図１２のフローチャートに示す。図１２を参照すると、輝度決定部６２０は、ユーザのモーションを示す情報を取得すると（Ｓ３０１）、まず、ユーザが静止しているか否かを判定する（Ｓ３０３）。ここで、ユーザが静止している場合（ＹＥＳ）、輝度決定部６２０は、ステップ関数Ｆ３，Ｆ４を選択する（Ｓ３０５）。
　一方、Ｓ３０３の判定において、ユーザが静止していなかった場合（ＮＯ）、ユーザは例えば歩いたり走ったりして動いていると推定される。この場合、さらに、輝度決定部６２０は、特定のモーションが検出されているか否かを判定する（Ｓ３０７）。特定のモーションは、例えば、振り返る、歩いて（走って）角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションである。このようなモーションが検出されている場合（ＹＥＳ）、輝度決定部６２０は、ステップ関数Ｆ３，Ｆ４を選択する（Ｓ３０５）。一方、上記のようなモーションが検出されていない場合（ＮＯ）、輝度決定部６２０は、ステップ関数Ｆ１，Ｆ２を選択する（Ｓ３０９）。ステップ関数Ｆ１，Ｆ２を選択することによって、同じ照度の入力値に対して、ステップ関数Ｆ３，Ｆ４を選択した場合よりも高い輝度の出力値が得られる。
　次に、輝度決定部６２０は、Ｓ３０５またはＳ３０９において選択された関数を用いて、照度の入力値（照度情報によって示される照度）を、輝度の出力値（画像表示光の輝度）に変換し（Ｓ３１１）、得られた輝度の値を制御部５３０に提供する（Ｓ３１５）。このとき、輝度決定部６２０は、第１の実施形態で説明したように、ローパスフィルタなどを用いて輝度の値を平滑化してもよい（Ｓ３１３）。
　以上のような処理によって、画像表示光の輝度が決定される。従って、例えば、実空間の照度が一定であったとしても、ユーザが立ち止まっている場合にはやや低い輝度で画像が提供され、ユーザが歩きだすと輝度が上昇する。さらに、ユーザが振り返ったり角を曲がったりしたときには、一時的に輝度が低下する。このような輝度の変化によって、ユーザが十分に画像を視認できるとともに、輝度が高すぎて画像が邪魔になることがなく、またユーザが実空間の様子をよく見たい場合には一時的に画像の輝度が抑制されて実空間が視認しやすくなる。
　このように、本実施形態では、照度情報に基づく輝度の決定プロセスが、複数の候補プロセス（ステップ関数Ｆ１，Ｆ２を用いるプロセスと、ステップ関数Ｆ３，Ｆ４を用いるプロセス）の中から、ディスプレイユニット１１０の周辺状況を示す状況情報（ユーザ（観察者）に装着されたモーションセンサの出力値に基づいて生成される、ユーザのモーションを示す情報）に基づいて選択される。候補プロセスのうち、第２のプロセス（ステップ関数Ｆ３，Ｆ４を用いるプロセス）は、第１のプロセスの割合（第１の割合）よりも低い割合（第２の割合）で、照度情報によって示される照度を画像表示光の輝度に変換する。輝度決定部６２０は、例えばユーザが静止している場合（画像を視認しやすい場合）や、ユーザの視界に含まれる実空間の範囲を転換させるモーションが発生した場合（実空間の様子をよく見たい場合）には上記の第２のプロセスを選択し、それ以外の場合には第１のプロセスを選択する。
　なお、上述した本開示の第２の実施形態は、第１の実施形態とは独立して実施されてもよいし、組み合わせて実施されてもよい。より具体的には、例えば、図１１に例示したステップ関数Ｆ１～Ｆ４に代えて、ステップ関数以外の関数が用いられてもよい。あるいは、輝度決定部６２０は、単純な関数を用いて照度を輝度に変換するのではなく、より複雑な手順によって照度を輝度に変換してもよい。このような場合も、例えば照度の入力値に対する輝度の出力値の割合が相異なる少なくとも２つのプロセスが設定可能であれば、本実施形態を応用することができる。
　（変形例）
　次に、本開示の第２の実施形態の変形例について説明する。変形例に係る機能構成を、図１３に示す。図１３を参照すると、本変形例では、図１０に示した第２の実施形態の機能構成において、モーションデータ解析部６５０が、行動認識部６６０によって置換されている。
　上述のように、モーションデータに基づいてユーザのモーションを検出するための処理は、行動認識としてよく知られている技術である。行動認識の技術としては、例えば特開２０１１－８１４３１号公報や特開２０１２－８７７１号公報などに記載されているように、比較的長時間にわたる行動パターンや、場所の属性などと結びついた行動のように、より高度な認識を実現する技術も知られている。行動認識部６６０は、こうした各種の行動認識技術を利用して、ユーザの行動を認識する。上記のモーションデータ解析部６５０による解析がユーザのモーションの認識に特化していたのに対して、行動認識部６６０は、必要に応じて、モーションに限らずユーザの各種の行動を認識することが可能である。本変形例において、ユーザの行動を示す情報は、ディスプレイユニット１１０（ウェアラブル光学装置）の周辺状況（ディスプレイユニット１１０を装着したユーザの状況）を示す状況情報の一例である。従って、行動認識部６６０は、状況情報を取得する状況情報取得部ともいえる。
　なお、行動認識部６６０は、モーションセンサの出力値に限らず、他の様々なセンサの出力値に基づいて行動認識を実行してもよい。例えば、行動認識部６６０は、ＨＭＤ１００のディスプレイユニット１１０が備える照度センサ１１６やカメラ１２０、コントロールユニット１６０が備えるマイクロフォン１７２、スマートフォン２００が備えるセンサ２１０やＧＰＳ受信機２１６、マイクロフォン２１８などをセンサとして用いて、これらの出力値に基づく行動認識を実行してもよい。これらのセンサは、例えば、ＨＭＤ１００のユーザ（観察者）に装着されている。センサは、ＨＭＤ１００のディスプレイユニット１１０（ウェアラブル光学装置）と一体化していてもよいし、それ以外の電子機器、例えばコントロールユニット１６０やスマートフォン２００、その他のユーザによって装着または携帯される電子機器に組み込まれていてもよい。
　また、行動認識部６６０の処理は、処理負荷が高かったり、蓄積されたデータへのアクセスを必要とする場合がある。従って、行動認識部６６０の処理は、他の機能構成、つまり照度情報取得部５１０、輝度決定部６２０、および制御部５３０などとは異なる電子機器において実現されてもよい。例えば、照度情報取得部５１０、輝度決定部６２０、および制御部５３０がＨＭＤ１００のコントロールユニット１６０が備えるプロセッサ１６２によって実現される場合に、行動認識部６６０はスマートフォン２００のプロセッサ２０２、またはサーバ３００のプロセッサ３０２によって実現されてもよい。
　本変形例では、静止したり、動いたりといったモーションに限らず、ユーザの各種の行動に応じて画像表示光の輝度が制御されることによって、より多様な状況において、ＨＭＤ１００によって提供される画像の視認性を向上させることができる。
　（３．第３の実施形態）
　次に、本開示の第３の実施形態について説明する。第３の実施形態では、上記の第１の実施形態と同様のシステム１０において、第１の実施形態とは異なる画像表示光の輝度制御が実行される。従って、第１の実施形態と共通するシステム構成については重複した説明を省略し、以下では輝度制御の処理について特に説明する。
　図１４は、本開示の第３の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図１４を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部５１０と、輝度決定部７２０と、制御部５３０と、照度変化率算出部５４０と、アタッチメント装着検出部７４０とを含む機能構成によって実現される。これらの機能構成は、第１の実施形態と同様に、例えばＨＭＤ１００のコントロールユニット１６０が備えるプロセッサ１６２、スマートフォン２００のプロセッサ２０２、もしくはサーバ３００のプロセッサ３０２のうちのいずれか、またはこれらの協働によって実現される。
　なお、照度情報取得部５１０、制御部５３０、および照度変化率算出部５４０については、第１の実施形態と同様の機能構成であるため、重複した説明を省略する。また、照度変化率算出部５４０は、他の手段によってＨＭＤ１００の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。照度変化率算出部５４０が設けられる場合、輝度決定部７２０は、照度変化率算出部５４０によって照度の急激な低下が検出された場合について、上記の第１の実施形態における輝度決定部５２０と同様に動作するが、これについても重複した説明を省略する。
　アタッチメント装着検出部７４０は、ディスプレイユニット１１０への光学的なアタッチメント、例えばサングラスの装着状態を示すアタッチメント装着情報を取得する。アタッチメント装着情報は、例えばディスプレイユニット１１０とアタッチメントとの連結をスイッチを用いて検出することによって生成される。なお、本実施形態において、アタッチメント装着検出部７４０によって検出される、光学的なアタッチメントの装着状態を示す情報は、ディスプレイユニット１１０（ウェアラブル光学装置）の周辺状況を示す状況情報の一例である。従って、アタッチメント装着検出部７４０は、状況情報を取得する状況情報取得部ともいえる。
　このような構成の具体的な例を、図１５に示す。図１５を参照すると、本実施形態では、ディスプレイユニット１１０に、サングラス１２２を装着するための連結部１２４が設けられる。連結部１２４には、例えばサングラス１２２に設けられる凸部が嵌め込まれる凹部であってもよいし、サングラス１２２がクリップで固定されるための領域であってもよい。連結部１２４には、連結検出スイッチ１２６が設けられる。連結検出スイッチ１２６は、連結部１２４にサングラス１２２が連結されたときにオンになるスイッチである。例えばコントロールユニット１６０のプロセッサ１６２によって実現されるアタッチメント装着検出部７４０は、連結検出スイッチ１２６がオンになった場合に出力される信号を受信した場合に、ディスプレイユニット１１０にサングラス１２２が装着されたと判定する。
　本実施形態において、サングラス１２２は、導光板１１４のユーザの眼に対応する領域をカバーするが、照度センサ１１６をカバーしない。つまり、本実施形態において照度情報取得部５１０によって取得される照度情報は、サングラス１２２（光学的なアタッチメント）による光学的な影響を受けない照度センサ１１６（光学センサ）の出力値に基づいて生成されている。従って、サングラス１２２が装着されたことによって実空間から入射する光の照度が低下していても、照度情報にはそのような照度変化が反映されていない。このような場合、輝度決定部７２０が、サングラス１２２が装着されていない場合と同様にして画像表示光の輝度を決定すると、画像表示光の輝度が高すぎ、サングラス１２２を透過して視認される背景の実空間が視認しづらくなる可能性がある。
　そこで、輝度決定部７２０は、照度情報取得部５１０が取得した照度情報と、アタッチメント装着検出部７４０によって提供されるアタッチメント装着情報とに基づいて、画像表示光の輝度を決定する。光学的なアタッチメントの光学的特性は、予め登録されている。例えば、サングラス１２２の場合、ディスプレイユニット１１０にサングラス１２２を装着することによる実空間から入射する光の照度低下量が、例えばコントロールユニット１６０が備えるメモリ１６４、スマートフォン２００が備えるメモリ２０４、またはサーバ３００が備えるメモリ３０４に、予め登録されている。輝度決定部７２０は、アタッチメント装着情報によってサングラス１２２が装着されたことが示される場合に、サングラス１２２の装着による光学的な影響、すなわち実空間から入射する光の照度低下を画像表示光の輝度に反映させる。
　上記の輝度決定部７２０の処理の例について、図１６を参照してさらに説明する。図１６に示す例では、輝度決定部７２０が、ステップ関数Ｆ１，Ｆ２、およびステップ関数Ｆ５，Ｆ６の中から、輝度の決定に用いられる関数を選択する。ステップ関数Ｆ１，Ｆ２は、図６に示されたものと同様であり、ステップ関数Ｆ２はステップ関数Ｆ１を照度の負方向にオフセットしたものである。一方、ステップ関数Ｆ５，Ｆ６は、相互にオフセットされた１組のステップ関数という点ではステップ関数Ｆ１，Ｆ２と同様であるが、ステップが形成される傾きがステップ関数Ｆ１，Ｆ２よりも緩やかであり、また輝度の出力値は所定の輝度ｂ２で飽和する。この例において、輝度決定部７２０は、アタッチメント装着情報によってサングラス１２２が装着されたことが示される場合にはステップ関数Ｆ５，Ｆ６を用いて照度を輝度に変換し、それ以外の場合にはステップ関数Ｆ１，Ｆ２を用いて照度を輝度に変換する。このような処理よって、輝度決定部７２０によって決定される画像表示光の輝度には、サングラス１２２の装着による実空間から入射する光の照度低下が反映され、サングラス１２２を装着した状態においてより適切な画像表示光の輝度が決定される。
　なお、上述した本開示の第３の実施形態は、第１の実施形態および／または第２の実施形態とは独立して実施されてもよいし、組み合わせて実施されてもよい。より具体的には、例えば、図１６に例示したステップ関数Ｆ１，Ｆ２，Ｆ５，Ｆ６に代えて、ステップ関数以外の関数が用いられてもよい。あるいは、輝度決定部７２０は、単純な関数を用いて照度を輝度に変換するのではなく、より複雑な手順によって照度を輝度に変換してもよい。このような場合も、サングラス１２２のような光学的アタッチメントによる光学的な影響を画像表示光の輝度の反映させることが可能な少なくとも２つのプロセスが設定可能であれば、本実施形態を応用することができる。
　（４．第４の実施形態）
　次に、本開示の第４の実施形態について説明する。第４の実施形態では、上記の第１の実施形態と同様のシステム１０において、第１～第３の実施形態のいずれかと同様の画像表示光の輝度制御に加えて、照度に含まれるノイズを除去する処理が実行される。従って、上述した各実施形態と共通するシステム構成および輝度制御の処理については重複した説明を省略し、以下では照度のノイズ除去の処理について特に説明する。なお、以下の説明では、簡単のために第１の実施形態と同様の輝度制御に加えてノイズ除去の処理が実行される場合について説明するが、同様に、第２の実施形態または第３の実施形態と同様の輝度制御に加えてノイズ除去の処理が実行されてもよい。
　図１７は、本開示の第４の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図１７を参照すると、本実施形態では、第１の実施形態と同様の照度情報取得部５１０、輝度決定部５２０、制御部５３０、および照度変化率算出部５４０に加えて、照度情報取得部５１０の前段に照度ノイズ低減部８４０が設けられる。照度ノイズ低減部８４０を含む各機能構成は、第１の実施形態と同様に、例えばＨＭＤ１００のコントロールユニット１６０が備えるプロセッサ１６２、スマートフォン２００のプロセッサ２０２、もしくはサーバ３００のプロセッサ３０２のうちのいずれか、またはこれらの協働によって実現される。なお、照度変化率算出部５４０は、他の手段によってＨＭＤ１００の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。
　本実施形態において、照度ノイズ低減部８４０は、例えば照度センサ１１６に髪の毛がかかった場合に照度の検出値に発生するノイズを除去する。このような処理の具体的な例を、図１８に示す。図１８に示す例では、ノイズ処理除去前の照度Ｌ１から、急峻な谷状のノイズ成分Ｎが除去され、照度Ｌ２が得られる。これによって、例えば照度センサ１１６に髪の毛がかかったことによって瞬間的に照度が低下しても、その照度変化が画像表示光の輝度に反映されて画像が暗くなってしまうことが防止される。
　図１９は、本実施形態における照度ノイズ低減部８４０の動作の例を示すフローチャートである。図１９を参照すると、通常の場合、照度ノイズ低減部８４０はオフ、つまり照度センサ１１６から取得された照度情報をそのまま照度情報取得部５１０に入力するように設定されている（Ｓ４０１）。ここで、照度情報によって示される照度に、閾値を超える時間周波数での照度の変化が検出された場合（Ｓ４０３のＹＥＳ）、照度ノイズ低減部８４０がオンになる。より具体的には、照度ノイズ低減部８４０は、閾値を超える時間周波数での照度の変化に対応する成分を、照度情報によって示される照度から除去する（Ｓ４０５）。一例として、照度ノイズ低減部８４０は、ハイパスフィルタを使用して、Ｓ４０３における閾値を超える時間周波数での照度変化を検出してもよい。さらに、照度ノイズ低減部８４０は、ローパスフィルタを使用して、閾値を超える時間周波数成分（ノイズにあたる）を除去してもよい。
　（５．ハードウェア構成）
　次に、図２０を参照して、本開示の実施形態に係る電子機器のハードウェア構成について説明する。図２０は、本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。図示された電子機器９００は、例えば、上記の実施形態におけるＨＭＤ１００、スマートフォン２００、および／またはサーバ３００を構成するサーバ装置を実現しうる。
　電子機器９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、電子機器９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、電子機器９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。電子機器９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）またはＡＳＩＣ（Application　Specific　Integrated　Circuit）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、電子機器９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、電子機器９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、電子機器９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）、ＰＤＰ（Plasma　Display　Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、電子機器９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
　ストレージ装置９１９は、電子機器９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、電子機器９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を電子機器９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、電子機器９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば電子機器９００の筐体の姿勢など、電子機器９００自体の状態に関する情報や、電子機器９００の周辺の明るさや騒音など、電子機器９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global　Positioning　System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　以上、電子機器９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（６．補足）
　本開示の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部と、
　前記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部と、
　前記照度情報および前記状況情報に基づいて、前記実空間に重畳される画像を前記観察者に知覚させるために前記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部と、
　前記ウェアラブル光学装置を制御して、前記決定された輝度で光を出射させる制御部と
　を備える電子機器。
（２）前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、
　前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記照度の変化に対する前記輝度の変化の遅延を最小化する、前記（１）に記載の電子機器。
（３）前記輝度決定部は、前記照度情報に基づく前記輝度の決定プロセスを、複数の候補プロセスの中から前記状況情報に基づいて選択する、前記（１）に記載の電子機器。
（４）前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、
　前記複数の候補プロセスは、前記照度情報によって示される照度の変化に対する前記輝度の遅延を含む第１のプロセスと、前記遅延を含まない第２のプロセスとを含み、
　前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記第２のプロセスを選択し、そうでない場合には前記第１のプロセスを選択する、前記（３）に記載の電子機器。
（５）前記第１のプロセスは、前記輝度の急激な変化を抑制する、前記（４）に記載の電子機器。
（６）前記状況情報は、前記観察者に装着されたモーションセンサの出力値に基づいて生成される情報を含む、前記（３）～（５）のいずれか１項に記載の電子機器。
（７）前記複数の候補プロセスは、前記照度情報によって示される照度を第１の割合で前記輝度に変換する第１のプロセスと、前記照度情報によって示される照度を前記第１の割合よりも低い第２の割合で前記輝度に変換する第２のプロセスとを含み、
　前記輝度決定部は、前記状況情報によって前記観察者の視界に含まれる前記実空間の範囲を転換させるモーションの発生が示される場合には前記第２のプロセスを選択し、そうでない場合には前記第１のプロセスを選択する、前記（６）に記載の電子機器。
（８）前記状況情報は、前記観察者の行動を示す行動情報を含む、前記（１）～（７）のいずれか１項に記載の電子機器。
（９）前記行動情報は、前記ウェアラブル光学装置と一体化されたセンサの出力値に基づいて生成される、前記（８）に記載の電子機器。
（１０）前記状況情報は、前記ウェアラブル光学装置への光学的なアタッチメントの装着状態を示すアタッチメント装着情報を含む、前記（１）～（９）のいずれか１項に記載の電子機器。
（１１）前記アタッチメント装着情報は、前記ウェアラブル光学装置と前記アタッチメントとの連結を検出するスイッチによって提供される、前記（１０）に記載の電子機器。
（１２）前記照度情報は、前記アタッチメントによる光学的な影響を受けない光学センサの出力値に基づいて生成され、
　前記輝度決定部は、予め登録された前記アタッチメントの光学的特性に基づいて、前記アタッチメント装着情報によって前記アタッチメントが装着されたことが示される場合に、前記アタッチメントの装着による光学的な影響を前記決定される輝度に反映させる、前記（１０）または（１１）に記載の電子機器。
（１３）前記輝度決定部は、ステップ関数を用いて前記照度情報によって示される照度を前記輝度に変換する、前記（１）～（１２）のいずれか１項に記載の電子機器。
（１４）前記ステップ関数は、前記照度情報によって示される照度が上昇している場合に用いられる第１のステップ関数と、前記照度情報によって示される照度が低下している場合に用いられる第２のステップ関数とを含み、
　前記第２のステップ関数は、前記第１のステップ関数よりも照度の負方向にオフセットされている、前記（１３）に記載の電子機器。
（１５）前記輝度決定部は、前記ステップ関数を用いて得られた前記輝度を平滑化する、前記（１３）または（１４）に記載の電子機器。
（１６）前記照度に含まれるノイズを低減する照度ノイズ低減部をさらに備える、前記（１）～（１５）のいずれか１項に記載の電子機器。
（１７）前記照度ノイズ低減部は、閾値を超える時間周波数での前記照度の変化が検出された場合に、該変化に対応する成分を前記照度から除去する、前記（１６）に記載の電子機器。
（１８）実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を検出し、
　前記ウェアラブル光学装置の周辺状況を示す状況情報を取得し、
　前記照度および前記状況情報に基づいて輝度を決定し、
　前記ウェアラブル光学装置が、前記実空間に重畳される画像を前記観察者に知覚させるための光を、前記決定された輝度で射出する
　ことを含む画像の提供方法。
　１０　　システム
　１００　　ＨＭＤ
　１１０　　ディスプレイユニット
　１１２　　光源
　１１４　　導光板
　１１６　　照度センサ
　１１８　　モーションセンサ
　１２２　　サングラス
　１２４　　連結部
　１２６　　スイッチ
　１６０　　コントロールユニット
　１６２　　プロセッサ
　１６４　　メモリ
　２００　　スマートフォン
　２０２　　プロセッサ
　２０４　　メモリ
　３００　　サーバ
　３０２　　プロセッサ
　３０４　　メモリ
　５１０　　照度情報取得部
　５２０，６２０，７２０　　輝度決定部
　５３０　　制御部
　５４０　　照度変化率算出部
　６４０　　モーションデータ取得部
　６５０　　モーションデータ解析部
　６６０　　行動認識部
　７４０　　アタッチメント装着検出部
　８４０　　ノイズ低減部
 

Claims (18)

  1. 　実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部と、
    　前記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部と、
    　前記照度情報および前記状況情報に基づいて、前記実空間に重畳される画像を前記観察者に知覚させるために前記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部と、
    　前記ウェアラブル光学装置を制御して、前記決定された輝度で光を射出させる制御部と
    　を備える電子機器。
  2. 　前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、
    　前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記照度の変化に対する前記輝度の変化の遅延を最小化する、請求項１に記載の電子機器。
  3. 　前記輝度決定部は、前記照度情報に基づく前記輝度の決定プロセスを、複数の候補プロセスの中から前記状況情報に基づいて選択する、請求項１に記載の電子機器。
  4. 　前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、
    　前記複数の候補プロセスは、前記照度情報によって示される照度の変化に対する前記輝度の変化の遅延を含む第１のプロセスと、前記遅延を含まない第２のプロセスとを含み、
    　前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記第２のプロセスを選択し、そうでない場合には前記第１のプロセスを選択する、請求項３に記載の電子機器。
  5. 　前記第１のプロセスは、前記輝度の急激な変化を抑制する、請求項４に記載の電子機器。
  6. 　前記状況情報は、前記観察者に装着されたモーションセンサの出力値に基づいて生成される情報を含む、請求項３に記載の電子機器。
  7. 　前記複数の候補プロセスは、前記照度情報によって示される照度を第１の割合で前記輝度に変換する第１のプロセスと、前記照度情報によって示される照度を前記第１の割合よりも低い第２の割合で前記輝度に変換する第２のプロセスとを含み、
    　前記輝度決定部は、前記状況情報によって前記観察者の視界に含まれる前記実空間の範囲を転換させるモーションの発生が示される場合には前記第２のプロセスを選択し、そうでない場合には前記第１のプロセスを選択する、請求項６に記載の電子機器。
  8. 　前記状況情報は、前記観察者の行動を示す行動情報を含む、請求項１に記載の電子機器。
  9. 　前記行動情報は、前記ウェアラブル光学装置と一体化されたセンサの出力値に基づいて生成される、請求項８に記載の電子機器。
  10. 　前記状況情報は、前記ウェアラブル光学装置への光学的なアタッチメントの装着状態を示すアタッチメント装着情報を含む、請求項１に記載の電子機器。
  11. 　前記アタッチメント装着情報は、前記ウェアラブル光学装置と前記アタッチメントとの連結を検出するスイッチによって提供される、請求項１０に記載の電子機器。
  12. 　前記照度情報は、前記アタッチメントによる光学的な影響を受けない光学センサの出力値に基づいて生成され、
    　前記輝度決定部は、予め登録された前記アタッチメントの光学的特性に基づいて、前記アタッチメント装着情報によって前記アタッチメントが装着されたことが示される場合に、前記アタッチメントの装着による光学的な影響を前記決定される輝度に反映させる、請求項１０に記載の電子機器。
  13. 　前記輝度決定部は、ステップ関数を用いて前記照度情報によって示される照度を前記輝度に変換する、請求項１に記載の電子機器。
  14. 　前記ステップ関数は、前記照度情報によって示される照度が上昇している場合に用いられる第１のステップ関数と、前記照度情報によって示される照度が低下している場合に用いられる第２のステップ関数とを含み、
    　前記第２のステップ関数は、前記第１のステップ関数よりも照度の負方向にオフセットされている、請求項１３に記載の電子機器。
  15. 　前記輝度決定部は、前記ステップ関数を用いて得られた前記輝度を平滑化する、請求項１３に記載の電子機器。
  16. 　前記照度に含まれるノイズを低減する照度ノイズ低減部をさらに備える、請求項１に記載の電子機器。
  17. 　前記照度ノイズ低減部は、閾値を超える時間周波数での前記照度の変化が検出された場合に、該変化に対応する成分を前記照度から除去する、請求項１６に記載の電子機器。
  18. 　実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を検出し、
    　前記ウェアラブル光学装置の周辺状況を示す状況情報を取得し、
    　前記照度および前記状況情報に基づいて輝度を決定し、
    　前記ウェアラブル光学装置が、前記実空間に重畳される画像を前記観察者に知覚させるための光を、前記決定された輝度で射出する
    　ことを含む画像の提供方法。
     
PCT/JP2014/080544 2014-02-21 2014-11-18 電子機器、および画像の提供方法 WO2015125363A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/118,584 US10672309B2 (en) 2014-02-21 2014-11-18 Electronic apparatus and method of providing image on a wearable optical device
JP2016503940A JP6492330B2 (ja) 2014-02-21 2014-11-18 電子機器、および画像の提供方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014031604 2014-02-21
JP2014-031604 2014-02-21

Publications (1)

Publication Number Publication Date
WO2015125363A1 true WO2015125363A1 (ja) 2015-08-27

Family

ID=53877892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080544 WO2015125363A1 (ja) 2014-02-21 2014-11-18 電子機器、および画像の提供方法

Country Status (3)

Country Link
US (1) US10672309B2 (ja)
JP (2) JP6492330B2 (ja)
WO (1) WO2015125363A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3461672A1 (en) 2017-09-27 2019-04-03 Honda Motor Co., Ltd. Display apparatus, display control apparatus, and vehicle
JP2022040118A (ja) * 2020-08-26 2022-03-10 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム
US11322115B2 (en) 2019-09-30 2022-05-03 Seiko Epson Corporation Display system, display control method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934758B1 (en) 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH078711A (ja) * 1993-06-17 1995-01-13 Toshiba Corp ろ過池洗浄時間制御装置
JPH11161190A (ja) * 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JP2002268002A (ja) * 2001-03-08 2002-09-18 Mitsubishi Heavy Ind Ltd 網膜走査表示装置
JP2002323690A (ja) * 2001-04-25 2002-11-08 Sharp Corp 液晶表示装置の自動調光方法及び装置
JP2005262478A (ja) * 2004-03-16 2005-09-29 Fuji Xerox Co Ltd 光ビーム発光制御装置
JP2006285064A (ja) * 2005-04-04 2006-10-19 Matsushita Electric Ind Co Ltd 画像表示装置
JP2011028136A (ja) * 2009-07-29 2011-02-10 J&K Car Electronics Corp 情報提示装置、プログラム、及び情報提示方法
WO2012137759A1 (ja) * 2011-04-07 2012-10-11 シャープ株式会社 表示装置、及び、輝度制御信号の生成方法
JP2013511744A (ja) * 2009-11-21 2013-04-04 マゲーリー，ダグラス，ピーター 頭部装着ディスプレイ装置
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09508478A (ja) 1994-02-07 1997-08-26 バーチュアル・アイ／オゥ・インコーポレイテッド パーソナルビジュアルディスプレイ
JP3499798B2 (ja) * 2000-03-13 2004-02-23 シャープ株式会社 液晶情報表示装置
US20030122810A1 (en) * 2001-12-31 2003-07-03 Tsirkel Aaron M. Method and apparatus to adjust the brightness of a display screen
JP2011175035A (ja) * 2010-02-23 2011-09-08 Shimadzu Corp 頭部装着型表示装置
WO2012073325A1 (ja) * 2010-11-30 2012-06-07 富士通株式会社 画像表示装置、表示制御装置および表示制御方法
JP2012203128A (ja) 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8654068B2 (en) * 2011-07-15 2014-02-18 Apple Inc. Enhanced resolution of luminance levels in a backlight unit of a display device
US9079434B2 (en) * 2011-09-30 2015-07-14 Brother Kogyo Kabushiki Kaisha Circuit board unit, cartridge, and manufacturing method thereof
JP6160020B2 (ja) * 2011-12-12 2017-07-12 セイコーエプソン株式会社 透過型表示装置、表示方法および表示プログラム
JP5884576B2 (ja) * 2012-03-16 2016-03-15 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
KR101385681B1 (ko) * 2012-11-08 2014-04-15 삼성전자 주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
KR102047059B1 (ko) * 2012-12-26 2019-11-20 삼성전자주식회사 디스플레이 방법 및 장치
JP2013174898A (ja) 2013-04-10 2013-09-05 Sony Corp 撮像表示装置、撮像表示方法
JP2014010460A (ja) 2013-08-22 2014-01-20 Sony Computer Entertainment Inc 映像観察デバイスおよび透過率制御方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH078711A (ja) * 1993-06-17 1995-01-13 Toshiba Corp ろ過池洗浄時間制御装置
JPH11161190A (ja) * 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JP2002268002A (ja) * 2001-03-08 2002-09-18 Mitsubishi Heavy Ind Ltd 網膜走査表示装置
JP2002323690A (ja) * 2001-04-25 2002-11-08 Sharp Corp 液晶表示装置の自動調光方法及び装置
JP2005262478A (ja) * 2004-03-16 2005-09-29 Fuji Xerox Co Ltd 光ビーム発光制御装置
JP2006285064A (ja) * 2005-04-04 2006-10-19 Matsushita Electric Ind Co Ltd 画像表示装置
JP2011028136A (ja) * 2009-07-29 2011-02-10 J&K Car Electronics Corp 情報提示装置、プログラム、及び情報提示方法
JP2013511744A (ja) * 2009-11-21 2013-04-04 マゲーリー，ダグラス，ピーター 頭部装着ディスプレイ装置
WO2012137759A1 (ja) * 2011-04-07 2012-10-11 シャープ株式会社 表示装置、及び、輝度制御信号の生成方法
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3461672A1 (en) 2017-09-27 2019-04-03 Honda Motor Co., Ltd. Display apparatus, display control apparatus, and vehicle
US10762677B2 (en) 2017-09-27 2020-09-01 Honda Motor Co., Ltd. Display apparatus, display control apparatus, and vehicle
US11322115B2 (en) 2019-09-30 2022-05-03 Seiko Epson Corporation Display system, display control method, and program
JP2022040118A (ja) * 2020-08-26 2022-03-10 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム
JP7285904B2 (ja) 2020-08-26 2023-06-02 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム

Also Published As

Publication number Publication date
US10672309B2 (en) 2020-06-02
US20170053575A1 (en) 2017-02-23
JPWO2015125363A1 (ja) 2017-03-30
JP6492330B2 (ja) 2019-04-03
JP6750697B2 (ja) 2020-09-02
JP2019092216A (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
JP6750697B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10324294B2 (en) Display control device, display control method, and computer program
EP3862845B1 (en) Method for controlling display screen according to eyeball focus and head-mounted electronic equipment
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
US9952667B2 (en) Apparatus and method for calibration of gaze detection
US20160378176A1 (en) Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
JP7092108B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6402718B2 (ja) 情報処理装置、制御方法およびプログラム
US20170163866A1 (en) Input System
JP2015170175A (ja) 情報処理装置、および情報処理方法
WO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019171802A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20240080408A1 (en) Combining video streams having different information-bearing levels
CN113821337A (zh) 基于参与度分数改变与媒体对象相关联的资源利用率
US11170539B2 (en) Information processing device and information processing method
WO2015125364A1 (ja) 電子機器、および画像の提供方法
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
CN109246345B (zh) 美瞳拍摄方法、装置、存储介质及移动终端
WO2022164677A1 (en) Controlling a level of magnification of content on a display device based on user movement
WO2016147499A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14882933

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016503940

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15118584

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14882933

Country of ref document: EP

Kind code of ref document: A1