WO2018142969A1 - 表示制御装置および方法、並びにプログラム - Google Patents

表示制御装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2018142969A1
WO2018142969A1 PCT/JP2018/001586 JP2018001586W WO2018142969A1 WO 2018142969 A1 WO2018142969 A1 WO 2018142969A1 JP 2018001586 W JP2018001586 W JP 2018001586W WO 2018142969 A1 WO2018142969 A1 WO 2018142969A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
mental state
inward
display
Prior art date
Application number
PCT/JP2018/001586
Other languages
English (en)
French (fr)
Inventor
研也 道下
雅章 座間
滝沢　賢一
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2018142969A1 publication Critical patent/WO2018142969A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Definitions

  • the present disclosure relates to a display control device, method, and program, and more particularly, to a display control device, method, and program that can more reliably control display in accordance with a user's mental state.
  • Patent Document 1 there is a method of changing the mental state by changing the color of the display by detecting the pupil size or the number of blinks with a camera (see Patent Document 1). There is also a method of performing liquid crystal shutter control by detecting the amount of light and the pupil size (see Patent Document 2).
  • the present disclosure has been made in view of such a situation, and can more reliably control display according to the mental state of the user.
  • the display control device includes light amount information acquired from an outward image captured by an outward imaging unit installed outward, spatial brightness information indicating spatial brightness, A brightness estimation unit that estimates whether or not the position of the line of sight is bright from the line-of-sight information indicating the position of the line of sight of the user detected from the inward image captured by the inward image capturing unit installed in the direction;
  • the brightness estimation unit estimates that the position of the line of sight is bright
  • the light incidence control unit that controls the incidence of light
  • the pupil size detected from the inward image is larger than a predetermined size
  • the user's A mental state determination unit that determines that the mental state is an excited state, and a display control unit that controls the color of the display unit according to the mental state determined by the mental state determination unit.
  • the mental state determination unit can determine that the mental state of the user is in an excited state when the number of blinks detected from the inward image is greater than a predetermined number.
  • the display control unit can control the display unit to have a warm color when the mental state determination unit determines that the user's mental state is an excited state.
  • the mental state determination unit determines that the mental state of the user is in a dull state when the number of blinks detected from the inward image is less than a predetermined number and there is no movement of the line of sight. Can do.
  • the display control unit can control the brightness of the display unit when the mental state determination unit determines that the mental state of the user is dull.
  • the display control unit according to the external situation of the user detected by the external situation detection unit, Adjustment of the color of the display unit can be adjusted.
  • the brightness estimation unit can estimate whether or not the position of the line of sight is bright when it is detected that the brightness has changed from the inward image.
  • the display unit is further provided.
  • the display unit is a display unit having a wearable shape.
  • a display control method is a spatial brightness indicating a light amount information acquired from an outward image captured by an outward imaging unit installed outward and a spatial brightness. And whether or not the position of the line of sight is bright from the line-of-sight information indicating the position of the line of sight of the user detected from the inward image captured by the inward image capturing unit installed inward, When it is estimated that the position of the line of sight is bright, the incidence of light is controlled, and when the pupil size detected from the inward image is larger than a predetermined size, the mental state of the user is determined to be excited. The color of the display unit is controlled according to the determined mental state.
  • a program includes information on light amount acquired from an outward image captured by an outward imaging unit installed outward, spatial brightness information indicating spatial brightness, and inward
  • a brightness estimation unit that estimates whether or not the position of the line of sight is bright from line-of-sight information indicating the position of the line of sight of the user detected from an inward image captured by an installed inward imaging unit; and the brightness
  • the estimator estimates that the position of the line of sight is bright
  • the light incidence controller that controls the incidence of light
  • the pupil size detected from the inward image is greater than a predetermined size
  • the mental state of the user The computer is caused to function as a mental state determination unit that determines that is in an excited state and a display control unit that controls the color of the display unit according to the mental state determined by the mental state determination unit.
  • the light amount information acquired from the outward image captured by the outward imaging unit installed outward, the spatial brightness information indicating the spatial brightness, and the inward installation From the line-of-sight information indicating the position of the user's line of sight detected from the inward image captured by the inward imaging unit, whether the line of sight is bright is estimated and the position of the line of sight is estimated to be bright If it is determined that the incident light is controlled and the pupil size detected from the inward image is larger than a predetermined size, the mental state of the user is determined to be an excited state, and according to the determined mental state To control the color of the display.
  • FIG. 18 is a block diagram illustrating a configuration example of a computer to which the present technology is applied. It is a block diagram which shows an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
  • FIG. 1 is a block diagram illustrating a configuration example of a display system applied to the present technology.
  • the display system shown in FIG. 1 is composed of a wearable device such as glasses.
  • the display system 1 includes an imaging device 11 and a display device 12.
  • the imaging device 11 captures outward and inward images with respect to the user's body, and detects the user's status and state from the captured images.
  • the display device 12 includes a transparent display such as an OLED (Organic electroluminescence display) with an active shutter function, and displays an outward image.
  • OLED Organic electroluminescence display
  • the imaging device 11 includes an image sensor 21, a signal processing unit 22, a control unit 23, a recognition processing unit 24, a state detection unit 25, an optical flow calculation unit 26, an IR light projecting unit 27, an image sensor 28, and a control.
  • the image sensor 21 is configured by, for example, a CMOS image sensor, and is arranged outward with respect to the housing (user body) of the display system 1 as shown in FIG. , An outward image (hereinafter also referred to as an outward image) is captured.
  • the signal processing unit 22 performs predetermined signal processing on the outward image captured by the image sensor 21, acquires information for determining indoor / outdoor weather, and recognizes the image after signal processing.
  • the data is output to the processing unit 24, the state detection unit 25, and the optical flow calculation unit 26.
  • the signal-processed image is also output to the host control unit 33 via the state detection unit 25 and is output from the host control unit 33 to the display device 12.
  • the control unit 23 controls the operations of the image sensor 21 and the signal processing unit 22 under the control of the host control unit 33.
  • the recognition processing unit 24 performs object recognition processing, motion detection processing, detection of the screen up / down state, and the like on the image from the signal processing unit 22, and supplies the results of various processings to the state detection unit 25.
  • the state detection unit 25 determines the current user status from the brightness information and light source color temperature information from the signal processing unit 22 and the results of various processes from the recognition processing unit 24, and sends the determination result to the host control unit 33. Supply.
  • the optical flow calculation unit 26 detects an optical flow from the image from the signal processing unit 22 and supplies the detected optical flow to the upper control unit 33.
  • the IR light projecting unit 27 is composed of an LED, and lights up for blinking and pupil size detection by the image sensor 28 under the control of the host control unit 33.
  • the image sensor 28 is constituted by, for example, a CMOS image sensor, and is disposed inward with respect to the housing (user body) of the display system 1 as shown in FIG. Inward images (hereinafter also referred to as inward images), that is, face and eye images are captured.
  • the control unit 29 controls the operations of the image sensor 28 and the signal processing unit 30 under the control of the host control unit 33.
  • the signal processing unit 30 performs predetermined signal processing on the inward image captured by the image sensor 28, acquires information for blinking, pupil size detection, and the like, The data is output to the detection unit 31 and the recognition processing unit 32.
  • the state detection unit 31 determines the current user status from the brightness information and light source color temperature information from the signal processing unit 30 and the results of various processes from the recognition processing unit 32, and the determination result is sent to the host control unit 33.
  • the recognition processing unit 32 performs eye detection, line-of-sight detection, and the like on the image from the signal processing unit 22 and supplies the eye detection result to the host control unit 33 via the state detection unit 31.
  • the detection result is supplied to the state detection unit 31.
  • the upper control unit 33 uses at least one of information obtained from the outward image from the image sensor 21 and information obtained from the inward image from the image sensor 28 to perform external light removal processing and state confirmation by the pupil. Processing, state confirmation processing by blinking, and comprehensive determination and control processing (situation determination processing, mental state determination processing, display color control processing by mental state), control unit 23, control unit 29, and display device 12
  • the upper control unit 41 is controlled.
  • the display device 12 includes a host control unit 41, a deflection control unit 42, an active deflection unit 43, an OLED control unit 44, and a transmissive display 45.
  • the host control unit 41 controls the deflection control unit 42 and the OLED control unit 44 under the control of the host control unit 33 of the imaging device 11 to display an image from the imaging device 11 on the transmissive display 45.
  • the deflection control unit 42 controls the deflection of the active deflection unit 43 under the control of the host control unit 41.
  • the active deflection unit 43 deflects the active liquid crystal shutter under the control of the deflection control unit 42.
  • the OLED control unit 44 controls display on the transmissive display 45 under the control of the host control unit 41.
  • the transmissive display 45 performs display under the control of the OLED control unit 44.
  • the display system 1 is composed of glasses (wearable shape).
  • an outward image is input from the image sensor 21 disposed outward.
  • An inward image is input from the image sensor 28 arranged inward. From the outward image, object recognition and the brightness of the outside (environment light) with respect to the object are detected. Further, since the partial brightness of the image can also be acquired from the outward image, the glare of the line-of-sight position can be detected.
  • the upper control unit 33 can acquire the size of the pupil and the number of blinks by detecting both eyes (at least one eye). Therefore, the host controller 33 performs a mental state analysis process and analyzes the mental state according to the size of the pupil.
  • the upper control unit 33 analyzes the mental state according to the number of blinks and the movement of the line of sight. And the high-order control part 33 also controls the display apparatus 12 according to the glare of the detected gaze position, and the analyzed mental state.
  • the control information for the display device 12 is passed from the host controller 33 to the host controller 41.
  • the host control unit 41 controls the display color, the transmittance, and the like by the OLED control unit 44 according to the analyzed mental state.
  • the control of the active deflection unit 43 by the deflection control unit 42 described above is performed by the host control unit 41 according to the glare of the line-of-sight position. That is, since the active liquid crystal shutter is deflected according to the glare of the line-of-sight position, the brightness of external light can be excluded when determining the size of the pupil.
  • a see-through image that is, video through by display control
  • the section of liquid crystal see-through + video through by liquid crystal control is set to an uncontrolled state and dark You may make it detect the pupil change by a mental state by using the pupil size according to this as a reference value.
  • the image sensor 21 of the imaging device 11 captures an outward image under the control of the control unit 23.
  • the image sensor 28 captures an inward image under the control of the control unit 29.
  • step S11 the imaging device 11 performs a situation detection process using the outward image.
  • This situation detection processing will be described later with reference to FIG. 5.
  • the brightness information based on the ambient light, the light primary color temperature information, the information based on the motion detection, the environment information such as the sky and the road by the processing in step S11.
  • Information by object recognition is detected.
  • step S12 the imaging device 11 performs an external light removal process using the outward image and the inward image.
  • the external light removal process will be described later with reference to FIG. 7, but the light amount information, spatial brightness information, and line-of-sight information are acquired by the process of step S12, the brightness of the line-of-sight destination is estimated, and the pupil Incident light is controlled.
  • step S13 the imaging device 11 performs a state confirmation process based on the pupil size using the inward image.
  • the state confirmation process based on the pupil size will be described later with reference to FIG. 10, but the mental state is analyzed according to the size of the pupil by the process of step S13.
  • step S14 the imaging device 11 performs a state confirmation process by blinking using the inward image.
  • the state confirmation process by blinking will be described later with reference to FIG. 11, the mental state is analyzed according to the number of blinks and according to the presence or absence of the movement of the line of sight by the process of step S14.
  • step S15 the imaging device 11 performs comprehensive determination and control processing according to all the processing results of steps S11 to S14.
  • the overall determination and control process will be described later with reference to FIG. 12, but the display control of the display device 12 based on the mental state is performed by the process of step S15, the process returns to step S11, and the user ends the process. Until then, the subsequent processing is repeated.
  • step S11 in FIG. 4 The functional blocks of the signal processing unit 22 and the recognition processing unit 24 that perform this situation detection processing are shown in FIG.
  • the signal processing unit 22 includes a pre-processing unit 61, a main processing unit 62, a post-processing unit 63, an AE (Auto-Exposure) detection processing unit 64, an AWB (Auto-White Balance) detection processing unit 65, And a control unit 66.
  • the pre-processing unit 61 converts an analog image signal from the image sensor 21 into a digital image signal, and performs a correction process for deterioration mainly caused by the lens, the image sensor 21, and the like.
  • the main processing unit 62 performs processing such as white balance and gamma correction on the image data supplied from the pre-processing unit 61.
  • the post-processing unit 63 generates luminance data Y and color difference data Cr and Cb, and outputs them to each subsequent unit such as the recognition processing unit 24.
  • the AE detection processing unit 64 performs AE detection processing on the image data from the upstream processing unit 61 and supplies the AE information to the control unit 66 as brightness information.
  • the AWB detection processing unit 65 performs AWB detection processing on the image data from the upstream processing unit 61 and supplies the AWB information to the control unit 66 as light source color temperature information.
  • the control unit 66 supplies brightness information and light source color temperature information to the state detection unit 25.
  • the recognition processing unit 24 includes an object recognition unit 71, a motion detection unit 72, and a screen up / down state detection unit 73.
  • the recognition processing unit 24 performs object recognition processing such as a handle using the luminance data Y and the color difference data Cr and Cb generated by the post-processing unit 63 and supplies the object recognition information to the state detection unit 25.
  • the motion detection unit 72 performs motion detection processing using the luminance data Y and the color difference data Cr and Cb generated by the post-processing unit 63 and supplies the motion detection information to the state detection unit 25.
  • the screen top / bottom state detection unit 73 detects the top / bottom state of the screen, for example, the sky or road state, using the luminance data Y and the color difference data Cr and Cb generated by the subsequent stage processing unit 63, and is detected.
  • the sky and road information is supplied to the state detection unit 25.
  • the state detection unit 25 performs indoor / outdoor weather determination processing. That is, the state detection unit 25 converts the brightness information detected for the image data from the upstream processing unit 61 by the AE detection processing unit 64 and the image data from the upstream processing unit 61 by the AWB detection processing unit 65. On the basis of the detected light source color temperature information and the sky and road information detected by the screen upper / lower state detection unit 73, indoor / outdoor weather determination processing is performed, and the result is supplied to the state control unit 25.
  • step S32 the state detection unit 25 performs a vehicle determination process based on the object recognition information recognized by the object recognition unit 71, and supplies the result to the host control unit 33.
  • step S33 the state detection unit 25 refers to the motion detection information from the motion detection unit 72, performs speed determination processing, and supplies the result to the host control unit 33.
  • step S12 in FIG. 4 will be described with reference to the flowchart in FIG. Note that functional blocks of the signal processing unit 22, the signal processing unit 30, and the recognition processing unit 32 that perform this external light removal processing are illustrated in FIG.
  • the signal processing unit 22 includes a pre-processing unit 61, a main processing unit 62, a post-processing unit 63, an AE (Auto-Exposure) detection processing unit 64, and a control unit 66.
  • the pre-processing unit 61 converts an analog image signal from the image sensor 21 into a digital image signal, and performs a correction process for deterioration mainly caused by the lens, the image sensor 21, and the like.
  • the main processing unit 62 performs processing such as white balance and gamma correction on the image data supplied from the pre-processing unit 61.
  • the post-processing unit 63 generates luminance data Y and color difference data Cr and Cb, and outputs them as output images to each subsequent unit such as the recognition processing unit 24.
  • the AE detection processing unit 64 performs AE detection processing on the image data from the upstream processing unit 61, and supplies the AE information as brightness information to the control unit 66.
  • the AE detection processing unit 64 obtains spatial brightness information and supplies it to the control unit 66.
  • the control unit 66 acquires light amount information from the AE information, and supplies the light amount information to the upper control unit 33 through the state detection unit 25 together with the spatial brightness information.
  • the spatial brightness information can also be acquired from the output image from the post-processing unit 63.
  • the signal processing unit 30 includes a pre-processing unit 81, a main processing unit 82, a post-processing unit 83, an AE (Auto-Exposure) detection processing unit 84, and a control unit 86.
  • the pre-processing unit 81 converts an analog image signal from the image sensor 28 into a digital image signal, and performs a correction process for deterioration mainly caused by the lens, the image sensor 28, and the like.
  • the main processing unit 82 performs processing such as white balance and gamma correction on the image data supplied from the pre-processing unit 81.
  • the post-processing unit 83 generates luminance data Y and color difference data Cr and Cb, and outputs them as output images to the line-of-sight detection unit 91 of the recognition processing unit 32.
  • the AE detection processing unit 84 performs AE detection processing on the image data from the pre-processing unit 81 and supplies the AE information to the control unit 86 as brightness information. Further, the AE detection processing unit 84 obtains spatial brightness information and supplies it to the control unit 86.
  • the control unit 66 acquires light amount information from the AE information, and supplies the light amount information to the upper control unit 33 through the state detection unit 31 together with the spatial brightness information.
  • the recognition processing unit 32 is configured to include a line-of-sight detection unit 91.
  • the line-of-sight detection unit 91 acquires line-of-sight information and supplies it to the host control unit 33 via the state detection unit 31.
  • step S ⁇ b> 51 the upper control unit 33 determines whether or not the brightness state has changed using the spatial brightness information and the light amount information from the inward image of the image sensor 28. If it is determined in step S51 that there is no change in the brightness state, the external light removal process is terminated.
  • step S51 If it is determined in step S51 that the brightness state has changed, the process proceeds to step S52.
  • step S52 the host control unit 33 acquires light amount information from the outward image (control unit 66) from the image sensor 21, and in step S53, the upper control unit 33 obtains the light amount information from the outward image (or output image) from the image sensor 21. Get spatial brightness information.
  • step S54 the host control unit 33 acquires the line-of-sight information from the inward image from the image sensor 28 from the line-of-sight detection unit 91.
  • step S55 the upper control unit 33 uses the information obtained in steps S52 to S54 to view a bright place as indicated by the image 101 in FIG. 9 and P representing the line of sight. Or the brightness of the line-of-sight destination is estimated, as indicated by P representing the image 102 and the line-of-sight point.
  • step S56 the host controller 33 controls the host controller 41 of the display device 12 to control the pupil incident light as described above with reference to FIG.
  • the status confirmation process based on the pupil size in step S13 of FIG. 4 is performed.
  • This process is a process performed based on the eye detection result by the recognition processing unit 32 using the inward image.
  • the upper control unit 33 sets a standard value of the pupil size in advance, and determines whether or not the pupil is larger than the standard value in step S71. If it is determined in step S71 that the value is larger than the standard value, the process proceeds to step S72. In step S72, the host control unit 33 determines that the user's state is an excited state.
  • step S71 determines that the value is smaller than the standard value. If it is determined in step S71 that the value is smaller than the standard value, the process proceeds to step S73.
  • step S73 the host controller 33 determines that the user's state is a stable state.
  • the status confirmation process by blinking in step S14 of FIG. 4 is performed.
  • This process is a process performed based on the eye detection result by the recognition processing unit 32 using the inward image.
  • the host controller 33 presets a standard value of the number of blinks, and determines whether or not the number of blinks is larger than the standard value in step S91. If it is determined in step S91 that the number of blinks is large, the process proceeds to step S92. In step S92, the host control unit 33 determines that the user is in an excited state.
  • step S91 determines whether or not there is a movement of the line of sight. If it is determined in step S93 that there is a movement of the line of sight, the process proceeds to step S94. In step S94, the host controller 33 determines that the user's state is a stable state.
  • step S93 If it is determined in step S93 that there is no movement of the line of sight, the process proceeds to step S95.
  • step S95 the host control unit 33 determines that the user's state is in a state of bowing.
  • step S15 in FIG. 4 will be described with reference to the flowchart in FIG.
  • step S111 the host controller 33 uses the information detected in the situation detection process in step S11 of FIG. 4 to determine what situation the user is currently in (for example, riding a car as a driver). Whether the vehicle is riding as a passenger, is running, is walking, is stationary, is the weather, etc.) is determined.
  • step S112 the host control unit 33 determines the mental state of the user from the determination result (excited state, normal state) in step S13 of FIG. 4 and the determination result (excited state, stable state, dull state) in step S14. Mental state determination processing is performed.
  • step S113 the host control unit 33 performs display color control based on the mental state determined in step S112. That is, the host control unit 33 controls the host control unit 41 of the display device 12 and causes the OLED control unit 44 to adjust the WB of the transmissive display 45 according to the determined mental state. At this time, the intensity of the color according to the situation determined in step S111 is used for adjustment.
  • the OLED control unit 44 causes the transmissive display 45 to display warm colors. Thereby, a user's tension state (stress) can be relieved.
  • the pupil incident light is controlled by the active shutter of the image sensor 21 using the brightness information from the outward image or the like.
  • the pupil size variation due to is suppressed. Thereby, certainty can be given to the determination of the pupil size.
  • the OLED control unit 44 is configured to transmit the transmissive display 45 as in the case where the mental state is determined to be a tension state (concentration state) due to a small pupil. Is displayed in warm colors.
  • the mental state is not blinking due to a few blinks, but it is determined that it is dull due to the movement of the line of sight, it is not a concentrated state, so the brightness of the display is controlled in the brighter direction.
  • the user can be guided to a tension state.
  • the display is not particularly controlled.
  • the color of the detected food may be changed together with WB.
  • a video image is used instead of the sieux image.
  • the display on which food appears can be displayed in blue. Thereby, the user can promote a diet.
  • the control of the mental state has been described.
  • the mental state may be controlled only when talking to the specific person by detecting the specific person through the recognition process.
  • an effect corresponding to the scene may be displayed for the scene being viewed.
  • the mental state can be grasped in more detail. Further, the display can be controlled in accordance with the grasped mental state. Thereby, a user's mental state can be controlled.
  • the present technology can be applied not only to a wearable display device but also to a display system including various types of display devices.
  • Second Embodiment> ⁇ Personal computer>
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 13 is a block diagram showing a hardware configuration example of a personal computer that is executed by a program when a part or all of the series of processes described above is configured by a personal computer.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 210 is further connected to the bus 204.
  • An input unit 211, an output unit 212, a storage unit 213, a communication unit 214, and a drive 215 are connected to the input / output interface 210.
  • the input unit 211 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 212 includes a display, a speaker, and the like.
  • the storage unit 213 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 214 includes a network interface.
  • the drive 215 drives a removable recording medium 221 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads, for example, a program stored in the storage unit 213 to the RAM 203 via the input / output interface 210 and the bus 204 and executes the program. Thereby, the series of processes described above are performed.
  • the program executed by the computer (CPU 201) can be provided by being recorded in the removable recording medium 221.
  • the removable recording medium 221 includes, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Disc Only), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor memory.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 213 via the input / output interface 210 by attaching the removable recording medium 221 to the drive 215.
  • the program can be received by the communication unit 214 via a wired or wireless transmission medium and installed in the storage unit 213.
  • the program can be installed in the ROM 202 or the storage unit 213 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in a necessary stage such as in parallel or when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • system represents the entire apparatus composed of a plurality of devices (apparatuses).
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 14 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes an ADAS (Advanced Driver Assistance System) function including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 15 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the vehicle 12100 includes imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 15 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the technology according to the present disclosure includes an outside information detection unit 12030, an imaging unit 12031 (including imaging units 12101 to 12104), an in-vehicle information detection unit 12040, a driver state detection unit 12041, a microcomputer 12051, a voice
  • the present invention can be applied to the image output unit 12052 and the display unit 12062.
  • the image sensor 21 in FIG. 1 can be applied to the imaging unit 12031.
  • the signal processing unit 22 to the optical flow calculation unit 26 in FIG. 1 can be applied to the vehicle outside information detection unit 12030.
  • the host control unit 33 in FIG. 1 can be applied to the microcomputer 12051.
  • the image sensor 28 and the IR projector 27 in FIG. 1 can be applied to the driver state detector 12041.
  • the control unit 29 to the recognition processing unit 32 in FIG. 1 can be applied to the in-vehicle information detection unit 12040.
  • the upper control unit 41 in FIG. 1 can be applied to the audio image output unit 12052.
  • the deflection control unit 42 to the transmissive display 45 can be applied to the display unit 12062.
  • steps describing the series of processes described above are not limited to the processes performed in time series according to the described order, but are not necessarily performed in time series, either in parallel or individually.
  • the process to be executed is also included.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a brightness estimation unit that estimates whether or not the position of the line of sight is bright from the line-of-sight information indicating the position of the line of sight of the user detected from the inward image captured by the unit; When the brightness estimation unit estimates that the position of the line of sight is bright, a light incidence control unit that controls light incidence;
  • a mental state determination unit that determines that the mental state of the user is in an excited state when a pupil size detected from the inward image is larger than a predetermined size;
  • a display control device comprising: a display control unit that controls a color of the display unit according to the mental state determined by the mental state determination unit.
  • the display control unit controls the brightness of the display unit when the mental state determination unit determines that the mental state of the user is in a dull state.
  • Display control device. It further includes an external situation detection unit that detects the external situation of the user from the outward image, The said display control part adjusts the adjustment of the color of the said display part according to the user's external condition detected by the said external condition detection part. The said any one of (1) thru
  • the brightness estimation unit estimates whether or not the position of the line of sight is bright when it is detected that there is a change in brightness from the inward image. Any one of (1) to (6) The display control apparatus according to 1.
  • an outward imaging unit installed outward with respect to the user;
  • the display control device according to any one of (1) to (7), further including an inward imaging unit installed inward with respect to the user.
  • the display control device according to any one of (1) to (8), further including the display unit.
  • the display control device according to any one of (1) to (9), wherein the display unit is a wearable display unit.
  • the display control device Light quantity information acquired from an outward image captured by an outward imaging unit installed outward and spatial brightness information indicating spatial brightness, and imaging by an inward imaging unit installed inward From the line-of-sight information indicating the position of the user's line of sight detected from the inward image that has been estimated, whether the position of the line of sight is bright, If the position of the line of sight is estimated to be bright, control the incidence of light, If the pupil size detected from the inward image is larger than a predetermined size, the mental state of the user is determined to be excited, A display control method for controlling the color of the display unit according to the determined mental state.
  • a brightness estimation unit that estimates whether or not the position of the line of sight is bright from the line-of-sight information indicating the position of the line of sight of the user detected from the inward image captured by the unit; When the brightness estimation unit estimates that the position of the line of sight is bright, a light incidence control unit that controls light incidence; A mental state determination unit that determines that the mental state of the user is in an excited state when a pupil size detected from the inward image is larger than a predetermined size; A program that causes a computer to function as a display control unit that controls the color of a display unit in accordance with the mental state determined by the mental state determination unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Biophysics (AREA)
  • Developmental Disabilities (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示は、ユーザの精神状態に応じた表示をより確実に制御することができるようにする表示制御装置および方法、並びにプログラムに関する。 ディスプレイシステムにおいて、外向きに配置されたイメージセンサからは、外向きの画像が入力される。内向きに配置されたイメージセンサからは、内向きの画像（両眼の画像）が入力される。なお、外向きの画像からは、物体認識と物体に対しての外（環境光）の明るさが検出される。また、画像の部分的な明るさも取得できるため、視線位置の眩しさに応じて、アクティブ液晶シャッタを偏向させることができる。これにより、瞳孔の大きさに応じてユーザの精神状態を判定する際に、外光の明るさを排除することができる。本開示は、例えば、ウェアラブル形状の表示装置を含むディスプレイシステムに適用することができる。

Description

表示制御装置および方法、並びにプログラム
　本開示は、表示制御装置および方法、並びにプログラムに関し、特に、ユーザの精神状態に応じた表示をより確実に制御することができるようにした表示制御装置および方法、並びにプログラムに関する。
　従来から、室内照明および室内の色合いを用いたリラクゼーション効果などが用いられてきた。
　例えば、カメラにより、瞳孔サイズや瞬き回数などを検知して、ディスプレイの色味を変え、精神状態を変化させる方法もある（特許文献１参照）。光量および瞳孔サイズを検知して、液晶シャッタコントロールを行う方法もある（特許文献２参照）。
特開２００７－００３６１８号公報 特開２０１５－２１５６１９号公報
　しかしながら、精神状態のより確実な判定方法が必要であった。
　本開示は、このような状況に鑑みてなされたものであり、ユーザの精神状態に応じた表示をより確実に制御することができるものである。
　本技術の一側面の表示制御装置は、外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定する明るさ推定部と、前記明るさ推定部により視線の位置が明るいと推定された場合、光の入射を制御する光入射制御部と、前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定する精神状態判定部と、前記精神状態判定部により判定された精神状態に応じて、表示部の色味を制御する表示制御部とを備える。
　前記精神状態判定部は、前記内向き画像から検出される瞬き回数が所定の回数より多い場合、前記ユーザの精神状態が興奮状態であると判定することができる。
　前記表示制御部は、前記精神状態判定部により前記ユーザの精神状態が興奮状態であると判定された場合、前記表示部の色味が暖色系になるように制御することができる。
　前記精神状態判定部は、前記内向き画像から検出される瞬き回数が所定の回数より少なく、かつ、視線の動きがない場合、前記ユーザの精神状態がボーっとしている状態であると判定することができる。
　前記表示制御部は、前記精神状態判定部により前記ユーザの精神状態がボーっとしている状態であると判定された場合、前記表示部の明るさを制御することができる。
　前記外向き画像から、前記ユーザの外的状況を検出する外的状況検出部をさらに備え、前記表示制御部は、前記外的状況検出部により検出されたユーザの外的状況に応じて、前記表示部の色味の加減を調整することができる。
　前記明るさ推定部は、前記内向き画像から明るさに変化があったと検出された場合、前記視線の位置が明るいか否かを推定することができる。
　前記ユーザに対して外向きに設置された外向き撮像部と、前記ユーザに対して内向きに設置された内向き撮像部とをさらに備えることができる。
　前記表示部をさらに備える。
　前記表示部は、ウェアラブルな形状の表示部である。
　本技術の一側面の表示制御方法は、表示制御装置が、外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定し、前記視線の位置が明るいと推定された場合、光の入射を制御し、前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定し、判定された精神状態に応じて、表示部の色味を制御する。
　本技術の一側面のプログラムは、外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定する明るさ推定部と、前記明るさ推定部により視線の位置が明るいと推定された場合、光の入射を制御する光入射制御部と、前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定する精神状態判定部と、前記精神状態判定部により判定された精神状態に応じて、表示部の色味を制御する表示制御部として、コンピュータを機能させる。
　本技術の一側面においては、外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定し、前記視線の位置が明るいと推定された場合、光の入射を制御し、前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定し、判定された精神状態に応じて、表示部の色味を制御する。
　本技術によれば、ユーザの精神状態に応じた表示をより確実に制御することができる。
  なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
本技術を適用したディスプレイシステムの構成例を示すブロック図である。 本技術の概要について説明する図である。 液晶のシースルー＋ビデオスルーの場合と、液晶のシースルーだけの場合の明暗状態とを示す図である。 ディスプレイシステムの制御処理について説明するフローチャートである。 図４のステップＳ１１の状況検出処理について説明するフローチャートである。 信号処理部および認識処理部の機能ブロックの構成例を示すブロック図である。 図４のステップＳ１２の外光除去処理を説明するフローチャートである。 信号処理部、信号処理部、および認識処理部の機能ブロックの構成例を示す図である。 画像における視線の先の場所の明るさについて説明する図である。 図４のステップＳ１３の瞳孔サイズによる状況確認処理を説明するフローチャートである。 図４のステップＳ１４の瞬きによる状況確認処理を説明するフローチャートである。 図４のステップＳ１５の総合判定および制御処理を説明するフローチャートである。 本技術を適用したコンピュータの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．コンピュータ
３．移動体への応用例
＜１．第１の実施の形態＞
　＜システムの構成例＞
　図１は、本技術に適用されるディスプレイシステムの構成例を示すブロック図である。図１に示されるディスプレイシステムは、例えば、眼鏡などウェアラブル形状の装置で構成される。
　図１に示されるように、ディスプレイシステム１は、撮像装置１１および表示装置１２から構成されている。撮像装置１１は、ユーザの身体に対して外向きおよび内向きの画像をそれぞれ取り込み、取り込んだ各画像からユーザの状況や状態を検出する。表示装置１２は、例えば、アクティブシャッタ機能付きのOLED(Organic electroluminescence display)などの透明ディスプレイからなり、外向きの画像を表示させる。
　具体的には、撮像装置１１は、イメージセンサ２１、信号処理部２２、制御部２３、認識処理部２４、状態検出部２５、オプティカルフロー算出部２６、ＩＲ投光部２７、イメージセンサ２８、制御部２９、信号処理部３０、状態検出部３１、認識処理部３２、および上位制御部３３により構成されている。
　イメージセンサ２１は、例えば、CMOSイメージセンサで構成され、図２に示されるように、ディスプレイシステム１の筐体（ユーザの身体）に対して外向きに配置され、制御部２３の制御のもと、外向きの画像（以下、外向き画像とも称する）を取り込む。信号処理部２２は、イメージセンサ２１により撮像された外向き画像に対して、所定の信号処理を行い、屋内屋外天候を判定するための情報などを取得するとともに、信号処理後の画像を、認識処理部２４、状態検出部２５、オプティカルフロー算出部２６に出力する。なお、信号処理後の画像は、状態検出部２５を介して、上位制御部３３にも出力され、上位制御部３３から、表示装置１２に出力される。制御部２３は、上位制御部３３からの制御のもと、イメージセンサ２１および信号処理部２２の動作を制御する。
　認識処理部２４は、信号処理部２２からの画像に対して、物体認識処理、動き検出処理、画面上下状態の検出などを行い、各種処理の結果を、状態検出部２５に供給する。状態検出部２５は、信号処理部２２からの明るさ情報と光源色温度情報、認識処理部２４からの各種処理の結果から、いまのユーザの状況を判定し、判定結果を上位制御部３３に供給する。オプティカルフロー算出部２６は、信号処理部２２からの画像からオプティカルフローを検出し、検出したオプティカルフローを上位制御部３３に供給する。
　ＩＲ投光部２７は、LEDからなり、上位制御部３３の制御のもと、イメージセンサ２８による瞬きや瞳孔サイズ検出用に点灯する。図２の例においては、片目に６個のＩＲ投光部２７が設けられているが、個数は限定されない。イメージセンサ２８は、例えば、CMOSイメージセンサで構成され、図２に示されるように、ディスプレイシステム１の筐体（ユーザの身体）に対して内向きに配置され、制御部２９の制御のもと、内向きの画像（以下、内向き画像とも称する）、すなわち、顔や眼の画像を取り込む。制御部２９は、上位制御部３３からの制御のもと、イメージセンサ２８および信号処理部３０の動作を制御する。
　信号処理部３０は、イメージセンサ２８により撮像された内向き画像に対して、所定の信号処理を行い、瞬きや瞳孔サイズ検出のための情報などを取得するとともに、信号処理後の画像を、状態検出部３１、認識処理部３２に出力する。
　状態検出部３１は、信号処理部３０からの明るさ情報と光源色温度情報、認識処理部３２からの各種処理の結果から、いまのユーザの状況を判定し、判定結果を上位制御部３３に供給する。認識処理部３２は、信号処理部２２からの画像に対して、眼の検出や視線検出などを行い、眼の検出結果を、状態検出部３１を介して、上位制御部３３に供給し、視線検出の結果を、状態検出部３１に供給する。
　上位制御部３３は、イメージセンサ２１からの外向き画像から得られる情報と、イメージセンサ２８からの内向き画像から得られる情報との少なくとも１つを用いて、外光除去処理、瞳孔による状態確認処理、瞬きによる状態確認処理、並びに、総合判定および制御処理（状況判定処理、精神状態判定処理、精神状態によるディスプレイ色味制御処理）を行い、制御部２３、制御部２９、および表示装置１２の上位制御部４１を制御する。
　表示装置１２は、上位制御部４１、偏向制御部４２、アクティブ偏向部４３、OLED制御部４４、および透過型ディスプレイ４５により構成されている。
　上位制御部４１は、撮像装置１１の上位制御部３３からの制御のもと、偏向制御部４２およびOLED制御部４４を制御し、撮像装置１１からの画像を、透過型ディスプレイ４５に表示させる。偏向制御部４２は、上位制御部４１の制御のもと、アクティブ偏向部４３の偏向を制御する。アクティブ偏向部４３は、偏向制御部４２の制御のもと、アクティブ液晶シャッタを偏向させる。
　OLED制御部４４は、上位制御部４１の制御のもと、透過型ディスプレイ４５の表示を制御する。透過型ディスプレイ４５は、OLED制御部４４の制御のもと、表示を行う。
　＜本技術の概要＞
　次に、図２を参照して、本技術の概要について説明する。
　まず、図２に示されるように、ディスプレイシステム１は、眼鏡（ウェアラブルな形状）で構成されている。ディスプレイシステム１の撮像装置１１において、外向きに配置されたイメージセンサ２１からは、外向き画像が入力される。内向きに配置されたイメージセンサ２８からは、内向き画像（眼の画像）が入力される。なお、外向き画像からは、物体認識と物体に対しての外（環境光）の明るさが検出される。また、外向き画像からは、画像の部分的な明るさも取得できるため、視線位置の眩しさが検出できる。
　矢印Ｐ１の先に示されるように、上位制御部３３は、両眼（少なくとも片眼）の検出を行うことで、瞳孔の大きさと瞬き回数を取得することができる。そこで、上位制御部３３は、精神状態分析処理を行い、瞳孔の大きさに応じて、精神状態を分析する。上位制御部３３は、瞬き回数や視線の動き検出に応じて、精神状態を分析する。そして、上位制御部３３は、また、検出された視線位置の眩しさや分析された精神状態に応じて、表示装置１２を制御する。
　矢印Ｐ２の先に示されるように、表示装置１２への制御情報は、上位制御部３３から、上位制御部４１に渡される。例えば、上位制御部４１は、分析された精神状態に応じて、OLED制御部４４による表示色や透過率などを制御する。なお、実際には、上述した偏向制御部４２によるアクティブ偏向部４３の制御は、上位制御部４１により視線位置の眩しさに応じて行われる。すなわち、視線位置の眩しさに応じて、アクティブ液晶シャッタが偏向されるので、瞳孔の大きさを判定する際に、外光の明るさを排除することができる。
　なお、アクティブ液晶シャッタの偏向について、シースルー画像（すなわち、ディスプレイコントロールによるビデオスルー）を用いる場合、図３に示されるように、液晶コントロールによる液晶のシースルー＋ビデオスルーの区間を無制御状態として、暗さに応じた瞳孔サイズを基準値として、精神状態による瞳孔変化を検出するようにしてもよい。
　図３の例においては、液晶のシースルー＋ビデオスルーの場合と、液晶のシースルーだけの場合の明暗状態が示されている。ただし、瞳孔サイズは、2 mm乃至8mmであるため、8mmのときには限界となる。
　＜システムの動作＞
　次に、図４のフローチャートを参照して、ディスプレイシステム１の制御処理について説明する。
　撮像装置１１のイメージセンサ２１は、制御部２３の制御のもと、外向き画像を取り込む。イメージセンサ２８は、制御部２９の制御のもと、内向き画像を取り込む。
　ステップＳ１１において、撮像装置１１は、外向き画像を用いて、状況検出処理を行う。この状況検出処理については、図５を参照して後述するが、ステップＳ１１の処理により、環境光を元にした明るさ情報、光原色温度情報、動き検出による情報、空、道路などの環境情報、物体認識による情報などが検出される。
　ステップＳ１２において、撮像装置１１は、外向き画像および内向き画像を用いて、外光除去処理を行う。この外光除去処理については、図７を参照して後述するが、ステップＳ１２の処理により、光量情報、空間的明るさ情報、視線情報が取得されて、視線先の明るさが推定され、瞳入射光が制御される。
　ステップＳ１３において、撮像装置１１は、内向き画像を用いて、瞳孔サイズによる状態確認処理を行う。瞳孔サイズによる状態確認処理は、図１０を参照して後述するが、ステップＳ１３の処理により、瞳孔の大きさに応じて、精神状態が分析される。
　ステップＳ１４において、撮像装置１１は、内向き画像を用いて、瞬きによる状態確認処理を行う。瞬きによる状態確認処理は、図１１を参照して後述するが、ステップＳ１４の処理により、瞬き回数に応じて、また、視線の動きの有無に応じて、精神状態が分析される。
　ステップＳ１５において、撮像装置１１は、ステップＳ１１乃至Ｓ１４のすべての処理結果に応じて、総合判定および制御処理を行う。総合判定および制御処理は、図１２を参照して後述するが、ステップＳ１５の処理により、精神状態による表示装置１２のディスプレイ制御が行われ、処理は、ステップＳ１１に戻り、ユーザが処理を終了するまで、それ以降の処理が繰り返される。
　次に、図５のフローチャートを参照して、図４のステップＳ１１の状況検出処理について説明する。なお、この状況検出処理を行う信号処理部２２および認識処理部２４の機能ブロックは、図６に示されている。
　図６の例において、信号処理部２２は、前段処理部６１、メイン処理部６２、後段処理部６３、AE(Auto Exposure)用検波処理部６４、AWB(Auto White Balance)用検波処理部６５、および制御部６６により構成されている。
　前段処理部６１は、イメージセンサ２１からのアナログの画像信号をデジタルの画像信号に変換し、主にレンズやイメージセンサ２１などに起因した劣化に対しての補正処理を行う。メイン処理部６２は、前段処理部６１より供給された画像データに対して、ホワイトバランスやガンマ補正などの処理を行う。後段処理部６３は、輝度データY、色差データCr，Cbを生成し、認識処理部２４など後段の各部に出力する。
　AE用検波処理部６４は、前段処理部６１からの画像データに対して、AE用の検波処理を行い、AE情報を、明るさ情報として制御部６６に供給する。AWB用検波処理部６５は、前段処理部６１からの画像データに対して、AWB用の検波処理を行い、AWB情報を、光源色温度情報として制御部６６に供給する。制御部６６は、明るさ情報および光源色温度情報を、状態検出部２５に供給する。
　認識処理部２４は、物体認識部７１、動き検出部７２、画面上下状態検出部７３により構成される。認識処理部２４は、後段処理部６３により生成された輝度データY、色差データCr，Cbを用いて、ハンドルなどの物体認識処理を行い、物体認識情報を状態検出部２５に供給する。動き検出部７２は、後段処理部６３により生成された輝度データY、色差データCr，Cbを用いて、動き検出処理を行い、動き検出情報を状態検出部２５に供給する。画面上下状態検出部７３は、後攻段処理部６３により生成された輝度データY、色差データCr，Cbを用いて、画面の上下の状態、例えば、空や道路の状態を検出し、検出された空や道路情報を、状態検出部２５に供給する。
　図５に戻って、ステップＳ３１において、状態検出部２５は、屋内屋外天候判定処理を行う。すなわち、状態検出部２５は、AE用検波処理部６４により前段処理部６１からの画像データに対して検出された明るさ情報と、AWB用検波処理部６５により前段処理部６１からの画像データに対して検出された光源色温度情報と、画面上下状態検出部７３により検出された空や道路情報とに基づいて、屋内屋外天候判定処理を行い、その結果を、状態制御部２５に供給する。
　ステップＳ３２において、状態検出部２５は、物体認識部７１により認識された物体認識情報に基づいて、乗り物判定処理を行い、その結果を、上位制御部３３に供給する。
　さらに、ステップＳ３３において、状態検出部２５は、動き検出部７２による動き検出情報を参照して、速度判定処理を行い、その結果を上位制御部３３に供給する。
　次に、図７のフローチャートを参照して、図４のステップＳ１２の外光除去処理を説明する。なお、この外光除去処理を行う信号処理部２２、信号処理部３０、および認識処理部３２の機能ブロックは、図８に示されている。
　図８の例において、信号処理部２２は、前段処理部６１、メイン処理部６２、後段処理部６３、AE(Auto Exposure)用検波処理部６４、および制御部６６により構成されている。
　前段処理部６１は、イメージセンサ２１からのアナログの画像信号をデジタルの画像信号に変換し、主にレンズやイメージセンサ２１などに起因した劣化に対しての補正処理を行う。メイン処理部６２は、前段処理部６１より供給された画像データに対して、ホワイトバランスやガンマ補正などの処理を行う。後段処理部６３は、輝度データY、色差データCr，Cbを生成し、出力画像として、認識処理部２４など後段の各部に出力する。
　AE用検波処理部６４は、前段処理部６１からの画像データに対して、AE用の検波処理を行い、AE情報を明るさ情報として、制御部６６に供給する。また、AE用検波処理部６４は、空間的明るさ情報を求めて、制御部６６に供給する。制御部６６は、AE情報から光量情報を取得し、空間的明るさ情報とともに、状態検出部２５を介して、上位制御部３３に供給する。
　なお、空間的明るさ情報は、後段処理部６３からの出力画像からも取得することができる。
　信号処理部３０は、前段処理部８１、メイン処理部８２、後段処理部８３、AE(Auto Exposure)用検波処理部８４、および制御部８６により構成されている。
　前段処理部８１は、イメージセンサ２８からのアナログの画像信号をデジタルの画像信号に変換し、主にレンズやイメージセンサ２８などに起因した劣化に対しての補正処理を行う。メイン処理部８２は、前段処理部８１より供給された画像データに対して、ホワイトバランスやガンマ補正などの処理を行う。後段処理部８３は、輝度データY、色差データCr，Cbを生成し、出力画像として、認識処理部３２の視線検出部９１に出力する。
　AE用検波処理部８４は、前段処理部８１からの画像データに対して、AE用の検波処理を行い、AE情報を明るさ情報として、制御部８６に供給する。また、AE用検波処理部８４は、空間的明るさ情報を求めて、制御部８６に供給する。制御部６６は、AE情報から光量情報を取得し、空間的明るさ情報とともに、状態検出部３１を介して、上位制御部３３に供給する。
　認識処理部３２は、視線検出部９１を含むように構成される。視線検出部９１は、視線情報を取得し、状態検出部３１を介して、上位制御部３３に供給する。
　図７に戻って、上位制御部３３は、ステップＳ５１において、イメージセンサ２８の内向き画像からの空間的明るさ情報および光量情報を用いて、明るさ状態に変化があったか否かを判定する。ステップＳ５１において、明るさ状態に変化がないと判定された場合、外光除去処理は終了される。
　ステップＳ５１において、明るさ状態に変化があったと判定された場合、処理は、ステップＳ５２に進む。上位制御部３３は、ステップＳ５２において、イメージセンサ２１からの外向き画像（制御部６６）からの光量情報を取得し、ステップＳ５３において、イメージセンサ２１からの外向き画像（または出力画像）からの空間的明るさ情報を取得する。
　そして、上位制御部３３は、ステップＳ５４において、イメージセンサ２８からの内向き画像からの視線情報を視線検出部９１より取得する。その後、上位制御部３３は、ステップＳ５５において、ステップＳ５２乃至Ｓ５４で得られた情報を用いて、図９の画像１０１と視線の先を表すＰに示されるように、明るい場所を見ている場合であるか、画像１０２と視線の先を表すＰに示されるように、暗い場所を見ている場合であるか、視線先の明るさを推定する。
　その後、ステップＳ５６において、上位制御部３３は、図３を参照して上述したように、表示装置１２の上位制御部４１を制御し、瞳入射光をコントロールする。
　次に、図１０のフローチャートを参照して、図４のステップＳ１３の瞳孔サイズによる状況確認処理を行う。この処理は、内向き画像を用いての認識処理部３２による眼の検出結果に基づいて行われる処理である。
　上位制御部３３は、瞳孔サイズの標準値を予め設定しており、ステップＳ７１において、標準値より瞳孔が大きいか否かを判定する。ステップＳ７１において、標準値より大きいと判定された場合、処理は、ステップＳ７２に進む。ステップＳ７２において、上位制御部３３は、ユーザの状態を興奮状態であると判定する。
　一方、ステップＳ７１において、標準値より小さいと判定された場合、処理は、ステップＳ７３に進む。ステップＳ７３において、上位制御部３３は、ユーザの状態を安定状態であると判定する。
　次に、図１１のフローチャートを参照して、図４のステップＳ１４の瞬きによる状況確認処理を行う。この処理は、内向き画像を用いての認識処理部３２による眼の検出結果に基づいて行われる処理である。
　上位制御部３３は、瞬き回数の標準値を予め設定しており、ステップＳ９１において、標準値より瞬き回数が多いか否かを判定する。ステップＳ９１において、瞬き回数が多いと判定された場合、処理は、ステップＳ９２に進む。ステップＳ９２において、上位制御部３３は、ユーザの状態を興奮状態であると判定する。
　一方、ステップＳ９１において、瞬き回数が少ないと判定された場合、処理は、ステップＳ９３に進む。ステップＳ９３において、上位制御部３３は、視線の動きがあるか否かを判定する。ステップＳ９３において、視線の動きがあると判定された場合、処理は、ステップＳ９４に進む。ステップＳ９４において、上位制御部３３は、ユーザの状態を安定状態であると判定する。
　ステップＳ９３において、視線の動きがないと判定された場合、処理は、ステップＳ９５に進む。ステップＳ９５において、上位制御部３３は、ユーザの状態をボーっとしている状態であると判定する。
　なお、瞬き回数が少ない例としては、凝視をしている場合があげられるが、これは、いずれ緊張状態になるものと思われる。
　次に、図１２のフローチャートを参照して、図４のステップＳ１５の総合判定および制御処理について説明する。
　上位制御部３３は、ステップＳ１１１において、図４のステップＳ１１の状況検出処理において検出された情報を用いて、現在、ユーザがどのような状況であるのか（例えば、自動車に運転手として乗っているのか、自動車で同乗者として乗っているのか、走っているのか、歩いているのか、静止しているのか、天候はどうであるのか）などを判定する状況判定処理を行う。
　ステップＳ１１２において、上位制御部３３は、図４のステップＳ１３における判定結果（興奮状態、通常状態）と、ステップＳ１４における判定結果（興奮状態、安定状態、ボーっとしている状態）からユーザの精神状態を判定する精神状態判定処理を行う。
　ステップＳ１１３において、上位制御部３３は、ステップＳ１１２により判定された精神状態によるディスプレイ色味制御を行う。すなわち、上位制御部３３は、表示装置１２の上位制御部４１を制御し、判定された精神状態に応じて、OLED制御部４４に、透過型ディスプレイ４５のWBを調整させる。なお、このとき、ステップＳ１１１により判定された状況に応じた色味の強さが調整に用いられる。
　以上のようにすることで、例えば、精神状態が、瞳孔が小さいことで緊張状態（集中状態）と判定された場合、OLED制御部４４は、透過型ディスプレイ４５を暖色系表示させる。これにより、ユーザの緊張状態（ストレス）を緩和させることができる。
　また、図７を参照して上述したように、外向き画像からの明るさ情報などを用いて、イメージセンサ２１のアクティブシャッタにより、瞳入射光をコントロールするようにしたので、外的な明るさによる瞳孔サイズの変動は抑制されている。これにより、瞳孔サイズの判定に確実性を与えることができる。
　例えば、精神状態が、瞬き回数が多いことで緊張状態と判定された場合、瞳孔が小さいことで緊張状態（集中状態）と判定された場合と同様に、OLED制御部４４は、透過型ディスプレイ４５を暖色系表示させる。
　また、例えば、精神状態が、瞬き回数が少ないが、視線の動きがあることで、ボーっとしている状態と判定された場合、集中状態ではないので、ディスプレイの明るさを、明るい方向へコントロールすることで、ユーザを緊張状態へ誘導させることができる。
　例えば、精神状態が、安定状態と判定された場合は、特に、ディスプレイの制御を行わない。
　なお、予め登録された食品が物体認識により検出された場合、WBと共にその検出された食品の色合いを変更するようにしてもよい。ただし、特定の食品に対して色合いを変える場合には、シールスー画像ではなく、ビデオ画像を用いる。
　また、例えば、食欲を抑制させるために、食品が写るディスプレイを青系表示させることも可能である。これにより、ユーザは、ダイエットを促進することができる。
　なお、上記説明においては、精神状態の制御について説明したが、他の例として、認識処理により特定人物を検出させることで、特定人物と会話するときだけ精神状態を制御するようにしてもよい。
　さらに他の例としては、見ているシーンに対して、そのシーンに応じた効果を表示するようにしてもよい。
　以上により、本技術によれば、精神状態をより詳細に把握することができる。また、把握した精神状態に応じて、表示を制御することができる。これにより、ユーザの精神状態を制御することができる。
　なお、本技術は、ウェアラブルな表示装置に限らず、さまざまな形態の表示装置を含むディスプレイシステムに適用することができる。
＜２.第２の実施の形態＞
　＜パーソナルコンピュータ＞
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
　図１３は、上述した一連の処理の一部または全部をパーソナルコンピュータで構成する場合のプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
　パーソナルコンピュータ２００において、CPU（Central Processing Unit）２０１、ROM（Read Only Memory）２０２、RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２１０が接続されている。入出力インタフェース２１０には、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、及びドライブ２１５が接続されている。
　入力部２１１は、キーボード、マウス、マイクロホンなどよりなる。出力部２１２は、ディスプレイ、スピーカなどよりなる。記憶部２１３は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１４は、ネットワークインタフェースなどよりなる。ドライブ２１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体２２１を駆動する。
　以上のように構成されるパーソナルコンピュータ２００では、CPU２０１が、例えば、記憶部２１３に記憶されているプログラムを、入出力インタフェース２１０及びバス２０４を介して、RAM２０３にロードして実行する。これにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、リムーバブル記録媒体２２１に記録して提供することができる。リムーバブル記録媒体２２１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータにおいて、プログラムは、リムーバブル記録媒体２２１をドライブ２１５に装着することにより、入出力インタフェース２１０を介して、記憶部２１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１４で受信し、記憶部２１３にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２１３に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
＜３．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１５は、撮像部１２０３１の設置位置の例を示す図である。
　図１５では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０、撮像部１２０３１（撮像部１２１０１ないし１２１０４含む）、車内情報検出ユニット１２０４０、運転者状態検出部１２０４１、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、表示部１２０６２に適用され得る。具体的には、例えば、図１のイメージセンサ２１は、撮像部１２０３１に適用することができる。図１の信号処理部２２乃至オプティカルフロー算出部２６は、車外情報検出ユニット１２０３０に適用することができる。図１の上位制御部３３は、マイクロコンピュータ１２０５１に適用することができる。図１のイメージセンサ２８およびIR投光部２７は、運転者状態検出部１２０４１に適用することができる。図１の制御部２９乃至認識処理部３２は、車内情報検出ユニット１２０４０に適用することができる。図１の上位制御部４１は、音声画像出力部１２０５２に適用することができる。偏向制御部４２乃至透過型ディスプレイ４５は、表示部１２０６２に適用することができる。車両制御システムに本開示に係る技術を適用することにより、精神状態をより詳細に把握することができるため、例えば、運転者がボーっと眠そうなとき、眼が覚めるような表示を行うようにしたり、運転者が緊張状態のとき、和めるような表示を行うようにすることができるという格別な効果を得ることができる。
　なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定する明るさ推定部と、
　前記明るさ推定部により視線の位置が明るいと推定された場合、光の入射を制御する光入射制御部と、
　前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定する精神状態判定部と、
　前記精神状態判定部により判定された精神状態に応じて、表示部の色味を制御する表示制御部と
　を備える表示制御装置。
　（２）　前記精神状態判定部は、前記内向き画像から検出される瞬き回数が所定の回数より多い場合、前記ユーザの精神状態が興奮状態であると判定する
　前記（１）に記載の表示制御装置。
　（３）　前記精神状態判定部は、前記内向き画像から検出される瞬き回数が所定の回数より多い場合、前記ユーザの精神状態が興奮状態であると判定する
　前記（１）または（２）に記載の表示制御装置。
　（４）　前記精神状態判定部は、前記内向き画像から検出される瞬き回数が所定の回数より少なく、かつ、視線の動きがない場合、前記ユーザの精神状態がボーっとしている状態であると判定する
　前記（１）乃至（３）のいずれかに記載の表示制御装置。
　（５）　前記表示制御部は、前記精神状態判定部により前記ユーザの精神状態がボーっとしている状態であると判定された場合、前記表示部の明るさを制御する
　前記（４）に記載の表示制御装置。
　（６）　前記外向き画像から、前記ユーザの外的状況を検出する外的状況検出部を
　さらに備え、
　前記表示制御部は、前記外的状況検出部により検出されたユーザの外的状況に応じて、前記表示部の色味の加減を調整する
　前記（１）乃至（５）のいずれかに記載の表示制御装置。
　（７）　前記明るさ推定部は、前記内向き画像から明るさに変化があったと検出された場合、前記視線の位置が明るいか否かを推定する
　前記（１）乃至（６）のいずれかに記載の表示制御装置。
　（８）　前記ユーザに対して外向きに設置された外向き撮像部と、
　前記ユーザに対して内向きに設置された内向き撮像部と
　をさらに備える前記（１）乃至（７）のいずれかに記載の表示制御装置。
　（９）　前記表示部を
　さらに備える前記（１）乃至（８）のいずれかに記載の表示制御装置。
　（１０）　前記表示部は、ウェアラブルな形状の表示部である
　前記（１）乃至（９）のいずれかに記載の表示制御装置。
　（１１）　表示制御装置が、
　外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定し、
　前記視線の位置が明るいと推定された場合、光の入射を制御し、
　前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定し、
　判定された精神状態に応じて、表示部の色味を制御する
　表示制御方法。
　（１２）　外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定する明るさ推定部と、
　前記明るさ推定部により視線の位置が明るいと推定された場合、光の入射を制御する光入射制御部と、
　前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定する精神状態判定部と、
　前記精神状態判定部により判定された精神状態に応じて、表示部の色味を制御する表示制御部として、コンピュータを機能させるプログラム。
１　ディスプレイシステム，　１１　撮像装置，　１２　表示装置，　２１　イメージセンサ，２２　信号処理部，　２３　制御部，　２４　認識処理部，２５　状態検出部，　２６　オプティカルフロー算出部，　２７　ＩＲ投光部，２８　イメージセンサ，　２９　制御部，　３０　信号処理部，　３１　状態検出部，　３２　認識処理部，　３３　上位制御部，　６１　前段処理部，　６２　メイン処理部，　６３　後段処理部，　６４　AE用検波処理部，　６５　AWB用検波処理部，　６６　制御部，　７１　物体認識部，　７２　動き検出部，　７３　画面上下状態検出部，　８１　前段処理部，　８２　メイン処理部，　８３　後段処理部，　８４　AE用検波処理部，　８６　制御部　

Claims (12)

  1. 　外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定する明るさ推定部と、
    　前記明るさ推定部により視線の位置が明るいと推定された場合、光の入射を制御する光入射制御部と、
    　前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定する精神状態判定部と、
    　前記精神状態判定部により判定された精神状態に応じて、表示部の色味を制御する表示制御部と
    　を備える表示制御装置。
  2. 　前記精神状態判定部は、前記内向き画像から検出される瞬き回数が所定の回数より多い場合、前記ユーザの精神状態が興奮状態であると判定する
    　請求項１に記載の表示制御装置。
  3. 　前記表示制御部は、前記精神状態判定部により前記ユーザの精神状態が興奮状態であると判定された場合、前記表示部の色味が暖色系になるように制御する
    　請求項２に記載の表示制御装置。
  4. 　前記精神状態判定部は、前記内向き画像から検出される瞬き回数が所定の回数より少なく、かつ、視線の動きがない場合、前記ユーザの精神状態がボーっとしている状態であると判定する
    　請求項２に記載の表示制御装置。
  5. 　前記表示制御部は、前記精神状態判定部により前記ユーザの精神状態がボーっとしている状態であると判定された場合、前記表示部の明るさを制御する
    　請求項４に記載の表示制御装置。
  6. 　前記外向き画像から、前記ユーザの外的状況を検出する外的状況検出部を
    　さらに備え、
    　前記表示制御部は、前記外的状況検出部により検出されたユーザの外的状況に応じて、前記表示部の色味の加減を調整する
    　請求項１に記載の表示制御装置。
  7. 　前記明るさ推定部は、前記内向き画像から明るさに変化があったと検出された場合、前記視線の位置が明るいか否かを推定する
    　請求項１に記載の表示制御装置。
  8. 　前記ユーザに対して外向きに設置された外向き撮像部と、
    　前記ユーザに対して内向きに設置された内向き撮像部と
    　をさらに備える請求項１に記載の表示制御装置。
  9. 　前記表示部を
    　さらに備える請求項１に記載の表示制御装置。
  10. 　前記表示部は、ウェアラブルな形状の表示部である
    　請求項９に記載の表示制御装置。
  11. 　表示制御装置が、
    　外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定し、
    　前記視線の位置が明るいと推定された場合、光の入射を制御し、
    　前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定し、
    　判定された精神状態に応じて、表示部の色味を制御する
    　表示制御方法。
  12. 　外向きに設置された外向き撮像部により撮像された外向き画像から取得される光量情報および空間的な明るさを示す空間的明るさ情報と、内向きに設置された内向き撮像部により撮像された内向き画像から検出されるユーザの視線の位置を示す視線情報とから、前記視線の位置が明るいか否かを推定する明るさ推定部と、
    　前記明るさ推定部により視線の位置が明るいと推定された場合、光の入射を制御する光入射制御部と、
    　前記内向き画像から検出される瞳孔サイズが所定のサイズより大きい場合、前記ユーザの精神状態が興奮状態であると判定する精神状態判定部と、
    　前記精神状態判定部により判定された精神状態に応じて、表示部の色味を制御する表示制御部として、コンピュータを機能させるプログラム。
PCT/JP2018/001586 2017-02-01 2018-01-19 表示制御装置および方法、並びにプログラム WO2018142969A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017016486A JP2018125707A (ja) 2017-02-01 2017-02-01 表示制御装置および方法、並びにプログラム
JP2017-016486 2017-02-01

Publications (1)

Publication Number Publication Date
WO2018142969A1 true WO2018142969A1 (ja) 2018-08-09

Family

ID=63039634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001586 WO2018142969A1 (ja) 2017-02-01 2018-01-19 表示制御装置および方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP2018125707A (ja)
WO (1) WO2018142969A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11675431B2 (en) * 2019-09-30 2023-06-13 Mitsubishi Electric Corporation Image display device, display control device, and display control method, and program and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003618A (ja) * 2005-06-21 2007-01-11 Sharp Corp 表示装置および携帯端末装置
JP2008242134A (ja) * 2007-03-28 2008-10-09 Nikon Corp 表示装置
JP2015215619A (ja) * 2015-06-10 2015-12-03 ソニー株式会社 表示装置、表示方法、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007003618A (ja) * 2005-06-21 2007-01-11 Sharp Corp 表示装置および携帯端末装置
JP2008242134A (ja) * 2007-03-28 2008-10-09 Nikon Corp 表示装置
JP2015215619A (ja) * 2015-06-10 2015-12-03 ソニー株式会社 表示装置、表示方法、プログラム

Also Published As

Publication number Publication date
JP2018125707A (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
US9734425B2 (en) Environmental scene condition detection
KR101579098B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
KR101631439B1 (ko) 카메라, 및 이를 구비한 차량
EP3211616A2 (en) Driver assistance apparatus
WO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2018019387A (ja) 信号処理装置、撮影装置、及び、信号処理方法
JP2007142624A (ja) 車両搭載撮像装置
JP6977722B2 (ja) 撮像装置、および画像処理システム
US11553117B2 (en) Image pickup control apparatus, image pickup apparatus, control method for image pickup control apparatus, and non-transitory computer readable medium
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP5948170B2 (ja) 情報表示装置、情報表示方法およびプログラム
KR20200050959A (ko) 화상 처리 디바이스, 화상 처리 방법, 및 프로그램
WO2017195459A1 (ja) 撮像装置、および撮像方法
WO2018142969A1 (ja) 表示制御装置および方法、並びにプログラム
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
CN110012215B (zh) 图像处理装置和图像处理方法
JP7030703B2 (ja) 信号処理装置、撮影装置、及び、信号処理方法
US10999488B2 (en) Control device, imaging device, and control method
WO2018012317A1 (ja) 信号処理装置、撮影装置、及び、信号処理方法
WO2018220993A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2020137503A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18748014

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18748014

Country of ref document: EP

Kind code of ref document: A1