WO2021201161A1 - 検出装置および画像表示モジュール - Google Patents

検出装置および画像表示モジュール Download PDF

Info

Publication number
WO2021201161A1
WO2021201161A1 PCT/JP2021/014006 JP2021014006W WO2021201161A1 WO 2021201161 A1 WO2021201161 A1 WO 2021201161A1 JP 2021014006 W JP2021014006 W JP 2021014006W WO 2021201161 A1 WO2021201161 A1 WO 2021201161A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
detection device
template
detection unit
Prior art date
Application number
PCT/JP2021/014006
Other languages
English (en)
French (fr)
Inventor
薫 草深
佐藤　昭典
村田　充弘
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020175409A external-priority patent/JP2021166031A/ja
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to EP21782012.5A priority Critical patent/EP4131158A4/en
Priority to US17/916,682 priority patent/US20230156178A1/en
Priority to CN202180027474.3A priority patent/CN115398493A/zh
Publication of WO2021201161A1 publication Critical patent/WO2021201161A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/312—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being placed behind the display panel, e.g. between backlight and spatial light modulator [SLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Definitions

  • This disclosure relates to a detection device and an image display module.
  • Patent Document 1 An example of the prior art is described in Patent Document 1.
  • the detection device includes a camera and a detection unit.
  • the camera is configured to capture a human face.
  • the detection unit is configured to detect the position of the human eye from the captured image output from the camera by template matching.
  • the image display system includes a display unit, a barrier unit, a camera, a detection unit, and a control unit.
  • the display unit is configured to display a parallax image projected via an optical system to both human eyes.
  • the barrier portion is configured to give parallax to both eyes by defining the traveling direction of the image light of the parallax image.
  • the camera is configured to capture a human face.
  • the detection unit is configured to detect the positions of both eyes of a person from the captured image output from the camera by template matching.
  • the control unit controls the display unit according to the positions of both eyes of the person detected by the detection unit.
  • the position data indicating the position of the pupil is acquired by using the captured image obtained by capturing the user's eye with the camera.
  • the position data for example, a patent.
  • Document 1 an image is displayed on a display so that the image corresponding to the left eye and the right eye of the user can be visually recognized based on the position of the pupil indicated by the position data (for example, a patent).
  • the detection device 50 may be mounted on the mobile body 10.
  • the detection device 50 includes a camera 11 and a detection unit 15.
  • the moving body 10 may include a three-dimensional projection system 100.
  • the three-dimensional projection system 100 includes a detection device 50 and a three-dimensional projection device 12.
  • the "moving body" in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like.
  • Vehicles may include, for example, automobiles, industrial vehicles, railroad vehicles, living vehicles, fixed-wing aircraft traveling on runways, and the like.
  • Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses and the like.
  • Industrial vehicles may include, for example, industrial vehicles for agriculture and construction.
  • Industrial vehicles may include, for example, forklifts, golf carts, and the like.
  • Industrial vehicles for agriculture may include, for example, tractors, cultivators, porting machines, binders, combines, lawnmowers and the like.
  • Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, mobile cranes, dump trucks, road rollers and the like.
  • the vehicle may include a vehicle that travels manually.
  • the classification of vehicles is not limited to the above examples.
  • an automobile may include an industrial vehicle that can travel on the road.
  • the same vehicle may be included in multiple categories.
  • Vessels may include, for example, marine jets, boats, tankers and the like.
  • Aircraft may include, for example, fixed-wing aircraft, rotorcraft, and the like.
  • the moving body 10 is a passenger car
  • the moving body 10 is not limited to the passenger car, and may be any of the above examples.
  • the camera 11 may be attached to the moving body 10.
  • the camera 11 is configured to capture an image including the face (human face) of the driver 13 of the moving body 10.
  • the mounting position of the camera 11 is arbitrary inside and outside the moving body 10.
  • the camera 11 may be located within the dashboard of the moving body 10.
  • the camera 11 may be a visible light camera or an infrared camera.
  • the camera 11 may have the functions of both a visible light camera and an infrared camera.
  • the camera 11 may include, for example, a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image captured by the camera 11 is output to the detection unit 15.
  • the detection unit 15 is configured to detect the position of the driver 13's eye 5 from the captured image output from the camera 11 by template matching.
  • the camera 11 may output to the detection unit 15 in all frames, and the detection unit 15 may detect the position of the eye 5 by template matching in all frames.
  • the position of the eye 5 of the driver 13 may be the pupil position.
  • Template matching is an image process that searches a target image for a position that best matches the template image.
  • the target image is the captured image 51 output from the camera 11.
  • the template image 52 includes a facial portion in which the relative positional relationship with the eyes 5 of the driver 13 or the eyes 5 of the driver 13 is specified.
  • the eyes 5 of the driver 13 included in the template image 52 may be both eyes, and may be only the right eye or only the left eye.
  • the facial part whose relative positional relationship with the eyes 5 of the driver 13 is specified may be, for example, eyebrows or nose.
  • the template image 52 includes both eyes as the eyes 5 of the driver 13.
  • the captured image includes the pupil of the user. If the captured image does not include the pupil, the pupil position cannot be detected. For example, the pupil position cannot be detected from an image captured when the user closes his / her eyes due to blinking or the like. Since the template matching according to the present disclosure searches for a position that best matches the template image 52, even if the captured image 51 does not include a pupil, the captured image can be captured by utilizing features other than the pupil included in the template image 52. The most suitable position of 51 can be searched.
  • the amount of calculation required for template matching is smaller than the amount of calculation required for pupil detection when the captured image 51 of the same size is targeted for detection.
  • the detection unit 15 can increase the calculation speed for outputting the detection result as compared with the pupil detection.
  • the shape of the template image 52 may be a shape corresponding to the shape of the captured image 51. If the captured image 51 has a rectangular shape, the template image 52 may have a rectangular shape. The shape of the template image 52 does not have to be similar to the shape of the captured image 51, but may be similar. In the following, as shown in FIG. 2, an example in which the captured image 51 and the template image 52 have a rectangular shape will be described.
  • the detection result by the detection device 50 may be coordinate information indicating the pupil positions of the eyes 5 (both eyes) of the driver 13.
  • the coordinates of the position most suitable for the template image 52 in the captured image 51 are determined.
  • the coordinates of the matching position determined by the template matching may be, for example, the coordinates corresponding to the coordinates of the representative position of the template image 52.
  • the representative position of the template image 52 may be, for example, any one vertex position or the center position of the template image 52.
  • the relative coordinate position relationship between the coordinates of the pupil position included in the template image 52 and, for example, the representative position of the template image 52 may be specified in advance.
  • the coordinate information of the pupil position in the captured image 51 can be determined by the determined coordinates and the coordinate position relationship specified in advance. can. For example, even if the driver 13 closes the eye 5 and the captured image 51 does not include the pupil, the coordinate information of the pupil position estimated to have been detected if the eye is open can be obtained. Can be decided. Since the detection device 50 of the present disclosure can determine the coordinate information of the pupil position even when the driver 13 closes the eyes 5 due to blinking or the like, the coordinate information can be continuously output without interruption.
  • the detection device 50 may include, for example, a sensor.
  • the sensor may be an ultrasonic sensor, an optical sensor, or the like.
  • the camera 11 is configured to detect the position of the head of the driver 13 by a sensor, and may be configured to detect the position of the eyes 5 of the driver 13 based on the position of the head.
  • the camera 11 may be configured to detect the position of the driver 13's eye 5 as coordinates in three-dimensional space by two or more sensors.
  • the detection device 50 is configured to output coordinate information regarding the detected pupil position of the eye 5 to the three-dimensional projection device 12. Based on this coordinate information, the three-dimensional projection device 12 may be configured to control the image to be projected. The detection device 50 may be configured to output information indicating the pupil position of the eye 5 to the three-dimensional projection device 12 via wired communication or wireless communication. Wired communication may include, for example, CAN (Controller Area Network) and the like.
  • the detection unit 15 may be an external device.
  • the camera 11 may be configured to output the captured image 51 to the external detection unit 15.
  • the external detection unit 15 may be configured to detect the pupil position of the eye 5 of the driver 13 by template matching from the image output from the camera 11.
  • the external detection unit 15 may be configured to output coordinate information regarding the detected pupil position of the eye 5 to the three-dimensional projection device 12. Based on this coordinate information, the three-dimensional projection device 12 may be configured to control the image to be projected.
  • the camera 11 may be configured to output an image captured via wired communication or wireless communication to an external detection unit 15.
  • the external detection unit 15 may be configured to output coordinate information to the three-dimensional projection device 12 via wired communication or wireless communication. Wired communication may include, for example, CAN and the like.
  • the position of the three-dimensional projection device 12 is arbitrary inside and outside the moving body 10.
  • the three-dimensional projection device 12 may be located in the dashboard of the moving body 10.
  • the three-dimensional projection device 12 is configured to emit image light toward the windshield 25.
  • the windshield 25 is configured to reflect the image light emitted from the three-dimensional projection device 12.
  • the image light reflected by the windshield 25 reaches the eyebox 16.
  • the eye box 16 is an area in real space where the eyes 5 of the driver 13 are assumed to exist in consideration of, for example, the physique, posture, and changes in the posture of the driver 13.
  • the shape of the eye box 16 is arbitrary.
  • the eyebox 16 may include a planar or three-dimensional region.
  • the solid arrow shown in FIG. 1 indicates a path through which at least a part of the image light emitted from the three-dimensional projection device 12 reaches the eye box 16.
  • the path through which image light travels is also called an optical path.
  • the driver 13 can visually recognize the virtual image 14 by the image light reaching the eye box 16.
  • the virtual image 14 is located on a path (a straight line shown by a chain line in the figure) extending from the windshield 25 to the eye 5 in front of the moving body 10.
  • the three-dimensional projection device 12 can function as a head-up display by allowing the driver 13 to visually recognize the virtual image 14.
  • the direction in which the eyes 5 of the driver 13 are lined up corresponds to the x-axis direction.
  • the vertical direction corresponds to the y-axis direction.
  • the imaging range of the camera 11 includes the eye box 16.
  • the three-dimensional projection device 12 includes a three-dimensional display device 17 and an optical element 18.
  • the three-dimensional projection device 12 may also be referred to as an image display module.
  • the three-dimensional display device 17 may include a backlight 19, a display unit 20 having a display surface 20a, a barrier unit 21, and a control unit 24.
  • the three-dimensional display device 17 may further include a communication unit 22.
  • the three-dimensional display device 17 may further include a storage unit 23.
  • the optical element 18 may include a first mirror 18a and a second mirror 18b. At least one of the first mirror 18a and the second mirror 18b may have optical power. In the present embodiment, the first mirror 18a is a concave mirror having optical power. It is assumed that the second mirror 18b is a plane mirror.
  • the optical element 18 may function as a magnifying optical system for enlarging the image displayed on the three-dimensional display device 17.
  • the one-dot chain line arrow shown in FIG. 3 indicates that at least a part of the image light emitted from the three-dimensional display device 17 is reflected by the first mirror 18a and the second mirror 18b and emitted to the outside of the three-dimensional projection device 12. The route when it is done is shown.
  • the image light emitted to the outside of the three-dimensional projection device 12 reaches the windshield 25, is reflected by the windshield 25, and reaches the driver 13's eye 5. As a result, the driver 13 can visually recognize the image displayed on the three-dimensional display device 17.
  • the optical element 18 and the windshield 25 are configured so that the image light emitted from the three-dimensional display device 17 can reach the eye 5 of the driver 13.
  • the optical element 18 and the windshield 25 may form an optical system.
  • the optical system is configured so that the image light emitted from the three-dimensional display device 17 reaches the eye 5 of the driver 13 along the optical path indicated by the alternate long and short dash line.
  • the optical system may be configured to control the traveling direction of the image light so that the image visually recognized by the driver 13 is enlarged or reduced.
  • the optical system may be configured to control the traveling direction of the image light so as to deform the shape of the image to be visually recognized by the driver 13 based on a predetermined matrix.
  • the optical element 18 is not limited to the illustrated configuration.
  • the mirror may be a concave mirror, a convex mirror, or a plane mirror.
  • the shape may include at least a spherical shape or at least a part aspherical shape.
  • the number of elements constituting the optical element 18 is not limited to two, and may be one or three or more.
  • the optical element 18 is not limited to the mirror and may include a lens.
  • the lens may be a concave lens or a convex lens.
  • the shape of the lens may include at least a spherical shape or at least a part aspherical shape.
  • the backlight 19 is located on the optical path of the image light on the side farther from the display unit 20 and the barrier unit 21 when viewed from the driver 13.
  • the backlight 19 emits light toward the barrier unit 21 and the display unit 20. At least a part of the light emitted by the backlight 19 travels along the optical path indicated by the alternate long and short dash line and reaches the eye 5 of the driver 13.
  • the backlight 19 may include a light emitting element such as an LED (Light Emission Diode) or an organic EL or an inorganic EL.
  • the backlight 19 may be configured so that the emission intensity and its distribution can be controlled.
  • the display unit 20 includes a display panel.
  • the display unit 20 may be, for example, a liquid crystal device such as an LCD (Liquid Crystal Display).
  • the display unit 20 includes a transmissive liquid crystal display panel.
  • the display unit 20 is not limited to this example, and may include various display panels.
  • the display unit 20 has a plurality of pixels, controls the transmittance of light incident from the backlight 19 in each pixel, and is configured to emit as image light reaching the eye 5 of the driver 13.
  • the driver 13 visually recognizes an image composed of image light emitted from each pixel of the display unit 20.
  • the barrier portion 21 is configured to define the traveling direction of the incident light. As shown in the example of FIG. 3, when the barrier unit 21 is located closer to the backlight 19 than the display unit 20, the light emitted from the backlight 19 is incident on the barrier unit 21 and is further incident on the display unit 20. Incident in. In this case, the barrier unit 21 is configured to block or attenuate a part of the light emitted from the backlight 19 and transmit the other part toward the display unit 20.
  • the display unit 20 emits incident light traveling in the direction defined by the barrier unit 21 as it is as image light traveling in the same direction. When the display unit 20 is located closer to the backlight 19 than the barrier unit 21, the light emitted from the backlight 19 is incident on the display unit 20 and further incident on the barrier unit 21. In this case, the barrier unit 21 is configured to block or attenuate a part of the image light emitted from the display unit 20 and transmit the other part toward the eye 5 of the driver 13.
  • the barrier unit 21 is configured to be able to control the traveling direction of the image light.
  • the barrier unit 21 causes a part of the image light emitted from the display unit 20 to reach either the left eye 5L or the right eye 5R (see FIG. 4) of the driver 13 and drives the other part of the image light. It is configured to reach the other of the left eye 5L and the right eye 5R of the person 13. That is, the barrier portion 21 is configured to divide at least a part of the traveling direction of the image light into the left eye 5L and the right eye 5R of the driver 13.
  • the left eye 5L and the right eye 5R are also referred to as the first eye and the second eye, respectively.
  • the barrier unit 21 is located between the backlight 19 and the display unit 20. That is, the light emitted from the backlight 19 first enters the barrier portion 21, and then enters the display portion 20.
  • the display unit 20 has a left eye viewing area 201L visually recognized by the driver 13's left eye 5L and a right eye visually recognized by the driver 13's right eye 5R on the display surface 20a. Includes the viewing area 201R.
  • the display unit 20 is configured to display a parallax image including a left eye image visually recognized by the left eye 5L of the driver 13 and a right eye image visually recognized by the right eye 5R of the driver 13.
  • the parallax image is an image projected on each of the left eye 5L and the right eye 5R of the driver 13, and is an image that gives parallax to both eyes of the driver 13.
  • the display unit 20 is configured to display the left eye image in the left eye viewing area 201L and display the right eye image in the right eye viewing area 201R. That is, the display unit 20 is configured to display the parallax image in the left eye viewing area 201L and the right eye viewing area 201R. It is assumed that the left eye viewing area 201L and the right eye viewing area 201R are aligned in the u-axis direction representing the parallax direction.
  • the left eye viewing area 201L and the right eye viewing area 201R may extend along the v-axis direction orthogonal to the parallax direction, or may extend in a direction inclined at a predetermined angle with respect to the v-axis direction.
  • the left eye viewing area 201L and the right eye viewing area 201R may be alternately arranged along a predetermined direction including a component in the parallax direction.
  • the pitch in which the left eye visual region 201L and the right eye visual region 201R are alternately arranged is also referred to as a parallax image pitch.
  • the left eye viewing area 201L and the right eye viewing area 201R may be located at intervals or may be adjacent to each other.
  • the display unit 20 may further have a display area for displaying a flat image on the display surface 20a. It is assumed that the planar image is an image that does not give parallax to the eyes 5 of the driver 13 and is not stereoscopically viewed.
  • the barrier portion 21 has an opening region 21b and a light-shielding surface 21a.
  • the barrier unit 21 controls the transmittance of the image light emitted from the display unit 20. It is configured as follows.
  • the opening region 21b is configured to transmit light incident on the barrier portion 21 from the display portion 20.
  • the opening region 21b may transmit light with a transmittance of the first predetermined value or more.
  • the first predetermined value may be, for example, 100%, or may be a value close to 100%.
  • the light-shielding surface 21a is configured to block the light incident on the barrier unit 21 from the display unit 20.
  • the light-shielding surface 21a may transmit light at a transmittance of a second predetermined value or less.
  • the second predetermined value may be, for example, 0% or a value close to 0%.
  • the first predetermined value is larger than the second predetermined value.
  • the opening region 21b and the light-shielding surface 21a are alternately arranged in the u-axis direction representing the parallax direction.
  • the boundary between the opening region 21b and the light-shielding surface 21a may be along the v-axis direction orthogonal to the parallax direction as illustrated in FIG. 4, or along a direction inclined at a predetermined angle with respect to the v-axis direction. good.
  • the opening region 21b and the light-shielding surface 21a may be arranged alternately along a predetermined direction including a component in the parallax direction.
  • the barrier unit 21 is located on the optical path of the image light on the side farther than the display unit 20 when viewed from the driver 13.
  • the barrier unit 21 is configured to control the transmittance of light incident from the backlight 19 toward the display unit 20.
  • the opening region 21b is configured to transmit light incident from the backlight 19 toward the display unit 20.
  • the light-shielding surface 21a is configured to block the light incident on the display unit 20 from the backlight 19. By doing so, the traveling direction of the light incident on the display unit 20 is limited to a predetermined direction.
  • a part of the image light can be controlled by the barrier portion 21 to reach the driver 13's left eye 5L.
  • the other part of the image light can be controlled by the barrier portion 21 to reach the driver 13's right eye 5R.
  • the barrier portion 21 may be composed of a liquid crystal shutter.
  • the liquid crystal shutter can control the light transmittance based on the applied voltage.
  • the liquid crystal shutter is composed of a plurality of pixels, and the light transmittance in each pixel may be controlled.
  • the liquid crystal shutter can form a region having a high light transmittance or a region having a low light transmittance into an arbitrary shape.
  • the opening region 21b may have a transmittance of the first predetermined value or more.
  • the light-shielding surface 21a may have a transmittance of 2 or less predetermined values.
  • the first predetermined value may be set to a value higher than the second predetermined value.
  • the ratio of the second predetermined value to the first predetermined value may be set to 1/100 in one example. In other examples, the ratio of the second predetermined value to the first predetermined value may be set to 1/1000.
  • the barrier portion 21 having a shape-changeable shape between the opening region 21b and the light-shielding surface 21a is also referred to as an active barrier.
  • the control unit 24 is configured to control the display unit 20.
  • the control unit 24 may be configured to control the barrier unit 21.
  • the control unit 24 may be configured to control the backlight 19.
  • the control unit 24 is configured to acquire coordinate information regarding the pupil position of the eye 5 of the driver 13 from the detection device 50 and control the display unit 20 based on the coordinate information.
  • the control unit 24 may be configured to control at least one of the barrier unit 21 and the backlight 19 based on the coordinate information.
  • the control unit 24 may receive the image output from the camera 11 and detect the eye 5 of the driver 13 from the received image. In other words, the control unit 24 may have the same function as the detection unit 15 and may be configured to also serve as the detection unit 15.
  • the control unit 24 may be configured to control the display unit 20 based on the detected pupil position of the eye 5.
  • the control unit 24 may be configured to control at least one of the barrier unit 21 and the backlight 19 based on the detected pupil position of the eye 5.
  • the control unit 24 and the detection unit 15 are configured as, for example, a processor.
  • the control unit 24 and the detection unit 15 may include one or more processors.
  • the processor may include a general-purpose processor that loads a specific program and executes a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 24 and the detection unit 15 may be either a SoC (System-on-a-Chip) in which one or a plurality of processors cooperate, or a SiP (System In a Package).
  • the communication unit 22 may include an interface capable of communicating with an external device.
  • the external device may include, for example, a detection device 50.
  • the external device may be configured to provide, for example, image information to be displayed on the display unit 20.
  • the communication unit 22 may acquire various information from an external device such as the detection device 50 and output it to the control unit 24.
  • the "communicable interface" in the present disclosure may include, for example, a physical connector and a wireless communication device.
  • the physical connector may include an electric connector corresponding to transmission by an electric signal, an optical connector corresponding to transmission by an optical signal, and an electromagnetic connector corresponding to transmission by an electromagnetic wave.
  • the electrical connector may include a IEC60603 compliant connector, a USB standard compliant connector, or a connector corresponding to an RCA terminal.
  • the electric connector may include a connector corresponding to the S terminal specified in EIAJ CP-121aA or a connector corresponding to the D terminal specified in EIAJ RC-5237.
  • the electrical connector may include a connector conforming to the HDMI® standard or a connector corresponding to a coaxial cable including a BNC (British Naval Connector or Baby-series N Connector, etc.).
  • the optical connector may include various connectors conforming to IEC 61754.
  • the wireless communication device may include a wireless communication device conforming to each standard including Bluetooth (registered trademark) and IEEE8021a.
  • the wireless communication device includes at least one antenna.
  • the storage unit 23 may be configured to store various information, a program for operating each component of the three-dimensional display device 17, and the like.
  • the storage unit 23 may be composed of, for example, a semiconductor memory or the like.
  • the storage unit 23 may function as a work memory of the control unit 24.
  • the storage unit 23 may be included in the control unit 24.
  • the light emitted from the backlight 19 passes through the barrier unit 21 and the display unit 20 and reaches the driver 13's eye 5.
  • the path of the light emitted from the backlight 19 to reach the eye 5 is represented by a broken line.
  • the light that passes through the opening region 21b of the barrier portion 21 and reaches the right eye 5R passes through the right eye viewing region 201R of the display unit 20. That is, the right eye 5R can visually recognize the right eye viewing region 201R by the light transmitted through the opening region 21b.
  • the light that passes through the opening region 21b of the barrier portion 21 and reaches the left eye 5L passes through the left eye viewing region 201L of the display unit 20. That is, the left eye 5L can visually recognize the left eye viewing area 201L by the light transmitted through the opening area 21b.
  • the display unit 20 is configured to display a right eye image and a left eye image in the right eye viewing area 201R and the left eye viewing area 201L, respectively.
  • the barrier portion 21 is configured so that the image light related to the left eye image reaches the left eye 5L and the image light related to the right eye image reaches the right eye 5R.
  • the opening region 21b is configured so that the image light related to the left eye image reaches the left eye 5L of the driver 13 and the image light related to the right eye image reaches the right eye 5R of the driver 13.
  • the three-dimensional display device 17 can project a parallax image onto both eyes of the driver 13.
  • the driver 13 can view the image stereoscopically by viewing the parallax image with the left eye 5L and the right eye 5R.
  • At least a part of the image light transmitted from the opening region 21b of the barrier portion 21 and emitted from the display surface 20a of the display unit 20 reaches the windshield 25 via the optical element 18.
  • the image light is reflected by the windshield 25 and reaches the eye 5 of the driver 13.
  • the eye 5 of the driver 13 can visually recognize the second virtual image 14b located on the side in the negative direction of the z-axis with respect to the windshield 25.
  • the second virtual image 14b corresponds to the image displayed by the display surface 20a.
  • the opening region 21b and the light-shielding surface 21a of the barrier portion 21 form a first virtual image 14a in front of the windshield 25 and on the negative direction side of the z-axis of the second virtual image 14b.
  • the driver 13 visually recognizes the image as if the display unit 20 exists at the position of the second virtual image 14b and the barrier unit 21 exists at the position of the first virtual image 14a. Can be done.
  • the image light related to the image displayed on the display surface 20a is emitted from the three-dimensional display device 17 in the direction defined by the barrier unit 21.
  • the optical element 18 is configured to emit light toward the windshield 25.
  • the optical element 18 may be configured to reflect or refract image light.
  • the windshield 25 is configured to reflect the image light and advance it toward the eye 5 of the driver 13.
  • the driver 13 visually recognizes the parallax image as a virtual image 14.
  • the driver 13 can see stereoscopically by visually recognizing the virtual image 14.
  • the image corresponding to the parallax image among the virtual images 14 is also referred to as a parallax virtual image.
  • the parallax virtual image is a parallax image projected through the optical system.
  • the image corresponding to the plane image among the virtual images 14 is also referred to as a plane virtual image. It can be said that the plane virtual image is a plane image projected through the optical system.
  • the detection unit 15 may use the entire captured image 51 as a search range in template matching.
  • the detection unit 15 may use a part of the captured image 51 as a search range.
  • a part of the search range may be a region including the face of the driver 13 included in the captured image 51.
  • the detection unit 15 detects the face of the driver 13 included in the captured image 51 captured by the camera 11, and has a predetermined size including the detected face (from the entire captured image 51).
  • Set the search range small.
  • the detection unit 15 may search within the set search range with the template image 52 and perform template matching. Since the search range by the template image 52 is smaller than that of the entire captured image 51, the amount of calculation related to template matching can be reduced. By reducing the amount of calculation, the detection unit 15 can increase the calculation speed required to output the detection result.
  • the detection unit 15 is configured to generate a template image 52 from the captured image 51 captured by the camera before the start of the search.
  • the detection unit 15 may detect the pupil of the captured image 51, and use a predetermined peripheral region including the detected pupil as the template image 52.
  • the predetermined peripheral region generated as the template image 52 may be, for example, an region corresponding to the eye box 16 in the three-dimensional projection device 12.
  • the detection device 50 may execute, for example, the template image generation process shown in the flow chart of FIG.
  • the detection device 50 may start the template image generation process, for example, when the three-dimensional projection system 100 is started (when the power is turned on).
  • the camera 11 takes an image, acquires the captured image 51, and outputs it to the detection unit 15.
  • the captured image 51 of the camera 11 includes, for example, the face of the driver 13 seated in the seat of the moving body 10.
  • the detection unit 15 cuts out a first region including the eye box 16 from the captured image 51, and in step A3, performs face detection on the cut out first region, and the driver's face is displayed. Determine if it was detected. If the face is detected, the process proceeds to step A4, and if the face is not detected, the process returns to step A1 and the camera 11 takes an image again.
  • step A4 the detection unit 15 cuts out the second region including the detected face from the first region, and in step A5, the detection unit 15 performs pupil detection on the second region, and is the pupil detected? Judge whether or not. If the pupil is detected, the process proceeds to step A6, and if it is not detected, the process returns to step A1 and imaging by the camera 11 is performed again.
  • step A6 the detection unit 15 extracts the pupil peripheral region including the detected pupil as the template image 52, and ends the template image generation process.
  • the detection unit 15 may store the extracted template image 52 in, for example, a storage area or a storage unit 23 of the detection unit 15.
  • the detection unit 15 may extract a region having the same size as the eye box 16 around the pupil as a template image 52.
  • the detection unit 15 may store the relative coordinate positional relationship between the representative position of the template image 52 and the pupil position together with the template image 52.
  • the template image 52 may be temporarily stored in the storage area of the detection unit 15 while the three-dimensional projection system 100 is running.
  • the template image 52 may be stored in the storage unit 23 in association with the imaged driver 13, for example.
  • the template image 52 stored in the storage unit 23 can be read from the storage unit 23 by the detection unit 15 when the three-dimensional projection system 100 is started next time or later, so that the template image generation process can be omitted.
  • the detection unit 15 can update (rewrite) the template image 52 stored in the storage unit 23 by executing the template image generation process again.
  • the template matching process will be explained using a flow chart.
  • the detection device 50 may execute, for example, the template matching process shown in the flow chart of FIG.
  • the detection device 50 may execute the template image generation process at the time of starting the three-dimensional projection system 100, and start the template matching process after the template image generation process is completed.
  • the detection device 50 may start the template matching process when the three-dimensional projection system 100 is started.
  • step B1 the detection unit 15 acquires the captured image 51 from the camera 11.
  • step B2 the detection unit 15 cuts out the region around the position where the template image 52 is extracted from the captured image 51 as a search range.
  • the position coordinates from which the template image 52 is extracted may be stored in association with the template image 52.
  • step B3 the detection unit 15 performs template matching on the search range using the template image 52.
  • the detection unit 15 determines the position having the highest degree of conformity with the template image 52 within the search range and the degree of conformity thereof by template matching.
  • step B4 the detection unit 15 determines whether or not the determined goodness of fit is equal to or greater than the threshold value.
  • step B5 the detection unit 15 determines the coordinates of the pupil position in the captured image 51 based on the coordinates of the position having the highest degree of compatibility with the template image 52 in the search range and the relative coordinate position relationship specified in advance. And end the template matching process.
  • the determined coordinate information of the pupil position is output from the detection device 50 to the three-dimensional projection device 12.
  • the control unit 24 controls the parallax image displayed on the display unit 20 by using the coordinate information of the pupil position acquired from the detection device 50.
  • the driver's seat of the moving body 10 is configured to be movable in the front-rear direction, for example.
  • the posture of the driver 13 may change while the moving body 10 is being driven.
  • the front-rear position of the driver's seat or the posture of the driver 13 changes and the face of the driver 13 moves in the z direction.
  • the captured image 51 captures the face of the driver 13 smaller than before the movement.
  • the captured image 51 captures the face of the driver 13 larger than before the movement.
  • the template image 52 may be scaled, and the template image 52 after the scaling may be used for template matching.
  • template matching may be performed using a plurality of template images 52 having different enlargement ratios.
  • template matching may be performed using a plurality of template images 52 having different reduction ratios.
  • the template matching process of another example will be explained using a flow chart.
  • the detection device 50 may execute, for example, the template matching process shown in the flow chart of FIG. 7.
  • the detection device 50 may execute the template image generation process at the time of starting the three-dimensional projection system 100, and start the template matching process after the template image generation process is completed.
  • the detection device 50 may start the template matching process when the three-dimensional projection system 100 is started.
  • step C5 the detection unit 15 changes a plurality of scaling factors of the template image 52 to perform scaling processing on the template image.
  • the detection unit 15 performs template matching using the template image 52 after the scaling process. Since the detection device 50 does not detect how the posture of the driver 13 has changed, both the enlargement process and the reduction process are performed as the scaling process. Since a plurality of template images 52 after the scaling process are generated, the detection unit 15 performs template matching on the plurality of template images 52 and determines the template image 52 having the highest degree of conformity.
  • step C6 the detection unit 15 estimates the position of the driver in the z direction based on the variable magnification of the template image 52 having the highest degree of conformity.
  • step C7 the coordinates of the pupil position in the captured image 51 are determined in the same manner as in step B5, the coordinates of the pupil position are corrected based on the estimated position in the z direction, and the template matching process is completed.
  • the determined coordinate information of the pupil position is output from the detection device 50 to the three-dimensional projection device 12.
  • the 3D projection system 100A of another example will be described.
  • the detection device 50A includes a camera 11, a detection unit 15A, and a prediction unit 30. Since the configuration of the three-dimensional projection system 100A other than the detection device 50A is the same as that of the above-mentioned three-dimensional projection system 100, the same reference numerals are given and detailed description thereof will be omitted.
  • the prediction unit 30 is configured to predict the position of the eye 5 at a time after the current time based on the positions of the plurality of eyes 5 detected by the detection unit 15.
  • the position of the eye 5 of the present embodiment may also be coordinate information indicating the position of the pupil of the eye 5 of the driver 13 in the same manner as described above.
  • the positions of the plurality of eyes 5 include the positions of the eyes 5 whose detected times are different from each other.
  • the prediction unit 30 may be configured to predict the position of the future eye 5 by using a plurality of prediction data which is a combination of the detection time and the coordinate information, and output the position as the prediction position.
  • the detection unit 15A detects the position of the eye 5
  • the detection unit 15A sequentially stores the coordinate information and the detection time as prediction data in, for example, a storage area of the detection unit 15, a storage area of the prediction unit 30, or a storage unit 23. You can.
  • the position of the future eye 5 refers to the future with respect to a plurality of stored prediction data.
  • the method of predicting the position of the eye 5 by the prediction unit 30 may be, for example, a method using a prediction function.
  • the prediction function is a function derived from a plurality of stored prediction data.
  • a function formula using a coefficient determined in advance by an experiment or the like may be stored in the storage area of the detection unit 15A, the storage area of the prediction unit 30, or the storage unit 23.
  • the prediction function may be updated every time the prediction unit 30 predicts the position of the eye 5.
  • the prediction unit 30 inputs the future time to be predicted into the prediction function, and outputs the coordinate information of the position (prediction position) of the eye 5 at the input time.
  • the future time to be predicted may be the time when the next template matching is executed, for example, the time when the next frame is input from the camera 11.
  • the detection unit 15A may use a part of the captured image 51 as the search range in the template matching.
  • the detection unit 15A is configured to set a region including the position of the eye 5 predicted by the prediction unit 30 as a search range in template matching. In the captured image 51, the detection unit 15A sets a region including the prediction position output by the prediction unit 30 as a prediction area, and sets the set prediction area as a search range in template matching.
  • the predicted region including the predicted position may be a region smaller than the captured image 51 and larger than the template image 52, and the predicted position may be included in the region.
  • the center coordinates of the predicted region may be a region that matches the coordinates of the predicted position.
  • the shape and size of the search range in the template matching of the present embodiment may have a similar relationship with the template image, for example.
  • the detection unit 15A executes template matching using such an area as a search range.
  • the template matching of the present embodiment is the same as the above-mentioned template matching except that the search range is different.
  • the position most suitable for the template image 52 is searched in the prediction area which is the search range.
  • the detection result may be coordinate information indicating the position of the pupil of the eye 5 of the driver 13. Since the prediction area that is the search range of the present embodiment includes the prediction position output by the prediction unit 30, there is a possibility that the pupil position of the eye 5 is included in the search range even if the search range is made smaller. high.
  • the detection unit 15A can increase the calculation speed required to output the detection result.
  • the prediction unit 30 may be configured to further calculate the rate of change of the position of the eye 5 based on the positions of the plurality of eyes 5 detected by the detection unit 15A.
  • the coordinate information and the detection time are stored as prediction data, and if a plurality of prediction data are used, the change speed of the position of the eye 5 can be calculated.
  • the moving distance of the position of the eye 5 is calculated from the coordinate information based on the difference between the two prediction data, and the time is calculated from the detection time, so that the rate of change of the position of the eye 5 can be calculated.
  • the moving distance can be calculated for each of the x-axis direction component and the y-axis direction component, and the rate of change of the position of the eye 5 can also be calculated for the x-axis direction component and the y-axis direction component, respectively.
  • the detection unit 15A is configured to change the size of the search range in template matching according to the change speed calculated by the prediction unit 30. If the rate of change calculated by the prediction unit 30 is large, it is predicted that the moving distance of the position of the eye 5 is large. For example, when the x-axis direction component of the calculated change rate and the y-axis direction component of the change rate are compared, it is predicted that the moving distance of the position of the eye 5 is large in the direction in which the change rate component is large.
  • the search range in template matching can be set small by predicting the position of the eye 5, but the position of the eye 5 deviates from the predicted position in the direction in which the component of the rate of change is large. Therefore, it may be out of the search range.
  • the detection unit 15A may widen the prediction region including the prediction position in the direction in which the component of the rate of change is large so that the position of the eye 5 does not fall outside the search range.
  • the detection unit 15A executes template matching using such a widened area as a search range.
  • the template matching process including the prediction of the pupil position will be explained using a flow chart.
  • the detection device 50A may execute, for example, the template matching process shown in the flow chart of FIG.
  • the detection device 50A may execute the template image generation process at the time of starting the three-dimensional projection system 100A, and start the template matching process after the template image generation process is completed.
  • the detection device 50A may start the template matching process when the three-dimensional projection system 100A is started.
  • step B11 the detection unit 15A acquires the captured image 51 from the camera 11.
  • step B12 the detection unit 15A cuts out the search range from the captured image 51.
  • the search range cut out in step B12 is the search range determined in step B17, which will be described later.
  • step B17 is not executed and the search range is not determined in advance, the area around the position where the template image 52 is extracted may be set as the search range.
  • step B13 the detection unit 15A performs template matching on the search range using the template image 52. The detection unit 15A determines the position having the highest degree of conformity with the template image 52 within the search range and the degree of conformity thereof by template matching.
  • step B14 the detection unit 15A determines whether or not the determined goodness of fit is equal to or greater than the threshold value. If it is equal to or more than the threshold value, the process proceeds to step B15, and if it is less than the threshold value, the process returns to step B1 and a new captured image 51 is acquired from the camera 11.
  • step B15 the detection unit 15A determines the coordinates of the pupil position in the captured image 51 based on the coordinates of the position having the highest degree of conformity with the template image 52 in the search range and the relative coordinate position relationship specified in advance. do.
  • the determined coordinate information of the pupil position is output from the detection device 50 to the three-dimensional projection device 12.
  • the control unit 24 controls the parallax image displayed on the display unit 20 by using the coordinate information of the pupil position acquired from the detection device 50.
  • step B16 the prediction unit 30 predicts the future pupil position and outputs it as the predicted position.
  • the prediction unit 30 updates the prediction function based on, for example, the latest prediction data which is a combination of the coordinate information of the pupil position determined in step B15 and the detection time, and the stored past prediction data. do.
  • the prediction unit 30 predicts the pupil position using the updated prediction function and outputs the predicted position.
  • the detection unit 15A determines the area including the predicted position output from the prediction unit 30 as the search range, and returns to step B11.
  • the face of the driver 13 may move back and forth. Further, when the driver 13 tilts his / her head, the face of the driver 13 may tilt. When the face of the driver 13 moves back and forth, the face of the driver 13 in the captured image 51 appears large or small, which is similar to the case where the image is enlarged or reduced. When the face of the driver 13 is tilted, the face of the driver 13 in the captured image is similar to that in the case of rotation processing.
  • the detection unit 15A compares the predicted position with the immediately preceding pupil position.
  • the detection unit 15A updates the template image 52 with the template image 52 having a variable magnification according to the inter-eye distance.
  • the detection unit 15A prepares in advance, for example, a plurality of template images 52 having different enlargement ratios by the scaling process and a plurality of template images 52 having different reduction ratios by the scaling process, and the distance between the eyes is increased.
  • the corresponding template image 52 may be selected.
  • the prediction unit 30 predicts the pupil position of the left eye and the pupil position of the right eye, respectively, and the detection unit 15A compares the pupil position of the immediately preceding left eye with the pupil position of the right eye to obtain an intereye distance. Changes in may be detected.
  • the detection unit 15A converts the template image 52 into a template image 52 having a rotation angle according to the change in tilt. Update.
  • the detection unit 15A may, for example, create a plurality of template images 52 having different rotation angles by rotation processing in advance, and select the template image 52 according to the change in inclination.
  • the prediction unit 30 predicts the pupil position of the left eye and the pupil position of the right eye, respectively, and the detection unit 15A compares the pupil position of the immediately preceding left eye with the pupil position of the right eye in the y-axis direction.
  • the tilt change may be detected from the position change of.
  • the positions (y-coordinates) of the pupil position of the left eye and the pupil position of the right eye in the y-axis direction change in different directions. For example, if the position of the pupil of the left eye in the y-axis direction changes upward and the position of the pupil of the right eye in the y-axis direction changes downward, a tilt change occurs.
  • the detection unit 15A may calculate the rotation angle based on the magnitude of the position change in the y-axis direction of the left eye and the right eye.
  • the detection device 50A may execute, for example, the template matching process shown in the flow chart of FIG.
  • the detection unit 15A acquires the captured image 51 from the camera 11.
  • the detection unit 15A cuts out the search range from the captured image 51.
  • the search range cut out in step C12 is the search range determined in step C18 described later.
  • the area around the position where the template image 52 is extracted may be set as the search range.
  • the detection unit 15A performs template matching on the search range using the updated template image 52.
  • the template image 52 is the template image 52 updated in step C17 described later.
  • the detection unit 15A determines the position having the highest degree of conformity with the template image 52 within the search range and the degree of conformity thereof by template matching. In step C14, the detection unit 15A determines whether or not the determined goodness of fit is equal to or greater than the threshold value. If it is equal to or more than the threshold value, the process proceeds to step C15, and if it is less than the threshold value, the process returns to step C11 and a new captured image 51 is acquired from the camera 11. In step C15, the detection unit 15A determines the coordinates of the pupil position in the captured image 51 based on the coordinates of the position having the highest degree of conformity with the template image 52 in the search range and the relative coordinate position relationship specified in advance. do.
  • the determined coordinate information of the pupil position is output from the detection device 50 to the three-dimensional projection device 12.
  • the control unit 24 controls the parallax image displayed on the display unit 20 by using the coordinate information of the pupil position acquired from the detection device 50.
  • step C16 the prediction unit 30 predicts the future pupil position and outputs it as the predicted position.
  • step C17 the detection unit 15A updates the template image 52.
  • the detection unit 15A compares the predicted position with the position of the pupil immediately before, and updates the template image 52 to at least scaling or rotation processing according to the comparison result.
  • step C18 the detection unit 15A determines the area including the predicted position output from the prediction unit 30 as the search range, and returns to step C11.
  • the configuration according to the present disclosure is not limited to the embodiments described above, and can be modified or changed in many ways.
  • the functions and the like included in each component and the like can be rearranged so as not to be logically inconsistent, and a plurality of components and the like can be combined or divided into one.
  • the descriptions such as “first” and “second” are identifiers for distinguishing the configuration.
  • the configurations distinguished by the descriptions such as “first” and “second” in the present disclosure can exchange numbers in the configurations.
  • the first eye can exchange the identifiers “first” and “second” with the second eye.
  • the exchange of identifiers takes place at the same time.
  • the configuration is distinguished.
  • the identifier may be deleted.
  • the configuration with the identifier removed is distinguished by a code. Based solely on the description of identifiers such as “first” and “second” in the present disclosure, it shall not be used as a basis for interpreting the order of the configurations and for the existence of identifiers with smaller numbers.
  • the x-axis, y-axis, and z-axis are provided for convenience of explanation and may be interchanged with each other.
  • the configuration according to the present disclosure has been described using a Cartesian coordinate system composed of x-axis, y-axis, and z-axis.
  • the positional relationship of each configuration according to the present disclosure is not limited to being orthogonal.
  • the detection device includes a camera and a detection unit.
  • the camera is configured to capture a human face.
  • the detection unit is configured to detect the position of the human eye from the captured image output from the camera by template matching.
  • the image display system includes a display unit, a barrier unit, a camera, a detection unit, and a control unit.
  • the display unit is configured to display a parallax image projected via an optical system to both human eyes.
  • the barrier portion is configured to give parallax to both eyes by defining the traveling direction of the image light of the parallax image.
  • the camera is configured to capture a human face.
  • the detection unit is configured to detect the positions of both eyes of a person from the captured image output from the camera by template matching.
  • the control unit controls the display unit according to the positions of both eyes of the person detected by the detection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

検出装置は、カメラと検出部とを備える。カメラは、人の顔を撮像するように構成される。検出部は、カメラから出力された撮像画像から人の眼の位置を、テンプレートマッチングによって検出するように構成される。

Description

検出装置および画像表示モジュール
　本開示は、検出装置および画像表示モジュールに関する。
　従来技術の一例は、特許文献１に記載されている。
特開２００１－１６６２５９号公報
　本開示の一実施形態に係る検出装置は、カメラと検出部とを備える。カメラは、人の顔を撮像するように構成される。検出部は、前記カメラから出力された撮像画像から人の眼の位置を、テンプレートマッチングによって検出するように構成される。
　本開示の一実施形態に係る画像表示システムは、表示部とバリア部とカメラと検出部と制御部とを備える。表示部は、人の両眼に対して光学系を介して投影される視差画像を表示するように構成される。バリア部は、前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与えるように構成される。カメラは、人の顔を撮像するように構成される。検出部は、前記カメラから出力された撮像画像から人の両眼の位置を、テンプレートマッチングによって検出するように構成される。制御部は、前記検出部で検出された人の両眼の位置に応じて前記表示部を制御する。
　本発明の目的、特色、および利点は、下記の詳細な説明と図面とからより明確になるであろう。
検出装置が搭載された移動体の概略構成の一例を示す図である。 テンプレートマッチングを説明するための模式図である。 ３次元投影システムの概略構成の一例を示す図である。 運転者の眼と表示部とバリア部との関係を示す模式図である。 検出装置のテンプレート画像生成処理の一例を説明するためのフロー図である。 検出装置のテンプレートマッチング処理の一例を説明するためのフロー図である。 検出装置のテンプレートマッチング処理の他の例を説明するためのフロー図である。 ３次元投影システムの概略構成の他の例を示す図である。 検出装置のテンプレートマッチング処理の他の例を説明するためのフロー図である。 検出装置のテンプレートマッチング処理の他の例を説明するためのフロー図である。
　本開示の基礎となる構成では、利用者の眼の位置検出を行う場合、カメラで利用者の眼を撮像した撮像画像を用いて、瞳孔の位置を示す位置データを取得する。例えば、３次元表示装置において、位置データが示す瞳孔の位置に基づいて、利用者の左眼および右眼にそれぞれ対応する画像を視認させるように、画像をディスプレイに表示させている（例えば、特許文献１）。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明がされる。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
　図１に示されるように、本開示の一実施形態に係る検出装置５０は、移動体１０に搭載されてよい。検出装置５０は、カメラ１１と、検出部１５と、を備える。移動体１０は、３次元投影システム１００を備えてよい。３次元投影システム１００は、検出装置５０と、３次元投影装置１２と、を備える。
　本開示における「移動体」は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。
　以下では、移動体１０が、乗用車である場合を例として説明する。移動体１０は、乗用車に限らず、上記例のいずれかであってよい。カメラ１１は、移動体１０に取り付けられてよい。カメラ１１は、移動体１０の運転者１３の顔（人の顔）を含む画像を撮像するように構成される。カメラ１１の取り付け位置は、移動体１０の内部及び外部において任意である。例えば、カメラ１１は、移動体１０のダッシュボード内に位置してよい。
　カメラ１１は、可視光カメラまたは赤外線カメラであってよい。カメラ１１は、可視光カメラと赤外線カメラの両方の機能を有していてよい。カメラ１１は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでよい。
　カメラ１１で撮像された画像は、検出部１５に出力される。検出部１５は、カメラ１１から出力された撮像画像から運転者１３の眼５の位置を、テンプレートマッチングによって検出するように構成される。カメラ１１からは、全てのフレームで検出部１５に出力されてよく、検出部１５は、全てのフレームでテンプレートマッチングによって眼５の位置を検出してよい。運転者１３の眼５の位置は、瞳孔位置であってよい。テンプレートマッチングは、対象画像からテンプレート画像に最も適合する位置を探索する画像処理である。本開示の検出装置５０において、対象画像は、カメラ１１から出力された撮像画像５１である。テンプレート画像５２は、運転者１３の眼５または運転者１３の眼５との相対的な位置関係が特定されている顔の部位を含む。テンプレート画像５２が含む運転者１３の眼５は、両眼であってよく、右眼のみまたは左眼のみであってよい。運転者１３の眼５との相対的な位置関係が特定されている顔の部位とは、例えば、眉毛または鼻などであってよい。図２に示す例では、テンプレート画像５２は、運転者１３の眼５として両眼を含む。
　本開示の基礎となる構成のような撮像画像からの瞳孔位置検出は、撮像画像が利用者の瞳孔を含むことが必須である。撮像画像に瞳孔が含まれていなければ、瞳孔位置を検出することができない。例えば、利用者が、瞬きなどで眼を閉じている時に撮像された画像からは、瞳孔位置を検出することができない。本開示によるテンプレートマッチングは、テンプレート画像５２と最も適合する位置を探索するので、撮像画像５１に瞳孔が含まれていない場合でも、テンプレート画像５２に含まれる瞳孔以外の特徴を利用して、撮像画像５１の最も適合する位置を探索することができる。テンプレート画像５２は、瞳孔より大きい画像であるので、同じ大きさの撮像画像５１を検出対象としたときに、テンプレートマッチングに要する演算量は、瞳孔検出に要する演算量よりも低減される。演算量の低減によって、検出部１５は、瞳孔検出に比べて検出結果の出力にかかる演算速度を高速化できる。
　テンプレート画像５２の形状は、撮像画像５１の形状に応じた形状であってよい。撮像画像５１が矩形状であれば、テンプレート画像５２は矩形状であってよい。テンプレート画像５２の形状は、撮像画像５１の形状と相似関係である必要はないが、相似関係であってよい。以下では、図２に示すように、撮像画像５１およびテンプレート画像５２が、矩形状である例について説明する。
　検出装置５０による検出結果は、運転者１３の眼５（両眼）の瞳孔位置を示す座標情報であってよい。テンプレートマッチングでは、撮像画像５１において、テンプレート画像５２に最も適合する位置の座標が決定される。テンプレートマッチングによって決定される適合位置の座標は、例えば、テンプレート画像５２の代表位置の座標に対応する座標であってよい。テンプレート画像５２の代表位置は、例えば、いずれか１つの頂点位置またはテンプレート画像５２の中心位置であってよい。テンプレート画像５２に含まれる瞳孔位置の座標と、例えば、テンプレート画像５２の代表位置との相対的な座標位置関係を予め特定しておけばよい。これにより、テンプレートマッチングによって、撮像画像５１における適合位置の座標が決定されると、決定された座標と予め特定された座標位置関係とによって、撮像画像５１における瞳孔位置の座標情報を決定することができる。例えば、運転者１３が眼５を閉じていて、撮像画像５１に瞳孔が含まれていない場合であっても、眼が開いていれば検出されたであろうと推定される瞳孔位置の座標情報を決定することができる。本開示の検出装置５０は、運転者１３が瞬きなどで眼５閉じた場合でも瞳孔位置の座標情報を決定できるので、途切れることなく連続して座標情報を出力することができる。
　検出装置５０は、例えば、センサを含んでよい。センサは、超音波センサ又は光センサ等であってよい。カメラ１１は、センサによって運転者１３の頭部の位置を検出するように構成され、頭部の位置に基づいて、運転者１３の眼５の位置を検出するように構成されうる。カメラ１１は、２つ以上のセンサによって、運転者１３の眼５の位置を三次元空間の座標として検出するように構成されうる。
　検出装置５０は、検出した眼５の瞳孔位置に関する座標情報を３次元投影装置１２に出力するように構成される。この座標情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。検出装置５０は、有線通信又は無線通信を介して眼５の瞳孔位置を示す情報を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ（Controller Area Network）等を含みうる。
　検出装置５０は、検出部１５が外部装置であってよい。カメラ１１は、撮像画像５１を外部の検出部１５に出力するように構成してよい。この外部の検出部１５では、カメラ１１から出力された画像から、テンプレートマッチングによって運転者１３の眼５の瞳孔位置を検出するように構成されてよい。この外部の検出部１５は、検出した眼５の瞳孔位置に関する座標情報を３次元投影装置１２に出力するように構成してよい。この座標情報に基づいて、３次元投影装置１２は、投影する画像を制御するように構成してよい。カメラ１１は、有線通信又は無線通信を介して撮像した画像を外部の検出部１５へ出力するように構成してよい。外部の検出部１５は、有線通信又は無線通信を介して座標情報を３次元投影装置１２へ出力するように構成してよい。有線通信は、例えばＣＡＮ等を含みうる。
　３次元投影装置１２の位置は、移動体１０の内部及び外部において任意である。例えば、３次元投影装置１２は、移動体１０のダッシュボード内に位置してよい。３次元投影装置１２は、ウインドシールド２５に向けて画像光を射出するように構成される。
　ウインドシールド２５は、３次元投影装置１２から射出された画像光を反射するように構成される。ウインドシールド２５で反射された画像光は、アイボックス１６に到達する。アイボックス１６は、例えば運転者１３の体格、姿勢、及び姿勢の変化等を考慮して、運転者１３の眼５が存在しうると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的又は立体的な領域を含んでよい。図１に示されている実線の矢印は、３次元投影装置１２から射出される画像光の少なくとも一部がアイボックス１６まで到達する経路を示す。画像光が進む経路は、光路とも称される。運転者１３の眼５がアイボックス１６内に位置する場合、運転者１３は、アイボックス１６に到達する画像光によって、虚像１４を視認可能である。虚像１４は、ウインドシールド２５から眼５に到達する経路を移動体１０の前方に延長した経路（図では、一点鎖線で示されている直線）の上に位置する。３次元投影装置１２は、運転者１３に虚像１４を視認させることによって、ヘッドアップディスプレイとして機能しうる。図１において、運転者１３の眼５が並ぶ方向は、ｘ軸方向に対応する。鉛直方向は、ｙ軸方向に対応する。カメラ１１の撮像範囲は、アイボックス１６を含む。
　図３に示されるように、３次元投影装置１２は、３次元表示装置１７と、光学素子１８とを備える。３次元投影装置１２は、画像表示モジュールとも称されうる。３次元表示装置１７は、バックライト１９と、表示面２０ａを有する表示部２０と、バリア部２１と、制御部２４とを備えうる。３次元表示装置１７は、通信部２２をさらに備えてよい。３次元表示装置１７は、記憶部２３をさらに備えてよい。
　光学素子１８は、第１ミラー１８ａと、第２ミラー１８ｂとを含んでよい。第１ミラー１８ａ及び第２ミラー１８ｂの少なくとも一方は、光学的なパワーを有してよい。本実施形態において、第１ミラー１８ａは、光学的なパワーを有する凹面鏡であるとする。第２ミラー１８ｂは、平面鏡であるとする。光学素子１８は、３次元表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。図３に示される一点鎖線の矢印は、３次元表示装置１７から射出される画像光の少なくとも一部が、第１ミラー１８ａ及び第２ミラー１８ｂによって反射され、３次元投影装置１２の外部に射出される際の経路を示す。３次元投影装置１２の外部に射出された画像光は、ウインドシールド２５に到達し、ウインドシールド２５で反射されて運転者１３の眼５に到達する。その結果、運転者１３は、３次元表示装置１７に表示された画像を視認できる。
　光学素子１８とウインドシールド２５とは、３次元表示装置１７から射出させる画像光を運転者１３の眼５に到達させうるように構成される。光学素子１８とウインドシールド２５とは、光学系を構成してよい。光学系は、３次元表示装置１７から射出される画像光を一点鎖線で示されている光路に沿って運転者１３の眼５に到達させるように構成される。光学系は、運転者１３に視認させる画像が拡大したり縮小したりするように、画像光の進行方向を制御するように構成してよい。光学系は、運転者１３に視認させる画像の形状を所定の行列に基づいて変形させるように、画像光の進行方向を制御するように構成してよい。
　光学素子１８は、例示される構成に限られない。ミラーは、凹面鏡であってよいし、凸面鏡であってよいし、平面鏡であってよい。ミラーが凹面鏡又は凸面鏡である場合、その形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。光学素子１８を構成する要素の数は、２つに限られず、１つであってよいし、３つ以上であってよい。光学素子１８は、ミラーに限られずレンズを含んでよい。レンズは、凹面レンズであってよいし、凸面レンズであってよい。レンズの形状は、少なくとも一部に球面形状を含んでよいし、少なくとも一部に非球面形状を含んでよい。
　バックライト１９は、画像光の光路上において、運転者１３から見て、表示部２０及びバリア部２１よりも遠い側に位置する。バックライト１９は、バリア部２１と表示部２０とに向けて光を射出する。バックライト１９が射出した光の少なくとも一部は、一点鎖線で示されている光路に沿って進行し、運転者１３の眼５に到達する。バックライト１９は、ＬＥＤ（Light Emission Diode）又は有機ＥＬ若しくは無機ＥＬ等の発光素子を含んでよい。バックライト１９は、発光強度、及び、その分布を制御可能に構成されてよい。
　表示部２０は、表示パネルを含む。表示部２０は、例えば、ＬＣＤ（Liquid Crystal Display）等の液晶デバイスであってよい。本実施形態において、表示部２０は、透過型の液晶表示パネルを含むとする。表示部２０は、この例に限られず、種々の表示パネルを含んでよい。
　表示部２０は、複数の画素を有し、各画素においてバックライト１９から入射する光の透過率を制御し、運転者１３の眼５に到達する画像光として射出するように構成される。運転者１３は、表示部２０の各画素から射出される画像光によって構成される画像を視認する。
　バリア部２１は、入射してくる光の進行方向を規定するように構成される。図３の例に示すように、バリア部２１が表示部２０よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、バリア部２１に入射し、さらに表示部２０に入射する。この場合、バリア部２１は、バックライト１９から射出される光の一部を遮ったり減衰させたりし、他の一部を表示部２０に向けて透過させるように構成される。表示部２０は、バリア部２１によって規定された方向に進行する入射光を、同じ方向に進行する画像光としてそのまま射出する。表示部２０がバリア部２１よりもバックライト１９に近い側に位置する場合、バックライト１９から射出される光は、表示部２０に入射し、さらにバリア部２１に入射する。この場合、バリア部２１は、表示部２０から射出される画像光の一部を遮ったり減衰させたりし、他の一部を運転者１３の眼５に向けて透過させるように構成される。
　表示部２０とバリア部２１とのどちらが運転者１３の近くに位置するかにかかわらず、バリア部２１は、画像光の進行方向を制御できるように構成される。バリア部２１は、表示部２０から射出される画像光の一部を運転者１３の左眼５Ｌ及び右眼５Ｒ（図４参照）のいずれかに到達させ、画像光の他の一部を運転者１３の左眼５Ｌ及び右眼５Ｒの他方に到達させるように構成される。つまり、バリア部２１は、画像光の少なくとも一部の進行方向を運転者１３の左眼５Ｌと右眼５Ｒとに分けるように構成される。左眼５Ｌ及び右眼５Ｒはそれぞれ、第１眼及び第２眼ともいう。本実施形態において、バリア部２１は、バックライト１９と表示部２０との間に位置する。つまり、バックライト１９から射出される光は、先にバリア部２１に入射し、次に表示部２０に入射する。
　バリア部２１によって画像光の進行方向が規定されることによって、運転者１３の左眼５Ｌ及び右眼５Ｒそれぞれに異なる画像光が到達しうる。その結果、運転者１３は、左眼５Ｌ及び右眼５Ｒそれぞれで異なる画像を視認しうる。
　図４に示されるように、表示部２０は、表示面２０ａ上に、運転者１３の左眼５Ｌで視認される左眼視認領域２０１Ｌと、運転者１３の右眼５Ｒで視認される右眼視認領域２０１Ｒとを含む。表示部２０は、運転者１３の左眼５Ｌに視認させる左眼画像と、運転者１３の右眼５Ｒに視認させる右眼画像とを含む視差画像を表示するように構成される。視差画像は、運転者１３の左眼５Ｌ及び右眼５Ｒそれぞれに投影される画像であって、運転者１３の両眼に視差を与える画像であるとする。表示部２０は、左眼視認領域２０１Ｌに左眼画像を表示し、右眼視認領域２０１Ｒに右眼画像を表示するように構成される。つまり、表示部２０は、左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとに視差画像を表示するように構成される。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、視差方向を表すｕ軸方向に並んでいるとする。左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向に直交するｖ軸方向に沿って延在してよいし、ｖ軸方向に対して所定角度で傾斜する方向に延在してよい。つまり、左眼視認領域２０１Ｌ及び右眼視認領域２０１Ｒは、視差方向の成分を含む所定方向に沿って交互に並んでいてよい。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとが交互に並ぶピッチは、視差画像ピッチともいう。左眼視認領域２０１Ｌと右眼視認領域２０１Ｒとは、間隔をあけて位置していてよいし、互いに隣接していてよい。表示部２０は、表示面２０ａ上に、平面画像を表示する表示領域をさらに有していてよい。平面画像は、運転者１３の眼５に視差を与えず、立体視されない画像であるとする。
　図４に示されるように、バリア部２１は、開口領域２１ｂと、遮光面２１ａとを有する。バリア部２１が、画像光の光路上において、運転者１３から見て表示部２０よりも近い側に位置する場合、バリア部２１は、表示部２０から射出される画像光の透過率を制御するように構成される。開口領域２１ｂは、表示部２０からバリア部２１に入射する光を透過させるように構成される。開口領域２１ｂは、第１所定値以上の透過率で光を透過させてよい。第１所定値は、例えば１００％であってよいし、１００％に近い値であってよい。遮光面２１ａは、表示部２０からバリア部２１に入射する光を遮るように構成される。遮光面２１ａは、第２所定値以下の透過率で光を透過させてよい。第２所定値は、例えば０％であってよいし、０％に近い値であってよい。第１所定値は、第２所定値より大きい。
　開口領域２１ｂと遮光面２１ａとは、視差方向を表すｕ軸方向に交互に並ぶとする。開口領域２１ｂと遮光面２１ａとの境界は、図４に例示されているように視差方向に直交するｖ軸方向に沿ってよいし、ｖ軸方向に対して所定角度で傾斜する方向に沿ってよい。言い換えれば、開口領域２１ｂと遮光面２１ａとは、視差方向の成分を含む所定方向に沿って交互に並んでよい。
　本実施形態では、バリア部２１は、画像光の光路上において、運転者１３から見て表示部２０よりも遠い側に位置している。バリア部２１は、バックライト１９から表示部２０に向けて入射する光の透過率を制御するように構成される。開口領域２１ｂは、バックライト１９から表示部２０に向けて入射する光を透過させるように構成される。遮光面２１ａは、バックライト１９から表示部２０に入射する光を遮るように構成される。このようにすることで、表示部２０に入射する光の進行方向は、所定方向に限定される。その結果、画像光の一部は、バリア部２１によって運転者１３の左眼５Ｌに到達するように制御されうる。画像光の他の一部は、バリア部２１によって運転者１３の右眼５Ｒに到達するように制御されうる。
　バリア部２１は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に基づいて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域又は光の透過率が低い領域を任意の形状に形成しうる。バリア部２１が液晶シャッターで構成される場合、開口領域２１ｂは、第１所定値以上の透過率を有してよい。バリア部２１が液晶シャッターで構成される場合、遮光面２１ａは、第２所定値以下の透過率を有してよい。第１所定値は、第２所定値より高い値に設定されてよい。第１所定値に対する第２所定値の比率は、一例では、１／１００に設定されてよい。第１所定値に対する第２所定値の比率は、他の例では、１／１０００に設定されてもよい。開口領域２１ｂと遮光面２１ａとの形状が変更可能に構成されるバリア部２１は、アクティブバリアとも称される。
　制御部２４は、表示部２０を制御するように構成される。バリア部２１がアクティブバリアである場合、制御部２４は、バリア部２１を制御するように構成してよい。制御部２４は、バックライト１９を制御するように構成してよい。制御部２４は、検出装置５０から運転者１３の眼５の瞳孔位置に関する座標情報を取得し、その座標情報に基づいて表示部２０を制御するように構成される。制御部２４は、座標情報に基づいてバリア部２１、及びバックライト１９の少なくとも一方を制御するように構成されうる。制御部２４は、カメラ１１から出力された画像を受信し、受信した画像から運転者１３の眼５を検出してよい。言い換えると、制御部２４が、検出部１５と同等の機能を有し、検出部１５を兼ねるように構成されてよい。制御部２４は、検出した眼５の瞳孔位置に基づいて表示部２０を制御するように構成されてよい。制御部２４は、検出した眼５の瞳孔位置に基づいて、バリア部２１及びバックライト１９の少なくとも一方を制御するように構成されうる。制御部２４および検出部１５は、例えばプロセッサとして構成される。制御部２４および検出部１５は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２４および検出部１５は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。
　通信部２２は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えば検出装置５０を含んでよい。外部装置は、例えば表示部２０に表示する画像情報を提供するように構成されてよい。通信部２２は、検出装置５０などの外部装置から各種情報を取得し、制御部２４に出力してよい。本開示における「通信可能なインタフェース」は、例えば物理コネクタ、及び無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、又はＲＣＡ端子に対応するコネクタを含んでよい。電気コネクタは、ＥＩＡＪ　ＣＰ－１２１ａＡに規定されるＳ端子に対応するコネクタ、又はＥＩＡＪ　ＲＣ－５２３７に規定されるＤ端子に対応するコネクタを含んでよい。電気コネクタは、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、又はＢＮＣ（British Naval Connector又はBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ　６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＩＥＥＥ８０２１ａを含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。
　記憶部２３は、各種情報、又は３次元表示装置１７の各構成部を動作させるためのプログラム等を格納するように構成されてよい。記憶部２３は、例えば半導体メモリ等で構成されてよい。記憶部２３は、制御部２４のワークメモリとして機能してよい。記憶部２３は、制御部２４に含まれてよい。
　図４に示されるように、バックライト１９から射出された光は、バリア部２１と表示部２０とを透過して運転者１３の眼５に到達する。バックライト１９から射出された光が眼５に到達するまでの経路は、破線で表されている。バリア部２１の開口領域２１ｂを透過して右眼５Ｒに到達する光は、表示部２０の右眼視認領域２０１Ｒを透過する。つまり、右眼５Ｒは、開口領域２１ｂを透過した光によって右眼視認領域２０１Ｒを視認できる。バリア部２１の開口領域２１ｂを透過して左眼５Ｌに到達する光は、表示部２０の左眼視認領域２０１Ｌを透過する。つまり、左眼５Ｌは、開口領域２１ｂを透過した光によって左眼視認領域２０１Ｌを視認できる。
　表示部２０は、右眼視認領域２０１Ｒ及び左眼視認領域２０１Ｌに、それぞれ右眼画像及び左眼画像を表示するように構成される。これによって、バリア部２１は、左眼画像に係る画像光を左眼５Ｌに到達させ、右眼画像に係る画像光を右眼５Ｒに到達させるように構成される。つまり、開口領域２１ｂは、左眼画像に係る画像光を運転者１３の左眼５Ｌに到達させ、右眼画像に係る画像光を運転者１３の右眼５Ｒに到達させるように構成される。このようにすることで、３次元表示装置１７は、運転者１３の両眼に対して視差画像を投影できる。運転者１３は、左眼５Ｌと右眼５Ｒとで視差画像を見ることによって、画像を立体視できる。
　バリア部２１の開口領域２１ｂを透過し、表示部２０の表示面２０ａから射出された画像光の少なくとも一部は、光学素子１８を介してウインドシールド２５に到達する。画像光は、ウインドシールド２５で反射されて運転者１３の眼５に到達する。これにより、運転者１３の眼５はウインドシールド２５よりもｚ軸の負の方向の側に位置する第２虚像１４ｂを視認できる。第２虚像１４ｂは、表示面２０ａが表示している画像に対応する。バリア部２１の開口領域２１ｂと遮光面２１ａとは、ウインドシールド２５の前方であって第２虚像１４ｂのｚ軸の負の方向側に第１虚像１４ａをつくる。図１に示すように、運転者１３は、見かけ上、第２虚像１４ｂの位置に表示部２０が存在し、第１虚像１４ａの位置にバリア部２１が存在するかのように、画像を視認しうる。
　表示面２０ａに表示される画像に係る画像光は、バリア部２１によって規定される方向に向けて、３次元表示装置１７から射出される。光学素子１８は、ウインドシールド２５に向けて射出するように構成される。光学素子１８は、画像光を反射したり屈折させたりするように構成されうる。ウインドシールド２５は、画像光を反射し、運転者１３の眼５に向けて進行させるように構成される。画像光が運転者１３の眼５に入射することによって、運転者１３は、視差画像を虚像１４として視認する。運転者１３は、虚像１４を視認することによって立体視できる。虚像１４のうち視差画像に対応する画像は、視差虚像とも称される。視差虚像は、光学系を介して投影される視差画像であるともいえる。虚像１４のうち平面画像に対応する画像は、平面虚像とも称される。平面虚像は、光学系を介して投影される平面画像であるともいえる。
　検出部１５は、テンプレートマッチングにおいて、撮像画像５１全体を探索範囲としてよい。検出部１５は、テンプレートマッチングにおいて、撮像画像５１の一部の領域を探索範囲としてよい。探索範囲となる一部の領域は、撮像画像５１に含まれる運転者１３の顔を含む領域であってよい。検出部１５は、テンプレート画像５２による探索開始前に、カメラ１１で撮像した撮像画像５１に含まれる運転者１３の顔検出を行い、検出された顔を含む所定の大きさ（撮像画像５１全体より小さい）の探索範囲を設定する。検出部１５は、設定された探索範囲内をテンプレート画像５２で探索してテンプレートマッチングを行なってよい。テンプレート画像５２による探索範囲が、撮像画像５１全体である場合に比べて小さいので、テンプレートマッチングに係る演算量を低減できる。演算量の低減によって、検出部１５は、検出結果の出力にかかる演算速度を高速化できる。
　検出部１５は、探索開始前に、カメラで撮像した撮像画像５１からテンプレート画像５２を生成するように構成される。検出部１５は、撮像画像５１を対象に瞳孔検出を行い、検出された瞳孔を含む所定の周辺領域をテンプレート画像５２としてよい。テンプレート画像５２として生成する所定の周辺領域は、例えば、３次元投影装置１２におけるアイボックス１６に応じた領域であってよい。
　テンプレート画像生成処理について、フロー図を用いて説明する。検出装置５０は、例えば、図５のフロー図に示すテンプレート画像生成処理を実行してよい。検出装置５０は、テンプレート画像生成処理を、例えば、３次元投影システム１００の起動時（電源オン時）に開始してよい。まず、ステップＡ１において、カメラ１１が撮像して撮像画像５１を取得し、検出部１５に出力する。カメラ１１の撮像画像５１には、例えば、移動体１０の座席に着席した運転者１３の顔が含まれる。次に、ステップＡ２で、検出部１５は、撮像画像５１から、アイボックス１６を含む第１領域を切り出し、ステップＡ３で、切り出した第１領域を対象に顔検出を行い、運転者の顔が検出されたかどうかを判断する。顔が検出されていれば、ステップＡ４に進み、検出されていなければ、ステップＡ１に戻り、再度カメラ１１による撮像を行う。
　ステップＡ４では、検出部１５が、検出された顔を含む第２領域を第１領域から切り出し、ステップＡ５で、検出部１５は、第２領域を対象に瞳孔検出を行い、瞳孔が検出されたかどうかを判断する。瞳孔が検出されていれば、ステップＡ６に進み、検出されていなければ、ステップＡ１に戻り、再度カメラ１１による撮像を行う。ステップＡ６では、検出部１５が、検出された瞳孔を含む瞳孔周辺領域をテンプレート画像５２として抽出して、テンプレート画像生成処理を終了する。検出部１５は、抽出したテンプレート画像５２を、例えば、検出部１５が有する記憶領域または記憶部２３に記憶してよい。検出部１５は、例えば、瞳孔周辺のアイボックス１６と同じ大きさの領域をテンプレート画像５２として抽出してよい。また、検出部１５は、テンプレート画像５２とともに、テンプレート画像５２の代表位置と瞳孔位置との相対的な座標位置関係を記憶してよい。
　テンプレート画像５２は、３次元投影システム１００が起動している間は、検出部１５の記憶領域に一時的に記憶されてよい。テンプレート画像５２は、例えば、撮像された運転者１３と関連付けられて記憶部２３に記憶されてよい。記憶部２３に記憶されたテンプレート画像５２は、例えば、次回以降の３次元投影システム１００起動時に、検出部１５によって記憶部２３から読み出されることで、テンプレート画像生成処理を省略することができる。検出部１５は、再度テンプレート画像生成処理を実行することで、記憶部２３に記憶されたテンプレート画像５２を更新（書換え）し得る。
　テンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０は、例えば、図６のフロー図に示すテンプレートマッチング処理を実行してよい。検出装置５０は、例えば、３次元投影システム１００の起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶されたテンプレート画像５２を用いる場合、検出装置５０は、３次元投影システム１００の起動時にテンプレートマッチング処理を開始してよい。
　まず、ステップＢ１において、検出部１５が、カメラ１１から撮像画像５１を取得する。ステップＢ２では、検出部１５が、テンプレート画像５２が抽出された位置周辺の領域を探索範囲として撮像画像５１から切り出す。テンプレート画像５２が抽出された位置座標は、テンプレート画像５２と関連付けて記憶しておけばよい。ステップＢ３で、検出部１５は、テンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。検出部１５は、テンプレートマッチングによって、探索範囲内でテンプレート画像５２との適合度が最も高い位置とその適合度を決定する。ステップＢ４では、検出部１５が、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＢ５に進み、閾値未満であれば、ステップＢ１に戻り、再度カメラ１１による撮像を行う。ステップＢ５で、検出部１５は、探索範囲内でテンプレート画像５２との適合度が最も高い位置の座標と予め特定された相対的な座標位置関係とによって、撮像画像５１における瞳孔位置の座標を決定し、テンプレートマッチング処理を終了する。決定された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。３次元投影装置１２では、検出装置５０から取得した瞳孔位置の座標情報を用いて、制御部２４が、表示部２０に表示する視差画像を制御する。
　移動体１０の運転席は、例えば、前後方向に移動可能に構成されている。また、移動体１０の運転中に運転者１３の姿勢が変化することもある。運転席の前後位置または運転者１３の姿勢が変化し、運転者１３の顔がｚ方向に移動した場合を考える。運転者１３の顔がｚ方向の正方向に移動した場合、撮像画像５１には、移動前に比べて運転者１３の顔が小さく撮像される。運転者１３の顔がｚ方向の負方向に移動した場合、撮像画像５１には、移動前に比べて運転者１３の顔が大きく撮像される。この場合、テンプレート画像５２を変倍処理して、変倍処理後のテンプレート画像５２を用いてテンプレートマッチングすればよい。例えば、拡大率の異なる複数のテンプレート画像５２を用いてテンプレートマッチングしてよい。例えば、縮小率の異なる複数のテンプレート画像５２を用いてテンプレートマッチングしてよい。
　他の例のテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０は、例えば、図７のフロー図に示すテンプレートマッチング処理を実行してよい。検出装置５０は、例えば、３次元投影システム１００の起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶されたテンプレート画像５２を用いる場合、検出装置５０は、３次元投影システム１００の起動時にテンプレートマッチング処理を開始してよい。
　図６のステップＢ１～Ｂ４と、図７のステップＣ１～Ｃ４とは同じ動作を実行するので、説明は省略する。検出部１５は、ステップＣ５において、テンプレート画像５２の変倍率を複数変更してテンプレート画像に変倍処理を施す。検出部１５は、変倍処理後のテンプレート画像５２を用いてテンプレートマッチングを行う。検出装置５０は、運転者１３の姿勢がどのように変化したかは検出しないので、変倍処理としては、拡大処理も縮小処理もいずれも行う。変倍処理後のテンプレート画像５２は複数生成されるので、検出部１５は、複数のテンプレート画像５２でテンプレートマッチングを行い、適合度が最も高いテンプレート画像５２を決定する。ステップＣ６で、検出部１５は、適合度が最も高いテンプレート画像５２の変倍率に基づいて、運転者のｚ方向の位置を推定する。ステップＣ７では、ステップＢ５と同様に撮像画像５１における瞳孔位置の座標を決定したのち、推定したｚ方向の位置に基づいて瞳孔位置の座標を補正し、テンプレートマッチング処理を終了する。決定された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。
　他の例の３次元投影システム１００Ａについて説明する。図８に示されるように、３次元投影システム１００Ａにおいて、検出装置５０Ａは、カメラ１１と、検出部１５Ａと、予測部３０と、を備える。３次元投影システム１００Ａの検出装置５０Ａ以外の構成は、前述の３次元投影システム１００と同様であるので、同じ参照符号を付して、詳細な説明は省略する。予測部３０は、検出部１５が検出した複数の眼５の位置に基づいて、現在時刻より後の時刻における眼５の位置を予測するように構成されている。本実施形態の眼５の位置も、上記と同様に運転者１３の眼５の瞳孔位置を示す座標情報であってよい。複数の眼５の位置とは、検出された時刻がそれぞれ異なる眼５の位置を含む。予測部３０は、検出時刻と座標情報との組み合わせである予測用データを複数用いて、未来の眼５の位置を予測し、予測位置として出力するように構成されてよい。検出部１５Ａは、眼５の位置を検出すると、座標情報と検出時刻とを予測用データとして、例えば、検出部１５が有する記憶領域、予測部３０が有する記憶領域または記憶部２３に順次記憶してよい。未来の眼５の位置とは、記憶された複数の予測用データに対する未来をいう。
　予測部３０による眼５の位置の予測方法は、例えば、予測関数を用いる方法であってよい。予測関数は、記憶された複数の予測用データから導き出される関数である。予測関数は、予め実験等によって定められた係数を用いた関数式を、検出部１５Ａが有する記憶領域、予測部３０が有する記憶領域または記憶部２３に記憶してよい。予測関数は、予測部３０が、眼５の位置の予測を行うごとに更新してよい。
　予測部３０は、予測すべき未来の時刻を予測関数に入力し、入力された時刻における眼５の位置（予測位置）の座標情報を出力する。予測すべき未来の時刻は、次にテンプレートマッチングを実行する時刻であって、例えば、カメラ１１から次のフレームが入力される時刻であってよい。前述のとおり、検出部１５Ａは、テンプレートマッチングにおいて、撮像画像５１の一部の領域を探索範囲としてよい。検出部１５Ａは、予測部３０が予測した眼５の位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている。検出部１５Ａは、撮像画像５１において、予測部３０が出力した予測位置を含む領域を予測領域として設定し、設定した予測領域をテンプレートマッチングにおける探索範囲とする。予測位置を含む予測領域は、撮像画像５１より小さくテンプレート画像５２より大きい領域であって、領域内に予測位置を含んでいればよい。例えば、予測領域の中心座標が、予測位置の座標と一致する領域であってよい。本実施形態のテンプレートマッチングにおける探索範囲の形状および大きさは、例えば、テンプレート画像と相似関係を有していてよい。
　検出部１５Ａは、このような領域を探索範囲としてテンプレートマッチングを実行する。本実施形態のテンプレートマッチングは、探索範囲が異なる以外は、前述のテンプレートマッチングと同様である。テンプレートマッチングでは、探索範囲である予測領域において、テンプレート画像５２と最も適合する位置を探索する。検出結果は、運転者１３の眼５の瞳孔位置を示す座標情報であってよい。本実施形態の探索範囲となる予測領域は、予測部３０が出力した予測位置を含むので、探索範囲をより小さくしても、探索範囲内に眼５の瞳孔位置が含まれている可能性が高い。探索範囲をより小さくすることによって、テンプレートマッチングに要する演算量は、低減される。演算量の低減によって、検出部１５Ａは、検出結果の出力にかかる演算速度を高速化できる。
　予測部３０は、検出部１５Ａが検出した複数の眼５の位置に基づいて、さらに、眼５の位置の変化速度を算出するように構成されていてよい。上記のように、座標情報と検出時刻とが予測用データとして記憶されており、複数の予測データを使用すれば、眼５の位置の変化速度が算出できる。例えば、２つの予測用データの差分により、座標情報から眼５の位置の移動距離が算出され、検出時刻から時間が算出されるので、眼５の位置の変化速度が算出できる。また、移動距離は、ｘ軸方向成分とｙ軸方向成分とをそれぞれ算出することができ、眼５の位置の変化速度もｘ軸方向成分とｙ軸方向成分とをそれぞれ算出できる。
　検出部１５Ａは、予測部３０が算出した変化速度に応じてテンプレートマッチングにおける探索範囲の大きさを変更するように構成されている。予測部３０が算出した変化速度が大きいということは、眼５の位置の移動距離が大きいことが予測される。例えば、算出された変化速度のｘ軸方向成分と変化速度のｙ軸方向成分とを比較したときに、変化速度の成分が大きい方向に眼５の位置の移動距離が大きいことが予測される。本実施形態では、眼５の位置を予測することで、テンプレートマッチングにおける探索範囲を小さく設定することができるが、変化速度の成分が大きい方向においては、眼５の位置が、予測位置からずれることにより、探索範囲から外れるおそれがある。眼５の位置が探索範囲外とならないように、例えば、検出部１５Ａは、予測位置を含む予測領域を、変化速度の成分が大きい方向に広くしてよい。検出部１５Ａは、このように広くした領域を探索範囲としてテンプレートマッチングを実行する。
　瞳孔位置の予測を含むテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０Ａは、例えば、図９のフロー図に示すテンプレートマッチング処理を実行してよい。検出装置５０Ａは、例えば、３次元投影システム１００Ａの起動時に、テンプレート画像生成処理を実行し、テンプレート画像生成処理の完了後にテンプレートマッチング処理を開始してよい。記憶部２３に予め記憶されたテンプレート画像５２を用いる場合、検出装置５０Ａは、３次元投影システム１００Ａの起動時にテンプレートマッチング処理を開始してよい。
　まず、ステップＢ１１において、検出部１５Ａが、カメラ１１から撮像画像５１を取得する。ステップＢ１２では、検出部１５Ａが、探索範囲を撮像画像５１から切り出す。ステップＢ１２で切り出される探索範囲は、後述のステップＢ１７で決定された探索範囲である。ステップＢ１７が実行されておらず探索範囲が予め決定されていない場合は、テンプレート画像５２が抽出された位置周辺の領域を探索範囲としてよい。ステップＢ１３で、検出部１５Ａは、テンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。検出部１５Ａは、テンプレートマッチングによって、探索範囲内でテンプレート画像５２との適合度が最も高い位置とその適合度とを決定する。ステップＢ１４では、検出部１５Ａが、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＢ１５に進み、閾値未満であれば、ステップＢ１に戻り、新たにカメラ１１から撮像画像５１を取得する。ステップＢ１５で、検出部１５Ａは、探索範囲内でテンプレート画像５２との適合度が最も高い位置の座標と予め特定された相対的な座標位置関係とによって、撮像画像５１における瞳孔位置の座標を決定する。決定された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。３次元投影装置１２では、検出装置５０から取得した瞳孔位置の座標情報を用いて、制御部２４が、表示部２０に表示する視差画像を制御する。
　ステップＢ１６で、予測部３０は、未来の瞳孔位置を予測し、予測位置として出力する。予測部３０は、例えば、ステップＢ１５で決定された瞳孔位置の座標情報と検出時刻との組み合わせである最新の予測用データと、記憶されている過去の予測用データとに基づいて予測関数を更新する。予測部３０は、更新された予測関数を用いて瞳孔位置を予測し、予測位置を出力する。ステップＢ１７で、検出部１５Ａは、予測部３０から出力された予測位置を含む領域を探索範囲として決定し、ステップＢ１１に戻る。
　前述のように、運転者１３の顔は、前後に移動することがある。また、運転者１３が首を傾げるなどした場合には、運転者１３の顔が傾くことがある。運転者１３の顔が前後に移動すると、撮像画像５１の運転者１３の顔は、大きくまたは小さく写り、拡大処理または縮小処理した場合と類似する。運転者１３の顔が傾くと、撮像画像の運転者１３の顔は、回転処理した場合と類似する。予測部３０が瞳孔位置を予測したのち、検出部１５Ａが、予測位置と直前の瞳孔位置とを比較する。比較した結果、例えば、眼間距離が変化していれば、検出部１５Ａは、テンプレート画像５２を、眼間距離に応じた変倍率のテンプレート画像５２に更新する。検出部１５Ａは、テンプレート画像５２として、例えば、変倍処理による拡大率の異なる複数のテンプレート画像５２および変倍処理による縮小率の異なる複数のテンプレート画像５２を予め作成しておき、眼間距離に応じたテンプレート画像５２を選択してよい。予測部３０が、左眼の瞳孔位置と右眼の瞳孔位置とをそれぞれ予測することで、検出部１５Ａが、直前の左眼の瞳孔位置と右眼の瞳孔位置との比較によって、眼間距離の変化を検出してよい。
　また、検出部１５Ａが、予測位置と直前の瞳孔位置とを比較した結果、瞳孔位置が傾いていれば、検出部１５Ａは、テンプレート画像５２を、傾き変化に応じた回転角度のテンプレート画像５２に更新する。検出部１５Ａは、テンプレート画像５２として、例えば、回転処理による回転角度の異なる複数のテンプレート画像５２を予め作成しておき、傾き変化に応じたテンプレート画像５２を選択してよい。予測部３０が、左眼の瞳孔位置と右眼の瞳孔位置とをそれぞれ予測することで、検出部１５Ａが、直前の左眼の瞳孔位置と右眼の瞳孔位置との比較によって、ｙ軸方向の位置変化から傾き変化を検出してよい。運転者１３の顔が傾いた場合、左眼の瞳孔位置と右眼の瞳孔位置とのそれぞれのｙ軸方向の位置（ｙ座標）が、互いに異なる方向に変化する。例えば、左眼の瞳孔のｙ軸方向の位置が上方向に変化し、右眼の瞳孔のｙ軸方向の位置が下方向に変化していれば、傾き変化が生じている。検出部１５Ａは、左眼および右眼のｙ軸方向の位置変化の大きさに基づいて回転角度を算出してよい。
　テンプレート画像の更新を含むテンプレートマッチング処理について、フロー図を用いて説明する。検出装置５０Ａは、例えば、図１０のフロー図に示すテンプレートマッチング処理を実行してよい。ステップＣ１１において、検出部１５Ａが、カメラ１１から撮像画像５１を取得する。ステップＣ１２では、検出部１５Ａが、探索範囲を撮像画像５１から切り出す。ステップＣ１２で切り出される探索範囲は、後述のステップＣ１８で決定された探索範囲である。ステップＣ１８が実行されておらず探索範囲が予め決定されていない場合は、テンプレート画像５２が抽出された位置周辺の領域を探索範囲としてよい。ステップＣ１３で、検出部１５Ａは、更新されたテンプレート画像５２を用いて探索範囲に対してテンプレートマッチングを行う。テンプレート画像５２は、後述のステップＣ１７で更新されたテンプレート画像５２である。検出部１５Ａは、テンプレートマッチングによって、探索範囲内でテンプレート画像５２との適合度が最も高い位置とその適合度とを決定する。ステップＣ１４では、検出部１５Ａが、決定された適合度が閾値以上であるかどうかを判断する。閾値以上であれば、ステップＣ１５に進み、閾値未満であれば、ステップＣ１１に戻り、新たにカメラ１１から撮像画像５１を取得する。ステップＣ１５で、検出部１５Ａは、探索範囲内でテンプレート画像５２との適合度が最も高い位置の座標と予め特定された相対的な座標位置関係とによって、撮像画像５１における瞳孔位置の座標を決定する。決定された瞳孔位置の座標情報は、検出装置５０から３次元投影装置１２に出力される。３次元投影装置１２では、検出装置５０から取得した瞳孔位置の座標情報を用いて、制御部２４が、表示部２０に表示する視差画像を制御する。
　ステップＣ１６で、予測部３０は、未来の瞳孔位置を予測し、予測位置として出力する。ステップＣ１７で、検出部１５Ａは、テンプレート画像５２を更新する。検出部１５Ａは、予測位置と直前の瞳孔位置とを比較し、比較結果に応じて、少なくとも変倍処理または回転処理したテンプレート画像５２に更新する。ステップＣ１８で、検出部１５Ａは、予測部３０から出力された予測位置を含む領域を探索範囲として決定し、ステップＣ１１に戻る。
　本開示に係る構成は、以上説明した実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
　本開示に係る構成を説明する図は、模式的なものである。図面上の寸法比率等は、現実のものと必ずしも一致しない。
　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１眼は、第２眼と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　本開示において、ｘ軸、ｙ軸、及びｚ軸は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ軸、ｙ軸、及びｚ軸によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。
　本開示は次の実施の形態が可能である。
　本開示の一実施形態に係る検出装置は、カメラと検出部とを備える。カメラは、人の顔を撮像するように構成される。検出部は、前記カメラから出力された撮像画像から人の眼の位置を、テンプレートマッチングによって検出するように構成される。
　本開示の一実施形態に係る画像表示システムは、表示部とバリア部とカメラと検出部と制御部とを備える。表示部は、人の両眼に対して光学系を介して投影される視差画像を表示するように構成される。バリア部は、前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与えるように構成される。カメラは、人の顔を撮像するように構成される。検出部は、前記カメラから出力された撮像画像から人の両眼の位置を、テンプレートマッチングによって検出するように構成される。制御部は、前記検出部で検出された人の両眼の位置に応じて前記表示部を制御する。
　本開示の一実施形態に係る検出装置および画像表示システムにおいては、必要な演算量を低減すること、連続して検出することが可能である。
　本開示は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本開示の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本開示の範囲内のものである。
　５　眼（５Ｌ：左眼、５Ｒ：右眼）
　１０　移動体
　１１　カメラ
　１２　３次元投影装置
　１３　運転者
　１４　虚像（１４ａ：第１虚像、１４ｂ：第２虚像）
　１５，１５Ａ　検出部
　１６　アイボックス
　１７　３次元表示装置
　１８　光学素子（１８ａ：第１ミラー、１８ｂ：第２ミラー）
　１９　バックライト
　２０　表示部（２０ａ：表示面）
　２０１Ｌ　左眼視認領域
　２０１Ｒ　右眼視認領域
　２１　バリア部（２１ａ：遮光面、２１ｂ：開口領域）
　２２　通信部
　２３　記憶部
　２４　制御部
　２５　ウインドシールド
　３０　予測部
　５０，５０Ａ　検出装置
　１００，１００Ａ　３次元投影システム（画像表示システム）

Claims (11)

  1. 　人の顔を撮像するように構成されるカメラと、
    　前記カメラから出力された撮像画像から人の眼の位置を、テンプレートマッチングによって検出するように構成される検出部と、を備える検出装置。
  2. 　請求項１に記載の検出装置であって、
    　前記検出部は、前記撮像画像から人の顔を検出し、顔を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている、検出装置。
  3. 　請求項１に記載の検出装置であって、
    　前記検出部が検出した複数の眼の位置に基づいて、現在時刻より後の時刻における眼の位置を予測する予測部をさらに備え、
    　前記検出部は、前記予測部が予測した眼の位置を含む領域を、テンプレートマッチングにおける探索範囲とするように構成されている、検出装置。
  4. 　請求項３に記載の検出装置であって、
    　前記予測部は、前記検出部が検出した複数の眼の位置に基づいて、眼の位置の変化速度を算出し、
    　前記検出部は、テンプレートマッチングにおける探索範囲の大きさを、前記予測部が算出した変化速度に応じた大きさとするように構成されている、検出装置。
  5. 　請求項３または４記載の検出装置であって、
    　前記検出部は、テンプレートマッチングにおいて、変倍処理された複数のテンプレート画像を用いるように構成されている、検出装置。
  6. 　請求項３～５のいずれか１つに記載の検出装置であって、
    　前記検出部は、テンプレートマッチングにおいて、回転処理された複数のテンプレート画像を用いるように構成されている、検出装置。
  7. 　請求項１～６のいずれか１つに記載の検出装置であって、
    　前記検出部は、テンプレートマッチングにおいて、人の眼または人の眼との相対的な位置関係が特定されている顔の他の部位を含むテンプレート画像を用いるように構成されている、検出装置。
  8. 　請求項７に記載の検出装置であって、
    　前記検出部は、前記撮像画像から前記テンプレート画像を生成するように構成されている、検出装置。
  9. 　請求項７に記載の検出装置であって、
    　予め生成された前記テンプレート画像と利用者とが関連付けられて記憶される記憶部をさらに備える、検出装置。
  10. 　人の両眼に対して光学系を介して投影される視差画像を表示するように構成される表示部と、
    　前記視差画像の画像光の進行方向を規定することによって、前記両眼に視差を与えるように構成されるバリア部と、
    　人の顔を撮像するように構成されるカメラと、
    　前記カメラから出力された撮像画像から人の両眼の位置を、テンプレートマッチングによって検出するように構成される検出部と、
    　前記検出部で検出された人の両眼の位置に応じて前記表示部を制御する制御部と、を備える画像表示システム。
  11. 　請求項１０記載の画像表示システムであって、
    　前記検出部は、テンプレートマッチングにおいて、アイボックスに応じた領域をテンプレート画像に用いるように構成されている、画像表示システム。
PCT/JP2021/014006 2020-04-02 2021-03-31 検出装置および画像表示モジュール WO2021201161A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21782012.5A EP4131158A4 (en) 2020-04-02 2021-03-31 DETECTION DEVICE AND IMAGE DISPLAY MODULE
US17/916,682 US20230156178A1 (en) 2020-04-02 2021-03-31 Detection device and image display module
CN202180027474.3A CN115398493A (zh) 2020-04-02 2021-03-31 检测装置以及图像显示模块

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020066989 2020-04-02
JP2020-066989 2020-04-02
JP2020-175409 2020-10-19
JP2020175409A JP2021166031A (ja) 2020-04-02 2020-10-19 検出装置および画像表示モジュール

Publications (1)

Publication Number Publication Date
WO2021201161A1 true WO2021201161A1 (ja) 2021-10-07

Family

ID=77929022

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014006 WO2021201161A1 (ja) 2020-04-02 2021-03-31 検出装置および画像表示モジュール

Country Status (4)

Country Link
US (1) US20230156178A1 (ja)
EP (1) EP4131158A4 (ja)
CN (1) CN115398493A (ja)
WO (1) WO2021201161A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166259A (ja) 1999-09-24 2001-06-22 Sanyo Electric Co Ltd 眼鏡無し立体映像表示装置
JP2001195582A (ja) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 画像検出装置、画像検出方法、立体表示装置、表示コントローラ、立体表示システムおよびプログラム記憶媒体
JP2007304852A (ja) * 2006-05-11 2007-11-22 Univ Of Tsukuba 被写体追尾方法及び装置
JP2014016885A (ja) * 2012-07-10 2014-01-30 Secom Co Ltd 領域分割装置
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
WO2018105534A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 光源装置、ディスプレイ装置、移動体、３次元投影装置、３次元投影システム、画像投影装置、および画像表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
JP6036065B2 (ja) * 2012-09-14 2016-11-30 富士通株式会社 注視位置検出装置及び注視位置検出方法
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102463169B1 (ko) * 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166259A (ja) 1999-09-24 2001-06-22 Sanyo Electric Co Ltd 眼鏡無し立体映像表示装置
JP2001195582A (ja) * 2000-01-12 2001-07-19 Mixed Reality Systems Laboratory Inc 画像検出装置、画像検出方法、立体表示装置、表示コントローラ、立体表示システムおよびプログラム記憶媒体
JP2007304852A (ja) * 2006-05-11 2007-11-22 Univ Of Tsukuba 被写体追尾方法及び装置
JP2014016885A (ja) * 2012-07-10 2014-01-30 Secom Co Ltd 領域分割装置
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
WO2018105534A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 光源装置、ディスプレイ装置、移動体、３次元投影装置、３次元投影システム、画像投影装置、および画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4131158A4

Also Published As

Publication number Publication date
US20230156178A1 (en) 2023-05-18
CN115398493A (zh) 2022-11-25
EP4131158A1 (en) 2023-02-08
EP4131158A4 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
WO2021201161A1 (ja) 検出装置および画像表示モジュール
WO2022091864A1 (ja) 検出装置および画像表示システム
WO2021177315A1 (ja) カメラ装置、ウインドシールドおよび画像表示モジュール
JP2021166031A (ja) 検出装置および画像表示モジュール
EP3988990B1 (en) Head-up display, head-up display system, mobile object, and design method for head-up display
WO2020196052A1 (ja) 画像表示モジュール、画像表示システム、移動体、画像表示方法及び画像表示プログラム
JP7337023B2 (ja) 画像表示システム
WO2022024814A1 (ja) カメラシステムおよび運転支援システム
WO2022131137A1 (ja) ３次元表示装置、画像表示システムおよび移動体
JP7332764B2 (ja) 画像表示モジュール
CN113614618B (zh) 图像显示模块、移动体、以及凹面镜
WO2022186189A1 (ja) 撮像装置および３次元表示装置
JP7173836B2 (ja) コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体
WO2021235287A1 (ja) 視点検出装置および表示装置
JP7461215B2 (ja) 画像表示モジュール
JP2022021866A (ja) カメラシステムおよび画像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21782012

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021782012

Country of ref document: EP

Effective date: 20221102