WO2014073645A1 - 生体情報計測装置及びそれを用いた入力装置 - Google Patents
生体情報計測装置及びそれを用いた入力装置 Download PDFInfo
- Publication number
- WO2014073645A1 WO2014073645A1 PCT/JP2013/080265 JP2013080265W WO2014073645A1 WO 2014073645 A1 WO2014073645 A1 WO 2014073645A1 JP 2013080265 W JP2013080265 W JP 2013080265W WO 2014073645 A1 WO2014073645 A1 WO 2014073645A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pupil
- biological information
- image
- luminance
- information measuring
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0255—Recording instruments specially adapted therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
Definitions
- the present invention relates to a biological information measuring apparatus capable of measuring biological information.
- Patent Document 1 listed below discloses an invention relating to a life activity measuring device capable of detecting the average luminance of a specific region such as the eyebrows and the forehead and obtaining biological information such as the pulse of the subject based on the average luminance. .
- the present invention solves the above-described conventional problems, and in particular, provides a biological information measuring device capable of measuring biological information with higher accuracy and stability than in the past and an input device using the same. It is said.
- An input device includes an imaging unit capable of detecting a pupil of a subject, A detection unit capable of detecting a pupil region from image data obtained by the imaging unit, a luminance acquisition unit that acquires luminance of at least a part of the skin region around the pupil region, and luminance of the skin region And a biological measurement unit that measures biological information of the subject.
- the skin region to be subjected to luminance detection is specified based on the pupil region, the skin region can be stably obtained, and accordingly, the luminance of the skin region can be obtained with high accuracy and stability. Can do. Therefore, biometric information obtained based on the luminance of the skin region can also be obtained with high accuracy and stability.
- the pupil can always be detected accurately. If the pupil cannot be detected, it can be determined that the subject is facing sideways or is asleep. Therefore, when the pupil cannot be detected, the posture of the subject can be corrected by issuing a warning or the like.
- control burden (calculation burden) on the apparatus can be reduced as compared with the conventional case, and it is possible to smoothly perform the measurement of biological information.
- the imaging unit includes an imaging element and a light emitting element capable of irradiating light toward the subject. Thereby, a subject's pupil can be detected appropriately.
- the distance between the imaging unit and the subject can be obtained based on trigonometry.
- the light emitting element includes a first light emitting element that emits infrared light having a first wavelength, and a second light emitting element that emits infrared light having a second wavelength longer than the first wavelength.
- a bright pupil image is captured under the condition of irradiating infrared light having the first wavelength
- dark pupil image is irradiated with infrared light having the second wavelength or without irradiating the infrared light.
- the pupil region is detected from the difference image between the bright pupil image and the dark pupil image.
- the pupil region can be detected easily and stably.
- a dark pupil image can be used as an image for specifying a skin region.
- biometric information can be detected at night by using infrared rays.
- the detection unit can detect a cornea reflection image. Since the cornea reflection image is also projected in the face image obtained in the light irradiation state, the cornea reflection image can be obtained appropriately and easily. And it becomes possible to detect a gaze etc. of a subject using a cornea reflection image.
- the luminance acquisition unit acquires an average value of luminances of the plurality of imaging elements or the skin regions photographed at different wavelengths, and inputs the average value to the biological measurement unit.
- the luminance acquisition unit acquires an average value of luminances of the plurality of imaging elements or the skin regions photographed at different wavelengths, and inputs the average value to the biological measurement unit.
- pupil detection is performed in the detection unit. By performing pupil tracking, it is possible to accurately measure the line of sight of the subject.
- the detection unit can detect the line of sight of the subject. Further, the detection unit can detect the face direction of the subject.
- the luminance acquisition unit acquires the luminance of the skin region located below the pupil region. Unlike the upper side of the pupil region, the skin region located on the lower side of the pupil region is unlikely to change due to blinking, and the luminance can be stably acquired.
- the luminance acquisition unit acquires the luminance of the skin region when the pupil region of both eyes of the subject is acquired.
- the pupil region of both eyes it can be determined that the subject is not facing forward (on the imaging unit side), and in such a case, attention can be drawn when looking away.
- the pupil regions of both eyes the subject is facing forward, and in such a case, the luminance of the skin region is acquired and the biological information is measured, so that the posture of the subject can be determined.
- the biological information can be measured stably while correcting.
- the biological information measuring device can be arranged in a vehicle.
- the biological information of the driver can be obtained during driving, for example, and driving assistance or the like can be performed based on the biological information.
- An input device includes the biological information measuring device described above and an input operation unit, and performs a predetermined input operation or predetermined information transmission based on information from the biological information measuring device. It is characterized by that.
- the input operation is executed by predicting the behavior of the subject.
- the input operation is preferably used for driving support.
- the behavior of the target person is predicted, and a predetermined input operation can be performed based on this prediction. it can.
- an input operation can be performed speedily without an operator such as a hand directly touching the operation unit.
- the living body information measuring device of the present invention is arranged in a vehicle, the brightness of the surroundings can be judged from the size of the pupil, and the response of the auto light can be accelerated.
- the skin region to be subjected to luminance detection is specified based on the pupil region, so that the skin region can be stably obtained, and the luminance of the skin region can be obtained with high accuracy and stability. it can. Therefore, biometric information obtained based on the luminance of the skin region can also be obtained with high accuracy and stability.
- the pupil can be detected accurately. If the pupil cannot be detected, it can be determined that the subject is facing sideways or asleep. Therefore, when the pupil cannot be detected, the posture of the subject can be corrected by issuing a warning or the like.
- control burden (calculation burden) on the apparatus can be reduced as compared with the conventional case, and it is possible to smoothly perform the measurement of biological information.
- FIG. 1 is a schematic diagram illustrating a state in which a driver (subject) is imaged by a near-infrared camera (imaging unit).
- FIG. 2A is a front view of the near-infrared camera (imaging unit) in the present embodiment
- FIG. 2B is a side view showing the internal structure of the near-infrared camera.
- 3A is a bright pupil image
- FIG. 3B is a dark pupil image
- FIG. 3C is a schematic diagram showing a difference image between the bright pupil image and the dark pupil image.
- FIG. 4A is a schematic diagram in which the peripheral region of the pupil region is specified as a skin region for measuring luminance
- FIG. 4B is a diagram of the pupil among the skin regions shown in FIG.
- FIG. 5 is a block diagram of a biological information measuring device and an input device using the same according to the present embodiment.
- FIG. 6A is a flowchart diagram from the acquisition of the bright pupil image and the dark pupil image until a predetermined input operation is activated
- FIG. 6B is a flowchart diagram from the pupil tracking to the calculation of the line-of-sight vector.
- FIG. 6C is a flowchart from nostril detection to face orientation detection.
- FIG. 7 is a relationship diagram illustrating the relationship between the pupil image, the cornea reflection image, and the line-of-sight calculation.
- FIG. 8 is a schematic diagram showing a cornea reflection image.
- FIG. 9 (a) to (d-3) are explanatory diagrams for explaining the gaze calculation algorithm.
- FIG. 9 (e) shows the distance r between the pupil center and the corneal reflection, and the camera pupil. It is a graph which shows the relationship with angle (theta) between a vector and a gaze vector.
- FIG. 10 is a schematic diagram for explaining a method for measuring the orientation of the face.
- FIG. 11 is a schematic diagram showing the relationship between two near-infrared cameras and a viewpoint.
- FIG. 12 is a flowchart of an input device using the biological information measuring device according to another embodiment (second invention).
- FIG. 13 is a schematic diagram in which a skin region for measuring luminance is specified in the peripheral region of the cornea reflection image.
- FIG. 1 is a schematic diagram showing a state where a driver (target person) is imaged by a near-infrared camera (imaging unit).
- a near-infrared camera 2 is used to image a driver 1 seated in a driver's seat of a vehicle, and the pupil of the driver 1 is detected using the image data.
- Near-infrared camera 2 is arranged in front of the driver's seat, for example, on the instrument panel. Or you may install in the part of the steering support part 3. FIG.
- the near-infrared cameras 2 a and 2b are respectively provided with a lens 4, a plurality of first light emitting elements 5, a plurality of second light emitting elements 6, and the rear of the lens 4.
- the image pickup device (sensor substrate) 7 located at the center, the lens 4, the light emitting devices 5 and 6, and the chassis 8 that supports the image pickup device 7 are configured.
- the first light emitting element 5 is an 870 nm LED
- the second light emitting element 6 is a 940 nm LED.
- the wavelength is an example, and other wavelengths may be used.
- the light emitting elements 5 and 6 are installed on the substrate 9, and the LED substrate on which the light emitting elements 5 and 6 are arranged on the substrate 9 and the imaging element 7 are arranged in parallel.
- Two near infrared cameras 2a and 2b are used in synchronization.
- the biological information measuring apparatus 10 in the present embodiment includes near-infrared cameras 2 a and 2 b, a detection unit 11, a luminance acquisition unit 12, a biological measurement unit 13, and a monitor 14. It is configured.
- the control unit 15 is configured by combining the detection unit 11, the luminance acquisition unit 12, and the biological measurement unit 13.
- the detection unit 11 is provided with a pupil detection unit 16, a skin region detection unit 17, and a line-of-sight detection unit 23.
- the pupil detection unit 16 creates a difference image between the bright pupil image and the dark pupil image.
- the bright pupil image and the dark pupil image will be described below.
- FIG. 3A is a bright pupil image 18 of the driver (subject) 1
- FIG. 3B is a dark pupil image 19 of the driver (subject) 1.
- a face image is photographed by the imaging element 7 in a state where the first light emitting element 5 irradiates the driver 1 with a near infrared ray having a wavelength of 870 nm.
- a bright pupil image 18 in which the pupil 20 is photographed particularly brighter than other parts is obtained.
- a face image is photographed by the image sensor 7 in a state in which the second light emitting element 6 irradiates the driver 1 with a near infrared ray having a wavelength of 940 nm.
- a dark pupil image 19 is obtained in which the pupil 20 is photographed darker than the bright pupil image 18 in FIG.
- the wavelength of the light emitting element is a wavelength at which a bright pupil and a dark pupil can be obtained.
- the shooting of the bright pupil image 18 and the shooting of the dark pupil image 19 are performed in a time-sharing manner.
- the bright pupil image 18 and the dark pupil image 19 are acquired by the near-infrared camera 2a and the near-infrared camera 2b, respectively.
- the pupil detection unit 16 shown in FIG. 5 creates a difference image between the bright pupil image 18 and the dark pupil image 19.
- the difference image 21 is shown in FIG.
- the difference image 21 can be obtained, for example, by subtracting the luminance value of each pixel of the dark pupil image 19 from the luminance value of each pixel of the bright pupil image 18.
- the pupil 20 of the driver (target person) 1 is left as a brighter image than the surroundings in the difference image 21.
- the bright part shown in FIG. 3C is specified as the pupil region 22.
- two pupil regions 22 can be acquired as shown in FIG.
- the bright pupil image and dark pupil image described above have been described using a method similar to Japanese Patent Application Laid-Open No. 2008-125619. If only one pupil region 22 is obtained as a result of obtaining the pupil region by the above-described method, only the pupil region of one eye can be obtained, and the driver 1 is not facing forward (imaging unit side). In such a case, you can call attention if you are looking away. Only when the pupil regions 22 of both eyes can be acquired, it can be controlled to measure biological information.
- the dark pupil image 19 used to obtain the difference image 21 is a face image photographed by irradiating near infrared rays having a wavelength of 940 nm.
- a face image photographed without irradiating light such as infrared rays.
- the skin region detection unit 17 acquires a skin region for measurement of biological information based on the pupil region 22.
- FIG. 4A is a schematic diagram in which the vicinity of the eye shown in the dark pupil image 19 is enlarged, for example. Since the pupil region 22 is specified by FIG. 3C, the skin region 24 for acquiring luminance is specified around the pupil region 22. The skin region 24 is specified at a position away from the pupil region 22 by a predetermined distance.
- a pupil (black-eye portion) region 25 may be specified from the pupil region 22, and a skin region 24 for acquiring luminance from the pupil region 25 may be specified.
- the eye region 22 can be specified, the eye region can be estimated based on the luminance of the image around the pupil region 22 and the like, and thus the burden on the detection unit 11 can be suppressed to detect the skin region 24 away from the pupil region 22. it can.
- the detection unit 11 appropriately executes binarization processing, labeling processing, sieving processing, and the like.
- the luminance acquisition unit 12 shown in FIG. 5 acquires the luminance of the skin region 24.
- the average value of luminance obtained from images taken by the near-infrared camera 2a and the near-infrared camera 2b or from images taken at different wavelengths is continuously acquired.
- the luminance of all the pixels in the skin region 24 may not be acquired.
- region 24 it is preferable to acquire the brightness
- the biological information of the driver (target person) 1 is measured from the luminance of the skin area obtained from the luminance acquisition unit 12.
- a luminance change value of the skin region for a certain time is prepared.
- low frequency noise due to body movement is removed, and an independent signal is extracted by an independent component analysis method.
- the biological information and the measurement method are not particularly limited here.
- the input device 30 includes the biological information measuring device 10 and an input operation unit 31.
- the input operation unit 31 may also serve as the monitor 14. Therefore, the monitor 14 may or may not be a constituent element of the biological information measuring apparatus 10.
- the biological information is transmitted from the biological measurement unit 13 to the input operation unit 31.
- information (such as pupil information and line-of-sight information) from the detection unit 11 illustrated in FIG. 5 is transmitted.
- the input operation unit 31 a predetermined input operation and predetermined information transmission are executed based on these pieces of information transmitted from the biological information measuring device 10. The input operation and information transmission will be described later.
- the input operation unit 31 can predict the behavior of the driver (target person) 1 and execute the input operation. For example, paying attention to the line of sight of the driver 1, an action is predicted based on the direction of the line of sight, and an input operation based on the action prediction is executed.
- the input device 30 shown in FIG. 5 in this embodiment is mounted in a vehicle, and the input operation based on the information from the biological information measuring device 10 shown in FIG. 5 is used for driving assistance. Is preferred. For example, judging from the size of the pupil of the driver 1, the autolight response is accelerated.
- the pupil region 22 is used as a reference in order to identify the skin regions 24 and 26, the skin regions 24 and 26 can be stably obtained, and the luminance of the skin regions 24 and 26 is stable with high accuracy. Can be obtained. Therefore, the biological information obtained based on the luminance can also be obtained with high accuracy and stability.
- the pupil can always be detected accurately. If the pupil cannot be detected, it can be determined that the subject is facing sideways or is asleep. Therefore, when the pupil cannot be detected, it is possible to urge the subject to open his eyes and to turn to the front (near infrared camera 2 side).
- control burden (calculation burden) on the apparatus can be reduced as compared with the conventional case, and it is possible to smoothly perform the measurement of biological information.
- a bright pupil image 18 and a dark pupil image 19 are acquired (see FIGS. 3A and 3B).
- the bright pupil image 18 can be obtained by photographing under the condition in which the first light emitting element 5 irradiates near infrared rays having a wavelength of 870 nm.
- the dark pupil image 19 can be obtained by photographing under the condition that the second light emitting element 6 irradiates near infrared rays having a wavelength of 940 nm.
- the dark pupil image 19 may be an image taken without irradiating light from the light emitting element.
- step ST2 of FIG. 6 (a) the pupil region 22 is specified by the difference image 21 between the bright pupil image 18 of FIG. 3 (a) and the dark pupil image 19 of FIG. 3 (b).
- a cornea reflection image is acquired in step ST3.
- a corneal reflection image can be acquired by, for example, the dark pupil image 19 photographed under the condition of irradiating near infrared light having a wavelength of 940 nm.
- FIG. 8 shows a corneal reflection image 35.
- FIG. 8 is an enlarged view of the pupil portion of the dark pupil image. As shown in the dark pupil image, it can be seen that a corneal reflection image 35 brighter than the dark pupil 36 is displayed.
- the cornea reflection image 35 is a reflection image of the light source reflected by the driver's 1 cornea.
- step ST4 the line-of-sight calculation is performed in step ST4 shown in FIG.
- the line-of-sight calculation can be performed using the pupil region and the cornea reflection image as shown in FIG.
- the line-of-sight calculation algorithm will be described with reference to FIG.
- the line-of-sight calculation algorithm shown in FIG. 9 will be described using a method similar to WO2012-20760.
- the viewing target plane 40 is, for example, a display.
- the viewing target plane 40 is assumed to be a plane parallel to the XY plane.
- P is the center of the pupil of the driver (subject) 1 and PT is the line-of-sight vector.
- Q is the gaze point.
- the near-infrared camera 2 is installed in parallel with a virtual viewpoint plane 41 which is a plane parallel to the X′Y ′ plane. That is, the orthogonal direction of the virtual viewpoint plane 41 is the optical axis direction of the camera. T is a gazing point on the virtual viewpoint plane 41.
- PT ′ is a camera pupil vector.
- the angle between the line-of-sight vector PT and the camera pupil vector PT ′ is ⁇ .
- the angle between the direction from the camera center to the gazing point T on the virtual viewpoint plane 41 and the X ′ axis is ⁇ .
- FIG. 9B is a schematic diagram of the pupil periphery image.
- G is a cornea reflection image.
- the angle between the line connecting the corneal reflection image G and the pupil center P in a straight line and the X axis is ⁇ ′.
- FIGS. 9C-1 to 9C-3 schematically shows the eyeball of the driver (subject) 1.
- FIGS. 9 (c-1) to 9 (c-3) the directions of the eyeballs are different.
- FIG. 9 (c-1) the directions of the line-of-sight vector PT and the camera pupil vector PT ′ are the same. That is, ⁇ shown in FIG. 9A is zero.
- the pupil center P and the cornea reflection image G coincide with each other. That is, the distance
- 0 between the pupil center P and the corneal reflection image G.
- the angle ⁇ between the line-of-sight vector PT and the camera pupil vector PT ′ is larger than that in FIG. 9C-2.
- is generated between the pupil center P and the cornea reflection image G, and this interval
- between the pupil center P and the corneal reflection image G increases as the line of sight moves away from the camera optical axis ( ⁇ increases). Therefore, there is a relationship shown in FIG. 9E between ⁇ and
- step ST10 shown in FIG. 6B (a specific step of step ST4 in FIG. 1A) a deviation amount of the corneal reflection image is calculated.
- the shift amount of the corneal reflection image is shown as an interval (distance)
- pupil center P can be determined by executing pupil tracking with high resolution (step ST11).
- step ST12 of FIG. 6B the pupil center P and the cornea reflection image G are converted into the XY coordinate system. Subsequently, in step ST13 shown in FIG. 6B, the vector of the pupil center P-corneal reflection image G is calculated, and based on trigonometry, as shown in the relationship diagrams of FIGS. A gazing point T on the viewpoint plane 41 is calculated (step ST14). In step ST15, the line-of-sight vector PT is calculated.
- FIG. 10 is a perspective view of the face of the driver (subject) 1 as seen obliquely from the front.
- the nostril presence range is estimated from the position of the pupil 45 detected in steps ST1 and ST2 in FIG. 6A, and the right and left nostrils 47 and 48 are detected from the presence range (region) (FIG. 6C).
- Step ST20 At this time, only one nostril may be detected. If the nostril is detected in the previous image (previous frame), the nostril position is also tracked by estimating the next image from the nostril position of the previous image. When no nostrils are detected in the previous image, nostril search is executed from the entire image.
- the detection of the nostrils 47 and 48, the range of existence of the nostrils can be roughly determined from the position of the pupil 45, and the nostrils can be determined by measuring the luminance within the range. Moreover, it becomes easy to detect a nostril by performing a binarization process with respect to an image.
- the three-dimensional coordinates of the midpoint 43 connecting the nostrils 47 and 48 and the midpoint pupil 45 are calculated by stereo calculation (step ST21 shown in FIG. 6C).
- a triangular normal 44 connecting the left and right pupils 45, 40 and the midpoint 43 is obtained, and this normal 44 is estimated as the face orientation (step ST22 in FIG. 6C). ).
- step ST5 of FIG. 6A the skin region 24 around the pupil region 22 is specified (see FIG. 4).
- the skin region 26 may be a part of the periphery of the pupil region 22, and in that case, it is preferable to select the skin region 26 at a position below the pupil region 22. It is.
- step ST6 of FIG. 6A the brightness of the skin regions 24 and 26 is acquired.
- the luminance is preferably an average value.
- the average value of luminance can be obtained from the average of the luminance of skin areas photographed by a plurality of image sensors or the average of the luminance of skin areas photographed at different wavelengths.
- step ST7 biological information is measured based on the brightness of the skin region. According to this embodiment, it is possible to obtain biological information such as heart rate, respiratory rate, and pulse.
- step ST8 shown to Fig.6 (a) biometric information is sent to the monitor 14 and a display is made on the monitor 14.
- FIG. The monitor 14 is provided, for example, at an intermediate portion between the near-infrared cameras 2a and 2b shown in FIG.
- the monitor 14 may be an operation panel or the like constituting the input device 30.
- the operation panel corresponds to a touch panel of a car navigation device arranged on the center console.
- the biological information is transmitted to the input operation unit 31 constituting the input device 30.
- the face image (bright pupil image, dark pupil image) acquired in step ST1
- the pupil region acquired in step ST2 the corneal reflection image acquired in step ST3, the line-of-sight direction acquired in step ST4, and FIG. 6C.
- Information such as the face orientation is transmitted to the input operation unit 31.
- One or more pieces of information may be transmitted to the input operation unit 31.
- the input operation unit 31 executes a predetermined input operation or predetermined information transmission based on information from the biological information measuring device 10. Specific examples are shown below.
- input assistance can be performed based on the line-of-sight direction obtained in step ST4 of FIG.
- the volume or the like can be set with the line of sight while the steering switch is being pressed.
- a control device can be selected by line of sight.
- a direction indicator assist for example, when the side mirror is seen, a blinker is taken out, and the left rear screen is displayed on the monitor. Also, if you turn the blinker without looking at the side mirror, it will emit a warning sound. Also, after the warning is displayed on the monitor, the alert is canceled when the driver 1 sees it. When the frequency of looking around is reduced, it is possible to take warnings such as “Please pay attention to the surroundings” and “Please take a break” and shake the seat.
- the brightness of the surroundings is judged from the pupil size, and the autolight response is accelerated.
- the mirror angle is controlled by the pupil size.
- the transmittance of the windshield is adjusted by the pupil size.
- the pupil cannot be confirmed, there is a possibility of falling asleep, so after displaying a warning on the meter or the like, it can be confirmed by subsequent pupil detection whether the display has been seen.
- the display height of a meter or the like can be adjusted based on the viewing direction, and the seat height or handle height can be adjusted automatically.
- personal authentication can be performed based on the distance between the left and right pupils, the distance to the nostrils, the shape of the nostrils, and the like.
- the number of near-infrared cameras may be one, but by installing a plurality (at least two) of near-infrared cameras 2a and 2b, the distance from the driver (subject) 1 can be determined by trigonometry. Can be sought.
- the appearance by the image 50 in which the object R is projected by the near infrared camera 2a is different from the appearance by the image 51 in which the object R is projected by the near infrared camera 2b.
- the position of the object R can be specified by the trigonometry from the deviation of the appearance. Therefore, also in this embodiment, it is possible to obtain the distance from the driver (subject) 1 from the images taken by the near-infrared cameras 2a and 2b using trigonometry.
- steps ST3, 4, 8, and 9 are not essential and are optional steps.
- the pupil region is specified in step ST2 of FIG. 6A, and the skin region for measuring the luminance is specified based on this pupil region.
- the cornea reflection image 35 is acquired in step ST30, and the skin region 24 is specified based on the cornea reflection image 35 in step ST31.
- the cornea reflection image 35 can be obtained, for example, from the dark pupil image 19 as shown in FIG.
- the skin region 24 is specified around the corneal reflection image 35.
- the skin region 24 is set at a position away from the cornea reflection image 35 by a predetermined distance.
- the eye area of the subject can be identified from the cornea reflection image 35 by the brightness of the image, and the skin area 24 can be set around the identified eye.
- Step ST32 shown in FIG. 12 corresponds to step ST6 in FIG. 6A
- step ST33 in FIG. 12 corresponds to step ST7 in FIG. 6A
- step ST34 in FIG. Step ST8 in FIG. 12 corresponds to Step ST9 in FIG. 6A.
- the pupil region 22 can be specified by the difference image between the bright pupil image 18 and the dark pupil image 19 as shown in steps ST1 and ST2 of FIG. . In such a case, it is possible to perform a line-of-sight calculation or the like as shown in FIG.
- the biological information measuring device 10 and the input device 30 using the biological information measuring device 10 according to the present embodiment are not limited to vehicles, but can be used for vehicles to obtain the driver's biological information during driving. Based on this, driving assistance and the like can be performed.
- the behavior prediction can be determined based on the result of tracking the pupil, for example.
- the biological information measuring device 10 based on information obtained from the biological information measuring device 10 (pupil information, line-of-sight information, biological information, etc.), for example, it can be determined whether or not the patient is asleep. It is also possible to perform a predetermined input operation by predicting the behavior of the driver (subject).
- the driver is a target person who measures biological information, but the driver is not limited to the driver, and a passenger in a passenger seat may be the target person.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Eye Examination Apparatus (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
生体情報計測装置10は、対象者の瞳孔を検出することが可能な近赤外線カメラ2a,2bと、近赤外線カメラ2a,2bにより得られた画像データから瞳孔領域を検出することが可能な検出部11と、瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部12と、輝度から対象者の生体情報を計測する生体計測部13と、を有することを特徴とする。
Description
本発明は、生体情報を計測することが可能な生体情報計測装置に関する。
下記特許文献1には、眉間や額等の特定領域の平均輝度を検出し、平均輝度に基づいて被験者の脈拍等の生体情報を得ることが可能な生体活動計測装置に関する発明が開示されている。
特許文献1記載の発明では、眉間を特定するために、顔画像上全体の二次元座標あるいは三次元座標を取得し、座標上の3つの特徴点により、眉間を特定している。
しかしながら、特許文献1の手法では顔画像全体から眉間算出を行うため制御部への負担が非常に大きくなると考えられる。また、3つの特徴点から眉間を検出するが、対象者によっては特徴点が表れにくい人もいると考えられ、かかる場合には、眉間検出が困難となり、ひいては生体情報の計測誤差や計測エラーに繋がる。
そこで本発明は上記従来の課題を解決するものであり、特に、従来に比べて高精度にかつ安定して生体情報を計測できる生体情報計測装置及びそれを用いた入力装置を提供することを目的としている。
本発明における入力装置は、対象者の瞳孔を検出することが可能な撮像部と、
前記撮像部により得られた画像データから瞳孔領域を検出することが可能な検出部と、前記瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部と、前記肌領域の輝度から前記対象者の生体情報を計測する生体計測部と、を有することを特徴とするものである。
前記撮像部により得られた画像データから瞳孔領域を検出することが可能な検出部と、前記瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部と、前記肌領域の輝度から前記対象者の生体情報を計測する生体計測部と、を有することを特徴とするものである。
本発明では、瞳孔領域を基準として輝度検知に供される肌領域を特定するため、肌領域を安定して得ることができ、それに伴い、肌領域の輝度を高精度にかつ安定して得ることができる。したがって、肌領域の輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には警告を発するなどして対象者の姿勢を正すこともできる。
また本発明によれば特許文献1に記載されているような顔画像全体から3次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担(算出負担)を低減でき、スムースに生体情報の計測まで行うことができる。
本発明では、前記撮像部は、撮像素子と、前記対象者に向けて光を照射可能な発光素子と、を有して構成されることが好ましい。これにより適切に対象者の瞳孔を検出することができる。
また本発明では、前記撮像素子は、複数設けられることが好ましい。これにより、三角法に基づいて前記撮像部と対象者との距離を求めることができる。
また本発明では、前記発光素子は、第1の波長を有する赤外線を照射する第1の発光素子と、前記第1の波長よりも長い第2の波長を有する赤外線を照射する第2の発光素子と、を有し、前記第1の波長を有する赤外線を照射した条件で明瞳孔画像が撮像され、前記第2の波長を有する赤外線を照射して、あるいは前記赤外線を照射せずに暗瞳孔画像が撮像され、前記検出部では、前記明瞳孔画像と前記暗瞳孔画像との差分画像により前記瞳孔領域を検出することが好ましい。上記により簡単かつ安定して瞳孔領域を検出することができる。また例えば暗瞳孔画像を、肌領域を特定するための画像として用いることも可能である。また赤外線を用いたことで夜間でも生体情報検出が可能になる。
また本発明では、前記検出部では、角膜反射像を検出可能であることが好ましい。光を照射した状態で得られた顔画像には角膜反射像も写し出されているので、適切かつ簡単に角膜反射像を得ることができる。そして角膜反射像を用いて対象者の視線等を検知することが可能になる。
また、前記輝度取得部では、複数の前記撮像素子、あるいは、異なる波長で撮影された前記肌領域の輝度の平均値を取得して、前記生体計測部に入力することが好ましい。このように肌領域の輝度の平均値を取得して、生体情報の計測に供することで、精度よく生体情報の計測を実行することができる。
また、前記検出部では、瞳孔追跡が実行されることが好ましい。瞳孔追跡を行うことで対象者の視線等の測定を精度よく行うことができる。
また、前記検出部では、前記対象者の視線を検出することができる。
また、前記検出部では、前記対象者の顔の向きを検出することができる。
また、前記検出部では、前記対象者の顔の向きを検出することができる。
また、前記輝度取得部では、前記瞳孔領域の下側に位置する前記肌領域の輝度を取得することが好ましい。瞳孔領域の下側に位置する肌領域は、瞳孔領域の上側と違って、瞬きによる肌領域の変化が起こりにくく、輝度を安定して取得できる。
また本発明では、前記対象者の両目の前記瞳孔領域を取得した際に、前記輝度取得部が前記肌領域の輝度を取得することが好ましい。片目の瞳孔領域しか得られない場合には、対象者が前方(撮像部側)を向いていないと判断でき、かかる場合には、よそ見をしていると注意を喚起するなどできる。両目の瞳孔領域が得られた場合は、対象者が前方を向いた状態であり、かかる場合に、肌領域の輝度を取得し、生体情報を計測するようにすることで、対象者の姿勢を正すとともに、安定して生体情報の計測を行うことができる。
また本発明では、前記生体情報計測装置が車両内に配置される構成にできる。このように生体情報計測装置を、車両内に配置することで例えば運転中に運転者の生体情報を得ることができ、それに基づいて運転支援等を行うことが可能である。
また本発明における入力装置は、上記に記載の生体情報計測装置と、入力操作部と、を有し、前記生体情報計測装置からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行されることを特徴とするものである。
本発明では、前記入力操作は、前記対象者の行動を予測して実行されることが好ましい。
また、前記入力操作は運転支援に供されることが好ましい。
また、前記入力操作は運転支援に供されることが好ましい。
本発明では、生体情報計測装置からの情報(生体情報や瞳孔情報、視線情報など)に基づいて、対象者の行動を予測し、この予測をもとに、所定の入力操作を発揮させることができる。これにより、手などの操作体が直接、操作部に触れなくても、スピーディに入力操作を実行できる。例えば本発明の生体情報計測装置が車両内に配置される構成であれば、瞳孔の大きさから周囲の明るさを判断して、オートライトの応答を早めることができる。また、居眠りをしているか否かを判断でき、居眠りをしていると判断された場合には、音声で注意を促すこと等ができ安全性を高めることができる。
本発明によれば、瞳孔領域を基準として輝度検知に供される肌領域を特定するため、肌領域を安定して得ることができ、肌領域の輝度を高精度にかつ安定して得ることができる。したがって、肌領域の輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているとか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には警告を発するなどして対象者の姿勢を正すこともできる。
また本発明によれば特許文献1に記載されているような顔画全体から3次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担(算出負担)を低減でき、スムースに生体情報の計測まで行うことができる。
図1は、近赤外線カメラ(撮像部)により運転者(対象者)を撮像している状態を示す模式図である。本実施形態では図1に示すように近赤外線カメラ2を用いて、車両の運転席に座席した運転者1を撮像し、その画像データを用いて、運転者1の瞳孔を検出する。
近赤外線カメラ2は、運転席正面に配置されており、例えば、インストルメント・パネルに配置されている。あるいは、ステアリング支持部3の部分に設置されていてもよい。
図2(a)に示すように近赤外線カメラ2a,2bは2台、設けられている。図2(a)(b)に示すように、近赤外線カメラ2a,2bはそれぞれ、レンズ4と、複数の第1の発光素子5と、複数の第2の発光素子6と、レンズ4の後方に位置する撮像素子(センサ基板)7と、レンズ4、各発光素子5,6及び撮像素子7を支持するシャーシ8とを有して構成される。
ここで第1の発光素子5は、870nmLEDであり、第2の発光素子6は940nmLEDである。なお波長については一例であり、これ以外の波長であってもよい。
各発光素子5,6は基板9に設置されており、基板9上に発光素子5,6が配置されたLED基板と撮像素子7とは平行に配置されている。また、2台の近赤外線カメラ2a,2bを同期させて用いる。
図5のブロック図に示すように、本実施形態における生体情報計測装置10は、近赤外線カメラ2a,2bと、検出部11と、輝度取得部12と、生体計測部13と、モニタ14とを有して構成される。また検出部11、輝度取得部12、生体計測部13を合わせて制御部15が構成される。
図5に示すように検出部11には、瞳孔検出部16、肌領域検出部17、及び視線検出部23が設けられる。
瞳孔検出部16では、明瞳孔画像と暗瞳孔画像との差分画像を作成する。明瞳孔画像、及び暗瞳孔画像について以下に説明する。
図3(a)は、運転者(対象者)1の明瞳孔画像18であり、図3(b)は、運転者(対象者)1の暗瞳孔画像19である。
まず第1の発光素子5により波長870nmの近赤外線を運転者1の顔に照射した状態で撮像素子7により顔画像を撮影する。このようにして撮影された顔画像では、図3(a)に示すように瞳孔20が他の部位よりも特に明るく撮影された明瞳孔画像18が得られる。一方、第2の発光素子6により波長940nmの近赤外線を運転者1の顔に照射した状態で撮像素子7により顔画像を撮影する。このようにして撮影された顔画像では、図3(b)に示すように瞳孔20が図3(a)の明瞳孔画像18に比べて暗く撮影された暗瞳孔画像19が得られる。発光素子の波長については、明瞳孔及び暗瞳孔が得られる波長とされる。
明瞳孔画像18の撮影と、暗瞳孔画像19の撮影とは時分割で行われる。また本実施形態では、近赤外線カメラ2a,2bは2台あるので、近赤外線カメラ2a及び近赤外線カメラ2bのそれぞれにて、明瞳孔画像18及び暗瞳孔画像19を取得する。
図5に示す瞳孔検出部16では、明瞳孔画像18と暗瞳孔画像19との差分画像を作成する。差分画像21が図3(c)に示されている。差分画像21は、例えば、明瞳孔画像18の各画素の輝度値から暗瞳孔画像19の各画素の輝度値を減算することで得ることができる。
図3(c)に示すように、差分画像21では運転者(対象者)1の瞳孔20が周囲に比べて明るい画像として残される。図3(c)に示す明るい部分を瞳孔領域22と特定する。ここで図3(c)に示すように瞳孔領域22を、2つ取得できる。上記してきた明瞳孔画像、及び暗瞳孔画像については、特開2008-125619号公報に類似した手法を用いて説明したものである。上記した手法で瞳孔領域を得た結果、仮にひとつの瞳孔領域22しか得られない場合は、片目の瞳孔領域しか取得できない状態であり、運転者1が前方(撮像部側)を向いていないと判断でき、かかる場合には、よそ見をしていると注意を喚起するなどできる。両目の瞳孔領域22を取得できて初めて、生体情報の計測を行うように制御できる。
上記では、差分画像21を得るのに使用する暗瞳孔画像19を、波長940nmの近赤外線を照射して撮影した顔画像としたが、例えば、赤外線などの光を照射せずに撮影した顔画像を暗瞳孔画像19とすることもできる。
次に肌領域検出部17では、瞳孔領域22に基づいて、生体情報の測定に供するための肌領域を取得する。
図4(a)は、例えば、暗瞳孔画像19に示される目の付近を拡大した模式図である。図3(c)により瞳孔領域22が特定されたので、その瞳孔領域22の周囲に、輝度を取得するための肌領域24を特定する。肌領域24は、瞳孔領域22から外側に所定距離だけ離れた位置に特定する。
また瞳孔領域22から瞳(黒目部分)の領域25を特定し、瞳の領域25から輝度を取得するための肌領域24を特定してもよい。
瞳孔領域22を特定できれば、瞳孔領域22の周囲の画像の輝度等によって目の領域を推測でき、したがって瞳孔領域22から離れた肌領域24を検出するのに検出部11の負担を小さく抑えることができる。
なお検出部11では、二値化処理、ラベリング処理、ふるいがけ処理等が適宜実行される。
図5に示す輝度取得部12では、肌領域24の輝度を取得する。このとき、例えば、近赤外線カメラ2aと近赤外線カメラ2bのそれぞれにて撮影した画像から、あるいは異なる波長で撮影した画像から得られた輝度の平均値を連続的に取得する。また、この際、肌領域24の全画素の輝度を取得しなくてもよい。このように肌領域24の一部分から輝度を取得する場合には、図4(b)に示すように、瞳孔領域22よりも下側に位置する肌領域26の輝度を取得することが好ましい。瞳孔領域22の上側は瞼側であり、瞬きにより安定した輝度を得にくいため、瞳孔領域22の下側に位置する涙袋側の肌領域26の輝度を取得することで輝度を安定して取得することができる。
図5に示す生体計測部13では、輝度取得部12より得られた肌領域の輝度から運転者(対象者)1の生体情報を計測する。この生体情報の計測は、一定時間における肌領域の輝度変化値を用意する。次に、体の動きなどによる低周波雑音を取り除き、独立成分分析法により独立信号を取り出す。この独立信号のパワースペクトルを算出し、心拍や呼吸数付近の周波数ピークを持つ信号を取得することで、これを出力信号する手法がある。しかし、ここで生体情報やその計測方法について特に限定するものではない。
図5に示すように入力装置30は、生体情報計測装置10と、入力操作部31とを有して構成される。ここで、入力操作部31はモニタ14を兼ねていてもよい。よって、生体情報計測装置10の構成要素としてモニタ14はあってもなくてもよい。
入力操作部31に生体計測部13から生体情報が送信される。あるいは、図5に示す検出部11からの情報(瞳孔情報や視線情報など)が送信される。入力操作部31では、生体情報計測装置10から送信されるこれらの情報に基づいて、所定の入力操作や所定の情報発信が実行される。どのような入力操作や情報発信がされるのかについては後述する。
入力操作部31では、運転者(対象者)1の行動を予測して入力操作を実行することができる。例えば運転者1の視線に着目して、視線の方向に基づいて行動予測をし、その行動予測に基づく入力操作を実行する。
本実施形態における図5に示す入力装置30は、車両内に搭載されるものであり、図5に示す生体情報計測装置10からの情報に基づく入力操作は、運転支援に供されるものであることが好適である。例えば運転者1の瞳孔の大きさから判断して、オートライトの応答を早めるがごとくである。
本実施形態では肌領域24,26を特定するために瞳孔領域22を基準としているため、肌領域24,26を安定して得ることができ、肌領域24,26の輝度を高精度にかつ安定して得ることができる。したがって、輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には対象者に目を開いて前方(近赤外線カメラ2側)を向くように注意を促すこともできる。
また本実施形態によれば特許文献1に記載されているような顔画全体から3次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担(算出負担)を低減でき、スムースに生体情報の計測まで行うことができる。
次に図6に示すフローチャートを用いて、画像の取得から入力操作の起動までのステップを説明する。
図6(a)のステップST1では、明瞳孔画像18及び暗瞳孔画像19を取得する(図3(a)(b)参照)。図7にも示すように、第1の発光素子5により波長870nmの近赤外線を照射した条件で撮影することで明瞳孔画像18を得ることができる。また第2の発光素子6により波長940nmの近赤外線を照射した条件で撮影することで暗瞳孔画像19を得ることができる。なお暗瞳孔画像19は、発光素子から光を照射しないで撮影したものであってもよい。
次に図6(a)のステップST2では、図3(a)の明瞳孔画像18と図3(b)の暗瞳孔画像19との差分画像21により瞳孔領域22を特定する。
次に図6(a)に示すようにステップST3で、角膜反射像を取得する。図7に示すように角膜反射像を例えば、波長940nmの近赤外線を照射した条件にて撮影された暗瞳孔画像19により取得することができる。
図8には、角膜反射像35が示されている。図8は暗瞳孔画像の瞳孔部分を拡大して示したものである。暗瞳孔画像に示すように暗く映る瞳孔36よりも明るい角膜反射像35が映し出されていることがわかる。角膜反射像35は、運転者1の角膜で反射した光源の反射像である。
続いて図6(a)に示すステップST4で視線演算を行う。視線演算は図7に示すように瞳孔領域と角膜反射像とを用いて行うことが可能である。視線演算のアルゴリズムについて図9を用いて説明する。ここで、図9に示す視線演算のアルゴリズムはWO2012-20760号に類似した手法を用いて説明する。
図9(a)に示すように、運転者(対象者)1の前方に視対象平面40があるとする。この視対象平面40は例えばディスプレイである。この視対象平面40はXY平面に平行な面であるとする。符号Pは運転者(対象者)1の瞳孔中心であり、PTが視線ベクトルである。Qが注視点である。
近赤外線カメラ2はX´Y´平面と平行な面である仮想視点平面41と平行に設置される。すなわち仮想視点平面41の直交方向がカメラの光軸方向である。Tは仮想視点平面41上の注視点である。PT´はカメラ瞳孔ベクトルである。
図9(a)に示すように、視線ベクトルPTとカメラ瞳孔ベクトルPT´との間の角度はθである。また、カメラ中心から仮想視点平面41上の注視点Tへの方向とX´軸との間の角度はφである。
図9(b)は瞳孔周辺画像の模式図である。Gは角膜反射像である。角膜反射像Gと瞳孔中心Pとを直線状に結んだ線とX軸との間の角度はφ´である。
図9(c-1)~(c-3)に示すEは運転者(対象者)1の眼球を模式図的に示したものである。図9(c-1)~(c-3)では眼球の向きが異なっている。図9(c-1)では、視線ベクトルPTとカメラ瞳孔ベクトルPT´との方向が一致している。すなわち図9(a)に示すθはゼロである。このとき図9(d-1)の画像では、瞳孔中心Pと角膜反射像Gとが一致している。すなわち、瞳孔中心Pと角膜反射像Gとの間隔|r0|=0である。
次に、図9(c-2)では、視線ベクトルPTとカメラ瞳孔ベクトルPT´とが一致せず、視線ベクトルPTとカメラ瞳孔ベクトルPT´との間に角度θが生じている。このとき図9(d-2)の画像では、瞳孔中心Pと角膜反射像Gとの間に、間隔|r1|が生じている。
また、図9(c-3)では、視線ベクトルPTとカメラ瞳孔ベクトルPT´との間の角度θが、図9(c-2)よりも大きくなっている。このとき図9(d-3)の画像では、瞳孔中心Pと角膜反射像Gとの間に、間隔|r2|が生じ、この間隔|r2|は、図9(d-2)に示す間隔|r1|よりも大きくなっている。
ここで図9(a)(c)に示す(θ,φ)と、図9(b)(d)に示す(|r|,φ´)との関係は一対一に対応している。
すなわち視線がカメラ光軸から離れるほど(θが大きくなるほど)、瞳孔中心Pと角膜反射像Gとの間の間隔(距離)|r|は大きくなる。したがって、θと|r|との間には図9(e)に示す関係がある。この関係に基づいて視線を推定することができる。
具体的には、図6(b)(図1(a)のステップST4の具体的ステップ)に示すステップST10で、角膜反射像のずれ量の算出を行う。角膜反射像のずれ量は、図9(d-1)~(d-3)に示す瞳孔中心Pと角膜反射像Gとの間の間隔(距離)|r|として示される。
なお高分解能化による瞳孔追跡を実行して瞳孔中心Pを決定することができる(ステップST11)。
また図6(b)のステップST12では、瞳孔中心P、角膜反射像GをXY座標系に変換する。続いて、図6(b)に示すステップST13では、瞳孔中心P-角膜反射像Gのベクトルを算出し、図9(a)(b)の関係図に示すように三角法に基づいて、仮想視点平面41上の注視点Tを算出する(ステップST14)。そしてステップST15にて視線ベクトルPTを算出する。
また図6(a)のステップST4では、顔向きを推定することも可能である。図10は、運転者(対象者)1の顔を斜め前方から見た斜視図である。図6(a)のステップST1,ST2により検出された瞳孔45の位置から鼻孔の存在範囲を推定し、その存在範囲(領域)から左右の鼻孔47,48を検出する(図6(c)のステップST20)。このとき、片方の鼻孔のみを検出してもよい。なお前画像(前フレーム)で鼻孔を検出したら、その次の画像についても、前画像の鼻孔位置から推定して鼻孔位置を追跡する。また前画像で鼻孔を検出していないときは、画像全体から鼻孔の探索を実行する。
さて鼻孔47,48の検出であるが、瞳孔45の位置から鼻孔の存在範囲を大凡、決めることができ、その範囲内での輝度測定により鼻孔を確定することができる。また画像に対して2値化処理を行うことで鼻孔が検出しやすくなる。
続いて、鼻孔47,48を結ぶ中点43と中点瞳孔45との3次元座標をステレオ計算により算出する(図6(c)に示すステップST21)。
そして図10に示すように、左右両側の瞳孔45,40と中点43とを結ぶ三角形の法線44を求め、この法線44を顔の向きとして推定する(図6(c)のステップST22)。
続いて、図6(a)のステップST5では、瞳孔領域22周辺の肌領域24を特定する(図4参照)。図4(b)に示すように、肌領域26は瞳孔領域22の周囲の一部であってもよく、その場合は、瞳孔領域22の下側の位置の肌領域26を選択することが好適である。そして、図6(a)のステップST6では、肌領域24,26の輝度を取得する。輝度は平均値であることが好適である。輝度の平均値は、複数の撮像素子で撮影された肌領域の輝度の平均、あるいは異なる波長で撮影された肌領域の輝度の平均で求めることができる。そして、ステップST7では、肌領域の輝度に基づいて生体情報を計測する。本実施形態によれば、心拍、呼吸数、脈拍等の生体情報を得ることが可能である。
そして図6(a)に示すステップST8では、生体情報がモニタ14に送られ、モニタ14に表示がなされる。モニタ14は例えば、図2(a)に示す近赤外線カメラ2a,2bの中間部に設けられている。あるいは、モニタ14は、入力装置30を構成する操作パネル等であってもよい。操作パネルとしては、センターコンソールに配置されるカーナビゲーション装置のタッチパネル等が該当する。
また図6(a)のステップST9に示すように、生体情報は、入力装置30を構成する入力操作部31に送信される。また、ステップST1で取得した顔画像(明瞳孔画像、暗瞳孔画像)、ステップST2で取得した瞳孔領域、ステップST3で取得した角膜反射像、及びステップST4で取得した視線方向や図6(c)での顔向き等の情報が入力操作部31に送信される。入力操作部31に送信される情報は1つであってもよいし複数であってもよい。
入力操作部31では、生体情報計測装置10からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行される。以下、具体例を示す。
まず、図6(a)のステップST4で得られた視線方向に基づいて、入力補助(運転支援)を行うことができる。例えば、視線検知による入力として、ステアリングスイッチを押している間は、視線で音量などを設定可能とする。また視線による選択として、視線で制御機器を選択などできるようにする。また、方向指示器補助として、例えば、サイドミラーを見たらウインカーを出し、また左後方画面をモニタに映す。またサイドミラーを見ずにウインカーを出したら警告音を出す。またモニタに警告表示をした後、運転者1がそれを見たらアラート解除を実行する。また周囲を見る頻度が少なくなったら、「周囲に注意してください」、「休憩してください」などの警告を発したり、シートを震わせるなどの処置をとることができる。
また瞳孔検知による入力として、瞳孔サイズから周囲の明るさを判断し、オートライトの応答を早める。また瞳孔サイズでミラー角度をコントロールする。また瞳孔サイズでフロントガラスの透過率を調整する。
また瞳孔が確認できない場合には居眠りをしている恐れがあるので、メータ等に警告を表示した後、その表示を見たかどうかをその後の瞳孔検出により確認できる。
また、瞳孔の位置から口唇を検出し、口唇の動きにより音声入力制度を向上させることもできる。
また片目の瞳孔しか確認できない場合等、よそ見、わき見を検知したら、安全性を高めるために、警告音を発したり、視線ナビゲートを実行する。
またそのほかに、視線方向に基づいて、メータ等の表示高さを調整したり、座席高さやハンドル高さの調整等が自動で行われるようにできる。また左右瞳孔間の距離や鼻孔との距離、鼻孔の形などで個人認証を実行することもできる。
本実施形態では、近赤外線カメラ2a,2bが2台、設けられている。本実施形態では、近赤外線カメラを1台としてもよいが、近赤外線カメラ2a,2bを複数(最低2台)、設置することで、三角法により、運転者(対象者)1との距離を求めることができる。図11に示すように近赤外線カメラ2aにより対象物Rを映した画像50による見え方と、近赤外線カメラ2bにより対象物Rを映した画像51による見え方とは異なっている。この見え方のずれから三角法により対象物Rの位置を特定できる。したがって本実施形態においても近赤外線カメラ2a,2bにより撮影された画像から三角法を用いて運転者(対象者)1との距離を求めることが可能である。
また図6(a)の実施形態において、ステップST3,4,8,9は必須でなく選択的なステップである。
上記した実施形態(第1の実施形態)では、図6(a)のステップST2で瞳孔領域を特定し、この瞳孔領域に基づいて輝度を測定するための肌領域を特定した。
これに対して図12に示す第2の実施形態では、ステップST30で角膜反射像35を取得し、ステップST31で、角膜反射像35に基づいて肌領域24を特定している。角膜反射像35は図7に示す通り、例えば暗瞳孔画像19により得ることができる。
この第2の実施形態では、第1の実施形態と異なって、瞳孔領域22の取得を必須とはしていないが、その代わりに角膜反射像35の取得を必須とする。そして図13に示すように、角膜反射像35の周囲に肌領域24を特定する。肌領域24は角膜反射像35から所定距離離れた位置に設定される。角膜反射像35から対象者の目の領域を画像の輝度等により特定でき、特定された目の周りに肌領域24を設定することができる。
図12に示すステップST32は図6(a)のステップST6に該当し、図12のステップST33は、図6(a)のステップST7に該当し、図12のステップST34は、図6(a)のステップST8に該当し、図12のステップST35は、図6(a)のステップST9に該当する。
なお図12に示す第2実施形態においても、図6(a)のステップST1,ST2に示すように、明瞳孔画像18と暗瞳孔画像19との差分画像により瞳孔領域22を特定することができる。かかる場合には図7に示すように視線演算等を行うことが可能になる。
本実施形態の生体情報計測装置10及びそれを用いた入力装置30は、車両用に限定するものでないが、車両用として使用することで、運転中に運転者の生体情報を得ることができ、それに基づいて運転支援等を行うことができる。
行動予測は、例えば瞳孔を追跡し、その追跡結果に基づいて判断することができる。
行動予測は、例えば瞳孔を追跡し、その追跡結果に基づいて判断することができる。
また、生体情報計測装置10から得られる情報(瞳孔情報、視線情報、生体情報等)に基づいて、例えば居眠りをしているか否かの判断ができ、かかる場合、早めに音声等で注意を喚起でき、また運転者(対象者)の行動を予測して、所定の入力操作を実行することも可能である。
上記の実施形態では、運転者を、生体情報を計測する対象者としたが、運転者に限るものでなく、助手席の乗員等を対象者としてもよい。
G、35 角膜反射像
P 瞳孔中心
PT 視線ベクトル
1 運転者
2、2a、2b 近赤外線カメラ
5 第1の発光素子
6 第2の発光素子
7 撮像素子
10 生体情報計測装置
11 検出部
12 輝度取得部
13 生体計測部
14 モニタ
16 瞳孔検出部
17 肌領域検出部
18 明瞳孔画像
19 暗瞳孔画像
20、45 瞳孔
21 差分画像
22 瞳孔領域
24、26 肌領域
30 入力装置
31 入力操作部
47、48 鼻孔
P 瞳孔中心
PT 視線ベクトル
1 運転者
2、2a、2b 近赤外線カメラ
5 第1の発光素子
6 第2の発光素子
7 撮像素子
10 生体情報計測装置
11 検出部
12 輝度取得部
13 生体計測部
14 モニタ
16 瞳孔検出部
17 肌領域検出部
18 明瞳孔画像
19 暗瞳孔画像
20、45 瞳孔
21 差分画像
22 瞳孔領域
24、26 肌領域
30 入力装置
31 入力操作部
47、48 鼻孔
Claims (15)
- 対象者の瞳孔を検出することが可能な撮像部と、
前記撮像部により得られた画像データから瞳孔領域を検出することが可能な検出部と、
前記瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部と、
前記肌領域の輝度から前記対象者の生体情報を計測する生体計測部と、
を有することを特徴とする生体情報計測装置。 - 前記撮像部は、撮像素子と、前記対象者に向けて光を照射可能な発光素子と、を有して構成される請求項1記載の生体情報計測装置。
- 前記撮像素子は、複数設けられる請求項2記載の生体情報計測装置。
- 前記発光素子は、第1の波長を有する赤外線を照射する第1の発光素子と、前記第1の波長よりも長い第2の波長を有する赤外線を照射する第2の発光素子と、を有し、
前記第1の波長を有する赤外線を照射した条件で明瞳孔画像が撮像され、前記第2の波長を有する赤外線を照射して、あるいは前記赤外線を照射せずに暗瞳孔画像が撮像され、
前記検出部では、前記明瞳孔画像と前記暗瞳孔画像との差分画像により前記瞳孔領域を検出する請求項2に記載の生体情報計測装置。 - 前記検出部では、角膜反射像を検出可能である請求項2に記載の生体情報計測装置。
- 前記輝度取得部では、複数の前記撮像素子、あるいは、異なる波長で撮影された前記肌領域の輝度の平均値を取得して、前記生体計測部に入力する請求項1に記載の生体情報計測装置。
- 前記検出部では、瞳孔追跡が実行される請求項1に記載の生体情報計測装置。
- 前記検出部では、前記対象者の視線が検出される請求項1に記載の生体情報計測装置。
- 前記検出部では、前記対象者の顔の向きが検出される請求項1に記載の生体情報計測装置。
- 前記輝度取得部では、前記瞳孔領域の下側に位置する前記肌領域の輝度を取得する請求項1に記載の生体情報計測装置。
- 前記対象者の両目の前記瞳孔領域を取得した際に、前記輝度取得部が前記肌領域の輝度を取得する請求項1に記載の生体情報計測装置。
- 前記生体情報計測装置が車両内に配置される請求項1に記載の生体情報計測装置。
- 請求項1の生体情報計測装置と、入力操作部と、を有し、
前記生体情報計測装置からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行されることを特徴とする入力装置。 - 前記入力操作は、前記対象者の行動を予測して実行される請求項13記載の入力装置。
- 前記入力操作は運転支援に供される請求項13記載の入力装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13852693.4A EP2918225A4 (en) | 2012-11-12 | 2013-11-08 | BIOLOGICAL INFORMATION MEASURING DEVICE AND INPUT DEVICE USING THE SAME |
CN201380058939.7A CN104780834B (zh) | 2012-11-12 | 2013-11-08 | 生物体信息计测装置及使用该装置的输入装置 |
JP2014545770A JP5923180B2 (ja) | 2012-11-12 | 2013-11-08 | 生体情報計測装置及びそれを用いた入力装置 |
US14/709,058 US20150238087A1 (en) | 2012-11-12 | 2015-05-11 | Biological information measurement device and input device utilizing same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012247983 | 2012-11-12 | ||
JP2012-247983 | 2012-11-12 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/709,058 Continuation US20150238087A1 (en) | 2012-11-12 | 2015-05-11 | Biological information measurement device and input device utilizing same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014073645A1 true WO2014073645A1 (ja) | 2014-05-15 |
Family
ID=50684738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/080265 WO2014073645A1 (ja) | 2012-11-12 | 2013-11-08 | 生体情報計測装置及びそれを用いた入力装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150238087A1 (ja) |
EP (1) | EP2918225A4 (ja) |
JP (1) | JP5923180B2 (ja) |
CN (1) | CN104780834B (ja) |
WO (1) | WO2014073645A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104873184A (zh) * | 2015-05-08 | 2015-09-02 | 上海与德通讯技术有限公司 | 一种测量心率的方法及系统 |
JP2016045707A (ja) * | 2014-08-22 | 2016-04-04 | 国立大学法人静岡大学 | 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム |
WO2017001426A1 (de) * | 2015-06-29 | 2017-01-05 | Universität des Saarlandes | Purkinjemeter und verfahren zur automatischen auswertung |
WO2017029787A1 (ja) * | 2015-08-17 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法 |
JP2017153936A (ja) * | 2015-10-15 | 2017-09-07 | ダイキン工業株式会社 | 運転者状態判定装置及び運転者状態判定方法 |
EP3185211A4 (en) * | 2014-08-22 | 2018-01-24 | National University Corporation Shizuoka University | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program |
JP2018515958A (ja) * | 2015-03-13 | 2018-06-14 | タレス ヴィジョニクス インクThales Visionix, Inc. | 異なる照明条件下でのイメージングのためのデュアルモード照明器 |
WO2019026330A1 (ja) * | 2017-08-02 | 2019-02-07 | 株式会社Jvcケンウッド | 視線検出装置及び視線検出方法 |
WO2020021886A1 (ja) * | 2018-07-23 | 2020-01-30 | パナソニックIpマネジメント株式会社 | 生体状態検出装置および生体状態検出方法 |
WO2020213022A1 (ja) * | 2019-04-15 | 2020-10-22 | 三菱電機株式会社 | 視線監視装置および視線監視方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104780834B (zh) * | 2012-11-12 | 2016-12-28 | 阿尔卑斯电气株式会社 | 生物体信息计测装置及使用该装置的输入装置 |
DE112014000934T5 (de) * | 2013-02-21 | 2016-01-07 | Iee International Electronics & Engineering S.A. | Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung |
KR101610525B1 (ko) * | 2014-10-20 | 2016-04-07 | 현대자동차주식회사 | 조도를 고려한 동공 검출 장치 및 그 방법 |
JP6526527B2 (ja) * | 2015-09-09 | 2019-06-05 | 株式会社東芝 | 識別装置及び認証システム |
US10956737B1 (en) * | 2017-10-24 | 2021-03-23 | Wells Fargo Bank, N.A. | System and apparatus for improved eye tracking using a mobile device |
CN109213324A (zh) * | 2018-09-06 | 2019-01-15 | 京东方科技集团股份有限公司 | 显示参数调节方法及装置、显示装置 |
EP3666169A1 (en) * | 2018-12-11 | 2020-06-17 | Aptiv Technologies Limited | Driver monitoring system |
JP7223303B2 (ja) * | 2019-03-14 | 2023-02-16 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
WO2021048682A1 (ja) * | 2019-09-12 | 2021-03-18 | 株式会社半導体エネルギー研究所 | 分類方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09262213A (ja) * | 1996-03-28 | 1997-10-07 | Toyota Central Res & Dev Lab Inc | 生体情報検出装置 |
JP2008125619A (ja) | 2006-11-17 | 2008-06-05 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
JP2010051592A (ja) * | 2008-08-28 | 2010-03-11 | Fujitsu Ltd | 脈拍計測装置、脈拍計測方法および脈拍計測プログラム |
JP2011130996A (ja) | 2009-12-25 | 2011-07-07 | Denso Corp | 生体活動計測装置 |
WO2012020760A1 (ja) | 2010-08-09 | 2012-02-16 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6116736A (en) * | 1999-04-23 | 2000-09-12 | Neuroptics, Inc. | Pupilometer with pupil irregularity detection capability |
CA2622365A1 (en) * | 2005-09-16 | 2007-09-13 | Imotions-Emotion Technology A/S | System and method for determining human emotion by analyzing eye properties |
JP5228305B2 (ja) * | 2006-09-08 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
JP5067024B2 (ja) * | 2007-06-06 | 2012-11-07 | ソニー株式会社 | 生体情報取得装置および生体情報取得方法 |
JP2009201653A (ja) * | 2008-02-27 | 2009-09-10 | Nippon Telegr & Teleph Corp <Ntt> | 知的活動評価システム、並びにその学習方法及びラベル付与方法 |
DE102009041187A1 (de) * | 2009-08-13 | 2011-02-17 | Volkswagen Ag | Verfahren und Vorrichtung zur Adaption von Parametern eines Fahrerassistenzsystems |
CN104780834B (zh) * | 2012-11-12 | 2016-12-28 | 阿尔卑斯电气株式会社 | 生物体信息计测装置及使用该装置的输入装置 |
-
2013
- 2013-11-08 CN CN201380058939.7A patent/CN104780834B/zh not_active Expired - Fee Related
- 2013-11-08 WO PCT/JP2013/080265 patent/WO2014073645A1/ja active Application Filing
- 2013-11-08 EP EP13852693.4A patent/EP2918225A4/en not_active Withdrawn
- 2013-11-08 JP JP2014545770A patent/JP5923180B2/ja not_active Expired - Fee Related
-
2015
- 2015-05-11 US US14/709,058 patent/US20150238087A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09262213A (ja) * | 1996-03-28 | 1997-10-07 | Toyota Central Res & Dev Lab Inc | 生体情報検出装置 |
JP2008125619A (ja) | 2006-11-17 | 2008-06-05 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
JP2010051592A (ja) * | 2008-08-28 | 2010-03-11 | Fujitsu Ltd | 脈拍計測装置、脈拍計測方法および脈拍計測プログラム |
JP2011130996A (ja) | 2009-12-25 | 2011-07-07 | Denso Corp | 生体活動計測装置 |
WO2012020760A1 (ja) | 2010-08-09 | 2012-02-16 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2918225A4 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045707A (ja) * | 2014-08-22 | 2016-04-04 | 国立大学法人静岡大学 | 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム |
US10417782B2 (en) | 2014-08-22 | 2019-09-17 | National University Corporation Shizuoka University | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program |
EP3185211A4 (en) * | 2014-08-22 | 2018-01-24 | National University Corporation Shizuoka University | Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program |
JP2018515958A (ja) * | 2015-03-13 | 2018-06-14 | タレス ヴィジョニクス インクThales Visionix, Inc. | 異なる照明条件下でのイメージングのためのデュアルモード照明器 |
CN104873184A (zh) * | 2015-05-08 | 2015-09-02 | 上海与德通讯技术有限公司 | 一种测量心率的方法及系统 |
KR102568072B1 (ko) * | 2015-06-29 | 2023-08-24 | 자눈츠 홀딩 유지 (하프퉁스베슈랭크트) | 푸르키네 미터 및 자동 평가를 위한 방법 |
KR20180021175A (ko) * | 2015-06-29 | 2018-02-28 | 자눈츠 홀딩 유지 (하프퉁스베슈랭크트) | 푸르키네 미터 및 자동 평가를 위한 방법 |
RU2722976C2 (ru) * | 2015-06-29 | 2020-06-05 | ЯНУНТС ХОЛДИНГ УГ (хафтунгсбешренкт) | Измеритель пуркинье и способ автоматической оценки |
US10694938B2 (en) | 2015-06-29 | 2020-06-30 | Janunts Holding Ug (Haftungsbeschrankt) | Purkinje meter and method for automatic evaluation |
WO2017001426A1 (de) * | 2015-06-29 | 2017-01-05 | Universität des Saarlandes | Purkinjemeter und verfahren zur automatischen auswertung |
AU2016287284B2 (en) * | 2015-06-29 | 2020-06-25 | Janunts Holding UG (haftungsbeschränkt) | Purkinje meter and method for automatic evaluation |
JP2017041673A (ja) * | 2015-08-17 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法 |
WO2017029787A1 (ja) * | 2015-08-17 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法 |
JP2017153936A (ja) * | 2015-10-15 | 2017-09-07 | ダイキン工業株式会社 | 運転者状態判定装置及び運転者状態判定方法 |
JP2019025195A (ja) * | 2017-08-02 | 2019-02-21 | 株式会社Jvcケンウッド | 視線検出装置及び視線検出方法 |
US11061470B2 (en) | 2017-08-02 | 2021-07-13 | Jvckenwood Corporation | Eye tracking device and eye tracking method |
WO2019026330A1 (ja) * | 2017-08-02 | 2019-02-07 | 株式会社Jvcケンウッド | 視線検出装置及び視線検出方法 |
WO2020021886A1 (ja) * | 2018-07-23 | 2020-01-30 | パナソニックIpマネジメント株式会社 | 生体状態検出装置および生体状態検出方法 |
JPWO2020021886A1 (ja) * | 2018-07-23 | 2021-08-02 | ヌヴォトンテクノロジージャパン株式会社 | 生体状態検出装置および生体状態検出方法 |
US11388372B2 (en) | 2018-07-23 | 2022-07-12 | Nuvoton Technology Corporation Japan | Biological state detecting apparatus and biological state detection method |
JP7449226B2 (ja) | 2018-07-23 | 2024-03-13 | ヌヴォトンテクノロジージャパン株式会社 | 生体状態検出装置および生体状態検出方法 |
WO2020213022A1 (ja) * | 2019-04-15 | 2020-10-22 | 三菱電機株式会社 | 視線監視装置および視線監視方法 |
JPWO2020213022A1 (ja) * | 2019-04-15 | 2021-10-14 | 三菱電機株式会社 | 視線監視装置および視線監視方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2014073645A1 (ja) | 2016-09-08 |
CN104780834A (zh) | 2015-07-15 |
CN104780834B (zh) | 2016-12-28 |
EP2918225A4 (en) | 2016-04-20 |
JP5923180B2 (ja) | 2016-05-24 |
US20150238087A1 (en) | 2015-08-27 |
EP2918225A1 (en) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5923180B2 (ja) | 生体情報計測装置及びそれを用いた入力装置 | |
US8724858B2 (en) | Driver imaging apparatus and driver imaging method | |
JP6617662B2 (ja) | 視線検出装置、視線検出方法、及びコンピュータプログラム | |
EP3075304B1 (en) | Line-of-sight detection assistance device and line-of-sight detection assistance method | |
CN107960989B (zh) | 脉搏波计测装置以及脉搏波计测方法 | |
CN105193402A (zh) | 用于求取车辆的驾驶员的心率的方法 | |
JP6201956B2 (ja) | 視線検出装置および視線検出方法 | |
CN108140244B (zh) | 视线检测装置以及视线检测方法 | |
JP6245093B2 (ja) | 診断支援装置および診断支援方法 | |
EP3912149A2 (en) | Method and system for monitoring a person using infrared and visible light | |
JP6900994B2 (ja) | 視線検出装置及び視線検出方法 | |
JP6747172B2 (ja) | 診断支援装置、診断支援方法、及びコンピュータプログラム | |
JP2018043724A (ja) | 輝度制御装置、輝度制御システム及び輝度制御方法 | |
JP6593133B2 (ja) | 診断支援装置および診断支援方法 | |
JP2019095892A (ja) | 車両用運転支援装置、および車両用運転支援プログラム | |
JP6883242B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP7057483B2 (ja) | 評価装置、評価方法、及び評価プログラム | |
JP2020024750A (ja) | 視線検出装置、視線検出方法、及びコンピュータプログラム | |
US11653831B2 (en) | Visual performance examination device, visual performance examination method, and computer program | |
WO2023187949A1 (ja) | 乗り物酔い抑制装置及び乗り物酔い抑制方法 | |
WO2015080003A1 (ja) | 瞳孔検出装置、視線検出装置および瞳孔検出方法 | |
JP6909391B2 (ja) | 視線検出装置及び視線検出方法 | |
JP2018161249A (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP2017131446A (ja) | 瞳孔検出装置、および瞳孔検出方法 | |
El Moucary et al. | Commodious Control Apparatus for Impaired People |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13852693 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014545770 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013852693 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |