WO2014073645A1 - 生体情報計測装置及びそれを用いた入力装置 - Google Patents

生体情報計測装置及びそれを用いた入力装置 Download PDF

Info

Publication number
WO2014073645A1
WO2014073645A1 PCT/JP2013/080265 JP2013080265W WO2014073645A1 WO 2014073645 A1 WO2014073645 A1 WO 2014073645A1 JP 2013080265 W JP2013080265 W JP 2013080265W WO 2014073645 A1 WO2014073645 A1 WO 2014073645A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
biological information
image
luminance
information measuring
Prior art date
Application number
PCT/JP2013/080265
Other languages
English (en)
French (fr)
Inventor
山下　龍麿
智也 鎌田
Original Assignee
アルプス電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルプス電気株式会社 filed Critical アルプス電気株式会社
Priority to EP13852693.4A priority Critical patent/EP2918225A4/en
Priority to CN201380058939.7A priority patent/CN104780834B/zh
Priority to JP2014545770A priority patent/JP5923180B2/ja
Publication of WO2014073645A1 publication Critical patent/WO2014073645A1/ja
Priority to US14/709,058 priority patent/US20150238087A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0255—Recording instruments specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars

Definitions

  • the present invention relates to a biological information measuring apparatus capable of measuring biological information.
  • Patent Document 1 listed below discloses an invention relating to a life activity measuring device capable of detecting the average luminance of a specific region such as the eyebrows and the forehead and obtaining biological information such as the pulse of the subject based on the average luminance. .
  • the present invention solves the above-described conventional problems, and in particular, provides a biological information measuring device capable of measuring biological information with higher accuracy and stability than in the past and an input device using the same. It is said.
  • An input device includes an imaging unit capable of detecting a pupil of a subject, A detection unit capable of detecting a pupil region from image data obtained by the imaging unit, a luminance acquisition unit that acquires luminance of at least a part of the skin region around the pupil region, and luminance of the skin region And a biological measurement unit that measures biological information of the subject.
  • the skin region to be subjected to luminance detection is specified based on the pupil region, the skin region can be stably obtained, and accordingly, the luminance of the skin region can be obtained with high accuracy and stability. Can do. Therefore, biometric information obtained based on the luminance of the skin region can also be obtained with high accuracy and stability.
  • the pupil can always be detected accurately. If the pupil cannot be detected, it can be determined that the subject is facing sideways or is asleep. Therefore, when the pupil cannot be detected, the posture of the subject can be corrected by issuing a warning or the like.
  • control burden (calculation burden) on the apparatus can be reduced as compared with the conventional case, and it is possible to smoothly perform the measurement of biological information.
  • the imaging unit includes an imaging element and a light emitting element capable of irradiating light toward the subject. Thereby, a subject's pupil can be detected appropriately.
  • the distance between the imaging unit and the subject can be obtained based on trigonometry.
  • the light emitting element includes a first light emitting element that emits infrared light having a first wavelength, and a second light emitting element that emits infrared light having a second wavelength longer than the first wavelength.
  • a bright pupil image is captured under the condition of irradiating infrared light having the first wavelength
  • dark pupil image is irradiated with infrared light having the second wavelength or without irradiating the infrared light.
  • the pupil region is detected from the difference image between the bright pupil image and the dark pupil image.
  • the pupil region can be detected easily and stably.
  • a dark pupil image can be used as an image for specifying a skin region.
  • biometric information can be detected at night by using infrared rays.
  • the detection unit can detect a cornea reflection image. Since the cornea reflection image is also projected in the face image obtained in the light irradiation state, the cornea reflection image can be obtained appropriately and easily. And it becomes possible to detect a gaze etc. of a subject using a cornea reflection image.
  • the luminance acquisition unit acquires an average value of luminances of the plurality of imaging elements or the skin regions photographed at different wavelengths, and inputs the average value to the biological measurement unit.
  • the luminance acquisition unit acquires an average value of luminances of the plurality of imaging elements or the skin regions photographed at different wavelengths, and inputs the average value to the biological measurement unit.
  • pupil detection is performed in the detection unit. By performing pupil tracking, it is possible to accurately measure the line of sight of the subject.
  • the detection unit can detect the line of sight of the subject. Further, the detection unit can detect the face direction of the subject.
  • the luminance acquisition unit acquires the luminance of the skin region located below the pupil region. Unlike the upper side of the pupil region, the skin region located on the lower side of the pupil region is unlikely to change due to blinking, and the luminance can be stably acquired.
  • the luminance acquisition unit acquires the luminance of the skin region when the pupil region of both eyes of the subject is acquired.
  • the pupil region of both eyes it can be determined that the subject is not facing forward (on the imaging unit side), and in such a case, attention can be drawn when looking away.
  • the pupil regions of both eyes the subject is facing forward, and in such a case, the luminance of the skin region is acquired and the biological information is measured, so that the posture of the subject can be determined.
  • the biological information can be measured stably while correcting.
  • the biological information measuring device can be arranged in a vehicle.
  • the biological information of the driver can be obtained during driving, for example, and driving assistance or the like can be performed based on the biological information.
  • An input device includes the biological information measuring device described above and an input operation unit, and performs a predetermined input operation or predetermined information transmission based on information from the biological information measuring device. It is characterized by that.
  • the input operation is executed by predicting the behavior of the subject.
  • the input operation is preferably used for driving support.
  • the behavior of the target person is predicted, and a predetermined input operation can be performed based on this prediction. it can.
  • an input operation can be performed speedily without an operator such as a hand directly touching the operation unit.
  • the living body information measuring device of the present invention is arranged in a vehicle, the brightness of the surroundings can be judged from the size of the pupil, and the response of the auto light can be accelerated.
  • the skin region to be subjected to luminance detection is specified based on the pupil region, so that the skin region can be stably obtained, and the luminance of the skin region can be obtained with high accuracy and stability. it can. Therefore, biometric information obtained based on the luminance of the skin region can also be obtained with high accuracy and stability.
  • the pupil can be detected accurately. If the pupil cannot be detected, it can be determined that the subject is facing sideways or asleep. Therefore, when the pupil cannot be detected, the posture of the subject can be corrected by issuing a warning or the like.
  • control burden (calculation burden) on the apparatus can be reduced as compared with the conventional case, and it is possible to smoothly perform the measurement of biological information.
  • FIG. 1 is a schematic diagram illustrating a state in which a driver (subject) is imaged by a near-infrared camera (imaging unit).
  • FIG. 2A is a front view of the near-infrared camera (imaging unit) in the present embodiment
  • FIG. 2B is a side view showing the internal structure of the near-infrared camera.
  • 3A is a bright pupil image
  • FIG. 3B is a dark pupil image
  • FIG. 3C is a schematic diagram showing a difference image between the bright pupil image and the dark pupil image.
  • FIG. 4A is a schematic diagram in which the peripheral region of the pupil region is specified as a skin region for measuring luminance
  • FIG. 4B is a diagram of the pupil among the skin regions shown in FIG.
  • FIG. 5 is a block diagram of a biological information measuring device and an input device using the same according to the present embodiment.
  • FIG. 6A is a flowchart diagram from the acquisition of the bright pupil image and the dark pupil image until a predetermined input operation is activated
  • FIG. 6B is a flowchart diagram from the pupil tracking to the calculation of the line-of-sight vector.
  • FIG. 6C is a flowchart from nostril detection to face orientation detection.
  • FIG. 7 is a relationship diagram illustrating the relationship between the pupil image, the cornea reflection image, and the line-of-sight calculation.
  • FIG. 8 is a schematic diagram showing a cornea reflection image.
  • FIG. 9 (a) to (d-3) are explanatory diagrams for explaining the gaze calculation algorithm.
  • FIG. 9 (e) shows the distance r between the pupil center and the corneal reflection, and the camera pupil. It is a graph which shows the relationship with angle (theta) between a vector and a gaze vector.
  • FIG. 10 is a schematic diagram for explaining a method for measuring the orientation of the face.
  • FIG. 11 is a schematic diagram showing the relationship between two near-infrared cameras and a viewpoint.
  • FIG. 12 is a flowchart of an input device using the biological information measuring device according to another embodiment (second invention).
  • FIG. 13 is a schematic diagram in which a skin region for measuring luminance is specified in the peripheral region of the cornea reflection image.
  • FIG. 1 is a schematic diagram showing a state where a driver (target person) is imaged by a near-infrared camera (imaging unit).
  • a near-infrared camera 2 is used to image a driver 1 seated in a driver's seat of a vehicle, and the pupil of the driver 1 is detected using the image data.
  • Near-infrared camera 2 is arranged in front of the driver's seat, for example, on the instrument panel. Or you may install in the part of the steering support part 3. FIG.
  • the near-infrared cameras 2 a and 2b are respectively provided with a lens 4, a plurality of first light emitting elements 5, a plurality of second light emitting elements 6, and the rear of the lens 4.
  • the image pickup device (sensor substrate) 7 located at the center, the lens 4, the light emitting devices 5 and 6, and the chassis 8 that supports the image pickup device 7 are configured.
  • the first light emitting element 5 is an 870 nm LED
  • the second light emitting element 6 is a 940 nm LED.
  • the wavelength is an example, and other wavelengths may be used.
  • the light emitting elements 5 and 6 are installed on the substrate 9, and the LED substrate on which the light emitting elements 5 and 6 are arranged on the substrate 9 and the imaging element 7 are arranged in parallel.
  • Two near infrared cameras 2a and 2b are used in synchronization.
  • the biological information measuring apparatus 10 in the present embodiment includes near-infrared cameras 2 a and 2 b, a detection unit 11, a luminance acquisition unit 12, a biological measurement unit 13, and a monitor 14. It is configured.
  • the control unit 15 is configured by combining the detection unit 11, the luminance acquisition unit 12, and the biological measurement unit 13.
  • the detection unit 11 is provided with a pupil detection unit 16, a skin region detection unit 17, and a line-of-sight detection unit 23.
  • the pupil detection unit 16 creates a difference image between the bright pupil image and the dark pupil image.
  • the bright pupil image and the dark pupil image will be described below.
  • FIG. 3A is a bright pupil image 18 of the driver (subject) 1
  • FIG. 3B is a dark pupil image 19 of the driver (subject) 1.
  • a face image is photographed by the imaging element 7 in a state where the first light emitting element 5 irradiates the driver 1 with a near infrared ray having a wavelength of 870 nm.
  • a bright pupil image 18 in which the pupil 20 is photographed particularly brighter than other parts is obtained.
  • a face image is photographed by the image sensor 7 in a state in which the second light emitting element 6 irradiates the driver 1 with a near infrared ray having a wavelength of 940 nm.
  • a dark pupil image 19 is obtained in which the pupil 20 is photographed darker than the bright pupil image 18 in FIG.
  • the wavelength of the light emitting element is a wavelength at which a bright pupil and a dark pupil can be obtained.
  • the shooting of the bright pupil image 18 and the shooting of the dark pupil image 19 are performed in a time-sharing manner.
  • the bright pupil image 18 and the dark pupil image 19 are acquired by the near-infrared camera 2a and the near-infrared camera 2b, respectively.
  • the pupil detection unit 16 shown in FIG. 5 creates a difference image between the bright pupil image 18 and the dark pupil image 19.
  • the difference image 21 is shown in FIG.
  • the difference image 21 can be obtained, for example, by subtracting the luminance value of each pixel of the dark pupil image 19 from the luminance value of each pixel of the bright pupil image 18.
  • the pupil 20 of the driver (target person) 1 is left as a brighter image than the surroundings in the difference image 21.
  • the bright part shown in FIG. 3C is specified as the pupil region 22.
  • two pupil regions 22 can be acquired as shown in FIG.
  • the bright pupil image and dark pupil image described above have been described using a method similar to Japanese Patent Application Laid-Open No. 2008-125619. If only one pupil region 22 is obtained as a result of obtaining the pupil region by the above-described method, only the pupil region of one eye can be obtained, and the driver 1 is not facing forward (imaging unit side). In such a case, you can call attention if you are looking away. Only when the pupil regions 22 of both eyes can be acquired, it can be controlled to measure biological information.
  • the dark pupil image 19 used to obtain the difference image 21 is a face image photographed by irradiating near infrared rays having a wavelength of 940 nm.
  • a face image photographed without irradiating light such as infrared rays.
  • the skin region detection unit 17 acquires a skin region for measurement of biological information based on the pupil region 22.
  • FIG. 4A is a schematic diagram in which the vicinity of the eye shown in the dark pupil image 19 is enlarged, for example. Since the pupil region 22 is specified by FIG. 3C, the skin region 24 for acquiring luminance is specified around the pupil region 22. The skin region 24 is specified at a position away from the pupil region 22 by a predetermined distance.
  • a pupil (black-eye portion) region 25 may be specified from the pupil region 22, and a skin region 24 for acquiring luminance from the pupil region 25 may be specified.
  • the eye region 22 can be specified, the eye region can be estimated based on the luminance of the image around the pupil region 22 and the like, and thus the burden on the detection unit 11 can be suppressed to detect the skin region 24 away from the pupil region 22. it can.
  • the detection unit 11 appropriately executes binarization processing, labeling processing, sieving processing, and the like.
  • the luminance acquisition unit 12 shown in FIG. 5 acquires the luminance of the skin region 24.
  • the average value of luminance obtained from images taken by the near-infrared camera 2a and the near-infrared camera 2b or from images taken at different wavelengths is continuously acquired.
  • the luminance of all the pixels in the skin region 24 may not be acquired.
  • region 24 it is preferable to acquire the brightness
  • the biological information of the driver (target person) 1 is measured from the luminance of the skin area obtained from the luminance acquisition unit 12.
  • a luminance change value of the skin region for a certain time is prepared.
  • low frequency noise due to body movement is removed, and an independent signal is extracted by an independent component analysis method.
  • the biological information and the measurement method are not particularly limited here.
  • the input device 30 includes the biological information measuring device 10 and an input operation unit 31.
  • the input operation unit 31 may also serve as the monitor 14. Therefore, the monitor 14 may or may not be a constituent element of the biological information measuring apparatus 10.
  • the biological information is transmitted from the biological measurement unit 13 to the input operation unit 31.
  • information (such as pupil information and line-of-sight information) from the detection unit 11 illustrated in FIG. 5 is transmitted.
  • the input operation unit 31 a predetermined input operation and predetermined information transmission are executed based on these pieces of information transmitted from the biological information measuring device 10. The input operation and information transmission will be described later.
  • the input operation unit 31 can predict the behavior of the driver (target person) 1 and execute the input operation. For example, paying attention to the line of sight of the driver 1, an action is predicted based on the direction of the line of sight, and an input operation based on the action prediction is executed.
  • the input device 30 shown in FIG. 5 in this embodiment is mounted in a vehicle, and the input operation based on the information from the biological information measuring device 10 shown in FIG. 5 is used for driving assistance. Is preferred. For example, judging from the size of the pupil of the driver 1, the autolight response is accelerated.
  • the pupil region 22 is used as a reference in order to identify the skin regions 24 and 26, the skin regions 24 and 26 can be stably obtained, and the luminance of the skin regions 24 and 26 is stable with high accuracy. Can be obtained. Therefore, the biological information obtained based on the luminance can also be obtained with high accuracy and stability.
  • the pupil can always be detected accurately. If the pupil cannot be detected, it can be determined that the subject is facing sideways or is asleep. Therefore, when the pupil cannot be detected, it is possible to urge the subject to open his eyes and to turn to the front (near infrared camera 2 side).
  • control burden (calculation burden) on the apparatus can be reduced as compared with the conventional case, and it is possible to smoothly perform the measurement of biological information.
  • a bright pupil image 18 and a dark pupil image 19 are acquired (see FIGS. 3A and 3B).
  • the bright pupil image 18 can be obtained by photographing under the condition in which the first light emitting element 5 irradiates near infrared rays having a wavelength of 870 nm.
  • the dark pupil image 19 can be obtained by photographing under the condition that the second light emitting element 6 irradiates near infrared rays having a wavelength of 940 nm.
  • the dark pupil image 19 may be an image taken without irradiating light from the light emitting element.
  • step ST2 of FIG. 6 (a) the pupil region 22 is specified by the difference image 21 between the bright pupil image 18 of FIG. 3 (a) and the dark pupil image 19 of FIG. 3 (b).
  • a cornea reflection image is acquired in step ST3.
  • a corneal reflection image can be acquired by, for example, the dark pupil image 19 photographed under the condition of irradiating near infrared light having a wavelength of 940 nm.
  • FIG. 8 shows a corneal reflection image 35.
  • FIG. 8 is an enlarged view of the pupil portion of the dark pupil image. As shown in the dark pupil image, it can be seen that a corneal reflection image 35 brighter than the dark pupil 36 is displayed.
  • the cornea reflection image 35 is a reflection image of the light source reflected by the driver's 1 cornea.
  • step ST4 the line-of-sight calculation is performed in step ST4 shown in FIG.
  • the line-of-sight calculation can be performed using the pupil region and the cornea reflection image as shown in FIG.
  • the line-of-sight calculation algorithm will be described with reference to FIG.
  • the line-of-sight calculation algorithm shown in FIG. 9 will be described using a method similar to WO2012-20760.
  • the viewing target plane 40 is, for example, a display.
  • the viewing target plane 40 is assumed to be a plane parallel to the XY plane.
  • P is the center of the pupil of the driver (subject) 1 and PT is the line-of-sight vector.
  • Q is the gaze point.
  • the near-infrared camera 2 is installed in parallel with a virtual viewpoint plane 41 which is a plane parallel to the X′Y ′ plane. That is, the orthogonal direction of the virtual viewpoint plane 41 is the optical axis direction of the camera. T is a gazing point on the virtual viewpoint plane 41.
  • PT ′ is a camera pupil vector.
  • the angle between the line-of-sight vector PT and the camera pupil vector PT ′ is ⁇ .
  • the angle between the direction from the camera center to the gazing point T on the virtual viewpoint plane 41 and the X ′ axis is ⁇ .
  • FIG. 9B is a schematic diagram of the pupil periphery image.
  • G is a cornea reflection image.
  • the angle between the line connecting the corneal reflection image G and the pupil center P in a straight line and the X axis is ⁇ ′.
  • FIGS. 9C-1 to 9C-3 schematically shows the eyeball of the driver (subject) 1.
  • FIGS. 9 (c-1) to 9 (c-3) the directions of the eyeballs are different.
  • FIG. 9 (c-1) the directions of the line-of-sight vector PT and the camera pupil vector PT ′ are the same. That is, ⁇ shown in FIG. 9A is zero.
  • the pupil center P and the cornea reflection image G coincide with each other. That is, the distance
  • 0 between the pupil center P and the corneal reflection image G.
  • the angle ⁇ between the line-of-sight vector PT and the camera pupil vector PT ′ is larger than that in FIG. 9C-2.
  • is generated between the pupil center P and the cornea reflection image G, and this interval
  • between the pupil center P and the corneal reflection image G increases as the line of sight moves away from the camera optical axis ( ⁇ increases). Therefore, there is a relationship shown in FIG. 9E between ⁇ and
  • step ST10 shown in FIG. 6B (a specific step of step ST4 in FIG. 1A) a deviation amount of the corneal reflection image is calculated.
  • the shift amount of the corneal reflection image is shown as an interval (distance)
  • pupil center P can be determined by executing pupil tracking with high resolution (step ST11).
  • step ST12 of FIG. 6B the pupil center P and the cornea reflection image G are converted into the XY coordinate system. Subsequently, in step ST13 shown in FIG. 6B, the vector of the pupil center P-corneal reflection image G is calculated, and based on trigonometry, as shown in the relationship diagrams of FIGS. A gazing point T on the viewpoint plane 41 is calculated (step ST14). In step ST15, the line-of-sight vector PT is calculated.
  • FIG. 10 is a perspective view of the face of the driver (subject) 1 as seen obliquely from the front.
  • the nostril presence range is estimated from the position of the pupil 45 detected in steps ST1 and ST2 in FIG. 6A, and the right and left nostrils 47 and 48 are detected from the presence range (region) (FIG. 6C).
  • Step ST20 At this time, only one nostril may be detected. If the nostril is detected in the previous image (previous frame), the nostril position is also tracked by estimating the next image from the nostril position of the previous image. When no nostrils are detected in the previous image, nostril search is executed from the entire image.
  • the detection of the nostrils 47 and 48, the range of existence of the nostrils can be roughly determined from the position of the pupil 45, and the nostrils can be determined by measuring the luminance within the range. Moreover, it becomes easy to detect a nostril by performing a binarization process with respect to an image.
  • the three-dimensional coordinates of the midpoint 43 connecting the nostrils 47 and 48 and the midpoint pupil 45 are calculated by stereo calculation (step ST21 shown in FIG. 6C).
  • a triangular normal 44 connecting the left and right pupils 45, 40 and the midpoint 43 is obtained, and this normal 44 is estimated as the face orientation (step ST22 in FIG. 6C). ).
  • step ST5 of FIG. 6A the skin region 24 around the pupil region 22 is specified (see FIG. 4).
  • the skin region 26 may be a part of the periphery of the pupil region 22, and in that case, it is preferable to select the skin region 26 at a position below the pupil region 22. It is.
  • step ST6 of FIG. 6A the brightness of the skin regions 24 and 26 is acquired.
  • the luminance is preferably an average value.
  • the average value of luminance can be obtained from the average of the luminance of skin areas photographed by a plurality of image sensors or the average of the luminance of skin areas photographed at different wavelengths.
  • step ST7 biological information is measured based on the brightness of the skin region. According to this embodiment, it is possible to obtain biological information such as heart rate, respiratory rate, and pulse.
  • step ST8 shown to Fig.6 (a) biometric information is sent to the monitor 14 and a display is made on the monitor 14.
  • FIG. The monitor 14 is provided, for example, at an intermediate portion between the near-infrared cameras 2a and 2b shown in FIG.
  • the monitor 14 may be an operation panel or the like constituting the input device 30.
  • the operation panel corresponds to a touch panel of a car navigation device arranged on the center console.
  • the biological information is transmitted to the input operation unit 31 constituting the input device 30.
  • the face image (bright pupil image, dark pupil image) acquired in step ST1
  • the pupil region acquired in step ST2 the corneal reflection image acquired in step ST3, the line-of-sight direction acquired in step ST4, and FIG. 6C.
  • Information such as the face orientation is transmitted to the input operation unit 31.
  • One or more pieces of information may be transmitted to the input operation unit 31.
  • the input operation unit 31 executes a predetermined input operation or predetermined information transmission based on information from the biological information measuring device 10. Specific examples are shown below.
  • input assistance can be performed based on the line-of-sight direction obtained in step ST4 of FIG.
  • the volume or the like can be set with the line of sight while the steering switch is being pressed.
  • a control device can be selected by line of sight.
  • a direction indicator assist for example, when the side mirror is seen, a blinker is taken out, and the left rear screen is displayed on the monitor. Also, if you turn the blinker without looking at the side mirror, it will emit a warning sound. Also, after the warning is displayed on the monitor, the alert is canceled when the driver 1 sees it. When the frequency of looking around is reduced, it is possible to take warnings such as “Please pay attention to the surroundings” and “Please take a break” and shake the seat.
  • the brightness of the surroundings is judged from the pupil size, and the autolight response is accelerated.
  • the mirror angle is controlled by the pupil size.
  • the transmittance of the windshield is adjusted by the pupil size.
  • the pupil cannot be confirmed, there is a possibility of falling asleep, so after displaying a warning on the meter or the like, it can be confirmed by subsequent pupil detection whether the display has been seen.
  • the display height of a meter or the like can be adjusted based on the viewing direction, and the seat height or handle height can be adjusted automatically.
  • personal authentication can be performed based on the distance between the left and right pupils, the distance to the nostrils, the shape of the nostrils, and the like.
  • the number of near-infrared cameras may be one, but by installing a plurality (at least two) of near-infrared cameras 2a and 2b, the distance from the driver (subject) 1 can be determined by trigonometry. Can be sought.
  • the appearance by the image 50 in which the object R is projected by the near infrared camera 2a is different from the appearance by the image 51 in which the object R is projected by the near infrared camera 2b.
  • the position of the object R can be specified by the trigonometry from the deviation of the appearance. Therefore, also in this embodiment, it is possible to obtain the distance from the driver (subject) 1 from the images taken by the near-infrared cameras 2a and 2b using trigonometry.
  • steps ST3, 4, 8, and 9 are not essential and are optional steps.
  • the pupil region is specified in step ST2 of FIG. 6A, and the skin region for measuring the luminance is specified based on this pupil region.
  • the cornea reflection image 35 is acquired in step ST30, and the skin region 24 is specified based on the cornea reflection image 35 in step ST31.
  • the cornea reflection image 35 can be obtained, for example, from the dark pupil image 19 as shown in FIG.
  • the skin region 24 is specified around the corneal reflection image 35.
  • the skin region 24 is set at a position away from the cornea reflection image 35 by a predetermined distance.
  • the eye area of the subject can be identified from the cornea reflection image 35 by the brightness of the image, and the skin area 24 can be set around the identified eye.
  • Step ST32 shown in FIG. 12 corresponds to step ST6 in FIG. 6A
  • step ST33 in FIG. 12 corresponds to step ST7 in FIG. 6A
  • step ST34 in FIG. Step ST8 in FIG. 12 corresponds to Step ST9 in FIG. 6A.
  • the pupil region 22 can be specified by the difference image between the bright pupil image 18 and the dark pupil image 19 as shown in steps ST1 and ST2 of FIG. . In such a case, it is possible to perform a line-of-sight calculation or the like as shown in FIG.
  • the biological information measuring device 10 and the input device 30 using the biological information measuring device 10 according to the present embodiment are not limited to vehicles, but can be used for vehicles to obtain the driver's biological information during driving. Based on this, driving assistance and the like can be performed.
  • the behavior prediction can be determined based on the result of tracking the pupil, for example.
  • the biological information measuring device 10 based on information obtained from the biological information measuring device 10 (pupil information, line-of-sight information, biological information, etc.), for example, it can be determined whether or not the patient is asleep. It is also possible to perform a predetermined input operation by predicting the behavior of the driver (subject).
  • the driver is a target person who measures biological information, but the driver is not limited to the driver, and a passenger in a passenger seat may be the target person.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

生体情報計測装置１０は、対象者の瞳孔を検出することが可能な近赤外線カメラ２ａ，２ｂと、近赤外線カメラ２ａ，２ｂにより得られた画像データから瞳孔領域を検出することが可能な検出部１１と、瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部１２と、輝度から対象者の生体情報を計測する生体計測部１３と、を有することを特徴とする。

Description

生体情報計測装置及びそれを用いた入力装置
　本発明は、生体情報を計測することが可能な生体情報計測装置に関する。
　下記特許文献１には、眉間や額等の特定領域の平均輝度を検出し、平均輝度に基づいて被験者の脈拍等の生体情報を得ることが可能な生体活動計測装置に関する発明が開示されている。
特開２０１１－１３０９９６号公報
　特許文献１記載の発明では、眉間を特定するために、顔画像上全体の二次元座標あるいは三次元座標を取得し、座標上の３つの特徴点により、眉間を特定している。
　しかしながら、特許文献１の手法では顔画像全体から眉間算出を行うため制御部への負担が非常に大きくなると考えられる。また、３つの特徴点から眉間を検出するが、対象者によっては特徴点が表れにくい人もいると考えられ、かかる場合には、眉間検出が困難となり、ひいては生体情報の計測誤差や計測エラーに繋がる。
　そこで本発明は上記従来の課題を解決するものであり、特に、従来に比べて高精度にかつ安定して生体情報を計測できる生体情報計測装置及びそれを用いた入力装置を提供することを目的としている。
　本発明における入力装置は、対象者の瞳孔を検出することが可能な撮像部と、
　前記撮像部により得られた画像データから瞳孔領域を検出することが可能な検出部と、前記瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部と、前記肌領域の輝度から前記対象者の生体情報を計測する生体計測部と、を有することを特徴とするものである。
　本発明では、瞳孔領域を基準として輝度検知に供される肌領域を特定するため、肌領域を安定して得ることができ、それに伴い、肌領域の輝度を高精度にかつ安定して得ることができる。したがって、肌領域の輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には警告を発するなどして対象者の姿勢を正すこともできる。
　また本発明によれば特許文献１に記載されているような顔画像全体から３次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担（算出負担）を低減でき、スムースに生体情報の計測まで行うことができる。
　本発明では、前記撮像部は、撮像素子と、前記対象者に向けて光を照射可能な発光素子と、を有して構成されることが好ましい。これにより適切に対象者の瞳孔を検出することができる。
　また本発明では、前記撮像素子は、複数設けられることが好ましい。これにより、三角法に基づいて前記撮像部と対象者との距離を求めることができる。
　また本発明では、前記発光素子は、第１の波長を有する赤外線を照射する第１の発光素子と、前記第１の波長よりも長い第２の波長を有する赤外線を照射する第２の発光素子と、を有し、前記第１の波長を有する赤外線を照射した条件で明瞳孔画像が撮像され、前記第２の波長を有する赤外線を照射して、あるいは前記赤外線を照射せずに暗瞳孔画像が撮像され、前記検出部では、前記明瞳孔画像と前記暗瞳孔画像との差分画像により前記瞳孔領域を検出することが好ましい。上記により簡単かつ安定して瞳孔領域を検出することができる。また例えば暗瞳孔画像を、肌領域を特定するための画像として用いることも可能である。また赤外線を用いたことで夜間でも生体情報検出が可能になる。
　また本発明では、前記検出部では、角膜反射像を検出可能であることが好ましい。光を照射した状態で得られた顔画像には角膜反射像も写し出されているので、適切かつ簡単に角膜反射像を得ることができる。そして角膜反射像を用いて対象者の視線等を検知することが可能になる。
　また、前記輝度取得部では、複数の前記撮像素子、あるいは、異なる波長で撮影された前記肌領域の輝度の平均値を取得して、前記生体計測部に入力することが好ましい。このように肌領域の輝度の平均値を取得して、生体情報の計測に供することで、精度よく生体情報の計測を実行することができる。
　また、前記検出部では、瞳孔追跡が実行されることが好ましい。瞳孔追跡を行うことで対象者の視線等の測定を精度よく行うことができる。
　また、前記検出部では、前記対象者の視線を検出することができる。
　また、前記検出部では、前記対象者の顔の向きを検出することができる。
　また、前記輝度取得部では、前記瞳孔領域の下側に位置する前記肌領域の輝度を取得することが好ましい。瞳孔領域の下側に位置する肌領域は、瞳孔領域の上側と違って、瞬きによる肌領域の変化が起こりにくく、輝度を安定して取得できる。
　また本発明では、前記対象者の両目の前記瞳孔領域を取得した際に、前記輝度取得部が前記肌領域の輝度を取得することが好ましい。片目の瞳孔領域しか得られない場合には、対象者が前方（撮像部側）を向いていないと判断でき、かかる場合には、よそ見をしていると注意を喚起するなどできる。両目の瞳孔領域が得られた場合は、対象者が前方を向いた状態であり、かかる場合に、肌領域の輝度を取得し、生体情報を計測するようにすることで、対象者の姿勢を正すとともに、安定して生体情報の計測を行うことができる。
　また本発明では、前記生体情報計測装置が車両内に配置される構成にできる。このように生体情報計測装置を、車両内に配置することで例えば運転中に運転者の生体情報を得ることができ、それに基づいて運転支援等を行うことが可能である。
　また本発明における入力装置は、上記に記載の生体情報計測装置と、入力操作部と、を有し、前記生体情報計測装置からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行されることを特徴とするものである。
　本発明では、前記入力操作は、前記対象者の行動を予測して実行されることが好ましい。
　また、前記入力操作は運転支援に供されることが好ましい。
　本発明では、生体情報計測装置からの情報（生体情報や瞳孔情報、視線情報など）に基づいて、対象者の行動を予測し、この予測をもとに、所定の入力操作を発揮させることができる。これにより、手などの操作体が直接、操作部に触れなくても、スピーディに入力操作を実行できる。例えば本発明の生体情報計測装置が車両内に配置される構成であれば、瞳孔の大きさから周囲の明るさを判断して、オートライトの応答を早めることができる。また、居眠りをしているか否かを判断でき、居眠りをしていると判断された場合には、音声で注意を促すこと等ができ安全性を高めることができる。
　本発明によれば、瞳孔領域を基準として輝度検知に供される肌領域を特定するため、肌領域を安定して得ることができ、肌領域の輝度を高精度にかつ安定して得ることができる。したがって、肌領域の輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているとか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には警告を発するなどして対象者の姿勢を正すこともできる。
　また本発明によれば特許文献１に記載されているような顔画全体から３次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担（算出負担）を低減でき、スムースに生体情報の計測まで行うことができる。
図１は、近赤外線カメラ（撮像部）により運転者（対象者）を撮像している状態を示す模式図である。 図２（ａ）は、本実施形態における近赤外線カメラ（撮像部）の正面図であり、図２（ｂ）は近赤外線カメラの内部構造を示す側面図である。 図３（ａ）は、明瞳孔画像であり、図３（ｂ）は、暗瞳孔画像であり、図３（ｃ）は、明瞳孔画像と暗瞳孔画像との差分画像を示す模式図である。 図４（ａ）は、瞳孔領域の周囲領域を、輝度を測定するための肌領域として特定した模式図であり、図４（ｂ）は、図４（ａ）に示す肌領域のうち、瞳孔領域の下側に位置する領域のみを、輝度を測定するための肌領域として特定した模式図である。 図５は、本実施形態における生体情報計測装置、及びそれを用いた入力装置のブロック図である。 図６（ａ）は、明瞳孔画像及び暗瞳孔画像の取得から所定の入力操作を起動させるまでのフローチャート図であり、図６（ｂ）は、瞳孔追跡から視線ベクトルの算出までのフローチャート図であり、図６（ｃ）は、鼻孔検出から顔向き検出までのフローチャート図である。 図７は、瞳孔画像、角膜反射像、及び視線演算の関係を示す関係図である。 図８は、角膜反射像を示す模式図である。 図９は（ａ）～（ｄ－３）は、視線演算のアルゴリズムを説明するための説明図であり、図９（ｅ）は、瞳孔中心と角膜反射との間の距離ｒと、カメラ瞳孔ベクトルと視線ベクトルとの間の角度θとの関係を示すグラフである。 図１０は、顔の向きを測定するための手法を説明するための模式図である。 図１１は、２台の近赤外線カメラと、視点との関係を示す模式図である。 図１２は、別の実施形態（第２の発明）における生体情報計測装置を用いた入力装置のフローチャート図である。 図１３は、角膜反射像の周囲領域を、輝度を測定するための肌領域を特定した模式図である。
　図１は、近赤外線カメラ（撮像部）により運転者（対象者）を撮像している状態を示す模式図である。本実施形態では図１に示すように近赤外線カメラ２を用いて、車両の運転席に座席した運転者１を撮像し、その画像データを用いて、運転者１の瞳孔を検出する。
　近赤外線カメラ２は、運転席正面に配置されており、例えば、インストルメント・パネルに配置されている。あるいは、ステアリング支持部３の部分に設置されていてもよい。
　図２（ａ）に示すように近赤外線カメラ２ａ，２ｂは２台、設けられている。図２（ａ）（ｂ）に示すように、近赤外線カメラ２ａ，２ｂはそれぞれ、レンズ４と、複数の第１の発光素子５と、複数の第２の発光素子６と、レンズ４の後方に位置する撮像素子（センサ基板）７と、レンズ４、各発光素子５，６及び撮像素子７を支持するシャーシ８とを有して構成される。
　ここで第１の発光素子５は、８７０ｎｍＬＥＤであり、第２の発光素子６は９４０ｎｍＬＥＤである。なお波長については一例であり、これ以外の波長であってもよい。
　各発光素子５，６は基板９に設置されており、基板９上に発光素子５，６が配置されたＬＥＤ基板と撮像素子７とは平行に配置されている。また、２台の近赤外線カメラ２ａ，２ｂを同期させて用いる。
　図５のブロック図に示すように、本実施形態における生体情報計測装置１０は、近赤外線カメラ２ａ，２ｂと、検出部１１と、輝度取得部１２と、生体計測部１３と、モニタ１４とを有して構成される。また検出部１１、輝度取得部１２、生体計測部１３を合わせて制御部１５が構成される。
　図５に示すように検出部１１には、瞳孔検出部１６、肌領域検出部１７、及び視線検出部２３が設けられる。
　瞳孔検出部１６では、明瞳孔画像と暗瞳孔画像との差分画像を作成する。明瞳孔画像、及び暗瞳孔画像について以下に説明する。
　図３（ａ）は、運転者（対象者）１の明瞳孔画像１８であり、図３（ｂ）は、運転者（対象者）１の暗瞳孔画像１９である。
　まず第１の発光素子５により波長８７０ｎｍの近赤外線を運転者１の顔に照射した状態で撮像素子７により顔画像を撮影する。このようにして撮影された顔画像では、図３（ａ）に示すように瞳孔２０が他の部位よりも特に明るく撮影された明瞳孔画像１８が得られる。一方、第２の発光素子６により波長９４０ｎｍの近赤外線を運転者１の顔に照射した状態で撮像素子７により顔画像を撮影する。このようにして撮影された顔画像では、図３（ｂ）に示すように瞳孔２０が図３（ａ）の明瞳孔画像１８に比べて暗く撮影された暗瞳孔画像１９が得られる。発光素子の波長については、明瞳孔及び暗瞳孔が得られる波長とされる。
　明瞳孔画像１８の撮影と、暗瞳孔画像１９の撮影とは時分割で行われる。また本実施形態では、近赤外線カメラ２ａ，２ｂは２台あるので、近赤外線カメラ２ａ及び近赤外線カメラ２ｂのそれぞれにて、明瞳孔画像１８及び暗瞳孔画像１９を取得する。
　図５に示す瞳孔検出部１６では、明瞳孔画像１８と暗瞳孔画像１９との差分画像を作成する。差分画像２１が図３（ｃ）に示されている。差分画像２１は、例えば、明瞳孔画像１８の各画素の輝度値から暗瞳孔画像１９の各画素の輝度値を減算することで得ることができる。
　図３（ｃ）に示すように、差分画像２１では運転者（対象者）１の瞳孔２０が周囲に比べて明るい画像として残される。図３（ｃ）に示す明るい部分を瞳孔領域２２と特定する。ここで図３（ｃ）に示すように瞳孔領域２２を、２つ取得できる。上記してきた明瞳孔画像、及び暗瞳孔画像については、特開２００８－１２５６１９号公報に類似した手法を用いて説明したものである。上記した手法で瞳孔領域を得た結果、仮にひとつの瞳孔領域２２しか得られない場合は、片目の瞳孔領域しか取得できない状態であり、運転者１が前方（撮像部側）を向いていないと判断でき、かかる場合には、よそ見をしていると注意を喚起するなどできる。両目の瞳孔領域２２を取得できて初めて、生体情報の計測を行うように制御できる。
　上記では、差分画像２１を得るのに使用する暗瞳孔画像１９を、波長９４０ｎｍの近赤外線を照射して撮影した顔画像としたが、例えば、赤外線などの光を照射せずに撮影した顔画像を暗瞳孔画像１９とすることもできる。
　次に肌領域検出部１７では、瞳孔領域２２に基づいて、生体情報の測定に供するための肌領域を取得する。
　図４（ａ）は、例えば、暗瞳孔画像１９に示される目の付近を拡大した模式図である。図３（ｃ）により瞳孔領域２２が特定されたので、その瞳孔領域２２の周囲に、輝度を取得するための肌領域２４を特定する。肌領域２４は、瞳孔領域２２から外側に所定距離だけ離れた位置に特定する。
　また瞳孔領域２２から瞳（黒目部分）の領域２５を特定し、瞳の領域２５から輝度を取得するための肌領域２４を特定してもよい。
　瞳孔領域２２を特定できれば、瞳孔領域２２の周囲の画像の輝度等によって目の領域を推測でき、したがって瞳孔領域２２から離れた肌領域２４を検出するのに検出部１１の負担を小さく抑えることができる。
　なお検出部１１では、二値化処理、ラベリング処理、ふるいがけ処理等が適宜実行される。
　図５に示す輝度取得部１２では、肌領域２４の輝度を取得する。このとき、例えば、近赤外線カメラ２ａと近赤外線カメラ２ｂのそれぞれにて撮影した画像から、あるいは異なる波長で撮影した画像から得られた輝度の平均値を連続的に取得する。また、この際、肌領域２４の全画素の輝度を取得しなくてもよい。このように肌領域２４の一部分から輝度を取得する場合には、図４（ｂ）に示すように、瞳孔領域２２よりも下側に位置する肌領域２６の輝度を取得することが好ましい。瞳孔領域２２の上側は瞼側であり、瞬きにより安定した輝度を得にくいため、瞳孔領域２２の下側に位置する涙袋側の肌領域２６の輝度を取得することで輝度を安定して取得することができる。
　図５に示す生体計測部１３では、輝度取得部１２より得られた肌領域の輝度から運転者（対象者）１の生体情報を計測する。この生体情報の計測は、一定時間における肌領域の輝度変化値を用意する。次に、体の動きなどによる低周波雑音を取り除き、独立成分分析法により独立信号を取り出す。この独立信号のパワースペクトルを算出し、心拍や呼吸数付近の周波数ピークを持つ信号を取得することで、これを出力信号する手法がある。しかし、ここで生体情報やその計測方法について特に限定するものではない。
　図５に示すように入力装置３０は、生体情報計測装置１０と、入力操作部３１とを有して構成される。ここで、入力操作部３１はモニタ１４を兼ねていてもよい。よって、生体情報計測装置１０の構成要素としてモニタ１４はあってもなくてもよい。
　入力操作部３１に生体計測部１３から生体情報が送信される。あるいは、図５に示す検出部１１からの情報（瞳孔情報や視線情報など）が送信される。入力操作部３１では、生体情報計測装置１０から送信されるこれらの情報に基づいて、所定の入力操作や所定の情報発信が実行される。どのような入力操作や情報発信がされるのかについては後述する。
　入力操作部３１では、運転者（対象者）１の行動を予測して入力操作を実行することができる。例えば運転者１の視線に着目して、視線の方向に基づいて行動予測をし、その行動予測に基づく入力操作を実行する。
　本実施形態における図５に示す入力装置３０は、車両内に搭載されるものであり、図５に示す生体情報計測装置１０からの情報に基づく入力操作は、運転支援に供されるものであることが好適である。例えば運転者１の瞳孔の大きさから判断して、オートライトの応答を早めるがごとくである。
　本実施形態では肌領域２４，２６を特定するために瞳孔領域２２を基準としているため、肌領域２４，２６を安定して得ることができ、肌領域２４，２６の輝度を高精度にかつ安定して得ることができる。したがって、輝度に基づいて得られる生体情報も高精度でかつ安定して得ることができる。瞳孔は対象者の顔の他の部位と違って必ず正確に検出できるから、逆に瞳孔が検出できない場合は、対象者が横を向いているか、居眠りしていると断定できる。したがって瞳孔が検出できない場合には対象者に目を開いて前方（近赤外線カメラ２側）を向くように注意を促すこともできる。
　また本実施形態によれば特許文献１に記載されているような顔画全体から３次元データを構築するといったことが必要ではない。したがって従来に比べて装置に対する制御負担（算出負担）を低減でき、スムースに生体情報の計測まで行うことができる。
　次に図６に示すフローチャートを用いて、画像の取得から入力操作の起動までのステップを説明する。
　図６（ａ）のステップＳＴ１では、明瞳孔画像１８及び暗瞳孔画像１９を取得する（図３（ａ）（ｂ）参照）。図７にも示すように、第１の発光素子５により波長８７０ｎｍの近赤外線を照射した条件で撮影することで明瞳孔画像１８を得ることができる。また第２の発光素子６により波長９４０ｎｍの近赤外線を照射した条件で撮影することで暗瞳孔画像１９を得ることができる。なお暗瞳孔画像１９は、発光素子から光を照射しないで撮影したものであってもよい。
　次に図６（ａ）のステップＳＴ２では、図３（ａ）の明瞳孔画像１８と図３（ｂ）の暗瞳孔画像１９との差分画像２１により瞳孔領域２２を特定する。
　次に図６（ａ）に示すようにステップＳＴ３で、角膜反射像を取得する。図７に示すように角膜反射像を例えば、波長９４０ｎｍの近赤外線を照射した条件にて撮影された暗瞳孔画像１９により取得することができる。
　図８には、角膜反射像３５が示されている。図８は暗瞳孔画像の瞳孔部分を拡大して示したものである。暗瞳孔画像に示すように暗く映る瞳孔３６よりも明るい角膜反射像３５が映し出されていることがわかる。角膜反射像３５は、運転者１の角膜で反射した光源の反射像である。
　続いて図６（ａ）に示すステップＳＴ４で視線演算を行う。視線演算は図７に示すように瞳孔領域と角膜反射像とを用いて行うことが可能である。視線演算のアルゴリズムについて図９を用いて説明する。ここで、図９に示す視線演算のアルゴリズムはＷＯ２０１２－２０７６０号に類似した手法を用いて説明する。
　図９（ａ）に示すように、運転者（対象者）１の前方に視対象平面４０があるとする。この視対象平面４０は例えばディスプレイである。この視対象平面４０はＸＹ平面に平行な面であるとする。符号Ｐは運転者（対象者）１の瞳孔中心であり、ＰＴが視線ベクトルである。Ｑが注視点である。
　近赤外線カメラ２はＸ´Ｙ´平面と平行な面である仮想視点平面４１と平行に設置される。すなわち仮想視点平面４１の直交方向がカメラの光軸方向である。Ｔは仮想視点平面４１上の注視点である。ＰＴ´はカメラ瞳孔ベクトルである。
　図９（ａ）に示すように、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´との間の角度はθである。また、カメラ中心から仮想視点平面４１上の注視点Ｔへの方向とＸ´軸との間の角度はφである。
　図９（ｂ）は瞳孔周辺画像の模式図である。Ｇは角膜反射像である。角膜反射像Ｇと瞳孔中心Ｐとを直線状に結んだ線とＸ軸との間の角度はφ´である。
　図９（ｃ－１）～（ｃ－３）に示すＥは運転者（対象者）１の眼球を模式図的に示したものである。図９（ｃ－１）～（ｃ－３）では眼球の向きが異なっている。図９（ｃ－１）では、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´との方向が一致している。すなわち図９（ａ）に示すθはゼロである。このとき図９（ｄ－１）の画像では、瞳孔中心Ｐと角膜反射像Ｇとが一致している。すなわち、瞳孔中心Ｐと角膜反射像Ｇとの間隔｜ｒ０｜＝０である。
　次に、図９（ｃ－２）では、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´とが一致せず、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´との間に角度θが生じている。このとき図９（ｄ－２）の画像では、瞳孔中心Ｐと角膜反射像Ｇとの間に、間隔｜ｒ１｜が生じている。
　また、図９（ｃ－３）では、視線ベクトルＰＴとカメラ瞳孔ベクトルＰＴ´との間の角度θが、図９（ｃ－２）よりも大きくなっている。このとき図９（ｄ－３）の画像では、瞳孔中心Ｐと角膜反射像Ｇとの間に、間隔｜ｒ２｜が生じ、この間隔｜ｒ２｜は、図９（ｄ－２）に示す間隔｜ｒ１｜よりも大きくなっている。
　ここで図９（ａ）（ｃ）に示す（θ，φ）と、図９（ｂ）（ｄ）に示す（｜ｒ｜，φ´）との関係は一対一に対応している。
　すなわち視線がカメラ光軸から離れるほど（θが大きくなるほど）、瞳孔中心Ｐと角膜反射像Ｇとの間の間隔（距離）｜ｒ｜は大きくなる。したがって、θと｜ｒ｜との間には図９（ｅ）に示す関係がある。この関係に基づいて視線を推定することができる。
　具体的には、図６（ｂ）（図１（ａ）のステップＳＴ４の具体的ステップ）に示すステップＳＴ１０で、角膜反射像のずれ量の算出を行う。角膜反射像のずれ量は、図９（ｄ－１）～（ｄ－３）に示す瞳孔中心Ｐと角膜反射像Ｇとの間の間隔（距離）｜ｒ｜として示される。
　なお高分解能化による瞳孔追跡を実行して瞳孔中心Ｐを決定することができる（ステップＳＴ１１）。
　また図６（ｂ）のステップＳＴ１２では、瞳孔中心Ｐ、角膜反射像ＧをＸＹ座標系に変換する。続いて、図６（ｂ）に示すステップＳＴ１３では、瞳孔中心Ｐ－角膜反射像Ｇのベクトルを算出し、図９（ａ）（ｂ）の関係図に示すように三角法に基づいて、仮想視点平面４１上の注視点Ｔを算出する（ステップＳＴ１４）。そしてステップＳＴ１５にて視線ベクトルＰＴを算出する。
　また図６（ａ）のステップＳＴ４では、顔向きを推定することも可能である。図１０は、運転者（対象者）１の顔を斜め前方から見た斜視図である。図６（ａ）のステップＳＴ１，ＳＴ２により検出された瞳孔４５の位置から鼻孔の存在範囲を推定し、その存在範囲（領域）から左右の鼻孔４７，４８を検出する（図６（ｃ）のステップＳＴ２０）。このとき、片方の鼻孔のみを検出してもよい。なお前画像（前フレーム）で鼻孔を検出したら、その次の画像についても、前画像の鼻孔位置から推定して鼻孔位置を追跡する。また前画像で鼻孔を検出していないときは、画像全体から鼻孔の探索を実行する。
　さて鼻孔４７，４８の検出であるが、瞳孔４５の位置から鼻孔の存在範囲を大凡、決めることができ、その範囲内での輝度測定により鼻孔を確定することができる。また画像に対して２値化処理を行うことで鼻孔が検出しやすくなる。
　続いて、鼻孔４７，４８を結ぶ中点４３と中点瞳孔４５との３次元座標をステレオ計算により算出する（図６（ｃ）に示すステップＳＴ２１）。
　そして図１０に示すように、左右両側の瞳孔４５，４０と中点４３とを結ぶ三角形の法線４４を求め、この法線４４を顔の向きとして推定する（図６（ｃ）のステップＳＴ２２）。
　続いて、図６（ａ）のステップＳＴ５では、瞳孔領域２２周辺の肌領域２４を特定する（図４参照）。図４（ｂ）に示すように、肌領域２６は瞳孔領域２２の周囲の一部であってもよく、その場合は、瞳孔領域２２の下側の位置の肌領域２６を選択することが好適である。そして、図６（ａ）のステップＳＴ６では、肌領域２４，２６の輝度を取得する。輝度は平均値であることが好適である。輝度の平均値は、複数の撮像素子で撮影された肌領域の輝度の平均、あるいは異なる波長で撮影された肌領域の輝度の平均で求めることができる。そして、ステップＳＴ７では、肌領域の輝度に基づいて生体情報を計測する。本実施形態によれば、心拍、呼吸数、脈拍等の生体情報を得ることが可能である。
　そして図６（ａ）に示すステップＳＴ８では、生体情報がモニタ１４に送られ、モニタ１４に表示がなされる。モニタ１４は例えば、図２（ａ）に示す近赤外線カメラ２ａ，２ｂの中間部に設けられている。あるいは、モニタ１４は、入力装置３０を構成する操作パネル等であってもよい。操作パネルとしては、センターコンソールに配置されるカーナビゲーション装置のタッチパネル等が該当する。
　また図６（ａ）のステップＳＴ９に示すように、生体情報は、入力装置３０を構成する入力操作部３１に送信される。また、ステップＳＴ１で取得した顔画像（明瞳孔画像、暗瞳孔画像）、ステップＳＴ２で取得した瞳孔領域、ステップＳＴ３で取得した角膜反射像、及びステップＳＴ４で取得した視線方向や図６（ｃ）での顔向き等の情報が入力操作部３１に送信される。入力操作部３１に送信される情報は１つであってもよいし複数であってもよい。
　入力操作部３１では、生体情報計測装置１０からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行される。以下、具体例を示す。
　まず、図６（ａ）のステップＳＴ４で得られた視線方向に基づいて、入力補助（運転支援）を行うことができる。例えば、視線検知による入力として、ステアリングスイッチを押している間は、視線で音量などを設定可能とする。また視線による選択として、視線で制御機器を選択などできるようにする。また、方向指示器補助として、例えば、サイドミラーを見たらウインカーを出し、また左後方画面をモニタに映す。またサイドミラーを見ずにウインカーを出したら警告音を出す。またモニタに警告表示をした後、運転者１がそれを見たらアラート解除を実行する。また周囲を見る頻度が少なくなったら、「周囲に注意してください」、「休憩してください」などの警告を発したり、シートを震わせるなどの処置をとることができる。
　また瞳孔検知による入力として、瞳孔サイズから周囲の明るさを判断し、オートライトの応答を早める。また瞳孔サイズでミラー角度をコントロールする。また瞳孔サイズでフロントガラスの透過率を調整する。
　また瞳孔が確認できない場合には居眠りをしている恐れがあるので、メータ等に警告を表示した後、その表示を見たかどうかをその後の瞳孔検出により確認できる。
　また、瞳孔の位置から口唇を検出し、口唇の動きにより音声入力制度を向上させることもできる。
　また片目の瞳孔しか確認できない場合等、よそ見、わき見を検知したら、安全性を高めるために、警告音を発したり、視線ナビゲートを実行する。
　またそのほかに、視線方向に基づいて、メータ等の表示高さを調整したり、座席高さやハンドル高さの調整等が自動で行われるようにできる。また左右瞳孔間の距離や鼻孔との距離、鼻孔の形などで個人認証を実行することもできる。
　本実施形態では、近赤外線カメラ２ａ，２ｂが２台、設けられている。本実施形態では、近赤外線カメラを１台としてもよいが、近赤外線カメラ２ａ，２ｂを複数（最低２台）、設置することで、三角法により、運転者（対象者）１との距離を求めることができる。図１１に示すように近赤外線カメラ２ａにより対象物Ｒを映した画像５０による見え方と、近赤外線カメラ２ｂにより対象物Ｒを映した画像５１による見え方とは異なっている。この見え方のずれから三角法により対象物Ｒの位置を特定できる。したがって本実施形態においても近赤外線カメラ２ａ，２ｂにより撮影された画像から三角法を用いて運転者（対象者）１との距離を求めることが可能である。
　また図６（ａ）の実施形態において、ステップＳＴ３，４，８，９は必須でなく選択的なステップである。
　上記した実施形態（第１の実施形態）では、図６（ａ）のステップＳＴ２で瞳孔領域を特定し、この瞳孔領域に基づいて輝度を測定するための肌領域を特定した。
　これに対して図１２に示す第２の実施形態では、ステップＳＴ３０で角膜反射像３５を取得し、ステップＳＴ３１で、角膜反射像３５に基づいて肌領域２４を特定している。角膜反射像３５は図７に示す通り、例えば暗瞳孔画像１９により得ることができる。
　この第２の実施形態では、第１の実施形態と異なって、瞳孔領域２２の取得を必須とはしていないが、その代わりに角膜反射像３５の取得を必須とする。そして図１３に示すように、角膜反射像３５の周囲に肌領域２４を特定する。肌領域２４は角膜反射像３５から所定距離離れた位置に設定される。角膜反射像３５から対象者の目の領域を画像の輝度等により特定でき、特定された目の周りに肌領域２４を設定することができる。
　図１２に示すステップＳＴ３２は図６（ａ）のステップＳＴ６に該当し、図１２のステップＳＴ３３は、図６（ａ）のステップＳＴ７に該当し、図１２のステップＳＴ３４は、図６（ａ）のステップＳＴ８に該当し、図１２のステップＳＴ３５は、図６（ａ）のステップＳＴ９に該当する。
　なお図１２に示す第２実施形態においても、図６（ａ）のステップＳＴ１，ＳＴ２に示すように、明瞳孔画像１８と暗瞳孔画像１９との差分画像により瞳孔領域２２を特定することができる。かかる場合には図７に示すように視線演算等を行うことが可能になる。
　本実施形態の生体情報計測装置１０及びそれを用いた入力装置３０は、車両用に限定するものでないが、車両用として使用することで、運転中に運転者の生体情報を得ることができ、それに基づいて運転支援等を行うことができる。
　行動予測は、例えば瞳孔を追跡し、その追跡結果に基づいて判断することができる。
　また、生体情報計測装置１０から得られる情報（瞳孔情報、視線情報、生体情報等）に基づいて、例えば居眠りをしているか否かの判断ができ、かかる場合、早めに音声等で注意を喚起でき、また運転者（対象者）の行動を予測して、所定の入力操作を実行することも可能である。
　上記の実施形態では、運転者を、生体情報を計測する対象者としたが、運転者に限るものでなく、助手席の乗員等を対象者としてもよい。
Ｇ、３５　角膜反射像
Ｐ　瞳孔中心
ＰＴ　視線ベクトル
１　運転者
２、２ａ、２ｂ　近赤外線カメラ
５　第１の発光素子
６　第２の発光素子
７　撮像素子
１０　生体情報計測装置
１１　検出部
１２　輝度取得部
１３　生体計測部
１４　モニタ
１６　瞳孔検出部
１７　肌領域検出部
１８　明瞳孔画像
１９　暗瞳孔画像
２０、４５　瞳孔
２１　差分画像
２２　瞳孔領域
２４、２６　肌領域
３０　入力装置
３１　入力操作部
４７、４８　鼻孔

Claims (15)

  1. 　対象者の瞳孔を検出することが可能な撮像部と、
    　前記撮像部により得られた画像データから瞳孔領域を検出することが可能な検出部と、
    　前記瞳孔領域の周囲の少なくとも一部の肌領域の輝度を取得する輝度取得部と、
    　前記肌領域の輝度から前記対象者の生体情報を計測する生体計測部と、
    　を有することを特徴とする生体情報計測装置。
  2. 　前記撮像部は、撮像素子と、前記対象者に向けて光を照射可能な発光素子と、を有して構成される請求項１記載の生体情報計測装置。
  3. 　前記撮像素子は、複数設けられる請求項２記載の生体情報計測装置。
  4. 　前記発光素子は、第１の波長を有する赤外線を照射する第１の発光素子と、前記第１の波長よりも長い第２の波長を有する赤外線を照射する第２の発光素子と、を有し、
    　前記第１の波長を有する赤外線を照射した条件で明瞳孔画像が撮像され、前記第２の波長を有する赤外線を照射して、あるいは前記赤外線を照射せずに暗瞳孔画像が撮像され、
    　前記検出部では、前記明瞳孔画像と前記暗瞳孔画像との差分画像により前記瞳孔領域を検出する請求項２に記載の生体情報計測装置。
  5. 　前記検出部では、角膜反射像を検出可能である請求項２に記載の生体情報計測装置。
  6. 　前記輝度取得部では、複数の前記撮像素子、あるいは、異なる波長で撮影された前記肌領域の輝度の平均値を取得して、前記生体計測部に入力する請求項１に記載の生体情報計測装置。
  7. 　前記検出部では、瞳孔追跡が実行される請求項１に記載の生体情報計測装置。
  8. 　前記検出部では、前記対象者の視線が検出される請求項１に記載の生体情報計測装置。
  9. 　前記検出部では、前記対象者の顔の向きが検出される請求項１に記載の生体情報計測装置。
  10. 　前記輝度取得部では、前記瞳孔領域の下側に位置する前記肌領域の輝度を取得する請求項１に記載の生体情報計測装置。
  11. 　前記対象者の両目の前記瞳孔領域を取得した際に、前記輝度取得部が前記肌領域の輝度を取得する請求項１に記載の生体情報計測装置。
  12. 　前記生体情報計測装置が車両内に配置される請求項１に記載の生体情報計測装置。
  13. 　請求項１の生体情報計測装置と、入力操作部と、を有し、
    　前記生体情報計測装置からの情報に基づいて、所定の入力操作あるいは所定の情報発信が実行されることを特徴とする入力装置。
  14. 　前記入力操作は、前記対象者の行動を予測して実行される請求項１３記載の入力装置。
  15. 　前記入力操作は運転支援に供される請求項１３記載の入力装置。
PCT/JP2013/080265 2012-11-12 2013-11-08 生体情報計測装置及びそれを用いた入力装置 WO2014073645A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13852693.4A EP2918225A4 (en) 2012-11-12 2013-11-08 BIOLOGICAL INFORMATION MEASURING DEVICE AND INPUT DEVICE USING THE SAME
CN201380058939.7A CN104780834B (zh) 2012-11-12 2013-11-08 生物体信息计测装置及使用该装置的输入装置
JP2014545770A JP5923180B2 (ja) 2012-11-12 2013-11-08 生体情報計測装置及びそれを用いた入力装置
US14/709,058 US20150238087A1 (en) 2012-11-12 2015-05-11 Biological information measurement device and input device utilizing same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012247983 2012-11-12
JP2012-247983 2012-11-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/709,058 Continuation US20150238087A1 (en) 2012-11-12 2015-05-11 Biological information measurement device and input device utilizing same

Publications (1)

Publication Number Publication Date
WO2014073645A1 true WO2014073645A1 (ja) 2014-05-15

Family

ID=50684738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/080265 WO2014073645A1 (ja) 2012-11-12 2013-11-08 生体情報計測装置及びそれを用いた入力装置

Country Status (5)

Country Link
US (1) US20150238087A1 (ja)
EP (1) EP2918225A4 (ja)
JP (1) JP5923180B2 (ja)
CN (1) CN104780834B (ja)
WO (1) WO2014073645A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104873184A (zh) * 2015-05-08 2015-09-02 上海与德通讯技术有限公司 一种测量心率的方法及系统
JP2016045707A (ja) * 2014-08-22 2016-04-04 国立大学法人静岡大学 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム
WO2017001426A1 (de) * 2015-06-29 2017-01-05 Universität des Saarlandes Purkinjemeter und verfahren zur automatischen auswertung
WO2017029787A1 (ja) * 2015-08-17 2017-02-23 パナソニックＩｐマネジメント株式会社 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
JP2017153936A (ja) * 2015-10-15 2017-09-07 ダイキン工業株式会社 運転者状態判定装置及び運転者状態判定方法
EP3185211A4 (en) * 2014-08-22 2018-01-24 National University Corporation Shizuoka University Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
JP2018515958A (ja) * 2015-03-13 2018-06-14 タレス ヴィジョニクス インクＴｈａｌｅｓ Ｖｉｓｉｏｎｉｘ， Ｉｎｃ． 異なる照明条件下でのイメージングのためのデュアルモード照明器
WO2019026330A1 (ja) * 2017-08-02 2019-02-07 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
WO2020021886A1 (ja) * 2018-07-23 2020-01-30 パナソニックＩｐマネジメント株式会社 生体状態検出装置および生体状態検出方法
WO2020213022A1 (ja) * 2019-04-15 2020-10-22 三菱電機株式会社 視線監視装置および視線監視方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780834B (zh) * 2012-11-12 2016-12-28 阿尔卑斯电气株式会社 生物体信息计测装置及使用该装置的输入装置
DE112014000934T5 (de) * 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
KR101610525B1 (ko) * 2014-10-20 2016-04-07 현대자동차주식회사 조도를 고려한 동공 검출 장치 및 그 방법
JP6526527B2 (ja) * 2015-09-09 2019-06-05 株式会社東芝 識別装置及び認証システム
US10956737B1 (en) * 2017-10-24 2021-03-23 Wells Fargo Bank, N.A. System and apparatus for improved eye tracking using a mobile device
CN109213324A (zh) * 2018-09-06 2019-01-15 京东方科技集团股份有限公司 显示参数调节方法及装置、显示装置
EP3666169A1 (en) * 2018-12-11 2020-06-17 Aptiv Technologies Limited Driver monitoring system
JP7223303B2 (ja) * 2019-03-14 2023-02-16 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2021048682A1 (ja) * 2019-09-12 2021-03-18 株式会社半導体エネルギー研究所 分類方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09262213A (ja) * 1996-03-28 1997-10-07 Toyota Central Res & Dev Lab Inc 生体情報検出装置
JP2008125619A (ja) 2006-11-17 2008-06-05 National Univ Corp Shizuoka Univ 瞳孔検出装置及び瞳孔検出方法
JP2010051592A (ja) * 2008-08-28 2010-03-11 Fujitsu Ltd 脈拍計測装置、脈拍計測方法および脈拍計測プログラム
JP2011130996A (ja) 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置
WO2012020760A1 (ja) 2010-08-09 2012-02-16 国立大学法人静岡大学 注視点検出方法及び注視点検出装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6116736A (en) * 1999-04-23 2000-09-12 Neuroptics, Inc. Pupilometer with pupil irregularity detection capability
CA2622365A1 (en) * 2005-09-16 2007-09-13 Imotions-Emotion Technology A/S System and method for determining human emotion by analyzing eye properties
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5067024B2 (ja) * 2007-06-06 2012-11-07 ソニー株式会社 生体情報取得装置および生体情報取得方法
JP2009201653A (ja) * 2008-02-27 2009-09-10 Nippon Telegr & Teleph Corp <Ntt> 知的活動評価システム、並びにその学習方法及びラベル付与方法
DE102009041187A1 (de) * 2009-08-13 2011-02-17 Volkswagen Ag Verfahren und Vorrichtung zur Adaption von Parametern eines Fahrerassistenzsystems
CN104780834B (zh) * 2012-11-12 2016-12-28 阿尔卑斯电气株式会社 生物体信息计测装置及使用该装置的输入装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09262213A (ja) * 1996-03-28 1997-10-07 Toyota Central Res & Dev Lab Inc 生体情報検出装置
JP2008125619A (ja) 2006-11-17 2008-06-05 National Univ Corp Shizuoka Univ 瞳孔検出装置及び瞳孔検出方法
JP2010051592A (ja) * 2008-08-28 2010-03-11 Fujitsu Ltd 脈拍計測装置、脈拍計測方法および脈拍計測プログラム
JP2011130996A (ja) 2009-12-25 2011-07-07 Denso Corp 生体活動計測装置
WO2012020760A1 (ja) 2010-08-09 2012-02-16 国立大学法人静岡大学 注視点検出方法及び注視点検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2918225A4

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045707A (ja) * 2014-08-22 2016-04-04 国立大学法人静岡大学 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム
US10417782B2 (en) 2014-08-22 2019-09-17 National University Corporation Shizuoka University Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
EP3185211A4 (en) * 2014-08-22 2018-01-24 National University Corporation Shizuoka University Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
JP2018515958A (ja) * 2015-03-13 2018-06-14 タレス ヴィジョニクス インクＴｈａｌｅｓ Ｖｉｓｉｏｎｉｘ， Ｉｎｃ． 異なる照明条件下でのイメージングのためのデュアルモード照明器
CN104873184A (zh) * 2015-05-08 2015-09-02 上海与德通讯技术有限公司 一种测量心率的方法及系统
KR102568072B1 (ko) * 2015-06-29 2023-08-24 자눈츠 홀딩 유지 (하프퉁스베슈랭크트) 푸르키네 미터 및 자동 평가를 위한 방법
KR20180021175A (ko) * 2015-06-29 2018-02-28 자눈츠 홀딩 유지 (하프퉁스베슈랭크트) 푸르키네 미터 및 자동 평가를 위한 방법
RU2722976C2 (ru) * 2015-06-29 2020-06-05 ЯНУНТС ХОЛДИНГ УГ (хафтунгсбешренкт) Измеритель пуркинье и способ автоматической оценки
US10694938B2 (en) 2015-06-29 2020-06-30 Janunts Holding Ug (Haftungsbeschrankt) Purkinje meter and method for automatic evaluation
WO2017001426A1 (de) * 2015-06-29 2017-01-05 Universität des Saarlandes Purkinjemeter und verfahren zur automatischen auswertung
AU2016287284B2 (en) * 2015-06-29 2020-06-25 Janunts Holding UG (haftungsbeschränkt) Purkinje meter and method for automatic evaluation
JP2017041673A (ja) * 2015-08-17 2017-02-23 パナソニックＩｐマネジメント株式会社 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
WO2017029787A1 (ja) * 2015-08-17 2017-02-23 パナソニックＩｐマネジメント株式会社 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
JP2017153936A (ja) * 2015-10-15 2017-09-07 ダイキン工業株式会社 運転者状態判定装置及び運転者状態判定方法
JP2019025195A (ja) * 2017-08-02 2019-02-21 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
US11061470B2 (en) 2017-08-02 2021-07-13 Jvckenwood Corporation Eye tracking device and eye tracking method
WO2019026330A1 (ja) * 2017-08-02 2019-02-07 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
WO2020021886A1 (ja) * 2018-07-23 2020-01-30 パナソニックＩｐマネジメント株式会社 生体状態検出装置および生体状態検出方法
JPWO2020021886A1 (ja) * 2018-07-23 2021-08-02 ヌヴォトンテクノロジージャパン株式会社 生体状態検出装置および生体状態検出方法
US11388372B2 (en) 2018-07-23 2022-07-12 Nuvoton Technology Corporation Japan Biological state detecting apparatus and biological state detection method
JP7449226B2 (ja) 2018-07-23 2024-03-13 ヌヴォトンテクノロジージャパン株式会社 生体状態検出装置および生体状態検出方法
WO2020213022A1 (ja) * 2019-04-15 2020-10-22 三菱電機株式会社 視線監視装置および視線監視方法
JPWO2020213022A1 (ja) * 2019-04-15 2021-10-14 三菱電機株式会社 視線監視装置および視線監視方法

Also Published As

Publication number Publication date
JPWO2014073645A1 (ja) 2016-09-08
CN104780834A (zh) 2015-07-15
CN104780834B (zh) 2016-12-28
EP2918225A4 (en) 2016-04-20
JP5923180B2 (ja) 2016-05-24
US20150238087A1 (en) 2015-08-27
EP2918225A1 (en) 2015-09-16

Similar Documents

Publication Publication Date Title
JP5923180B2 (ja) 生体情報計測装置及びそれを用いた入力装置
US8724858B2 (en) Driver imaging apparatus and driver imaging method
JP6617662B2 (ja) 視線検出装置、視線検出方法、及びコンピュータプログラム
EP3075304B1 (en) Line-of-sight detection assistance device and line-of-sight detection assistance method
CN107960989B (zh) 脉搏波计测装置以及脉搏波计测方法
CN105193402A (zh) 用于求取车辆的驾驶员的心率的方法
JP6201956B2 (ja) 視線検出装置および視線検出方法
CN108140244B (zh) 视线检测装置以及视线检测方法
JP6245093B2 (ja) 診断支援装置および診断支援方法
EP3912149A2 (en) Method and system for monitoring a person using infrared and visible light
JP6900994B2 (ja) 視線検出装置及び視線検出方法
JP6747172B2 (ja) 診断支援装置、診断支援方法、及びコンピュータプログラム
JP2018043724A (ja) 輝度制御装置、輝度制御システム及び輝度制御方法
JP6593133B2 (ja) 診断支援装置および診断支援方法
JP2019095892A (ja) 車両用運転支援装置、および車両用運転支援プログラム
JP6883242B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7057483B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2020024750A (ja) 視線検出装置、視線検出方法、及びコンピュータプログラム
US11653831B2 (en) Visual performance examination device, visual performance examination method, and computer program
WO2023187949A1 (ja) 乗り物酔い抑制装置及び乗り物酔い抑制方法
WO2015080003A1 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法
JP6909391B2 (ja) 視線検出装置及び視線検出方法
JP2018161249A (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP2017131446A (ja) 瞳孔検出装置、および瞳孔検出方法
El Moucary et al. Commodious Control Apparatus for Impaired People

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13852693

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014545770

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013852693

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE