WO2019039104A1 - 生体計測装置およびヘッドマウントディスプレイ装置 - Google Patents
生体計測装置およびヘッドマウントディスプレイ装置 Download PDFInfo
- Publication number
- WO2019039104A1 WO2019039104A1 PCT/JP2018/025433 JP2018025433W WO2019039104A1 WO 2019039104 A1 WO2019039104 A1 WO 2019039104A1 JP 2018025433 W JP2018025433 W JP 2018025433W WO 2019039104 A1 WO2019039104 A1 WO 2019039104A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- living body
- light source
- image
- control circuit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000005259 measurement Methods 0.000 claims description 141
- 210000001061 forehead Anatomy 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 34
- 210000001508 eye Anatomy 0.000 claims description 15
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 210000000214 mouth Anatomy 0.000 claims description 6
- 210000001331 nose Anatomy 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 4
- 210000003128 head Anatomy 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 24
- 238000009825 accumulation Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000000605 extraction Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 238000009792 diffusion process Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000003727 cerebral blood flow Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 101000694017 Homo sapiens Sodium channel protein type 5 subunit alpha Proteins 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0204—Operational features of power management
- A61B2560/0209—Operational features of power management adapted for power saving
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/04—Arrangements of multiple sensors of the same type
- A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Definitions
- the present disclosure relates to a biometric device and a head mounted display device.
- FIG. 1A is a schematic view showing how a living body measurement apparatus according to a first embodiment and a living body measurement apparatus capture an object.
- FIG. 1B is a diagram showing an example of the configuration of an image sensor.
- FIG. 1C is a flowchart showing an outline of the operation of the control circuit.
- FIG. 2 shows an optical signal of a surface reflection component reflected from the surface of an object, an optical signal of an internal scattering component scattered inside the object, a surface reflection component and an internal scattering component
- FIG. 7 is a diagram showing the timing of the operation of the optical signal and the electronic shutter in which FIG. 3 is a flowchart showing the operation of the living body measurement apparatus according to the first embodiment.
- FIG. 3 is a flowchart showing the operation of the living body measurement apparatus according to the first embodiment.
- the control circuit In the first image, when the specific part does not exist within the predetermined coordinate range, The display shows a second image indicating that at least one selected from the group consisting of the position of the light source, the position of the biometric device, the orientation of the light source, and the orientation of the biometric device should be changed It may be displayed.
- Embodiment 1 [1. Biometric device] First, the configuration of a biological measurement apparatus 100 according to the first embodiment will be described with reference to FIGS. 1A and 2.
- a surface reflection component 104 and an internal scattering component 106 are generated.
- the surface reflection component 104 and the internal scattering component 106 partially reach the image sensor 130.
- the internal scattering component 106 passes through the inside of the subject 102 before it is emitted from the light source 120 and reaches the image sensor 130, so that the optical path length becomes longer than the surface reflection component 104.
- the internally scattered component 106 averagely lags the surface reflection component 104 in time to reach the image sensor 130.
- the internal scattering component 106 since the internal scattering component 106 is the summation of light passing through various optical path lengths, it shows a characteristic that the tail end of the pulse light is taken. That is, the falling period of the internal scattering component 106 is longer than the falling period of the surface reflection component 104.
- the electronic shutter may start charge accumulation. The shutter timing is adjusted by the control circuit 140.
- the timing for performing extraction of the specific part may be when the motion of the biological measurement device 100 or the specific inclination of the biological measurement device 100 itself is detected by the acceleration sensor 180 provided in the biological measurement device 100.
- the subject the forehead in this example
- the motion or inclination of the biological measurement apparatus 100 may be measured by the acceleration sensor 180 during measurement, and when the size thereof exceeds a predetermined size, steps S301 and S302 may be performed. As a result, it is possible to efficiently perform the determination as to whether or not the specific part is at the predetermined position without waste.
- the extraction of the specific part based on the image of the object 102 and the determination of the positional deviation of the specific part and the living body measurement can be performed using the same image sensor 130. Therefore, the living body measurement apparatus 100 can be miniaturized and the cost can be reduced.
- the light source 120 can be turned on only when necessary, so power consumption of the biological measurement device 100 can be reduced.
- the second embodiment of the present disclosure includes, in addition to the operation of the first embodiment, a step in which the living body measurement apparatus 100 checks whether the light irradiation to the forehead position is properly performed.
- the detailed description about the same content as Embodiment 1 is omitted.
- FIGS. 7A to 7C the position of the irradiation area 600 of the light source 120 fluctuates depending on the distance to the object 102.
- FIG. 7A shows a situation in which the irradiation area 600 protrudes outside the detection area 610 because the biological measurement apparatus 100 is too close to the object 102. This phenomenon occurs due to the parallax between the light source 120 and the lens 170.
- FIG. 7B shows a situation where positional deviation between the irradiation area 600 and the detection area 610 has occurred similarly because the living body measurement apparatus 100 is too far from the object 102. In the case shown in FIGS. 7A and 7B, the irradiation direction of the light source 120 is adjusted.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本開示の一態様に係る生体計測装置は、生体上の領域を照射する第1の光を出射する光源と、前記生体から戻った第2の光を検出し、かつ前記生体の少なくとも一部を含む第1の画像を取得する撮像装置と、前記光源を制御する制御回路と、を備える。前記制御回路は、前記第1の画像において、前記生体の特定部位が、前記第1の画像中の所定の座標範囲内に存在しない場合、前記光源による前記第1の光の出射を制限する。前記所定の座標範囲は、前記領域の外側に設定される。
Description
本開示は、生体計測装置およびヘッドマウントディスプレイ装置に関する。
生体計測の分野では、生体に光を照射し生体内部を透過した光の情報から生体の内部情報を取得する方法が用いられる。この方法において、生体表面からの反射成分がノイズとなり問題となることがある。これら表面反射成分によるノイズを取り除き所望の内部情報のみを取得する方法として、例えば特許文献1に開示された方法がある。特許文献1は、光源と光検出器を一定の間隔で離した状態で測定部位に密着させて測定する方法を開示している。
特許文献1に記載の方法では、光源による電力消費が大きく、バッテリでは長時間駆動できない、といった課題があった。
本開示は、低消費電力の測定を実現し得る生体計測技術を提供する。
本開示の一態様に係る生体計測装置は、生体上の領域を照射する第1の光を出射する光源と、前記生体から戻った第2の光を検出し、かつ前記生体の少なくとも一部を含む第1の画像を取得する撮像装置と、前記光源を制御する制御回路と、を備える。前記制御回路は、前記第1の画像において、前記生体の特定部位が、前記第1の画像中の所定の座標範囲内に存在しない場合、前記光源による前記第1の光の出射を制限する。前記所定の座標範囲は、前記領域の外側に設定される。
本開示によれば、低消費電力の方法で生体の内部情報を測定できる。
本開示は、以下の項目に記載の生体計測装置およびヘッドマウントディスプレイ装置を含む。
[項目1]
本開示の項目1に係る生体計測装置は、
生体上の領域を照射する第1の光を出射する光源と、
前記生体から戻った第2の光を検出し、かつ前記生体の少なくとも一部を含む第1の画像を取得する撮像装置と、
前記光源を制御する制御回路と、
を備え、
前記制御回路は、前記第1の画像において、前記生体の特定部位が、前記第1の画像中の所定の座標範囲内に存在しない場合、前記光源による前記第1の光の出射を制限し、
前記所定の座標範囲は、前記領域の外側に設定される。
本開示の項目1に係る生体計測装置は、
生体上の領域を照射する第1の光を出射する光源と、
前記生体から戻った第2の光を検出し、かつ前記生体の少なくとも一部を含む第1の画像を取得する撮像装置と、
前記光源を制御する制御回路と、
を備え、
前記制御回路は、前記第1の画像において、前記生体の特定部位が、前記第1の画像中の所定の座標範囲内に存在しない場合、前記光源による前記第1の光の出射を制限し、
前記所定の座標範囲は、前記領域の外側に設定される。
[項目2]
項目1に記載の生体計測装置は、
画像処理回路をさらに備え、
前記画像処理回路は、前記第1の画像において、前記生体の特定部位が前記所定の座標範囲内に存在するかを判定してもよい。
項目1に記載の生体計測装置は、
画像処理回路をさらに備え、
前記画像処理回路は、前記第1の画像において、前記生体の特定部位が前記所定の座標範囲内に存在するかを判定してもよい。
[項目3]
項目1または2に記載の生体計測装置において、
前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、前記光源に、前記第1の光を出射させず、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在する場合、前記光源に、前記第1の光を出射させ、かつ前記撮像装置により検出された前記第2の光に基づいて、前記生体の生体情報を取得してもよい。
項目1または2に記載の生体計測装置において、
前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、前記光源に、前記第1の光を出射させず、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在する場合、前記光源に、前記第1の光を出射させ、かつ前記撮像装置により検出された前記第2の光に基づいて、前記生体の生体情報を取得してもよい。
[項目4]
項目3に記載の生体計測装置において、
前記制御回路は、
前記生体情報を取得しているときに、前記第1の画像において、前記特定部位が前記所定の座標範囲内から前記所定の座標範囲外に移動した場合、
前記光源に、前記第1の光のパワーを低減させるか、または
前記光源に、前記第1の光の出射を停止させてもよい。
項目3に記載の生体計測装置において、
前記制御回路は、
前記生体情報を取得しているときに、前記第1の画像において、前記特定部位が前記所定の座標範囲内から前記所定の座標範囲外に移動した場合、
前記光源に、前記第1の光のパワーを低減させるか、または
前記光源に、前記第1の光の出射を停止させてもよい。
[項目5]
項目1から4のいずれかに記載の生体計測装置において、
前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、
さらに、前記第1の画像において前記特定部位が前記所定の座標範囲内に存在しない旨を示す信号を出力してもよい。
項目1から4のいずれかに記載の生体計測装置において、
前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、
さらに、前記第1の画像において前記特定部位が前記所定の座標範囲内に存在しない旨を示す信号を出力してもよい。
[項目6]
項目1から5のいずれかに記載の生体計測装置は、
ディスプレイをさらに備え、
前記制御回路は前記第1の画像を前記ディスプレイに表示させてもよい。
項目1から5のいずれかに記載の生体計測装置は、
ディスプレイをさらに備え、
前記制御回路は前記第1の画像を前記ディスプレイに表示させてもよい。
[項目7]
項目6に記載の生体計測装置において、
前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、
前記ディスプレイに、前記光源の位置、前記生体計測装置の位置、前記光源の向き、及び前記生体計測装置の向きからなる群から選択される少なくとも1つを変更すべき旨を示す第2の画像を表示させてもよい。
項目6に記載の生体計測装置において、
前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、
前記ディスプレイに、前記光源の位置、前記生体計測装置の位置、前記光源の向き、及び前記生体計測装置の向きからなる群から選択される少なくとも1つを変更すべき旨を示す第2の画像を表示させてもよい。
[項目8]
項目1から7のいずれかに記載の生体計測装置において、
前記生体上の前記領域は、前記生体の前記少なくとも一部に含まれてもよい。
項目1から7のいずれかに記載の生体計測装置において、
前記生体上の前記領域は、前記生体の前記少なくとも一部に含まれてもよい。
[項目9]
項目1から8のいずれかに記載の生体計測装置において、
前記特定部位は、目、鼻、口、耳、および眉からなる群から選択される少なくとも1つであってもよい。
項目1から8のいずれかに記載の生体計測装置において、
前記特定部位は、目、鼻、口、耳、および眉からなる群から選択される少なくとも1つであってもよい。
[項目10]
項目2に記載の生体計測装置において、
前記画像処理回路は、前記第1の画像において、前記生体の被検部(target portion)が前記領域内に位置しているかをさらに判定し、
前記制御回路は、前記第1の画像において、前記被検部が前記領域内に位置していないとき、警告のための信号を出力してもよい。
項目2に記載の生体計測装置において、
前記画像処理回路は、前記第1の画像において、前記生体の被検部(target portion)が前記領域内に位置しているかをさらに判定し、
前記制御回路は、前記第1の画像において、前記被検部が前記領域内に位置していないとき、警告のための信号を出力してもよい。
[項目11]
項目10に記載の生体計測装置において、
前記被検部は、額であり、
前記画像処理回路は、前記第1の画像内における前記額の座標を算出し、前記額の座標が前記領域内にあるかを判定し、
前記制御回路は、前記額の座標が前記領域内にない場合、前記警告のための信号を出力してもよい。
項目10に記載の生体計測装置において、
前記被検部は、額であり、
前記画像処理回路は、前記第1の画像内における前記額の座標を算出し、前記額の座標が前記領域内にあるかを判定し、
前記制御回路は、前記額の座標が前記領域内にない場合、前記警告のための信号を出力してもよい。
[項目12]
項目11に記載の生体計測装置は、
ディスプレイをさらに備え、
前記制御回路は、
前記額の座標が前記領域内にない場合、
前記ディスプレイに、前記光源の位置、前記生体計測装置の位置、前記光源の向き、及び前記生体計測装置の向きからなる群から選択される少なくとも1つを変更すべき旨を示す第3の画像を表示させてもよい。
項目11に記載の生体計測装置は、
ディスプレイをさらに備え、
前記制御回路は、
前記額の座標が前記領域内にない場合、
前記ディスプレイに、前記光源の位置、前記生体計測装置の位置、前記光源の向き、及び前記生体計測装置の向きからなる群から選択される少なくとも1つを変更すべき旨を示す第3の画像を表示させてもよい。
[項目13]
本開示の項目13に係る生体計測装置は、
生体上の領域を照射する第1の光を出射する光源と、
前記生体から戻った第2の光を検出し、かつ前記生体の少なくとも一部を含む第1の画像を取得する撮像装置と、
前記光源を制御する制御回路と、
を備え、
前記制御回路は、前記第1の画像において、前記生体の目の位置が前記領域と重なる場合、前記光源による第1の光の出射を制限する。
本開示の項目13に係る生体計測装置は、
生体上の領域を照射する第1の光を出射する光源と、
前記生体から戻った第2の光を検出し、かつ前記生体の少なくとも一部を含む第1の画像を取得する撮像装置と、
前記光源を制御する制御回路と、
を備え、
前記制御回路は、前記第1の画像において、前記生体の目の位置が前記領域と重なる場合、前記光源による第1の光の出射を制限する。
[項目14]
本開示の項目14に係るヘッドマウントディスプレイ装置は、
生体の頭部に装着されるヘッドマウントディスプレイ装置であって、
請求項1から13のいずれかに記載の生体計測装置と、
前記生体計測装置に接続されたディスプレイと、
を備える。
本開示の項目14に係るヘッドマウントディスプレイ装置は、
生体の頭部に装着されるヘッドマウントディスプレイ装置であって、
請求項1から13のいずれかに記載の生体計測装置と、
前記生体計測装置に接続されたディスプレイと、
を備える。
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIまたはICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインタフェース、を備えていても良い。
以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本明細書に開示される技術を限定する趣旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
以下、実施の形態について、図面を参照しながら具体的に説明する。
(実施の形態1)
[1.生体計測装置]
まず、第1の実施形態に係る生体計測装置100の構成について、図1Aから図2を参照して説明する。
[1.生体計測装置]
まず、第1の実施形態に係る生体計測装置100の構成について、図1Aから図2を参照して説明する。
図1Aは、本実施形態に係る生体計測装置100を示す模式図である。本実施形態における生体計測装置100は、生体である被検体(object)102の内部情報を計測する装置である。被検体102の被検部は、生体(例えば人間)の部位であって、例えば毛で覆われていない皮膚を有する部位である。被検部は、例えば人間の額であり得る。被検部が額である場合、生体計測装置100は、脳血流の活動状態を示す情報を取得することができる。
生体計測装置100は、光源120と、撮像装置110と、制御回路140と、画像処理回路150と、ディスプレイ160と、加速度センサ180とを備える。撮像装置110は、イメージセンサ130を備える。光源120とイメージセンサ130とは互いに隣接して配置されている。制御回路140は、光源120、イメージセンサ130、画像処理回路150、ディスプレイ160、加速度センサ180に電気的に接続されている。制御回路140は、光源120の発光のタイミングと、イメージセンサ130の光検出のタイミングとを制御する。光源120は、第1の光(例えば赤外線または可視光)を被検体102に向けて出射する。撮像装置110は、被検体102で反射された光または被検体102内で散乱された光である、被検体102から戻った第2の光を検出する。また撮像装置110は、被検体102の少なくとも一部を含む画像である第1の画像を取得する。撮像装置110によるこれらの機能は、イメージセンサ130によって実現される。イメージセンサ130は、第2の光を検出して画像信号を出力する。画像処理回路150は、イメージセンサ130から出力された画像信号に基づいて、被検体102の位置および傾きが、光源120から出射された第1の光の照射範囲に対して適正かを判定する。制御回路140は、その判定結果に基づき、光源120の発光を制御する。ディスプレイ160は、被検体102の内部情報の計測結果を表示する。加速度センサ180は、生体計測装置100の動きを検出する。
より具体的には、画像処理回路150は、イメージセンサ130から出力された画像信号を解析し、被検体102の少なくとも1つの特定部位が、第1の画像中の所定の座標範囲内に存在するかを判定する。例えば、被検部が人間の額である場合、特定部位は、その人間の目、鼻、口、耳、眉その他の特徴的な部位であり得る。画像処理回路140は、画像認識によって特定部位が、画像中の適正な位置にあるかを判定し、判定結果を示す信号を出力する。制御回路140は、その信号に基づき、被検体102の特定部位が第1の画像中の特定の領域内に含まれているか否かに応じて、光源120からの発光のオン・オフ、または光源120から出射される第1の光のパワーを制御する。制御回路140は、特定部位が所定の座標範囲内に存在しない場合、光源120による第1の光の出射を制限する。例えば、制御回路140は、当該特定部位が当該座標範囲内に存在しない場合、光源120に、第1の光を出射させず、当該特定部位が当該座標範囲内に存在する場合、光源120に、第1の光を出射させる。より具体的には、制御回路140は、計測対象である人間の目、鼻、口、耳、眉などの特徴的部位のうち少なくとも1つが第1の画像中の所定の範囲内にない場合には、光源120に発光を許可せず、計測対象である人間の目、鼻、口、耳、眉などの特徴的部位のうち少なくとも1つが第1の画像中の所定の範囲内にある場合には、光源120に発光を許可する。
このような構成により、ユーザから計測指示が出された後であっても、被検体102の位置及び傾きが適正な状態にある場合に限り、光源120から光が出射される。このため、計測指示が出された後は常に発光状態になる構成と比較して、生体計測装置100の消費電力を抑えることができる。また、例えば光源120からの光が、計測対象である人間の目に入射することを防ぐことも可能になる。
以下、本実施形態の構成をより具体的に説明する。
[1-1.光源120]
光源120は、被検体102に光を照射する。光源120から照射されて被検体102に到達した光は、被検体102の表面で反射する成分である表面反射成分104と、被検体102の内部で1回反射もしくは散乱、または多重散乱する成分である内部散乱成分106と、になる。表面反射成分104は、直接反射成分、拡散反射成分、および散乱反射成分の3つを含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状により拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。被検部を人間の額とした場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以降、本開示では、表面反射成分104はこれら3つの成分を含むものとして説明する。また、内部散乱成分106は、散乱反射成分を含まないものとして説明する。
光源120は、被検体102に光を照射する。光源120から照射されて被検体102に到達した光は、被検体102の表面で反射する成分である表面反射成分104と、被検体102の内部で1回反射もしくは散乱、または多重散乱する成分である内部散乱成分106と、になる。表面反射成分104は、直接反射成分、拡散反射成分、および散乱反射成分の3つを含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状により拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。被検部を人間の額とした場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以降、本開示では、表面反射成分104はこれら3つの成分を含むものとして説明する。また、内部散乱成分106は、散乱反射成分を含まないものとして説明する。
表面反射成分104および内部散乱成分106は、反射または散乱により進行方向が変化し、その一部がイメージセンサ130に到達する。光源120は、制御回路140の指示に従い、パルス光を所定の時間間隔で、あるいは所定のタイミングで複数回発生させる。光源120が発生させるパルス光は、例えば立ち下がり時間がゼロに近い矩形波であり得る。立ち下がり時間とは、パルス光のパワーがピーク値から減少し始めてからほぼゼロになるまでの時間を指す。一般に、被検体102の内部散乱成分106の後端の広がりは4ns程度である。このことを考慮すると、パルス光の立ち下がり時間は、例えばその半分以下である2ns以下に抑えればよい。さらにその半分の1ns以下に立ち下がり時間を抑えれば、より効果的である。パルス光の波形は厳密に矩形波でなくてもよい。光源120が発生させるパルス光の立ち上がり時間は任意である。後述する本開示の実施形態による生体計測装置を用いた測定では、パルス光の時間軸における、パルス光のパワーが立ち下がっている部分を使用し、立ち上がっている部分を使用しないためである。光源120は、例えば、パルス光のパワーが立ち下がっている部分が時間軸に対して直角に近く、時間応答特性が急進なLDなどのレーザ光源であり得る。
光源120の波長は、例えば650nm以上950nm以下に設定され得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。この波長域は被検体102の内部まで光が透過しやすい波長帯域であるためである。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。
本開示の生体計測装置100は、非接触で被検体102を測定するため、被検体102の被検部が人間の額である場合、網膜への影響を考慮して、光源から出射される光のパワーが設定され得る。例えば、各国それぞれが保有するレーザ安全基準のクラス1を満足するように、光源から出射される光のパワーが設定され得る。この場合、被爆放出限界AELが1mWを下回るほどの低照度の光が被検体102に照射される。ただし、光源120自体はクラス1を満たしていなくてもよい。例えば、拡散板またはNDフィルタなどの光学素子が光源120の前に設置されて光が拡散あるいは減衰されることによりレーザ安全基準のクラス1が満たされればよい。
例えば特許文献2に記載の従来のストリークカメラは、生体内部の深さ方向において異なる場所にある情報(例えば、吸収係数または散乱係数)を区別して検出するために使用されていた。したがって、所望の空間分解能で測定するために、パルス幅がフェムト秒またはピコ秒の極超短パルス光が用いられていた。一方、本実施形態の生体計測装置100は、表面反射成分104と内部散乱成分106とを区別して検出するために使用される。したがって、光源120が発するパルス光は、極超短パルス光である必要は無く、パルス幅は任意である。脳血流を計測するために額に光を照射する場合、内部散乱成分106の光量は、表面反射成分104のそれと比較し、数1000から数万分の1と非常に小さくなる。さらに、レーザ安全基準を考慮すると、照射できる光の光量が小さく、内部散乱成分106の検出は非常に難しくなる。したがって、光源120が、比較的パルス幅の大きいパルス光を発生させることにより、時間遅れを伴う内部散乱成分106の積算量を増加させ、検出光量を増やし、SN比を向上させることができる。
光源120は、例えば、パルス幅3ns以上のパルス光を発する。あるいは、光源120は、パルス幅5ns以上、さらに10ns以上のパルス光を発光してもよい。一方、パルス幅が大きすぎても使用しない光が増えて無駄となるため、光源120は、例えば、パルス幅50ns以下のパルス光を発生させる。あるいは、光源120は、パルス幅30ns以下、さらに20ns以下のパルス光を発光してもよい。
光源120からの光の照射パターンは、例えば、照射領域内において、均一なパワー分布をもつパターンであり得る。なぜなら、本実施形態の生体計測装置100は、特許文献1等に開示の方法とは異なり、時間的に表面反射成分104を分離して低減させる方法であるからである。特許文献1に開示の方法では、検出器と光源とを3cm離し、空間的に表面反射成分104を低減するため、離散的な光照射とせざるを得ない。一方、本実施形態では、時間的に表面反射成分104を分離して低減させるので、被検体102上の照射点直下であるNull点においても内部散乱成分106を検出できる。したがって、測定解像度を高めるために被検体102の全面にわたって空間的に均一なパワーの光が照射され得る。
[1-2.イメージセンサ130]
イメージセンサ130は、被検体102から戻った光を受光する。イメージセンサ130は、2次元に配置された複数の光検出セルである複数の画素を有し、被検体102の2次元情報を一度に取得する。イメージセンサ130は、例えば、CCDイメージセンサまたはCMOSイメージセンサであり得る。
イメージセンサ130は、被検体102から戻った光を受光する。イメージセンサ130は、2次元に配置された複数の光検出セルである複数の画素を有し、被検体102の2次元情報を一度に取得する。イメージセンサ130は、例えば、CCDイメージセンサまたはCMOSイメージセンサであり得る。
イメージセンサ130は、電子シャッタを有する。電子シャッタは、光電変換によって生じる信号電荷の蓄積と排出とを制御する回路である。電子シャッタは、受光した光を有効な電気信号に変換して電荷蓄積部に蓄積する1回の期間である電荷蓄積期間の長さと、1回の電荷蓄積期間が終了し次の電荷蓄積期間が開始するまでの時間とを制御する。以下の説明において、電荷蓄積期間の長さを「シャッタ幅」と称し、1回の電荷蓄積期間が終了し次の電荷蓄積期間が開始するまでの時間を「シャッタタイミング」と称する。また、イメージセンサ130が電荷を蓄積している状態を、電子シャッタが「OPEN(開いた状態)」である、イメージセンサ130が電荷の蓄積を停止している状態を、電子シャッタが「CLOSE(閉じた状態)」であると称する。
イメージセンサ130は、電子シャッタによってシャッタタイミングをサブナノ秒、例えば30psから1nsの範囲内で調整できる。距離測定を目的としている従来のTOFカメラは、被写体の明るさの影響を補正するため、光源120が発したパルス光が被写体から反射されて戻った光の全てを検出する。したがって、従来のTOFカメラでは、シャッタ幅がパルス光のパルス幅よりも大きい必要があった。これに対し、本実施形態の生体計測装置100では、被写体の光量を補正する必要が無い。このため、シャッタ幅はパルス光のパルス幅よりも大きい必要は無く、例えば、1から30ns程度にできる。本実施形態の生体計測装置100によれば、シャッタ幅を縮小できるため、検出信号に含まれる暗電流を低減することができる。
被検部が人間の額であり脳血流などの情報を検出する場合、額の内部での光の減衰率が非常に大きい。例えば、減衰率は100万分の1程度であり得る。このため、内部散乱光106を検出するには、1パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス1での照射を行う場合には特に光量が微弱である。この場合、光源120が1フレーム内でパルス光を複数回発光し、それに応じてイメージセンサ130も電子シャッタによって複数回電荷を蓄積することで検出信号を積算して感度を向上させる。例えば、光源120から11nsのパルス光を1フレームあたり12.8万回、30Fpsで拡散板を通し被検体102の被検部全体に一様に照射する場合を想定する。その場合、クラス1を満たす条件では、レーザダイオード1個あたりの駆動電力は約180mWである。バッテリの容量を例えば3000mAhとすると、生体計測装置100にレーザダイオードを4個実装した場合、光源の駆動電力だけを考えても約4.2時間しか駆動することができない。
そこで、本実施形態の生体計測装置100は、被検体102が生体計測に適した位置および傾きにない場合には消費電力が大きい光源120を消灯し、生体計測に適した状態にある場合にのみ光源120を点灯する。これにより、消費電力を抑えながら、SN比の高い生体計測を行うことが可能になる。
以下、イメージセンサ130の構成例を説明する。
イメージセンサ130は、撮像面上に2次元的に配列された複数の光検出セルである複数の画素を有する。各画素は、例えばフォトダイオードなどの受光素子を有する。
図1Bは、イメージセンサ130の構成の一例を示す図である。図1Bにおいて、二点鎖線の枠で囲まれた領域が1つの画素201に相当する。画素201には1つのフォトダイオードが含まれる。図1Bでは2行2列に配列された4画素のみを示しているが、実際にはさらに多数の画素が配置される。
画素201は、フォトダイオードと、増幅トランジスタであるソースフォロワトランジスタ309と、行選択トランジスタ308と、リセットトランジスタ310とを含む。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ309の入力端子および出力端子の一方(典型的にはソース)と、行選択トランジスタ308の入力端子および出力端子のうちの一方(典型的にはドレイン)とが接続されている。ソースフォロワトランジスタ309の制御端子であるゲートは、フォトダイオードに接続されている。フォトダイオードによって生成された信号電荷である正孔または電子は、フォトダイオードとソースフォロワトランジスタ309との間の電荷蓄積ノードであり、電荷蓄積部として機能する浮遊拡散層に蓄積される。
図1Bには示されていないが、フォトダイオードと浮遊拡散層204、205、206、207との間には、スイッチが設けられ得る。このスイッチは、制御回路140からの制御信号に応じて、フォトダイオードと浮遊拡散層との間の導通状態を切り替える。これにより、浮遊拡散層への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような電荷蓄積制御のための機構を有する。
浮遊拡散層に蓄積された信号電荷は、行選択回路302によって行選択トランジスタ308のゲートがONにされることにより、読み出される。この際、浮遊拡散層の信号電位に応じて、ソースフォロワ電源305からソースフォロワトランジスタ309およびソースフォロワ負荷306へ流入する電流が増幅される。垂直信号線304から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ-デジタル(AD)変換回路307によってデジタル信号データに変換される。このデジタル信号データは、列選択回路303によって列ごとに読み出され、イメージセンサ130から出力される。行選択回路302および列選択回路303は、1つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路140は、全ての信号電荷を読み出した後、リセットトランジスタ310のゲートをオンにすることで、全ての浮遊拡散層をリセットする。これにより、1つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ130による一連のフレームの撮像が完結する。
本実施の形態では、CMOS型のイメージセンサ130の例を説明したが、撮像素子はCCD型であっても、単一光子計数型素子であっても、増幅型イメージセンサ(EMCCD、ICCD)であっても構わない。
[1-3.制御回路140および画像処理回路150]
制御回路140は、光源120からのパルス光の発光タイミングと、イメージセンサ130のシャッタタイミングとの時間差(即ち位相差)を調整する。光源120の「発光タイミング」とは、光源120が発するパルス光のパワーが立ち上がりを開始する時間である。制御回路140は、発光タイミングを変化させて位相差を調整してもよいし、シャッタタイミングを変化させて位相差を調整してもよい。
制御回路140は、光源120からのパルス光の発光タイミングと、イメージセンサ130のシャッタタイミングとの時間差(即ち位相差)を調整する。光源120の「発光タイミング」とは、光源120が発するパルス光のパワーが立ち上がりを開始する時間である。制御回路140は、発光タイミングを変化させて位相差を調整してもよいし、シャッタタイミングを変化させて位相差を調整してもよい。
制御回路140は、イメージセンサ130の受光素子で検出された信号からオフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光、蛍光灯などの環境光、または外乱光による信号成分である。光源120が発光しない状態、つまり光源120の駆動をOFFにした状態で、イメージセンサ130が信号を検出することで、環境光または外乱光によるオフセット成分が見積もられる。
制御回路140は、例えば中央演算処理装置(CPU)またはマイクロコンピュータ(マイコン)等のプロセッサと、メモリとを有する集積回路であり得る。制御回路140は、例えばメモリに記録されたプログラムを実行することにより、発光タイミングとシャッタタイミングとの調整、オフセット成分の見積り、およびオフセット成分の除去等の各種の処理を行う。
画像処理回路150は、イメージセンサ130から出力された信号に基づく画像処理等の演算を行う演算回路である。そのような演算回路は、例えばデジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)等のプログラマブルロジックデバイス(PLD)、または中央演算処理装置(CPU)もしくは画像処理用演算プロセッサ(GPU)とコンピュータプログラムとの組み合わせによって実現され得る。なお、制御回路140および画像処理回路150は、分離された個別の回路でなくてもよく、統合された1つの回路であってもよい。
図1Cは、制御回路140による動作の概略を示すフローチャートである。詳細は後述するが、制御回路140は、概略的には図1Cに示す動作を実行する。制御回路140は、まず、光源120に所定時間だけパルス光を発光させる(ステップS101)。このとき、イメージセンサ130の電子シャッタは電荷蓄積を停止した状態にある。制御回路140は、パルス光の一部が被検体102の表面から反射してイメージセンサ130に到達する期間が完了するまで、電子シャッタに電荷蓄積を停止させる。次に、制御回路140は、当該パルス光の他の一部が被検体102の内部で散乱されてイメージセンサ130に到達するタイミングで、電子シャッタに電荷蓄積、すなわち露光を開始させる(ステップS102)。所定時間経過後、制御回路140は、電子シャッタに電荷蓄積を停止させる(ステップS103)。露光の開始タイミングおよび停止タイミングは、予め実験または数値計算によって決定される。光源120と被検体102との距離が既知であれば、光源120から光が出射してからイメージセンサ130に到達するまでの時間が計算できる。このため、例えば光パルスの後端部分がイメージセンサ130に入射する期間のみ露光するように制御できる。続いて、制御回路140は、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する(ステップS104)。この判定がNoの場合、Yesと判定するまで、ステップS101からS103を繰り返す。ステップS104においてYesと判定すると、制御回路140は、各浮遊拡散層に蓄積された信号電荷に基づく画像を示す信号をイメージセンサ130に生成させて出力させる(ステップS105)。図1Cの動作により1フレームの画像が形成され、この一連の流れを複数回繰り返すことで動画像が得られる。
以上の動作により、測定対象の内部で散乱された光の成分を高い感度で検出することができる。なお、複数回の発光および電荷蓄積は必須ではなく、必要に応じて行われる。
[1-4.その他]
生体計測装置100は、被検体102の2次元像をイメージセンサ130の受光面上に形成する結像光学系を備えていてもよい。結像光学系の光軸は、イメージセンサ130の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化すると被検体102の2次元像の拡大率が変化し、イメージセンサ130上の2次元像の解像度が変化する。したがって、被検体102までの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
生体計測装置100は、被検体102の2次元像をイメージセンサ130の受光面上に形成する結像光学系を備えていてもよい。結像光学系の光軸は、イメージセンサ130の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化すると被検体102の2次元像の拡大率が変化し、イメージセンサ130上の2次元像の解像度が変化する。したがって、被検体102までの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
また、生体計測装置100は、被検体102とイメージセンサ130との間に光源120から出射される光の波長帯域またはその近傍の波長帯域の光のみを通過させる帯域通過フィルタを備えていてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、例えば多層膜フィルタまたは吸収フィルタによって構成される。光源120の温度またはフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は20から100nm程度の幅をもたせてもよい。
生体計測装置100は、光源120と被検体102との間、およびイメージセンサ130と被検体102との間にそれぞれ偏光板を備えていてもよい。この場合、光源120側に配置される偏光板とイメージセンサ側に配置される偏光板とは、それらの偏光方向が直交ニコルの関係になるように配置され得る。これにより、被検体102の表面反射成分104のうち正反射成分、すなわち入射角と反射角とが同じ成分がイメージセンサ130に到達することを防ぐことができる。つまり、表面反射成分104がイメージセンサ130に到達する光量を低減させることができる。
[2.動作]
本開示の生体計測装置100は、表面反射成分104から内部散乱成分106を区別して検出する。被検部を人間の額とした場合、検出したい内部散乱成分106による信号のパワーは非常に小さくなる。前述のように、レーザ光の安全基準を満たす非常に小さい光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質及び血流による光の散乱及び吸収が大きいためである。さらに、脳活動時の血流量または血流内成分の変化による信号のパワーの変化は、さらに数十分の1の大きさに相当し非常に小さくなる。したがって、検出したい信号成分の数千から数万倍である表面反射成分104の混入を抑制して撮影する。
本開示の生体計測装置100は、表面反射成分104から内部散乱成分106を区別して検出する。被検部を人間の額とした場合、検出したい内部散乱成分106による信号のパワーは非常に小さくなる。前述のように、レーザ光の安全基準を満たす非常に小さい光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質及び血流による光の散乱及び吸収が大きいためである。さらに、脳活動時の血流量または血流内成分の変化による信号のパワーの変化は、さらに数十分の1の大きさに相当し非常に小さくなる。したがって、検出したい信号成分の数千から数万倍である表面反射成分104の混入を抑制して撮影する。
以下、本実施の形態における生体計測装置100の動作を説明する。
図1Aに示すように、光源120が被検体102にパルス光を照射すると、表面反射成分104および内部散乱成分106が発生する。表面反射成分104および内部散乱成分106はその一部がイメージセンサ130に到達する。内部散乱成分106は、光源120から発せられてイメージセンサ130に到達するまでに被検体102の内部を通過するため光路長が表面反射成分104に比べて長くなる。したがって、内部散乱成分106は、イメージセンサ130に到達する時間が表面反射成分104に対して平均的に遅れる。
図2は、光源120から矩形パルス光が発せられることにより、被検体102からイメージセンサ130に戻った光の信号を表す図である。横軸は信号(a)から(d)においていずれも時間(t)を表し、縦軸は信号(a)から(c)においては信号のパワー、信号(d)においては電子シャッタのOPENまたはCLOSEの状態を表す。信号(a)は表面反射成分104を示す。信号(b)は内部散乱成分106を示す。信号(c)は表面反射成分104を示す信号(a)と内部散乱成分106を示す信号(b)との合算成分を示す。信号(a)に示すように、表面反射成分104は矩形を維持する。一方、信号(b)に示すように、内部散乱成分106はさまざまな光路長を経た光の合算であるため、パルス光の後端で尾を引いたような特性を示す。すなわち、内部散乱成分106の立ち下がり期間は、表面反射成分104の立ち下がり期間よりも長い。信号(c)から内部散乱成分106の割合を高めて抽出するためには、信号(d)に示すとおり、表面反射成分104の後端以降、つまり表面反射成分104が立ち下がった時またはその後に電子シャッタが電荷蓄積を開始すればよい。このシャッタタイミングは、制御回路140によって調整される。上述したとおり、本開示の生体計測装置100は表面反射成分104から内部散乱光106を区別して検出できればよいため、発光パルス幅及びシャッタ幅は任意である。したがって、従来のストリークカメラを使用した方法と異なり簡便な構成で実現できコストを大幅に低下させることができる。
図2の信号(a)の例では、表面反射成分104のパルスの後端が垂直に立ち下がっている。言い換えると、表面反射成分104が立ち下がりを開始してから終了するまでの時間がゼロである。しかし、現実的には光源120が照射するパルス光の立ち下がり自体が完全に垂直でなかったり、被検体102の表面に微細な凹凸があったり、表皮内での散乱により、表面反射成分104のパルスの後端が垂直に立ち下がらないことがある。また、被検体102は一般に不透明な物体である場合が多いことから、表面反射成分104は内部散乱成分106よりも非常に光量が大きくなる。したがって、表面反射成分104のパルスの後端が垂直な立ち下がり位置からわずかにはみ出した場合であっても、内部散乱成分106が埋もれてしまい問題となる。また、電子シャッタの読み出し期間中の電子移動に伴う時間遅れにより、図2の信号(d)に示すような理想的なバイナリな電子シャッタの動作が実現できないことがある。
したがって、制御回路140は、電子シャッタのシャッタタイミングを表面反射成分104の立ち下がり直後よりやや遅らせてもよい。この遅延時間は、電子シャッタの精度を考慮すると、例えば1ns以上であり得る。なお、制御回路140は、電子シャッタのシャッタタイミングを調整する代わりに、光源120の発光タイミングを調整してもよい。制御回路140は、電子シャッタのシャッタタイミングと光源120の発光タイミングとの時間差を調整すればよい。なお、非接触で脳活動時の血流量または血流内成分の変化を計測する場合は、あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分106がさらに減少してしまう。これを回避するためには、表面反射成分104のパルスの後端近傍にシャッタタイミングを留めておけばよい。被検体102の散乱による時間遅れが4ns程度であるため、シャッタイミングの最大の遅らせ量は4ns程度であり得る。
光源120がパルス光を複数回発し、各パルス光に対して同じ位相のシャッタタイミングで複数回電荷を蓄積することで、内部散乱成分106の検出光量を増幅させてもよい。
被検体102とイメージセンサ130との間に帯域通過フィルタを配置することに替えて、またはそれに加えて、制御回路140が、光源120を発光させない状態で同じ電荷蓄積時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、イメージセンサ130の受光素子で検出された信号から差分除去される。これによってイメージセンサ130上で発生する暗電流成分を除去することができる。
図3は、実施の形態1における生体計測装置100の動作を示すフローチャートである。ユーザからの計測開始の指示(スタート)の後、生体計測装置100の撮像装置110は、被検体102を撮像し、画像信号を出力する。この撮像および画像信号の出力は、例えばフレーム毎に連続して行われ得る。画像処理回路150は、得られた画像から1つ以上の特定部位を抽出する(ステップS301)。このとき、外光に基づいて画像を取得できるため、光源120が発光する必要はない。ここで、生体計測装置100が、光源120の発光波長と同じ波長の光のみを透過させる帯域通過フィルタを備えている場合には、検出光量が小さくなりがちである。そこで、光源120が消灯している時のイメージセンサ130による画像取得は、生体計測時のような断続的に繰り返す電荷蓄積方法ではなく、1フレーム内で連続的な電荷蓄積としてもよい。連続的な電荷蓄積とすることで光源120の消灯時でも検出光量を高めることが可能となる。しかし、それでも外光に含まれる近赤外光の成分が少ない場合、検出光量が少なすぎて画像処理回路150による特定部位の抽出に支障をきたす場合がある。そのような場合には、制御回路140は、光源120にダミー発光をさせてもよい。このダミー発光では、パルス光を照射する必要はなく、連続光を照射させれば検出光量が高くなる。
特定部位は、例えば被検者の目、鼻、口、眉などの特徴的な部位であり得る。画像処理回路150は、画像から予め設定された1つ以上の特定部位を認識すると、その位置が、画像中の所定の座標範囲内にあるかを判定する(ステップS302)。言い換えれば、画像処理回路150は、特定部位(例えば、目、鼻、口、眉、額など)が画像上の所定の位置にあるかを判定する。特定部位が所定の位置にあると判定すると、制御回路140は、光源120に発光を開始させる(ステップS303)。特定部位が検出されない、あるいは特定部位が所定の座標範囲内に存在しないと判定した場合、画像処理回路150は、引き続き特定部位の抽出を継続する。画像処理回路150は、特定部位が所定の領域内にあると判定するまで、特定部位の抽出を定期的に繰り返す。
特定部位の抽出を実施するタイミングは、生体計測装置100が備える加速度センサ180によって生体計測装置100の動き、または生体計測装置100自体の特定の傾きが検出されたときであってもよい。生体計測装置100の動きまたは傾きが生じると、被検体102の被検部(この例では額)が、光源120からの光によって照射される範囲およびイメージセンサ130によって撮像される範囲からずれる可能性が生じる。そこで、計測中に加速度センサ180によって生体計測装置100の動きまたは傾きを計測し、その大きさが所定の大きさを超えたときに、ステップS301およびS302を実行してもよい。これにより、特定部位が所定位置にあるか否かの判定を無駄なく効率的に実行できる。
光源120が発光を開始した後、制御回路140は、被検体102の生体計測を開始する(ステップS304)。生体計測は、既に説明したとおり、光源120の発光タイミングに同期してイメージセンサ130の光検出のタイミングを調整することによって行われる。イメージセンサ130は、被検体102の内部に侵入して戻ってきた光の成分の二次元分布を示す画像を取得する。この画像は、被検体102の脳血流の活動状態などの内部特性を示す。
生体計測中、画像処理回路150は、定期的に、イメージセンサ130から出力された画像から特定部位を抽出し、前述の判定を実行する(ステップS305、S306)。画像処理回路150が生体計測中に特定部位が画像中の所定の位置に存在しないと判定すると、制御回路140は、光源120に消灯を指示する(ステップS307)。これにより、生体計測中に目などの特定部位の位置が本来あるべき位置からずれた場合に、光源を消灯し、消費電力を抑制することができる。光源を消灯した後、制御回路140は、ディスプレイ160に、特定部位の位置が本来の位置からずれたことを示す警告を表示させてもよい。ユーザは、この表示を見て、生体計測装置100の位置を調節するなどの対処を行うことができる。生体計測装置100は、ステップS307の後、ステップS301に遷移して、再び図3に示す一連の動作を実行してもよい。
本実施形態によれば、被検体102の画像に基づく特定部位の抽出および特定部位の位置ずれの判定と、生体計測とを同じイメージセンサ130を用いて実施することができる。このため、生体計測装置100を小型化かつ低コスト化できる。図3に示すフローチャートの処理を実施することで、必要なときにだけ光源120を点灯することができるため、生体計測装置100の消費電力を低減することができる。
次に、図4Aから図4Cを参照しながら、光源120による光の照射領域、イメージセンサ130の検出領域、および特定部位の抽出領域の関係を説明する。
図4Aから図4Cは、光源120からの光の照射領域600、イメージセンサ130の検出領域610、および特定部位抽出領域620の例を示す図である。照射領域600は、被検体102において光源120からの光が照射されている領域に相当する。イメージセンサ130は、被検体102のうち、検出領域610から戻った光を検出する。検出領域610は、被検体102のうち、イメージセンサ130が取得する画像に含まれる領域に相当する。特定部位抽出領域620は、イメージセンサ130が取得する被検体102の画像において、生体計測時に特定部位が存在すべき領域である。特定部位抽出領域620は、本開示における、所定の座標範囲に相当する。いずれの例でも、特定部位抽出領域620は、イメージセンサ130の検出領域610の内部に存在する。他方、光源120による照射領域600は、検出領域610の内部に含まれる場合(図4A)と、検出領域610の内部だけでなく外側にも及ぶ場合(図4Bおよび図4C)とがある。
光源120からの光のパワーがレーザの安全性基準のクラス1を満たす場合、図4Cのように照射領域600が検出領域610の全体にわたるように光を広く照射してもよい。この場合、被検体102が多少動いても照射領域600が依然被検体102の検出したい領域(例えば額)を含んでいる可能性が高く、計測を継続し易い。また、個人差による額の位置のずれの影響も低減させることが可能である。
他方、光源120からの光のパワーがレーザの安全性基準のクラス1を超える場合には、図4Aおよび図4Bに示すように、照射領域600は目を含まないように設定され得る。この場合、特定部位が目であり、特定部位抽出領域620が照射領域600の外側に設定される。この場合、光源120による照射領域600の下端はイメージセンサ130の検出領域610の内部に含まれる。
[3.ヘッドマウントディスプレイ装置400への応用例]
次に、本実施形態の生体計測装置100をヘッドマウントディスプレイ装置400に搭載した例を説明する。
次に、本実施形態の生体計測装置100をヘッドマウントディスプレイ装置400に搭載した例を説明する。
図5Aは、ヘッドマウントディスプレイ装置400に生体計測装置100を実装した一例を示す図である。このヘッドマウントディスプレイ装置400は、生体計測装置100と、生体計測装置100に接続された2つのディスプレイ160とを備えている。ヘッドマウントディスプレイ装置400の上部に生体計測装置100が配置されている。生体計測装置100の下には、左眼用および右眼用の2つのディスプレイ160が配置されている。生体計測装置100は、ヘッドマウントディスプレイ装置400の被検体102との接触面410から距離を空けて配置されている。つまり、生体計測装置100における光源120およびレンズ170は、接触面410よりも奥に配置されている。なお、ディスプレイ160の個数は2個に限らず、少なくとも1個以上あればよい。
被検体102と生体計測装置100との距離が短いと、光源120が照射する光の拡散角およびレンズ170の画角を極端に大きくする必要性が生じる。これに対し、本実施形態では、光源120およびレンズ170と、被検体102との距離がある程度長いため、照射領域600および検出領域610を広げることができる。このため、生体計測装置100の照明系および光学系の設計の負担を軽減できる。
ディスプレイ160には、例えば生体計測用のタスクが表示される。このタスクは、例えば簡単な計算またはパズルであり、被検者の脳活動の診断に利用され得る。被検者がヘッドマウントディスプレイ装置400を装着し、ディスプレイ160にタスクが表示されることで、外界の情報を遮断でき、被検者がタスクに集中できる。
図5Bは、生体計測装置100が実装されたヘッドマウントディスプレイ装置400で被検体102の計測が実施されている様子を示す図である。ヘッドマウントディスプレイ装置400を被検体102に装着して測定することで、被検体102の体動の影響を低減して測定することができる。加えて、カメラを用いた測定方法のため、計測点が空間的に連続的であり解像度が高い測定データを得ることができる。
以上のように、本実施形態における制御回路140は、撮像装置110におけるイメージセンサ130から出力された画像において、被検体102の特定部位が画像中の所定の座標範囲内に存在しない場合、光源120に光を出射させない。他方、前記特定部位が前記座標範囲内に存在する場合、光源120に光を出射させる。また、制御回路140は、ユーザによる発光指示を受けたとき、前記特定部位が前記座標範囲内にない場合、光源120による光の出射を保留し、前記特定部位が前記座標範囲内にある場合、光源120による光の出射を開始する。制御回路104は、光源120から光を出射させて生体計測を行っているときには、前記特定部位が前記座標範囲の外側に移動した場合、光源120による発光のパワーを低減させるか、または発光を停止させる。さらに、制御回路140は、前記特定部位が前記座標範囲内に存在しない場合、前記特定部位が前記座標範囲内に存在しない旨を示す信号を出力する。当該信号は、例えばディスプレイ160に送られ、ユーザに注意を喚起するメッセージ等が表示され得る。
このような構成によれば、生体計測装置100と被検体102との位置関係が適正でない場合に、光源120の消費電力を抑制することができる。また、ユーザに注意喚起を行い、生体計測装置100の位置の調整を促すことができる。
(実施の形態2)
本開示の実施の形態2は、生体計測装置100が、実施の形態1の動作に加えて、額位置への光の照射が適正に行われているかを確認するステップを含む。以下の説明では、実施の形態1と同様の内容についての詳細な説明は省略する。
本開示の実施の形態2は、生体計測装置100が、実施の形態1の動作に加えて、額位置への光の照射が適正に行われているかを確認するステップを含む。以下の説明では、実施の形態1と同様の内容についての詳細な説明は省略する。
図6は、実施の形態2における生体計測装置100の動作を示すフローチャートである。図6において、ステップS301からS307については、図3に示す動作と同じである。本実施形態では、ステップS303とステップS304との間にステップS604およびS605が挿入されている点が図3に示す動作とは異なる。
生体計測装置100は、ステップS303における光源120による発光の後、光が額の位置に正しく照射されているかを確認する(ステップS604)。本ステップでは、画像処理回路150が、イメージセンサ130から出力された画像中から光源120の照射領域600を認識し、それが被検体102の額を覆っているかを確認する。
図7Aから図7Cに示すように、光源120の照射領域600の位置は、被検体102との距離により変動する。図7Aは、生体計測装置100が被検体102に近すぎるために、照射領域600が検出領域610よりも外側にはみ出している状況を示している。この現象は、光源120とレンズ170の視差に起因して発生する。図7Bは、生体計測装置100が被検体102から離れすぎているために、同様に照射領域600と検出領域610との間の位置ずれが発生している状況を示している。図7Aおよび図7Bに示すような場合、光源120の照射方向を調整する。
そこで、本実施形態では、制御回路140は、照射領域600が額を覆っていないと判定された場合には、光源120からの光の照射位置を変更する(ステップS605)。例えば、制御回路140は、光源120の角度または位置を調整することで、光の照射位置を変更する。この場合、生体計測装置100は、光源120の角度または位置を調節するための機構であるアクチュエータまたはモータ等を備え得る。そのような機構は、生体計測装置100と被検体102との距離を可変にする機構であってもよい。生体計測装置100は、例えばパルス光を発生するTOF(Time Of Flight)モードで駆動することができる。制御回路140は、パルス光の往復時間から被検体102までの距離を測定し、三角測量の原理から光源120の照射方向、または生体計測装置100と被検体102との距離を特定してもよい。
ステップS605は、装置が自動で行う代わりに、手動で行ってもよい。例えば、制御回路140は、「計測位置がずれている」旨の音声または画像によるアナウンスをディスプレイまたはスピーカを介して実施してもよい。このアナウンスを受けて、ユーザは、手動で光源120の向きまたは位置を調整する。この場合、手動で光源120を調整できるように、光源120には回転機構が設けられ得る。また、光源120の照射方向を調整する以外にも、図7Cに示すように生体計測装置100と被検体102との間の距離を調整することで、照射領域600の位置を調整してもよい。
このような構成は、図8に示すように、特にモバイル端末500に生体計測装置100を実装した場合に適している。モバイル端末500は、ヘッドマウントディスプレイ装置400とは異なり、被検体102から完全に離れた状態で計測を行う。このため、被検体102と生体計測装置100との距離がずれやすい。よって、計測対象である額の位置が照射範囲600内に適正に収まっているかを判定し、収まっていない場合にアナウンスを行ってユーザにモバイル端末500の位置の調整を促すことは有効である。
図8に示すモバイル端末500には生体計測装置100が取付けられている。モバイル端末500のディスプレイ160には、計測前には照射領域600および検出領域610が表示される。これにより、ユーザは、被検体102の測定したい部位(例えば額)が適正な位置に写り、正しく測定できる環境であるかを確認できる。生体計測が開始すると、ディスプレイ160にはタスクが表示される。したがって、モバイル端末500のディスプレイ160は、測定環境の確認およびタスク表示の両方の用途で使用することができる。
以上のように、本実施形態における生体計測装置では、画像処理回路150は、被検体102の被検部が光の照射領域600内に位置しているかを判定する。制御回路140は、被検体102の被検部が光の照射領域600内に位置していないとき、警告のための信号を出力する。画像処理回路150は、前記画像内における額の座標を算出し、算出した額の座標が前記光の照射領域600内にあるかを判定する。額の座標が前記照射領域600内にない場合、制御回路140は、警告のための信号を出力する。例えば、制御回路140は、ディスプレイ160に、光源120の位置、光源120の向き、生体計測装置100の位置、及び生体計測装置100の向きからなる群から選択される少なくとも1つを変更すべき旨の画像を表示させる。
図9から図11は、ディスプレイ160にそのような画像が表示されたモバイル端末500の例を示す。図9に示す例では、ディスプレイ160に矢印が表示されている。この矢印は、額の座標が照射領域600の左側にずれているため、額の位置を、光源120または生体計測装置100に対して右側に移動させることを促している。
また、図10に示す例では、ディスプレイ160にメッセージが表示されている。このメッセージは、額の座標が照射領域600の左側にずれているため、額の位置を、光源120または生体計測装置100に対して右側に移動させることを促している。
また、図11に示す例では、ディスプレイ160に、メッセージとともに、顔の輪郭を合わせる位置が点線で表示されている。この表示は、額の座標が照射領域600の左側にずれているため、額の位置を、光源120または生体計測装置100に対して右側に移動させることを促している。
このような構成により、額などの被検部が、照射領域内に適切に位置している場合のみ、生体計測が行われる。このため、光源120の消費電力を抑えることができる。
本実施形態における被検部の位置の判定は、生体計測を開始するときだけでなく、計測中にも定期的に行ってもよい。例えば、計測中に額の位置が照射範囲の外側に出た場合には、光源120の発光を停止したり、発光パワーを弱くしたりしてもよい。そのような制御を適用することにより、計測中の消費電力を抑えることができる。
以上の実施形態では、ヘッドマウントディスプレイ装置400、モバイル端末500等に生体計測装置100が実装された例を示したが、これに限定されない。例えば、図12に示すように、生体計測装置100が、車両内に搭載されてもよい。図12に示す例では、生体計測装置100が、車両内の運転者を計測可能なように、例えば、フロントガラスの上部に取り付けられている。
以上の実施形態では、1つのイメージセンサ130が、被検体102の画像の取得と、生体情報の計測とを実施する。しかし、これらの機能を2つのデバイスに分けて構成してもよい。つまり、生体計測装置100における撮像装置110(図1A)は、被検体102の画像を取得するイメージセンサとは別に、光源120から出射され被検体102で反射または散乱された光を検出する光検出器を備えていてもよい。その場合、光検出器は、2次元的に配列された複数の受光素子を備えていなくてもよい。光検出器は、用途に応じて、1次元的に配列された複数の受光素子を備えていてもよいし、単一の受光素子を備えていてもよい。
本開示における生体計測装置は、被検体の内部情報を取得するカメラまたは測定機器に有用である。本開示における生体計測装置は、例えば生体・医療センシングに応用できる。
100 生体計測装置
102 被検体
104 表面反射成分
106 内部散乱成分
110 撮像装置
120 光源
130 イメージセンサ
140 制御回路
150 画像処理回路
160 ディスプレイ
170 レンズ
180 加速度センサ
201 画素
204、205、206、207 浮遊拡散層
302 行選択回路
303 列選択回路
304 垂直信号線
305 ソースフォロワ電源
306 ソースフォロワ負荷
307 AD変換回路
308 行選択トランジスタ
309 ソースフォロワトランジスタ
310 リセットトランジスタ
400 ヘッドマウントディスプレイ装置
410 接触面
500 モバイル端末
600 照射領域
610 検出領域
620 特定部位抽出領域
102 被検体
104 表面反射成分
106 内部散乱成分
110 撮像装置
120 光源
130 イメージセンサ
140 制御回路
150 画像処理回路
160 ディスプレイ
170 レンズ
180 加速度センサ
201 画素
204、205、206、207 浮遊拡散層
302 行選択回路
303 列選択回路
304 垂直信号線
305 ソースフォロワ電源
306 ソースフォロワ負荷
307 AD変換回路
308 行選択トランジスタ
309 ソースフォロワトランジスタ
310 リセットトランジスタ
400 ヘッドマウントディスプレイ装置
410 接触面
500 モバイル端末
600 照射領域
610 検出領域
620 特定部位抽出領域
Claims (14)
- 生体上の領域を照射する第1の光を出射する光源と、
前記生体から戻った第2の光を検出し、かつ前記生体の少なくとも一部を含む第1の画像を取得する撮像装置と、
前記光源を制御する制御回路と、
を備え、
前記制御回路は、前記第1の画像において、前記生体の特定部位が、前記第1の画像中の所定の座標範囲内に存在しない場合、前記光源による前記第1の光の出射を制限し、
前記所定の座標範囲は、前記領域の外側に設定される、
生体計測装置。 - 画像処理回路をさらに備え、
前記画像処理回路は、前記第1の画像において、前記生体の特定部位が前記所定の座標範囲内に存在するかを判定する、
請求項1に記載の生体計測装置。 - 前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、前記光源に、前記第1の光を出射させず、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在する場合、前記光源に、前記第1の光を出射させ、かつ前記撮像装置により検出された前記第2の光に基づいて、前記生体の生体情報を取得する、
請求項1または2に記載の生体計測装置。 - 前記制御回路は、
前記生体情報を取得しているときに、前記第1の画像において、前記特定部位が前記所定の座標範囲内から前記所定の座標範囲外に移動した場合、
前記光源に、前記第1の光のパワーを低減させるか、または
前記光源に、前記第1の光の出射を停止させる、
請求項3に記載の生体計測装置。 - 前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、
さらに、前記第1の画像において前記特定部位が前記所定の座標範囲内に存在しない旨を示す信号を出力する、
請求項1から4のいずれかに記載の生体計測装置。 - ディスプレイをさらに備え、
前記制御回路は前記第1の画像を前記ディスプレイに表示させる、
請求項1から5のいずれかに記載の生体計測装置。 - 前記制御回路は、
前記第1の画像において、前記特定部位が前記所定の座標範囲内に存在しない場合、
前記ディスプレイに、前記光源の位置、前記生体計測装置の位置、前記光源の向き、及び前記生体計測装置の向きからなる群から選択される少なくとも1つを変更すべき旨を示す第2の画像を表示させる、
請求項6に記載の生体計測装置。 - 前記生体上の前記領域は、前記生体の前記少なくとも一部に含まれる、
請求項1から7のいずれかに記載の生体計測装置。 - 前記特定部位は、目、鼻、口、耳、および眉からなる群から選択される少なくとも1つである、
請求項1から8のいずれかに記載の生体計測装置。 - 前記画像処理回路は、前記第1の画像において、前記生体の被検部が前記領域内に位置しているかをさらに判定し、
前記制御回路は、前記第1の画像において、前記被検部が前記領域内に位置していないとき、警告のための信号を出力する、
請求項2に記載の生体計測装置。 - 前記被検部は、額であり、
前記画像処理回路は、前記第1の画像内における前記額の座標を算出し、前記額の座標が前記領域内にあるかを判定し、
前記制御回路は、前記額の座標が前記領域内にない場合、前記警告のための信号を出力する、
請求項10に記載の生体計測装置。 - ディスプレイをさらに備え、
前記制御回路は、
前記額の座標が前記領域内にない場合、
前記ディスプレイに、前記光源の位置、前記生体計測装置の位置、前記光源の向き、及び前記生体計測装置の向きからなる群から選択される少なくとも1つを変更すべき旨を示す第3の画像を表示させる、
請求項11に記載の生体計測装置。 - 生体上の領域を照射する第1の光を出射する光源と、
前記生体から戻った第2の光を検出し、かつ前記生体の少なくとも一部を含む第1の画像を取得する撮像装置と、
前記光源を制御する制御回路と、
を備え、
前記制御回路は、前記第1の画像において、前記生体の目の位置が前記領域と重なる場合、前記光源による第1の光の出射を制限する、
生体計測装置。 - 生体の頭部に装着されるヘッドマウントディスプレイ装置であって、
請求項1から13のいずれかに記載の生体計測装置と、
前記生体計測装置に接続されたディスプレイと、
を備える、
ヘッドマウントディスプレイ装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019537968A JP7142246B2 (ja) | 2017-08-24 | 2018-07-05 | 生体計測装置、ヘッドマウントディスプレイ装置、および生体計測方法 |
EP18848157.6A EP3673798B1 (en) | 2017-08-24 | 2018-07-05 | Biometric apparatus and head mount display device |
CN201880047393.8A CN110891481B (zh) | 2017-08-24 | 2018-07-05 | 生物体计测装置及头戴式显示器装置 |
US16/782,090 US11559205B2 (en) | 2017-08-24 | 2020-02-05 | Biological measuring device and head mounted display apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-161282 | 2017-08-24 | ||
JP2017161282 | 2017-08-24 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/782,090 Continuation US11559205B2 (en) | 2017-08-24 | 2020-02-05 | Biological measuring device and head mounted display apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019039104A1 true WO2019039104A1 (ja) | 2019-02-28 |
Family
ID=65438883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/025433 WO2019039104A1 (ja) | 2017-08-24 | 2018-07-05 | 生体計測装置およびヘッドマウントディスプレイ装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11559205B2 (ja) |
EP (1) | EP3673798B1 (ja) |
JP (1) | JP7142246B2 (ja) |
CN (1) | CN110891481B (ja) |
WO (1) | WO2019039104A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2966070T3 (es) * | 2021-04-12 | 2024-04-18 | Nokia Technologies Oy | Mapeo de propagación de pulsos |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04189349A (ja) | 1990-11-22 | 1992-07-07 | Olympus Optical Co Ltd | 被検体内部情報観察装置 |
JPH11164826A (ja) | 1997-12-04 | 1999-06-22 | Hitachi Ltd | 生体光計測装置 |
JP2002224092A (ja) * | 2001-01-30 | 2002-08-13 | Hitachi Ltd | 生体監視システム及び光計測用プローブ |
JP2005169141A (ja) * | 2005-01-24 | 2005-06-30 | National Institute Of Information & Communication Technology | 生体活動計測装置 |
JP2015134157A (ja) * | 2013-12-20 | 2015-07-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 光脳機能計測装置 |
JP2017124153A (ja) * | 2016-01-07 | 2017-07-20 | パナソニックIpマネジメント株式会社 | 生体情報計測装置 |
JP2017144225A (ja) * | 2016-02-17 | 2017-08-24 | パナソニックIpマネジメント株式会社 | 生体情報検出装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5305759A (en) | 1990-09-26 | 1994-04-26 | Olympus Optical Co., Ltd. | Examined body interior information observing apparatus by using photo-pulses controlling gains for depths |
JP3711385B2 (ja) * | 2002-05-20 | 2005-11-02 | 独立行政法人情報通信研究機構 | 生体活動計測装置 |
SE0602545L (en) * | 2006-11-29 | 2008-05-30 | Tobii Technology Ab | Eye tracking illumination |
JP5188786B2 (ja) * | 2007-11-27 | 2013-04-24 | 株式会社スペクトラテック | 生体情報計測装置 |
JP2015201452A (ja) | 2010-07-22 | 2015-11-12 | ローム株式会社 | Led照明システム |
JP2012155917A (ja) | 2011-01-25 | 2012-08-16 | Panasonic Corp | 照明制御システム |
WO2016084834A1 (ja) | 2014-11-25 | 2016-06-02 | 株式会社日立ハイテクノロジーズ | 計測システム、頭部装着装置、プログラム、およびサービス提供方法 |
JP2016131604A (ja) * | 2015-01-16 | 2016-07-25 | セイコーエプソン株式会社 | 生体情報測定システム、生体情報測定装置および生体情報測定方法 |
CN106236060B (zh) * | 2015-06-04 | 2021-04-09 | 松下知识产权经营株式会社 | 生物体信息检测装置 |
CN107088071B (zh) * | 2016-02-17 | 2021-10-15 | 松下知识产权经营株式会社 | 生物体信息检测装置 |
JP6759032B2 (ja) * | 2016-09-27 | 2020-09-23 | キヤノン株式会社 | 光音響装置、情報処理方法、及びプログラム |
-
2018
- 2018-07-05 WO PCT/JP2018/025433 patent/WO2019039104A1/ja unknown
- 2018-07-05 JP JP2019537968A patent/JP7142246B2/ja active Active
- 2018-07-05 EP EP18848157.6A patent/EP3673798B1/en active Active
- 2018-07-05 CN CN201880047393.8A patent/CN110891481B/zh active Active
-
2020
- 2020-02-05 US US16/782,090 patent/US11559205B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04189349A (ja) | 1990-11-22 | 1992-07-07 | Olympus Optical Co Ltd | 被検体内部情報観察装置 |
JPH11164826A (ja) | 1997-12-04 | 1999-06-22 | Hitachi Ltd | 生体光計測装置 |
JP2002224092A (ja) * | 2001-01-30 | 2002-08-13 | Hitachi Ltd | 生体監視システム及び光計測用プローブ |
JP2005169141A (ja) * | 2005-01-24 | 2005-06-30 | National Institute Of Information & Communication Technology | 生体活動計測装置 |
JP2015134157A (ja) * | 2013-12-20 | 2015-07-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 光脳機能計測装置 |
JP2017124153A (ja) * | 2016-01-07 | 2017-07-20 | パナソニックIpマネジメント株式会社 | 生体情報計測装置 |
JP2017144225A (ja) * | 2016-02-17 | 2017-08-24 | パナソニックIpマネジメント株式会社 | 生体情報検出装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3673798B1 (en) | 2023-08-30 |
CN110891481B (zh) | 2023-07-04 |
EP3673798A4 (en) | 2020-08-05 |
EP3673798A1 (en) | 2020-07-01 |
JPWO2019039104A1 (ja) | 2020-08-06 |
JP7142246B2 (ja) | 2022-09-27 |
CN110891481A (zh) | 2020-03-17 |
US11559205B2 (en) | 2023-01-24 |
US20200170512A1 (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6399373B2 (ja) | 撮像装置 | |
JP6998529B2 (ja) | 撮像装置 | |
JP7065421B2 (ja) | 撮像装置および対象物の内部の情報を取得する方法 | |
JP6887097B2 (ja) | 撮像装置 | |
JP7542192B2 (ja) | 識別装置および識別方法 | |
US20210085229A1 (en) | Biometric measurement apparatus and biometric measurement method | |
JP2017187471A (ja) | 撮像装置 | |
JP7142246B2 (ja) | 生体計測装置、ヘッドマウントディスプレイ装置、および生体計測方法 | |
JP2021141949A (ja) | 測定装置、およびプログラム | |
WO2020121704A1 (ja) | 光計測装置 | |
WO2023090188A1 (ja) | 光検出システム、処理装置、光検出システムを制御する方法、およびプログラム | |
WO2022138063A1 (ja) | 生体計測装置、生体計測方法、及び、コンピュータプログラム | |
WO2023079862A1 (ja) | 撮像システム、処理装置、および撮像システムにおいてコンピュータによって実行される方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18848157 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019537968 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018848157 Country of ref document: EP Effective date: 20200324 |