JP6887097B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP6887097B2 JP6887097B2 JP2017099273A JP2017099273A JP6887097B2 JP 6887097 B2 JP6887097 B2 JP 6887097B2 JP 2017099273 A JP2017099273 A JP 2017099273A JP 2017099273 A JP2017099273 A JP 2017099273A JP 6887097 B2 JP6887097 B2 JP 6887097B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image sensor
- light
- period
- floating diffusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 63
- 238000012545 processing Methods 0.000 claims description 87
- 238000009825 accumulation Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000007599 discharging Methods 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 description 297
- 239000000306 component Substances 0.000 description 292
- 238000010586 diagram Methods 0.000 description 61
- 230000003287 optical effect Effects 0.000 description 40
- 238000000034 method Methods 0.000 description 34
- 230000015654 memory Effects 0.000 description 30
- 238000001514 detection method Methods 0.000 description 26
- 230000003727 cerebral blood flow Effects 0.000 description 16
- 102000001554 Hemoglobins Human genes 0.000 description 14
- 108010054147 Hemoglobins Proteins 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 210000004556 brain Anatomy 0.000 description 9
- 238000009826 distribution Methods 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 210000004761 scalp Anatomy 0.000 description 7
- 230000017531 blood circulation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 101000694017 Homo sapiens Sodium channel protein type 5 subunit alpha Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000012503 blood component Substances 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000004186 food analysis Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
- A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Psychology (AREA)
- Neurosurgery (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
対象物の画像を撮像するための撮像装置であって、
前記対象物に照射される少なくとも1つのパルス光を出射する第1の光源、
複数の画素を含み、前記複数の画素の各々が、
入射した光を信号電荷に変換する光電変換素子と、
前記信号電荷を蓄積する第1の蓄積部と、
前記信号電荷を蓄積する第2の蓄積部と、
前記信号電荷を排出する排出部と、を含む、イメージセンサ、並びに
前記第1の光源および前記イメージセンサを制御する制御回路
を備え、
前記制御回路は、1つのフレームの前記画像を撮像する期間であるフレーム期間において、
前記第1の光源に前記少なくとも1つのパルス光を出射させ、
前記少なくとも1つのパルス光のうち、前記対象物の表面で反射された表面反射成分が前記イメージセンサに入射している期間を含む第1期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部および前記第2の蓄積部に蓄積させ、
前記少なくとも1つのパルス光のうち、前記対象物の内部で散乱された内部散乱成分が前記イメージセンサに入射している第2期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第1の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第1の蓄積部に前記信号電荷を蓄積させ、
前記第1期間および前記第2期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく第1の信号と、前記第2の蓄積部に蓄積された前記信号電
荷に基づく第2の信号とを生成させる。
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
な撮像装置101(「時間分解撮像システム」とも称する。)を用いて、対象物102(この例では人体頭部の内部の脳血流)を非接触で計測することを試みた。この撮像装置101は、近赤外領域のパルス光を発する第1の光源103と、第1の光源103から出射され、対象物102から戻ってきたパルス光を検出するイメージセンサ113と、第1の光源103およびイメージセンサ113を制御する制御回路114とを備えている。
散乱されて戻ってくる内部散乱成分I2の波形を示している。信号Fは、表面反射成分I1と内部散乱成分I2とを合わせた波形を示している。信号Bは、電子シャッタのOPEN、CLOSEのタイミングを示している。横軸は時間を表し、縦軸は、信号A、D、E、Fにおいては光の強度を、信号Bにおいては電子シャッタのOPENまたはCLOSEの状態を表している。ここで、「CLOSE」とは、ドレイン402に信号電荷が排出される状態を意味する。「OPEN」とは、信号電荷が排出されない状態を意味する。高速タイミング制御回路414は、例えば電圧の調整によって浮遊拡散層404およびドレイン402における信号電荷のポテンシャルエネルギー(以下、単に「ポテンシャル」と称する。)を変化させることにより、浮遊拡散層404への信号電荷の蓄積およびドレイン402への信号電荷の排出を制御できる。
多い。このため、光の漏れ込みは問題にはならない。しかし、人の頭部の奥にある脳血流の情報のような微弱な生体情報を検出するような場合には、蓄積部に漏れ込む表面反射成分が、内部散乱成分に対して無視できないため、上記の問題が生じる。
本開示の項目1に係る撮像装置は、
対象物の画像を撮像するための撮像装置であって、
前記対象物に照射される少なくとも1つのパルス光を出射する第1の光源、
複数の画素を含み、前記複数の画素の各々が、
入射した光を信号電荷に変換する光電変換素子と、
前記信号電荷を蓄積する第1の蓄積部と、
前記信号電荷を蓄積する第2の蓄積部と、
前記信号電荷を排出する排出部と、を含む、イメージセンサ、並びに
前記第1の光源および前記イメージセンサを制御する制御回路
を備え、
前記制御回路は、1つのフレームの前記画像を撮像する期間であるフレーム期間において、
前記第1の光源に前記少なくとも1つのパルス光を出射させ、
前記少なくとも1つのパルス光のうち、前記対象物の表面で反射された表面反射成分が前記イメージセンサに入射している期間を含む第1期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部および前記第2の蓄積部に蓄積させ、
前記少なくとも1つのパルス光のうち、前記対象物の内部で散乱された内部散乱成分が前記イメージセンサに入射している第2期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第1の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第1の蓄積部に前記信号電荷を蓄積させ、
前記第1期間および前記第2期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく第1の信号と、前記第2の蓄積部に蓄積された前記信号電荷に基づく第2の信号とを生成させる。
項目1に記載の撮像装置において、
前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第1の信号および第2の信号を用いた演算を行うことにより、前記画像を示す信号を生成してもよい。
項目2に記載の撮像装置において、
前記信号処理回路は、前記複数の画素の各々について、前記第1の信号から前記第2の信号を減算することにより、前記画像を示す信号を生成してもよい。
項目1に記載の撮像装置において、
前記制御回路は、
前記フレーム期間とは異なる他のフレーム期間において、
前記第1の光源に前記少なくとも1つのパルス光を出射させ、
前記少なくとも1つのパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第3期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部および第2の蓄積部に蓄積させ、
前記第3期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく第3の信号と、前記第2の蓄積部に蓄積された前記信号電荷に基づく第4の信号とを生成させてもよい。
項目4に記載の撮像装置は、
前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第1の信号、第2の信号、第3の信号および第4の信号を用いた演算を行うことにより、前記画像を示す信号を生成してもよい。
項目5に記載の撮像装置において、
前記第1の信号をS1、前記第2の信号をS2、前記第3の信号をS3、前記第4の信号をS4とするとき、
前記信号処理回路は、S=S1−S2×S3/S4の演算によって得られる信号Sを、前記画像を示す信号として生成してもよい。
項目1に記載の撮像装置において、
前記制御回路は、
前記フレーム期間とは異なる他のフレーム期間において、
前記第1の光源に前記少なくとも1つのパルス光を出射させ、
前記少なくとも1つのパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第3期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部および前記第2の蓄積部に蓄積させ、
前記少なくとも1つのパルス光のうち、前記内部散乱成分が前記イメージセンサに入射している第4期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第2の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第2の蓄積部に前記信号電荷を蓄積させ、
前記第3期間および前記第4期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく第3の信号と、前記第2の蓄積部に蓄積された前記信号電荷に基づく第4の信号とを生成させてもよい。
項目7に記載の撮像装置において、
前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第3の信号に係数を乗算し
た信号を、前記第4の信号から減算することにより、前記他のフレーム期間における前記画像を示す信号を生成してもよい。
項目8に記載の撮像装置において、
前記信号処理回路は、前記複数の画素の各々について、前記画像を示す信号に基づいて、前記対象物の動きを検出し、
前記複数の画素のうち、前記対象物の動きがないと検出された画素について、前記第1から第4の信号の少なくとも一部を用いて、前記係数を変更してもよい。
項目1に記載の撮像装置において、
前記制御回路は、前記フレーム期間において、
前記少なくとも1つのパルス光が前記イメージセンサに入射していない期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第2の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第2の蓄積部に前記信号電荷をさらに蓄積させてもよい。
項目1に記載の撮像装置において、
前記少なくとも1つのパルス光は、第1のパルス光、および前記第1のパルス光の後に前記第1の光源から出射される第2のパルス光を含み、
前記制御回路は、
前記第1のパルス光の前記イメージセンサへの入射が終了した後、前記第2のパルス光の前記イメージセンサへの入射が開始する前に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第2の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第2の蓄積部に前記信号電荷をさらに蓄積させてもよい。
項目1に記載の撮像装置において、
前記制御回路は、前記フレーム期間において、
前記第1および前記第2の蓄積部への前記少なくとも1つのパルス光に起因する信号電荷の蓄積が完了した後、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第2の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第2の蓄積部に前記信号電荷をさらに蓄積させてもよい。
項目1から12のいずれかに記載の撮像装置は、
前記第1の光源からの前記少なくとも1つのパルス光とは異なる波長を有する第4のパルス光を出射させる第2の光源をさらに備え、
前記イメージセンサは、前記信号電荷を蓄積する第3の蓄積部をさらに含み、
前記制御回路は、前記フレーム期間において、
前記第1期間および前記第2期間の後に、
前記第2の光源に前記第4のパルス光を出射させ、
前記第4のパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第5期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部
、前記第2の蓄積部および第3の蓄積部に蓄積させ、
前記第4のパルス光のうち、前記内部散乱成分が前記イメージセンサに入射している第6期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第3の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第3の蓄積部に前記信号電荷を蓄積させ、
前記第5期間および前記第6期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく前記第1の信号と、前記第2の蓄積部に蓄積された前記信号電荷に基づく前記第2の信号と、前記第3の蓄積部に蓄積された前記信号電荷に基づく前記第3の信号とを生成させてもよい。
本実施形態の撮像装置は、対象物として、生体等の光散乱体を対象としている。より具体的には、本実施形態の撮像装置は、観測すべき被検者の脳内の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度分布と、その時間変化とを検出する。これにより、当該濃度分布を示す2次元画像(静止画像または動画像)を生成することができる。当該画像の情報を利用することにより、例えば、被検者の脳活動(例えば、集中度または感情等)を推定することができる。本実施形態の撮像装置は、上記のような生体情報を非接触で検出
することができるため、検出に伴う煩わしさを解消することができる。さらに、対象物の表面で反射された強い表面反射光に起因する信号電荷の一部が蓄積部に漏れ込むことによって生じる不要な信号成分を高い精度で除去することができる。これにより、従来技術と比較して、生体情報の検出精度を大きく向上させることができる。以下、このような高精度の検出を可能とする本実施形態の撮像装置の構成および動作を説明する。
図5は、本実施形態における撮像装置101の構成を模式的に示す図である。図5には、撮像装置101だけでなく、検出対象である対象物102(人体頭部)も示されている。本実施形態の撮像装置101は、概略的には、図1に示す検討例における撮像装置101と同じ構成を有する。ただし、本実施形態では、光源の数が2個であり、イメージセンサ113が3個の蓄積部を有している点で、前述の検討例とは異なっている。
本実施形態における第1の光源103は、中心波長が750nmの狭帯域のパルス光を出射するレーザーパルス光源である。第2の光源104は、中心波長が850nmの狭帯域のパルス光を出射するレーザーパルス光源である。第1の光源103および第2の光源104の各々は、後述するように、制御回路114によって決定された所定のパターンでパルス光を繰り返し出射する。第1の光源103および第2の光源104が出射するパルス光は、例えば、立ち下り時間である立ち下りを開始してから完全に立ち下るまでの時間がゼロに近い矩形波状の光であり得る。第1の光源103および第2の光源104が発生させるパルス光の立ち上り時間である立ち上りを開始してから完全に立ち上るまでの時間は任意である。第1の光源103および第2の光源104は、パルス光の立ち下り部分が時間軸に対して垂直に近い(即ち、時間応答特性が急進な)レーザーダイオード(LD)などの光源であり得る。第1の光源103および第2の光源104には、例えば半導体レーザ、固体レーザ、ファイバレーザなどの、パルス光を発する任意の種類の光源が用いられ得る。
用途によっては、中赤外線、遠赤外線、またはテラヘルツ波もしくはミリ波等の電波域の電磁波を使用することもできる。
本実施形態における光学系111は、テレセントリックな光学系を実現するカメラレンズである。テレセントリックな光学系111を用いることにより、各画素に斜めに入射する光を少なくすることができるため、後述するように、信号処理を簡単にすることができる。
イメージセンサ113は、第1の光源103および第2の光源104から出射され対象物102で反射された光を受光する。イメージセンサ113は、撮像面上に2次元に配列された複数の画素を有し、対象物102の内部の2次元情報を取得する。イメージセンサ113は、例えば、CCDイメージセンサまたはCMOSイメージセンサであり得る。
補正する必要が無いため、シャッタ幅がパルス幅よりも大きい必要はない。本実施形態では、シャッタ幅は、例えば、1〜30ns程度であり得る。本実施形態の撮像装置101によれば、シャッタ幅を従来よりも短縮できるため、検出信号に含まれる暗電流を低減することができる。
ンジスタ509と、行選択トランジスタ508と、リセットトランジスタ510とを含む。この例では、リセットトランジスタ510が、図7に示すドレイン402に相当する。リセットトランジスタ510のゲートに入力されるパルス信号により、信号電荷の排出が制御される。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ509の入力端子および出力端子の一方(典型的にはソース)と、行選択トランジスタ508の入力端子および出力端子のうちの一方(典型的にはドレイン)とが接続されている。ソースフォロワトランジスタ509の制御端子であるゲートは、図8には示されていないフォトダイオード403に電気的に接続されている。フォトダイオード403によって生成された信号電荷である正孔または電子は、フォトダイオード403とソースフォロワトランジスタ509との間の蓄積部である浮遊拡散層404、405、406に蓄積される。
制御回路114は、例えば、マイクロプロセッサおよびメモリの組み合わせ、またはプロセッサおよびメモリを内蔵するマイクロコントローラ等の集積回路であり得る。制御回路114は、例えばプロセッサがメモリに記録された制御プログラムを実行することにより、第1の光源103および第2の光源104への点灯指示、イメージセンサ113への撮像指示、および信号処理回路115への演算指示等を行う。制御回路114からの指示に基づいて、イメージセンサ113における高速タイミング制御回路414は、各画素における信号電荷の蓄積および排出を制御する。
タに限らず、他の情報を生成してもよい。例えば、脳における血流量、血圧、血中酸素飽和度、または心拍数などの生体情報を生成してもよい。
次に、本実施形態の撮像装置101の動作を説明する。
期間あたり1回の発光および露光が行われる。
テンシャルを相対的に高くして電子シャッタをOPENにする。当該期間以外においては、高速タイミング制御回路414は、ドレイン402のポテンシャルを相対的に低くして電子シャッタをCLOSEにする。このような制御により、対象物102からの内部散乱光に起因してフォトダイオード403で発生した信号電荷が、浮遊拡散層405に繰り返し蓄積される。
以上のように、本実施形態における撮像装置は、対象物に照射されるパルス光を発する第1の光源103および第2の光源104と、イメージセンサ113と、制御回路114と、信号処理回路115とを備える。イメージセンサ113は、複数の画素を有し、各画素が、光電変換素子と、光電変換素子で生じた信号電荷を蓄積する3つの蓄積部とを有する。第1の光源103は、第1波長域(例えば750nmを中心とする波長域)のパルス光を出射する。第2の光源104は、第2波長域(例えば850nmを中心とする波長域)のパルス光を出射する。制御回路114は、第1の光源103にパルス光を出射させるタイミングと、3つの蓄積部に信号電荷を蓄積させるタイミングと、信号電荷を排出するタイミングとを制御する。制御回路114は、以下の動作を実行する。
(2)第1の光源103および第2の光源104の各々から出射されたパルス光のうち、対象物102の表面で反射された表面反射成分I1がイメージセンサ113に入射している期間を少なくとも含む期間に、ドレイン402に信号電荷が排出される状態にして、フォトダイオード403で生じた信号電荷のうち、排出されずに残った信号電荷を浮遊拡散層406に蓄積させる。
(3)第1の光源103から出射された中心波長750nmのパルス光のうち、表面反射成分I1の後端がイメージセンサ113に入射した後、対象物の内部で散乱されて戻ってきた内部散乱成分I2がイメージセンサ113に入射している期間に、ドレイン402に信号電荷が排出されず、かつ浮遊拡散層404に信号電荷が蓄積される状態にして、浮遊拡散層404に信号電荷を蓄積させる。
(4)第2の光源104から出射された中心波長850nmのパルス光のうち、表面反射成分I1の後端がイメージセンサ113に入射した後、対象物の内部で散乱されて戻ってきた内部散乱成分I2がイメージセンサ113に入射している期間に、ドレイン402に信号電荷が排出されない状態にして、浮遊拡散層404に信号電荷を蓄積させる。
(5)浮遊拡散層404、405、406への信号電荷の蓄積が完了した後、イメージセンサ113に、浮遊拡散層404に蓄積された信号電荷に基づく信号S1と、浮遊拡散層405に蓄積された信号電荷に基づく信号S2と、浮遊拡散層406に蓄積された信号電荷に基づく信号S3とを生成させる。
次に、本開示の実施形態2における撮像装置101を説明する。本実施形態は、光学系111が非テレセントリックな光学系である点、および、検出前に、いずれの浮遊拡散層もアクティブにしない状態での撮像をキャリブレーションとして行う点で、実施形態1と異なっている。以下、実施形態1と異なる点を中心に説明する。
る。この動作により、浮遊拡散層404、405、406の各々には、生体内で散乱された光による信号電荷は蓄積されず、生体の表面で反射された光に起因して漏れ込むノイズ成分のみが蓄積される。
波長750nmの信号成分 = a2 − C2_FD3 × C1_FD1/C1_FD3
波長850nmの信号成分 = b2 − C2_FD3 × C1_FD2/C1_FD3
波長750nmの信号成分 = an − Cn_FD3 × C1_FD1/C1_FD3
波長850nmの信号成分 = bn − Cn_FD3 × C1_FD2/C1_FD3
次に、本開示の実施形態3における撮像装置101を説明する。本実施形態の撮像装置101は、内部散乱成分を検出する2つの浮遊拡散層と、漏れ込み成分を検出する浮遊拡散層との組み合わせを、フレーム期間ごとに変更する点で、実施形態2と異なっている。本実施形態によれば、キャリブレーションフレームを用いることなく、漏れ込み成分が除去された生体信号を生成することができる。以下、実施形態2と異なる点を中心に説明する。
α = c_FD2/c_FD1
β = c_FD3/c_FD1
波長750nmの信号成分=a1−c1×c_FD1/c_FD3=a1−c1/β1
波長850nmの信号成分=b1−c1×c_FD2/c_FD3=b1−c1/β1×α1
漏れ込み成分 = c1
波長750nmの信号成分=a2−c2×c_FD3/c_FD2=a2−c2×β1/α1
波長850nmの信号成分=b2−c2×c_FD1/c_FD2=b2−c2/α1
漏れ込み成分=c2
波長750nmの信号成分=a3−c3×c_FD2/c_FD1=a3−c3×α1
波長850nmの信号成分=b3−c3×c_FD3/c_FD1=b3−c3×β1
漏れ込み成分 = c3
象物102の動きを検出し、動きが検出された場合、次に静止したタイミングで、係数を更新する。対象物102の動きの検出は、例えば画素ごとまたは近接する画素群ごとに行われ得る。動き検出の方法は、特定の方法に限られず、任意の方法で行ってよい。例えば、信号処理回路115は、個々の画素における輝度値の時間あたりの変化量と所定の閾値とを比較することによって対象物102のその画素における動きを検出してもよい。あるいは、着目する画素を中心とする画素群における対象物102の動きベクトルを計算し、当該動きベクトルの大きさが所定の閾値よりも大きい場合に、対象物102が動いていると判断してもよい。
(1)第1の光源103に少なくとも1つのパルス光を出射させ、第1の光源103から出射されたパルス光のうち、表面反射成分がイメージセンサ113に入射している期間を含む期間に、信号電荷が排出される状態にして、光電変換素子で生じた信号電荷のうち、ドレイン402に排出されずに残った信号電荷を浮遊拡散層406に蓄積させる。
(2)第1の光源103から出射されたパルス光のうち、表面反射成分の後端がイメージセンサ113に入射した後、内部散乱成分がイメージセンサ113に入射している期間に、ドレイン402に信号電荷が排出されず、かつ浮遊拡散層404に信号電荷が蓄積される状態にして、浮遊拡散層404に信号電荷を蓄積させる。
(3)浮遊拡散層404、406への信号電荷の蓄積が完了した後、イメージセンサ113に、浮遊拡散層404に蓄積された信号電荷に基づく第1の信号と、浮遊拡散層406に蓄積された信号電荷に基づく第2の信号とを生成させる。
(4)第1の光源103に少なくとも1つのパルス光を出射させ、第1の光源103から出射されたパルス光のうち、表面反射成分がイメージセンサ113に入射している期間を含む期間に、信号電荷が排出される状態にして、光電変換素子で生じた信号電荷のうち、ドレイン402に排出されずに残った信号電荷を浮遊拡散層404に蓄積させる。
(5)第1の光源103から出射されたパルス光のうち、表面反射成分の後端がイメージセンサ113に入射した後、内部散乱成分がイメージセンサ113に入射している期間に、ドレイン402に信号電荷が排出されず、かつかつ浮遊拡散層406に信号電荷が蓄積される状態にして、浮遊拡散層406に信号電荷を蓄積させる。
(6)浮遊拡散層404および浮遊拡散層406への信号電荷の蓄積が完了した後、イメージセンサ113に、浮遊拡散層404に蓄積された信号電荷に基づく第3の信号と、浮遊拡散層406に蓄積された信号電荷に基づく第4の信号とを生成させる。
次に、実施形態4の撮像装置101を説明する。本実施形態は、光の漏れ込み成分に加えて背景光成分を同時に検出できる点で実施形態3と異なっている。内部散乱成分を検出する2つの浮遊拡散層と、漏れ込み成分を検出する浮遊拡散層との組み合わせを、フレーム期間ごとに変更する点は、実施形態3と同じである。漏れ込み成分に加えて背景光成分を検出することにより、信号から漏れ込み成分と背景光成分とを精度良く除去することが可能である。以下、実施形態3と異なる点を中心に説明する。
されるパルス光の波長と同じ波長の成分が含まれる場合がある。その場合、ダブルバンドパスフィルタ112をイメージセンサ113の撮像面に対向して配置していたとしても、イメージセンサ113に背景光が入射し、ノイズを発生させるおそれがある。そこで、本実施形態では、各フレーム期間において、漏れ込み成分に加えて背景光成分を検出する期間が設けられる。
期間が終了した後である必要はない。第1の光源103および第2の光源104の発光期間の前、または第1の光源103の発光期間と第2の光源104の発光期間との間に行ってもよい。
次に、実施形態5の撮像装置101を説明する。本実施形態は、表面反射光の漏れ込み成分に加えて背景光成分を同時に検出する点で実施形態4と共通するが、背景光成分を検出するタイミングが実施形態4とは異なる。内部散乱成分を検出する2つの浮遊拡散層と、漏れ込み成分を検出する浮遊拡散層との組み合わせを、フレーム期間ごとに変更する点は、実施形態3と同じである。漏れ込み成分に加えて背景光成分を検出することにより、検出した信号から漏れ込み成分と背景光成分とを精度良く除去することが可能である。以下、実施形態4と異なる点を中心に説明する。
信号電荷の蓄積が行われる。制御回路114は、第1のパルス光のイメージセンサ113への入射が終了した後、第2のパルス光のイメージセンサへ113の入射が開始する前に、信号電荷が排出されない状態にして、漏れ込み成分を検出する蓄積部に信号電荷をさらに蓄積させる。信号処理回路115は、実施形態3、4と同様の処理を行い、内部散乱成分に起因する信号から漏れ込み成分および背景光成分を除去する。
次に実施形態6の撮像装置101を説明する。本実施形態では、1回の発光について異なる2位相の電子シャッタ期間が設けられ、それぞれ異なる浮遊拡散層に信号電荷が蓄積される。これにより、対象物102の浅部の頭皮血流の情報と、深部の脳血流の情報とを高い精度で分離して検出することができる。
態)、OFF(すなわち浮遊拡散層に電荷が蓄積されない状態)のタイミングを示す。図21Aは、1番目のフレーム期間のシステムタイミングを示している。図21Bは、2番目のフレーム期間のシステムタイミングを示している。図21Cは、3番目のフレーム期間のシステムタイミングを示している。図21Dは、4番目のフレーム期間のシステムタイミングを示している。図21Eは、5番目のフレーム期間のシステムタイミングを示している。6番目のフレーム期間以降は、図21A〜図21Eに示す動作が順に繰り返される。図21A〜図21Eからわかるように、本実施形態では、フレーム期間ごとに、浮遊拡散層404、405、406、407、408の各々の役割が順番に変更されている。
イミングである時刻fで電子シャッタがCLOSEからOPENに切り替えられる。発光パルス幅相当の期間、OPENの期間が維持され、時刻jで再びCLOSEに切り替えられる。この際、浮遊拡散層404は、シャッタOPEN時には既にアクティブであり、シャッタがOPENになっている最中の時刻iで非アクティブにされる。浮遊拡散層404が非アクティブになると同時に、浮遊拡散層405がアクティブにされる。シャッタがCLOSEになるタイミングまで、浮遊拡散層405はアクティブの状態を継続し、その後、非アクティブにされる。第1の光源103は繰り返しパルス発光するので、電子シャッタ、浮遊拡散層404、および浮遊拡散層405も、発光に同期して制御される。
処理回路115は、両者の信号に基づいて、頭皮血流の状態を示す信号と、脳血流の状態とを示す信号を生成することができる。
次に実施形態7の撮像装置101を説明する。本実施形態は、イメージセンサ113がCCD型である場合について、具体的に説明する。本実施形態では、特定の浮遊拡散層のポテンシャルを他の浮遊拡散層よりも相対的に低くすることでフォトダイオードから信号電荷を読み出す。本実施形態は、特定の浮遊拡散層以外の他の浮遊拡散層への光漏れ成分の漏れ込みが少ない場合において適用される。
ると認識する。
102 対象物
103 第1の光源
104 第2の光源
111 光学系
112 ダブルバンドパスフィルタ
113 イメージセンサ
114 制御回路
115 信号処理回路
401 画素
402 ドレイン
403 フォトダイオード
404、405、406、407、408 浮遊拡散層 414 高速タイミング制御回路
502 行選択回路
503 列選択回路
504 垂直信号線
505 ソースフォロワ電源
506 ソースフォロワ負荷
507 AD変換器
508 行選択トランジスタ
509 ソースフォロワトランジスタ
510 リセットトランジスタ
601 画素駆動回路
602 水平CCD
603 出力回路
604 垂直CCD
605 遮光部材
606 電極
609ウェル領域
700 信号読み出し回路
702、806 動き検出回路
704 補正回路
706 画像処理回路
708 第1メモリ
710 第2メモリ
802 第1回路
804 第2回路
808 メモリ
Claims (13)
- 対象物の画像を撮像するための撮像装置であって、
前記対象物に照射される少なくとも1つのパルス光を出射する第1の光源、
複数の画素を含み、前記複数の画素の各々が、
入射した光を信号電荷に変換する光電変換素子と、
前記信号電荷を蓄積する第1の蓄積部と、
前記信号電荷を蓄積する第2の蓄積部と、
前記信号電荷を排出する排出部と、を含む、イメージセンサ、並びに
前記第1の光源および前記イメージセンサを制御する制御回路
を備え、
前記制御回路は、1つのフレームの前記画像を撮像する期間であるフレーム期間において、
前記第1の光源に前記少なくとも1つのパルス光を出射させ、
前記少なくとも1つのパルス光のうち、前記対象物の表面で反射された表面反射成分が前記イメージセンサに入射している期間を含む第1期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部および前記第2の蓄積部に蓄積させ、
前記少なくとも1つのパルス光のうち、前記対象物の内部で散乱された内部散乱成分が前記イメージセンサに入射している第2期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第1の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第1の蓄積部に前記信号電荷を蓄積させ、
前記第1期間および前記第2期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく第1の信号と、前記第2の蓄積部に蓄積された前記信号電荷に基づく第2の信号とを生成させる、
撮像装置。 - 前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第1の信号および前記第2の信号を用いた演算を行うことにより、前記画像を示す信号を生成する、
請求項1に記載の撮像装置。 - 前記信号処理回路は、前記複数の画素の各々について、前記第1の信号から前記第2の信号を減算することにより、前記画像を示す信号を生成する、
請求項2に記載の撮像装置。 - 前記制御回路は、
前記フレーム期間とは異なる他のフレーム期間において、
前記第1の光源に前記少なくとも1つのパルス光を出射させ、
前記少なくとも1つのパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第3期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部および第2の蓄積部に蓄積させ、
前記第3期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく第3の信号と、前記第2の蓄積部に蓄積された前記信号電荷に基づく第4の信号とを生成させる、
請求項1に記載の撮像装置。 - 前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第1の信号、前記第2の信号、前記第3の信号および前記第4の信号を用いた演算を行うことにより、前記画像を示す信号を生成する、
請求項4に記載の撮像装置。 - 前記第1の信号をS1、前記第2の信号をS2、前記第3の信号をS3、前記第4の信号をS4とするとき、
前記信号処理回路は、S=S1−S2×S3/S4の演算によって得られる信号Sを、前記画像を示す信号として生成する、
請求項5に記載の撮像装置。 - 前記制御回路は、
前記フレーム期間とは異なる他のフレーム期間において、
前記第1の光源に前記少なくとも1つのパルス光を出射させ、
前記少なくとも1つのパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第3期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部および前記第2の蓄積部に蓄積させ、
前記少なくとも1つのパルス光のうち、前記内部散乱成分が前記イメージセンサに入射している第4期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第2の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第2の蓄積部に前記信号電荷を蓄積させ、
前記第3期間および前記第4期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく第3の信号と、前記第2の蓄積部に蓄積された前記信号電荷に基づく第4の信号とを生成させる、
請求項1に記載の撮像装置。 - 前記イメージセンサに電気的に接続された信号処理回路をさらに備え、
前記信号処理回路は、前記複数の画素の各々について、前記第3の信号に係数を乗算した信号を、前記第4の信号から減算することにより、前記他のフレーム期間における前記画像を示す信号を生成する、
請求項7に記載の撮像装置。 - 前記信号処理回路は、前記複数の画素の各々について、前記画像を示す信号に基づいて、前記対象物の動きを検出し、
前記複数の画素のうち、前記対象物の動きがないと検出された画素について、前記第1から第4の信号の少なくとも一部を用いて、前記係数を変更する、
請求項8に記載の撮像装置。 - 前記制御回路は、前記フレーム期間において、
前記少なくとも1つのパルス光が前記イメージセンサに入射していない期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第2の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第2の蓄積部に前記信号電荷をさらに蓄積させる、
請求項1に記載の撮像装置。 - 前記少なくとも1つのパルス光は、第1のパルス光、および前記第1のパルス光の後に前記第1の光源から出射される第2のパルス光を含み、
前記制御回路は、
前記第1のパルス光の前記イメージセンサへの入射が終了した後、前記第2のパルス光の前記イメージセンサへの入射が開始する前に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第2の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第2の蓄積部に前記信号電荷をさらに蓄積させる、
請求項1に記載の撮像装置。 - 前記制御回路は、前記フレーム期間において、
前記第1および前記第2の蓄積部への前記少なくとも1つのパルス光に起因する信号電荷の蓄積が完了した後、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第2の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第2の蓄積部に前記信号電荷をさらに蓄積させる、
請求項1に記載の撮像装置。 - 前記第1の光源からの前記少なくとも1つのパルス光とは異なる波長を有する第4のパルス光を出射させる第2の光源をさらに備え、
前記イメージセンサは、前記信号電荷を蓄積する第3の蓄積部をさらに含み、
前記制御回路は、前記フレーム期間において、
前記第1期間および前記第2期間の後に、
前記第2の光源に前記第4のパルス光を出射させ、
前記第4のパルス光のうち、前記表面反射成分が前記イメージセンサに入射している期間を含む第5期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出される状態にすることにより、前記信号電荷のうち、前記排出部に排出されなかった部分を前記第1の蓄積部、前記第2の蓄積部および前記第3の蓄積部に蓄積させ、
前記第4のパルス光のうち、前記内部散乱成分が前記イメージセンサに入射している第6期間に、
前記イメージセンサの状態を、前記排出部に前記信号電荷が排出されず、かつ前記第3の蓄積部に前記信号電荷が蓄積される状態にすることにより、前記第3の蓄積部に前記信号電荷を蓄積させ、
前記第5期間および前記第6期間の後、前記イメージセンサに、前記第1の蓄積部に蓄積された前記信号電荷に基づく前記第1の信号と、前記第2の蓄積部に蓄積された前記信号電荷に基づく前記第2の信号と、前記第3の蓄積部に蓄積された前記信号電荷に基づく第3の信号とを生成させる、
請求項1に記載の撮像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016113424 | 2016-06-07 | ||
JP2016113424 | 2016-06-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017220926A JP2017220926A (ja) | 2017-12-14 |
JP6887097B2 true JP6887097B2 (ja) | 2021-06-16 |
Family
ID=60483627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017099273A Active JP6887097B2 (ja) | 2016-06-07 | 2017-05-18 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10397496B2 (ja) |
JP (1) | JP6887097B2 (ja) |
CN (1) | CN107468209B (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018142878A1 (ja) * | 2017-02-06 | 2018-08-09 | パナソニックIpマネジメント株式会社 | 3次元モーション取得装置、及び3次元モーション取得方法 |
JP6887126B2 (ja) * | 2017-02-06 | 2021-06-16 | パナソニックIpマネジメント株式会社 | 3次元モーション取得装置、及び3次元モーション取得方法 |
JP7386440B2 (ja) * | 2017-12-19 | 2023-11-27 | パナソニックIpマネジメント株式会社 | 生体計測装置、生体計測装置の作動方法、及び判定装置 |
JP7308430B2 (ja) | 2018-03-15 | 2023-07-14 | パナソニックIpマネジメント株式会社 | ユーザの心理状態を推定するためのシステム、記録媒体、および方法 |
US11381825B2 (en) * | 2018-11-27 | 2022-07-05 | Advanced Micro Devices, Inc. | Variable rate rendering based on motion estimation |
JP7386438B2 (ja) * | 2018-12-20 | 2023-11-27 | パナソニックIpマネジメント株式会社 | 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム |
WO2020137352A1 (ja) * | 2018-12-27 | 2020-07-02 | パナソニックIpマネジメント株式会社 | 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置 |
CN113614566A (zh) * | 2019-03-27 | 2021-11-05 | 松下知识产权经营株式会社 | 测距方法、测距装置以及程序 |
JP6824363B1 (ja) | 2019-10-30 | 2021-02-03 | 浜松ホトニクス株式会社 | イメージセンサ、及びイメージセンサの制御方法 |
CN114650764A (zh) * | 2019-11-13 | 2022-06-21 | 索尼奥林巴斯医疗解决方案公司 | 光源设备与被检体观察系统 |
US20220167855A1 (en) * | 2020-11-30 | 2022-06-02 | Samsung Electronics Co., Ltd. | Biological information measuring apparatus and electronic device including the same |
TW202242408A (zh) * | 2021-02-18 | 2022-11-01 | 日商古河電氣工業股份有限公司 | 生物資訊測定裝置、生物資訊測定方法與程式 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0795828B2 (ja) * | 1985-10-25 | 1995-10-11 | 株式会社日立製作所 | 固体撮像装置の駆動方法 |
JP3162070B2 (ja) | 1990-11-22 | 2001-04-25 | オリンパス光学工業株式会社 | 被検体内部情報観察装置 |
US5305759A (en) | 1990-09-26 | 1994-04-26 | Olympus Optical Co., Ltd. | Examined body interior information observing apparatus by using photo-pulses controlling gains for depths |
US5212667A (en) * | 1992-02-03 | 1993-05-18 | General Electric Company | Light imaging in a scattering medium, using ultrasonic probing and speckle image differencing |
JP3220213B2 (ja) | 1992-03-18 | 2001-10-22 | 浜松ホトニクス株式会社 | 光断層イメージング装置 |
JP3689496B2 (ja) * | 1995-08-08 | 2005-08-31 | 技術研究組合医療福祉機器研究所 | 計測装置 |
JP4144012B2 (ja) * | 1998-02-16 | 2008-09-03 | 富士フイルム株式会社 | 電子カメラのメカシャッター調整方法、及び電子カメラ |
JP2005039727A (ja) * | 2003-07-18 | 2005-02-10 | Sony Corp | 固体撮像装置 |
JP2005184777A (ja) * | 2003-11-28 | 2005-07-07 | Sanyo Electric Co Ltd | スミア演算回路、撮像装置、及び固体撮像素子の駆動方法 |
JP4280993B2 (ja) * | 2003-12-24 | 2009-06-17 | ソニー株式会社 | 撮像装置及びその方法並びにプログラム |
JP4804980B2 (ja) | 2006-03-27 | 2011-11-02 | オリンパスメディカルシステムズ株式会社 | 赤外観察システム |
JP4395150B2 (ja) * | 2006-06-28 | 2010-01-06 | 富士フイルム株式会社 | 距離画像センサ |
JP4931232B2 (ja) * | 2007-07-04 | 2012-05-16 | キヤノン株式会社 | 撮像装置及びその処理方法 |
JP5372356B2 (ja) * | 2007-10-18 | 2013-12-18 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
JP2010194291A (ja) * | 2009-01-30 | 2010-09-09 | Fujifilm Corp | 内視鏡装置及びその駆動方法 |
JP5476190B2 (ja) * | 2010-03-31 | 2014-04-23 | 本田技研工業株式会社 | 固体撮像装置 |
JP5658993B2 (ja) * | 2010-12-15 | 2015-01-28 | 株式会社日立製作所 | 生体計測装置 |
JP2012134756A (ja) | 2010-12-21 | 2012-07-12 | Olympus Corp | 撮像装置 |
JP2012217082A (ja) * | 2011-04-01 | 2012-11-08 | Panasonic Corp | 撮像装置、信号処理装置及び撮像方法、信号処理方法 |
JP6594620B2 (ja) | 2013-12-20 | 2019-10-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 光脳機能計測装置 |
JP6231940B2 (ja) * | 2014-05-08 | 2017-11-15 | 浜松ホトニクス株式会社 | 測距装置及び測距装置の駆動方法 |
CN106535753B (zh) * | 2014-07-23 | 2019-12-17 | 深圳市汇顶科技股份有限公司 | 光学心率传感器 |
-
2017
- 2017-04-27 CN CN201710286217.7A patent/CN107468209B/zh active Active
- 2017-05-18 JP JP2017099273A patent/JP6887097B2/ja active Active
- 2017-06-01 US US15/610,675 patent/US10397496B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170353672A1 (en) | 2017-12-07 |
CN107468209B (zh) | 2021-10-08 |
US10397496B2 (en) | 2019-08-27 |
CN107468209A (zh) | 2017-12-15 |
JP2017220926A (ja) | 2017-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6887097B2 (ja) | 撮像装置 | |
JP7065421B2 (ja) | 撮像装置および対象物の内部の情報を取得する方法 | |
JP6814967B2 (ja) | 撮像装置 | |
JP6205518B1 (ja) | 撮像装置 | |
JP6998529B2 (ja) | 撮像装置 | |
US10352853B2 (en) | Measuring device including light source that emits at least one light pulse group, photodetector, and control circuit | |
CN112188866A (zh) | 生物体计测装置及生物体计测方法 | |
WO2021182018A1 (ja) | 計測装置および計測装置を制御する方法 | |
WO2020137276A1 (ja) | 撮像装置 | |
JP7417867B2 (ja) | 光計測装置 | |
US11559205B2 (en) | Biological measuring device and head mounted display apparatus | |
JP2021141949A (ja) | 測定装置、およびプログラム | |
WO2022138063A1 (ja) | 生体計測装置、生体計測方法、及び、コンピュータプログラム | |
WO2023090188A1 (ja) | 光検出システム、処理装置、光検出システムを制御する方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210422 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6887097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |