JPWO2020044854A1 - 生体計測装置、及び生体計測方法 - Google Patents

生体計測装置、及び生体計測方法 Download PDF

Info

Publication number
JPWO2020044854A1
JPWO2020044854A1 JP2020540143A JP2020540143A JPWO2020044854A1 JP WO2020044854 A1 JPWO2020044854 A1 JP WO2020044854A1 JP 2020540143 A JP2020540143 A JP 2020540143A JP 2020540143 A JP2020540143 A JP 2020540143A JP WO2020044854 A1 JPWO2020044854 A1 JP WO2020044854A1
Authority
JP
Japan
Prior art keywords
signal
light
sensor
output
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020540143A
Other languages
English (en)
Inventor
鳴海 建治
建治 鳴海
是永 継博
継博 是永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020044854A1 publication Critical patent/JPWO2020044854A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Neurosurgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本開示の一態様に係る生体計測装置は、ユーザの頭部に光を照射するための光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路と、を備える。前記制御回路は、前記光源に前記光を出射させ、前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させる。前記信号処理回路は、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの出力を停止する。

Description

本開示は、生体計測装置、及び生体計測方法に関する。
生体計測の分野では、対象物に向けて光を出射して、対象物の内部を透過した光から、対象物の内部情報を取得する方法が用いられる。この方法では、対象物の表面から反射される表面反射成分がノイズになることがある。表面反射成分によるノイズを取り除けば、所望の内部情報を精度よく取得することができる。
特許文献1は、表面反射成分によるノイズを抑制した状態で、対象物の内部情報を非接触で計測する撮像装置を開示している。
特開2017−202328号公報
しかし、上記の従来の撮像装置では、計測中に対象物が移動した場合、その補正には計算コストがかかる。
本開示は、従来に比べて安価な方法によって対象物の状態を計測する生体計測装置を提供する。
本開示の一態様に係る生体計測装置は、ユーザの頭部に光を照射するための光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路と、を備える。前記制御回路は、前記光源に前記光を出射させ、前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させる。前記信号処理回路は、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの出力を停止する。
本開示の一態様に係る生体計測装置によれば、計測中に対象物が移動した場合、または対象物の周囲環境が変化した場合でも、安価な方法によって対象物の内部情報を計測できる。
図1Aは、本実施形態おける生体計測装置の例を模式的に示す図である。 図1Bは、イメージセンサの1つの画素の概略的な構成例を示す図である。 図1Cは、イメージセンサの構成の一例を示す図である。 図1Dは、本実施形態における1フレーム内の動作の例を模式的に示す図である。 図1Eは、制御回路による光源およびイメージセンサに関する動作の概略を示すフローチャートである。 図1Fは、光源から出射された矩形パルス光がユーザから戻ってきたときのイメージセンサに到達する光信号を模式的に示す図である。 図1Gは、表面反射成分を検出する場合のタイミングチャートの一例を模式的に示す図である。 図1Hは、内部散乱成分を検出する場合のタイミングチャートの一例を模式的に示す図である。 図2は、本実施形態における、ユーザの生体計測データを計測する処理の一例を示すフローチャートである。 図3Aは、本実施形態における、ユーザの生体計測データを計測する処理の動作の一例を説明する図である。 図3Bは、体動量の変化と無効期間との関係を模式的に示す図である。 図3Cは、頭部の移動速度と無効期間との関係を模式的に示す図である。 図3Dは、本実施形態における、ユーザの生体計測データを計測する処理の動作の例を説明する図である。 図3Eは、本実施形態における生体計測装置の例を模式的に示す図である。 図4は、本実施形態における生体計測装置の例を模式的に示す図である。 図5Aは、本実施形態における、ユーザの生体計測データを計測する処理の一例を示すフローチャートである。 図5Bは、差分値と信頼度との関係の一例を示す図である。 図6は、本実施形態における、ユーザの生体計測データを計測する処理の動作の一例を説明する図である。 図7Aは、本実施形態における生体計測装置の例を模式的に示す図である。 図7Bは、生体計測装置を自動車の内部に設置する場合の、各部分の配置の一例を模式的に示す図である。 図7Cは、生体計測装置をゲーム機またはアトラクション装置に付加して設置する場合の、各部分の配置の一例を模式的に示す図である。 図8は、本実施形態における、ユーザの生体計測データを計測する処理の一例を示すフローチャートである。 図9は、本実施形態における、ユーザの生体計測データを計測する処理の動作の一例を説明する図である。 図10Aは、時間と頭部の移動距離との関係を示す図である。 図10Bは、時間と酸化ヘモグロビン濃度との関係を示す図である。
(本開示の一態様に至った経緯)
生体計測の分野では、ユーザの状態の変化が計測結果に影響することが従来から知られていた。例えば、近赤外分光法(Near Infrared Spectroscopy、以下、NIRSと表記する)を用いた脳活動情報の計測では、ユーザの頭部の移動は体動と呼ばれる。体動は、脳血流変化を示す信号にイレギュラーな変動を与えるとされてきた。
脳活動情報の計測が研究用途である場合には、NIRS装置の操作者が信号のイレギュラーさを判断し、ユーザに「この計測はエラーだった」と通知して、ユーザに再度の計測を促すシーケンスが可能である。しかし、日常的にユーザの脳活動情報を計測するような用途では、このようなシーケンスを用いることは容易ではない。
また、計測装置が、非接触でユーザの頭部から脳活動情報を計測する場合、頭部の移動は、計測装置とユーザとの相対的な位置関係を変動させる。したがって、脳血流変化の検出信号に与える影響はさらに大きくなる。
特許文献1は、フレーム間での脳血流分布のパターンマッチングにより、移動に伴う位置ずれを補正する方法を開示している。脳血流分布のパターンは、低い空間周波数を有する。すなわち、脳血流分布は、空間的に緩やかな分布を示す。このため、マッチングに必要な特徴点を検出することは必ずしも容易ではない。また、すべてのフレーム内で、あたかも頭部の移動がないかのように脳血流分布を復元するには、計算コストがかかる。
本発明者らは、以上の検討に基づき、以下の項目に記載の生体計測装置に想到した。
[項目1]
第1の項目に係る生体計測装置は、ユーザの頭部に光を照射するための光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路と、を備える。前記制御回路は、前記光源に前記光を出射させ、前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させる。前記信号処理回路は、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの出力を停止する。
[項目2]
第1の項目に係る生体計測装置において、前記光はパルス光であり、前記制御回路は、前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始してから減少が終了するまでの期間において前記反射パルス光に含まれる成分を検出することによって得られる第1信号を、前記画像信号として出力させてもよい。
[項目3]
第1または第2の項目に係る生体計測装置において、前記制御回路は、所定期間の間、前記光源に前記光を繰り返し出射させ、前記イメージセンサに前記画像信号を繰り返し出力させ、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、前記所定期間のうち、前記第1の値が予め設定された条件に該当する第1の期間の間、前記脳活動データの出力を停止してもよい。
[項目4]
第3の項目に係る生体計測装置において、前記信号処理回路は、前記第1の期間の間、前記脳活動データが無効であることを示す信号を出力してもよい。
[項目5]
第3の項目に係る生体計測装置において、前記信号処理回路は、前記第1の期間の間、前記第1の期間の前に生成された前記脳活動データと同じデータを出力してもよい。
[項目6]
第3の項目に係る生体計測装置において、前記信号処理回路は、前記第1の期間の前に生成された前記脳活動データ及び前記第1の期間の後に生成された前記脳活動データを用いて補間することにより得られたデータを、前記第1の期間における前記脳活動データとして出力してもよい。
[項目7]
第3の項目に係る生体計測装置において、前記信号処理回路は、前記第1の期間に加えて、前記第1の期間の開始前の第2の期間および前記第1の期間の終了後の第3の期間からなる群から選択される少なくとも1つの期間の間は、前記脳活動データの出力を停止してもよい。
[項目8]
第7の項目に係る生体計測装置において、前記第3の期間は、前記第2の期間よりも長くてもよい。
[項目9]
第3から第8の項目のいずれかに係る生体計測装置において前記第1の値が算出される頻度は、前記脳活動データが生成される頻度以上であってもよい。
[項目10]
第1から第9の項目のいずれかに係る生体計測装置において、前記光はパルス光であり、前記制御回路は、前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始する前において前記反射パルス光に含まれる成分を検出することによって得られる第2信号を、前記画像信号として出力させ、前記信号処理回路は、前記第2信号に基づいて、前記脳活動データの出力を停止してもよい。
[項目11]
第10の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記第2信号に基づいて、前記頭部の基準位置からの変位量、または前記頭部の移動速度を算出し、前記変位量の絶対値または前記移動速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止してもよい。
[項目12]
第10の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記第2信号に基づいて、前記頭部の輝度値、または前記頭部の前記輝度値の変化速度を算出し、前記輝度値の絶対値または前記輝度値の前記変化速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止してもよい。
[項目13]
第10の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記第2信号に基づいて、前記頭部における所定の領域の面積を算出し、前記面積がしきい値より小さい場合に、前記脳活動データの出力を停止してもよい。
[項目14]
第1から第9の項目のいずれかに係る生体計測装置において、前記信号処理回路は、さらに、前記脳活動データを用いて第2の値を算出し、前記第2の値の変化速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止してもよい。
[項目15]
第1の項目に係る生体計測装置において、前記センサは、前記周辺環境に設置された加速度センサであってもよい。
[項目16]
第1の項目に係る生体計測装置において、前記センサは、前記周辺環境に設置された照度センサであってもよい。
[項目17]
第1の項目に係る生体計測装置において、前記センサは、前記ユーザが運転する車両に配置された舵角センサ、ギヤ位置センサ、および速度センサからなる群から選択される少なくとも一つであってもよい。
[項目18]
第18の項目に係る生体計測装置は、ユーザの頭部に光を照射するための光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、信号処理回路と、を備える。前記制御回路は、前記光源に前記光を出射させ、前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させる。前記信号処理回路は、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの信頼度を算出し、前記信頼度を示す信頼度データを出力する。
[項目19]
第18の項目に係る生体計測装置において、前記信号処理回路は、前記信頼度データを、前記脳活動データとともに出力してもよい。
[項目20]
第18または第19の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、前記第1の値が予め設定された値から離れるほど、低い信頼度を算出してもよい。
[項目21]
第18または第19の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、前記第1の値が予め設定された値を超える期間が長いほど、低い信頼度を算出してもよい。
[項目22]
第18または第19の項目に係る生体計測装置において、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、一定期間の間に、前記第1の値が予め設定された値を超える期間が長いほど、低い信頼度を算出してもよい。
[項目23]
第18から第22の項目のいずれかに係る生体計測装置において、前記センサは、前記ユーザが運転する車両に配置された、舵角センサ、ギヤ位置センサ、および速度センサからなる群から選択される少なくとも一つであってもよい。
[項目24]
第18から第23の項目のいずれかに係る生体計測装置において、前記光はパルス光であり、前記制御回路は、前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始する前において前記反射パルス光に含まれる成分を検出することによって得られる第2信号を、前記画像信号として出力させ、前記信号処理回路は、前記第2信号に基づいて、前記信頼度を算出してもよい。
[項目25]
第1または第2の項目に係る生体計測装置において、前記制御回路は、所定期間の間、前記光源に前記光を繰り返し出射させ、前記イメージセンサに前記画像信号を繰り返し出力させ、前記信号処理回路は、さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、前記所定期間のうち、前記第1の値が予め設定された条件に該当する第1の期間が開始し遅延時間が過した後から前記第1の期間が終了するまでの間、前記脳活動データの出力を停止してもよい。
[項目26]
第26の項目に係る生体計測方法は、光源に、ユーザの頭部を照射する光を出射させることと、イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させることと、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成することと、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの出力を停止することと、を含む。
[項目27]
第27の項目に係る生体計測方法は、光源に、ユーザの頭部を照射する光を出射させることと、イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させることと、前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成することと、前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの信頼度を算出し、前記信頼度を示す信頼度データを出力することと、を含む。
[項目28]
第28の項目に係るプログラムは、生体計測装置に用いられるプログラムであって、前記生体計測装置は、ユーザの対象部に向けて光を出射する光源と、イメージセンサと、前記光源および前記イメージセンサを制御する制御回路と、前記イメージセンサから出力された信号を処理する信号処理回路と、を備え、前記制御回路は、前記光源に光を出射させ、前記イメージセンサに、前記光源から出射され前記ユーザの前記対象部から戻ってきた光の少なくとも一部を検出させて画像信号を出力させ、前記プログラムは、前記信号処理回路に、前記イメージセンサから出力された前記画像信号に基づいて、前記ユーザの状態を示す生体計測データを生成させ、前記イメージセンサ、および/または、前記生体計測データに影響を及ぼす前記ユーザの周辺環境の変化を検出する他のセンサから出力されたセンサ信号に基づいて、前記生体計測データを出力するか否かを決定させる、または、前記センサ信号に基づいて、前記生体計測データの信頼度を算出し、前記信頼度を示す信頼度データを出力させる。
以下に説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態に示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIまたはICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインタフェース、を備えていてもよい。
以下、図面を参照しながら、本実施形態における生体計測装置を具体的に説明する。
(第1の実施形態)
[1.生体計測装置]
まず、第1の実施形態における生体計測装置10の構成および動作を、図1Aから図3を参照して説明する。
図1Aは、本実施形態における生体計測装置10の例を模式的に示す図である。生体計測装置10は、撮像部121と、計測部110と、信号処理回路122と、を備える。撮像部121は、光源101と、光電変換部103および電荷蓄積部104を含むイメージセンサ102と、光源制御部106およびセンサ制御部107を含む制御回路105と、画像信号取得部108とを備える。信号処理回路122は、生体計測データ生成部109と、出力決定部111とを備える。
[1−1.光源101]
光源101は、ユーザ100の対象部に向けて光を出射する。ユーザ100の対象部は、例えば頭部であり、より具体的には、額部である。光源101から出射されてユーザ100に到達した光は、ユーザ100の表面で反射される表面反射成分I1と、ユーザ100の内部で散乱される内部散乱成分I2とに分かれる。内部散乱成分I2は、生体内部で1回反射もしくは散乱、または多重散乱する成分である。ユーザ100の額に光を照射する場合、内部散乱成分I2は、額の表面から奥に8mmから16mmほどの部位、例えば脳に到達し、再び生体計測装置10に戻る成分を指す。表面反射成分I1は、直接反射成分、拡散反射成分、および散乱反射成分の3つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。ユーザ100の額に向けて光が出射される場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以下、本開示では、ユーザ100の表面で反射する表面反射成分I1は、これら3つの成分を含むとする。表面反射成分I1および内部散乱成分I2は、反射または散乱によって進行方向が変化し、その一部がイメージセンサ102に到達する。
まず、内部散乱成分I2の取得方法を説明する。光源101は、光源制御部106からの指示に従い、パルス光を所定の時間間隔または所定のタイミングで複数回繰り返し出射する。光源101から出射されるパルス光は、例えば立ち下がり期間がゼロに近い矩形波であり得る。本明細書において、「立ち下がり期間」とは、パルス光の強度が減少を開始してから減少が終了するまでの期間である。一般に、ユーザ100に入射した光は、様々な経路をたどってユーザ100内を伝搬し、時間差を伴ってユーザ100の表面から出射する。このため、パルス光の内部散乱成分I2の後端は、広がりを有する。対象部が額である場合、内部散乱成分I2の後端の広がりは、4ns程度である。このことを考慮すると、パルス光の立ち下がり期間は、例えばその半分以下である2ns以下に設定され得る。立ち下がり期間は、さらにその半分の1ns以下であってもよい。光源101から出射されるパルス光の立ち上がり期間は、任意である。本明細書において、「立ち上がり期間」とは、パルス光の強度が増加を開始してから増加が終了するまでの期間である。本実施形態での内部散乱成分I2の検出では、パルス光の立ち下がり部分が使用され、立ち上がり部分は使用されない。パルス光の立ち上がり部分は、表面反射成分I1の検出に用いられ得る。光源101は、例えば、LDなどのレーザであり得る。レーザから出射される光は、パルス光の立ち下がり部分が時間軸に略直角である、急峻な時間応答特性を有する。
光源101から出射される光の波長は、例えば650nm以上950nm以下の波長範囲に含まれる任意の波長であり得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、ユーザ100の皮膚および脳の血流変化を検出する場合、使用される光は、主に酸素化ヘモグロビン(HbO)および脱酸素化ヘモグロビン(Hb)に吸収されると考えられる。酸素化ヘモグロビンと脱酸素化ヘモグロビンとでは、光吸収の波長依存性が異なる。一般に、血流に変化が生じると、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度が変化する。このため、光の吸収度合いも変化する。したがって、血流が変化すると、検出される光量も時間的に変化する。
光源101は、上記の波長範囲に含まれる2つ以上の波長の光を出射してもよい。そのような複数波長の光は、複数の光源からそれぞれ出射されてもよい。
本実施形態における生体計測装置10では、非接触でユーザ100を計測するため、網膜への影響を考慮して設計された光源101が用いられ得る。例えば、各国で策定されているレーザ安全基準のクラス1を満足する光源101が用いられ得る。クラス1が満足されている場合、被爆放出限界(AEL)が1mWを下回るほどの低照度の光がユーザ100に向けて出射される。なお、光源101自体は、クラス1を満たしていなくてもよい。例えば、拡散板またはNDフィルタを光源101の前に設置して光を拡散または減衰することにより、レーザ安全基準のクラス1が満たされていてもよい。
光源101から出射されるパルス光は、極超短パルス光である必要はない。パルス幅は任意である。脳血流を計測するために額に光を当てる場合、内部散乱成分I2の光量は、表面反射成分I1のそれと比較し、数1000から数万分の1と非常に小さくなる。さらに、レーザ安全基準を考慮すると、出射光の光量が小さいことから、内部散乱成分I2の検出は難しくなる。したがって、光源101が、比較的パルス幅の大きいパルス光を出射すれば、時間遅れを伴う内部散乱成分I2の積算量を増加させ、検出光量を増やし、SN比を向上させることができる。
光源101は、例えば、パルス幅3ns以上のパルス光を出射する。一般に、脳などの生体組織内で散乱された光の時間的な広がりは、4ns程度である。
光源101は、パルス幅5ns以上、さらに10ns以上のパルス光を出射してもよい。一方、パルス幅が大きすぎると、使用しない光が増えて無駄になる。このため、光源101は、例えば、パルス幅50ns以下のパルス光を出射する。または、光源101は、パルス幅30ns以下、さらに20ns以下のパルス光を出射してもよい。
なお、光源101の照射パターンは、例えば照射領域内で均一な強度分布であってもよい。本実施形態における生体計測装置10では、時間的に表面反射成分I1を内部散乱成分I2から分離して低減することできる。このため、均一な強度分布を有する出射パターンの光源101を用いることができる。均一な強度分布を有する照射パターンは、光源101から出射される光を拡散板で拡散することによって形成されてもよい。
本実施形態では、従来技術とは異なり、ユーザ100における、光源101からの光が照射されている位置から出射した内部散乱成分I2も検出することができる。ユーザ100を空間的に広い範囲にわたって光で照射することにより、計測解像度を高めることもできる。
[1−2.イメージセンサ102]
イメージセンサ102は、光源101から出射され、ユーザ100の対象部から戻ってきた反射パルス光の少なくとも一部を検出する。イメージセンサ102は、検出した光の強度に応じた1つ以上の画像信号を出力する。画像信号取得部108は、イメージセンサ102から出力された画像信号を取得する。画像信号取得部108は、取得した画像信号を、後述する生体計測データ生成部109および計測部110に送出する。生体計測データとして、画像信号から脳活動の状態を示す脳活動データを生成する場合、画像信号は、反射パルス光の立ち下がり期間の少なくとも一部に含まれる、強度に応じた信号である。
イメージセンサ102は、複数の光電変換素子を含む光電変換部103と、電荷蓄積部104とを含む。具体的には、イメージセンサ102は、2次元に配置された複数の光検出セルを有し、ユーザ100の2次元情報を一度に取得する。本明細書において、光検出セルを「画素」とも称する。イメージセンサ102は、例えば、CCDイメージセンサまたはCMOSイメージセンサなどの任意のイメージセンサである。
イメージセンサ102は、電子シャッタを備える。電子シャッタは、撮像のタイミングを制御する回路である。本実施形態では、制御回路105におけるセンサ制御部107が、電子シャッタの機能を有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する1回の信号蓄積の期間と、信号蓄積を停止する期間とを制御する。信号蓄積期間は、「露光期間」または「撮影期間」と称することもできる。以下の説明では、露光期間の幅を、「シャッタ幅」と称することがある。1回の露光期間が終了し次の露光期間が開始するまでの時間を、「非露光期間」と称することがある。以下、露光している状態を「OPEN」、露光を停止している状態を「CLOSE」と称することがある。
イメージセンサ102は、電子シャッタによって露光期間および非露光期間を、サブナノ秒、例えば、30psから1nsの範囲で調整することができる。本実施形態における生体計測装置10では、少なくとも脳活動データを生成する場合には、必ずしも被写体の光量を補正する必要はない。このため、シャッタ幅がパルス幅よりも大きい必要はない。よって、シャッタ幅を、例えば、1ns以上30ns以下の値に設定することができる。本実施形態における生体計測装置10によれば、シャッタ幅を縮小することができる。このため、検出信号に含まれる暗電流の影響を低減することができる。
ユーザ100の額に向けて光を出射して脳血流などの情報を検出する場合、内部での光の減衰率が非常に大きい。例えば、入射光と比較して、出射光は、100万分の1程度にまで減衰し得る。このため、内部散乱成分I2を検出するには、1パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス1での照射では、光量が微弱である。この場合、光源101は、パルス光を複数回出射し、それに応じてイメージセンサ102も電子シャッタによって複数回露光する。これにより、検出信号を積算して感度を向上させることができる。
以下、イメージセンサ102の構成例を説明する。
イメージセンサ102は、撮像面上に2次元的に配列された複数の画素を備え得る。各画素は、例えばフォトダイオードなどの光電変換素子と、1つまたは複数の電荷蓄積部とを備え得る。以下、各画素が、光電変換素子と、2つの電荷蓄積部とを備える例を説明する。光電変換素子は、光電変換によって受光量に応じた信号電荷を発生させる。2つの電荷蓄積部のうち、一方は、パルス光の表面反射成分I1によって生じた信号電荷を蓄積し、他方は、パルス光の内部散乱成分I2によって生じた信号電荷を蓄積する。
制御回路105は、内部散乱成分I2を取得するために、光源101に、1つ以上のパルス光を出射させる。制御回路105は、イメージセンサ102に、ユーザ100の対象部から戻ってきた各パルス光のうち、立ち下がり期間に含まれる成分をイメージセンサ102の画素ごとに検出させる。当該成分は、内部散乱成分I2を含む。制御回路105は、イメージセンサ102に、当該検出によって得られる信号を出力させる。本実施形態では、内部散乱成分I2に基づく画像信号が、生体計測データの生成に用いられる。ここで、光源101は、2種類の波長の光を出射してもよい。
制御回路105は、表面反射成分I1を取得するために、光源101に、1つ以上のパルス光を出射させる。制御回路105は、イメージセンサ102に、ユーザ100の対象部から戻ってきた各パルス光のうち、立ち下がり期間の前に含まれる成分をイメージセンサ102の画素ごとに検出させる。当該成分は、表面反射成分I1を含む。なお、立ち下がり期間の前とは、各パルス光の強度が減少を開始する前を意味する。制御回路105は、イメージセンサ102に、当該検出によって得られる信号を出力させる。各パルス光のうち、立ち下がり期間の前に含まれる成分を検出すれば、画像信号のSN比を向上させることができる。本明細書では、「各パルス光のうち、立ち下がり期間の前に含まれる成分を検出する」は、例えば、各パルス光のうち、立ち上がり期間に含まれる成分を検出する場合、または、各パルス光全体を検出する場合も含む。本実施形態では、表面反射成分I1に基づく画像信号は、生体計測データの有効性に関連する状態の計測に用いられる。
図1Bは、イメージセンサ102の1つの画素201の概略的な構成例を示す図である。なお、図1Bは、1つの画素201の構成を模式的に示しており、実際の構造を必ずしも反映していない。図1Bに示す画素201は、光電変換を行うフォトダイオード203と、電荷蓄積部である第1の浮遊拡散層(Floating Diffusion)204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207と、信号電荷を排出するドレイン202とを含む。
1回のパルス光の出射に起因して各画素に入射したフォトンは、フォトダイオード203によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路105から入力される制御信号に従って、ドレイン202に排出されるか、第1の浮遊拡散層204から第4の浮遊拡散層207のいずれかに振り分けられる。
光源101からのパルス光の出射と、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207への信号電荷の蓄積と、ドレイン202への信号電荷の排出とが、この順序で繰り返し行われる。この繰り返し動作は高速であり、例えば動画像の1フレームの時間内に数万回から数億回繰り返され得る。1フレームの時間は、例えば約1/30秒である。画素201は、最終的に、第1の浮遊拡散層204から第4の浮遊拡散層207に蓄積された信号電荷に基づく4つの画像信号を生成して出力する。
この例における制御回路105は、光源101に、波長λ1を有するパルス光と、波長λ2を有するパルス光とを、順に繰り返し出射させる。波長λ1および波長λ2として、ユーザ100の内部組織での吸収率が異なる2波長を選択することにより、ユーザ100の状態を分析することができる。例えば、波長λ1として805nmよりも長い波長を選択し、波長λ2として805nmよりも短い波長を選択してもよい。これにより、ユーザ100の血液中の酸素化ヘモグロビン濃度および脱酸素化ヘモグロビン濃度のそれぞれの変化を検出することが可能になる。
制御回路105は、まず、光源101に、波長λ1のパルス光を出射させる。制御回路105は、波長λ1のパルス光の内部散乱成分I2がフォトダイオード203に入射している第1の期間に、第1の浮遊拡散層204に信号電荷を蓄積させる。内部散乱成分I2を取得するために、所定のタイミングで、パルス光が出射される。当該パルス光を、第1パルス光と称する。
続いて、制御回路105は、波長λ1のパルス光の表面反射成分I1がフォトダイオード203に入射している第2の期間に、第2の浮遊拡散層205に信号電荷を蓄積させる。表面反射成分I1を取得するために、内部散乱成分の取得時とは異なる所定のタイミングで、パルス光が出射される。当該パルス光を、第2パルス光と称する。
次に、制御回路105は、光源101に、波長λ2のパルス光を出射させる。制御回路105は、波長λ2のパルス光の内部散乱成分I2がフォトダイオード203に入射している第3の期間に、第3の浮遊拡散層206に信号電荷を蓄積させる。
続いて、制御回路105は、波長λ2のパルス光の表面反射成分I1がフォトダイオード203に入射している第4の期間に、第4の浮遊拡散層207に信号電荷を蓄積させる。
このように、制御回路105は、波長λ1のパルス光の出射を開始した後、所定の時間差を空けて、第1の浮遊拡散層204および第2の浮遊拡散層205に、フォトダイオード203からの信号電荷を順次蓄積させる。その後、制御回路105は、波長λ2のパルス光の出射を開始した後、上記所定の時間差を空けて、第3の浮遊拡散層206および第4の浮遊拡散層207に、フォトダイオード203からの信号電荷を順次蓄積させる。以上の動作が複数回繰り返される。外乱光および環境光の光量を推定するために、光源101を消灯した状態で、不図示の他の浮遊拡散層に信号電荷を蓄積する期間を設けてもよい。第1の浮遊拡散層204から第4の浮遊拡散層207の信号電荷量から、上記他の浮遊拡散層の信号電荷量を差し引くことにより、外乱光および環境光成分を除去した信号を得ることができる。
なお、本実施形態では、電荷蓄積部の数を4としているが、目的に応じて2以上の複数の数に設計してよい。例えば、1種類の波長のみを用いる場合には、電荷蓄積部の数は2であってもよい。また、使用する波長が1種類で、表面反射成分I1を検出しない用途では、画素ごとの電荷蓄積部の数は1であってもよい。また、2種類以上の波長を用いる場合であっても、それぞれの波長を用いた撮像を別のフレームで行えば、電荷蓄積部の数は1であってもよい。また、後述するように、表面反射成分I1の検出と内部散乱成分I2の検出とをそれぞれ別のフレームで行えば、電荷蓄積部の数は1であってもよい。
図1Cは、イメージセンサ102の構成の一例を示す図である。図1Cに示す例では、二点鎖線の枠によって囲まれた領域が、1つの画素201に相当する。画素201には、1つのフォトダイオードが含まれる。図1Cでは2行2列に配列された4画素のみが示されているが、実際にはさらに多数の画素が配置され得る。画素201は、第1の浮遊拡散層204から第4の浮遊拡散層207の4つの浮遊拡散層を含む。第1の浮遊拡散層204から第4の浮遊拡散層207の4つの浮遊拡散層に蓄積される信号は、あたかも一般的なCMOSイメージセンサの4画素の信号のように取り扱われ、イメージセンサ102から出力される。
各画素201は、4つの信号検出回路を有する。各信号検出回路は、ソースフォロワトランジスタ309と、行選択トランジスタ308と、リセットトランジスタ310とを含む。この例では、リセットトランジスタ310が、図1Bに示すドレイン202に対応し、リセットトランジスタ310のゲートに入力されるパルスが、ドレイン排出パルスに対応する。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ309の入力端子および出力端子の一方と、行選択トランジスタ308の入力端子および出力端子の一方とが接続されている。ソースフォロワトランジスタ309の入力端子および出力端子の上記一方は、典型的にはソースである。行選択トランジスタ308の入力端子および出力端子の上記一方は、典型的にはドレインである。ソースフォロワトランジスタ309の制御端子であるゲートは、フォトダイオード203に接続されている。フォトダイオード203によって生成された正孔または電子の信号電荷は、フォトダイオード203とソースフォロワトランジスタ309との間の電荷蓄積部である浮遊拡散層に蓄積される。
図1Cには示されていないが、第1の浮遊拡散層204から第4の浮遊拡散層207はフォトダイオード203に接続される。フォトダイオード203と、第1の浮遊拡散層204から第4の浮遊拡散層207の各々との間には、スイッチが設けられ得る。このスイッチは、制御回路105からの信号蓄積パルスに応じて、フォトダイオード203と、第1の浮遊拡散層204から第4の浮遊拡散層207の各々との間の導通状態を切り替える。これにより、第1の浮遊拡散層204から第4の浮遊拡散層207の各々への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。
第1の浮遊拡散層204から第4の浮遊拡散層207に蓄積された信号電荷は、行選択回路302によって行選択トランジスタ308のゲートをONにすることにより、読み出される。この際、第1の浮遊拡散層204から第4の浮遊拡散層207の信号電位に応じて、ソースフォロワ電源305からソースフォロワトランジスタ309およびソースフォロワ負荷306へ流入する電流が増幅される。垂直信号線304から読み出されるこの電流によるアナログ信号は、列ごとに接続されたアナログ−デジタル変換回路307によってデジタル信号データに変換される。このデジタル信号データは、列選択回路303によって列ごとに読み出され、イメージセンサ102から出力される。行選択回路302および列選択回路303は、1つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、すべての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路105は、すべての信号電荷を読み出した後、リセットトランジスタ310のゲートをオンにすることにより、すべての浮遊拡散層をリセットする。これにより、1つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ102による一連のフレームの撮像が完結する。
本実施形態では、CMOS型のイメージセンサ102の例を説明したが、イメージセンサ102はCCD型であっても、単一光子計数型素子であっても、EMCCD、ICCD等の増幅型イメージセンサであっても構わない。
図1Dは、本実施形態における1フレーム内の動作の例を模式的に示す図である。図1Dに示すように、1フレーム内で、波長λ1のパルス光の出射と、波長λ2のパルス光の出射とを交互に複数回切り替えてもよい。これにより、2種類の波長による検出画像の取得タイミングの時間差を低減することができ、ほぼ同時に2つの波長のパルス光による撮影が可能になる。
本実施形態では、イメージセンサ102が、パルス光の表面反射成分I1および内部散乱成分I2の両方を検出する。内部散乱成分I2の時間的または空間的な変化から、ユーザ100の生体計測データを生成することができる。一方、表面反射成分I1の時間的または空間的な変化から、生体計測データの有効性に関連するデータを計測することができる。
なお本明細書では、生体計測データの有効性に関連する信号を「有効性信号」と称することがある。
[1−3.制御回路105]
制御回路105は、光源101およびイメージセンサ102の上記の動作を制御する。具体的には、制御回路105は、光源101のパルス光の出射タイミングと、イメージセンサ102のシャッタタイミングとの時間差を調整する。以下、当該時間差を「位相」または「位相遅れ」と称することがある。光源101のパルス光の「出射タイミング」とは、光源101から出射されるパルス光が立ち上がりを開始する時間である。制御回路105は、出射タイミングを変化させて位相を調整してもよいし、シャッタタイミングを変化させて位相を調整してもよい。
制御回路105は、イメージセンサ102の受光素子によって検出された信号から、オフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光もしくは蛍光灯などの環境光、または外乱光による信号成分である。例えば、光源101の駆動をオフにして光を出射しない状態で、イメージセンサ102によって信号を検出することにより、環境光または外乱光によるオフセット成分が見積もられる。
制御回路105は、例えば中央演算処理装置(CPU)またはマイクロコンピュータなどのプロセッサと、メモリとを備える集積回路であり得る。制御回路105は、例えばメモリに記録されたプログラムを実行することにより、例えば、出射タイミングおよびシャッタタイミングの調整と、オフセット成分の見積りと、オフセット成分の除去とを行う。
図1Eは、制御回路105による光源101およびイメージセンサ102に関する動作の概略を示すフローチャートである。制御回路105は、光源制御部106およびセンサ制御部107を含み、概略的には後述する図1Gに示す動作を実行する。なお、ここでは内部散乱成分I2のみを検出する場合の動作を説明する。
ステップS101では、光源制御部106は、まず、光源101に、所定時間だけパルス光を出射させる。このとき、イメージセンサ102の電子シャッタは、露光を停止した状態にある。センサ制御部107は、パルス光の一部がユーザ100の表面で反射されてイメージセンサ102に到達する期間が完了するまで、電子シャッタに露光を停止させる。次に、ステップS102では、センサ制御部107は、当該パルス光の他の一部がユーザ100の内部を散乱してイメージセンサ102に到達するタイミングで、電子シャッタに露光を開始させる。所定時間経過後、ステップS103では、センサ制御部107は、電子シャッタに露光を停止させる。続いて、ステップS104では、制御回路105は、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する。この判定がNoの場合、Yesと判定するまで、ステップS101からS103が繰り返される。ステップS104においてYesと判定すると、ステップS105では、センサ制御部107は、各浮遊拡散層に蓄積された信号電荷に基づく画像を示す信号を、イメージセンサ102に生成させて出力させる。
以上の動作により、計測対象の内部で散乱された光の成分を、高い感度で検出することができる。なお、複数回の出射および露光は、必須ではなく、必要に応じて行われる。
[1−4.計測部110]
計測部110は、生体計測データの有効性を示す有効性信号を計測し、後述する出力決定部111に計測結果を信号として送出する。
本実施形態では、有効性信号は、表面反射成分I1の時間的または空間的な変化を含む画像から計測される。当該画像は、イメージセンサ102から取得される。
計測部110は、画像処理などの演算処理を行う演算回路を備えていてもよい。そのような演算回路は、例えばデジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)などのプログラマブルロジックデバイス(PLD)、または中央演算処理装置(CPU)もしくは画像処理用演算プロセッサ(GPU)とコンピュータプログラムとの組み合わせによって実現され得る。
なお、後述する別の実施形態では、有効性信号を、内部散乱成分I2の時間的または空間的な変化を含む画像から計測してもよい。
また、後述する別の実施形態では、有効性信号を、イメージセンサ102から出力された画像以外から計測してもよい。この場合、計測部110は、生体計測装置10の内部または外部に配置されたセンサを含んでいてもよい。当該センサは、ユーザ100の周辺環境の変化を計測し、当該変化を示すセンサ信号を出力する。センサ信号は、例えば、周辺環境における物理変化の内、生体計測データに影響を及ぼす物理変化の変化量を示す信号であり得る。センサ信号は、例えば、周辺環境が生体計測データに影響を及ぼす特定の状態であることを示す信号であり得る。「生体計測データに影響を及ぼす」とは、生体計測データにノイズが混入すること、あるいは生体計測データが測定不能な状態になることを含む。当該センサは、照度センサ、加速度センサ、速度センサ、舵角センサ、およびギヤ位置センサからなる群から選択される少なくとも1つであってもよい。
[1−4.信号処理回路122]
信号処理回路122は、イメージセンサ102から出力された信号を処理する。信号処理回路122は、生体計測データ生成部109および出力決定部111を含む。図1Aに示す例では、信号処理回路122および計測部110は分離されているが、一体化されていてもよい。
生体計測データ生成部109は、イメージセンサ102から出力された画像信号に基づいて、ユーザ100の生体計測データを生成する。生体計測データがユーザ100の脳活動データである場合、生体計測データ生成部109は、内部散乱成分I2の時間的または空間的な変化を含む画像信号を処理して、脳血流の時間変化を示す動画像データを生成して、出力決定部111に、生成結果に基づく信号を送出する。脳血流の時間変化は、例えば、酸素化ヘモグロビンおよび/または脱酸素化ヘモグロビンの濃度の時間変化である。
生体計測データがユーザ100の脳活動データである場合、生体計測データ生成部109は、脳血流の動画像データに限らず、脳血流と関連のある他のデータを生成してもよい。脳血流と関連のあるデータは、例えば、脳血流の動画像データから推定された、ユーザ100の心理状態である。
脳血流量またはヘモグロビンなどの血液内成分の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測することができれば、ユーザ100の心理状態を推定することができる。ユーザ100の心理状態は、例えば、気分、感情、健康状態、または温度感覚に関する。気分は、例えば、快、または不快である。感情は、例えば、安心、不安、悲しみ、または憤りである。健康状態は、例えば、元気、または倦怠である。温度感覚は、例えば、暑い、寒い、または蒸し暑いである。また、これに派生して、脳活動の程度を表す指標も、心理状態に含まれる。当該指標は、例えば熟練度、習熟度、または集中度である。本明細書では、このような脳血流と関連のあるデータを総称して、脳活動データと称する。
出力決定部111は、計測部110から送出された計測結果に基づき、生体計測データ生成部109から送出された生体計測データを出力するか否かを決定する。当該計測結果は、イメージセンサ102から出力される画像信号、および/または、前述したセンサから出力されるセンサ信号に基づいて、計測部110によって算出される値を含む。
生体計測データの出力を停止するタイミングでは、出力決定部111は、そのタイミングでの生体計測データが無効であることを示す信号を出力する。または、出力決定部111は、直前の有効であった生体計測データと同じデータを出力し続ける。または、出力決定部111は、生体計測データが再び有効となったタイミングで、直前の有効であった生体計測データから補間されたデータを出力する。
信号処理回路122は、計測部110と同じく、画像処理等など演算処理を行う演算回路を備えていてもよい。そのような演算回路は、例えばデジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)などのプログラマブルロジックデバイス(PLD)、または中央演算処理装置(CPU)もしくは画像処理用演算プロセッサ(GPU)とコンピュータプログラムとの組み合わせによって実現され得る。また、信号処理回路122と制御回路105とは、統合された1つの回路であってもよいし、分離された個別の回路であってもよい。また、信号処理回路122は、例えば遠隔地に設けられたサーバなどの外部の装置の構成要素であってもよい。この場合、サーバなどの外部の装置は、有線通信または無線通信により、光源101、イメージセンサ102、および制御回路105と相互にデータを送受信する。
[1−5.その他]
生体計測装置10は、ユーザ100の2次元像をイメージセンサ102の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサ102の受光面に略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置を変化させることにより、ユーザ100の2次元像の拡大率が変更する。これにより、イメージセンサ102上の2次元像の解像度が変化する。したがって、ユーザ100までの距離が遠くても、所望の計測領域を拡大して詳細に観察することが可能となる。
また、生体計測装置10は、ユーザ100とイメージセンサ102との間に、光源101から出射される波長帯域の光、またはその波長帯域の近傍の光のみを通過させる帯域通過フィルタを備えてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、多層膜フィルタまたは吸収フィルタによって構成され得る。光源101の温度およびフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は、20から100nm程度の幅を有してもよい。
また、生体計測装置10は、光源101とユーザ100との間、およびイメージセンサ102とユーザ100との間にそれぞれ偏光板を備えてもよい。この場合、光源101側に配置される偏光板と、イメージセンサ102側に配置される偏光板との偏光方向は、直交ニコルの関係にある。これにより、ユーザ100の表面反射成分I1のうち、入射角と反射角とが同じ成分である正反射成分が、イメージセンサ102に到達することを防ぐことができる。すなわち、表面反射成分I1がイメージセンサ102に到達する光量を低減させることができる。
[2.光源およびイメージセンサの動作]
本実施形態における生体計測装置10は、表面反射成分I1と内部散乱成分I2とを区別して検出することができる。ユーザ100を人とし、対象部を額とした場合、検出したい内部散乱成分I2による信号強度は、非常に小さくなる。これは、前述のように、レーザの安全基準を満たす出射光の光量が非常に小さいことに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質および血流による光の散乱および吸収が大きいことに起因する。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、変化前の信号強度の数十分の1の大きさに相当し、非常に小さくなる。したがって、本実施形態では、撮像の際、検出したい信号成分の数千倍から数万倍である表面反射成分I1は、可能な限り除去される。
以下、本実施形態における生体計測装置10での光源101およびイメージセンサ102の動作の例を説明する。
図1Aに示すように、光源101がユーザ100をパルス光で照射すると、表面反射成分I1および内部散乱成分I2が発生する。表面反射成分I1および内部散乱成分I2のうちの一部が、イメージセンサ102に到達する。内部散乱成分I2は、光源101から出射されイメージセンサ102に到達するまでにユーザ100の内部を通過する。このため、内部散乱成分I2の光路長は、表面反射成分I1の光路長に比べて長くなる。したがって、内部散乱成分I2がイメージセンサ102に到達する時間は、表面反射成分I1がイメージセンサ102に到達する時間よりも平均的に遅れる。
図1Fは、光源101から出射された矩形パルス光がユーザ100から戻ってきたときのイメージセンサ102に到達する光信号を模式的に示す図である。横軸は、信号(a)から(d)ではいずれも時間(t)を表す。縦軸は、信号(a)から(c)では強度を表し、信号(d)では電子シャッタのOPENまたはCLOSEの状態を表す。信号(a)は、表面反射成分I1を示す。信号(b)は、内部散乱成分I2を示す。信号(c)は、信号(a)に示す表面反射成分I1、および信号(b)に示す内部散乱成分I2の合算成分を示す。信号(a)に示すように、表面反射成分I1は、矩形を維持する。一方、信号(b)に示すように、内部散乱成分I2は、さまざまな光路長を経た光の合算である。このため、信号(b)は、パルス光の後端が尾を引いたような特性を示す。言い換えれば、内部散乱成分I2の立ち下がり期間は、表面反射成分I1の立ち下がり期間よりも長くなるので、信号(c)に示す光信号から、内部散乱成分I2の割合が高めて抽出される。このために、信号(d)に示す通り、表面反射成分I1の後端以降に、電子シャッタの露光が開始される。後端以降とは、表面反射成分I1が立ち下がった時またはその後を意味する。電子シャッタのシャッタタイミングは、制御回路105によって調整される。前述した通り、本実施形態における生体計測装置10は、表面反射成分I1と、対象物の深部に到達した内部散乱成分I2とを区別して検出する。このため、出射パルス幅およびシャッタ幅は、任意である。したがって、従来のストリークカメラを使用した方法と異なり、簡便な構成により、コストを大幅に低下させることができる。
図1Fの信号(a)に示す例では、表面反射成分I1の後端が、垂直に立ち下がっている。言い換えると、表面反射成分I1が立ち下がりを開始してから終了するまでの時間が、ゼロである。しかし、現実的には、光源101から出射されるパルス光自体の立ち下がりでの波形が完全な垂直でない場合、ユーザ100の表面に微細な凹凸がある場合、および/または、表皮内で散乱が生じる場合がある。これらの場合、表面反射成分I1の後端が垂直に立ち下がらない。また、ユーザ100は不透明な物体であることから、表面反射成分I1の光量は、内部散乱成分I2の光量よりも非常に大きくなる。したがって、表面反射成分I1の後端が垂直な立ち下がり位置からわずかにはみ出した場合であっても、内部散乱成分I2が埋もれてしまう可能性がある。また、電子シャッタの読み出し期間中に、電子移動に伴う時間遅れが発生し得る。このため、図1Fの信号(d)に示すような理想的なバイナリの読み出しを実現できないことがある。したがって、制御回路105は、電子シャッタのシャッタタイミングを表面反射成分I1の立ち下がり直後よりやや遅らせてもよい。例えば、電子シャッタのシャッタタイミングを0.5nsから5ns程度遅らせてもよい。なお、電子シャッタのシャッタタイミングを調整する代わりに、制御回路105は、光源101の出射タイミングを調整してもよい。制御回路105は、電子シャッタのシャッタタイミングと、光源101の出射タイミングとの時間差を調整する。非接触で脳活動時の血流量または血流内成分の変化を計測する場合、あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分I2がさらに減少してしまう。このため、表面反射成分I1の後端近傍にシャッタタイミングを留めておいてもよい。ユーザ100の散乱による時間遅れは、4nsである。したがって、シャッタイミングの最大の遅らせ量は、4ns程度である。
光源101から出射された複数のパルス光の各々を、同じ位相のシャッタタイミングで露光してもよい。これにより、内部散乱成分I2の検出光量が増幅される。
なお、ユーザ100とイメージセンサ102との間に帯域通過フィルタを配置することに替えて、またはそれに加えて、制御回路105が、光源101に光を出射させない状態で、同じ露光時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、イメージセンサ102の各画素によって検出された信号から差分除去される。これにより、イメージセンサ102上で発生する暗電流成分を除去することができる。
内部散乱成分I2には、ユーザ100の内部情報、例えば、脳血流情報が含まれる。ユーザ100の脳血流量の時間的な変動に応じて、血液に吸収される光の量が変化する。その結果、イメージセンサ102による検出光量も、相応に増減する。したがって、内部散乱成分I2をモニタリングすることにより、ユーザ100の脳血流量の変化から脳活動状態を推定することが可能になる。本明細書において、イメージセンサ102から出力される信号のうち、内部散乱成分I2を示す信号を、「脳活動信号」と称することがある。脳活動信号は、ユーザ100の脳血流の増減情報を含み得る。
次に、表面反射成分I1の検出方法の例を説明する。表面反射成分I1には、ユーザ100の表面情報が含まれる。表面情報は、例えば、顔および頭皮の血流情報である。イメージセンサ102は、光源101から出射されるパルス光がユーザ100に到達し、再びイメージセンサ102に戻る光信号のうち、表面反射成分I1を検出する。
図1Gは、表面反射成分I1を検出する場合のタイミングチャートの一例を模式的に示す図である。表面反射成分I1の検出のために、例えば、図1Gに示すように、パルス光がイメージセンサ102に到達する前にシャッタをOPENにし、パルス光の後端が到達するよりも前にシャッタをCLOSEにしてもよい。このようにシャッタを制御することにより、内部散乱成分I2の混入を少なくすることができる。その結果、ユーザ100の表面近傍を通過した光の割合を大きくすることができる。シャッタCLOSEのタイミングを、イメージセンサ102への光の到達直後にしてもよい。これにより、光路長が比較的短い表面反射成分I1の割合を高めた信号検出が可能になる。表面反射成分I1の信号を取得することにより、ユーザ100の脈拍、または顔血流の酸素化度を検出することも可能になる。他の表面反射成分I1の取得方法として、イメージセンサ102が、光源101から出射されたパルス光の全体を検出したり、光源101から出射された連続光を検出したりしてもよい。
図1Hは、内部散乱成分I2を検出する場合のタイミングチャートの一例を模式的に示す図である。パルスの後端部分がイメージセンサ102に到達する期間にシャッタをOPENにすることにより、内部散乱成分I2の信号を取得することができる。
表面反射成分I1を、内部散乱成分I2を取得する生体計測装置10以外の装置によって検出してもよい。内部散乱成分I2を取得する装置とは別の装置、または脈波計もしくはドップラ血流計といった別デバイスを用いてもよい。その場合、当該別デバイスは、デバイス間のタイミング同期、光の干渉、および検出箇所の合わせこみを考慮して使用される。本実施形態のように、同一カメラまたは同一センサによる時分割撮像を行えば、時間的および空間的なずれが発生しにくい。同一のセンサによって表面反射成分I1および内部散乱成分I2の両方の信号を取得する場合、図1Gおよび図1Hに示すように、1フレームごとに取得する成分を切り替えてもよい。あるいは、図1Bから図1Dを参照して説明したように、1フレーム内で高速に取得する成分を、交互に切り替えてもよい。その場合、表面反射成分I1と内部散乱成分I2との検出時間差を低減することができる。また、表面反射成分I1および内部散乱成分I2の両方の信号を同じパルス光から取得しても良い。
さらに、表面反射成分I1および内部散乱成分I2のそれぞれの信号を、2つの波長の光を用いて取得してもよい。例えば、750nmおよび850nmの2波長のパルス光を利用してもよい。これにより、それぞれの波長での検出光量の変化から、酸素化ヘモグロビンの濃度変化および脱酸素化ヘモグロビンの濃度変化を算出することができる。表面反射成分I1および内部散乱成分I2をそれぞれ2波長で取得する場合、例えば図1Bから図1Dを参照して説明したように、4種類の電荷蓄積を1フレーム内で高速に切り替える方法が利用され得る。そのような方法により、検出信号の時間的なずれを低減することができる。
生体計測装置10は、ユーザ100の額に向けてパルス状の近赤外光または可視光を出射し、表面反射成分I1の時間的変化から、頭皮または顔の酸素化ヘモグロビン量の変化または脈拍を検出することができる。光源101は、表面反射成分I1を取得するために、近赤外光または可視光を出射する。近赤外光であれば昼夜問わず、計測が可能である。脈拍を計測する場合、より感度が高い可視光を用いてもよい。日中であれば外乱光である日射または室内光源を照明代わりに使用してもよい。光量が不足する場合は、専用の光源によって補強してもよい。内部散乱成分I2は、脳まで到達した光成分を含む。内部散乱成分I2の時間変化を計測することにより、脳血流の時間的な増減を計測することができる。
脳まで到達した光は、頭皮および顔表面も通過する。このため、頭皮および顔の血流の変動も重畳されて検出される。その影響を除去または低減するために、生体計測データ生成部109は、生体計測データとして脳活動データを用いる場合、イメージセンサ102によって検出された内部散乱成分I2から表面反射成分I1を減算する処理を行ってもよい。これにより、頭皮および顔の血流情報を除いた純粋な脳血流情報を取得することができる。減算方法には、例えば、内部散乱成分I2の信号から、光路長差を考慮して決定された1以上のある係数を表面反射成分I1の信号に掛けた値を減算する方法が用いられ得る。この係数は、例えば、一般的な人の頭部の光学定数の平均値に基づいて、シミュレーションまたは実験によって算出され得る。このような減算処理は、同一のカメラまたはセンサにより、同一の波長の光を用いて計測する場合に容易に行うことができる。これは、時間的および空間的なずれの低減が容易であり、内部散乱成分I2に含まれる頭皮血流成分の特性と、表面反射成分I1の特性とを一致させやすいことに起因する。
脳と頭皮との間には頭蓋骨が存在する。このため、脳血流の2次元分布と、頭皮および顔の血流の2次元分布とは独立である。したがって、イメージセンサ102によって検出される信号に基づいて、内部散乱成分I2の2次元分布と表面反射成分I1の2次元分布とを、独立成分分析または主成分分析などの統計手法を用いて分離してもよい。
[3.生体計測のシーケンス]
次に、前述の生体計測装置10を用いてユーザ100の生体計測データを計測する方法の例を説明する。本実施形態では、計測部110は、表面反射成分I1を含む画像信号から、ユーザ100の体動量を計測する。本実施形態では、体動量は、対象部の移動距離である。ここでは、対象部は、ユーザ100の頭部である。移動距離は、基準位置からの変位量とも言い得る。本実施形態では、その計測結果に基づいて、出力決定部111が生体計測データを出力するか否かを決定する。
図2は、本実施形態における、ユーザ100の生体計測データを計測する処理の一例を示すフローチャートである。
ステップS201では、生体計測装置10は、生体計測データを計測する前の初期設定を実施する。ステップS201には、制御回路105が、生体計測装置10とユーザ100との距離に応じて、光源101からのパルス光の出射のタイミングおよびイメージセンサ102のシャッタタイミングを最適に調整する工程が含まれる。また、ステップS201には、制御回路105が、画像信号取得部108に、表面反射成分I1を含む画像信号を計測部110に送出させる工程と、計測部110が初期状態の頭部の位置を算出し、計測部110内の不図示のメモリに記憶する工程とが含まれる。
ステップS202では、制御回路105は、画像信号取得部108に、内部散乱成分I2を含む内部画像を表す画像信号を生体計測データ生成部109に送出させる。
ステップS203では、制御回路105は、画像信号取得部108に、表面反射成分I1を含む表面画像を表す画像信号を計測部110に送出させる。
ステップS202およびステップS203の順序は逆であってもよい。
ステップS204では、計測部110は、表面画像を表す画像信号から対象部の位置を算出し、メモリに記憶しておいた初期状態の対象部の位置との差分値を算出することにより、体動量を算出する。当該差分値は、対象部の変位量である。画像信号からの対象部の位置の算出には、例えばエッジ検出を用いた特徴点抽出などの公知の画像処理方法が用いられ得る。脳血流の2次元画像よりも、顔の2次元画像のほうが空間周波数の高い成分を多く含む。したがって、顔の2次元画像の方が、特徴点の抽出が容易である点で有利である。計測部110は、体動量を、初期状態を基準とする差分値として、出力決定部111に送出する。
ステップS205では、出力決定部111は、体動量がしきい値以下であるかどうかを判定する。このしきい値は、例えば1mmから30mmの範囲に含まれる値である。生体計測データとして脳血流の2次元分布を得る場合、当該2次元分布の所望の分解能が相対的に低ければ、しきい値を大きくすることができる。
体動量がしきい値以下の場合、ステップS206では、生体計測データ生成部109は、内部画像を表す画像信号から生体計測データを生成して、出力決定部111に生体計測データを送出する。ステップS207では、出力決定部111は、生体計測データを出力する。その出力は、例えば、生体計測装置10の不図示の表示部に表示されてもよく、不図示のより上位のシステムの制御に用いられてもよい。
体動量がしきい値を超えた場合、ステップS206およびステップS207はスキップされ、出力決定部111は、生体計測データの出力を停止する。ここで、出力決定部111は、生体計測データの出力を停止する代わりに、そのタイミングでの生体計測データが無効であることを示す信号を出力してもよい。または、出力決定部111は、直前の有効であった生体計測データと同じデータを出力し続けてもよい。または、出力決定部111は、生体計測データが再び有効になったタイミングで、直前の有効であった生体計測データから補間されたデータを出力してもよい。
ステップS208では、所定期間の計測を実施したかどうかが判定される。この判定は、生体計測装置10が判定してもよいし、生体計測装置10の出力が接続された、上位のシステムが判定してもよい。
前述の「所定期間」は、例えばユーザ100の心理状態を推定することができるまでの期間であってもよい。または、「所定期間」は、ユーザ100に与えた一連のタスクが終了するまでの期間であってもよい。または、「所定期間」は、ユーザ100が一連の作業を終えるまでであってもよい。当該一連の作業は、例えば、自動車の運転またはゲーム機の操作である。
所定期間の計測を実施することができていない場合には、生体計測装置10は、ステップS202からステップS208までのシーケンスを繰り返す。所定期間の計測を実施することができた場合には、生体計測装置10は、計測を終了する。
本実施形態における生体計測装置10の前述の動作をまとめると、以下のようになる。制御回路105は、光源101に光を出射させ、イメージセンサ102に画像信号を出力させる。生体計測データ生成部109は、画像信号に基づいて、生体計測データを生成する。出力決定部111は、生体計測データを出力するか否かを判断する。制御回路105、生体計測データ生成部109、および出力決定部111は、上記の動作を繰り返す。出力決定部111は、イメージセンサ102から出力される画像信号に基づいて算出される値が予め設定された条件に該当する期間の間、生体計測データの出力を停止する。前述の例では、イメージセンサ102から出力される画像信号に基づいて算出される値は、計測部110によって算出された対象部の変位量を示す差分値である。予め設定された条件は、当該差分値がしきい値を超えることである。
[4.生体計測時の動作]
図3Aは、本実施形態における、ユーザ100の生体計測データを計測する処理の動作の一例を説明する図である。図3Aに示す例では、対象部は、ユーザ100の頭部である。
図3Aの部分(a)から(d)に示す例では、横軸方向は、フレームまたは時間の推移を表す。部分(a)は、表面反射成分I1を含む画像である表面画像の変化を模式的に示す。部分(b)は体動量の変化を示す。部分(c)は判定結果を示す。部分(d)は、生体計測データの一例として、脳活動データである額領域の酸素化ヘモグロビン濃度の変化を示す。
各フレームには番号が付記されているが、各フレームの間にさらに1つ以上のフレームが挿入されてもよい。フレームレートまたは計測頻度は、例えば1fps(frame per second)から30fpsの範囲の間であってもよい。体動量の計測頻度と、生体計測データの生成頻度とは、異なっていてもよい。脳血流の変化は1秒から数秒にわたって緩やかに変化する。一方、非接触で画像として取得される体動は、脳血流よりも速い速度で変化する。したがって、より精密に体動を検出するために、体動量の計測頻度は、脳血流データの生成頻度以上であってもよい。
図3Aの部分(a)に示す例では、フレーム3とフレーム4とでの対象部の移動により、計測部110によって計測された体動量が、しきい値を超えている。体動量と、生成された生体計測データのイレギュラーさとには相関がある。したがって、出力決定部111は、体動量がしきい値を超えた期間の間では、生体計測データを無効と判定し、生体計測データの出力を停止する。その結果、図3Aの部分(d)に示すように、生体計測データである脳活動データは、フレーム1、フレーム2およびフレーム5で出力される。図3Aの部分(b)に示す例では、体動量がしきい値を超えた期間は、「無効期間」と記載されている。
以上に述べた実施形態により、ユーザ100に再度の計測を促すことなく、非接触で生体計測データを計測することが可能になる。これにより、日常的に計測可能な生体計測装置を実現することができる。また、脳血流分布の復元に伴う計算が不要である。したがって、計算コストを低減することができ、安価な方法による生体計測が可能になる。
図3Bは、体動量の変化と無効期間との関係を模式的に示す図である。図3Aの部分(b)に示す動作では、体動量がしきい値を超える期間を無効期間とした。一方、図3Bの部分(a)に示すように、体動量がしきい値を超える期間に加えて、体動量がしきい値を超える前の期間df1、および体動量がしきい値を下回った後の期間dr1を含む期間を、無効期間としてもよい。体動量がしきい値を超える期間に加えて、期間df1および期間dr1のいずれか一方を含む期間を、無効期間としてもよい。例えば、期間df1および期間dr1は、0.5フレーム相当の期間である。このように、出力決定部111は、イメージセンサ102から出力される画像信号に基づいて算出される値が予め設定された条件に該当する期間に加えて、当該期間の開始前の期間df1および/または終了後の期間dr1の間は、当該値が条件に該当しない場合であっても、生体計測データの出力を停止してもよい。
また、無効期間を開始するタイミングは体動量がしきい値を超えた後でもよい。すなわち、体動量がしきい値を超えるタイミングを基準としたときに、df1は負の値であってもよい。このようにする理由は、体動量がしきい値を超えてから無効期間を設定するまでにシステム処理のための遅延時間が存在する場合があるからである。
さらに、図3Bの部分(b)に示すように、終了後の期間dr2を、開始前の期間df2よりも長くしてもよい。例えば、期間df2は0.5フレーム相当の期間であり、期間dr2は4.5フレーム相当の期間である。このようにする理由は、実施例において後述する。
本実施形態では、表面反射成分I1を含む画像信号から体動量が算出された。一方、内部散乱成分I2を含む画像信号から体動量を算出してもよい。内部散乱成分I2を含む画像信号にも、対象部の外形の情報は含まれている。ただし、表面反射成分I1を含む画像信号の方が検出光量を大きくすることができる。したがって、表面反射成分I1を含む画像信号の方が、内部散乱成分I2を含む画像信号よりも、SN比の点で有利である。
また、本実施形態では、対象部の変位量を計測対象としたが、計測対象はこれに限定されない。計測対象は、対象部の移動速度であってもよい。対象部の移動速度の絶対値がしきい値を超えるフレームでは、脳活動データの出力を停止してもよい。当該フレームでは、体動が発生していると考えられるからである。対象部の移動速度は、言い換えれば、フレーム間での対象部の移動距離である。
図3Cは、対象部の移動速度と無効期間との関係を模式的に示す図である。無効期間の設定方法の一例としては、図3Cに示すように、無効期間を、移動速度が正のしきい値を超えてから当該正のしきい値を下回り、負のしきい値を下回った後、当該負のしきい値を超えるまで、または、移動速度が負のしきい値を下回ってから当該負のしきい値を超え、正のしきい値を超えた後、当該正のしきい値を下回るまでとしてもよい。
さらに、計測対象は、対象部の移動に関連する必要はなく、対象部の輝度値であってもよい。
図3Dは、本実施形態における、ユーザ100の生体計測データを計測する処理の動作の例を説明する図である。図3Dに示す例では、対象部は、ユーザ100の頭部である。図3Dの部分(a)に示す例では、計測部110は、内部散乱成分I2を含む画像である内部画像から対象部の輝度値を計測する。対象部の輝度値がしきい値を超えている期間を無効期間とする。出力決定部111は、無効期間に含まれるフレーム2およびフレーム3では、脳活動データの出力を停止する。内部散乱成分I2を含む画像において対象部の輝度値が飽和値に近くなると、生体計測データを正確に生成することができなくなる。したがって、対象部の輝度値に基づいて有効性を判定することにより、生体計測装置10は正確な生体計測データのみを出力することができる。
図3Dに示す例では、対象部の輝度値がしきい値を超えている期間を無効期間とした。一方、逆に、対象部の輝度値がしきい値を下回っている期間を無効期間としてもよい。内部散乱成分I2を含む画像の対象部の輝度値が極端に低い場合は、画像のSN比が不十分だからである。この場合、正確な生体計測データを生成することができない。
また、計測対象は、対象部の輝度値の変化速度であってもよい。輝度値の変化速度の絶対値がしきい値を超えるフレームでは、脳活動の出力を停止してもよい。当該フレームでは、輝度が極端に高くなっているか、低くなっているかのいずれかであると考えられるからである。
また、計測部110は、生体計測データを計測する対象部における所定の領域の面積を、画像信号から計測してもよい。対象部における所定の領域の面積は、例えば額部の面積である。画像信号からの額部の面積の算出には、例えば、前述したエッジ検出を用いた特徴点抽出などの公知の画像処理方法が用いられ得る。額部に髪の毛が多く含まれ、額部の面積がしきい値を下回る場合、生体計測データの出力を停止してもよい。対象部の面積が小さいと、生成された生体計測データの精度が低下するからである。
さらに、計測対象は、生体計測データそのものであってもよい。
図3Eは、本実施形態における生体計測装置10の例を模式的に示す図である。図3Eに示す例では、図1Aに示す例と異なり、生体計測データの生成結果は、計測部110にも送出される。計測部110は、生体計測データの変化速度を計測する。生体計測データは、例えば脳活動データである酸素化ヘモグロビン濃度または脱酸素化ヘモグロビン濃度である。脳血流の変化は、1秒から数秒にわたって緩やかに変化する。一方、体動および対象部の輝度変化は、脳血流よりも速い速度で、脳血流の計測値に影響を与える。したがって、生体計測データの変化速度に基づいて有効性を判定することにより、生体計測装置10は、正確な生体計測データのみを出力することができる。出力決定部111は、生体計測データから算出された値の変化速度の絶対値がしきい値を超える場合に、生体計測データの出力を停止してもよい。
(第2の実施形態)
第2の実施形態における生体計測装置20の構成および動作を、図4から図6を参照して説明する。
図4は、本実施形態における生体計測装置20の例を模式的に示す図である。本実施形態では、計測部110は、表面反射成分I1を含む画像信号からユーザ100の体動量を計測する。本実施形態では、ユーザ100の体動量は、対象部の移動距離である。出力決定部401は、その計測結果に基づいて、生体計測データの信頼度を算出し、信頼度を示す信頼度データを、生体計測データとともに出力する。このように、第2の実施形態では、第1の実施形態と異なり、出力決定部401は、生体計測データだけでなく、信頼度データも出力する。
図5Aは、本実施形態における、ユーザ100の生体計測データを計測する処理の一例を示すフローチャートである。
ステップS501での初期設定の実施、ステップS502での表面画像の取得、ステップS503での内部画像の取得、およびステップS504での体動量の算出は、それぞれ、第1の実施形態におけるステップS201からステップS204での動作と同じである。
ステップS505では、出力決定部401は、初期状態からの差分値から算出した体動量に基づいて信頼度を算出する。
図5Bは、差分値と信頼度との関係の一例を示す図である。差分値0mmのとき、計測結果を最も信頼することができる。したがって、図5Bに示すように、差分値0mmのとき、信頼度を100%としてもよい。図5Bに示すように、差分値が大きくなるほど、信頼度を低い値としてもよい。このように、出力決定部401は、イメージセンサ102から出力された画像信号から算出した値が予め設定された値から離れるほど、低い信頼度を算出してもよい。
本実施形態における生体計測装置20は、体動量の大きさに関係なく、生体計測データを出力してもよい。ステップS506では、生体計測データ生成部109が、画像信号から生体計測データを生成して、出力決定部401に生体計測データを送出する。
ステップS507では、出力決定部401は、生体計測データとともに、信頼度データを出力する。その出力は、例えば、生体計測装置20の不図示の表示部に表示されてもよく、不図示のより上位のシステムの制御に用いられてもよい。
ステップS508での動作は、第1の実施形態におけるステップS208での動作と同様である。
図6は、本実施形態における、ユーザ100の生体計測データを計測する処理の動作の一例を説明する図である。図6に示す例では、対象部は、ユーザ100の頭部である。
図6の部分(a)から(d)に示す例では、図3Aの部分(a)から(d)に示す例と同様に、横軸方向は、フレームまたは時間の推移を表す。部分(a)は、表面反射成分I1を含む画像である表面画像を模式的に示す。部分(b)は、体動量の変化を示す。部分(c)は信頼度の値の変化を示す。部分(d)は、生体計測データの一例として、脳活動データである額領域の酸素化ヘモグロビン濃度の変化を示す。
第2の実施形態では、第1の実施形態と異なり、各フレームの体動量に応じて、信頼度が算出される。図6の部分(c)に示す例では、出力決定部401は、図6の部分(b)に示す体動量が大きくなるほど、信頼度を低い値として算出する。体動量は、初期状態を基準とした対象部の位置の差分値である。
フレーム3とフレーム4とでは、対象部の移動により、信頼度は低い値になっている。一方、出力決定部401は、すべてのフレームで生体計測データを出力してもよい。出力決定部401は、生体計測データとともに、信頼度データも出力する。
以上に述べた実施形態により、ユーザ100に再度の計測を促すことなく、非接触で生体計測データを計測することが可能になる。これにより、日常的に計測可能な生体計測装置を実現することができる。また、脳血流分布の復元に伴う計算が不要である。したがって、計算コストを低減することができ、安価な方法による生体計測が可能になる。さらに、上位のシステムが、信頼度データを用いて生体計測データの有効性を総合的に判定することができるという特別の効果が得られる。
本実施形態では、計測部110での計測結果がしきい値から離れるほど、信頼度は、低い値として算出されている。一方、信頼度の算出方法は、これに限定されない。
信頼度は、計測結果の値そのものではなく、計測結果の時間的な傾向に基づいて算出されてもよい。例えば、計測結果がしきい値を超えている状態が継続している無効期間が長いほど、低い信頼度を算出してもよい。言い換えれば、出力決定部111は、イメージセンサ102から出力された画像信号から算出した値が予め設定された値を超える期間が長いほど、低い信頼度を算出してもよい。
また、ある一定の期間中に占める無効期間の割合が高いほど低い信頼度を算出してもよい。言い換えれば、出力決定部111は、一定期間の間に、イメージセンサ102から出力された画像信号から算出した値が予め設定された値を超える期間が長いほど、低い信頼度を算出してもよい。計測値の有効および無効が短時間で切り替わる場合には、このような信頼度の算出方法を用いることが効果的である。
(第3の実施形態)
第3の実施形態に係る生体計測装置30の構成および動作を、図7Aから図9を参照して説明する。
図7Aは、本実施形態における生体計測装置30の例を模式的に示す図である。本実施形態における生体計測装置30は、撮像部701と、信号処理回路702と、計測部703とを備える。本実施形態では、計測部703は、周辺環境であるユーザ100の近傍に設置された加速度センサを含み、加速度を計測する。出力決定部111は、計測結果に基づいて、生体計測データを出力するか否かを決定する。
図7Bは、生体計測装置30を自動車の内部に設置する場合の、各部分の配置の一例を模式的に示す図である。撮像部701、信号処理回路702、および計測部703は、それぞれ分離して配置されてもよい。計測部703は、ユーザ100の近傍に配置される。ここで「近傍に配置する」とは、計測部703によって計測された加速度と、ユーザ100自身の体動とに少なくとも相関がある距離に配置することを意味する。
図7Cは、生体計測装置をゲーム機またはアトラクション装置に付加して設置する場合の、各部分の配置の一例を模式的に示す図である。図7Bに示す配置の一例と同様に、撮像部701、信号処理回路702、および計測部703は、それぞれ分離して配置されてもよい。ユーザ100は、例えばディスプレイ704からの視覚情報に基づき、コントローラ705を操作する。計測部703は、例えばユーザ100の頭部に装着されたヘッドホンまたはヘッドマウントディスプレイに取り付けられる。計測部703は、ユーザの対象部の移動に伴う加速度を検出する。また計測部703は、例えばディスプレイ704の表示情報の変化に伴う対象部の照度の変化を検出してもよい。
図8は、本実施形態における、ユーザ100の生体計測データを計測する処理の一例を示すフローチャートである。
ステップS801では、生体計測装置30は、生体計測データを計測する前の初期設定を実施する。このステップS801には、第1の実施形態と同様に、生体計測装置30とユーザ100との距離に応じて、制御回路105が、光源101からのパルス光の出射のタイミングおよびイメージセンサ102のシャッタタイミングを最適に調整する工程が含まれる。
ステップS802では、計測部703は、加速度を計測する。生体計測装置30を自動車の内部に設置した場合には、加速度の計測は、自動車の振動の計測に相当する。
加速度の計測頻度は、生体計測データの生成頻度以上でもよい。これにより、急激な振動が発生した場合の計測値の追従性がよくなる。その結果、出力決定部111での判定の精度を向上させることができる。本実施形態では、一例として、加速度の計測頻度は、脳活動データの算出頻度の10倍とする。
ステップS803では、計測部703内の不図示のメモリに、加速度値が順次蓄積される。ステップS804では、加速度の計測回数の判定工程により、ステップS802およびステップS803のループが、例えば10回繰り返される。計測回数に制限はない。
ステップS805では、計測部703は、メモリの内容を参照し、蓄積された10回分の加速度値の中から、最大値を出力決定部111に送出する。最大値の代わりに10回分の平均値を用いてもよい。本実施形態では、ユーザ100自身の体動と少なくとも相関のある値が、10回分の加速度値から算出される。
ステップS806では、出力決定部111は、計測部703から受け取った加速度値の最大値がしきい値以下であるかどうかを判定する。このしきい値は、例えば前後・左右・垂直のうちのいずれかの方向の加速度であり、0.1Gから1G(G=9.8m/s)の範囲に含まれる値である。
ステップS807では、制御回路105は、画像信号取得部108に、内部散乱成分I2を含む画像信号を生体計測データ生成部109に送出させる。ステップS808、ステップS809、およびステップS810での動作は、それぞれ、第1の実施形態におけるステップS206、ステップS207、およびステップS208での動作と同じである。
図9は、本実施形態における、ユーザ100の生体計測データを計測する処理の動作の一例を説明する図である。図9に示す例では、対象部は、ユーザ100の頭部である。
図9の部分(a)から(d)に示す例では、横軸方向は、フレームまたは時間の推移を表す。部分(a)は、自動車またはアトラクション装置の筐体の状態を模式的に示す。部分(b)は、加速度の変化を示す。部分(c)は、判定結果を示す。部分(d)は、生体計測データの一例として、脳活動データである額領域の酸素化ヘモグロビン濃度の変化を示す。
第3の実施形態では、第1の実施形態と異なり、計測部703は、加速度を計測する。加速度を計測するのは、ユーザ100の近傍の加速度と、ユーザ100自身の体動量とに相関があるからである。
図9に示す例では、フレーム3とフレーム4とで、自動車またはアトラクション装置の筐体が振動する。このため、計測部703によって計測された加速度が、しきい値を超える。体動量と、生成された生体計測データのイレギュラーさとには相関がある。したがって、出力決定部111は、加速度がしきい値を超える無効期間の間は、生体計測データを無効と判定し、生体計測データの出力を停止する。その結果、図9の部分(d)に示すように、生体計測データである脳活動データは、フレーム1、フレーム2およびフレーム5で出力される。
以上に述べた実施形態により、ユーザ100に再度の計測を促すことなく、非接触で生体計測データを計測することが可能になる。これにより、日常的に計測可能な生体計測装置を実現することができる。また、脳血流分布の復元に伴う計算が不要である。したがって、計算コストを低減でき、安価な方法で生体の計測が可能になる。また、画像信号から体動量を計測する必要がないので、さらに計算コストを低減することができるという特別の効果が得られる。
なお、計測部703の計測対象は、少なくとも体動と相関があればよく、加速度に限定されない。例えば、生体計測装置30を自動車に設置する場合、計測部703は速度センサを含み、速度を計測してもよい。また、計測部703は舵角センサを含み、自動車の舵角を計測してもよい。
また、計測部703は、ギヤ位置センサを含み、自動車のギヤ位置を計測してもよい。この場合、出力決定部111は、ギヤ位置の計測結果が予め設定された状態を示す期間の間、生体計測データの出力を停止する。出力決定部111は、図3Bに示すように、当該期間に加えて、当該期間の開始前の期間、および/または終了後の期間の間、生体計測データの出力を停止してもよい。予め設定された状態は、例えば、ギヤがリバースの位置にある状態である。この状態では、自動車を後退させるために、ユーザ100は、後ろを見ながら運転する。これにより、ユーザ100の対象部は、基準位置から変位し、ユーザ100の体動が生じる。
さらに、計測部703の計測対象は、ユーザ100の体動に関連していなくてもよい。計測部703は、周辺環境であるユーザ100の近傍に設置された照度センサを含み、照度を計測してもよい。この場合、出力決定部111は、照度値がしきい値を超える期間を無効期間として、生体計測データの出力を停止する。内部散乱成分I2を含む画像において対象部の輝度値が飽和値に近くなると、生体計測データを正確に生成できなくなる。したがって、照度値と対象部の輝度値とに少なくとも相関があるとき、対象部の輝度値に基づいて有効性を判断することにより、生体計測装置30は、正確な生体計測データのみを出力することができる。
(実施例)
以下では、本開示の原理を確認するために実施した、実施例を説明する。
第1の実施形態における図1Aに示す生体計測装置10が、対象部であるユーザ100の頭部と正対するように設置された。意図しない体動を生じにくくするために、ユーザ100の顔が、あご台に載せられた。ユーザ100をリラックスさせた後、30秒間、ユーザの頭部を撮影して、生体計測データとして脳活動データが計測された。
光源の波長は、750nmおよび850nmとした。表面反射成分I1を含む画像信号は、30fpsで取得された。内部散乱成分I2を含む画像信号は、5fpsで取得された。画像信号の解像度は、320ピクセル×240ピクセルとした。額の中央部を含む50ピクセル×50ピクセルの範囲を対象領域として、空間平均化の処理が行われるとともに、リアルタイムで時間平均化の処理が行われた。2つの波長の内部散乱成分I2を含む画像信号に基づいて酸化ヘモグロビン濃度が算出され、算出された酸化ヘモグロビン濃度の変化がモニタされた。
同時に、表面反射成分I1を含む画像信号に基づいて、計測部110からの顔の移動距離の変化が、モニタされた。顔の特徴点の抽出および追跡には、Kanade−Lucas−Tomasi(KLT)アルゴリズムが用いられた。
計測中に1度だけ、ユーザ100は、意図的に頭部を右方向に動かして、すぐにもとの位置に戻した。
図10Aは、時間と頭部の移動距離との関係を示す図である。図10Bは、時間と酸化ヘモグロビン濃度との関係を示す図である。図10Aに示す例において、Xは左右方向の変化を表し、Yは上下方向の変化を表し、Zは奥行き方向の変化を表す。移動距離は、X方向、Y方向、およびZ方向の各々における初期値からの変位量である。図10Bに示す例において、酸化ヘモグロビン濃度は、初期値からの変化量とした。当該変化量は、任意単位で表された。
図10Aおよび図10Bに示すように、頭部の移動が発生している時間である約11秒から12秒に同期して、酸化ヘモグロビン濃度に、大きな変動が発生している。このことから、頭部の動きに代表される体動と、脳活動データのイレギュラーな変動とに相関があることがわかる。
また、図10Aおよび図10Bに示す結果から、頭部の移動開始からわずかに遅れて、酸化ヘモグロビン濃度の変動が発生していることがわかる。さらに、頭部の移動が終了してから遅れて、酸化ヘモグロビン濃度の変動が治まっていることがわかる。この理由としては、以下の2つが考えられる。(1)脳は、頭蓋骨内の髄液で浮かんでいるような状態にある。このため、脳の移動が、頭蓋骨の移動と比較して時間的に遅れる。(2)酸化ヘモグロビン濃度の計測では、リアルタイムで時間平均化の処理が行われる。このために、計測値が、直前の変動の影響を受けやすい。
図10Aおよび図10Bに示す結果から、例えば以下の2つの条件が満たされるとき、有効性を判定して脳活動データの出力を停止してもよい。(1)しきい値は、X方向、Y方向、およびZ方向のいずれかの移動距離について5mmとする。(2)しきい値を超える0.5秒前から、しきい値を下回った4.5秒後までを無効期間とする。これら2つの条件により、酸化ヘモグロビン濃度の計測値のイレギュラーな変動を除去することができる。
前述した例では、生体計測データの例として、脳血流データが用いられたが、これに限定されない。生体計測データは、例えば、頭皮血流、脈拍、発汗、呼吸、および体温からなる群から選択される少なくとも1つを示すデータであってもよい。当該データは、表面反射成分I1から取得することができる。
本開示は、信号処理回路122および信号処理回路702が実行する動作のプログラムおよび方法も含む。
本開示における生体計測装置は、非接触でユーザの内部情報を取得するカメラまたは計測機器に利用することができる。生体計測装置は、例えば、生体もしくは医療センシング、自動車の運転者のセンシング、ゲーム機もしくはアトラクション装置でのユーザのセンシング、教育機関での学習者のセンシング、または職場での労働者のセンシングにも応用することができる。
10、20、30 生体計測装置
100 ユーザ
101 光源
102 イメージセンサ
103 光電変換部
104 電荷蓄積部
105 制御回路
106 光源制御部
107 センサ制御部
108 画像信号取得部
109 生体計測データ生成部
110、703 計測部
111、401 出力決定部
121、701 撮像部
122、702 信号処理回路
201 画素
202 ドレイン
203 フォトダイオード
204 第1の浮遊拡散層
205 第2の浮遊拡散層
206 第3の浮遊拡散層
207 第4の浮遊拡散層
302 行選択回路
303 列選択回路
304 垂直信号線
305 ソースフォロワ電源
306 ソースフォロワ負荷
307 アナログ−デジタル変換回路
308 行選択トランジスタ
309 ソースフォロワトランジスタ
310 リセットトランジスタ
704 ディスプレイ
705 コントローラ

Claims (27)

  1. ユーザの頭部に光を照射するための光源と、
    イメージセンサと、
    前記光源および前記イメージセンサを制御する制御回路と、
    信号処理回路と、
    を備え、
    前記制御回路は、
    前記光源に前記光を出射させ、
    前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させ、
    前記信号処理回路は、
    前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、
    前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの出力を停止する、
    生体計測装置。
  2. 前記光はパルス光であり、
    前記制御回路は、
    前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始してから減少が終了するまでの期間において前記反射パルス光に含まれる成分を検出することによって得られる第1信号を、前記画像信号として出力させる、
    請求項1に記載の生体計測装置。
  3. 前記制御回路は、所定期間の間、前記光源に前記光を繰り返し出射させ、前記イメージセンサに前記画像信号を繰り返し出力させ、
    前記信号処理回路は、
    さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、
    前記所定期間のうち、前記第1の値が予め設定された条件に該当する第1の期間の間、前記脳活動データの出力を停止する、
    請求項1または2に記載の生体計測装置。
  4. 前記信号処理回路は、前記第1の期間の間、前記脳活動データが無効であることを示す信号を出力する、
    請求項3に記載の生体計測装置。
  5. 前記信号処理回路は、前記第1の期間の間、前記第1の期間の前に生成された前記脳活動データと同じデータを出力する、
    請求項3に記載の生体計測装置。
  6. 前記信号処理回路は、前記第1の期間の前に生成された前記脳活動データ及び前記第1の期間の後に生成された前記脳活動データを用いて補間することにより得られたデータを、前記第1の期間における前記脳活動データとして出力する、
    請求項3に記載の生体計測装置。
  7. 前記信号処理回路は、前記第1の期間に加えて、前記第1の期間の開始前の第2の期間および前記第1の期間の終了後の第3の期間からなる群から選択される少なくとも1つの期間の間は、前記脳活動データの出力を停止する、
    請求項3に記載の生体計測装置。
  8. 前記第3の期間は、前記第2の期間よりも長い、
    請求項7に記載の生体計測装置。
  9. 前記第1の値が算出される頻度は、前記脳活動データが生成される頻度以上である、
    請求項3から8のいずれかに記載の生体計測装置。
  10. 前記光はパルス光であり、
    前記制御回路は、
    前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始する前において前記反射パルス光に含まれる成分を検出することによって得られる第2信号を、前記画像信号として出力させ、
    前記信号処理回路は、前記第2信号に基づいて、前記脳活動データの出力を停止する、
    請求項1から9のいずれかに記載の生体計測装置。
  11. 前記信号処理回路は、
    さらに、前記第2信号に基づいて、前記頭部の基準位置からの変位量、または前記頭部の移動速度を算出し、
    前記変位量の絶対値または前記移動速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止する、
    請求項10に記載の生体計測装置。
  12. 前記信号処理回路は、
    さらに、前記第2信号に基づいて、前記頭部の輝度値、または前記頭部の前記輝度値の変化速度を算出し、
    前記輝度値の絶対値または前記輝度値の前記変化速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止する、
    請求項10に記載の生体計測装置。
  13. 前記信号処理回路は、
    さらに、前記第2信号に基づいて、前記頭部における所定の領域の面積を算出し、
    前記面積がしきい値より小さい場合に、前記脳活動データの出力を停止する、
    請求項10に記載の生体計測装置。
  14. 前記信号処理回路は、
    さらに、前記脳活動データを用いて第2の値を算出し、
    前記第2の値の変化速度の絶対値がしきい値を超える場合に、前記脳活動データの出力を停止する、
    請求項1から9のいずれかに記載の生体計測装置。
  15. 前記センサは、前記周辺環境に設置された加速度センサである、
    請求項1に記載の生体計測装置。
  16. 前記センサは、前記周辺環境に設置された照度センサである、
    請求項1に記載の生体計測装置。
  17. 前記センサは、前記ユーザが運転する車両に配置された、舵角センサ、ギヤ位置センサ、および速度センサからなる群から選択される少なくとも一つである、
    請求項1に記載の生体計測装置。
  18. ユーザの頭部に光を照射するための光源と、
    イメージセンサと、
    前記光源および前記イメージセンサを制御する制御回路と、
    信号処理回路と、
    を備え、
    前記制御回路は、
    前記光源に前記光を出射させ、
    前記イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させ、
    前記信号処理回路は、
    前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成し、
    前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの信頼度を算出し、前記信頼度を示す信頼度データを出力する、
    生体計測装置。
  19. 前記信号処理回路は、前記信頼度データを、前記脳活動データとともに出力する、
    請求項18に記載の生体計測装置。
  20. 前記信号処理回路は、
    さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、
    前記第1の値が予め設定された値から離れるほど、低い信頼度を算出する、
    請求項18または19に記載の生体計測装置。
  21. 前記信号処理回路は、
    さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、
    前記第1の値が予め設定された値を超える期間が長いほど、低い信頼度を算出する、
    請求項18または19に記載の生体計測装置。
  22. 前記信号処理回路は、
    さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、
    一定期間の間に、前記第1の値が予め設定された値を超える期間が長いほど、低い信頼度を算出する、
    請求項18または19に記載の生体計測装置。
  23. 前記センサは、前記ユーザが運転する車両に配置された、舵角センサ、ギヤ位置センサ、および速度センサからなる群から選択される少なくとも一つである、
    請求項18から22のいずれかに記載の生体計測装置。
  24. 前記光はパルス光であり、
    前記制御回路は、
    前記イメージセンサに、前記パルス光の照射に起因して前記頭部から戻ってきた反射パルス光の強度が減少を開始する前において前記反射パルス光に含まれる成分を検出することによって得られる第2信号を、前記画像信号として出力させ、
    前記信号処理回路は、前記第2信号に基づいて、前記信頼度を算出する、
    請求項18から23のいずれかに記載の生体計測装置。
  25. 前記制御回路は、所定期間の間、前記光源に前記光を繰り返し出射させ、前記イメージセンサに前記画像信号を繰り返し出力させ、
    前記信号処理回路は、
    さらに、前記画像信号および前記センサ信号からなる群から選択される少なくとも1つに基づいて第1の値を算出し、
    前記所定期間のうち、前記第1の値が予め設定された条件に該当する第1の期間が開始し遅延時間が経過した後から前記第1の期間が終了するまでの間、前記脳活動データの出力を停止する、
    請求項1または2に記載の生体計測装置。
  26. 光源に、ユーザの頭部を照射する光を出射させることと、
    イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させることと、
    前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成することと、
    前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの出力を停止することと、を含む、
    生体計測方法。
  27. 光源に、ユーザの頭部を照射する光を出射させることと、
    イメージセンサに、前記光の照射に起因して前記頭部から戻ってきた反射光の少なくとも一部を検出させて画像信号を出力させることと、
    前記画像信号に基づいて、前記ユーザの脳の状態を示す脳活動データを生成することと、
    前記画像信号、および前記脳活動データに影響を及ぼす前記ユーザの周辺環境の変化を検出するセンサから出力されたセンサ信号からなる群から選択される少なくとも1つに基づいて、前記脳活動データの信頼度を算出し、前記信頼度を示す信頼度データを出力することと、を含む、
    生体計測方法。
JP2020540143A 2018-08-30 2019-07-22 生体計測装置、及び生体計測方法 Pending JPWO2020044854A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018162142 2018-08-30
JP2018162142 2018-08-30
PCT/JP2019/028605 WO2020044854A1 (ja) 2018-08-30 2019-07-22 生体計測装置、及び生体計測方法

Publications (1)

Publication Number Publication Date
JPWO2020044854A1 true JPWO2020044854A1 (ja) 2021-08-26

Family

ID=69645161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540143A Pending JPWO2020044854A1 (ja) 2018-08-30 2019-07-22 生体計測装置、及び生体計測方法

Country Status (4)

Country Link
US (1) US20210085229A1 (ja)
JP (1) JPWO2020044854A1 (ja)
CN (1) CN112188866A (ja)
WO (1) WO2020044854A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3766425A4 (en) * 2018-03-15 2021-06-23 Panasonic Intellectual Property Management Co., Ltd. SYSTEM, RECORDING MEDIA, AND METHOD FOR ESTIMATING THE PSYCHOLOGICAL STATE OF A USER
CN111970971B (zh) * 2018-05-30 2024-08-27 松下知识产权经营株式会社 识别装置及识别方法
CN115052530A (zh) * 2020-03-09 2022-09-13 松下知识产权经营株式会社 计测装置以及对计测装置进行控制的方法
JP2022156147A (ja) * 2021-03-31 2022-10-14 パナソニックIpマネジメント株式会社 データ生成装置、データ生成方法、及び、プログラム
JP2024049970A (ja) * 2022-09-29 2024-04-10 株式会社日立製作所 仮想三次元空間共有システム、仮想三次元空間共有方法、及び仮想三次元空間共有サーバ

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009247513A (ja) * 2008-04-04 2009-10-29 Hitachi Ltd 生体光計測器
JP2012005717A (ja) * 2010-06-25 2012-01-12 Panasonic Electric Works Co Ltd 脳循環状態検査装置及びそれを備えたストレス計
JP2014076209A (ja) * 2012-10-11 2014-05-01 Ntt Docomo Inc コンテクスト情報生成装置、コンテクスト情報記憶装置、コンテクスト情報生成方法、及びコンテクスト情報生成プログラム。
JP2015139516A (ja) * 2014-01-28 2015-08-03 シャープ株式会社 生体情報測定装置
US20150229341A1 (en) * 2013-04-06 2015-08-13 Honda Motor Co., Ltd. System and method for capturing and decontaminating photoplethysmopgraphy (ppg) signals in a vehicle
US20160106372A1 (en) * 2014-10-16 2016-04-21 Covidien Lp System and method for monitoring autoregulation
JP2017124153A (ja) * 2016-01-07 2017-07-20 パナソニックIpマネジメント株式会社 生体情報計測装置
JP2017144225A (ja) * 2016-02-17 2017-08-24 パナソニックIpマネジメント株式会社 生体情報検出装置
WO2017148881A1 (en) * 2016-02-29 2017-09-08 Koninklijke Philips N.V. A method for assessing the reliability of a fetal and maternal heart rate measurement and a mobile device and system for implementing the same
JP2018094400A (ja) * 2016-12-15 2018-06-21 パナソニックIpマネジメント株式会社 撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6684090B2 (en) * 1999-01-07 2004-01-27 Masimo Corporation Pulse oximetry data confidence indicator
WO2007105596A1 (ja) * 2006-03-10 2007-09-20 Matsushita Electric Industrial Co., Ltd. 生体成分濃度測定装置
JP5306075B2 (ja) * 2008-07-07 2013-10-02 キヤノン株式会社 光干渉断層法を用いる撮像装置及び撮像方法
CN103892816B (zh) * 2012-12-27 2018-07-06 深圳迈瑞生物医疗电子股份有限公司 一种血压测量仪
US10512407B2 (en) * 2013-06-24 2019-12-24 Fitbit, Inc. Heart rate data collection
US9808206B1 (en) * 2013-09-09 2017-11-07 Scanadu, Inc. Data acquisition quality and data fusion for personal portable wireless vital signs scanner
US10258288B2 (en) * 2014-03-24 2019-04-16 Samsung Electronics Co., Ltd. Confidence indicator for physiological measurements using a wearable sensor platform
US9794653B2 (en) * 2014-09-27 2017-10-17 Valencell, Inc. Methods and apparatus for improving signal quality in wearable biometric monitoring devices
CN107088071B (zh) * 2016-02-17 2021-10-15 松下知识产权经营株式会社 生物体信息检测装置
CN108209867B (zh) * 2016-12-15 2022-03-18 松下知识产权经营株式会社 摄像装置
CN106580339A (zh) * 2016-12-23 2017-04-26 中国科学院深圳先进技术研究院 一种血氧脉搏采集系统及采集前端集成电路
US11301703B2 (en) * 2017-03-21 2022-04-12 Sri International Robust biometric access control based on dynamic structural changes in tissue
EP3638106B1 (en) * 2017-06-13 2022-02-09 Boston Scientific Scimed, Inc. Multichannel reflective optical medical sensor device
US11357452B2 (en) * 2018-07-24 2022-06-14 Medtronic Monitoring, Inc. System and method of patient monitoring and signal quality analysis

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009247513A (ja) * 2008-04-04 2009-10-29 Hitachi Ltd 生体光計測器
JP2012005717A (ja) * 2010-06-25 2012-01-12 Panasonic Electric Works Co Ltd 脳循環状態検査装置及びそれを備えたストレス計
JP2014076209A (ja) * 2012-10-11 2014-05-01 Ntt Docomo Inc コンテクスト情報生成装置、コンテクスト情報記憶装置、コンテクスト情報生成方法、及びコンテクスト情報生成プログラム。
US20150229341A1 (en) * 2013-04-06 2015-08-13 Honda Motor Co., Ltd. System and method for capturing and decontaminating photoplethysmopgraphy (ppg) signals in a vehicle
JP2015139516A (ja) * 2014-01-28 2015-08-03 シャープ株式会社 生体情報測定装置
US20160106372A1 (en) * 2014-10-16 2016-04-21 Covidien Lp System and method for monitoring autoregulation
JP2017124153A (ja) * 2016-01-07 2017-07-20 パナソニックIpマネジメント株式会社 生体情報計測装置
JP2017144225A (ja) * 2016-02-17 2017-08-24 パナソニックIpマネジメント株式会社 生体情報検出装置
WO2017148881A1 (en) * 2016-02-29 2017-09-08 Koninklijke Philips N.V. A method for assessing the reliability of a fetal and maternal heart rate measurement and a mobile device and system for implementing the same
JP2018094400A (ja) * 2016-12-15 2018-06-21 パナソニックIpマネジメント株式会社 撮像装置

Also Published As

Publication number Publication date
CN112188866A (zh) 2021-01-05
WO2020044854A1 (ja) 2020-03-05
US20210085229A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JPWO2020044854A1 (ja) 生体計測装置、及び生体計測方法
JP7065421B2 (ja) 撮像装置および対象物の内部の情報を取得する方法
JP6887097B2 (ja) 撮像装置
JP6998529B2 (ja) 撮像装置
JP6814967B2 (ja) 撮像装置
JP2019039918A (ja) 撮像装置
US10352853B2 (en) Measuring device including light source that emits at least one light pulse group, photodetector, and control circuit
JPWO2019124023A1 (ja) 生体計測装置、生体計測方法、及び判定装置
US12042260B2 (en) Biometric apparatus, biometric method, and non-transitory computer-readable storage medium
JP7308430B2 (ja) ユーザの心理状態を推定するためのシステム、記録媒体、および方法
JP7186376B2 (ja) 計測装置
JP2024016142A (ja) コンピュータにおける情報処理方法および生体計測システム
WO2020137276A1 (ja) 撮像装置
US20220400964A1 (en) Measurement apparatus and method for controlling measurement apparatus
WO2020121704A1 (ja) 光計測装置
EP3673798B1 (en) Biometric apparatus and head mount display device
WO2022138063A1 (ja) 生体計測装置、生体計測方法、及び、コンピュータプログラム
WO2023090188A1 (ja) 光検出システム、処理装置、光検出システムを制御する方法、およびプログラム
JP2021141949A (ja) 測定装置、およびプログラム
WO2020137352A1 (ja) 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置
WO2022202057A1 (ja) ユーザの感情状態を推定する方法および装置
JP2020032105A (ja) 生体計測装置、生体計測システム、制御方法、およびコンピュータプログラム
CN118076301A (zh) 摄像系统、处理装置及在摄像系统中由计算机执行的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240722