JP6763719B2 - 生体情報測定装置、生体情報測定方法及びプログラム - Google Patents

生体情報測定装置、生体情報測定方法及びプログラム Download PDF

Info

Publication number
JP6763719B2
JP6763719B2 JP2016151877A JP2016151877A JP6763719B2 JP 6763719 B2 JP6763719 B2 JP 6763719B2 JP 2016151877 A JP2016151877 A JP 2016151877A JP 2016151877 A JP2016151877 A JP 2016151877A JP 6763719 B2 JP6763719 B2 JP 6763719B2
Authority
JP
Japan
Prior art keywords
region
pixel data
image
living body
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016151877A
Other languages
English (en)
Other versions
JP2017104491A (ja
Inventor
内田 真司
真司 内田
弘一 楠亀
弘一 楠亀
式井 愼一
愼一 式井
雅嗣 庭山
雅嗣 庭山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to CN201610998934.8A priority Critical patent/CN107028602B/zh
Priority to US15/366,162 priority patent/US10912516B2/en
Publication of JP2017104491A publication Critical patent/JP2017104491A/ja
Application granted granted Critical
Publication of JP6763719B2 publication Critical patent/JP6763719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、利用者の脈拍等の生体情報を測定する生体情報測定装置等に関する。
従来、利用者の体調、精神的ストレスの状態、肌の状態、感情の状態等に適応したサービスを提供すべく、これら(体調等)の推定の基礎となる脈拍、血圧等の生体情報を測定する種々の技術が開発されている。
例えば、特許文献1は、人体の一部を押し当てた状態で撮影された、脈動に応じた振幅値をもつ入力画像から、脈拍を算出する技術を示している。また、特許文献2は、単一の可視光カメラにより、非接触状態で生体の異なる部位を同時に撮像して時系列的に連続した画像データを取得し、画素値の変化に基づき生体の異なる部位の脈波を検出し、変化の時間差より脈波伝播速度を算出する技術を示している。また、特許文献3は、顔面の特定領域の3次元座標を検出し、被験者の顔の向き、位置、体動成分を検出し、特定領域の平均輝度を正面顔に相当する輝度に正規化補正して心拍数を得る技術を示している。また、特許文献4は、生体の1つ又は2以上の部位の温度情報を取得して、生体の心拍に相当する周波数帯域を抽出し、心拍数を計測する技術を示している。また、特許文献5は、動画像を撮影し、呼吸と看做せる周期の振動を検出することにより、呼吸数を測定する技術を示している。また、特許文献6は、第一の生体部位の脈波波形と第二の生体部位の脈波波形とから遅延量を求め、血流に関する指標を算出する技術を示している。また、特許文献7は、肩部から胸部下部領域を撮影し、撮像信号の濃度の変化から呼吸の呼気と吸気とを測定する技術を示している。
また、特許文献8は、周囲の光環境によらず角膜反射等を正確に検出すべく、最初のシャッターが開いている期間に光源を点灯させ、光電変換素子からの電荷を転送し、次のシャッターの開いている期間は光源を点灯せず、同じ光電変換素子からの電荷を転送し、画像差分により周囲の光による輝度レベル成分を除去する技術を示している。また、特許文献9は、カメラ部を制御して、光源部による照射がない状態の頬の画像データを得て、次に、光源部により照射された状態の頬の画像データを得て、この2種類の画像データの差分を求め、ユーザの健康状態等を推定する技術を示している。また、特許文献10は、脈波検出装置において、点灯及び消灯を繰り返す光を放射し、点灯時に受光素子で得た信号と消灯時に受光素子で得た信号とに基づく差分の演算処理により外光ノイズ成分をキャンセルする技術を示している。また、特許文献11は、脈波検出装置において、発光素子の発光光量を通常量として発光させた後に通常量の1/2の発光光量で発光させ、受光した信号の差分から脈拍成分に対応した信号を抽出する技術を示している。また、特許文献12は、脳表面からの2つに分割された反射光をそれぞれ、570nm近傍の波長の光のみ透過させるフィルタ、630nm近傍の波長の光のみ透過させるフィルタを通過させて、両者の差分の演算により、ヘモグロビン濃度に反映された脳の活動を測定する技術を示している。また、特許文献13は、個人認証装置に関し、室内環境に存在する蛍光灯の光、自然光等の環境光と、光源からの光とを分離するために、光源のオンオフそれぞれのタイミングで画像を撮像し、画像同士の差分を取ることで、環境光を除去する技術を示している。
特許第5320837号公報 国際公開第2014/136310号 特許第5195741号公報 特許第5446443号公報 特開2014−171574号公報 国際公開第14/155750号 特開2005−218507号公報 特開2008−246004号公報 特開2008−259676号公報 特開2011−200271号公報 特開2008−132012号公報 特開平8−38460号公報 特開2001−184507号公報
ところで、利用者の体調、感情の状態等に適応したサービスを適時に提供するためには、その体調、感情の状態等を推定する基礎となる生体情報の測定がサービスの提供に関連した時に、例えば利用者が車両を運転している最中等において、行われる必要がある。このように、利用者が病院のベッド等に居る時に測定するのではなく、利用者が車両を運転している時等といった日常生活中のある時点で生体情報を測定するためには、上述の従来技術には改善の余地がある。例えば、人体に押し当てて撮像した画像を用いて血流を測定する特許文献1の技術には、利用者に拘束感を与えるという問題がある。この問題に対処して、利用者から離間したカメラで撮像した画像を用いて血流等を測定する技術には、測定環境の光(環境光)、振動等の影響を受けて正確な測定が妨げられる問題がある。例えば、特許文献8〜10等の技術でも、振動等により各瞬時における利用者(生体)への環境光の当たり方は変動し得るため、測定精度が低下し得る。
そこで、本発明は、利用者に拘束感を与えずに測定環境の影響を抑制して、従来の技術と異なる方法で適切に利用者の脈拍等の生体情報の測定を行い得る生体情報測定装置を提供する。また、本発明は、利用者に拘束感を与えずに測定環境の影響を抑制して適切に利用者の生体情報の測定を行い得る生体情報測定方法、及び、利用者の生体情報を適切に測定するための生体情報算定処理をコンピュータに実行させるためのプログラムを提供する。
上記課題を解決するために本発明の一態様に係る生体情報測定装置は、照明光を生体へ照射する照明部と、前記生体を撮像する撮像部と、前記撮像部の撮像により生成された画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する算定部とを備える。
また、上記課題を解決するために本発明の一態様に係る生体情報測定方法は、照明光を生体へ照射し、前記生体を撮像することで画像を生成し、前記画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する生体情報測定方法である。
また、上記課題を解決するために本発明の一態様に係るプログラムは、コンピュータに生体情報算定処理を実行させるためのプログラムであって、前記生体情報算定処理は、照明光を生体へ照射して当該生体を撮像することで生成された画像を取得する画像取得ステップと、前記照明光の照明態様を示す予め定められた照明パターン情報を参照して、前記画像取得ステップで取得された画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する算定ステップとを含む。
本発明によれば、利用者に拘束感を与えずに、測定環境の影響を抑制して適切に利用者の脈拍等の生体情報の測定がなされ得る。
実施の形態1に係る生体情報測定装置を含む体調推定システムの一例を示すシステム構成図である。 生体情報測定装置の機能ブロック図である。 実施の形態1に係る生体情報測定装置が照射する照明光の照射パターンの一例を示す図である。 実施の形態1に係る生体情報測定装置の撮像部の構成例を示す概略構成図である。 実施の形態1に係る生体情報測定装置の撮像部のフィルタの特性を説明するための図である。 生体情報測定装置における生体情報算定処理の一例を示すフローチャートである。 実施の形態2の変形例に係る生体情報測定装置の撮像部の構成例を示す概略構成図である。 実施の形態5に係る生体情報測定装置から生体に照射された照明光の照明パターンの一例を示す図である。
本発明の一態様に係る生体情報測定装置は、照明光を生体へ照射する照明部と、前記生体を撮像する撮像部と、前記撮像部の撮像により生成された画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する算定部とを備える。これにより、利用者(生体)に拘束感を与えないように離れて撮像しても、測定環境の影響を抑制して生体情報の測定が行われ得る。
また例えば、前記照明部は、前記生体における一の局所領域内に第1の照射領域及び第1の非照射領域を発生させ、かつ、前記生体における他の局所領域内に第2の照射領域及び第2の非照射領域を発生させる照明態様で照明光の前記照射を行い、前記算定部は、前記照明態様を示す予め定められた照明パターン情報を参照して、前記撮像部により生成された1以上の画像各々について、当該画像における第1の照射領域内の画素データと第1の非照射領域内の画素データとの差分、及び、当該画像における第2の照射領域内の画素データと第2の非照射領域内の画素データとの差分をそれぞれ算出することで、前記一の局所領域に係る生体情報及び前記他の局所領域に係る生体情報のそれぞれを算定することとしてもよい。ある画像における照射領域の画素データと非照射領域の画素データとは同時の撮像により得られたデータである。このため、測定環境における環境光が振動その他の影響により時間的に大きく変動するような場合であっても、環境光による影響を低減して生体情報の測定が適切になされ得る。また、生体における局所領域毎に算定された生体情報は、生体の体調の推定に活用され得る。
また、前記算定部は、前記算定した前記一の局所領域に係る生体情報と前記算定した前記他の局所領域に係る生体情報とに基づき所定統計処理を行い、当該所定統計処理の結果に応じて前記生体情報測定装置の外部への出力を行うこととしてもよい。これにより、生体における局所領域毎に算定された生体情報が、平均化等といった所定統計処理に活用されることで、精度を向上させた生体情報が出力され得る。例えば、逐次撮像された画像から各局所領域について算定した血液の脈動周期等が平均化されて、精度のよい心拍数等が出力され得る。この出力として、例えば、心拍数の表示、或いは、心拍に同期した発光等が行われ得る。
また、前記撮像部は、550nmを中心とした80nm以下の幅の所定波長帯域における光について透過特性を示し、当該所定波長帯域の外における光について透過抑制特性を示すフィルタと、前記フィルタを通過した光を受光する撮像素子とを備えることとしてもよい。これにより、血流に関連した生体情報の測定が適切に行われ得る。
また、前記算定部は、前記撮像部により生成された画像における、人間の肌の色に相当するように予め定められた特定基準を満たす色を表す画素データのうち、照射領域の画素データと非照射領域の画素データとの差分を、生体情報の前記算定の基礎として用いることとしてもよい。これにより、撮像範囲内における利用者の生体情報の抽出に不要な部分(例えば利用者の皮膚以外の部分等)の影響が低減され、精度良く生体情報の測定が行われ得る。
また、前記撮像部は、前記撮像によりカラー画像を生成し、前記算定部は、色をHSV色空間で表した場合の色相の値が所定範囲内の値となる画素データを、前記特定基準を満たす色を表す画素データであるとして、生体情報の前記算定を行うこととしてもよい。カラー画像は例えばRGB画像である。これにより、例えば肌の色に相当するように適切に所定範囲を定めておくことで、画像における肌を写した画素データに基づいて精度良く生体情報の測定が行われ得る。
また、前記撮像部が生成する前記カラー画像は、2次元に配列された、赤、緑、及び、青の各色成分のデータを含む複数の画素データで構成され、前記撮像部における撮像のための撮像素子は、カラーの画素を構成する赤、緑、及び、青の各サブピクセルのうち、一色のサブピクセルの受光性能を他の一色のサブピクセルの受光性能の1/10以下にしてあることとしてもよい。これにより、強い日光(太陽光)が環境光に含まれるような場合において撮像素子のダイナミックレンジを向上させ得る。
また、前記撮像部は、更に水分による吸光度が互いに異なる第1波長の光及び第2波長の光のそれぞれを受光することで前記撮像を行い、前記算定部は、前記撮像部の撮像により生成された画像に基づいて所定程度より多く水分を含む領域である生体推定領域を検出し、当該生体推定領域の中から照射領域と非照射領域とを特定し、特定した照射領域の画素データと特定した非照射領域の画素データとに基づいて、生体情報の前記算定を行うこととしてもよい。これにより、撮像範囲内における利用者の生体情報の抽出に不要な部分(例えば利用者の周囲の物体等)の影響が低減され、精度良く生体情報の測定が行われ得る。
また、前記撮像部は、更に赤外光を受光することで前記撮像を行い、前記算定部は、前記撮像部の撮像により生成された画像に基づいて前記赤外光に応じた成分が所定閾値より多く含まれる領域である生体推定領域を検出し、当該生体推定領域の中から照射領域と非照射領域とを特定し、特定した照射領域の画素データと特定した非照射領域の画素データとに基づいて、生体情報の前記算定を行うこととしてもよい。これにより、赤外光により撮像範囲内における生体と生体以外とを区別できる可能性があり、このため、精度良く生体情報の測定が行われ得る。
また、前記撮像部は、更に前記撮像により生成する画像における複数の領域それぞれについて、撮像対象までの距離を測定し、前記算定部は、前記撮像部の撮像により生成された画像における、前記撮像部により測定された距離が所定距離範囲内であった領域における位置に対応する画素データのうち、照射領域の画素データと非照射領域の画素データとの差分を、生体情報の前記算定の基礎として用いることとしてもよい。これにより、撮像範囲内における利用者の生体情報の抽出に不要な部分(例えば利用者の背後にいる物体、他人等)の影響が低減され、精度良く生体情報の測定が行われ得る。
また、前記照明部は、前記生体に特定形状の照射領域を発生させる照明態様で照明光の前記照射を行い、前記算定部は、前記照明態様を示す予め定められた照明パターン情報を参照して、前記撮像部により生成された1以上の画像各々について、当該画像における前記特定形状の照射領域における中央部分と周辺部分とのうち周辺部分内の画素データと、当該画像における非照射領域内の画素データとの差分に基づいて、生体情報の前記算定を行うこととしてもよい。これにより、生体の表層より深い組織を経由した光に基づく測定が行われ得る。また、例えば中央部分よりも位置変化に対する照明光の強度変化が急峻でない周辺部分に該当する画素データが用いられるので、精度良く測定が行われ得る。
また、前記撮像部は、前記撮像により生成する画像における複数の領域それぞれについて、撮像対象までの距離を測定し、前記算定部は、前記撮像部の撮像により生成された画像における照射領域及び非照射領域の各画素データを、当該画素データに該当する前記撮像部により測定された領域の距離に応じて補正した上で、生体情報の前記算定を行うこととしてもよい。この補正により、撮像対象までの距離の相違による影響が除去され得るので、精度の良い測定が行われ得る。
また、前記照明部における前記照明光の照射方向と、前記撮像部における撮像のための撮像素子の光軸とが、所定角度より大きくずれていることとしてもよい。これにより、振動等の影響で生体にあたる照明光の光量の変動量を低減させ得る。また、生体における撮像素子の光軸方向に変位する要素に係る生体情報の測定が適切に行われ得る。
また、本発明の一態様に係る生体情報測定方法は、照明光を生体へ照射し、前記生体を撮像することで画像を生成し、前記画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する生体情報測定方法である。これにより、振動等で変動し得る環境光の影響を抑制して生体情報の測定を行うことが可能となり得る。
また、本発明の一態様に係るプログラムは、コンピュータに生体情報算定処理を実行させるためのプログラムであって、前記生体情報算定処理は、照明光を生体へ照射して当該生体を撮像することで生成された画像を取得する画像取得ステップと、前記照明光の照明態様を示す予め定められた照明パターン情報を参照して、前記画像取得ステップで取得された画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する算定ステップとを含む。このプログラムをコンピュータにインストールすれば、コンピュータが例えば生体情報測定装置の一部として機能し、これにより、振動等で変動し得る環境光の影響を抑制して生体情報の測定が行われ得る。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の包括的又は具体的な一例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置、ステップ、ステップの順序等は、一例であって本発明を限定するものではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
(実施の形態1)
以下、本発明の実施の形態として、生体情報測定装置を含むシステムの一例である、車両を運転する利用者(生体)の体調を推定する体調推定システム10について、図面を用いて説明する。
図1は、生体情報測定装置100を含む体調推定システム10の一例を示すシステム構成図である。
体調推定システム10は、車両を運転する利用者(生体)11を拘束することなく利用者11の生体情報を測定する生体情報測定方法を実行し、その測定結果に基づいて利用者11の体調を推定して推定結果に応じた出力を行うシステムである。ここで体調は、生体情報により既存の知識等に基づいて推定できる事柄を代表したものであり、精神的ストレスの状態、肌の状態、感情の状態等であってもよい。体調推定システム10では、例えば生体情報として得られた心拍数が極めて高い場合において、利用者11の体調が悪いと推定し、体調が悪いと運転の続行に適さないので、例えば駐車して休憩を取るべき旨のメッセージの出力を行い得る。
図1に示すように、体調推定システム10は、車両300に搭載された生体情報測定装置100その他の装置を含んで構成される。車両300は、ダッシュボード301、座席(シート)302、フロントガラス(ウィンドシールド)201等を備え、生体情報測定装置100はダッシュボード301の一部等に配置されている。
生体情報測定装置100は、車両300を運転する利用者(生体)11の皮膚(顔、首等)を撮像することで生体情報の測定を行う装置であり、生体表面から離れて配置され生体11を撮像し撮像で生成される画像に基づいて生体情報を算定する。皮膚の画像には、例えば生体11を流れる血液が表れている。このため、生体情報測定装置100で撮像により逐次得られる画像を解析することで、例えば、血液の脈動に関する生体情報(心拍数等)を算定し得る。生体情報測定装置100は、車両300において生体11の皮膚を撮像できる場所に配置されていればよく、ダッシュボード301に限られず、例えば車両300の天井部分、ドア部分等に配置されていてもよい。また、例えば生体情報測定装置100は、生体11の顔、首等の真正面ではなく、横にずれた斜め前方から顔、首等を撮像するように配置されていてもよい。体調推定システム10では、生体情報測定装置100で測定された生体情報に基づいて、生体情報測定装置100の内部或いは外部のコンピュータ等によって体調の推定がなされる。体調推定システム10では、その体調の推定結果に応じて上述した休憩を取るべき旨等といったメッセージが、例えば、スピーカーから音声で出力され、或いは、ダッシュボード301におけるインストルメンタルパネル等に表示され得る。
図2は、生体情報測定装置100の機能ブロック図である。
生体情報測定装置100は、図2に示すように、照明部110、撮像部120、及び、算定部130を備える。
照明部110は、光源111を備え、光源111からの照明光を所定の照明態様(照明パターン)で生体11へと照射する。光源111は、例えば、1つ又は複数のLED(Light Emitting Diode)等である。図3に、照明パターンの一例を示す。照明部110が照明光を照射する照明パターンは、照射部分と非照射部分とのそれぞれを特定のレイアウトに定めたものである。例えば、複数のLEDが照明パターンのレイアウト(例えば図3の各円の位置)に配置されていてもよいし、LEDの前に照明パターンに沿って光を透過するような遮光フィルムを配置していてもよい。光源111から出射される光は、例えば照明部110内のレンズ、鏡等の光学系部材(不図示)を介して生体情報測定装置100の外部の生体11へと導かれる。光源111は、レーザー光源等であってもよい。例えば、車両300の運転席のシート302に利用者(生体)11が着座した状態において、照明部110から出射される照明光が利用者11の撮像対象領域(例えば顔、首等の領域)を照射するように、予め調整(位置合わせ等)しておく。利用者11がその調整の操作等を行えるようにしてもよい。照明部110による照明パターンでの照明光の照射により、シート302に着座した利用者11の撮像対象領域には、その照明光が照射された領域である照射領域と、その照明光が照射されていない領域である非照射領域とが含まれるようになる。なお、照明部110と撮像部120とは、近接配置されてもよいし、例えば車両300における別位置に互いに十分離れて配置されてもよい。また、照明部110は、例えば車両300において情報の表示に用いられるディスプレイ、プロジェクタ等としての機能を併せ持つものであってもよい。なお、利用者(生体)11、環境等に合わせて、照明部110による照明光の照明態様、照明光の強度等を変化させてもよい。
撮像部120は、フィルタ(光学フィルタ)121及び撮像素子122を備え、生体11の撮像対象領域(例えば顔、首等の領域)を撮像することで画像(画像データ)を生成する。撮像部120が生成する画像は、例えば2次元に配列された、赤(R:Red)、緑(G:Green)、及び、青(B:Blue)の各色成分のデータを含む複数の画素データで構成されたカラー画像(RGB画像)である。このカラー画像の画素データは、例えば、10bitのR成分のデータと、10bitのG成分のデータと、10bitのB成分のデータとで構成される。なお、ビット深度が8bitであれば、256階調しか画像のコントラストを表現することができないので、生体の血流に係る脈波の検出が困難な場合もあり得る。実験により、ビット深度を10bitとすれば、良好な信号のS(Signal)/N(Noise)比で血流に係る脈波を測定できることが判明した。10bitは、一例であり、12bit、16bit等と更にビット深度を大きくしてもよいし、また、必ずしも10bit以上に限定するものではない。また、画素数は、実験によれば数十画素ではS/N比が悪く、例えば100×100画素以上が有用である。また、撮像部120は、例えば30FPS(Frames Per Second)で逐次撮像して画像を逐次生成する。なお、撮像部120は、例えば116FPS等、より高速な撮像を行うものであってもよい。
撮像素子(カメラ)122は、CCD(Charge-Coupled Device)イメージセンサ、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等で構成される。撮像素子122では、2次元状に配置された各画素(ピクセル)は、例えば、縦横2つずつのサブピクセルで構成され、図4に示すようなベイヤ(Bayer)配列でサブピクセル毎にR、G、Bの各色のフィルタ(RGBフィルタ)が付される。撮像素子122ではこの各フィルタを介して受光を行う。なお、撮像対象に対して環境光としての日光等の強い光が照射されている場合においては、ダイナミックレンジが狭いカメラでは、信号が飽和してしまい、微弱な生体信号を画像から検出するのが困難となり得る。必須ではないが、撮像素子(カメラ)122のダイナミックレンジを向上させるために、撮像素子122は、カラーの画素を構成する赤、緑、及び、青の各サブピクセルのうち、一色のサブピクセルの受光性能を他の一色のサブピクセルの受光性能の1/10以下にした構成であってもよい。この構成は、例えば、RGBフィルタのうち、青(B)の色フィルタのみの光の透過率を1/10以下(例えば1/1000)に低下させること、或いは、撮像素子122の前面に、青(B)のみ透過率を下げて赤(R)及び緑(G)の透過率はあまり低下させない光学フィルタを配置すること等により実現できる。また、例えば、緑(G)の色フィルタはそのままにして、青(B)の色フィルタの光の透過率を1/1000とし赤(R)の色フィルタの透過率を1/100とする等のように、任意に透過率を調整してもよい。照明部110における照明光の照射方向と、撮像素子122の光軸とが、所定角度(例えば5°)より大きく、ずれるようにすることは、必須ではないが有用である。この照明光の照射方向と撮像素子122の光軸とが一致すると振動の影響での光量変動が大きくなり得るためである。
生体11を撮像する場合において、撮像素子122は、生体情報測定装置100への入射光(生体11で反射された光等を含む光)の全部又は一部を、フィルタ121を介して受光する。撮像素子122は、フィルタ121を通過した光を受光する。
フィルタ121は、波長550nmを中心とした80nm以下の幅の所定波長帯域における光について透過特性(例えば光透過率が最大の半値50%以上)を示し、その所定波長帯域の外における光について透過抑制特性(例えば光透過率が50%未満)を示す狭帯域色フィルタである。図5は、実験により求めた、生体の撮像で生成された画像から解析された血液の脈動の振幅と、撮像に際して生体に照射して反射された光の波長との関係を示すグラフである。図5では、実験結果に基づく、光の各波長を横軸で表し、撮像で得られた血液の脈動の振幅を示す信号量arv(平均絶対値変動幅:average real variability)を縦軸に表している。この実験で、図5に示すように、信号量arvは、波長550nm付近に最大で急峻なピークがあり、500nm及び600nmでは大幅に低下していることを、本願発明者らは発見した。信号量arvは、生体の皮膚のメラニン色素濃度、肌水分、血液、肌荒れ等の皮膚組織の影響を大きく受けるものであるが、特に皮膚の血液の吸収特性に大きく関与している。なお、撮像対象領域は、顔、首、顎下、腕、手のひら等のどの部位でも同様の実験結果が得られた。また、生体の肌の色の相違(例えば人種の相違等)に拘わらず同様の実験結果が得られた。図5の波長帯域51は、550nm±40nm(510nm〜590nm)の帯域であり、波長帯域51では、血液の脈動の振幅を示す信号量がこの帯域以外に比べて十分に多い。従来の一般的なカメラが466nm〜692nmの光を受光するのに対し、生体情報測定装置100の撮像部120では、図5に示す実験結果に基づいて、フィルタ121を設けている。フィルタ121により、生体情報測定装置100では、信号のS/N比を向上させて血液の脈動に係る生体情報(例えば心拍数、脈波等)を精度良く測定することが可能となり得る。なお、図5の実験結果によれば、上述の所定波長帯域(波長帯域51)に透過特性を有するフィルタ121が特に有用であるが、その代わりに例えば500nm〜650nmの波長の光に対して透過特性を有しそれ以外の波長の光に対して透過抑制特性を有するフィルタを用いることも有用である。500nmより短い波長の光及び650nm〜700nmの波長の光を撮像素子122で十分に受光してしまうと、カメラのダイナミックレンジを狭くすることに繋がり得る。また、フィルタ121のみでなく、照明部110の光源111を、波長帯域51内の波長分布を有する光を発するLED等にすることは有用である。この光源111は、波長帯域51内の単一波長の光を出射するレーザー光源であっても有用である。但し、照明部110の光源111の波長分布について制限しなくてもよい。また、撮像部120からフィルタ121を除いてもよく、例えば暗闇である環境においては、波長帯域51内の波長分布を有する光を発する光源111を用いれば、撮像による画像のS/N比を向上させることができ、生体情報を精度良く測定できるようになり得る。
算定部130は、撮像部120の撮像により生成された画像を解析して生体情報を算定し、算定した生体情報に基づく出力を行う。算定部130は、例えば、プロセッサ(マイクロプロセッサ)、メモリ等を備えるコンピュータで実現される。コンピュータは、メモリの他にハードディスク等の記憶媒体を備えてもよい。具体的には、例えば、メモリに格納されたプログラムをプロセッサが実行すること等により、プロセッサによって生体情報算定処理等の情報処理が行われ、算定部130の機能が実現される。プログラムを実行するプロセッサにより実現される算定部130は、撮像部120で逐次生成された画像を逐次取得して、例えばメモリ(或いはハードディスク)等の記憶媒体に格納し、その画像に基づいて生体情報算定処理等を行う。算定部130が、生体情報を算定することは、算定結果としての生体情報を、例えばレジスタ或いはメモリ、ハードディスク等の記憶媒体に記録することである。メモリは、例えばUSB(Universal Serial Bus)メモリ等といった、コンピュータから着脱自在で可搬性を有する不揮発性メモリであってもよい。この場合において、USBメモリ等の記憶媒体に記録された生体情報は、そのUSBメモリ等の記憶媒体を、例えば利用者11の体調を推定する体調推定処理等を実行する別のコンピュータに装着することで、その体調推定処理等に利用され得る。
算定部130は、画像(平面画像)における2次元の位置毎に対応付けられた画素データのうち、撮像対象の生体11における照明光が照射された領域である照射領域内の画素データと生体11における照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する。ここで、照射領域は、照明部110が照明パターンにおける照射部分で照射した照明光と環境光とが生体11の皮膚で拡散反射して画像に現れた領域である。環境光は、生体情報測定装置100以外の生体11を取り巻く環境から生体11を照射している光であり、例えば車両300内に差し込んだ日光等である。また非照射領域は、照明部110が照射した照明光についての照明パターンにおける非照射部分に該当し、その照明光が生体11の皮膚に照射されず環境光の反射光のみが画像に現れた領域である。算定部130は、照明部110による照明光の照射パターン(図3)を示す、予め定められた照明パターン情報を参照して、画像を解析すること(例えば光の強度分布に基づく画像処理等)で、照射領域と非照射領域とを区別する。例えば、撮像部120が撮像する方向、画角等を予め調整して、車両300を運転中の利用者(生体)11の撮像対象領域(顔、首等)が撮像部120により生成される画像の範囲に入るようになっており、利用者11がその調整を行えるようにしてもよい。これにより、撮像で得られた画像における照明光による照射領域は概ね一定となり、照射領域には、照明部110の光源111による照明光の成分の光の反射光が含まれるので、照射領域と非照射領域とは容易に区別され得る。例えば、車両300を駐車している際に一度、日光等の環境光が車両300内に入らないようにして画像を撮像し、画像における照射領域及び非照射領域の概ねの配置を測定しておいて、その測定結果を車両300の走行中等において利用することで照射領域と非照射領域とを区別してもよい。算定部130が照射領域の画素データと非照射領域の画素データとの差分に基づいて生体情報を算定することで、生体情報の算定において、強度が変動し得る環境光による影響が抑制される。生体11への環境光の当たり方は撮像対象領域(例えば顔、首等)の各部において異なり得るので、環境光による影響を抑制することは、画像から算定される生体情報の精度を向上させることに繋がる。
算定部130による生体情報算定処理の具体例として、照明部110が、生体11における一の局所領域内に第1の照射領域(例えば図3の照射領域41a)及び第1の非照射領域(例えば非照射領域42a)を発生させ、かつ、生体11における他の局所領域内に第2の照射領域(例えば照射領域41b)及び第2の非照射領域(例えば非照射領域42b)を発生させる照明パターンで照明光の照射を行うこととして説明する。この場合に、算定部130は、照明パターン情報を参照して、撮像部120から逐次取得した画像各々について、その画像における一の局所領域内の第1の照射領域(例えば照射領域41a)内の画素データとその一の局所領域内の第1の非照射領域(例えば非照射領域42a)内の画素データとの差分、及び、その画像における他の局所領域内の第2の照射領域(例えば照射領域41b)内の画素データとその他の局所領域内の第2の非照射領域(例えば非照射領域42b)内の画素データとの差分をそれぞれ算出することで、一の局所領域に係る生体情報及び他の局所領域に係る生体情報のそれぞれを算定する。なお、各局所領域における照射領域内及び非照射領域内それぞれの画素データは1つ又は複数であり得る。また、局所領域をいくつ設定してもよい。局所領域をある程度小さく設定することで、局所領域内の各位置に対する環境光の影響は略同等であり、局所領域内の各位置に対応する生体の皮膚の各位置の状態、特性等も略同等であると看做し得る。このため、局所領域内における照射領域の画素データと非照射領域の画素データとの差分に基づいて生体情報を算定すると、環境光による影響が抑制され、照明部110から照射された照明光の生体11での反射の度合いに現れる生体情報(照明光に対する吸光度の相違等に基づく生体情報)が精度良く求められる。また、第1の照射領域(例えば照射領域41a)から、第1の非照射領域(例えば非照射領域42a)に向けて、光の強度が減衰していく度合いを関数近似して、種々の環境光によるノイズの影響を抑制することは有用である。更に、関数近似する画素群として、直線状に並んだ画素だけを用いても構わないが、2列、3列の画素を用いることは更に有用である。また、更に、第1の非照射領域(例えば非照射領域42a)の様に、第1の照射領域(例えば照射領域41a)の様な囲まれた照射領域を有する場合には、直線状に並んだ画素群を演算に用いるだけでなく、例えば非照射領域42aの中心点から等距離にある画素群を用い、中心点からの距離と画素群とから得られた値を用いて関数近似することは更に有用である。
この画素データの差分或いは関数近似の結果(例えば係数や定数項)には、例えば、生体の血液の状態が現れている。画素データの差分については、RGBの各成分毎に算定した上で平均により算定してもよいし、RGBの各成分に予め定めた重みを付けた加重平均により算定してもよい。例えば、差分の算定に用いる画素データを、輝度値で表してもよく、画素データの輝度値を、例えば0.299×R成分の値+0.587×G成分の値+0.114×B成分の値で表してもよい。
なお、逐次得られた各画像の局所領域毎に算定された画素データの差分についての、画像の取得された時間毎に対応付けた時間変化は、心拍による血流に係る脈波を表すものとなる。従って、画素データの差分から、心拍数、脈波の形状等を算定し得る。心拍数は、例えば脈波の脈動周期から算定可能である。また、同様に心拍間隔RRI(R-R Interval)も算定可能である。なお、局所領域毎の画素データの差分に基づいて算定した心拍数等の算定結果について、全部の局所領域の算定結果に平均化等の所定統計処理(予め定めた統計処理)を施した値を算定してもよい。例えば平均化によれば局所領域毎に皮膚の特性、状態等が相違する場合等にその相違の影響を低減し得る。統計処理では、平均値の算定に限らず、例えば中央値、分散その他の値を算定してもよい。関数近似の場合については、例えば、光量Y=aX^2+bX+c(X:距離を示す変数、a、b:係数、c:係数(定数項))のような関数で表してもよい。心拍により血流が変化するような場合は、係数a、b、cが変化する。この変化量を求めて心拍数やRRI等の生体情報を測定することができる。
算定部130は、これらの各算定結果に基づいて出力を行い得る。即ち、算定部130は、算定した一の局所領域に係る生体情報と算定した他の局所領域に係る生体情報とに基づき所定統計処理を行い、その所定統計処理の結果に応じて生体情報測定装置100の外部への出力を行い得る。算定部130は、例えば、心拍数の情報を出力してもよいし、心拍数が一定閾値を超えた場合に特定のメッセージを出力してもよい。生体情報測定装置100からの出力は、ディスプレイ、スピーカー等を介して光、音声等を発して人間に認識され得るように何らかの情報を伝えること、或いは、コンピュータ等の装置へと情報を送信すること等により、実現される。
以下、生体情報測定装置100の動作について、図6を用いて説明する。
図6は、生体情報測定装置100において主に算定部130により実行される生体情報算定処理の一例を示すフローチャートである。
生体情報測定装置100では、車両300を運転する利用者(生体)11に照明部110から照明パターンによって照明光を照射し、撮像部120で生体11の撮像対象領域を撮像することで逐次画像を生成する。算定部130は、生体情報算定処理として、照明光を生体11へ照射して生体11を撮像することで生成された画像を取得する画像取得ステップ(ステップS11)と、照明パターン情報を参照して、画像取得ステップで取得された画像における位置毎に対応付けられた画素データのうち、生体11における照射領域内の画素データと生体11における非照射領域内の画素データとの差分に基づいて生体情報を算定する算定ステップ(ステップS12、S13等)とを実行する。
以下、生体情報算定処理について、より具体的に、図6に即して説明する。
算定部130は、照明光が照射された生体を撮像して生成された画像を撮像部120から取得する(ステップS11)。
算定部130は、ステップS11で取得した画像における照射領域内の画素データと、非照射領域内の画素データとを複数組、特定する(ステップS12)。例えば、生体11における複数の局所領域毎に一組の照射領域内の画素データと、非照射領域内の画素データとを特定する。画素データは、1画素であってもよいが、例えば隣接する複数画素(例えば4画素)に対応する複数の画素データの集合であってもよい。
続いて算定部130は、ステップS12で特定した各組について、照射領域内の画素データと非照射領域内の画素データとの差分を算出する(ステップS13)。
次に算定部130は、一定時間分(例えば数秒分等)に相当する所定数の画像(画像群)について既に処理済か否かを判定し(ステップS14)、処理済でなければ次の画像について処理を行うためにステップS11に戻る。
ステップS14で所定数の画像について既に処理済であると判定した場合には、算定部130は、直前の一定時間分の画像群(所定数の画像)についてのステップS13での各組の算出結果から生体情報を算定する(ステップS15)。これにより、生体の顔、首等における血流の脈動を表す生体情報が取得される。各組の一定時間分の画素データの差分に基づいて、例えば、画素データの差分の値の変動の周期により、血液の脈動の周期、脈拍等が算定され得る。
続いて、算定部130は、ステップS15で算定した各組の生体情報に統計処理(平均化等)を施して、総合的な生体情報を算定する(ステップS16)。総合的な生体情報は、例えば、脈拍の測定値、心拍数の推定値等を示すものとなり得る。
そして、算定部130は、ステップS16で算定した生体情報に応じた出力を行う(ステップS17)。例えば、算定部130は、生体情報を示す信号を生体情報測定装置100の外部に出力する。この信号を受けたインストルメンタルパネルの表示内容を制御する装置がその信号に応じた表示を行ってもよい。また、算定部130は、生体情報が一定条件を満たす場合(例えば心拍数が一定数より高い場合)に、所定のメッセージを示す信号等を出力してもよい。なお、ステップS17では算定部130は、一定間隔毎(例えば数秒毎、数分毎等)に出力を行うようにしてもよい。
ステップS17の後に、算定部130は、次の画像について処理を行うために再びステップS11に戻る。これにより、逐次、算定部130は、生体情報を算定し、出力を行い得る。
このような生体情報測定装置100における生体情報算定処理により算定された生体情報に応じて、体調推定システム10では利用者(生体)11の体調を推定して体調に応じたサービス(例えば体調が悪い場合に運転を停止させるよう勧告するサービス)等を提供し得る。
(適用例)
以下、生体情報測定装置100が、皮膚の表層部分に存在する血液についての量(血液量)の測定を行う具体的な適用例について説明する。この適用例は、一例に過ぎないが、例えば血液量の時間的変動に係る脈波、心拍等の測定にも適用できる。
照明部110は、波長450nmの青(B)の光と、波長550nmの緑(G)の光と、波長700nmの赤(R)の光とを発する光源111を含む。光源111からの照明光の照明態様(照射態様)である照明パターンとしては、図3に示すような格子状の照明パターンを用いる。照明光を照射する対象領域は、例えば顔の全体又は一部である。
撮像部120は、顔の全体又は一部を撮像対象領域として適切な画角で撮像を行い、2次元に配置された各画素位置に対応する画素データを含むRGB画像を生成する。
算定部130では、RGB画像についてRGBの各色成分毎に、照明パターンを参照した上で画素データの該当色成分の強度分布に基づいて、照射領域と非照射領域とを区別し、一定サイズの局所領域毎について照射領域の画素データと非照射領域の画素データとの差分を抽出することで、概ね照明光だけにより検出された情報を求める。その検出された情報から、血液による各波長の光の吸光度の相違に基づいて、血液量は算出できる。撮像部120の撮像素子122でRGB画像のR、G、Bの各色成分を検出する結果として、例えば血液吸収の比較的多い波長550nmの光と、血液吸収の比較的少ない波長650nm以上(例えば血液の分光吸光度特性が平坦な波長680〜730nm)の光とが区別される。なお、通常のカメラでは、例えば564nm〜700nmの光を検出するためのフィルタが用いられる場合があるが、564nm〜600nmの光には脈波の振幅変動の情報も含まれるのであまり好ましくないことから、上述のように波長680〜730nmの光を検出するフィルタを用いることは有用である。また、照明光の光量を予め一定に設定しておくことで安定した測定が可能となる。また、予め密着式の血液量センサ等により血液量に対する光量値との関連性を調べて、その血液量と光量値とを対応付けた情報を予め定めておくことにより、算定部130で、その情報を参照して、血液量を絶対量として算出することも可能となる。
(実施の形態2)
以下、実施の形態1で示した体調推定システム10の生体情報測定装置100の一部を変形した実施の形態について説明する。
実施の形態2では、生体情報の算定に用いる画素データ(照射領域の画素データ及び非照射領域の画素データ)を一定の条件を満たすものに限定するように、算定部130を変形した形態を示す。本実施の形態における体調推定システム10及び生体情報測定装置100の各構成要素は、概ね実施の形態1と同様であるため、ここでは、実施の形態1と同様の符号(図1、図2参照)を用いて説明する。ここでは実施の形態1と相違点について説明し、ここで説明しない点については、実施の形態1と同様である。
本実施の形態における生体情報測定装置100の算定部130は、撮像部120により生成された画像における、人間の肌の色に相当するように予め定められた特定基準を満たす色を表す画素データのうち、照射領域の画素データと非照射領域の画素データとの差分を、生体情報の算定の基礎として用いる。具体例としては、例えばR、G、Bの各成分を含むRGB画像の画素データが表す色を、色相(H:Hue)、彩度(S:Saturation)及び明度(V:Value)の各成分からなるHSV色空間で表した場合の色相(H)の値が所定範囲内の値となる画素データを、特定基準を満たす色を表す画素データであるとする例が挙げられる。所定範囲は、例えば色相(H)を0°〜360°で表す場合における0°〜30°等であり、これにより、生体情報の算定の基礎となる画素データを、例えば肌色或いは淡い橙色(pale orange)に相当する色を表す画素データに限定し得る。なお、特定基準としては、色相(H)以外の成分についても一定範囲に限定してもよい。これは一例に過ぎず、利用者(生体)11の肌の色に適するように、例えば人種等に応じて、特定基準を満たす色を定めてもよい。
このように、算定部130は、撮像部120で生成された画像における、人間の肌の色に相当する色を表す画素データのうち、実施の形態1で示したように照射領域の画素データと非照射領域の画素データとの差分に基づいて生体情報を算定する。これにより、生体11の撮像で得られた画像に写った毛、目(眼)、背景等を除外して、血流等の皮膚に現れる生体情報を精度良く適切に抽出し得るようになる。なお、生体情報の算定の基礎とする画素データを、既存の機械学習等に基づく顔認識技術を用いて画像から顔を検出することで顔の領域内の画素データに限定する方式より、上述の肌の色に相当する画素データに限定する方式は、血流(脈波、心拍数等)、肌の水分等に係る生体情報の測定のために有用である。既存の顔認識技術によっては、毛、眼等の除外が困難であり、また、顔、首等の一部等といった部分的な領域の認識が困難であるからである。これに対して、肌の色に相当する色の画素データに限定する方式では、毛、眼等を除外でき、顔、首等の一部でも画素単位の精度で識別できる点で有用である。なお、算定部130は、肌の色に相当する画素データに限定する方式と既存の顔認識技術により認識した顔の範囲の画素データに限定する方式との両方を適用することとしてもよい。
なお、上述の人間の肌の色に相当する色の画素データを識別するためには、撮像部120は、カラー画像を撮像するものであればよく、撮像部120がRGBフィルタを含むのではなく、3色分解方式であってもよいし、例えば、シアン(C:Cyan)、マゼンタ(M:Magenta)、黄(Y:Yellow)、及び、緑(G:Green)による補色フィルタ(CMYGフィルタ)を用いたものであってもよい。
(実施の形態2の変形例)
以下、上述の実施の形態2で示した生体情報測定装置100を更に変形し、車両300を運転する利用者(生体)11の肌と、利用者11が着座しているシート302とを区別できるようにした変形例について説明する。
実施の形態2で、算定部130が、画像における生体情報の算定の基礎とする画素データを、人間の肌の色に相当するような特定基準を満たす色(例えば肌色)を表す画素データに限定する例を示した。しかし、撮像部120で撮像した画像には、利用者(生体)11の肌(顔、首等)以外に、車両300のシート302(例えばヘッドレスト部分等)が写り込んでいる場合があり、シート302が肌色であるようなときには、シート302が写った画素データも、特定基準を満たす色を表すものとなり得る。
そこで本変形例に係る生体情報測定装置100では、車両300を運転する利用者(生体)11の肌と、利用者11が着座しているシート302とを赤外光の検出を用いて区別する。本変形例では、実施の形態2と相違点について説明し、ここで説明しない点については、実施の形態2と同様である。
撮像部120は、更に赤外光を受光することで撮像を行う。例えば、撮像部120は、RGBの各成分に加えて、例えば近赤外光等の赤外光(IR:InfraRed)の成分を区別して受光するようにフィルタを配した撮像素子122により撮像を行う。本変形例に係る撮像素子122では、2次元状に配置された各画素(ピクセル)は、例えば、縦横2つずつのサブピクセルで構成され、図7に示すような配列でサブピクセル毎にR、G、B、IRの各フィルタが付される。図7の例では、撮像素子122においてIR用のフィルタとR、G、Bの各色用のフィルタとの組を、繰り返し2次元状に配置している。撮像素子122ではこの各フィルタを介して受光を行う。この撮像で生成される画像の画素データは、RGBの各成分とIRの成分とを含む。
また、算定部130では、撮像部120での撮像により生成された画像に基づいて、赤外光に応じたIR成分が所定閾値より多く含まれる領域である生体推定領域を検出する。生体推定領域は、生体以外の物等と区別して生体であると推定される領域である。所定閾値は、例えば生体11等の人間とシート302等の物とを区別するために実験等に基づいて予め定められた値である。そして、算定部130は、その検出した生体推定領域の中の画素データであって、かつ、人間の肌の色に相当するような特定基準を満たす色を表す画素データのうち、照射領域と非照射領域とを特定して、特定した照射領域の画素データと特定した非照射領域の画素データとに基づいて、生体情報の算定を行う。
なお、撮像部120は、撮像素子122とは別に赤外光を受光する受光素子を設けてもよく、この場合には撮像素子122では撮像によりRGB画像の生成を行う。そして算定部130ではRGB画像の1つ又は複数の画素を単位とする領域毎に対応して、撮像部120において撮像素子122と同方向からの赤外光を受光する受光素子でその領域毎に所定閾値以上の赤外光が検出されたか否かにより、その領域が生体推定領域であるか否かを区別することとしてもよい。
生体推定領域の検出に用いる赤外光としては、近赤外光(近赤外線)の他に、中赤外光(中赤外線)であってもよい。この場合には、算定部130では、中赤外線により温度分布を検出し、RGB画像の1つ又は複数の画素を単位とする領域毎に、その領域で所定閾値以上の赤外光が検出されたか否か、つまり生体としての一定以上の温度分布が検出されたか否かによって、生体推定領域であるか否かを区別することとしてもよい。
また、赤外光により生体11とシート302等とを区別する方式の代わりに、生体情報測定装置100に別途設けられた距離測定装置から、撮像部120で撮像される画角に入るものについての距離を測定し、距離の測定結果と、予め定められた距離測定装置から生体までの距離の上限値等(所定距離範囲)とに基づいて、生体11とシート302等とを区別する距離測定方式を用いてもよい。
距離測定方式を用いる場合には、生体情報測定装置100の撮像部120は、更に撮像により生成する画像における複数の領域(1つ又は複数の画素を単位とする領域)それぞれについて、撮像対象までの距離を測定する。距離の測定には、TOF(Time Of Flight )方式等、いかなる既存技術を用いてもよい。また、算定部130は、撮像部120の撮像により生成された画像における、撮像部120により測定された距離が所定距離範囲内であった領域における位置に対応する画素データであって、かつ、人間の肌の色に相当するような特定基準を満たす色を表す画素データのうち、照射領域の画素データと非照射領域の画素データとの差分に基づいて、生体情報の算定を行う。所定距離範囲は、固定であっても、利用者(生体)11が調整可能であってもよい。距離測定方式によれば、生体情報の測定対象となる生体11(例えば車両300を運転する利用者)と、他の生体(例えば後部シートに居る者)とも、適切に区別できる。なお、生体情報の測定対象となる生体11と他の生体とを、画像に写った生体の形状、サイズ等に基づく画像認識によって区別してもよい。
また、赤外光により生体11とシート302等とを区別する方式或いは距離測定方式の代わりに、生体が有する水分を検出することで生体11とシート302等とを区別する水分検出方式を用いてもよい。
水分検出方式を用いる場合には、生体情報測定装置100の撮像部120が、更に水分による吸光度が互いに異なる第1波長の光及び第2波長の光のそれぞれを受光することで撮像を行うようにする。例えば、第1波長の光は、水分により大きく吸収される波長(例えば960nm)の光であり、第2波長の光は、逆に、水分や血液により大きく吸収されることがない波長(例えば780nm)の光である。第1波長及び第2波長は、水分による吸光度が異なる2つの波長であれば、いかなる波長であってもよい。撮像部120では、例えば第1波長の光及び第2波長の光のそれぞれを区別して検出するためのフィルタを設けることが有用である。例えば、撮像素子122において第1波長の光用のフィルタと、第2波長の光用のフィルタと、R及びG或いはB及びGの各色用のフィルタとの組を繰り返し2次元状に配置する。また、撮像部120に対応して、照明部110からは第1波長の光及び第2波長の光を包含する光(例えば近赤外光)を照射することが有用である。また、算定部130は、撮像部120の撮像により生成された画像に基づいて所定程度より多く水分を含む領域である生体推定領域(つまり生体以外の物等と区別して生体であると推定される領域)を検出し、その生体推定領域の中から照射領域と非照射領域とを特定し、特定した照射領域の画素データと特定した非照射領域の画素データとに基づいて、生体情報の算定を行う。この生体情報の算定に用いられる画素データは、人間の肌の色に相当するような特定基準を満たす色を表す画素データである。算定部130は、画像における複数の領域(1つ又は複数の画素を単位とする領域)それぞれについて所定程度より多く水分を含む領域か否かを、検出した第1波長の光と第2波長の光との受光量の差と、生体とシート等の物とを区別するために予め定めた基準値とを比較することで判定する。生体は比較的多くの水分を含んでいるので、水分検出方式によれば、生体情報の測定対象となる生体11(例えば車両300を運転する利用者)と、比較的水分の少ないプラスチック(合成樹脂)、紙等の物とを適切に区別できる。
(実施の形態3)
以下、実施の形態1で示した体調推定システム10の生体情報測定装置100の撮像素子122での撮像により得られた信号の処理方法を変形して環境光(外乱光)の影響を抑える実施の形態について説明する。本実施の形態における体調推定システム10及び生体情報測定装置100の各構成要素は、概ね実施の形態1と同様であるため、ここでは、実施の形態1と同様の符号(図1、図2参照)を用いて説明する。ここでは実施の形態1と相違点について説明し、ここで説明しない点については、実施の形態1と同様である。
本実施の形態では、生体情報測定装置100の照明部110で変調した光sin(wt)を撮像対象(車両300を運転している利用者11の顔、首等)へと照射する。そして、撮像部120で撮像素子122により受光した光(帰還光)に基づいて逐次生成した画像(逐次撮像された画像)から、算定部130は、画素データの時間変化に係る信号を抽出する。
例えば、利用者(生体)11の血流の脈動を信号S(t)で表すと、算定部130が、抽出する画素データの時間変化に係る信号f1(t)は、例えば、f1(t)=S(t)*sin(wt)で表される。算定部130は、更に、f1(t)に照明部110が照射した光と同じ周波数の信号sin(wt)を乗じて、信号f2(t)を求める。信号f2(t)は、f2(t)=S(t)*sin(wt)*sin(wt)=S(t)*(1−cos(2wt))/2と表される。なお、撮像部120が撮像によりRGB画像の生成を行う場合において、R、G、Bの各色成分毎に信号f2(t)を求めてもよい。そして、算定部130は、信号f2(t)にローパスフィルタ(LPF)をかけることで、2wの成分を除去する。例えば、カットオフ周波数が2HzのLPF等が有用である。算定部130は、LPFで、信号f2(t)から例えば60BPM(Beats Per Minute)程度の心拍以上の周波数成分を除去する。これにより、適切に血流の脈動に係る生体情報を精度良く抽出することが可能となり得る。
本実施の形態では、生体情報測定装置100の照明部110で変調した光として周波数wのsin(wt)を用いた例を示したが、これは一例に過ぎず、例えば、周波数wの矩形波信号を用いてもよい。
(実施の形態4)
以下、実施の形態1で示した体調推定システム10の生体情報測定装置100の算定部130が画像の画素データの補正を行う実施の形態について説明する。本実施の形態における体調推定システム10及び生体情報測定装置100の各構成要素は、概ね実施の形態1と同様であるため、ここでは、実施の形態1と同様の符号(図1、図2参照)を用いて説明する。ここでは実施の形態1と相違点について説明し、ここで説明しない点については、実施の形態1と同様である。
本実施の形態では、生体情報測定装置100の撮像部120は、撮像により生成する画像における複数の領域それぞれについて、撮像対象(車両300を運転する利用者11の顔、首等)までの距離を測定する。この距離の測定には、いかなる既存技術を用いてもよく、TOF方式でもよいし、例えば、撮像素子122を2つ設けて同時に生体11を撮像して視差情報に基づいて生体11との距離を測定する方式でもよい。
また、算定部130は、撮像部120の撮像により生成された画像における照射領域及び非照射領域の各画素データを、その画素データに該当する撮像部120により測定された領域の距離に応じて補正した上で、画素データに基づいて生体情報の算定を行う。撮像部120の撮像素子122が強い光を受光する程、画像における画素データの値が大きくなるように定めてある場合において、算定部130での補正は、距離が短くなる程、画素データの値を低減させるように行われる。撮像部120から生体11の顔、首等の各部までの距離の相違による測定誤差を低減させることができる。
(実施の形態5)
以下、実施の形態1で示した体調推定システム10を変形し、車両300と関係なく、任意の場所、時において利用者(生体11)の生体情報を測定する例(生体情報測定装置100の適用例)を示す。ここでは、実施の形態1と同様の符号(図1、図2参照)を用いて説明する。但し、本実施の形態において車両300は存在しても、存在しなくてもよい。ここでは実施の形態1と相違点について説明し、ここで説明しない点については、実施の形態1と同様である。
本実施の形態では、生体11の皮膚の特定の深さ(例えば表層より深い部分)の組織に係る生体情報として、酸素飽和度(動脈血酸素飽和度)、メラニン量、肌水分、体内水分、くま(目の隈)等を測定するものとする。
生体情報測定装置100の照明部110は、ライン(直線)状、楕円状、円状、ドーナツ状、菱形状その他の特定形状のパターン光を照射する光源111を備える。ここで、特に楕円状、円状、ドーナッツ状、菱形状等の形状が有用である。顔上にこのような形状の光を照射した際に、その照射点を予め設定していた認識パターンと比較検証することで照射領域を認識しやすいからである。一方、点状の照明を用いた場合は、照射点がほくろや、しみに重なった場合は識別しにくいからである。また、楕円状、円状、ドーナッツ状、菱形状等の形状のパターン光を用いれば、予め設定した認識パターンとの歪量を算出することで、顔の向きを容易に算出できる。
一般に、顔の向きが変わった場合、カメラの単一画素間あたりの距離は、正面顔における距離と相違する(正面顔における距離から変化する)。即ち、斜めになればなるほど、短く計測される。このことは、光の照射地点から生体内に侵入し、再び表面に帰還してきた光の強度分布を、カメラで計測する場合、画素あたりの強度分布が実質的に変化することを意味し、生体情報を算出する場合に誤差を生じる。しかし、特定形状の照明光の歪量を求めれば、カメラで計測した光の強度分布から、実際の正面から見た空間分布量に補正することができるため、有効と言える。
また、各形状のサイズとしては、例えば3mm以上が有用である。ほくろ、しみ等が存在したとしても、照明領域を認識し、照明領域と非照明領域も認識しやすいからである。
また、生体からの帰還光を検出する場合、照明エリアの片側でだけでなく、全面で計測することも、信号量を増大できるために非常に有用と言える。
光源111は、例えば近赤外光である波長780nmの光及び波長830nmの光を含む光を発するが、これは有用な一例に過ぎず、他の波長の光を発するものであってもよい。例えば、近赤外光は、生体の皮膚表面から数mmの深さに浸透し得る。照明部110は、生体11にその特定形状の照射領域を発生させる照明態様(照明パターン)で照明光の照射を行う。図8は、照明部110から生体11に照射された照明光の照明パターンの一例(菱形状の照明パターン141)を示す図である。
撮像部120は、照明部110により特定形状のパターン光が照射された生体11の撮像対象領域(顔等)を逐次撮像することで逐次画像を生成する。画像はRGB画像等、各波長帯の光をフィルタで区別して受光することで生成される画像であり、画像を構成する2次元位置それぞれに対応する画素データは、例えばR、G、Bの各色成分等といった複数の波長の成分のデータを包含する。なお、撮像部120での撮像の露光時間、或いは、照明部110による照明光の強度等は、算定部130による算定結果としての生体情報におけるS/N比が適切となるように調整されることが有用である。
算定部130は、照明パターンを示す予め定められた照明パターン情報(特定形状のレイアウトを示す情報)を参照して、撮像部120により生成された1以上の画像各々について、その画像における特定形状の照射領域における中央部分と周辺部分とのうち周辺部分内の画素データと、その画像における非照射領域内の画素データとを特定する。そして、算定部130は、特定した周辺部分内の画素データと、非照射領域内の画素データとの差分に基づいて、生体情報の算定を行う。図8の例では、例えば菱形状の照明パターン141における菱形の各辺(4つの辺)それぞれに近接する領域が周辺部分であり、その周辺部分に囲まれた菱形の中心付近が中央部分である。このように算定部130が生体情報の算定に、特定形状の照射領域の中央部分ではなく周辺部分の画素データを用いることにより、生体11の皮膚の表層より深い部分の生体成分の情報を適切に抽出し得る。仮に生体11の皮膚に点状の照明パターンの照明光を照射したのであれば、点の周りに拡散する光が急激に減衰するために十分なS/N比を得ることが困難となり得る。そこで、生体情報測定装置100では、点状ではない上述のような特定形状の照明パターンの照明光を用い、皮膚の中を通って広がった光が表れる周辺部分の複数の画素データの、非照射領域の画素データ(例えば周辺部分の各画素データの近傍の非照射領域の画素データ)との差分を積算することで、環境光の影響を抑制して、皮膚の表層より深い組織に係る生体情報を測定する。これにより、積算できる画素数が点状の照明パターンの場合より増大し、十分なS/N比を得ることが可能となり得る。
算定部130は、実験等に基づいて予め定められた画素データの各成分と酸素飽和度等との対応関係を示すテーブルを参照して、逐次撮像された各画像について求められた画素データの差分が示す、光の波長毎に対応する成分(例えばR、G、Bの各色成分)に応じて、生体11の生体情報としての酸素飽和度等を算定する。血液中のヘモグロビンは酸素と結合しているか否かにより赤色(R)の一定波長の光の吸光度が異なることにより、酸素飽和度は算定される。例えば、算定部130は、逐次撮像された各画像についての時間的変動がない直流成分から、生体情報としてのヘモグロビン(Hb)量を算定し得る。
生体情報として測定すべき項目に応じて、生体情報測定装置100における照明光、撮像部120で用いるフィルタ、或いは、算定部130が算定に用いる画素データの成分等について、適切なものを選定することが有用である。生体情報としてのメラニン量、及び、くまの測定のためには、例えば、上述の近赤外光の2波長(780nm及び830nm)に加えて、青色(B)の波長の光を用いる。また、肌水分、体内水分の測定のためには、例えば水の吸収が比較的多い960nmの波長の光を加えることが有用である。また、生体情報として測定すべき項目に応じて照明パターンを選択してもよい。また、算定部130により生体情報を算定するために用いるアルゴリズムには、生体情報として測定すべき項目に応じた、いかなる既知の方式を含ませてもよい。また、算定部130がRGB画像等の画素データの差分(照射領域と非照射領域との差分)の各成分(例えばR、G、Bの各色成分)の加重平均により、生体情報として測定すべき項目を算定する場合には、測定すべき項目に応じて、加重平均に用いる各係数(各成分に対する重み)を選択し得る。更に、光ビーム等として狭い範囲を照らす照明光により生体11の顔の前面をスキャンして、生体情報の各種測定値の空間分布を求めてもよい。照明光で顔をスキャンする場合においては、予め顔全体を撮像した画像等に基づいて眼の位置を特定しておき、照明光が眼に入らないように照明光のオン(点灯)、オフ(消灯)を切り替えること(つまり眼の位置ではオフにすること)が有用である。
また、生体情報測定装置100は、生体11の皮膚の特定の深さの組織に係る生体情報を測定する代わりに、以下のように、生体情報として、呼吸に係る情報を測定することとしてもよい。
呼吸について測定する場合には、生体情報測定装置100の照明部110は、生体11の首から下腹部までの範囲(撮像対象領域)に、例えば図3に示すようなメッシュ(網目)状の照明パターンによるパターン光(照明光)を照射する。メッシュ状の他に、2以上の同心円パターンも有用であり、その他の形状であってもよい。照明部110による照明光の照射方向は、撮像部120の撮像素子122の受光方向(光軸)と十分(例えば45°)ずらしておく。これにより、呼吸による生体11の各部の位置変化についての、撮像素子122の検出感度が向上する。撮像部120は撮像対象領域を画角に収めるように配置され、撮像部120(撮像素子122等)から離れた部分に照明部110(光源111等)が配置される。照明部110も撮像対象領域の中心に向かって照明光を照射する。
照明部110が照射する照明光は、例えば多色(R、G、Bの各成分を含む色)の光であり、赤外線成分を含む光であってもよい。生体11を逐次撮像することで撮像部120により、RGB画像或いはRGB+IRの画像を逐次生成する。このように画素データが含む各色成分の数を多くすることで、単色光での測定より、測定精度を向上させることが可能となる。
算定部130では、撮像部120により逐次生成された画像の画素データにおいて、メッシュ状等といった形状の照明パターンによって同等の画素データの部分の位置の変動量に基づいて、変動量の多い部分と小さい部分との差分から呼吸信号を抽出する。これにより、生体11の振動や、例えば車両等といった生体情報測定装置100が設置された環境の振動等の影響を抑制して呼吸信号を抽出し得る。算定部130は、この呼吸信号に基づいて、呼吸数、強度、吸気呼気比率等といった呼吸に係る生体情報を算定することができる。
本実施の形態で示した、酸素飽和度、メラニン量、肌水分、体内水分、くま、呼吸数、吸気呼気比率等といった生体情報に基づいて、生体情報測定装置100又は外部の装置において、既存の技術、アルゴリズム等を利用して利用者(生体)11の体調を推定してもよい。
(他の実施の形態等)
以上のように、本発明に係る技術の例示として実施の形態1〜5を用いて説明した。しかしながら、上述の実施の形態は一例に過ぎず、各種の変更、付加、省略等が可能であることは言うまでもない。
上述の実施の形態1〜4では、生体情報測定装置100の照明部110が光源111のオン(点灯)、オフ(消灯)を切り替えることについて説明しなかったが、光源111のオン、オフを一定時間毎(例えば撮像部120により1フレームを撮像する毎)に切り替えることとしてもよい。撮像部120では、予め、光源111がオンになったときに照射される照明光を受けた生体11の撮像で得られる画像の信号が飽和しないように、ゲイン、シャッタースピード等を適切に設定しておく。撮像部120により、例えば、30FPS等の撮像の周期に対応して、照明光が少なくとも一部に照射された生体11についての画像と、照明光が全く照射されていない生体11についての画像とが交互に生成されることになる。算定部130では、照明光が照射された画像から照明光が照射されていない画像を差し引くことで、環境光の影響を低減させて照明光のみに対する生体11による反射光に係る信号を抽出できる。その差し引いて得られた画像(差分画像)に基づいて、算定部130では生体情報を算定する。従って、生体情報測定装置100では、照明光が少なくとも一部に照射された画像における照射領域と非照射領域との画素データの差分を利用して生体情報を算定する場合において、差分画像に基づく算定結果を併用してもよい。また、複数波長の光を個別に選択出力可能な光源111を用いて、光源111のオン、オフの切り替えにおいて、特定波長の光のみをオン、オフさせてもよい。
また、上述の実施の形態で示した生体情報測定装置100は、体調推定システム10以外に利用されてもよいし、車両に乗車していない状態の生体11についての測定を行うものであってもよい。また、生体情報の測定のために生体情報測定装置100が撮像する生体11の部位は、顔、首等の一部であっても全体であってもよいし、手のひら、腕その他の皮膚であってもよい。
また、上記実施の形態における生体情報測定装置100の各構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAM等を含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記録されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。また、上記各装置を構成する構成要素の各部は、個別に1チップ化されていてもよいし、一部又は全てを含むように1チップ化されてもよい。また、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施の形態における各構成要素の一部又は全部は、コンピュータ等の装置に着脱自在なICカード又は単体のモジュールから構成されているとしてもよい。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAM等から構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
また、本発明の一態様としては、例えば図6に示す手順の全部又は一部を含む生体情報測定方法であるとしてもよい。また、この生体情報測定方法をコンピュータにより実現するコンピュータプログラム(例えば画像取得ステップと算定ステップとを含む生体情報算定処理を行うプログラム等)であるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。また、本発明の一態様としては、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリ等に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。また、本発明の一態様としては、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。また、本発明の一態様としては、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記録しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、或いは前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
また、上記各実施の形態で示した各構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。
本発明は、生体情報を測定するために利用でき、例えば体調推定システム等において利用可能である。
10 体調推定システム
11 利用者(生体)
41a、41b 照射領域
42a、42b 非照射領域
51 波長帯域
100 生体情報測定装置
110 照明部
111 光源
120 撮像部
121 フィルタ
122 撮像素子
130 算定部
141 照明パターン
201 フロントガラス(ウィンドシールド)
300 車両
301 ダッシュボード
302 シート

Claims (13)

  1. 照明光を生体へ照射する照明部と、
    前記生体を撮像する撮像部と、
    前記撮像部の撮像により生成された画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する算定部とを備え、
    前記算定部は、
    前記撮像部により生成された画像から所定の顔認識技術を用いて顔を検出し、
    検出した前記顔の領域における、人間の肌の色に相当するように予め定められた特定基準を満たす色を表す画素データのうち、照射領域の画素データと非照射領域の画素データとの差分を、前記生体情報の前記算定の基礎として用い
    前記照明部は、前記生体に特定形状の照射領域を発生させる照明態様で照明光の前記照射を行い、
    前記算定部は、前記照明態様を示す予め定められた照明パターン情報を参照して、前記撮像部により生成された1以上の画像各々について、当該画像における前記特定形状の照射領域における中央部分と周辺部分とのうち周辺部分内の画素データと、当該画像における非照射領域内の画素データとの差分に基づいて、生体情報の前記算定を行い、
    前記照明部は、前記特定形状の照射領域の大きさが、前記生体上で3mm以上となるように前記照射を行う、
    生体情報測定装置。
  2. 前記照明部は、前記生体における一の局所領域内に第1の照射領域及び第1の非照射領域を発生させ、かつ、前記生体における他の局所領域内に第2の照射領域及び第2の非照射領域を発生させる照明態様で照明光の前記照射を行い、
    前記算定部は、前記照明態様を示す予め定められた照明パターン情報を参照して、前記撮像部により生成された1以上の画像各々について、当該画像における第1の照射領域内の画素データと第1の非照射領域内の画素データとの差分、及び、当該画像における第2の照射領域内の画素データと第2の非照射領域内の画素データとの差分をそれぞれ算出することで、前記一の局所領域に係る生体情報及び前記他の局所領域に係る生体情報のそれぞれを算定する
    請求項1記載の生体情報測定装置。
  3. 前記算定部は、前記算定した前記一の局所領域に係る生体情報と前記算定した前記他の局所領域に係る生体情報とに基づき所定統計処理を行い、当該所定統計処理の結果に応じて前記生体情報測定装置の外部への出力を行う
    請求項2記載の生体情報測定装置。
  4. 前記撮像部は、
    550nmを中心とした80nm以下の幅の所定波長帯域における光について透過特性を示し、当該所定波長帯域の外における光について透過抑制特性を示すフィルタと、
    前記フィルタを通過した光を受光する撮像素子とを備える
    請求項1〜3のいずれか一項に記載の生体情報測定装置。
  5. 前記撮像部は、前記撮像によりカラー画像を生成し、
    前記算定部は、色をHSV色空間で表した場合の色相の値が所定範囲内の値となる画素データを、前記特定基準を満たす色を表す画素データであるとして、生体情報の前記算定を行う
    請求項4記載の生体情報測定装置。
  6. 前記撮像部が生成する前記カラー画像は、2次元に配列された、赤、緑、及び、青の各色成分のデータを含む複数の画素データで構成され、
    前記撮像部における撮像のための撮像素子は、カラーの画素を構成する赤、緑、及び、青の各サブピクセルのうち、一色のサブピクセルの受光性能を他の一色のサブピクセルの受光性能の1/10以下にしてある
    請求項5記載の生体情報測定装置。
  7. 前記撮像部は、更に水分による吸光度が互いに異なる第1波長の光及び第2波長の光のそれぞれを受光することで前記撮像を行い、
    前記算定部は、前記撮像部の撮像により生成された画像に基づいて所定程度より多く水分を含む領域である生体推定領域を検出し、当該生体推定領域の中から照射領域と非照射領域とを特定し、特定した照射領域の画素データと特定した非照射領域の画素データとに基づいて、生体情報の前記算定を行う
    請求項1〜6のいずれか一項に記載の生体情報測定装置。
  8. 前記撮像部は、更に赤外光を受光することで前記撮像を行い、
    前記算定部は、前記撮像部の撮像により生成された画像に基づいて前記赤外光に応じた成分が所定閾値より多く含まれる領域である生体推定領域を検出し、当該生体推定領域の中から照射領域と非照射領域とを特定し、特定した照射領域の画素データと特定した非照射領域の画素データとに基づいて、生体情報の前記算定を行う
    請求項1〜6のいずれか一項に記載の生体情報測定装置。
  9. 前記撮像部は、更に前記撮像により生成する画像における複数の領域それぞれについて、撮像対象までの距離を測定し、
    前記算定部は、前記撮像部の撮像により生成された画像における、前記撮像部により測定された距離が所定距離範囲内であった領域における位置に対応する画素データのうち、照射領域の画素データと非照射領域の画素データとの差分を、生体情報の前記算定の基礎として用いる
    請求項1〜6のいずれか一項に記載の生体情報測定装置。
  10. 前記撮像部は、前記撮像により生成する画像における複数の領域それぞれについて、撮像対象までの距離を測定し、
    前記算定部は、前記撮像部の撮像により生成された画像における照射領域及び非照射領域の各画素データを、当該画素データに該当する前記撮像部により測定された領域の距離に応じて補正した上で、生体情報の前記算定を行う
    請求項1〜のいずれか一項に記載の生体情報測定装置。
  11. 前記照明部における前記照明光の照射方向と、前記撮像部における撮像のための撮像素子の光軸とが、所定角度より大きくずれている
    請求項1〜10のいずれか一項に記載の生体情報測定装置。
  12. 照明光を生体へ照射し、
    前記生体を撮像することで画像を生成し、
    前記画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定し、
    前記算定では、
    生成された画像から所定の顔認識技術を用いて顔を検出し、
    検出した前記顔の領域における、人間の肌の色に相当するように予め定められた特定基準を満たす色を表す画素データのうち、照射領域の画素データと非照射領域の画素データとの差分を、前記生体情報の前記算定の基礎として用い
    前記照射では、前記生体に特定形状の照射領域を発生させる照明態様で照明光の照射を行い、
    前記算定では、前記照明態様を示す予め定められた照明パターン情報を参照して、前記生成において生成された1以上の画像各々について、当該画像における前記特定形状の照射領域における中央部分と周辺部分とのうち周辺部分内の画素データと、当該画像における非照射領域内の画素データとの差分に基づいて、生体情報の算定を行い、
    前記照射では、前記特定形状の照射領域の大きさが、前記生体上で3mm以上となるように照射を行う、
    生体情報測定方法。
  13. コンピュータに生体情報算定処理を実行させるためのプログラムであって、
    前記生体情報算定処理は、
    照明光を生体へ照射して当該生体を撮像することで生成された画像を取得する画像取得ステップと、
    前記照明光の照明態様を示す予め定められた照明パターン情報を参照して、前記画像取得ステップで取得された画像における位置毎に対応付けられた画素データのうち、前記生体における前記照明光が照射された領域である照射領域内の画素データと前記生体における前記照明光が照射されていない領域である非照射領域内の画素データとの差分に基づいて生体情報を算定する算定ステップとを含み、
    前記算定ステップでは、
    前記画像取得ステップにより取得された画像から所定の顔認識技術を用いて顔を検出し、
    検出した前記顔の領域における、人間の肌の色に相当するように予め定められた特定基準を満たす色を表す画素データのうち、照射領域の画素データと非照射領域の画素データとの差分を、前記生体情報の前記算定の基礎として用い
    前記照明光は、前記生体に特定形状の照射領域を発生させる照明態様で照射され、前記特定形状の照射領域の大きさが、前記生体上で3mm以上であり
    前記算定ステップでは、前記照明態様を示す予め定められた照明パターン情報を参照して、前記画像取得ステップにおいて生成された1以上の画像各々について、当該画像における前記特定形状の照射領域における中央部分と周辺部分とのうち周辺部分内の画素データと、当該画像における非照射領域内の画素データとの差分に基づいて、生体情報の算定を行う、
    プログラム。
JP2016151877A 2015-12-07 2016-08-02 生体情報測定装置、生体情報測定方法及びプログラム Active JP6763719B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610998934.8A CN107028602B (zh) 2015-12-07 2016-11-14 生物体信息测定装置、生物体信息测定方法以及记录介质
US15/366,162 US10912516B2 (en) 2015-12-07 2016-12-01 Living body information measurement device, living body information measurement method, and storage medium storing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562263874P 2015-12-07 2015-12-07
US62/263,874 2015-12-07

Publications (2)

Publication Number Publication Date
JP2017104491A JP2017104491A (ja) 2017-06-15
JP6763719B2 true JP6763719B2 (ja) 2020-09-30

Family

ID=59060323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016151877A Active JP6763719B2 (ja) 2015-12-07 2016-08-02 生体情報測定装置、生体情報測定方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6763719B2 (ja)
CN (1) CN107028602B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6880581B2 (ja) * 2016-07-06 2021-06-02 株式会社リコー 光計測装置、光計測方法、及び、プログラム
JP6911609B2 (ja) * 2017-07-20 2021-07-28 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラム、テレビ会議システム、及び生体情報取得システム
JP7088662B2 (ja) * 2017-10-31 2022-06-21 株式会社日立製作所 生体情報検出装置および生体情報検出方法
JP7133771B2 (ja) * 2018-02-13 2022-09-09 パナソニックIpマネジメント株式会社 生体情報表示装置、生体情報表示方法及び生体情報表示プログラム
JP7308430B2 (ja) * 2018-03-15 2023-07-14 パナソニックIpマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
JP7229676B2 (ja) * 2018-05-21 2023-02-28 株式会社日立製作所 生体情報検出装置および生体情報検出方法
JP7182244B2 (ja) * 2018-06-15 2022-12-02 国立大学法人静岡大学 撮像装置
CN112449580A (zh) * 2018-07-23 2021-03-05 新唐科技日本株式会社 活体状态检测装置以及活体状态检测方法
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
JP7161704B2 (ja) * 2019-03-29 2022-10-27 株式会社アイシン 脈拍数検出装置、及び脈拍数検出プログラム
JP2022137722A (ja) * 2021-03-09 2022-09-22 シャープ株式会社 撮像装置、情報取得装置、および、撮像方法
CN114041769A (zh) * 2021-11-25 2022-02-15 深圳市商汤科技有限公司 心率测量方法及装置、电子设备及计算机可读存储介质
JPWO2023195148A1 (ja) * 2022-04-08 2023-10-12
JPWO2023195149A1 (ja) * 2022-04-08 2023-10-12
WO2024023868A1 (ja) * 2022-07-25 2024-02-01 三菱電機株式会社 体調異常検出装置及び体調異常検出方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3411360B2 (ja) * 1993-12-28 2003-05-26 理化学研究所 光の透過度、散乱度の簡易測定方法および該簡易測定方法に使用する測定装置
CN1154434C (zh) * 1996-12-06 2004-06-23 乔斯林·W·考伊 诊断人或者动物皮肤状况的装置
US6292169B1 (en) * 1998-02-13 2001-09-18 Kabushiki Kaisha Toshiba Information input apparatus
US9843743B2 (en) * 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
EP2648618B1 (en) * 2010-12-10 2021-07-14 Joyson Safety Systems Acquisition LLC System for monitoring a vehicle driver
CN103370727A (zh) * 2011-04-22 2013-10-23 株式会社日立制作所 血管图像摄影装置及生物体认证装置
CN104684465B (zh) * 2012-07-12 2017-07-07 菲力尔系统公司 使用热成像的婴儿监测系统及方法
WO2014095759A1 (en) * 2012-12-21 2014-06-26 Koninklijke Philips N.V. System and method for extracting physiological information from remotely detected electromagnetic radiation
DE112014000934T5 (de) * 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
BR112015021277A2 (pt) * 2013-03-06 2017-07-18 Koninklijke Philips Nv sistema para determinar informações de sinais vitais de um indivíduo, método para determinar as informações de sinais vitais de um indivíduo e programa de computador
CN104274176B (zh) * 2013-07-11 2018-10-30 韩鸿宾 脑组织微观结构的无创测量方法
WO2015045554A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 生体情報取得装置および生体情報取得方法
JP6308863B2 (ja) * 2014-05-14 2018-04-11 キヤノン株式会社 光音響装置、信号処理方法、及びプログラム

Also Published As

Publication number Publication date
CN107028602B (zh) 2021-07-06
JP2017104491A (ja) 2017-06-15
CN107028602A (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
JP6763719B2 (ja) 生体情報測定装置、生体情報測定方法及びプログラム
US10912516B2 (en) Living body information measurement device, living body information measurement method, and storage medium storing program
US20220054089A1 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
RU2656760C2 (ru) Система и способ для извлечения физиологической информации из удаленно обнаруженного электромагнитного излучения
JP6615197B2 (ja) 皮膚検出に関するデバイス及び方法
CN107735015B (zh) 使用彩色图像传感器的用于组织的激光散斑成像的方法和系统
JP6899537B2 (ja) 人体検出装置
EP3019078B1 (en) System for screening of the state of oxygenation of a subject
RU2688445C2 (ru) Система и способ для определения информации об основных физиологических показателях субъекта
EP3383258B1 (en) Device, system and method for determining vital sign information of a subject
CN105960264A (zh) 对光疗处置期间的生命体征的基于相机的监测
JP5917756B2 (ja) ヘモグロビンの相対濃度変化と酸素飽和度測定装置
EP3806740B1 (en) System and method for determining at least one vital sign of a subject
Würtenberger et al. Optimum wavelengths in the near infrared for imaging photoplethysmography
Karlen et al. Detection of the optimal region of interest for camera oximetry
JP2007313358A5 (ja)
EP3422931B1 (en) Device, system and method for determining a vital sign of a subject
EP3838128A1 (en) Device and method for determining a vital sign of a subject
JP6419093B2 (ja) 撮像装置
US20220047221A1 (en) System and method for determining at least one vital sign of a subject
KR20220098578A (ko) 조직 식별 및 생체 확인 장치 및 이를 이용한 조직 식별 및 생체 확인 방법
EP3806714A1 (en) System and method for determining at least one vital sign of a subject

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200715

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200910

R151 Written notification of patent or utility model registration

Ref document number: 6763719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151