JP6865384B2 - 生体情報検出装置 - Google Patents

生体情報検出装置 Download PDF

Info

Publication number
JP6865384B2
JP6865384B2 JP2016207993A JP2016207993A JP6865384B2 JP 6865384 B2 JP6865384 B2 JP 6865384B2 JP 2016207993 A JP2016207993 A JP 2016207993A JP 2016207993 A JP2016207993 A JP 2016207993A JP 6865384 B2 JP6865384 B2 JP 6865384B2
Authority
JP
Japan
Prior art keywords
biological information
light
subject
test portion
arithmetic circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016207993A
Other languages
English (en)
Other versions
JP2017144225A (ja
Inventor
尚美 里井
尚美 里井
照弘 塩野
照弘 塩野
藤井 俊哉
俊哉 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201611233197.9A priority Critical patent/CN107088071B/zh
Priority to US15/417,309 priority patent/US10602971B2/en
Publication of JP2017144225A publication Critical patent/JP2017144225A/ja
Priority to US16/791,491 priority patent/US20200178871A1/en
Application granted granted Critical
Publication of JP6865384B2 publication Critical patent/JP6865384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本開示は、生体情報を検出する技術に関する。
人間の健康状態を判断するための基礎的なパラメータとして、心拍、血流量、血圧、血中酸素飽和度などが広く用いられている。血液に関するこれらの生体情報は、通常、接触型の測定器によって測定される。接触型の測定器は、被検者の生体を拘束するため、特に長時間にわたって連続して測定する場合に被検者の不快感を招いていた。
近年、慢性疾患の増加および社会の高齢化により、在宅での健康管理の実践および普及が進められている。医療施設内で行われる生体情報計測は、病気を直すという目的があるため、患者は計測に伴う痛みを耐えることができる。しかし、在宅での健康管理という用途では、計測に痛みや煩わしさを伴うようでは普及が難しい。在宅医療における計測技術には、医療施設内で行われる計測技術の延長ではなく、異なるアプローチが必要である。例えば、非侵襲は当然の事として、無拘束かつ非接触、さらには無意識下で計測できることが期待される。
特許文献1は、非接触で生体情報を計測する方法の例を開示している。特許文献1に開示された人体センサは、人の目で見えないマイクロ波を使用して、心拍、呼吸、体動を計測する。また、特許文献2および3は、通常のカメラを使用して、人の目で判別できないほど僅かな輝度変化から脈拍や呼吸を計測する方法を開示している。いずれの計測方法も、体表からの電磁波の反射を観察することで、非接触での生体情報計測を可能としている。
一方で、より深部の生体情報を非侵襲で取得する方法として、近赤外分光法(以下、NIRS:Near infrared spectroscopy)がある。この計測方法では、近赤外線の波長領域(主に700nm〜1000nm)の電磁波(以下、「光」と称する。)が使用される。上記波長領域の光は、筋肉や脂肪および骨などの生体組織に対する透過率が比較的高いため、「生体の窓」と呼ばれる。一方、この波長領域の光は、血液中のオキシヘモグロビン(HbO2)およびデオキシヘモグロビン(Hb)には吸収される性質を有しているため、血流の変化を測定することが可能である。NIRSは主に脳機能の計測に使用され、うつ病などの精神疾患の診断に応用されている。NIRSを用いて脳機能を測定する光脳機能測定装置は、被検者の頭皮上に配置された光源から近赤外線(「近赤外光」とも称する。)を照射し、大脳皮質内を通過した光を検出器で検出する。検出器で検出された信号に基づき、脳に流れる血液中のオキシヘモグロビン濃度およびデオキシヘモグロビン濃度を算出することができる。ヘモグロビンの酸素状態に基づき、脳の活動状態(以下、「脳機能」と呼ぶことがある。)を推定することもできる。特許文献5は、NIRSを利用して脳機能を計測する光脳機能計測装置の例を開示している。
特許文献4は、複数の光照射手段と受光手段を規則的に配置し、受光手段で検出された信号から計測対象の信号の空間分布を算出する計測装置を開示している。
特開2002−71825号公報 特開2014−36801号公報 特開2015−100432号公報 特開平9−19408号公報 特開2015−134157号公報
G. Lopez et al. "Continuous blood pressure monitoring in daily life," Journal of Advanced Mechanical Design, Systems, and Manufacturing 3(1), 179‐186 (2010).
従来の技術では、被検者が動くと生体情報を安定して取得することができなかった。
本開示の限定的ではない例示的な実施形態は、被検者が動いても生体情報を安定して取得することが可能な技術を提供する。
本開示の一態様に係る生体情報計測装置は、被検者の被検部に照射するための照射光を出射する光源と、前記被検部から到達した光を検出し、前記光に対応する電気信号を出力する光検出器と、前記電気信号に基づいて、前記被検部内の対象領域における血流に関する生体情報の信号を生成する演算回路と、を備え、前記光検出器は、イメージセンサであり、前記電気信号は、前記イメージセンサによって取得される画像信号を含み、前記演算回路は、前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出し、前記被検部の向きの傾きの大きさに応じて、前記対象領域を決定する。
上記の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよい。あるいは、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様によれば、被検者が動いても目的とする生体情報を得ることができる。
図1Aは、実施形態1における生体情報検出装置100の概略的な構成を模式的に示す図である。 図1Bは、実施形態1における生体情報検出装置100のより詳細な構成例を示す図である。 図1Cは、光121が照射された被検者Oにおいて反射および散乱した光が光検出器140に到達する様子を模式的に示す図である。 図2は、オキシヘモグロビン、デオキシヘモグロビン、および水のそれぞれの、光の吸収係数の波長依存性を示す図である。 図3は、処理装置150の内部の構成を示す図である。 図4Aは、ある時刻T1に光検出器140によって取得された画像情報を示す図である。 図4Bは、ある時刻T2に光検出器140によって取得された画像情報を示す図である。 図4Cは、ある時刻T3に光検出器140によって取得された画像情報を示す図である。 図4Dは、ある時刻T4に光検出器140によって取得された画像情報を示している。 図5Aは、時刻T1における光源110と被検者Oとの位置関係を示す模式図である。 図5Bは、時刻T3における光源110と被検者Oとの位置関係を示す模式図である。 図6は、生体情報検出装置100の動作の例を示すフローチャートである。 図7は、実施形態2における動作の概要を示す図である。 図8Aは、頭頂側から見たときの頭部断面を模式的に示す図である。 図8Bは、図8Aに示す状態における大脳皮質における生体情報の計測対象部位12と、皮膚表面において光が出射する領域である光出射部13とを示す図である。 図9Aは、図8Aに示す状態から被検部が角度βだけ傾いた状態を示す断面図である。 図9Bは、図9Aに示す状態における大脳皮質の生体情報の計測対象部位22と、皮膚表面において光が出射する領域である光出射部23とを示している。 図10は、実施形態3の生体情報検出装置100の構成を模式的に示す図である。 図11は、光検出器140とは別のイメージセンサ141をさらに備えた生体情報検出装置100の構成例を模式的に示す図である。 図12は、計測によって取得される脈波の一例を模式的に示す図である。 図13は、顔および手の2点から得られる脈波a、bを模式的に示す図である。 図14Aは、実施形態4における生体情報計測モジュール300が取り付けられた電子機器400の例を模式的に示す図である。 図14Bは、実施形態4における生体情報計測モジュール300および電子機器400の構成を模式的に示すブロック図である。 図15Aは、被検者である学習者Oが、実施形態5の電子機器400を用いて学科(例えば算数、国語など)の問題を解いている様子を示す図である。 図15Bは、図15Aの状態から、学習者Oの頭部が動いた状態の例を示す図である。 図16は、実施形態6によるロボット500および被検者である対話者Oを模式的に示す図である。 図17は、ロボット500の構成例を示す図である。 図18は、実施形態7による車両600の車内を模式的に示している。 図19は、実施形態8による環境制御装置700の外観を模式的に示している。 図20は、実施形態2における生体情報検出装置100の動作の例を示すフローチャートである。
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。
本発明者らは、被検者の血液に関する生体情報(例えば脳血流の情報)を検出して、様々な用途に利用することを検討している。例えば、脳血流の情報に基づいて、被検者の集中度または感情などを推定し、推定結果に応じて様々な機器を制御することを検討している。そのような制御の一例として、タブレットコンピュータを用いた教育用のアプリケーションにおいて、学習者の集中度に応じて表示内容を変化させるといった制御が考えられる。あるいは、対話型ロボットと音声または映像によるコミュニケーション(以下、「会話」と表現することがある。)を行っている人の心理状態または集中度に応じて、会話の内容を変更するといった制御も考えられる。他にも、運転者の集中度に応じた自動運転車の制御、または、室内の人の感情(暑さ、寒さ等の感覚を含む。)に応じて、エアコンディショナーの設定温度またはオーディオ機器のボリュームを変更するといった制御も考えられる。
このようなインタラクティブな動作を実現するためには、使用者(本明細書において、「被検者」とも称する。)の脳血流などの生体情報を適切に取得することが必要である。しかし、被検者は、常に静止しているということはなく、通常よく動く。被検者は歩行などの大きな動作だけではなく、生理現象に伴う僅かな体動によっても常に検出器との相対位置が変位する。したがって、検出器によって得られる信号強度は、計測中、常に変動する。特に生体深部の微弱な信号を検出する場合には、その正確な経時変化を観察することは困難である。
本願発明者は、上記の考察に基づき、以下に開示する新規な生体情報計測技術に想到した。
本開示は、以下の項目に記載の生体情報検出装置を含む。
[項目1]
被検者の被検部に照射するための照射光を出射する光源と、
前記被検部から到達した光を検出し、前記光に対応する電気信号を出力する光検出器と、
前記電気信号に基づいて、前記被検部内の対象領域における血流に関する生体情報の信号を生成する演算回路と、
を備え、
前記光検出器は、イメージセンサであり、
前記電気信号は、前記イメージセンサによって取得される画像信号を含み、
前記演算回路は、前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出し、前記被検部の向きの傾きの大きさに応じて、前記対象領域を決定する、
生体情報検出装置。
[項目2]
前記演算回路は、前記対象領域の形状、および前記被検部における前記対象領域の位置からなる群から選択される少なくとも1つを決定する、
項目1に記載の生体情報検出装置。
[項目3]
前記演算回路は、さらに、前記被検部の向きの傾きの大きさが変化したか否かを判定し、前記被検部の向きの傾きの大きさが変化したと判定された場合、変化後の前記被検部の向きの傾きの大きさに応じて、前記対象領域の形状を変化させる、
項目1に記載の生体情報検出装置。
[項目4]
前記演算回路は、さらに、前記被検部の向きの傾きの大きさが変化したか否かを判定し、前記被検部の向きの傾きの大きさが変化したと判定された場合、変化後の前記被検部の向きの傾きの大きさに応じて、前記被検部における前記対象領域の位置を変化させる、
項目1に記載の生体情報検出装置。
[項目5]
前記被検者は複数の特徴点を有しており、
前記演算回路は、
前記画像信号から前記複数の特徴点を抽出し、
前記画像信号における前記複数の特徴点の位置に基づいて、前記被検部の向きの傾きの大きさを検出する、
項目1に記載の生体情報検出装置。
[項目6]
前記演算回路は、
前記被検部の向きの傾きの大きさに基づいて、前記被検部の内部における前記光の伝播経路を予測し、
予測した前記伝播経路に基づいて、前記対象領域を決定する、
項目5に記載の生体情報検出装置。
[項目7]
前記演算回路は、
前記被検部の向きの傾きの大きさおよび予測した前記伝播経路からなる群から選択される少なくとも一方に基づいて、前記被検部から出射する前記光の強度または前記光の強度の基準値からの変化の割合を予測し、
予測した前記光の強度または前記光の強度の変化の割合が第1の値よりも小さいとき、前記生体情報の前記信号の強度を大きくする、
項目6に記載の生体情報検出装置。
[項目8]
前記演算回路は、予測した前記光の強度または前記光の強度の変化の割合が第2の値よりも大きいとき、前記生体情報の前記信号の強度を小さくする、
項目7に記載の生体情報検出装置。
[項目9]
前記光検出器は、複数の時刻において、前記電気信号を出力し、
前記演算回路は、前記複数の時刻において前記光検出器から出力された前記電気信号に基づいて、経時的に前記生体情報の前記信号を生成する、
項目1から8のいずれかに記載の生体情報検出装置。
[項目10]
前記演算回路は、さらに、前記電気信号に基づいて、前記被検部と前記光検出器との距離を検出し、
前記演算回路は、前記距離が所定の距離よりも長いとき、前記生体情報の前記信号の強度を大きくする、
項目1に記載の生体情報検出装置。
[項目11]
前記演算回路は、前記距離が前記所定の距離よりも短いとき、前記生体情報の前記信号の強度を小さくする、
項目10に記載の生体情報検出装置。
[項目12]
前記演算回路は、さらに、前記距離が変化したか否かを判定し、前記距離が変化したと判定された場合、前記生体情報の前記信号の強度を、前記距離が大きいほど大きい値に変化させる、
項目10に記載の生体情報検出装置。
[項目13]
前記演算回路は、前記イメージセンサによって取得された前記画像信号のうち、前記被検部に相当する画像信号に含まれる1つまたはそれ以上の画素ごとに、前記距離の検出、前記生体情報の前記信号の生成、および前記生体情報の前記信号の強度の調整を行う、
項目10に記載の生体情報検出装置。
[項目14]
前記所定の距離は、ある時点において前記演算回路により検出された前記距離である、
項目10から13のいずれかに記載の生体情報検出装置。
[項目15]
前記所定の距離は、前記生体情報の前記信号の生成を開始した時点において前記演算回路により検出された前記距離である、
項目10から13のいずれかに記載の生体情報検出装置。
[項目16]
前記照射光はパルス光であり、
前記演算回路は、前記光源が前記パルス光を出射してから前記光検出器が前記パルス光を検出するまでの時間に基づいて、前記距離を検出する、
項目10から15のいずれかに記載の生体情報検出装置。
[項目17]
前記被検部までの距離を検出する測距センサをさらに備え、
前記演算回路は、前記測距センサによって検出された前記距離に基づいて、前記生体情報の前記信号の強度を調整する、
項目10から15のいずれかに記載の生体情報検出装置。
[項目18]
前記光は、650nm以上950nm以下の波長の成分を含む、
項目1から17のいずれかに記載の生体情報検出装置。
[項目19]
前記被検部は前記被検者の額であり、
前記生体情報は、前記被検者の大脳皮質における血流に関する情報である、
項目1から18のいずれかに記載の生体情報検出装置。
[項目20]
生体情報検出装置であって、
被検者の被検部に照射するための照射光を出射する光源と、前記被検部から到達した光を検出して前記被検部の画像信号を出力するイメージセンサとを備えた装置から受け取った前記画像信号に基づいて、前記被検部内の対象領域における血流に関する生体情報の信号を生成する演算回路を備え、
前記演算回路は、前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出し、前記被検部の向きの傾きの大きさに応じて、前記対象領域を決定する、
生体情報検出装置。
[項目21]
被検者の被検部に照射するための照射光を出射する光源と、前記被検部から到達した光を検出して前記被検部の画像信号を出力するイメージセンサと、を備えた装置に電気的に接続されて使用される生体情報検出装置の制御方法であって、前記生体情報検出装置に、
前記イメージセンサから出力された前記画像信号に基づいて、前記被検部における血流に関する生体情報を生成させ、
前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出させ、
前記被検部の向きの傾きの大きさに応じて、前記被検部における前記生体情報を生成する対象領域を決定させる、
制御方法。
[項目22]
被検者の被検部に照射するための照射光を出射する光源と、前記被検部から到達した光を検出して前記被検部の画像信号を出力するイメージセンサと、を備えた装置に電気的に接続されて使用される生体情報検出装置のコンピュータに実行させるプログラムであって、前記コンピュータに、
前記イメージセンサから出力された前記画像信号に基づいて、前記被検部における血流に関する生体情報を生成させ、
前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出させ、
前記被検部の向きの傾きの大きさに応じて、前記被検部における前記生体情報を生成する対象領域を決定させる、
プログラム。
以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能または類似する機能を有する構成要素には共通の参照符号を付し、説明を省略することがある。
(実施の形態1)
まず、本開示の実施の形態1における生体情報検出装置を説明する。本実施形態における生体情報検出装置100は、被検者の被検部における脳血流を非接触で計測する。
図1Aは、実施形態1における生体情報検出装置100の概略的な構成を模式的に示す図である。
生体情報検出装置100は、光源110と、光検出器140と、光検出器140に電気的に接続された演算回路200とを備える。光源110から出射された光は被検者Oの被検部(この例では額)で反射され、光検出器140に入射する。光検出器140は、入射した光を電気信号に変換して出力する。演算回路200は、光検出器140から出力された信号に基づいて、被検部における血流に関する生体情報を生成する。
本明細書において、「生体情報」とは、心拍、血流量、血圧、血中酸素飽和度などの血液に関する種々の情報を意味する。特に、本実施形態では、脳血流における上記の情報が演算回路200によって計測される。これにより、被検者Oの集中度または感情などの状態を推定することができる。
本実施形態における演算回路200は、簡単に述べると、以下の動作を行う。
(1)光検出器140と被検部との距離が所定の距離よりも長いとき、生体情報の信号強度を大きくして出力する。
(2)光検出器140と被検部との距離が当該所定の距離よりも短いとき、生体情報の信号強度を小さくして出力する。
より具体的には、演算回路200は、光検出器140と被検部との距離が変化したとき、生体情報の信号強度を、距離が大きいほど大きい値に変化させて出力する。「所定の距離」は、予め設定された比較の基準となる距離であってもよいし、ある時点において検出された被検部と光検出器140との距離であってもよい。例えば、生体情報の検出を開始するときの光検出器140と被検部との距離を「所定の距離」とすることができる。
結果として、ユーザーに見える情報は、距離が変わってもほとんど変化しない。距離変化による大きな信号変化を抑制し、生体情報の微弱な変化が連続的に(距離の変化によって大幅に変動することなく)観察される。これによって、過去と現在の生体の状態を直感的に比較することが可能になる。
上記の動作により、被検者Oの血流の状態が同一である場合には、被検部の位置および向きによらずに、ほぼ同程度の信号レベルの生体情報を得ることができる。これにより、例えば生体情報を経時的に取得してその時間変化を比較することが容易になる。
以下、本実施形態の構成および動作をより詳細に説明する。
〔1−1.生体情報検出装置100の構成〕
図1Bは、本実施形態における生体情報検出装置100のより詳細な構成例を示す図である。この例における生体情報検出装置100は、前述した光源110、光検出器140、演算回路200に加えて、光源110から出射された光の経路を変更する光学素子120と、被検者Oからの光を集光する光学系130と、光検出器140から出力された信号を処理し、光源110および光学素子120を制御する処理装置150とを備えている。演算回路200は処理装置150の内部に設けられている。図1Bには、生体情報検出装置100の外部の要素であるディスプレイ(表示装置)160も示されている。ディスプレイ160は、処理装置150に接続され、処理結果を表示する。
光源110および光検出器140は、演算回路200およびディスプレイ160と一体であってもよいし、一体でなくてもよい。光検出器140、演算回路200、ディスプレイ160の間で無線による通信を行ってもよい。生体情報検出装置100は、情報の送受信を行う通信回路を備え得る。演算回路200は、生体情報検出装置100から離れた位置に配置されたコンピュータ(例えばサーバコンピュータ)に搭載されていてもよい。生体情報検出装置100は、インターネットなどのネットワークを介して、遠隔地にある演算回路200に光検出器140からの出力信号を送信し、演算回路200に生体情報の生成および解析を実行させてもよい。
以下、各構成要素の詳細を説明する。
光源110は、被検者Oの被検部に光を照射する。本実施形態における被検部は、被検者Oの額である。額に光を照射し、その散乱光を検出することにより、脳血流の情報を取得することができる。本明細書において、「散乱光」とは、反射散乱光と透過散乱光とを含む。以下の説明では、反射散乱光を単に「反射光」と称することがある。脳血流以外の生体センシングを行う場合には、反射散乱光だけでなく透過散乱光を利用する場合もある。脳血流以外の血液の情報を取得する場合には、額以外の部位(例えば腕または脚など)を被検部としてもよい。以下の説明では、特に断りがない限り、被検部は額であるものとする。被検者Oは人間であるものとするが、人間以外の皮膚を有し、毛の生えていない部分を有する動物であってもよい。本明細書における「被検者」の用語は、そのような動物を含む被検体一般を意味する。
光源110は、例えば650nm以上950nm以下の光を出射する。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。上記の波長範囲は、「生体の窓」と呼ばれ、体内での吸収率が低いことで知られている。本実施形態における光源110は、上記の波長範囲の光を出射するものとして説明するが、他の波長範囲の光(例えば近紫外線)を用いてもよい。本明細書では、可視光のみならず赤外線および紫外線についても「光」の用語を使用する。なお、本開示の技術は、可視光、赤外線、および紫外線以外の波長の電磁波、例えば、マイクロ波をプローブとして利用することも考えられる。
図2は、オキシヘモグロビン(酸化ヘモグロビン)、デオキシヘモグロビン(還元ヘモグロビン)、および水のそれぞれの、光の吸収係数の波長依存性を示す図である。650nm以下の可視光領域では血液中のヘモグロビン(HbO2およびHb)による吸収が大きく、950nmよりも長い波長域では水による吸収が大きい。一方、650nm以上950nm以下の波長範囲内では、ヘモグロビンおよび水の吸収係数が比較的低く、散乱係数は比較的大きい。よって、この波長範囲内の光は、体内に侵入した後、強い散乱を受けて体表面に戻ってくる。このため、効率的に体内の情報を取得することができる。そこで、本実施形態では、この波長範囲の光が主に使用される。
光源110は、例えばパルス光を連続的に出射するレーザダイオード(LD)などのレーザ光源であり得る。本実施形態のように被検者Oが人である場合、出射光の網膜への影響を考慮する必要がある。光源110としてレーザ光源を使用する場合、各国で策定されるレーザ安全基準のクラス1を満足することが望ましい。クラス1が満足されている場合、被爆放出限界(AEL)が1mWを下回るほどの低照度の光が被検者Oに照射される。ただし、光源110自体はクラス1を満たしていなくてもよい。例えば、拡散板またはNDフィルタなどの素子が光源110と被検者Oとの間に配置され、光が拡散または減衰されることによってレーザ安全基準のクラス1が満たされてもよい。
光源110は、レーザ光源に限らず、発光ダイオード(LED)などの他の種類の光源であってもよい。光源110には、例えば半導体レーザ、固体レーザ、ファイバレーザ、スーパールミネッセントダイオード、およびLEDなどが広く用いられ得る。これらと小型の光学素子120とを組み合わせることにより、装置全体を小型化することができる。光源110は、パルス光を出射する光源に限らず、連続光を出射する光源であってもよい。
光源110は、処理装置150における制御回路からの指示に応じて発光の開始および停止、ならびに発光パワーの変更を行う。光源110から出射される光121は、脳血流に関する情報の検出、および額の位置および距離の検出に用いられる。
光学素子120は、光源110と被検者Oの被検部(額)との間の、光121の光路上に配置される。光学素子120は、光121の光路を変更して光121を額へ導く。光学素子120は、処理装置150からの指示に応答して、額への光121の照射位置を調整する。光学素子120がミラーを含む場合は、その角度を変えることにより、額における光121の照射位置を変更することができる。
光学素子120は、例えば、MEMS(Micro Electro Mechanical Systems)ミラーであり得る。特に2軸走査型のMEMSミラーを用いれば、被検部における光の照射位置を2次元的に調整できる。これにより、小型でかつ高速な光照射位置の調整が可能である。光学素子120には、他にも、例えば、ポリゴンミラー、ガルバノミラー、または回転型のプリズムを用いてもよい。
本明細書では、光源110および光学素子120の組み合わせを「光源ユニット」と称することがある。光源110および光学素子120を含む光源ユニット170は、例えば1つの光学モジュールとして構成され得る。本明細書では、光源ユニット170からの光の出射方向のことを、「光源からの光の出射方向」と表現することがある。
図1Cは、光121が照射された被検者Oにおいて反射および散乱した光(「戻り光」と表記する。)が光検出器140に到達する様子を模式的に示す図である。被検者Oからの戻り光は、被検者Oの表面で反射する成分(表面反射成分I1)と、被検者Oの内部で1回反射、散乱、または多重散乱する成分(内部散乱成分I2)とを含む。このうち、検出したい成分は内部散乱成分I2である。しかし、一般に、内部散乱成分I2の信号強度は小さい。これは、前述のように、レーザ安全基準を満たす非常に小さな光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質や血流による光の散乱や吸収が大きいためである。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、さらに数十分の1の大きさに相当し、非常に小さい。したがって、検出したい信号成分の数千〜数万倍である表面反射成分I1をできるだけ混入させずに検出することが望ましい。そこで、検出器140を電子シャッターの機能を有するイメージセンサで構成し、処理装置150がシャッタータイミングを適切に制御することにより、内部散乱成分I2のみを検出するようにしてもよい。そのような構成は、例えば特願2015‐122390号の明細書に開示されている。特願2015‐122390号の開示内容全体を本願に援用する。
光学系130は、被検部で反射または拡散された光121を光検出器140に集光する。光学系130は、例えば単一または複数のレンズであり、ミラーを含んでいてもよい。光学系130がレンズを含む場合、レンズの受光側の面および出射側の面に光121の反射を抑制する反射防止膜をそれぞれ設けてもよい。これにより、より高い感度で脳血流の情報を検出することができる。
光検出器140は、被検者Oからの戻り光を検出する。光検出器140は、例えば1次元または2次元に配列された複数の光検出素子を含む。各光検出器は、例えばフォトダイオードを含み、被検部からの光121のパワー(または光量)に応じた電気信号を出力する。光検出素子は、例えば光電子増倍管(PMT)のような他の素子でもよい。光検出素子として、高感度なアバランシェフォトダイオードまたは光電子増倍管などを用いると、より高い感度で脳血流の情報を取得することが可能である。
光検出器140は、光源110から出射される光の波長を含む波長域の光に感度を有するCCDまたはCMOSなどのイメージセンサ(撮像素子)であってもよい。イメージセンサを用いることで、光の2次元的な強度分布(例えば動画像)を取得することができる。この場合、光検出器140が出力する電気信号は、画像信号を含む。演算回路200は、取得した動画像を利用して、被検部の特徴的なパターンを画像認識によって抽出し、画像中の被検部の位置を特定することができる。被検部の動きを動き検出によって検出してもよい。
光検出器140はまた、被検者Oまでの距離を計測可能な構成を備え得る。例えばTOF(Time−of−Flight)技術を用いて被検者Oまでの距離を計測できる。TOF技術では、照射光(例えばパルス光)が被検者Oで反射され、その反射光が光検出器140に到達するまでに要する時間、すなわち飛行時間が計測される。演算回路200は、光源110がパルス光を出射してから光検出器140が当該パルス光を検出するまでの時間に基づいて被検部までの距離を検出できる。飛行時間は、各検出素子で検出される光の位相と、光源110における光の位相との差に基づいて計測できる。光検出器140として、複眼カメラを用いてもよい。複眼カメラは、複数のイメージセンサを有し、取得した複数の画像間の視差に基づいて、距離を計測できる。このように、光検出器140は、画像情報と距離情報の両方を取得可能なデバイスであってもよい。
被検者Oと生体情報検出装置100との距離分布の情報は、光検出器140の出力に基づいて演算回路200が生成してもよいし、光検出器140が生成して演算回路200に送信してもよい。
画像情報を取得する光検出器140と、測距センサとを組み合わせるなど、複数のデバイスを利用して画像情報と距離情報とを取得してもよい。そのような形態では、演算回路200は、測距センサによって検出された距離に基づいて、生体情報の信号強度を調整する。距離の計測は、TOFまたは複眼カメラを用いた方法とは異なる方法で行ってもよい。例えば、演算回路200は、光検出器140から出力される画像信号に基づいて特定した被検部(額)の大きさに基づいて、光検出器140と被検部との距離を検出してもよい。光検出器140によって取得される画像の画角は予め決まっているため、画像中の被検部の領域の大きさから、被検部までの距離を求めることができる。
なお、光学系130と光検出器140とは一体的に構成することができる。また、光源ユニット170と、光学系130と、光検出器140とを一体的に構成してもよい。これにより、例えば携帯が可能な小型の光学ユニットが実現される。小型の光学ユニットは例えばUSBケーブルなどのケーブルで処理装置150に接続され得る。
図3は、処理装置150の内部の構成を示す図である。
処理装置150は、光源110、光学素子120、検出器140、および表示装置(ディスプレイ)160に接続され、これらを制御する。処理装置150は、ROM(Read Only Memory)152、RAM(Random Access Memory)153、制御回路155、および演算回路200を備えている。制御回路155は、例えばCPU(Central Processing Unit)を含む集積回路である。制御回路155は生体情報検出装置100の全体の動作を制御する。演算回路200は、例えばDSP(Digital Signal Processor)などの信号処理回路である。演算回路200は、例えばASIC(Application Specific Integrated Circuit)またはFPGA(Field−Programmable Gate Array)のような集積回路であってもよい。
演算回路200は、光検出器140によって取得された電気信号に基づいて、生体情報を生成する。この際、被検者Oの被検部の位置および姿勢(傾斜角度)に応じて、画像中で生体情報を生成する対象となる領域(本明細書において、「対象領域」と称する。)を変化させ、かつ、生体情報の信号強度を変化させる。演算回路200は、光検出器140(イメージセンサ)によって取得された画像信号のうち、被検部に相当する画像領域における画素ごと、または画素群ごとに、距離の検出、生体情報の生成、および生体情報の信号強度の調整を行う。演算回路200による処理の詳細については後述する。
ROM152は、制御回路155および演算回路200によって実行されるコンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理、またはその一部を、制御回路155および演算回路200に行わせるための命令群である。そのようなコンピュータプログラムは、例えばネットワークを介してダウンロード可能であり、コンピュータが読み取り可能な記録媒体に格納され得る。RAM153は、制御回路155および演算回路200がプログラムを実行するにあたって、当該プログラムを展開するためのワークメモリである。RAM153は、光検出器140から出力された信号(データ)、または計測された生体情報に関するデータを格納する記憶装置(記録媒体)でもある。
処理装置150は、パーソナルコンピュータ、タブレットコンピュータ、スマートフォンなどの汎用のコンピュータであってもよい。そのようなコンピュータは、処理装置150全体の動作を制御するCPUを備える。そのCPUが本開示における演算回路が行う動作の一部または全てを実行してもよい。その場合には、汎用コンピュータのCPUが本開示における「演算回路」の少なくとも一部として機能する。カメラを内蔵するコンピュータによって本実施形態の機能を実現する場合には、光検出器140の機能の一部を、当該コンピュータに内蔵されたカメラで代替してもよい。例えば、画像認識による被検部の検出を当該カメラによる可視光画像を用いて行い、生体情報の生成に必要な近赤外光および赤色光の情報の取得を、外付けの光検出器140で行ってもよい。通常のカメラは、可視光画像を得るために赤外カットフィルタを備えるが、光検出器140は、光源110から出射される近赤外光を検出できるように、赤外カットフィルタを備えていない。
光源110、光学素子120および光検出器140は、各種のインタフェースを介して処理装置150と接続可能である。例えば、光検出器140がイメージセンサである場合、MIPI規格(登録商標)に準拠した端子を利用して処理装置150に接続され得る。また、光源110および光学素子120は、例えばUSBインタフェースを利用して処理装置150に接続され得る。
図示されるように、処理装置150には、被検者の動画像および生体情報を表示する表示装置160が接続され得る。表示装置160は、例えば液晶または有機ELなどのディスプレイである。表示装置160は、例えばHDMI(登録商標)規格の端子を利用して処理装置150に接続され得る。生体情報検出装置100の利用者は、生体活動に関する様々な情報を表示装置160から得ることができる。
上述した有線による接続以外にも、無線通信によってデータの送信および/または受信を行うことも可能である。例えばWi−Fi(登録商標)規格やZigBee(登録商標)規格に準拠した通信が利用され得る。
生体情報検出装置100は、光の2次元の強度分布を計測し、その強度分布に基づいて脳における血流量、血圧、血中酸素飽和度、または心拍数などの種々の生体情報を計測することができる。そのような計測技術は、例えば特許文献5に開示され、本開示にも好適に利用することができる。参考のために特許文献5の開示内容の全てを本明細書に援用する。
脳血流量または血流内成分(例えばヘモグロビン)の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することによって、脳血流量または血液内の成分が変化する。従って、脳血流量または血液内成分の変化などの生体情報を計測できれば、被検者の心理状態を推定することができる。被検者の心理状態とは、例えば、気分(例えば、快、不快)、感情(例えば、安心、不安、悲しみ、憤りなど)、健康状態(例えば、元気、倦怠)、温度感覚(例えば、暑い、寒い、蒸し暑い)などを意味する。また、これに派生して、脳活動の程度を表す指標、例えば熟練度、習熟度、および集中度なども心理状態に含まれる。
〔1−2.生体情報検出装置の動作〕
次に、本実施形態における生体情報検出装置100の動作を説明する。以下の説明では、光検出器140が、画像信号を出力するイメージセンサであるものとする。
生体情報検出装置100は、ユーザーから生体情報の検出開始指示を受けると、光源1から被検者Oに光を照射し、被検者Oから反射された光を光検出器140で検出する。この検出は、検出停止指示を受けるまで、経時的に行われ、光検出器140から動画像の信号が出力される。演算回路200は、この動画像の信号に基づいて、被検部における生体情報を生成する。この際、演算回路200は、被検部の動きに応じて、生体情報を生成する対象となる画像上の領域(本明細書において、「対象領域」と称することがある。)を変更し、かつ、生成する生体情報の信号強度を調整する。被検部の動きには、光検出器140からの距離が殆ど変わらない平面的な動きと、被検部の距離が一律に変化する動きと、距離が部分的に変化する動きとがある。演算回路200は、これらの3種類の動きに応じた処理を行う。
<平面的な移動>
図4Aは、ある時刻T1に光検出器140によって取得された画像情報を示している。演算回路200は、顔検知機能を有し、光検出器140から出力された画像情報に人の顔が含まれているかを検出する。演算回路200は、顔を構成する特徴点(目、鼻、口など)の位置に基づいて、生体情報を計測する対象領域である額領域(図中の破線枠内の領域)を決定する。
図4Bは、ある時刻T2に光検出器140によって取得された画像情報を示している。時刻T1から時刻T2までの間に、被検者の被検部は、光検出器140の画像取得面(撮像面)にほぼ平行な移動、および画像取得面にほぼ垂直な軸の周りでの回転のみを行っている。光検出器140と被検部との距離は変化していない。そこで、演算回路200は、取得された画像中の額の位置の変化を検出し、生体情報を計測する額領域の位置を変更する。
<距離の変化>
図4Cは、ある時刻T3に光検出器140によって取得された画像情報を示している。時刻T3において、被検者Oは、時刻T1に比べて光検出器140から遠ざかっている。時刻T3において、演算回路200は、顔を構成する特徴点の位置の変化を検出し、生体情報を計測する対象領域の位置およびサイズを変更する。さらに、演算回路200は、距離の変化に伴う生体情報の信号強度の減衰を予測し、信号強度を補正する。
図5Aおよび図5Bは、それぞれ時刻T1およびT3における光源110と被検者Oとの位置関係を示す模式図である。ここでは、光源110から照射される光が、分布が一様で角度αの広がりを持つ拡散光であるものとし、時刻T1およびT3における光源110と被検者Oの被検部との距離が、それぞれd1およびd2であるものとする。この場合、時刻T3における額部での照度は、時刻T1における照度の(d1/d2)2倍になる。すなわち、光源110と被検部との距離が離れるほど、被検部に照射される光密度は減少する。それに応じて生体情報の信号強度も減衰する。演算回路200は、時刻T3において取得された生体情報を(d2/d1)2倍する。これにより、時刻T1およびT3においてそれぞれ取得された生体情報を直接比較できるようになる。光源からの光が一様な分布を有しない場合はこの限りではないが、光源の照度分布が既知であれば、演算回路200は、光源110と被検部との距離の増減による生体情報の減衰率を算出して信号強度を補正することが可能である。光検出器140と被検部との距離が長くなるほど、計測環境光などのノイズが増加するため、検出される生体情報のSN比も変わり、感度補正が必要になる。演算回路200は、上記のような被検者の動きに起因する信号の増減を加味して生体情報を補正する。
<角度の変化>
図4Dは、ある時刻T4に光検出器140によって取得された画像情報を示している。時刻T4においては、被検者Oは、時刻T1に比べて鉛直方向の軸の周りに回転しており、被検部である額領域は、画像取得面に対して傾斜している。このため、画像信号中で額領域に相当する領域の形状が変化している。演算回路200は、顔を構成する複数の特徴点の位置の変化に基づき、額領域の形状の変化を検出し、その変化に応じて生体情報を計測する対象領域を変更する。この例では、額領域のうち、奥に位置する図中の左側の領域は、光検出器140からの距離が相対的に大きい。このため、時刻T1において長方形であった対象領域は、時刻T4では左側の縦幅が狭い形状に変形する。さらに、対象領域内の各点における光検出器140からの距離が変化しているため、演算回路200は、対象領域の点ごとに生体情報の信号強度を補正する。この補正は、画素ごとに行ってもよいし、近接する複数の画素のまとまり(画素群)ごとに行ってもよい。生体情報の補正に際しては、光源の照度分布データ、環境光の照度分布データ、および被検者Oと生体情報検出装置100との距離分布の情報が取得できれば精緻な補正が可能である。
以上のような処理により、被検部の動きに応じて適切な生体情報を生成できる。これにより、例えば生体情報を経時的に取得する場合に、信号レベルの変動を抑え、比較を容易にすることができる。
続いて、本実施形態の生体情報検出装置100の全体の動作の例を説明する。
図6は、生体情報検出装置100の動作の例を示すフローチャートである。以下、光検出器140がTOFイメージセンサであるものとして説明する。
(ステップS500)
演算回路200は、光検出器140から出力された画像信号に基づいて、被検者Oの被検部(額)の位置、および光検出器140と額との間の距離を検出する。具体的には、演算回路200は、光検出器140から出力されたフレーム画像中に被検者Oの額があるか否か、およびその位置を画像認識によって特定する。演算回路200は、顔を構成する特徴点(目、鼻、口など)の位置に基づいて、額の有無を検出し、その位置を特定する。この際、人の額に関連付けられたテンプレートを用いたパターンマッチングによって額の位置を特定してもよい。テンプレートは、例えばROM152に予め格納される。画像認識には、公知の手法を広く用いることができ、特定の方法に限定されない。演算回路200は、さらに、光源110から出射される光の位相と、光検出器140によって検出された光の位相との差に基づいて、被検部の各点までの距離を計測(測距)する。演算回路200は、この距離の計測を、画像中の被検部に相当する領域における画素ごと、または近接する複数の画素からなる画素群ごとに行う。
(ステップS501)
演算回路200は、光検出器140から出力された画像信号に基づいて被検者Oの被検部に相当する画像中の対象領域における生体情報を生成する。例えば演算回路200は、脳内の血液中の酸化ヘモグロビン濃度および還元ヘモグロビン濃度を示す情報を生体情報として生成する。演算回路200は、この生体情報の生成を、画像中の被検部に相当する領域における画素ごと、または近接する画素群ごとに行う。
ここで、生体情報の計測方法の具体例を説明する。
血液の大きな役割は、酸素を肺から受け取って組織へと運び、組織からは二酸化炭素を受け取ってこれを肺に循環させることである。血液100mlの中には約15gのヘモグロビンが存在している。酸素と結合したヘモグロビンが酸化ヘモグロビンであり、酸素と結合していないヘモグロビンが還元ヘモグロビンである。図2に示すように、酸化ヘモグロビンおよび還元ヘモグロビンの光吸収特性は異なる。酸化ヘモグロビンは約830nmを超える波長の赤外線を比較的よく吸収し、還元ヘモグロビンは赤色光(例えば660nmの波長)を比較的強く吸収する。805nmの波長の近赤外線については、両者の吸収率に差異はない。そこで、本実施形態では、660nm(赤色光)および830nm(赤外光)の2つの波長を用いて、それぞれの波長について、被検部からの光パワーを計測する。これらの赤色光および赤外光のパワーに基づいて、ヘモグロビンの酸素飽和度を求めることができる。用いる2つの波長の組み合わせとしては、805nm未満の波長と、805nmよりも長い波長の組み合わせが望ましい。酸素飽和度とは、血液中のヘモグロビンのうちどれだけが酸素と結びついているかを示す値である。酸素飽和度は、還元ヘモグロビンの濃度をC(Hb)、酸化ヘモグロビンの濃度をC(HbO2)として、以下の数式で定義される。
酸素飽和度=C(HbO2)/[C(HbO2)+C(Hb)]×100(%)
生体内には、血液以外にも赤〜近赤外の波長の光を吸収する成分が含まれているが、光の吸収率が時間的に変動するのは、主に動脈血中のヘモグロビンに起因する。よって、吸収率の変動に基づいて、高い精度で血中酸素飽和度を測定することができる。心臓から拍出された動脈血は脈波となって血管内を移動する。一方、静脈血は脈波を持たない。生体に照射した光は、動静脈や血液以外の組織など生体の各層で吸収を受けて生体を透過するが、動脈以外の組織は時間的に厚さが変動しない。このため、生体内からの散乱光は、脈動による動脈血層の厚さの変化に応じて時間的な強度変化を示す。この変化は動脈血層の厚さの変化を反映しており、静脈血や組織の影響を含まない。よって、散乱光の変動成分だけに着目することで動脈血の情報を得ることができる。時間に応じて変化する成分の周期を測定することにより、脈拍も求めることができる。
(ステップS502)
演算回路200は、生成した生体情報の信号強度を、対象領域内の画素または画素群の距離に応じて補正する。演算回路200は、図4A〜4D、5A〜5Bを参照して説明した方法で、被検部の動きに応じて信号強度が適切なレベルになるように補正する。これにより、被検部が動いたとしても、異なる時刻に取得された生体情報の比較が容易になる。
(ステップS503)
演算回路200は、生体情報に基づいて被検者の心理状態を推定する。例えば、演算回路200は、ヘモグロビンの酸素状態から、被検者Oの集中度、感情などの心理状態を推定する。
神経細胞が活動すると、毛細血管内の血液中のヘモグロビンによって運ばれてきた酸素が消費される。酸素の消費による局所反応に伴い、血流増加が生じることが知られている。また、毛細血管内還元ヘモグロビンが生体組織に酸素を渡すことにより、還元ヘモグロビンが一時的に増加することが知られている。例えば、被検者Oが課題を解いて学習しているとする。その際、脳血流量は集中度に応じて時々刻々と変化し得る。集中度が高いほど、脳血流量は増加し、血中酸素飽和度は低下する傾向にある。そこで、演算回路200は、例えば脳血流量または血中酸素飽和度の基準値からの変化量に基づいて被検者Oの集中度を判定することができる。本実施形態では、脳血流量または血中酸素飽和度の基準値からの変化量と集中度とを対応付けるテーブルが予めROM152に格納される。演算回路200は、そのテーブルを参照することによって、計測した生体情報から学習の集中度を判定することができる。演算回路200の計測結果および演算回路200の推定結果は、例えばRAM153などの記録媒体に保存される。
(ステップS504)
上述したように、例えば被検者Oがある課題を解いて学習しているとする。その際、被検者Oの頭部、つまり、被検部である額が計測中に動くことが想定される。そこで、演算回路200は、常時、被検者(特に頭部)が動いたか否かを監視する。例えば、演算回路200は、連続したフレーム画像間で動きベクトルを算出する。演算回路200は、その動きベクトルの大きさが閾値以上である場合、被検者Oが動いたと判定し、動きベクトルの大きさが閾値未満である場合、被検者Oが動かなかったと判定する。例えば、その閾値は予めROM152に格納されている。
演算回路200は、被検者Oの被検部の動きを順次判定しなくてもよく、所定のフレーム枚数(例えば300フレーム)毎に動きを判定してもよい。これにより、演算回路200の消費電力を抑えることができる。
演算回路200が被検者Oの被検部の動きを検出しなかった場合、処理は再びステップS501に戻る。演算回路200が被検部の動きを検出した場合、処理はステップS500に戻る。
なお、このような動きベクトルに基づく監視を行わずに、例えば、ステップS502における生体情報の計測を繰り返し行い、計測が正常に行えなくなったことを検出した場合にはステップS500に戻るという動作でもよい。あるいは、単純に、所定時間(例えば数秒から数分)ごとに位置および距離の再検出を行ってもよい。
(実施の形態2)
次に、本開示の実施の形態2を説明する。
本実施形態の生体情報検出装置100の構成は実施形態1のものと同じであるが、演算回路200による処理が異なる。本実施形態では、演算回路200は、被検者Oの被検部の向きが基準の向きから傾いているとき、その傾きの大きさに応じて生体情報を生成する対象領域を決定する。また、演算回路200は、傾きの大きさに応じて生体情報の信号強度を補正する。以下、近赤外光を用いて大脳皮質の脳血流を測定する場合を例に、本実施形態における動作を説明する。
本実施形態における演算回路200は、被検者の被検部である額の中心の法線方向が正面方向から傾いているか否かを判定する。法線方向が正面方向から傾いていないとき、あるいは、傾きが小さいときには、生体情報を生成する対象領域を、図4Aにおいて破線で囲われた領域のように被検者の額の中心位置に設定する。このとき、対象領域は、被検者の額の中心位置に設定する必要はなく、生体情報を取得する目的などに応じて、例えば、額の中心位置から上下左右にずれた位置に設定してもよい。また、図4Aでは、対象領域の形状を略長方形に設定しているが、これに限らず、例えば、三角形状、楕円形状、その他任意の形状として設定してもよい。さらに、例えば、長方形などの各辺を被検者の額の丸みに対応して湾曲させた形状であってもよい。
図7は、本実施形態における動作の概要を示す図である。前述のように、本実施形態における演算回路20は、被検者の被検部である額の中心の法線方向が正面方向から傾いているか否かを判定する。この傾きの判定を継続的に行ない、対象領域を初期設定した時点から、傾きの大きさが変化した場合、変化後の傾きの大きさに応じて、対象領域に位置(中心位置)、および/または形状を変更する。図7に示すように、被検部である額が被検者の右方向に傾けられた場合、対象領域の位置を被検者の額の左側へシフトさせる。ここで、対象領域の位置は、対象領域が全体的に生体情報検出装置100に近づく方向にシフトさせることが望ましい。図7の上の図は、シフト前の対象領域を破線で示し、図7の下の図は、シフト後の対象領域を破線で示している。シフト量は、被検部の傾斜角度が大きいほど大きくなる。また、例えば、被検者の額の丸みに応じて、対象領域の形状を変化させるとしてもよい。演算回路200は、このような動作を、図6に示すステップS501における生体情報の生成の前段階である対象領域の決定の際に行う。この際、必要に応じて、信号強度の補正も併せて行う。以下、この動作についてより詳細に説明する。
図8Aは、頭頂側から見たときの頭部断面を模式的に示す図である。簡単のため、図8Aでは、頭部断面における頭皮、頭蓋骨、脳髄液の部分をまとめて1つの層とし、大脳皮質の部分を1つの層として表している。また、説明を簡単とするため、近赤外光を、拡がりのない直進する光線として表しており、被検部の一点に近赤外光が照射されるようにみえるが、実際には、近赤外光は広がりのある分布を持つため、被検部全体に近赤外光が照射される。図8Aにおいて、矢印は近赤外光がとり得る光路の例を示し、斜線部は光入射部11から入射した近赤外光が伝播し得る領域を表している。図8Aの例では、被検者Oは生体情報検出装置100の光検出器140に対して正面を向いており、近赤外光が皮膚表面に垂直に入射している。図8Bは、大脳皮質における生体情報の計測対象部位12と、皮膚表面において光が出射する領域である光出射部13とを示している。図8Bでは、近赤外光の伝播領域については輪郭のみが示されている。
近赤外光は、皮膚表面上の光入射部11に到達すると、皮膚表面で反射される成分と、頭部内部に侵入する成分とに分かれる。図8Aには、皮膚表面で反射される成分は図示されていない。皮膚表面は実際には平坦ではないため、近赤外光は表面の凹凸によって拡散反射される。頭部内部は異なる複数の生体組織が層状になった構造を有している。このため、近赤外光は、大脳皮質内の計測対象部位12に到達して再び皮膚表面外に放射されるまで、それぞれの組織に固有の光学パラメータ(屈折率、散乱係数、吸収係数、異方散乱パラメータ等)に応じて屈折、吸収、散乱を繰り返す。その結果、近赤外光は、光入射部11を中心に広がりを持った光出射部13から出射される。
近赤外光が頭部内部のどの深さまで到達するかは光の波長と強度に依存する。同一波長であれば強度が高いほど深い位置まで侵入できる。しかし、生体が計測対象である場合は、安全のため、それほど強い近赤外光を用いることはできない。光源の出射パワーは、安全性を考慮して適切な範囲に設定する必要がある。クラス1のレーザを光源として使用する場合は、近赤外光は20〜30mm程度の深さまで到達し、大脳皮質で一部が吸収および散乱され、光入射部11を中心に半径30mm程度の範囲の光出射部13から出射される。このように、吸収散乱体内部の深い位置の情報を計測する場合、計測対象部位12の位置と、その情報を持った信号が検出される光出射部13の位置とは必ずしも一致しない。近赤外光が伝播する光路は、光の波長と、生体組織の光学パラメータ(屈折率、散乱係数、吸収係数、異方散乱パラメータ等)からモンテカルロシュミレーションなどを使用して推定することができる。
ここで、図9Aおよび図9Bを参照しながら、被検部への近赤外光の入射角度が変化した場合の影響を説明する。
図9Aは、図8Aに示す状態から被検部が角度βだけ傾いた状態を示す断面図である。図9Bは、大脳皮質における生体情報の計測対象部位22と、皮膚表面において光が出射する領域である光出射部23とを示している。生体内部に進入する光は前方散乱するため、近赤外光が皮膚表面に対して傾斜して入射した場合、垂直に入射した場合に比べて、散乱光の分布が生体情報検出装置100から遠い側(図中の左側)に偏る。
図8Aおよび図8Bに示すように、皮膚表面に対して近赤外光が垂直に入射した場合、近赤外光は光入射部11を中心に伝播し、大脳皮質の点A、B、Cを含む計測対象部位12を経由し、光出射部13から放出される。すなわち、大脳皮質の点A、B、Cの情報をもつ近赤外光が光出射部13から放出される。これを検出することで生体情報検出装置100は生体情報を得ることができる。
一方、図9Aおよび図9Bに示す状態では、皮膚表面に対して近赤外光が入射角度βで入射する。このため、光入射部11から入射した近赤外光は、進行方向に対して後方に弱く前方に強く散乱する。その結果、近赤外光は、光検出器140から見て手前側に位置する大脳皮質の点Cには到達せず、奥側に位置する点A、Bを含む計測対象部位22に到達する。計測対象部位22に到達した近赤外光は、計測対象部位22で反射され、拡がりを有する光出射部23から放出される。すなわち、光出射部23から出射した光を検出したとしても、点Cにおける生体情報を得ることはできない。点A、B、Cを全て含む領域の情報を得るためには、光出射部23よりも手前側の光出射部24から出射した近赤外光を検出しなければならない。
そこで、本実施形態における演算回路200は、被検部の向きが正面方向から傾いているとき、すなわち、光源110からの光が被検部に傾斜して入射するとき、生体情報を生成する対象領域を、検出器140に近づく方向にシフトさせる。これにより、被検部が正面を向いているときと同様の領域における生体情報を得ることができる。
ここでは、説明を簡単にするため、近赤外光を拡がりのない光線として取り扱ったが、実際には近赤外光は拡がりのある分布をもつ。そこで、演算回路200は、光源から出射する光の照度分布を考慮して、目的とする大脳皮質の部位の情報を持つ光が出射される皮膚表面上の領域を特定してもよい。この特定した結果に基づいて、対象領域を決定またはシフトさせるとしてもよい。そのようにして特定した領域から出射される近赤外光を検出することにより、より好ましい生体情報を得ることができる。
図20は、実施形態2における、生体情報検出装置100の動作の例を示すフローチャートである。このフローチャートを用いて生体情報検出装置100の動作を説明する。なお、実施形態1における生体情報検出装置100の動作と重複する部分は説明を省略する。
(ステップS601)
演算回路200は、光検出器140から出力された画像信号に基づいて、被検者Oの被検部(額)の向きを検出する。ここで、被検部の向きは、例えば、被検者の額の中心の法線方向である。具体的には、演算回路200は、光検出器140から出力されたフレーム画像中の被検者Oの額があるか否か、およびその位置を画像認識によって特定する。演算回路200は、被検者Oの顔を構成する特徴点(目、鼻、口など)の位置に基づいて、被検部の位置および被検部の向きを検出する。検出した被検部の向きに基づいて、被検部の傾きの大きさを算出する。被検部の傾きの大きさは、被検部の向きが基準の向き(正面方向)から傾いている大きさである。
(ステップS602)
演算回路200は、ステップS601において算出した被検部の傾きの大きさに基づいて、被検部において生体情報を生成する対象領域を決定する。既に対象領域が設定されている場合は、新たに検出された被検部の傾きの大きさに応じて、対象領域が変更される。演算回路200は、対象領域の位置を変更してもよいし、対象領域の形状を変更してもよい。
(ステップS603)
演算回路200は、光検出器140から出力された画像信号に基づいて、ステップS602において決定/変更された画像中の対象領域における生体情報を生成する。具体的な処理はステップS501と同じであるため、説明を省略する。
(ステップS604)
演算回路200は、生体情報に基づいて被検者の心理状態を推定する。具体的な処理はステップS503と同じであるため、説明を省略する。
(ステップS605)
上述したように、例えば被検者Oがある課題を解いて学習しているとする。その際、被検者Oの頭部、つまり、被検部である額が計測中に動くことが想定される。動くことによって、被検部の向きが変化する。そこで、演算回路200は、常時、被検部の向きを監視する。例えば、演算回路200は、光検出器140から出力される画像信号に基づいて、継続して被検部の向きを検出する。
(ステップS606)
演算回路200は、ステップS605において監視している被検部の向きが変化したか否かを判定する。被検部の向きが変化していないと判断された場合(ステップS606のNo)、ステップS603に処理を進め、ステップS602において決定された対象領域における生体情報を生成する。被検部の向きが変化していないと判断された場合(ステップS606のYes)、ステップS601へ処理を進め、被検部の傾きの大きさを検出する。その後、フローに従って、処理を進め、傾きの大きさに応じて対象領域を変更する。
次に、被検部の傾きが変化することによる近赤外光の光路長の影響を考える。近赤外光の入射角度が0°からβに変わることで、頭皮や頭蓋骨中で光路長が(1/cosβ)倍に長くなる。このため、光が散乱および吸収される頻度が増加し、再び皮膚表面から出射する確率が低くなる。また、皮膚表面または各組織の界面で反射される割合および分布が変化するため、大脳皮質の情報を得た近赤外光が皮膚表面に放射される確率および分布も変わる。結果として、光検出器140が取得する信号の強度は入射角度が0°の場合よりも減少する。大脳皮質の脳血流の時間変化を観察する場合、異なる時刻に取得された信号を比較できるように補正する必要がある。
そこで、本実施形態における演算回路200は、光の入射角度に起因する伝播経路の変化および検出される信号強度の変化を考慮して、生体情報を比較できるように補正する。具体的には、演算回路200は、以下の処理を行う。
(1)被検者Oの顔検知を行い、顔の向きを特定する。
(2)測定したい大脳皮質の位置を推定する。
(3)近赤外光の波長および入射角度、ならびに生体組織の光学パラメータ(屈折率、散乱係数、吸収係数、異方散乱パラメータ等)に基づいて、近赤外光が伝播する光路と、皮膚表面から放出される確率および分布とを算出する。
(4)測定したい大脳皮質の部位の情報を得た近赤外光が放射される光出射部を推定して生体情報を取得する画像上の対象領域を決定する。
(5)光出射部から放射される近赤外光の信号強度が、光の入射角度が0度である場合の信号強度に対して増減する割合(増減率)を、画素ごとまたは画素群ごとに予測する。
(6)決定した対象領域における生体情報を生成する。
(7)予測した増減率に従って、生体情報を補正する。
このような処理により、生体情報の検出中に被検部の傾きが変化した場合であっても、比較しやすい生体情報を取得できる。
ここでは、簡単のために人体頭部の表面が、大脳皮質とその上部組織の2層構造を持つものとして説明した。しかし、実際の人体頭部の表面は平坦ではなく、上部組織も均一で均質な層構造ではなく、大脳皮質の構造も複雑で個体差がある。精緻な計測分析が必要な場合は、被検者ごとに脳の構造をMRI(Magnetic resonance imaging)などで測定して、実際の形状に合わせて近赤外光の伝播経路を精緻に計算することができる。あるいは、精度は落ちるが、標準的な脳のモデルを用いておおよその確からしい光路を計算することが可能である。いずれの方法を採用するかは、演算処理に要する時間と、用途および目的に合わせて選択すればよい。
生体情報を計測する際、近赤外光の伝播経路の計算および推定をする必要は必ずしもない。生体情報検出装置100に顔の向きと伝播経路の一通りのパターンを学習させておけば、顔の向き(すなわち、被検部への近赤外光の入射角度)を検出するだけで、伝播経路の情報を得ることができる。これにより、光出射部の位置と信号の増減率を推定し、生体情報の取得位置の補正および信号強度の補正を行うことができる。
このように、演算回路200は、被検部の傾き、および予測した伝播経路の少なくとも一方に基づいて、被検部から出射する光の強度または当該強度の基準値からの変化の割合(増減率)を予測することができる。演算回路200は、予測した当該強度または当該強度の変化の割合が所定の値(第1閾値)よりも小さいとき、生体情報の信号強度を大きくして出力する。逆に、演算回路200は、予測した当該強度または当該強度の変化の割合が他の所定の値(第2閾値)よりも大きいとき、生体情報の信号強度を大きくして出力する。
ここまで、近赤外光の伝播経路をシュミレーションし、生体情報の取得位置の補正および生体情報の信号強度の補正を行う方法を説明したが、実測したデータに基づいて補正することも可能である。例えば、同じ脳活動の状態で、様々な角度で計測を行い、基準となる角度における測定結果に合うように、その他の角度における顔の各特徴点の変位量および信号強度の補正係数を求める事前学習を行ってもよい。そのような事前学習を行っておけば、生体情報検出装置100は、被検部までの距離および向き(傾斜角度)を検出することで、目的とする対象領域の位置と信号の増減率とを決定することができる。
(実施形態3)
図10は、本開示の実施形態3の生体情報検出装置100の構成を模式的に示す図である。本実施形態における生体情報検出装置は、2つの光源110、111を備えている。2つの光源110、111は演算回路200に接続されている。
光源110と光源111とは異なる波長帯域の光を出射する。光源110および光源111が出射する光の波長は、例えば前述の650nmおよび830nmであり得る。しかし、この波長の組み合わせに限定されず、種々の組み合わせを採用することができる。本実施形態のように計測対象が生体組織である場合には、図2に示すように、波長が805nmより大きいときは酸化ヘモグロビンによる吸光度が還元ヘモグロビンによる吸光度に比べて大きい。一方、波長805nm未満では、その逆の特性を示す。したがって、例えば、光源110が750nm近辺の波長の光を発光し、光源111が850nm近辺の波長の光を発光するとする。この場合、光源110からの光による内部散乱成分I2と光源111からの光による内部散乱成分I2の各光パワーを計測すれば所定の連立方程式を解くことによりHbO2およびHbの血中濃度初期値からの変化量を求めることができる。
演算回路200は、光源110からの光による内部散乱成分I2と光源111からの光による内部散乱成分I2の各光パワーを用いて連立方程式を解くことにより、例えばHbO2およびHbの血中濃度初期値からの変化量を算出する。演算回路200とは別に、その連立方程式を解く演算回路(不図示)を別個に設けても構わない。
上記の例では、光源の数は2つであるが、出射光の波長帯域の異なる3つ以上の光源を使用してもよい。あるいは、光の波長帯域を変更可能な光源を用いてもよい。そのような構成によれば、血液に関するより多くの生体情報を取得することができる。
図11は、光検出器140とは別のイメージセンサ141をさらに備えた生体情報検出装置100の構成例を模式的に示す図である。このように、生体情報検出装置100は、光検出器140とは独立した別のイメージセンサ141を備えていてもよい。この構成によれば、光検出器140は、例えば生体情報計測に特化したセンサとして用いられる。被検部の位置および距離の検出は、イメージセンサ141からの出力信号に基づいて行われ得る。演算回路200は、イメージセンサ141の出力信号に基づいた動画像を用いて被検者の動きを検出してもよい。あるいは、演算回路200は、光検出器140の出力信号に基づいて距離を検出し、イメージセンサ141の出力信号に基づいて位置を検出してもよいし、その逆であってもよい。本明細書において、光検出器140を「第1光検出器」と称し、イメージセンサ141を「第2光検出器」と称することがある。また、第1光検出器から出力される電気信号を「第1電気信号」と称し、第2光検出器から出力される電気信号を「第2電気信号」と称することがある。
本実施形態による生体情報検出装置100は、脳血流以外の生体情報を計測することもできる。以下に幾つかの具体例を説明する。
血流量が変化すると光の反射率が変わる。これを利用して、例えば顔および手などの露出した被検部に近赤外光を照射し、反射光を検出することにより、脈拍数や集中度を非接触で計測することができる。演算回路200は、上述した図6に示されるフローに従って、被検部の位置および距離を検出した後で、生体情報の信号強度を補正することができる。
図12は、計測によって取得される脈波の一例を模式的に示している。脈拍数を計測する場合、演算回路200は、周期的な曲線を有する脈波を、例えば光検出器140からの出力信号に基づいて生成する。例えば演算回路200は、脈波の極大値をカウントし、図示されるように、隣接する2つの極大値の間の時間差(「脈波の周期」と表記する)を算出する。演算回路200は、脈波の周期を逆数に変換して脈拍数を算出する。
演算回路200は、その脈波の周期の分散を所定期間において計測し、集中またはリラックスしているといった精神状態を判定することができる。一般に、集中または緊張しているときは、脈波の周期が一定に近づき、リラックスしているときは、脈波の周期が変動し易い傾向がある。そこで、演算回路200は、周期の分散が所定値未満であれば、被検者Oは集中状態または緊張状態にあると判断する。呼吸に合わせて、その分散は次第に大きくなり所定値を超えることがある。その場合、演算回路200は、被検者Oはリラックス状態にあると判断することができる。
さらに、生体情報検出装置100を用いて、血管年齢および血圧などを非接触で計測することもできる。具体的には、生体情報検出装置100を用いて脈波伝播速度(PWV)を計測する。顔および手などの脈波を計測し、脈波の時間差をそれらの間の距離で除算することでPWVが得られる。
例えば顔および手の露出した2箇所の被検部に近赤外光を照射し、反射光を検出することにより、PWVを求めることができる。あるいは、例えば手および足首の露出した2箇所の被検部に近赤外光を照射し、反射光を検出することにより、PWVを求めることができる。なお、2箇所の被検部として、互いに離れている箇所を任意に指定することができる。血管年齢および血圧をPWVに基づいて非接触で計測することが可能になる。演算回路200は、上述した図6に示されるフローに従って、2箇所の被検部の位置および距離を検出した後で、生体情報の信号レベルを適切に補正する。
図13は、例えば顔および手の2点から得られる脈波a、bを模式的に示している。計測点Aは顔に位置し、計測点Bは手に位置する。例えば、演算回路200の演算回路200は、計測点AおよびBの脈波の立ち上がり点における時間差ΔTおよび2点間の距離Dを用いて、下記の式(1)からPWVを算出する。
PWV=D/ΔT 式(1)
演算回路200は、PWVに基づいて血管年齢および血圧を推定することができる。例えば、PWVの平均値を年齢(世代)毎に示すテーブルが予めROM152に格納されている。演算回路200は、そのテーブルを参照して、計測で得られたPWV値はどの年齢の平均値に最も近いかを特定し、被検者Oの血管年齢を推定することができる。また、演算回路200は、PWVから血圧を推定することができる。例えば非特許文献1に開示されているPWVを用いた血圧の推定方法を利用することができる。
接触型の計測装置を用いると、身体に対するセンサ部分の、取り付けまたは押し当ての仕方などが計測結果に影響を及ぼし得る。本実施形態のように非接触で計測できれば、このような課題は解決され、かつ、計測の簡便化に繋がる。
本実施形態によれば、演算回路200は、被検部の位置および距離に応じて生体情報の信号強度を適切に調整する。このため、計測中、被検者Oは装置に拘束されることなく、比較的自由な姿勢で過ごすことができる。また、高品質な信号が得られるため、SN比を改善することができる。さらに、演算回路200は被検者Oの動きを監視しているので、計測中に被検者Oが多少動いても、生体情報を安定して計測することができる。そのため、例えば被検者Oは作業をしながら計測を受けることができる。
(実施形態4)
次に、実施形態4における生体情報計測モジュールを説明する。本実施形態における生体情報計測モジュールは、例えばタブレット端末、スマートフォン、またはノートPC(ラップトップ)などの汎用の携帯電子機器に外付けして使用されるアタッチメントである。以下、実施形態1による生体情報検出装置100と異なる点を中心に説明し、共通する部分の説明は省略する。
図14Aは、本実施形態における生体情報計測モジュール300が取り付けられた電子機器400の例を模式的に示す図である。図示されるように、生体情報計測モジュール300は、電子機器400に接続されて使用される。モジュール300は、光源110と、光検出器140とを有している。図14Aには示されていないが、モジュール300の筐体の内部に、MEMSミラーなどの光学素子120と、制御回路とが設けられている。図14Aの例ではモジュール300が電子機器400の下部に接続されているが、これに限定されない。接続される位置は、電子機器400が有するコネクタの位置に依存する。本実施形態では、電子機器400が有するカメラ450によって取得される動画像の情報を利用することができる。また、電子機器400が有する信号処理回路(演算回路)を用いて、実施形態1から3のいずれかと同様の生体情報の生成および補正処理を行うことができる。
このような構成により、例えば、光源110および生体情報計測に特化した(即ち近赤外光を検出する)光検出器140を備えたモジュール300を、タブレット端末またはスマートフォンなどの電子機器400に装着するという新たな使用方法が可能になる。電子機器400に内蔵されているカメラ450によって被検者Oの被検部の位置および動きを検出し、その検出信号に基づいて、モジュール300における制御回路が光源110の出射方向およびパワーを調整するといった動作が行われ得る。
タブレット端末またはスマートフォンなどの機器に内蔵されているカメラ450は、通常、赤外(IR)カットフィルタをイメージセンサの前面に備えている。このため、カメラ450で赤外光を受光することはできない。一方、モジュール300の光検出器140は、生体情報の計測に適した近赤外光を検出するために、赤外カットフィルタを備えず、逆に可視光カットフィルタを備え得る。したがって、生体情報の検出はモジュール300の光検出器140によって行われ、可視光でも検出可能な被検部の位置および距離の特定は電子機器400のカメラ450によって行われ得る。
図14Bは、本実施形態における生体情報計測モジュール300および電子機器400の構成を模式的に示すブロック図である。生体情報計測モジュール300は、光源110と、光学素子120と、光学系130(不図示)と、光検出器140と、制御回路155Aと、ROM152と、RAM153と、外部の電子機器400に光検出器140の出力信号を送信するための入出力インタフェース(I/F)250とを有する。モジュール300は、図示されるように、モジュールとして動作するための最低限のコンポーネントを有していればよい。
電子機器400は、カメラ450の他に、ディスプレイ456と、制御回路454と、演算回路200Aと、ROM452と、RAM453と、入出力インタフェース440とを備える。制御回路454は、例えばCPUであり、演算回路200Aは、例えば画像処理用のデジタルシグナルプロセッサ(DSP)を含み得る。演算回路200Aは、カメラ450によって取得された画像の解析を行う。制御回路454は、ディスプレイ456の表示の制御等を行う。制御回路454および演算回路200Aは、予めインストールされたコンピュータプログラム(アプリケーション)を実行することにより、モジュール300と連携した動作を行う。例えば、制御回路454は、生体情報の計測動作を行う際、モジュール300の制御回路155Aに、光源110、光学素子120、および光検出器140を用いた生体情報の計測を実行させる。並行して、制御回路454は、カメラ450に被検者Oを撮影させ、演算回路200Aに被検部の位置および距離の計測および生体情報の生成を実行させる。演算回路200Aが実行する処理は、実施形態1から3で説明した通りである。
出力I/F250は、例えばUSBインタフェースであり得る。出力I/Fは、その他のインタフェース、例えば、例えばWi−Fi(登録商標)規格やZigBee(登録商標)規格に準拠した無線通信用インタフェースであってもよい。
生体情報計測モジュール300は、例えば出力I/F250に接続されたUSBケーブルを介して外部の電子機器400に接続することができる。電子機器400には、本開示における信号処理(例えば図6に示す処理)を実行するアプリケーションがインストールされる。これにより、電子機器400のプロセッサ(制御回路454および演算回路200Aを含む。)は、生体情報計測モジュール300から光検出器140の出力信号を受け取り、その出力信号に基づいて生体情報を計測することができる。また、その生体情報に基づいて被検者の心理状態を推定することができる。
本実施形態によれば、外部の電子機器400に着脱可能な生体情報計測モジュールが提供される。
(実施形態5)
次に、本開示の技術を適用した学習システムの実施形態を説明する。
図15Aは、被検者である学習者Oが、電子機器400を用いて学科(例えば算数、国語など)の問題を解いている様子を示す図である。本実施形態における電子機器400は、タブレット型コンピュータ(以下、タブレットPCと称する。)である。電子機器400は、タブレットPC以外にも、例えば携帯電話、スマートフォン、ノートPC(ラップトップ)、電子書籍端末、電子辞書、または電子ノートなどの、ディスプレイを有する任意の機器であり得る。
この電子機器400は、実施形態4におけるモジュール300が取り付けられた汎用端末でもよいし、モジュール300の機能が内蔵された専用端末であってもよい。
図示されるようなタブレットPCを用いた教育システムは、例えば学校もしくは塾などの教育機関、または家庭で用いられ得る。タブレットPCのディスプレイに算数または国語などの教科の問題を表示するアプリケーションを用いて、学習者O(例えば児童)は学習を行う。
電子機器400には、学科の問題を表示するアプリケーション(ソフトウェア)が予めインストールされる。当該アプリケーションは、例えばインターネットなどの電気通信回線を介してダウンロードされ得る。当該アプリケーションを電子機器400のプロセッサ(制御回路および演算回路を含む。)が実行することにより、問題の表示、解答後の正解および解説の表示、および次の問題への遷移といった動作が実現する。
本実施形態における電子機器400の制御回路は、学習者Oが問題を解いている間の脳の血流量、血中酸素飽和度、または脈波の周期の分散などの生体情報を検出することによって学習者Oの集中度を監視する。集中度の判定方法は、実施形態1で説明したとおりである。電子機器400の制御回路は、学習者Oの集中度の低下を検出すると、例えばディスプレイに興味を惹く情報を表示したり、やさしい問題を表示したりして、集中度の低下を防ぐ。これにより、学習効果を高めることができる。
本実施形態のような学習システムにおいて、学習者Oが問題を解いている間、学習者Oが常に静止しているということはない。特に、問題がわからなかったり、集中力に欠けていたりするときには、学習者Oの頭や体がよく動く傾向がある。図15Bは、図15Aの状態から、学習者Oの頭部が動いた状態の例を示している。学習者Oの頭が移動すると、電子機器400と被検部(額)との間の距離も変化し得る。このような場合、従来技術では、光源からの光が額に到達しなかったり、額に到達したとしても、距離の変化によって検出精度が低下したりするという問題が生じる。
これに対して、本実施形態の電子機器400の演算回路は、学習者Oの額の位置と、額までの距離と、額の傾斜角度とを検出し、その位置、距離、傾斜角度に応じて光の出射方向を調整し、かつ、取得する生体情報の信号強度を適切に補正する。これにより、集中度を適切に計測することができる。このような調整を、例えば発光中の所定時間ごとに行うようにすれば、額の動きに追従して常に適切な生体情報を生成することができる。
本実施形態における電子機器400は、実施形態1〜3のいずれかの生体情報検出装置100を備えている。電子機器400は、被検者Oの額に赤外光を照射し、NIRSを利用して被検者Oの学習の集中度を推定する。被検者Oは、スタイラスを持って操作しながら、電子機器400の表示画面に表示された問題を解いて学習する。上述したように、被検者Oが問題を解いているとき、神経細胞の活動によって、被検者Oの集中度に応じて脳血流量等が変化する。演算回路200は、その変化に基づいて、被検者Oの集中度を推定する。例えば前述のように、テーブルを参照して集中度を判定することができる。
また、その集中度の時間的変化から学習の習熟度を推定することができる。数学の因数分解の学習を例に挙げて説明する。被検者は、学習の初めに因数分解の公式とその適用の仕方を学ぶ。初めのうちは慣れないために集中度が大きく脳血流量の時間的な変化量が大きい。問題をこなすに従って、公式の適用にも慣れてくるので解答時間が速くなるとともに脳血流量の時間変化量が減少していく。脳血流量の変化曲線の時間的推移から、学習の習熟度を判定することができる。脳血流の変化の時間的推移に加えて、解答時間の短縮度を示す情報も併用すると判定の精度が上がる。
電子機器400の利用者である被検者Oの頭部の変動量は、問題の難易度に応じて変化することが想定される。例えば、被検者Oが課題を解いているとき、頭部の角度が、図15Aに示す角度から図15Bに示す角度に変わったとする。その場合でも、演算回路200は被検者Oの動きを監視しているので、その動きを検知すると、生体情報の信号強度を補正する。
本実施形態によれば、被検者Oが作業しながらでも、被検部において適正な位置に光を照射でき、かつ、生体情報を安定して計測することができる。
(実施形態6)
次に、実施形態6における対話型ロボットを説明する。
図16は、実施形態6によるロボット500および被検者である対話者Oを模式的に示す図である。図17は、ロボット500の構成例を示す図である。
本実施形態のロボット500は、その頭部に実施形態1〜3のいずれかの生体情報検出装置100と同様の構成要素を搭載している。ロボット500は、被検者Oの額の位置および距離を検出し、額に向けて光を照射し、かつNIRSを利用して被検者Oの生体情報を生成して感情を推定する。ロボット500は、被検者Oの動きに追従して頭部を動かすことにより、光の照射位置を調整することができる。対話中、ロボット500は相手の方向を向くので、頭部を動かすことによって光の照射位置を調整することは自然な行為である。
図17に示すように、ロボット500は、実施形態1において説明した構成要素の他に、頭部を含む各部を駆動する少なくとも1つのモータ520と、音声を出力するスピーカ530と、対話者Oが発した音声を検出するマイク540と、カメラ550と、各部を制御する制御回路510とを備えている。本実施形態においても、演算回路200は、実施形態1から3のいずれかにおける演算回路200と同様の動作を行うことにより、対話者Oにおける被検部(例えば額)の位置および被検部までの距離を検出する。そして、光検出器140の検出結果に基づいて、脳血流量などの生体情報を計測する。その生体情報に基づいて、モータ520およびスピーカ530などの要素を制御するための制御信号を生成する。ロボット500は、その制御信号に基づいて、様々な動作を行うことができる。例えば、スピーカ530およびマイク540を用いた音声の対話中に、対話者Oの集中度が低下していることを検出した場合には、話題を変更したり、音声対話を停止したりすることができる。ロボット500は、対話中、相手の感情を推定する。具体的には、演算回路200は、神経活動に起因した脳血流の変化に基づいて感情を推定する。例えば、演算回路200は、脳血流の変化と感情(例えば、安心、不安、悲しみ、憤りなど)との関係を対応付けたテーブルを参照することで感情を推定することができる。ロボット500は、感情の推定結果に応じて、例えば対話者との話題を変更することができる。
制御回路510は、被検部の位置および距離に応じて頭部の動きを制御することにより、光の出射方向を調整することができる。さらに、ロボット500の頭部と、光源110の前方に配置される光学素子120とを組み合わせて光の出射方向を制御してもよい。例えば、先ず頭部の動きを制御して、光の出射方向を粗調整した後で、光源ユニット170を制御し、光の出射方向を微調整することができる。光学素子120は不要であれば省略してもよい。
本実施形態の動作を規定したプログラム(アプリ)は、例えば電気通信回線を通じてダウンロードされ、ロボット500にインストールされ得る。これにより、アプリの更新によって動作の改善を行なったりすることもできる。
本実施形態によると、ロボットとの対話において適切なコミュニケーションが図れる。
(実施形態7)
図18は、実施形態7による車両600の車内を模式的に示している。
本実施形態による車両600は、例えばドライブレコーダが取り付けられる位置またはその近傍に実施形態における生体情報検出装置100を備えている。生体情報検出装置100は、車両600の取付部610に取り付けることができる。運転者が生体情報検出装置100を自由に着脱することができる。車両600は、自動車のみならず、電車その他の運転が必要な移動体を含む。本実施形態においては、被検者Oは運転者である。
生体情報検出装置100は、被検者Oの額に赤外光を照射し、NIRSを利用して被検者Oの集中度や健康状態を推定する。車両600は、車両600の動作を制御する制御回路620を備えている。制御回路620は、生体情報検出装置100の演算回路200からの生体情報に基づいて車両600の制御信号を生成する。あるいは、演算回路200が生体情報に基づいて車両600の制御信号を生成し、制御回路620が、その制御信号に基づいて車両600を制御してもよい。車両は、例えば自動運転モードを備える。車両が手動運転で走行中であれば、車両は、制御信号を受けて、走行モードを手動運転から自動運転に切り替えることができる。例えば、運転者Oの集中度が低下したことを検出した場合、運転者Oが居眠りをしている可能性がある。そこで、手動運転から自動運転に切り替えることにより、安全性を確保できる。
生体情報検出装置100をカーナビゲーションシステムと連動させることもできる。例えば、生体情報検出装置100は、運転者が集中を欠いていると判定したとき、カーナビゲーションシステムにその情報を送信することができる。カーナビゲーションシステムは、例えば音声スピーカや表示画面を用いて集中力が欠けている旨の警告を行うことができる。なお、生体情報検出装置100は常に運転者に赤外光を照射する必要はなく、例えばカーナビゲーションシステムの指示(「100m先の交差点を右に曲がります」等)をトリガーに、運転者に赤外光を照射して運転者の集中度を判定してもよい。カーナビゲーションの音声指示があっても、脳血流に変化が見られないときは、集中度が欠けている可能性が高い。
(実施形態8)
図19は、実施形態8による環境制御装置700の外観を模式的に示している。
本実施形態による環境制御装置700は生体情報検出装置100を備えている。環境制御装置700は、例えばエアコンディショナーおよびオーディオであり得る。このような、使用者の周囲の環境(温度、音、光、湿度、匂い等)を制御することのできる装置を、本明細書では「環境制御装置」と称する。本実施形態においては、被検者Oは環境制御装置700の一人または複数の利用者であり得る。
環境制御装置700は、被検者Oの額に赤外光を照射し、NIRSを用いて被検者Oの心理状態、具体的には、気分や温度感覚を推定する。
生体情報検出装置100の演算回路200は、被検者Oの動きを監視し、先ずは被検者Oを特定する。演算回路200はその後、被検者Oの被検部(例えば額)の位置を画像認識によって特定する。その位置に基づいて、光源は、その額への赤外光の照射を開始する。
環境制御装置700は制御回路710を備えている。制御回路710は、生体情報検出装置100の演算回路200からの生体情報に基づいて環境制御装置700の制御信号を生成する。あるいは、演算回路200が生体情報に基づいて環境制御装置700の制御信号を生成し、制御回路710が、その制御信号に基づいて環境制御装置700を制御してもよい。例えば、生体情報検出装置100が被検者Oの不快感を検知したとする。環境制御装置700がエアコンディショナーである場合には、環境制御装置700は、電源を自動でオンにして運転を開始したり、運転中は設定温度を下げたり上げたりすることができる。環境制御装置700がオーディオ機器である場合、環境制御装置700は音量を自動で下げてもよいし、例えば、リラックス効果が期待される音楽(クラシック音楽等)を自動で選曲してもよい。
以上の実施形態では、主に近赤外光および赤色光をプローブとする例を説明したが、そのような例に限定されない。本開示の技術は、例えば、マイクロ波などの他の波長の電磁波を使用した生体内部の情報取得に適用することも可能である。
本開示の技術は、生体情報を非接触で計測する用途、例えば、医療機器、ロボット、車両、および電子機器等に利用できる。
11 光入射部
12 計測対象部位
13 光出射部
22 計測対象部位
23 光出射部
24 光出射部
100 生体情報検出装置
110 光源
120 光学素子
130 光学系
140 光検出器
150 装置本体
180 CPU
152 ROM
153 RAM
160 表示装置
170 光源ユニット
200 演算回路
250 出力I/F
300 生体情報計測モジュール
400 電子機器
500 ロボット
600 車両
700 環境制御装置

Claims (22)

  1. 被検者の被検部に照射するための照射光を出射する光源と、
    前記被検部から到達した光を検出し、前記光に対応する電気信号を出力する光検出器と、
    前記電気信号に基づいて、前記被検部内の対象領域における血流に関する生体情報の信号を生成する演算回路と、
    を備え、
    前記被検部は前記被検者の額であり、
    前記光検出器は、イメージセンサであり、
    前記電気信号は、前記イメージセンサによって取得される画像信号を含み、
    前記演算回路は、前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出し、前記被検部の向きの傾きの大きさに応じて、前記対象領域を決定し、
    前記基準の向きからの前記被検部の傾きが大きくなった場合、前記被検部の向きの傾きの大きさに応じて、前記被検者の額における前記対象領域の位置を前記光検出器に近づく方向に変化させる、
    生体情報検出装置。
  2. 前記演算回路は、前記対象領域の形状、および前記被検部における前記対象領域の位置からなる群から選択される少なくとも1つを決定する、
    請求項1に記載の生体情報検出装置。
  3. 前記演算回路は、さらに、前記被検部の向きの傾きの大きさが変化したか否かを判定し、前記被検部の向きの傾きの大きさが変化したと判定された場合、変化後の前記被検部の向きの傾きの大きさに応じて、前記対象領域の形状を変化させる、
    請求項1に記載の生体情報検出装置。
  4. 前記被検者は複数の特徴点を有しており、
    前記演算回路は、
    前記画像信号から前記複数の特徴点を抽出し、
    前記画像信号における前記複数の特徴点の位置に基づいて、前記被検部の向きの傾きの大きさを検出する、
    請求項1に記載の生体情報検出装置。
  5. 前記演算回路は、
    前記被検部の向きの傾きの大きさに基づいて、前記被検部の内部における前記光の伝播経路を予測し、
    予測した前記伝播経路に基づいて、前記対象領域を決定する、
    請求項に記載の生体情報検出装置。
  6. 前記演算回路は、
    前記被検部の向きの傾きの大きさおよび予測した前記伝播経路からなる群から選択される少なくとも一方に基づいて、前記被検部から出射する前記光の強度または前記光の強度の基準値からの変化の割合を予測し、
    予測した前記光の強度または前記光の強度の変化の割合が第1の値よりも小さいとき、前記生体情報の前記信号の強度を大きくする、
    請求項に記載の生体情報検出装置。
  7. 前記演算回路は、予測した前記光の強度または前記光の強度の変化の割合が第2の値よりも大きいとき、前記生体情報の前記信号の強度を小さくする、
    請求項に記載の生体情報検出装置。
  8. 前記光検出器は、複数の時刻において、前記電気信号を出力し、
    前記演算回路は、前記複数の時刻において前記光検出器から出力された前記電気信号に基づいて、経時的に前記生体情報の前記信号を生成する、
    請求項1からのいずれかに記載の生体情報検出装置。
  9. 前記演算回路は、さらに、前記電気信号に基づいて、前記被検部と前記光検出器との距離を検出し、
    前記演算回路は、前記距離が所定の距離よりも長いとき、前記生体情報の前記信号の強度を大きくする、
    請求項1に記載の生体情報検出装置。
  10. 前記演算回路は、前記距離が前記所定の距離よりも短いとき、前記生体情報の前記信号の強度を小さくする、
    請求項に記載の生体情報検出装置。
  11. 前記演算回路は、さらに、前記距離が変化したか否かを判定し、前記距離が変化したと判定された場合、前記生体情報の前記信号の強度を、前記距離が大きいほど大きい値に変化させる、
    請求項に記載の生体情報検出装置。
  12. 前記演算回路は、前記イメージセンサによって取得された前記画像信号のうち、前記被検部に相当する画像信号に含まれる1つまたはそれ以上の画素ごとに、前記距離の検出、前記生体情報の前記信号の生成、および前記生体情報の前記信号の強度の調整を行う、
    請求項に記載の生体情報検出装置。
  13. 前記所定の距離は、ある時点において前記演算回路により検出された前記距離である、
    請求項から12のいずれかに記載の生体情報検出装置。
  14. 前記所定の距離は、前記生体情報の前記信号の生成を開始した時点において前記演算回路により検出された前記距離である、
    請求項から12のいずれかに記載の生体情報検出装置。
  15. 前記照射光はパルス光であり、
    前記演算回路は、前記光源が前記パルス光を出射してから前記光検出器が前記パルス光を検出するまでの時間に基づいて、前記距離を検出する、
    請求項から14のいずれかに記載の生体情報検出装置。
  16. 前記被検部までの距離を検出する測距センサをさらに備え、
    前記演算回路は、前記測距センサによって検出された前記距離に基づいて、前記生体情報の前記信号の強度を調整する、
    請求項から14のいずれかに記載の生体情報検出装置。
  17. 前記光は、650nm以上950nm以下の波長の成分を含む、
    請求項1から16のいずれかに記載の生体情報検出装置。
  18. 前記生体情報は、前記被検者の大脳皮質における血流に関する情報である、
    請求項1から17のいずれかに記載の生体情報検出装置。
  19. 生体情報検出装置であって、
    被検者の被検部に照射するための照射光を出射する光源と、前記被検部から到達した光を検出して前記被検部の画像信号を出力するイメージセンサとを備えた装置から受け取った前記画像信号に基づいて、前記被検部内の対象領域における血流に関する生体情報の信号を生成する演算回路を備え、
    前記被検部は前記被検者の額であり、
    前記演算回路は、前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出し、前記被検部の向きの傾きの大きさに応じて、前記対象領域を決定し、
    前記基準の向きからの前記被検部の傾きが大きくなった場合、前記被検部の向きの傾きの大きさに応じて、前記被検者の額における前記対象領域の位置を前記イメージセンサに近づく方向に変化させる、
    生体情報検出装置。
  20. 被検者の被検部に照射するための照射光を出射する光源と、前記被検部から到達した光を検出して前記被検部の画像信号を出力するイメージセンサと、を備えた装置に電気的に接続されて使用される生体情報検出装置の制御方法であって、
    前記被検部は前記被検者の額であり、
    前記生体情報検出装置に、
    前記イメージセンサから出力された前記画像信号に基づいて、前記被検部における血流に関する生体情報を生成させ、
    前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出させ、
    前記被検部の向きの傾きの大きさに応じて、前記被検部における前記生体情報を生成する対象領域を決定させ
    前記基準の向きからの前記被検部の傾きが大きくなった場合、前記被検部の向きの傾きの大きさに応じて、前記被検者の額における前記対象領域の位置を前記イメージセンサに近づく方向に変化させる、
    制御方法。
  21. 被検者の被検部に照射するための照射光を出射する光源と、前記被検部から到達した光を検出して前記被検部の画像信号を出力するイメージセンサと、を備えた装置に電気的に接続されて使用される生体情報検出装置のコンピュータに実行させるプログラムであって、
    前記被検部は前記被検者の額であり、
    前記コンピュータに、
    前記イメージセンサから出力された前記画像信号に基づいて、前記被検部における血流に関する生体情報を生成させ、
    前記画像信号に基づく画像認識によって、基準の向きからの前記被検部の向きの傾きの大きさを検出させ、
    前記被検部の向きの傾きの大きさに応じて、前記被検部における前記生体情報を生成する対象領域を決定させ
    前記基準の向きからの前記被検部の傾きが大きくなった場合、前記被検部の向きの傾きの大きさに応じて、前記被検者の額における前記対象領域の位置を前記イメージセンサに近づく方向に変化させる、
    プログラム。
  22. 前記イメージセンサは電子シャッターの機能を有し、
    前記演算回路は前記電子シャッターのシャッタータイミングを制御することにより、前記被検部の内部で散乱された光を前記イメージセンサに検出させる、
    請求項1に記載の生体情報検出装置。
JP2016207993A 2016-02-17 2016-10-24 生体情報検出装置 Active JP6865384B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611233197.9A CN107088071B (zh) 2016-02-17 2016-12-28 生物体信息检测装置
US15/417,309 US10602971B2 (en) 2016-02-17 2017-01-27 Biological information detection device including calculation circuit that generates signal of biological information
US16/791,491 US20200178871A1 (en) 2016-02-17 2020-02-14 Biological information detection device including calculation circuit that generates signal of biological information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016028038 2016-02-17
JP2016028038 2016-02-17

Publications (2)

Publication Number Publication Date
JP2017144225A JP2017144225A (ja) 2017-08-24
JP6865384B2 true JP6865384B2 (ja) 2021-04-28

Family

ID=59680379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016207993A Active JP6865384B2 (ja) 2016-02-17 2016-10-24 生体情報検出装置

Country Status (1)

Country Link
JP (1) JP6865384B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6928906B2 (ja) * 2016-01-07 2021-09-01 パナソニックIpマネジメント株式会社 生体情報計測装置
WO2018235466A1 (ja) 2017-06-23 2018-12-27 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム
JP7178614B2 (ja) 2017-06-23 2022-11-28 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム
JP7142246B2 (ja) * 2017-08-24 2022-09-27 パナソニックIpマネジメント株式会社 生体計測装置、ヘッドマウントディスプレイ装置、および生体計測方法
WO2019116803A1 (ja) * 2017-12-13 2019-06-20 パナソニックIpマネジメント株式会社 光センシング装置
JP7449226B2 (ja) * 2018-07-23 2024-03-13 ヌヴォトンテクノロジージャパン株式会社 生体状態検出装置および生体状態検出方法
JPWO2020044854A1 (ja) * 2018-08-30 2021-08-26 パナソニックIpマネジメント株式会社 生体計測装置、及び生体計測方法
JP7417867B2 (ja) * 2018-12-10 2024-01-19 パナソニックIpマネジメント株式会社 光計測装置
CN113329687A (zh) * 2019-01-23 2021-08-31 索尼集团公司 信息处理装置、信息处理方法和程序
US11864906B2 (en) 2019-06-20 2024-01-09 International Business Machines Corporation LIDAR implantable biosensor for imaging biological tissue
JP2021040731A (ja) * 2019-09-06 2021-03-18 旭化成エレクトロニクス株式会社 均一照射モジュール
KR20210029873A (ko) * 2019-09-06 2021-03-17 삼성전자주식회사 전자 장치 및 그를 이용한 바이탈 사인 획득 방법
WO2021095561A1 (ja) * 2019-11-15 2021-05-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7325101B2 (ja) * 2019-12-05 2023-08-14 株式会社Agama-X 情報処理装置及びプログラム
CN115052530A (zh) * 2020-03-09 2022-09-13 松下知识产权经营株式会社 计测装置以及对计测装置进行控制的方法
JPWO2022138063A1 (ja) * 2020-12-25 2022-06-30
WO2023079862A1 (ja) * 2021-11-05 2023-05-11 パナソニックIpマネジメント株式会社 撮像システム、処理装置、および撮像システムにおいてコンピュータによって実行される方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6359930A (ja) * 1986-08-30 1988-03-15 キヤノン株式会社 血流計
JP6102433B2 (ja) * 2013-03-29 2017-03-29 富士通株式会社 脈波検出プログラム、脈波検出方法および脈波検出装置
JP6594620B2 (ja) * 2013-12-20 2019-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 光脳機能計測装置

Also Published As

Publication number Publication date
JP2017144225A (ja) 2017-08-24

Similar Documents

Publication Publication Date Title
JP6865384B2 (ja) 生体情報検出装置
CN107088071B (zh) 生物体信息检测装置
JP6928906B2 (ja) 生体情報計測装置
JP6807441B2 (ja) 光脳機能計測装置
JP7222961B2 (ja) 生体信号を測定するための装置および方法
US20200297270A1 (en) Biometric apparatus, biometric method, and determination apparatus
US20200397316A1 (en) Biological information measuring device including light source, light detector, and control circuit
Verkruysse et al. Remote plethysmographic imaging using ambient light.
JP2023139294A (ja) 生体情報検出装置、処理方法、およびプログラム
US20220395186A1 (en) Apparatus for, method of, and computer program product having program of displaying biological information
JP7386438B2 (ja) 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
US10955918B1 (en) Head-coupled optode assembly
JP2020103879A (ja) 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置
JP2024016142A (ja) コンピュータにおける情報処理方法および生体計測システム
US11314329B1 (en) Neural decoding with co-learning for brain computer interfaces
Kumar et al. Check for updates Assistive Blood Pressure Monitor for Senile Population
JP6238278B2 (ja) 脈動測定装置、脈動測定方法、及びプログラム
Wang Tracking anemia ubiquitously, frequently, and predictively
Dominguez Error Prevention in Sensors and Sensor Systems
Sujana et al. Voice Enabled Pulse Oximeter
WO2024158501A1 (en) Personalized and curated transcription of auditory experiences to improve user engagement
JP2018187161A (ja) 生体情報検出装置及び生体情報検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210319

R151 Written notification of patent or utility model registration

Ref document number: 6865384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151