JP7449226B2 - 生体状態検出装置および生体状態検出方法 - Google Patents

Description

本発明は、生体状態検出装置および生体状態検出方法に関し、特に、対象者に対して非接触方式で生体状態を検出する生体状態検出装置および生体状態検出方法に関する。

作業環境において対象者の生体状態を取得することで、対象者が作業に適した状態にあるか否かを判断する需要がある。この際、作業者の生体状態を検出するには、作業の妨げとならないよう検出器は非接触方式であることが望ましい（たとえば、特許文献１参照）。

特許文献１に開示された技術は非接触検出による生体状態の検出技術の一つであり、当該開示における脈波検出装置によれば、体の動きによる影響を少なくして、検出精度の高い光学式の脈波検出が可能となる。

特開２０１７－１４０２０２号公報

しかしながら、特許文献１に記載の脈波検出装置は、画像をもとに脈波を検出するのみにとどまり、生体状態を総合的に判断するには情報量としては乏しいという問題がある。

そこで本発明は、上記問題を解決するためになされたものであり、画像を用いながらも、従来よりも多くの生体情報を生成できる生体状態検出装置および生体状態検出方法を提供することを目的とする。

上記目的を達成するために、本発明に係る生体状態検出装置の一形態は、人の生体状態を検出する生体状態検出装置であって、第１波長の光を出射する第１光源と、前記第１波長とは異なる第２波長の光を出射する第２光源と、前記第１光源および前記第２光源から出射された光による前記人からの反射光を受光する複数の素子で構成される撮像素子と、前記第１光源および前記第２光源が交互に光を出射するように前記第１光源および前記第２光源を制御する制御部と、前記第１光源からの反射光を受光することで得られた第１画像、および前記第２光源からの反射光を受光することで得られた第２画像を前記撮像素子から読み出し、読み出した前記第１画像および前記第２画像を演算することで第３画像を生成する演算部と、前記演算部で生成された前記第３画像に基づいて、前記人の生体状態を示す生体情報を生成して出力する状態推定部とを備え、前記演算部は、さらに、前記第１画像および前記第２画像の少なくとも一つに基づいて、距離像を生成する。

また上記目的を達成するために、本発明に係る生体状態検出方法の一形態は、人の生体状態を検出する生体状態検出方法であって、第１波長の光を出射する第１光源、および、前記第１波長とは異なる第２波長の光を出射する第２光源に対して、前記第１光源および前記第２光源が交互に光を出射するように制御する制御ステップと、前記第１光源および前記第２光源から出射された光による前記人からの反射光を受光する複数の素子で構成される撮像素子から、前記第１光源からの反射光を受光することで得られた第１画像、および前記第２光源からの反射光を受光することで得られた第２画像を読み出し、読み出した前記第１画像および前記第２画像を演算することで第３画像を生成する演算ステップと、前記演算ステップで生成された前記第３画像に基づいて、前記人の生体状態を示す生体情報を生成する状態推定ステップとを含み、前記演算ステップでは、さらに、前記第１画像および前記第２画像の少なくとも一つに基づいて、距離像を生成する。

なお、本発明は、生体状態検出装置および生体状態検出方法として実現できるだけでなく、生体状態検出方法を含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明に係る生体状態検出装置および生体状態検出方法により、画像を用いながらも、従来よりも多くの生体情報を生成できる。

図１は実施の形態における生体状態検出装置の機能ブロック図である。 図２は実施の形態における生体状態検出装置が備えるレンズを透過して撮像素子上に結像される投影像を説明する図である。 図３は実施の形態における生体状態検出装置が備える光源部と撮像素子との配置関係を説明する図である。 図４は実施の別形態における生体状態検出装置が備える光源部と撮像素子との配置関係を説明する図である。 図５は実施の形態における生体状態検出装置が備える撮像素子を構成する単位素子の拡大図である。 図６は実施の形態における生体状態検出装置の動作全体を示すフローチャートである。 図７は本実施の形態における生体状態検出装置による検出領域の特定と脈拍検出について説明する図である。 図８は実施の形態における生体状態検出装置が備える光源部と撮像素子の制御におけるタイミングチャートである。 図９は実施の形態における生体状態検出装置による画像処理について説明する図である。 図１０は実施の形態における生体状態検出装置が備える演算部による画像処理を説明する図である。 図１１は実施の形態における生体状態検出装置が備える状態推定部の動作全体を示すフローチャートである。 図１２は自動車内に設置された実施の形態における生体状態検出装置の警報表示の一例を説明する図である。

以下、本発明の実施の一形態について、図面を用いて詳細に説明する。なお以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、動作の順序等は、一例であり、本発明を限定する主旨ではない。また以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明する。

はじめに図１を用いて実施の形態における構成要素について説明する。

図１は実施の形態における生体状態検出装置１の機能ブロック図である。なお、図１には生体状態検出装置１に加え、生体情報を検出する対象者である人９も図示されている。また光源部２からの出射光、および人９で反射された反射光について、第１光源２１の出射光２１ａ、および反射光２１ｂは、進行方向に向かう一点鎖線矢印で図示され、第２光源２２の出射光２２ａ、および反射光２２ｂは、進行方向に向かう二点鎖線矢印で図示されている。また背景光源１０から生体状態検出装置１の撮像素子３に照射される背景光１０ａは、進行方向に向かう破線矢印で図示されている。

この生体状態検出装置１は、人９の生体状態を検出する装置であり、例えば、自動車運転中の運転手、工場作業オペレータ、オフィスワーカー、学習中の生徒など、あらゆる環境における検出対象の人９について体調モニタ等に使用される。この生体状態検出装置１は光源部２と、撮像素子３と、制御部４と、演算部５と、状態推定部６と、記憶部７と、表示装置８とを備える。

光源部２は、第１波長の出射光２１ａを出射する第１光源２１と、第１波長とは異なる第２波長の出射光２２ａを出射する第２光源２２から構成されている。第１光源２１、および第２光源２２はそれぞれ独立した光源（例えば、半導体レーザー等）によって実現され、どちらもあらかじめ定められた単色光を出射する。

また撮像素子３は、第１光源２１、および第２光源２２から出射された光による、人９からの反射光を受光する複数の素子で構成される。具体的には、撮像素子３はフォトダイオード等によって実現される光電変換素子を有するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等のイメージセンサーであり、受光した光を光量に応じた電気信号へと変換する。本実施の形態において撮像素子３は、反射光２１ｂに対応する（つまり、反射光２１ｂを受光するのに用いられる）第１素子３１、および反射光２２ｂに対応する（つまり、反射光２２ｂを受光するのに用いられる）第２素子３２から構成される。

第１光源２１から出射された第１波長の出射光２１ａは人９およびその他の撮像空間内の物体によって反射され、第１波長の反射光２１ｂとなって、少なくとも第１素子３１に入射する。第２光源２２から出射された第２波長の出射光２２ａも同様に人９およびその他の撮像空間内の物体によって反射され、第２波長の反射光２２ｂとなって、少なくとも第２素子３２に入射する。第１素子３１、および第２素子３２はそれぞれ対応する光源の出射に連動して露光を行い、太陽光などの外光である背景光源１０から照射された背景光１０ａとともに反射光２１ｂ、２２ｂを受光し、光電変換による電荷生成ののち電気信号として出力する。

また制御部４は、第１光源２１および第２光源２２が交互に光を出射するように第１光源２１、および第２光源２２を制御する処理部である。制御部４はさらに、第１素子３１、および第２素子３２について、対応する光源の出射に連動して露光を行うよう撮像素子３の制御も併せて行う。より具体的には、制御部４は制御プログラムが格納されたＲＯＭ、ＲＡＭ、および制御プログラムを実行するＣＰＵ等によって実現される。また生体状態検出装置１は、使用者からの指示を受け付ける入力部を備え、制御部４が入力部を介して使用者の指示を受信してもよい。

演算部５は、第１光源２１からの反射光２１ｂを受光することで得られた第１画像、および反射光２２ｂを受光することで得られた第２画像を撮像素子３から読み出し、読み出した第１画像および第２画像を演算することで第３画像を生成する処理部である。具体的には、演算部５は演算プログラムが格納されたＲＯＭ、ＲＡＭ、および演算プログラムを実行するＣＰＵ等によって実現される。これらのＲＯＭ、ＲＡＭ、ＣＰＵ等のハードウェアは、制御部４を実現するハードウェアと共用されてもよい。

演算部５はまた、第１画像、または第２画像、もしくはその両方に基づいて明度像、および距離像を生成する処理部でもある。明度像とは、明度（つまり、輝度）を示す画素値の集まりで構成される画像である。距離像とは、距離を示す画素値の集まりで構成される画像である。

状態推定部６は、演算部５で生成された第３画像に基づいて、人９の生体状態を示す生体情報を生成する処理部であり、より詳しくは、状態推定部６は推定プログラムが格納されたＲＯＭ、ＲＡＭ、および推定プログラムを実行するＣＰＵ等によって実現される。これらのＲＯＭ、ＲＡＭ、ＣＰＵ等のハードウェアは、制御部４を実現するハードウェアと共用されてもよい。

状態推定部６はさらに、第３画像のうち、生体情報の生成に用いる領域である検出領域を特定する検出領域特定部６１を有し、検出領域特定部６１で特定された検出領域を用いて生体情報を生成する。

また記憶部７は、生体情報の生成に必要となる顔検知のための顔検知ライブラリや、距離像生成に用いる距離基準値や距離校正値、および生体情報の比較のための閾値などを含む各種設定値などが格納されている記憶装置であり、不揮発性メモリや磁気ディスク等によって実現される。さらに、記憶部７は、状態推定部６での処理に際し、生成される画像情報等を一時的に格納するための揮発性の記憶領域も兼ね備える。

また表示装置８は、状態推定部６において推定された人９の状態を、人９、または人９を管理する立場にある管理者、もしくはその両方に対して提示する装置であり、例えば、液晶ディスプレイ等によって構成される。なお通知する内容が、人９の状態の良し悪しのみであるなど簡易な場合においては、表示装置８に代えて、警告灯などの簡易な装置によって構成されてもよい。さらに、図示しないが、状態推定部６の出力する推定結果を人９に対して知らせるため、ブザー音を鳴らす、または音声案内を行うような発音装置を、あるいは振動によって知らせるための発振装置を、表示装置８に加えて、あるいは、表示装置８に代えて、別途備えてもよい。

なお、上述したすべての構成要素はひとつの筐体に搭載されてもよいし、光源部２、および撮像素子３をひとつの筐体に搭載し、その他は筐体と有線、または無線接続されたコンピュータ上において実現してもよい。さらに表示装置８は通知対象となる人物への視認性が向上する位置に設置可能なように、別途有線、または無線で状態推定部６と接続されてもよい。

また図示しないが、生体状態検出装置１は、第１光源２１および第２光源２２から出射された光による人９からの反射光２１ｂ、２２ｂを撮像素子３に集光させるレンズを備える。

ここで本レンズの特徴について、図２を用いて説明する。

図２は実施の形態における生体状態検出装置１が備えるレンズを透過して撮像素子３上に結像される投影像を説明する図である。

図２の（ａ）は一般的な球面あるいは非球面レンズを用いた場合に撮像素子３上に結像される投影像３ａを示し、また図２の（ｂ）は光学的に調整された部分拡大レンズ（つまり、自由曲面レンズ）を用いた場合に撮像素子３上に結像される投影像３ｂを示している。なお、投影像３ａ、３ｂには例として撮像空間内に存在する人９が映り込んでいる。

投影像３ａにおいては、撮像空間内を見たままに撮像素子３の素子面上に再現しており、破線四角枠で囲んだ顔部分エリアＡ１と顔部分エリアＡ１の外側とは同じ倍率で結像される。一方、投影像３ｂにおいては、撮像素子３に結像された像が人９の上半身に対応する像である場合に、レンズのうち顔部分エリアＡ１ｚに対応する箇所が拡大されるよう光学的に調整されている。このため投影像３ｂにおいては、顔部分エリアＡ１ｚと顔部分エリアＡ１ｚの外側とは拡大倍率が異なる（つまり、解像度が異なる）。

本実施の形態における生体状態検出装置１は投影像３ａに示すようなレンズを備えてもよいが、顔部分を重視するような用途を想定する場合には投影像３ｂに示すようなレンズを備えてもよい。

次に図３～図５を用いて光源部２、および撮像素子３の配置についてより詳細に説明する。

図３は本実施の形態における生体状態検出装置１が備える光源部２と撮像素子３との配置関係を説明する図である。

図３の上図は生体状態検出装置１の光源部２、および撮像素子３を備える一面を平面視した図である。また図３の下図は撮像素子３を拡大した図であり、撮像素子３を構成する単位素子が格子状に配列されていることが示されている。なお、上図と下図とは対応する角どうしが破線でつながれて示され、下図では単位素子が形成する格子面が、便宜上、途中で破断されている。

上図の生体状態検出装置１の撮像素子３をはさむ両端部には、光源部２を構成する第１光源２１、および第２光源２２が配置されている。光源部２を構成する第１光源２１、および第２光源２２は撮像素子３と同一平面上に配置されている。この際、光源から物体までの出射光、および物体から撮像素子３までの反射光が通過する光路長について、第１光源２１と第２光源２２との間の差を最小にするため、第１光源２１、および第２光源２２は、撮像素子３を中心とする円周ｃ上に配置されている。また、反射物に対する出射角の差を最小とするため、第１光源２１、および第２光源２２は、実装可能な限り隣接する配置が望ましい。なお一対の第１光源２１、および第２光源２２が、撮像素子３を中点とする円周ｃ上に配置されている限り、光源を追加して出射光の光量を増加させることも可能である。

撮像素子３は各光源に対応した第１素子３１、および第２素子３２の配置に偏りが生じないよう、撮像素子３を平面視した際に、第１素子３１と第２素子３２とは上下左右方向のうち少なくとも一方向に隣り合う配置であることが望ましい。本実施の形態においては、撮像素子３を平面視した際に第１素子３１を配列した横方向の行と垂直の縦方向の列において、第１素子３１、および第２素子３２が交互に配置された横縞型の配置の例を示している。

ここで、図４を用いて光源部２と撮像素子３との配置関係の別の形態について説明する。

図４は実施の別形態における生体状態検出装置１が備える光源部２ｂと撮像素子３ｂとの配置関係の別の形態を説明する図である。

図４の上図は生体状態検出装置１の別形態における光源部２ｂ、および撮像素子３ｂを備える一面を平面視した図である。また図４の下図は撮像素子３ｂを拡大した図であり、撮像素子３ｂを構成する単位素子が格子状に配列されていることが示されている。なお、上図と下図とは対応する角どうしが破線でつながれて示され、下図では単位素子が形成する格子面が、便宜上、途中で破断されている。

図３に対して、光源部２ｂは図に向かって右側に光源が集中した配置となっており、左側には光源は存在しない。さらに、第１光源２１ｘ、および第２光源２２ｘは、図３の実施例における光源の配置よりも撮像素子３に近い位置となっているが、これらの一対の光源（第１光源２１ｘ、および第２光源２２ｘ）が撮像素子３ｂを中心とする円周ｃｘ上に配置されているため、これらの一対の光源だけで生体状態を検出することが可能である。また、第１光源２１ｙ、および第２光源２２ｙは、図３の実施例に対し、各光源が入れ替わった配置となっているが、これらの一対の光源（第１光源２１ｙ、および第２光源２２ｙ）が撮像素子３ｂを中心とする円周ｃｙ上に配置されているため、これらの一対の光源だけで生体状態を検出することが可能である。なお、第１光源２１ｚ、および第２光源２２ｚは図３の実施例における光源の配置よりも撮像素子３から遠い位置となっており、図に向かって下方に光源が偏っているが、これらの一対の光源（第１光源２１ｚ、および第２光源２２ｚ）が撮像素子３ｂを中点とする円周ｃｚ上に配置されているため、これらの一対の光源だけで生体状態を検出することが可能である。

撮像素子３ｂは図３の撮像素子３と比べ、縦方向、横方向ともに第１素子３１、および第２素子３２が交互に配置された千鳥格子型の配置の例を示している。本形態において、第１素子３１と第２素子３２は上下左右方向のうちすべての方向に隣り合う配置となっている。なお、この場合、個々の単位素子の受光を個別に制御する必要があり、個体撮像素子としてＣＭＯＳイメージセンサーを用いることが想定される。

ここでさらに、図５を用いて第１素子３１、および第２素子３２についてより詳細に説明する。

図５は実施の形態における生体状態検出装置１が備える撮像素子３を構成する単位素子の拡大図である。

図５の下図には、図３の下図と同様の撮像素子３を示してあり、上図には、下図に示した撮像素子３のうち、上から４行、左から６列の２４個の単位素子をさらに拡大して示している。なお本実施の形態において、撮像素子３の露光は複数のタイミングに分けることができ、ここでは特に各露光タイミングの各々において発生する電荷を蓄積する、撮像素子３が備える素子に着目して図示している。また、図５の下図には上図に対応する単位素子を四角枠で囲んで示し、対応する角どうしを破線でつないでいる。

第１素子３１の単位素子はさらに、背景光１０ａとともに反射光２１ｂを受光し、図５には図示しないが光電変換による電荷生成を行う第１受光素子と、第１露光タイミングにおいて発生した電荷の蓄積を行う素子３１１、第２露光タイミングにおいて発生した電荷の蓄積を行う素子３１２、第３露光タイミングにおいて発生した電荷の蓄積を行う素子３１３の４つの素子から構成される。第２素子３２の単位素子についても同様に、第２受光素子、素子３２１、素子３２２、素子３２３から構成される。第１素子３１の素子３１１～３１３は対応する第１光源２１の出射に伴い順次発生した電荷を蓄積し、それぞれの露光タイミングで第１素子３１が受光した光量に応じた電気信号を出力する。また、第２素子３２の素子３２１～３２３も同様に対応する第２光源２２の出射に伴い順次発生した電荷を蓄積し、それぞれの露光タイミングで第２素子３２が受光した光量に応じた電気信号を出力する。次に、以上のように構成された本実施の形態における生体状態検出装置１の動作について図６～図１２を用いて説明する。

はじめに図６、および図７を用いて本実施の形態における生体状態検出装置１全体の動作と、状態推定部６における画像を用いた脈拍検出について説明する。

図６は実施の形態における生体状態検出装置１の動作全体（つまり、生体状態検出方法）を示すフローチャートである。また、図７は実施の形態における生体状態検出装置１による検出領域の特定と脈拍検出について説明する図である。

まず生体状態検出装置１の使用者は、生体状態検出装置１の撮像空間内に検出対象となる人９が入る位置に、生体状態検出装置１を設置して動作を開始させる。

すると、生体状態検出装置１は事前に設定された設定値、または動作開始の際に使用者によって設定された設定値に基づき、人９の生体状態を示す生体情報の生成を開始する。まず生体状態検出装置１の制御部４は、第１光源２１からの出射光２１ａ、および第２光源２２からの出射光２２ａを交互に出射させる制御を行う（制御ステップＳ１０１）。出射光２１ａおよび２２ａは、人９を含む、撮像空間内に存在する物体に反射され、反射光２１ｂおよび２２ｂとして、第１素子３１、および第２素子３２において受光される（Ｓ１０２）。この際受光した光には背景光源１０から照射された背景光１０ａを含む。演算部５は、第１素子３１および第２素子３２から読み出した第１画像および第２画像を演算することによって第３画像３７、明度像３８、および距離像３９を生成する（演算ステップＳ１０３）。状態推定部６の検出領域特定部６１は生成された明度像３８、距離像３９をもとに、第３画像３７のうち生体情報の生成に用いる箇所を決定するための検出領域６２を特定する（状態推定ステップＳ１０４）。

より具体的には図７に示すように、状態推定部６が有する検出領域特定部６１は、演算部５が生成した明度像３８、および距離像３９を取得する。ここで、明度像３８、および距離像３９は、明度像３８の画像例３８ａ、および距離像３９の画像例３９ａに示すように、人９の顔部分を含む空間を撮影した明度、および距離を示す画像である。検出領域特定部６１は取得した明度像３８について、人９の顔部分に位置する箇所の画素を輪郭抽出および外接矩形の生成等によって顔検知エリア３８ｂとして検出する。画像例３８ａにおいて、顔部分と検知された顔検知エリア３８ｂを、角強調の破線四角枠によって囲んで例示している。

次に検出領域特定部６１は、先に明度像３８において検知した、顔部分に位置する箇所の画素と対応する画素を距離像３９上から選択する。距離像３９上において選択した、顔検知エリア３８ｂに対応する画素のうち、距離像３９の中央の画素からの距離が略等しい距離にある画素（つまり、等距離範囲）を検出領域例６２ｂとして選択する。言い換えると、距離像３９の顔部分外の背景を除去した領域を、検出領域例６２ｂとして選択する。距離像３９において、明度像３８で検知された顔部分に対応する画素は、顔の距離を反映しているため、およそ距離が等しくなっているからである。検出領域６２の画像例６２ａには、画像例３９ａに顔検知エリア３８ｂを重ね合わせ、さらに顔検知エリア３８ｂのうち、距離情報がおよそ等しい範囲を検出領域例６２ｂとして図示している。

図６において検出領域６２を特定したのち、状態推定部６は、特定した検出領域６２に基づいて、演算部５から出力された第３画像３７を処理し、検出領域６２に対応する箇所の情報のみを持つ処理後の第３画像６３を生成する（Ｓ１０５）。

図７に示す第３画像３７の画像例３７ａも、画像例３８ａ、３９ａと同一のフレームにおいて得られた、人９の顔部分を含む空間を撮影した画像である。状態推定部６は、第３画像３７に対して、同一フレームにおいて先に得られた検出領域６２を重ね合わせ、重複のない箇所の画像情報を第３画像３７上から削除する。状態推定部６は、この処理によって得られた処理後の第３画像６３を記憶部７に一時的に格納する。なお、処理後の第３画像６３の画像例６３ａにおいては、画像例３７ａに対して、検出領域例６２ｂを重ね合わせて示している。

状態推定部６は、処理後の第３画像６３を生成したのち、記憶部７に蓄積された複数フレーム分の処理後の第３画像６３、明度像３８、および距離像３９から、人９の脈拍や呼吸、姿勢などの生体情報を生成する（Ｓ１０６）。

生体情報の生成処理について、以下、処理後の第３画像６３を一例に図７を用いて詳しく説明する。

演算部５によって順次得られるフレームの第３画像３７すべてについて、検出領域特定部６１による上述の一連の処理を適用していくことで、記憶部７には各フレームによって得られた処理後の第３画像６３が蓄積される。蓄積された一連の、処理後の第３画像６３は、時間変化に対する処理後の第３画像６３の変化を表している。すなわち、これら一連の蓄積された処理後の第３画像６３は、第３画像３７のうち顔部分の時間変化を示す第３画像動画６３ｂである。

ここで、血管の拡張、すなわち血流量は、ヘモグロビンの量と相関があり、ヘモグロビンに対する反射性の高い波長の光を用いれば、光を照射した単位時間あたりのヘモグロビン量に相当する反射光が得られる。なお、ヘモグロビンに対する反射性の高い波長とは、体組織中で吸収されにくく、かつヘモグロビンにおいて、入射された光のうち少なくとも一部が反射される光の波長を指す。この反射光を利用すれば、血管の拡張を非侵襲的に観測することが可能である。また血管の拡張を時間変化に対してプロットすることで脈拍を推定することができる。すなわち画像を用いた非侵襲的な脈拍推定が可能となる。

先に得た第３画像動画６３ｂは、顔部分に照射した任意の波長の光が反射された反射光を、時間変化に対して並べた動画であり、任意の波長を、ヘモグロビンに対する反射性の高い波長とすることで人９の脈拍を推定することができる。よって状態推定部６は、第３画像動画６３ｂを解析することで人９の脈拍を推定し、推定脈拍図６３ｃを生成するとともに、生体情報としての推定脈拍値を生成する。

明度像３８、および距離像３９についても、状態推定部６は、明度像動画、および距離像動画として解析することにより、様々な生体情報を生成することができる。

図６において、生体情報を生成したのち、状態推定部６は、生成した生体情報のうち、あらかじめ設定された基準値から外れる値を示すものがないかを判断し（Ｓ１０７）、該当するものがない場合には（Ｓ１０７でＮｏ）表示装置８に現在得られている生体情報の一覧、または一部を表示させる（Ｓ１０８）。一方、あらかじめ設定された基準値から外れる値を示すものがあった場合には（Ｓ１０７でＹｅｓ）、状態推定部６は表示装置８に警報を表示させることで異常値の存在を通知する（Ｓ１０９）。その後、状態推定部６はさらに異常値のあった情報を含む生体情報の一覧、または一部を表示させる（Ｓ１０８）。

次に、図６および図７に示された生体状態検出装置１の全体動作における個々の動作についてより詳細に説明する。

まず光源部２の出射、および撮像素子３の受光の処理について、図８を用いて詳細に説明する。ここでの説明は、図６のフローチャートにおけるステップＳ１０１、およびステップＳ１０２に対応している。

図８は実施の形態における生体状態検出装置１が備える光源部２、および撮像素子３の制御を示すタイミングチャートである。

図８では、横軸は時間経過を、縦軸は光源の出射、または撮像素子３の露光のＯＮ、およびＯＦＦを示している。ここでは縦軸の上側がＯＮ制御であり、縦軸の下側がＯＦＦ制御である。また各素子について２つまたは３つの異なる露光タイミングにおいて受光が行われるため、図５に示した素子３１１および３２１と、素子３１２および３２２と、素子３１３および３２３とを用いて説明する。なお、２つの異なる露光タイミングにおいて受光が行われる場合においては、第１素子３１および第２素子３２が素子３１２および３２２を有しない構成としてもよい。

図８の（ａ）は、第１光源２１の出射（第１タイミングチャートｐ１０１）、および第１素子３１の受光（第２タイミングチャートｐ１０２）、ならびに第２光源２２の出射（第３タイミングチャートｐ１０３）、および第２素子３２の受光（第４タイミングチャートｐ１０４）、ならびに第１素子３１、および第２素子３２における背景光１０ａの受光（第５タイミングチャートｐ１０５）を１フレーム時間内に１回行う制御を示すタイミングチャートである。ここでは２つの異なるタイミングにおいて受光が行われるため、図５の素子３１１および３２１と、素子３１３および３２３とを用いて説明する。

まず第１光源２１の出射に対応する第１タイミングチャートｐ１０１において、第１光源２１の出射が開始され、第１パルス幅ｗ１の時間が経過したのち出射が停止される。

第１素子３１の受光に対応する第２タイミングチャートｐ１０２において、第１光源２１の出射開始と同時に素子３１１の電荷蓄積が開始され、第２パルス幅ｗ２の時間が経過したのち電荷蓄積が停止され、第１画像に相当する電気信号が取得される。

また第２光源２２の出射に対応する第３タイミングチャートｐ１０３において、素子３１１の電荷蓄積停止から第１間隔ｗ３の時間が経過したのち、第２光源２２の出射が開始され、第１パルス幅ｗ１の時間が経過したのち出射が停止される。

第２素子３２の受光に対応する第４タイミングチャートｐ１０４において、第２光源２２の出射開始と同時に素子３２１の電荷蓄積が開始され、第２パルス幅ｗ２の時間が経過したのち電荷蓄積が停止され、第２画像に相当する電気信号が取得される。

さらに第１素子３１、および第２素子３２における背景光１０ａの受光に対応する第５タイミングチャートｐ１０５において、素子３２１の電荷蓄積停止から第２間隔ｗ４の時間が経過したのち、素子３１３および３２３の電荷蓄積が開始され、第２パルス幅ｗ２の時間が経過したのち電荷蓄積が停止され、第４画像に相当する電気信号が取得される。

以上を１制御セットとして１フレーム時間内に１セット行う。このタイミングチャートでは２つの波長において撮影された第１画像、および第２画像に加えて第４画像が取得でき、演算部５により、背景光を除去した差分の第１画像、および差分の第２画像の生成が可能となる。

また図８の（ｂ）は、図８の（ａ）の１制御セットを１フレーム時間内で複数回に分けて行う制御を示すチャートである。さらに図８の（ｂ）では、第１光源２１の出射（第６タイミングチャートｐ２０１）、および第１素子３１の受光（第７タイミングチャートｐ２０２）の直後に、第１素子３１における背景光１０ａの受光（第８タイミングチャートｐ２０３）を行う。続いて、第２光源２２の出射（第９タイミングチャートｐ２０４）、および第２素子３２の受光（第１０タイミングチャートｐ２０５）の直後に、第２素子３２における背景光１０ａの受光（第１１タイミングチャートｐ２０６）を行う。ここでは２つの異なるタイミングにおいて受光が行われるため、図５の素子３１１および３２１と、素子３１３および３２３とを用いて説明する。

まず第１光源２１の出射に対応する第６タイミングチャートｐ２０１において、第１光源２１の出射が開始され、第３パルス幅ｗ５の時間が経過したのち出射が停止される。

第１素子３１の受光に対応する第７タイミングチャートｐ２０２において、第１光源２１の出射開始と同時に素子３１１の電荷蓄積が開始され、第４パルス幅ｗ６の時間が経過したのち電荷蓄積が停止される。

続いて第１素子３１における背景光１０ａの受光に対応する第８タイミングチャートｐ２０３において、素子３１１の電荷蓄積停止から第３間隔ｗ７の時間が経過したのち、素子３１３の電荷蓄積が開始され、第３パルス幅ｗ５の時間が経過したのち電荷蓄積が停止される。

また第２光源２２の出射に対応する第９タイミングチャートｐ２０４において、素子３１３の電荷蓄積停止から第４間隔ｗ８の時間が経過したのち、第２光源２２の出射が開始され、第３パルス幅ｗ５の時間が経過したのち出射が停止される。

第２素子３２の受光に対応する第１０タイミングチャートｐ２０５において、第２光源２２の出射開始と同時に素子３２１の電荷蓄積が開始され、第４パルス幅ｗ６の時間が経過したのち電荷蓄積が停止される。

続いて第２素子３２における背景光１０ａの受光に対応する第１１タイミングチャートｐ２０６において、素子３２１の電荷蓄積停止から第３間隔ｗ７の時間が経過したのち、素子３２３の電荷蓄積が開始され、第３パルス幅ｗ５の時間が経過したのち電荷蓄積が停止される。

以上を１制御セットとして１フレーム時間内に複数セット出射と受光を繰り返し、各素子において蓄積する電荷を積算する。このタイミングチャートでも、１フレーム時間で、２つの波長において撮影された第１画像、および第２画像に加えて第４画像が取得でき、演算部５により、背景光を除去した差分の第１画像、および差分の第２画像の生成が可能となる。このタイミングチャートでは出射と受光を複数回にわたって行うため、１フレーム時間内に生じる変化をより正確にとらえた撮影が可能となる。また素子３１１および素子３１３の電荷蓄積タイミングの差と、素子３２１および素子３２３の電荷蓄積タイミングの差とが同一になるため、２つの光源における撮影の差を少なくすることができる。

さらに図８の（ｃ）は、図８の（ｂ）に加えて、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式による撮影ができるよう第１素子３１、および第２素子３２における受光が時間軸上２つのタイミングに分割されている。ここでは３つの異なるタイミングにおいて受光が行われるため、図５の素子３１１および３２１と、素子３１２および３２２と、素子３１３および３２３を用いて説明する。

まず第１光源２１の出射に対応する第１２タイミングチャートｐ３０１において、第１光源２１の出射が開始され、第３パルス幅ｗ５の時間が経過したのち出射が停止される。

素子３１１の電荷蓄積に対応する第１３タイミングチャートｐ３０２において、第１光源２１の出射開始と同時に素子３１１の電荷蓄積が開始され、第３パルス幅ｗ５の時間が経過したのち電荷蓄積が停止される。

また素子３１２の電荷蓄積に対応する第１４タイミングチャートｐ３０３において、素子３１１の電荷蓄積停止と同時に素子３１２の電荷蓄積が開始され、第３パルス幅ｗ５の時間が経過したのち電荷蓄積が停止される。

続いて第１素子３１における背景光１０ａの受光に対応する第１５タイミングチャートｐ３０４において、素子３１２の電荷蓄積停止から第５間隔ｗ９の時間が経過したのち、素子３１３の電荷蓄積が開始され、第３パルス幅ｗ５の時間が経過したのち電荷蓄積が停止される。

また第２光源２２の出射に対応する第１６タイミングチャートｐ３０５において、素子３１３の電荷蓄積停止から第６間隔ｗ１０の時間が経過したのち、第２光源２２の出射が開始され、第３パルス幅ｗ５の時間が経過したのち出射が停止される。

素子３２１の受光に対応する第１７タイミングチャートｐ３０６において、第２光源２２の出射開始と同時に素子３２１の電荷蓄積が開始され、第３パルス幅ｗ５の時間が経過したのち電荷蓄積が停止される。

また素子３２２の電荷蓄積に対応する第１８タイミングチャートｐ３０７において、素子３２１の電荷蓄積停止と同時に素子３２２の電荷蓄積が開始され、第３パルス幅ｗ５の時間が経過したのち電荷蓄積が停止される。

続いて第２素子３２における背景光１０ａの受光に対応する第１９タイミングチャートｐ３０８において、素子３２２の電荷蓄積停止から第５間隔ｗ９の時間が経過したのち、素子３２３の電荷蓄積が開始され、第３パルス幅ｗ５の時間が経過したのち電荷蓄積が停止される。

以上を１制御セットとして１フレーム時間内に複数セット出射と受光を繰り返し、各素子において蓄積する電荷を積算する。このタイミングチャートではＴＯＦ方式による分析が可能となるため撮像素子３と撮像空間内に存在する物体との距離を算出することが可能となる。

なお、本実施の形態における説明については図８の（ｃ）にあたる出射と受光を行っているものとし、演算部５においてＴＯＦ方式による距離像の取得が可能である。

ここでＴＯＦ方式における距離の計算方法について、以下の式（１）を用いて説明する。

式（１）は第１波長における、撮像空間内に存在する物体から撮像素子３までの距離を計算する計算式である。ただしＬ_Ｗは、撮像空間内に存在する物体から撮像素子３までの距離であり、ｃは光の速度を、Ｔ_Ｗは第１波長の光の照射パルス幅を、ｔ１は第１露光タイミングにおいて得られた受光量を、ｔ２は第２露光タイミングにおいて得られた受光量を、ｔＯは第３露光タイミングにおいて得られた受光量をそれぞれ表している。より具体的には、ｃには３．００×１０^８を、Ｔ_Ｗには第３パルス幅ｗ５を、ｔ１には素子３１１の電荷量を、ｔ２には素子３１２の電荷量を、ｔＯには素子３１３の電荷量を代入して計算する。

また第２波長における撮像空間内に存在する物体から撮像素子３までの距離も同式を用いて計算する。より具体的には、ｃには３．００×１０^８を、Ｔ_Ｗには第３パルス幅ｗ５を、ｔ１には素子３２１の電荷量を、ｔ２には素子３２２の電荷量を、ｔＯには素子３２３の電荷量を代入して計算する。

次に以上のように撮像素子３に蓄積された電気信号から生体情報を生成するまでの処理について図９を用いて説明する。ここでの説明は、図６のフローチャートにおけるステップＳ１０３～Ｓ１０８に対応している。

図９は実施の形態における生体状態検出装置１による画像処理について説明する図である。

図９には撮像素子３から演算部５が画像を読み出して処理し、演算部５が処理した画像を状態推定部６がさらに処理することで生体状態を推定するまでの、一連の画像処理の流れを示している。また図９には、状態推定部６における画像の処理において一時的に記憶部７に画像を格納すること、推定結果を表示装置８へ出力することも併せて示している。

まず演算部５は、撮像素子３において取得した画像情報を読み出し、各画像情報について、差分をとることや合成を行う処理によって３種の画像情報を生成する。具体的には演算部５は、撮像素子３から第１波長の光源出射時において得られた第１画像５１、および第２波長の光源出射時において得られた第２画像５２を第１素子３１および第２素子３２から読み出す。また同時に、演算部５は第１素子３１、および第２素子３２において、光源の照射されない背景光１０ａのみの環境下において撮影された第４画像５３ａおよび５３ｂを撮像素子３から読み出す。演算部５は、撮像素子３から読み出した第１画像５１および第４画像５３ａの差分をとることで背景光１０ａの除去を行い、差分の第１画像５１ａを出力する。また演算部５は同様に、撮像素子３から読み出した第２画像５２および第４画像５３ｂの差分をとることで背景光１０ａの除去を行い、差分の第２画像５２ａを出力する。

ここで、差分の第１画像５１ａは第１明度像３３、および第１距離像３５を含んでいる。また差分の第２画像５２ａは第２明度像３４、および第２距離像３６を含んでいる。演算部５は、生体情報の生成用として、第１明度像３３、および第２明度像３４の差分をとることで第３画像３７を生成する。また演算部５は、検出領域６２の特定に用いる、第１明度像３３、および第２明度像３４を合成することで明度像３８を生成する。さらに演算部５は、検出領域６２の特定に用いる、第１距離像３５、および第２距離像３６を合成することで距離像３９を生成する。

演算部５はさらに生成した明度像３８、および距離像３９を記憶部７に格納する。演算部５は順次取得されるフレームについて、以上のように記憶部７に画像を格納して蓄積することにより明度像動画７１、および距離像動画７２を生成する。

次に状態推定部６の検出領域特定部６１は、演算部５が生成した明度像３８および距離像３９を用いて、生体情報を検出する際に用いる検出領域６２を特定する。

状態推定部６は、演算部５が生成した第３画像３７に対して、検出領域６２を用いて、検出領域６２に対応する部分のみを含む画像情報である処理後の第３画像６３を生成し、記憶部７に格納する。状態推定部６は順次取得されるフレームについて、以上の処理を適用して第３画像動画６３ｂを生成する。

状態推定部６は記憶部７に格納された明度像動画７１、距離像動画７２、および第３画像動画６３ｂを用いて人９の生体情報を生成する。状態推定部６は以上のようにして生成した生体情報を表示装置８に表示させる。

次に、本実施の形態において演算部５で行われる画像の処理について図１０を用いて、より詳しく説明する。ここでの説明は、図６のフローチャートにおけるステップＳ１０３に対応している。

図１０は実施の形態における生体状態検出装置１が備える演算部５による画像処理を説明する図である。

図１０には、撮像素子３と、撮像素子３の単位素子に対応する画素が単位素子の配列と対応するよう並べられた画像情報とを図示している。また撮像素子３および各画像情報は、右端部、および下端部が便宜上破断されている。撮像素子３は、縦方向にＮ行、横方向にＭ列の単位素子配列によって構成されており（Ｎ、Ｍは２以上の整数）、縦方向のうち奇数行には第１素子３１が、偶数行には第２素子３２が交互に並ぶように配置されている。

ここで、第１素子３１によって撮影された第１画像５１は、第１画像５１を構成する各画素に受光した光量である明度情報と、ＴＯＦ方式によって取得された撮像空間内における物体と撮像素子３との距離を示す距離情報とを含んでいる。また第２素子３２によって撮影された第２画像５２についても同様である。図１０には、第１画像５１のうち明度情報を示す画像を第１明度像３３として、距離情報を示す画像を第１距離像３５として図示しており、また第２画像５２のうち明度情報を示す画像を第２明度像３４として、距離情報を示す画像を第２距離像３６として図示している。さらに図１０には演算部５において処理されることで得られる第３画像３７、明度像３８、および距離像３９も併せて図示している。

演算部５は撮像素子３による撮影が完了すると、撮像素子３の素子３１１および３２１と、素子３１２および３２２に蓄積された、画像情報を示す電気信号を読み出す。この際、奇数行に配置された第１素子３１の受光量を抽出する処理により第１画像５１を得、偶数行に配置された第２素子３２の受光量を抽出する処理により第２画像５２を得る。すなわち、元の撮像素子３に配列されたＮ行Ｍ列の単位素子から、縦方向の情報量が半数となるＮ／２行Ｍ列の画素を有する画像情報が２枚生成される。また演算部５は素子３１３および３２３から背景光１０ａのみが照射された環境において撮影された第４画像５３ａおよび５３ｂを読み出す。演算部５はまず第１画像５１、および第２画像５２それぞれから、対応する素子から読み出した第４画像５３ａおよび５３ｂを差し引くことにより、背景光１０ａ照射による受光分を除去した差分の第１画像５１ａ、および差分の第２画像５２ａを生成する。

ここで演算部５は、第１画像５１、および第２画像５２から第４画像５３ａおよび５３ｂを差し引くと同時に各画素中に含まれる明度情報、および距離情報を別個に演算し、第１明度像３３、および第１距離像３５、ならびに第２明度像３４、および第２距離像３６を得る。

具体的には、演算部５は、素子３１１および３２１の電荷量と、素子３１２および３２２の電荷量とを加算し、素子３１３および３２３の電荷量の２倍分を差し引き、撮像素子上の対応する配置に画素を並べることで第１明度像３３、および第２明度像３４を得る。また演算部５は、素子３１１および３２１の電荷量と、素子３１２および３２２の電荷量と、素子３１３および３２３の電荷量とを、上記式（１）を用いて演算することにより第１距離像３５、および第２距離像３６を得る。

ここまでの処理によって、演算部５は１フレーム時間内に撮像素子３に蓄積された電気信号から、上記の４つの画像情報（第１明度像３３、第２明度像３４、第１距離像３５、第２距離像３６）を得る。

演算部５はさらに第１明度像３３、および第２明度像３４の差分を演算することにより、第３画像３７を得る。第３画像３７の演算においては第１明度像３３、および第２明度像３４における同じ位置の各画素について差分を計算するため、各画素の示す値は変化するが、処理の前後において画像の画素数には変化はなく、Ｎ／２行Ｍ列の画素を有する画像情報が得られる。

なお、本実施の形態においては、演算部５は、第３画像３７を、第１明度像３３、および第２明度像３４の差分によって生成したが、２つの画像の比率をとって生成してもよい。

演算部５はまた、第１明度像３３、および第２明度像３４を合成することにより、明度像３８を得る。具体的には第１明度像３３の１行目の下に第２明度像３５の１行目を挿入し、第１明度像３３の２行目の下に第２明度像３４の２行目を挿入していく処理をＮ／２行目まで繰り返すことで、元の撮像素子３上の対応する単位素子の配列を再現する合成を行う。この処理によって得られる画像は、各画素の示す値は変化しないが、処理の前後において画像の画素数が変化し、Ｎ行Ｍ列の画素を有する画像情報が得られる。

ここで第１明度像３３、および第２明度像３４は、それぞれ異なる波長の光を出射して得られた画像である。２つの波長間において撮像空間内の物体に対する反射率の差や、第１素子３１、および第２素子３２の感度の差によって、得られる第１明度像３３、および第２明度像３４の明度（つまり、輝度）には差が生じる場合がある。そこで上記明度像３８の合成においては光量の差を補正するための処理も同時に行ってもよい。具体的には、得られた画像のうち基準となる画素を決定し、この基準となる画素について、受光量の多い一方の画像に対する、受光量の少ない他方の画像の受光量比を算出する。受光量の多い一方の画像の撮影において出射されていた光源について、受光量比を用いて輝度を調整し、次フレームの撮影において基準となる画素の受光量がそろった状態を作出して合成に用いる。なお、受光量の多い一方の画像におけるすべての画素に対して、画像情報上で受光量比を用いて補正を行い、基準となる画素の受光量がそろった状態を作出して合成に用いてもよい。

演算部５はまた、第１距離像３５、および第２距離像３６を合成することにより、距離像３９を得る。具体的には第１距離像３５の１行目の下に第２距離像３６の１行目を挿入し、第１距離像３５の２行目の下に第２距離像３６の２行目を挿入していく処理をＮ／２行目まで繰り返すことで、元の撮像素子３上の対応する単位素子の配列を再現する合成を行う。この処理によって得られる画像は、各画素の示す値は変化しないが、処理の前後において画像の画素数が変化し、Ｎ行Ｍ列の画素を有する画像情報が得られる。

以上により得られる第３画像３７、明度像３８、および距離像３９は、それぞれ縦方向の画素数が２／Ｎ行、Ｎ行、およびＮ行となっているため、これらの画像を同時に用いて比較する際には第３画像３７の縦方向の画素を２倍に引き伸ばす処理を行う。なお、明度像３８、および距離像３９の縦方向の画素を１／２倍に縮小する処理を行ってもよい。

さらに本実施の形態における状態推定部６の処理について図１１を用いて説明する。ここでの説明は、図６のフローチャートにおけるステップＳ１０４～Ｓ１０９に対応している。また図１２を用いて、警告表示の一例として眠気情報を検知した際の生体状態検出装置１の動作についても説明する。

図１１は実施の形態における生体状態検出装置１が備える状態推定部６の動作全体を説明するフローチャートである。

まず状態推定部６は、図６において説明したように検出領域特定部６１において演算部５が生成した明度像３８、および距離像３９を取得する。状態推定部６の検出領域特定部６１は、距離像３９、および明度像３８を用いて画像処理を行い、画像情報からの脈拍検出に用いる領域を限定するための検出領域６２を特定する（Ｓ２０１）。

続いて状態推定部６は、演算部５が生成した第３画像３７を取得し、検出領域６２に基づいて第３画像３７を処理する（Ｓ２０２）。より具体的には、状態推定部６は第３画像３７のうち検出領域６２の範囲外の画像情報を削除し、検出領域６２の領域内の情報だけをもった処理後の第３画像６３を生成する。

状態推定部６はさらに、処理後の第３画像６３を記憶部７に格納し、同様の処理により複数フレームにおける処理後の第３画像６３を蓄積する。蓄積された処理後の第３画像６３は、検出領域６２の領域内に位置する、人９の顔部分における画像情報の経時変化を示す第３画像動画６３ｂとなる。状態推定部６は第３画像動画６３ｂの解析により人９の生体情報である脈拍を推定する（Ｓ２０３）とともに、推定脈拍図６３ｃを生成する。

状態推定部６はまた、記憶部７に蓄積された距離像３９が示す、距離像３９の経時変化である距離像動画７２を解析することにより、人９の生体情報である、姿勢情報、行動情報、および動作に関する情報を生成する（Ｓ２０４）。

状態推定部６はさらに、記憶部７に蓄積された明度像３８が示す、明度像３８の経時変化である明度像動画７１を解析することにより、人９の生体情報である、視線情報、瞬き情報、顔向情報、呼吸情報を生成する（Ｓ２０５）。

以上のようにして得られた生体情報をもとに、状態推定部６は、人９の眠気を示す情報が含まれるか否かを判断する（Ｓ２０６）。たとえば、状態推定部６は眠気を示す際に特徴的な脈拍が検出されたこと、同じ姿勢の継続時間が長いこと、瞬きの回数が増えていること、顔向が下がっていることなどを、総合的に判断して人９の眠気を検知する。状態推定部は人９の眠気を検知した際に表示装置８に眠気を検知したことを示す警報を表示する（Ｓ２１１）。

ここで、図１２は自動車内に設置された実施の形態における生体状態検出装置１の警報表示の一例を説明する図である。

図１２には自動車の運転手である人９の視点において、視界に入る操舵部を示している。この例では操舵輪１００、計器盤１０１、および生体状態検出装置１が人９の視界に入っており、生体状態検出装置１は既に動作を開始している状況である。

生体状態検出装置１は、生体情報の検出対象の運転手である人９に向けて光源部２から異なる波長の光を出射する。出射光２１ａ、２２ａは、人９に反射して、反射光２１ｂ、２２ｂとしてレンズ３ｃを介し撮像素子３に到達する。図１２に示した例では撮影された画像から、運転手の眠気に関する情報を検知したため、状態推定部６により表示装置８に眠気を検知した旨を通知する警報が表示されている。

図１１のフローチャートにおいて状態推定部６は、眠気を検知しなかった際（Ｓ２０６でＮｏ）、または眠気を検知した警報を表示した（Ｓ２１１）のち、得られた生体情報をもとに、人９の漫然性を示す情報が含まれるか否かを判断する（Ｓ２０７）。たとえば、状態推定部６は同じ動作を長時間行っていること、漫然性を示す際に特徴的な脈拍が検出されたこと、平常時に比べ視線の移動回数が変化していることなどを総合的に判断して人９の漫然性を検知する。状態推定部は人９の漫然性を検知した際に表示装置８に漫然性を検知したことを示す警報を表示する（Ｓ２１２）。

状態推定部６は漫然性を検知しなかった際（Ｓ２０７でＮｏ）、または漫然性を検知した警報を表示した（Ｓ２１２）のち、得られた生体情報をもとに、人９の焦燥を示す情報が含まれるか否かを判断する（Ｓ２０８）。たとえば、状態推定部６は焦燥を示す際に特徴的な脈拍が検出されたこと、平常時に比べ視線の移動速度が変化していること、呼吸数が増加していること、焦燥を示す際に特徴的な行動が検出されたことなどを総合的に判断して人９の焦燥を検知する。状態推定部は人９の焦燥を検知した際に表示装置８に焦燥を検知したことを示す警報を表示する（Ｓ２１３）。

状態推定部６は焦燥を検知しなかった際（Ｓ２０８でＮｏ）、または焦燥を検知した警報を表示した（Ｓ２１３）のち、得られた生体情報に異常値が含まれるか否かを判断する（Ｓ２０９）。たとえば、脈拍や呼吸数、血圧などの異常値のほか、長時間目を閉じていること、長時間臥位姿勢をとっていることなどのうち１つ以上の異常値を検知する。状態推定部は生体情報の異常値を検知した際に表示装置８に異常値を検知したことを示す警報を表示する（Ｓ２１４）。

状態推定部６は生体情報に異常値を検知しなかった際（Ｓ２０９でＮｏ）、または異常値を検知した警報を表示した（Ｓ２１４）のち、現在取得している生体情報のうちすべて、または一部を表示装置８に表示する（Ｓ２１０）。

なおこれらの生体情報を用いた警報表示の判断には、あらかじめ設定された閾値との比較を用いるほか、人９の過去の生体情報を過去データとして記憶部７に格納しておき、過去データの最大値、最小値、および平均値などとの比較により判断してもよい。またその際には、明度像３８の顔部分の特徴（例えば、顔の輪郭、目・鼻・口に代表される顔パーツの大きさ、少なくとも２つ以上の顔パーツの相対位置、虹彩、しわ等）をもとに人９の個人識別を行い、識別した情報をもとに過去データを呼び出してもよい。あるいは、人９の過去データが存在しない場合には、人９の個人識別のための情報と、生体情報とを新たに記憶部７に記録してもよい。

以上のように、本実施の形態における生体状態検出装置１は、第１波長の光を出射する第１光源２１と、第１波長とは異なる第２波長の光を出射する第２光源２２と、第１光源２１および第２光源２２から出射された光による人９からの反射光２１ｂ、２２ｂを受光する複数の素子で構成される撮像素子３と、第１光源２１および第２光源２２が交互に光を出射するように第１光源２１および第２光源２２を制御する制御部４と、第１光源２１からの反射光２１ｂを受光することで得られた第１画像５１、および第２光源２２からの反射光２２ｂを受光することで得られた第２画像５２を撮像素子３から読み出し、読み出した第１画像５１と第２画像５２とを演算することで第３画像３７を生成する演算部５と、演算部５で生成された第３画像３７に基づいて、人９の生体情報を生成する状態推定部６とを備え、演算部５は、さらに、第１画像５１および第２画像５２の少なくとも一つに基づいて、距離像３９を生成する。

このような構成により、本実施の形態における生体状態検出装置１によれば生体情報である脈拍の推定に加えて、距離像３９をもとに姿勢、行動、および動作の情報を取得することが可能となる。より詳しくは、距離像３９を記憶部７に蓄積した距離像動画７２が示す、生体情報の検出対象である人９の撮像空間内における位置の経時変化を解析することで姿勢、行動、および動作を推定できる。よって画像を用いながらも、従来よりも多くの生体情報を生成できる生体状態検出装置を構成できる。

また演算部５は、第１画像５１および第２画像５２を合成することで、距離像３９を生成してもよい。これにより脈拍推定のために取得した第１画像５１、および第２画像５２を流用して距離像３９を生成でき、距離像３９の生成のために新たに撮影を行う必要がなくなる。

また演算部５は、撮像素子３から第１画像５１および第２画像５２を読み出し、第１画像５１に対応する第１素子３１および第２画像５２に対応する第２素子３２の撮像素子３における配置位置を再現するように、読み出した第１画像５１と第２画像５２とを合成することで、距離像３９を生成してもよい。これにより、脈拍推定のために２分割された、画像２枚分の素子から、撮像素子３上の単位素子の配列通りに１枚分の画像として距離像３９を生成するため、解像度の高い距離像３９を用いてより正確に検出領域６２を特定できる。

また演算部５は、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式を用いて、距離像３９を生成してもよい。これにより、撮像素子３が一つ備えられていれば距離像３９の生成が実現でき、構成全体を小型化することが可能である。

また状態推定部６は、第３画像３７のうち、生体情報の生成に用いる領域である検出領域６２を特定する検出領域特定部６１を有し、検出領域特定部６１で特定された検出領域６２を用いて、生体情報を生成してもよい。このとき、検出領域特定部６１は、例えば、メガネやマスクや帽子などにより、撮像素子３から見て肌が隠れていると判断される場合には、それらの肌の隠れている領域を除外するように検出領域６２を特定してもよい。あるいは、目や口腔のように、肌の明度と異なると判断される領域を除外するように検出領域６２を特定してもよい。これにより、生体情報の生成に対して、画像中からより適切な画素を選択でき、生成される生体情報の精度をより向上できる。

また検出領域特定部６１は、距離像３９を用いて、検出領域６２を特定してもよい。これにより、人９のうち、検出領域６２として特定したい部位を距離の側面から絞り込め、効率的に検出領域を特定することが可能となる。

また演算部５は、さらに、第１画像５１および第２画像５２の少なくとも一つに基づいて、明度像３８を生成し、検出領域特定部６１は、距離像３９と明度像３８とを用いて、検出領域６２を特定してもよい。これにより、明度像３８をもとに視線、瞬き、顔向、および呼吸の情報を取得することが可能となる。また検出領域６２の特定においては、距離の側面に加え、明度の側面からも絞り込むことができ、検出領域６２の生成精度を向上させることができる。

また演算部５は、第１画像５１および第２画像５２を合成することで、明度像３８を生成してもよい。これにより、脈拍推定のために取得した第１画像５１、および第２画像５２を流用して明度像３８を生成でき、明度像３８の生成のために新たに撮影を行う必要がなくなる。

また演算部５は、撮像素子３から第１画像５１および第２画像５２を読み出し、第１画像５１に対応する第１素子３１および第２画像５２に対応する第２素子３２の撮像素子３における配置位置を再現するように、読み出した第１画像５１と第２画像５２とを合成することで、明度像３８を生成してもよい。これにより、脈拍推定のために２分割された、画像２枚分の素子から、撮像素子３上の単位素子の配列通りに１枚分の画像として明度像３８を生成するため、解像度の高い距離像３９を用いてより正確に検出領域６２を特定できる。

また演算部５は、第１画像５１および第２画像５２の少なくとも一つの明度を調整したうえで、第１画像５１および第２画像５２を合成してもよい。これにより、第１画像５１、および第２画像５２間において、撮像空間内の物体に対する反射率の差や、第１素子３１、および第２素子３２の感度の差によって生じる受光量の差を補正することができる。

また合成に用いられる第１画像５１および第２画像５２は、制御部４によって第１光源２１および第２光源２２の少なくとも一つの光量が調整された後に演算部５によって読み出された画像であってもよい。これにより、光源からの出射光２１ａ、２２ａに必要な電力を削減しながら第１素子３１、および第２素子３２の受光量の差を補正することができる。

また制御部４は、さらに、第１光源および第２光源から光が出射されていないときに撮像素子３が撮影するように撮像素子３を制御し、演算部５は、さらに、第１光源２１および第２光源２２から光が出射されていないときに撮影された第４画像５３ａ、５３ｂを撮像素子３から読み出し、読み出した第４画像５３ａ、５３ｂを第１画像５１および第２画像５２のそれぞれから差し引き、得られた差分の第１画像５１ａと差分の第２画像５２ａとを演算することで第３画像３７を生成してもよい。これにより、背景光１０ａ照射の影響を除去し、光源部２からの反射光２１ｂ、２２ｂのみを撮影した画像を生成できる。

また演算部５は、第１画像５１と第２画像５２との差分又は比率を算出する演算をすることで第３画像３７を生成し、状態推定部６は、第３画像３７に基づいて、人９の脈拍に関する生体情報を生成してもよい。これにより、２つの異なる波長によって撮影された画像情報の比較ができ、体動、および外光の変化などの影響を低減させ、撮影時点の血流量を反映した情報を精度良く取得できる。よって、より正確に脈拍、さらには呼吸、血圧に関する生体情報の生成が可能となる。

また第１波長および第２波長は、近赤外光の波長であってもよい。これにより、背景光１０ａとしての太陽光などに含まれる光量が少ない波長域の光を選択でき、背景光源１０の影響をより低減できる。またヘモグロビンに対する反射性の高い波長である近赤外光を選択して使用できる。さらには、近赤外光は不可視光であることから、撮像空間内の物体や人を明るく照らすことがなく、すなわち、対象者の作業を妨げることなく、作業者の生体状態を検出することが可能となる。

また状態推定部６は、さらに、生体情報および距離像３９を用いて、人９の状態を推定してもよい。これにより、人９の体の部位ごとの距離等を活かした、体動、姿勢などの評価が可能となる。

さらに、第１光源２１および第２光源２２から出射された光による人からの反射光２１ｂ、２２ｂを撮像素子３に集光させるレンズを備え、レンズは、第１画像５１および第２画像５２が人９の上半身に対応する画像となる場合に、撮像素子３のうちの人９の顔に対応する領域に反射光２１ｂ、２２ｂを投影する倍率を、撮像素子３のうちの人９の顔以外に対応する領域に反射光２１ｂ、２２ｂを投影する倍率よりも大きくする特性を有してもよい。これにより、顔部分の細かな変化を観測することで得られる生体情報について、変化をとらえる精度をより向上させることができる。より具体的には視線、瞬きなど、顔の細部の動きを検出する必要がある評価において有効である。

また本実施の形態における生体状態検出方法は、第１波長の光を出射する第１光源、および、前記第１波長とは異なる第２波長の光を出射する第２光源に対して、前記第１光源および前記第２光源が交互に光を出射するように制御する制御ステップＳ１０１と、第１光源および第２光源から出射された光による人からの反射光を受光する複数の素子で構成される撮像素子から、第１光源からの反射光を受光することで得られた第１画像、および第２光源からの反射光を受光することで得られた第２画像を読み出し、読み出した第１画像、および第２画像を演算することで第３画像を生成する演算ステップＳ１０３と、演算ステップＳ１０３で生成された第３画像に基づいて、前記人の生体情報を生成する状態推定ステップＳ１０４とを含み、演算ステップＳ１０３では、さらに、第１画像および第２画像の少なくとも一つに基づいて、距離像を生成する。

このような構成により、本実施の形態における生体状態検出方法によれば生体情報である脈拍の推定に加えて、距離像３９をもとに姿勢、行動、および動作の情報を取得することが可能となる。より詳しくは、距離像３９を記憶部７に蓄積した距離像動画７２が示す、生体情報の検出対象である人９の撮像空間内における位置の経時変化を解析することで姿勢、行動、および動作を推定できる。よって画像を用いながらも、従来よりも多くの生体情報を生成できる生体状態検出方法を構築できる。

以上、本発明の生体状態検出装置１、および生体状態検出方法について、実施の形態に基づいて説明したが、本発明は、実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態および変形例における一部の構成要素を任意に組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

たとえば、本実施の形態においては、第１距離像３５、および第２距離像３６を合成することで距離像３９を生成したが、第１距離像３５、または第２距離像３６のうち一方のみを用いてもよい。その際は第１距離像３５、および第２距離像３６のうち、どちらがよりノイズが少なく撮影できたか比較し、ノイズの少ない方を採用してもよい。もしくは、あらかじめどちらの画像を使用するかを決定しておき、常にその一方の画像を用いてもよい。

また、たとえば、本実施の形態においては第１画像５１と第２画像５２を撮像素子３上の配置位置を再現する形で合成し、距離像３９、および明度像３８を生成したが、第１画像５１と第２画像５２とで重なり合う位置の平均をとる形で合成し、距離像３９、および明度像３８を生成してもよい。

また、たとえば、本実施の形態においては、ＴＯＦ方式を用いて距離像３９を生成したが、ステレオ方式あるいは、ストラクチャードライト方式を利用して距離像３９を生成してもよい。

また、たとえば、本実施の形態においては、距離像３９、または距離像３９と明度像３８を用いて検出領域６２を特定したが、明度像３８のみを用いて検出領域６２を特定してもよい。

また、たとえば、本実施の形態においては、第１明度像３３、および第２明度像３４を合成することで明度像３８を生成したが、第１明度像３３、または第２明度像３４のうち一方のみを用いてもよい。その際は第１明度像３３、および第２明度像３４のうち、どちらがよりノイズが少なく撮影できたか比較し、ノイズの少ない方を採用してもよい。もしくは、あらかじめどちらの画像を使用するかを決定しておき、常にその一方の画像を用いてもよい。

また、たとえば、本実施の形態においては、第１光源２１から出射した際に第１素子３１を露光させ、第２光源２２から出射した際に第２素子３２を露光させる構成としたが、対応する波長の光のみを透過するフィルタを備えた各素子を、一度に露光させてもよい。この場合においては第１光源２１、および第２光源２２は同時に出射を行う。第１光源２１からの反射光２１ｂは第１素子３１に備えられたフィルタは透過するが、第２素子３２に備えられたフィルタは透過しないため、第１素子３１には第１波長の光量のみが記録される。第２光源２２からの反射光２２ｂは第２素子３２に備えられたフィルタは透過するが、第１素子３１に備えられたフィルタは透過しないため、第２素子３２には第２波長の光量のみが記録される。

また、本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路で構成される。ここでは、ＩＣやＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

１ 生体状態検出装置
３ 撮像素子
４ 制御部
５ 演算部
６ 状態推定部
９ 人
３７ 第３画像
３８ 明度像
３９ 距離像
５１ 第１画像
５２ 第２画像
５３ａ、５３ｂ 第４画像
６１ 検出領域特定部
６２ 検出領域
６３ｂ 第３画像動画
７１ 明度像動画
７２ 距離像動画

Claims (17)

1. 人の生体状態を検出する生体状態検出装置であって、
   第１波長の光を出射する第１光源と、
   前記第１波長とは異なる第２波長の光を出射する第２光源と、
   前記第１光源および前記第２光源から出射された光による前記人からの反射光を受光する複数の素子で構成される撮像素子と、
   前記第１光源および前記第２光源が交互に光を出射するように前記第１光源および前記第２光源を制御する制御部と、
   前記第１光源からの反射光を受光することで得られた第１画像、および前記第２光源からの反射光を受光することで得られた第２画像を前記撮像素子から読み出し、読み出した前記第１画像および前記第２画像を演算することで第３画像を生成し、さらに、前記第１画像および前記第２画像の少なくとも一つに基づいて、距離像を生成する演算部と、
   前記演算部で生成された前記第３画像及び前記距離像に基づいて、前記人の生体状態を示す生体情報を生成して出力する状態推定部とを備える
   生体状態検出装置。
2. 前記演算部は、前記第１画像および前記第２画像を合成することで、前記距離像を生成する
   請求項１記載の生体状態検出装置。
3. 前記演算部は、
   前記撮像素子から前記第１画像および前記第２画像を読み出し、
   前記第１画像に対応する第１素子および前記第２画像に対応する第２素子の撮像素子における配置位置を再現するように、読み出した前記第１画像と前記第２画像とを合成することで、前記距離像を生成する
   請求項２記載の生体状態検出装置。
4. 前記演算部は、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ方式を用いて、前記距離像を生成する
   請求項１～３のいずれか１項に記載の生体状態検出装置。
5. 前記状態推定部は、前記第３画像のうち、前記生体情報の生成に用いる領域である検出領域を特定する検出領域特定部を有し、前記検出領域特定部で特定された前記検出領域を用いて、前記生体情報を生成する
   請求項１～３のいずれか１項に記載の生体状態検出装置。
6. 前記検出領域特定部は、前記距離像を用いて、前記検出領域を特定する
   請求項５記載の生体状態検出装置。
7. 前記演算部は、さらに、前記第１画像および前記第２画像の少なくとも一つに基づいて、明度像を生成し、
   前記検出領域特定部は、前記距離像と前記明度像とを用いて、前記検出領域を特定する
   請求項６記載の生体状態検出装置。
8. 前記演算部は、前記第１画像および前記第２画像を合成することで、前記明度像を生成する
   請求項７記載の生体状態検出装置。
9. 前記演算部は、
   前記撮像素子から前記第１画像および前記第２画像を読み出し、
   前記第１画像に対応する第１素子および前記第２画像に対応する第２素子の撮像素子における配置位置を再現するように、読み出した前記第１画像と前記第２画像とを合成することで、前記明度像を生成する
   請求項８記載の生体状態検出装置。
10. 前記演算部は、前記第１画像および前記第２画像の少なくとも一つの明度を調整したうえで、前記第１画像および前記第２画像を合成する
    請求項８又は９記載の生体状態検出装置。
11. 前記合成に用いられる前記第１画像および前記第２画像は、前記制御部によって前記第１光源および前記第２光源の少なくとも一つの光量が調整された後に前記演算部によって読み出された画像である
    請求項８又は９記載の生体状態検出装置。
12. 前記制御部は、さらに、前記第１光源および前記第２光源から光が出射されていないときに前記撮像素子が撮影するように前記撮像素子を制御し、
    前記演算部は、さらに、前記第１光源および前記第２光源から光が出射されていないときに撮影された第４画像を前記撮像素子から読み出し、読み出した前記第４画像を前記第１画像および前記第２画像のそれぞれから差し引き、得られた差分の第１画像と差分の第２画像とを演算することで前記第３画像を生成する
    請求項１～１１のいずれか１項に記載の生体状態検出装置。
13. 前記演算部は、前記第１画像と前記第２画像との差分又は比率を算出する演算をすることで前記第３画像を生成し、
    前記状態推定部は、前記第３画像に基づいて、前記人の脈拍に関する生体情報を生成する
    請求項１～１２のいずれか１項に記載の生体状態検出装置。
14. 前記第１波長および前記第２波長は、近赤外光の波長である
    請求項１～１３のいずれか１項に記載の生体状態検出装置。
15. 前記状態推定部は、さらに、前記生体情報および前記距離像を用いて、前記人の状態を推定する
    請求項１～１４のいずれか１項に記載の生体状態検出装置。
16. さらに、前記第１光源および前記第２光源から出射された光による前記人からの反射光を前記撮像素子に集光させるレンズを備え、
    前記レンズは、前記第１画像および前記第２画像が前記人の上半身に対応する画像となる場合に、前記撮像素子のうちの前記人の顔に対応する領域に前記反射光を投影する倍率を、前記撮像素子のうちの前記人の顔以外に対応する領域に前記反射光を投影する倍率よりも大きくする特性を有する
    請求項１～１５のいずれか１項に記載の生体状態検出装置。
17. 人の生体状態を検出する生体状態検出装置によって実行される生体状態検出方法であって、
    前記生体状態検出装置は、
    第１波長の光を出射する第１光源と、
    前記第１波長とは異なる第２波長の光を出射する第２光源と、
    前記第１光源および前記第２光源から出射された光による前記人からの反射光を受光する複数の素子で構成される撮像素子と、
    制御部と、
    演算部と、
    状態推定部と、を備え、
    前記生体状態検出方法は、
    前記第１光源および前記第２光源に対して、前記第１光源および前記第２光源が交互に光を出射するように、前記制御部が制御する制御ステップと、
    前記撮像素子から、前記第１光源からの反射光を受光することで得られた第１画像、および前記第２光源からの反射光を受光することで得られた第２画像を読み出し、読み出した前記第１画像および前記第２画像を演算することで第３画像を、前記演算部が生成し、さらに、前記第１画像および前記第２画像の少なくとも一つに基づいて、距離像を、前記演算部が生成する演算ステップと、
    前記演算ステップで生成された前記第３画像及び前記距離像に基づいて、前記人の生体状態を示す生体情報を、前記状態推定部が生成する状態推定ステップとを含む
    生体状態検出方法。

Images