JPWO2014054293A1 - 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体 - Google Patents

Abstract

眠気推定装置は、撮影部１、部位別温度算出部６、重み減算部７を備える。撮影部１は、可視光線撮影モードにおいて可視光線画像データを得ると共に、赤外線撮影モードにおいて、被験者の人体像の体表面温度分布を示す赤外線画像データを得る。部位別温度算出部６は、赤外線画像データに示される体表面温度分布のうち、眼の中心領域の温度を検出する。重み減算部７は、検出された眼の中心領域温度を基準にして、眠気推定のための温度パラメータに対して補正を施す。こうして補正がなされたパラメータに従い、ユーザの眠気推定を行う。

Description

本発明は、ユーザの生体リズムの分析技術の技術分野に属する。

ユーザの生体リズムの分析技術は、ユーザを撮影することで得られた画像データ等をもとに、ユーザが眠気に耐えられない状態になっているかどうか等の分析を行う技術である。医療機器の分野では、古くからかかる技術が利用されてきたが、近年、その応用範囲が急速に広がり、自動車産業や家電機器産業にも、かかる技術の応用製品が出現している。生体リズムの分析技術の応用製品の1つに、覚醒状態を検出する覚醒状態検出装置がある。覚醒状態の検出とは、ユーザを撮影することで得られた画像から、目の領域を検出して、まぶたの下がり具合やまばたきの回数を検出することでユーザが覚醒状態か居眠り状態にあるかを判断するものである。

特開平９−１５４８３５号公報

亀井雄一 内山真「睡眠障害−最近の臨床トピックス 快眠法」 Modern Physician Vol.25 No1 P55〜P59 2005年1月 相澤清香 中島利誠 山野春子 仲西正 菅屋潤壱 小川徳雄 「研究報告 眼球表面温度は中核温度指標になり得るか？」 日本生理人類学会誌 Vol5,No,1 P31〜P38 2000年2月 山崎とよ 「深部体温計による身体各部深部温の連続監視法とその臨床的評価：臨床編」 東京女子医科大学雑誌 第51巻第10号 P1441〜P1445 昭和56年10月

従来の画像処理を通じた覚醒状態検出は、眼のまばたき回数やまぶたの下がり具合の判定を基礎として居眠り状態になっているかどうかを検出しようとするものである。しかし、居眠り状態は、眠気に耐えられなくなった状態であり、かかる状態を検出したとしても事故防止のため有効な措置をとることはできす、手遅れになっている可能性も考えられる。

事故の未然防止には、生体リズムにおけるもっと早い時期、つまり覚醒状態から眠気状態へと移行する際の移行期の検出が求められる。しかし、覚醒状態から眠気状態への移行期は、眼のまばたきやまぶたの下がり具合に変化が現れ難いから、上述したような画像分析の範疇では、覚醒状態から眠気状態へと移行期の検出は不可能である。

業務を遂行する者の居眠りによる事故や作業効率低下は、古くから問題視されており、ユーザが居眠り状態に入る前の早い段階での検知は、企業の経営陣や様々な分野の有識者が大きな期待を寄せるところである。しかし、かかる期待にかなうような眠気推定は現状のところ存在しない。

本発明の目的は、覚醒状態から眠気状態へと移行する際の移行期の到来を高い精度で検出するこことである。

上記の課題は、
可視光線の波長域で被験者を撮影することにより得られた可視光線画像データ、及び、被験者の体表面の温度分布を測定することにより得られた体表面温度分布データを取得する取得手段と、
可視光線画像データに対して画像処理を行うことで、被験者の眼の中心領域を特定する画像処理手段と、
体表面温度分布データにて示される被験者の体表面温度分布のうち、眼の中心領域の温度を検出して、当該中心領域温度を用いて、眠気推定のための温度パラメータに対して補正を施す補正手段とにより解決される。

推定手段では、眠気推定のための温度パラメータを用いてユーザが眠気を帯びているかどうかを推定する。更にこの温度パラメータには、眼の中心領域の温度を基準にした補正が施されているから、周囲環境が温度パラメータに及ぼす影響が充分キャンセルされている。覚醒状態から眠気状態へと移行する際のユーザの身体に内在する温度変化が、温度パラメータに反映されるから、かかる温度パラメータを用いることで、ユーザがどの程度眠気を帯びているかを好適に判断することができる。

ユーザを撮影することで得られた可視光線画像データに対する画像処理の延長線上で、ユーザが眠気を帯びているかどうかの判断が可能になるから、一般ユーザが取り扱える民生機器による居眠り監視が可能になる。様々な分野において居眠り監視を導入できるから、居眠りを原因とする事故の根絶が夢物語ではなくなる。

（ａ）は眠気推定装置１００の外観を示す。（ｂ）は自動車の車内において、眠気推定装置１００が設置される際の設置例を示す。 眠気推定装置１００の内部構成を示す。 （ａ）は運転座席でハンドルを握る姿のユーザを撮影すること得られた可視光線画像データを示す。（ｂ）は赤外線画像データを示す。（ｃ）は赤外線画像データにおける画素の画素値と、表面温度との対応関係を示す。（ｄ）は、赤外線画像の画素データのビットアサインを示す図である。 （ａ）は、顔領域の検出結果、眼領域の検出結果、前額領域の検出結果を示す。（ｂ）は眼領域検出で検出された眼領域を拡大して示す。（ｃ）は赤外線画像データにおいて変換の対象になった部位がどこかを示す。（ｄ）は、Tf(t)、Tc(t)の時間的遷移を示す。 Tdの差分の導出手順を示す。 生体リズムと、温度との関連性を示す。 眠気推定装置の処理手順のメインルーチンを示すフローチャートである。 深部体温の算出手順のサブルーチンを示すフローチャートである。 第２実施形態に係る眠気推定装置の内部構成を示す。 第２実施形態に係る眠気推定装置の派生の構成を示す。 第３実施形態に係る眠気推定装置の内部構成を示す。 屋内機器の制御のために、室内に設置された眠気推定装置を示す。 （ａ）眠気推定装置１００における外観図である。（ｂ）可視光線画像と、赤外線画像とを並べて示す図である。（ｃ）(Xv,Yv)から(Xi,Yi)を求めるための変換式を示す。 （ａ）眠気推定装置１００における外観図である。（ｂ）可視光線画像と、赤外線画像とを並べて示す図である。（ｃ）(Xv,Yv)から(Xi,Yi)を求めるための変換式を示す。

発明の実施の形態

発明者は、上記課題解決手段を具備した装置の実施化にあたって様々な技術的障壁に直面した。以下、その技術的障壁の克服までの歩みを述べる。

非特許文献１によると、眠気と覚醒の生体リズムは、体内時計で作られる。体内時計は、眠気と覚醒の生体リズムを維持するための体温目標値(セットポイント)を定める。熱産生・放熱機構は、体温がセットポイントに近づくように、熱産生と放出とを調整する。体内時計は、視交又上核にあるから、生体リズム維持のためのセットポイントを得るには、深部体温を測温せねばならない。深部体温とは、心臓や脳等の深部の体温のことである。深部体温を直接測定することは困難な為、深部温度に近く測定しやすい部位が選択される。

深部温度に近く測定しやすい部位の体温を測定して覚醒状態から居眠状態への移行期を検出する技術には、特許文献１に記載された先行技術がある。特許文献１に記載された先行技術とは、鼻骨上皮膚温変化、咬筋上皮膚温変化、気温変化の一定時間毎の移動平均値を算出して、算出された移動平均値から、覚醒度の低下に伴って生じる皮膚温変化を検出し、居眠りの兆候や居眠りを判別するというものである。

しかしながら、特許文献１に記載された先行技術では、皮膚温を検出する際に使用者周囲の環境温度の影響を考慮する必要があるので、気温を検出するセンサが別途必要となる。

しかも、単に気温を検出するだけでは不足であり、皮膚温を検出する箇所により近い所での環境温度による影響を考慮せねばならない。ところが一般の室温計は、人体から離れた位置に存在することが通常であり、室温計と、皮膚温の検出位置とが離れていることに起因する誤差発生は免れない。また走行車輌の車内は、直射日光やエアコンによる気温差が激しく、たとえ温度変化を検出したとしても、その温度変化が人体の内在的なものなのか、外気によるものなのかの区別がつきにくい。よって、特許文献１に記載された先行技術は、居眠りの兆候や居眠りの有無の判別を高い精度で行えるとはいえない。

以上のことから、ユーザ身体のどのような部位にセンサを取り付けたとしても、環境温度の影響を取り除かない限り、セットポイントを適切に把握することができなかった。

上記実施障壁を克服できる態様には、以下の１.に示す基本的なものと、以下の２.、３.、４.の変更が施された派生的なものとがある。

（１.基本的態様）
被験者から眠気推定のための温度パラメータを検出して、眠気推定を行う眠気推定装置であって、
可視光線の波長域で被験者を撮影することにより得られた可視光線画像データ、及び、被験者の体表面の温度分布を測定することにより得られた体表面温度分布データを取得する取得手段と、
可視光線画像データに対して画像処理を行うことで、被験者の眼の中心領域を特定する画像処理手段と、
体表面温度分布データにて示される被験者の体表面温度分布のうち、眼の中心領域の温度を検出して、当該中心領域温度を用いて、眠気推定のための温度パラメータに対して補正を施す補正手段と、
を備える。

非特許文献２によると、目の中心領域の温度は、眼球表面温であり、血流支配がない角膜の温度を表す。眼球表面温は、環境温度の変化に伴い大きく変化するが、その変化は、鼓膜温や食道温、平均皮膚温、前額部皮膚温の変化とも異なる。パラメータの補正に、この目の中心領域の温度を用いることで、環境温度が人体に与える影響を好適にキャンセルすることができる。

（２.眼領域中央の検出の詳細）
１.における眼領域中央の検出は、可視光線画像の画像内容に沿った具体的なものに展開することができる。つまり、前記画像処理手段による眼の中心領域の特定は、可視光線画像データに表される被験者の顔領域の像から角膜の輪郭形状を検出して、当該角膜の輪郭形状を示す円弧の中央を特定することによりなされてもよい。角膜の輪郭は、眼領域において円弧をなすから、かかる円弧領域を手掛かりにすれば、比較的容易に、眼領域の中心を特定することができる。

（３.眠気推定パラメータの取得先）
眠気推定のための深部体温を何処から取得するかという取得先については、具体的なものに展開することができる。深部体温が最も正確に表れるのは、腋窩、口腔、鼓膜、直腸である。しかし腋窩、口腔、鼓膜、直腸へのセンサ取り付けは、医療従事者によるものでないと不可能であり、一般ユーザが到底実現できるものではない。また、手や足への取り付けるものであったとしても、センサ取付如何で精度が左右されるのであれば、製品としての適格性に欠く。

よって、人体へのセンサ取り付けをなくし、非接触式の代替測定を行いたいとの要望がある。非接触式の代替測定による眠気推定を行うには、以下のようにすべきである。

つまり上記１.又は２.の態様において、前記眠気推定のための温度パラメータは、顔領域のうち前額部分の体温であり、
前記補正手段は、
体表面温度分布データに示される体表面温度分布から、前額部分の温度を検出することで眠気推定のための温度パラメータを得てもよい。

非特許文献３によると、環境温度の影響を除く必要があるものの、前額部は深部体温を反映する。顔領域を検出して、眼領域を検出した際、顔領域のうち、眼領域の上側に位置する前額領域の温度を取得すれば、腋窩、口腔、鼓膜、直腸の測定に代えて簡単に深部体温を得ることができる。本構成によって、眠気推定装置は人体に直接温度を計測するセンサを貼り付けることなく、人体の温度変化を検出することができ、その温度変化から眠気を推定することができる。人体にセンサを取り付ける必要はないので、現実での使用に最適である。

（４.眠気推定パラメータの取得から除外すべき場所）
眠気推定のためのパラメータを何処から取得するかという取得先については、具体的なものに展開することができる。つまり１.〜３.の何れかの態様において、前記眠気推定のための温度パラメータは、顔領域のうち口周辺部及び頭髪部を除いた部分の温度パラメータであり、
前記補正手段は、
体表面温度分布データに示される顔領域の温度分布のうち、口周辺部及び頭髪部を除いた何れかの部位の温度を検出することで眠気推定のための温度パラメータを得てもよい。

口の周辺部や髪の毛の部分は、深部体温との関連が希薄であるから、かかる部位を深部体温測定から除外するだけでも相応の精度の深部体温を検出することができる。

（５.深部体温を用いた補正の詳細）
眠気推定パラメータをどのように補正するかについては、より詳細なものに展開することができる。つまり上記の１.〜４.の態様の何れかにおいて、前記眠気推定のための温度パラメータの補正は、
眠気推定のための温度パラメータ、及び、眼の中心領域温のそれぞれに第１、第２の重み係数を乗じて、第１の重み係数が乗じられた温度パラメータから第２の重み係数が乗じられた眼の中心領域温を減じることでなされてもよい。眠気推定のための温度パラメータや目の中心領域温に重み係数を乗じることで、眠気推定のための温度パラメータや目の中心領域温を眠気推定に適した、妥当なものに変換することができる。かかる変換により眠り推定の精度が高まる。

（６.赤外線画像データの詳細化）
どのようなデータを体表面温度分布データとするかという体表面温度分布データの構成については、より具体的なものに展開することができる。つまり上記の１.から５.までの何れかの態様において、前記体表面温度分布データは、所定の解像度をなす複数の画素からなる赤外線画像データであり、赤外線画像データにおける個々の画素は、可視光線画像データにおける個々の画素に対応していて、
赤外線画像データにおける個々の画素の色成分の輝度は、可視光線画像データに現された人体表面の対応する部位から、どれだけの赤外線が輻射されているかという輻射量を示していてもよい。赤外線画像データにおける各画素の画素値は、人体表面の様々な部位からの赤外線輻量を示すから、赤外線画像データの中にとにかくユーザの身体が現れていれば、深部体温の算出が可能になる。よって、赤外線画像データにおける人体像の現れ方がどのようなものであっても、妥当な数値範囲の深部体温が得られるから、深部体温の検出精度を向上させることができる。

（７.検出領域の座標変換）
眼の中心領域検出と、温度変換とを行うための橋渡しの処理として、座標変換を導入することができる。つまり、上記６.の態様において、前記可視光線画像と、赤外線画像とは解像度が異なり、
前記画像処理手段による眼の中心領域の特定は、可視光線画像データの座標系におけるX座標又はY座標を用いてなされ、
前記温度補正手段は、眼の中心領域のX座標又はY座標に対して変換を施し、赤外線画像において当該変換後のX座標又はY座標に位置する画素の画素値を温度に変換し、
前記温度補正手段による座標変換は、
可視光線画像と、赤外線画像との横画素数の比率、又は、可視光線画像と、赤外線画像との縦画素数の比率を、眼の中心領域のX座標又はY座標に乗じ、可視光線画像の撮影系と、赤外線画像の撮影系とが異なることに起因する水平又は垂直方向のオフセットを加算することでなされてもよい。

可視光線画像を撮影するための撮影系統と、赤外線画像を撮影するための撮影系統とが異なることに起因する誤差、また可視光線画像の解像度と、赤外線画像の解像度とが異なることによる誤差が吸収されるから、高いコストパフォーマンスで、眠気推定を行える装置の製品化が可能になる。

（８.眠気推定の詳細化）
どのような状態を眠気を感じている状態として規定するかという規範は、より具体的な内容に展開することができる。つまり、６.又は７.の態様において、前記可視光線画像データ、及び、赤外線画像データは、測定時間帯の複数の時点のそれぞれにおいて、被験者を撮影することで得られ、
画像処理手段による被験者の眼の中心領域の特定、取得手段による赤外線画像データの取得、補正手段による眠気推定のための温度パラメータに対する補正は、前記複数時点の撮影時のそれぞれにおいてなされ、
前記眠気推定は、ある測定時点の被験者撮影により得られた補正後の温度パラメータが、過去の測定時点の被験者撮影により得られた補正後の温度パラメータと比較して減少傾向であり、かつその減少幅が所定の閾値を上回っているかを判断することでなされてもよい。

深部体温の変化は、覚醒状態から眠気状態への移行期に典型的に表れるから、ユーザが軽度の眠気を感じている段階で警報を発する等の措置をとることができる。また、複数の測定時点で得られた深部体温の差分から、移行期かどうかの判断を行うことができるので、眠気推定の精度を高めることができる。

（９.撮影手段の追加）
任意的な構成要素として、撮影手段を追加することができる。つまり６.から８.までの何れかの態様において、前記眠気推定装置は、
可視光線を通過させ赤外線を遮断する第１モード、赤外線を通過させ可視光線を遮断する第２モードの何れかに切り替え可能な撮影手段を備え、
前記第１モード、第２モードの切り替えにより、可視光線画像データ、及び、赤外線画像データのそれぞれを得てもよい。

1つの撮影手段により、可視光線の波長領域を対象にした可視光線画像、赤外線の波長領域を対象にした赤外線画像データを得るから、可視光線画像における画素の座標と、赤外線画像データにおける画素の座標との対応関係は緻密なものになる。これにより、可視光線画像データに対する眼領域検出で得られた部位の温度を赤外線画像データから忠実に導くことができる。

（１０.温度パラメータ取得のバリエーション）
ここで温度パラメータの取得については、更なる改良を加えることができる。つまり、１.又は２.、４.から９.までの何れかの態様において、眠気推定のための温度パラメータは、腕背部、足背部、鎖骨部に取り付けられた接触式センサから取得したものでもよい。眠気推定の基礎となる温度パラメータとして、信頼性が高い接触式センサの測定値を使用することができる。これにより、非特許文献３に記載された方法による深部体温の測定が可能になるから、眠気推定の信頼性を高めることができる。

（１１.眠気推定方法としての障壁克服）
方法発明の局面で実施化障壁の克服を図る場合、当該局面における方法は、被験者から眠気推定のための温度パラメータを用いて、眠気推定を行う眠気推定方法であって、
可視光線の波長域で被験者を撮影することにより得られた可視光線画像データ、及び、被験者の体表面の温度分布を測定することにより得られた体表面温度分布データを取得して、
可視光線画像データに対して画像処理を行うことによる、被験者の眼の中心領域を特定し、
その後、体表面温度分布データにて示される被験者の体表面温度分布のうち、眼の中心領域の温度を検出して、当該中心領域温度を用いて、眠気推定のための温度パラメータに対して補正を施すというものになる。この方法の態様は、上述したような２.から１０.までの改良を施すことができる。かかる眠気推定方法では、企業内のユーザ、又は、エンドユーザが使用する場所での使用が可能になるから、本願の技術的範囲に属する方法発明の用途を広げることができる。

（１２.コンピュータ読み取り可能な記録媒体による障壁克服）
コンピュータ読み取り可能な記録媒体を実施する局面で実施化障壁の克服を図る場合、当該局面における記録媒体は、被験者から眠気推定のための温度パラメータを用いた眠気推定をコンピュータに行わせるプログラムコードが記録されたコンピュータ読み取り可能な非一時的な記録媒体であって、
コンピュータが可視光線の波長域で被験者を撮影することにより得られた可視光線画像データ、及び、被験者の体表面の温度分布を測定することにより得られた体表面温度分布データを取得した際、
可視光線画像データに対して画像処理を行うことによる、被験者の眼の中心領域を特定して、
その後、体表面温度分布データにて示される被験者の体表面温度分布のうち、眼の中心領域の温度を検出して、当該中心領域温度を用いて、眠気推定のための温度パラメータに対して補正を施す処理をコンピュータに実行させる1つ以上のプログラムコードが記録されたものとなる。この記録媒体の態様には、上述したような２.から１０.までの改良を施すことができる。ネットワークプロバイダサーバや各種記録媒体を通じたプログラムの配布が可能になるから、一般のコンピュータソフトウェアやオンラインサービスの業界まで、本発明の用途を広げることができる。

上述した１.の基本的態様と、２.３.４.の派生とは、2以上の任意のものを選んで組合せることができる。以下の第１実施形態から第５実施形態までは、基本的態様、及び、その派生の組合せのうち、典型的なものを実施するためのより製品に近い眠気推定装置の形態を示す。以下、図面を参照しながら、これらの実施形態について説明を行う。

(第１実施形態)
第１実施形態は、眼領域の中心温度と、前額領域の温度から妥当な深部体温を導き、これを基に眠気推定を行う眠気推定装置の実現に関する。当該眠気推定装置は、ユーザが覚醒状態から眠気状態への移行期を判断する点で背景技術で述べた覚醒状態検出装置と異なっており、当該覚醒状態検出装置をより高機能にしたものである。つまり眠気推定装置は、自動車車内に設置され、運転手の生体リズム監視を行う機器であり、ユーザのまばたき回数やまぶたの下がり具合から、ユーザが居眠状態にあるかどうかの判定を行うと共に、ユーザが覚醒状態から眠気状態への移行期にあるかの判定を行う。

図１（ａ）は、眠気推定装置１００の外観を示す。本図に示すように眠気推定装置１００の表面には、カメラ１０１の受光部が存在する。カメラ１０１は、可視光線−赤外線共用カメラであり、1つの撮影系で可視光線画像と、赤外線画像との撮影を行うことができる。

図１（ｂ）は、自動車の車内において、眠気推定装置１００が設置される際の設置例を示す。自動車の車内において、眠気推定装置１００は、その正面が運転席に着座したユーザを臨むように設置されている。

図２は、眠気推定装置１００の内部構成を示す。本図に示すように眠気推定装置１００は、撮像部１、切替部２、フレームメモリ３a,b、画像処理部４、温度補正部５、部位別温度算出部６、重み減算部７、履歴メモリ８、眠気推定部９から構成される。

撮像部１は、可視光線−赤外線共用カメラ１０１を用いて所定の時間置きに、可視光線領域の波長による撮影、赤外線領域の波長による撮影の双方を行い、一画面分の画素データを出力する。撮影部１は、ＣＣＤセンサもしくはＣＭＯＳセンサ等の光電変換素子により構成される撮像素子を含む。赤外線撮影モードにおいて撮像素子から出力されてくる画素毎の画素値は、その画素に対応する部位の温度情報となる。撮影部１は、フレームメモリ３bにおいて、画素に対応する部位の温度情報を平面的に配置することで映像の温度分布を作成し、赤外線画像データを得る。

切替部２は、装置が可視光線撮影モードであるか、赤外線撮影モードであるかというモード設定を記憶していて、そのモード設定に応じて撮像部１による撮影で得られた画像データの格納先をフレームメモリ３aからフレームメモリ３bに切り替えると共に、フレームメモリ３bからフレームメモリ３aに切り替える。

フレームメモリ３aは、撮像部１から転送されてくる一画面分の画素データを可視光線画像データとして格納する。このフレームメモリ３aに格納される可視光線画像データは、顔領域検出、目検出の対象となる。

フレームメモリ３bは、赤外線撮影モードにおいて、撮像部１から転送されてきた一画面分の画素データを赤外線画像データとして格納する。可視光線画像データが顔領域検出、目検出の対象になるのに対して赤外線画像データは温度算出の対象になる。可視光線画像データは顔領域検出、眼領域検出の対象になるので被写体の細部が画像に現れているのに対し、赤外線画像データはかかる細部の表現が不要である点が異なる。

画像処理部４は、デジタル信号プロセッサ等の信号処理回路で構成され、フレームメモリ３aに格納された可視光線画像に対して領域検出を行い、可視光線画像データにおける所望の領域の位置を示す一連の座標群を得る。かかる画像処理部４は、顔領域の検出を行う顔領域検出部4a、眼領域の検出を行う眼領域検出部4b、前額領域の検出を行う前額領域検出部4cを含む。図中の(xfa1,yfa1),(xfa2,yfa2),(xfa3,yfa3),(xfa4,yfa4)・・・・・は、顔領域検出部4aの検出で得られたものである。図中の(xe1,ye1),(xe2,ye2),(xe3,ye3),(xe4,ye4)・・・・・は、眼領域検出部4bによる検出で得られたものであり、かかる座標を元に、居眠状態検出のためのまばたき判定やまぶたの下がり具合判定を行う。図中の(xfh1,yfh1),(xfh2,yfh2),(xfh3,yfh3),(xfh4,yfh4)・・・・・は、前額領域検出部による検出で得られたものである。図中の(xec,xec)は、眼領域の中心つまり角膜の中心を示す。眼領域検出部4bは、眼領域の検出を行うと共に、かかる眼領域の内部に存在する円弧を検出して、その円弧を一部とする円領域の中心の座標を得る。かかる円領域は角膜であり、可視光線画像データにおいては、まぶたにより一部が隠されている。眼領域検出部4bはその円領域の輪郭線を検出して、その円領域の中央の座標を導きだす。

温度補正部５は、赤外線画像データに現された身体像のうち、特定の座標に位置する部位の温度を用いて眠気推定パラメータを補正することで深部体温を得る。

部位別温度算出部６は、温度補正部５の一構成要素であり、可視光線画像データにおける任意の部位を特定する座標群を画像処理部４から受け付け、赤外線画像データのうち、かかる座標群にて特定される部位に存在する画素の画素値を温度に変換する。かかる温度変換は、赤外線画像データにおいて画像処理部４から取得した座標に位置する画素の画素値を、温度に変換することでなされる。撮像部１では赤外線撮影モードにおいて赤外線の輻射量を画素値に変換することで赤外線画像データを得ている。部位別温度算出部６は、変換における赤外線の輻射量と、画素値との対応関係を示すルックアップテーブルを有しており、かかるルックアップテーブルを用いることにより、赤外線画像データの画素値から、ユーザの体表面の温度を取得する。画像処理部４から出力される座標群には、眼領域、前額領域を定める座標群があるから、部位別温度算出部６の変換により、眼領域、前額領域の温度が取得されることになる。

重み減算部７は、温度補正部６の一構成要素であり、任意の測定時点tの赤外線画像データから取得した前額領域温度(Tf(t)という)に係数αを乗じた値から、任意の測定時点tの赤外線画像データから取得した眼領域温度(Tc(t)という)に係数βを乗じた値を減じて、当該測定時t点における深部体温（Td(t)という）を得る。

Tc(t)を用いてTf(t)を補正してTd(t)を求めるための変換式の数式を以下に示す。αは前額の温度係数であり、βは角膜の温度係数である。

｛数式１｝
Td(t)＝α×Tf(t)−β×Tc(t)

履歴メモリ８は、過去の深部体温を、その測定時刻に対応付けてリスト形式で格納しているメモリである。

眠気推定部９は、複数の時点間の深部体温Td(t)の変化量に基づき、覚醒状態から眠気状態への移行期にあたるかどうかを判定する。眠気推定部９は、測定時点tにおける深部体温Td(t)から、その前の時点における深部体温Td(t-1)を減じて変化量ΔTdをえる差分演算部9a、覚醒状態から眠気状態への移行期かどうかの判定のための閾値を格納する閾値格納部9b、変化量ΔTd(t)と、閾値との比較を行う比較部9cを含む。かかる構成により、額領域の温度が下降傾向であり、尚且つ、その変化幅が所定の閾値を越えた場合、眠気が発生したと判断し、眠気推定の結果を出力する。眠気推定では、過去の複数の測定時点で測定された複数の深部体温を用いる。しかし、眠気推定に用いる深部体温を複数にすると、以降の説明は煩雑になるから眠気推定に用いる過去の深部体温は、直前の測定値(Td(t-1))に留めることにする。

以上が眠気推定装置の構成要件についての説明である。以降、眠気推定装置１００による眠気推定の原理を説明する。かかる説明には、図３から図６までの図面を参照しながら行う。眠気推定装置１００は、図１に示すように自動車のフロントパネルの上に置かれている。この状態で、眠気推定装置１００が起動すると撮像部１は、運転席に着座しているユーザを、可視光線撮影モード、赤外線撮影モードにおいて撮影する。撮像部１が撮影を行い、切替部２がモード設定に応じて可視光線画像データ、赤外線画像データの出力先をフレームメモリ３a、フレームメモリ３bに切り替えると、図３（ａ）の可視光線画像データ、図３（ｂ）の赤外線画像データがフレームメモリ３a、フレームメモリ３bに得られることになる。図３（ａ）（ｂ）は可視光線撮影モードにより撮影部で撮影される可視光線画像データと、赤外線撮影モードにより撮影部で撮影される赤外線画像データとを対応付けて示す図である。図３（ａ）では、運転座席でハンドルを握るユーザの姿が現れている。図３（ｂ）は、赤外線画像データを示す。通常、赤外線画像データの解像度は、可視光線画像データの解像度よりも少ないものになっていて、可視光線画像データの複数の画素が、分布画データの1画素に対応しており、可視光線画像データに現れた被写体の人体表面からの赤外線輻射量を表している。画像データにおいて同じ色になっている部所からは、同じ量の赤外線が輻射されていることになる。図３（ｂ）において、ユーザの皮膚にあたる部分は、人間の体温の平温の温度範囲を示す色で表示される。

図３（ｃ）は、赤外線画像データにおける画素の画素値と、表面温度との対応関係を示すグラフである。赤外線画像データにおける画素の色は、ユーザ身体の対象となる部位の赤外線輻射量に応じて、例えば「黒→紫→赤→黄→白」というように変化する。かかる黒から紫までの色変化は例えば、２２℃から２５℃までの温度変化を示し、赤から白までの色変化は、２７℃から３７℃までの温度変化を示す。

赤外線画像データは、かかる温度変化を示す画素の画素値を、赤色成分、緑色成分、青色成分の組合せ(RGB値)、又は、輝度、赤色差、青色差の組合せ(Y,Cr,Cb)で表したデータである。以降、かかる赤外線画像データの画素値がフレームメモリ３bの記憶素子においてどのように格納されるかという格納方式について説明する(尚、画素値の表現にはRGB値、YCrCb値の2通りがあるが、説明の単純化を期するため以降の説明はRGB値についてのみ行う。)。

フレームメモリ３bの記憶素子の語長は３２ビットであり、フレームメモリ３bには赤外線画像データ画素値データが図３（ｄ）のビットアサインで格納される。図３（ｄ）は、赤外線画像データにおける画素の値を示す画素データのビットアサインを示す。かかる画素データは３２ビット長であり、最上位ビットから最下位ビットまでの4つの8ビット部分が、それぞれ0〜255の数値範囲の赤色成分の輝度(R)、0〜255の数値範囲の緑色成分の輝度(G)、0〜255の数値範囲の青色成分の輝度(B)、0〜255の数値範囲の透明度を示す。赤外線画像の画素データとして透明度が存在するのは、赤外線画像を表示する際、背景画となるGUIや壁紙画像を透けて見えるようにするかどうかを調整するためである。これらの可視光線画像データ、赤外線画像データが画像処理部４内の顔領域検出部４a、眼領域検出部４b 、前額領域検出部４ｃによる検出対象になる。顔領域検出部４a、眼領域検出部４b 、前額領域検出部４ｃが顔領域検出、眼領域検出、前額領域検出が検出を行えば、可視光線画像データにおいて、図４（ａ）に示す部分の座標が出力されることになる。

図４（ａ）は、眠気推定部９による検出結果を示す。図中の(xfa1,yfa1),(xfa2,yfa2),(xfa3,yfa3),(xfa4,yfa4)・・・・・は、顔の輪郭を特定するものである。図中の(xe1,ye1),(xe2,ye2),(xe3,ye3),(xe4,ye4)・・・・・は、眼領域の輪郭を特定するものであり、図中の(xfh1,yfh1),(xfh2,yfh2),(xfh3,yfh3),(xfh4,yfh4)・・・・・は、前額の輪郭を特定するものである。図４（ｂ）は、眼領域検出で検出された眼領域を拡大して示す。図中の(xec,yec)は、眼領域の中心つまり角膜の中心を示す。可視光線画像データが1K画像(1920×1080)、4K画像(7680×4320)等、高い解像度で撮影されている場合、顔領域検出部４a、眼領域検出部４b 、前額領域検出部４ｃの検出結果は、より精密にユーザの顔、眼、前額の形状、そして眼領域の中心座標を再現することになる。かかる座標は部位別温度算出部６に送られる。部位別温度算出部６は赤外線画像データにおける画素値のうち、眼領域検出部４b から出力される眼領域中心に位置する画素の画素値、及び、前額領域検出部４ｃから出力される座標群で囲まれる部分の画素値を温度に変換する。赤外線画像データにおいて、かかる変換の対象になった部位がどこかを示すのが図４（ｃ）である。

図４（ｃ）は、赤外線画像データにおいてどの部位の温度が算出されるかを示す。図中の(Rec,Gec,Bec)は、赤外線画像データにおいて(yec,yec)に存在する画素の画素値(本実施形態ではRGB値とする)である。(xec,yec)は、眼領域中心であるから、かかる座標のRGB値を温度に変換することで眼領域の温度Tcが算出される。

図中の(Rfh,Gfh,Bfh)は、図中の(xfh1,yfh1),(xfh2,yfh2),(xfh3,yfh3),(xfh4,yfh4)・・・・・で囲まれる部位に位置する画素のRGB値の平均値である。図４（ａ）の左脇の式(Tf(t)=F(Rfh,Gfh,Bfh),Tc(t)=F(Rec,Bec,Gec))は、(Rfh,Gfh,Bfh)からTfを導くための変換式、(Rec,Gec,Bec)からTcを導くための変換式を示す。これらの前額温度Tf、眼領域の中心温度Tcは定温ではなく、時間的な変化をなす。図４（ｄ）は、Tf(t)、Tc(t)の時間的遷移を示す。図４（ｄ）の横軸は時間軸であり、縦軸は温度となる座標系を示す。かかる座標系において、Tf(t)、Tc(t)の変化曲線が描かれている。かかる座標系の時間軸上における任意の座標xのTf(t)と、Tc(t)との差がTd(t)となる。

撮像部１による可視光線撮影モードでの撮影、赤外線撮影モードでの撮影が継続している間、上述したような領域検出、温度変換が絶間なく繰り返されている。「t-2」,「t-1」,「t」,「t+1」,「t+2」という5つの測定期間での上記領域検出、温度変換の繰り返しを示したのが図５である。

図５は、Tdの時間的変移の導出手順を示す。第１段目は、複数の測定時点「t-2」,「t-1」,「t」,「t+1」,「t+2」で測定された可視光線画像データであり、第２段目は、複数の測定時点「t-2」,「t-1」,「t」,「t+1」,「t+2」で測定された複数の赤外線画像データである。第３段目は、各時点で撮影された赤外線画像データから取得された前額領域の温度(Tf(t-2),Tf(t-1),Tf(t),Tf(t+1),Tf(t+2))を示し、第４段目は、各時点で撮影された赤外線画像データから取得された眼領域の温度(Tc(t-2),Tc(t-1),Tc(t),Tc(t+1),Tc(t+2))を示す。この「t-2」,「t-1」,「t」,「t+1」,「t+2」において重み減算部７は、測定時点毎に得られた前額温度Tf(t)、眼中心温度Tc(t)に対して重付け減算を行い、深部体温Td(t)を得る。更に眠気推定部９は、各測定時点で深部体温Td(t)が算出され限り、直前の測定時点で得られた深部体温Td(t-1)との差分を算出する。このようにして、深部体温Tdの差分ΔTdが、測定時点毎に得られることになる。かかるΔTdの変化傾向から、生体リズムを構成する覚醒状態、眠気状態、居眠状態のうち、ユーザが何れの状態にあるかを検出する。

第５段目は、各可視光線画像にて算出されたTc、Tfから得られたTd(t-2),Td(t-1),Td(t),Td(t+1),Td(t+2)を示す。第６段目は、測定時点毎の深部体温の差分ΔTd(t-1),ΔTd(t),ΔTd(t+1)を示す。

図６は、生体リズムと、温度との関連性を示す。第２段目は、覚醒状態、眠気状態、居眠状態を周期的に繰り返すという生体リズムを示す。第１段目は、Tdの変化曲線を示す。この曲線は、これら覚醒状態、眠気状態、居眠状態の時間帯においてTdがどのように変化を示す。覚醒状態を参照すると、覚醒状態ではTdはほぼ一定であり、測定時点間のTdの差分はほぼ0に近い。覚醒状態から眠気状態への移行期では、Tdが下降線を示す。また、覚醒状態から眠気状態への移行期では、Tdの差分ΔTdが下降傾向であり、その変化幅が大きい。深部体温ΔTdが負であること、そして深部体温ΔTdの変化幅が大きいことは覚醒状態から眠気状態への移行期特有のものであり、覚醒状態、眠気状態には見られない。よって、深部体温の差分ΔTdが負であること、そして深部体温の差分ΔTdの絶対値が所定の閾値を上回るこという特徴を見極めれば、ユーザが覚醒状態から眠気状態への移行期にあると正しく判定することができる。図６においてΔTdの変化幅が僅かであれば、居眠状態であるとの判定結果を下す。ΔTdが、眠気状態の兆候を示すものであれば、ユーザの現在の状態が眠気状態に入りつつあるとして、警報を発したり、外部通報を行う。

図６の第２段目の下段は、ユーザの顔表情の変化を示す。ユーザの顔表情は、覚醒状態と、覚醒状態から眠気状態への移行時とで変化はない。しかし眠気状態から居眠り状態への移行期には、まぶたが大きく下がり、居眠り状態では完全にまぶたが閉じた状態になる。眠気推定装置では、ユーザの表情が覚醒状態と変わらない眠気状態の初期段階において、眠気を帯びていることを検知することができる。

ユーザが急に睡魔に襲われるような場合、かかる下降幅が極端に大きくなるから、深部体温の急落を手掛かりにして、覚醒状態から眠気状態への移行期を検出することで、危険な兆候を一早く察知することが可能になる。以上が、眠気推定手段１００による眠気推定の原理である。

これまでに述べた、眠気推定装置の構成要素の処理内容は、様々な外部事象や装置の内部パラメータに応じた、ハードウェア資源に対する処理手続きとして一般化することができる。そのような一般化された処理手続きを示すのが、図７、図８のフローチャートである。図中の変数は、データ構造に存在した複数の情報要素のうち、処理対象になるものを指示する変数である。本フローチャートにおける変数(t)は、処理対象となる情報要素を特定するための制御変数である。従って、以降のフローチャートにおいて、測定時点tで撮影される可視光線画像データを可視光線画像データ(t)、測定時点tで撮影される赤外線画像データを赤外線画像データ(t)としている。同じく、測定時点tで算出される眼領域温度をTc(t)、測定時点tで算出される前額領域温度をTf(t)、深部体温をTd(t)と表記している。

図７は、本フローチャートは、最上位の処理、つまり、メインルーチンに該当するものであり、本フローチャートの下位のフローチャートとして、図８のフローチャートが存在する。以下、メインルーチンにおける処理手順について説明する。

ステップＳ１〜ステップＳ１２の処理からなるループを繰り返すものである。このループの終了条件は、ステップＳ５、Ｓ１１の判定結果がYesになることであり、この終了条件が満たされるまで、ステップＳ２〜ステップＳ１０を繰り返す。このループが一巡する度に、制御変数がインクリメントされるので、この変数で指示される可視光線画像データや赤外線画像データは、本ループの処理に供されてゆく。

ステップＳ１は、測定時点(t)が到来したかどうかの判定であり、到来したなら、ステップＳ２〜ステップＳ５の処理を行う。この処理は、光学系を可視光線撮影モードに切り替え、フレームメモリに可視光線画像データを得て(ステップＳ２)、可視光線画像データ(t)から顔領域を検出し(ステップＳ３)、顔領域の中から眼領域を検出する(ステップＳ４)。そしてステップＳ５において、眼領域のまばたき回数やまぶたの下がり具合を参照することで居眠状態かどうかの判定を行う。居眠状態であれば、ループを抜けて外部通報、緊急停車等の措置を行い、本フローチャートを終了する。

居眠状態でなければ、可視光線画像データ(t)から前額領域を検出して(ステップＳ７)、撮像部１を赤外線撮影モードに切り替え、フレームメモリに赤外線画像データを得て(ステップＳ８)、赤外線画像データの前額領域及び眼領域からTd(t)を算出し(ステップＳ９)、今回測定した深部体温Td(t)と、前回測定した深部体温Td(t)との差分ΔTd(t)を得て(ステップＳ１０、ステップＳ１１においてこの差分ΔTd(t)の符号がマイナスであり、その差分ΔTd(t)の絶対値が閾値を上回るかどうかをステップＳ１１で判定する。もしそうでなければ、ステップＳ１２において測定時点tをインクリメントしてステップＳ１に戻る。そうであれば、ループを抜け、ステップＳ１３において覚醒状態から眠気状態への移行期にあたると判断してアラームを行う。

図８は、深部体温の算出手順を示す。本フローチャートに示される処理手順は、サブルーチン化されたものであり、図７のステップＳ９の詳細を表す。

本サブルーチンでは先ず、眼領域の内部から角膜の輪郭線となる円の円弧を検出して、この円弧の中心の座標を眼領域の中央座標(xec,yec)とする(ステップＳ２１)。そして、眼領域の中央座標(xec,yec)を赤外線画像データの座標系に変換して(ステップＳ２２)、赤外線画像データの画素のうち、変換後の眼領域中央座標(xec,yec)に位置するもののRGB値である(Rec,Gec,Bec)に対して、Tc(t)=F(Rec,Gec,Bec)の変換を施し、温度Tc(t)を得る(ステップＳ２３)。前額領域の座標(xfh1,yfh1),(xfh2,yfh2),(xfh3,yfh3)・・・・を赤外線画像データの座標系(xfh1,yfh1),(xfh2,yfh2),(xfh3,yfh3)・・・・に変換して(ステップＳ２４)、赤外線画像データの画素のうち、変換後の前額領域座標群にて囲まれるもののRGB値の平均値である(Rfh,Gfh,Bfh)に対してTf(t)=F(Rfh,Gfh,Bfh)の変換を施し、温度Tf(t)に変換する(ステップＳ２５)。その後ステップＳ２６において、深部体温Td(t)＝α×Tf(t)−β×Tc(t)の計算により深部体温Td(t)を得る。

以上のように本実施形態によれば、非接触に取得した温度情報から眼領域の温度と額領域の温度を検出し、眼領域の温度変化から環境温度の影響を考慮しながら、額領域本来の温度変化を求め、その温度遷移から眠気を推定する。このため、使用者へのセンサを貼り付ける等の負担がなく、早い段階での眠気推定が可能となり、使用者への多様なサービスを提供することができる。例えば、車載での眠気防止への応用では、居眠りが始まる前に、眠気を推定し、早い段階で注意を喚起することができる。

(第２実施形態)
第１実施形態では、前額領域の温度が深部体温と大きな因果関係をもつことから、前額領域の温度Tf(t)をTc(t)で補正して深部体温を得ることにした。しかし、深部体温と大きな因果関係をもつ部位は、前額領域だけに限らず、様々な部位の温度が深部体温と因果関係をもち得る。具体的にいうと、特許文献１に記載されたような鼻骨上皮膚温や咬筋上皮膚温も深部体温と因果関係をもつ。そこで本実施形態では、第１実施形態のように、深部体温算出の基礎となる部位をある特定の部位(前額領域)とは限定せず、顔領域の様々な部位の中から深部体温算出の候補を抽出し、そうして選ばれた複数の候補部位の温度から、深部体温算出の基礎として妥当なものを選ぶことにしている。

しかし様々な部位から体温を測定して深部体温算出の基礎にするとしても、深部体温とは因果関係をもちえない部位については、深部体温算出の対象から除外せねばならない。本実施形態は、深部体温とは因果関係をもちえない部位を検出する構成要件を眠気推定装置１００に設けておいて、かかる眠気推定装置１００が検出した部位を、深部体温算出から除外する。

以上の改良が施された装置の内部構成は、図９の通りとなる。図９は、第２実施形態に係る眠気推定装置の内部構成を示す。本図の内部構成は、第１実施形態における内部構成図をベースとして作図されており、このベースとなる構成と比較して、既存の構成要素の一部が別のものに置き換えられている点が異なる。具体的にいうと、構成要素の1つである前額領域検出部４ｃが、口及び頭髪領域検出部４ｄに置き換えられており、温度補正部５が温度補正部５aに置き換えられている。

口及び頭髪領域検出部４ｄは、顔領域検出部で検出された顔領域に対し、眼領域よりも下部の領域を口領域として検出し、また、眼領域よりも上部で、かつ顔領域検出部で検出された顔領域で他と異なる映像性質を現す領域を頭髪領域とする。

部位別温度算出部６aでは、顔領域を特定する座標群、口及び頭髪領域を特定する座標群を特定する座標を受け取る。そして、かかる座標群に基づき、眼領域、及び、口及び頭髪領域を禁止領域として定める。その後、顔領域を特定する座標群で取り囲まれる領域の中の部位であって、禁止領域を除く領域の中から、深部体温算出の候補になり得るものを選んで、その部位に存在する画素の画素値を温度に変換する。また眼領域中心を特定する座標を受けとり、この眼領域中心に位置する画素の画素値を温度に変換する。

以上が新規な構成要素（口及び頭髪領域検出部４ｄ、部位別温度算出部６a）についての説明である。口及び頭髪領域検出部４ｄの説明の捕捉としてかかる新規の構成要素と関連が深い既存の構成要素の動作について説明する。

温度補正部５aは、第１実施形態と同様に、眼領域中心の温度を用いて、深部体温算出の候補となる領域の温度を補正する。

眠気推定部９では、眼領域の温度を用いて補正された深部体温算出の候補となる領域の温度が、時間的にどのように変化するかという差分を算出して、その差分が下降傾向であり、尚且つ、所定の閾値を上回る場合、眠気が発生したと判断し、眠気推定の結果を出力する。

以上のように本実施形態によれば、深部体温に対する影響が発生しない眼領域を、口及び頭髪と共に禁止領域として定めるので、この禁止領域に抵触しない限り、顔領域内の様々な部位を深部体温算出の対象として選ぶことができる。顔領域のうち、眼領域及び口及び頭髪を除く様々な部位を深部体温算出の基礎にすることができるから、深部体温の基礎を前額のみに限定する場合と比較して眠気推定の信憑性を高めることができる。

(第２実施形態の応用例)
この応用例は、第１実施形態で述べた前額領域検出部４cと、第２実施形態で述べた口及び頭髪領域検出部４ｄとの双方を眠気推定装置に設けるものである。

図１０は、第２実施形態に係る眠気推定装置の派生の構成を示す。本図に示すように、画像処理部４は、前額領域検出部４cと、口及び頭髪領域検出部４ｄの両方を備えている。

前額領域検出部４cは、前額領域の検出を行い、口及び頭髪領域検出部４ｄは、口及び頭髪の検出を行う。そして部位別温度算出部６bは、前額領域検出部４cにより検出された前額を温度変換の対象にするか、顔領域全体のうち、眼領域、口及び頭髪を除外した領域の何れかを温度変換の対象にするかを選択する。

一方、図２における温度補正部５、部位別温度算出部６は、温度補正部５b、部位別温度算出部６bに置き換えられている。温度補正部５bは部位別温度算出部６bを含み、部位別温度算出部６bは前額領域の温度Tfを、眼領域中心の温度Tcで補正することにより得られた深部体温1、顔領域のうち、眼領域、口及び頭髪を除いた部分の温度を眼領域中心の温度で補正することにより得られた深部体温2という2通りの深部体温を得ることになる。

眠気推定部９は、かかる2通りの深部体温1,2のそれぞれに対して眠気推定を行い、どちら一方で、眠気状態であると判定されれば、警報の発令、外部通報を行う。

(第３実施形態)
第１実施形態では、前額領域から検出した温度を眠気推定のための温度パラメータとして用いた。これに対し本実施形態では、ユーザの身体に取り付けられた接触式センサの測定値を眠気推定の基礎とする改良に関する。

以上の改良が施された装置の内部構成は、図１１の通りとなる。図１１は、第３実施形態に係る眠気推定装置の内部構成を示す。本図の内部構成は、第１実施形態における内部構成図をベースとして作図されており、このベースとなる構成と比較して、前額領域検出部４ｃ、口及び頭髪領域検出部４ｄが存在しない点が異なる。その代わりに接触式センサインターフェイス１０が存在する。

接触式センサインターフェイス１０は、ユーザの体に設けられた接触式センサから測定値である体温の入力を受け付け、重み減算部７に出力する。接触式センサには、鎖骨部に設けられたものと、手の背部に設けられたもの、足の背部に設けられたものとがある。非特許文献３に記載されているように、鎖骨部に設けられたセンサの測定値を、近位部皮膚温(proximal)として定義する。手の背部、足の背部に設けられたセンサの測定値の平均値は遠位部皮膚温(distal)として定義する。近位部皮膚温、遠位部皮膚温は、生体リズムと強い相関性を有している。具体的にいうと、近位部皮膚温と、遠位部皮膚温との差分が高くなることは、眠気状態にあることを意味する。よって、近位部皮膚温と、遠位部皮膚温との差分が所定の閾値を上回っていれば眠気状態にあると考えられるから、この場合、ユーザが眠気状態にあると判定する。

新規な構成要素の捕捉としてかかる新規の構成要素と関連が深い既存の構成要素の動作について説明する。重み減算部７は、眼領域の中心領域から検出した温度を用いて、接触式センサインターフェイス１０から入力されてくるセンサの測定値である近位部皮膚温と、遠位部皮膚温との差分を補正することで環境温度による影響をキャンセルする。こうすることで、より正確な近位部皮膚温、遠位部皮膚温の測定が可能になる。

以上のように本実施形態によれば、ユーザの身体に取り付けられた接触式センサの測定値を眠気推定の基礎とし、赤外線画像データから算出した温度については、接触式センサの測定値の補正に用いるという用途に留めるから、眠気推定に必要なパラメータの全てを赤外線画像データから取得する場合と比較して、眠気推定の精度を高めることができる。
(第４実施形態)
第１実施形態では、車載型の眠気推定装置について説明したが、本実施形態は、屋内機器の制御に用いられる眠気推定装置を開示する。図１２は、屋内機器の制御のために、室内に設置された眠気推定装置を示す。本図における眠気推定装置１００は、テレビ２００の上に設置され、テレビ２００を視聴するユーザを撮影することができる。眠気推定装置１００は、撮影された可視光線画像、赤外線画像から深部体温を算出して、この算出された深部体温の差分に従い眠気推定を行う。そして、上述した移行期と判断されれば、テレビ２００、照明装置３００、エアコン４００にその旨を通知する。

テレビ２００は、移行期であるとの通知を眠気推定装置１００から受ければ、音量を下げたり、電源オフに切り替える制御を行う。

照明装置３００は、移行期であるとの通知を眠気推定装置１００から受ければ、照明の光量を下げる制御を行う。

エアコン４００は、覚醒状態から眠気状態への移行期であるとの通知を眠気推定装置１００から受ければ、室内の設定温度を高めにしたり、風量を下げたり、おやすみモードに設定する制御を行う。

以上のように本実施形態によれば、ユーザが眠気状態になったことを契機にしてテレビの音量や照明の明度、室温を切り替えるので、快適な環境をユーザに提供することができる。

(第５実施形態)
第１実施形態では、1つの撮影系で可視光線画像と、赤外線画像との撮影を行うことができる可視光線−赤外線共用カメラ１０１を使用した。本実施形態では、この可視光線−赤外線共用カメラ１０１に代えて、可視光線画像撮影のための可視光線カメラ１０２と、赤外線画像撮影のための赤外線カメラ１０３とを眠気推定装置１００に設ける改良に関する。

この場合、撮像部１は、可視光線画像撮影のための可視光線カメラ１０２と、赤外線画像撮影のための赤外線カメラ１０３とを用いて、可視光線−赤外線共用カメラ１０１を用いて所定の時間置きに、可視光線領域の波長による撮影、赤外線領域の波長による撮影の双方を行い、可視光線画像データ、赤外線画像データを得る。

眠気推定装置１００内に可視光線カメラ１０２と、赤外線カメラ１０３とを設ける場合、これらのカメラがどのような位置関係にあるがによって画像内の身体像の現れ方が変わってくる。具体的にいうと、可視光線カメラ１０２、赤外線カメラ１０３とが左右隣合わせになっている場合、身体像の位置は水平方向にずれる。可視光線カメラ１０２、赤外線カメラ１０３が上下隣合わせになっている場合、身体像の位置は垂直方向にずれる。

また一般に、赤外線画像データは、可視光線画像データよりも解像度が少ないことが多い。

そこで本実施形態では、温度補正部５bにおける部位別温度算出部６bが、眼領域検出部４ｂ、前額領域検出部４ｃ、口及び頭髪領域検出部４ｄから座標群の引き渡しを受けるにあたって、引き渡された可視光線画像データの座標に対して、以上の座標変換を行うことで、赤外線画像データの座標を得る。

図１３は、眠気推定装置１００において可視光線カメラ１０２、赤外線カメラ１０３が横方向に並んで配置される場合の座標変換を示す。図１３（ａ）は、眠気推定装置１００における外観図である。本図において、可視光線カメラ１０２、赤外線カメラ１０３は横並びに存在する。図１３（ｂ）は、可視光線画像と、赤外線画像とを並べて示す図である。赤外線画像の解像度は小さいので、赤外線画像を小さく書いている。また、可視光線カメラ１０２、赤外線カメラ１０３が横方向にならんていることで、可視光線画像と、赤外線画像とには水平方向のずれであるOffsetXが存在する。

ここで眼領域検出部４ｂ、前額領域検出部４ｃ、口及び頭髪領域検出部４ｄから引き渡される座標群、つまり、可視光線画像データの座標系における座標群の任意の座標を(Xv,Yv)とする。一方、赤外線画像データの座標系における座標群の任意の座標を(Xi,Yi)とする。

図１３（ｃ）は、(Xv,Yv)から(Xi,Yi)を求めるための変換式（Xi＝(赤外線画像の横画素数／可視光線画像の横画素数)×Xv＋OffsetX、Yi＝(赤外線画像の縦画素数／可視光線画像の縦画素数)×Yv)を示す。

ここでOffsetXは、可視光線カメラの位置と、赤外線カメラの位置との水平方向のオフセットであり、赤外線画像データの座標系の原点のX座標が、可視光線画像データの座標系の原点から右方向又は左方向にどれだけずれているかを示す。

図１４は、眠気推定装置１００において可視光線カメラ１０２、赤外線カメラ１０３が縦方向に並んで配置される場合の座標変換を示す。図１４（ａ）は、眠気推定装置１００における外観図である。本図において、可視光線カメラ１０２、赤外線カメラ１０３は縦並びに存在する。図１４（ｂ）は、可視光線画像と、赤外線画像とを並べて示す図である。赤外線画像の解像度は小さいので、赤外線画像を小さく書いている。また、可視光線カメラ１０２、赤外線カメラ１０３が縦方向にならんていることで、可視光線画像と、赤外線画像とには垂直方向のずれであるOffsetYが存在する。図４（ｂ）でも可視光線画像データの座標系における座標群の任意の座標を(Xv,Yv)とする。一方、赤外線画像データの座標系における座標群の任意の座標を(Xi,Yi)とする。

図１４（ｃ）は、(Xv,Yv)から(Xi,Yi)を求めるための変換式（Xi＝(赤外線画像の横画素数／可視光線画像の横画素数)×Xv、Yi＝(赤外線画像の縦画素数／可視光線画像の縦画素数)×Yv＋OffsetY)を示す。

ここでOffsetYは、可視光線カメラの位置と、赤外線カメラの位置との垂直方向のオフセットであり、赤外線画像データの座標系の原点のY座標が、可視光線画像データの座標系の原点から右方向又は左方向にどれだけずれているかを示す。

これらのオフセット（OffsetX,OffsetY）は、可視光線カメラ、赤外線カメラの取付け方に左右されるので、眠気推定装置１００の製造段階でキャリブレーションを行うことにより、妥当な値を選ぶことが望ましい。またXv,Yvに乗じるべき縦横の画素数比についても、キャリブレーションを行うことにより、妥当な値を選ぶことが望ましい。

キャリブレーションは、以下のようにしてなされる。まず眼領域検出部４ｂは、可視光線画像に対して眼の中心領域の検出を行い、(Xv,Yv)を得る。次に眼領域検出部４ｂは、赤外線画像に対しても眼の中心領域の検出を行い、(Xi,Yi)を得る。こうして(Xv,Yv)と、(Xi,Yi)とが得られれば、これを上記の式に適用し、(Xv,Yv)に乗じるべき水平方向／垂直方向の画素数比と、offsetX,Yとを得る。

キャリブレーションにあたっては、赤外線画像における何れかの座標を検出せねばならないが、赤外線画像は低解像度であるから、その検出精度が低いことも考えられる。そこで対話操作を導入することが望ましい。つまり眼領域検出部４ｂにより眼領域の中心等が(Xv,Yv)として検出された際、ユーザは、対話操作モードを起動し、赤外線画像において、この(Xv,Yv)にに対応する(Xi,Yi)を特定する操作を行う。こうして(Xi,Yi)が特定されれば、(Xv,Yv)と、(Xi,Yi)とから、(Xv,Yv)に乗じるべき水平方向／垂直方向の画素数比と、offsetX,Yとを導く。

尚、第１実施形態のように、1つのカメラで、可視光線撮影、及び、赤外線撮影を行う場合、OffsetX,OffsetYは、0にすることができる。可視光線撮影、及び、赤外線撮影を1つのカメラで共用する場合、カメラの取付け位置による身体像のずれは発生し得ないからである。

＜備考＞
以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。

(赤外線画像データ)
これまでの実施形態では、赤外線撮影モードで撮影された赤外線画像データを体表面温度分布データとしたが、これは、可視光線画像データと同一の撮影系で赤外線画像データを撮影することを意図したに過ぎない。ユーザの身体の温度分布と、座標との対応を規定できるものであれば赤外線画像以外のものを体表面温度分布データとして使用してもかまわない。

(眠気推定装置１００の必須部分)
眠気推定装置１００を他の機器との組合せで使用する場合、撮影系統やフレームメモリを眠気推定装置１００の構成要件から除外して、画像処理部４〜眠気推定部９のみで眠気推定装置１００を構成してもよい。撮像部１は、可視光線画像データ、赤外線画像データを得るためのものであり、眠気推定装置１００との組みで用いられる他の機器に備わっていれば足りるからである。

(装置構成)
第１実施形態において眠気推定装置を単体の機器としたが自動車の車内装備の一部として自動車に組込んでもよい。また、カーナビ機器やカーAV機器として車内に組込まれてもよい。第４実施形態では、眠気推定装置をテレビや照明装置、エアコンの一部として、これらの機器に組込んでもよい。

(眠気推定装置の製品化)
眠気推定装置は、テレビ電話機能を搭載したテレビ、パーソナルコンピュータ、スマートフォン、タブレット端末として製品化してもよい。テレビ電話機能では、自分で撮影した映像を相手側に送信せねばならず、この過程でユーザは、自画撮り、つまり自分自身の姿を撮影するからである。

(可視光線画像の記録)
各測定時点で測定された可視光線画像をエンコードしてビデオストリームを得て、測定時点毎に得られた深部体温を、当該ビデオストリームに対応付けることで、各測定時点の深部体温を記録媒体に記録してもよい。測定時点毎の深部体温をビデオストリームに対応付けて記録することで、眠気推定装置は生体リズムレコーダとして機能することになる。

(ネットワークへの応用)
撮影装置と、眠気推定装置とはネットワークを介して接続されてもよい。この場合、眠気推定装置は、ネットワークを介して表示装置のカメラによる測定画像(可視光線画像データ、赤外線画像データ)を受け取り眠気推定を行う。そして推定結果を外部装置に出力して、眠気の有無に応じた処理を実行させる。

(複数ユーザ対応)
眠気推定装置１００は、複数ユーザを撮影することで得られた、可視光線画像−赤外線画像の複数の組みに対して深部体温算出と、眠気推定を行ってもよい。そうして撮影された複数ユーザのうち、居眠り状態にあるユーザに対して警告を行ってもよい。これにより、例えば、多数の従業者を要する法人においては、パソコンに設けられたカメラや車載カメラで撮影された可視光線画像と、赤外線画像とを用いることで従業員が眠気状態になっているかどうかの監視が可能になる。この場合、多くの可視光線画像、赤外線画像を処理せねばならないから、可視光線画像、赤外線画像をビッグデータとして処理できるようなクラウドネットワークのサーバ(クラウドサーバ)で眠気推定装置１００を動作させるのが望ましい。クラウドネットワークにおいて眠気推定の開始が命じられれば、ハイパーバイザは、クラウドサーバにおいてオペレーティングシステムを起動する。こうしてオペレーティングシステムを起動した上で、企業内部に存在するイントラネットワークから画像処理部４、温度補正部５、眠気推定部９の処理を行うアプリケーションプログラムを、クラウドサーバにロードする。かかるロードにより、第１実施形態から第５実施形態までの述べた処理をビッグデータに対し実行する。

(測定周期)
可視光線画像は、動画像撮影で得られた個々の可視光線画像でもよいし、静止画撮影で得られた個々の可視光線画像でもよい。動画像撮影で可視光線画像を取得する場合、深部体温の測定周期は、動画像を再生する際のディスプレイの表示周期になる。例えば、ディスプレイの表示周波数が、1/23.976Hzであるなら、測定周期は1/23.976秒になり、表示周波数がフィールド換算で59.94Hzであるなら1/59.94秒、表示周波数がフィールド換算で50Hzであるなら1/50秒になる。

静止画撮影で可視光線画像を取得する場合、眠気推定装置のタイマ設定に従い、深部体温の測定周期を定める。例えば眠気推定装置のタイマが5秒に設定されていれば、眠気推定装置がこの5秒置きに撮影を行うことで、5秒間隔の深部体温が得られることになる。

（形状パターンの辞書化による眼領域検出）
眼領域検出部は、検出辞書に、様々なまぶた形状を示すまぶた形状パターンを登録しておいて、かかる検出辞書を用いて眼領域の検出をおこなってもよい。具体的にいうと眼領域検出部は、可視光線画像に対して特徴量抽出を行い、可視光線画像において、周辺と比較して画素値が大きく変化している箇所をエッジ画素群として検出する。かかるエッジ画素群のうち、検出辞書に登録された形状パターンにあてはまるものの領域を眼領域として検出する。その他、顔の輪郭パターン、前額の輪郭パターンを検出辞書に登録しておくことで、顔領域や前額領域も同様に検出することができる。

（色分布による眼領域の検出）
顔領域の顔の肌の色領域で周囲を囲まれ、自身は肌の色領域を有さない眼孔領域を検出することで、眼領域の検出をおこなってもよい。そして、眼孔領域の組み間の顔の上下方向の位置関係、眼孔領域の組みが顔の左右に配置されているという配置規則、眼孔領域の組み間の面積差、眼孔領域の組みの領域内の色の分散を評価する。かかる評価値に基づき、眼孔領域の組みのうち、最も両眼として適格と判断される眼孔領域の組みを両眼の眼領域として推定する。

(座標変換の仕方の統一)
第１実施形態では、可視光線カメラ１０２、赤外線カメラ１０３を横に並べる場合と、縦に並べる場合と、可視光線−赤外線共用カメラ１０１を用いる場合とで座標変換の数式を変えたが、統一の数式で座標変換を行ってもよい。つまり、赤外線カメラ１０３を横に並べる場合、縦に並べる場合、可視光線−赤外線共用カメラ１０１を用いる場合の何れであっても、以下の数式を用いて座標変換を行ってもよい。

Xi＝(赤外線画像の横画素数／可視光線画像の横画素数)×Xv＋OffsetX
Yi＝(赤外線画像の縦画素数／可視光線画像の縦画素数)×Yv＋OffsetY

これは可視光線画像と、赤外線画像とは、垂直方向、水平方向で微妙なズレが発生するからである。特に、可視光線画像と、赤外線画像との解像度の違いを考慮すると、カメラの配置に拘らず、上記の数式を用いるべきである。

(追従撮影)
撮像センサは、光軸方向に移動可能となるフォーカスレンズや、自動絞り駆動による制御に従って光量調整を行う撮像光学系を具備することで、ユーザの顔領域の追従撮影を行ってもよい。この場合、撮像センサからは使用者の顔を含む映像が映像処理部に入力され、顔領域検出部には撮像部が撮影した映像データの全てが入力されることになる。

（赤外線カメラの構成）
赤外線カメラは、赤外線レンズ群と、当該赤外線レンズ群の結像面に位置する赤外線撮像素子とをハウジング内に収容することで構成してもよい。ハウジング内には、赤外線レンズ群の被写体側に対向する部分に窓部が形成される。赤外線撮像素子は、１次元または２次元に配列された複数の感熱抵抗体から構成され、各感熱抵抗体における赤外線の受光量を検出することにより赤外線画像データを生成する。

（フィルタによる赤外線の遮断／透過）
通常の撮影機器の光学フィルタは、赤外線波長を遮断するように構成されている。可視光線−赤外線共用カメラ１０１は、赤外線波長を遮断するか否かの切替えを制御することで、可視光線撮影モード及び赤外線撮モードの切り替えを行い、可視光線画像データ及び赤外線画像データをそれぞれ取得してもよい。先ず始めに、可視光線撮影モードにおいて赤外線を遮断するようフィルタを切り替えることで可視光線画像データを得る。次に、赤外線撮影モードにおいて赤外線及び可視光線を透過するようフィルタを切り替えることで、個々の画素が可視光線と、赤外線とで構成された画像データを得る。このような画像データが得られた後、かかる画像データと、可視光線撮影モードで得られた可視光線画像データとの画素毎の差分をとり、かかる差分値を画素値とする画像データを赤外線画像データとする。このような処理を経れば、通常の撮影機器のフィルタを用いることで、可視光線画像データ、赤外線画像データを得ることができる。

（カラーフィルタによるモード切替え）
可視光線−赤外線共用カメラ１０１は、撮像素子前面に配置したカラーフィルタを改良することで、可視光線撮影モード及び赤外線撮モードの切り替えを行い、可視光線画像データ、赤外線画像データの撮影を行ってもよい。カラーフィルタは、それぞれ異なる波長の電磁波を透過させる特定波長透過フィルタを複数種類有している。かかる特定波長透過フィルタには、少なくとも、赤成分の波長の電磁波を透過させるＲフィルタ、緑成分の波長の電磁波を透過させるＧフィルタ、青成分の波長の電磁波を透過させるＢフィルタ、及び、赤外線を透過させるＩフィルタが含まれる。Ｒ、Ｇ、Ｂフィルタ、及び、Ｉフィルタを所定数の行×所定数の列のマトリクスとしたフィルタ群を複数有し、複数の前記フィルタ群はマトリクス状に配列されていて、Ｉフィルタが、前記Ｒフィルタ及び前記Ｂフィルタに隣接して配置される。かかる構成において、可視光線撮影モードではＲ、Ｇ、Ｂフィルタを有効にし、赤外線撮影モードではＩフィルタを有効にすることで、可視光線撮影モードでは可視光線画像データを、赤外線撮影モードでは赤外線画像データを取得してもよい。

（数式及び算出処理の範囲）
深部体温を求めるための数式や、赤外線画像データの画素値から深部体温を導くための数式は、数学的な概念を意味するのではなく、あくまでも、コンピュータ上で実行される数値演算を意味するものである。よって当然のことながら、コンピュータに実現させるための、必要な改変が加えられることはいうまでもない。例えば、数値を、整数型、固定少数点型、浮動小数点型で扱うための飽和演算や正値化演算が施されてよいことはいうまでもない。更に、各実施形態に示した、数式に基づく演算処理や算出処理は、定数ROMを用いたROM乗算器で実現することができる。定数ROMには、被乗数と定数との積の値はあらかじめ計算されて格納されている。例えば、被乗数が16ビット長である場合、この被乗数は、4ビット毎に四つに区切られ、この4ビット部分と定数との積、つまり、定数の0〜15の倍数が上記の定数ROMに格納されている。上記の一区切りの4ビットと定数16ビットとの積は20ビット長であり、上記の四つの定数が同一のアドレスに格納されるので、20×4＝80ビット長が一語のビット長となる。以上述べたように、ROM乗算器での実現が可能であるので、本明細書でいうところの“算出処理”や“演算処理”は、純粋な算術演算のみを意味するのではなく、ROM等の記録媒体に格納された演算結果を、被演算子の値に応じて読み出すという、記録媒体の読み出しをも包含する。

（集積回路としての実施）
画像処理部４及び温度補正部５は、装置に組込むべき半導体集積回路としての実装が可能であるから、かかる画像処理部４及び温度補正部５を高密度基板上にパッケージングすることでシステムLSIを構成してもよい。システムLSIは、複数個のベアチップを高密度基板上に実装し、パッケージングすることにより、あたかも1つのLSIのような外形構造を複数個のベアチップに持たせたものであり、マルチチップモジュールと呼ばれる。集積回路のアーキテクチャは、プリプログラムされたDMAマスタ回路等から構成され、ストリーム処理全般を実行するフロントエンド処理回路(1)と、SIMDプロセッサ等から構成され、信号処理全般を実行する信号処理回路(2)と、画素処理や画像重畳、リサイズ、画像フォーマット変換AV出力処理全般を行うバックエンド回路(3)と、ドライブ、ネットワークとのインターフェイスであるメディアインターフェイス回路(4)と、メモリアクセスのためのスレーブ回路であり、フロントエンド部、信号処理部、バックエンド部の要求に応じて、パケットやデータの読み書きを実現するメモリコントローラ回路(5)とから構成される。ここでパッケージの種別に着目するとシステムLSIには、QFP(クッド フラッド アレイ)、PGA(ピン グリッド アレイ)という種別がある。QFPは、パッケージの四側面にピンが取り付けられたシステムLSIである。PGAは、底面全体に、多くのピンが取り付けられたシステムLSIである。

その他、集積回路としての実施にあたっては、内部処理系統の構成要素として、可視光線画像データや赤外線画像データの画素群を所望の形式に変換する変換回路、可視光線画像データや赤外線画像データの画素群を一時的に格納するキャッシュメモリ、データ転送の速度調整を行うバッファメモリ、電源投入に応じて必要なプログラムをROMからRAMに読み出し、初期化を図る初期化回路、ヒストグラムの状態に応じて電源制御を行う電源制御回路、MPUが複数のプログラムをタスク・アプリケーションとして管理して、これらのプログラムの優先度に従いスケジューリングを行うプログラム管理部、リセット発生や電源異常等の外部事象に応じた割込信号を生成する割込ハンドラ部を追加することができる。

（プログラムとしての実施形態)
本発明は、可視光線画像データの指定と、赤外線画像データの指定とを引数として受け付けて、所望のアプリケーションプログラミングインターフェイスをコールすることにより、ユーザが眠気状態にあるかどうかを判定し、判定結果を戻り値として返すプログラムモジュールとして構成してもよい。かかるプログラムモジュールを構成するプログラムコード、つまり、図７のメインルーチン、図８のサブルーチンの処理をコンピュータに行わせるプログラムコードは、以下のようにして作ることができる。先ず初めに、ソフトウェア開発者は、プログラミング言語を用いて、各フローチャートや、機能的な構成要素を実現するようなソースプログラムを記述する。この記述にあたって、ソフトウェア開発者は、プログラミング言語の構文に従い、クラス構造体や変数、配列変数、外部関数のコールを用いて、各フローチャートや、機能的な構成要素を具現するソースプログラムを記述する。

記述されたソースプログラムは、ファイルとしてコンパイラに与えられる。コンパイラは、これらのソースプログラムを翻訳してオブジェクトプログラムを生成する。

コンパイラによる翻訳は、構文解析、最適化、資源割付、コード生成といった過程からなる。構文解析では、ソースプログラムの字句解析、構文解析および意味解析を行い、ソースプログラムを中間プログラムに変換する。最適化では、中間プログラムに対して、基本ブロック化、制御フロー解析、データフロー解析という作業を行う。資源割付では、ターゲットとなるプロセッサの命令セットへの適合を図るため、中間プログラム中の変数をターゲットとなるプロセッサのプロセッサが有しているレジスタまたはメモリに割り付ける。コード生成では、中間プログラム内の各中間命令を、プログラムコードに変換し、オブジェクトプログラムを得る。

ここで生成されたオブジェクトプログラムは、各実施形態に示したフローチャートの各ステップや、機能的構成要素の個々の手順を、コンピュータに実行させるような1つ以上のプログラムコードから構成される。ここでプログラムコードは、プロセッサのネィティブコード、JAVA(登録商標)バイトコードというように、様々な種類がある。プログラムコードによる各ステップの実現には、様々な態様がある。外部関数を利用して、各ステップを実現することができる場合、この外部関数をコールするコール文が、プログラムコードになる。また、1つのステップを実現するようなプログラムコードが、別々のオブジェクトプログラムに帰属することもある。命令種が制限されているRISCプロセッサでは、算術演算命令や論理演算命令、分岐命令等を組合せることで、フローチャートの各ステップを実現してもよい。オブジェクトプログラムが生成されるとプログラマはこれらに対してリンカを起動する。リンカはこれらのオブジェクトプログラムや、関連するライブラリプログラムをメモリ空間に割り当て、これらを１つに結合して、ロードモジュールを生成する。こうして生成されるロードモジュールは、コンピュータによる読み取りを前提にしたものであり、各フローチャートに示した処理手順や機能的な構成要素の処理手順を、コンピュータに実行させるものである。かかるコンピュータプログラムを非一時的なコンピュータ読取可能な記録媒体に記録してユーザに提供してよい。

本発明にかかる眠気推定装置は、車載での居眠り防止等として有用である。また、照明の明るさ制御や、テレビ等の音量制御等の用途にも応用できる。

１ 撮像部
２ 取得部
３a,b フレームメモリ
４ 画像処理部
４ａ 顔領域検出部
４ｂ 眼領域検出部
４ｃ 前額領域検出部
４ｄ 口及び頭髪領域検出部
５ 温度補正部
５ａ、５ｂ 温度補正部
６ 部位別温度算出部
６ａ、６ｂ 部位別温度算出部
７ 重み減算部
８ 履歴メモリ
９ 眠気推定部
１０ 接触式センサI/F
９ａ 差分演算部
９ｂ 閾値格納部
９ｃ 比較部
１００ 眠気推定装置
１０１ カメラ（可視光線−赤外線共用カメラ）
１０２ 可視光線カメラ
１０３ 赤外線カメラ
２００ テレビ
３００ 照明装置
４００ エアコン

Claims (12)

1. 被験者から眠気推定のための温度パラメータを検出して、眠気推定を行う眠気推定装置であって、
   可視光線の波長域で被験者を撮影することにより得られた可視光線画像データ、及び、被験者の体表面の温度分布を測定することにより得られた体表面温度分布データを取得する取得手段と、
   可視光線画像データに対して画像処理を行うことで、被験者の眼の中心領域を特定する画像処理手段と、
   体表面温度分布データにて示される被験者の体表面温度分布のうち、眼の中心領域の温度を検出して、当該中心領域温度を用いて、眠気推定のための温度パラメータに対して補正を施す補正手段と、
   を備えることを特徴とする眠気推定装置。
2. 前記画像処理手段による眼の中心領域の特定は、可視光線画像データに表される被験者の顔領域の像から角膜の輪郭形状を検出して、当該角膜の輪郭形状を示す円弧の中央を特定することによりなされる
   ことを特徴とする請求項１記載の眠気推定装置。
3. 前記眠気推定のための温度パラメータは、顔領域のうち前額部分の体温であり、
   前記補正手段は、
   体表面温度分布データに示される体表面温度分布から、前額部分の温度を検出することで眠気推定のための温度パラメータを得る
   ことを特徴とする請求項１記載の眠気推定装置。
4. 前記眠気推定のための温度パラメータは、顔領域のうち口周辺部及び頭髪部を除いた部分の温度パラメータであり、
   前記補正手段は、
   体表面温度分布データに示される顔領域の温度分布のうち、口周辺部及び頭髪部を除いた何れかの部位の温度を検出することで眠気推定のための温度パラメータを得る
   ことを特徴とする請求項１記載の眠気推定装置。
5. 前記眠気推定のための温度パラメータの補正は、
   眠気推定のための温度パラメータ、及び、眼の中心領域温のそれぞれに第１、第２の重み係数を乗じて、第１の重み係数が乗じられた温度パラメータから第２の重み係数が乗じられた眼の中心領域温を減じることでなされる
   ことを特徴とする請求項１記載の眠気推定装置。
6. 前記体表面温度分布データは、所定の解像度をなす複数の画素からなる赤外線画像データであり、赤外線画像データにおける個々の画素は、可視光線画像データにおける個々の画素に対応していて、
   赤外線画像データにおける個々の画素の色成分の輝度は、可視光線画像データに現された人体表面の対応する部位から、どれだけの赤外線が輻射されているかという輻射量を示す
   ことを特徴とする請求項１記載の眠気推定装置。
7. 前記可視光線画像と、赤外線画像とは解像度が異なり、
   前記画像処理手段による眼の中心領域の特定は、可視光線画像データの座標系におけるX座標又はY座標を用いてなされ、
   前記温度補正手段は、眼の中心領域のX座標又はY座標に対して変換を施し、赤外線画像において当該変換後のX座標又はY座標に位置する画素の画素値を温度に変換し、
   前記温度補正手段による座標変換は、
   可視光線画像と、赤外線画像との横画素数の比率、又は、可視光線画像と、赤外線画像との縦画素数の比率を、眼の中心領域のX座標又はY座標に乗じ、可視光線画像の撮影系と、赤外線画像の撮影系とが異なることに起因する水平又は垂直方向のオフセットを加算することでなされる
   ことを特徴とする請求項６記載の眠気推定装置。
8. 前記可視光線画像データ、及び、赤外線画像データは、測定時間帯の複数の時点のそれぞれにおいて、被験者を撮影することで得られ、
   画像処理手段による被験者の眼の中心領域の特定、取得手段による赤外線画像データの取得、補正手段による眠気推定のための温度パラメータに対する補正は、前記複数時点の撮影時のそれぞれにおいてなされ、
   前記眠気推定は、ある測定時点の被験者撮影により得られた補正後の温度パラメータが、過去の測定時点の被験者撮影により得られた補正後の温度パラメータと比較して減少傾向であり、かつその減少幅が所定の閾値を上回っているかを判断することでなされる
   ことを特徴とする請求項７記載の眠気推定装置。
9. 前記眠気推定装置は、
   可視光線を通過させ赤外線を遮断する第１モード、赤外線を通過させ可視光線を遮断する第２モードの何れかに切り替え可能な撮影手段を備え、
   前記第１モード、第２モードの切り替えにより、可視光線画像データ、及び、赤外線画像データのそれぞれを得る
   ことを特徴とする請求項６記載の眠気推定装置。
10. 前記眠気推定のための温度パラメータは、腕背部、足背部、鎖骨部に取り付けられた接触式センサから取得したものである
    ことを特徴とする請求項１記載の眠気推定装置。
11. 被験者から眠気推定のための温度パラメータを用いて、眠気推定を行う眠気推定方法であって、
    可視光線の波長域で被験者を撮影することにより得られた可視光線画像データ、及び、被験者の体表面の温度分布を測定することにより得られた体表面温度分布データを取得して、
    可視光線画像データに対して画像処理を行うことによる、被験者の眼の中心領域を特定し、
    その後、体表面温度分布データにて示される被験者の体表面温度分布のうち、眼の中心領域の温度を検出して、当該中心領域温度を用いて、眠気推定のための温度パラメータに対して補正を施す、眠気推定方法。
12. 被験者から眠気推定のための温度パラメータを用いた眠気推定をコンピュータに行わせるプログラムコードが記録されたコンピュータ読み取り可能な非一時的な記録媒体であって、
    コンピュータが可視光線の波長域で被験者を撮影することにより得られた可視光線画像データ、及び、被験者の体表面の温度分布を測定することにより得られた体表面温度分布データを取得した際、
    可視光線画像データに対して画像処理を行うことによる、被験者の眼の中心領域を特定して、
    その後、体表面温度分布データにて示される被験者の体表面温度分布のうち、眼の中心領域の温度を検出して、当該中心領域温度を用いて、眠気推定のための温度パラメータに対して補正を施す処理をコンピュータに実行させる1つ以上のプログラムコードが記録されたコンピュータ読み取り可能な非一時的な記録媒体。

Images