JP6340071B2 - 眼球検出装置及び眼鏡型電子機器 - Google Patents

Description

本発明は、使用者の眼球の状態を検出する眼球検出装置及び眼鏡型電子機器に関するものである。

人の瞬き等の眼球状態を検出し、その検出結果を様々な処理に用いたいという要請がある。
このような瞬きを検出する装置として、例えば、特許文献１には、眼鏡（の鼻ブリッジ近傍）に設けられた赤外線センサから瞼や眼球に赤外線を照射し、その反射光を基に瞼や眼球の動きを検出して、覚醒状態を判別する感知装置が開示されている。

特表２００９−５０４２０５号公報

しかしながら、上述した特許文献１の装置では、赤外線センサから瞼や眼球に赤外線を照射するため、赤外線の照射位置や距離がずれると、検出できないという問題がある。また、周囲光の影響によって誤検出が生じることがあるという問題がある。
さらに、瞬きだけでなく、眼球の状態についての多くの情報を取得したいという要請もある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、使用者の眼球状態を安定して高精度に検出できる眼球検出装置及び眼鏡型電子機器を提供することを目的とする。

上述した従来技術の課題を解決し上述した目的を達成するために、本発明の眼球検出装置は、眼鏡型フレームに取り付けられ、使用者の眼球状態を検出する眼球検出装置であって、前記使用者の眼球を含む所定の領域の温度分布を検出して温度データを生成する温度カメラと、前記温度カメラからの前記温度データを基に、前記使用者の眼球の状態（瞬き の有無、瞬きの回数、視線）を判定する判定手段とを有する。

この構成によれば、温度カメラで眼球を含む所定の領域を撮像して生成した熱画像データを基に、眼球の状態（瞬きの有無、瞬きの回数、視線）を判定する。そのため、赤外線センサから瞼や眼球に赤外線を照射する従来の装置に比べて、眼球との距離のずれや、周囲光の影響によって誤検出が生じることを効果的に回避でき、安定した高精度な検出が可能になる。
また、この構成によれば、温度カメラを用いて眼球の熱画像データを得るため、瞬きの有無だけでなく、眼球の状態について多くの情報を得ることができる。そのため、当該情報を基に多様な処理を行うことができる。

好適には、本発明の眼球検出装置の前記温度カメラは、前記眼鏡型フレームのリム、あるいはテンプルのリム側に固定される。
この構成によれば、使用者の眼球を含む所定の領域を適切に撮像できる位置に温度カメラを配置できる。

好適には、本発明の眼球検出装置の前記判定手段は、前記眼球の白目と黒目との温度を基に予め規定された眼球特徴量を基に、前記温度データに前記眼球特徴量があるか否かを判断する。
すなわち、発明者は、白目の温度は比較的高く、黒目の温度は比較的低いことを見出し、これを利用して眼球の状態を温度カメラで撮像して画像データを生成し、これを基に眼球の状態を検出する本発明に考え出した。
この構成によれば、黒目と白目の温度を基に眼球の特徴量を適切に特定できる。

好適には、本発明の眼球検出装置の前記判定手段は、前記眼球の白目と黒目との温度を基に、前記使用者の視線の方向を特定する。

好適には、本発明の眼球検出装置は、前記温度データ及び前記判定手段の判定結果の少なくとも一つを無線送信する通信手段をさらに有する。
この構成によれば、通信手段を介して携帯型通信装置等の外部装置に各信号（データ）送信することで、外部装置の高い処理能力及びメモリ容量を用いた高機能な処理を実現できる。

好適には、本発明の眼球検出装置の前記判定手段は、前記眼鏡型フレームの前記使用者の耳に掛けられるテンプルに固定される。

本発明の眼鏡型電子機器は、上述した本発明の眼球検出装置を備えている。

本発明によれば、使用者の眼球状態を安定して高精度に検出できる眼球検出装置及び眼鏡型電子機器を提供することができる。

図１は、本発明の実施形態に係る眼鏡の外観図である。 図２は、図１に示す眼鏡に用いられる温度カメラ及び信号処理系の構成要素を説明するための図である。 図３は、処理部が、熱画像データから特徴量抽出する処理を説明するための図である。 図４は、図２に示す処理部の処理を説明するためのフローチャートである。

図１は、本発明の実施形態に係る眼鏡１の外観図である。図２は、図１に示す眼鏡１に用いられる温度カメラ及び信号処理系の構成要素を説明するための図である。
図１に示すように、眼鏡１は、使用者に耳に掛けられるテンプル１１，１３と、レンズ２１，２３が固定されるリム３１，３３と、リム３１，３３の間に介在するブリッジ３５と、鼻パッド４１，４３とを有する。リム３１，３３の先端はモダン３７，３９と呼ばれる。また、テンプル１１，１３とリム３１，３３との間には丁番４５，４７が設けられている。

テンプル１１，１３、リム３１，３３、リム３１，３３の間に介在するブリッジ３５、鼻パッド４１，４３、モダン３７，３９及び丁番４５，４７とが、本発明の眼鏡型フレームの一例である。また、温度カメラ５９が本発明の温度カメラの一例である。

温度カメラ５９は、リム３１の丁番４５側に、眼鏡１の使用者（ユーザ）の眼球を含む所定の撮像範囲を撮像可能な姿勢で固定されている。
テンプル１１のモダン３７側にはボックス５３が固定されている。また、温度カメラ５９とボックス５３との間には信号線及び電源線（図示せず）が設けられている。

温度カメラ５９は、上記所定の撮像範囲の熱画像データＳ５９を生成し、これを処理部６１に出力する。
温度カメラ５９は、例えば、比較的低温領域でも放出される赤外線を非接触で検出し、物体の表面温度を測定する。温度カメラ５９としては、例えば、赤外線サーモグラフィ等が用いられる。赤外線サーモグラフィは、対象物から出ている赤外線放射エネルギーを検出し、見かけの温度に変換して、撮像領域の温度分布を示す熱画像データを生成する。温度カメラ５９は、ＭＥＭＳ(Micro Electro Mechanical Systems)型の非接触温度センサであり、例えば１ｃｍ×１ｃｍ×１ｃｍのサイズである。

本実施形態では、使用者の片目を温度カメラ５９で撮像する場合を例示するが、２つの温度カメラで両目を撮像し、これらの熱画像データを基に処理部６１で判定を行ってもよい。

検出回路５３内には、処理部６１が設けられている。
図３は、処理部６１において熱画像データＳ５９から眼球の特徴量を抽出する処理を説明するための図である。図４は、図２に示す処理部６１の処理を説明するためのフローチャートである。

処理部６１は、温度カメラ５９から熱画像データＳ５９を入力する（ステップＳＴ１）。
そして、処理部６１は、当該入力した熱画像データＳ５９を基に眼球領域を検出する眼球領域検出処理を行う（ステップＳＴ２）。処理部６１は、例えば、熱画像データＳ５９の全体から、例えば、図３に示す眼球領域の輪郭７１を予め保持した輪郭特徴量と比較しながら特定する。このとき、上記輪郭特徴量は、例えば、眼球の白目７５の温度は第１のしきい値温度より高く、黒目７３の温度は第２のしきい値温度より低い等の情報を基に規定される。すなわち、発明者は、白目７５の温度は比較的高く、黒目７３の温度は比較的低いことを見出し、これを利用して眼球の状態を温度カメラで撮像して画像データを生成し、これを基に眼球の状態を検出する本発明に考え出した。

次に、処理部６１は、眼球領域検出処理で検出された眼球領域に対し眼球の特徴量を抽出する特徴量抽出処理（ステップＳＴ３）を行う。
このとき、処理部６１は、熱画像データＳ５９内の眼球領域内の熱画像データを基に、上述した第１のしきい値温度及び第２のしきい値温度を基に、白目と黒目とを特定し、これら特定した情報と、予め保持した眼球についての特徴量とを比較しながら、特徴量を抽出する。

次に、処理部６１は、眼球特徴量抽出処理で抽出された特徴量に基づき判定を行う判定処理を行う（ステップＳＴ４）。
このとき、処理部６１は、上記抽出された特徴量に基づいて瞬きの有無、瞬きの回数、視線等を判定する。
処理部６１は、判定結果に予め対応付けられた所定の処理を実行する（ステップＳＴ５）。
また、処理部６１は、抽出した眼球の特徴量を基に、使用者を認証し、使用者が正当であると判断した場合のみ、予め決められた各種の機能を利用できるようにしてもよい。
処理部６１は、着用者の眼球の状態をリアルタイムに検出及び判定する。

ボックス５１には、図示しない電池が搭載されている。温度カメラ５９及び処理部６１は、当該電池からの給電によって動作する。
また、ボックス５１は、携帯型通信装置と通信可能な通信モジュールを搭載していてもよい。
処理部６１は、ボックス５１内の通信モジュールを介して携帯型通信装置に熱画像データＳ５９送信し、携帯型通信装置において、瞬き検出処理、覚醒状態の判別処理及び警報出力処理を行ってもよい。

以下、眼鏡１の動作例を説明する。
使用者が眼鏡１を装着して電源がオンになると、温度カメラ５９が駆動され、温度カメラ５９の撮像範囲の撮像結果に応じた熱画像データＳ５９が生成される。
熱画像データＳ５９は、信号線を介して温度カメラ５９から処理部６１に出力される。

そして、処理部６１において、図３を用いて説明した球領域検出処理（ステップＳＴ２）、特徴量抽出処理（ステップＳＴ３）、判定処理（ステップＳＴ４）及び判定結果に対応付けられた処理（ステップＳＴ５）が順に行われる。

以上説明したように、眼鏡１によれば、温度カメラ５９で眼球を含む上記所定の撮像範囲を撮像して生成した熱画像データＳ５９を基に、眼球の特徴量を判別する。そのため、赤外線センサから瞼や眼球に赤外線を照射する従来の装置に比べて、眼球との距離のずれや、周囲光の影響によって誤検出が生じることを効果的に回避でき、安定した高精度な検出が可能になる。

また、眼鏡１によれば、温度カメラ５９を用いて眼球の熱画像データＳ５９を得るため、瞬きの有無だけでなく、眼球の状態について多くの情報を得ることができる。そのため、当該情報を基に多様な処理を行うことができる。例えば、眼鏡１によれば、眼球の黒目の位置や移動を検出し、使用者の視線を特定できる。

また、眼鏡１によれば、温度カメラ５９からの熱画像データＳ５９を基に使用者の体温をリアルタイムに測定でき、使用者の健康管理に関する処理も行うことができる。また、眼鏡１によれば、使用者の体温を計測する際に、使用者の肌に接触する電極を設ける必要がなく、デザイン性に優れている。

また、眼鏡１によれば、ボックス５３内に処理部６１を収容したため、デザイン性に優れている。
また、眼鏡１によれば、ボックス５１内の通信モジュールを介して携帯型通信装置等の外部装置に各信号（データ）送信することで、外部装置の高い処理能力及びメモリ容量を用いた高機能な処理を実現できる。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
上述した実施形態では、温度カメラ５９は、撮像範囲を固定した場合を例示したが、撮像範囲を移動可能な機構を設けてもよい。

また、上述した実施形態では、本発明をレンズ２１，２３を備えた眼鏡１に適用した場合を例示したが、レンズが無いアイウェア等に適用してもよい。

本発明は、眼球検出装置及び眼鏡型電子機器に適用可能である。

１…眼鏡
１１,１３…テンプル
２１，２３…レンズ
３１，３３リム
３５…ブリッジ
４１，４３…鼻パッド
５３…ボックス
５９…温度カメラ
６１…処理部
７１…輪郭
７３…黒目
７５…白目

Claims (9)

1. 眼鏡型フレームに取り付けられ、使用者の眼球状態を検出する眼球検出装置であって、
   前記使用者の眼球を含む所定の領域の温度分布を検出して温度データを生成する温度カメラと、
   前記温度カメラからの前記温度データを基に、前記使用者の眼球の状態として瞬きの有 無を判定する判定手段と
   を有する眼球検出装置。
2. 眼鏡型フレームに取り付けられ、使用者の眼球状態を検出する眼球検出装置であって、
   前記使用者の眼球を含む所定の領域の温度分布を検出して温度データを生成する温度カメラと、
   前記温度カメラからの前記温度データを基に、前記使用者の眼球の状態として瞬きの回 数を判定する判定手段と
   を有する眼球検出装置。
3. 眼鏡型フレームに取り付けられ、使用者の眼球状態を検出する眼球検出装置であって、
   前記使用者の眼球を含む所定の領域の温度分布を検出して温度データを生成する温度カメラと、
   前記温度カメラからの前記温度データを基に、前記使用者の眼球の状態として視線を判 定する判定手段と
   を有する眼球検出装置。
4. 前記判定手段は、前記眼球の白目と黒目との温度を基に、前記使用者の視線の方向を特定する
   請求項３に記載の眼球検出装置。
5. 前記温度カメラは、前記眼鏡型フレームのリム、あるいはテンプルのリム側に固定される
   請求項１〜４のいずれかに記載の眼球検出装置。
6. 前記判定手段は、前記眼球の白目と黒目との温度を基に予め規定された眼球特徴量を基に、前記温度データに前記眼球特徴量があるか否かを判断する
   請求項１〜５のいずれかに記載の眼球検出装置。
7. 前記温度データ及び前記判定手段の判定結果の少なくとも一つを無線送信する通信手段
   をさらに有する請求項１〜６のいずれかに記載の眼球検出装置。
8. 前記判定手段は、前記眼鏡型フレームの前記使用者の耳に掛けられるテンプルに固定される
   請求項１〜７のいずれかに記載の眼球検出装置。
9. 請求項１〜８のいずれかに記載の眼球検出装置を備えた眼鏡型電子機器。