JP6433383B2 - 投光装置 - Google Patents

Description

この発明は、車室内の乗員を撮像するカメラ用の照明として、赤外光を照射する投光装置に関するものである。

近年、自動車等の移動体において、運転者の居眠りおよび脇見などの不安全行動を検知し、警告または自動ブレーキなどの制動を行うシステムが提案されている。このシステムでは、日光などの車外からの外乱に影響されることなく運転者の映像を取得するために、運転者に近赤外光（ＩＲ光）を照射して近赤外カメラで撮像する手法を用いることが一般的である（例えば、特許文献１参照）。

特開２０１２−１６８７４８号公報

上記の近赤外光は、運転者を広範囲かつ均一に照らすことが望ましい。しかし、車室内の光源の設置スペースは限られており、設置場所の確保が難しい。
そこで、例えば上記特許文献１では、車速およびエンジン回転数等の計測値を指示する指針等をメータ画像として表示する液晶表示装置のバックライトに近赤外光源を埋め込み、バックライトからの近赤外光を導光板で拡散し、近赤外光を通過させる特殊なカラーフィルタを介して出射することが提案されている。この構成の場合、特殊なカラーフィルタを用いるために価格が高くなるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、広範囲かつ均一に照らす投光装置を、低コストで実現することを目的とする。

この発明に係る投光装置は、車室内に設置された表示装置の表示面を保護する保護板と、保護板に赤外光を入射する光源部と、光源部の発光を制御し、光源部からの赤外光を保護板で導光させ運転者へ照射させる発光制御部とを備えるものである。

この発明によれば、表示装置の保護板を赤外光の導光板として利用するようにしたので、車室内を広範囲かつ均一に照らす投光装置を、低コストで実現することができる。また、表示装置の保護板を赤外光の導光板として利用するので、新たに導光板を設置するスペースも必要ない。

この発明の実施の形態１に係る投光装置を用いたドライバセンシングシステムの概要を示す図である。 実施の形態１に係る投光装置を用いたドライバセンシングシステムの構成例を示すブロック図である。 実施の形態１に係る投光装置の保護板の構成例を示すブロック図である。 実施の形態１に係る投光装置の概要を示す断面図である。 実施の形態１に係る投光装置を組み込んだメータディスプレイの一例を示す正面図である。 実施の形態１に係る投光装置のハードウエア構成例を示す図である。 実施の形態１に係る投光装置を用いたドライバセンシングシステムの動作例を示すフローチャートである。 この発明の実施の形態２に係る投光装置の保護板の構成例を示すブロック図である。 実施の形態２に係る投光装置の保護板に第２のＩＲ光照射部を形成した例を示す図である。 実施の形態２に係る投光装置を組み込んだメータディスプレイの一例を示す正面図である。 実施の形態２において角膜反射法を説明する図であり、運転者の眼球を上から見た図である。 実施の形態２において角膜反射法を説明する図であり、運転者の眼球を正面から見た図である。 実施の形態２に係る投光装置が、図７に示したステップＳＴ７で行う動作例を示すフローチャートである。

実施の形態１．
図１は、この発明の実施の形態１に係る投光装置１０を用いたドライバセンシングシステムの概要を示す図である。図２は、このドライバセンシングシステムの構成例を示すブロック図である。
ドライバセンシングシステムは、車室内１において運転席前方のダッシュボード３側から運転者２へ向けてＩＲ光を照射する投光装置１０と、運転者２に反射したＩＲ光を撮像するＩＲカメラ５と、ＩＲカメラ５が撮像した画像を処理して運転者２の顔の向きまたは瞬きなどを認識し、脇見または居眠りといった運転者２の状態を推定する画像処理装置６とを備えている。

実施の形態１に係る投光装置１０は、運転者２の前方のダッシュボード３に設置されたメータディスプレイ４の表示面を保護する保護板１１を、ＩＲ光源部１２のための導光板として用いる。メータディスプレイ４は、車速およびエンジン回転数等の計測値を指示する指針等をメータ画像として表示する液晶表示装置である。このメータディスプレイ４の保護板１１の縁にＩＲ光源部１２を設置し、ＩＲ光源部１２が発するＩＲ光を保護板１１で散乱させ、運転者２に向けて広範囲かつ均一に照射する。図１においては、ＩＲ光源部１２からのＩＲ光を実線の矢印で示す。

既存の保護板１１を導光板として利用するので、ＩＲ光源部１２および導光板を設置するスペースを確保する必要がない。また、保護板１１から均一な光を照射するので、運転者２の目に優しい。さらに、従来のようにメータディスプレイ４にＩＲ光源およびカラーフィルタを追加する必要がなく、保護板１１を工夫するだけでよいため、開発費が安価である。加えて、車室内１にドライバセンシングシステムを後付けする場合の加工が容易であり、安価である。

以下、実施の形態１に係る投光装置１０を用いたドライバセンシングシステムの具体例を説明する。
図２に示すように、投光装置１０は、保護板１１、ＩＲ光源部１２、および発光制御部１３を備えている。
保護板１１は、メータディスプレイ４の表示面を保護する樹脂またはガラスの板である。
発光制御部１３は、ＩＲ光源部１２の発光のオンとオフの切り替え、およびＩＲ光の強さの制御などを行う発光制御信号を、ＩＲ光源部１２へ出力する。
ＩＲ光源部１２は、発光制御部１３からの発光制御信号に基づき、ＩＲ光を発する。ＩＲ光源部１２は、保護板１１の上下左右のどの方向の縁に設置されてもよい。このＩＲ光源部１２は、例えばＩＲ光を発するＬＥＤ、ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）、またはハロゲンランプなど、ＩＲ光を発する光源であれば何でもよい。

ＩＲカメラ５は、運転者２の前方に設置され、運転者２の顔または上半身を撮像する撮像装置である。ＩＲカメラ５は、撮像した運転者２の画像を画像処理装置６へ送信する。なお、ＩＲカメラ５は、メータディスプレイ４の中央下部または上部に設置されてもよいし、センタコンソールまたはルームミラー付近に設置されてもよい。
このＩＲカメラ５は、レンズ５１、ＩＲ透過フィルタ５２、および撮像素子５３を備えている。

レンズ５１は、運転者２だけを撮像する画角５０〜９０度付近のものでもよいし、運転者２に加えて助手席または後部座席に座る乗員も撮像可能な広角レンズ（例えば、１００度以上）のものを用いてもよい。
ＩＲ透過フィルタ５２は、日光等の外乱を減らすために可視光波長をカットし、投光装置１０から照射されるＩＲ光の波長のみを通すバンドパスフィルタである。ＩＲ透過フィルタ５２はレンズ型を用いてもよいし、フィルム型を用いてもよい。また、レンズ５１、ＩＲ透過フィルタ５２、撮像素子５３の順に配置してもよいし、ＩＲ透過フィルタ５２、レンズ５１、撮像素子５３の順に配置してもよい。
撮像素子５３は、入射する光を電気信号に変換する素子であり、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等が一般的である。

画像処理装置６は、ＩＲカメラ５が撮像した運転者２の画像を受信して認識処理し、運転者２の顔の位置、顔の向き、視線の向き、目の開閉度、瞬きの頻度、口の開閉度、ジェスチャなどといった物理情報を検出する。画像処理装置６は、検出した物理情報から、脇見状態または居眠り状態などの運転者２の状態を推定する。
また、画像処理装置６は、ＩＲカメラ５が撮像した画像の明るさを検出し、明るさ情報として発光制御部１３に送信する。発光制御部１３は、画像処理装置６からの明るさ情報に基づいてＩＲ光の強さを調整するなどして、より適切な発光制御を行う。

次に、保護板１１の詳細な構成を説明する。
図３は、保護板１１の構成例を示すブロック図である。図４は、投光装置１０のうち、保護板１１とＩＲ光源部１２からなる構造部分の概要を示す断面図である。ＩＲ光源部１２は、保護板１１の縁からＩＲ光を入射するように、設置される。保護板１１は、ＩＲ光源部１２からのＩＲ光を散乱して照射するＩＲ光照射部１１ａと、メータディスプレイ４からの可視光を透過させる可視光透過部１１ｂとを有している。

ＩＲ光照射部１１ａは、保護板１１の一部の表面に加工を施した領域である。このＩＲ光照射部１１ａは、ＩＲ光源部１２が設置された保護板１１の縁から入射したＩＲ光を導光し、散乱して均一にし、運転者２へ照射する。また、ＩＲ光照射部１１ａにおいては、メータディスプレイ４からの可視光が透過する。
ＩＲ光照射部１１ａの加工とは、縁から入射したＩＲ光が散乱するように、表面の反射傾向を変える加工であり、例えば表面が粗面なドット１１ｃを印刷する方式、レーザ波で表面を傷つける方式、または型材にアクリル樹脂を流し込んで保護板１１を成形する際に表面に凹凸を形成する方式などがある。保護板１１においてドット１１ｃのパターン等を形成する面は、メータディスプレイ４側のみでもよいし、運転者２側のみでもよいし、両方でもよい。

可視光透過部１１ｂは、保護板１１の表面にドット１１ｃのパターン等が形成されていない領域である。この可視光透過部１１ｂは、ＩＲ光源部１２からのＩＲ光を導光するが、散乱はしないので、可視光透過部１１ｂから運転者２へＩＲ光は照射されない。メータディスプレイ４からの可視光は、可視光透過部１１ｂを透過して運転者２へ照射される。

図５は、投光装置１０を組み込んだメータディスプレイ４の一例を示す正面図であり、運転者２から見た表示面である。メータディスプレイ４と運転者２との間には、保護板１１が設置され、この保護板１１の下側の縁にＩＲ光源部１２が設置される。ＩＲ光源部１２として、例えば複数個のＩＲ−ＬＥＤが、保護板１１の下側の縁に沿ってアレイ状に並べて配置されている。図５ではＩＲ光源部１２が見えているが、実際にはダッシュボード３の内部に設置され、運転者２からＩＲ光源部１２は見えない。なお、上述したように、ＩＲ光源部１２は保護板１１の縁であれば、下側に限らず、上側、左側または右側に設置されていてもよい。

メータディスプレイ４は、例えば車速を示すメータ画像、エンジン回転数を示すメータ画像、またはシフトポジションを示す画像などの表示物４１〜４５を表示する。
ＩＲ光照射部１１ａは、ＩＲ光を散乱するための加工により半透明となることから、メータディスプレイ４の表示物４１〜４５がない領域に配置することが望ましい。図４の例では、メータディスプレイ４のうちの表示物４１〜４５がない上半分を、広くＩＲ光照射部１１ａとして使用している。これにより、ＩＲ光を広範囲に照射することができる。また、図４の例では、ＩＲ光照射部１１ａが連続した１つの領域になっているが、複数の領域に分かれていてもよい。

一方、可視光透過部１１ｂは、ＩＲ光を照射せず、メータディスプレイ４の表示物の可視光をそのまま透過する領域である。そのため、メータディスプレイ４の表示物４１〜４５がある領域に配置することが望ましい。一般的に、メータディスプレイ４においては表示物４１〜４５がない領域に比べて表示物４１〜４５がある領域の方が広いため、ＩＲ光照射部１１ａの面積に比べて可視光透過部１１ｂの面積の方が大きくなる。

このように、保護板１１に、ＩＲ光照射部１１ａと可視光透過部１１ｂの２種類の領域を設けることで、メータディスプレイ４の表示を損なうことなく、ＩＲ光を運転者２へ、広範囲かつ均一に照射することができる。

次に、図６を用いて、投光装置１０のハードウエア構成例を説明する。
投光装置１０における発光制御部１３の機能は、処理回路１００により実現される。即ち、発光制御部１３は、ＩＲ光源部１２の発光を制御するための処理回路１００を備える。処理回路１００は、図６（ａ）に示すように専用のハードウエアであってもよいし、図６（ｂ）に示すようにメモリ１０２に格納されているプログラムを実行するプロセッサ１０１であってもよい。
ＩＲ光源部１２は、１個以上のＩＲ−ＬＥＤ１２ａと、このＩＲ−ＬＥＤ１２ａを駆動するための駆動回路１２ｂとを備えている。駆動回路１２ｂは、処理回路１００またはプロセッサ１０１から送信される発光制御信号に基づき、ＩＲ−ＬＥＤ１２ａに印加する電圧およびＩＲ−ＬＥＤ１２ａを発光するタイミングを制御する。

図６（ａ）に示すように、処理回路１００が専用のハードウエアである場合、処理回路１００は、例えば単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。発光制御部１３の機能を複数の処理回路１００で実現してもよいし、まとめて１つの処理回路１００で実現してもよい。

図６（ｂ）に示すように、処理回路１００がプロセッサ１０１である場合、発光制御部１３の機能は、ソフトウエア、ファームウエア、またはソフトウエアとファームウエアとの組み合わせにより実現される。ソフトウエアまたはファームウエアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することにより、発光制御部１３の機能を実現する。即ち、発光制御部１３は、プロセッサ１０１により実行されるときに、ＩＲ光源部１２の発光を制御する処理が結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、発光制御部１３の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１０１とは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのことである。
メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。

なお、発光制御部１３の機能について、一部を専用のハードウエアで実現し、一部をソフトウエアまたはファームウエアで実現するようにしてもよい。このように、発光制御部１３は、ハードウエア、ソフトウエア、ファームウエア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、図７を用いて、ドライバセンシングシステムの動作例を説明する。
ドライバセンシングシステムが起動すると、投光装置１０、ＩＲカメラ５および画像処理装置６が起動し、投光装置１０の発光制御部１３からＩＲ光源部１２へ発光制御信号を出力する（ステップＳＴ１）。
なお、ドライバセンシングシステムの起動のタイミングは、車両のイグニッションキーがオンになったタイミングでもよいし、変速機のギアがＤ（ドライブ）レンジに変更されたタイミングでもよい。
このときの発光制御信号は、ＩＲ光源部１２の発光をオフからオンへ切り替える指示、およびＩＲ光の強さに対応する電圧値またはパラメータ等を含む。発光制御部１３は、起動した直後は、ＩＲ光の強さとして初期設定値を用いればよい。

ＩＲ光源部１２は、発光制御部１３からの発光制御信号を受信し、この発光制御信号に基づきＩＲ光を発する（ステップＳＴ２）。ＩＲ光源部１２が発したＩＲ光は、保護板１１の縁から入射され、ＩＲ光照射部１１ａで散乱されて運転者２へ照射される。

ＩＲカメラ５は、ＩＲ光が照射された運転者２を撮像し、画像を画像処理装置６へ送信する（ステップＳＴ３）。

画像処理装置６は、ＩＲカメラ５からの撮像画像を受信し、この撮像画像から運転者２の顔の位置、顔の向き、視線の向き、目の開閉度、瞬きの頻度、口の開閉度、ジェスチャなどといった物理情報を検出する（ステップＳＴ４）。

また、画像処理装置６は、検出した物理情報から、脇見状態または居眠り状態などの運転者２の状態を推定する（ステップＳＴ５）。なお、画像処理装置６は、運転者２の状態を、撮像画像から検出した物理情報のみを用いて推定してもよいし、この物理情報とＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの車載ネットワークを通じて得られる車両情報とを用いて推定してもよい。車両情報とは、例えば、車速、ブレーキの操作量、ギアのポジション、またはハンドルの舵角などである。また、画像処理装置６は、運転者２のシートベルト着用状態などを推定してもよい。
さらに、画像処理装置６は、運転者２だけでなく、助手席または後部座席に座る乗員について、上記のような物理情報を検出して状態を推定してもよい。また、画像処理装置６は、撮像画像から助手席または後部座席に座る乗員が大人か子供かを推定して、例えば起動するエアバックを大人用と子供用とで切り替える際にその推定結果を使用するといったことも可能である。

また、画像処理装置６は、ＩＲカメラ５からの撮像画像の明るさを検出し、明るさ情報を生成して、投光装置１０の発光制御部１３へ送信する（ステップＳＴ６）。明るさ情報は、例えば撮像画像の輝度値である。

発光制御部１３は、画像処理装置６からの明るさ情報を受信し、この明るさ情報に応じてＩＲ光源部１２から発するＩＲ光の強さの調整量を算出し、調整量に応じて発光制御信号に含まれる電圧値またはパラメータ等を変更する（ステップＳＴ７）。発光制御部１３は、例えば、予め定められた基準輝度値よりも画像処理装置６から明るさ情報として通知された輝度値が低い場合、運転者２へ照射するＩＲ光を強くするために、ＩＲ光の強さに対応する電圧値またはパラメータ等を大きくした発光制御信号を生成する。反対に、予め定められた基準輝度値よりも画像処理装置６から明るさ情報として通知された輝度値が高い場合、発光制御部１３は、運転者２へ照射するＩＲ光を弱くするために、電圧値またはパラメータ等を小さくした発光制御信号を生成する。

発光制御部１３は、ステップＳＴ７にて発光制御信号を生成すると、ステップＳＴ１へ戻り、発光制御信号をＩＲ光源部１２へ出力する。
ドライバセンシングシステムは、以上のステップＳＴ１〜ＳＴ７の処理を繰り返し行い、車両のイグニッションキーがオフになると、または変速機のギアがＰ（パーキング）レンジ等に変更されると、起動を停止する。

以上より、実施の形態１によれば、投光装置１０は、車室内１に設置されたメータディスプレイ４の表示面を保護する保護板１１と、保護板１１にＩＲ光を入射するＩＲ光源部１２と、ＩＲ光源部１２の発光を制御し、ＩＲ光源部１２からのＩＲ光を保護板１１で導光させ車室内１へ照射する発光制御部１３とを備える構成にしたので、車室内１を広範囲かつ均一に照らす投光装置１０を、低コストで実現することができる。また、メータディスプレイ４の保護板１１をＩＲ光の導光板として利用するので、新たに導光板を設置するスペースも必要ない。

実施の形態２．
図８は、この発明の実施の形態２に係る投光装置１０の保護板１１の構成例を示すブロック図である。保護板１１は、ＩＲ光照射部１１ａと可視光透過部１１ｂとを有しており、ＩＲ光照射部１１ａは、さらに第１のＩＲ光照射部１１ａ−１と第２のＩＲ光照射部１１ａ−２とに分かれる。
なお、実施の形態２に係る投光装置１０およびドライバセンシングシステムの構成は、保護板１１以外、上記実施の形態１と同じ構成であるため、説明を省略し、図１および図２を援用する。

第１のＩＲ光照射部１１ａ−１は、ＩＲ光を広範囲に照射するように、表面が粗面なドット１１ｃ等を形成した領域である。ここでは、第１のＩＲ光照射部１１ａ−１を無指向性とする。

対して、第２のＩＲ光照射部１１ａ−２は、保護板１１の縁から入射したＩＲ光を特定の方向にのみ照射する領域である。第２のＩＲ光照射部１１ａ−２の指向性は、どの程度の強さでもよいが、少なくとも第１のＩＲ光照射部１１ａ−１より強いものとする。
例えば、図９（ａ）に示すように、保護板１１の表面の形状加工により指向性を強めてもよい。図９（ａ）では、表面が鏡面のドット１１ｄを保護板１１の表面に印刷し、ＩＲ光の反射方向を調整することで指向性を実現している。
あるいは、図９（ｂ）に示すように、保護板１１とＩＲ光源部１２との間にプリズム１１ｅを設置して、プリズム１１ｅからの出射方向を調整することで指向性を実現してもよい。図９（ｂ）の構成例では、プリズム１１ｅが第２のＩＲ光照射部１１ａ−２になる。

図１０は、実施の形態２に係る投光装置１０を組み込んだメータディスプレイ４の一例を示す正面図であり、運転者２から見た表示面である。保護板１１には、第１のＩＲ光照射部１１ａ−１と、第２のＩＲ光照射部１１ａ−２と、可視光透過部１１ｂが存在する。図１０の例では、第１のＩＲ光照射部１１ａ−１が連続した１つの領域になっているが、複数の領域に分かれていてもよい。また、図１０の例では、第２のＩＲ光照射部１１ａ−２が左右に２つの領域に分かれて、第２のＩＲ光照射部１１ａ−２Ｌと第２のＩＲ光照射部１１ａ−２Ｒになっているが、連続した１つの領域になっていてもよい。例えば、第２のＩＲ光照射部１１ａ−２Ｌから照射された指向性の強いＩＲ光は、運転者２を左側から照らし、第２のＩＲ光照射部１１ａ−２Ｒから照射された指向性の強いＩＲ光は、運転者２を右側から照らす。

第１のＩＲ光照射部１１ａ−１は、運転者２を広範囲に照らすＩＲ光を照射する。照射範囲が広いため、運転者２の顔の位置が大きく移動しても、移動した運転者２にＩＲ光を照射することができる。従って、運転者２の顔の位置が大きく移動しても、画像処理装置６において運転者２の顔等の検出が可能である。

第２のＩＲ光照射部１１ａ−２は、指向性のあるＩＲ光を照射する。これにより、運転者２の視線を検出する際の画像処理装置６による画像認識の精度を向上させることができる。視線検出には、例えば、角膜反射像を用いた角膜反射法と呼ばれる手法が一般的である。

ここで、図１１と図１２を用いて角膜反射法を説明する。図１１は、運転者２の眼球を上から見た図であり、図１２（ａ）と図１２（ｂ）は、運転者２の眼球を正面から見た図である。角膜反射像とは、ＩＲ光を照らしてできる角膜上の反射像である。角膜反射法は、位置が変化しない角膜反射像を基準点とし、角膜反射像の位置に対する瞳孔の位置に基づいて、視線の向きを推定する手法である。
角膜反射法を用いる場合、角膜反射像の輪郭を明確にすると、角膜反射像の検出率および検出精度が上がるため、無指向性のＩＲ光よりも指向性を持つＩＲ光を用いるのが望ましい。

また、発光制御部１３が、ＩＲ光源部１２の複数個のＩＲ−ＬＥＤを個別に発光させることで、任意の発光パターンでＩＲ光を照射させることが可能となる。例えば、図１０では、保護板１１の下側の縁に沿ってアレイ状に並べて配置されている複数個のＩＲ−ＬＥＤを、３つのＬＥＤグループ１２−１，１２−２，１２−３に分け、発光制御部１３がグループごとに発光を制御する。

図１０の構成例では、ＬＥＤグループ１２−１が、第１のＩＲ光照射部１１ａ−１へＩＲ光を入射する「第１の光源部」であり、ＬＥＤグループ１２−２，１２−３が、第２のＩＲ光照射部１１ａ−２へＩＲ光を入射する「第２の光源部」である。

発光制御部１３がＬＥＤグループ１２−１のＩＲ−ＬＥＤを発光させ、残りのＬＥＤグループ１２−２，１２−３のＩＲ−ＬＥＤを消すと、第１のＩＲ光照射部１１ａ−１のみが無指向性のＩＲ光を照射する。
発光制御部１３がＬＥＤグループ１２−２のＩＲ−ＬＥＤを発光させ、残りのＬＥＤグループ１２−１，１２−３のＩＲ−ＬＥＤを消すと、第２のＩＲ光照射部１１ａ−２Ｌのみが指向性を持つＩＲ光を照射する。
発光制御部１３がＬＥＤグループ１２−３のＩＲ−ＬＥＤを発光させ、残りのＬＥＤグループ１２−１，１２−２のＩＲ−ＬＥＤを消すと、第２のＩＲ光照射部１１ａ−２Ｒのみが指向性を持つＩＲ光を照射する。

角膜反射法を用いる場合、指向性を持つＩＲ光を照射する第２のＩＲ光照射部１１ａ−２を複数設けることで、複数の基準位置と瞳孔の位置、つまり複数の角膜反射像の位置と瞳孔の位置を比較することができる。そのため、視線検出の精度を向上可能である。

また、日光などのＩＲ光を含む外乱光が車室内１に入ると、ＩＲ光源部１２のＩＲ光によりできた角膜反射像と、外乱光との違いを画像処理により判別することが困難であり、視線の誤検出が発生する。
そこで、画像処理装置６においてＩＲ光源部１２のＩＲ光によりできた角膜反射像と外乱光との違いを判別できなかった場合などに、発光制御部１３がＩＲ光を照射する第２のＩＲ光照射部１１ａ−２Ｌ，１１ａ−２Ｒを切り替えることにより、角膜反射像の位置を変更することができる。これにより、ＩＲ光源部１２のＩＲ光によりできた角膜反射像と外乱光とを判別可能となり、日光などの外乱に強い視線検出が可能である。
あるいは、発光制御部１３が第２のＩＲ光照射部１１ａ−２の発光のオンとオフを切り替えることにより、角膜反射像を出現させたり消失させたりすることができる。これによっても、ＩＲ光源部１２のＩＲ光によりできた角膜反射像と外乱光とを判別可能となる。

次に、図１３を用いて、実施の形態２に係る投光装置１０の動作例を説明する。図１３に示すフローチャートは、実施の形態２に係る投光装置１０が、上記実施の形態１において図７に示したステップＳＴ７で行う動作の詳細を示すものである。なお、実施の形態２の投光装置１０は、ステップＳＴ１〜ＳＴ６では上記実施の形態１と同様の動作を行うので図示および説明を省略する。

発光制御部１３は、図７で示したステップＳＴ１にて起動すると、まず、ＬＥＤグループ１２−１のＩＲ−ＬＥＤを発光させる発光制御信号、またはＬＥＤグループ１２−１，１２−２，１２−３のＩＲ−ＬＥＤすべてを発光させる発光制御信号を、ＩＲ光源部１２へ出力する。
その後、発光制御部１３は、図７で示したステップＳＴ７と同様に、画像処理装置６からの明るさ情報を受信し、この明るさ情報に応じてＩＲ光源部１２から発するＩＲ光の強さの調整量を算出し、調整量に応じて発光制御信号に含まれる電圧値またはパラメータ等を変更する（ステップＳＴ７−１）。

実施の形態２では、画像処理装置６が明るさ情報だけでなく、認識結果情報も送信することとする。画像処理装置６は、ＩＲカメラ５が撮像した画像から運転者２の顔を検出できたか否かを示す認識結果情報を生成して、投光装置１０の発光制御部１３へ送信する。

発光制御部１３は、画像処理装置６からの認識結果情報を受信して、画像処理装置６において運転者２の顔が検出されたか否かを判定する（ステップＳＴ７−２）。
画像処理装置６において運転者２の顔が検出されなかった場合（ステップＳＴ７−２“ＮＯ”）、発光制御部１３は、ＬＥＤグループ１２−１のＩＲ−ＬＥＤを発光させる発光制御信号を生成する（ステップＳＴ７−３）。これにより、第１のＩＲ光照射部１１ａ−１から、無指向性のＩＲ光が広範囲に照射される。従って、画像処理装置６において、運転者２の顔の位置を検出して、状態推定が可能となる。また、検出した顔の位置から、角膜反射像ができる位置を予測することができる。
なお、ステップＳＴ７−３において、発光制御部１３は、ＬＥＤグループ１２−１，１２−２，１２−３のＩＲ−ＬＥＤすべてを発光させて、角膜反射法による視線検出を可能にしてもよい。

発光制御部１３は、画像処理装置６において運転者２の顔が検出された場合（ステップＳＴ７−２“ＹＥＳ”）、ＬＥＤグループ１２−２またはＬＥＤグループ１２−３の少なくとも一方を発光させる発光制御信号を生成する（ステップＳＴ７−４）。これにより、第２のＩＲ光照射部１１ａ−２Ｌまたは第２のＩＲ光照射部１１ａ−２Ｒの少なくとも一方から、指向性を持つＩＲ光が照射される。従って、画像処理装置６において、輪郭が明確な角膜反射像から視線の向きを検出することができる。

発光制御部１３は、ステップＳＴ７−３またはステップＳＴ７−４の後、図７のステップＳＴ１へ戻り、ステップＳＴ１〜ＳＴ７の処理を繰り返し行う。これにより、発光制御部１３は、予め定められた発光パターンに従って、まずＬＥＤグループ１２−１を発光させて第１のＩＲ光照射部１１ａ−１から無指向性のＩＲ光を照射させた後、ＬＥＤグループ１２−２，１２−３を発光させて第２のＩＲ光照射部１１ａ−２から指向性を持つＩＲ光を照射させることができる。

なお、ステップＳＴ７−４において、発光制御部１３は、画像処理装置６からの認識結果情報に基づいて、第２のＩＲ光照射部１１ａ−２Ｌまたは第２のＩＲ光照射部１１ａ−２ＲのどちらからＩＲ光を照射するか、判定してもよい。
例えば、画像処理装置６が認識結果情報として、運転者２の顔を検出できたか否かだけでなく、ＩＲ光源部１２のＩＲ光によりできた角膜反射像と外乱光との違いを判別できたか否かも示す情報を生成して、投光装置１０の発光制御部１３へ送信する。
投光装置１０の発光制御部１３が、今回のステップＳＴ７−４において第２のＩＲ光照射部１１ａ−２Ｌから指向性を持つＩＲ光を照射させるようにしたと仮定する。そして、画像処理装置６が、第２のＩＲ光照射部１１ａ−２Ｌから照射されたＩＲ光による角膜反射像と外乱光との違いを判別できなかった場合、次回のステップＳＴ７−４において、発光制御部１３は第２のＩＲ光照射部１１ａ−２Ｌからの照射をやめ、第２のＩＲ光照射部１１ａ−２Ｒから照射させるようにする。運転者２の目に映る外乱光の位置は変化しないが、第２のＩＲ光照射部１１ａ−２Ｌから第２のＩＲ光照射部１１ａ−２Ｒへ切り替えたことによりＩＲ光による角膜反射像の位置は変化するため、画像処理装置６は正しい角膜反射像の位置を判別することができる。

また、画像処理装置６が第２のＩＲ光照射部１１ａ−２からのＩＲ光による角膜反射像と外乱光との違いを判別できなかった場合、発光制御部１３は、例えばＩＲ光源部１２の発光を消して外乱光だけにし、画像処理装置６に外乱光の位置を判別させたのち、第２のＩＲ光照射部１１ａ−２からＩＲ光を照射させて視線検出を可能にしてもよい。

以上より、実施の形態２によれば、ＩＲ光照射部１１ａは、第１のＩＲ光照射部１１ａ−１と、この第１のＩＲ光照射部１１ａ−１より指向性が強い第２のＩＲ光照射部１１ａ−２とを有する構成にしたので、第１のＩＲ光照射部１１ａ−１から広範囲にＩＲ光を照射することができ、運転者２の顔の位置が大きく変化しても、運転者２の状態推定が可能である。また、第２のＩＲ光照射部１１ａ−２から指向性を持つＩＲ光を照射することができ、角膜反射像の輪郭が明確になり、視線検出の精度が向上する。

また、実施の形態２によれば、ＩＲ光源部１２は、第１のＩＲ光照射部１１ａ−１へＩＲ光を入射するＬＥＤグループ１２−１と、第２のＩＲ光照射部１１ａ−２へＩＲ光を入射するＬＥＤグループ１２−２，１２−３とを有し、発光制御部１３は、予め定められた発光パターンに従って、ＬＥＤグループ１２−１を発光させて第１のＩＲ光照射部１１ａ−１からＩＲ光を照射させた後、ＬＥＤグループ１２−２，１２−３を発光させて第２のＩＲ光照射部１１ａ−２からＩＲ光を照射させる構成にしたので、運転者２の顔の位置が大きく変化して角膜反射像の位置を検出できなくなった場合に、まず広範囲にＩＲ光を照射することにより、移動後の顔の位置を検出可能にし、角膜反射像ができる位置を予測可能にすることができる。

また、実施の形態２によれば、保護板１１は、第２のＩＲ光照射部１１ａ−２を複数有し、ＩＲ光源部１２は、複数の第２のＩＲ光照射部１１ａ−２へＩＲ光を入射する複数のＬＥＤグループを有し、発光制御部１３は、予め定められた発光パターンに従って、複数のＬＥＤグループ１２−２，１２−３の発光を切り替えることにより、ＩＲ光を照射する第２のＩＲ光照射部１１ａ−２Ｌ，１１ａ−２Ｒを切り替える構成にしたので、角膜反射像と外乱光の判別が容易となり、画像処理装置６において直射日光などの外乱に強い視線検出を行うことができる。

なお、実施の形態１，２のドライバセンシングシステムを、車両の運転者２の撮影に用いたが、鉄道、船舶または航空機等を含む移動体の運転者の撮像に用いてもよい。
また、実施の形態１，２では、表示装置としてダッシュボード３に設置されたメータディスプレイ４を例示したが、センタコンソールに設置されたディスプレイなど、保護板に保護されている表示装置であれば何でもよい。
また、実施の形態１，２では、運転者２の撮像用の照明として、８００ｎｍ〜９５０ｎｍのＩＲ光を発するＩＲ光源部１２を用いたが、ＩＲ光を含む赤外光を発する光源部を用いてもよい。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

１ 車室内、２ 運転者、３ ダッシュボード、４ メータディスプレイ（表示装置）、５ ＩＲカメラ、６ 画像処理装置、１０ 投光装置、１１ 保護板、１１ａ ＩＲ光照射部（赤外光照射部）、１１ａ−１ 第１のＩＲ光照射部（第１の赤外光照射部）、１１ａ−２，１１ａ−２Ｌ，１１ａ−２Ｒ 第２のＩＲ光照射部（第２の赤外光照射部）、１１ｂ 可視光透過部、１１ｃ，１１ｄ ドット、１１ｅ プリズム、１２ ＩＲ光源部（光源部）、１２ａ ＩＲ−ＬＥＤ、１２ｂ 駆動回路、１２−１ ＬＥＤグループ（第１の光源部）、１２−２，１２−３ ＬＥＤグループ（第２の光源部）、１３ 発光制御部、４１〜４５ 表示物、５１ レンズ、５２ ＩＲ透過フィルタ、５３ 撮像素子、１００ 処理回路、１０１ プロセッサ、１０２ メモリ。

Claims (10)

1. 車室内に設置された表示装置の表示面を保護する保護板と、
   前記保護板に赤外光を入射する光源部と、
   前記光源部の発光を制御し、前記光源部からの赤外光を前記保護板で導光させ運転者へ照射させる発光制御部とを備える投光装置。
2. 前記保護板は、前記光源部からの赤外光を散乱して照射する赤外光照射部と、前記表示装置からの可視光を透過させる可視光透過部とを有することを特徴とする請求項１記載の投光装置。
3. 前記赤外光照射部の面積に比べ、前記可視光透過部の面積が大きいことを特徴とする請求項２記載の投光装置。
4. 前記赤外光照射部は、第１の赤外光照射部と、前記第１の赤外光照射部より指向性が強い第２の赤外光照射部とを有することを特徴とする請求項２または請求項３記載の投光装置。
5. 前記光源部は、前記第１の赤外光照射部へ赤外光を入射する第１の光源部と、前記第２の赤外光照射部へ赤外光を入射する第２の光源部とを有し、
   前記発光制御部は、予め定められた発光パターンに従って前記第１の光源部および前記第２の光源部の発光を制御することを特徴とする請求項４記載の投光装置。
6. 前記発光制御部は、予め定められた発光パターンに従って、前記第１の光源部を発光させて前記第１の赤外光照射部から赤外光を照射させた後、前記第２の光源部を発光させて前記第２の赤外光照射部から赤外光を照射させることを特徴とする請求項５記載の投光装置。
7. 前記保護板は、前記第２の赤外光照射部を複数有し、
   前記光源部は、複数の前記第２の赤外光照射部へ赤外光を入射する複数の前記第２の光源部を有し、
   前記発光制御部は、予め定められた発光パターンに従って、複数の前記第２の光源部の発光を切り替えることにより、赤外光を照射する前記第２の赤外光照射部を切り替えることを特徴とする請求項５記載の投光装置。
8. 前記第２の赤外光照射部は、前記保護板の表面の形状加工により指向性が強められていることを特徴とする請求項４から請求項７のうちのいずれか１項記載の投光装置。
9. 前記第２の赤外光照射部は、前記保護板に設置されたプリズムであることを特徴とする請求項４から請求項７のうちのいずれか１項記載の投光装置。
10. 前記表示装置は、運転席の前方に設置されたメータディスプレイであることを特徴とする請求項１から請求項９のうちのいずれか１項記載の投光装置。

Images