JPH0617772B2 - 車両運転者位置認識装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は車両運転者の乗車位置を画像として捉え、該車
両運転者の車室内における位置を認識する車両運転者の
乗車位置認識装置に関し、特に運転者の乗車位置を画像
として捉えるに当って、外光に影響されにくい車両運転
者位置認識装置に関するものである。

［従来の技術］ 近年電子機器の急送な発達に伴い車両の操作性、居住
性、事故回避性等の向上を目的とした新しい装置の研究
が進められており、その１つとして車両運転者の乗車位
置、例えば運転者の目の位置や頭の位置を認識し、バッ
クミラー、ヘッドレスト、空調空気の吹出口、あるいは
ステアリング等の位置や角度を自動調整するとか、運転
者の目の位置や頭の位置の周期的変化から居眠り運転を
検知して運転者に警報を与えるといったことが考えられ
ている。そしてこのような制御を実行するのに必要な、
車両運転者の乗車位置を認識するための乗車位置識装置
としては、車両運転者の乗車状態を撮像し、画像として
検出するカメラ等からなる画像検出部と、その検出され
た画像をいわゆる画像処理によって分析し、画像上の運
転者の目の位置や頭の位置等、予め定められた所定の位
置を検出して、その部分の車室内における３次元位置を
算出する、マイクロコンピュータ等からなる画像処理部
とにより構成し、運転者の乗車位置を認識することが考
えられている。

また上記画像検出部にて検出される車両運転者の乗車状
態を表わす画像としては、運転者が鮮明に撮像された画
像が望ましいのであるが、車両運転者を単にカメラ等を
用いて撮像した場合には、夜間では暗くて撮像できず、
また昼間でも車内より車外の方が明るく、良好な画像が
検出し難いといったことがあるので、車両運転者を撮像
する際運転者を同時に照射する発光部を設けることによ
りその光の照射による運転者からの反射光で以て画像を
検出するよう構成することが考えられている。

［発明が解決しようとする問題点］ ところが運転者を照射するにあたり、連続発光方式のよ
うにいつも発光部より光を照射している訳にはいかな
い。というのは車両の持つ光を照射する為の電力には限
りがあり、限りある電力を無駄には使いたくない。又連
続発光方式では上記消費電力の問題から、車室外の明る
さ、例えば直射日光や建物からの反射光に打ち勝つだけ
の輝度の発光を持つことが出来ない。その為に車両運転
者を認識する妨害となる車室外風景からの光に影響され
て、正確に車両運転者の位置を認識することが出来な
い。又画像検出手段の絞りを自動調節出来る可変のもの
を用いなければならなかった。

［問題点を解決するための手段］ 本発明は、各種車両装置の自動調整の精度向上を実現す
る為には外光に影響されることなく運転者の位置を正確
に認識する必要があるという点に鑑みなされたもので、
車両運転者を瞬間的に車室の外の明るさ、例えば直射日
光や建物からの反射光に打ち勝つだけの大きな輝度の発
光を以て照射することにより、前記問題点を解決し、よ
り正確な認識結果を得られる車両運転者位置認識装置を
提供するものである。

前記問題点を解決する手段としての本発明の車両運転者
位置認識装置の構成は第１図の基本的構成図に示す如
く、 車両運転者Ｉを瞬間的に照射する瞬間発光手段IIと、 該瞬間発光手段IIの照射による上記運転者からの反射光
を受け、上記運転者を画像データとして検出する画像検
出手段IIIと、 上記画像検出手段IIIの検出タイミングを指示するため
の制御信号と同期して上記瞬間発光手段IIを発光させる
画像検出制御手段IVと、 上記検出された画像データから当該車両における上記運
転者の位置を認識する認識手段Ｖと、 を備えていたことを特徴としている。

［作用］ 瞬間発光手段は、大きな輝度の発光を持ち、ごく瞬間的
に車両運転者を照射するためのものであり、車室外の明
るさ、例えば直射日光が建物からの反射光に打ち勝つだ
けの輝度の発光を持つことにより、車両運転者を認識す
るときの妨害となる車室外の風景からの光の影響を低減
させることが出来、車両運転者の位置を正確に認識する
よう作用している。又、その発明部には運転者が眩しさ
を感じない範囲で可視光を使っても良いが、赤外光を使
ったものの方が運転者に影響を与えないで済むので良好
である。以上のことから瞬間発光手段として赤外ストロ
ボ、赤外レーザ等が特に好ましい。

画像検出手段は瞬間発光手段の照射による上記運転者か
らの反射光を受け、上記運転者を画像データとして検出
するものであり、 画像検出制御手段は画像検出手段の検出タイミングを指
示するための制御信号と同期して瞬間発光手段を発光さ
せる働きをしており、 上記制御信号が垂直同期信号である場合、画像検出手段
の垂直帰線時期と一致するよう発光させることができ、
残像の影響等による画質の劣化を防ぎ良好な画像データ
が得られる。

認識手段は、画像検出手段より検出された画像データを
いわみる画像処理によって分析し、画像上の運転者の目
の位置や頭の位置等、予め定められた所定の位置を検出
して、その部分の車室内における画像データ上の位置を
算出する働きをしている。

［実施例］ 以下本発明の一実施例を図面と共に説明する。

第２図は本実施例の位置認識装置が搭載された車両のイ
ンストルメントパネル部分及びその周辺を表わす斜視図
であって、１は運転者、２は運転席、３はインストルメ
ントパネルを表わしている。そしてインストルメントパ
ネル３の運転席２に対する左斜め前方、即ち、助手席側
前方には、運転者１の上体を左方向から瞬間的に照射す
る瞬間発光部５と、瞬間発光部５の照射による運転者１
からの反射光を受け、運転者１の上体を左方向から２次
元画像として促える画像検出部６が設けられている。

ここで発光部５は前述の瞬間発光手段IIに相当し、瞬間
的に運転者１を照射するよう、又、照射時に運転者１に
眩しさを感じさせることのないよう赤外光を発光する赤
外ストロボが用いられ、第３図に示す如く、赤外発光体
５ａと、赤外発光体５ａにて発光された赤外光を広く運
転者に照射する為のレンズ５ｂと、赤外光を透過し、可
視光を通さない赤外フィルタ５ｃと、これら赤外発光体
５ａ、レンズ５ｂ及び赤外フィルタ５ｃを格納し、イン
ストルメントパネル３の所定の位置に取り付けるための
ケース５ｄとから構成されている。

また画像検出部６は前述の瞬間発光手段IIIに相当し、
瞬間発光部５の照射による運転者１からの反射光を運転
者１の上体画像として促えるためのものであって、この
画像検出部６には第４図に示す如く、運転者１からの反
射光、即ち赤外光を透過するための赤外フィルタ６ａ
と、運転者１の上体画像を後述の固体撮像素子６ｅの撮
像面に結像するための進点距離が例えば１２．５mmのレ
ンズ６ｂと、遮光率が一定量の固定絞り素子６ｃと、上
記赤外フィルタ６ａ、レンズ６ｂ及び固定絞り素子６ｃ
を透過して結像された撮像面上の映像をスイッチング走
査で電気信号として取り出す、フォトセンサとスイッチ
ング回路とからなるＭＯＳ形の固体撮像素子６ｅと、上
記各部を格納し、インストルメントパネル３に取り付け
るためのケース６ｆとから構成される固体カメラが用い
られている。

次に本実施例の位置認識装置の全体構成を第５図に示す
ブロック図に基づき説明する。

図に示す如く、本認識装置は上記瞬間発光部５及び画像
検出部６の他に、上記画像検出部６の検出タイミングを
指示するための垂直同期信号と同期して瞬間発光手段を
発光させる画像検出制御手段IVとしての画像検出制御部
７と、画像検出部６にて得られた画像信号を処理し、運
転者１の目の位置を認識する認識手段Ｖとしての画像認
識部８を備えている。

そして、この画像検出制御部７は、上上記画像検出部６
に垂直同期信号及び水平同期信号を発生する同期信号発
生回路７ａと、上記瞬間発光部５を発光させるための照
射信号を出力する照射信号出力回路７ｂとから構成され
ている。

又、この画像認識部８は、画像検出部６にて得られた画
像信号をデジタル信号に変換し、その変換されたデジタ
ル信号を画像データとして一旦記憶することのできる画
像入力部１０と、画像入力部１０にてＡ／Ｄ変換され記
憶された画像データから運転者１の顔面部における所定
の特異点位置（本実施例では鼻の位置）を検出し、この
特異点位置から運転者１の目の位置を認識するといった
一連の目の位置認識処理を実行するセントラルプロセッ
シングユニット（ＣＰＵ）１４と、ＣＰＵ１４にて目の
位置認識処理を実行するための制御プログラムやデータ
が予め記憶されたリードオンリメモリ（ＲＯＭ）１６
と、演算処理実行のために用いられるデータ等が一時的
に読み書きされるランダムアクセスメモリ（ＲＡＭ）１
８と、上記各部を結び画像信号や制御信号の通路とされ
るバスライン２０と、上記各部に電源を供給する電源回
路２２とから構成されている。また上記画像入力部１０
は、画像検出部６により得られた画像信号を、例えば１
フレーム当たりに横２５６、縦２４０の画素の明度を表
わすデジタル信号からなる画像データに変換するＡ／Ｄ
変換回路１０ａと、その変換された画像データを過去２
フレーム分だけ記憶することができる画像データ記憶回
路１０ｂとから構成されている。又、バスライン２０は
画像検出制御部７にも継がっており、ＣＰＵ１４，ＲＯ
Ｍ１６，ＲＡＭ１８から画像検出制御部７への制御信号
の通路とされており、又、電源回路２２は画像検出制御
部７へも電源を供給している。

次に上記画像検出制御部７及画像認識部８にて実行され
る目の位置認識処理の動作について、第６図に示すフロ
ーチャートに沿って詳しく説明する。尚、この処理は一
定周期の信号やスイッチからの信号等によって運転者１
の目の位置認識の要求が入力された場合に実行されるも
のであり、上述した如く本実施例においては運転者１の
乗車位置として目の位置が認識されることとなる。

処理が開始されるとまずステップ１０１にて瞬間発光部
５を発光させるべく画像検出制御部７の照射信号出力回
路７ｂから照射信号を出力させる発光処理を実行する。

この処理は画像検出制御部７の同期信号発生回路７ａか
ら出力される垂直同期信号と同期して瞬間発光部５を発
光させ、画像データ入力部にて良好な画像データが得ら
れるようにするためのものであって、第７図に示す如
く、瞬間発光部５の発光が垂直帰線時期ｔ_１と一致する
よう垂直同期信号の立ち上がり時期から所定の遅延時間
△Ｔ経過後照射信号を出力する。そして、このように瞬
間発光部５より運転者１に赤外光が照射されると、時間
ｔ_２の間画像データ入力部１０のＡ／Ｄ変換回路１０ａ
にて画像検出部６の画像信号がデジタル信号に変換さ
れ、そのデジタル信号が画像データとして、画像データ
記憶回路１０ｂに記憶されることとなる。

尚、この画像データ記憶回路１０ｂにおいては、上記瞬
間発光部５及び画像検出部６が運転席２に対して左斜め
前方に設けられていることから、第８図に示す如き運転
者１を左斜め前方より捉えた画像が、第９図に示す如
く、横２５６、縦２４０に分割する画素の明度を表わす
画像データＧ（０，０）…Ｇ（２５５，２３９）として
記憶される。

次にステップ１０２においては、上記画像データにおけ
る予め設定された所定のエリア、つまり第８図に示す３
０の領域を鼻の存在域として読み込み、この領域内の最
も左側に存在する一定レベル以上の明度を有する画素を
検索（以下、輝点検索という。）し、その位置を記憶す
る。この処理は次ステップ１０３にて鼻の位置を検出す
る際に、鼻を捜す範囲を限定するための処理であって、
求められた画素の位置が鼻を捜すための基点とされる。
尚、本輝点検索処理としては、第８図の鼻存在域３０に
おける左上端の画素を出発点として、上下方向に順次検
索してゆき、最初の一定レベル以上の明度を有する画素
の位置を記憶すればよい。

このように輝点検索が実行され、鼻存在域の最も左側に
存在する一定レベル以上の明度を有する画素の位置が求
められると、上述したように続くステップ１０３にて、
この位置を基点として鼻を捜し、鼻の位置を決定する処
理がなされるのであるが、この処理は、輝点検索によっ
て求められた画素の近傍で、予め設定されている第１０
図に示す如き鼻の標準パターンと画像データとの相関の
度合いを調べ、相関の最大値となる画像の位置を以て鼻
が存在する位置であるとみなし、鼻の位置を決定するも
のである。

つまり、上記ステップ１０２にて求められた画素の位置
Ｇ（ｘ，ｙ）を中心に、第１１図に示す如く上下、左右
に夫々５画素分、計１２１個の画素を、夫々第１０図に
示した鼻の標準パターンにおける中心位置ｍ（Ｏ，Ｏ）
として画像データと標準パターンとの相関値を計算し、
その値が最も大きくなった画素位置を鼻尖（いわゆる鼻
の頭）の位置Ｇ（hx，hy）として認識するのである。こ
こで、第１０図の鼻の標準パターンにおける中心位置ｍ
（Ｏ，Ｏ）は鼻尖に相当する部分として予め設定されて
おり、また相関値としては次式 より求めることができる。そして上記ｉ及ｊの値として
は、鼻の標準パターンが中心ｍ（Ｏ，Ｏ）に対して上に
１６、下に７、左に１、右に６の拡がりを持つデータと
して構成されていることから、ｉに（−１）から（＋
６）、ｊに（−１６）から（＋７）の間の整数値を用い
ればよい。

また相関値が、標準パターンにおける中心位置ｍ（Ｏ，
Ｏ）に対して、第１１図に示す如き画像データ上の画素
Ｇ（ｘ，ｙ）を中心とする上下左右に夫々５個、計１２
１個の画素を当てはめ、計算されることから、上式にお
けるＸ、Ｙの値としては、夫々、Ｘがｘ±５、Ｙがｙ±
５の間の整数値となり、結局Ｘ及びＹの組み合わせで最
大１２１種類の相関値が算出され、その最大値となる画
像データ上に画素Ｇ（Ｘ，Ｙ）が鼻の位置Ｇ（hx，hy）
として検出されるのである。

このようにして鼻の位置Ｇ（hx，hy）が求められると、
続くステップ１０４に移行して、今度はこの鼻の位置Ｇ
（hx，hy）に基づき目位置を求めることとなる。ここで
目の位置を求めるに当っては、まる鼻の位置Ｇ（hx，h
y）より右に１２画素、上に１３画素移行した画素の位
置Ｇ（hx+12,hy-13）を求め、この位置の近傍で予め設
定されている第１２図に示す如き目の標準パターンと画
像データとの相関の度合を調べ、目の位置Ｇ（mx，my）
を決定する。尚この決定方法としては、上記ステップ１
０３の鼻の位置決定と同様に行なえばよいので、説明は
省略する。

続くステップ１０５においては、上記ステップ１０４に
て求められた画素データＧ上の目の位置Ｇ（mx，my）を
基に、運転者１の左右方向の移動はないものとして車室
内における運転者１の目の３次元位置が求められること
となる。つまり第１３図に示す運転者１の左右（Ｚ）方
向への移動はないものと仮定し、実験的に求めた車両運
転者の左目の標準位置Ｐを基準とする運転者１の目（左
目）の３次元位置Ｍを座標（Ｘ，Ｙ，Ｏ）として求める
ことによって目の位置が認識されるのであるが、この処
理としては、上記画像検出部６が固定されていることか
ら、画像データ上の標準点Ｐの位置Ｇ（px，py）を予め
記憶しておき、この基準位置Ｇ（px，py）に対する目の
位置Ｇ（mx，my）のずれを算出することによって、容易
に実行することができる。

以上説明した如く、本実施例の目の位置認識装置におい
ては、運転者１の斜へ前方に設けられた赤外ストロボか
らなる瞬間発光部５により運転者１をごく短い時間照射
し、ただしその照射時期は画像検出制御部７により画像
検出部６に出力される垂直同期信号と同期して照射する
ようにしている。

そして運転者１の斜め前方に設けられた１個の画像検出
部６により上記運転者からの照射による反射光を受け、
得られる画像データを処理し、運転者１の特異点位置か
ら運転者１の目の３次元位置を認識するように構成され
ている。従って車室外の明るさに打ち勝つだけの大きな
輝度の発光を車両運転者に照射することが出来、又、画
像検出部６の検出タイミングを指示するための垂直同期
信号と同期して瞬間発光部５を発光させることにより、
良好な画像データを得ることが出来、車両運転者の位置
を正確に認識することが出来る。

尚、本実施例においては瞬間発光部５として赤外ストロ
ボを用いているが、ストロボはごく短い時間、車室外の
明るさ、例えば直射日光や建物からの反射光に打ち勝つ
だけの大きな輝度の発光を得ることが出来、又小電力で
作動させることも出来るので、車両運転者を照射するに
は非常に良好な手段である。又、赤外光であるので車両
運転者にまぶしさを与えない。しかしながら他の実施例
としてストロボの代わりにパルス発振レーザ光等、他の
瞬間的発光手段を用いても良く、車室外からの太陽光、
反射等に影響されない利点を有し正確に車両運転者の位
置を認識することが出来る。

次に、本実施例においては瞬間発光部５の発光が画像検
出部６における垂直帰線時期と一致するよう垂直同期信
号の立ち上がり時期から所定の遅延時間経過後照射信号
を出力するよう構成されているが、垂直同期信号の立ち
下がり時期から所定の遅延時間経過後照射信号を出力す
るよう構成してもよく、垂直帰線時期と発光時期を一致
させることが出来れば残像の影響等による画質の劣化を
防ぎ良好な画像データが得られ正確に車両運転者の位置
を認識することが出来る。尚、本実施例においては画像
検出部６としては全画素同時リセット機能の無いＭＯＳ
形の固体撮像素子から構成されているが、他の実施例と
して全画素同時リセット機能のある固体撮像素子を用い
ても良い。この場合前述のように同期信号と同期させる
必要はなく、画像検出部６をリセットした直後に瞬間発
光部５が発光するように、画像検出制御部７は画像検出
部６に制御信号としてのリセット信号を、又瞬間発光部
５に発光信号を送信するよう構成される。上記実施例に
おいてはリセット機能により残像を消去する為、残像の
影響等による画質の劣化を防ぎ良好な画像データを得る
ことが出来る。

次に、本実施例においては、運転者の目の位置を画像デ
ータから直接求めるのではなく、まず画像データ上で最
も検出し易い部分である顔面部より突出された鼻の位置
を特異点位置として検出した後、目の位置を検出し、そ
の３次元位置を算出するようにしており、更にその鼻の
位置や目の位置を検出する際には各標準パターンを用い
て実行するよう構成されているので、目の３次元位置を
誤って認識する事が少なく、より正確に乗車位置を認識
する事が出来るようになっている。目の位置の算出手段
には、他の実施例として、特異点を２箇所（鼻と顎等）
に設定する事により、２箇所の特異点と目の位置との特
定の関係（予め複数の車両運転者の画像を撮り作成した
平均的データ）から該車両運転者の目の位置を算出する
よう構成しても良い。この方法は、車両運転者１がサン
グラス等をかけている等、目を検出し得ないような場合
も該車両運転者の目の位置を高い精度で得る事が出来
る。

また運転者１の目の位置（正確には左目の位置）を認識
するばかりでなく、例えば目の位置を認識するに当って
先に求められた運転者１の鼻の位置を乗車位置として、
その３次元位置を認識するようにしても良く、乗車位置
を認識した後の処理、つまりバックミラーを自動調整す
るとか、ステアリング角度を自動調整するとかいった各
処理に応じて最も適切な乗車位置を認識するように構成
すれば良い。因みに上記実施例のように運転者１の目の
位置を認識した際にはバックミラーの角度を自動調整し
たり、居眠り運転を検知する場合等に用いることができ
る。

更に本実施例において、画像検出部６としては上記実施
例のようにＭＯＳ形の固体撮像素子からなる画像検出部
６の他にも、例えばＣＣＤ等、いわゆる固体カメラに用
いられる撮像素子からなるものであれば良く、撮像管を
用いる事も可能である。

又、上記実施例においては画像検出部６を１個とし、一
方向から運転者を捉えた画像データを用いて運転者の乗
車位置を認識するようにしており、運転者の左右方向へ
移動は考慮していないのであるが、第１４図に示すよう
画像検出部を異なる位置に２個設け、いわゆる三角測量
の原理を用いて運転者の乗車位置を認識するよう構成す
れば、運転者の左右方向への移動も検知することが出
来、運転者の３次元位置をより正確に認識することが出
来るようになる。

［発明の効果］ 以上説明した如く、本発明の車両運転者の位置認識装置
においては、 車両運転者を瞬間的に照射する瞬間発光手段と、該瞬間
発光手段の照射による上記運転者からの反射光を受け、
上記運転者を画像データとして検出する画像検出手段
と、上記画像検出手段の検出タイミングを指示するため
の制御信号と同期して上記瞬間発光手段を発光させる画
像検出制御手段と、上記検出された画像データから当該
車両における上記運転者の位置を認識する認識手段とを
備えたことにより車両運転者を認識するときの妨害とな
る車室外の風景からの光の影響を低減させることが出
来、車両運転者の位置を正確に認識することが出来る。

又画像検出手段の検出タイミングを指示するための制御
信号と同期して瞬間発光手段を発光させることにより、
画質の劣化を防ぎ良好な画像データを得ることが出来、
車両運転者の位置を正確に認識することが出来る。

【図面の簡単な説明】

第１図は本発明の構成を表わすブロック図、第２図ない
し第１３図は本発明の一実施例を示し、第２図は本実施
例の車両のインストルメントパネル及びその周辺を表わ
す斜視図、第３図は瞬間発光部５の説明図、第４図は画
像検出部６の説明図、第５図は本実施例の車両運転者位
置認識装置の全体構成ブロック図、第６図は目の位置認
識処理を表わすフローチャート、第７図は画像検出制御
部の働きを説明図であって、垂直同期信号と照射信号と
発光部５の発光時期との関係を表わすタイミングチャー
ト、第８図は画像検出部６にて捉えられた運転者１の画
像図、第９図は画像データを表わす説明図、第１０図は
鼻の標準パターンを表わすデータ図、第１１図は鼻の位
置検出処理の説明図、第１２図は目の標準パターンを表
わすデータ図、第１３図は目の３次元位置を説明する説
明図であって、（イ）は運転者１の平面図、（ロ）は運
転者１の側面図、第１４図は他の実施例を示し、画像検
出部を異なる位置に２個設けた実施例の車両のインスト
ルメントパネル及びその周辺を表わす斜視図である。 II……瞬間発光手段 III……画像検出手段 IV……画像検出制御手段 Ｖ……認識手段 ５……瞬間発光部 ６……画像検出部 ７……画像検出制御部 ８……画像認識部 １０……画像入力部 １４……ＣＰＵ １６……ＲＯＭ １８……ＲＡＭ ２２……電源回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】車両運転者を瞬間的に照射する瞬間発光手
   段と、 該瞬間発光手段の照射による上記運転者からの反射光を
   受け、上記運転者を画像データとして検出する画像検出
   手段と、 上記画像検出手段の検出タイミングを指示するための制
   御信号と同期して上記瞬間発光手段を発光させる画像検
   出制御手段と、 上記検出された画像データから当該車両における上記運
   転者の位置を認識する認識手段と、 を備えたことを特徴とする車両運転者位置認識装置。
2. 【請求項２】上記制御信号が垂直同期信号であり、かつ
   該瞬間発光手段の発光が該画像検出手段の垂直帰線時期
   と一致するよう、該画像検出手段に出力される垂直同期
   信号の立ち上がり時期または立ち下がり時期から所定の
   遅延時間の経過後該瞬間発光手段を発光させるよう構成
   された特許請求の範囲第１項記載の車両運転者位置認識
   装置。
3. 【請求項３】画像検出手段が２次元固体撮像素子からな
   る特許請求の範囲第１項又は第２項記載の車両運転者位
   置認識装置。
4. 【請求項４】瞬間発光手段が赤外光を発光するよう構成
   された特許請求の範囲第１項ないし第３項いずかは記載
   の車両運転者位置認識装置。