JPH0426041B2 - - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は車両運転者の位置を認識する車両運転
者位置認識装置に関し、２次元画像から運転者の
車室内の３次元位置を認識する車両運転者位置認
識装置に関する。

［従来技術］ 近年、自動車等の車両における操作性の向上が
強く求められるようになり、運転者にとつて良好
な車両の操作性を実現する要素、例えば、バツク
ミラーの角度調整やエアコン吹出口の方向の調
整、チルトハンドルのハンドルの高さの調整ある
いはヘツドレストの高さの調整などを個々の運転
者に合わせて自動的に行なうものが望まれてい
る。この為には車両運転者の位置を知る必要があ
るが、従来はせいぜい運転席の前後位置や高さ、
あるいはリクライニングの状態等を検出して、運
転者の位置を推定していたにすぎず、ひとりひと
り異なつた運転者の身長や姿勢を考慮して運転者
の位置を正確に認識することはできなかつた。

しかしながら、車両の操作性を向上させる上で
の前記種々の調整を自動的に行なう為には、運転
者の位置を正確に認識することが必要である。従
つて、個々の運転者に合つた良好な車両操作性の
実現が求められるようになると、運転者の車室内
における３次元位置を正確に認識する装置の実現
が望まれるに至つた。

［発明の目的］ 本発明は、良好な車両操作性を実現する為には
運転者の位置を正確に認識する必要があるという
点に鑑みなされたもので、その目的とするところ
は、車室内における運転者の３次元位置を正確に
認識する車両運転者位置認識装置を提供すること
にあり、特に、運転者の髪型、帽子、眼鏡等の影
響によつて顔面の認識が不正確となることを防止
した車両運転者位置認識装置を提供することにあ
る。

［発明の構成］ かかる目的を達成する為になされた本発明の構
成は、第１図に図示する如く、 車両運転席Ｍ１正面前方に設けられ、下方から
上方へ向かう光によつて運転者Ｍ２を照射する発
光手段Ｍ３と、車両運転席Ｍ１正面前方に設けら
れ、前記発光手段Ｍ３の照射による該運転者Ｍ２
からの反射光を画像として検知する２次元撮像部
からなる検出手段Ｍ４と、該２次元撮像部の検知
した画像の明暗の状態から運転者Ｍ２の顔面に関
する所定の特徴点の２次元位置を特定し、該特定
した運転者Ｍ２の顔面の特徴点の２次元位置に基
づいて、車室内における運転者Ｍ２の３次元位置
を認識する認識手段Ｍ５とを備えたことを特徴と
する車両運転者位置認識装置を要旨としている。

［作用］ 本発明の車両運転者位置認識装置によれば、発
光手段Ｍ３は、運転者Ｍ２を下方から上方へ向か
う光によつて照射するから、検出手段Ｍ４は、運
転者Ｍ２の髪型、着帽、着衣などによる影響を受
けることなく、運転者Ｍ２の顔面の画像をとらえ
ることができる。

従つて、認識手段Ｍ５は、こうしてとらえられ
た顔面の画像の明暗状態から、例えば鼻、目、口
といつた凸凹のある部分等明暗により識別可能な
部位のうちのいずれか又は複数を特徴点として特
定するに当たつて、特定の不能や過誤を生じるこ
とがなく、車室内における運転者Ｍ２の３次元位
置を正確に認識することができる。

なお、車室内において正面方向から運転者を照
射するための発光手段の配設位置に関しては、例
えばバツクミラーの基部や、フロントガラス両側
のピラー上部や、フロントガラス中央付近にハー
フミラーを構成して照らすなど種々の位置が考え
られる。しかしながら、バツクミラーの基部から
照らす場合には上から下へ向かう光となるために
帽子をかぶつていると顔面を良好に照らすことが
できず、また髪型によつては目や眉などを識別可
能に照射することができないなどの不具合があ
る。

即ち、上述の顕著な作用を奏するためには、正
面前方の下方から上方へ向かう光により照射する
配設位置としなければならず、発光手段の配設位
置は本発明の極めて重要な要素であつて、単なる
設計変更や無意味な選択によるものではなく、車
室内での運転者の３次元位置の認識に当たつて、
検出手段Ｍ４がとらえた画像の明暗状態から顔面
の特徴点を特定するという特徴的構成からなる認
識手段Ｍ５との関係において初めて採用されるも
のである。

以下に本発明を実施例を挙げて図面と共に説明
する。

なお、以下の説明において、「仰角をもつ」と
いうは、まさにこの下方から上方へ向かう光によ
り形成される「下からの角度」をもつことをい
い、いわゆる「俯角（上からの角度）」をもつも
のではないことを付言する。

［実施例］ 第２図は、本発明一実施例の要部の概略配置
図、第３図は同じく発光手段と画像検出手段と運
転者との位置関係を示す側面配置図、第４図は同
じく実施例の概略構成図である。

図において、１は運転者、２は運転席（座席）、
３は操舵輪（ハンドル）、４ａはダツシユボード
４内のインストルメントパネル、５は運転席真正
面のインストルメントパネル４ａ内に配設された
発光手段としての赤外ストロボ、８は同じく運転
席正面のインストルメントパネル４ａ内に配設さ
れた２個の赤外検出用２次元固体撮像素子（以下
２次元CCDと呼ぶ）９ａ，９ｂ及び液晶絞り素
子１２ａ，１２ｂと２次元CCD９ａ，９ｂから
の画像の読み出しを制御する画像信号制御回路１
４ａ，１４ｂを要部とする画像検出器を各々表わ
している。ここで赤外ストロボ５は運転席を左右
対称に分かつ面上に配置されており、当該面を挟
んでその両側の対称位置に、画像検出器８の２つ
の２次元CCD９ａ，９ｂが布置されている。こ
の結果、赤外ストロボ５は運転者１を真正面やや
下方向より仰角をもつて照射し、画像検出器８も
ほぼ同じ角度で運転者１の正面像をとらえること
になる。

２０は認識手段としての電子演算回路であつ
て、２２は中央処理ユニツト（CPU）、２４は制
御・演算プログラム等を格納するリードオンリメ
モリ（ROM）、２６は画像データ等を一時的に
格納・読み出しできるランダムアクセスメモリ
（RAM）、２７はCPU２２より書き込まれたデー
タに従つて所定の間隔でCPU２２に対してタイ
マ割込を発生させるタイマ、２８は画像検出器８
より画像データをアナログ信号として入力するア
ナログ入力ポート、３０は赤外ストロボ５と画像
検出器８とに制御信号を出力する出力ポート、３
１はCPU２２、ROM２４、RAM２６、タイマ
２７、入力ポート２８、出力ポート３０を相互に
接続するバス、３２はバツテリ３４からの電力を
イグニツシヨンスイツチとして働くキースイツチ
３６を介して受取り電子演算回路２０全体に安定
化された電圧として供給する電源回路を各々表わ
している。

第２図，第３図に示すように、赤外ストロボ５
は運転席２を正面下方向より照らす位置に設けら
れ、該赤外ストロボ５からの赤外光はハンドル３
の空隙の通過して運転席２上の運転者１の頭部の
存在しうる最大範囲を照射するように構成されて
いる。又、画像検出器８は赤外ストロボ５の光軸
を挟んで左右対象位置に２ケの２次元CCD９ａ，
９ｂを設け、後述する光学系を用いて、赤外スト
ロボ５の照射による反射光によつて前記範囲の画
像を２次元CCD９ａ，９ｂ上に結像させ、これ
を検知するように構成されている。

次に、実施例の光学系を構成する発光手段と画
像の検出手段のうち、発光手段としての赤外スト
ロボ５の構成を第５図に、検出手段としての２次
元CCD９ａ，９ｂを中心とする画像検出器８の
構成を第６図に、画像検出器８に使われている液
晶絞りの構造を第７図に、各々拠つて説明する。

第５図Ａは赤外ストロボ５の側面図であるが、
５０は赤外発光体、５１は赤外光を向く運転者１
に照射する為のレンズ、５３は赤外光を透過し可
視光を通さない赤外フイルタ、５５はケース、５
７はレンズ５１とフイルタ５３をケースに固定す
るインナを各々表わしている。赤外ストロボ５は
インストルメントパネル４ａのほぼ中心にボルト
５８ａ、ナツト５８ｂにより固定されている。赤
外発光体５０の発光スペクトルを第５図Ｂに示し
たが、一般に赤外発光体をいえども可視光領域に
もかなりの発光スペクトルを有するので、赤外フ
イルタ５３によつて波長800nm以下の光はカツト
し、赤外光のみを運転者１の上半身に照射するよ
うに構成してある。この為、運転者は赤外ストロ
ボ５が発光してもまぶしさを感じることはない。

次に第６図は画像検出器８の構成を示す説明図
であるが、画像検出器８は二組の全く同一の構成
を有する画像検出部からなつているので、以下、
そのうちの一組として２次元CCD９ａ、液晶絞
り素子１２ａ、画像信号制御回路１４ａを要部と
するものについて説明する。他の組は以下の説明
を「２次元CCD９ｂ」、「液晶絞り素子１２ｂ」
の如く読みかえればよい。

第６図に図示する如く、２次元CCD９ａはプ
リント基板７６ａの上に装着されており、プリン
ト基板７７ａ，７８ａ，７９ａ上には画像信号制
御回路１４ａが形成されている。図において、８
０ａはマウントアダプタであつて、２次元CCD
９ａ上に画像を結ばせる焦点距離ｆのレンズ８１
ａと２次元CCD９ａへ集められる光量を調整す
る液晶絞り素子１２ａとレンズ８１ａ、液晶絞り
素子１２ａを透過して２次元CCD９ａに達する
光の量を検出するホトトランジスタ８３ａとが組
込まれている。又、８５ａは一組の画像検出部を
収めたケースであつて、フランジ８６を介してボ
ルト８８、ナツト８９によりインストルメントパ
ネル４ａに固定されている。以上の構成よりなる
画像検出部が２組あり、２組の画像検出部は赤外
ストロボ５を中心にして対象位置に配され、全体
で画像検出器８を構成している。

次に第７図Ａ，Ｂは液晶絞り素子１２ａ，１２
ｂの構造を示す説明図であつて、特に第７図Ｂは
その断面図である。図において、１２０，１２１
は互いに直交する偏光面を持つた２つの偏光板、
１２３，１２４は液晶１２５を挟む透明電極であ
る。本実施例では光量を５段階に調節できるよ
う、液晶１２５と透明電極１２３，１２４は同一
の同心円で外側より、液晶１２５は１２５ａ，１
２５ｂ，１２５ｃ，１２５ｄに、透明電極１２
３，１２４は１２３ａ，１２４ａ，１２３ｂ，１
２４ｂ，１２３ｃ，１２４ｃ，１２３ｄ，１２４
ｄに各々区分けされている。又、区分けされた一
対の電極毎に電源１２７よりアナログスイツチ部
１２８を介して電圧を印加できるように配線がな
されている。その接続は、図示する如く、光量を
検出するフオトトランジスタ８３ａに流れる電流
を増幅器１２９によつて電圧出力に変換し、該電
圧に応じてアナログスイツチ部１２８の４つのス
イツチ１２８ａ，１２８ｂ，１２８ｃ，１２８ｄ
を駆動するようになつており、フオトトランジス
タ８３ａに流れる電流が増加すると、液晶絞り素
子１２ａの対向する電極の各対（１２３ａ−１２
４ａ，１２３ｂ−１２４ｂ，…）に外側から順に
電圧を印加してゆくようになされている。液晶１
２５は電圧が印加されていない状態ではその透過
光の偏光面を90゜旋回させる性質を有しているの
で、偏光板１２０を透過して単偏光となつた外光
は、液晶１２５で偏光面が90゜旋回し、もうひと
つの偏光板１２１を通過し、レンズ８１ａで集光
されて２次元CCD９ａに達する。しかしながら、
電極１２３−１２４に電圧が印加されると、液晶
１２５は印加された電界によつてその結晶の配列
方向を変えるので、偏光板１２０を透過した後の
単偏光の偏光面は液晶１２５によつてはもはや
90゜旋回されることはなく、もうひとつの偏光板
１２１に遮ぎられて、レンズ８１ａ側へ透過する
光量は著しく減少する。この為、アナログスイツ
チ１２８が１２８ａ，１２８ｂ……と順次閉じて
ゆくと、液晶絞り１２ａは外側のリング部より透
過光量が低下し、通常の機械的な絞りと同様な機
能をはたして、２次元CCD９ａ全体に集光され
る平均光量を一定にするよう働く、 こうして光量を調整させた光は、液晶絞り１２
ａによる絞りの作用も相俟つて、レンズ８１ａに
よつて２次元CCD９ａ上に外部のシヤープな像
を結ぶ。２次元CCD９ａは画像512×512の画素
に分割する光電変換−電荷蓄積素子よりなつてお
り、２次元CCD９ａ上の画像は各素子によつて
量子化され、素子毎に光量に応じた電荷量に光電
変換された後、電荷として蓄積されてゆく。画像
信号制御回路１４ａはこの蓄積された電荷を逐次
走査して読み出してゆくが、電荷量は読み出しか
ら次の読み出しまでに２次元CCD９ａの各素子
が受けとつた光量に応じて蓄積されるので、読み
出し間隔は各素子にとつて同一となるよう制御さ
れている。読み出された電荷は読み出し間隔の間
に各素子が受けとつた光量に対応しており、読み
出し順に時系列化されたアナログ信号として、電
子演算回路２０のアナログ入力ポート２８に出力
される。

次に上記構成を用いて電子演算回路２０内でな
される車両運転者位置認識の処理について第８図
のフロチヤート、第９図の光学系の模式図及び第
１０図の画像処理例を用いて説明する。

キースイツチ３６がオフの位置以外の位置に切
換えられると、制御は第８図Ａより開始され、ま
ず、初期化のステツプ２００で、CPU２２内部
のレジスタ等のクリアやパラメータのセツト等の
処理を行なう。次のステツプ２１０では、出力ポ
ート３０を介して、赤外ストロボ５を発光させる
制御信号を出力し、同時に画像検出器８の画像信
号制御回路１４ａ，１４ｂにも画像読み出し同期
信号を出力する。赤外ストロボ５は制御信号を受
けて直ちに発光し、赤外光を運転者１に照射す
る。この時、赤外ストロボ５はインストルメント
パネル４ａ内で運転席を左右対称に分かつ面上に
ある（即ち当該面上に赤外ストロボ５の光軸は存
在する）事から、運転者１を前方やや下方の真正
面より照射することになり、髪型・着帽・着衣な
どによる影響をほとんどうけることなく、運転者
１の顔面の画像を画像検出器８にとらえることが
できる。又、画像検出器８内の２つの２次元撮像
部としての２次元CCD９ａ，９ｂは、赤外スト
ロボ５の光軸を中心としてその左右の対称位置に
配設されているので、最も歪みの少ない運転者１
の正画像をとらえることができ、後述する複眼視
による距離測定の精度をあげる為にも最適の配置
となつている。

次に画像検出の為の光学系の構成について説明
する。第９図に示した本実施例の光学系の模式図
にみる如く、赤外ストロボ５より運転者１に照射
されたこの赤外光は運転者１や座席２で反射し、
画像検出器８内の２つの２次元CCD９ａ，９ｂ
に集光される。この時、前述した液晶絞り素子１
２ａ，１２ａの働きによつて２次元CCD９ａ，
９ｂに集められる光量は２次元CCD９ａ，９ｂ
の光検出の感度特性に合わせて調節されている。
反射光はレンズ８１ａ，８１ｂによつて２次元
CCD９ａ，９ｂ上に、運転者１の上半身を中心
とする画像を結線する。これが第９図に画像Ｒ，
Ｌとして示すものである。２次元CCD９ａ，９
ｂ上に結像された該画像Ｒ，Ｌによつて２次元
CCD９ａ，９ｂの各素子には電荷が生じ、ステ
ツプ210で出力された画像読出同期信号によつて、
画像の左上隅より読み出しが開始され、既述した
如く、逐次アナログ入力ポート２８に画像信号と
して出力される。ステツプ220ではこの画像信号
を、アナログ入力ポート２８を介して高速でＡ／
Ｄ変換を行ないつつ、２つの画像信号制御回路１
４ａ，１４ｂより交互に取込んで、RAM２６内
の２つの所定のエリア（以下、画像メモリと呼
ぶ）にストアする処理を行なう。ステツプ230で
は、ステツプ220による画像の取込みが２次元
CCD９ａ，９ｂの512×512の画素すべてについ
て終了したか否かを判断し、終了していなければ
ステツプ220へ戻り、終了していれば次のステツ
プ240へ進む。ステツプ220を繰返すことによつて
２次元CCD９ａ，９ｂに結像した２つの画像Ｒ，
Ｌに関する量子化された画像信号がすべて入力さ
れると、RAM２６内の画像メモリには、赤外ス
トロボ５が発光した時点での運転者の上半身を含
む画像の情報が２組残されたことになる。この操
作を画像Ｒ，Ｌを固定したという意味でフリーズ
と呼ぶが、フリーズ後、画像メモリ上には画像情
報Rf，Lfが格納されている。ステツプ240以下で
は、この画像情報Rf，Lfに対して、いわゆるパ
ターン認識の処理が行なわれる。

ステツプ240では画像メモリ上の画像データ
Rf，Lfに対して２値化の処理が行なわれる。２
値化の処理とは画像がもつていた濃淡、即ち階調
の情報に対して、所定のレベルを設定して比較を
行ない、該レベルよりも濃い部分（２次元CCD
９ａ，９ｂにおいて電荷の蓄積があまりなされな
かつた部分、つまり暗部）の黒のレベルに、該レ
ベルよりも淡い部分（２次元CCD９ａ，９ｂに
おいて電荷の蓄積が充分になされた部分、つまり
明部）を白のレベルに、截然と分離する処理であ
る。この２値化の一例を第１０図に示す。第１０
図Ａはフリーズ後に画像メモリ上に形成された画
像情報に対応する原画像であり、第１０図Ｂはこ
れに２値化の処理を施した場合に得られる２値化
後の画像情報に対応する画像の一例である。２値
化後の画像は２値化の判定レベルをどこにとるか
で変化するが、液晶絞り素子１２ａ，１２ｂで光
量が調節されているので、運転者の顔が白レベル
となり、背景が黒レベルとなるような判定レベル
を設定しておくことは容易である。

こうして２値化された後の画像情報に対して、
次のステツプ250では白レベルの最大閉部分を検
出する処理を行なう。この処理の一例を以下に説
明する。まず２値化後の画像に対応する画像情報
を順次走査し、白レベルの画素を見出した時、こ
れにラベルとしてひとつの番号をふる。この時そ
の画素を取囲む８つの画素（第１０図Ｃにおける
判定画素a₀に対する周囲の画素a₁ないしa₈）を調
べ、もしすでに走査して番号をふつた白レベルの
画素があれば、その画素と同一のラベル番号をふ
る。なければ新たな番号を付ける。この操作を２
値化後の画像のすべてに対して行なつた後、同一
のラベル番号がふられた画像の数を調べれば、白
レベル部（以下、白部と呼ぶ）の閉部分の各画素
数がわかるので、最大閉部分を判定・検出するこ
とができる。例えば、第１０図Ｂに対してこれを
行なえば、顔面の白部と襟元の２つの白部の３カ
所が別々の番号を付されて検出され、その最大面
積部である顔面の白部が最大閉部分として見出さ
れる。

上記ステツプ250に続くステツプ260では、ステ
ツプ250における２値化後の画像に対応する画像
情報の走査が終了し白部毎にラベルが付された後
で、顔面に相当する白部の最大閉部分の検出がな
されたか否かが判断される。赤外ストロボ５より
赤外光を照射して運転者１の上半身を含む画像を
フリーズした時、何らかの理由、例えば操舵時に
ハンドル３のスポークが画像検出器８の光軸を横
切つた時あるいは運転者１が運転上の必要から背
後を振り向いた時など、によつて顔面が検出でき
なかつたとすれば、ステツプ260での判断は
「NO」となつて処理は再びステツプ210へ戻りス
テツプ210以下の処理を繰返す。一方、顔面の検
出がなされたと判断された時には、処理はステツ
プ280へ進む。

ステツプ280ではステツプ250で検出した白部の
最大閉部分、即ち顔面の中心を求める処理を行な
う。この処理は、最大閉部分の輪郭を見い出し、
最大閉部分の内部の点で該輪郭よりの距離の総和
が最小になる点を算出することによつて、あるい
は、白部の最大閉部分の高さと幅を検知しその中
心線の交点を算出する等の方法によつて求めるこ
とができる。

こうして、左右２つの２次元CCD９ａ，９ｂ
がとらえた運転者１の上半身を含む２つの画像
は、各々、ステツプ240ないし280の処理が施さ
れ、夫々の画像情報として顔面の中心点が見出さ
れて２次元CCD９ａ，９ｂ上での座標が算出さ
れたことになる。第９図に図示する如く、検出さ
れた顔面の中心点Rc，LcのＸ座標上の値を各々
Xr，Xl，Ｙ座標上の値をYtとする。各座標は２
次元CCD９ａ，９ｂ及びレンズ８１ａ，８１ｂ
の中心線を各々原点としてとられている。

ステツプ290では、２つの画像から導かれた顔
面の中心点の各Ｘ座標Xr，Xlを用いて、画像検
出器８から運転者１までの距離を演算する処理を
行なう。第９図に光学系の模式図を示すが、運転
者１からレンズ８１ａ，８１ｂまでの距離をｄ、
レンズ８１ａ，８１ｂから各々の２次元CCD９
ａ，９ｂまでの距離をａ、レンズ８１ａ，８１ｂ
の焦点距離をｆとすれば、該距離ｄは次の式より
求められる。

ｄ＝ａ×ｌ／（Xr−Xl） …(1) ここで、１／ｆ＝１／ａ＋１／ｄであるから、
ａ≪ｄであるとみなせるなら、 ｄ＝ｆ×ｌ／（Xr−Xl） …(2) を用いてｄを求めてもよい。求められた運転者１
までの距離ｄをRAM２６の所定の番地に格納し
た後、処理はステツプ290よりステツプ300に進
み、運転者１の左右方向の位置を演算する処理を
行なう。

第９図に図示する如く、運転者１が座席２の中
心軸、つまり２つの２次元CCD９ａ，９ｂがそ
れを挟んで対称位置に配置された対称軸に対して
左右方向にXsだけズレて座つていたとする。こ
の時、２次元CCD９ａがとらえた運転者１の顔
面の中心点のＸ座標Xrより、Xsは次の式で求め
られる。

Xs＝Xr×ｄ／ａ−ｌ／２ …(3) 式(2)を求めた時と同様の近似を行なつて、 Xs＝Xr×ｄ／ｆ−ｌ／２ …(4) を用いてXsを求めてもよい。こうして求められ
た運転者１の左右方向の位置XsをRAM２６の所
定のエリアに格納した後、処理はステツプ310に
進み、ステツプ300で運転者１の左右方向の位置
Xsを２次元CCD上の前記面積中心点のＸ座標Xr
より求めたのと同様にして、そのＹ座標Ytより
運転者１の実際の高さ方向の位置Yhを求める。
その高さYhは検出器８の光軸をＹ方向の原点と
して、 Yh＝ｄ／ａ×Yt …(5) で与えられる。前式(2)，(4)を求めたのと同様の近
似を用いて、 Yh＝ｄ／ｆ×Yt …(6) として、Yhを求めてもよい。運転者１の高さ方
向の位置Yhは、RAM２６の所定のエリアに格納
される。

以上のステツプ290，300，310の処理によつて、
運転者１の顔面に対応する白部の面積中心点を用
いて、その３次元位置を表わすｄ，Xs，Yhが
各々演算されたことになるが、続くステツプ320
では、運転者１の顔面としてとらえられた白部の
最大閉部分内に対して再び画像処理を行ない、運
転者１の両眼に該当し周囲とはその性質を異にす
るような部分を検出して、両眼に対応する部分の
各々の中心点を求める処理が行なわれる。この為
に、まず、ステツプ250にて検出された最大閉部
分に対してその上部よりＸ軸方向に走査を行なつ
て、Ｘ軸方向へのひとつの走査線の内部に、２つ
以上の黒点が存在するような範囲を検出する処理
を行なう。ここで黒点とはノイズを除去する為に
最低４画素以上が隣接して黒レベルであるような
領域を意味している。顔面に対応する白部の最大
閉部分がＸ軸方向に走査してノイズではないよう
な黒レベル部の集まり、即ち黒点が２箇所以上検
出されるのは眼に該当する部位とみなせるから、
その範囲を検出して各黒点の中心点を求める処理
までがステツプ320で行なわれる。この処理を以
下詳細に説明する。第１１図は２値化の処理が行
なわれた後の画像情報の一部を２次元平面に展開
した例の一部分を示しているが、図は２次元
CCD９ａがとらえた顔面の画像に対応する白部
の最大閉部分のおよそ上半分に対応している。こ
こで、該最大閉部分内部でのＸ軸方向への走査か
らひとつの走査線上に２つの黒点が見出される範
囲が存在することから、その黒点の各々を左右の
眼であるとみなしてその中心点をRef，Relとし
てその位置をＸ座標について検出する。ここで
は、各中心点Ref，RelのＸ座標をXer，Xelとし
て検出する。続くステツプ330では、顔面に相当
する部分の面積中心点のＸ座標Xrとステツプ320
で求めた両眼の各中心点のＸ座標Xef，Xelとか
ら、運転者１の姿勢のひとつとして顔面の向きθ
について演算する。ステツプ330で行なわれる演
算を第１２図を援用しつつ説明する。第１２図
は、第９図に示した光学系のうち、右側の２次元
CCD９ａ上の画像と運転者の頭部の向きとの関
係を模式的に示す説明図であるが、図の如く運転
者１の頭部が正面を向いた位置を原点として、角
θだけズレた方向を向いているものとする。これ
を頭部の向きθと呼ぶ。運転者が車両を運転して
いる時にはその頭部の向きθは比較的小さいの
で、近似を用いて θ＝ｋ×Xel−Xer／２ …(7) として向きθを求めることができる。ここでｋは
定数であつて平均的な人間の頭部の直径や両眼の
距離より予め定められている。演算された頭部の
向きθはRAM２６の所定のエリアに格納され
る。ここで、２個の２次元CCD９ａ，９ｂのう
ち一方の２次元CCD９ａにとらえられた画像の
みから、顔面に相当する部分の面積中心点と両眼
の中心点とのＸ座標を用いて頭部の向きθが演算
できるのは、運転者１への赤外ストロボによる照
射が正面より行なわれ、２つの２次元CCD９ａ，
９ｂが同様正面から運転者１の画像をとらえてい
る為、左右の２次元CCD９ａ，９ｂがとられた
運転者１の画像は、歪がすくなく左右の対称性が
最大限に保存されているという理由によつてい
る。

以上のステツプ290，300，310及びステツプ330
の処理によつて運転者１の頭部の向きθも含めて
その３次元位置を表わす各要素ｄ，Xs，Xh，θ
が各々演算されたことになる。そこで、続くステ
ツプ340では前記ステツプ290，300，310，330で
RAM２６の所定の番地の格納されたデータを読
み出し、運転者１の３次元位置として、顔面の中
心点の座標（ｄ，Xs，Xh）とその頭部の向きθ
を用いて｛（ｄ，Xs，Xh），θ｝のデータセツト
を対応させRAM２６の所定のエリアに格納す
る。

以上で運転者１の３次元位置を認識する処理は
終了し、処理は再びステツプ210へ戻り、上述の
処理を繰返すことになる。

以上詳述したように、本実施例では運転者１の
上半身を含む範囲にその正面前方やや下方より赤
外ストロボ５を用いて赤外光を照射し、その反射
光を運転席の正面前方のインストルメントパネル
４ａ内に照射光の光軸を挟んで左右対称に設けら
れた２つの２次元固体撮像素子（２次元CCD）
９ａ，９ｂによつて画像として検知し、該検知さ
れた２つの画像より運転者１の３次元位置を頭部
の向きθを含めて認識している。発光手段として
の赤外ストロボ５と検出手段としての検出器８と
のかかる配置の故に、運転者１の髪型や着帽・着
衣の状況といつた条件にかかわりなく、運転者１
の顔面の画像を左右の対称性を保存したまま歪み
なく正面からとらえることができ、運転者１の車
室内における３次元位置の認識は、高い信頼性と
共に実現されている。座席の位置等から運転者１
の位置を推定する従来の手法と比して、比較にな
らない程正確に、運転者１の３次元位置を認識で
きることは言うまでもない。又、発光手段として
赤外ストロボ５を使用し赤外光を用いて画像を検
知しているので、外光が運転者１の一部を照した
りしても、こうした外乱の影響をうけることなく
画像を検知することができる上、運転者１がまぶ
しさを感じることもない。本実施例では、画像の
検出手段として２次元固体撮像素子を用いている
ので、従来の撮像管を用いるものと較べて検出部
を小型化することができ、可動部がない為、耐振
動性に優れており、車両搭載用として高い信頼性
を実現することができる。このことは、絞り機構
として用いた液晶絞り素子１２ａ，１２ｂについ
ても同様である。さらに、本実施例では、この液
晶絞り素子１２ａ，１２ｂを用いて２次元CCD
９ａ，９ｂに集められる光量を一定範囲に調節し
ており、一般に固体撮像素子にみられるブルーミ
ング現像の発生を防いでいる。

尚、本発明の主旨・目的を変更しない範囲で、
次のような他の構成を用いることも何ら差支えな
い。

発光手段として赤外ストロボ５のかわりに赤外
発光ダイオードを用いる。この場合、発光ダイオ
ードは連続発光させてもよく、発光・検出タイミ
ングをとる必要がないので画像信号制御部の構成
を簡易にすることができる。又、運転者がまぶし
さを感じない範囲で、可視光を用いてもよい。

画像検出手段の一部に用いた固体撮像素子とし
て、電荷蓄積型デバイス（CCD）のかわりに、
フオトダイオードアレイの出力をMOSトランジ
スタを切換えて読みだすMOS型の固体撮像素子
を用いてもよい。MOS型の固体撮像素子は画線
の読み出し回路が簡単なので画像信号制御回路を
簡易・小型化することができる。

光量の絞り機構として、液晶絞り素子１２ａ，
１２ｂのかわりに、通常の機械的な絞りやセラミ
ツクの複屈折電界依存性を利用した透明セラミツ
ク絞り素子を用いてもよい。透明セラミツクは優
れた耐久性を有し、経年変化が少ないので、装置
の信頼性を高めることができる。

発光手段、検出手段はインストルメントパネル
内以外に設置してもよく、運転者の上半身を正面
やや下方よりとらえる位置、例えばステアリング
シヤフトの上部カバーの上に設けてもよい。

パターン認識の処理としては、２値化の処理の
かわりに微分処理を行ない、輪郭線を求めて顔面
を検出してもよい。

運転者の位置を認識する場合に、顔面の中心部
の座標で表現するのではなく、運転者の眼の位置
や口あるいは鼻の位置を演算して、その座標で表
現してもよい。運転者の３次元位置としては、顔
面の中心点に対する両眼の位置を用いてその頭部
の向きを求め、これを含んだ形で表現したが、頭
部の向きは両眼の位置以外に鼻や口に該当する部
位を用いて求めてもよいし、運転者１の３次元位
置としてはこれを含まないで認識・表現しても何
ら差支えない。さらに、座標表現の形式として、
画像検出器からみた座標位置ではなく、例えばバ
ツクミラーの位置を原点とする極座標の形式で表
現し認識してもよい。このことは、運転者の眼の
３次元位置を認識して、バツクミラーの角度を調
整するような場合には特に有効である。

［発明の効果］ 以上詳述したように本発明の車両運転者位置認
識装置は、 車両運転席正面前方に設けられ、下方から上方
へ向かう光によつて運転者を照射する発光手段
と、車両運転席正面前方に設けられ、前記発光手
段の照射による該運転者からの反射光を画像とし
て検知する２次元撮像部からなる検出手段と、該
２次元撮像部の検知した画像の明暗の状態から運
転者の顔面に関する所定の特徴点の２次元位置を
特定し、該特定した運転者の顔面の特徴点の２次
元位置に基づいて、車室内における運転者の３次
元位置を認識する認識手段とを備えたことを特徴
とする。

従つて、運転者の車室内における３次元位置
を、座席の位置やリクライニングの状態等から推
定するのではなく、運転者の姿を撮像しパターン
認識によつて正確に検出することができる。この
為、ひとりひとり異なつた運転者の身長や姿勢と
いつたものに左右されることなく、運転者の実位
置を３次元的に正確に把握することができるとい
う優れた効果が得られる。更に本発明において
は、運転者をその正面前方より仰角をもつて、即
ち正面前方下方向より照射し、その反射光を正面
から画像としてとらえているので、運転者の画
像、特に顔面の画像を髪型や着帽あるいは着衣の
状況等にほとんど影響されることなくとらえるこ
とができる。

車室内における運転者の３次元位置の認識がで
きるようになつたことは、運転者の車室内におけ
る３次元位置に応じて、バツクミラーの角度や空
気調和装置の空気の吹出方向あるいはチルトハン
ドルやヘツドレストの高さといつたものを自動的
に調整し、個々の運転者にとつて良好な車両の操
作性を実現することが可能になつたことを意味し
ている。

又、運転者の頭部の動きを検出し、これを監視
して、運転者の居眠運転を防止する装置や、脇見
運転を警告・防止する装置等への応用も可能であ
る。

【図面の簡単な説明】

第１図は本発明の基本的構成図、第２図は本発
明実施例の要部の概略配置図、第３図は同じく側
面配置図、第４図は実施例の概略構成図、第５図
Ａは発光手段としての赤外ストロボ５の説明図、
第５図Ｂは赤外ストロボ５の発光スペクトルを表
わす説明図、第６図は画像の検出手段としての画
像検出器８の説明図、第７図Ａは液晶絞り素子１
２ａ，１２ｂの構造を示す上面図、第７図Ｂは同
じくその断面図、第８図は実施例における運転者
の３次元位置を認識する処理を示すフローチヤー
ト、第９図は実施例の光学系を表わす模式図、第
１０図はＡ，Ｂ，Ｃは画像処理の一例を示し第１
０図Ａは原画の一例を示す説明図、第１０図Ｂは
その２値化処理後の画像の一例を示す説明図、第
１０図Ｃはパターン認識の一手法を示す説明図、
第１１図は両眼の位置を検出する処理を説明する
為の説明図、第１２図は頭部の向きを検出する処
理を説明する為の説明図である。 １…運転者、４…ダツシユボード、４ａ…イン
ストルメントパネル、５…赤外ストロボ、８…画
像検出器、９ａ，９ｂ…２次元固体撮像素子、１
２ａ，１２ｂ…液晶絞り素子、２０…電子演算回
路、２２…CPU、２６…RAM、８１ａ，８１ｂ
…レンズ。

Claims (1)

1. 【特許請求の範囲】 １ 車両運転席正面前方に設けられ、下方から上
   方へ向かう光によつて運転者を照射する発光手段
   と、 車両運転席正面前方に設けられ、前記発光手段
   の照射による該運転者からの反射光を画像として
   検知する２次元撮像部からなる検出手段と、 該２次元撮像部の検知した画像の明暗の状態か
   ら運転者の顔面に関する所定の特徴点の２次元位
   置を特定し、該特定した運転者の顔面の特徴点の
   ２次元位置に基づいて、車室内における運転者の
   ３次元位置を認識する認識手段と、 を備えたことを特徴とする車両運転者位置認識装
   置。 ２ 前記発光手段と検出手段とが、ダツシユボー
   ドのインストルメントパネル内で、運転席を左右
   対象に分ける画上に設けられ、前記２次元撮像部
   として、当該面を挟んで左右対象位置に配設され
   た複数個の２次元撮像部を備えた特許請求の範囲
   第１項記載の車両運転者位置認識装置。 ３ 前記２次元撮像部が２次元固体撮像素子を備
   えた特許請求の範囲第１項又は第２項記載の車両
   運転者位置認識装置。 ４ 前記発光手段が赤外発光手段であり、前記検
   出手段が赤外光検出手段である特許請求の範囲第
   １項ないし第３項のいずれか記載の車両運転者位
   置認識装置。 ５ 前記赤外発光手段が赤外ストロボである特許
   請求の範囲第４項記載の車両運転者位置認識装
   置。 ６ 前記運転者の３次元位置の認識が、運転者の
   頭部の向きの認識も行なう特許請求の範囲第１項
   ないし第５項のいずれか記載の車両運転者位置認
   識装置。