JP2802635B2 - 電気装置の付勢制御装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、電気装置にオン・オフ等の付勢制御信号を
与える付勢制御装置に関し、更に詳述すれば、物、例え
ば人の目または口の動きに非接触で応答して、所要の電
気装置に付勢信号を与える、物の動作を自動検出して電
気装置を制御する装置に関する。

［従来の技術］ この種の電気装置の付勢制御装置は、CCD（電荷結合
デバイス）の進歩により、高速移動物の監視制御装置と
して、印刷写真、製紙、エレクトロニックス、機械加
工、繊維、電線、薬品、食品などの業界で実用化が進ん
でいる。しかしながら、その利用範囲は、選択された最
良の採光条件のもとで、特定の目標対象物の特定の運動
の検出に限定され、変動する採光条件下で複雑な変化を
する微小な目標物（例えば自動車のドライバの瞳または
口の動き）を追跡して、所定の電気装置を制御する技術
は開発されていなかった。

本発明者は、この問題を解決するため、種々研究を重
ね、物の狭い領域（例えば瞳または口）の移動または変
化に応答して、各種電気装置を制御する電気装置の付勢
制御装置を発明出願した。（特開 昭62−247410号） 出願にかかる電気装置の付勢制御装置は、像の光情報
をデジタル画像情報に変換入力する画像入力手段および
前記像の特定目標部分の位置を検出する目標物検出手段
を用い、物または人（以下例示として車上のドライバを
挙げる）を撮影して撮影画像の一部例えばドライバの瞳
および口などの特定目標部分の位置を検出する。

車内の明るさは変動するので照明手段の明るさを一定
にし、明るさの変動による画像処理エラーを防止する照
明手段を備えている。

また車体の振動やドライバの無意識の微動作または姿
勢変化による顔の位置変化に追跡し、かつ電気装置を制
御するための意図的な口または瞳の位置変化にも追従し
て、正確に瞳および口を撮影情報から摘出するために、
検出した位置を記憶する記憶手段、記憶した位置に基づ
いて前記撮像手段の撮像画面より狭い領域を設定するウ
インドウ設定手段、および前記狭い領域の前記特定目標
部分の位置を記憶手段に更新記憶する記憶手段とを備え
ている。これにより、一度瞳または口の位置を検出した
後は、画面において瞳および口を検出するための情報走
査が狭領域に限定され、瞳および口を検出する時間が短
くなり、瞳および口を迅速かつ正確に追跡出来る。

上記電気装置の付勢制御装置では更に、瞳および口の
時系列状態変化を検出する目標物追跡手段、目標物の状
態変化に対応した制御信号を対象電気装置に与える制御
信号判別手段を備え、追跡している瞳または口に、電気
装置制御のための意図的な変化が現われると、該変化に
対応付けた制御信号を電気装置に与えるように構成した
ものである。

以上のように、特開 昭62−247410号の電気装置の付
勢制御装置では、ドライバは運転姿勢のままで、目を動
かしまたは口を動かすことにより電気装置を制御するこ
とができ、快適かつ安全な運転を可能とする。例えば発
声して何かを指示すると、この口形状に応じて電気装置
が制御され、発声しなくても発声のときと同じ口形状を
意図的に行うと、この口形状に応じて電気装置が制御さ
れ、音声に依存しないので車内の騒音による検出エラー
を排除することができる。

しかしながら上記装置は、撮像対象（例えば車両のド
ライバの顔）の明るさが顔各部で比較的に均一であると
き、代表的には、夜間に対向車がなく、顔を照らす車内
照明灯のみが実質的に撮像用の照明であるときは、ドラ
イバの頭および顔ならびに瞳の検出精度が高く、前記し
た効果が得られる。しかし、夜間に対向車や後続車の強
いヘッドライトをドライバが顔や頭に浴びたとき、ある
いは昼間の陽光が強いときには、照明灯によるよりも強
い外光がドライバの顔や頭で反射しあるいは遮られるこ
とがある。このとき、顔の一部分のみの反射光強度が強
く、他の部分は陰になって暗い、という不均一な顔照明
となることが多い。例えば右手に太陽があるときの晴天
下の走行では、右目周りが極めて明るく左目周りが極く
暗くなる。このような不均一照明のときには、上記装置
では、撮像画像全面を１つのしきい値で２値化するの
で、ドライバの瞳の検出精度が低下し、ドライバの口形
状検出精度も低下するという問題点があった。

上記問題点を解決するため、本発明者は、更に研究を
重ね、撮影画像内の所定部分（例えば顔）内の、隣接複
数領域（例えば右半分と左半分）のそれぞれにつき、第
１階調ヒストグラムを演算し、これに基づいて各領域の
しきい値を定めて画像階調情報を２値化して、撮像物
（例えば顔）の中の、前記隣接複数領域に及ぶ濃度階調
が２値的に切換わる境界（例えば頭髪と額の境界）を検
出し、検出した境界を基準とした狭い領域（例えば目を
含む領域）の画像階調情報の第２階調ヒストグラムを演
算し、これに基づいてしきい値を定めて、該狭い領域の
画像階調情報を２値化し、該狭い領域内の特定小部分
（例えば瞳）の位置を検出する検出手段を付加した、電
気装置の付勢制御装置を発明し出願した。

（特願 昭62−169325号） 階調ヒストグラムに基づくしきい値の設定と、該しき
い値に基づいた２値化処理は、画面の濃度が変動する場
合に、画面の中の背景（例えばバックシート）から、該
背景の前にある物（例えば頭部）を切出すのに適してお
り、また非対象照明と照明自身の明るさ変動があって
も、所要領域内で階調が急激に変化している部分（例え
ば瞳）を背景（例えば瞳周り）から、高精度で切出し分
離することが可能である。

従って、この特願 昭62−169325号によれば、物が非
対象に照明されたり、また照明自身に大きな明るさの変
動があっても、特定部分の検出を高精度で行うことが可
能である。

［発明が解決しようとする課題］ ところが、上述した特開 昭62−247410号および特願
昭62−169325によると、ドライバが遭遇する各種の運
転状況下において、狭い領域内の目標物（例えば瞳また
は口）を時系列を追って追跡検出することは可能となっ
たが、追跡を実施する狭い領域ウインドウ枠は予め所定
の寸法に固定したものであり、前記ウインドウ枠寸法を
小さく設定するときには、検出時間が速くなるが、追跡
中に目標物が枠内から逸脱する可能性が大きい。また、
枠寸法を大きく設定すると、追跡失敗の可能性は小さく
なるが、検出時間は長くなる。また検出に失敗すると、
初期ステップに戻って、画像境界領域の検出、広域ウイ
ンドウの設定、広域ウインドウによる目標物の再検出の
過程を経て、目標物を同一寸法の狭域ウインドウで再追
跡することが必要であり、追跡に失敗した後、再追跡を
可能とするまでに長時間を必要とする問題点がある。

すなわち、第9a図に示す従来技術の構成においては、
広域ウインドウによる目標物検出手段Ｇおよび狭域ウイ
ンドウによる目標物追跡手段Ｉにおいて、目標物の検出
または追跡に失敗すると、画像境界検出手段Ｅにもど
り、広域ウインドウ設定手段Ｆ、広域ウインドウにおけ
る目標物検出手段Ｇ、狭域ウインドウ設定手段Ｈを経
て、目標物追跡手段Ｉで再追跡するため、目標物を発
見、再追跡を可能とするまでに複雑なステップを経由
し、長時間を必要とする。

［課題を解決するための手段］ 本発明者は、上記課題を、目標物追跡手段で目標物を
追跡走査する過程で、所定時間毎に測定する目標物の移
動データを所定回数集積し、該所定回数分のデータの平
均値および分散値を算出し、さらに該平均値および分散
値を、新データ入力の都度逐次変更記憶する目標物の移
動の平均値および分散値算出手段Ｌと、 該平均値および分散値の初期値が決定すると、中域ウ
インドウの設定が可能であることを指示する中域ウイン
ドウ設定可能判定手段Ｍと、 該平均値及び分散値を用いて中域ウインドウを設定す
る中域ウインドウ設定手段Ｎと、 該設定された中域ウインドウ内で目標物を検出する中
域ウインドウによる目標物検出手段Ｐとを設けることに
より解決した。

［作 用］ 第9b図に示す本発明の構成図において、狭域ウインド
ウによる目標物追跡手段Ｉによって目標物を追跡する過
程で、所定時間毎に目標物の移動データを所定回数集積
し、該所定回数分のデータの平均値および分散値を算出
し、算出を終えると、中域ウインドウ設定可能判定手段
Ｍの判定フラッグDFLAGを１にセットする。

中域ウインドウ設定手段Ｎは、平均値および分散値算
出手段Ｌで算出記憶されている平均値および分散値を用
い、統計的に保証された目標物捕捉確率の高い中域ウイ
ンドウを設定し、この中域ウインドウを使用して、目標
物検出手段Ｐにより、目標物を検出する。

狭域ウインドウによる目標物追跡手段Ｉで目標物を追
跡中に目標物の追跡に失敗すると、中域ウインドウ設定
可能判定手段Ｍへ戻り、DFLAGが１セットされておれ
ば、中域ウインドウの設定が可能と判断し、中域ウイン
ドウ判定手段Ｎおよび中域ウインドウによる目標物検出
手段Ｐを経て、目標物を速やかに再検出し、狭域ウイン
ドウによる目標物追跡手段Ｉで、目標物の追跡を再開す
る。

従って、この装置の起動時の初期状態で、中域ウイン
ドウ設定可能判定手段ＭでDFLAGがＯにセットされてい
る間は、目標物の追跡に失敗すると、画像境界検出手段
Ｅ、広域ウインドウ設定手段Ｆ、広域ウインドウによる
目標物検出手段Ｇ、狭域ウインドウ設定手段Ｈを経て、
目標物の再追跡を必要とするが、所定時間が経過して、
DFLAGが１にセットされた以降は、中域ウインドウ設定
手段Ｎ、中域ウインドウによる目標物検出手段Ｐを備え
るバイパス回路により、迅速な目標物の再追跡を可能と
する。

［実施例］ 第1a図に本発明の一実施例の構成ブロックダイヤグラ
ムを示す。この実施例は車上搭載電気装置を、ドライバ
の顔の瞳および口の意図的な動きに応答してオン／オフ
およびアップ／ダウン等の制御を行う車上制御装置であ
る。

画像入力手段Ａはテレビカメラ３とA/Dコンバータ18
とインターフェイス15、17とから構成され、テレビカメ
ラ３は、１フレーム256×256画素の撮像信号（アナログ
ビデオ信号）を得る２次元CCD（電荷結合デバイス）を
備えている。このテレビカメラ３に、インターフェイス
17を介して、マイクロプロセッサ６がオン／オフの信号
を与える。テレビカメラ３は、１フレーム256×256画素
の明るさ信号を繰返してA/Dコンバータ18に出力すると
ともに、画素同期パルスをA/Dコンバータ18にA/D変換同
期パルスとして与え、フレーム同期パルス、ライン同期
パルスおよび画素同期パルスをインターフェイス15を介
してマイクロプロセッサ６に与える。A/Dコンバータ18
は、この例では、ビデオ信号を８ビット（256階調）の
デジタルデータに変換する。

照明手段Ｂは照明灯４と照明コントローラ19とで構成
されており、照明灯４は発光源としてフィラメントを用
いる白熱電球であり、照明コントローラ19は直流電圧を
サイリスタチヨッパでチョッピングして照明灯４に印加
する。照明コントローラ19は、制御信号がオフを示すも
のである消灯のときは、サイリスタチョッパをオフにし
て、制御信号がオンの点灯のときには、まず標準のデュ
ーティでサイリスタチョッパをオン／オフ制御し、アッ
プ（明るさ上げ）を指示する信号が到来すると１ステッ
プだけデューティを高く更新げ）を指示する信号が到来
すると１ステップだけデューティを低く更新設定し、ア
ップおよびダウンが限度になると、それぞれアップおよ
びダウンをそこで停止する。照明コントローラ19には、
マイクロプロセッサ６が、インターフェイス14を介し
て、前述のオン／オフ、アップ／ダウンの制御信号を与
える。

画像入力手段Ａのテレビカメラ３と、ドライバの少な
くとも顔部を照明する照明手段Ｂを構成する照明灯４
は、第1b図に示すように一体に構成されてインスツルメ
ントパネル２に、上下および左右に指向方向を調整自在
に固定されている。

マイクロプロセッサ６には、モードスイッチ5Eおよび
5Mが接続されて、目標物選択手段Ｃを構成している。ス
イッチ5Eは瞳応答モードを指定するためのものであり、
このスイッチ5Eが閉（瞳応答モードを指示）のときに、
マイクロプロセッサ６は、瞳の位置およびまばたきパタ
ーンに対応して、電気装置を制御する。

スイッチ5Mは、口応答モードを指定するものであり、
このスイッチ5Mが閉（口応答モードを指示）のときに、
マイクロプロセッサ６は、口の形状パターンに応答して
電気装置を制御する。

画像制御記憶手段Ｄのマイクロプロセッサ６は、撮像
データ（画像データ）の１フレーム分を読込むときに
は、フレーム同期パルスに同期して、フレームメモリ
（RAM）13に書込みを指示し、ライン同期パルス及び画
素同期パルスに同期してフレームメモリ13の書込みアド
レスを進める。

マイクロプロセッサ６には、画像データの演算を行う
もう一つの画像演算用マイクロプロセッサ８が接続され
ており、１フレーム分の２値化データ（１画素当たり１
ビットの画像黒の有無を示すデータ）を一時記憶するた
めのフレームメモリ（RAM）11、プロセッサ制御用のROM
9およびRAM10、バスコントローラ16および前述のフレー
ムメモリ13が接続され、更に制御対象の電気装置20〜30
および照明コントローラ19が接続されている。

画像演算用マイクロプロセッサ８は、入出力コントロ
ール用マイクロプロセッサ６の制御指令に従い、ROM9に
内蔵されたプログラムにより、フレームメモリ11,13に
記憶された画像情報を内蔵する。

中域ウインドウ設定可能判定手段 Ｍ 画像境界検出手段 Ｅ 広域ウインドウ設定手段 Ｆ 目標物検出手段 Ｇ 狭域ウインドウ設定手段 Ｈ 狭域ウインドウによる目標物追跡手段 Ｉ 目標物の移動の平均値、分散値算出手段 Ｌ 制御信号判別手段 Ｊ 中域ウインドウ設定手段 Ｎ 中域ウインドウによる目標物検出手段 Ｐ の各手段により、下記の演算処理を実施する。

中域ウインドウ設定可能判定手段Ｍは、目標物の移動
の平均値、分散値算出手段Ｌ内で目標物の動きの平均値
と分散値が計算されると、初期化で０にセットされてい
るフラッグDFLAGを１とし、DFLAG＝０のときは、中域ウ
インドウの設定を不可能とし、DFLAG＝１のときは、中
域ウインドウ設定手段Ｎの作動を可能とする。

画像境界検出手段Ｅは、送り込まれた画像情報を２値
化して、画像の境界を検出する。

広域ウインドウ設定手段Ｆは、検出された境界から目
標物を走査検出するための広域ウインドウを設定する。

目標検出手段Ｇは、前記広域ウインドウ内を走査して
目標物を検出する。

狭域ウインドウ設定手段Ｈは、検出した目標を追跡す
る狭域ウインドウを設定する。

中域ウインドウ設定手段Ｎは、前記目標物の移動の平
均値、分散値算出手段Ｌで算出された結果を使用して、
追跡に失敗して見失った目標物を検出する中域ウインド
ウを設定する。

中域ウインドウによる目標物検出手段Ｐは、該ウイン
ドウを使用して目標物を検出する。

目標物を追跡する狭域ウインドウの大きさと、ウイン
ドウをセットする中心位置（検出した目標物の中心）が
決定すると、新たに１フレーム分のデジタル画像情報を
取り込み、目標物追跡手段Ｉにより、目標物を追跡し、
追跡に失敗すると、手段Ｍに戻る。

目標物の移動の平均値、分散値算出手段Ｌは、所定時
間毎に追跡した目標物の移動データを所定回数集積し、
該所定回数のデータを平均値、分散値を算出し、更に該
平均値、分析値を、新データの入力の都度逐次更新記憶
する。また平均値、分析値の初期値を得ると、前記DFLA
Gを１にして、中域ウインドウ設定可能判定手段Ｍが設
定可能の判定を出すようにセットする。

制御信号判定手段Ｊは、追跡した目標物の運動パター
ンと所定のパターンとが一致すると、電気装置制御手段
Ｋに、制御信号を発信する。

以上の画像処理のシーケンスを要約すると、 （１）１フレーム分のデジタル画像情報は、当初はＭ→
Ｅ→Ｆ→Ｇ→Ｈ→Ｉ→Ｌ→Ｊ の各経路を辿り、目標物の追跡に成功している間は、 Ｊ→Ｉ→Ｌ→Ｊ→Ｉ を繰返し、追跡に失敗すると、 Ｉ→Ｍ→Ｅ→Ｆ→Ｇ→Ｈ→Ｉ→Ｌ→Ｊ と進んで処理される。

（２）追跡作業を繰返している間に手段Ｌで目標物の移
動の平均値、および分析値の算出が可能となった後に追
跡に失敗すると、 Ｉ→Ｍ→Ｎ→Ｐ→Ｉ→Ｌ→Ｊ と進み、追跡に成功している間は、 Ｊ→Ｉ→Ｌ→Ｊ→Ｉ を繰返す。

（３）手段Ｎで設定される中域ウインドウは、統計的と
目標捕捉確率の高いウインドウであるので、捕捉に失敗
する確率は非常に少なくなる。

また万一追跡に失敗する場合には、その都度手段Ｎで
最新の平均値、分析値による中域ウインドウが設定され
て、高速な目標物再追跡を可能とする。

本実施例では、２個のマイクロプロセッサを使用し
て、マイクロプロセッサ６を入出力コントロール用に、
マイクロプロセッサ８を演算用に使用しているが、勿論
１個のマイクロプロセッサで入出力コントロールおよび
演算処理を兼用させることも可能である。

電気装置制御手段Ｋは、照明コントローラ19を含め、
図示20〜29および30に示すコントローラから構成されて
いる。

ラジオコントローラ20は、ラジオの電源オン／オフお
よびボリューム（音量）のステップアップ／ダウンを電
気的に制御するものであり、付勢信号がオンを示すもの
であるとラジオ電源をオンにし、オフを示すものである
とラジオ電源をオフにし、アップを示す付勢信号が１回
到来するとボリュームを１ステップアップする。アップ
およびダウンにおいて限度に達するとそこでアップおよ
びダウンをそれぞれ停止する。

エアコンコントローラ21はエアコンのオン／オフのみ
を制御する。室温や空気汚れに対応した、冷房／暖房選
択、パワーアップ／ダウン、クリーナのオン／オフ等
は、エアコン本体（図示せず）のコントローラが制御す
る。

オートドライブ（自動定速走行）ユニットは、オート
ドライブが指示されると、その時の走行車速を記憶して
その後実車速が記憶車速になるようにスロットル開度を
制御し、オートドライブが解除される（オフ）と、この
スロットル開度制御を停止する。あるいは、オートドラ
イブが指示されると、予め設定または記憶されている車
速値、もしくはこれらでその時の車速を修正した車速値
に実車速が合致するようにスロットル開度を制御し、オ
ートドライブが解除される（オフ）と、このスロットル
開度制御を停止する。いずれの対様でも、アップ指示が
あると目標車速を１ステップ高く更新設定し、ダウンが
指示されると１ステップ低く更新設定する。オートドラ
イブコントローラ22は、このオン／オフおよびアップ／
ダウンを制御するものであり、付勢信号がオンを示すも
のであると、オートドライブを開始し、アップを示すも
のであると目標車速を１ステップ高く更新設定し、ダウ
ンを示すものであると１ステップ低く更新設定する。

ドアロックコントローラ23は、ドライバ席ドアに付さ
れているドライバ席ロック／アンロックスイッチおよび
全ドアロック／アンロックスイッチ、および、その他の
ドアに付されている各ドアロック／アンロック付勢を制
御し、かつ、付勢信号（ON/OFF）がオンを示すものであ
ると、他の阻止条件が成立していない限り、各ドアを順
次にロック付勢する。オフを示す付勢信号が到来する
と、他の阻止条件が成立していない限り、各ドアを順次
アンロック付勢する。

サンルーフコントローラ24は、この例ではスライディ
ング形のサンルーフを開閉制御するものであり、通常備
わっているスイッチの操作に応答してサンルーフを開閉
駆動制御すると共に、付勢信号（ON/OFF/UP/DOWN）がオ
ンを示すものであるときには、サンルーフを全開駆動制
御し、オフを示すものであるときには全閉駆動制御し、
アップを示すものであるときには１ステップ（所定開
度）だけ開駆動制御し、ダウンを示すものであるときに
は１ステップだけ閉駆動する。

ウインドウコントローラ25は、各ドアのスライドガラ
スの開閉（上下）駆動制御を行うものである。コントロ
ーラ25は、通常備わっているスイッチ操作に応じてスラ
イドガラスの開閉駆動制御をするとともに、付勢信号
（ON/OFF/UP/DOWN）がオンを示すものであると、ドライ
バ席ドアのスライドガラスを全閉駆動制御し、オフを示
すものであると全開駆動制御し、アップを示すものであ
ると１ステップだけ閉駆動制御し、ダウンを示すもので
あると１ステップだけ開駆動制御する。

ワイパコントローラ26は、通常備わっているスイッチ
操作に応答してワイパの駆動制御をし、付勢信号（ON/O
FF/UP/DOWN）がオンを示すときには、標準速度でワイパ
駆動付勢し、オフを示すときにはワイパ駆動を停止して
待機位置に位置決めし、アップを示すときにはワイパ速
度を１ステップ高く変更し、ダウンを示すときには１ス
テップ低く設定する。

シガーライターコントローラ27は、シガーライター引
込み／押出し機構を、付勢信号（ON/OFF）がオンになる
と引込みに、付勢信号がオフを示すものであると、所定
温度になっていなくても押出しに付勢する。他は従来と
同様であり、引込み状態で機械的な接触によりシガーラ
イターが通電され、所定温度でシガーライターが自動的
に押し出されて通電が断たれる。

ヘッドライトコントローラ28は、大灯／小灯／オフス
イッチに応答して該スイッチが大灯位置にあるときには
スモールライトを点灯しヘッドライトを格納位置よりあ
げて点灯し、角度指示スイッチの操作に応答して照射角
を設定い、小灯位置になるとヘッドライトを消灯してス
モールライトのみを点灯し、オフ位置になるとスモール
ライトを消灯してヘッドライトを格納するのに加えて、
付勢信号（ON/OFF/UP/DOWN）がオンを示すものである
と、スモールライトを点灯し、ヘッドライトを格納位置
より上げて点灯し、付勢信号がアップを指示するもので
あるとヘッドライトの照射角を上方に１ステップ高く
し、ダウン指示するものであると１ステップ低くし、オ
フであるとヘッドライトを消灯しスモールライトの点灯
のみとする。

デフロスタコントローラ29は、通常備わっているオン
／オフスイッチ操作に応じてリアウインドの埋込みヒー
ターに通電／非通電すると共に、付勢信号（ON/OFF）が
オンのときには埋込みヒータに通電し、オフのときには
通電を停止する。

ブザーコントローラ30は、付勢信号がオンのときブザ
ー（図示せず）を付勢し、オフのときブザーを停止す
る。このブザーは後述するように、ドライバが目を閉じ
た状態が所定時間以上継続すると（居眠りと見なして）
付勢される。また、モードスイッチ5Eまたは5Mが閉じら
れているとき（瞳応答制御およびまたは口応答制御が指
示されているとき）に画像パターン処理が不能となった
ときに付勢される。

以上が、実施例のブロックダイヤグラムによる本発明
の構成の概要であり、以下フローチャートにより説明す
る。第2a図および第2b図に本発明のメインフローチャー
トを、第3a図〜第3u図に各機能手段の構造作用を説明す
るサブフローチャートを図示する。

第2a図および第2b図を参照して、電源が投入されると
マイクロプロセッサ６は、初期化（ステップ１、以下カ
ット内ではステップという語を省略する）を実行し、入
出力ポートを初期化して、電気装置19〜30およびテレビ
カメラ３を待機状態（オフ）に設定し、内部レジスタ、
カウンタ、フラグ、およびRAM10,11,13をクリアする。
そして目標物選定手段Ｃのスイッチ5Eおよび5Mのいずれ
かか閉であると、マイクロプロセッサ６は、照明手段Ｅ
の照明灯コントローラ19およびテレビカメラ３にオンを
示す付勢信号を与える。5E、5Mの両者とも開の状態であ
ると、照明灯コントローラ19およびテレビカメラ３にオ
フを示す付勢信号を与え、また電気装置制御手段Ｋのブ
ザーコントローラ30にオンを示す付勢信号を与えて、ド
ライバーに警告を与える。

モード選択スイッチ5Eおよび5Mの少なくとも一方を閉
とすることにより照明コントローラ19および画像入力手
段Ａのテレビカメラ３にオンを示す付勢信号を与え、そ
れらの所定時間（照明灯の明るさが安定し、ドライバの
顔が運転時の位置に静止するのを待つ時間）の後に、テ
レビカメラ３からのフレーム同期パルスに同期して、１
フレーム（256X256画素）分の画像データ（１画素当た
り８ビットの階調データ）は、フレームメモリ13へ書込
む（５）。

マイクロプロセッサ６は次に、メモリ13の画像データ
の内、最低レベル（階調0:明るさが最高）の階調から最
高レベル（階調255:最も暗い）の階調にわたって、その
階調を有する画素数を集計し、明るさヒストグラムを作
成してRAM10メモリする（６）。のヒストグラムとROM9
にメモリしている標準ヒストグラムの偏差値（各階調当
たりの偏差）を求めて、偏差の２乗を加算し、加算値を
参照値と比較して（７）、加算値が所定範囲を外れてい
る時には、偏差の和に対応してアップまたはダウンを指
示する付勢信号を照明灯コントローラ19に与え（10）、
それから所定時間（照明灯４の明るさが新設定に対応し
た明るさに安定するまでの時間）の後に、また１フレー
ムの画像データをメモリ13に読み込む（５）。このよう
にして、画像データのヒストグラムが所定の範囲のもの
になるように照明灯４の明るさを調整する（5,6,7,1
0）。

この調整において、照明コントローラ19は、最高の明
るさに設定したときと最低の明るさに設定したときに、
それぞれそれを知らせる信号をマイクロプロセッサ６に
与え、プロセッサ６は、最低の明るさに設定したことを
示す信号を受ける（８）と、照明コントローラ19にオフ
を指示し（11）、そこで明るさの調整を終了し、照明灯
４がオフしてから後に１フレームの画像データの読取り
を行ってメモリ13に書込む（12）。最高の明るさに設定
したことを示す信号を受けたときには、そこで明るさの
調整を終了する（９）。

明るさの調整を終ると、中域ウインドウの設定が可能
であるか否かを、中域ウインドウ設定可能判定手段Ｍを
構成する判定手段（12A）で検定する。作動開始の初期
では、初期化（１）のステップで（12A）はクリヤさ
れ、DFLAG＝０となっているから、「頭部検出用しきい
値THhの決定」サブルーチン（13）へ進む。

以下画像境界検出手段Ｅおよび広域ウインドウ設定手
段Ｆを構成する 「頭部検出用しきい値THhの決定」サブルーチン（13） 「額検出用しきい値THfの決定」サブルーチン（20） 「瞳検出用しきい値THeの決定」サブルーチン（25） と、目標物検出手段Ｇを構成する 「頭部検出」 サブルーチン（15） 「額検出」 サブルーチン（22） 「瞳検出」 サブルーチン（27） とを順次実行し、 狭域ウインドウ設定手段Ｈを構成する 「瞳追跡用ウインドウWeの設定」サブルーチン（34）お
よび 「口追跡用ウインドウWmの設定」サブルーチン（39） を経て、瞳の中心位置ECX、ECY、口の中心位置MCX、MC
Y、および瞳追跡用狭域ウインドウWeおよび口追跡用狭
域ウインドウWmの設定を終り、瞳または口を追跡する準
備を完了する。

これまでのステップを再び第2a、2b図によって順を追
って説明する。

「頭部検出用しきい値THhの決定」のサブルーチン（1
3）でしきい値THhを定め、次に、頭部検出成否を示すデ
ータを格納するフラグレジスタSFLAGにまず「0:不成
功」を書込み（14）、「頭部検出」のサブルーチン（1
5）で、しきい値THhを用いて頭部先端位置ATY（第4c
図）を検出する。検出に成功したときはサブルーチン
（15）でフラグレジスタSFLAGに１を書込み、不成功の
ときは該レジスタSFLAGの内容は０のままとする。

サブルーチン（15）を終了するとレジスタSFLAGの内
容をチェックして（16）、０であるときには、エラー
（不成功）回数をカウントするためのレジスタIPDFの内
容を１大きい値に更新し（17）、それが16以上になって
いると、ブザーコントローラ30にブザーオンを指示して
（19）、また画像読取り（５）に戻る。16未満のときに
はブザーは付勢せずに画像読取り（５）に戻る。

ステップ16のチェックにおいてレジスタSFLAGの内容
が０を越える数であると、「額検出用しきい値THfの設
定」のサブルーチン（20）を実行する。そしてフラグレ
ジスタSFLAGをクリアして（21）、「額検出」のサブル
ーチン（22）を実行する。このサブルーチン（22）で額
検出に成功するとレジスタSFLAGに１を書込み、不成功
のときにはレジスタSFLAGの内容は０のままとする。

「額検出」のサブルーチン（22）を終了するとレジス
タSFLAGの内容をチェックして（23）、０であるときに
は、エラー（不成功）回数をカウントするためのレジス
タIPDFの内容を１大きい値に更新し（17）、それが16以
上になっているかをチェックする（18）。16以上になっ
ているとブザーコントローラ30にブザーオンを指示し
（19）、また画像読取り（５）に戻る。16未満のときに
はブザーは付勢せずに画像読取り（５）に戻る。

ステップ23のチェックにおいてレジスタSFLAGの内容
が０を越える数であったときには、瞳検出用の定数を格
納するレジスタK1およびK2にそれぞれ0.05および0.4を
書込んで（24）、「瞳検出用しきい値THeの決定」のサ
ブルーチン（25）を実行する。

サブルーチン（25）を終了すると、フラグレジスタSF
LAGを初期化して（26）、「瞳検出」のサブルーチン（2
7）を実行する。このサブルーチン（27）で第２条件
（細かい条件）を満たす検出を行うとレジスタSFLAGに
２を書込み、第２条件は満たさないが第１条件（粗い条
件）を満たす検出を行うとレジスタSFLAGに１を書込
む。第１および第２条件のいずれも満たさない検出に終
ったときにはレジスタSFLAGの内容は０とする。

サブルーチン（27）を終了するとレジスタSFLAGの内
容をチェックして（28,29）、それが２のときにはステ
ップ31以下の瞳の中心位置の演算に進む。レジスタSFLA
Gの内容が１のときには、「しきい値変更」のサブルー
チン（30）を実行して、再び「瞳検出用しきい値THeの
決定」のサブルーチン（25）を実行する。レジスタSFLA
Gの内容が０であったときには、ステップ17に進む。

さて、レジスタSFLAGの内容が２のときには、まずブ
ザーコントローラ19にブザーオフを指示し（31）、次に
エラーカウントレジスタIPDFをクリアする（32）。次に
「瞳の中心位置ECX、ECYの演算」のサブルーチン（33）
を実行して瞳の中心位置データを得て、「瞳追跡用ウイ
ンドウWeの設定」のサブルーチン（34）で瞳の中心位置
を中心とする所定面積の小領域を定める。次にサブルー
チン（35）でまゆ毛の両端BRX,BLX（第4i図）を検出
し、サブルーチン（36）で口領域を算出し、サブルーチ
ン（38）で口の中心位置MCX,MCY（第4j図）を検出し、
サブルーチン（39）で口の中心位置を中心とする所定面
積の小領域Wmを定める。

さて、瞳追跡用ウインドウWeおよび口追跡用ウインド
ウWmの大きさと、瞳および口の現在の中心座標が、これ
までのステップで決定されると、中域ウインドウ設定可
能判定手段（12A）で分離したバイパスと合流し、以下
瞳または口の追跡作業を開始する。

先ず新らしい画像を取り込み（40）、目標物設定手段
Ｃのスイッチ５を点検し（41）（42）、目標物追跡手段
Ｉを構成する「瞳の追跡」サブルーチン（43）に進んで
瞳の移動を追跡し、成功すれば、目標物の移動の平均
値、分散値算出手段Ｌであるサブルーチン（45）へ進
み、追跡に失敗すれば（５）へ戻る。

サブルーチン（45）では、同期速度（1/30秒）で逐次
投入される画像の瞳中心位置の座標データを所定時間
（例えば１秒）毎に所定回数（例えば300回）収集し、
所定回数分のデータの平均値および分散値を算出し、枠
設定可能判定フラグレジスタDFLAGを１にセットし、更
に新データの入力の都度、瞳中心の動きの平均値および
分散値を更新し、常時最新のウインドウ設定用平均値お
よび分散値を記憶する。この詳細については、当該サブ
ルーチン（45）の説明において詳述する。

次いで制御信号判別手段Ｊに進み、「瞳のまばたき判
定」サブルーチン（46）で、瞳のまばたきの時間および
その間隔を算出して、居眠り運転中と判定すれば、ブザ
ーで警告を発し、意図的な信号用まばたきと判定すれ
ば、所定の信号を電気装置制御手段Ｋへ送信する。

続いて次の「瞳の移動方向による判定」ルーチン（4
7）に移り、操作したい機器の所定部に注目したときの
瞳の移動ベクトルを所定値と比較することより、所望の
電気装置制御手段Ｋへ信号を送って（40）へリターンす
る。

以上はこの装置の操作を開始した初期状態でのステッ
プであり、「目標物移動の平均値および分散値の算出」
ルーチン（45）で所定回数（例えば300回）データが集
積されるまでは、瞳の追跡に失敗すると（瞳の中心位置
を決定できないときは）、失敗の都度ステップ５に戻っ
て、上述の各ステップを経由、ステップ33で瞳の中心位
置を求め直す。

しかしながら、ステップ45で所定回数（例えば300
回）データが集積された後は、DFLAGが１にセットされ
ることにより、追跡に失敗するとステップ12Aの判定
で、ステップ50に進み、ステップ45で記憶されている平
均値分散値によって、中域ウインドウを設定し、この中
域ウインドウにより、ステップ51で瞳の中心を検出し、
ステップ40に戻って画像を取り込み、狭域ウインドウWe
で追跡を続行できることになる（43）。

従ってステップ12AでDFLAGが１にセットされた後は、
追跡に失敗しなければ、ステップ40とステップ47との間
で繰返し追跡が高速で行われ、万一追跡に失敗しても、
ステップ50で最新の中域ウインドウが設定され、迅速な
追跡再開が可能となる。すなわち、設定手段Ｎを構成す
る「中域ウインドウの設定」サブルーチン（50）で、新
らしい検出用ウインドウを設定し、高精度目標物検出手
段Ｐを構成する「中域ウインドウによる瞳の検出」サブ
ルーチン（51）で、瞳の検出を行い、検出に成功すれ
ば、ステップ（40）の画像取込みへ進んで、瞳の追跡を
続行する。

以上が瞳を追跡するときのメインルーチンであり、口
を追跡するルーチンは、ステップ48に、「口の追跡」お
よび「口の移動の分散値算出」サブルーチンを設け、前
記の中域ウインドウ設定手段Ｎおよび中域ウインドウに
よる目標物検出手段Ｐを、口用に変換することにより可
能となる。

以下各サブルーチンの詳細について説明する。

第3a図を参照して「頭部検出用しきい値THhの決定」
のサブルーチン（13）の内容を説明する。このサブルー
チン（13）は、マイクロプロセッサ６の指示に応答して
マイクロプロセッサ８が実行する。撮像画面において、
例えば第4a図に示すように、運転席のドライバの顔のほ
ぼ全体が１フレームFim内に納まり、しかも頭部の先端
とその背景（車両ルーフの内面）とが共に存在するよう
に、カメラ３の撮像倍率が定められている。マイクロプ
ロセッサ８は、まず頭部先端と背景とが共に存在する確
率が最も高いように設定（固定）されている小領域Htp
を、メモリ13の画像データ処理領域に定めて（55）、領
域Htpの画像データの単純階調ヒストグラムを演算する
（56）。先に説明したように、画像データは８ビットで
あり、階調は０〜255の、256階調である。この階調ヒス
トグラムの演算においてプロセッサ８は、領域Htp内の
全画像データを所定順に読出して、同一階調を示す画像
の数を、該階調ごとにカウントする。

次にプロセッサ８は、レジスタBmaxをクリアして（5
7）、階調ヒストグラムの平均濃度Mtを算出する（5
8）。そして階調レジスタｉをクリア（階調０を示すデ
ータの書込み）して（59）、階調ヒストグラムの中の、
階調ｉ（レジスタｉの内容）未満の画素数w1およびその
平均濃度M1、ならびに、階調ｉ以上の画素数w2およびそ
の平均濃度M2を算出する（60）。すなわち、階調ヒスト
グラムを、階調ｉ未満の第１グループと階調ｉ以上の第
２グループに区分して、第１グループの画素数w1と平均
濃度M1、および第２グループの画素数w2と平均濃度M2を
算出する。次に、Ｂ＝w1（M1−Mt）^２＋w2（M2−Mt）^２
を算出する（61）。すなわち、第１グループの、全体濃
度Mtに対するグループ濃度偏差の二乗と、第２グループ
のそれとの和、つまり、第１グループの、識別度Ｂを算
出する。なお、階調ｉが領域Htpを濃度が異なる２グル
ープに明確に区別するものであるときにＢの値が大き
い。すなわちＢの値が大きいｉが、領域Htpにおいて背
景と頭部（の黒髪）とを区分するしきい値である。

プロセッサ８は次に、算出したＢがレジスタBmaxの内
容以上であるかをチェックして（62）、是であるとＢを
レジスタBmaxに更新書込みして（63）、しきい値レジス
タTHhにｉを書込む。そしてレジスタｉの内容を、その
ときの内容に１を加えたものに更新する（65）。ステッ
プ62で、ＢがレジスタBmaxの内容未満であったときに
は、そのままステップ65に進む。

次にプロセッサ８は、レジスタｉの内容ｉが256以上
になっている（全階調についてＢ演算を終了している）
か否かをチェックする（66）。否であるとまたステップ
60、61の演算を行う。このようにして、レジスタｉの内
容ｉが256以上になったときには、プロセッサ８がプロ
セッサ６に処理終了を報知し、プロセッサ６がメインル
ーチン（第2a図）の進行を再開（ステップ14への進行）
する。

このとき、階調０〜255のそれぞれについてＢ演算（6
0,61）が終了しており、レジスタBmaxには、演算で得た
Ｂ全値のうちの最高値が書込まれ、しきい値レジスタTH
hには、最高値を得たときの階調ｉすなわちしきい値THh
が書き込まれている。参考のため、第4b図に、第4a図に
示す画像Fimを、このようにして得たしきい値THhで２値
化した場合の２値化画像を示す。

ステップ14でプロセッサ６は、レジスタSFLAGをクリ
アする。そしてプロセッサ８に「頭部検出」のサブルー
チン（15）の実行を指示する。

第3b図を参照して「頭部検出」のサブルーチン（15）
の内容を説明する。プロセッサ８は、領域Htpを画面の
副走査方向Ｙに２倍に拡大した領域2Htp（第4b図に示
す）をメモリ13の画像データ読出し領域に設定して（6
7）、ラインレジスタLNに、領域2Htpの主走査方向Ｘの
最小アドレスデータ（右端位置）を書込む68）。

次に、ｘアドレスがLN（レジスタLNの内容：以下、レ
ジスタの記号と同じ記号は、該記号が付されたレジスタ
の内容を示す）の垂直ライン（ｙ方向に延びるライン）
上の各画素の画像データをメモリ13より順次に読み出す
とともに、画像データ〔0:最高の明るさ（白）/255:最
低の明るさ（黒）〕をTHhで２値化して、黒（THh以上の
階調データ）の画素数BNPをカウントする（69）。そし
てBNPが50を越えるかをチェックして（76）、50を越え
ないとLNが領域2Htpの左端値Xmaxに達したかをチェック
し（71）、達していないとレジスタLNの内容を１大きい
値に更新して（72）、また垂直ラインLNの黒画素数をカ
ウントする（69）。このようにして、垂直ラインの１つ
について黒画素数BNPが50を越えると、そこが頭の右端
であるとして、そのときのLNを右端レジスタARXに書込
む（73）。以上が頭部の右端位置ARXの検出である。

次のステップ74〜79では、同様にして頭部の左端位置
ALXを検出して、これを左端レジスタALXに書込む。第4c
図に右端位置ARXおよび左端位置ALXを示す。

プロセッサ８は次に、頭部AW＝ALX−ARXを演算してこ
れをレジスタAWに書込み（80）、今度はラインレジスタ
LNに、領域2Htpの上端のＹアドレスYminを書込んで（8
1）、水平ラインLNの、THh以上の黒画素数BNPをカウン
トする（82）。次にBNPがAW/2を越えているか否かをチ
ェックして、AW/2を越えないとレジスタLNの内容が領域
2Htpの下端位置Ymaxに達したかをチェックして（84）、
達していないとレジスタLNの内容を１大きい値に更新し
て（85）、また水平ラインLNの黒画素数をカウントする
（82）。このようにして水平ラインの１つについて黒画
素数BNPがAW/2を越えると、そこが頭の先端であるとし
て、そのときのLNを先端レジスタATYに書込む（86）、
フラグレジスタSFLAGに１を書込む（87）。以上が頭部
の先端位置ATYの検出である。これを終了するとプロセ
ッサ８はプロセッサ６に処理終了を報知する。

プロセッサ６は、この報知に応答してメインルーチン
の進行を再開して、まずレジスタSFLAGの内容が０か否
かをチェックして（16）、それが０でない（頭部検出に
成功している）と、プロセッサ８に「額検出用しきい値
THhの決定」サブルーチン（20）の実行を指示する。

第3c図に「額検出用しきい値THfの決定」のサブルー
チン（20）の内容を示す。プロセッサ８は、このサブル
ーチン（20）ではまず、サブルーチン（88）を実行し
て、Ｘ＝ARXからＸ＝ALX（第4c図参照）の範囲を左右に
２分した、右半分の領域（Ｘ＝ARX側）のしきい値THfr
を、前述の「頭部検出用しきい値THhの決定」のサブル
ーチン（13）の処理と同様にして、単純階調ヒストグラ
ム演算により決定し、次のサブルーチン（89）で、同様
にして左半分の領域（Ｘ＝ALX側）のしきい値THf_Lを決
定する。次にプロセッサ８は、しきい値THfrとしきい値
THf_Lとを比較して（90）、THf_LがTHfrより大きいとレジ
スタTHfmにTHf_Lを書込み（91）、THfrがTHf_L以上のとき
にはレジスタTHfmにTHfrを書込む（91）。次に、Ｘ＝AR
XからＸ＝ALXの範囲を第4c図に示すように領域１〜３に
３等分して、領域１にレジスタTHfrのしきい値THfrを、
領域２にレジスタTHfmのしきい値THfmを、また領域３に
レジスタTHf_Lのしきい値THf_Lを割り当てる（93）。ここ
でプロセッサ８はプロセッサ６に処理終了を報知する。
プロセッサ６はこれに応答してレジスタSFLAGをクリア
して（21）、プロセッサ８に「額検出」のサブルーチン
（22）の実行を指示する。

「額検出」のサブルーチン（22）の内容を第3d図に示
す。プロセッサ８は、ラインレジスタLNに頭先端位置AT
Yを書込み（94）、レジスタMXL、レジスタCKおよびレジ
スタRLをクリアし、レジスタXPに頭右端位置ARXを書込
む（95）。次にｙアドレスがLNの水平ラインのARXからA
LXまでの範囲の画素の画像データを順次に読み出して、
該画素が領域１〜３のいずれにあるかをチェックして、
領域１にあるときにはTHfrを、領域２にあるときにはTH
fmを、また領域３にあるときにはTHf_Lをしきい値として
画像データを２値化して、２値化により白が得られると
そのランレングス（連続長）RLをカウントし、ラインLN
の白ランレングスの最高値をレジスタMXLに書込む（9
6、101〜112）。途中で黒が現われると、それまでのカ
ウント値RLをMXLと比較して、今回のカウント値RLがMXL
より大きいと、これをレジスタMXLに更新書込みしてレ
ジスタPLをクリアし、その後白が現われると、またラン
レングスカウントを開始する。ｙアドレスがLNの水平ラ
インのARXからALXまでの範囲につきこれを終了したとき
には、レジスタMXLに該水平ライン中の白画素数連続長
の最長値が書込まれていることになる。

ここでプロセッサ６は、ステップ96からステップ97に
進んで、最長ランレングスMXLがAW/2を越えているかを
チェックする。越えていないと、LNが最大値255になっ
ているかをチェックして（98）、255になっていないと
レジスタLNの内容を１大きい数に更新して（99）、ま
た、ステップ95以下の白ランレングス最大値の検出を行
う。255になっていると、これは額検出に失敗したこと
を意味する（レジスタSFLAGに１を書き込まないでメイ
ンルーチンに戻るので、メインルーチンのステップ23か
らステップ17に進むことになる）。

さて、ステップ97でMXL＞AW/2であると、このときのL
Nが額の上位置HWにHXLを書込み、額位置レジスタHWにMX
Lを書込み、額位置レジスタHTYにLNを書込み、レジスタ
SFLAGに１を書込む（100）。これを終了すると、プロセ
ッサ８はプロセッサ６に処理終了を報知する。この時点
では、レジスタHTYに額の上位置ATYが、レジスタHRXに
額の右端位置HRXが、レジスタHLXに額の左端位置HLX
が、またレジスタHWに額上端の幅HWが、書込まれてい
る。これらを第4d図に示す。

プロセッサ６は、上記終了報知を受けると、フラグレ
ジスタSFLAGの内容をチェックする（23）。すなわち額
検出に成功したか否かをチェックする。そしてSFLAGの
内容が０（失敗）であるとステップ17に進む。１（成
功）であると、レジスタK₁に0.05を、レジスタK₂に0.4
を書込んで（24）、プロセッサ８に、「瞳検出用しきい
値THeの決定」のサブルーチン（25）の実行を指示す
る。

第3e図に、「瞳検出用しきい値THeの決定」のサブル
ーチン（25）の内容を示す。これは、画面の領域Sd（第
4d図）において、眉毛、瞳などの縁（階調が極端に変化
する縁：黒エッジ）である画素の総和が、それらの画素
を他と区分するのに適した所定量、となるしきい値THe
を検出するものである。プロセッサ８は、まず座標（HR
X、HTY）と（HRX＋HW/2、HTY＋HW）とを対角点とする領
域Sdを定めて（113）、領域Sdの差分階調ヒストグラム
を演算する（114）。すなわち、領域Sd内に存在する画
素の画像データが示す階調をｉとし、階調ｉである画素
のSd内の数をniとし、これらの画素それぞれｊの階調ｉ
より、ｙ方向で画素ｊより１つ前（ｙが１小さい値）の
画素の階調を減算した差分をdDjとすると、階調ｉ（０
〜255）のそれぞれについて、差分の２乗平均値 DFMi＝〔Σ（dDj）^２〕/ni を算出する。なお、差分の絶対値の平均値でもよい。そ
して、平均値DFMiが最高値DFMmaxである階調ｉから、該
階調ｉをしきい値に定めて（115）、領域Sdの画像デー
タを２値化して、これにより黒となる画素の数Sbをカウ
ントして（116）、領域Sdの全画素数Ｓに対するSbの比S
b/Sが、所定範囲K₁＜Sb/S＜K₂にあるかをチェックする
（117）。K₁およびK₂は、それぞれメインルーチン（第2
a図）のステップ24で設定した0.05及び0.4である。該所
定範囲にないと、階調ｉを、次に大きい、差分の２乗平
均値をもたらした階調に更新して（118）、それをしき
い値としてSdの画像データを２値化し、２値化画像の黒
画素数Ｓが、同様にK₁＜Sb/S＜K₂を満たすものであるか
をチェックする（116、117）。該所定範囲にあると、そ
のときレジスタｉに書込んでいる階調ｉをしきい値レジ
スタTHeに書込み（119）、プロセッサ６に処理終了を報
知する。

プロセッサ６はここでレジスタSFLAGをクリアして（2
6）、プロセッサ８に「瞳検出」のサブルーチン（27）
の実行を指示する。

第3f図に「瞳検出」のサブルーチン（27）の内容を示
す。プロセッサ８はこれにおいて、領域Sdの上端HTYか
ら下端HTY＋HWまでの範囲の画像データをTHeで２値化し
て、２値化画像のなかの黒領域それぞれの寸法を演算し
て、それが目の寸法に合致するか否かを判定し、良く合
致する場合にはレジスタSFLAGに２を書込み、良く合致
しないが目らしきものを検出している場合にはSFLAGに
１を書込む。いずれも検出できなかったときにはSFLAG
の内容は０のままとする。

すなわち、まずレジスタCKをクリアし、ラインレジス
タLNに額線HTYの次のラインNo.を書込み（120）、水平
ラインLNの、Sd領域内の画像データをしきい値THeで２
値化して、これにより黒となる画素の数BPNを検出する
（121）。そしてそのラインの黒画素数BPNを４と比較す
る（122）。これは、そのラインがある黒領域のＹ方向
始端であるか否かを検出するためである。４以下（始端
ではない）であると、Ｙ方向走査位置がSdの下端に達し
ているか否かをチェックして（123）、達していないと
レジスタLNの内容を１大きい数に更新して（124）、ま
たラインLNの黒画素数BPNを検出し（121）、それを４と
比較する（122）。BPNが４を越すと、ある黒領域のＹ方
向始端を検出したとして、最大黒画素数レジスタMXLにB
PNを書込み、縦幅レジスタＷをクリアし、黒領域上始端
レジスタTPにLNを書込み、黒領域下終端レジスタBPにも
LNを書込む（127）。そしてＹ方向走査位置がSdの下端
に達しているか否かをチェックして（128）、達してい
ないと、レジスタLNの内容を１大きい数に更新し（12
9）、ステップ121と同様に黒点数をカウントする（13
0）。そしてカウント値BPNを４と比較して（131）、４
以上であるとまだ黒領域がこのLNラインにもあると見
て、最高黒点数レジスタMXLの内容をBPNと比較し（13
2）、BPNの方が大きいとレジスタMXLにBPNを更新書込み
する（133）。そしてまたＹ方向走査位置がSdの下端に
達しているか否かをチェックして（128）、達していな
いと同様に次のラインの黒点数のカウント（129、130）
及びカウント値BPNの４との比較（131）を行う。順次に
ライン位置LNを大きいｙ値に更新してこれを行い、BPN
が４未満となると、１つの黒領域のｙ方向下端に達した
として、下端位置レジスタBPにLNを書込み、縦幅レジス
タＷに、BP−TP＋１を書込む（134）。そして、このよ
うに検出した黒領域の縦幅ＷがHW/20を越えている（瞳
の場合は越える）かをチェックして（135）、越えてい
ると横幅MXLがHW/15を越えている（瞳の場合は越える）
かをチェックして（136）、越えていると縦幅に対する
横幅の比MXL/W（瞳の場合、まぶたがふさがっていない
と１である）が３以下かをチェックする（137）。３以
下であると瞳を検出したとして、瞳縦幅レジスタEYEWに
Ｗを書込み、瞳上端位置レジスタETYにTPを書込み、瞳
下端位置レジスタEBYにBPを書込み、フラグレジスタSFL
AGに確からしく瞳を検出したことを示す２を書込む（13
8）。そしてステップ139を経てステップ140から、CK＝
０であるのでステップ141に進んで、レジスタSFLAGをク
リアしてレジスタCKに１を書込んで、又引き続く次の水
平ラインから、上述のMXL、Ｗ、TP及びBP等、次の黒領
域の各値の検出を行う（124−121−…127〜137）。前述
のように第１回目に確からしく瞳を検出した、としたの
は通常の場合、まゆ毛であるので、次に同様に確からし
く瞳を検出したときを間違いなく瞳であると定めるた
め、更に同様にＹ方向で下方のもう１つの黒領域の各値
の検出を行うようにしている。

この、第２回目の確からしく瞳を検出するフローにお
いて、上述と同様にステップ138で検出した各値をレジ
スタに書込んで、ステップ139に進み、そこからステッ
プ140に進むと、今度はCK＝１であるので、「瞳検出」
のサブルーチン（27）を終了し、プロセッサ６に処理終
了を報知する。ところで、ステップ137の条件が満たさ
れなかったとき、すなわちMXL/Wが３を越えているとき
は、これは２値画像で目全体およびまたはその周りが瞳
と一体か、あるいはまゆ毛と目とが連続して、例えば第
4g図の（ａ）あるいは第4h図の（ａ）のように、大きな
黒領域を形成している確率が高い。

この場合には、この黒領域に瞳があるだろう（瞳らし
きものを検出した）として、瞳上端位置レジスタETYにT
Pを書込み、瞳下端位置レジスタEBYにBPを書き込むが、
レジスタSFLAGには１を書込んで（142）、ステップ139
に進み、そこからステップ124に進む。

さて、黒点数カウント値BPNが４未満で領域Sdの下端
（HTY＋HW）にｙ走査が進むと、ステップ122−123を経
てステップ125でレジスタCKの内容が１であるかをチェ
ックする。これが１であると、１回は確からしく瞳を検
出した（ステップ137−138−139−140−141を実行し
た）が、その後もう１度は同様な検出をしなかったこと
になるので、第１回の検出値を瞳検出値とするように、
フラグレジスタSFLAGに２を再書込みして（126）、この
サブルーチン（27）を終了する。レジスタSFLAGの内容
は０（検出失敗）又は１｛不確定であるが瞳らしきもの
を検出した：第4g図の（ａ）又は第4h図の（ａ）｝であ
る。このときにはそこでサブルーチン（27）を終了す
る。このようにサブルーチン（27）を終了すると、プロ
セッサ８はプロセッサ６に処理終了を報知する。

プロセッサ６はこれに応答して、フラグレジスタSFLA
Gの内容をチェックし（28,29）、これが１であると、瞳
形状を更に明確にした２値画像を得るために「しきい値
の変更」のサブルーチン（30）を実行する。その内容を
第3g図に示す。すなわち、レジスタK₁の内容に、0.7を
乗じた値をレジスタK₁に更新書込みし、レジスタK₂の内
容に、0.7を乗じた値をレジスタK₂に更新書込みする（1
43）。そしてメインルーチンに戻って、「瞳検出用しき
い値THeの決定」のサブルーチン（25）を実行する。こ
の内容は第3e図に示すものであるが、ここでは、ステッ
プ117のK₁及びK₂の値が前回の値の0.7倍になっているた
め、ここで決定されたしきい値THeは前回のものよりも
大きい値になっており、次の、「瞳検出」のサブルーチ
ン（27）で領域Sdの画像データを２値化すると、黒領域
の面積が小さいものとなり、例えば、目周りの黒領域が
第4g図の（ｂ）又は第4h図の（ｂ）に示すように、目形
状が現われるようになる。従って、レジスタSFLAGに２
を書込む可能性が高い。なお、今回の「瞳検出」のサブ
ルーチン（27）の実行でもフラグレジスタSFLAGに１が
書込まれると、同様に「しきい値変更」のサブルーチン
（30）、「瞳検出用しきい値THeの決定」のサブルーチ
ン（25）および「瞳検出」のサブルーチン（27）を実行
する。

第4e図に瞳の形状と検出値との関係を示し、第4f図に
すでに得た検出値から定まる右目領域を示す。

さて、「瞳検出」のサブルーチン（27）でレジスタSF
LAGに２が書込まれているときには、プロセッサ６は、
ブザーコントローラ30にブザーオフを指示し（31）、エ
ラーカウントレジスタIPDFをクリアして（32）、サブル
ーチン33で、検出した右目の瞳の中心位置ECX、ECYを演
算する。これは、第4f図に示す領域〔座標（HRX、ETY）
と（HRX＋HW/2、EBY）を対角点とする矩形領域〕を右目
領域と見なして、その領域の、THeによる２値化データ
をマイクロプロセッサ８に与えて重心演算（黒画素分布
の中心演算）をさせて重心位置データをもらい、これを
画像フレーム上のアドレスに変換する。これにより得る
中心位置データがｘ＝ECX、ｙ＝ECYである。

次にマイクロプロセッサ６は、中心位置データECX、E
CYを中心とした、瞳の追跡走査領域を定めるウインドウ
We（第5a〜5f図）を設定する（34）。ウインドウWeの領
域は、 ECX−EW〜ECX＋EW、 ECY−EW〜ECY＋EW、 であり、EWは瞳の巾である。このウインドウWeは、１フ
レームの面積にたいして非常に小さい領域である。

次にまゆ毛の両端BRX、BLX（第4i図）を検出する（3
5）。この実施例では、まゆ毛の形状や位置に対応した
電気装置の付勢制御は行わないが、口領域検出のための
走査範囲を求めるためにこれを行う。このまゆ毛の両端
BRX、BLX検出（35）においては、ｘ方向走査範囲をHRX
−HLXとし、ｙ方向走査範囲をETY−HW/2〜ETY＋EYENと
し、走査ラインをｘ方向として、該範囲内の走査ライン
毎に黒画素数をカウントして、カウント数が最大のライ
ンの最右端の黒画素のｘアドレスBRXを右端位置とし
て、又最左端の黒画素のｘアドレスBLXを左端位置して
メモリする。この検出に失敗すると第2a図のステップ17
に進む。

次に口検出のための走査領域を演算し、該領域のしき
い値を決定する（36）。すなわち、口検出のための走査
領域を、BRX〜BLX、ETY−EMW〜255（フレーム下端）に
設定する（第4j図）。EMWは定数である。そしてサブル
ーチン（25）の差分階調ヒストグラム演算によるしきい
値の決定と同様にして、該走査領域のしきい値THmを設
定し「瞳検出」のサブルーチン（27）と同様にして口検
出を行い、充分に検出できなかったときには「しきい値
の変更」のサブルーチン（30）と同様にして、充分に検
出できるしきい値を設定する。

次にこの領域BRX〜BLX、ETY−EMW〜255の画像データ
をしきい値THmで２値化して、２値化画像をｘ＝BRX、ｙ
＝ETY−EMWを始点としかつ走査ラインを横（ｘ）として
操作し、ライン毎に黒画素の数をカウントし、一ライン
の黒画素数のカウントを終了する毎にカウント値を保持
している最大値と比較し、今回ラインのカウント値が大
きいとこれを最大値として更新保持する。このようにし
て、ライン毎の黒画素数のカウント値が、全ラインのカ
ウント数よりも増加しているときには次のラインに走査
をすすめる。そして、今回ラインのカウント値が保持し
ている最大値より小さいと、その直前のラインが口の水
平線（上唇と下唇との接線）にかかっていたと見なし
て、該直前のラインのｙアドレスMCY（第4j図）を口の
中心のｙアドレスとしてメモリし、かつ、該直前のライ
ンの黒始端と黒終端の中間の値MCXを口の中心のｘアド
レスとしてメモリする（口の中心位置MCX、MCYの演算:3
8）。検出に失敗したときには第2a図のステップ17に進
む。

次に、マイクロプロセッサ６は、中心位置データMC
X、MCYを中心にした、口の追跡走査領域をさだめるウイ
ンドウWm（第8a図）を設定する（39）。ウインドウWmの
領域は、 MCX−0.6MW〜MCX＋0.6MW、 MCY−MH〜MCY＋MH、 でありMWは口の巾、MHは口の高さであり、これをメモリ
する。このウインドウWmは、画像１フレームの面積に対
して非常に小さい範囲である。

プロセッサ６は次に、新たに１フレーム分の画像デー
タをメモリ13に読み込み（40）、それを２値化して２値
画像データをメモリ11に書込む。この２値化において、
ウインドウWeの領域は前述のTHeで、ウインドウWmの領
域は前述のTHmで、画像データを２値化する。

この２値化の後に、スイッチ5Eがオンであれば「瞳の
追跡」（43）を実行し、又、スイッチ5Mがオンであれば
「口の追跡」（48）を実行する。

「瞳の追跡」（43）の内容を、第3h図及び第3i図を参
照して説明する。尚、ウインドウWeの領域はしきい値TH
eで、ウインドウWmの領域では、しきい値THm（サブルー
チン36で決定したもの）で、他の領域であって領域１に
属するところはしきい値THfrで、領域２に属するところ
はしきい値THfrで、又領域３に属するところはしきい値
THf_Lで２値化して、このように２値化した１フレーム分
の画像データをメモリ11に書込む。

瞳の追跡（43）に進むと、前の瞳の中心にウインドウ
をセットし（501）、サブルーチン「ラインスキャン」
（502）に入る。（第3h図参照） サブサブルーチン「ラインスキャン」（502）では
（第3i図参照）、該ウインドウWeの中心ｘ座標データを
上から下方向に縦走査して黒連続数のカウントをして、
カウント値が所定数になると、瞳の上端MTY（第5a図）
を検出したとして（144,145）、その時のｙアドレスMTY
をメモリし、次にｘ座標をそのままとして下から上に走
査して、黒画素の連続数をカウントし、カウント値が、
所定数になると、瞳の下端MBYを検出したとしてもその
時のｙアドレスMBYをメモリし（146）、次に上下端の中
心WCY（縦方向の中心位置）を演算する（147）。次にｙ
座標をWCYに設定して右から左に水平走査して瞳の右端M
RX（第5b図）を検出してそのアドレスMRXをメモリし（1
48）、次に左から右に走査して瞳の左端MLX（第5b図）
を検出して、そのアドレスMLXをメモリし（149）、水平
方向の左右端の中心WCXを演算し（150）、得たデータWC
X、WCYを一応瞳の中心と見なして、リターンする。

前述のステップ144で瞳の上端検出に失敗したときに
は（瞳がウインドウ中心から左方又は右方にずれてい
る）、ウインドウWeの中心を通る水平ラインを右から左
に走査して、MRX（所定数の黒の連続；第5c図）を検出
する（152）。これが検出できると、次は左から右に走
査してMLX（第5c図）を検出し（154）瞳の右端と左端の
中心WCXを演算し（155）、次にＸ＝WCXのデータを上か
ら下に走査して上端MTY（第5d図）を検出し（156）、次
いで下から走査して下端MBYを検出し（157）、縦方向の
上下端の中心WCYを演算する。（158）。このように検出
して得たデータWCX、WCYを一応瞳の中心と見なして、リ
ターンする。ステップ144でMTYが検出できず、またステ
ップ152でMRYが検出できなかったときには、ステップ15
9（第3i図）に進み、ウインドウWeの左上コーナより右
下コーナにむけて２値データを走査して（第5e図：これ
はメモリ11よりの２値データの読出しスタートアドレス
をウインドウWeの左上コーナに設定し、その後順次に
ｘ、ｙアドレスを同時にそれぞれｍ及びインクレメント
して行う）、Ａ点（瞳の斜右上端）を検出しそのアドレ
スMRX、MTYをメモリし（159）、次いでウインドウWeの
右下コーナより左上コーナに向けて２値データを走査
（スタートアドレスをウインドウWeの右下コーナとし
て、ｘ、ｙを同時にそれぞれｍ及びｎデクレメクト）し
てＢ点（瞳の斜左下端）を検出してそのアドレスMRX、M
BYをメモリし、（161）、検出したアドレスの中点WCX、
WCYを演算して、（162、163）メモリする。このように
検出して得たデータWCX、WCYを一応瞳の中心と見なして
リターンする。

ステップ144でMTYが検出できず、またステップ152でM
LXが検出できず、更にステップ159でＡ点が検出できな
かったときには、ステップ164に進み、ウインドウWeの
右上コーナより左下コーナに向けて２値データを走査し
て（第5f図：メモリ11よりの２値データの読出しスター
トアドレスをウインドウWeの右上コーナに設定し、その
後順次にｘアドレスはｍデクレメント、ｙアドレスはｎ
インクレメントして行う）、Ａ点（瞳の斜め左上端）を
検出してそのアドレスMRX、MTYをメモリし（164）、次
いでウインドウWeの左下コーナより右上コーナにむけて
２値データを走査（スタートアドレスをウインドウWeの
左下コーナにして、順次にｘアドレスはｍインクレメン
ト、ｙアドレスはｎデクレメント）してＢ点（瞳の斜右
下端）を検出してそのアドレスMLX、MBYをメモリし（16
6）、検出したアドレスの中点WCX、WCYを演算して、（1
67,168）メモリする。このように検出して得たデータWC
Y、WCXを一応瞳の中心と見なしてリターンする。サブサ
ブルーチン「ラインスキャン」（502）で追跡した結果
を（503）で判定し、追跡に成功であればメインルーチ
ンへ戻り、失敗すれば（504）へ進み、前々回の瞳の位
置と前回の瞳の位置より、追跡に失敗した瞳の位置を予
測し、（第5g図参照）、予測位置にウインドウをセット
して（505）、再びサブサブルーチン「ラインスキャ
ン」（502）で瞳の位置を追跡し、（507）の判定で、成
功であればリターンし、失敗であれば、初期位置に再び
ウインドウをセットし（508）、三回目の「ラインスキ
ャン」（502）を実施する。

ステップ44で追跡に成功したか否かを判定し、失敗す
ればステップ12Aに戻り、成功であればステップ45へ進
む。

目標物移動の平均値分散値の算出手段Ｌを構成する
「目標物移動の平均値分散値の算出」サブルーチン（4
5）は、本発明の最重要部分を構成するものであり、第3
j図、第3k図により詳細説明する。

この実施例では１秒おきに300回データを収集する場
合を例示する。ステップ（510）に示すカウンタTIME
は、フレーム同期パルスのカウンタであって、映像が切
換わる毎に0.1,2・・・,29とカウントし、TIME＝０以外
の場合はステップ（510）よりステップ（522）にジャン
プし、（TIME＋１）mod30の処理、すなわち（TIME＋
１）を30で割った剰余を、新しいTIMEとしてリターンす
る。換言すると、TIMEが1,2,3,・・・29のときはジャン
プ先のステップ（522）で順次、2,3,4,・・・29,0に変
換される。TIME＝29でステップ（522）に入った次のパ
ルスはしたがってTIME＝０とカウントされるので、カウ
ンタTIMEは0,1,2,・・・29,0,1,2,・・・29を繰り返す
ことになり、TIME＝０のとき、すなわち1/30秒毎に入る
信号は、30回目すなわち１秒毎にステップ（511）へ進
むことになり、この手順によって１秒毎に1/30秒の同期
速度で入るデータは１秒毎に捕捉されることとなる。

１秒毎に捕捉されるデータは、ステップ511でDFLAGが
０であればステップ516へ、１であればステップ512へ進
む。DFLAGはステップ１の初期化で０にセットされたま
まであるから、当然当初はステップ516へ進み、瞳の中
心座標をぞれぞれＸ（０）、Ｙ（０）と記憶し、（51
7）、（518）でSUMX、SUMY、SUMXX、SUMYYを算出し、ス
テップ521でDTP←（DTP＋１）mod299の処理を受けて、D
TP＝１となってリターンする。ここでDTPは１秒毎に捕
捉されるデータの捕捉回数であり、0,1,2,・・・と進行
する過程で、DPT＝299即ち300回目になるとステップ519
と、YESと判別され、ステップ520へ進んでDFLAGは１に
セットされ、ステップ521で（DTP＋１）mod300の処理を
受けてDTPは０にセットされてリターンする。

すなわちデータの捕捉回数すなわちデータ番号は、０
から出発して１秒置きに1,2,3,・・・と更新され、299
に達すると、０に復元され、引き続き0,1,2,・・・299
を繰り返すことになり、300回のデータの捕捉が可能と
なる。

ステップ520でDTPが299（300回目に相当する）となる
と、DFLAGに１がセットされ、301回目に相当するデータ
は、ステップ511からステップ512に進み、瞳の中心デー
タｘ、ｙはNDATAと改名され、ステップ513,515の「平
均、分散の計算サブルーチン」で300回分のデータの平
均値及び分散値が算出される。

平均値、分散値算出のサブサブルーチン（513）、（5
15）では（第3k図参照）、最初の300回までのデータ
を、新しいデータが入る毎に、300回分の平均値及び分
散値を更新する手順を採用していることに注意を要す
る。

尚、ステップ520（第3j図参照）で、DFLAGが１にセッ
トされると、メインルーチンのステップ12Aの枠の設定
可能か？の判定では（第2a図参照）、設定可能の判定に
より、ステップ50以降のバイパスへ進むことになる。従
って、「瞳の追跡」サブルーチン（43）で、追跡に失敗
してステップ12Aへ戻るときには、直ちに「中域枠の設
定」サブルーチン（50）へ移行可能となる。

この実施例では、データの捕捉間隔および捕捉回数
を、最適値として１秒および300回として例示したもの
であるが、同期速度に応じて、捕捉間隔は変更すべきで
あり、捕捉回数300回は捕捉するデータが、正規分布を
するであろうことを予測して決定したものであり、さら
に少ない捕捉回数でも正規分布が予測できるならば、回
数を減少しても構わない。

つぎに、本発明の中域ウインドウ設定手段Ｎおよび中
域ウインドウによる目標物検出手段Ｐを構成するサブル
ーチン「中域ウインドウ枠の設定」（50）及び「中域ウ
インドウによる瞳の検出」（51）の詳細を説明する。

第3n図および第5h図を参照して、「中域ウインドウの
設定」サブルーチン（50）では、サブルーチン「瞳の追
跡」（43）および「目標物の移動の平均値の分散値の算
出」（45）で得た、瞳の追跡に失敗した時点での、最新
の瞳の動きの平均値XBER、YBERおよび分散値XBUNSAN、Y
BUNSANと瞳の幅EWを使用してXBER、YBERを中心とし、対
角頂点の座標WX1、WY1およびWX2、WY2をそれぞれ とする中域ウインドウ枠を算出、設定する（第5h図）。

は夫々Ｘ方向、Ｙ方向の標準偏差σｘ、σｙであり、３
σｘ、３σｙを採用することにより、３σ法による高精
度（検出に失敗する確率の極めて少ない）のウインドウ
の設定が可能となる。

勿論３σに限定する必要はなく、更に高精度を追及す
るものであっても構わない。要は統計的に保証された高
確率ウインドウの設定が可能であれば良い。周知のとお
り、例示の300回にわたるデータが正規分布であると仮
定すれば、３σ法は99.7％の確率を保証するものであ
る。

中域ウインドウによる目標物検出手段Ｐを構成するサ
ブルーチン「中域ウインドウによる瞳の検出」（51）の
構成を第3p図、第3q図、第3r図、第6a図、第6b図に示
す。

このサブルーチンは更に、「瞳領域の検出」（528）
および「瞳であるかどうかの判定」（529）から構成さ
れているが、先に説明したサブルーチン「瞳の検出」
（27）と類似であるので詳細説明は省略する。（第6a図
および第6b図を参照）。

以上で、追跡する瞳または口の意図的な運動パターン
が、所定の電気装置を制御可能とする所定のパターンと
一致すると、その電気装置を制御する信号を発信する制
御信号判別手段Ｊの説明を除いて、各サブルーチンの説
明を終ったので、以下制御信号判別手段Ｊの説明に入
る。

制御信号判別手段Ｊは、第2b図に示す、「瞳のまばた
きによる判定」のサブルーチン46と「瞳の移動方向によ
る判定」のサブルーチン47と、「口の動きによる判定」
のサブルーチン49とから構成されている。

「瞳のまばたきによる判定」サブルーチン（46）を、
第3l図および第7a図、第7b図を参照して説明する。

第7b図において、通常のまばたき時間は、閉眼時間が
0.2〜0.3秒、１回のまばたきの周期が1.0〜5.0秒と一般
に言われている。本発明では、無意識的な閉眼時間と、
信号発信用の意図的なまばたきを識別する為、同図
（ｂ）に示すとおり、所定の時間T1、T2、T3を規定し、
検出する閉眼時間Ｔが、T1＜Ｔ＜T2であれば意識的な信
号発信用の閉眼であり、閉眼時間ＴがＴ＞T3であれば無
意識な自然の正常な開眼時間であり、開眼時間ＴがＴ＜
T3であれば意図的な開眼時間であると規定し、同図
（Ｃ）に示すとおり、意図的な信号用閉眼回数のフラグ
CTを設けて閉眼回数を算出し、CT＝１のときはラジオの
SWを操作し、CT＝２のときはエアコンのSWを操作し、CT
＝３のときはヘッドライトを操作するものと規定する。

以上の規約により、第7a図に示すとおり、「瞳のまば
たきによる判定」サブルーチン（46）では、ステップ55
0,551で瞳の縦横比EH/EWを算出し、ステップ552で判定
値Ｋと比較して、開眼状態であるか、閉眼状態であるか
を判定する。閉眼しているときは、閉眼時間Ｔを検出し
（553）、閉眼時間を所定値T1、T2と比較し（554）（55
6）、Ｔ＜T2のときは居唾り運転の可能性ありとしてブ
ザーを鳴らして警告し（557）、さらに閉眼前の開眼時
間TERMを検出して（558）、TERM＞T3のときは正常と判
定し、フラグCTを０にする。TERM≦T3のときは、この閉
眼が信号発信用の意図的閉眼としてフラグCTをCT＋１と
する。

ステップ552で、開眼状態であると判定すると、開眼
前の閉眼時間TERMを検出し（562）、TERM≦T1であれば
正常運転と判定してリターンし、TERM＞T1であれば、信
号発信用の意図的閉眼と判定し、ステップ564でCTを検
討し、 Ｃ＝０のときはリターンし、 CT＝１のときはラジオのSWを操作し、 CT＝２のときはエアコンのオン／オフを操作し、 CT＝３のときはヘッドライトのSWのオン／オフを操作
し、 いずれの場合もフラグCTをクリアしてリターンする。

次に「瞳の移動方向による判定」サブルーチン（47）
について、第3m図および第7c図を参照説明する。この制
御信号判別手段Ｊは、ドライバが制御を希望する電気装
置のコントローラ部に注目したとき、その瞳の移動ベク
トルを、所望するコントローラ部の所定のベクトルと一
致させる必要があり、各コントローラ部の配置は、適切
な位置に設定される。この実施例では、第7e図（Ｃ）に
示すとおり、ラジオ、エヤコン、その他の装置のコント
ロール部の位置が、ドライバの正常の瞳中心から夫々上
下方向に−Y1、＋Y2、−Y3、左右方向に−X1、＋X2、−
X3に設定されており、サブルーチン47では、ステップ57
0,571で瞳の初期位置からのずれＸ、Ｙを検出し、ステ
ップ572,573,574,575を経て、エヤコン、ラジオ、Ａ機
器、Ｂ機器、Ｃ機器を制御する。

瞳のまばたきによる判定手段によれば、本発明の制御
装置は、本来の目的以外に、居睡り運転防止装置として
極めて有効に利用できるものでありさらに瞳の移動方向
のベクトルの成分が、所定の移動量を超える回数をカウ
ントすることにより、危険な脇見運転を防止する装置と
して有効に利用できることも容易に了解できるであろ
う。

「口の動きによる判定」サブルーチン（49）は、本発
明で、極めて広範な制御信号判別手段Ｊを実現するもの
であり、第3s図、第3t図、第3u図及び第8a図、第8b図を
参照して実施例を詳細に説明する。

第3s図において、マイクロプロセッサ６は、まず口の
追跡（48）で更新設定してウインドウWmの２値データを
メモリ11から読出してマイクロプロセッサ８に与え、口
の横幅MWと口の縦幅MH（第8a図）を検出する（207〜21
2）。マイクロプロセッサ８は、ウインドウWmの２値デ
ータを受けると、まずライン方向を縦（ｙ）に設定し
て、第１ラインをウインドウWmの左端に定めて、ライン
を左方から右方に更新して、ライン更新毎にランカウン
タをクリアしかつ白データを読み出すとランカウンタを
クリアして、各ラインにおいて黒画素の連続数（黒ラン
レングス）をカウントする。黒ランレングスが所定値以
上になるとそこ（ラインのｘアドレス）が口の右端であ
るとしてそのときのｘアドレスNMRXをメモリーする（20
7）。次にラインアドレスをウインドウWmの右端に定め
て、同様にラインアドレスを左方に更新し、各縦ライン
上の黒ランレングスをカウントして、カウント値が所定
値以上になるとそこが口の左端であるとしてそのときの
ｘアドレスNMLXをメモリして（208）、口の横幅MW＝NML
X−NMRXを演算しメモリする（209）。

次に、ｘアドレスをNMRX＋（NMLX−NMRX）/2（口の横
方向中央）に設定して、そのｘアドレスの縦ラインの２
値画像データをウインドウWmの上端から下端に向けて読
んでデータが白のときにはランカウンタをクリアし、黒
のときにはランカウンタを１カウントアップして、カウ
ント値すなわち黒ランレングスが所定数以上になると唇
の上端を検出したとして、そのときのｙアドレスNMTYを
メモリし（210,211）、次にウインドウWmの下端から２
値画像データを読んで、黒ランレングスをカウントしカ
ウント値が所定数以上になると唇の下端を検出したとし
てその時のｙアドレスNMBYをメモリし（210,211）、次
に縦幅MH＝NMBY−NMTYを演算してメモリして、 MW,MH,NMRX＋（NMLX−NMRX）/2およびNMTY＋（NMBY−NM
TY）/2をマイクロプロセッサ６に転送する。マイクロプ
ロセッサ６は、 NMRX＋（NMLX−NMRX）/2およびNMTY＋（NMRY−NMTY）/2
（これらはウインドウWmの中の口中心座標である）をフ
レーム位置座標に変換してこれをMCX,MCYとして更新メ
モリするとともに、ウインドウWmをこのMCX、MCYを中心
とするものに更新設定する。そして、MWをW1（所定の判
別値）と、MHを予め記憶している判別値H1、H2、H3、お
よびH4と比較して、口の形状が「ア」発音形状である
か、「イ」発音形状であるか、「ウ」発音形状である
か、「エ」発音形状であるか、あるいは「オ」発音形状
であるかを判定し（213〜217）、「ア」であると「ア」
を示すデータを、「イ」であると「イ」を示すデータ
を、「ウ」であると「ウ」を示すデータを、「エ」であ
ると「エ」を示すデータを、また「オ」であると「オ」
を示すデータをレジスタＩにセットする（218〜222）。

第8b図に示すように、母音「ア」〜「オ」はそれぞれ
他と区別できる横幅および縦幅であるので、前述のW1、
H1〜H4等の参照値とMW、MHとの比較により、これらの母
音を特定できる。

ここで以下の、口の発声形状パターン変化判定の説明
のために、第1a図に示す電気装置20〜29に割り付けられ
ている呼び方を示すと次の第１表の通りである。

ラジオの付勢制御を例にあげると、この実施例では、
「ラジオ」「動け」と発声し、その母音だけを選択する
と「アイオ」「ウエオ」ということになる。これらの母
音発声形状を検出してレジスタ１、２、３に順次にメモ
リして、母音形状を検出する毎に（第3s図の213〜222）
まず検出データ（検出母音を示すデータ）をレジスタＩ
に格納し、レジスタＩの内容をレジスタ３の内容と比較
し（223）、両者が合致すると、同じ母音形状が継続し
ていることになるので、そのまま何もしないでリターン
し、異なっていると発声形状が変化したことになるの
で、レジスタ２の内容をレジスタ１に、レジスタ３の内
容をレジスタ２に移してレジスタ３にレジスタＩの内容
をメモリする（224）。

すなわち直前に検出している母音形状とは異なる最新
の母音発声形状の検出データをレジスタ３にメモリす
る。このようなメモリシフトにより、まず「ラジオ」と
いう形に口形状が動いたとき、最後の「オ」形状を検出
したときのレジスタ１〜３の内容は、上記表中にケイ線
でかこんだ母音データが格納されていることになる。何
時の時点に、母音の発声形状検出データをレジスタ１〜
３に格納完了しているか不明であるので、母音検出デー
タをレジスタ３に格納する毎に、ステップ225〜227で、
レジスタ表中の電気装置又は動作命令対応の母音発声形
状データを、レジスタ１〜３に格納しているか否かを判
定する。これはレジスタ１〜３の内容、すなわち発声形
状の時系列パターン、が前記表に示す内容のいずれにな
っているかをチェックすることである。

いずれかになっていると、例えばラジオ欄の通り、レ
ジスタ３に「オ」データが、レジスタ２に「イ」データ
が、またレジスタ１に「ア」データが格納されている
と、ステップ225−234−243−253−260−264−265と進
んで、NAMEレジスタに「ラジオ」を示すデータをセット
する（266）。

レジスタ１〜３の内容が前記表中の「ON」欄に示すデ
ータになっているとステップ255−234−243−253−254
−255を経て、動作レジスタに「ON」をセットする（25
7）。そして動作レジスタに動作命令データ（ON,OFF,U
P,DOWN）を格納したとき（242,250,257,259）には、レ
ジスタ１〜３をクリアし、出力レジスタのデータを、例
えばラジオコントローラ20（これはNAMEレジスタの内容
で定まる）を指示するものに更新して、インターフェイ
ス14に出力レジスタの内容を出力する。

ドライバの動作と、上述の実施例の動作を要約すると
次の通りである。

（１）スイッチ5Eおよび5Mがともに開の状態で、ドライ
バがスイッチ5Eまたは5Mのいづれかを閉にすると、照明
灯４を標準デューティで点灯付勢し、カメラ３をオンに
する。そして、所要の遅延時間の後にドライバの顔の画
像データを１フレーム分メモリ13に読み込み、照度ヒス
トグラムを作成してそれを設定値と比較して照度の適否
を判定して、照明灯の明るさを調整する。照明灯の明る
さを変更する毎に新たに１フレームの画像データメモリ
13に読込む（２〜12）。

（２）明るさ調整を終ると、中域ウインドウ枠を設定で
きるか否かを検定するステップ12AでDFLAGが０であれば
（13）へ、１であれば（48）へ分岐する。電源オン
（１）の直後では、DFLAG＝０に初期化されているか
ら、（13）へ進む。

（３）ステップ13で、メモリ13に書込んでいる１フレー
ム分の画像データの所定領域Htpの単純階調ヒストグラ
ムを演算して、背景から頭髪を切り出すしきい値THhを
決定し（13）、該しきい値で画像データを２値化して頭
部右端位置ARX、左端位置ALXおよび先端位置ATYを検出
する（15）。

頭部左右端位置の間であって、先端位置ATYより下方
の顔領域を左右に２等分し、各領域で単純階調ヒストグ
ラムに基づいてしきい値THfr（右半分）およびTHf_Lを決
定し、該顔領域を横方向に、右側から領域１、領域２お
よび領域３（第4c図）と３等分して、領域１にTHfrを、
領域２にはTHfrとTHf_Lの内大きい方を、領域３にはTHf_L
を、決定し（20）、これらで顔領域（領域１〜３）の画
像データを２値化して、額上端（額と頭髪の境界）の位
置HTYおよび左右端HLX、HRXを検出し（22）、額幅HW＝H
LX−HRXを算出する。

額上端HTYの額幅HWの右半分×下方向HWの領域Sd（第4
d図）で差分階調ヒストグラムに基づいて瞳検出用しき
い値THeを決定して（サブルーチン25）、領域SDの階調
データを２値化し、右目領域Ｅ（第4f図）を検出し（2
7）、瞳の中心位置を検出して（33）、該中心位置を中
心とする小領域のウインドウWeを定める。

顔領域より両眉毛の外端を検出して（35）、口検出領
域を定めて口検出領域のしきい値THmを、差分階調ヒス
トグラムに基づいて定め（36）、口の中心位置を検出し
て（37,38）、口中心位置を中心とする小領域のウイン
ドウWmを定める。

ここまでの処理で、追跡しようとする瞳の現在の位置
及び追跡用ウインドウWeの大きさと、追跡しようとする
口の中心位置および口追跡用ウインドウWEの大きさが決
定できて初期段階を終了し、ステップ12Aで分岐したバ
イパスと合流する。この初期段階は複雑で時間を要する
ので、本発明は、ステップ45で目標物の移動平均値およ
び分散値が算出されるとこの初期段階をバイパスするこ
とにより、画像処理の高速化を実現する。

（４）初期段階を終ると、新たに画像読取りを行う毎に
（40）、上記しきい値THe（We領域）、THm（Wm領域）で
画像各部を２値化し、ウインドウWe、Wmの領域で瞳検出
または口検出を行う。検出に失敗すると前記初期段階へ
戻り、検出に成功すると、（45）で目標物の移動のデー
タの収集処理を開始する。

（５）「平均値および分散値の算出」ルーチン（45）
は、瞳又は口の追跡走査の過程で、１秒毎に測定した瞳
又は口の移動データを300回集積し、この300回分のデー
タの平均値および分散値を算出し、さらにその平均値お
よび分散値を、新データの入力の都度逐次更新記憶する
ことによって、バイパス回路のステップ50で使用する中
域ウインドウ設定データを用意する。また最初に300回
のデータが集積され、最初の平均値、分散値が決まる
と、DFLAGに１をセットし、ステップ12Aで、バイパス回
路へ移行可能な状態とする。

（６）ステップ45を終ると、モードスイッチ5Eが閉であ
るときには、瞳のまばたきによる判定（46）、および瞳
の移動方向による判定（47）を行い、モードスイッチ5M
が閉であるときは、口の動きによる判定を行って、終了
後新しい画像を取り込んで追跡を続行する。

（７）ステップ43で瞳を追跡する過程で、追跡に失敗す
るとステップ12Aにもどるが、DFLAG＝１の場合には、バ
イパス回路に進み、追跡成功の確度の高い最新の中域ウ
インドウを設定し（50）、このウインドウを走査して見
失った瞳または口を発見して、再び画像データを取り込
んで追跡を再開する。

上記実施例は、車上搭載電気装置をドライバの顔の瞳
及び口の意図的な動きに応答して制御を行う車上制御装
置についての実施例であるが、本発明の作用効果は、撮
像対象がドライバでない場合にも同様にもたらされる。
例えば病院の重症患者が、目と口で周囲の医療機器や救
援機器を動作させたり、停止させたり、あるいはパワー
アップ／ダウンをさせたりできる。

更に機械の異常監視及び保護装置として、撮像装置の
撮影対象を機械とし、目標物を異常監視すべき部品又は
部位とし、それが異常な動きをするとその機械を停止す
るなり、警報装置を動作させるなど、対象は人ではなく
ても本発明は同様に実施し同様な効果を得ることができ
る。

更に、監視対象を、広い場所（自然の背景）とし、特
定の目標物をその場所の動物又は車等の移動体とする形
でも本発明は同様に実施できる。例えばサファリパーク
における車の移動に応じたゲートの開閉制御や、猛獣の
移動に応じたゲート制御に同様に実施できる。これを工
場に置換えると、例えばベルトコンベアラインを撮像対
象とし、目標物をコンベア上の部品又は製品として、そ
れが所定方向に動くと、安全装置を働かせるとか、次工
程の機器を動作させるとか、上述の場合と同様に上記装
置を実施して同様な効果が得られる。

［発明の効果］ 本発明は、実施例で詳細説明のとおり、目標追跡手段
によって目標物を追跡走査する過程で、所定時間毎に目
標物の移動データを所定回数集積し、該所定回数分のデ
ータの平均値および分散値を算出し、更に当該平均値お
よび分散値を、新データの入力の都度逐次変更記憶する
ことにより、目標物の追跡に失敗すると、この記憶した
平均値及び分散値を使用した目標物捕捉確率の高い高精
度中域ウインドウを設定し、そのウインドウで見失った
目標物を再発見の上、狭域ウインドウで目標物を追跡す
る。従って、 （１）目標物の時系列的状態変化を追跡するウインドウ
を狭域に設定することにより、目標物の追跡時間を短縮
し、 （２）追跡に失敗する場合には、バイパス経路により、
最新の平均値及び分散値を使用した、高速高精度の中域
ウインドウの設定により目標物の再検出、再追跡を可能
とし、 装置全体の目標物追跡速度を大きく向上させ、リアルタ
イムによる走査を可能とする。

また本発明は、目標物が車上ドライバの瞳または口で
あって、ドライバの意図的な瞳または口の動きを制御信
号判定手段で判別することにより、車上搭載電気装置を
付勢制御可能とする。

また本発明は、目標物が重症患者の瞳または口であっ
て、重症患者の意図的な瞳または口の動きを制御信号判
定手段で判別することにより、医療機器または救援機器
の電気装置を付勢制御する重症患者の支援装置として使
用できる。

さらにまた、本発明は、特別の付属設備を設けること
なしに、ドライバの瞳のまばたき間隔により、制御信号
判定手段で居眠り運転を検知し、警報を発信するドライ
バの居眠り運転防止装置として使用できる。

さらにまた、本発明の要部は、ソフトウエアのみで構
成されているので、設計の自由度、柔軟性が大であり、
目標物の個別特性に対応した装置の設計が容易となり、
例えば身体障害者専用車輛に好適に使用できる。

【図面の簡単な説明】

第1a図は、本発明の一実施例の構成を示すブロックダイ
ヤグラム、第1b図は第1a図に示すテレビカメラ３および
照明灯４の配置外観を示す斜視図である。 第2a図、第2b図は、本発明の概要を示すフローチャート
である。 第3a図〜第3t図は、第2a図，第2b図に示すメインフロー
を構成する各サブフローチャート（サブルーチン）であ
って、 第3a図は頭部境界検出用しきい値THhを決定するサブル
ーチンを、 第3b図は頭部の右端、左端および上端を検出するサブル
ーチンを、 第3c図は額検出用しきい値THfを決定するサブルーチン
を、 第3d図は額を検出するサブルーチンを、 第3e図は瞳検出用しきい値THeを決定するサブルーチン
を、 第3f図は瞳を検出するサブルーチンを、 第3g図は瞳検出用しきい値THeを変更するサブルーチン
を、 第3h図および第3i図は瞳を追跡するサブルーチンを、 第3j図は目標物の移動の平均値および分散値を算出する
サブルーチンを、 第3k図は目標物の移動の平均値および分散値を求めるサ
ブ・サブルーチンを、 第3l図は瞳のまばたきによって運転者の制御命令を判別
するサブルーチンを、 第3m図は瞳の移動方向によって運転者の制御命令を判別
するサブルーチンを、 第3n図は中域ウインドウの寸法を決定するサブルーチン
を、 第3o図は中域ウインドウによって、瞳を検出するサブル
ーチンを、 第3p図は中域ウインドウによって瞳領域を検出するサブ
・サブルーチンを、 第3q図は中域ウインドウによる検出物が瞳であるかどう
かを判定するサブ・サブルッチンを、 第3r図，第3s図および第3t図は運転者の口の動きによっ
て、制御命令を判別するサブルーチンを示すものであ
る。 第4a図、第4b図、第4c図、第4d図、第4e図、第4f図、第
4g図、第4h図、第4i図、第4j図は、カメラ３で撮像した
画像の全体または一部を示す平面図である。 第5a図、第5b図、第5c図、第5d図、第5e図、第5f図およ
び第5g図は、瞳追跡のために設定したウインドウの領域
と検出した瞳を示す平面図及び瞳位置の線形予測図、第
5h図は中域ウインドウの設定要領図である。 第6a図および第6b図は中域ウインドウによる瞳の検出要
領図である。 第7a図は瞳のまばたき検定の要領図、第7b図は、意図的
またばき検出の要領図、第7c図は、瞳の移動方向と電気
装置との関連を規定する図面。 第8a図は口追跡のため設定したウインドウWmの領域と検
出した口を示す平面図である。第8b図は母音発声時の口
形状を示す平面図である。 第9a図は従来技術による装置の構成図を示し、第9b図は
本発明による装置の構成図を示す。 Ａ……画像入力手段 ３……テレビカメラ 18……A/Dコンバータ Ｂ……照明手段 ４……照明灯 Ｃ……目標物選定手段 5E……5M モード指示スイッチ Ｄ……画像制御記憶手段 ６……汎用マイクロプロセッサ ７……アドレス バス および コントロール バス ８……画像用プロセッサ 11,12……画像フレーム メモリ Ｅ……画像境界検出手段 Ｆ……広域ウインドウ設定手段 Ｇ……広域ウインドウによる目標物検出手段 Ｈ……狭域ウインドウ設定手段 Ｉ……広域ウインドウによる目標物追跡手段 Ｊ……制御信号判別手段 Ｋ……電気装置制御手段 19、20〜30……コントローラ Ｌ……目標物の移動の平均値分散値算出手段 Ｍ……中域ウインドウ設定可能判定手段 We……Wm、ウインドウ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭60−166807（ＪＰ，Ａ) 1985年10月24・25日に京都市で開催さ れた第１回ヒューマン・インタフェー ス・シンポジウムにおいて公表された 「画像解析を利用した自動車用ヒューマ ン・インタフェース」 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G05B 19/00 - 19/05 G05B 24/00 - 24/04

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】像の光情報をデジタル画像情報に変換して
   入力する画像入力手段（Ａ）と、 該像を照明し、その明るさを制御調整する照明手段
   （Ｂ）と、 該像内の複数の目標物のうち、いづれか１つを選択する
   目標物選択手段（Ｃ）と、 前記デジタル画像情報を記憶し、入出力を制御する画像
   制御記憶手段（Ｄ）と、 前記デジタル画像情報の画素のヒストグラムからしきい
   値を決定し、該しきい値により２値化した情報を走査し
   て、画像境界を検出する画像境界検出手段（Ｅ）と、 該画像境界検出手段により検出する境界値から広域走査
   領域を設定する広域ウインドウ設定手段（Ｆ）と、 該広域ウインドウ内を走査して、目標物の位置を検出す
   る広域ウインドウによる目標物検出手段（Ｇ）と、 該目標物検出手段で検出する目標物の運動を追跡する狭
   域ウインドウを設定する狭域ウインドウ設定手段（Ｈ）
   と、 該狭域ウインドウ内を走査して、目標物を追跡する狭域
   ウインドウによる目標物追跡手段（Ｉ）と、 追跡した目標物の意図的な運動パターンが、所定の電気
   装置を制御可能とする所定のパターンと一致すると、該
   電気装置を制御する信号を発信する制御信号判別手段
   （Ｊ）と、 該制御信号判別手段の信号により、所定の電気装置を制
   御する電気装置制御手段（Ｋ） とよりなる電気装置の付勢制御装置において、 前記狭域ウインドウによる目標物追跡手段で目標物を追
   跡走査する過程で、 所定時間毎に測定する目標物の移動データを所定回数集
   積し、該所定回数分のデータの平均値および分散値を算
   出し、更に該平均値および分散値を、新データの入力の
   都度逐次変更記憶する目標物の移動の平均値、分散値算
   出手段（Ｌ）と、 該平均値および分散値の初期値が決定すると、中域ウイ
   ンドウ枠の設定が可能であることを指示する中域ウイン
   ドウ設定可能判定手段（Ｍ）と、 該平均値および分散値を用いて中域ウインドウを設定す
   る中域ウインドウ設定手段（Ｎ）と、 該設定された中域ウインドウ内で、目標物を走査検出す
   る中域ウインドウによる目標物検出手段（Ｐ） とを設けた電気装置の付勢制御装置。
2. 【請求項２】請求項（１）に記載の電気装置の付勢制御
   装置において、目標物が車上ドライバの瞳または口であ
   って、意図的な瞳または口の動きを制御信号判定手段
   （Ｊ）で判別することにより、車上搭載電気装置を付勢
   制御する自動車の運転制御装置。
3. 【請求項３】請求項（１）に記載の電気装置の付勢制御
   装置において、目標物が重症患者の瞳または口であっ
   て、意図的な瞳または口の動きを制御信号判別手段
   （Ｊ）で判別することにより、医療機器または救援機器
   の電気装置を付勢制御する重症患者の支援装置。
4. 【請求項４】請求項（２）に記載の自動車の運転制御装
   置において、ドライバの瞳のまばたき間隔により、制御
   信号判定手段（Ｊ）で居眠り運転を検知し、警報を発信
   するドライバの居眠り運転防止装置。