JPS62247410A

JPS62247410A - 電気装置の付勢制御装置

Info

Publication number: JPS62247410A
Application number: JP60272793A
Authority: JP
Inventors: Mitsuhiro Ando; 充宏安藤
Original assignee: Aisin Seiki Co Ltd; Shinsangyo Kaihatsu KK
Current assignee: Shinsangyo Kaihatsu KK; Aisin Corp
Priority date: 1985-12-04
Filing date: 1985-12-04
Publication date: 1987-10-28
Also published as: US4768088A; JPH04284B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の目的〕（産業上の利用分野）本発明は、電気装置にオン、オフ、出力アップ。

出力ダウン等の付勢制御信号を与える付勢制御装置に関
し、特に、もの、例えば人、の運動又は動作に非接触で
応答して所要の電気装置に付勢制御信号を与える、もの
の動作自動検出−電気装置の自動制御装置、に関する。

（従来の技術）この種の従来技術には、フォトセンサ、踏板等を用いる
自動ドアや異常（進入、侵入）警報器。

金属探知器などがある。いずれも、フォトセンサ。

マイクロス、インチ、静電鼻形接近スイッチ、電磁セン
サ等々の非接触センサや機械スイッチを用いるもので、
物体又は人が接触、接近あるいは通過することによって
生ずる。電気接点の開閉、電磁波路の遮断又は開路、を
界の変化、磁界の変化等を検出し、所要の電気装置例え
ばブザー、メータ。

自動ドア、リレー、モニタテレビ、電気制御機械装置等
の電気装置のオン、オフ等を行う。

（発明が解決しようとする問題点）しかしながらこれらはセンサに対して物体又は人体が近
距離で、比較的に大きな動作をしないと、電気装置のオ
ン、オフ等の制御が行われない。物体又は人体の極く小
さい部分の状態変化はセンサが検出し得ないので、各種
電気装置の付勢装置に従来は主にキースイッチを主体と
する入力装置が用いられる。例えば車上には各種の電気
装置が備えられ、これに対応して各種キースイッチ、ポ
リ−ニーム等が備えられるが、ドライバ（運転者）がス
イッチ操作やボリューム操作のために腕を延ばしたり１
体をねじったりすることは運転上危険な場合があるし、
また細かいスイッチ操作やボリューム操作は大変である
。これは目を前方から外れた方向に注意深く比較的に長
い時間外らすことができないからである。

したがって、音声認識装置を備えて、ドライバの発声を
認識して各種電気装置を付勢制御する思い付きがあるが
、車内は雑音が多く、認識エラーが多いであろう。

本発明は、広い領域の中の小さい部分の状態変化に応答
して各種電気装置を自動付勢制御することを第１の目的
とし、人が格別に大きな注意力および動作なくして比較
的に正確に、非接触で各種電気装置を自動付勢制御する
ことを第２の目的とする。

〔発明の構成〕

（問題点を解決するための手段および作用）上記目的を
達成するために本発明においては、画像パターン認識の
技術を利用する。すなわち、像の光情報を電気信号に変
換する撮像手段および前記電気信号に基づいて像の特定
の部分の位置を検出する位置検出手段を用いて、物体又
は人（以下、例示として車上のドライバを挙げる）を撮
影して、撮影画像の一部例えばドライバの顔の目お゛よ
び口等の特定の部分（以下例示として目および口を挙げ
る）位置を検出する。

車内の明るさは変動するので、前記像を照明す°る照明
手段、照明手段の照明の明るさを設定する明るさ設定手
段および前記像の明るさを検出し明るさ設定手段に明る
さの変更を指示する明るさ指示手段を備えて、撮像画面
（ドライバの顔）の明るさを一定に維持し、明るさ変動
による画像処理エラーを防止する。

また、車体の振動やドライバの無意識の微動作又は姿勢
変化等による顔位置変化に追従して、しかも後述する電
気装置自動付勢制御のための意識的な目および口の運動
によるそれらの位置変化にも追従して正確に目および口
を撮影情報より摘出するために、検出した位置を記憶す
る記憶手段、記憶した位置に基づいて前記撮像手段の撮
像画面より小さい領域を設定するウィンドウ設定手段、
前記記憶の所定時間後は１位置検出手段の検出対象領域
を前記小さい領域に設定する手段および前記小さい領域
の、前記特定の部分の位置を記憶手段に更新記憶する記
憶更新手段を備える。これにより、一度目および口（特
定の部分）の位置を検出した後は、画面において目およ
び口を検出するための情報走査が小領域に限定され、目
および口を検出する時間が短くなり、しかも検出精度が
高くなり、目および口が迅速にかつ正確に追跡される。

本発明では更に、目および口の時系列状態変化を検出す
る状態変化検出手段、状態変化に対応した付勢制御信号
を対象電気装置に与える出力設定手段を備える。すなわ
ち、追跡している目および口に、所定の状態変化が現わ
れると、すなわち電気装置付勢制御用の意図的な変化が
現われると、該変化に対応付けている付勢制御信号を電
気装置に与える。

これによれば、ドライバは、運転姿勢のままで目を動か
すことにより、また口を動かすことにより、電気装置を
制御することができ、車上電気装置の操作のための動作
が極めて簡単になり、快適かつ安全なドライブをし得る
１例えば発声して何かを指示すると、この口形状に応じ
て電気装置が制御され、発声しなくても、発声のときと
同じ口形状を意図的に行なうと、この口形状に応じて電
気装置が制御される。音声には依存しないので。

車内の騒音による検出エラーがない、また、ラジオを付
けていたり、ありいは同乗者が前高に話をしていたりし
ても、これらに応答して誤動作をするようなことはない
。

上述の作用効果は、撮像対象がドライバでない場合にも
同様にもたらされる０例えば病院の重症患者は、目と口
で周囲の医療機器や救援機器を動作させたり、停止させ
たり、あるいはパワーアップ／ダウンをさせたりできる
。

更に機械の異常監視および保護装置として、撮像装置の
撮影対象を機械とし、特定の部分を異常監視すべき部品
又は部位とし、それが異常な動きをするとその機械を停
止するなり、警報装置を動作させるなど、対象は人でな
くても本発明は同様に実施し同様な効果を得ることがで
きる。

更には、監視対象は、広い場所（自然の背景）とし、特
定の部分をその場所の動物又は車等の移動体とする形で
も本発明は同様に実施できる１例えばサファリパークに
おける車の移動に応じたゲートの開閉制御や、猛獣の移
動に応じたゲート制御に同様に実施できる。これを工場
に置き換えると、例えばベルトコンベアラインを撮像対
象とし。

特定の部分をコンベア上の部品又は製品として。

それが所定方向に動くと、安全装置を働がせるとか、次
工程の機器を動作させるとか、上述の場合と同様に本発
明を実施して同様な効果が得られる。

本発明の他の目的および特徴は、図面を参照した以下の
実施例の説明より明らかになろう。

（実施例）第１ａ図に本発明の一実施例の構成を示す、この実施例
は車上電気装置をドライバの顔の目および口の意図的な
動きに応答してオン／オフおよびアップ／ダウン自動付
勢制御する車上制御装置である。

テレビカメラ３およびドライバの少なくとも顔部を照明
する照明灯４は、第１ｂ図に示すように一体に構成され
てインスッルメントパネル２に、上下および左右に指向
方向を調整自在に固着されている。第１ｂ図において、
１が、車両の走行方向制御のためにドライバが操作する
ステアリングホイールである。

再度第１ａ図を参照する。照明灯４は照明コントローラ
１９により点灯付勢され、しかも明るさが制御される。

照明灯４は発光源としてフィラメントを用いる白熱電球
であり、照明コントローラ１９は、直流電圧をサイリス
タチョッパでチェッピングして照明灯４に印加する。照
明コントローラ１９は、付勢信号がオフを示すものであ
る消灯のときはサイリスタチョッパをオフにし、付勢信
号がオンの点灯のときには、まず標準のデューテイでサ
イリスタチェツバをオン／オフ付勢し、アップ（明るさ
上げ）を指示する付勢信号が到来すると１ステツプデユ
ーテイを高く更新設定し、ダウン（明るさ下げ）を指示
する付勢信号が到来すると１ステツプデユーテイを低く
更新設定する。アップおよびダウンが限度になると、そ
れぞれアップおよびダウンをそこで停止する。この照明
コントローラ１９には、マイクロプロセッサ６が、イン
ターフェイス１４を介して、前述のオン／オフ指示信号
およびアップ／ダウン指示信号を与える。

テレビカメラ３は、１フレーム２５６Ｘ２５６画素の撮
像信号（ビデオ信号：アナログ）を得る２次元ＣＯＤを
備えるものである。このテレビカメラ３に、インターフ
ェイス１７を介して、マイクロプロセッサ６が、オン／
オフ信号を与える。

テレビカメラ３は、１フレーム２５６Ｘ２５６画素の、
明るさ信号（ビデオ信号）を繰り返してＡ／Ｄコンバー
タ１８に出力すると共に、画素同期パルスをＡ／Ｄコン
バータ１８にＡ／Ｄ変換同期パルスとして与えると共に
、フレーム同期パルス、ライン同期パルスおよび画素同
期パルスをインターフェイス１７を介してマイクロプロ
セッサ６に与える。

マイクロプロセッサ６は、撮像データ（画像データ）の
１フレ一ム分を読込むときには、フレーム同期パルスに
同期してフレームメモリ（ＲＡＭ）１３に書込みを指示
し、ライン同期パルスおよび画素同期パルスに同期して
フレームメモリ１３の書込アドレスを進める。

Ａ／Ｄコンバータ１８は、この例では、ビデオ信号を４
ビツト（１６階調）のデジタルデータに変換する。すな
わち、フレームメモリ１３に書込まれる画像データは、
１画素当り４ビツトである。

マイクロプロセッサ６には、モードスイッチ５Ｅおよび
５Ｍが接続されている。

スイッチ５Ｅは目応答モードを指定するためのものであ
り、このスイッチ５Ｅが閉（目応答モード指示）のとき
に、マイクロプロセッサ６は、目（の中のりの位置およ
びまばたきパターンに対応して、後述する電気装置２０
，２１．２９および３０の付勢を制御する。

スイッチ５Ｍは口応答モードを指定するためのものであ
り、このスイッチ５Ｍが閉（ロ応答モード指示）のとき
に、マイクロプロセッサ６は１口の形状変化パターンに
対応して、後述する電気装置２０〜３０の付勢を制御す
る。

マイクロプロセッサ６には、各種判定用の演算を行なう
ためにもう１つのマイクロプロセッサ８が接続されてお
り、また、１フレ一ム分の２値化データ（１画素当り１
ビツトの画像爪有無を示すデータ）を一時記憶するため
のフレームメモリ（ＲＡＭ）１１．通常のコンピュータ
システム制御用のＲＯＭ９およびＲＡＭｌ０．パスコン
、トローラ１６および前述のフレームメモリ１３が接続
され、更に、制御対象の電気装置２０〜３０および照明
コントローラ１９が接続されている。

ラジオコントローラ２０は、ラジオの電源オン／オフお
よびボリューム（音量）のステップアップ／ダウンを電
気的に制御するものであり、付勢信号がオンを示すもの
であるとラジオ電源をオンにし、オフを示すものである
とラジオ電源をオフにし、アップを示す付勢信号が１回
到来するとボリュームを１ステツプアツプし、ダウンを
示す付勢信号が１回到来するとボリュームを１ステツプ
ダウンする°。アップおよびダウンにおいて限度に達す
るとそこでアップおよびダウンをそれぞれ停止する。

エアコンコントローラ２１はエアコンのオン／オフのみ
を制御する。室温や空気汚れに対応した。

冷房／暖房選択、パワーアップ／ダウン、クリーナのオ
ン／オフ等は、エアコン本体（図示せず）のコントロー
ラが制御する。

オートドライブ（自動定速走行）コントローラ２２は、
オートドライブオン／オフのみを制御するものである。

知られているように、オートドライブユニットは、オー
トドライブが指示されると、その時の走行車速を記憶し
てその後実車速が記憶車速になるようにスロットル開度
を制御し、オートドライブが解除される（オフ）と、こ
のスロットル開度制御を停止する。あるいは、オートド
ライブが指示されると、予め設定又は記憶されている車
速値、もしくはこれらでその時の車速を修正した車速値
、に実車速が合致するようにその後スロットル開度を制
御し、オートドライブが解除される（オフ）と、このス
ロットル開度制御を停止する。いずれの態様でも、アッ
プ指示があると目標車速を１ステップ高く更新設定し、
ダウンが指示されると１ステップ低く更新設定する。オ
ートドライブコントローラ２２は、このオン／オフおよ
びアップ／ダウンを制御するものであり、付勢信号がオ
ンを示すものであると、オートドライブを開始し、オフ
を示すものであるとオートドライブを停止し、アップを
示すものであると目、標車速を１ステップ高く更新設定
し、ダウンを示すものであると１ステップ低く更新設定
する。

ドアロツタコントローラ２３は、ドライバ席ドアに付さ
れているドライバ席ロック／アンロックスイッチおよび
全ドアロック／アンロックスイッチ、および、その他の
ドアに付されている各ドアロック／アンロックスイッチ
の開開に応じて、また車速等の車両状態に応じて、各ド
アのロック／アンロック付勢を制御し、かつ、付勢信号
（ＯＮｌｏＦＦ）がオンを示すものであると、他の阻止
条件が成立していない限り、各ドアを順次にロック付勢
する。オフを示す付勢信号が到来すると、他の阻止条件
が成立していない限り、各ドアを順次アンロック付勢す
る。

サンルーフコントローラ２４は、この例ではスライディ
ング形のサンルーフを開閉制御するものであり、通常備
わっているスイッチの操作に応答してサンルーフを開閉
駆動制御すると共に、付勢信号（ＯＮ１０ＦＦ／ＵＰ／
ＤＯ％ＩＮ）がオンヲ示すモノテアルときには、サンル
ーフを全開駆動制御し、オフを示すものであるときには
全開駆動制御し、アップを示すものであるときには１ス
テツプ（所定開度）だけ開駆動制御し、ダウンを示すも
のであるときには１ステツプだけ閉駆動する。

ウィンドウコントローラ２５は、各ドアのスライドガラ
スの開閉（上下）駆動制御を行なうものである。コント
ローラ２５は、通常備わっているスイッチ操作に応じて
スライドガラスの開閉駆動制御をすルト共ニ、付勢信号
（ＯＮ１０ＦＦ／ＵＰ／ＤＯＷＮ）がオンを示すもので
あるとドライバ席ドアのスライドガラスを全閉駆動制御
し、オフを示すものであると全開駆動制御し、アップを
示すものであると１ステツプだけ閉駆動制御し、ダウン
を示すものであると１ステツプだけ開駆動制御する。

ワイパコントローラ２６は、通常備わっているスイッチ
操作に応答してワイパの駆動制御をし、付勢信号（ＯＮ
１０ＦＦ／ＵＰ／ＤＯｖＮ）　カｙｔ　ンｔｔ　示ｆ　
トｆ！　ニは、標準速度でワイパ駆動付勢し、オフを示
すときにはワイパ駆動を停止して待期位置に位置決めし
、アップを示すときにはワイパ速度を１ステップ高く変
更し、ダウンを示すときにはｌステップ低く設定する。

シガーライターコントローラ２７は、シガーライター押
出し機構を、引込み／押出し機構に変更に、付勢信号（
ＯＮｌｏＦＦ）がオンになるとシガーライターを引込み
、付勢信号がオフを示すものであると、所定温度になっ
ていなくてもシガーライターを押出す、他は従来と同様
であり、押込み状態で機械的な接触によりシガーライタ
ーに通電し、所定温度でシガーライターを押出して通電
を遮つ。

ヘッドライトコントローラ２８は、大灯／小灯／オフス
イッチに応答して、該スイッチが大好位置にあるときに
はスモールライトを点灯しヘッドライトを格納位置より
上げて点灯し、角度指示スイッチの操作に応答して照射
角を設定し、車灯位置になるとヘッドライトを消灯して
スモールライトのみを点灯し、オフ位置になるとスモー
ルライトを消灯してヘッドライトを格納するのに加えて
、付勢信号（ＯＮ１０ＦＦ／ＵＰ／ＤＯＷＮ）がオンを
示すものであると、スモールライトを点灯しヘッドライ
トを格納位置より上げて点灯し、付勢信号がアップを指
示するものであるとヘッドライトの照射角を上方に１ス
テップ高くし、ダウンを指示するものであると１ステッ
プ低くし、オフであるとヘッドライトを消灯してスモー
ルライトの点灯のみとする。

デフロスタコントローラ２９は１通常備わっているオン
／オフスイッチの操作に応じてリアウィンドの埋込ヒー
タに通電／非通電すると共に、付勢信号（ＯＮｌｏＦＦ
）がオフのときには埋込ヒータに通電し、オフのときに
は通電を停止する。

ブザーコントローラ３０は、付勢信号がオンのときブザ
ー（図示せず）を付勢し、オフのときブザーを停止する
。このブザーは後述するように、ドライバが目を閉じた
状態が所定時間以上継続すると（居眠りと見なして）付
勢される。また、モードスイッチ５Ｅ又は５Ｍが閉じら
れているとき（目応答制御および又は口応答制御が指示
されているとき）に画像パターン処理が不能となったと
きに付勢される。

第２図に、マイクロプロセッサ６および８の動作の概要
（メインルーチン）を示し、動作の詳細（サブルーチン
）を第３ａ図〜第３ｈ図に示す。

以下これらの図面を参照して、設定されたプログラムに
基づいたマイクロプロセッサ６および８の制御動作を説
明する。

まず動作の概要を第２図を参照して説明する。

電源が投入されるとマイクロプロセッサ６は、初期化（
ステップ１：以下カッコ内ではステップという語を省略
する）を実行し、これにおいて、入出力ポートを初期化
して、電気装置１９〜３０およびテレビカメラ３を待機
状態（オフ）に設定し、内部レジスタ、カウンタ、フラ
グ、およびＲＡＭ１０．１１．１３をクリアする。そし
てスイッチ５Ｅおよび５Ｍの開閉状態を参照する６両ス
イッチ５Ｅおよび５Ｍのいずれかが閉であると、あるい
は閉になると、マイクロプロセッサ６は、照明灯コント
ローラ１９およびテレビカメラ３にオンを示す付勢信号
を与え、５Ｅと５Ｍの少くとも一方が閉状態のときに両
者共に開の状態になると照明灯コントローラ１９および
テレビカメラ３にオフを示す付勢信号を与え、またブザ
ーコントローラ３０にオフを示す付勢信号を与える。

モード指示スイッチ５Ｅおよび５Ｍのいずれもが開であ
ると、そのまま、少くとも一方が閉になるのを待ち、画
像パターン処理を実行しない。

モード指示スイッチ５Ｅおよび５Ｍの少くとも一方が閉
になると、照明灯コントローラ１９およびテレビカメラ
３にオンを示す付勢信号を与え、それから所定時間（照
明灯の明るさが安定し、ドライバの顔が運転時の位置に
静止するのを待つ時間）の後に、テレビカメラ３からの
フレーム同期パルスに同期して、ｌフレー４分の画像デ
ータの、フレームメモリ１３への書込を開始し、１フレ
一ム分の画像データ（１画素当り４ビツトの階調データ
）をメモリ１３に書込む（４）。

マイクロプロセッサ６は次に、メモリ１３の画像データ
の内、最高レベル（読取両像の中の明るさが最高）の階
調から所定範囲まで下方の階調に渡って、その階調を有
する画素数を集計し、明るさヒストグラム（横軸が階調
データで縦軸が画素数）を作成してＲＡＭｌ０にメモリ
する。このヒストグラムとＲＯＭ９にメモリしている標
準ヒストグラムとの偏差（各階調当りの偏差）を求めて
、偏差の２乗を加算しく５）、加算値を参照値と比較し
て（６）加算値が所定範囲を外れているときには、偏差
の和に対応してアップ又はダウンを指示する付勢信号を
照明灯コントローラ１９に与え（７）、それから所定時
間（照明灯４の明るさが新設定に対応した明るさに安定
するまでの時間）の後に、また１フレームの画像データ
をメモリ１３に読込む（４）、この偏差演算、２乗計算
。

加算等はマイクロプロセッサ８が行う、このようにして
、画像データのヒストグラムが所定範囲のものになるよ
うに照明灯４の明るさを調整する（４，５，６．７）。

明るさの設定を終了すると、そのときメモリ１３に格納
している画像データは明るさ適状層で撮影したものであ
るので、これを原データとして、原データを２値化し、
１画素当り１ビツトの、画像（黒）有無を示すデータを
メモリ１１に記憶する（８）。このメモリ１１の２値デ
ータは、パターン認識処理の基礎データである。

次にマイクロプロセッサ６は、基礎データに基づいて顔
の初期位置（正確には瞳位置および口位置）を検出して
内部レジスタにメモリする。この検出ができなかったと
きには、実行回数を示すＩ　ＰＤＦカウンタ（内部レジ
スタ）の内容を１大きい値に更新する（１０）、モして
カウンタの内容が１５に達しているか否かをチェックし
く１１）１５に達していないと、２値化の参照値を１小
さい数に更新し、その参照値を用いてまた２値化処理（
８）を実行し初期位置検出（９）を行なう。

このようにして、初期位置検出を、２値化処理の参照値
を１づつ小さくしながら実行する。１６回の初期位置検
出に失敗すると、原データが適正なものではなかったと
して、Ｉ　ＰＤＦカウンタをクリアして（１３）画像デ
ータの読込（４）に戻る。

初期位置検出（９）に成功すると、そこでＩＰＤＦカウ
ンタをクリアしく１４）、ステップ１５以下の、新たな
画像データの取込み（１５：第２図）、顔（Ｉｉｌ＆口
）位置追跡（１８，２６：第２図）、目の開閉パターン
検出（２３の７２〜９１：第３ｄ図）、目（１１）の位
置検出（２３の９２〜１０５：第３ｄ、３Ｇ図）２口形
状検出（２７の１０６〜１２１：第３ｆ図）９ロ形状変
化パターン検出（２７の１２２〜１７１：第３ｆ、３ｇ
。

３ａ図）、出力処理（２９ａ：第２図）等の、自動検出
−自動付勢制御に進む。

この制御では、まず１フレームの画像データをメモリ１
３に書込み（１５）、これを最新に設定した参照値と比
較して２値化して２値データをメモリＩＩに書込み（１
６）、モードスイッチ５Ｅがオンのときには（１７）、
目の追跡（１８）を実行して、追跡に失敗したときには
、また画像データの読込み（１５）、２値化（１６）、
目の追跡（１８）を実行し、８回実行しても目を検出し
得なかったときには、現在の顔位置が不適であるか、あ
るいはステップ９における顔初期位置検出が不適であっ
たとして、またステップ４に戻る（１８，１９，２０．
１５〜１７，２２ａ、２２ｂ。

２〜１５）。追跡に成功すると、判定（２３）で目の開
閉パターン検出および位置移動検出を行って判定結果に
対応した出力データをセットし、失敗回数を示すＩＰＤ
Ｆカウンタはクリアする（２４）。

モード指示スイッチ５Ｍがオンであると（２５）、口を
追跡しく２Ｇ）、８回実行しても口を検出し得なかった
ときには、現在の顔位置が不適であるか、あるいはステ
ップ９における顔初期位置検出が不適であったとして、
またステップ４に戻る（２６．１９，２０．１５〜１７
，２５，２２ａ。

２２ｂ、２〜１５）。追跡に成功すると１判定（２７）
で口の形状検出および形状変化パターン検出を行って、
判定結果に対応した出力データをセットし、失敗回数を
示すＩ　ＰＤＦカウンタはクリアする（２８）、そして
出力（２９ａ）で、それまでにセットした出力データ（
出力すべきもの）と、現在出力している付勢信号すなわ
ち現在の出力データとを比較し、異っているビットのみ
を、出力すべきものに更新してインターフェース１４に
更新出力する。

第３ａ図に、顔の初期位置検出（９）の内容を更に詳細
に示す。これを参照して説明すると、顔の初期位置検出
（９）に進むとマイクロプロセッサ６は、まず頭の左端
ａｌｘを検出する（３０）。

このａｌｘが何を意味するかは第４ａ図に示す。

すなわち、メモリ１１に記憶している１フレームの２値
データの１画像上の原点Ｏを基点として、縦方向（ｙ）
をラインとして左側から走査を開始し、ｌライン毎に、
読出し２値データが白のときランカウンタをクリアし、
黒が現われる毎にランカウンタをカウントアツプし、カ
ウント値（縦方向ｙの黒画素の連続数）が所定数になる
と、そこ（ａｌｘ）が顔の左端であるとして内部レジス
タにａｌｘをメモリする（検出成功）、横（ｘ）方向２
５６ライン（０〜２５５）の走査においてランカウンタ
が所定数のカウントをしなかった（検出失敗の）ときに
は、今回の読込画像データがエラーであるとして、第２
図のステップ１０に進む。

顔の左端ａｌｘを検出すると、今度は右端ａｒｘ（第４
ａ’図）を検出する（３１）、これにおいては、第２５
５ラインから左方に走査を開始し１．前述と同様にラン
カウンタで黒画素の連続数をカウントし、カウント値が
所定数に達したときのラインＮｏ、をａｒｘとする。検
出失敗のときには第２図のステップ１０に進む。

顔の右端ａｒｘを検出すると、マイクロブロセッサ６は
、今度は頭の先端ａｔｙ　（第４ａ図）を検出する（３
２）。これにおいては、横（ｘ）方向にライン走査を設
定してｙ＝Ｑ、ｘ＝ａ　ｌ　ｘから走査を開始し、ライ
ンはａｌｘからａｒｘまでとして（すなわちラインの終
端はａｒｘとして）１ライン毎にランカウンタをクリア
しかつ、読出し２値データが白のときにはランカウンタ
をクリアし、黒のときにはランカウンタを１カウントア
ツプする。したがってランカウンタのカウント値は黒画
素のＸ方向連続数を示す、カウント値が所定数になると
、頭の先端ａｔｙを検出したとして、そのときのｙアド
レスａｔｙをメモリする。検出に失敗すると第２図のス
テップ１０に進む。

次にマイクロプロセッサ６は額ｂｙ（第４ｂ図）を検出
する（３３）、これにおいては、走査範囲を横（ｘ）方
向でａｌｘ＝ａｒｙとし、ｙ方向はａｔｙ以下として、
ライン方向を横（Ｘ）方向として、ｘ＝ａ　ｌ　ｘｔ　
ｙ＝ａ　ｔ　ｙから走査を開始し、頭の先端ａｔｙの検
出と同様に横方向を走査ラインとして、今度は白画素の
ラン数（横方向連続数）をカウントする（この場合には
白データを読出す毎にカウントアツプ、黒データを読み
出すとランカウンタをクリア）、このラン数が所定数に
なると額ｈｙを検出したとしてそのときの縦アドレスｈ
ｙをメモリし、白連続の開始位置ｈｌｘと終端位１５ｉ
　ｈ　ｒ　ｘをメモリする。検出に失敗したときにぼ第
２図のステップ１０に進む。

次に、瞳の下端ｅｂｙ　　（第４ｄ図）を検出する（３
４）、これにおいては、ｈ　ｌ　ｘ＝ｈ　ｌ　ｘ＋ｈｗ／２゜ｈ　ｙ　”　ｈ　ｙ　＋　ｈ　Ｗ　／　２（第４ｃ図の
斜線領域：　ｈｗ＝ｈ　ｒ　ｘ−ｈ　ｌ　ｘである）を
走査範囲として走査ラインを横（Ｘ）方向として、ｘ＝
ｈｌｘ＋ｈｗ／２゜ｈｙ＋ｈｗ／２から走査を開始し、ラインの切換え毎に
ランカウンタをクリアし、かつ白データを読出す毎にラ
ンカウンタをクリアし、黒データを読出す毎にランカウ
ンタを１カウントアツプし、カウント値が所定数になる
と瞳の下端ｅｂｙを検出したとしてそのときのｙアドレ
スａｂｙをメモリする０次に瞳幅最大ＭＡＸ検出（３５
）に進み、更に走査およびランカンタのカウントアツプ
／クリアを継続し、ランカウンタのカウント値が所定数
になるまで、白データを読出すとそのときのランカウン
タの値を最大値として保持している値と比較してランカ
ウンタのカウント値がそれより大きいとその値を最大値
ＭＡＸとして更新保持してからランカウンタをクリアす
る。そして該所定値になると（３６）、瞳の上端ｓｔｙ
を検出したとしてそのときのｙアドレスｓｔｙをメモリ
する。

以上の下端ｅｂｙ検出、最大値ＭＡＸ検出および上端ｓ
ｔｙ検出において、いずれかの検出に失敗すると、第２
図のステップ１０に進む。

以上に説明した検出に成功すると、ａｙｅｗ＝ａｂｙ−ｓｔｙ＞ｈｗ／２０ｙＭＡＸ＞ｈｗ
／１５．および、ＭＡＸ＜ａｙａｗ≦３なる条件が成立しているか否かをチェックして（３７）
、成立していると瞳を検出したとしてステップ３８に進
み、成立していないと瞳検出に失敗したとして第２図の
ステップ１０に進む。

ステップ３８では、検出した瞳の中心位ｓｌ：ｃｘｔＥ
ｃｙを演算する。これは、前述のｈｌｘ〜ｋ　ｌ　ｘ＋
ｈｗ／２．ｅ　ｔ　ｙ”ｅ　ｂｙの領域を目領域と見な
して、その領域の２値データをマイクロプロセッサ８に
与えて重心演算（黒画素分布の中心演算）させて重心位
置データをもらい、これをフレーム上のアドレスに変換
する。これにより得る中心位置データがｘｘＥｃｘ、ｙ
＝Ｅｃｙである。　　′ 次にマイクロプロセッサ６は、中心位置データＥｃｘ、
Ｅｃｙを中心にした、目の追跡走査領域を定めるウィン
ドウＷｅ（第５ａ〜５ｆｌ！ｌ）を設定する（３９）。

ウィンドウＷｅの領域は。

Ｅｃｘ−ｋｌ　〜Ｅｃｘ＋に１　ｖＥｃｙ−に２〜Ｅｃｙ＋に２であり（ｋｘｙｋ２は定数）、これをメモリする。

このウィンドウＷ６は、１フレームの面積に対して非常
に小さい領域である。

次に、まゆ毛の両端ｂＬｘｙ　ｂｒｘ　（第４ｆ図）を
検出する（４０）。この実施例では、まゆ毛の形状や位
置に対応した電気装置の付勢制御は行なわない（所要な
ら行ってもよい）が、口領域検出のための走査範囲を求
めるためにこれを行う、このまゆ毛の両端ｂｌｘ、ｂｒ
ｘ検出（４０）においては、Ｘ方向走査範囲をｈｌｘ”
ｈｒｘとし。

ｙ方向走査範囲をｅ　ｔ　ｙ−ｈｗ／２〜ａ　ｔ　ｙ　
−ｅｙｅｗとし走査ラインを横（ｘ）方向として、該範
囲内の走査ライン毎に黒画素数（連続数ではない）をカ
ウントして、カウント数が最大のラインの最左端の黒画
素のＸアドレスｂｌｘを左端位置として、また最右端の
黒画素のＸアドレスｂｒｘを右端位置としてメモリする
。この検出に失敗すると第２図のステップ１０に進む。

次に１口検出のための走査領域を演算する（４１）。す
なわち、口検出のための走査領域を。

ｂ　ｌ　ｘ＝ｂ　ｒ　Ｘ、　８　ｔ　ｙ−ｅＭＷ〜２５
５　　（フレーム下端）に設定する（４１）、θＭＷは
定数である。

次にこの領域ｂ　ｌ　ｘ”ｂ　ｒｘ、　ｅ　ｔ　ｙ−ａ
ＭＷ〜２５５を、ｘ＝ｂ　ｌ　Ｘ、ｙ＝ｅ　ｔ　ｙ−ａ
ＭＷを始点としかつ走査ラインを横（Ｘ）として走査し
、ライン毎に黒画素の数（連続数ではない）をカウント
し、−ラインの黒画素数のカウントを終了する毎にカウ
ント値を保持している最大値と比較し、今回ラインのカ
ウント値が大きいとこれを最大値として更新保持する。

このようにして、ライン毎の黒画素数のカウント値が、
前ラインのカウント数よりも増加しているときには次の
ラインに走査を進める。そして、今回ラインのカウント
値が保持している最大値より小さいと、その直前のライ
ンが口の水平線（上唇と下唇との接線）にかかっていた
と見なして、該直前のラインのｙアドレスｍａｙ（第４
ｇ図）を口の中心のｙアドレスとしてメモリし、かつ、
該直前のラインの黒始端と黒線端の中間の値ｍｃｘを口
の中心のＸアドレスとしてメモリする（口の中心位置ｍ
ｃｘ、ｍｃｙの演算：４３）。検出に失敗したときには
第２図のステップＩＯに進む。

次に、マイクロプロセッサ６は、中心位置データｍｅＸ
、ｍｅｙを中心にした、口の追跡走査領域を定めるウィ
ンドウＷｍ（第６ａ図）を設定する（４４）、ウィンド
ウＷｍの領域は、ｍｅ　ｘ−に３〜ｍｃ　ｘ＋に３　。

ｍ　ｃ　ｙ　−ｋ　ａ　〜ｍ　ｃ　ｙ　＋　ｋ　４であ
り（ｋ３ｖ　ｋｔは定数）、これをメモリする。

このウィンドウＷｍは、１フレームの面積に対して非常
に小さい範囲である。

以上が、第２図に示す顔の初期位置検出（９）の内容で
あり、これを経てステップ１５に進んだときには、初期
位１ｉ１　（Ｅｅｘ、Ｅｃｙｔ　ｗ８１ａｘ、ｍｃｙ、
、およびＷ　ｍ　）が、内部レジスタあるいはＲＡＭｌ
０にメモリされている。

次に、新たに１フレ一ム分の画像データをメモリ１３に
読込み（１５）それを２値化して２値画像データをメモ
リ１１に読込んだ（１６）後の、目の追跡（１８）の動
作詳細を、第３ｂ図および第３ｃ図を参照して説明する
。

目の追跡（１８）に進むと、マイクロプロセッサ６は、
まずメモリ１１の画像読出し範囲（走査範囲）をすでに
メモリしているウィンドウＷｅ領域に設定し、該ウィン
ドウＷｅの中心Ｘ座標のデータを上から下（ｙ＝０から
２５５）方向に走査（メモリ１１よりのデータ読出し）
して黒連続数のカウントをして、カウント値が所定数に
なると、瞳の上端ｍｔｙ（第５ａ図）を検出したとして
（４５，４６）、そのときのｙアドレスｍｔｙをメモリ
し、次にＸ座標はそのままとして下から上に走査して、
黒画素の連続数をカウントし、カウント値が所定数にな
ると瞳の下端ｍｂｙを検出したとしてそのときのｙアド
レスｍｂｙをメモリしく４７）、次に上下端の中心ｗａ
ｙ（縦方向の中心位置）を演算する（４８）、次に、ｙ
座標をｗｃｙに設定して右方から走査して瞳の右端ｍｒ
ｘ（第５ｂ図）を検出してそのＸアドレスｍ　ｒ　ｘを
メモリしく４９）、次に左方から走査して瞳の左端ｍｌ
ｘ　（第５ｂ図）を検出してそのＸアドレスｍ　ｌ　ｘ
をメモリしく５０）、水平方向の左右端の中心ｗｃｘを
演算する（５１）、このように検出すると、得たデータ
”　ＣＶ　ｔ　Ｗ　ＣＸを−応瞳の中心と見なして、こ
れを中心にウィンドウＷｅを演算して更新設定する（５
２；更新設定したウィンドウＷｅが次の瞳位置検出のた
めの走査範囲を定めるものとなる）、そして次のステッ
プ２３の判定に進む。

前述のステップ４５で瞳の上端検出に失敗したときには
（隨がウィンドウ中心から左方又は右方にずれている）
、ウィンドウＷｅの中心のｙ座標のデータを右から左に
走査（読出）して、ｍｒｘ（所定数の黒の連続；第５ｃ
図）を検出する（５３）。

これが検出できると、次は左から右に走査してｍ１ｘ（
第５ｃ図）を検出しく５５）瞳の右端と左端の中心ｗａ
ｘを演算しく５６）、次にＸ＝ｗｃｘのデータを上から
下に走査して上端ｍｔｙ（第５ｄ図）を検出しく５７）
次いで下から走査して下端ｍ　ｂ　ｙを検出しく５８）
、縦方向の上下端の中心ｗｃｙを演算する（５９）、こ
のように検出すると、得たデータｗｅ　ｙ、ｗｅ　ｘを
一応隨の中心と見なして、これを中心にウィンドウＷｅ
を演算して更新設定する。そして次のステップ２３の判
定に進む。

ステップ４５でｍ　ｔ　ｙが検出できず、またステップ
５３でｍ　ｒ　ｘが検出できなかったときには、ステッ
プ６０（第３ｃ図）に進み、ウィンドウＷｅの左上コー
ナより右下コーナに向けて２値データを走査して（第５
ｅ図：これはメモリ１１よりの２値データの読出しスタ
ートアドレスをウィンド°つＷｅの左上コーナに設定し
、その後順次にＸ。

ｙアドレスを同時にそれぞれ１およびｎインクレメント
して行う）、Ａ点（ＩＩ！の斜左上端）を検出してその
アドレスｍｌｘ、ｍｔｙをメモリしく６０）、次いでウ
ィンドウＷｅの右下コーナより左上コ・−すに向けて２
値データを走査（スタートアドレスをウィンドウＷｅの
右下コーナとして、ＸｖＶを同時にそれぞれ園およびｎ
デクレメクト）して、Ｂ点（１！の斜右下端）を検出し
てそのアドレスｍｒｘ、ｍｂｙをメモリしく６２）、検
出したアドレスの中点ｗｃｘ、ｗｃｙを演算して（６３
゜６４）メモリする。このように検出すると、得たデー
タｗｃｘ、ｗｃｘを一応瞳の中心と見なして、これを中
心にウィンドウＷｅを演算して更新設定する。そして次
のステップ２３の判定に進む。

ステップ４５でｍｔｙが検出できず、またステップ５３
でｍ　ｒ　ｘが検出できず、更にステップ６０でＡ点が
検出できなかったときには、ステップ６５に進み、ウィ
ンドウＷａの右上コーナより左下コーナに向けて２値デ
ータを走査して（第５ｆ図：これはメモリ１１よりの２
値データの読出しスタートアドレスをウィンドウＷｅの
右上コーナに設定し、その後順次にＸアドレスはｌデク
リメント、ｙアドレスはｎインクレメントして行う）。

Ａ点（ｌｌｉｌの斜右上端）を検出してそのアドレスｍ
ｒｘ、ｍｔｙをメモリしく６５）、次いでウィンドウＷ
ｅの左下コーナより右上コーナに向けて２値データを走
査（スタートアドレスをウィンドウＷｅの左下コーナに
して、順次にＸアドレスはｍインクレメント、ｙアドレ
スはｎデク１メント）してＢ点（＠の斜左下端）を検出
してそのアドレスｍ　ｌ　ｘ　、　ｍ　ｂ　ｙをメモリ
しく６７）、検出したアドレスの中点ｗｅ　ｘ、ｗｅ　
ｙを演算して（６８゜６９）メモリする。このように検
出すると、得たデータｗａｘ、ｗｃｘを一応瞳の中心と
見なして、これを中心にウィンドウＷｅを演算して更新
設定する（５２）、そして次のステップ２３の判定に進
む。

ステップ４５，５３，６０および６６のいずれにおいて
も瞳を検出できなかったときには、第２図のステップ１
９に進む。

以上が目の追跡（１８）動作である。フローチャートを
示していないが、口の追跡（２６：第２図）も２先に設
定しているウィンドウＷｍに基づいて、前述の目の追跡
（１８）の動作と同様に行われ、これにより口の中心が
検出されて更新メモリされると共に、ウィンドウＷｍが
更新設定される。

第２＠のステップ２３の「判定」の詳細を第３ｄ図およ
び第３ｅ図に示す、この「判定」で、目の開閉パターン
の検出および瞳の移動位置検出、ならびに検出結果に基
づいた出力データ（第２図のステップ２９ａで出力する
もの）の設定を行なう、これを説明すると、「判定Ｊ　
　（２３）に進むとマイクロプロセッサ６は、マイクロ
プロセッサ８に、瞳の縦直径ＥＨを演算させる（７０）
。先に「目の追跡（１８）Ｊで検出した瞳の中心ｗｃｘ
、ｗａｙは、正確な中心ではない場合があるので、マイ
クロプロセッサ６は、この演算（７０）においてはまず
、該中心ｗｃｘ、ｗｃｙを中心とする、ウィンドウＷｅ
よりも更に狭いウィンドウＮＷｅ（これは、中心ＷｅＸ
、ｙＣｙを中心とし、瞳の直径りを半径とする円に外接
する矩形）を設定して、その領域の２値データをフレー
ムメモリ１１より読み出して、マイクロプロセッサ８に
与える。マイクロプロセッサ８は、該ウィンドウＮＷｅ
の２値データを、ｙ方向を走査ラインとして左から右に
走査して、各ラインにおける黒画素の連続数をカウント
し、１ラインの走査を終える毎に、保持している黒連続
数最大値とカウント値とを比較し、カウント値の方が大
きいと該カウント値を黒連続数最大値として更新保持し
、カウント値の方が保持している黒連続数最大値よす小
さくなったときに、その時保持している黒連続数最大値
を瞳の縦方向直径ＥＨと見なし、これをメモリし、かつ
そのラインアドレスＮＥｘをメモリする。マイクロプロ
セッサ８は次に、瞳の横直径ＥＷを演算する（７１）。

すなわち先に与えられたウィンドウＮＷθの２値データ
を、横（ｘ）方向を走査ラインとして下から上に走査し
て、各ラインにおける黒画素の連続数をカウントし、１
ラインの走査を終える毎に、保持している黒連続数最大
値とカウント恒産を比較し、カウント値の方が大きいと
該カウント値を黒連続数最大値として更新保持し、カウ
ント値の方が保持している黒連続数最大値より小さくな
ったときに、その時保持している黒連続数最大値を瞳の
横方向直径ＥＷと見なし、これをメモリし、かつそのラ
インアドレスＮＥｙをメモリする。モしてＥＨ／ＥＷを
演算して、ＥＨ／ＥＶ、ＮＥｘおよびＮＥｙをマイクロ
プロセッサ６に与える。

マイクロプロセッサ６は、これらのデータを受けると、
ＮＥｘおよびＮＥｙをフレームにおけるアドレスに変換
して、変換したアドレスを瞳の中心ｗａｘ、ｗｃｙとし
て更新メモリし、これに対応してウィンドウＷｅをこの
アドレス（座標）を中心とするものに更新設定する。そ
して、ＥＨ／ＥＶを定数にと比較して（７２）、前者が
後者以上であると目が開いていると判定し、前者が後者
未満であると目が閉じていると判定して、目が開いてい
ると、閉眼フラグの有無を参照しく７９）、それがある
と直前（前回このステップに進んだとき）は目が閉じて
おり、今回目が開いたことになるので、閉眼時間をカウ
ントしているＴカウンタの内容を開眼時間レジスタに移
しく開眼時間を読取り）（８０）、Ｔカウンタを、今度
は開眼時間カウントのために再セットしく８１）　、閉
眼フラグをクリアする（８２）、ステップ７９で閉眼フ
ラグがなかったときには、直前も目が開いていたことに
なるので、そのまま次のステップ９２に進む。

ステップ７２で閉眼を判定したときには、開眼フラグの
有無をチェックしく７３）、それがないと。

直前は開眼であって今回目を閉じたことになるので、開
眼時間をカウントしているＴカウンタの内容をＩｊｉｉ
時間レジスタに移しく開眼時間を読込み）（７４）、閉
眼時間カウントのためにＴカウンタを再セットしく７５
）、閉眼フラグをセットする（７６）、ステップ７３で
開眼フラグがあったときには、直前も眼が閉じられてＴ
カウンタで開眼時間をカウント中であり今回も眼が閉じ
られているので、居眠りをしているか否かの判定のため
に、Ｔカウンタのカウント値Ｔを参照値（固定値）Ｔｓ
と比較する（７７）、Ｔ≧Ｔｓであると、居眠りの可能
性があるので、ブザーコントローラ３０にオン付勢（ｆ
ｆ号を与えて（７８）、第２図（メインルーチン）のス
テップ２に戻る。なお、モード指示スイッチ５Ｅと５Ｍ
の両者が開になるとステップ２−３−２９ｂと進んで、
ブザーコントローラ３０にオフ付勢信号が与えられる（
２９ｂ）ので。

ドライバ（運転者）がブザーを停止するときには。

スイッチ５Ｅおよび５Ｍ共に一時的に開にすればよい。

さて開眼から開眼に変わったとき（７２−７９〜８２）
には、開眼時間レジスタの内容（今回開眼となったので
Ｔカウンタが今回開眼の継続時間をカウント中であり、
開眼時間レジスタの内容は。

前回の開眼時間である）を、自然のまばたきの周期相当
の時間よりも少し短い時間値Ｔ３と比較する（８３）。

前回の開眼時間がＴａより小さいと、意図的なまばたき
があったとして、今回の開眼の直前の閉眼時間を自然の
まばたきのときの閉眼時間よりもかなり長い時間値Ｔ２
と比較する（８４）、直前の開眼時間が１２以上である
と、意識的な、比較的に長い閉眼であるので、これには
エアコン制御を割り当てているので、ステップ８５以下
のエアコン制御データのセットに進むｓＴ２未満であっ
たときには、今回の開眼の直前の閉眼時間を自然のまば
たきのときの閉眼時間よりも少し長い時間値Ｔ１と比較
する（８８）。直前の開眼時間がＴ１以上であると、意
識的な、やや長い閉眼であるので、これにはラジオ制御
を割り当てているので、ステップ８９以下のラジオ制御
データのセットに進む。

ステップ８３で、前回の開眼時間が１３未満であったと
きには、自然のまばたきであったとして、また直前の開
眼時間がＴ１未満のときにも自然のまだたきであったと
して、次のステップ９２に進む。

なお、〔自然のまばたきの閉眼時間くＴ１くＴ　２　＜
　Ｔ　ｓ＜　Ｔ　ｓ　＜自然のまばたき周期〕である。

さて、エアコン制御用の意図的なまばたきがあったと判
定したとき（８３−８４−８５）には、インターフェイ
ス１４に現在出力しているデータの中の、エアコンコン
トローラ２１割当てのものをチェックし、それがオンを
示すものであるとエアコンオフデータをセットしく８６
）、オフを示すものであったときにはエアコンオンデー
タをセットする（８７）。ラジオ制御用の意図的なまば
たきがあったと判定したとき（８３−８４−８８−８９
）には、インターフェイス１４に現在出力しているデー
タの中の、ラジオコントローラ２０割当てのものをチェ
ックし、それがオンを示すものであるとラジオオフデー
タをセットしく９０）、オフを示すものであったときに
はラジオオンデータをセットする（９１）、このように
セットしたデータは、後述するステップ２９ａ（第２図
）でインターフェイス１４に出力セット（出力更新）さ
れる。

次にマイクロプロセッサ６は、前述のステップ７０およ
び７１で正確に検出して、メモリ内容を更新した瞳中心
データｗｃｘ、ｗｅｙと、顔の初期位置検出（９）のス
テップ３８（第３ａ図）で検出してメモリしている瞳中
心の初期位置Ｅｃｘ。

Ｅｃｙとを用いて、ＥＣＸ、ＥＣ）Ｉを基点としｗｃｘ
、ｗｃｙを終点とするベクトル（方向と偏差値）を演算
し、演算したベクトルを、予め固定情報としてメモリし
ているラジオ位置割り当てのベクトル範囲、エアコン位
置割り当てのベクトル範囲、シガーライター位置割り当
てのベクトル範囲およびデフロスタの操作摘子位置割り
当てのベクトル範囲のそれぞれと比較する（９２，９６
゜１００．１０２）、演算したベクトルがラジオ位置割
り当てのベクトル範囲内にあると、インターフェイス１
４にセットしている出力データの内のラジオ割り当ての
ものをチェック（６３）して、それがオン付勢信号であ
ると出力データ（次に出力セットするデータ）のラジオ
割り当てのビットをオフ付勢信号にセットしく９４）、
現在がオフ付勢信号であると出力データのラジオ割り当
てのビットをオン付勢信号にセットする（９５）、演算
したベクトルがエアコン位置割り当てのベクトル範囲内
にあるときには、現在の出力データのエアコン割り当て
のものをチェック（９７）して、それがオン付勢信号で
あると出力データをオフ付勢信号にセットしく９８）、
オフ付勢信号であったときには出力データをオン付勢信
号にセットする（９９）、演算したベクトルがシガーラ
イター位置割り当てのベクトル範囲内にあると、出力デ
ータのシガーライター割り当てのものをチェックして（
１０１ａ）、オン付勢信号であると出力データをオフ付
勢信号にセットしく１０１ｂ）、オフ付勢信号であった
ときにはオン付勢信号をセットする（ｔｏｔｃ）−演算
したベクトルがデフロスタ位置割り当てのベクトル範囲
内にあると、インターフェイス１４にセットしている出
力データの内のデフロスタ割り当てのものをチェック（
１０３）ｔ、て、それがオン付勢信号であると出力デー
タ（次に出力セットするデータ）のデフロスタ割り当て
のビットをオフ付勢信号にセットしく１０４）、現在が
オフ付勢信号であると出力データのデフロスタ割り当て
のビットをオン付勢信号にセットする（１０５）、この
ように出力データをセットすると、あるいは、演算した
ベクトルが上述の各種ベクトル範囲内にないときには目
（瞳）の移動による付勢制御指示がなかったものとして
そのまま、次のステップ（２４）に進む。

以上が第２図に示すステップ２３の「判定」の内容であ
る。次に、ステップ２７の［判定」の内容を第３ｆ〜３
ｈ図を参照して説明する。

ステップ２７の「口の追跡」　（目の追跡１８の内容と
同様）を出ろとこの「判定Ｊ　　（２７）に進み、マイ
クロプロセッサ６は、まず口の追跡（２７）で更新設定
したウィンドウＷｍの２値データをメモリ１１から読み
出してマイクロプロセッサ８に与え、口の横幅ＭＷと口
の縦幅ＭＨ（第６ａ図）を検出させる（１０６〜１１１
）。マイクロプロセッサ８は、ウィンドウＷｍの２値デ
ータを受けると、まずライン方向を縦（ｙ）に設定して
、左方から走査（続出）して、ライン毎にランカウンタ
をクリアしかつ白データを読み出すとランカウンタをク
リアして、黒画素の連続数をカウントする。カウント値
が所定値になるとそこが口の左端であるとしてそのとき
のＸアドレスＮｍ１ｘをメモリする（１０６）。次に右
方から走査して同様に黒画素のランレングスをカウント
　　゛して、カウント値が所定値になるとそこが口の右
端であるとしてそのときのＸアドレスＮｍｒｘをメモリ
して（１０７）、口の横幅ＭＷ＝Ｎｍｒ　ｘ−Ｎｍ　ｌ　ｘを演算しメモリする（１０８）。次に、ＸアドレスをＮ
ｍ　ｌ　ｘ＋　（Ｎｍ　ｒ　ｘ−Ｎｍ　１　ｘ）　／　
２　（口の横方向中央）に設定して、そのＸアドレスの
データを上端から読んでデータが白のときにはランカウ
ンタをクリアし、黒のときにはランカウンタを１カウン
トアツプして、カウント値すなわち黒画素の連続数が所
定数になると唇の上端を検出したとしてそのときのｙア
ドレスＮｍｔｙをメモリしく１０９，１１０）　、次に
下端からデータを読んで、黒画素の連続数が所定数にな
ると唇の下端を検出したとしてそのときのｙアドレスＮ
　ｍ　ｂ　ｙ゛をメモリしく１０９，１１０）、次に縦
幅ＭＨ＝Ｎｍｂｙ−Ｎｍｔｙを演算してメモリして、ＭＷ、ＭＨｔ　Ｎｍｌ　ｘ＋（
Ｎｍ　ｒ　ｘ−Ｎｍ　Ｌ　ｘ）　／　２およびＮｍｔｙ
＋（Ｎｍｂｙ−Ｎｍｔ　ｙ）／２をマイクロプロセッサ
６に転送する。マイクロプロセッサ６は、ＮｒＨ１ｘ＋
　（Ｎｍｒｘ−Ｎｍｌ　ｘ）／２およびＮｍｔｙ＋　（
Ｎｍｂｙ−Ｎｍｔｙ）／２　（これらはウィンドウＷｍ
の中の口中心座標である）をフレーム位置座標に変換し
てこれをｍｃｘ、ｍａｙとして更新メモリすると共に、
ウィンドウＷｍをこのｍＣＸ、ｍｅａｌを中ノヒとする
ものに更新設定する。そして、ＭＷをＷｌ　　（固定値
）と、ＭＨをＨｌ、Ｈ２，Ｈ３およびＨ４と比較して１
口の形状が「ア」発音形状であるか、「イ」発音形状で
あるか、「つ」発音形状であるか、「工」発音形状であ
るか、あるいはｒオ」発音形状であるかを判定しく１１
２〜１１６）、ｒア」であると「ア」を示すデータを、
「イ」であると「イ」を示すデータを、「つ」であると
「つ」を示すデータを、「工」であると「工」を示すデ
ータを、また「オ」であると「オ」を示すデータをレジ
スタエにセットする（１１７〜１２１）。

第６ｂ図に示すように、母音「ア」〜ｒオ」はそれぞれ
他と区別できる横幅および縦幅であるので、前述のＷｌ
、Ｈｌ−８４等の参照値とＭＷ、ＭＨとの比較により、
これらの母音を特定できる。

ここで以下の口の発声形状パターン変化判定の説明のた
めに、第１ａ図に示す電気装置ｉ！２０〜２９に割り付
けられている呼び方を示すと次の通りである。

ラジオの付勢制御を例に挙げると、この実施例では、「
ラジオ」（名宛て）「動け」（動作指示）と１口形状を
この順にすると、単純にはこのように発声すると、これ
は母音だけを選択するとｒアイオ」ｒウオエ」というこ
とになる。これらの母音発声形状を検出してレジスタ１
，２．３に順次にメモリして、母音形状を検出する毎（
第３ｆ図の１１２〜１２１）にまず検出データ（検出母
音を示すデータ）をレジスタＩに格納し、レジスタＩの
内容をレジスタ３の内容と比較しく１２２）、両者が合
致すると、同じ母音形状が継続していることになるので
、そのまま何もしないで新しい画像データの読込（１５
：第２図）に戻り、異っていると発声形状が変化したこ
とになるので、レジスタ２の内容をレジスタｌに、レジ
スタ３の内容をレジスタ２に移してレジスタ３にレジス
タＩの内容をメモリする（１２３）、すなわち直前に検
出している母音形状とは異る最新の母音発声形状の検出
データをレジスタ３にメモリする。このようなメモリシ
フトにより、まず「ラジオ」という形に口形状が動いた
とき、最後の「オ」形状を検出したときのレジスタ１〜
３の内容は、上記表中にケイ線でかこんだ母音データが
格納されていることになる。何時の時点に、母音の発声
形状検出データをレジスタ１〜３に格納完了しているか
不明であるので、母音検出データをレジスタ３に格納す
る毎に、ステップ１２４〜１７１で、前記表中の電気装
置又は動作命令対応の母音発声形状データを。

レジスタ１〜３に格納しているか否かを判定する。

これはレジスタ１〜３の内容、すなわち発声形状の時系
列パターン、が前記表に示す内容のいずれになっている
かをチェックすることである。

いずれかになっていると、例えばラジオ欄の通りに、レ
ジスタ３にｒオ」データが、レジスタ２に「イ」データ
が、またレジスタ１に「ア」データが格納されていると
ステップ１２４−１３３−１４２−１５２−１５９−１
６３−１６４と進んで、ＮＡＭＥレジスタに「ラジオ」
を示すデータをセットする（１６５）、レジスタ１〜３
の内容が前記表中の「ｏＮＪＩＩに示すデータになって
いるとステップ１２４−１３３−１４２−１５２−１５
３−１５４を経て、動作レジスタに「ＯＮ」をセットす
る（ｔｓ６）、そして動作レジスタに動作命令データ（
ＯＮ　、ＯＦＦ　、　ＵＰ　、　ＤＯＷＮ　）を格納し
たとき（１４１，１４９，１５６，１５８）には、レジ
スタ１〜３をクリアし、ステップ２８に進んで。

失敗回数をカウントするＩ　ＰＤＦカウンタはクリアし
て（２８）、ステップ２９ａのｒ出力」に進み、ここで
出力データ（次に出力セットするデータ）を、例えばラ
ジオコントローラ２０（これはＮＡＭＥし゛ジスタの内
容で定まる）をオン（これは動作命令レジスタの内容で
定まる）に更新して。

インターフェイス１４にこの出力データの内容を更新出
力セットする。

ドライバ（運転者）の動作と共に、上述の実施例の動作
を要約すると次の通りである。

（１）スイッチ５Ｅおよび５Ｍ共に開の状態で、ドライ
バがスイッチ５Ｅ又は５Ｍを閉にすると、照明灯４を標
準デユーティで点灯付勢し、カメラ３をオンにする。そ
して所要の遅延時間の後にドライバの顔の画像データを
１フレ一ム分メモリ１３に読込み、照度ヒストグラムを
作成してそれを設定値と比較して照度の適否を判定して
照明灯の明るさを調整する。照明灯の明るさを変更する
毎に新たに１フレームの画像データをメモリ１３に読込
む、この調整を終えると、メモリ１３の最新のデータを
最高レベルの参照値と比較して２値化してメモリ１１に
書込む。この２値データに基づいて瞳（右眼）の中心位
置９口の中心位置を検出し。

検出するとそれらをメモリし、これらに基づいてウィン
ドウＷｅ、Ｗｍを設定（メモリ）する。

これにおいて、瞳や口の検出に失敗したときには、２値
化のための参照値を１ステツプ小さい値に更新し、また
２値化を実行して２値データをメモリ１１に更新メモリ
して、同様に瞳の中心位置検出および口の中心位置検出
を行なう、この検出動作を１６回繰り返しても検出に失
敗したときには、メモリ１３に読込んでいるデータが異
常であるとして、また新たな画像データをメモリ１３に
読込み、前述と同様に、目および口の初期位置検出を行
なう。

（２）初期位置検出を終了（成功）し、モードスイッチ
５Ｅのみが閉であるときには、目の追跡および目の開閉
パターン検出および位置（初期位置からのずれ二方向お
よびずれ量）検出を繰り返して行ない、Ｔｓ以上閉眼が
継続すると居眠りを疑ってブザーをオンにする。スイッ
チ５Ｅ力）開になるとブザーをオフにする。自然のまば
たき周期（Ｔ３）よりも短い時間の開眼の次に、自然の
まばたきのときの開眼時間よりもやや長い時間（Ｔ１）
の閉眼を検出すると、ラジオのオン又はオフが指示され
たとして、ラジオをオン又はオフする。ラジオがオンの
ときにこの口開閉パターンを検出したときにはラジオを
オフに、ラジオがオフであったときにはラジオをオンに
する。

自然のまばたき周期（Ｔ３）よりも短い時間の開眼の次
に、自然のまばたきのときの開眼時間よりも比較的に長
い時間（Ｔ２）の閉眼を検出すると。

エアコンのオン又はオフが指示されたとして、エアコン
をオン又はオフする。エアコンがオンのときにこの口開
閉パターンを検出したときに゛はエアコンをオフに、エ
アコン、がオフであったときにはエアコンをオンにする
。

また、前記初期位置検出で検出した瞳の中心位置と、そ
の後毎回検出する瞳の中心位置とのずれを比較値と参照
して、目がラジオ位置、エアコン位置、シガーライター
位置およびデフロスタ操作嫡子位置のいずれに向いてい
るかを判定し、ラジオ位置に向いていると判定すると、
ラジオがオン中であればそれをオフに、オフ中であれば
オンにし、エアコン位置に向いていると判定すると、エ
アコンオン中ではエアコンをオフに、オフ中であるとオ
ンにし、シガーライター位置に向いていると判定すると
、シガーライターがオン中であればそれをオフに、オフ
中であればオンにし、目がデフロスタ操作嫡子位置に向
いていると判定すると、デフロスタオン中であるとそれ
をオフに、オフ中であるとそれをオンにする。この動作
をすると、あるいは、いずれの判定も成立しなかったと
きには何もしないで、新しい画像データの読込みを行な
う。モード指示スイッチ５Ｅを閉にしたときには。

このように目の動作に応答した電気制御の付勢制御が行
なわれるので、モード指示スイッチ５Ｅは、特定の部分
（目）を指定する手段でもある。

（３）初期位置検出を終了（成功）し、モードスイッチ
５Ｍのみが閉であるときには、口の追跡および口の形状
変化パターン検出を実行し、先の検出結果が電気装ｇ！
２０〜２９のいずれかを指定するものであり、しかもそ
の後に動作命令を指定するものであると、指定された電
気装置に指定された動作命令を与える。

これにおいて１口形状は、検出を確実にするために母音
形状のみを検出する。形状変化パターンの検出のために
、母音形状を検出する毎に、直前に検出している母音形
状と今回検出のものとを比較して、同じときには、同じ
形状を何回も読込むのを防ぐために、検出値としては読
込まない、また、電気装置２０〜２９名宛てに割り当て
ている母音形状の時系列パターンおよび動作命令の特定
に割り当てている母音形状の時系列パターンは、それぞ
れ一意的に特定できるものとし、異った３個又は２個の
母音発声形状の組合せとしている。

電気装！２０〜２９の名宛て検出データはＮＡＭＥレジ
スタに、動作命令検出データは動作レジスタに格納し、
検出した動作命令を動作レジスタに更新メモリする毎に
、ＮＡＭＥレジスタの内容で定まる電気装置の、動作レ
ジスタの内容で定まる付勢（ＯＮ、ＯＦＦ、ＬＩＰ、Ｄ
ＯＷＮ）を設定する。コノように、モード指示スイッチ
５Ｍを閉にしたときには口形状に応答した電気装置の付
勢制御が行なわれるので。

モード指示スイッチ５Ｍも特定の部分（ロ）を指定する
手段でもある。

（４）モードスイッチ５Ｅと５Ｍとが共に閉じられてい
るときには、前記（１）を実行した後、上記（２）と（
３）をこの順番に実行して、上記（２）と（３）で出力
レジスタにセットした付勢データをインターフェイス１
４に更新出力し、途中で検出失敗になると、上記（１）
からやり直す、検出失敗がない間は、上記（２）、（３
）および出力（２９ａ）をこの順番に繰り返す、したが
って、上記（２）で検出した動作指示（目の開閉パター
ンと目位置の検出により判定した付勢指示）と上記（３
）で検出した動作指示（口の母音形状の時系列変化パタ
ーン）とが同一電気装置について異るときには、上記（
３）の検出結果に基づいた付勢信号が電気装置に出力さ
れることになる。

すなわち１口応答付勢制御が優先であり、モード指示ス
イッチ５Ｍは優先すべき制御モードを指定する手段でも
ある。

以上の付勢制御が実行されるので、モード指示スイッチ
５Ｅのみを閉にして、ドライバ（車の運転者）は、目の
開閉および目線、すなわち目くばせ、でラジオのオン／
オフ、エアコンのオン／オフ、デフロスタのオン／オフ
およびシガーライターのオン／オフを、非接触で、しか
も手、腕９体等の格別な移動なしに制御し得る。

また、モード指示スイッチ５Ｍのみを閉にして。

ドライバは、口を、発声すると否とにかかわらず。

付勢制御しようとする電気装置の名の発声形状と。

付勢内容を指示する発声形状にして、特定の電気装置を
特定の付勢状態に設定し得る１手、腕２体等の格別な移
動なしにこれを行い得るので、労力を要せず、手および
目線の移動がないので精神的な集中を要せず、車の運転
性が損われず、安全であって、しかも運転が快適になり
破骨が少くなる。

〔発明の効果〕

以上の通り本発明によれば、比較的に広い２次元領域の
特定の部分の位置を検出し、この検出データに基づいて
、該特定の部分の位置を中心とする比較的に狭い領域を
特定して次の位置検出のためのウィンドウとし、該特定
の部分を検出する毎に該ウィンドウを更新するので、特
定の部分の位置変化に追従した、該特定の部分の位置検
出が行なわれ、該特定の部分の検出速度が速く、該特定
の部分の速い動きに対しても高い検出精度で該特。

定の部分が検出される。また、該特定の部分の。

位置、形状などの時系列状態変化を検出して、検出に対
応して電気装置を付勢制御するので、検出対象であろ人
又は物、あるいは、検出対象外の人又は装置、が電気装
置を付勢制御するための、スイッチオン／オフ、ボリュ
ーム調整等の従来の。

比較的に労力と精神的集中を要する操作、をする必要が
ない１機能がすぐれた人の活性が高くなると共に、機能
不全の人の電気装置操作能力が増大し、また、検出対象
を物又は動物に設定できるので、人の監視を要しない自
動制御も可能となる。

【図面の簡単な説明】

第１ａ図は、本発明の一実施例の構成を示すブロック図
、第１ｂ図は第１ａ図に示すカメラ３および照明灯４の
配置外観を示す斜視図である。第２図は、第１ａ図に示すマイクロプロセッサ６の制御
動作の概要を示すフローチャートである。第３ａ図、第３ｂ図、第３ｃ図、第３ｄ図、第３ｅ図、
第３ｆ図、第３ｇ図および第３ｈ図は、マイクロプロセ
ッサ６の制御動作の詳細を示すフローチャートである。第４ａ図、第４ｂ図、第４ｃ図、第４ｄ図、第４ｅ図、
第４ｆ図および第４ｇ図は、カメラ３で撮像した画像の
全体又は一部を示す平面図である。第５ａ図、第５ｂ図、第５ｃ図、第５ｄ図、第５ｅ図お
よび第５ｇ図は、隨追跡のために設定したウィンドウＷ
ｅの領域と検出した瞳を示す平面図である。第６ａ図は、口追跡のために設定したウィンドウＷｍの
領域と検出した口を示す平面図である。第６ｂ図は、母音発声時の口形状を示す平面図である。１ニステアリングホイール２：インスツルメントパネル３：テレビカメラ（ｍ像手段）４：照明灯（照明手段）５Ｈ，５Ｍ　：モード指示スイッチ６．８：マイクロプロセッサ（明るさ指示手段２位置検
出手段、記憶手段、ウィンドウ設定手段。小さい領域に設定する手段、記憶更新手段。状態変化検出手段、出力設定手段）７：アドレスバス＆コントロールバス１９：照明コントローラ（明るさ設定手段）２０〜２９
：（電気装置）Ｗｅ、Ｗｍ：ウィンドウ

Claims

【特許請求の範囲】

（１）像の光情報を電気信号に変換する撮像手段；前記
像を照明する照明手段；照明手段の照明の明るさを設定する明るさ設定手段；前記像の明るさを検出し明るさ設定手段に明るさの変更
を指示する明るさ指示手段；前記電気信号に基づいて像の特定の部分の位置を検出す
る位置検出手段；検出した位置を記憶する記憶手段；記憶した位置に基づいて前記撮像手段の撮像画面より小
さい領域を設定するウィンドウ設定手段；前記記憶の所定時間後は、位置検出手段の検出対象領域
を前記小さい領域に設定する手段；前記小さい領域の、前記特定の部分の位置を記憶手段に
更新記憶する記憶更新手段；前記特定の部分の時系列状態変化を検出する状態変化検
出手段；状態変化に対応した付勢制御信号を対象電気装置に与え
る出力設定手段；を備える、電気装置の付勢制御装置。
（２）状態変化は位置変化である前記特許請求の範囲第
（１）項記載の、電気装置の付勢制御装置。
（３）状態変化は、顔像の目の非定常まばたきである前
記特許請求の範囲第（１）項記載の、電気装置の付勢制
御装置。
（４）状態変化は、顔像の口の発声形状の時系列パター
ンである前記特許請求の範囲第（１）項記載の、電気装
置の付勢制御装置。
（５）時系列パターンは、少なくとも、オン付勢制御信
号が対応付けられるもの、オフ付勢制御信号が対応付け
られるもの、アップ付勢制御信号が対応付けられるもの
、およびダウン付勢制御信号が対応付けられるもの、を
含む前記特許請求の範囲第（４）項記載の、電気装置の
付勢制御装置。
（６）出力設定手段は、状態変化に対応して付勢制御信
号を対象電気装置に与えるにおいて、そのときオン付勢
中のときはオフ付勢制御信号を、オフ付勢中のときはオ
ン付勢制御信号を与える、前記特許請求の範囲第（１）
項、第（２）項又は第（３）項記載の、電気装置の付勢
制御装置。
（７）明るさ指示手段は、１画面についての前記電気信
号に基づき像の明るさを演算して、この明るさが設定値
となる明るさ変更を明るさ設定手段に指示する、前記特
許請求の範囲第（１）項、第（２）項、第（３）項、第
（４）項又は第（５）項記載の、電気装置の付勢制御装
置。