JPH04284B2 - - Google Patents

Info

Publication number
JPH04284B2
JPH04284B2 JP60272793A JP27279385A JPH04284B2 JP H04284 B2 JPH04284 B2 JP H04284B2 JP 60272793 A JP60272793 A JP 60272793A JP 27279385 A JP27279385 A JP 27279385A JP H04284 B2 JPH04284 B2 JP H04284B2
Authority
JP
Japan
Prior art keywords
brightness
energizing
data
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired
Application number
JP60272793A
Other languages
English (en)
Other versions
JPS62247410A (ja
Inventor
Mitsuhiro Ando
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinsangyo Kaihatsu KK
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Shinsangyo Kaihatsu KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Shinsangyo Kaihatsu KK filed Critical Aisin Seiki Co Ltd
Priority to JP60272793A priority Critical patent/JPS62247410A/ja
Priority to US06/937,154 priority patent/US4768088A/en
Publication of JPS62247410A publication Critical patent/JPS62247410A/ja
Publication of JPH04284B2 publication Critical patent/JPH04284B2/ja
Granted legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/10—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using selector switches
    • G05B19/106—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using selector switches for selecting a programme, variable or parameter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Description

【発明の詳細な説明】
〔発明の目的〕 （産業上の利用分野） 本発明は、電気装置にオン、オフ、出力アツ
プ、出力ダウン等の付勢制御信号を与える付勢制
御装置に関し、特に、もの、例えば人、の運動又
は動作に非接触で応答して所要の電気装置に付勢
制御信号を与える、ものの動作自動検出−電気装
置の自動制御装置、に関する。 （従来の技術） この種の従来技術には、フオトセンサ、踏板等
を用いる自動ドアや異常（進入、侵入）警報器、
金属探知器などがある。いずれも、フオトセン
サ、マイクロスイツチ、静電界形接近スイツチ、
電磁センサ等々の非接触センサや機械スイツチを
用いるもので、物体又は人が接触、接近あるいは
通過することによつて生ずる、電気接点の開閉、
電磁波路の遮断又は開路、電界の変化、磁界の変
化等を検出し、所要の電気装置例えばブザー、メ
ータ、自動ドア、リレー、モニタテレビ、電気制
御機械装置等の電気装置のオン、オフ等を行う。 （発明が解決しようとする問題点） しかしながらこれらはセンサに対して物体又は
人体が近距離で、比較的に大きな動作をしない
と、電気装置のオン、オフ等の制御が行われな
い。物体又は人体の極く小さい部分の状態変化は
センサが検出し得ないので、各種電気装置の付勢
装置に従来は主にキースイツチを主体とする入力
装置が用いられる。例えば車上には各種の電気装
置が備えられ、これに対応して各種キースイツ
チ、ボリーユーム等が備えられるが、ドライバ
（運転者）がスイツチ操作やボリユーム操作のた
めに腕を延ばしたり、体をねじつたりすることは
運転上危険な場合があるし、また細かいスイツチ
操作やボリユーム操作は大変である。これは目を
前方から外れた方向に注意深く比較的に長い時間
外らすことができないからである。 したがつて、音声認識装置を備えて、ドライバ
の発声を認識して各種電気装置を付勢制御する思
い付きがあるが、車内は雑音が多く、認識エラー
が多いであろう。 本発明は、広い領域の中の小さい部分の状態変
化に応答して各種電気装置を自動付勢制御するこ
とを第１の目的とし、人が格別に大きな注意力お
よび動作なくして比較的に正確に、非接触で各種
電気装置を自動付勢制御することを第２の目的と
する。 〔発明の構成〕 （問題点を解決するための手段および作用） 上記目的を達成するために本発明においては、
画像パターン認識の技術を利用する。すなわち、
像の光情報を電気信号に変換する撮像手段および
前記電気信号に基づいて像の特定の部分の位置を
検出する位置検出手段を用いて、物体又は人（以
下、例示として車上のドライバを挙げる）を撮影
して、撮影画像の一部例えばドライバの顔の目お
よび口等の特定の部分（以下例示として目および
口を挙げる）位置を検出する。 車内の明るさは変動するので、前記像を照明す
る照明手段、照明手段の照明の明るさを設定する
明るさ設定手段および前記像の明るさを検出し明
るさ設定手段に明るさの変更を指示する明るさ指
示手段を備えて、撮像画面（ドライバの顔）の明
るさを一定に維持し、明るさ変動による画像処理
エラーを防止する。 また、車体の振動やドライバの無意識の微動作
又は姿勢変化等による顔位置変化に追従して、し
かも後述する電気装置自動付勢制御のための意識
的な目および口の運動によるそれらの位置変化に
も追従して正確に目および口を撮影情報により摘
出するために、検出した位置を記憶する記憶手
段、記憶した位置に基づいて前記撮像手段の撮像
画面より小さい領域を設定するウインドウ設定手
段、前記記憶の所定時間後は、位置検出手段の検
出対象領域を前記小さい領域に設定する手段およ
び前記小さい領域の、前記特定の部分の位置を記
憶手段に更新記憶する記憶更新手段を備える。こ
れにより、一度目および口（特定の部分）の位置
を検出した後は、画面において目および口を検出
するための情報走査が小領域に限定され、目およ
び口を検出する時間が短くなり、しかも検出精度
が高くなり、目および口が迅速にかつ正確に追跡
される。 本発明では更に、目および口の時系列状態変化
を検出する状態変化検出手段、状態変化に対応し
た付勢制御信号を対象電気装置に与える出力設定
手段を備える。すなわち、追跡している目および
口に、所定の状態変化が現われると、すなわち電
気装置付勢制御用の意図的な変化が現われると、
該変化に対応付けている付勢制御信号を電気装置
に与える。 これによれば、ドライバは、運転姿勢のままで
目を動かすことにより、また口を動かすことによ
り、電気装置を制御することができ、車上電気装
置の操作のための動作が極めて簡単になり、快適
かつ安全なドライブをし得る。例えば発声して何
かを指示すると、この口形状に応じて電気装置が
制御され、発声しなくても、発声のときと同じ口
形状を意図的に行なうと、この口形状に応じて電
気装置が制御される。音声には存在しないので、
車内の騒音による検出エラーがない。また、ラジ
オを付けていたり、あるいは同乗者が声音に話を
していたりしても、これらに応答して誤動作をす
るようなことはない。 上述の作用効果は、撮像対象がドライバでない
場合にも同様にもたらされる。例えば病院の重症
患者は、目と口で周囲の医療機器や救援機器を動
作させたり、停止させたり、あるいはパワーアツ
プ／ダウンをさせたりできる。 更に機械の異常監視および保護装置として、撮
像装置の撮影対象を機械とし、特定の部分を異常
監視すべき部品又は部位とし、それが異常な動き
をするとその機械を停止するなり、警報装置を動
作させるなど、対象は人でなくても本発明は同様
に実施し同様な効果を得ることができる。 更には、監視対象は、広い場所（自然の背景）
とし、特定の部分をその場所の動物又は車等の移
動体とする形でも本発明は同様に実施できる。例
えばサフアリパークにおける車の移動に応じたゲ
ートの開閉制御や、猛獣の移動に応じたゲート制
御に同様に実施できる。これを工場に置き換える
と、例えばベルトコンベアラインを撮像対象と
し、特定の部分をコンベア上の部品又は製品とし
て、それが所定方向に動くと、安全装置を働かせ
るとか、次工程の機器を動作させるとか、上述の
場合と同様に本発明を実施して同様な効果が得ら
れる。 本発明の他の目的および特徴は、図面を参照し
た以下の実施例の説明より明らかになろう。 （実施例） 第１ａ図に本発明の一実施例の構成を示す。こ
の実施例は車上電気装置をドライバの顔の目およ
び口の意図的な動きに応答してオン／オフおよび
アツプ／ダウン自動付勢制御する車上制御装置で
ある。 テレビカメラ３およびドライバの少なくとも顔
部を照明する照明灯４は、第１ｂ図に示すように
一体に構成されてインスツルメントパネル２に、
上下および左右に指向方向を調整自在に固着され
ている。第１ｂ図において、１が、車両の走行方
向制御のためにドライバが操作するステアリング
ホイールである。 再度第１ａ図を参照する。照明灯４は照明コン
トローラ１９により点灯付勢され、しかも明るさ
が制御される。照明灯４は発光源としてフイラメ
ントを用いる白熱電球であり、照明コントローラ
１９は、直流電圧をサイリスタチヨツパでチエツ
ピングして照明灯４に印加する。照明コントロー
ラ１９は、付勢信号がオフを示すものである消灯
のときはサイリスタチヨツパをオフにし、付勢信
号がオンの点灯のときには、まず標準のデユーテ
イでサイリスタチエツパをオン／オフ付勢し、ア
ツプ（明るさ上げ）を指示する付勢信号が到来す
ると１ステツプデユーテイを高く更新設定し、ダ
ウン（明るさ下げ）を指示する付勢信号が到来す
ると１ステツプデユーテイを低く更新設定する。
アツプおよびダウンが限度になると、それぞれア
ツプおよびダウンをそこで停止する。この照明コ
ントローラ１９には、マイクロプロセツサ６が、
インターフエイス１４を介して、前述のオン／オ
フ指示信号およびアツプ／ダウン指示信号を与え
る。 テレビカメラ３は、１フレーム256×256画素の
撮像信号（ビデオ信号：アナログ）を得る２次元
CCDを備えるものである。このテレビカメラ３
に、インターフエイス１７を介して、マイクロプ
ロセツサ６が、オン／オフ信号を与える。テレビ
カメラ３は、１フレーム256×256画素の、明るさ
信号（ビデオ信号）を繰り返してＡ／Ｄコンバー
タ１８に出力すると共に、画素同期パルスをＡ／
Ｄコンバータ１８にＡ／Ｄ変換同期パルスとして
与えると共に、フレーム同期パルス、ライン同期
パルスおよび画素同期パルスをインターフエイス
１７を介してマイクロプロセツサ６に与える。 マイクロプロセツサ６は、撮像データ（画像デ
ータ）の１フレーム分を読込むときには、フレー
ム同期パルスに同期してフレームメモリ
（RAM）１３に書込みを指示し、ライン同期パ
ルスおよび画素同期パルスに同期してフレームメ
モリ１３の書込アドレスを進める。 Ａ／Ｄコンバータ１８は、この例では、ビデオ
信号を４ビツト（16階調）のデジタルデータに変
換する。すなわち、フレームメモリ１３に書込ま
れる画像データは、１画素当り４ビツトである。 マイクロプロセツサ６には、モードスイツチ５
Ｅおよび５Ｍが接続されている。 スイツチ５Ｅは目応答モードを指定するための
ものであり、このスイツチ５Ｅが閉（目応答モー
ド指示）のときに、マイクロプロセツサ６は、目
（の中の瞳）の位置およびまばたきパターンに対
応して、後述する電気装置２０，２１，２９およ
び３０の付勢を制御する。 スイツチ５Ｍは口応答モードを指定するための
ものであり、このスイツチ５Ｍが閉（口応答モー
ド指示）のときに、マイクロプロセツサ６は、口
の形状変化パターンに対応して、後述する電気装
置２０〜３０の付勢を制御する。 マイクロプロセツサ６には、各種判定用の演算
を行なうためにもう１つのマイクロプロセツサ８
が接続されており、また、１フレーム分の２値化
データ（１画素当り１ビツトの画像黒有無を示す
データ）を一時記憶するためのフレームメモリ
（RAM）１１、通常のコンピユータシステム制
御用のROM９およびRAM１０、バスコントロ
ーラ１６および前述のフレームメモリ１３が接続
され、更に、制御対象の電気装置２０〜３０およ
び照明コントローラ１９が接続されている。 ラジオコントローラ２０は、ラジオの電源オ
ン／オフおよびボリユーム（音量）のステツプア
ツプ／ダウンを電気的に制御するものであり、付
勢信号がオンを示すものであるとラジオ電源をオ
ンにし、オフを示すものであるとラジオ電源をオ
フにし、アツプを示す付勢信号が１回到来すると
ボリユームを１ステツプアツプし、ダウンを示す
付勢信号が１回到来するとボリユームを１ステツ
プダウンする。アツプおよびダウンにおいて限度
に達するとそこでアツプおよびダウンをそれぞれ
停止する。 エアコンコントローラ２１はエアコンのオン／
オフのみを制御する。室温や空気汚れに対応し
た、冷房／暖房選択、パワーアツプ／ダウン、ク
リーナのオン／オフ等は、エアコン本体（図示せ
ず）のコントローラが制御する。 オートドライブ（自動定速走行）コントローラ
２２は、オートドライブオン／オフのみを制御す
るものである。知られているように、オートドラ
イブユニツトは、オートドライブが指示される
と、その時の走行車速を記憶してその後実車速が
記憶車速になるようにスロツトル開度を制御し、
オートドライブが解除される（オフ）と、このス
ロツトル開度制御を停止する。あるいは、オート
ドライブが指示されると、予め設定又は記憶され
ている車速値、もしくはこれらでその時の車速を
修正した車速値、に実車速が合致するようにその
後スロツトル開度を制御し、オートドライブが解
除される（オフ）と、このスロツトル開度制御を
停止する。いずれの態様でも、アツプ指示がある
と目標車速を１ステツプ高く更新設定し、ダウン
が指示されると１ステツプ低く更新設定する。オ
ートドライブコントローラ２２は、このオン／オ
フおよびアツプ／ダウンを制御するものであり、
付勢信号がオンを示すものであると、オートドラ
イブを開始し、オフを示すものであるとオートド
ライブを停止し、アツプを示すものであると目標
車速を１ステツプ高く更新設定し、ダウンを示す
ものであると１ステツプ低く更新設定する。 ドアロツクコントローラ２３は、ドライバ席ド
アに付されているドライバ席ロツク／アンロツク
スイツチおよび全ドアロツク／アンロツクスイツ
チ、および、その他のドアに付されている各ドア
ロツク／アンロツクスイツチの閉開に応じて、ま
た車速等の車両状態に応じて、各ドアのロツク／
アンロツク付勢を制御し、かつ、付勢信号
（ON／OFF）がオンを示すものであると、他の
阻止条件が成立していない限り、各ドアを順次に
ロツク付勢する。オフを示す付勢信号が到来する
と、他の阻止条件が成立していない限り、各ドア
を順次アンロツク付勢する。 サンルーフコントローラ２４は、この例ではス
ライデイング形のサンルーフを開閉制御するもの
であり、通常備わつているスイツチの操作に応答
してサンルーフを開閉駆動制御すると共に、付勢
信号（ON／OFF／UP／DOWN）がオンを示す
ものであるときには、サンルーフを全開駆動制御
し、オフを示すものであるときには全閉駆動制御
し、アツプを示すものであるときには１ステツプ
（所定開度）だけ開駆動制御し、ダウンを示すも
のであるときには１ステツプだけ閉駆動する。 ウインドウコントローラ２５は、各ドアのスラ
イドガラスの開閉（上下）駆動制御を行なうもの
である。コントローラ２５は、通常備わつている
スイツチ操作に応じてスライドガラスの開閉駆動
制御をすると共に、付勢信号（ON／OFF／
UP／DOWN）がオンを示すものであるとドライ
バ席ドアのスライドガラスを全閉駆動制御し、オ
フを示すものであると全開駆動制御し、アツプを
示すものであると１ステツプだけ閉駆動制御し、
ダウンを示すものであると１ステツプだけ開駆動
制御する。 ワイパコントローラ２６は、通常備わつている
スイツチ操作に応答してワイパの駆動制御をし、
付勢信号（ON／OFF／UP／DOWN）がオンを
示すときには、標準速度でワイパ駆動付勢し、オ
フを示すときにはワイパ駆動を停止して待期位置
に位置決めし、アップを示すときにはワイパ速度
を１ステツプ高く変更し、ダウンを示すときには
１ステツプ低く設定する。 シガーライターコントローラ２７は、シガーラ
イター押出し機構を、引込み／押出し機構に変更
に、付勢信号（ON／OFF）がオンになるとシガ
ーライターを引込み、付勢信号がオフを示すもの
であると、所定温度になつていなくてもシガーラ
イターを押出す。他は従来と同様であり、押込み
状態で機械的な接触によりシガーライターに通電
し、所定温度でシガーライターを押出して通電を
遮つ。 ヘツドライトコントローラ２８は、大灯／小
灯／オフ スイツチに応答して、該スイツチが大
灯位置にあるときにはスモールライトを点灯しヘ
ツドライトを格納位置より上げて点灯し、角度指
示スイツチの操作に応答して照射角を設定し、小
灯位置になるとヘツドライトを消灯してスモール
ライトのみを点灯し、オフ位置になるとスモール
ライトを消灯してヘツドライトを格納するのに加
えて、付勢信号（ON／OFF／UP／DOWN）が
オンを示すものであると、スモールライトを点灯
しヘツドライトを格納位置より上げて点灯し、付
勢信号がアツプを指示するものであるとヘツドラ
イトの照射角を上方に１ステツプ高くし、ダウン
を指示するものであると１ステツプ低くし、オフ
であるとヘツドライトを消灯してスモールライト
の点灯のみとする。 デフロスタコントローラ２９は、通常備わつて
いるオン／オフスイツチの操作に応じてリアウイ
ンドの埋込ヒータに通電／非通電すると共に、付
勢信号（ON／OFF）がオフのときには埋込ヒー
タに通電し、オフのときには通電を停止する。 ブザーコントローラ３０は、付勢信号がオンの
ときブザー（図示せず）を付勢し、オフのときブ
ザーを停止する。このブザーは後述するように、
ドライバが目を閉じた状態が所定時間以上継続す
ると（居眠りと見なして）付勢される。また、モ
ードスイツチ５Ｅ又は５Ｍが閉じられているとき
（目応答制御および又は口応答制御が指示されて
いるとき）に画像パターン処理が不能となつたと
きに付勢される。 第２図に、マイクロプロセツサ６および８の動
作の概要（メインルーチン）を示し、動作の詳細
（サブルーチン）を第３ａ図〜第３ｈ図に示す。
以下これらの図面を参照して、設定されたプログ
ラムに基づいたマイクロプロセツサ６および８の
制御動作を説明する。 まず動作の概要を第２図を参照して説明する。
電源が投入されるとマイクロプロセツサ６は、初
期化（ステツプ１：以下カツコ内ではステツプと
いう語を省略する）を実行し、これにおいて、入
出力ポートを初期化して、電気装置１９〜３０お
よびテレビカメラ３を待機状態（オフ）に設定
し、内部レジスタ、カウンタ、フラグ、および
RAM１０，１１，１３をクリアする。そしてス
イツチ５Ｅおび５Ｍの開閉状態を参照する。両ス
イツチ５Ｅおよび５Ｍのいずれかが閉であると、
あるいは閉になると、マイクロプロセツサ６は、
照明灯コントローラ１９およびテレビカメラ３に
オンを示す付勢信号を与え、５Ｅと５Ｍの少くと
も一方が閉状態のときに両者共に開の状態になる
と照明灯コントローラ１９およびテレビカメラ３
にオフを示す付勢信号を与え、またブザーコント
ローラ３０にオフを示す付勢信号を与える。 モード指示スイツチ５Ｅおよび５Ｍのいずれも
が開であると、そのまま、少くとも一方が閉にな
るのを待ち、画像パターン処理を実行しない。 モード指示スイツチ５Ｅおよび５Ｍの少くとも
一方が閉になると、照明灯コントローラ１９およ
びテレビカメラ３にオンを示す付勢信号を与え、
それから所定時間（照明灯の明るさが安定し、ド
ライバの顔が運転時の位置に静止するのを待つ時
間）の後に、テレビカメラ３からのフレーム同期
パルスに同期して、１フレーム分の画像データ
の、フレームメモリ１３への書込を開始し、１フ
レーム分の画像データ（１画素当り４ビツトの階
調データ）をメモリ１３に書込む(4)。 マイクロプロセツサ６は次に、メモリ１３の画
像データの内、最高レベル（読取画像の中の明る
さが最高）の階調から所定範囲まで下方の階調に
渡つて、その階調を有する画素数を集計し、明る
さヒストグラム（横軸が階調データで縦軸が画素
数）を作成してRAM１０にメモリする。このヒ
ストグラムとROM９にメモリしている標準ヒス
トグラムとの偏差（各階調当りの偏差）を求め
て、偏差の２乗を加算し(5)、加算値を参照値と比
較して(6)加算値が所定範囲を外れているときに
は、偏差の和に対応してアツプ又はダウンを指示
する付勢信号を照明灯コントローラ１９に与え
(7)、それから所定時間（照明灯４の明るさが新設
定に対応した明るさに安定するまでの時間）の後
に、また１フレームの画像データをメモリ１３に
読込む(4)。この偏差演算、２乗計算、加算等はマ
イクロプロセツサ８が行う。このようにして、画
像データのヒストグラムが所定範囲のものになる
ように照明灯４の明るさを調整する（４，５，
６，７）。 明るさの設定を終了すると、そのときメモリ１
３に格納している画像データは明るさ適状態で撮
影したものであるので、これを原データとして、
原データを２値化し、１画素当り１ビツトの、画
像（黒）有無を示すデータをメモリ１１に記憶す
る(8)。このメモリ１１の２値データは、パターン
認識処理の基礎データである。 次にマイクロプロセツサ６は、基礎データに基
づいて顔の初期位置（正確には瞳位置および口位
置）を検出して内部レジスタにメモリする。この
検出ができなかつたときには、実行回数を示す
IPDFカウンタ（内部レジスタ）の内容を１大き
い値に更新する(10)。そしてカウンタの内容が15に
達しているか否かをチエツクし(11)15に達していな
いと、２値化の参照値を１小さい数に更新し、そ
の参照値を用いてまた２値化処理(8)を実行し初期
位置検出(9)を行なう。このようにして、初期位置
検出を、２値化処理の参照値を１づつ小さくしな
がら実行する。16回の初期位置検出に失敗する
と、原データが適正なものではなかつたとして、
IPDFカウンタをクリアして（13）画像データの
読込(4)に戻る。 初期位置検出９に成功すると、そこでIPDFカ
ウンタをクリアし（14）、ステツプ15以下の、新
たな画像データの取込み（15：第２図）、顔（瞳
＆口）位置追跡（18，26：第２図）、目の開閉パ
ターン検出（23の72〜91：第３ｄ図）、目（瞳）
の位置検出（23の92〜105：第３ｄ図、３ｅ図）、
口形状検出（27の106〜121：第３ｆ図）、口形状
変化パターン検出（27の122〜171：第３ｆ，３
ｇ，３ｈ図）、出力処理（29a：第２図）等の、
自動検出−自動付勢制御に進む。 この制御では、まず１フレームの画像データを
メモリ１３に書込み（15）、これを最新に設定し
た参照値と比較して２値化して２値データをメモ
リ１１に書込み（16）、モードスイツチ５Ｅがオ
ンのときには（17）、目の追跡（18）を実行して、
追跡に失敗したときには、また画像データの読込
み（15）、２値化（16）、目の追跡（18）を実行
し、８回実行しても目を検出し得なかつたときに
は、現在の顔位置が不適であるか、あるいはステ
ツプ９における顔初期位置検出が不適であつたと
して、またステツプ４に戻る（18，19，20，15〜
17，22a，22b，２〜15）。追跡に成功すると、判
定（23）で目の開閉パターン検出および位置移動
検出を行つて判定結果に対応した出力データをセ
ツトし、失敗回数を示すIPDFカウンタはクリア
する（24）。 モード指示スイツチ５Ｍがオンであると（25）、
口を追跡し（26）、８回実行しても口を検出し得
なかつたときには、現在の顔位置が不適である
か、あるいはステツプ９における顔初期位置検出
が不適であつたとして、またステツプ４に戻る
（26，19，20，15〜17，25，22a，22b，２〜15）。
追跡に成功すると、判定（27）で口の形状検出お
よび形状変化パターン検出を行つて、判定結果に
対応した出力データをセツトし、失敗回数を示す
IPDFカウンタはクリアする（28）。そして出力２
９ａで、それまでにセツトした出力データ（出力
すべきもの）と、現在出力している付勢信号すな
わち現在の出力データとを比較し、異つているビ
ツトのみを、出力すべきものに更新してインター
フエース１４に更新出力する。 第３ａ図に、顔の初期位置検出９の内容を更に
詳細に示す。これを参照して説明すると、顔の初
期位置検出９に進むとマイクロプロセツサ６は、
まず頭の左端alxを検出する（30）。このalxが何
を意味するかは第４ａ図に示す。すなわち、メモ
リ１１に記憶している１フレームの２値データ
の、画像上の原点０を基点として、縦方向ｙをラ
インとして左側から走査を開始し、１ライン毎
に、読出し２値データが白のときランカウンタを
クリアし、黒が現われる毎にランカウンタをカウ
ントアツプし、カウント値（縦方向ｙの黒画素の
連続数）が所定数になると、そこalxが顔の左端
であるとして内部レジスタにalxをメモリする
（検出成功）。横ｘ方向256ライン（０〜255）の走
査においてランカウンタが所定数のカウントをし
なかつた（検出失敗の）ときには、今回の読込画
像データがエラーであるとして、第２図のステツ
プ10に進む。顔の左端alxを検出すると、今度は
右端arx（第４ａ図）を検出する（31）。これにお
いては、第255ラインから左方に走査を開始し、
前述と同様にランカウンタで黒画素の連続数をカ
ウントし、カウント値が所定数に達したときのラ
インNo.をarxとする。検出失敗のときには第２図
のステツプ10に進む。 顔の右端arxを検出すると、マイクロプロセツ
サ６は、今度は顔の先端aty（第４ａ図）を検出す
る（32）。これにおいては、横ｘ方向にライン走
査を設定してｙ＝０、ｘ＝alxから走査を開始し、
ラインはalxからarxまでとして（すなわちライ
ンの終端はarxとして）１ライン毎にランカウン
タをクリアしかつ、読出し２値データが白のとき
にはランカウンタをクリアし、黒のときにはラン
カウンタを１カウントアツプする。したがつてラ
ンカウンタのカウント値は黒画素のｘ方向連続数
を示す。カウント値が所定数になると、頭の先端
atyを検出したとして、そのときのｙアドレスaty
をメモリする。検出に失敗すると第２図のステツ
プ10に進む。 次にマイクロプロセツサ６は額hy（第４ｂ図）
を検出する（33）。これにおいては、走査範囲を
横ｘ方向でalx〜aryとし、ｙ方向はaty以下とし
て、ライン方向を横ｘ方向として、ｘ＝alx、ｙ
＝atyから走査を開始し、頭の先端atyの検出と同
様に横方向を走査ラインとして、今度は白画素の
ラン数（横方向連続数）をカウントする（この場
合には白データを読出す毎にカウントアツプ、黒
データを読み出すとランカウンタをクリア）。こ
のラン数が所定数になると額hyを検出したとし
てそのときの縦アドレスhyをメモリし、白連続
の開始位置hlxと終端位置hrxをメモリする。検
出に失敗したときには第２図のステツプ10に進
む。 次に、瞳の下端eby（第４ｄ図）を検出する
（34）。これにおいては、 hlx〜hlx＋hw／２、 hy〜hy＋hw／２ （第４ｃ図の斜線領域：hw＝hrx−hlxである）
を走査範囲として走査ラインを横ｘ方向として、
ｘ＝hlx＋hw／２， hy＋hw／２から走査を開始し、ラインの切換
え毎にランカウンタをクリアし、かつ白データを
読出す毎にランカウンタをクリアし、黒データを
読出す毎にランカウンタを１カウントアツプし、
カウント値が所定数になると瞳の下端ebyを検出
したとしてそのときのｙアドレスebyをメモリす
る。次に瞳幅最大MAX検出（35）に進み、更に
走査およびランカウンタのカウントアツプ／クリ
アを継続し、ランカウンタのカウント値が所定数
になるまで、白データを読出すとそのときのラン
カウンタの値を最大値として保持している値と比
較してランカウンタのカウント値がそれより大き
いとその値を最大値MAXとして更新保持してか
らランカウンタをクリアする。そして該所定値に
なると（36）、瞳の上端etyを検出したとしてその
ときのｙアドレスetyをメモリする。 以上の下端eby検出、最大値MAX検出および
上端ety検出において、いずれかの検出に失敗す
ると、第２図のステツプ10に進む。 以上に説明した検出に成功すると、 eyew＝eby−ety＞hw／20、 MAX＞hw／15、および、 MAX＜eyew≦３ なる条件が成立しているか否かをチエツクして
（37）、成立していると瞳を検出したとしてステツ
プ38に進み、成立していないと瞳検出に失敗した
として第２図のステツプ10に進む。 ステツプ38では、検出した瞳の中心位置Bcx，
Ecyを演算する。これは、前述のhlx〜klx＋
hw／２、ety〜ebyの領域を目領域と見なして、
その領域の２値データをマイクロプロセツサ８に
与えて重心演算（黒画素分布の中心演算）させて
重心位置データをもらい、これをフレーム上のア
ドレスに変換する。これにより得る中心位置デー
タがｘ＝Ecx，ｙ＝Ecyである。 次にマイクロプロセツサ６は、中心位置データ
Ecx，Ecyを中心にした、目の追跡走査領域を定
めるウインドウWe（第５ａ〜５ｆ図）を設定する
（39）。ウインドウWeの領域は、 Ecx−K1〜Ecx＋k1， Ecy−k2〜Ecy＋k2 であり（k1，k2は定数）、これをメモリする。こ
のウインドウWeは、１フレームの面積に対して
非常に小さい領域である。 次に、まゆ毛の両端blx，brx（第４ｆ図）を検
出する（40）。この実施例では、まゆ毛の形状や
位置に対応した電気装置の付勢制御は行なわない
（所要なら行つてもよい）が、口領域検出のため
の走査範囲を求めるためにこれを行う。このまゆ
毛の両端blx，brx検出（40）においては、ｘ方
向走査範囲をhlx〜hrxとし、ｙ方向走査範囲を
ety〜hw／２〜ety−eyewとし走査ラインを横ｘ
方向として、該範囲内の走査ライン毎に黒画素数
（連続数ではない）をカウントして、カウント数
が最大のラインの最左端の黒画素のｘアドレス
blxを左端位置として、また最右端の黒画素のア
ドレスbrxを右端位置としてメモリする。この検
出に失敗すると第２図のステツプ10に進む。 次に、口検出のための走査領域を演算する
（41）。すなわち、口検出のための走査領域を、 blx〜brx，ety−eMW〜255（フレーム下端）
に設定する（41）。eMWは定数である。 次にこの領域blx〜brx，ety−eMW〜255を、
ｘ＝blx，ｙ＝ety−eMWを始点としかつ走査ラ
インを横ｘとして走査し、ライン毎に黒画素の数
（連続数ではない）をカウントし、一ラインの黒
画素数のカウントを終了する毎にカウント値を保
持している最大値と比較し、今回ラインのカウン
ト値が大きいとこれを最大値として更新保持す
る。このようにして、ライン毎の黒画素数のカウ
ント値が、前ラインのカウント数よりも増加して
いるときには次のラインに走査を進める。そし
て、今回ラインのカウント値が保持している最大
値より小さいと、その直前のラインが口の水平線
（上唇と下唇との接線）にかかつていたと見なし
て、該直前のラインのｙアドレスmcy（第４ｇ図）
を口の中心のｙアドレスとしてメモリし、かつ、
該直前のラインの黒始端と黒終端の中間の値mcx
を口の中心のｘアドレスとしてメモリする（口の
中心位置mcx，mcyの演算：43）。検出に失敗し
たときには第２図のステツプ10に進む。 次に、マイクロプロセツサ６は、中心位置デー
タmcx，mcyを中心にした、口の追跡走査領域を
定めるウインドウWm（第６ａ図）を設定する
（44）。ウインドウWmの領域は、 mcx−k3〜mcx＋k3， mcy−k4〜mcy＋k4 であり（k3，k4は定数）、これをメモリする。こ
のウインドウWmは、１フレーム面積に対して非
常に小さい範囲である。 以上が、第２図に示す顔の初期位置検出(9)の内
容であり、これを経てステツプ15に進んだときに
は、初期位置（Ecx，Ecy，We，cx，mcy，お
よびWm）が、内部レジスタあるいはRAM１０
にメモリされている。 次に、新たに１フレーム分の画像データをメモ
リ１３に読込み（15）それを２値化して２値画像
データをメモリ１１に読込んだ（16）後の、目の
追跡（18）の動作詳細を、第３ｂ図および第３ｃ
図を参照して説明する。 目の追跡（18）に進むと、マイクロプロセツサ
６は、まずメモリ１１の画像読出し範囲（走査範
囲）をすでにメモリしているウインドウWe領域
に設定し、該ウインドウWeの中心ｘ座標のデー
タを上から下（ｙ＝０から255）方向に走査（メ
モリ１１よりのデータ読出し）して黒連続数のカ
ウントをして、カウント値が所定数になると、瞳
の上端mty（第５ａ図）を検出したとして（45，
46）、そのときのｙアドレスmtyをメモリし、次
にｘ座標はそのままとして下から上に走査して、
黒画素の連続数をカウントし、カウント値が所定
数になると瞳の下端mbyを検出したとしてそのと
きのｙアドレスmbyをメモリし（47）、次に上下
端の中心wcy（縦方向の中心位置）を演算する
（48）。次に、ｙ座標をwcyに設定して右方から走
査して瞳の右端mrx（第５ｂ図）を検出してその
ｘアドレスmrxをメモリし（49）、次に左方から
走査して瞳の左端mlx（第５ｂ図）を検出してそ
のｘアドレスmlxをメモリし（50）、水平方向の
左右端の中心wcxを演算する（51）。このように
検出すると、得たデータwcy，wcxを一応瞳の中
心と見なして、これを中心にウインドウWeを演
算して更新設定する（52；更新設定したウインド
ウWeが次の瞳位置検出のための走査範囲を定め
るものとなる）。そして次のステツプ23の判定に
進む。 前述のステツプ45で瞳の上端検出に失敗したと
きには（瞳がウインドウ中心から左方又は右方に
ずれている）、ウインドウWeの中心のｙ座標のデ
ータを右から左に走査（読出）して、mrx（所定
数の黒の連続；第５ｃ図）を検出する（53）。こ
れが検出できると、次は左から右に走査してmlx
（第５ｃ図）を検出し（55）瞳の右端と左端の中
心wcxを演算し（56）、次にＸ＝wcxのデータを
上から下に走査して上端mty（第５ｄ図）を検出
し（57）次いで下から走査して下端mbyを検出し
（58）、縦方向の上下端の中心wcyを演算する
（59）。このように検出すると、得たデータwcy，
wcxを一応瞳の中心と見なして、これを中心にウ
インドウWeを演算して更新設定する。そして次
のステツプ23の判定に進む。 ステツプ45でmtyが検出できず、またステツプ
53でmrxが検出できなかつたときには、ステツプ
60（第３ｃ図）に進み、ウインドウWeの左上コー
ナより右下コーナに向けて２値データを走査して
（第５ｅ図：これはメモリ１１よりの２値データ
の読出しスタートアドレスをウインドウWeの左
上コーナに設定し、その後順次にｘ，ｙアドレス
を同時にそれぞれｍおよびｎインクレメントして
行う）、Ａ点（瞳の斜左上端）を検出してそのア
ドレスmlx，mtyをメモリし（60）、次いでウイ
ンドウWeの右下コーナより左上コーナに向けて
２値データを走査（スタートアドレスをウインド
ウWeの右下コーナとして、ｘ，ｙを同時にそれ
ぞれｍおよびｎデクレメクト）してＢ点（瞳の斜
右下端）を検出してそのアドレスmrx，mbyをメ
モリし（62）、検出したアドレスの中心wcx，
wcyを演算して（63，64）メモリする。このよう
に検出すると、得たデータwcx，wcxを一応瞳の
中心と見なして、これを中心にウインドウWeを
演算して更新設定する。そして次のステツプ23の
判定に進む。 ステツプ45でmtyが検出できず、またステツプ
53でmrxが検出できず、更にステツプ60でＡ点が
検出できなかつたときには、ステツプ65に進み、
ウインドウWeの右上コーナより左下コーナに向
けて２値データを走査して（第５ｆ図：これはメ
モリ１１よりの２値データの読出しスタートアド
レスをウインドウWeの右上コーナに設定し、そ
の後順次にｘアドレスはｍデクレメント、ｙアド
レスはｎインクレメントして行う）、Ａ点（瞳の
斜右上端）を検出してそのアドレスmrx，mtyを
メモリし（65）、次いでウインドウWeの左下コー
ナより右上コーナに向けて２値データを走査（ス
タートアドレスをウインドウWeの左下コーナに
して、順次にｘアドレスはｍインクレメント、ｙ
アドレスはｎデクレメント）してＢ点（瞳の斜左
下端）を検出してそのアドレスmlx，mbyをメモ
リし（67）、検出したアドレスの中点wcx，wcy
を演算して（68，69）メモリする。このように検
出すると、得たデータwcx，wcxを一応瞳の中心
と見なして、これを中心にウインドウWeを演算
して更新設定する（52）。そして次のステツプ23
の判定に進む。 ステツプ45，53，60および66のいずれにおいて
も瞳を検出できなかつたときには、第２図のステ
ツプ19に進む。 以上が目の追跡（18）動作である。フローチヤ
ートを示していないが、口の追跡（26；第２図）
も、先に設定しているウインドウWmに基づい
て、前述の目の追跡（18）の動作と同様に行わ
れ、これにより口の中心が検出されて更新メモリ
されると共に、ウインドウWmが更新設定され
る。 第２図のステツプ23の「判定」の詳細を第３ｄ
図および第３ａ図に示す。この「判定」で、目の
開閉パターンの検出および瞳の移動位置検出、な
らびに検出結果に基づいた出力データ（第２図の
ステツプ29aで出力するもの）の設定を行なう。
これを説明すると、「判定」（23）に進むとマイク
ロプロセツサ６は、マイクロプロセツサ８に、瞳
の縦直径EHを演算させる（70）。先に「目の追
跡（18）」で検出した瞳の中心wcx，wcyは、正
確な中心ではない場合があるので、マイクロプロ
セツサ６は、この演算（70）においてはまず、該
中心wcx，wcyを中心とする、ウインドウWeよ
りも更に狭いウインドウNWe（これは、中心
wcx，wcyを中心とし、瞳の直径Ｄを半径とする
円に外接する矩形）を設定して、その領域の２値
データをフレームメモリ１１より読み出して、マ
イクロプロセツサ８に与える。マイクロプロセツ
サ８は、該ウインドウNWeの２値データを、ｙ
方向を走査ラインとして左から右に走査して、各
ラインにおける黒画素の連続数をカウントし、１
ラインの走査を終える毎に、保持している黒連続
数最大値とカウント値とを比較し、カウント値の
方が大きいと該カウント値を黒連続数最大値とし
て更新保持し、カウント値の方が保持している黒
連続数最大値より小さくなつたときに、その時保
持している黒連続数最大値を瞳の縦方向直径EH
と見なし、これをメモリし、かつそのラインアド
レスNExをメモリする。マイクロプロセツサ８
は次に、瞳の横直径EWを演算する（71）。すな
わち先に与えられたウインドウNWeの２値デー
タを、横ｘ方向を走査ラインとして下から上に走
査して、各ラインにおける黒画素の連続数をカウ
ントし、１ライン走査を終える毎に、保持してい
る黒連続数最大値とカウント値とを比較し、カウ
ント値の方が大きいと該カウント値を黒連続数最
大値として更新保持し、カウント値の方が保持し
ている黒連続数最大値より小さくなつたときに、
その時保持している黒連続数最大値を瞳の横方向
直径EWと見なし、これをメモリし、かつそのラ
インアドレスNEyをメモリする。そしてEH／
EWを演算して、EH／EW，NExおよびNEyを
マイクロプロセツサ６に与える。 マイクロプロセツサ６は、これらのデータを受
けると、NExおよびNEyをフレームにおけるア
ドレスに変換して、変換したアドレスを瞳の中心
wcx，wcyとして更新メモリし、これに対応して
ウインドウWeをこのアドレス（座標）を中心と
するものに更新設定する。そして、EH／EWを
定数Ｋと比較して（72）、前者が後者以上である
と目が開いていると判定し、前者が後者未満であ
ると目が閉じていると判定して、目が開いている
と、閉眼フラグの有無を参照し（79）、それがあ
ると直前（前回このステツプに進んだとき）は目
が閉じており、今回目が開いたことになるので、
閉眼時間をカウントしているＴカウンタの内容を
閉眼時間レジスタに移し（閉眼時間を読取り）
（80）、Ｔカウンタを、今度は開眼時間カウントの
ために再セツトし（81）、閉眼フラグをクリアす
る（82）。ステツプ79で閉眼フラグがなかつたと
きには、直前も目が開いていたことになるので、
そのまま次のステツプ92に進む。 ステツプ72で閉眼を判定したときには、閉眼フ
ラグの有無をチエツクし（73）、それがないと、
直前は開眼であつて今回目を閉じたことになるの
で、開眼時間をカウントしているＴカウンタの内
容を開眼時間レジスタに移し（開眼時間を読込
み）（74）、閉眼時間カウントのためにＴカウンタ
を再セツトし（75）、閉眼フラグをセツトする
（76）。ステツプ73で閉眼フラグがあつたときに
は、直前も眼が閉じられてＴカウンタで閉眼時間
をカウント中であり今回も眼が閉じられているの
で、居眠りをしているか否かの判定のために、Ｔ
カウンタのカウント値Ｔを参照値（固定値）Ts
と比較する（77）。Ｔ≧Tsであると、居眠りの可
能性があるので、ブザーコントローラ３０にオン
付勢信号を与えて（78）、第２図（メインルーチ
ン）のステツプ２に戻る。なお、モード指示スイ
ツチ５Ｅと５Ｍの両者が開になるとステツプ２−
３−29bと進んで、ブザーコントローラ３０にオ
フ付勢信号が与えられる（29b）ので、ドライバ
（運転者）がブザーを停止するときには、スイツ
チ５Ｅおよび５Ｍ共に一時的に開にすればよい。 さて閉眼から開眼に変わつたとき（72−79〜
82）には、開眼時間レジスタの内容（今回開眼と
なつたのでＴカウンタが今回開眼の継続時間をカ
ウント中であり、開眼時間レジスタの内容は、前
回の開眼時間である）を、自然のまばたきの周期
相当の時間よりも少し短い時間値T3と比較する
（83）。前回の開眼時間がT3より小さいと、意図
的なまばたきがあつたとして、今回の開眼の直前
の閉眼時間を自然のまばたきのときの閉眼時間よ
りもかなり長い時間値T2と比較する（84）。直前
の閉眼時間がT2以上であると、意識的な、比較
的に長い閉眼であるので、これにはエアコン制御
を割り当てているので、ステツプ85以下のエアコ
ン制御データのセツトに進む。T2未満であつた
ときには、今回の開眼の直前の閉眼時間を自然の
まばたきのときの閉眼時間よりも少し長い時間値
T1と比較する（88）。直前の閉眼時間がT1以上で
あると、意識的な、やや長い閉眼であるので、こ
れにはラジオ制御を割り当てているので、ステツ
プ89以下のラジオ制御データのセツトに進む。 ステツプ83で、前回の開眼時間がT3未満であ
つたときには、自然のまばたきであつたとして、
また直前の閉眼時間がT1未満のときにも自然の
まだたきであつたとして、次のステツプ92に進
む。 なお、〔自然のまばたきの閉眼時間＜T1＜T2＜
Ts＜T3＜自然のまばたき周期〕である。 さて、エアコン制御用の意図的なまばたきがあ
つたと判定したとき（83−84−85）には、インタ
ーフエイス１４に現在出力しているデータの中
の、エアコンコントローラ２１割当てのものをチ
エツクし、それがオンを示すものであるとエアコ
ンオフデータをセツトし（86）、オフを示すもの
であつたときにはエアコンオンデータをセツトす
る（87）。ラジオ制御用の意図的なまばたきがあ
つたと判定したとき（83−84−88−89）には、イ
ンターフエイス１４に現在出力しているデータの
中の、ラジオコントローラ２０割当てのものをチ
エツクし、それがオンを示すものであるとラジオ
オフデータをセツトし（90）、オフを示すもので
あつたときにはラジオオンデータをセツトする
（91）。このようにセツトしたデータは、後述する
ステツプ29a（第２図）でインターフエイス１４
に出力セツト（出力更新）される。 次にマイクロプロセツサ６は、前述のステツプ
70および71で正確に検出して、メモリ内容を更新
した瞳中心データwcx，wcyと、顔の初期位置検
出(9)のステツプ38（第３ａ図）で検出してメモリ
している瞳中心の初期位置Ecx，Ecyとを用い
て、Ecx，Ecyを基点としwcx，wcyを終点とす
るベクトル（方向と偏差値）を演算し、演算した
ベクトルを、予め固定情報としてメモリしている
ラジオ位置割り当てのベクトル範囲、エアコン位
置割り当てのベクトル範囲、シガーライター位置
割り当てのベクトル範囲およびデフロスタの操作
摘子位置割り当てのベクトル範囲のそれぞれと比
較する（92，96，100，102）。演算したベクトル
がラジオ位置割り当てのベクトル範囲内にある
と、インターフエイス１４にセツトしている出力
データの内のラジオ割り当てのものをチエツク
（93）して、それがオン付勢信号であると出力デ
ータ（次に出力セツトするデータ）のラジオ割り
当てのビツトをオフ付勢信号にセツトし（94）、
現在がオフ付勢信号であると出力データのラジオ
割り当てのビツトをオン付勢信号にセツトする
（95）。演算したベクトルがエアコン位置割り当て
のベクトル範囲内にあるときには、現在の出力デ
ータのエアコン割り当てのものをチエツク（97）
して、それがオン付勢信号であると出力データを
オフ付勢信号にセツトし（98）、オフ付勢信号で
あつたときには出力データをオン付勢信号にセツ
トする（99）。演算したベクトルがシガーライタ
ー位置割り当てのベクトル範囲内にあると、出力
データのシガーライター割り当てのものをチエツ
クして（101a）、オン付勢信号であると出力デー
タをオフ付勢信号にセツトし（101b）、オフ付勢
信号であつたときにはオン付勢信号をセツトする
（101c）。演算したベクトルがデフロスタ位置割り
当てのベクトル範囲内にあると、インターフエイ
ス１４にセツトしている出力データの内のデフロ
スタ割り当てのものをチエツク（103）して、そ
れがオン付勢信号であると出力データ（次に出力
セツトするデータ）のデフロスタ割り当てのビツ
トをオフ付勢信号にセツトし（104）、現在がオフ
付勢信号であると出力データのデフロスタ割り当
てのビツトをオン付勢信号にセツトする（105）。
このように出力データをセツトすると、あるい
は、演算したベクトルが上述の各種ベクトル範囲
内にないときには目（瞳）の移動による付勢制御
指示がなかつたものとしてそのまま、次のステツ
プ（24）に進む。 以上が第２図に示すステツプ23の「判定」の内
容である。次に、ステツプ27の「判定」の内容を
第３ｆ〜３ｈ図を参照して説明する。 ステツプ27の「口の追跡」（目の追跡18の内容
と同様）を出るとこの「判定」（27）に進み、マ
イクロプロセツサ６は、まず口の追跡（27）で更
新設定したウインドウWmの２値データをメモリ
１１から読み出してマイクロプロセツサ８に与
え、口の横幅MWと口の縦幅MH（第６ａ図）を
検出させる（106〜111）。マイクロプロセツサ８
は、ウインドウWmの２値データを受けると、ま
ずライン方向を縦ｙに設定して、左方から走査
（読出）して、ライン毎にランカウンタをクリア
しかつ白データを読み出すとランカウンタをクリ
アして、黒画素の連続数をカウントする。カウン
ト値が所定値になるとそこが口の左端であるとし
てそのときのｘアドレスNmlxをメモリする
（106）。次に右方から走査して同様に黒画素のラ
ンレングスをカウントして、カウント値が所定値
になるとそこが口の右端であるとしてそのときの
ｘアドレスNmrxをメモリして（107）、口の横幅 NW＝Nmrx−Nmlx を演算しメモリする（108）。次に、ｘアドレスを
Nmlx＋（Nmrx−Nmlx）／２（口の横方向中央）
に設定して、そのｘアドレスのデータを上端から
読んでデータが白のときにはランカウンタをクリ
アし、黒のときにはランカウンタを１カウントア
ツプして、カウント値すなわち黒画素の連続数が
所定数になると唇の上端を検出したとしてそのと
きのｙアドレスNmtyをメモリし（109，110）、
次に下端からデータを読んで、黒画素の連続数が
所定数になると唇の下端を検出したとしてそのと
きのｙアドレスNmbyをメモリし（109，110）、
次に縦幅 MH＝Nmby−Nmty を演算してメモリして、MW，MH，Nmlx＋
（Nmrx−Nmlx）／２およびNmty＋（Nmby−
Nmty）／２をマイクロプロセツサ６に転送す
る。マイクロプロセツサ６は、 Nmlx＋（Nmrx−Nmlx）／２およびNmty＋
（Nmby−Nmty）／２（これらはウインドウWm
の中の口中心座標である）をフレーム位置座標に
変換してこれをmcx，mcyとして更新メモリする
と共に、ウインドウWmをこのmcx，mcyを中心
とするものに更新設定する。そして、MWをW1
（固定値）と、MHをH1，H2，H3およびH4と比
較して、口の形状が「ア」発音形状であるか、
「イ」発音形状であるか、「ウ」発音形状である
か、「エ」発音形状であるか、あるいは「オ」発
音形状であるかを判定し（112〜116）、「ア」であ
ると「ア」を示すデータを、「イ」であると「イ」
を示すデータを、「ウ」であると「ウ」を示すデ
ータを、「エ」であると「エ」を示すデータを、
また「オ」であると「オ」を示すデータをレジス
タＩにセツトする（117〜121）。 第６ｂ図に示すように、母音「ア」〜「オ」は
それぞれ他と区別できる横幅および縦幅であるの
で、前述のW1，H1〜H4等の参照値とMW，
MHとの比較により、これらの母音を特定でき
る。 ここで以下の口の発声形状パターン変化判定の
説明のために、第１ａ図に示す電気装置２０〜２
９に割り付けられている呼び方を示すと次の通り
である。
【表】
〔発明の効果〕
以上の通り本発明によれば、比較的に広い２次
元領域の特定の部分の位置を検出し、この検出デ
ータに基づいて、該特定の部分の位置を中心とす
る比較的に狭い領域を特定して次の位置検出のた
めのウインドウとし、該特定の部分を検出する毎
に該ウインドウを更新するので、特定の部分の位
置変化に追従した、該特定の部分の位置検出が行
なわれ、該特定の部分の検出速度が速く、該特定
の部分の速い動きに対しても高い検出精度で該特
定の部分が検出される。また、該特定の部分の、
位置、形状などの時系列状態変化を検出して、検
出に対応して電気装置を付勢制御するので、検出
対象である人又は物、あるいは、検出対象外の人
又は装置、が電気装置を付勢制御するための、ス
イツチオン／オフ、ボリユーム調整等の従来の、
比較的に労力と精神的集中を要する操作、をする
必要がない。機能がすぐれた人の活性が高くなる
と共に、機能不全の人の電気装置操作能力が増大
し、また、検出対象を物又は動物に設定できるの
で、人の監視を要しない自動制御も可能となる。
【図面の簡単な説明】
第１ａ図は、本発明の一実施例の構成を示すブ
ロツク図、第１ｂ図は第１ａ図に示すカメラ３お
よび照明灯４の配置外観を示す斜視図である。第
２図は、第１ａ図に示すマイクロプロセツサ６の
制御動作の概要を示すフローチヤートである。第
３ａ図，第３ｂ図，第３ｃ図，第３ｄ図，第３ｅ
図，第３ｆ図，第３ｇ図および第３ｈ図は、マイ
クロプロセツサ６の制御動作の詳細を示すフロー
チヤートである。第４ａ図，第４ｂ図，第４ｃ
図，第４ｄ図，第４ｅ図，第４ｆ図および第４ｇ
図は、カメラ３で撮像した画像の全体又は一部を
示す平面図である。第５ａ図，第５ｂ図，第５ｃ
図，第５ｄ図，第５ｅ図，第５ｆ図、および第５
ｇ図は、瞳追跡のために設定したウインドウWe
の領域と検出した瞳を示す平面図である。第６ａ
図は、口追跡のために設定したウインドウWmの
領域と検出した口を示す平面図である。第６ｂ図
は、母音発声時の口形状を示す平面図である。 １：ステアリングホイール、２：インスツルメ
ントパネル、３：テレビカメラ（撮像手段）、
４：照明灯（照明手段）、５Ｅ，５Ｍ：モード指
示スイツチ、６，８：マイクロプロセツサ（明る
さ指示手段、位置検出手段、記憶手段、ウインド
ウ設定手段、小さい領域に設定する手段、記憶更
新手段、状態変化検出手段、出力設定手段）、
７：アドレスバス＆コントロールバス、１９：照
明コントローラ（明るさ設定手段）、２０〜２
９：（電気装置）、We，Wm：ウインドウ。

Claims (1)

  1. 【特許請求の範囲】 １ 像の光情報を電気信号に変換する撮像手段； 前記像を照明する照明手段； 照明手段の照明の明るさを設定する明るさ設定
    手段； 前記像の明るさを検出し明るさ設定手段に明る
    さの変更を指示する明るさ設定手段； 前記電気信号に基づいて像の特定の部分の位置
    を検出する位置検出手段； 検出した位置を記憶する記憶手段； 記憶した位置に基づいて前記撮像手段の撮像画
    面より小さい領域を設定するウインドウ設定手
    段； 前記記憶の所定時間後は、位置検出手段の検出
    対象領域を前記小さい領域に設定する手段； 前記小さい領域の、前記特定の部分の位置を記
    憶手段に更新記憶する記憶更新手段； 前記特定の部分の時系列状態変化を検出する状
    態変化検出手段； 状態変化に対応した付勢制御信号を対象電気装
    置に与える出力設定手段； を備える、電気装置の付勢制御装置。 ２ 状態変化は位置変化である前記特許請求の範
    囲第１項記載の、電気装置の付勢制御装置。 ３ 状態変化は、顔像の目の非定常まばたきであ
    る前記特許請求の範囲第１項記載の、電気装置の
    付勢制御装置。 ４ 状態変化は、顔像の口の発声形状の時系列パ
    ターンである前記特許請求の範囲第１項記載の、
    電気装置の付勢制御装置。 ５ 時系列パターンは、少なくとも、オン付勢制
    御信号が対応付けられるもの、オフ付勢制御信号
    が対応付けられるもの、アツプ付勢制御信号が対
    応付けられるもの、およびダウン付勢制御信号が
    対応付けられるもの、を含む前記特許請求の範囲
    第４項記載の、電気装置の付勢制御装置。 ６ 出力設定手段は、状態変化に対応して付勢制
    御信号を対象電気装置に与えるにおいて、そのと
    きオン付勢中のときはオフ付勢制御信号を、オフ
    付勢中のときはオン付勢制御信号を与える、前記
    特許請求の範囲第１項、第２項又は第３項記載
    の、電気装置の付勢制御装置。 ７ 明るさ指示手段は、１画面についての前記電
    気信号に基づき像の明るさを演算して、この明る
    さが設定値となる明るさ変更を明るさ設定手段に
    指示する、前記特許請求の範囲第１項、第２項、
    第３項、第４項又は第５項記載の、電気装置の付
    勢制御装置。
JP60272793A 1985-12-04 1985-12-04 電気装置の付勢制御装置 Granted JPS62247410A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP60272793A JPS62247410A (ja) 1985-12-04 1985-12-04 電気装置の付勢制御装置
US06/937,154 US4768088A (en) 1985-12-04 1986-12-02 Apparatus for commanding energization of electrical device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP60272793A JPS62247410A (ja) 1985-12-04 1985-12-04 電気装置の付勢制御装置

Publications (2)

Publication Number Publication Date
JPS62247410A JPS62247410A (ja) 1987-10-28
JPH04284B2 true JPH04284B2 (ja) 1992-01-07

Family

ID=17518816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP60272793A Granted JPS62247410A (ja) 1985-12-04 1985-12-04 電気装置の付勢制御装置

Country Status (2)

Country Link
US (1) US4768088A (ja)
JP (1) JPS62247410A (ja)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US5845000A (en) * 1992-05-05 1998-12-01 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
US6393133B1 (en) 1992-05-05 2002-05-21 Automotive Technologies International, Inc. Method and system for controlling a vehicular system based on occupancy of the vehicle
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US6856873B2 (en) 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US6553296B2 (en) 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US6507779B2 (en) 1995-06-07 2003-01-14 Automotive Technologies International, Inc. Vehicle rear seat monitor
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US8948442B2 (en) * 1982-06-18 2015-02-03 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US6442465B2 (en) 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
US6014524A (en) * 1988-03-23 2000-01-11 Canon Kabushiki Kaisha Camera with visual axis detecting device
JP2541688B2 (ja) * 1990-05-21 1996-10-09 日産自動車株式会社 眼位置検出装置
US5335313A (en) * 1991-12-03 1994-08-02 Douglas Terry L Voice-actuated, speaker-dependent control system for hospital bed
WO1993014454A1 (en) * 1992-01-10 1993-07-22 Foster-Miller, Inc. A sensory integrated data interface
US9290146B2 (en) 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US5835613A (en) * 1992-05-05 1998-11-10 Automotive Technologies International, Inc. Optical identification and monitoring system using pattern recognition for use with vehicles
US7831358B2 (en) * 1992-05-05 2010-11-09 Automotive Technologies International, Inc. Arrangement and method for obtaining information using phase difference of modulated illumination
US7660437B2 (en) * 1992-05-05 2010-02-09 Automotive Technologies International, Inc. Neural network systems for vehicles
US20070025597A1 (en) * 1994-05-09 2007-02-01 Automotive Technologies International, Inc. Security system for monitoring vehicular compartments
US8152198B2 (en) * 1992-05-05 2012-04-10 Automotive Technologies International, Inc. Vehicular occupant sensing techniques
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
US20080234899A1 (en) * 1992-05-05 2008-09-25 Automotive Technologies International, Inc. Vehicular Occupant Sensing and Component Control Techniques
US7788008B2 (en) 1995-06-07 2010-08-31 Automotive Technologies International, Inc. Eye monitoring system and method for vehicular occupants
US7887089B2 (en) * 1992-05-05 2011-02-15 Automotive Technologies International, Inc. Vehicular occupant protection system control arrangement and method using multiple sensor systems
US7655895B2 (en) * 1992-05-05 2010-02-02 Automotive Technologies International, Inc. Vehicle-mounted monitoring arrangement and method using light-regulation
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US5606494A (en) * 1993-11-25 1997-02-25 Casio Computer Co., Ltd. Switching apparatus
JPH07294844A (ja) * 1994-04-22 1995-11-10 Canon Inc 表示装置
US7768380B2 (en) * 1994-05-09 2010-08-03 Automotive Technologies International, Inc. Security system control for monitoring vehicular compartments
GB9505916D0 (en) * 1995-03-23 1995-05-10 Norton John M Controller
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
US8538636B2 (en) * 1995-06-07 2013-09-17 American Vehicular Sciences, LLC System and method for controlling vehicle headlights
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
US7734061B2 (en) * 1995-06-07 2010-06-08 Automotive Technologies International, Inc. Optical occupant sensing techniques
US20070135982A1 (en) 1995-06-07 2007-06-14 Automotive Technologies International, Inc. Methods for Sensing Weight of an Occupying Item in a Vehicular Seat
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JP3673578B2 (ja) * 1995-12-28 2005-07-20 富士通株式会社 相関追跡システム
US6381345B1 (en) * 1997-06-03 2002-04-30 At&T Corp. Method and apparatus for detecting eye location in an image
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
JP3657769B2 (ja) * 1998-03-19 2005-06-08 富士写真フイルム株式会社 画像処理方法および画像処理装置
US8036431B1 (en) * 1999-10-29 2011-10-11 Identix Incorporated Portable apparatus for identification verification
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US9151692B2 (en) * 2002-06-11 2015-10-06 Intelligent Technologies International, Inc. Asset monitoring system using multiple imagers
JP2002352229A (ja) * 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
GB0203035D0 (en) * 2002-02-08 2002-03-27 Univ Bristol A method of and an apparatus for measuring a person's ability to perform a motor control task
KR100493159B1 (ko) * 2002-10-01 2005-06-02 삼성전자주식회사 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법
JP4339762B2 (ja) * 2003-09-02 2009-10-07 富士フイルム株式会社 認証システム、及びプログラム
JP4476744B2 (ja) * 2003-09-02 2010-06-09 富士フイルム株式会社 撮像システム、及びプログラム
JP4531501B2 (ja) * 2003-09-29 2010-08-25 富士フイルム株式会社 照合システム及びそのプログラム
US7091471B2 (en) * 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
US9269265B2 (en) * 2005-11-29 2016-02-23 Google Technology Holdings LLC System and method for providing content to vehicles in exchange for vehicle information
US20070124043A1 (en) * 2005-11-29 2007-05-31 Ayoub Ramy P System and method for modifying the processing of content in vehicles based on vehicle conditions
US20070120697A1 (en) * 2005-11-29 2007-05-31 Ayoub Ramy P Method and device for determining a location and orientation of a device in a vehicle
US20070124045A1 (en) * 2005-11-29 2007-05-31 Ayoub Ramy P System and method for controlling the processing of content based on zones in vehicles
US20070124044A1 (en) * 2005-11-29 2007-05-31 Ayoub Ramy P System and method for controlling the processing of content based on vehicle conditions
JP4677963B2 (ja) * 2006-09-11 2011-04-27 トヨタ自動車株式会社 居眠り検知装置、居眠り検知方法
JP5856682B2 (ja) * 2012-09-14 2016-02-10 本田技研工業株式会社 対象物識別装置
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
CN104574819B (zh) * 2015-01-09 2017-03-22 安徽清新互联信息科技有限公司 一种基于嘴巴特征的疲劳驾驶检测方法
CN104992530B (zh) * 2015-08-13 2017-08-29 张鹤霖 一种头戴式非清醒状态提醒装置
DE102017213177A1 (de) 2017-07-31 2019-01-31 Audi Ag Verfahren zum Betreiben eines Bildschirms eines Kraftfahrzeugs sowie Kraftfahrzeug

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1540992A (en) * 1975-04-22 1979-02-21 Smiths Industries Ltd Display or other systems and equipment for use in such systems
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4281342A (en) * 1978-03-29 1981-07-28 Hitachi, Ltd. Mark detecting system using image pickup device
GB2043290B (en) * 1979-01-11 1983-08-17 Redifon Simulation Ltd Visual display apparatus
US4688037A (en) * 1980-08-18 1987-08-18 Mcdonnell Douglas Corporation Electromagnetic communications and switching system
US4397531A (en) * 1981-06-29 1983-08-09 Honeywell Inc. Eye closure discrimination system
US4648052A (en) * 1983-11-14 1987-03-03 Sentient Systems Technology, Inc. Eye-tracker communication system

Also Published As

Publication number Publication date
US4768088A (en) 1988-08-30
JPS62247410A (ja) 1987-10-28

Similar Documents

Publication Publication Date Title
JPH04284B2 (ja)
JPH01158579A (ja) 像認識装置
US6717518B1 (en) Method and apparatus for detection of drowsiness
JPH0342337A (ja) 車両運転者の運転状態検出装置
JPH06230132A (ja) 車両用障害物検出装置
JP2007186915A (ja) パワーウインドウ装置
JPH06262959A (ja) 脇見運転警報装置
CN210244387U (zh) 人脸识别比对装置及门禁系统
JP2802635B2 (ja) 電気装置の付勢制御装置
JPH06293228A (ja) 車上乗員認識装置
US20220270381A1 (en) Occupant monitoring device for vehicle
KR102565897B1 (ko) 주차장에 진입하는 특수차량의 정보를 인공지능에 의해 인식하여 주차부스로 안내하는 시스템
JPH06278495A (ja) 居眠り運転防止装置
JP3109230B2 (ja) 車両運転者の眼球位置検出装置
JPS6184509A (ja) 車両運転者判別装置
JPH06270712A (ja) 脇見運転警報装置
JPH06348980A (ja) 車両上ドライバの眼を監視する装置
JPH06344801A (ja) 車両上ドライバの眼を監視する装置
JPH03202045A (ja) 虹彩位置検出装置及び運転者の状態検出装置
JPH06270710A (ja) 居眠り運転警報装置
JPH06262958A (ja) 開口を開閉する運動体の閉じ検出装置
Sanjay et al. Drowsiness detection with OpenCV
KR102565883B1 (ko) 주차차량에 근접하는 차량에 대한 정보를 인공지능 인식에 의해 제공하는 시스템
JPH07208927A (ja) 車両運転者の眼球位置検出装置
US11752951B2 (en) Vehicle mounted virtual visor system that localizes a resting head pose