JP2983545B2

JP2983545B2 - 映像信号の増幅処理装置

Info

Publication number: JP2983545B2
Application number: JP63062936A
Authority: JP
Inventors: 充宏安藤; 好廣成瀬
Original assignee: Aisin Seiki Co Ltd; Shinsangyo Kaihatsu KK
Current assignee: Shinsangyo Kaihatsu KK; Aisin Corp
Priority date: 1988-03-16
Filing date: 1988-03-16
Publication date: 1999-11-29
Anticipated expiration: 2014-11-29
Also published as: JPH01236382A; US4975978A

Description

【発明の詳細な説明】［発明の目的］［産業上の利用分野］本発明は映像信号の増幅処理装置に関し、例えばリア
ルタイムの画像認識装置において、認識すべき入力画像
の情報の前処理を行なう際に利用しうる。

［従来の技術］例えば人の顔をテレビカメラで撮像し、撮影した像の
信号を処理して口や目の動きを認識できる装置を用いれ
ば、所定の電気装置の電源のオン／オフや出力アップ／
ダウン等の指示を、人が目や口を動かすことにより光学
的に発することができる。この種の装置に関しては、例
えば、特開昭62−247410号（特願昭60−272793号）の技
術が出願されている。

［発明が解決しようとする問題点］しかしながら、この種の装置においては、認識すべき
像の濃度差が不充分であると、必要な像の情報が得られ
ないので認識ができない。

もし、撮影した像の全体が暗い場合や、像の全体が明
るすぎる場合には、公知のAGC（自動利得調整）回路を
用いることによって、映像信号の振幅を調整し、像全体
の濃度を適正に調整し、必要な画像情報を抽出すること
ができる。

しかし、像の全体の明るさが充分であっても、情報を
知りたい部分の明るさが暗すぎたり明るすぎたりする場
合がある。例えば、背景が明るい場合に人が帽子をかぶ
っていると、帽子のひさしの陰によって顔の目の部分が
覆われるので、例えば第6a図に示すように目の部分は画
像全体の濃度に比べ濃度差が小さくなる。また、被写体
に対して横方向もしくは斜め方向から光が照射される場
合にも、被写体自体の一部分、例えば髪の毛などの陰が
撮影画像に現われ、それが抽出すべき画像部分の濃度差
を下げる。

このような場合、従来のAGC回路を用いて信号レベル
を調整しても、認識には効果がない。

コンピュータを用いる場合には、デジタル信号に変換
された画像情報を計算処理して、その一部分の濃度差を
強調したりコントラストを改善することが可能である。
しかしながら、この種のデジタル処理を行なう場合、リ
アルタイムの画像認識装置等においては、次のような問
題がある。

ａ）抽出すべき画像部分の濃度差が量子化誤差より充分
に大きくなければ効果はない。

ｂ）量子化誤差を小さくするには、ビット数の大きな高
速のA/D変換器と大容量のフレームメモリを必要とする
ので、装置が非常に高価になる。

ｃ）画像情報のビット数が大きいと、CPUの処理の負担
が非常に大きくなり、認識速度が大幅に低下する。

例えば、画像の最も明るい部分の画像データに対して
フルスケールになるよう画像信号の振幅を調節する場合
に、最も明るい部分のレベルが100、認識したい部分の
平均濃度が５、認識したい部分の濃度差が１だとする
と、量子化誤差を１％よりもはるかに小さくしなけれ
ば、認識したい部分の情報が抽出できない。この場合、
抽出したい画像部分は20％のコントラストを有している
が、濃度差がフルスケールの１％と小さいので、それの
識別は困難である。つまり、画像濃度のダイナミックレ
ンジが大きい場合には、それに応じた大きなビット数で
量子化しなければ、コントラストが充分であっても、画
像の認識はできない。その結果、上記b,cのような問題
が生じる。

また、デジタル処理によって画像の一部分に対して強
調処理を行なう場合には、何に対して強調を行なうのか
についてオペレータがそのつど指示する必要があるの
で、この方法は自動的な画像認識処理などでは利用でき
ない。

本発明は、例えば画像認識において、入力画像全体の
明るさのダイナミックレンジが非常に大きい場合でも、
画像の中で比較的暗い部分や比較的明るい部分につい
て、それを認識可能にする映像信号の増幅処理装置を提
供することを第１の目的とし、画像上の動きの認識のよ
うなリアルタイム認識処理にも利用でき、構成が比較的
簡単で安価な映像信号の増幅処理装置を提供することを
第２の目的とする。

［発明の構成］［問題点を解決するための手段］上記目的を達成するため、本発明においては、抽出す
べき領域の位置を保持する領域情報保持手段；入力され
る映像信号に同期して走査位置を検出し検出した走査位
置と前記領域情報保持手段が保持する位置との関係を識
別する領域識別手段；入力されるアナログ信号に対する
増幅度を自動的に調整する利得制御手段；及び前記領域
識別手段の識別結果に応じて、前記利得制御手段に印加
されるアナログ映像信号をオン／オフ制御するスイッチ
ング手段；を設ける。

［作用］一般に、自動利得調整（AGC）回路は、入力されるア
ナログ信号の平均レベルに応じた増幅度で入力信号を増
幅し出力する。しかし、上記構成によれば、利得制御手
段に印加される信号は、領域情報保持手段に保持された
一部の抽出領域のみに限定されるので、抽出領域の信号
の例えば平均レベルに応じた増幅度で信号が増幅され
る。

具体例をあげて説明する。第6a図においては、目の部
分が帽子の陰に入っているため、目とその周辺部との濃
度差が比較的小さい。また、人の背景等が非常に明るい
ため、目とその周辺部との濃度差が、全体の明るさに比
べて非常に小さい。そこで、例えば第6d図に示すよう
に、右目を中心とする小領域のみを抽出し、その抽出領
域内の画像信号の平均レベルに応じて信号の増幅度を調
整すれば、明るすぎる背景の影響がなくなり、目とその
周辺の領域に対する信号増幅度が充分大きくなるので、
その部分の濃度差は大きくなる。このように濃度差を強
調した後であれば、目を認識するのは容易である。

本発明によれば、アナログ信号の振幅調整によって抽
出領域の濃度差を強調するので、デジタル処理のような
量子化誤差は存在せず、非常に濃度差が小さい領域につ
いても、それを抽出して濃度差を強調できる。なお、利
得調整の基準となるレベルは、抽出領域の映像信号の平
均レベル，最高レベル及び最低レベルのいずれでもよ
い。

例えば人の顔を撮像し、得られる画像に基づいて目や
口を認識する場合には、画像上の目や口の位置は一定で
はない。従って、例えば目の位置を抽出したい場合であ
っても、その位置を正確に特定するのは難しい。そこ
で、後述する本発明の好ましい実施例においては、画像
上の一部分を認識してその位置を検出し、その検出位置
に基づいて次に認識すべき領域を決定し、その領域に対
応するように、領域情報保持手段の保持情報を設定す
る。更に、認識処理でエラーが発生した場合には、領域
情報保持手段の保持情報を更新して増幅度を変え、認識
処理を繰り返す。

本発明の他の目的及び特徴は、以下の、図面を参照し
た実施例説明により明らかになろう。

［実施例］第２図に、本発明を実施する装置を搭載した自動車の
運転席まわりの外観を示す。第２図を参照すると、イン
ストルメントパネル２の中央部に、テレビカメラ３が配
置されている。テレビカメラ３は、上下及び左右方向に
向きを調整自在になっており、通常は、ドライバの顔を
撮像する向きに位置決めされる。

第１図に、第２図の自動車に搭載された光学画像認識
制御装置の電装系の構成概略を示す。この装置は、ドラ
イバの顔の目の意図的な動きに応答して各種車上装置を
オン／オフ及び出力のアップ／ダウンを制御するもので
ある。なお、この装置はドライバの目の動きのみに応答
するが、例えば特開昭62−247410号（特願昭60−272793
号）に示されるように、口の動きを追跡してその意図的
な動きに応答する装置も構成可能である。

第１図の装置を説明する。テレビカメラ３は、NTSC規
格に準拠した通常のコンポジット映像信号VS1を出力す
る。即ち、テレビカメラ３は、映像面を水平方向及び垂
直方向に走査して、各位置の受光レベルに応じたシリア
ル信号を、第3a図に示すように、垂直同期信号及び水平
同期信号と重畳して出力する。この例では、水平走査線
の有効なライン数は243本である。

テレビカメラ３が出力する映像信号VS1は、映像信号
処理回路200に印加され、その一部分が抽出及び増幅処
理され、アナログ映像信号VS2としてA/D（アナログ／デ
ジタル）変換器140に印加される。この映像信号VS2は、
A/D変換器140で複数ビット（この例では４ビット）のデ
ジタル信号に変換され、フレームメモリ150に順次書込
まれる。

マイクロプロセッサ（以下、CPUと記載する）100は、
簡単に言うと、テレビカメラ３から得られる映像信号VS
1を映像信号処理回路200及びA/D変換器140を介してフレ
ームメモリ150に取込み、パターン認識処理を行なっ
て、目の意図的な動きを検出すると、その動きに予め割
り当てられた車上機器制御を行なう。映像信号処理回路
200は、映像信号VS1の一部分のみをVS2として抽出する
ことができるが、その抽出領域は、CPU100が設定する。

この例では、制御対象の車上機器として、ラジオコン
トローラ20,エアコンコントローラ21,オートドライブコ
ントローラ22,ドアロックコントローラ23,サンルーフコ
ントローラ24,ウインドゥコントローラ25,ワイパコント
ローラ26,シガーライタコントローラ27,ヘッドライトコ
ントローラ28,デフロスタコントローラ29及びブザーコ
ントローラ30が備わっており、これらの車上機器はパラ
レルインターフェース160を介して、CPU100のシステム
バスと接続されている。

第4a図，第4b図及び第4c図に、第１図の映像信号処理
回路200の具体的な回路構成を示す。

まず第4a図を参照する。映像信号VS1は、増幅器AMPの
入力端子に印加され増幅される。増幅器AMPで増幅され
た映像信号VS1は、アナログスイッチASWを通って、自動
利得調整回路AGCに印加される。自動利得調整回路AGC
は、差動増幅回路を構成しており、該回路の反転側と非
反転側の両方の入力端子に、映像信号が印加される。但
し、一方の信号は、抵抗器ＲとコンデンサＣで構成され
る時定数回路を通るため、平均的なレベルとして入力端
子に印加される。従って、自動利得調整回路AGCの増幅
度は、入力される映像信号の平均レベルが大きい時には
小さく、平均レベルが小さい時には大きくなる。

一方、増幅器AMPのトランジスタQ2から出力される信
号は、同期分離回路SEPの入力端子に印加される。演算
増幅器OP1は、入力されるアナログ信号を固定電圧で二
値化して、コンポジット映像信号に含まれる映像信号成
分を除去し、同期信号（水平同期信号と垂直同期信号）
SYNCの成分だけを抽出する。

演算増幅器OP2とその周辺に接続された回路要素は、
入力される信号を周波数で弁別し、周期の長い垂直同期
信号の成分のみを抽出する。また、単安定マルチバイブ
レータMM1は、複合同期信号SYNCから周期の短い水平同
期信号SYhを抽出する。フリップフロップFF1は、水平同
期信号SYhによってタイミングを補正した垂直同期信号S
Yvを出力する。

次に第4b図を参照する。クロックパルス発生器DCK
は、繰り返し周波数が6MHzのドットクロックDCKを出力
する。但し、ドットクロックDCKは、同期信号SYNCが低
レベルの期間は現われない。カウンタ回路CNV及びCNH
は、それぞれ、映像信号の垂直方向及び水平方向の有効
な信号が現われる期間を識別するのに利用される。

即ち、カウンタCNVは垂直同期信号SYvに同期して水平
同期信号SYhを計数し、水平走査線の256本の期間だけ有
効レベルになり、それ以外の時に無効レベルになる領域
信号（RGv）を出力する。また、カウンタCNHは水平同期
信号SYhに同期してドットクロックDCKを計数し、各水平
走査線の有効な画像情報の得られる256ドット（画素）
の期間だけ有効レベルになり、それ以外の時に無効レベ
ルになる領域信号（RGh）を出力する。

なお、221及び231はJKフリップフロップ、222,223,23
2及び233は４ビットカウンタである。

次に第4c図を参照する。第4c図に示す回路は、抽出す
る領域とそれ以外の領域とを区分する領域信号RGsを生
成するためのものである。カウンタ回路CSSは、各水平
走査ラインにおいて抽出領域の始まりの位置を識別する
のに利用され、カウンタ回路CSEは、各水平走査ライン
において、抽出領域の終了の位置を識別するのに利用さ
れる。

具体的に説明する。カウンタ回路CSS及びCSEは、各
々、８ビットのプリセッタブルダウンカウンタを構成し
ており、領域信号RGhが有効レベルの時にドットクロッ
クDCKを計数する。各々のプリセットデータは、領域信
号RGhが有効レベルに変化した直後に、各カウンタ回路
にロードされる。カウンタ回路CSSは、プリセットした
値の計数が終了すると、領域信号RG1に高レベルＨを出
力する。これによって、フリップフロップ265がセット
され、フリップフロップ264がリセットされる。フリッ
プフロップ264がリセットされると、カウンタ回路CSSへ
のドットクロックの入力が遮断されるので、カウンタ回
路CSSはその時の状態を保持し、領域信号RG1がＨに保持
される。

一方、領域信号RG1によってフリップフロップ265がセ
ットされると、領域信号RGsが高レベルＨになるので、
ドットクロックがゲートG4を介してカウンタ回路CSEに
印加され、カウンタ回路CSEはプリセットした値のダウ
ンカウントを開始する。プリセットした値の計数が終了
すると、領域信号RG2が高レベルＨになり、フリップフ
ロップ265をリセットする。これによって領域信号RGsが
低レベルＬに切換わり、またゲートG4が閉じるのでカウ
ンタ回路CSEへのドットクロックの入力は遮断される。

つまり、各々の水平走査ラインにおいて、領域信号RG
sが低レベルＬから高レベルＨに切換わる位置及び高レ
ベルＨから低レベルＬに切換わる位置は、それぞれ、カ
ウンタ回路CSS及びCSEにプリセットする値に応じて定ま
る。例えば、各カウンタCSS及びCSEにプリセットする値
を、それぞれ、64及び32に設定すれば、水平走査ライン
において、左端から全幅の64/256の位置までは領域信号
RGsがＬになり、水平走査ラインの全幅の65/256から96/
256の位置までは領域信号RGsがＨになり、ライン全幅の
97/256から右端まではRGsがＬになる。

この例では、カウンタ回路CSS及びCSEにプリセットす
るデータは、それぞれ、読み書きメモリ（以下、RAMと
記載する）253及び254が出力する。RAM253及び254は、
各々、８ビットのアドレスを有し、256種の８ビットデ
ータを読み書きできる。これらのRAMに保持するデータ
は、第１図に示すCPU100が必要に応じて書き替える。

RAM253及び254の８ビットアドレス端子には、アドレ
スカウンタCADが出力する値が共通に印加される。アド
レスカウンタCADは、８ビットアップカウンタであり、R
AM253又は254の内容を書き替える場合を除き、領域信号
RGhをクロックパルスとして計数する。アドレスカウン
タCADは、垂直同期信号SYvに同期して計数データをプリ
セットするので、その計数値は同期信号SYvに同期す
る。また、領域信号RGhには１つの水平走査ライン毎に
１つのパルスが現われるので、カウンタCADの計数値
は、垂直方向の走査位置に対応する。

従って、RAM253及び254の読出しアドレスは、水平走
査ライン毎に更新される。つまり、カウンタ回路CSS及
びCSEにプリセットされるデータは、水平走査ライン毎
に、互いに独立したデータとしてRAM253及び254の各ア
ドレスから順次に与えられる。具体的には、RAM253及び
254の各アドレス0,1,2,・・・のデータが、画像走査位
置の上から1,2,3,・・・番目の水平走査ラインのデータ
に対応付けられている。

RAM253及び254の記憶データは、CPU100が任意に更新
できる。即ち、データセレクタ241に印加される選択制
御信号SGSが高レベルＨの時にはデータセレクタ241がＡ
グループの入力信号を選択するが、SGSが低レベルＬの
時には、データセレクタ241はＢグループの入力信号を
選択するので次のように動作する。RAM253,254のアドレ
スを生成するアドレスカウンタCADのクロック信号及び
ロード制御信号が、それぞれ、CPU100によって制御され
る信号SGW及びSGCに切換わるので、アドレスはCPU100が
指定できる。また、RAM253及び254はデータ書込み状態
になり、CPU100の16ビットデータバスDBを通る16ビット
データのうち下位の８ビットがRAM253、上位８ビットが
RAM254のデータ入力端子にそれぞれ印加され、それが指
定したアドレスに書込まれる。

再び、第4a図を参照すると、増幅器AMPが出力する映
像信号は、アナログスイッチASWを通って自動利得調整
回路AGCに印加される。従ってスイッチASWがオンの時に
は映像信号が回路AGCに印加されるが、スイッチASWがオ
フの時には映像信号は遮断される。従って、自動利得調
整回路AGCの出力に現われる映像信号VS2は、第3b図に示
すように、映像信号VS1のうち、領域信号RGsが高レベル
Ｈの期間のものを抽出した信号になる。

なお、アナログスイッチASWは同期信号も遮断する
が、同期信号は、トランジスタQ9の入力側において、ダ
イオードD1を介して再び映像信号と合成されるので、映
像信号VS2には同期信号の成分も現われる。

自動利得調整回路AGCにおいては、それに入力される
信号の平均レベルに応じて、それの増幅度が決定され
る。従って、アナログスイッチASWを制御して映像信号
の一部分を選択的に自動利得調整回路AGCに印加する場
合には、映像信号の選択しない領域の信号レベルは自動
利得調整回路AGCの増幅度に影響を及ぼさない。

逆に言えば、入力される映像信号の画像の内容が同一
であっても、選択する領域を変えることによって、自動
利得調整回路AGCの増幅度を変えることができる。

例えば、画像全体の平均レベルによって増幅度を調整
した時に第6a図に示すような信号レベルの出力画像が得
られる時に、各ウィンドゥW1,W2及びW3の領域を選択的
に抽出することによって、それぞれ、第6b図，第6c図及
び第6d図に示すような信号レベルの出力画像が得られ
る。なお、第6b図，第6c図及び第6d図においては、画像
の全体を示してあるが、実際の映像信号VS2上において
は、はウインドゥの外側には画像は現われないので注意
されたい。

第6a図においては、人物の背景，顔及び帽子が比較的
明るいため、帽子の陰になった目の部分が非常に暗い。
従って、目とその周辺部との濃度差が小さいので、この
ままでは、目を認識するのは困難である。そこで、例え
ば第6d図に示すように、ウィンドゥW3を設定し、その範
囲内の信号だけをアナログスイッチASWによって抽出
し、選択的に自動利得調整回路AGCに印加すれば、抽出
された信号の平均レベルが低いので、増幅度が大きくな
り、第6d図に示すように、ウィンドゥW3の部分の目とそ
の周辺部との濃度差が強調される。

第5a図及び第5b図に、第１図に示すCPU100の動作の概
略を示す。なお、具体的なパターン認識処理については
ここでは示してないが、一般的な認識手法や特開昭62−
247410号（特願昭60−272793号）のような手法を用いる
ことができる。

第5a図を参照して、CPU100の動作を説明する。電源が
オンすると、まず初期化を行なう。即ち、各種車上機器
の制御を初期状態に設定し、内部メモリ120の内容をク
リアし、映像信号処理回路200内のRAM253及び254の内容
をクリアする。

続いて、まずウィンドゥW1（第6b図参照）を設定す
る。このウィンドゥW1は、人物の頭部を識別するための
ものである。即ち、実際の人物の頭部を識別する場合、
背景の明るさが一定でないし、髪の毛の色がまちまちで
あるし、様々の色の帽子をかぶっている場合があるし、
また光のあたり具合いによってコントラストが変わる。
頭部と背景とのコントラストが比較的小さい場合、画像
全体の明るさに合わせて映像信号のレベルを調整する
と、認識に必要な画像部分の濃度差が小さくなり、認識
ができない。

そこで、ウィンドゥW1を設定し、頭部とその周囲の背
景部分の画像の明るさに合わせて映像信号のレベルを調
整する。

この例では、ウィンドゥW1の最初の位置及び大きさ
は、予め決定された固定データによって設定してある。
具体的に言うと、ウィンドゥW1は四角形であり、画面上
端からのＹ座標方向（縦方向）の距離が５ドット（又は
ライン）、画面左端からのＸ座標方向（横方向）の距離
が20ドットの位置を基準にし、その点から右方向（Ｘ方
向）に216ドットの幅を有し、下方向（Ｙ方向）に64ド
ットの高さを有する範囲として領域を設定してある。

映像信号処理回路200に対するウィンドゥの設定は、
具体的には次のようにする。この例では、ウィンドゥが
四角形であるので、その左端及び右端のＸ座標をそれぞ
れX1及びX2、上端及び下端のＹ座標をそれぞれY1及びY2
で示す。この場合、第4c図に示すRAM253に対しては、ア
ドレスY1からY2までの記憶領域に、X1の値を書込み、そ
れ以外のアドレス領域には、最大値（255）を書込む。
また、RAM254に対しては、アドレスY1からY2までの記憶
領域に、X2の値を書込み、それ以外のアドレス領域に
は、０を書込む。

これによって、水平走査ラインの第１ラインからY1番
目のライン、ならびにY2＋２番目のラインから最後のラ
インまでは、アナログスイッチASWは全時間、オフ状態
を維持し、水平走査ラインのY1＋１番目のラインからY2
＋１番目のラインまでは、左からX1番目のドットからX2
個のドットの期間だけアナログスイッチASWがオンして
映像信号の一部を抽出する。

ウィンドゥW1の設定が完了すると、ステップ３に進
み、画像信号を入力する。即ち、映像信号処理回路200
が出力する映像信号VS2を、A/D変換器140でサンプリン
グ及びA/D変換し、変換された４ビットデジタルデータ
をフレームメモリ150に書込む。なお、この例ではフレ
ームメモリ150が、予め分離及び生成された同期信号SY
h,SYv及びDCKを利用して内部のタイミング信号を生成す
るので、映像信号VS2に同期信号を含める必要はない。

画像信号の入力が完了したら、ステップ４から始まる
処理に進み、頭部の検出を行なう。なお、フレームメモ
リ150に保持したデータは、４ビットの多値データであ
るが、CPU100は、その時決定した特定のしきい値レベル
と各データとの大小関係を調べて、全てのデータを二値
的に扱っている。

各ステップ4,6及び８では、それぞれ、頭部上端のＹ
座標Ytp,頭部左端のＸ座標XLh及び頭部右端のＸ座標XRh
を検出する。具体的には、Ytpを検出する時には、第７
図に示すように、画像データを水平方向に主走査し、上
から下に向かって副走査し、水平方向の黒レベルのラン
レングスを調べ、所定以上のランレングスを検出した時
のラインのＹ座標をYtpとする。またXLhを検出する時に
は、第７図に示すように、画像データを垂直方向に主走
査し、左から右に向かって副走査し、垂直方向の黒レベ
ルのランレングスを調べ、所定以上のランレングスを検
出した時のＸ座標をXLhとする。同様に、XRhを検出する
時には、画像データを垂直方向に主走査し、右から左に
向かって副走査し、垂直方向の黒レベルのランレングス
を調べ、所定以上のランレングスを検出した時のＸ座標
をXRhとする。

いずれの検出においても、エラーが発生した場合、即
ち正常な検出ができなかった場合には、ステップ10に進
み、カウンタCNW1をインクリメントしてステップ11に進
む。ステップ11においては、その時のカウンタCNW1の内
容に応じてウィンドゥW1を更新する。つまり、Ｗの位置
及び大きさを、CNW1の内容に応じて順次更新し、抽出対
象領域を変える。

正常に頭部が検出できた時には、ステップ12に進み、
ウィンドゥをW2に変更する。このウィンドゥW2は、第6c
図に示すように、口の周囲を囲む四角形の領域であり、
この例では次のようにして決定している。W2の下端のＹ
座標は、画面の下端から上方に10ドットの位置、W2のＹ
方向の高さ（幅）は80ドットである。また、頭部の左端
XLhと右端XRhとから頭部の中心を通るＸ座標XCを求め、
XCと固定値WMを用いて、XC−WM、及びXC＋WMを、それぞ
れウィンドゥW2の左端Ｘ座標及び右端Ｘ座標に設定して
ある。従って、ウィンドゥW2の横方向位置は、その時の
人物の頭の位置に応じて自動的に補正される。

ウインドゥW2の設定が完了したら、ステップ13で、フ
レームメモリ150に画像信号を入力し、ステップ14に進
んで口の位置YMcを検出する。口の位置は、この例で
は、次のようにして検出している。即ち、第８図に示す
ように、画像データを水平方向に主走査し、下から上に
向かって副走査しながらデータを調べ、水平方向の黒レ
ベルのランレングスを計数し、所定より大きなランレン
グスを検出したＹ座標を記録する。そして、所定より大
きなランレングスを連続的に検出したＹ座標の上端YMU
と下端YMLの中間座標YMcを口の位置として検出する。

ステップ14でエラーが発生した場合には、ステップ18
に進んでカウンタCNW2をインクリメントし、ステップ19
に進む。ステップ19では、カウンタCNW2の内容に応じて
ウィンドゥW2の位置を、上下左右に移動する。具体的に
は、カウンタCNW2が1,2,3,4,5,6,7及び８であると、そ
れぞれ、座標（x,y）を、（x,y＋Δｙ），（ｘ＋Δx,y
＋Δｙ），（ｘ＋Δx,y），（ｘ＋Δx,y−Δｙ），（x,
y−Δｙ），（ｘ−Δx,y−Δｙ），（ｘ−Δx,y）及び
（ｘ−Δx,y＋Δｙ）に更新する。

但し、ステップ16で、カウンタCNW2が７以上になる
と、ステップ17に進んでそれを０にクリアし、ステップ
２に戻って、認識処理を頭部の検出から再実行する。

口の位置YMcを正常に検出すると、第5b図のステップ2
0に進み、ウィンドゥをW3に変更する。このウィンドゥW
3は、第6d図に示すように、目の周囲を囲む四角形の領
域であり、この例では次のようにして決定している。W3
の中央のＹ標識は、頭部の上端Ytp,口の座標YMc及び予
め定めた定数Keに基づいて決定される。Ｘ方向の位置座
標は、中心座標XCと予め定めた定数（XCとの距離）とに
基づいて決定される。ウィンドゥW3の幅XE及び高さYEは
一定になっている。

ウィンドゥW3の設定が完了したら、ステップ21に進ん
で画像信号をフレームメモリ150に書込み、ステップ22
に進んで瞳の検出を行なう。瞳の検出でエラーを生じた
場合には、ステップ26に進んでカウンタCNW3をインクリ
メントし、ステップ27に進む。ステップ27では、カウン
タCNW3の内容に応じて、ウィンドゥW3の位置を、上下左
右に移動する。具体的には、カウンタCNW3の内容が1,2,
3,4,5,6,7及び８であると、それぞれ、座標（x,y）を、
（x,y＋Δｙ），（ｘ＋Δx,y＋Δｙ），（ｘ＋Δx,
y），（ｘ＋Δx,y−Δｙ），（x,y−Δｙ），（ｘ−Δ
x,y−Δｙ），（ｘ−Δx,y）及び（ｘ−Δx,y＋Δｙ）
に更新する。

但し、ステップ24で、カウンタCNW3が７以上になる
と、ステップ25に進んでそれを０にクリアし、ステップ
２に戻って、認識処理を頭部の検出から再実行する。

瞳を正常に検出した場合には、更にステップ28に進
み、ウィンドゥWeを設定する。このウィンドゥWeは、図
示しないが、検出した瞳の位置を中心とするW3よりも小
さい四角形領域であり、通常の瞳の移動範囲程度の領域
に対応している。ウィンドゥWeの設定が終了したら、ス
テップ29に進んで、フレームメモリ150に画像信号を入
力し、ステップ30に進んで瞳の追跡を実行する。

瞳の追跡でエラーが発生した場合には、ステップ35に
進み、カウンタCNWeのインクリメントとその結果に応じ
たウィンドゥWeの位置の更新を行なう。但し、ステップ
34においてカウンタCNWeの内容が７以上であると、ステ
ップ36でカウンタCNWeを０にクリアし、ステップ２に戻
る。

瞳の追跡に成功すると、スイッチSWの状態をチェック
する。スイッチSWがオンの時には、ステップ33に進み、
瞳の動きが意図的な予め定めた各種の指示動作の内容と
一致するか否かを識別し、もし各種車上機器の制御を指
示するものと判定した場合には、その制御信号を対応す
る車上機器に出力する。

なお、上記実施例においては、抽出する画像領域の形
状が四角形の場合のみ説明したが、CPU100がRAM253,254
に書込むデータの内容を変えれば、円形やひし形など任
意の形状の領域の信号を抽出することも可能である。

また、実施例では、抽出した信号の平均レベルに応じ
て増幅度を調整しているが、抽出した領域の信号の最高
レベル又は最低レベルに基づいて増幅度の調整を行なう
場合にも上記実施例と同様な効果が期待できる。

更に、実施例では、人物の顔の画像を認識するシステ
ムにおいて本発明を実施した例を説明したが、例えば自
動車のような物体の認識を行なうシステムにおいても、
同様に映像信号のアナログ処理を行なう場合に本発明を
実施すれば、認識が容易になる。

［効果］以上のとおり、本発明によれば、信号中の任意の部分
を抽出し、抽出した信号部分のレベルに応じて増幅度を
自動調整するので、信号全体の振幅のダイナミックレン
ジが非常に大きい場合であっても、その中の濃度差の小
さい部分を強調することができる。アナログ処理である
ため、量子化誤差の影響がないし、CPU処理上の負担の
増加も非常に小さい。

【図面の簡単な説明】

第１図は、本発明を実施する光学画像認識制御装置の電
装系の構成概要を示すブロック図である。第２図は、第１図の装置を搭載した自動車の運転席近傍
を示す正面図である。第3a図は、テレビカメラ３が出力する映像信号VS1の波
形を示す波形図である。第3b図は、映像信号処理回路200の動作を示すタイムチ
ャートである。第4a図，第4b図及び第4c図は、映像信号処理回路200の
回路構成を示すブロック図である。第5a図及び第5b図は、第１図のマイクロコンピュータ10
0の動作の概要を示すフローチャートである。第6a図，第6b図，第6c図及び第6d図は、撮像した画像及
びその明るさと各ウィンドゥとの関連を示す正面図であ
る。第７図は、ウィンドゥW1を用いて頭部分を検出する場合
の走査方向と位置を示す正面図である。第８図は、ウィンドゥW2を用いて口部分を検出する場合
の走査方向と位置を示す正面図である。第９図は、ウィンドゥW3とその内部の画像を示す正面図
である。 2:インスツルメントパネル 3:テレビカメラ 100:マイクロコンピュータ 110:ROM、120:RAM 130:インターフェース回路 140:A/D変換器 150:フレームメモリ 160:パラレルインターフェース回路 200:映像信号処理回路 241:データセレクタ 253,254:RAM（領域情報保持手段） CSS,CSE:カウンタ回路（領域識別手段） CAD:アドレスカウンタ AGC:自動利得調整回路（利得制御手段） ASW:アナログスイッチ（スイッチング手段） SW:スイッチ、AMP:増幅器 SEP:同期分離回路 CNV,CNH:カウンタ回路 DCK:クロックパルス発生器

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平１−70886（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 1/00 H04N 1/40 101

Claims

(57)【特許請求の範囲】

【請求項１】抽出すべき領域の位置を保持する領域情報
保持手段；入力される映像信号に同期して走査位置を検出し検出し
た走査位置と前記領域情報保持手段が保持する位置との
関係を識別する領域識別手段；入力されるアナログ信号に対する増幅度を自動的に調整
する利得制御手段；及び前記領域識別手段の識別結果に応じて、前記利得制御手
段に印加されるアナログ映像信号をオン／オフ制御する
スイッチング手段；を備える映像信号の増幅処理装置。
【請求項２】前記領域情報保持手段は、映像信号に含ま
れる画像情報の一部分から特定のパターンを認識しその
認識したパターンの存在位置に応じて抽出すべき領域の
位置を調整するパターン認識手段を備える、前記特許請
求の範囲第（１）項記載の映像信号の増幅処理装置。
【請求項３】前記パターン認識手段は、パターン認識に
おいてエラーを検出すると、抽出すべき領域の位置及び
大きさの少なくとも一方を更新する、前記特許請求の範
囲第（２）項記載の映像信号の増幅処理装置。