JPH04352081A - 人物画像認識における前処理方法および後処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は特定の物体、すなわち動
物体ないし静物体の画像を認識する画像認識における前
処理方法および装置、特に任意の背景画像の中から人物
の顔を認識する画像認識における前処理方法に関する。

【０００２】

【従来の技術】通常の画像認識にはパターンマッチング
（あらかじめ登録されてある画像と入力した画像との比
較）によるもの、特徴点比較（あらかじめ登録した画像
の特徴と入力した画像の特徴の比較、解析）によるもの
等がある。画像認識は、近年ではこれ以外に、ニューラ
ルネットワークを用いたバックプロパゲーションによる
認識も研究されている〔岩下正雄（日本電気株式会社Ｃ
＆Ｃ情報研究所）他：“画像処理プロセッサ（ＩｍＰＰ
）とニューラルネットワークへの応用”理研シンポジュ
ウム第９回「非接触計測と画像処理」昭和６３年９月２
２日（木）及び小杉信（ＮＴＴヒューマンインタフェー
ス研究所）他：“ニューラルネットを用いた顔画像識別
の一検討”テレビジョン学会技術報告Ｖｏｌ．１４，　
Ｎｏ．５０，　ＰＰ．　７〜１２，　１９９０年９月２
６日（木）発表を参照〕。

【０００３】

【発明が解決しようとする課題】従来のパターンマッチ
ングは「パターンの単純比較」であり、従ってロバスト
性（適応力）は低く、また、特徴点比較では「入力で対
象ごとに特徴点を見つけこれをプログラム化する」方式
であるため多大の労力を要した。これに比べ、バックプ
ロパゲーションは、「学習」という作業で簡単に特徴抽
出ができる画期的方法である。しかし、この認識方法を
用いても、パターンがずれた場合では十分な認識ができ
ないことが指摘されている〔緑川博子（成蹊大学）：バ
ックプロパゲーションによる顔画像認識の一考察“情報
処理学会第３６回（昭和６３年前期）全国大会を参照〕
。

【０００４】撮像装置の被写界にある特定の物体を知り
、その物体の固体差を認識する場合、撮像装置でその特
定の物体の画像を撮像して、その画像を画像認識装置に
入力する。ここで特定の物体と撮像装置の光学系及び照
明系との関係が一定状態を保ち、撮像装置で得られた画
像内容が認識装置の入力として一定のパターンになって
いることが、広い意味での画像認識に当たって認識を向
上させる方法である。しかし、認識すべき特定の物体に
よっては、一定のパターンで画像を得ることが困難であ
る。

【０００５】例えば、固定された位置にある撮像装置の
光学系で、人物の上半身を撮像し、その顔認識を行う場
合は次の問題がある。人物の顔認識の場合、身長の違い
、顔の大きさの違い、撮像装置の光学系との相対関係（
方向、距離、向き）等が異なり、認識対象となる顔領域
部分のみの画像を得るには、複雑な光学系の駆動制御が
必要となる。実際問題として、ある程度の動きのある人
物の場合、光学系で同一のパターンの画像を得ることは
不可能に近い。通常の場合は撮像装置の光学系は固定さ
れている為、人物が一定位置に存在しなければ、現在の
バックプロパゲーションの認識に必要な一定のパターン
にならない。従来の画像認識における入力画は、人間が
手助けし加工して同一のパターンとし、それを画像認識
装置への入力としていた。

【０００６】このように、前処理がなければ、大きさ、
位置などの補正なしに比較を行うことになるため、この
ような画像認識は、非効率的であり精度も落ちることに
なる。種々の撮像条件において得られた画像の中の人物
の顔を認識する場合では、先ず、画像の中に顔があるか
ないかが問題となる。従って顔があるかどうかを判断す
るためには対象となる顔の条件（見え方、動き、回転、
付帯物、顔自体の変形）、人間の顔としての一般形状、
背景内の顔の出現位置の限定、顔部分の形状抽出アルゴ
リズム、顔背景分離アルゴリズムなどが必要である。さ
らに顔領域抽出後の正規化として、２次元サイズの補正
、顔の３次元的な回転補正、濃度補正、一部しか見えな
い部分の補間、顔の部分変形の補間などが考えられる。

【０００７】従って、本発明の目的は、認識すべき動物
体の画像の前処理を行うことで、後処理である画像認識
の処理の効率を向上させることにある。

【０００８】

【課題を解決するための手段】上述した問題点を解決す
るため、本発明によれば、特定の物体（動物体ないし静
物体）の画像を認識する画像認識における前処理方法に
おいて、前記特定の物体を抽出する段階と、該物体から
認識すべき領域を抽出する段階と、該抽出した領域を正
規化する段階とから成る前処理方法が提供される。

【０００９】前記特定の物体を抽出する段階が、特定物
体画像を含む任意の背景画像と背景のみの画像とを量子
化してその差をとり、その差分を２値化し、これにより
背景画像から特定物体画像を分離し、背景ノイズを除去
し、この結果生ずる特定物体画像部分の欠落を補正する
簡易穴うめ処理を行うことを含み、特定物体画像の一部
である前記認識すべき領域を抽出する段階が、その領域
としての基準にあてはまるかどうかを評価してすべての
条件を満たすものの領域を外接する矩形領域で切り出す
ことを含み、前記正規化する段階が、アフィン変換を含
んでいてもよい。

【００１０】また、前記特定の物体から認識すべき領域
を抽出する段階が、その領域としての基準に当てはまる
かどうかを試行するそれぞれの設定値群において、基準
に当てはまる設定値群から、最適とされる設定値群によ
る抽出を行うことを含んでもよい。さらに、前記特定の
物体を抽出する段階が、前記特定物体を含まない背景画
を基準画として固定することを含み、前記特定の物体か
ら認識すべき領域を抽出する段階が、その領域としてそ
の基準に当てはまるかどうかを評価して全ての条件を満
たすものの領域を外接する矩形領域で切り出すことから
、切り出された入力画を保存することまでを、入力画を
更新して繰り返すことを含み、前記正規化する段階が、
前記認識すべき領域としての基準に最適な入力画像を、
前記繰り返し処理に当たって使用したデータとを基に正
規化することを含んでもよい。

【００１１】また、後処理にあたる画像認識の処理結果
より判断し、撮像装置からの入力画を更新しながら、全
体の処理を複数回繰り返し、それぞれにおける画像認識
の結果より最終的な認識結果を得ることをさらに含んで
もよい。また本発明によれば、特定の物体の画像を含む
画像を入力する画像入力部と、該入力した画像を記憶す
る画像記憶部と、記憶した画像を読みだして特定物体の
画像を抽出する物体画像抽出部と、抽出した物体画像か
ら認識すべき領域を抽出する認識領域抽出部と、該抽出
した領域を正規化する抽出領域正規化部とから成る前処
理装置が提供される。

【００１２】前記本発明の前処理方法および前処理装置
においては、特定の物体が人物であり、認識すべき領域
が人物の顔であってもよい。

【００１３】

【実施例】以下本発明の一実施例を図面に従って詳述す
る。初めに、前述した各々の処理について説明し、後で
これらの処理が全体としてどのように進められるのかを
説明する。第１図は本発明による画像認識における前処
理を実現する手段、すなわち前処理装置を含む画像認識
システムの構成図である。本発明による前処理は前処理
部１で実現され、この前処理部１は、画像入力部２、画
像記憶部３、特定物体画像抽出部４、認識領域抽出部５
および抽出領域正規化部６で構成される。なお、第１図
には、画像認識の後処理を行う認識処理部７も示されて
いる。

【００１４】画像入力部２は、特定物体画像を含む任意
の背景画像および背景のみの画像を入力するカメラ８と
、その入力画像を量子化するビデオデジタイザ９とを有
する。画像記憶部３は、背景のみの画像を基準画として
保存する基準画メモリ１０と、特定物体を含む画像を入
力画として保存する入力画メモリ１１を有する。また、
特定物体抽出部４は、後述する濃度変換１、濃度変換２
、濃度変換３、フィルタ処理１およびフィルタ処理２の
各手順を行う手段を有する。なお、フィルタ処理２を終
了した抽出特定画像は画像記憶部３の抽出特定画像（人
物）メモリ１２に記憶される。

【００１５】さらに、認識領域抽出部５は、後述するよ
うに、頭頂候補点検出、顔の左端右端の検出、顔の領域
決定、顔の領域評価の各手順を行う手段を有する。なお
、顔の領域評価の手順において所望の結果を得られなか
った場合（ＮＧ）に、再度上記手順を繰り返すための顔
のパラメータ設定／再設定の手順を行う手段も含まれて
いる。顔の領域評価の手順において所望の結果が得られ
た場合（ＯＫ）に、抽出領域画像を記憶する抽出領域画
像（顔）メモリ１３が、前記画像記憶部３に設けられて
いる。

【００１６】また、抽出領域正規化部６は、後述するよ
うに、中心補正やサイズ変更およびセンタリングの各手
順を行う手段を有する。なお、正規化された抽出画像は
、画像記憶部３の抽出画像メモリ１４に記憶される。 画像記憶部３は、ニューラルネットワークを用いたバッ
クプロパゲーションの学習手順により蓄積された学習デ
ータを記憶する学習データメモリ１５を有している。認
識処理部７では、前記抽出画像メモリ１４に記憶された
正規化抽出画像と前記学習データとをニューラルネット
ワークにより処理する手順と、その処理結果を評価する
手順を行う。なお、ニューラルネットワークによる処理
は認識演算プロセッサ（ＩｍＰＰ）１６により行われる
。 １．　　特定物体（人物）領域の抽出（前処理１）特定
物体（人物）領域抽出は、特定物体を含まない基準画と
入力画との画像間の差演算により抽出可能であるが、単
純な差だけで抽出可能なのは２値画のみである。 例えば多値の場合、一方が、（背景＋人物）、他方が（
背景）であるとする。ここで差演算（背景＋人物）−（
背景）を行うと、人物の形をした（人物−背景）の濃度
値の画像となってしまう。また、この結果は符号付とな
るなどの特徴がある。この符号は物体の移動中はその方
向も判別可能な要素も持っている。そこで、特定物体領
域の抽出手順では濃度変換を行っている。以下、図２及
び図３について説明する。 １．１　特定物体領域抽出手順 （ａ）　基準となる背景画をカメラから取り込み、基準
画Ａとして保存する。 （ｂ）　人物＋背景画をカメラから取り込み、入力画Ｂ
とする。 （ｃ）　基準画Ａを量子化して得られる各画素の濃度レ
ベル０〜２５５　を０〜１２７　に変換する、すなわち
、基準画Ａの濃度を１／２に濃度変換する（濃度変換１
）。変換後の画像を入力画１とすると、濃度変換１の式
は、Ｄａ２＝Ｄａ１／２ となる。（ここで、Ｄａ１　は基準画Ａの濃度値、Ｄａ
２　は入力画１の濃度値である。） （ｄ）　入力画Ｂの各画素の濃度レベル０〜２５５　を
１２８　〜２５５　に変換する、すなわち、入力画Ｂの
濃度を１／２に圧縮し、この濃度に１２８のバイアスを
与える（濃度変換２）。濃度変換後の画像を入力画２と
すると、濃度変換２の式は、 Ｄｂ２＝（Ｄｂ１／２）＋１２８ となる。（ここで、Ｄｂ１　は入力画Ｂの濃度値、Ｄｂ
２　は入力画２の濃度値である。） （ｅ）　濃度変換１、２で処理した画像の差（入力画２
−入力画１）をとると、両者の画像の同じ位置で濃度の
変化のない場合は、どのような濃度であってもその差は
１２８となる。このことを利用して、実際の場合の量子
化誤差や、背景の時間的変化量等をεと考え、（入力画
２−入力画１）の濃度差が１２８　±εレベル以内の位
置は画像が変化しないものとして０とし、それ以外の場
所は画像が変化したものとして１とする２値画像を得る
（濃度変換３）。 （ｆ）　入力画Ｂと（ｅ）　で作成した２値画像とのＡ
ＮＤ　をとる。これにより特定物体領域を入力画Ｂから
切り出すことができる。 （ｇ）　以上（ｃ）　〜（ｆ）　の処理を画像の各画素
に対し行い、特定画像Ｃを得る。 （ｈ）　特定画像Ｃの背景ノイズ除去を行う。（フィル
タ処理１） （ｉ）　（ｅ）　で作成した２値画像において、特定画
像の部分は１、それ以外の部分は０となるのが理想的で
あるが特定画像と背景画像の濃度差が±ε以内であれば
０となってしまう。これにより、特定画像の領域に欠落
が生じる場合がある。これを補正するために、特定画像
Ｃの簡易穴埋めを行う。（フィルタ処理２） このように基準画Ａを固定する場合は特定物体の領域の
抽出が可能である。また、基準画Ａをインターバルで再
取り込みし、３値化する方式では特定物体の動きの方向
の抽出が可能である。

【００１７】なお、図２は、上記特定物体領域（動画像
）抽出手順の基本ブロック図であり、図３はそのフロー
チャートである。図４は、フィルタ処理１のフローチャ
ートであり、これを参照してノイズ処理について詳述す
る。ノイズ除去処理は３×３オペレータにより行う。 ３×３オペレータとは、図５の（Ａ）、（Ｂ）に示すよ
うな（ｘ，ｙ）アドレスを中心として３×３マトリック
スでデータを取り扱う画像処理手法である。（ｘ，ｙ）
の中心値が変わればオペレータの値も変わる。なお、図
５の（Ａ）はオペレータの座標を示し、図５の（Ｂ）は
オペレータ番号に対応する座標で、各座標値はオペレー
タ中心からみた方向を示している。

【００１８】一般にオペレータ処理では、入力画像メモ
リと出力画像メモリは別々である。図５の（Ｃ）に示す
ように、入力画像メモリの値をオペレータに取り込み、
処理後、値は出力画像メモリに書き込む。説明に当たっ
て、画像（基準画像、入力画像）の大きさ（領域）をＸ
、Ｙ方向について０〜１２７　とする。このオペレータ
処理におけるオペレータのスキャンは、図５の（Ｃ）に
示すように、アドレス（１，１）より始め、Ｘ方向アド
レスを＋１づつ加算し、Ｘが１２６　になったら１回目
のスキャンを終了し、再びＸ＝１より始めるが、次のス
キャンではＹを＋１する。この方法でＹ＝１２６　まで
行う（画像領域が０〜１２７　であるため、３×３のオ
ペレータ処理は１〜１２６　の範囲を動く）。

【００１９】ノイズ除去オペレータ処理の内容は、入力
画から認識すべき領域を抽出するに当たって害となる背
景領域のノイズ除去を主目的とする。ノイズがある場合
のオペレータ内のデータの取り扱いを説明すると、オペ
レータ中心のデータが０以外の値でその周囲の８つの方
向のデータが０であるときはホワイトノイズであり、オ
ペレータ中心のデータが０でその周囲の８つの方向のデ
ータが０以外の値であるときであるときはブラックノイ
ズであるとしている。

【００２０】今回は、ホワイトノイズを除去することを
目的とし、且つ、これに或る程度の許容範囲を設ける（
１ドットの縦線、横線はノイズとする）ため、オペレー
タの８方向すべてデータが０というのではなく、６個以
上のデータが０であるときとした。これに当てはまるオ
ペレータの例を図６に示す。図７はフィルタ処理２のフ
ローチャートであり、ここでは、特定物体領域の画像欠
落の補完を主目的とする。これを参照して簡易穴埋めオ
ペレータ処理について詳述する。穴埋め処理とは、本来
、閉じたエッジ内のデータをすべて指定のデータとする
ことであるが、ここでは簡単な操作で或る程度穴埋めを
する処理として簡易穴埋め処理の原理を示す。

【００２１】図８の（Ａ）、（Ｂ）に示すような３×２
のオペレータを用いて、オペレータ中心のデータが０で
、オペレータ番号１〜５のうちの何れか２つ以上のデー
タが０以外の値であるとき、その時のオペレータ中心の
アドレスの出力画像メモリの内容を入力画像の近傍の値
で置き換える。なお、図８の（Ａ）はオペレータの座標
を示し、図８の（Ｂ）はオペレータ番号に対応する座標
で、各座標値はオペレータ中心（ｘ，ｙ）からみた方向
を示している。

【００２２】簡易穴埋め処理のオペレータを３×３では
なく３×２に選んだのは、オペレータの下方向を見たく
ないからである。もし、下方向を見ると、穴埋め処理を
した時、画像が上方向に１ドット増える。この場合、特
定物体の画像Ｃの物体領域の頂部の位置が１ドットだけ
Ｙ方向にずれてしまう。 ２．　　認識すべき領域の抽出（前処理２）認識すべき
領域として人物の顔領域を抽出する方法を以下に説明す
る。 ２．１　顔のパラメータ 顔領域を抽出する際に、次のパラメータを用いる。

【００２３】α　　　　：顔の縦の長さの定数β　　　
　：顔の横幅の定数 Ｙｌｅｎ　　：顔の横幅を調べるために頭頂からのＹの
長さ上の３つのパラメータの関係は次式のように仮定し
た。 β＝０．７５α Ｙｌｅｎ＝０．５α これらのパラメータは、顔の外形を定義するものであり
、画像中の顔の大きさによって変える必要がある。そこ
でまずα、β、Ｙｌｅｎを大きい値から始めて徐々に小
さくしていくようにする。つまり図９のように７段階に
変化させる。このようにパラメータを段階的に変化させ
ることにより、大きな顔から小さな顔まで検出できる。

【００２４】図９は、顔のパラメータの例を表の形態で
示したもので、ｉ＝１のとき、顔領域が後述する顔領域
評価によって正しく抽出されれば、顔領域抽出成功とな
るが、失敗したときはｉ＝２，３・・・というようにα
、β、Ｙｌｅｎを徐々に小さくしてゆき、顔領域が正し
く抽出されるまで、以下に述べる顔領域抽出手順の処理
を繰り返す。つまり、顔のパラメータを変化させること
によって、画像中の顔の大きさが異なっても、顔が抽出
できるようにしている。しかし、ｉ＝７までパラメータ
を変化させて処理を行っても顔領域が抽出できない場合
は、その画像中には顔が存在しないということになる。

【００２５】図９の数値は、画像のＸ、Ｙ方向のそれぞ
れの領域を０〜１２７の１２８　×１２８　の画像に展
開したときのそれぞれのパラメータの値である。 ２．２　顔領域抽出手順（前処理２） 顔領域抽出手順は、図１５に示すように、■Ｙ方向頂点
検出（頭頂の候補点検出）、■顔の左端、右端の検出、
■顔の領域決定、および■顔の領域評価の各手順で構成
される。

【００２６】この処理を行う時点では、切り出された顔
画像以外の画像の濃度レベルは全て０である。また切り
出された顔画像の濃度レベルは１〜２５５　である。 ２．２．１　頭頂の候補点検出 以下図１０、図１６を参照しながら頭頂の候補点検出の
手順について説明する。候補点のＹアドレスをＹｍｉｎ
ｉ　とする。 （ａ）　すべてのＸに対して、上から下（Ｙ軸の増える
方向）に走査し、最初に設定した閾値以上の画素のＹア
ドレスＹｍｉｎｘ　を求める。頭頂検出の対象となる画
像の背景は前処理１で除去されてある。従って、頭頂検
出は、Ｙアドレスの上部から下部方向に濃度情報を検索
し、１以上となったときのアドレスを頭頂の候補点要素
とする。 （ｂ）　最初の閾値以上のＹアドレスＹｍｉｎｘ　をＸ
方向の画素ｍ個ずつに区切り、各ｍ個の中でＹアドレス
の最も小さい（上にある）ものを頭頂の候補点Ｙｍｉｎ
ｉ　とする。 （ｃ）　候補点Ｙｍｉｎｉ　からのＹラン長が、顔の縦
の長さαより短い長さの定数Ｙｌｅｎ＝０．５　α（α
の値は図９のｉの値によって設定される）より小さかっ
たら、候補点から除去する。Ｙｌｅｎ＝０．５　αとし
たのは、特定画像抽出の際に背景と同じ濃度レベルの顔
の部分が虫食い状態となる場合があることを考慮したた
めである。 （ｄ）　隣り合う２つの候補点のＸ方向の距離が顔の横
幅の定数βの２／３より小さいとき、アドレスの大きい
方（下にある方）を候補点から除去する。

【００２７】頭頂の候補点はこの処理によって絞られて
いくが、この処理は候補点の数が変化しなくなるまで繰
り返す。なお、図１６のフローチャートの（ａ），（ｂ
），（ｃ），（ｄ）は上記（ａ），（ｂ），（ｃ），（
ｄ）　の手順を示したものである。以上の手順で求めた
頭頂の各候補点について、顔領域を決定し、その顔領域
を評価する。それらを次に示す。 ２．２．２　顔の左端、右端の検出 以下図１１、図１７を参照しながら、顔の左端、右端の
検出手順について説明する。顔の左端のＸアドレスをＬ
ｘ、右端のＸアドレスをＲｘとする。 （ａ）　Ｙｍｉｎｉ　から下へ顔の縦の長さより短い長
さの定数Ｙｌｅｎ＝０．５　αまでのすべてのＹについ
て、以下の処理を行う。

【００２８】（ａ−１）　Ｙｍｉｎｉ　の　ｉより左へ
向かって走査し、最初の閾値以下となった画素の直前の
Ｘアドレスを求める。 （ａ−２）　Ｙｍｉｎｉ　の　ｉより右へ向かって走査
し、最初の閾値以下となった画素の直前のＸアドレスを
求める。 （ｂ）　　（ａ−１）で求めたＸアドレスのうち、最も
小さいものを顔の左端Ｌｘとする。 （ｃ）　　（ａ−２）で求めたＸアドレスのうち、最も
大きいものを顔の右端Ｒｘとする。

【００２９】なお、図１７のフローチャートの（ａ），
（ｂ），（ｃ）　は上記（ａ），（ｂ），（ｃ）　の手
順を示したものである。 ２．２．３　顔の領域決定 図１２、図１８に示すように、Ｘ方向の幅をＷｘ、Ｙ方
向の幅をＷｙとする矩形領域を顔の領域とする。顔は縦
に長いが、その比率Ｒをα、βより求める。

【００３０】α：顔の縦の長さの定数 β：顔の横幅の定数 ２．２．４　顔領域の評価 図１３、図１９を参照しながら、顔領域の評価手順につ
いて説明する。決定された領域が顔らしいかどうかを評
価する。顔領域が以下の４つの条件を満足したとき顔領
域抽出成功とする。 （ａ）　顔領域のＸ方向幅Ｗｘが次の範囲であるか。

【００３１】 β−４≦Ｗｘ≦β＋４　　　　β：顔の横幅の定数この
式は顔幅の評価を規定している。（ここで４の数値は、
画面を１２８　×１２８　の画素としたときの画素数を
表す。） （ｂ）　頭頂の候補点のＸアドレスＸｍｉｎｉ　と顔領
域の左端Ｌｘ、右端ＲｘとのそれぞれのＸ距離の比が次
の範囲であるか。

【００３２】 １／３≦（Ｒｘ−Ｘｍｉｎｉ　）　／（Ｘｍｉｎｉ　−
Ｌｘ）≦３この式は、頭頂の頭の中心からのずれを評価
したもので、頭頂は中央近辺にあるはずであるというこ
との評価にもとづくものである。 （ｃ）　顔領域底辺部に閾値以上の画素が存在するか。 これは顔の下には首、胴体がつながっているということ
の評価である。逆に言えば、領域底辺部に閾値以上の画
素が存在しないときは、顔ではないと言うことになる。 （ｄ）　顔領域内の閾値以上の画素の割合いは６０％以
上か。

【００３３】なお、図１９のフローチャートの（ａ），
（ｂ），（ｃ），（ｄ）　は上記（ａ），（ｂ），（ｃ
），（ｄ）　の手順を示したものである。“６０％以上
”の根拠について以下図１４を参照しながら説明する。 １）　　まず楕円とその楕円に外接する矩形との面積比
について考える。楕円の長軸を２ｂ、短軸を２ａとする
。半径ａの面積Ｓ１はπ・ａ２である。楕円の面積Ｓ２
はガバリエリの原理より Ｓ２＝（ｂ／ａ）・Ｓ１＝（ｂ／ａ）・π・ａ２＝π・
ａ・ｂまた外接する矩形の面積Ｓ３は４・ａ・ｂである
。 よって楕円と外接する矩形の面積比は （Ｓ２／Ｓ３）・１００　＝（　π・ａ・ｂ）／（４・
ａ・ｂ）・１００　＝７８．５〔％〕 ２）　　１）では７８．５％以上のときに顔であると判
断したいが、特定画像抽出の際に、背景と同じ濃度レベ
ルの顔の部分が虫食い状態となる場合がある。よって顔
領域内の閾値以上の画素の割合いは６０％以上のとき、
顔であると判断するようにした。 ３．　　顔領域の正規化（前処理３） ３．１　正規化処理手順 図２０のように１２８　×１２８　ドットの入力画像よ
り長方形の顔の部分のみを切り出し、これを１２８　×
１２８　の画素からなる画枠内におさまるように正規化
する。図２１のフローチャートの（ａ），　（ｂ），（
ｃ）　の部分に対応して以下の手順により処理する。 （ａ）　正規化パラメータの初期設定 平行移動Ｘ（１回目）ｍ＝−ｍ１　　　　　平行移動Ｘ
（２回目）ｍ＝ｍ２　 平行移動Ｙ（１回目）ｎ＝−ｎ１　　　　　平行移動Ｙ
（２回目）ｎ＝ｎ２　 スケールＳ　　　　　　　　　　ｓ＝Ｗｙ／Ｖｙ（ｂ）
　正規化変換式 変換後のアドレスを（Ｘ，Ｙ）、変換前を（ｘ，ｙ）と
すると変換式は以下のようになる。変換１回目は入力画
像の中心補正及びサイズ変更を行い、変換２回目は、変
換画像のセンタリングを行う。

【００３４】 Ｘ＝（ｘ−ｍ１）／ｓ＋ｍ２ Ｙ＝（ｙ−ｎ１）／ｓ＋ｎ２ である。ただし、 ｍ１＝Ｌｘ　　　　　　　　　　　　　　　　ｍ２＝（
１２８　−１２８／Ｒ）／２ｎ１＝Ｙｍｉｎｉ　　　　
　　　　　　　　　ｎ２＝０ｓ＝Ｗｙ／１２８ Ｒ＝α／β（Ｒ≧１）　　α：顔の長さの定数、β：顔
の幅の定数 である。 （ｃ）　変換後の画像の表示及びその画像ファイルへの
格納４．各々の処理の進め方 本発明の部分を画像認識に関わる全体のシステムの視点
で捉えると本発明の処理の進め方として次の３つに大別
される。 ４．１　認識すべき領域の抽出におけるそれぞれの手順
の繰り返し ２．１　項で述べた顔のパラメータ群（ｉ＝１、２、３
、…）において、先ずは、ｉ＝１の設定値を使用して処
理を行い顔領域の評価を行う。この結果、条件を満足し
ない場合、ｉの設定値を次の設定値に更新し、これらの
手順を再び行い再評価を行う。この手順は顔領域の評価
において条件を満足するまで繰り返す。この評価条件が
満足された時点で、次の顔領域の正規化の処理へ進む。

【００３５】この方法の変形として、全てのｉの設定値
について顔領域の評価を行い、条件を満足したｉの値か
ら最適なｉの設定値を予測する方法もある。例えばｉの
設定値を多く設けて条件を満足する複数個のｉ値を求め
、そのｉ値の中央のｉ値の設定による領域のデータを採
用したり、また、条件を満足する度合いの一番大きいｉ
値の設定を採用する方法もある。これらの方法は認識態
様によっては実験を行いその評価結果からより良い方法
を選択すべきである。 ４．２　　４．１項の方法を含み、特定物体（人物）領
域の抽出手順と認識すべき領域の抽出の繰り返しこの方
法は、基準画を固定し、入力画を得た後に上記４．１　
項による手順を領域の抽出の段階まで行い、この結果を
保存し、次に新たな入力画を得て再びこれらの手順を繰
り返す方法である。この方法では、顔領域の抽出成功に
至らない場合に、新たな人物画像を得て抽出成功となる
まで繰り返して、画像の制限を行い、その回数の中で一
番、評価が高い画像を得る方法を採用することになる。

【００３６】この方法においては入力する画像のタイミ
ングによって、得られる画像に違いがあることを前提に
している。従って、４．１　項では繰り返す場合の設定
値としてｉの値のみ更新しているが、本方法の場合はｉ
の繰り返しは勿論、評価基準の設定値もｉと同様に設定
値群として予め設けて置き、高い評価基準に合致した入
力画とその認識領域の抽出データとを得ることもできる
。

【００３７】図２２ないし図２６は、本発明の画像認識
における前処理１、前処理２および前処理３ならびに後
処理である認識処理の各処理およびそれらの全ての処理
を実現する機器の構成例をそれぞれ示したものである。 なお、図２２ないし図２６の矢印は、各機器間における
データの流れを示す。図２２の機器の構成例は、特定の
物体すなわち動物体ないし静物体の画像を認識するため
の前処理として、特定物体を抽出する段階を実現するも
のである。

【００３８】画像入力部２１は、基準となる背景画（基
準画Ａ）および人物＋背景画（入力画Ｂ）を取り込むた
めに必要な機器、すなわち白黒モニタ、カメラおよびビ
デオデジタイザで構成される。画像処理部２２は、上記
の取り込んだ画像を格納ないし画像処理するためのフレ
ームメモリで構成される。

【００３９】中央演算処理部２４は、前処理１の手順を
制御する機能を行う８０３８６（ＣＰＵ）で構成される
。ここにおいて、この中央演算処理部２４は、前述の「
１．特定物体（人物）領域の抽出」の（ａ）　〜（ｉ）
　の作業を各機器に指示する。処理結果表示部２５は、
前処理１における画像処理部２２で処理した画像の表示
および中央演算処理部２４の処理情報をアナログＲＧＢ
で表示する機能を持つ。この表示機能により特定物体の
画像が抽出されたかを画像で確認することができる。

【００４０】図２３の機器の構成例は、特定の物体すな
わち動物体ないし静物体の画像を認識するための前処理
として、認識すべき領域を抽出する段階を実現するもの
である。画像処理部２２は、切り出した特定画像を格納
するためのフレームメモリで構成される。

【００４１】中央演算処理部２４は、前処理２の手順を
制御する機能を行う８０３８６（ＣＰＵ）で構成される
。ここにおいて、この中央演算処理部２４は、前述の「
２．認識すべき領域の抽出」の作業を画像処理部２２を
用いて処理する。処理結果表示部２５は、前処理２にお
いて画像処理部２２で処理した画像の表示および中央演
算処理部２４の処理情報をアナログＲＧＢで表示する機
能を持つ。この表示機能により特定物体の認識すべき画
像が抽出されたかを画像で確認することができる。

【００４２】図２４の機器の構成例は、特定の物体すな
わち動物体ないし静物体の画像を認識するための前処理
として、認識すべき領域を正規化する段階を実現するも
のである。画像処理部２２は、抽出した特定画像を格納
、正規化するためのフレームメモリで構成される。

【００４３】中央演算処理部２４は、前処理３の手順を
制御する機能を行う８０３８６（ＣＰＵ）で構成される
。ここにおいて、この中央演算処理部２４は、前述の「
３．顔の正規化」の作業を画像処理部２２を用いて処理
する。処理結果表示部２５は、前処理３において画像処
理部２２で処理した画像の表示および中央演算処理部２
４の処理情報をアナログＲＧＢで表示する機能を持つ。 この表示機能により特定物体の認識すべき画像が正規化
されたかを画像で確認することができる。

【００４４】図２５の機器の構成例は、特定の物体すな
わち動物体ないし静物体の画像を認識するための前処理
に引き続いて、この画像を認識する後処理の段階を実現
するものである。認識処理部２３は、データ格納部２６
より読み出した認識対象である正規化後の画像ファイル
、認識の比較基準となる登録画像ファイル、およびこれ
ら２つの画像の特徴を調べるための学習ファイルを用い
て認識処理を行うＩｍＰＰボードで構成される。認識処
理部２３は認識処理を高速に行うための手段として用い
られているのであり、この処理は中央演算処理部２４で
も代行可能である。

【００４５】中央演算処理部２４は、認識処理の手順を
制御する機能を行う８０３８６（ＣＰＵ）で構成される
。ここより認識処理部２３に指示を与え、データ格納部
２６を用いて認識処理を行う。処理結果表示部２５は、
認識処理における認識処理部２３で処理した演算結果を
中央演算処理部２４の指示によりアナログＲＧＢで表示
する機能を持つ。認識結果がどの程度であるかは、特徴
の一致する割合を表現する方式とする。

【００４６】データ格納部２６には、認識対象である正
規化後の画像ファイル、認識の基準となる登録画像ファ
イル、およびこれらの２つの画像の特徴を調べるための
学習ファイルが格納してある。図２６は、本発明の画像
認識における前処理１、前処理２および前処理３ならび
に後処理である認識処理の全ての処理を実現する機器の
構成例を示したものである。

【００４７】画像入力部２１は、基準となる背景画（基
準画Ａ）および人物＋背景画（入力画Ｂ）を取り込むた
めに必要な機器、すなわち白黒モニタ、カメラおよびビ
デオデジタイザで構成される。画像処理部２２は、上記
の取り込んだ画像を格納ないし画像処理するためのフレ
ームメモリで構成される。

【００４８】認識処理部２３は、データ格納部２６より
読み出した認識対象である正規化後の画像ファイル、認
識の比較基準となる登録画像ファイル、およびこれら２
つの画像の特徴を調べるための学習ファイルを用いて認
識処理を行うＩｍＰＰボードで構成される。認識処理部
２３は認識処理を高速に行うための手段として用いられ
ているのであり、この処理は中央演算処理部２４でも代
行可能である。

【００４９】中央演算処理部２４は、前処理１、前処理
２、前処理３および後処理の手順を制御する機能を行う
８０３８６（ＣＰＵ）で構成される。ここにおいて、こ
の中央演算処理部２４は、前述の「１．特定物体（人物
）領域抽出」の（ａ）　〜（ｉ）　の作業を各機器に指
示し、前述の「２．認識すべき領域の抽出」の作業およ
び「３．顔領域の正規化」の作業を画像処理部２２を用
いて処理し、後処理である「認識処理」の作業をデータ
格納部２６を用いて処理する。

【００５０】処理結果表示部２５は、前処理１、前処理
２、前処理３および後処理において画像処理部２２で処
理した画像の表示および中央演算処理部２４の処理情報
をアナログＲＧＢで表示する機能を持つ。この表示機能
により特定物体の画像が抽出されたかを画像で確認する
ことができる。データ格納部２６には、認識対象である
正規化後の画像ファイル、認識の基準となる登録画像フ
ァイル、およびこれらの２つの画像の特徴を調べるため
の学習ファイルが格納してある。

【００５１】

【発明の効果】本発明によれば、特定の動物体ないし静
物体の画像を認識する画像認識における前処理を行うこ
とにより、後処理である画像認識の処理の効率を向上さ
せることができる。すなわち、実際の物体の画像認識に
おいて、撮像装置と物体との間の位置的な相対関係に厳
密な条件を必要としない。後処理に当たる画像認識処理
の為の入力のパターンを一致させる作業が簡単となる。 画像の認識において、入力画像に対して厳密なパターン
の一致を要求しないで十分な認識が可能となる。画像認
識の精度を向上させることができる。認識に当たって不
要な背景等の画素を除去し、注目したい特定物体のみの
画像を切り出すことにより、監視などの目的において全
画面をくまなく注視する必要がなくなる。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の特定物体領域抽出手順を示す基本ブロ
ック図である。

【図３】本発明の特定物体領域抽出手順を示すフローチ
ャートである。

【図４】上記特定物体領域抽出手順の内のフィルタ処理
１の手順を示すフローチャートである。

【図５】上記フィルタ処理１におけるオペレータの座標
、オペレータ番号に対応する座標、オペレータ処理およ
びオペレータのスキャン操作を示す図である。

【図６】上記フィルタ処理１におけるノイズ除去オペレ
ータ処理のノイズの例を示すフローチャートである。

【図７】上記特定物体領域抽出手順の内のフィルタ処理
２の手順を示すフローチャートである。

【図８】上記フィルタ処理２におけるオペレータの座標
およびオペレータ番号に対応する座標を示す図である。

【図９】本発明の顔領域抽出手順における顔のパラメー
タの表を示す図である。

【図１０】上記顔領域抽出手順の内の頭頂の候補点検出
手順を示す図である。

【図１１】上記顔領域抽出手順の内の顔の左端、右端検
出手順を示す図である。

【図１２】上記顔領域抽出手順の内の顔の領域決定手順
を示す図である。

【図１３】上記顔領域抽出手順の内の顔領域評価手順を
示す図である。

【図１４】上記顔領域抽出手順における楕円と外接する
矩形との面積比を示す図である。

【図１５】本発明の顔領域抽出手順のフローチャートで
ある。

【図１６】上記顔領域抽出手順の内の頭頂の候補点検出
手順のフローチャートである。

【図１７】上記顔領域抽出手順の内の顔の左端、右端検
出手順のフローチャートである。

【図１８】上記顔領域抽出手順の内の顔の領域決定手順
のフローチャートである。

【図１９】上記顔領域抽出手順の内の顔領域評価手順の
フローチャートである。

【図２０】上記顔領域の正規化手順における顔の切り出
し、１２８×１２８ファイルへの顔の大きさの正規化の
例を示す図である。

【図２１】上記顔領域の正規化手順のフローチャートで
ある。

【図２２】本発明の前処理１で使用する機器の構成例を
示すブロック図である。

【図２３】本発明の前処理２で使用する機器の構成例を
示すブロック図である。

【図２４】本発明の前処理３で使用する機器の構成例を
示すブロック図である。

【図２５】本発明の前処理に引き続いて行われる後処理
である認識処理で使用する機器の構成例を示すブロック
図である。

【図２６】本発明の前処理および後処理である認識処理
の全てを含むシステムで使用する機器の構成例を示すブ
ロック図である。

【符号の説明】

１　　前処理部 ２　　画像入力部 ３　　画像記憶部 ４　　特定物体画像抽出部 ５　　認識領域抽出部 ６　　抽出領域正規化部 ７　　認識処理部 ８　　カメラ ９　　ビデオデジタイザ １０　　基準画メモリ １１　　入力画メモリ １２　　抽出特定画像（人物）メモリ １３　　抽出領域画像（顔）メモリ １４　　抽出画像メモリ １５　　学習データメモリ １６　　認識演算プロセッサ（ＩｍＰＰ）２１　　画像
入力部 ２２　　画像処理部 ２３　　認識処理部 ２４　　中央演算処理部 ２５　　処理結果表示部 ２６　　データ格納部

Claims (7)

【特許請求の範囲】
1. 【請求項１】　　特定の物体の画像を認識する画像認識
   における前処理方法において、前記特定の物体を抽出す
   る段階と、該特定の物体から認識すべき領域を抽出する
   段階と、該抽出した領域を正規化する段階とから成る前
   処理方法。
2. 【請求項２】　　前記特定の物体を抽出する段階が、特
   定物体画像を含む任意の背景画像と背景のみの画像とを
   量子化してその差をとり、その差分を２値化し、これに
   より背景画像から特定物体画像を分離し、背景ノイズを
   除去し、この結果生ずる特定物体画像部分の欠落を補正
   する簡易穴うめ処理を行うことを含み、特定物体画像の
   一部である前記認識すべき領域を抽出する段階がその領
   域としての基準にあてはまるかどうかを評価してすべて
   の条件を満たすものの領域を外接する矩形領域で切り出
   すことを含み、前記正規化する段階がアフィン変換を含
   む請求項１記載の前処理方法。
3. 【請求項３】　　前記特定の物体から認識すべき領域を
   抽出する段階が、その領域としての基準に当てはまるか
   どうかを試行するそれぞれの設定値群において、基準に
   当てはまる設定値群から、最適とされる設定値群による
   抽出を行うことを含む請求項２記載の前処理方法。
4. 【請求項４】　　前記特定の物体を抽出する段階が、前
   記特定物体を含まない背景画を基準画として固定するこ
   とを含み、前記特定の物体から認識すべき領域を抽出す
   る段階が、その領域としてその基準に当てはまるかどう
   かを評価して全ての条件を満たすものの領域を外接する
   矩形領域で切り出すことから、切り出された入力画を保
   存することまでを、入力画を更新して繰り返すことを含
   み、前記正規化する段階が、前記認識すべき領域として
   の基準に最適な入力画像を、前記繰り返し処理に当たっ
   て使用したデータとを基に正規化することを含む請求項
   ２又は３に記載の前処理方法。
5. 【請求項５】　　後処理にあたる画像認識の処理結果よ
   り判断し、撮像装置からの入力画を更新しながら、全体
   の処理を複数回繰り返し、それぞれにおける画像認識の
   結果より最終的な認識結果を得ることをさらに含む請求
   項２ないし４のいずれかに記載の前処理方法。
6. 【請求項６】　　特定の物体が人物であり、認識すべき
   領域が人物の顔である請求項１ないし５のいずれかに記
   載の前処理方法。
7. 【請求項７】　　特定の物体の画像を含む画像を入力す
   る画像入力部と、該入力した画像を記憶する画像記憶部
   と、記憶した画像を読みだして特定物体の画像を抽出す
   る物体画像抽出部と、抽出した物体画像から認識すべき
   領域を抽出する認識領域抽出部と、該抽出した領域を正
   規化する抽出領域正規化部とから成る前処理装置。