JP3164835B2

JP3164835B2 - 人物画像認識における前処理方法および後処理方法

Info

Publication number: JP3164835B2
Application number: JP12599391A
Authority: JP
Inventors: 実飯沼; 徹雄堀ノ内
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 1991-05-29
Filing date: 1991-05-29
Publication date: 2001-05-14
Anticipated expiration: 2016-05-14
Also published as: JPH04352081A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は特定の物体、すなわち動
物体ないし静物体の画像を認識する画像認識に関し、特
に任意の背景画像の中から人物の顔を認識する画像認識
における前処理方法および装置ならびに認識結果を補正
する後処理方法および装置に関する。

【０００２】

【従来の技術】通常の画像認識にはパターンマッチング
（あらかじめ登録されてある画像と入力した画像との比
較）によるもの、特徴点比較（あらかじめ登録した画像
の特徴と入力した画像の特徴の比較、解析）によるもの
等がある。画像認識は、近年ではこれ以外に、ニューラ
ルネットワークを用いたバックプロパゲーションによる
認識も研究されている〔岩下正雄（日本電気株式会社Ｃ
＆Ｃ情報研究所）他：“画像処理プロセッサ(ImPP)とニ
ューラルネットワークへの応用”理研シンポジュウム第
９回「非接触計測と画像処理」昭和63年９月22日（木）
及び小杉信（ＮＴＴヒューマンインタフェース研究所）
他：“ニューラルネットを用いた顔画像識別の一検討”
テレビジョン学会技術報告Vol.14, No.50, PP. 7〜12,
1990年９月26日（木）発表を参照〕。

【０００３】

【発明が解決しようとする課題】従来のパターンマッチ
ングは「パターンの単純比較」であり、従ってロバスト
性（適応力）は低く、また、特徴点比較では「入力で対
象ごとに特徴点を見つけこれをプログラム化する」方式
であるため多大の労力を要した。これに比べ、バックプ
ロパゲーションは、「学習」という作業で簡単に特徴抽
出ができる画期的方法である。しかし、この認識方法を
用いても、パターンがずれた場合では十分な認識ができ
ないことが指摘されている〔緑川博子（成蹊大学）：バ
ックプロパゲーションによる顔画像認識の一考察“情報
処理学会第36回（昭和63年前期）全国大会を参照〕。

【０００４】撮像装置の被写界にある特定の物体を知
り、その物体の固体差を認識する場合、撮像装置でその
特定の物体の画像を撮像して、その画像を画像認識装置
に入力する。ここで特定の物体と撮像装置の光学系及び
照明系との関係が一定状態を保ち、撮像装置で得られた
画像内容が認識装置の入力として一定のパターンになっ
ていることが、広い意味での画像認識に当たって認識を
向上させる方法である。しかし、認識すべき特定の物体
によっては、一定のパターンで画像を得ることが困難で
ある。

【０００５】例えば、固定された位置にある撮像装置の
光学系で、人物の上半身を撮像し、その顔認識を行う場
合は次の問題がある。人物の顔認識の場合、身長の違
い、顔の大きさの違い、撮像装置の光学系との相対関係
（方向、距離、向き）等が異なり、認識対象となる顔領
域部分のみの画像を得るには、複雑な光学系の駆動制御
が必要となる。実際問題として、ある程度の動きのある
人物の場合、光学系で同一のパターンの画像を得ること
は不可能に近い。通常の場合は撮像装置の光学系は固定
されている為、人物が一定位置に存在しなければ、現在
のバックプロパゲーションの認識に必要な一定のパター
ンにならない。従来の画像認識における入力画は、人間
が手助けし加工して同一のパターンとし、それを画像認
識装置への入力としていた。

【０００６】このように、前処理がなければ、大きさ、
位置などの補正なしに比較を行うことになるため、この
ような画像認識は、非効率的であり精度も落ちることに
なる。種々の撮像条件において得られた画像の中の人物
の顔を認識する場合では、先ず、画像の中に顔があるか
ないかが問題となる。従って顔があるかどうかを判断す
るためには対象となる顔の条件（見え方、動き、回転、
付帯物、顔自体の変形）、人間の顔としての一般形状、
背景内の顔の出現位置の限定、顔部分の形状抽出アルゴ
リズム、顔背景分離アルゴリズムなどが必要である。さ
らに顔領域抽出後の正規化として、２次元サイズの補
正、顔の３次元的な回転補正、濃度補正、一部しか見え
ない部分の補間、顔の部分変形の補間などが考えられ
る。

【０００７】従って、本発明の目的は、認識すべき動物
体の画像の前処理を行うことで、後処理である画像認識
の処理の効率を向上させることにある。また、認識処理
を複数回繰り返し、この結果を総合判断し、最終認識結
果を出すことである。

【０００８】

【課題を解決するための手段】上述した問題点を解決す
るため、本発明によれば、特定の物体（動物体ないし静
物体）の画像を認識する画像認識における前処理方法に
おいて、前記特定の物体を抽出する段階と、該物体から
認識すべき領域を抽出する段階と、該抽出した領域を正
規化する段階とから成る前処理方法が提供される。

【０００９】前記特定の物体を抽出する段階が、特定物
体画像を含む任意の背景画像と背景のみの画像とを量子
化してその差をとり、その差分を２値化し、これにより
背景画像から特定物体画像を分離し、背景ノイズを除去
し、この結果生ずる特定物体画像部分の欠落を補正する
簡易穴うめ処理を行うことを含み、特定物体画像の一部
である前記認識すべき領域を抽出する段階が、その領域
としての基準にあてはまるかどうかを評価してすべての
条件を満たすものの領域を外接する矩形領域で切り出す
ことを含み、前記正規化する段階が、アフィン変換を含
んでいてもよい。

【００１０】また、前記特定の物体から認識すべき領域
を抽出する段階が、その領域としての基準に当てはまる
かどうかを試行するそれぞれの設定値群において、基準
に当てはまる設定値群から、最適とされる設定値群によ
る抽出を行うことを含んでもよい。さらに、前記特定の
物体を抽出する段階が、前記特定物体を含まない背景画
を基準画として固定することを含み、前記特定の物体か
ら認識すべき領域を抽出する段階が、その領域としてそ
の基準に当てはまるかどうかを評価して全ての条件を満
たすものの領域を外接する矩形領域で切り出すことか
ら、切り出された入力画を保存することまでを、入力画
を更新して繰り返すことを含み、前記正規化する段階
が、前記認識すべき領域としての基準に最適な入力画像
を、前記繰り返し処理に当たって使用したデータとを基
に正規化することを含んでもよい。

【００１１】また、後処理にあたる画像認識の処理結果
より判断し、撮像装置からの入力画を更新しながら、全
体の処理を複数回繰り返し、それぞれにおける画像認識
の結果より最終的な認識結果を得ることをさらに含んで
もよい。また本発明によれば、特定の物体の画像を含む
画像を入力する画像入力部と、該入力した画像を記憶す
る画像記憶部と、記憶した画像を読みだして特定物体の
画像を抽出する物体画像抽出部と、抽出した物体画像か
ら認識すべき領域を抽出する認識領域抽出部と、該抽出
した領域を正規化する抽出領域正規化部とから成る前処
理装置が提供される。

【００１２】前記本発明の前処理方法および前処理装置
においては、特定の物体が人物であり、認識すべき領域
が人物の顔であってもよい。

【００１３】

【実施例】以下本発明の一実施例を図面に従って詳述す
る。初めに、前述した各々の処理について説明し、後で
これらの処理が全体としてどのように進められるのかを
説明する。第１図は本発明による画像認識における前処
理を実現する手段、すなわち前処理装置を含む画像認識
システムの構成図である。本発明による前処理は前処理
部１で実現され、この前処理部１は、画像入力部２、画
像記憶部３、特定物体画像抽出部４、認識領域抽出部５
および抽出領域正規化部６で構成される。なお、第１図
には、画像認識の後処理を行う認識処理部７も示されて
いる。

【００１４】画像入力部２は、特定物体画像を含む任意
の背景画像および背景のみの画像を入力するカメラ８
と、その入力画像を量子化するビデオデジタイザ９とを
有する。画像記憶部３は、背景のみの画像を基準画とし
て保存する基準画メモリ１０と、特定物体を含む画像を
入力画として保存する入力画メモリ１１を有する。ま
た、特定物体抽出部４は、後述する濃度変換１、濃度変
換２、濃度変換３、フィルタ処理１およびフィルタ処理
２の各手順を行う手段を有する。なお、フィルタ処理２
を終了した抽出特定画像は画像記憶部３の抽出特定画像
（人物）メモリ１２に記憶される。

【００１５】さらに、認識領域抽出部５は、後述するよ
うに、頭頂候補点検出、顔の左端右端の検出、顔の領域
決定、顔の領域評価の各手順を行う手段を有する。な
お、顔の領域評価の手順において所望の結果を得られな
かった場合（ＮＧ）に、再度上記手順を繰り返すための
顔のパラメータ設定／再設定の手順を行う手段も含まれ
ている。顔の領域評価の手順において所望の結果が得ら
れた場合（ＯＫ）に、抽出領域画像を記憶する抽出領域
画像（顔）メモリ１３が、前記画像記憶部３に設けられ
ている。

【００１６】また、抽出領域正規化部６は、後述するよ
うに、中心補正やサイズ変更およびセンタリングの各手
順を行う手段を有する。なお、正規化された抽出画像
は、画像記憶部３の抽出画像メモリ１４に記憶される。
画像記憶部３は、ニューラルネットワークを用いたバッ
クプロパゲーションの学習手順により蓄積された学習デ
ータを記憶する学習データメモリ１５を有している。認
識処理部７では、前記抽出画像メモリ１４に記憶された
正規化抽出画像と前記学習データとをニューラルネット
ワークにより処理する手順と、その処理結果を評価する
手順を行う。なお、ニューラルネットワークによる処理
は認識演算プロセッサ(ImPP)１６により行われる。 1. 特定物体（人物）領域の抽出（前処理１）特定物体（人物）領域抽出は、特定物体を含まない基準
画と入力画との画像間の差演算により抽出可能である
が、単純な差だけで抽出可能なのは２値画のみである。
例えば多値の場合、一方が、（背景＋人物）、他方が
（背景）であるとする。ここで差演算（背景＋人物）−
（背景）を行うと、人物の形をした（人物−背景）の濃
度値の画像となってしまう。また、この結果は符号付と
なるなどの特徴がある。この符号は物体の移動中はその
方向も判別可能な要素も持っている。そこで、特定物体
領域の抽出手順では濃度変換を行っている。以下、図２
及び図３について説明する。 1.1 特定物体領域抽出手順 (a) 基準となる背景画をカメラから取り込み、基準画Ａ
として保存する。 (b) 人物＋背景画をカメラから取り込み、入力画Ｂとす
る。 (c) 基準画Ａを量子化して得られる各画素の濃度レベル
０〜255 を０〜127 に変換する、すなわち、基準画Ａの
濃度を１／２に濃度変換する（濃度変換１）。変換後の
画像を入力画１とすると、濃度変換１の式は、 Da２＝Da１／２となる。（ここで、Da1 は基準画Ａの濃度値、Da2 は入
力画１の濃度値である。） (d) 入力画Ｂの各画素の濃度レベル０〜255 を128 〜25
5 に変換する、すなわち、入力画Ｂの濃度を１／２に圧
縮し、この濃度に１２８のバイアスを与える（濃度変換
２）。濃度変換後の画像を入力画２とすると、濃度変換
２の式は、 Db２＝（Db１／２）＋128 となる。（ここで、Db1 は入力画Ｂの濃度値、Db2 は入
力画２の濃度値である。） (e) 濃度変換１、２で処理した画像の差（入力画２−入
力画１）をとると、両者の画像の同じ位置で濃度の変化
のない場合は、どのような濃度であってもその差は１２
８となる。このことを利用して、実際の場合の量子化誤
差や、背景の時間的変化量等をεと考え、（入力画２−
入力画１）の濃度差が128 ±εレベル以内の位置は画像
が変化しないものとして０とし、それ以外の場所は画像
が変化したものとして１とする２値画像を得る（濃度変
換３）。 (f) 入力画Ｂと(e) で作成した２値画像とのAND をと
る。これにより特定物体領域を入力画Ｂから切り出すこ
とができる。 (g) 以上(c) 〜(f) の処理を画像の各画素に対し行い、
特定画像Ｃを得る。 (h) 特定画像Ｃの背景ノイズ除去を行う。（フィルタ処
理１） (i) (e) で作成した２値画像において、特定画像の部分
は１、それ以外の部分は０となるのが理想的であるが特
定画像と背景画像の濃度差が±ε以内であれば０となっ
てしまう。これにより、特定画像の領域に欠落が生じる
場合がある。これを補正するために、特定画像Ｃの簡易
穴埋めを行う。（フィルタ処理２）このように基準画Ａを固定する場合は特定物体の領域の
抽出が可能である。また、基準画Ａをインターバルで再
取り込みし、３値化する方式では特定物体の動きの方向
の抽出が可能である。

【００１７】なお、図２は、上記特定物体領域（動画
像）抽出手順の基本ブロック図であり、図３はそのフロ
ーチャートである。図４は、フィルタ処理１のフローチ
ャートであり、これを参照してノイズ処理について詳述
する。ノイズ除去処理は３×３オペレータにより行う。
３×３オペレータとは、図５の（Ａ）、（Ｂ）に示すよ
うな（ｘ，ｙ）アドレスを中心として３×３マトリック
スでデータを取り扱う画像処理手法である。（ｘ，ｙ）
の中心値が変わればオペレータの値も変わる。なお、図
５の（Ａ）はオペレータの座標を示し、図５の（Ｂ）は
オペレータ番号に対応する座標で、各座標値はオペレー
タ中心からみた方向を示している。

【００１８】一般にオペレータ処理では、入力画像メモ
リと出力画像メモリは別々である。図５の（Ｃ）に示す
ように、入力画像メモリの値をオペレータに取り込み、
処理後、値は出力画像メモリに書き込む。説明に当たっ
て、画像（基準画像、入力画像）の大きさ（領域）を
Ｘ、Ｙ方向について０〜127 とする。このオペレータ処
理におけるオペレータのスキャンは、図５の（Ｃ）に示
すように、アドレス（１，１）より始め、Ｘ方向アドレ
スを＋１づつ加算し、Ｘが126 になったら１回目のスキ
ャンを終了し、再びＸ＝１より始めるが、次のスキャン
ではＹを＋１する。この方法でＹ＝126 まで行う（画像
領域が０〜127 であるため、３×３のオペレータ処理は
１〜126 の範囲を動く）。

【００１９】ノイズ除去オペレータ処理の内容は、入力
画から認識すべき領域を抽出するに当たって害となる背
景領域のノイズ除去を主目的とする。ノイズがある場合
のオペレータ内のデータの取り扱いを説明すると、オペ
レータ中心のデータが０以外の値でその周囲の８つの方
向のデータが０であるときはホワイトノイズであり、オ
ペレータ中心のデータが０でその周囲の８つの方向のデ
ータが０以外の値であるときであるときはブラックノイ
ズであるとしている。

【００２０】今回は、ホワイトノイズを除去することを
目的とし、且つ、これに或る程度の許容範囲を設ける
（１ドットの縦線、横線はノイズとする）ため、オペレ
ータの８方向すべてデータが０というのではなく、６個
以上のデータが０であるときとした。これに当てはまる
オペレータの例を図６に示す。図７はフィルタ処理２の
フローチャートであり、ここでは、特定物体領域の画像
欠落の補完を主目的とする。これを参照して簡易穴埋め
オペレータ処理について詳述する。穴埋め処理とは、本
来、閉じたエッジ内のデータをすべて指定のデータとす
ることであるが、ここでは簡単な操作で或る程度穴埋め
をする処理として簡易穴埋め処理の原理を示す。

【００２１】図８の（Ａ）、（Ｂ）に示すような３×２
のオペレータを用いて、オペレータ中心のデータが０
で、オペレータ番号１〜５のうちの何れか２つ以上のデ
ータが０以外の値であるとき、その時のオペレータ中心
のアドレスの出力画像メモリの内容を入力画像の近傍の
値で置き換える。なお、図８の（Ａ）はオペレータの座
標を示し、図８の（Ｂ）はオペレータ番号に対応する座
標で、各座標値はオペレータ中心（ｘ，ｙ）からみた方
向を示している。

【００２２】簡易穴埋め処理のオペレータを３×３では
なく３×２に選んだのは、オペレータの下方向を見たく
ないからである。もし、下方向を見ると、穴埋め処理を
した時、画像が上方向に１ドット増える。この場合、特
定物体の画像Ｃの物体領域の頂部の位置が１ドットだけ
Ｙ方向にずれてしまう。 2. 認識すべき領域の抽出（前処理２）認識すべき領域として人物の顔領域を抽出する方法を以
下に説明する。 2.1 顔のパラメータ顔領域を抽出する際に、次のパラメータを用いる。

【００２３】α ：顔の縦の長さの定数 β ：顔の横幅の定数 Ylen ：顔の横幅を調べるために頭頂からのＹの長さ上の３つのパラメータの関係は次式のように仮定した。 β＝0.75α Ylen＝0.５α これらのパラメータは、顔の外形を定義するものであ
り、画像中の顔の大きさによって変える必要がある。そ
こでまずα、β、Ylenを大きい値から始めて徐々に小さ
くしていくようにする。つまり図９のように７段階に変
化させる。このようにパラメータを段階的に変化させる
ことにより、大きな顔から小さな顔まで検出できる。

【００２４】図９は、顔のパラメータの例を表の形態で
示したもので、ｉ＝１のとき、顔領域が後述する顔領域
評価によって正しく抽出されれば、顔領域抽出成功とな
るが、失敗したときはｉ＝2,３・・・というようにα、
β、Ylenを徐々に小さくしてゆき、顔領域が正しく抽出
されるまで、以下に述べる顔領域抽出手順の処理を繰り
返す。つまり、顔のパラメータを変化させることによっ
て、画像中の顔の大きさが異なっても、顔が抽出できる
ようにしている。しかし、ｉ＝７までパラメータを変化
させて処理を行っても顔領域が抽出できない場合は、そ
の画像中には顔が存在しないということになる。

【００２５】図９の数値は、画像のＸ、Ｙ方向のそれぞ
れの領域を０〜127の128 ×128 の画像に展開したとき
のそれぞれのパラメータの値である。 2.2 顔領域抽出手順（前処理２）顔領域抽出手順は、図１５に示すように、Ｙ方向頂点
検出（頭頂の候補点検出）、顔の左端、右端の検出、
顔の領域決定、および顔の領域評価の各手順で構成
される。

【００２６】この処理を行う時点では、切り出された顔
画像以外の画像の濃度レベルは全て０である。また切り
出された顔画像の濃度レベルは１〜255 である。 2.2.1 頭頂の候補点検出以下図１０、図１６を参照しながら頭頂の候補点検出の
手順について説明する。候補点のＹアドレスをYmin_iと
する。 (a) すべてのＸに対して、上から下（Ｙ軸の増える方
向）に走査し、最初に設定した閾値以上の画素のＹアド
レスYmin_xを求める。頭頂検出の対象となる画像の背景
は前処理１で除去されてある。従って、頭頂検出は、Ｙ
アドレスの上部から下部方向に濃度情報を検索し、１以
上となったときのアドレスを頭頂の候補点要素とする。 (b) 最初の閾値以上のＹアドレスYmin_xをＸ方向の画素
ｍ個ずつに区切り、各ｍ個の中でＹアドレスの最も小さ
い（上にある）ものを頭頂の候補点Ymin_iとする。 (c) 候補点Ymin_iからのＹラン長が、顔の縦の長さαよ
り短い長さの定数Ylen＝0.5 α（αの値は図９のｉの値
によって設定される）より小さかったら、候補点から除
去する。Ylen＝0.5 αとしたのは、特定画像抽出の際に
背景と同じ濃度レベルの顔の部分が虫食い状態となる場
合があることを考慮したためである。 (d) 隣り合う２つの候補点のＸ方向の距離が顔の横幅の
定数βの２／３より小さいとき、アドレスの大きい方
（下にある方）を候補点から除去する。

【００２７】頭頂の候補点はこの処理によって絞られて
いくが、この処理は候補点の数が変化しなくなるまで繰
り返す。なお、図１６のフローチャートの(a),(b),(c),
(d)は上記(a),(b),(c),(d) の手順を示したものであ
る。以上の手順で求めた頭頂の各候補点について、顔領
域を決定し、その顔領域を評価する。それらを次に示
す。 2.2.2 顔の左端、右端の検出以下図１１、図１７を参照しながら、顔の左端、右端の
検出手順について説明する。顔の左端のＸアドレスをL
x、右端のＸアドレスをRxとする。 (a) Ymin_iから下へ顔の縦の長さより短い長さの定数Yl
en＝0.5 αまでのすべてのＹについて、以下の処理を行
う。

【００２８】(a-1) Ymin_iの_iより左へ向かって走査
し、最初の閾値以下となった画素の直前のＸアドレスを
求める。 (a-2) Ymin_iの_iより右へ向かって走査し、最初の閾値
以下となった画素の直前のＸアドレスを求める。 (b) (a-1)で求めたＸアドレスのうち、最も小さいもの
を顔の左端Lxとする。 (c) (a-2)で求めたＸアドレスのうち、最も大きいもの
を顔の右端Rxとする。

【００２９】なお、図１７のフローチャートの(a),(b),
(c) は上記(a),(b),(c) の手順を示したものである。 2.2.3 顔の領域決定図１２、図１８に示すように、Ｘ方向の幅をWx、Ｙ方向
の幅をWyとする矩形領域を顔の領域とする。顔は縦に長
いが、その比率Ｒをα、βより求める。

【００３０】α：顔の縦の長さの定数 β：顔の横幅の定数 2.2.4 顔領域の評価図１３、図１９を参照しながら、顔領域の評価手順につ
いて説明する。決定された領域が顔らしいかどうかを評
価する。顔領域が以下の４つの条件を満足したとき顔領
域抽出成功とする。 (a) 顔領域のＸ方向幅Wxが次の範囲であるか。

【００３１】 β−４≦Wx≦β＋４ β：顔の横幅の定数この式は顔幅の評価を規定している。（ここで４の数値
は、画面を128 ×128 の画素としたときの画素数を表
す。） (b) 頭頂の候補点のＸアドレスXmin_iと顔領域の左端L
x、右端RxとのそれぞれのＸ距離の比が次の範囲である
か。

【００３２】１／３≦（Rx−Xmin_i) ／（Xmin_i−Lx）≦３この式は、頭頂の頭の中心からのずれを評価したもの
で、頭頂は中央近辺にあるはずであるということの評価
にもとづくものである。 (c) 顔領域底辺部に閾値以上の画素が存在するか。これ
は顔の下には首、胴体がつながっているということの評
価である。逆に言えば、領域底辺部に閾値以上の画素が
存在しないときは、顔ではないと言うことになる。 (d) 顔領域内の閾値以上の画素の割合いは60％以上か。

【００３３】なお、図１９のフローチャートの(a),(b),
(c),(d) は上記(a),(b),(c),(d) の手順を示したもので
ある。“60％以上”の根拠について以下図１４を参照し
ながら説明する。 1) まず楕円とその楕円に外接する矩形との面積比につ
いて考える。楕円の長軸を２ｂ、短軸を２ａとする。半
径ａの面積S₁はπ・a²である。楕円の面積S₂はガバリエ
リの原理より S₂＝(b/a)・S₁＝(b/a)・π・a²＝π・ａ・ｂまた外接する矩形の面積S₃は４・ａ・ｂである。よって楕円と外接する矩形の面積比は (S₂/S₃)・100 ＝( π・ａ・ｂ）／（４・ａ・ｂ）・100
＝78.5〔％〕 2) 1)では78.5％以上のときに顔であると判断したい
が、特定画像抽出の際に、背景と同じ濃度レベルの顔の
部分が虫食い状態となる場合がある。よって顔領域内の
閾値以上の画素の割合いは60％以上のとき、顔であると
判断するようにした。 3. 顔領域の正規化（前処理３） 3.1 正規化処理手順図２０のように128 ×128 ドットの入力画像より長方形
の顔の部分のみを切り出し、これを128 ×128 の画素か
らなる画枠内におさまるように正規化する。図２１のフ
ローチャートの(a), (b),(c) の部分に対応して以下の
手順により処理する。 (a) 正規化パラメータの初期設定平行移動Ｘ（１回目）ｍ＝−ｍ₁ 平行移動Ｘ（２回
目）ｍ＝ｍ₂ 平行移動Ｙ（１回目）ｎ＝−ｎ₁ 平行移動Ｙ（２回
目）ｎ＝ｎ₂ スケールＳｓ＝Wy/Vy (b) 正規化変換式変換後のアドレスを（Ｘ，Ｙ）、変換前を（ｘ，ｙ）と
すると変換式は以下のようになる。変換１回目は入力画
像の中心補正及びサイズ変更を行い、変換２回目は、変
換画像のセンタリングを行う。

【００３４】Ｘ＝（ｘ−m₁）／ｓ＋m₂ Ｙ＝（ｙ−n₁）／ｓ＋n₂ である。ただし、 m₁＝Lx m₂＝（128 −128/Ｒ）／２ n₁＝Ymin_i n₂＝０ｓ＝Wy／128 Ｒ＝α／β（Ｒ≧１） α：顔の長さの定数、β：顔の
幅の定数である。 (c) 変換後の画像の表示及びその画像ファイルへの格納 4.各々の処理の進め方本発明の部分を画像認識に関わる全体のシステムの視点
で捉えると本発明の処理の進め方として次の３つに大別
される。 4.1 認識すべき領域の抽出におけるそれぞれの手順の繰
り返し 2.1 項で述べた顔のパラメータ群（ｉ＝１、２、３、
…）において、先ずは、ｉ＝１の設定値を使用して処理
を行い顔領域の評価を行う。この結果、条件を満足しな
い場合、ｉの設定値を次の設定値に更新し、これらの手
順を再び行い再評価を行う。この手順は顔領域の評価に
おいて条件を満足するまで繰り返す。この評価条件が満
足された時点で、次の顔領域の正規化の処理へ進む。

【００３５】この方法の変形として、全てのｉの設定値
について顔領域の評価を行い、条件を満足したｉの値か
ら最適なｉの設定値を予測する方法もある。例えばｉの
設定値を多く設けて条件を満足する複数個のｉ値を求
め、そのｉ値の中央のｉ値の設定による領域のデータを
採用したり、また、条件を満足する度合いの一番大きい
ｉ値の設定を採用する方法もある。これらの方法は認識
態様によっては実験を行いその評価結果からより良い方
法を選択すべきである。４．２４．１項の方法を含
み、特定物体（人物）領域の抽出手順と認識すべき領域
の抽出の繰り返しこの方法は、基準画を固定し、入力画
を得た後に上記４．１項による手順を領域の抽出の段階
まで行い、この結果を保存し、次に新たな入力画を得て
再びこれらの手順を繰り返す方法である。この方法で
は、顔領域の抽出成功に至らない場合に、新たな人物画
像を得て抽出成功となるまで繰り返して、画像の制限を
行い、その回数の中で一番、評価が高い画像を得る方法
を採用することになる。

【００３６】この方法においては入力する画像のタイミ
ングによって、得られる画像に違いがあることを前提に
している。従って、4.1 項では繰り返す場合の設定値と
してｉの値のみ更新しているが、本方法の場合はｉの繰
り返しは勿論、評価基準の設定値もｉと同様に設定値群
として予め設けて置き、高い評価基準に合致した入力画
とその認識領域の抽出データとを得ることもできる。

【００３７】図２２ないし図２６は、本発明の画像認識
における前処理１、前処理２および前処理３ならびに後
処理である認識処理の各処理およびそれらの全ての処理
を実現する機器の構成例をそれぞれ示したものである。
なお、図２２ないし図２６の矢印は、各機器間における
データの流れを示す。図２２の機器の構成例は、特定の
物体すなわち動物体ないし静物体の画像を認識するため
の前処理として、特定物体を抽出する段階を実現するも
のである。

【００３８】画像入力部２１は、基準となる背景画（基
準画Ａ）および人物＋背景画（入力画Ｂ）を取り込むた
めに必要な機器、すなわち白黒モニタ、カメラおよびビ
デオデジタイザで構成される。画像処理部２２は、上記
の取り込んだ画像を格納ないし画像処理するためのフレ
ームメモリで構成される。

【００３９】中央演算処理部２４は、前処理１の手順を
制御する機能を行うＣＰＵ（例えば８０３８６）で構成
される。ここにおいて、この中央演算処理部２４は、前
述の「１．特定物体（人物）領域の抽出」の（ａ）〜
（ｉ）の作業を各機器に指示する。処理結果表示部２５
は、前処理１における画像処理部２２で処理した画像の
表示および中央演算処理部２４の処理情報をアナログＲ
ＧＢで表示する機能を持つ。この表示機能により特定物
体の画像が抽出されたかを画像で確認することができ
る。

【００４０】図２３の機器の構成例は、特定の物体すな
わち動物体ないし静物体の画像を認識するための前処理
として、認識すべき領域を抽出する段階を実現するもの
である。画像処理部２２は、切り出した特定画像を格納
するためのフレームメモリで構成される。

【００４１】中央演算処理部２４は、前処理２の手順を
制御する機能を行うＣＰＵ（例えば８０３８６）で構成
される。ここにおいて、この中央演算処理部２４は、前
述の「２．認識すべき領域の抽出」の作業を画像処理部
２２を用いて処理する。処理結果表示部２５は、前処理
２において画像処理部２２で処理した画像の表示および
中央演算処理部２４の処理情報をアナログＲＧＢで表示
する機能を持つ。この表示機能により特定物体の認識す
べき画像が抽出されたかを画像で確認することができ
る。

【００４２】図２４の機器の構成例は、特定の物体すな
わち動物体ないし静物体の画像を認識するための前処理
として、認識すべき領域を正規化する段階を実現するも
のである。画像処理部２２は、抽出した特定画像を格
納、正規化するためのフレームメモリで構成される。

【００４３】中央演算処理部２４は、前処理３の手順を
制御する機能を行うＣＰＵ（例えば８０３８６）で構成
される。ここにおいて、この中央演算処理部２４は、前
述の「３．顔の正規化」の作業を画像処理部２２を用い
て処理する。処理結果表示部２５は、前処理３において
画像処理部２２で処理した画像の表示および中央演算処
理部２４の処理情報をアナログＲＧＢで表示する機能を
持つ。この表示機能により特定物体の認識すべき画像が
正規化されたかを画像で確認することができる。

【００４４】図２５の機器の構成例は、特定の物体すな
わち動物体ないし静物体の画像を認識するための前処理
に引き続いて、この画像を認識する後処理の段階を実現
するものである。認識処理部２３は、データ格納部２６
より読み出した認識対象である正規化後の画像ファイ
ル、認識の比較基準となる登録画像ファイル、およびこ
れら２つの画像の特徴を調べるための学習ファイルを用
いて認識処理を行うImPPボードで構成される。認識処理
部２３は認識処理を高速に行うための手段として用いら
れているのであり、この処理は中央演算処理部２４でも
代行可能である。

【００４５】中央演算処理部２４は、認識処理の手順を
制御する機能を行うＣＰＵ（例えば８０３８６）で構成
される。ここより認識処理部２３に指示を与え、データ
格納部２６を用いて認識処理を行う。処理結果表示部２
５は、認識処理における認識処理部２３で処理した演算
結果を中央演算処理部２４の指示によりアナログＲＧＢ
で表示する機能を持つ。認識結果がどの程度であるか
は、特徴の一致する割合を表現する方式とする。

【００４６】データ格納部２６には、認識対象である正
規化後の画像ファイル、認識の基準となる登録画像ファ
イル、およびこれらの２つの画像の特徴を調べるための
学習ファイルが格納してある。図２６は、本発明の画像
認識における前処理１、前処理２および前処理３ならび
に後処理である認識処理の全ての処理を実現する機器の
構成例を示したものである。

【００４７】画像入力部２１は、基準となる背景画（基
準画Ａ）および人物＋背景画（入力画Ｂ）を取り込むた
めに必要な機器、すなわち白黒モニタ、カメラおよびビ
デオデジタイザで構成される。画像処理部２２は、上記
の取り込んだ画像を格納ないし画像処理するためのフレ
ームメモリで構成される。

【００４８】認識処理部２３は、データ格納部２６より
読み出した認識対象である正規化後の画像ファイル、認
識の比較基準となる登録画像ファイル、およびこれら２
つの画像の特徴を調べるための学習ファイルを用いて認
識処理を行うImPPボードで構成される。認識処理部２３
は認識処理を高速に行うための手段として用いられてい
るのであり、この処理は中央演算処理部２４でも代行可
能である。

【００４９】中央演算処理部２４は、前処理１、前処理
２、前処理３および後処理の手順を制御する機能を行う
ＣＰＵ（例えば８０３８６）で構成される。ここにおい
て、この中央演算処理部２４は、前述の「１．特定物体
（人物）領域抽出」の（ａ）〜（ｉ）の作業を各機器に
指示し、前述の「２．認識すべき領域の抽出」の作業お
よび「３．顔領域の正規化」の作業を画像処理部２２を
用いて処理し、後処理である「認識処理」の作業をデー
タ格納部２６を用いて処理する。

【００５０】処理結果表示部２５は、前処理１、前処理
２、前処理３および後処理において画像処理部２２で処
理した画像の表示および中央演算処理部２４の処理情報
をアナログＲＧＢで表示する機能を持つ。この表示機能
により特定物体の画像が抽出されたかを画像で確認する
ことができる。データ格納部２６には、認識対象である
正規化後の画像ファイル、認識の基準となる登録画像フ
ァイル、およびこれらの２つの画像の特徴を調べるため
の学習ファイルが格納してある。

【００５１】

【発明の効果】本発明によれば、特定の動物体ないし静
物体の画像を認識する画像認識における前処理を行うこ
とにより、後処理である画像認識の処理の効率を向上さ
せることができる。すなわち、実際の物体の画像認識に
おいて、撮像装置と物体との間の位置的な相対関係に厳
密な条件を必要としない。後処理に当たる画像認識処理
の為の入力のパターンを一致させる作業が簡単となる。
画像の認識において、入力画像に対して厳密なパターン
の一致を要求しないで十分な認識が可能となる。画像認
識の精度を向上させることができる。認識に当たって不
要な背景等の画素を除去し、注目したい特定物体のみの
画像を切り出すことにより、監視などの目的において全
画面をくまなく注視する必要がなくなる。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の特定物体領域抽出手順を示す基本ブロ
ック図である。

【図３】本発明の特定物体領域抽出手順を示すフローチ
ャートである。

【図４】上記特定物体領域抽出手順の内のフィルタ処理
１の手順を示すフローチャートである。

【図５】上記フィルタ処理１におけるオペレータの座
標、オペレータ番号に対応する座標、オペレータ処理お
よびオペレータのスキャン操作を示す図である。

【図６】上記フィルタ処理１におけるノイズ除去オペレ
ータ処理のノイズの例を示すフローチャートである。

【図７】上記特定物体領域抽出手順の内のフィルタ処理
２の手順を示すフローチャートである。

【図８】上記フィルタ処理２におけるオペレータの座標
およびオペレータ番号に対応する座標を示す図である。

【図９】本発明の顔領域抽出手順における顔のパラメー
タの表を示す図である。

【図１０】上記顔領域抽出手順の内の頭頂の候補点検出
手順を示す図である。

【図１１】上記顔領域抽出手順の内の顔の左端、右端検
出手順を示す図である。

【図１２】上記顔領域抽出手順の内の顔の領域決定手順
を示す図である。

【図１３】上記顔領域抽出手順の内の顔領域評価手順を
示す図である。

【図１４】上記顔領域抽出手順における楕円と外接する
矩形との面積比を示す図である。

【図１５】本発明の顔領域抽出手順のフローチャートで
ある。

【図１６】上記顔領域抽出手順の内の頭頂の候補点検出
手順のフローチャートである。

【図１７】上記顔領域抽出手順の内の顔の左端、右端検
出手順のフローチャートである。

【図１８】上記顔領域抽出手順の内の顔の領域決定手順
のフローチャートである。

【図１９】上記顔領域抽出手順の内の顔領域評価手順の
フローチャートである。

【図２０】上記顔領域の正規化手順における顔の切り出
し、１２８×１２８ファイルへの顔の大きさの正規化の
例を示す図である。

【図２１】上記顔領域の正規化手順のフローチャートで
ある。

【図２２】本発明の前処理１で使用する機器の構成例を
示すブロック図である。

【図２３】本発明の前処理２で使用する機器の構成例を
示すブロック図である。

【図２４】本発明の前処理３で使用する機器の構成例を
示すブロック図である。

【図２５】本発明の前処理に引き続いて行われる後処理
である認識処理で使用する機器の構成例を示すブロック
図である。

【図２６】本発明の前処理および後処理である認識処理
の全てを含むシステムで使用する機器の構成例を示すブ
ロック図である。

【符号の説明】

１前処理部２画像入力部３画像記憶部４特定物体画像抽出部５認識領域抽出部６抽出領域正規化部７認識処理部８カメラ９ビデオデジタイザ１０基準画メモリ１１入力画メモリ１２抽出特定画像（人物）メモリ１３抽出領域画像（顔）メモリ１４抽出画像メモリ１５学習データメモリ１６認識演算プロセッサ（ImPP）２１画像入力部２２画像処理部２３認識処理部２４中央演算処理部２５処理結果表示部２６データ格納部

Claims

(57)【特許請求の範囲】

【請求項１】人物候補領域を抽出する段階と、前記人
物候補領域から頭部領域を抽出する段階と、前記頭部領
域を評価する段階と、前記抽出、評価した頭部領域を正
規化する段階から成る人物画像認識の前処理方法におい
て、前記人物候補領域から頭部領域を抽出する段階が、この人物候補領域から頭頂候補を求め、この頭頂候補から頭部の左右端を求め、この左右端から頭部横幅を特定し、この頭部横幅に所定の値をかけることにより頭部縦幅を
特定し、前記頭頂候補を基準として前記頭部横幅と前記頭部縦幅
からなる矩形領域を抽出することを特徴とする人物画像
認識の前処理方法。
【請求項２】前記人物候補領域を抽出する段階が、人
物候補領域を含む任意画像とその背景画像とをそれぞれ
量子化し、その差をとり、その差分を２値化し、これに
より背景画像から人物候補領域を分離し、背景ノイズを
除去し、この結果生じる人物候補領域の欠落を補正する
穴埋め処理を行うことを含み、前記頭部領域を正規化する段階が、アフィン段階を含
む、請求項１記載の前処理方法。
【請求項３】前記頭部領域を抽出する段階が、領域の
大きさが変化しても、頭部領域を誤らずに抽出すること
を可能とするために、大きな頭部の設定値から小さな頭
部の設定値まで、設定基準を変化させ、最適な設定値を
当てはめ、頭部領域を抽出することを含む請求項１に記
載の前処理方法。
【請求項４】前記頭部領域を評価する段階が、領域と
してその基準に当てはまるかどうかを評価する条件を満
たすものとして、頭部領域の幅がある頭部領域の大きさ
に見合う横幅の範囲内かどうかの評価と、頭頂位置が頭
部領域の左端、右端の中央付近にあるかどうかの評価
と、頭部領域の底部は胴体と繋がっているかどうかの評
価と、頭部の外接矩形領域と頭部領域の比がある割合以
内かどうかの評価を含む請求項１に記載の前処理方法。
【請求項５】人物候補領域を含まない任意の背景画像
を基準画像として固定し、前記請求項１に記載の前処理
方法を繰り返し、前記正規化する段階が、前記頭部領域
を、前繰り返し処理で求めた場所に基づいて、正規化す
ることを含む前処理方法。
【請求項６】請求項１ないし５のいずれかに記載の前
処理方法を行った後、画像認識の処理結果より判断し、
撮像装置からの入力画像を更新しながら、全体の処理を
複数回繰り返し、それぞれにおける画像認識結果に基づ
いて最終結果を得る後処理方法。