JPH06309457A

JPH06309457A - 画像判別方法

Info

Publication number: JPH06309457A
Application number: JP5099325A
Authority: JP
Inventors: Satoru Osawa; 哲大沢
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1993-04-26
Filing date: 1993-04-26
Publication date: 1994-11-04
Anticipated expiration: 2017-03-11
Also published as: JP3264460B2

Abstract

(57)【要約】【目的】与えられた画像が所定の画像であるか否かを
判別する画像判別方法において、画像の回転、角度の変
化、背景に影響されずに良好かつ精度良く判別を行う。【構成】与えられた画像１から、画像１の角度の変
化、回転により変動しない基準点である両目候補の中心
の探索２を行い、次いで両目候補の中心を通る、与えら
れた画像１における対称軸の探索３を行う。さらに、与
えられた画像の特徴部分である顔の輪郭候補の探索４お
よび口領域候補の探索５を行う。その後、これらの探索
により得られた情報に基づいて、与えられた画像１が所
定の画像であるか否かの判別６を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報処理の際に、
与えられた画像が所定の画像であるか否かの判別を、画
像の角度の変化、回転および背景に影響されることな
く、良好に行う画像判別方法に関するものである。

【０００２】

【従来の技術】物体の探索や識別を行うモデルの研究
は、画像情報処理のキー技術のひとつと考えられ古くか
ら様々な手法により試みられている。特に、物体を顔と
し画像中の顔の認識を行う試みは盛んに行われている。

【０００３】対象物体を顔として代表的なモデルを挙げ
ると、例えば、 (1) 顔画像の標本の主成分を分析することにより得られ
る固有顔を用いた方法（Matthew,T.,Alex,P.,Eigenface
s for Recognition.Journal of Cognitive Neuroscienc
e,Vol.3,No.1,1991,71-86 ）。

【０００４】(2) 顔画像から切り出された正方領域をモ
ザイク化した後、顔画像をニューラルネットワークの一
手法であるＢＰ法により学習させ認識を行う方法（小杉
信（ＮＴＴヒューマンインタフェース研），ニューラ
ルネットワークを用いた顔画像識別の一検討，テレビジ
ョン学会技術報告，Vol.14,No50,1990.9,7-12)。

【０００５】(3) 色情報とＫＬ展開を利用した方法（佐
々木努（ＮＴＴヒューマンインタフェース研），赤松
茂，他２名，正面顔画像の自動識別法の検討，信技
法，IE91-50,1-8 ）。

【０００６】等が挙げられる。さらに、 (4) 多重ピラミッド（粗くモザイク化した画像から細か
くモザイク化した画像）を用いた方法（小杉信（ＮＴ
Ｔヒューマンインタフェース研），シーンの中の顔の探
索と認識，コンピュータビジョン76-7,1992.1.23,49-5
6）。

【０００７】(5),(6) 顔の角度の変化に対応できる方法
(Kohonen,T.,Lehtio,P.,Oja,E.,Kortekangas,A.,& Maki
sara,K.Demonstration of pattern processing propert
ies ofthe optimal associative mappings.Proceedings
of the International Conference on Cybernetics an
d Society,Washington,D.C.,Sept.19-21,1977,581-585.
(b)、J.Buhmann,J.Lange,& C.von der Malsburg,Distor
tion Invariant ObjectRecognition by Matching Hiera
rchically labeled Graphs.IJCNN 1989,Vol.1,Jun.198
9,155-159）。

【０００８】等が提案されている。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た(1) ，(2) および(3) の方法は、顔の回転、角度の変
化、背景の影響等の条件を予め意識して作成されたモデ
ルではなく、これらの条件には十分対応できるものでは
ない。また、上記(4) の方法においては、上記(1) ，
(2) および(3) の方法では対応できない、背景の影響を
考慮して作成されたものであるが、使用される顔画像は
正面を向いた像（以下正面像）のみであり、顔の回転や
角度の変化には対応できるものではなく、さらには背景
の影響に対しても十分対応できるものではなかった。さ
らに、上記(5) および(6) の方法については、顔の角度
の変化には対応できるものの、無背景であることが条件
であり、背景の影響に対しては対応できないものであっ
た。

【００１０】本発明は上記事情に鑑み、顔等の所定の画
像の回転、角度の変化、背景の影響にも十分対応できる
画像判別方法を提供することを目的とするものである。

【００１１】

【課題を解決するための手段】本発明による第１の画像
判別方法は、与えられた画像が所定の画像であるか否か
を判別する画像判別方法において、前記与えられた画像
において、該画像の角度の変化および／または回転によ
り変動されない基準点を抽出し、該基準点に基づいて、
前記与えられた画像の対称軸および／または特徴部分を
検出し、該対称軸および／または該特徴部分に基づいて
前記与えられた画像が所定画像であるか否かを判別する
ことを特徴とするものである。

【００１２】また、本発明による第２の画像判別方法
は、本発明による第１の画像判別方法において、前記対
称軸および／または前記特徴部分の検出を、前記与えら
れた画像を前記基準点に基づく座標空間に展開すること
により行うことを特徴とするものである。

【００１３】さらに、本発明による第３の画像判別方法
は、本発明による第２の画像判別方法において、前記座
標空間を、前記物体の基準点を極とした極座標空間とす
ることを特徴とするものである。

【００１４】また、本発明による第４の画像判別方法
は、本発明による第１、２または第３の画像判別方法に
おいて、前記所定画像を顔とすることを特徴とするもの
である。

【００１５】また、本発明による第５の画像判別方法
は、本発明による第４の画像判別方法において、前記与
えられた画像において、該画像の角度の変化および／ま
たは回転により変動されない基準点として、両目候補の
中心を抽出し、該抽出された両目候補の中心に基づい
て、該両目候補の中心を通る対称軸を検出し、該対称軸
に基づいて前記与えられた画像の特徴部分を検出し、前
記両目候補の中心、前記対称軸および／または前記特徴
部分の情報に基づいて、前記与えられた画像が顔画像で
あるか否かを判別することを特徴とするものである。

【００１６】なお、所定画像を顔画像とした場合の、本
発明による画像判別方法の具体的な態様は、請求項６か
ら１７に記載した通りのものであり、課題を解決するた
めの手段としてここにその内容を繰返すのは冗長となる
ので、ここでは省略する。

【００１７】

【作用】本発明による画像判別方法は、与えられた画像
において画像の角度の変化および／または回転により変
動されない基準点を抽出し、この基準点に基づいて与え
られた画像における対称軸および／または特徴部分を検
出することにより、この対称軸および／または特徴部分
に基づいて与えられた画像が所定画像であるか否かを検
出するようにしたため、与えられた画像の角度の変化、
回転にかかわりなく判別を行うことができる。

【００１８】また、与えられた画像の基準点に基づいて
対称軸および／または特徴部分を検出する際に、基準点
に基づいた座標空間に与えられた画像を展開することに
より、対称軸、特徴部分の検出をより容易に行うことが
できる。この座標空間としては物体の基準点を極とした
極座標空間が最も適切な座標空間のひとつである。

【００１９】さらに、本発明による画像判別方法は、所
定の画像が顔画像の場合、すなわち、顔画像を判別する
のに適したものである。

【００２０】顔画像を判別する際には、角度の変化およ
び／または回転に影響されない基準点として与えられた
画像に含まれる両目候補の中心を抽出し、両目候補の中
心を極とした極座標空間において対称軸および／または
特徴部分を検出することによってより良好な判別を行う
ことができる。

【００２１】なお、特徴部分としては、顔の輪郭候補、
口領域候補が含まれることが望ましい。

【００２２】また、特徴部分として前述した顔の輪郭候
補、口領域候補のみならず、例えば耳、鼻、髮の毛等他
の特徴部分に基づいて、与えられた画像が顔画像である
か否かの判別を行うようにしてもよいものである。

【００２３】さらに、所定の画像としては顔画像だけで
なく、交通標識等、様々な画像にも適用できる。これに
加え、対称性のない横顔のような画像に対しても、例え
ば、目を基準点として極座標変換を行い特徴部分を検出
するようにすれば、角度の変化や回転にかかわりなく良
好な判別を行うことができる。なお、本発明による画
像判別方法は、本願出願人により提案されている特願平
4-242458号あるいは同4-242459号に記載されている方法
により所定被写体候補を抽出し、所定被写体候補が顔で
あるか否かを判別するのに適している。

【００２４】さらに、本発明による画像判別方法におい
ては、例えば、特願平4-242463号に記載されているよう
な、所定の画像と考えられる画像を自然画像中から発
見、抽出し、画像サイズを正規化して与えることができ
るような手法と組み合わせることにより、画像のサイズ
の変化にも対応できることとなり、さらに角度の変化や
回転にも対応できる判別が行えることになる。

【００２５】

【実施例】以下図面を参照して本発明の実施例について
説明する。本実施例では所定の画像が顔である場合につ
いて説明する。

【００２６】図１は、本発明の実施例の基本的概念を表
す図である。図１に示すように、本発明による画像判別
方法は、与えられた画像１から両目候補の中心の探索２
を行い、次いでこの両目候補の中心を通る対称軸の探索
３を行う。この対称軸の探索３を行った後に、与えられ
た画像１から顔の輪郭候補の探索４を行い、これと並行
して与えられた画像１から口領域候補の探索５を行う。
その後、これらの探索により得られた情報に基づいて、
与えられた画像１が顔画像であるか否かの判別６を行う
ものである。

【００２７】次いで、上述した探索の詳細について説明
する。なお、この探索は視覚ニューラルネットワークと
顔の知識を利用して行うものとする。

【００２８】まず、与えられた画像１において目と考え
られる小塊成分の検出がなされる。図２は、与えられた
画像１から両目候補の中心の抽出を行うための第１ステ
ップを表す図である。まず、与えられた画像１から、複
数の方向性を有する目の形状と適合する成分を複数の方
向毎に抽出する。これは、図３に示すような目と考えら
れる小塊成分に反応しやすい、小塊成分検出マスク10
と、与えられた画像１とのコンボリューションおよび非
線形処理により得られる。以下、その詳細について説明
する。

【００２９】図３に示すような小塊成分検出マスク10
は、目の形の強度変化に反応し易いように、マスク10の
負の部分が目の形に合うように楕円形をなしており、こ
の楕円の長手方向が、図３の状態を０度としたときに、
30度，60度，90度，120 度，150 度の６方向を向いた６
つの小塊成分検出マスク10Ａ〜10Ｆを用いて、与えられ
た画像１をコンボリューションするものである。ここ
で、この小塊成分検出マスク10は、人間の脳の網膜神経
節細胞または外側膝状体の細胞に相当するものであり、
ＤＯＧ関数により作成されるものである。このＤＯＧ関
数は、以下の式で表される。

【００３０】

【数２】

【００３１】ここで、式(1) におけるθの初期値を０，
30，60，90，120 ，150 度の各値に設定することによ
り、楕円の長手方向が、０，30，60，90，120 ，150 度
傾いた小塊成分検出マスク10Ａ〜10Ｆを作成することが
できるものである（便宜上、各マスクをそれぞれ０度方
向のマスク，30度方向のマスク……150 度方向のマスク
と呼ぶ）。

【００３２】このような小塊成分検出マスク10Ａ〜10Ｆ
で与えられた画像１をコンボリューションおよび非線形
処理することにより、与えられた画像１からそれぞれの
小塊成分検出マスク10Ａ〜10Ｆに適合した成分11Ａ〜11
Ｆが検出される。

【００３３】なお、与えられた画像１において、目と考
えられる小塊成分は与えられた画像１の中心付近に存在
することが多く、また与えられた画像１の中心付近の情
報がより重視されるため、検出された成分11Ａ〜11Ｆの
中心付近の情報を強調するマスク12により成分11Ａ〜11
Ｆの中心付近の情報が強調され、中心付近が強調された
成分13Ａ〜13Ｆが得られる。ここで、中心を強調するマ
スク12としては、以下の式に示すような中心に向って単
調増加する関数が考えられる。

【００３４】

【数３】

【００３５】ここで、上述したようにして抽出された中
心付近が強調された成分13Ａ〜13Ｆは、目と考えられる
小塊成分のみならず、与えられた画像１の輪郭成分をも
含んでいるものであるため、この成分13Ａ〜13Ｆから輪
郭成分の除去が行われる。この輪郭成分の除去は、成分
11Ａ〜11Ｆから輪郭成分が抽出され、この輪郭成分を成
分13Ａ〜13Ｆから除去することによって行われる。な
お、ここでは簡単のため、成分13Ａからの輪郭の検出に
ついて説明する。

【００３６】図４は、本発明による画像判別方法の実施
例における輪郭成分の検出を説明するための図である。
まず、図２における中心を強調する前の成分11Ａから、
６方向の角度の輪郭の直線が各方向毎に抽出される。こ
れは、図５に示すような特定角度の直線検出マスク14と
成分11Ａとのコンボリューションおよび非線形処理によ
って得られる。以下、その詳細について説明する。

【００３７】図５に示すような特定角度の直線検出マス
ク14は、直線に反応し易いように、マスク14の正の部分
が、直線に適合するように細長楕円形状をなしており、
さらに、負の部分が正の部分の両側に分布するように選
択されている。このマスク14に十分な方位選択性を持た
せるにはこのような負の部分が不可欠である。そしてこ
の細長楕円の長手方向が、図５の状態を０度としたとき
に、30度，60度，90度，120 度，150 度の６方向を向い
た６つの特定の角度の直線検出マスク14Ａ〜１４Ｆを用
いて、成分１３Ａをコンボリューションするものであ
る。ここで、このマスクは、大脳視覚野の単純型細胞に
相当するものであり、ガボール関数により作成されるも
のである。このガボール関数は以下の式で表される。

【００３８】

【数４】

【００３９】ここで、式(3) における実数部分である

【００４０】

【数５】

【００４１】を用いて特定の角度の直線検出マスク14を
作成するものである。さらに、この式(4) における
ｋ_x，ｋ_yの初期値により、細長楕円の長手方向が０，
30，60，90,120 ，150 度傾いたマスク14Ａ〜14Ｆを作
成することができるのである。

【００４２】なお、特定の角度の直線検出マスク14Ａ〜
14Ｆの受容野サイズは、成分11Ａのうち、必要とされる
輪郭成分以外の細い輪郭成分には反応しにくいように定
められている。すなわち、マスク14Ａ〜14Ｆは成分11Ａ
のうち、目と考えられる小塊成分には反応し難く、か
つ、必要な輪郭成分には反応し易いのである。このよう
にマスク14Ａ〜14Ｆの受容野サイズを定めることによ
り、背景の存在にかかわらず良好に目と考えられる小塊
成分を検出できるのである。

【００４３】このような特定の角度の直線検出マスク14
Ａ〜14Ｆで成分11Ａをコンボリューションすることによ
り、成分11Ａから各マスク14Ａ〜14Ｆに適合した特定角
度の輪郭成分15Ａ〜15Ｆが抽出される。

【００４４】ここで、前述した小塊検出マスク10Ａ〜10
Ｆおよび特定の角度の直線検出マスク14Ａ〜14Ｆによ
る、与えられた画像１および成分11Ａ〜11Ｆのコンボリ
ューションおよび非線形処理は以下の式により行われて
いる。

【００４５】

【数６】

【００４６】次いで、各特定角度の輪郭成分15Ａ〜15Ｆ
の同じ位置の画素同志を競合させ、最も大きい値を有す
る画素のみを勝ち残らせる方向的競合を行う。例えば、
特定の角度の輪郭成分の左下角を原点としたｘ−ｙ座標
を考えたとき、画素(0，0)について考えると、各輪郭成
分15Ａ〜15Ｆの画素(0，0)のうち、最も大きい値を有す
る輪郭成分の画素が選択されるのである。この方向的競
合を各輪郭成分15Ａ〜15Ｆのすべての画素について行う
と、輪郭成分16が勝ち残ることとなる。

【００４７】しかしながら、各輪郭成分15Ａ〜15Ｆは６
つの方向毎に検出されているため、方向的競合により勝
ち残った輪郭成分16における輪郭は滑らかにつながって
いないものである。そこで、ボカしマスク17により輪郭
成分16をコンボリューションし、輪郭成分16をボカした
成分18を作成し、輪郭を滑らかにする。

【００４８】このようにして、輪郭成分をボカした成分
18を、各検出された成分11Ａ〜11Ｆ毎に行い成分18Ａ〜
18Ｆを作成する。次いで、作成された成分18Ａ〜18Ｆ
が、図６に示すようにそれぞれの成分と対応する成分13
Ａ〜13Ｆから減算されることにより、各成分13Ａ〜13Ｆ
より輪郭成分が除去されて、目の形に反応していると思
われる小塊成分19Ａ〜19Ｆが残る。なお、各成分13Ａ〜
13Ｆから各成分18Ａ〜18Ｆを減算する際には、対応する
各成分の最大値が等しい値となるように正規化されて減
算が行われる。

【００４９】次いで、以上のようにして検出された小塊
成分19Ａ〜19Ｆから、両目候補の中心であると思われる
場所、すなわち両目候補の中心候補を求める。図７は両
目候補の中心候補を求めるステップを表す図である。図
７に示すように、まず、小塊成分19Ａ〜19Ｆをペアマス
ク20Ａ〜20Ｆでコンボリューションする。このペアマス
ク20Ａ〜20Ｆは、図７の白丸の部分が正の値をなすもの
であり、２つ重ね合わせると、この正成分が人間の両目
の間隔と略等しい間隔で、かつ、前述した小塊成分検出
マスク10Ａ〜10Ｆの方向と同方向に並んでいる。

【００５０】このようなペアマスク20Ａ〜20Ｆで小塊成
分19Ａ〜19Ｆをコンボリューションし、このマスク毎の
コンボリューションの結果を乗算することにより、小塊
成分検出マスクと同方向に並んだ２つの小塊の中心と考
えられる位置が反応することとなり、図７に示すように
両目候補の中心候補21Ａ〜21Ｆが求められる。

【００５１】次いでこの両目候補の中心候補21Ａ〜21Ｆ
の中から最も大きく反応した両目候補の中心候補が求め
られ、これが両目候補の中心として抽出される。なお、
本実施例においては、両目候補の中心候補21Ａが両目の
中心22として求められる。

【００５２】以上のようにして、両目の中心を求めるこ
とにより、与えられた画像において顔画像が回転してい
る場合であっても両目候補の中心を求めることができ
る。なお、本実施例においては、両目候補の中心として
両眉と思われる部分の中心を求めてしまうような場合が
あるが、通常の人であれば目と眉は略同じ位置にあるた
め問題はない。

【００５３】次いで、この両目候補の中心に基づいて、
与えられた画像１における対称軸の探索が行われる。

【００５４】図８は対称軸を求めるステップを表す図で
ある。まず、両目候補の中心として選ばれた方向の小塊
成分19Ａ上において、両目の中心22を極とし小塊成分19
Ａを極座標変換する。

【００５５】ここで、小塊成分19Ａは、与えられた画像
１より０度方向の小塊成分検出マスク10Ａにより得られ
たものであるため、対称軸は、略180 度±30度の位置に
あることが予想される。そこで、極座標変換された小塊
成分19Ａ′の180 度付近に仮の対称軸25′を設定し対称
軸25′を±30度の範囲で１度ずつ移動させ、極座標上に
おいてその仮の対称軸25′に対して右側の領域26Ａと左
側の領域26Ｂの濃度値の相関が求められる。ここで、右
側の領域26Ａと左側の領域26Ｂのうち、小塊成分の存在
し得る領域は、ある範囲内に限られているため、小塊成
分が存在し得ない、何も反応しない領域（本実施例にお
いては、極座標変換された小塊成分19Ａ′の左右の端の
部分）は相関の演算に用いず、小塊成分の存在し得る領
域のみを相関の演算に用いるものである。この相関の演
算は、以下の式により行われる。

【００５６】

【数７】

【００５７】但しＡ：小塊成分の存在し得る領域Ｘ_ij：対称軸より右半分の画像の濃度値Ｙ_ij：対称軸より左半分の画像の濃度値このように、180 度±30度の範囲に仮の対称軸25′を設
定し、相関を計算すると図８に示すような計算結果27が
得られる。この計算結果27において、最も相関が大きか
った仮の対称軸25′が顔の対称軸25として求められる。
この求められた対称軸25は、180 度よりわずかに向かっ
て右に傾斜している。

【００５８】次いで、両目候補の中心22を極とし対称軸
25上の点を始点とする、与えられた画像１における輪郭
成分を検出し、この検出された輪郭成分と予めテンプレ
ートとして学習された複数の方向を向いた顔の輪郭とを
比較し、予めテンプレートとして学習された顔の輪郭の
中に相当するものがあるか否かが検出される。

【００５９】ここでは、まずテンプレートとして用いら
れる顔の輪郭の学習について説明する。

【００６０】図９は、顔の輪郭の学習の概略を表す図で
ある。図９に示すように、まず、両目の中心と目からの
距離により正規化された複数人の顔の輪郭データ31を求
める。この輪郭データ31は、両目を中心として10度刻み
に36個の点（輪郭座標41と呼ぶことにする）の集合とし
て得られる。次いで、この複数人の顔の輪郭データ31の
平均輪郭データ32の算出が行われる。この際、各輪郭デ
ータ31の各角度における分散35も算出しておく。

【００６１】次いで、この平均輪郭データ32を両目の中
心を極として極座標変換する。この際、複数方向を向い
た顔の輪郭線の作成35を行う。すなわち、極を平均輪郭
データ32の上下左右にずらして極座標変換することによ
り上向き、下向き、右向き、左向きの顔の平均輪郭デー
タが得られる。このように、両目の中心をずらして極座
標変換することにより、図10に示すように正面データ3
6、上向きデータ37、下向きデータ38、左向きデータ39
および右向きデータ40を得る。

【００６２】次いで、これら５つのデータ36〜40を入力
としてニューラルネットワークの空間的補間を取り入れ
た自己組織化学習34を行う。なお、空間的補間を用いた
自己組織化学習の詳細については特願平4-347237号明細
書に記載されているためここでは省略する。

【００６３】以下、本発明の実施例における自己組織化
学習について説明する。本発明の実施例における空間的
補間を用いた自己組織化学習は図11に示す64個のニュー
ラルネットワークの各細胞（本実施例では四角形に分布
している）に、図10に示す基本パターンである正面顔デ
ータ36、上向き顔データ37、下向き顔データ38、左向き
顔データ39および右向き顔データ40をこの順番で入力し
て行う。これらの顔データをそれぞれ１回ずつ入力した
段階を１回の学習とし、この学習を多数の細胞の学習が
終了するまで繰返し行った。

【００６４】このようにして、空間的補間を用いた自己
組織化学習結果を図12に示す。なお、図12(a) は、前述
した正面顔データ36、上向き顔データ37、下向き顔デー
タ38、左向き顔データ39および右向き顔データ40を学習
させたものであり、図12(b)はこれらのデータを180 °
回転させたデータを学習させたものである。図12(a)お
よび図12(b) において、正面顔データ36は細胞(3，4)
に、上向き顔データ37は細胞(4，1)に、下向き顔データ
38は細胞(2，7)に、左向き顔データ39は細胞(0，3)に、
そして右向き顔データ40は細胞(7，4)に学習されてお
り、他の細胞にはこれら５つのパターンの中間のパター
ンが学習されている。

【００６５】次いで、この自己組織化学習の結果を用い
て、前述した与えられた画像１の輪郭成分が、この自己
組織化学習結果に含まれているか否かを検出する。

【００６６】まず、図13に示すように、輪郭成分を前述
した図４に示す輪郭成分16の両目候補の中心22を極と
し、前述した対称軸25上の点を始点として極座標変換
し、極座標変換された輪郭成分16′を得る。そして、こ
の輪郭成分16′と図12に示す自己組織化学習結果との比
較を行う。この比較の方法は、輪郭成分16′において、
前述した自己組織化学習により各細胞(0，0)〜(7，7)が
学習した輪郭座標位置における画素の濃度値の総和を計
算し、この総和が最も大きかった細胞を与えられた画像
１の輪郭であるとするものである。

【００６７】この際、輪郭成分16′は上下にずれている
場合があるため、各細胞の全ての輪郭座標41を矢印Ａに
示すように上下方向に平行移動させて、濃度値の総和が
最も大きな位置を選択する。

【００６８】また、例えば人の顔の顎のように人によっ
てバラつきがある部分に対応させるため、上述した、各
細胞全ての輪郭座標41の上下方向への平行移動と合わせ
て、各々の輪郭座標41を、前述した分散の値だけ図14の
矢印Ｂの方向に移動させ、その移動する範囲において最
大の濃度値を総和を求める際に使用するようにしてもよ
い。これにより、輪郭座標41の分散が大きい顔の髪の部
分にも柔軟に対応できるようになる。

【００６９】以上より、この輪郭成分の検出は、以下の
式で表すことができる。

【００７０】

【数８】

【００７１】次いで、口領域候補の検出方法について説
明する。

【００７２】図15は与えられた画像１から口領域候補を
検出するステップを表す図である。図15に示すように、
まず与えられた画像１を、両目候補の中心22を極とし、
対称軸25上の点を始点として極座標変換し、極座標変換
された画像50を得る。次いで画像50をＹＩＱ基底に変換
する。ここでＹＩＱ基底とは、Ｒ（赤）、Ｇ（緑）、Ｂ
（青）カラー画像に対し、

【００７３】

【数９】

【００７４】なる変換を行った結果がＹＩＱ基底となる
ものであり、テレビの色信号と輝度信号とを分けるよう
な場合に用いられているものである。

【００７５】ここで、このＹＩＱ基底において、Ｑ成分
画像中では顔の唇部分が最も明るく反応することが知ら
れている（小林，中村，森島，原島，“顔画像からの唇
の特徴点抽出法”，信学全大春，D-329,Mar.1990.)。す
なわち、ＹＩＱ基底のＱ成分は、色空間の中で赤みのあ
るような紫色の部分に最も反応し易く、緑の部分に反応
し難いものである。したがって、ＹＩＱ基底のＱ成分は
顔の中で唇の部分に最も明るく反応するのである。この
ように、画像50をＹＩＱ基底に変換し、Ｑ成分画像51を
得る。

【００７６】なお、ここでは、与えられた画像１を極座
標変換した後にＹＩＱ基底に変換してＱ成分画像51を得
ているが、与えられた画像１をＹＩＱ基底に変換した後
に、極座標変換するようにしてもＱ成分画像51を得るこ
とができる。

【００７７】次いで、Ｑ成分画像51から最も口の形状に
適合している部分が検出される。これは、図15に示すよ
うな口の形状に反応しやすいマスク52により、Ｑ成分画
像51をコンボリューションすることによって得られる。

【００７８】このマスク52は、図16に示すように口の形
の強度変化に反応し易いように、正の部分が口の形に合
うように楕円形をなしている。ここで、このマスク52は
図３に示した、目と考えられる小塊成分検出マスク10と
同様に人間の脳の網膜神経節細胞または外側膝状体の細
胞に相当するものであり、ＤＯＧ関数により作成される
ものである。このマスク52のＤＯＧ関数は以下の式で表
される。

【００７９】

【数１０】

【００８０】なお、マスク52の場合、Ｑ成分画像51は極
座標変換されているため、図２に示す小塊成分検出マス
ク10のように複数の方向性を持つマスクを用いる必要は
ない。なお、与えられた画像１の極座標変換を行わず、
ＹＩＱ基底への変換のみを行った場合は、小塊成分検出
マスク10と同様に複数の方向を向いたマスク52を用いて
ＹＩＱ基底に変換された、与えられた画像１をコンボリ
ューションする必要がある。

【００８１】また、マスク52でＱ成分画像51をコンボリ
ューションする際には、画像全体をコンボリューション
するのではなく、唇の存在しそうな範囲すなわち、極座
標上において角度が略180 度となる範囲のみコンボリュ
ーションするようにすれば、効率的な口領域検出が行え
る。

【００８２】このように、Ｑ成分画像51をマスク52でコ
ンボリューションすることによりコンボリューション結
果53が得られる。この結果53の中で最も大きく反応した
部分、すなわち、本実施例においては部分54が口領域候
補として検出される。

【００８３】以上示した両目候補の中心探索、対称軸の
探索、顔の輪郭候補の探索および口領域候補の探索によ
り得られた情報に基づき、与えられた画像１が顔画像で
あるか否かの判別がなされる。以下、この判別について
説明する。

【００８４】上述した探索により得られる情報はそれぞ
れ、両目候補の中心の反応値ｙ₁、対称軸の相関値
ｙ₂、輪郭座標位置の輪郭成分の濃度値の総和ｙ₃、そ
して口領域候補の反応値ｙ₄として得られるものであ
る。そこで、図17に示すようにこれらの値ｙ₁，ｙ₂，
ｙ₃，ｙ₄の重要度に応じて、結合重みｗ₁，ｗ₂，ｗ
₃，ｗ₄を決定し、これらの反応値ｙ₁，ｙ₂，ｙ₃，
ｙ₄の重み付き総和を算出し、この算出結果をしきい値
処理して、顔画像候補１が顔画像であるか否かの判別を
行うものである。すなわち、

【００８５】

【数１１】

【００８６】但しｔｈ（しきい値）式(11)により得られたｕの値がｕ＞０であれば与えられ
た画像１は顔画像であると判別し、ｕ≦０であれば与え
られた画像１は顔画像でないと判別するのである。

【００８７】また、顔の対称軸の探索は両目の中心の探
索に、顔の輪郭、口領域の探索は両目の中心、顔の対称
軸の探索に依存するので、結合重みｗ₂はｗ₁の関数、
ｗ₃，ｗ₄はｗ₁，ｗ₂の関数として設定してもよい。

【００８８】このようにして、顔画像であると判別され
た画像は、その後の画像処理等に用いられることとな
り、顔画像でないと判別された画像は、例えば、顔と考
えられる画像の発見、抽出処理と組み合わされている時
には再度抽出されることがないようにマスキング処理等
が施される。

【００８９】なお、上述した実施例においては、与えら
れた画像が顔画像であるか否かを判別する際に、簡単な
重み付け総和によるしきい値処理を行っているが、これ
に限定されるものではなく、それぞれの反応値をニュー
ラルネットワークの細胞に入力し、各反応値に対応する
細胞の持つ振動子の位相、振幅を変化させ、それらの振
動子の干渉により、あるしきい値以上の反応が得られた
場合に顔画像と判定するようにしてもよい。

【００９０】また、上記実施例においては、両目候補の
中心の探索、対称軸の探索、輪郭候補の探索および口領
域候補の探索により得られた情報に基づいて与えられた
画像が顔画像であるか否かの判別を行っているが、これ
に限定されるものではなく、他の顔の特徴である鼻や耳
あるいは髮の毛等を探索し、この探索により得られた結
果の情報に基づいて与えられた画像が顔画像であるか否
かの判別を行うようにしてもよい。

【００９１】さらに、上記実施例の両目候補の中心の探
索および口領域候補の探索については、ＤＯＧ関数によ
って作成されたマスクにより与えられた画像をコンボリ
ューションしてこれらの候補を検出するようにしている
が、マスクはＤＯＧ関数で作成されたものに限らず、両
目または口の形状に合うように作成されるものであれ
ば、いかなるものを用いてもよい。

【００９２】また、上記実施例においては、顔の輪郭検
出の際に使用する、予めテンプレートとして学習された
パターンとして空間的補間による自己組織化学習結果を
用いているが、これに限定されるものではなく、上下左
右正面顔の輪郭データの中間のパターンをマニュアルで
作成し、これをニューラルネットワークの各細胞に直接
割り当てるようにしてもよく、他の手法で作成したテン
プレートを用いてもよい。

【００９３】また、上下左右を向いた顔の輪郭を両目候
補の中心点を上下左右に移動して作成しているが、上下
左右を向いた各顔の標本より平均輪郭データを求め、こ
れを用いて自己組織化学習させるようにしてもよい。

【００９４】さらに、上記実施例においては所定の画像
として顔画像を選んだが、顔画像に限定されるものでは
なく、交通標識等、様々な対象にも適用できる。

【００９５】また、対称性のない横顔画像のようなもの
に対しても、例えば、目を基準点として極座標変換を行
い特徴部分を検出するようにすれば、角度の変化や回転
にかかわりなく良好な判別を行うことができる。

【００９６】なお、本画像判別方法においては、例え
ば、特願平4-242463に記載されているような、所定の画
像を自然画像中から発見、抽出し、画像サイズを正規化
して与えることができるような手法と組み合わせること
により、画像のサイズの変化にも対応できることとな
り、さらに角度の変化や回転にも対応できる判別が行え
ることとなる。

【００９７】

【発明の効果】以上、詳細に説明したように、本発明に
よる画像判別方法は、与えられた画像の回転、角度の変
化に十分対応でき、背景が複雑であってもその影響を除
去することができるため、与えられた画像が所定の画像
であるか否かの判別を良好かつ高精度に行うことができ
る。

【図面の簡単な説明】

【図１】本発明による画像判別方法の実施例の基本的概
念を表す図

【図２】与えられた画像から目の形状と適合する小塊成
分の検出を行うためのステップを表す図

【図３】目の形状と適合する小塊成分を検出するマスク
を表す図

【図４】与えられた画像から輪郭成分の検出を行うため
のステップを表す図

【図５】特定の角度の輪郭成分の検出を行うためのマス
クを表す図

【図６】各方向における目の形状と適合する小塊成分か
ら輪郭成分を除去する状態を表す図

【図７】両目の中心を求めるステップを表す図

【図８】与えられた画像１において対称軸を求めるステ
ップを表す図

【図９】顔の輪郭データの自己組織化学習の基本的概念
を表す図

【図１０】上下左右正面の顔の輪郭データを極座標変換
した状態を表す図

【図１１】自己組織化学習を行うニューラルネットワー
クの細胞を表す図

【図１２】自己組織化学習結果を表す図

【図１３】与えられた画像の輪郭成分を極座標変換した
状態を表す図

【図１４】輪郭座標を上下させて顔の輪郭成分を検出す
る状態を表す図

【図１５】与えられた画像から口領域を検出するステッ
プを表す図

【図１６】口の形状に適合する小塊成分を検出するマス
クを表す図

【図１７】与えられた画像が顔画像であるか否かを判別
する統合処理を表す図

【符号の説明】

１与えられた画像 10 目と考えられる小塊成分検出マスク（小塊成分検
出マスク） 14 特定の角度の輪郭成分検出マスク 16′，18 輪郭成分 19Ａ〜19Ｆ小塊成分 20Ａ〜20Ｆ両目候補の中心候補検出マスク（ペアマ
スク） 21Ａ〜21Ｆ両目候補の中心候補 22 両目候補の中心 25 対称軸 41 輪郭座標 52 口と考えられる小塊成分検出マスク

Claims

【特許請求の範囲】

【請求項１】与えられた画像が所定の画像であるか否
かを判別する画像判別方法において、前記与えられた画像において、該画像の角度の変化およ
び／または回転により変動されない基準点を抽出し、該基準点に基づいて前記与えられた画像の対称軸および
／または特徴部分を検出し、該対称軸および／または該特徴部分に基づいて前記与え
られた画像が所定画像であるか否かを判別することを特
徴とする画像判別方法。
【請求項２】前記対称軸および／または前記特徴部分
の検出を、前記与えられた画像を前記基準点に基づく座
標空間に展開することにより行うことを特徴とする請求
項１記載の画像判別方法。
【請求項３】前記座標空間を、前記基準点を極とした
極座標空間とすることを特徴とする請求項２記載の画像
判別方法。
【請求項４】前記所定の画像を顔画像とし、前記与え
られた画像が顔画像であるか否かを判別することを特徴
とする請求項１、２または３記載の画像判別方法。
【請求項５】請求項４記載の画像判別方法において、前記与えられた画像において、該画像の角度の変化およ
び／または回転により変動されない基準点として、両目
候補の中心を抽出し、該抽出された両目候補の中心に基づいて、該両目候補の
中心を通る対称軸を検出し、該対称軸に基づいて前記与えられた画像の特徴部分を検
出し、前記両目候補の中心、前記対称軸および／または前記特
徴部分の情報に基づいて、前記与えられた画像が顔画像
であるか否かを判別することを特徴とする画像判別方
法。
【請求項６】前記両目候補の中心の抽出を、前記与えられた画像から目の形状と適合しやすい成分を
検出し、該目の形状と適合しやすい成分のうち、前記与えられた
画像のの中心付近にある成分を強調し、前記与えられた画像から複数の方向に傾斜した輪郭の直
線成分を検出し、該検出された直線成分を合成して、前記与えられた画像
の輪郭成分を検出し、前記中心付近が強調された成分から該検出された輪郭成
分を除去し、該輪郭成分が除去された成分から、所定の方向に２つ並
んだ成分の中心を抽出することにより行うことを特徴と
する請求項５記載の画像判別方法。
【請求項７】前記目の形状と適合しやすい成分の検出
を、前記与えられた画像とＤＯＧ関数に基づいて算出さ
れた目検出マスクとのコンボリューションにより行い、前記複数の方向に傾斜した輪郭の直線成分の検出を、前
記与えられた画像とガボール関数に基づいて算出された
直線成分検出マスクとのコンボリューションにより行う
ことを特徴とする請求項６記載の画像判別方法。
【請求項８】前記輪郭の直線成分検出マスクの受容野
サイズを、前記輪郭の直線成分に反応しやすく、前記目
の形状と適合しやすい成分に反応し難く設定することを
特徴とする請求項７記載の画像判別方法。
【請求項９】前記対称軸の検出を、前記与えられた画像を前記両目候補の中心点を極として
極座標変換し、該極座標変換された前記与えられた画像に仮の対称軸を
設定し、該設定された仮の対称軸を前記極座標変換された前記与
えられた画像において所定範囲の角度移動させ、該移動
される仮の対称軸を中心として前記与えられた画像の左
右の相関を算出し、該算出された相関が最も大きい仮の対称軸を前記対称軸
とすることにより行うことを特徴とする請求項５記載の
画像判別方法。
【請求項１０】前記与えられた画像の特徴部分に、顔
の輪郭候補および／または口領域候補を含むことを特徴
とする請求項５から９のいずれか１項記載の画像判別方
法。
【請求項１１】前記顔の輪郭候補の検出を、前記与えられた画像から前記対称軸を基準として該画像
に含まれる輪郭成分を検出し、該検出された輪郭成分と予めテンプレートとして学習さ
れた複数の方向を向いた顔の輪郭とを比較し、該テンプレートとして学習された顔の輪郭の中に前記検
出された輪郭成分に相当するものがあるか否かを検出す
ることにより行うことを特徴とする請求項１０記載の画
像判別方法。
【請求項１２】前記顔の輪郭の学習を、ニューラルネットワークの多数の細胞に、上、下、左、
右および正面の５つの方向を向いた顔の輪郭データを入
力し、該入力した輪郭データを最適マッチングしている細胞に
学習させるとともに、該細胞に隣接する所定範囲の隣接
領域内に存在する隣接細胞について、前記入力した輪郭
データと、前記多数の細胞のうち前記入力した輪郭デー
タと最適マッチングしている細胞以外の細胞に学習され
ている前記入力した輪郭データ以外の輪郭データとの間
で空間的補間を行い、多数の方向を向いた輪郭データを
自己組織化学習させることにより行うことを特徴とする
請求項１１記載の画像判別方法。
【請求項１３】前記顔の輪郭データを、複数の顔の輪
郭データを平均することにより求めることを特徴とする
請求項１２記載の画像判別方法。
【請求項１４】前記自己組織化学習を、前記顔の輪郭データの両目の中心を極として極座標変換
して作成された、正面を向いた顔の輪郭データと、該極を上下左右に移動させて極座標変換することにより
作成された、上下左右を向いた顔の輪郭データを前記ニ
ューラルネットワークに入力することにより行い、前記予めテンプレートとして学習された顔の輪郭に、前
記与えられた画像の輪郭成分に相当するものが含まれる
か否かの検出を、前記与えられた画像の輪郭成分を前記
対称軸を基準として、前記両目候補の中心点を極として
極座標変換し、前記自己組織化学習された結果に該極座標変換された前
記与えられた画像の輪郭成分が含まれているか否かを検
出することにより行うことを特徴とする請求項１２また
は１３記載の画像判別方法。
【請求項１５】前記口領域候補の検出を、前記与えられた画像をＹＩＱ基底に変換し、該ＹＩＱ基底に変換された画像のうちのＱ成分画像にお
いて最も口の形状に適合しやすい成分を、前記対称軸お
よび／または前記与えられた画像の輪郭成分を基準とす
る所定範囲内において検出することにより行うことを特
徴とする請求項１０記載の画像判別方法。
【請求項１６】前記口領域候補の検出を、前記両目の中心を極として極座標変換した前記Ｑ成分画
像とＤＯＧ関数に基づいて算出された口領域検出マスク
とのコンボリューションにより行うことを特徴とする請
求項１５記載の画像判別方法。
【請求項１７】前記与えられた画像が顔画像であるか
否かの判別を、前記両目候補の中心の反応値、前記対称
軸の相関および前記特徴部分に関するデータ値をｙ
_i（ｉ＝１〜ｎ，ｎは情報の数，以下同様）、該各デー
タ値の重要度に応じた重みをｗ_i（ｉ＝１〜ｎ）とし、【数１】但し、ｔｈ：しきい値なる演算を行い、ｕ＞０ならば顔画像であり、ｕ≦０な
らば顔画像でないと判断することにより行うことを特徴
とする請求項４から１６のいずれか１項記載の顔画像判
別方法。