JPH06348851A

JPH06348851A - 対象物位置検出方法

Info

Publication number: JPH06348851A
Application number: JP5268347A
Authority: JP
Inventors: Makoto Inoue; 真井上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-04-12
Filing date: 1993-09-30
Publication date: 1994-12-22

Abstract

(57)【要約】【目的】本発明は簡単な処理により、短時間で画像情報
より対象物の位置を検出することができる対象物位置検
出方法を実現する。【構成】入力画像のＮ個の特徴点（対象特徴点）を抽出
し、比較マツプを作成する。対象物の基準画像のＭ個の
特徴点（基準特徴点）を抽出し、標準マツプを作成す
る。対象特徴点と基準特徴点との特徴量を比較して両者
を対応させる。標準マツプの中心点Ｃ（予め設定されて
いる）が対応する比較マツプ上の点Ｐを演算する。この
点Ｐに Gauss関数を適用して、点Ｐを中心とする確率分
布を定義する。Ｎ個の基準特徴点に対応してＮ個の確率
分布マツプを求め、これを合成する。合成した確率分布
マツプから確率の最大値を求め、これを中心点Ｃが対応
する比較マツプ上の点とする。

Description

【発明の詳細な説明】

【０００１】

【目次】

以下の順序で本発明を説明する。産業上の利用分野従来の技術発明が解決しようとする課題課題を解決するための手段（図６）作用（図６）実施例（１）第１の実施例（図１〜図１２）（２）第２の実施例（図１３）（３）第３の実施例（図１４）（４）第４の実施例（図１５）（５）他の実施例（図１６）発明の効果

【０００２】

【産業上の利用分野】本発明は対象物位置検出方法に関
し、例えば複数の物体像を含む画像情報を予め記憶した
所定の基準画像情報と比較することにより、画像情報内
の複数の物体像より所望の対象物像の位置を検出する場
合に適用して好適なものである。

【０００３】

【従来の技術】近年、情報処理技術、特に画像処理技術
の進歩に伴い、画像を処理し、その中の物体を認識する
装置が種々開発されており、これらの装置においては様
々な応用が考えられている。例えば、（１）入り口に設
置したカメラで来訪者の顔を撮影し、予め登録されてい
る入室を許された人物の画像と比較して、入室の許可／
不許可を自動的に判定するセキユリテイシステム、
（２）組立の終わつた機械のなかの、特定の形の部品
（例えばある大きさの歯車）を見付けだし、それが正し
く取り付けられているかを調べる自動検査システム、
（３）コピー面上に置かれた印刷物の中に紙幣がないか
否かを調べて、もし紙幣が置かれていたらコピーを停止
して、偽造を防止するコピーマシン等に応用することが
考えられる。

【０００４】これらの装置における物体認識において
は、対象を詳細に判定（登録されている人物か否かなど
を判定）するに前に、画像全体の中から興味のある対象
（人物の顔など）を、画面に一緒に写つている他の様々
な物体から区別して探し出さなければならない。このた
め、探し出したい対象の画像を基準画像として予め与
え、この基準画像と入力画像とを比較して入力画像の中
から探索対象を見付けだす処理を行なう。

【０００５】このとき、探索対象を見付け出すには、画
像全体の情報を使う方法があるが、予め画像の特徴を良
く表している点（特徴点）を抜き出しておき、この特徴
点の処理だけを行つて探索対象を見付け出す方法がよく
用いられる。

【０００６】ここで、探索対象を見付け出す手法は、変
形に対して対応できなければならない。これは、基準画
像は探索対象の標準的な形状であり、通常、実際の入力
画像中にある対象は少し形が異なつているからである。
例えば、上述の例（１）では、人間の顔は人により少し
ずつ違い、また同一人物でも表情が異なるときがある。

【０００７】上述した特徴点処理により探索対象を見付
け出す方法として、基準画像の特徴点と入力画像の特徴
点とのマツチングによつて探索対象の位置を見付け出す
方法が知られている。以下にこの手法の手順を示す。

【０００８】予め用意した基準画像から特徴点（基準特
徴点）を抽出し、基準特徴点の分布図（標準マツプ）を
作成して記録しておく（ステツプ（１））。

【０００９】探索対象となる入力画像に対してステツプ
（１）と同様な処理を行い、入力画像の特徴点（比較特
徴点）の分布図（比較マツプ）を作成する（ステツプ
（２））。

【００１０】標準マツプを比較マツプ上に重ね、標準マ
ツプの各基準特徴点の近くに比較マツプの比較特徴点が
存在するか否かを判断し、比較特徴点が存在する場合、
これらの点の特徴量がどの程度似ているかを調べる（ス
テツプ（３））。

【００１１】ステツプ（３）で得られた情報から何らか
の評価関数を計算する（ステツプ（４））。この評価関
数は、標準マツプの基準特徴点の位置と特徴量とが、比
較マツプの比較特徴点の位置と特徴量とどの程度一致し
ているかを示す指標である。

【００１２】標準マツプを比較マツプ上で少しづつ移動
させながら、ステツプ（３）及びステツプ（４）を繰り
返す（すなわち、比較マツプ上を標準マツプで走査す
る）（ステツプ（５））。

【００１３】比較マツプ全体の走査が終了したら、評価
関数値が最も大きい位置（評価関数の定義によつては、
逆に最も小さい位置）がどこであるかを調べる。この位
置が、探索対象が入力画像中に存在する位置となる。

【００１４】

【発明が解決しようとする課題】ところが上述の方法に
おいては、標準マツプを移動させるごとにステツプ
（３）及びステツプ（４）の操作を繰り返さなければな
らないので、計算量が多くなるという問題がある。すな
わち、例えば、標準マツプの基準特徴点の数をＮ個、比
較マツプの比較特徴点の数をＭ個とすると、ステツプ
（３）及びステツプ（４）を１回行うごとにＮ×Ｍ回の
計算が必要であり、比較マツプ全体の走査が終了するま
でこの計算を繰り返さなければならないので、処理に時
間がかかるという問題がある。

【００１５】また上述の方法においては、入力画像中の
探索対象の大きさが基準画像の大きさと異なつている場
合には入力画像中に探索対象が存在しても探索対象の位
置を正しく検出することができないという問題がある。

【００１６】さらに上述の方法においては、入力画像中
の探索対象の大きさが基準画像の大きさと同じである場
合でも、探索対象の位置とは異なる点を、探索対象が存
在する位置として誤つて検出してしまう可能性が比較的
高いという問題がある。

【００１７】本発明は以上の点を考慮してなされたもの
で、簡単な処理により短時間で正確に探索対象の位置を
検出することができる対象物位置検出方法を提案しよう
とするものである。

【００１８】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、複数の物体像を含む画像情報より
抽出した複数の比較特徴点を、予め記憶した所定の基準
画像情報より抽出した複数の基準特徴点と比較すること
により、画像情報内の所定の対象物像の位置を検出する
対象物位置検出方法において、複数の物体像を含む画像
情報中に基準画像情報の基準点が存在する確率を、複数
の比較特徴点と複数の基準特徴点とのマツチングにより
演算するようにする。

【００１９】

【作用】上述の構成の対象物位置検出方法においては、
複数の物体像を含む画像情報中に、基準画像情報の基準
点が存在する確率を、複数の比較特徴点と複数の基準特
徴点とのマツチングにより算出するので、簡単な処理に
より、短時間で、画像情報より対象物の位置を検出する
ことができる。

【００２０】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２１】（１）第１の実施例図１から図１２は本発明の一実施例に係わり、図１は本
発明の対象物位置検出方法の一実施例を行う画像処理装
置の構成を示す構成図、図２は図１の特徴点抽出部で用
いられる Gaborフイルタの特性を説明する説明図、図３
は図１の画像入力手段としてのビデオカメラにより入力
される入力画像を示す略線図、図４は図３の入力画像に
対し、検索基準となる基準画像上に標準マツプを重ねた
状態を説明する説明図、図５は図３の入力画像上に比較
マツプを重ねた状態を説明する説明図、図６は図１の比
較検出部で処理される対象物位置検出方法の処理を示す
フローチヤート、図７は図６における標準マツプと比較
マツプとの比較を説明する説明図、図８は図６における
確率分布の合成を説明する説明図、図９は図６の処理に
より得られる単一確率マツプの図、図１０は図６で単一
マツプを合成して得られる総合確率マツプを説明する説
明図、図１１は図１０で得られた総合確率マツプの図、
図１２は図１１の総合確率マツプを重ねた入力画像の
図、図１３は本発明の第２実施例のプロセスを示すブロ
ツク図、図１４は本発明の第３実施例のプロセスを示す
ブロツク図、図１５は本発明の第４実施例のプロセスを
示すブロツク図、図１６は複数の基準画像から標準マツ
プを作成するためのプロセスを示すブロツク図である。

【００２２】図１において、１は全体として画像処理装
置を示し、入力画像における探索対象の位置を検出す
る。画像処理装置１は図示しない対象物を含む画像を入
力する画像入力手段としてのビデオカメラ２と、ビデオ
カメラ２の出力条件に応じて画像出力を取り込むインタ
ーフエイス部３と、インターフエース部３に取り込まれ
た画像から後述する特徴点抽出法によつて比較特徴点を
抽出して、入力画像特徴点マツプ（以下、比較マツプ）
を作成する特徴点抽出部４と、後述する特徴点抽出法に
よつて予め基準画像から抽出した基準画像の特徴点（以
下、基準特徴点）を標準特徴点マツプ（以下、標準マツ
プ）として記憶している標準マツプ記憶部５と、特徴点
抽出部４によつて抽出した比較特徴点と標準マツプ記憶
部５に記憶されている標準マツプとしての基準特徴点と
を比較することにより入力画像中における探索対象の位
置を検出する比較検出部６とから構成されている。

【００２３】ビデオカメラ２は図示しない対象物を含む
画像を入力し、インタフエース部３にこの画像を送出す
る。インターフエース部３は、本発明の実施例の対象物
位置検出法が処理する画像は静止画であるので、入力画
像が動画である場合は動画の１フレームの画像を静止画
として取り込む。また、インターフエース部３は取り込
んだ画像をデジタル信号に変換し、特徴点抽出部４に出
力するようになされている。

【００２４】特徴点抽出部４は入力画像にフイルタリン
グなどの処理を施し、特徴点（比較特徴点）を抽出し
て、この比較特徴点の情報だけを比較検出部６に出力す
る。ここで、特徴点とは、画像の中で、物体を特徴付け
る情報が集中し、認識の手がかりになると考えられる点
のことを言う（本発明の実施例の場合は、特に線の方向
の情報である）。この特徴点抽出法は、例えば、以下の
手順で行われる。

【００２５】最初に、特徴点を抽出すべき画像全体にフ
イルタをかけ、必要な情報を取り出す処理を行う（ステ
ツプ（１））。ここで、どのようなフイルタを使うかに
よつて抽出される情報の種類が決まる。例えば、エツジ
検出フイルタを使えば、画像中のエツジ（物体の輪郭
等）の位置及びその強さの情報が得られる。本発明の実
施例においては、次式（１）でkernelが定義される Gab
orフイルタを用いる。

【００２６】

【数１】

【００２７】ここで、ｘ、ｙは特徴点の座標、ａはkern
elの広がりを表す定数、すわなちスケールパラメータ、
ｉは虚数単位、ｆは空間周波数である。

【００２８】このGabor フイルタは、ある方向θとある
周波数ｆとをもつた白黒のストライプ画像に最も強く反
応するフイルタである。例えば、画像の明るさが明、暗
と急に変化している点（輪郭など）や明、暗、明と変化
している点（例えば人間の顔では、眉のところを縦に移
動しながら見ると、肌色（明）、眉の黒（暗）、肌色
（明）のパターンがある）等に対して、この Gaborフイ
ルタは大きな出力を出す。本発明の実施例では、周波数
ｆは一定、方向θは４通り（θ＝０、45°、90°、135
°）に設定し、図２（Ａ）の原画像をこれら４つのフイ
ルタにかけた。この結果を図２（Ｂ）〜図２（Ｅ）に示
し、図の斜線部分がそれぞれのフイルタで検出された特
徴である。

【００２９】Gaborフイルタの出力は複素数であるが、
ここでは、位相角は無視して、絶対値だけを考慮する。

【００３０】次に、ステツプ（１）で取り出された情報
から特異点を捜す（ステツプ（２））。ここで特異点と
は、ステツプ（１）で用いたフイルタの出力が特定の値
（例えば「０」）になつている点、極大点又は極小点等
である。本発明の実施例では、４通りの方向の異なるフ
イルタの出力の合成（加算）画像の極大点を特異点とし
ている。

【００３１】ステツプ（２）で捜し出した特異点を特徴
点と考え、この特徴点の座標と特徴量とを求める（ステ
ツプ（３））。ここで、特徴量とは、ステツプ（１）で
取り出された情報（すなわちフイルタの出力そのもの）
又はこれを加工したもの（フイルタ出力の比をとつた
り、差を求めたりしたもの）である。本発明の実施例
は、４通りの方向の異なるフイルタの各出力の加算値に
対する比を特徴量としている。

【００３２】標準マツプ記憶部５には、このような特徴
点抽出法によつて予め基準画像から抽出した特徴点（基
準特徴点）を標準マツプとして記憶しておく。ここで、
標準マツプとは、基準画像の各基準特徴点の位置（ｘ、
ｙ座標）とその点での特徴量とを組み合わせたリストで
ある。

【００３３】比較検出部６は、特徴点抽出部４から出力
された入力画像の比較マツプと標準マツプ記憶部５に記
録された基準画像の標準マツプとを比較して、探索対象
の位置を探すようになされている。

【００３４】ここでは、従来例で述べた例（１）にそつ
て、入力画像の中から人物の顔の位置を検出する場合に
ついて説明する。処理の対象となる入力画像は、例えば
図３のようなものである。この例においては、１名の人
物が正面を向いて写つており、周囲にはオフイスの様々
な備品が一緒に写つている。この入力画像の中から、他
の物体と区別して顔を見付けだす。

【００３５】ここで、基準画像は、探索対象（本発明の
実施例においては人の顔）の標準的な形状とする。例え
ば人物の真顔は基準画像としては適当であるが、大きく
笑つている顔などは適当ではない。従来例で述べた例
（２）では、汚れや変形のない状態での部品の画像を基
準画像とする。また、人間の顔は人によつて少しずつ違
うことを考えると、誰か１人を標準的な顔として選ぶの
ではなく、数人の顔の画像から特徴点を取り出し、これ
らに何らかの平均処理を施して、標準マツプを作成する
ことが望ましい。さらにマツプ上に顔の中心点（図に
「＋」で示す）を１つ決めておく。これは、必ずしも顔
の真ん中にある必要はなく、鼻の頭でも、眼と眼の間で
も、わかりやすい所を便宜的に決めればよい。

【００３６】以上の構成において、基準画像からＮ個の
基準特徴点（図７（Ａ）に「×」で示す）を抽出して標
準マツプを作成する。次にビデオカメラ２の出力条件に
応じてインタフエース部３が画像出力を取り込み、特徴
点抽出部４でこの入力画像から比較特徴点（図７（Ｂ）
に「△」で示す）をＭ個抽出して比較マツプを作成す
る。ここで、標準マツプを図３の基準画像上に重ねたも
のを図４に示し、比較マツプを入力画像上に重ねたもの
を図５に示す。

【００３７】入力画像についても、特徴点抽出部４にお
いて基準画像と同じ処理を行つて、Ｎ個の比較特徴点を
抽出し、入力画像特徴点マツプ（以下、比較マツプ）を
作成する。

【００３８】このように標準マツプ及び比較マツプを作
成した後、比較検出部６において対象物の位置を検出す
る。

【００３９】次に図６のフローチヤートを参照して、比
較検出部６での対象物位置検出方法の処理の流れを説明
する。

【００４０】ステツプＳ１において、図７（Ａ）に示す
標準マツプから基準特徴点を１つ選ぶ（点ｉ(k) とし、
ｋ＝１ないしＮとする）。この点ｉ(k) の座標を（ｘｉ
(k)、ｙｉ(k) ）とし、ステツプＳ２において、中心点
Ｃの座標を（ｘｃ、ｙｃ）としたとき、次式（２）及び
（３）を求める。

【００４１】

【数２】

【００４２】

【数３】

【００４３】これは、点ｉ(k) から見た中心点Ｃの位置
を示す。

【００４４】次に、ステツプＳ３において、図７（Ｂ）
に示す比較マツプから比較特徴点を１つ選ぶ（点ｊ(m)
とし、ｍ＝１ないしＭとする）。この点ｊ(m) の座標を
（ｘｊ(m) 、ｙｊ(m) ）とする。ステツプＳ４におい
て、点ｉ(k) の特徴量と点ｊ(m) の特徴量とを比較し、
その差がある基準値以下だつた場合はステツプＳ５に進
み、基準値を越えている場合はステツプＳ６に進む。

【００４５】ステツプＳ５において、点ｉ(k) と点ｊ
(m) とが一致したとみなして、座標（ｘｐ、ｙｐ）が次
式（４）及び（５）であるような点ｐを求める。

【００４６】

【数４】

【００４７】

【数５】

【００４８】すなわち図７（Ｃ）に示すように、点ｉ
(k) と点ｊ(m) との位置が一致するように標準マツプを
比較マツプの上に重ねたときに、中心点Ｃの来る位置が
点ｐである。

【００４９】点ｉ(k) と点ｊ(m) とが一致したので、点
ｐに顔の中心（図７（Ａ）の標準マツプの中心点Ｃ）が
存在する可能性がある。しかし、顔の変形を考慮する
と、顔の中心は正確に点ｐの位置にあると限らず、点ｐ
を中心とするある範囲に存在すると考えられる。そこ
で、点ｐを中心にして確率分布を考える。中心で大きな
値を取り、周辺ほど小さくなるような適当な関数（例え
ば、Ｇａｕｓｓ関数）で、点ｐを中心とする確率分布を
定義（演算）する。ここで確率とは、顔の中心点がそこ
に存在する確率度である。

【００５０】ステツプＳ６において、比較マツプのすべ
ての比較特徴点についての処理が終了したか否かを判定
する。終了していなければステツプＳ７に進んで、比較
マツプから次の比較特徴点を選び、新たな点ｊ(m) とし
てステツプＳ４に戻つて、同様の処理を繰り返す。比較
マツプのすべての特徴点について、ステツプＳ４からス
テツプＳ７までの処理を繰り返す。

【００５１】ここで図８（Ａ）に示すように、異なる特
徴点、例えば、点ｊ(m) と点ｊ(m+1) との確率分布が重
なつた部分では、図８（Ｂ）に示すように、確率を足し
合わせないで、図８（Ｃ）に示すように、単に重ね合わ
せる（一方の点の確率だけを選択し、他方の点の確率は
無視する）。

【００５２】かくしてステツプＳ６において、比較マツ
プのすべての点について処理が完了したと判定される
と、１つの基準特徴点ｉ(k) について調べた、顔の中心
の存在する確率の分布図（単一確率マツプ）が得られ
る。ただし、全確率が１となるように規格化されてはい
ないので、正確に言えば「確率」ではない。図９に単一
確率マツプの例を示す。黒いところほど確率が高く、白
いところほど確率が低い。

【００５３】次にステツプＳ８において、標準マツプの
すべての基準特徴点の処理が完了していないと判定され
ると、ステツプＳ９に進む。ステツプＳ９において、標
準マツプから次の基準特徴点を選び、新たな点ｉ(k) と
してステツプＳ２に戻る。このように標準マツプのすべ
ての基準特徴点についてステツプ２からステツプ９まで
の処理を繰り返し、ステツプＳ８においてすべての基準
特徴点について処理が終了したと判定されると、標準マ
ツプのＮ個の基準特徴点についてのＮ枚の単一確率マツ
プが得られる。

【００５４】次にステツプＳ１０において、図１０に示
すようにこれらＮ枚の単一確率マツプを合成（加算）し
て総合確率マツプを得る。これは、すべての基準特徴点
について調べた、顔の中心の存在する確率の分布図であ
る。ただし、上述したように、規格化されていないので
正確には「確率」ではない。

【００５５】最後に、ステツプＳ１１において総合確率
マツプ全体を走査し、確率が最大値になつている点を探
す。この点が、入力画像中に顔の中心点が存在する位置
である。図１１に総合確率マツプを示す。図１１におい
て、「＋」が、確率最大値となつている点である。図１
２に、入力画像上に検出された顔の中心点の位置を
「＋」でプロツトしたものを示す。かくして入力画像中
の顔の位置が探索されたことになる。

【００５６】以上の構成によれば、比較マツプ上での標
準マツプの走査を行なわず、標準マツプのＮ個の各基準
特徴点に対して、比較マツプのＭ個の比較特徴点とのマ
ツチング結果を表す単一確率マツプを作成し、最後にこ
の単一確率マツプを合成することによつて、探索対象の
位置を見付け出すので、必要な計算量は、確率マツプを
作るためのＮ×Ｍ回の演算及び合成するための演算だけ
であるので、高速に処理を行い、探索対象の位置が検出
できる。

【００５７】（２）第２の実施例図１の標準マツプ記憶部５において、図１３に示すよう
に基準画像をスケールパラメータ sigmaＳのフイルタで
処理して特徴点を抽出し、標準マツプを作成する。ここ
で sigmaとは特徴点抽出の解像度のことであり、 sigma
が大きいとは大きな特徴に対しては感度が高いがローカ
ルな特徴に対する感度は低いということであり、 sigma
が小さいとはローカルな特徴に対しては感度が高いが大
きな特徴に対する感度は低いということである。例え
ば、第１実施例で用いた Gaborフイルタではパラメータ
「α」がスケールパラメータであり、「α」の値が大き
ければ顔全体や頭髪などの大きな部分についての情報が
抽出され、「α」が小さければ眼や眉毛、さらにその細
部などの細かな情報が抽出される。すなわち sigmaの大
小とは、どれだけ細かい特徴に気が付くかということで
ある。

【００５８】図１の特徴点抽出部４においては、図１３
に示すように入力画像を相異なる複数のスケールパラメ
ータ sigma１、 sigma２、……、 sigmaＮの各フイルタ
で処理して特徴点を抽出し、Ｎ枚の比較マツプ map１、
map２、……、 mapＮを作成する。ここで、 sigma１＜
sigma２＜……＜ sigmaＮとし、標準マツプのスケール
パラメータ sigmaＳの値は sigma１から sigmaＮの間に
あつてもなくてもよい。また sigmaの値の選び方は任意
であるが、 sigma１／ sigma２、 sigma２／ sigma３等
の比があまり大きいのは好ましくなく、例えば sigma２
＝√２ sigma１、 sigma３＝√２ sigma２というように
√２の等比数列にするのが好ましい。

【００５９】また検出可能な顔画像の大きさは、比較マ
ツプを作成するときの sigmaの選び方で決まる。従つて
この実施例の場合、検出可能な最小の顔の大きさは基準
画像の顔の大きさを sigma１／ sigmaＳ倍したものであ
り、検出可能な最大の顔の大きさは基準画像の顔の大き
さを sigmaＮ／ sigmaＳ倍したものである。

【００６０】次に、図１の比較検出部６において標準マ
ツプと比較マツプ map１〜 mapＮとを第１実施例で説明
した手順に基づいてマツチングする。このとき、スケー
ルパラメータsigma の比に従つて標準マツプを拡大又は
縮小し、それぞれ対応する比較マツプとマツチングしな
ければならない。例えば標準マツプと比較マツプ map１
とをマツチングするときは、標準マツプの各特徴点及び
顔の中心点の座標を sigma１／ sigmaＳ倍したものと比
較 map１とをマツチングしなければならない。

【００６１】これは、フイルタには大きさに関するパラ
メータ、すわなちスケールパラメータが存在し、その値
によつて、抽出される情報が異なるからである。ここ
で、スケールパラメータはどういう特徴点抽出を行うか
によるが、例えば大きな範囲での色の濃淡を抽出するよ
うな特徴点抽出や小さな範囲で急激に変わる色の濃淡の
変化を抽出するような特徴点抽出などは大きさに関する
パラメータである。従つて、標準マツプのスケールパラ
メータ sigmaＳと比較マツプのスケールパラメータ sig
ma１〜Ｎとの比に従つて標準マツプを拡大又は縮小しな
いと、特徴点抽出の際に抽出される情報が違つたものと
なるため、標準マツプに表現されている情報と比較マツ
プに表現されている情報とが異なるものになつてしま
い、顔の中心点の正確な位置を検出することができな
い。

【００６２】かくして画像中の探索対象の大きさが変わ
つても、その変化と共にスケールパラメータを変えて探
索対象の大きさとスケールパラメータとの比が一定にな
るようにすれば、同じ情報が抽出される。例えば顔の大
きさが２倍になつても、同時にスケールパラメータを２
倍に拡大すれば、眉の水平エツジが特徴点として抽出さ
れていた位置で同じ特徴点を抽出することができる。逆
に顔の大きさが 1/4になつたのにスケールパラメータを
変えないで同じ値のままにしておくと、元の大きさで抽
出された眉のエツジは抽出されない。

【００６３】そこでスケールパラメータsigma を様々に
変えて比較マツプを作成しておけば、この中に顔の大き
さ／sigma の比が標準マツプのそれとおおよそ一致する
ものができて、そこに表現されている情報と標準マツプ
とが一致してマツチングが正しく行われることが期待で
きる。

【００６４】このようにして各比較マツプごとに単一確
率マツプ（顔の中心点が存在する確率の分布図）が作成
され、これらの単一確率マツプを各比較マツプごとに加
算するとＮ枚の総合確率マツプが得られる。

【００６５】こうして得られたＮ枚の各総合確率マツプ
において確率最大の点（特徴点が一番密集しているとこ
ろ）を検出し、pmap１の中の確率最大点の位置を（ｘ
１、ｙ１）、そこでの確率をｐ１、pmap２の中の確率最
大点の位置を（ｘ２、ｙ２）、そこでの確率をｐ２、pm
apＮの中の確率最大点の位置を（ｘＮ、ｙＮ）、そこで
の確率をｐＮとし、確率ｐ１〜ｐＮの中で最大の確率ｐ
ｉを探す。このｐｉに対応する点の位置（ｘｉ、ｙｉ）
が顔の中心点である。

【００６６】以上の構成によれば、相異なる複数のスケ
ールパラメータ sigma１〜Ｎで特徴点抽出した比較マツ
プを作成し、標準マツプ及び比較マツプで用いたフイル
タのスケールパラメータ sigmaＳと sigma１〜Ｎとの比
に基づいて拡大又は縮小した標準マツプと各比較マツプ
とをマツチングしてＮ枚の総合マツプ確率を得る。この
ようにして得られた各総合確率マツプにおいて確率最大
の点をそれぞれ検出し、そこでの確率をそれぞれ比較し
て最大確率のものを探し、これに対応する位置を顔の中
心点が存在する位置に決定する。かくして、入力画像の
大きさと基準画像の大きさとが異なる場合でも確実に顔
の位置を検出することができる。

【００６７】（３）第３の実施例図１の標準マツプ記憶部５において、図１４に示すよう
に基準画像をスケールパラメータ sigma０（例えば、あ
る大きさをもつた色の濃淡の変化に一番よく感じるsigm
a ）のフイルタで処理して特徴点を抽出し、標準マツプ
smap０を作成する。同様に、基準画像をスケールパラメ
ータ sigma１（例えば、 sigma０よりも何倍か大きいか
小さいかというように、 sigma０と違うところに感度が
あるような sigma）のフイルタで処理して特徴点を抽出
し、標準マツプsmap１を作成する。

【００６８】ここで sigma０と sigma１とを異なるパラ
メータに設定しなければならない。これは、入力画像中
に顔と一緒に写つている他の物体（例えば机）の特徴点
が標準マツプの特徴点と良く一致するような特徴点をも
つていることがあり、このような場合、あるスケールパ
ラメータ sigma０で抽出した机の特徴点が標準マツプsm
ap０と偶然一致したとしても、他のスケールパラメータ
sigma１で抽出した机の特徴点が標準マツプsmap１と同
じように一致する確率は低いからである。また標準マツ
プsmap０及び標準マツプsmap１上の同じ位置に顔の中心
点を定義しておく。この中心点は便宜的に顔の上のどこ
に決め手もよいが、 sigma０と sigma１とでは同じ位置
に定義しなければならない。

【００６９】図１の特徴点抽出部４においては、図１４
に示すように入力画像をスケールパラメータ sigma０で
処理して特徴点を抽出し、比較マツプ map０を作成す
る。同様に、入力画像をスケールパラメータ sigma１で
処理して特徴点を抽出し、比較マツプ map１を作成す
る。

【００７０】ここで本当に顔がある点というのは、比較
マツプ map０及び比較マツプ map１のいずれのマツプで
もそれなりに確率は高い（ただし最大確率になつている
とは限らない）。比較マツプ map０及び比較マツプ map
１の双方ともに、顔が本当にある点は sigmaを変えたと
ころで高い確率になる。しかしながらそれ以外の点にも
確率が高い点はあるが、一般にこれらの点は sigma０及
び sigma１では一致しない。すなわち、通常、紛らわし
いい点（本当は顔が無いが、ある程度確率が高くなつて
いる点）の位置は sigmaを変えると一致しないが、本当
に顔がある位置は sigmaを変えても確率は高い。

【００７１】次に図１の比較検出部６において、標準マ
ツプsmap０と比較マツプ map０とを第１実施例で説明し
た手順に基づいてマツチングすることにより総合確率マ
ツプpmap０を得る。同様に、標準マツプsmap１と比較マ
ツプ map１とを第１実施例で説明した手順に基づいてマ
ツチングすることにより総合確率マツプpmap１を得る。

【００７２】次に、総合確率マツプpmap０及び総合確率
マツプpmap１上の各点でpmap０とpmap１との確率の和又
は積を求め、統合確率マツプを得る。上述のように本当
に顔がある位置は sigmaを変えても確率は高いので、異
なる sigmaでそれぞれ得られたマツプ同志を乗算又は加
算して得られた統合マツプにおける確率最大点に顔の中
心点がある可能性は格段的に高くなる。すわなち本当に
顔がある位置では、比較マツプ map０は標準マツプsmap
０と一致し、比較マツプ map１は標準マツプsmap１と一
致するので、それぞれの結果をまとめて得られる統合確
率マツプにおいても顔の中心点の位置を確率最大の点と
して正しく検出することができる。

【００７３】最後に、この統合確率マツプを走査するこ
とにより確率最大となつている点を見つける。これが入
力画像中に顔の中心点が存在する位置である。

【００７４】以上の構成によれば、特徴点抽出を異なる
２つのスケールパラメータ sigma０及び sigma１で行
い、各スケールパラメータ sigma０及び sigma１を用い
て抽出した特徴点の確率分布を表す総合確率マツプpmap
０及びpmap１を作成し、これらを統合して統合確率マツ
プを得る。この統合確率マツプを走査して得た確率最大
の点を顔の中心点の位置に決定する。かくして、入力画
像中に写つている他の物体と間違えずに顔の位置を正確
に検出することができる。

【００７５】（４）第４の実施例図１の標準マツプ記憶部５において、図１５に示すよう
に基準画像をスケールパラメータ sigmaＡのフイルタで
処理して特徴点を抽出し、標準マツプsmapＡを作成す
る。同様に、基準画像をスケールパラメータ sigmaＢの
フイルタで処理して特徴点を抽出し、標準マツプsmapＢ
を作成する。ここで sigmaＡ＜ sigmaＢ、sigmaＡと si
gmaＢとの比をαとする。また標準マツプsmapＡ及び標
準マツプsmapＢ上の同じ位置に顔の中心点を定義してお
く。この中心点は便宜的に顔の上のどこに決めてもよい
が、smapＡとsmapＢとで同じ位置でなければならない。

【００７６】図１の特徴点抽出部４においては、図１５
に示すように基準画像を６つのスケールパラメータ sig
ma１、 sigma２、 sigma３、 sigma４、 sigma５及び s
igma６のフイルタで処理してそれぞれ特徴点を抽出し、
比較マツプ map１、 map２、map３、 map４、 map５及
び map６を作成する。ここでスケールパラメータ sigma
１〜 sigma６をα又は√αなど、αのｎ乗根（ｎは整
数）を公比とする等比数列に選ぶ。この実施例では√α
を公比とする等比数列、すなわち sigma２＝ sigma１×
√α、 sigma３＝ sigma２×√α、……、 sigma６＝ s
igma５×√αとする。

【００７７】次に図１の比較検出部６において、第３実
施例で説明した手順に基づいて以下の手順で統合確率マ
ツプを作成する。

【００７８】（Ａ）比較マツプ map１と標準マツプsmap
Ａとを第１実施例で述べた手法に基づいてマツチング
し、総合確率マツプpmap０を作成する。

【００７９】（Ｂ）スケールパラメータが map１に対し
てα倍となつている比較マツプを探す。この実施例の場
合 map１に対してα倍となつている比較マツプは map３
である。従つて比較マツプ map３と標準マツプsmapＢと
を第１実施例で述べた方法に基づいてマツチングし、総
合確率マツプpmap１を作成する。ここで map１に対して
α倍となつている比較マツプを探さなければならないの
は、第２実施例で説明したように、この実施例の場合標
準マツプを作成する際に用いた２つのスケールパラメー
タ sigmaＡ及び sigmaＢの比が「α」であるので、これ
と同じ比（すなわちα倍）に拡大／縮小した比較マツプ
を選ばないと、異なる情報同志でのマツチングとなり正
しい情報を得ることができないからである。

【００８０】（Ｃ）総合確率マツプpmap０とpmap１とを
第３実施例で説明した方法に基づいて統合し、統合確率
マツプumap(1、3)を得る。

【００８１】上述のステツプ（Ａ）〜（Ｃ）を同様に他
の組合わせに対しても行う。すなわち、比較マツプ map
２と標準smapＡとをマツチングし、比較マツプ map４と
標準マツプsmapＢとをマツチングして統合確率マツプum
ap(2、4)を得る。次に比較マツプ map３と標準マツプsm
apＡとをマツチングし、比較マツプ map５と標準マツプ
smapＢとをマツチングして統合確率マツプumap(3、5)を
得る。さらに比較マツプ map４と標準マツプsmapＡとを
マツチングし、比較マツプ map６と標準マツプsmapＢと
をマツチングして統合確率マツプumap(3、5)を得る。

【００８２】このようにして得られた４つの統合確率マ
ツプumap(1、3)、umap(2、4)、umap(3、5)及びumap(3、
5)のそれぞれにおいて確率最大の点を探す。統合確率マ
ツプumap(1、3)の中の確率最大点の位置を（ｘ１、ｙ
１）とし、そこでの確率をｐ１、umap(2、4)の中の確率
最大点の位置を（ｘ２、ｙ２）とし、そこでの確率をｐ
２、umap(3、5)の中の確率最大点の位置を（ｘ３、ｙ
３）とし、そこでの確率をｐ３、umap(4、6)の中の確率
最大点の位置を（ｘ４、ｙ４）とし、そこでの確率をｐ
４とする。

【００８３】最後に、確率ｐ１〜ｐ４の中で最大の確率
ｐｉを探して、これに対応する点の位置（ｘｉ、ｙｉ）
を検出する。この位置が顔の中心点となる。

【００８４】以上の構成によれば、入力画像中の顔の大
きさが基準画像の大きさと異なつていても顔の位置を正
確に検出することができ、しかも２つの異なるスケール
パラメータsigma を用いて特徴点を抽出しているので、
入力画像中に顔と一緒に写つている他の物体（例えば
机）の特徴点が顔の特徴点とよく一致する特徴点をもつ
ている場合でも顔の位置を正しく検出することができ
る。

【００８５】（５）他の実施例なお上述の実施例においては、対象物を含む画像を入力
する画像入力手段としてビデオカメラ２を用いた場合に
ついて述べたが、本発明はこれに限らず、テープに記録
された画像を再生するＶＴＲ又はテレビ放送を受信する
受信器を用いてもよい。また標準マツプ５として半導体
メモリ又はデイスク状の記録媒体に情報を記録再生させ
る外部記憶装置を用いてもよい。

【００８６】また上述の実施例においては、 Gaborフイ
ルタを使うことや出力合計の極大点を特徴点とする場合
について述べたが、本発明はこれに限らず、特徴点の取
り方を変更してもよい。

【００８７】また上述の実施例においては、ステツプＳ
４の処理において、標準マツプの特徴点ｊと比較マツプ
の特徴点ｊとの特徴量の差が基準値以下であつたときは
その差がどのくらい小さいかにかかわらず一律に確率分
布を決めている場合について述べたが、本発明はこれに
限らず、例えば差が極めて小さいときは確率を大きく
し、基準値以下ではあつても差が大きいときは確率を小
さくして単一確率マツプを作成するようにしてもよい。

【００８８】また上述の実施例においては、２個のスケ
ールパラメータを用いた場合について述べたが、本発明
はこれに限らず、Ｎ個のスケールパラメータを用いても
よい。この場合、標準マツプの個数、比較マツプの個
数、総合確率マツプの個数もすべてＮ個となる。

【００８９】さらに上述の実施例においては、１つの基
準画像を用いて標準マツプを用いる場合について述べた
が、本発明はこれに限らず、複数の基準画像を用いて標
準マツプを作成してもよい。例えば、図１６に示すよう
に、複数の基準画像（１〜Ｎ）をスケールパラメータ s
igma０のフイルタで処理して特徴点を抽出し、これらを
平均化処理して標準マツプsmap０を作成し、同じ基準画
像（１〜Ｎ）を sigma１のフイルタで処理して特徴点を
抽出し、これらを平均化処理して標準マツプsmap１を作
成する。

【００９０】

【発明の効果】上述のように本発明によれば、複数の物
体像を含む画像情報中の基準画像情報の基準点が存在す
る確率を、複数の比較特徴点と複数の基準特徴点とのマ
ツチングにより算出するので、簡単な処理により、短時
間で、画像情報より対象物の位置を検出することができ
る。

【図面の簡単な説明】

【図１】本発明の対象物位置検出方法の一実施例を行う
画像処理装置の構成を示すブロツク図である。

【図２】図１の特徴点抽出部で用いられる Gaborフイル
タの特性を説明する説明図である。

【図３】図１の画像入力手段としてのビデオカメラによ
り入力される入力画像の略線図である。

【図４】図３の入力画像に対し、検索基準となる基準画
像上に標準マツプを重ね、標準マツプの特徴点を説明す
る説明図である。

【図５】図３の入力画像上に比較マツプを重ね、比較マ
ツプの特徴点を説明する説明図である。

【図６】図１の比較検出部で処理される対象物位置検出
方法の流れを示すフローチヤートである。

【図７】図６における標準マツプと比較マツプとの比較
処理を説明する説明図である。

【図８】図６における確率分布の合成を説明する説明図
である。

【図９】図６の処理により得られる単一確率マツプを示
す略線図である。

【図１０】図６で単一マツプを加算して得られる総合確
率マツプを説明する説明図である。

【図１１】図１０で得られた総合確率マツプを示す略線
図である。

【図１２】図１１の総合確率マツプの最大点を重ねた入
力画像の略線図である。

【図１３】本発明の第２の実施例の説明に供するブロツ
ク図である。

【図１４】本発明の第３の実施例の説明に供するブロツ
ク図である。

【図１５】本発明の第４の実施例の説明に供する略線図
である。

【図１６】入力画像が複数ある場合の標準マツプの作成
の説明に供するブロツク図である。

【符号の説明】

１……画像処理装置、２……ビデオカメラ、３……イン
ターフエイス部、４……特徴点抽出部、５……標準マツ
プ記憶部、６……比較検出部。

Claims

【特許請求の範囲】

【請求項１】複数の物体像を含む画像情報より抽出した
複数の比較特徴点を、予め記憶した所定の基準画像情報
より抽出した複数の基準特徴点と比較することにより、
上記画像情報内の所定の対象物像の位置を検出する対象
物位置検出方法において、上記複数の物体像を含む上記画像情報中に上記基準画像
情報の基準点が存在する確率を、上記複数の比較特徴点
と上記複数の基準特徴点とのマツチングにより演算する
ことを特徴とする対象物位置検出方法。
【請求項２】上記複数の比較特徴点と上記複数の基準特
徴点とのマツチングによる演算は、上記複数の基準特徴点毎の、上記複数の物体像を含む画
像情報中の上記基準点が存在する複数の確率を演算し、演算した上記複数の確率を加算することにより行なわれ
ることを特徴とする請求項１に記載の対象物位置検出方
法。
【請求項３】上記確率は、中心で値が大きく、周辺で値
が「０」に近づく関数により演算されることを特徴とす
る請求項１又は２に記載の対象物位置検出方法。
【請求項４】特徴点抽出に関するスケールパラメータの
倍率を変えて上記画像情報より特徴点を抽出して画像情
報に関する複数の特徴点セツトを作成し、上記スケールパラメータの倍率の変化と同じ比率で、上
記基準画像情報より抽出した基準画像情報に関する特徴
点セツトを拡大又は縮小し、上記画像情報の各特徴点セツトと上記拡大又は縮小され
た基準画像情報の特徴点セツトとを同じ比率で拡大又は
縮小したもの同士でマツチングすることにより、複数の
確率分布を求め、上記各確率分布についてそれぞれ確率最大点を検出し、検出された上記各確率最大点をそれぞれ比較して最大確
率のものを選択することを特徴とする請求項１に記載の
対象物位置検出方法。
【請求項５】相異なる２つ又は３つ以上の特徴点抽出に
関するスケールパラメータによつて上記基準画像情報よ
り特徴点を抽出して基準画像情報に関する複数の特徴点
セツトを作成し、上記相異なる２つ又は３つ以上のスケールパラメータに
よつて上記画像情報より特徴点を抽出して画像情報に関
する複数の特徴点セツトを作成し、上記各基準画像情報の特徴点セツトと、当該基準画像の
特徴点セツトに対応する画像情報の特徴点セツトとをマ
ツチングすることによつて複数の確率分布を求め、上記各確率分布を乗算又は加算してその積又は和を求
め、これによつて得られた統合確率分布上を走査するこ
とにより確率最大点を検出することを特徴とする請求項
１に記載の対象物位置検出方法。
【請求項６】所定の比率に設定された相異なる２つ又は
３つ以上の特徴点抽出に関するスケールパラメータによ
つて上記基準画像情報より特徴点を抽出して基準画像情
報に関する複数の特徴点セツトを作成し、上記所定の比率で設定された相異なる２つ又は３つ以上
の特徴点抽出に関するスケールパラメータによつて上記
画像情報より特徴点を抽出して画像情報に関する複数の
特徴点セツトを作成し、上記基準画像情報のうちの任意の特徴点セツト及び上記
画像情報のうちの任意の特徴点セツトをマツチングして
得られた確率分布と、上記画像情報のうちの任意の特徴
点セツトと上記所定の比率に設定されている上記画像情
報の特徴点セツト及び上記基準画像情報のうちの任意の
特徴点セツトと上記所定の比率に設定されている上記基
準画像情報の特徴点セツトをマツチングして得られた確
率分布とを乗算又は加算して統合確率分布を求め、上記統合確率分布のそれぞれについて確率最大点を探
し、上記各確率最大点のうち最大のものを検出することを特
徴とする請求項１に記載の対象物位置検出方法。