JP5185803B2

JP5185803B2 - 特定対象画像判別システム

Info

Publication number: JP5185803B2
Application number: JP2008332411A
Authority: JP
Inventors: 大輔林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2013-04-17
Anticipated expiration: 2028-12-26
Also published as: JP2010152806A

Description

この発明は，特定対象画像判別システムおよびその制御方法ならびに特定対象画像判別システム用特徴量／スコア変換テーブル生成装置およびその制御方法に関する。

いわゆるブースティングと呼ばれる手法を用いて顔画像などの対象画像を検出するものがある。このようなものでは，多数の画像から学習した判別装置を複数個用意し，それらの複数個の判別装置が縦続接続される（特許文献１，２）。
特開2007-213182号公報特開2007-226512号公報

しかしながら，それらの装置ではある特定の人物の顔など，特定の対象物を判別することは考えられていない。

この発明は，特定の対象物を判別できるようにすることを目的とする。

第１の発明による特定対象画像判別システムは，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力する対象画像判別装置群，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量を，上記対象画像判別装置ごとに算出する平均特徴量算出手段，および上記平均特徴量算出手段によって算出された上記対象画像判別装置ごとの平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性に，上記複数の対象画像判別装置のそれぞれの特徴量／スコア変換特性を更新する特性更新手段を備えていることを特徴とする。

第１の発明は，上記特定対象画像判別システムに適した制御方法も提供している。すなわち，この方法は，対象画像判別装置群が，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力し，平均特徴量算出手段が，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量を，上記対象画像判別装置ごとに算出し，特性更新手段が，上記平均特徴量算出手段によって算出された上記対象画像判別装置ごとの平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性に，上記複数の対象画像判別装置のそれぞれの特徴量／スコア変換特性を更新するものである。

第１の発明によると，対象画像判別群を構成する対象画像判別装置ごとに，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量が算出される。算出された平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性に，複数の対象画像判別装置のそれぞれの特徴量／スコア変換特性が更新される。対象画像判別群を構成する複数の対象画像判別装置は，特定の対象画像を判別するのに適したものとなるから，特定の対象画像を判別するのが容易になる。

第２の発明は，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力する一般対象画像判別装置群，および上記一般対象画像判別装置群の後段に接続され，かつある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量が上記対象画像判別装置ごとに算出された上記対象画像判別装置ごとの平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，上記一般対象画像判別装置群から出力された画像データによって表される画像が上記特定対象画像かどうかを判別する特定対象画像判別装置であって，スコアを算出するための特徴がそれぞれの特定対象画像判別装置ごとに異なる特定対象画像判別装置が複数個分縦続接続されており，特定対象画像と判別された画像を表す画像データを次段の特定対象画像判別装置に入力する特定対象画像判別装置群を備えていることを特徴とする。

第２の発明は，上記特定対象画像判別システムに適した制御方法も提供している。すなわち，この方法は，一般対象画像判別装置群が，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力し，特定対象画像判別装置群が，上記一般対象画像判別装置群の後段に接続され，かつある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量が上記対象画像判別装置ごとに算出された上記対象画像判別装置ごとの平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，上記一般対象画像判別装置群から出力された画像データによって表される画像が上記特定対象画像かどうかを判別する特定対象画像判別装置であって，スコアを算出するための特徴がそれぞれの特定対象画像判別装置ごとに異なる特定対象画像判別装置が複数個分縦続接続されており，特定対象画像と判別された画像を表す画像データを次段の特定対象画像判別装置に入力するものである。

第２の発明によると，特定の対象物の画像に限らず，一般的な対象物の画像を判別する一般対象画像判別群に，特定の対象物の画像を判別するのに適した特定対象画像判別群が接続されている。一般対象画像判別群によって対象物の画像が判別され，その判別された画像の中から，特定の対象物の画像を判別できるようになる。

第３の発明による特定対象画像判別システムは，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを算出するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力する一般対象画像判別装置群，上記一般対象画像判別装置群と並列に接続され，かつある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量が上記対象画像判別装置ごとに算出された上記対象画像判別装置ごとの平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，上記一般対象画像判別装置群に入力した画像データと同じ画像データによって表される画像が上記特定対象画像かどうかを判別する特定対象画像判別装置であって，スコアを決定するための特徴がそれぞれの特定対象画像判別装置ごとに異なる特定対象画像判別装置が複数個分縦続接続されており，特定対象画像と判別された画像を表す画像データを次段の特定対象画像判別装置に入力する特定対象画像判別装置群，および上記一般対象画像判別装置群を構成する対象画像判別装置ごとに決定されたスコアと上記特定対象画像判別装置群を構成する特定対象画像判別装置ごとに決定されたスコアとにもとづいて，上記一般対象画像判別装置群および上記特定対象画像判別装置群に入力した画像によって表される画像が特定対象画像かどうかを判別し，判別結果を出力する（判別された特定対象画像を表わす画像データを出力する）判別手段を備えていることを特徴とする。

第３の発明は，上記特定対象画像判別システムに適した制御方法も提供している。この発明は，一般対象画像判別装置群が，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力し，特定対象画像判別装置群が，上記一般対象画像判別装置群と並列に接続され，かつある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量が上記対象画像判別装置ごとに算出された上記対象画像判別装置ごとの平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを算出し，算出されたスコアにもとづいて，上記一般対象画像判別装置群に入力した画像データと同じ画像データによって表される画像が上記特定対象画像かどうかを判別する特定対象画像判別装置であって，スコアを算出するための特徴がそれぞれの特定対象画像判別装置ごとに異なる特定対象画像判別装置が複数個分縦続接続されており，特定対象画像と判別された画像を表す画像データを次段の特定対象画像判別装置に入力し，判別手段が，上記一般対象画像判別装置群を構成する対象画像判別装置ごとに決定されたスコアと上記特定対象画像判別装置群を構成する特定対象画像判別装置ごとに決定されたスコアとにもとづいて，上記一般対象画像判別装置群および上記特定対象画像判別装置群に入力した画像によって表される画像が特定対象画像かどうかを判別し，判別結果を出力するものである。

第３の発明によると，一般対象画像判別群を構成する対象画像判別装置ごとに算出されたスコアと特定対象画像判別群を構成する特定対象画像判別装置ごとに算出されたスコアとにもとづいて，一般対象画像判別群および特定対象画像判別群に入力した画像データによって表される画像が特定対象画像かどうかが判別される。対象画像判別装置ごとに算出されたスコアと特定対象画像判別群を構成する特定対象画像判別装置ごとに算出されたスコアとの重み付けを行うことにより，その重み付けに応じて得られるスコアの合計スコアから特定対象画像かどうかを判別することができるようになる。

第４の発明による特定対象画像判別システム用特徴量／スコア変換テーブル生成装置は，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力する対象画像判別装置群，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量を，上記対象画像判別装置ごとに算出する平均特徴量算出手段，および上記平均特徴量算出手段によって算出された上記対象画像判別装置ごとの平均特徴量のスコアを表わす特徴量／スコア変換テーブルを生成する特徴量／スコア変換テーブル生成手段を備えていることを特徴とする。

第４の発明は，上記特定対象画像判別システム用特徴量／スコア変換テーブル生成装置に適した制御方法も提供している。すなわち，この方法は，対象画像判別装置群が，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力し，平均特徴量算出手段が，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量を，上記対象画像判別装置ごとに算出し，特徴量／スコア変換テーブル生成手段が，上記平均特徴量算出手段によって算出された上記対象画像判別装置ごとの平均特徴量のスコアを表わす特徴量／スコア変換テーブルを生成するものである。

第４の発明によると，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量が，対象画像判別群を構成する対象画像判別装置ごとに算出される。さらに，平均特徴量のスコアを表す特徴量／スコア変換テーブルが生成される。特定対象画像を検出するのに適した特徴量／スコア変換テーブルを得ることができる。

第５の発明による特定対象画像判別システムは，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データが次段の対象画像判別装置に入力する対象画像判別装置群，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量を，上記対象画像判別装置ごとに算出された上記対象画像判別装置ごとの平均特徴量のスコアを表わす特定対象画像特徴量／スコア変換テーブルと，ある特定された対象物を表す特定対象画像かどうかを判別する判別対象画像を表す判別対象画像データを上記対象画像判別装置群に入力して得られる，上記対象画像判別装置ごとのスコアを表す判別対象画像特徴量／スコア変換テーブルを生成する判別対象画像特徴量／スコア変換テーブル生成手段，および上記特定対象画像特徴量／スコア変換テーブルと上記判別対象画像特徴量／スコア変換テーブル生成手段によって生成された判別対象画像特徴量／スコア変換テーブルとにもとづいて，上記判別対象画像がある特定された対象物かどうかを判別する判別手段を備えていることを特徴とする。

第５の発明は，上記特定対象画像判別システムに適した制御方法も提供している。すなわち，この方法は，対象画像判別装置群が，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データが次段の対象画像判別装置に入力し，判別対象画像特徴量／スコア変換関数生成手段が，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量を，上記対象画像判別装置ごとに算出された上記対象画像判別装置ごとの平均特徴量のスコアを表わす特定対象画像特徴量／スコア変換関数と，ある特定された対象物を表す特定対象画像かどうかを判別する判別対象画像を表す判別対象画像データを上記対象画像判別装置群に入力して得られる，上記対象画像判別装置ごとのスコアを表す判別対象画像特徴量／スコア変換関数を生成し，判別手段が，上記特定対象画像特徴量／スコア変換関数と上記判別対象画像特徴量／スコア変換関数生成手段によって生成された判別対象画像特徴量／スコア変換関数とにもとづいて，上記判別対象画像がある特定された対象物かどうかを判別するものである。

第５の発明によると，対象画像判別群を構成する対象画像判別装置ごとに算出された，ある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量のスコアを表す特定対象画像特徴量／スコア変換関数と，ある特定された対象物を表す特定対象画像かどうかを判別する判別対象画像を表す判別対象画像データを上記対象画像判別装置群に入力して得られる，上記対象画像判別装置ごとのスコアを表す判別対象画像特徴量／スコア変換関数とが生成される。特定対象画像特徴量／スコア変換関数と判別対象画像特徴量／スコア変換関数とにもとづいて，判別対象画像がある特定された対象物かどうかが判別される。特定の対象画像を判別できるようになる。

上記判別手段は，たとえば，上記特定対象画像特徴量／スコア変換関数によって表わされる面積と上記判別対象画像特徴量／スコア変換関数生成手段によって生成された判別対象画像特徴量／スコア変換関数によって表わされる面積との差が一定以内のときに上記判別対象画像がある特定された対象物の画像であると判別する，あるいは，上記特定対象画像特徴量／スコア変換関数と上記判別対象画像特徴量／スコア変換関数との相関関係が近いほど上記判別対象画像がある特定された対象物の画像であると判別するものである。

上記ある特定された対象物を表す特定対象画像がリサイズされた特定対象アイコン画像を生成する特定対象アイコン画像生成手段，上記特定対象アイコン画像生成手段によって生成された特定対象アイコン画像を表示画面上に表示するように表示装置を制御する表示制御手段，および上記表示制御手段の制御のもとに表示された特定対象画像アイコン画像が指定されたことに応じて，指定された特定対象アイコン画像によって表される特定対象画像の判別処理を行うように上記特定対象画像判別システムを制御するシステム制御手段をさらに備えることが好ましい。

以下の実施例においては，顔の画像（対象物を表す対象画像）または特定の人物の顔の画像（特定対象物画像）を検出するものについて説明するが，顔の画像または特定の人物の顔の画像ではなく，顔以外の対象物を表す対象画像または特定の人物の顔の画像では無く特定の対象物の画像を検出するものについても適用できる。

図１は，この発明の実施例を示すもので，顔検出回路（顔画像判別装置群，対象画像判別装置群）10の電気的構成を示すブロック図である。

顔検出回路10には，複数（Ｎ個）の顔判別装置11〜1Nが縦続接続されている。

顔判別装置11〜1Nのそれぞれは，画像の特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性（それぞれの顔判別装置11〜1Nごとに異なる）にしたがって，入力する画像データによって表される画像のスコアを算出し，算出されたスコアにもとづいて，入力した画像データによって表される一駒分の画像（規格化された画像）が顔の画像かどうかを判別するものである。顔検出回路10は，後述するように，特徴量／スコア変換特性更新回路71，重み分布生成回路72，平均特徴量算出回路73，メモリ75などと接続されている。メモリ75に後述する特徴量／スコア変換特性を有する変換テーブルが格納されている。

この実施例においては，最初は，一般的な顔画像を検出するための特徴量／スコア変換特性を利用して顔検出回路10に入力した検出対象顔画像から顔画像が検出される。その後，特定の人物の顔画像を検出するために，その特定の人物の顔画像が複数駒分用意される。用意された複数駒分の顔画像を表す画像データが一駒分ずつ順に顔検出回路10に入力する。複数の顔判別装置11〜1Nのそれぞれにおける特定人物の顔画像の特徴量が算出され，複数の顔判別装置11〜1Nのそれぞれにおける特定人物の顔画像の平均特徴量が算出される。平均特徴量を利用して，その特定人物の顔画像を検出するのに適した特定顔検出用特徴量／スコア変換特性が生成される。生成された特定顔検出用特徴量／変換特性を利用して顔検出回路10において顔画像検出処理が行われる。顔検出回路10は，特定の人物の顔画像を検出するのに適するようになる。

顔検出回路10に入力した検出対象画像を表す画像データは，まず，第１の顔判別装置11に入力する。第１の顔判別装置11において，第１の顔判別装置11用に規定されている特徴量／スコア変換特性にしたがって，入力した画像データによって表される画像の特徴量がスコアに変換される。変換されたスコアが所定の閾値未満であると，その画像は顔の画像ではない（非顔）と判断される。顔の画像と判断された画像データは，次段の第２の顔判別装置12に入力する。

第２の判別装置12以降の判別装置においても第１の判別装置と同様の処理が行われ，判別装置11〜1Nにおいてすべて顔画像と判定された検出対象画像が顔の画像と判別される。

図２は，特徴量算出方法，通常（一般）の顔画像を検出するのに用いられる特徴量／スコア変換特性，特定人物の顔画像を検出するのに用いられる特定顔特徴量／スコア変換特性を示している。

第１の判別装置11においては，入力画像を画像20とすると，あらかじめ定められている左上の画素21と22との輝度差が特徴量とされる。第１の判別装置11において通常の顔画像検出に用いられる特徴量／スコア変換特性Ｃ１が規定されており，得られた輝度差である特徴量に応じてスコアが得られる。得られたスコアが上述のように閾値未満であると，入力画像20は非顔画像と判定される。

同様に，第２の判別装置12においては，あらかじめ定められている画像20の右上の画素23と24との色差Ｃｒの差が特徴量とされる。第２の判別装置12においても通常の顔画像検出に用いられる特徴量／スコア変換特性Ｃ２が規定されており，得られた色差Ｃｒの差である特徴量に応じてスコアが得られる。得られたスコアが閾値未満であると，入力画像20は非顔画像と判定される。

図１に示す顔検出回路10を特定人物の顔画像検出に適したものとするためには，上述のように，その特定人物の顔画像が複数駒分用意される。この実施例では，Ｎ駒の顔画像が用意されたものとする。それらのＮ駒の顔画像が一駒ずつ順に顔検出装置10に入力され，顔画像ごとに，かつ判別装置ごとに特徴量が算出される。Ｎ駒分の顔画像が顔検出装置10に入力すると，Ｎ個の顔判別装置11〜1NのそれぞれについてＮ駒分の顔画像の特徴量が得られることとなる。

図３は，顔判別装置と特定人物の顔画像の特徴量との関係を示している。

特定人物の複数駒の顔画像のうち，第1の判別装置11における一駒目の顔画像の特徴量は「３」であり，同様に二駒目の特徴量は「４」である。ある特定人物の第１の判別装置11の平均特徴量はＰ１となる。同様に，ある特定人物の第２の判別装置11の平均特徴量はＰ２となる。すなわち，それぞれの顔判別装置11〜1Nにおいて，算出された平均特徴量に近い特徴量をもつほど特定人物の顔画像であると判定でき，算出された平均特徴量に遠い特徴量をもつほど特定人物の顔画像とは異なるものであると判定できる。この実施例では，算出された平均特徴量がピーク値となるような正規分布を考え，そのような正規分布にしたがった特徴量／スコア変換特性となるように特徴量／スコア変換特性が更新される。特定の人物の顔画像を検出するのに適した特徴量／スコア変換特性を用いてスコア算出処理が行われるようになる。

図４（Ａ）および（Ｂ）は，特徴量／スコア変換特性の一例である。グラフ化されているが実際にはテーブルの形態で生成（記憶）されることになろう（特徴量／スコア変換テーブル）。

図４（Ａ）は，通常の顔画像検出に利用される特徴量／スコア変換特性Ｃ１を示している。この変換特性Ｃ１は，一般的な顔画像を検出するのに適した特性を有するものである。上述のように，特定人物の顔画像の検出に適するような式１にしたがって正規分布が考えられる。式１において，ｋは定数，σの二乗は分散である。

その正規分布にしたがって，特徴量／スコア変換特性Ｃ11を持つような特定顔特徴量／スコア変換特性Ｃ11が生成される。

図４（Ｂ）は，このようにして生成された特定顔特徴量／スコア変換特性Ｃ11を示している。

複数の顔判別装置11〜1Nのそれぞれにおいて，一般的な顔検出用の特徴量／スコア変換特性が特定顔特徴量／スコア変換特性に更新される。更新後の特定顔特徴量／スコア変換特性が図２の最も右側に示されているものである。更新後の特定顔特徴量／スコア変換特性の形状は，一般的な顔検出用の特徴量／スコア変換特性の形状に近くなるように式１の係数ｋが決定されている。

図５は，顔検出装置10の処理手順を示すフローチャートである。

上述のように，特定の人物の顔画像が複数駒分用意される（ステップ41）。複数駒分の顔画像が一駒分ずつ顔画像検出回路10に入力し，顔判別装置ごとに特徴量が算出される（ステップ42）。顔判別装置ごとに特定人物の顔画像の平均特徴量が算出される（ステップ43）。算出された平均特徴量から，特定人物の顔画像を検出するのに適した特定顔検出用特徴量／スコア変換特性が生成される（ステップ44）。生成された特定顔検出用特徴量／スコア変換特性に，一般的な顔画像を検出するのに用いられる特徴量／スコア変換特性が更新される（ステップ45）。このように更新された特定顔検出用特徴量／スコア変換特性を用いて顔画像検出が行われることにより，特定人物の顔画像検出に適した顔検出回路10が生成される。

図６は，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

ディジタル・スチル・カメラの全体の動作は，ＣＰＵ50によって統括される。

ＣＰＵ50には，動作プログラム等が格納されているＲＯＭ51および所定のデータを一時的に記憶するＲＡＭ52が接続されている。また，ディジタル・スチル・カメラには，フラッシュ制御回路53によって発光が制御される発光装置54，シャッタ・レリーズ・ボタン等を含む操作装置55が含まれている。

撮像レンズ56のレンズ位置はレンズ駆動装置60によって制御される。撮像レンズ56によって集光した光線束は，絞り57を介してＣＣＤ58の受光面上に入射する。ＣＣＤドライバ61によってＣＣＤ58が駆動させられ，被写体像を表す映像信号がアナログ／ディジタル変換回路59に入力する。タイミング・ジェネレータ62から出力される各種クロック・パルスはアナログ／ディジタル変換回路59に入力し，アナログ／ディジタル変換回路59から被写体像を表す画像データが出力される。

被写体像を表す画像データは，顔検出回路74に入力する。メモリ74から一般的な顔画像を検出するための特徴量／変換特性をもつテーブル（ヒストグラム）が読み出され，顔検出回路74に入力する。顔検出回路74において，入力した画像データによって表される画像の中から一般的な顔画像が検出される。

また，被写体像を表す画像データは，信号処理回路76に入力し，ガンマ補正，色バランス調整などの所定の信号処理が行われる。信号処理回路76から出力された画像データは，表示制御回路79に与えられ，被写体像が液晶表示装置80の表示画面に表示される。

検出された顔画像の位置を表すデータは，ＯＳＤ（オン・スクリーン・ディバイス）信号発生装置81に入力する。ＯＳＤ信号発生装置81において，検出された顔画像が囲まれるような枠を示す信号が生成される。生成された信号が液晶表示装置80に与えられることにより，被写体像の顔画像に枠が表示される。

シャッタ・レリーズ・ボタンが押されると，上述のようにして得られた画像データがカード・インターフェイス77を介してメモリ・カード78に与えられて，メモリ・カード78に記録される。

メモリ・カード78には，上述したように，特定人物の顔画像が複数駒分記録されているものとする。

メモリ・カード78から特定人物の顔画像を表す画像データが複数駒分読み取られ，顔検出回路74に入力する。顔検出回路74を構成する複数の顔判別装置のそれぞれにおいて特徴量が算出される。算出された特徴量を表わすデータは，顔判別装置ごとに平均特徴量算出回路73に入力する。平均特徴量算出回路73において，上述したように特定人物の顔画像の平均特徴量が顔判別装置ごとに算出される。顔判別装置ごとに算出された平均特徴量を表わすデータは，重み分布生成回路72に入力し，上述した正規分布が生成される。さらに，生成された正規分布から，特定人物の顔画像を検出するのに適した特定顔画像特徴量／スコア変換特性をもつテーブルが生成される。生成されたテーブルに，特徴量／生成された正規分布を表すデータが特徴量／スコア変換特性更新回路71によって，メモリ75に格納されている特徴量／スコア変換特性テーブルが更新される。メモリ75には，特定人物の顔画像を検出するのに適した特性をもつ特徴量／スコア変換特性テーブルが格納されるので，その特性を利用して顔画像検出が行われることにより，特定人物の顔画像が検出しやすくなる。

このように，メモリ75に特定人物の顔画像を検出するのに適した特性をもつ特徴量／スコア変換特性テーブルが格納された後に，上述のように被写体が撮像されると，撮像により得られた被写体像の中から特定人物の顔画像を検出するのが比較的容易となる（検出率の向上）。

また，上述の実施例においては，一般的な顔画像を検出する特徴量／スコア変換特性テーブルが特定人物の顔画像を検出する特徴量／スコア変換特性テーブルに更新されているが，更新せずに両方のテーブルともにメモリ75に格納しておき，一般的な顔画像を検出する場合には，一般的な顔画像を検出する特徴量／スコア変換テーブルを用いて顔画像検出処理を行い，特定人物の顔画像を検出するときには，特定人物の顔画像を検出する特徴量／スコア変換テーブルを利用するようにしてもよい。また，特徴量／スコア変換特性テーブルをメモリ75に格納せずに顔画像判別装置11〜1Nに格納するようにしてもよい。

図７および図８は，他の実施例を示すものである。

図７は，顔検出回路74Ａの電気的構成を示すブロック図である。図８は，特徴量算出方法と通常の顔検出に利用される特徴量／スコア変換特性のヒストグラムＣ１，Ｃ２などと特定人物の顔検出に利用される特徴量／スコア変換特性のヒストグラムＣ12，Ｃ22などとを判別装置ごとに示している。

顔検出回路74Ａは，一般顔画像判別装置群80の次段に特定顔画像判別装置群90が縦続接続されている。一般顔画像判別装置群80には，複数（Ｎ個）の顔判別装置81〜8Nが含まれている。これらの顔判別装置81〜8Nのそれぞれには，それぞれの装置ごとに異なり，かつ一般的な顔画像を検出するのに適した特徴量／スコア変換テーブルが格納されている。画像データが入力することにより，入力した画像データによって表される画像の所定の特徴量が検出され，その検出された特徴量がスコアに変換される。変換されたスコアが閾値未満であると非顔画像と判定され，変換されたスコアが閾値以上であると，その判別装置では顔画像であると判定されて次段の顔判別装置に入力する。一般顔画像判別装置群80に検出対象画像を表す画像データが入力し，かつその入力した画像データが一般顔画像判別装置群80から出力した場合には，その検出対象画像は一般的な顔画像と判別されたこととなる。

一般顔画像判別装置群80から出力された画像データは，特定顔画像判別装置群90に入力する。

特定顔画像判別装置群90には，一般顔判別装置群80に含まれている複数の顔判別装置81〜8Nに対応した複数の特定顔判別装置91〜9Nが含まれている。これらの特定顔判別装置91〜9Nには，上述したように，特定人物の顔画像を検出するのに適した特定顔特徴量／スコア変換特性をもつ変換テーブルが格納されている。特定顔特徴量／スコア変換特性は，平均特徴量Ｐ１，Ｐ２などのスコア１，スコア２などがピーク値となるように式１の係数ｋが決定された正規分布である。もっとも図２に示す特定顔特徴量／スコア変換特性を利用してもよい。

後述するように，顔画像判別装置81と特定顔画像判別装置91とは同じ特徴量算出方法であり，ヒストグラムの変換特性が異なる。一般顔画像判別装置群80の他の顔判別装置82〜8Nと特定顔画像判別装置群90の他の特定顔判別装置92〜9Nとも同様に対応しており，それぞれ同じ特徴量算出方法であるがヒストグラムの変換特性が異なる。

特定顔画像判別装置群90に画像データが入力すると，その入力した画像データによって表される画像が特定人物の顔画像であると判定された場合に，特定顔画像判別装置群90から出力されることとなる。

図７に示す顔検出回路74Ａにより，一般的な顔画像であり，かつ特定人物の顔画像を検出することが比較的簡単にできるようになる。

図７に示す顔検出回路74Ａをディジタル・スチル・カメラに設けるためには，図６に示すブロック図において特徴量／スコア変換特性更新回路71の代わりに特徴量／スコア変換特性テーブル生成回路を設けるとよい。その特徴量／スコア変換特性テーブル生成回路を用いて，上述したように特定人物の顔画像を検出するのに適した特徴量／スコア変換特性テーブルを生成することができる。生成されたテーブルが，特定顔画像判別装置群90を構成する複数の特定顔判別装置91〜9Nに格納される。

上述の実施例においては，顔判別装置81〜8Nおよび特定顔判別装置91〜9Nに特徴量／スコア変換テーブルが格納されているが，上述したように，メモリ75に格納するようにしてもよいのはいうまでもない。

図９は，さらに他の実施例を示すもので，顔検出回路74Ｂの電気的構成を示すブロック図である。この図において，図７に示す回路と同一の回路については同一符号を付して説明を省略する。

この実施例による顔検出回路74Ｂにおいては一般顔画像判別装置群80と特定顔画像判別装置群90とは並列に接続されている。検出対象画像を表すデータは，一般顔画像判別装置群80と特定顔画像判別装置群90との両方に入力する。

上述したように，検出対象画像が一般顔画像判別装置群80において顔画像であると判別されると，一般顔画像判別装置群80からは入力した画像データが出力される。一般顔画像判別装置群80から出力された画像データは重み付けスコア判定装置100に入力する。

また，検出対象画像が特定顔画像判別装置群90において特定人物の顔画像であると判別されると，特定顔画像判別装置群90からも入力した画像データが出力される。特定顔画像判別装置群90から出力された画像データも重み付けスコア判定装置100に入力する。

重み付けスコア判定装置100には，一般顔画像判別装置群80の顔判別装置81〜8Nにおいて算出されたすべてのスコアを表すデータおよび特定顔画像判別装置群90の特定顔判別装置90〜9Nにおいて算出されたすべてのスコアを表すデータも入力する。重み付けスコア判定回路100において，式２にしたがって，トータル・スコアが算出される。但し，Ｗ１，Ｗ２は重み係数である。

トータル・スコア＝Ｗ１×（一般顔画像判別装置群80における総スコア）＋
Ｗ２×（特定顔画像判別装置群90における総スコア）・・・式２
重み付けスコア判定回路100において算出されたトータル・スコアが所定の閾値以上であれば，検出対象画像が特定人物の顔画像と判別される（判別結果の出力）。判別された特定人物の顔画像データを重み付けスコア判定回路100から出力してもよいのはいうまでもない。

重み係数Ｗ１，Ｗ２を調整することにより，特定人物の顔画像により特化した特定人物の顔画像検出または一般的な顔画像の検出ができるようになる。

図９に示す回路においては，顔画像検出回路74Ｂ内に重み付けスコア判定回路100が設けられているが，上述したように一般顔画像判別装置群80と特定顔画像判別装置群90とが並列接続された回路を顔画像検出回路として上述したディジタル・スチル・カメラに設けるようにすることもできる。そのような場合には，顔検出回路とは別にディジタル・スチル・カメラに重み付けスコア判定回路100が設けられることとなろう。

図10から図12は，さらに他の実施例を示すものである。

図10は，判別装置とスコアとの関係を示している。

上述したように一般顔画像判別装置群80に特定人物の顔画像を表す画像データが複数駒分入力し，一般顔画像判別装置群80を構成するＮ個の顔判別装置81〜8NのそれぞれにおいてスコアＳ11〜Ｓ1Nが算出される。顔判別装置ごとに算出されたスコアから特定顔の平均スコア分布が得られる。

検出対象画像を表す画像データが一般顔画像判別装置群80に入力し，同様に検出対象画像のスコア分布が得られる。

この実施例においては，検出対象画像のスコア分布と特定顔（特定人物の顔画像）の平均スコア分布との面積差分が算出される。算出された面積差分が所定の閾値未満であれば，その検出対象画像が特定人物の顔画像と判別される。算出された面積差分が所定の閾値以上であれば，その検出対象画像は特定人物の顔画像とは判別されない。

図11は，上述した面積差分にもとづいて特定人物の顔画像かどうかを判別する処理手順を示すフローチャートである。

一般顔画像判別装置群80に検出したい特定人物の顔画像を表す画像データが複数駒分入力されており，上述したように特定顔の平均スコア分布は算出されているものとする。

まず，検出対象画像を表す画像データが一般顔画像判別装置群80に入力される（ステップ101）。一般顔画像判別装置群80を構成するＮ個の顔判別装置81〜8Nのそれぞれにおいてスコアが算出され，算出されたスコアから検出対象画像のスコア分布が算出される（ステップ102）。

検出対象画像のスコア分布と特定顔の平均スコア分布との面積差分が算出される（ステップ103）。算出された面積差分が所定の閾値以上でなければ（ステップ104でＮＯ），検出対象画像のスコア分布と特定顔の平均スコア分布とが近似していると見なされて，検出対象画像が特定人物の顔画像であると判定される（ステップ105）。算出された面積差分が所定の閾値以上であると（ステップ104でＹＥＳ），検出対象画像は特定人物の顔画像では無いと判定される（ステップ106）。

図12は，上述した面積差分にもとづいて検出対象画像が顔画像かどうかを判定するグラフ・マッチング回路83が設けられているディジタル・スチル・カメラの電気的構成を示すブロック図である。図12において，図６に示す回路と同一の回路については同一符号を付して説明を省略する。

ディジタル・スチル・カメラには顔検出回路74Ｃが含まれている。この顔検出回路74Ｃにおいて検出対象となる顔画像が検出される。検出された顔画像を表す画像データはスコア分布（特徴量／スコア変換関数）作成回路82に入力する。

このスコア分布作成回路82において上述した特定顔の平均スコア分布および特定顔の平均スコア分布が作成される。作成された分布を示すデータはグラフ・マッチング回路83に入力し，面積差分の算出および算出された面積差分と閾値との比較が行われる。特定人物の顔画像であると判定されると，その旨がＯＳＤ信号発生回路81に入力し，特定人物の顔画像に枠が付けられる。

上述の実施例においては，スコア分布の面積比にもとづいて特定人物の顔画像かどうかを判定しているが，面積比ではなくスコア分布の相関性にもとづいて近似していると判定された場合に特定人物の顔画像と判定するようにしてもよい。

図13から図15は，さらに他の実施例を示すもので，ディジタル・スチル・カメラに適用するものである。図13は，この実施例の処理手順を示すフローチャート，図14および図15は，ディジタル・スチル・カメラの背面図である。ディジタル・スチル・カメラには顔検出回路が含まれており，図１から図６を用いて説明したように，特定人物の顔画像を検出するように特徴量／スコア変換特性が更新されるものとする。

この実施例は，検出対象となる特定人物の顔画像をアイコンとするものである。そのアイコンが選択されることにより，特定人物の顔画像を検出するモードとなる。

図14に示すようにディジタル・スチル・カメラ120の背面には表示画面121が設けられている。表示画面の左側には，複数駒の被写体像122，127および130が表示されている。被写体像122には，顔画像123および124が含まれている。被写体像122の右側には，被写体像122に含まれている顔画像123および124が表示されている。また，これらの顔画像123および124の下にはチェック・ボックス125および126が形成されている。同様に，被写体像127には，顔画像128が含まれており，この顔画像128が被写体像127の右側に表示されている。被写体像127の右側に表示されている顔画像128の下にもチェック・ボックス129が形成されている。被写体像130には顔画像131，132および133が含まれている。被写体像130の右側にも，これらの顔画像131，132および133が表示されている。これらの顔画像131，132および133の下にもチェック・ボックス134，135および136が形成されている。

ユーザによって，検出しようとする特定人物の顔画像の下に形成されているチェック・ボックスがチェックされる。たとえば，顔画像123，128，132は同一人物の顔画像であり，その人物の顔画像を検出対象とする場合には，それらの顔画像123，128，132の下に形成されているチェック・ボックス125，129，135がチェックされる。これにより複数の特定顔が選択されることとなる（図13ステップ111）。

選択された複数駒の顔画像123，128，132を用いて，顔検出回路74に用いられる特徴量／スコア変換特性が顔画像123，128，132の特定人物の顔画像を検出するように更新される（図13ステップ112）。選択された複数駒の顔画像123，128，132の中から一つの顔画像がランダムに抽出される（図13ステップ113）。すると，抽出された顔画像がリサイズされて，その特定人物を検出するモードを設定するためのアイコンとしてディジタル・スチル・カメラに登録される（図13ステップ114）。

顔画像検出モードとなると（モード設定ボタン等によりモードが設定されよう），図15に示すように，複数の顔画像のアイコン141，142，143が表示画面121の左上に表示される。これらの複数の顔画像のアイコン141，142，143の下には，それぞれチェック・ボックス145，146，147が形成されている。これらのチェック・ボックス145，146，147のうちのいずれかのチェック・ボックスがチェックされると，そのチェックされたチェック・ボックスに対応するアイコンが選択されたものとなる（図13ステップ115）。選択されたアイコンによって特定される顔画像の検出モードとなる。たとえば，チェック・ボックス146がチェックされたものとすると，顔画像142によって特定される人物の顔画像を検出するモードとなる（図13ステップ116）。

たとえば，被写体を撮像することにより，図15に示すように表示画面121に被写体像150が表示されたものとする。被写体像150には三人の顔画像151，155，153が含まれている。アイコン142が選択されている場合には，そのアイコン142によって特定される人物の顔画像152が検出され，その顔画像152が枠155で表示される。

また，上述した実施例では，ユーザによって選択された顔画像からアイコンを生成しているが，特定人物の顔画像として検出された顔画像からアイコンを生成するようにしてもよい。

顔検出回路の電気的構成を示すブロック図である。特徴量算出方法と特徴量／スコア変換特性とを示している顔判別装置ごとの特定人物の顔画像の特徴量を示している。（Ａ）および（Ｂ）は，特徴量／スコア変換特性を示している。特徴量／変換特性の更新処理手順を示すフローチャートである。ディジタル・スチル・カメラの電気的構成を示すブロック図である。顔検出回路の電気的構成を示すブロック図である。特徴量算出方法と特徴量／スコア変換特性とを示している顔検出回路の電気的構成を示すブロック図である。特定顔の平均スコア分布と検出対象画像のスコア分布とを示している。特定顔の判定処理手順を示すフローチャートである。ディジタル・スチル・カメラの電気的構成を示すブロック図である。アイコン生成処理手順を示すフローチャートである。ディジタル・スチル・カメラの背面図である。ディジタル・スチル・カメラの背面図である。

符号の説明

10 顔画像判別装置群（対象画像判別装置群）
11〜1N，81〜8N，91〜9N 顔判別装置
71 特徴量／スコア変換特性更新回路（特性更新手段）
72 重み分布生成回路
73 平均特徴量算出回路（平均特徴量算出手段）
74，74Ａ，74Ｂ，74Ｃ顔検出回路
80 一般顔画像判別装置群（一般対象画像判別装置群）
82 スコア分布作成回路（特徴量／スコア変換関数生成手段）
83 グラフ・マッチング回路
90 特定顔画像判別装置群（特定対象画像判別装置群）
100 重み付けスコア判定装置（判別手段）

Claims

画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力する一般対象画像判別装置群，
上記一般対象画像判別装置群と並列に接続され，かつある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量が上記対象画像判別装置ごとに算出された上記対象画像判別装置ごとの平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，上記一般対象画像判別装置群に入力した画像データと同じ画像データによって表される画像が上記特定対象画像かどうかを判別する特定対象画像判別装置であって，スコアを算出するための特徴がそれぞれの特定対象画像判別装置ごとに異なる特定対象画像判別装置が複数個分縦続接続されており，特定対象画像と判別された画像を表す画像データを次段の特定対象画像判別装置に入力する特定対象画像判別装置群，および
上記一般対象画像判別装置群を構成する対象画像判別装置ごとに決定されたスコアと上記特定対象画像判別装置群を構成する特定対象画像判別装置ごとに決定されたスコアとにもとづいて，上記一般対象画像判別装置群および上記特定対象画像判別装置群に入力した画像によって表される画像が特定対象画像かどうかを判別し，判別結果を出力する判別手段，
を備えた特定対象画像判別システム。
上記ある特定された対象物を表す特定対象画像がリサイズされた特定対象アイコン画像を生成する特定対象アイコン画像生成手段，
上記特定対象アイコン画像生成手段によって生成された特定対象アイコン画像を表示画面上に表示するように表示装置を制御する表示制御手段，および
上記表示制御手段の制御のもとに表示された特定対象画像アイコン画像が指定されたことに応じて，指定された特定対象アイコン画像によって表される特定対象画像の判別処理を行うように上記特定対象画像判別システムを制御するシステム制御手段，
をさらに備えた請求項１に記載の特定対象画像判別システム。
一般対象画像判別装置群が，画像の特徴を表わす特徴量を，その特徴量に応じたスコアに変換する特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，入力した画像データによって表される画像が対象物を表す対象画像かどうかを判別する対象画像判別装置であって，スコアを決定するための特徴がそれぞれの対象画像判別装置ごとに異なる対象画像判別装置が複数個分縦続接続されており，対象画像と判別された画像を表す画像データを次段の対象画像判別装置に入力し，
特定対象画像判別装置群が，上記一般対象画像判別装置群と並列に接続され，かつある特定された対象物を表す複数の特定対象画像の特徴の平均特徴量が上記対象画像判別装置ごとに算出された上記対象画像判別装置ごとの平均特徴量に近いほどスコアが大きくなるような特定対象物検出用特徴量／スコア変換特性にしたがって，入力する画像データによって表される画像のスコアを決定し，決定されたスコアにもとづいて，上記一般対象画像判別装置群に入力した画像データと同じ画像データによって表される画像が上記特定対象画像かどうかを判別する特定対象画像判別装置であって，スコアを決定するための特徴がそれぞれの特定対象画像判別装置ごとに異なる特定対象画像判別装置が複数個分縦続接続されており，特定対象画像と判別された画像を表す画像データを次段の特定対象画像判別装置に入力し，
判別手段が，上記一般対象画像判別装置群を構成する対象画像判別装置ごとに決定されたスコアと上記特定対象画像判別装置群を構成する特定対象画像判別装置ごとに決定されたスコアとにもとづいて，上記一般対象画像判別装置群および上記特定対象画像判別装置群に入力した画像によって表される画像が特定対象画像かどうかを判別し，判別結果を出力する，
特定対象画像判別システムの制御方法。