JP4474885B2 - 画像分類装置及び画像分類プログラム - Google Patents

Description

本発明は、画像データを分類する画像分類装置及び画像分類プログラムに関する。

従来、デジタルスチルカメラなどを用いてデジタル画像を撮影し、その撮影された画像データをＰＣ（Personal Computer）などに取り込んで、その画像データを種々の項目に基づいて分類していた。例えば、ユーザの操作入力に基づいて手動で分類する方法があった。

例えば、被写体の種別に応じたコードが被写体撮影時にユーザにより入力され、その入力されたコードを撮影画像データに対応して記録し、その画像データの再生時に、ユーザがコードを指定入力することで、目的のコードに応じた画像データを検索可能とするように、画像データを分類する構成が考えられている（例えば、特許文献１参照）。

また、画像撮影時に画像データとともに撮影日時情報を記録し、画像データの撮影日付順に基づいて画像データを自動で並べ替える方法があった。

また、従来、画像データの被写体の解析方法として、画像データ中の人物の顔に相当する領域を抽出し、その抽出された領域の数をカウントすることにより、画像データ中の人物の人数を解析する構成が考えられていた（例えば、特許文献２参照）。
特開平５−３４４４６０号公報 特開平９−２８１６０５号公報

しかし、特許文献１に記載の構成のように、被写体の種別に応じたコードをユーザが操作入力する構成では、撮影時にユーザの操作入力が必要であるため、分類処理が煩わしくなるおそれがあった。また、撮影後に撮影した画像データをユーザの操作入力に基づいて分類する構成でも、同様に分類処理が煩わしくなるおそれがあった。

また、撮影日付順に画像データを並べ替える構成では、画像データ内容に基づいて分類することができなかった。また、特許文献２に記載の構成によれば、画像データ内容として、画像データ中の人物の人数の解析が可能である。しかし、人物の人数に基づいて画像データを分類することは稀であり、画像データ内の人物の顔の特徴に基づく画像データの分類の要請がある。

本発明の課題は、画像データ内の人物の顔などの画像の特徴に基づいて画像データを自動的に分類することである。

請求項１に記載の発明は、複数の画像データを分類する画像分類装置において、１つの画像データ中から複数の部分画像を抽出する部分画像抽出部と、前記抽出された複数の部分画像から分類対象とする部分画像を選択する部分画像選択部と、前記選択された部分画像を用いて該部分画像を含む画像データを分類する分類部と、を備え、前記部分画像選択部は、前記抽出された複数の部分画像の中で最も画像データの中心点に近い部分画像の中心点までの距離と、前記抽出された複数の部分画像の中で最も面積の大きい部分画像の面積との２つのパラメータを同時に用いて、分類対象とする部分画像を選択するものであり、前記抽出された複数の部分画像の中で最も画像データの中心点に近い部分画像の中心点までの距離が所定以内であり、且つ、前記抽出された複数の部分画像の中で最も面積の大きい部分画像の面積が所定以内である場合には、最も画像データの中心点に近い部分画像を選択し、前記抽出された複数の部分画像の中で最も画像データの中心点に近い部分画像の中心点までの距離が所定以上であり、且つ、前記抽出された複数の部分画像の中で最も面積の大きい部分画像の面積が所定以上である場合には、最も大きい面積の部分画像を選択することを特徴とする。

請求項２に記載の発明は、分類種別及び当該分類種別に対応する登録画像を記憶する記憶部と、前記選択された部分画像と、前記記憶部に記憶された登録画像とを照合する照合部と、を備え、前記分類部は、前記照合により前記選択された部分画像に類似すると判別された登録画像の分類種別に対応付けて、前記画像データを分類することを特徴とする。
請求項３に記載の発明は、前記分類部は、前記選択された部分画像に最も類似すると判別される登録画像の分類種別に対応付けて、前記画像データを分類し、当該分類された画像データを前記記憶部に記憶することを特徴とする。
請求項４に記載の発明は、前記部分画像選択部は、前記各画像データから部分画像を１つ選択し、前記分類部は、前記照合により前記選択された部分画像に類似すると判別される１つの登録画像の１つの分類種別に対応付けて、前記画像データを分類することを特徴とする。
請求項５に記載の発明は、前記部分画像選択部は、前記各画像データから部分画像を複数選択し、前記分類部は、前記照合により前記選択された部分画像に類似すると判別される複数の登録画像の複数の分類種別に対応付けて、前記画像データを分類することを特徴とする。
請求項６に記載の発明は、前記部分画像選択部は、所定以上の面積を有する部分画像を複数選択することを特徴とする。
請求項７に記載の発明は、前記分類部は、前記照合により前記選択された前記部分画像に類似すると判別される登録画像がない場合に、前記選択された部分画像を新たな登録画像として前記記憶部に記憶することを特徴とする。
請求項８に記載の発明は、前記画像データは人物が写っている写真であり、前記登録画像は人物の登録顔画像であり、前記部分画像は前記人物の顔画像部分であり、前記写真に写っている顔部分画像に応じて前記写真を分類するものであることを特徴とする。

本発明によれば、画像データ中から部分画像を抽出し、当該抽出された部分画像から分類対象とする部分画像を選択し、この選択された部分画像を用いて該部分画像を含む画像データを分類するので、画像データ中の部分画像の特徴に基づいて当該画像データを自動的に分類することができ、更に、前記抽出された複数の部分画像の中で最も画像データの中心点に近い部分画像の中心点までの距離と、前記抽出された複数の部分画像の中で最も面積の大きい部分画像の面積との２つのパラメータを同時に用いて、分類対象とする部分画像を選択するようにしたので、１つの画像データ中から複数の部分画像が抽出された場合であっても、各部分画像の位置と面積との兼ね合いによって分類対象とする部分画像を選択することができる。

以下、添付図面を参照して本発明に係る第１及び第２の実施の形態を順に説明する。

（第１の実施の形態）
図１〜図１２を参照して、本発明に係る第１の実施の形態を説明する。先ず、図１〜図４を参照して、本実施の形態の装置構成を説明する。図１に、本実施の形態の画像分類システム１００の構成を示す。図２に、本実施の形態のデジタルカメラ１の外観を示し、（ａ）に主に前面の構成を示し、（ｂ）に主に背面の構成を示す。図３に、デジタルカメラ１の内部構成を示す。図４に、ＰＣ４０の内部構成を示す。

本実施の形態の画像分類システム１００は、デジタル画像を撮影する画像撮影装置としてのデジタルカメラ１と、デジタルカメラ１により撮影された画像データを分類する画像分類装置としてのＰＣ４０とを備えて構成される。

図２に示すように、デジタルカメラ１は、略矩形のボディ前面に、撮影レンズ２、セルフタイマランプ３、光学ファインダ窓４、及びストロボ発光部５が配設され、上面には電源キー６及びシャッタキー７が配される。

撮影レンズ２は、例えば単焦点で且つ固定焦点であるものとする。
電源キー６は、１回押圧操作する毎に電源をオン／オフするキーであり、シャッタキー７は、撮影モード時にレリーズを指示する一方で、メニュー選択などでは設定／実行を指示するキーとしても機能するものとする。

また、デジタルカメラ１の背面には、モードスイッチ（ＳＷ）８、メニューキー９、十字キー１０、光学ファインダ１１、ストロボチャージランプ１２及び表示部１３を配する。
モードスイッチ８は、例えばスライドスイッチにより構成され、撮影モード「Ｒ」と再生モード「Ｐ」とを切換える。
メニューキー９は、各種メニュー選択時に操作する。
表示部１３は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてモニタ表示を行なう一方で、再生モード時には選択した画像を再生表示する。

なお、図示はしないがこのボディ下面には蓋付きのメモリカードスロットが設けられ、このデジタルカメラ１の記録媒体であるメモリーカードが着脱自在に装着されるものとする。また、図示しないが、外部機器と通信するためのケーブルを接続するためのコネクタのスロットも設けられる。

次いで図３により上記デジタルカメラ１の電子回路構成を説明する。
撮影モードでのモニタリング状態においては、モータ（Ｍ）２１の駆動により絞り位置が移動される、撮影レンズ２を含むレンズ光学系２２の撮像素子であるＣＣＤ２３が、タイミング発生器（ＴＧ）２４、垂直ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換され、カラープロセス回路２８で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Direct Memory Access）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、カラープロセス回路２８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行なう。

制御部３２は、ＣＰＵと、後述する色強調処理を含むＣＰＵで実行される動作プログラムを固定的に記憶したＲＯＭ及びワークメモリとして使用されるＲＡＭなどにより構成され、このデジタルカメラ１全体の制御動作を司るもので、上記輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書込む。
デジタルビデオエンコーダ３５は、上記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部１３に出力する。

この表示部１３は、上述した如く撮影モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示することとなる。
このように表示部１３にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、静止画撮影を行ないたいタイミングでキー入力部３６を構成するシャッタキー７を操作すると、トリガ信号を発生する。

制御部３２は、このトリガ信号に応じてその時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。
この記録保存の状態では、制御部３２がＤＲＡＭ３１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出してＪＰＥＧ（Joint Photograph coding Experts Group）回路３７に書込み、このＪＰＥＧ回路３７でＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化などの処理によりデータ圧縮する。

そして、得た符号データを１画像のデータファイルとしてＪＰＥＧ回路３７から読出し、このデジタルカメラ１の記録媒体として着脱自在に装着されるメモリーカード内に封入された、不揮発性メモリであるフラッシュメモリ３８に書込む。さらにフラッシュメモリ３８は別にデジタルカメラ１に内蔵されていてもよい。
そして、１フレーム分の輝度及び色差信号の圧縮処理及びフラッシュメモリ３８への全圧縮データの書込み終了に伴なって、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

キー入力部３６は、電源キー６、シャッタキー７、モードスイッチ８、メニューキー９及び十字キー１０から構成され、それらのキー操作に伴なう信号は直接制御部３２へ送出される。
上記再生モード時には、制御部３２がフラッシュメモリ３８に記録されている画像データを選択的に読出し、ＪＰＥＧ回路３７で画像撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に展開して記憶させた上で、このＶＲＡＭ３４より定期的に読出し、これらの画像データを元にビデオ信号を発生して表示部１３で再生出力させる。

なお、キー入力部３６のシャッタキー７が２段階のストロークで動作し、一般的に「半押し」と表現されている第１段階の操作状態でＡＥ（自動露光）処理やＡＦ（オートフォーカス）処理を始めとする撮影の準備を行ない、一般的に「全押し」と表現されている、より強く押圧操作した第２段階の操作状態で撮影を実行するものとする。

なお、以上の構成はデジタルカメラにおける代表的な構成例を示したに過ぎず、他の構成を有するものであってもよいことはいうまでもない。例えば、デジタルカメラとしては薄型でなくてもよい。
また、画像撮影装置としては、デジタルカメラに限るものではなく、画像撮影機能を有する携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistants）などでもよい。

また、図４に示すように、ＰＣ４０は、各部を中央制御するＣＰＵ４１と、ユーザの入力を受付ける入力部４２と、データを一時的に格納するＲＡＭ４３と、表示データを表示する表示部４４と、データを記憶する記憶部４５と、外部機器との通信を制御する通信制御部４６とを備えて構成され、各部はバス４７により接続される。

ＣＰＵ４１は、記憶部４５に記憶されている各種プログラムの中から指定されたプログラムを適宜ＲＡＭ４３のワークエリアに展開するなどしながら、各種制御を実行する。この構成における各種制御の主体を制御部４１１とする。制御部４１１は、部分画像抽出部、部分画像選択部、照合部、分類部として機能する。

入力部４２は、カーソルキー、数字入力キー及び各種機能キーなどを備えたキーボードを含み、マウスなどのポインティングデバイスを含む構成とする。入力部４２は、ユーザによりキーボードで押下された押下信号やポインティングデバイスの位置信号をＣＰＵ４１に出力する。表示部４４は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）などで構成され、ＣＰＵ８１からの表示信号に従って、画面表示を行う。

記憶部４５は、各種プログラム、各種データなどが予め記憶されまたは書込み可能な記録媒体（図示せず）を有し、当該記録媒体が、磁気的、光学的記録媒体若しくは半導体などの不揮発性メモリなどのＣＰＵ４１読取り可能な記録媒体で構成されている。記録媒体としては、例えば、ハードディスクドライブなどのように固定された記録媒体を用いる構成でもよく、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭなどの可搬な記録媒体を用いる構成でもよい。また、既に説明したＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶手段の例の他にも、例えば、Blu-ray Disc（Ｒ）やAOD(Advanced Optical Disc)などの青色レーザを用いた次世代光ディスク記憶媒体、赤色レーザを用いるHD-DVD9、青紫色レーザーを用いるBlue Laser DVDなど、今後開発される種々の大容量記憶媒体を用いることが可能である。
また、記憶部４６には、第１の画像分類プログラムが記憶される。

通信部４６は、デジタルカメラ１により記憶されたフラッシュメモリ３８を有するメモリーカードなどが差し込まれるアダプタを有する。通信部４６は、そのメモリーカード内のデータを読み出すことによりフラッシュメモリ３８内の画像データを取得可能である。また、通信部４６は、デジタルカメラ１と接続された通信ケーブルのコネクタを差し込むためのスロットを有する。通信部４６は、その通信ケーブルを介してデジタルカメラ１とデータ通信を可能とし、デジタルカメラ１から画像データを受信して、デジタルカメラ１の画像データを取得可能である。また、通信部４６は、外部機器と通信ネットワークを介して通信可能とし、その通信ネットワークを介して外部機器から画像データを受信可能な構成としてもよい。

次いで、図５を参照して、ＰＣ４０の記憶部４５のハードディスクなどに記憶される登録テーブル５０を説明する。図５に、登録テーブル５０の構成を示す。登録テーブル５０は、画像データの分類種別ごとに、画像データを分類するためのデータを有するテーブルである。分類種別は、画像データの被写体の人物の特徴に基づいて設定される。

登録テーブル５０は、分類種別を識別する番号５１と、分類種別に応じた登録顔画像５２と、分類種別を表す名前５３と、分類種別に応じて画像ファイルのファイル名に付加される付加ファイル名５４と、分類種別に応じて記憶部４５に記憶されている現在の保存画像数５５と、を有する。

登録テーブル５０においては、分類種別が、パパ、ママ、じいじなどの、家族の構成員を分類するための種別であるが、これに限るものではない。例えば、友達、職場の同僚などの、他の分類種別が設定される構成でもよい。

登録テーブル５０内の各データは、ユーザによる入力部４２からの操作入力などにより、変更可能である。また、例えば、ＰＣ４０において、通信部４６を介して、デジタルカメラ１又は外部機器から画像データを受信して記憶部４５に記憶し、ユーザによる入力部４２からの操作入力により、当該記憶された画像データから画像データを選択して登録顔画像５２に登録する。

次に、図６〜図１２を参照して、画像分類システム１００の動作を説明する。図６に、第１の画像分類処理を示す。図７に、第１の画像分類処理中の第１の顔部分選択処理を示す。図８に、第１の画像分類処理中の第２の顔部分選択処理を示す。図９に、第１の画像分類処理中の第３の顔部分選択処理を示す。図１０に、顔部分の選択に用いる閾値を示すグラフを示す。図１１に、第１の画像分類処理中の第１の画像照合及び分類処理を示す。図１２に、第１の画像分類処理中の第２の画像照合及び分類処理を示す。

予め、ユーザによりデジタルカメラ１を用いて、被写体として人物を含む画像データが撮影され、その撮影された画像データがフラッシュメモリ３８に記録される。そして、デジタルカメラ１のフラッシュメモリ３８を含むメモリーカードが、通信部４６にセットされて撮影画像データが読み出されて、あるいは通信部４６にデジタルカメラ１がケーブル接続されてデジタルカメラ１から撮影画像データが受信され、その撮影画像データが記憶部４５に記憶される。この記憶された画像データを分類対象の画像データとする。

ＰＣ４０において実行される、複数の画像データを分類する第１の画像分類処理を説明する。ユーザにより入力部４２から第１の画像分類処理の実行開始指示が入力されたことをトリガとして、ＣＰＵ１１により、記憶部４５から第１の画像分類プログラムが適宜読み出されてＲＡＭ４３に展開され、ＲＡＭ４３上の第１の画像分類プログラムとＣＰＵ４１との協働により第１の画像分類処理が実行される。この構成において、以下で説明する各ステップの制御主体は制御部４１１であるとする。

先ず、記憶部４５に記憶された分類対象の画像データのうちから、未選択の画像データが１つ選択される（ステップＳ１）。そして、ステップＳ１において選択された画像データ中の人物の顔の輪郭が１つ又は複数の顔部分として抽出される（ステップＳ２）。人物の顔部分の抽出方法は、例えば、先ず、隣り合う画素同士の濃度差から輪郭を抽出する方法や、複数の画素からなるマスクを用いて、そのマスクにおける一次又は二次微分量により輪郭を抽出する方法により輪郭部分が抽出され、また、抽出された輪郭の内部が一般的な肌色であるか否かの判別により、人物の顔部分が抽出される。また、各画素に対する色相値及び彩度値を算出し、当該色相値及び当該彩度値の二次元ヒストグラムを用いて色相値及び彩度値が類似する領域を抽出し、その抽出された領域とサンプルの顔画像データとの比較による特徴量算出抽出により、人物の顔部分が抽出される構成としてもよい。

そして、ステップＳ２において抽出された顔部分が１箇所であるか否かが判別される（ステップＳ３）。ここでは、抽出される顔部分が少なくとも１つであることを前提としているが、抽出された顔部分が無い場合には、第１の画像分類処理を終了するなどの構成としてもよい。

そして、顔部分が１箇所である場合（ステップＳ３；ＹＥＳ）は、ステップＳ２において抽出された１つの顔部分が選択されて（ステップＳ７）、ステップＳ５に移行される。一方、顔部分が１箇所でない場合（ステップＳ３；ＮＯ）は、抽出された顔部分が複数であるということになるので、その複数の顔部分から１つの顔部分を選択する顔部分選択処理が実行される（ステップＳ４）。この顔部分選択処理の例として、第１、第２及び第３の顔部分選択処理を後述する。

そして、ステップＳ４又はステップＳ７で選択された顔部分と、記憶部４５に記憶された登録テーブル５０の登録顔画像５１とを照合し、照合結果に基づいて、画像データを分類種別ごとに画像ファイルとして記憶する画像照合及び分類処理が実行される（ステップＳ５）。この画像照合及び分類処理の例として、第１及び第２の画像照合及び分類処理を後述する。

そして、ステップＳ１において分類対象の全ての画像データが選択されたか否かが判別される（ステップＳ６）。分類対象の全ての画像データが選択されていない場合（ステップＳ６；ＮＯ）は、ステップＳ１に移行される。分類対象の全ての画像データが選択されている場合（ステップＳ６；ＹＥＳ）は、第１の画像分類処理が終了される。

ここで、図７を参照して、図６のステップＳ４の一例としての第１の顔部分選択処理を説明する。第１の顔部分選択処理は、画像データの中心点から各顔部分の重心位置への距離に基づいて顔部分を選択する処理である。

顔部分が１箇所でない場合（ステップＳ３；ＮＯ）は、ステップＳ２において抽出された顔部分ごとに重心位置が算出される（ステップＳ４１）。例えば、剛体の重心位置計算と同様に、各画素に均一の重み付けをして顔部分の重心位置を算出する。また、各画素の色などにより重み付けを変化させてもよい。

そしてさらに、画像データの中心点（一枚の写真全体の中央の点）が算出され、ステップＳ４１において算出された各顔部分の重心位置と、画像データの中心点との間の距離が最も小さい顔部分が１つ選択され（ステップＳ４２）、ステップＳ５に移行される。画像データの中心点に最も近い位置に写っている顔は、その写真のなかで最も中央に近い位置に写っている人物であり、画像データ中の人物を代表する人物であると類推できるためである。

次いで、図８を参照して、図６のステップＳ４の一例としての第２の顔部分選択処理を説明する。第２の顔部分選択処理は、各顔部分の面積に基づいて顔部分を選択する処理である。

顔部分が１箇所でない場合（ステップＳ３；ＮＯ）、ステップＳ２において抽出された顔部分ごとに面積が算出される（ステップＳ４３）。面積は、例えば、画素数で表される。そして、ステップＳ４３において算出された各顔部分の面積のうち最大の面積の顔部分が１つ選択され（ステップＳ４４）、ステップＳ５に移行される。最大の面積の顔部分に対応する人物は、その写真で最も大きく顔が写っている人物であるということができ、画像データ中の人物を代表する人物であると類推できるためである。

次いで、図９を参照して、図６のステップＳ４の一例としての第３の顔部分選択処理を説明する。第３の顔部分選択処理は、画像データの中心点から各顔部分の重心位置への距離と、各顔部分の面積との兼ね合いによって顔部分を選択する処理である。

顔部分が１箇所でない場合（ステップＳ３；ＮＯ）、ステップＳ２において抽出された顔部分ごとに重心位置が算出される（ステップＳ４５）。そして、画像データの中心点が算出され、ステップＳ４１において算出された各顔部分の重心位置と、画像データの中心点との間の距離が最も近い顔部分が１つ抽出される（ステップＳ４６）。

そして、重心位置と画像データの中心点との間の距離が最も小さい顔部分に対応する距離が、予め設定された所定の閾値よりも小さいか否かが判別される（ステップＳ４７）。距離が所定の閾値よりも小さい場合（ステップＳ４７；ＹＥＳ）は、抽出された顔部分が中心から近く、画像データ中の人物を代表する人物の顔部分と判別できるので、ステップＳ４６において抽出された顔部分が選択され（ステップＳ４Ａ）、ステップＳ５に移行される。

一方、距離が所定の閾値よりも小さくない場合（ステップＳ４７；ＮＯ）は、抽出された顔部分が中心から離れており、画像データ中の人物を代表する人物の顔部分とは判別できないものと考えられることから、ステップＳ２において抽出された顔部分ごとに面積が算出される（ステップＳ４８）。そして、ステップＳ４８において算出された各顔部分の面積のうち最大の面積の顔部分が１つ選択され（ステップＳ４９）、ステップＳ５に移行される。

また、画像データの中心点から各顔部分の重心位置への距離と、各顔部分の面積とに基づいて顔部分を選択する場合に、図１０に示すグラフを用いて顔部分を選択してもよい。図１０に示すグラフは、縦軸に、最も画像データの中心点に近い顔部分に対応する重心位置と画像データの中心点との距離値を示し、横軸に、最も面積が大きい顔部分に対応する面積値を示す。つまり、当該距離値及び面積値を算出し、その算出点が、領域Ａ１及び領域Ａ２のいずれに含まれるかに基づいて顔部分が選択される判断の境界を示しているものであり、顔画像部分の写真中央からの距離と、顔画像部分の面積との２つのパラメータを用いて、いずれの顔画像を選択するかについて、より一般的な解を与えるものである。

この図１０では、算出点が領域Ａ１に含まれる場合に、最も中心点に近い顔部分が選択され、算出点が領域Ａ２に含まれる場合に、最も大きい顔部分が選択されるという例が示されている。図１０に示すグラフは、例えば、ユーザなどにより予め領域間の境界線が設定され、記憶部４５に記憶される構成である。

次に、図１１を参照して、図６のステップＳ５の一例としての第１の画像照合及び分類処理を説明する。第１の画像照合及び分類処理は、選択された顔部分の画像データを、記憶部４５に記憶された登録テーブル５０の登録顔画像５１に対応する各分類種別のいずれかに必ず対応させるという前提で、選択された顔部分と、登録テーブル５０の登録顔画像５２とを照合し、照合結果に基づいて画像データを分類種別ごとに画像ファイルとして記憶する処理である。

ステップＳ４又はＳ７の実行後、先ず、選択された顔部分と、登録テーブル５０の登録顔画像５１とが照合される（ステップＳ５１）。照合方法としては、例えば、顔部分と、登録顔画像とのそれぞれの複数の比較ポイントを設定して、対応する各比較ポイントの特徴量を解析することにより照合する方法や、顔画像範囲全体にわたって相関値を求め、この相関値を比較するなどの方法による。

そして、選択された顔部分に最も似ている、登録顔画像５２中の登録顔画像が決定される（ステップＳ５２）。登録顔画像の決定は、例えば、上記比較ポイントを用いる照合による場合は、解析された特徴量において、選択された顔部分の特徴量と最も近い特徴量を有する登録顔画像に決定される。また、上記顔画像範囲全体における相関値を用いる照合による場合は、最も相関が高い登録顔画像に決定される。

そして、ステップＳ５３において決定された顔画像の分類種別が選択される（ステップＳ５３）。例えば、図５に示した登録テーブル５０の例において、決定された登録顔画像に対応する登録テーブル５０の番号５１が選択される。そして、ステップＳ５３において選択された分類種別（番号５１）に基づいて、付加ファイル名５３の付加ファイル名が決定され、決定された付加ファイル名に基づいて画像データのファイル名が決定され、画像データが、そのファイル名ともに画像ファイルとして記憶部４５に記憶され、分類種別に対応する、現在の保存画像数５５が＋１されて変更され（ステップＳ５４）、ステップＳ６に移行される。

ファイル名は、例えば、付加ファイル名＋現在の保存画像の通番＋拡張子で決定される。例えば、登録テーブル５０において、分類種別が番号１のパパである場合、付加ファイル名が“father”であり、また現在の保存画像数が７枚であるので、ファイル名が“father008.jpeg”に決定され、現在の保存画像数が７から８に変更される。なお、ファイル名の命名規則はこの構成に限るものではなく、例えば、ファイル名が“008.jpeg”に決定され、作成された画像ファイルの格納場所をフォルダ名“father”のフォルダに格納するなどの構成としてもよい。

次に、図１２を参照して、図６のステップＳ５の一例としての第２の画像照合及び分類処理を説明する。第２の画像照合及び分類処理は、選択された顔部分について、記憶部４５に記憶された登録テーブル５０の登録顔画像５１のなかに、ある程度以上似ていて同一人物の顔画像であるものと判断できる分類種別がない場合には、今回新たに分類処理対象とされた顔部分画像を新規登録顔画像として登録して、顔画像データを分類種別ごとに画像ファイルとして記憶する処理である。

先ず、ステップＳ５５及びＳ５６は、図１１のステップＳ５１及びＳ５２と同様である。そして、選択された顔部分に対する、ステップＳ５６において決定された登録顔画像５２中の登録顔画像の類似度が、予め設定された所定の閾値以上であるか否かが判別される（ステップＳ５７）。類似度は、例えば、ステップＳ５５において算出された比較ポイントの特徴量や、顔画像どうしの相関値などである。

登録顔画像の類似度が所定の閾値以上でない場合（ステップＳ５７；ＮＯ）は、選択された顔部分が登録顔画像５２中のどの登録顔画像にも属しない新規なものであるので、その顔部分が登録顔画像５２中の新規登録顔画像として設定され、その新規登録顔画像が登録される（ステップＳ５８）。選択された顔部分を登録顔画像５２に登録する場合、自動的に登録する方法と、入力部４２からのユーザの操作入力に基づいて登録する方法などがある。自動的に登録する場合、例えば、番号５１、名前５３及び付加ファイル名５４は仮のものが自動的に設定され、当該自動的に設定された項目が後で入力部４２からのユーザの操作入力に基づいて変更可能とする。ユーザ入力により登録する場合、番号５１、名前５３及び付加ファイル名５４は、ユーザに入力されたものが設定される。

そして、ステップＳ５８において決定された顔画像の分類種別が選択される（ステップＳ５９）。ステップＳ５Ａ及びＳ５Ｂは、図１１のステップＳ５４及びＳ５３と同様である。ステップＳ５Ｂの実行後、ステップＳ５Ａに移行される。

以上、本実施の形態によれば、画像データ中の人物の顔部分を抽出し、当該抽出された顔部分から分類対象の顔部分を選択し、当該顔部分と登録テーブル５０の登録顔画像５２との照合により、前記選択された顔部分と類似すると判別される登録顔画像に対応する分類種別に対応付けて、画像データを分類するので、画像データ中の人物の顔の特徴に基づいて当該画像データを自動的に分類することができる。

また、分類された画像データを、分類種別に基づくファイル名とともに画像ファイルとして記憶部４５に記憶するので、分類種別に対応するファイル名を用いて画像データを容易に検索することができる。

また、第１の顔画像選択処理によれば、画像データの中心点から顔部分の重心位置への距離が最も近い顔部分を選択するので、当該画像データの中心点から顔部分の重心位置への距離が最も近い顔部分の人物を画像データの適切な代表人物として選択できる。
また、第２の顔画像選択処理によれば、最大の面積の顔部分を選択するので、最大の顔部分の人物を画像データの適切な代表人物として選択できる。

また、第３の顔画像選択処理などによれば、画像データの中心点から顔部分の重心位置への距離が最も近いという条件と、顔部分の面積が最大である条件を組み合わせて顔部分を選択するので、画像データのさらに適切な代表人物を選択できる。

また、本実施の形態によれば、各画像データ中の顔部分を１つ選択し、当該選択された顔部分と類似すると判別される１つの登録顔画像の分類種別に対応するファイル名とともに、画像データを画像ファイルとして記憶するので、１種類の画像データにつき１つの分類種別を対応させて記憶し、複数の分類種別を対応させる場合に比べて全体としての画像データの記憶容量を軽減することができる。

また、第２の画像照合及び分類処理によれば、選択された顔部分と類似すると判別される登録顔画像がない場合に、当該選択された顔部分を登録顔画像として新規に登録テーブル５０の登録顔画像５２に登録するので、多様な人物に対応して登録顔画像５２を変更して画像データを分類することができる。

（第２の実施の形態）
図１３を参照して、本発明に係る第２の実施の形態を説明する。本実施の形態は、ある画像データから人物の顔の輪郭が複数抽出された際に、上記第１の実施の形態のように、そのうちの一つを選択して、その一つの顔画像のみに基づいて分類を行うのではなく、所定以上の大きさの顔あるいは中心の近傍の所定範囲に写っている顔すべてについて、その顔が誰の顔であるかを認識して分類するようにしたものである。図１３に、本実施の形態の第２の画像分類処理を示す。本実施の形態の装置構成は、第１の実施の形態と同様である。また、ＰＣ４０の記憶部４５には、第１の画像分類プログラムに代えて、第２の画像分類プログラムが記憶されている。

次に、図１３を参照して、画像分類システム１００の動作を説明する。予め、ユーザによりデジタルカメラ１を用いて、被写体として人物を含む画像データが撮影され、その撮影によりフラッシュメモリ３８に記録された画像データが、メモリーカード又は通信ケーブルなどを介して、ＰＣ４０の通信部４６から入力され、記憶部４５に記憶されている。

ＰＣ４０において、複数の画像データを分類する第１の画像処理を説明する。ユーザにより入力部４２から第２の画像分類処理の実行開始指示が入力されたことをトリガとして、ＣＰＵ１１により、記憶部４５から第２の画像分類プログラムが適宜読み出されてＲＡＭ４３に展開され、ＲＡＭ４３上の第２の画像分類プログラムとＣＰＵ４１との協働により第２の画像分類処理が実行される。この構成において、以下で説明する各ステップの制御主体は制御部４１１であるとする。

先ず、ステップＳ６１，Ｓ６２，Ｓ６３，Ｓ６４，Ｓ６５，Ｓ６６は、順に、図６の第１の画像分類処理のステップＳ１，Ｓ２，Ｓ３，Ｓ７，Ｓ５，Ｓ６と同様のステップである。顔部分が１箇所でない場合（ステップＳ６３；ＮＯ）は、ステップＳ６２において抽出された顔部分が複数であり、その複数の顔部分全ての面積が算出される（ステップＳ６７）。

そして、ステップＳ６７において算出された面積のうちの所定値以上の面積の顔部分が少なくとも１つ選択される（ステップＳ６８）。つまり、所定値以上の面積を有する顔部分は、その数に限らず、重要で代表的な人物の顔部分であるとみなして選択されるものである。

そして、ステップＳ６８において選択された１以上の顔部分について、ステップＳ６５と同様の画像照合及び分類処理が実行され（ステップＳ６９）、ステップＳ６６に移行される。ステップＳ６９における画像照合及び分類処理は、登録テーブル５０の登録顔画像５２のうちから複数の登録顔画像が決定可能であり、複数の登録顔画像が決定された場合に、複数の分類種別に対応して複数の画像ファイルが記憶部４５に記憶される。

以上、本実施の形態によれば、画像データ中の顔部分が複数ある場合に、顔部分を複数選択し、当該選択された顔部分に類似すると判別される複数の登録顔画像の分類種別に対応するファイル名とともに、当該画像データを複数の画像ファイルとして記憶するので、１つの分類種別を対応させる場合に比べて分類種別の人物に対してより多くの画像データを分類でき、１つの分類種別をキーとしてより多くの画像データを検索することができる。また、これにより、「自分が写っている写真」であるとか、「○○さんが写っている写真」といった写真がそれぞれ一まとめにして分類されるため、何人かのグループで旅行に行ったような場合でも、グループの各人にその人が写っている写真を配布するためにユーザが頓雑な分類作業をしなくて済むようになる。

なお、上述した各実施の形態における記述は、本発明に係る好適な画像分類装置の一例であり、これに限定されるものではない。
また、上記各実施の形態では、画像撮影装置としてのデジタルカメラ１と、画像分類装置としてのＰＣ４０を有する画像分類システム１００を説明したが、この構成に限るものではなく、例えば、デジタルカメラなどの画像撮影装置に画像分類機能を付加して画像分類装置とする構成でもよい。

また、上記各実施の形態では、顔部分の重心位置を求め、その重心位置と画像データの中心位置との距離を判断指標として算出する構成があるが、これに限るものではなく、例えば、画像データの中心位置と、顔部分中の当該中心位置に最も近い画素位置との距離などを判断指標として算出する構成でもよい。

また、上述した各実施形態では、人物が写っている写真（画像データ）に対して、顔画像部分を抽出して、写っている顔画像に応じて写真を分類する場合を例にとって説明したが、被写体となる物体や分類対象とする部分画像は、この他にも種々のものに適用することが可能である。

例えば、バードウォッチングの際に撮影された写真に対し、そこに写っている鳥の部分画像を抽出して、その鳥の種類などを認識することによって、写真を分類することも可能である。あるいはまた、花の写真に対して、写っている花のそれぞれの部分画像を抽出して、その花の種類を認識することによって花の写真を分類することができる。これらの鳥や花の写真について本発明を適用することで、最も中心に近いところに写っている花や鳥で写真を分類したり、最も大きく写っている花や鳥で写真を分類したり、写っている花や鳥すべてについて写真を登録したりすることができるようになる。

さらに、車の写真に対して本発明を適用して、写っている車によって分類することで、最も大きく写っている車で分類したり、ある写真に写っている車の総ての種別に対して当該写真を登録するという分類が可能となり、後から、ある種別の車が写っている写真を簡単に収集して閲覧等することができるようになる。

本発明に係る第１の実施の形態の画像分類システム１００を示す構成図である。 デジタルカメラ１の外観を示す図であり、（ａ）は主に前面の構成を示す図であり、（ｂ）は主に背面の構成を示す図である。 デジタルカメラ１の内部構成を示すブロック図である。 ＰＣ４０の内部構成を示すブロック図である。。 登録テーブル５０の構成を示す図である。 第１の画像分類処理を示すフローチャートである。 第１の画像分類処理中の第１の顔部分選択処理を示すフローチャートである。 第１の画像分類処理中の第２の顔部分選択処理を示すフローチャートである。 第１の画像分類処理中の第３の顔部分選択処理を示すフローチャートである。 顔部分の選択に用いる閾値を示すグラフを示す。 第１の画像分類処理中の第１の画像照合及び分類処理を示すフローチャートである。 第１の画像分類処理中の第２の画像照合及び分類処理を示すフローチャートである。 本発明に係る第２の実施の形態の第２の画像分類処理を示すフローチャートである。

符号の説明

１００ 画像分類システム
１ デジタルカメラ
２ 撮影レンズ
３ セルフタイマランプ
４ 光学ファインダ窓
５ ストロボ発光部
６ 電源キー
７ シャッタキー
８ モードスイッチ
９ メニューキー
１０ 十字キー
１１ 光学ファインダ
１２ ストロボチャージランプ
１３ 表示部
２１ モータ（Ｍ）
２２ レンズ光学系
２３ ＣＣＤ
２４ タイミング発生器（ＴＧ）
２５ 垂直ドライバ
２６ サンプルホールド回路（Ｓ／Ｈ）
２７ Ａ／Ｄ変換器
２８ カラープロセス回路
２９ ＤＭＡコントローラ
３０ ＤＲＡＭインタフェース（Ｉ／Ｆ）
３１ ＤＲＡＭ
３２ 制御部
３３ ＶＲＡＭコントローラ
３４ ＶＲＡＭ
３５ デジタルビデオエンコーダ
３６ キー入力部
３７ ＪＰＥＧ回路
３８ フラッシュメモリ
４０ ＰＣ
４１ ＣＰＵ
４１１ 制御部
４２ 入力部
４３ ＲＡＭ
４４ 表示部
４５ 記憶部
４６ 通信部
４７ バス

Claims (8)

1. 複数の画像データを分類する画像分類装置において、
   １つの画像データ中から複数の部分画像を抽出する部分画像抽出部と、
   前記抽出された複数の部分画像から分類対象とする部分画像を選択する部分画像選択部と、
   前記選択された部分画像を用いて該部分画像を含む画像データを分類する分類部と、
   を備え、
   前記部分画像選択部は、前記抽出された複数の部分画像の中で最も画像データの中心点に近い部分画像の中心点までの距離と、前記抽出された複数の部分画像の中で最も面積の大きい部分画像の面積との２つのパラメータを同時に用いて、分類対象とする部分画像を選択するものであり、前記抽出された複数の部分画像の中で最も画像データの中心点に近い部分画像の中心点までの距離が所定以内であり、且つ、前記抽出された複数の部分画像の中で最も面積の大きい部分画像の面積が所定以内である場合には、最も画像データの中心点に近い部分画像を選択し、前記抽出された複数の部分画像の中で最も画像データの中心点に近い部分画像の中心点までの距離が所定以上であり、且つ、前記抽出された複数の部分画像の中で最も面積の大きい部分画像の面積が所定以上である場合には、最も大きい面積の部分画像を選択することを特徴とする画像分類装置。
2. 分類種別及び当該分類種別に対応する登録画像を記憶する記憶部と、
   前記選択された部分画像と、前記記憶部に記憶された登録画像とを照合する照合部と、
   を備え、
   前記分類部は、前記照合により前記選択された部分画像に類似すると判別された登録画像の分類種別に対応付けて、前記画像データを分類することを特徴とする請求項１に記載の画像分類装置。
3. 前記分類部は、前記選択された部分画像に最も類似すると判別される登録画像の分類種別に対応付けて、前記画像データを分類し、当該分類された画像データを前記記憶部に記憶することを特徴とする請求項２に記載の画像分類装置。
4. 前記部分画像選択部は、前記各画像データから部分画像を１つ選択し、
   前記分類部は、前記照合により前記選択された部分画像に類似すると判別される１つの登録画像の１つの分類種別に対応付けて、前記画像データを分類することを特徴とする請求項１乃至３のいずれか一項に記載の画像分類装置。
5. 前記部分画像選択部は、前記各画像データから部分画像を複数選択し、
   前記分類部は、前記照合により前記選択された部分画像に類似すると判別される複数の登録画像の複数の分類種別に対応付けて、前記画像データを分類することを特徴とする請求項１乃至３のいずれか一項に記載の画像分類装置。
6. 前記部分画像選択部は、所定以上の面積を有する部分画像を複数選択することを特徴とする請求項５に記載の画像分類装置。
7. 前記分類部は、前記照合により前記選択された前記部分画像に類似すると判別される登録画像がない場合に、前記選択された部分画像を新たな登録画像として前記記憶部に記憶することを特徴とする請求項１乃至６のいずれか一項に記載の画像分類装置。
8. 前記画像データは人物が写っている写真であり、
   前記登録画像は人物の登録顔画像であり、
   前記部分画像は前記人物の顔画像部分であり、
   前記写真に写っている顔部分画像に応じて前記写真を分類するものであることを特徴とする請求項１乃至７のいずれか一項に記載の画像分類装置。

Images