JP5556204B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理方法、及びプログラムに関し、特に、複数の人物の顔画像の撮像を行う画像処理装置及び画像処理方法、及びプログラムに関する。

従来より、卒業アルバムの作成等の目的で、所定のグループに属する複数の人物の顔画像の一覧（以下、「グループ一覧」と呼ぶ）を表示させたり、紙媒体に印刷する技術がある。このような技術の１つとして、特許文献１には、グループ一覧として一頁に並べられた複数の人物の顔画像の背景を一定の濃度及び色調にする技術が記載されている。

特開２００４−１５１４０５号公報

しかしながら、特許文献１に記載の技術を含め従来の技術を適用すると、人物の顔画像の表示サイズが均一でない場合には、複数の人物の顔画像が均一の表示サイズとなるように各々の画像データが補正されるため、補正前の画像サイズが補正後よりも小さかった顔画像の画像データは、当該補正により劣化してしまうという問題点があった。

本発明は、このような状況に鑑みてなされたものであり、撮像された複数の画像の画像データの何れも劣化させることなく、均一のサイズにすることを目的とする。

本発明の第１の観点によると、
複数の画像を順次取得する画像取得手段と、
前記画像取得手段による画像の取得の終了の指示があるか否かを判定する判定手段と、
前記判定手段により画像の取得の終了の指示があると判定されたことに応答して、当該画像の取得の終了の指示があると判定されるまでに前記画像取得手段により取得された複数の画像中の各画像のサイズの中から最小のサイズを有する画像を選択する選択手段と、
前記選択手段により選択された画像が有するサイズとなるように、前記複数の画像から前記最小のサイズでない画像を補正する補正手段と、
を備えることを特徴とする画像処理装置を提供する。
本発明の第２の観点によると、
前記判定手段は、撮像手段による撮像の度に前記画像の取得の終了の指示があるか否かを判定する、
画像処理装置を提供する。

本発明の第３の観点によると、
前記選択手段により選択された画像及び前記補正手段によりサイズが補正された各画像のうち何れかの画像を表示手段に一覧表示させる表示制御手段を更に備える、
画像処理装置を提供する。
本発明の第４の観点によると、
前記選択手段により選択された画像及び前記補正手段によりサイズが補正された各画像
と、これらの画像に対応する固有情報とを対応付けて記憶させる記憶制御手段を更に備え
る、
画像処理装置を提供する。
本発明の第５の観点によると、
前記画像取得手段により取得された複数の画像中の各画像における特定の画像領域を検出する検出手段を更に備え、
前記記憶制御手段は、前記検出手段により検出された前記各画像の特定の画像領域に対応する固有情報を前記各画像に対応付けるように記憶させる、
画像処理装置を提供する。
本発明の第６の観点によると、
前記画像取得手段により取得された複数の画像中の各画像における特定の画像領域を夫
々切り出す切り出し手段を更に備え、
前記選択手段は、前記切り出し手段により夫々切り出された特定の画像領域のサイズの
中から最小のサイズを有する画像領域を選択し、
前記補正手段は、前記選択手段により選択された画像領域が有するサイズとなるように、
前記複数の画像からサイズが最小でない各画像領域を補正する、
画像処理装置を提供する。
本発明の第７の観点によると、
前記画像取得手段は、複数の人物画像を取得し、
前記選択手段は、前記複数の人物画像中の各顔画像のサイズの中から最小のサイズを有
する画像を選択し、
前記補正手段は、前記選択された画像が有するサイズとなるように、前記複数の顔画像
から前記最小のサイズでない顔画像を補正する、
画像処理装置を提供する。
本発明の第８の観点によると、
前記画像取得手段により取得された複数の画像を前記補正手段による補正処理をしない状態で一のフォルダに記憶させる一方、前記選択手段により選択された画像と前記補正手段により補正された画像とを他のフォルダに関連付けて記憶手段に記憶させる記憶制御手段を更に備える、
画像処理装置を提供する。

本発明の第９の観点によると、
複数の画像を順次取得する取得ステップと、
前記取得ステップによる画像の取得の終了の指示があるか否かを判定する判定ステップと、
前記判定ステップにより画像の取得の終了の指示があると判定されたことに応答して、当該画像の取得の終了の指示があると判定されるまでに前記取得ステップにより取得された複数の画像中の各画像のサイズの中から最小のサイズを有する画像を選択する選択ステップと、
前記選択ステップにて選択された画像が有するサイズとなるように、前記複数の画像から前記最小のサイズでない画像を補正する補正ステップと、
を含むことを特徴とする画像処理方法を提供する。

本発明の第１０の観点によると、
コンピュータを、
複数の画像を順次取得する画像取得手段、
前記画像取得手段による画像の取得の終了の指示があるか否かを判定する判定手段、
前記判定手段により画像の取得の終了の指示があると判定されたことに応答して、当該画像の取得の終了の指示があると判定されるまでに前記画像取得手段により取得された複数の画像中の各画像のサイズの中から最小のサイズを有する画像を選択する選択手段、
前記選択手段により選択された画像が有するサイズとなるように、前記複数の画像から前記最小のサイズでない画像を補正する補正手段、
として機能させることを特徴とするプログラムを提供する。

本発明によれば、撮像された複数の画像の画像データの何れも劣化させることなく、均一のサイズにすることができる。

本発明の一実施形態に係る画像処理装置を含む撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成を示す機能ブロック図である。 図２の画像処理装置が、グループメンバー顔生成処理を実行する時に、最初に構築する記憶部のデータ構造を示す図である。 図２の画像処理装置が実行するグループメンバー顔生成処理の処理対象になる、元画像、及び、当該元画像から生成されたトリミング画像の一例を示す図である。 図４のトリミング画像の生成手法の一例を示す図である。 図４のトリミング画像の画像データが生成された場合における、管理ファイルの内容の一例を示す図である。 図２の撮像装置によりグループメンバー顔生成処理が実行されて、グループの全メンバーのトリミング画像の画像データが生成された場合における、記憶部の記憶内容の一例を示す図である。 図２の画像処理装置の最小サイズ選択部及び顔画像補正部の具体的な処理結果の例を示す図である。 図２の画像処理装置が実行するグループメンバー顔生成処理の流れの一例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態に係る画像処理装置を適用した撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができ、画像処理装置の各種機能は、撮像装置１に搭載されたプログラムにより実現可能である。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、操作部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラムに従って各種の処理を実行する。又は、ＣＰＵ１１は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

例えば本実施形態では、後述する図２のデータ制御部５１及びデータ処理部５２の各機能を実現するプログラムが、ＲＯＭ１２や記憶部１９に記憶されている。従って、ＣＰＵ１１が、このプログラムに従った処理を実行することで、後述する図２のデータ制御部５１及びデータ処理部５２を含む、本実施の形態に係る画像処理装置を実現する各機能を実現することができる。

ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、操作部１７、表示部１８、記憶部１９、及び通信部２０が接続されている。

撮像部１６は、本実施形態では図示はしないが、光学レンズ部とイメージセンサとを備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。なお、本実施例において、画像信号のディジタル信号は、「画像データ」として出力される。従って、撮像部１６からは画像データが出力されて、ＣＰＵ１１等に適宜供給される。

操作部１７は、各種ボタン等で構成され、ユーザの指示操作を受け付ける。表示部１８は、各種画像データにより表現される画像を表示する。記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、撮像部１６から出力された画像データを一時記憶する。また、記憶部１９は、各種画像処理に必要な各種データ、例えば、画像データ、各種フラグの値、閾値等も記憶する。また、記憶部１９には、表示部１８に表示させる画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インターフェース１５にはまた、必要に応じてドライブ２１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、それらから読み出されたプログラムが、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、後述する図２の例では記憶部１９に記憶されている画像データ等の各種データも記憶することができる。

このようなハードウェア構成を有する撮像装置１の画像処理装置は、グループメンバー一覧に掲載する画像として、グループのメンバーになっている複数の人物の顔を主要被写体として含む画像（以下、「顔画像」と呼ぶ）の画像データの何れも劣化させることなく、均一の表示サイズで生成することができる。なお、このような処理を、以下、「グループメンバー顔生成処理」と呼ぶ。

図２は、グループメンバー顔生成処理を実行するための本実施形態に係る画像処理装置の機能的構成を示す機能ブロック図である。

撮像装置１の画像処理装置は、グループメンバー顔生成処理を実行すべく、上述した撮像部１６及び表示部１８に加えて、データ制御部５１と、データ処理部５２と、を備えている。本実施形態では、データ制御部５１及びデータ処理部５２は、ＣＰＵ１１というハードウェアと、ＲＯＭ１２等に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。

データ制御部５１は、グループメンバー顔生成処理の全体を制御する。例えば、本実施形態のグループメンバー顔生成処理では、グループのメンバーの各々が被写体とされて撮像部１６により撮像され、その結果得られる画像が元画像とされ、これらの元画像から各メンバーの顔画像が生成される。そこで、データ制御部５１は、グループメンバー顔生成処理を実行するために先ず、記憶部１９内に図２に示すようなツリー構造を構築して、「ＤＣＩＭ」というルートディレクトリの下層に、少なくとも画像保持フォルダ６１及び管理フォルダ６２を生成する。画像保持フォルダ６１とは、グループの各メンバーの元画像の画像データを記憶するフォルダである。管理フォルダ６２とは、グループの各メンバーの顔画像の画像データや、これらの顔画像を管理するための各種管理情報を記憶するフォルダである。

図３は、Ａさん乃至Ｅさんをメンバーとして含むグループに対してグループメンバー顔生成処理が実行される時に、最初に構築される記憶部１９のデータ構造を示している。

この状態では未だ、Ａさん乃至Ｄさんの元画像は得られていないので、画像保持フォルダ６１には、「１００ＣＡＳＩＯ」というルートディレクトリのみが設けられ、データは記憶されていない。一方、管理フォルダ６２には、「ＧＲＯＵＰ」というルートディレクトリが設けられ、その下層には、「ＫＡＮＲＩ」という名称の管理ファイル８１が生成されている。管理ファイル８１とは、グループの各メンバー毎に、顔画像を元画像と対応付けて管理するためのファイルである。本実施形態では、生成直後の管理ファイル８１には、グループの各メンバーの個人情報のみが含まれている。具体的には、生成直後の管理ファイル８１には、図３に示すように、“Ａさん”乃至“Ｄさん”といった各メンバーの名前を示すテキストデータのみが含まれている。なお、“○△×”という表記は、単に「○△×」という文字や記号が羅列されたテキストデータを意味し、「○△×」の内容を意味しない点に注意する。

図２に戻り、データ制御部５１は、このようにして記憶部１９内に画像保持フォルダ６１及び管理フォルダ６２を生成すると、データ処理部５２を制御して、グループメンバー顔生成処理の各処理を実行する。

データ処理部５２は、画像取得部７１と、顔検出部７２と、顔画像トリミング部７３と、最小サイズ選択部７４と、顔画像補正部７５と、表示制御部７６とを備えている。

画像取得部７１は、グループの各メンバーを被写体として撮像部１６によりそれぞれ撮像された結果得られる画像の画像データを、元画像の画像データとして取得して、画像保持フォルダ６１に記憶させる。なお、画像保持フォルダ６１に記憶される画像データの形態は、特に限定されないが、本実施形態では、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式に従って圧縮符号化されたデータであるとする。このため、拡張子として「ＪＰＧ」が付与された名称のファイルが、元画像の画像データとして画像保持フォルダ６１に記憶される。例えば図３の例のデータ構造が記憶部１９に構築された場合には、Ａさん乃至Ｄさんの元画像の画像データとして、「ＣＩＭＧ０００１．ＪＰＧ」乃至「ＣＩＭＧ０００５．ＪＰＧ」という各名称のファイルが画像取得部７１により生成され、画像保持フォルダ６１の「１００ＣＡＳＩＯ」というルートディレクトリの下に記憶される（後述する図７参照）。

顔検出部７２は、画像保持フォルダ６１に保持された元画像の画像データから、当該元画像に含まれるメンバーの顔を検出する。

顔画像トリミング部７３は、元画像から、顔検出部７２により検出された顔の領域をトリミングすることによって、顔画像の画像データを生成して、管理フォルダ６２に記憶させる。なお、顔画像トリミング部７３により生成された画像データにより表現される顔画像を、以下、「トリミング画像」と呼ぶ。

図４は、元画像、及び、当該元画像から生成されたトリミング画像の一例を示す図である。

図４に示すように、実世界の空間のうち画角９１に含まれるＡさんを被写体として、撮像部１６により撮像されると、元画像９２の画像データが、画像取得部７１により生成されて、画像保持フォルダ６１に記憶される。すると、元画像９２からＡさんの顔が顔検出部７２により検出され、顔画像トリミング部７３は、この検出された顔の画像から切り出すべき顔の画像のサイズを取得して当該顔画像の画像をトリミングする。これにより、Ａさんのトリミング画像９３の画像データが、顔画像トリミング部７３により生成されて、管理フォルダ６２に記憶される。

なお、トリミング画像の生成手法は、特に限定されないが、本実施形態では、図５に示す手法が採用されているものとする。

図５は、トリミング画像の生成手法の一例を示す図である。

図５に示すように、本実施形態では、顔検出部７２により検出された顔を囲む枠（以下、「顔枠」と呼ぶ）として、１辺の長さが「５」の正方形状の枠が設定されるものとする。即ち、顔枠の幅（Ｘ軸正方向の長さ）及び高さ（Ｙ軸正方向の長さ）とも「５」の長さであるとする。この場合、Ｘ軸正方向の背景：顔枠：背景の比率が２：５：２の比率となり、Ｙ軸正方向の背景：顔枠：背景の比率が２：５：３となるように、切り出すべきサイズを取得して元画像からトリミングされることによって、トリミング画像の画像データが生成される。このような比率で人物の顔が配置されたトリミング画像は、顔写真として適切な構図になっていると多くの人に視認され得る。

このようなトリミング画像の画像データが管理フォルダ６２に記憶される際の形態は、特に限定されないが、本実施形態では元画像と同様に、ＪＰＥＧ方式に従って圧縮符号化されたデータであるとする。また、ファイルの名称も特に限定されないが、本実施形態では、元画像のファイルの名称が「○△×．ＪＰＥＧ」である場合には、当該元画像から生成されたトリミング画像のファイルの名称は「○△×＿Ｋ．ＪＰＥＧ」であるとする。例えば、図４の例では、Ａさんを含む元画像９２のファイルの名称は上述したように「ＣＩＭＧ０００１．ＪＰＧ」であることから、Ａさんのトリミング画像９３のファイルの名称は、「ＣＩＭＧ０００１＿Ｋ．ＪＰＧ」となる。

Ａさんのトリミング画像９３の画像データが生成されて、「ＣＩＭＧ０００１＿Ｋ．ＪＰＥＧ」という名称のファイルとして管理フォルダ６２に記憶されると、データ制御部５１は、管理ファイル８１の内容を図６に示すように更新する。

図６は、Ａさんのトリミング画像９３の画像データが生成された場合の、管理ファイル８１の内容を示している。

図６に示すように、管理ファイル８１には、“Ａさん”というテキストデータに関連付けられて、Ａさんのトリミング画像９３のファイルの名称を示す“ＣＩＭＧ０００１＿Ｋ．ＪＰＥＧ”というテキストデータが記憶される。これにより、Ａさんの固有情報であるＡさんの名前を示すテキストデータ、Ａさんの元画像９２のファイル、及びＡさんのトリミング画像９３のファイルが対応付けられることになる。

Ｂさん乃至Ｄさんの各メンバーについても、Ａさんと同様に、顔検出部７２及び顔画像トリミング部７３によりトリミング画像の各々が生成されて、管理フォルダ６２に記憶される。すると、データ制御部５１は、管理ファイル８１の内容を図７に示すように更新する。

図７は、グループの全メンバー、即ち、Ａさん乃至Ｄさんのトリミング画像の画像データが生成された場合の、記憶部１９の記憶内容を示している。

図７に示すように、グループの全メンバー、即ち、Ａさん乃至Ｄさんの元画像の画像データは、「ＣＩＭＧ０００１．ＪＰＧ」乃至「ＣＩＭＧ０００５．ＪＰＧ」という名称のファイルとして、画像保持フォルダ６１の「１００ＣＡＳＩＯ」というルートディレクトリの下にそれぞれ記憶される。一方、Ａさん乃至Ｄさんのトリミング画像の画像データは、「ＣＩＭＧ０００１＿Ｋ．ＪＰＧ」乃至「ＣＩＭＧ０００５＿Ｋ．ＪＰＧ」という名称のファイルとして、管理フォルダ６２の「ＧＲＯＵＰ」というルートディレクトリの下にそれぞれ記憶される。また、管理フォルダ６２の「ＧＲＯＵＰ」というルートディレクトリの下には、次のような内容の管理ファイル８１が記憶される。即ち、管理ファイル８１には、メンバーの固有情報としてのメンバーの名前を示すテキストデータと、メンバーのトリミング画像のファイル名を示すテキストデータとが、Ａさん乃至Ｄさんの各メンバー毎にそれぞれ対応付けられて記憶される。このような管理ファイル８１によって、メンバーの固有情報としてのメンバーの名前を示すテキストデータ、メンバーの元画像のファイル、及びメンバーのトリミング画像のファイルが、Ａさん乃至Ｄさんの各メンバー毎にそれぞれ対応付けられることになる。

図２に戻り、このようにしてグループの全メンバー、即ち、Ａさん乃至Ｄさんのトリミング画像の画像データが管理フォルダ６２に記憶されると、最小サイズ選択部７４は、Ａさん乃至Ｄさんのトリミング画像の表示サイズのうち、最小の表示サイズのトリミング画像を選択する。

顔画像補正部７５は、Ａさん乃至Ｄさんのトリミング画像の全表示サイズを均一に、最小サイズ選択部７４により選択された最小の表示サイズとするように、Ａさん乃至Ｄさんのトリミング画像の画像データを補正する。このようにして、表示サイズが均一となるように補正されたＡさん乃至Ｄさんのトリミング画像の画像データは、管理フォルダ６２に上書保存される。

以下、図８を参照して、最小サイズ選択部７４及び顔画像補正部７５についてさらに説明する。

図８は、最小サイズ選択部７４及び顔画像補正部７５の具体的な処理結果の例を示す図である。

図８Ａの表が、顔画像補正部７５により補正がなされる前の各トリミング画像の各々の表示サイズを示している。図８Ｂの表が、顔画像補正部７５により補正がなされた後の各トリミング画像の各々の表示サイズを示している。図８のＡ，Ｂの表において、各トリミング画像のファイル名は、図７の例に対応している。即ち、図８中上から順に、Ａさん乃至Ｄさんの各々のトリミング画像のファイル名及び表示サイズが示されている。なお、表示サイズは、水平方向の画素数×垂直方向の画素数として示されている。

図８Ａの表に示すように、「ＣＩＭＧ０００２＿Ｋ．ＪＰＧ」のファイルに対応するトリミング画像、即ち、Ｂさんのトリミング画像の「３２０×２４０」の表示サイズが、最小の表示サイズであると最小サイズ選択部７４により判断される。その結果、「ＣＩＭＧ０００１＿Ｋ．ＪＰＧ」乃至「ＣＩＭＧ０００５＿Ｋ．ＪＰＧ」の各々のファイルに対応するトリミング画像、即ち、Ａさん乃至Ｄさんのトリミング画像の全表示サイズが均一に「３２０×２４０」の表示サイズとなるように、Ａさん乃至Ｄさんのトリミング画像の画像データが顔画像補正部７５により補正される。このようにして、Ａさん乃至Ｄさんのトリミング画像の画像データの何れもが劣化することなく、均一の表示サイズとなる。

図２に戻り、表示制御部５３は、管理フォルダ６２に画像データとして記録されているトリミング画像の一覧、即ち、何れも劣化することなく均一の表示サイズとなったＡさん乃至Ｄさんのトリミング画像のグループ一覧を、表示部１８に表示させる。このとき、表示制御部５３は、Ａさん乃至Ｄさんの各々のトリミング画像を、それぞれの固有情報、即ち、“Ａさん”乃至“Ｄさん”といった各メンバーの名前を示すテキストデータと対応付けて、表示部１８に表示させることができる。

次に、このような機能的構成を有する撮像装置１の画像処理装置が実行するグループメンバー顔生成処理について説明する。

図９は、グループメンバー顔生成処理の流れの一例を示すフローチャートである。

ステップＳ１において、図３のデータ制御部５１は、画像保持フォルダ６１と管理フォルダ６２とが記憶部１９内に存在するか否かを判定する。

画像保持フォルダ６１と管理フォルダ６２とのうち少なくとも一方が記憶部１９内に存在しない場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、データ制御部５１は、画像保持フォルダ６１と管理フォルダ６２との作成の提案を報知する。例えば、データ制御部５１は、表示制御部７６を制御して、画像保持フォルダ６１と管理フォルダ６２との作成を促すメッセージを、表示部１８に表示させる。

ステップＳ３において、データ制御部５１は、画像保持フォルダ６１と管理フォルダ６２とを記憶部１９内に作成したか否かを判定する。

ユーザが、画像保持フォルダ６１と管理フォルダ６２との作成の指示操作をしなかった場合、ステップＳ３においてＮＯであると判定されて、グループメンバー顔生成処理は終了となる。

これに対して、ユーザが、画像保持フォルダ６１と管理フォルダ６２との作成の指示操作をした場合、データ制御部５１は、画像保持フォルダ６１と管理フォルダ６２とを記憶部１９内に作成する。これにより、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ６に進む。なお、ステップＳ６以降の処理については後述する。

このように、グループメンバー顔生成処理の開始時点で、画像保持フォルダ６１と管理フォルダ６２とが記憶部１９内に存在しない場合には、ステップＳ１;ＮＯ，Ｓ２，Ｓ３;ＹＥＳの処理により、画像保持フォルダ６１と管理フォルダ６２とが記憶部１９内に新たに作成される。

これに対して、グループメンバー顔生成処理の開始時点で、画像保持フォルダ６１と管理フォルダ６２とが記憶部１９内に既に存在する場合には、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ４に進む。

ステップＳ４において、データ制御部５１は、管理フォルダ６２の内容が正しいか否かを判定する。

管理フォルダ６２がアクセスできない程破損していたり、アクセスできても管理ファイル８１が存在しない等の場合、管理フォルダ６２の内容が正しくないとして、ステップＳ４においてＮＯであると判定されて、処理はステップＳ５に進む。

ステップＳ５において、データ制御部５１は、表示制御部７６を制御して、エラーメッセージを表示部１８に表示させる。

これに対して、管理フォルダ６２に、正常にアクセスでき、かつ、グループの各メンバーの固有情報、例えば図３に示すように“Ａさん”乃至“Ｄさん”といった各メンバーのテキストデータが記憶されているような場合、管理フォルダ６２の内容が正しいとして、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ６に進む。

ステップＳ６において、画像取得部７１は、撮像部１６から出力された撮像画像の画像データを、元画像の画像データとして画像保持フォルダ６１に保存させる。

ステップＳ７において、顔画像トリミング部７３は、ステップＳ６の処理で保存された元画像の画像データから、人物の顔が顔検出部７２により検出されたか否かを判定する。

顔検出部７２が人物の顔の検出の試みに失敗した場合、ステップＳ７においてＮＯであると判定され、処理はステップＳ１２に進む。なお、ステップＳ１２以降の処理については後述する。

これに対して、顔検出部７２が１以上の人物の顔を検出した場合、ステップＳ７においてＹＥＳであると判定され、処理はステップＳ８に進む。ステップＳ８において、顔画像トリミング部７３は、ステップＳ６の処理で保存された元画像の画像データから、人物の顔部分をトリミングすることによって、トリミング画像の画像データを生成する。

ステップＳ９において、顔画像トリミング部７３は、このようにして生成したトリミング画像の画像データを、ファイルとして管理フォルダ６２に保存させる。

ステップＳ１０において、データ制御部５１は、管理フォルダ６２の管理ファイル８１において、人物の個人情報に対応付けて、その人物のトリミング画像のファイルの名称を追加する。

具体的には例えば、ステップＳ６の処理で、Ａさんが被写体として撮像され、その結果、上述した図４の元画像９２の画像データが画像保持フォルダ６１に保存されたとする。この場合、Ａさんの顔が顔検出部７２により検出されるので、ステップＳ７の処理でＹＥＳであると判定され、ステップＳ８，Ｓ９の処理で、図４のトリミング画像９３の画像データが得られ、上述したように「ＣＩＭＧ０００１＿Ｋ．ＪＰＥＧ」という名称のファイルとして管理フォルダ６２に記憶される。すると、ステップＳ１０の処理で、図６に示すように、管理フォルダ６２の管理ファイル８１において、Ａさんの個人情報である“Ａさん”というテキストデータに対応付けられて、Ａさんのトリミング画像９３のファイルの名称を示す“ＣＩＭＧ０００１＿Ｋ．ＪＰＥＧ”というテキストデータが追加される。

なお、ステップＳ８,Ｓ９の処理によっても、何かしらの理由で、トリミング画像の画像データが得られなかった場合、本実施形態では、ステップＳ１０の処理は実行されずに、処理はステップＳ６に戻されて、同一メンバーを被写体として再び撮像がなされるものとする。

ステップＳ１０において、データ制御部５１は、ファイル名追加が全て完了したか否かを判定する。

管理フォルダ６２の管理ファイル８１に個人情報（名前のテキストデータ）が記憶されているグループのメンバーのうち、トリミング画像のファイル名（テキストデータ）が追加されていないメンバーが１人でも存在する場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１２に進む。

ステップＳ１２において、画像取得部７１は、別のメンバーを被写体として続けて撮像するか否かを判定する。

別のメンバーの撮像が行われない場合、ステップＳ１２においてＮＯであると判定されて、処理はステップＳ１３に進む。なお、ステップＳ１３以降の処理については後述する。

これに対して、別のメンバーの撮像が行われる場合、ステップＳ１２においてＹＥＳであると判定されて、処理はステップＳ６に戻され、ステップＳ６乃至Ｓ１２のループ処理が繰り返される。即ち、別のメンバーを含む撮影画像が元画像となり、元画像の画像データが画像保持フォルダ６１に保存される。次に、当該元画像から当該別のメンバーの顔部分がトリミングされることによって、当該別のメンバーのトリミング画像の画像データが生成され、管理フォルダ６２に保存される。そして、管理フォルダ６２の管理ファイル８１において、当該別のメンバーの個人情報（名前のテキストデータ）に対応付けられて、当該別のメンバーのトリミング画像のファイルの名称（テキストデータ）が追加される。このようなステップＳ６乃至Ｓ１２のループ処理が、グループの各メンバーの各々を処理対象として実行されると、例えば上述の例ではＡさん乃至Ｄさんの各々を処理対象として実行されると、記憶部１９の記憶内容は図７に示すようになり、処理はステップＳ１３に進む。

ステップＳ１３において、最小サイズ選択部７４は、トリミング画像の最小の表示サイズのトリミング画像を選択する。

ステップＳ１４において、顔画像補正部７５は、ステップＳ１３の処理で選択された最小の表示サイズに合わせて、各人物（各メンバー）のトリミング画像の表示サイズを補正する。即ち、顔画像補正部７５は、各人物のトリミング画像の全表示サイズを均一の最小の表示サイズとするように、各人物のトリミング画像の画像データを補正する。

具体的には例えば、ステップＳ１１の処理でＹＥＳであると判断された時点において、上述した図８Ａの表に示すような表示サイズを各々有する、Ａさん乃至Ｄさんの各々のトリミング画像の画像データが得られたとする。なお、上述したように、図８中上から順に、Ａさん乃至Ｄさんの各々のトリミング画像のファイル名及び表示サイズが示されている。

この場合、ステップＳ１３の処理で、「ＣＩＭＧ０００２＿Ｋ．ＪＰＧ」というファイルに対応するトリミング画像、即ち、Ｂさんのトリミング画像の「３２０×２４０」の表示サイズが、最小の表示サイズであると判断される。

その結果、ステップＳ１４の処理で、「ＣＩＭＧ０００１＿Ｋ．ＪＰＧ」乃至「ＣＩＭＧ０００５＿Ｋ．ＪＰＧ」という各々のファイルに対応するトリミング画像、即ちＡさん乃至Ｄさんのトリミング画像の全表示サイズが均一に、最小の「３２０×２４０」の表示サイズとなるように、各画像データが補正される。

ステップＳ１５において、顔画像補正部７５は、このようなステップＳ１４の処理の結果得られる、表示サイズが均一となるように補正された各人物のトリミング画像の画像データを、管理フォルダ６２に上書保存する。これにより、グループメンバー顔生成処理は終了となる。

以上説明したように、本実施形態に係る画像処理装置は、夫々異なる人物を被写体として撮像し、撮像された夫々異なる人物の画像の画像データを記憶する。画像処理装置は、記憶された夫々異なる人物の画像の画像データに対して、夫々異なる人物の画像から切り出すべき顔の画像のサイズを取得して顔の画像を切り出す処理を実行することで、夫々異なる人物の顔画像の画像データを生成する。画像処理装置は、夫々異なる人物の顔画像の表示サイズの中で最小の表示サイズに合致するように、夫々異なる人物の顔画像の表示サイズを補正する処理を、当該夫々異なる人物の顔画像の画像データに対して実行する。

これにより、撮像された夫々異なる複数の人物の顔画像の画像データの何れも、劣化させることなく、均一の表示サイズにすることが可能になる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述した実施形態では、本発明に係る画像処理装置が適用される撮像装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、撮像機能を有する電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１６・・・撮像部、１７・・・操作部、１８・・・表示部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、３１・・・リムーバブルメディア、５１・・・データ制御部、６１・・・画像保持フォルダ、６２・・・管理フォルダ、５２・・・データ処理部、７１・・・画像取得部、７２・・・顔検出部、７３・・・顔画像トリミング部、７４・・・最小サイズ選択部、７５・・・顔画像補正部、７６・・・表示制御部、８１・・・管理ファイル

Claims (10)

1. 複数の画像を順次取得する画像取得手段と、
   前記画像取得手段による画像の取得の終了の指示があるか否かを判定する判定手段と、
   前記判定手段により画像の取得の終了の指示があると判定されたことに応答して、当該画像の取得の終了の指示があると判定されるまでに前記画像取得手段により取得された複数の画像中の各画像のサイズの中から最小のサイズを有する画像を選択する選択手段と、
   前記選択手段により選択された画像が有するサイズとなるように、前記複数の画像から前記最小のサイズでない画像を補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、撮像手段による撮像の度に前記画像の取得の終了の指示があるか否かを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段により選択された画像及び前記補正手段によりサイズが補正された各画像のうち何れかの画像を表示手段に一覧表示させる表示制御手段を更に備える請求項１又は２に記載の画像処理装置。
4. 前記選択手段により選択された画像及び前記補正手段によりサイズが補正された各画像と、これらの画像に対応する固有情報とを対応付けて記憶させる記憶制御手段を更に備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記画像取得手段により取得された複数の画像中の各画像における特定の画像領域を検出する検出手段を更に備え、
   前記記憶制御手段は、前記検出手段により検出された前記各画像の特定の画像領域に対応する固有情報を前記各画像に対応付けるように記憶させることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像取得手段により取得された複数の画像中の各画像における特定の画像領域を夫々切り出す切り出し手段を更に備え、
   前記選択手段は、前記切り出し手段により夫々切り出された特定の画像領域のサイズの中から最小のサイズを有する画像領域を選択し、
   前記補正手段は、前記選択手段により選択された画像領域が有するサイズとなるように、前記複数の画像からサイズが最小でない各画像領域を補正することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. 前記画像取得手段は、複数の人物画像を取得し、
   前記選択手段は、前記複数の人物画像中の各顔画像のサイズの中から最小のサイズを有する画像を選択し、
   前記補正手段は、前記選択された画像が有するサイズとなるように、前記複数の顔画像から前記最小のサイズでない顔画像を補正することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 前記画像取得手段により取得された複数の画像を前記補正手段による補正処理をしない状態で一のフォルダに記憶させる一方、前記選択手段により選択された画像と前記補正手段により補正された画像とを他のフォルダに関連付けて記憶手段に記憶させる記憶制御手段を更に備えたことを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
9. 複数の画像を順次取得する取得ステップと、
   前記取得ステップによる画像の取得の終了の指示があるか否かを判定する判定ステップと、
   前記判定ステップにより画像の取得の終了の指示があると判定されたことに応答して、当該画像の取得の終了の指示があると判定されるまでに前記取得ステップにより取得された複数の画像中の各画像のサイズの中から最小のサイズを有する画像を選択する選択ステップと、
   前記選択ステップにて選択された画像が有するサイズとなるように、前記複数の画像から前記最小のサイズでない画像を補正する補正ステップと、
   を含むことを特徴とする画像処理方法。
10. コンピュータを、
    複数の画像を順次取得する画像取得手段、
    前記画像取得手段による画像の取得の終了の指示があるか否かを判定する判定手段、
    前記判定手段により画像の取得の終了の指示があると判定されたことに応答して、当該画像の取得の終了の指示があると判定されるまでに前記画像取得手段により取得された複数の画像中の各画像のサイズの中から最小のサイズを有する画像を選択する選択手段、
    前記選択手段により選択された画像が有するサイズとなるように、前記複数の画像から前記最小のサイズでない画像を補正する補正手段、
    として機能させることを特徴とするプログラム。

Images