JP4850818B2

JP4850818B2 - 画像処理装置およびその方法

Info

Publication number: JP4850818B2
Application number: JP2007311481A
Authority: JP
Inventors: 康男福田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-11-30
Filing date: 2007-11-30
Publication date: 2012-01-11
Anticipated expiration: 2027-11-30
Also published as: JP2009135824A; US20090142003A1; US8265423B2; US20120327127A1; US8660381B2

Description

本発明は、複数の画像を配置した画像データを生成する際の画像処理に関する。

人物の顔を中心に撮影した画像を頁に配置してフォトアルバムを作成する場合、各画像で顔画像の大きさがまちまちだと、各画像を変倍したり、トリミングして顔画像の大きさを合わせる、手間のかかる作業が必要になる。

特許文献1は、複数の画像の対象部分の位置と大きさを検出し、検出結果に基づき、各画像の対象部分の位置と大きさを揃えた正規化画像を生成する。そして、指定されたレイアウトに従って正規化画像をレイアウトする発明を開示する。この発明は、上記の課題に応えるように思われるが、実際は、証明写真のように、予め、被写体の写し方や顔画像の大きさや位置が定っている場合にしか適用することができない。

特開平11-144067号公報

本発明は、複数の画像を配置した画像データを生成する際に、画像に含まれる特定領域のサイズをほぼ揃えることを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、複数の画像を入力し、前記入力した複数の画像それぞれに特定領域を設定し、前記複数の画像それぞれの特定領域の代表サイズを決定して、当該画像全体のサイズに対する前記代表サイズの比を計算し、前記複数の画像それぞれについて計算した前記代表サイズの比から、基準にする代表サイズの比を基準比として選択し、前記複数の画像それぞれの特定領域に基づき、当該画像をトリミングする場合の候補領域を決定し、前記基準比、並びに、前記複数の画像それぞれの代表サイズの比および候補領域に基づき、前記複数の画像それぞれのトリミング領域を決定し、前記トリミング領域に応じて、前記複数の画像それぞれをトリミングすることを特徴とする。

本発明によれば、複数の画像を配置した画像データを生成する際に、画像に含まれる特定領域のサイズをほぼ揃えることができる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1は実施例の画像処理装置の構成例を示すブロック図である。

マイクロプロセッサ(CPU)104は、ランダムアクセスメモリ(RAM)106をワークメモリとして、リードオンリメモリ(ROM)105や記憶部102に格納された各種プログラムを実行して、システムバス109を介して後述する構成を制御する。そして、後述する処理を含む様々な処理を実行する。

入出力部101は、キーボード、マウスなどの入力デバイス、メモリカードリーダライタ、ディジタルカメラやプリンタなどの画像入出力デバイスを接続するためのUSBやIEEE1394などのシリアルバスインタフェイスを備える。なお、マウスのほかに、トラックボール、トラックパッド、タブレットなどのポインティングデバイスを入出力部101に接続してもよい。あるいは、本実施例を例えばディジタルカメラやプリンタなどのデバイスに適用する場合、入出力部101は、ボタンやモードダイヤルなどを備えてもよい。また、ソフトウェアキーボードに対するボタン、モードダイヤル、ポインティングデバイスの操作によって、文字やコマンドを入力する入出力部101でもよい。

CPU104は、入出力部101を介して、入力デバイスからユーザ指示を入力し、メモリカード、画像入力デバイスから画像データなどの各種データを入力する。また、入出力部101を介して、色処理結果の画像データを画像出力デバイスに出力したり、メモリカードに出力する。

表示部103は、例えば液晶パネルである。CPU104は、表示部103にグラフィカルユーザインタフェイス(GUI)などを表示する。記憶部102は、例えばハードディスクドライブ(HDD)で、オペレーティングシステム(OS)や後述する処理用のプログラムなどの各種プログラム、および、画像データなど様々なデータを格納する。なお、記憶部102には、RAM106の一部領域を割り当ててもよいし、通信部107の接続先のサーバなどの記憶部を利用してもよい。

通信部107は、ネットワークに接続するためのネットワークインタフェイスカード(NIC)を備え、ネットワーク上のサーバと各種データの送受信を含む通信を行う。なお、ネットワークは、有線ネットワークに限らず、赤外線(IrDA)、IEEE802.11a/b/g/n、Bluetooth、UWB(ultra wide band)などの無線ネットワークでもよい。

［画像処理］
図2は実施例の画像処理を説明するフローチャートで、CPU104が実行する処理である。

CPU104は、アルバム作成用のユーザインタフェイス(UI)を表示部103に表示し、入出力部101を介してユーザの操作を入力する(S201)。画像データは、例えば記憶部102に保存されていて、各画像データにはファイル名などの識別子が付加されている。従って、ユーザは、UIに表示された画像のファイル名の一覧表示からアルバムに配置する画像のファイル名を選択する。その際、UIには画像の縮小画像（サムネイル画像）を合わせて表示することが好ましい。

ユーザは、アルバム作成用のUIを操作して、アルバムに配置する画像を選択し、アルバムにおける画像のレイアウトを決定する。つまり、ユーザは、アルバムの各頁にどの画像を配置するかを決定し、アルバムの閲覧者が同時に閲覧する画像（例えば、ある見開き頁に表示される画像）を特定する。このようなユーザ操作に応じて、CPU104は、画像のリスト情報およびレイアウト情報を生成し、リスト情報と画像データ、並びに、レイアウト情報を用いて、以降の処理を実行する。

CPU104は、ユーザが選択した画像のリスト情報に従い、アルバムに配置する複数の画像（n枚とする）を入力する(S202)。つまり、CPU104は、リスト情報に記述されたファイル名の画像データを記憶部102から読み込む。勿論、通信部107を介してサーバから、または、入出力部101を介してメモリカードから、画像データを読み込んでもよい。

次に、CPU104は、詳細は後述するが、各画像に対する顔領域の代表サイズ比を計算する(S203)。続いて、CPU104は、処理対象の画像が複数あるか否かを判定する(S204)。処理対象の画像は、顔領域の代表サイズ比を算出した画像であり、以後の処理は、処理対象の画像が二枚以上必要である。詳細は後述するが、顔領域の代表サイズ比を算出した画像をカウントするか、顔検出処理で顔画像を検出した画像をカウントすればよい。

CPU104は、処理対象の画像が二枚未満の場合はアルバム画像の生成(S208)に処理を進める。また、処理対象の画像が二枚以上ある場合は、各画像の顔領域の代表サイズ比から、一つの基準顔サイズ比を決定する(S205)。基準顔サイズ比は、顔が小さく写った画像から顔画像を含む領域をトリミングする際の基準比である。つまり、各画像の顔領域の代表サイズ比のうち、最大のものを基準顔サイズ比（基準比）に設定する。

次に、CPU104は、詳細は後述するが、各画像のトリミング位置およびトリミングサイズを決定し(S206)、決定したトリミング位置およびトリミングサイズ（トリミング領域）に従い、各画像のトリミング処理を行う(S207)。なお、詳細は後述するが、トリミング位置が決定されていない画像のトリミング処理は行わない。

次に、CPU104は、レイアウト情報に従い画像を配置したアルバム画像を表す画像データを生成し、生成した画像データを出力する(S208)。アルバム画像の出力先は、記憶部102、表示部103、通信部107を介したサーバ、入出力部101を介したメモリカードやプリンタなどである。

●顔領域の代表サイズ比の計算
図3は各画像の顔領域の代表サイズ比の計算(S203)の一例を示すフローチャートである。

本実施例は、画像から被写体の顔領域を検出し、顔領域（顔画像）の大きさが概略一致するように各画像を処理する。顔領域の検出には、例えば特開2005-346474公報や特開2004-199673公報などに開示された検出方法を用いればよい。写真画像には複数の人物像（顔画像）が存在する可能性があり、一般に、顔検出処理は複数の検出結果を返す。顔検出処理は、検出した顔画像の概略位置を表す矩形領域（以下、顔矩形）の情報として、顔矩形の四頂点を示す座標情報を、検出した顔画像ごとに出力する。

CPU104は、顔矩形の座標情報をRAM106または記憶部102に格納する(S501)。また、顔画像を含まない画像、もしくは、顔画像が検出できなかった画像などの情報も記憶部102に格納する。例えば、上記のリスト情報に対応するRAM106または記憶部102に格納されたテーブルの各レコードに顔矩形の座標情報、検出した顔画像の数を記録する。顔画像を含まない画像、もしくは、顔画像が検出できなかった画像のレコードには、検出した顔画像の数として零を記録する。

次に、CPU104は、顔画像を検出したか否かを判定し(S502)、顔が検出されなかった場合は処理を終了する。また、顔画像を検出した場合は、顔領域の代表サイズを決定する(S503)。画像には複数の顔画像が含まれる場合があり、各顔画像の大きさが異なる場合がある。そこで、そのような画像から顔画像の大きさを代表するサイズを一つ決定する。

以下では、顔領域のサイズとして、顔矩形に含まれる画素の数（面積）を用いる例を説明する。しかし、顔矩形の高さや幅を使って、顔領域の代表サイズを決定することも容易である。

CPU104は、顔領域の代表サイズとして、各顔矩形の面積の平均値S_AVEを計算する。勿論、重み付け平均を行ってもよい。重み付けの一例として、画像中の位置に応じた重み値を予め設定し、顔矩形の座標から重み値を決定する。例えば、画像の中心部の重み値を、画像の周辺部の重み値よりも大きく、画像中心にある顔画像ほど重要視する。また、顔検出処理が検出した各顔矩形の信頼度を重み値に用いてもよい。

あるいは、顔領域の代表サイズの決定に、すべての顔矩形を用いる必要はない。街中などで撮影された写真画像には、撮影対象の人物像（以下、被写体人物像）以外の人物像（以下、背景人物像）が写っている場合がある。背景人物像は、被写体人物像に比べて充分小さい場合が多い。そこで、最大の顔矩形の面積に比べて面積が例えば1/4未満の顔矩形は顔領域の代表サイズの決定から除外してもよい。また、顔矩形の面積の標準偏差dを算出し、面積がS_AVE-d未満の顔矩形を除外して、残った顔矩形の面積の平均値S_AVEを計算してもよい。あるいは、画像の周辺部の重み値を零にすれば、顔矩形の位置（顔画像が写っている位置）によって顔矩形を除外することができる。

上記のようにして除外した顔矩形は、以降の処理に影響しないように、その座標情報を上記のリスト情報に対応するRAM106または記憶部102に格納されたテーブルの各レコードから削除する。

次に、CPU104は、下式により、各画像と、その画像の顔領域の代表サイズの比（代表サイズ比）を計算し、上記のリスト情報に対応するRAM106または記憶部102に格納されたテーブルの各レコードに代表サイズ比を記録する(S504)。なお、顔画像を含まない画像、もしくは、顔画像が検出できなかった画像のレコードには、代表サイズ比として零を記録する。
Rs = S_AVE/Sw …(1)
ここで、Rsは代表サイズ比、
S_AVEは代表サイズ、
Swは画像面積

各画像の画像サイズ（縦横の画素数）が異なる場合があるが、アルバムに配置する場合、各画像がほぼ同じサイズになるように画像を変倍する。従って、顔画像の大きさを揃えようとすると、面積（画素数）ではなく、画像全体に対する面積の比率（サイズ比）にしないと、他の画像との間で顔画像の大きさを揃えることができない。そこで、顔領域の代表サイズを利用する。

●トリミング位置およびトリミングサイズの決定
図4、図5は顔画像を含む画像の一例を示す図で、二人分の顔画像が写り、顔矩形301と302が検出されている。以下では、この画像のトリミング位置およびトリミングサイズを決定する方法を説明する。

図6は画像一枚分のトリミング位置およびトリミングサイズの決定(S206)の一例を示すフローチャートである。つまり、CPU104は、処理対象の画像（顔画像を検出した画像）それぞれに図6に示す処理を実行する。

CPU104は、トリミングの候補領域である、トリミングの基準領域を決定する(S601)。人物が写った画像において、トリミングによって顔画像を切ってしまうのは好ましくない。そこで、図5に示すように、顔画像をすべて含む領域401を求める。例えば、各顔矩形301、302のX座標とY座標の最大値Xmax、Ymaxと最小値Xmin、Yminを求め、(Xmin, Ymin)を左上頂点、(Xmax, Ymax)を右下頂点とする長方形を領域401にすればよい。

トリミング後の画像は、顔画像だけではなく頭部や胸部などを含むことが好ましい。そこで、領域401の高さをhとすると、例えば、上方向にh/2程度、下方向にh程度、領域401を拡げた領域402を設定する。さらに、領域401の幅をwとすると、例えば、左方向、右方向それぞれw/10程度、領域402を拡げた領域403を設定してもよい。以下では、領域402をトリミングの基準領域にする例を説明する。CPU104は、上記のリスト情報に対応するRAM106または記憶部102に格納されたテーブルの各レコードにトリミングの基準領域（例えば、左上と右下の頂点座標）を記録する。

次に、CPU104は、トリミングサイズを決定する(S602)。
Ni' = Ni×R …(2)
ここで、R = Rs_i/R_REF
Rs_iは処理対象のi番目の画像（画像i）の代表サイズ比、
R_REFは基準顔サイズ比、
Niは画像iの画素数（面積）、
Ni'はトリミング後の画像iの画素数（面積）

式(2)によれば、トリミング後の画像iの代表サイズ比は、基準顔サイズ比をもつ画像（画像中で最も顔が大きく写った画像）と同じになる。従って、画像iの変倍率Miは、下式によって得られる。
Mi = √R …(3)

従って、画像iのトリミング幅Wi'とトリミング高さHi'（トリミングサイズ）は次式によって得られる。
Wi' = Wi×Mi
Hi' = Hi×Mi …(4)
ここで、Wiは画像iの幅、
Hiは画像iの高さ

次に、CPU104は、トリミングサイズが、トリミングの基準領域を含むことが可能か否かを判定する(S603)。つまり、下式を満たせば、トリミングサイズが、トリミングの基準領域を含むことが可能である。もし、下式を満たさない場合は、トリミングサイズが、トリミングの基準領域を含むことができないので、CPU104は、画像iのトリミングは不能として、画像iの処理を終了する。
Wi'×Hi' ≧ (Xmax - Xmin)×(Ymax - Ymin) …(5)

上式を満たす場合、CPU104は、トリミング位置を決定する(S604)。トリミング位置は、トリミングの基準領域を含み、かつ、トリミングサイズであればよいが、画像の鑑賞を考慮したトリミングが行われるように、トリミング位置を決定することが好ましい。そこで、顔画像のほぼ中心、または、複数の画像のほぼ中心になるだろうトリミングの基準領域の中心が、トリミング後の画像iの中心になるようにトリミング位置を決定する。勿論、顔矩形301、302の中心が画角的に予め定められた位置になるように、トリミング位置を決定する方法も考えられる。CPU104は、上記のリスト情報に対応するRAM106または記憶部102に格納されたテーブルの各レコードにトリミング位置およびトリミングサイズ（例えば、左上と右下の頂点座標）を記録する。なお、トリミング不可能な画像の場合、トリミング位置としてすべて零（トリミング位置が未設定）を記録すればよい。

このように、アルバムに含める画像のうち、人物が写った画像の顔画像の大きさ（複数の顔画像がある場合は平均的な大きさ）をほぼ揃えるように、それら画像をトリミングして、アルバム画像を生成することができる。

なお、トリミング位置およびトリミングサイズを決定するための特定領域として、人物の顔画像を用いる例を説明したが、特定領域を他の被写体（自動車、動物、花、家屋など）に設定することが可能である。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、顔検出処理により顔矩形（特定領域）を設定してトリミング位置およびトリミングサイズを決定する例を説明したが、特定領域の設定はユーザが行ってもよい。

図7は実施例2の画像処理を説明するフローチャートで、CPU104が実行する処理である。

CPU104は、複数の画像を入力(S202)した後、UIに画像を表示して、例えば図4に示す顔矩形301や302のユーザ指定（領域指定）を入力する(S701)。ユーザは、人物が写っていないなど、領域指定が不要な画像はスキップを指示する。

全画像の領域指定が終了すると、CPU104は、実施例1と同様に、ステップS203からS206を実行する。

次に、CPU104は、ステップS205で決定したトリミング位置およびトリミングサイズを示す画像を表示部103に表示して、トリミング位置およびトリミングサイズを修正するユーザ指示（修正指示）を入力する(S702)。ユーザは、トリミング位置およびトリミングサイズを示す矩形（例えば図8に示す矩形802）を操作して修正を指示し、修正が不要な画像はスキップを指示する。CPU104は、修正指示に応じて、上記のリスト情報に対応するRAM106または記憶部102に格納されたテーブルの各レコードにトリミング位置およびトリミングサイズ（例えば、左上と右下の頂点座標）を修正する。

全画像のトリミング位置およびトリミングサイズの修正が終了すると、CPU104は、実施例1と同様に、ステップS207とS208を実行する。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、基準顔サイズ比から決定したトリミングサイズが、トリミングの基準領域を含むことが可能な場合にトリミング可能と判定する例を示した。実施例3では、トリミング可能な画像にする幅を所定範囲内で広げる例を説明する。鑑賞者は、顔画像の大きさを測りながら画像を鑑賞するわけではない。つまり、複数の画像に含まれる顔画像の大きさが、トリミング前よりもトリミング後に互いに近付けばよい。

図9は実施例3の画像一枚分のトリミング位置およびトリミングサイズの決定(S206)の一例を示すフローチャートである。

CPU104は、ステップS603でトリミング不能と判定した場合、トリミングサイズを縦横それぞれa(＞1)倍すると、トリミングの基準領域を含むことができるか否かを判定する(S901)。なお、拡大係数aは、予め定めておいてもよいし、ユーザが設定してもよい。
a×Wi'×Hi' ≧ (Xmax - Xmin)×(Ymax - Ymin) …(6)

もし、上式を満たさない場合は、拡大トリミングサイズが、トリミングの基準領域を含むことができないので、CPU104は、画像iのトリミングは不能として、画像iの処理を終了する。また、上式を満たす場合、CPU104は、トリミングサイズを修正し(S902)、処理をステップS604に進める。

修正後のトリミングサイズはa×Wi'、a×Hi'にしてもよいが、好ましくは、トリミングの基準領域を含むことが可能な最小の拡大係数b(1≦b＜a)を計算し、b×Wi'、b×Hi'を修正後のトリミングサイズにするのが好ましい。

［変形例］
以上では、s_i/R_REF（代表サイズ比と基準顔サイズ比の比率）から計算したトリミングサイズに拡大係数aを掛けて、トリミング可能の判定幅を広げる例を説明した。しかし、上記の比率に所定の拡大係数を掛けて、トリミングサイズに関する判定に幅をもたせてもよい。

以下、本発明にかかる実施例4の画像処理を説明する。なお、実施例4において、実施例1、2、3と略同様の構成については、同一符号を付して、その詳細説明を省略する。

上記の各実施例の画像処理は、例えばフォトアルバムを作成するアプリケーションなどに適用することができる。以下では、フォトアルバムの作成に上記の画像処理を適用する例を説明する。

図10はフォトアルバムの作成を説明するフローチャートである。

CPU104は、表示部103にUIを表示してフォトアルバムに使用する画像のユーザ指示（選択指示）を入力する(S1001)。

図11は画像選択用のUIの一例を示す図である。図11に示すUIには、例えば記憶部102の所定領域に格納された複数の画像の縮小画像（サムネイル）1101〜1120が一覧表示されている。ユーザは、これら画像からフォトアルバムに用いる画像を選択する。図11に示す例では、太枠で示す、画像1102、1104、1107、1108、1111、1114、1117および1120の八枚が選択されている。

ユーザは、画像の選択を終えると、選択終了ボタン1150を押す。CPU104は、ボタン1150が押されると、各画像の選択、非選択状態を調べ、選択状態の画像を表すリスト情報を生成する。リスト情報には画像の選択順を記録し、以降の処理は選択順に行う。あるいは、画像のデータファイルの名称順や、画像データに付加されたExif情報に記録された撮影日時順に、以降の処理を行ってもよい。

次に、CPU104は、UIにレイアウトが異なるフォトアルバムのテンプレートを表示して、フォトアルバムに使用するテンプレートのユーザ指示（選択指示）を入力する(S1002)。

図12はテンプレート選択用のUIの一例を示す図である。図12に示すUIには、例えば記憶部102の所定領域に格納された複数のテンプレート1201〜1203が表示されている。ユーザは、これらテンプレートからフォトアルバムに用いるテンプレートを選択する。

次に、CPU104は、画像調整処理を行う(S1003)。画像調整処理には、例えば、通常のトリミング、レタッチ、画像の配置順の入れ替えなどが含まれる。

図13は頁当り二枚の画像を配置するテンプレート（図12に示すテンプレート1201）が選択された場合のUIの一例を示す図である。画像の並び順は、図11に示すUIの符号順として説明する。従って、図13において、アルバムの一、二頁目に画像1102、1104、1107、1108が表示されている。

ユーザは、ボタン1301、1302を押してアルバムの頁を送ったり戻すことができる。なお、図13に示すように、UIに表示されているのが一、二頁目の場合は、前頁へ戻すことはできないのでボタン1301は無効である。ユーザは、図13に示すUIおいて、画像をドラッグアンドドロップして、画像の配置を変更することができる。また、図示しないメニューなどから、画像のレタッチを指示することができる。

ボタン1310は、ユーザが顔画像の大きさを揃える画像処理を指示するためのボタンである。ボタン1310が押されると、CPU104は、上記の実施例の画像処理におけるトリミングに関する処理を実行する。ユーザは、画像のレタッチや並び順の調整を行った後、ボタン1310を押して顔画像の大きさを揃える処理を指示する。

顔画像の大きさを揃える対象画像は、ステップS1001で選択された全画像である必要はなく、例えば見開き二頁（テンプレートによっては一頁）に含まれる画像である。図13に示す例では、画像1102、1104、1107、1108の四枚の画像を単位として、CPU104は、顔画像の大きさを揃える処理を実行する。

次に、CPU104は、選択されたテンプレートのレイアウトに合わせて頁ごとの画像データを生成（ページイメージを作成）する(S1004)。その際、人物の画像を含む画像は、上記の実施例で説明した画像処理（顔画像の大きさを揃える処理）を経てトリミングされている。なお、上記の実施例で説明した処理によれば、画像全体に対するの顔矩形の大きさの比を揃える処理を行う。従って、図12や図13に例示したような各画像を同一サイズで配置するテンプレートに配置（変倍を含む）した場合、配置後の各画像の顔画像の大きさもほぼ揃うことになる。

次に、CPU104は、生成した頁ごとの画像データ（ページイメージ）を出力する(S1005)。画像データの出力先は、前述したように、記憶部102、表示部103、通信部107を介したサーバ、入出力部101を介したメモリカードやプリンタなどである。ただし、記憶部102やサーバに出力する場合、頁ごとのデータの出力は、必ずしも画像データフォーマットである必要はなく、例えばHTMLやSVGのようなレイアウト記述形式のフォーマットのデータでもよい。その場合、トリミング（顔画像の大きさを揃える処理）後の画像データは、レイアウト記述形式のフォーマットのデータによって指定可能、かつ、参照可能な保存場所であれば何処に保存してもよい。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

実施例の画像処理装置の構成例を示すブロック図、実施例の画像処理を説明するフローチャート、各画像の顔領域の代表サイズ比の計算の一例を示すフローチャート、顔画像を含む画像の一例を示す図、顔画像を含む画像の一例を示す図、画像一枚分のトリミング位置およびトリミングサイズの決定の一例を示すフローチャート、実施例2の画像処理を説明するフローチャート、トリミング領域を示す矩形を示す図、実施例3の画像一枚分のトリミング位置およびトリミングサイズの決定の一例を示すフローチャート、フォトアルバムの作成を説明するフローチャート、画像選択用のUIの一例を示す図、テンプレート選択用のUIの一例を示す図、頁当り二枚の画像を配置するテンプレートが選択された場合のUIの一例を示す図である。

Claims

複数の画像を入力する入力手段と、
前記入力した複数の画像それぞれに特定領域を設定する設定手段と、
前記複数の画像それぞれの特定領域の代表サイズを決定し、当該画像全体のサイズに対する前記代表サイズの比を計算する計算手段と、
前記複数の画像それぞれについて計算した前記代表サイズの比から、基準にする代表サイズの比を基準比として選択する選択手段と、
前記複数の画像それぞれの特定領域に基づき、当該画像をトリミングする場合の候補領域を決定する候補領域の決定手段と、
前記基準比、並びに、前記複数の画像それぞれの代表サイズの比および候補領域に基づき、前記複数の画像それぞれのトリミング領域を決定するトリミング領域の決定手段と、
前記トリミング領域に応じて、前記複数の画像それぞれをトリミングするトリミング手段とを有することを特徴とする画像処理装置。
前記設定手段は、画像に含まれる被写体を前記特定領域に設定することを特徴とする請求項1に記載された画像処理装置。
前記設定手段は、ユーザ指定に従い前記特定領域を設定することを特徴とする請求項1に記載された画像処理装置。
前記選択手段は、前記複数の画像それぞれの代表サイズの比のうち、最大の代表サイズの比を前記基準比に選択することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
前記計算手段は、画像に含まれる前記特定領域の面積の平均値を前記代表サイズにすることを特徴とする請求項1から請求項4の何れか一項に記載された画像処理装置。
前記計算手段は、前記画像に含まれる特定領域のうち、他の特定領域に比べて面積が小さい特定領域を前記代表サイズの決定から除外することを特徴とする請求項5に記載された画像処理装置。
前記候補領域の決定手段は、画像に含まれる前記特定領域をすべて含む矩形領域を前記候補領域に決定することを特徴とする請求項1から請求項4の何れか一項に記載された画像処理装置。
前記トリミング領域の決定手段は、前記基準比と前記代表サイズの比の比率に従い前記トリミング領域のサイズを決定し、かつ、前記候補領域を含むように前記トリミング領域を決定することを特徴とする請求項1から請求項7の何れか一項に記載された画像処理装置。
前記トリミング領域の決定手段は、前記トリミング領域のサイズよりも前記候補領域のサイズが大きい場合、前記トリミング領域のサイズを所定範囲内で調整することを特徴とする請求項8に記載された画像処理装置。
さらに、前記トリミング後の複数の画像を配置した画像データを生成する生成手段を有することを特徴とする請求項1から請求項9の何れか一項に記載された画像処理装置。
入力手段、設定手段、計算手段、選択手段、第一および第二の決定手段、トリミング手段を有する画像処理装置の画像処理方法であって
前記入力手段が複数の画像を入力し、
前記入力した複数の画像それぞれに、前記設定手段が特定領域を設定し、
前記計算手段が、前記複数の画像それぞれの特定領域の代表サイズを決定して、当該画像全体のサイズに対する前記代表サイズの比を計算し、
前記複数の画像それぞれについて計算した前記代表サイズの比から、前記選択手段が基準にする代表サイズの比を基準比として選択し、
前記第一の決定手段が、前記複数の画像それぞれの特定領域に基づき、当該画像をトリミングする場合の候補領域を決定し、
前記第二の決定手段が、前記基準比、並びに、前記複数の画像それぞれの代表サイズの比および候補領域に基づき、前記複数の画像それぞれのトリミング領域を決定し、
前記トリミング手段が、前記トリミング領域に応じて、前記複数の画像それぞれをトリミングすることを特徴とする画像処理方法。
コンピュータを制御して請求項1から請求項10の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。