JP5084682B2 - 画像処理装置、制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、制御方法、プログラム及び記録媒体に関する。

デジタルスチルカメラやデジタルビデオカメラなどの撮像装置で撮像された複数の画像（画像データ）を取得し、かかる複数の画像をモニタ（表示画面）や台紙等の出力領域に貼り付けて電子アルバムを作成する画像処理装置が従来から使用されている。

電子アルバムの作成において、複数の画像のそれぞれを出力領域内の予め定められた位置に自動的に配置（レイアウト）すると、画像の内容にかかわらず（即ち、画像配置の見栄えを考慮せずに）画像が出力領域に配置される。従って、ユーザ（鑑賞者）は、画像配置に違和感を抱くことがある。

一方、ユーザが画像配置の見栄えを考慮して出力領域に画像を配置することも考えられるが、多数の画像がある場合、画像の内容に応じて画像を選択して出力領域における配置位置を決定することに多大な労力と時間を必要としてしまう。

そこで、画像配置の見栄えを考慮して電子アルバムを作成する画像処理装置が幾つか提案されている（特許文献１乃至３参照）。

特許文献１には、動画中からフレーム画像を切り出し、主被写体と背景オブジェクトとの位置の変化に基づいて主被写体の横方向への移動方向を検出して、かかる移動方向に従ってトリミング及び出力領域におけるレイアウトを決定する技術が開示されている。

また、特許文献２には、画像が有する方向成分を算出して、かかる方向成分に応じて出力領域へのレイアウトを決定する技術が開示されている。

また、特許文献３には、画像が撮像された時間情報に応じて出力領域へのレイアウトを決定する技術が開示されている。
特開２００６−２７７７２９号公報 特開２００６−３０４２６５号公報 特開２００５−１００３３８号公報

しかしながら、特許文献１は、主被写体と背景オブジェクトとの相対的な位置関係に基づいて主被写体の移動方向を検出しているため、主被写体と撮像装置との奥行き方向に関する主被写体の移動方向を得ることが困難である。従って、特許文献１では、主被写体と撮像装置との奥行き方向の相対的な位置関係に応じて好適なレイアウトを決定することができない。なお、好適なレイアウトとは、主被写体と撮像装置との相対的な位置関係を表現するレイアウトである。具体的には、主被写体と撮像装置との相対的な位置関係が近い画像ほど大きく表示するレイアウト、又は、複数の画像を重ね合わせる際に主被写体と撮像装置との相対的な位置関係が近い画像ほど手前に表示するレイアウトである。

また、特許文献２は、空間周波数解析によるオブジェクトのエッジ情報などを利用して画像中のオブジェクトが有する方向成分を算出しているため、主被写体と撮像装置との奥行き方向に関する主被写体の移動方向を得ることが困難である。従って、特許文献２では、特許文献１と同様に、主被写体と撮像装置との奥行き方向の相対的な位置関係に応じて好適なレイアウトを決定することができない。

また、特許文献３は、時間の流れを表現するレイアウトを実現することができるが、主被写体と撮像装置との奥行き方向の相対的な位置関係が考慮されていないため、ユーザに違和感を与えるレイアウトになる可能性がある。例えば、主被写体が撮像装置に接近する動作を撮像した複数の画像と、主被写体が撮像装置から遠ざかる動作を撮像した複数の画像とがある場合に、特許文献３では、時間軸を基準として同じレイアウトになってしまう。従って、主被写体と撮像装置との相対的な位置関係が遠い画像を大きく表示するレイアウト、又は、複数の画像を重ね合わせる際に主被写体と撮像装置との相対的な位置関係が遠い画像を手前に表示するレイアウトになることがあり、ユーザに違和感を与えてしまう。

本発明は、このような従来技術の課題に鑑みて、複数の画像データ（画像）を出力領域に配置する際に、主被写体の相対的な位置関係を表現した好適なレイアウトを決定することができる画像処理装置を提供することを例示的目的とする。

上記目的を達成するために、本発明の一側面としての画像処理装置は、複数の画像データを出力領域に配置する画像処理装置であって、複数の画像データを取得する画像データ取得手段と、前記画像データ取得手段によって取得された複数の画像データのそれぞれについて、画像データに含まれる主被写体のサイズ情報と前記画像データのサイズ情報との関係から前記画像データを生成した撮像装置との距離を解析する第１の解析手段と、前記画像データにおける主被写体の位置情報と前記画像データの背景に存在する特定オブジェクトの位置情報との関係から前記主被写体と前記画像データを生成した撮像装置との上下または左右の位置関係を解析する第２の解析手段と、前記第１の解析手段および前記第２の解析手段の解析結果に基づいて、前記出力領域における前記複数の画像データそれぞれの画像サイズ、前記複数の画像データのそれぞれを重ね合わせて出力する際の重ね合わせの順序、配置方向を決定するレイアウト決定手段と、前記レイアウト決定手段によって決定されたレイアウトに基づいて、前記複数の画像データのそれぞれを前記出力領域に配置する配置手段と、を有することを特徴とする。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

本発明によれば、例えば、複数の画像データ（画像）を出力領域に配置する際に、主被写体の相対的な位置関係を表現した好適なレイアウトを決定する画像処理装置を提供することができる。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の一側面としての画像処理装置１の構成を示す概略ブロック図である。画像処理装置１は、撮像装置によって連続的に撮像（生成）された関連する複数の画像データ又は画像ファイル（画像）をモニタ（表示画面）や台紙等の出力領域に配置する画像処理装置である。

画像処理装置１は、出力領域において、複数の画像データ又は画像ファイル（画像）に含まれる主被写体の相対的な位置関係（即ち、主被写体の移動方向）を表現する好適なレイアウトを決定することができる。また、画像処理装置１は、撮像装置が画像データを生成したときの撮像情報が画像データに含まれている場合には、かかる撮像情報を用いることで処理負荷を低減して、出力領域における複数の画像データの好適なレイアウトをより早く決定することができる。

画像処理装置１は、汎用のコンピュータで構成され、図１に示すように、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、モニタ（例えば、タッチパネルを備えるモニタ）１０９と接続するビデオカード１０４とを有する。また、画像処理装置１は、ハードディスクドライブやメモリカードなどの記憶部（記憶領域）１０５を有する。また、画像処理装置１は、キーボード１１０やマウス、スタイラス及びタブレットなどのポインティングデバイス１１１と接続するＵＳＢやＩＥＥＥ１３９４などのシリアルバス用のインタフェース１０７を有する。更に、画像処理装置１は、ネットワークＮＷと接続するネットワークインタフェースカード（ＮＩＣ）１０６を有する。なお、画像処理装置１は、図１に示す構成に限定されず、一部の構成要素を欠いたり、他の構成要素を追加したりしてもよい。

画像処理装置１において、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ビデオカード１０４、記憶部１０５、ＮＩＣ１０６及びインタフェース１０７は、システムバス１０８を介して、相互に接続されている。また、画像処理装置１は、インタフェース１０７を介して、プリンタ２、デジタルビデオカメラ３やデジタルスチルカメラ４などの撮像装置と接続されている。

ＣＰＵ１０１は、ＲＯＭ１０２又は記憶部１０５に格納されているプログラムをワークメモリであるＲＡＭ１０３にロードして実行する。ＣＰＵ１０１は、ＲＡＭ１０３にロードされたプログラムに従って、システムバス１０８を介して、上述した各構成要素を制御することで、かかるプログラムの機能を実現する。

ＣＰＵ１０１は、本実施形態では、図２に示すように、画像データ取得部１０１１、第１の位置情報取得部１０１２、第１の位置関係決定部１０１３、撮像時刻情報取得部１０１４として機能する。また、ＣＰＵ１０１は、第２の位置情報取得部１０１５、第２の位置関係決定部１０１６、レイアウト決定部１０１７、配置部１０１８としても機能する。ＣＰＵ１０１は、図２に示す機能を単独で、或いは、上述した各構成要素と協同して実現する。ここで、図２は、ＣＰＵ１０１が実現する機能構成を示すブロック図である。

画像データ取得部１０１１は、画像処理装置１に複数の画像データを入力するための機能、即ち、複数の画像データを取得する機能を有する。具体的には、画像データ取得部１０１１は、デジタルビデオカメラ３やデジタルスチルカメラ４などの光学的に画像データを取得する撮像装置から画像データを取得する。また、画像データ取得部１０１１は、磁気ディスク、光ディスク、メモリカードなどの可搬型メディアから画像データを取得することもできる。なお、画像データ取得部１０１１が取得する画像データは、画像ファイルに含まれた形態であってもよい。換言すれば、画像データ取得部１０１１は、画像ファイルを取得することもできる。

第１の位置情報取得部１０１２は、画像データ取得部１０１１によって取得された複数の画像データのそれぞれについて、画像データに含まれる主被写体と撮像装置との奥行き方向の相対的な位置関係を示す第１の位置情報を取得する機能を有する。

なお、本実施形態では、主被写体の相対的な位置関係に関して、主被写体と撮像装置との奥行き方向の位置関係や主被写体の上下左右方向の位置関係と記載する。主被写体と撮像装置との奥行き方向の位置関係とは、主被写体と撮像装置との距離に関する位置関係である。また、主被写体の上下左右方向とは、主被写体と撮像装置との距離は一定で、主被写体の上下左右方向の距離に関する位置関係である。これにより、本実施形態では、撮像装置に対する主被写体の３次元の移動方向を表現することができる。

第１の位置関係決定部１０１３は、第１の位置情報取得部１０１２によって取得された第１の位置情報に基づいて、複数の画像のそれぞれの主被写体と撮像装置との奥行き方向の相対的な位置関係を決定する機能を有する。

このように、第１の位置情報取得部１０１２及び第１の位置関係決定部１０１３は、画像データ取得部１０１１によって取得された複数の画像データについて、主被写体と撮像装置との奥行き方向の相対的な位置関係を解析する。

撮像時刻情報取得部１０１４は、画像データ取得部１０１１によって取得された複数の画像データのうち、第１の位置情報が同じである複数の画像データのそれぞれの撮像時刻情報を取得する機能を有する。

第２の位置情報取得部１０１５は、画像データ取得部１０１１によって取得された複数の画像データのそれぞれについて、画像データに含まれる主被写体の上下左右方向の相対的な位置関係を示す第２の位置情報を取得する機能を有する。

第２の位置関係決定部１０１６は、第２の位置情報取得部１０１５によって取得された第２の位置情報に基づいて、複数の画像のそれぞれの主被写体の上下左右方向の相対的な位置関係を決定する機能を有する。

このように、第２の位置情報取得部１０１５及び第２の位置関係決定部１０１６は、画像データ取得部１０１１によって取得された複数の画像データについて、主被写体の上下左右方向の相対的な位置関係を解析する。

レイアウト決定部１０１７は、出力領域における複数の画像データのレイアウトを決定する機能を有する。具体的には、レイアウト決定部１０１７は、第１の位置関係決定部１０１３や第２の位置関係決定部１０１６によって決定された位置関係、撮像時刻情報取得部１０１４によって取得された撮像時刻情報に基づいて、レイアウトを決定する。例えば、レイアウト決定部１０１７は、出力領域における複数の画像データそれぞれの画像サイズ、及び、出力領域における複数の画像データのそれぞれを重ね合わせて出力する際の重ね合わせの順序の少なくとも一方を決定する。また、レイアウト決定部１０１７は、複数の画像データに画像処理（サイズ変更処理、トリミング処理、彩度変更処理及び鮮鋭度変更処理など）を施して、レイアウトを決定する。

配置部１０１８は、レイアウト決定部１０１７によって決定されたレイアウトに基づいて、複数の画像データのそれぞれを出力領域に配置する機能を有する。

ここで、主被写体に焦点を合わせて、主被写体を連続して撮像して生成された複数の画像データのそれぞれを台紙等の出力領域に配置する処理（レイアウト処理）について説明する。本実施形態では、１枚の台紙を出力領域として複数の画像データを配置する場合のレイアウト処理について説明する。但し、複数の画像データを配置する出力領域は１枚の台紙に限定されるものではなく、例えば、見開きのページなどを想定して２枚の台紙を出力領域としてもよい。

図３は、画像処理装置１によるレイアウト処理を説明するためのフローチャートである。かかるレイアウト処理は、ＣＰＵ１０１が画像処理装置１の各部を統括的に制御することによって実行される。

ステップＳ３０２では、インタフェース１０７を介して、撮像装置（デジタルスチルカメラ４）から複数の画像データを取得する。

ステップＳ３０４では、ステップＳ３０２で取得した複数の画像データのそれぞれについて、画像データに含まれる主被写体と撮像装置との奥行き方向の相対的な位置関係や主被写体の上下左右方向の相対的な位置関係を示す位置情報を取得する。

ステップＳ３０６では、ステップＳ３０４で取得した位置情報に基づいて、ステップＳ３０２で取得した複数の画像データのそれぞれの主被写体と撮像装置との奥行き方向の相対的な位置関係や主被写体の上下左右方向の相対的な位置関係を決定する。

図４を参照して、ステップＳ３０４及びＳ３０６における処理を説明する。なお、画像処理装置１は、主被写体と撮像装置との奥行き方向の相対的な位置関係を解析することを特徴としているため、ここでは、主被写体と撮像装置との奥行き方向の相対的な位置関係に関する処理のみについて説明する。

図４は、複数の画像データのそれぞれに対応する画像に含まれる主被写体と撮像装置との奥行き方向の相対的な位置関係を示す図である。図４において、ＩＭ１、ＩＭ２及びＩＭ３は、撮像装置（デジタルスチルカメラ４）で撮像された画像を示す。なお、画像ＩＭ１、ＩＭ２及びＩＭ３のそれぞれは、主被写体が位置ＰＴ１、ＰＴ２及びＰＴ３に位置するときに撮像された画像である。また、矢印Ａ１は、主被写体の移動を示す。主被写体は、本実施形態では、主被写体と撮像装置との奥行き方向の相対的な位置関係が近づくように（即ち、撮像装置に対して主被写体が近づくように）移動する。

ステップＳ３０４では、３つの画像ＩＭ１乃至ＩＭ３のそれぞれについて、主被写体と撮像装置の奥行き方向の相対的な位置関係を示す位置情報を取得する。例えば、３つの画像ＩＭ１乃至ＩＭ３のそれぞれから、位置情報として、主被写体のサイズに関する情報を取得する。

ステップＳ３０６では、画像ＩＭ１の位置情報（主被写体のサイズ）と画像ＩＭ２の位置情報、画像ＩＭ１の位置情報と画像ＩＭ３の位置情報、画像ＩＭ２の位置情報と画像ＩＭ３の位置情報を順次比較する。そして、かかる比較結果に基づいて、画像ＩＭ１乃至ＩＭ３について、主被写体と撮像装置との奥行き方向の相対的な位置関係を決定する。

図３に戻って、ステップＳ３０８では、ステップＳ３０６で決定した主被写体と撮像装置との奥行き方向の相対的な位置関係や主被写体の上下左右方向の相対的な位置関係に基づいて、出力領域における複数の画像データのレイアウトを決定する。

図５は、主被写体と撮像装置との奥行き方向の相対的な位置関係に基づいて決定された画像ＩＭ１乃至ＩＭ３の好適なレイアウトの一例を示す図である。好適なレイアウトとは、上述したように、主被写体と撮像装置との奥行き方向の相対的な位置関係を表現するレイアウトである。なお、主被写体と撮像装置との奥行き方向の相対的な位置関係を表現するためには、図５に示すように、画像ＩＭ１乃至ＩＭ３のサイズを変更したり、画像ＩＭ１乃至ＩＭ３を重ね合わせたりしてもよい。

ステップＳ３１０では、ステップＳ３０８で決定されたレイアウトに基づいて、ステップＳ３０２で取得した複数の画像データのそれぞれを出力領域に配置する。

ステップＳ３１２では、ステップＳ３１０で出力領域に配置された複数の画像データに対応する画像（即ち、レイアウトされた画像）を出力する。ここで、画像の出力とは、出力領域に配置された複数の画像データに対応する画像を、モニタ１０９に表示したり、プリンタ２で印刷したりすることである。また、画像の出力は、出力領域に配置された複数の画像データをファイル化して記憶部１０５などに格納することも含む。

なお、本実施形態では、画像処理装置１がレイアウト処理を実行しているが、デジタルビデオカメラ３やデジタルスチルカメラ４などの撮像装置をプリンタ２に直接接続して、プリンタ２が上述したレイアウト処理を実行してもよい。

以下、第１の実施形態乃至第５の実施形態において、画像処理装置１によるレイアウト処理を詳細に説明する。本実施形態では、画像データ（画像）の座標情報を示すことがあるが、かかる座標情報は、画像データ（画像）の左下を原点、右方向をｘ軸の＋側、上方向をｙ軸の＋側とする座標系における座標情報である。

また、本実施形態では、静止画の圧縮符号化国際標準方式であるＪＰＥＧのフォーマットを想定して、即ち、画像データがＪＰＥＧファイルであるとして説明する。但し、画像データのフォーマットは、ＪＰＥＧに限定されるものではなく、ｂｍｐやｔｉｆｆなどの一般的な画像データのフォーマットであってもよい。なお、ＪＰＥＧの画像フォーマットについては、『「カラー静止画符号化国際標準化」、画像電子学会誌、第１８巻、第６号、ｐｐ．３９８−４０７、１９８９』に詳細に記載されている。

また、撮像装置がデジタルビデオカメラである場合には、動画を構成するフレーム画像を切り出して複数の画像データを生成する。従って、画像データのフォーマットは、ＭＰＥＧ−４やＡＶＩなどの一般的な動画のフォーマットであってもよい。

一般的に、画像ファイルには、画像データと、かかる画像データを生成したときの撮像情報が格納される。ここで、撮像情報は、焦点検出情報、主被写体までの距離情報、主被写体までの距離範囲情報、主被写体の位置情報、ストロボの発光エネルギー情報及びレンズ焦点距離情報の少なくとも１つを含む。

撮像情報の形式としては、例えば、ＪＥＩＤＡ（Ｊａｐａｎ Ｅｌｅｃｔｒｏｎｉｃ Ｉｎｄｕｓｔｒｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ａｓｓｏｃｉａｔｉｏｎ）の定めるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｏｒｍａｔ）を使用することができる。但し、本実施形態では、撮像情報がＥｘｉｆタグ情報の一部に格納されている、即ち、Ｅｘｉｆフォーマットであってもよいし、撮像情報が画像データに埋め込まれているようなフォーマットであってもよい。

また、複数の画像データを１つの画像ファイルとして保持するようなフォーマットに対しては、かかる１つの画像ファイルに保持されている複数の画像データを本実施形態における複数の画像データとすればよい。
＜第１の実施形態＞
第１の実施形態では、主被写体（人物）が撮像装置に対して真正面から接近する動作を撮像した複数の画像データのそれぞれに対応する画像のサイズを変更して出力領域に配置することで好適なレイアウトを決定する例を説明する。かかるレイアウトは、主被写体と撮像装置との遠近感を表現することができる。

図６は、第１の実施形態におけるレイアウト処理を説明するためのフローチャートである。

ステップＳ４０２では、インタフェース１０７を介して、デジタルスチルカメラ４から複数の画像データを取得する。本実施形態では、デジタルスチルカメラ４によって撮像された複数の画像データを取得しているが、例えば、デジタルビデオカメラ３などのデジタルスチルカメラ４以外の撮像装置によって撮像された複数の画像データを取得してもよい。また、デジタルスチルカメラ４などの撮像装置によって撮像された複数の画像データを予め記憶部１０５に格納し、かかる複数の画像データを記憶部１０５から取得してもよい。更には、磁気ディスク、光ディスク、メモリカードなどの可搬型メディアに格納された複数の画像データを取得してもよい。また、デジタルスチルカメラ４が撮像時刻を記録することができる場合には、撮像時刻情報を含む画像データを取得することができる。複数の画像データを取得する際には、同じグループ毎に行う。ここで、グループとは同じ撮影シーンのまとまった画像であり、後述するレイアウト処理はグループ毎に施される。これは撮影シーンが異なる画像が混ざった状態でレイアウト処理されてしまうことを避けるためである。グループ毎の画像の取得方法はユーザによる指定の他に、連写モードで撮影された複数の連写画像、撮像時刻が近いもの、画像の構図を解析し類似の構図であると判断されたもの、ＧＰＳ（撮像時の位置情報）情報が近いもの、等の情報により行うことも可能である。

図７は、ステップＳ４０２で取得した複数の画像データのそれぞれに対応する画像の一例を示す図である。第１の実施形態では、３つの画像データを取得する場合について説明するが、３つ以外の複数の画像データを取得してもよいことは言うまでもない。図７に示すように、ステップＳ４０２で取得した３つの画像データのそれぞれに対応する画像を、画像ＩＭ４、画像ＩＭ５、画像ＩＭ６とする。

ステップＳ４０４では、ステップＳ４０２で取得した複数の画像データのそれぞれについて、主被写体を検出する。一般的に、撮像装置で撮像する場合には、主被写体が中心に位置するように撮像すると考えられるため、例えば、画像データに含まれる各オブジェクトの位置情報に基づいて、主被写体を検出することが可能である。具体的には、画像データから顔検出によって人物の位置情報を抽出し、画像データにおいて中央部に最も近い位置情報の人物を主被写体として検出する。なお、主被写体の検出に関しては、当業界で周知のいかなる方法をも適用することができるため、ここでの詳細な説明は省略する。

ステップＳ４０６では、ステップＳ４０２で取得した複数の画像データのそれぞれについて、ステップＳ４０４で検出した主被写体の特定部位を検出する。例えば、ステップＳ４０４で主被写体として検出した人物の顔（顔領域）を特定部位とし、かかる顔領域の位置情報を検出（抽出）する。本実施形態では、主被写体として検出した人物の顔領域を矩形で囲った際の４点の座標情報を抽出する。但し、主被写体の特定部位は、人物の顔に限定されるものではなく、人物の目、鼻、口などであってもよい。

具体的には、図７に示すように、ステップＳ４０２で取得した３つの画像データのうち１つの画像データに対応する画像ＩＭ４に対して顔領域ＦＡ４を検出する。そして、顔領域ＦＡ４を矩形で囲った際の４点の座標情報（ｘｆａ−１、ｙｆａ−１）、（ｘｆａ−２、ｙｆａ−２）、（ｘｆａ−３、ｙｆａ−３）及び（ｘｆａ−４、ｙｆａ−４）を抽出する。同様に、画像ＩＭ５に対して顔領域ＦＡ５を検出し、顔領域ＦＡ５を矩形で囲った際の４点の座標情報（ｘｆｂ−１、ｙｆｂ−１）、（ｘｆｂ−２、ｙｆｂ−２）、（ｘｆｂ−３、ｙｆｂ−３）及び（ｘｆｂ−４、ｙｆｂ−４）を抽出する。同様に、画像ＩＭ６に対して顔領域ＦＡ６を検出し、顔領域ＦＡ６を矩形で囲った際の４点の座標情報（ｘｆｃ−１、ｙｆｃ−１）、（ｘｆｃ−２、ｙｆｃ−２）、（ｘｆｃ−３、ｙｆｃ−３）及び（ｘｆｃ−４、ｙｆｃ−４）を抽出する。

なお、本実施形態では、主被写体の特定部位としての顔領域を４点の座標情報として検出（抽出）しているが、顔領域の中心座標を中心とする多角形の図形情報として検出してもよく、後述するように、特定部位（主被写体）のサイズを特定できる情報であればよい。

ステップＳ４０８では、ステップＳ４０６で検出した特定部位のサイズ（即ち、主被写体のサイズ）を算出する。例えば、画像ＩＭ４の顔領域ＦＡ４のサイズをＳａ、画像ＩＭ５の顔領域ＦＡ５のサイズをＳｂ、画像ＩＭ６の顔領域ＦＡ６のサイズをＳｃとして、顔領域のサイズを算出する。本実施形態では、顔領域を４点の座標情報として検出（抽出）しているため、画像ＩＭ４の顔領域ＦＡ４のサイズＳａは、（（ｘｆａ−１）−（ｘｆａ−２））×（（ｙｆａ−１）−（ｙｆａ−３））で算出することができる。同様に、画像ＩＭ５の顔領域ＦＡ５のサイズＳｂは、（（ｘｆｂ−１）−（ｘｆｂ−２））×（（ｙｆｂ−１）−（ｙｆｂ−３））で算出することができる。同様に、画像ＩＭ６の顔領域ＦＡ６のサイズＳｃは、（（ｘｆｃ−１）−（ｘｆｃ−２））×（（ｙｆｃ−１）−（ｙｆｃ−３））で算出することができる。

ステップＳ４１０では、ステップＳ４０８で算出された特定部位のサイズに基づいて、主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係を解析する。ステップＳ４０８で算出された特定部位のサイズが大きい画像ほど、主被写体とデジタルスチルカメラ４との距離が近く、ステップＳ４０８で算出された特定部位のサイズが小さい画像ほど、主被写体とデジタルスチルカメラ４との距離が遠い画像であると考えられる。そこで、画像ＩＭ４の顔領域ＦＡ４のサイズＳａと、画像ＩＭ５の顔領域ＦＡ５のサイズＳｂと、画像ＩＭ６の顔領域ＦＡ６のサイズＳｃとを比較して（即ち、大小関係を確認して）、主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係を解析する。

具体的には、Ｓａ＜Ｓｂ＜Ｓｃであれば、画像ＩＭ４、画像ＩＭ５、画像ＩＭ６の順で主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係が近づいている（デジタルスチルカメラ４に対して主被写体が近づいている）と解析することができる。一方、Ｓａ＞Ｓｂ＞Ｓｃであれば、画像ＩＭ４、画像ＩＭ５、画像ＩＭ６の順で主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係が遠ざかっている（即ち、デジタルカメラ４に対して主被写体が遠ざかっている）と解析することができる。本実施形態では、主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係として、Ｓａ＜Ｓｂ＜Ｓｃを得る。

ステップＳ４１２では、ステップＳ４１０で解析した主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係に基づいて、ステップＳ４０２で取得した複数の画像データのそれぞれを出力領域に配置する際の画像のサイズを決定する。具体的には、画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６が出力領域に収まるように画像のサイズを決定する。本実施形態では、主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係に関して、画像ＩＭ４が最もデジタルカメラ４から遠く、画像ＩＭ６が最もデジタルカメラ４に近いという解析結果（Ｓａ＜Ｓｂ＜Ｓｃ）が得られている。そこで、画像ＩＭ４、画像ＩＭ５、画像ＩＭ６のサイズを、Ｓａ：Ｓｂ：Ｓｃの比率に基づいて決定する。

なお、画像ＩＭ４、画像ＩＭ５、画像ＩＭ６のサイズは、Ｓａ＜Ｓｂ＜Ｓｃに基づいた比率で決定してもよい。即ち、主被写体と撮像装置との相対的な位置関係が近い画像ほど大きいサイズの比率とし、主被写体と撮像装置との相対的な位置関係が遠い画像ほど小さいサイズの比率にしてもよい。

また、Ｓａ：Ｓｂ：Ｓｃに基づいて、画像のサイズ比を決定することで、主被写体と撮像装置との相対的な位置関係を強めて表現することができる。例えば、主被写体と撮像装置との相対的な位置関係を強調したい場合には、Ｓａ：Ｓｂ：Ｓｃの比率を強めればよく、主被写体と撮像装置との相対的な位置関係を弱めたい場合には、Ｓａ：Ｓｂ：Ｓｃの比率を弱めればよい。

また、本実施形態では、主被写体が１方向に移動する場合について説明しているが、主被写体の移動方向が変化する場合も考えられる。このような場合であっても、本実施形態と同様に、主被写体と撮像装置との奥行き方向の相対的な位置関係に応じて画像のサイズを決定すればよい。具体的には、撮像装置に対して接近してきた主被写体が方向転換して遠ざかるような動作をする場合が考えられる。このような場合にも、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像ほど大きく、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像ほど小さくする。また、撮像装置に対して遠ざかる主被写体が方向転換して近づくような動作をする場合も同様である。

ステップＳ４１４では、ステップＳ４１２で決定した画像のサイズに基づいて、ステップＳ４０２で取得した複数の画像データのそれぞれに対応する画像のサイズを変倍する。

ステップＳ４１６では、ステップＳ４１２で変倍した画像データを出力領域に配置する。図８は、ステップＳ４１６で３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６を出力領域ＯＰＡに配置（レイアウト）した一例を示す図である。

なお、本実施形態では、３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６は、図８に示すように、画像の下端部が一致するように配置されているが、出力領域ＯＰＡにおける３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６のレイアウトはこれに限定されるものではない。例えば、３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６は、画像の上端部が一致するように、或いは、画像の中心部が一致するように配置されてもよい。また、３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６は、特定部位の位置が一致するように配置されてもよい。

また、本実施形態では、３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６は、図８に示すように、画像の端部が一致するように配置されているが、出力領域ＯＰＡにおける３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６のレイアウトはこれに限定されるものではない。例えば、３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６は、画像と画像の間にスペースをあけて配置されてもよい。

また、本実施形態では、３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６は、画像ＩＭ６の縦のサイズが出力領域ＯＰＡの縦のサイズと一致するように（即ち、出力領域ＯＰＡを最大限に使用するように）配置されている。但し、３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６を、出力領域ＯＰＡよりも１回り小さな領域に配置する場合も考えられる。このような場合にも、主被写体と撮像装置との奥行き方向の相対的な位置関係に基づいて、画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６が出力領域ＯＰＡよりも小さな領域に収まるように画像のサイズを決定して配置すればよい。

ステップＳ４１８では、ステップＳ４１６で出力領域に配置された複数の画像データに対応する画像（即ち、レイアウトされた画像）を出力する。

このように、第１の実施形態では、複数の画像データのそれぞれについて、主被写体の特定部位を検出して、主被写体と撮像装置との奥行き方向の相対的な位置関係を解析する。そして、かかる解析結果に基づいて、複数の画像データのそれぞれに対応する画像のサイズを決定することで、主被写体と撮像装置との奥行き方向の相対的な位置関係を表現したレイアウトを決定することができる。換言すれば、複数の画像データ（画像）を出力領域に配置する際に、主被写体の相対的な位置関係を表現した好適なレイアウトを決定することができる。

なお、本実施形態では、特定部位のサイズを算出しているため、主被写体と撮像装置との奥行き方向の相対的な位置関係を正確に解析することが可能である。但し、特定部位のサイズを算出するような画像処理は、一般的には、処理負荷の大きな処理であるため、処理負荷を低減しながらも主被写体と撮像装置との奥行き方向の相対的な位置関係を解析できることが好ましい。

例えば、主被写体に焦点を合わせて主被写体を連続して撮影する場合、意図的に焦点距離を変化させながら撮影することも考えられる。このような場合、主被写体と撮像装置との奥行き方向の相対的な位置関係は、焦点距離情報、主被写体までの距離情報、主被写体の位置情報などを用いて解析することができる。従って、焦点距離情報、主被写体までの距離情報、被写体までの距離範囲情報、ストロボの発光エネルギー情報などの撮像情報を取得できる場合には、かかる撮像情報に基づいて、主被写体と撮像装置との奥行き方向の相対的な位置関係を解析すればよい。

具体的には、焦点距離情報、主被写体までの距離情報、被写体までの距離範囲情報、主被写体の位置情報、ストロボの発光エネルギー情報の値が小さいほど、主被写体と撮像装置との奥行き方向に関する相対的な位置関係が近い画像データであると解析する。このように、撮像情報を用いて主被写体と撮像装置との奥行き方向に関する相対的な位置関係を解析することで、特定部位のサイズを算出するような画像処理よりも処理負荷を低減させることができる。

なお、近年の撮像装置には、顔領域検出機能、特定部位検出機能などの機能が搭載されていることが多い。従って、かかる撮像装置の機能を用いることで、画像処理装置１における主被写体の特定部位（例えば、人物の顔領域）の検出に関する処理負荷を低減することができる。

また、本実施形態では、主被写体が人物である例を説明したが、主被写体が人物以外、例えば、車である場合も考えられる。このような場合には、主被写体としての車のタイヤやミラーのサイズを算出して、主被写体と撮像装置との奥行き方向に関する相対的な位置関係を解析すればよい。

また、本実施形態では、画像処理装置１が撮像装置から撮像情報を含む画像データを取得する場合について説明した。しかしながら、近年では、撮像装置とプリンタとを直接接続するシステムも提案されている。このようなシステムにおいては、画像データと撮像情報とが１つのファイルになっている必要はなく、画像データと撮像情報とを個別に取得してもよい。

また、本実施形態では、撮像装置の倍率を固定して、主被写体（人物）が撮像装置に対して真正面から接近する動作を撮像した複数の画像データを例に説明した。但し、撮像装置の倍率を変化させながら撮像した複数の画像データに対しては、主被写体のサイズだけでは、主被写体と撮像装置との奥行き方向の相対的な位置関係を解析することは困難である。このような場合には、主被写体と背景オブジェクトとのサイズの相関関係に基づいて、主被写体と撮像装置との奥行き方向の相対的な位置関係を解析すればよい。また、レンズ焦点距離情報などの撮像情報が画像データに含まれている場合は、かかるレンズ焦点距離情報を用いることで、主被写体と撮像装置との奥行き方向の相対的な位置関係を正確に解析することができる。

また、本実施形態では、画像処理装置１が関連する複数の画像データを取得する場合について説明したが、関連する画像データと、関連のない画像データとが混在する複数の画像データを取得することも考えられる。このような場合には、かかる複数の画像データから関連する画像データを選択する処理を追加すればよい。なお、関連する画像データを選択する際には、画像データに含まれている撮像情報（例えば、撮像時刻情報や連続撮像情報など）や関連性を示す情報を用いればよい。なお、関連性を示す情報が画像データに含まれていない場合には、画像データ間の相関度合いや人物判定などの画像解析を利用することで、関連する画像データを選択することができる。

また、本実施形態では、主被写体と撮像装置との奥行き方向の相対的な位置関係に基づいて、複数の画像データのそれぞれに対応する画像のサイズを変倍して出力領域に配置している。但し、電子アルバムの作成においては、画像を埋め込む（配置する）フレームサイズを決定し、かかるフレームサイズに応じて画像のサイズを変倍することも考えられる。このような場合には、主被写体と撮像装置との奥行き方向の相対的な位置関係に基づいて、フレームサイズを決定すればよい。
＜第２の実施形態＞
第２の実施形態では、主被写体（人物）が撮像装置に対して真正面から接近する動作を撮像した複数の画像データのそれぞれに対応する画像を重ね合わせて出力領域に配置することで好適なレイアウトを決定する例を説明する。かかるレイアウトは、主被写体と撮像装置との遠近感を表現することができる。

図９は、第２の実施形態におけるレイアウト処理を説明するためのフローチャートである。ステップＳ５０２乃至Ｓ５１０は、第１の実施形態におけるステップＳ４０２乃至Ｓ４１０と同じ処理であるため、ここでの詳細な説明は省略する。また、ステップＳ５０２では、第１の実施形態と同様に、同じグループに属する３つの画像データ（画像ＩＭ４、画像ＩＭ５、画像ＩＭ６）を取得するものとする（図７参照）。

ステップＳ５１２では、ステップＳ５１０で解析した主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係に基づいて、出力領域において複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ順序を決定する。本実施形態では、主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係に関して、画像ＩＭ４が最もデジタルカメラ４から遠く、画像ＩＭ６が最もデジタルカメラ４に近いという解析結果（Ｓａ＜Ｓｂ＜Ｓｃ）が得られている。そこで、画像ＩＭ５を画像ＩＭ４の上に重ね合わせ、画像ＩＭ６を画像ＩＭ５の上に重ね合わせるように、重ね合わせ順序を決定する。

このように、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像ほど上に、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像ほど下に重ね合わせるように、重ね合わせ順序を決定する。これにより、ユーザ（鑑賞者）の遠近感に関する視覚特性を利用して、主被写体と撮像装置との相対的な位置関係を表現したレイアウトを決定することができる。

なお、主被写体（人物）が撮像装置に対して遠ざかる動作を撮像した複数の画像データに対しても同様に、主被写体と撮像装置との奥行き方向の相対的な位置関係に基づいて、重ね合わせ順序を決定すればよい。例えば、主被写体が撮像装置に対して遠ざかる動作を撮像した３つの画像データのそれぞれに画像ＩＭ４、画像ＩＭ５、画像ＩＭ６が対応していると考える。この場合、画像ＩＭ５を画像ＩＭ６の上に重ね合わせ、画像ＩＭ４を画像ＩＭ５の上に重ね合わせるように、重ね合わせ順序を決定する。

ステップＳ５１４では、出力領域において複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ領域を決定する。本実施形態では、複数の画像データのそれぞれに含まれる主被写体が重ならないように、重ね合わせ領域を決定する。但し、本実施形態では、出力領域において複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ順序を決定（制御）することが重要であるため、重ね合わせ領域のサイズは変更してもよい。例えば、重ね合わせ領域を固定値や固定比率によって決定してもよい。

ステップＳ５１６では、ステップＳ５１２で決定した重ね合わせ順序及びステップＳ５１４で決定した重ね合わせ領域に基づいて、ステップＳ４０２で取得した複数の画像データのそれぞれに対応する画像を重ね合わせながら出力領域に配置する。図１０は、ステップＳ５１６で３つの画像ＩＭ４、画像ＩＭ５及び画像ＩＭ６を重ね合わせながら出力領域ＯＰＡに配置（レイアウト）した一例を示す図である。

なお、本実施形態では、図１０に示すように、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像を出力領域の上方向に、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像を出力領域の下方向に配置している。但し、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像を出力領域の下方向に、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像を出力領域の上方向に配置してもよい。また、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像を出力領域の左（又は右）方向に、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像を出力領域の右（又は左）方向に配置してもよい。

ステップＳ５１８では、ステップＳ５１６で出力領域に配置された複数の画像データに対応する画像（即ち、レイアウトされた画像）を出力する。

このように、第２の実施形態では、複数の画像データのそれぞれについて、主被写体の特定部位を検出して、主被写体と撮像装置との奥行き方向の相対的な位置関係を解析する。そして、かかる解析結果に基づいて、出力領域において複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ領域及び重ね合わせ領域を決定する。これにより、主被写体と撮像装置との奥行き方向の相対的な位置関係を表現したレイアウトを決定することができる。換言すれば、複数の画像データ（画像）を出力領域に配置する際に、主被写体の相対的な位置関係を表現した好適なレイアウトを決定することができる。

また、画像データに対応する画像よりも大きなフレームを用意し、画像データは重ね合わせずにフレームを重ね合わせるようにしてもよい。換言すれば、画像データは重ね合わせず、出力領域におけるフレームを重ね合わせてもよい。

また、本実施形態では、主被写体が１方向に移動する場合について説明しているが、主被写体の移動方向が変化する場合も考えられる。このような場合であっても、本実施形態と同様に、主被写体と撮像装置との奥行き方向の相対的な位置関係に応じて重ね合わせ順序及び重ね合わせ領域を決定すればよい。具体的には、撮像装置に対して接近してきた主被写体が方向転換して遠ざかるような動作をする場合が考えられる。このような場合にも、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像ほど上に、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像ほど下に重ね合わせるようにする。また、撮像装置に対して遠ざかる主被写体が方向転換して近づくような動作をする場合も同様である。

また、第１の実施形態と組み合わせて、主被写体と撮像装置との奥行き方向の相対的な位置関係に基づいて、画像のサイズ、重ね合わせ順序及び重ね合わせ領域を決定することもできる。これにより、主被写体と撮像装置との奥行き方向の相対的な位置関係をより効果的に表現したレイアウトを決定することができる。
＜第３の実施形態＞
第３の実施形態では、主被写体（人物）が撮像装置に対して接近しながら上下左右方向に移動する動作を撮像した複数の画像データのそれぞれに対応する画像のサイズを変更し、重ね合わせて出力領域に配置することで好適なレイアウトを決定する例を説明する。かかるレイアウトは、主被写体と撮像装置との遠近感を表現することができる。

図１１は、第３の実施形態におけるレイアウト処理を説明するためのフローチャートである。ステップＳ６０２乃至Ｓ６０６は、第１の実施形態におけるステップＳ４０２乃至Ｓ４０６と同じ処理であるため、ここでの詳細な説明は省略する。また、ステップＳ６０２では、図１２に示すように、撮像装置から見て、主被写体（人物）が左側奥方から右側手前方向に移動する動作を撮像した３つの画像データ（画像ＩＭ７、画像ＩＭ８、画像ＩＭ９）を取得するものとする。なお、本実施形態では、３つの画像データを取得する場合について説明するが、３つ以外の複数の画像データを取得してもよいことは言うまでもない。ここで、図１２は、ステップＳ６０２で取得した複数の画像データのそれぞれに対応する画像の一例を示す図である。

ステップＳ６０８では、ステップＳ６０２で取得した複数の画像データのそれぞれについて、背景オブジェクトに含まれる静止オブジェクトを検出する。静止オブジェクトは、複数の画像データの全てに含まれているオブジェクトであることが好ましく、本実施形態では、静止オブジェクトとして、木やビルディングなどの無生物を検出する。

なお、ぶれ量を検出する機能を備えている場合には、かかるぶれ量に基づいて、静止オブジェクトを検出してもよい。これにより、静止オブジェクトの誤検出率が減少し、主被写体の相対的な位置関係をより正確に解析することが可能となる。

ステップＳ６１０では、ステップＳ６０８で検出した静止オブジェクトの位置情報を検出（抽出）する。本実施形態では、ステップＳ６０８で検出した静止オブジェクトを矩形で囲った際の４点の座標情報を抽出する。

具体的には、図１２に示すように、画像ＩＭ７において検出された静止オブジェクトＳＡ１を矩形で囲った際の４点の座標情報（ｘｐａ−１、ｙｐａ−１）、（ｘｐａ−２、ｙｐａ−２）、（ｘｐａ−３、ｙｐａ−３）及び（ｘｐａ−４、ｙｐａ−４）を抽出する。同様に、画像ＩＭ８において検出された静止オブジェクトＳＡ２を矩形で囲った際の４点の座標情報（ｘｐｂ−１、ｙｐｂ−１）、（ｘｐｂ−２、ｙｐｂ−２）、（ｘｐｂ−３、ｙｐｂ−３）及び（ｘｐｂ−４、ｙｐｂ−４）を抽出する。同様に、画像ＩＭ９において検出された静止オブジェクトＳＡ３を矩形で囲った際の４点の座標情報（ｘｐｃ−１、ｙｐｃ−１）、（ｘｐｃ−２、ｙｐｃ−２）、（ｘｐｃ−３、ｙｐｃ−３）及び（ｘｐｃ−４、ｙｐｃ−４）を抽出する。

なお、本実施形態では、静止オブジェクトを４点の座標情報として検出（抽出）しているが、静止オブジェクトの中心座標、或いは、静止オブジェクトの中心座標を中心とする多角形の図形情報として検出してもよい。換言すれば、静止オブジェクトのある位置を基準として、主被写体の移動方向を特定できる情報であればよい。

ステップＳ６１２では、ステップＳ６０６で検出した特定部位のサイズ（即ち、主被写体のサイズ）を算出する。ステップＳ６１２は、第１の実施形態におけるステップＳ４０８と同じ処理であるため、ここでの詳細な説明は省略する。

ステップＳ６１４では、主被写体の相対的な位置関係を解析する。なお、主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係の解析については第１の実施形態で説明しているため、ここでは、主被写体の上下左右方向の位置関係の解析について説明する。

具体的には、まず、ステップＳ６０６で検出した主被写体の特定部位の座標情報及びステップＳ６１０で検出した静止オブジェクトの座標情報に基づいて、主被写体と静止オブジェクトの位置関係を解析する。

画像ＩＭ７において、主被写体の特定部位としての顔領域の左上の点と静止オブジェクトの左上の点との間の左右方向の距離をＬａとする。同様に、画像ＩＭ８において、主被写体の特定部位としての顔領域の左上の点と静止オブジェクトの左上の点との間の左右方向の距離をＬｂとする。同様に、画像ＩＭ９において、主被写体の特定部位としての顔領域の左上の点と静止オブジェクトの左上の点との間の左右方向の距離をＬｃとする。

画像ＩＭ７について、顔領域の左上の座標情報（ｘｆａ−１、ｙｆａ−１）及び静止オブジェクトの左上の座標情報（ｘｐａ−１、ｙｐａ−１）を用いて、Ｌａ＝（（ｘｐａ−１）−（ｘｆａ−１））を算出する。同様に、画像ＩＭ８について、顔領域の左上の座標情報（ｘｆｂ−１、ｙｆｂ−１）及び静止オブジェクトの左上の座標情報（ｘｐｂ−１、ｙｐｂ−１）を用いて、Ｌｂ＝（（ｘｐｂ−１）−（ｘｆｂ−１））を算出する。同様に、画像ＩＭ９について、顔領域の左上の座標情報（ｘｆｃ−１、ｙｆｃ−１）及び静止オブジェクトの左上の座標情報（ｘｐｃ−１、ｙｐｃ−１）を用いて、Ｌｂ＝（（ｘｐｃ−１）−（ｘｆｃ−１））を算出する。

そして、画像ＩＭ７、画像ＩＭ８及び画像ＩＭ９のそれぞれについて算出されたＬａ、Ｌｂ及びＬｃの値を比較して、主被写体としての人物の左右方向の相対的な位置関係を解析する。具体的には、静止オブジェクトと主被写体との左右方向の距離が大きい画像ほど相対的に右方向に位置すると解析する。

本実施形態では、Ｌａ＞Ｌｂ＞Ｌｃという関係が得られるため、画像ＩＭ７に含まれている主被写体が相対的に最も左側に位置し、画像ＩＭ９に含まれている主被写体が最も右側に位置していると解析される。従って、画像ＩＭ７、画像ＩＭ８、画像ＩＭ９の順に、主被写体が左側から右側に移動していることが分かる。

主被写体の上下左右方向の相対的な位置関係を維持するように、複数の画像データのそれぞれに対応する画像を出力領域に配置することで、主被写体の上下左右方向の相対的な位置関係を表現するレイアウトを決定することができる。

また、本実施形態では、撮像装置の主被写体に対する位置を固定して撮影した画像データについて説明している。但し、撮像装置の主被写体に対する位置を変化させながら撮像した画像データに対しても同様に、静止オブジェクトの位置情報を検出（抽出）することで、主被写体の上下左右方向の相対的な位置関係を解析することができる。

また、主被写体に対する撮像装置のレンズの角度（角度情報）を画像データに含めることができる場合には、かかる角度情報を用いることで、被写体の上下左右方向の相対的な位置関係を解析することができる。なお、センサーなどを搭載している撮像装置であれば、かかるセンサーを用いてレンズの角度変化を容易に解析することができる。

また、本実施形態では、画像データを用いて主被写体の上下左右方向の相対的な位置関係を解析している。但し、例えば、撮像装置が移動方向を検出する機能を有し、かかる検出結果を画像データに含めることができる場合には、かかる検出結果を用いることで、ステップＳ６０８、Ｓ６１０及びＳ６１２における処理負荷を低減させることができる。同様に、撮像装置がレンズの角度情報を検出する機能を有し、かかる検出結果を画像データに含めることができる場合には、かかる検出結果を用いることで、ステップＳ６０８、Ｓ６１０及びＳ６１２における処理負荷を低減させることができる。

なお、主被写体の上下左右方向の相対的な位置関係を解析する方法は数多く提案されており（例えば、特許文献１）、そのような方法を本実施形態に適用してもよい。

ステップＳ６１６では、ステップＳ６１２で解析した主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係に基づいて、ステップＳ６０２で取得した複数の画像データのそれぞれを出力領域に配置する際の画像のサイズを決定する。ステップＳ６１６は、第１の実施形態におけるステップＳ４１２と同じ処理であるため、ここでの詳細な説明は省略する。

ステップＳ６１８では、ステップＳ６１６で決定した画像のサイズに基づいて、ステップＳ６０２で取得した複数の画像データのそれぞれに対応する画像のサイズを変倍する。ステップＳ６１８は、第１の実施形態におけるステップＳ４１４と同じ処理であるため、ここでの詳細な説明は省略する。

ステップＳ６２０では、ステップＳ６１２で解析した主被写体とデジタルスチルカメラ４との奥行き方向の相対的な位置関係に基づいて、出力領域において複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ順序を決定する。ステップＳ６２０は、第２の実施形態におけるステップＳ５１２と同じ処理であるため、ここでの詳細な説明は省略する。

ステップＳ６２２では、ステップＳ６１２で解析した主被写体の上下左右方向の相対的な位置関係に基づいて、出力領域において複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ方向を決定する。本実施形態においては、主被写体が撮像装置に対して左側から右側に移動しているため、画像ＩＭ８が画像ＩＭ７の右側に、画像ＩＭ９が画像ＩＭ８の右側に配置されるように、重ね合わせ方向を決定する。

また、主被写体が撮像装置に対して右側から左側に移動している場合には、画像ＩＭ８が画像ＩＭ７の左側に、画像ＩＭ９が画像ＩＭ８の左側に配置されるように、重ね合わせ方向を決定する。

なお、主被写体が撮像装置に対して上側から下側に移動している場合には、主被写体の上下における重ね合わせ方向も決定する必要がある。具体的には、主被写体の上下方向の相対的な位置関係が遠い画像が上に、主被写体の上下方向の相対的な位置関係が近い画像が下に配置されるように、重ね合わせ方向を決定する。

ステップＳ６２４では、出力領域において複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ領域を決定する。本実施形態では、複数の画像データのそれぞれに含まれる主被写体が重ならないように、重ね合わせ領域を決定する。但し、本実施形態では、主被写体の上下左右方向の相対的な位置関係に応じて複数の画像データのそれぞれに対応する画像を配置することが重要であるため、重ね合わせ領域のサイズは変更してもよい。

また、重ね合わせる領域の縦方向のサイズを主被写体の上下方向の相対的な位置関係に基づいて、重ね合わせる領域の横方向のサイズを主被写体の左右方向の相対的な位置関係に基づいて、適応的に決定することも可能である。

具体的には、重ね合わせる領域の縦方向のサイズは、ステップＳ６１２で算出された特定部位のサイズ（本実施形態では、Ｓａ、Ｓｂ、Ｓｃ）に基づいて決定する。重ね合わせる領域の横方向のサイズは、ステップＳ６１４で算出された主被写体の左右方向の相対的な位置情報（本実施形態では、Ｌａ、Ｌｂ、Ｌｃ）に基づいて決定する。これにより、主被写体の上下左右方向の相対的な位置関係をより正確に表現するレイアウトを決定することできる。

ステップＳ６２６では、ステップＳ６１８で変倍した画像データを、ステップＳ６２０で決定した重ね合わせ順序、ステップＳ６２２で決定した重ね合わせ方向及びステップＳ６２４で決定した重ね合わせ領域に基づいて、出力領域に配置する。図１３は、ステップＳ６２６で３つの画像ＩＭ７、画像ＩＭ８及び画像ＩＭ９を出力領域に配置（レイアウト）した一例を示す図である。

ステップＳ６２８では、ステップＳ６２６で出力領域に配置された複数の画像データに対応する画像（即ち、レイアウトされた画像）を出力する。

このように、第３の実施形態では、主被写体と撮像装置との奥行き方向の相対的な位置関係に加え、主被写体の上下左右方向の相対的な位置関係に基づいて、出力領域における画像データの配置を決定する。これにより、主被写体の相対的な位置関係をより効果的に表現するレイアウトを決定することが可能となる。

なお、本実施形態では、複数の画像データのそれぞれに対応する画像のサイズを変更し、重ね合わせて出力領域に配置しているが、画像のサイズを変更するだけ、或いは、画像を重ね合わせるだけでもよい。
＜第４の実施形態＞
第４の実施形態では、撮像装置から取得する複数の画像データに、主被写体と撮像装置との奥行き方向の位置関係や主被写体の上下左右方向の位置関係が同じである複数の画像データが含まれている場合について説明する。例えば、トラックレースなどのように、主被写体が円状に移動する場合に、このようなことが生じる。このような場合、第１の実施形態、第２の実施形態及び第３の実施形態におけるレイアウト処理では、出力領域に画像データを配置する際に、画像が完全に重なり合ってしまう可能性がある。そこで、撮像装置から取得する複数の画像データに、主被写体と撮像装置との奥行き方向の位置関係や主被写体の上下左右方向の位置関係が同じである複数の画像データが含まれている場合にも、画像が重なり合わないようにするレイアウト処理を説明する。

図１４は、第４の実施形態におけるレイアウト処理を説明するためのフローチャートである。ステップＳ７０２乃至Ｓ７２４は、第３の実施形態におけるステップＳ６０２乃至Ｓ６２４と同じ処理であるため、ここでの詳細な説明は省略する。

ステップＳ７２６では、ステップＳ７０２で取得した複数の画像データに、主被写体の相対的な位置情報が同じである画像データが含まれているかを判定する。かかる判定には、ステップＳ７０４で検出された主被写体の位置情報及びＳ７０４で検出された主被写体の特定部位の位置情報を用いることができる。主被写体の相対的な位置情報が同じである画像データが含まれていると判定された場合には、ステップＳ７２８に進む。一方、主被写体の相対的な位置情報が同じである画像データが含まれていないと判定された場合には、ステップＳ７３２に進む。

ステップＳ７２８では、主被写体の相対的な位置情報が同じである画像データの撮像時刻情報を取得する。

ステップＳ７３０では、ステップＳ７１４で解析した主被写体の相対的な位置関係及びステップＳ７２８で取得した撮像時刻情報に基づいて、主被写体の相対的な位置情報が同じである画像データの重ね合わせ順序及び重ね合わせ領域を決定する。具体的には、撮像時刻情報が現在に近い画像データほど上に重ね合わされるように、画像データの重ね合わせ順序及び重ね合わせ領域を決定する。なお、画像データの重ね合わせ順序及び重ね合わせ領域の決定については、第２の実施形態などで説明しているため、ここでの詳細な説明は省略する。

ステップＳ７３２では、ステップＳ７１８で変倍した画像データを、出力領域に配置する。具体的には、ステップＳ７２０で決定した重ね合わせ順序、ステップＳ７２２で決定した重ね合わせ方向及びステップＳ７２４で決定した重ね合わせ領域、及び、ステップＳ７３０で決定した重ね合わせ順序及び重ね合わせ領域に基づいて、出力領域に配置する。

このように、第４の実施形態では、主被写体の相対的な位置関係が同じである画像データを含む場合に、かかる画像データの撮像時刻情報に基づいて、出力領域において画像データを重ね合わせる際の重ね合わせ領域及び重ね合わせ領域を決定する。これにより、主被写体の相対的な位置関係が同じである画像データが完全に重なり合ってしまうことを防止して、主被写体の相対的な位置関係を表現したレイアウトを決定することができる。

なお、本実施形態では、主被写体の位置情報が同じである画像データに関しては、撮像時刻情報に応じて重ね合わせ順序を決定（制御）しているが、撮像時刻情報を用いずに完全に重なり合わないようにずらす処理を施すようにすることも可能である。この場合、撮像時刻情報に応じてレイアウトを決定する処理を必要としないため、処理負荷を低減することができる。

また、本実施形態においては、主被写体と撮像装置との奥行き方向の相対的な位置関係に基づいて、画像の重ね合わせ順序を決定している。但し、トラックレースなどのように、主被写体が同じ位置を連続的に回転する動作を行う場合には、主被写体と撮像装置との奥行き方向の相対的な位置関係よりも撮像時刻情報を優先した方が好ましいことがある。従って、主被写体と撮像装置との奥行き方向の相対的な位置関係を優先するか、撮像時刻情報を優先するか、をユーザに選択させるようにするとよい。
＜第５の実施形態＞
第５の実施形態では、画像のサイズの変更によって主被写体が非常に小さくなってしまうような場合に、トリミング処理などの画像処理を施すことで好適なレイアウトを決定する例を説明する。

図１５は、第５の実施形態におけるレイアウト処理を説明するためのフローチャートである。ステップＳ８０２乃至Ｓ８１６は、第３の実施形態におけるステップＳ６０２乃至Ｓ６１６と同じ処理であるため、ここでの詳細な説明は省略する。また、ステップＳ８０２では、図１６に示すように、３つの画像データ（画像ＩＭ１０、画像ＩＭ１１、画像ＩＭ１２）を取得するものとする。なお、本実施形態では、３つの画像データを取得する場合について説明するが、３つ以外の複数の画像データを取得してもよいことは言うまでもない。ここで、図１６は、ステップＳ８０２で取得した複数の画像データのそれぞれに対応する画像の一例を示す図である。

ステップＳ８１８では、ステップＳ８１６で決定した画像のサイズに基づいて、画像データにトリミング処理を施すかどうかを判定する。かかる判定は、ＵＩ（ユーザインタフェース）などを利用して、トリミング処理を施すかどうかをユーザに選択させてもよいし、画像処理装置１が自動的に判定してもよい。画像処理装置１が自動的に判定する場合には、例えば、サイズを縮小した画像に含まれる主被写体がプリンタやモニタの解像度との関係で表現できないときにトリミング処理を施すと判定する。画像データにトリミング処理を施すと判定された場合には、ステップＳ８２０に進む。一方、画像データにトリミング処理を施さないと判定された場合には、ステップＳ８２４に進む。

ステップＳ８２０では、ステップＳ８０２で取得した複数の画像データのそれぞれに対応する画像について、トリミング処理を施す領域（トリミング領域）を決定する。具体的には、図１６に示すように、画像ＩＭ１０、画像ＩＭ１１及び画像ＩＭ１２のそれぞれに対して、主被写体としての人物を含むようにトリミング領域ＴＡ１、トリミング領域ＴＡ２及びトリミング領域ＴＡ３を決定する。

なお、本実施形態では、主被写体としての人物の全体を囲む矩形領域をトリミング領域としているが、これに限定されるものではない。例えば、人物の顔などの特定部位を囲む領域をトリミング領域としてしもよい。

ステップＳ８２２では、ステップＳ８２０で決定したトリミング領域にトリミング処理を施す。

ステップＳ８２４乃至Ｓ８３４は、第３の実施形態におけるステップＳ６１８乃至Ｓ６２８と同じ処理であるため、ここでの詳細な説明は省略する。

図１７は、ステップＳ８３２でトリミング処理が施された３つの画像ＩＭ１０、画像ＩＭ１１及び画像ＩＭ１２を出力領域ＯＰＡに配置（レイアウト）した一例を示す図である。図１７を参照するに、画像ＩＭ１０、画像ＩＭ１１及び画像ＩＭ１２のそれぞれにおいて、人物を囲むトリミング領域にトリミング処理を施すことによって、主被写体が小さくなることを防止することができる。

このように、第５の実施形態では、レイアウト処理にトリミング処理を追加することで、画像のサイズと主被写体のサイズの変化率を異なる倍率にすることができる。これにより、主被写体のサイズが小さくなることを防止しながらも、主被写体と撮像装置との奥行き方向の相対的な位置関係を表現したレイアウトを決定することができる。換言すれば、複数の画像データ（画像）を出力領域に配置する際に、主被写体の相対的な位置関係を表現した好適なレイアウトを決定することができる。

また、トリミング領域を決定する際に、主被写体の相対的な位置関係を強調することも可能である。具体的には、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像データほど、大きな領域に対してトリミング処理を施すようにする。

また、画像データに施す画像処理としては、画像をぼかす処理が考えられる。画像処理として画像をぼかす処理を施す場合には、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像データほどぼかす強度を弱くし、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像データほどぼかす強度を強くする。これにより、ぼけた画像ほど撮像装置からの距離が遠く感じられるという特徴を利用して、主被写体と撮像装置との奥行き方向の相対的な位置関係を強調することができる。

また、画像データに施す画像処理としては、鮮鋭度変更処理も考えられる。画像処理として鮮鋭度変更処理を施す場合には、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像データほど鮮鋭度を増加させ、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像データほど鮮鋭度を低下させる。これにより、主被写体と撮像装置との奥行き方向の相対的な位置関係を強調することができる。

また、画像データに施す画像処理としては、彩度変更処理も考えられる。画像処理として彩度変更処理を施す場合には、主被写体と撮像装置との奥行き方向の相対的な位置関係が近い画像データほど彩度を増加させ、主被写体と撮像装置との奥行き方向の相対的な位置関係が遠い画像データほど彩度を低下させる。これにより、色あせた画像ほど撮像装置からの距離が遠く感じられるという特徴を利用して、主被写体と撮像装置との奥行き方向の相対的な位置関係を強調することができる。

また、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給しても達成することができる。従って、かかるシステム又は装置のコンピュータ（ＣＰＵやＭＰＵ）が記録媒体に記録されたプログラムコードを読み出して実行することによっても達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、かかるプログラムコードを記録した記録媒体は本発明を構成することになる。プログラムコードを記録（供給）するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することによって、上述した実施形態の機能が実現される場合もある。但し、プログラムコードの指示に基づいて、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、かかる処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる場合もある。従って、プログラムコードの指示に基づいて、機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、かかる処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明では、主被写体と撮像装置との相対的な位置関係に基づいてレイアウト処理を行っているが、絶対的な位置関係に基づいてレイアウト処理を行ってもよい。

本発明の一側面としての画像処理装置の構成を示す概略ブロック図である。 図２は、図１に示す画像処理装置のＣＰＵが実現する機能構成を示すブロック図である。 図１に示す画像処理装置によるレイアウト処理を説明するためのフローチャートである。 複数の画像データのそれぞれに対応する画像に含まれる主被写体と撮像装置との奥行き方向の相対的な位置関係を示す図である。 主被写体と撮像装置との奥行き方向の相対的な位置関係に基づいて決定された画像の好適なレイアウトの一例を示す図である。 第１の実施形態におけるレイアウト処理を説明するためのフローチャートである。 図６に示すステップＳ４０２で取得した複数の画像データのそれぞれに対応する画像の一例を示す図である。 図６に示すステップＳ４１６で３つの画像を出力領域に配置（レイアウト）した一例を示す図である。 第２の実施形態におけるレイアウト処理を説明するためのフローチャートである。 図９に示すステップＳ５１６で３つの画像を重ね合わせながら出力領域に配置（レイアウト）した一例を示す図である。 第３の実施形態におけるレイアウト処理を説明するためのフローチャートである。 図１１に示すステップＳ６０２で取得した複数の画像データのそれぞれに対応する画像の一例を示す図である。 図１１に示すステップＳ６２６で３つの画像を出力領域に配置（レイアウト）した一例を示す図である。 第４の実施形態におけるレイアウト処理を説明するためのフローチャートである。 第５の実施形態におけるレイアウト処理を説明するためのフローチャートである。 図１５に示すステップＳ８０２で取得した複数の画像データのそれぞれに対応する画像の一例を示す図である。 図１５に示すステップＳ８３２でトリミング処理が施された３つの画像を出力領域に配置（レイアウト）した一例を示す図である。

符号の説明

１ 画像処理装置
２ プリンタ
３ デジタルビデオカメラ
４ デジタルスチルカメラ
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ビデオカード
１０５ 記憶部
１０６ ネットワークインタフェースカード
１０７ インタフェース
１０８ システムバス
１０９ モニタ
１１０ キーボード
１１０ ポインティングデバイス
１０１１ 画像データ取得部
１０１２ 第１の位置情報取得部
１０１３ 第１の位置関係決定部
１０１４ 撮像時刻情報取得部
１０１５ 第２の位置情報取得部
１０１６ 第２の位置関係決定部
１０１７ レイアウト決定部
１０１８ 配置部

Claims (15)

1. 複数の画像データを出力領域に配置する画像処理装置であって、
   複数の画像データを取得する画像データ取得手段と、
   前記画像データ取得手段によって取得された複数の画像データのそれぞれについて、画像データに含まれる主被写体のサイズ情報と前記画像データのサイズ情報との関係から前記画像データを生成した撮像装置との距離を解析する第１の解析手段と、
   前記画像データにおける主被写体の位置情報と前記画像データの背景に存在する特定オブジェクトの位置情報との関係から前記主被写体と前記画像データを生成した撮像装置との上下または左右の位置関係を解析する第２の解析手段と、
   前記第１の解析手段および前記第２の解析手段の解析結果に基づいて、前記出力領域における前記複数の画像データそれぞれの画像サイズ、前記複数の画像データのそれぞれを重ね合わせて出力する際の重ね合わせの順序、配置方向を決定するレイアウト決定手段と、
   前記レイアウト決定手段によって決定されたレイアウトに基づいて、前記複数の画像データのそれぞれを前記出力領域に配置する配置手段と、
   を有することを特徴とする画像処理装置。
2. 前記レイアウト決定手段は、前記主被写体と前記撮像装置との距離が近い画像データほど画像のサイズが大きくなるように、または、前記主被写体と前記撮像装置との距離が遠い画像データほど画像のサイズが小さくなるように前記出力領域における前記複数の画像データのそれぞれに対応する画像のサイズを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記レイアウト決定手段は、前記複数の画像データそれぞれの第１の解析手段の解析結果の比率に基づいて、前記出力領域における前記複数の画像データのそれぞれに対応する画像のサイズの比率を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記レイアウト決定手段は、前記主被写体と前記撮像装置との距離が近い画像データほど上に重ね合わされるように、前記出力領域において前記複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ順序を決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記レイアウト決定手段は、前記複数の画像データそれぞれの第１の解析手段の解析結果の比率に基づいて、前記出力領域において前記複数の画像データのそれぞれに対応する画像を重ね合わせる際の画像の重ね合わせ領域を決定することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
6. 前記レイアウト決定手段は、さらに前記複数の画像データのそれぞれに含まれる主被写体が重ならないように、前記出力領域において前記複数の画像データのそれぞれに対応する画像を重ね合わせる際の画像の重ね合わせ領域を決定することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
7. 前記第１の解析手段は、前記画像データそれぞれに含まれる主被写体のサイズが大きいか、または、前記撮像装置による画像データ生成時に前記画像データ内に付与された撮像情報のうち、焦点検出情報、主被写体までの距離情報、主被写体までの距離範囲情報、主被写体の位置情報、ストロボの発光エネルギー情報、レンズ焦点距離情報の少なくとも１つの値が小さいほど、前記主被写体と前記撮像装置との距離が近く、前記画像データそれぞれに含まれる主被写体のサイズが小さいか、または前記撮像情報のうち、焦点検出情報、主被写体までの距離情報、主被写体までの距離範囲情報、主被写体の位置情報、ストロボの発光エネルギー情報、レンズ焦点距離情報の少なくとも１つの値が大きいほど前記主被写体と前記撮像装置との距離が遠い画像データであると決定することを特徴とする請求項１に記載の画像処理装置。
8. 前記第１の解析手段および前記第２の解析手段の解析結果により、前記複数の画像データに前記主被写体と前記撮像装置との距離、または前記主被写体と前記撮像装置との上下または左右の位置が同じ画像データが含まれる場合には、前記複数の画像データのそれぞれの撮像時刻情報を取得する撮像時刻情報取得手段を更に有し、
   前記レイアウト決定手段は、前記第１及び第２の解析手段の解析結果および、前記撮像時刻情報取得手段によって取得された撮像時刻情報に基づいて、前記出力領域における前記複数の画像データのレイアウトを決定することを特徴とする請求項１に記載の画像処理装置。
9. 前記レイアウト決定手段は、前記撮像時刻情報が現在に近い画像データほど上に重ね合わされるように、前記出力領域において前記複数の画像データのそれぞれに対応する画像を重ね合わせる際の重ね合わせ順序を決定する請求項８に記載の画像処理装置。
10. 前記レイアウト決定手段は、前記画像データ取得手段によって取得された複数の画像データに画像処理を施して、前記出力領域における前記複数の画像データのレイアウトを決定することを特徴とする請求項１に記載の画像処理装置。
11. 前記画像処理は、トリミング処理、彩度変更処理及び鮮鋭度変更処理の少なくとも１つを含むことを特徴とする請求項１０に記載の画像処理装置。
12. 前記レイアウト決定手段は、前記主被写体と前記撮像装置との距離が近い画像データほど、大きな領域に対してトリミング処理を施す、彩度を増加させる、鮮鋭度を増加させることを特徴とする請求項１１に記載の画像処理装置。
13. 複数の画像データを出力領域に配置する画像処理装置の制御方法であって、
    取得手段が、複数の画像データを取得する画像データ取得ステップと、
    第１の解析手段が、前記画像データ取得ステップで取得された複数の画像データのそれぞれについて、画像データに含まれる主被写体のサイズ情報と前記画像データのサイズ情報との関係から前記画像データを生成した撮像装置との距離を解析する第１の解析ステップと、
    第２の解析手段が、前記画像データにおける主被写体の位置情報と前記画像データの背景に存在する特定オブジェクトの位置情報との関係から前記主被写体と前記画像データを生成した撮像装置との上下または左右の位置関係を解析する第２の解析ステップと、
    レイアウト決定手段が、前記第１の解析ステップおよび前記第２の解析ステップの解析結果に基づいて、前記出力領域における前記複数の画像データそれぞれの画像サイズ、前記複数の画像データのそれぞれを重ね合わせて出力する際の重ね合わせの順序、配置方向を決定するレイアウト決定ステップと、
    配置手段が、前記レイアウト決定ステップで決定されたレイアウトに基づいて、前記複数の画像データのそれぞれを前記出力領域に配置する配置ステップと、
    を有することを特徴とする画像処理装置の制御方法。
14. 複数の画像データを出力領域に配置する画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記コンピュータに、
    複数の画像データを取得する画像データ取得ステップと、
    前記画像データ取得ステップで取得された複数の画像データのそれぞれについて、画像データに含まれる主被写体のサイズ情報と前記画像データのサイズ情報との関係から前記画像データを生成した撮像装置との距離を解析する第１の解析ステップと、
    前記画像データにおける主被写体の位置情報と前記画像データの背景に存在する特定オブジェクトの位置情報との関係から前記主被写体と前記画像データを生成した撮像装置との上下または左右の位置関係を解析する第２の解析ステップと、
    前記第１の解析ステップおよび前記第２の解析ステップの解析結果に基づいて、前記出力領域における前記複数の画像データそれぞれの画像サイズ、前記複数の画像データのそれぞれを重ね合わせて出力する際の重ね合わせの順序、配置方向を決定するレイアウト決定ステップと、
    前記レイアウト決定ステップで決定されたレイアウトに基づいて、前記複数の画像データのそれぞれを前記出力領域に配置する配置ステップと、
    を実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images