JP5025457B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、複数の画像をレイアウトした出力画像を生成する画像処理に関する。

アルバムを作成する場合、複数のフレームをもつテンプレートに画像を入力して、サイズが異なる写真をレイアウトすれば、すべての写真を同じサイズでレイアウトする場合に比べて、減り張りがある見栄えのよいアルバムを作成することができる。しかし、一般に、画像は、そのファイル名や撮影日時に基づき、テンプレートのフレームに自動的に割り当てられる。そのため、アルバムの作成者が大きなサイズでレイアウトしたいと思った写真が、小さなサイズでレイアウトされてしまい、減り張りのないアルバムになる場合がある。

写真をレイアウトする際の画像サイズ（以下、レイアウトサイズ）に関する問題を解決する技術として、アルバムの作成者がレイアウトサイズをマニュアル調整する発明（特許文献1、2）がある。また、作成者がマニュアル設定した優先度に基づきレイアウトサイズを自動決定する発明（特許文献2）がある。しかし、これらの技術は何れも、アルバムの作成者に煩雑な作業を要求する。

特開2001-187474公報 特開2006-229846公報

本発明は、作成者の煩雑な作業を必要とせずに、複数の画像をそれぞれ好ましい画像サイズでレイアウトした出力画像を生成することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、複数の画像を入力し、前記画像それぞれに付加された撮影情報を取得し、前記撮影情報が被写体を強調して撮影された画像を示すか否かに応じて、その撮影情報が付加された画像のレイアウトを制御する制御情報を設定し、前記複数の画像それぞれを、その画像の前記制御情報に応じた画像サイズで配置した出力画像を生成することを特徴とする。

本発明によれば、アルバム作成者の煩雑な作業を必要とせずに、被写体を強調して撮影された画像か否かに応じて、複数の画像それぞれを好ましい画像サイズでレイアウトしたアルバム画像を生成することができる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。なお、本実施例では出力画像としてアルバム画像を生成する場合を説明する。

実施例1では、すべてのフレームが基準サイズで配置されたテンプレートに画像をレイアウトする際、レイアウトする画像に付加された情報に応じて、その画像の割り当て先のフレームのサイズの拡大率を決定する方法を説明する。

［装置の構成］
図1は実施例の画像処理装置の構成例を示すブロック図である。

マイクロプロセッサ(CPU)104は、ランダムアクセスメモリ(RAM)106をワークメモリとして、リードオンリメモリ(ROM)105や記憶部103に格納された各種プログラムを実行して、システムバス109を介して後述する構成を制御する。そして、後述する処理を含む様々な処理を実行する。

入出力部101は、キーボード、マウスなどの入力デバイス、メモリカードリーダライタ、ディジタルカメラやプリンタなどの画像入出力デバイスを接続するためのUSBやIEEE1394などのシリアルバスインタフェイスを備える。また、ネットワークに接続するためのネットワークインタフェイスカード(NIC)を備える。

CPU104は、入出力部101を介して、入力デバイスからユーザ指示を入力し、メモリカード、画像入力デバイス、ネットワーク上のサーバから画像データなどの各種データを入力する。また、入出力部101を介して、レイアウト結果の画像データ（出力画像のデータ）を画像出力デバイスに出力したり、メモリカードやサーバに出力する。

表示部102は、例えば液晶パネルである。CPU104は、表示部102にグラフィックユーザインタフェイス(GUI)などを表示する。記憶部103は、例えばハードディスクドライブ(HDD)で、オペレーティングシステム(OS)や後述する処理用のプログラムなどの各種プログラム、および、テンプレートや画像など様々なデータを格納する。

［レイアウト処理］
図2はレイアウト処理の一例を示すフローチャートで、CPU104が実行する処理である。

CPU104は、入出力部101からテンプレートおよび当該テンプレートを使用してレイアウトする複数の画像（N枚とする）に関するユーザ指示を入力する(S201)。そして、ユーザが指示するテンプレートのデータを記憶部103から取得し(S202)、ユーザが指示する複数の画像のデータを入力する(S203)。なお、画像数Mがテンプレートのフレーム数Nを超える場合は、N枚分の画像データを入力する。

図3はテンプレートと画像の関係を説明する図である。テンプレート200が同じサイズ（基準サイズ）の三つのフレーム201、202、203をもち、三枚の同じサイズの入力画像301、302、303をレイアウトする場合を想定する。なお、フレームは、画像レイアウト位置と画像レイアウトサイズを示す枠である。また、画像301はマクロ撮影画像、画像202は標準レンズで撮影した画像、303は望遠レンズを使用し、絞りを開放状態で撮影した画像である。また、各画像を割り当てるフレームは予め決まっていて、画像301をフレーム201に、画像302をフレーム202に、画像303をフレーム203に割り当てるとする。

次に、CPU104は、カウンタiを零に初期化し(S204)、カウンタiをインクリメントし(S205)、i番目の入力画像に付加された情報（付加情報）を取得する(S206)。詳細は後述するが、以下では、付加情報として、画像の撮影情報を取得する例を説明する。

次に、CPU104は、取得した付加情報に基づき、i番目の入力画像（以下、IMGi）のサイズ制御情報SCIiを決定する(S207)。以下では、入力画像を割り当てるフレームを拡大する率（基準サイズに対する変倍率）をサイズ制御情報SCIとする例を説明する。

アルバムの作成者が大きくレイアウトしたい画像の一つに、撮影者が意図的に被写体を強調して撮影した画像が挙げられる。被写体を強調して撮影した画像としては、例えば、以下の三種類が考えられる。
・被写体を接写した画像（以下、マクロ撮影画像）
・広角レンズを用いて被写体全体に焦点を合わせた画像（以下、風景画像）
・望遠レンズを用いて絞り開放状態で被写体を撮影した画像（被写体に焦点が合い、背景がぼけた画像、以下、被写界深度が浅い画像）

そこで、撮影者が意図的に被写体を強調して撮影した画像と予測される場合は、基準サイズより大きいレイアウトサイズ（例えばSCI=1.5）にし、そうではない画像の場合は基準サイズと同じレイアウトサイズ（SCI=1.0）にする。

次に、CPU104は、決定したIMGiのサイズ制御情報SCIiに基づき、IMGiを割り当てるフレーム（以下、FRAMEi）のサイズを決定する(S208)。FRAMEiのサイズは、基準サイズの縦横サイズをSCIiで変倍したサイズにする。

単純に、すべてのフレームに対して変倍すると、画像同士が重畳したり、画像がテンプレートからはみ出す場合がある。そこで、画像同士が重畳しない程度（若干の重畳を許す）、かつ、画像がテンプレートからはみ出さない最大拡大率thExmaxを各フレームに設定する。そして、SCIが最大拡大率thExmaxを超える（SCI＞thExmax）場合は、SCIを制限する（例えばSCI=thExmax）。

次に、CPU104は、決定したFRAMEiのサイズに合わせてIMGiを変倍し(S209)、変倍したIMGiをFRAMEiに配置する(S210)。なお、入力画像の縦横比を維持して当該画像を変倍する。従って、FRAMEiのサイズから画像がはみ出すことはない。

次に、CPU104は、カウンタiとフレーム数Nを比較して(S211)、i＜Nであれば次の入力画像を処理するために処理をステップS205に戻す。また、i＝Nであれば一つのアルバム画像分の処理が終了したことになる。そこで、画像数Mの入力画像を処理したか否かを判定し(S212)、未処理の画像があれば処理をステップS204に戻し、画像数Mの入力画像の処理が終わるまでステップS204からS210を繰り返す。

図4はレイアウト結果の一例を示す図である。マクロ撮影画像301と、望遠レンズを使用し、絞りを開放状態で撮影した画像303は、基準サイズに比べて大きなレイアウトサイズで配置され、標準レンズで撮影した画像302は基準サイズで配置される。

●付加情報の取得
以下では、付加情報として、レンズの焦点距離とF値、絞り値、被写体距離、撮影モードを取得する方法を説明する。

図5は付加情報の取得(S206)を説明するフローチャートである。

CPU104は、IMGiから撮影時のレンズの焦点距離Lfliを取得する(S301)。

市販のディジタルカメラは、一般に、画像ファイル規格であるExif形式によって撮影画像のデータファイルを記憶メディアに記録する。Exif形式によれば、撮影画像に関連する様々なメタデータをタグ形式で画像データファイルに記録することができる。

メタデータには、画像の幅、高さなどといった基本的な画像情報、カメラの機種名、GPS情報のほか、露出時間やシャッタスピードなどの撮影情報も含めることができる。撮影情報にはレンズの焦点距離も含まれる。そこで、画像データファイルに記録されたタグ構造を解析し、レンズの焦点距離を記録するタグ（タグID=37386）のメタデータを取得する。35mmフィルム換算の焦点距離を用いる場合は次の値も取得する。焦点面の幅の解像度（例えばCCDの横の有効画素数、タグID=41486）。焦点面の高さの解像度（例えばCCDの縦の有効画素数、タグID=41487）。焦点解像度の単位（例えば画素、タグID=41488）。あるいは、35mm換算レンズ焦点距離（タグID=41989）の値を利用してもよい。

次に、CPU104は、IMGiから撮影時のレンズのF値Fiと絞り値Apiを取得する(S302)。これらの値も、前述したように、Exifのメタデータ（F値はタグID=33437、絞り値はタグID=37378）から取得する。

次に、CPU104は、IMGiから撮影時の被写体距離SDiを取得する(S303)。この値も、前述したように、Exifのメタデータ（被写体距離はタグID=37382）から取得する。あるいは、被写体距離レンジ（タグID=41996）の値を利用してもよい。なお、被写体距離レンジの値「1」はマクロ、「2」は近景、「3」は遠景を示す。

次に、CPU104は、IMGiから撮影時の撮影モードSMiを取得する(S304)。この値も、前述したように、Exifのメタデータ（撮影シーンタイプ、タグID=41990）から取得する。なお、撮影シーンタイプの値「0」は標準モード、「1」は風景モード、「2」は人物モード、「3」は夜景モードを示す。

なお、上記の被写体距離、被写体距離レンジ、F値、絞り値、レンズ焦点距離、35mm換算レンズ焦点距離、撮影シーンタイプ、焦点面の幅と高さの解像度、焦点面解像度の単位を示すタグは、何れも必須タグではない。従って、これらの何れかが、または、全部が記録されていないこともある。また、35mm換算レンズ焦点距離、撮影シーンタイプ、被写体距離レンジはExif2.2で追加されたタグのため、以前バージョンのExif画像には記録されていない。勿論、Exif規格にはメーカノートタグとして各社独自の情報を記録することができる。上述したタグが見付からない場合、または、見付かった場合でもメーカノートタグに記録された情報を利用してもよい。

●サイズ制御情報SCIの決定
図6はサイズ制御情報SCIの決定(S207)を説明するフローチャートである。

CPU104は、下式を判定し(S401)、下式を満足する場合は上記の「マクロ撮影画像」と判定する。
SDi ≦ thSD …(1)
ここで、SDiはIMGiの被写体距離、
thSDは閾値。

なお、一般に、被写体距離SDが50cm以下の場合にマクロ撮影と呼ぶ。そこで、例えばthSD=0.5[m]として判定を行う。また、被写体距離SDではなく被写体距離レンジを取得した場合は、被写体距離レンジの値が「1」の場合に上記の「マクロ撮影画像」と判定する。

式(1)を満さない場合、CPU104は、下式を判定し(S402)、下の二式を満足する場合は上記の「風景画像」と判定する。
Lfli ≦ thLflw …(2)
Api ≧ thApw …(3)
ここで、LfliはIMGiのレンズ焦点距離、
ApiはIMGiの絞り値、
thLflw、thApwは閾値。

また、被写体距離レンジと撮影シーンタイプを取得した場合は、被写体距離レンジの値が「3」（遠景）、かつ、撮影シーンタイプの値が「1」（風景モード）の場合に上記の「風景画像」と判定すればよい。なお、レンズ焦点距離の代わりに35mmフィルム換算のレンズ焦点距離を用いてもよい。

式(2)(3)を満さない場合、CPU104は、下式を判定し(S403)、下の二式を満足する場合は上記の「被写界深度が浅い画像」と判定する。
Lfli ＞ thLflt …(4)
Api ＜ thApt …(5)
ここで、thLflt、thAptは閾値。

また、被写体距離レンジと撮影シーンタイプを取得した場合は、被写体距離レンジの値が「2」（近景）、かつ、撮影シーンタイプの値が「3」（人物モード）の場合に上記の「被写界深度が浅い画像」と判定する。なお、レンズ焦点距離の代わりに35mmフィルム換算のレンズ焦点距離を用いてもよい。

上記の三つの判定式の何れかを満足した場合、CPU104は、サイズ制御情報SCIiを例えば1.5に設定する(S405)。また、三つの判定式の何れも満足しなかった場合、CPU104は、サイズ制御情報SCIiをデフォルト値1に設定する(S404)。なお、三つの条件式のどれを満たすかによって、サイズ制御情報SCIの値を変えてもよい。例えば、式(1)を満たす場合はSCI=1.3、式(2)(3)を満たす場合はSCI=1.4、式(4)(5)を満たす場合はSCI=1.2のようにする。

図4に示すマクロ撮影画像301は式(1)を満たし、望遠レンズを使用し、絞りを開放状態で撮影した画像303は式(4)(5)を満たし、基準サイズに比べて大きなレイアウトサイズで配置されている。一方、標準レンズで撮影した画像302は何れの判定式も満たさないため基準サイズで配置されている。

このように、レイアウトする画像の付加情報からレイアウトする際の画像サイズを決定して当該画像をフレームに合わせてレイアウトする。従って、撮影者が意図的に被写体を強調撮影した画像を大きくレイアウトすることができ、アルバムの閲覧者にとって見栄えの良好な、減り張りのあるレイアウトを実現することができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、画像の付加情報（撮影情報）を利用して、撮影者が意図的に被写体を強調して撮影した画像を抽出し、当該画像をレイアウトする際の画像サイズを大きくする例を説明した。また、見栄えのよいアルバムを作成するには、画像補正やRAW画像調整により画質が向上された画像をレイアウトする際の画像サイズを大きくすることも考えられる。

そこで、実施例2においては、図2に示すステップS206で画質が向上するか否かを予測する情報（後述するフラグElに対応するExifメタデータ）を取得する。そして、画質が向上すると予測される入力画像のレイアウトサイズを大きく（例えばSCI=1.5に）する。

図7はIMGiの画質を向上する処理（画像補正処理）の一例を示すフローチャートである。

CPU104は、ユーザが画像補正処理を指示する場合、IMGiに自動補正処理を施す。なお、ここでは、自動補正処理の一例として露出補正を説明する。露出補正は、特開平9-068764号公報や特開平11-317873号公報の発明など、多くの方法が提案されている。従って、露出補正自体は、それら技術を利用するとして、詳細な説明を省略する。また、露出補正に限らず、彩度、色相または鮮鋭度などの補正でもよい。

CPU104は、IMGiを解析して、IMGiの明るさに関する情報を取得し(S501)、取得した明るさに関する情報に基づき補正量CPiを算出する(S502)。そして、補正量CPiに基づきIMGiを露出補正する(S503)。

次に、CPU104は、下式を判定し(S504)、下式を満たす場合は補正量CPiに基づく露出補正により画質の向上が得られると判定（予測）する。
thCPmin ≦ CPi ≦ thCPmax …(6)
ここで、thCPmin、thCPmaxは閾値。

なお、補正量CPiに対して下限の閾値thCPminを設定するのは、画像補正の効果が認識される画質向上を判定するためである。また、上限の閾値thCPmaxを設定するのは、補正量CPiが大き過ぎると、逆に、画質が劣化する場合があり、そのような画像のレイアウトサイズを大きくすることを避けるためである。

CPU104は、画質が向上すると判定した場合は画質が向上したことを示すフラグEliを‘0’に設定し(S505)、画質が向上しないと判定した場合はフラグEliを‘1’に設定する(S506)。そして、フラグEliに対応するExifのメタデータをIMGiの画像データファイルのメーカノートタグなどに記録する(S507)。

上記の処理は、ユーザ指示に応じてCPU104が行う。あるいは、他の画像処理装置が、実施例の画像処理装置に入力される前の画像に上記処理を行い、フラグEliをメーカノートタグに記録してもよい。

上記では、画質が向上するか否かの判断に、補正量を利用する例を説明したが、RAW画像データを現像するパラメータが調整（生成）されたか否かを利用してもよい。なお、RAW画像データは、CMOSセンサやCCDなどの撮像デバイスによって、被写体光学像を光電変換して得られる撮影画像の電気信号をディジタル化した状態の画像データ（撮影データ）である。RAW画像データに、色（画素）補間、ホワイトバランス調整、色補正、ガンマ補正などの画像処理を行い、モニタやプリンタで再現可能な画像を得る処理をRAW現像処理と呼ぶ。一般に、RAW画像データが撮影可能なディジタルカメラは、RAW現像処理の各パラメータ（以下、現像パラメータ）をカメラ内で決定し、画像データとともに記録する。RAW画像データが再生可能な装置は、この現像パラメータによってRAW画像データをRAW現像処理して、再現可能な画像データを生成する。

カメラが決定する現像パラメータに撮影者などが満足しない場合、撮影者などが現像パラメータを調整（または生成）することができる画像処理装置がある。この場合、調整（生成）された現像パラメータ（以下、カスタム現像パラメータ）は、RAW画像データと対応付けて保存する必要がある。特開2001-043118公報の発明は、画像データの後にカスタム現像パラメータをメタデータとして追加する方法を開示する。

図8はRAW画像データファイルの構成例を示す図である。ヘッダ401、機種情報402、撮影時の付加情報403、現像パラメータ（カメラが決定したもの）404、サムネイルデータ405、RAWデータ406が元々の画像データである。カスタム現像パラメータ407は、元々の画像データの後に追加される。

CPU104は、図2に示すステップS206において、IMGi（この場合、RAW画像データ）が、撮影者などが意図的に調整（生成）したカスタム現像パラメータを使用してRAW現像される画像か否かを判定する。つまり、CPU104は、RAW画像データファイルにカスタム現像パラメータが追加されているか否かを調べる。そして、カスタム現像パラメータが追加されていれば画質が向上された画像と判断し、IMGiのレイアウトサイズを大きく（例えばSCIi=1.5に）する。なお、CPU104は、ステップS209の前にRAW画像データであるIMGiをRAW現像処理する必要があるが、その詳細説明は省略する。

このように、撮影後の画像補正により画質の向上が予測される画像か、撮影者などによって現像パラメータが調整（生成）された画像かに応じてレイアウトサイズを決定して、当該画像をフレームに合わせてレイアウトする。従って、画質が向上された画像を大きくレイアウトすることができ、アルバムの閲覧者にとって見栄えの良好な、減り張りのあるレイアウトを実現することができる。

なお、実施例1、2では説明を簡単にするために、付加情報（撮影情報）、画像補正の有無、カスタム現像パラメータの有無をそれぞれ独立に利用する方法を説明したが、これら三つの情報を組み合わせてレイアウトサイズを決定してもよい。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例3では、サイズが異なるフレームから構成されるテンプレートに画像をレイアウトする際に、画像の付加情報に応じて、複数の画像のレイアウトの優先順位を決定する方法を説明する。つまり、優先順位が高い画像ほど大きなサイズのフレームに割り当てられることになる。

図9はテンプレートと画像の関係を説明する図である。テンプレート500が異なるサイズの五つのフレーム501〜505をもち、五枚の同じサイズの入力画像601〜605をレイアウトする場合を想定する。なお、画像601はマクロ撮影画像、画像602、604は標準レンズで撮影した画像である。画像603は広角レンズで撮影され、露出補正された画像である。また、画像604は望遠レンズを使用し、絞りを開放状態で撮影され、カスタム現像パラメータによりRAW現像処理され、露出補正された画像である。

●レイアウト処理の前段
図10は実施例3のレイアウト処理の一部（前段）を示すフローチャートで、CPU104が実行する処理である。ステップS201からS206までの処理は実施例1（図2）と同様であるから詳細説明を省略する。

CPU104は、IMGiのサイズ制御ポイントSCPiを設定する(S1201)。サイズ制御ポイントSCPは、入力画像を大きなサイズのフレームに配置すべき度合いを示すポイントであり、レイアウトサイズを大きくすべき画像ほどサイズ制御ポイントSCPの値が大きい。そして、すべての入力画像（または、テンプレート500のフレーム数分の画像）にサイズ制御ポイントSCPを設定したか否かを判定し(S1202)、未了であれば処理をステップS205に戻し、終了であれば後述する後段の処理に移行する。

●サイズ制御ポイントの設定
図11はサイズ制御ポイントSCPを設定する処理を説明するフローチャートである。

CPU104は、IMGiのサイズ制御ポイントSCPiを零に初期化し(S2501)、IMGiが、撮影者が意図的に被写体を強調して撮影した画像か否かを判定する(S2502)。この判定には、実施例1（図6）で説明した方法を利用すればよい。そして、撮影者が意図的に被写体を強調して撮影した画像の場合はサイズ制御ポイントSCPiをインクリメントする(S2503)。

次に、CPU104は、撮影後の画像補正により画質が向上したと予測される画像か否かを判定する(S2504)。この判定には、実施例2（図7）で説明した方法を利用すればよい。そして、撮影後の画像補正により画質が向上したと予測される画像の場合はサイズ制御ポイントSCPiをインクリメントする(S2505)。

次に、CPU104は、撮影者などによって現像パラメータが調整（生成）された画像か否かを判定する(S2506)。この判定には、実施例2で説明した方法を利用すればよい。そして、撮影者などによって現像パラメータが調整（生成）された画像の場合はサイズ制御ポイントSCPiをインクリメントする(S2507)。

図12は図9に示す入力画像601〜605に対するサイズ制御ポイントSCPの設定結果を示す図である。各入力画像にはそれぞれ次のサイズ制御ポイントSCPが設定される。
入力画像601（IMG1）：SCP1 = 1（∵マクロ撮影画像）
入力画像602（IMG2）：SCP2 = 0
入力画像603（IMG3）：SCP3 = 2（∵風景画像＋画質向上）
入力画像604（IMG4）：SCP4 = 0
入力画像605（IMG5）：SCP5 = 3（∵被写界深度が浅い画像＋画質向上＋カスタム現像パラメータによるRAW現像処理）

●レイアウト処理の後段
図13は実施例3のレイアウト処理の一部（後段）を示すフローチャートである。

CPU104は、サイズ制御ポイントSCPの大きい順に入力画像をソートするレイアウト順情報SCOを設定する(S1211)。なお、サイズ制御ポイントSCPが同値の場合は、画像の入力順（または、ファイル名の昇順、撮影日時の昇順など）にソートする。つまり、入力画像601から605のレイアウト順情報SCOは次のようになる。
入力画像601（IMG1）：SCO1 = 3 (SCP1 = 1)
入力画像602（IMG2）：SCO2 = 4 (SCP2 = 0)
入力画像603（IMG3）：SCO3 = 2 (SCP3 = 2)
入力画像604（IMG4）：SCO4 = 5 (SCP4 = 0)
入力画像605（IMG5）：SCO5 = 1 (SCP5 = 3)

次に、CPU104は、テンプレートに含まれるフレームのサイズ情報を取得する(S1212)。テンプレートデータには、フレームと、そのサイズ順を示すフレームサイズ番号FSNとの関係を示すデータが記録されている。CPU104は、テンプレートデータからこの関係を示すデータを取得する。図9に示すテンプレート500の各フレーム501〜505とFSNの関係が例えば下に示すようであるとする。
フレーム501：FSN1 = 1
フレーム502：FSN2 = 4
フレーム503：FSN3 = 5
フレーム504：FSN4 = 3
フレーム505：FSN5 = 2

なお、サイズが同じフレームのFSNは、アルバムの閲覧者が注目し易い位置のフレームほど小さい番号にすることが望ましい。例えば、製本されたアルバムが左綴の場合には、アルバムの頁をめくる際、閲覧者はまず左寄りの画像に注目する。従って、この場合は、左側に位置するフレームに小さい番号を割り当てる。図9の例では、フレーム502と503が同じサイズであり、左側に位置するフレーム502に小さい番号を割り当てている。

次に、CPU104は、レイアウト順情報SCOと各フレームのFSNに基づき、各入力画像をレイアウトするフレームを決定する(S1213)。つまり、レイアウトサイズを大きくする入力画像をサイズが大きいフレームに割り当てるため、入力画像を、SCOの降順かつFSNの降順に、フレームに割り当てる。つまり、SCO=1の入力画像をFSN=1のフレームに、SCO=2の入力画像をFSN=2のフレームに、…、のように割り当てる。その結果、入力画像とフレームの割当関係は次のようになる。
入力画像601 (SCO1 = 3) → フレーム504 (FSN4 = 3)
入力画像602 (SCO2 = 4) → フレーム502 (FSN2 = 4)
入力画像603 (SCO3 = 2) → フレーム505 (FSN5 = 2)
入力画像604 (SCO4 = 5) → フレーム503 (FSN3 = 5)
入力画像605 (SCO5 = 1) → フレーム501 (FSN1 = 1)

次に、CPU104は、決定した入力画像とフレームの関係に合わせて入力画像を変倍し(S1214)、変倍した入力画像を各フレームにレイアウトする(S1215)。なお、入力画像の縦横比を維持して当該画像を変倍する。従って、フレームサイズから画像がはみ出すことはない。

図14は上記の処理によりレイアウトされた入力画像601から605を示す図である。

以上はアルバム一頁または見開き二頁分の処理である。上記の処理が終わっても入力画像が残っている場合、CPU104は、図10の処理に戻り、残りの入力画像を同様に処理する。

上記では、撮影情報、画像補正、および、カスタム現像パラメータによるRAW現像処理に関する重みをサイズ制御ポイントSCPに加えなかった。しかし、これらに対して重み付けを行ってもよい。図15は撮影情報に対する重み付けの一例を示す図である。

また、サイズ制御ポイントSCPの設定は、上記のように撮影情報、画像補正、カスタム現像パラメータによるRAW現像処理の三つの情報を参照するのではなく、何れか一つまたは二つの情報を利用してもよい。

このように、入力画像の撮影情報、画像補正、および、カスタム現像パラメータによるRAW現像処理に基づき入力画像のレイアウト順を設定する。そして、テンプレートのフレームのサイズ順を示す情報を参照して、各入力画像のレイアウトを決定する。従って、大小様々なフレームが配置されたテンプレートを用いる場合、意図的に被写体が強調撮影された画像、撮影後の画像補正により画質の向上が予測される画像、現像パラメータが調整（生成）された画像を優先的に大きくレイアウトすることができる。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

実施例の画像処理装置の構成例を示すブロック図、 レイアウト処理の一例を示すフローチャート、 テンプレートと画像の関係を説明する図、 レイアウト結果の一例を示す図、 付加情報の取得を説明するフローチャート、 サイズ制御情報SCIの決定を説明するフローチャート、 IMGiの画質を向上する処理（画像補正処理）の一例を示すフローチャート、 RAW画像データファイルの構成例を示す図、 テンプレートと画像の関係を説明する図、 実施例3のレイアウト処理の一部（前段）を示すフローチャート、 サイズ制御ポイントSCPを設定する処理を説明するフローチャート、 図9に示す入力画像に対するサイズ制御ポイントSCPの設定結果を示す図、 実施例3のレイアウト処理の一部（後段）を示すフローチャート、 入力画像のレイアウト状態を示す図、 撮影情報に対する重み付けの一例を示す図である。

Claims (8)

1. 複数の画像を入力する入力手段と、
   前記画像それぞれに付加された撮影情報を取得する取得手段と、
   前記撮影情報が被写体を強調して撮影された画像を示すか否かに応じて、その撮影情報が付加された画像のレイアウトを制御する制御情報を設定する設定手段と、
   前記複数の画像それぞれを、その画像の前記制御情報に応じた画像サイズで配置した出力画像を生成する生成手段とを有することを特徴とする画像処理装置。
2. 前記生成手段は、複数の画像のレイアウトを示すテンプレートに従い、前記入力した複数の画像を配置した出力画像を生成することを特徴とする請求項1に記載された画像処理装置。
3. 前記設定手段は、前記撮影情報が被写体を強調して撮影された画像を示すか否かを判定する手段、および、前記被写体を強調して撮影された画像と判定された画像に、前記制御情報として、前記テンプレートに配置された画像レイアウト位置を示すフレームのサイズを拡大する変倍率を設定する手段を有することを特徴とする請求項2に記載された画像処理装置。
4. 前記被写体を強調して撮影された画像として、被写体を接写した画像、広角レンズを用いて被写体全体に焦点を合わせた画像、望遠レンズを用いて絞り開放状態で被写体を撮影した被写界深度が浅い画像が含まれることを特徴とする請求項3に記載された画像処理装置。
5. 前記生成手段は、前記制御情報および前記テンプレートに配置された画像レイアウト位置を示すフレームのサイズを示す情報に従い、前記複数の画像それぞれを配置するフレームを決定することを特徴とする請求項2に記載された画像処理装置。
6. 前記設定手段は、前記撮影情報が被写体を強調して撮影された画像を示すか否かを判定する手段、画像補正により画質が向上すると予測される画像か否かを判定する手段、カスタム現像パラメータによりRAW現像処理される画像か否かを判定する手段、および、これら判定の結果に応じて、前記制御情報として、大きなサイズのフレームに配置すべき度合いを示すポイントを設定する手段を有することを特徴とする請求項5に記載された画像処理装置。
7. 入力手段、取得手段、設定手段、生成手段を有する画像処理装置の画像処理方法であって、
   前記入力手段が、複数の画像を入力し、
   前記取得手段が、前記画像それぞれに付加された撮影情報を取得し、
   前記設定手段が、前記撮影情報が被写体を強調して撮影された画像を示すか否かに応じて、その撮影情報が付加された画像のレイアウトを制御する制御情報を設定し、
   前記生成手段が、前記複数の画像それぞれを、その画像の前記制御情報に応じた画像サイズで配置した出力画像を生成することを特徴とする画像処理方法。
8. コンピュータを請求項1から請求項6の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images