JP4998995B2 - アルバム作成装置および方法ならびにプログラム - Google Patents

Description

本発明は、画像とテンプレートを合成してアルバムを作成する装置および方法、ならびに、コンピュータにこのようなアルバム作成を実行させるプログラムに関するものである。

コンピュータを用いて、デジタルカメラによる撮影で得られた画像データや、撮影済の写真フイルムをフイルムスキャナで読み取ることによって得られた画像データを入力として、適宜画質調整・編集・加工処理を行い、処理済の画像を予め用意されたアルバムのテンプレートに挿入することによってアルバムを作成する方法が、一般ユーザ向けのソフトウェアや写真店等の専門オペレータ向けのソフトウェアによって実現されている。

例えば、ユーザによって、アルバムのテンプレートが選択され、選択されたテンプレート中のレイアウト枠に嵌め込むべき画像が選択され、選択された画像中の主要被写体領域の範囲とその主要被写体の注目点とが手作業で設定されると、その主要被写体領域をそのレイアウト枠に過不足なく嵌め込むことができるかどうかの判定を行い、嵌め込み可能と判定された場合には、前記の注目点とレイアウト枠中に予め設定された基準点とが一致するようにその画像に対するトリミング領域を決定し、その領域をトリミングしてレイアウト枠に嵌め込むことによって、画像とテンプレートを合成してアルバムを作成する装置が知られている（例えば、特許文献１）。

上記の装置では、ユーザが主要被写体領域や注目点を手動設定する必要があり、操作のための時間や手間がかかってしまう。

一方、証明写真等の定型的な写真のプリント装置の分野では、予め撮影された人物の画像から顔の輪郭情報を抽出し、抽出された顔の領域が、ユーザによって選択されたテンプレート内の所定の領域（レイアウト枠）に配置されるように、両領域の位置合わせと拡大縮小を行い、抽出された顔の領域とテンプレートを合成してプリント出力する装置が知られており（例えば、特許文献２）、この装置によれば、ユーザは合成対象の画像に対しては何らの操作も必要がなく、自動的に画像とテンプレートの合成をすることが可能になる。
特開２００７−０２６２４６号公報 特開２０００−２７０１９８号公報

しかしながら、特許文献２記載の装置は、あくまでも証明写真等の用途に応じた固定的な構図で顔が正面を向いた人物の画像が合成対象であり、特許文献１等に記載のアルバム作成の自動化のために解決すべき課題およびその解決手段については、特許文献２には記載も示唆もされていない。すなわち、アルバム作成の場合、テンプレートと合成される画像は固定的な構図であるとは限らず、天地方向や被写体の傾き具合は多様であり、また、画像中に含まれる人物の数も１人とは限らない。したがって、特許文献２記載の装置を用いてこのような画像とテンプレートを合成しようとすると、被写体が傾いた状態でテンプレートと合成されたり、画像中の人物の全員を含む領域とテンプレートが合成されなかったりすることが起こりうる。

本発明は、上記事情に鑑みてなされたものであり、合成対象の画像中に複数の人物が含まれていたり、人物の傾きが多様であったりする場合であっても、ユーザが合成対象の画像に対して何らかの操作を必要とせず、適切かつ自動的にテンプレートと合成することによって、アルバムを生成することを実現するアルバム作成装置、方法、およびプログラムを提供することを目的とする。

本発明の第１のアルバム作成装置は、入力画像から１以上の人物の顔の領域を検出する顔検出手段と、前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する傾き決定手段と、該入力画像の傾きに応じて、前記入力画像を回転させる画像回転手段と、該回転後の入力画像中に、前記顔検出手段によって検出された顔領域の１つ以上を含むトリミング基準領域を決定するトリミング基準領域決定手段と、前記トリミング基準領域内のトリミング基準点を決定するトリミング基準点決定手段と、画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられた前記アルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行うトリミング手段と、該トリミングされた前記入力画像中の領域を前記テンプレートと合成するテンプレート合成手段とを設けたことを特徴とする。

本発明の第１のアルバム作成方法は、入力画像から１以上の人物の顔の領域を検出し、
前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定し、該入力画像の傾きに応じて、前記入力画像を回転させ、該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、前記トリミング基準領域内のトリミング基準点を決定し、画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられた前記アルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行い、該トリミングされた前記入力画像中の領域を前記テンプレートと合成することを特徴とする。

本発明の第１のアルバム作成プログラムは、コンピュータに上記第１のアルバム作成方法を実行させるものである。

本発明の第２のアルバム作成装置は、入力画像から１以上の人物の顔の領域を検出する顔検出手段と、前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する傾き決定手段と、該回転後の入力画像中に、前記顔検出手段によって検出された顔領域の１つ以上を含むトリミング基準領域を決定するトリミング基準領域決定手段と、前記トリミング基準領域内のトリミング基準点を決定するトリミング基準点決定手段と、画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられた前記アルバムのテンプレートから、前記傾き決定手段によって決定された前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定する画像挿入領域決定手段と、決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行うトリミング手段と、該トリミングされた前記入力画像中の領域を前記テンプレートと合成するテンプレート合成手段とを設けたことを特徴とする。

本発明の第２のアルバム作成方法は、入力画像から１以上の人物の顔の領域を検出し、前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定し、該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、前記トリミング基準領域内のトリミング基準点を決定し、画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられた前記アルバムのテンプレートから、前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定し、決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行い、該トリミングされた前記入力画像中の領域を前記テンプレートと合成することを特徴とする。

本発明の第２のアルバム作成プログラムは、コンピュータに上記第２のアルバム作成方法を実行させるものである。

次に本発明の詳細について説明する。

入力画像中の顔領域の検出方法には、例えば特許文献２に記載の方法等、本発明の実施時点において公知の方法を用いることができる。

また、顔検出の際に、入力画像中の主要被写体となる人物の顔を検出するようにしてもよい。ここで、主要被写体とは、顔が正面を向いている人物とすることや、顔検出の際の顔らしさ（例えばテンプレートに対する類似性等）がより高い領域とすることが考えられる。

入力画像中の人物の傾きの算出方法には、例えば、特開平８−１３８０２４号公報や特開２００５−２０２４７７号公報に記載の方法等、本発明の実施時点において公知の方法を用いることができる。

入力画像中の人物の各々の傾きに基づいて入力画像の傾きを決定する方法の具体例としては、入力画像中の人物の各々の傾きのヒストグラムを作成し、頻度が最大となるクラスの代表値を入力画像の傾きとすることが考えられる。

このとき、上記顔検出処理によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定するようにし、上記顔検出によって検出された人物の各々の傾きに対して、前記主要被写体の傾きの重みがより大きくなるように重みづけを行って、前記入力画像の傾きを決定するようにしてもよい。

入力画像の傾きに応じた入力画像の回転は、その傾きを表す角度分の回転であってもよいし、９０度単位の回転であってもよい。

トリミング基準領域は、検出された顔領域の１つ以上を含む領域であれば、いかなる形状であってもよい。例えば、矩形の領域とすることができる。また、特開２００５−２０８７３２号公報に記載の方法等を用いてトリミング基準領域を決定してもよい。

さらに、検出された顔領域のすべてを含む領域をトリミング基準領域としてもよいし、上記顔検出処理によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定するようにし、前記主要被写体のみを含む領域をトリミング基準領域としてもよい。

また、隣接する前記顔領域間の距離を算出し、算出された距離が所定の閾値よりも大きい場合には、該隣接する前記顔領域の間に境界を有する複数のトリミング基準領域を決定するようにしてもよい。

なお、トリミング基準領域の決定は、入力画像の上記回転後に行ってもよいし、上記回転前の入力画像中で、検出された顔領域の１つ以上を含む領域を仮決定した後で、上記回転を行い、回転後の入力画像中における前記仮決定された領域をトリミング基準領域としてもよい。

トリミング基準点やレイアウト基準点は、入力画像／画像挿入領域の情報からコンピュータによる演算によって特定可能な任意の点とすることができる。具体例としては、トリミング基準領域／画像挿入領域の中心や重心とすることが考えられる。また、トリミング基準点とレイアウト基準点を異なる方法で特定される点としてもよい。

トリミング基準領域に基づいて入力画像中にレイアウト枠を設定する際、入力画像およびトリミング基準領域を適宜拡大または縮小してもよい。

前記トリミング基準領域を矩形領域とし、前記テンプレートが複数の前記画像挿入領域を含むようにした場合、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似する場合に前記トリミングを行うようにしてもよい。具体的には、複数の入力画像の各々に対して、上記基準を満たす画像挿入領域を選択してトリミングを行ってもよいし、各画像挿入領域に対して上記基準を満たす入力画像を選択してトリミングを行ってもよい。

一方、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似しない場合に、前記顔検出処理によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定し、該主要被写体のみを含む領域を前記トリミング基準領域として前記トリミングを行うようにしてもよい。

また、上記所定の基準を満たさない場合、前記トリミング基準領域を複数の小領域に分割し、該小領域の各々について、前記アルバムの１つの見開きページ内の複数の前記画像挿入領域のレイアウト枠を用いて前記トリミングを行うようにしてもよい。

本発明によれば、入力画像から１以上の人物の顔の領域を検出し、前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定するとともに、入力画像中に前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、これらの情報を利用して、アルバムテンプレート中の画像挿入領域において想定される画像の傾きと適合し、かつ、トリミング基準領域が画像挿入領域に含まれるように、入力画像のトリミングやアルバムテンプレートとの合成を行うので、合成対象の画像中に複数の人物が含まれていたり、人物の傾きが多様であったりする場合であっても、ユーザが合成対象の画像に対して何らかの操作を必要とせず、適切かつ自動的にテンプレートと合成することが可能になり、ユーザの手動操作の負担が軽減されつつ、被写体である人物の欠落や傾きのない、より適切なアルバムが作成される。

ここで、入力画像中の主要被写体となる人物の顔を検出したり、上記顔検出処理によって検出された人物のうちの主要被写体を決定したりし、この主要被写体に基づいて入力画像の傾きやトリミング基準領域を決定するようにすれば、入力画像の傾きやトリミング基準領域の決定の際に、入力画像中の主要被写体以外の人物の影響が軽減され、よりユーザの嗜好に沿った、さらに適切なアルバムが作成される。

アルバムテンプレートが複数の画像挿入領域を含む場合、前記レイアウト枠のアスペクト比と前記トリミング基準領域（矩形領域）のアスペクト比とが所定の基準を満たす程度に近似する場合に前記トリミングを行うようにすれば、レイアウト枠のアスペクト比に合わせるために入力画像を拡大縮小することを最小限で抑えることが可能になり、合成後の画像の画質劣化を軽減することができるだけでなく、レイアウト枠内にトリミング基準領域の周辺の背景領域が必要以上に含まれなくなるので、合成後の画像は、被写体となる人物がより適正な大きさで含まれる、ユーザにとってより好ましい画像となる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるアルバム作成装置を含む写真プリントの注文受付装置の外観斜視図である。この注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されるものであり、プリント注文するための画像が記録された各種メモリカードを装填し、メモリカードから画像を読み出したり、メモリカードに画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６とを備え、写真店に設置されたプリンタ８および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワーク経由で接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文や画像整理に必要な入力を行うことができる。

図２は、この注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１８と、上述した表示部６とを備える。

また、注文受付装置１は、上述したカードスロット４と、メモリカード２から読み出した画像、ＣＰＵ１２が実行する、画像のプリント注文や整理を行うための各種プログラムや参照データ等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部１６と、表示部６の表示を制御する表示制御部２６と、入力部１８による入力を制御する入力制御部２２と、装置１をプリンタ８およびＤＩＣ１０とネットワークを介して通信するためのネットワークインターフェース３０とを備える。

なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。

注文受付装置１で行われる後述の処理は、ハードディスク２４に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク２４への各種プログラムの記憶は、この各種プログラムが記録されたＣＤ−ＲＯＭ等のコンピュータが読取可能な記録媒体からインストールすることによってなされる。また、各種プログラムは、注文受付装置１で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理やアルバム作成処理を行うサブプログラム等とからなる。

このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するアルバムの作成を行うためのアルバム作成ボタン４０Ｂが表示されている。ここで、ユーザがプリント注文ボタン４０Ａを選択した場合、ＣＰＵ１２では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、装置１では、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１８を用いて行う。そして、ユーザがプリント実行の指示を入力部１８を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。

次に、本発明の第１の実施形態におけるアルバム作成装置について説明する。このアルバム作成装置による処理は、ユーザが図３の初期画面でアルバム作成ボタン４０Ｂを選択することにより、メインプログラムからアルバム作成サブプログラムが呼び出され、実行されることによって実現される。本実施形態では、ユーザによって入力された複数の画像を、ユーザによって選択されたアルバムテンプレートの複数の画像挿入領域に、撮影日時順に挿入する処理が行われる。

図４は、このアルバム作成装置の構成とデータの流れを模式的に表したブロック図である。図に示したように、このアルバム作成装置は、画像入力部５１、画像並替部５２、顔検出部５３、傾き決定部５４、トリミング基準領域仮決定部５５、トリミング基準点仮決定部５６、画像回転部５７、テンプレート選択部５８、画像挿入領域情報取得部５９、トリミング部６０、テンプレート合成部６１から構成されている。

画像入力部５１は、ユーザのメモリカード２からの複数の画像Ｐ_i0（i0=1,2,...,I)の入力を受け付ける。ユーザが複数の画像を記録したメモリカード２をカードスロット４に装填すると、画像入力受付部５１が、メモリカード２から複数の画像Ｐ_i0（i0=1,2,... ,I)を読み出して一時的にハードディスク２４に保存する。なお、ハードディスク２４に保存された画像を表示部６に表示させ、ユーザが入力部１８を操作して、アルバム作成対象の画像Ｐ_i0（i0=1,2,... ,I)を選択するユーザインターフェースを提供するようにしてもよい。

画像並替部５２は、アルバム作成対象の画像Ｐ_i0（i0=1,2,... ,I)を撮影日時の古い順に並べ替える。ここで、撮影日時は、画像Ｐ_i0（i0=1,2,... ,I)の画像データに付帯するＥｘｉｆタグから取得する。なお、以下では、撮影日時順に並べられた画像を、撮影日時順にＰ_i（i=1,2,... ,I)とする。

顔検出部５３は、入力された画像Ｐ_i中の１以上の顔領域Ｆ_ij（j=1,2,・・・）を検出する。具体的には、画像Ｐ_iのコントラストに基づいて円形に近い形状の肌色領域を顔領域Ｆ_ijとして検出する。あるいは、AdaBoost等の機械学習手法を用いて得られた、様々な傾き（天地方向）の顔を判別する判別器を用いて検出する手法（特開2005-250775号公報等参照）等を用いてもよい。

傾き決定部５４は、顔領域Ｆ_ijの各々の傾きRF_ijを算出し、算出された傾きRF_ijに基づいて入力画像Ｐ_iの傾きＲ_iを決定する。図６は、顔領域Ｆ_ijの傾きRF_ijの算出方法を説明するための図である。傾き決定部５４は、まず、顔領域Ｆ_ijから両目と口の領域を検出し、口の領域の中心部から両目の中心を通る直線に対して下ろした垂線と画像のＰ_iの上下方向の直線のなす角の角度RF_ijを求める。ここで、顔領域Ｆ_ijから両目と口の領域を検出する方法には、顔領域Ｆ_ij内の黒色領域を目、赤色領域を口として検出する方法（特開平8-138024号公報、特開2005-202477公報等参照）や、上記のAdaBoost等の機械学習手法を用いて得られた、目や口を判別する判別器を用いて検出する手法（特開2006-164133号公報等参照）等を用いることができる。次に、角度RF_ijを９０度単位の回転角RF_ij´に変換する。例えば、以下のように変換が行われる。
0度＜RF_ij≦ 45度の場合、RF_ij´＝ 0度
45度＜RF_ij≦135度の場合、RF_ij´＝ 90度
135度＜RF_ij≦225度の場合、RF_ij´＝180度
225度＜RF_ij≦315度の場合、RF_ij´＝270度
315度＜RF_ij≦360度の場合、RF_ij´＝ 0度
さらに、傾き決定部５４は、各顔領域Ｆ_ij（j=1,2,・・・）の回転角RF_ij´に基づき、最も多くの顔領域が示す傾きRF_iを求め、次式（１）により、入力画像Ｐ_iの傾きＲ_iを算出する。
Ｒ_i＝RF_i×(-1)＋360 （１）
ただし、最多傾きRF_iが複数存在する場合には、Ｒ_i＝0度とする。

図７（ａ）に示した具体例では、顔領域Ｆ₁₁およびＦ₁₂の傾きRF１₁およびRF₁₂が60度で、顔領域Ｆ₁₃の傾きRF₁₃が300度であるから、RF₁₁´＝RF₁₂´＝90度、RF₁₃＝270度となる。したがって、最多傾きRF_iは90度となり、上式（１）より、傾きR_iは270度となる。図７（ｂ）は、この画像を時計回りに270度回転させたものであり、図に示したように、最多傾きRF_iと同じ傾きを有する顔領域Ｆ₁₁およびＦ₁₂に合わせて天地方向が整えられる。

トリミング基準領域仮決定部５５は、入力画像Ｐ_i中のすべての顔領域Ｆ_ijを含む矩形領域をトリミング基準領域Ｓ_iに仮決定する。具体的には、図８に示したように、入力画像Ｐ_i中の最上端の顔領域Ｆ_Tの中心座標（X_T,Y_T）および顔の半径ｒ_T、最右端の顔領域Ｆ_Rの中心座標（X_R,Y_R）および顔の半径ｒ_R、最下端の顔領域Ｆ_Bの中心座標（X_B,Y_B）および顔の半径ｒ_B、最左端の顔領域Ｆ_Lの中心座標（X_L,Y_L）および顔の半径ｒ_Lを求め、次式（２）（３）のように、顔の半径の分のマージンを加えて、矩形領域の左上端（X_LT,Y_LT）と右下端（X_RB,Y_RB）の座標を求める。
（X_LT,Y_LT）＝（X_L−ｒ_L, Y_T＋ｒ_T） （２）
（X_RB,Y_RB）＝（X_R＋ｒ_R, Y_B−ｒ_B） （３）
トリミング基準点仮決定部５６は、仮決定されたトリミング基準領域Ｓ_iの中心座標（X_C,Y_C）を、トリミング基準点Ｑ_iに仮決定する。図８の具体例では、中心座標（X_C,Y_C）は次式（４）（５）のようにして求められる。
X_C＝{(X_L−ｒ_L)＋(X_R＋ｒ_R)}／2 （４）
Y_C＝{(Y_T＋ｒ_T)＋(Y_B−ｒ_B)}／2 （５）
なお、トリミング基準領域仮決定部５５およびトリミング基準点仮決定部５６において、「仮決定」としているのは、後続の回転処理後の前記矩形領域が最終的なトリミング基準領域となるからである。

画像回転部５７は、傾きR_iに応じて入力画像Ｐ_iを回転させる。図９は、トリミング基準領域および基準点を、（ａ）R_i＝0度、（ｂ）R_i＝90度、（ｃ）R_i＝180度、（ｄ）R_i＝270度で回転させた場合を表している。ここで、入力画像の幅をImgW、高さをImgH、回転前のトリミング基準領域Ｓ_iの幅をW1、高さをH1、回転後のトリミング基準領域Ｓ_i´の幅をＷ、高さをＨ、回転後のトリミング基準点Ｑ_i´の座標を（X_C´, Y_C´）とすると、各々、次式（６）から（21）のようにして求めることができる。
a. R_i＝0度の場合
Ｗ＝W1 （６）
Ｈ＝H1 （７）
X_C´＝X₁ （８）
Y_C´＝Y₁ （９）
b. R_i＝90度の場合
Ｗ＝H1 （10）
Ｈ＝W1 （11）
X_C´＝ImgH−Y₁ （12）
Y_C´＝X₁ （13）
b. R_i＝180度の場合
Ｗ＝W1 （14）
Ｈ＝H1 （15）
X_C´＝ImgW−X₁ （16）
Y_C´＝ImgH−Y₁ （17）
d. R_i＝270度の場合
Ｗ＝H1 （18）
Ｈ＝W1 （19）
X_C´＝Y₁ （20）
Y_C´＝ImgW−X₁ （21）
これにより、トリミング基準領域Ｓ_i´、および、トリミング基準点Ｑ_i´が最終的に決定される。

テンプレート選択部５８は、ユーザによるアルバム作成用のテンプレートＴの選択を受け付ける。具体的には、ハードディスク２４に予め記憶されているアルバム作成用の複数のテンプレートを表示部６に表示させ、ユーザが入力部１８を操作して、所望のテンプレートＴを選択するユーザインターフェースを提供する。図１４は、テンプレートＴの一例を示したものである。図に示したように、テンプレートＴには複数の画像挿入領域が含まれており、各画像挿入領域には、その領域の輪郭（レイアウト枠）の形状および大きさを表す情報Ｌ_n、および、その領域の中心点の位置を表す情報Ｍ_nが関連づけられている。

画像挿入領域情報取得部５９は、テンプレートＴに関連づけられている画像挿入領域の輪郭（レイアウト枠）の形状および大きさを表す情報Ｌ_n、および、その領域の中心点（レイアウト基準点）の位置を表す情報Ｍ_nを順次取得する。

トリミング部６０は、図１０に例示したように、テンプレートＴ中の画像挿入領域のレイアウト枠Ｌ_nを、レイアウト基準点Ｍ_nとトリミング基準点Ｑ_i´とが一致し、トリミング基準領域Ｓ_i´がレイアウト枠Ｌ_n内に含まれるように入力画像Ｐ_i´中に設定し、設定されたレイアウト枠に沿って入力画像Ｐ_i´のトリミングを行い、領域Ｐ_i″を切り出す。このとき、レイアウト枠Ｌ_nがトリミング基準領域Ｓ_i´よりも小さい場合には、画像Ｐ_i´の縮小を行う。また、図１０のように、レイアウト枠Ｌ_nがトリミング基準領域Ｓ_i´よりも大きい場合には、トリミング基準領域Ｓ_i´の周辺の領域も合わせてトリミングするだけでもよいし、入力画像Ｐ_i´を、レイアウト枠Ｌ_n内に収まる範囲で拡大し、拡大しても、トリミング基準領域Ｓ_i´の外側でレイアウト枠Ｌ_nの内側の領域があれば、トリミング基準領域Ｓ_i´の周辺の領域も合わせてトリミングするようにしてもよい。

テンプレート合成部６１は、各入力画像Ｐ_i（i=1,2,・・・,I）からトリミングされた領域Ｐ_i″を、テンプレートＴ中の対応する画像挿入領域に嵌め込み合成して、アルバムＣを作成する。

図５は、本発明の第１の実施形態におけるアルバム作成処理の流れを表すフローチャートである。図に示したように、ユーザが、画像入力部５１において、アルバム作成対象の画像Ｐ_i0（i=1,2,・・・,I）を選択すると(#1)、画像並替部５２が、入力された画像Ｐ_i0（i=1,2,・・・,I）を撮影日時順に並べ替える(#2)。一方、ユーザは、テンプレート選択部５８において、アルバム作成に用いるテンプレートＴの選択を行う(#3)。ここで、入力画像を識別する添え字ｉ、および、テンプレートＴ中の画像挿入領域を識別する添え字ｎが１に初期化された後(#4)、最初の画像Ｐ₁が読み込まれ(#5)、顔検出部５３が、画像Ｐ₁中の顔領域Ｆ_ij（j=1,2,・・・）を検出する(#6)。傾き検出部５４は、顔領域Ｆ_1jの各々の傾きRF_1jに基づいて入力画像Ｐ₁の傾きＲ₁を決定する(#7)。一方、トリミング基準領域仮決定部５５は、入力画像Ｐ₁中のすべての顔領域Ｆ_1jを含む矩形領域（トリミング基準領域）Ｓ₁を仮決定し(#8)、トリミング基準点仮決定部５６は、矩形領域Ｓ₁の中心座標Ｑ₁を求める(#9)。画像回転部５７は傾きR₁に応じて入力画像Ｐ₁を回転させる(#10)。ここで、画像挿入領域情報取得部５９は最初の画像挿入領域のレイアウト枠の情報Ｌ₁およびレイアウト基準点Ｍ₁を取得し(#11)、トリミング部６０は、回転後の入力画像Ｐ１´、トリミング基準領域Ｓ₁´、トリミング基準点Ｑ₁´、レイアウト枠Ｌ₁、レイアウト基準点Ｍ₁に基づいてトリミングを行い、領域Ｐ₁″を切り出す(#12)。上記の#5から#12までの処理を、添え字ｉおよびｎの値を１ずつ加算しながら(#13,#15)、最後の入力画像Ｐ_Iのトリミング(#12)が完了するか(#14;YES)、最後の画像挿入領域情報（n=N）の取得(#11)が完了する(#16;YES)まで繰り返し行い(#14;NO、#16;NO）、その後、テンプレート合成部が、各入力画像Ｐ_i´からトリミングされたＰ_i″を、テンプレートＴ中の対応する画像挿入領域に嵌め込み合成して、アルバムＣを作成する(#17)。作成されたアルバムは表示部６に表示され(#18)、ユーザの確認に供される。なお、上記のステップ#7から#9は、#8,#9,#7の順に行ってもよいし、ステップ#7とステップ#8から#9を並列に行ってもよい。また、テンプレートの合成(#17)は、各入力画像のトリミング(#12)が行われる度に、すなわち、ステップ#12の直後に行うようにしてもよい。

以上のように、本発明の第１の実施形態となるアルバム作成装置では、顔検出部５３が、入力画像Ｐ_iから１以上の人物の顔の領域Ｆ_ijを検出し、傾き決定部５４が、検出された顔領域Ｆ_ijの傾きに基づいて前記入力画像Ｐ_iの傾きＲ_iを決定するとともに、トリミング基準領域仮決定部５５が、検出されたすべての顔領域Ｆ_ijを含むトリミング基準領域Ｓ_iを仮決定し、トリミング基準点仮決定部５６が、トリミング基準領域Ｑ_iを仮決定し、画像回転部５７が、入力画像Ｐ_iを傾きＲ_iに応じて回転させ、トリミング部６０が、アルバムのテンプレートＴ中の画像挿入領域のレイアウト枠Ｌ_nを、レイアウト基準点Ｍ_nとトリミング基準点Ｑ_i´とが一致し、トリミング基準領域Ｓ_n´がレイアウト枠Ｌ_n内に含まれるように入力画像Ｐ_i´中に設定し、設定されたレイアウト枠に沿って入力画像Ｐ_i´のトリミングを行う。したがって、合成対象の画像Ｐ_i´中に複数の人物が含まれていたり、人物の傾きが多様であったりする場合であっても、ユーザが合成対象の画像Ｐ_iに対して何らかの操作を行う必要がなく、適切かつ自動的にテンプレートと合成することが可能になり、ユーザの手動操作の負担が軽減されつつ、被写体である人物の欠落や傾きのない、より適切なアルバムが作成される。

上記実施形態において、顔検出部５３が、入力画像Ｐ_i中の主要被写体のみを検出するようにしてもよい。具体的には、顔の面積が所定の閾値より大きいもののみを検出するようにしたり、上記判別器の機械学習の際に正面を向いていない顔は検出されないように学習させたり、判別器の出力値や顔を表すテンプレートに対する類似度等の、検出された領域の顔らしさを表す信頼度が所定の閾値よりも高いもののみを検出するようにしたりすることが考えられる。図１１は、主要被写体のみを検出することによる効果を説明するための図である。図に示したとおり、上記実施形態の顔検出部５３では、画像の右側の正面を向いた２人の人物の顔だけでなく、画像の左側の横を向いた人物の顔も検出してしまう可能性がある。このような場合、トリミング基準領域Ｓ_iは横方向に長い矩形領域となり、画像挿入領域（レイアウト枠）Ｌ_nの形状が、図のように正方形に近い場合には、入力画像Ｐ_iをかなり縮小しなければ、トリミング基準領域Ｓ_iをレイアウト枠Ｌ_n内に収めることができず、画質劣化を招いてしまう。そこで、顔検出部５３が正面向きの顔のみを検出するようにすれば、図に示したように、トリミング基準領域Ｓ_iの形状は正方形に近づくので、入力画像Ｐ_iの縮小率を抑えることができ、画質の劣化を軽減することができる。また、主要被写体のみによるアルバムが作成されるので、よりユーザの嗜好が反映されたものとなりうる。

また、顔検出部５３は入力画像Ｐ_i中のすべての顔領域Ｆ_ijを検出するようにしておき、検出された顔領域Ｆ_ijのうちの主要被写体を決定する主要被写体決定部をさらに設けてもよい。この場合も上記と同様に、トリミング基準領域仮決定部５５が、主要被写体のみを含むトリミング基準領域を決定するようにすればよい。

また、傾き決定部５４が、主要被写体の傾きに対する重みがより大きくなるように重みづけを行って、前記入力画像の傾きを決定するようにしてもよい。例えば、図１２に示した入力画像では、画像右側の正面向きの顔の傾きに対する重みが、画像左側の横向きの顔の傾きに対する重みよりも大きくなるように重みづけを行えば、入力画像の傾きを、正面向きの顔の傾きがより大きく反映されたものにすることができる。このとき、横向きの顔の傾きに対する重みを0にすれば、主要被写体のみを検出した場合と同様の結果が得られる。

上記の実施形態では、撮影日時順に並べられた入力画像Ｐ_i´を、テンプレートＴの先頭の画像挿入領域から順に挿入していくことによってアルバムを作成していたが、入力画像Ｐ_i´中のトリミング基準領域Ｓ_i´の形状（アスペクト比）と、画像挿入領域（レイアウト枠Ｌ_nの形状（アスペクト比））が大きく異なっている場合には、入力画像Ｐ_i´をかなり縮小しなければ、トリミング基準領域Ｓ_i´をレイアウト枠Ｌ_n内に収めることができず、画質劣化を招いてしまう。また、入力画像Ｐ_i´を縮小しなければ、トリミング基準領域Ｓ_i´はレイアウト枠Ｌ_nからはみ出してしまい、トリミング後の領域Ｐ_i″中に、入力画像Ｐ_i´中のすべての顔領域が含まれなくなってしまう。そこで、テンプレートＴ中の画像挿入領域毎にその領域（レイアウト枠Ｌ_n）のアスペクト比Ａ_nも関連づけておき、画像挿入領域情報取得部５９が、トリミング基準領域Ｓ_i´のアスペクト比Ａ_iを計算し、両アスペクト比の差が所定の閾値よりも小さくなるような画像挿入領域を選択するようにしてもよい。これにより、レイアウト枠Ｌ_nのアスペクト比Ａ_nに合わせるために入力画像Ｐ_i´を拡大縮小することを最小限で抑えることが可能になり、合成後の画像の画質劣化を軽減することができるだけでなく、レイアウト枠Ｌ_n内にトリミング基準領域Ｓ_i´の周辺の領域が必要以上に含まれなくなるので、合成後の画像は、被写体となる人物がより適正な大きさで含まれる、ユーザにとってより好ましい画像となる。

ここで、両アスペクト比の差が所定の閾値よりも小さくなるような画像挿入領域が存在しない場合には、図１３に例示したように、１つの入力画像Ｐ_i´中に複数のトリミング基準領域Ｓ_i1´、Ｓ_i2´を設定するようにし、画像挿入領域情報取得部５９が、各領域Ｓ_i1´、Ｓ_i2´毎に、両アスペクト比の差が所定の閾値よりも小さくなるような画像挿入領域を選択するようにしてもよい。この場合、各領域Ｓ_i1´、Ｓ_i2´は１つの入力画像Ｐ_i´から得られたものであるから、内容的な特徴に鑑みると、テンプレートＴ中の近接する位置に挿入されることが好ましい。そこで、画像挿入領域情報取得部５９は、このような１つの入力画像Ｐ_i´から得られた複数のトリミング基準領域Ｓ_i1´、Ｓ_i2´に対しては、見開きページ内の画像挿入領域（図１４のレイアウト枠Ｌ₁からＬ₅に対応する画像挿入領域）から、最も適切な画像挿入領域を選択するようにすることが好ましい。図１３の例では、トリミング基準領域Ｓ_i1´にはレイアウト枠Ｌ₂、トリミング基準領域Ｓ_i2´にはレイアウト枠Ｌ₁が選択される。

なお、１つの入力画像Ｐ₁´中に複数のトリミング基準領域を設定する場合、隣接する顔領域の間の距離を算出し、算出された距離が所定の閾値よりも大きい場合には、その隣接する顔領域の間に境界ができるように、複数のトリミング基準領域を決定するようにすればよい。図１３の入力画像Ｐ_i´では、顔領域Ｆ_i1´とＦ_i2´の距離が所定の閾値よりも大きかった場合を示している。

本発明の第２の実施形態は、入力画像Ｐ_iの傾きを考慮しつつ、入力画像Ｐ_iを回転させることなく、より適切なテンプレートとの合成を実現するものである。図１５は、本発明の第２の実施形態となるアルバム作成装置の構成を表すブロック図である。第１の実施形態との相違点は以下のとおりである。

第１に、画像並替部５２と画像回転部５７を構成から外している。

第２に、テンプレートＴは、画像挿入領域毎に、挿入されるべき画像の好ましい傾きが関連づけられたものとなっている。

第３に、画像挿入領域情報取得部５９を画像挿入領域情報取得部５９´に置換している。この画像挿入領域情報取得部５９´は、入力画像Ｐ_iの傾きＲ_iと一致する傾きと関連づけられた画像挿入領域の情報を選択する処理を行う。

また、トリミング基準領域仮決定部５５は、トリミング基準領域決定部５５´、トリミング基準点仮決定部５６はトリミング基準点決定部５６´に置換されているが、これらは、後で入力画像Ｐ_iの回転を行わないため、これらの処理部で決定されたトリミング基準領域やトリミング基準点が最終的なものとなるので、処理部の名称を変更したものであり、各処理部の処理内容は同じである。

本実施形態のアルバム作成装置によるアルバム作成処理の流れは、図５のフローチャートにおいて、ステップ#10を省略し、ステップ#11において、画像挿入領域情報取得部５９´が上記の処理を行うようにしたものとなる。なお、ここでは、添え字ｎは、ｎ番目に選択された画像挿入領域情報を意味する。

以上のように、本発明の第２の実施形態によるアルバム作成装置によれば、画像挿入領域情報取得部５９´が、傾き決定部５４によって決定された入力画像Ｐ_iの傾きＲ_iと合致する画像挿入領域を選択するので、第１の実施形態と同様にユーザの手動操作の負担が軽減されるだけでなく、作成されたアルバムは、入力画像Ｐ_i中の被写体の傾きによる違和感のない、好ましいものとなる。

なお、上記の説明の他、各実施形態におけるシステム構成、処理フロー、ユーザインターフェース等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。また、上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。

本発明の実施形態によるアルバム作成装置を含む注文受付装置の外観斜視図 本発明の実施形態による注文受付装置の構成を示す概略ブロック図 初期画面を示す図 本発明の第１の実施形態のよるアルバム作成装置の構成とデータの流れを模式的に表したブロック図 本発明の第１の実施形態における操作と処理の流れを示すフローチャート 顔領域の傾きを説明するための図 顔領域の傾きから入力画像の傾きを求める処理を説明するための図 トリミング基準領域の決定方法を説明するための図 画像の回転に伴うトリミング基準領域およびトリミング基準点の変換を説明するための図 トリミング処理を説明するための図 主要被写体のみに対するトリミング処理を説明するための図 主要被写体に重点をおいた画像の傾きの決定方法を説明するための図 トリミング基準領域を分割した例を表す図 アルバムテンプレート（見開きページ）の例を表す図 本発明の第２の実施形態のよるアルバム作成装置の構成とデータの流れを模式的に表したブロック図

符号の説明

１ 注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ メモリ制御部
１８ 入力部
２２ 入力制御部
２４ ハードディスク
２６ 表示制御部
３０ ネットワークインターフェース
４０ 初期画面
５１ 画像入力部
５２ 画像並替部
５３ 顔検出部
５４ 傾き決定部
５５ トリミング基準領域仮決定部
５５´ トリミング基準領域決定部
５６ トリミング基準点仮決定部
５６´ トリミング基準点決定部
５７ 画像回転部
５８ テンプレート選択部
５９、５９´ 画像挿入領域情報取得部
６０ トリミング部
６１ テンプレート合成部

Claims (14)

1. 入力画像から１以上の人物の顔の領域を検出する顔検出手段と、
   前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する傾き決定手段と、
   該入力画像の傾きに応じて、前記入力画像を回転させる画像回転手段と、
   該回転後の入力画像中に、前記顔検出手段によって検出された顔領域の１つ以上を含むトリミング基準領域を決定するトリミング基準領域決定手段と、
   前記トリミング基準領域内のトリミング基準点を決定するトリミング基準点決定手段と、
   画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられたアルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行うトリミング手段と、
   該トリミングされた前記入力画像中の領域を前記テンプレートと合成するテンプレート合成手段とを備えたことを特徴とするアルバム作成装置。
2. 入力画像から１以上の人物の顔の領域を検出する顔検出手段と、
   前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する傾き決定手段と、
   前記入力画像中に、前記顔検出手段によって検出された顔領域の１つ以上を含むトリミング基準領域を決定するトリミング基準領域決定手段と、
   前記トリミング基準領域内のトリミング基準点を決定するトリミング基準点決定手段と、
   画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられたアルバムのテンプレートから、前記傾き決定手段によって決定された前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定する画像挿入領域決定手段と、
   決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行うトリミング手段と、
   該トリミングされた前記入力画像中の領域を前記テンプレートと合成するテンプレート合成手段とを備えたことを特徴とするアルバム作成装置。
3. 前記顔検出手段が、前記入力画像中の主要被写体となる人物の顔を検出するものであることを特徴とする請求項１または２記載のアルバム作成装置。
4. 前記顔検出手段によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定する主要被写体決定手段をさらに備え、
   前記傾き決定手段が、前記人物の各々の傾きに対して、前記主要被写体の傾きの重みがより大きくなるように重みづけを行って、前記入力画像の傾きを決定するものであることを特徴とする請求項１または２に記載のアルバム作成装置。
5. 前記トリミング基準領域決定手段が、前記回転後の入力画像中に、前記顔検出手段によって検出された顔領域のすべてを含むトリミング基準領域を決定するものであることを特徴とする請求項１に記載のアルバム作成装置。
6. 前記顔検出手段によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定する主要被写体決定手段をさらに備え、
   前記トリミング基準領域決定手段が、前記主要被写体のみを含む領域を前記トリミング基準領域とするものであることを特徴とする請求項１，２，４のいずれか１項に記載のアルバム作成装置。
7. 前記トリミング基準領域が矩形領域であり、
   前記テンプレートが複数の前記画像挿入領域を含むものであり、
   前記トリミング手段が、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似する場合に前記トリミングを行うものであることを特徴とする請求項１から６のいずれか１項に記載のアルバム作成装置。
8. 前記トリミング基準領域が矩形領域であり、
   前記テンプレートが複数の前記画像挿入領域を含むものであり、
   前記トリミング手段が、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似しない場合に、前記顔検出手段によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定し、該主要被写体のみを含む領域を前記トリミング基準領域として前記トリミングを行うものであることを特徴とする請求項１または２に記載のアルバム作成装置。
9. 前記トリミング基準領域が矩形領域であり、
   前記テンプレートが複数の前記画像挿入領域を含むものであり、
   前記トリミング手段が、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似しない場合に、前記トリミング基準領域を複数の小領域に分割し、該小領域の各々について、前記アルバムの１つの見開きページ内の複数の前記画像挿入領域のレイアウト枠を用いて前記トリミングを行うものであることを特徴とする請求項１から７のいずれか１項に記載のアルバム作成装置。
10. 前記トリミング基準領域決定手段が、隣接する前記顔領域間の距離を算出し、算出された距離が所定の閾値よりも大きい場合には、該隣接する前記顔領域の間に境界を有する複数のトリミング基準領域を決定するものであることを特徴とする請求項１から９のいずれか１項に記載のアルバム作成装置。
11. ＣＰＵを備えたアルバム作成装置によって実行されるアルバム作成方法であり、前記ＣＰＵが、
    入力画像から１以上の人物の顔の領域を検出し、
    前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定し、
    該入力画像の傾きに応じて、前記入力画像を回転させ、
    該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、
    前記トリミング基準領域内のトリミング基準点を決定し、
    画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられたアルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行い、
    該トリミングされた前記入力画像中の領域を前記テンプレートと合成することを特徴とするアルバム作成方法。
12. ＣＰＵを備えたアルバム作成装置によって実行されるアルバム作成方法であり、前記ＣＰＵが、
    入力画像から１以上の人物の顔の領域を検出し、
    前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定し、
    前記入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、
    前記トリミング基準領域内のトリミング基準点を決定し、
    画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられたアルバムのテンプレートから、前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定し、
    決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行い、
    該トリミングされた前記入力画像中の領域を前記テンプレートと合成することを特徴とするアルバム作成方法。
13. コンピュータを、
    入力画像から１以上の人物の顔の領域を検出する手段と
    前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する手段と、
    該入力画像の傾きに応じて、前記入力画像を回転させる手段と、
    該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定する手段と、
    前記トリミング基準領域内のトリミング基準点を決定する手段と、
    画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられたアルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行う手段と、
    該トリミングされた前記入力画像中の領域を前記テンプレートと合成する手段として機能させることを特徴とするアルバム作成プログラム。
14. コンピュータを、
    入力画像から１以上の人物の顔の領域を検出する手段と、
    前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する手段と、
    前記入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定する手段と、
    前記トリミング基準領域内のトリミング基準点を決定する手段と、
    画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられたアルバムのテンプレートから、前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定する手段と、
    決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行う手段と、
    該トリミングされた前記入力画像中の領域を前記テンプレートと合成する手段として機能させることを特徴とするアルバム作成プログラム。

Images