JP5180127B2 - 画像作成装置および画像作成方法 - Google Patents

Description

本発明は、複数の画像を組み合わせて１つの組画像を生成する画像作成装置および画像作成方法に関し、詳しくは、同一人物の写っている複数の画像から、人物の顔や体の一部を切り出して合成した画像を利用することにより組画像を作成する画像作成装置および画像作成方法に関する。

近年、ユーザが撮影した画像等からなる画像群の中から、顔抽出や画像特徴量の算出などの画像解析方法を用いて、ユーザが必要とする画像を抽出して、これを利用して画像を整理したり編集するための各種の方法やシステムが考案されている。

例えば、特許文献１には、複数のデジタル画像を、被写体ごとにグループ分けすることで整理するデジタル媒体の整理方法および装置が開示されている。特許文献１では、デジタル画像に対して顔認識処理を行い、各画像中の顔の類似性を判定し、この判定結果に基づいて、人物ごとに作成されたフォルダーにデジタル画像を分類することで、大量の写真を、そこに写っている人物に基づいて短時間に整理することができると記載されている。

また、特許文献２には、被写体の特徴をインデックスとして用いることで画像の検索を行うデジタルアルバム作成装置が開示されている。特許文献２では、各画像において、被写体である人物の顔の色、化粧の有無、服の色、眼鏡の有無などの人物の特徴を抽出し、これらの情報をインデックスとして設定して、このインデックスに基づいて画像を検索することが記載されている。

さらに、特許文献３には、画像の中の特定の被写体に特化して加工した画像を自動的に作成する画像処理方法および装置が開示されている。特許文献３では、ユーザが指定した特定の被写体人物の顔をキー被写体に設定して、各画像について顔判別を行い、キー被写体と一致する顔があれば、その被写体が画像の中心に配置されるようにトリミングおよび拡縮処理などの編集を行うことが記載されている。

特開２００５−１７４３０８号公報 特開平１０−１２４６５５号公報 特開２００４−２８９７０６号公報

上述のように、特許文献１および２などの方法によれば、顔認識等や、その他の画像解析方法の結果に基づいて、大量の画像を分類したり、画像の検索を行うことができる。また、特許文献３に記載されているように、特定の被写体を設定して、その被写体に応じて各画像を編集することもできる。

ところで、このような顔抽出を利用して画像のレイアウトを行う従来の画像の編集方法としては、特許文献３に記載のように、被写体の顔や体等が切れることのないように、または、画像の中心に主要被写体（人物）を配置するように、トリミングや画像の配置などの編集処理を行うことを目的とするものが一般的であった。
しかし、こうした場合には、構図のよくない画像や、顔や体の一部が写っていない画像などを効果的に利用することができず、また、全体的に単調な雰囲気の画像となってしまうという問題があった。

本発明の目的は、上記従来技術の問題点を解決し、構図のよくない画像や、顔や体の一部が写っていない画像を効果的に利用した、単に被写体の全体が画像に納まるように配置するものとは異なる、魅力のある組画像を、簡易に作成することができる画像作成方法およびこれを実現する画像作成装置を提供することにある。

上記課題を解決するために、本発明の画像作成装置は、同一の被写体が写っている所定数の画像を組み合わせた組画像の画像作成装置であって、複数の画像を記憶する画像記憶部と、画像の編集条件が定義された所定数の画像合成枠を有する前記組画像のテンプレートを記憶するテンプレート記憶部と、前記複数の画像から、前記テンプレートの各合成枠に合成するための、前記同一の被写体が写っている所定数の画像を選択する画像選択部と、前記選択された各画像を、前記テンプレートの各合成枠ごとの編集条件に応じて、各合成枠の形状およびアスペクト比に合わせてトリミングし、さらに、各合成枠のサイズに合致するように拡縮処理する編集を行う画像編集部と、前記編集された各画像を前記テンプレートの各合成枠に配置して合成し、前記組画像を作成する画像合成部とを備えることを特徴とする。

このような本発明では、前記画像記憶部に記憶されている画像を評価する画像評価部を有し、前記画像選択部は、前記画像評価部での評価の結果に基づいて、前記テンプレートの各合成枠に配置する画像を決定することが好ましい。
また、前記画像評価部は、同一画像において異なる複数の部分の切り出しが可能かどうかを評価し、前記画像評価部が、前記同一画像において異なる複数の部分の切り出しが可能と評価した場合、前記画像編集部は、前記同一画像を、異なる複数の合成枠ごとの編集条件に応じて編集して前記異なる複数の部分を切り出し、前記異なる複数の合成枠のそれぞれに合成される異なる複数の画像を生成することが好ましい。

さらに、前記画像選択部は、特定の人物が写っている画像のみを選択することが好ましい。
また、前記画像選択部は、前記テンプレートの各合成枠ごとの前記編集条件に応じて、候補対象の画像のみを表示して選択可能とすることが好ましい。
また、前記合成枠の編集条件は、被写体の顔の一部をトリミングするものを含むことが好ましく、さらに、前記合成枠の編集条件は、被写体の体の一部をトリミングするものを含むことが好ましい。

また、前記画像内に複数の人物が被写体として存在する場合に、前記合成枠の編集条件は、前記特定の人物の、他の人物との違いが所定の閾値以上の部分をトリミングするものを含むことが好ましい。
さらに、前記画像編集部は、前記テンプレートの各合成枠のアスペクト比に基づいて、前記各合成枠の編集条件を決定することが好ましい。

また、前記テンプレート記憶部は、複数の前記テンプレートを記憶するものであり、本発明の画像作成装置は、さらに、前記テンプレート記憶部に記憶された前記複数の前記テンプレートから前記組画像を作成するためのテンプレートを選択するテンプレート選択部を備えることが好ましい。
ここで、前記テンプレート選択部は、前記画像選択部による画像選択に先立って、前記テンプレート記憶部に記憶された前記複数の前記テンプレートから所望の組画像を作成するためのテンプレートを予め選択するものであり、前記画像選択部は、前記画像記憶部に記憶された前記複数の画像から、前記テンプレート選択部によって選択された前記テンプレートの各合成枠に合成して前記所望の組画像を作成するための前記所定数の画像を選択することが好ましい。

または、前記画像選択部は、前記テンプレート選択部によるテンプレート選択に先立って、前記画像記憶部に記憶された前記複数の画像から、所望の組画像を作成するための前記所定数の画像を予め選択するものであり、前記テンプレート選択部は、前記テンプレート記憶部に記憶された前記複数のテンプレートから、前記画像選択部によって選択された前記所定数の画像を合成して前記所望の組画像を作成するための合成枠を持つテンプレートを選択することが好ましく、もしくは、前記所望の組画像を作成するための合成枠を持つテンプレートを選択できなかった場合に、前記画像選択部によって選択された前記所定数の画像を合成して前記所望の組画像を作成するためのレイアウトを決定する、もしくはこのレイアウトに配置された前記所定数の合成枠を持つテンプレートを作成するものであることが好ましい。

また、上記課題を解決するために、本発明の画像作成方法は、同一の被写体が写っている所定数の画像を組み合わせた組画像の画像作成方法であって、予め記憶されている複数の画像から、画像の編集条件が定義された所定数の画像合成枠を有する前記組画像のテンプレートの各合成枠に合成するための、前記同一の被写体が写っている所定数の画像を選択するステップと、前記選択された各画像を、前記テンプレートの各合成枠ごとの編集条件に応じて、各合成枠の形状およびアスペクト比に合わせてトリミングし、さらに、各合成枠のサイズに合致するように拡縮処理する編集を行うステップと、前記編集された各画像を前記テンプレートの各合成枠に配置して合成し、前記組画像を作成するステップとを備えることを特徴とする。

また、本発明の画像作成方法は、さらに、前記画像を選択するステップに先立って、予め記憶された複数のテンプレートから所望の組画像を作成するためのテンプレートを選択するステップを備え、前記画像を選択するステップは、予め記憶された前記複数の画像から、先に選択された前記テンプレートの各合成枠に合成して前記所望の組画像を作成するための前記所定数の画像を選択するものであるのが好ましい。

または、前記画像を選択するステップは、前記テンプレートの選択に先立って、予め記憶された前記複数の画像から、所望の組画像を作成するための前記所定数の画像を選択するものであり、本発明の画像作成方法は、さらに、予め記憶された複数のテンプレートから、前記画像を選択するステップで選択された前記所定数の画像を合成して前記所望の組画像を作成するための合成枠を持つテンプレートを選択するステップを備えるものであるのが好ましい。

本発明の画像作成装置および画像作成方法によれば、被写体の一部を切り出して配置を行うことで、被写体の顔や体全体が写っていない画像や、背景に余分なものが写りこんでいる画像、構図の悪い画像や写りの悪い画像であっても効果的に利用して、単に被写体を中心に配置した画像とは異なる、特徴的な魅力ある組画像を作成することができる。
また、組画像の作成は、予め設定されたテンプレートに従って画像を配置することにより行うため、極めて簡易に組画像の作成を行うことができる。

本発明の画像作成装置のシステム構成の一例を示すブロック図である。 本発明の組画像の一例を示す模式図である。 本発明の画像作成方法の一例を示すフロー図である。 本発明の組画像のテンプレートの一例を示す模式図である。 本発明の画像作成方法の一例を示すフロー図である。 複数の被写体が写っている画像の一例を示す図である。 本発明の画像作成装置における処理の流れの一例を示すフロー図である。 本発明の組画像のテンプレートの他の一例を示す模式図である。 本発明の画像作成方法の他の一例を示すフロー図である。 本発明の組画像のテンプレートの他の一例を示す模式図である。 本発明の画像作成装置のシステム構成の他の一例を示すブロック図である。 本発明の画像作成方法の他の一例を示すフロー図である。 図１１に示す画像作成装置において選択される画像の画像データおよびその情報の一例を示す説明図である。

以下に、本発明に係る画像作成方法を実現する本発明の画像作成装置について、添付の図面に示す好適実施形態に基づいて詳細に説明する。

図１は、本発明における画像作成装置の装置構成の一実施例を示すブロック図である。
図１に示す画像作成装置１０は、テンプレート記憶部１２、テンプレート選択部１４、画像記憶部１６、画像選択部１８、画像編集部２０、画像合成部２２、および出力部２４を有する。また、画像作成装置１０は、これらの各部においてユーザの指示を入力するための、キーボードやマウスなどの操作機器およびモニタなどの表示機器からなる表示操作部２６を有する。

ここで、本発明において作成する組画像の一例を図２に示す。
本発明は、同一の被写体が写っている複数の画像を用いて、各画像の様々な部分をトリミングして配置して１つの組画像として表示することで、ユーザに所望の、特徴的で魅力的な組画像を生成するものである。
例えば、図２に示すように、ある特定の人物が複数の画像に被写体として写っている場合に、画像の中心に被写体が写っており、また、背景に余分なものが写りこんでおらず、構図にも問題ない場合は、その画像をそのまま配置する。他方、人物の顔が一部しか写っていない画像や、背景が美しくない画像や不要なものが写っている画像、被写体が画像の中心からずれた位置に写っている画像などについては、目や顔の左半分など、その人物の一部のみをトリミングして配置する。
このように、画像の状態に応じてトリミング領域を変更した画像を組み合わせて配置することで、撮影した画像を無駄なく利用して、特定の人物をテーマとした、特徴的で魅力のある組画像を作成することができる。

また、本発明における組画像のテーマは、特定の人物に限らず、特定のイベントなど、人物以外のものをテーマとして作成してもよい。
例えば、組画像のテーマとして、特定の人物の代わりに、または特定の人物に加えて、景色や物や動物などをテーマとしても良い。例えば、後述する図４に示すテンプレート３０において、合成枠３２ａ、３２ｄおよび３２ｅには、人物をテーマとして特定の人物の全身の画像を合成する合成枠とし、合成枠３２ｂおよび３２ｃには、それぞれ景色をテーマとして緑の樹木や芝生などおよび空を合成する合成枠としても良い。また、テーマとして、物や動物として、ＰＣ、コップ、犬、猫などの条件を設定しても良い。

テンプレート記憶部１２は、本発明におけるユーザに所望の組画像を作成するための、所定数の合成枠を持つテンプレートを記憶するものである。なお、テンプレート記憶部１２には、記憶されているテンプレートに関連付けて所定数の合成枠の編集条件も記憶されている。テンプレート記憶部１２に記憶されるテンプレートは１つであってもよいし、複数のテンプレートを用意しておき、ユーザが表示操作部２６を用いて好みのテンプレートを選択するようにしてもよいし、後述するテンプレート選択部１４において自動選択するようにしても良い。
本発明の画像作成装置では、テンプレート記憶部１２に記憶されているテンプレートを用いて組画像を作成することにより、レイアウトなどの編集作業に慣れないユーザであっても、簡易に組画像を作成することができる。

テンプレート選択部１４は、テンプレート記憶部１２に記憶されているテンプレートの中から、ユーザに所望の組画像の作成に用いるものを選択して、読み出すものである。
テンプレート選択部１４によるテンプレートの選択は、後述する画像選択部１８による画像選択の前であっても後であっても良いし、テンプレートの選択は、画像作成装置１０のテンプレート選択部１４において自動的に行ってもよいし、表示操作部２６のモニタにテンプレート記憶部１２に記憶されているテンプレートのサムネイル画像を表示して、ユーザに好みのテンプレートを選択させるようにしてもよい。例えば、テンプレートを自動選択する場合、テンプレート選択部１４は、画像選択の前に、デフォルトで設定されたテンプレートを自動選択するものであっても良いし、画像選択の後に、画像選択部１８によって画像記憶部１６に記憶された複数の画像の中から選択された所定数の画像に応じて適切なテンプレートを自動選択するようにしても良い。

なお、画像選択部１８によって選択された所定数の画像に応じた適切なテンプレートがテンプレート記憶部１２に記憶されていなかった場合、例えば、モニタに表示されたテンプレートの中にユーザに好みのテンプレートがなかった場合や、選択画像に応じた適切なテンプレートが自動選択できなかった場合にも、テンプレート選択部１４は、画像選択部１８で選択された所定数の画像を用いて所望の組画像を作成するのに適したレイアウトを決定するように構成しても良いし、このレイアウトに配置された所定数の合成枠を持つ新しいテンプレートを作成するように構成しても良い。このとき、テンプレート選択部１４において作成された新しいテンプレートをテンプレート記憶部１２に記憶させるようにしても良い。

画像記憶部１６は、組画像の作成に使用する画像群を記憶するものである。なお、画像記憶部１６に記憶する画像やその取得方法には特に限定はなく、ユーザがデジタルカメラなどの撮影機器で撮影した画像や、ネットワーク上のサーバなどからダウンロードした画像などをネットワークを介して取得したり、または画像作成装置１０に直接、画像を記憶しているデジタルカメラなどの撮像装置を接続して、データの送受信を行うことにより、画像を取得して、画像記憶部１６に保存すればよい。

画像選択部１８は、画像記憶部１６に保存されている画像の中から、組画像の作成に利用する画像を選択するものである。画像の選択方法は、特定の人物が被写体である画像を抽出することにより行うことが好ましい。これにより、特定の人物をテーマとした組画像を作成することができる。特定の人物が被写体である画像の抽出は、公知の顔検出および顔認識処理を用いて行えばよい。
画像の選択は、組画像の作成に使用するテンプレートの各合成枠の編集条件に基づいて自動的に行われる。
なお、画像選択部１８は、画像記憶部１６に記憶されている画像を評価する画像評価部１９を有していても良い。この場合、画像選択部１８は、画像評価部１９での評価の結果に基づいて、テンプレートの各合成枠に配置する画像を決定することが好ましい。図示例では、画像評価部１９は、画像選択部１８内に設けられているが、画像選択部１８の外部に独立して設けられていても良い。
なお、画像選択部１８では、テンプレートを選択する前に、所望の組画像として合成するための所定数の画像を自動選択するようにしても良い。

画像編集部２０は、画像選択部１８において選択された各画像に対し、テンプレートの各合成枠の編集条件に応じてトリミング（例えば、画像の切り出し）や拡縮などの編集処理を行うものである。
これらの編集処理は、自動で行ってもよいし、オペレータが表示操作部２６を操作することにより行ってもよい。画像の編集処理については、後に詳述する。

画像合成部２２は、画像編集部２０で編集された各画像を、テンプレートの各合成枠に配置して、合成画像を作成するものである。作成された画像は、組画像として出力部２４へ送られる。

出力部２４は、画像合成部２２において合成された組画像を、プリントや電子アルバムモニタ表示などの所定の形式で出力するものである。なお、本発明においては、出力部２４は、組画像を、プリント出力用画像を生成してプリントとして出力を行ってもよいし、電子アルバム用画像データを生成して電子アルバムなどの電子データとして作製される製品の１部分として生成してもよいし、表示用画像データを生成してディスプレイやモニタの表示画面に表示するものであっても良い。

次に、本発明の画像作成装置における第１の実施形態の具体的な作用および画像作成方法について詳述する。
まず、図３に示すように、ステップＳ５０において、テンプレート記憶部１２から、組画像の作成に用いるテンプレートを読み出す。テンプレート記憶部１２に保存されているテンプレートが１種類の場合には、自動的にそれを読み出せばよい。テンプレート記憶部１２に複数のテンプレートが保存されている場合は、テンプレート選択部１４で自動的に、使用するテンプレート、例えばデフォルトで設定されたテンプレートを選択してもよいし、表示操作部２６のモニタにテンプレートのサムネイル画像などを表示して、ユーザが表示操作部２６によって好みのテンプレートを選択してもよい。

ここで、本発明の組画像の作成に用いるテンプレートは、複数の合成枠を備えている。また、それぞれの合成枠には、そこに配置する画像の編集条件が設定されている。編集条件とは、テンプレートの各合成枠に配置する画像に対するトリミングなどの画像処理条件についての情報である。編集条件としては、例えば、「顔」、「目」、「右目」、「目と鼻」、「顔の右半分」などといった人物の顔の一部のパーツや、「手」、「足」、「全身」などといった人物の体の一部のパーツまたは全部が指定される。

図４に、組画像のテンプレートの一例を示す。
図４に示すテンプレート３０は、画像を配置するための合成枠３２ａ〜３２ｅを有しており、５つの画像を配置することができる。図４のテンプレート３０においては、合成枠３２ａ、３２ｄおよび３２ｅには「全身」、３２ｂには「右目」、３２ｃには「顔の左半分」が、指定情報として設定されている。

テンプレート選択部１４において、使用するテンプレート（例えば、３０；図４参照）が決定されて選択されると、選択されたテンプレート３０およびその編集条件がテンプレート記憶部１２から読みだされて画像選択部１８に送信される（図３のステップＳ５０参照）。
画像選択部１８では、先にテンプレート３０が選択されている場合、選択されたテンプレート３０に基づいて、テンプレート３０の各合成枠３２ａ〜３２ｅに配置（挿入）する画像を画像記憶部１６から自動的に選択する（図３のステップＳ５２参照）。

ステップＳ５２の画像の選択は、画像選択部１８において自動的に行われる。
まず、画像選択部１８は、画像記憶部１６に保存されている画像群から、組画像のメインとなる特定の人物が被写体として写っている画像を複数抽出する。特定の人物は、画像記憶部１６に記憶されている画像を表示操作部２６のモニタに表示させて、ユーザが表示操作部２６を用いて決定してもよいし、予め装置側で設定されていてもよい。特定の人物が決定されると、画像選択部１８は、画像記憶部１６に記憶されている画像群から、決定された特定の人物が写っている画像を抽出する。
特定の人物の写っている画像の抽出方法については特に限定はなく、公知の方法に基づいて行えばよい。例えば、各画像について顔抽出を行い、抽出された顔画像と特定の人物の顔画像とを比較することにより、同一人物であるかどうかの判定を行うことができる。このとき、特定の人物が写っていると判定された画像は、組画像の作成に利用する画像の候補として、抽出される。

次に、画像選択部１８が画像評価部１９を有している場合には、画像選択部１８の画像評価部１９では、抽出された各画像について画像解析を行い、各画像をどの合成枠に配置するかを決定するための評価ポイントを算出する。
評価ポイントは、人物と背景とのバランス、メインの人物が画像の中心付近に写っているか、メインの人物の全身が写っているかどうか、背景に不要な人物や物が写っていないか、メインの人物が正面を向いているかどうか、などの観点から算出する。評価ポイントは、上述の点に当てはまるものほど、高くなるように算出される。

評価ポイントが算出されると、ポイント数に応じて、テンプレート上のどの合成枠にどの画像を配置するかが決定される。画像の配置は、評価ポイントが高い画像は、編集条件が「全身」になっている合成枠に配置され、評価ポイントが低い画像は、被写体の体の一部が指定されている合成枠に配置されるように行う。また、評価ポイントが低い画像の中でも、目が大きく写っているものは編集条件が「目」である合成枠に、顔全体が大きく写っているものは編集条件が「顔の右半分」である合成枠に配置するなど、各編集条件に適する画像を配置する。

例えば、図４に例示するテンプレート３０においては、評価ポイントが高い画像は、合成枠３２ａ、３２ｄ、または３２ｅに配置され、評価ポイントが低い画像は、３２ｂまたは３２ｃなどの、被写体の体の一部が指定されている合成枠に配置される。
このように、テンプレートの設定情報と、各画像の評価ポイントに基づいて、テンプレートに配置する画像と、配置する合成枠とを決定することができる。

画像評価部１９は、同一画像において異なる複数の部分の切り出しが可能かどうかを評価することが好ましい。
本来、一枚のテンプレート上で同一画像を複数回使用するのは好ましくないが、画像評価部１９が、同一画像において複数の異なる切り出し部分があるどうかを評価し、同一画像でも異なる切り出す部分があると評価した場合には、同一の画像を異なる合成枠に利用可能とするのが良い。例えば、図４に示すテンプレート３０において、「全身１」と「全身２」に関して同一の画像を利用すること、また、「全身１」と「右目」に関して同一の画像を使用することは好ましくないので、画像評価部１９は、利用可能な同一画像はないと評価する。しかし、「右目」と「顔の左半分」とであれば同じ画像であっても画像の切り出し領域が異なるため、画像評価部１９は、利用可能な同一画像があると評価し、同一画像の「右目」と「顔の左半分」とを同一のテンプレート３０の異なる合成枠に利用することができる。
これにより、画像枚数が少ない場合にも、同じ画像から異なる部分を切り出すことで不足の画像枚数を補うことが可能となる。

また、画像選択部１８は、テンプレートの各合成枠ごとの編集条件に応じて、画像記憶部１６に記憶された複数の画像の中から候補対象となる画像のみをモニタ表示して選択可能としてもよい。
例えば、図５に示すように、表示操作部２６のモニタの表示画面２６ａの左半分に、図４に示すテンプレート３０を表示する。こうして、表示されたテンプレート３０上で、合成枠３２ａを表示操作部２６のマウス等でクリックすることにより、表示画面２６ａの右半分に、合成画像候補を表示させる。例えば、合成枠３２ａは全身の画像の合成枠であるので、画像記憶部１６に記憶された全画像の中から全身が撮影されている画像のみを表示させる。このように表示された合成画像候補の中から１つの合成画像候補をクリックすることにより、合成枠３２ａに合成する全身画像として選択することができる。このような合成画像候補の表示および選択は、テンプレートの全ての合成枠について行うことができる。

次に、画像編集部２０において、テンプレートの各合成枠の編集条件に基づいて、各合成枠に配置する画像の編集を行う。画像編集部２０では、各合成枠の編集条件に基づいて各合成枠のサイズおよび形状に応じて画像のトリミングや拡縮処理などの画像処理（画像編集）を行う（図３のステップＳ５４参照）。
例えば、図４において、テンプレート３０の合成枠３２ｂの編集条件は「右目」であるので、画像編集部２０は、合成枠３２ｂに配置される画像の被写体人物の右目部分を合成枠３２ｂの形状およびアスペクト比に合わせてトリミングし、さらに、合成枠３２ｂのサイズに合致するように拡縮処理を行う。
他方、合成枠３２ａ、３２ｄおよび３２ｅにおいては、なるべく画像全体が合成枠に納まるように、各合成枠の形状やアスペクト比に応じて最小限のトリミングを行い、各合成枠のサイズに合わせて拡縮処理を行うのみでよい。

また、画像編集部２０において行う画像のトリミングについては、ユーザが表示操作部２６のモニタを見ながら表示操作部２６を操作することにより、マニュアルで行ってもよい。この場合は、画像作成装置１０は、テンプレートの各合成枠の編集条件を、例えば「この画像は全身を切り出して下さい」などといったガイダンスを画面表示するか、または音声により通知することが好ましい。ユーザは、テンプレートの編集条件に基づいて、各画像のトリミングを行う。

ここで、ユーザは、画像の中で使用したくないパーツを指定することもできる。
例えば、目の部分を使用したくない場合であれば、その部分を、使用しない部分として予め指定する。画像選択部１８は、指定されているパーツを使用しないようにして、画像の選択および編集処理を行う。

上述のようにして編集された各画像は、画像合成部２２においてテンプレートに合成され（図３のステップＳ５６参照）、１つの組画像として作成される。さらに、出力部２４において、組画像が所定の形式で出力される（図３のステップＳ５８参照）。

このような第１の実施形態によれば、評価ポイントの低い画像、つまり、構図の悪い画像や、人物が画像の隅に写っている画像、背景に余分なものが写っている画像など、通常であればプリントに供されることのない画像を効果的に利用して、魅力的な組画像を作成することができる。また、ユーザがトリミングを行う部分を考慮することなく、テンプレートの編集条件に従うだけで、自動的に、パーツを利用した組画像を作成可能である。これにより、バランスの良く魅力的な組画像を、ユーザが簡単に作成することができる。
また、顔だけでなく体の一部分のパーツを利用することで、より特徴的な組画像を作成することができる。
さらに、組画像を作成する際に、選択された画像中に、評価ポイントの高い画像の枚数が少ない場合であっても、評価ポイントが低い画像の一部を切り出して使用することができるため、画像数が不足することを防ぐことができる。

以上の第１の実施形態では、テンプレートの編集条件に応じて、画像中の人物の顔や体の一部のパーツをトリミングして利用しているが、トリミングを行うパーツによっては、そのパーツの画像を見ても、その人物が誰であるか判別できない場合がある。
そこで、第２の実施形態では、他人と比べて、組画像のメインとなる特定の人物に特徴のあるパーツを切り出して、これを組画像に利用する。

次に、本発明の第２の実施形態の具体的な作用および画像作成方法について説明する。
第２の実施形態においても、第１の実施形態の画像作成装置１０と同様の構成を用いるため、第１の実施形態と同様の構成については、詳細な説明を省略する。

第２の実施形態においては、画像選択部１８において、組画像に用いる画像を選択する際に、評価ポイントが低く、かつ、複数の人物が写っている場合、メインとなる特定の人物と、その他の人物とを比較して、特定の人物にのみ特徴的なパーツを抽出して、その部分を組画像に利用する。

例えば、図６に示すように、被写体Ａおよび被写体Ｂが写っている画像を、被写体Ａがメインの組画像の作成に用いるものとする。この時、画像選択部１８は、被写体ＡおよびＢの目、鼻、および口など、顔の一部分のパーツを比較して、最も違いのあるパーツを、被写体Ａの特徴のあるパーツとして抽出する。

図７に、特徴のあるパーツの抽出処理の流れを示す。
まず、ステップＳ１０において、図６に示す画像において顔抽出を行い、被写体ＡおよびＢの顔を抽出する。次に、ステップＳ１２において、被写体Ａの顔パーツを抽出する。ここでは一例として、「目」の部分を抽出する。さらに、被写体Ｂの目の部分を抽出し、被写体ＡおよびＢの目の部分について、比較を行う（ステップＳ１４）。両者に所定の閾値以上の差異がある場合は、被写体Ａは「目」に特徴があるとして、図６に示す画像において、被写体Ａの目の部分をトリミングおよび拡縮処理して、これをテンプレートの合成枠に配置し、テンプレート合成を行う（ステップＳ１６）。

ステップＳ１４において、被写体ＡおよびＢの目の部分に、所定の閾値以上の差異がない時は、この部分には被写体Ａの特徴が現れておらず、目の部分だけを見ても、被写体Ａを判別することはできないと判断され、ステップＳ１２において、被写体Ａの他の顔パーツ（例えば、鼻、口、顔の右半分など）を抽出する。そして、ステップＳ１４において、被写体Ｂについても、被写体Ａと同じ部分を抽出し、比較を行う。この処理を、被写体ＡおよびＢの間に所定の閾値以上の差異があるパーツが見つかるまで繰り返す。
目や鼻など、１部分のパーツでは所定の閾値以上の差異がない場合は、目と鼻、鼻と口など、２以上のパーツを組み合わせて比較を行ってもよい。

このような第２の実施形態によれば、組画像のメインとなる特定の人物の特徴のあるパーツを利用することで、人物の一部のみを利用しても、その人物を判別することができ、より魅力的な組画像を作成することができる。

さらに、本発明の第３の実施形態として、合成枠の形状に応じて自動的に、パーツを決定してもよい。
第１および第２の実施形態では、テンプレートの合成枠には、予め編集条件が設定されているが、本発明の第３の実施形態では、テンプレートに各合成枠の編集条件が設定されていない場合であっても、簡易に魅力的な組画像を作成することができる。

第３の実施形態においても、第１および第２の実施形態の画像作成装置１０と同様の構成を用いるため、第１および第２の実施形態と同様の構成については、詳細な説明を省略する。

図８に、第３の実施形態における組画像のテンプレートの一例を示す。
図８に示すテンプレート４０は、画像を配置するための合成枠４２ａ〜４２ｅを有しており、５つの画像を配置することができる。なお、図８のテンプレート４０においては、上述した他の実施形態とは異なり、編集条件は設定されていない。

第３の実施形態では、テンプレート選択部１４においてテンプレートが選択されると、画像選択部は、画像記憶部１６から画像を選択する。さらに、画像選択部において、テンプレートの各合成枠の形状に応じて、選択された画像を配置する合成枠、および編集条件が決定される。
編集条件は、画像枠の形状、具体的にはアスペクト比に基づいて決定される。例えば、図８において、合成枠４２ｂは、横方向に長い長方形の形状となっているため、編集条件を「目」とする。また、合成枠４２ｃは、合成枠４２ｂよりも少し縦に長い形状であるため、「目と鼻」を編集条件とすればよい。

画像選択部１８において編集条件を設定すると、第１の実施形態と同様に、この編集条件に応じて画像をトリミングして配置し、組画像を作成する。
このような第３の実施形態によれば、テンプレートの各合成枠のアスペクト比に従って編集条件を設定し、画像のトリミングを行うことで、人物の顔領域や背景の構図などを考慮することなく、合成枠の形状に適する画像を自由にトリミングして配置することができる。

また、第４の実施形態として、ユーザがマニュアルでトリミング範囲を指定した後に、指定された範囲に基づき、その画像を配置する合成枠またはテンプレートを決定することもできる。

第４の実施形態においても、第１〜第３の実施形態の画像作成装置１０と同様の構成を用いるため、第１〜第３の実施形態と同様の構成については、詳細な説明を省略する。
第４の実施形態においては、テンプレート選択部１４においてテンプレートが選択されると、画像選択部は、画像記憶部１６から画像を選択する。
さらに、選択された各画像を表示操作部２６のモニタに表示する。ユーザは、表示された画像のうち任意の画像について、表示操作部２６を用いて、目や鼻など、好みのパーツに対してトリミングを行う。

ユーザによるトリミングが完了すると、画像選択部において、トリミングされた画像の形状、および、被写体のどの部分がトリミングされたかの判定を行う。さらに、判定結果に基づいて、テンプレートの各合成枠の編集条件に応じて、選択された画像を配置する合成枠が決定される。
例えば、人物の目の部分だけがトリミングされている画像であれば、編集条件に「目」が設定されている合成枠に配置すればよい。また、画像のトリミング範囲のアスペクト比に最も類似する合成枠に、その画像を配置するようにしてもよい。
なお、ユーザによるトリミングが、人物のどの部分のパーツについてなされているかの判別は、公知の画像解析の技術により行えばよい。
このような第４の実施形態によれば、よりユーザの好みに応じた組画像を、簡易に作成することができる。

上述した第１〜第４実施形態では、最初にテンプレートを選択し、選択されたテンプレートに適した画像を選択しているが、本発明はこれに限定されず、本発明の第５および第６の実施形態のように、先に組画像を作成する画像を選択し、選択された画像に適したテンプレートを選択または作成するようにしても良い。
ここでまず、本発明の第５の実施形態の具体的な作用および画像作成方法について説明する。
図９は、本発明の第５の実施形態の画像作成方法の一例を示すフローチャートである。図９に示す第５の実施形態の画像作成方法のフローチャートは、図３に示す第１の実施形態の画像作成方法のフローチャートと、テンプレート選択ステップと画像選択ステップとの順序が入れ替わっている以外は、同様であるので、これらのステップを除いて、同じステップには、同一の参照符号を付し、その説明は省略する。

まず、図９に示すように、ステップＳ６０において、画像選択部１８は、テンプレートを選択する前に、所望の組画像として合成するための所定数の画像を自動選択する。この画像の自動選択は、所定の条件、例えば組画像として合成するための、組画像の主たるテーマとなる特定の人物と、その画像の数と、合成する画像の種類（全身、その一部、例えば上半身、右半身、左半身、顔、右向き顔、左向き顔、顔のパーツ(目（右目、左目、両目）、鼻、（左右両）耳や眉、髪の毛) 、体のパーツ（腕、足など））などの編集条件とに応じて自動選択するようにしても良いし、合成枠の数と編集条件などに応じて自動選択するようにしても良いし、さらに、合成枠のサイズなどを考慮して自動選択するようにしても良い。なお、テンプレートを選択する前に、画像を選択する場合には、画像記憶部１６の画像をモニタに例えばサムネイル画像として表示し、表示された画像の中からユーザが表示操作部２６によって選択するようにしても良い。

次に、ステップＳ６２において、テンプレート選択部１４は、テンプレート記憶部１２に記憶された複数のテンプレートから、ステップＳ６０で画像選択部１８によって選択された所定数の画像を合成して所望の組画像を作成するのに適した合成枠を持つテンプレートを選択することができる。このとき、表示操作部２６のモニタに、選択された画像を合成可能な合成枠を持つ候補テンプレートを表示し、表示操作部２６の操作ユニットによって表示された候補テンプレートの１つをクリックすることにより、テンプレート選択部１４が使用するテンプレートを選択するようにしても良い。
こうして、最初に画像が選択され、次にこれに応じたテンプレートが選択されると、図３に示すフローチャートと同様に、画像編集ステップＳ５４において、画像編集部２０による画像編集が行われ、画像合成ステップＳ５６において、画像合成部２２によるテンプレートへの画像合成が行われて１つの組画像として作成され、出力ステップＳ５８において、出力部２４による組画像の出力が行われる。

ところで、上述の第１〜第４実施形態では、最初にテンプレートを選択するので、画像選択の段階でテンプレートに適した画像が存在しない場合に、最適な組写真が作成できない。例えば、図４に示すテンプレート３０が選択されていた場合、全身が撮影された画像が2枚しかないと同じ画像を２回使用せざるを得なくなる。
しかしながら、本実施形態では、最初に画像を選択して、次にこれに応じたテンプレートを自動選択する、または、候補テンプレートを表示してその１つを選択する処理が可能となるので、全身が撮影された画像が２枚しか存在しない場合でも、図１０に示すテンプレート５０のように、全身を表示する合成枠が２つ以下のテンプレートをして使用することができる。なお、右目、顔の左半分などの条件も同様である。ここで、図１０に示すテンプレート５０は、全身画像を合成する２つの合成枠５２ａおよび５２ｅと、右目画像を合成する合成枠５２ｂと、顔の左半分画像を合成する合成枠５２ｃと、上半身画像を合成する合成枠５２ｄとを有するテンプレートであり、図４に示すテンプレート５０の全身用合成枠３２ｄを上半身用合成枠５２ｄに変更したものということもできる。

次に、本発明の画像作成装置の第６の実施形態について説明する。
図１１は、本発明の画像作成装置の第６の実施形態のシステム構成の一例を示すブロック図であり、
図１１に示す画像作成装置６０は、図１に示す画像作成装置１０と、テンプレート記憶部１２およびテンプレート選択部１４の代わりに、レイアウト決定部２８を備えている以外は略同様であるので、同様の構成要素には、同様の参照符号を付し、その説明は省略する。
本実施形態の画像作成装置６０は、図１１に示すように、レイアウト決定部２８、画像記憶部１６、画像選択部１８、画像編集部６２、画像合成部６４、出力部２４および表示操作部２６を有する。

レイアウト決定部２８は、予め画像選択部１８によって画像記憶部１６に記憶された複数の画像の中から選択された所定数の画像を配置するのに適したレイアウト、すなわち、画像選択部１８で選択された所定数の画像を用いて所望の組画像を作成するのに適したレイアウトを自動決定するものである。
画像編集部６２は、画像選択部１８において選択された各画像に対し、自動決定されたレイアウトの編集条件に応じてトリミング（例えば、画像の切り出し）や拡縮などの編集処理を行うものである。
この画像編集部６２による編集処理は、レイアウトの編集条件に応じて行う以外は、図１に示す画像編集部２０による編集処理と同様に行うことができる。
また、画像合成部６４は、図１に示す画像合成部２２と同様に、画像編集部６２で編集された各画像を、自動決定されたレイアウトに配置して合成画像を作成するものである。こうして作成された合成画像は、組画像として出力部２４へ送られる。
本実施形態では、選択された画像に応じて動的にレイアウトを決定しているので、予め固定のテンプレートを準備する必要が無く、従って、テンプレート記憶部１２を不要とすることができる。

次に、本発明の第６の実施形態の具体的な作用および画像作成方法について説明する。
ここで、図１２は、本発明の第６の実施形態の画像作成方法の一例を示すフローチャートである。
図１２に示す第６の実施形態の画像作成方法のフローチャートは、図１０に示す第５の実施形態の画像作成方法のフローチャートと、テンプレートが選択される代わりに、選択画像のレイアウトが決定される以外は同様であるので、主に相違点を説明し、類似点については詳細な説明は省略する。

まず、図１２に示すステップＳ７０において、図１０に示すステップＳ６０と同様に、画像選択部１８によって、画像記憶部１６に記憶された複数の画像の中から、所望の組画像を作成するための所定数の画像を選択する。例えば、図１３に示す、種々の特徴を持つ画像を選択することができる。
次に、ステップＳ７２において、レイアウト決定部２８によって、画像選択部１８で選択された所定数の画像を組画像として配置・合成するのに適したレイアウトを自動決定する。すなわち、ステップＳ７２では、レイアウト決定部２８は、図１３に示す選択画像の特徴に応じて自動的にテンプレートレイアウト（所定数および所定サイズの合成枠がレイアウトされたテンプレート）を決定する。

続いて、ステップＳ７４において、画像編集部６２によって画像選択部１８で選択された所定数の画像を、自動決定されたレイアウトの編集条件に従って編集(画像処理)する。なお、画像編集部６２による編集処理は、レイアウトの編集条件に応じて行う以外は、図１に示す画像編集部２０による編集処理と同様に行うことができる。
次に、ステップＳ７６において、図１に示す画像合成部２２と同様に、画像合成部６４によって、画像編集部６２で編集された各画像を、自動決定されたレイアウトに配置して合成し、合成画像を作成する。
次に、ステップＳ５８において、こうして作成された合成画像は、組画像として出力部２４によって出力される。
本実施形態では、選択された画像に応じて動的にレイアウトを決定しているので、予め固定のテンプレートを準備する必要が無い。

なお、本発明の第７実施形態として、図１に示す画像作成装置１０を用いる本発明の第５実施形態において、図９に示すテンプレート選択ステップで選択画像に適したテンプレートが選択できなかった場合に、すなわち、テンプレート選択部１４が、テンプレート記憶部１２に記憶された複数のテンプレートから、画像選択部１８によって選択された所定数の画像を合成して所望の組画像を作成するのに適した合成枠を持つテンプレートを選択できなかった場合に、画像選択部１８によって選択された所定数の画像を合成して所望の組画像を作成するのに適したレイアウトを自動決定する、図１１に示すレイアウト決定部２８の機能を持つようにしても良し、もしくはこのレイアウトに配置された所定数の合成枠を持つ新たなテンプレートを自動作成するようにしても良い。
この第７実施形態においても、図１２に示すフローチャートに従って、組画像を出力することができる。
なお、自動作成された新たなテンプレートおよび自動決定されたレイアウトに従って配置合成された選択画像の配置を合成枠として作成されたテンプレートを、新たなテンプレートとしてテンプレート記憶部１２に記憶しても良い。

以上のような本発明によれば、被写体の顔や体の一部分のパーツをトリミングして、テンプレートの合成枠に配置し、組画像を作成する。これにより、通常は、顔の一部分などが切り出されることはユーザにとって好ましくないが、パーツそのものをトリミングすることで、違和感なく、かつ、これまでにない魅力あるプリントが可能となる。
また、上述した第１〜第７の実施形態は、それぞれ単独で用いてもよいし、２以上の実施形態を組み合わせることにより、さらに効果的な組画像を生成してもよい。

以上、本発明の画像作成方法および画像作成装置について詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０、６０ 画像作成装置
１２ テンプレート記憶部
１４ テンプレート選択部
１６ 画像記憶部
１８ 画像選択部
２０、６２ 画像編集部
２２、６４ 画像合成部
２４ 出力部
２６ 表示操作部
２８ レイアウト決定部
３０、４０、５０ テンプレート

Claims (16)

1. 同一の被写体が写っている所定数の画像を組み合わせた組画像の画像作成装置であって、
   複数の画像を記憶する画像記憶部と、
   画像の編集条件が定義された所定数の画像合成枠を有する前記組画像のテンプレートを記憶するテンプレート記憶部と、
   前記複数の画像から、前記テンプレートの各合成枠に合成するための、前記同一の被写体が写っている所定数の画像を選択する画像選択部と、
   前記選択された各画像を、前記テンプレートの各合成枠ごとの編集条件に応じて、各合成枠の形状およびアスペクト比に合わせてトリミングし、さらに、各合成枠のサイズに合致するように拡縮処理する編集を行う画像編集部と、
   前記編集された各画像を前記テンプレートの各合成枠に配置して合成し、前記組画像を作成する画像合成部とを備えることを特徴とする画像作成装置。
2. 前記画像記憶部に記憶されている画像を評価する画像評価部を有し、
   前記画像選択部は、前記画像評価部での評価の結果に基づいて、前記テンプレートの各合成枠に配置する画像を決定する請求項１に記載の画像作成装置。
3. 前記画像評価部は、同一画像において異なる複数の部分の切り出しが可能かどうかを評価し、
   前記画像評価部が、前記同一画像において異なる複数の部分の切り出しが可能と評価した場合、前記画像編集部は、前記同一画像を、異なる複数の合成枠ごとの編集条件に応じて編集して前記異なる複数の部分を切り出し、前記異なる複数の合成枠のそれぞれに合成される異なる複数の画像を生成する請求項２に記載の画像作成装置。
4. 前記画像選択部は、特定の人物が写っている画像のみを選択する請求項１〜３のいずれかに記載の画像作成装置。
5. 前記画像選択部は、前記テンプレートの各合成枠ごとの前記編集条件に応じて、候補対象の画像のみを表示して選択可能とする請求項１〜４のいずれかに記載の画像作成装置。
6. 前記合成枠の編集条件は、被写体の顔の一部をトリミングするものを含む請求項１〜５のいずれかに記載の画像作成装置。
7. 前記合成枠の編集条件は、被写体の体の一部をトリミングするものを含む請求項１〜６のいずれかに記載の画像作成装置。
8. 前記画像内に複数の人物が被写体として存在する場合に、
   前記合成枠の編集条件は、前記特定の人物の、他の人物との違いが所定の閾値以上の部分をトリミングするものを含む請求項５〜７のいずれかに記載の画像作成装置。
9. 前記画像編集部は、前記テンプレートの各合成枠のアスペクト比に基づいて、前記各合成枠の編集条件を決定する請求項１〜８のいずれかに記載の画像作成装置。
10. 前記テンプレート記憶部は、複数の前記テンプレートを記憶するものであり、
    さらに、前記テンプレート記憶部に記憶された前記複数の前記テンプレートから前記組画像を作成するためのテンプレートを選択するテンプレート選択部を備える請求項１〜９のいずれかに記載の画像作成装置。
11. 前記テンプレート選択部は、前記画像選択部による画像選択に先立って、前記テンプレート記憶部に記憶された前記複数の前記テンプレートから所望の組画像を作成するためのテンプレートを予め選択するものであり、
    前記画像選択部は、前記画像記憶部に記憶された前記複数の画像から、前記テンプレート選択部によって選択された前記テンプレートの各合成枠に合成して前記所望の組画像を作成するための前記所定数の画像を選択する請求項１０に記載の画像作成装置。
12. 前記画像選択部は、前記テンプレート選択部によるテンプレート選択に先立って、前記画像記憶部に記憶された前記複数の画像から、所望の組画像を作成するための前記所定数の画像を予め選択するものであり、
    前記テンプレート選択部は、前記テンプレート記憶部に記憶された前記複数のテンプレートから、前記画像選択部によって選択された前記所定数の画像を合成して前記所望の組画像を作成するための合成枠を持つテンプレートを選択する請求項１０に記載の画像作成装置。
13. 前記画像選択部は、前記テンプレート選択部によるテンプレート選択に先立って、前記画像記憶部に記憶された前記複数の画像から、所望の組画像を作成するための前記所定数の画像を予め選択するものであり、
    前記テンプレート選択部は、前記テンプレート記憶部に記憶された前記複数のテンプレートから、前記画像選択部によって選択された前記所定数の画像を合成して前記所望の組画像を作成するための合成枠を持つテンプレートを選択できなかった場合に、前記画像選択部によって選択された前記所定数の画像を合成して前記所望の組画像を作成するためのレイアウトを決定する、もしくはこのレイアウトに配置された前記所定数の合成枠を持つテンプレートを作成するものである請求項１０に記載の画像作成装置。
14. 同一の被写体が写っている所定数の画像を組み合わせた組画像の画像作成方法であって、
    予め記憶されている複数の画像から、画像の編集条件が定義された所定数の画像合成枠を有する前記組画像のテンプレートの各合成枠に合成するための、前記同一の被写体が写っている所定数の画像を選択するステップと、
    前記選択された各画像を、前記テンプレートの各合成枠ごとの編集条件に応じて、各合成枠の形状およびアスペクト比に合わせてトリミングし、さらに、各合成枠のサイズに合致するように拡縮処理する編集を行うステップと、
    前記編集された各画像を前記テンプレートの各合成枠に配置して合成し、前記組画像を作成するステップとを備えることを特徴とする画像作成方法。
15. さらに、前記画像を選択するステップに先立って、予め記憶された複数のテンプレートから所望の組画像を作成するためのテンプレートを選択するステップを備え、
    前記画像を選択するステップは、予め記憶された前記複数の画像から、先に選択された前記テンプレートの各合成枠に合成して前記所望の組画像を作成するための前記所定数の画像を選択するものである請求項１４に記載の画像作成方法。
16. 前記画像を選択するステップは、前記テンプレートの選択に先立って、予め記憶された前記複数の画像から、所望の組画像を作成するための前記所定数の画像を選択するものであり、
    さらに、予め記憶された複数のテンプレートから、前記画像を選択するステップで選択された前記所定数の画像を合成して前記所望の組画像を作成するための合成枠を持つテンプレートを選択するステップを備えるものである請求項１４に記載の画像作成方法。

Images