JP5677598B2 - 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム - Google Patents

Description

本発明は、複数の画像を利用して合成画像を生成する画像生成装置、画像生成方法、画像生成プログラム及び画像生成システムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、静止画のみならず、動画撮影機能を有するものが多い。例えば、動画撮影中に静止画を撮影する撮影機器が広く知られている。

しかし、静止画は一瞬で見ることが出来て手軽なのに対し、動画や連写（以下、動画とする）は撮影にも鑑賞にも比較的長時間を要し、普及し難い状況であった。

動画の良い点とは、動きを再現できることであり、静止画のよい点とは、瞬間を切り取った完成度の高い一瞬の映像を一目で鑑賞できることである。そこで、特許文献１においては、動画を利用して静止画を作成する技術が開示されている。特許文献１の発明においては、動画切出し手段によって切り出された部分動画を、サムネイル動画として動画データに対応付けて動画記憶手段に記憶させるものである。

特許第４１８９５７５号公報

しかしながら、特許文献１の発明は、動画検索用のものであり、シーンチェンジを表示するものとしては有効であるが、主要被写体の様子は分からなかった。

本発明は、動画から静止画を生成して、被写体の動きを再現しながら、瞬時に鑑賞可能な画像を得るなど、楽しい画像を簡単に作ることができる画像生成装置、画像生成方法、画像生成プログラム及び画像生成システムを提供することを目的とする。

本発明に係る画像生成装置は、所定の周期のコマからなる動画像に含まれる人物のなかから主被写体を判定する主被写体判定部と、前記所定の周期のコマのうち前記主被写体が含まれる複数の画像を選択コマとして選択し、前記複数の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製部と、前記所定の周期のコマのうちの１枚の画像を台紙として選択し、前記台紙上に複数の前記複製画像を合成した合成画像を生成する合成部と、を具備し、前記複製部は、前記台紙上における前記主被写体の画像部分を除く空きスペースのサイズを求め、求めたサイズに対応するサイズの主被写体が含まれる画像を前記選択コマとして決定する。

本発明に係る画像生成方法は、所定の周期のコマからなる動画像に含まれる人物のなかから主被写体を判定する主被写体判定ステップと、前記所定の周期のコマのうち前記主被写体が含まれる複数の画像を選択コマとして選択し、前記複数の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製ステップと、前記所定の周期のコマのうちの１枚の画像を台紙として選択し、前記台紙上に複数の前記複製画像を合成した合成画像を生成する合成ステップと、を具備し、前記複製ステップは、前記台紙上における前記主被写体の画像部分を除く空きスペースのサイズを求め、求めたサイズに対応するサイズの主被写体が含まれる画像を前記選択コマとして決定する。

本発明に係る画像生成プログラムは、コンピュータに、所定の周期のコマからなる動画像に含まれる人物のなかから主被写体を判定する主被写体判定ステップと、前記所定の周期のコマのうち前記主被写体が含まれる複数の画像を選択コマとして選択し、前記複数の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製ステップと、前記所定の周期のコマのうちの１枚の画像を台紙として選択し、前記台紙上に複数の前記複製画像を合成した合成画像を生成する合成ステップと、を実行させ、前記複製ステップでは、前記台紙上における前記主被写体の画像部分を除く空きスペースのサイズを求め、求めたサイズに対応するサイズの主被写体が含まれる画像を前記選択コマとして決定させる。

本発明に係る画像生成システムは、所定の周期のコマからなる動画像の撮影を行う撮像部と、前記撮像部から前記動画像が与えられ、該動画像に含まれる人物のなかから主被写体を判定する主被写体判定部と、前記所定の周期のコマのうち前記主被写体が含まれる複数の画像を選択コマとして選択し、前記複数の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製部と、前記所定の周期のコマのうちの１枚の画像を台紙として選択し、前記台紙上に複数の前記複製画像を合成した合成画像を生成する合成部と、を具備し、前記複製部は、前記台紙上における前記主被写体の画像部分を除く空きスペースのサイズを求め、求めたサイズに対応するサイズの主被写体が含まれる画像を前記選択コマとして決定する。

本発明によれば、連続して撮影した結果から適当な部分を取り出して、新しい画像を生成して、被写体の動きを再現しながら、それを要約して簡単に鑑賞可能な画像を得ることができるという効果を有する。

本発明の第１の実施の形態に係る画像生成装置の回路構成を示すブロック図。 仮記録部４ｂに記録される情報を説明するための説明図。 台紙決定部１ｃ及び複製決定部１ｄの処理を説明するための説明図。 図４はカメラ制御を示すフローチャート。 主被写体の判定フローを示すフローチャート。 選択コマの決定フローを示すフローチャート。 動画像から合成される合成画像の一例を示す説明図。 本発明の第２の実施の形態を示すフローチャート。 合成画像作成処理を示すフローチャート。 被写体合成処理を示すフローチャート。 本発明の第３の実施の形態による画像合成を説明するための説明図。 被写体複製合成処理を示すフローチャート。 複製画像を説明するための説明図。 空きスペースの判定フローを示すフローチャート。 コマ選択処理及び合成処理を示すフローチャート。 コマ選択処理及び合成処理を示すフローチャート。 合成画像を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像生成装置の回路構成を示すブロック図である。本実施の形態は本発明を撮影装置に適用した例を示している。

本実施の形態は動画中に存在する人物を検出し、検出した１人以上の人物から主被写体となる人物を特定し、特定した主被写体の画像部分を動画像から複数抽出して、１枚の静止画像上に合成して合成画像を生成するものである。これにより、動きのある被写体を瞬時に鑑賞可能な静止画によって見ることができる。なお、以下、動画像から合成画像を作成するものとして説明するが、連続的に撮影された画像であればよく、連写された一連の静止画像等から合成画像を生成してもよい。

図１において、画像生成装置１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。撮像部２は、後述する信号処理及び制御部１によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。

撮像部２は、信号処理及び制御部１によって駆動制御されて、被写体の動画像を撮像し、画像信号を出力する。信号処理及び制御部１は、撮像部２に撮像素子の駆動信号を出力すると共に、撮像部２からの画像信号を取り込む。

信号処理及び制御部１は、入力された画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。信号処理及び制御部１は、画像信号の記録に際して、符号化処理を施して圧縮した画像情報を出力することもできるようになっている。信号処理及び制御部１は、信号処理した画像信号を記録部４に与えて記録させると共に、表示部７に与えて表示させることができるようになっている。

また、画像生成装置１０には、時計部５、操作判定部６も設けられている。時計部５は信号処理及び制御部１が用いる時間情報を発生する。操作判定部６は、画像生成装置１０に設けられた図示しないレリーズスイッチや撮影モード設定等の各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１に出力するようになっている。信号処理及び制御部１は、操作信号に基づいて、各部を制御する。

本実施の形態においては、撮像部２が撮像した動画像の画像信号は信号処理及び制御部１だけでなく、顔検出部３及び記録部４にも与えられる。記録部４は、入力された動画像の画像信号を記録することができる。

顔検出部３は、撮像部２から動画像の画像信号が与えられ、画像内に人間の顔の特徴を有する陰影パターンが存在するか否かをコマ（フレーム）毎に検出する。顔検出部３は、検出した顔領域についての検出結果を信号処理及び制御部１に与える。なお、顔検出部３は、検出した顔領域について、顔の表情を示す特徴量を求めて、検出結果として信号処理及び制御部１に与えるようにしてもよい。

信号処理及び制御部１は、顔検出部３の検出結果に基づいて、画像内に存在する顔の画像位置、サイズ等の情報を生成し、生成した情報を記録部４に記録された動画像の各コマに対応させて、記録部４内の仮記録部４ｂに記録させるようになっている。

図２は仮記録部４ｂに記録される情報を説明するための説明図である。図２は信号処理及び制御部１によって生成される人物情報を示している。

図２の（）内の数字は、画像を水平及び垂直方向に１０分割した場合において画像左下を原点とした場合のＸ（横）、Ｙ（縦）座標の値を示しており、（）に続く数値は、画像横方向の長さを１０とした場合の、顔領域の大きさを示している。なお、座標及びサイズを示すために用いた分割数は一例である。

図２に示す人物情報は、各タイミングＴ１，Ｔ２，…において検出された顔領域を人物に割り当てて示している。タイミングＴ１，Ｔ２，…は、撮像部２からの画像のコマに対応しており、信号処理及び制御部１は、毎コマ又は所定の周期のコマについて、顔領域の検出結果から人物を特定する。

即ち、信号処理及び制御部１は、顔検出部３から顔検出結果が与えられると、画像中に検出された顔領域について人物を割り当てる。図２の例では、タイミングＴ１において３つの顔領域が検出され、各顔領域の中心座標は夫々（１，５）、（５，５）、（８，２）であり、これらの検出結果に夫々人物Ａ〜Ｃを割り当てたことを示している。また、各人物Ａ〜Ｃの顔領域の水平サイズは、夫々１、１、２である。

信号処理及び制御部１は、顔検出部３の検出結果に基づいて、顔領域の動きを認識することで、検出された各顔領域が、割り当てたいずれの人物に対応するものかを認識することができる。例えば、信号処理及び制御部１は、公知の追尾オートフォーカス技術を利用することで、同一人物に基づく顔領域の動きを検出することが可能である。

こうして、信号処理及び制御部１は、次のタイミングＴ２において、人物Ａに割り当てた顔領域が検出されず、人物Ｂに割り当てた顔領域が座標（４，６）に移動し、人物Ｃに割り当てた顔領域が座標（８，２）の位置で固定されていることを検出し、図２に示す人物情報を生成する。

以後同様にして、信号処理及び制御部１は、各人物毎に、各タイミングにおける顔領域の中心座標及び顔領域のサイズを求めて、人物情報を生成する。

なお、図２では、顔領域の水平方向のサイズによって大小を決めたが、垂直方向のサイズを用いてもよく、面積を用いてもよいことは明らかである。

なお、顔領域の動きを検出することで、画像中の顔領域がいずれの人物に対応するものであるかを検出したが、顔領域の特徴量を求め、この特徴量の比較によって各顔領域がいずれの人物に対応するものであるかを検出するようにしてもよい。

本実施の形態においては、信号処理及び制御部１は、主被写体決定部１ｂ、台紙決定部１ｄ、複製決定部１ｄ及び合成部１ｅを有している。主被写体決定部１ｂは、人物情報を用いて、動画像中に現れる顔領域を有する複数の人物のうち、主被写体となる人物を決定する。

主被写体決定部１ｂは、動画中において顔領域が検出される頻度、画像中の位置及びその変化、顔領域のサイズ及びその変化等に基づいて主被写体を決定する。例えば、図２の例では、人物Ａの顔領域は、タイミングＴ２において、画像中から消失している。また、人物Ｃの顔領域は、画像の比較的周辺部に位置し、位置が変化せず、またサイズも比較的小さく変化がない。これに対し、人物Ｂの顔領域は、画面の略中央において、動きがあり、大きさの変化もあって、タイミングＴ５では比較的大きなサイズとなっている。そこで、例えば、図２の例では、主被写体決定部１ｂは、人物Ｂを主被写体として選択する。

台紙決定部１ｄは、人物情報を用いて、主被写体の合成画像の背景となる画像（以下、台紙という）を決定する。複製決定部１ｄは、動画中から検出された主被写体を含む複数の画像のうち合成画像に用いる主被写体の画像を含むコマを選択コマとして決定する。

図３は台紙決定部１ｃ及び複製決定部１ｄの処理を説明するための説明図であり、台紙決定部１ｃ及び複製決定部１ｄの処理に基づいて信号処理及び制御部１によって生成される選択用コマ情報を示している。

図３は主被写体として図２の人物Ｂを選択した場合において、合成画像に用いるコマの選択を説明するためのものである。本実施の形態においては、動画像から主被写体を抽出して背景上に重ね合わせて表示する。従って、背景となる台紙を得るためには、台紙の絵柄の動きが小さく、なるべく静止画であることが望ましい。

また、多くの主被写体を合成することを考慮した場合には、台紙としては、他のコマから抽出した多くの主被写体又はサイズが大きい主被写体を合成可能とするために、空きスペースが大きいコマ、即ち、主被写体のサイズがなるべく小さいコマを選択した方がよいという考え方を一例として説明するが、主被写体の写っていないコマでもよく、スペースが十分あれば、顔がはっきり写っているコマでもよい。もちろん、主被写体の動きの起点となる最初のコマを台紙と決定してもよい。また、主被写体の動きの終点となる最後のコマを台紙と決定してもよい。台紙の決定方法は種々選択可能であり、例えば、台紙決定部１ｃは、ユーザの台紙の指定操作に基づく操作判定部６からの操作信号によって、台紙となる画像を決定してもよい。

図３の例は、台紙決定部１ｃが各コマのうち主被写体のサイズが最も小さいコマを台紙として選択することを示している。選択された台紙においては、主被写体の顔領域の水平方向サイズは１である。後述するように、台紙上において、各被写体を水平方向に重ならないように配置するためには、主被写体の顔領域のサイズ１に対して、肩幅の水平サイズを顔領域の両側に１ずつとして空きスペースを判定する。図３の例では、空きスペースは台紙上の主被写体の左側に４スペースで、右側に３スペースである。

複製決定部１ｄは、主被写体の顔領域が存在する各コマのうち、いずれのコマの主被写体を合成に用いるかを決定する。複製決定部１ｄは、変化に富んだ主被写体、多彩な絵柄の主被写体を合成するようにコマの選択をする。複製決定部１ｄは、選択したコマ（選択コマ）の情報を仮記録部４ｂに与えて記録させる。

図３の例では、複製決定部１ｄは、前後のコマで顔領域の大きさが大きく変化した場合に、その変化後のコマを選択コマとする。また、複製決定部１ｄは、前後のコマで顔領域の画像上の位置が大きく変化した場合に、その変化後のコマの選択コマとする。さらに、複製決定部１ｄは、顔領域の特徴量から顔の表情を判定し、笑顔であると判定したコマを選択するようにしてもよい。例えば、瞼や口の曲がり具合を特徴量として数値化し、数値が高いほど笑顔であると判定する。

合成部１ｅは、複製決定部１ｄが決定したコマから主被写体の画像部分を抽出して複製した複製画像を作成し、台紙決定部１ｃが決定した台紙上に合成する。信号処理及び制御部１は、合成部１ｅが生成した合成画像を表示部７に与えて表示させると共に、記録部４に与えて記録させることができるようになっている。

次に、このように構成された実施の形態の動作について図４乃至図６のフローチャート及び図７の説明図を参照して説明する。図４はカメラ制御を示し、図５は主被写体の判定フローを示し、図６は選択コマの決定フローを示している。図７は動画像から合成される合成画像の一例を示している。

画像生成装置１０の電源がオンの場合には、図４のステップＳ１から処理がステップＳ２に移行して、信号処理及び制御部１は撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、信号処理及び制御部１は、ステップＳ３において、再生モードが指示されたか否かを判定する。再生モードが指示されると、信号処理及び制御部１は、ステップＳ４において、サムネイルの一覧表示を行う。サムネイル一覧を参照したユーザによる画像の選択が行われると、ステップＳ５からステップＳ６に処理を移行して、信号処理及び制御部１は選択画像の再生を行う。

一方、撮影モードが指示されると、信号処理及び制御部１は、ステップＳ７において、撮像部２からの画像信号に基づいて、表示部７に撮像画像（スルー画）を表示させる。

ステップＳ８〜Ｓ１８は、合成画像の作成のためのフローである。ユーザによって記録開始の操作が行われると、信号処理及び制御部１は操作判定部６からの操作信号に基づいて撮像部２を駆動し、動画像の撮影を開始させる。

図７は撮像部２によって撮影された動画像の３コマＦ１〜Ｆ３の一例を示している。コマＦ１〜Ｆ３は略同一画角を撮影したものであり、撮像範囲の上方右側には建物が左側には樹木が写され、撮像範囲の略中央には曲線上の道が写されてる。なお、コマＦ１中の「背景部」の文字は合成画像の説明のために記入したものである。

ステップＳ１０においては、顔判定が行われる。顔検出部３は、動画像の各コマから顔領域を検出し、検出結果を信号処理及び制御部１に出力する。信号処理及び制御部１は、ステップＳ１１において、顔検出結果に基づいて生成した人物情報を仮記録部４ｂに記録させる。なお、撮像部２からの動画像は記録部４に記録されており、信号処理及び制御部１は記録部４に記録される動画像の各コマに対応させて人物情報を記録する。

次のステップＳ１２においては、背景変化が大きいか否かが判定される。信号処理及び制御部１は、撮影される動画像の撮影範囲が変化する場合のように、背景が著しく変化する場合には、合成画像の合成には不適当であるので、ステップＳ１３において背景変化の警告を行う。例えば、信号処理及び制御部１は、表示部７に背景の変化が大きいことを示す警告表示を表示させる。こうした合成画像を想定して、動く被写体を撮影するユーザはこれを確認しながら撮影すればよい。

信号処理及び制御部１は、ステップＳ１４において動画像の記録が終了したか否かを判定し、終了していない場合には、ステップＳ９〜Ｓ１３の処理を繰り返す。

動画像の記録が終了すると、ステップＳ１５において、信号処理及び制御部１は被写体候補の有無を判定する。信号処理及び制御部１は、動画像中に顔検出されたコマが含まれていない場合には、ステップＳ１９において警告を行う。例えば、信号処理及び制御部１は、動画中に合成する人物が撮影されていないことを示す警告表示を表示部７に表示させる。

ステップＳ１６では、主被写体の決定が行われる。図５に示すように、主被写体決定部１ｂは、ステップＳ２１〜Ｓ２３の処理によって、主被写体を決定する。即ち、主被写体決定部１ｂは、動画中に最初から最後まで記録されている人物を優先、動きのある人物を優先、画面中央近くの人物を優先して主被写体を決定する。なお、ステップＳ２１〜Ｓ２３の処理順は適宜変更可能である。また、更に、主被写体決定部１ｂは、顔領域のサイズを加味して主被写体を決定してもよい。

図７の例では、コマＦ１〜Ｆ３のいずれにも人物Ｗ１，Ｗ２が記録されている。しかし、人物Ｗ２の画像Ｗ２（Ｆ１）〜Ｗ２（Ｆ３）は、いずれも撮影範囲の右側の同一位置及び同一サイズで写されている。これに対し、人物Ｗ１の画像Ｗ１（Ｆ１）〜Ｗ１（Ｆ３）は、撮像範囲の略中央において、顔領域の位置及びサイズが変化して写されている。従って、図７の例では、人物Ｗ１が主被写体に決定される。

次のステップＳ１７においては、選択コマの決定処理が行われる。即ち、ステップＳ１７においては、台紙決定部１ｃによる台紙の決定及び複製決定部１ｄによる合成画像に用いる選択コマの決定が行われる。

図６はこのフローを示している。先ず、ステップＳ３１において、台紙決定部１ｃは、台紙とするコマを決定する。例えば、台紙決定部１ｃは、主被写体のサイズが小さく主被写体を除くスペース（空きスペース）が大きいコマを台紙に選択する。図７の例では各コマＦ１〜Ｆ３の背景Ｂ１〜Ｂ３のうち、主被写体として選択した人物Ｗ１（Ｆ１）の顔のサイズが最も小さい人物の画像Ｗ１（Ｆ１）の背景である背景Ｂ１の空きスペースが最も大きい。台紙決定部１ｃは、例えば背景Ｂ１を有するコマＦ１を台紙に決定する。

なお、台紙決定部１ｃは、顔領域のサイズによって台紙を選択したが、顔領域を含む人物のサイズによって台紙を選択するようにしてもよい。

次のステップＳ３２〜Ｓ３９は、台紙上に重ねて表示する人物の画像をいずれのコマから選択するかを決定するコマの選択処理である。先ず、複製決定部１ｄは、ステップＳ３２において、最初のコマの画像の情報をＩｍ０とする。次に、複製決定部１ｄは、ステップＳ３３において次のコマの画像の情報をＩｍ１とし、Ｉｍ０とＩｍ１とを比較する（ステップＳ３４）。

画像信号は記録部４に記録されており、複製決定部１ｄは記録部４から画像信号を読み出して、Ｉｍ０，Ｉｍ１相互の比較を行う。これにより、複製決定部１ｄは、主被写体の顔領域の位置及びサイズ、或いは表情に大きな変化があったか否かを判定する（ステップＳ３５）。

例えば、複製決定部１ｄは、顔領域の中心位置が所定の閾値以上大きく移動したか否か、顔領域のサイズが所定の閾値以上大きく変化したか否か、顔領域の特徴量が、所定の閾値以上変化したか否かに基づいて、主被写体が大きく変化したか否かを判定する。なお、顔領域だけでなく、人物全体の画像からこれらの判定を行ってもよい。

複製決定部１ｄは、次のステップＳ３６において、主被写体が大きく変化したと判定したコマについて、そのコマを特定する情報及び変化量を仮記録部４に記録する。複製決定部１ｄは、ステップＳ３７において最後のコマまで判定したか否かを判定する。最後のコマまで判定していない場合には、ステップＳ３８において、Ｉｍ１の情報をＩｍ０として、ステップＳ３３〜Ｓ３７を繰り返す。

最後のコマまでの判定が終了すると、複製決定部１ｄは、ステップＳ３９において、仮記録部４ｂに変化量が閾値よりも大きいとして記録されたコマのうち、変化量が大きい順に所定枚数のコマを合成に用いる選択コマとして選択する。

選択コマが決定すると、合成部１ｅは、図４のステップＳ１８において、合成画像を作成する。即ち、合成部１ｅは、ステップＳ３９において選択された選択コマ上の主被写体の画像部分を抽出して複製画像を生成し、生成した複製画像を台紙の画像上に重ねて合成画像を生成する。

図７はコマＦ１が台紙として選択され、コマＦ２，Ｆ３は複製に用いる選択コマとして選択された例を示している。即ち、合成部１ｅは、コマＦ２から人物の画像Ｗ１（Ｆ２）を抜き出し、コマＦ３から人物の画像Ｗ１（Ｆ３）を抜き出す。そして、抜き出した画像Ｗ１（Ｆ２），Ｗ１（Ｆ３）に基づく複製画像を台紙の画像上に配置した合成画像（静止画像）Ｐ１を得る。合成画像Ｐ１上には、各コマから抽出された主被写体が並んで配置されている。この合成画像Ｐ１は、主被写体の様々な状態が１枚の画像に静止画像化されたものであり、主被写体の動きの様子を瞬時に想像させることができる。

合成部１ｅは、生成した合成画像を記録部４に与えて記録させる。また、合成部１ｅは生成した合成画像を表示部７に与えて表示させる。

このように本実施の形態においては、動画中の各コマから主被写体を検出し、主被写体の合成に用いる選択コマ及び台紙として使用するコマを選択して、台紙上に複数の主被写体の複製画像を合成する。被写体の合成に用いる選択コマを選択する場合には、被写体の変化が大きいコマが選択される。これにより、合成画像は、被写体の動きを再現するものとなり、１枚の静止合成画像によって瞬時に生き生きとした被写体の様子を把握することが可能となる。

（第２の実施の形態）
図８は本発明の第２の実施の形態を示すフローチャートである。図８において図６と同一の手順には同一符号を付して説明を省略する。

本実施の形態は選択コマ決定方法が第１の実施の形態と異なるのみであり、ハードウェア構成は図１と同様である。第１の実施の形態においては、図６のステップＳ３３，Ｓ３４に示すように、連続的に発生するコマを順次比較した。

これに対し、本実施の形態は、所定時間毎のコマを順次比較するようにしたものである。なお、図８では所定時間を１秒とした例を示している。また、本実施の形態においては、主被写体を複製するコマの選択の後に、台紙となるコマの選択を行っている。

ステップＳ４１において、複製決定部１ｄは、最初のコマから１秒後のコマの画像の情報をＩｍ１とし、Ｉｍ０とＩｍ１とを比較する（ステップＳ３４）。これにより、複製決定部１ｄは、主被写体の顔領域の位置、サイズ及び表情に大きな変化があったか否かを判定する（ステップＳ３５）。

複製決定部１ｄは、次のステップＳ４２において、主被写体が大きく変化したと判定したコマについて、そのコマを特定する情報及び変化量を仮記録部４に記録する。複製決定部１ｄは、ステップＳ４３において１秒後のコマが存在するか否かを判定する。１秒後のコマが存在する場合には、ステップＳ３８において、Ｉｍ１の情報をＩｍ０として、ステップＳ３３〜Ｓ３７を繰り返す。

１秒後のコマが存在しない場合には、複製決定部１ｄは、ステップＳ４４において、仮記録部４ｂに変化量が閾値よりも大きいとして記録されたコマのうち、変化量が大きい順から２枚のコマを合成に用いるコマとして選択する。なお、図６のステップＳ３９と同様に、３枚以上のコマを選択するようにしてもよい。

本実施の形態においては、次のステップＳ４５において、台紙とするコマを選択する。即ち、複製決定部１ｄは、主被写体のサイズが小さいコマであって、当該コマ中の主被写体の顔の表情と、ステップＳ４４において選択されたコマ中の主被写体の顔の表情との変化が大きいコマを、台紙のコマとして選択する。

図８のフローによれば、台紙上に、主被写体についての３つの画像が合成されて表示される。３つの主被写体の画像は、相互に顔の表情が比較的大きく異なっており、合成画像によって主被写体の変化に富んだ顔の表情を鑑賞することが可能である。

本実施の形態における他の作用は第１の実施の形態と同様である。

このように本実施の形態においては、合成画像に用いるコマを選択する場合に、所定時間毎のコマを用いることができる。これにより、主被写体が大きく変化するコマを検出するために必要な演算量を著しく低減させることができる。また、本実施の形態においては、台紙となるコマの選択に際して、台紙となるコマ中の主被写体のサイズだけでなく、台紙となるコマの主被写体の画像と合成する他の主被写体の画像との変化の大きさも考慮しており、第１の実施の形態よりも一層変化に富んだ合成画像を得ることができる。

（第３の実施の形態）
図９乃至図１１は本発明の第３の実施の形態に係り、図９は合成画像作成処理を示すフローチャート、図１０は被写体合成処理を示すフローチャート、図１１は第３の実施の形態による画像合成を説明するための説明図である。

本実施の形態は合成画像の作成方法が第１の実施の形態と異なるのみであり、ハードウェア構成は図１と同様である。第１の実施の形態においては、図７に示すように、人物の画像を切出して複製し、台紙の空きスペースに配置した。しかしながら、人物の画像の切出し処理及び空きスペースへの配置処理には比較的大きな演算量を要することが考えられる。そこで、本実施の形態においては、合成画像に用いる主被写体の画像の切出し及び配置処理を簡単に行うことを可能にしている。

図９のステップＳ５１において、合成部１ｅは、台紙上の主被写体の左右の空きスペースのサイズＬ，Ｒを求める。図１１（ａ）は台紙決定部１ｅによって選択された台紙２１を示している。台紙２１は中央に主被写体２２が撮像されている。主被写体２２の画像領域を除く領域が空きスペースであり、合成部１ｅは、空きスペースのうち主被写体２２の左右の空きスペース２３，２４のサイズＬ，Ｒを求めるのである。

次のステップＳ５２において、合成部１ｅは、左右の空きスペースの大小を求める。図１１（ａ）の例ではＲ＞Ｌである。

次に、ステップＳ５３において、合成部１ｅは、選択コマの主被写体の大小を求める。図１１（ｂ），（ｃ）は、複製する主被写体を含むコマ２５，２８を示している。コマ２５上には、複製する主被写体２６が中央に写されている。主被写体２６は上半身のみが撮像されている。また、コマ２８上には、複製する主被写体２９が中央に写されている。主被写体２６，２９では主被写体２６の方がサイズが大きい。

合成部１ｅは、次のステップＳ５４において、台紙２１上の大きい空きスペース２４に大きい主被写体２６を複製して合成する。また、合成部１ｅは、次のステップＳ５５において、台紙２１上の小さい空きスペース２３に小さい主被写体２９を複製して合成する。

図１０は図９のステップＳ５４，Ｓ５５の合成処理の具体例を示している。図１０のステップＳ５６において、選択されたコマ２５，２８から、合成に用いる主被写体２６，２９の複製画像を作成する。この場合には、処理を簡略化するために、主被写体２６の輪郭に沿って複製画像を作成するのではなく、顔検出部３が検出した顔領域２６ａ，２９ａを基準に複製範囲を決定する。即ち、顔領域２６ａ，２９ａのサイズ（頭部幅）の３倍のサイズを主被写体の水平サイズであるとする。また、下半身が撮像されていない主被写体が、中に浮いた状態で合成されることを防止すると共に、複製の演算量を低減するために、顔領域２６ａ，２９ａの上端から撮像範囲の下端までを主被写体の人物領域の画像であるものとして、これらの破線で囲った矩形の領域２７，３０を複製画像とする。

次に、ステップＳ５７において、合成部１ｅは、空きスペースの下端に複製画像の下端を合わせて、台紙上に複製画像を貼り付ける。図１１（ｄ）はこの状態を示している。領域２７の複製画像は台紙２１上の広い方の空きスペース２４に、下端を撮像範囲の下端に一致させて合成される。また、領域３０の複製画像は台紙２１上の狭い方の空きスペース２３に、下端を撮像範囲の下端に一致させて合成される。

このように本実施の形態においては、少ない演算量で、選択された主被写体の複製画像を作成して、合成することができる。

なお、空きスペース、配置する主被写体のサイズを水平方向のサイズによって求める例を示したが、垂直方向のサイズを用いてもよく、水平及び垂直方向のサイズを用いてよい。

また、本実施の形態においては、３つの主被写体のみを合成する例について示したが、合成する主被写体の数は適宜設定可能であることは明らかである。

（第４の実施の形態）
図１２及び図１３は本発明の第４の実施の形態に係り、図１２は被写体複製合成処理を示すフローチャート、図１３は複製画像を説明するための説明図である。

本実施の形態は被写体合成処理が第３の実施の形態と異なるのみであり、ハードウェア構成は図１と同様である。第３の実施の形態においては、矩形の複製画像を合成した。これに対し、本実施の形態においては、被写体の形状に合わせた複製画像を簡単に作成可能にするものである。

ステップＳ６１において、合成部１ｅは、選択されたコマ中の主被写体を含む複製画像を作成する。図１３は選択されたコマ中の主被写体３５を示している。合成部１ｅは、選択されたコマとその前のコマとを比較し、変化した部分が主被写体３５の画像部分であるものとし、この画像部分を複製画像３６とする。合成部１ｅは、作成した複製画像を台紙の空きスペースに貼り付ける。この場合には、作成した複製画像の顔領域の垂直位置を合わせて貼り付ける（ステップＳ６２）。

このように本実施の形態においては、コマ同士を比較し、変化した部分を主被写体の画像部分であると推定することで、簡単に複製画像を生成することができる。

なお、この手法は台紙の空きスペースの判定にも用いることができる。

図１４はこのような空きスペースの判定フローを示すフローチャートである。

台紙決定部１ｃは、台紙として選択したコマとその前後のコマとを比較する（ステップＳ６５）。台紙決定部１ｃは、台紙のコマと前後のコマとで変化した部分を主被写体の画像部分であるものと判定して切り取り、切り取った部分以外を空きスペースとする（ステップＳ６６）。こうして、比較的簡単に空きスペースを求めることができる。

（第５の実施の形態）
図１５乃至図１７は本発明の第５の実施の形態に係り、図１５及び図１６はコマ選択処理及び合成処理を示すフローチャート、図１７は合成画像を説明するための説明図である。

本実施の形態は複製するコマの選択方法又は合成方法が第３又は第４の実施の形態と異なるのみであり、ハードウェア構成は図１と同様である。

第３又は第４の実施の形態においては、空きスペースの大小に夫々対応させて大きい主被写体と小さい主被写体の複製画像を配置した。しかし、空きスペースのサイズと複製画像のサイズによっては主被写体同士が重なったり、撮像範囲からはみ出すことが考えられる。

図１７（ａ）はこの場合の合成画像の一例を示している。１つの主被写体４２を含む台紙４１上に、２つの主被写体に基づく複製画像４３，４４が配置されている。２つの主被写体に基づく複製画像４３，４４の水平サイズの和が空きスペースの和のサイズよりも大きく、複製画像４３，４４が被写体４２の画像上に重なって、主被写体４２の画像の一部が欠落している。

そこで、図１５のフローでは、空きスペースのサイズに応じて、撮像範囲に配置可能な主被写体の画像を含むコマを選択するようにしている。

図６のステップＳ３９、図８のステップＳ４４では、空きスペースのサイズと比較することなく、複製するコマを選択した。図１５のフローチャートは、複製画像を生成する元となるコマを選択する前に、空きスペースのサイズを求め、空きスペースのサイズに合わせて、コマの選択を行うものである。

図１５のステップＳ７１，Ｓ７２の処理は図９のステップＳ５１，Ｓ５２と同一の処理であり、空きスペースのサイズを求めて大小判定を行う。複製決定部１ｄは、空きスペースのサイズに応じて複製画像の元となる主被写体を含むコマを選択する。合成部１ｅは、選択されたコマ中の主被写体の画像に基づいて複製画像を生成し、台紙上に生成した複製画像を重ねて合成画像を生成する。

このように図１５のフローを採用することで、主被写体の画像が重なって画像の一部が欠落したり、主被写体の画像が撮像範囲からはみ出したりすることを防止することができる。

なお、図１５のフローに基づくコマの選択方法は、図６のステップＳ３９又は図８のステップＳ４４の処理と組み合わせて行ってもよい。即ち、これらのＳ３９，Ｓ４４のステップにおける選択の前に、空きスペースのサイズを求め、空きスペースに入る複製画像が得られるコマの中から、これらのステップＳ３９，Ｓ４４において変化量の大きいコマを選択するようにしてもよい。

逆に、ステップＳ３９，Ｓ４４の処理を先に行った後、台紙のコマと複製画像の元となる選択コマとを選択するようにしてもよい。即ち、この場合には、ステップＳ３９，Ｓ４４等において、複製決定部１ｄが、変化量が大きい主被写体が含まれるコマを選択コマの候補として選択する。次に、信号処理及び制御部１は全ての画像中の主被写体のサイズを画像間で比較する。そして、この比較に基づいて、台紙決定部１ｃにより台紙上に所望の数の主被写体の画像が配置されるように、台紙の画像を選択すると共に、複製決定部１ｄにより選択コマの候補中から複製に用いる選択コマを選択する。合成部１ｅは、選択コマ中の主被写体に基づく複製画像を生成し、選択した台紙上に合成することで、合成画像を生成する。

このような手順によって合成画像を生成することで、全画像中の全ての主被写体のサイズに応じて有効に被写体の複製画像を配置することができるという利点がある。

また、図１６のフローは、空きスペースのサイズに応じて、複製画像を配置可能なサイズまで縮小するようにしたものである。

図１６において、ステップＳ７１，Ｓ７２において、空きスペースのサイズを求めて大小判定を行う。次に、合成部１ｅは、選択したコマの主被写体の大小判定を行う。

そして、合成部１ｅは、ステップＳ７７において、大きい方の空きスペースに、大きい方の主被写体に基づく複製画像が収まるように、複製画像の縮小処理を行った後に、張り合わせる。同様に、合成部１ｅは、ステップＳ７８において、小さい方の空きスペースに、小さい方の主被写体に基づく複製画像が収まるように、複製画像の縮小処理を行った後に、張り合わせる。

図７（ｂ），（ｃ）は、この縮小処理を示している。図７（ｂ）においては、１つの主被写体５２を含む台紙５１上に、２つの主被写体に基づく複製画像５３，５４が配置されている。２つの主被写体に基づく複製画像５３，５４のサイズが比較的大きいことから、主被写体５２及び複製画像５３，５４同士が重なり合って表示されている。

これに対し、図７（ｃ）は、複製画像５３，５４を縮小した縮小複製画像５３’，５４’を台紙５１上に配置した例を示している。縮小複製画像５３’，５４’のサイズは、空きスペースに応じたサイズになっており、縮小複製画像５３’，５４’と被写体４２とは重なり合うことなく、台紙５１上に配置される。

このように本実施の形態においては、主被写体を含むコマを空きスペースのサイズに対応させて求めるか、又は、主被写体に基づく複製画像を縮小したのち空きスペースに配置するようになっており、台紙上において各被写体の画像が重なり会うことなく、十分な大きさで配置することができる。

なお、上記説明では、複製画像を縮小する例について説明したが、空きスペースのサイズと主被写体に基づく複製画像のサイズによっては、複製画像を拡大処理して合成するようにしてもよい。

また、本実施の形態においては、２箇所の空きスペースに複製画像を配置する例について説明したが、３箇所以上の空きスペースを求めて３つ以上の複製画像を配置するようにしてもよいことは明らかである。

上記各実施の形態においては、台紙上の主被写体の画像はそのまま用いたが、複製決定部において台紙上の主被写体に基づく複製画像を生成し、この複製画像を台紙上の任意の位置に配置するように構成してもよい。この場合には、台紙上に配置する各複製画像の配置の自由度が向上するという利点がある。

また、本発明に係る画像生成装置は、撮影機能を備えている必要はなく、撮像部に代えて、動画像信号を取り込む画像入力部を設けていてもよい。即ち、本発明に係る画像生成装置は、動画ファイルを入力すると、静止画が表示されるフォトフレーム等に応用が可能である。

また、最終的に作られる画像は、静止画に限る必要はなく、本発明の考え方で合成された画像を複数用意して順次表示すれば、特殊効果の効いた、賑やかな動画となることは言うまでもない。

１…画像生成装置、１ｂ…主被写体決定部、１ｃ…台紙決定部、１ｄ…複製決定部、１ｅ…合成部、２…撮像部、３…顔検出部、４…記録部、４ｂ…仮記録部、６…操作判定部、７…表示部。

Claims (6)

1. 所定の周期のコマからなる動画像に含まれる人物のなかから主被写体を判定する主被写体判定部と、
   前記所定の周期のコマのうち前記主被写体が含まれる複数の画像を選択コマとして選択し、前記複数の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製部と、
   前記所定の周期のコマのうちの１枚の画像を台紙として選択し、前記台紙上に複数の前記複製画像を合成した合成画像を生成する合成部と、
   を具備し、
   前記複製部は、前記台紙上における前記主被写体の画像部分を除く空きスペースのサイズを求め、求めたサイズに対応するサイズの主被写体が含まれる画像を前記選択コマとして決定する
   ことを特徴とする画像生成装置。
2. 前記複製部は、前記被写体の画像部分を含む画像の下端までの画像を複製画像として生成し、
   前記合成部は前記複製画像の下端を前記空きスペースの下端に合わせて合成することを特徴とする請求項１に記載の画像生成装置。
3. 前記合成部は、
   前記台紙上の前記主被写体の画像部分を除く空きスペースのサイズと前記複製画像のサイズに応じて、前記複製画像を縮小又は拡大した後前記合成画像を生成する
   ことを特徴とする請求項１又は２に記載の画像生成装置。
4. 所定の周期のコマからなる動画像に含まれる人物のなかから主被写体を判定する主被写体判定ステップと、
   前記所定の周期のコマのうち前記主被写体が含まれる複数の画像を選択コマとして選択し、前記複数の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製ステップと、
   前記所定の周期のコマのうちの１枚の画像を台紙として選択し、前記台紙上に複数の前記複製画像を合成した合成画像を生成する合成ステップと、
   を具備し、
   前記複製ステップは、前記台紙上における前記主被写体の画像部分を除く空きスペースのサイズを求め、求めたサイズに対応するサイズの主被写体が含まれる画像を前記選択コマとして決定する
   ことを特徴とする画像生成方法。
5. コンピュータに、
   所定の周期のコマからなる動画像に含まれる人物のなかから主被写体を判定する主被写体判定ステップと、
   前記所定の周期のコマのうち前記主被写体が含まれる複数の画像を選択コマとして選択し、前記複数の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製ステップと、
   前記所定の周期のコマのうちの１枚の画像を台紙として選択し、前記台紙上に複数の前記複製画像を合成した合成画像を生成する合成ステップと、
   を実行させ、
   前記複製ステップでは、前記台紙上における前記主被写体の画像部分を除く空きスペースのサイズを求め、求めたサイズに対応するサイズの主被写体が含まれる画像を前記選択コマとして決定させる
   ことを特徴とする画像生成プログラム。
6. 所定の周期のコマからなる動画像の撮影を行う撮像部と、
   前記撮像部から前記動画像が与えられ、該動画像に含まれる人物のなかから主被写体を判定する主被写体判定部と、
   前記所定の周期のコマのうち前記主被写体が含まれる複数の画像を選択コマとして選択し、前記複数の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製部と、
   前記所定の周期のコマのうちの１枚の画像を台紙として選択し、前記台紙上に複数の前記複製画像を合成した合成画像を生成する合成部と、
   を具備し、
   前記複製部は、前記台紙上における前記主被写体の画像部分を除く空きスペースのサイズを求め、求めたサイズに対応するサイズの主被写体が含まれる画像を前記選択コマとして決定する
   ことを特徴とする画像生成システム。

Images