JP5479149B2 - 画像生成装置 - Google Patents

画像生成装置 Download PDF

Info

Publication number
JP5479149B2
JP5479149B2 JP2010035149A JP2010035149A JP5479149B2 JP 5479149 B2 JP5479149 B2 JP 5479149B2 JP 2010035149 A JP2010035149 A JP 2010035149A JP 2010035149 A JP2010035149 A JP 2010035149A JP 5479149 B2 JP5479149 B2 JP 5479149B2
Authority
JP
Japan
Prior art keywords
image
main subject
unit
mount
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010035149A
Other languages
English (en)
Other versions
JP2011172103A (ja
Inventor
良紀 松澤
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2010035149A priority Critical patent/JP5479149B2/ja
Publication of JP2011172103A publication Critical patent/JP2011172103A/ja
Application granted granted Critical
Publication of JP5479149B2 publication Critical patent/JP5479149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、複数の画像を利用して合成画像を生成する画像生成装置に関する。
近年、デジタルカメラなどの撮影機能付き携帯機器(撮影機器)は、静止画のみならず、動画撮影機能を有するものが多い。例えば、動画撮影中に静止画を撮影する撮影機器が広く知られている。
しかし、静止画は一瞬で見ることが出来て手軽なのに対し、動画や連写(以下、動画とする)は撮影にも鑑賞にも比較的長時間を要し、普及し難い状況であった。
動画の良い点とは、動きを再現できることであり、静止画のよい点とは、瞬間を切り取った完成度の高い一瞬の映像を一目で鑑賞できることである。そこで、特許文献1においては、動画を利用して静止画を作成する技術が開示されている。特許文献1の発明においては、動画切出し手段によって切り出された部分動画を、サムネイル動画として動画データに対応付けて動画記憶手段に記憶させるものである。
特許第4189575号公報
しかしながら、特許文献1の発明は、動画検索用のものであり、シーンチェンジを表示するものとしては有効であるが、主要被写体の様子は分からなかった。
本発明は、動画から静止画を生成して、被写体の動きを再現しながら、瞬時に鑑賞可能な画像を得るなど、楽しい画像を簡単に作ることができる画像生成装置を提供することを目的とする。
本発明に係る画像生成装置は、撮影された動画像が与えられ、該動画像中の複数枚の画像に含まれる人物のなかから主被写体を判定する主被写体判定部と、前記動画像のうち前記主被写体が含まれる少なくとも1枚の画像を選択コマとして選択し、1つ以上の前記選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製部と、前記動画像のうちの1枚の画像を台紙として選択し、前記台紙の画像上に1つ以上の前記複製画像を合成した合成画像を生成する合成部と、を具備し、前記複製部は、前記動画像のうちの2枚以上の画像に夫々含まれる前記主被写体の画像部分の各画像間における変化の大きさに基づいて、前記選択コマを決定する。
本発明によれば、連続して撮影した結果から適当な部分を取り出して、新しい画像を生成して、被写体の動きを再現しながら、それを要約して簡単に鑑賞可能な画像を得ることができるという効果を有する。
本発明の第1の実施の形態に係る画像生成装置の回路構成を示すブロック図。 仮記録部4bに記録される情報を説明するための説明図。 台紙決定部1c及び複製決定部1dの処理を説明するための説明図。 図4はカメラ制御を示すフローチャート。 主被写体の判定フローを示すフローチャート。 選択コマの決定フローを示すフローチャート。 動画像から合成される合成画像の一例を示す説明図。 本発明の第2の実施の形態を示すフローチャート。 合成画像作成処理を示すフローチャート。 被写体合成処理を示すフローチャート。 本発明の第3の実施の形態による画像合成を説明するための説明図。 被写体複製合成処理を示すフローチャート。 複製画像を説明するための説明図。 空きスペースの判定フローを示すフローチャート。 コマ選択処理及び合成処理を示すフローチャート。 コマ選択処理及び合成処理を示すフローチャート。 合成画像を説明するための説明図。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る画像生成装置の回路構成を示すブロック図である。本実施の形態は本発明を撮影装置に適用した例を示している。
本実施の形態は動画中に存在する人物を検出し、検出した1人以上の人物から主被写体となる人物を特定し、特定した主被写体の画像部分を動画像から複数抽出して、1枚の静止画像上に合成して合成画像を生成するものである。これにより、動きのある被写体を瞬時に鑑賞可能な静止画によって見ることができる。なお、以下、動画像から合成画像を作成するものとして説明するが、連続的に撮影された画像であればよく、連写された一連の静止画像等から合成画像を生成してもよい。
図1において、画像生成装置10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部2を有している。撮像部2は、後述する信号処理及び制御部1によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。
撮像部2は、信号処理及び制御部1によって駆動制御されて、被写体の動画像を撮像し、画像信号を出力する。信号処理及び制御部1は、撮像部2に撮像素子の駆動信号を出力すると共に、撮像部2からの画像信号を取り込む。
信号処理及び制御部1は、入力された画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。信号処理及び制御部1は、画像信号の記録に際して、符号化処理を施して圧縮した画像情報を出力することもできるようになっている。信号処理及び制御部1は、信号処理した画像信号を記録部4に与えて記録させると共に、表示部7に与えて表示させることができるようになっている。
また、画像生成装置10には、時計部5、操作判定部6も設けられている。時計部5は信号処理及び制御部1が用いる時間情報を発生する。操作判定部6は、画像生成装置10に設けられた図示しないレリーズスイッチや撮影モード設定等の各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部1に出力するようになっている。信号処理及び制御部1は、操作信号に基づいて、各部を制御する。
本実施の形態においては、撮像部2が撮像した動画像の画像信号は信号処理及び制御部1だけでなく、顔検出部3及び記録部4にも与えられる。記録部4は、入力された動画像の画像信号を記録することができる。
顔検出部3は、撮像部2から動画像の画像信号が与えられ、画像内に人間の顔の特徴を有する陰影パターンが存在するか否かをコマ(フレーム)毎に検出する。顔検出部3は、検出した顔領域についての検出結果を信号処理及び制御部1に与える。なお、顔検出部3は、検出した顔領域について、顔の表情を示す特徴量を求めて、検出結果として信号処理及び制御部1に与えるようにしてもよい。
信号処理及び制御部1は、顔検出部3の検出結果に基づいて、画像内に存在する顔の画像位置、サイズ等の情報を生成し、生成した情報を記録部4に記録された動画像の各コマに対応させて、記録部4内の仮記録部4bに記録させるようになっている。
図2は仮記録部4bに記録される情報を説明するための説明図である。図2は信号処理及び制御部1によって生成される人物情報を示している。
図2の()内の数字は、画像を水平及び垂直方向に10分割した場合において画像左下を原点とした場合のX(横)、Y(縦)座標の値を示しており、()に続く数値は、画像横方向の長さを10とした場合の、顔領域の大きさを示している。なお、座標及びサイズを示すために用いた分割数は一例である。
図2に示す人物情報は、各タイミングT1,T2,…において検出された顔領域を人物に割り当てて示している。タイミングT1,T2,…は、撮像部2からの画像のコマに対応しており、信号処理及び制御部1は、毎コマ又は所定の周期のコマについて、顔領域の検出結果から人物を特定する。
即ち、信号処理及び制御部1は、顔検出部3から顔検出結果が与えられると、画像中に検出された顔領域について人物を割り当てる。図2の例では、タイミングT1において3つの顔領域が検出され、各顔領域の中心座標は夫々(1,5)、(5,5)、(8,2)であり、これらの検出結果に夫々人物A〜Cを割り当てたことを示している。また、各人物A〜Cの顔領域の水平サイズは、夫々1、1、2である。
信号処理及び制御部1は、顔検出部3の検出結果に基づいて、顔領域の動きを認識することで、検出された各顔領域が、割り当てたいずれの人物に対応するものかを認識することができる。例えば、信号処理及び制御部1は、公知の追尾オートフォーカス技術を利用することで、同一人物に基づく顔領域の動きを検出することが可能である。
こうして、信号処理及び制御部1は、次のタイミングT2において、人物Aに割り当てた顔領域が検出されず、人物Bに割り当てた顔領域が座標(4,6)に移動し、人物Cに割り当てた顔領域が座標(8,2)の位置で固定されていることを検出し、図2に示す人物情報を生成する。
以後同様にして、信号処理及び制御部1は、各人物毎に、各タイミングにおける顔領域の中心座標及び顔領域のサイズを求めて、人物情報を生成する。
なお、図2では、顔領域の水平方向のサイズによって大小を決めたが、垂直方向のサイズを用いてもよく、面積を用いてもよいことは明らかである。
なお、顔領域の動きを検出することで、画像中の顔領域がいずれの人物に対応するものであるかを検出したが、顔領域の特徴量を求め、この特徴量の比較によって各顔領域がいずれの人物に対応するものであるかを検出するようにしてもよい。
本実施の形態においては、信号処理及び制御部1は、主被写体決定部1b、台紙決定部1d、複製決定部1d及び合成部1eを有している。主被写体決定部1bは、人物情報を用いて、動画像中に現れる顔領域を有する複数の人物のうち、主被写体となる人物を決定する。
主被写体決定部1bは、動画中において顔領域が検出される頻度、画像中の位置及びその変化、顔領域のサイズ及びその変化等に基づいて主被写体を決定する。例えば、図2の例では、人物Aの顔領域は、タイミングT2において、画像中から消失している。また、人物Cの顔領域は、画像の比較的周辺部に位置し、位置が変化せず、またサイズも比較的小さく変化がない。これに対し、人物Bの顔領域は、画面の略中央において、動きがあり、大きさの変化もあって、タイミングT5では比較的大きなサイズとなっている。そこで、例えば、図2の例では、主被写体決定部1bは、人物Bを主被写体として選択する。
台紙決定部1dは、人物情報を用いて、主被写体の合成画像の背景となる画像(以下、台紙という)を決定する。複製決定部1dは、動画中から検出された主被写体を含む複数の画像のうち合成画像に用いる主被写体の画像を含むコマを選択コマとして決定する。
図3は台紙決定部1c及び複製決定部1dの処理を説明するための説明図であり、台紙決定部1c及び複製決定部1dの処理に基づいて信号処理及び制御部1によって生成される選択用コマ情報を示している。
図3は主被写体として図2の人物Bを選択した場合において、合成画像に用いるコマの選択を説明するためのものである。本実施の形態においては、動画像から主被写体を抽出して背景上に重ね合わせて表示する。従って、背景となる台紙を得るためには、台紙の絵柄の動きが小さく、なるべく静止画であることが望ましい。
また、多くの主被写体を合成することを考慮した場合には、台紙としては、他のコマから抽出した多くの主被写体又はサイズが大きい主被写体を合成可能とするために、空きスペースが大きいコマ、即ち、主被写体のサイズがなるべく小さいコマを選択した方がよいという考え方を一例として説明するが、主被写体の写っていないコマでもよく、スペースが十分あれば、顔がはっきり写っているコマでもよい。もちろん、主被写体の動きの起点となる最初のコマを台紙と決定してもよい。また、主被写体の動きの終点となる最後のコマを台紙と決定してもよい。台紙の決定方法は種々選択可能であり、例えば、台紙決定部1cは、ユーザの台紙の指定操作に基づく操作判定部6からの操作信号によって、台紙となる画像を決定してもよい。
図3の例は、台紙決定部1cが各コマのうち主被写体のサイズが最も小さいコマを台紙として選択することを示している。選択された台紙においては、主被写体の顔領域の水平方向サイズは1である。後述するように、台紙上において、各被写体を水平方向に重ならないように配置するためには、主被写体の顔領域のサイズ1に対して、肩幅の水平サイズを顔領域の両側に1ずつとして空きスペースを判定する。図3の例では、空きスペースは台紙上の主被写体の左側に4スペースで、右側に3スペースである。
複製決定部1dは、主被写体の顔領域が存在する各コマのうち、いずれのコマの主被写体を合成に用いるかを決定する。複製決定部1dは、変化に富んだ主被写体、多彩な絵柄の主被写体を合成するようにコマの選択をする。複製決定部1dは、選択したコマ(選択コマ)の情報を仮記録部4bに与えて記録させる。
図3の例では、複製決定部1dは、前後のコマで顔領域の大きさが大きく変化した場合に、その変化後のコマを選択コマとする。また、複製決定部1dは、前後のコマで顔領域の画像上の位置が大きく変化した場合に、その変化後のコマの選択コマとする。さらに、複製決定部1dは、顔領域の特徴量から顔の表情を判定し、笑顔であると判定したコマを選択するようにしてもよい。例えば、瞼や口の曲がり具合を特徴量として数値化し、数値が高いほど笑顔であると判定する。
合成部1eは、複製決定部1dが決定したコマから主被写体の画像部分を抽出して複製した複製画像を作成し、台紙決定部1cが決定した台紙上に合成する。信号処理及び制御部1は、合成部1eが生成した合成画像を表示部7に与えて表示させると共に、記録部4に与えて記録させることができるようになっている。
次に、このように構成された実施の形態の動作について図4乃至図6のフローチャート及び図7の説明図を参照して説明する。図4はカメラ制御を示し、図5は主被写体の判定フローを示し、図6は選択コマの決定フローを示している。図7は動画像から合成される合成画像の一例を示している。
画像生成装置10の電源がオンの場合には、図4のステップS1から処理がステップS2に移行して、信号処理及び制御部1は撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、信号処理及び制御部1は、ステップS3において、再生モードが指示されたか否かを判定する。再生モードが指示されると、信号処理及び制御部1は、ステップS4において、サムネイルの一覧表示を行う。サムネイル一覧を参照したユーザによる画像の選択が行われると、ステップS5からステップS6に処理を移行して、信号処理及び制御部1は選択画像の再生を行う。
一方、撮影モードが指示されると、信号処理及び制御部1は、ステップS7において、撮像部2からの画像信号に基づいて、表示部7に撮像画像(スルー画)を表示させる。
ステップS8〜S18は、合成画像の作成のためのフローである。ユーザによって記録開始の操作が行われると、信号処理及び制御部1は操作判定部6からの操作信号に基づいて撮像部2を駆動し、動画像の撮影を開始させる。
図7は撮像部2によって撮影された動画像の3コマF1〜F3の一例を示している。コマF1〜F3は略同一画角を撮影したものであり、撮像範囲の上方右側には建物が左側には樹木が写され、撮像範囲の略中央には曲線上の道が写されてる。なお、コマF1中の「背景部」の文字は合成画像の説明のために記入したものである。
ステップS10においては、顔判定が行われる。顔検出部3は、動画像の各コマから顔領域を検出し、検出結果を信号処理及び制御部1に出力する。信号処理及び制御部1は、ステップS11において、顔検出結果に基づいて生成した人物情報を仮記録部4bに記録させる。なお、撮像部2からの動画像は記録部4に記録されており、信号処理及び制御部1は記録部4に記録される動画像の各コマに対応させて人物情報を記録する。
次のステップS12においては、背景変化が大きいか否かが判定される。信号処理及び制御部1は、撮影される動画像の撮影範囲が変化する場合のように、背景が著しく変化する場合には、合成画像の合成には不適当であるので、ステップS13において背景変化の警告を行う。例えば、信号処理及び制御部1は、表示部7に背景の変化が大きいことを示す警告表示を表示させる。こうした合成画像を想定して、動く被写体を撮影するユーザはこれを確認しながら撮影すればよい。
信号処理及び制御部1は、ステップS14において動画像の記録が終了したか否かを判定し、終了していない場合には、ステップS9〜S13の処理を繰り返す。
動画像の記録が終了すると、ステップS15において、信号処理及び制御部1は被写体候補の有無を判定する。信号処理及び制御部1は、動画像中に顔検出されたコマが含まれていない場合には、ステップS19において警告を行う。例えば、信号処理及び制御部1は、動画中に合成する人物が撮影されていないことを示す警告表示を表示部7に表示させる。
ステップS16では、主被写体の決定が行われる。図5に示すように、主被写体決定部1bは、ステップS21〜S23の処理によって、主被写体を決定する。即ち、主被写体決定部1bは、動画中に最初から最後まで記録されている人物を優先、動きのある人物を優先、画面中央近くの人物を優先して主被写体を決定する。なお、ステップS21〜S23の処理順は適宜変更可能である。また、更に、主被写体決定部1bは、顔領域のサイズを加味して主被写体を決定してもよい。
図7の例では、コマF1〜F3のいずれにも人物W1,W2が記録されている。しかし、人物W2の画像W2(F1)〜W2(F3)は、いずれも撮影範囲の右側の同一位置及び同一サイズで写されている。これに対し、人物W1の画像W1(F1)〜W1(F3)は、撮像範囲の略中央において、顔領域の位置及びサイズが変化して写されている。従って、図7の例では、人物W1が主被写体に決定される。
次のステップS17においては、選択コマの決定処理が行われる。即ち、ステップS17においては、台紙決定部1cによる台紙の決定及び複製決定部1dによる合成画像に用いる選択コマの決定が行われる。
図6はこのフローを示している。先ず、ステップS31において、台紙決定部1cは、台紙とするコマを決定する。例えば、台紙決定部1cは、主被写体のサイズが小さく主被写体を除くスペース(空きスペース)が大きいコマを台紙に選択する。図7の例では各コマF1〜F3の背景B1〜B3のうち、主被写体として選択した人物W1(F1)の顔のサイズが最も小さい人物の画像W1(F1)の背景である背景B1の空きスペースが最も大きい。台紙決定部1cは、例えば背景B1を有するコマF1を台紙に決定する。
なお、台紙決定部1cは、顔領域のサイズによって台紙を選択したが、顔領域を含む人物のサイズによって台紙を選択するようにしてもよい。
次のステップS32〜S39は、台紙上に重ねて表示する人物の画像をいずれのコマから選択するかを決定するコマの選択処理である。先ず、複製決定部1dは、ステップS32において、最初のコマの画像の情報をIm0とする。次に、複製決定部1dは、ステップS33において次のコマの画像の情報をIm1とし、Im0とIm1とを比較する(ステップS34)。
画像信号は記録部4に記録されており、複製決定部1dは記録部4から画像信号を読み出して、Im0,Im1相互の比較を行う。これにより、複製決定部1dは、主被写体の顔領域の位置及びサイズ、或いは表情に大きな変化があったか否かを判定する(ステップS35)。
例えば、複製決定部1dは、顔領域の中心位置が所定の閾値以上大きく移動したか否か、顔領域のサイズが所定の閾値以上大きく変化したか否か、顔領域の特徴量が、所定の閾値以上変化したか否かに基づいて、主被写体が大きく変化したか否かを判定する。なお、顔領域だけでなく、人物全体の画像からこれらの判定を行ってもよい。
複製決定部1dは、次のステップS36において、主被写体が大きく変化したと判定したコマについて、そのコマを特定する情報及び変化量を仮記録部4に記録する。複製決定部1dは、ステップS37において最後のコマまで判定したか否かを判定する。最後のコマまで判定していない場合には、ステップS38において、Im1の情報をIm0として、ステップS33〜S37を繰り返す。
最後のコマまでの判定が終了すると、複製決定部1dは、ステップS39において、仮記録部4bに変化量が閾値よりも大きいとして記録されたコマのうち、変化量が大きい順に所定枚数のコマを合成に用いる選択コマとして選択する。
選択コマが決定すると、合成部1eは、図4のステップS18において、合成画像を作成する。即ち、合成部1eは、ステップS39において選択された選択コマ上の主被写体の画像部分を抽出して複製画像を生成し、生成した複製画像を台紙の画像上に重ねて合成画像を生成する。
図7はコマF1が台紙として選択され、コマF2,F3は複製に用いる選択コマとして選択された例を示している。即ち、合成部1eは、コマF2から人物の画像W1(F2)を抜き出し、コマF3から人物の画像W1(F3)を抜き出す。そして、抜き出した画像W1(F2),W1(F3)に基づく複製画像を台紙の画像上に配置した合成画像(静止画像)P1を得る。合成画像P1上には、各コマから抽出された主被写体が並んで配置されている。この合成画像P1は、主被写体の様々な状態が1枚の画像に静止画像化されたものであり、主被写体の動きの様子を瞬時に想像させることができる。
合成部1eは、生成した合成画像を記録部4に与えて記録させる。また、合成部1eは生成した合成画像を表示部7に与えて表示させる。
このように本実施の形態においては、動画中の各コマから主被写体を検出し、主被写体の合成に用いる選択コマ及び台紙として使用するコマを選択して、台紙上に複数の主被写体の複製画像を合成する。被写体の合成に用いる選択コマを選択する場合には、被写体の変化が大きいコマが選択される。これにより、合成画像は、被写体の動きを再現するものとなり、1枚の静止合成画像によって瞬時に生き生きとした被写体の様子を把握することが可能となる。
(第2の実施の形態)
図8は本発明の第2の実施の形態を示すフローチャートである。図8において図6と同一の手順には同一符号を付して説明を省略する。
本実施の形態は選択コマ決定方法が第1の実施の形態と異なるのみであり、ハードウェア構成は図1と同様である。第1の実施の形態においては、図6のステップS33,S34に示すように、連続的に発生するコマを順次比較した。
これに対し、本実施の形態は、所定時間毎のコマを順次比較するようにしたものである。なお、図8では所定時間を1秒とした例を示している。また、本実施の形態においては、主被写体を複製するコマの選択の後に、台紙となるコマの選択を行っている。
ステップS41において、複製決定部1dは、最初のコマから1秒後のコマの画像の情報をIm1とし、Im0とIm1とを比較する(ステップS34)。これにより、複製決定部1dは、主被写体の顔領域の位置、サイズ及び表情に大きな変化があったか否かを判定する(ステップS35)。
複製決定部1dは、次のステップS42において、主被写体が大きく変化したと判定したコマについて、そのコマを特定する情報及び変化量を仮記録部4に記録する。複製決定部1dは、ステップS43において1秒後のコマが存在するか否かを判定する。1秒後のコマが存在する場合には、ステップS38において、Im1の情報をIm0として、ステップS33〜S37を繰り返す。
1秒後のコマが存在しない場合には、複製決定部1dは、ステップS44において、仮記録部4bに変化量が閾値よりも大きいとして記録されたコマのうち、変化量が大きい順から2枚のコマを合成に用いるコマとして選択する。なお、図6のステップS39と同様に、3枚以上のコマを選択するようにしてもよい。
本実施の形態においては、次のステップS45において、台紙とするコマを選択する。即ち、複製決定部1dは、主被写体のサイズが小さいコマであって、当該コマ中の主被写体の顔の表情と、ステップS44において選択されたコマ中の主被写体の顔の表情との変化が大きいコマを、台紙のコマとして選択する。
図8のフローによれば、台紙上に、主被写体についての3つの画像が合成されて表示される。3つの主被写体の画像は、相互に顔の表情が比較的大きく異なっており、合成画像によって主被写体の変化に富んだ顔の表情を鑑賞することが可能である。
本実施の形態における他の作用は第1の実施の形態と同様である。
このように本実施の形態においては、合成画像に用いるコマを選択する場合に、所定時間毎のコマを用いることができる。これにより、主被写体が大きく変化するコマを検出するために必要な演算量を著しく低減させることができる。また、本実施の形態においては、台紙となるコマの選択に際して、台紙となるコマ中の主被写体のサイズだけでなく、台紙となるコマの主被写体の画像と合成する他の主被写体の画像との変化の大きさも考慮しており、第1の実施の形態よりも一層変化に富んだ合成画像を得ることができる。
(第3の実施の形態)
図9乃至図11は本発明の第3の実施の形態に係り、図9は合成画像作成処理を示すフローチャート、図10は被写体合成処理を示すフローチャート、図11は第3の実施の形態による画像合成を説明するための説明図である。
本実施の形態は合成画像の作成方法が第1の実施の形態と異なるのみであり、ハードウェア構成は図1と同様である。第1の実施の形態においては、図7に示すように、人物の画像を切出して複製し、台紙の空きスペースに配置した。しかしながら、人物の画像の切出し処理及び空きスペースへの配置処理には比較的大きな演算量を要することが考えられる。そこで、本実施の形態においては、合成画像に用いる主被写体の画像の切出し及び配置処理を簡単に行うことを可能にしている。
図9のステップS51において、合成部1eは、台紙上の主被写体の左右の空きスペースのサイズL,Rを求める。図11(a)は台紙決定部1eによって選択された台紙21を示している。台紙21は中央に主被写体22が撮像されている。主被写体22の画像領域を除く領域が空きスペースであり、合成部1eは、空きスペースのうち主被写体22の左右の空きスペース23,24のサイズL,Rを求めるのである。
次のステップS52において、合成部1eは、左右の空きスペースの大小を求める。図11(a)の例ではR>Lである。
次に、ステップS53において、合成部1eは、選択コマの主被写体の大小を求める。図11(b),(c)は、複製する主被写体を含むコマ25,28を示している。コマ25上には、複製する主被写体26が中央に写されている。主被写体26は上半身のみが撮像されている。また、コマ28上には、複製する主被写体29が中央に写されている。主被写体26,29では主被写体26の方がサイズが大きい。
合成部1eは、次のステップS54において、台紙21上の大きい空きスペース24に大きい主被写体26を複製して合成する。また、合成部1eは、次のステップS55において、台紙21上の小さい空きスペース23に小さい主被写体29を複製して合成する。
図10は図9のステップS54,S55の合成処理の具体例を示している。図10のステップS56において、選択されたコマ25,28から、合成に用いる主被写体26,29の複製画像を作成する。この場合には、処理を簡略化するために、主被写体26の輪郭に沿って複製画像を作成するのではなく、顔検出部3が検出した顔領域26a,29aを基準に複製範囲を決定する。即ち、顔領域26a,29aのサイズ(頭部幅)の3倍のサイズを主被写体の水平サイズであるとする。また、下半身が撮像されていない主被写体が、中に浮いた状態で合成されることを防止すると共に、複製の演算量を低減するために、顔領域26a,29aの上端から撮像範囲の下端までを主被写体の人物領域の画像であるものとして、これらの破線で囲った矩形の領域27,30を複製画像とする。
次に、ステップS57において、合成部1eは、空きスペースの下端に複製画像の下端を合わせて、台紙上に複製画像を貼り付ける。図11(d)はこの状態を示している。領域27の複製画像は台紙21上の広い方の空きスペース24に、下端を撮像範囲の下端に一致させて合成される。また、領域30の複製画像は台紙21上の狭い方の空きスペース23に、下端を撮像範囲の下端に一致させて合成される。
このように本実施の形態においては、少ない演算量で、選択された主被写体の複製画像を作成して、合成することができる。
なお、空きスペース、配置する主被写体のサイズを水平方向のサイズによって求める例を示したが、垂直方向のサイズを用いてもよく、水平及び垂直方向のサイズを用いてよい。
また、本実施の形態においては、3つの主被写体のみを合成する例について示したが、合成する主被写体の数は適宜設定可能であることは明らかである。
(第4の実施の形態)
図12及び図13は本発明の第4の実施の形態に係り、図12は被写体複製合成処理を示すフローチャート、図13は複製画像を説明するための説明図である。
本実施の形態は被写体合成処理が第3の実施の形態と異なるのみであり、ハードウェア構成は図1と同様である。第3の実施の形態においては、矩形の複製画像を合成した。これに対し、本実施の形態においては、被写体の形状に合わせた複製画像を簡単に作成可能にするものである。
ステップS61において、合成部1eは、選択されたコマ中の主被写体を含む複製画像を作成する。図13は選択されたコマ中の主被写体35を示している。合成部1eは、選択されたコマとその前のコマとを比較し、変化した部分が主被写体35の画像部分であるものとし、この画像部分を複製画像36とする。合成部1eは、作成した複製画像を台紙の空きスペースに貼り付ける。この場合には、作成した複製画像の顔領域の垂直位置を合わせて貼り付ける(ステップS62)。
このように本実施の形態においては、コマ同士を比較し、変化した部分を主被写体の画像部分であると推定することで、簡単に複製画像を生成することができる。
なお、この手法は台紙の空きスペースの判定にも用いることができる。
図14はこのような空きスペースの判定フローを示すフローチャートである。
台紙決定部1cは、台紙として選択したコマとその前後のコマとを比較する(ステップS65)。台紙決定部1cは、台紙のコマと前後のコマとで変化した部分を主被写体の画像部分であるものと判定して切り取り、切り取った部分以外を空きスペースとする(ステップS66)。こうして、比較的簡単に空きスペースを求めることができる。
(第5の実施の形態)
図15乃至図17は本発明の第5の実施の形態に係り、図15及び図16はコマ選択処理及び合成処理を示すフローチャート、図17は合成画像を説明するための説明図である。
本実施の形態は複製するコマの選択方法又は合成方法が第3又は第4の実施の形態と異なるのみであり、ハードウェア構成は図1と同様である。
第3又は第4の実施の形態においては、空きスペースの大小に夫々対応させて大きい主被写体と小さい主被写体の複製画像を配置した。しかし、空きスペースのサイズと複製画像のサイズによっては主被写体同士が重なったり、撮像範囲からはみ出すことが考えられる。
図17(a)はこの場合の合成画像の一例を示している。1つの主被写体42を含む台紙41上に、2つの主被写体に基づく複製画像43,44が配置されている。2つの主被写体に基づく複製画像43,44の水平サイズの和が空きスペースの和のサイズよりも大きく、複製画像43,44が被写体42の画像上に重なって、主被写体42の画像の一部が欠落している。
そこで、図15のフローでは、空きスペースのサイズに応じて、撮像範囲に配置可能な主被写体の画像を含むコマを選択するようにしている。
図6のステップS39、図8のステップS44では、空きスペースのサイズと比較することなく、複製するコマを選択した。図15のフローチャートは、複製画像を生成する元となるコマを選択する前に、空きスペースのサイズを求め、空きスペースのサイズに合わせて、コマの選択を行うものである。
図15のステップS71,S72の処理は図9のステップS51,S52と同一の処理であり、空きスペースのサイズを求めて大小判定を行う。複製決定部1dは、空きスペースのサイズに応じて複製画像の元となる主被写体を含むコマを選択する。合成部1eは、選択されたコマ中の主被写体の画像に基づいて複製画像を生成し、台紙上に生成した複製画像を重ねて合成画像を生成する。
このように図15のフローを採用することで、主被写体の画像が重なって画像の一部が欠落したり、主被写体の画像が撮像範囲からはみ出したりすることを防止することができる。
なお、図15のフローに基づくコマの選択方法は、図6のステップS39又は図8のステップS44の処理と組み合わせて行ってもよい。即ち、これらのS39,S44のステップにおける選択の前に、空きスペースのサイズを求め、空きスペースに入る複製画像が得られるコマの中から、これらのステップS39,S44において変化量の大きいコマを選択するようにしてもよい。
逆に、ステップS39,S44の処理を先に行った後、台紙のコマと複製画像の元となる選択コマとを選択するようにしてもよい。即ち、この場合には、ステップS39,S44等において、複製決定部1dが、変化量が大きい主被写体が含まれるコマを選択コマの候補として選択する。次に、信号処理及び制御部1は全ての画像中の主被写体のサイズを画像間で比較する。そして、この比較に基づいて、台紙決定部1cにより台紙上に所望の数の主被写体の画像が配置されるように、台紙の画像を選択すると共に、複製決定部1dにより選択コマの候補中から複製に用いる選択コマを選択する。合成部1eは、選択コマ中の主被写体に基づく複製画像を生成し、選択した台紙上に合成することで、合成画像を生成する。
このような手順によって合成画像を生成することで、全画像中の全ての主被写体のサイズに応じて有効に被写体の複製画像を配置することができるという利点がある。
また、図16のフローは、空きスペースのサイズに応じて、複製画像を配置可能なサイズまで縮小するようにしたものである。
図16において、ステップS71,S72において、空きスペースのサイズを求めて大小判定を行う。次に、合成部1eは、選択したコマの主被写体の大小判定を行う。
そして、合成部1eは、ステップS77において、大きい方の空きスペースに、大きい方の主被写体に基づく複製画像が収まるように、複製画像の縮小処理を行った後に、張り合わせる。同様に、合成部1eは、ステップS78において、小さい方の空きスペースに、小さい方の主被写体に基づく複製画像が収まるように、複製画像の縮小処理を行った後に、張り合わせる。
図7(b),(c)は、この縮小処理を示している。図7(b)においては、1つの主被写体52を含む台紙51上に、2つの主被写体に基づく複製画像53,54が配置されている。2つの主被写体に基づく複製画像53,54のサイズが比較的大きいことから、主被写体52及び複製画像53,54同士が重なり合って表示されている。
これに対し、図7(c)は、複製画像53,54を縮小した縮小複製画像53’,54’を台紙51上に配置した例を示している。縮小複製画像53’,54’のサイズは、空きスペースに応じたサイズになっており、縮小複製画像53’,54’と被写体42とは重なり合うことなく、台紙51上に配置される。
このように本実施の形態においては、主被写体を含むコマを空きスペースのサイズに対応させて求めるか、又は、主被写体に基づく複製画像を縮小したのち空きスペースに配置するようになっており、台紙上において各被写体の画像が重なり会うことなく、十分な大きさで配置することができる。
なお、上記説明では、複製画像を縮小する例について説明したが、空きスペースのサイズと主被写体に基づく複製画像のサイズによっては、複製画像を拡大処理して合成するようにしてもよい。
また、本実施の形態においては、2箇所の空きスペースに複製画像を配置する例について説明したが、3箇所以上の空きスペースを求めて3つ以上の複製画像を配置するようにしてもよいことは明らかである。
上記各実施の形態においては、台紙上の主被写体の画像はそのまま用いたが、複製決定部において台紙上の主被写体に基づく複製画像を生成し、この複製画像を台紙上の任意の位置に配置するように構成してもよい。この場合には、台紙上に配置する各複製画像の配置の自由度が向上するという利点がある。
また、本発明に係る画像生成装置は、撮影機能を備えている必要はなく、撮像部に代えて、動画像信号を取り込む画像入力部を設けていてもよい。即ち、本発明に係る画像生成装置は、動画ファイルを入力すると、静止画が表示されるフォトフレーム等に応用が可能である。
また、最終的に作られる画像は、静止画に限る必要はなく、本発明の考え方で合成された画像を複数用意して順次表示すれば、特殊効果の効いた、賑やかな動画となることは言うまでもない。
1…画像生成装置、1b…主被写体決定部、1c…台紙決定部、1d…複製決定部、1e…合成部、2…撮像部、3…顔検出部、4…記録部、4b…仮記録部、6…操作判定部、7…表示部。

Claims (6)

  1. 撮影された動画像が与えられ、該動画像中の複数枚の画像に含まれる人物のなかから主被写体を判定する主被写体判定部と、
    前記動画像のうち前記主被写体が含まれる少なくとも1枚の画像を選択コマとして選択し、1つ以上の前記選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成する複製部と、
    前記動画像のうちの1枚の画像を台紙として選択し、前記台紙の画像上に1つ以上の前記複製画像を合成した合成画像を生成する合成部と、
    を具備し、
    前記複製部は、前記動画像のうちの2枚以上の画像に夫々含まれる前記主被写体の画像部分の各画像間における変化の大きさに基づいて、前記選択コマを決定する
    ことを特徴とする画像生成装置。
  2. 前記主被写体の各画像間における変化の大きさは、前記動画像中の主被写体の画像部分の位置、サイズ及び前記主被写体の表情のうちの少なくとも1つに基づいて判定される
    ことを特徴とする請求項に記載の画像生成装置。
  3. 前記合成部は、
    前記主被写体の画像部分のサイズが最も小さい画像を前記台紙として選択する
    ことを特徴とする請求項1又は2に記載の画像生成装置。
  4. 前記複製部は、前記主被写体の画像部分を含む画像の下端までの画像を複製画像として生成し、
    前記合成部は、前記複製画像の下端を前記台紙の画像の下端に合わせて合成する
    ことを特徴とする請求項1乃至のいずれか1つに記載の画像生成装置。
  5. 前記合成部は、
    前記台紙中の前記主被写体の画像部分を除く空きスペースのサイズと前記複製画像のサイズに応じて、前記複製画像を縮小又は拡大した後前記合成画像を生成する
    ことを特徴とする請求項1乃至のいずれか1つに記載の画像生成装置。
  6. 撮影された動画像が与えられ、該動画像中の複数枚の画像に含まれる人物のなかから主被写体を判定する主被写体判定部と、
    前記動画像のうち前記主被写体が含まれる少なくとも1枚の画像を選択コマの候補として選択する選択部と、
    前記動画像のうち主被写体の占める大きさを比較することによって、台紙画像を選択すると共に前記選択コマの候補から1枚以上の選択コマを選択し、前記1枚以上の選択コマから夫々前記主被写体の画像部分を用いた複製画像を生成し、生成した前記複製画像を前記台紙画像上に合成して合成画像を生成する複製合成部と、
    を具備したことを特徴とする画像生成装置。
JP2010035149A 2010-02-19 2010-02-19 画像生成装置 Active JP5479149B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010035149A JP5479149B2 (ja) 2010-02-19 2010-02-19 画像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010035149A JP5479149B2 (ja) 2010-02-19 2010-02-19 画像生成装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014024571A Division JP5677598B2 (ja) 2014-02-12 2014-02-12 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム

Publications (2)

Publication Number Publication Date
JP2011172103A JP2011172103A (ja) 2011-09-01
JP5479149B2 true JP5479149B2 (ja) 2014-04-23

Family

ID=44685739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010035149A Active JP5479149B2 (ja) 2010-02-19 2010-02-19 画像生成装置

Country Status (1)

Country Link
JP (1) JP5479149B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3276943A4 (en) * 2015-03-26 2018-11-21 Sony Corporation Information processing apparatus, information processing method, and program
JP6601966B2 (ja) 2016-09-16 2019-11-06 富士フイルム株式会社 背面画像候補決定装置、背面画像候補決定方法および背面画像候補決定プログラム
JP7266490B2 (ja) * 2019-08-06 2023-04-28 キヤノン株式会社 画像処理装置、その制御方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004207936A (ja) * 2002-12-25 2004-07-22 Fuji Photo Film Co Ltd 画像処理装置

Also Published As

Publication number Publication date
JP2011172103A (ja) 2011-09-01

Similar Documents

Publication Publication Date Title
JP5028225B2 (ja) 画像合成装置、画像合成方法、およびプログラム
JP4869270B2 (ja) 撮像装置及び画像再生装置
JP5941736B2 (ja) 撮影機器
JP5479149B2 (ja) 画像生成装置
JP6460783B2 (ja) 画像処理装置及びその制御方法
JP5220567B2 (ja) 撮像装置および撮像装置用プログラム
JP4830828B2 (ja) 画像合成装置、画像合成プログラム及び画像合成方法
US8760541B2 (en) Shooting apparatus and mode setting method for controlling a shooting mode of a shooting apparatus
JP6625598B2 (ja) 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム
JP2013117908A (ja) 画像処理装置、画像処理方法、および撮像装置
JP6259006B2 (ja) 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム
JP5932963B2 (ja) 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム
JP5677598B2 (ja) 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム
JP6332864B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010239464A (ja) 画像合成装置、画像再生装置及びプログラム
JP6289591B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5782548B2 (ja) 画像処理装置および画像処理方法
JP5602818B2 (ja) カメラ、画像再生装置、画像合成方法、およびプログラム
JP2013013145A (ja) 画像処理装置
JP5412560B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5665380B2 (ja) 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体
JP2017054541A (ja) 画像処理装置、画像処理方法及びプログラム
JP2002027395A (ja) マルチイメージ作成方法、再生方法およびこれらのプログラムを記録した記録媒体
JP6270784B2 (ja) 画像処理装置および画像処理方法
JP2015192336A (ja) 画像処理装置およびデジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140212

R150 Certificate of patent or registration of utility model

Ref document number: 5479149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250