JP5901328B2 - 画像合成方法及び画像合成装置 - Google Patents

Description

本発明は、本発明は、被写体の動画中から所望の画像を選択し、この選択された画像を静止画に合成する画像合成方法及び画像合成装置に関する。

例えば、撮像装置は、撮像により取得した複数の画像を合成してその合成画像を作成する機能を有するものがある。かかる技術としては、例えば特許文献１乃至３がある。
特許文献１は、画像取得枚数として予め定められた枚数分又は画像取得時間として予め定められた時間内に撮影された枚数分の撮影画像を取得し、１乃至複数の人物を撮影した複数枚の画像の中から例えば最も移りの良い各人のベストショット画像を抽出して１枚の合成画像として出力することを開示する。

特許文献２は、動画撮影中になされた静止画撮影の前後の所定時間の動画データの少なくともいずれか一方をレックレビューとして記憶し、その記憶したレックレビュー用画像データを表示手段に表示することを開示する。
特許文献３は、液晶モニタに動画を再生中、静止画抽出指令を出すと、この静止画抽出指令が入った瞬間の直前、直後又は前後の静止画データが所定コマ数分、所定間隔をもって動画データから抽出され、再表示されると共に静止画ファイルとして記録されることを開示する。

特開２０１０−９８４０４号公報 特開２０１０−１０９９４０号公報 特開２００４−３１２４９５号公報

静止画を撮像する瞬間に加え、この静止画の前後の過程を簡単に記録することの要望がある。
本発明の目的は、静止画を撮像する際の状況を簡単に記録できる画像合成方法及び画像合成装置を提供することにある。

本発明の主要な局面に係る画像合成方法は、被写体の静止画撮影の操作の前後に前記被写体の動画を記録部に仮記憶し、前記静止画撮影の操作を受けて、前記被写体の静止画を撮影し、撮影された前記静止画と前記動画とを表示部に再生し、再生中の前記動画から画像コマを選択し、選択された前記画像コマを前記静止画における前記被写体以外の領域に合成記録する。
本発明の主要な局面に係る画像合成装置は、被写体の静止画撮影の操作の前後に前記被写体の動画を記録部に仮記憶する第１の画像取得部と、前記静止画撮影の操作を受けて、前記被写体の静止画を撮影によって取得する第２の画像取得部と、表示部と、前記表示部に前記静止画と前記動画とを再生し、再生中の前記動画から画像コマを選択する画像選択部と、前記画像選択部により選択された前記画像コマを前記静止画における前記被写体以外の領域に合成記録する合成記録部とを具備する。

本発明によれば、撮影が行われた際の状況を合わせて簡単に記録でき、思い出深い写真撮影を可能とすることが出来る画像合成方法及び画像合成装置を提供できる。

本発明に係る画像合成の機能を備えた撮像装置の第１の実施の形態を示す構成図。 同装置の記録部に記憶されている静止画とプリ動画中から選択された複数の画像データを示す模式図。 同装置の画像選択部によりＬＣＤ表示画面上に表示されるメイキング画像表示枠を示す図。 同装置の画像選択部によりプリ動画中から順次抽出されて各メイキング画像表示枠内に時系列に並べて表示される画像データを示す図。 同装置におけるプリ動画に含まれる各画像データを示す模式図。 同装置のＬＣＤに表示されている選択された画像データを示す概略図。 同装置の進捗状況表示部によりＬＣＤの表示画面に表示される進捗バーを示す図。 同装置におけるメイキング動作フローチャート。 同装置におけるメイキング動作フローチャート。 同装置におけるメイキング動作の流れを模式的に示す図。 同装置における画像選択部の画像データの変更・調整フローチャート。

以下、本発明の一実施の形態について図面を参照して説明する。
図１は画像合成の機能を備えた撮像装置の構成図を示す。この撮像装置は、カメラ本体１０と、交換レンズ部２０と、電子ビューファインダ（ＥＶＦ）用の接眼部３０とを有する。この撮像装置は、交換レンズ方式の構成を有するもので、交換レンズ部２０は、カメラ本体１０に対して交換可能であり、ＥＶＦ用接眼部３０もカメラ本体１０に対して交換可能である。この撮像装置は、交換レンズ式のカメラに限らず、例えばコンパクトカメラや、撮像機能付きの携帯機器等に適用可能である。

交換レンズ部２０は、コンピュータから成るレンズ制御部２１を搭載する。このレンズ制御部２１には、操作部２３と、各駆動部２４ａ、２４ｂと、各位置検出部２５ａ、２５ｂと、レンズ系（光学系）２６と、記録部２７と、通信部２８とが接続されている。
操作部２３は、マニュアル操作でレンズ系２６に対するズーム操作や、被写体に対するピント調整、被写体の明るさを調整する絞り等を行うための操作部材としてレンズリング等を備える。
各駆動部２４ａ、２４ｂは、それぞれモータなどアクチュエータを備える。このうち駆動部２４ａは、レンズ系２６におけるズームレンズを駆動する。駆動部２４ｂは、レンズ系２６におけるピント調整用レンズを駆動する。位置検出部２５ａは、ズームレンズの光軸方向における位置等を検出する。位置検出部２５ｂは、ピント調整用レンズの光軸方向における位置等を検出することを想定しているが、複数のレンズ群に各々、設ける場合もある。その他、交換レンズ部２０内には、絞り制御用の駆動部、位置検出部なども備えられているがここでは簡略化する。

レンズ系２６は、ズームレンズやピント調整用レンズ、絞り等を有すると共に、ズーム用の光学系２６ａと、ピント用の光学系２６ｂとを有する。ズーム用の光学系２６ａは、駆動部２４ａの駆動を受けて、上記位置検出を伴ってズームレンズを駆動する。ピント用の光学系２６ｂは、駆動部２４ｂの駆動を受けて、上記位置検出を伴ってピント調整用レンズを駆動する。

記録部２７は、本レンズ系２６を動作制御するための制御パラメータ及び制御プログラムを予め記憶する。
レンズ制御部２１は、記録部２７に記憶されている制御パラメータ及び制御プログラムを実行することにより、レンズ系２６におけるズームレンズやピント調整用レンズ、絞り等を駆動する各駆動部２４ａ、２４ｂを駆動制御する。
レンズ制御部２１は、ユーザのズーム操作があった場合、位置検出部２５ａにより検出されたズームレンズの位置情報に基づいて駆動部２４ａを駆動し、所望倍率のズーム像が得られるようにレンズ系２６におけるズームレンズの位置を制御する。このレンズ制御部２１は、ユーザのピント操作やカメラ本体からの指示があった場合、位置検出部２５ｂにより検出されたピント調整用レンズの位置情報に基づいて駆動部２４ｂを駆動し、被写体に対してピントが合うようにピント調整用レンズの位置を制御する。

レンズ制御部２１は、通信部２８とカメラ本体１０の通信部１４とを通して当該カメラ本体１０の信号処理・制御部１との間でデータ通信を行う。
一方、カメラ本体１０は、コンピュータから成る信号処理・制御部１を搭載する。この信号処理・制御部１には、撮像素子２と、顔検出部３と、記録部４と、操作判定部６と、表示部８と、タッチパネル８ａと、時計部９と、各通信部１２、１４とが接続されている。
時計部９は、時刻をカウントするもので、撮影時の各種タイミング制御、例えば撮影結果の日時管理や撮影時の各種時間制御、さらに動画撮影時の各コマのタイミングなどを判定するためのものである。
撮像素子２は、交換レンズ部２０のレンズ系２６を介して入射する被写体像を受光し、この被写体像に応じた画像信号を出力する。すなわち、撮像素子２は、受光面を有し、この受光面にレンズ系２６を介して集光された被写体からの光束が結像される。この撮像素子２の受光面は、複数の画素を２次元状に配置して成る。この撮像素子２の受光面の光入射側には、カラーフィルタが設けられている。この撮像素子２は、受光面に結像された光束に対応した被写体像をその光量に応じた電気信号に変換する。この撮像素子２は、例えばＣＣＤ方式又はＣＭＯＳ方式等の種々の構成のものが知られている。カラーフィルタの色配列は、例えばベイヤ配列等の種々の配列が知られている。この撮像素子２は、その構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。

なお、レンズ系２６及び撮像素子２は、被写体を撮像して静止画又は動画を取得する撮像部を構成すると共に、被写体の静止画を取得する前に前記被写体の動画を取得する画像取得部を構成する。又、画像取得部としては、本装置の外部に設けられる例えばコンピュータやカメラ、インターネットを介して接続されたサーバ、記憶装置であって、画像データを取得できるものであってもよい。

顔検出部３は、撮像素子２で得られた画像に含まれる主要被写体として例えば人物の顔部を検出する。顔部の検出は、取得された画像データと、人物の鼻部周辺や目部周辺、口部周辺の陰影の各パターンに対応した各顔パーツの各画像データとの相関量をそれぞれ求め、これらの相関量に従って顔部が存在しているとする。

記録部４は、例えばＲＯＭ、ＲＡＭ、又は例えばメモリカードを有する。ＲＯＭには、本装置の静止画や動画の撮像動作を制御するための撮像制御プログラムや、静止画や動画を再生するための再生プログラム、画像を合成するための画像合成プログラムを有する。この画像合成プログラムは、コンピュータから成る信号処理・制御部１に、被写体の静止画を取得する前後に被写体の動画を取得し、被写体の動画を再生し、当該再生中の動画中から当該動画を構成するコマ画像を選択し、当該選択された画像（合成用画像）を静止画に合成記録する合成記録機能を有する。この合成記録では、信号処理・制御部１に、画像が複数選択されると、再生中の動画中から選択された複数の画像を抽出し、これら抽出された画像を静止画中に撮影時に得られた撮影時の時計情報によって時系列に並べて表示する機能を有する。時計情報は、時計部９により得られる。
記録部４のＲＡＭには、被写体の動画や、静止画、さらに動画中から選択された画像などの処理途中のデータが仮記憶される。

メモリカードは、信号処理・制御部１の制御によって、本装置の静止画や動画の撮像動作により取得された静止画や動画の各データを記憶する。
操作判定部６は、ユーザによって操作される各種の操作部材を有する。この操作判定部６は、操作部材として例えば、レリーズボタン、動画釦、モードダイヤル、選択キー、電源釦等を備える。レリーズボタンは、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有する。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンする。１ｓｔレリーズスイッチがオンすることにより、信号処理・制御部１は、ＡＦ処理等の撮影準備動作を行う。２ｎｄレリーズスイッチは、ユーザがレリーズ釦を全押しするとオンする。２ｎｄレリーズスイッチがオンすることにより、信号処理・制御部１は、静止画撮影用の露光動作を行う。本装置は、静止画の前後の動画を撮影して、後で使うことを想定しているので、レリーズ釦半押しで動画を撮影するような仕様にしてもよい。もちろん、スルー画表示中、すべて動画撮影していてもよい。
動画釦は、基本的に動画撮影の開始又は終了を指示するための操作部材である。ユーザによって動画釦が押されると動画撮影処理が開始される。また、動画撮影処理の実行中に動画釦が押されると、動画撮影処理が終了される。
モードダイヤルは、撮像装置の撮影設定を選択するための操作部材である。本実施形態では、撮像装置の撮影設定として、例えば、絞り優先やシャッタスピード優先などの露出モードや、本装置のメイキングモードなどの設定も可能である。
選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。
ここで、露出モードやメイキングモードに設定できるようにしてもよい。メイキングモードは、撮影時に設定した場合は、動画撮影を伴う静止画撮影を行う。メイキングモードに入れていなくとも、常に動画を撮影するような仕様とし、再生時にメイキングモードを設定すれば、画像合成が出来るようにしてもよい。
電源釦は、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源釦が操作されると、本装置が起動して動作可能な状態となる。本装置が起動している間に電源釦が操作されると、本装置が省電力待機状態となる。

表示部８は、本装置の背面に設けられ、例えば液晶ディスプレイ（以下、ＬＣＤと称する）とそのＬＣＤ駆動部とを有するものであり、ライブビュー用の画像及び記録部４に記録された静止画や動画の画像データを表示する。以下、表示部８は、ＬＣＤ８と称する。このＬＣＤ８の表示画面上には、タッチパネル８ａが一体的に設けられている。
このタッチパネル８ａは、ユーザの指等の接触（タッチ）を検出し、このタッチ位置を示す座標を含む接触信号を出力する。信号処理・制御部１は、タッチパネル８ａを駆動すると共に、タッチパネル８ａからの接触信号を入力し、この接触信号からユーザのＬＣＤ８の表示画面上に対する接触を検出し、その接触位置にある画像や接触位置に応じた処理を実行する。

接眼式の表示部（ＥＶＦ）が着脱式の場合、通信部１２は、ＥＶＦ用接眼部３０の通信部３２との間でデータ通信を行う。
通信部１４は、上記の通り、交換レンズ部２０の通信部２８との間でデータ通信を行う。
信号処理・制御部１は、静止又は動画の撮像時に、撮像素子２から出力される画像信号を入力し、この画像信号に対して画像処理を行い、静止又は動画の画像データを取得する。この信号処理・制御部１は、静止又は動画を撮像する際に、コントラストＡＦ処理や、ＡＥ処理を行う。
コントラストＡＦ処理は、撮像素子２の撮像により得られた画像データの高周波成分を抽出し、この抽出した高周波成分を積算することによりＡＦ用の合焦評価値を取得し、この合焦評価値に従って画像データのコントラストを評価しながら交換レンズ部２０のレンズ系２６のフォーカスレンズを合焦状態となる位置に調整する。
ＡＥ処理は、撮像素子２の撮像により得られた画像データを用いて被写体の輝度を算出し、この被写体の輝度に従って露光時の絞りの開口量（絞り値）、シャッタの開放時間（シャッタ速度値）を算出する。

信号処理・制御部１は、撮像素子２の撮像により得られた画像データに対する各種の画像処理を行う。この画像処理は、例えば色補正処理、ガンマ（γ）補正処理、圧縮処理、この圧縮されている画像データに対する伸張処理である。
この信号処理・制御部１は、メイキングモードと、通常の撮影モード又は再生モード等を選択可能とし、メイキングモードが選択されると、記録部４のＲＯＭに記憶されている画像合成プログラムを実行することにより、被写体の静止画を取得する前後に被写体の動画を取得し、ＬＣＤ８に被写体の動画を再生し、当該再生中の動画中から当該動画に含む画像コマを例えば複数枚選択し、これら選択された各画像コマを静止画中に撮影された順番に従った時系列に並べて合成記録する。この信号処理・制御部１は、仮記録制御部１０１と、画像選択部１０２と、合成記録部１０３と、タッチ・スライド検出部１０４と、進捗状況表示部１０５と、表示制御部１０６とを有する。

信号処理・制御部１は、メイキングモードに設定されると、例えばＬＣＤ８（または、接眼表示部３１）に被写体のスルー画を表示しながら当該被写体のプリ動画の撮像を開始する。静止画の撮像は、プリ動画撮影中に行える。これにより、プリ動画で撮像された内容は、被写体の静止画を撮像するときの時間的に前後の被写体の状況、経緯を含むものとなる。なお、静止画を撮像する前では、静止画を撮像するに至るまでの被写体の状況、経緯を含むものとなる。静止画撮影後の様子も動画記録してもよい。

仮記録制御部１０１は、メイキングモード設定時の撮像により取得されたプリ動画と静止画との各画像データを例えば記録部４のＲＡＭに記憶する。
この時、各画像は、圧縮せず、または非可逆圧縮にて記録しておけば、合成部分の画素を合成画像の画素で埋めることで合成可能なので、後での合成が容易になる。なお、合成された圧縮前の画像は、圧縮して記録部４に記録できるようにする。
又、仮記録制御部１０１は、画像選択部１０２によりプリ動画中から選択された１枚又は複数枚の画像データを例えば記録部４のＲＡＭに記憶する。図２は記録部４のＲＡＭに記憶されている静止画の画像データＤｓと、プリ動画の画像データ中から選択された１枚又は複数枚、ここでは５枚の画像データ（合成用画像）Ｄｃ１〜Ｄｃ５の模式図を示す。静止画の画像データＤｓと各画像データＤｃ１〜Ｄｃ５とには、それぞれ主要被写体として例えば２人の人物Ｍ１、Ｍ２が写っている例を示した。

画像選択部１０２は、ダイヤル操作やタッチパネルによるユーザのモード設定でメイキングモードに設定されていると、ＬＣＤ８に静止画の画像データＤｓを表示すると共に、図３に示すようなメイキング画像表示枠Ｗを表示し、このメイキング画像表示枠Ｗ内に例えば記録部４のＲＡＭに仮記憶された複数の画像コマからなる被写体のプリ動画（撮影前後の動画でもよい）を再生表示し、当該再生表示中のプリ動画中から画像データ、例えば５枚の画像データＤｃ１〜Ｄｃ５を選択する。これら画像データＤｃ１〜Ｄｃ５は、静止画の画像データＤｓに合成するために選択される。

画像データを選択する場合、ユーザは、例えば被写体の静止画を撮像するに至るまでの被写体の状況、経緯をよく表すシーンや、ユーザがお気に入りのシーンや残しておきたい大切なシーンになる度に、自身の指等でタッチパネル８ａを複数回タッチするようにすればよい。この操作の結果、これらシーン毎の画像データ、例えば図２に示すような５枚の画像データＤｃ１〜Ｄｃ５がプリ動画中からそれぞれ抽出される。

この画像データの選択では、画像選択部１０２は、ＬＣＤ８にプリ動画を再生表示中、タッチパネル８ａに対してユーザの指等がタッチすると、このタッチ時点で、ＬＣＤ８に再生されていたプリ動画中の１枚の画像データＤｃ１を抽出する。タッチパネル８ａに対してユーザの指等がタッチすると、タッチパネル８ａからは、接触信号が出力されるので、画像選択部１０２は、タッチパネル８ａからの接触信号を入力した時点で再生されていたプリ動画中から１枚（１コマ）の画像データＤｃ１を抽出する。

画像選択部１０２は、複数の画像データ（各画像コマ）Ｄｃ１〜Ｄｃ５を選択すると、これら画像データＤｃ１〜Ｄｃ５の選択の毎に順次新たなメイキング画像表示枠ＷをＬＣＤ８の表示画面上に並べて表示し、これらメイキング画像表示枠Ｗ内にそれぞれ各画像データＤｃ１〜Ｄｃ５を表示する。
具体的に、画像選択部１０２は、メイキングモードの設定時、図４に示すようにＬＣＤ８の表示画面上に１枠目のメイキング画像表示枠Ｗ１を表示し、例えば１枚目の画像データＤｃ１が選択されると、当該画像データＤｃ１をメイキング画像表示枠Ｗ１内に表示し、これと共に２枠目のメイキング画像表示枠Ｗ２をメイキング画像表示枠Ｗ１に並べて表示する。２枚目の画像データＤｃ２が選択されると、画像選択部１０２は、当該画像データＤｃ２をメイキング画像表示枠Ｗ２内に表示し、これと共に３枠目のメイキング画像表示枠Ｗ３をメイキング画像表示枠Ｗ２に並べて表示する。以下、同様に、画像選択部１０２は、画像データＤｃｎが選択されると、当該画像データＤｃｎをメイキング画像表示枠Ｗｎ内に表示し、これと共にｎ＋１枠目のメイキング画像表示枠Ｗｎ＋１をメイキング画像表示枠Ｗｎに並べて表示する。
しかるに、画像選択部１０２は、１枠目〜ｎ＋１枠目の各メイキング画像表示枠Ｗ１〜Ｗｎ＋１を、１枚目の画像データＤｃ１〜ｎ＋１枚目の画像データＤｃｎ＋１が選択される順序に従って時系列に並べて表示する。

画像選択部１０２は、メイキング画像表示枠Ｗの表示位置を、ＬＣＤ８に表示されている静止画の画像データＤｓ中における主要被写体の写っている領域以外の領域に設定する。すなわち、静止画の画像データＤｓには、図３に示すように主要被写体、例えば２人の人物Ｍ１、Ｍ２が写っているので、画像選択部１０２は、これら人物Ｍ１、Ｍ２が写っている領域以外の領域にメイキング画像表示枠Ｗの表示位置を設定する。
例えば、画像選択部１０２は、静止画の画像データＤｓ中の２人の人物Ｍ１、Ｍ２が写っている領域以外の領域、ここでは２人の人物Ｍ１、Ｍ２の背景領域にメイキング画像表示枠Ｗを表示する。静止画の画像データＤｓ中における２人の人物Ｍ１、Ｍ２の背景領域の判定は、例えば顔検出部３による人物Ｍ１、Ｍ２の各顔部の検出結果から当該各顔部の領域以外の領域を背景領域として判定したり、静止画の画像データＤｓの輝度レベルの変化の一様な領域を背景領域として判定する。

メイキング画像表示枠Ｗは、例えば長方形に形成され、縦横のサイズが予め設定されていたり、又は可変可能になっている。このメイキング画像表示枠Ｗのサイズは、予め設定されている複数のサイズから選択したり、又はＬＣＤ８に表示されているメイキング画像表示枠Ｗ上のタッチパネル８ａにユーザの指等をタッチした状態でスライドすることにより可変することで設定可能である。

画像選択部１０２は、選択された各画像データＤｃ１〜Ｄｃ５の枚数に応じてメイキング画像表示枠Ｗのサイズを変更する。例えば、画像選択部１０２は、静止画の画像データＤｓ中における２人の人物Ｍ１、Ｍ２の背景領域のサイズを判定し、このサイズと各画像データＤｃ１〜Ｄｃ５の枚数とに基づいて各人物Ｍ１、Ｍ２の背景領域内に複数の画像データＤｃ１〜Ｄｃ５が表示可能なように各メイキング画像表示枠Ｗのサイズを可変設定する。

画像選択部１０２は、プリ動画中から複数の画像データ（画像コマ）Ｄｃ１〜Ｄｃ５の選択を一旦終了した後、再度、プリ動画中から画像データ（画像コマ）を選択可能とする。この場合、画像選択部１０２は、再度、記録部４のＲＡＭに記憶された被写体のプリ動画をＬＣＤ８に再生し、当該再生しているプリ動画中からの画像データを再選択する。この再選択も、画像選択部１０２は、タッチパネル８ａに対してユーザの指等がタッチした時点で、ＬＣＤ８に再生されていたプリ動画中から１枚ずつ画像データを抽出する。

画像選択部１０２は、プリ動画中から選択された例えば複数の画像データＤｃ１〜Ｄｃ５毎に、これら画像データＤｃ１〜Ｄｃ５をそれぞれ時間的に前又は後の画像データに変更・調整可能である。時間的に前又は後の画像データの選択は、ユーザの指等のタッチパネル８ａに対してタッチした状態でのスライド方向を判定することにより行われる。タッチ・スライド検出部１０４は、タッチパネル８ａに対するユーザの指等のスライド方向を検出する。画像選択部１０２は、タッチ・スライド検出部１０４により検出されるスライド方向を判定し、このスライドの大きさに応じた時間的に前又は後の画像データを選択する。

図５はプリ動画に含まれる各画像データＤｃ０、…、Ｄｃ１、…、Ｄｃｎの模式図を示す。図６は選択された画像データＤｃ１の概略図を示す。ユーザの指Ｙがタッチパネル８ａにタッチした状態で例えばスライド方向ｆ１にスライドすると、このスライド方向ｆ１がタッチ・スライド検出部１０４により検出され、画像選択部１０２は、図５に示すように画像データＤｃ１よりも時間的に後の画像データＤｃ１＋１側（矢印ｇ１側）の画像データに変更可能とする。当該時間的に後の画像データは、スライド方向ｆ１へのスライドの大きさに応じた時間的に後の画像データに変更可能である。なお、スライド方向ｆ１は、ユーザがＬＣＤ８の表示画面に向かって右側方向である。

一方、ユーザの指Ｙが図６に示すスライド方向ｆ２にスライドすると、このスライド方向ｆ２がタッチ・スライド検出部１０４により検出され、画像選択部１０２は、図５に示すように画像データＤｃ１よりも時間的に前の画像データＤｃ１−１側（矢印ｇ２側）の画像データに変更可能とする。当該時間的に前の画像データも、スライド方向ｆ２へのスライドの大きさに応じた時間的に前の画像データに変更可能である。なお、スライド方向ｆ２は、ユーザがＬＣＤ８の表示画面に向かって左側方向である。

時間的に前又は後の画像データの選択は、ユーザの指Ｙのスライドの大きさに応じた時刻の送り時間又は戻り時間を予め設定し、変更しようとする画像データ、例えば画像データＤｃ１に添付されている時刻データを読み取り、この時刻データに対してユーザの指Ｙのスライドの大きさに応じた時刻の送り時間又は戻り時間を加減算することにより、変更しようとする画像データの時刻を算出し、当該時刻の画像データを選択するようにしてもよい。

なお、画像選択部１０２は、ＬＣＤ８に静止画の画像データＤｓを表示すると共に、メイキング画像表示枠Ｗ内にプリ動画を再生表示し、かつ選択された各画像データＤｃ１〜Ｄｃ５を表示するが、これに限らず、ＬＣＤ８の表示画面の全体にプリ動画を再生表示し、これと共にメイキング画像表示枠Ｗを表示し、このメイキング画像表示枠Ｗ内に選択された各画像データＤｃ１〜Ｄｃ５を表示するようにしてもよい。

合成記録部１０３は、画像選択部１０２により選択された画像データ、例えば図２に示すように静止画の画像データＤｓに対して各画像データＤｃ１〜Ｄｃ５をそれぞれ合成記録する。この場合、合成記録部１０３は、静止画の画像データＤｓに対して各画像データＤｃ１〜Ｄｃ５のうち少なくとも１枚を合成記録する。

進捗状況表示部１０５は、プリ動画の再生中、当該プリ動画の再生の進捗状況を表示する。図７は進捗状況表示部１０５によりＬＣＤ８の表示画面に表示される進捗バー１０５ａを示す。この進捗バー１０５ａは、例えばＬＣＤ８の表示画面における下部に表示され、再生開始時を「０」とし、再生終了時を「１００」としてプリ動画の再生の進捗状況をバーの長さによって表示する。この進捗状況表示部１０５は、進捗バー１０５ａ上に対してユーザの指Ｙがタッチされたか否かを判定し、タッチされると、当該タッチされたバーの位置に対応する再生時間を求め、プリ動画の再生指令を発生する。例えば、進捗バー１０５ａも中間部にタッチされると、進捗状況表示部１０５は、プリ動画の中間時「５０」からプリ動画を再生する指令を発生する。なお、タッチされたバーの位置は、タッチパネル８ａから出力される接触信号から判定できる。

表示制御部１０６は、例えば、通常の撮影モード時又は再生モード時に、信号処理・制御部１によって各種の画像処理された画像データや、メイキングモード時に、画像選択部１０２、合成記録部１０３、タッチ・スライド検出部１０４、進捗状況表示部１０５によって処理された画像テータをＬＣＤ８の表示画面に表示する。

次に、上記の如く構成された装置のメイキングモード時における動作について図８Ａ、図８Ｂに示すメイキング動作フローチャートに従って説明する。
信号処理・制御部１は、ステップＳ１２において、撮影モードであるか否かを判定し、この判定の結果、撮影モードであれば、ステップＳ１３において、メイキングモードであるか否かを判定する。
具体的に、ユーザがモード選択スイッチをオン（ＯＮ）操作すると、信号処理・制御部１は、図９に示すようにモード選択画面４０をＬＣＤ８に表示する。このモード選択画面４０には、メイキングと、時間差と、顔検出合成との各選択モードが表示され、メイキングの選択モードに対応する部分にユーザがタッチすると、当該タッチ位置を含む接触信号がタッチパネル８ａから出力される。信号処理・制御部１は、タッチパネル８ａから出力された接触信号に基づいてメイキングモードが選択されたことを判定する。なお、信号処理・制御部１は、ステップＳ１２での判定の結果、撮影モードでなければ、ステップＳ６１の再生モードに移行し、ステップＳ１３での判定の結果、メイキングモードでなければ、ステップＳ６２でその他のモードに移行する。
ここでは、連写を所定時間差で行う「時間差モード」と、顔の部分だけを合成する「顔検出合成のモード」とを例示したが、他にパノラマ撮影、３Ｄ撮影等のモードを選べるようにしてもよい。

メイキングモードが選択されると、撮影モードである時に、信号処理・制御部１は、ステップＳ１４において、図９に示すようなＬＣＤ８に被写体のスルー画像４１を表示する。このスルー画像４１の表示では、信号処理・制御部１は、交換レンズ部２０に対し、各通信部１４、２８を介してシャッタ１１０を開放し、撮像素子２により撮像を開始させ、この撮像素子２の撮像により取得された１フレーム毎の各画像データを順次記録部４に記憶し、この記憶した画像データに対してライブビュー表示用の画像処理を施し、表示制御部１０６を制御して画像データをＬＣＤ８に表示する。この画像データの表示動作を繰り返すことによってＬＣＤ８には、被写体のスルー画像４１が表示される。

信号処理・制御部１は、ステップＳ１５において、図３に示すように被写体のスルー画像４１が表示されているＬＣＤ８の表示画面上にメイキング画像表示枠Ｗを表示する。この枠Ｗは、例えば主被写体が存在しにくい画面上部左隅等に表示する。この枠Ｗは、その位置や大きさを切り換えることが出来るようにしてもよい。この枠Ｗを意識しながら撮影すれば、画像の合成がユーザの思い通りに出来る。
信号処理・制御部１は、ステップＳ１６において、プリ動画の撮像を開始する。このプリ動画の撮像では、信号処理・制御部１は、交換レンズ部２０に対し、各通信部１４、２８を介してシャッタ１１０を開放した状態で、撮像素子２の撮像により取得された１フレーム毎の各画像データを順次記録部４に記憶し、プリ動画ファイルとして記録部４に記憶する。これと共に信号処理・制御部１は、記録部４に記憶した画像データに対してプリ動画表示用の画像処理を施し、表示制御部１０６を制御してプリ動画表示用の画像データをＬＣＤ８に表示する。

信号処理・制御部１は、ステップＳ１７において、プリ動画の撮像中、被写体の静止画を撮像するか否かを判定する。この静止画の撮像は、操作判定部６におけるレリーズボタンの１ｓｔレリーズスイッチが半押しされ、続いて２ｎｄレリーズスイッチが全押しされたか否かを判定する。この判定の結果、１ｓｔレリーズスイッチが半押されると、信号処理・制御部１は、ステップＳ１８において、ＡＦ処理等の撮影準備動作を行い、続いて２ｎｄレリーズスイッチが全押されると、静止画撮影用のＡＥ動作を行い、撮像素子２を介して得られた静止画の画像データＤｓを画像処理し、この画像処理された静止画の画像データＤｓにヘッダを付与して静止画像ファイルを生成し、この静止画像ファイルを記録部４に記憶する。
この結果、記録部４には、プリ動画を含むプリ動画ファイルと、静止画の画像データＤｓを含む静止画像ファイルとが関連付けられて記憶される。プリ動画は、１ｓｔレリーズスイッチ操作中に撮影されてもよいし、常に撮影しておき静止画撮影前の所定時間（１０秒程度）分を記録するようにしてもよい。このとき、各が画像コマの圧縮は行わないようにしたりして、合成し易くする。

信号処理・制御部１は、ステップＳ１９において、静止画像ファイルを記録部４から読み出し、この静止画像ファイルに含まれる静止画の画像データＤｓに対してレックビュー表示するための画像処理を行い、静止画の画像データＤｓを図９に示すような静止画像４２として表示制御部１０６を介してＬＣＤ８の表示画面の全面に表示する。これによって、意図した撮影がなされたかをユーザは確認可能である。
プリ動画再生開始の操作が操作判定部６に対して行われると、信号処理・制御部１は、ステップＳ２１において、図９に示すようにＬＣＤ８の表示画面に表示されている静止画像４２中のメイキング画像表示枠Ｗを表示し、かつ記録部４からプリ動画ファイルを読み出し、このプリ動画ファイルに含まれるプリ動画の画像データの再生表示をメイキング画像表示枠Ｗ内で開始する。
この枠Ｗは、顔画像に重ならないように出してもよいし、撮影時にすでに枠が出ていたので、当該枠Ｗと主被写体が重ならないようにユーザがフレーミングしていることから、主要被写体に影響しないようになっている。
撮影直後のレックビュー時はまだ正式記録しないでもよいタイミングなので、画像を正式に圧縮して記録する前の生データが残っているので、画像を合成するのに相応しいタイミングである。このタイミングを逃すと、次の撮影のために、ＲＡＭが利用されたり、記録部への記録がなされたりして、不都合が起こる。そのため、次の撮影を行う前のタイミングで行えば、ＲＡＭの容量を小さくしたりして、小型化したり廉価での機器提供が可能となる。

信号処理・制御部１は、ステップＳ２２において、プリ動画の再生画面中に確認ボタン（ＯＫボタン）４４を表示し、かつ進捗状況表示部１０５によってＬＣＤ８の表示画面中に進捗バー１０５ａを表示する。確認ボタン４４は、当該メイキングモードにおける画像合成、すなわち静止画像４２に合成するためにプリ動画ファイル中から選択する画像の選択動作が終了したことを確認するためのボタンである。

進捗状況表示部１０５は、ステップＳ２３において、進捗バー１０５ａ上に対してユーザの指Ｙがタッチされたか否かを判定する。この判定の結果、進捗バー１０５ａ上に対してユーザの指Ｙがタッチすると、進捗状況表示部１０５は、ステップＳ２４において、タッチパネル８ａから出力される接触信号に基づいてタッチされたバー位置に対応する再生時刻を求め、この再生時刻からプリ動画の再生を開始する。これによって、ユーザは何度も動画再生を好きなタイミング（タッチしたバー位置）から再開できる。

プリ動画の再生開始の後、信号処理・制御部１は、ステップＳ３１において、確認ボタン４４が押し操作されたか否か、すなわち確認ボタン４４の表示位置に対応するタッチパネル８ａ上にユーザの指Ｙ等がタッチされたか否かを判定し、タッチされていなければ、ステップＳ４１において、プリ動画を再生表示中のＬＣＤ８のタッチパネル８ａ上に対してユーザの指Ｙ等がタッチされたか否かを判定する。
ここで、ユーザの指Ｙ等がタッチされるタイミングは、ＬＣＤ８に再生表示されているプリ動画中において、例えばユーザが例えば被写体の静止画の画像データＤｓを撮像するに至るまでの被写体の状況、経緯をよく表すシーンや、お気に入りのシーンや残しておきたい大切なシーンの画像の再生時である。そして、これらタイミング時のシーンの各画像は、静止画の画像データＤｓに合成するための画像である。

この判定の結果、ＬＣＤ８上のタッチパネル８ａ上にユーザの指Ｙ等がタッチされると、画像選択部１０２は、ステップＳ４２において、タッチパネル８ａからの接触信号を入力し、この入力時点で、ＬＣＤ８に再生表示されていたプリ動画の画像データ中の１枚の画像データ、例えば図２に示すような画像データＤｃ１を抽出する。この画像データＤｃ１は、信号処理・制御部１によって記録部４に記録される。これと共に画像選択部１０２は、図９に示すように抽出した画像データＤｃ１を表示制御部１０６を介してメイキング画像表示枠Ｗ内に表示する。そして、合成記録部１０３は、静止画の画像データＤｓに対して画像データＤｃ１を合成する。

画像選択部１０２は、ステップＳ４３において、プリ動画中から選択した画像データの枚数が例えば３枚目であるか否かを判定する。なお、プリ動画中から選択する画像データの枚数は、３枚目に限らず、図２に示すように５枚であっても良いし、その他の任意に設定された枚数でもよい。設定された枚数によって、メイキング画像表示枠Ｗの大きさを変えても良い。これによって、沢山の画像コマを選んでも、邪魔にならない表示に出来る。このメイキング画像表示枠Ｗは、一律でなくともよく、タッチパネル８ａ上で手動で大きさを変更できるようにしてもよい。
この判定の結果、画像データの枚数が３枚目でなければ、画像選択部１０２は、ステップＳ２３、Ｓ３１を経由して再びステップＳ４１に戻り、再び、プリ動画の画像データから画像データを抽出するために、プリ動画を再生表示しているＬＣＤ８上のタッチパネル８ａ上に対してユーザの指Ｙ等がタッチされたか否かを判定する。
なお、画像選択部１０２は、図４に示すように１枠目のメイキング画像表示枠Ｗ１をＬＣＤ８の表示画面上に表示し、１枚目の画像データＤｃ１が選択されると、当該画像データＤｃ１をメイキング画像表示枠Ｗ１内に表示する。続いて、画像選択部１０２は、２枠目のメイキング画像表示枠Ｗ２をメイキング画像表示枠Ｗ１に並べて表示する。これらメイキング画像表示枠Ｗ１、Ｗ２の表示位置は、静止画の画像データＤｓ中の２人の人物Ｍ１、Ｍ２が写っている領域以外の領域、ここでは２人の人物Ｍ１、Ｍ２の背景領域に設定される。

２枚目の画像データを選択するために、ＬＣＤ８上のタッチパネル８ａにユーザの指Ｙ等がタッチされると、画像選択部１０２は、上記同様に、ステップＳ４２において、タッチパネル８ａからの接触信号の入力時点に、ＬＣＤ８に再生表示されていたプリ動画の画像データ中の画像データ、例えば図２に示すような画像データＤｃ２を抽出する。この画像データＤｃ１は、信号処理・制御部１によって記録部４に記録される。これと共に画像選択部１０２は、図９に示すように抽出した画像データＤｃ２を表示制御部１０６を介してメイキング画像表示枠Ｗ２内に表示する。そして、合成記録部１０３は、静止画の画像データＤｓに対して画像データＤｃ２を合成する。

続いて、画像選択部１０２は、３枠目のメイキング画像表示枠Ｗ３をメイキング画像表示枠Ｗ２に並べて表示する。これにより、ＬＣＤ８の表示画面には、静止画の画像データＤｓが表示されると共に、この静止画の画像データＤｓ中に写っている各人物Ｍ１、Ｍ２の背景領域に各メイキング画像表示枠Ｗ１、Ｗ２、Ｗ３が並んで表示される。
画像選択部１０２は、上記同様に、ステップＳ２３からステップＳ４１を繰り返すことにより、プリ動画中から例えば図９に示すように３枚の画像データＤｃ１、Ｄｃ２、Ｄｃ３を選択すると、これら画像データＤｃ１、Ｄｃ２、Ｄｃ３をそれぞれ各メイキング画像表示枠Ｗ１、Ｗ２、Ｗ３内に表示する。そして、合成記録部１０３は、静止画の画像データＤｓに対して画像データＤｃ３を合成する。
これら画像データＤｃ１、Ｄｃ２、Ｄｃ３は、プリ動画が再生される時間経過と共に順次選択されるので、各メイキング画像表示枠Ｗ１、Ｗ２、Ｗ３内には、プリ動画再生の時系列に従ってそれぞれ各画像データＤｃ１、Ｄｃ２、Ｄｃ３が表示される。なお、各画像データＤｃ１、Ｄｃ２、Ｄｃ３は、上記の通り、信号処理・制御部１によって記録部４に記録される。
また、ユーザは、一度選択したものを止めたり、新たに動画を見直して追加したりしたくなるので、必ずしも画像選択の順番と撮影時の順番は一致していない場合が多い。このような場合であっても、撮影時の各画像コマの時刻情報に従って、並べ替えることが出来るような制御としてもよい。これによってユーザ操作の自由度を向上させることができる。

プリ動画の再生が終了すると、信号処理・制御部１は、ステップＳ４４において、当該プリ動画の全ての再生が終了したことを確認すると、ステップＳ４５において、静止画の画像データＤｓに対して３枚の画像データＤｃ１、Ｄｃ２、Ｄｃ３をそれぞれ画像合成したか否かを判定する。
この判定の結果、静止画の画像データＤｓに対して３枚の画像データＤｃ１、Ｄｃ２、Ｄｃ３を画像合成していなければ、画像選択部１０２は、例えば図９に示すようなプリ動画の再生の再開を確認するための再生再開確認ボックス４５をＬＣＤ８に表示する。この再生再開確認ボックス４５は、プリ動画の再生再開を許可するボタン（ＹＥＳボタン）４５ａと、プリ動画の再生再開を行わないボタン（ＮＯボタン）４５ｂとを表示する。

プリ動画の再生再開を許可するＹＥＳボタン４５ａに対してユーザの指がタッチすると、画像選択部１０２は、プリ動画中から画像の選択を一旦終了した後、再度、ステップＳ２１に戻り、記録部４のＲＡＭに記憶された被写体のプリ動画をＬＣＤ８に再生し、当該再生しているプリ動画中からの画像データを再選択する。この再選択も、画像選択部１０２は、タッチパネル８ａに対してユーザの指等がタッチした時点で、ＬＣＤ８に再生されていたプリ動画中の１枚の画像データを抽出する。

一方、静止画の画像データＤｓに対して３枚の画像データＤｃ１、Ｄｃ２、Ｄｃ３を画像合成済であれば、画像選択部１０２は、ステップＳ３２において、図９に示すようなプリ動画合成終了確認ボックス４６をＬＣＤ８に表示する。このプリ動画合成終了確認ボックス４６は、プリ動画を合成終了するボタン（ＹＥＳボタン）４６ａと、プリ動画の合成を終了しないためのボタン（ＮＯボタン）４６ｂとを表示する。

合成記録部１０３は、ステップＳ３３において、プリ動画を合成終了するＹＥＳボタン４６ａに対いてユーザの指がタッチし、プリ動画の合成を終了するのか否かを判定する。この判定の結果、プリ動画の合成を終了するのであれば、合成記録部１０３は、ステップＳ５１において、図９に示すように静止画の画像データＤｓと、静止画の画像データＤｓに対して画像データＤｃ１を合成した第１の合成画像データＱ１と、静止画の画像データＤｓに対して２つの画像データＤｃ１、Ｄｃ２を合成した第２の合成画像データＱ２と、静止画の画像データＤｓに対して画像データＤｃ１、Ｄｃ２、Ｄｃ３を合成した第３の合成画像データＱ３とをそれぞれ表示制御部１０６を介してＬＣＤ８にレックビュー表示する。この合成終了を選択しない場合、何度でも合成をやり直せるので、ユーザは安心して最適のシーンの画像コマや全体のバランスを考えて最適な合成画像が作れる。合成枚数を変えたり、画像合成を考えた末、やはりやめることも、もちろん可能である。

画像選択部１０２は、ステップＳ５２において、プリ動画中から選択された例えば複数の画像データＤｃ１〜Ｄｃ３毎に、これら画像データＤｃ１〜Ｄｃ３のいずれかをタッチすることにより選択し、当該選択された画像データＤｃ１、Ｄｃ２又はＤｃ３を時間的に前又は後の画像データに変更・調整する。

具体的に画像選択部１０２は、図１０に示す画像データに変更・調整フローチャートに従い、ステップＳ８２において、図９に示すように静止画の画像データＤｓに対して当該静止画の画像データＤｓを決定するためのＯＫボタン４７をＬＣＤ８に表示すると共に、第１乃至第３の合成画像データＱ１〜Ｑ３に対してそれぞれ当該第１乃至第３の合成画像データＱ１〜Ｑ３を決定するための各ＯＫボタン４８ａ〜４８ｃをＬＣＤ８に表示する。これらＯＫボタン４７、４８ａ〜４８ｃに対するタッチ操作も、画像選択部１０２は、タッチパネル８ａからの接触信号に基づいて各ＯＫボタン４７、４８ａ〜４８ｃのうちいずれかがタッチされたかを判定できる。

画像選択部１０２は、ステップＳ８３において、各ＯＫボタン４７、４８ａ〜４８ｃのうちいずれかがタッチ（押し操作）されたか否かを判定する。例えば、静止画の画像データＤｓに対応するＯＫボタン４７がタッチされると、画像選択部１０２は、ステップＳ９０において、当該静止画の画像データＤｓを決定する。同様に、画像選択部１０２は、画像データＤｃ１に対応するＯＫボタン４８ａがタッチされると、当該画像データＤｃ１を決定し、画像データＤｃ２に対応するＯＫボタン４８ｂがタッチされると、当該画像データＤｃ２を決定し、画像データＤｃ３に対応するＯＫボタン４８ｃがタッチされると、当該画像データＤｃ３を決定する。

画像選択部１０２は、各ＯＫボタン４７、４８ａ〜４８ｃがタッチされなければ、ステップＳ８４において、第１乃至第３の合成画像データＱ１〜Ｑ３の合成元の画像、すなわちＬＣＤ８に表示される選択された画像データＤｃ１、Ｄｃ２又はＤｃ３上のタッチパネル８ａに対してタッチされたか否かを判定する。

この判定の結果、例えば画像データＤｃ１上のタッチパネル８ａに対してタッチされると、画像選択部１０２は、タッチされている時間を計測する。このタッチされている時間は、信号処理・制御部１に内蔵されているタイマーにより計測される。画像選択部１０２は、画像データＤｃ１上のタッチパネル８ａにタッチしている時間が予め設定されたタッチ時間よりも長ければ、タッチが長押しであると判定し、ステップＳ９２において、画像データＤｃ１を記録部４から削除する。
長押し操作は、単純である上に、ユーザがうっかり操作した操作と異なり、ユーザの意志を反映した操作である。同一の場所を押している動作は、スライド操作との違いを判定しやすい。長押し中に消しゴムで消すような微小スライドを行うと、それを検出して消去してもよい。これは消しゴム風の動作で直感的と言える。

一方、タッチが長押しでなければ、画像選択部１０２は、ステップＳ９３において、画像データＤｃ１上のタッチパネル８ａに対してユーザの指等がいずれかの方向、例えば図６に示すように右側方向（ｆ１）にスライドしたか否かを判定する。このスライド方向は、タッチ・スライド検出部１０４により検出される。
このスライド方向の判定結果によって画像選択部１０２は、プリ動画中から選択された例えば複数の画像データＤｃ１〜Ｄｃ５毎に、これら画像データＤｃ１〜Ｄｃ５をそれぞれ時間的に前又は後の画像データに変更・調整可能である。

すなわち、スライド方向の判定の結果、右側スライドでなければ、画像選択部１０２は、ステップＳ９４において、画像データＤｃ１上のタッチパネル８ａに対してユーザの指等がいずれかの方向、例えば左側方向（ｆ２）にスライドしたか否かを判定する。
この判定の結果、左側スライドであれば、画像選択部１０２は、ステップＳ９５において、図５に示すように画像データＤｃ１よりも時間的に前の画像データＤｃ１−１側（矢印ｇ２側）の画像データに変更可能とする。当該時間的に前の画像データも、スライド方向ｆ２へのスライドの大きさに応じた時間的に前の画像データに変更可能である。
一般的に時間軸を二次元表示する場合、右側に向かって時間の進行をとるので、この操作は直感的である。

一方、右側スライドでなければ、画像選択部１０２は、ステップＳ９３からステップＳ９６に移り、図５に示すように画像データＤｃ１よりも時間的に後の画像データＤｃ１＋１側（矢印ｇ１側）の画像データに変更可能とする。当該時間的に後の画像データも、スライド方向ｆ１へのスライドの大きさに応じた時間的に後の画像データに変更する。
この結果、第１の合成画像データＱ１は、図９に示すように静止画の画像データＤｓに対して画像データＤｃ１を合成して取得することに変更がない。
これに対して第２の合成画像データＱ２は、静止画の画像データＤｓに対して画像データＤｃ１、Ｄｃ２ａを合成して取得するものとなり、画像データＤｃ２を画像データＤｃ２ａに変更している。この画像データＤｃ２ａは、画像データＤｃ２よりも時間的に前又は後の画像データである。
第３の合成画像データＱ３も、静止画の画像データＤｓに対して画像データＤｃ１、Ｄｃ２、Ｄｃ３ａを合成して取得するものとなり、画像データＤｃ３を画像データＤｃ３ａに変更している。この画像データＤｃ３ａは、画像データＤｃ３よりも時間的に前又は後の画像データである。

この後、画像選択部１０２は、ステップＳ９７において、画像データの変更・調整を終了するか否かを判定する。画像データの変更・調整を終了しなければ、画像選択部１０２は、ステップＳ９３に戻り、終了するのであれば、ステップＳ８３に戻る。
画像選択部１０２は、ステップＳ５３において、画像データの変更・調整を行った第１乃至第３の合成画像データＱ１〜Ｑ３を記録部４に記録する。

このように上記一実施の形態によれば、メイキングモードに設定されると、被写体の静止画を取得する前後に被写体のプリ動画を取得し、静止画の再生と共にプリ動画を再生し、当該再生中のプリ動画中から当該動画に含む画像コマを選択し、この選択された画像コマを静止画に合成記録する。これにより、プリ動画で撮像された内容は、被写体の静止画を撮像するときの時間的に前後の被写体の状況、経緯を含むものとなり、撮影が行われた際の状況を合わせて簡単に記録でき、思い出深い写真撮影を可能とすることが出来る。すなわち、静止画を撮像する際の状況を簡単に記録でき、当該静止画の撮影の前後の雰囲気を残すことができる。
例えば、被写体のプリ動画を取得した後に、被写体の静止画の画像データＤｓを取得し、この静止画の画像データＤｓをＬＣＤ８に表示すると共に、メイキング画像表示枠Ｗを表示し、このメイキング画像表示枠Ｗ内にプリ動画を再生表示し、当該プリ動画中から複数の画像データＤｃ１〜Ｄｃ５を選択し、これら画像データＤｃ１〜Ｄｃ５をそれぞれ静止画の画像データＤｓに合成する。

プリ動画からの画像データの選択は、ユーザによって例えば被写体の静止画の画像データＤｓを撮像するに至るまでの被写体の状況、経緯をよく表すシーンや、ユーザがお気に入りのシーンや残しておきたい大切なシーンの複数の画像データＤｃ１〜Ｄｃ５を選択するので、これらシーンの各画像データＤｃ１〜Ｄｃ５を静止画の画像データＤｓに合成することによって、ユーザとして、静止画の画像データＤｓを撮像する瞬間と、この静止画の画像データＤｓの撮像の瞬間に至るまでの過程をレックビュー中に選択合成することにより、簡単、迅速に記録することができる。

複数のメイキング画像表示枠Ｗ１、Ｗ２、Ｗ３等を時系列に並べて表示するので、これらメイキング画像表示枠Ｗ１、Ｗ２、Ｗ３等内に表示される各画像データＤｃ１〜Ｄｃ３の時間経過による被写体としての各人物Ｍ１、Ｍ２の動向の変化を容易に観察でき、静止画の画像データＤｓを撮像するに至るまでの状況、経緯が分かる。ここでは、選択の順番に係わらず、撮影時に起こった順番に並ぶので、ユーザのタッチのタイミングがずれても、正しい順序で並ぶ。

画像選択部１０２は、メイキング画像表示枠Ｗの表示位置を、ＬＣＤ８に表示されている静止画の画像データＤｓ中における主要被写体の写っている領域以外の領域、例えば人物Ｍ１、Ｍ２の背景領域にメイキング画像表示枠Ｗを表示するので、人物Ｍ１、Ｍ２等の主要被写体を邪魔することなくメイキング画像表示枠Ｗ内にプリ画像を再生表示でき、かつ静止画の画像データＤｓ中のメイキング画像表示枠Ｗの表示位置は、第１乃至第３の合成画像データＱ１〜Ｑ３を取得するときの各画像データＤｃ１〜Ｄｃ３の合成位置と同一なので、最終的に決定する第１乃至第３の合成画像データＱ１〜Ｑ３を予め認識できる。

メイキング画像表示枠Ｗは、選択された各画像データＤｃ１〜Ｄｃ５の枚数に応じてサイズを変更したり、主要被写体である各人物Ｍ１、Ｍ２の背景領域の大きさに応じてサイズを変更することができる。従って、メイン画像の主要被写体に重なったりして、元の静止画の邪魔をしないようにできる。プリ動画中から複数の画像データは、その時のイメージさえ伝えればよいので、縮小してもその役割を果たすことが出来る。
プリ動画中から複数の画像データＤｃ１〜Ｄｃ５の選択を一旦終了した後、再度、プリ動画を再生表示して画像データを選択することができるので、ユーザによって例えば被写体の静止画の画像データＤｓを撮像するに至るまでの被写体の状況、経緯をよく表すシーンや、ユーザがお気に入りのシーンや残しておきたい大切なシーン、さらには静止画の画像データＤｓを撮像する瞬間と、この静止画の画像データＤｓの撮像の瞬間に至るまでの過程が分かるシーンの画像データを逃すことなく、確実に選択できる。
その上、プリ動画中から選択された例えば複数の画像データＤｃ１〜Ｄｃ５毎に、これら画像データＤｃ１〜Ｄｃ５をそれぞれ時間的に前又は後の画像データに変更・調整可能なので、微妙に変化する上記シーンの画像データを逃すことがない。

進捗状況表示部１０５によってプリ動画の再生中、当該プリ動画の再生の進捗状況を表示するので、プリ動画の再生の進捗状況がバーの長さによって認識でき、かつ進捗バー１０５ａ上のタッチ位置に対応する再生時間からプリ動画の再生表示を開始できる。

１０：カメラ本体、２０：交換レンズ部、３０：電子ビューファインダ（ＥＶＦ）用の接眼部（ＥＶＦ用接眼部）、２１：レンズ制御部、２３：操作部、２４ａ，２４ｂ：駆動部、２５ａ，２５ｂ：位置検出部、２６：レンズ系、２６ａ：ズーム用の光学系、２６ｂ：ピント用の光学系、２７：記録部、２８：通信部、１：信号処理・制御部、２：撮像素子、３：顔検出部、４：記録部、６：操作判定部、８：表示部、８ａ：タッチパネル、９：時計部、１２，１４：通信部、１０１：仮記録制御部、１０２：画像選択部、１０３：合成記録部、１０４：タッチ・スライド検出部、１０５：進捗状況表示部、１０６：表示制御部。

Claims (14)

1. 被写体の静止画撮影の操作の前後に前記被写体の動画を記録部に仮記憶し、
   前記静止画撮影の操作を受けて、前記被写体の静止画を撮影し、
   撮影された前記静止画と前記動画とを表示部に再生し、
   再生中の前記動画から画像コマを選択し、
   選択された前記画像コマを前記静止画における前記被写体以外の領域に合成記録する、
   ことを特徴とする画像合成方法。
2. 前記画像コマが複数選択されると、
   前記再生中の前記動画中から選択された前記複数の画像コマを抽出し、
   これら抽出された画像コマを前記静止画中に撮影時の時系列に並べて表示する、
   ことを特徴とする請求項１記載の画像合成方法。
3. 前記静止画中に表示される前記選択された画像コマのサイズは、当該選択された画像コマの枚数に応じて変更することを特徴とする請求項１記載の画像合成方法。
4. 前記動画中からの前記画像コマの選択は、再選択することを可能とすることを特徴とする請求項１記載の画像合成方法。
5. 前記動画中からの前記画像コマの選択は、前記動画をタッチパネル付の表示部に表示し、前記タッチパネルに対するタッチ操作時に、前記表示部に表示されている前記動画中から前記画像コマを抽出することを特徴とする請求項１記載の画像合成方法。
6. 前記選択された前記画像コマは、前記動画中において当該画像コマの時間的に前又は後の画像コマに調整可能であることを特徴とする請求項１記載の画像合成方法。
7. 前記動画の再生中、当該動画の再生の進捗状況を表示することを特徴とする請求項１記載の画像合成方法。
8. 被写体の静止画撮影の操作の前後に前記被写体の動画を記録部に仮記憶する第１の画像取得部と、
   前記静止画撮影の操作を受けて、前記被写体の静止画を撮影によって取得する第２の画像取得部と、
   表示部と、
   前記表示部に前記静止画と前記動画とを再生し、再生中の前記動画から画像コマを選択する画像選択部と、
   前記画像選択部により選択された前記画像コマを前記静止画における前記被写体以外の領域に合成記録する合成記録部と、
   を具備することを特徴とする画像合成装置。
9. 前記画像が複数選択されると、前記画像選択部は、前記再生中の前記動画中から選択された前記複数の画像コマを抽出し、これら抽出された前記複数の画像コマを前記静止画中に時系列に並べて表示することを特徴とする請求項８記載の画像合成装置。
10. 前記画像選択部は、前記選択された前記画像コマの枚数に応じて前記静止画中に表示するときの前記各画像コマのサイズを変更することを特徴とする請求項８記載の画像合成装置。
11. 前記画像選択部は、前記動画中からの前記画像コマを再選択可能とすることを特徴とする請求項８記載の画像合成装置。
12. 前記動画を表示するタッチパネル付の表示部を備え、
    前記画像選択部は、前記動画を前記表示部に表示し、前記タッチパネルに対するタッチ操作時に、前記表示部に表示されている前記動画中の前記画像コマを抽出する、
    ことを特徴とする請求項８記載の画像合成装置。
13. 前記画像選択部は、前記選択された前記画像コマを前記動画中において当該画像の時間的に前又は後の画像コマに調整可能であることを特徴とする請求項８記載の画像合成装置。
14. 前記動画の再生中、当該動画の再生の進捗状況を表示する進捗状況表示部を有することを特徴とする請求項８記載の画像合成装置。

Images