JP6460783B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置に関し、特に再生効果に関するものである。

従来からデジタルスチルカメラや携帯端末などにおいて、撮影された動画、静止画に対してトランジッション効果を施しつつスライドショーを表示することが行われている。

近年においては、トランジッション効果の効果内容を自動で決定する方法がおこなわれている。

特許文献１では撮影モードに応じてトランジッション効果を決定する方法が記載されている。

特開２０１２−２３４７２

従来の技術では、画像が切り替わる場合にトランジッション効果を施していた。しかし、画像の途中、例えば動画の途中において画角が切り替わる場合においては、動画の途中であってもトランジッション効果を施したほうがよいことがある。

そこで、本発明では、動画において、動画中の画像の切り替わりに応じて、再生効果を施すことが可能な画像処理装置を提供することを目的とする。

上述の目的を達成するため、本発明の画像処理装置は、
動画を再生するための画像処理装置であって、再生される動画の画角の変化を判定する判定手段と、前記判定手段により、動画の画角に変化があると判定された場合に、当該動画にクロスフェード効果を施す画像処理手段とを有し、前記画像処理手段は、動画内の一部領域にサブ動画が合成されている場合は、当該動画の画角に変化があったとしても前記クロスフェード効果を施さないことを特徴とする。

このように、本発明よれば、動画の途中において、画像の切り替わりに応じて、再生効果を施すことが可能となる。

本発明の画像処理装置の外観を示す図である。 本発明の画像処理装置の構成を示す図である。 本発明の静止画・動画同時撮影モードの全体の動作を示すフローチャートである。 本発明の静止画・動画同時撮影モードの撮影後の動作を示すフローチャートである。 ダイジェスト動画として記録される画像を説明するための図である。 画像の画角（視野角）について説明するための図である。 本発明の静止画・動画同時撮影モードで撮影される画像構成及び動画チャプタ参照情報を示す図である アルバム再生機能が実行された際の処理を示すフローチャートである。 アルバム再生において作成されるシナリオと画像表示の例を示す図である。 アルバム再生処理を示すフローチャートである。 再生効果処理を示すフローチャートである。 再生効果処理を説明するための図である。

以下、図面を参照して本発明の好適な実施形態を説明する。

（第１の実施形態）
本実施形態では、本発明に係る撮像装置の一例として、デジタルカメラ１００を説明する。

＜デジタルカメラ１００の外観について＞
図１は、本発明に係る撮像装置の一例としてのデジタルカメラ１００の背面図を示している。

表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６０は、静止画撮影指示を行うための操作部である。動画撮影ボタン７０は、動画撮影指示を行うための操作部材である。操作部６２はユーザからの各種操作を受け付ける各種スイッチ、ボタン等の操作部材より成る操作部であり、ユーザからの操作を受付ける。操作部６２は、デジタルカメラ１００の電源ＯＮ、ＯＦＦを切り替える電源スイッチ、デジタルカメラ１００の動作モードを切り替えるモード切り替えスイッチ、メニュー設定を行うメニューボタン、メニューや設定を指示する十字キーボタンなどが含まれている。記録媒体９１はメモリカードやハードディスク等の記録媒体である。蓋９３は記録媒体９１を収納するための蓋である。

１０４は、被写体を撮影している撮影者を撮影、または、表示部２８に表示されている画像を観賞している鑑賞者を撮影するための、カメラモジュールであり、撮影可能なレンズ、撮像素子等からなる。以後、このカメラをインカメラと呼ぶことする。

インカメラ１０４は、鑑賞者または撮影者を撮影するために、デジタルカメラ１００の表示部２８が設けられている側を撮影するように配置されている。また、図１では、表示部２８が設けられているデジタルカメラの背面側の外観図であるが、デジタルカメラ１００の表側の面には、被写体側を撮影する撮像部であるアウトカメラが設けられている。アウトカメラとサブカメラの光軸（撮影方向）は互いに略平行であり、アウトカメラの光軸（撮影方向）は、サブカメラの光軸（撮影方向）と逆方向に設定されている。

＜デジタルカメラ１００の構成について＞
図２は、本発明の実施例であるデジタルカメラ１００の構成を示すブロック図である。

１０は、デジタルカメラ１００の撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。１１は撮影レンズ、１２は絞り機能を備えるシャッター、１３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、１５は撮像素子１３のアナログ信号出力をディジタル信号に変換して画像データを取得するためのＡ／Ｄ変換器である。これらの、バリア１０、撮影レンズ１１、シャッター１２、撮像素子１３により、アウトカメラが構成されている。

同様に１０１の撮影レンズは撮影レンズ１１とは別にデジタルカメラ１００を使用している撮影者を撮影可能な方向に設置されているズームレンズ、フォーカスレンズを含むレンズ群である。１０２は絞り機能を備えるシャッターである。１０３は撮影者側の光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。これらの、撮影レンズ１０１、シャッター１０２、撮像素子１０３により、インカメラが構成されている。

１４は撮像素子１３や１０３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御部５０により制御される。

インカメラについては、インカメラ撮影機能の有効、無効を設定可能である。インカメラ撮影機能を有効に設定されている場合は、撮像素子１０３から読み出したデータに基づいて生成された画像、つまりインカメラで撮影した画像が外部記録媒体９１に記録されることになる。そして、インカメラ撮影機能を無効にしている場合は、撮像素子１０３を駆動させない、つまり、インカメラでの撮影を行わない。または、撮像素子１０３を駆動させ、撮影は行ったとしても、撮像素子１０３からデータを読み出さずに、外部記録媒体９１への撮像素子１０３の出力に基づく画像の記録は行わないようにする。

２０は画像処理回路（画像処理部）であり、Ａ／Ｄ変換器１５からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露出制御部４０、測距制御部４１に対して制御を行い、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

画像処理部２０において、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。

さらに、画像処理部２０においては、メモリ２５に格納された画像を読み込んでＪＰＥＧ方式やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式での圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ２５に書き込む。また、アウトカメラで撮影した画像と、インカメラで撮影した画像の合成も、この画像処理部２０において行われる。記録する画像の合成の場合は、アウトカメラの画像の上にインカメラの画像を合成する。表示の場合は、アウトカメラ画像の上にインカメラの画像を合成し、さらにその上に、アイコンや情報表示用のビットマップやフォントデータを重ねて合成する。

２２はメモリ制御回路（メモリ制御部）であり、Ａ／Ｄ変換器１５、タイミング発生回路１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。

Ａ／Ｄ変換器１５のデータが画像処理部２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１５のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ２５に書き込まれる。

２４は画像表示メモリ、２１はＤ／Ａ変換器である。２８はＴＦＴ、ＬＣＤ等から成る表示部であり、Ｄ／Ａ変換器２１を介して画像表示メモリ２４に書き込まれた表示用の画像データに基づいて表示を行う。表示部２８を用いて撮像した画像データを逐次表示すれば、ライブ映像を表示する電子ファインダ機能を実現することが可能である。このように、表示部２８は、撮影した画像やさらに、メニューや設定の変更を行うためのグラフィックユーザインタフェースを表示するためにも用いられる。また、表示部２８は、ＴＶ等の外部表示装置に映像信号を出力する端子も備えている。システム制御部５０は、表示部２８に対する表示制御を行うだけでなく、外部表示装置に撮影した画像やグラフィックユーザインタフェースを表示させるように表示制御を行ってもよい。

２５は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ２５はシステム制御部５０の作業領域としても使用することが可能である。

４０は絞り機能を備えるシャッター１２、１０２を個別に制御する露光制御回路（部）である。

４１は撮影レンズ１１、１０１のフォーカシングを個別に制御する測距制御回路（部）、４２は撮影レンズ１１、１０１のズーミングを個別に制御するズーム制御回路（部）、４３はバリア１０の動作を制御するバリア制御回路（部）である。

５０は本デジタルカメラ全体を制御するシステム制御回路（システム制御部）である。

５１は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５１には、プログラムや各種設定情報等が記録されている。

６０はシャッターボタンで、シャッターボタン６０の操作途中（半押し状態）でシャッタースイッチＳＷ１がＯＮとなり、ＳＷ１信号がシステム制御部５０に入力される。ＳＷ１信号が入力されると、システム制御部５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作開始を指示する。そして、シャッターボタン６０を操作完了（全押し）するとシャッタースイッチＳＷ２がＯＮとなり、ＳＷ２信号がシステム制御部５０に入力される。ＳＷ２信号が入力されると、システム制御部５０は、アウトカメラによる静止画の撮影、記録動作の開始を指示する。静止画の撮影、記録動作の開始が指示されると、まず、撮像素子１３から読み出した信号をＡ／Ｄ変換器１５、メモリ制御回路２２を介してメモリ２５に画像データを書き込む露光処理が行われる。そして、メモリ２５に書き込まれた画像データに対して画像処理部２０やメモリ制御回路２２での演算を用いた現像処理が行われ、現像処理が施された画像データに対し、画像処理部２０により圧縮を行ってメモリ２５に格納する。その後、圧縮された画像データをメモリ２５から読み出して、カードコントローラ９０を介して、外部記録媒体９１に画像データを書き込む。このようにして、ＳＷ２信号の入力に応じて、静止画像データの撮影および記録という一連の静止画撮影、静止画記録動作が行われる。

６２は、システム制御部５０の各種の動作指示を入力するための各種ボタンやタッチパネル等からなる操作部である。電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン等である。また、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等も含まれる。さらに、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含まれる。さらに、音声認識装置等を用いてもよく、上記のボタンやタッチパネルを単数あるいは複数の組み合わせで構成される。

７０は動画撮影ボタンであり、動画撮影ボタンが操作（押下）されたことに応じて、システム制御部は、アウトカメラによる動画の撮影を開始するように指示する。動画撮影開始が指示されると、撮像素子１３から信号を読み出し、その信号をＡ／Ｄ変換器１５で変換して画像データ取得し、画像処理部２０により動画圧縮処理を行なって外部記録媒体９１に記憶する。この、動画圧縮処理および記録処理を、周期的に行うことで、動画を外部記録媒体９１に記録する。この動画圧縮処理および記録処理は、再び動画撮影ボタン７０が押下されるまで実行される。再び動画撮影ボタン７０が押下されると、動画圧縮処理を終了し、それまで記録した動画を１つの動画ファイルとして外部記録媒体９１に記録する。

８１は電源制御回路（部）である。

８０はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。

９０はメモリカード等の外部記録媒体とデータの送受信を行うカードコントローラである。９１はメモリカード等の外部記録媒体である。

なお、画像処理部２０、メモリ制御部２２、露光制御部４０、測距制御部４１、ズーム制御部４２、バリア制御部４３、電源制御部８０、カードコントローラ９０等の各部は、それぞれの処理を行うための専用の回路、または、プログラムされたプロセッサである。

＜静止画・動画撮影同時記録モードについて＞
デジタルカメラ１００は、静止画撮影モードとして、静止画・動画撮影同時記録モードを有している。静止画・動画撮影同時記録モードでは、シャッターボタン６０を全押ししたことに応じて、アウトカメラで静止画を撮影して記録すると共に、静止画撮影前にアウトカメラで撮影した動画も外部記録媒体９１に記録する。静止画・動画撮影同時記録モードにおいては、静止画の撮影毎に裏で動画（ショートムービー）を自動的に記録し、静止画・動画撮影同時記録モードで記録した動画（ショートムービー）は、毎回同じ動画ファイルに記録される。そのため、ユーザは何も操作しなくても、静止画撮影時の状況をおさめた動画を自動で作成することができ、さらに、複数回の静止画撮影で得られた動画（ショートムービー）を連続的に観賞することができる１つのダイジェスト動画を得ることができる。以降、静止画・動画撮影同時記録モードにおいて動画（ショートムービー）が記録される動画ファイルをダイジェスト用動画ファイルと呼ぶこととする。静止画・動画撮影同時記録モードは、ユーザが操作部６２に含まれるモード切り替えスイッチにより静止画の撮影モード設定を切り替えることにより、設定可能である。

静止画・動画撮影同時記録モードにおいて、前述したようにインカメラ撮影機能を有効または無効に設定することができる。インカメラ撮影機能を有効に設定することで、インカメラで撮影した画像を、アウトカメラに撮影した画像に重畳合成して記録することが可能である。インカメラ撮影機能の設定は、ユーザが操作部を操作することにより有効または無効に設定可能である。インカメラ撮影機能の設定ではなく、インカメラで撮影した画像の表示の入／切をユーザの操作により設定可能とし、インカメラ画像の表示が入に設定されている場合にインカメラ撮影機能を有効にし、表示が切の場合にインカメラ撮影機能を無効にしてもよい。

また、静止画・動画撮影同時記録モードにおいては、さらに、ユーザが操作部を操作することによりストップモーションの入／切を設定可能である。ストップモーション設定が入に設定されている場合は、撮影した静止画を動画に変換したストップモーションが作成され、作成されたストップモーションが、静止画・動画撮影同時記録モード用の動画ファイルに記録される。つまり、静止画撮影前の動画（ショートムービー）に続いて、ストップモーションが記録される。ストップモーションの設定が切に設定されている場合は、ストップモーションの生成および記録は行われない。また、ストップモーションの設定が入に設定され、かつ、インカメラ撮影機能を有効に設定されている場合には、撮影した静止画のストップモーションに、インカメラで撮影された動画が合成された合成動画が記録される。ここで、ストップモーショントは、静止動画のことである。静止画を撮影したときに得られた１つの画像データを動画データに変換する処理を繰り返し行うことにより、所定時間分の動画データが作成される。１つの画像データから所定時間分の動画データが生成されるため、同じ画像が続く動きのない静止動画となる。

なお、静止画・動画撮影同時記録モードが設定されているときに、動画撮影ボタンで７０が押下された場合には、アウトカメラによる動画の撮影および記録処理が開始され、静止画の撮影は行われない。この時記録される動画には、インカメラ撮影機能の設定が有効に設定されている場合は、インカメラで撮影した動画合成されて記録され、インカメラ撮影機能の設定が無効の場合は、アウトカメラで撮影した動画のみが記録される。

つまり、静止画・動画撮影同時記録モードが設定されている場合、シャッターボタン６０により静止画の撮影指示があった時には、静止画と動画が記録されるが、動画撮影ボタン７０により動画撮影の指示があっても、動画は記録されるが静止画は記録されない。

＜静止画・動画撮影同時記録モードでの撮影処理について＞
図３、図４は、デジタルカメラ１００の静止画・動画撮影同時記録モード時の撮影動作について説明する。なお、これらの処理は、システム制御部５０が不揮発性メモリ５１から読み出したプログラムに基づいて各部の制御や演算処理、判断等を行うことにより実現される。

まず、デジタルカメラ１００において、静止画・動画撮影同時記録モードが選択されると、ステップＳ３０１において、露出制御部４０によって制御された適正露出の撮像素子１３の出力を基に表示用画像を生成する。つまり、アウトカメラで撮影したメイン画像に基づいて表示用画像が生成される。以後、アウトカメラの撮像素子１３の出力から作成された画像をメイン画像と呼ぶこととする。生成した表示用画像は、メモリ２５に一時的に格納する。

ステップＳ３０２では、アウトカメラの撮像素子１３の出力であるメイン画像を基に動画記録用画像（メイン動画）を生成する。以後、アウトカメラの撮像素子１３の出力から作成された動画をメイン動画と呼ぶこととする。生成した動画記録用画像は、メモリ２５に一時的に格納する。

ステップＳ３０３では、デジタルカメラ１００に設定されているインカメラに関する設定を確認する。インカメラ撮影機能が有効となるように設定されていた場合、ステップＳ３０４に進み、ステップＳ３０４〜Ｓ３０８の処理が行われる。インカメラ撮影機能が無効となるように設定されていた場合には、ステップＳ３０４〜Ｓ３０８処理は行わずに、ステップＳ３０９に進む。

ステップＳ３０４では、デジタルカメラ１００に設定されているインカメラの表示位置、表示サイズに関する設定を不揮発性メモリ５１から取得する。本実施形態では、インカメラの表示位置、表示サイズをユーザがメニュー等で指示することができ、設定された表示位置、表示サイズの情報が不揮発性メモリ５１に格納されている。

ステップＳ３０５にでは、露出制御部４０によって制御された適正露出の撮像素子１０３の出力を基に、表示用のインカメラ画像を生成する。生成される画像のサイズは、ステップＳ３０４で取得したサイズを基に生成される。

ステップＳ３０６において、ステップＳ３０１で作成したメイン画像の表示用画像とステップＳ３０５で作成された表示用インカメラ画像とを合成して、表示用合成画像を生成する。このとき作成される画像は、メイン画像の上にインカメラ画像が重畳合成された画像になる。表示用のメイン画像５００に重畳して表示用インカメラ画像５０１を配置する場合、表示用インカメラ画像５０１を重畳する位置は、ステップＳ３０４で取得したインカメラ表示位置情報に従う。ステップ３０６で生成さした表示用合成画像は、ステップＳ３０１でメモリ２５に格納した表示用画像を上書きする形でメモリ２５に一時的に格納する。つまり、メモリ２５に格納される表示用画像が、ステップＳ３０１で生成したメイン画像から、ステップＳ３０６で生成した合成画像に置き換えられる。なお、本実施形態では、メイン画像の上にインカメラ画像を重畳合成したが、インカメラ画の上に、小さなメイン画像を重畳合成するようにしてもよい。

ステップＳ３０７では、露出制御部４０によって制御された適正露出の撮像素子１０３の出力を基に動画記録用のインカメラ動画を生成する。以後、インカメラの撮像素子１０３の出力から作成された動画をインカメラ動画と呼ぶこととする。生成されるインカメラ動画のサイズは、ステップＳ３０４で取得したサイズを基に生成される。

ステップＳ３０８では、ステップＳ３０２で作成した動画記録用のメイン動画とステップＳ３０７で作成された動画記録用のインカメラ動画を合成して動画記録用の動画として合成動画を生成する。インカメラ動画の合成位置は、表示用画像と同様の位置に合成されるようにするため、ステップＳ３０６と同様にインカメラ表示位置情報に従って、動画記録用メイン動画に動画記録用インカメラ動画を重畳して合成動画を作成する。つまり、Ｓ３０１またはＳ３０６で生成される表示用画像とＳ３０２またはＳ３０８で生成される動画記録用の画像サイズは、メイン画像、インカメラ画像ともにそれぞれ異なっている。しかし、表示用画像と動画記録用画像とで、メイン画像、インカメラ画像のサイズの比率が同じになるように作成され、表示されている画像と記録される画像が同じとなるようにそれぞれ表示用画像、動画用画像を作成する。３０８で生成した動画記録用の合成動画は、動画記録用画像としてメモリ２５に一時的に記録する。つまり、メモリ２５に記録される動画記録用画像が、ステップＳ３０２で生成したメイン動画から、ステップＳ３０８で生成した合成動画に書き換えられる。

ステップＳ３０９では、メモリ２５に一時的に格納されている表示用画像を表示部２８に表示する。つまり、インカメラ撮影機能が有効に設定されている場合は、ステップＳ３０６で生成した、合成画像が表示され、インカメラ撮影機能が無効の場合は、ステップＳ３０１で生成したメイン画像が表示される。

次に、ステップＳ３１０において、メモリ２５から動画記録用画像を読み出して画像処理部２０により動画圧縮処理を行い、動画データへと圧縮し、メモリ２５に格納する動画記録用画像の動画圧縮処理を開始する。インカメラ撮影機能が有効の場合は、ステップＳ３０８で生成した合成画像に基づいて動画データを生成し、インカメラ撮影機能が無効の場合は、ステップＳ３０２で生成したメイン画像に基づいて動画データを生成して、メモリ２５に格納する。また、動画データの圧縮とともに不図示のマイク等で入力された音声データについてもシステム制御部５０に含まれる音声圧縮処理を用いて、圧縮し、メモリ２５に格納する。ステップＳ３０１〜Ｓ３１０の処理は、基本的には、静止画・動画撮影同時記録モードの間繰り返し実行されることになる。そこで、ここでは、リングバッファ形式で最大４秒間分の圧縮された動画データをメモリ２５に保持しておく。

このように、ステップＳ３０１〜Ｓ３１０においては、表示用画像の生成および表示処理と、動画記録用画像の生成および動画圧縮処理（メモリ２５への一時記録）が行われる。これらの処理は、上記の順番に限定されない。表示用画像の生成および表示処理と、動画記録用画像の生成および一時記録を並行して実行してもよい。

次に、ステップＳ３１１において、静止画、動画同時記録モードからのモード変更が行われたか判定する。モード切り替えスイッチによるほかの撮影モードの変更や再生モードへの移行、メニューボタンによる設定メニューへの移行、電源スイッチによる電源ＯＦＦなどがモード変更に含まれる。ステップＳ３１１においてモード変更が行われたと判断された場合は、ステップＳ３１２に進み、動画圧縮処理を終了し、メモリ２５に格納していた動画データ、音声データを破棄して、静止画、動画同時記録モードを終了する。ステップＳ３１１においてモード変更が行われていないと判断された場合は、ステップＳ３１３に進む。

ステップＳ３１３では、撮影設定の変更が行われたか確認する。変更されたかを確認する撮影設定項目としては、ホワイトバランス、露出補正値、ＭＦ・マクロ撮影などのフォーカス方法切り替え、静止画の画像サイズや圧縮率など撮影時に被写体や状況に応じて、即座に切り替えが必要となる撮影条件が含まれる。これらの撮影設定は、操作部６２に含まれる割り当てられた撮影設定変更ボタンや表示部２８に併設されたタッチパネルへのユーザ操作に応じて、ユーザが撮影設定を変更するためのＧＵＩ画面を表示中の画面に一時的に重畳して提供する。このＧＵＩ画面において操作部６２またはタッチパネルを操作することより撮影設定を変更することができる。ステップＳ３１３において撮影設定が変更されたと判断された場合は、ステップＳ３１４に進み、ユーザの変更に応じて撮影設定を変更し、撮影設定が変更されていない場合は、ステップＳ３１５に進む。

ステップＳ３１５では、インカメラの設定の変更が行われたか確認する。インカメラの設定に関してもユーザの操作に応じて設定可能な項目がある。設定可能な項目としては、表示位置、表示サイズ、また、インカメラの撮影機能の有効・無効の切り替えがある。これらのインカメラに関する設定項目についても操作部６２や表示部２８に併設されたタッチパネルへのユーザ操作に応じてユーザが設定を変更できる。

ステップＳ３１５でインカメラの設定が変更されたと判定された場合は、ステップＳ３１６に進み、動画圧縮処理を停止し、メモリ２５に格納していた動画データ、音声データを破棄する。これは、インカメラ表示の設定を変更するとそれまでに記録された動画データとこれから撮影される動画データでインカメラ表示の切り替わりが記録され、動画データの品位が低下することを防ぐ目的がある。次に、ステップＳ３１７において、変更されたインカメラの設定が、インカメラ撮影機能の有効・無効設定であるかを確認する。ステップＳ３１７においてインカメラ撮影機能の有効・無効が切り替えられたと判定された場合は、ステップＳ３１８でインカメラ設定の有効・無効をユーザの指示に従って変更する。そして、ステップＳ３０１に戻り、変更された設定に基づいて、ステップＳ３０１からの処理を再度行う。ステップＳ３１７において変更されたインカメラの設定がインカメラ撮影機能の有効・無効ではなくインカメラ表示の位置、サイズであると判定された場合は、ステップＳ３１９において、ユーザの指示に従ってインカメラ表示の位置、サイズをそれぞれ変更する。その後、ステップＳ３０１に進み、新たに設定された内容に応じて再度ステップＳ３０１からの処理を行う。

インカメラの設定が変更されていない場合は、ステップＳ３１５からステップＳ３２０に進む。ステップＳ３２０では、シャッターボタン６０が半押しされ、ＳＷ１信号が入力されたか確認する。ＳＷ１信号が入力されていなければ、ステップＳ３２１の処理を行わずにステップＳ３２２へ進む。ＳＷ１が入力された場合は、ステップＳ３２１に進み、デジタルカメラ１００に設定されているフォーカスモードや露出モードに応じた合焦・露出処理、つまり前述の撮影準備動作を行う。

ステップＳ３２２において、シャッターボタン６０が全押しされ、ＳＷ２信号が入力されたか確認する。ＳＷ２信号が入力されていなければ、ステップＳ０１に戻り、処理を繰り返す。ステップＳ３２２において、ＳＷ２信号が入力されたと判定した場合、ステップＳ３２３において、表示部２８の画像表示を一時停止すると共に、ステップＳ３１０で開始した動画圧縮処理を一時停止させる。ここでは、すでにメモリ２５に格納されている動画データおよび音声データは保持しておく。

次に、ステップＳ３２４において、アウトカメラの撮像素子１３の出力を基に記録用の静止画データ（メイン静止画）を撮影する。そして、ステップＳ３２５において、ステップＳ３２４で撮影した静止画データ（メイン静止画）から、画像確認用のレビュー用画像を生成する。そして、ステップＳ３２６において、画像処理部２０によりステップＳ３２４で撮影した静止画データ（メイン静止画）に対して静止画圧縮処理を行い、記録用の静止画データ（ＪＰＥＧデータ）を生成し、メモリ２５に格納する。ここで、静止画・動画撮影同時記録モードにおいては、インカメラの撮影機能の有効無効の設定に関わらず、インカメラ画像が合成されていないメイン画像のみが静止画として外部記録媒体９１に記録されるため、メイン静止画に対して静止画圧縮処理を行っている。

その後、図４に示すステップＳ４０１へ進む。

ステップＳ４０１では、ステップＳ３２６でメモリ２５に格納された静止画データ（ＪＰＥＧデータ）を１つの静止画ファイル（ＪＰＥＧファイル）として外部記録媒体９１に記録する。

次に、ステップＳ４０２において、メモリ２５に格納されている動画記録用の動画データの動画記録時間（撮影時間）が、所定の時間（）ｔ０より長いか否かの判定を行う。本実施形態では、ｔ０＝２秒とする。ステップＳ４０２において、動画記録時間が２秒以上であると判定した場合はステップＳ４０３へ進み、２秒よりも短いと判定した場合はステップＳ４０４へ進む。

ステップＳ４０３において、メモリ２５に格納されている動画データ、音声データを外部記録媒体９１に記録する。ここで、動画データおよび音声データは、外部記録媒体９１に記録されているダイジェスト用動画ファイルに動画データおよび音声データを追加するようにして記録する。外部記録媒体９１にダイジェスト用動画ファイルがない場合は、新しくダイジェスト用動画ファイルを作成して、メモリ２５から読み出した動画データおよび音声データを記録してもよい。また、撮影日が切り替わった場合や、動画データのサイズが所定のサイズよりも大きくなった場合には、新しいダイジェスト用動画ファイルを作成して記録するようにしてもよい。外部記録媒体９１への動画データの記録形式については、後に図６を参照して詳しく説明する。ステップＳ４０４では、メモリ２５に格納していた動画データ、音声データを破棄する。つまり、動画記録時間（撮影時間）が２秒よりも短い場合は、ステップＳ３２５において静止画を撮影する前に撮影して、メモリ２５に一時保存していた動画データおよび音声データは外部記録媒体９１に記録されず保存されない。これは、あまりに短い動画だと、撮影時の状況を確認することができないため、本実施形態では、２秒よりも短い場合は外部記録媒体９１に記録しないようにしている。

次にステップＳ４０５において、ステップＳ３２５で作成したレビュー用画像を、表示部２８に表示する。この表示により、ユーザは、撮影した静止画を確認することができる。

ステップＳ４０６において、インカメラの撮影機能が有効か無効かの判定を行う。インカメラ撮影機能が有効であると判定した場合はステップＳ４０７へ進み、ステップＳ４０７〜Ｓ４１４のインカメラ画像を合成した静止画撮影後動画の生成処理を行う。インカメラ設定が無効の場合はステップＳ４１８へ進む。

ステップＳ４０７では、ステップＳ３２４でアウトカメラで撮影したメイン静止画から動画記録用のストップモーション画像を生成する。つまり、メイン静止画を動画データに変換する。ここで、外部記録媒体９１に記録する静止画と動画のアスペクト比が異なる場合は、ストップモーション画像にメイン静止画全体が含まれるようにメイン静止画のリサイズ処理をおこない、メイン静止画領域以外は黒塗りにてストップモーション画像を生成する。例えば、静止画のアスペクトが４：３で動画のアスペクトが１６：９の場合、左右の領域を黒塗りしたストップモーション画像が生成される。

次に、ステップＳ４０８では、ステップＳ３０５と同様に、撮像素子１０３の出力を基に表示用のインカメラ画像を生成する。

そして、ステップＳ４０９では、ステップＳ３０６と同様に、表示用合成画像を生成する。ただし、ステップＳ４０９では、ステップＳ３２４でアウトカメラで撮影したメイン静止画の上に、ステップＳ４０８で生成したインカメラ画像を合成して表示用合成画像を生成する。

次に、ステップＳ４１０では、ステップＳ３０７と同様に、撮像素子１０３の出力を基に動画記録用のインカメラ動画を生成する。

そして、ステップＳ４１１では、ステップＳ４０９で生成した表示用合成画像を表示部２８に表示する。ここでは、アウトカメラで撮影し外部記録媒体９１に記録される静止画の上にインカメラで撮影した画像が動画として表示される。

次に、ステップＳ４１２において、ステップＳ３０８と同様に、動画記録用画像として、インカメラ動画を合成した合成動画を生成する。ただし、ステップＳ４１２では、ステップＳ４０７で生成したストップモーション画像の上に、ステップＳ４１０で生成したインカメラ動画を合成して動画記録用合成画像を生成する。

そして、ステップＳ４１３では、ステップＳ３１０と同様に、ステップＳ４１２において生成した合成動画に対して動画圧縮処理を行って動画データを生成し、静止画撮影後動画データとしてメモリ２５に格納する。また、動画データの圧縮とともに、不揮発性メモリ５１にあらかじめ記憶してあるシャッター音データおよび、不図示のマイク等で入力された音声データについてもシステム制御部５０に含まれる音声圧縮処理を用いて、圧縮し、メモリ２５に格納する。

ステップＳ４１４では、ステップＳ４１３にて生成しメモリ２５に格納されている静止画撮影後動画データの動画記録時間（撮影時間）が所定の時間ｔ１以上であるかの判定を行う。本実施形態では、ｔ１＝２秒とする。動画データの動画記録時間が２秒以上であると判定した場合はステップＳ４２０へ進む。動画データの動画記録時間が２秒よりも短いと判定した場合は、ステップＳ４０８へ進み、ステップＳ４０８〜Ｓ４１４の処理を繰り返す。つまり、インカメラ撮影機能が有効に設定されている場合、静止画のレビュー表示を開始した後に、静止画撮影後動画データの動画記録時間が２秒になるまで、インカメラにより動画が撮影される。そして、静止画撮影後動画データの動画記録時間が２秒になるまで、ストップモーション画像とインカメラ動画を合成した画像の表示と、合成画像の動画圧縮処理が繰り返される。

また、ステップＳ４１１において、アウトカメラ撮影して外部記録媒体９１に記録した静止画を表示している間に、インカメラにより動画を撮影している。そのため、表示部２８により撮影した静止画を確認しているユーザ（撮影者）の表情をインカメラで撮影して、静止画と共に記録することができる。

ステップＳ４１５において、静止画撮影前に撮影した動画記録用の動画データの動画記録時間（撮影時間）がｔ０以上であるか否か判定を行う。動画記録時間の判定の代わりに、ステップＳ４０４において動画データのキャンセル処理が行われたか否かを判定してもよい。静止画撮影前動画の動画記録時願がｔ０より短いためキャンセル処理が行われた場合は、ステップＳ３０１へ戻り、最初から処理を繰り返す。静止画撮影前動画の動画記録時願がｔ０以上でありキャンセル処理が行われなかったと判定した場合はステップＳ４１６へと進む。

ステップＳ４１６では、ストップモーション設定が入か切かの判定を行う。ストップモーション設定が入の場合はステップＳ４１７へ進み、ストップモーション設定が切の場合は、ステップＳ３０１へ戻る。

ステップＳ４１７では、ステップＳ４０７と同様にストップモーション画像を生成する。

次に、ステップＳ４１８において、ステップＳ４１７で生成したストップモーション画像に対して動画圧縮処理を行い、静止画撮影後動画データとしてメモリ２５に格納する。ここで圧縮する音声データは不揮発性メモリ５１にあらかじめ記憶してあるシャッター音データおよび無音データである。

ステップＳ４１９において、ステップＳ４１８にて動画圧縮処理を行い、メモリ２５に一時保存されている静止画撮影後動画データの動画記録時間（撮影時間）が、所定の時間ｔ２以上であるかの判定を行う。本実施形ではｔ２＝１秒とする。ステップＳ４１９において静止画撮影後動画データの動画記録時間が１秒以上であると判断されるまで、ステップＳ４１７で生成された、同じｓｔｏｐ ｍｏｔｉｏｎ画像を使って、ステップＳ４１８のストップモーション画像の動画圧縮処理が繰り返される。繰り返しにより新しく生成された動画データは、メモリ２５に既に記憶されている静止画撮影後動画データに追加されていく。そのため、動画圧縮処理（ｓｔｅｐ Ｓ４１８）を繰り返すことにより、静止画撮影後動画データの動画データ（動画フレーム）の数は増加する。同じストップモーション画像を使って生成された動画データが時間ｔ２（１秒）となるまで繰り返し記録されるので、静止画撮影後動画データは時間ｔ２（１秒）の静止動画となる。

ステップＳ４２０において、ステップＳ４１３またはステップＳ４１９にて動画圧縮処理により作成した静止画撮影後動画データを外部記録媒体９１に記録する。記録する際は、ステップＳ４０３と同様にダイジェスト用動画ファイルの動画データおよび音声データに追加するようにして記録する。つまり、ステップＳ４０３で静止画撮影前の動画データを記録している場合には、静止画撮影前動画データに続いて静止画撮影後動画データが記録されることになる。

ステップＳ４２１において、ステップＳ４２０の静止画撮影後動画データの記録が完了したか否かの判定を行う。静止画撮影後動画データの記録が完了したと判定した場合は、メモリ２５に一時保存している動画データを消去し、Ｓ３０１に戻る。

＜記録されるダイジェスト用動画について＞
次に、図５Ａ、図５Ｂを参照して、記録されるダイジェスト用動画について説明する。

まず、静止画動画同時記録モードにおいて記録されるダイジェスト動画は、インカメラの設定が入になっている場合は、５０３、５０４、５０７、５０８のように、インカメラの画像がアウトカメラで撮影した画像の上に重畳合成される。インカメラの設定が切の場合は、５０１、５０２、５０５、５０６のように、アウトカメラで撮影した画像のみが記録される。また、静止画の記録画像サイズの設定によって、記録されるダイジェスト動画が変わる。まず、静止画撮影前動画については、静止画撮影の画像サイズ（アスペクト比）に関係なく、１６：９の動画が記録される。これに対し、静止画撮影後動画については、静止画を元にアウトカメラの画像（ストップモーション）を生成するので、静止画の画像サイズ（アスペクト比）の設定によって、生成される動画が変化する。静止画のアスペクト比が１６：９の場合は、静止画から同じアスペクト比のストップモーションを生成して記録する（５０５）。もし、インカメラの設定が入になっている場合は、ストップモーションの上にインカメラの動画を合成して記録する（５０７）。

静止画のアスペクト比が４：３の場合については、記録するダイジェスト動画のアスペクト比が１６：９なので、撮影した４：３の静止画の画像を変倍し、更に左右の両端に黒画像を付加して１６：９の画像を生成する。そして、黒画像を付加して生成した画像からストップモーションを生成して静止画撮影後動画として記録する（５０６）。インカメラ設定が入りの場合は、黒画像を付加して生成したストップモーションの上に、インカメラで撮影した動画を合成して静止画撮影後動画を生成する（５０８）。

このように、ダイジェスト用動画のアスペクト比と異なるアスペクト比で、静止画の記録サイズが設定されている場合は、撮影後動画において、黒画像が付加されて記録されることになる。

ここで、図５Ｂにおいて、アウトカメラの撮像素子５２０（１３）のうち、４：３で使用する領域５２２を破線で示している。それに対し、１６：９の画像を撮影する際には、実線で示す領域５２１を使用している。１６：９の撮影で使用する領域５２１は、４：３の撮影で使用する領域５２２に内接している。そのため、４：３の領域５２２は、１６：９の領域５２１よりも、上下方向に大きい。したがって、焦点距離ｆ１で１６：９の撮影をする場合の上下方向の画角をＭ（視野角）、同じ焦点距離ｆ１で４：３の撮影を行う場合の上下方向の画角（視野角）をＮとすると、Ｍ＜Ｎとなる。そして、図５Ａのように、４：３で静止画撮影をした場合、１６：９で撮影した静止画撮影前動画の後に、４：３の静止画を、上下の端を１６：９の動画と合わせて変倍して記録する。そのため、記録される動画は、静止画撮影前動画と静止画撮影後動画との切り換え部分で、画角がＭからＮに大きく変化する。連続する画像であるのにも関わらずに、急激に画角が変化するため、連続しない異なるシーンの画像である印象を与えてしまう可能性がある。そこで、本実施形態のデジタルカメラでは、連続する画像（動画）において画角が急激に変化する場合に、連続する画像であることをユーザが認識できるように再生効果を施す。この再生効果を施す処理については後述する。

＜ファイル構成及び動画チャプタ参照情報＞
図６は、静止画動画同時撮影記録モードにおいて記録される画像の構成および動画のチャプタ参照情報を説明するための図である。図６（ａ）は、静止画動画同時撮影記録モードにおいて記録される静止画および動画の撮影の時系列の関係を示す図である。図６（ｂ）は撮影された静止画および動画の記録形態を示す模式図、図６（ｃ）はチャプタ参照情報の構成例である。

図６（ａ）を用いて撮影指示および撮影画像の時系列を説明する。前述したように静止画・動画撮影同時記録モードではユーザがシャッターボタン６０を全押して静止画撮影指示（レリーズ）を行うことにより、ＳＷ２が入力され、静止画の撮影および動画の撮影が行われ、撮影した画像が記録される。Ｐ１はレリーズ１の静止画撮影指示に応じて撮影される静止画であり、Ｍ１は静止画Ｐ１に関連した、静止画Ｐ１を撮影する前に撮影した動画である。同様にレリーズ２〜レリーズ３に応じて撮影される静止画Ｐ２〜Ｐ３に関連した動画はそれぞれ、Ｍ２〜Ｍ３となる。

図６（ｂ）を用いて図６（ａ）で説明した撮影操作に従って撮影された静止画Ｐ１〜Ｐ３、および動画Ｍ１〜Ｍ３の記録媒体９１上での記録形式を説明する。ステップｓ４０１での静止画記録処理、および、ステップＳ４０３、Ｓ４２０の動画データ記録処理では、これから説明する記録形式で、静止画ファイルおよび動画ファイルが記録される。

レリーズ１により撮影された動画Ｍ１はＤＣＦ規則に則り記録媒体９１内の撮影日を表すディレクトリ名“１００＿１０１０”（ディレクトリ６２１）に動画ファイル“ＭＤＧ＿０００１．ＭＯＶ”（６２２）として保存される。以降のファイル名決定もＤＣＦ規則に従うこととする。一方同時に撮影された静止画Ｐ１は静止画ファイル“ＩＭＧ＿０００２．ＪＰＧ”（６２７）として同じディレクトリ（６２１）に保存される。ここで、Ｍ１は、ストップモーション画像が記録されない。Ｍ１はチャプタ１（６２４）に、動画ストリームとして記録される。次にレリーズ２により撮影された動画Ｍ２は動画ファイル“ＭＤＧ＿０００１．ＭＯＶ”の中にチャプタ２（６２５）として追記される。一方同時に撮影された静止画Ｐ２は静止画ファイル“ＩＭＧ＿０００３．ＪＰＧ”（６２９）として同じディレクトリ（６２１）に保存される。そのため、チャプタ２に記録される動画は、Ｍ２に続いて、Ｐ２から生成したストップモーション画像が挿入されている。次に、レリーズ３により撮影された動画Ｍ３は、静止画撮影前に撮影されたＭ３を使用せずに、Ｐ３のストップモーション画像が記録されるものとする。Ｐ３のストップモーション画像が、チャプタ３（６２６）として、動画ファイル“ＭＤＧ＿０００１．ＭＯＶ”の中にチャプタ２（６２５）として追記される。一方同時に撮影された静止画Ｐ３は静止画ファイル“ＩＭＧ＿０００４．ＪＰＧ”（６２９）として同ディレクトリに保存される。また、それぞれのチャプタには、動画ストリームの他に音声データとチャプタ情報が記録される。そしてチャプタ情報として撮影時間情報が文字列として記録される。

チャプタを追記する際には、動画ファイル“ＭＤＧ＿０００１．ＭＯＶ”のヘッダに部に、チャプタ参照情報（６２３）が記載され、ヘッダ部を参照することにより、動画ファイル全体を解析しなくてもそれぞれのチャプタに関する情報を取得することができる。静止画・動画撮影同時記録モードにおいては、静止画および動画を記録する際に、撮影日に応じたディレクトリ内に記録する。撮影日に対応するディレクトリがない場合は作成する。そして、撮影日に対応するディレクトリ内に、まず動画ファイルを生成してから、静止画ファイルを生成する。そのため、動画ファイルのファイル番号（ＤＣＦ番号）は、静止画ファイルのファイル番号（ＤＣＦ番号）よりも小さくなる。通常、ファイルの生成順にファイル番号（ＤＣＦ番号）を付与する。そのため、図４のように、先に静止画データを記録してから動画データを記録する場合には、撮影日に対応するダイジェスト用動画ファイルが存在するかを確認し、ない場合には、静止画を記録する前に予めダイジェスト用動画ファイルを生成しておくとよい。このように、複数の静止画撮影において撮影した動画を１つの動画ファイルに記録するが、静止画撮影において撮影した動画毎にチャプタ分けして記録するため、それぞれの動画を区別可能となる。

図６（ｃ）を用いてヘッダ部に記載される情報について説明する。ヘッダ部には、動画ファイルに関する情報として６３１と６３２が記載され、チャプタ参照情報（６２３）として６３３〜６３８の情報が記載される。６３１は動画ファイルサイズであり、チャプタ追記の度にファイルエントリに記載の動画ファイルサイズの値に更新される。６３２は動画総フレーム数であり、同様にチャプタ追記の度に合計のフレーム数で更新される。６３３はチャプタ番号であり、チャプタ毎に後述する各チャプタ情報がチャプタ追記毎に追加されていく。６３４はチャプタの撮影日時であり、本実施例では関連する静止画の撮影日時と同じものを設定する。そのため、静止画ファイルに記録される静止画の撮影日時情報とチャプタ参照情報の撮影日時情報６３４とにより、関連する静止画と動画を対応付けることができる。６３５はチャプタの開始フレームであり、この情報をもとに各チャプタの直接再生が可能となる。６３６は各チャプタのフレーム数であり、この情報をもとにチャプタの再生フレーム数を決定可能となる。６３７はメイン画像認証情報であり、撮影時に、アウトカメラで撮影した画像について個人認証を行い、認識した個人の識別情報（名前等）が記されている。６３８は、メイン画像顔情報であり、アウトカメラで撮影した画像について顔検出を行い、検出した顔情報（顔の位置・個数）が記されている。

６３９はインカメラのサブ画像の有無および合成位置であり、この情報をもとにインカメラ画像の有無に応じた再生制御、一例としてインカメラ画像のあるチャプタのみの連続再生等が行える。また、合成位置情報として、アウトカメラで撮影したメイン画像に対しする、インカメラで撮影したサブ画像の、縦方向のオフセット位置Ｘ、縦方向のオフセット位置Ｙ、および、サブ画像の横幅Ｗ、縦幅Ｈの４つの情報が格納されている。そのため、対応するチャプタにおいて、動画からインカメラで撮影した動画のみを切りだして再生することも可能になる。６４０はサブ画像認証情報であり、撮影時に、インカメラで撮影した画像について個人認証を行い、認識した個人の識別情報（名前等）が記されている。６４１は、サブ画像顔情報であり、インカメラで撮影した画像について顔検出を行い、検出した顔情報（顔の位置・個数）が記されている。メイン画像顔情報６３８においても、合成位置と同様に、検出した顔領域について、メイン画像に対する縦横それぞれのオフセット位置、縦横それぞれのサイズが記録されている。サブ画像顔情報６４１も同様に、検出した顔領域について、サブ画像に対する縦横それぞれのオフセット位置、縦横それぞれのサイズが記録されている。６４２はストップモーションの有無及びストップモーションが挿入されているフレーム範囲をストップモーション情報である。ここではチャプタ内の相対フレーム情報として表現されている。チャプタ１に対する情報は０−０であり、これはストップモーションが無いことを明示的に表すこととする。チャプタ２に対する情報９０−１７９はチャプタ内先頭から９０フレームより１７９フレームがストップモーションであることを表す。ここでチャプタ２はフレーム数が１８０フレームであることから、後半半分がストップモーションとなる。チャプタ３に対する情報は０−１７９であり、チャプタ３のフレームカウントが１８０であることからチャプタ３はすべてがストップモーションであることを表す。この情報により、ストップモーションの有無及びストップモーションのフレーム位置の判定が可能となる。

６４３は、チャプタ内の途中で、画像の画角が急激に変化しているかを示す画角変化情報である。図５において説明したように、ストップモーションが記録されている場合には、静止画を撮影する前に撮影した動画と、静止画に対応するストップモーションとで、画像の画角が変わってしまうと、画角が変わらない場合がある。そのため、チャプタ内において、ストップモーションへ切り換わるタイミングにおいて、画像の画角が変わっているかを示す情報を格納している。図６（ｃ）において、チャプタ１については、ストップモーションが挿入されていないので、画角変化はない。この場合、画角変化情報は記録しなくてもよいし、画角変化がないことを記録してもよい。チャプタ２については、画角変化ありと示されている。ストップモーション情報には、９０−１７９と記されているので、チャプタ２内の０−８９フレームと９０−１７９フレームとで画像の画角が異なり、チャプタ内先頭から９０フレームにおいて、画角が変化していることが分かる。このように、画角変化の情報を用いて、チャプタ内で画角の変化があるかを判断することができるようになる。本実施形態では、画角の変化があるか否かについての情報を画角変化情報として記録したが、画角が変化するフレーム情報を記録してもよい。また、画角が変化したフレームの情報と、変化の前後の画角の情報とを記録するようにしてもよい。このように記録された画角変化情報を使用して画角の変化を判断する場合、記録された画角情報に基づいて、画角の変化の大小を判断し、変化が小さい場合は、画角の変化がないものと判断するようにしてもよい。

ここで述べたチャプタ参照情報は動画の部分削除等の編集の度にも動画ストリームと整合性を保つためにメンテナンスする必要がある。動画の編集が行われた場合、デジタルカメラ１００は、システム制御部５０の制御により、６３１〜６３８の情報を編集内容に応じて適切にメンテナンスを行い、チャプタ情報を変更して動画ファイルを上書きする。一方、このチャプタ参照情報を解釈できない編集機器がこの動画を編集した場合チャプタ参集情報と動画ストリームの整合が崩れ不適格なフレームを指示することになる。このため本実施例のデジタルカメラでは、システム制御部５０がチャプタ参照情報を使用する際、同時に記載されているファイルサイズ（６３１）がファイルエントリに記載されているファイルサイズと一致するかの判定を行う。このことにより、不一致が起これば、チャプタン参照情報の整合が取れないと判断し、チャプタ参書情報を使用しない。あるいは、不一致を検出した場合、ストリーム中のチャプタ情報等からチャプタ参照情報を作り直して記録するようにしてもよい。

＜アルバム再生機能＞
ここで、本実施形態のデジタルカメラ１００は、再生モードにおいてアルバム再生を選択することができる。アルバム再生機能では、アルバム再生が選択された時に表示されている画像に関連する画像（静止画および動画）を、デジタルカメラ１００が外部記録媒体９１に記録されている複数の画像の中から自動的に抽出する。そして、抽出した画像を順に再生（表示）したり、選択した画像が順に再生される動画を生成したりする。

このアルバム再生におけるデジタルカメラ１００の動作について、図７を用いて説明する。この処理は、再生モードにおいて、画像を表示している際に、所定の操作部を操作してアルバム再生を指示することにより開始される。図７のフロー図は、システム制御部５０が、不揮発性メモリ５１から読み出したプログラムに基づいてデジタルカメラ１００の各ブロックを制御することにより実行される処理を示す。なお、本実施形態のアルバム再生は、指定された日付に撮影された画像データから所定数の画像を抽出する例について説明するが、たとえば、指定された人物に関連する画像から所定数の画像を抽出するようにしてもよい。また、ユーザによる評価値（お気に入り度、レーティング）が上位の画像データ群から所定数の画像を抽出するようにしてもよい。

まず、アルバム再生が指定されると、ステップＳ７０１において、システム制御部５０は、最後に表示部２８に表示していた画像データの撮影日時情報を取得する。そして、同じ日時に、静止画撮影モードにて記録された、静止画ファイル及び、静止画・動画記録モードにて記録された静止画ファイル、及び動画ファイルを特定する。特定された静止画ファイルと動画ファイルに含まれる画像がアルバム再生の対象となる。

次に、ステップＳ７０２において、システム制御部５０は、特定された静止画ファイルと、動画ファイルの各チャプタを１時間ごとのグループ（部分集合）に分類する。なお、グループに分ける場合は１時間単位で単純に区切ってもよいが、連続性のある撮影が行われている可能性もあるので最短距離法を用いて、１時間程度の単位になるように分類してもよい。

次に、ステップＳ７０３において、システム制御部５０は、分類されたグループ単位で、画像の抽出を行う。ここで抽出された画像が、アルバム再生における再生対象の画像となる。アルバム再生において、再生対象として抽出された静止画については４秒表示し、動画については、抽出されたチャプタの動画を表示する。そして、目標とされる総再生時間が約２分であるものとする。すなわち静止画と動画のシーンの数は、２（分）×６０（秒換算）÷２（秒）＝６０（シーン）である。本実施例では、各グループ内で、動画のシーンと静止画のシーンが、１：３程度の割合になるように、各グループ内で、動画と、静止画とで別々に評価を行い、評価値の高い動画と静止画とを抽出する。なお、静止画の表示時間については４秒に固定されるものではない。本実施例では説明を容易にするために動画と同じ４秒として説明をした。

ここで、動画の評価値の算出方法について説明する。ここではあるチャプタに属する動画の評価値を算出の例について説明する。まず、チャプタ［Ｍ］の評価値ＭｏｖｉｅＶａｌｕｅ［Ｍ］は、チャプタ［Ｍ］のチャプタ参照情報中の、顔の位置や個数を示す情報（顔検出情報）を用いて、評価値を算出する。具体的には、チャプタ［Ｍ］内の検出された顔の位置が中心に近いほど評価値を高く算出し、また、顔の大きさが大きいほど評価値を高く算出する。さらに、インカメラで撮像された画像の評価値をさらに加えてもよい。たとえば、チャプタ［Ｍ］のチャプタ参照情報中の、インカメラで撮像された画像の顔の位置や個数を示す情報（顔検出情報）を用いて評価値を算出する。そして、算出された評価値を評価値ＭｏｖｉｅＶａｌｕｅ［Ｍ］に加算する。このようにして動画の評価値を算出する。静止画に関してもその画像中の顔の大きさ、位置、個数または笑顔度等の情報を用いて評価値を算出する。

次に、ステップＳ７０４において、システム制御部５０は、カメラマン表示に使用する動画を含む動画のチャプタを特定する。カメラマン表示とは、インカメラで撮像された画像のみを表示するものである。本実施例では、Ｓ７０３で抽出された動画のチャプタの中でさらに、インカメラで撮像された画像の評価値の高いシーンをカメラマン表示に使用するものとする。そのためシステム制御部５０は、Ｓ７０３で抽出されたチャプタのチャプタ参照情報に基づいて、インカメラで撮像された画像中の顔の位置や個数を示す情報に基づいて、インカメラで撮像された画像の評価値を算出する。そして、その上位３つのチャプタをカメラマン表示に使用する動画を含む動画のチャプタであると、特定する。

なお、デジタルカメラ１００にあらかじめ、人物や顔を特定するための特徴画像と識別子が関連付けられた「辞書」が保存されている場合は、インカメラで撮像された画像に、「辞書」に登録された人物や顔を含むチャプタを優先して選択するようにしてもよい。

次に、ステップＳにおいて、システム制御部５０は、Ｓ７０３で抽出した静止画と動画とを時系列順に表示し、Ｓ７０４で特定されたチャプタのインカメラで撮像された画像を切り出した画像を表示するためのアルバムシナリオを作成する。本実施形態では静止画を４秒表示するようにシナリオを作成する。作成されるシナリオについては、後に詳しく説明する。作成したシナリオは、アルバム再生や保存の処理において使用するため、メモリ２５に２５に格納する。

次に、ステップＳ７０６において、システム制御部５０は、Ｓ７０５で作成され、メモリ２５に格納されているシナリオに従って、順次画像を表示部２８に表示する。静止画ファイルに対応する静止画を表示するときは、システム制御部５０は、シナリオによって再生対象とされる静止画ファイルを外部記録媒体９１からカードコントローラ９０を介して読み出すように制御する。そして、読みだした静止画ファイルの画像を画像処理部２０で伸張させて表示部２８に表示するようにメモリ制御２２、画像表示メモリ２４、Ｄ／Ａ変換器２１等を制御する。このとき連続して４秒この静止画の画像が表示されるように制御する。一方、特定されたチャプタに対応する動画を表示する場合、そのチャプタの含まれる動画ファイルのチャプタ参照情報に従って、そのチャプタの動画のフレームが動画ファイルの動画の何フレーム目から何フレーム目までかを特定する。そして、システム制御部５０は、動画ファイルのヘッダを参照し、対象フレームのファイルオフセットを特定し、対象の動画データを外部記録媒体９１からカードコントローラ９０を介して読み出すように制御する。そして、読みだした動画データを画像処理部２０で伸張し、伸張した動画データの画像を順次表示部２８に表示するように表示制御部１４１を制御する。

最後に、カメラマン表示を行う場合の処理について説明する。本実施例では前述のように、静止画・動画記録モードで、インカメラを「有効」にしていた場合、アウトカメラで撮像された画像とインカメラで撮像された画像とを合成し、さらに動画として圧縮された状態で記録媒体に記録している。そのため、カメラマン表示を行うためには、インカメラで撮像された画像の合成位置、合成サイズを特定しなければならない。本実施例では、チャプタ参照情報にインカメラで撮像された画像の合成情報（合成位置、合際サイズ）が格納されているので、その情報に基づいて、画像の切り出し（トリミング）を行い、画像を抽出する。そこで、システム制御部５０は、Ｓ７０４で特定された、カメラマン表示に使用する動画を含むチャプタの動画をチャプタ参照情報に従って、特定する。そして、そして、システム制御部５０は、動画ファイルのヘッダを参照し、対象フレームのファイルオフセットを特定し、対象の動画データを外部記録媒体９１から読みだすように記録再生部１５０を制御する。そして、読みだした動画データを画像処理部２０に伸張させる。次に、システム制御部５０は、チャプタ参照情報に含まれる合成情報（合成位置、合際サイズ）に基づいて、インカメラで撮像された画像の合成されている領域を特定し、その領域を切り出す（トリミング）ように画像処理部２０を制御する。そして切り出された画像と、「ｃａｍｅｒａｍａｎ」等のテキスト情報を合成するように画像処理部２０を制御し、合成した画像を表示部２８に表示するように表示制御部１４１を制御する。なお、このとき、切り出されたインカメラで撮像された画像を画面中央にくるように移動させたり、拡大したりしてもよい。

次に、ステップＳ７０７において、アルバム再生により抽出された画像の再生（表示）を行うか、保存を行うかを、ユーザに選択させる。具体的には、表示部２８に、アルバム再生について、再生、または、保存のどちらを行うかをユーザに選択させる選択画面を表示させる。ユーザは、操作部６２を操作して、再生または保存を選択する。システム制御部５０は、再生の指示が入力されたか、保存の指示が入力されたかを判定する。再生の指示が入力された場合（Ｓ７０７で再生）、ステップＳ７０６に戻り、アルバム再生処理を再び実行する。

Ｓ７０７で、保存の指示が入力された場合、システム制御部５０は、シナリオに従った画像の表示をすることができる動画データを生成する。画像処理部２０を制御し、画像処理部２０で生成された動画を外部記録媒体９１に記録する。このとき、システム制御部５０は、Ｈ．２６４やＨ．２６５等の圧縮符号化技術を用いて、シナリオに従った表示画像を圧縮して動画データを生成する。

以上のように本実施例のデジタルカメラ１００は、アルバム再生において、外部記録媒体９１に記録された、所定の範囲または条件によって絞り込まれた複数の画像群から、評価値の高い画像を自動で抽出して順次表示することができる。さらに、ここで行ったアルバム再生と同様の表示を後でも行うことができるように、アルバム再生での表示と同様の動画データを生成することもできる。

＜シナリオとシナリオに基づくアルバム再生について＞
次に、図８を参照してステップＳ７０５で作成されるアルバム再生のシナリオと、ステップＳ７０６におけるアルバム再生について詳しく説明する。

図８は、アルバム再生において作成されるシナリオと画像表示の例を示している。

図８（ａ）は、ステップＳ７０５において作成されるシナリオの例を示している。

８０１はシーン番号情報であり、アルバムシナリオのシーン番号である。

８０２はファイルパス情報であり、そのシーンで再生される画像のファイルパスが記されている。

８０３はチャプタ情報であり、ファイルパス情報８０２で示される画像ファイルが動画の場合に、再生するチャプタが記されている。

８０４は表示フレーム数情報であり、そのシーンが何フレームで構成されているか記載されている。ここでの１フレームの表示時間は１／３０秒、つまり１秒で３０フレーム表示される。

８０５は再生効果情報であり、再生対象の画像に施す再生効果の種類が記されている。再生効果の種類としては、ズームアウト、スライド、ストップモーションクロスフェード、撮影者、効果なし、等がある。８０６は、再生効果情報８０５の補足情報を示す効果サブ情報である。

８０７は背景色情であり、「撮影者効果」の下地の色を示す情報である。

８０８は、文字列情報であり、画像に重畳させてどのような文字列を表示するか記されている。なお、ここで記された文字列に対応するラスタデータは不揮発性メモリに予め格納されている。

ステップＳ７０５において、Ｓ７０３で再生対象として抽出された静止画および動画のチャプタをアルバム再生するため、図８（ａ）のようなシナリオが作成されるが、以下のように作成される。

Ｓ７０３で再生対象として抽出された静止画および動画のチャプタについて、再生順でシーン番号が割り当てられる。そして、それぞれの静止画または動画を示す画像ファイルのファイルパスが、ファイルパス情報８０２に記載される。再生対象の画像が動画の場合は、チャプタ情報８０３に、再生対象のチャプタの番号が記載される。表示フレーム数情報８０４には、そのシーンを構成するフレーム数、つまり、再生対象の画像を表示する期間がフレーム数として記載される。本実施形態において静止画は４秒表示すると設定されているため、再生対象の画像が静止画の場合は、表示フレーム数情報８０４に１２０と記載される。再生対象の画像が動画の場合は、再生対象として指定されたチャプタ全体が表示されるように、再生対象のチャプタのフレーム数が記載される。

再生効果情報８０５には、再生対象の画像に施す再生効果の種類が記載されているが、再生効果の種類としては、「ズームイン」、「ズームアウト」、「スライド」、「ストップモーションクロスフェード」、「撮影者」、「効果なし」、等がある。再生対象の画像が静止画の場合には、「効果なし」「ズームアウト」「ズームイン」「スライド」をランダムに付与していく。再生対象の画像が動画の場合は、「効果なし」、または、「ストップモーションクロスフェード」の付与をおこなう。再生対象の動画に対して「ストップモーションクロスフェード」効果を施すか否かは、再生対象の動画チャプタのチャプタ参照情報における画角変化情報参照して決定する。図５を参照して説明したように、静止画・動画記録モードにおいて、静止画のアスペクト比が、ダイジェスト動画のアスペクト比（１６：９）と異なるアスペクト比で設定される場合がある。この場合、動画（チャプタ）の途中であるにもかかわらず、動画の画角が切り替わってしまう。記録される動画（チャプタ）は、連続する１つの動画であるにも関わらず、画角が切り替わり、時間的に連続しない画像であるかのように見えてしまうことになる。そこで、本実施形態では、画角変化情報において、画角変化があると記載されているシーン（動画のチャプタ）については、ストップモーションクロスフェード効果を施して再生する。ストップモーションクロスフェード効果では、ストップモーションが挿入されることにより画角が変化するタイミングの動画、つまり画角が切り換わる前後のフレームに対して、クロスフェード効果を施す。この処理については、後に詳しく説明する。再生効果情報８０５に再生効果が記載された場合は、効果サブ情報８０６に、再生効果で使用するための補足情報を記載する。例えば、再生効果情報８０５がズームアウトの場合は、静止画の全体の画角を１００％として、どの程度ズームアウトさせるかを記載する。再生効果情報８０５がスライドの場合は、どの位置からスライドを開始するか、または、スライドの方向等の情報を記載する。再生効果情報８０５がストップモーションクロスフェードであった場合は、チャプタ内のストップモーション開始フレームと、インカメラ画像が合成されているかを示す情報が記載される。また、シーン番号１には、アルバム再生される画像の撮影日が分かるように、文字列情報８０８に撮影日を記載する。また、再生効果が「撮影者」の場合は、背景色情報８０７に背景色の色を、文字列情報８０８に「Ｐｈｏｔｏｇｒａｐｈｅｒ」と記載する。さらに、効果サブ情報８０６には、再生対象画像中に合成されているインカメラ画像の領域を示す情報（縦横のオフセット位置、縦横のサイズ）を記載する。このように作成されたシナリオに基づいて、ステップ７０６においてアルバム再生が行われる。

次に、ステップＳ７０６で行われるアルバム再生について説明する。以下の処理は、システム制御部５０により、演算処理やデジタルカメラ１００の各部を制御することにより実行される。

シーン番号順に画像が再生されるため、まずはシーン番号１で指定されている画像から順に以下の処理が行われる。シーン番号に対応する画像のファイルパス情報８０２に基づいて、外部記録媒体９１から画像を読み出すが、動画の場合は、動画ファイル全体を読み出さずに、チャプタ情報８０３で指定されているチャプタのみを読み出す。読み出した画像を表示するとき、表示フレーム数情報８０４で指定されているフレーム数に対応する長さで、再生対象の画像を表示部２８に表示する。また、再生効果情報８０５に再生効果が設定されている場合には、再生効果情報８０５と効果サブ情報８０６とを使用して、画像処理部２０により再生効果を施して表示する。文字列情報８０８に文字列が設定されている場合には、画像の所定の位置に指定されている文字を画像処理部２０において合成してから表示する。再生効果として「撮影者」が設定されている場合には、効果サブ情報だけでなく、背景色情報８０７、文字列情報８０８を用いて再生効果を施して表示する。撮影者効果を施す場合は、ファイルパス情報で指定された再生対象の画像から、効果サブ情報で指定されているインカメラの領域を切り出す。そして、背景色情報で指定された背景色のべた塗り画像の上に、切り出したインカメラ画像と、文字列情報に指定されている文字とを合成して表示する。

このような処理を全てのシーンに対して順に行うことで、アルバム再生の再生対象として抽出された画像に、自動的に再生効果を施して、順に表示部２８に表示することができる。

図８（ｂ）は、図８（ａ）のシナリオに基づいて、アルバム再生する場合に、再生（表示）される画像を示す図である。

まず、シーン番号１で指定されている画像が再生される。ファイルパスで指定されている画像が動画であるので、チャプタ情報を参照し、チャプタ情報で指定されているチャプタ１のみが再生される。再生効果はないが、文字列情報に撮影日が指定されているので、読みだした画像に撮影日が合成された画像が、表示フレーム数情報で指定されている１８０フレーム分表示される。

次に、シーン番号２で指定されている画像が再生される。ファイルパスで指定されている画像が静止画であるので、チャプタ情報は参照しない。再生効果としてズームアウトが指定されているので、まずは、ズームアウト効果を施した画像を表示し、その後、静止画がそのまま（再生効果を施さずに）表示する。ズームアウト再生効果での表示と合わせて、表示フレーム数情報で指定されている１２０フレーム分表示される。

次に、シーン番号３で指定されている画像が再生される。ファイルパスで指定されている画像が動画であるので、チャプタ情報を参照し、チャプタ情報で指定されているチャプタ２のみが再生される。再生効果はないため、再生効果は施さずに、表示フレーム数情報で指定されている１２０フレーム分表示される。

次に、シーン番号４で指定されている画像が再生される。ファイルパスで指定されている画像が動画であるので、チャプタ情報を参照し、チャプタ情報で指定されているチャプタ５のみが再生される。再生効果としてストップモーションクロスフェードが指定されているため、ストップモーションクロスフェード処理を施し、表示フレーム数情報で指定されている１２０フレーム分表示される。ストップモーションクロスフェード処理については、後に詳しく説明する。

このように順に再生していき、シーン番号５０では、再生効果として撮影者が指定されているため、ファイルパスで指定されている画像について、効果サブ情報で指定されている領域が切りだされた画像が、文字列情報で指定されている文字列と共に表示される。このような画像が、表示フレーム数情報で指定されている６０フレーム分表示される。

＜アルバム再生処理のフローチャート＞
図９は、上記で説明したアルバム再生の詳細な処理を示すフローチャートである。

まず、ステップＳ９０１では、ステップＳ７０５で作成され、シーン総数ＭａｘＮをメモリ２５に保存されているシナリオより取得する。図８（ａ）のシナリオの場合、１６００が取得される。

ステップＳ９０２では、現在表示しているシーン番号変数のＮを初期値である１に設定する。

ステップＳ９０３では、シーン番号Ｎに対応する表示フレーム数情報８０４を取得し、ＭａｘＤｉｓｐＦｒａｍに設定する。図８（ａ）のシナリオで、シーン番号Ｎ＝１の場合は、ＭａｘＤｉｓｐＦｒａｍｅ＝１８０となる。

ステップＳ９０４では、シーン番号Ｎに対応するファイルパスＰａｔｈをファイルパス情報８０２から取得する。図８（ａ）のシナリオで、シーン番号Ｎ＝５０の場合はＰａｔｈ＝ＤＣＩＭ／１００＿１０１０／ＭＤＧ＿０００１．ＭＰ４となる。

ステップＳ９０５では、先ほど取得したファイルパスＰａｔｈが動画であるか判断をおこなう。

動画であった場合は、ステップＳ９０６に進み、チャプタ情報８０３を取得し、動画のどの箇所を再生させるか取得をおこなう。

ステップＳ９０７ではメモリ２５に保存されているシナリオより再生効果情報８０５の取得をおこなう。

ステップＳ９０８では、取得した再生効果情報８０５で指定されている再生効果について、効果サブ情報が必要であるかを判断し、必要であればステップＳ９０９で効果サブ情報８０６の取得をおこなう。

ステップＳ９１０では、同様に背景色情報８０７の取得をおこなう。

ステップＳ９１１では、同様に文字列情報８０８の取得をおこなう。

ステップＳ９１０、Ｓ９１０については、ステップＳ９０８、Ｓ９０９と同様に、再生効果情報８０５に基づいて、背景色情報、または、文字列情報が必要かを判断し、必要と判断された場合にのみ取得するようにしてもよい。

続くステップＳ９１２では、現在表示中のフレーム番号を示す変数ＤｉｓｐＦｒａｍｅに初期値である０を代入する。

ステップＳ９１３では、表示する画像を外部記録媒体９１からシステム制御部５０、カードコントローラ９０等を介して読み出し、画像処理部２０にてデコードし、メモリ２５に格納する。ファイルパスＰａｔｈに対応するファイルが静止画の場合は、その画像を読み出してデコードする。動画の場合は、ファイルパスＰａｔｈに対応するファイルから、チャプタ情報で指定されるチャプタにおいて、そのチャプタの先頭からＤｉｓｐＦａｒａｍｅ番目のフレームを外部記録媒体９１から読み出してデコードする。

ステップＳ９１４では表示部２８の表示サイズを元にデコードした画像を変倍するための変倍率の算出をおこなう。変倍率はステップＳ９１３にてデコードしたデコード後のサイズと表示部２８の表示サイズの比率から変倍率を求める。ここで、デコード後のサイズがＨＤ（１２８０ｘ７２０）であり、表示部２８が６４０ｘ３６０とすると、０．５倍に変倍する。

ステップＳ９１５では、表示する画像（ＤｉｓｐＦｒａｍｅの画像）を取得する。再生対象が静止画の場合は、デコートした画像に対して、ステップＳ９１４で決定した変倍率への変倍処理や、効果情報、効果サブ情報に基づく再生効果を施す処理を画像処理部２０により実行する。

ステップＳ９１６では、ステップＳ９１１で取得した文字列情報をもとに、ステップＳ９１５で再生効果を施して取得した画像に、文字列を合成する処理を行う。

ステップＳ９１７では、ステップＳ９１０にて取得した背景色となるベタ塗り画像の背景と、ステップＳ９１５で再生効果を施して取得した画像を合成する処理を行う。

なお、Ｓ９１６、Ｓ９１７は、文字列や背景色が設定されていない場合は、この処理をスキップしてもよい。

ステップＳ９１８では、ステップＳ９１３〜Ｓ９１７で得られた画像（フレーム）を表示部２８に表示する。

ステップＳ９１９ではＤｉｓｐＦｒａｍｅを１だけインクリメントする。

ステップＳ９２０ではＤｉｓｐＦａｒａｍｅがＭａｘＤｉｓｐＦｒａｍｅを超えたか確認を行い超えていれば、ステップＳ９２１に進みそうでなければステップＳ９１３に戻る。つまり、ＤｉｓｐＦａｒａｍｅがＭａｘＤｉｓｐＦｒａｍｅとなるまで、ステップＳ９１３〜Ｓ９１９の処理を繰り返す。再生対象の画像が静止画の場合は、Ｓ９１３では同じ処理の繰り返しとなるので、静止画でＤｉｓｐＦａｒａｍｅ＞０のとき、つまり、静止画でＳ９０３の処理を繰り返す場合は、Ｓ９１３の処理を行わずにスキップしてもよい。

ステップＳ９２１ではシーン番号Ｎがシーン総数ＭａｘＮを超えたか判断を行い超えていれば処理を終え、そうでなければステップＳ９０２に戻る。

＜再生効果処理＞
次に、Ｓ９１５の再生効果処理について、図１０のフローチャート、図１１のストップモーションクロスフェード処理の説明図を用いて詳細に説明する。

まず、図１１（ａ）は、クロスフェード処理の処理フロック図である。なお、この処理は、画像処理部２０において実行される。

ステップＳ９１３でデコードされた画像（ＹＣｂＣｒ形式の画像）は、１１０１において変倍処理が行われる。この変倍処理では、Ｓ９１４で設定された変倍率で変倍される。

変倍されたＹＣｂＣｒ画像データは、ＹＣｂＣｒ合成処理ブロック１１０２の入力１に入力される。そして、ＹＣｂＣｒ合成処理１１０２で合成処理された合成処理済みのＹＣｂＣｒ画像は、出力されると共に、ＹＣｂＣｒ合成処理ブロック１１０２の入力２に入力される。ＹＣｂＣｒ合成処理ブロック１１０２では、入力１と入力２から入力された２つ画像を、設定された合成比率で合成して、出力する。この合成比率はシステム制御部５０の制御により変更可能である。入力１：入力２＝１００：０の場合は、入力１の画像が出力されることになる。

図１０は、Ｓ９１５の再生効果処理のフローチャートである。再生効果処理についてこのフローチャートを参照して詳細に説明する。このフローについても、図７と同様に、システム制御部５０が読みだしたプログラムに基づいて実行する。

まず、ステップＳ１０００では、ステップＳ９１４にて算出された変倍率をＹＣｂＣｒ変倍処理１１０１に設定する。

ステップＳ１００１では、ステップ９０７で取得した再生効果情報８０５が、「ストップモーションクロスフェード」効果であるかを確認する。ストップモーションクロスフェードの場合はステップＳ１００３に進み、それ以外の効果の場合は、ステップＳ１００２に進む。

ステップＳ１００２では、設定されている効果に応じて、変倍率やトリミング範囲の再設定を行い、ＹＣｂＣｒ変倍処理１１０１に設定する。例えば、ズームインズームアウトが設定されている場合は、効果サブ情報８０６に記載されている情報に基づいて、変倍率を変更する。また、撮影者の場合は、効果サブ情報８０６からインカメラ画像が合成されている領域を判断して、その部分の画像をトリミングするための設定を行う。

Ｓ１００３では、効果サブ情報８０６から、よりストップモーション開始フレームを取得する。ストップモーションクロスフェードの場合、効果サブ情報８０６には、ストップモーション開始フレームと、インカメラ画像が合成されているかが記載されているので、効果サブ情報８０６から取得する。

ステップＳ１００４では、現在処理中のＤｉｓｐＦｒａｍｅが、ストップモーション開始フレーム以上であるかを判定する。ＤｉｓｐＦｒａｍｅが、ストップモーション開始フレーム以上である場合はステップＳ１００５へ進み、そうでなければステップＳ１００７へと進む。

ステップＳ１００５では、効果サブ情報から、ストップモーションにインカメラ画像が合成されているかどうかを確認する。インカメラ画像が合成されている場合はステップＳ１００７へ進み、インカメラ画像が合成されていない場合はステップＳ１００６へと進む。

ステップＳ１００６では、ＹＣｂＣｒ合成処理１１０２での合成比率を（入力１、入力２）＝（５０、５０）に設定し、ステップＳ１００８へと進む。合成比率を（入力１、入力２）＝（５０、５０）に設定することにより、画像の合成が行われて、クロスフェード処理が施されることになる。

ステップＳ１００７では、ＹＣｂＣｒ合成処理１１０２の合成比率を（入力１、入力２）＝（１００、０）に設定し、ステップＳ１００８へと進む。合成比率が（入力１、入力２）＝（１００、０）に設定される場合、入力１の画像が出力されるので、合成は行われず、クロスフェード処理は施されないことになる。つまり、ストップモーションの挿入により画角が切り替わっている場合であっても、ストップモーションにインカメラの画像が合成されている場合は、クロスフェード効果が施されないようになる。また、インカメラ画像の画像が合成されているかを、ステップＳ１００７で判断せずに、シナリオを作成する際に判断して、インカメラが合成されている場合は、再生効果を「効果なし」に設定してもよい。

ステップＳ１００８では、ステップＳ１０００，Ｓ１００２にて設定された変倍率やトリミング設定で、ＹＣｂＣｒ変倍処理１１０１によりトリミング、変倍処理をおこなう。

次に、ステップＳ１００９では、ステップＳ１００６またはステップＳ１００７にて設定された合成比率を用いて、ＹＣｂＣｒ合成処理１１０２において合成処理をおこなう。このとき、現在処理中のＤｉｓｐＦｒａｍｅの画像データを、入力１として入力し、入力２には、前回の処理で出力された画像データを入力する。

ステップＳ１０１０では、次フレームの効果処理のために、処理後の画像データをバッファリング処理する。つまり、この合成処理後の画像データが、次の入力２となる。

このような処理により、ストップモーションクロスフェード処理が施された場合の画像について、図１１（ｂ）を用いて説明する。

まず、図１１（ｂ）においては、ストップモーションが挿入され画角が変化するフレームは、６０番目のフレームとする。そのため、ＤｉｓｐＦｒａｍｅが５９以下の場合は、合成比率が（入力１、入力２）＝（１００、０）となり、ＤｉｓｐＦｒａｍｅが６０以上になると、合成比率が（入力１、入力２）＝（５０、５０）となる。ＤｉｓｐＦｒａｍｅ＝５８、５９の場合、合成比率が（入力１、入力２）＝（１００、０）なので、入力２の画像は合成されず、入力１に入力された処理対象の画像がそのまま出力される。ＤｉｓｐＦｒａｍｅ＝６０になると、合成比率が（入力１、入力２）＝（５０、５０）となるため、入力される処理対象の画像１１１３と、前に出力された画像１１３２（画像１１１２と同じ）が合成されて、画像１１３３が出力される。次に、ＤｉｓｐＦｒａｍｅ＝６１となると、処理対象の画像１１１４と前に出力された１１３３が合成されて、１１３４が出力される。このように、前の出力と今回の処理対象の画像が合成されるため、徐々に画像が切り替わっていくような再生効果を発生させることができる。６０番目以降の画像はストップモーションの静止動画であり、同じ画像が続くため、合成を繰り返していくと、ストップモーションの画像に収束していく。

本実施形態では、クロスフェード処理を施さない場合も、合成比率が（入力１、入力２）＝（１００、０）にしてＹＣｂＣｒ合成処理１１０２を行ったが、処理負荷の軽減のために、合成処理自体を行わないようにしてもよい。また、クロスフェード処理を行う場合であっても、合成処理を繰り返し行うことによりストップモーションの画像に収束していくため、所定のフレーム数（例えば３０フレーム）合成処理を行ったら、合成処理を行わないようにしてもよい。また、本実施形態のストップモーションクロスフェードにおける合成処理では、ストップモーション開始フレームから合成処理を行い、前に表示したフレームの画像と今回の再生対象のフレームとを合成した。しかし、ストップモーション開始フレームよりも１つ前のフレームから合成処理を開始し、次に表示すべきフレームと合成するようにしてもよい。

このように、本実施形態のデジタルカメラにおいては、ダイジェスト動画において、１つのチャプタ内に動画のアスペクト比と異なる画像が挿入されている場合には、ストップモーションクロスフェード処理の再生効果を施して、画角の切り換わりが目立たないように再生することができる。

本実施形態においては、アルバム再生機能を用いてアルバム再生を行う際に、ストップモーションクロスフェードの再生効果を施した、しかし、アルバム再生に限らず、ダイジェスト動画を再生する際や、ストップモーションが含まれるチャプタのみを再生する場合にも、時間的に連続して記録された一連の動画の途中で画角が変わる場合に、クロスフェード処理を施すようにしてもよい。また、画角の変化だけでなく、時間的に連続して記録されたのにもかかわらず、大きく画像が変化した場合は、それを検出して、その変化点においてクロスフェード処理を施してもよい。

また、上述の実施形態では、システム制御部５０は、画像ファイルの情報やチャプタ参照情報からシナリオを作成し、作成したシナリオに基づいて、ストップモーションクロスフェード処理を行うか否かについて、また、処理を開始するフレームを判断した。しかし、システム制御部５０は、シナリオを作成せずに、画像ファイルの情報やチャプタ参照情報からストップモーションクロスフェード処理を行うか否か、処理を開始するフレームを判断してもよい。また、システム制御部５０は、画像ファイルの情報やチャプタ参照情報からではなく、動画を解析して、解析結果からストップモーションクロスフェード処理を行うか否かを判断してもよい。例えば、動画のフレームの画像の左右または上下の両端に黒画像領域があるかを解析し、最初のフレームからではなく途中のフレームから黒画像領域が出現した場合に、画角が変わったと判定してストップモーションクロスフェード処理を行うようにしてもよい。

上述の実施形態では、アルバム再生の再生処理において、ストップモーションクロスフェード処理を行う場合について詳細に説明した。しかし、アルバム再生において保存が選択された場合は、再生処理と同様に再生すべき画像データを生成し、それを表示せずに動画データに変換して記録することにより、再生処理で表示されたものと同様の画像が動画ファイルとして記録される。

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

上述の実施形態では、本発明を適応した撮像装置を例に説明したが、カメラ付き携帯電話や携帯ゲーム機等の電子機器で本発明を実施してもよい。また、１つの装置で上述の実施形態の機能を実現せずに、複数の装置、例えば、複数の撮像部を有する撮像装置、表示部を有する表示装置、ＣＰＵ、ＲＯＭ、ＤＲＡＭを有し撮像装置および表示装置の制御を行う制御装置を接続したシステムで実現してもよい。また、画像再生処理については、撮像装置でなく、撮像装置で撮影した画像を取得可能な画像再生装置において行ってもよい。また、上述の実施形態の一部を適宜組み合わせて実施してもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (9)

1. 動画を再生するための画像処理装置であって、
   再生される動画の画角の変化を判定する判定手段と、
   前記判定手段により、動画の画角に変化があると判定された場合に、当該動画にクロスフェード効果を施す画像処理手段とを有し、
   前記画像処理手段は、動画内の一部領域にサブ動画が合成されている場合は、当該動画の画角に変化があったとしても前記クロスフェード効果を施さないことを特徴とする画像処理装置。
2. 前記画像処理手段は、前記動画に変化があると判定された場合、前記変化があると判定された部分の動画に対して、前記クロスフェード効果を施すことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、動画の１つのチャプタの中において、画角が変化するかを判定することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理手段は、前記動画の途中から前記クロスフェード効果を施すことを特徴とする請求項１に記載の画像処理装置。
5. 前記判定手段は、再生される動画の１つのチャプタにおいて、端部に黒画像が付加されていない動画から、端部に黒画像が付加された動画に変化するかを判定し、
   前記画像処理手段は、端部に黒画像が付加されていない動画から端部に黒画像が付加された動画に変化すると前記判定手段により判定された場合に、端部に黒画像が付加された動画に対して、端部に黒画像が付加されていない動画を用いてクロスフェード効果を施すことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像処理手段は、再生される動画の１つのチャプタが、メインカメラで撮影された画像にサブカメラで撮影されたサブ動画が合成された動画である場合は、端部に黒画像が付加されていない動画から端部に黒画像が付加された動画に変化していたとしても、前記クロスフェード効果を施さないことを特徴とする請求項５に記載の画像処理装置。
7. 動画のチャプタに関する情報として、動画のチャプタ内に、前記動画と異なるアスペクト比で撮影した静止画から生成した、黒画像が付加されたストップモーション動画が含まれているかを示す変化情報が記録されており、
   前記判定手段は、前記変化情報に応じて、再生される動画の１つのチャプタにおいて、端部に黒画像が付加されていない動画から、端部に黒画像が付加された動画に変化するかを判定することを特徴とする請求項５項に記載の画像処理装置。
8. 動画を再生するための画像処理装置の制御方法であって、
   再生される動画の画角の変化を判定する判定工程と、
   動画の画角に変化があると判定された場合に、当該動画にクロスフェード効果を施す再生効果工程とを有し、
   動画内の一部領域にサブ画像が合成された動画の場合は、当該動画の画角に変化があったとしても前記クロスフェード効果を施さないことを特徴とする画像処理装置の制御方法。
9. コンピュータを、請求項１乃至７に記載の画像処理装置の各手段として機能させるためのプログラム。

Images