JP6643081B2 - アルバム動画生成装置、アルバム動画生成方法及びプログラム - Google Patents

Description

本発明は、特に、短編アルバム形式の動画ファイルを作成するために用いて好適なアルバム動画生成装置、アルバム動画生成方法及びプログラムに関する。

従来、デジタルカメラやビデオカメラ、携帯電話、スマートフォン等において、保存された静止画データおよび動画データを抽出してシナリオを作成し、シナリオに基づいて短編アルバム形式の動画ファイルを作成することが行われている。その際には、オープニングに静止画を用い、短編アルバムのタイトルを付して効果的にタイトル表示を行う画像再生に関する方法が提案されている。ところが、静止画をどのようにトリミングするか及び静止画にどのようにタイトルを付加するかによって、視認性が低下する場合がある。そこで、アルバム形式の動画において、視認性が低下しないようにしてタイトル表示にバリエーションを持たせ、ユーザを飽きさせないようにしたいという要望がある。

そこで、特許文献１には、静止画のトリミングに関して、フォトムービーで写真をシナリオに基づいて表示する際に、被写体の特徴部を抽出してトリミング拡大加工、または中央部をトリミング拡大加工してタイトル表示する方法が提案されている。また、特許文献２には、被写体画像を切り出し範囲で切り出した切り出し画像に対して強調効果を付与し、切り出し範囲に人物の顔が収まらない場合には、被写体画像に対して強調効果を付与する方法が提案されている。

特開２０１１−２２７１６４号公報 特開２０１５−１２６５２５号公報

しかしながら、特許文献１に記載の方法は、被写体の特徴部を抽出して静止画をトリミングすることができるが、タイトルの文字の表示方法については何ら工夫がされていない。また、特許文献２に記載の方法は、トリミングする静止画に強調効果を付与しているが、タイトルの文字については人名や撮影日時を表示しているだけである。以上のように従来は、タイトルを表示する際には、単に人名や日時を表示しているに過ぎないものであった。

本発明は前述の問題点に鑑み、撮影した静止画、または動画等の画像データを用いて一連のアルバム動画を作成する際に、視認性を低下させないようにして、タイトルチャプタに画像に適したタイトルを付加したアルバム動画を作成できるようにすることを目的としている。

本発明に係るアルバム動画生成装置は、複数の画像データを用いてアルバム動画を作成するアルバム動画生成装置であって、前記複数の画像データのうち、タイトルと共に表示させる画像データにタイトル用効果処理を施して、アルバム動画におけるタイトル画像を生成する効果手段であって、前記画像データの人物情報に応じて当該画像データと共に表示させるタイトルの色を決定し、前記決定された色のタイトルと前記画像データとから構成されるタイトル画像を生成する効果手段を有し、前記効果手段は、前記画像データの人物情報に応じて、タイトルの色を半透過色にするか否かを切り替えることを特徴とする。

本発明によれば、撮影した画像データを用いて一連のアルバム動画を作成する際に、視認性を低下させないようにして、タイトルチャプタに画像に適したタイトルを付加したアルバム動画を作成することができる。

実施形態に係る撮像装置の主要な内部構成例を示すブロック図である。 再生モード中にアルバムを作成する処理手順の一例を示すフローチャートである。 アルバム作成処理の詳細な処理手順の一例を示すフローチャートである。 シナリオ作成処理の詳細な処理手順の一例を示すフローチャートである。 画像効果付与処理の詳細な処理手順の一例を示すフローチャートである。 タイトル効果処理の詳細な処理手順の一例を示すフローチャートである。 オープニングの表示タイトルの例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。本実施形態では撮像装置としてデジタルカメラを例にとって説明するが、これ以外にも携帯電話などであってもよい。

図１は、本実施形態に係る撮像装置１００の主要な内部構成例を示すブロック図である。
図１において、制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）であり、各種処理（プログラム）を実行して撮像装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０１は、ユーザからの操作を受け付ける操作部１０２からの操作信号に応じて、撮像装置１００の各ブロックを制御する。また、制御部１０１は、得られた画像データを解析し、その解析結果に応じた処理を行う。具体的には、制御部１０１は、画像データを解析することにより、人物の顔の有無、人物の顔の位置、画像の色などを解析する。人物の顔の有無を検出する方法としては公知の顔検出技術を用いるものとする。

操作部１０２は、例えば、電源ボタン、静止画記録ボタン、動画記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類を含む。また、操作部１０２には、モード切り換えスイッチ、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等も含まれており、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。
バス１０３は、各種データ、制御信号、指示信号などを撮像装置１００の各ブロックに送るための汎用バスである。

不揮発性メモリ１０５は、電気的に消去または記録が可能なメモリであり、制御部１０１の動作用の定数、プログラム等が記憶される。本実施形態で使用される後述のＢＧＭデータは、後述する音声処理部１２１において復号化可能な圧縮データとして不揮発性メモリ１０５に記録されている。記録されるデータ数は、複数あってもよくＢＧＭデータと共に不揮発性メモリ１０５に記録されている。なお、本実施形態では、音声圧縮処理を用いる方式としてＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）を用いることとするが、圧縮処理方式はＡＡＣでなくてもよい。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、さらにアナログ信号からデジタル変換して、画像処理部１１１に送信する。

画像処理部１１１は、入力されたデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行う。そして、画像処理部１１１で処理された画像信号は、制御部１０１により、メモリ１０４や後述の映像出力部１５０、表示制御部１３１に送信される。

本実施形態においては、例えば、撮像部１１０は、光学ズーム機能、および光学防振機能を有し、画像処理部１１１は、電子ズーム機能、および電子防振機能を有している。ここで、光学ズーム機能、および電子ズーム機能は、ユーザの操作に応じて、得られる画像を拡大する機能である。また、光学防振機能、および電子防振機能は、撮像装置１００本体の振動による画像の揺れを防止する機能である。そして、これらの機能は、制御部１０１の制御により、同時に使用されたり交互に使用されたり、単独で使用されたりする。

ここで、光学ズーム機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、撮像部１１０のレンズを移動させ、取り込まれる被写体の光学像を拡大または縮小する機能である。また、電子ズーム機能とは、ユーザにより操作部１０２のズームキーが操作されたことに応じて、画像処理部１１１が、撮像部１１０により生成された画像のうち一部を切り出した画像を拡大した画像信号を生成する処理である。

一方、光学防振機能とは、不図示の振動検出部からの加速度信号の値に基づいて、レンズの移動量を算出し、レンズを移動させることによって、取得される画像の揺れを防止する機能である。また、電子防振機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。また、電子防振機能は、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０の撮像素子における読み出し位置をずらすことによっても実現できる。これらの機能は公知の技術であるため、詳細な説明は省略する。

また、音声入力部１２０は、例えば、内蔵された無指向性のマイク、または音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、アナログ信号からデジタル変換して音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等の音声に関する処理を行う。そして、音声処理部１２１で処理された音声信号は、制御部１０１によりメモリ１０４に送信される。

メモリ１０４は例えばＤＲＡＭまたはＳＲＡＭであり、画像処理部１１１及び音声処理部１２１によりそれぞれ得られた画像信号及び音声信号を一時的に記憶する。また、メモリ１０４には、制御部１０１の動作用の定数、変数、不揮発性メモリ１０５から読み出したプログラム等が展開される。

画像処理部１１１及び音声処理部１２１は、それぞれメモリ１０４に一時的に記憶された画像信号および音声信号を読み出して画像信号の符号化、音声信号の符号化などを行い、圧縮画像信号および圧縮音声信号を生成する。制御部１０１は、これらの圧縮画像信号および圧縮音声信号を記録再生部１４０に送信する。

記録再生部１４０は、記録媒体１４１に対して画像処理部１１１及び音声処理部１２１で生成された圧縮画像信号、圧縮音声信号、その他撮影に関する制御データ等を記録する。また、音声信号を圧縮符号化しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と画像処理部１１１により生成された圧縮画像信号とを、記録再生部１４０に送信し、記録再生部１４０はこれらのデータを記録媒体１４１に記録する。

記録媒体１４１は、撮像装置１００に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。記録媒体１４１は、撮像装置１００で生成した圧縮画像信号、圧縮音声信号、音声信号、ＢＧＭデータを含む各種データなどを記録することができ、不揮発性メモリ１０５よりも大容量な媒体が一般的に使用される。例えば、記録媒体１４１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。

また、記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号、圧縮音声信号、音声信号、各種データ、プログラム等を読み出す（再生する）。そして、読み出した圧縮画像信号、圧縮音声信号を、制御部１０１は画像処理部１１１及び音声処理部１２１に送信する。画像処理部１１１及び音声処理部１２１は、圧縮画像信号、圧縮音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号し、復号した音声信号を音声出力部１５１へ、復号化した画像信号を映像出力部１５０または表示制御部１３１に送信する。また、音声信号が記録媒体１４１に非圧縮記録されている場合には、制御部１０１は、音声信号を音声出力部１５１に直接送信する。

音声出力部１５１は、例えば音声出力端子からなり、接続されたイヤホンやスピーカなどから音声を出力させるために音声信号を送信する。また、音声出力部１５１は、撮像装置１００に内蔵され、音声信号にかかる音声を出力するスピーカであってもよい。

映像出力部１５０は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部１５１および映像出力部１５０は、統合された１つの端子、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子のような端子であってもよい。

表示制御部１３１は、画像処理部１１１から送信された画像信号による映像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を表示部１３０に表示させる。表示部１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。

通信部１５２は、撮像装置１００と外部装置との間で通信を行うもので、例えば、音声信号、画像信号、圧縮音声信号、圧縮画像信号などのデータを送信したり受信したりする。また、撮影開始や終了コマンド等の、撮影にかかる制御信号や、その他の情報を送信したり受信したりする。通信部１５２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ、ＧＰＳ受信機等の無線通信モジュールである。

ここで、本実施形態に係る撮像装置１００の通常の動作について説明する。
本実施形態の撮像装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。

電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、静止画撮影モード、動画撮影モード、再生モード等のどのモードであるかを操作部１０２からの指示信号により確認する。

静止画撮影モードでは、撮像装置１００は撮影（記録）待機状態となり、ユーザが操作部１０２の静止画記録ボタンを操作したことに応じて撮影を行う。そして、記録再生部１４０により圧縮画像信号が記録媒体１４１に記録される。そして再び撮影待機状態になる。

動画撮影モードでは、撮像装置１００は撮影（記録）待機状態となり、ユーザが操作部１０２の動画記録開始ボタンを操作したことに応じて撮影を開始する。そして、その間、圧縮画像信号と、圧縮音声信号または音声信号（以下、圧縮音声信号等）とが記録再生部１４０により記録媒体１４１に記録される。そしてユーザが操作部１０２の動画記録終了ボタンを操作することによって撮影を終了し、再び撮影待機状態になる。

再生モードでは、記録再生部１４０は、ユーザが選択したファイルに関する圧縮画像信号（動画の場合はさらに圧縮音声信号等）を記録媒体１４１から再生する。そして、制御部１０１は、音声出力部１５１から音声信号を出力し、表示制御部１３１は表示部１３０に映像を表示させる。

まず、静止画撮影モードについて説明する。操作部１０２により静止画撮影モードが設定されると、前述のように、まず、制御部１０１は、撮像装置１００の各ブロックを撮影待機状態に設定させる。撮影待機状態では、画像処理部１１１は、画像信号を表示制御部１３１に送信し、表示制御部１３１は表示部１３０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影（記録）の準備を行う。撮影待機状態で、ユーザが操作部１０２の静止画記録ボタンを操作することにより撮影指示信号が送信されると、制御部１０１は撮影制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログ信号からデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなどの調整処理）を設定値に基づいて行う。そして、画像処理部１１１で処理された画像信号は、制御部１０１によりメモリ１０４、映像出力部１５０、および表示制御部１３１に送信される。ここで、表示部１３０に表示された映像を見ることにより、ユーザは撮影した静止画を確認することができる。

そして、画像処理部１１１は、メモリ１０４に一時的に記憶された画像信号を読み出して所定の符号化を行い、圧縮画像信号を生成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、圧縮画像信号を静止画ファイルとして記録媒体１４１に書き込む。なお、制御部１０１は、画像処理部１１１による符号化の動作が終了すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、動画撮影モードについて説明する。操作部１０２により動画撮影モードが設定されると、前述のように、まず、制御部１０１は、撮像装置１００の各ブロックを撮影待機状態に設定させる。撮影待機状態では、画像処理部１１１は、画像信号を表示制御部１３１に送信し、表示制御部１３１は表示部１３０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影（記録）の準備を行う。撮影待機状態で、ユーザが操作部１０２の動画記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１０１は撮影開始の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

撮像部１１０は、レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログ信号からデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなどの調整処理）を設定値に基づいて行う。そして、画像処理部１１１で処理された画像信号は、制御部１０１により表示制御部１３１およびメモリ１０４に送信される。表示制御部１３１は、受信した画像信号に関する映像を表示部１３０に表示させる。

一方、音声入力部１２０は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号を音声処理部１２１に送信する。音声処理部１２１は、入力されたデジタル音声信号のレベルの適正化処理等を行って音声信号を出力する。制御部１０１は、音声処理部１２１により処理された音声信号をメモリ１０４に送信する。

そして、画像処理部１１１及び音声処理部１２１は、それぞれメモリ１０４に一時的に記憶された画像信号および音声信号を読み出して所定の符号化を行い、圧縮画像信号および圧縮音声信号を生成する。そして、制御部１０１は、これらの圧縮画像信号および圧縮音声信号を合成してデータストリームを形成し、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。また、音声を圧縮しない場合には、制御部１０１は、音声処理部１２１で生成した音声信号および画像処理部１１１で生成された圧縮画像信号とともに、記録再生部１４０に出力する。そして、記録再生部１４０は、前述したように、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。以上の動作を撮影中は継続する。

また、撮影の間、ユーザによる操作部１０２の操作に応じて、または画像処理部１１１により生成された画像信号の解析結果に応じて、制御部１０１は、撮像部１１０や画像処理部１１１、音声処理部１２１などに各種制御信号を送信している。例えば、レンズの移動や絞り調整などをさせるための制御信号を撮像部１１０に送信するとともに、画像および音声を調整するための制御信号をそれぞれ画像処理部１１１および音声処理部１２１に送信する。

また、同様に撮影の間、ユーザにより操作部１０２のズームキーが操作されると、制御部１０１により、撮像部１１０の「光学ズーム」機能、および画像処理部１１１の「電子ズーム」機能を動作させることができる。また、不図示の振動検出部により検出された加速度信号に基づいて、制御部１０１により、撮像部１１０の「光学防振」機能、および画像処理部１１１の「電子防振」機能が動作している。

そして、ユーザが操作部１０２の動画記録終了ボタンを操作することにより撮影終了の指示信号が制御部１０１に送信されると、制御部１０１は、撮影終了の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。

画像処理部１１１および音声処理部１２１は、それぞれ画像信号および音声信号をメモリ１０４へ送信することを停止する。そして、メモリ１０４に記憶されている残りの画像信号と音声信号とを読み出して所定の符号化を行い、圧縮画像信号および圧縮音声信号を生成する。制御部１０１は、これらの最後の圧縮画像信号および圧縮音声信号を合成してデータストリームを形成し、記録再生部１４０に出力する。音声を圧縮しない場合には、制御部１０１は、音声処理部１２１により生成された音声信号と圧縮画像信号とを記録再生部１４０に出力する。

記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１４１に書き込んでいく。そして、データストリームの供給が停止したら、制御部１０１はサムネイルを生成するために以下のような動作をさせるように制御する。

記録再生部１４０は記録媒体１４１に記録した動画ファイルの先頭フレームの圧縮画像信号を読み出し、画像処理部１１１に送信する。画像処理部１１１は、圧縮画像信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。次に画像処理部１１１は得られた画像信号に対してサムネイル用の所定の符号化を行い、サムネイル用圧縮画像信号を生成する。そして、制御部１０１はサムネイル用圧縮画像信号を記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、サムネイル用圧縮画像信号を、基となる動画ファイルに結合させるように記録媒体１４１に書き込み、動画ファイルを完成させるとともに記録動作を停止する。制御部１０１は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

また、ユーザによる操作部１０２の操作に応じて、著作権者名および作成者名の情報を不揮発性メモリ１０５に記憶させることが可能である。また、操作部１０２が操作されるたびに、不揮発性メモリ１０５に記憶された著作権者名および作成者名の情報を変更することが可能である。不揮発性メモリ１０５に記憶された著作権者名および作成者名の情報は、撮影処理に応じて静止画ファイルまたは動画ファイルにメタデータとして記録される。

以上説明した静止画撮影モードで記録される静止画ファイルおよび動画撮影モードで記録される動画ファイルは、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）に従って記録されるものとする。

次に、再生モードについて説明する。操作部１０２により再生モードが設定されると、制御部１０１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。

記録再生部１４０は、記録媒体１４１に記録された圧縮画像信号からなる静止画ファイル、または圧縮画像信号と圧縮音声信号等とからなる動画ファイルを読み出す。静止画の場合は、制御部１０１は読み出された圧縮画像信号を、画像処理部１１１に送る。また、動画の場合は、制御部１０１は読み出された圧縮画像信号および圧縮音声信号を、画像処理部１１１及び音声処理部１２１に送る。圧縮されていない音声信号であれば、制御部１０１は、音声出力部１５１に音声信号を送信する。

静止画の場合は、画像処理部１１１は、圧縮画像信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。そして制御部１０１は、復号化した画像信号を映像出力部１５０または表示制御部１３１に送信する。また、動画の場合は、画像処理部１１１及び音声処理部１２１は、それぞれ圧縮画像信号および圧縮音声信号を一時的にメモリ１０４に記憶させ、所定の手順で復号する。そして制御部１０１は、復号化した音声信号を音声出力部１５１へ送信し、復号化した画像信号を映像出力部１５０または表示制御部１３１に送信する。表示制御部１３１は、入力された画像信号にかかる映像を表示部１３０に表示させ、音声出力部１５１は、入力された音声信号にかかる音声を内蔵されたスピーカ、または接続されたイヤホンやスピーカなどから出力する。

次に、図２を用いて、再生モードにおいてアルバム形式の動画（以下、アルバムと称す）を作成する処理について説明する。図２は、本実施形態において、再生モード中にアルバムを作成する処理手順の一例を示すフローチャートである。
まず、撮像装置１００において電源がＯＮ、またはユーザにより操作部１０２のモード切り換えスイッチが操作されて再生モードに移行する指示を受けると処理を開始する。そして、ステップＳ２０１において、制御部１０１は、記録媒体１４１に記録された情報に基づいて最新画像情報を生成する。ここで最新画像情報とは、記録媒体１４１に記録されている画像ファイルのメタデータから撮影日時を参照して生成される画像リストの情報である。そして、記録再生部１４０は、最新画像情報に基づいて最新の画像ファイルを再生し、表示制御部１３１はその画像を表示部１３０に表示させる。再生から表示までの手順は、前述した通りである。

次に、ステップＳ２０２において、制御部１０１は、ユーザによる操作部１０２のアルバムボタンの押下を検出したか否かを判定する。この判定の結果、アルバムボタンの押下を検出した場合はステップＳ２０３へ進み、アルバムボタンの押下を検出していない場合はステップＳ２０８へ進む。

ステップＳ２０３においては、制御部１０１は、ステップＳ２０１で取得した最新画像情報を用いて、記録媒体１４１にアルバム対象画像が存在するか否かを判定する。ここで、アルバム対象画像とは、撮像装置１００で撮影して記録された静止画または動画のファイルである。この判定の結果、アルバム対象画像が存在する場合はステップＳ２０４へ進み、アルバム対象画像が存在しない場合はステップＳ２０７へ進む。

ステップＳ２０４においては、表示制御部１３１はアルバムを選択するためのアイコンを表示部１３０に表示する。そして、制御部１０１は、ユーザにより操作部１０２が操作され、作成したいアルバムを選択する指示を受けたか否かを判定する。ここで、選択可能なアルバムの種類としては、ある日を対象としたもの、数日間を対象としたもの、認証情報を用いたある人物を対象としたもの、日、画像および人物をカスタマイズしたものなどが挙げられる。また、認証情報は、ユーザにより手動で人物情報がメタデータに加えられたものなどが挙げられる。この判定の結果、アルバムを選択する指示を受けた場合はステップＳ２０５へ進み、アルバムを選択する指示を受けなかった場合はＳ２０６へ進む。

ステップＳ２０５においては、制御部１０１は、選択したアルバムを作成する。アルバムを作成する詳細な手順に関しては、図３を用いて後述する。
次に、ステップＳ２０６において、制御部１０１は、ユーザにより操作部１０２が操作され、アルバム作成モードを終了する指示を受けたか否かを判定する。この判定の結果、アルバムモードを終了する指示を受けた場合はステップＳ２０２へ戻り、アルバムモードを終了する指示を受けていない場合はステップＳ２０３へ戻る。

一方、ステップＳ２０７においては、表示制御部１３１は、アルバムを選択するためのアイコンを表示部１３０にグレーアウト表示する。このようにアルバム対象画像が存在せず、アルバムを作成できないため、その後ステップＳ２０６へ進む。

一方、ステップＳ２０８においては、制御部１０１は、ユーザにより操作部１０２が操作され、再生モードを終了する指示を受けたか否かを判定する。再生モードを終了する場合とは、電源がＯＦＦになる場合、または他のモードへ移行する指示を受けた場合である。この判定の結果、再生モードを終了する場合は再生モードをそのまま終了し、再生モードを終了する指示を受けていない場合はステップＳ２０９へ進む。

ステップＳ２０９においては、制御部１０１は、操作部１０２より指示されたその他の再生処理を行う。その他処理とは、例えば表示する画像の変更、画像消去、画像編集、画像送信等である。

次に、図３を用いてアルバムを作成する詳細な処理について説明する。図３は、図２のステップＳ２０５におけるアルバム作成処理の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、制御部１０１は、アルバム対象画像を用いて、シナリオ作成処理を行う。シナリオ作成処理の詳細に関しては、図４において後述する。

次に、ステップＳ３０２において、制御部１０１は、記録媒体１４１のライトプロテクトがＯＮであるか否かを判定する。この判定の結果、ライトプロテクトがＯＮの場合はステップＳ３０６へ進み、ライトプロテクトがＯＦＦの場合はステップＳ３０３へ進む。

ステップＳ３０３においては、制御部１０１は、アルバムのファイル名が作成可能か否かを判定する。ここで、ファイル名は、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｒｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）により規定されるファイルパスに従って命名保存されるものとする。ＤＣＦ規格に規定されるファイルパスに従って命名を行う際に、既にＤＣＦ最大ディレクトリ（ディレクトリ番号９９９）に最大ファイル番号（９９９９）が存在している場合は、ファイル名が作成できないものとする。この判定の結果、ファイル名が作成可能である場合はステップＳ３０４へ進み、ファイル名が作成不可の場合はステップＳ３０６へ進む。

ステップＳ３０４においては、制御部１０１は、記録媒体１４１の空き容量を算出するとともに、シナリオに基づいて作成されるアルバム動画の容量を算出する。
そして、ステップＳ３０５において、制御部１０１は、ステップＳ３０４で算出した記録媒体１４１の空き容量と作成されるアルバム動画の容量とを比較し、記録媒体１４１にアルバム動画が記録可能な空き容量があるか否かを判定する。この判定の結果、必要な空き容量がある場合はステップＳ３０８へ進み、必要な空き容量が不足している場合はステップＳ３０６へ進む。

ステップＳ３０６においては、表示制御部１３１は、各状態に基づいたアルバムプレビューの確認表示を表示部１３０に行う。このとき、ライトプロテクトがＯＮ、ファイル名の作成が不可、または空き容量の不足のいずれかに該当することから、作成するアルバム動画を保存できない旨の警告メッセージを表示する。

次に、ステップＳ３０７において、制御部１０１は、ユーザにより操作部１０２が操作され、ステップＳ３０１で作成したシナリオに基づいたアルバムをプレビュー再生する指示を受けたか否か判定する。この判定の結果、アルバムのプレビュー再生を行う指示を受けた場合はステップＳ３０８へ進み、アルバムのプレビュー再生を行う指示を受けなかった場合はステップＳ３０９へ進む。

ステップＳ３０８においては、表示制御部１３１は、メモリ１０４に格納されたアルバムをプレビュー再生し、表示部１３０にアルバムをプレビュー表示する。ここで、プレビュー再生は、シナリオに基づいて作成したアルバム動画の内容を、ＢＧＭおよび画像効果を付与してリアルタイムに再生する処理である。

次に、ステップＳ３０９において、表示制御部１３１は、アルバム設定変更メニューを表示部１３０に表示する。そして、制御部１０１は、ユーザにより操作部１０２が操作され、再度プレビュー再生を選択する指示を受けたか否かを判定する。この判定の結果、プレビュー再生を選択する指示を受けた場合はステップＳ３１３へ進み、プレビュー再生を選択する指示を受けなかった場合はステップＳ３１０へ進む。

ステップＳ３１０においては、制御部１０１は、ユーザにより操作部１０２が操作され、ＢＧＭを選択する指示を受けたか否かを判定する。この判定の結果、ＢＧＭを選択する指示を受けた場合はステップＳ３１４へ進み、ＢＧＭを選択する指示を受けなかった場合はステップＳ３１１へ進む。

ステップＳ３１１においては、制御部１０１は、ユーザにより操作部１０２が操作され、アルバムの自然画に付与する色効果（フィルター）変更を選択する指示を受けたか否かを判定する。この判定の結果、色効果変更を選択する指示を受けた場合はステップＳ３１５へ進み、色効果変更を選択する指示を受けていない場合はステップＳ３１２へ進む。

ステップＳ３１２においては、制御部１０１は、ユーザにより操作部１０２が操作され、アルバム動画の保存を選択する指示を受けたか否かを判定する。この判定の結果、アルバム動画の保存を選択する指示を受けた場合はステップＳ３１６へ進み、アルバム動画の保存を選択する指示を受けていない場合はステップＳ３０９へ戻る。

ステップＳ３１３においては、ステップＳ３０８と同様の手順によりプレビュー再生処理を行う。そして、ステップＳ３０９へ戻る。このステップＳ３１３のプレビュー再生処理については、ステップＳ３０８と同様であるため、説明を省略する。

ステップＳ３１４においては、制御部１０１は、ＢＧＭ選択処理を行い、ステップＳ３０９へ戻る。ここで、ＢＧＭ選択処理とは、ユーザが操作部１０２を操作することによって、記録媒体１４１に記録されているＢＧＭファイル（ＷＡＶ形式）から選択する処理である。なお、ＢＧＭファイルが記録媒体１４１に保存されていない場合は、制御部１０１は、不揮発性メモリ１０５に予め記憶されているＡＡＣ形式で圧縮されたＢＧＭデータをメモリ１０４に展開する。そして、音声処理部１２１はＢＧＭデータを復号化してＰＣＭデータ形式に変換し、メモリ１０４に記憶する。制御部１０１は、ＰＣＭデータ形式のＢＧＭデータとヘッダー部とを合成し、記録再生部１４０は、ＢＧＭファイル（ＷＡＶ形式）として記録媒体１４１に記録する。また、ユーザによりＢＧＭが選択された場合は、制御部１０１は選択されたＢＧＭファイルに係るＢＧＭを音声出力部１５１から出力し、ユーザがＢＧＭを試聴できるようにする。

ステップＳ３１５においては、制御部１０１は、ユーザによる操作部１０２の操作に応じて、制御部１０１はアルバム動画に色効果を付与する色効果変更処理を行い、ステップＳ３０９に戻る。ここで、色効果変更処理とは、一連のアルバム動画の自然画（静止画）に対して特定の色フィルター効果の付与を有効とするか無効とするかを切り替える処理である。

ステップＳ３１６においては、ステップＳ３０１で作成したシナリオに基づいた一連のアルバム動画を動画ファイル（．ＭＰ４）として記録媒体１４１に記録し、処理を終了する。

次に、図４を用いてシナリオ作成処理の詳細について説明する。図４は、図３のステップＳ３０１におけるシナリオ作成処理の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、制御部１０１は、記録媒体１４１に保存された静止画ファイル及び動画ファイルから、選択されたアルバムの種類に応じてアルバム用の画像を選抜する画像選抜処理を行う。ここで、画像選抜処理とは、スポーツや結婚式などのイベント毎に区切る処理、偏りがないように最短距離法などを用いてクラスタリング処理、白とび画像などを間引く処理などを行い、アルバム動画に用いる画像を抽出する処理である。なお、アルバム動画に用いる画像をユーザに選択させるようにしてもよい。また、本実施形態では、アルバム動画のシナリオは、オープニング、本編、およびエンディングの構成とする。
なお、本実施形態では、オープニングで最初に表示する画像をタイトルチャプタとしている。しかし、これに限るものでは無く、例えば、アルバム動画に使われる他の静止画や、動画から抽出したあるシーンの画像でも良い。このタイトル画像の選択は、ユーザにより手動で行われても良いし、またはプログラムにより自動的に選ばれるものでも良い。

次に、ステップＳ４０２おいて、制御部１０１は、画像効果付与処理を行い、処理を終了する。画像効果付与処理については、以下、図５を参照しながら説明する。

図５は、図４のステップＳ４０２における画像効果付与処理の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、制御部１０１は、図４のステップＳ４０１で選抜された画像の中から１つを抽出し、その画像が静止画であるか否かを判定する。この判定の結果、静止画である場合はステップＳ５０２へ進み、動画である場合はステップＳ５０５へ進む。

ステップＳ５０２においては、制御部１０１は、効果を付与する画像が、オープニングタイトルチャプタの画像であるか否かを判定する。この判定の結果、オープニングタイトルチャプタの画像である場合はステップＳ５０３へ進み、オープニングタイトルチャプタの画像でない場合はステップＳ５０４へ進む。

ステップＳ５０３においては、制御部１０１は、タイトル効果処理を行い、ステップＳ５０１へ戻る。タイトル効果処理については、図６を用いて後述する。

一方、ステップＳ５０４においては、制御部１０１は、オープニング以外のその他チャプタ（本編およびエンディング）における効果を付与する。ここでいうその他チャプタにおける効果は、例えば本編の静止画である場合は、スライド／ズーム効果を付与したり、特定の色フィルター効果を付与したり、画像を全体表示したりする効果である。

一方、ステップＳ５０５においては、制御部１０１は、動画に対して効果を付与する。ここでいう動画に対する効果とは、例えばチャプタ間にクロスフェード処理をかけたり、再生をスローにしたり、再生中にストップモーションを挿入したりする効果である。

ステップＳ５０６においては、制御部１０１は、オープニングからエンディングまでのシナリオ順に全てのチャプタに効果の付与が終了したか否かを判定する。すなわち、効果を付与すべきすべての画像に対して、効果を付与したか否かを判定する。この判定の結果、効果の付与が終了していない場合はステップＳ５０１へ戻り、処理を繰り返す。一方、全てのチャプタに効果の付与が終了した場合は処理を終了する。

次に、図６を用いてタイトル効果処理について説明する。図６は、図５のステップＳ５０３におけるタイトル効果処理の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、制御部１０１は、オープニングに用いる静止画を解析し、人物情報があるか否かを判定する。ここで人物情報とは、被写体として存在する人物の顔の中心座標の情報であり、制御部１０１は、公知の顔検出処理により人物の顔が検出されたか否かを判定し、人物の顔が検出された場合は、その人物の顔の中心座標の情報を取得する。なお、メタデータに人物情報が含まれている場合には、その情報を取得するようにしてもよい。また、このとき、制御部１０１は、静止画の色など他の情報についても解析を行う。この判定の結果、人物情報が存在する場合はステップＳ６０２へ進み、人物情報が存在しない場合はステップＳ６０８へ進む。

ステップＳ６０２においては、制御部１０１は、人物の顔が予め定められた切り出し用のトリミング枠に収まるか否かを判定する。この判定の結果、人物の顔がトリミング枠に収まる場合はステップＳ６０３へ進み、人物の顔がトリミング枠に収まらない場合はステップＳ６０７へ進む。なお、人物が複数人存在する場合は、各人の顔が途切れて表示されることがないように、それぞれの中心座標がトリミング枠に収まっているか否かを判定することとする。

ステップＳ６０３においては、制御部１０１は、全ての人物の顔が収まるような条件でトリミング枠の中心座標を取得する。例えば、図７（ａ）及び図７（ｃ）のトリミング枠７０１、７０５のように、各人の顔座標の中心部分をトリミング枠の中心座標として取得し、ステップＳ６０４へ進む。

次に、ステップＳ６０４において、制御部１０１は、図３のステップＳ３１５の処理により色効果が有効に変更されているか否かを判定する。この判定の結果、色効果が有効にされている場合はステップＳ６０５へ進み、色効果が無効にされている場合はステップＳ６０６へ進む。

ステップＳ６０５においては、制御部１０１は、ステップＳ６０３及び後述するステップＳ６０８で取得した中心座標を用いて、静止画のトリミングを行う。そして、制御部１０１の色の解析結果から静止画の代表色を抽出し、オープニングのタイトル表示に静止画から抽出した代表色を用いて有彩色タイトルを採用し、処理を終了する。例えば、静止画の代表色が「赤色」の場合は有彩色タイトルの色は「赤色」を採用し、代表色が「青色」ならば「青色」を採用することとする。例えば図７（ａ）及び図７（ｂ）に示すような有彩色タイトル７０２、７０４を採用する。なお、色フィルター効果は有彩色タイトルには無効とする。有彩色タイトルの表示は、色効果（フィルター）が有効の場合に採用し、これにより、静止画を効果的にユーザへ提供することができる。

一方、ステップＳ６０６においては、制御部１０１は、ステップＳ６０３で取得した中心座標を用いて静止画のトリミングを行い、オープニングのタイトル表示に無彩色タイトルを採用し、処理を終了する。具体的には、例えば図７（ｃ）に示すような無彩色タイトル７０６を採用する。

一方、ステップＳ６０７においては、制御部１０１は、静止画のトリミングをせずに、オープニングのタイトル表示に半透過の無彩色タイトルを採用し、処理を終了する。例えば、ステップＳ６０２において、図７（ｄ）に示すように、トリミング枠７０７に複数の人物が収まらないと判定された場合、図７（ｄ）に示すように静止画を全体表示し、オープニングのタイトル表示に半透過の無彩色タイトル７０８を採用する。

一方、ステップＳ６０８においては、制御部１０１は、撮影時の静止画の合焦位置の中心座標をその静止画のメタデータから取得し、ステップＳ６０５へ進む。例えば、ステップＳ６０１において、人物情報が存在しないと判定された場合、図７（ｂ）に示すような合焦位置７０３の中心座標を取得する。特に風景画像など人物情報が存在しない場合は、このような合焦位置を用いてタイトル表示を行うため、ユーザへ提供する上で効果的である。

以上のように本実施形態によれば、人物情報があり、その人物がトリミング枠に収まる場合には、オープニングのチャプタにトリミングした静止画とその代表色の有彩色タイトルを付加するようにした。これにより、視認性を低下させることなく、ユーザに飽きさせないようなアルバム動画を提供することができる。

また、本実施形態では、風景画のように人物情報がない場合には、合焦位置がトリミング枠に収まるように静止画をトリミングし、トリミングした静止画とその代表色の有彩色タイトルを付加するようにした。これにより、視認性を低下させることなく、風景画などであってもユーザに飽きさせないようなアルバム動画を提供することができる。さらに、静止画の人物がトリミング枠に収まらない場合には、トリミングせずに静止画に無彩色でかつ半透明のタイトルを付加するようにした。これにより、有彩色タイトルを用いた場合よりも視認性のよいアルバム動画を提供することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 制御部

Claims (14)

1. 複数の画像データを用いてアルバム動画を作成するアルバム動画生成装置であって、
   前記複数の画像データのうち、タイトルと共に表示させる画像データにタイトル用効果処理を施して、アルバム動画におけるタイトル画像を生成する効果手段であって、前記画像データの人物情報に応じて当該画像データと共に表示させるタイトルの色を決定し、前記決定された色のタイトルと前記画像データとから構成されるタイトル画像を生成する効果手段を有し、
   前記効果手段は、前記画像データの人物情報に応じて、タイトルの色を半透過色にするか否かを切り替えることを特徴とするアルバム動画生成装置。
2. 前記複数の画像データを用いてアルバム動画を生成する生成手段を有し、
   前記生成手段は、前記効果手段により生成したタイトル画像が前記アルバム動画において最初に再生されるように、前記アルバム動画を生成することを特徴とする請求項１に記載のアルバム動画生成装置。
3. 前記複数の画像データを用いてアルバム動画を生成する生成手段を有し、
   前記生成手段は、オープニング、本編、エンディングから構成されるアルバム動画を生成し、前記効果手段により生成したタイトル画像が前記アルバム動画のオープニングにおいて再生されるように前記アルバム動画を生成することを特徴とする請求項１に記載のアルバム動画生成装置。
4. 前記効果手段は、前記画像データに人物が含まれるときは、前記画像データから人物が含まれる領域をトリミングするか否かを決定し、トリミングすると決定した場合は、トリミングした前記画像データと前記タイトルから構成されるタイトル画像を生成することを特徴とする請求項１ないし３のいずれか１項に記載のアルバム動画生成装置。
5. 前記効果手段は、前記画像データの人物の領域をトリミングする場合は、トリミングした前記画像データと非透過色のタイトルとから構成されるタイトル画像を生成し、前記画像データに人物が含まれているがトリミングしない場合は、前記画像データに半透過色のタイトルを重畳したタイトル画像を生成することを特徴とする請求項４に記載のアルバム動画生成装置。
6. 前記効果手段は、前記画像データに人物が含まれるときに、前記画像データに含まれる人物が所定のトリミング枠に収まるか否かに応じてトリミングするか否かを決定することを特徴とする請求項４または５に記載のアルバム動画生成装置。
7. 前記効果手段は、前記画像データに人物が含まれるときに、前記画像データに含まれる人物が所定のトリミング枠に収まる場合は、前記所定のトリミング枠でトリミングした前記画像データと非透過色のタイトルとから構成されるタイトル画像を生成し、前記画像データに含まれる人物が所定のトリミング枠に収まらない場合は、前記画像データに半透過色のタイトルを重畳したタイトル画像を生成することを特徴とする請求項１ないし３のいずれか１項に記載のアルバム動画生成装置。
8. 前記効果手段は、前記画像データに人物が含まれない場合は、前記画像データの合焦情報に基づいて当該画像データの一部領域をトリミングし、トリミングした画像データと非透過色のタイトルとから構成されるタイトル画像を生成することを特徴とする請求項１ないし７のいずれか１項に記載のアルバム動画生成装置。
9. 前記効果手段は、前記画像データの色の解析結果に応じて、タイトルの彩色を決定することを特徴とする請求項１ないし８のいずれか１項に記載のアルバム動画生成装置。
10. 複数の画像データを用いてアルバム動画を作成するアルバム動画生成装置であって、
    前記複数の画像データのうち、タイトルと共に表示させる画像データにタイトル用効果処理を施して、アルバム動画におけるタイトル画像を生成する効果手段であって、前記画像データの人物情報に応じて当該画像データと共に表示させるタイトルの色を決定し、前記決定された色のタイトルと前記画像データとから構成されるタイトル画像を生成する効果手段と、
    アルバム動画に対して色効果を有効か無効かに設定する設定手段と、を有し、
    前記設定手段によって色効果が無効に設定されている場合には、前記効果手段は、無彩色タイトルと前記画像データとから構成されるタイトル画像を生成することを特徴とするアルバム動画生成装置。
11. 複数の画像データを用いてアルバム動画を作成するアルバム動画生成方法であって、
    前記複数の画像データのうち、タイトルと共に表示させる画像データにタイトル用効果処理を施して、アルバム動画におけるタイトル画像を生成する効果工程であって、前記画像データの人物情報に応じて当該画像データと共に表示させるタイトルの色を決定し、前記決定された色のタイトルと前記画像データとから構成されるタイトル画像を生成する効果工程を有し、
    前記効果工程においては、前記画像データの人物情報に応じて、タイトルの色を半透過色にするか否かを切り替えることを特徴とするアルバム動画生成方法。
12. 複数の画像データを用いてアルバム動画を作成するアルバム動画生成方法であって、
    前記複数の画像データのうち、タイトルと共に表示させる画像データにタイトル用効果処理を施して、アルバム動画におけるタイトル画像を生成する効果工程であって、前記画像データの人物情報に応じて当該画像データと共に表示させるタイトルの色を決定し、前記決定された色のタイトルと前記画像データとから構成されるタイトル画像を生成する効果工程と、
    アルバム動画に対して色効果を有効か無効かに設定する設定工程と、を有し、
    前記設定工程において色効果が無効に設定されている場合には、前記効果工程においては、無彩色タイトルと前記画像データとから構成されるタイトル画像を生成することを特徴とするアルバム動画生成方法。
13. 複数の画像データを用いてアルバム動画を作成するアルバム動画生成装置を制御するためのプログラムであって、
    前記複数の画像データのうち、タイトルと共に表示させる画像データにタイトル用効果処理を施して、アルバム動画におけるタイトル画像を生成する効果工程であって、前記画像データの人物情報に応じて当該画像データと共に表示させるタイトルの色を決定し、前記決定された色のタイトルと前記画像データとから構成されるタイトル画像を生成する効果工程をコンピュータに実行させ、
    前記効果工程においては、前記画像データの人物情報に応じて、タイトルの色を半透過色にするか否かを切り替えることを特徴とするプログラム。
14. 複数の画像データを用いてアルバム動画を作成するアルバム動画生成装置を制御するためのプログラムであって、
    前記複数の画像データのうち、タイトルと共に表示させる画像データにタイトル用効果処理を施して、アルバム動画におけるタイトル画像を生成する効果工程であって、前記画像データの人物情報に応じて当該画像データと共に表示させるタイトルの色を決定し、前記決定された色のタイトルと前記画像データとから構成されるタイトル画像を生成する効果工程と、
    アルバム動画に対して色効果を有効か無効かに設定する設定工程と、をコンピュータに実行させ、
    前記設定工程において色効果が無効に設定されている場合には、前記効果工程においては、無彩色タイトルと前記画像データとから構成されるタイトル画像を生成することを特徴とするプログラム。