JP5740557B2 - 画像編集装置、画像編集方法、集積回路、記録媒体、コンピュータプログラム - Google Patents

Description

本発明は、電子機器に関し、特に、画像の編集が可能な電子機器に関する。

取得した、静止画像データや動画像データといった素材を、簡単に編集できる電子機器やプログラムが知られている。

例えば、特許文献１は、素材として、使用する静止画の総数を変えずに、フォトムービーの総再生時間を、指定どおりに調整することを目的としたフォトムービー作成装置を開示している。

特許文献１に記載のフォトムービー作成装置は、ムービーの総再生時間を、ユーザーに指定された総再生時間に変更する場合、複数の静止画を使用するエフェクトが指定されたシーンから、特定の静止画が、他のシーンに移動し、シーンの追加又は削除が行われる。

特開２００６−１５７１９７号公報

連続表示するための画像群を構成するとき、表示エフェクトの順番は、連続表示画像のストーリー構成にかかってくる。

しかしながら、特許文献１に記載のフォトムービー作成装置は、ある表示エフェクトを担当する１シーンを追加又は削除するので、当初予定していたストーリー構成が崩れてしまうことがあった。

本発明は、上記課題を鑑みてなされたものであり、連続表示する画像群について、ストーリー構成を、より重視して編集可能な電子機器（画像編集装置）を提供することを目的とする。

上記目的を達成するために、本発明の画像編集装置は、複数の画像を取得する画像取得部と、１以上の前記画像を連続表示する動画像を再生するときの再生時間を取得する再生時間取得部と、前記動画像を構成する一方の前記画像と他方の前記画像との間での切り替えにおける切り替え効果の１個以上からなる繰り返し単位の繰り返し回数、および、該繰り返し単位のそれぞれの前記切り替え効果の単位時間を特定するテンプレート情報を読み出す情報読出部と、取得した前記再生時間、および、読み出した前記テンプレート情報により特定されるそれぞれの前記単位時間に基づいて、該繰り返し単位の前記繰り返し回数を調節する調節部と、を備えた画像編集装置である。

本発明によれば、画像を連続表示する動画像について、ストーリー構成をより重視して、その編集が可能な電子機器（画像編集装置）を提供することができる。

図１は、実施の形態１にかかるＰＣの構成図である。 図２は、実施の形態１にかかる液晶ディスプレイの選択画面のイメージ図である。 図３は、実施の形態１にかかる液晶ディスプレイのプレビュー画面のイメージ図である。 図４は、実施の形態１にかかるテンプレートの階層構造を説明するための図である。 図５は、実施の形態１にかかるストーリー作成の概要フローチャートである。 図６は、実施の形態１にかかるストーリー作成の詳細フローチャートである。 図７は、パーソナルコンピュータに実現される機能の構成を示す図である。

以下、図面を参照して、本発明を実施する形態を説明する。

実施形態の画像編集装置（電子機器、情報処理装置、ＰＣ１００（図１））は、複数の表示画像１１２ａ（図７等）を取得する画像取得部１１２（図７）と、１以上の表示画像１１２ａを連続表示する動画像（動画ファイル１１５ｄ（図７）等を参照）を再生するときの再生時間（図７の時間情報１１１ａ、先述の総再生時間などを参照）を取得する時間情報取得部１１１と、動画像を構成する一方の表示画像（例えば図４のDでの表示画像１１２ａ）と他方の表示画像（Eでの表示画像１１２ａ）との間での切り替えにおける切り替え効果（例えば、Ｅの「スライドイン左」の効果）の１個以上（Ｄの効果、Ｅの効果、Ｆの効果、Ｇの効果）からなる繰り返し単位（Ｃ）の繰り返し回数（例えば図４の回数データ５２ｎにおける２回）、および、該繰り返し単位（C）のそれぞれの切り替え効果（Ｄ〜G）の単位時間（1sec、1sec、1sec、1sec）を特定するテンプレートデータ１０４ｄ（図１、図７など）を読み出すテンプレート読出部１１３と、取得した再生時間、および、読み出したテンプレートデータ１０４ｄにより特定されるそれぞれの前記単位時間（1sec、1sec、1sec、1sec：それらの単位時間が合計された合計時間（4sec））に基づいて、該繰り返し単位（Ｃ）の繰り返し回数（回数データ５２ｎ（図４）を参照）を調節する調節部１１４とを備える。

なお、実施形態の画像編集装置は、調節がされた後の繰り返し回数（回数データ５２ｎＢ（図４）を参照）と、繰り返し単位における、上述された１個以上の表示画像１１２ａとに基づいて、連続表示をする動画像（動画ファイル１１５ｄ：図７）を生成する生成部１１５を備えている。

なお、テンプレートデータ１０４ｄは、比較的上層の繰り返し単位（例えば、図４のH）と、比較的下層の繰り返し単位（Ｊ）とを、それぞれの繰り返し単位（例えばH）の繰り返し回数（例えば、図４で示される3回）、および、切り替え効果（ノードＩ、Ｋ、Ｌ）の単位時間（1sec、0.5sec、0.5sec）ととともに、階層構造により特定している。

なお、調節部１１４は、繰り返し単位（例えばＣ）のそれぞれの切り替え効果（「Ｄ〜Ｇの効果」）の単位時間（1sec、1sec、1sec、1secなど）が合計された合計時間（4sec）が、より長い繰り返し単位（例えば、Hにおける「1+（0.5+0.5）×2＝３sec」よりも長い、「1+1+1+1＝4sec」のC）を優先して、優先される当該繰り返し単位（Ｃ）の繰り返し回数を調節する。

これにより、繰り返し回数が、より多い回数へと調節されるのに際して、短い合計時間の繰り返し単位（Ｈ）での繰り返し回数が多くされるのが回避される。これにより、短い合計時間の繰り返し単位（Ｈ）での繰り返し回数が増えて、比較的短い周期で、同じ表示がされて、ユーザーが、飽きを感じ易い表示がされてしまうのが回避され、より適切な表示ができる。

〔実施の形態１〕
実施の形態１に係るＰＣ１００は、連続表示する画像群について、ストーリー構成を、より重視して編集することができる。本実施の形態では、連続表示する画像群の一例として、ムービーを作成する場合を説明する。

ムービー作成において、ユーザーは、デフォルトで用意されたＢＧＭや、ユーザーが任意に登録したＢＧＭを採用することができる。

本実施の形態１に係るムービー作成では、ユーザーが、選択したテンプレートと、設定したＢＧＭに従って、入力画像を連続して配置することにより、ストーリーが作成される。

ここで、テンプレートは、連続して配置される画像の表示時間と、画像間の切り替え効果を記述したものである。

以下、図を用いて、システムの構成および動作について詳細に説明する。

[１．システムの構成]
まず、ＰＣ（Personal Computer：パーソナルコンピュータ）１００のシステムの構成について、図１を用いて説明する。

図１は、ＰＣ１００の全体構成を示す。

ＰＣ１００は、ＣＰＵ（Central Processing Unit）１０１、システム管理メモリ１０２、ワークメモリ１０３、ＨＤＤ（Hard Disk Drive）１０４、マウス１０５、キーボード１０６、ＵＳＢ（Universal Serial Bus）コネクタ１０７、表示デバイス１０８、液晶ディスプレイ１０９等から構成されている。

ＣＰＵ１０１は、ＰＣ１００上の処理を実行する処理部である。

ＣＰＵ１０１は、システム管理メモリ１０２、ワークメモリ１０３、ＨＤＤ１０４、表示デバイス１０８、ＵＳＢコネクタ１０７のそれぞれに、電気的に接続されている。

ＣＰＵ１０１は、表示デバイス１０８を介して、液晶ディスプレイ１０９に表示される画面を変更することができる。

また、ＣＰＵ１０１は、ＵＳＢコネクタ１０７を介して、マウス１０５や、キーボード１０６を用いての、ユーザーの操作情報を受け付ける。つまり、ＣＰＵ１０１により、これらマウス１０５等により入力される操作情報が取得される。

また、ＣＰＵ１０１は、図示をしていないが、ＰＣ１００の各部に供給される電力等のシステムを全体的に制御している。例えば、ＣＰＵ１０１は、その制御を行う制御部の少なくとも一部などでもよい。

システム管理メモリ１０２は、ＯＳ（オペレーションシステム）などが保持されているメモリである。

また、システム管理メモリ１０２には、システム時刻などが格納されている。

システム時刻は、ＣＰＵ１０１が、ＯＳのプログラムを動作させることにより更新される。

ワークメモリ１０３は、ＣＰＵ１０１が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。

ＣＰＵ１０１は、画像を連続して配置して、一連の連続表示画像群によるストーリーを作成するとき、ユーザーが選択したテンプレートに従って、その作成をする。

ワークメモリ１０３には、ＣＰＵ１０１により、選択されたテンプレートの情報、作成中のストーリーの情報等が格納される。なお、テンプレート情報の詳細については、後述する。

マウス１０５は、ユーザーが編集操作時に使用するポインティングデバイスである。ユーザーは、マウス１０５を操作することにより、画像編集ソフト（図１に示される、画像編集ソフトウェア（のプログラム）１０４Ｓを参照）の画面上において、画像データや音楽データ、テンプレートを選択することができる（後述の図２の素材選択エリア２００、ＢＧＭ選択エリア２０２、テンプレート選択エリア２０１などを参照）。

キーボード１０６は、ユーザーが、編集操作時に文字入力などを行う、キーボードデバイスである。

ＵＳＢコネクタ１０７は、マウス１０５とキーボード１０６とを、ＰＣ１００に接続するためのコネクタである。

表示デバイス１０８は、ＣＰＵ１０１で演算された画面情報を映像化するデバイスであり、画面情報を、液晶ディスプレイ１０９に伝える。

液晶ディスプレイ１０９は、表示デバイス１０８で映像化した画面情報を表示する表示デバイスである。

ＣＰＵ１０１は、画像編集ソフト（プログラム１０４Ｓ）をＨＤＤ（Hard Disc Drive）１０４から読み出し、ワークメモリ１０３に格納して、画像編集ソフトを起動し、実行する。また、ＣＰＵ１０１は、画像編集ソフトのプログラムに従って、以下の処理を実行する。

（１）マウス１０５、キーボード１０６で行われた、ユーザーの選択操作、編集操作を、ＵＳＢコネクタ１０７を介して受け付ける。

（２）作成するストーリーについて、ユーザーが選択又は登録した音楽データの再生時間を読み出す。

（３）ユーザーが選択したテンプレートの記述内容を読み出す。

（４）テンプレートにより定義されたストーリーの再生時間と、使用する音楽データの再生時間との比較結果に基づいて、ストーリー上に、入力画像を配置する。

（５）液晶ディスプレイ１０９に表示するために、作成したストーリーの画像情報を、表示デバイス１０８に供給する。

[２．選択画面の構成]
続いて、液晶ディスプレイ１０９が表示する選択画面の構成について、図２を用いて説明する。

図２は、液晶ディスプレイ１０９の選択画面のイメージ図である。

図２に示すように、液晶ディスプレイ１０９に表示される選択画面（画面２０３ａ）は、素材選択エリア２００、テンプレート選択エリア２０１、ＢＧＭ選択エリア２０２、完了ボタン２０３等から構成される。

素材選択エリア２００は、ストーリーを作成するための素材となる画像データを表示するエリアである。

ここで、素材となる画像データとしては、静止画像データや、動画像データがある。

図２に示すように、素材選択エリア２００には、複数の画像データが表示される。

なお、例えば、図示されるように、素材選択エリア２００は、複数の領域２００ａを含み、それぞれの領域２００ａにおいて、その領域２００ａの画像データを示す画像が表示されてもよい。

なお、素材選択エリア２００に表示される１つ以上の画像データは、ＨＤＤ１０４に格納された画像データの全てでもよいし、特定のフォルダに格納された画像データのみを選択的に抽出した１つ以上の画像データなどでもよい。又は、素材選択エリア２００に表示される１つ以上の画像データは、特定のフォルダに格納された１つ以上の画像データの中から、ユーザーにより選別された画像データを抽出した１つ以上の画像データでもよい。

なお、素材選択エリア２００に表示された画像データについて、ストーリーに組み入れたい画像データとしての優先度を、ユーザーが設定できるようにしてもよい。素材選択エリア２００に表示された画像データは、ストーリー作成時に組み入れられる画像の候補となる。しかし、すべての画像を採用できない場合には、優先度が高く設定された画像データを、優先的に採用することができる。

これにより、ユーザーが、所望する画像を採用したストーリーを作成することができる。

テンプレート選択エリア２０１は、ユーザーが選択可能なテンプレートを表示するエリアである。

ユーザーが選択可能なテンプレートとして、例えば、図２に示すように、「人物中心のスローテンポテンプレート」、「人物中心のアップテンポテンプレート」、「風景中心のスローテンポテンプレート」、「風景中心のアップテンポテンプレート」等が表示される。

「人物中心のスローテンポテンプレート」は、人物が撮像された画像を中心に抽出してきて、スローテンポなＢＧＭ（Background Music）に合わせた画像切り替え効果を用いて、構成されたストーリーを記述したテンプレートである。

同様に、「人物中心のアップテンポテンプレート」は、人物が撮像された画像を中心に抽出してきて、アップテンポなＢＧＭに合わせた画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。

「風景中心のスローテンポテンプレート」は、風景が撮像された画像を中心に抽出してきて、スローテンポなＢＧＭに合わせた画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。

「風景中心のアップテンポテンプレート」は、風景が撮像された画像を中心に抽出してきて、アップテンポなＢＧＭに合わせた画像切り替え効果を用いて構成されたストーリーを記述したテンプレートである。

各テンプレート表示領域には、テンプレートのイメージ画像や、テンプレート名や、該テンプレートにデフォルトで設定されたＢＧＭの再生時間が表示される。

なお、ＰＣ１００に設けられた、上述のＨＤＤ１０４などの記憶部に、テンプレート（テンプレートデータ１０４ｄ）が記憶されてもよい。なお、記憶されるテンプレートデータ１０４ｄは、例えば上述された、ＰＣ１００にインストールされて、当該記憶部に記憶される画像編集ソフトウェアのプログラム１０４Ｓの一部などでもよい（図１を参照）。

ユーザーは、マウス１０５を操作することにより、テンプレートを選択することができる。

このように、テンプレートを複数種類用意することで、作成するストーリーの雰囲気を変更することができる。

ＢＧＭ選択エリア２０２は、ストーリーに使用するＢＧＭを、ユーザーが任意に指定するためのエリアである。

ＢＧＭ選択エリア２０２は、ユーザー指定チェックボックス（チェックボックス２０３ｃ）、登録ボタン（ボタン２０３ｂ）、試聴ボタン（試聴ボタン２０３ａｙを含んでなる試聴プレーヤ２０３ａｘ）等から構成されている。

ユーザーは、マウス１０５を操作することにより、ユーザー指定チェックボックスの有効／無効を切り替えることができる。

ユーザー指定チェックボックスを無効にしたときには、ＣＰＵ１０１は、選択されたテンプレートのデフォルトのＢＧＭを、ストーリー作成に使用する。

ユーザー指定チェックボックスを有効にした場合には、ユーザーが指定したＢＧＭを、ストーリー作成に使用する。

ここで、使用することが決定されるＢＧＭの再生時間が、作成予定のストーリーの再生時間（先述された総再生時間を参照）となる。

また、ユーザーは、マウス１０５を操作して、登録ボタンを押下することにより、ストーリー作成に使用するＢＧＭの登録を行うことができる。

ユーザーが登録ボタンを押下すると、ＣＰＵ１０１は、音楽データを格納したフォルダの内容を、液晶ディスプレイ１０９（図１）に表示する。そして、ユーザーは、表示された、フォルダの内容を見ながら、所望の音楽データを、マウス操作等により選択する。これにより、ユーザーは、ストーリー作成に使用するＢＧＭの登録をすることができる。また、ユーザーは、マウス１０５を操作して、試聴ボタンを押下することにより、ＢＧＭの試聴を実行することができる。

完了ボタン２０３は、ストーリー作成のための素材画像、テンプレートやＢＧＭの選択を完了させるボタンである。

ユーザーは、マウス１０５を操作して、完了ボタン２０３を押下することにより、選択を完了することができる。ストーリー作成のための選択が完了すると、素材選択エリア２００で選択された画像データ、テンプレート選択エリア２０１で選択されたテンプレート、ＢＧＭ選択エリア２０２で指定されたＢＧＭ情報に基づいて、ストーリーが生成される。

[３．確認画面の構成]
続いて、液晶ディスプレイ１０９が表示する確認画面（画面４０４ａ）の構成について図３を用いて説明する。

図３は、液晶ディスプレイ１０９の確認画面のイメージ図である。

図３に示すように、液晶ディスプレイ１０９に表示される確認画面は、ストーリー情報表示エリア４００、プレビューエリア４０１、ストーリーボードエリア４０２、コンテ保存ボタン４０３、動画ファイル出力ボタン４０４等から構成される。

ストーリー情報表示エリア４００は、選択画面（図２）でユーザーが選択した内容に関する情報を表示するエリアである。

表示する情報には、図示されるように、選択された素材の個数、選択されたテンプレート名、選択されたＢＧＭの再生時間等が含まれる。

ここで、選択された素材の個数とは、ストーリーに組み入れる候補となっている静止画の個数および、動画の個数である。

図示してはいないが、実際に採用された静止画および動画の個数を合わせて表示するようにしてもよい。

これにより、ユーザーは、候補画像数のうち、どれだけの画像が採用されたかを確認することができる。

プレビューエリア４０１は、作成したストーリーの再生を実行する画面である。ユーザーは作成したストーリーの内容を、実際に、映像で確認することができる。

ストーリーボードエリア４０２は、作成したシナリオの内容を表示するエリアである。

ストーリーボードエリア４０２には、複数の箱（複数の画像（サムネイル画像）４０２１）が配列上に並んでおり、箱の配置された順序は、ストーリー上の表示の順序に対応する。

それぞれの箱には、素材選択エリア２００に表示されていた画像から抽出してきた画像の何れかが配置されている。

なお、画像と画像との間の切り替え効果を示すアイコン（例えば、アイコン４０２２を参照）を合わせて表示してもよい。

また、各箱に配置された画像をムービー表示する際の再生時間を合わせて表示してもよい。

これにより、ユーザーは、ストーリー上に、どの素材が、どのような順序で、どのような効果で、どのような再生時間で配置されているかを確認することができる。

コンテ保存ボタン４０３は、マウス１０５の操作により選択することができる。

ユーザーは、コンテ保存ボタン４０３を押下することにより、どの素材が、どのような順序で、どのような切り替え効果で、どのような再生時間で配置されるかを管理したコンテ情報（後述される図７のコンテデータ１１５ｂを参照）を、ＨＤＤ１０４に保存することができる。

なお、図示していないが、例えば、上の階層の画面において、ストーリー読出しボタンを設けておき、ここで保存したストーリー情報を読み出せるように構成してもよい。

動画ファイル出力ボタン４０４は、マウス１０５の操作により選択することができる。ユーザーは、動画ファイル出力ボタン４０４を押下することにより、作成されたストーリー情報に基づいて動画ファイル（図７の動画ファイル１１５ｄを参照）を作成することができる。

なお、このとき作成される動画ファイルの出力形式は、予め使用者が選択できるようにしておいてもよい。すなわち、例えば、使用者がＡＶＣＨＤ（Advanced Video Codec Definition）ファイル形式を選択している場合には、ＡＶＣＨＤファイル形式の動画ファイルを作成する。

[４．テンプレートの構成情報]
続いて、テンプレートの持つ情報について説明する。

図４は、実施の形態１にかかるテンプレートの階層構造を説明するための図である。

テンプレートは、ストーリーを作成する際に、どのような切り替え効果を、どのような順番にて、連続して並べるかを記載した情報である。

なお、図４では、このような情報の構造が、模式的に示される。

この情報では、順番が記載された、それぞれの切り替え効果について、どれだけの再生時間を割り当てるかが記述されている。ＣＰＵ１０１は、テンプレートに記載された切り替え効果の順番に従って、選択した素材を連続して配置する。

図４を用いて、テンプレートの一例について説明する。

図４に示すように、このテンプレートは、オープニング部、第一メイン部、第二メイン部、エンディング部を有する。

なお、本実施の形態では、第一メイン部、第二メイン部と、２つのメイン部がある場合を例に示すが、１つのメイン部のみから構成されていてもよいし、３つ以上の複数のメイン部を有していてもよい。

また、オープニング部、第一メイン部、第二メイン部、エンディング部のそれぞれは、効果ノード（ノードＡ、Ｂ、Ｄ〜Ｇ、Ｉ、Ｋ〜Ｌ、Ｍ）、又は、効果ノードを１つ以上有する繰り返しノード（ノードＣ、Ｈ）から構成される。

効果ノードは、素材の再生時間情報と、切り替え効果の種類情報を持つ。

なお、効果ノードは、子ノードを持つことができない。

そして、各効果ノードにおいて指定された再生時間と、切り替え効果とに従って、ＣＰＵ１０１は、画像を表示する。

一方、繰り返しノードは、該繰り返しノード（例えばＣ）の子ノード（Ｄ〜Ｇ）に所属する効果ノードの情報を持つ。また、繰り返しノードは、当該繰り返しノード（Ｊ）について、指定繰り返し回数分（例えば２回）、繰り返しをするための情報（例えば、図４に示される、繰り返し回数を特定する回数データ５２ｎなど）を持つ。

繰り返しノードでは、子ノードに指定された一連のノード（子ノード１、子ノード２、・・・子ノードｎ）を順に複数回繰り返すことができる。

１回繰り返す場合には、「［子ノード１］→［子ノード２］→・・・→［子ノードｎ］」という表示順序になる。

一方、２回繰り返す場合には、２回、「［子ノード１］→［子ノード２］→・・・→［子ノードｎ］」が繰り替えされて、「［子ノード１］→［子ノード２］→・・・→［子ノードｎ］→［子ノード１］→［子ノード２］→・・・→［子ノードｎ］」という表示順序になる。

オープニング部は、ユーザーが、ストーリーのタイトルテキストを画像に重畳することができるように、一枚あたりの画像の再生時間を、比較的長めにとるように記述されている。

図４に示す例では、オープニング部は、２secの「Aフェイドイン」効果の後に、１secの「Bクロスフェード」効果が続くように構成されている。

このとき、オープニング部には、２個の画像が使用される。

すなわち、それら２個の画像とは、液晶ディスプレイ１０９が黒画面を表示しているところから、「Aフェイドイン」効果により、画面に挿入される画像と、その画像に続けて使用される、「Bクロスフェード」効果により、画面に挿入される画像との２個の画像である。

第一メイン部および第二メイン部は、ストーリーのメインとなる画像が配置されるので、段々盛り上がる切り替え効果となるように記述されている。

第二メイン部は、クライマックスなので、第一メイン部よりも派手な切り替え効果となるように記述されている。

図４に示す例では、第一メイン部は、1secの「Dスライドイン右」効果、1secの「Eスライドイン左」効果、1secの「Fスライドイン上」効果、1secの「Gスライドイン下」効果の４つの切り替え効果を、第一メイン部における親ノードＣが有する子ノードとして有する。

第一メイン部は、この４つの子ノードを繰り返す繰り返しノードCにより構成されており、繰り返し回数は２回（図４参照）に初期設定されている。

また、第二メイン部は、1secの「Iクロスフェード」効果を有する子ノードと、0.5secの「K回転」効果を有する孫ノード、および、0.5secの「L破裂」効果を有する孫ノードの２つの孫ノードを繰り返す繰り返しノードJである子ノードと、を繰り返す繰り返しノードHにより構成されている。

このときの、繰り返しノードＪの繰り返し回数は、２回（図４参照）に初期設定されている。

また、繰り返しノードHの繰り返し回数は、３回に初期設定されている。

以上のように、初期設定されている繰り返し回数でストーリーを生成し、効果ノードを順に並べると、「［Ａフェイドイン2sec］→［Ｂクロスフェード1sec］→［Ｄスライドイン右1sec］→［Ｅスライドイン左1sec］→［Ｆスライドイン上1sec］→［Ｇスライドイン下1sec］→［Ｄスライドイン右1sec］→［Ｅスライドイン左1sec］→［Ｆスライドイン上1sec］→［Ｇスライドイン下1sec］→［Ｉクロスフェード1sec］→［Ｋ回転0.5sec］→［Ｌ破裂0.5sec］→［Ｋ回転0.5sec］→［Ｌ破裂0.5sec］→［Ｉクロスフェード1sec］→［Ｋ回転0.5sec］→［Ｌ破裂0.5sec］→［Ｋ回転0.5sec］→［Ｌ破裂0.5sec］→［Ｉクロスフェード1sec］→［Ｋ回転0.5sec］→［Ｌ破裂0.5sec］→［Ｋ回転0.5sec］→［Ｌ破裂0.5sec］→［Ｍフェイドアウト2sec］」となる。

そして、これらの表示時間を総計すると22secとなる。

以上のように、テンプレートは、繰り返しノードと、効果ノードとを持つツリー構造を成している。

[５．ストーリー作成動作]
続いて、選択された素材（図２の素材選択エリア２００参照）、選択されたテンプレート（テンプレート選択エリア２０１参照）、選択されたＢＧＭ（ＢＧＭ選択エリア２０２）に基づいて、ストーリーを作成する手順について説明する。

図５は、実施の形態１にかかるストーリー作成の概要フローチャートである。

まず、ユーザーは、ストーリー作成に使用する画像を選択する（Ｓ５００）。

画像が選択されると、ＣＰＵ１０１は、選択された画像を、素材選択エリア２００に表示する。

なお、上述した通り、ここから更に、優先度を、使用者が設定するようにしてもよい。

続いて、ユーザーは、ストーリー作成に使用するテンプレートを選択する（Ｓ５０１）。

テンプレートが選択されると、ＣＰＵ１０１は、テンプレート選択エリア２０１（図２）の該当のテンプレートを強調表示する。

続いて、ユーザーは、ストーリー作成において、選択したテンプレートの、デフォルトのＢＧＭを採用するか否かを判断する（Ｓ５０２）。

選択したテンプレートの、デフォルトのＢＧＭを採用しない場合には（Ｓ５０２：Ｙｅｓ）、上述したように、ユーザー指定チェックボックス２０３ｃ（図２）を有効にして、所望の音楽データを登録する。

そして、ＣＰＵ１０１は、ユーザーが登録した音楽データをＢＧＭとして採用する（Ｓ５０３）。

一方、選択したテンプレートのデフォルトのＢＧＭを採用する場合には（Ｓ５０２：Ｎｏ）、上述したように、ユーザー指定チェックボックス２０３ｃを無効にする。このとき、ＣＰＵ１０１は、選択したテンプレートの、デフォルトのＢＧＭを採用する（Ｓ５０４）。

なお、ステップＳ５００からステップＳ５０２の動作の順番については、適宜、入れ替わっても構わない。

ストーリー作成に使用する、素材、テンプレート、ＢＧＭの選択を終えたら、ユーザーは、完了ボタン２０３（図２）を押下することにより、選択内容を確定することができる（Ｓ５０５）。

そして、ＣＰＵ１０１は、選択内容に従って、ストーリーを作成する（Ｓ５０６）。

続いて、ステップＳ５０６におけるストーリー作成の詳細動作について説明する。

図６は、実施の形態１にかかるストーリー作成（図５のＳ５０６）の詳細フローチャートである。

まず、ＣＰＵ１０１は、ステップ５０１において選択されたテンプレートの情報を読み出す（Ｓ６００）。

次に、ＣＰＵ１０１は、読み出された、テンプレートの情報の初期設定の繰り返し回数（図４のＣでは２回）で、ストーリーを作成する（Ｓ６０１）。

上記の例（図４）によると、このときの、ストーリーの再生時間は、2+1+｛1+1+1+1｝×2+｛1+(0.5+0.5)×2｝×3+2＝22secである。

次に、ＣＰＵ１０１は、ステップＳ５０２〜ステップＳ５０４（図５）にて選択されたＢＧＭの再生時間を取得する（Ｓ６０２）。

ここでは、例として34.5secのＢＧＭが選択されたものとする。

続いて、ＣＰＵ１０１は、作成したストーリーの再生時間（22sec）と、ＢＧＭの再生時間（34.5sec）とが一致しているか否かを比較する（Ｓ６０３）。

作成したストーリーの再生時間と、ＢＧＭの再生時間とが一致していない場合（Ｓ６０３：ＮＯ）、ＣＰＵ１０１は、繰り返し回数を増減させることで、ストーリーの再生時間を、ＢＧＭの再生時間と一致させる（Ｓ６０４）。

以下で、ステップＳ６０４のこの手順について、更に詳細に説明する。

まず、テンプレート中の全ての繰り返しノードを列挙し、列挙された１以上の繰り返しノードのうちのそれぞれの繰り返しノードにおける、１回あたりの単位繰り返し時間uを調査する。

以下、u(X)は、ノードXの単位繰り返し時間とする。

図４に示したテンプレートでは、ノードＣ、ノードＨ、ノードＪの３つが、それぞれ、繰り返しノードである。

そして、ノードＣの１回当りの繰り返し長さ（１回の繰り返しでの長さ）は、ノードＤ＋ノードＥ＋ノードＦ＋ノードＧの長さに等しいので、u(C) = 1+1+1+1 = 4secである。同様に、u(J) = 0.5 + 0.5 = 1secである。

ノードＨについては、子ノードに、繰り返しノードＪを含むので、ノードＪの、初期設定の繰り返し回数(=2)を用いて、u(H) = 1 + 2 * u(J) = 1 + 2*1 = 3secとなる。

次に、ＣＰＵ１０１は、ストーリーの再生時間と、ＢＧＭの再生時間の差（以下、誤差時間と称する）をとり、その差が0になるように、繰り返し回数を増減させる。すなわち、ストーリー再生時間が、ＢＧＭ再生時間よりも長いときには、繰り返し回数をデクリメントすることで、再生時間を調整（調節）する。

逆に、ストーリー再生時間が、ＢＧＭ再生時間よりも短いときには、繰り返し回数をインクリメントすることで、再生時間を調整する。このとき、ＣＰＵ１０１は、繰り返し回数を調整するノードを、以下の考え方で、順に選ぶ。

すなわち、条件１についての処理は、次の通りである。

つまり、誤差時間以内であって、単位繰り返し時間uが、より長い（と判定される）もの（繰り返し単位）を、（優先的に）選ぶ。そして、該当の繰り返し単位の繰り返し回数を、１回インクリメントする。

そして、条件２についての処理は、以下の通りである。

つまり、単位繰り返し長さuが等しい繰り返しノードが複数ある場合には、それらの複数の繰り返しノードから、何れか１つを選ぶようにしてもよい。

なお、例えば、すでに繰り返し回数を増減させた繰り返しノードがある場合には、まだ増減させていない繰り返しノードを、優先的に選ぶ。そして、該当の繰り返し単位の繰り返し回数を１回インクリメントする。

そして、条件３についての処理は、以下の通りである。

つまり、条件１によって、単位繰り返し時間がu1の繰り返しノードが選ばれた場合で、かつ、単位繰り返し時間u1の全てのノードについて、繰り返し回数を２回インクリメントしている状態があることが想定される。

つまり、この状態において、単位繰り返し時間u1のノードの繰り返し回数を、更に１回インクリメントすると、該繰り返し単位の繰り返しがくどくなる恐れがある。

このことを回避するために、本条件の処理を適用するようにしてもよい。

つまり、例えば、u1の次に、単位繰り返し時間の長い、ノードの長さu2が、u1 < u2 * 2 を満たすと判定される場合、u1の繰り返しノードの代わりに、u2の繰り返しノードを選び、繰り返し回数を1回インクリメントしてもよい。

なお、このとき、u1 < u2 * 2 を満たす適切なノードが無い場合には、u1の繰り返しノードを再び選べばよい。すなわち、u1の繰り返し回数を、更に１回インクリメントすればよい。

そして、条件４についての処理は、以下の通りである。

つまり、誤差時間が、ノードの繰り返し時間の最小値よりも小さくなった場合、Ｓ６０４における、繰り返し回数の調整を終了する。

次に、誤差時間が、ノードの繰り返し時間の最小値よりも小さくなった場合には、各ノードの再生時間を微調整することで、残りの誤差時間を０にする。

なお、言うまでもないが、誤差時間が、上記条件１から条件３の考えを適用することで、すでに０である場合には、再生時間を微調整する必要はない。

誤差時間を微調整する場合（図６のＳ６０５を参照）、ＣＰＵ１０１は、ストーリーの効果ノードを列挙する。

そして、ＣＰＵ１０１は、再生時間の長いノードから順に選んで、その再生時間を修正して、ＢＧＭ時間に近づけていく（Ｓ６０５）。

なお、例えば、１つのノードで変更できる時間幅は、効果ノードの、元の再生時間の±１０％以内とする。

ステップＳ６０４およびステップＳ６０５の動作内容について、以下に例を示して説明する。

例として、ＢＧＭの長さが、34.5secの場合を考える。

このとき、ストーリーの再生時間と、ＢＧＭの再生時間との誤差時間は12.5secである。

まず、ＣＰＵ１０１は、条件１により、Ｃ（4sec）の繰り返し回数をインクメントする。これで、残りの誤差時間は、8.5secとなる。

次に、ＣＰＵ１０１は、再び条件１により、Ｃ（4sec）の繰り返し回数を、インクリメントする。これで、残りの誤差時間は4.5secになる。

このとき、繰り返しノードＣの再生時間は、条件１を満たしているが、この時点で、Ｃは、すでに２回選んでしまっているので、条件３により、Ｈ（3sec）の繰り返し回数を、インクリメントする。これにより、残りの誤差時間は1.5secとなる。

そして、ＣＰＵ１０１は、条件１により、Ｊ（1sec）の繰り返し回数を、インクリメントする。これにより、残りの誤差時間は、0.5secとなる。

このとき、残りの誤差時間を担当可能な繰り返しノードが存在しないため、ここで、条件４を適用して、ステップＳ６０４を終了する。すなわち、現在のストーリーは、各ノードの記号を用いると、下記の順になっている。

A-B-(D-E-F-G)-(D-E-F-G)-(D-E-F-G)-(D-E-F-G)-
(I-(K-L)-(K-L)) -(I-(K-L) -(K-L)) -(I-(K-L)-(K-L)) -(I-(K-L)-(K-L) -(K-L))-M

この中で、各ノードの再生時間は、A＝M>B = D = E = F = G = I > K = L であるので、A(2sec)を+0.2sec, Ｍ(2sec)を+0.2sec, B(1sec)を+0.1sec することで、計0.5sec分の誤差を埋める。以上で、ストーリーの長さを、34.5secに合わせることができる。

以上のようにして、ステップＳ５０１にて選択されたテンプレートに記載されている、各繰り返し単位の繰り返し回数が決定される（Ｓ６０４）。

また、誤差時間分についての再生時間が微調整される（Ｓ６０５）。

なお、ステップＳ６０３において、ストーリーの再生時間と、ＢＧＭの再生時間とが一致する場合には、初期設定されている繰り返し回数を、そのまま適用する（Ｓ６０３：ＹＥＳ）。

ＣＰＵ１０１は、ステップＳ６０３からステップＳ６０５にて決定された繰り返し回数に従って、ストーリーに、選択した画像を配置する（Ｓ６０６）。

このとき、ＣＰＵ１０１は、素材選択エリア２００に表示された画像の中から、画像を撮影日時順にソートして、順に、ストーリー中の各ノードに当てはめる。

素材となる画像の数が、ストーリー中のノードの数より少ない場合、ランダムに、同じ素材画像を、複数回使用する。

素材となる画像の数が、ストーリー中のノードの数よりも多い場合には、以下の条件により、使用する素材を選択する。

すなわち、条件１では、次の通りである。つまり、素材全体から、撮影日時に偏りがないように、満遍なく選択する。

また、条件２では、次の通りである。つまり、テンプレートとして、人物中心のものが選択されている場合には、人物が、主被写体となっている画像を、優先的に選択する。

また、条件３では、次の通りである。つまり、テンプレートとして、風景中心のものが選択されている場合には、風景が主被写体となっている画像を、優先的に選択する。

また、条件４では、次の通りである。つまり、ステップＳ５００において、素材選択エリア２００に表示されている画像に優先度を設定している場合には、優先度が高い画像を、優先的に選択する。

以上の動作により、ＣＰＵ１０１は、ストーリー作成動作を終了する。

[６．まとめ]
以上説明したように、実施の形態にかかるＰＣ１００は、複数の画像を取得する画像取得ステップ（Ｓ５００）と、取得した画像に基づいて、ムービーを生成する生成ステップ（Ｓ６０７）と、ムービーを再生表示するときの再生時間を取得する再生時間取得ステップ（Ｓ６０２）と、ムービーを構成する複数の画像の間の切り替え効果が繰り返される繰り返しノードを、該繰り返しノードの繰り返し回数、および、該切り替え効果の単位時間とともに仕分けたテンプレートを読み出す情報読出ステップと、取得した再生時間、および、読み出した単位時間に基づいて、該繰り返し単位の繰り返し回数を調節する調節ステップ（Ｓ６０４）と、調節した後の繰り返し回数に基づいて、ムービーを生成するよう、生成部を制御する制御ステップ（Ｓ６０６）と、を有する。

これにより、ＰＣ１００は、繰り返される切り替え効果の内容を、追加又は削除するのではなく、繰り返し回数を調節するので、当初予定していたストーリー構成を崩すことなく、ムービー作成が可能である。すなわち、ＰＣ１００は、ムービーのストーリー構成をより重視して、編集可能である。

また、上記実施の形態において、テンプレートは、ムービーを構成する画像間の切り替え効果が繰り返される繰り返しノードを、該繰り返しノードの繰り返し回数、および、該切り替え効果の単位時間とともに、階層構造に仕分けている。

これにより、ＰＣ１００は、誤差時間が長いときには、階層構造の、より上層に位置する繰り返しノードについて、再生時間を、担当させることができる。

一方、誤差時間が短くなってきた場合には、より、再生時間の短い繰り返しノードについて、再生時間を担当させることができる。

また、ＰＣ１００は、調節ステップにおいて、単位時間の合計時間が、比較的長い繰り返しノードを優先して、該当する繰り返しノードの繰り返し回数を調節する。

これにより、再生時間が、比較的短い繰り返しノードばかりが、極端に繰り返されることを回避することができる。

また、ＰＣ１００は、調節ステップにおいて、繰り返しノードの繰り返し回数を調節した後において、取得した再生時間に端数時間が生じたときには、単位時間が、比較的長い繰り返しノードの該単位時間を調節する。

これにより、ＣＰＵ１０１は、誤差時間が極端に短い場合においても、ストーリーの再生時間を微調整することができる。

[７．他の実施の形態]
本発明は、上記実施の形態１に限定されず、他の実施の形態も考えられる。以下、他の実施の形態について、まとめて説明する。

上記の実施の形態１においては、ステップＳ６０４を実行してから、ステップＳ６０５を実行するようにしたが、本発明は、これに限定されない。

すなわち、ステップＳ６０３において、ストーリー再生時間と、ＢＧＭの再生時間とが一致しない場合において、誤差時間が、再生時間の例えば１０％未満などの、予め定められた割合未満などである場合には、一旦、ステップＳ６０５による、再生時間の微調整の適用を試みて、成功した場合には、ステップＳ６０４およびステップＳ６０５をスキップして、ステップＳ６０６に、動作フローは移行する。

上記の実施の形態１においては、ＣＰＵ１０１が、自動的に、ストーリーを、完成まで作成する場合を説明したが、完成直前に、ユーザーが、ストーリーの内容を微調節できるようにしてもよい。

これにより、ユーザーは、自動的に作成されたストーリーの内容である、画像、切り替え効果、繰り返し回数等を微調整することができる。

なお、例えば、上位の階層の繰り返し単位（例えば図４のＨ）での合計時間（4sec）は、下位の階層の繰り返し単位（Ｊ）の合計時間（3sec）よりも長い。そのため、ＣＰＵ１０１は、繰り返し回数を調節する際、下位の階層での繰り返し回数ではなく、上位の階層での繰り返しの回数のみを、より多い回数へと調整してもよい。

なお、本発明は、装置、システム、集積回路などとして実現できるだけでなく、その装置等を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

なお、本発明について、実施の形態に基づいて説明したが、本発明は、上記の実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、電子機器に関し、特に画像の編集操作が可能な電子機器に関する。つまり、本発明はＰＣ１００への適用に限定されず、画像の編集操作が可能であれば、携帯電話、ビデオカメラ等の電子機器にも適用可能である。また、同様の機能を実行可能なプログラムを格納したＣＤやＤＶＤ等の記録メディアにも適用可能である。

１００ ＰＣ
１０１ ＣＰＵ
１０２ システム管理メモリ
１０３ ワークメモリ
１０４ ＨＤＤ
１０４ｄ テンプレートデータ
１０５ マウス
１０６ キーボード
１０７ ＵＳＢコネクタ
１０８ 表示デバイス
１０９ 液晶ディスプレイ
１１１ 時間情報取得部
１１１ａ 時間情報
１１２ａ 表示画像
１１３ テンプレート読出部
１１４ 調節部
１１５ｄ 動画ファイル
２００ 素材選択エリア
２０１ テンプレート選択エリア
２０２ ＢＧＭ選択エリア
２０３ 完了ボタン
４００ ストーリー情報表示エリア
４０１ プレビューエリア
４０２ ストーリーボードエリア
４０３ コンテ保存ボタン
４０４ 動画ファイル出力ボタン

Claims (10)

1. 複数の画像を取得する画像取得部と、
   １以上の前記画像を連続表示する動画像を再生するときの再生時間を取得する再生時間取得部と、
   前記動画像を構成する一方の前記画像と他方の前記画像との間での切り替えにおける切り替え効果の１個以上からなる繰り返し単位の繰り返し回数、および、該繰り返し単位のそれぞれの前記切り替え効果の単位時間を特定するテンプレート情報を読み出す情報読出部と、
   取得した前記再生時間、および、読み出した前記テンプレート情報により特定されるそれぞれの前記単位時間に基づいて、該繰り返し単位の前記繰り返し回数を調節する調節部と、
   を備えた画像編集装置。
2. 調節がされた後の前記繰り返し回数と、前記繰り返し単位における１個以上の前記画像とに基づいて、連続表示をする前記動画像を生成する生成部
   を備えた請求項１に記載の画像編集装置。
3. 前記テンプレート情報は、比較的上層の前記繰り返し単位と、比較的下層の前記繰り返し単位とを、それぞれの前記繰り返し単位の前記繰り返し回数、および、前記切り替え効果の単位時間ととともに、階層構造により特定する、
   請求項１に記載の画像編集装置。
4. 前記調節部は、前記繰り返し単位のそれぞれの前記切り替え効果の前記単位時間が合計された合計時間が、より長い繰り返し単位を優先して、優先される当該繰り返し単位の前記繰り返し回数を調節する、
   請求項１または２に記載の画像編集装置。
5. 前記調節部は、
   前記繰り返し単位の前記繰り返し回数を調節した後において、
   取得された前記再生時間のうちの、前記動画像が再生されない時間である端数時間が生じたときには、
   前記単位時間が比較的長い前記切り替え効果の該単位時間を調節する
   請求項１から３のいずれかに記載の画像編集装置。
6. 前記調節部は、
   前記繰り返し回数の調節が過去にされている繰り返し単位がある場合、前記繰り返し回数の調節が過去にされていない繰り返し単位に対して繰り返し回数を調節する
   請求項１に記載の画像編集装置。
7. 複数の画像を取得する画像取得ステップと、
   １以上の前記画像を連続表示する動画像を再生するときの再生時間を取得する再生時間取得ステップと、
   前記動画像を構成する一方の前記画像と他方の前記画像との間での切り替えにおける切り替え効果の１個以上からなる繰り返し単位の繰り返し回数、および、該繰り返し単位のそれぞれの前記切り替え効果の単位時間を特定するテンプレート情報を読み出す情報読出ステップと、
   取得した前記再生時間、および、読み出した前記テンプレート情報により特定されるそれぞれの前記単位時間に基づいて、該繰り返し単位の前記繰り返し回数を調節する調節ステップと、
   を含む画像編集方法。
8. 複数の画像を取得する画像取得部と、
   １以上の前記画像を連続表示する動画像を再生するときの再生時間を取得する再生時間取得部と、
   前記動画像を構成する一方の前記画像と他方の前記画像との間での切り替えにおける切り替え効果の１個以上からなる繰り返し単位の繰り返し回数、および、該繰り返し単位のそれぞれの前記切り替え効果の単位時間を特定するテンプレート情報を読み出す情報読出部と、
   取得した前記再生時間、および、読み出した前記テンプレート情報により特定されるそれぞれの前記単位時間に基づいて、該繰り返し単位の前記繰り返し回数を調節する調節部と、
   を備えた集積回路。
9. 複数の画像を取得する画像取得ステップと、
   １以上の前記画像を連続表示する動画像を再生するときの再生時間を取得する再生時間取得ステップと、
   前記動画像を構成する一方の前記画像と他方の前記画像との間での切り替えにおける切り替え効果の１個以上からなる繰り返し単位の繰り返し回数、および、該繰り返し単位のそれぞれの前記切り替え効果の単位時間を特定するテンプレート情報を読み出す情報読出ステップと、
   取得した前記再生時間、および、読み出した前記テンプレート情報により特定されるそれぞれの前記単位時間に基づいて、該繰り返し単位の前記繰り返し回数を調節する調節ステップと、
   をコンピュータに実行させるためのコンピュータプログラムが記録された、非一時的な、コンピュータ読み取り可能な記録媒体。
10. 複数の画像を取得する画像取得ステップと、
    １以上の前記画像を連続表示する動画像を再生するときの再生時間を取得する再生時間取得ステップと、
    前記動画像を構成する一方の前記画像と他方の前記画像との間での切り替えにおける切り替え効果の１個以上からなる繰り返し単位の繰り返し回数、および、該繰り返し単位のそれぞれの前記切り替え効果の単位時間を特定するテンプレート情報を読み出す情報読出ステップと、
    取得した前記再生時間、および、読み出した前記テンプレート情報により特定されるそれぞれの前記単位時間に基づいて、該繰り返し単位の前記繰り返し回数を調節する調節ステップと、
    をコンピュータに実行させるための、非一時的な、コンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラム。

Images