最初に、図1を参照して、本発明の一実施形態に係る画像編集端末10のハードウエア構成の例について説明する。図1に示す画像編集端末10は、スマートフォンについての代表的な構成を例示したにすぎない。他の様々なコンピュータを画像編集端末10として利用することができる。
画像編集端末10は、CPU(Central Processing Unit)101、メモリ102、インカメラ103a、アウトカメラ103b、GPS制御部104、GPS用アンテナ105、無線信号処理部106、無線通信用アンテナ107、オーディオ制御部108、マイクロフォン109、スピーカ110、ディスプレイ制御部111、入力機器インタフェース112、タッチスクリーン113、非接触ICカードリーダ/ライタ114、センサー115、補助記憶装置116、及び外部記録媒体インタフェース117を含んでいる。
CPU101は、画像編集端末10の各構成要素の動作を制御し、OSの制御下で、各機能を実行する。また、動画ファイルの再生や編集における画像処理を高速化するために、さらにGPU(Graphics Processing Unit)を備えるように構成してもよい。
メモリ102は通常RAM(Random Access Memory)で構成される。メモリ102には、CPU101で実行される各機能を実現するためのプログラムが実行時にロードされ、当該プログラムに必要なデータ等が一時的に記憶される。
インカメラ103a、アウトカメラ103bは、画像編集端末10に内蔵される小型の撮像装置で、撮像素子がCCDやCMOSといったタイプのものがある。これらのカメラによって撮影された動画や静止画に基づいてコンポーネントが構成され、プロジェクトファイルが作成されうる。インカメラ103aは、後述するタッチスクリーン113の付近に設けられた内側のカメラであり、通常はアウトカメラ103bより解像度が低いサブカメラの位置付けである。アウトカメラ103bは、後述するタッチスクリーン113の反対側に設けられた外側のカメラであり、通常はアウトカメラ103bより解像度が高いメインカメラの位置付けである。
GPS制御部104は、GPS用アンテナ105を介して、複数のGPSから信号を受信し、画像編集端末10の位置を調べる。こうして求められた位置情報は、後述する補助記憶装置116等に記憶され、必要に応じてプログラムで利用される。
無線信号処理部106は、無線通信用アンテナ107を介して携帯電話基地局と通信を行い、他の機器との間での通話データの送受信や、(インターネットを介した)他端末との間でのWEBページやメールデータの送受信を制御する。また、無線信号処理部106は、無線通信用アンテナ107を用いて無線LANアクセスポイントとの間で無線LANによる通信を実現し、インターネット経由のデータ送受信を行う(ここでは、便宜上、無線信号処理部106と無線通信用アンテナ107が、携帯電話基地局との間の(通話を含む)無線通信、及び無線LANアクセスポイントとの間の無線通信を行うものとして表す)。
オーディオ制御部108は、マイクロフォン109とスピーカ110を制御して無線通信による通話を実現し、一方で、本発明のプロジェクト作成画面等において、動画や音楽を再生する場合に、音声を出力するよう制御する。
タッチスクリーン113は、例えば、LCD(Liquid Crystal Display)などで構成される表示装置で情報を表示するとともに、ユーザが指などで画面表面をタップ(又はタッチ)した位置を、抵抗膜方式や静電容量方式などのタッチセンサーで検知する。ディスプレイ制御部111は、CPU101が発行する描画データを処理して、例えば、本発明における画像編集メニュー画面、プロジェクト作成画面、設定画面等を、タッチスクリーン113の表示装置に出力する。入力機器インタフェース112は、タッチスクリーン113のタッチセンサーが、ユーザによる操作を検知し、これを所定の信号としてCPU101に送信する。
非接触ICカードリーダ/ライタ114は、非接触ICチップが埋め込まれたカードが画像編集端末10の所定の位置にかざされた場合に、CPU101の指令に基づいて、そのICチップに記憶されているデータを読み取り、又は、ICチップに所定のデータを書き込む。
センサー115は、タッチスクリーン113のタッチセンサー以外のセンサーであり、モーションセンサー、光センサー、近接センサーなどがある。
補助記憶装置116は、例えば、フラッシュメモリと呼ばれる半導体メモリやハードディスクで構成される。補助記憶装置116は、CPU101で実行される各機能を実現するためのプログラムを記憶するほか、各種データを記憶する。
外部記録媒体インタフェース117は、外部記録媒体120にアクセスして、そこに記録されているデータを読み取る。外部記録媒体120は、例えば、可搬型のフラッシュメモリである。CPU101で実行され、本発明の各機能を実現するためのプログラムは、この外部記録媒体インタフェース117や、前述したような、無線信号処理部106及び無線通信用アンテナ107を介した携帯電話網やネットワークを経由して画像編集端末10に提供される。
図1は、スマートフォンが画像編集端末10として用いられた場合の構成を示しているが、例えば、携帯電話等が画像編集端末10として用いられた場合、これらがタッチスクリーンを備えていなければ、ディスプレイ制御部111には、LCD等からなる表示装置が接続され、入力機器インタフェース112にはボタン等が接続される。
また、一般的なPCが画像編集端末10として用いられた場合、外部ネットワークに接続するためのネットワークインタフェースが追加され、ディスプレイ制御部111には、LCD等からなる組み込み型又は別筐体の表示装置が接続され、入力機器インタフェース112には、キーボードやマウスが接続される。また、カードの2次元コードを読み取るためのカメラやスキャナなども、必要に応じて接続される。
次に、図2の機能ブロック図を参照して、本発明の一実施形態に係る画像編集端末10の機能の概要について説明する。図2に示すように、画像編集端末10は、プロジェクト編集制御部151、設定制御部152、撮像制御部153、入出力制御部154、及びネットワークI/F部155を含んでいる。また、画像編集端末10の補助記憶装置160には、プロジェクト定義ファイル161、設定ファイル162、プロジェクトファイル163、及びコンテンツファイル164が格納される。
プロジェクト編集制御部151は、画像編集端末10のユーザの編集指示に応じて、プロジェクトファイル163を編集し、作成する。プロジェクトファイル163は、複数のコンポーネントを組み合わせて構成された(編集後の)動画ファイルであり、各コンポーネントは、動画や静止画に基づいて構成される。詳細なユーザの編集指示については、図6ないし図17を参照して後述する。プロジェクトファイル163は、上述のように、画像編集端末10の補助記憶装置160に記憶される。
設定制御部152は、画像編集端末10のユーザの設定指示に応じて、プロジェクト等の設定に関する設定ファイルを更新し、保存する。当該設定には、例えば、画像のサイズや楽曲に関する設定が含まれる。
撮像制御部153は、画像編集端末10のユーザによる操作に基づいて、画像編集端末10のインカメラ103aやアウトカメラ103bを制御して、動画や静止画を撮像する。こうして撮像された動画や静止画は、コンテンツファイル164として、補助記憶装置160に記憶される。
入出力制御部154は、画像編集端末10のタッチスクリーン113、及び入力機器インタフェース112を介して得られるユーザの操作に係る信号をCPU101に送信するとともに、CPU101の指令に基づいて、プロジェクト作成画面等に係る表示画像等を、ディスプレイ制御部111を介してタッチスクリーン113に表示するよう制御する。
ネットワークI/F部155は、画像編集端末10の無線信号処理部106等を制御して、コンテンツやアプリケーション(プログラム)をダウンロードするために、サーバ等との間でデータ送受信を制御する。
上述したプロジェクト編集制御部151〜ネットワークI/F部155の各機能は、基本的には、画像編集端末10にインストールされた専用アプリケーションによって実現されるが、場合によっては、これらの機能の少なくとも一部が、WEBブラウザなどの汎用アプリケーションやOSによって実現されうる。
次に、図3を参照して、プロジェクト定義ファイル161の例について説明する。プロジェクト定義ファイル161は、上述したプロジェクトファイル163に関する定義ファイルであり、プロジェクト作成に関してユーザが指定した内容についての情報が記憶される。この例では、プロジェクトごとに(すなわち、プロジェクトをユニークに識別可能なプロジェクトIDにより)管理される。
プロジェクト定義ファイル161は、図3に示すように、ユーザID、テーマ名、プロジェクトID、プロジェクトタイトル、コンポーネント1ないしコンポーネント9、編集内容、トランジション設定、個別ミュート、楽曲、及び楽曲スタート位置を含んでいる。
ユーザIDは、例えば、画像編集端末10のユーザがプロジェクト作成画面等を画像編集端末10に表示させて、プロジェクト作成を行うというサービスを受けるために登録されたIDである。画像編集端末10のユーザは、ユーザIDでログインを行い、サーバによって認証された場合に、画像編集端末10でそのプロジェクトの作成を行うためのプログラムが利用可能となる。ユーザIDによるログインに際しては、パスワードが要求されることもある。
テーマ名は、例えば、プロジェクト作成により生成されたプロジェクトファイル163が、別途読み込んだカードの2次元コードから得られるカードIDと関連付けられるような場合に、そのカードIDに対応するテーマ名である。プロジェクトタイトルは、ユーザが任意に設定することができる。
コンポーネント1ないしコンポーネント9は、そのプロジェクトで利用されるコンポーネントに関するファイル(コンポーネントファイル)であり、この例では、1つのプロジェクトに最大9個のコンポーネントファイルが関連付けられる。各コンポーネントファイルの欄には、例えば、「MOVIE1.mp4」や「MOVIE2.jpg」などのコンポーネント(素材)のファイル名が記憶され、これらのファイル自体は、コンテンツファイル164として補助記憶装置160に記憶されている。
編集内容は、各コンポーネント(コンポーネント1ないしコンポーネント9)に対してユーザが指定した編集内容(指示内容と編集パラメータ等)が記憶される。例えば、コンポーネント1についてフレームを設定した場合は、フレームを配置するという指示内容を表す指示情報と、どのフレームを用いたかを表すパラメータ情報が記憶される。
なお、本発明の一実施形態におけるプロジェクトでは、コンポーネントとして、静止画を指定することができるが、この静止画に対応するコンポーネントに対しては、表示時間を指定することによって、その時間だけ連続して表示されるよう制御される。当該コンポーネントに関する編集内容として、ユーザにより指定された表示時間が含まれる。また、静止画自体は、コンテンツファイル164として記憶される。
トランジション設定は、複数のコンポーネントがある場合に、それぞれのコンポーネントでどのような遷移を行うか(遷移時のエフェクト)を指定する。9個のコンポーネントファイルが含まれる場合は、8のトランジション指定を表す識別子(例えば、「1(クロスフェード)」、「2(ホワイトアウト)」。「3(なし)」など)が記憶される。
個別ミュートは、各コンポーネントにおける音声の再生を、プロジェクトの再生時に行うかどうかを指定する。9個のコンポーネントファイルが含まれる場合は、それぞれ9個の指定を表す識別子(例えば、「0(ミュートしない)」や「1(ミュートする)」など)が記憶される。
楽曲は、プロジェクトの再生時に出力される音声を指定する。この例では、音声ファイルのファイル名が記憶され、これらの楽曲は、コンテンツファイル164や所定のライブラリ等に記憶されている。楽曲スタート位置は、プロジェクトの再生が開始される場合に、楽曲のどの部分からスタートするかを示すものであり、この例では、楽曲の再生が開始される時間が記憶されている。
次に、図4を参照して、設定ファイル162の例について説明する。設定ファイル162は、この例では、プロジェクトごとに記憶されるが、ユーザごと、プロジェクトのグループごと、プロジェクト内の所定のコンポーネントごとに構成されてもよい。
画像サイズは、プロジェクトの各コンポーネントの画像を統一サイズで再生する場合に、どのサイズで再生するかを指定するものであり、例示のような固定値(400×400)のほか、「1(最大画像サイズに合わせる)」、「2(最小画像サイズに合わせる)」、「3(最大横サイズに合わせる)」、「4(最大縦サイズに合わせる)」などが設定可能である(後述の図18参照)。
画像サイズ調整方法は、上記のように、プロジェクトの各コンポーネントの画像サイズの統一をどのように調整するかを指定するものである。例えば、「1(自動的に拡大・縮小する)」、「2(はみ出した部分をカットする)」などが設定可能である(図18参照)。
音量調整は、1つのプロジェクトファイル163に従って、複数のコンポーネントが連続して再生される場合に、音量をどのように調整するかを指定するものである。例えば、「1(各コンポーネントの音声について、自動的にレベルを調整する)」、「2(各コンポーネントの音声と楽曲とのレベルを調整する)」などが設定可能である。
次に、図5ないし図17を参照して、画像編集端末10のユーザがプロジェクトの作成を行う場合の一連の操作を、画像編集端末10のタッチスクリーン113に表示される画面の例を用いて説明する。
最初に、ユーザは、画像編集端末10において、図5に示す画像編集メニュー画面300を表示させる。画像編集メニュー画面300は、例えば、ユーザが画像編集端末10で所定の画面操作を行うことで表示される。また、カードの2次元コードから読み取られた識別IDにプロジェクトを関連付けようとする場合は、そのカードの2次元コードを読み取った後で、画像編集端末10の画面が画像編集メニュー画面300に遷移する。なお、図5に示す画像編集メニュー画面300の表示を行わずに、次の画面(例えば、後述するプロジェクト作成画面310)を表示させるように構成することもできる。
画像編集メニュー画面300の最上部には、「画像編集メニュー画面」といった画面タイトルが表示されたヘダー表示領域301が配置され、画面タイトルの左側には、BACKボタン302が配置される。ユーザがBACKボタン302をタップ(又はタッチ)すると、画像編集端末10の画面表示が、前画面に遷移する。
ヘダー表示領域301の下には、テーマ表示領域303が配置され、そこには、テーマ名が表示される。この例では、上記のように読み取ったカードに関連付けられたテーマが表示されている。
テーマ表示領域303の下には、プロジェクトの作成を行うためのプロジェクト作成ボタン304、既に作成されたプロジェクトの編集を行うためのプロジェクト編集ボタン305、及びプロジェクトの設定を行うための設定ボタン306が配置されている。
ここで、ユーザによって、プロジェクト作成ボタン304がタップされると、画像編集端末10の画面は、図6に示すプロジェクト作成画面310に遷移する。
プロジェクト作成画面310の最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。ユーザがBACKボタン312をタップすると、図5の画像編集メニュー画面300の表示に遷移する。
また、画面タイトルの下には、時間表示領域316が配置され、今回のプロジェクトに含まれるコンポーネントの再生の合計時間が表示される。ここでは、まだコンポーネントが登録されていないので、「00:00」と表示されている。
ヘダー表示領域311の下には、図5のテーマ表示領域303で表示されていたテーマ名を表示したテーマ名表示領域314が配置される。また、テーマ名表示領域314の下には、プロジェクトタイトル表示領域315が配置され、ユーザはそこに、今回作成するプロジェクトのプロジェクトタイトルを入力することができる。プロジェクトタイトル表示領域315をタップすると、文字入力メニューが表示され、そこで、ユーザの文字入力が可能となる。
プロジェクト作成画面310の中央部には、コンポーネント表示領域317が配置されているが、ここでは、まだコンポーネントが登録されていないので、何も表示されていない状態である。プロジェクト作成画面310の最下部には、コンポーネント追加ボタン318が表示されている。ここで、ユーザが、コンポーネント追加ボタン318をタップすると、図7に示す状態に遷移する。
図7に示すプロジェクト作成画面310aの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図6のプロジェクト作成画面310と同様である。また、テーマ名表示領域314、プロジェクトタイトル表示領域315、コンポーネント表示領域317、及びコンポーネント追加ボタン318も、図6と同様に表示される。図7に示すプロジェクト作成画面310aでは、図6に示すプロジェクト作成画面310の状態にオーバーラップして、コンポーネント追加メニュー319が表示されている。
コンポーネント追加メニュー319には、「動画撮影」、「動画インポート」、「写真インポート」のなかから、追加するコンポーネントを選択することができる。また、「キャンセル」を選択すると、図6に示すプロジェクト作成画面310の表示に戻る。
ここでユーザが、「動画インポート」を選択すると、画像編集端末10の所定の動画ライブラリーに保存されている動画選択画面(不図示)を表示し、そこでユーザが1つの動画を選択すると、画像編集端末10の表示は、図8に示すプロジェクト作成画面310bに遷移する。
また、ユーザが図7において、「写真インポート」を選択した場合は、画像編集端末10の所定の写真ライブラリーに保存されている写真選択画面(不図示)を表示し、そこでユーザが1つの写真を選択することができる。
なお、ユーザが図7において、「動画インポート」や「写真インポート」を選択した場合、さらに操作を行って、ネットワーク接続されたサーバ上の動画や写真を選択することもできる。また、動画や写真については、一度に複数個を選択することもできる。
さらに、ユーザが図7において、「動画撮影」を選択した場合は、撮像アプリケーションが起動し、ユーザはそこで動画を撮影することができる。ユーザが撮影が終了すると、「動画インポート」や「写真インポート」において選択行われた場合と同様、図8に示すプロジェクト作成画面310bに遷移する。
図8に示すプロジェクト作成画面310bでは、図7に示すプロジェクト作成画面310aのコンポーネント表示領域317の部分に、指定された動画や写真、又は撮影された動画の画像が表示される(この例では、動画のコンポーネントが追加されており、その動画の最初の画像が表示される)。
図8に示すプロジェクト作成画面310bの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図6のプロジェクト作成画面310と同様である。ただし、時間表示領域316における表示は、今回、動画のコンポーネント(12秒の動画)が追加されているので、「00:12」と表示されている。テーマ名表示領域314、及びプロジェクトタイトル表示領域315の表示内容は、図6と同じである。
上述のように、図7に示すプロジェクト作成画面310aのコンポーネント表示領域317の部分は、今回追加された動画ファイルの代表画像が表示されているコンポーネント表示領域321に変化している。なお、この例では、コンポーネント表示領域321に表示される代表画像は、初期状態では、対応するコンポーネント(動画ファイル)の最初の画像であり、後述する「preview」のタップにより再生が指示された後、再生停止の指示があった場合は、その時点での静止画像である。
初期状態で表示される代表画像は、この他、様々な画像を採用してもよい。以降、図9ないし図11の各コンポーネント表示領域に表示される画像についても同様である。また、これらのコンポーネント表示領域に表示される代表画像は、基本的に、プロジェクトが再生される場合と同じサイズで表示されるが、サムネイル画像や縮小・拡大後の画像を表示するようにしてもよい。
また、この例では、コンポーネント表示領域321をはじめとする各コンポーネント表示領域が、画像ファイルの縦横サイズに応じて、ほぼ正方形の形状となっているが、この形状は、ユーザが設定する画像ファイルのサイズや実際に読み込んだ画像ファイルのサイズに応じて変化しうる。
さらに、コンポーネント表示領域321には、そのコンポーネントに対する操作を指示するためのコンポーネント操作指示領域322が、画像にオーバーラップして表示されている。コンポーネント操作指示領域322には、「preview」、「edit」、「delete」といった、その画像に対応するコンポーネント(画像ファイル)に関する各処理を表すメニューが表示される。
ここでユーザが、「preview」をタップすると、今回選択した動画が、コンポーネント表示領域321において再生され、同時にスピーカ110から音声が出力される。その後、再び、「preview」をタップすると、再生が停止される。また、このような再生の開始と停止は、コンポーネント表示領域321の所定部分(例えば、コンポーネント操作指示領域322でない部分)をタップすることによって行われるようにしてもよい。
「edit」をタップすると、図の下側に示すように、コンポーネント編集メニュー326がプロジェクト作成画面310bにオーバーラップして表示され、そこでフレームON/OFFの編集、各種エフェクトの編集を指定することができる。動画のエフェクトについては詳細な説明を省略するが、フィルターや変形等、様々な既知のエフェクトが含まれる。「delete」をタップすると、コンポーネント削除メニュー325がプロジェクト作成画面310bにオーバーラップして表示され、そこでそのコンポーネントの削除を指定することができる。ユーザは、ここで、フレームの選択やエフェクトに必要な指示画面を表示させて指示操作を行い、コンポーネント表示領域321に表示されている動画について、フレームの追加やエフェクトの追加を行うことができる。
図8に示すプロジェクト作成画面310bのコンポーネント表示領域321の下には、コンポーネント表示領域321に隣接して、何も表示されていないコンポーネント表示領域323が表示される。また、プロジェクト作成画面310bの最下部には、コンポーネント追加ボタン324が表示されている。ここで、ユーザが、コンポーネント追加ボタン324をタップして、図7に示すようなコンポーネント追加メニュー319から「動画インポート」を選択して、動画のコンポーネントを追加すると、図9に示す状態に遷移する。
なお、図8のプロジェクト作成画面310bにおいて、コンポーネント表示領域321の横、又は下に、キーフレームで表される代表画像のサムネイルや、チャプタに対応した代表画像のサムネイルを複数並べて表示し、上記のような、コンポーネント表示領域321における再生の際に、そのサムネイルの1つをタップすることにより、対応する代表画像の位置から再生を始めるように指示することもできる(以下の再生指示が可能な画面について同じ)。
図9に示すプロジェクト作成画面310cでは、図8に示すプロジェクト作成画面310bのコンポーネント表示領域323の部分に、指定された動画や写真、又は撮影された動画の画像が表示される(この例では、動画のコンポーネントが追加されており、その動画の最初の画像が表示される)。
図9に示すプロジェクト作成画面310cの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図6のプロジェクト作成画面310と同様である。ただし、時間表示領域316における表示は、今回、動画のコンポーネント(14秒の動画)が追加されているので、「00:12」から「00:26」に変化している。テーマ名表示領域314、及びプロジェクトタイトル表示領域315の表示内容は、図6と同じである。
上述のように、図8に示すプロジェクト作成画面310bのコンポーネント表示領域323の部分は、今回追加された動画の最初の画像が表示されているコンポーネント表示領域331に変化している。このような動画のコンポーネントの追加により、複数の画像ファイルの再生順が管理される。すなわち、このプロジェクトでは、上側に表示されているコンポーネント表示領域321に係る動画が再生された後に、その下側に表示されているコンポーネント表示領域331に係る動画が再生されることになる。このように、動画の再生順が上から下に進むようにプロジェクトが定義されるので、ユーザにとっては、極めて直感的でわかりやすいGUIとなっている。
さらに、コンポーネント表示領域331には、そのコンポーネントに対する操作を指示するためのコンポーネント操作指示領域332が、画像にオーバーラップして表示されている。コンポーネント操作指示領域332には、「preview」、「edit」、「delete」の各メニューが表示される。なお、図9では、コンポーネント表示領域331の一部が表示されていないが、ユーザがプロジェクト作成画面310cを下から上にスワイプすることでプロジェクト作成画面310cの表示範囲が下側に移動し、表示されるようになり、「delete」のメニューや動画の最初の画像の全体が見えるようになる。
なお、このようなタッチスクリーン113におけるスワイプの操作は、キーボードであれば上方向キーを押すことで、マウスであれば、ホイール操作やスクロールバーのドラッグで行うことができる。
コンポーネント操作指示領域332に表示される「preview」、「edit」、「delete」の各メニューにより、コンポーネント表示領域331に示された動画に対する操作は、図8に示した、コンポーネント表示領域321に示された動画に対する操作と同様のものである。
図9に示すプロジェクト作成画面310cではさらに、コンポーネント表示領域321とコンポーネント表示領域331の間(左側)において、トランジション設定ボタン334が配置されている。ユーザがこれをタップすると、図9の下側に示すように、トランジション設定メニュー336が、プロジェクト作成画面310cにオーバーラップして表示され、ここで、ユーザは、コンポーネント表示領域321に係る動画とコンポーネント表示領域331に係る動画が連続的に再生される場合に、その遷移のエフェクトをどのように行うかを指定できる。
例えば、トランジション設定メニュー336では、「cross fade」、「whiteout」、「none」が選択できる。「cross fade」では、前の動画がフェードアウトするとともに後の動画がフェードインで再生される。「whiteout」では、前の動画の再生が終了してホワイトアウトした後、後の動画が再生される。「none」は何もしない、すなわち、前の動画の再生が終了してすぐに、後の動画がそのまま再生される。このようなトランジション以外にも既知の様々なパターンを適用することができる。
また、図9に示すプロジェクト作成画面310cではさらに、コンポーネント表示領域321とコンポーネント表示領域331の間(右側)において、上下入替ボタン333が配置されている。ユーザがこれをタップすると、コンポーネント表示領域321に係る動画とコンポーネント表示領域331に係る動画の配置が上下入れ替えられ、このような配置の入れ替えに伴って、これら2つの動画の再生順が入れ替えられることになる。
なお、この例では、2つの動画について上下を入れ替える上下入替ボタン333が配置されているが、例えば、ロングタップ(長押し)により特定した動画をドラッグするなどして、特定の位置(再生順)に変更するようにすることもできる。
なお、上述のように、トランジション設定ボタン334と上下入替ボタン333は、それぞれ、コンポーネント表示領域321とコンポーネント表示領域331の間であって、これらの表示領域の境界付近に配置されるが、トランジション設定ボタン334と上下入替ボタン333の配置位置は、コンポーネント表示領域321のなかの下側部分からコンポーネント表示領域331のなかの上側部分に亘る範囲のうちの任意の位置であればよく、特定の位置に限定される必要はない。例えば、図9では、トランジション設定ボタン334は、コンポーネント表示領域321の左下の部分にオーバーラップ表示されるとともに、コンポーネント表示領域331の左上の部分にオーバーラップ表示されている。
プロジェクト作成画面310cの最下部には、コンポーネント追加ボタン335が表示されている。ここで、上述のように、ユーザがプロジェクト作成画面310cを下から上にスワイプ等の操作をすることでプロジェクト作成画面310cの表示範囲が下側に移動するが、これを図10のプロジェクト作成画面310dとして表すことにする。
図10に示すプロジェクト作成画面310dの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図9のプロジェクト作成画面310cと同様である。
図9のプロジェクト作成画面310cにおいて、ユーザにより上方向にスワイプ等の操作が行われると、図10のプロジェクト作成画面310dに示すように、コンポーネント操作指示領域332のメニュー項目もすべて表示され、コンポーネント表示領域331に表示された画像も全体が表示される。
図10に示すプロジェクト作成画面310dのコンポーネント表示領域331の下には、コンポーネント表示領域331に隣接して、何も表示されていないコンポーネント表示領域341が表示される。また、プロジェクト作成画面310dの最下部には、コンポーネント追加ボタン342(図9に示すコンポーネント追加ボタン335に対応する)が表示されている。
ここで、ユーザが、コンポーネント追加ボタン342をタップして、図7に示すようなコンポーネント追加メニュー319から「写真インポート」を選択して、写真(静止画)のコンポーネントを追加すると、図11に示す状態に遷移する。
図11に示すプロジェクト作成画面310eでは、図10に示すプロジェクト作成画面310dのコンポーネント表示領域341の部分に、指定された動画や写真、又は撮影された動画の画像が表示される(この例では、写真のコンポーネントが追加されており、その写真の画像が表示される)。
図11に示すプロジェクト作成画面310eの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図10のプロジェクト作成画面310dと同様である。ただし、時間表示領域316における表示は、今回、写真のコンポーネントが追加され、(後述するように)10秒の表示時間が設定されるので、「00:26」から「00:36」に(最終的には)変化する。
上述のように、図10に示すプロジェクト作成画面310dのコンポーネント表示領域341の部分は、今回追加された写真の画像が表示されているコンポーネント表示領域351に変化している。このような写真のコンポーネントの追加により、各画像ファイルの再生順が管理される。すなわち、このプロジェクトは、上側に表示されているコンポーネント表示領域321に係る動画が再生された後に、その下側に表示されているコンポーネント表示領域331に係る動画が再生され、さらにその後に、その下側に表示されているコンポーネント表示領域351に係る写真が所定時間表示されることになる。
このように、動画や写真の再生・表示順が上から下に進むようにプロジェクトが定義されるので、ユーザにとっては、極めて直感的でわかりやすいGUIとなっている。また、図10のプロジェクト作成画面310dのように、画像編集端末10のタッチスクリーン113に、プロジェクトのコンポーネントがすべて表示できない場合は、上記の表示順を維持しながら、コンポーネントに係る代表画像の一部が表示される。
さらに、コンポーネント表示領域351には、そのコンポーネントに対する操作を指示するためのコンポーネント操作指示領域352が、画像にオーバーラップして表示されている。コンポーネント操作指示領域352には、「preview」、「edit」、「delete」の各メニューが表示される。
このような「preview」、「edit」、「delete」の各メニューを選択した場合の処理は、上述した、コンポーネント表示領域321に係る動画やコンポーネント表示領域331に係る動画に対するものと同様であるが、今回追加されたコンポーネントが写真であるため、「edit」のメニューをタップすると、コンポーネント編集メニュー356で、フレームON/OFFの編集、及び各種エフェクトの編集に加え、「time」のメニューが表示される。この「time」は、静止画である写真を、プロジェクトに係る連続的な画像の再生において、どれだけの時間表示するかを指定するものである。この指定により、写真の画像が、指定した時間だけ、(基本的には)そのまま表示される。この例では、10秒の表示時間が指定されたものとする。
また、図11のプロジェクト作成画面310eでは、コンポーネント表示領域331とコンポーネント表示領域351の間(左側)において、トランジション設定ボタン354が配置され、コンポーネント表示領域331とコンポーネント表示領域351の間(右側)において、上下入替ボタン353が配置されているが、これらのボタンは、上述したトランジション設定ボタン334、及び上下入替ボタン333とそれぞれ同様のものである。
ここで、ユーザは、コンポーネント表示領域351にオーバーラップして表示されたコンポーネント追加ボタン355をタップすることで、コンポーネントをさらに追加することができる。このような操作を順次繰り返して、プロジェクトを作成すると、複数の画像が上に配置された画像から連続的に再生され、専門的な知識のないユーザでも容易にプロジェクトファイル163(編集後の動画ファイル)を生成することができる。このような操作によって、大きな画像の遷移を伴うことなく、各画像の再生順や画像間のトランジションを簡単な操作で指定することができ、また、各画像について、プレビュー、編集、削除を行うことができる。
次に、ユーザが、図11のプロジェクト作成画面310eにおいて、NEXTボタン313をタップすると、画像編集端末10の画面は、図12に示すプロジェクト作成画面310fに遷移し、そこで楽曲の選択が行われる。
図12に示すプロジェクト作成画面310fの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図11のプロジェクト作成画面310e等と同様である。時間表示領域316には、上記の指定された3つの画像の合計の再生時間である「00:36」が示されている。
ここで、このプロジェクトを再生しているときに出力される楽曲を指定する場合は、「マイミュージック」の表示がされている楽曲選択ボタン361をタップし、楽曲の指定をしない場合は、「なし」の表示がされている楽曲不使用ボタン362をタップする。上記の「マイミュージック」は、例えば、ユーザの画像編集端末10における楽曲保存用ライブラリを示すものである。なお、楽曲については、このような楽曲保存用ライブラリからだけでなく、図12のプロジェクト作成画面310f等を表示するアプリケーション(画像編集端末10において実行されるプログラム)によって、例えば、所定の事業者からサーバ経由で提供される楽曲を選択することもできる。また、その他、様々な経路・仕組みで楽曲が提供されうる。
ユーザが、図12に示すプロジェクト作成画面310fにおいて、楽曲選択ボタン361をタップし、「マイミュージック」のライブラリにある楽曲の一覧を表示する楽曲一覧表示画面(不図示)から楽曲を選択すると、画面は、図13に示すプロジェクト作成画面310gに遷移し、そこで動画と楽曲の対応付けが行われる。
図13に示すプロジェクト作成画面310gの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図11のプロジェクト作成画面310fと同様である。
プロジェクト表示領域371には、最初に再生される動画(すなわち、コンポーネント表示領域321に表示された動画)の最初の画像が表示され、再生指示ボタン372をタップすると、そのプロジェクトが最初から最後まで連続して再生される。この例では、2つの動画と1つの静止画が統合され、計36秒のプロジェクトファイル163(動画ファイル)として再生される。
プロジェクト表示領域371の下には、再生時点表示領域(タイムバー)373が表示されている。この再生時点表示領域373では、このプロジェクトの再生に連動して、再生時点を示すマーカ374が移動するようになっている。マーカ374は、最初は0:00秒の位置に配置され、再生とともに右方向に移動し、再生が終了した時点で、0:36秒の位置に移動する。また、図13に示すように、コンポーネントのトランジション位置で、所定の表示(ここでは、▽マークと点線)を行うようにしてもよい。
再生時点表示領域373の下には、楽曲表示領域375が表示されている。この楽曲表示領域375では、(例えば、図12のプロジェクト作成画面310fにおいて)ユーザにより指定された楽曲の再生開始から再生終了に亘る楽曲再生時間のうち、少なくとも一部の再生部分が、楽曲の波形といった所定のシンボルにより示されるとともに、楽曲のタイミングとプロジェクトのタイミングとの対応付けが示されている。すなわち、楽曲の開始(0:00秒の位置)からプロジェクトの再生が開始され、楽曲が始まって0:36秒の位置で、プロジェクトの再生が終了する。
このような指定により、プロジェクトが再生される場合に、指定した楽曲を頭から36秒間、画像の再生終了まで出力するよう制御する。
楽曲表示領域375の下には、プロジェクトで指定された画像のサムネイルとミュート指定ボタンが対応付けて示されている。すなわち、第1の画像(コンポーネント表示領域321に表示された動画)のサムネイルとその動画の音声を出力するか否かを指定するミュート指定ボタン376、及び第2の画像(コンポーネント表示領域331に表示された動画)のサムネイルとその動画の音声を出力するか否かを指定するミュート指定ボタン377が示されている。第3の画像(コンポーネント表示領域351に表示された動画)は、元々静止画であるため、ミュートを指定する余地がなく、ミュート指定ボタンは表示されない。ただし、このような静止画についてもミュート指定ボタンを表示し、そこで、ミュート指定ボタンの初期表示がミュート状態を表すようになっていてもよい。
ユーザは、例えば、図13に示すように、ミュート指定ボタン377をタップすると、第2の動画の音声は出力されず(ミュート指定ボタン377の表示がミュート状態を表す表示に変化する)、その動画が再生されている間は、指定した楽曲のみが出力される。一方、第1の動画については、ミュート指定ボタン376がタップされていないので、その動画が再生されている間は、動画の音声と指定した楽曲の両方が出力される。第3の画像については、指定した楽曲のみが出力される。
また、このとき、再生指示ボタン372をタップすると、プロジェクト表示領域371でプロジェクトのプレビュー(再生)が行われ、その再生に連動して、指定した楽曲の出力が行われる。これにより、プロジェクトのどの画像表示のタイミングで楽曲が出力されるかを容易に把握することができる。さらに、楽曲表示領域375には、楽曲の波形が示されているため、ユーザは、その波形により、楽曲のサビの部分や間奏の部分をプロジェクトの特定の再生部分に割り当てるといった操作を直感的かつ容易に行うことができる。
このように、プロジェクトの再生において、楽曲を容易に対応付けて出力するよう指定することができ、その結果を容易に確認することができるが、楽曲のタイミングとプロジェクトのタイミングとの対応付けを調整する操作について、図14ないし図16を参照して説明する。
図14に示すプロジェクト作成画面310hの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図13のプロジェクト作成画面310gと同様である。
また、プロジェクト表示領域371、再生指示ボタン372、再生時点表示領域373、マーカ374、及び楽曲表示領域375も、図13のプロジェクト作成画面310gと同様である。また、楽曲表示領域375の下には、図13のプロジェクト作成画面310gと同様、プロジェクトで指定された画像のサムネイルとミュート指定ボタン(376、377)が対応付けて示されている。
図14のプロジェクト作成画面310hでは、図13に示すものと同様の楽曲表示領域375をユーザが左方向にスワイプして、プロジェクトの再生開始時点において、楽曲が0:05秒の位置から出力されるように指定されている。
すなわち、図13のプロジェクト作成画面310gでは、楽曲表示領域375において、楽曲の0:00秒の位置から0:36秒の位置がプロジェクトに対応していたのに対し、図14のプロジェクト作成画面310hでは、楽曲表示領域375において、楽曲の0:05秒の位置から0:41秒の位置がプロジェクトに対応するようになっている。
このように、ユーザによるスワイプ操作によって、楽曲のタイミングとプロジェクトのタイミングとの対応付けを容易に調整することができる。また、図13の場合と同様に、再生指示ボタン372をタップして、プロジェクトのどの画像表示のタイミングで楽曲が出力されるかを容易に把握することができる。
図15に示すプロジェクト作成画面310iの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図14のプロジェクト作成画面310hと同様である。
また、プロジェクト表示領域371、再生指示ボタン372、再生時点表示領域373、マーカ374、及び楽曲表示領域375も、図14のプロジェクト作成画面310hと同様である。また、楽曲表示領域375の下には、図14のプロジェクト作成画面310hと同様、プロジェクトで指定された画像のサムネイルとミュート指定ボタン(376、377)が対応付けて示されている。
図15のプロジェクト作成画面310iでは、プロジェクトが最後まで再生され、再生時点表示領域373のマーカ374が最後の位置(0:36秒の位置)に配置されている状態で、プロジェクト表示領域371には、最後に再生される静止画の画像が表示されている。ここで、ユーザは、楽曲表示領域375を、楽曲の終わりがマーカ374の位置になるまで左方向にスワイプして、プロジェクトの再生終了時点において、3:54秒の楽曲が終了するように指定することができる。
すなわち、図14のプロジェクト作成画面310hでは、楽曲表示領域375において、楽曲の0:05秒の位置から0:41秒の位置がプロジェクトに対応していたのに対し、図15のプロジェクト作成画面310iでは、楽曲表示領域375において、楽曲の3:18秒の位置から3:54秒の位置がプロジェクトに対応するようになっている。
このように、ユーザによる横方向のスワイプ操作によって、楽曲のタイミングとプロジェクトのタイミングとの対応付けを容易に調整することができる。また、図13の場合と同様に、再生指示ボタン372をタップして、プロジェクトのどの画像表示のタイミングで楽曲が出力されるかを容易に把握することができる。
図16に示すプロジェクト作成画面310jの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。このような構成は、図15のプロジェクト作成画面310iと同様である。
また、プロジェクト表示領域371、再生指示ボタン372、再生時点表示領域373、マーカ374、及び楽曲表示領域375も、図15のプロジェクト作成画面310iと同様である。また、楽曲表示領域375の下には、図15のプロジェクト作成画面310iと同様、プロジェクトで指定された画像のサムネイルとミュート指定ボタン(376、377)が対応付けて示されている。
図16のプロジェクト作成画面310jでは、プロジェクトが最後まで再生され、再生時点表示領域373のマーカ374が最後の位置(0:36秒の位置)に配置されている状態で、プロジェクト表示領域371には、最後に再生される静止画の画像が表示されている。ここで、ユーザは、楽曲表示領域375を、楽曲の終わりがマーカ374より早いタイミングとなるように左方向にスワイプして、プロジェクトの再生が終了する前に、3:54秒の楽曲が終了するように指定される。
すなわち、図15のプロジェクト作成画面310iでは、楽曲表示領域375において、楽曲の3:18秒の位置から3:54秒の位置がプロジェクトに対応していたのに対し、図16のプロジェクト作成画面310jでは、楽曲表示領域375において、楽曲の3:26秒の位置から3:54秒の位置がプロジェクトに対応し、さらに8秒の無音部分が存在するようになっている。
このように、ユーザによるスワイプ操作によって、楽曲のタイミングとプロジェクトのタイミングとの対応付けを容易に調整することができる。また、図13の場合と同様に、再生指示ボタン372をタップして、プロジェクトのどの画像表示のタイミングで楽曲が出力されるかを容易に把握することができる。
さらに、この場合は、楽曲表示領域375において無音状態を表す無音領域383をタップして同じ楽曲を指定し、楽曲を繰り返して出力するように指定することができる。また、無音領域383をタップして新たな楽曲を追加し、複数の楽曲を連結して出力するよう指定することもできる。
次に、ユーザが、図13ないし図16のNEXTボタン313をタップすると、画像編集端末10の画面は、図17に示すプロジェクト作成画面310kに遷移する。
図17に示すプロジェクト作成画面310kの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、さらに、ヘダー表示領域311には、時間表示領域316が配置される。また、図17のプロジェクト作成画面310kでは、ヘダー表示領域311の下に、保存ボタン391、SNS投稿ボタン392、キャンセルボタン393が表示される。
保存ボタン391がタップされると、プロジェクトの定義(例えば、これまでの編集内容や指示内容を表すデータ)がプロジェクト定義ファイル161として保存され、さらに、プロジェクトの定義に基づいて複数のコンポーネントが結合された一連の動画ファイル(すなわち、プロジェクトファイル163)として生成され記憶される。各コンポーネントに利用された動画ファイルや静止画ファイルは、コンテンツファイル164として記憶されている。
また、このように生成され、保存されたプロジェクトファイル163は、別途読み取ったカードのカードIDと関連付けられて、所定のサーバに送信されるよう構成することもできる。
SNS投稿ボタン392がタップされると、例えば、プロジェクトファイル163が、ユーザの登録しているSNSに投稿できるように、投稿画面(不図示)が表示される。ユーザは、このような投稿画面で所定の操作を行うことにより、生成したプロジェクトファイル163を、特定のユーザ又は不特定のユーザ間で共有できるようにSNSに投稿することができる。
キャンセルボタン393がタップされると、これまでのプロジェクト作成の操作がキャンセルされ、図5の画像編集メニュー画面300等の表示に戻る。
次に、図18を参照して、設定画面400における、プロジェクトの設定について説明する。
図18に示す設定画面400は、図5に示す画像編集メニュー画面300の設定ボタン306をタップした場合に表示され、ここでユーザが、(例えば、プロジェクト単位に)種々の設定を行う。
図18に示す設定画面400の最上部には、「設定画面」といった画面タイトルが表示されたヘダー表示領域401が配置され、画面タイトルの左側には、BACKボタン402が配置される。さらに、ヘダー表示領域401には、プロジェクトタイトルを表示するプロジェクトタイトル表示領域403が配置される。
プロジェクトタイトル表示領域403の下には、画像サイズ指定領域404が配置される。ここでユーザは、プロジェクトが、複数の画像を連続的に再生するものであって、各画像の画像サイズが異なる場合に、どのような基準により画像サイズを決定するか指定する。
この例では、画像サイズ指定領域404に示すように、固定サイズ、「最大画像サイズに合わせる」、「最小画像サイズに合わせる」、「最大横サイズに合わせる」、及び「最大縦サイズに合わせる」の、4つの基準のなかから1つを(チェックボックスをチェックすることにより)選択することができる。
画像サイズ指定領域404の下には、画像サイズ調整方法指定領域405が配置される。ここでユーザは、画像サイズ指定領域404において画像サイズを決定した場合に、どのような方法でその画像サイズに調整するかを指定する。
この例では、「自動的に拡大・縮小する」、及び「はみ出した部分をカットする」の2つの方法のなかから1つを(チェックボックスをチェックすることにより)選択することができる。
画像サイズ指定領域404と画像サイズ調整方法指定領域405において指定した内容に基づいて、プロジェクトの画像の再生や、プロジェクト作成における(図6ないし図11、図13ないし図16に示した)コンポーネント表示領域での画像の再生が行われる。
画像サイズ調整方法指定領域405の下には、音量調整指定領域406が配置される。ここでユーザは、プロジェクトで指定した複数の動画にそれぞれ含まれる音声のレベルを相互に調整するか否かを指定するために「自動的にレベルを調整する」との表示に対応するチェックボックスをチェックすることができ、また、プロジェクトで指定した複数の動画にそれぞれ含まれる音声と、指定した楽曲とのレベルを相互に調整するか否かを指定するために「楽曲とのレベルを調整する」との表示に対応するチェックボックスをチェックすることができる。
なお、この例では、「レベルの調整」は、レベルを同程度に調整することを指すが、プロジェクトで指定した複数の動画にそれぞれ含まれる音声のレベルを所定の比率でそれぞれ異なるレベルに調整したり、プロジェクトで指定した複数の動画にそれぞれ含まれる音声と、指定した楽曲とのレベルを所定の比率でそれぞれ異なるレベルに調整したりするよう指定を行うこともできる。
次に、図5ないし図11を参照して説明してきたプロジェクト作成の手順について、図19のフローチャートを参照して説明する。図19に示すフローチャートは、プロジェクト作成の手順を一部省略しながら概略的に示すものである。
最初に、ステップS11において、画像編集端末10が、ユーザからプロジェクト作成の指示を受信する(図5の画像編集メニュー画面300においてプロジェクト作成ボタン304がタップされた場合)。その後、ステップS12において、画像編集端末10は、図6に示すプロジェクト作成画面310をタッチスクリーン113に表示する。
プロジェクト作成画面310を表示した状態で、ユーザにより、コンポーネントの追加が指示されたか否かが判定される(ステップS13)。これは、図6のプロジェクト作成画面310において、コンポーネント追加ボタン318がタップされたか否かを判定することに対応する。
コンポーネントの追加が指示された場合(ステップS13のYES)、ステップS14において、コンポーネント追加メニューを表示する。これは、図7に示すプロジェクト作成画面310aにおいて、コンポーネント追加メニュー319を表示することに対応する。ここで、ユーザによって画像のインポートが指定されたか否かを判定する(ステップS15)。これは、コンポーネント追加メニュー319から「動画インポート」や「写真インポート」のどちらかがタップされたか否かを判定することに対応する。
画像のインポートが指示された場合(ステップS15のYES)、すなわち、ユーザによって「動画インポート」や「写真インポート」がタップされた場合、ステップS16において、動画の一覧から動画を選択するための動画選択画面、又は写真の一覧から写真を選択するための写真選択画面を表示する。
なお、画像のインポートが指示されなかった場合(ステップS15のNO)、すなわち、動画撮影やキャンセルが指示された場合については詳細な説明を省略する。動画撮影が指示された場合は、画像編集端末10において撮像アプリケーションが起動し、ユーザはそこで動画を撮影を開始する。撮影が終了すると、撮影された動画が保存され、その動画が選択されて、後述するステップS18の判定に進む。キャンセルが指示されると、処理はステップS13の判定に戻る。
ステップS17において、ステップS16で表示された動画選択画面や写真選択画面で選択がされたか否かが判定され(ステップS17)、選択が行われるまで、この判定が繰り返される。動画選択画面や写真選択画面で選択がされると(ステップS16のYES)、プロジェクトにコンポーネントが複数存在するか否か(すなわち、今回のプロジェクト作成画面で複数の画像が追加されているか否か)が判定される(ステップS18)。
コンポーネントが複数存在する場合(ステップS18のYES)、画像編集端末10は、コンポーネントの間(コンポーネントとコンポーネントの境界付近)に、例えば、図9のプロジェクト作成画面310cに示すように、トランジション設定ボタンと上下入替ボタンを表示し(ステップS19)、ステップS20に進む。一方、コンポーネントが今回追加した1件である場合(ステップS18のNO)、画像編集端末10は上記のトランジション設定ボタンと上下入替ボタンを表示することなく、ステップS20に進む。
ステップS20では、これまでに追加されているコンポーネントの画像と今回追加されたコンポーネントの画像を、それぞれ対応するコンポーネント表示領域に表示する。例えば、図9のプロジェクト作成画面310cに示すように、これまでに追加されているコンポーネントの画像については、コンポーネント表示領域321に示すように表示が継続され、今回追加されたコンポーネントの画像については、あらたに、コンポーネント表示領域331に表示される。なお、コンポーネントの画像は、コンポーネントが動画の場合は、動画の最初の画像である。
ステップS20の後、処理はステップS13に戻り、そこでコンポーネントの追加の指示があるか否かの判定が行われる。
ステップS13において、コンポーネントの追加以外の指示がされた場合(ステップS13のNO)、ステップS21において、NEXTボタンがタップされて次の処理に進むよう指示されたか否かが判定される。次の処理は、例えば、図12のプロジェクト作成画面310fに示すような楽曲選択の処理であるが、ここでは詳細な説明を省略する。
ユーザの指示が次の処理でない場合(ステップS21のNO)、ステップS22において、コンポーネントの指示(すなわち、コンポーネント表示領域に表示されたコンポーネント操作指示領域(図8のプロジェクト作成画面310b参照)に示された操作の指示)があった場合であって、その指示が「再生」である場合(ステップS22の「再生」)、ステップS23において、対応するコンポーネントの動画をコンポーネント表示領域において再生するよう制御する。
ステップS24において、再生のストップが指示された、又は再生が終了したと判定された場合(ステップS24のYES)、ステップS25において当該コンポーネントの再生を終了し、ステップS20に進む。ステップS23におけるコンポーネントの再生制御は、再生のストップが指示された、又は再生が終了したと判定されるまで継続される(ステップS24のNO)。
ユーザの指示が「再生」である場合(ステップS22の「編集」)、ステップS26において、対応するコンポーネントの動画をコンポーネント表示領域において編集し、保存するよう制御する。なお、このような編集は、ユーザの指示に基づくものであり、図8のプロジェクト作成画面310bに示すコンポーネント編集メニュー326から編集操作が選択される。また、追加したコンポーネントが写真の場合は、図11のプロジェクト作成画面310eに示すコンポーネント編集メニュー356に含まれる「TIME」を選択して、所定の時間、その写真が表示されるように設定する必要がある。その後、コンポーネントの編集が終了すると、ステップS20に進む。
ステップS22において、ユーザからコンポーネントに関する指示がない場合は(ステップS22のNO)、ステップS13に戻り、ユーザから指示があるまで待機する。
次に、図20、及び図21を参照して、本発明の一実施形態に係る画像編集端末10におけるプロジェクトの作成を行う場合の拡張機能の例について説明する。
図20に示すプロジェクト作成画面310Lは、図11に示すプロジェクト作成画面310eと同様の表示態様である。すなわち、図20に示すプロジェクト作成画面310Lの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。この例では、動画、又は静止画に基づく9個のコンポーネントがプロジェクトに登録され、時間表示領域316における表示は、「03:44」となっている。
また、ヘダー表示領域311において、BACKボタン312の下に、コンポーネントリスト表示ボタン411が表示されており、ユーザが、コンポーネントリスト表示ボタン411をタップすると、後述する図21のプロジェクト作成画面310mに示すようなコンポーネント表示リストが表示される。
ヘダー表示領域311の下には、コンポーネント表示領域321が表示され、このプロジェクトで最初に再生される先頭の動画の代表画像が示されている。コンポーネント表示領域321の下には、コンポーネント表示領域331が表示され、このプロジェクトで2番目に再生される動画の代表画像が示されている。さらに、コンポーネント表示領域331の下には、コンポーネント表示領域351が表示され、このプロジェクトで3番目に再生される動画(写真に基づいて構成された動画)の代表画像が示されている。
また、コンポーネント表示領域321とコンポーネント表示領域331との間には、上述したトランジション設定ボタン334と上下入替ボタン333が配置され、コンポーネント表示領域331とコンポーネント表示領域351との間には、上述したトランジション設定ボタン354と上下入替ボタン353が配置されている。また、コンポーネント表示領域331には、上述したコンポーネント操作指示領域332が表示され、コンポーネント表示領域351には、上述したコンポーネント操作指示領域352が表示されている。
さらに、コンポーネント表示領域351には、コンポーネント表示領域351にオーバーラップして表示されたコンポーネント追加ボタン355が表示されている。
このように、例えば、9個といった、多くのコンポーネントがプロジェクトに登録されている場合は、各コンポーネントの代表画像を多くても2〜3個程度しか同時に表示できず、また、そのコンポーネントに対する操作指示も、代表画像が表示されている2〜3個に対して行うことができるに過ぎない。そこでユーザは、プロジェクト作成画面310Lを下から上にスワイプすることでプロジェクト作成画面310Lの表示範囲が下側に移動し、次のコンポーネントに関するコンポーネント表示領域を表示することができ、これによって、そのコンポーネントに対する操作指示も可能となる。
しかしながら、ここで、ユーザがコンポーネントリスト表示ボタン411をタップすると、図21に示すプロジェクト作成画面310mに遷移し、そこで表示されるコンポーネントリスト表示を操作することにより、ユーザは、所望のコンポーネントにより効率的にアクセスすることができる。
図21に示すプロジェクト作成画面310mは、図20に示すプロジェクト作成画面310Lと同様の表示態様である。すなわち、図21に示すプロジェクト作成画面310mの最上部には、「プロジェクト作成画面」といった画面タイトルが表示されたヘダー表示領域311が配置され、画面タイトルの左側には、BACKボタン312が配置され、画面タイトルの右側には、NEXTボタン313が配置される。さらに、ヘダー表示領域311には、時間表示領域316が配置される。上述のように、この例では、動画、又は静止画に基づく9個のコンポーネントがプロジェクトに登録され、時間表示領域316における表示は、「03:44」となっている。
また、ヘダー表示領域311において、BACKボタン312の下に、コンポーネントリスト表示ボタン411が表示されており、ユーザが、コンポーネントリスト表示ボタン411をタップすると、コンポーネントリスト表示ボタン411の下側に、コンポーネント表示リスト412が表示される。コンポーネント表示リスト412は、この例では、コンポーネント表示領域321、コンポーネント表示領域331、コンポーネント表示領域351等にオーバーラップして表示される。また、コンポーネント表示リスト412には、上述した9個のコンポーネントのそれぞれに対する代表画像のサムネイル画像がリスト表示される。
ヘダー表示領域311の下には、コンポーネント表示領域321が表示され、このプロジェクトで最初に再生される先頭の動画の代表画像が示されている。コンポーネント表示領域321の下には、コンポーネント表示領域331が表示され、このプロジェクトで2番目に再生される動画の代表画像が示されている。さらに、コンポーネント表示領域331の下には、コンポーネント表示領域351が表示され、このプロジェクトで3番目に再生される動画(写真に基づいて構成された動画)の代表画像が示されている。
また、コンポーネント表示領域321とコンポーネント表示領域331との間には、上述したトランジション設定ボタン334と上下入替ボタン333が配置されるが、トランジション設定ボタン334は、コンポーネント表示リスト412が表示されているため非表示となっている。コンポーネント表示領域331とコンポーネント表示領域351との間には、上述したトランジション設定ボタン354と上下入替ボタン353が配置されるが、トランジション設定ボタン354は、コンポーネント表示リスト412が表示されているため非表示となっている。
また、コンポーネント表示領域331には、上述したコンポーネント操作指示領域332が配置されるが、その一部は非表示となっている。同様に、コンポーネント表示領域351には、上述したコンポーネント操作指示領域352が表示されるが、その一部は非表示となっている。
さらに、コンポーネント表示領域351には、コンポーネント表示領域351にオーバーラップして表示されたコンポーネント追加ボタン355が表示されている。
図21に示す状態で、ユーザがコンポーネント表示リスト412に表示されている第6のコンポーネントに係る代表画像のサムネイル画像412aをタップすると、例えば、コンポーネント表示領域331に、その第6のコンポーネントに係る代表画像が表示され、ユーザは、コンポーネント表示領域331に表示されたコンポーネント操作指示領域332を操作することによって、第6のコンポーネントに対する操作を即座に開始することができる。なお、このとき、コンポーネント表示領域321には、第5のコンポーネントに係る代表画像が表示され、コンポーネント表示領域351には、第7のコンポーネントに係る代表画像が表示される。
また、この例では便宜上、コンポーネント表示リスト412で指定されたコンポーネントの代表画像が、その指定の時点で、コンポーネントの代表画像の全範囲を表示可能な最上段のコンポーネント表示領域であるコンポーネント表示領域331に表示されるよう説明したが、当該指定されたコンポーネントの代表画像を、ヘダー表示領域311の直下に配置された(最上段の)コンポーネント表示領域に表示するなど、様々な所定位置に表示するよう制御できる。
このように、コンポーネント表示リスト412によって、プロジェクトに登録されたコンポーネントの全体を容易に把握することができる。また、コンポーネント表示リスト412の操作によって、ユーザは、操作対象のコンポーネントを直接指定することができ、すぐに所望のコンポーネントの代表画像を表示させ、当該コンポーネントについて操作を開始することができる。このような仕組みにより、ユーザは、コンポーネントを順次表示させて所望のコンポーネントにたどり着くといったスワイプ等の操作をする必要がなくなる。
また、コンポーネント表示リスト412は、この例では、コンポーネントごとに、ユーザによって選択可能な代表画像のサムネイルを表示するように構成されているが、コンポーネントを表す文字列や他のオブジェクトをリスト表示するように構成することもできる。また、各コンポーネントに対して、キーフレームで表される代表画像のサムネイルやチャプタに対応した代表画像のサムネイルを複数表示させて、より詳細なレベルで(すなわち、コンポーネントの各シーンについて)それぞれを選択可能とするように構成することもできる。
以上、本発明の一実施形態に係る画像編集端末10について、構成、画面の遷移、及び処理フロー等を説明してきたが、これらの説明は一例にすぎず、他の様々な構成、画面の遷移、及び処理フロー等によって、本発明の技術的思想を実現することができる。
例えば、本実施形態では、各コンポーネントは、画像編集端末10のタッチスクリーン113が縦方向に向けられた状態(すなわち、タッチスクリーン113の長手方向が概ね垂直方向に位置づけられた状態)において、隣接するコンポーネントと上下(縦)の位置関係で配置されている。しかしながら、画像編集端末10のタッチスクリーン113が横方向に向けられた状態(すなわち、タッチスクリーン113の長手方向が概ね水平方向に位置づけられた状態)において、隣接するコンポーネントと左右(横)の位置関係で配置されていてもよい。この場合、トランジション設定ボタンは、例えば、2つのコンポーネントの間の上側に配置され、左右入替ボタン(タッチスクリーン113が縦方向に向けられた場合の上下入替ボタンに対応するボタン)はトランジション設定ボタンの下側に配置されうる。
また、本実施形態では、プロジェクト作成の操作によって、プロジェクトファイル163(編集後動画ファイル)が作成され、ユーザがプロジェクト作成に関して指定した内容が別途プロジェクト定義ファイルに記憶されるが、このような構成以外の構成によって編集後動画ファイルを再生できるようにしてもよい。例えば、上記のプロジェクト定義ファイルと各コンポーネントを構成する動画ファイルや静止画ファイルを関連付けて記憶しておき、再生等のタイミングでこれらのファイルから編集後動画を生成し再生するようにしてもよいし、プロジェクト定義ファイルを記憶しないように構成してもよい。