JP7215022B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明は、情報処理装置およびプログラムに関する。

下記特許文献１には、ビデオデータ中の削除部分を指定を受け付け、削除指定されたビデオデータ部分に対応付けられている資料画像データ及び当該資料画像に対応付けられている付加画像データの時間位置を判定し、削除指定されたビデオデータ部分を削除して当該ビデオデータを再結合させるとともに当該削除部分に対応する資料画像データ及び付加画像データの対応付け時間位置を削除部分に対応して更新する処理を行い、ビデオデータと、当該ビデオデータの時間位置に対応付けられた資料画像データを含むコンテンツを、これら対応関係をコンテンツ閲覧に際して合理的な関係で維持して編集するコンテンツ編集装置を開示されている。

特許第４２９２９０２号公報

動画中で説明されている静止画像や、該動画を説明するための静止画像が、該動画と関連づけられている場合がある。その際、静止画像を入れ替えたり、削除した場合、それに同期させて動画も編集したいことがある。

本発明の目的は、複数頁からなる静止画像の配列構成に対して行われた編集に同期した動画像を得ることが可能な情報処理装置を提供することである。

請求項１に係る本発明は、複数頁からなる静止画像の配列構成に対する編集指示を受け付ける受付手段と、
前記静止画像に関連しているが、複数の再生区間が前記静止画像のそれぞれの頁とは予め関連付けられていない動画像を受け付ける動画像受付手段と、
前記静止画像のそれぞれの頁と、前記動画像受付手段により受け付けられた動画像を構成するそれぞれの再生区間との間を対応付ける対応付手段と、
前記編集指示によって編集された編集済みの前記静止画像の配列構成に対応するように、前記静止画像に対応した再生区間を有する動画像を組み合わせた動画像を生成する生成手段と、
を備える情報処理装置である。

請求項２に係る本発明は、前記対応付手段は、動画像中における特定領域の画像と、当該静止画像のそれぞれの頁の画像とが一致している場合に、前記静止画像のそれぞれの頁と前記動画像を構成するそれぞれの再生区間との間を対応付ける請求項１記載の情報処理装置である。

請求項３に係る本発明は、前記受付手段は、前記静止画像に対する頁単位での削除指示を受け付け、
前記生成手段は、前記削除指示により削除された頁の静止画像に対応する再生区間が含まれない動画像を生成する請求項１記載の情報処理装置である。

請求項４に係る本発明は、前記生成手段は、前記削除指示により削除された頁の静止画像に対応する再生区間を動画像から削除する請求項３記載の情報処理装置である。

請求項５に係る本発明は、前記生成手段は、削除された再生区間の前後の再生区間のつなぎ目部分に特殊効果を追加する請求項４記載の情報処理装置である。

請求項６に係る本発明は、前記受付手段は、前記静止画像に対して頁単位で複製して追加する複製指示を受け付け、
前記生成手段は、前記複製指示により複製された頁の静止画像に対応する再生区間を複製して動画像の指定された位置に追加する請求項１記載の情報処理装置である。

請求項７に係る本発明は、前記受付手段は、前記静止画像に対して頁単位で表示順序を並べ替える並べ替え指示を受け付け、
前記生成手段は、前記並べ替え指示により並べ替えられた前記静止画像の表示順序に応じた再生順序となるように前記動画像の再生区間の順序を並べ替える請求項１記載の情報処理装置である。

請求項８に係る本発明は、前記静止画像の頁と前記動画像の再生区間との対応関係を時系列で一覧表示する画像を表示する表示手段を備える請求項７記載の情報処理装置である。

請求項９に係る本発明は、前記表示手段は、一覧表示された画像において、動画像のいずれかの再生区間が指定された場合に、指定された再生区間における代表画像を生成して表示する請求項８記載の情報処理装置である。

請求項１０に係る本発明は、前記表示手段は、動画像の再生区間に対する編集が行われた場合には、一覧表示された画像において、編集された再生区間を他の再生区間とは異なる表示方法で表示する請求項９記載の情報処理装置である。

請求項１１に係る本発明は、前記生成手段は、一覧表示された画像において、動画像に対して行われたいずれかの変更箇所が指定された場合には、当該動画像の変更された再生区間を、変更前の状態に復元する請求項８から１０いずれかに記載の情報処理装置である。

請求項１２に係る本発明は、情報処理装置を構成するコンピュータに、
複数頁からなる静止画像を記憶させる処理と、
記憶された前記複数頁からなる静止画像の配列構成に対する編集指示を受け付ける処理と、
前記静止画像に関連しているが、複数の再生区間が前記静止画像のそれぞれの頁とは予め関連付けられていない動画像を受け付ける処理と、
前記静止画像のそれぞれの頁と、前記動画像を受け付ける処理により受け付けられた動画像を構成するそれぞれの再生区間との間を対応付ける処理と、
前記編集指示によって編集された編集済みの前記静止画像の配列構成に対応するように、前記静止画像に対応した再生区間を有する動画像を組み合わせた動画像を生成する処理と、を実行させるプログラムである。

請求項１に係る本発明によれば、複数頁からなる静止画像の配列構成に対して行われた編集に同期した動画像を得ることが可能な情報処理装置を提供できる。また、複数頁からなる静止画像とそれに関連した動画像の再生区間を自動的に対応付けることができる。

請求項２に係る本発明によれば、静止画像を構成する複数の頁と、動画像を構成する、当該静止画像の頁がそれぞれ含まれている複数の再生区間とを自動的に対応付けることができる。

請求項３に係る本発明によれば、複数頁からなる静止画像のうちある頁を削除すると、その削除を対応する動画像に反映させることが可能となる。

請求項４に係る本発明によれば、複数頁からなる静止画像のうちある頁を削除すると、その削除を対応する動画像に反映させることが可能となる。

請求項５に係る本発明によれば、動画像の一部分が削除された場合に、削除された部分の前後の再生区間のつなぎ目部分が自然に切り替わったと視聴者に感じさせる動画を生成することが可能となる。

請求項６に係る本発明によれば、複数頁からなる静止画像のある頁が複製されて追加された場合に、動画像においても当該複製に対応して再生区間が複製して追加されるようにすることが可能となる。

請求項７に係る本発明によれば、複数頁からなる静止画像の表示順序が並び変えられた
場合に、動画像においても当該並び替えに対応して再生区間が並び変えられるようにすることが可能となる。

請求項８に係る本発明によれば、静止画像を構成する複数の頁と動画像を構成する複数の再生区間との対応関係が視認可能となる。

請求項９に係る本発明によれば、動画像のそれぞれの再生区間にどのような動画像が含まれているのか利用者が把握可能に一覧表示することができる。

請求項１０に係る本発明によれば、動画像に対して編集が行われたのがどの部分であるかを利用者が把握可能に一覧表示することができる。

請求項１１に係る本発明によれば、動画像に対して行った編集処理を利用者の指示によりもとの状態に戻すことができる。

請求項１２に係る本発明によれば、情報処理装置に、複数頁からなる静止画像の配列構成に対して行われた編集に同期した動画像を得る処理を実行させることが可能となる。

本発明の一実施形態のマルチメディアコンテンツ編集システムの構成を示すシステム図である。 本実施形態の画像形成システムにおける編集処理サーバ１０のハードウェア構成を示す図である。 図２の編集処理サーバ１０の機能構成を示すブロック図である。 本発明の一実施形態における編集処理サーバ１０における編集処理の流れを示すフローチャートである。 図５（Ａ）は複数頁からなる静止画像の各頁の一覧をサムネイル表示した編集画面５００の一例を示す図であり、図５（Ｂ）は、編集後の静止画像の各頁の一覧をサムネイル表示した編集後画面の一例を示す図である。 動画ファイル取込画面６００の一例を示す図である。 領域指定受付画面７００の一例を示す図である。 動画像をプレゼンテーション資料の画像に変化に応じて複数の再生区間に分ける概念の一例を示す図である。 複数頁からなる静止画像の配列構成に対して行われた編集に対応して動画像の特定の再生区間を削除する場合の概念図である。 静止画像の頁と動画像の再生区間の対応関係を時系列で一覧表示する動画編集画面１０００の一例を示す図である。 図１１（Ａ）は、静止画像の任意の頁に対する削除指示を受け付けた場合の概念図であり、図１１（Ｂ）は、図１１（Ａ）に対応して動画像の対応する再生区間が削除される状態を示す概念図である。 図１２（Ａ）は、静止画像の任意の頁に対する複製指示を受け付けた場合の概念図であり、図１２（Ｂ）は、図１２（Ａ）に対応して動画像の対応する再生区間が複製される状態を示す概念図である。 図１３（Ａ）は、静止画像の任意の頁に対する並べ替え指示を受け付けた場合の概念図であり、図１３（Ｂ）は、図１３（Ａ）に対応して動画像の対応する再生区間が並べ替えられる状態を示す概念図である。

本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明の一実施形態のマルチメディアコンテンツ編集システムの構成を示すシステム図である。本発明の一実施形態のマルチメディアコンテンツ編集システムは、図１に示されるように、ネットワーク３０により相互に接続された編集処理サーバ１０およびパーソナルコンピュータ（以下、パソコンと略す。）等の端末装置２０と、ビデオカメラ４０により構成される。

本実施形態のマルチメディアコンテンツ編集システムは、会議、講演、説明会、プレゼンテーションなどのような資料画像を聴衆に提示して行う会議、講演、説明会（本実施形態では、これらをプレゼンテーションと称する）を収録したビデオデータをコンテンツとして配信する際に、動画像、静止画像、音声、文字等の様々なコンテンツを組み合わせたマルチメディアコンテンツを生成し、編集するものである。特に、本実施形態のマルチメディアコンテンツ編集システムによれば、複数頁からなる静止画像をモニターやスクリーンにプレゼンテーション資料として表示したプレゼンテーションの動画像を撮影しておき、これとは別にプレゼンテーション資料の静止画像の配列構成に対して編集を行った場合に、当該編集に同期した、つまり当該静止画像の配列構成に対応した動画像を生成することができる。

編集処理サーバ１０は、静止画像の頁の配列構成に同期した動画像を生成するための編集ソフトウェアがインストールされている情報処理装置である。そして、端末装置２０は、ビデオカメラ４０により撮影された動画像（プレゼンテーションの動画像）を取り込み、編集処理サーバ１０に出力する。なお、このような編集ソフトウェアを編集処理サーバ１０にインストールするのではなく、パソコン等の端末装置２０に直接インストールして使用することも可能である。

次に、本実施形態の画像形成システムにおける編集処理サーバ１０のハードウェア構成を図２に示す。編集処理サーバ１０は、図２に示されるように、ＣＰＵ１１１、メモリ１１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１１３、ネットワーク３０を介して端末装置２０等の外部の装置等との間でデータの送信及び受信を行う通信インタフェース１１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース１１５を有する。これらの構成要素は、制御バス１１６を介して互いに接続されている。

ＣＰＵ１１１は、メモリ１１２または記憶装置１１３に格納された制御プログラムに基づいて所定の処理を実行して、編集処理サーバ１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１１は、メモリ１１２または記憶装置１１３内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムをＣＤ－ＲＯＭ等の記憶媒体に格納してＣＰＵ１１１に提供することも可能である。

図３は、上記の制御プログラムが実行されることにより実現される編集処理サーバ１０の機能構成を示すブロック図である。本実施形態の編集処理サーバ１０は、図３に示されるように、データ通信部１２０と、制御部１３０と、マルチメディアデータ格納部１４０と、を備えている。

データ通信部１２０は、端末装置２０との間でネットワーク３０を介したデータ通信を行う。

制御部１３０は、編集処理サーバ１０の動作を制御していて、動画像受付部１３１、対応付部１３２、編集指示受付部１３３、静止画像編集部１３４、動画像生成部１３５、表示制御部１３６として動作する。

マルチメディアデータ格納部１４０は、編集処理を行おうとする動画像のデータ、静止画像のデータを格納している。

動画像受付部１３１は、静止画像に関連した動画像を端末装置２０から受け付ける。具体的には、後述するが、ユーザの指示に応じて、端末装置２０からユーザが指定した動画像のファイルを取得する。

対応付部１３２は、静止画像を構成するそれぞれの頁と、動画像受付部１３１により受け付けられた動画像を構成するそれぞれの再生区間との間を対応付ける。具体的には、対応付部１３２は、動画像中における、利用者により指定された特定領域の画像と、当該静止画像のそれぞれの頁の画像とが一致している場合に、静止画像のそれぞれの頁と動画像を構成するそれぞれの再生区間との間を対応付ける。なお、ここで、再生区間とは、動画像に含まれる上記特定領域の画像が変化しない期間の動画の一再生期間のことをいうものとする。

編集指示受付部１３３は、複数頁からなる静止画像の配列構成に対する利用者からの編集指示を受け付ける。具体的には、編集指示受付部１３３は、静止画像に対する頁単位での削除指示、静止画像に対して頁単位で複製して追加する複製指示、および静止画像に対して頁単位で表示順序を並べ替える並べ替え指示を受け付ける。

静止画像編集部１３４は、編集指示受付部１３３が受け付けた編集指示に応じて静止画像の頁配列構成を編集する。この編集には、静止画像の頁単位での削除、頁単位での複製、および頁単位での並べ替えといった静止画像の頁配列構成に対する変更が含まれる。

動画像生成部１３５は、上記の編集指示に応じて静止画像編集部１３４によって編集された静止画像の配列構成に対応しており、静止画像に対応した再生区間を有する動画像を組み合わせた動画像を生成する。具体的には、動画像生成部１３５は、編集指示によって静止画像の配列構成が編集、つまり変更された場合に、動画像のそれぞれの再生区間の配列構成を、静止画像の配列構成に対応するように編集、つまり変更することにより、編集された静止画像の配列に対応した動画像を生成する。

例えば、動画像生成部１３５は、削除指示により静止画像のある頁が削除された場合には、当該削除指示により削除された頁の静止画像に対応する再生区間が含まれない動画像を生成、あるいは当該削除指示により削除された頁の静止画像に対応する再生区間を動画像から削除する。その場合、動画像生成部１３５は、動画像の削除された再生区間の前後の再生区間のつなぎ目部分に特殊効果を追加してもよい。

動画像生成部１３５は、複製指示により静止画像のある頁が複製されて追加された場合には、当該複製指示により複製された頁の静止画像に対応する再生区間を複製して動画像の指定された位置に追加する。

また、動画像生成部１３５は、並べ替え指示により静止画像の複数の頁の表示順序が並べ替えられた場合には、当該並べ替え指示により並べ替えられた静止画像の表示順序に応じた再生順序となるように動画像の再生区間の順序を並べ替える。

さらに、動画像生成部１３５は、静止画像の頁と動画像の再生区間との対応関係が時系列で一覧表示された場合に、一覧表示された画像において、動画像に対して行われたいずれかの変更箇所が指定された場合には、当該動画像の変更された再生区間を、変更前の状態に復元する。

表示制御部１３６は、編集対象の動画像を指定するための動画像受付画面、静止画像に対する編集指示を受け付ける静止画像編集指示受付画面、静止画像の頁と動画像の再生区間との対応関係を時系列で一覧表示する画面を生成してユーザインタフェース１１５に表示させる。

次に、本実施形態のマルチメディアコンテンツ編集システムにおける編集処理サーバ１０の動作について図４～図１０を参照して詳細に説明する。なお、図４は、本発明の一実施形態における編集処理サーバ１０における編集処理の流れを示すフローチャートである。なお、以下の例においては、予めビデオカメラ４０によりプレゼンテーションの動画像が撮影され、撮影された動画像のデータは端末装置２０によって動画像ファイルとして保存されており、利用者の指示があれば編集処理サーバ１０により取り込み可能な状態とされているものとする。なお、このプレゼンテーションの動画像は、三脚などによって固定されたビデオカメラ４０で撮影されており、撮影された画像内に、後述する複数頁からなる静止画像をスクリーンやモニターに表示したプレゼンテーション資料が映っているものとする。

まず、ステップＳ４０１において、編集処理サーバ１０の編集指示受付部１３３は、静止画像に対する編集処理を受け付ける。例えば、図５（Ａ）に示すように、表示制御部１３６は、複数頁からなる静止画像の各頁の一覧をサムネイル表示した編集画面５００を生成し、ユーザインタフェース１１５に表示する。例えば、図５（Ａ）の編集画面においては、複数頁からなる静止画像の第１頁目～第２０頁目までが順にサムネイル表示されている。

利用者は、表示された静止画像の一覧を視認しながらユーザインタフェース１１５を操作し、静止画像の頁配列構成に対する編集を行う。例えば、不要と思われる頁を頁単位で削除する削除指示を入力する。図５（Ａ）では、第５、７－９、１４、１５頁目を削除する指示が利用者により入力された状態が示されている。ステップＳ４０２において、静止画像編集部１３４は、当該削除指示に応じて、削除の対象となった頁を静止画像から削除する。同時に、表示制御部１３６は、当該削除指示のあった頁を、サムネイル表示した編集画面５００から削除し、図５（Ｂ）に示すような編集後の静止画像の各頁の一覧をサムネイル表示した編集後画面５１０を生成し、ユーザインタフェース１１５に表示する。図５（Ｂ）では、当初の第５、７－９、１４、１５頁が削除され、後続の頁が順次削除されていない頁に続いて存在している状態が示されている。

ステップＳ４０３において、動画像受付部１３１は、編集を行った静止画像に関連した、編集対象となる動画像を受け付ける。具体的には、表示制御部１３６が、図６に示すような動画ファイル取込画面６００を生成し、ユーザインタフェース１１５に表示する。動画ファイル取込画面６００は、「編集対象となる動画ファイルを選択します。」といった説明文６１０、選択ファイル名表示欄６２０、フォルダ表示ボタン６３０、選択ファイル情報表示欄６４０、および実行ボタン６５０、キャンセルボタン６６０より構成される。

利用者は、表示された動画ファイル取込画面６００を視認しながらユーザインタフェース１１５を操作し、編集対象となる動画像ファイルを指定する。具体的には、フォルダ表示ボタン６３０を押して編集対象となる動画像が保存されている端末装置２０あるいは編集処理サーバ１０のフォルダを表示し、当該フォルダに保存されている動画像ファイル一覧の中から編集対象となる動画像ファイルを指定する。選択ファイル情報表示欄６４０には、その時点で選択されている編集対象となる動画像ファイルに関する詳細情報、例えば動画像の再生時間、解像度、作者、動画像ファイルの作成日時などが表示される。また、動画像ファイルの動画像に含まれる１フレームがサムネイル表示されるようにしてもよい。

利用者は、選択ファイル情報表示欄６４０を視認し、実行ボタン６５０を選択すると、当該動画像ファイルが編集対象の動画像ファイルとして指定されたことになる。利用者がキャンセルボタン６６０を選択すると、処理を中止して終了する。

編集対象となる動画像ファイルが指定されると、ステップＳ４０４において、対応付部１３２は、指定された動画像ファイルの動画像に含まれる１フレームを表示するよう表示制御部１３６に指示する。表示制御部１３６は、図７に示すような、指定された動画像ファイルの動画像の１フレームを含む、動画像上のプレゼンテーション資料の領域の指定を受け付ける領域指定受付画面７００を生成し、ユーザインタフェース１１５に表示する。

図７の領域指定受付画面は、「プレゼンテーション資料表示位置の指定」「プレゼンテーション資料の位置を指定してください」といった説明文７１０、動画像表示部分７２０、実行ボタン７４０、およびキャンセルボタン７５０より構成される。動画像表示部分７２０には、当該動画像に含まれるプレゼンテーション資料７３０が表示されている。なお、プレゼンテーション資料とは、静止画像をスクリーンやモニターに表示した状態のもののことをいう。

利用者はユーザインタフェース１１５を操作して、動画像表示部分７２０内のプレゼンテーション資料７３０の領域を指定する。例えば、利用者がプレゼンテーション資料の領域の左上隅と右下隅（あるいは右上隅と左下隅）などを指定して矩形領域を特定すると、対応付部１３２は、当該矩形領域の座標情報をメモリ１１２に記憶する。なお、対応付部１３２が自動的にプレゼンテーション資料７３０の領域を特定するようにしてもよい。

ステップＳ４０５において、対応付部１３２は、利用者により指定されたプレゼンテーション資料の領域の画像が大きく変化する箇所をプレゼンテーション資料切り替えのタイミングとして特定する。また、対応付部１３２は、プレゼンテーション資料の領域の画像が変化していない区間を、動画像を構成する一つ一つの再生区間として特定し、当該再生区間毎に代表画像を生成し、当該代表画像を順に並べた画像リストを生成する。この時の概念図を図８に示す。

図８は、動画像をプレゼンテーション資料の画像に変化に応じて、動画像を複数の再生区間に分ける概念を示す図である。画像リスト８１０には３つの代表画像８１１、８１２、８１３が含まれているとする。それぞれの代表画像８１１、８１２、８１３は、動画像の再生区間８２１、８２２、８２３にそれぞれ対応している。つまり、動画像の再生区間８２１において、動画像に含まれるプレゼンテーション資料の領域には代表画像８１１に対応するプレゼンテーション資料が表示されており、時刻ｔ１においてプレゼンテーション資料の画像が、代表画像８１２に対応する画像に切り替わる。同様に、動画像の再生区間８２２においては、動画像に含まれるプレゼンテーション資料の領域には代表画像８１２に対応するプレゼンテーション資料が表示されており、時刻ｔ２においてプレゼンテーション資料の画像が、代表画像８１３に対応する画像に切り替わる。

ステップＳ４０６において、対応付部１３２は、ステップＳ４０１、Ｓ４０２において編集された静止画像の配列構成と、動画像から生成された代表画像の画像リストとを比較する。そして、動画像から生成された代表画像と静止画像のそれぞれの頁の画像とが一致している場合には、静止画像のそれぞれの頁と動画像から生成された代表画像によって特定されるそれぞれの再生区間との間を対応付けてメモリ２０２に記憶する。一方、動画像生成部１３５は、動画像から生成された画像リストに、ステップＳ４０１、Ｓ４０２において編集された静止画像の頁に対応しない画像が存在する場合には、当該代表画像に対応する動画像の再生区間を当該動画像から削除する。そして削除された部分に空白が生じないように、後続の部分を削除された部分の前の最後部につなげる。これにより、削除指示により削除された頁の静止画像に対応する再生区間が含まれない動画像が生成される。

なお、この場合の概念図を図９により説明する。図９は、複数頁からなる静止画像の配列構成に対して行われた編集に対応して動画像の特定の再生区間を削除する場合の概念図である。図９において、動画像には代表画像９１１、９１２、９１３によりそれぞれ表される３つの再生区間９０１、９０２、９０３が含まれているものとする。これに対応する編集された静止画像には、代表画像９１１に対応する第１頁９２１、代表画像９１３に対応する第２頁９２３、図示しない他の代表画像に対応する第３頁９２４が含まれており、代表画像９１２に対応する静止画像の頁は削除されている。そのため、代表画像９１２に対応する第２の再生区間９０２が動画像生成部１３５により削除され、第１再生区間９０１の直後に第３再生区間９０３が続く動画が生成される。

なお、動画像生成部１３５は、この第１再生区間９０１と第３再生区間９０３の間に特殊効果を挿入してもよい。特殊効果として、ディゾルブ、ワイプアウト／イン、フェードアウト／インのいずれかを使用する。特殊効果により第１再生区間９０１と第３再生区間９０３の移行部分が不自然にならないようにされる。

次いで、ステップＳ４０７において、表示制御部１３６は、図１０に示すような静止画像の頁と動画像の再生区間の対応関係を時系列で一覧表示する動画編集画面１０００を生成してユーザインタフェース１１５に表示し、処理を終了する。

動画編集画面１０００は、プレビュー覧１０１０、編集前動画像タイムライン１０２０、編集後動画像タイムライン１０３０、静止画像タイムライン１０４０を含む。プレビュー覧１０００は、編集前の動画像、編集後の動画像、および編集された静止画像のいずれかを利用者による選択に基づいて選択的に再生するものである。編集前動画像タイムライン１０２０、編集後動画像タイムライン１０３０、静止画像タイムライン１０４０の横軸は時刻（時間経過）を表している。編集前動画像タイムライン１０２０は、編集前の動画像が再生区間毎に配列表示されている。編集後動画像タイムライン１０３０は、編集後の動画像が再生区間毎に配列表示されている。

なお、編集前動画像タイムライン１０２０と編集後動画像タイムライン１０３０を比較すると分かるように、編集後動画像タイムライン１０３０では、削除された部分は空白表示となっているのに対し、編集前動画像タイムライン１０２０ではグレーアウトなど異なる色で表示（反対向きのハッチングで表示）されている。つまり、動画像の再生区間に対する編集が行われた場合には、一覧表示された画像において、編集された再生区間を他の再生区間とは異なる表示方法で表示がなされている。また、表示制御部１３６は、上記一覧表示された画像において、動画像のいずれかの再生区間が指定された場合に、指定された再生区間に対応する代表画像を生成してポップアップ１０５０の形式で表示する。

静止画像タイムライン１０４０は、編集後の静止画像を構成するそれぞれの頁の表示時刻が時系列で一覧表示されている。なお、編集により削除された静止画像に対応する部分は空白表示となっている。

なお、動画像生成部１３５は、一覧表示された画像（編集前動画像タイムライン１０２０）において、動画像に対して行われたいずれかの変更箇所が選択指定された場合には、当該動画像の変更された再生区間を、変更前の状態に復元するようにしてもよい。具体的には、編集前動画像タイムライン１０２０のグレーアウトした部分、つまり編集後の動画像においては削除された部分に対応する部分を指定し、編集後動画像タイムライン１０３０の空白部分にドラッグアンドドロップした場合には、動画像生成部１３５が当該指定された部分の再生区間を編集後の動画像の該当位置に挿入することにより、変更前の状態に復元するようにしてもよい。

なお、上述の例では、予め静止画像の各頁の配列構成を編集しておき、次いで当該静止画像に関連した動画像を受け付け、静止画像の配列構成に対応するように動画像のそれぞれの再生区間の配列構成が編集される場合について説明した。しかしながら、本発明は上記の例に限定されず、動画像を構成する複数の再生区間と静止画像のそれぞれの頁とを予め関連付けておき、利用者からの編集指示によって静止画像の配列構成が編集された場合に、それに対応して動画像のそれぞれの再生区間の配列構成を編集することにより、編集された静止画像の配列構成に対応した動画像を生成するようにしてもよい。なお、この関連付けは、情報処理サーバ１０で行ってもよいし、端末装置２０で行ってもよい。

また、上記図４～図１０で説明した例においては、静止画像を構成する頁の配列構成に対する編集は、静止画像を構成する任意の頁の削除であった。しかしながら、本発明は、削除に限定されず、静止画像を構成する頁の配列構成に対する編集は、後述するように、頁単位で複製して追加すること、頁単位で表示順序を並べ替えることも含まれていてもよい。

例えば、図１１（Ａ）に示すように、動画像の再生区間がそれぞれ予め関連付けられた第１頁～第１５頁を含む静止画像があるとする。編集指示受付部１３３が、静止画像の第３頁目と第６頁目を削除する削除指示を受け付けたとする。静止画像編集部１３４は、削除指示の対象となった第３頁目、第６頁目を静止画像から削除する。動画像生成部１３５は、図１１（Ｂ）に示すように、静止画像の第３頁目と第６頁目に対応する動画像の再生区間、つまり第３再生区間、第６再生区間をそれぞれ削除し、後続する再生区間を直前の再生区間に接続させる。

結果として、上記削除指示により削除された静止画像の第３頁目と第６頁目に対応する再生区間が含まれない動画像、つまり再生区間１－２－４－５－７－８－９…の順に再生区間が配列した動画像が生成される。

また、別の例として、図１２（Ａ）に示すように、動画像の再生区間がそれぞれ予め関連付けられた第１頁～第１２頁を含む静止画像があるとする。編集指示受付部１３３が、静止画像の第５頁目、第９頁目、第１１頁目を複製して静止画像の頁配列構成の先頭に挿入する複製指示を受け付けたとする。すると、静止画像編集部１３４は、複製指示の対象となった静止画像の第５頁目、第９頁目、第１１頁目を複製し、静止画像の頁配列構成の先頭に挿入する。動画像生成部１３５は、図１２（Ｂ）に示すように、静止画像の第５頁目、第９頁目、第１１頁目に対応する動画像の再生区間、つまり第５再生区間、第９再生区間、第１１再生区間をそれぞれ複製し、動画像の先頭に挿入する。

結果として、上記複製指示により複製された静止画像の第５頁目、第９頁目、第１１頁目に対応する再生区間が編集前の動画像の先頭部分に追加された動画像、つまり再生区間５－９－１１－１－２－３－４－５－６－７－８－９－１０－１１－１２の順に再生区間が配列した動画像が生成される。

また、別の例として、図１３（Ａ）に示すように、動画像の再生区間がそれぞれ予め関連付けられた第１頁～第１５頁を含む静止画像があるとする。編集指示受付部１３３が、静止画像の第１３頁目、第１４頁目、第１５頁目を複製することなく移動させて静止画像の頁配列構成の先頭に挿入する並べ替え指示を受け付けたとする。すると、静止画像編集部１３４は、並べ替え指示の対象となった静止画像の第１３頁目、第１４頁目、第１５頁目を複製することなく移動させて静止画像の頁配列構成の先頭に挿入する並べ替えを実行する。動画像生成部１３５は、図１３（Ｂ）に示すように、静止画像の第１３頁目、第１４頁目、第１５頁目に対応する動画像の再生区間、つまり第１３再生区間、第１４再生区間、第１５再生区間を動画像の先頭に移動させる。

結果として、上記並べ替え指示により移動された静止画像の第１３頁目、第１４頁目、第１５頁目に対応する再生区間が編集前の動画像の先頭部分に移動された動画像、つまり再生区間１３－１４－１５－１－２－３－４－…（中略）…－１２の順に再生区間が配列した動画像が生成される。

なお、上記実施形態において生成、編集された動画像は、編集処理サーバ１０に保存され、ネットワーク３０に接続された端末装置（図示せず）を利用する多数のユーザによって視聴可能な状態、あるいは多数のユーザに対して配信可能な状態とされる。

なお、上記静止画像のある頁に機密情報や個人情報が含まれているような場合に、静止画像の当該頁を削除すると、生成、編集された動画像からも機密情報や個人情報が含まれている再生区間が削除されることになる。

１０ 情報処理サーバ
２０ 端末装置
３０ ネットワーク
４０ ビデオカメラ
１１１ ＣＰＵ
１１２ メモリ
１１３ 記憶装置
１１４ 通信インタフェース
１１５ ユーザインタフェース
１１６ 制御バス
１２０ データ通信部
１３０ 制御部
１３１ 動画像受付部
１３２ 対応付部
１３３ 編集指示受付部
１３４ 静止画像編集部
１３５ 動画像生成部
１３６ 表示制御部
１４０ マルチメディアデータ格納部

Claims (12)

1. 複数頁からなる静止画像の配列構成に対する編集指示を受け付ける受付手段と、
   前記静止画像に関連しているが、複数の再生区間が前記静止画像のそれぞれの頁とは予め関連付けられていない動画像を受け付ける動画像受付手段と、
   前記静止画像のそれぞれの頁と、前記動画像受付手段により受け付けられた動画像を構成するそれぞれの再生区間との間を対応付ける対応付手段と、
   前記編集指示によって編集された編集済みの前記静止画像の配列構成に対応するように、前記静止画像に対応した再生区間を有する動画像を組み合わせた動画像を生成する生成手段と、
   を備える情報処理装置。
2. 前記対応付手段は、動画像中における特定領域の画像と、当該静止画像のそれぞれの頁の画像とが一致している場合に、前記静止画像のそれぞれの頁と前記動画像を構成するそれぞれの再生区間との間を対応付ける請求項１記載の情報処理装置。
3. 前記受付手段は、前記静止画像に対する頁単位での削除指示を受け付け、
   前記生成手段は、前記削除指示により削除された頁の静止画像に対応する再生区間が含まれない動画像を生成する請求項１記載の情報処理装置。
4. 前記生成手段は、前記削除指示により削除された頁の静止画像に対応する再生区間を動画像から削除する請求項３記載の情報処理装置。
5. 前記生成手段は、削除された再生区間の前後の再生区間のつなぎ目部分に特殊効果を追加する請求項４記載の情報処理装置。
6. 前記受付手段は、前記静止画像に対して頁単位で複製して追加する複製指示を受け付け、
   前記生成手段は、前記複製指示により複製された頁の静止画像に対応する再生区間を複製して動画像の指定された位置に追加する請求項１記載の情報処理装置。
7. 前記受付手段は、前記静止画像に対して頁単位で表示順序を並べ替える並べ替え指示を受け付け、
   前記生成手段は、前記並べ替え指示により並べ替えられた前記静止画像の表示順序に応じた再生順序となるように前記動画像の再生区間の順序を並べ替える請求項１記載の情報処理装置。
8. 前記静止画像の頁と前記動画像の再生区間との対応関係を時系列で一覧表示する画像を表示する表示手段を備える請求項７記載の情報処理装置。
9. 前記表示手段は、一覧表示された画像において、動画像のいずれかの再生区間が指定された場合に、指定された再生区間における代表画像を生成して表示する請求項８記載の情報処理装置。
10. 前記表示手段は、動画像の再生区間に対する編集が行われた場合には、一覧表示された画像において、編集された再生区間を他の再生区間とは異なる表示方法で表示する請求項９記載の情報処理装置。
11. 前記生成手段は、一覧表示された画像において、動画像に対して行われたいずれかの変更箇所が指定された場合には、当該動画像の変更された再生区間を、変更前の状態に復元する請求項８から１０いずれかに記載の情報処理装置。
12. 情報処理装置を構成するコンピュータに、
    複数頁からなる静止画像を記憶させる処理と、
    記憶された前記複数頁からなる静止画像の配列構成に対する編集指示を受け付ける処理と、
    前記静止画像に関連しているが、複数の再生区間が前記静止画像のそれぞれの頁とは予め関連付けられていない動画像を受け付ける処理と、
    前記静止画像のそれぞれの頁と、前記動画像を受け付ける処理により受け付けられた動画像を構成するそれぞれの再生区間との間を対応付ける処理と、
    前記編集指示によって編集された編集済みの前記静止画像の配列構成に対応するように、前記静止画像に対応した再生区間を有する動画像を組み合わせた動画像を生成する処理と、を実行させるプログラム。

Images