JP6142551B2 - 画像編集装置及び画像編集プログラム - Google Patents

Description

本発明は、画像編集装置及び画像編集プログラムに関する。

パーソナルコンピュータなどの画像編集装置を用いて動画像ファイルを編集するときには、動画像ファイルを再生（記録）開始からの経過時間を示すスライダと、撮影開始からの経過時間を示すタイムコードとからなるタイムラインを用いて表示することが一般的である。一方、動画撮影時に得られる動画像ファイルは、撮像装置に基づくファイルフォーマットに従ったものとなる。このファイルフォーマットによっては、ファイルサイズが制限され、動画撮影時に取得される動画像ファイルが複数の動画像ファイルに分割されて記録される場合がある。また、動画撮影時に、撮像装置に装着される記憶媒体の残容量が少ない場合には、複数の動画像ファイルに分割し、分割した動画像ファイルをそれぞれ複数の記憶媒体に記憶する場合もある。最近では、このように分割されて記憶される複数の動画像ファイルを１つの動画像ファイルに結合して画像編集装置に取り込むことが考案されている。

特開２０１１−２２３３２７号公報

しかしながら、複数の動画像ファイルを１つの動画像ファイルとして取り込む場合であっても、複数の動画像ファイルをそのまま取り込む場合であっても、上述したタイムライン表示を用いて画像編集処理を行う場合には、それぞれのファイルの構成をユーザが確認しながら行うため、不便である。

本発明は、得られた動画像ファイルの取り扱いを容易に行うことができるようにした画像編集装置及び画像編集プログラムを提供することを目的とする。

上述した課題を解決するために、本発明の一形態では、画像編集装置は、マーキング処理が施された動画像を含む複数の動画像を取得する取得部と、前記取得部で取得した複数の動画像を配列し、配列した複数の動画像に含まれるシーンを抽出して前記複数の動画像をシーン毎に仕分ける抽出部と、前記シーン毎に仕分けた複数の動画像のタイムラインを表示するとともに、前記マーキング処理が施された画像又は前記マーキング処理が施された箇所を示す画像と、前記抽出部で抽出したシーンに含まれる画像又は前記抽出部で抽出したシーンが変わる箇所を示す画像とを表示する表示部と、を備える。
また、画像編集プログラムは、マーキング処理が施された動画像を含む複数の動画像を取得する取得工程と、前記取得工程で取得した複数の動画像を配列し、配列した複数の動画像に含まれるシーンを抽出して前記複数の動画像をシーン毎に仕分ける抽出工程と、前記シーン毎に仕分けた複数の動画像のタイムラインを表示するとともに、前記マーキング処理が施された画像又は前記マーキング処理が施された箇所を示す画像と、前記抽出工程で抽出したシーンに含まれる画像又は前記抽出工程で抽出したシーンが変わる箇所を示す画像とを表示する表示工程と、をコンピュータに実行させる。

本発明の別形態では、画像編集装置は、複数の動画像を読み出す画像読出部と、前記画像読出部にて読み出した前記複数の動画像を配列し、配列した複数の動画像を該複数の動画像に含まれるシーン毎に仕分けるシーン仕分部と、前記シーン仕分部により仕分けられた複数のシーンにおける代表画像をそれぞれ取得する画像取得部と、前記シーン毎に仕分けた前記複数の動画像を示すスライダを表示するとともに、前記複数の動画像により仕分けられたシーンにおける代表画像を前記スライダのシーン近傍に表示したタイムライン表示を行う表示部と、を備える。
また、動画像の表示方法は、複数の動画像を読み出す画像読出工程と、前記画像読出工程にて読み出した前記複数の動画像を配列し、配列した複数の動画像を該複数の動画像に含まれるシーン毎に仕分けるシーン仕分工程と、前記シーン仕分工程により仕分けられた複数のシーンにおける代表画像をそれぞれ取得する画像取得工程と、前記シーン毎に仕分けた前記複数の動画像を示すスライダを表示するとともに、前記複数の動画像により仕分けられたシーンにおける代表画像を前記スライダのシーン近傍に表示したタイムライン表示を行う表示工程と、を備える。

本発明によれば、得られた動画像ファイルの取り扱いを容易に行うことができる。

撮像装置とパーソナルコンピュータ（ＰＣ）との関係を示す図である。 ＰＣの構成を示す機能ブロック図である。 ＣＰＵの構成を示す機能ブロック図である。 画像編集画面の一例を示す図である。 フォルダ内の画像一覧を表示する場合の画像編集画面の一例を示す図である。 動画像ファイルに基づくタイムラインを表示する場合の画像編集画面の一例を示す図である。 シーンに基づくタイムラインを表示する場合の画像編集画面の一例を示す図である。 複数の動画像ファイルを用いてシーンに基づくタイムラインを表示する際の処理の流れを示すフローチャートである。 複数の動画像ファイルを用いてシーンに基づくタイムラインを表示する際の処理の流れを示すフローチャートである。 表示されるタイムラインの一部のシーンにおける動画像ファイルを記憶する場合を示す図である。 （ａ）はシーン表示の粒度を「細」に設定した場合のタイムラインの表示の一例を示す図、（ｂ）はシーン表示の粒度を「粗」に設定した場合のタイムラインの表示の一例を示す図である。 シーン表示の粒度を「粗」に設定したときに、表示されるタイムラインの一部のシーンにおける動画像ファイルを記憶する場合を示す図である。 マーキング処理が施された動画像ファイルを含む複数の動画像ファイルを用いて、シーンに基づくタイムラインを表示する際の処理の流れを示すフローチャートである。 シーンに基づく動画像を再生する際の再生速度の一例を示す図である。

以下、本発明を適用した画像編集装置の一例として、パーソナルコンピュータ（ＰＣ）を例に取り上げて説明する。

図１に示すように、ＰＣ１１は、デジタルカメラ１２ａやビデオカメラ１２ｂなどの撮像装置１２との間でデータ通信を行うことができる。ＰＣ１１と撮像装置１２との間のデータ通信としては、ＵＳＢケーブルなどの有線によるデータ通信の他、無線通信を用いたデータ通信が挙げられる。また、ＰＣ１１は、撮像装置１２から取り外された記憶媒体３４を装着することにより、装着された記憶媒体３４に記憶された画像データの読み出しや、該記憶媒体３４に対して画像データの書き込みを行うことができる。

図２に示すように、ＰＣ１１は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、表示制御回路２４、表示装置２５、バッファメモリ２６、画像メモリ２７、メディアコントローラ２８、接続用Ｉ／Ｆ２９、通信部３０、キーボード３１、ポインティングデバイス３２からなる。ここで、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、表示制御回路２４、バッファメモリ２６、画像メモリ２７、メディアコントローラ２８、接続用Ｉ／Ｆ２９及び通信部３０は、バス３３を介して電気的に接続される。

ＣＰＵ２１は、ＲＯＭ２２に記憶された制御プログラムやアプリケーションプログラムを実行したときに、ＰＣの各部を制御する。なお、このアプリケーションプログラムとして、画像編集プログラムが挙げられる。このＣＰＵ２１には、キーボード３１やポインティングデバイス３２からの操作信号に応じた制御を実行する。ここで、ポインティングデバイス３２としては、例えばマウスや、トラックボール、ペンタブレットなどが挙げられる。

ＲＯＭ２２は、ＰＣ１１にて実行される制御プログラムやアプリケーションプログラムの他、これらプログラムを実行する際に使用される演算子などのデータを記憶する。ＲＡＭ２３は、ＣＰＵ２１にて上述したプログラムを実行したときに生成されるデータなどを一次記憶する。

表示制御回路２４は、表示装置２５における表示制御を行う。表示装置２５の例として、液晶表示装置（ＬＣＤ）、有機ＥＬディスプレイなどが挙げられる。バッファメモリ２６は、画像データなどを一時的に記憶する。画像メモリ２７は、画像編集プログラムを実行したときに、取り込まれる画像ファイルを格納する。

メディアコントローラ２８は、記憶媒体３４を装着することで、ＰＣ１１と記憶媒体３４とを電気的に接続する。ここで、記憶媒体３４としては、例えばメモリカードや、光学ディスク、磁気ディスクなどが挙げられる。

接続用Ｉ／Ｆ２９は、例えばＵＳＢポートやＩＥＥＥポートなどから構成される。この接続用Ｉ／Ｆ２９には、ケーブルの一端に設けられたコネクタが装着される。このケーブルの他端に設けられたコネクタは、撮像装置１２に接続される。これにより、撮像装置１２とＰＣ１１とが電気的に接続される。

通信部３０は、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。この通信部３０としては、無線ＬＡＮ（ＬｏｃａｌＡｒｅａ Ｎｅｔｗｏｒｋ）対応の通信部やワイヤレスＵＳＢ対応の通信部の他、有線通信に対応した通信部が挙げられる。

図３に示すように、ＣＰＵ１１は、画像編集プログラムを実行したときに、動画像管理部４１、タイムライン生成部４２、シーン解析部４３及び代表画像取得部４４の機能を実行する。動画像管理部４１は、ＰＣ１１に取り込まれた画像ファイル（動画像ファイル、静止画像ファイル）を管理する。

タイムライン生成部４２は、動画像ファイルに対するタイムライン表示を行う際に必要となる情報を生成する。例えば、詳細は後述するが、タイムライン表示は、ソートされた複数の動画像ファイルに基づいたタイムライン表示と、ソートされた動画像ファイルに含まれるシーンに基づいたタイムライン表示とからなる。例えば、ソートされた複数の動画像ファイルに基づいたタイムライン表示を行う場合、タイムライン表示を行う際に必要となる情報としては、ソートされた動画像ファイルの配列に関する情報と、ソートされた動画像ファイルにおける各フレーム画像に対するタイムコードの情報とが挙げられる。

この場合、タイムライン生成部４２は、まず、画像メモリ２７に設けられたフォルダのうち、対象となるフォルダ内に格納された複数の動画像ファイルを、その録画日時の古い順にソートする。これにより、動画像ファイルの配列に関する情報が取得される。

次に、タイムライン生成部４２は、ソートされた複数の動画像ファイルの各フレーム画像データに付されたタイムコードを読み出す。周知のように、撮像装置１２を用いた動画撮影では、予めフレームレートが決定されている。つまり、動画像ファイルを構成する各フレーム画像には、該フレーム画像を最小単位とした時間的位置を示すタイムコードがそれぞれ付されている。そこで、タイムライン生成部４２は、各動画像ファイルを構成するフレーム画像に付されたタイムコードを、ソートされた動画像ファイルの第１フレーム目のフレーム画像のタイムコードを基準にして、新たに設定する。これにより、ソートされた複数の動画像ファイルの各フレーム画像に対するタイムコードの情報が取得される。

一方、ソートされた動画像ファイルに含まれるシーンに基づいたタイムライン表示を行う場合に、タイムライン表示を行う際に必要となる情報としては、シーン解析部４３における判定結果に基づいて設定されるシーンチェンジフラグの位置の情報が挙げられる。

シーンに基づくタイムライン表示を行う場合、タイムライン生成部４２は、時間的に前後する２つのフレーム画像を読み出し、フレーム画像におけるシーンが変化しているか否かを判定する。なお、時間的に前後する２つのフレームとは、任意のフレームに対して所定数前のフレームと所定数後のフレームであってもよい。所定数前のフレームと所定数後のフレームはユーザが任意で決めてもよい。また、任意のフレームに対して１つ前のフレームと１つ後のフレームであってもよい。この判定において、シーンが変化していると判定された場合に、時間的に前後する２つのフレーム画像のうち、時間的に後に位置するフレーム画像に対して、シーンチェンジフラグを付与する。この処理を読み出した動画像ファイルの全てに対し実行する。これにより、シーンチェンジフラグが設定され、設定されたシーンチェンジフラグの位置の情報が得られる。

シーン解析部４３は、ソートされた動画像ファイルに含まれるシーンのシーン解析を行う。シーン解析としては、例えば各フレーム画像に対する領域分割処理を用いてシーンを解析する方法の他、顕著度マップを生成することでシーンを解析する方法が挙げられる。

代表画像取得部４４は、動画像ファイルにおける代表画像や各シーンにおける代表画像を取得する。例えば動画像ファイルの代表画像としては、例えば動画像ファイルを構成する複数のフレーム画像から、第１フレーム目のフレーム画像に基づくサムネイル画像を代表画像として取得する。また、シーンにおける代表画像としては、シーンを構成するフレーム画像から、シーン解析部４３の解析結果に基づいたフレーム画像に基づくサムネイル画像を代表画像として取得する。そして、代表画像取得部４４は、取得したサムネイル画像を表示制御回路２４に出力する。

図４は、表示装置２５に表示される画像編集画面の一例を示す。画像編集プログラムを実行すると、表示装置２５には画像編集画面５１が表示される。ここで、画像編集画面５１は、表示装置２５の全体に表示するものであってもよいし、表示装置２５の一部を用いて表示するものであってもよい。この画像編集画面５１は、実行可能な機能の一覧（図４中機能メニュー）と、選択された機能メニューに基づいた内容とから構成される。ここで、ユーザは、機能メニューに表示される機能項目を選択することで、選択した機能に基づく処理を実行することができる。ここで、機能項目「かんたんバックアップ」は、撮像装置１２により得られた画像ファイルの全てを、撮像装置１２からＰＣ１１にバックアップする際に選択される。この場合、バックアップされる画像ファイルは、全て、ＰＣ１１の画像メモリ２７に格納される。また、項目「選択画像取り込み」は、撮像装置１２により得られた画像ファイルのうち、ユーザがバックアップしたい画像ファイルをＰＣ１１に記憶させる際に選択される。項目「ワンタッチディスク」は、ＰＣ１１に記憶されている画像ファイルを、光学ディスクなどの記憶媒体に記憶する際に選択される。

次に、画像編集画面５１において画像編集処理を行う場合について説明する。この場合、画像編集処理を行う動画像ファイルを選択する必要がある。画像編集処理を行う動画像ファイルを選択する場合、画像編集画面５１には、ディレクトリ構造とフォルダ構成とが表示される。例えば画像編集処理を行うフォルダを選択すると、選択されたフォルダ内に含まれる動画像ファイルの一覧が表示される（図５参照）。ここでは、選択されたフォルダ内に、「ａ．ｍｏｖ」，「ｂ．ｍｏｖ」，「ｃ．ｍｏｖ」の３つの動画像ファイルが格納されている場合を示している。

ここで、フォルダに含まれる動画像ファイルの一覧にかかる表示としては、各動画像ファイルの詳細表示（撮影時間、ファイルの種類などの表示）や動画像ファイルの縮小表示（第１フレーム目のサムネイル画像の表示）の他、後述するタイムライン表示が挙げられる。上述したように、タイムライン表示は、ソートされた動画像ファイルの配列に基づくタイムライン表示と、ソートされた動画像ファイルに含まれるシーンに基づいたタイムライン表示とから構成される。

図６は、ソートされた動画像ファイルの配列に基づいたタイムライン表示の例を示す。ここで、タイムライン表示においては、ソートされた動画像ファイルに基づく動画像の構成を示すスライダ５２と、各動画像ファイルの代表画像とが表示される。ここで、動画像ファイル「ａ．ｍｏｖ」，動画像ファイル「ｂ．ｍｏｖ」，動画像ファイル「ｃ．ｍｏｖ」が、動画像ファイル「ａ．ｍｏｖ」，動画像ファイル「ｂ．ｍｏｖ」，動画像ファイル「ｃ．ｍｏｖ」の順で撮影されているのであれば、タイムライン表示においては、動画像ファイル「ａ．ｍｏｖ」，動画像ファイル「ｂ．ｍｏｖ」，動画像ファイル「ｃ．ｍｏｖ」の順で表示される。ここで、スライダ５２においては、ファイル名と、各動画像ファイルを色分けして表示している。なお、図６においては、動画像ファイルの色分けを、ハッチングの種類を変更することで示している。また、スライダ５２における各動画像ファイルを示す位置に対応して、各動画像ファイルにおける代表画像が、吹き出しを用いて表示される。

なお、図６においては、スライダ５２を、３本のスライダを用いて表示しているが、スライダ５２の本数については、これに限定される必要はなく、タイムライン表示の際に表示されるスライダを、２本のスライダ、又は４本以上のスライダを用いて表示することも可能である。なお、図６中、動画像ファイルの境界に対して、印「▽」及び「△」が付される。

図７は、ソートされた動画像ファイルに基づく動画像に含まれるシーンに基づいたタイムライン表示の例を示す。ソートされた動画像ファイルに基づく動画像に含まれるシーンに基づいたタイムライン表示の場合も、ソートされた動画像ファイルに基づく動画像の構成を示すタイムライン表示と同様に、複数のスライダと、代表画像とから構成される。図７中、「ｓｃｅｎｅ１」、「ｓｃｅｎｅ２」、「ｓｃｅｎｅ３」、「ｓｃｅｎｅ４」、「ｓｃｅｎｅ５」が、動画像ファイル「ａ．ｍｏｖ」，動画像ファイル「ｂ．ｍｏｖ」，動画像ファイル「ｃ．ｍｏｖ」から得られるシーンである。このタイムライン表示においては、動画像ファイルではなく、動画像ファイルに含まれるシーンの境界に対して、印「▽」及び「△」が付される。
この場合、スライダにおいては、シーン名を表示している。このタイムライン表示においては、動画像に含まれるシーンに基づいたタイムライン表示であるが、スライダにおいては、動画像ファイルとシーンとの対応付けがユーザにわかるように、動画像ファイルの色分けして示している。なお、図７においては、動画像ファイルの色分けを、ハッチングの種類を変更することで示している。また、スライダの各シーンを示す位置に対応するように、各シーン中における代表画像が、吹き出しを用いて表示される。

以下、タイムライン表示を行う場合の処理の流れについて説明する。以下、選択されたフォルダ内に含まれる複数の動画像ファイルを結合させずに処理する場合について、第１実施形態と称して説明する。
＜第１実施形態＞
以下、タイムライン表示時の処理の流れについて、図８のフローチャートを用いて説明する。

ステップＳ１０１は、フォルダを指定する処理である。ユーザがキーボード３１又はポインティングデバイス３２を操作し、ユーザの意図するフォルダを指定すると、ＣＰＵ２１は、指定されたフォルダに含まれる画像ファイルを読み出す。

ステップＳ１０２は、動画像ファイルがあるか否かを判定する処理である。ＣＰＵ２１は、読み出した画像ファイルの中に動画像ファイルがあれば、このステップＳ１０２の判定結果をＹｅｓとする。この場合、ステップＳ１０３に進む。一方、読み出した画像ファイルの中に動画像ファイルがない場合には、ステップＳ１０２の判定結果をＮｏとする。この場合、このフローチャートの処理が終了する。

ステップＳ１０３は、動画像ファイルをソートする処理である。ＣＰＵ２１は、読み出した動画像ファイルのそれぞれに付帯された撮影日時の情報を読み出す。そして、ＣＰＵ２１は、読み出した動画像ファイルを、撮影日時の古い順に並べ替える。そして、ＣＰＵ２１は、タイムライン表示を行う動画像ファイルの順序、及びタイムコードの情報を表示制御回路２４に出力する。また、ＣＰＵ２１は、各動画像ファイルの代表画像データを取得し、取得した代表画像データを表示制御回路２４に出力する。

ステップＳ１０４は、ソートされた動画像ファイルの配列に基づいたタイムライン表示を行う処理である。表示制御回路２４は、ステップＳ１０３においてＣＰＵ２１から出力された情報及び代表画像データに基づいて、表示装置２５における表示制御を行う。これにより、画像編集画面５１に、ソートされた画像ファイルの配列に基づいたタイムラインが表示される（図６参照）。

ステップＳ１０５は、シーン変化を判定する処理である。ＣＰＵ２１は、ソートされた動画像ファイルのうち、時間的に前後する２つのフレーム画像データを読み出す。そして、時間的に前後する２つのフレーム画像データにおいてシーンが変化しているか否かを判定する。

ステップＳ１０６は、シーンの変化があるか否かを判定する処理である。ステップＳ１０５の処理で、時間的に前後する２つのフレーム画像データにおいてシーンが変化している場合には、ＣＰＵ２１は、ステップＳ１０６の判定結果をＹｅｓとする。この場合、ステップＳ１０７に進む。一方、時間的に前後する２つのフレーム画像データにおけるシーンが変化していない場合には、ＣＰＵ２１は、ステップＳ１０６の判定結果をＮｏとする。この場合、ステップＳ１０８に進む。

ステップＳ１０７は、シーンチェンジフラグを設定する処理である。ステップＳ１０６においてシーンの変化があると判定された場合に実行される。ＣＰＵ２１は、時間的に前後する２つのフレーム画像データのうち、時間的に後になるフレーム画像データに対してシーンチェンジフラグを付与する。

ステップＳ１０８は、動画像ファイルの終端であるか否かを判定する処理である。ステップＳ１０５において、ソートした動画像ファイルのいずれかの動画像ファイルにおける最終のフレーム画像を使用してシーン変化の判定を行っている場合、ＣＰＵ２１は、ステップＳ１０８の判定処理をＹｅｓとする。この場合、ステップＳ１０９に進む。

一方、ステップＳ１０５において、ソートした動画像ファイルのいずれかの動画像ファイルにおける最終のフレーム画像を使用せずにシーン変化の判定を行っている場合、ＣＰＵ２１は、ステップＳ１０８の判定処理をＮｏとする。この場合、ステップＳ１０５に戻る。この場合、動画像ファイルの最終のフレーム画像を使用したシーン変化の判定が行われるまで、ステップＳ１０５からステップＳ１０７の処理が繰り返される。

ステップＳ１０９は、次の動画像ファイルがあるか否かを判定する処理である。ソートされた複数の動画像ファイルのいずれかの動画像ファイルに対するシーン変化の判定が終了している。よって、ソートした動画像ファイルの次に位置する動画像ファイルがあれば、ＣＰＵ２１は、ステップＳ１０９の判定結果をＹｅｓとする。この場合、ステップＳ１１０に進む。この場合、ＣＰＵ２１は、シーンチェンジフラグが付されたフレーム画像の位置の情報を表示制御回路２４に出力する。

一方、ソートした動画像ファイルの次に位置する動画像ファイルがない場合には、ＣＰＵ２１は、ステップＳ１０９の判定結果をＮｏとする。この場合、ステップＳ１１４に進む。

ステップＳ１１０は、シーン変化の判定を行った動画像ファイルの最終のフレーム画像と、次の動画像ファイルの第１フレームとなるフレーム画像とが同一のシーンであるか否かを判定する処理である。ＣＰＵ２１は、シーン変化の判定を行った動画像ファイルの最終のフレーム画像と、次の動画像ファイルの第１フレームとなるフレーム画像とを読み出す。そして、これらフレーム画像におけるシーン変化の判定処理を行う。

ステップＳ１１１は、シーンの変化があるか否かを判定する処理である。２つのフレーム画像におけるシーンが変化している場合には、ＣＰＵ２１は、ステップＳ１１１の判定結果をＹｅｓとする。この場合、ステップＳ１１３に進む。一方、２つのフレーム画像におけるシーンが変化していない場合には、ＣＰＵ２１は、ステップＳ１１１の判定結果をＮｏとする。この場合、ステップＳ１１２に進む。この場合、後に配列される動画像ファイルの第１フレームとなるフレーム画像にシーンチェンジフラグを付加する。

ステップＳ１１２は、動画像ファイル間の境界を削除する処理である。ＣＰＵ２１は、ソートされた複数の動画像ファイルの境界を削除する。

ステップＳ１１３は、次の動画像ファイルを参照する処理である。この処理が行われるとステップＳ１０５に戻り、次の動画像ファイルの各フレーム画像を用いて、シーン変化を判定する処理、シーンチェンジフラグを設定する処理を実行する。

一方、ステップＳ１０９の判定結果でＮｏとなる場合、言い換えれば、次の動画像ファイルがない場合には、ステップＳ１１４に進む。

ステップＳ１１４は、シーンを解析する処理である。ＣＰＵ２１は、各シーンチェンジフラグ間のフレーム画像を用いて、シーンを解析する。

ステップＳ１１５は、代表画像を取得する処理である。ＣＰＵ２１は、ステップＳ１１４において実行されたシーン解析の結果に基づいて、各シーンチェンジフラグ間のシーンを代表するフレーム画像を取得し、該フレーム画像に基づくサムネイル画像を代表画像として取得する。ＣＰＵ２１は、生成された第２タイムライン情報を表示制御回路２４に出力する。

ステップＳ１１６は、シーンに基づいたタイムライン表示である。表示制御回路２４は、入力された情報に基づいて表示装置２５の表示制御を行う。これにより、タイムライン表示がソートされた動画像ファイルに基づいたタイムラインの表示から、ソートされた動画像ファイルに含まれるシーンに基づいたタイムラインの表示に切り替わる（図７参照）。

このように、フォルダ内に複数の動画像ファイルが格納されている場合に、タイムライン表示を行うと、撮影日時の古い順でソートされた複数の動画像ファイルを擬似的に１つの動画ファイルと仮定したときのタイムライン表示が行われる。その際に、動画像ファイル毎に各動画像ファイルの代表画像が表示され、また、動画像ファイルの切り分け表示が行われる。

その後、ソートされた複数の動画像ファイルを擬似的に１つの動画ファイルと仮定したときのタイムライン表示から、複数の動画像ファイルに含まれるシーンに基づいたタイムライン表示に切り替わる。このソートされたシーンに基づいたタイムラインの表示においては、動画像ファイルに含まれるシーンの他に、各シーンと動画像ファイルとの関連づけが認識できるので、複数の動画像ファイルにおけるシーンのつながりを把握することができる。また、各シーンに対しては、シーンを代表する代表画像が表示されることから、各シーンの内容をユーザは認識することができる。

第１実施形態では、ソートされた複数の動画像ファイルに基づくタイムライン表示を行った後に、シーンに基づくタイムライン表示を切り替えて表示した場合について説明しているが、ソートされた複数の動画像ファイルの配列に基づくタイムライン表示を行わずに、ソートされた複数の動画像ファイルに含まれるシーンに基づくタイムライン表示のみを行うことも可能である。

第１実施形態では、選択されたフォルダ内に含まれる複数の動画像ファイルを結合させずにタイムライン表示を行う場合について説明しているが、これに限定する必要はなく、ソートされた複数の動画像ファイルを結合した後に、動画像ファイルに含まれるシーンに基づいたタイムライン表示を行うことも可能である。この場合の処理について、第２実施形態と称して説明する。
＜第２実施形態＞
上述したように、第２実施形態においては、ソートされた複数の動画像ファイルを結合した後に、動画像ファイルに含まれるシーンに基づいたタイムライン表示を行う。ここで、上述したタイムライン生成部４２は、複数の動画像ファイルをソートした後、ソートされた複数の動画像ファイルを結合する処理を実行する。

以下、タイムライン表示における処理の流れを、図９のフローチャートを用いて説明する。

ステップＳ２０１は、フォルダを指定する処理である。このステップＳ２０１の処理は、ステップＳ１０１と同一であるので、ここでは省略する。

ステップＳ２０２は、動画像ファイルがあるか否かを判定する処理である。このステップＳ２０２の処理は、ステップＳ１０２と同一である。つまり、指定したフォルダ内に動画像ファイルがあれば、ＣＰＵ２１はステップＳ２０２の判定結果をＹｅｓとする。この場合、ステップＳ２０３に進む。一方、指定したフォルダ内に動画像ファイルがない場合には、ＣＰＵ２１は、ステップＳ２０２の判定結果をＮｏとする。この場合、このフローチャートの処理が終了する。

ステップＳ２０３は、動画像ファイルをソートする処理である。ＣＰＵ２１は、読み出した複数の動画像ファイルから撮影日時の情報を読み出す。そして、ＣＰＵ２１は、読み出した撮影日時の情報を用いて、複数の動画像ファイルを撮影日時の古い順に配列する。

ステップＳ２０４は、ソートされた動画像ファイルを結合する処理である。ＣＰＵ２１は、ステップＳ２０３にてソートされた動画像ファイルを結合し、１つの動画像ファイルを生成する。

ステップＳ２０５は、シーン変化を判定する処理である。このステップＳ２０５の処理は、ステップＳ１０５と同一の処理となるので、ここでは省略する。

ステップＳ２０６は、シーン変化があるか否かを判定する処理である。ステップＳ２０５の処理で、時間的に前後する２つのフレーム画像におけるシーンが変化している場合には、ＣＰＵ２１は、ステップＳ２０６の判定結果をＹｅｓとする。この場合、ステップＳ２０７に進む。一方、時間的に前後する２つのフレーム画像におけるシーンが変化していない場合には、ＣＰＵ２１は、ステップＳ２０６の判定結果をＮｏとする。この場合ステップＳ２０８に進む。

ステップＳ２０７は、シーンチェンジフラグを設定する処理である。ＣＰＵ２１は、時間的に前後する２つのフレーム画像のうち、時間的に後になるフレーム画像に対してシーンチェンジフラグを設定する。

ステップＳ２０８は、元の動画像ファイルの終端に到達したか否かを判定する処理である。ステップＳ２０５において、結合する前の動画像ファイルのいずれかの動画像ファイルにおける最終のフレーム画像を使用してシーン変化の判定を行っている場合、ＣＰＵ２１は、ステップＳ２０８の判定処理をＹｅｓとする。この場合、ステップＳ２０９に進む。一方、結合する前の動画像ファイルのいずれかの動画像ファイルにおける最終のフレーム画像を使用してシーン変化の判定を行っていない場合、ＣＰＵ２１は、ステップ２０８の判定結果をＮｏとする。この場合、ステップＳ２０５に戻る。よって、元の動画像ファイルの終端に到達するまで、ステップＳ２０５からステップＳ２０７の処理が繰り返し実行される。

ステップＳ２０９は、ソートした複数の動画像ファイルにおいて、現在の動画ファイルの次に配列される動画像ファイルがあるか否かを判定する処理である。ＣＰＵ２１は、シーン変化を行ったフレーム画像が含まれる動画像ファイルの後に、次の動画像ファイルが結合されているか否かを判定する。次の動画像ファイルが結合されている場合、ＣＰＵ２１はステップＳ２０９の判定結果をＹｅｓとする。この場合、ステップＳ２１０に進む。一方、次の動画像ファイルが結合されていない場合には、ＣＰＵ２１は、ステップＳ２０９の判定結果をＮｏとする。この判定結果の場合、ＣＰＵ２１は、シーンチェンジフラグの位置の情報を表示制御回路２４に出力する。そして、ステップＳ２１３に進む。

ステップＳ２１０は、シーン判定を行った動画像ファイルの最終フレームとなるフレーム画像と、次の動画像ファイルの第１フレームとなるフレーム画像とが同一のシーンであるか否かを判定する処理である。ＣＰＵ２１は、シーン変化の判定を行った動画像ファイルの最終フレームとなるフレーム画像と、新たにシーン判定を行う動画像ファイルの第１フレームとなるフレーム画像とを読み出す。そして、これらフレーム画像におけるシーンが変化しているか否かを判定する。

ステップＳ２１１は、シーンの変化があるか否かを判定する処理である。この処理は、ステップＳ２０６と同一の処理である。２つのフレーム画像データにおけるシーンが変化している場合には、ＣＰＵ２１は、ステップＳ２１１の判定結果をＹｅｓとする。この場合、ステップＳ２１２に進む。一方、２つのフレーム画像データにおけるシーンが変化していない場合には、ＣＰＵ２１は、ステップＳ２１１の判定結果をＮｏとする。この場合、ステップＳ２０５に進む。

ステップＳ２１２は、シーンチェンジフラグを設定する処理である。ＣＰＵ２１は、ソ２つのフレーム画像のうち、時間的に後になるフレーム画像に対してシーンチェンジフラグを付加する。この処理の後、ステップＳ２０５に戻る。

上述したステップＳ２０９の判定処理でＮｏとなる場合、ステップＳ２１３に進む。

ステップＳ２１３は、シーン解析を行う処理である。このステップＳ２１３の処理は、ステップＳ１１４と同様の処理である。

ステップＳ２１４は、代表画像を取得する処理である。このステップＳ２１４の処理は、ステップＳ１１５と同一の処理である。ＣＰＵ２１は、シーンを構成するフレーム画像のうち、代表的なフレーム画像に基づくサムネイル画像を代表画像として取得する。

ステップＳ２１５は、全シーンに対してステップＳ２１３及びステップＳ２１４の処理を行ったか否かを判定する処理である。全シーンに対してステップＳ２１３及びステップＳ２１４の処理を行った場合には、ＣＰＵ２１は、ステップＳ２１５の判定結果をＹｅｓとする。ＣＰＵ２１は、取得した代表画像を、表示制御回路２４に出力する。この場合、ステップＳ２１６に進む。一方、全シーンに対してステップＳ２１３及びステップＳ２１４の処理を行っていない場合には、ＣＰＵ２１は、ステップＳ２１５の判定結果をＮｏとする。この場合は、ステップＳ２１３に進む。

ステップＳ２１６は、シーンに基づいたタイムライン表示を行う処理である。表示制御回路２４は入力された情報及び代表画像を用いて、表示装置２５に対する表示制御を行う。これにより、シーンに基づいたタイムラインの表示が行われる。

この第２実施形態は、フォルダ内に記憶される複数の動画像ファイルを結合して１つの動画像ファイルを生成した後に、シーンに基づくタイムラインの表示を行っている。この第２実施形態においても、第１実施形態と同様に、表示装置２５においてシーンに基づいたタイムラインが表示されることから、複数の動画像ファイルにおけるシーンのつながりやシーン内容を把握することができる。

第１実施形態及び第２実施形態においては、シーンに基づいたタイムライン表示を行うことについて説明しているが、このシーンに基づいたタイムライン表示は、動画像ファイルの一覧表示、動画像ファイルの縮小表示、ソートされた複数の動画像ファイルに基づいたタイムライン表示との間で、切り替えて表示することも可能である。この切り替え表示は、ユーザによるキーボード３１やポインティングデバイス３２の操作に基づいて行われることが好ましい実施形態である。

第１実施形態及び第２実施形態においては、シーンに基づいたタイムライン表示を行うことを目的としている。上述したように、シーンに基づいたタイムライン表示は、フォルダ内に記憶された全ての動画像ファイルを、連続した１つの動画像ファイルで表したときのタイムライン表示である。よって、シーンに基づいたタイムラインを表示した場合には、以下の処理を行うことも可能となる。

例えばシーンに基づくタイムライン表示において、ユーザが意図するシーンがある場合、そのシーンに基づく動画像ファイルを生成したい場合がある。このような場合には、該当するシーン又は代表画像を、ポインタを用いたクリックアンドドロップ操作により、目的のフォルダに移動させる。図１０においては、ユーザが“scene2”に対する動画像ファイルを生成する場合を示す。この場合、ポインタ５５をスライダ５２の“scene2”の位置に合わせ、例えばマウスをクリックアンドドロップ操作し、該当するフォルダ５６に移動させる。この操作が行われることを受けて、ＣＰＵ２１は、複数の動画像ファイルから、対象となるシーンに基づいた動画像ファイルを生成する。そして、ＣＰＵ２１は、画像メモリ２７に設けられたフォルダ内に、生成した動画像ファイルを記憶させる。この処理の際に、ＣＰＵ２１は、設定し直したタイムコードを用いて、該当する動画像ファイルから対象となるフレーム画像を複製する。選択されたシーンが複数の動画像ファイルに跨っている場合には、ＣＰＵ２１は、該当する動画像ファイルから対象となるフレーム画像を複製し、複製したフレーム画像を合成する処理を行えばよい。

第１実施形態及び第２実施形態においては、動画像ファイルにおけるシーンの変化がある箇所に対して、シーンチェンジフラグを設定している。このため、数多くのシーンが生成されてしまう。このため、ユーザによっては、シーンが多すぎると感じる場合がある。このような場合に対応するために、例えば設定されるシーンチェンジフラグに優先度を持たせることも可能である。このようなシーンチェンジフラグに優先度（重要度）を持たせた場合、タイムライン表示の際に、シーン表示の細かさ（粒度）を変更するためのスライダ５７を設け、このスライダ５７を操作することで、シーン表示の粒度を変更することも可能である。図１１（ａ）に示すように、タイムライン表示におけるシーンを詳細に確認したいユーザの場合には、シーン表示の粒度を示すスライダ５７を「細」に移動させる。この場合には、設定される全てのシーンチェンジフラグを用いてタイムライン表示における各シーンを表示する。

また、タイムライン表示におけるシーンを大まかに確認したいユーザの場合には、シーン表示の粒度を示すスライダ５７を「粗」に移動させる。この場合、設定される全てのシーンチェンジフラグのうち、優先度の高いシーンチェンジフラグのみを用いてタイムライン表示におけるシーンを表示する。

この図１１（ｂ）に示すように、“scene2”と“scene3”との境界を示すシーンチェンジフラグと、“scene4”と“scene5”との境界を示すシーンチェンジフラグとの優先度が、他のシーンチェンジフラグ（“scene1”と“scene2”と境界を示すシーンチェンジフラグと、“scene3”と“scene4”との境界を示すシーンチェンジフラグ）よりも優先度が高く設定される。なお、シーンチェンジフラグの優先度は、シーン変化における重要性を示すものであり、ユーザが設定してもよいし、動画像の内容から自動的に設定されるものであってもよい。

なお、シーン表示の粒度を変更できる場合には、以下の処理を行うことも可能である。例えば、シーン表示の粒度を設定したときに、表示されるシーンのうち、一部のシーンにおいては、優先度の低いシーンチェンジフラグに該当する位置でシーンが分割されていない場合がある。この場合、同一のシーンに設定されていても、シーンは細分化されている。図１２は、“scene1”において、“scene1-1”，“scene1-2”，“scene1-3”の３つのシーンに細分化されている場合を示す。上述したように、ユーザが意図するシーンに基づいた動画像ファイルを生成する場合、ポインタを用いてクリックアンドドラッグを行い。目的のフォルダに移動させる操作を行うと、そのシーンに基づいた動画像ファイルが生成される。この動画像ファイルを生成したときに、選択したシーン全体の動画像ファイルを生成せずに、シーンに基づくフォルダを生成した後、該フォルダ内に、細分化されたシーンに基づく動画像ファイルを複数記憶させる。

上述した第１実施形態及び第２実施形態においては、ＰＣ１１においてシーンを判別する処理を行っている。例えば、撮像装置１２における動画撮影中に該撮像装置１２に設けられた操作部材を操作し、ユーザにとって重要となる箇所であることを示すマーキング処理を施す場合がある。このような場合には、読み出した複数の動画像ファイルの中に、マーキング処理が施された動画像ファイルが含まれることになる。よって、マーキング処理された動画像ファイルが含まれる場合には、まず、マーキング処理が施されたフレーム画像データであるか否かの判定を行い、マーキング処理が施されていない動画像ファイルであると判定された場合に、時間的に前後する２つのフレーム画像間のシーンの変化の有無を判定する他に、うことで、シーンチェンジフラグの設定を行うことも可能である。

以下、複数の動画像ファイルの中に、撮像装置１２においてマーキング処理が施された同画像ファイルが含まれる場合について、第３実施形態と称して説明する。
＜第３実施形態＞
以下、タイムライン表示に基づく処理について、図１２のフローチャートを用いて説明する。

ステップＳ３０１は、フォルダを指定する処理である。このステップＳ３０１の処理は、ステップＳ１０１と同一の処理である。

ステップＳ３０２は、動画像ファイルがあるか否かを判定する処理である。このステップＳ３０２の処理は、ステップＳ１０２と同一の処理である。

ステップＳ３０３は、動画像ファイルをソートする処理である。このステップＳ３０３の処理は、ステップＳ１０３と同一の処理である。

ステップＳ３０４は、ソートされた動画像ファイルに基づいたタイムライン表示を行う処理である。このステップＳ３０４の処理は、ステップＳ１０４と同一の処理である。

ステップＳ３０５は、マーキング処理が施されているか否かを判定する処理である。例えば動画像ファイルから読み出したフレーム画像データに対してマーキング処理が施されていない場合には、ＣＰＵ２１は、ステップＳ３０５の判定結果をＮｏとする。この場合、ステップＳ３０６に進む。一方、フレーム画像データに対してマーキング処理が施されていない場合には、ＣＰＵ２１は、ステップＳ３０５の判定結果をＮｏとする。この場合、ステップＳ３０８に進む。

ステップＳ３０６は、シーン変化を判定する処理である。ＣＰＵ２１は、ソートされた動画像ファイルのうち、時間的に前後する２つのフレーム画像データを読み出す。そして、時間的に前後する２つのフレーム画像データにおけるシーンが変化しているか否かを判定する。

ステップＳ３０７は、シーンの変化があるか否かを判定する処理である。ステップＳ３０６の処理で、時間的に前後する２つのフレーム画像データにおけるシーンが変化していると判定されている場合には、ＣＰＵ２１は、ステップＳ３０７の判定結果をＹｅｓとする。この場合、ステップＳ３０８に進む。一方、時間的に前後する２つのフレーム画像データにおけるシーンが変化していない場合には、ＣＰＵ２１は、ステップＳ３０７の判定結果をＮｏとする。この場合ステップＳ３０９に進む。

ステップＳ３０８は、シーンチェンジフラグを設定する処理である。このステップＳ３０８の処理は、ステップＳ１０７と同一の処理である。

なお、ステップＳ３０９〜ステップＳ３１４の処理は、ステップＳ１０８〜ステップＳＳ１１３の処理と同一の処理が行われる。そして、Ｓ３１４の処理が終了すると、ステップＳ３０５に戻り、シーンチェンジフラグの設定が各動画像ファイルのフレーム画像データに対して施されていく。その後、全ての動画像ファイルに対してシーンチェンジフラグの設定が行われた後、シーン解析処理（Ｓ−３１５）、代表画像を取得する処理（Ｓ−３１６）が行われる。そして、シーンに基づいたタイムラインが表示される（Ｓ−３１７）。

このように、マーキング処理が施された動画像ファイルを用いた場合には、マーキング処理されたフレーム画像があれば、そのフレーム画像の位置に対してシーンチェンジフラグを設定することができる。つまり、マーキング処理が施される箇所は、例えばユーザにとって重要なシーンが開始される箇所や、重要なシーンが終了する箇所を示しているので、このようなマーキング処理された箇所に対してシーンチェンジフラグを設定することで、シーンに基づくタイムライン表示において、ユーザの意図を加味した表示を行うことが可能となる。

第３実施形態においては、マーキング処理が施されていない場合に、シーンが変化しているか否かの判定を行っているが、マーキング処理が施されている動画像ファイルに対しては、マーキング処理が施されているか否かの判定だけを行い、シーンが変化しているか否かの判定処理を省略することも可能である。この場合、マーキング処理が施されていない動画像ファイルに対して、シーンが変化しているか否かの判定処理を行ってもよいし、行わなくてもよい。

なお、第３実施形態の場合、撮像装置において動画像撮影を行った場合には、記憶媒体において動画像ファイルを記憶するフォルダが自動的に生成された後、該フォルダに動画像ファイルが記憶される。このため、予め撮像装置において、動画像撮影にて得られる動画像ファイルの連続性についての判定を行うことも可能である。この判定を行うことで、これら動画像ファイルを用いたタイムライン表示を行う場合には、シーンが変化したか否かの判定処理を省略することが可能となる。

上述した第１から第３実施形態については、シーンに基づいたタイムライン表示を行うことを目的としている。このようなタイムライン表示においては、ユーザは、意図するシーンに該当する動画像を再生し、動画像の内容を確認する場合がある。しかしながら、シーンにおいては、時間的に長い動画像となる場合もあるので、シーンの内容を全て確認する手間がかかってしまう。このため、意図するシーンを再生する場合、動画像を再生する速度を変更することも可能である。

図１４に示すように。例えばシーンの先頭から５秒間は、通常速度による再生を行う。そして、シーンの先頭から５秒を経過すると、通常速度に対して例えば３０倍の速度による再生を行う。このような再生を行うことで、各シーンのそれぞれを個別に再生したときの再生時間を抑えることができる。このため、ユーザは各シーンの内容を短時間で把握することが可能となる。

また、この他に、隣り合うシーンの類似度を求め、隣り合うシーンの類似度に応じて、再生速度を変更することも可能である。この場合、例えば隣り合うシーンの類似度が、閾値よりも高い場合には、そのシーンにおける再生をスキップする、或いは通常再生に対して２倍の再生速度となる倍速再生とする。一方、隣り合うシーンの類似度が閾値よりも低い場合には、通常速度で再生する。この場合も、短時間でシーンの内容を把握することができる。この場合、シーンではなく、フレーム間の類似度に合わせて再生する速度を調整することも可能である。

上述した実施形態においては、タイムライン表示においてサムネイル画像は、画像を表示することを目的に取得されるものである。しかしながら、これらサムネイル画像を一括して、静止画像として記憶させることも可能である。

上述した第１から第３実施形態では、画像編集装置を例に取り上げて説明しているが、図３に示す機能や、図8、図９及び図１３のフローチャートを実行するための画像管理プログラムであってもよい。この場合、画像編集プログラムは、メモリカード、光学ディスク、磁気ディスクなど、ＰＣにて読み取ることができる記憶媒体に記憶されていることが好ましい。

１１…ＰＣ、１２…撮像装置、２１…ＣＰＵ、２４…表示制御回路、２５…表示装置、２７…画像メモリ、４１…動画像管理部、４２…タイムライン生成部、４３…シーン解析部、４４…代表画像取得部

Claims (6)

1. マーキング処理が施された動画像を含む複数の動画像を取得する取得部と、
   前記取得部で取得した複数の動画像を配列し、配列した複数の動画像に含まれるシーンを抽出して前記複数の動画像をシーン毎に仕分ける抽出部と、
   前記シーン毎に仕分けた複数の動画像のタイムラインを表示するとともに、前記マーキング処理が施された画像又は前記マーキング処理が施された箇所を示す画像と、前記抽出部で抽出したシーンに含まれる画像又は前記抽出部で抽出したシーンが変わる箇所を示す画像とを表示する表示部と、
   を備えた画像編集装置。
2. 請求項１に記載の画像編集装置において、
   前記表示部は、前記マーキング処理が施された画像又は前記マーキング処理が施された箇所を示す画像と、前記抽出部で抽出したシーンに含まれる画像又は前記抽出部で抽出したシーンが変わる箇所を示す画像とを前記タイムラインの近傍に表示する画像編集装置。
3. 請求項１又は２に記載の画像編集装置において、
   前記抽出部は、前記取得部で取得した複数の動画像を撮影日時に基づいて配列して１つの動画像に合成した後、合成された動画像に含まれるシーンを抽出する画像編集装置。
4. 請求項１から３のいずれか１項に記載の画像編集装置において、
   前記複数の動画像に含まれるシーンのそれぞれに重要度を設定する設定部を備え、
   前記表示部は、前記設定部で設定した重要度に基づいて、前記抽出部で抽出したシーンに含まれる画像の数又は前記抽出部で抽出したシーンが変わる箇所を示す画像の数を変更して表示する画像編集装置。
5. 請求項１から４のいずれか１項に記載の画像編集装置において、
   前記タイムラインにてシーンを選択する選択部と、
   前記選択部で選択したシーンの動画像データを生成する生成部と、
   を備えた画像編集装置。
6. マーキング処理が施された動画像を含む複数の動画像を取得する取得工程と、
   前記取得工程で取得した複数の動画像を配列し、配列した複数の動画像に含まれるシーンを抽出して前記複数の動画像をシーン毎に仕分ける抽出工程と、
   前記シーン毎に仕分けた複数の動画像のタイムラインを表示するとともに、前記マーキング処理が施された画像又は前記マーキング処理が施された箇所を示す画像と、前記抽出工程で抽出したシーンに含まれる画像又は前記抽出工程で抽出したシーンが変わる箇所を示す画像とを表示する表示工程と、
   をコンピュータに実行させる画像編集プログラム。

Images