JP4735388B2 - 再生装置および方法、並びにプログラム - Google Patents

Description

本発明は再生装置および方法、並びにプログラムに関し、特に、ユーザが視聴したいと思うシーンをより効率よく再生できるようにした再生装置および方法、並びにプログラムに関する。

近年、デジタルビデオカメラの低価格化、DVD(Digital Versatile Disc)を利用したデジタルビデオカメラの登場、デジタルスチルカメラにおけるＭＰ４方式での動画像の記録機能の充実、携帯電話機における動画像の撮影機能の向上などにより、一般のユーザが個人で動画像を撮影する機会が増えてきている。

しかしながら、容易に動画像を撮影することができることで、記録される動画像の数が多くなると、撮影された動画像が閲覧されなかったり、友人に撮影した動画像を渡そうと思っていても、編集するのが面倒なためその編集が行われなかったり、または撮影された動画像が、その動画像を再生するための再生装置に取り込まれなかったりすることも多い。

そのため、記録されている動画像から、友達と盛り上がっているシーン、子供がアップで写っているシーンなど、ユーザが所望するシーンを容易に検索できるようにする機能に対する要求が高まっている。

従来の再生装置には、どのような動画像が記録されているかをユーザが容易に認識できるように、動画像のサムネイル画像の一覧を表示させたり、サムネイル画像を時系列に表示させたりする機能を有するものもあるが、ユーザが記録されている動画像からユーザの閲覧したいシーンを探し出すことは困難であった。

そこで、ユーザにより所定の条件が入力されると、記録されている動画像から入力された条件を満たすシーンを検索し、検索されたシーンを連続して再生する再生装置が提案されている（例えば、特許文献１参照）。

特開２０００−１２５２５３号公報

しかしながら、上述した技術では、ユーザにより入力された条件を満たすシーンを検索して再生することはできるが、それらの検索されたシーンを効率よく再生することはできなかった。

例えば、検索されたシーンの一部分として、検索された他のシーンが含まれている場合には、最初のシーンが再生された後、検索された他のシーンが再生されるため、動画像の同じ部分が重複して再生されることになる。したがって、ユーザは動画像の同じ部分を何度も視聴しなければならなくなってしまう恐れがあった。

本発明は、このような状況に鑑みてなされたものであり、ユーザが視聴したいシーンをより効率よく再生できるようにするものである。

本発明の一側面の再生装置は、動画像に含まれる複数のシーンのそれぞれを、シーンの開始時刻から終了時刻まで、開始時刻が早い順に連続して再生する再生装置であって、動画像から抽出された複数のシーンであって、第１のシーンおよび前記第１のシーンと連続して再生される第２のシーンを含む所定の条件を満たすシーンを選択する選択手段と、前記第１のシーンまたは前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第１のシーンの直後に再生される前記第２のシーンの開始時刻よりも遅い時刻である場合、前記第１のシーンの終了時刻を前記第２のシーンの開始時刻に変更し、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第２のシーンの開始時刻よりも早い時刻である場合、前記第１のシーンの終了時刻を、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻のうち、最も遅い時刻に変更する変更手段と、選択された前記所定の条件を満たすシーンを連続して再生するとともに、再生しているシーンが満たす前記所定の条件を表すアイコンを表示させる再生手段とを備える。

動画像に含まれるシーンの撮影が開始された時刻をそのシーンの開始時刻とし、そのシーンの撮影が終了した時刻を終了時刻とすることができる。

前記選択手段には、前記所定の条件を満たすシーンの再生中に、前記所定の条件が変更された場合、変更された新たな条件を満たすシーンを選択し直させることができる。

前記再生手段には、現在再生しているシーンが新たに選択し直されたシーンに含まれている場合、再生しているシーンの終了後、そのシーンの開始時刻よりも開始時刻が遅いシーンであって、新たに選択し直されたシーンを開始時刻が早い順に連続して再生させることができる。

本発明の一側面の再生方法またはプログラムは、動画像に含まれる複数のシーンのそれぞれを、シーンの開始時刻から終了時刻まで、開始時刻が早い順に連続して再生する再生方法またはプログラムであって、動画像から抽出された複数のシーンであって、第１のシーンおよび前記第１のシーンと連続して再生される第２のシーンを含む所定の条件を満たすシーンを選択し、前記第１のシーンまたは前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第１のシーンの直後に再生される前記第２のシーンの開始時刻よりも遅い時刻である場合、前記第１のシーンの終了時刻を前記第２のシーンの開始時刻に変更し、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第２のシーンの開始時刻よりも早い時刻である場合、前記第１のシーンの終了時刻を、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻のうち、最も遅い時刻に変更し、選択された前記所定の条件を満たすシーンを連続して再生するとともに、再生しているシーンが満たす前記所定の条件を表すアイコンを表示させるステップを含む。

本発明の一側面においては、動画像から抽出された複数のシーンであって、第１のシーンおよび前記第１のシーンと連続して再生される第２のシーンを含む所定の条件を満たすシーンが選択され、前記第１のシーンまたは前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第１のシーンの直後に再生される前記第２のシーンの開始時刻よりも遅い時刻である場合、前記第１のシーンの終了時刻が前記第２のシーンの開始時刻に変更され、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第２のシーンの開始時刻よりも早い時刻である場合、前記第１のシーンの終了時刻が、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻のうち、最も遅い時刻に変更され、選択された前記所定の条件を満たすシーンが連続して再生されるとともに、再生しているシーンが満たす前記所定の条件を表すアイコンが表示される。

本発明の一側面によれば、動画像を再生することができる。特に、本発明の一側面によれば、ユーザが視聴したいシーンをより効率よく再生することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面は、動画像に含まれる複数のシーンのそれぞれを、シーンの開始時刻から終了時刻まで、開始時刻が早い順に連続して再生する再生装置であって、動画像から抽出された複数のシーンであって、第１のシーンおよび前記第１のシーンと連続して再生される第２のシーンを含む所定の条件を満たすシーンを選択する選択手段（例えば、図１の抽出部３１）と、前記第１のシーンまたは前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第１のシーンの直後に再生される前記第２のシーンの開始時刻よりも遅い時刻である場合、前記第１のシーンの終了時刻を前記第２のシーンの開始時刻に変更し、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第２のシーンの開始時刻よりも早い時刻である場合、前記第１のシーンの終了時刻を、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻のうち、最も遅い時刻に変更する変更手段（例えば、図１の時刻管理部４１）と、選択された前記所定の条件を満たすシーンを連続して再生するとともに、再生しているシーンが満たす前記所定の条件を表すアイコンを表示させる再生手段（例えば、図１の再生部２７）とを備える。

前記選択手段には、前記所定の条件を満たすシーンの再生中に、前記所定の条件が変更された場合、変更された新たな条件を満たすシーンを選択し直させる（例えば、図１６のステップＳ１０１の処理）ことができる。

前記再生手段には、現在再生しているシーンが新たに選択し直されたシーンに含まれている場合、再生しているシーンの終了後、そのシーンの開始時刻よりも開始時刻が遅いシーンであって、新たに選択し直されたシーンを開始時刻が早い順に連続して再生させる（例えば、図１６のステップＳ１０３の処理）ことができる。

本発明の一側面の再生方法またはプログラムは、動画像に含まれる複数のシーンのそれぞれを、シーンの開始時刻から終了時刻まで、開始時刻が早い順に連続して再生する再生方法またはプログラムであって、動画像から抽出された複数のシーンであって、第１のシーンおよび前記第１のシーンと連続して再生される第２のシーンを含む所定の条件を満たすシーンを選択し（例えば、図１５のステップＳ６１）、前記第１のシーンまたは前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第１のシーンの直後に再生される前記第２のシーンの開始時刻よりも遅い時刻である場合、前記第１のシーンの終了時刻を前記第２のシーンの開始時刻に変更し、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第２のシーンの開始時刻よりも早い時刻である場合、前記第１のシーンの終了時刻を、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻のうち、最も遅い時刻に変更し（例えば、図１５のステップＳ６８およびステップＳ６９）、選択された前記所定の条件を満たすシーンを連続して再生するとともに、再生しているシーンが満たす前記所定の条件を表すアイコンを表示させる（例えば、図１４のステップＳ４３）ステップを含む。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用した再生装置の構成例を示すブロック図である。

再生装置１１は、動画像ファイル記録部２１、シーンメタデータ生成部２２、シーンメタデータ記録部２３、入力部２４、制御部２５、インデックス表示制御部２６、再生部２７、および表示部２８から構成される。

動画像ファイル記録部２１は、再生装置１１に接続された他の装置から供給された動画像ファイルを記録する。この動画像ファイルは、例えば、動画像を再生するための動画像データ、その動画像に付随する音声を再生するための音声データ、および動画像のサムネイル画像からなる。

シーンメタデータ生成部２２は、動画像ファイル記録部２１に記録されている動画像ファイルの動画像から、笑い声が含まれているシーン、人の顔が映っているシーンなどの所定の条件を満たすシーンを検出し、検出されたシーンに関する情報が含まれているシーンメタデータを生成する。ここで、シーンとは、再生される動画像のうちの所定の区間、すなわち動画像の一部分をいう。

また、シーンメタデータ生成部２２は、生成したシーンメタデータをシーンメタデータ記録部２３に供給する。シーンメタデータ記録部２３は、シーンメタデータ生成部２２から供給されたシーンメタデータを記録する。なお、詳細は後述するがシーンメタデータには、そのシーンメタデータにより示されるシーンを特定するシーンＩＤ、そのシーンの開始時刻および終了時刻、シーンのサムネイル画像などが含まれている。

入力部２４は、例えば、ボタン、マウス、キーボードなどから構成され、ユーザの操作に応じた信号を制御部２５に供給する。制御部２５は、再生装置１１の全体を制御する。制御部２５は、抽出部３１および管理部３２から構成される。

制御部２５の抽出部３１は、シーンメタデータ記録部２３に記録されているシーンメタデータを参照して、動画像ファイル記録部２１に記録されている動画像ファイルにより再生される動画像を構成するシーンのうち、ユーザにより指定された条件を満たすシーンを検索する。すなわち、抽出部３１は、指定された条件を満たすシーンのシーンメタデータを抽出する。

制御部２５の管理部３２は、抽出部３１により抽出されたシーンメタデータを、シーンメタデータ記録部２３から読み込んで、そのシーンの再生およびシーンのサムネイル画像の表示を制御する。また、管理部３２は、時刻管理部４１を備えている。管理部３２の時刻管理部４１は、抽出部３１により抽出されたシーンメタデータにより特定されるシーンの終了時刻を必要に応じて変更する。

インデックス表示制御部２６は、制御部２５の管理部３２の制御に基づいて、シーンメタデータ記録部２３から所定のシーンのサムネイル画像を取得して表示部２８に供給し、サムネイル画像の一覧を表示させる。

再生部２７は、制御部２５の管理部３２の制御に基づいて、動画像ファイル記録部２１から動画像ファイルを取得して表示部２８に供給し、動画像を表示させる。

表示部２８は、例えば、液晶ディスプレイ、CRT（Cathode Ray Tube）などから構成される。表示部２８は、インデックス表示制御部２６または再生部２７から供給されるサムネイル画像や動画像ファイルに基づいて、サムネイル画像や動画像を表示する。

ところで、シーンメタデータ生成部２２は、動画像ファイル記録部２１に新たに動画像ファイルが記録されると、例えば、図２に示すように、その動画像ファイルから、所定の条件を満たすシーンを検出し、検出されたシーンのシーンメタデータを生成する。

なお、図２において、横方向は時間を示している。また、新たに記録された１つの動画像ファイルの動画像７１の図中、左端は動画像７１の先頭位置、すなわち動画像７１の撮影が開始された時刻である開始時刻を示しており、動画像７１の右端は終了位置、すなわち動画像７１の撮影が終了した時刻である終了時刻を示している。

シーンメタデータ生成部２２は所定の条件を満たすシーンとして、１つの動画像７１から、シーンチェンジ、すなわちシーンの変化により分けられるシーン、多人数の人、すなわち予め定められた所定の人数以上の人が写っているシーン、人がポートレートサイズ、すなわち人の顔が所定の大きさ以上の大きさで写っているシーン、女性が会話をしているシーン、および人の笑い声が含まれているシーンを検索して抽出する。

図２では、シーンチェンジにより分けられるシーンとして、シーン７２乃至シーン７４が抽出され、多人数の人が写っているシーンとしてシーン７５が抽出され、人がポートレートサイズで写っているシーンとして、シーン７６乃至シーン８２が抽出されている。また、女性が会話をしているシーンとしてシーン８３乃至シーン８９が抽出され、人の笑い声が含まれているシーンとしてシーン９０乃至シーン９５が抽出されている。

ここで、図中、シーン７２乃至シーン９５のそれぞれの左端は、それらのシーンの開始時刻、すなわちシーンの撮影が開始された時刻を示しており、それぞれのシーンの右端は終了時刻、すなわちシーンの撮影が終了した時刻を示している。また、図２に示されるように、動画像７１の所定の区間が、複数のシーンに含まれる場合もある。例えば、シーン８３の開始時刻から終了時刻までの区間は、シーン７２およびシーン７６にも含まれている。

また、図２には示されていないが、シーンメタデータ生成部２２は、新たに記録された動画像ファイルから、その他、男性の会話が含まれているシーン、および少人数の人、すなわち予め定められた所定の人数以下の人、例えば、多人数の人が写っているとされる人数よりも少ない人数の人が写っているシーンを検索して抽出する。

例えば、シーンメタデータ生成部２２は、動画像７１の連続するフレームを構成する静止画像の輝度値の差分やカラーヒストグラムの差分に基づいてシーンチェンジを検出する。

また、シーンメタデータ生成部２２は、例えば、動画像７１の動画像ファイルの音声データにより再生される音声の周波数に基づいて、男性の会話が含まれているシーン（以下、適宜男性会話シーンとも称する）、女性の会話が含まれているシーン（以下、適宜女性会話シーンとも称する）、および人の笑い声が含まれているシーン（以下、適宜笑い声シーンとも称する）を検出する。換言すれば、シーンメタデータ生成部２２は、音声の周波数に基づいて、動画像７１から男性の会話が含まれている区間、女性の会話が含まれている区間、および人の笑い声が含まれている区間を検出する。

さらに、シーンメタデータ生成部２２は、例えば、動画像７１から人の顔を検出し、検出された顔の数および大きさに基づいて、多人数の人が写っているシーン（以下、適宜多人数シーンとも称する）、人がポートレートサイズで写っているシーン（以下、適宜ポートレートシーンとも称する）、および少人数の人が写っているシーン（以下、適宜少人数シーンとも称する）を検出する。

シーンメタデータ生成部２２は、所定の条件を満たすシーンを検索して抽出すると、抽出したシーンのシーンメタデータを生成してシーンメタデータ記録部２３に供給する。これにより、シーンメタデータ記録部２３には、例えば、図３に示すシーンメタデータが記録される。なお、図３における行番号１乃至５は説明のために付したものであり、実際のシーンメタデータには含まれていない。

図３において、１行目は、シーンメタデータにより示されるシーン、例えば、図２に示したシーン７２を特定するためのシーンＩＤを示している。１行目における“０１”は、シーンＩＤ“０１”を示している。

また、シーンＩＤは、検索されたシーンの開始時刻の早い順に、“０１”から連続する番号が付される。したがって、例えば、１つの動画像ファイルから図２に示したシーン７２乃至シーン９５が検索された場合、シーン７２、シーン７６、シーン８３乃至シーン８５、シーン７７、シーン８６、シーン９０、シーン７３、シーン８７、シーン９１、シーン８８、シーン９２乃至シーン９４、シーン７４、シーン７８乃至シーン８１、シーン７５、シーン８２、シーン８９、およびシーン９５のそれぞれに、シーンＩＤ“０１”乃至シーンＩＤ“２４”のそれぞれが付される。

２行目は、シーンメタデータにより示されるシーンの種類であるシーンラベルを示している。すなわち、シーンラベルは、そのシーンメタデータにより示されるシーンが、シーンチェンジにより分けられるシーン、男性会話シーン、女性会話シーン、笑い声シーン、ポートレートシーン、少人数シーン、または多人数シーンのいずれであるかを示している。２行目における“scene”は、シーンメタデータにより示されるシーンが、シーンチェンジにより分けられるシーンであることを示している。

３行目は、シーンメタデータにより示されるシーンの開始時刻を示している。３行目の“1125456196.00”は、所定の時刻を基準とする通し秒により表される開始時刻を示している。すなわち“1125456196.00”は、シーンの撮影が開始された時刻が、基準となる時刻を０秒として、その時刻から1125456196秒後の時刻であることを示している。

４行目は、シーンメタデータにより示されるシーンが含まれている動画像の開始時刻を示している。４行目の“1125456196.00”は、所定の時刻を基準とする通し秒により表される開始時刻を示している。すなわち動画像の撮影が開始された時刻が、基準となる時刻を０秒として、その時刻から1125456196秒後の時刻であることを示している。

５行目は、シーンメタデータにより示されるシーンの終了時刻を示している。５行目の“1125456258.06”は、所定の時刻を基準とする通し秒により表される終了時刻を示している。すなわちシーンの撮影が終了した時刻が、基準となる時刻を０秒として、その時刻から1125456258.06秒後の時刻であることを示している。

また、図３には示されていないが、シーンメタデータには、その他、シーンメタデータにより示されるシーンが含まれている動画像の動画像ファイルを特定するためのビデオファイルＩＤ、およびシーンメタデータにより示されるシーンのサムネイル画像が含まれている。例えば、シーンのサムネイル画像は、そのシーンの最初のフレームを構成する静止画像が縮小された画像とされる。

このように、図３に示したシーンメタデータが、シーンメタデータ生成部２２により抽出されたシーンごとに生成されてシーンメタデータ記録部２３に記録される。なお、シーンメタデータにサムネイル画像が含まれるようにすると説明したが、サムネイル画像ではなく、サムネイル画像が記録されている場所を示すパスがシーンメタデータに含まれるようにしてもよい。また、シーンメタデータが動画像ファイルに含まれるようにし、動画像ファイル記録部２１に記録されるようにしてもよい。

さらに、ユーザが入力部２４を操作することによりシーンメタデータを生成することができるようにしてもよいし、顔認識により人物ごとにシーンメタデータが生成されるようにしてもよい。

ユーザが入力部２４を操作して、動画像ファイル記録部２１に記録されている動画像ファイルの動画像に含まれるシーンのサムネイル画像の一覧の表示を指示すると、制御部２５は、ユーザの操作に応じてインデックス表示制御部２６を制御し、表示部２８にサムネイル画像の一覧であるタイルインデックスを表示させる。

これにより、表示部２８には、例えば、図４に示すタイルインデックスが表示される。

図４に示されるタイルインデックス１２１には、シーンメタデータ記録部２３に記録されているシーンメタデータにより示されるシーンのサムネイル画像１３１−１乃至サムネイル画像１３４−３が時系列に並べられて表示されている。図４では、サムネイル画像により示されるシーンのうち、最も開始時刻が早いシーンのサムネイル画像１３１−１から、最も開始時刻が遅いシーンのサムネイル画像１３４−３まで、サムネイル画像１３１−１乃至サムネイル画像１３４−３が開始時刻の早い順番に並べられて表示されている。

タイルインデックス１２１に表示されているサムネイル画像を囲む矩形の領域１４１乃至領域１４４のそれぞれは、表示されているサムネイル画像のシーンが、同じ動画像ファイルの動画像に含まれているシーンであることを示している。

すなわち、領域１４１内に表示されているサムネイル画像１３１−１乃至サムネイル画像１３１−８のシーンのそれぞれは、同じ動画像に含まれていることを示しており、領域１４２内に表示されているサムネイル画像１３２−１乃至サムネイル画像１３２−４のシーンのそれぞれは、同じ動画像に含まれていることを示している。同様に、領域１４３内に表示されているサムネイル画像１３３−１乃至サムネイル画像１３３−９のシーンのそれぞれは、同じ動画像に含まれていることを示しており、領域１４４内に表示されているサムネイル画像１３４−１乃至サムネイル画像１３４−３のシーンのそれぞれは、同じ動画像に含まれていることを示している。

また、タイルインデックス１２１の図中、下側には、シーンラベルを選択するためのチェックボックス１４５乃至チェックボックス１４７が設けられている。チェックボックス１４５は、シーンラベルとしてのシーンチェンジにより分けられるシーンを選択するときに操作される。チェックボックス１４５の図中、右側にはシーンチェンジにより分けられたシーンを示す画像であるシーンチェンジアイコンが表示されており、さらにそのシーンチェンジアイコンの右側には、文字“SCENE CHANGE”が表示されている。

また、チェックボックス１４５の右側には、シーンラベルとしての男性会話シーン、女性会話シーン、または笑い声シーンを選択するためのチェックボックス１４６が設けられている。チェックボックス１４６の右側には、会話に関するシーンを示す画像が表示されており、さらにその右側には文字“TALK CUE”が表示されている。

チェックボックス１４６の右側には、シーンラベルとしてのポートレートシーン、少人数シーン、または多人数シーンを選択するためのチェックボックス１４７が設けられている。チェックボックス１４７の右側には、人に関するシーンを示す画像が表示されており、さらにその右側には文字“PERSON CUE”が表示されている。

さらに、図中、チェックボックス１４６の下側には、シーンラベルとしての男性会話シーンを選択するためのチェックボックス１４８、女性会話シーンを選択するためのチェックボックス１４９、および笑い声シーンを選択するためのチェックボックス１５０が設けられている。チェックボックス１４８乃至チェックボックス１５０のそれぞれの右側には、シーンラベルとしての男性会話シーン、女性会話シーン、および笑い声シーンのそれぞれを示す画像である男性アイコン、女性アイコン、および笑いアイコンのそれぞれが表示されている。そして、男性アイコン、女性アイコン、および笑いアイコンのそれぞれの右側には、文字“男性”、“女性”、および“笑い”のそれぞれが表示されている。

図中、チェックボックス１４７の下側には、シーンラベルとしてのポートレートシーンを選択するためのチェックボックス１５１、少人数シーンを選択するためのチェックボックス１５２、および多人数シーンを選択するためのチェックボックス１５３が設けられている。チェックボックス１５１乃至チェックボックス１５３のそれぞれの右側には、シーンラベルとしてのポートレートシーン、少人数シーン、および多人数シーンのそれぞれを示す画像であるバストアップアイコン、少人数アイコン、および複数人アイコンのそれぞれが表示されている。そして、バストアップアイコン、少人数アイコン、および複数人アイコンのそれぞれの右側には、文字“バストアップ”、“少人数”、および“複数人”のそれぞれが表示されている。

また、チェックボックス１４５乃至チェックボックス１５３のそれぞれには、そのチェックボックスが操作されて選択されたとき、チェック記号が表示されるようになされている。図４の例では、チェックボックス１４５乃至チェックボックス１５３の全てが選択されており、それらのチェックボックスにチェック記号が表示されている。

さらに、チェックボックス１４６が選択されていない場合、すなわちチェックボックス１４６にチェック記号が表示されていない場合、チェックボックス１４８乃至チェックボックス１５０のそれぞれを操作することができないようになされている。したがって、例えば、ユーザがチェックボックス１４８を操作しようとする場合、ユーザは、チェックボックス１４６を選択してから、チェックボックス１４８を操作して選択することになる。

同様に、チェックボックス１４７が選択されていない場合、チェックボックス１５１乃至チェックボックス１５３のそれぞれを操作することができないようになされている。したがって、例えば、ユーザがチェックボックス１５１を操作しようとする場合、ユーザは、チェックボックス１４７を選択してから、チェックボックス１５１を操作して選択することになる。

タイルインデックス１２１においては、ユーザが、チェックボックス１４５およびチェックボックス１４８乃至チェックボックス１５３のそれぞれを操作することによって、ユーザは、所望するシーンラベルのシーンのサムネイル画像だけをタイルインデックス１２１に表示させることができる。また、ユーザがこれらのチェックボックス１４５乃至チェックボックス１５３を操作すると、その操作に応じて選択されたシーンラベルのシーンのサムネイル画像がタイルインデックス１２１に表示し直される。

例えば、ユーザがチェックボックス１４８だけを選択し、他のチェックボックス１４５およびチェックボックス１４９乃至チェックボックス１５３を選択しなかった場合、タイルインデックス１２１には、シーンメタデータ記録部２３に記録されているシーンメタデータにより示されるシーンのうち、男性会話シーンのサムネイル画像だけが表示される。

図４の例では、チェックボックス１４５およびチェックボックス１４８乃至チェックボックス１５３のそれぞれが選択されているので、シーンメタデータ記録部２３に記録されているシーンメタデータにより示される全てのシーンのサムネイル画像が表示される。

タイルインデックス１２１に表示されているサムネイル画像１３１−１乃至サムネイル画像１３４−３のそれぞれには、その左上の部分にそれぞれのサムネイル画像により示されるシーンのシーンラベルを示すアイコンが表示されている。例えば、サムネイル画像１３１−１の左上の部分には、シーンチェンジアイコンおよび男性アイコンが表示されており、サムネイル画像１３１−２の左上の部分には、女性アイコンが表示されている。

ここで、チェックボックス１４５およびチェックボックス１４８乃至チェックボックス１５３のそれぞれにより選択されたシーンラベルのシーンのうち、互いにサムネイル画像が同じであるシーンがある場合、タイルインデックス１２１には１つのサムネイル画像だけが表示され、そのサムネイル画像に複数のアイコンが表示される。例えば、チェックボックスにより選択されたシーンラベルのシーンのうち、シーンラベルが笑い声シーンである１つのシーンのサムネイル画像と、シーンラベルが多人数シーンである１つのシーンのサムネイル画像とが同じである場合、１つのサムネイル画像１３１−４が表示され、そのサムネイル画像１３１−４には、笑いアイコンおよび複数人アイコンが表示される。

さらに、タイルインデックス１２１に表示されるサムネイル画像１３１−１乃至サムネイル画像１３４−３のそれぞれの右下の部分に、そのサムネイル画像により示されるシーンの再生時間、すなわちそのシーンの開始時刻から終了時刻までの時間の長さが表示されるようにしてもよい。

タイルインデックス１２１の図中、右側には、サムネイル画像を表示する領域をスクロールするときに操作されるスクロールバー１５４が設けられている。ユーザは、このスクロールバー１５４を操作することにより、サムネイル画像１３１−１乃至サムネイル画像１３４−３のそれぞれが表示されている領域を図中、上下方向にスクロールさせることができる。

また、タイルインデックス１２１の図中、右上には、各種の設定を行うときに操作されるボタン１５５、タイルインデックス１２１を表示させるときに操作されるボタン１５６、および動画像ファイルの動画像ごとにサムネイル画像が時系列に並べられて表示されるリストインデックスを表示させるときに操作されるボタン１５７が設けられている。

ユーザは、ボタン１５６またはボタン１５７を操作することにより、サムネイル画像の一覧としてのタイルインデックス１２１とリストインデックスとの表示の切り替えをさせることができる。

なお、図４では、チェックボックス１４５およびチェックボックス１４８乃至チェックボックス１５３のうち、選択されているチェックボックスにより示されるシーンラベルのうちのいずれかのシーンラベルであるシーンのサムネイル画像がタイルインデックス１２１に表示されているが、例えば、ユーザが、ボタン１５５を操作することによって、選択されているチェックボックスにより示される全てのシーンラベルが含まれるシーンのサムネイル画像だけが表示されるようにしてもよい。この場合、例えば、チェックボックス１４９およびチェックボックス１５０だけが選択されているとき、タイルインデックス１２１には、女性会話シーンであり、かつ笑い声シーンであるシーンのサムネイル画像が表示される。

タイルインデックス１２１において、チェックボックス１４５乃至チェックボックス１５３のいずれも選択されていない場合、タイルインデックス１２１には、図５に示すように、動画像ファイル記録部２１に記録されている動画像ファイルの動画像のサムネイル画像が時系列で表示される。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、繰り返しになるのでその説明は省略する。

図５では、タイルインデックス１２１の中央にある１つの四角形が、１つのサムネイル画像を示している。ここで、動画像ファイルの動画像のサムネイル画像は、動画像ファイル記録部２１に記録されている動画像ファイルに含まれており、その動画像の最初のフレームを構成する静止画像が縮小された画像とされる。

また、タイルインデックス１２１が表示されている状態で、ボタン１５７が操作されると、サムネイル画像の一覧の表示が、タイルインデックス１２１から図６に示すリストインデックスに切り替えられる。なお、図６において、図４における場合と対応する部分には同一の符号を付してあり、繰り返しになるのでその説明は省略する。

図６においてリストインデックス１８１の左側には、動画像ファイル記録部２１に記録されている各動画像ファイルの動画像のサムネイル画像１９１−１乃至サムネイル画像１９１−４のそれぞれが、縦方向に並べられて表示されている。

また、それぞれの動画像のサムネイル画像１９１−１乃至サムネイル画像１９１−４の右側には、それらの動画像に含まれているシーンであって、チェックボックス１４５乃至チェックボックス１５３により選択されているシーンラベルのシーンのサムネイル画像が時系列に並べられて表示されている。

すなわち、サムネイル画像１９２−１乃至サムネイル画像１９２−５のそれぞれは、サムネイル画像１９１−１により示される動画像に含まれているシーンのサムネイル画像を示しており、サムネイル画像１９３−１乃至サムネイル画像１９３−５のそれぞれは、サムネイル画像１９１−２により示される動画像に含まれているシーンのサムネイル画像を示している。同様に、サムネイル画像１９４−１乃至サムネイル画像１９４−５のそれぞれは、サムネイル画像１９１−３により示される動画像に含まれているシーンのサムネイル画像を示しており、サムネイル画像１９５−１乃至サムネイル画像１９５−５のそれぞれは、サムネイル画像１９１−４により示される動画像に含まれているシーンのサムネイル画像を示している。

サムネイル画像１９２−１乃至サムネイル画像１９２−５のそれぞれは、左側から開始時刻の早い順に並べられている。同様に、サムネイル画像１９３−１乃至サムネイル画像１９３−５のそれぞれ、サムネイル画像１９４−１乃至サムネイル画像１９４−５のそれぞれ、およびサムネイル画像１９５−１乃至サムネイル画像１９５−５のそれぞれも、左側から開始時刻の早い順に並べられている。

また、リストインデックス１８１に表示されているサムネイル画像１９２−１乃至サムネイル画像１９５−５のそれぞれには、タイルインデックス１２１における場合と同様に、その左上の部分にそれぞれのサムネイル画像により示されるシーンのシーンラベルを示すアイコンが表示されている。

リストインデックス１８１には、サムネイル画像１９２−１乃至サムネイル画像１９２−５が表示されている領域を図中、左右方向にスクロールさせるときに操作されるシークバー１９６−１、ボタン１９７−１、およびボタン１９８−１が設けられており、サムネイル画像１９３−１乃至サムネイル画像１９３−５が表示されている領域を左右方向にスクロールさせるときに操作されるシークバー１９６−２、ボタン１９７−２、およびボタン１９８−２が設けられている。

同様に、リストインデックス１８１には、サムネイル画像１９４−１乃至サムネイル画像１９４−５が表示されている領域を図中、左右方向にスクロールさせるときに操作されるシークバー１９６−３、ボタン１９７−３、およびボタン１９８−３が設けられており、サムネイル画像１９５−１乃至サムネイル画像１９５−５が表示されている領域を左右方向にスクロールさせるときに操作されるシークバー１９６−４、ボタン１９７−４、およびボタン１９８−４が設けられている。

さらにリストインデックス１８１において、チェックボックス１４５乃至チェックボックス１５３のいずれも選択されていない場合、サムネイル画像１９１−１乃至サムネイル画像１９１−４のそれぞれの右側には、例えばサムネイル画像１９１−１乃至サムネイル画像１９１−４のそれぞれにより示される動画像ファイルを構成する各GOP（Group of Pictures）に含まれる先頭のIピクチャが縮小された画像がサムネイル画像として時系列に表示される。

このように、動画像ファイルごとに、その動画像ファイルの動画像に含まれるシーンのサムネイル画像を並べて表示することで、ユーザは、どの動画像にどのようなシーンが含まれているかを容易に知ることができる。

次に、図７のフローチャートを参照して、再生装置１１が、サムネイル画像の一覧としてのタイルインデックス１２１または、リストインデックス１８１を表示する処理であるインデックス表示処理について説明する。

このインデックス表示処理は、ユーザが入力部２４を操作してタイルインデックス１２１またはリストインデックス１８１の表示を指示するか、タイルインデックス１２１またはリストインデックス１８１が表示されている状態において、チェックボックス１４５乃至チェックボックス１５３のいずれかが操作されると開始される。

ステップＳ１１において、管理部３２は、ユーザによる入力部２４の操作に応じて、ユーザにより選択されたシーンラベルを選択する。例えば、チェックボックス１４５およびチェックボックス１４８乃至チェックボックス１５３のうち、チェックボックス１４８だけが選択されている場合、管理部３２は、シーンラベルとして、男性会話シーンを選択する。

そして、管理部３２は、シーンメタデータ記録部２３に記録されているシーンメタデータを、そのシーンメタデータにより示されるシーンの開始時刻が早い順に１番目のシーンメタデータ、２番目のシーンメタデータ、・・・ｉ番目（但し、ｉは自然数）のシーンメタデータとし、シーンメタデータを選択するための変数Ｋを変数Ｋ＝１として記憶する。

ステップＳ１２において、管理部３２は、シーンメタデータ記録部２３からＫ番目のシーンメタデータを読み込む。例えば、管理部３２が記憶している変数Ｋが１である場合、１番目のシーンメタデータ、すなわち最も開始時刻が早いシーンのシーンメタデータを読み込む。

ステップＳ１３において、管理部３２は、読み込んだシーンメタデータのシーンラベルがステップＳ１１において選択されたシーンラベルであるか否かを判定する。ステップＳ１３において、選択されたシーンラベルではないと判定された場合、そのシーンメタデータにより示されるシーンは、ユーザにより指定された条件を満たすシーンではなく、そのサムネイル画像は表示されないので、管理部３２は記憶している変数Ｋをインクリメントする。そして処理はステップＳ１２に戻り、次のシーンメタデータが読み込まれる。

これに対してステップＳ１３において、選択されたシーンラベルであると判定された場合、ステップＳ１４に進み、インデックス表示制御部２６は、管理部３２の制御に基づいてシーンメタデータ記録部２３から、Ｋ番目のシーンメタデータに含まれているサムネイル画像を取得する。そしてインデックス表示制御部２６は取得したサムネイル画像を表示部２８に供給して、サムネイル画像を表示させる。

例えば、表示部２８の表示画面に図４に示したタイルインデックス１２１が表示されており、そのタイルインデックス１２１にサムネイル画像１３１−１だけが表示されている場合、インデックス表示制御部２６は、サムネイル画像１３１−２の位置に取得したサムネイル画像を表示させる。また、このとき、インデックス表示制御部２６は、新たに表示させたサムネイル画像に、Ｋ番目のシーンメタデータのシーンラベルを示すアイコンを表示させる。

ステップＳ１５において、管理部３２は、Ｋ番目のシーンメタデータが最後のシーンメタデータであるか否かを判定する。すなわち、管理部３２は、シーンメタデータ記録部２３に記録されている全てのシーンメタデータに対して処理を行ったか否かを判定する。

ステップＳ１５において、最後のシーンメタデータでないと判定された場合、管理部３２は、記憶している変数Ｋをインクリメントして処理はステップＳ１２に戻り、上述した処理が繰り返される。

一方、ステップＳ１５において、最後のシーンメタデータであると判定された場合、全てのシーンメタデータに対して処理を行ったので、インデックス表示処理は終了する。

このようにして、再生装置１１は、ユーザにより選択されたシーンラベルのシーンのサムネイル画像の一覧として、タイルインデックス１２１またはリストインデックス１８１を表示する。

このように、選択されたシーンラベルのシーンのサムネイル画像の一覧として、タイルインデックス１２１またはリストインデックス１８１を表示することで、ユーザが所望するシーンのサムネイル画像だけを一覧表示させることができる。また、表示されたサムネイル画像にシーンラベルを示すアイコンを表示させるようにしたので、ユーザは、そのアイコンを見るだけで表示されているサムネイル画像が、どのようなシーンのサムネイル画像であるかを容易に理解できる。

ユーザが入力部２４を操作して、タイルインデックス１２１またはリストインデックス１８１に表示されているサムネイル画像を指定すると、再生装置１１はユーザにより指定されたサムネイル画像により示されるシーンを再生する。このとき、ユーザは、ボタン１５５を操作することにより、指定したシーンだけを再生させるか、または指定したシーンおよびそのシーンに続くシーンを連続して再生させることができる。

例えば、図８Ａの左側の図に示すように、１つの動画像に含まれるシーン２２１乃至シーン２２３のサムネイル画像のそれぞれがタイルインデックス１２１に連続して並べられて表示されているとする。ここで、シーン２２１乃至シーン２２３のそれぞれのうち、開始時間が最も早いシーンがシーン２２１であり、開始時間が最も遅いシーンがシーン２２３であるとする。

この場合、シーン２２１乃至シーン２２３のサムネイル画像のそれぞれは、例えば、図４のサムネイル画像１３１−１乃至サムネイル画像１３１−３のそれぞれの位置に表示される。そして、ユーザがシーン２２２を指定し、指定したシーンだけが再生される場合、図８Ａの右側の図に示すように、シーン２２２だけが再生される。

また、図８Ｂの右側の図に示すように、１つの動画像に含まれるシーン２２１乃至シーン２２３のうち、シーン２２２がユーザにより指定され、指定したシーンおよびそのシーンに続くシーンが連続して再生される場合、シーン２２２が再生され、その後シーン２２２の次のシーンであるシーン２２３が再生される。このとき、シーン２２２およびシーン２２３が含まれている動画像のシーン２２２の終了時刻からシーン２２３の開始時刻までの区間は再生されない。

すなわち、ユーザにより指定されたシーンおよびそのシーンに続くシーンが連続して再生される場合、タイルインデックス１２１またはリストインデックス１８１に並べられて表示されているサムネイル画像により示されるシーンだけが連続して再生される。例えば、図４に示したタイルインデックス１２１において、ユーザがサムネイル画像１３３−９を選択すると、サムネイル画像１３３−９により示されるシーン乃至サムネイル画像１３４−３により示されるシーンの順番で各シーンが連続して再生される。

なお、以下の説明においては、ユーザにより所定のシーンが指定されて、そのシーンの再生が指示されると、指定されたシーンおよびそのシーンに続くシーンが連続して再生されるものとして説明を続ける。

ユーザによりサムネイル画像、すなわちシーンが指定されてそのシーンが再生される場合、表示部２８には、例えば図９に示す再生画面が表示される。

再生画面２５１には、再生されるシーンが表示される領域２５２、再生されるシーンのサムネイル画像が時系列に並べられて表示される領域であるフィルムロール２５３、およびシーンラベルを選択するためのチェックボックス、シーンの再生を制御するときに操作される各種のボタンなどが表示されるコントロール領域２５４の３つの領域が設けられている。

領域２５２には、現在再生されているシーンの画像が表示される。また、図中、領域２５２の左上には再生されているシーンのシーンラベルを示すアイコンが表示されており、領域２５２の右下にはタイムコードが表示されている。図９の例では、領域２５２の左上には、シーンチェンジアイコン２６１および男性アイコン２６２が表示されている。

フィルムロール２５３には、ユーザにより指定された条件を満たすシーンのサムネイル画像が並べられている。図９では、ユーザにより指定された条件として、シーンチェンジにより分けられるシーン、男性会話シーン、女性会話シーン、および笑い声シーンであるシーンラベルが選択されているので、フィルムロール２５３には、それらのシーンラベルのシーンのサムネイル画像２６３−１乃至サムネイル画像２６３−７が表示されている。

また、サムネイル画像２６３−１乃至サムネイル画像２６３−７のそれぞれの左上の部分には、それらのサムネイル画像により示されるシーンのシーンラベルを示すアイコンが表示されており、例えば、サムネイル画像２６３−１の左上の部分には、男性アイコンが表示されている。さらに、サムネイル画像２６３−４は、その周囲が枠で囲まれて強調されており、そのサムネイル画像２６３−４により示されるシーンが現在再生中であることが表されている。

さらに、また、フィルムロール２５３の図中左側および右側には、それぞれサムネイル画像が表示される領域を左右方向にスクロールさせるときに操作されるボタン２６４−１およびボタン２６４−２が設けられている。

ここで、フィルムロール２５３に表示されるサムネイル画像は、図１０に示すように時系列に並べられる。なお、図１０において、横方向は時間を示しており、図９における場合と対応する部分には同一の符号を付してある。

図１０では、動画像ファイルにより再生される動画像３０１のうち、ユーザにより選択されたシーンラベルのシーンとして、シーン３０２乃至シーン３０４が含まれている。なお、動画像３０１およびシーン３０２乃至シーン３０４のそれぞれの左端は、それらの動画像またはシーンの開始時刻を示しており、右端は終了時刻を示している。また、シーン３０２乃至シーン３０４のそれぞれの左下の長方形は、それぞれのシーンのサムネイル画像を示している。

動画像３０１に含まれるシーン３０２乃至シーン３０４のうち、最も開始時刻が早いシーンは、シーン３０２であるので、まずシーン３０２のサムネイル画像２６３−３がフィルムロール２５３に表示され、そのサムネイル画像２６３−３にはシーン３０２のシーンラベルを示すアイコンが表示される。

続いて、動画像３０１に含まれるシーン３０２乃至シーン３０４のうち、フィルムロール２５３に表示されたシーン３０２の次に開始時刻が早いシーンは、シーン３０３であるので、シーン３０３のサムネイル画像２６３−４が、最後にフィルムロール２５３に表示されたサムネイル画像２６３−３の右側に並べられて表示され、シーンラベルを示すアイコンも表示される。

同様にして、シーン３０４のサムネイル画像２６３−５が最後に表示されたサムネイル画像２６３−４の右側に並べられて表示され、順次、開始時刻の早い順にそのシーンのサムネイル画像が時系列に並べられて表示される。

図９の再生画面２５１の説明に戻り、コントロール領域２５４には、再生するシーンの条件としてのシーンラベルを変更するときに操作されるボタン２６５乃至ボタン２６７が設けられている。

ボタン２６５乃至ボタン２６７のそれぞれは、シーンラベルが選択し直されるときに操作される。ボタン２６５乃至ボタン２６７のそれぞれは、ユーザにより操作されて選択されると、それらのボタンが表示される色または輝度が変化し、ボタン２６５乃至ボタン２６７のそれぞれが選択されているか否かが分かるようになされている。

ボタン２６５は、シーンラベルとしてのシーンチェンジにより分けられるシーンを選択するときに操作される。ボタン２６５には、シーンチェンジアイコンが表示されており、さらにそのシーンチェンジアイコンの右側には、文字“SCENE CHANGE”が表示されている。ボタン２６５が選択されている場合、シーンラベルとしてシーンチェンジにより分けられるシーンが選択され、ボタン２６５が選択されていない場合、シーンチェンジにより分けられるシーンは、シーンラベルとして選択されない。

また、ボタン２６５の右側には、シーンラベルとしての男性会話シーン、女性会話シーン、または笑い声シーンを選択するためのボタン２６６が設けられている。ボタン２６６には、会話に関するシーンを示す画像が表示されており、さらにその右側には文字“TALK FILTER”が表示されている。ボタン２６６が選択されている場合、ユーザがボタン２６６の下に設けられたチェックボックス２６８乃至チェックボックス２７０のそれぞれを操作することができ、ボタン２６６が選択されていない場合、ユーザがチェックボックス２６８乃至チェックボックス２７０のそれぞれを操作することができないようになされている。

ボタン２６６の右側には、シーンラベルとしてのポートレートシーン、少人数シーン、または多人数シーンを選択するためのボタン２６７が設けられている。ボタン２６７には、人に関するシーンを示す画像が表示されており、さらにその右側には文字“PERSON FILTER”が表示されている。ボタン２６７が選択されている場合、ユーザがボタン２６７の下に設けられたチェックボックス２７１乃至チェックボックス２７３のそれぞれを操作することができ、ボタン２６７が選択されていない場合、ユーザがチェックボックス２７１乃至チェックボックス２７３のそれぞれを操作することができないようになされている。

図中、ボタン２６６の下側には、シーンラベルとしての男性会話シーンを選択するためのチェックボックス２６８、女性会話シーンを選択するためのチェックボックス２６９、および笑い声シーンを選択するためのチェックボックス２７０が設けられている。チェックボックス２６８乃至チェックボックス２７０のそれぞれの右側には、シーンラベルを示す画像である男性アイコン、女性アイコン、および笑いアイコンのそれぞれが表示されている。そして、男性アイコン、女性アイコン、および笑いアイコンのそれぞれの右側には、文字“男性”、“女性”、および“笑い”のそれぞれが表示されている。

また、図中、ボタン２６７の下側には、シーンラベルとしてのポートレートシーンを選択するためのチェックボックス２７１、少人数シーンを選択するためのチェックボックス２７２、および多人数シーンを選択するためのチェックボックス２７３が設けられている。チェックボックス２７１乃至チェックボックス２７３のそれぞれの右側には、シーンラベルを示す画像であるバストアップアイコン、少人数アイコン、および複数人アイコンのそれぞれが表示されている。そして、バストアップアイコン、少人数アイコン、および複数人アイコンのそれぞれの右側には、文字“バストアップ”、“少人数”、および“複数人”のそれぞれが表示されている。

チェックボックス２６８乃至チェックボックス２７３のそれぞれは、図４に示したチェックボックス１４８乃至チェックボックス１５３のそれぞれと同様に、そのチェックボックスが選択されている場合、それぞれのチェックボックスにはチェック記号が表示され、対応するシーンがシーンラベルとして選択される。したがって、例えば、チェックボックス２６８が選択された場合、シーンラベルとして男性会話シーンが選択される。

さらに、チェックボックス２６８乃至チェックボックス２７３のそれぞれの下には、再生されるシーンを選択するときに操作されるシークバー２７４が設けられている。

シークバー２７４の下には、選択されているシーンを再生または一時停止させるときに操作されるボタン２７５、シーンの再生を停止させるときに操作されるボタン２７６、並びに再生しているシーンをスキップさせるときに操作されるボタン２７７およびボタン２７８が設けられている。

また、シークバー２７４の下には、フィルムロール２５３を表示させたり、その表示を消去させたりするときに操作されるボタン２７９、ボタン２６５乃至ボタン２６７およびチェックボックス２６８乃至チェックボックス２７３を表示させたり、その表示を消去させたりするときに操作されるボタン２８０、並びにフィルムロール２５３およびコントロール領域２５４を表示させたり、その表示を消去させたりするときに操作されるボタン２８１が設けられている。

例えば、シーンの再生中にユーザがボタン２７７またはボタン２７８を操作すると、図１１に示すように、再生しているシーンまたは次のシーンの先頭の位置に、再生位置がスキップされる。なお、図１１において、横方向は時間を示しており、図１０における場合と対応する部分には同一の符号を付してある。

動画像３０１に含まれるシーン３０２乃至シーン３０４が選択され、連続して再生される場合、現在再生している位置が矢印Ｋ１１に示される位置、すなわちシーン３０２の所定の位置であるとき、ユーザによりボタン２７７が操作されると、矢印Ｋ２１に示されるように再生位置はシーン３０２の先頭の位置とされ、シーン３０２の先頭、すなわち開始時刻から再生が開始される。また、現在再生している位置が矢印Ｋ１１に示される位置であるとき、ユーザによりボタン２７８が操作されると、矢印Ｋ２２に示されるように再生位置はシーン３０３の先頭の位置とされ、シーン３０３の先頭、すなわち開始時刻から再生が開始される。

同様に、現在再生している位置が矢印Ｋ１２に示される位置、すなわちシーン３０３の所定の位置であるとき、ユーザによりボタン２７７が操作されると、矢印Ｋ２３に示されるように再生位置はシーン３０３の先頭の位置とされ、シーン３０３の先頭から再生が開始される。また、現在再生している位置が矢印Ｋ１２に示される位置であるとき、ユーザによりボタン２７８が操作されると、矢印Ｋ２４に示されるように再生位置はシーン３０４の先頭の位置とされ、シーン３０４の先頭から再生が開始される。

さらに、現在再生している位置が矢印Ｋ１３に示される位置、すなわちシーン３０３の所定の位置であって、シーン３０４の終了位置よりも後の位置でるとき、ユーザによりボタン２７７が操作されると、矢印Ｋ２５に示されるように再生位置はシーン３０４の先頭の位置とされ、シーン３０４の先頭から再生が開始される。また、現在再生している位置が矢印Ｋ１３に示される位置であるとき、ユーザによりボタン２７８が操作されると、シーン３０４よりも開始時刻が遅いシーンがないので、すなわちシーン３０４が最後のシーンであるので再生位置はスキップされず、そのままシーン３０３が継続して再生される。

また、ユーザにより選択されたシーンが再生されているときに、再生画面２５１のボタン２６５乃至ボタン２６７またはチェックボックス２６８乃至チェックボックス２７３を操作することにより、再生するシーンのシーンラベルを選択し直すことができる。

例えば、図１２Ａに示すように、シーンラベルとして、シーンチェンジにより分けられるシーン、男性会話シーン、女性会話シーン、笑い声シーン、ポートレートシーン、少人数シーン、および多人数シーンが検索された結果、１つの動画像３３１から、シーンチェンジにより分けられるシーン３３２乃至シーン３３４、男性会話シーンであるシーン３３５、笑い声シーンであるシーン３３６、女性会話シーンであるシーン３３７、多人数シーンであるシーン３３８、および少人数シーンであるシーン３３９が検索され、シーン３３２が再生されているとする。

なお、図１２Ａにおいて横方向は時間を表し、矢印Ｋ４１により示される動画像３３１の位置、すなわちシーン３３２の所定の位置は現在再生されている位置を示している。また、動画像３３１およびシーン３３２乃至シーン３３９のそれぞれの左端は、開始時刻を示しており、右端は終了時刻を示している。

選択されたシーンラベルのシーンが検索されると、検索されたシーン３３２乃至シーン３３９のそれぞれは、その開始時刻が早いシーンから順番に連続して再生される。そして、シーン３３２が再生されている状態で、図１２Ｂに示すようにユーザが再生画面２５１に設けられたボタン２６５乃至ボタン２６７またはチェックボックス２６８乃至チェックボックス２７３を操作することにより、新たにシーンラベルを選択し直すと、新たに選択されたシーンラベルのシーンが動画像３３１から選択し直される。

図１２Ｂでは、チェックボックス２６８乃至チェックボックス２７０およびチェックボックス２７２が選択されており、それぞれのチェックボックスにはチェック記号が表示されている。

すると、再生装置１１は、新たに選択されたチェックボックス２６８乃至チェックボックス２７０およびチェックボックス２７２のそれぞれに対応する、シーンラベルが男性会話シーン、女性会話シーン、笑い声シーン、および少人数シーンであるシーンを再生している動画像３３１から検索する。

これにより、図１２Ｃに示されるように、シーン３３５乃至シーン３３７およびシーン３３９が検索される。そして、再生装置１１は、シーン３３２の再生を停止し、動画像の矢印Ｋ４２に示される位置、すなわち検索されたシーンのうち、これまで再生していたシーン３３２の開始時刻に最も近い開始時刻のシーンの先頭位置から順番に再生を開始する。この場合、検索されたシーンのうち、シーン３３２の開始時刻に最も近い開始時刻のシーン３３５から、シーン３３５乃至シーン３３７およびシーン３３９の順番で各シーンが連続して再生される。

また、ユーザにより選択されたシーンラベルのシーンが連続して再生される場合、図１３に示すように、必要に応じて各シーンの終了時刻が変更される。なお、図１３において横方向は時間軸を示している。また、図中、１つの矢印は１つのシーンを表している。さらに、各矢印の左端はシーンの先頭の位置、すなわち開始時刻を示しており、右端は終了位置、すなわち終了時刻を示している。

ユーザにより選択されたシーンラベルのシーンとして、シーンＳｎ＋１乃至シーンＳｎ＋８のそれぞれが検索されると、これらのシーンＳｎ＋１乃至シーンＳｎ＋８が開始時刻の早い順に、すなわちシーンＳｎ＋１乃至シーンＳｎ＋８の順に連続して再生される。そのような場合、再生される各シーンには、他のシーンの所定の区間と同じ区間が含まれていることがある。

例えば、シーンＳｎ＋２の開始時刻は、直前に再生されるシーンＳｎ＋１の終了時刻よりも早い時刻であるため、シーンＳｎ＋１が再生された後、シーンＳｎ＋２が再生されると、シーンＳｎ＋２の開始時刻から、シーンＳｎ＋２におけるＳｎ＋１の終了時刻に対応する時刻までの区間が重複されて再生されることになる。

そこで、再生装置１１は、再生する各シーンの終了時刻を必要に応じて変更する。なお、図１３では、シーンＳ’ｎ＋１乃至シーンＳ’ｎ＋８のそれぞれは、必要に応じて終了時刻が変更されたシーンＳｎ＋１乃至シーンＳｎ＋８のそれぞれを表している。

まず、最初に再生されるシーンＳｎ＋１の終了時刻は、次に再生されるシーンＳｎ＋２の開始時刻よりも遅い時刻であるので、シーンＳｎ＋１の終了時刻はシーンＳｎ＋２の開始時刻に変更され、終了時刻変更後のシーンＳｎ＋１であるシーンＳ’ｎ＋１とされる。

次に、シーンＳｎ＋２の終了時刻は、次に再生されるシーンＳｎ＋３の開始時刻よりも早い時刻であるので、シーンＳｎ＋２の終了時刻はそのままとされ、終了時刻変更後のシーンＳｎ＋２であるシーンＳ’ｎ＋２とされる。

また、シーンＳｎ＋３の終了時刻は、次に再生されるシーンＳｎ＋４の開始時刻よりも遅い時刻であるので、シーンＳｎ＋３の終了時刻はシーンＳｎ＋４の開始時刻に変更されて、終了時刻変更後のシーンＳｎ＋３であるシーンＳ’ｎ＋３とされる。

さらに、シーンＳｎ＋４の終了時刻は、直前に再生されるシーンＳｎ＋３の終了時刻よりも早い時刻であるので、シーンＳｎ＋４の終了時刻はシーンＳｎ＋３の終了時刻に変更されて、終了時刻変更後のシーンＳｎ＋４であるシーンＳ’ｎ＋４とされる。

同様に、シーンＳｎ＋５の終了時刻は、次に再生されるシーンＳｎ＋６の開始時刻よりも遅い時刻であるので、シーンＳｎ＋５の終了時刻はシーンＳｎ＋６の開始時刻に変更されて、終了時刻変更後のシーンＳｎ＋５であるシーンＳ’ｎ＋５とされる。

次に、シーンＳｎ＋６の終了時刻は、次に再生されるシーンＳｎ＋７の開始時刻よりも遅い時刻であるので、シーンＳｎ＋６の終了時刻はシーンＳｎ＋７の開始時刻に変更されて、終了時刻変更後のシーンＳｎ＋６であるシーンＳ’ｎ＋６とされる。

また、シーンＳｎ＋７の終了時刻は、次に再生されるシーンＳｎ＋８の開始時刻よりも早い時刻であるが、２つ前に再生されるシーンＳｎ＋５の終了時刻は、シーンＳｎ＋８の開始時刻よりも遅い時刻であるので、シーンＳｎ＋７の終了時刻はシーンＳｎ＋８の開始時刻に変更されて、終了時刻変更後のシーンＳｎ＋７であるシーンＳ’ｎ＋７とされる。

さらに、シーンＳｎ＋８の終了時刻は、３つ前に再生されるシーンＳｎ＋５の終了時刻よりも早い時刻であるので、シーンＳｎ＋８の終了時刻はシーンＳｎ＋５の終了時刻に変更されて、終了時刻変更後のシーンＳｎ＋８であるシーンＳ’ｎ＋８とされる。

このようにして、再生装置１１は、再生するシーンＳｎ＋１乃至シーンＳｎ＋８の終了時刻を必要に応じて変更し、終了時刻が変更されたシーンＳｎ＋１乃至シーンＳｎ＋８であるシーンＳ’ｎ＋１乃至シーンＳ’ｎ＋８を順番に再生する。

この場合、動画像のシーンＳ’ｎ＋２の終了時刻とシーンＳ’ｎ＋３の開始時刻との間の区間、およびシーンＳ’ｎ＋４の終了時刻とシーンＳ’ｎ＋５の開始時刻との間の区間は再生されない。したがって、シーンＳ’ｎ＋２の終了時刻まで再生されると、再生位置がシーンＳ’ｎ＋３の開始時刻に移動され、シーンＳ’ｎ＋４の終了時刻まで再生されると、再生位置がシーンＳ’ｎ＋５の開始時刻に移動されて各シーンが再生される。

このように、各シーンの終了時刻を必要に応じて変更することによって、動画像の所定の区間を重複して再生することなく、ユーザが視聴したいと思う区間だけを効率よく再生することができる。

次に、図１４のフローチャートを参照して、再生装置１１がユーザにより選択されたシーンラベルのシーンを連続して再生する処理である、連続再生処理について説明する。

この連続再生処理は、ユーザがタイルインデックス１２１またはリストインデックス１８１において所望するシーンラベルを選択し、シーンの連続再生を指示すると開始される。

ステップＳ４１において、再生装置１１は再生リスト生成処理を行う。なお、再生リスト生成処理の詳細は後述するが、この再生リスト生成処理において、再生装置１１は、ユーザにより選択されたシーンラベルのシーンを検索し、検索されたシーンをこれから再生するシーンのリストに登録することにより再生リストを生成する。

ステップＳ４２において、管理部３２は、生成した再生リストに再生すべきシーンがあるか否かを判定する。すなわち、管理部３２は、再生リストに選択されたシーンラベルのシーンが登録されているか否かを判定する。

ステップＳ４２において、再生すべきシーンがないと判定された場合、シーンの再生を行わないので、ステップＳ４３の処理はスキップされて連続再生処理は終了する。

これに対して、ステップＳ４２において、再生すべきシーンがあると判定された場合、ステップＳ４３に進み、再生部２７は再生リストに登録されているシーンを順番に再生し、連続再生処理は終了する。

例えば、再生リストには、選択されたシーンを特定するシーンＩＤ、そのシーンが含まれている動画像の動画像ファイルを特定するビデオファイルＩＤ、並びに選択されたシーンの開始時刻および終了時刻が、選択されたシーンの開始時刻の早い順、すなわち再生する順に並べられている。

管理部３２は、再生リストを生成すると、生成した再生リストを再生部２７に供給する。再生部２７は、再生リストの先頭のシーンから順番に、動画像ファイル記録部２１から、そのシーンのビデオファイルＩＤにより特定される動画像ファイルを取得する。そして、再生部２７は、取得した動画像ファイルの再生リストにより示される開始時刻から終了時刻までの区間の動画像データを、例えば、MPEG4（Moving Picture Experts Group phase 4）、MPEG２などの所定の形式により復号し、これにより得られた動画像データを表示部２８に供給して表示させる。なお、ユーザにより再生するシーンが選択された場合には、ユーザにより選択されたシーンから順番に、再生リストに登録されているシーンを再生する。

表示部２８は、再生部２７から供給された動画像データに基づいて、図９に示した再生画面２５１の領域２５２に動画像を表示する。なお、より詳細には、再生部２７は表示部２８に、領域２５２の左上の部分に再生しているシーンのシーンラベルを示すアイコンを表示させる。また、動画像ファイルからは、再生するシーンの開始時刻から終了時刻までの区間の音声データも取得されて音声が再生される。

さらに、このとき、管理部３２は、再生リストに登録されているシーンのシーンＩＤをインデックス表示制御部２６に供給する。インデックス表示制御部２６は、管理部３２から供給されたシーンＩＤにより特定される、シーンメタデータ記録部２３に記録されているシーンメタデータからサムネイル画像を取得する。そして、インデックス表示制御部２６は、取得したサムネイル画像を表示部２８に供給し、フィルムロール２５３にサムネイル画像を表示させる。

このようにして、再生装置１１は再生リストを生成し、生成した再生リストにしたがって、選択されたシーンラベルのシーンを再生する。

次に、図１５のフローチャートを参照して、図１４のステップＳ４１の処理に対応する処理である再生リスト生成処理について説明する。

ステップＳ６１において、抽出部３１は、ユーザにより選択されたシーンラベルのシーンメタデータを抽出してシーンの開始時刻順に並べ、シーンメタデータが開始時刻順に並べられた情報を管理部３２に供給する。

例えば、図４に示したタイルインデックス１２１のチェックボックス１４８、すなわち男性会話シーンだけが選択されてシーンの再生が指示された場合、抽出部３１は、シーンメタデータ記録部２３に記録されているシーンメタデータから、シーンラベルが男性会話シーンであるシーンメタデータを抽出する。そして、抽出したシーンメタデータを、そのシーンメタデータに含まれているシーンの開始時刻の早い順に並べて、その情報を管理部３２に供給する。

また、管理部３２は、再生リストに登録する処理の対象となるシーンのシーンメタデータを選択するための変数Ｋを、Ｋ＝１として記憶する。さらに、管理部３２の時刻管理部４１は、これまで再生リストに登録したシーンの変更前の終了時刻のうち最も遅い時刻を示す変数Ｔｍａｘを、Ｔｍａｘ＝０として記憶する。

ステップＳ６２において、管理部３２は、抽出部３１から供給された情報により示されるＫ番目のシーンメタデータがあるか否かを判定する。

ここで、抽出部３１から供給された情報により示されるシーンメタデータのそれぞれは、並べられている順番に１番目のシーンメタデータ、２番目のシーンメタデータ、・・・、Ｎ番目（但しＮは自然数）のシーンメタデータとされる。したがって、最初のシーンメタデータ、すなわち抽出されたシーンメタデータのうちの最も開始時刻が早いシーンのシーンメタデータが１番目のシーンメタデータとされ、１番目の次に並べられたシーンメタデータ、すなわち２番目に開始時刻が早いシーンのシーンメタデータが２番目のシーンメタデータとされる。

ステップＳ６２において、Ｋ番目のシーンメタデータがあると判定された場合、ステップＳ６３に進み、管理部３２はＫ番目のシーンメタデータをシーンメタデータ記録部２３から読み込んで、読み込んだシーンメタデータにより示されるシーンをシーンＳｋとする。ここで、シーンＳｋにおけるｋは、変数Ｋと同じ値とされる。したがって、例えば１番目のシーンメタデータにより示されるシーンは、シーンＳ１とされる。

ステップＳ６４において、時刻管理部４１は、変数ＴｍａｘがシーンＳｋの終了時刻よりも遅い時刻であるか否かを判定する。ステップＳ６４において、変数ＴｍａｘがシーンＳｋの終了時刻よりも遅い時刻でないと判定された場合、ステップＳ６５に進み、時刻管理部４１は、記憶している変数Ｔｍａｘの値をシーンＳｋの終了時刻とする。

一方、ステップＳ６４において、変数ＴｍａｘがシーンＳｋの終了時刻よりも遅い時刻であると判定された場合、処理はステップＳ６６に進む。

ステップＳ６４において変数ＴｍａｘがシーンＳｋの終了時刻よりも遅い時刻であると判定されるか、ステップＳ６５において変数Ｔｍａｘが変更されると、ステップＳ６６において、管理部３２は、Ｋ＋１番目のシーンメタデータがあるか否かを判定する。

ステップＳ６６において、Ｋ＋１番目のシーンメタデータがないと判定された場合、処理はステップＳ６９に進む。

一方、ステップＳ６６において、Ｋ＋１番目のシーンメタデータがあると判定された場合、ステップＳ６７に進み、時刻管理部４１は、変数ＴｍａｘがシーンＳｋ＋１の開始時刻よりも遅い時刻であるか否かを判定する。

ステップＳ６７において、変数ＴｍａｘがシーンＳｋ＋１の開始時刻よりも遅い時刻であると判定された場合、ステップＳ６８に進み、時刻管理部４１は、シーンＳｋの終了時刻をシーンＳｋ＋１の開始時刻とする。例えば、シーンＳｋが図１３に示したシーンＳｎ＋１である場合、変数ＴｍａｘはシーンＳｎ＋１の終了時刻とされ、変数ＴｍａｘはシーンＳｋ＋１、すなわちシーンＳｎ＋２の開始時刻よりも遅い時刻であるので、再生時におけるシーンＳｎ＋１の終了時刻はシーンＳｎ＋２の開始時刻に変更され、シーンＳ’ｎ＋１とされる。

また、例えば、シーンＳｋが図１３に示したシーンＳｎ＋７である場合、変数ＴｍａｘはシーンＳｎ＋５の終了時刻とされ、変数ＴｍａｘはシーンＳｋ＋１、すなわちシーンＳｎ＋８の開始時刻よりも遅い時刻であるので、再生時におけるシーンＳｎ＋７の終了時刻はシーンＳｎ＋８の開始時刻に変更され、シーンＳ’ｎ＋７とされる。

一方、ステップＳ６７において、変数ＴｍａｘがシーンＳｋ＋１の開始時刻よりも遅い時刻でないと判定された場合、ステップＳ６９に進む。

ステップＳ６６においてＫ＋１番目のシーンメタデータがないと判定されるか、ステップＳ６７において変数ＴｍａｘがシーンＳｋ＋１の開始時刻よりも遅い時刻でないと判定されると、ステップＳ６９において、時刻管理部４１は、シーンＳｋの終了時刻を変数Ｔｍａｘとする。例えば、シーンＳｋが図１３に示したシーンＳｎ＋４である場合、変数ＴｍａｘはシーンＳｎ＋３の終了時刻とされ、変数ＴｍａｘはシーンＳｋ＋１、すなわちシーンＳｎ＋５の開始時刻よりも早い時刻であるので、再生時におけるシーンＳｎ＋４の終了時刻は変数Ｔｍａｘの値であるシーンＳｎ＋３の終了時刻に変更され、シーンＳ’ｎ＋４とされる。

また、例えば、シーンＳｋが、図１３に示したシーンＳｎ＋２である場合、変数Ｔｍａｘは、シーンＳｎ＋２の終了時刻とされ、変数ＴｍａｘはシーンＳｋ＋１、すなわちシーンＳｎ＋３の開始時刻よりも早い時刻であるので、再生時におけるシーンＳｎ＋２の終了時刻は変数Ｔｍａｘの値であるシーンＳｎ＋２の終了時刻とされ、シーンＳ’ｎ＋２とされる。

ステップＳ６８またはステップＳ６９において、シーンＳｋの終了時刻が変更されると、ステップＳ７０に進み、管理部３２は終了時刻が変更されたシーンＳｋを再生リストに登録する。より具体的には、管理部３２は再生リストの最後、すなわち再生リストに最後に追加されたシーンＳｋ−１のシーンＩＤ、シーンＳｋ−１が含まれている動画像ファイルのビデオファイルＩＤ、並びにシーンＳｋ−１の開始時刻および終了時刻の後ろの位置に、シーンＳｋのシーンＩＤ、シーンＳｋが含まれている動画像ファイルのビデオファイルＩＤ、シーンＳｋの開始時刻、および変更されたシーンＳｋの終了時刻を追加して、シーンＳｋを再生リストに登録する。

ステップＳ７１において、管理部３２は記憶している変数Ｋをインクリメントして処理はステップＳ６２に戻り、上述した処理が繰り返される。

また、ステップＳ６２において、Ｋ番目のシーンメタデータがないと判定された場合、すなわち抽出された全てのシーンが再生リストに登録された場合、処理は図１４のステップＳ４２に進む。

このようにして、再生装置１１はユーザにより選択されたシーンラベルのシーンメタデータを抽出する。そして、再生装置１１は抽出したシーンメタデータのシーンの終了時刻を必要に応じて変更し、再生リストを生成する。

このように、再生するシーンの終了時刻を必要に応じて変更することで、再生装置１１は、ユーザが視聴したいシーン、すなわちユーザにより選択されたシーンラベルのシーンをより効率よく再生することができる。

また、選択されたシーンラベルのシーンの再生中に、ユーザが図９に示した再生画面２５１のボタン２６５乃至ボタン２６７、およびチェックボックス２６８乃至チェックボックス２７３を操作してシーンラベルを変更すると、再生装置１１は、新たに選択されたシーンラベルに基づいて再生リストを生成し直し、新たな再生リストに基づくシーンの再生を行う処理である、シーンラベル変更処理を行う。

以下、図１６のフローチャートを参照して、再生装置１１によるシーンラベル変更処理について説明する。

ステップＳ１０１において、再生装置１１は、再生リスト生成処理を行う。なお、再生リスト生成処理において、ユーザにより選択されたシーンラベルに基づいて新たな再生リストが生成されて再生部２７に供給される処理が行われるが、この再生リスト生成処理は、図１５のフローチャートを参照して説明した再生リスト生成処理と同様であるので、その説明は省略する。

ステップＳ１０２において、管理部３２は、現在再生しているシーンが、新たに生成された再生リストに登録されているか否かを判定する。

ステップＳ１０２において、再生しているシーンが再生リストに登録されていると判定された場合、ステップＳ１０３に進み、再生部２７は、新たに生成された再生リストにしたがって、現在再生しているシーンおよびそれ以降のシーンを順番に再生し、シーンラベル変更処理は終了する。例えば、現在再生しているシーンが、新たに生成された再生リストの３番目に登録されている場合、再生部２７は、現在再生しているシーンの再生が終了した後、４番目以降のシーンを順次再生する。

また、ステップＳ１０２において、再生しているシーンが再生リストに登録されていないと判定された場合、ステップＳ１０４に進み、管理部３２は、再生しているシーンと同じ動画像ファイルのシーンが再生リストにあるか否かを判定する。例えば、管理部３２は、再生リストに登録されているシーンのうち、再生しているシーンとビデオファイルＩＤが同じシーンがある場合、同じ動画像ファイルのシーンが再生リストにあると判定する。

ステップＳ１０４において、同じ動画像ファイルのシーンが再生リストにあると判定された場合、ステップＳ１０５に進み、再生部２７は、新たに生成された再生リストにしたがって、再生しているシーンと同じ動画像ファイルのシーンのうち、再生しているシーンの開始時刻と最も開始時刻の近いシーンから順番に再生し、シーンラベル変更処理は終了する。

例えば、再生しているシーンと同じ動画像ファイルのシーンのうち、再生しているシーンの開始時刻よりも遅い開始時刻のシーンがある場合、再生部２７は、再生しているシーンの開始時刻よりも遅い開始時刻のシーンのうち、開始時刻が、再生しているシーンの開始時刻に最も近いシーンから再生を開始する。そして、新たに再生が開始されたシーンの再生が終了すると、再生リストにおけるその再生が終了したシーン以降のシーンが順番に再生される。

また、例えば、再生しているシーンと同じ動画像ファイルのシーンのうち、再生しているシーンの開始時刻よりも遅い開始時刻のシーンがない場合、再生部２７は、開始時刻が、再生しているシーンの開始時刻に最も近いシーンから再生を開始する。そして、新たに再生が開始されたシーンの再生が終了すると、再生リストにおけるその再生が終了したシーン以降のシーンが順番に再生される。

さらに、ステップＳ１０４において、同じ動画像ファイルのシーンが再生リストにないと判定された場合、ステップＳ１０６に進み、管理部３２は、再生しているシーンの開始時刻よりも遅い開始時刻のシーンが再生リストに登録されているか否かを判定する。

ステップＳ１０６において、再生しているシーンの開始時刻よりも遅い開始時刻のシーンが登録されていると判定された場合、ステップＳ１０７に進む。ステップＳ１０７において、再生部２７は、再生しているシーンの開始時刻よりも遅い開始時刻のシーンのうち、再生しているシーンの開始時刻に最も開始時刻の近いシーンから順番に、再生リストに登録されているシーンを連続して再生し、シーンラベル変更処理は終了する。

一方、ステップＳ１０６において、再生しているシーンの開始時刻よりも遅い開始時刻のシーンが登録されていないと判定された場合、ステップＳ１０８に進み、再生部２７は、再生リストの先頭のシーンから順番に、再生リストに登録されているシーンを連続して再生し、シーンラベル変更処理は終了する。

このようにして、再生装置１１は、シーンの再生中にシーンラベルが変更されると、新たな再生リストを生成し、生成した再生リストに登録されているシーンのうち、現在再生しているシーンにより近い時刻のシーンから順番に再生する。

このように、新たな再生リストに登録されているシーンのうち、現在再生しているシーンにより近い時刻のシーンから順番に再生することによって、ユーザが視聴したいシーンをより効率よく再生することができる。また、再生しているシーンの切り替わりをできるだけユーザに感じさせないように、新たに選択されたシーンラベルのシーンの再生を開始することができる。

なお、以上においては、再生するシーンが登録された再生リストが生成されると説明したが、再生リストが生成されずに、選択されたシーンラベルのシーンが再生されるようにしてもよい。以下、図１７のフローチャートを参照して、再生リストを生成しない場合における、連続再生処理について説明する。

ステップＳ１３１において、抽出部３１は、ユーザにより選択されたシーンラベルのシーンメタデータを抽出して、抽出されたシーンメタデータをシーンの開始時刻順に並べ、シーンメタデータが開始時刻順に並べられた情報を管理部３２に供給する。

ステップＳ１３２において、管理部３２は、ユーザによる入力部２４の操作に基づいて、これから再生を開始するシーンを選択する。例えば、ユーザが入力部２４を操作して、図４に示したタイルインデックス１２１のサムネイル画像１３１−１を選択した場合、管理部３２は、サムネイル画像１３１−１により示されるシーンを、再生を開始するシーンとして選択する。

ステップＳ１３３において、再生装置１１は再生時刻変更処理を行い、連続再生処理は終了する。なお、再生時刻変更処理の詳細は後述するが、再生時刻変更処理において、再生装置１１は、ステップＳ１３１において抽出された各シーンメタデータのシーンの終了時刻を変更し、再生を開始するシーンとして選択されたシーンから開始時刻の早い順に、抽出されたシーンを連続して再生する。

このようにして、再生装置１１は抽出されたシーンの終了時刻を変更して、それらのシーンを順番に再生する。

次に、図１８のフローチャートを参照して、図１７のステップＳ１３３の処理に対応する処理である再生時刻変更処理について説明する。

ステップＳ１６１において、管理部３２は、再生の対象となるシーンのシーンメタデータを選択するための変数をＫとする。そして、管理部３２は、抽出部３１から供給された情報により示されるシーンメタデータのうち、ユーザにより選択されたシーンのシーンメタデータが並べられている順番を示す数を変数Ｋの値とする。

例えば、ユーザにより選択されたシーンのシーンメタデータが、抽出部３１から供給された情報により示されるシーンメタデータのうち、３番目に並べられているシーンメタデータである場合、管理部３２は変数Ｋの値をＫ＝３とする。

また、時刻管理部４１は、これまで再生したシーンの変更前の終了時刻のうち最も遅い時刻を示す変数をＴｍａｘとする。そして、時刻管理部４１は、Ｋ番目のシーンメタデータのシーンと同じ動画像ファイルに含まれている、Ｋ番目のシーンメタデータのシーンよりも開始時刻が早いシーンであって、最も遅い終了時刻のシーンの終了時刻を変数Ｔｍａｘの値とする。

その後、ステップＳ１６２の処理乃至ステップＳ１６９の処理が行われるが、これらの処理は、図１５のステップＳ６２の処理乃至ステップＳ６９の処理のそれぞれと同様であるのでその説明は省略する。

ステップＳ１６８またはステップＳ１６９において、シーンＳｋの終了時刻が変更されると、管理部３２は、シーンＳｋが含まれる動画像ファイルのビデオファイルＩＤ、シーンＳｋの開始時刻、およびシーンＳｋの変更された終了時刻を再生部２７に供給する。

ステップＳ１７０において、再生部２７は、シーンＳｋを再生する。すなわち、再生部２７は、管理部３２から供給されたビデオファイルＩＤにより特定される動画像ファイルを、動画像ファイル記録部２１から取得する。そして、再生部２７は、取得した動画像ファイルの動画像データのうち、管理部３２から供給された開始時刻から終了時刻までの区間の動画像データを、例えば、MPEG4、MPEG２などの所定の形式により復号し、これにより得られた動画像データを表示部２８に供給して表示させる。

なお、より詳細には、再生部２７は、管理部３２から供給されたシーンＳｋのビデオファイルＩＤ、開始時刻、および終了時刻を記憶しておき、現在再生しているシーンの再生が終了すると、次のシーンの再生を開始する。

ステップＳ１７１において、管理部３２は記憶している変数Ｋをインクリメントして処理はステップＳ１６２に戻り、上述した処理が繰り返される。

また、ステップＳ１６２において、Ｋ番目のシーンメタデータがないと判定された場合、すなわち抽出された全てのシーンが再生された場合、処理は終了する。

このようにして、再生装置１１はユーザにより選択されたシーンラベルのシーンメタデータを抽出し、抽出したシーンメタデータのシーンの終了時刻を必要に応じて変更して再生する。

このように、再生するシーンの終了時刻を必要に応じて変更することで、再生装置１１は、ユーザが視聴したいシーン、すなわちユーザにより選択されたシーンラベルのシーンをより効率よく再生することができる。

また、選択されたシーンラベルのシーンの再生中に、ユーザが図９に示した再生画面２５１のボタン２６５乃至ボタン２６７、およびチェックボックス２６８乃至チェックボックス２７３を操作してシーンラベルを変更すると、再生装置１１は、新たに選択されたシーンラベルに基づいて、新たに選択されたシーンラベルのシーンの再生を行う処理である、シーンラベル変更処理を行う。

以下、図１９のフローチャートを参照して、再生リストを生成しない場合における、再生装置１１によるシーンラベル変更処理について説明する。

ステップＳ２０１において、抽出部３１は、ユーザにより新たに選択されたシーンラベルのシーンメタデータを抽出して、抽出されたシーンメタデータをシーンの開始時刻順に並べ、シーンメタデータが開始時刻順に並べられた情報を管理部３２に供給する。

ステップＳ２０２において、管理部３２は、現在再生しているシーンのシーンラベルが、新たに選択されたシーンラベルであるか否かを判定する。例えば、管理部３２は、再生しているシーンのシーンメタデータが、抽出部３１から供給された情報に含まれている場合、再生しているシーンのシーンラベルが、新たに選択されたシーンラベルであると判定する。

ステップＳ２０２において、再生しているシーンのシーンラベルが、新たに選択されたシーンラベルであると判定された場合、ステップＳ２０３に進み、管理部３２は、再生の対象となるシーンのシーンメタデータを選択するための変数をＫとする。そして、管理部３２は、抽出部３１から供給された情報により示されるシーンメタデータのうち、現在再生しているシーンのシーンメタデータが並べられている順番を示す数を変数Ｋの値とする。

また、ステップＳ２０２において、再生しているシーンのシーンラベルが、新たに選択されたシーンラベルでないと判定された場合、ステップＳ２０４に進み、管理部３２は、シーンメタデータ記録部２３に記録されているシーンメタデータを参照して、再生しているシーンと同じ動画像ファイルのシーンのシーンメタデータが、抽出部３１から供給された情報に含まれているか否かを判定する。例えば、管理部３２は、抽出部３１から供給された情報に含まれているシーンメタデータのシーンのうち、再生しているシーンとビデオファイルＩＤが同じシーンがある場合、同じ動画像ファイルのシーンのシーンメタデータが含まれていると判定する。

ステップＳ２０４において、同じ動画像ファイルのシーンのシーンメタデータが含まれていると判定された場合、ステップＳ２０５に進み、管理部３２は、再生の対象となるシーンのシーンメタデータを選択するための変数をＫとする。そして、管理部３２は、再生しているシーンと同じ動画像ファイルのシーンのシーンメタデータのうち、再生しているシーンの開始時刻と最も開始時刻の近いシーンのシーンメタデータが並べられている順番を示す数を変数Ｋの値とする。

さらに、ステップＳ２０４において、同じ動画像ファイルのシーンのシーンメタデータが含まれていないと判定された場合、ステップＳ２０６に進み、管理部３２は、シーンメタデータ記録部２３に記録されているシーンメタデータを参照して、再生しているシーンの開始時刻よりも遅い開始時刻のシーンのシーンメタデータが、抽出部３１から供給された情報に含まれているか否かを判定する。

ステップＳ２０６において、再生しているシーンの開始時刻よりも遅い開始時刻のシーンのシーンメタデータが含まれていると判定された場合、ステップＳ２０７に進む。ステップＳ２０７において、管理部３２は、再生の対象となるシーンのシーンメタデータを選択するための変数をＫとする。そして、管理部３２は、抽出部３１から供給された情報に含まれているシーンメタデータのシーンであって、再生しているシーンの開始時刻よりも遅い開始時刻のシーンのうち、再生しているシーンの開始時刻に最も開始時刻の近いシーンのシーンメタデータが並べられている順番を示す数を変数Ｋの値とする。

一方、ステップＳ２０６において、再生しているシーンの開始時刻よりも遅い開始時刻のシーンのシーンメタデータが含まれていないと判定された場合、ステップＳ２０８に進み、管理部３２は、再生の対象となるシーンのシーンメタデータを選択するための変数ＫをＫ＝１とする。

ステップＳ２０３、ステップＳ２０５、ステップＳ２０７、またはステップＳ２０８において、変数Ｋが定められると、ステップＳ２０９において、再生装置１１は、再生時刻変更処理を行い、シーンラベル変更処理は終了する。なお、この再生時刻変更処理は、図１８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。

また、この再生時刻変更処理のステップＳ１７０において変数Ｋに対応するシーンＳｋの再生が開始されるまで、ユーザによりシーンラベルが選択し直されるまで再生していたシーンが継続して再生される。さらに、新たに定められた変数Ｋに対応するシーンＳｋが、シーンラベルが選択し直されるまで再生していたシーンと同じである場合、すなわちステップＳ２０２からステップＳ２０３に進んだ場合、そのシーンＳｋの終了時刻となるまで、再生しているシーンが継続して再生される。

このようにして、再生装置１１は、シーンの再生中にシーンラベルが変更されると、新たに選択されたシーンラベルのシーンのうち、現在再生しているシーンにより近い時刻のシーンから順番に再生する。

このように、新たに選択されたシーンラベルのシーンのうち、現在再生しているシーンにより近い時刻のシーンから順番に再生することによって、ユーザが視聴したいシーンをより効率よく再生することができる。また、再生しているシーンの切り替わりをできるだけユーザに感じさせないように、新たに選択されたシーンラベルのシーンの再生を開始することができる。

以上のように、再生するシーンの終了時刻を必要に応じて変更するようにしてので、ユーザが視聴したいシーンをより効率よく再生することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ４０１のCPU（Central Processing Unit）４１１は、ROM（Read Only Memory）４１２、または記録部４１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４１３には、CPU４１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU４１１、ROM４１２、およびRAM４１３は、バス４１４により相互に接続されている。

CPU４１１にはまた、バス４１４を介して入出力インターフェース４１５が接続されている。入出力インターフェース４１５には、キーボード、マウス、マイクロホンなどよりなる入力部４１６、ディスプレイ、スピーカなどよりなる出力部４１７が接続されている。CPU４１１は、入力部４１６から入力される指令に対応して各種の処理を実行する。そして、CPU４１１は、処理の結果を出力部４１７に出力する。

入出力インターフェース４１５に接続されている記録部４１８は、例えばハードディスクからなり、CPU４１１が実行するプログラムや各種のデータを記録する。通信部４１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部４１９を介してプログラムを取得し、記録部４１８に記録してもよい。

入出力インターフェース４１５に接続されているドライブ４２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部４１８に転送され、記録される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVDを含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４３１、または、プログラムが一時的もしくは永続的に格納されるROM４１２や、記録部４１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部４１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した再生装置の構成例を示すブロック図である。 動画像から抽出されるシーンを説明するための図である。 シーンメタデータの一例を示す図である。 タイルインデックスの一例を示す図である。 タイルインデックスの一例を示す図である。 リストインデックスの一例を示す図である。 インデックス表示処理を説明するフローチャートである。 シーンの再生について説明する図である。 再生画面の一例を示す図である。 フィルムロールへのサムネイル画像の表示を説明する図である。 シーンのスキップについて説明する図である。 再生中におけるシーンラベルの選択について説明する図である。 再生するシーンの終了時刻の変更について説明する図である。 連続再生処理を説明するフローチャートである。 再生リスト生成処理を説明するフローチャートでる。 シーンラベル変更処理を説明するフローチャートである。 連続再生処理を説明するフローチャートである。 再生時刻変更処理を説明するフローチャートである。 シーンラベル変更処理を説明するフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１１ 再生装置， ２１ 動画像ファイル記録部， ２３ シーンメタデータ記録部， ２５ 制御部， ２６ インデックス表示制御部， ２７ 再生部， ２８ 表示部， ３１ 抽出部， ３２ 管理部， ４１ 時刻管理部

Claims (6)

1. 動画像に含まれる複数のシーンのそれぞれを、シーンの開始時刻から終了時刻まで、開始時刻が早い順に連続して再生する再生装置において、
   動画像から抽出された複数のシーンであって、第１のシーンおよび前記第１のシーンと連続して再生される第２のシーンを含む所定の条件を満たすシーンを選択する選択手段と、
   前記第１のシーンまたは前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第１のシーンの直後に再生される前記第２のシーンの開始時刻よりも遅い時刻である場合、前記第１のシーンの終了時刻を前記第２のシーンの開始時刻に変更し、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第２のシーンの開始時刻よりも早い時刻である場合、前記第１のシーンの終了時刻を、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻のうち、最も遅い時刻に変更する変更手段と、
   選択された前記所定の条件を満たすシーンを連続して再生するとともに、再生しているシーンが満たす前記所定の条件を表すアイコンを表示させる再生手段と
   を備える再生装置。
2. 動画像に含まれるシーンの撮影が開始された時刻がそのシーンの開始時刻とされ、そのシーンの撮影が終了した時刻が終了時刻とされる
   請求項１に記載の再生装置。
3. 前記選択手段は、前記所定の条件を満たすシーンの再生中に、前記所定の条件が変更された場合、変更された新たな条件を満たすシーンを選択し直す
   請求項１に記載の再生装置。
4. 前記再生手段は、現在再生しているシーンが新たに選択し直されたシーンに含まれている場合、再生しているシーンの終了後、そのシーンの開始時刻よりも開始時刻が遅いシーンであって、新たに選択し直されたシーンを開始時刻が早い順に連続して再生する
   請求項３に記載の再生装置。
5. 動画像に含まれる複数のシーンのそれぞれを、シーンの開始時刻から終了時刻まで、開始時刻が早い順に連続して再生する再生方法において、
   動画像から抽出された複数のシーンであって、第１のシーンおよび前記第１のシーンと連続して再生される第２のシーンを含む所定の条件を満たすシーンを選択し、
   前記第１のシーンまたは前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第１のシーンの直後に再生される前記第２のシーンの開始時刻よりも遅い時刻である場合、前記第１のシーンの終了時刻を前記第２のシーンの開始時刻に変更し、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第２のシーンの開始時刻よりも早い時刻である場合、前記第１のシーンの終了時刻を、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻のうち、最も遅い時刻に変更し、
   選択された前記所定の条件を満たすシーンを連続して再生するとともに、再生しているシーンが満たす前記所定の条件を表すアイコンを表示させる
   ステップを含む再生方法。
6. 動画像に含まれる複数のシーンのそれぞれを、シーンの開始時刻から終了時刻まで、開始時刻が早い順に連続して再生する再生処理をコンピュータに実行させるプログラムにおいて、
   動画像から抽出された複数のシーンであって、第１のシーンおよび前記第１のシーンと連続して再生される第２のシーンを含む所定の条件を満たすシーンを選択し、
   前記第１のシーンまたは前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第１のシーンの直後に再生される前記第２のシーンの開始時刻よりも遅い時刻である場合、前記第１のシーンの終了時刻を前記第２のシーンの開始時刻に変更し、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻が、前記第２のシーンの開始時刻よりも早い時刻である場合、前記第１のシーンの終了時刻を、前記第１のシーンおよび前記第１のシーンよりも前に再生されるシーンの終了時刻のうち、最も遅い時刻に変更し、
   選択された前記所定の条件を満たすシーンを連続して再生するとともに、再生しているシーンが満たす前記所定の条件を表すアイコンを表示させる
   ステップを含むプログラム。

Images