JP4253139B2 - フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 - Google Patents
フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 Download PDFInfo
- Publication number
- JP4253139B2 JP4253139B2 JP2001200220A JP2001200220A JP4253139B2 JP 4253139 B2 JP4253139 B2 JP 4253139B2 JP 2001200220 A JP2001200220 A JP 2001200220A JP 2001200220 A JP2001200220 A JP 2001200220A JP 4253139 B2 JP4253139 B2 JP 4253139B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- frame
- original video
- video
- display time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタルコンテンツ、例えば映像コンテンツを特殊再生するためのフレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、動画像をディジタル映像として圧縮し、ＤＶＤやＨＤＤに代表されるディスクメディアに格納することによって、映像をランダム再生できる環境が整った。この環境では、あらかじめ定められた場所から、待ち時間がほとんどない状態で途中再生が可能である。従来のテープメディアと同様に２〜４倍速の早回しおよび逆回しも可能である。
【０００３】
【発明が解決しようとする課題】
しかしながら、映像は長時間の場合が多く、２〜４倍速の再生でも全ての内容を視聴するには、時間が十分短縮されない問題があった。倍速再生を大きくすると、画面の変化が視聴能力以上に大きくなって内容把握が困難であったり、本来内容を把握するにはあまり重要でない部分においても、倍速再生が行われたりして無駄な場合がある。
【０００４】
このような問題は映像コンテンツに限らず、音・テキストからなるコンテンツ、あるいはマルチメディアコンテンツにも当てはまる。
【０００５】
本発明の目的は、利用者にとってより効果的な特殊再生を可能とするフレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体に関する。
【０００６】
【課題を解決するための手段】
上記した課題を解決し目的を達成するために、本発明は以下に示す手段を用いている。
【０００７】
本発明の一態様によるフレーム情報記述方法は、元映像データの特殊再生のためのフレーム情報を記述する方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの位置を特定する第１情報を記述するステップと、
該画像ファイルの画像データの表示時間に関する第２情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法である。
本発明の他の態様によるフレーム記述方法は、元映像データの特殊再生のためのフレーム情報を記述する方法であって、
元映像データの時間的区間内の複数のフレームから抽出したフレームの該元映像データ中における位置を特定する第１情報を記述するステップと、
該抽出フレームの表示時間に関する第２情報を記述するステップと、
前記時間的区間を特定する第３情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法である。
本発明の他の態様によるコンピュータ読取り可能な記録媒体は、コンピュータに、元映像データの特殊再生のために元映像データから抽出したフレームを表示させるプログラムを格納するコンピュータ読取り可能な記録媒体において、前記プログラムは
該抽出フレームに対応する画像データからなる画像ファイルの前記元映像データ中における位置を特定する第１情報に基づいてコンピュータに元映像データの複数のフレームから該抽出フレームを抽出させる第１プログラムコードと、
該画像ファイルの画像データの表示時間に関する第２情報に基づいてコンピュータに該抽出フレームを該表示時間だけ表示させる第２プログラムコードと、
を具備することを特徴とする記録媒体である。
本発明の他の態様によるフレーム情報記述装置は、元映像データの特殊再生のためのフレーム情報を記述する装置であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データから画像ファイルの該元映像データ中における位置を特定する第１情報を記述する手段と、
該画像ファイルの画像データの表示時間に関する第２情報を記述する手段と、
を具備することを特徴とするフレーム情報記述装置である。
本発明の他の態様によるフレーム情報生成方法は、元映像データの特殊再生のためのフレーム情報を生成する方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報を生成するステップと、
該画像ファイルの画像データの表示時間に関する第２情報を生成するステップと、
を具備することを特徴とするフレーム情報生成方法である。
本発明の他の態様による映像再生装置は、元映像データの特殊再生のための映像再生装置であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照する手段と、
前記第１情報に基づいて前記抽出フレームの元映像データを取得する手段と、
前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定する手段と、
取得された前記元映像データを決定された前記表示時間再生する手段と、
を具備することを特徴とする映像再生装置である。
本発明の他の態様による映像再生方法は、元映像データの特殊再生のための映像再生方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照するステップと、
前記第１情報に基づいて前記抽出フレームの元映像データを取得するステップと、
前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定するステップと、
取得された前記元映像データを決定された前記表示時間再生するステップと、
を具備することを特徴とする映像再生方法である。
本発明の他の態様によるコンピュータ読取り可能な記録媒体は、元映像データの特殊再生のために元映像データから抽出したフレームを表示する映像再生プログラムを格納するコンピュータ読取り可能な記録媒体において、前記映像再生プログラムは
コンピュータに元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照させるプログラムコードと、
コンピュータに前記第１情報に基づいて前記抽出フレームの元映像データを取得させるプログラムコードと、
コンピュータに前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定させるプログラムコードと、
コンピュータに取得された前記元映像データを決定された前記表示時間再生させるプログラムコードと、
を具備することを特徴とする記録媒体である。
本発明の他の態様によるフレーム情報記述方法は、元映像データの特殊再生のためのフレーム情報を記述する方法であって、
複数の元映像データのそれぞれ複数のフレームから抽出したフレームの該元映像を特定する第１情報を記述するステップと、
前記抽出したフレームの該元映像データ中における位置を特定する第２情報を記述するステップと、
該抽出フレームより生成された複数の画像データを格納した画像データ群格納ファイルの位置を示す第３情報を記述するステップと、
前記画像データ群格納ファイルにおける画像データの位置を示す第４情報を記述するステップと、
該抽出フレームの表示時間に関する第５情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法である。
【００３１】
本発明によれば、利用者にとってより効果的な特殊再生を可能とするフレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体が提供される。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００３３】
本発明は全てのディジタルコンテンツに関するが、実施形態として映像データを有する映像コンテンツの再生を説明する。映像データは、動画像を構成する映像フレームの集合（映像フレーム群）からなっているものとする。
【００３４】
最初に、本実施形態において重要な役割を果たす特殊再生制御情報について説明する。
【００３５】
特殊再生制御情報は、対象となる映像データの特殊再生のための制御情報であって、特殊再生制御情報生成装置により、当該映像データをもとにして作成され、当該映像データに付与される、あるいは関連付けられる制御情報である。特殊再生は、通常再生以外の方法による再生であり、例えば、倍速再生（あるいは高速再生）、飛び越し再生（あるいは飛び越し連続再生）、トリック再生等がある。トリック再生には、例えば、入れ替え再生、重複再生、スロー再生等、様々な種類がある。特殊再生制御情報は、例えば映像データを再生する映像再生装置において特殊再生を行う際に参照される。
【００３６】
図１に、特殊再生の対象となる映像データをもとにして作成される特殊再生制御情報の基本的なデータ構造の一例を示す。
【００３７】
このデータ構造は、複数のフレーム情報ｉ（ｉ＝１〜Ｎ）を元映像データにおけるフレーム出現順序と対応付けて記述したもので、各フレーム情報は、特殊再生時に表示すべき元映像（１枚のフレーム、または複数枚の連続するフレーム群、もしくは複数枚の近接するフレーム群すなわち複数枚の連続するフレームのうちの一部分からなるフレーム群）の所在を示す情報を含む映像位置情報１０１と、その元映像についての特殊再生時に表示すべき表示時間を示す情報およびまたは表示時間を算出する基となる情報を含む表示時間制御情報１０２の組を含む。
【００３８】
図１は、フレーム情報ｉを映像データにおけるフレーム出現順序で配列して記述したものであるが、フレーム情報ｉ内にそのフレーム情報の順序を示す情報を記述すれば、フレーム情報ｉをどのような順番で配列して記述しても構わない。
【００３９】
これらの複数のフレーム情報ｉからなるフレーム情報群に添付される再生倍率情報１０３は、特殊再生の再生速度の倍率を示し、フレーム情報に記述されている表示時間そのままではなく、フレームの表示時間を短縮し、数倍の速度で再生することを指定するために用いる。ただし、再生倍率情報１０３は必須の情報ではない。常に添付する構成と、常に添付しない構成と、添付するかどうかを個別的に選択可能とする構成とがある。再生倍率情報１０３が添付されていても特殊再生において必ずしもこれを用いなくても構わない。常に用いる構成と、常に用いない構成と、用いるかどうかを個別的に選択可能とする構成とがある。
【００４０】
図１において、フレーム情報群に対して再生倍率情報と共に、または再生倍率情報に代えて更に他の制御情報を付加する構成も可能である。図１において、各フレーム情報ｉに更に他の制御情報を付加する構成も可能である。それらの場合において、映像再生装置側では特殊再生制御情報に含まれる各々の情報を全て使用してもよいし、それらの一部の情報のみを使用してもよい。
【００４１】
図２に、このような特殊再生制御情報の生成装置の構成例を示す。
【００４２】
図２に示されるように、この特殊再生制御情報生成装置は、映像データ記憶部２、映像位置情報処理部１１および表示時間制御情報処理部１２を含む映像データ処理部１、特殊再生制御情報記憶部３を備えている。詳しくは後述するが、図２の構成では、映像データを表示する場合は、元映像データ（符号化されている）をデコードして画像データとしてから表示するので、表示が指示されてから実際に画像が表示されるまでに、デコードのための処理時間がかかる。この時間を短縮するために、特殊再生に使う映像データを予めデコードしておき、画像データファイルを記憶しておく方法が考えられる。このような画像データファイルを用いる場合（常に画像データファイルを用いる形態をとる場合、または画像データファイルを用いるかどうか選択可能とする形態をとる場合）には、図３に示すように、映像データ処理部１内に画像データファイル作成部１３を更に備え、映像データ処理部１に画像データファイル記憶部４を接続する。特殊再生制御情報に映像データをもとにして求めた他の制御情報を付加する場合には、適宜、映像データ処理部１内に該当する機能が追加される。
【００４３】
本処理においてユーザの操作を介入させる形態をとる場合には、例えば映像データをフレーム単位で表示させ、ユーザの指示入力等を受け付けるなどの機能を提供するＧＵＩが用いられる（図２や図３では省略している）。
【００４４】
図２、図３においては、ＣＰＵやメモリ、必要に応じて設けられる外部記憶装置やネットワーク通信装置、必要に応じて使用されるドライバソフトやＯＳ等のソフトウェアについては省略している。
【００４５】
映像データ記憶部２は、特殊再生制御情報、または特殊再生制御情報および画像データファイルを生成する処理対象となる映像データを記憶するためのものである。
特殊再生制御情報記憶部３は、生成された特殊再生制御情報を記憶するためのものである。
【００４６】
画像データファイル記憶部４は、画像データファイル作成部１３により作成された画像データファイルを記憶するためのものである。
【００４７】
映像データ記憶部２、特殊再生制御情報記憶部３、画像データファイル記憶部４はいずれも、例えばハードディスクや光ディスクや半導体メモリなどで構成される。映像データ記憶部２、特殊再生制御情報記憶部３、画像データファイル記憶部４は、別々の記憶装置によって構成されていてもよいが、それらの全部または一部が同一の記憶装置によって構成されていてもよい。
【００４８】
映像データ処理部１は、処理対象となる映像データをもとにして、特殊再生制御情報（または特殊再生制御情報および画像データファイル）を生成するためのものである。
【００４９】
映像位置情報処理部１１は、特殊再生時に表示すべきもしくは表示可能な映像フレーム（群）を決定（抽出）し、各フレーム情報ｉに記述すべき情報１０１を作成する処理を行う。
【００５０】
表示時間制御情報処理部１０２は、各フレーム情報に係る映像フレーム（群）の表示時間に関係する情報１０２を作成する処理を行う。
【００５１】
画像データファイル作成部１３は、映像データから各画像データファイルを作成する処理を行う。
【００５２】
特殊再生制御情報生成装置は、例えば、計算機上でソフトウェアを実行する形で実現することができる。特殊再生制御情報生成のための専用の装置として実現してもよい。
【００５３】
図４に、図２の構成の場合の制御情報生成手順の一例を示す。記憶部２から映像データを読み込み（ステップＳ１１）、映像位置情報を作成し（ステップＳ１２）、表示時間制御情報を作成し（ステップＳ１３）、映像位置情報、表示時間制御情報からなる特殊再生制御情報を記憶部３に保存する（ステップＳ１４）。図４の手順は、各フレーム情報ごとに逐次行ってもよいし、各処理をバッチ的に行ってもよい。その他の手順も可能である。
【００５４】
図５に、図３の構成の場合の制御情報生成手順の一例を示す。図４の手順に対して、さらに画像データファイルを作成し保存する手順が加わっている（ステップＳ２２）。ここでは、画像データファイルの作成およびまたは保存は映像位置情報の作成とともに行なっているが、図５とは異なるタイミングで行うことも可能でである。図４の場合と同様、図５の手順は、各フレーム情報ごとに逐次行ってもよいし、各処理をバッチ的に行ってもよい。その他の手順も可能である。
【００５５】
次に、図６に、映像再生装置の構成例を示す。
【００５６】
図６に示されるように、この映像再生装置は、制御部２１、通常再生処理部２２、特殊再生処理部２３、表示部２４、コンテンツ記憶部２５を備えている。映像データに音声などの音（Ａｕｄｉｏ）が付加されているコンテンツを扱う場合には、音声出力部を備えていることが望ましい。映像データにテキストデータが付加されているコンテンツを扱う場合には、テキストは表示部２４に表示してもよいし、音声出力部から出力させることも可能である。プログラムが添付されているコンテンツを扱う場合には、添付プログラム実行部を設けるようにしても良い。
【００５７】
コンテンツ記憶部２５には、少なくとも映像データと特殊再生制御情報が記憶されている。詳しくは後述するように、画像データファイルを用いる形態をとる場合には、更に画像データファイルが記憶されている。音声データやテキストデータや添付プログラムが更に記憶されていることもある。
【００５８】
コンテンツ記憶部２５は、一箇所に集中配置されていても、複数箇所に分散配置されていてもよく、要は通常再生処理部２２や特殊再生処理部２３でアクセスすることができればよい。映像データや特殊再生制御情報や画像データファイルや音声データやテキストデータや添付プログラムは、別々の媒体に格納されていてもよいし、同一の媒体に格納されていてもよい。媒体としては、例えばＤＶＤなどが用いられる。それらはネットワークを介して伝送されるデータであってもよい。
【００５９】
制御部２１は、基本的には、ＧＵＩ等のユーザ・インタフェースを介してユーザからコンテンツに対する通常再生や特殊再生などの指示を受け、該当する処理部分に、指定されたコンテンツについての指定された方法による再生を指示するなどの制御を行う。
【００６０】
通常再生処理部２２は、指定されたコンテンツを通常再生するためのものである。
【００６１】
特殊再生処理部２３は、指定されたコンテンツについて、特殊再生制御情報を参照して、指定された内容の特殊再生（例えば、倍速再生、飛び越し再生、トリック再生等）を行うためのものである。
【００６２】
表示部２４は、映像を表示するためのものである。
【００６３】
映像再生装置は、例えば、計算機上でソフトウェアを実行する形で実現することができる（もちろん、一部分に、ハードウェアを用いてもよい（例えば、デコードボード（ＭＰＥＧ−２デコーダ）など））。映像再生のための専用の装置として実現してもよい。
【００６４】
図７に、図６の映像再生装置の再生処理手順の一例を示す。ステップＳ３１でユーザから要求されたのは通常再生か特殊再生かを判断する。通常再生の要求があった場合は、ステップＳ３２で指定された映像データを読み込み、ステップ３３で通常再生を行う。ユーザから特殊再生の要求があった場合は、ステップＳ３４で指定された映像データに対応する特殊再生制御情報を読み込み、ステップ３５で表示すべき映像の位置の特定と、表示時間の決定を行い、ステップ３６で該当するフレーム（群）を映像データ中（または画像データファイル）から読み込み、ステップ３７で指定された内容の特殊再生を行う。表示すべき映像の位置の特定およびまたは表示時間の決定は、図７とは異なるタイミングで行うことも可能である。図７の特殊再生の手順は、各フレーム情報ごとに逐次行ってもよいし、各処理をバッチ的に行ってもよい。その他の手順も可能である。例えば、各フレームの表示時間を等しく一定の値にするような再生方法の場合には、表示時間の決定は行われない。
【００６５】
通常再生と特殊再生のいずれにおいても、ユーザが種々の指定（例えば、コンテンツにおける再生開始点およびまたはコンテンツにおける再生終了点、倍速再生における再生速度、倍速再生における再生時間、その他の特殊再生の方法、等）を要求できるようにするとより効果的である。
【００６６】
次に、特殊再生制御情報のフレーム情報の生成のアルゴリズムや、特殊再生時の表示時間の決定のアルゴリズムなどについて、概略的に説明する。
【００６７】
フレーム情報の生成時には、映像データのうちから特殊再生で使用するフレームの決定、映像位置情報の作成、表示時間制御情報の作成が行われる。
【００６８】
フレームの決定は、（１）当該映像データについての何らかの特徴量に基づいて行う方法（例えば、隣接フレーム間の特定の特徴量（例えば、フレーム間の画面変化量）が各抽出フレーム間でその総和が一定になるようにする方法、各抽出フレーム間での全フレームの重要度の総和が一定になるようにする方法）、（２）画一的な基準により行う方法（例えば、ランダムに抽出する方法、等間隔に抽出する方法）、などがある。
【００６９】
表示時間制御情報の作成には、（ｉ）表示時間または表示フレーム数の絶対値または相対値を求める方法、（ii）表示時間または表示フレーム数の基準となる情報（例えば、ユーザ指定、映像中の文字、映像に同期した音、映像中の人、あるいは映像中の特定パターン等に基づいて得られる重要度）を求める方法、（iii ）上記の（ｉ）と（ii）の両方を記述する方法、などがある。
【００７０】
（１）または（２）と、（ｉ）または（ii）または（iii ）とは、適宜組み合わせることが可能である。もちろん、それ以外の方法も可能である。それらのうちの特定の１つの組み合わせのみ可能としてもよいし、それらのうちの複数の組み合わせを可能とし、適宜選択できるようにしてもよい。
【００７１】
特殊な場合として、（１）の方法でのフレームの決定と同時に（ｉ）の表示時間または表示フレーム数の相対値が求まる方法がある。常にこの方法を用いる場合には、表示時間制御情報処理部１０２を省くことも可能である。
【００７２】
特殊再生時には、フレーム情報に含まれる（i）または（ii）または（iii）の表示時間制御情報を参照して行うことを想定しているが、記述されている値に従うようにしてもよいし、記述されている値を修正して使うようにしてもよいし、記述されている値またはこれを修正した値に加えて独自に用意した他の情報やユーザから入力された情報をも使うようにしてもよいし、独自に用意した他の情報やユーザから入力された情報のみをも使うようにしてもよい。それらのうちの複数の方法を可能とし、適宜選択できるようにしてもよい。
【００７３】
次に、特殊再生の概略について説明する。
【００７４】
倍速再生（あるいは高速再生）は、映像データ・コンテンツを構成する全フレームのうちの一部のフレームを再生することによって、もとのコンテンツを通常再生するのに要する時間より短い時間で再生を行うものである。例えば、フレーム情報で示されるフレームを、フレーム情報で示される表示時間ずつ、その時系列順に表示する。ユーザから、もとのコンテンツを通常再生する速度の何倍で再生するか（もとのコンテンツを通常再生するのに要する時間の何分の一の時間で再生するか）を指定する倍速指定や、どのくらいの時間をかけて再生するかを指定する時間指定などの要求を受け付け、該要求を満たすように各フレーム（群）の表示時間を求めて再生するようにしてもよい。そのため、この倍速再生は要約再生とも称する。
【００７５】
飛び越し再生（あるいは飛び越し連続再生）は、倍速再生において、例えば後述する再生／非再生情報に基づいて、フレーム情報で示されるフレームの一部を非再生とする。フレーム情報で示されるフレームのうち非再生とされたフレームを除いたフレームについて倍速再生するものである。
【００７６】
トリック再生は、通常再生以外の再生から、上記の倍速再生および飛び越し再生を除いたものである。例えば、フレーム情報で示されるフレームを再生する際に、ある部分について時系列順を入れ替えて再生する入れ替え再生、フレーム情報で示されるフレームを再生する際に、ある部分については複数回繰り返し再生する重複再生、フレーム情報で示されるフレームを再生する際に、ある部分については、他の部分より低速に再生し（通常再生時の速度にする場合と、通常再生時より低速にする場合とを含む）、あるいは他の部分より高速に再生し、あるいは一定時間表示して静止させ、あるいはそれらを適宜組み合わせる変速再生、フレーム情報で示されるフレームの一定の纏まりごとに時系列をランダムにして再生するランダム再生など、様々な形態のものが考えられる。
【００７７】
もちろん、複数種類の方法を適宜組み合わせたものも可能である。例えば、倍速再生時に、重要な部分については、複数回再生するとともに、再生速度を通常再生速度とする方法など、多彩なバリエーションが考えられる。
【００７８】
以下、本実施形態についてより具体的に詳しく説明する。
【００７９】
まず、フレームの決定のための画像データの特性値として隣接フレーム間の画面変化量を用いる場合を例にとって説明する。
【００８０】
ここでは、１つのフレーム情報に、１つのフレームを対応させる場合について説明する。
【００８１】
図８に、対象となる映像データをもとにして作成される、特殊再生制御情報のデータ構造の一例を示す。
【００８２】
このデータ構造は、図１における表示時間制御情報１０２として（または表示時間制御情報１０２の代わりに）、絶対的なまたは相対的な表示時間を示す情報である表示時間情報１２１を記述するようにしたものである。表示時間制御情報１０２に重要度を記述する構成などについては後で説明する。
【００８３】
映像位置情報１０１は、当該映像の元映像フレームにおける位置を特定可能とする情報であり、フレーム番号（例えば先頭フレームからのシーケンス番号）やタイムスタンプなどのようにストリーム内の１フレームを特定できるものならどのようなものを用いても構わない。元映像ストリームから抜き出したフレームに対応する画像データを別ファイルとする場合は、そのファイル位置を特定する情報としてＵＲＬなどを用いてもよい。
【００８４】
表示時間情報１２１は、当該映像を表示する時間あるいはフレーム数を特定可能とする情報であり、実際に時間あるいはフレーム数を単位として記述する方法と、他のフレーム情報に記述されている表示時間情報との相対的な時間の長さの関係がわかるような相対値（例えば正規化された数値）を記述する方法とがある。後者の場合は、全体の総再生時間から、各映像の実際の再生時間を算出することになる。各映像について、表示の継続時間を記述するのではなく、特定のタイミングを起点とした（例えば最初の映像の開始時間を０とした）開始時間と終了時間の組み合わせでの記述や、開始時間と継続時間の組み合わせでの記述を用いてもよい。
【００８５】
特殊再生では、映像位置情報１０１により特定される位置に存在する映像を、表示時間情報１２１により特定される表示時間だけ再生することを、配列に含まれるフレーム情報の数だけ逐次行うことを基本とする。
【００８６】
開始時間と終了時間又は継続時間が指定されており、かつ、この指定に従う場合には、映像位置情報１０１により特定される位置に存在する映像を、表示時間情報１２１により特定される開始時間から終了時間まで再生することを、配列に含まれるフレーム情報の数だけ逐次行うことを基本とする。
【００８７】
再生倍率などのパラメータや、別の付加情報を用いることにより、記述された表示時間を加工して再生することも可能である。
【００８８】
次に、図９〜図１１を用いて、映像の位置情報の記述方法を説明する。
【００８９】
図９は、元映像フレームを参照する映像位置情報の記述方法を説明する図である。
【００９０】
図９において、時間軸２００は、特殊再生のためのフレーム情報を作成する対象となる元映像ストリームに対応し、画像２０１は映像ストリーム中の記述対象となる１フレームに対応する。時間軸２０２は、元映像ストリームから抜き出した画像２０１を使って特殊再生を行うときの映像の再生時間に対応し、表示時間２０３はその中に含まれる１つの画像２０１に対応する区間である。この場合には、例えば、画像２０１の位置を示す映像位置情報１０１と、表示時間２０３の長さを示す映像表示時間１２１との組がフレーム情報として記述される。前述のように、画像２０１の位置の記述はフレーム番号やタイムスタンプなど、元映像ストリーム内の１フレームを特定できるものならなんでもよい。このフレーム情報が他の画像についても同様に記述される。
【００９１】
図１０は、画像データファイルを参照する映像位置情報の記述方法を説明する図である。
【００９２】
図９によって示される映像位置情報の記述方法は、特殊再生を行おうとする元映像データ内のフレームを直接参照するものであったが、図１０によって示される映像位置情報の記述方法は、元映像ストリームから抜き出した単一フレーム３０２に対応する画像データ３００を別のファイルに用意し、その位置を記述するものである。ファイル位置の記述方法は、例えば、ＵＲＬなどを用いることにより、ローカルな記憶装置上に存在する場合でも、ネットワーク上に存在する場合でも同様に扱うことが可能である。この画像データファイルの位置を示す映像位置情報１０１と、対応する表示時間３０１の長さを示す映像表示時間１２１との組をフレーム情報として記述する。
【００９３】
元映像フレームとの対応が必要な場合は、記述したフレーム情報に対応する元映像の単一フレーム３０２を示す情報（例えば図９の場合における映像位置情報と同様のもの）をフレーム情報に含めればよい。この場合、フレーム情報は、映像位置情報、表示時間情報、元映像情報より構成されることとなる。もちろん、元映像情報は、必要がなければ記述する必要はない。
【００９４】
図１０の方法によって記述される画像データの形態は、特に制約はないが、例えば、元映像のフレームをそのまま用いたり、縮小して用いたりするようにしてもよい。これは、元映像を展開する必要がないので、高速に再生処理を行うためにも有効である。
【００９５】
縮小画像の作成は、元映像ストリームがＭＰＥＧ−１やＭＰＥＧ−２などによって圧縮されている場合には、そのストリームを部分的に復号するだけで、高速に作成することができる。この手法は、フレーム内符号化されているＩピクチャフレーム（フレーム内符号化フレーム）のＤＣＴ（離散コサイン変換）係数のみを復号し、その直流成分を用いることによって、縮小画像を作成する。
【００９６】
図１０の記述方法では、画像データをそれぞれ別のファイルに格納していたが、これらのファイルはランダムアクセス可能な映像フォーマット（例えば、ＭｏｔｉｏｎＪＰＥＧ）を持つ画像データ群格納ファイルにまとめて格納してもよい。この場合、画像データの位置は、画像データ群格納ファイルの位置を示すＵＲＬおよび画像データ群格納ファイル内での位置を示すフレーム番号またはタイムスタンプの組み合わせによって記述される。画像データ群格納ファイルの位置を示すＵＲＬ情報は、個々のフレーム情報内に記述してもよいし、フレーム情報の配列外に付加情報として記述してもよい。
【００９７】
元映像のどのフレームを選択して画像データを作成して映像位置情報に記述するかについては、様々な方法をとることができる。例えば、元映像から等間隔に画像データを抽出してもよいし、画面の動きの多いところは狭い間隔で多くの画像データを抽出し、動きの少ないところは広い間隔で少ない画像データを抽出してもよい。
【００９８】
図１１を参照しながら、フレーム選択方法の一例として、画面の動きに応じて、画面の動きの多いところは狭い間隔で多くの画像データを抽出し、動きの少ないところは広い間隔で少ない画像データを抽出する方法について説明する。
【００９９】
図１１において、横軸はフレーム番号を表し、曲線８００は（隣接フレーム間の）画面変化量の変化を表している。各フレームの画面変化量の算出方法は、後述する表示時間情報を求める際の手法と同様である。ここでは、画面の動きに応じて抽出間隔を決定するために、画像データ抽出元の映像フレーム間の画像変化量が一定となるような間隔を求める方法を示す。画像データ抽出元の映像フレーム間の画面変化量の合計をＳｉ、全フレームの画面変化量の総和をＳ（＝ΣＳｉ）とし、抽出する画像データ数をｎとする。画像データ抽出元フレーム間の画像変化量を一定にするには、Ｓｉ＝Ｓ／ｎとなればよい。図１１では、画面変化量の曲線８００が破線によって区切られた区間の面積Ｓｉが一定になることに対応する。そこで、例えば、先頭フレームより、順次画面変化量を加算し、その値がＳ／ｎを超えたフレームを画像データ抽出元の映像フレームＦｉとする。
【０１００】
ＭＰＥＧのＩピクチャフレームより画像データを生成する場合には、算出された画像データ作成元フレームがＩピクチャであるとは限らないので、近傍のＩピクチャフレームより、画像データを作成する。
【０１０１】
ところで、図１１で説明した方法においては、画面変化量＝０の区間に属する映像は、スキップされることになる。しかし、例えば静止画像が継続する場合には、重要な場面であることも多い。そこで、画面変化量＝０が一定時間以上経過した場合には、そのときのフレームを抜き出すようにしてもよい。この場合においては、例えば、先頭フレームより、順次画面変化量を加算し、その値がＳ／ｎを超えたフレーム、または画面変化量＝０が一定時間以上経過したフレームを画像データ抽出元の映像フレームＦｉとするようにしてもよい。画面変化量＝０が一定時間以上経過してフレームを抽出したときに、画面変化量の加算値を０にクリアする方法と、クリアせずに保持する方法とがある。この方法を使うか否かを選択可能にしてもよい。
【０１０２】
図１１の例の場合、いずれのフレームについても表示時間は同じとなるように表示時間情報１２１を記述することを想定しているが（この表示時間情報１２１に従って一定時間ずつ再生したときに、画面の変化量が一定となる）、表示時間情報１２１は一定ではなく、別の方法で求めて記述するようにしても構わない。
【０１０３】
次に、１つのフレーム情報に、１または複数のフレームを対応させる場合について説明する。
【０１０４】
この場合の特殊再生制御情報のデータ構造の一例は図８と同様である。
【０１０５】
以下、図１２〜図２１を用いて、映像の位置情報の記述方法を説明する。
【０１０６】
図１２は、元映像の連続するフレームを参照する映像位置情報の記述方法を説明する図である。
【０１０７】
図９によって示される映像位置情報の記述方法は、特殊再生を行おうとする元映像内の１フレームを参照するものであったが、図１２によって示される映像位置情報の記述方法は、元映像内の連続する複数のフレームの集合５００を記述するものである。フレームの集合５００は元映像内の連続する複数のフレームのうちの一部分を抜き出したものであってもよい。また、フレームの集合５００のうちに１つのフレームのみ含むものがあってもよい。
【０１０８】
フレームの集合５００が、元映像内の連続する複数のフレームまたは１つのフレームを含むものである場合には、フレーム位置の記述は、開始フレームおよび終了フレームの位置を記述するか、開始フレームの位置と記述区間の継続時間を記述する。１つのフレームを含むものである場合には、例えば、開始フレームと終了フレームの位置を同じにすればよい。位置や時間の記述は、フレーム番号やタイムスタンプなど、ストリーム内のフレームを特定できるものを用いる。
【０１０９】
フレームの集合５００が、元映像内の連続する複数のフレームのうちの一部分である場合には、そのフレームが特定可能になるような情報を記述する。フレームの抜き出し方法が決まっており、例えば開始フレームおよび終了フレームの位置を記述すればフレームが特定可能となる場合には、それらを記述すればよい。
【０１１０】
図１２の表示時間情報５０１は、対応する元映像フレーム集合５００に含まれるフレーム群全体に対応する総表示時間を示すものである。元映像フレーム集合５００に含まれる各フレームの表示時間については、特殊再生する装置側で適宜決定可能とすることができる。簡単な方法としては、上記の総表示時間を全フレーム数で均等割りして、１つのフレームの表示時間とする方法がある。もちろん、その他にも、種々の方法がある。
【０１１１】
図１３は、画像データファイルを参照する映像位置情報の記述方法を説明する図である。
【０１１２】
図１２によって示される映像位置情報の記述方法は、再生しようとする元映像内の連続するフレームを直接参照するものであったが、図１３によって示される映像位置情報の記述方法は、元映像ストリームから抜き出したフレーム集合６０２に対応する画像データのフレーム集合６００を別のファイルに用意し、その位置を記述するものである。ファイル位置の記述方法は、例えば、ＵＲＬなどを用いることにより、ローカルな記憶装置上に存在する場合でも、ネットワーク上に存在する場合でも同様に扱うことが可能である。この画像データファイルの位置を示す映像位置情報１０１と、対応する表示時間６０１の長さを示す映像表示時間１２１との組をフレーム情報として記述する。
【０１１３】
元映像フレームとの対応が必要な場合は、記述したフレーム情報に対応する元映像のフレーム集合６０２を示す情報（例えば図１２の場合における映像位置情報と同様のもの）をフレーム情報に含めればよい。この場合、フレーム情報は、映像位置情報、表示時間情報、元映像情報より構成されることとなる。もちろん、元映像情報は、必要がなければ記述する必要はない。
【０１１４】
画像データの形態や、画像データの作成、縮小画像の作成、画像データの格納方法、ＵＲＬなどの位置情報の記述方法等については、前述と同様である。
【０１１５】
元映像のどのフレームを選択して画像データを作成して映像位置情報に記述するかについても、前述と同様、様々な方法をとることができ、例えば、元映像から等間隔に画像データを抽出してもよいし、画面の動きの多いところは狭い間隔で多くの画像データを抽出し、動きの少ないところは広い間隔で少ない画像データを抽出してもよい。
【０１１６】
上記した実施形態では画像データファイル３００と元映像３０２の対応付けをフレーム単位で行っているが、元映像情報として記述するフレームの位置情報に時間的な幅を持たせることも可能である。それためのフレーム情報のデータ構造は例えば、図１４のようになる。図１４では図８のフレーム情報に元映像情報３７０１が追加されている。元映像情報３７０１には特殊再生対象である元映像の対応区間の始点位置と区間長が、それぞれ始点情報３７０２、区間長情報３７０３として記述される。
【０１１７】
元映像情報として記述する情報は区間を特定できるものならなんでもよい。ここでは始点位置と区間長を用いたが、それらに代えて、始点位置と終点位置を元映像情報として用いてもよい。
図１５は図９に対して、元映像情報に時間的な幅を持たせた例である。この場合、例えば、同一のフレーム情報に含まれる映像位置情報、表示時間情報、元映像情報として、それぞれ、元映像フレーム３８０１の位置、表示時間３８０２、元映像フレーム区間３８０３（始点フレーム位置と区間長）を記述し、お互いが対応していることを示す。つまり、元映像フレーム区間３８０３を代表する画像として、映像位置情報に記述された元映像フレーム３８０１を表示することになる。
【０１１８】
図１６は図１０に対して、元映像情報に時間的な幅を持たせた例である。この場合、例えば、同一のフレーム情報に含まれる映像位置情報、表示時間情報、元映像情報として、それぞれ、表示用画像データファイル３９０１の格納場所、表示時間３９０２、元映像フレーム区間３９０３（始点フレーム位置と区間長）を記述し、お互いが対応していることを示す。つまり、元映像フレーム区間３９０３を代表する画像として、映像位置情報に記述された画像データファイルの画像３９０１を表示することになる。
【０１１９】
また、図１２、１３で示したようにフレームの集合を表示用映像として用いる場合において、表示用の映像に用いられている元映像フレーム区間とは異なる区間を元映像情報として対応付けても構わない。
【０１２０】
図１７は図１２に対して、元映像情報に時間的な幅を持たせた例である。この場合、例えば、同一のフレーム情報に含まれる映像位置情報、表示時間情報、元映像情報として、それぞれ、元映像中のフレームの集合４００１、表示時間４００２、元映像フレーム区間４００３（始点フレーム位置と区間長）を記述し、お互いが対応していることを示す。このとき、映像位置情報として記述するフレームの集合の区間４００１と元映像情報として記述する元映像フレーム区間４００３は必ずしも一致する必要はなく、異なる区間を表示用に用いても構わない。
【０１２１】
図１８は図１３に対して、元映像情報に時間的な幅を持たせた例である。この場合、例えば、同一のフレーム情報に含まれる映像位置情報、表示時間情報、元映像情報として、それぞれ、表示に用いるフレーム集合４１０１の格納場所、表示時間４１０２、元映像フレーム区間４１０３（始点フレーム位置と区間長）を記述し、お互いが対応していることを示す。
【０１２２】
このとき、映像位置情報として記述するフレームの集合４１０１の区間と元映像情報として記述する元映像フレーム区間４１０３は必ずしも一致する必要はない。つまり、表示用フレームの集合４１０１の区間が元映像フレーム区間４１０３より、短くてもよいし、長くてもよい。また、内容が全く異なる映像が含まれていてもよい。その他に、映像データファイルとして、元映像情報に記述された区間のうち特に重要な区間のみを抜き出して、まとめた映像データファイルを使用する方法も考えられる。
【０１２３】
これらのフレーム情報を用いて、例えば要約再生（特殊再生）映像を閲覧する際に、元映像中の対応するフレームを参照したい場合もある。
【０１２４】
図１９は要約表示された映像のフレームに対応する元映像のフレームから再生を開始するためのフローである。ステップＳ３６０１で、要約映像で再生開始フレームを指定する。ステップＳ３６０２では後述する方法で、指定されたフレームに対応する元映像フレームを算出する。ステップＳ３６０３では算出されたフレームより元映像を再生する。
【０１２５】
もちろん、このフローは再生以外にも元映像の対応する位置を参照するために用いることが可能である。
【０１２６】
ステップＳ３６０２において、対応する元映像フレームを算出する方法の一例として、要約映像で指定されたフレームの表示時間に対する比例配分を用いる方法を示す。ｉ番目のフレーム情報の含まれる表示時間情報をＤｉ秒とし、元映像情報の区間始点位置をｔｉ秒、 区間長をｄｉ秒とする。ｉ番目のフレーム情報を用いた再生が始まってから、ｔ秒経過した位置を指定した場合、対応する元映像のフレームの位置はＴ＝ｔｉ＋ｄｉ×ｔ／Ｄｉとなる。
【０１２７】
次に、特殊再生、要約再生するフレーム選択の方法を説明する。
【０１２８】
図２０、図２１を参照しながら、フレーム選択方法の一例として、画面の動きに応じて、画面の動きの多いところは狭い間隔で多くの画像データを抽出し、動きの少ないところは広い間隔で少ない画像データを抽出する方法について説明する。図２０、図２１の横軸や曲線８００やＳｉやＦｉは図１１と同様である。
【０１２９】
図１１の例では、画像データ抽出元フレーム間の画像変化量が一定となるような間隔で、１フレームづつ抽出した。図２０、図２１は、フレーム番号Ｆｉを基準として複数のフレームの集合を抽出する例を示している。この場合、例えば、図２０に示すようにフレーム番号Ｆｉから一定数の連続するフレームを抽出するようにしてもよいし（フレーム長８１１とフレーム長８１２は同一）、図２１に示すようにフレーム番号Ｆｉから画像変化量の総和が一定となるようにそれぞれ該当する数の連続するフレームを抽出するようにしてもよい（面積８１３と面積８１４が同一）。もちろん、その他にも種々の方法が考えられる。
【０１３０】
もちろん、前述した画面変化量＝０が一定時間以上経過した場合のＦｉの抽出処理も用いることが可能である。
【０１３１】
図１１の場合と同様、図２０、図２１の例の場合、いずれのフレーム集合についても同じ表示時間となるように表示時間情報１２１を記述するようにしてもよいし、別の方法で表示時間を求めて記述するようにしても構わない。
【０１３２】
次に、表示時間を決定する処理の一例について説明する。
【０１３３】
図２２は、映像位置情報に記述された映像を、表示時間情報に記述された時間どおりに連続的に再生したときに、画面の変化量ができる限り一定となるような表示時間を求めるための基本処理手順の一例である。
【０１３４】
この処理は、フレームの抽出をどのような方法で行った場合にも適用可能であるが、例えば図１１のような方法でフレームを抽出した場合にはこの処理は省くことができる。何故ならば、図１１は表示時間一定で画面の変化量ができる限り一定となるようにフレームを選択したからである。
【０１３５】
ステップＳ７１では、元映像の全フレームについて隣接フレームとの間の画面変化量を求める。映像の各フレームがビットマップにより表現されている場合は、隣接するフレーム間の画素の差分値を画面変化量とすることができる。映像がＭＰＥＧによって圧縮されている場合は、動きベクトルを用いて、画面変化量を求めることが可能である。
【０１３６】
画面変化量の求め方の一例を説明する。
【０１３７】
図２３は、ＭＰＥＧにより圧縮された映像ストリームから、全フレームの画面変化量を求めるための基本処理手順の一例である。
【０１３８】
ステップＳ８１では、Ｐピクチャのフレームから動きベクトルを抽出する。ＭＰＥＧによって圧縮された映像のフレームは、図２４に示すように、Ｉピクチャ（フレーム内符号化フレーム）、Ｐピクチャ（前方予測フレーム間符号化フレーム）、Ｂピクチャ（双方向予測フレーム間符号化フレーム）の並びによって記述される。このうち、Ｐピクチャには直前のＩピクチャまたはＰピクチャからの動きに対応する動きベクトルが含まれている。
【０１３９】
ステップＳ８２では、１つのＰピクチャのフレームに含まれる各動きベクトルの大きさ（強度）を求め、その平均を直前のＩピクチャまたはＰピクチャからの画面変化量とする。
【０１４０】
ステップＳ８３では、Ｐピクチャのフレームに対して求めた画面変化量をもとに、Ｐピクチャ以外のフレームを含めた全フレームに対応する１フレームごとの画面変化量を算出する。例えば、Ｐピクチャのフレームの動きベクトルの平均値がｐで、参照元となる直前のＩピクチャまたはＰピクチャのフレームからの間隔がｄである場合、間の各フレームの１フレームあたりの画面変化量はｐ／ｄである。
【０１４１】
続いて、図２２の手順におけるステップＳ７２では、映像位置情報に記述する記述対象フレームから、次の記述対象フレーム間での間にあるフレームの画面変化量の総和を求める。
【０１４２】
図２５は、１フレームごとの画面変化量の変化を記述した図である。横軸はフレーム番号に対応し、曲線１０００が画面変化量の変化を表す。フレーム位置Ｆｉの位置情報を持つ映像の表示時間を求める場合、次の記述対象フレーム位置であるＦｉ＋１までの区間１００１の画面変化量を累積加算する。これは、斜線部１００２の面積Ｓｉとなり、フレーム位置Ｆｉの動きの大きさと考えることができる。
【０１４３】
続いて、図２２の手順におけるステップＳ７３では、各フレームの表示時間を求める。画面の変化量をできるだけ一定にするためには、画面の動きの大きいフレームほど、表示時間を多く配分すればよいので、各フレーム位置Ｆｉの映像に配分する表示時間の再生時間に対する割合を、Ｓｉ／ΣＳｉとすればよい。再生時間の総和をＴとすると、各映像の表示時間は、Ｄｉ＝Ｔ・Ｓｉ／ΣＳｉとなる。再生時間の総和Ｔの値は、標準の再生時間で、元映像の総再生時間と規定しておく。
【０１４４】
画面変化がなくＳｉ＝０となる場合は、予め決められた下限値（例えば、１）を入れてもよいし、そのフレーム情報を記述しなくてもよい。Ｓｉ＝０とならないまでも、画面変化が非常に小さく、実際の再生においてほとんど表示されないことが予想されるフレームに関しても、下限値を代入してもよいし、フレーム情報を記述しなくてもよい。フレーム情報を記述しない場合は、Ｓｉの値はＳｉ＋１に加算してもよいし、しなくてもよい。
【０１４５】
この表示時間を求める処理は、特殊再生制御情報生成装置にてフレーム情報作成のために行うことができるが、映像再生装置側で特殊再生時に行うことも可能である。
【０１４６】
次に、特殊再生を行う場合の処理の例について説明する。
【０１４７】
図２６は、記述された特殊再生制御情報に基づき、Ｎ倍速再生を行うための処理手順の一例である。
【０１４８】
ステップＳ１１１では、再生倍率に基づいて、再生時の表示時間Ｄ’ｉを算出する。フレーム情報に記述されている表示時間情報は、標準の表示時間なので、Ｎ倍速での再生を行う場合、各フレームの表示時間Ｄ’ｉ＝Ｄｉ／Ｎとなる。
【０１４９】
ステップＳ１１２では、表示のための初期化を行う。すなわち、先頭のフレーム情報を表示するようにｉ＝０とする。
【０１５０】
ステップＳ１１３では、ｉ番目のフレーム情報の表示時間Ｄ’ｉが予め設定された表示時間の閾値より大きいか否かを判定する。
【０１５１】
大きい場合は、ステップＳ１１４において、ｉ番目のフレーム情報Ｆｉに含まれる映像位置情報の映像をＤ’ｉ秒間表示する。
【０１５２】
大きくない（下回る）場合は、ステップＳ１１５に進み、表示時間の閾値を下回らないｉ番目のフレーム情報を順方向に探索する。この間、表示時間の閾値を下回ったフレーム情報の表示時間は、すべて探索の結果得られたｉ番目のフレーム情報の表示時間に加算し、表示時間の閾値を下回ったフレーム情報の表示時間は０とする。このような処理を行うのは、再生時の表示時間が非常に短くなると、表示する映像を準備する時間が表示時間よりも長くなり、表示が間に合わなくなる場合があるためである。そこで、表示時間が非常に短い場合は、表示をせずに先に進むようにする。その際に総再生時間が変わらないように、表示されなかった映像の表示時間を表示される映像の表示時間に加算する。
【０１５３】
ステップＳ１１６では、まだ表示されていないフレーム情報が残っていないかを判断するために、ｉがフレーム情報の総数を下回っているか判定する。下回っている場合は、ステップＳ１１７へ進み、ｉを１増加させて次フレーム情報の表示を行う準備をする。ｉがフレーム情報の総数に到達した場合は、再生処理を終了する。
【０１５４】
図２７は、既定の表示サイクル（例えば、１秒間に３０フレームを表示する場合、１表示サイクルは１／３０秒）を基準にして、記述された特殊再生制御情報に基づき、Ｎ倍速再生を行うための処理手順の一例である。
【０１５５】
ステップＳ１２１では、Ｎ倍速再生時に、各フレームの表示時間Ｄ’ｉを、Ｄ’ｉ＝Ｄｉ／Ｎとして求める。ここで算出される表示時間は、実際には表示サイクルとの関係があるので、算出された表示時間で映像を表示できるとは限らない。
【０１５６】
図２８は、算出された表示時間と表示サイクルの関係を表した図である。時間軸１３００は算出された表示時間を示し、時間軸１３０１は表示レートに基づく表示サイクルを示す。表示レートがｆフレーム／秒の場合、表示サイクルの間隔は１／ｆ秒となる。
【０１５７】
したがって、ステップＳ１２２では、表示サイクルの開始点が含まれるフレーム情報Ｆｉを探索し、ステップＳ１２３では、フレーム情報Ｆｉに含まれる映像を１表示サイクル（１／ｆ秒）表示する。
【０１５８】
例えば、表示サイクル１３０２は、表示開始点１３０３が、算出された表示時間１３０４に含まれるので、この表示時間に対応するフレーム情報の映像を表示する。
【０１５９】
表示サイクルとフレーム情報との対応付け方法は、図２９に示すように、表示サイクル開始点の最も近傍の映像を表示するようにしてもよい。図２８の表示時間１３０５のように、表示時間が表示サイクルより小さくなった場合は、その映像の表示を省略してもよいし、強制的に表示してもよい。強制的に表示した場合は、前後の表示時間を短くして全体の総表示時間が変わらないように調整する。
【０１６０】
ステップＳ１２４では、現在の表示が最終表示サイクルであるかを調べ、最終表示サイクルであれば処理を終了し、最終表示サイクルでなければ次の表示サイクルを処理するために、ステップＳ１２５へ進む。
【０１６１】
フレーム情報記述の他の例を説明する。
【０１６２】
図８あるいは図１４のデータ構造に含まれるフレーム情報は単一の元映像を要約する場合について扱ったものであるが、フレーム情報を拡張することによって、複数の元映像をまとめて要約することができる。図３０はその一例で、個々のフレーム情報に含まれる元映像情報４２０１に元映像ファイルの位置などを示す元映像位置情報４２０２を追加した構造となっている。元映像位置情報に記述されるファイルは必ずしもファイル全体の区間を扱う必要はなく、一部区間のみを抜き出した形で用いてもよい。この場合、ファイル名などファイルの情報だけでなく、ファイルのどの区間が対象となっているかを示すための区間情報も合わせて記述する。映像ファイルから選択する区間は１つの映像に対して、複数であってもよい。
【０１６３】
また、元映像が何種類か存在し、個々に識別情報が付与されている場合は、元映像位置情報の代わりに元映像識別情報を記述してもよい。
【０１６４】
図３１は元映像位置情報を追加したフレーム情報を用いて、複数の元映像をまとめて要約表示する例について説明する図である。この例では３つの映像（映像１、映像２、映像３）をまとめて、１つの要約映像を表示している。映像２に関しては全区間ではなく、４３０１と４３０２の２箇所の区間を取り出して、別々の元映像として扱っている。フレーム情報としてはこれらの元映像情報と共に、それぞれを代表する画像のフレーム位置（４３０１に対しては４３０３）が映像位置情報として、また、表示時間（４３０１に対しては４３０４）が表示時間情報として記述される。
【０１６５】
図３２は元映像位置情報を追加したフレーム情報を用いて、複数の元映像をまとめて要約表示する別の例について説明する図である。この例でも３つの映像をまとめて、１つの要約映像を表示している。映像２に関しては全区間ではなく、一部区間を取り出して、別々の元映像として扱っている。もちろん、図３１のように複数の区間を取り出してもよい。フレーム情報としてはこれらの元映像情報（例えば映像２に加え４４０１の区間情報）と共に、それぞれを代表する画像ファイル（４４０２）の格納場所が映像位置情報として、また、表示時間（４４０３）が表示時間情報として記述される。
【０１６６】
これらの例で説明したようなフレーム情報への元映像位置情報の追加は、フレームの集合を映像位置情報として用いる場合においても、全く同じように適用することができ、複数の元映像をまとめた要約表示が可能である。
【０１６７】
図３３はフレーム情報を記述するための別のデータ構造である。このデータ構造では既に説明した映像位置情報、表示時間情報、元映像情報に加えて、動き情報４５０１と注目領域情報４５０２が加わっている。動き情報とはフレーム情報が対応する元映像の区間（すなわち元映像情報に記述された区間）の動きの大きさ（画面の変化量）を記述する。注目領域情報とは映像位置情報に記述されている画像の中で特に注目すべき領域の情報を記述したものである。
【０１６８】
動き情報は図２２において、映像の動きから表示時間を算出する際に用いたように映像位置情報に記述される画像の表示時間を算出するために用いることが可能である。この場合、表示時間情報を省略し、動き情報のみを記述しても、表示時間を記述した場合と同様に早送りなどの特殊再生を行うことができる（この場合、再生時に表示時間を計算する）。
【０１６９】
表示時間情報と動き情報の両方を同時に記述することも可能であり、その場合は表示を行うアプリケーションが処理に合わせて必要な方を用いたり、組み合わせて用いればよい。
【０１７０】
例えば、表示時間情報には動きと関係なく算出された表示時間を記述しておく。元映像から、重要な場面を切り出す表示時間の算出方法などがこれに該当する。このように算出された要約表示の早送りを行う際に、動き情報を用いて、動きの大きい部分は遅めに、動きの小さい部分の速めに再生を行うことによって、見落としの少ない早送りが可能である。
【０１７１】
注目領域情報はフレーム情報の映像位置情報に記述された画像の中で特に注目すべき領域が存在するときに用いる。例えば、視聴者にとって重要と思われる人物の顔などがこれに該当する。このような注目領域情報を含む画像を表示する際には領域が分かるように矩形などを重ね合わせて表示してもよい。この表示は必須ではなく、そのまま画像を表示するだけでも構わない。
【０１７２】
注目領域情報はフレーム情報などの特殊再生情報を加工して表示したりすることも可能である。例えば、一部のフレーム情報のみを再生表示する場合に、注目領域情報が含まれるフレーム情報を優先的に表示する。また、大きな面積をもつ矩形領域が含まれるほど、重要度が高いという解釈を用いて、選択表示することも可能である。
【０１７３】
以上、画面変化量に基づいて要約再生するフレームを選択する場合を説明してきたが、以下では、重要度情報を利用してフレームを選択する場合を説明する。
【０１７４】
図３４、図３５は、映像に付帯させるフレーム情報のデータ構造の一例である。
【０１７５】
このデータ構造は、図１のフレーム情報のデータ構造において、表示時間制御情報１０２として（または表示時間制御情報１０２の代わりに）、表示時間の基となる情報である重要度情報１２２を記述するようにしたものである。
【０１７６】
重要度情報１２２は、対応するフレーム（またはフレーム集合）の重要度を表す。重要度は、例えば、一定範囲（例えば０から１００の間）の整数として表現したり、一定範囲（例えば０から１の間）の実数として表現する。あるいは、上限を定めずに整数、実数値として表現しても良い。重要度情報は、映像の全てのフレームに対して付帯させても良いし、重要度の変化したフレームのみ付帯させても良い。
【０１７７】
この場合、映像の位置情報の記述方法は、図９、図１０、図１２、図１３のいずれの形態をとることも可能である。図１１や図２０、図２１のフレーム抽出方法も利用可能である（この場合には、図１１や図２０、図２１の画面変化量を重要度に置き換えればよい）。
【０１７８】
次に、先に説明した例では、画面の変化量により表示時間の設定を行ったが、重要度情報により表示時間を設定することも可能である。以下、このような表示時間の設定方法について説明する。
【０１７９】
先に例示した画面の変化量に基づく表示時間設定では、映像内容を理解しやすくするため、変化量の大きいところでは表示時間を長く設定し、変化量の小さいところでは表示時間を短く設定した。この重要度に基づく表示時間設定では、重要度の高いところは表示時間を長く設定し、重要度の低いところでは表示時間を短くすれば良い。すなわち、重要度による表示時間の設定方法は、基本的に画面の変化量に基づく表示時間設定方法（図２５参照）と同様であるため、ここでは簡単に説明することにする。
【０１８０】
図３６に、この場合の基本処理手順の一例を示す。
【０１８１】
ステップＳ１９１では、元映像の全フレームの重要度を求める。その具体的な方法については後で例示する。
【０１８２】
ステップＳ１９２では、映像位置情報に記述する記述対象フレームから、次の記述対象フレームまでの間にあるフレームの重要度の総和を求める。
【０１８３】
図３７は、１フレームごとの重要度の変化を記述した図である。２２００が重要度である。フレーム位置Ｆｉの位置情報を持つ映像の表示時間を求める場合、次の記述対象フレーム位置であるＦｉ＋１ までの区間２２０１の重要度を加算する。加算結果は、斜線部２２０２の面積Ｓ’ｉとなる。
【０１８４】
ステップＳ１９３では、各フレームの表示時間を求める。各フレーム位置Ｆｉの映像に配分する表示時間の再生時間に対する割合を、Ｓ’ｉ／ΣＳ’ｊ とする。再生時間の総和をＴとすると、各映像の表示時間は、Ｄｉ＝Ｔ・Ｓ’ｉ／ΣＳ’ｊ となる。再生時間の総和Ｔの値は、標準の再生時間で、元映像の総再生時間と規定しておく。
【０１８５】
重要度の和がＳ’ｉ＝０となる場合は、予め決められた下限値（例えば、１）を入れてもよいし、そのフレーム情報を記述しなくてもよい。Ｓ’ｉ＝０とならないまでも、重要度が非常に小さく、実際の再生においてほとんど表示されないことが予想されるフレームに関しても、下限値を代入してもよいし、フレーム情報を記述しなくてもよい。フレーム情報を記述しない場合は、Ｓ’ｉの値はＳ’ｉ＋１ に加算してもよいし、しなくてもよい。
【０１８６】
図３５のように、図１のフレーム情報のデータ構造において、各フレーム情報ｉに、映像位置情報１０１と、表示時間情報１２１と、重要度情報１２２を記述するようにしてもよい。この場合において、特殊再生時には、表示時間情報１２１を用いるが重要度情報１２２を用いない方法と、重要度情報１２２を用いるが表示時間情報１２１を用いない方法と、両方用いる方法と、両方用いない方法がある。
【０１８７】
この表示時間を求める処理は、特殊再生制御情報生成装置にてフレーム情報作成のために行うことができるが、映像再生装置側で特殊再生時に行うことも可能である。
【０１８８】
次に、各フレームまたは場面（映像区間）の重要度の決定方法（例えば、図３６のステップＳ１９１）について説明する。
【０１８９】
映像のある場面が重要かどうかは、通常、様々な要因が絡み合っているため、重要度を決定する最も妥当な方法は、人間が決定する方法である。この方法では、映像のそれぞれの場面、または一定の時間間隔ごとに重要度評価者が重要度を評価し、重要度データへの入力を行う。ここで言う重要度データとは、フレーム番号または時刻と、そのときの重要度の値との対応表のことである。重要度の評価が主観的になってしまうことを避けるためには、複数の重要度評価者に同一の映像を評価してもらい、各場面または各映像区間ごとに平均値（またはメジアンなどでも良い）を算出して最終的な重要度を決定する。このような人手による重要度データ入力は、言葉では表現できないようなあいまいな印象や複数の要素を重要度に加味することが可能である。
【０１９０】
人間が決定する手間を省くためには、重要であると思われる映像場面に出現しそうな事象を考え、このような事象を自動で評価して重要度に変換する処理を利用するのが好ましい。以下、重要度の自動生成の例をいくつか示す。
【０１９１】
図３８は、音声レベルの大きな場面が重要であるとして、重要度データを自動算出する際の処理手順の一例である（図３８は機能ブロック図としても成立する）。
【０１９２】
ステップＳ２１０の音声レベル算出処理では、映像に付随している音声データが入力されると、各時刻における音声レベルを算出する。音声レベルは瞬時に大きく変化するため、ステップＳ２１０の音声レベル算出処理では平滑化等の処理を行っても良い。
【０１９３】
ステップＳ２１１の重要度算出処理では、音声レベル算出処理の結果出力される音声レベルを重要度に変換する処理を行う。例えば、あらかじめ定められている最低音声レベルを０、最高音声レベルを１００として入力された音声レベルを０から１００の値に線形に変換する。最低音声レベル以下の場合は０、最高音声レベル以上の場合は１００とする。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０１９４】
図３９は、他の重要度レベル自動決定方法の処理手順例である（図３９は機能ブロック図としても成立する）。
【０１９５】
図３９の処理は、映像に付随する音声中に、あらかじめ登録されている重要単語が多く出現する場面を重要であると判断するものである。
【０１９６】
ステップＳ２２０の音声認識処理では、映像に付随する音声データが入力されると、音声認識処理により人が話した言葉（単語）をテキストデータに変換する。
【０１９７】
重要単語辞書２２１には、重要な場面に登場しそうな単語が登録されている。登録されている単語の重要さの度合いが異なっている場合には、登録単語ごとに重みを付加しておく。
【０１９８】
ステップＳ２２２の単語照合処理では、音声認識処理の出力であるテキストデータと重要単語辞書２２１に登録されている単語を照合し、重要な単語が話されたかどうかを判定する。
【０１９９】
ステップＳ２２３の重要度算出処理では、単語照合処理の結果から映像の各場面や各時刻における重要度を算出する。この計算には、重要単語の出現数、重要単語の重みが使われ、例えば重要単語の出現した時刻の周辺（または出現した場面）の重要度を一定値もしくは重要単語の重みに比例する値だけ上昇させるといった処理を行う。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２００】
全ての単語の重みを同一とした場合には、重要単語辞書２２１は不要となる。これは、多くの単語が話された場面は重要な場面であると想定していることに相当する。このとき、ステップＳ２２２の単語照合処理では、単に音声認識処理から出力される単語の数をカウントする処理を行う。単語数ではなく、文字数をカウントするようにしても良い。
【０２０１】
図４０は、さらに他の重要度レベル自動決定方法の処理手順例である（図４０は機能ブロック図としても成立する）。
【０２０２】
図４０の処理は、映像中に登場するテロップに、あらかじめ登録されている重要単語が多く出現する場面を重要であると判断するものである。
【０２０３】
ステップＳ２３０のテロップ認識処理では、映像中の文字位置を特定し、文字位置の映像領域を２値化して文字認識を行う。認識された結果は、テキストデータとして出力される。
【０２０４】
重要単語辞書２３１は、図３９の重要単語辞書２２１と同様のものである。
【０２０５】
ステップＳ２３２の単語照合処理では、図３９の手順におけるステップＳ２２２と同様に、テロップ認識処理の出力であるテキストデータと重要単語辞書２３１に登録されている単語を照合し、重要な単語が登場したかどうかを判定する。
【０２０６】
ステップＳ２３３の重要度算出処理では、図３９の手順におけるステップＳ２２３と同様に、重要単語の出現数、重要単語の重みから各場面または各時刻における重要度を算出する。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２０７】
全ての単語の重みを同一とした場合には、重要単語辞書２３１は不要となる。これは、テロップとして多くの単語が出現した場面は重要な場面であると想定していることに相当する。このとき、ステップＳ２３２の単語照合処理では、単にテロップ認識処理から出力される単語の数をカウントする処理を行う。単語数ではなく、文字数をカウントするようにしても良い。
【０２０８】
図４１は、さらに他の重要度レベル自動決定方法の処理手順例である（図４１は機能ブロック図としても成立する）。
【０２０９】
図４１の処理は、映像中に登場するテロップの文字が大きいほど重要な場面であると判断するものである。
【０２１０】
ステップＳ２４０のテロップ検出処理では、映像中の文字列の位置を特定する処理を行う。
【０２１１】
ステップＳ２４１の文字サイズ算出処理では、文字列から個々の文字を切り出し、文字の大きさ（面積）の平均値または最大値を算出する。
【０２１２】
ステップＳ２４２の重要度算出処理では、文字サイズ算出処理の出力である文字サイズに比例した重要度を算出する。算出された重要度が大きすぎたり小さすぎたりした場合には、しきい値処理により重要度をあらかじめ決められた範囲内に収める処理も行う。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２１３】
図４２は、さらに他の重要度レベル自動決定方法の処理手順例である（図４２は機能ブロック図としても成立する）。
【０２１４】
図４２の処理は、映像中に人間の顔が登場する場面は重要であると判断するものである。
【０２１５】
ステップＳ２５０の顔検出処理では、映像中にある人間の顔らしい領域を検出する処理を行う。処理の結果として、人間の顔と判断された領域の数（顔の数）が出力される。顔の大きさ（面積）の情報も同時に出力するようにしても良い。
【０２１６】
ステップＳ２５１の重要度算出処理では、顔検出処理の出力である顔の数を定数倍して重要度を算出する。顔検出処理の出力が顔の大きさ情報を含む場合には、重要度は顔の大きさとともに増大するように計算される。例えば、顔の面積を定数倍して重要度を算出する。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２１７】
図４３は、さらに他の重要度レベル自動決定方法の処理手順例である（図４３は機能ブロック図としても成立する）。
【０２１８】
図４３の処理は、あらかじめ登録されている画像と類似した映像が登場する場面は重要である判断するものである。
【０２１９】
重要シーン辞書２６０には、重要と判断すべき画像が登録されている。画像は生データとして記録されていたり、データ圧縮された形式で記録されている。画像そのものではなく、画像の特徴量（色ヒストグラムや周波数など）を記録しておいても良い。
【０２２０】
ステップＳ２６１の類似度／非類似度算出処理では、重要シーンに登録されている画像と入力された画像データとの類似度または非類似度を算出する。非類似度としては、２乗誤差の総和や絶対値差分の総和などが用いられる。重要シーン辞書２６０に画像データが記録されている場合には、対応する画素ごとの２乗誤差の総和や絶対値差分の総和などが非類似度として算出される。重要シーン辞書２６０に画像の色ヒストグラムが記録されている場合には、入力された画像データに対して同様の色ヒストグラムを算出し、ヒストグラム同士の２乗誤差の総和や絶対値差分の総和を算出して非類似度とする。
【０２２１】
ステップＳ２６２の重要度算出処理では、類似度／非類似度算出処理の出力である類似度または非類似度から重要度を算出する。類似度が入力される場合には類似度が大きいほど大きな重要度となるように、非類似度が入力される場合には非類似度が大きいほど小さな重要度なるように重要度は計算される。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２２２】
さらに他の重要度レベル自動決定方法として、瞬間視聴率の高い場面を重要とする方法がある。瞬間視聴率のデータは、視聴率調査の集計結果として得られるものであり、この瞬間視聴率を定数倍することで重要度が算出される。もちろん、その他にも種々の方法がある。
【０２２３】
重要度の算出処理は、単独で用いてもよいし、複数を同時に用いて重要度を算出するようにしてもよい。後者の場合には、例えば、いくつかの異なる方法で一つの映像の重要度を算出し、最終的な重要度は平均値または最大値として算出するようにしてもよい。
【０２２４】
以上では画面変化量や重要度を例にとって説明を行ったが、画面変化量およびまたは重要度とともに、あるいは画面変化量および重要度に代えて、その他の１または複数種類の情報を用いる（フレーム情報に記述する）ことも可能である。
【０２２５】
次に、フレーム情報（図１参照）に、再生／非再生の制御のための情報を付加する場合について説明する。
【０２２６】
映像データ中における、特定の場面あるいは部分（例えばハイライトシーン）のみを再生したり、特定の人物が登場している場面あるいは部分のみを再生したいなどというように、映像の一部のみを見たいという要求がある。
【０２２７】
この要求を満たすため、フレーム情報に、再生するか非再生にするかを制御するための再生／非再生情報を付加するようにしてもよい。これにより、再生側では、この再生／非再生情報に基づいて、映像の一部のみを再生したり、逆に映像の一部のみを再生しなかったりすることができる。
【０２２８】
図４４、図４５、図４６に、再生／非再生情報を付加したデータ構造例を示す。
【０２２９】
図４４は、図８のデータ構造例において、再生／非再生情報１２３を付加したものである。もちろん、図４５、図４６は、図３４、図３５のデータ構造に再生／非再生情報１２３を付加したものである。図示していないが、図１のデータ構造例において、再生／非再生情報を付加してもよい。
【０２３０】
再生／非再生情報１２３は、再生するか非再生にするかの２値情報を指定する方法と、再生レベルのような連続値を指定する方法がある。
【０２３１】
後者の場合には、例えば、再生時に再生レベルがある閾値以上だったら再生し、そうでなければ非再生とする。閾値は、例えば、ユーザが直接的にまたは間接的に指定可能としてもよい。
【０２３２】
再生／非再生情報１２３は、独立した情報とし保持してもよいが、再生か非再生かを選択的に指定する場合において、表示時間情報１２１により示される表示時間が特定の値（例えば、０あるいは−１など）のときに非再生であるとすることも可能である。あるいは、重要度情報１２２により示される重要度が特定の値（例えば、０あるいは−１など）のときに非再生であるとすることも可能である。この場合には、再生／非再生情報１２３は付加しなくてよい。
【０２３３】
再生か非再生かをレベル値で指定する場合においても、表示時間情報１２１およびまたは重要度情報１２２（ただし、重要度をレベル値で表す場合）で代用することも可能である。
【０２３４】
再生／非再生情報１２３を独立した情報として保持する場合は、データ量がその分増えるが、再生側で非再生指定部分を再生しないようにしてダイジェストを見ることもできるし、非再生指定部分も再生して映像の全部を見ることも可能となる（再生／非再生情報１２３を独立した情報として保持しない場合は、非再生指定部分も再生して映像の全部を見るためには、例えば０として指定されている表示時間を適宜変更する必要がある）。
【０２３５】
再生／非再生情報１２３は、人間が入力してもよいし、なんらかの条件より決定してもよい。例えば、映像の動き情報から動きが一定値以上大きいときは再生、そうでなければ非再生とすれば、動きの激しいところのみ再生できるし、色情報から肌色が一定値より大きいか小さいかから決定すれば人物がいるところのみ再生できる。音の大小によって決定する手法、あらかじめ入力されている再生プログラム情報から決定する手法も考えられる。重要度をなんらかの手法で決定しておき、重要度情報から再生／非再生情報１２３を生成してもよい。再生／非再生情報を連続値としたときは、これらの情報を適当な関数で再生／非再生情報に変換することによって求ればよい。
【０２３６】
図４７は、再生／非再生情報１２３に基づいて、再生／非再生の制御を行って再生した例を示す。
【０２３７】
図４７において、元映像２１５１を、Ｆ１〜Ｆ６で表される映像フレーム位置情報または映像フレーム群位置情報２１５３と、Ｄ１〜Ｄ６で表される表示時間情報２１５４に基づいて再生するとする。このとき、再生／非再生情報２１５５は、表示時間情報２１５４に付加されるものとする。この例において、Ｄ１，Ｄ２，Ｄ４，Ｄ６の区間が再生となり、それ以外の区間が非再生となった場合には、再生映像２１５２としては、Ｄ１，Ｄ２，Ｄ４，Ｄ６の区間が連続的に再生される（それ以外は非再生となる）。
【０２３８】
例えば、再生映像のフレームＦｉにおいて、再生／非再生情報１２３が再生を示すものであったときの表示時間をＤ+ ｉ、非再生であったときの表示時間をＤ- ｉとしたとき、元映像の再生部分の総時間がＴ’であるとすると、ΣｉＤ+ ｉ＝Ｔ’になる。通常は、Ｄ+ ｉは、元映像と等倍速に表示時間を設定しておく。あらかじめ決め事として暗黙の固定された倍速としても良いし、何倍速に設定するかの情報を記述しても良い。Ｎ倍速再生したい場合は、再生部分の表示時間Ｄ+ ｉを１／Ｎ倍する。例えば、決められた時間Ｄ’で再生を行うようにするためには、各再生部分の表示時間Ｄ+ ｉをＤ’／ΣｉＤ+ ｉ倍に加工して表示すれば良い。
【０２３９】
フレーム情報に基づいて各フレーム（またはフレーム群）の表示時間を決定する場合に、決定された表示時間を調整するようにしてもよい。
【０２４０】
決定された表示時間を調整しない方法では、非再生の区間が発生したことを考慮せずに決定された表示時間をそのまま用いるので、非再生の区間にもともと０を越える表示時間が割り当てられていた場合には、その分だけ全体の表示時間が短くなる。
【０２４１】
決定された表示時間を調整する方法では、例えば、非再生の区間にもともと０を越える表示時間が割り当てられている場合には、非再生の区間を再生したときと全体の表示時間が同じになるように、再生する各フレーム（またはフレーム群）の表示時間に一定数を乗じて、調整を行う。
【０２４２】
ユーザが、調整するか否かを選択可能としてもよい。
【０２４３】
ユーザがＮ倍速再生を指定した場合にも、決定された表示時間を調整せずにＮ倍速再生の処理を行ってもよいし、決定された表示時間を上記のようにして調整した後の表示時間を基礎としてＮ倍速再生の処理を行ってもよい（前者の方が表示時間が短くなる）。
【０２４４】
ユーザが全体の表示時間を指定可能としてもよい。この場合にも、例えば、指定された全体の表示時間になるように、再生する各フレーム（またはフレーム群）の表示時間に一定数を乗じて、調整を行うようにしてもよい。
【０２４５】
図４８は、再生／非再生情報１２３に基づいて映像の一部のみを再生する処理手順の一例を示す。
【０２４６】
ステップＳ１６２で該フレームのフレーム情報（映像位置情報及び表示時間情報）を読み出し、ステップＳ１６３で表示時間情報内の再生／非再生情報より該フレームを再生するか、非再生とするかを判断する。
【０２４７】
判断結果が再生であれば、ステップＳ１６４で表示時間分だけ該フレームを表示する。そうでなければ、そのフレームは再生せず、次のフレームの処理に移る。
【０２４８】
ステップＳ１６１で再生すべき映像が終了したかどうかを判別し、映像が終了したら、再生処理も終了する。
【０２４９】
ところで、ステップＳ１６３で該フレームを再生するか非再生にするかを判断するときには、単純に再生／非再生情報が再生であれば再生し、非再生であれば再生しないという以外に、ユーザーの好みによって非再生部を再生するか再生しないかを決定したいことがある。このときは、映像の再生前にあらかじめ非再生部を再生するか再生しないかをユーザープロファイルなどから決定しておき、非再生部を再生するときは必ずステップＳ１６４でフレームの再生を行うようにする。
【０２５０】
その他にも、再生／非再生情報が再生レベルとして連続値として保存されていたときは、ユーザープロファイルから再生と非再生を区別する閾値を求め、再生／非再生情報が閾値を超えているかどうかで再生するか非再生にするかを判断するようにしてもよい。ユーザープロファイルを使う以外にも、例えば、各フレームごとに設定された重要度から閾値を計算したり、ユーザーからあらかじめ、またはリアルタイムに再生するか再生しないかの情報を受け取ってもよい。
【０２５１】
このように、フレーム情報に、再生するか非再生にするかを制御するための再生／非再生情報１２３を付加することによって、映像の一部のみを再生することが可能となり、ハイライトシーンのみを再生したり、興味有る人物や物体が出ているシーンのみを再生したりすることが可能となる。
【０２５２】
次に、フレーム情報（図１参照）に、表示される映像に関連した映像以外のメディア（例えばテキストや音）の位置情報と、それらを表示もしくは再生する時間を付加情報とする場合の記述方法について説明する。
【０２５３】
図８では各フレーム情報１００に映像位置情報１０１と表示時間情報１０２が含まれ、図３４では各フレーム情報１００に映像位置情報１０１と重要度情報１０３が含まれ、図３５では各フレーム情報１００に映像位置情報１０１と表示時間情報１０２と重要度情報１０３が含まれ、図４４、図４５、図４６では、さらに再生／非再生情報１２３が含まれてる例を示したが、それらのいずれにおいても、さらに、０以上の音位置情報２７０３、音再生時間情報２７０４、０以上のテキスト情報２７０５、テキスト表示時間情報２７０６（ただし、いずれかは１以上とする）を付加するようにしてもよい。
【０２５４】
図４９は、図８のデータ構造例に、１組の音位置情報２７０３／音再生時間情報２７０４と、Ｎ組のテキスト情報２７０５／テキスト表示時間情報２７０６を付加した場合の例である。
【０２５５】
音は、音位置情報２７０３に格納した位置から音再生時間情報２７０４に格納した時間だけ再生を行う。再生の対象は、最初から映像に付帯していた音情報でもかまわないし、バックグラウンドミュージックなどを作成してあらたに付加してもかまわない。
【０２５６】
テキストは、テキスト情報２７０５に格納したテキスト情報をテキスト表示時間情報２７０６に格納した時間だけ表示する。１つの映像フレームに対して複数のテキスト情報を付加してもよい。
【０２５７】
音の再生とテキストの表示を開始する時刻は、関連付けられた映像フレームが表示されるのと同時である。音の再生時間とテキストの表示時間も関連付けられた映像フレームの表示時間以内となる。複数の映像フレームにわたって、連続した音を再生する場合には、音の位置情報と再生時間を連続するように設定すればよい。
【０２５８】
このような方法によって、要約音声や要約テキストなども可能になる。
【０２５９】
図５０に、フレーム情報とは別に音情報を記述する方法の一例を示す。これは、特殊再生を行う際に、表示されている映像フレームに関連する音声を再生するためのデータ構造例である。再生する音声の所在を示す位置情報２８０１と、音声の再生を開始する時刻２８０２と、再生を継続する時間２８０３の組を１つの音情報２８００とし、この音情報の配列として記述される。
【０２６０】
図５１に、テキスト情報を記述するためのデータ構造の一例を示す。図５０の音情報と同様な構造を持ち、表示するテキストの文字コード２９０１と、表示開始時刻２９０２と、表示時間２９０３の組を１つのテキスト情報２９００とし、このテキスト情報の配列として記述される。２９０１に該当する情報として文字コードの代わりに、その文字コードを保存した場所、あるいはその文字を画像として保存した場所などを指す位置情報を用いてもよい。
【０２６１】
上記の音情報やテキスト情報は、映像フレームの表示と同期をとり、表示されている映像フレームもしくはその映像フレームが存在する一定の映像区間に関連のある情報として表示される。図５２に示すように、音情報やテキスト情報は、時間軸３００１が示す時間の経過にしたがって、再生あるいは表示が開始される。まず、映像３００２は、各映像フレームが記述された順序で、記述された表示時間ずつ表示されることによって再生される。３００５、３００６、３００７はそれぞれ映像フレームを表しており、所定の表示時間が割り当てられている。音３００３は、各音情報に記述された再生開始時刻になると再生され、同様に記述された再生時間を過ぎると再生を停止する。図５２に示すように、同時に複数の音３００８と３００９が再生されてもよい。テキスト３００４も音と同様に、各テキスト情報に記述された表示開始時刻になると表示され、記述された表示時間を過ぎると表示を停止する。同時に複数のテキスト３０１０と３０１１を表示してもよい。
【０２６２】
音の再生開始時刻およびテキストの表示開始時刻は、映像フレームの表示を行う時刻と一致している必要はない。音の再生時間およびテキストの表示時間は、映像フレームの表示時間と一致している必要はない。これらは、自由に設定することができ、逆に音の再生時間やテキストの表示時間に応じて、映像フレームの表示時間を変更しても良い。
【０２６３】
これらは人間が手動で設定することも可能である。
【０２６４】
なお、図５０、図５１は映像のフレーム情報とは別に記述し、映像と同期して再生・表示する例であるが、映像とは別個に音、テキスト情報のみを記述して、音、テキストの要約再生、要約表示を行なってもよい。
【０２６５】
人間が決定する手間を省くためには、重要であると思われる映像場面に出現しそうな事象を考え、このような事象を自動的に設定する処理を利用するのが好ましい。以下、自動設定の例をいくつか示す。
【０２６６】
図５３は、ショットと呼ばれる画面の切り替わりから次の切り替わりまでの連続した映像区間を求め、そのショットに含まれる映像フレームの表示時間の総和を音声の再生時間とする処理手順の一例を示す（図５３は機能ブロック図としても成立する）。
【０２６７】
ステップＳ３１０１において、映像からショットを検出する。これには、「ゆう度比検定を用いたＭＰＥＧビットストリームからの動画像カット検出手法（信学論，Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，Ｎｏ．３，ｐｐ．３６１−３７０，１９９９）」などの方法を用いる。
【０２６８】
ステップＳ３１０２において、映像フレームの位置情報を参照して、それぞれの映像フレームがどのショットに属しているかを調べる。さらに、映像フレームの表示時間の総和を取ることによって、それぞれのショットの表示時間を求める。
【０２６９】
例えば、音の位置情報はショットの始まりに対応した音声の位置とし、音の再生開始時刻はそれぞれのショットに属す最初の映像フレームの表示時刻にあわせ、音の再生時間はそのショットの表示時間に等しくすればよい。あるいは、音の再生時間に応じて、それぞれのショットに含まれる映像フレームの表示時間を修正してもよい。ここではショットを検出したが、（フレーム情報に重要度情報を記述するデータ構造をとる場合には）映像フレームに対する重要度を用いて、その重要度がしきい値以上の区間を求め、その区間に含まれる音を再生してもよい。
【０２７０】
求められた再生時間が一定基準に満たない場合には、当該音声は再生しないようにしてもよい。
【０２７１】
図５４は、ショットもしくは重要度の高い映像区間に対応する音声データから、音声認識によって重要な単語を取り出し、その単語もしくは単語が含まれる音声もしくは複数の単語を組み合わせた音声を再生する処理手順の一例を示す（図５４は機能ブロック図としても成立する）。
【０２７２】
ステップＳ３２０１において、ショットを検出する。ショットのかわりに前記重要度の高い映像区間を求めてもよい。
【０２７３】
ステップＳ３２０２において、得られた映像区間に対応する音声データの区間に対して、音声認識を行う。
【０２７４】
ステップＳ３２０３において、認識結果の中から、重要な単語を含む音声もしくは重要単語部分の音声を求める。重要単語を選択するには、重要単語辞書３２０４を参照する。
【０２７５】
ステップＳ３２０５において、再生用の音声を作成する。重要単語を含む連続した音声をそのまま用いてもよいし、重要単語のみを抽出してもよい。重要単語を複数組み合わせた音声を作成してもよい。
【０２７６】
ステップＳ３２０６において、作成した音声の再生時間に応じて、映像フレームの表示時間を修正する。ただし、音の再生時間が映像フレームの表示時間内となるように、選択した単語の数を減らし、音の再生時間を短くしてもよい。
【０２７７】
図５５に、テロップからテキスト情報を取得する手順の一例を示す（図５５は機能ブロック図としても成立する）。
【０２７８】
図５５の処理は、テキスト情報は、映像中に表示されるテロップあるいは音声から取得するものである。
【０２７９】
ステップＳ３３０１において、映像内で表示されるテロップを読み取る。これには、例えば文献「堀修：“テロップ領域のための映像からの文字部抽出法”、ＣＶＩＭ１１４−１７、ｐｐ．１２９−１３６（１９９９）」に記述されている方法等により、元映像中のテロップを自動抽出するか、人間がテロップを読み取って手入力する方法がある。
【０２８０】
ステップＳ３３０２において、読み取ったテロップ文字列から重要な単語を取り出す。重要単語の判定には、重要単語辞書３３０３を用いる。もちろん、読み取ったテロップ文字列をそのままテキスト情報としてもよい。抽出した単語を並べ、重要単語のみでその映像区間を表す文章を構成し、テキスト情報としてもよい。
【０２８１】
図５６に、音声からテキスト情報を取得する処理手順の一例を示す（図５６は機能ブロック図としても成立する）。
【０２８２】
ステップＳ３４０１の音声認識処理によって、音声を認識する。
【０２８３】
ステップＳ３４０２において、認識した音声データから重要な単語を取り出す。重要単語の判定には、重要単語辞書３４０３を用いる。もちろん、認識した音声データをそのままテキスト情報としてもよい。抽出した単語を並べ、重要単語のみでその映像区間を表す文章を構成し、テキスト情報としてもよい。
【０２８４】
図５７に、ショットもしくは重要度の高い映像区間からテロップ認識によって、テキスト情報を取り出し、テキスト情報を作成する処理手順の一例を示す（図５７は機能ブロック図としても成立する）。
【０２８５】
ステップＳ３５０１において、映像からショットを検出する。ショットではなく、重要度の高い区間を求めてもよい。
【０２８６】
ステップＳ３５０２において、その映像区間中に表示されるテロップを認識する。
【０２８７】
ステップＳ３５０３において、重要単語辞書３５０４を用いて、重要な単語を抽出する。
【０２８８】
ステップＳ３５０５において、表示用のテキストを作成する。これには、重要単語を含むテロップ文字列を用いてもよいし、重要単語のみ、もしくは重要単語を複数用いた文字列をテキスト情報としてもよい。音声認識によってテキスト情報を得る場合には、ステップＳ３５０２のテロップ認識処理の部分を音声認識処理におきかえ、音声データを入力とすればよい。テキスト情報は、そのテキストがテロップとして表示された映像フレーム、あるいは音声として再生された時刻の映像フレームに合わせて表示する。あるいは、その映像区間中のテキスト情報を一度に表示してもよい。
【０２８９】
図５８にテキスト情報の表示例を示す。図５８の（ａ）のように、テキスト情報表示部３６０１と映像表示部３６０２に分けてもよいし、図５８の（ｂ）のように、テキスト情報を映像表示部３６０３に重ねて表示してもよい。
【０２９０】
映像フレーム、音情報、テキスト情報それぞれの表示時間（再生時間）は、すべてのメディア情報が同期するように調整する。例えば、映像を倍速再生する際には、まず、前述の方法で重要な音声を抽出し、通常再生の２分の１の時間の音声情報を取得しておく。次に、それぞれの音声に関連した映像フレームに表示時間を割り当てる。画面の変化量が一定となるように映像フレームの表示時間を決めた場合には、音声の再生時間やテキストの表示時間は、それぞれ関連する映像フレームの表示時間内とする。もしくは、ショットのように複数の映像フレームを含む区間を求めておき、その区間に含まれる音声あるいはテキストをその区間の表示時間に応じて再生もしくは表示するようにする。
【０２９１】
これまでは、映像データを中心にして説明してきたが、音声データを中心に扱ったシステムももちろん可能である。
【０２９２】
これまでは映像を中心とした要約表示について扱ってきたが、フレーム情報を持たない（すなわち映像を持たない）形式で、音情報やテキスト情報を用いることも可能である。この場合、元映像に対して、音情報とテキスト情報だけで構成される要約を作成することになる。また、音声データや音楽データに対して、音情報とテキスト情報だけで構成される要約を作成することも可能である。
【０２９３】
その際に、フレーム情報の場合と同様に、音情報やテキスト情報に元の音声、音楽データとの対応関係を記述するための元データ情報を追加してもよい。
【０２９４】
図５９は図５０に示すデータ構造の音情報に、元データ情報４９０１を含めたデータ構造の例である。元データ情報４９０１は入力が映像の場合は映像の区間を示す時間（始点情報４９０２と区間長情報４９０３）となるし、入力が音声／音楽の場合は音声／音楽の区間を示す時間となる。
【０２９５】
図６０は図３０に相当するデータ構造の音情報に、元データ情報４９０１を含めたデータ構造の例である。
【０２９６】
図６１は音声情報を用いて、音声／音楽を要約した一例について説明したものである。この例では元となる音声／音楽をいくつかの区間に分割し、それぞれの区間の一部をその区間の要約音声／音楽として切り出して、要約を作成している。例えば、区間２の５００１の部分を要約音声／音楽として切り出し、要約の５００２の区間として再生する。区間を分割方法の例としては、音楽を楽章ごとに分けたり、会話を内容ごとに分けたりする方法が考えられる。
【０２９７】
また、フレーム情報の場合と同様に、音情報やテキスト情報に元データファイルおよび区間の記述を含めることによって、複数の音声、音楽データをまとめて要約することもできる。 このとき、個々の元データに識別情報が付与されている場合は元データファイルや区間を記述する代わりに、元データ識別情報を用いてもよい。
【０２９８】
図６２は音声情報を用いて、音声／音楽を要約した一例について説明したものである。この例では複数の音声／音楽データに対して、それぞれ一部区間の要約音声／音楽として切り出して、要約を作成している。例えば、音声／音楽２の５１０１の部分を要約音声／音楽として切り出し、要約の５１０２の区間として再生する。１枚の音楽アルバムに含まれる曲の一部区間ずつを切り出してまとめ、試聴用の要約データを作成する用途などが考えられる。
【０２９９】
アルバムなどを要約する場合など、曲名が分かった方がよい場合は音情報に音楽データの曲名を含めるようにしてもよい。もちろん、この情報は必須ではない。
【０３００】
次に、映像データや物体領域データの提供方法について説明する。
【０３０１】
本実施形態の処理により作成された特殊再生制御情報がユーザの用に供される場合には、作成者側からユーザ側に何らかの方法で特殊再生制御情報を提供する必要がある。この提供の方法としても以下に例示するように種々の形態が考えられる。
（１）映像データとその特殊再生制御情報とを１つ（または複数の）記録媒体に記録して同時に提供する形態
（２）映像データを１つ（または複数の）記録媒体に記録して提供し、別途、特殊再生制御情報を１つ（または複数の）記録媒体に記録して提供する形態
（３）映像データとその特殊再生制御情報とを同じ機会に通信媒体を介して提供する形態
（４）映像データとその特殊再生制御情報とを異なる機会に通信媒体を介して提供する形態
これにより、映像コンテンツの特殊再生に供するための制御情報として、元映像から選択的に抽出したフレーム（群）の取得方法と、そのフレーム（群）に割り当てた表示時間の情報又はこれを得る基となる情報とを含むフレーム情報を、複数配列させて記述することにより、再生側では該制御情報に基づいた効果的な特殊再生が可能になる。
【０３０２】
以上説明したように、本実施形態によれば、映像コンテンツに対する特殊再生に供するための特殊再生制御情報を記述する特殊再生制御情報記述方法において、前記映像コンテンツを構成する映像データの全フレーム系列のなかから選択的に抽出された１フレーム又は連続若しくは近接する複数フレームからなるフレーム群ごとに、該１フレーム又は該フレーム群のデータが存在する位置を示す第１の情報と、該１フレーム又は該フレーム群に対して付与された表示時間に関する第２の情報及び又は該フレーム情報に対応する前記１フレーム又は前記フレーム群に対して付与された重要度を示す第３の情報をフレーム情報として記述する。
【０３０３】
また、本実施形態によれば、映像コンテンツを構成する映像データの全フレーム系列のなかから選択的に抽出された１フレーム又は連続若しくは近接する複数フレームからなるフレーム群ごとに記述された、該１フレーム又は該フレーム群のデータが存在する位置を示す第１の情報と、該１フレーム又は該フレーム群に対して付与された表示時間に関する第２の情報及び又は該１フレーム又は該フレーム群に対して付与された重要度を示す第３の情報とを含むフレーム情報を少なくとも含む特殊再生制御情報を格納したコンピュータ読取り可能な記録媒体も提供される。
【０３０４】
さらに、映像コンテンツに対する特殊再生に供するための特殊再生制御情報を生成する特殊再生制御情報装置／生成方法の実施形態において、前記映像コンテンツを構成する映像データの全フレーム系列のなかから、特殊再生に供される一部のフレームを、１フレーム又は連続若しくは近接する複数フレームからなるフレーム群ごとに、該フレーム系列に沿って順次選択的に抽出し、抽出された前記１フレーム又は前記フレーム群ごとに、該１フレーム又は該フレーム群のデータが存在する位置を示す映像位置情報と、該１フレーム又は該フレーム群に対して割り当てるべき表示時間の情報又はこれを算出する基となる情報を含む表示時間制御情報とを生成し、前記１フレーム又は前記フレーム群ごとに生成された、前記映像位置情報及び前記表示時間制御情報をフレーム情報として記述することによって、前記映像コンテンツに対する特殊再生制御情報を作成する。
【０３０５】
また、映像コンテンツに対する特殊再生を行うことが可能な映像再生装置／方法の実施形態において、前記映像コンテンツに付随する、該映像コンテンツを構成する映像データの全フレーム系列のなかから選択的に抽出された１フレーム又は連続若しくは近接する複数フレームからなるフレーム群ごとに記述された、該１フレーム又は該フレーム群のデータが存在する位置を示す映像位置情報と、該１フレーム又は該フレーム群に対して割り当てるべき表示時間の情報又はこれを算出する基となる情報を示す表示時間制御情報とを含むフレーム情報を少なくとも含む特殊再生制御情報を参照し、前記フレーム情報に含まれる映像位置情報に基づいて、各フレーム情報に対応する前記１フレーム又は前記フレーム群のデータを取得するとともに、少なくとも各々の前記フレーム情報に含まれる前記表示時間制御情報に基づいて、各フレーム情報に対して割り当てるべき表示時間を決定し、取得された前記１フレーム又は複数フレームのデータを、決定された前記表示時間によって再生することを、所定の順序で行うことによって、特殊再生を行う。
【０３０６】
本発明の実施形態では、例えば、あらかじめ表示に用いる有効な映像フレームの位置情報または元映像からフレーム単位で取り出した画像データを準備し、その映像フレーム位置情報または画像データの表示時間に関する情報を元映像とは別に準備する。元映像から取り出した映像フレームもしくは画像データを表示情報に基づいて、それらを連続表示することにより、倍速再生、トリック再生、飛び越し連続再生などの特殊再生を行うことができる。
【０３０７】
例えば、高速に内容を確認するための倍速再生においては、表示画面の画面の変化ができるだけ一定になるように、動きの大きいところは表示時間を長く、動きの小さいところは表示時間を短くするように、あらかじめ表示時間を決めておくようにしてもよい。または、表示に用いる映像フレームまたは画像データの動きの多い部分からは多く、動きの少ないところは少なくするように、位置情報を決めても、同じ効果が得られる。全体としてユーザによって指定される倍速値または再生時間になるようにコントロールされる値を準備するようにしてもよい。長い映像も短い時間で、見やすい倍速再生等でみることができ、内容を短い時間で把握することができる。
【０３０８】
例えば、表示時間を重要度に応じて、重要な場所は表示時間を長く、低い場所は短くすることにより、重要な場所を見落としにくい再生も可能である。
【０３０９】
例えば、全映像フレームを表示せず、部分的に映像の一部を省略することにより、重要な部分だけを効率良く再生するようにしてもよい。
【０３１０】
本発明の実施形態によれば、映像コンテンツの特殊再生に供するための制御情報として、元映像から選択的に抽出したフレーム（群）の取得方法と、そのフレーム（群）に割り当てた（絶対的若しくは相対的な）表示時間の情報又はこれを得る基となる情報とを含むフレーム情報を、複数配列させて記述することにより、再生側では該制御情報に基づいた効果的な特殊再生が可能になる。
【０３１１】
例えば、以上の各機能は、ソフトウェアとしても実現可能である。上記実施形態は、コンピュータに所定の手段を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。
【０３１２】
各実施形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
各実施形態内において、各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
各実施形態は適宜組み合わせて実施することが可能である。
各実施形態は、情報の記述方法としての発明、記述された情報としての発明、装置またはそれに対応する方法としての発明、装置内部またはそれに対応する方法としての発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。また、本発明は、コンピュータに所定の手段を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。
【０３１３】
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【０３１４】
【発明の効果】
以上説明したように本発明によれば、利用者にとってより効果的な特殊再生を可能とするフレーム情報記述方法、フレーム情報生成装置及び方法並びに映像再生装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る特殊再生制御情報のデータ構造例を示す図。
【図２】特殊再生制御情報生成装置の構成例を示す図。
【図３】特殊再生制御情報生成装置の他の構成例を示す図。
【図４】図２の構成の場合の処理手順の一例を示すフレーチャート。
【図５】図３の構成の場合の処理手順の一例を示すフレーチャート。
【図６】映像再生装置の構成例を示す図。
【図７】図６の構成の場合の処理手順の一例を示すフレーチャート。
【図８】特殊再生制御情報のデータ構造例を示す図。
【図９】元映像フレームを参照する映像位置情報について説明する図。
【図１０】画像データファイルを参照する映像位置情報について説明する図。
【図１１】画面の動きに応じた画像データの抽出方法について説明する図。
【図１２】元映像フレームを参照する映像位置情報について説明する図。
【図１３】画像データファイルを参照する映像位置情報について説明する図。
【図１４】元映像情報として記述するフレームの位置情報に時間的な幅を持たせる場合のフレーム情報のデータ構造を示す図。
【図１５】元映像フレームを参照する映像位置情報に時間的な幅を持たせた例を説明する図。
【図１６】画像データファイルを参照する映像位置情報に時間的な幅を持たせた例を説明する図。
【図１７】元映像フレームを参照する映像位置情報に時間的な幅を持たせた例を説明する図。
【図１８】元映像フレームを参照する画像データファイルに時間的な幅を持たせた例を説明する図。
【図１９】要約表示された映像のフレームに対応する元映像のフレームから再生を開始するためのフロー図。
【図２０】画面の動きに応じた画像データの抽出方法について説明する図。
【図２１】画面の動きに応じた画像データの抽出方法について説明する図。
【図２２】画面の変化量ができるだけ一定となる表示時間を求める処理手順の一例を示すフローチャート。
【図２３】ＭＰＥＧ映像から全フレームの画面変化量を求める処理手順の一例を示すフローチャート。
【図２４】ＭＰＥＧストリームからの画像変化量の算出方法について説明する図。
【図２５】画面の変化量ができるだけ一定となる表示時間を求める処理手法について説明する図。
【図２６】特殊再生制御情報に基づく特殊再生を行う処理手順の一例を示すフローチャート。
【図２７】表示サイクルを基準に特殊再生を行う処理手順の一例を示すフローチャート。
【図２８】算出された表示時間と表示サイクルの関係について説明する図。
【図２９】算出された表示時間と表示サイクルの関係について説明する図。
【図３０】元映像位置情報を持つ特殊再生制御情報のデータ構造例を示す図。
【図３１】複数の元映像をまとめて要約表示する際の元映像フレームを参照する映像位置情報を説明する図。
【図３２】複数の元映像をまとめて要約表示する際の画像データファイルを参照する映像位置情報を説明する図。
【図３３】フレーム情報を記述するための別のデータ構造を示す図。
【図３４】特殊再生制御情報のデータ構造例を示す図。
【図３５】特殊再生制御情報のデータ構造例を示す図。
【図３６】重要度から表示時間を求める処理手順の一例を示すフローチャート。
【図３７】重要度から表示時間を求める手法について説明する図。
【図３８】音声レベルの大きな場面を重要として重要度データを算出する処理手順の一例を示すフローチャート。
【図３９】音声認識により重要な単語が多く出現している場面を重要として重要度データを算出する処理または時間あたりに話された単語の数が多い場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４０】テロップ認識により重要な単語が多く出現している場面を重要として重要度データを算出する処理または時間あたりに出現したテロップに含まれる単語の数が多い場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４１】大きな文字がテロップとして出現した場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４２】人間の顔が多く登場する場面を重要として重要度データを算出する処理または人間の顔が大きく写る場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４３】登録しておいた重要シーンと類似した映像が出現する場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４４】特殊再生制御情報のデータ構造例を示す図。
【図４５】特殊再生制御情報のデータ構造例を示す図。
【図４６】特殊再生制御情報のデータ構造例を示す図。
【図４７】再生するか非再生にするかの情報と再生映像の関係について説明する図。
【図４８】再生／非再生判断を含む特殊再生の処理の手順の一例を示すフローチャート。
【図４９】音情報、テキスト情報を付加したときのデータ構造の一例を示す図。
【図５０】音情報のみをフレーム情報とは別に記述するためのデータ構造の一例を示す図。
【図５１】テキスト情報のみをフレーム情報とは別に記述するためのデータ構造の一例を示す図。
【図５２】各メディア再生の同期について説明する図。
【図５３】映像区間内での音再生開始時刻と音再生時間の決定手順の一例を示すフローチャート。
【図５４】再生用音声データの作成と映像フレーム表示時間の修正の処理の手順の一例を示すフローチャート。
【図５５】テロップ認識によるテキスト情報取得処理の手順の一例を示すフローチャート。
【図５６】音声認識によるテキスト情報の取得処理の手順の一例を示すフローチャート。
【図５７】テキスト情報の作成処理の手順の一例を示すフローチャート。
【図５８】テキスト情報の表示方法について説明する図。
【図５９】フレーム情報を記述するための別のデータ構造を示す図。
【図６０】フレーム情報を記述するための別のデータ構造を示す図。
【図６１】音楽データの要約再生を説明する図。
【図６２】複数の音楽データの要約再生を説明する図。
【符号の説明】
１…映像データ処理部
２…映像データ記憶部
３…特殊再生制御情報記憶部
４…画像データファイル記憶部
１１…映像位置情報処理部
１２…表示時間制御情報処理部
１３…画像データファイル作成部
２１…制御部
２２…通常再生処理部
２３…特殊再生処理部
２４…表示部
２５…コンテンツ記憶部
【発明の属する技術分野】
本発明は、ディジタルコンテンツ、例えば映像コンテンツを特殊再生するためのフレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、動画像をディジタル映像として圧縮し、ＤＶＤやＨＤＤに代表されるディスクメディアに格納することによって、映像をランダム再生できる環境が整った。この環境では、あらかじめ定められた場所から、待ち時間がほとんどない状態で途中再生が可能である。従来のテープメディアと同様に２〜４倍速の早回しおよび逆回しも可能である。
【０００３】
【発明が解決しようとする課題】
しかしながら、映像は長時間の場合が多く、２〜４倍速の再生でも全ての内容を視聴するには、時間が十分短縮されない問題があった。倍速再生を大きくすると、画面の変化が視聴能力以上に大きくなって内容把握が困難であったり、本来内容を把握するにはあまり重要でない部分においても、倍速再生が行われたりして無駄な場合がある。
【０００４】
このような問題は映像コンテンツに限らず、音・テキストからなるコンテンツ、あるいはマルチメディアコンテンツにも当てはまる。
【０００５】
本発明の目的は、利用者にとってより効果的な特殊再生を可能とするフレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体に関する。
【０００６】
【課題を解決するための手段】
上記した課題を解決し目的を達成するために、本発明は以下に示す手段を用いている。
【０００７】
本発明の一態様によるフレーム情報記述方法は、元映像データの特殊再生のためのフレーム情報を記述する方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの位置を特定する第１情報を記述するステップと、
該画像ファイルの画像データの表示時間に関する第２情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法である。
本発明の他の態様によるフレーム記述方法は、元映像データの特殊再生のためのフレーム情報を記述する方法であって、
元映像データの時間的区間内の複数のフレームから抽出したフレームの該元映像データ中における位置を特定する第１情報を記述するステップと、
該抽出フレームの表示時間に関する第２情報を記述するステップと、
前記時間的区間を特定する第３情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法である。
本発明の他の態様によるコンピュータ読取り可能な記録媒体は、コンピュータに、元映像データの特殊再生のために元映像データから抽出したフレームを表示させるプログラムを格納するコンピュータ読取り可能な記録媒体において、前記プログラムは
該抽出フレームに対応する画像データからなる画像ファイルの前記元映像データ中における位置を特定する第１情報に基づいてコンピュータに元映像データの複数のフレームから該抽出フレームを抽出させる第１プログラムコードと、
該画像ファイルの画像データの表示時間に関する第２情報に基づいてコンピュータに該抽出フレームを該表示時間だけ表示させる第２プログラムコードと、
を具備することを特徴とする記録媒体である。
本発明の他の態様によるフレーム情報記述装置は、元映像データの特殊再生のためのフレーム情報を記述する装置であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データから画像ファイルの該元映像データ中における位置を特定する第１情報を記述する手段と、
該画像ファイルの画像データの表示時間に関する第２情報を記述する手段と、
を具備することを特徴とするフレーム情報記述装置である。
本発明の他の態様によるフレーム情報生成方法は、元映像データの特殊再生のためのフレーム情報を生成する方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報を生成するステップと、
該画像ファイルの画像データの表示時間に関する第２情報を生成するステップと、
を具備することを特徴とするフレーム情報生成方法である。
本発明の他の態様による映像再生装置は、元映像データの特殊再生のための映像再生装置であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照する手段と、
前記第１情報に基づいて前記抽出フレームの元映像データを取得する手段と、
前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定する手段と、
取得された前記元映像データを決定された前記表示時間再生する手段と、
を具備することを特徴とする映像再生装置である。
本発明の他の態様による映像再生方法は、元映像データの特殊再生のための映像再生方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照するステップと、
前記第１情報に基づいて前記抽出フレームの元映像データを取得するステップと、
前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定するステップと、
取得された前記元映像データを決定された前記表示時間再生するステップと、
を具備することを特徴とする映像再生方法である。
本発明の他の態様によるコンピュータ読取り可能な記録媒体は、元映像データの特殊再生のために元映像データから抽出したフレームを表示する映像再生プログラムを格納するコンピュータ読取り可能な記録媒体において、前記映像再生プログラムは
コンピュータに元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照させるプログラムコードと、
コンピュータに前記第１情報に基づいて前記抽出フレームの元映像データを取得させるプログラムコードと、
コンピュータに前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定させるプログラムコードと、
コンピュータに取得された前記元映像データを決定された前記表示時間再生させるプログラムコードと、
を具備することを特徴とする記録媒体である。
本発明の他の態様によるフレーム情報記述方法は、元映像データの特殊再生のためのフレーム情報を記述する方法であって、
複数の元映像データのそれぞれ複数のフレームから抽出したフレームの該元映像を特定する第１情報を記述するステップと、
前記抽出したフレームの該元映像データ中における位置を特定する第２情報を記述するステップと、
該抽出フレームより生成された複数の画像データを格納した画像データ群格納ファイルの位置を示す第３情報を記述するステップと、
前記画像データ群格納ファイルにおける画像データの位置を示す第４情報を記述するステップと、
該抽出フレームの表示時間に関する第５情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法である。
【００３１】
本発明によれば、利用者にとってより効果的な特殊再生を可能とするフレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体が提供される。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００３３】
本発明は全てのディジタルコンテンツに関するが、実施形態として映像データを有する映像コンテンツの再生を説明する。映像データは、動画像を構成する映像フレームの集合（映像フレーム群）からなっているものとする。
【００３４】
最初に、本実施形態において重要な役割を果たす特殊再生制御情報について説明する。
【００３５】
特殊再生制御情報は、対象となる映像データの特殊再生のための制御情報であって、特殊再生制御情報生成装置により、当該映像データをもとにして作成され、当該映像データに付与される、あるいは関連付けられる制御情報である。特殊再生は、通常再生以外の方法による再生であり、例えば、倍速再生（あるいは高速再生）、飛び越し再生（あるいは飛び越し連続再生）、トリック再生等がある。トリック再生には、例えば、入れ替え再生、重複再生、スロー再生等、様々な種類がある。特殊再生制御情報は、例えば映像データを再生する映像再生装置において特殊再生を行う際に参照される。
【００３６】
図１に、特殊再生の対象となる映像データをもとにして作成される特殊再生制御情報の基本的なデータ構造の一例を示す。
【００３７】
このデータ構造は、複数のフレーム情報ｉ（ｉ＝１〜Ｎ）を元映像データにおけるフレーム出現順序と対応付けて記述したもので、各フレーム情報は、特殊再生時に表示すべき元映像（１枚のフレーム、または複数枚の連続するフレーム群、もしくは複数枚の近接するフレーム群すなわち複数枚の連続するフレームのうちの一部分からなるフレーム群）の所在を示す情報を含む映像位置情報１０１と、その元映像についての特殊再生時に表示すべき表示時間を示す情報およびまたは表示時間を算出する基となる情報を含む表示時間制御情報１０２の組を含む。
【００３８】
図１は、フレーム情報ｉを映像データにおけるフレーム出現順序で配列して記述したものであるが、フレーム情報ｉ内にそのフレーム情報の順序を示す情報を記述すれば、フレーム情報ｉをどのような順番で配列して記述しても構わない。
【００３９】
これらの複数のフレーム情報ｉからなるフレーム情報群に添付される再生倍率情報１０３は、特殊再生の再生速度の倍率を示し、フレーム情報に記述されている表示時間そのままではなく、フレームの表示時間を短縮し、数倍の速度で再生することを指定するために用いる。ただし、再生倍率情報１０３は必須の情報ではない。常に添付する構成と、常に添付しない構成と、添付するかどうかを個別的に選択可能とする構成とがある。再生倍率情報１０３が添付されていても特殊再生において必ずしもこれを用いなくても構わない。常に用いる構成と、常に用いない構成と、用いるかどうかを個別的に選択可能とする構成とがある。
【００４０】
図１において、フレーム情報群に対して再生倍率情報と共に、または再生倍率情報に代えて更に他の制御情報を付加する構成も可能である。図１において、各フレーム情報ｉに更に他の制御情報を付加する構成も可能である。それらの場合において、映像再生装置側では特殊再生制御情報に含まれる各々の情報を全て使用してもよいし、それらの一部の情報のみを使用してもよい。
【００４１】
図２に、このような特殊再生制御情報の生成装置の構成例を示す。
【００４２】
図２に示されるように、この特殊再生制御情報生成装置は、映像データ記憶部２、映像位置情報処理部１１および表示時間制御情報処理部１２を含む映像データ処理部１、特殊再生制御情報記憶部３を備えている。詳しくは後述するが、図２の構成では、映像データを表示する場合は、元映像データ（符号化されている）をデコードして画像データとしてから表示するので、表示が指示されてから実際に画像が表示されるまでに、デコードのための処理時間がかかる。この時間を短縮するために、特殊再生に使う映像データを予めデコードしておき、画像データファイルを記憶しておく方法が考えられる。このような画像データファイルを用いる場合（常に画像データファイルを用いる形態をとる場合、または画像データファイルを用いるかどうか選択可能とする形態をとる場合）には、図３に示すように、映像データ処理部１内に画像データファイル作成部１３を更に備え、映像データ処理部１に画像データファイル記憶部４を接続する。特殊再生制御情報に映像データをもとにして求めた他の制御情報を付加する場合には、適宜、映像データ処理部１内に該当する機能が追加される。
【００４３】
本処理においてユーザの操作を介入させる形態をとる場合には、例えば映像データをフレーム単位で表示させ、ユーザの指示入力等を受け付けるなどの機能を提供するＧＵＩが用いられる（図２や図３では省略している）。
【００４４】
図２、図３においては、ＣＰＵやメモリ、必要に応じて設けられる外部記憶装置やネットワーク通信装置、必要に応じて使用されるドライバソフトやＯＳ等のソフトウェアについては省略している。
【００４５】
映像データ記憶部２は、特殊再生制御情報、または特殊再生制御情報および画像データファイルを生成する処理対象となる映像データを記憶するためのものである。
特殊再生制御情報記憶部３は、生成された特殊再生制御情報を記憶するためのものである。
【００４６】
画像データファイル記憶部４は、画像データファイル作成部１３により作成された画像データファイルを記憶するためのものである。
【００４７】
映像データ記憶部２、特殊再生制御情報記憶部３、画像データファイル記憶部４はいずれも、例えばハードディスクや光ディスクや半導体メモリなどで構成される。映像データ記憶部２、特殊再生制御情報記憶部３、画像データファイル記憶部４は、別々の記憶装置によって構成されていてもよいが、それらの全部または一部が同一の記憶装置によって構成されていてもよい。
【００４８】
映像データ処理部１は、処理対象となる映像データをもとにして、特殊再生制御情報（または特殊再生制御情報および画像データファイル）を生成するためのものである。
【００４９】
映像位置情報処理部１１は、特殊再生時に表示すべきもしくは表示可能な映像フレーム（群）を決定（抽出）し、各フレーム情報ｉに記述すべき情報１０１を作成する処理を行う。
【００５０】
表示時間制御情報処理部１０２は、各フレーム情報に係る映像フレーム（群）の表示時間に関係する情報１０２を作成する処理を行う。
【００５１】
画像データファイル作成部１３は、映像データから各画像データファイルを作成する処理を行う。
【００５２】
特殊再生制御情報生成装置は、例えば、計算機上でソフトウェアを実行する形で実現することができる。特殊再生制御情報生成のための専用の装置として実現してもよい。
【００５３】
図４に、図２の構成の場合の制御情報生成手順の一例を示す。記憶部２から映像データを読み込み（ステップＳ１１）、映像位置情報を作成し（ステップＳ１２）、表示時間制御情報を作成し（ステップＳ１３）、映像位置情報、表示時間制御情報からなる特殊再生制御情報を記憶部３に保存する（ステップＳ１４）。図４の手順は、各フレーム情報ごとに逐次行ってもよいし、各処理をバッチ的に行ってもよい。その他の手順も可能である。
【００５４】
図５に、図３の構成の場合の制御情報生成手順の一例を示す。図４の手順に対して、さらに画像データファイルを作成し保存する手順が加わっている（ステップＳ２２）。ここでは、画像データファイルの作成およびまたは保存は映像位置情報の作成とともに行なっているが、図５とは異なるタイミングで行うことも可能でである。図４の場合と同様、図５の手順は、各フレーム情報ごとに逐次行ってもよいし、各処理をバッチ的に行ってもよい。その他の手順も可能である。
【００５５】
次に、図６に、映像再生装置の構成例を示す。
【００５６】
図６に示されるように、この映像再生装置は、制御部２１、通常再生処理部２２、特殊再生処理部２３、表示部２４、コンテンツ記憶部２５を備えている。映像データに音声などの音（Ａｕｄｉｏ）が付加されているコンテンツを扱う場合には、音声出力部を備えていることが望ましい。映像データにテキストデータが付加されているコンテンツを扱う場合には、テキストは表示部２４に表示してもよいし、音声出力部から出力させることも可能である。プログラムが添付されているコンテンツを扱う場合には、添付プログラム実行部を設けるようにしても良い。
【００５７】
コンテンツ記憶部２５には、少なくとも映像データと特殊再生制御情報が記憶されている。詳しくは後述するように、画像データファイルを用いる形態をとる場合には、更に画像データファイルが記憶されている。音声データやテキストデータや添付プログラムが更に記憶されていることもある。
【００５８】
コンテンツ記憶部２５は、一箇所に集中配置されていても、複数箇所に分散配置されていてもよく、要は通常再生処理部２２や特殊再生処理部２３でアクセスすることができればよい。映像データや特殊再生制御情報や画像データファイルや音声データやテキストデータや添付プログラムは、別々の媒体に格納されていてもよいし、同一の媒体に格納されていてもよい。媒体としては、例えばＤＶＤなどが用いられる。それらはネットワークを介して伝送されるデータであってもよい。
【００５９】
制御部２１は、基本的には、ＧＵＩ等のユーザ・インタフェースを介してユーザからコンテンツに対する通常再生や特殊再生などの指示を受け、該当する処理部分に、指定されたコンテンツについての指定された方法による再生を指示するなどの制御を行う。
【００６０】
通常再生処理部２２は、指定されたコンテンツを通常再生するためのものである。
【００６１】
特殊再生処理部２３は、指定されたコンテンツについて、特殊再生制御情報を参照して、指定された内容の特殊再生（例えば、倍速再生、飛び越し再生、トリック再生等）を行うためのものである。
【００６２】
表示部２４は、映像を表示するためのものである。
【００６３】
映像再生装置は、例えば、計算機上でソフトウェアを実行する形で実現することができる（もちろん、一部分に、ハードウェアを用いてもよい（例えば、デコードボード（ＭＰＥＧ−２デコーダ）など））。映像再生のための専用の装置として実現してもよい。
【００６４】
図７に、図６の映像再生装置の再生処理手順の一例を示す。ステップＳ３１でユーザから要求されたのは通常再生か特殊再生かを判断する。通常再生の要求があった場合は、ステップＳ３２で指定された映像データを読み込み、ステップ３３で通常再生を行う。ユーザから特殊再生の要求があった場合は、ステップＳ３４で指定された映像データに対応する特殊再生制御情報を読み込み、ステップ３５で表示すべき映像の位置の特定と、表示時間の決定を行い、ステップ３６で該当するフレーム（群）を映像データ中（または画像データファイル）から読み込み、ステップ３７で指定された内容の特殊再生を行う。表示すべき映像の位置の特定およびまたは表示時間の決定は、図７とは異なるタイミングで行うことも可能である。図７の特殊再生の手順は、各フレーム情報ごとに逐次行ってもよいし、各処理をバッチ的に行ってもよい。その他の手順も可能である。例えば、各フレームの表示時間を等しく一定の値にするような再生方法の場合には、表示時間の決定は行われない。
【００６５】
通常再生と特殊再生のいずれにおいても、ユーザが種々の指定（例えば、コンテンツにおける再生開始点およびまたはコンテンツにおける再生終了点、倍速再生における再生速度、倍速再生における再生時間、その他の特殊再生の方法、等）を要求できるようにするとより効果的である。
【００６６】
次に、特殊再生制御情報のフレーム情報の生成のアルゴリズムや、特殊再生時の表示時間の決定のアルゴリズムなどについて、概略的に説明する。
【００６７】
フレーム情報の生成時には、映像データのうちから特殊再生で使用するフレームの決定、映像位置情報の作成、表示時間制御情報の作成が行われる。
【００６８】
フレームの決定は、（１）当該映像データについての何らかの特徴量に基づいて行う方法（例えば、隣接フレーム間の特定の特徴量（例えば、フレーム間の画面変化量）が各抽出フレーム間でその総和が一定になるようにする方法、各抽出フレーム間での全フレームの重要度の総和が一定になるようにする方法）、（２）画一的な基準により行う方法（例えば、ランダムに抽出する方法、等間隔に抽出する方法）、などがある。
【００６９】
表示時間制御情報の作成には、（ｉ）表示時間または表示フレーム数の絶対値または相対値を求める方法、（ii）表示時間または表示フレーム数の基準となる情報（例えば、ユーザ指定、映像中の文字、映像に同期した音、映像中の人、あるいは映像中の特定パターン等に基づいて得られる重要度）を求める方法、（iii ）上記の（ｉ）と（ii）の両方を記述する方法、などがある。
【００７０】
（１）または（２）と、（ｉ）または（ii）または（iii ）とは、適宜組み合わせることが可能である。もちろん、それ以外の方法も可能である。それらのうちの特定の１つの組み合わせのみ可能としてもよいし、それらのうちの複数の組み合わせを可能とし、適宜選択できるようにしてもよい。
【００７１】
特殊な場合として、（１）の方法でのフレームの決定と同時に（ｉ）の表示時間または表示フレーム数の相対値が求まる方法がある。常にこの方法を用いる場合には、表示時間制御情報処理部１０２を省くことも可能である。
【００７２】
特殊再生時には、フレーム情報に含まれる（i）または（ii）または（iii）の表示時間制御情報を参照して行うことを想定しているが、記述されている値に従うようにしてもよいし、記述されている値を修正して使うようにしてもよいし、記述されている値またはこれを修正した値に加えて独自に用意した他の情報やユーザから入力された情報をも使うようにしてもよいし、独自に用意した他の情報やユーザから入力された情報のみをも使うようにしてもよい。それらのうちの複数の方法を可能とし、適宜選択できるようにしてもよい。
【００７３】
次に、特殊再生の概略について説明する。
【００７４】
倍速再生（あるいは高速再生）は、映像データ・コンテンツを構成する全フレームのうちの一部のフレームを再生することによって、もとのコンテンツを通常再生するのに要する時間より短い時間で再生を行うものである。例えば、フレーム情報で示されるフレームを、フレーム情報で示される表示時間ずつ、その時系列順に表示する。ユーザから、もとのコンテンツを通常再生する速度の何倍で再生するか（もとのコンテンツを通常再生するのに要する時間の何分の一の時間で再生するか）を指定する倍速指定や、どのくらいの時間をかけて再生するかを指定する時間指定などの要求を受け付け、該要求を満たすように各フレーム（群）の表示時間を求めて再生するようにしてもよい。そのため、この倍速再生は要約再生とも称する。
【００７５】
飛び越し再生（あるいは飛び越し連続再生）は、倍速再生において、例えば後述する再生／非再生情報に基づいて、フレーム情報で示されるフレームの一部を非再生とする。フレーム情報で示されるフレームのうち非再生とされたフレームを除いたフレームについて倍速再生するものである。
【００７６】
トリック再生は、通常再生以外の再生から、上記の倍速再生および飛び越し再生を除いたものである。例えば、フレーム情報で示されるフレームを再生する際に、ある部分について時系列順を入れ替えて再生する入れ替え再生、フレーム情報で示されるフレームを再生する際に、ある部分については複数回繰り返し再生する重複再生、フレーム情報で示されるフレームを再生する際に、ある部分については、他の部分より低速に再生し（通常再生時の速度にする場合と、通常再生時より低速にする場合とを含む）、あるいは他の部分より高速に再生し、あるいは一定時間表示して静止させ、あるいはそれらを適宜組み合わせる変速再生、フレーム情報で示されるフレームの一定の纏まりごとに時系列をランダムにして再生するランダム再生など、様々な形態のものが考えられる。
【００７７】
もちろん、複数種類の方法を適宜組み合わせたものも可能である。例えば、倍速再生時に、重要な部分については、複数回再生するとともに、再生速度を通常再生速度とする方法など、多彩なバリエーションが考えられる。
【００７８】
以下、本実施形態についてより具体的に詳しく説明する。
【００７９】
まず、フレームの決定のための画像データの特性値として隣接フレーム間の画面変化量を用いる場合を例にとって説明する。
【００８０】
ここでは、１つのフレーム情報に、１つのフレームを対応させる場合について説明する。
【００８１】
図８に、対象となる映像データをもとにして作成される、特殊再生制御情報のデータ構造の一例を示す。
【００８２】
このデータ構造は、図１における表示時間制御情報１０２として（または表示時間制御情報１０２の代わりに）、絶対的なまたは相対的な表示時間を示す情報である表示時間情報１２１を記述するようにしたものである。表示時間制御情報１０２に重要度を記述する構成などについては後で説明する。
【００８３】
映像位置情報１０１は、当該映像の元映像フレームにおける位置を特定可能とする情報であり、フレーム番号（例えば先頭フレームからのシーケンス番号）やタイムスタンプなどのようにストリーム内の１フレームを特定できるものならどのようなものを用いても構わない。元映像ストリームから抜き出したフレームに対応する画像データを別ファイルとする場合は、そのファイル位置を特定する情報としてＵＲＬなどを用いてもよい。
【００８４】
表示時間情報１２１は、当該映像を表示する時間あるいはフレーム数を特定可能とする情報であり、実際に時間あるいはフレーム数を単位として記述する方法と、他のフレーム情報に記述されている表示時間情報との相対的な時間の長さの関係がわかるような相対値（例えば正規化された数値）を記述する方法とがある。後者の場合は、全体の総再生時間から、各映像の実際の再生時間を算出することになる。各映像について、表示の継続時間を記述するのではなく、特定のタイミングを起点とした（例えば最初の映像の開始時間を０とした）開始時間と終了時間の組み合わせでの記述や、開始時間と継続時間の組み合わせでの記述を用いてもよい。
【００８５】
特殊再生では、映像位置情報１０１により特定される位置に存在する映像を、表示時間情報１２１により特定される表示時間だけ再生することを、配列に含まれるフレーム情報の数だけ逐次行うことを基本とする。
【００８６】
開始時間と終了時間又は継続時間が指定されており、かつ、この指定に従う場合には、映像位置情報１０１により特定される位置に存在する映像を、表示時間情報１２１により特定される開始時間から終了時間まで再生することを、配列に含まれるフレーム情報の数だけ逐次行うことを基本とする。
【００８７】
再生倍率などのパラメータや、別の付加情報を用いることにより、記述された表示時間を加工して再生することも可能である。
【００８８】
次に、図９〜図１１を用いて、映像の位置情報の記述方法を説明する。
【００８９】
図９は、元映像フレームを参照する映像位置情報の記述方法を説明する図である。
【００９０】
図９において、時間軸２００は、特殊再生のためのフレーム情報を作成する対象となる元映像ストリームに対応し、画像２０１は映像ストリーム中の記述対象となる１フレームに対応する。時間軸２０２は、元映像ストリームから抜き出した画像２０１を使って特殊再生を行うときの映像の再生時間に対応し、表示時間２０３はその中に含まれる１つの画像２０１に対応する区間である。この場合には、例えば、画像２０１の位置を示す映像位置情報１０１と、表示時間２０３の長さを示す映像表示時間１２１との組がフレーム情報として記述される。前述のように、画像２０１の位置の記述はフレーム番号やタイムスタンプなど、元映像ストリーム内の１フレームを特定できるものならなんでもよい。このフレーム情報が他の画像についても同様に記述される。
【００９１】
図１０は、画像データファイルを参照する映像位置情報の記述方法を説明する図である。
【００９２】
図９によって示される映像位置情報の記述方法は、特殊再生を行おうとする元映像データ内のフレームを直接参照するものであったが、図１０によって示される映像位置情報の記述方法は、元映像ストリームから抜き出した単一フレーム３０２に対応する画像データ３００を別のファイルに用意し、その位置を記述するものである。ファイル位置の記述方法は、例えば、ＵＲＬなどを用いることにより、ローカルな記憶装置上に存在する場合でも、ネットワーク上に存在する場合でも同様に扱うことが可能である。この画像データファイルの位置を示す映像位置情報１０１と、対応する表示時間３０１の長さを示す映像表示時間１２１との組をフレーム情報として記述する。
【００９３】
元映像フレームとの対応が必要な場合は、記述したフレーム情報に対応する元映像の単一フレーム３０２を示す情報（例えば図９の場合における映像位置情報と同様のもの）をフレーム情報に含めればよい。この場合、フレーム情報は、映像位置情報、表示時間情報、元映像情報より構成されることとなる。もちろん、元映像情報は、必要がなければ記述する必要はない。
【００９４】
図１０の方法によって記述される画像データの形態は、特に制約はないが、例えば、元映像のフレームをそのまま用いたり、縮小して用いたりするようにしてもよい。これは、元映像を展開する必要がないので、高速に再生処理を行うためにも有効である。
【００９５】
縮小画像の作成は、元映像ストリームがＭＰＥＧ−１やＭＰＥＧ−２などによって圧縮されている場合には、そのストリームを部分的に復号するだけで、高速に作成することができる。この手法は、フレーム内符号化されているＩピクチャフレーム（フレーム内符号化フレーム）のＤＣＴ（離散コサイン変換）係数のみを復号し、その直流成分を用いることによって、縮小画像を作成する。
【００９６】
図１０の記述方法では、画像データをそれぞれ別のファイルに格納していたが、これらのファイルはランダムアクセス可能な映像フォーマット（例えば、ＭｏｔｉｏｎＪＰＥＧ）を持つ画像データ群格納ファイルにまとめて格納してもよい。この場合、画像データの位置は、画像データ群格納ファイルの位置を示すＵＲＬおよび画像データ群格納ファイル内での位置を示すフレーム番号またはタイムスタンプの組み合わせによって記述される。画像データ群格納ファイルの位置を示すＵＲＬ情報は、個々のフレーム情報内に記述してもよいし、フレーム情報の配列外に付加情報として記述してもよい。
【００９７】
元映像のどのフレームを選択して画像データを作成して映像位置情報に記述するかについては、様々な方法をとることができる。例えば、元映像から等間隔に画像データを抽出してもよいし、画面の動きの多いところは狭い間隔で多くの画像データを抽出し、動きの少ないところは広い間隔で少ない画像データを抽出してもよい。
【００９８】
図１１を参照しながら、フレーム選択方法の一例として、画面の動きに応じて、画面の動きの多いところは狭い間隔で多くの画像データを抽出し、動きの少ないところは広い間隔で少ない画像データを抽出する方法について説明する。
【００９９】
図１１において、横軸はフレーム番号を表し、曲線８００は（隣接フレーム間の）画面変化量の変化を表している。各フレームの画面変化量の算出方法は、後述する表示時間情報を求める際の手法と同様である。ここでは、画面の動きに応じて抽出間隔を決定するために、画像データ抽出元の映像フレーム間の画像変化量が一定となるような間隔を求める方法を示す。画像データ抽出元の映像フレーム間の画面変化量の合計をＳｉ、全フレームの画面変化量の総和をＳ（＝ΣＳｉ）とし、抽出する画像データ数をｎとする。画像データ抽出元フレーム間の画像変化量を一定にするには、Ｓｉ＝Ｓ／ｎとなればよい。図１１では、画面変化量の曲線８００が破線によって区切られた区間の面積Ｓｉが一定になることに対応する。そこで、例えば、先頭フレームより、順次画面変化量を加算し、その値がＳ／ｎを超えたフレームを画像データ抽出元の映像フレームＦｉとする。
【０１００】
ＭＰＥＧのＩピクチャフレームより画像データを生成する場合には、算出された画像データ作成元フレームがＩピクチャであるとは限らないので、近傍のＩピクチャフレームより、画像データを作成する。
【０１０１】
ところで、図１１で説明した方法においては、画面変化量＝０の区間に属する映像は、スキップされることになる。しかし、例えば静止画像が継続する場合には、重要な場面であることも多い。そこで、画面変化量＝０が一定時間以上経過した場合には、そのときのフレームを抜き出すようにしてもよい。この場合においては、例えば、先頭フレームより、順次画面変化量を加算し、その値がＳ／ｎを超えたフレーム、または画面変化量＝０が一定時間以上経過したフレームを画像データ抽出元の映像フレームＦｉとするようにしてもよい。画面変化量＝０が一定時間以上経過してフレームを抽出したときに、画面変化量の加算値を０にクリアする方法と、クリアせずに保持する方法とがある。この方法を使うか否かを選択可能にしてもよい。
【０１０２】
図１１の例の場合、いずれのフレームについても表示時間は同じとなるように表示時間情報１２１を記述することを想定しているが（この表示時間情報１２１に従って一定時間ずつ再生したときに、画面の変化量が一定となる）、表示時間情報１２１は一定ではなく、別の方法で求めて記述するようにしても構わない。
【０１０３】
次に、１つのフレーム情報に、１または複数のフレームを対応させる場合について説明する。
【０１０４】
この場合の特殊再生制御情報のデータ構造の一例は図８と同様である。
【０１０５】
以下、図１２〜図２１を用いて、映像の位置情報の記述方法を説明する。
【０１０６】
図１２は、元映像の連続するフレームを参照する映像位置情報の記述方法を説明する図である。
【０１０７】
図９によって示される映像位置情報の記述方法は、特殊再生を行おうとする元映像内の１フレームを参照するものであったが、図１２によって示される映像位置情報の記述方法は、元映像内の連続する複数のフレームの集合５００を記述するものである。フレームの集合５００は元映像内の連続する複数のフレームのうちの一部分を抜き出したものであってもよい。また、フレームの集合５００のうちに１つのフレームのみ含むものがあってもよい。
【０１０８】
フレームの集合５００が、元映像内の連続する複数のフレームまたは１つのフレームを含むものである場合には、フレーム位置の記述は、開始フレームおよび終了フレームの位置を記述するか、開始フレームの位置と記述区間の継続時間を記述する。１つのフレームを含むものである場合には、例えば、開始フレームと終了フレームの位置を同じにすればよい。位置や時間の記述は、フレーム番号やタイムスタンプなど、ストリーム内のフレームを特定できるものを用いる。
【０１０９】
フレームの集合５００が、元映像内の連続する複数のフレームのうちの一部分である場合には、そのフレームが特定可能になるような情報を記述する。フレームの抜き出し方法が決まっており、例えば開始フレームおよび終了フレームの位置を記述すればフレームが特定可能となる場合には、それらを記述すればよい。
【０１１０】
図１２の表示時間情報５０１は、対応する元映像フレーム集合５００に含まれるフレーム群全体に対応する総表示時間を示すものである。元映像フレーム集合５００に含まれる各フレームの表示時間については、特殊再生する装置側で適宜決定可能とすることができる。簡単な方法としては、上記の総表示時間を全フレーム数で均等割りして、１つのフレームの表示時間とする方法がある。もちろん、その他にも、種々の方法がある。
【０１１１】
図１３は、画像データファイルを参照する映像位置情報の記述方法を説明する図である。
【０１１２】
図１２によって示される映像位置情報の記述方法は、再生しようとする元映像内の連続するフレームを直接参照するものであったが、図１３によって示される映像位置情報の記述方法は、元映像ストリームから抜き出したフレーム集合６０２に対応する画像データのフレーム集合６００を別のファイルに用意し、その位置を記述するものである。ファイル位置の記述方法は、例えば、ＵＲＬなどを用いることにより、ローカルな記憶装置上に存在する場合でも、ネットワーク上に存在する場合でも同様に扱うことが可能である。この画像データファイルの位置を示す映像位置情報１０１と、対応する表示時間６０１の長さを示す映像表示時間１２１との組をフレーム情報として記述する。
【０１１３】
元映像フレームとの対応が必要な場合は、記述したフレーム情報に対応する元映像のフレーム集合６０２を示す情報（例えば図１２の場合における映像位置情報と同様のもの）をフレーム情報に含めればよい。この場合、フレーム情報は、映像位置情報、表示時間情報、元映像情報より構成されることとなる。もちろん、元映像情報は、必要がなければ記述する必要はない。
【０１１４】
画像データの形態や、画像データの作成、縮小画像の作成、画像データの格納方法、ＵＲＬなどの位置情報の記述方法等については、前述と同様である。
【０１１５】
元映像のどのフレームを選択して画像データを作成して映像位置情報に記述するかについても、前述と同様、様々な方法をとることができ、例えば、元映像から等間隔に画像データを抽出してもよいし、画面の動きの多いところは狭い間隔で多くの画像データを抽出し、動きの少ないところは広い間隔で少ない画像データを抽出してもよい。
【０１１６】
上記した実施形態では画像データファイル３００と元映像３０２の対応付けをフレーム単位で行っているが、元映像情報として記述するフレームの位置情報に時間的な幅を持たせることも可能である。それためのフレーム情報のデータ構造は例えば、図１４のようになる。図１４では図８のフレーム情報に元映像情報３７０１が追加されている。元映像情報３７０１には特殊再生対象である元映像の対応区間の始点位置と区間長が、それぞれ始点情報３７０２、区間長情報３７０３として記述される。
【０１１７】
元映像情報として記述する情報は区間を特定できるものならなんでもよい。ここでは始点位置と区間長を用いたが、それらに代えて、始点位置と終点位置を元映像情報として用いてもよい。
図１５は図９に対して、元映像情報に時間的な幅を持たせた例である。この場合、例えば、同一のフレーム情報に含まれる映像位置情報、表示時間情報、元映像情報として、それぞれ、元映像フレーム３８０１の位置、表示時間３８０２、元映像フレーム区間３８０３（始点フレーム位置と区間長）を記述し、お互いが対応していることを示す。つまり、元映像フレーム区間３８０３を代表する画像として、映像位置情報に記述された元映像フレーム３８０１を表示することになる。
【０１１８】
図１６は図１０に対して、元映像情報に時間的な幅を持たせた例である。この場合、例えば、同一のフレーム情報に含まれる映像位置情報、表示時間情報、元映像情報として、それぞれ、表示用画像データファイル３９０１の格納場所、表示時間３９０２、元映像フレーム区間３９０３（始点フレーム位置と区間長）を記述し、お互いが対応していることを示す。つまり、元映像フレーム区間３９０３を代表する画像として、映像位置情報に記述された画像データファイルの画像３９０１を表示することになる。
【０１１９】
また、図１２、１３で示したようにフレームの集合を表示用映像として用いる場合において、表示用の映像に用いられている元映像フレーム区間とは異なる区間を元映像情報として対応付けても構わない。
【０１２０】
図１７は図１２に対して、元映像情報に時間的な幅を持たせた例である。この場合、例えば、同一のフレーム情報に含まれる映像位置情報、表示時間情報、元映像情報として、それぞれ、元映像中のフレームの集合４００１、表示時間４００２、元映像フレーム区間４００３（始点フレーム位置と区間長）を記述し、お互いが対応していることを示す。このとき、映像位置情報として記述するフレームの集合の区間４００１と元映像情報として記述する元映像フレーム区間４００３は必ずしも一致する必要はなく、異なる区間を表示用に用いても構わない。
【０１２１】
図１８は図１３に対して、元映像情報に時間的な幅を持たせた例である。この場合、例えば、同一のフレーム情報に含まれる映像位置情報、表示時間情報、元映像情報として、それぞれ、表示に用いるフレーム集合４１０１の格納場所、表示時間４１０２、元映像フレーム区間４１０３（始点フレーム位置と区間長）を記述し、お互いが対応していることを示す。
【０１２２】
このとき、映像位置情報として記述するフレームの集合４１０１の区間と元映像情報として記述する元映像フレーム区間４１０３は必ずしも一致する必要はない。つまり、表示用フレームの集合４１０１の区間が元映像フレーム区間４１０３より、短くてもよいし、長くてもよい。また、内容が全く異なる映像が含まれていてもよい。その他に、映像データファイルとして、元映像情報に記述された区間のうち特に重要な区間のみを抜き出して、まとめた映像データファイルを使用する方法も考えられる。
【０１２３】
これらのフレーム情報を用いて、例えば要約再生（特殊再生）映像を閲覧する際に、元映像中の対応するフレームを参照したい場合もある。
【０１２４】
図１９は要約表示された映像のフレームに対応する元映像のフレームから再生を開始するためのフローである。ステップＳ３６０１で、要約映像で再生開始フレームを指定する。ステップＳ３６０２では後述する方法で、指定されたフレームに対応する元映像フレームを算出する。ステップＳ３６０３では算出されたフレームより元映像を再生する。
【０１２５】
もちろん、このフローは再生以外にも元映像の対応する位置を参照するために用いることが可能である。
【０１２６】
ステップＳ３６０２において、対応する元映像フレームを算出する方法の一例として、要約映像で指定されたフレームの表示時間に対する比例配分を用いる方法を示す。ｉ番目のフレーム情報の含まれる表示時間情報をＤｉ秒とし、元映像情報の区間始点位置をｔｉ秒、 区間長をｄｉ秒とする。ｉ番目のフレーム情報を用いた再生が始まってから、ｔ秒経過した位置を指定した場合、対応する元映像のフレームの位置はＴ＝ｔｉ＋ｄｉ×ｔ／Ｄｉとなる。
【０１２７】
次に、特殊再生、要約再生するフレーム選択の方法を説明する。
【０１２８】
図２０、図２１を参照しながら、フレーム選択方法の一例として、画面の動きに応じて、画面の動きの多いところは狭い間隔で多くの画像データを抽出し、動きの少ないところは広い間隔で少ない画像データを抽出する方法について説明する。図２０、図２１の横軸や曲線８００やＳｉやＦｉは図１１と同様である。
【０１２９】
図１１の例では、画像データ抽出元フレーム間の画像変化量が一定となるような間隔で、１フレームづつ抽出した。図２０、図２１は、フレーム番号Ｆｉを基準として複数のフレームの集合を抽出する例を示している。この場合、例えば、図２０に示すようにフレーム番号Ｆｉから一定数の連続するフレームを抽出するようにしてもよいし（フレーム長８１１とフレーム長８１２は同一）、図２１に示すようにフレーム番号Ｆｉから画像変化量の総和が一定となるようにそれぞれ該当する数の連続するフレームを抽出するようにしてもよい（面積８１３と面積８１４が同一）。もちろん、その他にも種々の方法が考えられる。
【０１３０】
もちろん、前述した画面変化量＝０が一定時間以上経過した場合のＦｉの抽出処理も用いることが可能である。
【０１３１】
図１１の場合と同様、図２０、図２１の例の場合、いずれのフレーム集合についても同じ表示時間となるように表示時間情報１２１を記述するようにしてもよいし、別の方法で表示時間を求めて記述するようにしても構わない。
【０１３２】
次に、表示時間を決定する処理の一例について説明する。
【０１３３】
図２２は、映像位置情報に記述された映像を、表示時間情報に記述された時間どおりに連続的に再生したときに、画面の変化量ができる限り一定となるような表示時間を求めるための基本処理手順の一例である。
【０１３４】
この処理は、フレームの抽出をどのような方法で行った場合にも適用可能であるが、例えば図１１のような方法でフレームを抽出した場合にはこの処理は省くことができる。何故ならば、図１１は表示時間一定で画面の変化量ができる限り一定となるようにフレームを選択したからである。
【０１３５】
ステップＳ７１では、元映像の全フレームについて隣接フレームとの間の画面変化量を求める。映像の各フレームがビットマップにより表現されている場合は、隣接するフレーム間の画素の差分値を画面変化量とすることができる。映像がＭＰＥＧによって圧縮されている場合は、動きベクトルを用いて、画面変化量を求めることが可能である。
【０１３６】
画面変化量の求め方の一例を説明する。
【０１３７】
図２３は、ＭＰＥＧにより圧縮された映像ストリームから、全フレームの画面変化量を求めるための基本処理手順の一例である。
【０１３８】
ステップＳ８１では、Ｐピクチャのフレームから動きベクトルを抽出する。ＭＰＥＧによって圧縮された映像のフレームは、図２４に示すように、Ｉピクチャ（フレーム内符号化フレーム）、Ｐピクチャ（前方予測フレーム間符号化フレーム）、Ｂピクチャ（双方向予測フレーム間符号化フレーム）の並びによって記述される。このうち、Ｐピクチャには直前のＩピクチャまたはＰピクチャからの動きに対応する動きベクトルが含まれている。
【０１３９】
ステップＳ８２では、１つのＰピクチャのフレームに含まれる各動きベクトルの大きさ（強度）を求め、その平均を直前のＩピクチャまたはＰピクチャからの画面変化量とする。
【０１４０】
ステップＳ８３では、Ｐピクチャのフレームに対して求めた画面変化量をもとに、Ｐピクチャ以外のフレームを含めた全フレームに対応する１フレームごとの画面変化量を算出する。例えば、Ｐピクチャのフレームの動きベクトルの平均値がｐで、参照元となる直前のＩピクチャまたはＰピクチャのフレームからの間隔がｄである場合、間の各フレームの１フレームあたりの画面変化量はｐ／ｄである。
【０１４１】
続いて、図２２の手順におけるステップＳ７２では、映像位置情報に記述する記述対象フレームから、次の記述対象フレーム間での間にあるフレームの画面変化量の総和を求める。
【０１４２】
図２５は、１フレームごとの画面変化量の変化を記述した図である。横軸はフレーム番号に対応し、曲線１０００が画面変化量の変化を表す。フレーム位置Ｆｉの位置情報を持つ映像の表示時間を求める場合、次の記述対象フレーム位置であるＦｉ＋１までの区間１００１の画面変化量を累積加算する。これは、斜線部１００２の面積Ｓｉとなり、フレーム位置Ｆｉの動きの大きさと考えることができる。
【０１４３】
続いて、図２２の手順におけるステップＳ７３では、各フレームの表示時間を求める。画面の変化量をできるだけ一定にするためには、画面の動きの大きいフレームほど、表示時間を多く配分すればよいので、各フレーム位置Ｆｉの映像に配分する表示時間の再生時間に対する割合を、Ｓｉ／ΣＳｉとすればよい。再生時間の総和をＴとすると、各映像の表示時間は、Ｄｉ＝Ｔ・Ｓｉ／ΣＳｉとなる。再生時間の総和Ｔの値は、標準の再生時間で、元映像の総再生時間と規定しておく。
【０１４４】
画面変化がなくＳｉ＝０となる場合は、予め決められた下限値（例えば、１）を入れてもよいし、そのフレーム情報を記述しなくてもよい。Ｓｉ＝０とならないまでも、画面変化が非常に小さく、実際の再生においてほとんど表示されないことが予想されるフレームに関しても、下限値を代入してもよいし、フレーム情報を記述しなくてもよい。フレーム情報を記述しない場合は、Ｓｉの値はＳｉ＋１に加算してもよいし、しなくてもよい。
【０１４５】
この表示時間を求める処理は、特殊再生制御情報生成装置にてフレーム情報作成のために行うことができるが、映像再生装置側で特殊再生時に行うことも可能である。
【０１４６】
次に、特殊再生を行う場合の処理の例について説明する。
【０１４７】
図２６は、記述された特殊再生制御情報に基づき、Ｎ倍速再生を行うための処理手順の一例である。
【０１４８】
ステップＳ１１１では、再生倍率に基づいて、再生時の表示時間Ｄ’ｉを算出する。フレーム情報に記述されている表示時間情報は、標準の表示時間なので、Ｎ倍速での再生を行う場合、各フレームの表示時間Ｄ’ｉ＝Ｄｉ／Ｎとなる。
【０１４９】
ステップＳ１１２では、表示のための初期化を行う。すなわち、先頭のフレーム情報を表示するようにｉ＝０とする。
【０１５０】
ステップＳ１１３では、ｉ番目のフレーム情報の表示時間Ｄ’ｉが予め設定された表示時間の閾値より大きいか否かを判定する。
【０１５１】
大きい場合は、ステップＳ１１４において、ｉ番目のフレーム情報Ｆｉに含まれる映像位置情報の映像をＤ’ｉ秒間表示する。
【０１５２】
大きくない（下回る）場合は、ステップＳ１１５に進み、表示時間の閾値を下回らないｉ番目のフレーム情報を順方向に探索する。この間、表示時間の閾値を下回ったフレーム情報の表示時間は、すべて探索の結果得られたｉ番目のフレーム情報の表示時間に加算し、表示時間の閾値を下回ったフレーム情報の表示時間は０とする。このような処理を行うのは、再生時の表示時間が非常に短くなると、表示する映像を準備する時間が表示時間よりも長くなり、表示が間に合わなくなる場合があるためである。そこで、表示時間が非常に短い場合は、表示をせずに先に進むようにする。その際に総再生時間が変わらないように、表示されなかった映像の表示時間を表示される映像の表示時間に加算する。
【０１５３】
ステップＳ１１６では、まだ表示されていないフレーム情報が残っていないかを判断するために、ｉがフレーム情報の総数を下回っているか判定する。下回っている場合は、ステップＳ１１７へ進み、ｉを１増加させて次フレーム情報の表示を行う準備をする。ｉがフレーム情報の総数に到達した場合は、再生処理を終了する。
【０１５４】
図２７は、既定の表示サイクル（例えば、１秒間に３０フレームを表示する場合、１表示サイクルは１／３０秒）を基準にして、記述された特殊再生制御情報に基づき、Ｎ倍速再生を行うための処理手順の一例である。
【０１５５】
ステップＳ１２１では、Ｎ倍速再生時に、各フレームの表示時間Ｄ’ｉを、Ｄ’ｉ＝Ｄｉ／Ｎとして求める。ここで算出される表示時間は、実際には表示サイクルとの関係があるので、算出された表示時間で映像を表示できるとは限らない。
【０１５６】
図２８は、算出された表示時間と表示サイクルの関係を表した図である。時間軸１３００は算出された表示時間を示し、時間軸１３０１は表示レートに基づく表示サイクルを示す。表示レートがｆフレーム／秒の場合、表示サイクルの間隔は１／ｆ秒となる。
【０１５７】
したがって、ステップＳ１２２では、表示サイクルの開始点が含まれるフレーム情報Ｆｉを探索し、ステップＳ１２３では、フレーム情報Ｆｉに含まれる映像を１表示サイクル（１／ｆ秒）表示する。
【０１５８】
例えば、表示サイクル１３０２は、表示開始点１３０３が、算出された表示時間１３０４に含まれるので、この表示時間に対応するフレーム情報の映像を表示する。
【０１５９】
表示サイクルとフレーム情報との対応付け方法は、図２９に示すように、表示サイクル開始点の最も近傍の映像を表示するようにしてもよい。図２８の表示時間１３０５のように、表示時間が表示サイクルより小さくなった場合は、その映像の表示を省略してもよいし、強制的に表示してもよい。強制的に表示した場合は、前後の表示時間を短くして全体の総表示時間が変わらないように調整する。
【０１６０】
ステップＳ１２４では、現在の表示が最終表示サイクルであるかを調べ、最終表示サイクルであれば処理を終了し、最終表示サイクルでなければ次の表示サイクルを処理するために、ステップＳ１２５へ進む。
【０１６１】
フレーム情報記述の他の例を説明する。
【０１６２】
図８あるいは図１４のデータ構造に含まれるフレーム情報は単一の元映像を要約する場合について扱ったものであるが、フレーム情報を拡張することによって、複数の元映像をまとめて要約することができる。図３０はその一例で、個々のフレーム情報に含まれる元映像情報４２０１に元映像ファイルの位置などを示す元映像位置情報４２０２を追加した構造となっている。元映像位置情報に記述されるファイルは必ずしもファイル全体の区間を扱う必要はなく、一部区間のみを抜き出した形で用いてもよい。この場合、ファイル名などファイルの情報だけでなく、ファイルのどの区間が対象となっているかを示すための区間情報も合わせて記述する。映像ファイルから選択する区間は１つの映像に対して、複数であってもよい。
【０１６３】
また、元映像が何種類か存在し、個々に識別情報が付与されている場合は、元映像位置情報の代わりに元映像識別情報を記述してもよい。
【０１６４】
図３１は元映像位置情報を追加したフレーム情報を用いて、複数の元映像をまとめて要約表示する例について説明する図である。この例では３つの映像（映像１、映像２、映像３）をまとめて、１つの要約映像を表示している。映像２に関しては全区間ではなく、４３０１と４３０２の２箇所の区間を取り出して、別々の元映像として扱っている。フレーム情報としてはこれらの元映像情報と共に、それぞれを代表する画像のフレーム位置（４３０１に対しては４３０３）が映像位置情報として、また、表示時間（４３０１に対しては４３０４）が表示時間情報として記述される。
【０１６５】
図３２は元映像位置情報を追加したフレーム情報を用いて、複数の元映像をまとめて要約表示する別の例について説明する図である。この例でも３つの映像をまとめて、１つの要約映像を表示している。映像２に関しては全区間ではなく、一部区間を取り出して、別々の元映像として扱っている。もちろん、図３１のように複数の区間を取り出してもよい。フレーム情報としてはこれらの元映像情報（例えば映像２に加え４４０１の区間情報）と共に、それぞれを代表する画像ファイル（４４０２）の格納場所が映像位置情報として、また、表示時間（４４０３）が表示時間情報として記述される。
【０１６６】
これらの例で説明したようなフレーム情報への元映像位置情報の追加は、フレームの集合を映像位置情報として用いる場合においても、全く同じように適用することができ、複数の元映像をまとめた要約表示が可能である。
【０１６７】
図３３はフレーム情報を記述するための別のデータ構造である。このデータ構造では既に説明した映像位置情報、表示時間情報、元映像情報に加えて、動き情報４５０１と注目領域情報４５０２が加わっている。動き情報とはフレーム情報が対応する元映像の区間（すなわち元映像情報に記述された区間）の動きの大きさ（画面の変化量）を記述する。注目領域情報とは映像位置情報に記述されている画像の中で特に注目すべき領域の情報を記述したものである。
【０１６８】
動き情報は図２２において、映像の動きから表示時間を算出する際に用いたように映像位置情報に記述される画像の表示時間を算出するために用いることが可能である。この場合、表示時間情報を省略し、動き情報のみを記述しても、表示時間を記述した場合と同様に早送りなどの特殊再生を行うことができる（この場合、再生時に表示時間を計算する）。
【０１６９】
表示時間情報と動き情報の両方を同時に記述することも可能であり、その場合は表示を行うアプリケーションが処理に合わせて必要な方を用いたり、組み合わせて用いればよい。
【０１７０】
例えば、表示時間情報には動きと関係なく算出された表示時間を記述しておく。元映像から、重要な場面を切り出す表示時間の算出方法などがこれに該当する。このように算出された要約表示の早送りを行う際に、動き情報を用いて、動きの大きい部分は遅めに、動きの小さい部分の速めに再生を行うことによって、見落としの少ない早送りが可能である。
【０１７１】
注目領域情報はフレーム情報の映像位置情報に記述された画像の中で特に注目すべき領域が存在するときに用いる。例えば、視聴者にとって重要と思われる人物の顔などがこれに該当する。このような注目領域情報を含む画像を表示する際には領域が分かるように矩形などを重ね合わせて表示してもよい。この表示は必須ではなく、そのまま画像を表示するだけでも構わない。
【０１７２】
注目領域情報はフレーム情報などの特殊再生情報を加工して表示したりすることも可能である。例えば、一部のフレーム情報のみを再生表示する場合に、注目領域情報が含まれるフレーム情報を優先的に表示する。また、大きな面積をもつ矩形領域が含まれるほど、重要度が高いという解釈を用いて、選択表示することも可能である。
【０１７３】
以上、画面変化量に基づいて要約再生するフレームを選択する場合を説明してきたが、以下では、重要度情報を利用してフレームを選択する場合を説明する。
【０１７４】
図３４、図３５は、映像に付帯させるフレーム情報のデータ構造の一例である。
【０１７５】
このデータ構造は、図１のフレーム情報のデータ構造において、表示時間制御情報１０２として（または表示時間制御情報１０２の代わりに）、表示時間の基となる情報である重要度情報１２２を記述するようにしたものである。
【０１７６】
重要度情報１２２は、対応するフレーム（またはフレーム集合）の重要度を表す。重要度は、例えば、一定範囲（例えば０から１００の間）の整数として表現したり、一定範囲（例えば０から１の間）の実数として表現する。あるいは、上限を定めずに整数、実数値として表現しても良い。重要度情報は、映像の全てのフレームに対して付帯させても良いし、重要度の変化したフレームのみ付帯させても良い。
【０１７７】
この場合、映像の位置情報の記述方法は、図９、図１０、図１２、図１３のいずれの形態をとることも可能である。図１１や図２０、図２１のフレーム抽出方法も利用可能である（この場合には、図１１や図２０、図２１の画面変化量を重要度に置き換えればよい）。
【０１７８】
次に、先に説明した例では、画面の変化量により表示時間の設定を行ったが、重要度情報により表示時間を設定することも可能である。以下、このような表示時間の設定方法について説明する。
【０１７９】
先に例示した画面の変化量に基づく表示時間設定では、映像内容を理解しやすくするため、変化量の大きいところでは表示時間を長く設定し、変化量の小さいところでは表示時間を短く設定した。この重要度に基づく表示時間設定では、重要度の高いところは表示時間を長く設定し、重要度の低いところでは表示時間を短くすれば良い。すなわち、重要度による表示時間の設定方法は、基本的に画面の変化量に基づく表示時間設定方法（図２５参照）と同様であるため、ここでは簡単に説明することにする。
【０１８０】
図３６に、この場合の基本処理手順の一例を示す。
【０１８１】
ステップＳ１９１では、元映像の全フレームの重要度を求める。その具体的な方法については後で例示する。
【０１８２】
ステップＳ１９２では、映像位置情報に記述する記述対象フレームから、次の記述対象フレームまでの間にあるフレームの重要度の総和を求める。
【０１８３】
図３７は、１フレームごとの重要度の変化を記述した図である。２２００が重要度である。フレーム位置Ｆｉの位置情報を持つ映像の表示時間を求める場合、次の記述対象フレーム位置であるＦｉ＋１ までの区間２２０１の重要度を加算する。加算結果は、斜線部２２０２の面積Ｓ’ｉとなる。
【０１８４】
ステップＳ１９３では、各フレームの表示時間を求める。各フレーム位置Ｆｉの映像に配分する表示時間の再生時間に対する割合を、Ｓ’ｉ／ΣＳ’ｊ とする。再生時間の総和をＴとすると、各映像の表示時間は、Ｄｉ＝Ｔ・Ｓ’ｉ／ΣＳ’ｊ となる。再生時間の総和Ｔの値は、標準の再生時間で、元映像の総再生時間と規定しておく。
【０１８５】
重要度の和がＳ’ｉ＝０となる場合は、予め決められた下限値（例えば、１）を入れてもよいし、そのフレーム情報を記述しなくてもよい。Ｓ’ｉ＝０とならないまでも、重要度が非常に小さく、実際の再生においてほとんど表示されないことが予想されるフレームに関しても、下限値を代入してもよいし、フレーム情報を記述しなくてもよい。フレーム情報を記述しない場合は、Ｓ’ｉの値はＳ’ｉ＋１ に加算してもよいし、しなくてもよい。
【０１８６】
図３５のように、図１のフレーム情報のデータ構造において、各フレーム情報ｉに、映像位置情報１０１と、表示時間情報１２１と、重要度情報１２２を記述するようにしてもよい。この場合において、特殊再生時には、表示時間情報１２１を用いるが重要度情報１２２を用いない方法と、重要度情報１２２を用いるが表示時間情報１２１を用いない方法と、両方用いる方法と、両方用いない方法がある。
【０１８７】
この表示時間を求める処理は、特殊再生制御情報生成装置にてフレーム情報作成のために行うことができるが、映像再生装置側で特殊再生時に行うことも可能である。
【０１８８】
次に、各フレームまたは場面（映像区間）の重要度の決定方法（例えば、図３６のステップＳ１９１）について説明する。
【０１８９】
映像のある場面が重要かどうかは、通常、様々な要因が絡み合っているため、重要度を決定する最も妥当な方法は、人間が決定する方法である。この方法では、映像のそれぞれの場面、または一定の時間間隔ごとに重要度評価者が重要度を評価し、重要度データへの入力を行う。ここで言う重要度データとは、フレーム番号または時刻と、そのときの重要度の値との対応表のことである。重要度の評価が主観的になってしまうことを避けるためには、複数の重要度評価者に同一の映像を評価してもらい、各場面または各映像区間ごとに平均値（またはメジアンなどでも良い）を算出して最終的な重要度を決定する。このような人手による重要度データ入力は、言葉では表現できないようなあいまいな印象や複数の要素を重要度に加味することが可能である。
【０１９０】
人間が決定する手間を省くためには、重要であると思われる映像場面に出現しそうな事象を考え、このような事象を自動で評価して重要度に変換する処理を利用するのが好ましい。以下、重要度の自動生成の例をいくつか示す。
【０１９１】
図３８は、音声レベルの大きな場面が重要であるとして、重要度データを自動算出する際の処理手順の一例である（図３８は機能ブロック図としても成立する）。
【０１９２】
ステップＳ２１０の音声レベル算出処理では、映像に付随している音声データが入力されると、各時刻における音声レベルを算出する。音声レベルは瞬時に大きく変化するため、ステップＳ２１０の音声レベル算出処理では平滑化等の処理を行っても良い。
【０１９３】
ステップＳ２１１の重要度算出処理では、音声レベル算出処理の結果出力される音声レベルを重要度に変換する処理を行う。例えば、あらかじめ定められている最低音声レベルを０、最高音声レベルを１００として入力された音声レベルを０から１００の値に線形に変換する。最低音声レベル以下の場合は０、最高音声レベル以上の場合は１００とする。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０１９４】
図３９は、他の重要度レベル自動決定方法の処理手順例である（図３９は機能ブロック図としても成立する）。
【０１９５】
図３９の処理は、映像に付随する音声中に、あらかじめ登録されている重要単語が多く出現する場面を重要であると判断するものである。
【０１９６】
ステップＳ２２０の音声認識処理では、映像に付随する音声データが入力されると、音声認識処理により人が話した言葉（単語）をテキストデータに変換する。
【０１９７】
重要単語辞書２２１には、重要な場面に登場しそうな単語が登録されている。登録されている単語の重要さの度合いが異なっている場合には、登録単語ごとに重みを付加しておく。
【０１９８】
ステップＳ２２２の単語照合処理では、音声認識処理の出力であるテキストデータと重要単語辞書２２１に登録されている単語を照合し、重要な単語が話されたかどうかを判定する。
【０１９９】
ステップＳ２２３の重要度算出処理では、単語照合処理の結果から映像の各場面や各時刻における重要度を算出する。この計算には、重要単語の出現数、重要単語の重みが使われ、例えば重要単語の出現した時刻の周辺（または出現した場面）の重要度を一定値もしくは重要単語の重みに比例する値だけ上昇させるといった処理を行う。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２００】
全ての単語の重みを同一とした場合には、重要単語辞書２２１は不要となる。これは、多くの単語が話された場面は重要な場面であると想定していることに相当する。このとき、ステップＳ２２２の単語照合処理では、単に音声認識処理から出力される単語の数をカウントする処理を行う。単語数ではなく、文字数をカウントするようにしても良い。
【０２０１】
図４０は、さらに他の重要度レベル自動決定方法の処理手順例である（図４０は機能ブロック図としても成立する）。
【０２０２】
図４０の処理は、映像中に登場するテロップに、あらかじめ登録されている重要単語が多く出現する場面を重要であると判断するものである。
【０２０３】
ステップＳ２３０のテロップ認識処理では、映像中の文字位置を特定し、文字位置の映像領域を２値化して文字認識を行う。認識された結果は、テキストデータとして出力される。
【０２０４】
重要単語辞書２３１は、図３９の重要単語辞書２２１と同様のものである。
【０２０５】
ステップＳ２３２の単語照合処理では、図３９の手順におけるステップＳ２２２と同様に、テロップ認識処理の出力であるテキストデータと重要単語辞書２３１に登録されている単語を照合し、重要な単語が登場したかどうかを判定する。
【０２０６】
ステップＳ２３３の重要度算出処理では、図３９の手順におけるステップＳ２２３と同様に、重要単語の出現数、重要単語の重みから各場面または各時刻における重要度を算出する。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２０７】
全ての単語の重みを同一とした場合には、重要単語辞書２３１は不要となる。これは、テロップとして多くの単語が出現した場面は重要な場面であると想定していることに相当する。このとき、ステップＳ２３２の単語照合処理では、単にテロップ認識処理から出力される単語の数をカウントする処理を行う。単語数ではなく、文字数をカウントするようにしても良い。
【０２０８】
図４１は、さらに他の重要度レベル自動決定方法の処理手順例である（図４１は機能ブロック図としても成立する）。
【０２０９】
図４１の処理は、映像中に登場するテロップの文字が大きいほど重要な場面であると判断するものである。
【０２１０】
ステップＳ２４０のテロップ検出処理では、映像中の文字列の位置を特定する処理を行う。
【０２１１】
ステップＳ２４１の文字サイズ算出処理では、文字列から個々の文字を切り出し、文字の大きさ（面積）の平均値または最大値を算出する。
【０２１２】
ステップＳ２４２の重要度算出処理では、文字サイズ算出処理の出力である文字サイズに比例した重要度を算出する。算出された重要度が大きすぎたり小さすぎたりした場合には、しきい値処理により重要度をあらかじめ決められた範囲内に収める処理も行う。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２１３】
図４２は、さらに他の重要度レベル自動決定方法の処理手順例である（図４２は機能ブロック図としても成立する）。
【０２１４】
図４２の処理は、映像中に人間の顔が登場する場面は重要であると判断するものである。
【０２１５】
ステップＳ２５０の顔検出処理では、映像中にある人間の顔らしい領域を検出する処理を行う。処理の結果として、人間の顔と判断された領域の数（顔の数）が出力される。顔の大きさ（面積）の情報も同時に出力するようにしても良い。
【０２１６】
ステップＳ２５１の重要度算出処理では、顔検出処理の出力である顔の数を定数倍して重要度を算出する。顔検出処理の出力が顔の大きさ情報を含む場合には、重要度は顔の大きさとともに増大するように計算される。例えば、顔の面積を定数倍して重要度を算出する。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２１７】
図４３は、さらに他の重要度レベル自動決定方法の処理手順例である（図４３は機能ブロック図としても成立する）。
【０２１８】
図４３の処理は、あらかじめ登録されている画像と類似した映像が登場する場面は重要である判断するものである。
【０２１９】
重要シーン辞書２６０には、重要と判断すべき画像が登録されている。画像は生データとして記録されていたり、データ圧縮された形式で記録されている。画像そのものではなく、画像の特徴量（色ヒストグラムや周波数など）を記録しておいても良い。
【０２２０】
ステップＳ２６１の類似度／非類似度算出処理では、重要シーンに登録されている画像と入力された画像データとの類似度または非類似度を算出する。非類似度としては、２乗誤差の総和や絶対値差分の総和などが用いられる。重要シーン辞書２６０に画像データが記録されている場合には、対応する画素ごとの２乗誤差の総和や絶対値差分の総和などが非類似度として算出される。重要シーン辞書２６０に画像の色ヒストグラムが記録されている場合には、入力された画像データに対して同様の色ヒストグラムを算出し、ヒストグラム同士の２乗誤差の総和や絶対値差分の総和を算出して非類似度とする。
【０２２１】
ステップＳ２６２の重要度算出処理では、類似度／非類似度算出処理の出力である類似度または非類似度から重要度を算出する。類似度が入力される場合には類似度が大きいほど大きな重要度となるように、非類似度が入力される場合には非類似度が大きいほど小さな重要度なるように重要度は計算される。重要度算出処理の結果、各時刻における重要度が決定され、重要度データとして出力される。
【０２２２】
さらに他の重要度レベル自動決定方法として、瞬間視聴率の高い場面を重要とする方法がある。瞬間視聴率のデータは、視聴率調査の集計結果として得られるものであり、この瞬間視聴率を定数倍することで重要度が算出される。もちろん、その他にも種々の方法がある。
【０２２３】
重要度の算出処理は、単独で用いてもよいし、複数を同時に用いて重要度を算出するようにしてもよい。後者の場合には、例えば、いくつかの異なる方法で一つの映像の重要度を算出し、最終的な重要度は平均値または最大値として算出するようにしてもよい。
【０２２４】
以上では画面変化量や重要度を例にとって説明を行ったが、画面変化量およびまたは重要度とともに、あるいは画面変化量および重要度に代えて、その他の１または複数種類の情報を用いる（フレーム情報に記述する）ことも可能である。
【０２２５】
次に、フレーム情報（図１参照）に、再生／非再生の制御のための情報を付加する場合について説明する。
【０２２６】
映像データ中における、特定の場面あるいは部分（例えばハイライトシーン）のみを再生したり、特定の人物が登場している場面あるいは部分のみを再生したいなどというように、映像の一部のみを見たいという要求がある。
【０２２７】
この要求を満たすため、フレーム情報に、再生するか非再生にするかを制御するための再生／非再生情報を付加するようにしてもよい。これにより、再生側では、この再生／非再生情報に基づいて、映像の一部のみを再生したり、逆に映像の一部のみを再生しなかったりすることができる。
【０２２８】
図４４、図４５、図４６に、再生／非再生情報を付加したデータ構造例を示す。
【０２２９】
図４４は、図８のデータ構造例において、再生／非再生情報１２３を付加したものである。もちろん、図４５、図４６は、図３４、図３５のデータ構造に再生／非再生情報１２３を付加したものである。図示していないが、図１のデータ構造例において、再生／非再生情報を付加してもよい。
【０２３０】
再生／非再生情報１２３は、再生するか非再生にするかの２値情報を指定する方法と、再生レベルのような連続値を指定する方法がある。
【０２３１】
後者の場合には、例えば、再生時に再生レベルがある閾値以上だったら再生し、そうでなければ非再生とする。閾値は、例えば、ユーザが直接的にまたは間接的に指定可能としてもよい。
【０２３２】
再生／非再生情報１２３は、独立した情報とし保持してもよいが、再生か非再生かを選択的に指定する場合において、表示時間情報１２１により示される表示時間が特定の値（例えば、０あるいは−１など）のときに非再生であるとすることも可能である。あるいは、重要度情報１２２により示される重要度が特定の値（例えば、０あるいは−１など）のときに非再生であるとすることも可能である。この場合には、再生／非再生情報１２３は付加しなくてよい。
【０２３３】
再生か非再生かをレベル値で指定する場合においても、表示時間情報１２１およびまたは重要度情報１２２（ただし、重要度をレベル値で表す場合）で代用することも可能である。
【０２３４】
再生／非再生情報１２３を独立した情報として保持する場合は、データ量がその分増えるが、再生側で非再生指定部分を再生しないようにしてダイジェストを見ることもできるし、非再生指定部分も再生して映像の全部を見ることも可能となる（再生／非再生情報１２３を独立した情報として保持しない場合は、非再生指定部分も再生して映像の全部を見るためには、例えば０として指定されている表示時間を適宜変更する必要がある）。
【０２３５】
再生／非再生情報１２３は、人間が入力してもよいし、なんらかの条件より決定してもよい。例えば、映像の動き情報から動きが一定値以上大きいときは再生、そうでなければ非再生とすれば、動きの激しいところのみ再生できるし、色情報から肌色が一定値より大きいか小さいかから決定すれば人物がいるところのみ再生できる。音の大小によって決定する手法、あらかじめ入力されている再生プログラム情報から決定する手法も考えられる。重要度をなんらかの手法で決定しておき、重要度情報から再生／非再生情報１２３を生成してもよい。再生／非再生情報を連続値としたときは、これらの情報を適当な関数で再生／非再生情報に変換することによって求ればよい。
【０２３６】
図４７は、再生／非再生情報１２３に基づいて、再生／非再生の制御を行って再生した例を示す。
【０２３７】
図４７において、元映像２１５１を、Ｆ１〜Ｆ６で表される映像フレーム位置情報または映像フレーム群位置情報２１５３と、Ｄ１〜Ｄ６で表される表示時間情報２１５４に基づいて再生するとする。このとき、再生／非再生情報２１５５は、表示時間情報２１５４に付加されるものとする。この例において、Ｄ１，Ｄ２，Ｄ４，Ｄ６の区間が再生となり、それ以外の区間が非再生となった場合には、再生映像２１５２としては、Ｄ１，Ｄ２，Ｄ４，Ｄ６の区間が連続的に再生される（それ以外は非再生となる）。
【０２３８】
例えば、再生映像のフレームＦｉにおいて、再生／非再生情報１２３が再生を示すものであったときの表示時間をＤ+ ｉ、非再生であったときの表示時間をＤ- ｉとしたとき、元映像の再生部分の総時間がＴ’であるとすると、ΣｉＤ+ ｉ＝Ｔ’になる。通常は、Ｄ+ ｉは、元映像と等倍速に表示時間を設定しておく。あらかじめ決め事として暗黙の固定された倍速としても良いし、何倍速に設定するかの情報を記述しても良い。Ｎ倍速再生したい場合は、再生部分の表示時間Ｄ+ ｉを１／Ｎ倍する。例えば、決められた時間Ｄ’で再生を行うようにするためには、各再生部分の表示時間Ｄ+ ｉをＤ’／ΣｉＤ+ ｉ倍に加工して表示すれば良い。
【０２３９】
フレーム情報に基づいて各フレーム（またはフレーム群）の表示時間を決定する場合に、決定された表示時間を調整するようにしてもよい。
【０２４０】
決定された表示時間を調整しない方法では、非再生の区間が発生したことを考慮せずに決定された表示時間をそのまま用いるので、非再生の区間にもともと０を越える表示時間が割り当てられていた場合には、その分だけ全体の表示時間が短くなる。
【０２４１】
決定された表示時間を調整する方法では、例えば、非再生の区間にもともと０を越える表示時間が割り当てられている場合には、非再生の区間を再生したときと全体の表示時間が同じになるように、再生する各フレーム（またはフレーム群）の表示時間に一定数を乗じて、調整を行う。
【０２４２】
ユーザが、調整するか否かを選択可能としてもよい。
【０２４３】
ユーザがＮ倍速再生を指定した場合にも、決定された表示時間を調整せずにＮ倍速再生の処理を行ってもよいし、決定された表示時間を上記のようにして調整した後の表示時間を基礎としてＮ倍速再生の処理を行ってもよい（前者の方が表示時間が短くなる）。
【０２４４】
ユーザが全体の表示時間を指定可能としてもよい。この場合にも、例えば、指定された全体の表示時間になるように、再生する各フレーム（またはフレーム群）の表示時間に一定数を乗じて、調整を行うようにしてもよい。
【０２４５】
図４８は、再生／非再生情報１２３に基づいて映像の一部のみを再生する処理手順の一例を示す。
【０２４６】
ステップＳ１６２で該フレームのフレーム情報（映像位置情報及び表示時間情報）を読み出し、ステップＳ１６３で表示時間情報内の再生／非再生情報より該フレームを再生するか、非再生とするかを判断する。
【０２４７】
判断結果が再生であれば、ステップＳ１６４で表示時間分だけ該フレームを表示する。そうでなければ、そのフレームは再生せず、次のフレームの処理に移る。
【０２４８】
ステップＳ１６１で再生すべき映像が終了したかどうかを判別し、映像が終了したら、再生処理も終了する。
【０２４９】
ところで、ステップＳ１６３で該フレームを再生するか非再生にするかを判断するときには、単純に再生／非再生情報が再生であれば再生し、非再生であれば再生しないという以外に、ユーザーの好みによって非再生部を再生するか再生しないかを決定したいことがある。このときは、映像の再生前にあらかじめ非再生部を再生するか再生しないかをユーザープロファイルなどから決定しておき、非再生部を再生するときは必ずステップＳ１６４でフレームの再生を行うようにする。
【０２５０】
その他にも、再生／非再生情報が再生レベルとして連続値として保存されていたときは、ユーザープロファイルから再生と非再生を区別する閾値を求め、再生／非再生情報が閾値を超えているかどうかで再生するか非再生にするかを判断するようにしてもよい。ユーザープロファイルを使う以外にも、例えば、各フレームごとに設定された重要度から閾値を計算したり、ユーザーからあらかじめ、またはリアルタイムに再生するか再生しないかの情報を受け取ってもよい。
【０２５１】
このように、フレーム情報に、再生するか非再生にするかを制御するための再生／非再生情報１２３を付加することによって、映像の一部のみを再生することが可能となり、ハイライトシーンのみを再生したり、興味有る人物や物体が出ているシーンのみを再生したりすることが可能となる。
【０２５２】
次に、フレーム情報（図１参照）に、表示される映像に関連した映像以外のメディア（例えばテキストや音）の位置情報と、それらを表示もしくは再生する時間を付加情報とする場合の記述方法について説明する。
【０２５３】
図８では各フレーム情報１００に映像位置情報１０１と表示時間情報１０２が含まれ、図３４では各フレーム情報１００に映像位置情報１０１と重要度情報１０３が含まれ、図３５では各フレーム情報１００に映像位置情報１０１と表示時間情報１０２と重要度情報１０３が含まれ、図４４、図４５、図４６では、さらに再生／非再生情報１２３が含まれてる例を示したが、それらのいずれにおいても、さらに、０以上の音位置情報２７０３、音再生時間情報２７０４、０以上のテキスト情報２７０５、テキスト表示時間情報２７０６（ただし、いずれかは１以上とする）を付加するようにしてもよい。
【０２５４】
図４９は、図８のデータ構造例に、１組の音位置情報２７０３／音再生時間情報２７０４と、Ｎ組のテキスト情報２７０５／テキスト表示時間情報２７０６を付加した場合の例である。
【０２５５】
音は、音位置情報２７０３に格納した位置から音再生時間情報２７０４に格納した時間だけ再生を行う。再生の対象は、最初から映像に付帯していた音情報でもかまわないし、バックグラウンドミュージックなどを作成してあらたに付加してもかまわない。
【０２５６】
テキストは、テキスト情報２７０５に格納したテキスト情報をテキスト表示時間情報２７０６に格納した時間だけ表示する。１つの映像フレームに対して複数のテキスト情報を付加してもよい。
【０２５７】
音の再生とテキストの表示を開始する時刻は、関連付けられた映像フレームが表示されるのと同時である。音の再生時間とテキストの表示時間も関連付けられた映像フレームの表示時間以内となる。複数の映像フレームにわたって、連続した音を再生する場合には、音の位置情報と再生時間を連続するように設定すればよい。
【０２５８】
このような方法によって、要約音声や要約テキストなども可能になる。
【０２５９】
図５０に、フレーム情報とは別に音情報を記述する方法の一例を示す。これは、特殊再生を行う際に、表示されている映像フレームに関連する音声を再生するためのデータ構造例である。再生する音声の所在を示す位置情報２８０１と、音声の再生を開始する時刻２８０２と、再生を継続する時間２８０３の組を１つの音情報２８００とし、この音情報の配列として記述される。
【０２６０】
図５１に、テキスト情報を記述するためのデータ構造の一例を示す。図５０の音情報と同様な構造を持ち、表示するテキストの文字コード２９０１と、表示開始時刻２９０２と、表示時間２９０３の組を１つのテキスト情報２９００とし、このテキスト情報の配列として記述される。２９０１に該当する情報として文字コードの代わりに、その文字コードを保存した場所、あるいはその文字を画像として保存した場所などを指す位置情報を用いてもよい。
【０２６１】
上記の音情報やテキスト情報は、映像フレームの表示と同期をとり、表示されている映像フレームもしくはその映像フレームが存在する一定の映像区間に関連のある情報として表示される。図５２に示すように、音情報やテキスト情報は、時間軸３００１が示す時間の経過にしたがって、再生あるいは表示が開始される。まず、映像３００２は、各映像フレームが記述された順序で、記述された表示時間ずつ表示されることによって再生される。３００５、３００６、３００７はそれぞれ映像フレームを表しており、所定の表示時間が割り当てられている。音３００３は、各音情報に記述された再生開始時刻になると再生され、同様に記述された再生時間を過ぎると再生を停止する。図５２に示すように、同時に複数の音３００８と３００９が再生されてもよい。テキスト３００４も音と同様に、各テキスト情報に記述された表示開始時刻になると表示され、記述された表示時間を過ぎると表示を停止する。同時に複数のテキスト３０１０と３０１１を表示してもよい。
【０２６２】
音の再生開始時刻およびテキストの表示開始時刻は、映像フレームの表示を行う時刻と一致している必要はない。音の再生時間およびテキストの表示時間は、映像フレームの表示時間と一致している必要はない。これらは、自由に設定することができ、逆に音の再生時間やテキストの表示時間に応じて、映像フレームの表示時間を変更しても良い。
【０２６３】
これらは人間が手動で設定することも可能である。
【０２６４】
なお、図５０、図５１は映像のフレーム情報とは別に記述し、映像と同期して再生・表示する例であるが、映像とは別個に音、テキスト情報のみを記述して、音、テキストの要約再生、要約表示を行なってもよい。
【０２６５】
人間が決定する手間を省くためには、重要であると思われる映像場面に出現しそうな事象を考え、このような事象を自動的に設定する処理を利用するのが好ましい。以下、自動設定の例をいくつか示す。
【０２６６】
図５３は、ショットと呼ばれる画面の切り替わりから次の切り替わりまでの連続した映像区間を求め、そのショットに含まれる映像フレームの表示時間の総和を音声の再生時間とする処理手順の一例を示す（図５３は機能ブロック図としても成立する）。
【０２６７】
ステップＳ３１０１において、映像からショットを検出する。これには、「ゆう度比検定を用いたＭＰＥＧビットストリームからの動画像カット検出手法（信学論，Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ，Ｎｏ．３，ｐｐ．３６１−３７０，１９９９）」などの方法を用いる。
【０２６８】
ステップＳ３１０２において、映像フレームの位置情報を参照して、それぞれの映像フレームがどのショットに属しているかを調べる。さらに、映像フレームの表示時間の総和を取ることによって、それぞれのショットの表示時間を求める。
【０２６９】
例えば、音の位置情報はショットの始まりに対応した音声の位置とし、音の再生開始時刻はそれぞれのショットに属す最初の映像フレームの表示時刻にあわせ、音の再生時間はそのショットの表示時間に等しくすればよい。あるいは、音の再生時間に応じて、それぞれのショットに含まれる映像フレームの表示時間を修正してもよい。ここではショットを検出したが、（フレーム情報に重要度情報を記述するデータ構造をとる場合には）映像フレームに対する重要度を用いて、その重要度がしきい値以上の区間を求め、その区間に含まれる音を再生してもよい。
【０２７０】
求められた再生時間が一定基準に満たない場合には、当該音声は再生しないようにしてもよい。
【０２７１】
図５４は、ショットもしくは重要度の高い映像区間に対応する音声データから、音声認識によって重要な単語を取り出し、その単語もしくは単語が含まれる音声もしくは複数の単語を組み合わせた音声を再生する処理手順の一例を示す（図５４は機能ブロック図としても成立する）。
【０２７２】
ステップＳ３２０１において、ショットを検出する。ショットのかわりに前記重要度の高い映像区間を求めてもよい。
【０２７３】
ステップＳ３２０２において、得られた映像区間に対応する音声データの区間に対して、音声認識を行う。
【０２７４】
ステップＳ３２０３において、認識結果の中から、重要な単語を含む音声もしくは重要単語部分の音声を求める。重要単語を選択するには、重要単語辞書３２０４を参照する。
【０２７５】
ステップＳ３２０５において、再生用の音声を作成する。重要単語を含む連続した音声をそのまま用いてもよいし、重要単語のみを抽出してもよい。重要単語を複数組み合わせた音声を作成してもよい。
【０２７６】
ステップＳ３２０６において、作成した音声の再生時間に応じて、映像フレームの表示時間を修正する。ただし、音の再生時間が映像フレームの表示時間内となるように、選択した単語の数を減らし、音の再生時間を短くしてもよい。
【０２７７】
図５５に、テロップからテキスト情報を取得する手順の一例を示す（図５５は機能ブロック図としても成立する）。
【０２７８】
図５５の処理は、テキスト情報は、映像中に表示されるテロップあるいは音声から取得するものである。
【０２７９】
ステップＳ３３０１において、映像内で表示されるテロップを読み取る。これには、例えば文献「堀修：“テロップ領域のための映像からの文字部抽出法”、ＣＶＩＭ１１４−１７、ｐｐ．１２９−１３６（１９９９）」に記述されている方法等により、元映像中のテロップを自動抽出するか、人間がテロップを読み取って手入力する方法がある。
【０２８０】
ステップＳ３３０２において、読み取ったテロップ文字列から重要な単語を取り出す。重要単語の判定には、重要単語辞書３３０３を用いる。もちろん、読み取ったテロップ文字列をそのままテキスト情報としてもよい。抽出した単語を並べ、重要単語のみでその映像区間を表す文章を構成し、テキスト情報としてもよい。
【０２８１】
図５６に、音声からテキスト情報を取得する処理手順の一例を示す（図５６は機能ブロック図としても成立する）。
【０２８２】
ステップＳ３４０１の音声認識処理によって、音声を認識する。
【０２８３】
ステップＳ３４０２において、認識した音声データから重要な単語を取り出す。重要単語の判定には、重要単語辞書３４０３を用いる。もちろん、認識した音声データをそのままテキスト情報としてもよい。抽出した単語を並べ、重要単語のみでその映像区間を表す文章を構成し、テキスト情報としてもよい。
【０２８４】
図５７に、ショットもしくは重要度の高い映像区間からテロップ認識によって、テキスト情報を取り出し、テキスト情報を作成する処理手順の一例を示す（図５７は機能ブロック図としても成立する）。
【０２８５】
ステップＳ３５０１において、映像からショットを検出する。ショットではなく、重要度の高い区間を求めてもよい。
【０２８６】
ステップＳ３５０２において、その映像区間中に表示されるテロップを認識する。
【０２８７】
ステップＳ３５０３において、重要単語辞書３５０４を用いて、重要な単語を抽出する。
【０２８８】
ステップＳ３５０５において、表示用のテキストを作成する。これには、重要単語を含むテロップ文字列を用いてもよいし、重要単語のみ、もしくは重要単語を複数用いた文字列をテキスト情報としてもよい。音声認識によってテキスト情報を得る場合には、ステップＳ３５０２のテロップ認識処理の部分を音声認識処理におきかえ、音声データを入力とすればよい。テキスト情報は、そのテキストがテロップとして表示された映像フレーム、あるいは音声として再生された時刻の映像フレームに合わせて表示する。あるいは、その映像区間中のテキスト情報を一度に表示してもよい。
【０２８９】
図５８にテキスト情報の表示例を示す。図５８の（ａ）のように、テキスト情報表示部３６０１と映像表示部３６０２に分けてもよいし、図５８の（ｂ）のように、テキスト情報を映像表示部３６０３に重ねて表示してもよい。
【０２９０】
映像フレーム、音情報、テキスト情報それぞれの表示時間（再生時間）は、すべてのメディア情報が同期するように調整する。例えば、映像を倍速再生する際には、まず、前述の方法で重要な音声を抽出し、通常再生の２分の１の時間の音声情報を取得しておく。次に、それぞれの音声に関連した映像フレームに表示時間を割り当てる。画面の変化量が一定となるように映像フレームの表示時間を決めた場合には、音声の再生時間やテキストの表示時間は、それぞれ関連する映像フレームの表示時間内とする。もしくは、ショットのように複数の映像フレームを含む区間を求めておき、その区間に含まれる音声あるいはテキストをその区間の表示時間に応じて再生もしくは表示するようにする。
【０２９１】
これまでは、映像データを中心にして説明してきたが、音声データを中心に扱ったシステムももちろん可能である。
【０２９２】
これまでは映像を中心とした要約表示について扱ってきたが、フレーム情報を持たない（すなわち映像を持たない）形式で、音情報やテキスト情報を用いることも可能である。この場合、元映像に対して、音情報とテキスト情報だけで構成される要約を作成することになる。また、音声データや音楽データに対して、音情報とテキスト情報だけで構成される要約を作成することも可能である。
【０２９３】
その際に、フレーム情報の場合と同様に、音情報やテキスト情報に元の音声、音楽データとの対応関係を記述するための元データ情報を追加してもよい。
【０２９４】
図５９は図５０に示すデータ構造の音情報に、元データ情報４９０１を含めたデータ構造の例である。元データ情報４９０１は入力が映像の場合は映像の区間を示す時間（始点情報４９０２と区間長情報４９０３）となるし、入力が音声／音楽の場合は音声／音楽の区間を示す時間となる。
【０２９５】
図６０は図３０に相当するデータ構造の音情報に、元データ情報４９０１を含めたデータ構造の例である。
【０２９６】
図６１は音声情報を用いて、音声／音楽を要約した一例について説明したものである。この例では元となる音声／音楽をいくつかの区間に分割し、それぞれの区間の一部をその区間の要約音声／音楽として切り出して、要約を作成している。例えば、区間２の５００１の部分を要約音声／音楽として切り出し、要約の５００２の区間として再生する。区間を分割方法の例としては、音楽を楽章ごとに分けたり、会話を内容ごとに分けたりする方法が考えられる。
【０２９７】
また、フレーム情報の場合と同様に、音情報やテキスト情報に元データファイルおよび区間の記述を含めることによって、複数の音声、音楽データをまとめて要約することもできる。 このとき、個々の元データに識別情報が付与されている場合は元データファイルや区間を記述する代わりに、元データ識別情報を用いてもよい。
【０２９８】
図６２は音声情報を用いて、音声／音楽を要約した一例について説明したものである。この例では複数の音声／音楽データに対して、それぞれ一部区間の要約音声／音楽として切り出して、要約を作成している。例えば、音声／音楽２の５１０１の部分を要約音声／音楽として切り出し、要約の５１０２の区間として再生する。１枚の音楽アルバムに含まれる曲の一部区間ずつを切り出してまとめ、試聴用の要約データを作成する用途などが考えられる。
【０２９９】
アルバムなどを要約する場合など、曲名が分かった方がよい場合は音情報に音楽データの曲名を含めるようにしてもよい。もちろん、この情報は必須ではない。
【０３００】
次に、映像データや物体領域データの提供方法について説明する。
【０３０１】
本実施形態の処理により作成された特殊再生制御情報がユーザの用に供される場合には、作成者側からユーザ側に何らかの方法で特殊再生制御情報を提供する必要がある。この提供の方法としても以下に例示するように種々の形態が考えられる。
（１）映像データとその特殊再生制御情報とを１つ（または複数の）記録媒体に記録して同時に提供する形態
（２）映像データを１つ（または複数の）記録媒体に記録して提供し、別途、特殊再生制御情報を１つ（または複数の）記録媒体に記録して提供する形態
（３）映像データとその特殊再生制御情報とを同じ機会に通信媒体を介して提供する形態
（４）映像データとその特殊再生制御情報とを異なる機会に通信媒体を介して提供する形態
これにより、映像コンテンツの特殊再生に供するための制御情報として、元映像から選択的に抽出したフレーム（群）の取得方法と、そのフレーム（群）に割り当てた表示時間の情報又はこれを得る基となる情報とを含むフレーム情報を、複数配列させて記述することにより、再生側では該制御情報に基づいた効果的な特殊再生が可能になる。
【０３０２】
以上説明したように、本実施形態によれば、映像コンテンツに対する特殊再生に供するための特殊再生制御情報を記述する特殊再生制御情報記述方法において、前記映像コンテンツを構成する映像データの全フレーム系列のなかから選択的に抽出された１フレーム又は連続若しくは近接する複数フレームからなるフレーム群ごとに、該１フレーム又は該フレーム群のデータが存在する位置を示す第１の情報と、該１フレーム又は該フレーム群に対して付与された表示時間に関する第２の情報及び又は該フレーム情報に対応する前記１フレーム又は前記フレーム群に対して付与された重要度を示す第３の情報をフレーム情報として記述する。
【０３０３】
また、本実施形態によれば、映像コンテンツを構成する映像データの全フレーム系列のなかから選択的に抽出された１フレーム又は連続若しくは近接する複数フレームからなるフレーム群ごとに記述された、該１フレーム又は該フレーム群のデータが存在する位置を示す第１の情報と、該１フレーム又は該フレーム群に対して付与された表示時間に関する第２の情報及び又は該１フレーム又は該フレーム群に対して付与された重要度を示す第３の情報とを含むフレーム情報を少なくとも含む特殊再生制御情報を格納したコンピュータ読取り可能な記録媒体も提供される。
【０３０４】
さらに、映像コンテンツに対する特殊再生に供するための特殊再生制御情報を生成する特殊再生制御情報装置／生成方法の実施形態において、前記映像コンテンツを構成する映像データの全フレーム系列のなかから、特殊再生に供される一部のフレームを、１フレーム又は連続若しくは近接する複数フレームからなるフレーム群ごとに、該フレーム系列に沿って順次選択的に抽出し、抽出された前記１フレーム又は前記フレーム群ごとに、該１フレーム又は該フレーム群のデータが存在する位置を示す映像位置情報と、該１フレーム又は該フレーム群に対して割り当てるべき表示時間の情報又はこれを算出する基となる情報を含む表示時間制御情報とを生成し、前記１フレーム又は前記フレーム群ごとに生成された、前記映像位置情報及び前記表示時間制御情報をフレーム情報として記述することによって、前記映像コンテンツに対する特殊再生制御情報を作成する。
【０３０５】
また、映像コンテンツに対する特殊再生を行うことが可能な映像再生装置／方法の実施形態において、前記映像コンテンツに付随する、該映像コンテンツを構成する映像データの全フレーム系列のなかから選択的に抽出された１フレーム又は連続若しくは近接する複数フレームからなるフレーム群ごとに記述された、該１フレーム又は該フレーム群のデータが存在する位置を示す映像位置情報と、該１フレーム又は該フレーム群に対して割り当てるべき表示時間の情報又はこれを算出する基となる情報を示す表示時間制御情報とを含むフレーム情報を少なくとも含む特殊再生制御情報を参照し、前記フレーム情報に含まれる映像位置情報に基づいて、各フレーム情報に対応する前記１フレーム又は前記フレーム群のデータを取得するとともに、少なくとも各々の前記フレーム情報に含まれる前記表示時間制御情報に基づいて、各フレーム情報に対して割り当てるべき表示時間を決定し、取得された前記１フレーム又は複数フレームのデータを、決定された前記表示時間によって再生することを、所定の順序で行うことによって、特殊再生を行う。
【０３０６】
本発明の実施形態では、例えば、あらかじめ表示に用いる有効な映像フレームの位置情報または元映像からフレーム単位で取り出した画像データを準備し、その映像フレーム位置情報または画像データの表示時間に関する情報を元映像とは別に準備する。元映像から取り出した映像フレームもしくは画像データを表示情報に基づいて、それらを連続表示することにより、倍速再生、トリック再生、飛び越し連続再生などの特殊再生を行うことができる。
【０３０７】
例えば、高速に内容を確認するための倍速再生においては、表示画面の画面の変化ができるだけ一定になるように、動きの大きいところは表示時間を長く、動きの小さいところは表示時間を短くするように、あらかじめ表示時間を決めておくようにしてもよい。または、表示に用いる映像フレームまたは画像データの動きの多い部分からは多く、動きの少ないところは少なくするように、位置情報を決めても、同じ効果が得られる。全体としてユーザによって指定される倍速値または再生時間になるようにコントロールされる値を準備するようにしてもよい。長い映像も短い時間で、見やすい倍速再生等でみることができ、内容を短い時間で把握することができる。
【０３０８】
例えば、表示時間を重要度に応じて、重要な場所は表示時間を長く、低い場所は短くすることにより、重要な場所を見落としにくい再生も可能である。
【０３０９】
例えば、全映像フレームを表示せず、部分的に映像の一部を省略することにより、重要な部分だけを効率良く再生するようにしてもよい。
【０３１０】
本発明の実施形態によれば、映像コンテンツの特殊再生に供するための制御情報として、元映像から選択的に抽出したフレーム（群）の取得方法と、そのフレーム（群）に割り当てた（絶対的若しくは相対的な）表示時間の情報又はこれを得る基となる情報とを含むフレーム情報を、複数配列させて記述することにより、再生側では該制御情報に基づいた効果的な特殊再生が可能になる。
【０３１１】
例えば、以上の各機能は、ソフトウェアとしても実現可能である。上記実施形態は、コンピュータに所定の手段を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。
【０３１２】
各実施形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
各実施形態内において、各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
各実施形態は適宜組み合わせて実施することが可能である。
各実施形態は、情報の記述方法としての発明、記述された情報としての発明、装置またはそれに対応する方法としての発明、装置内部またはそれに対応する方法としての発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。また、本発明は、コンピュータに所定の手段を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。
【０３１３】
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【０３１４】
【発明の効果】
以上説明したように本発明によれば、利用者にとってより効果的な特殊再生を可能とするフレーム情報記述方法、フレーム情報生成装置及び方法並びに映像再生装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る特殊再生制御情報のデータ構造例を示す図。
【図２】特殊再生制御情報生成装置の構成例を示す図。
【図３】特殊再生制御情報生成装置の他の構成例を示す図。
【図４】図２の構成の場合の処理手順の一例を示すフレーチャート。
【図５】図３の構成の場合の処理手順の一例を示すフレーチャート。
【図６】映像再生装置の構成例を示す図。
【図７】図６の構成の場合の処理手順の一例を示すフレーチャート。
【図８】特殊再生制御情報のデータ構造例を示す図。
【図９】元映像フレームを参照する映像位置情報について説明する図。
【図１０】画像データファイルを参照する映像位置情報について説明する図。
【図１１】画面の動きに応じた画像データの抽出方法について説明する図。
【図１２】元映像フレームを参照する映像位置情報について説明する図。
【図１３】画像データファイルを参照する映像位置情報について説明する図。
【図１４】元映像情報として記述するフレームの位置情報に時間的な幅を持たせる場合のフレーム情報のデータ構造を示す図。
【図１５】元映像フレームを参照する映像位置情報に時間的な幅を持たせた例を説明する図。
【図１６】画像データファイルを参照する映像位置情報に時間的な幅を持たせた例を説明する図。
【図１７】元映像フレームを参照する映像位置情報に時間的な幅を持たせた例を説明する図。
【図１８】元映像フレームを参照する画像データファイルに時間的な幅を持たせた例を説明する図。
【図１９】要約表示された映像のフレームに対応する元映像のフレームから再生を開始するためのフロー図。
【図２０】画面の動きに応じた画像データの抽出方法について説明する図。
【図２１】画面の動きに応じた画像データの抽出方法について説明する図。
【図２２】画面の変化量ができるだけ一定となる表示時間を求める処理手順の一例を示すフローチャート。
【図２３】ＭＰＥＧ映像から全フレームの画面変化量を求める処理手順の一例を示すフローチャート。
【図２４】ＭＰＥＧストリームからの画像変化量の算出方法について説明する図。
【図２５】画面の変化量ができるだけ一定となる表示時間を求める処理手法について説明する図。
【図２６】特殊再生制御情報に基づく特殊再生を行う処理手順の一例を示すフローチャート。
【図２７】表示サイクルを基準に特殊再生を行う処理手順の一例を示すフローチャート。
【図２８】算出された表示時間と表示サイクルの関係について説明する図。
【図２９】算出された表示時間と表示サイクルの関係について説明する図。
【図３０】元映像位置情報を持つ特殊再生制御情報のデータ構造例を示す図。
【図３１】複数の元映像をまとめて要約表示する際の元映像フレームを参照する映像位置情報を説明する図。
【図３２】複数の元映像をまとめて要約表示する際の画像データファイルを参照する映像位置情報を説明する図。
【図３３】フレーム情報を記述するための別のデータ構造を示す図。
【図３４】特殊再生制御情報のデータ構造例を示す図。
【図３５】特殊再生制御情報のデータ構造例を示す図。
【図３６】重要度から表示時間を求める処理手順の一例を示すフローチャート。
【図３７】重要度から表示時間を求める手法について説明する図。
【図３８】音声レベルの大きな場面を重要として重要度データを算出する処理手順の一例を示すフローチャート。
【図３９】音声認識により重要な単語が多く出現している場面を重要として重要度データを算出する処理または時間あたりに話された単語の数が多い場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４０】テロップ認識により重要な単語が多く出現している場面を重要として重要度データを算出する処理または時間あたりに出現したテロップに含まれる単語の数が多い場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４１】大きな文字がテロップとして出現した場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４２】人間の顔が多く登場する場面を重要として重要度データを算出する処理または人間の顔が大きく写る場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４３】登録しておいた重要シーンと類似した映像が出現する場面を重要として重要度データを算出する処理の手順の一例を示すフローチャート。
【図４４】特殊再生制御情報のデータ構造例を示す図。
【図４５】特殊再生制御情報のデータ構造例を示す図。
【図４６】特殊再生制御情報のデータ構造例を示す図。
【図４７】再生するか非再生にするかの情報と再生映像の関係について説明する図。
【図４８】再生／非再生判断を含む特殊再生の処理の手順の一例を示すフローチャート。
【図４９】音情報、テキスト情報を付加したときのデータ構造の一例を示す図。
【図５０】音情報のみをフレーム情報とは別に記述するためのデータ構造の一例を示す図。
【図５１】テキスト情報のみをフレーム情報とは別に記述するためのデータ構造の一例を示す図。
【図５２】各メディア再生の同期について説明する図。
【図５３】映像区間内での音再生開始時刻と音再生時間の決定手順の一例を示すフローチャート。
【図５４】再生用音声データの作成と映像フレーム表示時間の修正の処理の手順の一例を示すフローチャート。
【図５５】テロップ認識によるテキスト情報取得処理の手順の一例を示すフローチャート。
【図５６】音声認識によるテキスト情報の取得処理の手順の一例を示すフローチャート。
【図５７】テキスト情報の作成処理の手順の一例を示すフローチャート。
【図５８】テキスト情報の表示方法について説明する図。
【図５９】フレーム情報を記述するための別のデータ構造を示す図。
【図６０】フレーム情報を記述するための別のデータ構造を示す図。
【図６１】音楽データの要約再生を説明する図。
【図６２】複数の音楽データの要約再生を説明する図。
【符号の説明】
１…映像データ処理部
２…映像データ記憶部
３…特殊再生制御情報記憶部
４…画像データファイル記憶部
１１…映像位置情報処理部
１２…表示時間制御情報処理部
１３…画像データファイル作成部
２１…制御部
２２…通常再生処理部
２３…特殊再生処理部
２４…表示部
２５…コンテンツ記憶部
Claims (29)
- 元映像データの特殊再生のためのフレーム情報を記述する方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの位置を特定する第１情報を記述するステップと、
該画像ファイルの画像データの表示時間に関する第２情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法。 - 前記抽出フレームはフレーム群からなることを特徴とする請求項１記載のフレーム情報記述方法。
- 該抽出フレームの表示時間に関連する重要度に関する第３情報を記述するステップをさらに具備することを特徴とする請求項１記載のフレーム情報記述方法。
- 前記第２情報は該抽出フレームの重要度に関する数値を示す情報を含むことを特徴とする請求項１記載のフレーム情報記述方法。
- 前記抽出フレームは前記元映像データのある時間的区間の複数フレームから抽出されたフレームを具備し、
前記時間的区間を特定する第３情報を記述するステップをさらに具備することを特徴とする請求項１記載のフレーム情報記述方法。 - 前記第２情報は再生時の画面変化量がほぼ一定となるような表示時間に関する情報を具備することを特徴とする請求項１記載のフレーム情報記述方法。
- 前記抽出フレームの再生又は非再生を指示する第３情報を記述するステップをさらに具備することを特徴とする請求項１記載のフレーム情報記述方法。
- 前記第１情報は元映像データとは別に格納される画像データファイル中の該抽出フレームに対応する画像データの位置を示す情報を具備することを特徴とする請求項１記載のフレーム情報記述方法。
- 前記抽出フレームを含む前記元映像データ以外のメディアデータに、該メディアデータの位置を示す情報と、該メディアデータの表示時間に関する情報を記述するステップをさらに具備することを特徴とする請求項１記載のフレーム情報記述方法。
- 元映像データの特殊再生のためのフレーム情報を記述する方法であって、
元映像データの時間的区間内の複数のフレームから抽出したフレームの該元映像データ中における位置を特定する第１情報を記述するステップと、
該抽出フレームの表示時間に関する第２情報を記述するステップと、
前記時間的区間を特定する第３情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法。 - 前記抽出フレームはフレーム群からなり、前記第１情報は該抽出フレーム群の該元映像データ中における位置を特定する情報を具備することを特徴とする請求項１０記載のフレーム情報記述方法。
- 該抽出フレームの表示時間に関連する重要度に関する第４情報を記述するステップをさらに具備することを特徴とする請求項１０記載のフレーム情報記述方法。
- 前記第２情報は該抽出フレームの重要度に関する数値を示す情報を含むことを特徴とする請求項１０記載のフレーム情報記述方法。
- 前記第１情報は前記元映像データから作成される該抽出フレームに対応する画像データファイルを特定する情報を具備することを特徴とする請求項１０記載のフレーム情報記述方法。
- 前記第１情報は前記元映像データから作成される該抽出フレームに対応する画像データファイルを特定する情報を具備することを特徴とする請求項１４記載のフレーム情報記述方法。
- 前記第２情報は再生時の画面変化量がほぼ一定となるような表示時間に関する情報を具備することを特徴とする請求項１０記載のフレーム情報記述方法。
- 前記抽出フレームの再生又は非再生を指示する第４情報を記述するステップをさらに具備することを特徴とする請求項１０記載のフレーム情報記述方法。
- 前記第１情報は前記抽出フレームの位置を示す情報、または前記元映像データから生成され、元映像データとは別に格納される画像データファイル中の該抽出フレームに対応する画像データの位置を示す情報を具備することを特徴とする請求項１０記載のフレーム情報記述方法。
- 前記抽出フレームを含む前記元映像データ以外のメディアデータに、該メディアデータの位置を示す情報と、該メディアデータの表示時間に関する情報を記述するステップをさらに具備することを特徴とする請求項１０記載のフレーム情報記述方法。
- コンピュータに、元映像データの特殊再生のために元映像データから抽出したフレームを表示させるプログラムを格納するコンピュータ読取り可能な記録媒体において、前記プログラムは
該抽出フレームに対応する画像データからなる画像ファイルの前記元映像データ中における位置を特定する第１情報に基づいてコンピュータに元映像データの複数のフレームから該抽出フレームを抽出させる第１プログラムコードと、
該画像ファイルの画像データの表示時間に関する第２情報に基づいてコンピュータに該抽出フレームを該表示時間だけ表示させる第２プログラムコードと、
を具備することを特徴とする記録媒体。 - 前記抽出フレームはフレーム群からなることを特徴とする請求項２０記載の記録媒体。
- 前記プログラムは該抽出フレームの表示時間に関連する重要度に関する第３情報に基づいてコンピュータに該抽出フレームを表示させる第３プログラムコードをさらに具備することを特徴とする請求項２０記載の記録媒体。
- 元映像データの特殊再生のためのフレーム情報を記述する装置であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データから画像ファイルの該元映像データ中における位置を特定する第１情報を記述する手段と、
該画像ファイルの画像データの表示時間に関する第２情報を記述する手段と、
を具備することを特徴とするフレーム情報記述装置。 - 元映像データの特殊再生のためのフレーム情報を生成する方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報を生成するステップと、
該画像ファイルの画像データの表示時間に関する第２情報を生成するステップと、
を具備することを特徴とするフレーム情報生成方法。 - 元映像データの特殊再生のための映像再生装置であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照する手段と、
前記第１情報に基づいて前記抽出フレームの元映像データを取得する手段と、
前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定する手段と、
取得された前記元映像データを決定された前記表示時間再生する手段と、
を具備することを特徴とする映像再生装置。 - 元映像データの特殊再生のための映像再生方法であって、
元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照するステップと、
前記第１情報に基づいて前記抽出フレームの元映像データを取得するステップと、
前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定するステップと、
取得された前記元映像データを決定された前記表示時間再生するステップと、
を具備することを特徴とする映像再生方法。 - 元映像データの特殊再生のために元映像データから抽出したフレームを表示する映像再生プログラムを格納するコンピュータ読取り可能な記録媒体において、前記映像再生プログラムは
コンピュータに元映像データの複数のフレームから抽出したフレームに対応する画像データからなる画像ファイルの該元映像データ中における位置を特定する第１情報と、該画像ファイルの画像データの表示時間に関する第２情報とを参照させるプログラムコードと、
コンピュータに前記第１情報に基づいて前記抽出フレームの元映像データを取得させるプログラムコードと、
コンピュータに前記第２情報に基づいて前記抽出フレームの元映像データを再生する表示時間を決定させるプログラムコードと、
コンピュータに取得された前記元映像データを決定された前記表示時間再生させるプログラムコードと、
を具備することを特徴とする記録媒体。 - 前記第１情報は前記元データの複数の時間的区間のフレームから抽出したフレームに対応する複数の画像データからなる画像データ群格納ファイルの位置を示すことを特徴とする請求項１記載のフレーム情報記述方法。
- 元映像データの特殊再生のためのフレーム情報を記述する方法であって、
複数の元映像データのそれぞれ複数のフレームから抽出したフレームの該元映像を特定する第１情報を記述するステップと、
前記抽出したフレームの該元映像データ中における位置を特定する第２情報を記述するステップと、
該抽出フレームより生成された複数の画像データを格納した画像データ群格納ファイルの位置を示す第３情報を記述するステップと、
前記画像データ群格納ファイルにおける画像データの位置を示す第４情報を記述するステップと、
該抽出フレームの表示時間に関する第５情報を記述するステップと、
を具備することを特徴とするフレーム情報記述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001200220A JP4253139B2 (ja) | 2000-06-30 | 2001-06-29 | フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-200220 | 2000-06-30 | ||
| JP2000200220 | 2000-06-30 | ||
| JP2001200220A JP4253139B2 (ja) | 2000-06-30 | 2001-06-29 | フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002125199A JP2002125199A (ja) | 2002-04-26 |
| JP4253139B2 true JP4253139B2 (ja) | 2009-04-08 |
Family
ID=26595216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001200220A Expired - Fee Related JP4253139B2 (ja) | 2000-06-30 | 2001-06-29 | フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4253139B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7116716B2 (en) | 2002-11-01 | 2006-10-03 | Microsoft Corporation | Systems and methods for generating a motion attention model |
| JP4098146B2 (ja) * | 2003-04-25 | 2008-06-11 | 株式会社東芝 | 記録再生装置および記録再生方法 |
| US8081863B2 (en) | 2004-01-30 | 2011-12-20 | Panasonic Corporation | Content playback apparatus |
| CN100481923C (zh) * | 2004-01-30 | 2009-04-22 | 松下电器产业株式会社 | 内容再现装置和内容段获得方法 |
| KR100716973B1 (ko) * | 2004-02-21 | 2007-05-10 | 삼성전자주식회사 | Ａｖ 데이터에 동기된 텍스트 서브 타이틀 데이터를기록한 정보저장매체, 재생방법 및 장치 |
| US9053754B2 (en) | 2004-07-28 | 2015-06-09 | Microsoft Technology Licensing, Llc | Thumbnail generation and presentation for recorded TV programs |
| US7986372B2 (en) | 2004-08-02 | 2011-07-26 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
| CN101057292B (zh) | 2004-09-08 | 2010-05-05 | 松下电器产业株式会社 | 用于再现彼此相关的图形数据和应用程序的再现装置、再现方法和程序 |
| JP2006340025A (ja) * | 2005-06-02 | 2006-12-14 | Hitachi Ltd | 課金方法 |
| US7773813B2 (en) | 2005-10-31 | 2010-08-10 | Microsoft Corporation | Capture-intention detection for video content analysis |
| US8180826B2 (en) | 2005-10-31 | 2012-05-15 | Microsoft Corporation | Media sharing and authoring on the web |
| US8196032B2 (en) | 2005-11-01 | 2012-06-05 | Microsoft Corporation | Template-based multimedia authoring and sharing |
| JP2007189473A (ja) * | 2006-01-13 | 2007-07-26 | Hitachi Ltd | 動画再生装置 |
| JP4809153B2 (ja) * | 2006-07-31 | 2011-11-09 | 日本電信電話株式会社 | 連携コンテンツ同期ストリーミング配信サーバ、連携コンテンツ同期ストリーミング配信方法、その方法を実装したプログラム及びそのプログラムを格納した記録媒体 |
| JP4920395B2 (ja) * | 2006-12-12 | 2012-04-18 | ヤフー株式会社 | 動画要約自動作成装置、方法、及びコンピュータ・プログラム |
| CA2616440C (en) * | 2006-12-29 | 2015-02-17 | Broadband Royalty Corporation | Source optimized dynamic trickplay |
| JP4767216B2 (ja) * | 2007-06-05 | 2011-09-07 | パナソニック株式会社 | ダイジェスト生成装置、方法及びプログラム |
| KR101449430B1 (ko) | 2007-08-31 | 2014-10-14 | 삼성전자주식회사 | 컨텐츠의 요약 재생 정보 생성 방법 및 장치 |
| JP4770910B2 (ja) * | 2008-11-04 | 2011-09-14 | 株式会社日立製作所 | データ記録方法および記録媒体、再生装置 |
| JP4985834B2 (ja) * | 2009-10-13 | 2012-07-25 | 株式会社ニコン | 撮像装置及び画像処理装置 |
| JP5018976B2 (ja) * | 2011-02-07 | 2012-09-05 | 株式会社日立製作所 | データ記録方法および記録媒体、再生装置 |
| JP7133433B2 (ja) * | 2018-10-24 | 2022-09-08 | ヤフー株式会社 | 生成装置、生成方法、生成プログラム |
| WO2021240651A1 (ja) | 2020-05-26 | 2021-12-02 | 日本電気株式会社 | 情報処理装置、制御方法及び記憶媒体 |
-
2001
- 2001-06-29 JP JP2001200220A patent/JP4253139B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002125199A (ja) | 2002-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4253139B2 (ja) | フレーム情報記述方法、フレーム情報生成装置及び方法、映像再生装置及び方法並びに記録媒体 | |
| KR100564893B1 (ko) | 프레임정보 기술방법 및 그 장치, 프레임정보 생성방법 및 그 장치, 특수재생방법 및 그 장치, 특수재생 제어정보 생성장치 및 컴퓨터 독출가능한 기록매체 | |
| US10430664B2 (en) | System for automatically editing video | |
| JP3667262B2 (ja) | ビデオスキミング方法及び装置 | |
| US8195038B2 (en) | Brief and high-interest video summary generation | |
| US7483618B1 (en) | Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest | |
| US7593618B2 (en) | Image processing for analyzing video content | |
| JP5092000B2 (ja) | 映像処理装置、方法、及び映像処理システム | |
| US7796860B2 (en) | Method and system for playing back videos at speeds adapted to content | |
| US20030085913A1 (en) | Creation of slideshow based on characteristic of audio content used to produce accompanying audio display | |
| US20100094441A1 (en) | Image selection apparatus, image selection method and program | |
| JP2003179849A (ja) | ビデオコラージュの作成方法および装置、ビデオコラージュ、ビデオコラージュ・ユーザ・インタフェース、ビデオコラージュ作成プログラム | |
| CN1312664C (zh) | 特技模式的音频播放 | |
| JP2009284513A (ja) | 記録された媒体の編集 | |
| JP2007336283A (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
| US20080320046A1 (en) | Video data management apparatus | |
| JP2009124298A (ja) | 符号化映像再生装置及び符号化映像再生方法 | |
| US7929844B2 (en) | Video signal playback apparatus and method | |
| JP2014209707A (ja) | 映像再生装置および映像再生方法 | |
| JP5096259B2 (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
| JP2008166895A (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
| JP2006270233A (ja) | 信号処理方法及び信号記録再生装置 | |
| KR101828601B1 (ko) | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 | |
| Detyniecki et al. | Video rushes summarization by adaptive acceleration and stacking of shots | |
| KR20020014857A (ko) | 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080929 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090123 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |