JP4626629B2

JP4626629B2 - データ処理装置及びデータ処理方法およびプログラムと記録媒体

Info

Publication number: JP4626629B2
Application number: JP2007122705A
Authority: JP
Inventors: 純一荻窪
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-11-15
Filing date: 2007-05-07
Publication date: 2011-02-09
Anticipated expiration: 2023-11-11
Also published as: JP2007202217A

Description

本発明は、データ処理装置とデータ処理方法およびプログラムと記録媒体に関する。詳しくは、映像データを符号化したストリームと該映像データを生成したときの設定フレームレートを示すフレームレート情報とを取得して、映像データを再生する際にユーザによって設定された再生速度とフレームレート情報に示された設定フレームレートと予め規定されている基準フレームレートとを利用して、映像データを再生する際のフレームレートを調整しながら、ストリームを復号して映像データの再生を行うものである。

従来、放送に用いる画像および／または音声のコンテンツ生成では、制作者の意図する効果を出すため、部分的に被写体の動きの速度を変えたコンテンツを作ることが多々行われている。

この被写体の動きの速度を変えたコンテンツの生成では、例えば基準フレームレートに対してフレームレートを高く設定してコンテンツを生成し、このコンテンツを基準フレームレートで再生することにより、被写体の動きを遅く表現したコンテンツを生成する。また、基準フレームレートに対してフレームレートを低く設定してコンテンツを生成し、このコンテンツを基準フレームレートで再生することにより、被写体の動きを速く表現したコンテンツを生成する。さらに、設定するフレームレートや再生時のフレームレートを調整することで、被写体の動きの速度を自由に可変できる。

このようにして、制作者は、基準フレームレートで再生したとき意図する効果が得られるように、基準フレームレートで生成したコンテンツだけでなく被写体の動きの速度を変えたコンテンツも用いて放送用のコンテンツを生成する。

また、このようにフレームレートを可変したコンテンツを生成できるように、時間軸の伸張や圧縮を行うことができるビデオカメラが、例えば特許文献１に示されている。

特開平１１−１７７９３０号公報

ところで、通信網の広帯域化や低価格化に伴い、この通信網を介してコンテンツをインタラクティブに伝送することが実用化されてきている。通信網を介したコンテンツの伝送では、伝送されたコンテンツをバッファに一時蓄えてから再生することにより、通信網で生じるゆらぎ（データの到着のばらつき）を吸収してコンテンツの再生を連続して行うことが出来るようになされている。また、通信網の広帯域化によって、より多くのデータを伝送することが可能となってきている。

しかし、このインタラクティブなコンテンツの伝送でも、伝送されるコンテンツは、放送の場合と同様に、基準フレームレートで再生したとき意図する効果が得られるように生成されたコンテンツが用いられている。このため、フレームレートを可変して生成されているコンテンツ部分について、制作者の意図した速度とは異なる所望の速度で再生しようとしても、この部分を所望の速度で再生できない。

そこで、この発明では、フレームレートを変えて生成されたコンテンツ部分を、映像データの提供側で意図した速度とは異なる速度で容易に再生可能とするためのデータ処理装置とデータ処理方法およびプログラムと記録媒体を提供するものである。

この発明に係るデータ処理装置は、映像データと、映像データを生成したときの設定フレームレート、設定フレームレートよりも小さな値に設定されるとともに映像データを再生するときのフレームレートである基準フレームレートおよび映像データにおけるフレーム番号を、設定フレームレートに対する基準フレームレートの比率で割ったときの余りで表されるサブフレーム番号を含む付加情報とを外部装置から取得する取得手段と、設定フレームレートに対する基準フレームレートの比率と、ユーザによって設定された再生速度の倍率との積である識別値を算出する識別値算出手段と、識別値が１以上ならば、映像データにおいて、識別値の整数部分の整数倍に等しいサブフレーム番号に対応するフレーム以外のフレームを間引くことにより、映像データの再生速度を調節する再生手段と、、を有するものである

この発明に係るデータ処理方法は、取得手段が、映像データと、映像データを生成したときの設定フレームレート、設定フレームレートよりも小さな値に設定されるとともに映像データを再生するときのフレームレートである基準フレームレートおよび映像データにおけるフレーム番号を、設定フレームレートに対する基準フレームレートの比率で割ったときの余りで表されるサブフレーム番号を含む付加情報とを外部装置から取得するステップと、識別値算出手段が、設定フレームレートに対する基準フレームレートの比率と、ユーザによって設定された再生速度の倍率との積である識別値を算出するステップと、識別値が１以上ならば、再生手段が、映像データにおいて、識別値の整数部分の整数倍に等しいサブフレーム番号に対応するフレーム以外のフレームを間引くことにより、映像データの再生速度を調節するステップと、を含むものである。

この発明に係るプログラムは、コンピュータに、映像データと、映像データを生成したときの設定フレームレート、設定フレームレートよりも小さな値に設定されるとともに映像データを再生するときのフレームレートである基準フレームレートおよび映像データにおけるフレーム番号を、設定フレームレートに対する基準フレームレートの比率で割ったときの余りで表されるサブフレーム番号を含む付加情報とを外部装置から取得する処理と、設定フレームレートに対する基準フレームレートの比率と、ユーザによって設定された再生速度の倍率との積である識別値を算出する処理と、識別値が１以上ならば、映像データにおいて、識別値の整数部分の整数倍に等しいサブフレーム番号に対応するフレーム以外のフレームを間引くことにより、映像データの再生速度を調節する処理と、を実行させるものである。

この発明に係る記録媒体は、コンピュータに、映像データと、映像データを生成したときの設定フレームレート、設定フレームレートよりも小さな値に設定されるとともに映像データを再生するときのフレームレートである基準フレームレートおよび映像データにおけるフレーム番号を、設定フレームレートに対する基準フレームレートの比率で割ったときの余りで表されるサブフレーム番号を含む付加情報とを外部装置から取得する処理と、設定フレームレートに対する基準フレームレートの比率と、ユーザによって設定された再生速度の倍率との積である識別値を算出する処理と、識別値が１以上ならば、映像データにおいて、識別値の整数部分の整数倍に等しいサブフレーム番号に対応するフレーム以外のフレームを間引くことにより、映像データの再生速度を調節する処理と、を実行させるプログラムを記録したものである。

この発明によれば、映像データにおいて、識別値の整数部分の整数倍に等しいサブフレーム番号に対応するフレーム以外のフレームを間引くことにより、映像データの再生速度を調節しています。このため、フレームレートを変えて生成されたコンテンツ部分を、映像データの提供側で意図した速度とは異なる速度で再生することができる。

また、主データを一時的に蓄積して、この蓄積されている主データの読み出しを、伝送路の帯域に応じて行うことにより主データのフレームレートを調整する。このため、主データのフレームレートを容易に調整することができる。また、画像や音声の再生が途切れてしまうことを防止できる。さらに、フレームレートの調整に応じて、付属情報に含まれているフレームレート情報が修正されるので、伝送する主データに対応した付属情報を連結できる。

また、付属情報に主データの推奨再生速度を示す情報を含め、主データの再生時にユーザによる再生速度の指示がなされていない場合には、推奨再生速度で主データが再生されるので、主データの制作者側で再生速度を指定できる。

また、付属情報に主データの再生可能な最高速度を示す情報を含め、主データの再生時には、この最高速度を示す情報を用いて再生速度可変範囲が設定されるので、主データの制作者側で再生速度可変範囲を規制できる。

さらに、付属情報として、少なくとも、フレームレート情報と、基準フレーム期間内に含まれる各フレームのフレーム識別情報とが主データに連結されて、このフレーム識別情報を利用して、主データのフレームレートが調整されて伝送データが生成される。また、伝送データを用いて主データの再生を行うときには、フレーム識別情報を利用して主データに対する間引きや繰り返しを行い、主データの再生速度が可変される。このため、簡単な構成で主データの再生を所望の速度で行うことができる。

以下、この発明の実施の一形態について説明する。図１は、コンテンツの伝送例えば画像および／または音声のコンテンツの伝送を行うコンテンツ伝送システムの全体構成を示している。撮像装置１０はフレームレートが可変された映像データを生成して、この映像データに関する付属情報を連結させて素材データＤＴmとして編集装置３０に供給する。また、音声入力装置２０が撮像装置１０に設けられているときには音声データを生成して、この音声データも素材データＤＴmとして編集装置３０に供給する。なお、素材データＤＴmは、撮像装置１０だけでなく他の機器からも供給されるものとしても良い。

編集装置３０は、供給された素材データＤＴmを用いて編集処理を行い、編集者が所望する画像および／または音声を示すデータを生成する。また、この画像および／または音声を示すデータを主データとして、この主データに対して付属情報を連結して、伝送用のコンテンツデータＤＣを生成してコンテンツ伝送装置５０に供給する。

編集装置３０は、編集に関した映像信号Ｓvmを生成して編集画像表示装置４０に供給する。これにより、ユーザは、編集画像表示装置４０での表示画像によって画像の編集経過や編集結果等の確認を行うことができる。同様に、編集に関した音声信号Ｓamを生成して編集音声出力装置４１に供給する。これにより、ユーザは、編集音声出力装置４１から出力される音声によって、音声の編集経過や編集結果等の確認を行うことができる。

コンテンツ伝送装置５０は、編集装置３０から供給されたコンテンツデータＤＣを蓄積する。また、例えばコンテンツ再生装置７０からコンテンツデータの要求がなされたときには、伝送路６０の帯域に応じてコンテンツデータのフレームレートを調整し、フレームレート調整後のコンテンツデータに基づき伝送データＤＴcを生成して、この伝送データＤＴcを有線あるいは無線の伝送路６０を介してコンテンツ再生装置７０に供給する。

コンテンツ再生装置７０は、伝送路を介して供給された伝送データＤＴcに基づきコンテンツの映像信号Ｓvzや音声信号Ｓazを生成して、コンテンツ提示装置８０に供給する。また、コンテンツ再生装置７０は、付属情報に基づきコンテンツの再生動作を制御する。

コンテンツ提示装置８０は、映像信号Ｓvzに基づいた画像表示や音声信号Ｓazに基づいた音声出力を行うことでコンテンツの提示を行う。

ここで連結とは、主データと、この主データに関するフレームレート情報を含む付属情報が、互いにリンクされている状態であれば良い。例えば主データと付属情報が、別の伝送路で伝送データとして伝送されたものであっても、付属情報に対応するフレーム番号が含まれているようにしていれば、後で互いに対応させることができる。本実施の形態では、このような場合も含めて連結しているという。

図２は、撮像装置１０の構成例を示している。撮像レンズ系１１を通して入射された光は、撮像部１２に入射されて、撮像部１２に設けられている例えばＣＣＤ（Charge Coupled Device）等の撮像素子の撮像面上に被写体画像が結像される。撮像素子は、光電変換によって被写体画像の撮像電荷を生成する。また、撮像部１２は、後述するタイミングジェネレータ１４２からの駆動信号ＣＲに基づいて、生成した撮像電荷を読み出し、駆動信号ＣＲに応じたフレームレートの撮像信号Ｓpを生成して信号処理部１３のカメラ処理回路１３１に供給する。

カメラ処理回路１３１は、タイミングジェネレータ１４２から供給されたタイミング信号ＣＴに基づき、撮像信号Ｓpと同期したタイミングで種々の信号処理を行う。例えば、カメラ処理回路１３１は、相関二重サンプリング等を行うことで撮像信号Ｓpからノイズ成分を除去する処理、ノイズ除去された撮像信号Ｓpをディジタルの映像データに変換する処理、映像データのクランプ処理、シェーディング補正や撮像素子の欠陥補正、γ処理や輪郭補償処理およびニー補正処理等を行う。また、カメラ処理回路１３１は、制御部１４の撮像制御回路１４１から供給された動作制御信号ＣＳに基づいた処理条件等で種々の信号処理を行う。このように、カメラ処理回路１３１で種々の信号処理を行って得られた映像データＤＶは、出力部１５に供給される。

制御部１４のタイミングジェネレータ１４２は、撮像制御回路１４１からの動作制御信号ＣＳに応じた駆動信号ＣＲを生成して撮像部１２に供給することにより、撮像部１２における撮像電荷の読み出し周期を可変して、撮像信号Ｓpのフレームレートを、ユーザインタフェース部１６からの操作信号ＰＳaに基づいた設定フレームレートＦＲsに制御する。タイミングジェネレータ１４２は、例えばＮＴＳＣ方式ではフレーム周波数５９．９４Ｈｚや２９．９７Ｈｚ、ＰＡＬ方式ではフレーム周波数５０Ｈｚや２５Ｈｚを基準フレームレートＦＲrのフレーム周波数として、設定フレームレートＦＲsを基準フレームレートＦＲrのｋ（ｋは整数に限らない正の値）倍とする操作が行われたときには、撮像信号Ｓpのフレームレートが基準フレームレートＦＲrのｋ倍となるように制御する。なお、例えば、ＣＣＤ等の撮像素子の各画素から転送部へ各画素に蓄積された撮像電荷を移動させるための読み出しパルス（センサーゲートパルス）の周期を変更する等することで、撮像電荷の読み出し周期が可変され、フレームレートが可変される。また、この際に、ＣＤＲ（Common Data Rate）方式を採用しても良い。ＣＤＲ方式を用いると、有効なフレームレートは可変するが、ＣＣＤから出力される信号のフレームレートは不変とすることができ、カメラ処理回路１３１等の処理レートを一定とすることができる。このＣＤＲ方式に関しては、ＰＣＴ出願、出願番号PCT/JP03/00551,2003/1/22出願に開示されている。

また、タイミングジェネレータ１４２は、駆動信号ＣＲに同期したタイミング信号ＣＴを生成してカメラ処理回路１３１や音声処理回路１３２に供給する。さらに、タイミングジェネレータ１４２は、映像データＤＶのフレームレートである設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsを生成して、出力部１５に供給する。また、タイミングジェネレータ１４２は、サブフレーム番号ＢＮの生成も行う。このサブフレーム番号ＢＮは、基準フレームレートＦＲrに対して設定フレームレートＦＲsを高くしたとき、基準フレームレートＦＲrのフレーム期間内に含まれる各フレームを識別可能とする番号である。このサブフレーム番号ＢＮをフレーム識別情報ＤＭ-BNとして出力部１５に供給する。

図３は、タイミングジェネレータ１４２でのサブフレーム番号の付加動作を示すフローチャートである。タイミングジェネレータ１４２は、例えば所定周波数の発振信号を分周して、基準フレームレートＦＲrのフレーム期間と設定フレームレートＦＲsのフレーム期間を同期させて設定し、設定フレームレートＦＲsのフレーム期間に基づいて駆動信号ＣＲの生成および基準フレームレートＦＲrのフレーム期間の区切りを示すフレーム基準タイミングの生成を行う。

タイミングジェネレータ１４２は、ステップＳＴ１でフレーム基準タイミングを検出したか否かを識別する。ここで基準タイミングを検出したときにはステップＳＴ２に進む。また基準タイミングを検出していないときにはステップＳＴ１に戻る。

ステップＳＴ１でフレーム基準タイミングを検出してステップＳＴ２に進むと、タイミングジェネレータ１４２は、ステップＳＴ２でサブフレーム番号ＢＮの初期化を行い、サブフレーム番号ＢＮを初期値例えば「０」に設定してステップＳＴ３に進む。

ステップＳＴ３で、タイミングジェネレータ１４２は、フレーム基準タイミングを検出してから設定フレームレートＦＲsの１フレーム期間経過時までに、フレーム基準タイミングを検出したか否かを識別する。ここで、フレーム基準タイミングを検出していないときにはステップＳＴ４に進み、タイミングジェネレータ１４２は、サブフレーム番号ＢＮに「１」を加算して、サブフレーム番号ＢＮの更新を行いステップＳＴ３に戻る。このように、設定フレームレートＦＲsの１フレーム期間経過時までにフレーム基準タイミングが検出されていないときには、設定フレームレートＦＲsの１フレーム期間毎にサブフレーム番号ＢＮが順番に割り当てられる。

その後、設定フレームレートＦＲsの１フレーム期間経過までにフレーム基準タイミングを検出するとステップＳＴ２に戻り、サブフレーム番号ＢＮの初期化を行う。

このため、基準フレームレートＦＲrのフレーム期間毎に、このフレーム期間中に設けられた設定フレームレートＦＲsのフレーム画像に対してサブフレーム番号ＢＮを付加することができる。

図２に示す制御部１４の撮像制御回路１４１には、ユーザインタフェース部１６が接続されている。ユーザインタフェース部１６は、撮像装置１０での動作切換操作やフレームレート可変操作が行われたとき、これらの操作に応じた操作信号ＰＳaを生成して撮像制御回路１４１に供給する。また、ユーザインタフェース部１６は、図示しないリモートコントローラ等の外部機器から操作信号ＰＳaが供給されたとき、この操作信号ＰＳaを撮像制御回路１４１に供給する。

撮像制御回路１４１は、ユーザインタフェース部１６からの操作信号ＰＳaに基づき、撮像装置１０の動作が操作信号ＰＳaに応じた動作となるように、動作制御信号ＣＳを生成してカメラ処理回路１３１やタイミングジェネレータ１４２に供給する。

音声処理回路１３２には、音声入力装置２０からアナログの音声信号Ｓinが供給される。音声処理回路１３２は、タイミングジェネレータ１４２から供給されたタイミング信号ＣＴに基づいて音声信号Ｓinのサンプリング処理を行い、ディジタルの音声データＤＡを生成して出力部１５に供給する。

出力部１５は、フレームレート情報ＤＭ-FRsやフレーム識別情報ＤＭ-BNを含む付属情報ＤＭを生成して、映像データＤＶや音声データＤＡに連結させて素材データＤＴmを生成して編集装置に供給する。なお、素材データＤＴmあるいは素材データＤＴmに基づいて生成した記録信号を記録媒体に記録すれば、この素材データＤＴmあるいは素材データＤＴmに基づいて生成した記録信号が記録されている記録媒体を編集装置で再生することにより、記録媒体を介して素材データＤＴmを編集装置に供給できる。また、付属情報ＤＭには、設定フレームレートＦＲsやサブフレーム番号ＢＮの情報だけでなく、撮像日時や撮像条件および撮像内容等を示す情報を含めるものとしても良い。

ここで、映像データＤＶや音声データＤＡに対して付属情報ＤＭを連結させる方法の一例として、映像データＤＶや音声データＤＡを圧縮してデータストリームとして素材データＤＴmを生成するときには映像のデータストリーム中に付属情報ＤＭを挿入、あるいはデータストリームのヘッダ中に付属情報ＤＭを挿入することが考えられる。

また、非圧縮の映像データや音声データを伝送するためにＳＭＰＴＥ（Society of Motion Picture and Television Engineers）２５９Ｍ「Television - 10-Bit 4:2:2 Component and 4fsc Composite Digital Signals - Serial Digital Interface」として規格化されているＳＤＩフォーマットや、圧縮された映像データや音声データを伝送するためにＳＭＰＴＥ３０５Ｍ「Television - Serial Data Transport Interface（SDTI）」として規格化されているＳＤＴＩフォーマット、ＳＤＴＩフォーマットを更に限定しているＳＭＰＴＥ３２６Ｍ「Television - SDTI Content Package Format（SDTI-CP）」として規格化されたＳＤＴＩ−ＣＰフォーマットを用いる場合、付属情報ＤＭをＳＭＰＴＥ３３０Ｍ「Television - Unique Material Identifier（UMID）」として規格化されているＵＭＩＤのデータとして、各フォーマットの信号に挿入する。なお、映像データＤＶや音声データＤＡに対して付属情報ＤＭを連結する方法はこれに限られず種々の方法が考えられ、上記の例に限定されるものではない。また、連結とは、互いの関係が何らかの方法でわかるもの、つまり、リンクがとれれば良い。例えば、別の伝送路を介して送られる場合であっても、夫々に同じＵＭＩＤが付されていれば関連付けることができ、これも連結に含まれる。

ところで、上述の撮像装置１０は、撮像部１２における撮像電荷の読み出し周期を可変することで、所望の設定フレームレートＦＲsの素材データＤＴmを生成するものであり、設定フレームレートＦＲsを連続的に可変できる。しかし、設定フレームレートＦＲsをステップ状に可変するだけでよい場合には、フレーム間引きを行うことで、所望の設定フレームレートＦＲsの素材データＤＴmを生成できる。すなわち、設定フレームレートＦＲsよりも高いフレームレートであり、フレームレートが一定である映像データＤＶaを生成して、この映像データＤＶaから設定フレームレートＦＲs分だけ映像データを抽出することで、設定フレームレートＦＲsの映像データＤＶを生成できる。この場合の構成を図４に示す。なお、図４において、図２と対応する部分については同一符号を付し詳細な説明は省略する。

制御部１８のタイミングジェネレータ１８２は、ユーザインタフェース部１６を介して設定される設定フレームレートＦＲsの最高値に応じた駆動信号ＣＲaを生成して撮像部１２に供給する。撮像部１２は、駆動信号ＣＲaに基づいて撮像信号の生成を行い、フレームレートが基準フレームレートＦＲrよりも高い固定フレームレートＦＲqの撮像信号Ｓpaを生成して信号処理部１７のカメラ処理回路１３１に供給する。撮像部１２は、例えば、設定フレームレートＦＲsが基準フレームレートＦＲrのｎ（ｎは正数）倍まで変更可能であるとき、基準フレームレートＦＲrのｎ倍のフレームレートである撮像信号Ｓpaを生成して、カメラ処理回路１３１に供給する。即ち、撮像部１２は、ユーザインタフェース部１６を介して設定される設定フレームレートＦＲsに影響されることなく、固定のフレームレートである撮像信号Ｓpaを生成する。

また、タイミングジェネレータ１８２は、駆動信号ＣＲaに同期したタイミング信号ＣＴaを生成して信号処理部１７のカメラ処理回路１３１や音声処理回路１３２および有効フレーム信号生成回路１８３に供給する。

カメラ処理回路１３１は、撮像信号Ｓpaに基づいて生成した固定フレームレートＦＲqの映像データＤＶaを有効データ選別回路１７１に供給する。音声処理回路１３２は、一定周波数のタイミング信号ＣＴaに基づいたサンプリングを行って生成した音声データＤＡaを有効データ選別回路１７１に供給する。

撮像制御回路１８１は、ユーザインタフェース部１６からの操作信号ＰＳaに基づき、設定フレームレートＦＲsを示す設定情報信号ＣＦを生成して有効フレーム信号生成回路１８３に供給する。

有効フレーム信号生成回路１８３は、映像データＤＶaの一定値であるフレームレートＦＲqと設定情報信号ＣＦによって示された設定フレームレートＦＲsとの比に基づき、映像データＤＶaからフレーム単位でデータ抽出を行って設定フレームレートＦＲsの映像データＤＶを生成するための抽出制御信号ＣＣを生成する。さらに、有効フレーム信号生成回路１８３は、この抽出制御信号ＣＣをタイミング信号ＣＴaに同期して有効データ選別回路１７１に供給する。例えば、映像データＤＶaのフレームレートＦＲqが基準フレームレートＦＲrのｎ倍であり、設定フレームレートＦＲsが基準フレームレートＦＲrの（ｎ／２）倍であるとき、有効フレーム信号生成回路１８３は、映像データＤＶaから１フレーム置きにフレーム単位でデータ抽出を行う抽出制御信号ＣＣを生成して、タイミング信号ＣＴaに同期して有効データ選別回路１７１に供給する。

また、有効フレーム信号生成回路１８３は、設定情報信号ＣＦに基づき設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsを生成して出力部１５に供給する。さらに、抽出制御信号ＣＣによって基準フレームレートＦＲrのフレーム期間中におけるフレーム数を識別できることから、有効フレーム信号生成回路１８３は、基準フレームレートＦＲrの各フレーム期間中におけるフレームに対するサブフレーム番号ＢＮの設定を行い、このサブフレーム番号ＢＮもフレーム識別情報ＤＭ-BNとして出力部１５に供給する。

有効データ選別回路１７１は、抽出制御信号ＣＣによって示されたフレームの映像データＤＶaおよび音声データＤＡaを抽出して映像データＤＶおよび音声データＤＡとして出力部１５に供給する。また、図示せずも、有効フレーム信号生成回路１８３から有効データ選別回路１７１に対して設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRを供給し、有効データ選別回路１７１で、設定フレームレートＦＲsと音声データＤＡaを生成したときのフレームレートとの比に応じて音声データＤＡaの間引きを行うものとしても良い。例えば、音声データＤＡaを生成したときのフレームレートＦＲqが基準フレームレートＦＲrのｎ倍であり、設定フレームレートＦＲsが基準フレームレートＦＲrの（ｎ／２）倍であるとき、音声データＤＡaに対して１サンプル置きに間引きを行う。この場合、フレーム単位で音声データを間引く場合よりも間引き間隔を小さくできるので、音声データＤＡに基づく音声を良好な音質とすることができる。

このように、映像データＤＶaのフレーム周波数を一定とすることで、撮像部１２や信号処理部１７のカメラ処理回路１３１での動作周波数を可変する必要がなくなり、撮像部１２やカメラ処理回路１３１の構成を簡単にできる。また、映像データＤＶaからフレーム単位でデータ抽出を行うだけで設定フレームレートＦＲsの映像データＤＶを生成できるので、所望の設定フレームレートＦＲsの映像データＤＶを映像データＤＶaから容易に生成できる。

また、撮像装置に画像メモリや加算器および除算器を設けるものとして、映像データを所定フレーム分毎に加算して映像データＤＶを生成するようにしても良い。この場合には、撮像信号Ｓpのフレームレート可変範囲を狭くできる。すなわち、ｎフレーム分の撮像信号Ｓpを加算して信号レベルを（１／ｎ）倍すれば、撮像信号Ｓpのフレームレートを（１／ｎ）倍としなくとも、フレームレートを（１／ｎ）倍とした信号を得ることが可能となる。

図５および図６は、撮像装置１０，１０aで生成される映像データＤＶと付属情報ＤＭの関係を説明するための図である。図５Ａに示すように設定フレームレートＦＲsを例えば基準フレームレートＦＲrの１倍あるいは２倍とすると、図５Ｂに示す映像データＤＶ（図では映像データＤＶに基づいたフレーム画像を示している）に対して、設定フレームレートＦＲsを示す図５Ｃのフレームレート情報ＤＭ-FRsとサブフレーム番号ＢＮを示す図５Ｄのフレーム識別情報ＤＭ-BNとを含んだ付属情報ＤＭが連結される。なお、図５Ｅは、時間経過とフレーム画像の関係を示したものである。また、フレームレート情報ＤＭ-FRsは、設定フレームレートＦＲsを示すだけでなく、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍率を示すものとしても良い。図５Ｃおよび以下の図で示すフレームレート情報ＤＭ-FRsでは倍率を記している。

図６Ａに示すように設定フレームレートＦＲsを例えば基準フレームレートＦＲrの１倍あるいは１／２倍とすると、図６Ｂに示す映像データＤＶ（図では映像データＤＶに基づいたフレーム画像を示している）に対して、設定フレームレートＦＲsを示す図６Ｃのフレームレート情報ＤＭ-FRsとサブフレーム番号ＢＮを示す図６Ｄのフレーム識別情報ＤＭ-BNとを含んだ付属情報ＤＭが連結される。図６Ｅは、時間経過とフレーム画像の関係を示したものである。

次に、編集装置３０について説明する。図７は、編集装置３０の構成を示している。編集装置３０に供給された素材データＤＴmは、素材取込部３１の情報検出回路３１１に供給される。情報検出回路３１１は、素材データＤＴmから付属情報ＤＭを検出する。この検出した付属情報ＤＭをデータベース化処理回路３１２に供給する。また、素材データＤＴmに含まれている映像データＤＶと音声データＤＡをデータベース化処理回路３１２に供給する。

データベース化処理回路３１２は、映像データＤＶと音声データＤＡと情報検出回路３１１で検出した付属情報ＤＭとを関係付けて編集処理部３２のデータ記憶装置３２１に記憶させる。また、データベース化処理回路３１２は、データ記憶装置３２１に記憶した付属情報ＤＭや、この付属情報ＤＭに関係付けられている映像データＤＶや音声データＤＡに基づいて、容易に素材データの内容を確認可能とするデータベース情報ＤＢを生成して編集制御部３３に供給する。例えば、データベース情報ＤＢは、素材データの内容を識別可能とする情報（例えばサムネイル）、素材データの時間長、設定フレームレートＦＲs、サブフレーム番号ＢＮ、データ記憶装置３２１における記憶位置等の情報から構成されるものである。

編集制御部３３は、ＧＵＩ（Graphical User Interface）環境で編集処理を可能とするための映像データＤＶgや、データベース情報の内容を表示するための映像データＤＶiを生成して映像出力信号生成回路３５１に供給する。映像出力信号生成回路３５１は、供給された映像データＤＶg，ＤＶiに基づき映像信号Ｓvmを生成して編集画像表示装置４０に出力する。このように、映像信号Ｓvmを編集画像表示装置４０に供給することで、どのような素材データが記憶されているか等を編集画像表示装置４０の画面上に表示できる。

また、編集制御部３３は、ポストプロダクション処理の制御を行う。すなわち、編集制御部３３に接続されているユーザインタフェース部３４から、ＧＵＩ環境での表示を利用した操作信号ＰＳeが供給されて、操作信号ＰＳeによっていずれかの素材データを選択することが示されたときには、編集制御部３３は、この操作信号ＰＳeに応じた読出制御信号ＲＣを生成して編集処理部３２の書込読出処理回路３２２に供給する。また、操作信号ＰＳeが読み出した素材データの加工や結合等の編集操作に関するものであるときには、編集制御部３３は、操作信号ＰＳeに応じた編集制御信号ＥＴを生成して編集処理部３２の信号編集回路３２３に供給する。さらに、素材データの編集が終了してコンテンツデータが完成されたとき、操作信号ＰＳeがコンテンツデータをデータ記憶装置３２１に記憶する操作を示しているときには、編集制御部３３は、操作信号ＰＳeに応じた書込制御信号ＷＣを生成して、書込読出処理回路３２２に供給する。また、操作信号ＰＳeがコンテンツデータの出力を示しているときには、編集制御部３３は、操作信号ＰＳeに応じた出力制御信号ＲＰを生成して書込読出処理回路３２２に供給する。操作信号ＰＳeがコンテンツデータの再生速度範囲を規定するものであるときには、編集制御部３３は、操作信号ＰＳeに応じた速度範囲設定信号ＬＰを生成して信号編集回路３２３に供給する。

書込読出処理回路３２２は、読出制御信号ＲＣに基づき、要求された素材データをデータ記憶装置３２１から読み出して信号編集回路３２３に供給する。また、書込読出処理回路３２２は、書込制御信号ＷＣに基づき、完成されたコンテンツデータＤＣをデータ記憶装置３２１に記憶させる。また、書込読出処理回路３２２は、出力制御信号ＲＰに基づき、要求されたコンテンツデータＤＣをデータ記憶装置３２１から読み出して出力する。

信号編集回路３２３は、データ記憶装置３２１から読み出した素材データに含まれている映像データＤＶおよび／または音声データＤＡを用いて、画像や音声の加工や結合および削除等の編集処理を編集制御信号ＥＴに基づいて行う。ここで、信号編集回路３２３は、編集前や編集中あるいは編集後の映像データＤＶeを映像出力信号生成回路３５１に供給し、編集前や編集中あるいは編集後の音声データＤＡeを音声出力信号生成回路３５２に供給する。また、信号編集回路３２３は、編集処理によって映像データＤＶや音声データＤＡのフレームレートを変更したとき、付属情報ＤＭも編集後の映像データや音声データに合わせて変更する。さらに、信号編集回路３２３は、編集後の映像データＤＶや音声データＤＡおよび編集後の映像データＤＶや音声データＤＡに対応する設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsやフレーム識別情報ＤＭ-BNを含んだ付属情報ＤＭcを連結させてコンテンツデータＤＣを生成する。また、信号編集回路３２３は、速度範囲設定信号ＬＰが供給されたときには、この速度範囲設定信号ＬＰに基づいてコンテンツデータＤＣの再生速度範囲を示す速度範囲情報も付属情報ＤＭcとして連結させる。さらに、信号編集回路３２３は、ユーザインタフェース部３４からコンテンツのタイトルやコンテンツの推奨再生速度が入力されたときには、これらの情報も付属情報ＤＭcとして連結させる。また、編集処理によってコンテンツデータの再生時間長情報が得られているときには、この情報も付属情報ＤＭcとして連結させるものとしても良い。さらに、コンテンツデータの再生可能な最高速度が入力されたときには、この最高速度も付属情報ＤＭcとして連結させる。また、信号編集回路３２３あるいは編集制御部３３は、素材データにサブフレーム番号ＢＮが付加されていない場合、上述の図３に示す処理を行い、サブフレーム番号ＢＮを設定してフレーム識別情報ＤＭc-BNとする。

編集出力信号生成部３５の映像出力信号生成回路３５１は、上述したように、編集制御部３３から供給された映像データＤＶg，ＤＶiに基づき映像信号Ｓvmを生成して編集画像表示装置４０に供給する。このため、ＧＵＩ環境で素材データに関する情報を表示できる。さらに、映像出力信号生成回路３５１は、信号編集回路３２３から供給された映像データＤＶeに基づき映像信号Ｓvmを生成する。これにより、ユーザは、編集前や編集中あるいは編集後の画像を編集画像表示装置４０の画面上で確認できる。

音声出力信号生成回路３５２は、信号編集回路３２３から供給された音声データＤＡeを、アナログの音声信号Ｓamに変換し、所望の信号レベルとして、例えばスピーカやヘッドホンを用いて構成された編集音声出力装置４１に供給する。このため、ユーザは、編集前や編集中あるいは編集後の音声を編集音声出力装置４１から出力される音声によって確認できる。

このように、編集装置３０で素材データＤＴmを用いたポストプロダクション処理が行われ、コンテンツデータＤＣが完成すると、この完成したコンテンツデータＤＣは、コンテンツ伝送装置５０に供給されて、このコンテンツ伝送装置５０からユーザのコンテンツ再生装置７０に供給される。

図８は、コンテンツ伝送装置５０の構成を示している。編集装置３０から供給された伝送用のコンテンツデータＤＣは、書込処理部５１に供給される。書込処理部５１は、伝送データ生成部５２のコンテンツ蓄積装置５２１と接続されており、供給された伝送用のコンテンツデータをコンテンツ蓄積装置５２１に記憶させる。なお、コンテンツデータＤＣは、編集装置３０から供給されたものに限られるものではなく、撮像装置１０で生成された素材データ等をコンテンツデータＤＣとして用いるものとしても良い。

伝送データ生成部５２は、コンテンツデータＤＣに基づき伝送データＤＴzの生成を行うものであり、伝送データ生成部５２のコンテンツ蓄積装置５２１には、読出処理回路５２２が接続されている。この読出処理回路５２２には、伝送用のコンテンツデータを伝送する際の伝送路の帯域情報ＷＢやコンテンツ再生装置側からのコンテンツ要求信号ＲＱが後述する伝送処理部５３から供給される。

読出処理回路５２２は、帯域情報ＷＢやコンテンツ蓄積装置５２１に蓄積されている要求されたコンテンツデータの付属情報ＤＭcに基づき、要求されたコンテンツデータの読み出しを制御してフレームレート調整を行い、フレームレート調整後のコンテンツデータＤＣzaを情報修正回路５２３に供給する。

例えば、後述するエンコーダ５２４で符号化処理を行ったときの１フレーム分のデータ量がＢＤbit、フレームレート情報ＤＭc-FRsによって示された設定フレームレートＦＲsが基準フレームレートＦＲrのｎ（ｎは正数）倍であるとき、単位時間で伝送するデータ量ＢＴは「ＢＴ＝ＢＤ×ｎ×ＦＲr＋ＢＨ」となる。なお、データ量ＢＨは、コンテンツデータをパケット化して伝送するときに付加されるヘッダ情報等をまとめて示したものである。

ここで、帯域情報ＷＢで示された伝送可能なデータ量（帯域幅）ＢＡがデータ量ＢＴより小さくないときには、コンテンツデータのフレームレート調整を行わないものとされ、コンテンツ蓄積装置５２１からコンテンツデータを順次読み出して情報修正回路５２３に供給される。また、帯域幅ＢＡがデータ量ＢＴよりも小さいとき、コンテンツデータの映像データ等に対してフレームレート調整を行い、伝送データを受信しながら再生するストリーミング動作時に、画像や音声が途切れてしまうことがないようデータ量を少なくする。例えば付属情報ＤＭcで示された設定フレームレートＦＲsと基準フレームレートＦＲrから、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数「ｍ」を識別する。さらに、識別した倍数「ｍ」の約数を求めて、「ｍ」を除く約数の最大値と基準フレームレートＦＲrを乗算して調整後の設定フレームレートとする。すなわち「ｍ＝１０」であるときには約数の最大値が「５」であるので「ｍ＝５」とするフレームレート調整を行う。このフレームレート調整では、１フレームおき、すなわちフレーム識別情報ＤＭc-BNを利用して、偶数であるサブフレーム番号「０，２，３，６，８」のコンテンツデータを読み出すことで、基準フレームレートＦＲrに対して５倍のフレームレートのコンテンツデータを生成する。また、「ｍ＝９」であるときには「ｍ＝３」に調整して、２フレームおき、すなわちフレーム識別情報ＤＭc-BNを利用して、サブフレーム番号「０，３，６」のコンテンツデータを読み出すことでフレームレート調整後のコンテンツデータを生成する。また、調整後のデータ量ＢＴが帯域幅ＢＡよりも大きいときにはさらにフレームレートの調整を行う。このように、「ｍ」を除く約数の最大値を用いて調整後のフレームレートを決定すれば、コンテンツデータを読み出す際にフレーム識別情報ＤＭc-BNを利用してフレーム単位で間引きを行うだけで、簡単にフレームレート調整後のコンテンツデータを生成できる。

その後、「ｍ＝１」でも調整後のデータ量ＢＴが帯域幅ＢＡよりも大きいときには「ｍ＝１／ｋ」（ｋ：自然数）となるようにフレーム間引きを行うことで、データ量ＢＴを更に少なくできる。また、帯域幅ＢＡが変化したときには帯域幅ＢＡの変化に応じてフレームレートを可変させる。

また、コンテンツデータの音声データに対しては、映像データに対するフレームレート調整に応じてサンプル間引きを行い、フレームレート調整後の音声データを生成する。例えば映像データが１フレームおきに読み出されるときには、音声データを１サンプル置きに読み出す。また映像データが２フレームおきに読み出されるときには、音声データを２サンプル置きに読み出してフレームレート調整後の音声データを生成する。

情報修正回路５２３は、読出処理回路５２２によってフレームレート調整が行われたとき、調整後のフレームレートに対応するようにコンテンツデータＤＣzaの付属情報ＤＭzaを修正して、フレームレートを正しく示す付属情報ＤＭzとする。さらに、この付属情報ＤＭzを連結したコンテンツデータＤＣzをエンコーダ５２４に供給する。例えば「ｍ＝１０」が「ｍ＝５」に調整されたときには、設定フレームレートＦＲsを「×１０」から「×５」に変更する修正を行い、設定フレームレートＦＲsが「×１０」であることを示すフレームレート情報ＤＭza-FRsを、設定フレームレートＦＲsが「×５」であることを示すフレームレート情報ＤＭz-FRsに変更する。設定フレームレートＦＲsの変更に伴いフレーム識別情報ＤＭza-BNも変更する。すなわちサブフレーム番号ＢＮ「０〜９」をサブフレーム番号ＢＮ「０〜４」に付け替えたフレーム識別情報ＤＭz-BNとする。さらに、この変更後のフレームレート情報ＤＭz-FRsとフレーム識別情報ＤＭz-BNを用いて、付属情報ＤＭcを付属情報ＤＭzに変更する。

エンコーダ５２４は、供給されたコンテンツデータＤＣzの映像データＤＶzや音声データＤＡzを伝送に適した信号に符号化して符号化データＤＺを生成する。例えばＭＰＥＧ（Moving Picture Experts Group）４として規格化されている符号化方式等を用いてストリーミング伝送に適した信号に符号化する。この符号化処理によって得られた符号化データＤＺに付属情報ＤＭzを連結させて、伝送データＤＴzとして伝送処理部５３に供給する。このように、符号化処理を行うことで効率良くコンテンツデータの伝送を行うことが可能となる。

伝送処理部５３は、コンテンツ再生装置７０から供給された伝送信号ＴＭrqによってコンテンツデータの要求がなされたとき、要求されているコンテンツデータを示すコンテンツ要求信号ＲＱを読出処理回路５２２に供給する。また、伝送処理部５３は、伝送路６０の帯域に関する帯域情報ＷＢを生成して読出処理回路５２２に供給する。さらに、伝送処理部５３は、コンテンツデータの要求に基づき、エンコーダ５２４から供給された伝送データＤＴzを所定のプロトコルの伝送信号として、伝送路６０を介してコンテンツデータの要求を行ったコンテンツ再生装置７０に供給する。

この読出処理回路５２２に供給する帯域情報ＷＢは、例えばルータ等のネットワーク機器を用いて伝送処理部５３を構成し、このネットワーク機器が持つ管理情報ベース（ＭＩＢ:Management Information Base）から得ることができるトラフィック情報を帯域情報ＷＢとして用いることができる。また、計測用のパケットをコンテンツ再生装置７０に送信し、コンテンツ再生装置７０からのレスポンス時間などを測定することで帯域を識別して、この識別結果を帯域情報ＷＢとして用いることもできる。

また、帯域情報ＷＢに基づき読出処理回路５２２でフレームレート調整を行うだけでなく、帯域情報ＷＢに基づきエンコーダ５２４でデータ圧縮率を可変することによってデータ量ＢＴを帯域幅ＢＡに応じて可変するものとしても良い。この場合には、データ量の制御をさらに細かく制御できるので、帯域幅ＢＡが狭くなっても伝送される画像や音声の品質の劣化を少なくすることが可能となる。さらに、設定フレームレートＦＲsが等しい状態が続くフレーム期間中は、調整後のフレームレートを帯域情報ＷＢにかかわらず一定として、データ量ＢＴの調整をエンコーダ５２４で行うこともできる。この場合には、撮像装置１０や編集装置３０によって所望のフレームレートに設定したコンテンツ部分が、帯域幅ＢＡに応じて異なるフレームレートに調整されてしまうことを防止できる。

さらに、付属情報ＤＭcに推奨再生速度が設定されているときには、推奨再生速度での再生が可能となる範囲でフレームレート調整を行い、推奨再生速度での再生時よりもフレーム数を少なくする必要が生じたときには、データ量ＢＴの調整をエンコーダ５２４で行うものとしても良い。この場合には、伝送路６０の帯域が狭くなっても推奨再生速度でコンテンツを再生することができる。

ところで、上述のコンテンツ伝送装置５０のコンテンツ伝送処理は、コンピュータを用いてソフトウェア処理によっても実現できる。このソフトウェア処理によってコンテンツ伝送を行う場合の構成を図９に示す。

コンピュータは、図９に示すようにＣＰＵ（Central Processing Unit）５５１を内蔵しており、このＣＰＵ５５１にはバス５６０を介してＲＯＭ５５２，ＲＡＭ５５３，記憶容量が大容量であるハード・ディスク・ドライブ等を用いて構成したデータ蓄積部５５４，入出力インタフェース５５５が接続されている。さらに、入出力インタフェース５５５には信号入力部５６１や通信部５６２、記録媒体ドライブ５６３が接続されている。

ＣＰＵ５５１は、ＲＯＭ５５２やＲＡＭ５５３あるいはデータ蓄積部５５４に記憶されているプログラムを実行して、コンテンツ伝送処理を行う。信号入力部５６１に入力されたコンテンツデータは、入出力インタフェース５５５とバス５６０を介してデータ蓄積部５５４に記憶させる。また、ＣＰＵ５５１は、通信部５６２を介してコンテンツ要求信号ＲＱが供給されたとき、データ蓄積部５５４に記憶されているコンテンツデータから、要求されたコンテンツデータの読み出しを行い、この読み出しを制御して伝送路６０に応じたデータ量のコンテンツデータとなるようにフレームレート調整を行う。さらに、ＣＰＵ５５１は、伝送に適した符号化を行って伝送データＤＴzを生成する。この生成した伝送データＤＴzは、通信部５６２を介して出力される。

なお、コンテンツ伝送処理を行うプログラムは、予めＲＯＭ５５２やデータ蓄積部５５４に記憶させておくものとしたり、記録媒体ドライブ５６３によって、コンテンツ伝送処理のプログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出して実行するものとしても良い。さらに、通信部５６２によって、プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信したプログラムをコンピュータで実行するものとしても良い。

図１０は、コンテンツ伝送処理動作を示すフローチャートである。ステップＳＴ１１で、ＣＰＵ５５１は、コンテンツデータＤＣの取り込みを行い、信号入力部５６１に入力されたコンテンツデータＤＣをデータ蓄積部５５４に記憶させる。なお、コンテンツデータは、編集装置３０から供給されたデータに限られるものではなく、撮像装置１０で生成された素材データ等をコンテンツデータとしてデータ蓄積部５５４に記憶するものとしても良い。

ステップＳＴ１２で、ＣＰＵ５５１は、コンテンツデータの要求がなされたか否かを判別する。ここでコンテンツデータの要求がなされていないときにはステップＳＴ１２に戻り、コンテンツデータの要求が例えば通信部５６２を介してなされたときにはステップＳＴ１３に進む。

ステップＳＴ１３で、ＣＰＵ５５１は、要求されたコンテンツデータの付属情報を読み出してステップＳＴ１４に進む。

ステップＳＴ１４で、ＣＰＵ５５１は、伝送路の帯域を検出し、検出された帯域に応じて、データ蓄積部５５４から読み出すコンテンツデータを、フレーム識別情報を利用して制御することによりフレームレート調整を行う。

ステップＳＴ１５で、ＣＰＵ５５１は、読み出したコンテンツデータＤＣzaの付属情報ＤＭzaを、調整されたフレームレートと対応するように修正して付属情報ＤＭzとする。ステップＳＴ１６で、ＣＰＵ５５１は、付属情報の修正がなされたコンテンツデータＤＣzを用いて伝送路に応じた符号化処理を行い符号化データＤＺを生成する。さらに、生成した符号化データＤＺと修正後の付属情報ＤＭzを用いて、伝送データＤＴzを生成してステップＳＴ１７に進む。

ステップＳＴ１７で、ＣＰＵ５５１は、コンテンツデータの要求先に向けて、生成した伝送データＤＴzを通信部５６２から出力する。

次に、コンテンツ再生装置について説明する。図１１は、コンテンツ再生装置７０の構成を示している。コンテンツ伝送装置５０から供給された伝送信号ＴＭzは、入力部７１の通信回路７１１に供給される。入力部７１はコンテンツデータの取り込みを行うものであり、入力部７１の通信回路７１１は、供給された伝送信号ＴＭzから伝送データＤＴzを生成し、この伝送データＤＴzから符号化データＤＺと付属情報ＤＭzを抽出する。さらに、通信回路７１１は、抽出した付属情報ＤＭzを情報記憶回路７１２に供給し、符号化データＤＺをデータ保持回路７１３に供給する。また通信回路７１１は、後述する再生制御部７２からのコンテンツ要求信号ＲＱに基づき伝送信号ＴＭrqを生成して、コンテンツ伝送装置５０に供給する。

情報記憶回路７１２は、供給された付属情報ＤＭzを記憶する。またデータ保持回路７１３は、供給された符号化データＤＺを記憶する。

再生制御部７２にはユーザインタフェース部７３が接続されている。再生制御部７２は、ユーザインタフェース部７３からの操作信号ＰＳpがコンテンツデータの要求を行うものであるとき、操作信号ＰＳpに基づいたコンテンツ要求信号ＲＱを生成して通信回路７１１に供給することで、コンテンツ伝送装置５０に対してコンテンツデータの伝送要求を行う。

また、操作信号ＰＳpがコンテンツデータの再生を指示するものであるとき、再生制御部７２は、読出制御信号ＣＮをデータ保持回路７１３に供給して、再生の指示が行われたコンテンツの符号化データＤＺをデータ保持回路７１３から読み出して再生処理部７４に供給する。さらに、再生制御部７２は、読み出した符号化データＤＺに対応する付属情報ＤＭzを情報記憶回路７１２から読み出して、付属情報ＤＭzに含まれている情報を表示する映像データＤＶs、例えば付属情報ＤＭzに含まれている制限情報に基づき再生可能速度範囲を示す映像データ、付属情報ＤＭzにタイムコード等の時間情報が含まれているとき、この時間情報で示された合計時間や再生位置の時間等を示す映像データを生成して再生処理部７４に供給する。これにより、テレビジョン装置やモニター装置等であるコンテンツ提示装置８０の画面上に再生可能速度範囲や合計時間および再生位置の時間等が表示される。また、付属情報ＤＭzに速度範囲情報が含まれていないときには、上述の編集装置３０において示したように再生可能速度範囲の設定を行う。設定された再生可能速度範囲は、コンテンツ提示装置８０の画面上に表示される。操作信号ＰＳpがコンテンツの再生速度ＦＰを可変するものであるとき、再生制御部７２は、再生処理部７４の動作を制御する提示制御信号ＣＰを付属情報ＤＭzに基づき生成して再生処理部７４に供給する。

また、再生制御部７２は、付属情報ＤＭzによってコンテンツの再生可能な最高速度が示されているとき、再生速度ＦＰの可変範囲の最高速度を、付属情報ＤＭzで示された最高速度とする。さらに、付属情報ＤＭzによって推奨再生速度が示されている場合、操作信号ＰＳpによって再生速度が指示されていないときには、再生制御部７２は、この推奨再生速度で再生動作を行うように提示制御信号ＣＰを生成する。なお、付属情報ＤＭzによって、コンテンツのタイトルや時間長が示されているとき、再生制御部７２は、これらの情報をコンテンツ提示装置８０の画面上に表示させる。

コンテンツの可変速再生を行う再生処理部７４は、データ保持回路７１３から供給された符号化データＤＺの復号化処理を行い、コンテンツの映像データＤＶzや音声データＤＡzを生成する。再生処理部７４は、さらに、生成した映像データＤＶzや音声データＤＡzに対して提示制御信号ＣＰに基づきフレーム識別情報ＤＭz-BNを利用した間引きや繰り返し処理を行い、ユーザの設定した再生速度ＦＰあるいは推奨再生速度と等しい再生速度ＦＰに応じた映像信号Ｓvzや音声信号Ｓazを生成してコンテンツ提示装置８０に供給することで、コンテンツ提示を行う。また、再生処理部７４は、再生速度ＦＰの可変範囲を示す映像データＤＶsが供給されたとき、この再生速度ＦＰの可変範囲をコンテンツ提示装置８０の画面上に表示する映像信号Ｓvzの生成を行う。

なお、符号化データＤＺがフレーム内符号化データで構成されているとき、再生処理部７４は、データ保持回路７１３から提示制御信号ＣＰに基づき、符号化データＤＺをフレーム単位で間引きして読み出すものとしても良い。この場合には、間引きされてしまう映像データの復号化を行う必要がなく、復号化処理を容易に行うことができる。

また、コンテンツ再生装置７０は、コンテンツデータが記録されている記録媒体を用いるものであっても良い。この場合、記録媒体を再生して得られた再生信号から付属情報ＤＭzと符号化データＤＺを分離して、この付属情報ＤＭzを情報記憶回路７１２に記憶させ、符号化データＤＺをデータ保持回路７１３に記憶させることで、同様に処理することができる。

ところで、上述のコンテンツ再生装置７０のコンテンツ再生処理も、コンピュータでソフトウェア処理することによって実現できる。このソフトウェア処理によってコンテンツ再生を行う場合の構成を図１２に示す。

コンピュータは、図１２に示すようにＣＰＵ７５１を内蔵しており、このＣＰＵ７５１にはバス７６０を介してＲＯＭ７５２，ＲＡＭ７５３，データ蓄積部７５４，入出力インタフェース７５５が接続されている。さらに、入出力インタフェース７５５には通信部７６１やユーザインタフェース部７６２、信号出力部７６３、記録媒体ドライブ７６４が接続されている。

ＣＰＵ７５１は、ＲＯＭ７５２やＲＡＭ７５３あるいはデータ蓄積部７５４に記憶されているプログラムを実行して、ユーザインタフェース部７６２からの操作信号ＰＳpに基づいたコンテンツ伝送処理動作を行う。ここで、通信部７６１に伝送データＤＴzが供給されたとき、通信部７６１は、符号化データＤＺと付属情報ＤＭzを抽出する。この通信部７６１で抽出された符号化データＤＺと付属情報ＤＭzをデータ蓄積部７５４に記憶させる。また、ＣＰＵ７５１は、ユーザインタフェース部７６２からの操作信号ＰＳpに基づいて、データ蓄積部７５４に記憶されている符号化データＤＺの読み出しや復号化処理を行い、映像データＤＶzや音声データＤＡzを生成して信号出力部７６３に供給する。信号出力部７６３は、映像データＤＶzや音声データＤＡzに基づき、コンテンツ提示装置８０に応じた映像信号Ｓvzや音声信号Ｓazを生成して出力する。

なお、コンテンツ再生処理を行うプログラムは、予めＲＯＭ７５２やデータ蓄積部７５４に記憶させておくものとしたり、記録媒体ドライブ７６４によって、コンテンツ再生処理のプログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出して実行するものとしても良い。さらに、通信部７６１によって、プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信したプログラムをコンピュータで実行するものとしても良い。

図１３は、コンテンツ再生処理動作を示すフローチャートである。コンテンツデータを再生する場合、ＣＰＵ７５１は、ＧＵＩ環境を構成するための画像をコンテンツ提示装置８０に表示させるとともに、この表示画像に対応した操作をユーザインタフェース部７６２で行うことで操作入力を行う。

図１４は、コンテンツ提示装置８０の表示画像を例示したものであり、コンテンツ提示装置８０はＧＵＩのための画像を表示する。コンテンツ提示装置８０の画面上には、コンテンツの画像を表示するビュワー部８０１、再生速度ＦＰを可変するためのインタフェースである速度可変コンソール部８０２、再生速度ＦＰを表示する再生速度表示部８０３、動作モードや音量等の切り換えを行うための動作コントロール部８０４、コンテンツのタイトルを示すタイトル表示部８０５、コンテンツの再生時間や現在の時間を表示する時間表示部８０６、現在の再生位置を示す再生位置表示部８０７等が設けられている。

ＣＰＵ７５１は、図１３のステップＳＴ２１で、データ蓄積部７５４からコンテンツの付属情報ＤＭzを読み出して、入出力インタフェース７５５を介して信号出力部７６３からコンテンツ提示装置８０に、付属情報ＤＭzに基づいて生成された映像信号Ｓvzや音声信号Ｓazを出力する。これにより、コンテンツ提示装置８０で付属情報ＤＭｚに応じた表示が行われる。例えばコンテンツのタイトルやコンテンツの時間長がタイトル表示部８０５や時間表示部８０６に表示される。また速度範囲情報に基づき最低速度と最高速度が速度可変コンソール部８０２に表示される。

ステップＳＴ２２でＣＰＵ７５１は、動作コントロール部８０４を利用して、コンテンツの再生開始操作が行われたか否かを操作信号ＰＳpに基づき識別する。ここで、再生開始操作が行われていないとき、ＣＰＵ７５１はステップＳＴ２２に戻り、再生開始操作が行われたときにはステップＳＴ２３に進む。

ステップＳＴ２３でＣＰＵ７５１は、再生速度ＦＰと設定フレームレートＦＲsに応じて再生処理条件の設定、すなわち符号化データＤＺを復号化して得られた映像データＤＶzや音声データＤＡzから映像信号Ｓvzや音声信号Ｓazを生成する際に行うデータの間引き間隔やデータの繰り返し数を決定する。

ステップＳＴ２４でＣＰＵ７５１は、データ蓄積部７５４から符号化データＤＺを読み出して復号化して映像データＤＶzや音声データＤＡzを生成し、ステップＳＴ２３で決定された再生処理条件に基づき、フレーム識別情報ＤＭz-BNを利用してデータの間引きやデータの繰り返し行い、コンテンツ提示用の映像信号Ｓvzや音声信号Ｓazを生成する。ＣＰＵ７５１は、この生成した映像信号Ｓvzや音声信号Ｓazをコンテンツ提示装置８０に供給することで、速度可変コンソール部８０２のカーソル位置（太線で示す）で示された再生速度ＦＰの再生画像がコンテンツ提示装置８０のビュワー部８０１に表示される。また、このときの再生速度ＦＰが再生速度表示部８０３に表示され、再生時間や再生位置が時間表示部８０６や再生位置表示部８０７に表示される。また、コンテンツ提示装置８０は、速度可変コンソール部８０２のカーソル位置で示された再生速度ＦＰでの再生音声を出力する。

ステップＳＴ２５でＣＰＵ７５１は、速度可変コンソール部８０２のカーソル位置が移動されて再生速度ＦＰが変更されたか否かを識別する。ここで、ＣＰＵ７５１は、再生速度ＦＰの変更が行われたと識別したときステップＳＴ２３に戻り、再生速度ＦＰの変更が行われたと識別していないときステップＳＴ２６に進む。

ステップＳＴ２６でＣＰＵ７５１は、再生動作の終了であるか否かを識別する。ここで、再生動作を停止する操作が行われていないとき、あるいはコンテンツの再生位置が終了位置となっていないとき、ＣＰＵ７５１はステップＳＴ２５に戻る。また、停止操作が行われたとき、あるいは再生位置が終了位置となったとき、ＣＰＵ７５１は変速再生動作を終了する。

図１５は、画像に対しての再生処理条件の設定動作を示すフローチャートである。ＣＰＵ７５１は、ステップＳＴ３１で、速度可変コンソール部８０２のカーソル位置に基づいて再生速度ＦＰを識別してステップＳＴ３２に進む。ここで、基準フレームレートＦＲrを１倍速として、速度可変コンソール部８０２でのカーソルの初期位置を例えば１倍速の位置とすることで、再生動作開始時の再生速度ＦＰを設定する。また、編集装置３０によって再生速度ＦＰが推奨されているとき、ＣＰＵ７５１は、この推奨されている再生速度ＦＰの位置をカーソルの初期位置とし、推奨されている再生速度ＦＰを、再生動作開始時の再生速度ＦＰと設定する。さらに、カーソル位置がユーザによって移動されているとき、ＣＰＵ７５１はカーソル位置と対応する速度を再生速度ＦＰとする。

ステップＳＴ３２でＣＰＵ７５１は、付属情報ＤＭzに含まれているフレームレート情報ＤＭz-FRsに基づいて設定フレームレートＦＲsを識別してステップＳＴ３３に進む。ステップＳＴ３３でＣＰＵ７５１は、再生速度ＦＰと設定フレームレートＦＲsを乗算して、再生処理条件を決定するための識別値ＦＤを算出する。

ステップＳＴ３４でＣＰＵ７５１は、識別値ＦＤに基づいて再生処理条件を決定する。ここで、ＣＰＵ７５１は、識別値ＦＤが１以上で小数点以下の値を含まないとき、識別値ＦＤに応じたフレーム間隔で画像を間引いて出力するように再生処理条件を決定する。ＣＰＵ７５１は、識別値ＦＤが１以上で小数点以下の値を含む場合、識別値ＦＤの整数値部分に応じたフレーム間隔でフレーム識別情報ＤＭz-BNを利用して画像の間引きを行い、所望の再生速度に応じたフレーム数の画像が得られたときには、サブフレーム番号ＢＮの次の初期値まで画像の位置を移動させるように再生処理条件を決定する。ＣＰＵ７５１は、識別値ＦＤが１未満である場合、所望の再生速度に応じたフレーム数となるまで同じ画像を繰り返し出力するように再生処理条件を決定する。このように決定された再生処理条件に基づいて上述のステップＳＴ２４の処理を行うことで、正しく所望の再生速度でコンテンツの画像を提示させることができる。

図１６は、識別値ＦＤが１以上で小数点以下の値を含まない場合での再生動作を示している。図１６Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して１０倍速とされているときの映像データＤＶzに基づく画像を示している。また図１６Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１６Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BN、図１６Ｄは絶対フレーム番号ＡＮをそれぞれ示している。

ここで、再生速度ＦＰが（１／５）倍速とされたとき、識別値ＦＤは「１０×（１／５）＝２」となる。このため、図１６Ｅ〜図１６Ｇに示すように、「ＦＤ＝２」フレーム目毎、すなわちフレーム識別情報ＤＭz-BNを利用して映像データＤＶzを１フレーム置きに用いて映像信号Ｓvzを生成することで、（１／５）倍速での再生画像をコンテンツ提示装置８０に表示できる。なお、図１６Ｅは表示される画像のフレーム識別情報ＤＭz-BN、図１６Ｆは表示される画像の絶対フレーム番号ＡＮ、図１６Ｆは表示される画像のフレーム識別情報ＤＭz-BN、図１６Ｇは映像信号Ｓvzで表示されるフレーム画像を示している。

再生速度ＦＰが１倍のとき、識別値ＦＤは「１０×１＝１０」となる。このため、図１６Ｈ〜図１６Ｊに示すように、「ＦＤ＝１０」フレーム目毎、すなわちフレーム識別情報ＤＭz-BNを利用して映像データＤＶzを９フレーム分飛ばしながら用いて映像信号Ｓvzを生成することで、１倍速の再生画像をコンテンツ提示装置８０に表示できる。なお、図１６Ｈは表示される画像のフレーム識別情報ＤＭz-BN、図１６Ｉは表示される画像の絶対フレーム番号ＡＮ、図１６Ｊは映像信号Ｓvzで表示されるフレーム画像を示している。

また、再生速度ＦＰが２倍のとき、識別値ＦＤは「１０×２＝２０」となる。このため、図１６Ｋ〜図１６Ｍに示すように、「ＦＤ＝２０」フレーム目毎、すなわちフレーム識別情報ＤＭz-BNを利用して映像データＤＶzを１９フレーム分飛ばしながら用いて映像信号Ｓvzを生成することで、２倍速の再生画像をコンテンツ提示装置８０に表示できる。なお、図１６Ｋは表示される画像のフレーム識別情報ＤＭz-BN、図１６Ｌは表示される画像の絶対フレーム番号ＡＮ、図１６Ｍは映像信号Ｓvzで表示されるフレーム画像を示している。

図１７は、識別値ＦＤが１以上で小数点以下の値を含む場合での再生動作を示している。図１７Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して７倍速とされているときのフレーム画像を示している。また図１７Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１７Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BN、図１７Ｄは絶対フレーム番号ＡＮをそれぞれ示している。

ここで、再生速度ＦＰが（１／３）倍速であるとき、識別値ＦＤは「７×（１／３）＝２．３３・・・」となる。このため、図１７Ｅ〜図１７Ｇに示すように、識別値ＦＤの整数値部分に応じて２フレーム目毎すなわちフレーム識別情報ＤＭz-BNを利用して１フレーム置きに映像データＤＶzを用いる。さらに、所望の再生速度に応じたフレーム数、すなわち（１／３）倍速であるから、基準フレームレートＦＲrの１フレーム期間中に３フレーム分の画像を出力したときには、サブフレーム番号ＢＮの次の初期値まで用いる映像データＤＶzの位置を移動させる。この場合、サブフレーム番号ＢＮが「０」「２」「４」の映像データＤＶzを用いて映像信号Ｓvzが順次生成されて、（１／３）倍速の再生画像をコンテンツ提示装置８０に表示できる。なお、図１７Ｅは表示される画像のフレーム識別情報ＤＭz-BN、図１７Ｆは表示される画像の絶対フレーム番号ＡＮ、図１７Ｇは映像信号Ｓvzで表示されるフレーム画像を示している。

図１８は、識別値ＦＤが１未満となる場合での再生動作を示している。図１８Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して（１／４）倍速とされているときのフレーム画像を示している。また図１８Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１８Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BN、図１８Ｄは絶対フレーム番号ＡＮをそれぞれ示している。

ここで、再生速度ＦＰが１倍速とされたとき、識別値ＦＤは「（１／４）×１＝１／４」となる。このため、図１８Ｅ〜図１８Ｇに示すように、再生速度に応じたフレーム数すなわち映像データＤＶzをフレーム毎に４回繰り返し用いて映像信号Ｓvzを生成することで、１倍速での再生画像をコンテンツ提示装置８０に表示できる。なお、図１８Ｅは表示される画像のフレーム識別情報ＤＭz-BN、図１８Ｆは表示される画像の絶対フレーム番号ＡＮ、図１８Ｇは映像信号Ｓvzで表示されるフレーム画像を示している。

再生速度ＦＰが２倍速であるとき、識別値ＦＤは「（１／４）×２＝１／２」となる。このため、図１８Ｈ〜図１８Ｊに示すように、映像データＤＶzをフレーム毎に２回繰り返し用いて映像信号Ｓvzを生成することで、２倍速での再生画像をコンテンツ提示装置８０に表示できる。なお、図１８Ｈは表示される画像のフレーム識別情報ＤＭz-BN、図１８Ｉは表示される画像の絶対フレーム番号ＡＮを示しており、図１８Ｊは映像信号Ｓvzで表示される表示されるフレーム画像を示している。

再生速度ＦＰが４倍速であるとき、識別値ＦＤは「（１／４）×４＝１」となる。このため、図１８Ｋ〜図１８Ｍに示すように、映像データＤＶzをフレーム毎に順次用いて映像信号Ｓvzを生成することで、４倍速での再生画像をコンテンツ提示装置８０に表示できる。なお、図１８Ｋは表示される画像のフレーム識別情報ＤＭz-BN、図１８Ｌは表示される画像の絶対フレーム番号ＡＮを示しており、図１８Ｍは映像信号Ｓvzで表示される表示されるフレーム画像を示している。

このように、記録速度と再生速度に基づいた読出間隔で画像のデータを、フレーム識別情報を利用して読み出すことで、所望の再生速度の画像を簡単に表示できる。

次に、音声について説明する。図１９は、音声に対しての再生処理条件の設定動作を示すフローチャートである。音声については、フレーム単位で音声データＤＡzを用いるものとしたとき、フレーム間で音のつながりがなくなり音の不連続を生じてしまう。このため、音声については、サンプル単位で再生処理を行う。

ステップＳＴ４１でＣＰＵ７５１は、ステップＳＴ３１と同様にして再生速度を判別してステップＳＴ４２に進む。ステップＳＴ４２でＣＰＵ７５１は、ステップＳＴ３２と同様に設定フレームレートＦＲsを読み出してステップＳＴ４３に進む。ステップＳＴ４３でＣＰＵ７５１は、ステップＳＴ３３と同様に識別値ＦＤを算出してステップＳＴ４４に進む。

ステップＳＴ４４でＣＰＵ７５１は、識別値ＦＤに基づいて再生処理条件を決定する。ここで識別値ＦＤが１以上で小数点以下の値を含まないときには、識別値ＦＤに応じたサンプル間隔で音声データの間引きを行うように再生処理条件を決定する。識別値ＦＤが１以上で小数点以下の値を含む場合、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数分のフレームから、識別値ＦＤの整数値部分に応じたサンプル間隔で音声データの間引きを行い、再生速度分の音声データを読み出すように再生処理条件を決定する。識別値ＦＤが１未満である場合には、所望の再生速度に応じたフレーム数分のサンプル数となるように音声データを繰り返し用いるよう再生処理条件を決定する。このように決定された再生処理条件に基づいて上述のステップＳＴ２４の処理を行うことで、正しく所望の再生速度でコンテンツの音声を提示させることができる。

図２０は、識別値ＦＤが１以上で小数点以下の値を含まない場合での音声再生動作を示している。図２０Ａは絶対フレーム番号ＡＮ、図２０Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図２０Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BNをそれぞれ示している。

ここで、再生速度ＦＰが（１／５）倍速とされたとき、設定フレームレートＦＲsは基準フレームレートＦＲrに対して１０倍速とされていることから、識別値ＦＤは「１０×（１／５）＝２」となる。このため、「ＦＤ＝２」サンプル目毎すなわち１サンプル置きに音声データＤＡzを用いて音声信号Ｓazを生成することで、１倍速での再生音声をコンテンツ提示装置８０から出力できる。なお、図２０Ｄは、映像信号Ｓvzの生成に用いられるフレームを示しており、図２０Ｅは音声データＤＡzが１４サンプル／フレームであるとき、音声信号Ｓazで用いられる音声データを示している。

図２１は、識別値ＦＤが１以上で小数点以下の値を含む場合での音声再生動作を示している。図２１Ａは絶対フレーム番号ＡＮ、図２１Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図２１Ｃはフレーム画像のサブフレーム番号ＢＮを示すフレーム識別情報ＤＭz-BNをそれぞれ示している。

ここで、再生速度ＦＰが（１／３）倍速とされたとき、設定フレームレートＦＲsは基準フレームレートＦＲrに対して７倍速とされていることから、識別値ＦＤは「７×（１／３）＝２．３・・・」となる。また、音声データＤＡzが１４サンプル／フレームであるとき、（１／３）倍速における１フレームのサンプル数は「１４×３／７＝６」となる。このため、識別値ＦＤの整数値部分に応じて２サンプル目毎すなわち１サンプル置きに音声データＤＡzを出力させるとともに、１フレームのサンプル数分である６サンプルの音声データＤＡzの出力がなされたときには、次のフレームの先頭に移動して１サンプル置きに音声データＤＡzを出力させるようにする。このように音声データＤＡzを選択して出力させることで、（１／３）倍速の再生音声を得ることができる。また、音声信号Ｓazに基づいて音声出力する場合にフィルタ処理を行うものとすれば、音声データＤＡzの間引きによる影響を少なくして良好な再生音声を出力できる。さらに、設定フレームレートＦＲsや再生速度ＦＰに応じて、固定的にサンプル飛ばしを行いフレーム終了時にサンプル数を合わせるものであることから、再生速度に応じた音声信号Ｓazの出力を簡単に行うことができる。なお、図２１Ｃは、映像信号Ｓvzの生成に用いられるフレームを示しており、図２１Ｄは音声データＤＡzが１４サンプル／フレームであるとき、音声信号Ｓazで用いられる音声データを示している。

また、音声データＤＡzの間引きを行って音声信号Ｓazの生成する場合、音声データＤＡzの間隔が広くなって再生音が不連続となってしまうことがないように、音声信号Ｓazの生成に用いる音声データの間隔が略一定となるように間引きを行うものとしても良い。例えば設定フレームレートＦＲsが基準フレームレートＦＲrのＫＡ倍とされており、再生速度ＦＰが（１／ＫＢ）倍とされているとき、連続するＫＢサンプルの音声データＤＡzから略等間隔でＫＢサンプル分の音声データを取りだして、この取り出した音声データに基づいて音声信号Ｓazを生成する。このようにすれば、図２１に示す場合に比べて処理が複雑となるが、さらに良好な音質の再生音声を出力できる。

識別値ＦＤが１未満である場合には、図示せずも画像のフレーム繰り返し数分だけ各音声データを繰り返して順次用いることで、所望の再生速度の音声データＤＡzを生成できる。

このように、コンテンツ伝送側では、フレームレート情報と基準フレーム期間内に含まれるフレームを識別するフレーム識別情報を含む付属情報ＤＭzが、画像および／または音声を示す主データに連結されたコンテンツデータＤＣzの伝送が行われる。また、コンテンツ再生側では、フレームレート情報とフレーム識別情報を含む付属情報ＤＭzを利用して再生速度を可変して画像および／または音声のデータが再生される。このため、放送番組のように所定の再生速度の画像等を視聴できるだけでなく、ユーザの望む再生速度で画像等の視聴を行うことができる。例えば、設定フレームレートＦＲsを基準フレームレートＦＲrよりも大きくしてスポーツ中継等のコンテンツを生成すれば、従来の放送番組のようにコンテンツ提供側からスロー再生の画像が供給するまで待たなくとも、ユーザは通常は１倍速で見ながら、所望のシーンだけスローで見ることができる。

また、コンテンツ伝送側では、フレーム識別情報を利用して伝送路の帯域に応じたフレームレート調整が行われるので、フレームレート調整を容易に行うことができる。また、コンテンツ再生側では、フレーム識別情報を利用することでフレーム単位でのデータ間引き等を簡単に行うことができるので、コンテンツの再生速度を容易に可変できる。

以上のように、本発明はフレームレートを変えて生成されたコンテンツ部分を、映像データの提供側で意図した速度とは異なる速度で再生可能とする場合に好適である。

コンテンツ伝送システムの全体構成を示す図である。撮像装置の構成を示す図である。撮像装置の他の構成を示す図である。撮像装置の他の構成を示す図である。映像データの付属情報の関係（その１）を示す図である。映像データと付属情報の関係（その２）を示す図である。編集装置の構成を示す図である。コンテンツ伝送装置の構成を示す図である。ソフトウェアでコンテンツ伝送を行う場合の構成を示す図である。コンテンツ伝送処理動作を示すフローチャートである。コンテンツ再生装置の構成を示す図である。ソフトウェアでコンテンツ再生を行う場合の構成を示す図である。コンテンツ再生処理動作を示すフローチャートである。コンテンツ提示装置の表示画像を示す図である。画像に対しての再生処理条件の設定動作を示すフローチャートである。画像再生動作（その１）を示す図である。画像再生動作（その２）を示す図である。画像再生動作（その３）を示す図である。音声に対しての再生処理条件の設定動作を示すフローチャートである。音声再生動作（その１）を示す図である。音声再生動作（その２）を示す図である。

符号の説明

１０，１０a・・・撮像装置、１２・・・撮像部、１３，１７・・・信号処理部、１４，１８・・・制御部、１５・・・出力部、１６，３４，７３，７６２・・・ユーザインタフェース部、２０・・・音声入力装置、３０・・・編集装置、３１・・・素材取込部、３２・・・編集処理部、３３・・・編集制御部、３５・・・編集出力信号生成部、４０・・・編集画像表示装置、４１・・・編集音声出力装置、５０・・・コンテンツ伝送装置、５１・・・書込処理部、５２・・・伝送データ生成部、５３・・・伝送処理部、７０・・・コンテンツ再生装置、７１・・・入力部、７２・・・再生制御部、７４・・・再生処理部、８０・・・コンテンツ提示装置、１３１・・・カメラ処理回路、１３２・・・音声処理回路、１４１，１８１・・・撮像制御回路、１４２，１８２・・・タイミングジェネレータ、１７１・・・有効データ選別回路、１８３・・・有効フレーム信号生成回路、３１１・・・情報検出回路、３１２・・・データベース化処理回路、３２１・・・データ記憶装置、３２２・・・書込読出処理回路、３２３・・・信号編集回路、３５１・・・映像出力信号生成回路、３５２・・・音声出力信号生成回路、５２１・・・コンテンツ蓄積装置、５２２・・・読出処理回路、５２３・・・情報修正回路、５２４・・・エンコーダ、５５４，７５４・・・データ蓄積部、５６１・・・信号入力部、５６２・・・通信部、７１１・・・通信回路、７１２・・・情報記憶回路、７１３・・・データ保持回路、７６３・・・信号出力部

Claims

映像データと、前記映像データを生成したときの設定フレームレート、前記設定フレームレートよりも小さな値に設定されるとともに前記映像データを再生するときのフレームレートである基準フレームレートおよび前記映像データにおけるフレーム番号を、前記設定フレームレートに対する前記基準フレームレートの比率で割ったときの余りで表されるサブフレーム番号を含む付加情報とを外部装置から取得する取得手段と、
前記設定フレームレートに対する前記基準フレームレートの比率と、ユーザによって設定された再生速度の倍率との積である識別値を算出する識別値算出手段と、
前記識別値が１以上ならば、前記映像データにおいて、前記識別値の整数部分の整数倍に等しいサブフレーム番号に対応するフレーム以外のフレームを間引くことにより、前記映像データの再生速度を調節する再生手段と、を有する
ことを特徴とするデータ処理装置。
取得手段が、映像データと、前記映像データを生成したときの設定フレームレート、前記設定フレームレートよりも小さな値に設定されるとともに前記映像データを再生するときのフレームレートである基準フレームレートおよび前記映像データにおけるフレーム番号を、前記設定フレームレートに対する前記基準フレームレートの比率で割ったときの余りで表されるサブフレーム番号を含む付加情報とを外部装置から取得するステップと、
識別値算出手段が、前記設定フレームレートに対する前記基準フレームレートの比率と、ユーザによって設定された再生速度の倍率との積である識別値を算出するステップと、
前記識別値が１以上ならば、再生手段が、前記映像データにおいて、前記識別値の整数部分の整数倍に等しいサブフレーム番号に対応するフレーム以外のフレームを間引くことにより、前記映像データの再生速度を調節するステップと、を含む
ことを特徴とするデータ処理方法。
コンピュータに、
映像データと、前記映像データを生成したときの設定フレームレート、前記設定フレームレートよりも小さな値に設定されるとともに前記映像データを再生するときのフレームレートである基準フレームレートおよび前記映像データにおけるフレーム番号を、前記設定フレームレートに対する前記基準フレームレートの比率で割ったときの余りで表されるサブフレーム番号を含む付加情報とを外部装置から取得する処理と、
前記設定フレームレートに対する前記基準フレームレートの比率と、ユーザによって設定された再生速度の倍率との積である識別値を算出する処理と、
前記識別値が１以上ならば、前記映像データにおいて、前記識別値の整数部分の整数倍に等しいサブフレーム番号に対応するフレーム以外のフレームを間引くことにより、前記映像データの再生速度を調節する処理と、を実行させる
ことを特徴とするプログラム。
請求項３に記載のプログラムが記録された
ことを特徴とする記録媒体。