WO2004047441A1 - 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体 - Google Patents

Abstract

　画像および／または音声を示す主データに、フレームレート情報と基準フレーム期間内に含まれるフレームのフレーム識別情報とを含む付属情報を連結して構成された伝送データを生成して出力する。この伝送データを用いて主データの再生を行う場合、フレームレート情報に基づき再生速度可変範囲を設定する。再生速度可変範囲内で指示された再生速度に応じて、画像や音声のデータに対する間引きや繰り返しを、フレーム識別情報を利用して行い、主データの再生速度を容易に可変して、映像信号や音声信号を生成する。

Description

明 細 書 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体 技術分野

本発明は、 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録 媒体に関する。 背景技術

従来、 放送に用いる画像おょぴ/または音声のコンテンツ生成では、 制作者の 意図する効果を出すため、 部分的に被写体の動きの速度を変えたコンテンツ (content) を作ることが多々行われている。

この被写体の動きの速度を変えたコンテンッの生成では、 例えば基準フレーム レートに対してフレームレートを高く設定してコンテンツを生成し、 このコンテ ンッを基準フレームレートで再生することにより、 被写体の動きを遅く表現した コンテンツを生成する。 また、 基準フレームレートに対してフレームレートを低 く設定してコンテンツを生成し、 このコンテンツを基準フレームレートで再生す ることにより、 被写体の動きを速く表現したコンテンツを生成する。 さらに、 設 定するフレームレートゃ再生時のフレームレートを調整することで、 被写体の動 きの速度を自由に可変できる。

このようにして、 制作者は、 基準フレームレートで再生したとき意図する効果 が得られるように、 基準フレームレートで生成したコンテンツだけでなく被写体 の動きの速度を変えたコンテンツも用いて放送用のコンテンツを生成する。 また、 このようにフレームレートを可変したコンテンツを生成できるように、 時間軸の伸張や圧縮を行うことができるビデオカメラが、 例えば特開平 1 1一 1 7 7 9 3 0号公報に示されている。

ところで、 通信網の広帯域化や低価格化に伴い、 この通信網を介してコンテン ッをインタラクティブに伝送することが実用化されてきている。 通信網を介した コンテンッの伝送では、 伝送されたコンテンツをバッファに一時蓄えてから再生 することにより、 通信網で生じるゆらぎ （データの到着のばらつき） を吸収して コンテンツの再生を連続して行うことが出来るようになされている。 また、 通信 網の広帯域化によって、 より多くのデータを伝送することが可能となってきてい る。

しかし、 このィンタラタティブなコンテンツの伝送でも、 伝送されるコンテン ッは、 放送の場合と同様に、 基準フレームレートで再生したとき意図する効果が 得られるように生成されたコンテンツが用いられている。 このため、 フレームレ ートを可変して生成されているコンテンツ部分について、 制作者の意図した速度 とは異なる所望の速度で再生しようとしても、 この部分を所望の速度で再生でき ない。 発明の開示

この発明に係る伝送装置は、 画像おょぴ または音声を示す主データに、 該主 データのフレームレート情報を含む付属情報を連結することで、 伝送データを生 成する伝送データ生成手段と、 伝送路を介して伝送データの出力処理を行う伝送 処理手段とを有するものである。

この発明に係る伝送方法は、 画像および または音声を示す主データに、 該主 データのフレームレート情報を含む付属情報を連結することで、 伝送データを生 成する伝送データ生成ステップと、 伝送路を介して伝送データの出力処理を行う 伝送処理ステップとを有するものである。

この発明に係る再生装置は、 画像および/または音声を示す主データに、 該主 データのフレームレート情報を含む付属情報を連結して構成された伝送データの フレームレート情報に基づき、 再生される主データのフレームレートの範囲を示 す再生可変範囲を設定する設定手段と、 再生可変範囲内のフレームレートで、 主 データを再生する再生手段とを備えるものである。

この発明に係る再生方法は、 画像および/または音声を示す主データに、 該主 データのフレームレート情報を含む付属情報を連結して構成された伝送データの フレームレート情報に基づき、 再生される主データのフレームレートの範囲を示 す再生可変範囲を設定する設定ステップと、 再生可変範囲内のフレームレートで 主データを再生する再生ステップとを備えるものである。

この発明に係るプログラムは、 画像おょぴ Zまたは音声を示す主データに、 該 主データのフレームレート情報を含む付属情報を連結することで、 伝送データを 生成する伝送データ生成ステップと、 伝送路を介して伝送データの出力処理を行 う伝送処理ステツプとを有する伝送方法をコンピュータに実行させるものである。 また、 画像および または音声を示す主データに、 該主データのフレームレート 情報を含む付属情報を連結して構成された伝送データのフレームレート情報に基 づき、 再生される主データのフレームレートの範囲を示す再生可変範囲を設定す る設定ステップと、 再生可変範囲内のフレームレートで、 主データを再生する再 生ステップとを備える再生方法をコンピュータに実行させるものである。

この発明に係る記録媒体は、 画像および Zまたは音声を示す主データに、 該主 データのフレームレート情報を含む付属情報が連結された状態で記録されたもの である。

この発明においては、 画像おょぴ Zまたは音声を示す主データに、 この主デー タのフレームレート情報を含む付属情報が連結されて伝送データとして出力され る。 ここで、 主データは、 例えば一時的に蓄積されて、 この蓄積されている主デ 一タが伝送路の帯域に応じて読み出されて主データのフレームレートが調整され て、 このフレームレートの調整に応じて、 付属情報に含まれているフレームレー ト情報が修正されて連結される。 この付属情報には、 主データの推奨再生速度を 示す情報や主データの再生可能な最高速度を示す情報が含まれる。 また、 付属情 報として、 少なくとも、 フレームレート情報と、 基準フレーム期間内に含まれる 各フレームのフレーム識別情報が主データに連結されて、 このフレーム識別情報 を利用して、 通知された帯域に応じて主データの読み出しを制御することにより、 主データのフレームレートが調整される。

付属情報が主データに連結されている伝送データを用いて主データの再生を行 う場合、 フレームレート情報に基づき、 再生される主データのフレームレートの 範囲を示す再生可変範囲が設定されて、 この再生可変範囲内のフレームレートで、 主データが再生される。 また、 付属情報が主データの推奨再生速度を示す情報を 含み、 ユーザによる再生速度の指示がなされていない場合には、 この推奨再生速 度で、 主データが再生される。 また、 付属情報が主データの再生可能な最高速度 を示す情報を含むとき、 最高速度を示す情報を用いて再生速度可変範囲が設定さ れる。 また、 付属情報は、 基準フレーム期間内に含まれる各フレームのフレーム 識別情報を含み、 主データに対する間引きや繰り返しを、 フレーム識別情報を利 用して行うことで、 主データの再生速度が可変される。

この発明によれば、 画像および Zまたは音声を示す主データに、 この主データ のフレームレート情報を含む付属情報が連結されて伝送データとして出力される。 また、 この伝送データを用いて主データの再生を行うときには、 付属情報に含ま れているフレームレート情報に基づき、 再生される主データのフレームレートの 範囲を示す再生可変範囲が設定されて、 この再生可変範囲内のフレームレートで、 主データが再生される。 このため、 コンテンツの制作者が意図した速度とは異な る速度範囲で再生可能な部分に対して付属情報を連結することにより、 この部分 をコンテンッの制作者が意図した速度とは異なる速度で再生することができる。 また、 主データを一時的に蓄積して、 この蓄積されている主データの読み出し を、 伝送路の帯域に応じて行うことにより主データのフレームレートを調整する。 このため、 主データのフレームレートを容易に調整することができる。 また、 画 像や音声の再生が途切れてしまうことを防止できる。 さらに、 フレームレートの 調整に応じて、 付属情報に含まれているフレームレート情報が修正されるので、 伝送する主データに対応した付属情報を連結できる。

また、 付属情報に主データの推奨再生速度を示す情報を含め、 主データの再生 時にユーザによる再生速度の指示がなされていない場合には、 推奨再生速度で主 データが再生されるので、 主データの制作者側で再生速度を指定できる。

また、 付属情報に主データの再生可能な最高速度を示す情報を含め、 主データ の再生時には、 この最高速度を示す情報を用いて再生速度可変範囲が設定される ので、 主データの制作者側で再生速度可変範囲を規制できる。

さらに、 付属情報として、 少なくとも、 フレームレート情報と、 基準フレーム 期間内に含まれる各フレームのフレーム識別情報とが主データに連結されて、 こ のフレーム識別情報を利用して、 主データのフレームレートが調整されて伝送デ ータが生成される。 また、 伝送データを用いて主データの再生を行うときには、 フレーム識別情報を利用して主データに対する間引きや繰り返しを行い、 主デー タの再生速度が可変される。 このため、 簡単な構成で主データの再生を所望の速 度で行うことができる。 図面の簡単な説明

図 1は、 コンテンツ伝送システムの全体構成を示す図である。

図 2は、 撮像装置の構成を示す図である。

図 3は、 サブフレーム番号の付加動作を示す図である。

図 4は、 撮像装置の他の構成を示す図である。

図 5 A〜図 5 Eは、 映像データの付属情報の関係 （その 1) を示す図である。 図 6 A〜図 6 Eは、 映像データと付属情報の関係 （その 2) を示す図である。 図 7は、 編集装置の構成を示す図である。

図 8は、 コンテンツ伝送装置の構成を示す図である。

図 9は、 ソフトウエアでコンテンツ伝送を行う場合の構成を示す図である。 図 10は、 コンテンツ伝送処理動作を示すフローチャートである。

図 1 1は、 コンテンツ再生装置の構成を示す図である。

図 12は、 ソフトウェアでコンテンツ再生を行う場合の構成を示す図である。 図 1 3は、 コンテンツ再生処理動作を示すフローチャートである。

図 14は、 コンテンツ提示装置の表示画像を示す図である。

図 15は、 画像に対しての再生処理条件の設定動作を示すフローチャートであ る。

図 16A〜図 16Mは、 画像再生動作 （その 1) を示す図である。

図 17 〜図17Gは、 画像再生動作 （その 2) を示す図である。

図 18A〜図 18Mは、 画像再生動作 （その 3) を示す図である。

図 19は、 音声に対しての再生処理条件の設定動作を示すフローチャートであ る。

図 2 OA〜図 20 Eは、 音声再生動作 （その 1) を示す図である。

図 21 A〜図 21 Eは、 音声再生動作 （その 2) を示す図である。 発明を実施するための最良の形態

以下、 添付の図面を用いて本発明を説明する。 図 1は、 コンテンツ （content) の伝送例えば画像および/または音声のコンテンツの伝送を行うコンテンッ伝送 システムの全体構成を示している。 撮像装置 1 0はフレームレートが可変された 映像データを生成して、 この映像データに関する付属情報を連結させて素材デー タ D Tmとして編集装置 3 0に供給する。 また、 音声入力装置 2 0が撮像装置 1 0 に設けられているときには音声データを生成して、 この音声データも素材データ D Tmとして編集装置 3 0に供給する。 なお、 素材データ D Tmは、 撮像装置 1 0 だけでなく他の機器からも供給されるものとしても良い。

編集装置 3 0は、 供給された素材データ D Tmを用いて編集処理を行い、 編集者 が所望する画像おょぴ /"または音声を示すデータを生成する。 また、 この画像お よび/または音声を示すデータを主データとして、 この主データに対して付属情 報を連結して、 伝送用のコンテンッデータ D Cを生成してコンテンッ伝送装置 5 0に供給する。

編集装置 3 0は、 編集に関した映像信号 S vmを生成して編集画像表示装置 4 0 に供給する。 これにより、 ユーザは、 編集画像表示装置 4 0での表示画像によつ て画像の編集経過や編集結果等の確認を行うことができる。 同様に、 編集に関し た音声信号 S amを生成して編集音声出力装置 4 1に供給する。 これにより、 ユー ザは、 編集音声出力装置 4 1から出力される音声によって音声の編集経過や編集 結果等の確認を行うことができる。

コンテンツ伝送装置 5 0は、 編集装置 3 0から供給されたコンテンツデータ D Cを蓄積する。 また、 例えばコンテンツ再生装置 7 0からコンテンツデータの要 求がなされたときには、 伝送路 6 0の帯域に応じてコンテンツデータのフレーム レートを調整し、 フレームレート調整後のコンテンツデータに基づき伝送データ D Tcを生成して、 この伝送データ D Tcを有線あるいは無線の伝送路 6 0を介し てコンテンツ再生装置 7 0に供給する。

コンテンツ再生装置 7 0は、 伝送路を介して供給された伝送データ D Tcに基づ きコンテンツの映像信号 S vzや音声信号 S azを生成して、 コンテンッ提示装置 8 0に供給する。 また、 コンテンツ再生装置 7 0は、 付属情報に基づきコンテンツ の再生動作を制御する。

コンテンツ提示装置 8 0は、 映像信号 S vzに基づいた画像表示や音声信号 S az に基づいた音声出力を行うことでコンテンツの提示を行う。

ここで連結とは、 主データと、 この主データに関するフレームレート情報を含 む付属情報が、 互いにリンクされている状態であれば良い。 例えば主データと付 属情報が、 別の伝送路で伝送データとして伝送されたものであっても、 付属情報 に対応するフレーム番号が含まれているようにしていれば、 後で互いに対応させ ることができる。 本実施の形態では、 このような場合も含めて連結しているとい う。

図 2は、 撮像装置 1 0の構成例を示している。 撮像レンズ系 1 1を通して入射 された光は、 撮像部 1 2に入射されて、 撮像部 1 2に設けられている例えば C C D (Charge Coupled Device) 等の撮像素子の撮像面上に被写体画像が結像される 撮像素子は、 光電変換によって被写体画像の撮像電荷を生成する。 また、 撮像部 1 2は、 後述するタイミングジェネレータ 1 4 2からの駆動信号 C Rに基づいて、 生成した撮像電荷を読み出し、 駆動信号 C Rに応じたフレームレートの撮像信号 S pを生成して信号処理部 1 3のカメラ処理回路 1 3 1に供給する。

カメラ処理回路 1 3 1は、 タイミングジェネレータ 1 4 2から供給されたタイ ミング信号 C Tに基づき、 撮像信号 S pと同期したタイミングで種々の信号処理を 行う。 例えば、 カメラ処理回路 1 3 1は、 相関二重サンプリング等を行うことで 撮像信号 S pからノイズ成分を除去する処理、 ノイズ除去された撮像信号 S pをデ イジタルの映像データに変換する処理、 映像データのクランプ処理、 シエーディ ング補正や撮像素子の欠陥補正、 γ処理や輪郭補償処理およびニー補正処理等を 行う。 また、 カメラ処理回路 1 3 1は、 制御部 1 4の撮像制御回路 1 4 1から供 給された動作制御信号 C Sに基づいた処理条件等で種々の信号処理を行う。 この ように、 カメラ処理回路 1 3 1で種々の信号処理を行って得られた映像データ D Vは、 出力部 1 5に供給される。

制御部 1 4のタイミングジェネレータ 1 4 2は、 撮像制御回路 1 4 1力、らの動 作制御信号 C Sに応じた駆動信号 C Rを生成して撮像部 1 2に供給することによ り、 撮像部 1 2における撮像電荷の読み出し周期を可変して、 撮像信号 S pのフレ ームレートを、 ユーザインタフェース部 16からの操作信号 P S aに基づいた設定 フレームレート FRsに制御する。 タイミングジェネレータ 142は、 例えば NT S C方式ではフレーム周波数 59. 94Hzや 29. 97Hz、 PAL方式では フレーム周波数 50Hzや 25Hzを基準フレームレート FRrのフレーム周波数 として、 設定フレームレート FRsを基準フレームレート FRrの k (kは整数に 限らない正の値） 倍とする操作が行われたときには、 撮像信号 Spのフレームレー トが基準フレームレート FRrの k倍となるように制御する。 なお、 例えば、 CC D等の撮像素子の各画素から転送部へ各画素に蓄積された撮像電荷を移動させる ための読み出しパルス （センサーゲートパルス） の周期を変更する等することで、 撮像電荷の読み出し周期が可変され、 フレームレートが可変される。 また、 この 際に、 CDR (Common Data Rate) 方式を採用しても良い。 CDR方式を用いる と、 有効なフレームレートは可変するが、 CCDから出力される信号のフレーム レートは不変とすることができ、 カメラ処理回路 1 31等の処理レートを一定と することができる。 この CD R方式に関しては、 PCT出願、 出願番号 PCT/JP03 /00551， 2003/1/22出願に開示されている。

また、 タイミングジェネレータ 142は、 駆動信号 CRに同期したタイミング 信号 CTを生成してカメラ処理回路 131や音声処理回路 1 32に供給する。 さ らに、 タイミングジェネレータ 142は、 映像データ DVのフレームレートであ る設定フレームレート FRsを示すフレームレート情報 DM- FRsを生成して、 出力 部 15に供給する。 また、 タイミングジェネレータ 142は、 サブフレーム番号 BNの生成も行う。 このサブフレーム番号 BNは、 基準フレームレート FRrに対 して設定フレームレート FRsを高くしたとき、 基準フレームレート FRrのフレ ーム期間内に含まれる各フレームを識別可能とする番号である。 このサブフレー ム番号 BNをフレーム識別情報 DM- BNとして出力部 15に供給する。

図 3は、 タイミングジヱネレータ 142でのサブフレーム番号の付加動作を示 すフローチャートである。 タイミングジェネレータ 142は、 例えば所定周波数 の発振信号を分周して、 基準フレームレート FRrのフレーム期間と設定フレーム レート F Rsのフレーム期間を同期させて設定し、 設定フレームレート F Rsのフ レーム期間に基づいて駆動信号 CRの生成および基準フレームレート FRrのフレ ーム期間の区切りを示すフレーム基準タイミングの生成を行う。

タイミングジェネレータ 142は、 ステップ ST 1でフレーム基準タイミング を検出したか否かを識別する。 ここで基準タイミングを検出したときにはステッ プ ST 2に進む。 また基準タイミングを検出していないときにはステップ ST 1 に戻る。

ステップ ST 1でフレーム基準タイミングを検出してステップ ST 2に進むと、 タイミングジェネレータ 142は、 ステップ ST 2でサブフレーム番号 BNの初 期化を行い、 サブフレーム番号 BNを初期値例えば 「0」 に設定してステップ S T 3に進む。

ステップ ST 3で、 タイミングジェネレータ 142は、 フレーム基準タイミン グを検出してから設定フレームレート FRsの 1フレーム期間経過時までに、 フレ ーム基準タイミングを検出したか否かを識別する。 ここで、 フレーム基準タイミ ングを検出していないときにはステップ S T 4に進み、 タイミングジェネレータ 142は、 サブフレーム番号 BNに 「1」 を加算して、 サブフレーム番号 BNの 更新を行いステップ S T 3に戻る。 このように、 設定フレームレート FRsの 1フ レーム期間経過時までにフレーム基準タイミングが検出されていないときには、 設定フレームレート FRsの 1フレーム期間毎にサブフレーム番号 BNが順番に割 り当てられる。

その後、 設定フレームレート FRsの 1フレーム期間経過までにフレーム基準タ イミングを検出するとステップ ST 2に戻り、 サブフレーム番号 BNの初期化を 行う。

このため、 基準フレームレート FRrのフレーム期間毎に、 このフレーム期間中 に設けられた設定フレームレート F Rsのフレーム画像に対してサブフレーム番号 B Nを付加することができる。

図 2に示す制御部 14の撮像制御回路 141には、 ユーザインタフェース部 1 6が接続されている。 ユーザインタフェース部 16は、 撮像装置 10での動作切 換操作ゃフレームレート可変操作が行われたとき、 これらの操作に応じた操作信 号 P S aを生成して撮像制御回路 141に供給する。 また、 ユーザインタフェース 部 16は、 図示しないリモートコントローラ等の外部機器から操作信号 P Saが供 給されたとき、 この操作信号 P Saを撮像制御回路 141に供給する。

撮像制御回路 141は、 ユーザインタフェース部 16からの操作信号 P Saに基 づき、 撮像装置 10の動作が操作信号 PS aに応じた動作となるように、 動作制御 信号 CSを生成してカメラ処理回路 1 31やタイミングジェネレータ 142に供 給する。

音声処理回路 1 32には、 音声入力装置 20からアナログの音声信号 Sinが供 給される。 音声処理回路 1 32は、 タイミングジェネレータ 142から供給され たタイミング信号 CTに基づいて音声信号 Sinのサンプリング処理を行い、 ディ ジタルの音声データ D Aを生成して出力部 1 5に供給する。

出力部 15は、 フレームレート情報 DM- FRsやフレーム識別情報 DM- BNを含む 付属情報 DMを生成して、 映像データ DVや音声データ D Aに連結させて素材デ ータ DTmを生成して編集装置に供給する。 なお、 素材データ DTmあるいは素材 データ D Tmに基づいて生成した記録信号を記録媒体に記録すれば、 この素材デー タ DTmあるいは素材データ DTmに基づいて生成した記録信号が記録されている 記録媒体を編集装置で再生することにより、 記録媒体を介して素材データ DTmを 編集装置に供給できる。 また、 付属情報 DMには、 設定フレームレート FRsゃサ ブフレーム番号 B Nの情報だけでなく、 撮像日時や撮像条件およぴ撮像内容等を 示す情報を含めるものとしても良い。

ここで、 映像データ D Vや音声データ D Aに対して付属情報 DMを連結させる 方法の一例として、 映像データ DVや音声データ D Aを圧縮してデータストリー ムとして素材データ DTmを生成するときには映像のデータストリーム中に付属情 報 DMを揷入、 あるいはデータストリームのヘッダ中に付属情報 DMを挿入する ことが考えられる。

また、 非圧縮の映像データや音声データを伝送するために SMPTE

(Society of tao ion Picture and Television Engineers) 259 M

「Television - 10-Bit 4:2:2 Component and 4fsc Composite Digital Signals - Serial Digital Interface] として規格化されている SD Iフォーマツトゃ、 圧縮された映像データや音声データを伝送するために SMPTE 305M

「Television - Serial Data Transport Interface (SDTI) 」 として規格ィ匕され ている SDT Iフォーマツト、 SDT Iフォーマツトを更に限定している SMP TE 326M television - SDTI Content Package Format (SDTI - CP) 」 として 規格化された SDT I一 CPフォーマツトを用いる場合、 付属情報 DMを SMP TE 33 OM television - Unique Material Identifier (UMID) 」 として規格 化されている UM I Dのデータとして、 各フォーマッ トの信号に揷入する。 なお、 映像データ DVや音声データ D Aに対して付属情報 DMを連結する方法はこれに 限られず種々の方法が考えられ、 上記の例に限定されるものではない。 また、 連 結とは、 互いの関係が何らかの方法でわかるもの、 つまり、 リンクがとれれば良 レ、。 例えば、 別の伝送路を介して送られる場合であっても、 夫々に同じ UMI D が付されていれば関連付けることができ、 これも連結に含まれる。

ところで、 上述の撮像装置 10は、 撮像部 12における撮像電荷の読み出し周 期を可変することで、 所望の設定フレームレート F Rsの素材データ D Tmを生成 するものであり、 設定フレームレート FRsを連続的に可変できる。 しかし、 設定 フレームレート F Rsをステツプ状に可変するだけでよい場合には、 フレーム間引 きを行うことで、 所望の設定フレームレート FRsの素材データ DTmを生成でき る。 すなわち、 設定フレームレート FRsよりも高いフレームレートであり、 フレ ームレートが一定である映像データ DVaを生成して、 この映像データ DVaから 設定フレームレート F Rs分だけ映像データを抽出することで、 設定フレームレー ト FRsの映像データ DVを生成できる。 この場合の構成を図 4に示す。 なお、 図 4において、 図 2と対応する部分については同一符号を付し詳細な説明は省略す る。

制御部 18のタイミングジェネレータ 182は、 ユーザィンタフェース部 16 を介して設定される設定フレームレート F Rsの最高値に応じた駆動信号 C Raを 生成して撮像部 12に供給する。 撮像部 12は、 駆動信号 CRaに基づいて撮像信 号の生成を行い、 フレームレートが基準フレームレート FRrよりも高い固定フレ ームレート FRqの撮像信号 Spaを生成して信号処理部 1 7のカメラ処理回路 1 3 1に供給する。 撮像部 12は、 例えば、 設定フレームレート FRsが基準フレーム レート FRrの n (nは正数） 倍まで変更可能であるとき、 基準フレームレート F Rrの n倍のフレームレートである撮像信号 Spaを生成して、 カメラ処理回路 13 1に供給する。 即ち、 撮像部 12は、 ユーザインタフェース部 16を介して設定 される設定フレームレート FRsに影響されることなく、 固定のフレームレートで ある撮像信号 Spaを生成する。

また、 タイミングジェネレータ 182は、 駆動信号 CRaに同期したタイミング 信号 CTaを生成して信号処理部 1 7のカメラ処理回路 1 31や音声処理回路 1 3 2および有効フレーム信号生成回路 1 83に供給する。

カメラ処理回路 131は、 撮像信号 Spaに基づいて生成した固定フレームレー ト FRqの映像データ DVaを有効データ選別回路 1 71に供給する。 音声処理回 路 132は、 一定周波数のタイミング信号 CTaに基づいたサンプリングを行って 生成した音声データ DAaを有効データ選別回路 1 71に供給する。

撮像制御回路 181は、 ユーザインタフェース部 16からの操作信号 P Saに基 づき、 設定フレームレート FRsを示す設定情報信号 CFを生成して有効フレーム 信号生成回路 183に供給する。

有効フレーム信号生成回路 183は、 映像データ DVaの一定値であるフレーム レート FRqと設定情報信号 CFによって示された設定フレームレート FRsとの 比に基づき、 映像データ DVaからフレーム単位でデータ抽出を行って設定フレー ムレート F Rsの映像データ DVを生成するための抽出制御信号 C Cを生成する。 さらに、 有効フレーム信号生成回路 183は、 この抽出制御信号 CCをタイミン グ信号 CTaに同期して有効データ選別回路 1 71に供給する。 例えば、 映像デー タ DVaのフレームレート FRqが基準フレームレート FRrの n倍であり、 設定フ レームレート FRsが基準フレームレート FRrの （nZ2) 倍であるとき、 有効 フレーム信号生成回路 183は、 映像データ DVaから 1フレーム置きにフレーム 単位でデータ抽出を行う抽出制御信号 CCを生成して、 タイミング信号 CTaに同 期して有効データ選別回路 1 71に供給する。

また、 有効フレーム信号生成回路 1 83は、 設定情報信号 CFに基づき設定フ レームレート FRsを示すフレームレート情報 DM- FRsを生成して出力部 15に供 給する。 さらに、 抽出制御信号 CCによって基準フレームレート FRrのフレーム 期間中におけるフレーム数を識別できることから、 有効フレーム信号生成回路 1 83は、 基準フレームレート FRrの各フレーム期間中におけるフレームに対する サプフレーム番号 B Nの設定を行い、 このサプフレーム番号 B Nもフレーム識別 情報 DM-BNとして出力部 15に供給する。

有効データ選別回路 1 71は、 抽出制御信号 CCによって示されたフレームの 映像データ D Vaおよぴ音声データ D Aaを抽出して映像データ D Vおよび音声デ ータ DAとして出力部 15に供給する。 また、 図示せずも、 有効フレーム信号生 成回路 183から有効データ選別回路 1 Ί 1に対して設定フレームレート FRsを 示すフレームレート情報 DM- FRを供給し、 有効データ選別回路 1 71で、 設定フ レームレート FRsと音声データ DAaを生成したときのフレームレートとの比に 応じて音声データ DAaの間引きを行うものとしても良い。 例えば、 音声データ D Aaを生成したときのフレームレート FRqが基準フレームレート FRrの n倍であ り、 設定フレームレート FRsが基準フレームレート FRrの (n/2) 倍である とき、 音声データ DAaに対して 1サンプル置きに間引きを行う。 この場合、 フレ ーム単位で音声データを間引く場合よりも間引き間隔を小さくできるので、 音声 データ D Aに基づく音声を良好な音質とすることができる。

このように、 映像データ DVaのフレーム周波数を一定とすることで、 撮像部 1 2や信号処理部 1 7のカメラ処理回路 1 31での動作周波数を可変する必要がな くなり、 撮像部 1 2やカメラ処理回路 131の構成を簡単にできる。 また、 映像 データ D Vaからフレーム単位でデータ抽出を行うだけで設定フレームレート F R sの映像データ DVを生成できるので、 所望の設定フレームレート FRsの映像デ ータ DVを映像データ DVaから容易に生成できる。

また、 撮像装置に画像メモリや加算器および除算器を設けるものとして、 映像 データを所定フレーム分毎に加算して映像データ DVを生成するようにしても良 い。 この場合には、 撮像信号 Spのフレームレート可変範囲を狭くできる。 すなわ ち、 nフレーム分の撮像信号 Spを加算して信号レベルを （lZn) 倍すれば、 撮 像信号 Spのフレームレートを (1/n) 倍としなくとも、 フレームレ一トを ( 1 Zn) 倍とした信号を得ることが可能となる。

図 5 A〜図 5 Eおよぴ図 6 A〜図 6 Eは、 撮像装置 10， 10aで生成される映 像データ D Vと付属情報 DMの関係を説明するための図である。 図 5Aに示すよ うに設定フレームレート F Rsを例えば基準フレームレート F Rrの 1倍あるいは 2倍とすると、 図 5 Bに示す映像データ DV (図では映像データ DVに基づいた フレーム画像を示している） に対して、 設定フレームレート FRsを示す図 5 Cの フレームレート情報 DM- FRsとサブフレーム番号 BNを示す図 5 Dのフレーム識 別情報 DM-BNとを含んだ付属情報 DMが連結される。 なお、 図 5 Eは、 時間経過 とフレーム画像の関係を示したものである。 また、 フレームレート情報 DM-FRs は、 設定フレームレート FRsを示すだけでなく、 基準フレームレート FRrに対 する設定フレームレート FRsの倍率を示すものとしても良い。 図 5 Cおよび以下 の図で示すフレームレート情報 DM- FRsでは倍率を記している。

図 6 Aに示すように設定フレームレート F Rsを例えば基準フレームレート F R rの 1倍あるいは 1/2倍とすると、 図 6 Bに示す映像データ DV (図では映像デ ータ DVに基づいたフレーム画像を示している） に対して、 設定フレームレート FRsを示す図 6 Cのフレームレート情報 DM-FRsとサブフレーム番号 BNを示す 図 6 Dのフレーム識別情報 DM - BNとを含んだ付属情報 DMが連結される。 図 6 E は、 時間経過とフレーム画像の関係を示したものである。

次に、 編集装置 30について説明する。 図 7は、 編集装置 30の構成を示して いる。 編集装置 30に供給された素材データ D Tmは、 素材取込部 31の情報検出 回路 31 1に供給される。 情報検出回路 31 1は、 素材データ DTmから付属情報 DMを検出する。 この検出した付属情報 DMをデータベース化処理回路 312に 供給する。 また、 素材データ DTmに含まれている映像データ DVと音声データ D Aをデータベース化処理回路 312に供給する。

データベース化処理回路 312は、 映像データ DVと音声データ D Aと情報検 出回路 31 1で検出した付属情報 DMとを関係付けて編集処理部 32のデータ記 憶装置 321に記憶させる。 また、 データベース化処理回路 312は、 データ記 憶装置 321に記憶した付属情報 DMや、 この付属情報 DMに関係付けられてい る映像データ DVや音声データ D Aに基づいて、 容易に素材データの内容を確認 可能とするデータベース情報 DBを生成して編集制御部 33に供給する。 例えば、 データベース情報 DBは、 素材データの内容を識別可能とする情報 （例えばサム ネイル） 、 素材データの時間長、 設定フレームレート FRs、 サブフレーム番号 B N、 データ記憶装置 321における記憶位置等の情報から構成されるものである。 編集制御部 33は、 GU I (Graphical User Interface) 環境で編集処理を可 能とするための映像データ DVgや、 データベース情報の内容を表示するための映 像データ DViを生成して映像出力信号生成回路 351に供給する。 映像出力信号 生成回路 351は、 供給された映像データ DVg, DViに基づき映像信号 Svmを 生成して編集画像表示装置 40に出力する。 このように、 映像信号 Svmを編集画 像表示装置 40に供給することで、 どのような素材データが記憶されているか等 を編集画像表示装置 40の画面上に表示できる。

また、 編集制御部 33は、 ポストプロダクション処理の制御を行う。 すなわち、 編集制御部 33に接続されているユーザインタフェース部 34から、 GU I環境 での表示を利用した操作信号 P Seが供給されて、 操作信号 P Seによっていずれ かの素材データを選択することが示されたときには、 編集制御部 33は、 この操 作信号 P Seに応じた読出制御信号 RCを生成して編集処理部 32の書込読出処理 回路 322に供給する。 また、 操作信号 P Seが読み出した素材データの加工や結 合等の編集操作に関するものであるときには、 編集制御部 33は、 操作信号 P S eに応じた編集制御信号 E Tを生成して編集処理部 32の信号編集回路 323に供 給する。 さらに、 素材データの編集が終了してコンテンツデータが完成されたと き、 操作信号 P Seがコンテンツデータをデータ記憶装置 321に記憶する操作を 示しているときには、 編集制御部 33は、 操作信号 P Seに応じた書込制御信号 W Cを生成して、 書込読出処理回路 322に供給する。 また、 操作信号 PSeがコン テンッデータの出力を示しているときには、 編集制御部 33は、 操作信号 PSeに 応じた出力制御信号 RPを生成して書込読出処理回路 322に供給する。 操作信 号 P Seがコンテンツデータの再生速度範囲を規定するものであるときには、 編集 制御部 33は、 操作信号 P S eに応じた速度範囲設定信号 L Pを生成して信号編集 回路 323に供給する。

書込読出処理回路 322は、 読出制御信号 RCに基づき、 要求された素材デー タをデータ記憶装置 321から読み出して信号編集回路 323に供給する。 また、 書込読出処理回路 322は、 書込制御信号 WCに基づき、 完成されたコンテンツ データ DCをデータ記憶装置 321に記憶させる。 また、 書込読出処理回路 32 2は、 出力制御信号 RPに基づき、 要求されたコンテンツデータ DCをデータ記 憶装置 3 2 1から読み出して出力する。

信号編集回路 3 2 3は、 データ記憶装置 3 2 1から読み出した素材データに含 まれている映像データ D Vおよび または音声データ D Aを用いて、 画像や音声 の加工や結合おょぴ削除等の編集処理を編集制御信号 E Tに基づいて行う。 ここ で、 信号編集回路 3 2 3は、 編集前や編集中あるいは編集後の映像データ D Veを 映像出力信号生成回路 3 5 1に供給し、 編集前や編集中あるいは編集後の音声デ ータ D Aeを音声出力信号生成回路 3 5 2に供給する。 また、 信号編集回路 3 2 3 は、 編集処理によって映像データ D Vや音声データ D Aのフレームレートを変更 したとき、 付属情報 DMも編集後の映像データや音声データに合わせて変更する。 さらに、 信号編集回路 3 2 3は、 編集後の映像データ D Vや音声データ D Aおよ ぴ編集後の映像データ D Vや音声データ D Aに対応する設定フレームレート F R sを示すフレームレート情報 DM- FRsゃフレーム識別情報 DM- BNを含んだ付属情 報 DMcを連結させてコンテンツデータ D Cを生成する。 また、 信号編集回路 3 2 3は、 速度範囲設定信号 L Pが供給されたときには、 この速度範囲設定信号 L P に基づいてコンテンツデータ D Cの再生速度範囲を示す速度範囲情報も付属情報 DMcとして連結させる。 さらに、 信号編集回路 3 2 3は、 ユーザインタフェース 部 3 4からコンテンツのタイトルやコンテンツの推奨再生速度が入力されたとき には、 これらの情報も付属情報 DMcとして連結させる。 また、 編集処理によって コンテンツデータの再生時間長情報が得られているときには、 この情報も付属情 報 DMcとして連結させるものとしても良い。 さらに、 コンテンツデータの再生可 能な最高速度が入力されたときには、 この最高速度も付属情報 DMcとして連結さ せる。 また、 信号編集回路 3 2 3あるいは編集制御部 3 3は、 素材データにサブ フレーム番号 B Nが付加されていない場合、 上述の図 3に示す処理を行い、 サブ フレーム番号 B Nを設定してフレーム識別情報 DMc- BNとする。

編集出力信号生成部 3 5の映像出力信号生成回路 3 5 1は、 上述したように、 編集制御部 3 3から供給された映像データ D Vg, D Viに基づき映像信号 S vmを 生成して編集画像表示装置 4 0に供給する。 このため、 G U I環境で素材データ に関する情報を表示できる。 さらに、 映像出力信号生成回路 3 5 1は、 信号編集 回路 3 2 3から供給された映像データ D Veに基づき映像信号 S vmを生成する。 こ れにより、 ユーザは、 編集前や編集中あるいは編集後の画像を編集画像表示装置

4 0の画面上で確認できる。

音声出力信号生成回路 3 5 2は、 信号編集回路 3 2 3から供給された音声デー タ D Aeを、 アナログの音声信号 S amに変換し、 所望の信号レベルとして、 例えば スピーカやへッドホンを用いて構成された編集音声出力装置 4 1に供給する。 こ のため、 ユーザは、 編集前や編集中あるいは編集後の音声を編集音声出力装置 4 1から出力される音声によって確認できる。

このように、 編集装置 3 0で素材データ D Tmを用いたポストプロダクション処 理が行われ、 コンテンツデータ D Cが完成すると、 この完成したコンテンツデー タ D Cは、 コンテンツ伝送装置 5 0に供給されて、 このコンテンツ伝送装置 5 0 からユーザのコンテンツ再生装置 7 0に供給される。

図 8は、 コンテンツ伝送装置 5 0の構成を示している。 編集装置 3 0から供給 された伝送用のコンテンツデータ D Cは、 書込処理部 5 1に供給される。 書込処 理部 5 1は、 伝送データ生成部 5 2のコンテンツ蓄積装置 5 2 1と接続されてお り、 供給された伝送用のコンテンツデータをコンテンツ蓄積装置 5 2 1に記憶さ せる。 なお、 コンテンツデータ D Cは、 編集装置 3 0から供給されたものに限ら れるものではなく、 撮像装置 1 0で生成された素材データ等をコンテンツデータ D Cとして用いるものとしても良い。

伝送データ生成部 5 2は、 コンテンツデータ D Cに基づき伝送データ D Tzの生 成を行うものであり、 伝送データ生成部 5 2のコンテンツ蓄積装置 5 2 1には、 読出処理回路 5 2 2が接続されている。 この読出処理回路 5 2 2には、 伝送用の コンテンッデータを伝送する際の伝送路の帯域情報 WBやコンテンツ再生装置側 からのコンテンッ要求信号 R Qが後述する伝送処理部 5 3から供給される。

読出処理回路 5 2 2は、 帯域情報 WBやコンテンツ蓄積装置 5 2 1に蓄積され ている要求されたコンテンツデータの付属情報 DMcに基づき、 要求されたコンテ ンッデータの読み出しを制御してフレームレート調整を行い、 フレームレート調 整後のコンテンツデータ D C zaを情報修正回路 5 2 3に供給する。

例えば、 後述するエンコーダ 5 2 4で符号ィヒ処理を行ったときの 1フレーム分 のデータ量が B Dbit、 フレームレート情報 DMc- FRsによって示された設定フレ ームレート FRsが基準フレームレート FRrの n (nは正数） 倍であるとき、 単 位時間で伝送するデータ量 BTは 「BT二 BDXnXFRr+BH」 となる。 なお、 データ量 BHは、 コンテンツデータをバケツト化して伝送するときに付カ卩される ヘッダ情報等をまとめて示したものである。

ここで、 帯域情報 WBで示された伝送可能なデータ量 （帯域幅） B Aがデータ 量 BTより小さくないときには、 コンテンツデータのフレームレート調整を行わ ないものとされ、 コンテンツ蓄積装置 521からコンテンツデータを順次読み出 して情報修正回路 523に供給される。 また、 帯域幅 BAがデータ量 BTよりも 小さいとき、 コンテンツデータの映像データ等に対してフレームレート調整を行 い、 伝送データを受信しながら再生するストリーミング動作時に、 画像や音声が 途切れてしまうことがないようデータ量を少なくする。 例えば付属情報 DMcで示 された設定フレームレート FRsと基準フレームレート F から、 基準フレーム レート FRrに対する設定フレームレート FRsの倍数 「m」 を識別する。 さらに、 識別した倍数 「m」 の約数を求めて、 「m」 を除く約数の最大値と基準フレーム レート FRrを乗算して調整後の設定フレームレートとする。 すなわち 「m=l 0」 であるときには約数の最大値が 「5」 であるので 「m=5」 とするフレーム レート調整を行う。 このフレームレート調整では、 1フレームおき、 すなわちフ レーム識別情報 DMc- BNを利用して、 偶数であるサブフレーム番号 「0, 2, 3, 6, 8」 のコンテンツデータを読み出すことで、 基準フレームレート FRrに対し て 5倍のフレームレートのコンテンツデータを生成する。 また、 「m=9」 であ るときには 「m=3」 に調整して、 2フレームおき、 すなわちフレーム識別情報 DMc- BNを利用して、 サブフレーム番号 「0， 3, 6」 のコンテンツデータを読 み出すことでフレームレート調整後のコンテンツデータを生成する。 また、 調整 後のデータ量 BTが帯域幅 BAよりも大きいときにはさらにフレームレートの調 整を行う。 このように、 「m」 を除く約数の最大値を用いて調整後のフレームレ 一トを決定すれば、 コンテンッデータを読み出す際にフレーム識別情報 DMc - BN を利用してフレーム単位で間引きを行うだけで、 簡単にフレームレート調整後の コンテンツデータを生成できる。

その後、 「m= l」 でも調整後のデータ量 BTが帯域幅 B Aよりも大きいとき には 「m=lZk」 （k ： 自然数） となるようにフレーム間引きを行うことで、 データ量 BTを更に少なくできる。 また、 帯域幅 B Aが変化したときには帯域幅 B Aの変化に応じてフレームレートを可変させる。

また、 コンテンツデータの音声データに対しては、 映像データに対するフレー ムレート調整に応じてサンプル間引きを行い、 フレームレート調整後の音声デー タを生成する。 例えば映像データが 1フレームおきに読み出されるときには、 音 声データを 1サンプル置きに読み出す。 また映像データが 2フレームおきに読み 出されるときには、 音声データを 2サンプル置きに読み出してフレームレート調 整後の音声データを生成する。

情報修正回路 523は、 読出処理回路 522によってフレームレート調整が行 われたとき、 調整後のフレームレートに対応するようにコンテンツデータ DCza の付属情報 DMzaを修正して、 フレームレートを正しく示す付属情報 DMzとする。 さらに、 この付属情報 DMzを連結したコンテンツデータ DCzをエンコーダ 52 4に供給する。 例えば 「m=10」 力 S 「m=5」 に調整されたときには、 設定フ レームレート FRsを 「X 10」 から 「X 5」 に変更する修正を行い、 設定フレー ムレート FRsが 「X 10」 であることを示すフレームレート情報 DMza - FRsを、 設定フレームレート FRsが 「X 5」 であることを示すフレームレート情報 DMz - FRsに変更する。 設定フレームレート F Rsの変更に伴いフレーム識別情報 DMz a- BNも変更する。 すなわちサブフレーム番号 BN 「0〜9」 をサブフレーム番号 BN 「0〜4」 に付け替えたフレーム識別情報 DMz - BNとする。 さらに、 この変 更後のフレームレート情報 DMz- FRsとフレーム識別情報 DMz- BNを用いて、 付属 情報 D Mcを付属情報 D Mzに変更する。

エンコーダ 524は、 供給されたコンテンツデータ DCzの映像データ DVzや 音声データ DAzを伝送に適した信号に符号ィ匕して符号化データ D Zを生成する。 例えば MP EG (Moving Picture Experts Group) 4として規格化されている符 号化方式等を用いてス トリーミング伝送に適した信号に符号化する。 この符号ィ匕 処理によって得られた符号化データ D Zに付属情報 DMzを連結させて、 伝送デー タ DTzとして伝送処理部 53に供給する。 このように、 符号化処理を行うことで 効率良くコンテンツデータの伝送を行うことが可能となる。 伝送処理部 5 3は、 コンテンツ再生装置 7 0から供給された伝送信号 T Mrqに よってコンテンツデータの要求がなされたとき、 要求されているコンテンツデー タを示すコンテンツ要求信号 R Qを読出処理回路 5 2 2に供給する。 また、 伝送 処理部 5 3は、 伝送路 6 0の帯域に関する帯域情報 W Bを生成して読出処理回路 5 2 2に供給する。 さらに、 伝送処理部 5 3は、 コンテンツデータの要求に基づ き、 エンコーダ ₅ 2 4から供給された伝送データ D T zを所定のプロトコルの伝送 信号として、 伝送路 6 0を介してコンテンツデータの要求を行ったコンテンツ再 生装置 7 0に供給する。

この読出処理回路 5 2 2に供給する帯域情報 W Bは、 例えばルータ等のネット ワーク機器を用いて伝送処理部 5 3を構成し、 このネットワーク機器が持つ管理 情報ベース （M I B Management Information Base) から得ることができるトラ フィック情報を帯域情報 W Bとして用いることができる。 また、 計測用のバケツ トをコンテンツ再生装置 7 0に送信し、 コンテンツ再生装置 7 0からのレスボン ス時間などを測定することで帯域を識別して、 この識別結果を帯域情報 W Bとし て用いることもできる。

また、 帯域情報 W Bに基づき読出処理回路 5 2 2でフレームレート調整を行う だけでなく、 帯域情報 W Bに基づきエンコーダ 5 2 4でデータ圧縮率を可変する ことによってデータ量 B Tを帯域幅 B Aに応じて可変するものとしても良い。 こ の場合には、 データ量の制御をさらに細かく制御できるので、 帯域幅 B Aが狭く なっても伝送される画像や音声の品質の劣化を少なくすることが可能となる。 さ らに、 設定フレームレート F R sが等しい状態が続くフレーム期間中は、 調整後の フレームレートを帯域情報 WBにかかわらず一定として、 データ量 B Tの調整を エンコーダ 5 2 4で行うこともできる。 この場合には、 撮像装置 1 0や編集装置 3 0によって所望のフレームレートに設定したコンテンツ部分が、 帯域幅 B Aに 応じて異なるフレームレートに調整されてしまうことを防止できる。

さらに、 付属情報 D Mcに推奨再生速度が設定されているときには、 推奨再生速 度での再生が可能となる範囲でフレームレート調整を行い、 推奨再生速度での再 生時よりもフレーム数を少なくする必要が生じたときには、 データ量 B Tの調整 をエンコーダ 5 2 4で行うものとしても良い。 この場合には、 伝送路 6 0の帯域 が狭くなつても推奨再生速度でコンテンツを再生することができる。

ところで、 上述のコンテンツ伝送装置 50のコンテンツ伝送処理は、 コンビュ ータを用いてソフトウエア処理によっても実現できる。 このソフトウエア処理に よってコンテンッ伝送を行う場合の構成を図 9に示す。

コンピュータは、 図 9に示すように CPU (Central Processing Unit) 551 を内蔵しており、 この C PU 551にはパス 560を介して ROM552, RA M553, 記憶容量が大容量であるハード ·ディスク · ドライブ等を用いて構成 したデータ蓄積部 554， 入出力インタフェース 555が接続されている。 さら に、 入出力ィンタフェース 555には信号入力部 56 1や通信部 562、 記録媒 体ドライブ 563が接続されている。

CPU551は、 ROM 552や RAM 553あるいはデータ蓄積部 554に 記憶されているプログラムを実行して、 コンテンツ伝送処理を行う。 信号入力部

56 1に入力されたコンテンッデータは、 入出力インタフェース 555とバス 5

60を介してデータ蓄積部 554に記憶させる。 また、 CPU551は、 通信部 562を介してコンテンツ要求信号 RQが供給されたとき、 データ蓄積部 554 に記憶されているコンテンツデータから、 要求されたコンテンツデータの読み出 しを行い、 この読み出しを制御して伝送路 60に応じたデータ量のコンテンツデ ータとなるようにフレームレート調整を行う。 さらに、 CPU55 1は、 伝送に 適した符号化を行つて伝送データ D T _Zを生成する。 この生成した伝送データ D T zは、 通信部 562を介して出力される。

なお、 コンテンツ伝送処理を行うプログラムは、 予め ROM552やデータ蓄 積部 554に記憶させておくものとしたり、 記録媒体ドライブ 563によって、 コンテンッ伝送処理のプログラムを記録媒体に記録しあるいは記録媒体に記録さ れているプログラムを読み出して実行するものとしても良い。 さらに、 通信部 5 62によって、 プログラムを有線あるいは無線の伝送路を介して送信あるいは受 信するものとし、 受信したプログラムをコンピュータで実行するものとしても良 い。

図 10は、 コンテンツ伝送処理動作を示すフローチャートである。 ステップ S T1 1で、 CPU551は、 コンテンツデータ DCの取り込みを行い、 信号入力 部 561に入力されたコンテンツデータ DCをデータ蓄積部 554に記憶させる。 なお、 コンテンツデータは、 編集装置 30から供給されたデータに限られるもの ではなく、 撮像装置 10で生成された素材データ等をコンテンツデータとしてデ ータ蓄積部 554に記憶するものとしても良い。

ステップ ST 12で、 CPU551は、 コンテンツデータの要求がなされたか 否かを判別する。 ここでコンテンツデータの要求がなされていないときにはステ ップ ST 12に戻り、 コンテンツデータの要求が例えば通信部 562を介してな されたときにはステップ ST 13に進む。

ステップ ST 1 3で、 CPU551は、 要求されたコンテンツデータの付属情 報を読み出してステップ S T 14に進む。

ステップ ST 14で、 CPU551は、 伝送路の帯域を検出し、 検出された帯 域に応じて、 データ蓄積部 554から読み出すコンテンツデータを、 フレーム識 別情報を利用して制御することによりフレームレート調整を行う。

ステップ ST 1 5で、 CPU551は、 読み出したコンテンツデータ DCzaの 付属情報 DMzaを、 調整されたフレームレートと対応するように修正して付属情 報 DMzとする。 ステップ ST 16で、 CPU551は、 付属情報の修正がなされ たコンテンツデータ DCzを用いて伝送路に応じた符号ィヒ処理を行い符号化データ DZを生成する。 さらに、 生成した符号化データ DZと修正後の付属情報 DMzを 用いて、 伝送データ DTzを生成してステップ ST 17に進む。

ステップ ST 1 7で、 CPU551は、 コンテンツデータの要求先に向けて、 生成した伝送データ DTzを通信部 562から出力する。

次に、 コンテンツ再生装置について説明する。 図 1 1は、 コンテンツ再生装置 70の構成を示している。 コンテンツ伝送装置 50から供給された伝送信号 TM zは、 入力部 71の通信回路 71 1に供給される。 入力部 71はコンテンツデータ の取り込みを行うものであり、 入力部 71の通信回路 71 1は、 供給された伝送 信号 T Mzから伝送データ D T zを生成し、 この伝送データ D T zから符号化データ DZと付属情報 DMzを抽出する。 さらに、 通信回路 71 1は、 抽出した付属情報 DMzを情報記憶回路 712に供給し、 符号化データ DZをデータ保持回路 71 3 に供給する。 また通信回路 71 1は、 後述する再生制御部 72からのコンテンツ 要求信号 R Qに基づき伝送信号 TMrqを生成して、 コンテンツ伝送装置 5 0に供 給する。

情報記憶回路 7 1 2は、 供給された付属情報 DMzを記憶する。 またデータ保持 回路 7 1 3は、 供給された符号化データ D Zを記憶する。

再生制御部 7 2にはユーザインタフェース部 7 3が接続されている。 再生制御 部 7 2は、 ユーザインタフェース部 7 3からの操作信号 P S pがコンテンツデータ の要求を行うものであるとき、 操作信号 P S pに基づいたコンテンツ要求信号 R Q を生成して通信回路 7 1 1に供給することで、 コンテンツ伝送装置 5 0に対して コンテンッデータの伝送要求を行う。

また、 操作信号 P S pがコンテンツデータの再生を指示するものであるとき、 再 生制御部 7 2は、 読出制御信号 C Nをデータ保持回路 7 1 3に供給して、 再生の 指示が行われたコンテンツの符号化データ D Zをデータ保持回路 7 1 3から読み 出して再生処理部 7 4に供給する。 さらに、 再生制御部 7 2は、 読み出した符号 化データ D Zに対応する付属情報 DMzを情報記憶回路 7 1 2から読み出して、 付 属情報 DMzに含まれている情報を表示する映像データ D Vs、 例えば付属情報 D Mzに含まれている制限情報に基づき再生可能速度範囲を示す映像データ、 付属情 報 DMzにタイムコード等の時間情報が含まれているとき、 この時間情報で示され た合計時間や再生位置の時間等を示す映像データを生成して再生処理部 Ί 4に供 給する。 これにより、 テレビジョン装置やモニター装置等であるコンテンツ提示 装置 8 0の画面上に再生可能速度範囲や合計時間および再生位置の時間等が表示 される。 また、 付属情報 DMzに速度範囲情報が含まれていないときには、 上述の 編集装置 3 0において示したように再生可能速度範囲の設定を行う。 設定された 再生可能速度範囲は、 コンテンツ提示装置 8 0の画面上に表示される。 操作信号 P S pがコンテンツの再生速度 F Pを可変するものであるとき、 再生制御部 7 2は 再生処理部 7 4の動作を制御する提示制御信号 C Pを付属情報 DMzに基づき生成 して再生処理部 7 4に供給する。

また、 再生制御部 7 2は、 付属情報 DMzによってコンテンツの再生可能な最高 速度が示されているとき、 再生速度 F Pの可変範囲の最高速度を、 付属情報 DM _Zで示された最高速度とする。 さらに、 付属情報 DMzによって推奨再生速度が示 されている場合、 操作信号 P S pによって再生速度が指示されていないときには、 再生制御部 7 2は、 この推奨再生速度で再生動作を行うように提示制御信号 C P を生成する。 なお、 付属情報 DMzによって、 コンテンツのタイトルや時間長が示 されているとき、 再生制御部 7 2は、 これらの情報をコンテンツ提示装置 8 0の 画面上に表示させる。

コンテンツの可変速再生を行う再生処理部 7 4は、 データ保持回路 7 1 3から 供給された符号化データ D Zの復号化処理を行い、 コンテンッの映像データ D V zや音声データ D Azを生成する。 再生処理部 7 4は、 さらに、 生成した映像デー タ D Vzや音声データ D Azに対して提示制御信号 C Pに基づきフレーム識別情報 DMz- BNを利用した間引きや繰り返し処理を行い、 ユーザの設定した再生速度 F Pあるいは推奨再生速度と等しい再生速度 F Pに応じた映像信号 S vzや音声信号 S azを生成してコンテンツ提示装置 8 0に供給することで、 コンテンツ提示を行 う。 また、 再生処理部 7 4は、 再生速度 F Pの可変範囲を示す映像データ D Vsが 供給されたとき、 この再生速度 F Pの可変範囲をコンテンツ提示装置 8 0の画面 上に表示する映像信号 S vzの生成を行う。

なお、 符号化データ D Zがフレーム内符号化データで構成されているとき、 再 生処理部 7 4は、 データ保持回路 7 1 3から提示制御信号 C Pに基づき、 符号化 データ D Zをフレーム単位で間引きして読み出すものとしても良い。 この場合に は、 間引きされてしまう映像データの復号化を行う必要がなく、 復号化処理を容 易に行うことができる。

また、 コンテンツ再生装置 7 0は、 コンテンツデータが記録されている記録媒 体を用いるものであっても良い。 この場合、 記録媒体を再生して得られた再生信 号から付属情報 DMzと符号化データ D Zを分離して、 この付属情報 DMzを情報 記憶回路 7 1 2に記憶させ、 符号化データ D Zをデータ保持回路 7 1 3に記憶さ せることで、 同様に処理することができる。

ところで、 上述のコンテンツ再生装置 7 0のコンテンツ再生処理も、 コンビュ ータでソフトウエア処理することによって実現できる。 このソフトウエア処理に よってコンテンツ再生を行う場合の構成を図 i 2に示す。

コンピュータは、 図 1 2に示すように C P U 7 5 1を内蔵しており、 この C P U 751にはバス 760を介して ROM752, RAM 753, データ蓄積部 7

54, 入出力インタフェース 755が接続されている。 さらに、 入出力インタフ エース 755には通信部 761やユーザインタフェース部 762、 信号出力部 7

63、 記録媒体ドライブ 764が接続されている。

CPU751は、 ROM 752や RAM753あるいはデータ蓄積部 754に 記憶されているプログラムを実行して、 ユーザインタフェース部 762からの操 作信号 P S pに基づいたコンテンッ伝送処理動作を行う。 ここで、 通信部 76 1に 伝送データ DTzが供給されたとき、 通信部 761は、 符号化データ DZと付属情 報 DMzを抽出する。 この通信部 761で抽出された符号化データ DZと付属情報 DMzをデータ蓄積部 754に記憶させる。 また、 CPU75 1は、 ユーザインタ フェース部 762からの操作信号 P Spに基づいて、 データ蓄積部 754に記憶さ れている符号化データ D Zの読み出しゃ復号化処理を行い、 映像データ D Vzや音 声データ DAzを生成して信号出力部 763に供給する。 信号出力部 763は、 映 像データ DVzや音声データ DAzに基づき、 コンテンツ提示装置 80に応じた映 像信号 Svzや音声信号 Sazを生成して出力する。

なお、 コンテンツ再生処理を行うプログラムは、 予め ROM752やデータ蓄 積部 754に記憶させておくものとしたり、 記録媒体ドライブ 764によって、 コンテンツ再生処理のプログラムを記録媒体に記録しあるいは記録媒体に記録さ れているプログラムを読み出して実行するものとしても良い。 さらに、 通信部 7 61によって、 プログラムを有線あるいは無線の伝送路を介して送信あるいは受 信するものとし、 受信したプログラムをコンピュータで実行するものとしても良 い。

図 13は、 コンテンツ再生処理動作を示すフローチャートである。 コンテンツ データを再生する場合、 CPU751は、 GU I環境を構成するための画像をコ ンテンッ提示装置 80に表示させるとともに、 この表示画像に対応した操作をュ ーザィンタフエース部 762で行うことで操作入力を行う。

図 14は、 コンテンツ提示装置 80の表示画像を例示したものであり、 コンテ ンッ提示装置 80は GU Iのための画像を表示する。 コンテンツ提示装置 80の 画面上には、 コンテンツの画像を表示するビュヮ一部 801、 再生速度 FPを可 変するためのインタフェースである速度可変コンソール部 802、 再生速度 FP を表示する再生速度表示部 803、 動作モードや音量等の切り換えを行うための 動作コントロー /レ部 804、 コンテンツのタイトルを示すタイトル表示部 805、 コンテンツの再生時間や現在の時間を表示する時間表示部 806、 現在の再生位 置を示す再生位置表示部 807等が設けられている。

CPU751は、 図 13のステップ ST 21で、 データ蓄積部 754からコン テンッの付属情報 DMzを読み出して、 入出力インタフェース 755を介して信号 出力部 763からコンテンツ提示装置 80に、 付属情報 DMzに基づいて生成され た映像信号 Svzや音声信号 Sazを出力する。 これにより、 コンテンツ提示装置 80 で付属情報 DMzに応じた表示が行われる。 例えばコンテンツのタイトルゃコン テンッの時間長がタイトル表示部 805や時間表示部 806に表示される。 また 速度範囲情報に基づき最低速度と最高速度が速度可変コンソール部 802に表示 される。

ステップ ST22で CPU751は、 動作コントロール部 804を利用して、 コンテンツの再生開始操作が行われたか否かを操作信号 PSpに基づき識別する。 ここで、 再生開始操作が行われていないとき、 CPU751はステップ ST22 に戻り、 再生開始操作が行われたときにはステップ S T 23に進む。

ステップ ST 23で CPU 751は、 再生速度 F Pと設定フレームレート FR sに応じて再生処理条件の設定、 すなわち符号化データ D Zを複号化して得られた 映像データ D V zや音声データ D Azから映像信号 S vzや音声信号 S azを生成する 際に行うデータの間引き間隔ゃデ一タの繰り返し数を決定する。

ステップ ST 24で CPU 751は、 データ蓄積部 754から符号化データ D Zを読み出して復号ィ匕して映像データ D V zや音声データ DAzを生成し、 ステツ プ S T 23で決定された再生処理条件に基づき、 フレーム識別情報 DMz-BNを利 用してデータの間引きやデータの繰り返し行い、 コンテンツ提示用の映像信号 S vzや音声信号 Sazを生成する。 CPU751は、 この生成した映像信号 S vzや音 声信号 Sazをコンテンツ提示装置 80に供給することで、 速度可変コンソール部 802のカーソル位置 （太線で示す） で示された再生速度 F Pの再生画像がコン テンッ提示装置 80のビュヮ一部 801に表示される。 また、 このときの再生速 度 FPが再生速度表示部 803に表示され、 再生時間や再生位置が時間表示部 8 06や再生位置表示部 807に表示される。 また、 コンテンツ提示装置 80は、 速度可変コンソール部 802のカーソル位置で示された再生速度 F Pでの再生音 声を出力する。

ステップ ST25で CPU 751は、 速度可変コンソール部 802のカーソル 位置が移動されて再生速度 FPが変更されたか否かを識別する。 ここで、 CPU 751は、 再生速度 FPの変更が行われたと識別したときステップ ST23に戻 り、 再生速度 FPの変更が行われたと識別していないときステップ ST 26に進 む。

ステップ ST26で CPU751は、 再生動作の終了であるか否かを識別する。 ここで、 再生動作を停止する操作が行われていないとき、 あるいはコンテンツの 再生位置が終了位置となっていないとき、 CPU 751はステップ ST 25に戻 る。 また、 停止操作が行われたとき、 あるいは再生位置が終了位置となったとき、 CPU751は変速再生動作を終了する。

図 15は、 画像に対しての再生処理条件の設定動作を示すフローチャートであ る。 CPU751は、 ステップ ST31で、 速度可変コンソール部 802のカー ソル位置に基づいて再生速度 FPを識別してステップ ST 32に進む。 ここで、 基準フレームレート FRrを 1倍速として、 速度可変コンソール部 802でのカー ソルの初期位置を例えば 1倍速の位置とすることで、 再生動作開始時の再生速度 FPを設定する。 また、 編集装置 30によって再生速度 FPが推奨されていると き、 CPU751は、 この推奨されている再生速度 F Pの位置をカーソルの初期 位置とし、 推奨されている再生速度 FPを、 再生動作開始時の再生速度 FPと設 定する。 さらに、 カーソル位置がユーザによって移動されているとき、 CPU 7 51はカーソル位置と対応する速度を再生速度 F Pとする。

ステップ ST32で CPU751は、 付属情報 DMzに含まれているフレームレ 一ト情報 DMz- FRsに基づいて設定フレームレート FRsを識別してステップ S T 33に進む。 ステップ ST33で CPU751は、 再生速度 F Pと設定フレーム レート FRsを乗算して、 再生処理条件を決定するための識別値 FDを算出する。 ステップ ST34で CPU751は、 識別値 F Dに基づいて再生処理条件を決 定する。 ここで、 C P U 751は、 識別値 F Dが 1以上で小数点以下の値を含ま ないとき、 識別値 FDに応じたフレーム間隔で画像を間引いて出力するように再 生処理条件を決定する。 C P U 751は、 識別値 F Dが 1以上で小数点以下の値 を含む場合、 識別値 FDの整数値部分に応じたフレーム間隔でフレーム識別情報 DMz- BNを利用して画像の間引きを行い、 所望の再生速度に応じたフレーム数の 画像が得られたときには、 サブフレーム番号 BNの次の初期値まで画像の位置を 移動させるように再生処理条件を決定する。 CPU751は、 識別値 FDが 1未 満である場合、 所望の再生速度に応じたフレーム数となるまで同じ画像を繰り返 し出力するように再生処理条件を決定する。 このように決定された再生処理条件 に基づいて上述のステップ ST 24の処理を行うことで、 正しく所望の再生速度 でコンテンツの画像を提示させることができる。

図 16 〜図16Mは、 識別値 FDが 1以上で小数点以下の値を含まない場合 での再生動作を示している。 図 16 Aは、 設定フレームレート FRsが基準フレー ムレート FRrに対して 10倍速とされているときの映像データ DVzに基づく画 像を示している。 また図 16 Bはフレーム画像の設定フレームレート FRsを示す フレームレート情報 DMz- FRs、 図 16 Cはフレーム画像のサブフレーム番号 BN を示すフレーム識別情報 DMz- BN、 図 16 Dは絶対フレーム番号 ANをそれぞれ 示している。

ここで、 再生速度 FPが （1Z5) 倍速とされたとき、 識別値 FDは 「10 X (1/5) =2」 となる。 このため、 図 1 6 E〜図 16Gに示すように、 「FD =2」 フレーム目毎、 すなわちフレーム識別情報 DMz- BNを利用して映像データ DVzを 1フレーム置きに用いて映像信号 Svzを生成することで、 （1/5) 倍速 での再生画像をコンテンツ提示装置 80に表示できる。 なお、 図 16 Eは表示さ れる画像のフレーム識別情報 DMz - BN、 図 16 Fは表示される画像の絶対フレー ム番号 AN、 図 16 Fは表示される画像のフレーム識別情報 DMz- BN、 図 16G は映像信号 Svzで表示されるフレーム画像を示している。

再生速度 FPが 1倍のとき、 識別値 FDは 「10 X 1 = 10」 となる。 このた め、 図 16 H〜図 16 Jに示すように、 「FD=10」 フレーム目毎、 すなわち フレーム識別情報 D Mz- BNを利用して映像データ DVzを 9フレーム分飛ばしなが ら用いて映像信号 Svzを生成することで、 1倍速の再生画像をコンテンツ提示装 置 80に表示できる。 なお、 図 16Hは表示される画像のフレーム識別情報 DM z - BN、 図 16 Iは表示される画像の絶対フレーム番号 AN、 図 16 Jは映像信号 Svzで表示されるフレーム画像を示している。

また、 再生速度 FPが 2倍のとき、 識別値 FDは 「10 X 2 = 20」 となる。 このため、 図 16 K〜図 1 6Mに示すように、 「FD=20」 フレーム目毎、 す なわちフレーム識別情報 DMz- BNを利用して映像データ D Vzを 1 9フレーム分飛 ばしながら用いて映像信号 Svzを生成することで、 2倍速の再生画像をコンテン ッ提示装置 80に表示できる。 なお、 図 16 Kは表示される画像のフレーム識別 情報 DMz- BN、 図 16 Lは表示される画像の絶対フレーム番号 AN、 図 16Mは 映像信号 Svzで表示されるフレーム画像を示している。 ' 図 1 7八〜図1 7Gは、 識別値 FDが 1以上で小数点以下の値を含まない場合 での再生動作を示している。 図 1 7Aは、 設定フレームレート FRsが基準フレー ムレート FRrに対して 7倍速とされているときのフレーム画像を示している。 ま た図 1 7 Bはフレーム画像の設定フレームレート F Rsを示すフレームレート情報 DMz- FRs、 図 17 Cはフレーム画像のサブフレーム番号 BNを示すフレーム識別 情報 DMz- BN、 図 1 7 Dは絶対フレーム番号 ANをそれぞれ示している。

ここで、 再生速度 FPが （1/3) 倍速であるとき、 識別値 FDは 「7 X (1 /3) =2. 33 · · ·」 となる。 このため、 図 1 7 E〜図 1 7 Gに示すように、 識別値 F Dの整数値部分に応じて 2フレーム目毎すなわちフレーム識別情報 DM z-BNを利用して 1フレーム置きに映像データ DVzを用いる。 さらに、 所望の再生 速度に応じたフレーム数、 すなわち （1Z3) 倍速であるから、 基準フレームレ ート FRrの 1フレーム期間中に 3フレーム分の画像を出力したときには、 サブフ レーム番号 BNの次の初期値まで用いる映像データ DVzの位置を移動させる。 こ の場合、 サブフレーム番号 BNが 「0」 「2」 「4」 の映像データ DVzを用いて 映像信号 Svzが順次生成されて、 （1ノ 3) 倍速の再生画像をコンテンツ提示装 置 80に表示できる。 なお、 図 1 7 Eは表示される画像のフレーム識別情報 DM z-BN, 図 1 7 Fは表示される画像の絶対フレーム番号 AN、 図 1 7Gは映像信号 Svzで表示されるフレーム画像を示している。 図 18A〜図 18Mは、 識別値 FDが 1未満となる場合での再生動作を示して レヽる。 図 18Aは、 設定フレームレート FRsが基準フレームレート FRrに対し て （1/4) 倍速とされているときのフレーム画像を示している。 また図 18 B はフレーム画像の設定フレームレート FRsを示すフレームレート情報 DMz- FRs、 図 18 Cはフレーム画像のサブフレーム番号 BNを示すフレーム識別情報 DMz - BN、 図 18 Dは絶対フレーム番号 ANをそれぞれ示している。

ここで、 再生速度 FPが 1倍速とされたとき、 識別値 FDは 「 （1/4) X I = 1Z4」 となる。 このため、 図 18E〜図 18Gに示すように、 再生速度に応 じたフレーム数すなわち映像データ DVzをフレーム毎に 4回繰り返し用いて映像 信号 Svzを生成することで、 1倍速での再生画像をコンテンツ提示装置 80に表 示できる。 なお、 図 18 Eは表示される画像のフレーム識別情報 DMz - BN、 図 1 8 Fは表示される画像の絶対フレーム番号 AN、 図 18Gは映像信号 Svzで表示 されるフレーム画像を示している。

再生速度 FPが 2倍速であるとき、 識別値 FDは 「 （1ノ4) X 2= lZ2」 となる。 このため、 図 18H〜図 18 Jに示すように、 映像データ DVzをフレー ム毎に 2回繰り返し用いて映像信号 Svzを生成することで、 2倍速での再生画像 をコンテンツ提示装置 80に表示できる。 なお、 図 18Hは表示される画像のフ レーム識別情報 DMz- BN、 図 18 Iは表示される画像の絶対フレーム番号 ANを 示しており、 図 18 Jは映像信号 Svzで表示される表示されるフレーム画像を示 している。

再生速度 FPが 4倍速であるとき、 識別値 FDは 「 （1Z4) X4 = l」 とな る。 このため、 図 18 K〜図 18Mに示すように、 映像データ DVzをフレーム毎 に順次用いて映像信号 S _VZを生成することで、 4倍速での再生画像をコンテンツ 提示装置 80に表示できる。 なお、 図 18Kは表示される画像のフレーム識別情 報 DMz - BN、 図 18 Lは表示される画像の絶対フレーム番号 ANを示しており、 図 18 Mは映像信号 Svzで表示される表示されるフレーム画像を示している。 このように、 記録速度と再生速度に基づいた読出間隔で画像のデータを、 フレ ーム識別情報を利用して読み出すことで、 所望の再生速度の画像を簡単に表示で さる。 次に、 音声について説明する。 図 19は、 音声に対しての再生処理条件の設定 動作を示すフローチャートである。 音声については、 フレーム単位で音声データ DAzを用いるものとしたとき、 フレーム間で音のつながりがなくなり音の不連続 を生じてしまう。 このため、 音声については、 サンプル単位で再生処理を行う。 ステップ ST41で CPU751は、 ステップ ST 31と同様にして再生速度 を判別してステップ ST42に進む。 ステップ ST42で CPU751は、 ステ ップ ST32と同様に設定フレームレート FRsを読み出してステップ ST 43に 進む。 ステップ ST43で CPU751は、 ステップ S T 33と同様に識別値 F Dを算出してステップ ST 44に進む。

ステップ ST44で CPU751は、 識別値 F Dに基づいて再生処理条件を決 定する。 ここで識別値 FDが 1以上で小数点以下の値を含まないときには、 識別 値 FDに応じたサンプル間隔で音声データの間引きを行うように再生処理条件を 決定する。 識別値 FDが 1以上で小数点以下の値を含む場合、 基準フレームレー ト FRrに対する設定フレームレート FRsの倍数分のフレームから、 識別値 FD の整数値部分に応じたサンプル間隔で音声データの間引きを行い、 再生速度分の 音声データを読み出すように再生処理条件を決定する。 識別値 FDが 1未満であ る場合には、 所望の再生速度に応じたフレーム数分のサンプル数となるように音 声データを繰り返し用いるよう再生処理条件を決定する。 このように決定された 再生処理条件に基づいて上述のステツプ S T 24の処理を行うことで、 正しく所 望の再生速度でコンテンツの音声を提示させることができる。

図 20 A〜図 20 Eは、 識別値 FDが 1以上で小数点以下の値を含まない場合 での音声再生動作を示している。 図 2 OAは絶対フレーム番号 AN、 図 2 OBは フレーム画像の設定フレームレート F Rsを示すフレームレート情報 DMz_FRs、 図 20 Cはフレーム画像のサブフレーム番号 BNを示すフレーム識別情報 DMz- BNをそれぞれ示している。

ここで、 再生速度 FPが （1Z5) 倍速とされたとき、 設定フレームレート F Rsは基準フレームレート FRrに対して 10倍速とされていることから、 識別値 FDは 「10 X (1/5) = 2J となる。 このため、 「FD=2」 サンプル目毎 すなわち 1サンプル置きに音声データ DAzを用いて音声信号 Sazを生成すること で、 1倍速での再生音声をコンテンツ提示装置 80から出力できる。 なお、 図 2 0Dは、 映像信号 Svzの生成に用いられるフレームを示しており、 図 20 Eは音 声データ DAzが 14サンプル/フレームであるとき、 音声信号 Sazで用いられる 音声データを示している。

図 21 A〜図 21 Eは、 識別値 F Dが 1以上で小数点以下の値を含む場合での 音声再生動作を示している。 図 21 Aは絶対フレーム番号 AN、 図 2 I Bはフレ ーム画像の設定フレームレート F Rsを示すフレームレート情報 DMz- FRs、 図 2 1 Cはフレーム画像のサブフレーム番号 B Nを示すフレーム識別情報 DMz- BNを それぞれ示している。

ここで、 再生速度 FPが (1/3) 倍速とされたとき、 設定フレームレート F R_Sは基準フレームレート F Rrに対して 7倍速とされていることから、 識別値 F 0は 「7 （1ノ3) =2. 3 · · ·」 となる。 また、 音声データ DAzが 14サ ンプル Zフレームであるとき、 （1ダ3) 倍速における 1フレームのサンプル数 は 「14 X 3/7 = 6」 となる。 このため、 識別値 FDの整数値部分に応じて 2 サンプル目毎すなわち 1サンプル置きに音声データ DAzを出力させるとともに、 1フレームのサンプル数分である 6サンプルの音声データ DAzの出力がなされた ときには、 次のフレームの先頭に移動して 1サンプル置きに音声データ DAzを出 力させるようにする。 このように音声データ DAzを選択して出力させることで、 (1/3) 倍速の再生音声を得ることができる。 また、 音声信号 Sazに基づいて 音声出力する場合にフィルタ処理を行うものとすれば、 音声データ DAzの間引き による影響を少なくして良好な再生音声を出力できる。 さらに、 設定フレームレ ート F Rsや再生速度 F Pに応じて、 固定的にサンプル飛ばしを行いフレーム終了 時にサンプル数を合わせるものであることから、 再生速度に応じた音声信号 S az の出力を簡単に行うことができる。 なお、 図 21 Cは、 映像信号 Svzの生成に用 いられるフレームを示しており、 図 2 IDは音声データ DAzが 14サンプル /フ レームであるとき、 音声信号 Sazで用いられる音声データを示している。

また、 音声データ DAzの間引きを行って音声信号 Sazの生成する場合、 音声デ ータ DAzの間隔が広くなって再生音が不連続となってしまうことがないように、 音声信号 Sazの生成に用いる音声データの間隔が略一定となるように間引きを行 うものとしても良い。 例えば設定フレームレート F R sが基準フレームレート F R rの KA倍とされており、 再生速度 F Pが （1 /K B ) 倍とされているとき、 連続 する K Bサンプルの音声データ D Azから略等間隔で K Bサンプル分の音声データ を取りだして、 この取り出した音声データに基づレ、て音声信号 S azを生成する。 このようにすれば、 図 2 1 A〜図 2 1 Eに示す場合に比べて処理が複雑となる力 さらに良好な音質の再生音声を出力できる。

識別値 F Dが 1未満である場合には、 図示せずも画像のフレーム繰り返し数分 だけ各音声データを繰り返して順次用いることで、 所望の再生速度の音声データ D Azを生成できる。

このように、 コンテンツ伝送側では、 フレームレート情報と基準フレーム期間 内に含まれるフレームを識別するフレーム識別情報を含む付属情報 DMzが、 画像 およびノまたは音声を示す主データに連結されたコンテンツデータ D C zの伝送が 行われる。 また、 コンテンツ再生側では、 フレームレート情報とフレーム識別情 報を含む付属情報 DMzを利用して再生速度を可変して画像おょぴ Zまたは音声の データが再生される。 このため、 放送番組のように所定の再生速度の画像等を視 聴できるだけでなく、 ユーザの望む再生速度で画像等の視聴を行うことができる。 例えば、 設定フレームレート F Rsを基準フレームレート F Rrよりも大きくして スポーツ中継等のコンテンツを生成すれば、 従来の放送番組のようにコンテンツ 提供側からスロー再生の画像が供給するまで待たなくとも、 ユーザは通常は 1倍 速で見ながら、 所望のシーンだけスローで見ることができる。

また、 コンテンツ伝送側では、 フレーム識別情報を利用して伝送路の帯域に応 じたフレームレート調整が行われるので、 フレームレート調整を容易に行うこと ができる。 また、 コンテンツ再生側では、 フレーム識別情報を利用することでフ レーム単位でのデータ間引き等を簡単に行うことができるので、 コンテンッの再 生速度を容易に可変できる。 産業上の利用可能性

以上のように、 本発明は画像コンテンツ等を伝送して再生する場合に有用であ り、 特に再生時のフレームレートを可変する場合に好適である。

Claims

請 求 の 範 囲

1 . 画像おょぴ/または音声を示す主データに、 該主データのフレームレート情 報を含む付属情報を連結することで、 伝送データを生成する伝送データ生成手段 と、

伝送路を介して前記伝送データの出力処理を行う伝送処理手段とを有する伝送 装置。

2 . 前記伝送データ生成手段は、 前記主データを一時的に蓄積する蓄積手段と、 前記蓄積手段に蓄積されている主データの読み出し処理を制御する読出処理手段 とを有し、

前記伝送処理手段は、 前記伝送路の帯域を前記伝送データ生成手段に通知し、 前記読出処理手段は、 前記通知された帯域に応じて前記主データの読み出しを 制御することで、 前記主データのフレームレートを調整する請求の範囲第 1項記 載の伝送装置。

3 . 前記読出処理手段でのフレームレートの調整に応じて、 前記付属情報に含ま れているフレームレート情報を修正する情報修正手段をさらに有する請求の範囲 第 2項記載の伝送装置。

4 . 前記付属情報は、 前記主データの推奨再生速度を示す情報を含む請求の範囲 第 1項記載の伝送装置。 '

5 . 前記付属情報は、 前記主データの再生可能な最高速度を示す情報を含む請求 の範囲第 1項記載の伝送装置。

6 . 前記伝送データ生成手段は、 前記付属情報として、 少なくとも、 前記フレー ムレート情報と、 基準フレーム期間内に含まれる各フレームのフレーム識別情報 とを、 前記主データに連結する請求の範囲第 1項記載の伝送装置。

7 . 前記伝送データ生成手段は、 前記主データを一時的に蓄積する蓄積手段と、 前記蓄積手段に蓄積されている主データの読み出し処理を制御する読出処理手段 とを有し、

前記伝送処理手段は、 前記伝送路の帯域を前記伝送データ生成手段に通知し、 前記読出処理手段は、 前記フレーム識別情報を利用して、 前記通知された帯域 に応じて前記主データの読み出しを制御することにより、 前記主データのフレー ムレートを調整する請求の範囲第 6項記載の伝送装置。

8 . 前記読出処理手段でのフレームレートの調整に応じて、 前記付属情報に含ま れているフレームレート情報とフレーム識別情報とを修正する情報修正手段をさ らに有する請求の範囲第 7項記載の伝送装置。

9 . 画像および Zまたは音声を示す主データに、 該主データのフレームレート情 報を含む付属情報を連結することで、 伝送データを生成する伝送データ生成ステ ップと、

伝送路を介して前記伝送データの出力処理を行う伝送処理ステップとを有する

1 送方 feo

1 0 . 前記伝送データ生成ステツプは、 蓄積手段に一時的に蓄積されている前記 主データの読み出し処理を制御する読出処理ステップを有し、

前記読出処理ステップでは、 前記伝送路の帯域に応じて前記主データの読み出 しが制御されることで、 前記主データのフレームレートが調整される請求の範囲 第 9項記載の伝送方法。

1 1 . 前記読出処理ステップでのフレームレートの調整に応じて、 前記付属情報 に含まれているフレームレート情報を修正する情報修正ステップをさらに有する 請求の範囲第 1 0項記載の伝送方法。

1 2 . 前記付属情報は、 前記主データの推奨再生速度を示す情報を含む請求の範 囲第 9項記載の伝送方法。

1 3 . 前記付属情報は、 前記主データの再生可能な最高速度を示す情報を含む請 求の範囲第 9項記載の伝送方法。

1 4 . 前記伝送データ生成ステップでは、 前記付属情報として、 少なくとも、 前 記フレームレート情報と、 基準フレーム期間内に含まれるフレームのフレーム識 別情報とが、 前記主データに連結される請求の範囲第 9項記載の伝送方法。

1 5 . 前記伝送データ生成ステップは、 前記主データを一時的に蓄積する蓄積手 段に蓄積されている主データの読み出し処理を制御する読出処理ステップを有し、 前記読出処理ステップでは、 前記フレーム識別情報を利用して、 前記伝送路の 帯域に応じて前記主データの読み出しが制御されることにより、 前記主データの フレームレートが調整される請求の範囲第 1 4項記載の伝送方法。

1 6 . 前記読出処理ステップでのフレームレートの調整に応じて、 前記付属情報 に含まれているフレームレート情報とフレーム識別情報とを修正する情報修正ス テツプをさらに有する請求の範囲第 1 5項記載の伝送方法。

1 7 . 画像おょぴ Zまたは音声を示す主データに、 該主データのフレームレート 情報を含む付属情報を連結することで、 伝送データを生成する伝送データ生成ス テツプと、

伝送路を介して前記伝送データの出力処理を行う伝送処理ステップとを有する 伝送方法をコンピュータに実行させるプログラム。

1 8 . 画像および Zまたは音声を示す主データに、 該主データのフレームレート 情報を含む付属情報を連結して構成された伝送データの前記フレームレート情報 に基づき、 再生される主データのフレームレートの範囲を示す再生可変範囲を設 定する設定手段と、

前記再生可変範囲内のフレームレートで、 前記主データを再生する再生手段と を備える再生装置。

1 9 . 前記再生手段は、 前記付属情報が前記主データの推奨再生速度を示す情報 を含み、 ユーザによる再生速度の指示がなされていない場合には、 前記推奨再生 速度で、 前記主データを再生する請求の範囲第 1 8項記載の再生装置。

2 0 . 前記設定手段は、 前記付属情報が前記主データの再生可能な最高速度を示 す情報を含むとき、 該最高速度を示す情報を用いて前記再生速度可変範囲を設定 する請求の範囲第 1 8項記載の再生装置。

2 1 . 前記付属情報は、 基準フレーム期間内に含まれる各フレームのフレーム識 別情報を含み、 前記再生手段は、 主データに対する間引きや繰り返しを、 前記フ レーム識別情報を利用して行うことで、 前記主データの再生速度を可変する請求 の範囲第 1 8項記載の再生装置。

2 2 . 画像および Zまたは音声を示す主データに、 該主データのフレームレート 情報を含む付属情報を連結して構成された伝送データの前記フレームレート情報 に基づき、 再生される主データのフレームレートの範囲を示す再生可変範囲を設 定する設定ステップと、

前記再生可変範囲内のフレームレー卜で、 前記主データを再生する再生ステツ プとを備える再生方法。

2 3 . 前記再生ステップでは、 前記付属情報が前記主データの推奨再生速度を示 す情報を含み、 ユーザによる再生速度の指示がなされていない場合には、 前記推 奨再生速度で、 前記主データが再生される請求の範囲第 2 2項記載の再生方法。

2 4 . 前記設定ステップでは、 前記付属情報が前記主データの再生可能な最高速 度を示す情報を含むとき、 該最高速度を示す情報を用いて前記再生速度可変範囲 が設定される請求の範囲第 2 2項記載の再生方法。

2 5 . 前記付属情報は、 基準フレーム期間内に含まれる各フレームのフレーム識 別情報を含み、 前記再生ステップでは、 主データに対する間引きや繰り返しが、 前記フレーム識別情報を利用して行われることで、 前記主データの再生速度が可 変される請求の範囲第 2 2項記載の再生方法。

2 6 . 画像おょぴ Zまたは音声を示す主データに、 該主データのフレームレート 情報を含む付属情報を連結して構成された伝送データの前記フレームレート情報 に基づき、 再生される主データのフレームレートの範囲を示す再生可変範囲を設 定する設定ステップと、

前記再生可変範囲内のフレームレートで、 前記主データを再生する再生ステツ プとを備える再生方法をコンピュータに実行させるプログラム。

2 7 . 画像および/または音声を示す主データに、 該主データのフレームレート 情報を含む付属情報が連結された状態で記録された記録媒体。

2 8 . 前記付属情報は、 基準フレーム期間内に含まれる各フレームのフレーム識 別情報を含む請求の範囲第 2 7項記載の記録媒体。