JP4518737B2 - Data processing apparatus, data processing method, program, and recording medium - Google Patents

Data processing apparatus, data processing method, program, and recording medium Download PDF

Info

Publication number
JP4518737B2
JP4518737B2 JP2002332651A JP2002332651A JP4518737B2 JP 4518737 B2 JP4518737 B2 JP 4518737B2 JP 2002332651 A JP2002332651 A JP 2002332651A JP 2002332651 A JP2002332651 A JP 2002332651A JP 4518737 B2 JP4518737 B2 JP 4518737B2
Authority
JP
Japan
Prior art keywords
data
frame rate
content
editing
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002332651A
Other languages
Japanese (ja)
Other versions
JP2004172665A (en
Inventor
純一 荻窪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002332651A priority Critical patent/JP4518737B2/en
Publication of JP2004172665A publication Critical patent/JP2004172665A/en
Application granted granted Critical
Publication of JP4518737B2 publication Critical patent/JP4518737B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
この発明は、コンテンツ編集装置およびコンテンツ編集方法に関する。詳しくは、再生指示信号を出力して、この再生指示信号に基づいて生成された画像および／または音声の再生データを取り込み、再生指示信号に基づくフレームレート情報を含む付属情報を再生データに連結させて素材データとして、この素材データの編集処理を行い、付属情報が連結されたコンテンツデータを生成して出力するものである。
【０００２】
【従来の技術】
従来、放送や通信網を介した配信あるいは記録媒体としての流通等で用いる画像あるいは画像音声のコンテンツ生成では、撮像装置を用いて生成された素材や記録媒体例えばビデオテープに記録されている素材を用いて編集処理を行い、所望のコンテンツが生成されている。また、ビデオテープに記録されている素材をノイズが少なく可変速再生できるビデオテープレコーダは、例えば特許文献１に示されている。
【０００３】
【特許文献】
特開平２−３７５１６号公報
【０００４】
【発明が解決しようとする課題】
ところで、コンテンツを生成する場合、制作者の意図する効果を出すために、部分的に動きの速度を変えた素材を作ることが多々行われている。この動きの速度を変えた素材の生成では、例えば所定の基準フレームレートに対してフレームレートを高く設定してコンテンツを生成し、このコンテンツを基準フレームレートで再生することにより、動きを遅く表現した素材を生成できる。また、基準フレームレートに対してフレームレートを低く設定してコンテンツを生成し、このコンテンツを基準フレームレートで再生することにより、動きを速く表現した素材を生成できる。さらに、設定するフレームレートや再生時のフレームレートを調整することで、動きの速度を自由に可変できる。しかし、動きの速度を変えた素材の生成では、例えばフレームレートを可変できるビデオカメラが必要とされるため、簡単に動きの速度を変えた素材を生成することができない。また、編集処理では既に基準フレームレートで生成した素材も用いられる。
【０００５】
さらに、生成したコンテンツを再生する場合、制作者の意図する効果を出すため部分的に動きの速度を変えている部分については、制作者の意図する速度と異なる速度での再生を可能とすることで、コンテンツ利用者の好みに応じた再生を行うことが可能となる。
【０００６】
そこで、この発明では、制作者の意図した速度とは異なる速度でコンテンツデータの再生を可能とするデータ処理装置とデータ処理方法とプログラムおよび記録媒体を提供するものである。
【０００７】
【課題を解決するための手段】
この発明に係るデータ処理装置は、再生速度と再生位置を指示する再生指示信号を出力して、該再生指示信号に基づいて再生された画像データを取り込み、再生指示信号で指示した再生速度を示すフレームレート情報を含む付属情報を、画像データと関係付けて素材データとする素材取込手段と、編集操作に応じた操作信号を生成するユーザインタフェース手段と、素材データの編集処理を行い、該編集処理後の画像データに付属情報を関係付けてコンテンツデータとして出力する編集処理手段と、操作信号に基づいて、素材取込手段と編集処理手段の動作を制御する制御手段を有するものである。
【０００８】
また、データ処理方法とプログラムおよび記録媒体では、再生速度と再生位置を指示する再生指示信号を出力して、該再生指示信号に基づいて再生された画像データを取り込み、再生指示信号で指示した再生速度を示すフレームレート情報を含む付属情報を、画像データと関係付けて素材データとする素材取込工程と、編集操作に応じた操作信号を生成する操作信号生成工程と、操作信号に基づいて素材データの編集処理を行い、該編集処理後の画像データにフレームレートを関係付けてコンテンツデータとして出力する編集処理工程を有するものである。
【０００９】
この発明においては、再生指示信号を出力して、この再生指示信号に基づいて生成された画像および／または音声の再生データを取り込み、再生指示信号に基づくフレームレート情報を含む付属情報が再生データに連結させて素材データとされる。この素材データのフレームレートを低下させることなく編集処理が行われるとともに、編集後の画像および／または音声の再生データに対して対応する付属情報を連結してコンテンツデータが生成されて出力される。
【００１０】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１はコンテンツ配信システムの全体構成を示している。図１において、信号再生装置２０は、編集装置３０から供給された再生指示信号ＰＣに基づいた速度で記録媒体の再生を行い、ノイズの少ない画像および／または音声の再生データＤＴkを生成して編集装置３０に供給する。
【００１１】
編集装置３０は、再生指示信号ＰＣを信号再生装置２０に供給して、信号再生装置２０から供給された再生指示信号ＰＣで示した速度である設定フレームレートでの再生データＤＴkを用いて編集処理を行う。また、再生指示信号ＰＣに基づいてフレームレート情報を生成して再生データＤＴkに連結させて編集処理を行い、放送用や配信用のコンテンツデータＤＣを生成して出力する。なお、編集装置３０は、編集に関した映像信号Ｓvmを生成して編集画像表示装置４０に供給することで、編集画像表示装置４０での表示画像によって画像の編集経過や編集結果等の確認を行う。同様に、編集に関した音声信号Ｓamを生成して編集音声出力装置４１に供給することで、編集音声出力装置４１から出力される音声によって音声の編集経過や編集結果等の確認を行う。
【００１２】
コンテンツ送出装置５０は、編集装置３０から供給されたコンテンツデータＤＣを蓄積する。また、例えばコンテンツ再生装置７０からコンテンツデータの要求がなされたときには、伝送路６０の帯域に応じてコンテンツデータのフレームレートを調整するとともに、フレームレート調整後のコンテンツデータに基づき送出データＤＴzを生成して、この送出データＤＴzを有線あるいは無線の伝送路６０を介してコンテンツ再生装置７０に供給する。
【００１３】
コンテンツ再生装置７０は、伝送路を介して供給された送出データＤＴzに基づきコンテンツの映像信号Ｓvzや音声信号Ｓazを生成して、コンテンツ提示装置８０に供給する。また付属情報に基づきコンテンツの再生動作を制御する。コンテンツ提示装置８０は、映像信号Ｓvzに基づいた画像表示や音声信号Ｓazに基づいた音声出力を行うことでコンテンツの提示を行う。
【００１４】
図２は、信号再生装置２０の構成、例えば再生指示信号ＰＣに応じた再生速度で記録媒体の再生を行うとともに、ノイズの少ない画像の再生データＤＴkを得ることができるダイナミックトラッキング（ソニー社商標）方式のビデオテープレコーダの構成を示している。
【００１５】
入力された画像および／または音声のデータＤＲinはエンコーダ２０１に供給される。エンコーダ２０１は、供給されたデータＤＲinを用いて、誤り訂正符号の生成やデータのシャフリング，多重化，チャネル符号化等を後述する記録再生制御部２１５から供給された動作制御信号ＣＴＭに基づいて行い記録信号ＳＷを生成する。また、生成した記録信号ＳＷを切換スイッチ２０２に供給する。
【００１６】
切換スイッチ２０２には、記録再生制御部２１５から切換制御信号ＣＴＷが供給されており、この切換制御信号ＣＴＷに基づき切換スイッチ２０３の動作が制御されて、記録信号ＳＷが記録増幅部２０３aあるいは記録増幅部２０３bに供給される。
【００１７】
記録増幅部２０３aは、供給された記録信号ＳＷを増幅して磁気ヘッド２０４aに供給するとともに、記録増幅部２０３bは、供給された記録信号ＳＷを増幅して磁気ヘッド２０４bに供給する。このように、回転ドラム（図示せず）上に設けられている磁気ヘッド２０４a，２０４bに対して、増幅された記録信号ＳＷを供給することで、磁気テープ（図示せず）に画像および／または音声を記録する。
【００１８】
また、磁気ヘッド２０４a，２０４bによって、磁気テープに記録された信号の読み出しを行い、磁気ヘッド２０４aから得られた信号は再生増幅部２０５aに供給する。また、磁気ヘッド２０４bから得られた信号は再生増幅部２０５bに供給する。
【００１９】
この磁気ヘッド２０４a，２０４bは、回転方向に対して１８０度の位相差を有するとともに、電気機械変換素子であるバイモルフ２１１a，２１１bを介して回転ドラムに取り付けられる。バイモルフ２１１a，２１１bには、バイモルフ制御部２１２から例えば鋸歯状の駆動電圧ＢＭa，ＢＭbが供給されて、この駆動電圧ＢＭa，ＢＭbに基づいて磁気ヘッド２０４a，２０４bを回転方向に対して直交する方向に変位させる。
【００２０】
再生増幅部２０５aは、磁気ヘッド２０４aから供給された信号を増幅して切換スイッチ２０６の端子ａに供給する。また、再生増幅部２０５bは、磁気ヘッド２０４bから供給された信号を増幅して切換スイッチ２０６の端子ｂに供給する。切換スイッチ２０６の端子ｃは、デコーダ２０７と接続されている。
【００２１】
切換スイッチ２０６には、記録再生制御部２１５から切換制御信号ＣＴＲが供給されており、この切換制御信号ＣＴＲに基づき切換スイッチ２０６の動作が制御されて、再生増幅部２０５a，２０５bから出力された信号が選択されて、再生信号ＳＲとしてデコーダ２０７に供給される。また、再生信号ＳＲは、バイモルフ制御部２１２に供給される。デコーダ２０７は、再生信号ＳＲの復号化やデータの分離，デシャフリング、誤り訂正処理等を記録再生制御部２１５から供給された動作制御信号ＣＴＭに基づいて行い、画像および／または音声の再生データＤＴkを生成して出力する。また、再生データＤＴkにはタイムコード等の情報を含めるものとする。
【００２２】
バイモルフ制御部２１２は、磁気テープのトラック上を磁気ヘッド２０４a，２０４bが正しくトレースしているか再生信号ＳＲに基づいて判別して、磁気ヘッド２０４a，２０４bがトラック上を正しくトレースするように駆動電圧ＢＭa，ＢＭbを生成して、バイモルフ２１１a，２１１bに供給する。このため、再生速度が可変されても、磁気テープのトラックを正しくトレースできるダイナミックトラッキング動作が行われて、ノイズの少ない良好な変速再生画像を得ることができる。
【００２３】
記録再生制御部２１５には、ユーザインタフェース部２１６が接続されており、ユーザインタフェース部２１６から供給された操作信号ＰＳvや編集装置３０等の外部機器から供給された操作信号ＰＳwに基づき、切換制御信号ＣＴＷ，ＣＴＲ、エンコーダ２０１およびデコーダ２０７の動作を制御する動作制御信号ＣＴＭを生成する。また、記録再生制御部２１５は、磁気テープや回転ヘッドの駆動制御も行う。さらに、記録再生制御部２１５は、編集装置３０から供給された再生指示信号ＰＣに基づいて、磁気テープや回転ヘッドの駆動制御等を行い、再生指示信号ＰＣで示された速度である設定フレームレートＦＲsのノイズの少ない再生データＤＴkを生成して編集装置３０に供給する。また、記録再生制御部２１５は、動作状態や記録再生動作に関する情報等を表示部２１７に表示する。
【００２４】
なお、図２では、信号再生装置２０としてダイナミックトラッキング方式のビデオテープレコーダの構成を示したが、ノイズの少ない変速再生画像を得ることができるものであれば、光や磁気を利用したディスク状記録媒体あるいは半導体記憶素子等を用いる信号再生装置であっても良い。
【００２５】
次に、編集装置３０について説明する。図３は、編集装置３０の構成を示している。素材取込部３１の再生指示回路３１１は、後述する編集制御部３３から供給された制御信号ＲＳに基づき再生指示信号ＰＣを生成して信号再生装置２０に供給することにより、信号再生装置２０での再生速度や再生位置を指示して再生動作を開始させる。また、再生指示信号ＰＣに基づくフレームレート情報ＤＭ-FRsを含む付属情報ＤＭ、すなわち再生指示信号ＰＣによって指示した速度を示す設定フレームレートＦＲsをフレームレート情報ＤＭ-FRsとして、このフレームレート情報ＤＭ-FRsを含む付属情報ＤＭをデータベース化処理回路３１２に供給する。
【００２６】
信号再生装置２０から再生指示信号ＰＣに基づいた設定フレームレートＦＲsの再生データＤＴkが供給されたときには、この再生データＤＴkをデータベース化処理回路３１２に供給する。
【００２７】
データベース化処理回路３１２は、再生データＤＴkを構成する映像データＤＶや音声データＤＡに対して付属情報ＤＭを関係付けて、編集処理部３２のデータ記憶装置３２１に素材データとして記憶させる。また、データベース化処理回路３１２は、データ記憶装置３２１に記憶した素材データを構成する再生データＤＴkに基づいて、容易に素材データの内容を確認可能とするデータベース情報ＤＢを生成して編集制御部３３に供給する。例えば、データベース情報ＤＢは、素材データの内容を判別可能とする情報（例えばサムネイル）、設定フレームレートＦＲs、データ記憶装置３２１における記憶位置等の情報から構成されるものである。さらに、再生指示信号ＰＣに基づいて再生が行われた時間長を示す情報や再生データＤＴkのタイムコード情報等も用いて、データベース情報ＤＢを構成することもできる。また、データベース化処理回路３１２は、再生データＤＴkにタイムコード等の種々の情報が含まれているとき、この情報を付属情報ＤＭに含めるものとすれば、再生データＤＴkに含まれている情報を編集中あるいは編集後に活用できる。
【００２８】
編集制御部３３は、ＧＵＩ(Graphical User Interface)環境で編集処理を可能とするための映像データＤＶgや、データベース情報の内容を表示するための映像データＤＶiを生成して、映像出力信号生成回路３５１に供給する。映像出力信号生成回路３５１は、供給された映像データＤＶg，ＤＶiに基づき映像信号Ｓvmを生成して編集画像表示装置４０に出力する。このように、映像信号Ｓvmを編集画像表示装置４０に供給することで、どのような素材データが記憶されているか等を編集画像表示装置４０の画面上に表示できる。
【００２９】
また、編集制御部３３は、ポストプロダクション処理の制御を行う。すなわち、編集制御部３３に接続されているユーザインタフェース部３４から、ＧＵＩ環境での表示を利用した操作信号ＰＳeが供給されて、操作信号ＰＳeによっていずれかの素材データを選択することが示されたときには、この操作信号ＰＳeに応じた読出制御信号ＲＣを生成して編集処理部３２の書込読出処理回路３２２に供給する。また、操作信号ＰＳeが読み出した素材データの加工や結合等の編集操作に関するものであるときには、操作信号ＰＳeに応じた編集制御信号ＥＴを生成して編集処理部３２の信号編集回路３２３に供給する。さらに、素材データの編集が終了してコンテンツデータが完成されたとき、操作信号ＰＳeがコンテンツデータをデータ記憶装置３２１に記憶する操作を示しているときには、操作信号ＰＳeに応じた書込制御信号ＷＣを生成して、書込読出処理回路３２２に供給する。また、操作信号ＰＳeがコンテンツデータの出力を示しているときには、操作信号ＰＳeに応じた出力制御信号ＲＰを生成して書込読出処理回路３２２に供給する。操作信号ＰＳeがコンテンツデータの再生速度範囲を規定するものであるときには、操作信号ＰＳeに応じた速度範囲設定信号ＬＰを生成して信号編集回路３２３に供給する。
【００３０】
書込読出処理回路３２２は、読出制御信号ＲＣに基づき、要求された素材データをデータ記憶装置３２１から読み出して信号編集回路３２３に供給する。また、書込制御信号ＷＣに基づき、完成されたコンテンツデータＤＣをデータ記憶装置３２１に記憶させる。また、出力制御信号ＲＰに基づき、要求されたコンテンツデータＤＣをデータ記憶装置３２１から読み出して出力する。
【００３１】
信号編集回路３２３は、データ記憶装置３２１から読み出した素材データに含まれている映像データＤＶや音声データＤＡを用いて、画像や音声の加工や結合および削除等の編集処理を編集制御信号ＥＴに基づいて行う。この編集処理では、素材である映像データＤＶや音声データＤＡのフレームレートを低下させることなくデータの加工や結合等を行い、時間軸上での画像の密度を低下させることなくコンテンツデータを生成する。ここで、信号編集回路３２３は、編集前や編集中あるいは編集後の映像データＤＶeを映像出力信号生成回路３５１に供給するとともに、編集前や編集中あるいは編集後の音声データＤＡeを音声出力信号生成回路３５２に供給する。また、信号編集回路３２３は、編集処理によって映像データＤＶや音声データＤＡのフレームレートを変更したとき、付属情報ＤＭも編集後の映像データや音声データに合わせて変更する。さらに、編集後の映像データＤＶや音声データＤＡおよび編集後の映像データＤＶや音声データＤＡに対応する設定フレームレートＦＲsを示すフレームレート情報ＤＭ-FRsを含んだ付属情報ＤＭcを連結させてコンテンツデータＤＣを生成する。また、速度範囲設定信号ＬＰが供給されたときには、この速度範囲設定信号ＬＰに基づいてコンテンツデータＤＣの再生速度範囲を示す速度範囲情報も付属情報ＤＭcとして連結させる。さらに、ユーザインタフェース部３４からコンテンツのタイトルやコンテンツの推奨再生速度が入力されたときには、これらの情報も付属情報ＤＭcとして連結させる。また、編集処理によってコンテンツデータの再生時間長情報が得られているときには、この情報も付属情報ＤＭcとして連結させるものとしても良い。さらに、コンテンツデータの再生可能な最高速度が入力されたときには、この最高速度も付属情報ＤＭcとして連結させる。
【００３２】
編集出力信号生成部３５の映像出力信号生成回路３５１は、上述したように、編集制御部３３から供給された映像データＤＶg，ＤＶiに基づき映像信号Ｓvmを生成して編集画像表示装置４０に供給する。このため、ＧＵＩ環境で素材データに関する情報を表示できる。さらに、信号編集回路３２３から供給された映像データＤＶeに基づき映像信号Ｓvmを生成することで、編集前や編集中あるいは編集後の画像を編集画像表示装置４０の画面上で確認できる。
【００３３】
音声出力信号生成回路３５２は、信号編集回路３２３から供給された音声データＤＡeを、アナログの音声信号Ｓamに変換するとともに所望の信号レベルとして、例えばスピーカやヘッドホンを用いて構成された編集音声出力装置４１に供給する。このため、編集前や編集中あるいは編集後の音声を編集音声出力装置４１から出力される音声によって確認できる。
【００３４】
このように、再生データＤＴkや再生指示信号ＰＣに基づく付属情報ＤＭを用いたポストプロダクション処理を行いコンテンツデータＤＣが完成すると、この完成したコンテンツデータＤＣは、コンテンツ送出装置５０に供給されて、このコンテンツ送出装置５０からユーザのコンテンツ再生装置７０に供給される。
【００３５】
図４は、コンテンツ送出装置５０の構成を示している。編集装置３０から供給された配信用のコンテンツデータＤＣは、書込処理部５１に供給される。書込処理部５１は、送出データ生成部５２のコンテンツ蓄積装置５２１と接続されており、供給された配信用のコンテンツデータをコンテンツ蓄積装置５２１に記憶させる。なお、コンテンツデータＤＣは、編集装置３０から供給されたものに限られるものではなく、可変速フレームレートの映像データを得ることができる撮像装置で生成された素材データ等をコンテンツデータＤＣとして用いるものとしても良い。
【００３６】
送出データ生成部５２のコンテンツ蓄積装置５２１には、読出処理回路５２２が接続されているとともに、この読出処理回路５２２には、配信用のコンテンツデータを伝送する際の伝送路の帯域情報ＷＢやコンテンツ再生装置側からのコンテンツ要求信号ＲＱが後述する伝送処理部５３から供給される。
【００３７】
読出処理回路５２２は、帯域情報ＷＢやコンテンツ蓄積装置５２１に蓄積されている要求されたコンテンツデータＤＣの付属情報ＤＭcに基づき、要求されたコンテンツデータの読み出しを制御してフレームレート調整を行い、フレームレート調整後のコンテンツデータＤＣzaを情報修正回路５２３に供給する。
【００３８】
例えば、後述するエンコーダ５２４で符号化処理を行ったときの１フレーム分のデータ量がＢＤbit、付属情報ＤＭcに含まれているフレームレート情報ＤＭc-FRsによって示された設定フレームレートＦＲsが基準フレームレートＦＲrのｎ倍であるとき、単位時間で伝送するデータ量ＢＴは「ＢＴ＝ＢＤ×ｎ×ＦＲr＋ＢＨ」となる。なお、データ量ＢＨは、コンテンツデータをパケット化して伝送するときに付加されるヘッダ情報等をまとめて示したものである。
【００３９】
ここで、帯域情報ＷＢによって伝送可能なデータ量として示された帯域幅ＢＡがデータ量ＢＴより小さくないときには、コンテンツデータのフレームレート調整を行わないものとして、コンテンツ蓄積装置５２１からコンテンツデータを順次読み出して情報修正回路５２３に供給する。また、帯域幅ＢＡがデータ量ＢＴよりも小さいとき、コンテンツデータの映像データに対しては、フレームレート調整を行うことでデータ量を少なくして、コンテンツデータの伝送の遅れによる再生画像の途切れを防止する。例えば付属情報ＤＭcに含まれているフレームレート情報ＤＭc-FRsによって示された設定フレームレートＦＲsと、基準フレームレートＦＲrから、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数「ｍ」を判別する。さらに、判別した倍数「ｍ」の約数を求めて、「ｍ」を除く約数の最大値と基準フレームレートＦＲrを乗算して調整後の設定フレームレートとする。すなわち「ｍ＝１０」であるときには約数の最大値が「５」であるので「ｍ＝５」とするフレームレート調整を行う。このフレームレート調整では、１フレームおきにコンテンツデータを読み出すことで、基準フレームレートＦＲrに対して５倍のフレームレートのコンテンツデータを生成する。また、「ｍ＝９」であるときには「ｍ＝３」に調整して、２フレームおきにコンテンツデータを読み出すことでフレームレート調整後のコンテンツデータを生成する。また、調整後のデータ量ＢＴが帯域幅ＢＡよりも大きいときにはさらにフレームレートの調整を行う。このように、「ｍ」を除く約数の最大値を用いて調整後のフレームレートを決定すれば、コンテンツデータを読み出す際にフレーム単位で間引きを行うだけで、簡単にフレームレート調整後のコンテンツデータを生成できる。
【００４０】
その後、「ｍ＝１」でも調整後のデータ量ＢＴが帯域幅ＢＡよりも大きいときには「ｍ＝１／ｋ」（ｋ：自然数）となるようにフレーム間引きを行うことで、データ量ＢＴを更に少なくできる。また、帯域幅ＢＡが変化したときには帯域幅ＢＡの変化に応じてフレームレートを可変させる。
【００４１】
また、コンテンツデータの音声データに対しては、映像データに対するフレームレート調整に応じてサンプル間引きを行い、フレームレート調整後の音声データを生成する。例えば映像データが１フレームおきに読み出されるときには、音声データを１サンプル置きに読み出す。また映像データが２フレームおきに読み出されるときには、音声データを２サンプル置きに読み出してフレームレート調整後の音声データを生成する。
【００４２】
情報修正回路５２３は、読出処理回路５２２によってフレームレート調整が行われたとき、調整後のフレームレートに対応するようにコンテンツデータＤＣzaの付属情報ＤＭzaを修正して、フレームレートを正しく示す付属情報ＤＭzとする。さらに、この付属情報ＤＭzを連結したコンテンツデータＤＣzをエンコーダ５２４に供給する。例えば「ｍ＝１０」が「ｍ＝５」に調整されたときには、設定フレームレートＦＲsを「×１０」から「×５」に変更する修正を行い、設定フレームレートＦＲsが「×１０」であることを示すフレームレート情報ＤＭc-FRsを、設定フレームレートＦＲsが「×５」であることを示すフレームレート情報ＤＭz-FRsに変更して付属情報ＤＭzとする。
【００４３】
エンコーダ５２４は、供給されたコンテンツデータＤＣzの符号化処理を行い、映像データＤＶzや音声データＤＡzを伝送に適した信号に符号化して符号化データＤＺを生成する。例えばＭＰＥＧ(Moving Picture Experts Group)４として規格化されている符号化方式等を用いてストリーミング配信に適した信号に符号化する。この符号化処理によって得られた符号化データＤＺに付属情報ＤＭzを連結させて、送出データＤＴzとして伝送処理部５３に供給する。このように、符号化処理を行うことで効率良くコンテンツデータの伝送を行うことが可能となる。
【００４４】
伝送処理部５３は、コンテンツ再生装置７０から供給された伝送信号ＴＭrqによってコンテンツデータの要求がなされたとき、要求されているコンテンツデータを示すコンテンツ要求信号ＲＱを読出処理回路５２２に供給する。また、伝送処理部５３は、伝送路６０の帯域に関する帯域情報ＷＢを生成して読出処理回路５２２に供給する。さらに、伝送処理部５３は、コンテンツデータの要求に基づき、エンコーダ５２４から供給された送出データＤＴzを所定のプロトコルの伝送信号ＴＭzとして、伝送路６０を介してコンテンツデータの要求を行ったコンテンツ再生装置７０に供給する。
【００４５】
この読出処理回路５２２に供給する帯域情報ＷＢは、例えばルータ等のネットワーク機器を用いて伝送処理部５３を構成するとともに、このネットワーク機器が持つ管理情報ベース(ＭＩＢ:Management Information Base）からトラフィック情報を取得し、このトラフィック情報を帯域情報ＷＢとして用いる。また、計測用のパケットをコンテンツ再生装置７０に送信し、コンテンツ再生装置７０からのレスポンス時間などを測定することで帯域を判別して、この判別結果を帯域情報ＷＢとして用いることもできる。
【００４６】
ところで、上述のコンテンツ送出装置５０のコンテンツ送出処理は、コンピュータを用いてソフトウェア処理によっても実現できる。このソフトウェアでコンテンツ送出を行う場合の構成を図５に示す。
【００４７】
コンピュータは、図５に示すようにＣＰＵ(Central Processing Unit)５５１を内蔵しており、このＣＰＵ５５１にはバス５６０を介してＲＯＭ５５２，ＲＡＭ５５３，記憶容量が大容量であるハード・ディスク・ドライブ等を用いて構成したデータ蓄積部５５４，入出力インタフェース５５５が接続されている。さらに、入出力インタフェース５５５には信号入力部５６１や通信部５６２、記録媒体ドライブ５６３が接続されている。
【００４８】
ＣＰＵ５５１は、ＲＯＭ５５２やＲＡＭ５５３あるいはデータ蓄積部５５４に記憶されているプログラムを実行して、コンテンツ送出処理を行う。信号入力部５６１に入力されたコンテンツデータは、入出力インタフェース５５５とバス５６０を介してデータ蓄積部５５４に記憶させる。また、通信部５６２を介してコンテンツ要求信号ＲＱが供給されたとき、データ蓄積部５５４に記憶されているコンテンツデータから、要求されたコンテンツデータの読み出しを行うとともに、この読み出しを制御して伝送路６０に応じたデータ量のコンテンツデータとなるようにフレームレート調整を行う。さらに、伝送に適した符号化を行って送出データＤＴzを生成する。この生成した送出データＤＴzを、通信部５６２を介して出力する。
【００４９】
なお、コンテンツ送出処理を行うプログラムは、予めＲＯＭ５５２やデータ蓄積部５５４に記憶させておくものとしたり、記録媒体ドライブ５６３によって、コンテンツ送出処理のプログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出して実行するものとしても良い。さらに、通信部５６２によって、プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信したプログラムをコンピュータで実行するものとしても良い。
【００５０】
図６は、コンテンツ送出処理動作を示すフローチャートである。ステップＳＴ１１では、コンテンツデータＤＣの取り込みを行い、信号入力部５６１に入力されたコンテンツデータＤＣをデータ蓄積部５５４に記憶させる。
【００５１】
ステップＳＴ１２では、コンテンツデータの要求がなされたか否かを判別する。ここでコンテンツデータの要求がなされていないときにはステップＳＴ１２に戻り、コンテンツデータの要求が例えば通信部５６２を介してなされたときにはステップＳＴ１３に進む。
【００５２】
ステップＳＴ１３では、要求されたコンテンツデータの付属情報ＤＭcを読み出してステップＳＴ１４に進む。
【００５３】
ステップＳＴ１４では、伝送路の帯域を検出するとともに、検出された帯域に基づいてコンテンツのフレームレートを調整して、調整されたフレームレートとなるようにコンテンツデータをデータ蓄積部５５４から読み出してステップＳＴ１５に進む。
【００５４】
ステップＳＴ１５では、読み出したコンテンツデータＤＣzaの付属情報ＤＭzaが、調整されたフレームレートと対応するように修正してステップＳＴ１６に進む。
【００５５】
ステップＳＴ１６では、付属情報の修正がなされたコンテンツデータＤＣzを用いて伝送路に応じた符号化処理を行い符号化データＤＺを生成する。さらに、生成した符号化データＤＺと修正後の付属情報ＤＭzを用いて、送出データＤＴzを生成してステップＳＴ１７に進む。
【００５６】
ステップＳＴ１７では、コンテンツデータの要求先に向けて、生成した送出データＤＴzを通信部５６２から出力する。
【００５７】
次に、コンテンツ再生装置について説明する。図７は、コンテンツ再生装置７０の構成を示している。コンテンツ送出装置５０から供給された伝送信号ＴＭzは、入力部７１の通信回路７１１に供給される。入力部７１はコンテンツデータの取り込みを行うものであり、入力部７１の通信回路７１１は、供給された伝送信号ＴＭzから送出データＤＴzを生成するとともに、この送出データＤＴzから符号化データＤＺと付属情報ＤＭzを抽出する。さらに、抽出した付属情報ＤＭzを情報記憶回路７１２に供給するとともに、符号化データＤＺをデータ保持回路７１３に供給する。また通信回路７１１は、後述する再生制御部７２からのコンテンツ要求信号ＲＱに基づき伝送信号ＴＭrqを生成して、コンテンツ送出装置５０に供給する。
【００５８】
情報記憶回路７１２は、供給された付属情報ＤＭzを記憶する。またデータ保持回路７１３は、供給された符号化データＤＺを記憶する。
【００５９】
再生制御部７２にはユーザインタフェース部７３が接続されており、ユーザインタフェース部７３からの操作信号ＰＳpがコンテンツデータの要求を行うものであるとき、操作信号ＰＳpに基づいたコンテンツ要求信号ＲＱを生成して通信回路７１１に供給することで、コンテンツ送出装置５０に対してコンテンツデータの送出要求を行う。また、操作信号ＰＳpがコンテンツデータの再生を指示するものであるときには、読出制御信号ＣＮをデータ保持回路７１３に供給して、再生の指示が行われたコンテンツの符号化データＤＺをデータ保持回路７１３から読み出して再生処理部７４に供給する。さらに、読み出した符号化データＤＺに対応する付属情報ＤＭzを情報記憶回路７１２から読み出して、再生速度ＦＰの可変範囲を示す映像データＤＶsを生成して再生処理部７４に供給することで、コンテンツ提示装置８０の画面上に再生速度ＦＰの可変範囲を表示する。ここで、操作信号ＰＳpがコンテンツの再生速度ＦＰを可変するものであるときには、再生処理部７４の動作を制御する提示制御信号ＣＰを付属情報ＤＭzに基づき生成して再生処理部７４に供給する。
【００６０】
再生処理部７４は、データ保持回路７１３から供給された符号化データＤＺの復号化処理を行い、コンテンツの映像データＤＶzや音声データＤＡzを生成する。さらに、生成した映像データＤＶzや音声データＤＡzに対して提示制御信号ＣＰに基づいた間引きや繰り返し処理を行い、ユーザの設定した再生速度ＦＰに応じた映像信号Ｓvzや音声信号Ｓazを生成してコンテンツ提示装置８０に供給することで、コンテンツ提示を行う。
【００６１】
なお、符号化データＤＺがフレーム内符号化データで構成されているときには、データ保持回路７１３から提示制御信号ＣＰに基づき、符号化データＤＺをフレーム単位で間引きして読み出すものとしても良い。この場合には、間引きされてしまう映像データの復号化を行う必要がなく、復号化処理を容易に行うことができる。
【００６２】
また、コンテンツ再生装置７０は、コンテンツデータが記録されている記録媒体を用いるものであっても良い。この場合、記録媒体を再生して得られた再生信号から付属情報ＤＭzと符号化データＤＺを分離して、この付属情報ＤＭzを情報記憶回路７１２に記憶させるとともに、符号化データＤＺをデータ保持回路７１３に記憶させることで、同様に処理することができる。
【００６３】
ところで、上述のコンテンツ再生装置７０のコンテンツ再生処理も、コンピュータでソフトウェア処理することによって実現できる。このソフトウェアでコンテンツ再生を場合の構成を図８に示す。
【００６４】
コンピュータは、図８に示すようにＣＰＵ７５１を内蔵しており、このＣＰＵ７５１にはバス７６０を介してＲＯＭ７５２，ＲＡＭ７５３，データ蓄積部７５４，入出力インタフェース７５５が接続されている。さらに、入出力インタフェース７５５には通信部７６１やユーザインタフェース部７６２、信号出力部７６３、記録媒体ドライブ７６４が接続されている。
【００６５】
ＣＰＵ７５１は、ＲＯＭ７５２やＲＡＭ７５３あるいはデータ蓄積部７５４に記憶されているプログラムを実行して、ユーザインタフェース部７６２からの操作信号ＰＳpに基づいたコンテンツ送出処理動作を行う。ここで、通信部７６１に送出データＤＴzが供給されたとき、通信部７６１は、符号化データＤＺと付属情報ＤＭzを抽出する。この通信部７６１で抽出された符号化データＤＺと付属情報ＤＭzをデータ蓄積部７５４に記憶させる。また、ユーザインタフェース部７６２からの操作信号ＰＳpに基づいて、データ蓄積部７５４に記憶されている符号化データＤＺの読み出しや復号化処理を行い、映像データＤＶzや音声データＤＡzを生成して信号出力部７６３に供給する。信号出力部７６３は、映像データＤＶzや音声データＤＡzに基づき、コンテンツ提示装置８０に応じた映像信号Ｓvzや音声信号Ｓazを生成して出力する。
【００６６】
なお、コンテンツ再生処理を行うプログラムは、予めＲＯＭ７５２やデータ蓄積部７５４に記憶させておくものとしたり、記録媒体ドライブ７６４によって、コンテンツ再生処理のプログラムを記録媒体に記録しあるいは記録媒体に記録されているプログラムを読み出して実行するものとしても良い。さらに、通信部７６１によって、プログラムを有線あるいは無線の伝送路を介して送信あるいは受信するものとし、受信したプログラムをコンピュータで実行するものとしても良い。
【００６７】
図９は、コンテンツ再生処理動作を説明するためのフローチャートである。コンテンツデータを再生する場合、ＣＰＵ７５１は、ＧＵＩ環境を構成するための画像をコンテンツ提示装置８０に表示させるとともに、この表示画像に対応した操作をユーザインタフェース部７６２で行うことで操作入力を行う。
【００６８】
図１０は、コンテンツ提示装置８０に表示したＧＵＩ環境を構成する画像を例示したものである。コンテンツ提示装置８０の画面上には、コンテンツの画像を表示するビュワー部８０１、再生速度ＦＰを可変するためのインタフェースである速度可変コンソール部８０２、再生速度ＦＰを表示する再生速度表示部８０３、動作モードや音量等の切り換えを行うための動作コントロール部８０４、コンテンツのタイトルを示すタイトル表示部８０５、コンテンツの再生時間や現在の時間を表示する時間表示部８０６、現在の再生位置を示す再生位置表示部８０７等が設けられている。
【００６９】
図９のステップＳＴ２１では、データ蓄積部７５４からコンテンツの付属情報ＤＭzを読み出して、付属情報ＤＭzに基づいた表示を行う。例えばコンテンツのタイトルやコンテンツの時間長をタイトル表示部８０５や時間表示部８０６に表示する。また速度範囲情報に基づき最低速度と最高速度を速度可変コンソール部８０２に表示する。
【００７０】
ステップＳＴ２２では、動作コントロール部８０４を利用して、コンテンツの再生開始操作が行われたか否かを操作信号ＰＳpに基づき判別する。ここで、再生開始操作が行われていないときにはステップＳＴ２２に戻り、再生開始操作が行われたときにはステップＳＴ２３に進む。
【００７１】
ステップＳＴ２３では、再生速度ＦＰと設定フレームレートＦＲsに応じて再生処理条件の設定、すなわち符号化データＤＺを復号化して得られた映像データＤＶzや音声データＤＡzから映像信号Ｓvzや音声信号Ｓazを生成する際に行うデータの間引き間隔やデータの繰り返し数を決定して、ステップＳＴ２４に進む。
【００７２】
ステップＳＴ２４では、データ蓄積部７５４から符号化データＤＺを読み出して復号化して映像データＤＶzや音声データＤＡzを生成するとともに、ステップＳＴ２３で決定された再生処理条件でデータの間引きやデータの繰り返し行い、コンテンツ提示用の映像信号Ｓvzや音声信号Ｓazを生成する。この生成した映像信号Ｓvzや音声信号Ｓazをコンテンツ提示装置８０に供給することで、速度可変コンソール部８０２のカーソル位置（太線で示す）で示された再生速度ＦＰの再生画像をコンテンツ提示装置８０のビュワー部８０１に表示する。また、このときの再生速度ＦＰを再生速度表示部８０３に表示するとともに、再生時間や再生位置を時間表示部８０６や再生位置表示部８０７に表示する。また、コンテンツ提示装置８０は、速度可変コンソール部８０２のカーソル位置で示された再生速度ＦＰでの再生音声を出力する。
【００７３】
ステップＳＴ２５では、速度可変コンソール部８０２のカーソル位置が移動されて再生速度ＦＰが変更されたか否かを判別する。ここで、再生速度ＦＰの変更が行われたと判別されたときにはステップＳＴ２３に戻り、再生速度ＦＰの変更が行われたと判別されていないときにはステップＳＴ２５に進む。
【００７４】
ステップＳＴ２６では、再生動作の終了であるか否かを判別する。ここで、再生動作を停止する操作が行われていないとき、あるいはコンテンツの再生位置が終了位置となっていないときにはステップＳＴ２５に戻る。また、停止操作が行われたとき、あるいは再生位置が終了位置となったときには、変速再生動作を終了する。
【００７５】
図１１は、画像に対しての再生処理条件の設定動作を示すフローチャートである。ステップＳＴ３１では、速度可変コンソール部８０２のカーソル位置に基づいて再生速度ＦＰを判別してステップＳＴ３２に進む。ここで、基準フレームレートＦＲrを１倍速として、速度可変コンソール部８０２でのカーソルの初期位置を例えば１倍速の位置とすることで、再生動作開始時の再生速度ＦＰを設定する。また、編集装置３０によって再生速度ＦＰが推奨されているときには、この推奨されている再生速度ＦＰの位置をカーソルの初期位置とするとともに、推奨されている再生速度ＦＰを、再生動作開始時の再生速度ＦＰと設定する。さらに、カーソル位置がユーザによって移動されているときにはカーソル位置と対応する速度を再生速度ＦＰとする。
【００７６】
ステップＳＴ３２では、付属情報ＤＭzに含まれているフレームレート情報ＤＭz-FRsに基づいて設定フレームレートＦＲsを判別してステップＳＴ３３に進む。ステップＳＴ３３では、再生速度ＦＰと設定フレームレートＦＲsを乗算して、再生処理条件を決定するための判別値ＦＤを算出する。
【００７７】
ステップＳＴ３４では、判別値ＦＤに基づいて再生処理条件を決定する。ここで判別値ＦＤが１以上で小数点以下の値を含まないときには、判別値ＦＤに応じたフレーム間隔で画像を間引いて出力するように再生処理条件を決定する。判別値ＦＤが１以上で小数点以下の値を含む場合、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数分のフレームから、判別値ＦＤの整数値部分に応じたフレーム間隔で画像の間引きを行い、再生速度分の画像を読み出すように再生処理条件を決定する。判別値ＦＤが１未満である場合には、所望の再生速度に応じたフレーム数となるまで同じ画像を繰り返し出力するように再生処理条件を決定する。このように決定された再生処理条件に基づいて上述のステップＳＴ２４の処理を行うことで、正しく所望の再生速度でコンテンツの画像を提示させることができる。
【００７８】
図１２は、判別値ＦＤが１以上で小数点以下の値を含まない場合での画像再生動作を示している。図１２Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して１０倍速とされているときの映像データＤＶzに基づく画像を示している。また図１２Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１２Ｃは絶対フレーム番号ＡＮをそれぞれ示している。なお、フレームレート情報ＤＭ-FRsは、設定フレームレートＦＲsを示すだけでなく、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍率を示すものとしても良い。図１２Ｂおよび以下の図で示すフレームレート情報ＤＭ-FRsでは倍率を記している。
【００７９】
ここで、再生速度ＦＰが（１／５）倍速とされたとき、判別値ＦＤは「１０×（１／５）＝２」となる。このため、図１２Ｄ，図１２Ｅに示すように、「ＦＤ＝２」フレーム目毎、すなわち映像データＤＶzを１フレーム置きに用いて映像信号Ｓvzを生成することで、（１／５）倍速での再生画像をコンテンツ提示装置８０に表示することができる。なお、図１２Ｄは表示される画像の絶対フレーム番号ＡＮを示しており、図１２Ｅは映像信号Ｓvzで表示されるフレーム画像を示している。
【００８０】
再生速度ＦＰが１倍のとき、判別値ＦＤは「１０×１＝１０」となる。このため、図１２Ｆ，図１２Ｇに示すように、「ＦＤ＝１０」フレーム目毎すなわち映像データＤＶzを９フレーム分飛ばしながら用いて映像信号Ｓvzを生成することで、１倍速の再生画像をコンテンツ提示装置８０に表示することができる。なお、図１２Ｆは表示される画像の絶対フレーム番号ＡＮを示しており、図１２Ｇは映像信号Ｓvzで表示されるフレーム画像を示している。
【００８１】
また、再生速度ＦＰが２倍のとき、判別値ＦＤは「１０×２＝２０」となる。このため、図１２Ｈ，図１２Ｊに示すように、「ＦＤ＝２０」フレーム目毎すなわち映像データＤＶzを１９フレーム分飛ばしながら用いて映像信号Ｓvzを生成することで、２倍速の再生画像をコンテンツ提示装置８０に表示することができる。なお、図１２Ｈは表示される画像の絶対フレーム番号ＡＮを示しており、図１２Ｊは映像信号Ｓvzで表示されるフレーム画像を示している。
【００８２】
図１３は、判別値ＦＤが１以上で小数点以下の値を含む場合の画像再生動作を示している。図１３Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して７倍速とされているときの映像データＤＶzに基づく画像を示している。また図１３Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１３Ｃは絶対フレーム番号ＡＮをそれぞれ示している。
【００８３】
ここで、再生速度ＦＰが（１／３）倍速であるとき、判別値ＦＤは「７×（１／３）＝２．３３・・・」となる。このため、図１３Ｄ，図１３Ｅに示すように、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数分である７フレームから、判別値ＦＤの整数値部分に応じて２フレーム目毎すなわち１フレーム置きに映像データの読み出しを行い、３フレーム分の映像データＤＶzを出力させることで、（１／３）倍速の再生画像を得ることができる。なお、図１３Ｄは表示される画像の絶対フレーム番号ＡＮを示しており、図１３Ｅは映像信号Ｓvzで表示されるフレーム画像を示している。
【００８４】
図１４は、判別値ＦＤが１未満となる場合での再生動作を示している。図１４Ａは、設定フレームレートＦＲsが基準フレームレートＦＲrに対して（１／４）倍速とされているときの映像データＤＶzに基づく画像を示している。また図１４Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRs、図１４Ｃは絶対フレーム番号ＡＮをそれぞれ示している。
【００８５】
ここで、再生速度ＦＰが１倍速とされたとき、判別値ＦＤは「（１／４）×１＝１／４」となる。このため、図１４Ｄ，図１４Ｅに示すように、再生速度に応じたフレーム数すなわち映像データＤＶzをフレーム毎に４回繰り返し用いて映像信号Ｓvzを生成することで、１倍速での再生画像をコンテンツ提示装置８０に表示することができる。なお、図１４Ｄは表示される画像の絶対フレーム番号ＡＮを示しており、図１４Ｅは映像信号Ｓvzで表示されるフレーム画像を示している。
【００８６】
再生速度ＦＰが２倍速であるとき、判別値ＦＤは「（１／４）×２＝１／２」となる。このため、図１４Ｆ，図１４Ｇに示すように、映像データＤＶzをフレーム毎に２回繰り返し用いて映像信号Ｓvzを生成することで、２倍速での再生画像をコンテンツ提示装置８０に表示することができる。なお、図１４Ｆは表示される画像の絶対フレーム番号ＡＮを示しており、図１４Ｇは映像信号Ｓvzで表示されるフレーム画像を示している。
【００８７】
再生速度ＦＰが４倍速であるとき、判別値ＦＤは「（１／４）×４＝１」となる。このため、図１４Ｈ，図１４Ｊに示すように、映像データＤＶzをフレーム毎に順次用いて映像信号Ｓvzを生成することで、４倍速での再生画像をコンテンツ提示装置８０に表示することができる。なお、図１４Ｈは表示される画像の絶対フレーム番号ＡＮを示しており、図１４Ｊは映像信号Ｓvzで表示されるフレーム画像を示している。
【００８８】
このように、記録速度と再生速度に基づいた読出間隔で画像のデータを読み出すことで、所望の再生速度の画像を表示できる。
【００８９】
次に、音声について説明する。図１５は、音声に対しての再生処理条件の設定動作を示すフローチャートである。音声については、フレーム単位で音声データＤＡzを用いるものとしたとき、フレーム間で音のつながりがなくなり音の不連続を生じてしまう。このため、音声については、サンプル単位で再生処理を行う。
【００９０】
ステップＳＴ４１では、ステップＳＴ３１と同様にして再生速度を判別してステップＳＴ４２に進む。ステップＳＴ４２では、ステップＳＴ３２と同様に設定フレームレートＦＲsを読み出してステップＳＴ４３に進む。ステップＳＴ４３では、ステップＳＴ３３と同様に判別値ＦＤを算出してステップＳＴ４４に進む。
【００９１】
ステップＳＴ４４では、判別値ＦＤに基づいて再生処理条件を決定する。ここで判別値ＦＤが１以上で小数点以下の値を含まないときには、判別値ＦＤに応じたサンプル間隔で音声データの間引きを行うように再生処理条件を決定する。判別値ＦＤが１以上で小数点以下の値を含む場合、基準フレームレートＦＲrに対する設定フレームレートＦＲsの倍数分のフレームから、判別値ＦＤの整数値部分に応じたサンプル間隔で音声データの間引きを行い、再生速度分の音声データを読み出すように再生処理条件を決定する。判別値ＦＤが１未満である場合には、所望の再生速度に応じたフレーム数分のサンプル数となるように音声データを繰り返し用いるよう再生処理条件を決定する。このように決定された再生処理条件に基づいて上述のステップＳＴ２４の処理を行うことで、正しく所望の再生速度でコンテンツの音声を提示させることができる。
【００９２】
図１６は、判別値ＦＤが１以上で小数点以下の値を含まない場合での音声再生動作を示している。図１６Ａは、絶対フレーム番号ＡＮを示しており、図１６Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRsを示している。
【００９３】
ここで、再生速度ＦＰが（１／５）倍速とされたとき、設定フレームレートＦＲsは基準フレームレートＦＲrに対して１０倍速とされていることから、判別値ＦＤは「１０×（１／５）＝２」となる。このため、「ＦＤ＝２」サンプル目毎すなわち１サンプル置きに音声データＤＡzを用いて音声信号Ｓazを生成することで、１倍速での再生音声をコンテンツ提示装置８０から出力できる。なお、図１６Ｃは、映像信号Ｓvzの生成に用いられるフレームを示しており、図１６Ｄは音声データＤＡzが１４サンプル／フレームであるとき、音声信号Ｓazで用いられる音声データを示している。
【００９４】
図１７は、判別値ＦＤが１以上で小数点以下の値を含む場合での音声再生動作を示している。図１７Ａは、絶対フレーム番号ＡＮを示しており、図１７Ｂはフレーム画像の設定フレームレートＦＲsを示すフレームレート情報ＤＭz-FRsを示している。
【００９５】
ここで、再生速度ＦＰが（１／３）倍速とされたとき、設定フレームレートＦＲsは基準フレームレートＦＲrに対して７倍速とされていることから、判別値ＦＤは「７×（１／３）＝２．３・・・」となる。また、音声データＤＡzが１４サンプル／フレームであるとき、（１／３）倍速における１フレームのサンプル数は「１４×３／７＝６」となる。
このため、判別値ＦＤの整数値部分に応じて２サンプル目毎すなわち１サンプル置きに音声データＤＡzを出力させるとともに、１フレームのサンプル数分である６サンプルの音声データＤＡzの出力がなされたときには、次のフレームの先頭に移動して１サンプル置きに音声データＤＡzを出力させるようにする。このように音声データＤＡzを選択して出力させることで、（１／３）倍速の再生音声を得ることができる。また、音声信号Ｓazに基づいて音声出力する場合にフィルタ処理を行うものとすれば、音声データＤＡzの間引きによる影響を少なくして良好な再生音声を出力できる。さらに、設定フレームレートＦＲsや再生速度ＦＰに応じて、固定的にサンプル飛ばしを行いフレーム終了時にサンプル数を合わせるものであることから、再生速度に応じた音声信号Ｓazの出力を簡単に行うことができる。なお、図１７Ｃは、映像信号Ｓvzの生成に用いられるフレームを示しており、図１７Ｄは音声データＤＡzが１４サンプル／フレームであるとき、音声信号Ｓazで用いられる音声データを示している。
【００９６】
また、音声データＤＡzの間引きを行って音声信号Ｓazの生成する場合、音声データＤＡzの間隔が広くなって再生音が不連続となってしまうことがないように、音声信号Ｓazの生成に用いる音声データの間隔が略一定となるように間引きを行うものとしても良い。例えば設定フレームレートＦＲsが基準フレームレートＦＲrのＫＡ倍とされており、再生速度ＦＰが（１／ＫＢ）倍とされているとき、連続するＫＢサンプルの音声データＤＡzから略等間隔でＫＢサンプル分の音声データを取りだして、この取り出した音声データに基づいて音声信号Ｓazを生成する。このようにすれば、図１７に示す場合に比べて処理が複雑となるが、さらに良好な音質の再生音声を出力できる。
【００９７】
判別値ＦＤが１未満である場合には、図示せずも画像のフレーム繰り返し数分だけ各音声データを繰り返して順次用いることで、所望の再生速度の音声データＤＡzを生成できる。
【００９８】
このように、編集装置３０は、記録媒体に記録されているデータの再生速度を制御して、得られた再生データに対して、フレームレート情報ＤＭ-FRsを含む付属情報ＤＭを連結させて素材データとする。さらに、この素材データを用いて編集処理を行ってフレームレート情報を含む付属情報ＤＭcが連結されたコンテンツデータＤＣを生成して送出することで、放送番組のように所定の再生速度の画像等を視聴できるだけでなく、ユーザの望む再生速度でコンテンツの視聴を行うことができる。
【００９９】
例えば、スローモーション画像が記録媒体に記録されているとき、このスローモーション画像を高速再生して、この再生データを編集装置３０に取り込むと、設定フレームレートＦＲsを基準フレームレートＦＲrよりも高くした素材データとすることができる。このため、このときの設定フレームレートＦＲsを示すフレームレート情報を付属情報として連結させてコンテンツデータＤＣを生成すれば、コンテンツ再生装置７０は、このスローモーション画像を所望の速度で再生できるとともに、ノイズの少ない再生画像を得ることができる。
【０１００】
また、編集装置３０は、素材データのフレームレートを低下させることなくコンテンツデータの生成が行われるので、再生速度の可変範囲が編集処理によって狭められてしまうことを防止できる。すなわち、素材データである再生データを有効に活用して、再生速度の可変範囲が広いコンテンツの提供を行うことができる。
【０１０１】
さらに、記録媒体に記録済みのデータを可変速再生することで、可変速再生が可能なコンテンツデータの生成に用いる素材データを得ることができるので、可変速記録が可能な撮像装置等を用いなくとも、ユーザの望む再生速度でコンテンツの視聴が可能なようにコンテンツを提供できる。
【０１０２】
【発明の効果】
この発明によれば、再生指示信号を出力して、再生指示信号に基づいて生成された画像および／または音声の再生データを取り込み、再生指示信号に基づくフレームレート情報を含む付属情報を、再生データに連結させて素材データとし、この素材データの編集処理を行い、付属情報が連結されたコンテンツデータが出力される。
【０１０３】
このように、フレームレート情報が連結されたコンテンツデータが出力されるので、このフレームレート情報を利用してユーザー側による変速再生が可能となる。また、記録媒体に既に記録されているデータを用いても、ユーザー側による変速再生を可能にできる。
【０１０４】
さらに、素材データのフレームレートを低下させることなく編集処理が行われてコンテンツデータが生成されるので、再生速度の可変範囲が広いコンテンツの提供を行うことができる。
【図面の簡単な説明】
【図１】コンテンツ配信システムの全体構成を示す図である。
【図２】ビデオテープレコーダの構成を示す図である。
【図３】編集装置の構成を示す図である。
【図４】コンテンツ送出装置の構成を示す図である。
【図５】ソフトウェアでコンテンツ送出を行う場合の構成を示す図である。
【図６】コンテンツ送出処理動作を示すフローチャートである。
【図７】コンテンツ再生装置の構成を示す図である。
【図８】ソフトウェアでコンテンツ再生を行う場合の構成を示す図である。
【図９】コンテンツ再生処理動作を示すフローチャートである。
【図１０】コンテンツ提示装置の表示画像を示す図である。
【図１１】画像に対しての再生処理条件の設定動作を示すフローチャートである。
【図１２】画像再生動作（その１）を示す図である。
【図１３】画像再生動作（その２）を示す図である。
【図１４】画像再生動作（その３）を示す図である。
【図１５】音声に対しての再生処理条件の設定動作を示すフローチャートである。
【図１６】音声再生動作（その１）を示す図である。
【図１７】音声再生動作（その２）を示す図である。
【符号の説明】
２０・・・信号再生装置、３０・・・編集装置、３１・・・素材取込部、３２・・・編集処理部、３３・・・編集制御部、３４，７３，２１６，７６２・・・ユーザインタフェース部、３５・・・編集出力信号生成部、４０・・・編集画像表示装置、４１・・・編集音声出力装置、５０・・・コンテンツ送出装置、５１・・・書込処理部、５２・・・送出データ生成部、５３・・・伝送処理部、７０・・・コンテンツ再生装置、７１・・・入力部、７２・・・再生制御部、７４・・・再生処理部、８０・・・コンテンツ提示装置、２０１・・・エンコーダ、２０２，２０３，２０６・・・切換スイッチ、２０３a，２０３b・・・記録増幅部、２０４a，２０４b・・・磁気ヘッド、２０５a，２０５b・・・再生増幅部、２０７・・・デコーダ、２１１a，２１１b・・・バイモルフ、２１２・・・バイモルフ制御部、２１５・・・記録再生制御部、２１７・・・表示部、３１１・・・再生指示回路、３１２・・・データベース化処理回路、３２１・・・データ記憶装置、３２２・・・書込読出処理回路、３２３・・・信号編集回路、３５１・・・映像出力信号生成回路、３５２・・・音声出力信号生成回路、５２１・・・コンテンツ蓄積装置、５２２・・・読出処理回路、５２３・・・情報修正回路、５２４・・・エンコーダ、５５４，７５４・・・データ蓄積部、５６１・・・信号入力部、５６２，７６１・・・通信部、５６３・・・記録媒体ドライブ、７１１・・・通信回路、７１２・・・情報記憶回路、７１３・・・データ保持回路、７６３・・・信号出力部、８０１・・・ビュワー部、８０２・・・速度可変コンソール部、８０３・・・再生速度表示部、８０４・・・動作コントロール部、８０５・・・タイトル表示部、８０６・・・時間表示部、８０７・・・再生位置表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a content editing apparatus and a content editing method. Specifically, a reproduction instruction signal is output, image and / or audio reproduction data generated based on the reproduction instruction signal is captured, and attached information including frame rate information based on the reproduction instruction signal is linked to the reproduction data. As material data, the material data is edited, and content data in which attached information is linked is generated and output.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in image or video / audio content generation used for distribution via broadcasting or communication networks or distribution as a recording medium, a material generated using an imaging device or a material recorded on a recording medium such as a video tape is used. Editing processing is used to generate desired content. Further, a video tape recorder that can reproduce a material recorded on a video tape with low noise and variable speed is disclosed in Patent Document 1, for example.
[0003]
[Patent Literature]
JP-A-2-37516
[0004]
[Problems to be solved by the invention]
By the way, when generating content, in order to produce the effect intended by the creator, it is often done to create a material that partially changes the speed of movement. In the generation of the material with the changed speed of motion, for example, the content is generated by setting the frame rate higher than a predetermined reference frame rate, and the content is reproduced at the reference frame rate to express the motion slower. Material can be generated. In addition, by generating content by setting the frame rate to be lower than the reference frame rate, and reproducing the content at the reference frame rate, a material that expresses the motion quickly can be generated. Furthermore, the speed of movement can be freely varied by adjusting the frame rate to be set and the frame rate at the time of reproduction. However, in the generation of material with a changed speed of motion, for example, a video camera capable of changing the frame rate is required. Therefore, a material with a changed speed of motion cannot be easily generated. In the editing process, the material already generated at the reference frame rate is also used.
[0005]
In addition, when playing back the generated content, it is possible to play back at a speed different from the speed intended by the creator for the part where the speed of movement is partially changed to produce the effect intended by the creator. Thus, it is possible to perform playback according to the content user's preference.
[0006]
  So, in this inventionThe present invention provides a data processing device, a data processing method, a program, and a recording medium that can reproduce content data at a speed different from the speed intended by the creator.
[0007]
[Means for Solving the Problems]
  According to this inventionData processingThe deviceSpecify playback speed and playback positionA playback instruction signal is output based on the playback instruction signalPlayed image dataAnd play instruction signalIndicates the playback speed indicated byAttached information including frame rate informationIn relation to image dataMaterial acquisition means as material data, user interface means for generating an operation signal corresponding to the editing operation, and material data editing processing,Content data is obtained by associating attached information with the edited image data.Based on the editing processing means to be output and the operation signal, the operations of the material fetching means and the editing processing means are controlled.Control meansIt is what has.
[0008]
  Also,In the data processing method, the program, and the recording medium, a reproduction instruction signal for instructing a reproduction speed and a reproduction position is output, image data reproduced based on the reproduction instruction signal is captured, and the reproduction speed designated by the reproduction instruction signal is set. The material information including the frame rate information shown as the material data in association with the image data, the operation signal generating step for generating the operation signal according to the editing operation, and the material data based on the operation signal. The image processing apparatus includes an editing process step of performing an editing process and associating a frame rate with the image data after the editing process and outputting it as content data.
[0009]
In the present invention, a reproduction instruction signal is output, image and / or audio reproduction data generated based on the reproduction instruction signal is captured, and auxiliary information including frame rate information based on the reproduction instruction signal is included in the reproduction data. The material data is linked. Editing processing is performed without reducing the frame rate of the material data, and content data is generated and output by linking the corresponding attached information to the edited image and / or audio reproduction data.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of the content distribution system. In FIG. 1, a signal reproduction device 20 reproduces a recording medium at a speed based on the reproduction instruction signal PC supplied from the editing device 30, and generates image and / or audio reproduction data DTk with less noise for editing. Supply to device 30.
[0011]
The editing apparatus 30 supplies the reproduction instruction signal PC to the signal reproduction apparatus 20, and uses the reproduction data DTk at the set frame rate that is the speed indicated by the reproduction instruction signal PC supplied from the signal reproduction apparatus 20. I do. In addition, frame rate information is generated based on the playback instruction signal PC and linked to the playback data DTk to perform editing processing, and content data DC for broadcasting or distribution is generated and output. The editing device 30 generates a video signal Svm related to editing and supplies it to the edited image display device 40, thereby confirming the editing progress of the image, the editing result, and the like by the display image on the edited image display device 40. . Similarly, an audio signal Sam related to editing is generated and supplied to the edited audio output device 41, so that the audio editing process and editing results are confirmed by the audio output from the edited audio output device 41.
[0012]
The content sending device 50 stores the content data DC supplied from the editing device 30. For example, when content data is requested from the content reproduction device 70, the frame rate of the content data is adjusted according to the bandwidth of the transmission path 60, and the transmission data DTZ is generated based on the content data after the frame rate adjustment. Then, the transmission data DTz is supplied to the content reproduction device 70 via a wired or wireless transmission path 60.
[0013]
The content reproduction device 70 generates a video signal Svz and an audio signal Saz of the content based on the transmission data DTz supplied via the transmission path, and supplies the content video signal Svz and the audio signal Saz to the content presentation device 80. Also, the content reproduction operation is controlled based on the attached information. The content presentation device 80 presents content by performing image display based on the video signal Svz and audio output based on the audio signal Saz.
[0014]
FIG. 2 shows a configuration of the signal reproducing apparatus 20, for example, dynamic tracking (trademark of Sony Corporation) capable of reproducing a recording medium at a reproduction speed corresponding to the reproduction instruction signal PC and obtaining reproduction data DTk of an image with less noise. 1 shows the configuration of a video tape recorder of the type.
[0015]
The input image and / or audio data DRin is supplied to the encoder 201. The encoder 201 uses the supplied data DRin to perform error correction code generation, data shuffling, multiplexing, channel coding, and the like based on an operation control signal CTM supplied from a recording / playback control unit 215 described later. The recording signal SW is generated. Further, the generated recording signal SW is supplied to the changeover switch 202.
[0016]
The changeover switch 202 is supplied with a changeover control signal CTW from the recording / reproduction control unit 215, and the operation of the changeover switch 203 is controlled based on the changeover control signal CTW, so that the record signal SW is changed to the record amplification unit 203a or the record amplification. To the unit 203b.
[0017]
The recording amplification unit 203a amplifies the supplied recording signal SW and supplies it to the magnetic head 204a, and the recording amplification unit 203b amplifies the supplied recording signal SW and supplies it to the magnetic head 204b. As described above, by supplying the amplified recording signal SW to the magnetic heads 204a and 204b provided on the rotating drum (not shown), an image and / or a magnetic tape (not shown) is supplied. Record audio.
[0018]
Further, signals recorded on the magnetic tape are read by the magnetic heads 204a and 204b, and the signals obtained from the magnetic head 204a are supplied to the reproduction amplification unit 205a. The signal obtained from the magnetic head 204b is supplied to the reproduction amplification unit 205b.
[0019]
The magnetic heads 204a and 204b have a phase difference of 180 degrees with respect to the rotation direction, and are attached to the rotating drum via bimorphs 211a and 211b which are electromechanical conversion elements. For example, sawtooth drive voltages BMa and BMb are supplied from the bimorph control unit 212 to the bimorphs 211a and 211b, and the magnetic heads 204a and 204b are moved in a direction orthogonal to the rotation direction based on the drive voltages BMa and BMb. Displace.
[0020]
The reproduction amplification unit 205a amplifies the signal supplied from the magnetic head 204a and supplies the amplified signal to the terminal a of the changeover switch 206. The reproduction amplifier 205b amplifies the signal supplied from the magnetic head 204b and supplies the amplified signal to the terminal b of the changeover switch 206. A terminal c of the changeover switch 206 is connected to the decoder 207.
[0021]
The changeover switch 206 is supplied with a changeover control signal CTR from the recording / reproduction control unit 215. The operation of the changeover switch 206 is controlled based on the changeover control signal CTR, and the signals output from the reproduction amplification units 205a and 205b. Is selected and supplied to the decoder 207 as a reproduction signal SR. The reproduction signal SR is supplied to the bimorph control unit 212. The decoder 207 performs decoding of the reproduction signal SR, data separation, deshuffling, error correction processing, and the like based on the operation control signal CTM supplied from the recording / reproduction control unit 215, and generates image and / or audio reproduction data DTk. Generate and output. The reproduction data DTk includes information such as a time code.
[0022]
The bimorph control unit 212 determines whether the magnetic heads 204a and 204b are correctly tracing on the track of the magnetic tape based on the reproduction signal SR, and drives the drive voltage BMa so that the magnetic heads 204a and 204b correctly trace on the track. , BMb are generated and supplied to the bimorphs 211a and 211b. For this reason, even if the reproduction speed is varied, a dynamic tracking operation capable of correctly tracing the track of the magnetic tape is performed, and a good variable speed reproduction image with little noise can be obtained.
[0023]
A user interface unit 216 is connected to the recording / playback control unit 215, and the switching control signal is based on the operation signal PSv supplied from the user interface unit 216 and the operation signal PSw supplied from an external device such as the editing device 30. An operation control signal CTM for controlling the operations of CTW, CTR, encoder 201 and decoder 207 is generated. The recording / reproducing control unit 215 also performs drive control of the magnetic tape and the rotary head. Further, the recording / reproduction control unit 215 performs drive control of the magnetic tape and the rotary head based on the reproduction instruction signal PC supplied from the editing device 30 and sets the frame rate that is the speed indicated by the reproduction instruction signal PC. The reproduction data DTk with less FRs noise is generated and supplied to the editing apparatus 30. In addition, the recording / playback control unit 215 displays information on the operation state and the recording / playback operation on the display unit 217.
[0024]
2 shows the configuration of a dynamic tracking type video tape recorder as the signal reproducing device 20, but a disc-like recording using light or magnetism can be used as long as it can obtain a variable speed reproduced image with little noise. A signal reproducing apparatus using a medium or a semiconductor storage element may be used.
[0025]
Next, the editing device 30 will be described. FIG. 3 shows the configuration of the editing device 30. The reproduction instruction circuit 311 of the material fetching unit 31 generates a reproduction instruction signal PC based on a control signal RS supplied from an editing control unit 33 described later, and supplies the reproduction instruction signal PC to the signal reproduction device 20. The playback speed and playback position are instructed to start the playback operation. Also, the frame rate information DM- is set as the attached information DM including the frame rate information DM-FRs based on the playback instruction signal PC, that is, the set frame rate FRs indicating the speed indicated by the playback instruction signal PC is used as the frame rate information DM-FRs. The attached information DM including FRs is supplied to the database processing circuit 312.
[0026]
When the reproduction data DTk having the set frame rate FRs based on the reproduction instruction signal PC is supplied from the signal reproduction device 20, the reproduction data DTk is supplied to the database processing circuit 312.
[0027]
The database processing circuit 312 associates the accessory information DM with the video data DV and audio data DA constituting the reproduction data DTk, and stores them as material data in the data storage device 321 of the editing processing unit 32. Further, the database processing circuit 312 generates a database information DB that enables easy confirmation of the content of the material data based on the reproduction data DTk that constitutes the material data stored in the data storage device 321 to generate the editing control unit 33. To supply. For example, the database information DB is composed of information (for example, thumbnails) that makes it possible to determine the content of material data, information such as a set frame rate FRs, a storage position in the data storage device 321, and the like. Furthermore, the database information DB can also be configured using information indicating the length of time during which reproduction has been performed based on the reproduction instruction signal PC, time code information of the reproduction data DTk, and the like. Further, when various information such as a time code is included in the reproduction data DTk, the database processing circuit 312 may include the information included in the reproduction data DTk if this information is included in the auxiliary information DM. Can be used during or after editing.
[0028]
The editing control unit 33 generates video data DVg for enabling editing processing in a GUI (Graphical User Interface) environment and video data DVi for displaying the contents of database information, and a video output signal generation circuit 351. To supply. The video output signal generation circuit 351 generates a video signal Svm based on the supplied video data DVg and DVi and outputs it to the edited image display device 40. In this way, by supplying the video signal Svm to the edited image display device 40, what kind of material data is stored can be displayed on the screen of the edited image display device 40.
[0029]
The edit control unit 33 controls post-production processing. That is, the user interface unit 34 connected to the editing control unit 33 is supplied with the operation signal PSe using display in the GUI environment, and indicates that any material data is selected by the operation signal PSe. Sometimes, a read control signal RC corresponding to the operation signal PSe is generated and supplied to the writing / reading processing circuit 322 of the editing processing unit 32. When the operation signal PSe relates to editing operations such as processing and combining of the read material data, an edit control signal ET corresponding to the operation signal PSe is generated and supplied to the signal editing circuit 323 of the edit processing unit 32. . Further, when the editing of the material data is completed and the content data is completed, when the operation signal PSe indicates an operation for storing the content data in the data storage device 321, the write control signal WC corresponding to the operation signal PSe is displayed. Is supplied to the writing / reading processing circuit 322. When the operation signal PSe indicates the output of content data, an output control signal RP corresponding to the operation signal PSe is generated and supplied to the writing / reading processing circuit 322. When the operation signal PSe defines the playback speed range of the content data, a speed range setting signal LP corresponding to the operation signal PSe is generated and supplied to the signal editing circuit 323.
[0030]
Based on the read control signal RC, the write / read processing circuit 322 reads the requested material data from the data storage device 321 and supplies it to the signal editing circuit 323. Further, the completed content data DC is stored in the data storage device 321 based on the write control signal WC. Further, based on the output control signal RP, the requested content data DC is read from the data storage device 321 and output.
[0031]
The signal editing circuit 323 uses the video data DV and audio data DA included in the material data read from the data storage device 321 to perform editing processing such as image and audio processing, combination, and deletion on the editing control signal ET. Based on. In this editing process, the data is processed and combined without reducing the frame rate of the video data DV and audio data DA, which are the materials, and content data is generated without reducing the image density on the time axis. . Here, the signal editing circuit 323 supplies the video data DVe before editing, during editing, or after editing to the video output signal generation circuit 351, and generates audio data DAe before editing, during editing, or after editing as an audio output signal. Supply to circuit 352. Further, when the signal editing circuit 323 changes the frame rate of the video data DV or the audio data DA by the editing process, the signal editing circuit 323 also changes the attached information DM according to the edited video data or audio data. Furthermore, content data is obtained by linking the edited video data DV and audio data DA and the attached information DMc including frame rate information DM-FRs indicating the set frame rate FRs corresponding to the edited video data DV and audio data DA. DC is generated. When the speed range setting signal LP is supplied, speed range information indicating the playback speed range of the content data DC is also linked as the auxiliary information DMc based on the speed range setting signal LP. Further, when the content title and the recommended playback speed of the content are input from the user interface unit 34, these pieces of information are also linked as the attached information DMc. Further, when the reproduction time length information of the content data is obtained by the editing process, this information may be linked as the attached information DMc. Furthermore, when the maximum speed at which the content data can be reproduced is input, this maximum speed is also linked as the attached information DMc.
[0032]
As described above, the video output signal generation circuit 351 of the editing output signal generation unit 35 generates the video signal Svm based on the video data DVg and DVi supplied from the editing control unit 33 and supplies the video signal Svm to the edited image display device 40. . For this reason, information regarding material data can be displayed in the GUI environment. Furthermore, by generating the video signal Svm based on the video data DVe supplied from the signal editing circuit 323, it is possible to check the image before editing, during editing, or after editing on the screen of the edited image display device 40.
[0033]
The audio output signal generation circuit 352 converts the audio data DAe supplied from the signal editing circuit 323 into an analog audio signal Sam and uses an edited audio output device configured as a desired signal level using, for example, a speaker or headphones. 41. For this reason, the voice before editing, during editing, or after editing can be confirmed by the voice output from the edited voice output device 41.
[0034]
As described above, when the content data DC is completed by performing the post-production processing using the auxiliary information DM based on the reproduction data DTk and the reproduction instruction signal PC, the completed content data DC is supplied to the content transmission device 50, and this The content is supplied from the content transmission device 50 to the user content reproduction device 70.
[0035]
FIG. 4 shows the configuration of the content transmission device 50. The distribution content data DC supplied from the editing device 30 is supplied to the writing processing unit 51. The writing processing unit 51 is connected to the content storage device 521 of the transmission data generation unit 52 and stores the supplied content data for distribution in the content storage device 521. Note that the content data DC is not limited to that supplied from the editing device 30, and material data generated by an imaging device capable of obtaining video data with a variable frame rate is used as the content data DC. It is also good.
[0036]
A read processing circuit 522 is connected to the content storage device 521 of the transmission data generation unit 52, and the read processing circuit 522 is connected to the band information WB and content of the transmission path when transmitting content data for distribution. A content request signal RQ from the playback device side is supplied from a transmission processing unit 53 described later.
[0037]
The read processing circuit 522 controls the reading of the requested content data based on the band information WB and the attached information DMc of the requested content data DC stored in the content storage device 521, adjusts the frame rate, and The content data DCza after rate adjustment is supplied to the information correction circuit 523.
[0038]
For example, the amount of data for one frame when encoding is performed by an encoder 524 described later is BDbit, and the set frame rate FRs indicated by the frame rate information DMc-FRs included in the attached information DMc is the reference frame rate. When n times FRr, the data amount BT transmitted per unit time is “BT = BD × n × FRr + BH”. The data amount BH collectively indicates header information added when content data is packetized and transmitted.
[0039]
Here, when the bandwidth BA indicated as the amount of data that can be transmitted by the bandwidth information WB is not smaller than the data amount BT, the content data is sequentially read from the content storage device 521 on the assumption that the frame rate of the content data is not adjusted. To the information correction circuit 523. Also, when the bandwidth BA is smaller than the data amount BT, the video data of the content data is reduced in the data amount by adjusting the frame rate, and the reproduction image is interrupted due to the delay in the transmission of the content data. To prevent. For example, a multiple “m” of the set frame rate FRs with respect to the reference frame rate FRr is determined from the set frame rate FRs indicated by the frame rate information DMc-FRs included in the attached information DMc and the reference frame rate FRr. Further, a divisor of the determined multiple “m” is obtained and multiplied by the maximum value of the divisor excluding “m” and the reference frame rate FRr to obtain an adjusted set frame rate. That is, when “m = 10”, since the maximum value of the divisor is “5”, the frame rate is adjusted to “m = 5”. In this frame rate adjustment, content data having a frame rate five times the reference frame rate FRr is generated by reading content data every other frame. Further, when “m = 9”, the content data after adjusting the frame rate is generated by adjusting to “m = 3” and reading the content data every two frames. Further, when the adjusted data amount BT is larger than the bandwidth BA, the frame rate is further adjusted. In this way, if the adjusted frame rate is determined using the maximum value of the divisor excluding “m”, the content after adjusting the frame rate can be simply obtained by thinning out in units of frames when reading the content data. Data can be generated.
[0040]
After that, even when “m = 1”, when the adjusted data amount BT is larger than the bandwidth BA, the data amount BT is further reduced by performing frame thinning so that “m = 1 / k” (k: natural number). Less. When the bandwidth BA changes, the frame rate is varied according to the change in the bandwidth BA.
[0041]
In addition, for the audio data of the content data, sample thinning is performed according to the frame rate adjustment for the video data, and the audio data after the frame rate adjustment is generated. For example, when video data is read every other frame, audio data is read every other sample. When the video data is read every two frames, the audio data is read every two samples to generate the audio data after adjusting the frame rate.
[0042]
When the frame rate adjustment is performed by the read processing circuit 522, the information correction circuit 523 corrects the attached information DMza of the content data DCza so as to correspond to the adjusted frame rate, and attached information DMz that correctly indicates the frame rate. And Further, the content data DCz connected to the attached information DMz is supplied to the encoder 524. For example, when “m = 10” is adjusted to “m = 5”, the setting frame rate FRs is changed from “× 10” to “× 5”, and the setting frame rate FRs is “× 10”. The frame rate information DMc-FRs indicating this is changed to the frame rate information DMz-FRs indicating that the set frame rate FRs is “× 5” to be the attached information DMz.
[0043]
The encoder 524 encodes the supplied content data DCz, encodes the video data DVz and the audio data DAz into signals suitable for transmission, and generates encoded data DZ. For example, a signal suitable for streaming delivery is encoded using an encoding method standardized as MPEG (Moving Picture Experts Group) 4. The attached information DMz is concatenated with the encoded data DZ obtained by this encoding process, and is supplied to the transmission processing unit 53 as transmission data DTz. In this way, content data can be transmitted efficiently by performing the encoding process.
[0044]
When the content data is requested by the transmission signal TMrq supplied from the content reproduction device 70, the transmission processing unit 53 supplies the content processing signal RQ indicating the requested content data to the reading processing circuit 522. Further, the transmission processing unit 53 generates band information WB related to the band of the transmission path 60 and supplies it to the read processing circuit 522. Further, based on the request for content data, the transmission processing unit 53 uses the transmission data DTz supplied from the encoder 524 as a transmission signal TMz of a predetermined protocol to request the content data via the transmission path 60. 70.
[0045]
The bandwidth information WB supplied to the read processing circuit 522 constitutes the transmission processing unit 53 using a network device such as a router, and also obtains traffic information from a management information base (MIB) possessed by the network device. The traffic information is acquired and used as band information WB. It is also possible to determine a band by transmitting a measurement packet to the content reproduction apparatus 70 and measuring a response time from the content reproduction apparatus 70 and use the determination result as the band information WB.
[0046]
Incidentally, the content transmission processing of the content transmission device 50 described above can also be realized by software processing using a computer. FIG. 5 shows a configuration in the case where content is transmitted by this software.
[0047]
The computer includes a CPU (Central Processing Unit) 551 as shown in FIG. 5, and a ROM 552, a RAM 553, and a hard disk drive having a large storage capacity are used for the CPU 551 via a bus 560. The data storage unit 554 and the input / output interface 555 configured as described above are connected. Further, a signal input unit 561, a communication unit 562, and a recording medium drive 563 are connected to the input / output interface 555.
[0048]
The CPU 551 executes a program stored in the ROM 552, the RAM 553, or the data storage unit 554 to perform content transmission processing. The content data input to the signal input unit 561 is stored in the data storage unit 554 via the input / output interface 555 and the bus 560. When the content request signal RQ is supplied via the communication unit 562, the requested content data is read from the content data stored in the data storage unit 554, and the transmission is controlled by controlling this reading. The frame rate is adjusted so that the content data has a data amount corresponding to 60. Further, encoding suitable for transmission is performed to generate transmission data DTz. The generated transmission data DTz is output via the communication unit 562.
[0049]
Note that the program for performing the content transmission processing is stored in advance in the ROM 552 and the data storage unit 554, or the program for content transmission processing is recorded on the recording medium or recorded on the recording medium by the recording medium drive 563. It is also possible to read and execute the existing program. Furthermore, the program may be transmitted or received by the communication unit 562 via a wired or wireless transmission path, and the received program may be executed by a computer.
[0050]
FIG. 6 is a flowchart showing the content transmission processing operation. In step ST11, the content data DC is captured, and the content data DC input to the signal input unit 561 is stored in the data storage unit 554.
[0051]
In step ST12, it is determined whether or not content data has been requested. If no content data request is made, the process returns to step ST12. If a content data request is made, for example, via the communication unit 562, the process goes to step ST13.
[0052]
In step ST13, the attached information DMc of the requested content data is read, and the process proceeds to step ST14.
[0053]
In step ST14, the bandwidth of the transmission path is detected, the frame rate of the content is adjusted based on the detected bandwidth, and the content data is read from the data storage unit 554 so as to obtain the adjusted frame rate, and step ST15. Proceed to
[0054]
In step ST15, the attached information DMza of the read content data DCza is corrected so as to correspond to the adjusted frame rate, and the process proceeds to step ST16.
[0055]
In step ST16, the encoded data DZ is generated by performing the encoding process according to the transmission path using the content data DCz whose attached information has been corrected. Further, the transmission data DTz is generated using the generated encoded data DZ and the corrected auxiliary information DMz, and the process proceeds to step ST17.
[0056]
In step ST17, the generated transmission data DTZ is output from the communication unit 562 toward the request destination of the content data.
[0057]
Next, the content reproduction apparatus will be described. FIG. 7 shows the configuration of the content playback device 70. The transmission signal TMz supplied from the content sending device 50 is supplied to the communication circuit 711 of the input unit 71. The input unit 71 captures content data, and the communication circuit 711 of the input unit 71 generates transmission data DTz from the supplied transmission signal TMz, and encodes data DZ and attached information from the transmission data DTz. DMz is extracted. Further, the extracted attached information DMz is supplied to the information storage circuit 712 and the encoded data DZ is supplied to the data holding circuit 713. In addition, the communication circuit 711 generates a transmission signal TMrq based on a content request signal RQ from a reproduction control unit 72 described later, and supplies the transmission signal TMrq to the content transmission device 50.
[0058]
The information storage circuit 712 stores the supplied accessory information DMz. The data holding circuit 713 stores the supplied encoded data DZ.
[0059]
A user interface unit 73 is connected to the playback control unit 72. When the operation signal PSp from the user interface unit 73 requests content data, a content request signal RQ based on the operation signal PSp is generated. By supplying the data to the communication circuit 711, a content data transmission request is made to the content transmission device 50. When the operation signal PSp is an instruction to reproduce the content data, the read control signal CN is supplied to the data holding circuit 713, and the encoded data DZ of the content for which the reproduction instruction has been issued is supplied to the data holding circuit 713. Is read from the video and supplied to the reproduction processing unit 74. Further, content information presentation is performed by reading the attached information DMz corresponding to the read encoded data DZ from the information storage circuit 712, generating video data DVs indicating a variable range of the playback speed FP, and supplying the video data DVs to the playback processing unit 74. A variable range of the playback speed FP is displayed on the screen of the device 80. Here, when the operation signal PSp changes the playback speed FP of the content, a presentation control signal CP for controlling the operation of the playback processing unit 74 is generated based on the attached information DMz and supplied to the playback processing unit 74.
[0060]
The reproduction processing unit 74 performs a decoding process on the encoded data DZ supplied from the data holding circuit 713 to generate content video data DVz and audio data DAz. Further, the generated video data DVz and audio data DAz are subjected to thinning and repetitive processing based on the presentation control signal CP, and the video signal Svz and audio signal Saz corresponding to the playback speed FP set by the user are generated to generate the content. The content is presented by supplying it to the presentation device 80.
[0061]
When the encoded data DZ is composed of intra-frame encoded data, the encoded data DZ may be read out from the data holding circuit 713 by thinning out in units of frames based on the presentation control signal CP. In this case, it is not necessary to decode the video data that is thinned out, and the decoding process can be easily performed.
[0062]
Further, the content reproduction device 70 may use a recording medium on which content data is recorded. In this case, the auxiliary information DMz and the encoded data DZ are separated from the reproduction signal obtained by reproducing the recording medium, the auxiliary information DMz is stored in the information storage circuit 712, and the encoded data DZ is stored in the data holding circuit. By storing in 713, the same processing can be performed.
[0063]
By the way, the content reproduction processing of the above-described content reproduction device 70 can also be realized by software processing with a computer. FIG. 8 shows a configuration when content is played back by this software.
[0064]
As shown in FIG. 8, the computer includes a CPU 751, and a ROM 752, a RAM 753, a data storage unit 754, and an input / output interface 755 are connected to the CPU 751 via a bus 760. Further, a communication unit 761, a user interface unit 762, a signal output unit 763, and a recording medium drive 764 are connected to the input / output interface 755.
[0065]
The CPU 751 executes a program stored in the ROM 752, RAM 753, or data storage unit 754, and performs a content transmission processing operation based on the operation signal PSp from the user interface unit 762. Here, when the transmission data DTz is supplied to the communication unit 761, the communication unit 761 extracts the encoded data DZ and the attached information DMz. The encoded data DZ and the attached information DMz extracted by the communication unit 761 are stored in the data storage unit 754. Further, based on the operation signal PSp from the user interface unit 762, the encoded data DZ stored in the data storage unit 754 is read and decoded, and the video data DVz and the audio data DAz are generated and output as signals. Part 763. The signal output unit 763 generates and outputs a video signal Svz and an audio signal Saz corresponding to the content presentation device 80 based on the video data DVz and the audio data DAz.
[0066]
Note that the program for performing the content reproduction processing is stored in advance in the ROM 752 or the data storage unit 754, or the content reproduction processing program is recorded on the recording medium or recorded on the recording medium by the recording medium drive 764. It is also possible to read and execute the existing program. Furthermore, the program may be transmitted or received by the communication unit 761 via a wired or wireless transmission path, and the received program may be executed by a computer.
[0067]
FIG. 9 is a flowchart for explaining the content reproduction processing operation. When reproducing the content data, the CPU 751 displays an image for configuring the GUI environment on the content presentation device 80 and performs an operation input by performing an operation corresponding to the display image on the user interface unit 762.
[0068]
FIG. 10 shows an example of an image constituting the GUI environment displayed on the content presentation device 80. On the screen of the content presentation device 80, a viewer unit 801 that displays an image of content, a speed variable console unit 802 that is an interface for changing the playback speed FP, a playback speed display unit 803 that displays the playback speed FP, and an operation An operation control unit 804 for switching the mode and volume, a title display unit 805 indicating the title of the content, a time display unit 806 displaying the playback time and the current time of the content, and a playback position display indicating the current playback position A portion 807 and the like are provided.
[0069]
In step ST21 of FIG. 9, the content accessory information DMz is read from the data storage unit 754, and a display based on the accessory information DMz is performed. For example, the title of the content and the time length of the content are displayed on the title display unit 805 and the time display unit 806. The minimum speed and the maximum speed are displayed on the speed variable console unit 802 based on the speed range information.
[0070]
In step ST22, the operation control unit 804 is used to determine whether or not a content reproduction start operation has been performed based on the operation signal PSp. Here, when the reproduction start operation is not performed, the process returns to step ST22, and when the reproduction start operation is performed, the process proceeds to step ST23.
[0071]
In step ST23, the reproduction processing condition is set according to the reproduction speed FP and the set frame rate FRs, that is, the video signal Svz and the audio signal Saz are generated from the video data DVz and the audio data DAz obtained by decoding the encoded data DZ. The data thinning interval and the number of data repetitions to be performed are determined, and the process proceeds to step ST24.
[0072]
In step ST24, the encoded data DZ is read from the data storage unit 754 and decoded to generate video data DVz and audio data DAz, and data thinning and data repetition are performed under the reproduction processing conditions determined in step ST23. A video signal Svz and an audio signal Saz for content presentation are generated. By supplying the generated video signal Svz and audio signal Saz to the content presentation device 80, a reproduction image at the reproduction speed FP indicated by the cursor position (indicated by a bold line) of the speed variable console unit 802 is displayed on the content presentation device 80. It is displayed on the viewer unit 801. In addition, the playback speed FP at this time is displayed on the playback speed display unit 803, and the playback time and playback position are displayed on the time display unit 806 and the playback position display unit 807. In addition, the content presentation device 80 outputs playback sound at the playback speed FP indicated by the cursor position of the speed variable console unit 802.
[0073]
In step ST25, it is determined whether or not the playback speed FP has been changed by moving the cursor position of the speed variable console unit 802. If it is determined that the reproduction speed FP has been changed, the process returns to step ST23. If it is not determined that the reproduction speed FP has been changed, the process proceeds to step ST25.
[0074]
In step ST26, it is determined whether or not the reproduction operation is finished. Here, when the operation for stopping the reproduction operation is not performed, or when the reproduction position of the content is not the end position, the process returns to step ST25. When the stop operation is performed or when the reproduction position reaches the end position, the variable speed reproduction operation is terminated.
[0075]
FIG. 11 is a flowchart showing the setting operation of the reproduction processing condition for the image. In step ST31, the reproduction speed FP is determined based on the cursor position of the variable speed console unit 802, and the process proceeds to step ST32. Here, the reference frame rate FRr is set to 1 × speed, and the initial position of the cursor in the speed variable console unit 802 is set to, for example, the 1 × speed position, thereby setting the playback speed FP at the start of the playback operation. Further, when the playback speed FP is recommended by the editing device 30, the position of the recommended playback speed FP is set as the initial position of the cursor, and the recommended playback speed FP is played back at the start of the playback operation. Set to speed FP. Furthermore, when the cursor position is moved by the user, a speed corresponding to the cursor position is set as a reproduction speed FP.
[0076]
In step ST32, the set frame rate FRs is determined based on the frame rate information DMz-FRs included in the attached information DMz, and the process proceeds to step ST33. In step ST33, a reproduction value FP and a set frame rate FRs are multiplied to calculate a discriminant value FD for determining a reproduction processing condition.
[0077]
In step ST34, the reproduction processing condition is determined based on the discrimination value FD. Here, when the discriminant value FD is 1 or more and does not include a value after the decimal point, the reproduction processing condition is determined so that images are thinned out and output at frame intervals according to the discriminant value FD. When the discriminant value FD is greater than or equal to 1 and includes a value after the decimal point, the image is thinned out at a frame interval corresponding to the integer value portion of the discriminant value FD from a frame that is a multiple of the set frame rate FRs with respect to the reference frame rate FRr. Reproduction processing conditions are determined so as to read out images corresponding to the reproduction speed. When the discriminant value FD is less than 1, the playback processing condition is determined so that the same image is repeatedly output until the number of frames corresponding to the desired playback speed is reached. By performing the above-described step ST24 based on the reproduction processing conditions determined in this way, the content image can be correctly presented at a desired reproduction speed.
[0078]
FIG. 12 shows an image reproduction operation when the discriminant value FD is 1 or more and does not include a value after the decimal point. FIG. 12A shows an image based on the video data DVz when the set frame rate FRs is 10 times the reference frame rate FRr. 12B shows frame rate information DMz-FRs indicating a set frame rate FRs of the frame image, and FIG. 12C shows an absolute frame number AN. The frame rate information DM-FRs may indicate not only the set frame rate FRs but also a magnification of the set frame rate FRs with respect to the reference frame rate FRr. In the frame rate information DM-FRs shown in FIG. 12B and the following figures, the magnification is described.
[0079]
Here, when the reproduction speed FP is (1/5) times faster, the discriminant value FD is “10 × (1/5) = 2”. For this reason, as shown in FIG. 12D and FIG. 12E, by generating the video signal Svz every “FD = 2” frame, that is, every other frame of the video data DVz, at (1/5) times speed. The reproduced image can be displayed on the content presentation device 80. 12D shows the absolute frame number AN of the displayed image, and FIG. 12E shows the frame image displayed by the video signal Svz.
[0080]
When the reproduction speed FP is 1 time, the discriminant value FD is “10 × 1 = 10”. For this reason, as shown in FIG. 12F and FIG. 12G, by generating the video signal Svz using every “FD = 10” frame, that is, while skipping the video data DVz by 9 frames, a 1 × speed playback image is presented as content. It can be displayed on the device 80. 12F shows the absolute frame number AN of the image to be displayed, and FIG. 12G shows the frame image displayed by the video signal Svz.
[0081]
When the reproduction speed FP is double, the discriminant value FD is “10 × 2 = 20”. For this reason, as shown in FIGS. 12H and 12J, by generating the video signal Svz using every “FD = 20” frame, that is, while skipping the video data DVz by 19 frames, a double-speed playback image is presented as content. It can be displayed on the device 80. FIG. 12H shows the absolute frame number AN of the image to be displayed, and FIG. 12J shows the frame image displayed by the video signal Svz.
[0082]
FIG. 13 shows an image reproduction operation when the discriminant value FD is 1 or more and includes a value after the decimal point. FIG. 13A shows an image based on the video data DVz when the set frame rate FRs is 7 times the reference frame rate FRr. FIG. 13B shows frame rate information DMz-FRs indicating a set frame rate FRs of the frame image, and FIG. 13C shows an absolute frame number AN.
[0083]
Here, when the reproduction speed FP is (1/3) times faster, the discriminant value FD is “7 × (1/3) = 2.33. Therefore, as shown in FIGS. 13D and 13E, every second frame, that is, every other frame, from 7 frames, which is a multiple of the set frame rate FRs with respect to the reference frame rate FRr, according to the integer value portion of the discriminant value FD. By reading out the video data and outputting the video data DVz for three frames, it is possible to obtain a (1/3) times faster playback image. FIG. 13D shows the absolute frame number AN of the displayed image, and FIG. 13E shows the frame image displayed by the video signal Svz.
[0084]
FIG. 14 shows a reproduction operation when the discrimination value FD is less than 1. FIG. 14A shows an image based on the video data DVz when the set frame rate FRs is (1/4) times the reference frame rate FRr. 14B shows frame rate information DMz-FRs indicating a set frame rate FRs of the frame image, and FIG. 14C shows an absolute frame number AN.
[0085]
Here, when the reproduction speed FP is set to 1 × speed, the discriminant value FD is “(1/4) × 1 = 1/4”. For this reason, as shown in FIGS. 14D and 14E, the number of frames corresponding to the reproduction speed, that is, the video data DVz is repeatedly used four times for each frame to generate the video signal Svz. It can be displayed on the presentation device 80. 14D shows the absolute frame number AN of the displayed image, and FIG. 14E shows the frame image displayed by the video signal Svz.
[0086]
When the reproduction speed FP is double speed, the discriminant value FD is “(1/4) × 2 = 1/2”. For this reason, as shown in FIGS. 14F and 14G, the video data DVz is repeatedly used twice for each frame to generate the video signal Svz, whereby a playback image at double speed can be displayed on the content presentation device 80. it can. 14F shows the absolute frame number AN of the displayed image, and FIG. 14G shows the frame image displayed with the video signal Svz.
[0087]
When the reproduction speed FP is quadruple speed, the discrimination value FD is “(1/4) × 4 = 1”. For this reason, as shown in FIGS. 14H and 14J, the video data DVz is sequentially used for each frame to generate the video signal Svz, so that a playback image at 4 × speed can be displayed on the content presentation device 80. 14H shows the absolute frame number AN of the image to be displayed, and FIG. 14J shows the frame image displayed by the video signal Svz.
[0088]
In this manner, an image at a desired reproduction speed can be displayed by reading out image data at a reading interval based on the recording speed and the reproduction speed.
[0089]
Next, audio will be described. FIG. 15 is a flowchart showing the setting operation of the reproduction processing condition for the sound. As for the sound, when the sound data DAz is used in units of frames, there is no sound connection between the frames and sound discontinuity occurs. For this reason, the playback process is performed on a sample basis.
[0090]
In step ST41, the playback speed is determined in the same manner as in step ST31, and the process proceeds to step ST42. In step ST42, the set frame rate FRs is read out in the same manner as in step ST32, and the process proceeds to step ST43. In step ST43, the discriminant value FD is calculated in the same manner as in step ST33, and the process proceeds to step ST44.
[0091]
In step ST44, the reproduction processing condition is determined based on the discrimination value FD. Here, when the discriminant value FD is 1 or more and does not include a value after the decimal point, the reproduction processing condition is determined so that the audio data is thinned out at the sample interval corresponding to the discriminant value FD. When the discriminant value FD is 1 or more and includes a value after the decimal point, audio data is thinned out at a sample interval corresponding to the integer value portion of the discriminant value FD from a frame that is a multiple of the set frame rate FRs with respect to the reference frame rate FRr. The reproduction processing conditions are determined so as to read out audio data corresponding to the reproduction speed. When the discriminant value FD is less than 1, the playback processing condition is determined so that the audio data is repeatedly used so that the number of samples is equal to the number of frames corresponding to the desired playback speed. By performing the process of step ST24 based on the reproduction processing conditions determined in this way, the audio of the content can be presented correctly at a desired reproduction speed.
[0092]
FIG. 16 shows an audio reproduction operation when the discriminant value FD is 1 or more and does not include a value after the decimal point. FIG. 16A shows the absolute frame number AN, and FIG. 16B shows frame rate information DMz-FRs indicating the set frame rate FRs of the frame image.
[0093]
Here, when the playback speed FP is (1/5) times faster, the set frame rate FRs is 10 times faster than the reference frame rate FRr, so the discriminant value FD is “10 × (1/5). ) = 2 ”. Therefore, by generating the audio signal Saz using the audio data DAz for every “FD = 2” sample, that is, every other sample, it is possible to output the reproduced audio at the 1 × speed from the content presentation device 80. 16C shows a frame used for generating the video signal Svz, and FIG. 16D shows the audio data used in the audio signal Saz when the audio data DAz is 14 samples / frame.
[0094]
FIG. 17 shows an audio reproduction operation in the case where the discriminant value FD is 1 or more and includes a value after the decimal point. FIG. 17A shows the absolute frame number AN, and FIG. 17B shows frame rate information DMz-FRs indicating the set frame rate FRs of the frame image.
[0095]
Here, when the playback speed FP is (1/3) times faster, the set frame rate FRs is 7 times faster than the reference frame rate FRr, so the discriminant value FD is “7 × (1/3). ) = 2.3... When the audio data DAz is 14 samples / frame, the number of samples in one frame at (1/3) speed is “14 × 3/7 = 6”.
For this reason, when the audio data DAz is output every second sample, that is, every other sample in accordance with the integer value portion of the discriminant value FD, and the audio data DAz of 6 samples, which is the number of samples of one frame, is output. The audio data DAz is output every other sample by moving to the beginning of the next frame. By selecting and outputting the audio data DAz in this way, (1/3) times faster playback audio can be obtained. Further, if the filtering process is performed when outputting the sound based on the sound signal Saz, it is possible to reduce the influence of the thinning of the sound data DAz and output a good reproduced sound. Further, since the sample skipping is fixed according to the set frame rate FRs and the playback speed FP, and the number of samples is adjusted at the end of the frame, the audio signal Saz corresponding to the playback speed can be easily output. it can. FIG. 17C shows a frame used for generating the video signal Svz, and FIG. 17D shows audio data used in the audio signal Saz when the audio data DAz is 14 samples / frame.
[0096]
Also, when the audio signal Saz is generated by thinning out the audio data DAz, the audio used for generating the audio signal Saz is prevented so that the interval between the audio data DAz is widened and the reproduced sound is not discontinuous. Thinning may be performed so that the data interval is substantially constant. For example, when the set frame rate FRs is KA times the reference frame rate FRr and the playback speed FP is (1 / KB) times, the KB data is divided into KB samples at substantially equal intervals from the audio data DAz of consecutive KB samples. Is extracted, and an audio signal Saz is generated based on the extracted audio data. In this way, the processing is more complicated than in the case shown in FIG. 17, but it is possible to output reproduced sound with better sound quality.
[0097]
If the discriminant value FD is less than 1, the audio data DAz having a desired reproduction speed can be generated by repeatedly using each audio data in sequence for the number of frame repetitions of the image (not shown).
[0098]
In this way, the editing device 30 controls the reproduction speed of the data recorded on the recording medium, and links the attached information DM including the frame rate information DM-FRs to the obtained reproduction data to obtain the material. Data. Furthermore, by performing editing processing using the material data and generating and transmitting content data DC to which the additional information DMc including the frame rate information is connected, an image with a predetermined reproduction speed such as a broadcast program can be obtained. In addition to viewing, the content can be viewed at a playback speed desired by the user.
[0099]
For example, when a slow motion image is recorded on a recording medium, when the slow motion image is played back at high speed and the playback data is taken into the editing device 30, a material in which the set frame rate FRs is higher than the reference frame rate FRr. It can be data. For this reason, if the content data DC is generated by concatenating the frame rate information indicating the set frame rate FRs at this time as the attached information, the content reproduction device 70 can reproduce the slow motion image at a desired speed, and the noise. It is possible to obtain a reproduced image with little.
[0100]
In addition, since the editing apparatus 30 generates content data without reducing the frame rate of the material data, it can prevent the variable range of the playback speed from being narrowed by the editing process. That is, it is possible to provide content with a wide variable range of playback speed by effectively using playback data as material data.
[0101]
Furthermore, by reproducing the data recorded on the recording medium at a variable speed, it is possible to obtain material data used for generating content data that can be reproduced at a variable speed, so that an imaging device capable of variable speed recording is not used. In both cases, the content can be provided so that the content can be viewed at the playback speed desired by the user.
[0102]
【The invention's effect】
According to the present invention, the reproduction instruction signal is output, the image and / or sound reproduction data generated based on the reproduction instruction signal is taken in, and the attached information including the frame rate information based on the reproduction instruction signal is reproduced as the reproduction data. The material data is processed into the material data, the material data is edited, and the content data with the attached information is output.
[0103]
In this way, content data to which frame rate information is linked is output, so that the user side can perform variable speed playback using this frame rate information. Moreover, even if data already recorded on the recording medium is used, variable-speed reproduction by the user can be made possible.
[0104]
Further, the editing process is performed without reducing the frame rate of the material data and the content data is generated, so that it is possible to provide content with a wide range of reproduction speed.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a content distribution system.
FIG. 2 is a diagram showing a configuration of a video tape recorder.
FIG. 3 is a diagram illustrating a configuration of an editing apparatus.
FIG. 4 is a diagram illustrating a configuration of a content transmission device.
FIG. 5 is a diagram showing a configuration when content is transmitted by software.
FIG. 6 is a flowchart showing a content transmission processing operation.
FIG. 7 is a diagram illustrating a configuration of a content reproduction apparatus.
[Fig. 8] Fig. 8 is a diagram illustrating a configuration when content is played back by software.
FIG. 9 is a flowchart showing a content reproduction processing operation.
FIG. 10 is a diagram showing a display image of the content presentation device.
FIG. 11 is a flowchart showing an operation for setting a reproduction processing condition for an image.
FIG. 12 is a diagram illustrating an image reproduction operation (part 1).
FIG. 13 is a diagram illustrating an image reproduction operation (part 2).
FIG. 14 is a diagram illustrating an image reproduction operation (part 3).
FIG. 15 is a flowchart showing an operation for setting a reproduction processing condition for sound.
FIG. 16 is a diagram illustrating an audio reproduction operation (part 1).
FIG. 17 is a diagram illustrating an audio reproduction operation (part 2).
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 20 ... Signal reproduction | regeneration apparatus, 30 ... Editing apparatus, 31 ... Material taking-in part, 32 ... Editing process part, 33 ... Editing control part, 34, 73, 216, 762 ... User interface unit 35 ... Edit output signal generation unit 40 ... Edited image display device 41 ... Edited audio output device 50 ... Content transmission device 51 ... Write processing unit 52 Transmission data generation unit 53 Transmission processing unit 70 Content playback device 71 Input unit 72 Playback control unit 74 Playback processing unit 80 Content presentation device, 201: encoder, 202, 203, 206 ... changeover switch, 203a, 203b ... recording amplification unit, 204a, 204b ... magnetic head, 205a, 205b ... reproduction amplification unit 207: Decoder, 2 1a, 211b ... bimorph, 212 ... bimorph control unit, 215 ... recording / reproduction control unit, 217 ... display unit, 311 ... reproduction instruction circuit, 312 ... database processing circuit, 321 ... Data storage device, 322 ... Write / read processing circuit, 323 ... Signal editing circuit, 351 ... Video output signal generation circuit, 352 ... Audio output signal generation circuit, 521 ... Content Storage device, 522 ... Read processing circuit, 523 ... Information correction circuit, 524 ... Encoder, 554, 754 ... Data storage section, 561 ... Signal input section, 562, 761 ... Communication 563 ... Recording medium drive, 711 ... Communication circuit, 712 ... Information storage circuit, 713 ... Data holding circuit, 763 ... Signal output unit, 801 ... Viewer 802... Variable speed console section 803... Playback speed display section 804... Operation control section 805... Title display section 806. Display section

Claims (8)

再生速度と再生位置を指示する再生指示信号を出力して、該再生指示信号に基づいて再生された画像データを取り込み、前記再生指示信号で指示した再生速度を示すフレームレート情報を含む付属情報を、前記画像データと関係付けて素材データとする素材取込手段と、
編集操作に応じた操作信号を生成するユーザインタフェース手段と、
前記素材データの編集処理を行い、該編集処理後の画像データに前記付属情報を関係付けてコンテンツデータとして出力する編集処理手段と、
前記操作信号に基づいて、前記素材取込手段と前記編集処理手段の動作を制御する制御手段を有する
ことを特徴とするデータ処理装置。 Outputting a playback instruction signal indicating a playback speed and a playback position, capturing image data played back based on the playback instruction signal , and including attached information including frame rate information indicating the playback speed specified by the playback instruction signal , Material take-in means associated with the image data and used as material data;
User interface means for generating an operation signal corresponding to the editing operation;
Editing processing means for performing editing processing of the material data, associating the attached information with the image data after the editing processing, and outputting as content data ;
A data processing apparatus comprising control means for controlling operations of the material fetching means and the editing processing means based on the operation signal. 前記編集処理手段は、前記素材データのフレームレートを低下させることなく編集処理を行い、前記コンテンツデータを生成する
ことを特徴とする請求項１記載のデータ処理装置。2. The data processing apparatus according to claim 1, wherein the editing processing means performs the editing process without reducing the frame rate of the material data and generates the content data. 前記編集処理手段は、前記編集処理によって前記画像データのフレームレートを変更したとき、編集後の前記画像データに対応させて前記付属情報に含まれるフレームレート情報を変更するWhen the frame rate of the image data is changed by the editing process, the editing processing unit changes the frame rate information included in the attached information in correspondence with the edited image data.
ことを特徴とする請求項１記載のデータ処理装置。The data processing apparatus according to claim 1. 前記編集処理手段は、前記操作信号によって前記コンテンツデータの再生速度範囲が規定されたとき、該再生速度範囲を示す情報を前記付属情報に含めるThe editing processing means includes information indicating the reproduction speed range in the attached information when the reproduction speed range of the content data is defined by the operation signal.
ことを特徴とする請求項１記載のデータ処理装置。The data processing apparatus according to claim 1. 前記編集処理手段は、前記操作信号によって前記コンテンツデータの再生可能な最高速度が規定されたとき、該最高速度を示す情報を前記付属情報に含めるWhen the maximum speed at which the content data can be reproduced is specified by the operation signal, the editing processing means includes information indicating the maximum speed in the attached information
ことを特徴とする請求項１記載のデータ処理装置。The data processing apparatus according to claim 1. 再生速度と再生位置を指示する再生指示信号を出力して、該再生指示信号に基づいて再生された画像データを取り込み、前記再生指示信号で指示した再生速度を示すフレームレート情報を含む付属情報を、前記画像データと関係付けて素材データとする素材取込工程と、
編集操作に応じた操作信号を生成する操作信号生成工程と、
前記操作信号に基づいて前記素材データの編集処理を行い、該編集処理後の画像データにフレームレートを関係付けてコンテンツデータとして出力する編集処理工程とを有する
ことを特徴とするデータ処理方法。 Outputting a playback instruction signal indicating a playback speed and a playback position, capturing image data played back based on the playback instruction signal , and including attached information including frame rate information indicating the playback speed specified by the playback instruction signal , A material taking-in process to be used as material data in association with the image data ;
An operation signal generation step for generating an operation signal according to the editing operation;
An editing processing step of performing editing processing of the material data based on the operation signal, and associating a frame rate with the image data after the editing processing and outputting as content data. Processing method. コンピュータに、On the computer,
再生速度と再生位置を指示する再生指示信号を出力して、該再生指示信号に基づいて再生された画像データを取り込み、前記再生指示信号で指示した再生速度を示すフレームレート情報を含む付属情報を、前記画像データと関係付けて素材データとする素材取込工程と、Outputting a playback instruction signal indicating a playback speed and a playback position, capturing image data played back based on the playback instruction signal, and attaching additional information including frame rate information indicating the playback speed specified by the playback instruction signal , A material fetching process that is related to the image data and used as material data;
編集操作に応じた操作信号を生成する操作信号生成工程と、An operation signal generation step for generating an operation signal according to the editing operation;
前記操作信号に基づいて前記素材データの編集処理を行い、該編集処理後の画像データにフレームレートを関係付けてコンテンツデータとして出力する編集処理工程とを実行させるプログラム。A program that executes an editing process step of performing editing processing of the material data based on the operation signal, associating a frame rate with the image data after the editing process, and outputting the content data as content data. コンピュータに、再生速度と再生位置を指示する再生指示信号を出力して、該再生指示信号に基づいて再生された画像データを取り込み、前記再生指示信号で指示した再生速度を示すフレームレート情報を含む付属情報を、前記画像データと関係付けて素材データとする素材取込工程と、A playback instruction signal for instructing a playback speed and a playback position is output to a computer, image data played back based on the playback instruction signal is captured, and frame rate information indicating the playback speed indicated by the playback instruction signal is included. A material import process in which the attached information is related to the image data as material data,
編集操作に応じた操作信号を生成する操作信号生成工程と、An operation signal generation step for generating an operation signal according to the editing operation;
前記操作信号に基づいて前記素材データの編集処理を行い、該編集処理後の画像データにフレームレートを関係付けてコンテンツデータとして出力する編集処理工程とを実行させるプログラムを記録したA program for performing editing processing of the material data based on the operation signal and executing an editing processing step of associating a frame rate with the image data after the editing processing and outputting as content data is recorded
ことを特徴とするコンピュータ読み取り可能な記録媒体。A computer-readable recording medium.
JP2002332651A 2002-11-15 2002-11-15 Data processing apparatus, data processing method, program, and recording medium Expired - Fee Related JP4518737B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002332651A JP4518737B2 (en) 2002-11-15 2002-11-15 Data processing apparatus, data processing method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002332651A JP4518737B2 (en) 2002-11-15 2002-11-15 Data processing apparatus, data processing method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004172665A JP2004172665A (en) 2004-06-17
JP4518737B2 true JP4518737B2 (en) 2010-08-04

Family

ID=32697615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002332651A Expired - Fee Related JP4518737B2 (en) 2002-11-15 2002-11-15 Data processing apparatus, data processing method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP4518737B2 (en)

Also Published As

Publication number Publication date
JP2004172665A (en) 2004-06-17

Similar Documents

Publication Publication Date Title
US8223210B2 (en) Apparatus and method for transmission, apparatus and method for production, program, and recording medium
US10244271B2 (en) Audio recording device, audio recording system, and audio recording method
JP2004531184A (en) Efficient transmission and reproduction of digital information
JP2004180290A (en) Apparatus and method of transmission, apparatus and method of reproduction, program and recording medium
KR20090005845A (en) Method for controlling playing of media signal and apparatus thereof
WO2010086912A1 (en) Recording apparatus and recording method
KR101014108B1 (en) Data processing device, data processing method, program recording medium, and data recording medium
JP4518778B2 (en) REPRODUCTION DEVICE, REPRODUCTION METHOD, PROGRAM, AND RECORDING MEDIUM
JP4518737B2 (en) Data processing apparatus, data processing method, program, and recording medium
JP4346966B2 (en) Imaging device
JP4582112B2 (en) Data processing apparatus, data processing method, program, and recording medium
JP2005033714A (en) Information signal reproducing apparatus, information signal reproducing method, information signal processing apparatus and information signal processing method
JP3491533B2 (en) Method and apparatus for reproducing digital audio data
JP3263996B2 (en) Program production device, information transmission method and reproduction device
JP4626629B2 (en) Data processing apparatus, data processing method, program, and recording medium
JP4235866B2 (en) Information processing apparatus and method, and program storage medium
JP4941128B2 (en) Video processing device
JP3985775B2 (en) Edited image display control device, edited image display control method and program
JP2010093614A (en) Video signal playback apparatus
JP2007158431A (en) Video recording device and video recording and reproducing device
JP2004362747A (en) Signal processor
JP2007042219A (en) Reproducing device
JP2007234089A (en) Recording and reproducing device
JP2004193767A (en) Phase regulated reproduction method of digital recording tape
JP2003101960A (en) Video reproducing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050720

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070925

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090910

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100518

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees