JP5775006B2 - 情報処理装置、情報処理方法及び半導体装置 - Google Patents

情報処理装置、情報処理方法及び半導体装置 Download PDF

Info

Publication number
JP5775006B2
JP5775006B2 JP2012010851A JP2012010851A JP5775006B2 JP 5775006 B2 JP5775006 B2 JP 5775006B2 JP 2012010851 A JP2012010851 A JP 2012010851A JP 2012010851 A JP2012010851 A JP 2012010851A JP 5775006 B2 JP5775006 B2 JP 5775006B2
Authority
JP
Japan
Prior art keywords
audio
input
video
output
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012010851A
Other languages
English (en)
Other versions
JP2013150237A (ja
Inventor
浩樹 杉本
浩樹 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2012010851A priority Critical patent/JP5775006B2/ja
Publication of JP2013150237A publication Critical patent/JP2013150237A/ja
Application granted granted Critical
Publication of JP5775006B2 publication Critical patent/JP5775006B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、オーディオビデオ信号の編集を行う情報処理方法および半導体装置に関わり、特に、スプライシング処理に起因するオーディオとビデオの同期ずれを防止するのに有効な技術に関する。
HDDレコーダ、DVDレコーダ、Blu−rayレコーダなどの映像記録装置には、オーディオビデオコンテンツの編集を目的として、コンテンツの特定部分を消去しその前後を繋ぎ合せる、スプライシングと呼ばれる処理を行う機能を備えるものがある。このような映像記録装置は、記憶容量を抑えるためにオーディオビデオ信号を符号化してコンテンツを記憶している。オーディオ信号とビデオ信号の符号化は、それぞれフレームと呼ばれる基本単位ごとに実行され、複数のフレームによりストリームを構成しているが、その符号化アルゴリズムの違いなどに起因して、オーディオのフレームとビデオのフレームは、長さが異なる場合が多い。そのため、スプライシング後のコンテンツを再生したときに、オーディオ信号とビデオ信号の同期がずれる恐れがある。
スプライシング後のストリームにおけるオーディオとビデオの同期ずれを防止するために、特許文献1には、スプライシング後のビデオデータとオーディオデータが同期するのに必要なずれ量を算出し、ずれ量が1オーディオフレーム未満となるように無音フレームを挿入する技術が開示されている。また、特許文献2には、同様にずれ量を検出し、ずれ量が1オーディオフレーム未満となるように、削除されるビデオデータに対応する音声データを挿入する技術が開示されている。
一方、特許文献3には、いわゆる「つなぎ録り」によって発生するリップシンクずれを最小限に抑える技術が開示されている。符号化されたオーディオビデオ信号のスプライシングとは異なるが、符号化されて既に媒体上に記録されたオーディオビデオ信号に続けて、別のオーディオビデオ信号を符号化して記録する。このとき、既に記録されたオーディオビデオ信号においてビデオ信号に対するオーディオ信号のはみ出し量を算出して、そのはみ出し量分だけ、オーディオ信号の符号化タイミングを遅らせる。
特開2007−195208号公報 特開2001−359051号公報 特開2004−248104号公報
特許文献1および2に開示される技術は、スプライシング後のビデオとオーディオの同期ずれを、1オーディオフレーム未満に抑えることができるが、それよりも高い精度で同期ずれを抑えることができない。記録されている編集対象のオーディオビデオ信号が、それぞれ既に符号化されビデオフレームとオーディオフレームを構成していることが前提で、復号を行っていないので、フレーム単位で削除および繋ぎ合せの処理を行っているからである。
したがって、同期ずれの精度を高めるために、特許文献3に記載されるような、符号化タイミングを遅らせる技術を組み合わせることはできない。
特許文献3に記載される符号化タイミングを遅らせる技術は、エンコーダをハードウェアで実現し、符号化タイミングを高精度で制御すれば、ビデオとオーディオの同期ずれを高精度で抑えることができる。しかし、スプライシングはCPUやDSPを備えるLSI上のソフトウェアで実現されることが多い。スプライシングは要求される機能の一つに過ぎず、他の多種の信号処理と合わせて実現するためには、ソフトウェアによる実装が好適だからである。ここで、ソフトウェアによるタイミングの制御は、OSをはじめとして他のソフトウェアプロセスの介在などの要因があるため、一般に時間的な精度が低い。そのため、特許文献3に記載される符号化タイミングを遅らせる技術をソフトウェアで実現される編集技術に応用しようとしても、ソフトウェアによるタイミング制御の精度によって制限を受け、スプライシングによる同期ずれを高精度で抑えることはできない。
本発明の目的は、オーディオビデオコンテンツのスプライシングにおいて、オーディオ信号とビデオ信号の同期ずれを、オーディオデータのサンプリング周期単位の高精度に抑えることである。
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
すなわち、入力された複数のビデオフレームからなるビデオストリームと複数のオーディオフレームからなるオーディオストリームにスプライシング処理を行う情報処理装置において、オーディオフレームのデータを復号してバッファに格納し、バッファから出力フレーム単位で読み出して符号化して出力する。スプライシング処理において、編集点の前半のビデオフレームの末尾とオーディオフレームの末尾とのずれ量を求め、そのずれ量に相当するオーディオデータをバッファから削除する。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
すなわち、スプライシングによる編集点以降のビデオフレームとオーディオフレームの同期ずれを、オーディオデータの1サンプリング周期単位の精度で抑えることができる。入力オーディオストリームは符号化されているのでフレーム単位で扱われ、サンプリング周期ごとのデータを対象とする処理はできないが、入力オーディオストリームをデコードし、サンプリング周期単位になったオーディオデータをバッファに格納しているので、フレーム単位ではなくサンプリング周期単位で削除することができるためである。
図1は、代表的な実施の形態に係る情報処理装置の機能ブロック図である。 図2は、ビデオフレームとオーディオフレームとの同期ずれを抑えるためのサンプリング調整部における処理の内容を示すフローチャートである。 図3は、図2のフローチャートの一部である、データ入力処理の内容を示すフローチャートである。 図4は、図2のフローチャートの一部である、データ出力処理の内容を示すフローチャートである。 図5は、代表的な実施の形態に係るスプライシング処理の概要を示す説明図である。 図6は、外部入力から時間情報を持たないデータが入力された場合の、スプライシング処理の概要を示す説明図である。 図7は、入力バッファ、内部バッファ、および、出力バッファのデータの入出力についての説明図である。 図8は、本発明の実施の形態に係るスプライシング処理を行うトランスコーダを搭載した、レコーダのブロック図である。
1.実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔1〕<デコードされたオーディオデータのバッファとずれ量分のデータの削除>
複数の入力オーディオフレームからなる入力オーディオストリーム(90)と、複数の入力ビデオフレームからなる入力ビデオストリームと(80)、記録停止指示(85)と、記録開始指示(87)が入力され、複数の出力オーディオフレームからなる出力オーディオストリーム(91)と、複数の出力ビデオフレームからなる出力ビデオストリーム(81)を出力する情報処理装置であって、以下のように構成される。
前記入力オーディオストリームをデコードして得たオーディオデータをバッファ(16)に格納するオーディオ入力部(11)と、前記バッファに格納されているオーディオデータをエンコードして前記出力オーディオフレームとして出力するオーディオエンコーダ(19)と、前記入力ビデオストリームをデコードして得たビデオデータをエンコードして前記出力ビデオフレームとして出力するビデオエンコーダ(29)を備える。
前記情報処理装置は、前記記録停止指示が入力された時に前記ビデオエンコーダから出力されている出力ビデオフレームの末尾(86)と、前記記録停止指示が入力された時に前記オーディオエンコーダから出力されている出力オーディオフレームの末尾(96)とのずれ量(95)を算出し、前記ずれ量に相当するオーディオデータを前記バッファから削除する。
これにより、編集点以降のビデオフレームとオーディオフレームの同期ずれを、オーディオデータの1サンプリング周期単位の精度で抑えることができる。符号化されているオーディオデータはフレーム単位で扱われ、サンプリング周期ごとのデータを対象とする処理はできないが、バッファにはデコードされサンプリング周期単位になったオーディオデータを格納しているので、フレーム単位ではなくサンプリング周期単位で削除することができるためである。また、バッファに格納されたデータに対する処理であるため、コマンドによるタイミング精度の制約を受けないためである。
〔2〕<スプライシングのための削除>
項1において、前記情報処理装置は以下の通り動作する。
前記記録停止指示が入力された時に前記オーディオエンコーダから出力されている出力オーディオフレームを出力した後に、前記オーディオエンコーダの動作を停止し、前記記録停止指示が入力された時に前記ビデオエンコーダから出力されている出力ビデオフレームを出力した後に、前記ビデオエンコーダの動作を停止する。
前記記録開始指示が入力されたとき、前記ずれ量に相当するオーディオデータを前記バッファから削除した後に、前記オーディオエンコーダの動作と前記ビデオエンコーダの動作を再開する。
これにより、単純な制御によりスプライシング処理を実現することができる。
〔3〕<出力フレームの時間情報に基づいてずれ量を算出>
項1または項2において、前記情報処理装置は以下の通り動作する。
前記記録停止指示が入力された時に前記ビデオエンコーダから出力されている出力ビデオフレームの時間情報(72)と、前記記録停止指示が入力された時に前記オーディオエンコーダから出力されている出力オーディオフレームの時間情報(73)とに基づいて、前記ずれ量を算出する。
前記記録開始指示が入力されたとき、前記第ビデオエンコーダの動作を開始することにより最初に出力される出力ビデオフレームの先頭に対応するオーディオデータを始点として、前記ずれ量に相当する量のオーディオデータ(97)を、前記バッファから削除する。
これにより、編集点以降のビデオフレームとオーディオフレームの同期ずれを、簡便かつ正確に算出し、調整のためのデータの削除を行うことができる。
〔4〕<時間情報の付加>
項1、項2または項3において、前記情報処理装置は、さらに外部ビデオ入力(88)と外部オーディオ入力(98)とが入力され、ビデオ時間情報付加部(22)と、オーディオ時間情報付加部(12)とを備え、以下の通り動作する。
前記オーディオ時間情報付加部は、前記入力オーディオストリームをデコードして得たオーディオデータに代えて、前記外部オーディオ入力にオーディオ時間情報を付加したオーディオデータをバッファに格納する。
前記ビデオ時間情報付加部は、前記入力ビデオストリームをデコードして得たビデオデータに代えて、前記外部ビデオ入力にビデオ時間情報を付加したビデオデータをエンコードして前記出力ビデオフレームとして出力する。
これにより、タイムスタンプなどの時間情報を持たないオーディオビデオ信号が入力されたときにも、付加されたタイムスタンプに基づく正確なずれ量算出処理が可能となる。また、デコードより後の処理ステップを、時間情報の有無で切り替える必要がないため、単純に実装することができる。
〔5〕<付加する時間情報の起点>
項4において、前記オーディオ時間情報と前記ビデオ時間情報は、前記外部ビデオ入力の先頭のビデオデータを起点として算出される。
これにより、タイムスタンプなどの時間情報を簡便に算出して付加することができる。
〔6〕<フェードアウト・フェードイン処理>
項1乃至項5のいずれか1項において、フェードアウト・フェードイン処理部(18)をさらに備え、以下の通り動作する。
前記記録停止指示が入力された時に前記オーディオエンコーダから出力されている出力オーディオフレームのオーディオデータにフェードアウト処理を施し、前記記録開始指示が入力された後に前記オーディオエンコーダにより最初に出力される出力オーディオフレームのオーディオデータにフェードイン処理を施す。
これにより、編集点におけるオーディオ信号の不連続による異音の発生を抑えることができる。
〔7〕<後半オーディオストリームの先頭のタイムスタンプの算出>
複数の入力オーディオフレームからなる入力オーディオストリーム(90)と、複数の入力ビデオフレームからなる入力ビデオストリーム(80)とが入力され、前記入力ビデオストリームの一部を削除して残ったビデオデータに基づく前半ビデオストリーム(82)と後半ビデオストリーム(84)とを繋ぎ合せて出力ビデオストリーム(81)を出力する情報処理方法であって、以下のように動作する。
前記前半ビデオストリームに対応する前半オーディオストリーム(92)と前記後半ビデオストリームに対応する後半オーディオストリーム(94)とを繋ぎ合せて出力オーディオストリーム(91)を出力する際に、前記後半オーディオストリームの先頭のフレームのタイムスタンプATSH(75)を、
ATSH=VTSH+{(ATST+ALF)−(VTST+VLF)}
により算出する。
ここで、VTSTは前記前半ビデオストリームの末尾のフレームのタイムスタンプ(72)、ATSTは前記前半オーディオストリームの末尾のフレームのタイムスタンプ(73)、VFLは前記前半ビデオストリームの1フレームあたりの長さ、AFLは前記前半オーディオストリームの1フレームあたりの長さ、VTSHは前記後半ビデオストリームの先頭のフレームのタイムスタンプ(74)である。
算出した前記タイムスタンプATSHに基づいて、前記後半オーディオストリームを構成する複数のオーディオフレームを生成する。
これにより、バッファの実装方法によらず、繋ぎ合せ部分後半のビデオフレームとオーディオフレームの同期ずれを、オーディオデータの1サンプリング周期単位の精度で抑えることができる。
〔8〕<時間情報付加>
項7において、前記複数の入力オーディオフレームにタイムスタンプを付与し、前記複数の入力ビデオフレームにタイムスタンプを付与する。
これにより、タイムスタンプなどの時間情報を持たないオーディオビデオ信号が入力されたときにも、タイムスタンプに基づく正確なずれ量算出処理が可能となる。
〔9〕<フェードアウト・フェードイン処理>
項7または項8において、前記前半オーディオストリームの末尾のオーディオフレームにフェードアウト処理(18)を施し、前記後半オーディオストリームの先頭のオーディオフレームにフェードイン処理(18)を施す。
これにより、編集点におけるオーディオ信号の不連続による異音の発生を抑えることができる。
〔10〕<半導体装置>
入力ビデオデータ(39)と入力オーディオデータ(38)が入力され、記録停止指示と記録開始指示(40)が入力され、出力ビデオフレーム(81)と出力オーディオフレーム(91)を出力する半導体装置であって、以下のように構成される。
内部バッファ(16)を有するサンプル調整部(15)と、ビデオエンコーダ部(29)と、オーディオエンコーダ部(19)を備える。
前記ビデオエンコーダ部は、前記入力ビデオデータを前記出力ビデオフレーム単位でエンコードして出力する。
前記サンプル調整部は、前記入力オーディオデータを前記内部バッファに格納し、前記記録停止指示が入力された時点でエンコードされていた出力ビデオフレームの末尾と、前記記録停止指示が入力された時点でエンコードされていた出力オーディオフレームの末尾との差分情報(95)を求め(53)、前記内部バッファに格納されているオーディオデータから、前記差分情報に相当する量のオーディオデータを削除する(55)。
前記オーディオエンコーダ部は、前記内部バッファに出力オーディオフレームの1フレーム分のオーディオデータを要求し(50)、前記内部バッファから入力された出力オーディオフレーム単位のオーディオデータをエンコードして出力する。
これにより、編集点以降のビデオフレームとオーディオフレームの同期ずれを、オーディオデータの1サンプリング周期単位の精度で抑えた半導体装置を提供することができる。
〔11〕<スプライシング処理>
項10において、以下のように動作する。
前記ビデオエンコーダ部は、前記記録停止指示が入力された時点でエンコードされていた出力ビデオフレームを出力した後に前記エンコードを停止し、前記記録開始指示が入力されたときに前記エンコードを開始する。
前記オーディオエンコーダ部は、前記記録停止指示が入力された時点でエンコードされていた出力オーディオフレームを出力した後に前記エンコードを停止し、前記記録開始指示が入力されたときに、前記サンプル調整部に対して、出力オーディオフレームの1フレーム分のオーディオデータを要求する。
これにより、単純な制御によってスプライシング処理を実現する半導体装置を提供することができる。
〔12〕<出力フレームの時間情報に基づいて差分情報を算出>
項10または項11において、以下のように動作する。
前記サンプル調整部は、前記記録停止指示が入力された時点で前記ビデオエンコーダ部がエンコードしていた前記出力ビデオフレームの時間情報(72)と、前記記録停止指示が入力された時点で前記オーディオエンコーダ部がエンコードしていた出力オーディオフレームの時間情報(73)とに基づいて、前記差分情報(95)を算出する(53)。
前記サンプル調整部は、前記記録開始指示が入力されたとき、前記内部バッファに格納されているオーディオデータから、前記ビデオエンコーダ部がエンコードを開始することにより出力される出力ビデオフレームの先頭に対応するオーディオデータを始点として前記差分情報に相当する量のオーディオデータ(97)を削除する。
これにより、繋ぎ合せ部分のビデオフレームとオーディオフレームの同期ずれを、簡便かつ正確に算出し、調整のためのデータの削除を行う半導体装置を提供することができる。
〔13〕<トランスコーダ>
項10、項11または項12において、複数の入力ビデオフレームからなる入力ビデオストリーム(90)と複数の入力オーディオフレームからなる入力オーディオストリーム(80)を入力とし、ビデオデコーダ部(21)とオーディオデコーダ部(11)をさらに備え、以下の通り動作する。
前記ビデオデコーダ部は、前記入力ビデオストリームをデコードして前記入力ビデオデータとして前記ビデオエンコーダ部に入力し、前記オーディオデコーダ部は、前記オーディオストリームをデコードして前記入力オーディオデータとして前記内部バッファに入力する。
これにより、スプライシング処理機能を備えたトランスコーダを構成するための半導体装置を提供することができる。
〔14〕<最小バッファサイズ>
項13において、前記内部バッファのサイズは、前記入力オーディオフレームの2フレーム以上であり、前記出力オーディオフレームの1フレーム以上である。
これにより、最小のバッファサイズが規定され、不要に大きなサイズのバッファを備えなくてもよい。
〔15〕<時間情報付加部>
項10、項11、項12、項13または項14において、外部ビデオ入力(88)と外部オーディ入力(98)がさらに入力され、ビデオ時間情報付加部(22)とオーディオ時間情報付加部(12)とをさらに備え、以下の通り構成される。
前記ビデオ時間情報付加部が前記外部ビデオ入力にビデオ時間情報を付加して得たビデオデータと、前記ビデオデコーダ部の出力とを選択的に前記ビデオエンコーダ部に入力するビデオ入力セレクタ(23)と、
前記オーディオ時間情報付加部が前記外部オーディ入力にオーディオタイムスタンプを付加して得たオーディオデータと、前記オーディオデコーダ部の出力とを選択的に前記内部バッファに入力するオーディオ入力セレクタ(13)とをさらに備える。
これにより、タイムスタンプなどの時間情報を持たないオーディオビデオ信号が入力されたときにも、タイムスタンプに基づく正確なずれ量算出処理が可能となる。
〔16〕<付加する時間情報の起点>
項15において、前記ビデオ時間情報付加部は、前記外部ビデオ入力の先頭のビデオデータを起点として、前記ビデオ時間情報を算出して付加し、前記オーディオ時間情報付加部は、前記外部ビデオ入力の先頭のビデオデータが入力された時点を起点として、前記オーディオ時間情報を算出して付加する。
これにより、タイムスタンプなどの時間情報を簡便に算出して付加することができる。
〔17〕<フェードアウト・フェードイン処理部>
項10乃至項16のいずれか1項において、フェードアウト・フェードイン処理部(18)をさらに備え、以下の通り動作する。前記フェードアウト・フェードイン処理部は、前記記録停止指示が入力された時点でエンコードされていた出力オーディオフレームのオーディオデータにフェードアウト処理を施し、前記開始コマンドが入力された後最初に前記オーディオエンコード部がエンコードを開始するオーディオフレームのオーディオデータにフェードイン処理を施す。
これにより、繋ぎ合せ部分におけるオーディオ信号の不連続による異音の発生を抑えることができる。
2.実施の形態の詳細
実施の形態について更に詳述する。
〔代表的な実施の形態(機能ブロック図)〕
図1は、代表的な実施の形態に係る情報処理装置の機能ブロック図である。代表的な実施の形態に係る情報処理装置は、記録メディア30に格納されているオーディオビデオコンテンツに、スプライシング処理を施して、記録メディア33に出力する。本情報処理装置は、入力されたオーディオビデオコンテンツのデータを別の符号化方式に変換して出力するトランスコーダであってもよい。図1は、機能ブロック図であって、CPU(Central Processing Unit)、DSP(Digital Signal Processor)などの演算器とメモリを含むコンピュータと記憶装置で構成され、ソフトウェアで制御される機能であってもよい。記録メディア30と記録メディア33は、物理的に同じ記録メディアであってもよい。
編集対象のオーディオビデオコンテンツは、記録メディア30に、例えば、プログラムストリーム(PS)、トランスポートストリーム(TS)などの形式で格納されている。Demux31は、この編集対象のオーディオビデオコンテンツを読み出して、コンテナからオーディオストリーム90とビデオストリーム80に分離し、それぞれオーディオ信号処理部10とビデオ信号処理部20に入力する。オーディオストリーム90とビデオストリーム80は、それぞれの符号化方式に則った長さのフレームを連続して含んで構成されている。フレームは、複数のデータをまとめて符号化して生成されたもので、前記「長さ」は、符号化されたデータ数を指す。一般に、オーディオとビデオでは符号化方式が異なるので、オーディオフレームの長さとビデオフレームの長さは異なっている。例えば、動画の圧縮符号化規格であるMPEG2に伴う、MPEG−2 AACは1フレームあたり1024サンプルであり、AC3は1536サンプルである。オーディオデータは、サンプリング周期のオーディオデータであり、ビデオデータは、画素ごとのデータである。オーディオフレームとビデオフレームは、通常、それぞれ、タイムスタンプと呼ばれる時間情報を含んでいる。
外部入力34と時間情報付加部12、22とそれに伴うセレクタ13、23、およびフェードアウト・フェードイン処理部18については、後述する。
オーディオストリーム90は、オーディオデコーダ11で復号され、入力バッファ14を介して、サンプル調整部15内の内部バッファ16に格納される。オーディオストリーム90に含まれるオーディオフレームは、復号されることによりフレーム構造を失い、サンプリング周期のオーディオデータになっている。
内部バッファ16に格納されているオーディオデータは、出力のオーディオフレーム単位で、出力バッファ17を介して読み出され、フェードアウト・フェードイン処理部18を経てオーディオエンコーダ19に入力される。オーディオエンコーダ19は、入力されたオーディオデータを所定の出力符号化方式でエンコードして、出力オーディオストリーム91として出力する。
ビデオストリーム80は、ビデオデコーダ21で復号されてビデオデータとなり、時間情報監視部25を経てビデオエンコーダ29に入力される。ビデオストリーム80に含まれるビデオフレームは、復号されることによりフレーム構造を失い、画素単位のビデオデータになっている。ビデオエンコーダ29は、入力されたビデオデータを所定の出力符号化方式でエンコードして、出力ビデオストリーム81として出力する。
出力されたオーディオストリーム91とビデオストリーム81は、Mux32で必要に応じてタイムスタンプなどの付加情報を付加され、コンテナに多重されて記録メディア33に記録される。
本情報処理装置は、リモコン35などにより、再生開始、再生停止、記録開始、記録停止などの制御を受ける。記録メディア30に記録されているコンテンツを読み出し、符号化方式を変換して記録メディア33に記録する過程で、記録停止が指示され後に記録開始が指示されると、記録停止から記録開始までに読み出された部分が削除され、記録停止前のストリームと記録開始後のストリームが繋ぎ合せられて記録メディア33に記録される。これが、スプライシング処理の一例である。
記録停止と記録開始の指示40は、システム制御部36からオーディオ信号処理部10とビデオ信号処理部20に送られ、それぞれを制御する。記録停止指示を受けるとビデオエンコーダ29は実行中の出力ビデオフレームを出力した後にエンコード動作を停止する。停止直前にエンコードしたビデオフレームの時間情報を、時間情報監視部25が、ビデオ記録停止時間37としてオーディオ信号処理部10のサンプル調整部15に通知する。サンプル調整部15は、後述のように、オーディオデータをサンプリング周期単位で削除するなどして出力されるビデオフレームとオーディオフレームに同期ずれが生じないように調整する。
サンプル調整部15は、内部バッファ16内に、復号されてサンプリング周期単位になったオーディオデータを格納し保持しているので、サンプリング周期単位で正確なデータの処理をすることができる。記録停止と記録開始の指示40は、処理をソフトウェアで実装した場合には、OSをはじめとして他のソフトウェアとの関係で、時間的な精度が低いが、ずれ量は正確に計算され正確に調整されるので、タイミング精度の低い指示によって制御されても、その結果は精度の高いものとすることができる。
図示を省略しているが、入力されたオーディオストリーム90とビデオストリーム80に付与されていたタイムスタンプなどの時間情報は、オーディオ信号処理部10とビデオ信号処理部20において、出力オーディオストリーム91と出力ビデオストリーム81に付与すべきタイムスタンプを算出するために利用することができる。また、合わせて、ビデオフレームとオーディオフレームとの同期ずれを抑えるために利用することができる。
〔代表的な実施の形態(動作)〕
代表的な実施の形態に係る上記情報処理装置の動作について、サンプル調整部15が行う処理を中心に、説明する。
図2は、ビデオフレームとオーディオフレームとの同期ずれを抑えるための、サンプル調整部15における処理の内容を示すフローチャートである。図3は、その一部であるデータ入力処理60の内容を示すフローチャートであり、図4は、別の一部であるデータ出力処理65の内容を示すフローチャートである。
オーディオエンコーダ19がサンプル調整部15に対して出力オーディオフレームの1フレーム分のデータを要求する(ステップ50)。サンプル調整部15は、データ入力処理(ステップ60)を行う。データ入力処理60(図3)では、内部バッファ16に出力オーディオフレームの1フレーム分のデータが格納されているかどうかを判定し(ステップ61)、格納されている場合にはデータ入力処理を終了する。格納されていない場合には、入力バッファ14に入力オーディオフレームの1フレーム分のデータが格納されているかどうかを判定し(ステップ62)、格納されていなければオーディオデコーダ11に1フレーム分のデータを要求して(ステップ64)、ステップ61に戻る。格納されていれば入力バッファ14から内部バッファ16にデータを取り込み(ステップ63)、ステップ61に戻る。
データ入力処理(ステップ60)を終えると、内部バッファ16に出力オーディオフレームの1フレーム分のデータが格納されている。次に、記録停止指示があるかどうかを判定し(ステップ51)、指示があれば時間情報監視部25からのビデオ記録停止時間情報の通知37を待つ(ステップ52)。ビデオ記録停止時間情報の通知を受けた後、AV記録停止位置差分情報を計算し(ステップ53)、データ出力処理(ステップ65)を行って終了する。
ステップ51において記録停止指示がない場合は、記録開始指示の有無を判定し(ステップ54)、記録開始指示がある場合には、内部バッファ16からAV停止位置差分情報に相当するデータを破棄する(ステップ55)。その後、AV記録停止位置差分情報をクリアし(ステップ56)、再びデータ入力処理60を行う。その後、データ出力処理(ステップ65)を行って終了する。
データ出力処理(図4)では、内部バッファ16に出力オーディオフレームの1フレーム分のデータが格納されるまで待ち(ステップ66)、1フレーム分のデータが格納されたら、内部バッファ16から出力バッファ17に出力オーディオフレームの1フレーム分のデータを書き出す(ステップ67)。その後、エンコードしたオーディオの時間情報を更新して(ステップ68)、終了する。
入力バッファ14、内部バッファ16、および、出力バッファ17のデータの入出力について、図7を参照してさらに詳細に説明する。入力バッファ14は、少なくとも入力オーディオフレームの1フレーム分の長さを備え、出力バッファ17は、少なくとも出力オーディオフレームの1フレーム分の長さを備える。内部バッファ16は、少なくとも、入力オーディオフレームの2フレーム分以上で、且つ、出力オーディオフレームの1フレーム分の長さを備える必要がある。図7は、入力オーディオフレームの長さを、AACの1024サンプル、出力オーディオフレームの長さをAC3の1536サンプルとした例で、入力バッファ14は1024サンプル分、出力バッファは1536サンプル分、内部バッファは2048サンプル分の長さを持つものとしている。現実の実装では、これにマージンを加えたサイズとなる。
図7において(a)は、バッファが空の初期状態である。図3に示すフローチャートのステップ62で入力バッファにオーディオデコーダの1フレーム分のデータ格納されていないと判断されるので、ステップ64に進み、オーディオデコーダ11に1フレーム分のデータを要求する。(b)は図3のオーディオデコーダ11から入力オーディオフレームの1フレーム分のオーディオデータを、入力バッファ14に取り込んだ状態である。ステップ62で入力バッファにオーディオデコーダの1フレーム分のデータが格納されていると判断されるので、ステップ63に進み、(c)に示すように入力バッファ14のオーディオデータを内部バッファ16に転送した状態になる。この状態では、内部バッファは1024サンプルのデータを格納しているが、出力フレームの1536サンプルには足りない。ステップ61の判定で、ステップ62に進み、さらにオーディオデコーダ11に1フレーム分のデータを要求する(ステップ64)。その結果、(d)に示すように、内部バッファには入力オーディオフレームの2フレーム分のデータが格納される。内部バッファに格納されているデータの量が、出力オーディオフレームの1フレーム分を超えるので、(e)に示すように、出力オーディオフレームの1フレーム分のオーディオデータを内部バッファから出力バッファに転送する(図4のステップ66、67)。内部バッファに格納されているオーディオデータの量が出力オーディオフレームの1フレーム分を下回るので、(a)(b)(c)(d)と同様の処理を繰り返し、内部バッファに入力オーディオフレームの1フレーム分のデータをさらに読み込み、(f)に示すような状態になる。
代表的な実施の形態に係る上記情報処理装置の動作について、入出力ストリームを例示して、さらに詳細に説明する。
図5は、代表的な実施の形態に係るスプライシング処理の概要を示す説明図である。
図5において(a)は入力ストリームを表し、(b)はスプライシング処理の概要を表し、(c)はスプライシング処理を施されて出力される出力ストリームを表す。入力ビデオストリーム80はそれぞれにタイムスタンプvpts70を付与された複数のビデオフレームからなり、入力オーディオストリームはそれぞれにタイムスタンプapts71を付与された複数のオーディオフレームからなる。横軸は、時間を表す。ビデオフレームとオーディオフレームは通常は長さが異なるので、フレームの境界は必ずしも一致するとは限らない。それぞれのタイムスタンプは、そのフレームの先頭のデータに対応する時間情報を表している。
スプライシング処理のため、記録停止指示85と記録再開指示87が入力される。記録停止指示85は、ビデオストリームのフレーム境界に同期して図示したが、実際にはフレームの境界とは無関係に入力される。記録停止指示85が入力されると、ビデオエンコーダ29は、その時にエンコードしているビデオフレーム72の出力を待ってエンコードを停止する。記録停止指示85の入力後最初にエンコードされ出力を完結したビデオフレーム72の末尾がビデオ停止位置86である。その後さらに、エンコードされ出力を完結したオーディオフレーム73の末尾がオーディオ停止位置96である。
時間情報監視部25は、ビデオ記録停止位置時間情報37をサンプル調整部15に通知する。ビデオ記録停止位置時間情報37は、例えば、ビデオフレーム72のタイムスタンプでもよい。タイムスタンプはそのフレームの先頭の時間情報であるが、ビデオフレームの長さは既知であるので、ビデオ記録停止位置86を算出するのは容易であり、等価な情報として扱うことができる。サンプル調整部15は、ビデオ記録停止位置時間情報37の通知を待って(図2のステップ52)、オーディオ記録停止位置96が決まったときに、AV停止位置の差分95を算出する(図2のステップ53)。
その後、記録開始指示87が入力されるまでは、ビデオエンコーダ29とオーディオエンコーダ19は、エンコードを停止して、出力ストリームの記録メディア33への記録が停止される。具体的には、例えば、ビデオエンコーダ29とオーディオエンコーダ19において、入力されるビデオデータとオーディオデータを破棄する。
記録開始指示87が入力されると、ビデオエンコーダ29がエンコード処理を再開する。最初に出力するビデオフレーム74の先頭が記録開始位置87となる。このとき、内部バッファ16からAV停止位置差分情報95に相当する量のオーディオデータを削除する(図2のステップ55)。これは、オーディオ開始位置の調整97にあたる。記録開始指示87後、初めにエンコードを開始されたビデオフレーム74の先頭を起点として、内部バッファから、上記AV停止位置差分情報95に相当する量のオーディオデータが削除されるので、オーディオのエンコードはAV停止位置差分情報95の分だけ遅れて開始される。
編集で削除される領域83によって分割された前半ビデオストリーム82と後半ビデオストリームを繋ぎ合せて出力ビデオストリーム81が形成され出力される。オーディオ側でも同様に、編集で削除される領域93によって分割された前半オーディオストリーム92と後半オーディオストリーム94を繋ぎ合せて出力オーディオストリーム91が形成され出力される。これにより、スプライシング処理が完結する。
前半ビデオストリーム82と前半オーディオストリーム92は、編集点において、AV停止位置差分情報95の分のずれが生じている。そのずれであるAV停止位置差分情報95に相当する量のオーディオデータを、後半ビデオストリーム84の先頭を起点として、後半ビデオストリーム94の先頭部分において削除しているので、ビデオストリームと開始位置の調整された後半オーディオストリームとのAV同期ずれは、オーディオのサンプリング周期単位の精度で抑えられる。
なお、図5は、理解を容易にするために、入力ストリームの1フレームあたりの長さと、出力ストリームの1フレームあたりの長さを等しいものとし、入力ストリームに付与されていたタイムスタンプをそのまま出力ストリームで引き継ぐ場合について説明した。トランスコーダの場合、1フレームあたりの長さは、入力ストリームと出力ストリームで異なるのが一般的であるが、上記の説明は、その場合についても同様に妥当する。また、タイムスタンプについて、入力ストリームに付与されていたタイムスタンプを引き継がずに、出力ストリームで改めて付与する場合がある。このときは、図5に示した例と異なり、出力ストリームにおいて、編集点の前後でタイムスタンプを連続させることができる。このような場合であっても、上記の説明は、同様に妥当する。
〔別の実施形態(タイムスタンプを利用したずれ量の調整)〕
代表的な実施の形態においては、図1に示した機能ブロック図を前提として実施形態を説明したが、スプライシングにおいて前半ストリームの末尾と後半ストリームの先頭のタイムスタンプが、以下に示すように正確に制御されれば、バッファが別の形態で実施されていても、同じ作用効果を奏する。
まず、代表的な実施の形態の説明で用いた図5に示す例において、編集点前後のビデオフレームとオーディオフレームのタイムスタンプの関係を説明する。
前半ビデオストリームの末尾のビデオフレーム72のタイムスタンプは20800、ビデオフレームの長さは1300であるので、ビデオ記録停止位置86は22100となる。また、前半オーディオストリームの末尾のオーディオフレーム73のタイムスタンプは21800、オーディオフレームの長さは1000であるので、オーディオ記録停止位置96は22800となる。したがって、AV停止位置の差分情報95は、オーディオ記録停止位置96の22800からビデオ記録停止位置86の22100を引いた700となる。
図5に示した例では、後半ビデオストリームの先頭フレームのタイムスタンプは27300である。この時点を起点として、上で計算したAV停止位置の差分情報95の700に相当するオーディオデータが、内部バッファ16から削除される。このため、後半オーディオストリームの先頭オーディオフレームのタイムスタンプは、27300+700=28000として算出される。後半ストリームにおいて、ビデオストリームが開始される27300から、オーディオ開始位置の調整のため700だけ遅らせてオーディオストリームを開始している。オーディオストリームが開始された時点でビデオストリームは、28000に対応するビデオデータを出力することになるので、ビデオフレームとオーディオフレームの同期ずれはない。
これを、一般化すると、以下のようになる。
前半オーディオストリーム92と後半オーディオストリーム94とを繋ぎ合せて出力オーディオストリーム91を出力する際に、後半オーディオストリームの先頭のフレームのタイムスタンプATSH75は、
ATSH=VTSH+{(ATST+ALF)−(VTST+VLF)}
により算出される。
ここで、VTSTは前半ビデオストリーム82の末尾のフレーム72のタイムスタンプ、VFLは前半ビデオストリームの1フレームあたりの長さ、ATSTは前半オーディオストリーム92の末尾のフレーム73のタイムスタンプ、AFLは前半オーディオストリームの1フレームあたりの長さであり、VTSHは後半ビデオストリーム84の先頭のフレーム74のタイムスタンプである。
算出した前記タイムスタンプATSHに基づいて、前記後半オーディオストリームを構成する複数のオーディオフレームを生成する。
これにより、バッファの実装方法によらず、繋ぎ合せ部分後半のビデオフレームとオーディオフレームの同期ずれを、オーディオデータの1サンプリング周期単位の精度で抑えることができる。
なお、前述のとおり図5は、理解を容易にするために、入力ストリームの1フレームあたりの長さと、出力ストリームの1フレームあたりの長さを等しいものとし、入力ストリームに付与されていたタイムスタンプをそのまま出力ストリームで引き継ぐ場合について説明している。トランスコーダの場合、1フレームあたりの長さは、入力ストリームと出力ストリームで異なるのが一般的であり、タイムスタンプについても、入力ストリームに付与されていたタイムスタンプを引き継がずに、出力ストリームで改めて付与する場合もある。上記のタイムスタンプを利用したずれ量の調整は、このような場合にも同様に妥当する。
〔時間情報付加〕
既に述べた代表的な実施の形態に、外部入力を追加した実施の形態について説明する。図1は、既に外部入力を含んだ機能ブロック図であるので、これを参照して説明する。編集対象のオーディオビデオコンテンツは、記録メディア30にプログラムストリーム(PS)、トランスポートストリーム(TS)などの形式で格納されているコンテンツではなく、外部入力34から入力される。外部入力は一般にタイムスタンプなどの時間情報を付加されていない。
本実施形態では、ビデオ信号処理部20にビデオ時間情報付加部22を設け、セレクタ23と時間情報監視部25を経てビデオエンコーダ29に接続し、オーディオ信号処理部10にオーディオ時間情報付加部12を設け、セレクタ13と入力バッファ14を介してサンプル調整部15に接続する。
外部入力34のビデオデータ88には、ビデオ時間情報付加部22でタイムスタンプに相当する時間情報を付加し、ビデオデコーダ21の出力と同じデータフォーマットにする。セレクタ23でいずれかの入力を選択し、時間情報監視部25を経てビデオエンコーダ29に入力する。
外部入力34のオーディオデータ98には、オーディオ時間情報付加部12でタイムスタンプに相当する時間情報を付加し、オーディオデコーダ11の出力と同じデータフォーマットにする。セレクタ13でいずれかの入力を選択し、入力バッファ14を介してサンプル調整部15に入力する。
図6は、外部入力34から時間情報を持たないデータが入力された場合の、本実施の形態に係るスプライシング処理の概要を示す説明図である。(a)は、時間情報を持たない外部入力データである。フレームに区切られていない場合もあるが、理解を助けるために、フレームに区切って表示してある。(b)に示すように、時間情報付加部12、22において、オーディオデータ88とビデオデータ98に、擬似的にタイムスタンプPTSを生成、付与する。
生成する時間情報は、オーディオとビデオの同期を正しく取ることができる限り、任意である。例えば、外部ビデオ信号88が入力を開始された時点を起点として、先頭フレームにタイムスタンプの初期値を与え、外部オーディオ信号98にも、同じくビデオ信号が入力を開始された時点を起点として、先頭フレームにタイムスタンプの初期値を与えることができる。仮に外部入力のオーディオとビデオで入力開始がずれたとしても、一律にビデオの入力開始時点を起点とすることで、同期ずれを防止することができる。
それ以下のスプライシング処理(c)、出力ストリーム(d)は、図5で示したものと全く同じである。入力されたコンテンツが時間情報を有しているか否かによらず、同じスプライシング処理の方法を適用することができる点で有効である。
時間情報付加部12、22を備えたことにより、サンプル調整部15と時間情報監視部25を、オーディオデータとビデオデータそれぞれがタイムスタンプなどの時間情報を有しているか否かによって動作を変えるのではなく、一律に時間情報を有していることを前提に設計し、動作させることができるので、回路またはソフトウェアを簡略化することができる。
〔フェードアウト・フェードイン〕
スプライシング処理の結果、入力ストリームにおいて連続していなかったフレームが、出力ストリームで連続することになる。ビデオストリームは突然のシーンチェンジは大きな問題ではないが、オーディオでは不快な異音となる場合がある。そこで、スプライシング処理の前半オーディオフレームの末尾にフェードアウト処理を施し、後半オーディオストリームの先頭にフェードイン処理を施すと良い。
フェードアウト、フェードイン処理は、符号化されていないサンプル単位のオーディオデータを対象に行う必要がある。また、本発明では、内部バッファ16のデータを削除した後で、後半オーディオストリームの先頭が決まるので、フェードイン処理は、内部バッファ16とオーディオエンコーダ19との間で実施するのが、好適である。図1は、フェードイン・フェードアウト処理部18を出力バッファ17とオーディオエンコーダ19との間に備えた実施の形態である。
フェードイン・フェードアウト処理部を備えることにより、スプライシング処理の編集点における、異音の発生を抑えることができる。
〔レコーダ〕
図8は、本発明の実施の形態に係るスプライシング処理を行うトランスコーダを搭載した、レコーダのブロック図である。
レコーダ1は、トランスコーダ部2と再生部3を含んで構成され、入力源4と出力先5とディスプレイ6が接続されている。トランスコーダ部2には、本発明の実施の形態に係るスプライシング処理を行うトランスコーダを搭載することができる。トランスコーダ部2の内部ブロックは、簡略化するため、本発明の実施の形態に必要な構成を省略して図示している。
入力源4は、例えば、ハードディスクドライブHDD、デジタル放送メディア、USBストレージデバイス、DVDなどのパッケージメディアである。出力先5は、例えば、ハードディスクドライブHDD、SDメモリなどの記録メディアである。入力源4に格納されているコンテンツを読み出して、トランスコーダ部2でコード変換し、出力先5に出力する。トランスコーダ部2は、前述の実施の形態に係るスプライシング処理、時間情報付加、フェードアウト・フェードインなどの処理を行う。
入力源4のコンテンツは、再生部3によってデコードされ、テレビなどのディスプレイ6に表示することができる。
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、内部バッファ、入力バッファ、出力バッファは、それぞれ独立した記憶デバイスとして実装しても良いし、CPUからアクセス可能な一つのメモリ上にそれぞれ割り当てられた記憶領域として実装してもよい。また、バッファ上のデータの削除は、必ずしも現実に削除する必要はなく、バッファ上のデータの有効性を示すポインタの値を変えることにより、削除と同様の作用をさせることができる。
また、記録メディアから読み出し、スプライシング処理を施して記録メディアに格納する処理を代表的に例示して説明したが、記録される代わりにまたは記録されるのと並行して再生(表示)、あるいは伝送されてもよい。
10 オーディオ信号処理部
11 オーディオデコーダ
12 オーディオ時間情報付加部
15 サンプル調整部
16 内部バッファ
18 フェードアウト・フェードイン部
19 オーディオエンコーダ
20 ビデオ信号処理部
21 ビデオデコーダ
22 ビデオ時間情報付加部
25 時間情報監視部
29 ビデオエンコーダ
30、33 記録メディア
34 外部入力
36 システム制御部
53 AV記録停止位置差分情報計算処理ステップ
55 内部バッファからAV記録停止位置差分情報に相応するデータを破棄するステップ
60 データ入力処理ステップ
65 データ出力処理ステップ
80 入力ビデオストリーム
86 ビデオ記録停止位置
87 記録開始位置
90 入力オーディオストリーム
95 AV停止位置の差分
96 オーディオ記録停止位置

Claims (17)

  1. 複数の入力オーディオフレームからなる入力オーディオストリームと、複数の入力ビデオフレームからなる入力ビデオストリームと、記録停止指示と、記録開始指示が入力され、複数の出力オーディオフレームからなる出力オーディオストリームと、複数の出力ビデオフレームからなる出力ビデオストリームを出力する情報処理装置であって、
    前記入力オーディオストリームをデコードして得たオーディオデータをバッファに格納するオーディオ入力部と、
    前記バッファに格納されているオーディオデータをエンコードして前記出力オーディオフレームとして出力するオーディオエンコーダと、
    前記入力ビデオストリームをデコードして得たビデオデータをエンコードして前記出力ビデオフレームとして出力するビデオエンコーダとを備え、
    前記記録停止指示が入力された時に、前記ビデオエンコーダから出力されている出力ビデオフレームの末尾と、前記記録停止指示が入力された時に、前記オーディオエンコーダから出力されている出力オーディオフレームの末尾とのずれ量を算出し、
    前記ずれ量に相当するオーディオデータを前記バッファから削除する、
    情報処理装置。
  2. 請求項1において、
    前記記録停止指示が入力された時に、前記オーディオエンコーダから出力されている出力オーディオフレームを出力した後に、前記オーディオエンコーダの動作を停止し、
    前記記録停止指示が入力された時に、前記ビデオエンコーダから出力されている出力ビデオフレームを出力した後に、前記ビデオエンコーダの動作を停止し、
    前記記録開始指示が入力されたとき、前記ずれ量に相当するオーディオデータを前記バッファから削除した後に、前記オーディオエンコーダの動作と前記ビデオエンコーダの動作を再開する、
    情報処理装置。
  3. 請求項1において、
    前記記録停止指示が入力された時に前記ビデオエンコーダから出力されている出力ビデオフレームの時間情報と、前記記録停止指示が入力された時に前記オーディオエンコーダから出力されている出力オーディオフレームの時間情報とに基づいて、前記ずれ量を算出し、
    前記記録開始指示が入力されたとき、前記ビデオエンコーダの動作を開始することにより最初に出力される出力ビデオフレームの先頭に対応するオーディオデータを始点として、前記ずれ量に相当する量のオーディオデータを、前記バッファから削除する、
    情報処理装置。
  4. 請求項1において、
    さらに外部ビデオ入力と外部オーディオ入力とが入力され、
    前記オーディオ入力部は、前記入力オーディオストリームをデコードして得たオーディオデータに代えて、前記外部オーディオ入力にオーディオ時間情報を付加したオーディオデータをバッファに格納し、
    前記ビデオエンコーダは、前記入力ビデオストリームをデコードして得たビデオデータに代えて、前記外部ビデオ入力にビデオ時間情報を付加したビデオデータをエンコードして前記出力ビデオフレームとして出力する、
    情報処理装置。
  5. 請求項4において、
    前記オーディオ時間情報と前記ビデオ時間情報を、前記外部ビデオ入力の先頭のビデオデータを起点として算出する、
    情報処理装置。
  6. 請求項1において、
    フェードアウト・フェードイン処理部をさらに備え、
    前記フェードアウト・フェードイン処理部は、前記記録停止指示が入力された時に前記オーディオエンコーダから出力されている出力オーディオフレームのオーディオデータにフェードアウト処理を施し、前記記録開始指示が入力された後に前記オーディオエンコーダから最初に出力される出力オーディオフレームのオーディオデータにフェードイン処理を施す、
    情報処理装置。
  7. 複数の入力オーディオフレームからなる入力オーディオストリームと、複数の入力ビデオフレームからなる入力ビデオストリームとが入力され、
    前記入力ビデオストリームの一部を削除して残ったビデオデータに基づく前半ビデオストリームと後半ビデオストリームとを繋ぎ合せて出力ビデオストリームを出力し、
    前記前半ビデオストリームに対応する前半オーディオストリームと前記後半ビデオストリームに対応する後半オーディオストリームとを繋ぎ合せて出力オーディオストリームを出力する情報処理方法であって、
    前記前半ビデオストリームの末尾のフレームのタイムスタンプをVTSTとし、
    前記前半オーディオストリームの末尾のフレームのタイムスタンプをATSTとし、
    前記前半ビデオストリームの1フレームあたりの長さをVFLとし、
    前記前半オーディオストリームの1フレームあたりの長さをAFLとし、
    前記後半ビデオストリームの先頭のフレームのタイムスタンプをVTSHとするとき、
    前記後半オーディオストリームの先頭のフレームのタイムスタンプATSHを、
    ATSH=VTSH+{(ATST+ALF)−(VTST+VLF)}により算出し、
    算出した前記タイムスタンプATSHに基づいて、前記後半オーディオストリームを構成する複数のオーディオフレームを生成する、
    情報処理方法。
  8. 請求項7において、
    前記複数の入力オーディオフレームにタイムスタンプを付与し、前記複数の入力ビデオフレームにタイムスタンプを付与する、
    情報処理方法。
  9. 請求項7において、
    前記前半オーディオストリームの末尾のオーディオフレームにフェードアウト処理を施し、
    前記後半オーディオストリームの先頭のオーディオフレームにフェードイン処理を施す、
    情報処理方法。
  10. 入力ビデオデータと入力オーディオデータが入力され、記録停止指示と記録開始指示が入力され、出力ビデオフレームと出力オーディオフレームを出力する半導体装置であって、
    内部バッファを有するサンプル調整部と、ビデオエンコーダ部と、オーディオエンコーダ部を備え、
    前記ビデオエンコーダ部は、前記入力ビデオデータを前記出力ビデオフレーム単位でエンコードして出力し、
    前記サンプル調整部は、前記入力オーディオデータを前記内部バッファに格納し、
    前記サンプル調整部は、前記記録停止指示が入力された時点でエンコードされていた出力ビデオフレームの末尾と、前記記録停止指示が入力された時点でエンコードされていた出力オーディオフレームの末尾との差分情報を求め、
    前記サンプル調整部は、前記内部バッファに格納されているオーディオデータから、前記差分情報に相当する量のオーディオデータを削除し、
    前記オーディオエンコーダ部は、前記内部バッファに出力オーディオフレームの1フレーム分のオーディオデータを要求し、前記内部バッファから入力された出力オーディオフレーム単位のオーディオデータをエンコードして出力する、
    半導体装置。
  11. 請求項10において、
    前記ビデオエンコーダ部は、前記記録停止指示が入力された時点でエンコードされていた出力ビデオフレームを出力した後に前記エンコードを停止し、前記記録開始指示が入力されたときに前記エンコードを開始し、
    前記オーディオエンコーダ部は、前記記録停止指示が入力された時点でエンコードされていた出力オーディオフレームを出力した後に前記エンコードを停止し、前記記録開始指示が入力されたときに、前記サンプル調整部に対して、出力オーディオフレームの1フレーム分のオーディオデータを要求する、
    半導体装置。
  12. 請求項10において、
    前記サンプル調整部は、前記記録停止指示が入力された時点で前記ビデオエンコーダ部がエンコードしていた前記出力ビデオフレームの時間情報と、前記記録停止指示が入力された時点で前記オーディオエンコーダ部がエンコードしていた出力オーディオフレームの時間情報とに基づいて、前記差分情報を算出し、
    前記サンプル調整部は、前記記録開始指示が入力されたとき、前記内部バッファに格納されているオーディオデータから、前記ビデオエンコーダ部がエンコードを開始することにより出力される出力ビデオフレームの先頭に対応するオーディオデータを始点として前記差分情報に相当する量のオーディオデータを削除する、
    半導体装置。
  13. 請求項10において、
    複数の入力ビデオフレームからなる入力ビデオストリームと複数の入力オーディオフレームからなる入力オーディオストリームを入力とし、ビデオデコーダ部とオーディオデコーダ部をさらに備え、
    前記ビデオデコーダ部は、前記入力ビデオストリームをデコードして前記入力ビデオデータとして前記ビデオエンコーダ部に入力し、
    前記オーディオデコーダ部は、前記入力オーディオストリームをデコードして前記入力オーディオデータとして前記内部バッファに入力する、
    半導体装置。
  14. 請求項13において、
    前記内部バッファのサイズは、前記入力オーディオフレームの2フレーム以上であり、前記出力オーディオフレームの1フレーム以上である、
    半導体装置。
  15. 請求項13または14において、
    外部ビデオ入力と外部オーディ入力がさらに入力され、ビデオ時間情報付加部とオーディオ時間情報付加部とをさらに備え、
    前記ビデオ時間情報付加部が前記外部ビデオ入力にビデオ時間情報を付加して得たビデオデータと、前記ビデオデコーダ部の出力とを選択的に前記ビデオエンコーダ部に入力するビデオ入力セレクタと、
    前記オーディオ時間情報付加部が前記外部オーディ入力にオーディオ時間情報を付加して得たオーディオデータと前記オーディオデコーダ部の出力とを選択的に前記内部バッファに入力するオーディオ入力セレクタとをさらに備える、
    半導体装置。
  16. 請求項15において、
    前記ビデオ時間情報付加部は、前記外部ビデオ入力の先頭のビデオデータを起点として、前記ビデオ時間情報を算出して付加し、
    前記オーディオ時間情報付加部は、前記外部ビデオ入力の先頭のビデオデータが入力された時点を起点として、前記オーディオ時間情報を算出して付加する、
    半導体装置。
  17. 請求項10において、
    フェードアウト・フェードイン処理部をさらに備え、
    前記フェードアウト・フェードイン処理部は、前記記録停止指示が入力された時点でエンコードされていた出力オーディオフレームのオーディオデータにフェードアウト処理を施し、前記記録開始指示が入力された後最初に前記オーディオエンコーダ部がエンコードを開始するオーディオフレームのオーディオデータにフェードイン処理を施す、
    半導体装置。
JP2012010851A 2012-01-23 2012-01-23 情報処理装置、情報処理方法及び半導体装置 Expired - Fee Related JP5775006B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012010851A JP5775006B2 (ja) 2012-01-23 2012-01-23 情報処理装置、情報処理方法及び半導体装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012010851A JP5775006B2 (ja) 2012-01-23 2012-01-23 情報処理装置、情報処理方法及び半導体装置

Publications (2)

Publication Number Publication Date
JP2013150237A JP2013150237A (ja) 2013-08-01
JP5775006B2 true JP5775006B2 (ja) 2015-09-09

Family

ID=49047319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012010851A Expired - Fee Related JP5775006B2 (ja) 2012-01-23 2012-01-23 情報処理装置、情報処理方法及び半導体装置

Country Status (1)

Country Link
JP (1) JP5775006B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113852859A (zh) * 2021-08-19 2021-12-28 北京臻观数智科技有限公司 一种针对非标格式视频流零拷贝脱壳的方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277787B2 (ja) * 1995-12-21 2002-04-22 ソニー株式会社 音声・映像データ記録・再生装置
JP4151177B2 (ja) * 1998-11-10 2008-09-17 ソニー株式会社 データ処理装置及び方法
JP2001160968A (ja) * 1999-09-20 2001-06-12 Matsushita Electric Ind Co Ltd 符号化記録装置
JP3643735B2 (ja) * 1999-09-27 2005-04-27 三洋電機株式会社 オーディオ信号符号化装置およびオーディオ信号符号化方法
JP4411499B2 (ja) * 2000-06-14 2010-02-10 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
JP4534168B2 (ja) * 2001-09-27 2010-09-01 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2004248104A (ja) * 2003-02-14 2004-09-02 Sony Corp 情報処理装置及び情報処理方法
JP3675465B2 (ja) * 2003-10-29 2005-07-27 ソニー株式会社 符号化制御装置および符号化システム
JP2006197401A (ja) * 2005-01-14 2006-07-27 Sony Corp 情報処理装置および方法、並びにプログラム
WO2008126157A1 (en) * 2007-04-13 2008-10-23 Thomson Licensing An editing apparatus and an editing method

Also Published As

Publication number Publication date
JP2013150237A (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
US9578290B2 (en) Video data reproduction system
US10129587B2 (en) Fast switching of synchronized media using time-stamp management
JP6737922B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP3900050B2 (ja) データ処理装置、ビデオカメラ及びデータ処理方法
US8676038B2 (en) Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program
KR20030012761A (ko) 데이터 다중화 방법, 데이터 기록 매체, 데이터 기록 장치및 데이터 기록 프로그램
JP2008079050A (ja) 再生方法、再生プログラムおよび再生装置
JP2006324848A (ja) 情報処理装置及び情報処理方法
JP4552802B2 (ja) 記録装置、記録方法、記録方法のプログラム及び記録方法のプログラムを記録した記録媒体
JP3827705B1 (ja) 映像記録装置及びシーンチェンジ抽出方法
JP4902935B2 (ja) 情報処理装置、情報処理方法、プログラム、及び記録媒体
US8873641B2 (en) Moving picture coding apparatus
JP5775006B2 (ja) 情報処理装置、情報処理方法及び半導体装置
US6999090B2 (en) Data processing apparatus, data processing method, information storing medium, and computer program
JP2009290768A (ja) 映像処理装置および映像処理方法
JP6089970B2 (ja) 映像データ削減装置および再生装置
JP2003324690A (ja) 映像記録再生装置
JP2006236475A (ja) 符号化データ再生装置
WO2018211613A1 (ja) 符号化映像再生装置および符号化映像再生方法
US20090110364A1 (en) Reproduction apparatus and reproduction method
JP2009218934A (ja) 映像再生装置及び映像再生方法
JP2005117556A (ja) トランスポートストリーム編集方法及び装置
JP2004248104A (ja) 情報処理装置及び情報処理方法
CN117061813A (zh) 媒体回放方法与相关媒体回放装置
JP2010278815A (ja) 映像圧縮符号化データの編集方法、編集装置及び編集用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150702

R150 Certificate of patent or registration of utility model

Ref document number: 5775006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees