JP5785082B2 - オーディオ・ストリームを合成する装置、方法及びプログラム - Google Patents

オーディオ・ストリームを合成する装置、方法及びプログラム Download PDF

Info

Publication number
JP5785082B2
JP5785082B2 JP2011527483A JP2011527483A JP5785082B2 JP 5785082 B2 JP5785082 B2 JP 5785082B2 JP 2011527483 A JP2011527483 A JP 2011527483A JP 2011527483 A JP2011527483 A JP 2011527483A JP 5785082 B2 JP5785082 B2 JP 5785082B2
Authority
JP
Japan
Prior art keywords
group
access units
unit
access
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011527483A
Other languages
English (en)
Other versions
JPWO2011021239A1 (ja
Inventor
庸介 高田
庸介 高田
Original Assignee
ジーブイビービー ホールディングス エス.エイ.アール.エル.
ジーブイビービー ホールディングス エス.エイ.アール.エル.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーブイビービー ホールディングス エス.エイ.アール.エル., ジーブイビービー ホールディングス エス.エイ.アール.エル. filed Critical ジーブイビービー ホールディングス エス.エイ.アール.エル.
Publication of JPWO2011021239A1 publication Critical patent/JPWO2011021239A1/ja
Application granted granted Critical
Publication of JP5785082B2 publication Critical patent/JP5785082B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、圧縮データからなるストリームを合成する装置、方法及びプログラムに関し、例えば、オーディオ・データを圧縮して生成したオーディオ・ストリームを合成する装置、方法及びプログラムに関する。
オーディオ圧縮では、オーディオ信号を所定数のデータ・サンプル(以後、「オーディオ・サンプル」と呼ぶ)からなるブロックに分割し、さらに、ブロック毎にそれぞれが所定の周波数成分を表す周波数信号に変換して符号化してオーディオ圧縮データを生成している。ここで、例えば、AAC(Advanced Audio Coding:アドバンスト・オーディオ・コーディング)に準拠した符号化処理などでは、より滑らかなオーディオ圧縮データを得るために、隣接するブロックを部分的にオーバーラップさせる処理(以後、「オーバーラップ変換」と呼ぶ)を行っている(例えば、非特許文献1参照)。
また、オーディオ圧縮データからなるオーディオ・ストリームに対しては、バッファ管理上の制約を満たすため、CBR(Constant Bit−Rate:固定ビット・レート)やABR(Average Bit−Rate:平均ビット・レート)などのレート・コントロールが必要とされている(例えば、非特許文献1、2参照)。
オーディオ編集では、オーディオ圧縮データからなるオーディオ・ストリームを編集することが頻繁に行われており、かかるオーディオ・ストリームを繋ぎ合わせることもある。オーディオ圧縮データは所定数のオーディオ・サンプルからなるブロック毎に部分的にオーバーラップ変換をして生成されているため、異なるオーディオ・ストリームを単純に接合すると、オーディオ・ストリームのデータの継ぎ目部分で不完全に復号されるフレームが発生してアーティファクト(歪み)が発生することがある。さらに、オーディオ圧縮データを安易に接合すると、バッファ管理上の制約を破り、バッファのオーバーフローやアンダーフローが発生ることもある。このような問題を回避するため、従来、異なるオーディオ・ストリームを接合する場合には、一度すべてのオーディオ・ストリームを復号した後に再び符号化する必要があった。
一方で、MPEG(Moving Picture Experts Group)符号化方式で符号化された画像データ(以後、「MPEG画像データ」と呼ぶ)同士を、MPEG画像データの継ぎ目に限定して再符号化して記憶媒体に記憶させるMPEGデータの記憶方法がある(特許文献1参照)。この技術によると、二つの異なるMPEG画像データを接合する際、所定の区間におけるVBV(Video Buffer Verifier)バッファの占有値に関する情報を事前に記憶しておき、この情報に基づいてオーバーフローやアンダーフローが起きないようにしてVBVバッファの管理をしている。
上述のように、複数の異なるオーディオ・ストリームを接合する場合、すべてのオーディオ・ストリームを再符号化することは、非効率で時間と計算コストがかかるという課題があった。
また、特許文献1に開示されたMPEGデータの記憶方法は、VBVバッファの要件を満たしながら、継ぎ目に限定して再符号化をして異なるMPEG画像データを接合するものであるが、オーバーラップ変換を行って生成された圧縮データの接合に関する課題を解決するものではない。
そこで本発明は、オーバーラップ変換を行って生成された圧縮データのストリームを、すべての圧縮データをオーディオ・フレームに復号して再符号化することなく滑らかに接合するストリーム合成装置、ストリーム合成方法及びストリーム合成プログラムを提供することを目的とする。
本発明の第1の態様によると、オーバーラップ変換を行って生成された圧縮データからなる二つのオーディオ・ストリームを接合して一つのオーディオ・ストリームを生成するオーディオ・ストリーム合成装置であって、前記二つのオーディオ・ストリームを復号するための単位となるアクセス・ユニットをそれぞれ第1群のアクセス・ユニットと第2群のアクセス・ユニットとし、前記二つのオーディオ・ストリームを復号して得られるフレームをそれぞれ第1群のフレームと第2群のフレームとし、前記第1群のフレームと前記第2群のフレームを混合して生成した混合フレームを符号化して得られるアクセス・ユニットを第3群のアクセス・ユニットとすると、前記オーディオ・ストリーム合成装置は、
第1群のアクセス・ユニットと第2群のアクセス・ユニットとを入力する入力部と、前記入力部によって入力された第1群のアクセス・ユニットを復号して第1群のフレームを生成し、前記第2群のアクセス・ユニットを復号して第2群のフレームを生成する復号部と、前記復号部によって復号された複数の第1群のフレームと複数の第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットを基準として、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成し、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットとを、前記所定の数の第3群のアクセス・ユニットを継ぎ目として、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットと、前記所定の数の第3群のアクセス・ユニットとの境界において隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合する合成部と、を備える、ストリーム合成装置を提供する。
上述のストリームはオーバーラップ変換を行って生成されているため、個々のフレームを復号するための単位となるアクセス・ユニットのうち、隣接する2つのアクセス・ユニットは、その2つのアクセス・ユニットに共通する同一のフレームの情報を分配し合っている。この結果、一つのフレームを正しく復号するためには、該フレームの情報を分配して有する、隣接する前後の2つのアクセス・ユニットが必須となる。従来、異なるストリームを接合する場合、個々のフレームを復号するための単位となるアクセス・ユニットのうち、隣接する2つのアクセス・ユニットにそれらに共通するフレームを復号するための必須の情報が分配されていることに着目することはなかった。このため、異なるストリームどうしを単純に接合しようとすると、ストリームとストリームとの境界で、隣接する2つのアクセス・ユニットは各々、同一のフレームを復号するための情報ではなく、異なるフレームを復号するための情報の一部を有するようになる。このため、境界部の2つのアクセス・ユニットから不完全に復号されるフレームが発生するようになり、この不完全に復号されるフレームがアーティファクトの原因となった。本発明のストリーム合成装置は上記構成によって、合成部が、複数の第1群のフレームと複数の第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットに基づいて、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、二つのストリームの継ぎ目となる第3群のアクセス・ユニットを生成するので、すべての圧縮データをフレームに復号して再び符号化(以後、「再符号化」と呼ぶ)する必要はない。さらに合成部が、こうして生成した所定の数の第3群のアクセス・ユニットを継ぎ目として、二つのストリームと所定の数の第3群のアクセス・ユニットとの境界で、隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合するので、すべての圧縮データをフレームに復号して再符号化せずとも、アーティファクトの発生しない滑らかな接合を実現できる。
例えば、本発明のストリーム合成装置において、前記合成部は、前記複数の第1群のフレームのうち、末尾のフレームを含む所定の数の第1群のフレームと、前記複数の第2群のフレームのうち、先頭のフレームを含む所定の数の第2群のフレームとを、前記所定の数の第1群のフレームの先頭から少なくとも1以上のフレームと、前記所定の数の第2群のフレームの末尾から少なくとも1以上のフレームとを除くフレームどうしが相互に重なるように混合して、前記所定の数よりも大きい数の混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成する符号化部を含むようにしてもよい。さらに、本発明のストリーム合成装置において、前記合成部は、前記複数の第1群のアクセス・ユニットと前記所定の数の第3群のアクセス・ユニットとを、前記所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭のアクセス・ユニットと前記所定の数の第3群のアクセス・ユニットの先頭のアクセス・ユニットとが隣接するように接合し、前記複数の第2群のアクセス・ユニットと前記所定の数の第3群のアクセス・ユニットとを、前記所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾のアクセス・ユニットと前記所定の数の第3群のアクセス・ユニットの末尾のアクセス・ユニットとが隣接するように接合する接合部を含むようにしてもよい。
このような構成によって、本発明のストリーム合成装置は、二つのストリームの継ぎ目となる第3群のアクセス・ユニットを、再符号化されず出力されるアクセス・ユニットの一部を含むようにして第1群のアクセス・ユニットと第2群のアクセス・ユニットとを復号して、それぞれ第1群のフレームと第2群のフレームを生成し、これらの第1群のフレームと第2群のフレームとを混合して再符号化して生成することができる。この第3群のアクセス・ユニットを継ぎ目部分として用いることによって、再符号化されるストリームと再符号化されないストリームとの境界で隣接する2つのアクセス・ユニットには、通常に符号化された他の部分と同様に、それらに共通する同一のフレームを復号するための情報が分配されているため、不完全に復号されるフレームが発生することがない。従って、オーバーラップ変換を行って生成された異なる圧縮データのストリームどうしを接合する場合であっても、すべての圧縮データをフレームに復号して再符号化せずとも、アーティファクトの発生しない滑らかな接合を実現できる。このため、すべての圧縮データをオーディオ・フレームに復号して再符号化することなく滑らかに接合することが可能となる。
さらに、本発明のストリーム合成装置において、前記符号化部は、前記所定の数の第3群のアクセス・ユニットのバッファの初期占有量と最後の占有量が、前記所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭部分のアクセス・ユニットのバッファの占有量と、前記所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾部分のアクセス・ユニットのバッファの占有量と一致するように、前記第3群のアクセス・ユニットの符号化を行うようにしてもよい。
このような構成によって、本発明のストリーム合成装置は、二つのストリームのそれぞれを構成する第1群のアクセス・ユニットと第2群のアクセス・ユニットとにおいて、再符号化されずに接合される第1群のアクセス・ユニットの末尾の部分となる、所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭のアクセス・ユニットのバッファの占有量と、再符号化される接合されるストリームの第2群のアクセス・ユニットの末尾の部分となる、所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾から2番目のアクセス・ユニットのバッファの占有量とが、それぞれ、再符号化して生成された第3群のアクセス・ユニットのバッファの初期占有量と最後の占有量と等しくなるようにレート制御して、第3群のアクセス・ユニットを継ぎ目として接合することによって、合成ストリームのバッファの占有量の変化を連続的にすることができる。この第3群のアクセス・ユニットを継ぎ目部分として用いることによって、別々にレート制御された異なるストリーム間のバッファの占有量を連続的に保ち、合成ストリームにおいてバッファの制約を満たすように合成ストリームを合成できる。
本発明のストリーム合成装置において、前記合成部は、前記第1群のフレームと前記第2群のフレームとをクロスフェードして混合する混合部を含んでもよい。
このような構成によって、本発明のストリーム合成装置は、この第3群のアクセス・ユニットを継ぎ目部分として用いることによって、ストリームどうしを一層滑らかに接合することができる。
本発明の第2の態様によると、オーバーラップ変換を行って生成された圧縮データからなる二つのオーディオ・ストリームを接合して一つのオーディオ・ストリームを生成するオーディオ・ストリーム合成方法であって、前記二つのオーディオ・ストリームを復号するための単位となるアクセス・ユニットをそれぞれ第1群のアクセス・ユニットと第2群のアクセス・ユニットとし、前記二つのオーディオ・ストリームを復号して得られるフレームをそれぞれ第1群のフレームと第2群のフレームとし、前記第1群のフレームと前記第2群のフレームを混合して生成した混合フレームを符号化して得られるアクセス・ユニットを第3群のアクセス・ユニットとすると、前記オーディオ・ストリーム合成方法は、第1群のアクセス・ユニットと第2群のアクセス・ユニットとを入力する入力ステップと、前記入力ステップで入力した第1群のアクセス・ユニットを復号して第1群のフレームを生成し、前記第2群のアクセス・ユニットを復号して第2群のフレームを生成する復号ステップと、前記復号ステップで復号した複数の第1群のフレームと複数の第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットを基準として、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成し、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットとを、前記所定の数の第3群のアクセス・ユニットを継ぎ目として、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットと、前記所定の数の第3群のアクセス・ユニットとの境界において隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合する合成ステップと、を備える、ストリーム合成方法を提供する。
本発明の第3の態様によると、オーバーラップ変換を行って生成された圧縮データからなる二つのオーディオ・ストリームを接合して一つのオーディオ・ストリームを生成するオ処理をコンピュータに実行させるオーディオ・ストリーム合成プログラムであって、前記二つのオーディオ・ストリームを復号するための単位となるアクセス・ユニットをそれぞれ第1群のアクセス・ユニットと第2群のアクセス・ユニットとし、前記二つのオーディオ・ストリームを復号して得られるフレームをそれぞれ第1群のフレームと第2群のフレームとし、前記第1群のフレームと前記第2群のフレームを混合して生成した混合フレームを符号化して得られるアクセス・ユニットを第3群のアクセス・ユニットとすると、前記オーディオ・ストリーム合成プログラムは、第1群のアクセス・ユニットと第2群のアクセス・ユニットとを入力する入力ステップと、前記入力ステップで入力した第1群のアクセス・ユニットを復号して第1群のフレームを生成し、前記第2群のアクセス・ユニットを復号して第2群のフレームを生成する復号ステップと、前記復号ステップで復号した複数の第1群のフレームと複数の第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットを基準として、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成し、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットとを、前記所定の数の第3群のアクセス・ユニットを継ぎ目として、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットと、前記所定の数の第3群のアクセス・ユニットとの境界において隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合する合成ステップと、をコンピュータに実行させる、オーディオ・ストリーム合成プログラムを提供する。
本発明によれば、オーバーラップ変換を行って生成された圧縮データのストリームを、すべての圧縮データを再符号化することなく、効率的に、滑らかに接合することができる。
本発明の第1の実施の形態のストリーム合成装置のブロック図である。 図1のストリーム合成装置が実行する動作を説明するフローチャートである。 オーディオ・フレームとアクセス・ユニットとの関係を示す図である。 バッファの状態を示す図である。 ストリームAとストリームBとを接合する一例を示す図である。 バッファの状態を示す図である。 本発明の第2の実施の形態のストリーム合成装置のブロック図である。 図7のストリーム合成装置が実行する動作を説明するフローチャートである。 ストリームAとストリームBとを接合する場合の擬似コードを示す図である。
以下、本発明の実施の形態について説明する。
<第1の実施の形態>
<1.ストリーム接合処理の概要>
図1は、本発明のストリーム合成を実行する代表的な実施の形態のストリーム合成装置10の概略機能ブロック図である。まず、図1のストリーム合成装置10を用いて、本発明のストリーム合成の基本的な原理について説明する。
ストリーム合成装置10は、第1のストリームAと第2のストリームBを入力する入力部1と、入力した第1のストリームAと第2のストリームBをそれぞれ復号して、第1群のフレームと第2群のフレームとを生成する復号部である復号部2と、第1群のフレームと第2群のフレームとから第3のストリームCを生成する合成部3とを備える。合成部はフレームを再符号化する符号化部(図示していない)を含む。ここで、それぞれ第1のストリームAと第2のストリームBを復号して得られる個々のフレームを「第1群のフレーム」と「第2群のフレーム」と呼ぶことにする。
ここで、第1のストリームAと第2のストリームBは、信号をサンプリングして得たフレームにオーバーラップ変換を行って符号化して生成された圧縮データのストリームとする。
図2は、ストリーム合成装置10がストリームを合成する動作を説明するフローチャートである。ここで、フレームを復号する際の圧縮データの基本単位を「アクセス・ユニット」と呼ぶ。本明細書において、第1のストリームAを復号するための単位となる個々のアクセス・ユニットの集合を「第1群のアクセス・ユニット」、第2のストリームBを復号するための単位となる個々のアクセス・ユニットの集合を「第2群のアクセス・ユニット」とし、第1群のフレームと第2群のフレームを混合して生成した混合フレームを符号化して得られるアクセス・ユニットの集合を「第3群のアクセス・ユニット」とする。各処理は、ストリーム合成装置10の、図示されていないCPU(CentraL Processing Unit)などのコントローラおよび関連するプログラムの制御によって実行されるものとする。
ステップS1で、第1のストリームAを構成する第1群のアクセス・ユニットと、第2のストリームBを構成する第2群のアクセス・ユニットが、それぞれ入力部1に入力される。
ステップS2で、復号部2は、この入力部1に入力された圧縮データの第1のストリームAと第2のストリームBから、それぞれ第1群のアクセス・ユニットと第2群のアクセス・ユニットとを復号して、第1群のフレームと第2群のフレームとを生成する。
ステップS3で、合成部3は、復号部2によって復号された第1群のフレームと第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットを基準として、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成する。
ステップS4で、こうして生成した所定の数の第3群のアクセス・ユニットを継ぎ目として、二つのストリームと所定の数の第3群のアクセス・ユニットとの境界において隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合する。
このように合成部3が、第1群のフレームと第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットに基づいて、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、二つのストリームの継ぎ目となる第3群のアクセス・ユニットを生成するので、すべての圧縮データをフレームに復号して再び符号化(以後、「再符号化」と呼ぶ)する必要はない。さらに合成部が、こうして生成した所定の数の第3群のアクセス・ユニットを継ぎ目として、二つのストリームと所定の数の第3群のアクセス・ユニットとの境界で、隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合するので、すべての圧縮データをフレームに復号して再符号化せずとも、アーティファクトの発生しない滑らかな接合を実現できる。
ここで合成部3は、複数の第1群のフレームと複数の第2群のフレームとを、連続する第1群のフレームのうち、末尾のフレームを含む所定の数の第1群のフレームと、連続する第2群のフレームのうち、先頭のフレームを含む所定の数の第2群のフレームとを、所定の数の第1群のフレームの先頭から少なくとも1以上のフレームと、所定の数の第2群のフレームの末尾から少なくとも1以上のフレームとを除くフレームどうしが相互に重なるように混合して、所定の数よりも大きい数の混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成する符号化部を含んでもよい。
さらに、合成部3は、連続する第1群のアクセス・ユニットを、所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭のアクセス・ユニットを継ぎ目として所定の数の第3群のアクセス・ユニットの先頭に繋げ、連続する第2群のアクセス・ユニットを、所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾のアクセス・ユニットを継ぎ目として、所定の数の第3群のアクセス・ユニットの末尾に繋げる接合部を含んでもよい。
また、上述の符号化部は、所定の数の第3群のアクセス・ユニットのバッファの初期占有量と最後の占有量が、それぞれ、所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭部分のアクセス・ユニットのバッファの占有量と、所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾部分のアクセス・ユニットのバッファの占有量と一致するように、第3群のアクセス・ユニットの符号化を行うようにしてもよい。
このような構成によって、本発明のストリーム合成装置は、二つのストリームのそれぞれを構成する第1群のアクセス・ユニットと第2群のアクセス・ユニットとを第3群のアクセス・ユニットに接合する際に、再符号化されずに第3群のアクセス・ユニットの先頭部分に接合される第1群のアクセス・ユニットの末尾の部分のバッファの占有量と、再符号化されて第3群のアクセス・ユニットに置き換えられる第2群のアクセス・ユニットの末尾の部分のアクセス・ユニットのバッファの占有量とが、それぞれ、再符号化して生成された第3群のアクセス・ユニットのバッファの初期占有量と最後の占有量と等しくなるようにレート制御することによって、合成ストリームのバッファの占有量の変化を連続的にすることができる。この第3群のアクセス・ユニットを継ぎ目部分として用いることによって、別々にレート制御された異なるストリーム間のバッファの占有量を連続的に保ち、合成ストリームにおいてバッファの制約を満たすように合成ストリームを合成できる。
以下、ストリーム合成装置10が実行するストリーム接合処理について詳細に説明する。
<2.ストリーム接合処理の原理>
以下、AAC符号化規格に従って生成したオーディオ圧縮データを例に本発明のストリーム接合方法の原理について説明する。
AACの符号化処理では、オーディオ信号を1024サンプル毎にブロック化したオーディオ・フレームを形成し、このオーディオ・フレームを符号化処理又は復号処理の単位とする。隣接する2つのオーディオ・フレームは、窓長が2048の長い窓を1つ又は窓長が256の短い窓を8つ用いたMDCT(Modified Discrete Cosine Transform:修正離散コサイン変換)変換によって、1024個のMDCT係数に変換される。MDCTによって生成された1024個のMDCT係数は、AACの符号化処理に従って符号化され、圧縮されたオーディオ・フレーム又はアクセス・ユニットを生成する。MDCT変換において参照され、MDCT係数に寄与するオーディオ・サンプルの集まりをMDCTブロックと呼ぶ。例えば、窓長が2048の長い窓の場合、その隣接する2つのオーディオ・フレームが1つのMDCTブロックを構成する。MDCT変換はオーバーラップ変換の一種であり、MDCT変換に用いるすべての隣接する2つの窓はオーバーラップするように構成される。AACでは、周波数特性の異なる2つの窓関数、サイン窓(Sine window)とカイザー・ベッセル派生窓(Kaiser−BesseL derived window)が使用される。窓長は、入力するオーディオ信号の性質に応じて切り替えることができる。以下では、特に断らない限り、窓長が2048の長い窓関数を1つ用いる場合について説明する。このように、オーディオ・フレームをAACの符号化処理に従って符号化して生成した圧縮されたオーディオ・フレーム、又はアクセス・ユニットはオーバーラップ変換を行って生成されている。
まず、図3に、オーディオ・フレームとアクセス・ユニットとの関係を示す。ここでは、オーディオ・フレームはオーディオ信号をサンプリングして得たオーディオ・サンプルを1024個単位にまとめたものを表し、アクセス・ユニットはオーディオ・フレーム1個分を復号するための符号化ストリーム又はオーディオ圧縮データのストリームの最小単位を表すものとする。図3において、アクセス・ユニットは符号量に対応した正しい縮尺で描かれていない(以下同様)。オーバーラップ変換のため、オーディオ・フレームとアクセス・ユニットは、フレーム長の50%だけずれた関係となる。
図3に示すように、iを任意の整数とすると、入力オーディオ・フレーム(i−1)とiとからなるMDCTブロック#iから、アクセス・ユニットiが生成される。アクセス・ユニットiと(i+1)からそれぞれ復号されたエリアシングを含んだMDCTブロック#iと#(i+1)をオーバーラップ加算することでオーディオ・フレームiが再生される。入力オーディオ・フレーム(−1)とNは出力されないので、これらのフレームの内容は任意であり、例えばすべてのサンプルを0としてもよい。
図3に示すように、Nを任意の整数とすると、オーバーラップ変換を行うため、復号時にN個のオーディオ・フレーム、すなわち出力オーディオ・フレームを得るには、(N+2)個のオーディオ・フレームを符号化部に入力する必要があることがわかる。このとき、生成されるアクセス・ユニットの数は(N+1)個となる。
図4に、ABR(平均ビット・レート)を満たすレート・コントロールを行った場合の復号部のバッファの状態を示す。この復号部のバッファは、データを一時的に所定の符号量まで蓄積して、ビット・レートを擬似的に調整とすることから、ビット・リザバとも呼ばれる。
復号部のバッファには固定のレートRでビット・ストリームが送られ続ける。理解を容易にするため、アクセス・ユニットiが復号されると、アクセス・ユニットiの符号はバッファから瞬時に取り除かれ、瞬時にフレーム(i−1)が出力されるものとして考える。ここでiは任意の整数とする。ただし、オーバーラップ変換を行っているため、最初のアクセス・ユニットを復号したときにはオーディオ・フレームは出力されない。
復号を実行する間隔をd、サンプリング周波数をfとすると、d=1024/fと表すことができる。アクセス・ユニット1個あたりの平均符号量をL(アッパースコア付き)とすると、平均符号量は、固定レートRに復号を実行する間隔dを乗じて、L(アッパースコア付き)=Rdと表すことができる。
符号化部にどのような入力が与えられても、アクセス・ユニットの符号量を平均符号量L(アッパースコア付き)より小さく制御できるとき、レート・コントロールが保証されることになる。以下の説明では、特に断らない限り、所定のレートでレート・コントロールが保証されるものと仮定する。
アクセス・ユニットiの符号量をLとして、アクセス・ユニットiがバッファから取り除かれた後のバッファの占有量を、そのアクセス・ユニットiにおけるバッファの占有量Sと定義すると、SはSi−1とLを使って次のように表すことができる。
Figure 0005785082
復号部のバッファの大きさをSbufferとすると、平均符号量がL(アッパースコア付き)のとき、バッファの最大占有量はSmax=Sbuffer−L(アッパースコア付き)と表される。バッファがオーバーフローもアンダーフローもしないことを保証するためには、数式(2)を満たすように符号量Lを制御すればよい。符号量Lは、例えば、バイト単位で制御する。
Figure 0005785082
明らかに、上式が成り立つには0≦Smaxである必要がある。あるストリームの符号化するとき、最初のアクセス・ユニットのバッファ占有量Sを計算するのに、数式(1)から、S−1(以下、バッファの「初期占有量」と呼ぶ)が必要となる。S−1は数式2を満たすような任意の値でよい。S−1=Smaxとすると、バッファが満杯の状態からそのストリームの復号を開始することを意味し、S−1=0とすると、バッファが空の状態からそのストリームの復号を開始することを意味する。図4の例では、S−1=Smaxとしている。
従って、図1のストリーム合成装置10において合成部3が、出力オーディオ・フレームのアクセス・ユニット、すなわち第3群のアクセス・ユニットのバッファに対する占有量が、ゼロ以上でかつバッファの最大占有量以下となるように、符号化を行うようにしてもよい。これによって、バッファのオーバーフローやアンダーフローを確実に回避することができる。
以下、特に断らない限り、0≦Smaxの条件は満たされているものとして説明を進める。
図4に戻ると、時刻t=0にバッファリングを開始したとすると、最初に復号するアクセス・ユニット0を復号する時刻tは以下のように表される。ここで、アクセス・ユニット0は最初に復号するアクセス・ユニットとし、必ずしもストリームの先頭のアクセス・ユニットでなくてもよい。
Figure 0005785082
また、アクセス・ユニットには、SとLの情報が保存されているものとする。以下の説明で、アクセス・ユニットはADTS(Audio Data Transport Stream:オーディオ・データ・トランスポート・ストリーム)の形式で、アクセス・ユニットiのADTSヘッダにSの量子化値とLの値が保存されているものとして説明を続ける。与えられたADTSストリームについて、伝送ビット・レートRとサンプリング周波数fを既知であると仮定する。
次に、ストリームAとストリームBを合成してストリームCを生成する処理について説明する。まず、ストリームAとストリームBを接合する際に継ぎ目部分となる継ぎ目のフレーム(以後、「継ぎ目フレーム」と呼ぶ)の生成と再符号化について詳細に説明する。
図5に、ストリームAとストリームBとを接合する場合の一例を示す。図5の例では、ストリームAとストリームBとを、ストリームAとストリームBを部分的に再符号化して生成したストリームABで接合して、ストリームCを生成している。ここで、ストリームA又はBのアクセス・ユニットのうち、再符号化されずに、ストリームCに出力されるアクセス・ユニットを、「再符号化されないアクセス・ユニット」と呼ぶ。また、ストリームA又はBのアクセス・ユニットのうち、継ぎ目のストリームに対応して、ストリームCにおいて再符号化されたアクセス・ユニットに置き換えられるアクセス・ユニットを、「再符号化されるアクセス・ユニット」と呼ぶ。なお、ストリームAを構成するアクセス・ユニットが第1群のアクセス・ユニットに、ストリームBを構成するアクセス・ユニットが第2群のアクセス・ユニットに、ストリームABを構成するアクセス・ユニットが第3群のアクセス・ユニットに相当する。
ストリームAとストリームBを復号した時に得られるオーディオ・フレームの数をそれぞれNとNとする。ストリームAはN+1個のアクセス・ユニットU[0],U[1],…,U[N]からなり、これらを復号するとN個のオーディオ・フレームF[0],F[1],…,F[N−1]が得られる。ストリームBはN+1個のアクセス・ユニットU[0],U[1],…,U[N]からなり、これらを復号するとN個のオーディオ・フレームF[0],F[1],…,F[N−1]が得られる。図5は、ストリームAの末尾の3個のアクセス・ユニットとストリームBの先頭の3個のアクセス・ユニットが重なるように、ストリームAとストリームBが配置されている様子を示している。重なった3個のアクセス・ユニット、すなわち、ストリームAのa1とa2を境界とする範囲にあるU[N−2],U[N−1],U[N]とストリームBのb1とb2を境界とする範囲にあるU[0],U[1],U[2]は再符号化されるアクセス・ユニットであり、それ以外のストリームAとストリームBのアクセス・ユニットは再符号化されないアクセス・ユニットである。再符号化されるアクセス・ユニットは、継ぎ目のアクセス・ユニットUAB[0],UAB[1],UAB[2]で置き換えられる。継ぎ目のアクセス・ユニットは継ぎ目のフレームを符号化することで得られる。
継ぎ目のフレームは、ストリームAの末尾のアクセス・ユニットを含む連続した4個のアクセス・ユニットU[N−3],U[N−2],U[N−1],U[N]を復号して得られる3個のフレームF[N−3],F[N−2],F[N−1]と、ストリームBの先頭のアクセス・ユニットを含む連続した4個のアクセス・ユニットU[0],U[1],U[2],U[3]を復号して得られる3個のフレームF[0],F[1],F[2]とを、図5の斜線で示した2個のフレームが重なり合うように、すなわち、F[N−2]とF[0]、F[N−1]とF[1]がそれぞれ重なり合うように混合して得られる。
[N−2]とF[0]、F[N−1]とF[1]が混合されたフレームをそれぞれFAB[0],FAB[1]とすると、継ぎ目のフレームは、時間順に、F[N−3],FAB[0],FAB[1],F[2]となる。これら4個の継ぎ目のフレームを符号化すると、3個の継ぎ目のアクセス・ユニットUAB[0],UAB[1],UAB[2]が得られる。ここで、境界c1、c2を挟んで隣接する、再符号化されないアクセス・ユニットと再符号化されたアクセス・ユニットに注目する。再符号化されないアクセス・ユニットU[N−3]と、境界c1を挟んでアクセス・ユニットU[N−3]と隣接する継ぎ目のアクセス・ユニットUAB[0]には、フレームF[N−3]を復号するための情報が分配されており、それら2個の隣接するアクセス・ユニットからF[N−3]を復号できる。同様に、継ぎ目のアクセス・ユニットUAB[2]と、境界c2を挟んでアクセス・ユニットUAB[2]と隣接する再符号化されないアクセス・ユニットU[3]には、フレームF[2]を復号するための情報が分配されており、それら2個の隣接するアクセス・ユニットからF[2]を復号できる。したがって、再符号化されないストリームと再符号化された継ぎ目のストリームの境界部分、c1、c2から不完全に復号されるフレームが生じることはない。
ストリームAのオーディオ・フレームF[N−3],F[N−2],F[N−1]とストリームBのオーディオ・フレームF[0]〜F[2]とは、オーバーラップ変換によって生成されているため、再符号化する際、重ね合わせて混合し、再符号化する部分、すなわち、ストリームAのアクセス・ユニットU[N−2]〜U[N]と、ストリームBのアクセス・ユニットU[0]〜U[2]のみから復号可能な部分が、それぞれの先端a1’、b1’と後端a2’、b2’で画定される部分に絞られている。また、ストリームAとストリームBのレートとサンプリング周波数はそれぞれR、fとして共通とし、アクセス・ユニット1個当たりの平均符号量L(アッパースコア付き)も等しいものとする。
再符号化されないアクセス・ユニットU[N−3]と、境界c1を挟んで隣接する継ぎ目のアクセス・ユニットUAB[0]との間と、継ぎ目のアクセス・ユニットUAB[2]と、境界c2を挟んで隣接する再符号化されないアクセス・ユニットU[3]との間で、窓関数の長さ(2048と256)や形(サイン窓とカイザー・ベッセル派生窓)に関する不連続が生じないように、窓関数のパラメータを適切に設定して再符号化してもよい。ただし、窓関数の不連続性は、不連続な窓関数は規格上許されていること、及び、ほとんどのアクセス・ユニットは長い窓を使うため、不連続が生じることがまれであることから許容される場合が多い。
また、オーディオを一層滑らかに接合するため、ストリームAとストリームBとの継ぎ目のフレームにおいて、混合するフレームFAB[0],FAB[1]をクロスフェードにより生成してもよい。
以下、一般化したケースについて説明する。ストリームAとストリームBを合成するとき、ストリームAの最後から数えてM個のオーディオ・フレームと、ストリームBの最初から数えてM個のオーディオ・フレームとが重なり合うように混合(クロスフェード)するものとする。
具体的には、オーバーラップ変換を考慮して、ストリームAの最後から数えて(M+1)個のアクセス・ユニットと、ストリームBの先頭から数えて(M+1)個のアクセス・ユニットを削除し、継ぎ目部分に新たに(M+1)個のアクセス・ユニットを生成して、ストリームAとストリームBを接合する。(M+1)個のアクセス・ユニットを生成するため、クロスフェードするM個フレームとその前後それぞれ1個のフレーム(合計(M+2)個のフレーム)を再符号化する。図5の例では、M=2としている。
クロスフェードする長さは任意である。また、M=2として説明したが、本発明はこれに限定されず、Mは1でもよく、3以上でもよい。ストリームを合成するときの、混合する、又はクロスフェードするオーディオ・フレームの数や再符号化されるアクセス・ユニットの数は、合成するストリームに応じて決定してもよい。さらに、ここでは、ストリームAとストリームBをクロスフェードして合成ストリームCを生成する、具体的には、ストリームAのボリュームを次第に下げる一方で(ストリームAをフェードアウト)、ストリームBのボリュームを次第に大きく(ストリームBをフェードイン)しながらストリームAとストリームBを合成して、ストリームCを生成するとしたが、本発明はこれに限定されない。後に詳述するバッファ管理上の制約を守りながら、ストリームをアクセス・ユニットの単位で合成するのならば、如何なる手法によって合成してもよい。
また、M=0としてストリームAのオーディオ・フレームとストリームBのオーディオ・フレームとを直接繋げてもよい。この場合でも、不完全に復号されるフレームが発生しないようにストリームAとストリームBとを合成できる。
ADTSヘッダを参照して、再符号化する(M+1)個のアクセス・ユニットのバッファの初期占有量と最後のアクセス・ユニットのバッファの占有量を所定の精度で復元することができる。次に、本実施の形態におけるストリームの接合とバッファの状態の関係について説明する。
本実施の形態における、ストリームを接合する際のバッファ状態を図6に示す。本実施の形態では、再符号化されないストリームのバッファ状態と再符号化されるストリームのバッファ状態とが連続するように接合する。具体的には、再符号化された合成ストリームのバッファの初期占有量Sstartと最後の占有量Sendを、それぞれ、再符号化されないストリームAの最後のアクセス・ユニットU[N−3]の占有量と再符号化されるストリームBの最後のアクセス・ユニットU[2]の占有量と等しくする。この例では、3個のアクセス・ユニットUAB[0],UAB[1],UAB[2]にほぼ同量の符号を割り当てている。すなわち、CBRのレート・コントロールを行うことに等しい。このようにすることで、バッファがオーバーフローやアンダーフローするのを回避して、2つのストリームを接合できる。
また、再符号化するアクセス・ユニットへの符号量の割り当て方法は任意である。例えば、クオリティが一定になるように割り当てる符号量を変化させてもよい。さらに、図5の例では、ストリームAとストリームBを合成するとき、ストリームAとストリームBとが重なり合う(M+1)個のアクセス・ユニットを再符号化、すなわち、(M+1)個の継ぎ目のストリームABに置き換えているが、本発明はこれに限定されず、ストリームA又はストリームBにおいて(M+1)より大きい数のアクセス・ユニットを再符号化してもよい。
ストリームはオーバーラップ変換によって生成されていることから、あるストリームからあるオーディオ・フレームを復号する場合、そのオーディオ・フレームを復号するための情報が分配されている隣接する2つのアクセス・ユニットが必要である。従来、ストリームを接合しようとする際、オーディオ信号の時間領域における滑らかな接合を意識することはあっても、オーディオ・フレームを復号するために必須となるアクセス・ユニットに着目することはなかった。例えば、図5の例で、フレームF[N−3]を復号するためにはアクセス・ユニットU[N−3]とU[N−2]が必須であり、U[N−3]とU[N−2]どちらのアクセス・ユニットが欠けてもフレームF[N−3]の復号は不完全なものとなりうる。また、不完全に復号されたフレームはアーティファクト発生の原因となる。
本発明は、この点に着目し、継ぎ目部分を構成するアクセス・ユニットを再符号化して生成する際に、隣接する再符号化されないアクセス・ユニットと再符号化されるアクセス・ユニット2つのアクセス・ユニットにそれらに共通するフレームを復号するための情報が分配されるようにしている。具体的には、図1のストリーム合成装置10において合成部3は、第1群のアクセス・ユニットの末尾のアクセス・ユニットを含む(M+2)個の連続したアクセス・ユニットを復号して(M+1)個のフレームからなる第1群のフレームを生成し、第2群のアクセス・ユニットの先頭のアクセス・ユニットを含む(M+2)個の連続したアクセス・ユニットを復号して(M+1)個のフレームからなる第2群のフレームを生成し、前記第1群のフレームと前記第2群のフレームを、それぞれの先頭の1以上のフレームと末尾の1以上のフレームが互いに重なりあわないように、かつ、M個のフレームだけ互いに重なり合うように混合し、(M+2)個のフレームからなる第3のフレームを生成し、この第3のフレームを符号化することによって第3群のアクセス・ユニットを生成する。第1群のフレームをそれから復号したアクセス・ユニットの最初のアクセス・ユニットを含んだ、第1群のアクセス・ユニットの先頭を含む連続したアクセス・ユニットと、第3群のアクセス・ユニットと、第2群のフレームをそれから復号したアクセス・ユニットの最後のアクセス・ユニットを含んだ、第2群のアクセス・ユニットの末尾を含む連続したアクセス・ユニットと、をこの順で接合して、合成ストリームCを生成する。これによって、圧縮データのストリームがオーバーラップ変換を行って生成されたストリームであっても、再符号化されるストリームと再符号化されないストリームとの境界で隣接する2つのアクセス・ユニットには、通常の符号化と同様に、それらに共通する同一のフレームを復号するための情報が分配されているため、継ぎ目部分でアーティファクトが発生することはない。したがって、すべての圧縮データをオーディオ・フレームに復号して再符号化することなく、異なるストリームを滑らかに接合することができる。また、接合するストリームどうしをクロスフェードすることによって接合をより滑らかにすることができる。
このように、本実施の形態のストリーム合成装置は、オーバーラップ変換を行って生成された圧縮データからなる二つのストリームから、それぞれ連続する第1群のアクセス・ユニットと連続する第2群のアクセス・ユニットとを入力する入力部1と、連続する第1群のアクセス・ユニットを復号して連続する第1群のフレームを生成し、連続する第2群のアクセス・ユニットを復号して連続する第2群のフレームを生成する復号部2と、連続する第1群のフレームと連続する第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットを基準として、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成し、連続する第1群のアクセス・ユニットと連続する第2群のアクセス・ユニットとを、所定の数の第3群のアクセス・ユニットを継ぎ目として、連続する第1群のアクセス・ユニットと連続する第2群のアクセス・ユニットと、所定の数の第3群のアクセス・ユニットとの境界において隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合する合成部3と、を備えるので、各々のストリームから所定の数のアクセス・ユニットのみを抽出し、各々の先端と後端とを合わせて混合して再符号化して生成した第3群のアクセス・ユニットを生成する。この第3群のアクセス・ユニットを継ぎ目部分として用いることによって、オーバーラップ変換を行って生成された異なる圧縮データのストリームどうしを接合する場合であっても、不完全に復号されるフレームが発生することがない。従って、すべての圧縮データをフレームに復号して再符号化せずとも、アーティファクトの発生しない滑らかな接合を実現できる。
以上説明したように、本実施の形態のストリーム合成装置10は、第1のストリームAと第2のストリームBとして入力部1に入力された連続する第1群のアクセス・ユニットと連続する第2群のアクセス・ユニットとを、復号部2で復号して連続する第1群のフレームと連続する第2群のフレームを生成し、合成部3が、こうして復号した連続する第1群のフレームと連続する第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットに基づいて、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、二つのストリームの継ぎ目となる第3群のアクセス・ユニットを生成するので、すべての圧縮データをフレームに復号して再び符号化する、すなわち再符号化する必要はない。さらに合成部3が、こうして生成した所定の数の第3群のアクセス・ユニットを継ぎ目として、二つのストリームと所定の数の第3群のアクセス・ユニットとの境界で、隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合するので、すべての圧縮データをフレームに復号して再符号化せずとも、アーティファクトの発生しない滑らかな接合を実現できる。
以上、本発明の基本的な実施の形態のストリーム合成装置について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、種々の変形・変更が可能である。本実施の形態では、AACに従って生成したオーディオ圧縮データを用いた場合について説明したが、本発明はこれに限定されず、オーバーラップ変換を行って生成された圧縮データであれば、MPEG Audio、AC3符号化などの各種符号化によって生成したストリームに適用可能である。
<第2の実施の形態>
図7は、第2の実施の形態のストリーム合成装置のブロック図である。
図7に示すように、本実施の形態のストリーム合成装置20は、入力された第1のストリームAをアクセス・ユニット毎にストリーム切替部又は第1復号部に出力する第1ルータ部11Aと、第2のストリームBをアクセス・ユニット毎に第2復号部又はストリーム切替部に出力する第2ルータ部11Bと、第1ルータ部11Aから入力されたアクセス・ユニットを復号して第1群のフレームを生成する第1復号部12Aと、第2ルータ部11Bから入力されたアクセス・ユニットを復号して第2群のフレームを生成する第2復号部12Bと、第1復号部12Aで生成される第1群のフレームと第2復号部12Bで生成される第2群のフレームとを混合して継ぎ目のフレームを生成する混合部13と、混合部13によって生成された継ぎ目のフレームを符号化して継ぎ目のアクセス・ユニットを生成する符号化部14と、第1ルータ部11Aから入力された第1のストリームAのアクセス・ユニットと、符号化部14で生成された継ぎ目のアクセス・ユニットと、第2ルータ部11Bから入力された第2のストリームBのアクセス・ユニットとを必要に応じて切り替えて出力するストリーム切替部15と、第1ルータ部11A、第2ルータ部11B、第1復号部12A、第2復号部12B、混合部13、符号化部14、ストリーム切替部15を制御する制御部16とを備える。なお、本実施の形態のストリーム合成装置20が実行するストリーム接合処理の原理は第1の実施の形態のストリーム合成装置10と同一であるので、ストリーム接合処理の詳細については説明を省略する。ストリーム切替部15は、本発明の接合部を構成する。
ここで、本実施の形態のストリーム合成装置20が入力するストリームは、AAC規格に従って生成したオーディオ圧縮データからなるストリームに限定されず、オーバーラップ変換を行って生成された任意の圧縮データのストリームとする。
制御部16はユーザから入力される制御パラメータに従って、ストリームA、Bを接合する際のクロスフェードの方法、及びクロスフェードするフレーム数を決定する。さらに、ストリームA、Bを入力して、ストリームA、Bの長さ、すなわち、アクセス・ユニットの数を取得する。また、ストリームがADTS形式の場合、それぞれのアクセス・ユニットのバッファの状態、例えば、占有率などをそのアクセス・ユニットのADTSヘッダから取得するが、ヘッダなどから直接それぞれのアクセス・ユニットのバッファの状態などの情報を得ることができない場合は、デコーダ・バッファをシミュレートするなどして必要な情報を取得する。
制御部16は、ストリームAとBそれぞれのアクセス・ユニットの数とストリームAとBそれぞれのバッファの状態から、再符号化するアクセス・ユニットを特定し、さらに符号化部14が符号化して生成するアクセス・ユニットの符号量などを決定する。各ブロックに正しいタイミングでアクセス・ユニットやフレームが入力されるように、制御部16は適切な位置に挿入された可変遅延器(図示していない)を制御する。図7では説明を簡素にするため可変遅延器を省略している。
次に、制御部16が第1ルータ部11A、第2ルータ部11B、混合部13、符号化部14を制御する処理について説明する。
第1ルータ部11Aに入力された第1のストリームAは、ストリーム切替部15又は第1復号部12Aに入力される。ストリーム切替部15に入力された第1のストリームAは、再符号化されずに直接ストリームCとして出力される。同様に、第2ルータ部11Bに入力された第2のストリームBは、ストリーム切替部15又は第2復号部12Bに入力される。第2ルータ部11Bに入力された第2のストリームBは、再符号化されずに直接ストリームCとして出力される。
第1のストリームA、第2のストリームBは、オーバーラップ変換をして符号化されているため、第1のストリームAと第2のストリームBのうち、再符号化するアクセス・ユニットと、その前後のアクセス・ユニットが、第1復号部12Aと第2復号部12Bで復号され、第1の実施の形態で説明したように、指定された数だけ指定された方法によって混合部13で混合される。指定された方法とは、ここでは、クロスフェードとする。混合されたフレームは符号化部14で再符号化されてストリーム切替部15に出力される。
制御部16は、このようにして生成されてストリーム切替部15から順に出力されるストリームが、第1の実施の形態で説明したバッファ管理上の制約を満たすように、符号化部14におけるビット割り当てを制御する。また、第1復号部12Aと第2復号部12Bは、使用された窓関数の種類や長さなどの情報を制御部16に通知する。この情報を使って、制御部16は、再符号化するアクセス・ユニットと再符号化しないアクセス・ユニットとの間で窓関数が滑らかに接合するように符号化部14を制御してもよい。適切に制御された可変遅延器(図示されていない)によって、ストリーム切替部15には同時刻には1つだけの入力にアクセス・ユニットが入力される。ストリーム切替部15は入力されたアクセス・ユニットを加工せずに出力する。
図8は、制御部16の制御の下、本実施の形態のストリーム合成装置20が実行するストリームAとストリームBを接合してストリームCを生成する処理を説明するフローチャートである。図9は、図8の処理を実行する際の擬似コードである。図8と図9を参照して、本実施の形態のストリーム合成装置20が実行する処理について詳細に説明する。
ステップS11で、ストリームAの再符号化しない部分をストリームCとして出力する。具体的には、制御部16は、第1ルータ部11Aとストリーム切替部15を制御して、ストリームAの再符号化しない部分をそのままストリームCとして出力する。
図9の疑似コードでは、以下のプログラムを実行する。
Figure 0005785082
ここで、ストリームA、BはそれぞれN、N個のオーディオ・フレーム、すなわちN+1、N+1個のアクセス・ユニットを有するものとする。ストリームXは、ストリームA、B、Cを要素とする集合に属するストリームであり、ストリームXのアクセス・ユニットをU 、(0≦i≦N−1)とする。
次に、ステップS12で、ストリームAとストリームBから継ぎ目のストリームを生成して出力する。具体的には、制御部16は、第1ルータ部11A、第2ルータ部11B、第1復号部12A、第2復号部12B、混合部13、符号化部14、ストリーム切替部15を制御して、図5を参照して説明したように、ストリームA、Bから取り出した(M+2)個のアクセス・ユニットデコードをデコードして、(M+1)個のオーディオ・フレームを生成し、そのうちM個のオーディオ・フレームをクロスフェードして、(M+2)個の継ぎ目のオーディオ・フレームを再符号化して、(M+1)個の継ぎ目のアクセス・ユニットを生成してストリームCとして出力する。
図9の疑似コードでは、以下のプログラムを実行する。
Figure 0005785082
このときストリームCはN=N+N−M個のオーディオ・フレーム、すなわちN+1個のアクセス・ユニットを有することになる。また、ストリームXのオーディオ・フレームをF とする。
関数mix((F,F・・・,FN-1),(F´,F´,・・・,F´N-1))は、2組のN個のオーディオ・フレームのベクトルをクロスフェードした、N個のオーディオ・フレームのベクトルを表す。関数dec(U,U・・・,U)は、N+1個のアクセス・ユニットのベクトルを復号した、N個のオーディオ・フレームのベクトル(F,F・・・,FN−1)を表す。関数enc(F−1,F・・・,F)は、N+2個のオーディオ・フレームのベクトルを符号化した、N+1個のアクセス・ユニット(U,U・・・,U)を表す。
関数enc(・・・)は、M+2個のオーディオ・フレームを再符号化し、M+1個のアクセス・ユニットを生成する。このとき、再符号化されるストリームと再符号化されないストリームとのバッファ状態の連続性を保つためには、再符号化されるストリームがオーバーフローもアンダーフローもしないことに加えて、次のバッファの制約を満たす必要がある。
再符号化されたストリーム(ストリームABと呼ぶ)のバッファの初期占有量と最後の占有量が、それぞれ、再符号化されないストリームAの最後のアクセス・ユニットの占有量と再符号化されるストリームBの最後のアクセス・ユニットの占有量と等しくなる。すなわち、アクセス・ユニットU がバッファから取り除かれた後のバッファの占有量をS とすると、以下のようになる。
Figure 0005785082
かつ
Figure 0005785082
再符号化したストリームのアクセス・ユニット1個あたりの平均符号量は以下のようになる。
Figure 0005785082
ここで、
Figure 0005785082
L(アッパースコア付き)はストリームA又はBのアクセス・ユニット1個あたりの平均符号量とする。
Figure 0005785082
から、Mを大きくすれば
Figure 0005785082
となるので、Mを十分大きくとればバッファ管理上の制約を満たすレート・コントロールが保証できることが容易に理解できる。
再符号化するストリームのアクセス・ユニットの平均符号量をL(アッパースコア付き)ABに等しくするには、例えば、それぞれのアクセス・ユニットにL(アッパースコア付き)ABだけ符号量を割り当てればよい。ただし、場合によっては必ずしもすべてのアクセス・ユニットに同じ符号量を割り当てられない。そのような場合は、符号量の割り当てを変化させたり、パディングを挿入するなどして、平均符号量がL(アッパースコア付き)ABとなるように調整すればよい。
次に、ステップS13で、ストリームBの再符号化しない部分を出力する。図9の疑似コードでは、以下のプログラムを実行する。
Figure 0005785082
具体的には、制御部16は、第2ルータ部11Bとストリーム切替部15を制御して、ストリームBの再符号化しない部分をそのままストリームCとして出力する。
以上説明したように、本実施の形態のストリーム合成装置20は、第1のストリームAと第2のストリームBとして第1ルータ部11A及び第2ルータ部11Bに入力された連続する第1群のアクセス・ユニットと連続する第2群のアクセス・ユニットとを、第1復号部12A及び第2復号部12Bで復号して連続する第1群のフレームと連続する第2群のフレームを生成し、混合部13が、こうして復号した連続する第1群のフレームと連続する第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットに基づいて、選択的に混合して混合フレームを生成し、符号化部14が該混合フレームを符号化して、二つのストリームの継ぎ目となる第3群のアクセス・ユニットを生成するので、すべての圧縮データをフレームに復号して再び符号化する、すなわち再符号化する必要はない。さらにストリーム切替部15が、こうして生成した所定の数の第3群のアクセス・ユニットを継ぎ目として、二つのストリームと所定の数の第3群のアクセス・ユニットとの境界で、隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合して第3のストリームCを生成するので、すべての圧縮データをフレームに復号して再符号化せずとも、アーティファクトの発生しない滑らかな接合を実現できる。
以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施の形態に限定されるものではなく、特許請求の範囲に記載された本発明の範囲内において、種々の変形・変更が可能である。上述の実施の形態では、AACに従って生成したオーディオ圧縮データを用いた場合について説明したが、オーバーラップ変換を行って生成されたあらゆる圧縮データに適用可能である。また、本発明のストリーム合成装置は、CPUとメモリを含む、一般的なコンピュータを上述した各手段として機能させるストリーム合成プログラムによって動作させることができるストリーム合成プログラムは、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。
1 入力部
2 復号部
3 合成部
10 ストリーム合成装置
11A 第1ルータ部
11B 第2ルータ部
12A 第1復号部
12B 第2復号部
13 混合部
14 符号化部
15 ストリーム切替部
16 制御部
20 ストリーム合成装置

Claims (8)

  1. オーバーラップ変換を行って生成された圧縮データからなる二つのオーディオ・ストリームを接合して一つのオーディオ・ストリームを生成するオーディオ・ストリーム合成装置であって、
    前記二つのオーディオ・ストリームを復号するための単位となるアクセス・ユニットをそれぞれ第1群のアクセス・ユニットと第2群のアクセス・ユニットとし、前記二つのオーディオ・ストリームを復号して得られるフレームをそれぞれ第1群のフレームと第2群のフレームとし、前記第1群のフレームと前記第2群のフレームを混合して生成した混合フレームを符号化して得られるアクセス・ユニットを第3群のアクセス・ユニットとし、
    前記オーディオ・ストリーム合成装置は、
    第1群のアクセス・ユニットと第2群のアクセス・ユニットとを入力する入力部と、
    前記入力部によって入力された第1群のアクセス・ユニットを復号して第1群のフレームを生成する第1復号部と、
    前記第2群のアクセス・ユニットを復号して第2群のフレームを生成する第2復号部と、
    基準のフレームとして前記フレームを復号するのに用いられる前記アクセス・ユニットを使用する合成部と、を備え、前記合成部は、
    前記第1及び第2復号部によって復号された複数の第1群のフレームと複数の第2群のフレームとを選択的に混合して混合フレームを生成する混合部と、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成する符号化部と、
    前記第1群のアクセス・ユニット、継ぎ目としての前記第3群のアクセス・ユニット、及び前記第2群のアクセス・ユニットを切り替えて出力するストリーム切り替え部と、
    を含み、
    前記混合部は、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットとを、前記所定の数の第3群のアクセス・ユニットを継ぎ目として、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットと、前記所定の数の第3群のアクセス・ユニットとの境界において隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合し、
    前記オーディオ・ストリーム合成装置は、バッファの制約を満たす合成ストリームを生成するために、別々にレート制御された異なるストリームの間で、バッファの専有量を連続的に保ち、
    前記符号化部は、前記所定の数の第3群のアクセス・ユニットのバッファの初期占有量と最後の占有量が、それぞれ、前記所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭部分のアクセス・ユニットのバッファの占有量と、前記所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾部分のアクセス・ユニットのバッファの占有量と一致するように、前記第3群のアクセス・ユニットの符号化を行う
    前記オーディオ・ストリーム合成装置。
  2. 前記合成部は、
    前記複数の第1群のフレームのうち、末尾のフレームを含む所定の数の第1群のフレームと、前記複数の第2群のフレームのうち、先頭のフレームを含む所定の数の第2群のフレームとを、前記所定の数の第1群のフレームの先頭から少なくとも1以上のフレームと、前記所定の数の第2群のフレームの末尾から少なくとも1以上のフレームとを除くフレームどうしが相互に重なるように混合して、前記所定の数よりも大きい数の混合フレームを生成する前記混合部と、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成する前記符号化部を含む、請求項1記載のオーディオ・ストリーム合成装置。
  3. 前記合成部は、
    前記複数の第1群のアクセス・ユニットと前記所定の数の第3群のアクセス・ユニットとを、前記所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭のアクセス・ユニットと前記所定の数の第3群のアクセス・ユニットの先頭のアクセス・ユニットとが隣接するように接合し、
    前記複数の第2群のアクセス・ユニットと前記所定の数の第3群のアクセス・ユニットとを、前記所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾のアクセス・ユニットと前記所定の数の第3群のアクセス・ユニットの末尾のアクセス・ユニットとが隣接するように接合する接合部を含む、請求項2記載のオーディオ・ストリーム合成装置。
  4. 前記混合部は、前記第1群のフレームと前記第2群のフレームとをクロスフェードして混合する、請求項1記載のオーディオ・ストリーム合成装置。
  5. 前記第1群のアクセス・ユニットと前記第2群のアクセス・ユニットは、等しい伝送レートとサンプリング周波数で入力される、請求項1記載のオーディオ・ストリーム合成装置。
  6. 前記第1群のアクセス・ユニットと前記第2群のアクセス・ユニットは、ADTS(Audio Data Transport Stream)フレーム形式である、請求項1記載のオーディオ・ストリーム合成装置。
  7. オーバーラップ変換を行って生成された圧縮データからなる二つのオーディオ・ストリームを接合して一つのオーディオ・ストリームを生成するオーディオ・ストリーム合成方法であって、
    前記二つのオーディオ・ストリームを復号するための単位となるアクセス・ユニットをそれぞれ第1群のアクセス・ユニットと第2群のアクセス・ユニットとし、前記二つのオーディオ・ストリームを復号して得られるフレームをそれぞれ第1群のフレームと第2群のフレームとし、前記第1群のフレームと前記第2群のフレームを混合して生成した混合フレームを符号化して得られるアクセス・ユニットを第3群のアクセス・ユニットとし、
    前記オーディオ・ストリーム合成方法は、
    第1群のアクセス・ユニットと第2群のアクセス・ユニットとを入力する入力ステップと、
    前記入力ステップで入力された第1群のアクセス・ユニットを復号して第1群のフレームを生成し、前記第2群のアクセス・ユニットを復号して第2群のフレームを生成する復号ステップと、
    前記復号ステップで復号された複数の第1群のフレームと複数の第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットを基準として、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成し、
    前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットとを、前記所定の数の第3群のアクセス・ユニットを継ぎ目として、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットと、前記所定の数の第3群のアクセス・ユニットとの境界において隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合し、前記第1群のアクセス・ユニット、継ぎ目としての前記第3群のアクセス・ユニット、及び前記第2群のアクセス・ユニットの出力を切り替える、合成ステップと、を備え
    前記オーディオ・ストリーム合成方法は、バッファの制約を満たす合成ストリームを生成するために、別々にレート制御された異なるストリームの間で、バッファの専有量を連続的に保ち、
    前記混合フレームの符号化は、前記所定の数の第3群のアクセス・ユニットのバッファの初期占有量と最後の占有量が、それぞれ、前記所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭部分のアクセス・ユニットのバッファの占有量と、前記所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾部分のアクセス・ユニットのバッファの占有量と一致するように、前記第3群のアクセス・ユニットの符号化を行う、
    前記オーディオ・ストリーム合成方法。
  8. オーバーラップ変換を行って生成された圧縮データからなる二つのオーディオ・ストリームを接合して一つのオーディオ・ストリームを生成するオ処理をコンピュータに実行させるオーディオ・ストリーム合成プログラムであって、
    前記二つのオーディオ・ストリームを復号するための単位となるアクセス・ユニットをそれぞれ第1群のアクセス・ユニットと第2群のアクセス・ユニットとし、前記二つのオーディオ・ストリームを復号して得られるフレームをそれぞれ第1群のフレームと第2群のフレームとし、前記第1群のフレームと前記第2群のフレームを混合して生成した混合フレームを符号化して得られるアクセス・ユニットを第3群のアクセス・ユニットとし、
    前記オーディオ・ストリーム合成プログラムは、
    第1群のアクセス・ユニットと第2群のアクセス・ユニットとを入力する入力ステップと、
    前記入力ステップで入力された第1群のアクセス・ユニットを復号して第1群のフレームを生成し、前記第2群のアクセス・ユニットを復号して第2群のフレームを生成する復号ステップと、
    前記復号ステップで復号された複数の第1群のフレームと複数の第2群のフレームとを、各々のフレームを復号するために用いるアクセス・ユニットを基準として、選択的に混合して混合フレームを生成し、該混合フレームを符号化して、所定の数の第3群のアクセス・ユニットを生成し、
    前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットとを、前記所定の数の第3群のアクセス・ユニットを継ぎ目として、前記複数の第1群のアクセス・ユニットと前記複数の第2群のアクセス・ユニットと、前記所定の数の第3群のアクセス・ユニットとの境界において隣接するアクセス・ユニットが、共通する同一のフレームを復号するための情報を分配するように接合し、前記第1群のアクセス・ユニット、継ぎ目としての前記第3群のアクセス・ユニット、及び前記第2群のアクセス・ユニットの出力を切り替える、合成ステップと、をコンピュータに実行させ、前記オーディオ・ストリーム合成プログラムは、バッファの制約を満たす合成ストリームを生成するために、別々にレート制御された異なるストリームの間で、バッファの専有量を連続的に保ち、
    前記混合フレームの符号化は、前記所定の数の第3群のアクセス・ユニットのバッファの初期占有量と最後の占有量が、それぞれ、前記所定の数の第1群のフレームを復号するために用いた複数のアクセス・ユニットのうち先頭部分のアクセス・ユニットのバッファの占有量と、前記所定の数の第2群のフレームを復号するために用いた複数のアクセス・ユニットのうち末尾部分のアクセス・ユニットのバッファの占有量と一致するように、前記第3群のアクセス・ユニットの符号化を行う、
    前記オーディオ・ストリーム合成プログラム。
JP2011527483A 2009-08-20 2009-08-20 オーディオ・ストリームを合成する装置、方法及びプログラム Active JP5785082B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/003968 WO2011021239A1 (ja) 2009-08-20 2009-08-20 オーディオ・ストリームを合成する装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2011021239A1 JPWO2011021239A1 (ja) 2013-01-17
JP5785082B2 true JP5785082B2 (ja) 2015-09-24

Family

ID=43606710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011527483A Active JP5785082B2 (ja) 2009-08-20 2009-08-20 オーディオ・ストリームを合成する装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US9031850B2 (ja)
JP (1) JP5785082B2 (ja)
WO (1) WO2011021239A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013158804A1 (en) 2012-04-17 2013-10-24 Sirius Xm Radio Inc. Systems and methods for implementing efficient cross-fading between compressed audio streams
MX356063B (es) 2011-11-18 2018-05-14 Sirius Xm Radio Inc Sistemas y metodos que implementan la transicion gradual, los intersticiales y otros efectos corriente abajo.
CA2866585C (en) 2012-03-06 2021-02-23 Sirius Xm Radio Inc. Systems and methods for audio attribute mapping
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
WO2016070170A1 (en) * 2014-11-02 2016-05-06 Hoarty W Leo System and methods for reducing audio distortion during playback of phonograph records using multiple tonearm geometries
EP3067885A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
WO2016171002A1 (ja) 2015-04-24 2016-10-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6611042B2 (ja) * 2015-12-02 2019-11-27 パナソニックIpマネジメント株式会社 音声信号復号装置及び音声信号復号方法
US10650834B2 (en) * 2018-01-10 2020-05-12 Savitech Corp. Audio processing method and non-transitory computer readable medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142496A (ja) * 1999-11-11 2001-05-25 Sony Corp ディジタル信号処理装置および処理方法、ディジタル信号記録装置および記録方法、並びに記録媒体
JP2003052010A (ja) * 2001-05-30 2003-02-21 Victor Co Of Japan Ltd Mpegデータ記録方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5913190A (en) * 1997-10-17 1999-06-15 Dolby Laboratories Licensing Corporation Frame-based audio coding with video/audio data synchronization by audio sample rate conversion
US6718309B1 (en) * 2000-07-26 2004-04-06 Ssi Corporation Continuously variable time scale modification of digital audio signals
EP1576602A4 (en) * 2002-12-28 2008-05-28 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MIXING AUDIO SEQUENCE AND INFORMATION RECORDING MEDIUM
US8423372B2 (en) * 2004-08-26 2013-04-16 Sisvel International S.A. Processing of encoded signals
JP4732730B2 (ja) * 2004-09-30 2011-07-27 パナソニック株式会社 音声復号装置
KR100640476B1 (ko) * 2004-11-24 2006-10-30 삼성전자주식회사 비동기식 오디오 스트림 처리 방법 및 장치
US7460495B2 (en) * 2005-02-23 2008-12-02 Microsoft Corporation Serverless peer-to-peer multi-party real-time audio communication system and method
KR100891688B1 (ko) * 2005-10-26 2009-04-03 엘지전자 주식회사 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치
EP2054876B1 (en) * 2006-08-15 2011-10-26 Broadcom Corporation Packet loss concealment for sub-band predictive coding based on extrapolation of full-band audio waveform
US7778839B2 (en) * 2007-04-27 2010-08-17 Sony Ericsson Mobile Communications Ab Method and apparatus for processing encoded audio data
US20100063825A1 (en) * 2008-09-05 2010-03-11 Apple Inc. Systems and Methods for Memory Management and Crossfading in an Electronic Device
ES2570967T4 (es) * 2008-10-06 2017-08-18 Telefonaktiebolaget Lm Ericsson (Publ) Método y aparato para proporcionar audio alineado de múltiples canales

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142496A (ja) * 1999-11-11 2001-05-25 Sony Corp ディジタル信号処理装置および処理方法、ディジタル信号記録装置および記録方法、並びに記録媒体
JP2003052010A (ja) * 2001-05-30 2003-02-21 Victor Co Of Japan Ltd Mpegデータ記録方法

Also Published As

Publication number Publication date
US20120259642A1 (en) 2012-10-11
WO2011021239A1 (ja) 2011-02-24
US9031850B2 (en) 2015-05-12
JPWO2011021239A1 (ja) 2013-01-17

Similar Documents

Publication Publication Date Title
JP5785082B2 (ja) オーディオ・ストリームを合成する装置、方法及びプログラム
JP5032314B2 (ja) オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置
JP5171842B2 (ja) 時間領域データストリームを表している符号化および復号化のための符号器、復号器およびその方法
EP2104105A1 (en) Digital audio and video clip encoding
US20200234726A1 (en) Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder
US20070286289A1 (en) Information-processing apparatus, information-processsing method, recording medium and program
KR102140388B1 (ko) 복호 장치, 복호 방법, 및 기록 매체
CN105849801A (zh) 解码设备和方法以及程序
JP2008107415A (ja) 符号化装置
JP2015525375A (ja) 可変数の受信チャネルに基づくマルチチャネル・オーディオ・レンダリングのためのなめらかな構成切り換え
JP4577357B2 (ja) 符号化装置及び方法、並びにプログラム
EP2104103A1 (en) Digital audio and video clip assembling
WO2002086894A1 (en) Trick play for mp3
CN100556140C (zh) 动图像再编码装置、动图像编辑装置及其方法
JP4709100B2 (ja) 動画像編集装置及びその制御方法、並びにプログラム
KR20070028432A (ko) 오디오 인코딩 방법
JP2012204876A (ja) 再生装置、再生方法およびプログラム
JP4750759B2 (ja) 映像音声再生装置
JP3599035B2 (ja) 映像信号符号化装置
CN111866542A (zh) 音频信号处理方法、多媒体信息处理方法、装置及电子设备
JP5553533B2 (ja) 画像編集装置およびその制御方法およびプログラム
JP3945435B2 (ja) 波形データ圧縮方法、楽音信号発生方法、楽音信号処理装置およびプログラム
TWI328358B (en) An audio decoder and an audio decoding method
JP2002271738A (ja) 情報処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
JP2007180692A (ja) 映像音声編集方法、装置、プログラム、および媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140303

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140403

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141111

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150311

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150723

R150 Certificate of patent or registration of utility model

Ref document number: 5785082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350