JP5254808B2 - オーディオ信号の処理方法及び装置 - Google Patents

Description

本発明は、オーディオ信号の処理方法及び装置に係り、より詳細には、レジデュアル信号を処理する方法及び装置に関する。

オーディオ信号は、ダウンミックス信号と補助データ信号とで構成することができる。この補助データ信号には、空間情報信号及び拡張信号を含ませることができる。拡張信号とは、デコーディング装置がダウンミックス信号をアップミックスしてマルチャンネル信号を生成する時、より原信号に近く復元可能にするために必要な追加情報のことを意味する。例えば、拡張信号の例には、レジデュアル信号が含まれる。レジデュアル信号とは、原信号とコーディングされた信号との差に該当する信号のことを意味する。マルチチャンネルオーディオコーディングにおいてレジデュアル信号は、次のような場合等に使用することができる。例えば、任意のダウンミックス信号の補正用に用いられたり、デコーディング中に特定チャンネル補正用に用いたりすることができ、あるいは、これら２例の両方にも用いることができる。入力されたオーディオ信号は、レジデュアル信号を用いることによって、より原信号に近く復元でき、音質を向上させることができる。

しかしながら、デコーディング装置が無条件的に拡張信号のデコーディングを行うようにすれば、デコーディング装置によって音質を向上させることもできるが、複雑度が高くなり、演算量が多くなるという問題がある。

また、一般に、オーディオ信号のヘッダ情報は不変なため、ビットストリームに一回のみヘッダ情報を挿入する。しかし、ビットストリームに一回のみヘッダ情報を挿入すると、放送用やＶＯＤ等のように、任意の瞬間からオーディオ信号を再生しなければならない場合に、ヘッダ情報が存在せず、データフレーム情報をデコーディングできないという問題がある。

本発明の目的は、拡張信号のデコーディングを省略することによってオーディオ信号の処理効率を向上させることにある。

本発明の他の目的は、拡張信号の長さ情報を用いて拡張信号のデコーディングを省略する方法及び装置を提供することにある。

本発明の更に他の目的は、放送用オーディオ信号も任意の瞬間から再生可能にするオーディオ信号処理方法及び装置を提供することにある。

本発明の更に他の目的は、レベル情報によってオーディオ信号を処理する方法及び装置を提供することにある。

上記目的を達成するために、本発明は、オーディオ信号の生成のための補助信号と該補助信号に含まれる拡張信号を、受信したビットストリームから抽出する段階と、前記ビットストリームのレベルを確認する段階と、前記ビットストリームのレベルによって前記拡張信号を選択的にデコーディングする段階と、前記補助信号を用いて前記オーディオ信号を生成する段階とを含むことを特徴とするオーディオ信号処理方法を提供する。

また、本発明はオーディオ信号の生成のための補助信号と、該補助信号に含まれる拡張信号を、受信したビットストリームから抽出する信号抽出部と、前記ビットストリームのレベルを確認するレベル判断部と、前記ビットストリームのレベルによって前記拡張信号を選択的にデコーディングする選択的デコーディング部と、前記補助信号を用いて前記オーディオ信号を生成するアップミキシング部とを含むことを特徴とするオーディオ信号処理装置を提供する。

本発明によれば、選択的に拡張信号のデコーディングを行うことによって、より効率的なデコーディングを行うことができる。拡張信号のデコーディングを行う場合には、オーディオ信号の音質をより向上させることができ、拡張信号のデコーディングを行わない場合には、演算量、複雑度を減らすことができる。なお、拡張信号のデコーディングを行うとしても、一定低周波部分のみをデコーディングすることによって、音質を向上させると同時に演算量を減らすことができる。また、オーディオ信号中におけるヘッダ情報有無を識別することによって、オーディオ信号を放送等に用いる場合に、任意の瞬間からオーディオ信号を処理できるという効果を奏する。

図１は、本発明が適用される実施例で、オーディオ信号のエンコーディング装置及びデコーディング装置を示すブロック図である。

エンコーディング装置は、ダウンミキシング部１０、ダウンミックス信号エンコーディング部２０、補助信号エンコーディング部３０、拡張信号エンコーディング部４０及び多重化部５０を含む。

図１を参照すると、マルチソースオーディオ信号Ｘ１，Ｘ２，…，Ｘｎがダウンミキシング部１０に入力されると、ダウンミキシング部１０は、これらのマルチソースオーディオ信号をダウンミックスしてダウンミックス信号を生成する。このダウンミックス信号は、モノ、ステレオまたはマルチソースオーディオ信号を含む。ここで、ソースはチャンネルを含み、便宜上、以下ではチャンネルと記述する。本明細書では、モノまたはステレオダウンミックス信号を基準にして説明するが、このモノまたはステレオダウンミックス信号に本発明が限定されることはない。また、エンコーディング装置は、選択的に外部から直接提供される任意ダウンミックス信号を用いることができる。なお、ダウンミックス過程中にマルチチャンネルオーディオ信号から補助信号を生成することができ、追加情報に該当する拡張信号をも生成することができる。ここで、補助信号には、空間情報信号及び拡張信号を含ませることができる。このように生成されたダウンミックス信号、補助信号及び拡張信号はそれぞれ、ダウンミックス信号エンコーディング部２０、補助信号エンコーディング部３０及び拡張信号エンコーディング部４０で符号化された後、多重化部５０に転送される。

本発明でいう“空間情報”とは、エンコーディング装置でマルチャンネル信号をダウンミックスして生成されたダウンミックス信号をデコーディング装置に転送し、このダウンミックス信号をデコーディング装置がアップミックスしてマルチャンネル信号を生成する上で必要な情報のことを意味する。この空間情報は、空間パラメータを含む。空間パラメータには、チャンネル間のエネルギー差を意味するＣＬＤ（チャンネルレベル差）、チャンネル間の相関関係を意味するＩＣＣ（チャンネル間コヒーレンス）、２チャンネルから３チャンネルを生成する時に用いられるＣＰＣ（チャンネル予測係数）等がある。また、“拡張信号”とは、デコーディング装置がダウンミックス信号をアップミックスしてマルチャンネル信号を生成する時に、より原信号に近く復元可能にする上で必要な追加情報のことを意味する。この追加情報には、例えば、レジデュアル信号、任意のダウンミックスレジデュアル信号、任意のツリー拡張信号等がある。ここで、レジデュアル信号とは、原信号とコーディングされた信号との差に該当する信号のことを指す。以下、レジデュアル信号は一般的なレジデュアル信号と任意のダウンミックス信号の補正のための任意のダウンミックスレジデュアル信号を含む。

本発明でいう“ダウンミックス信号エンコーディング部２０”または“ダウンミックス信号デコーディング部７０”は、補助信号でないオーディオ信号を符号化または復号化するコーデックのことを意味する。本明細書では、補助信号でないオーディオ信号を、ダウンミックスオーディオ信号とする。また、ダウンミックス信号エンコーディング部２０またはダウンミックス信号デコーディング部７０には、ＭＰ３、ＡＣ−３、ＤＴＳまたはＡＡＣを含ませることができる。オーディオ信号にコーデック機能を行う場合では、既に開発されたコーデックの他に、今後開発されるコーデックも含ませることができる。

多重化部５０は、ダウンミックス信号、補助信号及び拡張信号を多重化してビットストリームを生成でき、生成されたビットストリームをデコーディング装置に転送する。この時、ダウンミックス信号と補助信号は一つのビットストリームの形態でデコーディング装置に転送することができ、または、補助信号とダウンミックス信号のそれぞれの独立したビットストリームの形態でデコーディング装置に転送することができる。このビットストリームの構造は、図９〜図１１で詳細に後述される。

放送用ビットストリームのように、オーディオ信号をはじめからデコーディングせずに任意の瞬間からデコーディングするようにできることから、以前に転送したヘッダ情報を使用できない場合、オーディオ信号に挿入されている他のヘッダ情報を用いてオーディオ信号をデコーディングすることができる。または、オーディオ信号を転送する途中でヘッダ情報を失った場合には、信号をどの瞬間に受信してもその瞬間からデコーディングが始まらなければならない。したがって、ヘッダ情報は、オーディオ信号に少なくとも一回以上挿入することができる。これは、ヘッダ情報がオーディオ信号の前部に一度のみ存在するとしたら、任意の瞬間にオーディオ信号を受信する場合、ヘッダ情報の不在によってデコーディングができないためである。このような場合、ヘッダ情報を定められた方式（例えば、時間的、空間的間隔等）によって含めることができる。そして、このようなヘッダ情報が存在するか否かを表す識別情報をビットストリーム内に挿入することができ、この識別情報によってオーディオ信号は選択的にヘッダを含むことになる。例えば、補助信号は、ヘッダ識別情報によって選択的にヘッダを含むことができる。このビットストリームの構造は、図９〜図１２で詳細に後述される。

デコーディング装置は、逆多重化部６０、ダウンミックス信号デコーディング部７０、補助信号デコーディング部８０、拡張信号デコーディング部９０及びアップミキシング部１００を含む。

逆多重化部６０は、ビットストリームを受信し、このビットストリームから、符号化されたダウンミックス信号と、符号化された補助信号と、符号化された拡張信号とを分離する。ダウンミックス信号デコーディング部７０は、符号化されたダウンミックス信号を復号し、補助信号デコーディング部８０は、符号化された補助信号を復号する。一方、この補助信号内には拡張信号を含ませることができるが、マルチチャンネルオーディオ信号を效率的に生成するために、拡張信号を效率的にデコーディングする必要がある。したがって、拡張信号デコーディング部９０は、符号化された拡張信号を選択的にデコーディングすることができる。すなわち、符号化された拡張信号をデコーディングしても良く、デコーディングを省略しても良い。場合によっては、拡張信号のデコーディングを省略すると、原信号に近い復元が可能でありながらも、コーディング効率が高まる。例えば、デコーディング装置のレベルがビットストリームのレベルよりも低い場合には、デコーディング装置が受信した拡張信号をデコーディングできず、拡張信号のデコーディングを省略しても良い。または、デコーディング装置のレベルがビットストリームのレベルよりも高く、拡張信号をデコーディングできる場合であっても、オーディオ信号から獲得される他の情報によって拡張信号のデコーディングを省略しても良い。ここで、他の情報とは、例えば、拡張信号のデコーディングを行うか否かを表す情報でありうる。これについては、図１４で詳細に後述する。

そして、拡張信号のデコーディングを省略する方法として、例えば、ビットストリームから拡張信号の長さ情報を読み取り、この長さ情報を用いて拡張信号のデコーディングを省略することができる。または、拡張信号の位置を表すシンク情報を用いて当該拡張信号のデコーディングを省略しても良い。これについては、図２で詳細に後述する。

また、拡張信号の長さ情報は、様々な方法で定義可能である。例えば、固定ビットを割り当てても良く、あらかじめ決定された長さ情報タイプによって可変的にビット割り当てても良く、または、実際拡張信号の長さを読み取りながらその長さに適合するビットを適応的に割り当てても良い。これについて、図３及び図４では固定ビットを割り当てる方法、図５及び図６では可変的にビット割り当てる方法、図７及び図８では適応的にビット割り当てる方法を詳細に説明する。

また、拡張信号の長さ情報は、補助データ領域内に位置することができる。補助データ領域とは、ダウンミックス信号を原信号に復元する上で必要な付加情報が存在する領域のことをいう。例えば、補助データとしては、空間情報信号または拡張信号等が挙げられる。したがって、拡張信号の長さ情報は、補助信号内に位置しても良く、または、補助信号の拡張領域内に位置しても良い。具体例として、拡張信号の長さ情報は、補助信号のヘッダ拡張領域に位置しても良く、補助信号のフレームデータ拡張領域に位置しても良く、または、補助信号のヘッダ拡張領域とフレームデータ拡張領域の両方ともに位置しても良い。これは、図９〜図１１で詳細に説明する。

図２は、本発明が適用される実施例で、拡張信号デコーディング部９０の概略的なブロック図である。

拡張信号デコーディング部９０は、大きく、拡張信号タイプ情報獲得部９１、拡張信号長さ読取部９２及び選択的デコーディング部９３を含み、この選択的デコーディング部９３は、レベル判断部９４、拡張信号情報獲得部９５及び拡張信号情報スキップ部９６を含む。拡張信号デコーディング部９０は、逆多重化部６０から拡張信号のビットストリームを受信し、デコーディングされた拡張信号を出力することができる。場合によっては、拡張信号を出力しない、または、拡張信号のビットストリームを全部‘０’で埋めて出力することができる。ここで、拡張信号を出力しない場合としては、拡張信号のデコーディングを省略する方法を利用することができる。拡張信号タイプ情報獲得部９１は、ビットストリームから、拡張信号のタイプを表す情報を獲得する。例えば、拡張信号のタイプを表す情報には、レジデュアル信号、任意のダウンミックスレジデュアル信号、任意のツリー拡張信号等を含ませることができる。本発明でいうレジデュアル信号とは、一般的なレジデュアル信号と任意のダウンミックス信号の補正のための任意のダウンミックスレジデュアル信号を総称する。このレジデュアル信号は、マルチチャンネルオーディオ信号で任意のダウンミックス信号の補正用として使用することができ、または、デコーディング中に特定チャンネル補正用として使用することができる。または、これら２例の両方に使用することができる。拡張信号タイプ情報により拡張信号のタイプが定められ、拡張信号長さ読取部９２では、拡張信号のタイプ情報により決定された拡張信号の長さを読み取る。これは、拡張信号がデコーディングされるか否かにかかわらずに行うことができる。拡張信号の長さが読み取られると、選択的デコーディング部９３では、当該拡張信号に選択的にデコーディングを行う。これは、レベル判断部９４で決定することができる。レベル判断部９４では、デコーディング装置のレベルとビットストリームのレベルとを比較し、拡張信号をデコーディングするか否かを選択する。例えば、デコーディング装置のレベルがビットストリームのレベルと等しいまたは高い時、デコーディング装置は、拡張信号情報獲得部９５を介して拡張信号に関する情報を獲得し、これをデコーディングして拡張信号として出力する。出力された拡張信号は、アップミキシング部１００に転送され、原信号を復元したりオーディオ信号を生成するのに用いることができる。一方、デコーディング装置のレベルがビットストリームのレベルより低い場合には、拡張信号情報スキップ部９６を介して拡張信号のデコーディングを省略することができる。この時、拡張信号長さ読取部９２で読み取った長さ情報を用いて、拡張信号のデコーディングを省略することができる。このように拡張信号を用いる場合には、より原信号に近く復元することができ、音質向上が図られ、必要な場合には拡張信号のデコーディングを省略することによって、デコーディング装置の演算量を減らすことができる。

また、拡張信号情報スキップ部９６で拡張信号のデコーディングを省略する方法の例として、拡張信号の長さ情報を用いる場合、拡張信号のビットまたはバイト長さ情報を、データ中に挿入することができる。そして、その長さ情報から得た値分だけ、当該拡張信号のビットフィールドを跳び越え、デコーディングを継続して行うようにすることができる。この拡張信号の長さ情報を定義する方法は、図３〜図８で後述する。

また、拡張信号のデコーディングを省略する方法の他の実施例として、拡張信号の位置を表すシンク情報を用いて拡張信号のデコーディングを省略することができる。例えば、拡張信号が終わる地点に、一定のビットを持つシンクワードを挿入することができる。デコーディング装置は、拡張信号のシンクワードを探すまでレジデュアル信号のビットフィールドを継続して探索する。シンクワードを探したら探索過程を止め、デコーディングを継続して行う。すなわち、拡張信号のシンクワードを探すまで拡張信号のデコーディングを省略することができる。また、選択による他のデコーディング方法の例として、拡張信号デコーディングを行う場合、拡張信号をパーシングしてデコーディングを行うことができる。拡張信号デコーディングを行うことになると、当該拡張信号のシンクワードは読むものの無視しても良い。

図３及び図４は、本発明が適用される一実施例で、拡張信号の長さ情報が固定的にビット割り当てられるのを説明するための図である。

拡張信号の長さ情報は、ビット単位またはバイト単位で定義することができる。もし、バイト単位で定義するとしたら、これは、拡張信号がバイトで割り当てられていることを意味する。図３は、拡張信号の長さ情報を最も簡単に定義する方法を示す図であり、図４は、図３の方法を図式的に表現したものである。拡張信号の長さ情報を表すシンタックス要素を定義し、そのシンタックス要素に一定のビットを割り当てる場合である。例えば、シンタックス要素として‘bsResidualSignalLength’を定義し、固定ビットである１６ビットを割り当てる。しかし、このような方法は相対的にビットを多く消耗することになる。そこで、図５及び図６、図７及び図８の方法を説明する。

図５及び図６は、本発明が適用される一実施例で、拡張信号の長さ情報が長さタイプによって可変的にビットが割り当てられるのを説明するための図である。

図５は、ビット消耗をより減らすべく、‘bsResidualSignalLength’に、何ビット使用するかを定義するシンタックス要素を更に定義する方法を示し、図６は、図５の方法を図式的に示している。例えば、長さタイプとして‘bsResidualSignalLengthType’を新しく定義し、その値が０の場合には、‘bsResidualSignalLength'が４ビットで割り当てられ、１の場合には８ビットで、２の場合には１２ビットで、３の場合には１６ビットで、それぞれ割り当てられる。ここで割り当てられるビットは例示的なもので、ここで定義したビットとは異なる値のビットが割り当てられても良い。また、上記の方法よりも更にビット消耗を減らすために、図７及び図８の方法が提供される。

図７及び図８は、本発明が適用される一実施例で、拡張信号の長さ情報が拡張信号の実際長さによって適応的にビットが割り当てられるのを説明するための図である。

拡張信号が取り込まれると、拡張信号の長さ情報値を、最初定められた値まで読むことができる。この長さ情報値がある一定の値になると、追加的に更に定められた値まで読むことができる。そして、再び長さ情報値がある一定の値になると、再び追加的に更に定められた値まで読むことができる。この時、長さ情報値がある一定の値でない場合には、その値をそのまま長さ情報値として出力する。このように、拡張信号の長さ情報を実際のデータ長さによって適応的に読んでいくことによってビット消耗を最小限にすることが可能になる。以下、図７及び図８に示す例について説明する。

図７では、拡張信号の例としてレジデュアル信号を挙げて説明する。レジデュアル信号が取り込まれると、レジデュアル信号長さの４ビットを読む。なお、長さ情報値（bsResidualSignalLength）が２⁴−１（＝１５）であれば、bsResidualSignalLength１値として８ビットを更に読む。同じ方式で、長さ情報値（bsResidualSignalLength）が（２⁴−１）＋（２⁸−１）＝１５＋２５５であれば、bsResidualSignalLength2値として１２ビットを更に読む。同じ方式で、bsResidualSignalLength値が（２⁴−１）＋（２⁸−１）＋（２¹²−１）＝１５＋２５５＋４０９５であれば、bsResidualSignalLength3値として１６ビットを更に読む。

図８では、拡張信号の長さ情報によって適応的にビットが割り当てられる他の例を図式的に示す。

拡張信号が取り込まれると、まず、４ビットを読む。そして、長さ情報を読んだ値が４ビットよりも小さいと、その値が長さ情報となる。しかし、長さ情報を読んだ値が４ビットよりも大きいと、追加的に８ビットを更に読む。追加的に読んだ値が８ビットより小さいと、読んだ合計長さ情報値は１２（＝４＋８）ビットとなる。しかし、追加的に読んだ値が８ビットより大きいと、再び追加的に１６ビットを更に読む。これを詳細に説明すると、次の通りになる。まず、長さ情報が取り込まれると、４ビットを読む。実際長さ情報値は０〜１４の値になる。そして、長さ情報値が２⁴−１（＝１５）になると、拡張信号を追加的に更に読む。この時には拡張信号を追加的に２⁸−２（＝２５４）値まで更に読むことができる。しかし、長さ情報値が２⁴−１より小さい値であれば、読まれた０〜２⁴−２（＝１４）の値をそのまま出力する。長さ情報値が（２⁴−１）＋（２⁸−１）になると、拡張信号を追加的に更に読む。この時には拡張信号を２¹⁶−１値まで追加的に更に読むことができる。しかし、長さ情報値が２¹⁶−１より小さい値であれば、読まれた０〜２¹⁶−１の値をそのまま出力する。ここでも、前述した例と同様に、割り当てられるビットは例示的なもので、上記のビットと異なる値のビットを割り当てても良い。

一方、拡張信号の長さ情報は、拡張信号ヘッダの長さ情報、または、拡張信号フレームデータの長さ情報であり得る。したがって、拡張信号の長さ情報は、ヘッダ領域及び／またはフレームデータ領域に位置させることができる。これに関するビットストリームの構造を、図９〜図１２を用いて以下に説明する。

図９及び図１０は、本発明が適用される実施例で、ダウンミックス信号、補助信号及び拡張信号が一つのオーディオ信号を構成するビットストリーム構造を示す。

オーディオ信号は、ダウンミックス信号と補助信号を含む。この補助信号の例に、空間情報信号が挙げられる。ダウンミックス信号と補助信号はフレーム単位で転送される。補助信号は、ヘッダ情報とデータ情報を含むことができ、データ情報のみを含んでも良い。このように一つのオーディオ信号を構成するファイル／一般ストリーミング構造は、ヘッダ情報が前部に位置し、これにデータ情報が続く。例えば、ダウンミックス信号と補助信号が一つのオーディオ信号を構成するファイル／一般ストリーミング構造では、前部にヘッダ情報であるダウンミックス信号ヘッダと補助信号ヘッダを存在させることができる。これに続いてデータ情報として、ダウンミックス信号データと補助信号データとで一つのフレームを構成することができる。この時、補助データの拡張領域を定義し、拡張信号を位置させることができる。この拡張信号は、補助信号内に含まれても良く、または、独立した信号として用いても良い。図９は、拡張信号が独立した信号として用いられる場合を示し、図１０は、拡張信号が補助信号内の拡張領域に位置する場合を示す。したがって、拡張信号が存在する場合、ファイル／一般ストリーミング構造は、前部にヘッダ情報であるダウンミックスヘッダと空間情報ヘッダの他に、拡張信号ヘッダを存在させることができる。これに続いてデータ情報としてダウンミックス信号データと補助信号データの他に、拡張信号データを更に含み、一つのフレームを構成することができる。拡張信号は、選択的にデコーディングされ得るので、フレームの最後の部分に位置させることができ、または、補助信号の直後に連続して存在させることができる。図３〜図８で説明した拡張信号の長さ情報は、拡張信号のヘッダ領域及び／または拡張信号のデータ領域内に位置することができる。この場合、ヘッダ領域（拡張信号ヘッダ）内に位置する長さ情報は、拡張信号ヘッダの長さ情報を表し、データ領域（拡張信号データ）内に位置する長さ情報は、拡張信号データの長さ情報を表す。このように、ビットストリームから各領域内に位置する長さ情報を読み、この長さ情報を用いてデコーディング装置は拡張信号のデコーディングを省略できるわけである。

図１１は、本発明が適用される実施例で、ダウンミックス信号と補助信号が独立したオーディオ信号を構成するビットストリーム構造を示す。

オーディオ信号は、ダウンミックス信号と補助信号を含む。補助信号の例に空間情報信号が挙げられる。これらダウンミックス信号と補助信号はそれぞれ独立した信号として転送されることができる。この場合、ダウンミックス信号は、前部にヘッダ情報であるダウンミックス信号ヘッダ（ダウンミックス信号ヘッダ（丸付き数字の０））が位置し、これに続いてデータ情報としてダウンミックス信号データ（ダウンミックス信号データ(丸付き数字の１〜ｎ)）が来る構造を持つ。同様に、補助信号は前部にヘッダ情報である補助信号ヘッダ（補助信号ヘッダ（丸付き数字の０））が位置し、それに続いてデータ情報として補助信号データ（補助信号データ(丸付き数字の１〜ｍ)）が来る構造を持つ。拡張信号は、補助信号内に含まれても良いので、補助信号データに拡張信号が続く構造を有しても良い。したがって、補助信号ヘッダ（丸付き数字の０）に拡張信号ヘッダ(丸付き数字の０)が続き、補助信号データ(丸付き数字の１)に拡張信号データ(丸付き数字の１)が続き、同様に、補助信号データ(丸付き数字の２)に拡張信号データ(丸付き数字の２)が続く。この時、拡張信号の長さ情報は、拡張信号ヘッダ(丸付き数字の０)、拡張信号データ(丸付き数字の１)、及び／または拡張信号データ(丸付き数字の２〜ｍ)にそれぞれ挿入することができる。

一方、ファイル／一般ストリーミング構造とは違い、オーディオ信号をはじめからデコーディングせずに任意の瞬間からデコーディングすることになり、以前に転送したヘッダ情報を利用できない場合、オーディオ信号に挿入されている他のヘッダ情報を用いてオーディオ信号をデコーディングすることができる。また、オーディオ信号を放送等に用いる場合や、オーディオ信号を転送する途中でヘッダ情報を失う場合には、信号をどの瞬間に受信してもその瞬間からデコーディングが始まらなければならないので、当該ヘッダが存在するか否かを表す識別情報を定義することによって、よりコーディング効率を向上させることができる。以下、図１２では放送用ストリーミング構造について説明する。

図１２は、本発明が適用される実施例で、ダウンミックス信号と補助信号が一つのオーディオ信号を構成する放送用ストリーミング構造を示す。

放送用ストリーミングの場合、ヘッダ情報がオーディオ信号の前部に一回のみ存在すると、任意の瞬間にオーディオ信号を受信する場合、ヘッダ情報の不在によってデコーディングができないので、ヘッダ情報はオーディオ信号に少なくとも一回以上挿入することができる。このような場合、ヘッダ情報を定められた方式（例えば、時間的、空間的間隔等）によって含めることができる。具体例として、ヘッダ情報を毎フレームごとに挿入する、一定間隔のフレームごとに周期的に挿入する、または、任意の間隔のフレームごとに非周期的に挿入することができる。または、一定の時間間隔に（例えば、２秒ごとに）一回ずつヘッダ情報を挿入しても良い。

一つのオーディオ信号を構成する放送用ストリーミング構造は、データ情報同士間に少なくとも一つ以上のヘッダ情報が挿入された形態を有する。例えば、一つのオーディオ信号を構成する放送用ストリーミング構造では、ダウンミックス信号が位置し、それに続いて補助信号が来る。この補助信号の前部に、ダウンミックス信号と補助信号とを区別するシンク情報を位置させることができる。そして、補助信号のヘッダ情報が存在するか否かを表す識別情報を位置させることができる。例えば、ヘッダ識別情報が０であれば、以降に読まれるフレームは、ヘッダ情報のないデータフレームのみ存在する反面、ヘッダ識別情報が１であれば、以降に読まれるフレームは、ヘッダ情報とデータフレームが両方とも存在する。これは、補助信号にも、拡張信号にも適用可能である。これらのヘッダ情報は、初期に転送したヘッダ情報と同じ情報の場合であっても良く、可変的であっても良い。ヘッダ情報が可変的な場合には、新しいヘッダ情報をデコーディングし、これによって、新しいヘッダ情報に続いて転送されるデータ情報をデコーディングする。また、ヘッダ識別情報が０の場合、転送されたフレームは、ヘッダ情報のないデータフレームのみ存在するが、この時、データフレームを処理するためには、以前に転送されたヘッダ情報を用いることができる。例えば、図１２で、ヘッダ識別情報が１の時、補助信号ヘッダ(丸付き数字の１)と拡張信号ヘッダ(丸付き数字の１)が存在できる。ところが、以降取り込まれるフレームがヘッダ識別情報０を有し、ヘッダ情報がない場合、拡張信号データ(丸付き数字の３)を処理するために、以前に転送された拡張信号ヘッダ(丸付き数字の１)の情報を用いることができる。

図１３は、本発明が適用される実施例で、オーディオ信号を放送等に用いる場合、補助信号内にヘッダが含まれているかを表す識別情報によって、長さ情報を用いて拡張信号を処理する方法を説明するためのフローチャートである。

本発明の実施例では、まず、受信したビットストリームから、オーディオ信号生成のための補助信号と該補助信号に含まれた拡張信号を抽出する（１３０１）。この拡張信号は、補助信号内に含ませることができる。補助信号内にヘッダが含まれているかを表す識別情報を抽出する（１３０３）。例えば、ヘッダ識別情報が１であれば、補助信号は補助信号ヘッダを含んでいることを表す。ヘッダ識別情報が０であれば、補助信号は補助信号ヘッダを含んでいないことを表す。もし、拡張信号が補助信号内に含まれる場合で、ヘッダ識別情報が１であれば、拡張信号は拡張信号ヘッダを含んでいることを表し、ヘッダ識別情報が０であれば、拡張信号は拡張信号ヘッダを含んでいないことを表す。ヘッダ識別情報によって補助信号内にヘッダが含まれているか否かを判断する（１３０５）。補助信号内にヘッダが含まれている場合、ヘッダから長さ情報を抽出する（１３０７）。その後、長さ情報を用いて拡張信号のデコーディングを省略することができる（１３０９）。ここで、ヘッダはそれぞれ、補助信号及び／または拡張信号を解読できるようにする役割を担うが、このようなヘッダ情報には、例えば、レジデュアル信号に関する情報、レジデュアル信号の長さ情報、レジデュアル信号の位置を表すシンク情報、サンプリング周波数、フレーム長さ、パラメータバンド数、ツリー情報、量子化モード情報、ＩＣＣ、パラメータスムージング情報、クリッピング防止用ゲイン情報、ＱＭＦ（動画データ処理用のフィルタ）関連情報等を含ませることができる。また、ヘッダ識別情報による判断結果、補助信号内にヘッダが含まれていない場合、以前に抽出したヘッダの長さ情報を用いて拡張信号のデコーディングを省略することができる（１３１１）。

図１４は、本発明が適用される実施例で、拡張信号の長さ情報を用いて拡張信号の選択的デコーディングを行う方法を説明するためのフローチャートである。

プロファイルとは、コーディング過程でアルゴリズム上入る技術的構成要素を規格化したものを意味する。すなわち、ビットストリームをデコーディングする上で必要な技術要素の集合で、一種のサブ規格といえる。レベルは、プロファイルで規定された技術要素をどの範囲まで支援するかを定義する。すなわち、デコーディング装置の能力とビットストリームの複雑度を定義する役割を担う。本発明において、レベル情報とは、プロファイルとレベルに関する定義を全て含むことができる。ビットストリームのレベル情報とデコーディング装置のレベル情報によって、拡張信号のデコーディング方法を選択的に変えることができる。例えば、転送されたオーディオ信号内に拡張信号が存在しても、当該レベル情報の判断結果によって、拡張信号のデコーディングを行わないこともあり、拡張信号のデコーディングを行うこともあり、または、デコーディングを行うとしても一定の低周波部分のみを用いることができる。のみならず、拡張信号のデコーディングを行わないために、拡張信号の長さ情報分だけのデコーディングを省略しても良く、拡張信号を全て読むものの、デコーディングはしなくても良い。また、拡張信号の一部を読み、その読んだ部分のみをデコーディングし、残りはデコーディングしなくても良く、拡張信号の全部を読むものの、一部はデコーディングをし、残りはデコーディングをしなくても良い。

例えば、図１４を参照すると、まず、受信したビットストリームから、オーディオ信号の生成のための補助信号と、補助信号に含まれた拡張信号とを抽出することができる（１４１０）。そして、当該拡張信号に関する情報を抽出することができる。ここで、拡張信号に関する情報は、拡張信号がどのタイプのデータかを表す拡張データタイプ情報を含むことができる。例えば、拡張データタイプ情報には、レジデュアルコーディングデータ、任意のダウンミックスレジデュアルコーディングデータ、任意のツリー拡張データ等を含ませることができる。これにより拡張信号のタイプが定められ、当該オーディオ信号の拡張領域から拡張信号の長さ情報を読むことができる（１４２０）。続いて、ビットストリームのレベルを判断するが、これは次のような情報によって判断することができる。例えば、拡張信号のタイプがレジデュアルコーディングデータである場合、ビットストリームのレベル情報は、出力チャンネル数、サンプリングレート、レジデュアル信号のバンド幅等を含むことができる。したがって、上記のようなビットストリームのレベル情報が取り込まれると、デコーディング装置のレベル情報と比較し、当該拡張信号をデコーディングするか否かを決定する（１４３０）。デコーディング装置のレベルは、あらかじめ定めることができる。そして、デコーディング装置のレベルは、通常、オーディオ信号のレベルと等しい、または大きくなければならない。これは、デコーディング装置は、転送されたオーディオ信号を全てデコーディングしなければならないからである。しかし、上記した以外の場合、すなわち、デコーディング装置に制限が加えられる所定の場合にも（例えば、デコーディング装置のレベルがオーディオ信号のレベルより小さい場合）、デコーディング可能な場合がある。ただし、この場合にはその品質が低下する恐れがある。例えば、デコーディング装置のレベルがオーディオ信号のレベルよりも下位レベルである場合、デコーディング装置は、当該オーディオ信号をデコーディングできない場合もあるが、所定の場合には、デコーディング装置のレベルに合わせて当該オーディオ信号をデコーディングすることもできる。

デコーディング装置のレベルがビットストリームのレベルよりも低いと判断される場合、拡張信号の長さ情報を用いて当該拡張信号のデコーディングを省略することができる（１４４０）。一方、デコーディング装置のレベルがビットストリームのレベルと等しい、または高い場合には、拡張信号のデコーディングを行うことができる（１４６０）。あるいは、拡張信号のデコーディングを行うものの、一定低周波部分のみをデコーディングすることもできる（１４５０）。その一例として、デコーディング装置が低いパワーを有する場合、拡張信号の全部をデコーディングすると効率が劣るか、または、全部をデコーディングできないことから、一定の低周波部分のみ拡張信号が使用可能になる場合が挙げられる。これは、ビットストリームのレベルまたはデコーディング装置のレベルが一定の条件を満たす場合に可能になる。

一般に、信号のエンコーディング環境及びデコーディング環境は様々であり、こうした様々な環境条件に応じて信号を処理する方法も様々に存在することができる。本明細書では、オーディオ信号の処理方法を取り上げて説明したが、本発明がこれに限定されることはない。ここで、信号は、オーディオ信号及び／またはビデオ信号を含むことができる。

上述した目的及び構成の特徴は、添付の図面に基づく詳細な説明からより明確になるであろう。

なお、本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語もあり、その場合には該当する発明の説明部分において詳細にその意味を記載しておいたので、単純な用語の名称ではなく用語が持つ意味として本発明を把握すべきである。

本発明が適用される実施例で、オーディオ信号のエンコーディング装置及びデコーディング装置を示すブロック図である。 本発明が適用される実施例で、拡張信号デコーディング部９０の概略的なブロック図である。 本発明が適用される一実施例で、拡張信号の長さ情報が固定的にビット割り当てられるのを説明するための図である。 本発明が適用される一実施例で、拡張信号の長さ情報が固定的にビット割り当てられるのを説明するための図である。 本発明が適用される一実施例で、拡張信号の長さ情報が長さタイプによって可変的にビット割り当てられるのを説明するための図である。 本発明が適用される一実施例で、拡張信号の長さ情報が長さタイプによって可変的にビット割り当てられるのを説明するための図である。 本発明が適用される一実施例で、拡張信号の長さ情報が前記拡張信号の実際長さによって適応的にビット割り当てられるのを説明するための図である。 本発明が適用される一実施例で、拡張信号の長さ情報が前記拡張信号の実際長さによって適応的にビット割り当てられるのを説明するための図である。 本発明が適用される実施例で、ダウンミックス信号、補助信号及び拡張信号が一つのオーディオ信号を構成するビットストリーム構造を示す図である。 本発明が適用される実施例で、拡張信号を含む補助信号とダウンミックス信号が一つのオーディオ信号を構成するビットストリーム構造を示す図である。 本発明が適用される実施例で、ダウンミックス信号と補助信号が独立してオーディオ信号を構成するビットストリーム構造を示す図である。 本発明が適用される実施例で、ダウンミックス信号と補助信号が一つのオーディオ信号を構成する放送用ストリーミング構造を示す図である。 本発明が適用される実施例で、オーディオ信号を放送等に用いる場合、補助信号中のヘッダ有無を表す識別情報によって、拡張信号の長さ情報を用いて拡張信号を処理する方法を説明するためのフローチャートである。 本発明が適用される実施例で、ビットストリームのレベルによって拡張信号の長さ情報を用いて前記拡張信号を選択的にデコーディングする方法を説明するためのフローチャートである。

Claims (11)

1. デコーダが、
   マルチチャンネルオーディオ信号の生成のためのダウンミックス信号と、補助信号と、拡張信号と、を有するビットストリームを受信することと、
   前記拡張信号のタイプを示す拡張信号タイプ情報を読み取ることであって、前記拡張信号のタイプは、レジデュアル信号と、任意のダウンミックスレジデュアル信号と、任意のツリー拡張信号と、のうちの少なくとも１つを有することと、
   前記拡張信号タイプ情報によって決定されたタイプを有する前記拡張信号の長さ情報を読み取ることと、
   前記ビットストリームのレベルと前記デコーダの複雑度レベルとを比較することと、
   前記拡張信号タイプ情報と、前記長さ情報と、前記比較した結果と、に基づいて前記拡張信号のビットフィールドを跳び越えることによって前記拡張信号のデコーディングを省略することであって、前記拡張信号のビットフィールドは、前記長さ情報を用いて決定された長さの値に対応することと、
   前記補助信号を前記ダウンミックス信号に適用することによって前記マルチチャンネルオーディオ信号を生成することと、を有することを特徴とするオーディオ信号処理方法。
2. 前記マルチチャンネルオーディオ信号の出力チャンネル数とサンプリングレートと前記拡張信号のバンド幅に関する情報とを有する前記ビットストリームのレベルと、前記デコーダの複雑度レベルと、を比較することを特徴とする請求項１に記載のオーディオ信号処理方法。
3. 前記省略することにおいて、
   前記比較した結果が前記ビットストリームの複雑度レベルが前記デコーダの複雑度レベルよりも上位レベルである場合、前記拡張信号のデコーディングは、前記長さ情報に基づいて省略されることを特徴とする請求項１に記載のオーディオ信号処理方法。
4. 前記補助信号の拡張領域から前記拡張信号の長さ情報を読むことを特徴とする請求項１に記載のオーディオ信号処理方法。
5. 前記拡張信号の長さ情報を読み取ることは、
   長さ情報の値を前記拡張信号の第１の長さ情報の値に等しくなるよう設定することと、
   前記長さ情報の値が予め定められた第１の値に等しい場合、前記長さ情報の第１の新しい値を前記長さ情報の値と前記拡張信号の第２の長さ情報の値とを加えた値に等しくなるよう設定することと、
   前記長さ情報の第１の新しい値が予め定められた第２の値に等しい場合、前記長さ情報の第２の新しい値を前記長さ情報の第１の新しい値と前記拡張信号の第３の長さ情報の値とを加えた値に等しくなるよう設定することと、をさらに備える請求項１に記載のオーディオ信号処理方法。
6. 前記拡張信号の長さ情報は、前記拡張信号の長さに基づいて適応的ビットとして割り当てられることを特徴とする請求項１に記載のオーディオ信号処理方法。
7. 前記補助信号は、前記マルチチャンネルオーディオ信号を生成するための空間パラメータを含み、前記空間パラメータは、チャンネル間のエネルギー差を表す情報と、チャンネル間の相関関係を表す情報と、チャンネル予測係数情報とを含むことを特徴とする請求項１に記載のオーディオ信号処理方法。
8. 前記デコーディングを省略することにおいて、
   前記デコーダの複雑度レベルに基づいて、前記拡張信号の一定低周波部分のみをデコーディングすることを特徴とする請求項１に記載のオーディオ信号処理方法。
9. マルチチャンネルオーディオ信号の生成のためのダウンミックス信号と、補助信号と、拡張信号と、を有するビットストリームを受信するよう構成された逆多重化部と、
   前記拡張信号のタイプを示す拡張信号タイプ情報を読み取るよう構成された拡張信号情報取得部であって、前記拡張信号のタイプは、レジデュアル信号と、任意のダウンミックスレジデュアル信号と、任意のツリー拡張信号と、のうちの少なくとも１つを有する拡張信号情報取得部と、
   前記拡張信号タイプ情報によって決定されたタイプを有する前記拡張信号の長さ情報を読み取るよう構成された拡張信号長さ読取部と、
   前記ビットストリームのレベルとデコーダの複雑度レベルとを比較するよう構成されたレベル判断部と、
   前記拡張信号タイプ情報と、前記長さ情報と、前記比較した結果と、に基づいて前記拡張信号のビットフィールドを跳び越えることによって前記拡張信号のデコーディングを省略することであって、前記拡張信号のビットフィールドは、前記長さ情報を用いて決定された長さの値に対応するよう構成された選択的デコーディング部と、
   前記補助信号を前記ダウンミックス信号に適用することによって前記マルチチャンネルオーディオ信号を生成するアップミキシング部と、を有することを特徴とするオーディオ信号処理装置。
10. 前記選択的デコーディング部は、
    前記比較した結果が前記ビットストリームの複雑度レベルが前記デコーダの複雑度レベルよりも上位レベルである場合、前記拡張信号のデコーディングを前記長さ情報に基づいて省略するよう構成されることを特徴とする請求項９に記載のオーディオ信号処理装置。
11. 前記拡張信号長さ読取部は、
    長さ情報の値を前記拡張信号の第１の長さ情報の値に等しくなるよう設定し、
    前記長さ情報の値が予め定められた第１の値に等しい場合、前記長さ情報の第１の新しい値を前記長さ情報の値と前記拡張信号の第２の長さ情報の値とを加えた値に等しくなるよう設定し、
    前記長さ情報の第１の新しい値が予め定められた第２の値に等しい場合、前記長さ情報の第２の新しい値を前記長さ情報の第１の新しい値と前記拡張信号の第３の長さ情報の値とを加えた値に等しくなるよう設定することによって、前記拡張信号の長さ情報を読み取るよう構成されることを特徴とする請求項９に記載のオーディオ信号処理装置。

Images