JP4930320B2 - 再生方法及び装置、プログラム並びに記録媒体 - Google Patents

Description

本発明は、ステレオ化情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生するための再生方法及び装置、プログラム並びに記録媒体に関する。

モノラルオーディオ信号とステレオ化情報とが入力され、モノラルオーディオ信号をステレオ化情報に基づいてステレオ化処理してステレオオーディオ信号を生成する再生装置が知られている。

このようなモノラルオーディオ信号とステレオ化情報とに基づく一般的なステレオ化処理について図面を参照しながら説明する。図６は、一般的なステレオ化装置の構成例を示すブロック図、図７は、図６のステレオ化装置に入力される信号の一例を示す図である。ステレオ化情報は多重化されて伝送されてもよい。

図６において、入力端子４１にはモノラルオーディオ信号が、入力端子４２にはステレオ化情報がそれぞれ供給されている。入力端子４１からのモノラルオーディオ信号は、切換スイッチ４３を介して帯域分割部４４に送られ、帯域分割処理されてステレオ化処理部４５に送られる。ステレオ化処理部４５には、入力端子４２からのステレオ化情報が供給され、帯域分割されたモノラルオーディオ信号がステレオ化処理され、得られたステレオ左右チャンネルの各信号が、左チャンネル（Ｌch）の帯域合成部５１及び右チャンネル（Ｒch）の帯域合成部５２にそれぞれ送られる。帯域合成部５１からのＬchのオーディオ信号は、切換スイッチ５３に送られ、切換スイッチ４３から遅延部４６を介した信号とのいずれかが切換選択されて、切換スイッチ５４及び出力端子５５に送られる。帯域合成部５２からのＲchのオーディオ信号は、切換スイッチ５４に送られ、切換スイッチ５３からの信号とのいずれかが切換選択されて、出力端子５６に送られる。

図７は、図６のステレオ化装置に入力される信号の一例を示し、符号化オーディオデータのフレームあるいはブロック等の伝送単位毎に番号＃０，＃１，＃２，・・・を付しており、Ｍはモノラルオーディオ信号を、Ｓはステレオ化情報を示している。この図７の例では、モノラルオーディオ信号Ｍは常に伝送されるが、ステレオ化情報Ｓは多重化されて伝送され、５回に１回の割合で伝送されている。この場合、伝送単位＃０で送られたステレオ化情報Ｓは、伝送単位＃０から＃４までのステレオ化処理に用いられ、伝送単位＃５で次のステレオ化情報Ｓに切り換えられ、この伝送単位＃５で送られたステレオ化情報Ｓは伝送単位＃５から＃９まで用いられ、以下同様に次のステレオ化情報Ｓが送られるまで、先に送られたステレオ化情報Ｓが用いられる。

図６の構成において、ステレオ化情報の入力がある場合には、各切換スイッチ４３，５３，５４は選択Ｂ端子側に切り換えられる。すなわち、入力端子４１から入力されたモノラルオーディオ信号を帯域分割部４４にて帯域分割し、ステレオ化処理部４５にて、ステレオ化情報に基づいてステレオ信号を作成する。作成されたステレオ信号は、各チャンネルの帯域合成処理部５１，５２にて帯域合成され、ステレオ左右チャンネルの各オーディオ信号を出力端子５５，５６よりそれぞれ出力する。

これに対して、フレーム（伝送単位）の間引き再生による早送り再生のような不連続なフレーム再生を行うと、あるいは任意のフレームから再生を行うと、多重化された符号化情報が抜け落ちる場合がある。このような不連続なフレーム再生等により任意のフレーム（伝送単位）から符号化オーディオデータが入力された場合には、使用可能なステレオ化情報が無い状態が生ずる。例えば図７の伝送単位＃２の位置から入力が始まる場合に、伝送単位＃０のステレオ化情報Ｓはフレーム間引き等により入力されておらず、伝送単位＃２〜＃４の間は使用可能なステレオ化情報が無いことになる。

図６の装置では、ステレオ化情報の有無によって出力オーディオ信号のチャンネル数が変化しないように、使用可能なステレオ化情報が無い状態（例えば図７の伝送単位＃２〜＃４の間）でも、モノラルオーディオ信号をステレオ左右チャンネルに出力するようにしており、具体的には各切換スイッチ４３，５３，５４を選択Ａ端子側に切り換えることにより、同一のモノラルオーディオ信号を出力端子５５，５６よりそれぞれ出力している。ここで、切換スイッチ４３が選択Ａ端子側に切り換えられると、入力端子４１からのモノラルオーディオ信号は遅延部４６に送られるが、これは、帯域分割部４４では、例えばＦＩＲフィルタ処理のように状態変数を保持しており、処理するたびに状態変数が更新され、遅延が発生することを考慮し、入力されたモノラルオーディオ信号に帯域分割部４４で発生する遅延分を同様に与えるためである。帯域合成部等では遅延が発生しないように帯域合成が行われるため、遅延部４６での遅延は帯域分割部４４のみを考慮している。遅延部４６からのモノラルオーディオ信号は、切換スイッチ５３を介して、Ｌch出力端子５５より出力されると共に、切換スイッチ５４を介してＲch出力端子５６より出力される。なお、図７の伝送単位＃２〜＃４の間のように使用可能なステレオ化情報が無いときは、内部の帯域分割部４４等の状態変数が初期化される。

従って、図７の伝送単位＃２の位置からデータが入力された場合、上記伝送単位＃２〜＃４の間は、内部の状態変数が初期化されると共に、図６のステレオ化装置の各切換スイッチ４３，５３，５４は選択Ａ端子側に切り換えられ、伝送単位＃５の位置のデータが入力されると、各切換スイッチ４３，５３，５４は選択Ｂ端子側に切り換えられると共に、内部の状態変数が更新される。なお、各切換スイッチ４３，５３，５４の切換動作や、各部の処理動作については、図示しない制御部により、入力データの内容や内部状態等に応じて制御される。

ここで、ステレオ化処理等のための符号化情報の一部がモノラルオーディオ信号に多重化されて伝送される符号化方式の具体例について以下説明する。

例えば、ＨＥ ＡＡＣ（High Efficiency Advanced Audio Coding，国際標準規格ＩＳＯ／ＩＥＣ 14496-3）、特にＨＥ ＡＡＣ v2（バージョン２）の符号化方式で符号化されたオーディオデータは、復号化するために必要な符号化情報の一部が多重化されて伝送される。このＨＥ ＡＡＣ v2の符号化方式は、ＡＡＣ（Advanced Audio Coding）処理、ＳＢＲ（Spectral Band Replication）処理、ＰＳ（Parametric Stereo）処理の３つの技術を組み合わせて構成しており、ＳＢＲ処理、ＰＳ処理の符号化情報は、一部多重化されて伝送される。

ＡＡＣ処理は、ＭＰＥＧ（Moving Picture Experts Group）オーディオで規格化された音声圧縮方式における符号化処理であり、ＳＢＲ処理は、複数の帯域に分割して、高音域を低域より複製することで、帯域拡張を行う符号化処理であり、ＰＳ処理は、モノラル信号からステレオ信号を生成するために必要な空間情報等を用いて空間符号化を行う符号化処理である。

上記ＨＥ ＡＡＣ v2方式で符号化された符号化オーディオデータには、上記ＡＡＣ符号化方式で符号化されたモノラルオーディオデータに相当するＡＡＣコアの符号化情報と、上記ＳＢＲ処理の符号化情報と、上記ＰＳ処理の符号化情報とで構成される。ＳＢＲ処理の符号化情報は、多重化されて間歇的に伝送される符号化情報（sbr header）と常に伝送される符号化情報（sbr data）とで構成され、sbr data（ＳＢＲデータ）を復号化するには、sbr header（ＳＢＲヘッダ）が必要となる。sbr header（ＳＢＲヘッダ）は、一定の規則に従って内容を変更する事が可能であり、伝送されるタイミングも運用に一任されている。ＰＳ処理の符号化情報（ps data）は、sbr data（ＳＢＲデータ）の拡張領域に内包されて伝送される。そのため、ps data（ＰＳデータ）を復号化するにもsbr header（ＳＢＲヘッダ）の情報が必要となる。すなわち、sbr header（ＳＢＲヘッダ）は、ステレオ化処理のためのps data（ＰＳデータ）を得るために必要なステレオ化必要情報である。図８にＨＥ ＡＡＣ v2符号化方式で符号化されたオーディオデータの一例を示す。図８において、ＡＣはＡＡＣコアの符号化情報を示し、ＳＨは上記sbr header（ＳＢＲヘッダ）を示し、ＳＤは上記sbr data（ＳＢＲデータ）を示す。

この図８に示すように、ＳＤ（ＳＢＲデータ）やその拡張領域に内包されているＰＳデータを復号化するためには、間歇的に伝送されるＳＨ（ＳＢＲヘッダ）が必要となるが、上述したような任意のフレームから再生を行うと、多重化されたＳＨ（ＳＢＲヘッダ）が抜け落ちることがある。ここで、特に上位側等で常に多重化されたフレームの監視を行わない場合には、多重化されたＳＨ（ＳＢＲヘッダ）が得られるフレームに到達するまでは、ＡＡＣコアの符号化情報（ＡＣ）を用いた復号化処理を行って出力オーディオ信号の生成を行う。この場合のデコード処理としては、上記ＡＡＣデコード処理がされ、上記ＳＢＲの帯域分割、合成処理によりアップサンプリング処理が行われる。

多重化されたＳＨ（ＳＢＲヘッダ）を含むフレームに達すると、このＳＨ（ＳＢＲヘッダ）を用いて上記ＳＤ（ＳＢＲデータ）やその拡張領域に内包されているＰＳデータが復号化され、これらのＳＢＲデータやＰＳデータを用いた完全な（ステレオ化を含む）復号化処理を行って、出力ステレオオーディオ信号の生成を行なう。上記ＨＥ ＡＡＣ v2符号化オーディオデータのデコード処理の場合には、上記ＡＡＣデコード処理がされ、上記ＳＢＲ処理にて、帯域分割、高域生成がされた後に、上記ＰＳ処理にて符号化された空間情報を元に、帯域分割されたモノラル信号からステレオ信号の生成を行い、ＳＢＲ処理の帯域合成処理により、出力ステレオオーディオ信号を生成する。

図９は、上記ＨＥ ＡＡＣ v2方式で符号化された符号化オーディオデータの再生装置の構成例を示すブロック図である。この図９の入力端子１１には、ＡＡＣコアの符号化情報、高域生成符号化情報（ＳＢＲデータ）、ＰＳ符号化情報（ＰＳデータ）が含まれる符号化オーディオデータのビットストリーム（Coded Audio Stream）が伝送されて入力されており、一部の符号化情報は多重化されて伝送される。高域生成符号化情報（ＳＢＲデータ）、ＰＳ符号化情報（ＰＳデータ）を復号化するには、多重化されて伝送されるＳＨ（ＳＢＲヘッダ）が必要となることは上述の通りである。

ＨＥ ＡＡＣ v2符号化方式では、ＳＨ（ＳＢＲヘッダ）の一部が前フレームと異なる場合には、ＳＢＲ処理の初期化を行う必要がある。ＳＢＲ処理の初期化により、後述するＱＭＦ分析部／合成部やハイブリッド分析部等の状態変数（遅延信号）が初期化される。ここで、状態変数（遅延信号）とは、フィルタ内の遅延素子に保持されるデータ（信号）のことであり、フィルタ処理では、フィルタ長に応じて、信号が入力されてから出力されるまでに遅延が生じるが、この遅延信号を意味する。

ところで、ＨＥ ＡＡＣ v2符号化方式で符号化された、ＡＡＣ符号化情報を復号化して得られるモノラルオーディオデータは、ＳＢＲ処理のＱＭＦ分析とＱＭＦ合成処理を行うことでアップサンプリングされる。例えば、ＡＡＣ復号化後のモノラルオーディオデータが２４ｋＨｚサンプリングで、ＳＢＲ処理を行うことで、４８ｋＨｚサンプリングのオーディオデータとなる。

図９において、入力端子１１からの符号化オーディオデータは、ペイロードデフォーマッタ１２に送られて、ＡＡＣコア復号部１３へのＡＡＣコア符号化情報と、高域生成符号化情報（ＳＢＲデータ）・ＰＳ符号化情報（ＰＳデータ）とに分離される。ＡＡＣコア復号部１３では、入力されたＡＡＣコア符号化情報を復号化し、ＡＡＣコアのモノラルオーディオ信号を生成し、ＳＢＲ処理部２０に送る。ＳＢＲ処理部２０のパーサ１４は、ペイロードデフォーマッタ１２からの高域生成符号化情報等の多重化情報を取得し、内容を確認して、ＳＢＲ処理の初期化が必要か否かを判断し、初期化が必要な場合には、初期化制御信号を端子１４ｔより出力して後述するように各部のＳＢＲ処理の初期化を行う。また、ＡＡＣコア復号部１３からＳＢＲ処理部２０に送られたモノラルオーディオ信号は、ＱＭＦ分析部２１にて帯域分割され、切換スイッチ２２に送られる。高域生成符号化情報（ＳＢＲデータ）が入力された場合には、切換スイッチ２２が選択Ｂ，Ｃ端子に切換接続され、ＱＭＦ分析部２１からの信号が高域生成部２３に送られる。高域生成部２３では高域周波数信号を生成し、エンベロープ調整部２４でエンベロープ調整を行って、切換スイッチ２５に送る。

上記ＰＳ符号化情報（ＰＳデータ）からステレオ化情報が得られている場合には、切換スイッチ２２，２５は選択Ｃ端子に切換接続される。切換スイッチ２５の選択Ｃ端子からの信号は、ハイブリッド分析部２７に送られる。ハイブリッド分析部２７では入力された帯域分割信号の低域信号を更に帯域分割し、信号解析部２９及びステレオ化処理部３０に入力する。信号解析部２９では、入力信号を解析し、音響調整し、ステレオ化処理部３０に入力する。ステレオ化処理部３０では、入力された帯域分割信号と、ステレオ化情報から、ステレオ左右チャンネルの信号を生成する。生成されたステレオの各チャンネルの信号は、それぞれ各チャンネルのハイブリッド合成部３１，３２にて、上記ハイブリッド分析部２７にて分割された帯域を合成し、さらに、ＱＭＦ合成部３３，３４にて、上記ＱＭＦ分析部２１で帯域分割された帯域を合成し、ステレオ左右チャンネル（Ｌch，Ｒch）の出力オーディオ信号を生成する。ＱＭＦ合成部３３からのＬchのオーディオ信号は、切換スイッチ３６及び出力端子３７に送られる。ＱＭＦ合成部３４からのＲchのオーディオ信号は、切換スイッチ３６に送られ、ＱＭＦ合成部３３からの信号とのいずれかが切換選択されて、出力端子３８に送られる。

上記ステレオ化情報のような多重化情報が伝送されていない場合には、図９の切換スイッチ２２，２５，３５，３６は選択Ａ又はＢ端子に切換接続される。出力オーディオ信号のサンプリング周波数を一定にするために、ＱＭＦ分析部２１とＱＭＦ合成部３３を用いてアップサンプリングのみを行う、また、出力チャンネル数も一定とするため、Ｌchのオーディオ信号をＲchのオーディオ信号にコピーして出力信号を生成する。

図１０は、例えば上記図９の構成における上述したようなデコード動作を説明するためのフローチャートである。

図１０において、上記入力端子１１に入力される符号化オーディオデータのビットストリームのような符号化情報に対して、ステップＳ１０１で上記ＨＥ ＡＡＣ v2方式の符号化データの復号化処理（デフォーマット処理）を行い、多重化された符号化情報としての上述したような高域生成符号化情報や空間符号化情報を取り出し、また、上記ＡＡＣコア情報については、ステップＳ１０２にてＡＡＣ信号処理を行う。次のステップＳ１０３では、上記ＳＢＲ処理を行うか否かが判断され、ＹＥＳの場合はステップＳ１０４に、ＮＯの場合はステップＳ１１４に進む。これらの処理は、例えば図９のペイロードデフォーマッタ１２、ＡＡＣコア復号部１３での処理に対応する。

ステップＳ１０４では、例えば上記ＱＭＦ分析部２１により、ＱＭＦ帯域分割処理を行う。次のステップＳ１０５で、多重化された符号化情報が復号化済みか否かを判断し、ＹＥＳのときはステップＳ１０６に進み、ＮＯのときはステップＳ１１３に進む。ステップＳ１０６では、例えば上記高域生成部２３により、多重化された高域生成符号化情報（多重化の復号化が済みの情報）を用いて高域信号生成処理を行い、次のステップＳ１０７でＰＳ処理を行うか否かを判断する。

ステップＳ１０７でＹＥＳ（ＰＳ処理を行う）と判断されたとき、ステップＳ１０８に進んでハイブリッド分析処理を行い、ステップＳ１０９で空間情報によるステレオ信号生成処理を行い、ステップＳ１１０でハイブリッド合成処理を行った後、ステップＳ１１１に進む。これらの処理は、例えば図９のハイブリッド分析部２７からハイブリッド合成部３１，３２までの処理に対応する。ステップＳ１０７でＮＯ（ＰＳ処理をしない）と判断されたときは、ステップＳ１１１に進む。

ステップＳ１１１では、ＬchのＱＭＦ帯域合成処理を行い、ステップＳ１１２でＲchのＱＭＦ帯域合成処理を行って、得られたオーディオ信号を出力する。また、上記ステップＳ１１３ではＬchのＱＭＦ帯域合成処理を行い、ステップＳ１１４で必要に応じてモノラル信号を複製してステレオ信号を生成し、得られたオーディオ信号を出力する。これらの処理は、例えば上記図９の切換スイッチ２２，３５，３６及びＱＭＦ合成部３３，３４での処理に対応する。

従来技術として、特許文献１、２には、モノラルオーディオ信号をステレオ化情報に基づいてステレオ化処理してステレオオーディオ信号を生成するための技術が開示され、非特許文献１には、上記ＨＥ ＡＡＣ（High Efficiency Advanced Audio Coding）符号化方式の規格が開示されている。

特表２００４−５３５１４５号公報 特開２００６−０８５１８３号公報 ＩＳＯ／ＩＥＣ １４４９６−３：2005, Information technology - Coding of audio-visual objects - part3:Audio

ところで、上述したフレーム間引き再生のような不連続フレームの再生等により任意のフレームから再生を行った場合、内部の状態変数が初期化され、その後、ステレオ化情報のような一部が多重化された符号化情報が入力されたときに状態変数が更新開始されるため、フィルタ遅延の影響等により異音が発生する。

例えば、上記図６の構成において、上記図７の伝送単位＃２の位置から入力が始まる場合に、伝送単位＃２〜＃４の間の使用可能なステレオ化情報が無い状態から、伝送単位＃５でステレオ化情報が入力されると、各切換スイッチ４３，５３，５４は選択Ｂ端子側に切り換えられる。この選択Ｂ端子側に切り換えられたときに初めて帯域分割部４４にて帯域分割信号を生成するが、このときの帯域分割部４４の状態変数が初期化された状態であるため、伝送単位＃５に対応する出力においてこの影響が出てしまう。例えば、出力信号が、減衰する等の影響が考えられる。そのため、異音が発生する原因となってしまう。

また、上記図９の構成の場合には、ＨＥ ＡＡＣ v2方式で符号化されたオーディオデータをフレーム間引き再生等により早送り再生を行う場合等のように、不連続でフレーム再生を行うと、多重化されたsbr header（ＳＢＲヘッダ）が抜け落ちる場合がある。例えば、図８の例の場合に、フレーム（伝送単位）＃１から再生すると、フレーム＃５で始めてＳＨ（ＳＢＲヘッダ）が伝送される。この場合、ＳＨ（ＳＢＲヘッダ）が得られるフレームに到達するまでは、ＳＤ（ＳＢＲデータ）のＳＢＲ符号化情報とＰＳ符号化情報が復号化できないため、切換スイッチ２２が選択Ａ端子側、切換スイッチ３５が選択Ａ端子側、切換スイッチ３６が選択Ｂ端子側にそれぞれ接続される構成となり、ＡＡＣコアのモノラルオーディオ信号は、ＳＢＲ処理のＱＭＦ分析部２１とＬchのＱＭＦ合成部３３を用いてモノラルオーディオ信号をアップサンプリングし、ステレオ左右チャンネルに同じ出力オーディオ信号を生成する。

このように不連続でフレーム再生を行う場合、再生装置内のフィルタの状態変数（遅延信号）と入力ＨＥ ＡＡＣ v2符号化方式で符号化されたオーディオデータとで不連続となるため、再生装置の初期化（ＳＢＲ処理初期化含む）を行い再生装置内部の状態変数の初期化が必要となる。再生装置内部の状態変数（遅延信号）には、ＱＭＦ分析部２１、ＱＭＦ合成部３３，３４、ハイブリッド分析部２７の状態変数が含まれ、初期化により０に設定される。ＳＨ（ＳＢＲヘッダ）が伝送されるまでは、ＳＢＲ符号化情報・ＰＳ符号化情報が復号化できないため、ＡＡＣコア復号部１３のモノラルオーディオ信号を切換スイッチ２２が選択Ａ端子側、切換スイッチ３５が選択Ａ端子側、切換スイッチ３６が選択Ａ端子側に切り替わり、ＱＭＦ分析部２１とＬchのＱＭＦ合成部３３を処理することでアップサンプリングして、ステレオ左右チャンネルに出力オーディオ信号として出力する。ＳＨ（ＳＢＲヘッダ）が伝送されると、再生装置初期化後初めてＳＢＲ符号化情報とＰＳ符号化情報が復号化され、ＳＢＲ処理・ＰＳ処理が実行される。ＱＭＦ分析部２１とＬchのＱＭＦ合成部３３はＳＨ（ＳＢＲヘッダ）が伝送される前でもアップサンプリングするために処理されるため、状態変数は更新されている。一方、ハイブリッド分析部２７、ＲchのＱＭＦ合成部３４の状態変数は初期化された状態となっている。そのため後段の処理に影響を及ぼし、出力オーディオ信号に異音が発生する原因となってしまう。このときのステレオ左右チャンネル（Ｌch，Ｒch）の出力オーディオ信号の例を図１１の（Ａ）、（Ｂ）に示す。

図１１の（Ａ）、（Ｂ）は、使用可能な多重化された符号化情報（ステレオ情報等）が無い状態、例えば、ＡＡＣ−ＬＣ（Low Complexity）符号化情報信号のみが入力され、ＳＢＲ処理はアップサンプリング（Up Sampling）のみが行われている状態から、時刻ｔ１においてステレオ化情報を含む多重化された符号化情報が有効（使用可能）となり、ＡＡＣ処理、ＳＢＲ処理、ＰＳ処理が開始された状態を表しており、図１１の（Ａ）はＬch、（Ｂ）はＲchの出力オーディオ信号をそれぞれ示している。

この図１１の（Ａ）、（Ｂ）において、時刻ｔ１では、上記内部の状態変数の初期化後に初めて多重化された符号化情報を認識するが、状態変数が初期化状態から変化するため、時刻ｔ１〜ｔ２の間は、上記ＳＢＲ処理のための帯域合成部（ＲchのＱＭＦ合成部３４）の状態変数による影響がＲchの出力オーディオ信号に現れ、また、時刻ｔ２〜ｔ３の間は、上記ＰＳ処理のためのハイブリッドフィルタ（ハイブリッド分析部２７）の状態変数による影響がＬch，Ｒchの両オーディオ信号に現れる。このため、出力オーディオ信号に異音が発生することになる。

これを回避する方法として、多重化された符号化情報を常に監視することが考えられるが、この場合、多重化された情報が、通常の符号化情報と同時に伝達されるため、全ての符号化情報を復号化する必要があり、処理量の削減が行えない。

本発明は、このような従来の実情に鑑みて提案されたものであり、多重化された符号化情報や復号化するために必要な情報（ＳＢＲヘッダ等）が間歇的に伝送されることにより任意位置から再生を行った場合の内部の状態変数が初期化された状態から、必要な符号化情報が入力されたときのフィルタ遅延等により、出力オーディオ信号に与える悪影響（異音の発生等）を有効に防止し得るような再生方法及び装置、プログラム並びに記録媒体を提供することを目的とする。

上述の課題を解決するために、本発明は、ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する際に、ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、フィルタ内部の状態変数が全て更新された場合、モノラルオーディオ信号に対してステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力することを特徴とする。

ここで、上記ステレオ化処理は、帯域拡張されたモノラルオーディオ信号に対して行われることが好ましい。

また、上記ステレオ化必要情報が入力されない場合、上記モノラルオーディオ信号を帯域分割フィルタ処理により少なくとも２つ以上のサブバンドに分割し、帯域合成フィルタ処理によりアップサンプリングしてモノラルオーディオ信号を用いたステレオオーディオ信号を出力し、上記ステレオ化必要情報が入力された場合、モノラルオーディオ信号のフィルタ内部の状態変数をステレオオーディオ信号のフィルタ状態変数として処理させることが好ましい。

また、上記符号化オーディオデータは、ＨＥ ＡＡＣ（High Efficiency Advanced Audio Coding）の符号化方式におけるモノラルオーディオデータに相当するＡＡＣコアの符号化情報と、ＳＢＲ（Spectral Band Replication）処理の符号化情報と、ＰＳ（Parametric Stereo）処理の符号化情報とを有し、上記ＳＢＲ処理の符号化情報は、多重化されて間歇的に伝送される符号化情報であるＳＢＲヘッダ（sbr header）と常に伝送される符号化情報であるＳＢＲデータ（sbr data）とで構成され、上記ＰＳ処理の符号化情報であるＰＳデータ（ps data）は、上記ＳＢＲデータの拡張領域に内包されて伝送され、上記ＳＢＲヘッダは上記ＳＢＲデータを復号化するために必要とされる上記ステレオ化必要情報であることが挙げられる。

本発明によれば、ステレオ化必要情報が入力されない場合から、ステレオ化必要情報が入力された場合でも、異音の発生等の無い良好なステレオオーディオ信号を再生することが可能となる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態となる再生装置あるいは再生方法に用いられるステレオ化装置の一例の概略構成を示すブロック図である。この図１において、上述した図６の各部と対応する部分には同一の指示符号を付している。

図１の入力端子４１にはモノラルオーディオ信号が、入力端子４２にはステレオ化情報がそれぞれ供給されている。入力端子４１からのモノラルオーディオ信号は、スイッチ４３Ｘ及び遅延部４６に送られる。スイッチ４３Ｘからのモノラルオーディオ信号は、帯域分割部４４に送られ、帯域分割処理されてステレオ化処理部４５に送られる。ステレオ化処理部４５には、入力端子４２からのステレオ化情報が供給され、帯域分割されたモノラルオーディオ信号がステレオ化処理され、得られたステレオ左右チャンネルの信号の内、左チャンネル（Ｌch）の信号がスイッチ６１を介して帯域合成部５１に送られ、右チャンネル（Ｒch）の信号がスイッチ６２を介して帯域合成部５２に送られる。帯域合成部５１からのＬchのオーディオ信号は、切換スイッチ５３Ｘに送られ、遅延部４６を介した信号とのいずれかが切換選択されて、切換スイッチ５４Ｘ及び出力端子５５に送られる。帯域合成部５２からのＲchのオーディオ信号は、切換スイッチ５４Ｘに送られ、切換スイッチ５３Ｘからの信号とのいずれかが切換選択されて、出力端子５６に送られる。なお、各切換スイッチ４３Ｘ，５３Ｘ，５４Ｘの切換動作や、スイッチ６１，６２のオン、オフ操作、あるいは各部の処理動作については、図示しない制御部により、入力データの内容や内部状態等に応じて制御される。

この図１に示すようなステレオ化装置に対して、上記図７に示すような入力信号（モノラルオーディオ信号Ｍ及び間歇的なステレオ化情報Ｓ）が供給される場合に、伝送単位＃０で送られたステレオ化情報Ｓは、伝送単位＃０から＃４までのステレオ化処理に用いられ、伝送単位＃５で次のステレオ化情報Ｓに切り換えられ、この伝送単位＃５で送られたステレオ化情報Ｓは伝送単位＃５から＃９まで用いられることは前述した通りである。

このように使用可能なステレオ化情報がある場合には、スイッチ４３Ｘは選択Ｂ端子に接続され、スイッチ６１，６２は選択Ｃ端子に接続され、各切換スイッチ５３Ｘ，５４Ｘは選択Ｃ端子側に切換接続される。このとき、入力端子４１から入力されたモノラルオーディオ信号を帯域分割部４４にて帯域分割し、ステレオ化処理部４５にて、ステレオ化情報に基づいてステレオ信号を作成し、作成されたステレオ信号を、各チャンネルの帯域合成処理部５１，５２にて帯域合成して、得られたステレオ左右チャンネル（Ｌch，Ｒch）の各オーディオ信号を出力端子５５，５６よりそれぞれ出力する。

これに対して、早送り再生のような不連続なフレーム再生等により任意のフレーム（伝送単位）から符号化オーディオデータが入力された場合には、使用可能なステレオ化情報が無い状態が生ずる。例えば図７の伝送単位＃２の位置から入力が始まる場合に、伝送単位＃０のステレオ化情報Ｓはフレーム間引き等により入力されておらず、伝送単位＃２〜＃４の間は使用可能なステレオ化情報が無いことになる。このように使用可能なステレオ化情報が無い伝送単位＃２〜＃４の間は、内部の帯域分割部４４等の状態変数が初期化されると共に、図１のステレオ化装置の各切換スイッチ５３Ｘ，５４Ｘは選択Ａ端子側に切り換えられ、入力端子４１から遅延部４６を介したモノラルオーディオ信号は、切換スイッチ５３Ｘを介して、Ｌch出力端子５５より出力されると共に、切換スイッチ５４Ｘを介してＲch出力端子５６より出力される。これにより、ステレオ化情報の有無によって出力オーディオ信号のチャンネル数が変化しないようにしている。なお遅延部４６は、帯域分割部４４の例えばＦＩＲフィルタ処理等による遅延を考慮して設けたものである。

次に、上記図７の伝送単位＃５の位置のデータが入力され、使用可能なステレオ化情報Ｓが供給されると、先ずスイッチ４３Ｘが選択Ｂ端子に接続され、帯域分割部４４にモノラルオーディオ信号が供給されるが、この帯域分割部４４の状態変数が十分に更新されるまで、スイッチ６１，６２、切換スイッチ５３Ｘ，５４Ｘは選択Ｃ端子に接続されない。このため、使用可能なステレオ化情報が無く、内部の状態変数が初期化された状態から、初めてステレオ化情報が入力されると、スイッチ４３Ｘが選択Ｂ端子に接続され、帯域分割部４４の状態変数を更新しつつ、遅延部４６からのモノラルオーディオ信号を、各切換スイッチ５３Ｘ，５４Ｘの選択Ａ端子を介して、各出力端子５５，５６より出力する。その後、帯域分割部４４の状態変数が十分に更新されたところで、スイッチ６１，６２が選択Ｃ端子に接続されると共に、切換スイッチ５３Ｘ，５４Ｘが選択Ｃ端子側に切換接続され、上述したようなステレオ化された信号が出力オーディオ信号として出力端子５５，５６よりそれぞれ出力される。従って、帯域分割部４４の状態変数が初期化された状態の影響が出力オーディオ信号に及ぶことがなく、異音等の発生が防止されたステレオオーディオ信号が得られる。

すなわち、本発明においては、ステレオ化情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する際に、ステレオ化情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、ステレオ化情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまでの間、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、フィルタ内部の状態変数が全て更新された場合、モノラルオーディオ信号に対してステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力するようにしている。

次に、上述したＨＥ ＡＡＣ（High Efficiency Advanced Audio Coding，国際標準規格ＩＳＯ／ＩＥＣ 14496-3）、特にＨＥ ＡＡＣ v2（バージョン２）の符号化方式で符号化された符号化オーディオデータの再生に本発明を適用した再生装置の構成例について、図２を参照しながら説明する。この図２において、上述した図９の各部と対応する部分には同一の指示符号を付している。

図２の入力端子１１には、ＡＡＣコアの符号化情報、高域生成符号化情報（ＳＢＲ処理のための帯域拡張符号化情報）、ＰＳ符号化情報（ステレオ化のための空間情報）が含まれる符号化オーディオデータのビットストリーム（Coded Audio Stream）が伝送されて入力されており、一部の符号化情報は多重化されて伝送される。すなわち、上記図８と共に説明したように、ＡＡＣコアの符号化情報ＡＣに対して、上記ＳＢＲ処理のための符号化情報ＳＤ（ＳＢＲデータ）は常時多重化されるのに対して、このＳＤ（ＳＢＲデータ）を復号化するために必要とされるＳＨ（ＳＢＲヘッダ）は間歇的に多重化されている。上記ＰＳ処理のためのＰＳデータは、ＳＤ（ＳＢＲデータ）の拡張領域に内包されて伝送されており、ＰＳデータを得るためにもＳＨ（ＳＢＲヘッダ）が必要とされるため、このＳＨ（ＳＢＲヘッダ）はステレオ化必要情報となっている。

また、高域生成符号化情報（ＳＢＲデータ）、ＰＳ符号化情報（ＰＳデータ）を含む場合には、ＡＡＣコア復号部（ＡＡＣ Core Coder）１３で復号化されるオーディオ信号は最終出力オーディオ信号のハーフサンプリングレートで出力されるため、ＱＭＦ分析（Analysis）部２１とＱＭＦ合成（Synthesis）部３３，３４とを組み合わせることで、アップサンプリングされる。例えば、ＡＡＣコア復号部１３の出力信号がサンプリング周波数２４ｋHzの場合、ＱＭＦ合成部３３，３４からの出力オーディオ信号は、サンプリング周波数４８ｋHzの信号となる。

入力端子１１からの符号化オーディオデータ（Coded Audio Stream）は、ペイロードデフォーマッタ（Bitstream Payload Deformatter）１２に送られて、ＡＡＣコア復号部１３へのＡＡＣコア符号化情報と、高域生成符号化情報・ＰＳ符号化情報とに分離される。

高域生成符号化情報・ＰＳ符号化情報は、ＳＢＲ処理部２０に送られ、ＳＢＲ処理部２０のパーサ（Bitstream Parser）１４を介して、ハフマン復号・逆量子化部１５に送られ、高域周波数信号生成情報、エンベロープ調整情報、ステレオ化情報が取り出されて各部２３，２４に送られると共に、Ｌch複製処理判断部１６を介しステレオ化処理部３０に送られる。ＳＢＲ処理部２０のパーサ１４は、ペイロードデフォーマッタ１２からの高域生成符号化情報等の多重化情報を取得し、内容を確認して、ＳＢＲ処理の初期化が必要か否かを判断し、初期化が必要な場合には、初期化制御信号を端子１４ｔより出力して後述するように各部のＳＢＲ処理の初期化を行う。また、Ｌch複製処理判断部１６は、ＳＢＲ処理初期化後に初めて多重化された符号化情報が得られたことを判定し、判定出力を端子１６ｔより出力して、後述するＬchのＱＭＦ合成部３３の状態変数（遅延信号）をＲchのＱＭＦ合成部３４に複製する処理を行わせる。

ＡＡＣコア復号部１３では、入力されたＡＡＣコア符号化情報を復号化し、ＡＡＣコアのモノラルオーディオ信号を生成する。生成されたモノラルオーディオ信号を、ＳＢＲ処理部２０のＱＭＦ分析部２１に送って６４帯域に帯域分割し、切換スイッチ２２Ｘに送る。高域生成符号化情報（ＳＢＲデータ）が入力された場合には、切換スイッチ２２Ｘが選択Ｂ，Ｃ端子に切換接続され、ＱＭＦ分析部２１からの信号が高域生成部（HF Generator）２３に送られる。高域生成部２３では高域周波数信号を生成し、エンベロープ調整部（Envelope Adjuster）２４でエンベロープ調整を行って、ハイブリッド分析（Hybrid Analysis）部２７及び切換スイッチ３５Ｘに送る。

上記ＰＳ符号化情報（ＰＳデータ）からステレオ化情報が得られている場合には、切換スイッチ２２Ｘは選択Ｃ端子に切換接続される。ハイブリッド分析部２７では入力された帯域分割信号の低域信号を更に帯域分割し、入力された帯域分割信号の高域信号と共に信号解析（De-correlate）部２９及びステレオ化処理（Stereo Processing）部３０に入力する。信号解析部２９では、入力信号を解析し、音響調整し、ステレオ化処理部３０に入力する。ステレオ化処理部３０では、入力された帯域分割信号と、ステレオ化情報から、ステレオ左右チャンネルの信号を生成する。生成されたステレオの各チャンネルの信号は、それぞれスイッチ１７，１８を介して、各チャンネルのハイブリッド合成（Hybrid Synthesis）部３１，３２に送られる。各ハイブリッド合成部３１，３２にて、上記ハイブリッド分析部２７にて分割された帯域を合成する。ハイブリッド合成部３１からの信号は、切換スイッチ３５Ｘを介してＱＭＦ合成（Synthesis）部３３及び切換スイッチ１９に送られ、ハイブリッド合成部３２からの信号は、切換スイッチ１９を介してＱＭＦ合成部３４に送られる。各チャンネルのＱＭＦ合成部３３，３４にて、上記ＱＭＦ分析部２１で帯域分割された帯域を合成し、ステレオ左右チャンネル（Ｌch，Ｒch）の出力オーディオ信号を生成する。ＱＭＦ合成部３３からのＬchのオーディオ信号は、切換スイッチ３６Ｘ及び出力端子３７に送られる。ＱＭＦ合成部３４からのＲchのオーディオ信号は、切換スイッチ３６Ｘに送られ、ＱＭＦ合成部３３からの信号とのいずれかが切換選択されて、出力端子３８に送られる。

ここで、図２の再生装置のスイッチ切換等を含む各部動作は、図示しない制御手段により、入力された符号化情報の内容や、各部の状態等に応じて制御される。

この図２に示す再生装置は、上記図９に示した再生装置の構成に比較して、ＱＭＦ分析部２１の後段のスイッチ構成及びエンベロープ調整部２４の後段のスイッチ構成が変更され、スイッチ１７，１８及び切換スイッチ１９が追加され、ＱＭＦ合成部３３，３４の状態変数を複製する点が異なっている。

図２の再生装置において、上述したような任意のフレーム（伝送単位）から符号化オーディオデータが入力された場合について説明する。例えば上記図８の伝送単位＃２の位置から入力が始まる場合に、伝送単位＃０のステレオ化必要情報であるＳＨ（ＳＢＲヘッダ）は入力されていないため、伝送単位＃２〜＃４の間はＳＤ（ＳＢＲデータ）が復号化できないため使用可能なステレオ化情報（ＰＳデータ）が得られず、内部のＳＢＲ処理部２０のＱＭＦ分析部２１、ハイブリッド分析部２７、ＱＭＦ合成部３３，３４等の状態変数（遅延信号）が初期化される。次に、上記図８の伝送単位＃５の位置のデータが入力されて、ステレオ化必要情報であるＳＨ（ＳＢＲヘッダ）が供給されると、ＳＤ（ＳＢＲデータ）が復号化されて使用可能なステレオ化情報（ＰＳデータ）が得られ、内部のＳＢＲ処理部２０のＱＭＦ分析部２１、ハイブリッド分析部２７、ＱＭＦ合成部３３，３４等の状態変数（遅延信号）が更新される。この状態変数（遅延信号）とは、フィルタ内の遅延素子に保持されるデータ（信号）のことであり、フィルタ処理では、フィルタ長に応じて、信号が入力されてから出力されるまでに遅延が生じるが、この遅延信号を意味する。

ここで、使用可能なステレオ化情報（ＰＳデータ）が得られず内部の状態変数が初期化された状態では、各切換スイッチ２２Ｘ，３５Ｘ，３６Ｘは、選択Ａ端子側に切換接続される。このとき、ＡＡＣコア復号部１３からのモノラルオーディオ信号をＱＭＦ分析部２１で帯域分割し、ＬchのＱＭＦ合成部３３で帯域合成し、Ｌch，Ｒch共に同一のオーディオ信号を出力する。

次に、多重化された符号化情報が伝送されると、各切換スイッチ２２Ｘ，３５Ｘ，１９，３６Ｘは、選択Ｂ，Ｃ端子に切換接続される。この場合、選択Ｂ端子は帯域拡張符号化情報のみのとき、選択Ｃ端子は帯域拡張符号化情報（高域生成情報）及びステレオ化情報を含むときにそれぞれ切換接続される。

以下、ステレオ化必要情報であるＳＨ（ＳＢＲヘッダ）が伝送されることによりＳＤ（ＳＢＲデータ）が復号化されステレオ化情報（ＰＳデータ）が得られるようになった場合について説明する。ＳＢＲ処理の符号化情報（ＳＢＲデータ）及びステレオ化情報（ＰＳデータ）が得られると、ＲchのＱＭＦ合成部３４に初めて信号が送られるようになる。そのため、状態変数（遅延信号）を気にせずに出力オーディオ信号を生成すると、状態変数の初期化信号がＲchのオーディオ信号に出力され、異音の原因となってしまう。そこで、本発明の実施の形態では、このタイミングで、Ｌch複製処理判断部１６からの判定出力により、ＬchのＱＭＦ合成部３３の状態変数（遅延信号）を、状態変数複製処理にて、ＲchのＱＭＦ合成部３４に複製する。この操作により、ステレオ化情報が伝送されるまで選択Ａ端子に接続された状態で再生していたにも拘わらず、ＬchのＱＭＦ合成部３３の状態変数と同等の状態変数がＲchのＱＭＦ合成部３４に設定される。上記複製処理が実行されると、各切換スイッチ２２Ｘ，３５Ｘ，１９，３６Ｘは選択Ｆ端子に切換接続される。

通常、帯域合成処理にて、関係の無い適当な信号を遅延信号として用いると、帯域合成処理で意図しない増幅減衰がなされ、異音の原因となり得る。本実施の形態の方法では、初期化後初めて、多重化された符号化情報が得られたフレームでは、出力がモノラルからステレオと切り替わるポイントであるため、ＲchのＱＭＦ合成部３４の状態変数（遅延信号）として、ＬchのＱＭＦ合成部３３の状態変数（遅延信号）を用いても異音が発生する事は無い。

また、ステレオ化処理（ＰＳ処理）では、空間符号化の情報を適用するために、ハイブリッド分析部２７による帯域分割、信号解析部２９による解析結果と伝送された空間情報によるステレオ信号生成処理及びハイブリッド合成を行う。遅延を要すハイブリッド分析部２７も多重化された符号化情報を復号化して初めて処理されるため、デコード内部変数初期化後に初めて多重化された符号化情報が得られたときの状態変数（遅延信号）は初期化された状態となり、信号解析部２９の解析に影響し異音の原因となってしまう。すなわち、ハイブリッド分析部２７にＱＭＦ分析部２１で帯域分割された信号が入力されるが、ハイブリッド分析部２７の状態変数（遅延信号）は初期化された状態であるため、正しく後段の処理がされない。

そのため、本実施の形態では、この影響を排除するために、初期化後初めてハイブリッド分析部２７を処理する場合には、遅延信号を更新するためにハイブリッド分析部２７とステレオ化処理部３０のステレオ左右チャンネル生成係数の更新処理を行い、出力には、スイッチ３５Ｘ，１９をそれぞれ端子Ｆへ切り替え、ハイブリッド分析部２７の前で分岐させた信号を各チャンネルのＱＭＦ合成部３３，３４に出力している。

具体的には、スイッチ１７，１８により、ハイブリッド分析部２７の状態変数（遅延信号）が十分に更新されるまでステレオ化された信号は切断（スイッチ１７，１８が共にオフ）され、代わりに各切換スイッチ２２Ｘ，３５Ｘの選択Ｆ端子を介して伝送される信号がＬchのＱＭＦ合成部３３及び切換スイッチ１９の選択Ｆ端子を介してＲchのＱＭＦ合成部３４に送られる。ＬchのＱＭＦ合成部３３からの信号が出力端子３７より出力され、ＬchのＱＭＦ合成部３３と同じ状態変数のＲchのＱＭＦ合成部３４からの信号が切換スイッチ３６Ｘの選択Ｆ端子を介して出力端子３８より出力される。

ハイブリッド分析部２７の状態変数（遅延信号）は、上記非特許文献１の８．６．４節に明記されている通り、６ＱＭＦサンプルの遅延がある。ステレオ化処理部３０のステレオ左右チャンネル生成係数の更新処理は、上記非特許文献１の８．６．４．４節に記載されているように、係数が差分情報として伝送されるため、必要となる。

ハイブリッド分析部２７の状態変数（遅延信号）が十分に更新されると、スイッチ１７，１８が共にオンされ（選択Ｅ端子に接続にされ）、ステレオ化処理部３０からのステレオ左右チャンネルの信号がハイブリッド合成部３１，３２にそれぞれ送られる。各切換スイッチ３５Ｘ，１９，３６Ｘは、選択Ｅ端子側にそれぞれ切換接続され、ハイブリッド合成部３１からの信号はＱＭＦ合成部３３を介してステレオＬchのオーディオ信号として出力端子３７より出力され、ハイブリッド合成部３２からの信号はＱＭＦ合成部３４を介してステレオＲchのオーディオ信号として出力端子３８より出力される。なお、スイッチ１７，１８及び切換スイッチ３５Ｘ，１９，３６Ｘが選択Ｅ端子に接続されるタイミングとしては、ハイブリッド分析部２７の状態変数の更新処理中にもＲchのＱＭＦ合成部３４の状態変数を更新することにより、１フレーム処理内で異音を発生させることなく、切り換えることが可能である。

図３〜図５は、例えば上記図２の構成における上述したようなデコード動作を説明するためのフローチャートである。

図３において、上記入力端子１１に入力される符号化オーディオデータのビットストリームのような符号化情報に対して、ステップＳ１０１で上記ＨＥ ＡＡＣ v2方式の符号化データの復号化処理（デフォーマット処理）を行い、多重化された符号化情報としての上述したような高域生成符号化情報（ＳＢＲデータ）や空間符号化情報（ＰＳデータ）を取り出し、また、上記ＡＡＣコア情報については、ステップＳ１０２にてＡＡＣ信号処理を行う。次のステップＳ１０３では、上記ＳＢＲ処理を行うか否かが判断され、ＹＥＳの場合はステップＳ１０４に、ＮＯの場合はステップＳ１１４に進む。これらの処理は、例えば図２のペイロードデフォーマッタ１２、ＡＡＣコア復号部１３での処理に対応する。

ステップＳ１０４では、例えば上記ＱＭＦ分析部２１により、ＱＭＦ帯域分割処理を行う。次のステップＳ１０５で、多重化された符号化情報が復号化済みか否かを判断し、ＹＥＳのときはステップＳ１０６に進み、ＮＯのときはステップＳ１１３に進む。ステップＳ１０６では、例えば上記高域生成部２３により、多重化された高域生成符号化情報（多重化の復号化が済みの情報）を用いて高域信号生成処理を行い、次のステップＳ１０７でＰＳ処理を行うか否かを判断する。

ステップＳ１０７でＹＥＳ（ＰＳ処理を行う）と判断されたとき、ステップＳ１２０でＰＳ処理を行った後ステップＳ１１１に進み、ステップＳ１０７でＮＯ（ＰＳ処理をしない）と判断されたときは、直接ステップＳ１１１に進む。ステップＳ１２０におけるＰＳ処理の具体例については、図４、あるいは図５を参照しながら後述する。

ステップＳ１１１では、ＬchのＱＭＦ帯域合成処理を行い、ステップＳ１１２でＲchのＱＭＦ帯域合成処理を行って、得られたオーディオ信号を出力する。また、上記ステップＳ１１３ではＬchのＱＭＦ帯域合成処理を行い、ステップＳ１１４で必要に応じてモノラル信号を複製してステレオ信号を生成し、得られたオーディオ信号を出力する。これらの処理は、例えば上記図２の切換スイッチ３５Ｘ，３６ＸやＱＭＦ合成部３３，３４等での処理に対応する。

図４は、本発明の実施の形態の上記ステップＳ１２０のＰＳ処理の一具体例を示し、上記図３のステップＳ１０７でＹＥＳ（ＰＳ処理を行う）と判断されたとき、ステップＳ１０８に進んでハイブリッド分析処理を行い、ステップＳ１０９で空間情報によるステレオ信号生成処理を行い、ステップＳ１１０でハイブリッド合成処理を行った後、ステップＳ１１５に進む。ステップＳ１１５では、ＲchのＱＭＦ帯域合成処理の状態変数（遅延信号）、例えば図２のＱＭＦ合成部３４の状態変数は更新済みか否かを判断し、ＹＥＳのときは上記図３のステップＳ１１１へ、ＮＯのときはステップＳ１１６へ進む。ステップＳ１１６では、ＬchのＱＭＦ帯域合成処理の状態変数をＲchのＱＭＦ帯域合成処理の状態変数に複製した後、上記図３のステップＳ１１１に進む。これらの処理は、例えば図２のハイブリッド分析部２７からＱＭＦ合成部３３，３４までの処理に対応する。

これらの図３、図４に示す具体例においては、符号化情報の一部が多重化されて伝送される符号化オーディオデータの任意のフレームからの再生を行う際に、再生装置の内部状態を初期化し、多重化されて伝送される符号化情報が無い状態でも、少なくとも２つ以上のサブバンドに分割し、遅延が発生する帯域合成フィルタ処理によりアップサンプリングしてモノラルオーディオ信号を出力するようにし、その後、多重化された符号化情報が入力されて最初にモノラル信号からステレオ信号を生成する処理を行う場合に、モノラル信号のフィルタ状態変数（遅延信号）をステレオ信号のフィルタ状態変数として処理させる（ステップＳ１１４，Ｓ１１５，Ｓ１１６）ことにより、フィルタ処理の遅延による出力オーディオ信号の異音発生を防止している。

次に、図５は、本発明の実施の形態の上記図３のステップＳ１２０のＰＳ処理の他の具体例を示している。すなわち、上記図３のステップＳ１０７でＹＥＳ（ＰＳ処理を行う）と判断されたとき、図５のステップＳ１０８に進んでハイブリッド分析処理（例えば図２のハイブリッド分析部２７での処理）を行った後、ステップＳ１１９に進み、上記ハイブリッド分析処理の状態変数（遅延信号）は全て更新済みか否かを判別し、ＹＥＳのときはステップＳ１０９に進み、ＮＯのときはステップＳ１１７に進んでいる。ステップＳ１０９では、空間情報によるステレオ信号生成処理を行い、ステップＳ１１０でハイブリッド合成処理を行った後、ステップＳ１１５に進む。ステップＳ１１７では、上記ハイブリッド分析処理の状態変数が未だ全て更新されていないため、モノラル信号を複製してステレオ信号を生成したものをハイブリッド合成処理の出力とし、ステップＳ１１８に進んで必要な状態変数の更新を行った後、ステップＳ１１５に進む。

ステップＳ１１５では、ＲchのＱＭＦ帯域合成処理の状態変数（例えば図２のＱＭＦ合成部３４の状態変数）は更新済みか否かを判断し、ＹＥＳのときは上記図３のステップＳ１１１へ、ＮＯのときはステップＳ１１６へ進む。ステップＳ１１６では、ＬchのＱＭＦ帯域合成処理の状態変数をＲchのＱＭＦ帯域合成処理の状態変数に複製し、上記図３のステップＳ１１１に進む。

これらの図３、図５に示す具体例においては、上記図４と共に説明した具体例の構成に加えて、ステップＳ１１９，Ｓ１１７，Ｓ１１８に示すように、フィルタ処理の遅延が出力オーディオ信号に影響しないように、少なくともフィルタ状態変数（遅延信号）全てが更新されるまでは、フィルタ状態変数の更新処理と、出力信号の複製処理を行い、十分にフィルタ状態変数の更新が行われた後で、通常の再生処理を行うことにより、フィルタ処理の遅延による出力オーディオ信号の異音発生を防止している。

このような本発明の実施の形態におけるステレオ左右チャンネル（Ｌch，Ｒch）の出力オーディオ信号の例を図１１の（Ｃ）、（Ｄ）に示す。各時刻ｔ１〜ｔ３については、上述した図１１の（Ａ）、（Ｂ）の説明と同様である。すなわち、時刻ｔ１までは使用可能なステレオ化情報が無い状態（例えば、ＡＡＣ−ＬＣ（Low Complexity）符号化情報信号のみが入力され、ＳＢＲ処理はアップサンプリング（Up Sampling）のみが行われている状態）であり、時刻ｔ１においてステレオ化情報を含む多重化された符号化情報が有効（使用可能）となり、ＡＡＣ処理、ＳＢＲ処理、ＰＳ処理が開始される。また、図１１の（Ｃ）はＬch、（Ｄ）はＲchの出力オーディオ信号をそれぞれ示している。

図１１に示す本発明の実施の形態におけるステレオ左右チャンネルの出力オーディオ信号（Ｃ）、（Ｄ）は、従来の出力オーディオ信号（Ａ）、（Ｂ）と比較すれば明らかなように、時刻ｔ１〜ｔ２の間の上記ＳＢＲ処理のための帯域合成部（ＱＭＦ合成部３４）の状態変数（遅延信号）による影響も、時刻ｔ２〜ｔ３の間の上記ＰＳ処理のためのハイブリッドフィルタ（ハイブリッド分析部２７）の状態変数による影響も現れておらず、本発明の実施の形態によれば、内部の状態変数が初期化された状態から、初めて多重化された符号化情報（ステレオ化情報等）が入力された場合でも、異音の発生等の無い良好なステレオオーディオ信号を再生することができる。

以上説明した本発明の実施の形態は、ステレオ化情報を含む一部の符号化情報がモノラルオーディオ信号に多重化されて伝送される符号化オーディオデータを復号化処理して再生する際に、使用可能な上記多重化された符号化情報が入力されない状態で内部の状態変数（遅延信号）を初期化し、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、上記内部の状態変数が初期化された状態で上記多重化された符号化情報が入力されたとき、内部の状態変数の更新を開始し、該状態変数が全て更新されるまでの間、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、上記内部の状態変数が全て更新されたとき、上記モノラルオーディオ信号に対して上記多重化された符号化情報に基づくステレオ化処理を含む信号処理を行ってステレオオーディオ信号を生成して出力する。

すなわち、ステレオ化情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する際に、ステレオ化情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、ステレオ化情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまでの間、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、フィルタ内部の状態変数が全て更新された場合、モノラルオーディオ信号に対してステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力する。

本発明の他の実施の形態は、符号化情報の一部が多重化されて伝送される符号化オーディオデータの復号化手段と、多重化された符号化情報の一部が伝送されていない場合でも、伝送された符号化情報の一部から出力オーディオ信号を生成する情報を取得する手段と、少なくとも２つ以上の帯域に分割して帯域分割信号を生成するオーディオ信号帯域分割手段と、生成した帯域分割信号に対して、帯域拡張符号化情報が伝送されることで、高域情報を生成する手段と、空間符号化情報が伝送されることにより、帯域分割信号に対して、遅延を要す副帯域分割信号生成手段により副帯域分割信号を生成し、空間符号化情報に基づいてモノラル信号からステレオ信号を生成する手段と、副帯域分割信号を帯域分割信号に合成する副帯域分割信号合成手段と、合成された帯域分割信号を遅延を要すオーディオ信号合成手段により合成し、出力オーディオ信号を生成する手段と、を有する符号化オーディオデータ再生装置において、不連続な位置（フレーム）から再生を行う場合に、符号化オーディオデータ再生装置の遅延を要す副帯域信号生成手段と、オーディオ信号合成手段の状態変数（遅延信号）の初期化を行う手段と、上記初期化後に再生を継続する手段と、上記初期化後に、初めて多重化された符号化情報が伝送され、空間符号化情報が復号化されてモノラル信号からステレオ信号を生成する際に、生成されたステレオ信号のオーディオ信号合成手段の状態変数（遅延信号）としてモノラル信号の状態変数（遅延信号）を用いて処理する手段と、を有する。

また、このような符号化オーディオデータ再生装置の遅延信号初期化後に、初めて多重化された符号化情報が伝送され、空間符号化情報が復号化されてモノラル信号からステレオ信号が生成される際に、副帯域分割信号生成手段の状態変数（遅延信号）が全て更新されるまでは、状態変数（遅延信号）を更新するために擬似的に副帯域分割信号生成を行う手段と、擬似的に副帯域分割信号生成手段が動作している最中は、副帯域分割信号生成手段に入力されたモノラルの帯域分割信号を複製し、ステレオの帯域分割信号としてオーディオ信号合成手段へ出力する手段と、擬似的に副帯域分割信号生成手段が動作している最中は、モノラル信号からステレオ信号を生成する手段の差分で更新される分割係数を更新する手段と、副帯域分割信号生成手段の遅延信号が全て更新された後に空間符号化情報に基づいてモノラル信号からステレオ信号を生成する手段と、を有する。

すなわち、符号化情報の一部が多重化されて伝送される符号化されたオーディオデータの復号化処理にて、任意のフレームからの通常再生を行う際に、デコーダの遅延信号を初期化し、多重化されて伝送される符号化情報が無い状態でも、少なくとも２つ以上の帯域に分割し、遅延を要す帯域合成フィルタ処理によりアップサンプリングしてモノラルオーディオ信号を複製してステレオオーディオ信号として出力でき、初めて符号化情報が伝送され、空間復号化処理が有効になる場合に、モノラル信号のオーディオ信号帯域合成処理の遅延信号をステレオ信号のオーディオ信号帯域合成処理の遅延信号として処理させることにより、ＱＭＦ合成フィルタ処理の遅延による出力オーディオ信号の異音を発生させなくする。

また、副帯域分割フィルタ処理の遅延が出力オーディオ信号に影響しないように、少なくとも副帯域分割フィルタ処理の遅延信号全てが更新されるまでは、遅延信号の更新処理と、出力信号の複製処理を行い、全ての遅延信号の更新が行われた後で、通常の再生処理を行うことにより、フィルタ処理の遅延による出力オーディオ信号の異音を発生させなくする。

これによって、符号化情報の一部が多重化されて伝送されるような空間復号化処理を有する符号化オーディオデータでも、異音が発生することなく、任意位置からの再生が可能となる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述した本発明の実施の形態においては、ハードウェア構成を有する再生装置あるいは再生方法として説明したが、上述した各工程の処理をソフトウェアにより実現すること、すなわち、ＣＰＵ（Central Processing Unit）を用いたコンピュータによりプログラムを実行させることで実現することが可能であり、また、このコンピュータプログラムを記録媒体に記録して提供することも可能である。

本発明の実施の形態となる再生装置の概略構成を示すブロック図である。 本発明の実施の形態をＨＥ ＡＡＣ v2方式で符号化された符号化オーディオデータの再生装置に適用した構成例を示すブロック図である。 図２に示す再生装置の動作を説明するためのフローチャートである。 図３のステップＳ１２０のＰＳ処理の一具体例を説明するためのフローチャートである。 図３のステップＳ１２０のＰＳ処理の他の具体例を説明するためのフローチャートである。 従来のステレオ化装置の構成例を示すブロック図である。 図６のステレオ化装置に入力される信号の一例を示す図である。 ＨＥ ＡＡＣ v2方式のステレオ化装置に入力される信号の一例を示す図である。 ＨＥ ＡＡＣ v2方式で符号化された符号化オーディオデータの再生装置の構成例を示すブロック図である。 図９に示す再生装置の動作を説明するためのフローチャートである。 従来の再生装置の出力オーディオ信号と、本発明の実施の形態が適用された再生装置の出力オーディオ信号とを対比して示す波形図である。

符号の説明

１１ 符号化オーディオデータの入力端子、 ２１ ＱＭＦ分析部、 ２３ 高域生成部、 ２７ハイブリッド分析部、 ３０，４５ ステレオ化処理部、 ３１，３２ ハイブリッド合成部、 ３３，３４ ＱＭＦ合成部、 ４４ 帯域分割部、 ５１，５２ 帯域合成部

Claims (8)

1. ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する再生方法において、
   上記ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第１の工程と、
   上記ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第２の工程と、
   上記フィルタ内部の状態変数が全て更新された場合、上記モノラルオーディオ信号に対して上記ステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力する第３の工程と
   を有することを特徴とする再生方法。
2. 上記ステレオ化処理は、帯域拡張されたモノラルオーディオ信号に対して行われることを特徴とする請求項１記載の再生方法。
3. 上記第１の工程では、上記モノラルオーディオ信号を帯域分割フィルタ処理により少なくとも２つ以上のサブバンドに分割し、帯域合成フィルタ処理によりアップサンプリングしてモノラルオーディオ信号を用いたステレオオーディオ信号を出力し、
   上記第２の工程では、モノラルオーディオ信号のフィルタ内部の状態変数をステレオオーディオ信号のフィルタ状態変数として処理させることを特徴とする請求項２記載の再生方法。
4. 上記符号化オーディオデータは、ＨＥ ＡＡＣ（High Efficiency Advanced Audio Coding）の符号化方式におけるモノラルオーディオデータに相当するＡＡＣコアの符号化情報と、ＳＢＲ（Spectral Band Replication）処理の符号化情報と、ＰＳ（Parametric Stereo）処理の符号化情報とを有し、上記ＳＢＲ処理の符号化情報は、多重化されて間歇的に伝送される符号化情報であるＳＢＲヘッダ（sbr header）と常に伝送される符号化情報であるＳＢＲデータ（sbr data）とで構成され、上記ＰＳ処理の符号化情報であるＰＳデータ（ps data）は、上記ＳＢＲデータの拡張領域に内包されて伝送され、上記ＳＢＲヘッダは上記ＳＢＲデータを復号化するために必要とされる上記ステレオ化必要情報であることを特徴とする請求項３記載の再生方法。
5. ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する再生装置において、
   入力されたモノラルオーディオ信号を帯域分割する帯域分割手段と、
   上記帯域分割手段からの信号を上記多重化された符号化情報に含まれる上記ステレオ化情報に基づきステレオ化処理するステレオ化処理手段と、
   ステレオ化処理手段からのステレオ左右チャンネルの信号をそれぞれ帯域合成する帯域合成手段と、
   上記ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するように制御し、上記ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するように制御し、上記フィルタ内部の状態変数が全て更新された場合、上記モノラルオーディオ信号に対して上記ステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力するように制御する制御手段と
   を有することを特徴とする再生装置。
6. 上記ステレオ化処理は、帯域拡張されたモノラルオーディオ信号に対して行われることを特徴とする請求項５記載の再生装置。
7. ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する処理をコンピュータに実行させるプログラムにおいて、
   上記ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第１の工程と、
   上記ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第２の工程と、
   上記フィルタ内部の状態変数が全て更新された場合、上記モノラルオーディオ信号に対して上記ステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力する第３の工程と
   を有することを特徴とするプログラム。
8. ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する処理をコンピュータに実行させるプログラムが記録された記録媒体において、
   上記プログラムは、
   上記ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第１の工程と、
   上記ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第２の工程と、
   上記フィルタ内部の状態変数が全て更新された場合、上記モノラルオーディオ信号に対して上記ステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力する第３の工程と
   を有することを特徴とする記録媒体。

Images