JP5377974B2

JP5377974B2 - 信号処理装置

Info

Publication number: JP5377974B2
Application number: JP2008547029A
Authority: JP
Inventors: 修二宮阪; 道弘松本
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-11-30
Filing date: 2007-11-29
Publication date: 2013-12-25
Anticipated expiration: 2027-11-29
Also published as: US9153241B2; WO2008066114A1; CN101512909A; US20090207775A1; JPWO2008066114A1; CN101512909B

Description

本発明は、オーディオ信号を複数の階層に分離して圧縮符号化する信号処理装置に関する。例えば、ＭＰＥＧ規格ＡＡＣ＋ＳＢＲ方式のように、メインの階層として低周波数帯域の信号を圧縮符号化するためにＡＡＣ方式を用い、サブの階層として高周波数帯域の信号を圧縮符号化するためにＳＢＲ方式を用いるような信号処理装置に関する。

近年、半導体メモリを記録媒体とするようなオーディオプレーヤの開発が行われている。当該オーディオプレーヤのユーザーは、多くの場合、ＣＤなどの記録媒体に予め格納された音楽コンテンツを、エンコーダを用いて圧縮符号化し半導体メモリに格納し（ＣＤリッピング）、当該半導体メモリに格納された圧縮オーディオコンテンツを、デコーダを用いて再生することによって音楽を楽しむ、という利用形態を取っている。

この場合、ユーザーの利便性の観点から、上記エンコーダに求められる特徴として、（１）圧縮符号化のビットレートが低いこと、（２）圧縮符号化の処理速度が速いこと、などがあげられる。圧縮符号化のビットレートが低いと、記録容量の少ない安価な記録媒体でも長時間の記録が行える。また、圧縮符号化の処理速度が速ければ、多くの曲のエンコードを短い時間内で実行できる。

近年ビットレートが低いことを特徴とする符号化方式として、例えば、ＭＰＥＧ規格ＡＡＣ＋ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）が規格化された。図１は、ＡＡＣ＋ＳＢＲ方式における圧縮符号化の基本的な考え方を示した図である。ＡＡＣ＋ＳＢＲ方式では、メインの階層として、低周波数帯域の信号をＡＡＣ方式で圧縮符号化し（図１の左側）、サブの階層として高周波数帯域の信号をＳＢＲ方式で圧縮符号化（図１の右側）する。ここで、ＳＢＲ方式は、低域の信号を高域に複製し、加工、整形するような方式であるので、ＳＢＲ部分は非常に少ないビットレートで符号化できる。

図２は、ＡＡＣ＋ＳＢＲ方式におけるビットストリームの基本的な構造を示した図である。予め定められた時間間隔に区切られたオーディオフレームごとに、ＡＡＣ部（ＡＡＣＤａｔａ）、ＳＢＲ部（ＳＢＲＤａｔａ）が格納されており、それぞれにヘッダ情報（ＡＡＣＨｅａｄｅｒ，ＳＢＲＨｅａｄｅｒ）がその先頭に置かれている。ここで注意すべきことは、ＳＢＲ部のヘッダであるところのＳＢＲＨｅａｄｅｒは、ビットレート削減の観点から、必ずしも毎フレームごとに存在する必要はなく、数フレームに１回挿入すればよいという点である。ＭＰＥＧ規格によれば、１秒間に２回挿入することが勧告されている。定期的に挿入しなければならない理由は、次の通りである。例えば、当該方式が放送で用いられたような場合、デコーダには、必ずしも先頭からビットストリームが投入されるとは限らない。そのような場合、ビットストリームの先頭にだけＳＢＲＨｅａｄｅｒが挿入されていて、定期的にＳＢＲＨｅａｄｅｒが挿入されていないような場合、ビットストリームの最後までＳＢＲ部分の再生ができないからである。同様に、蓄積されたビットストリームであっても、ビットストリームの先頭から再生するのではなく、例えば、４０秒時点から再生するような場合、定期的にＳＢＲＨｅａｄｅｒが挿入されていなければ、ＳＢＲ部分の再生ができないからである。

圧縮符号化処理の高速性に関しては、もちろん、エンコーダ自身を高速に処理するような技術が必要で、多数開発されているが、本願の趣旨ではないのでここでは省略する。一方、エンコードシステムとしての高速性の観点からいくつかの処理方法が工夫されている。図３は、ＣＤの音楽信号を高速に処理するためのシステム構成を示している。

まず、ＣＤに格納されている音楽信号は、入力ＰＣＭ（ＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ)バッファに送られる。次に、信号処理プロセッサ、いわゆるＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）は、上記入力ＰＣＭバッファから音楽信号を取り出して、当該音楽信号を圧縮符号化する。そのように圧縮符号化されて得られたビットストリームは、出力ビットストリームバッファを経由して、たとえばＳＤメモリカードのような外部メモリに格納される。この一連の処理は、制御マイコンによって制御される。ここで注意しなければならないことは、ＣＤに格納された音楽信号から例えば１０曲分をエンコードするような場合、上記入力ＰＣＭバッファには、各曲の切れ目なく連続的に音楽信号が投入され、上記信号処理プロセッサも、曲の切れ目を感知することなく、連続的にエンコード処理を行う、ということである。言い換えれば、１０曲分の時間長を持った長い１曲をエンコードしているような処理である。このようにしてエンコードされ、出力ビットストリームバッファに格納されたビットストリームは、もともとＣＤに記録されている曲の長さ情報（何分何秒）に基づいて、１曲目、２曲目、というように、曲ごとに分割される（特許文献１参照）。このように、数曲分まとめて一括してエンコード処理する理由は、曲ごとにエンコード作業を行うよりも高速に処理することが可能だからである。
特開２００４−１０１６３８号公報

しかしながら、上記のような方法の場合、符号化方式として、ＡＡＣ＋ＳＢＲ方式を用いる場合、必ずしも各曲の先頭にＳＢＲＨｅａｄｅｒが挿入されないという課題がある。

図４は、ＣＤに格納された音楽信号を、曲の切れ目を感知することなく連続的にＡＡＣ＋ＳＢＲ方式を用いてエンコードする場合に発生する課題を説明するための図である。図４（ａ）は、１枚のＣＤに４曲の音楽信号が格納されていることを示す図である。図４（ｂ）は、一例として、１曲目と２曲目との曲間におけるビットストリームの構造をクローズアップして例示している。前述したように、信号処理プロセッサは、曲間を感知することなく入力の音楽信号を圧縮符号化しているので、ＳＢＲＨｅａｄｅｒが定期的にしか挿入されていない場合、必ずしも曲の先頭にＳＢＲＨｅａｄｅｒ挿入されるとは限らないのである。勿論、ＳＢＲＨｅａｄｅｒを毎フレーム挿入すれば、そのような問題はないが、ＳＢＲＨｅａｄｅｒの分だけビットレートが上昇し、少しでもビットレートを低くしたい、という趣旨の符号化方式であるＡＡＣ＋ＳＢＲ方式としては、ＳＢＲＨｅａｄｅｒを毎フレーム挿入することは趣旨に反する。

しかしながら、ＳＢＲＨｅａｄｅｒには、ＳＢＲ処理がどの周波数帯域の信号に適用されているか、ということを示す情報が記述されているので、もし、曲の先頭にＳＢＲＨｅａｄｅｒが挿入されていない場合、曲の先頭から、初めてＳＢＲＨｅａｄｅｒが検出されるまでの間、ＳＢＲ部分を処理することができなくなり、結果として、再生音の信号が図４（ｃ）に示すような状態になる、という課題がある。

図４（ｃ）は、曲の先頭にＳＢＲＨｅａｄｅｒが挿入されていない場合の再生信号のスペクトルを示した図であり、横軸が時間、縦軸が周波数、そして、色の濃さは、信号の強さを示している。図から明らかなように、曲の先頭にＳＢＲＨｅａｄｅｒが挿入されていない場合、曲の先頭から、初めてＳＢＲＨｅａｄｅｒが検出されるまでの間、破線の楕円で示すＳＢＲ部分を処理することができなくなり、高域の周波数帯域の信号が再生されないという課題がある。

本発明は、このような従来の問題点に鑑みてなされたものであって、曲の切れ目なく連続的に投入された音楽信号をエンコードしたビットストリームを途中から再生する場合でも、再生開始時点から高音質の信号を再生できるようなビットストリームを生成する信号処理装置を提供することを目的とする。

上記の課題を解決するために、本発明の信号処理装置は、入力信号を、フレームの先頭に第１ヘッダを含む符号化信号に、フレーム単位で符号化する符号化手段と、前記符号化手段の符号化により生成される符号化信号の管理情報を示す第２ヘッダであって前記第１ヘッダとは異なる情報を示す第２ヘッダを、フレームの並びで表される前記符号化信号内の一定間隔のフレームごとに挿入する第１のヘッダ挿入手段と、前記第１のヘッダ挿入手段が前記第２ヘッダを挿入するフレームとは独立に、前記第２ヘッダを挿入するフレームを決定する制御手段と、前記制御手段によって決定された前記フレームに、前記第２ヘッダを単発的に挿入する第２のヘッダ挿入手段とを備えることを特徴とする。この構成により、第２ヘッダを毎フレーム挿入することによるビットレートの増加を避けつつ、必要なフレームには、第２ヘッダを挿入することができる。

前記第１のヘッダ挿入手段は、前記第２のヘッダ挿入手段によって前記第２ヘッダが挿入されると、前記第２のヘッダ挿入手段によって前記第２ヘッダが挿入されたフレームから一定間隔のフレームごとに前記第２ヘッダを挿入するものであってもよい。この構成により、第２のヘッダ挿入手段によって第２ヘッダが挿入されていない部分から再生を開始した場合でも、第１のヘッダ挿入手段によって周期的に挿入された前記第２ヘッダにより、当該第２ヘッダで示される符号化信号を再生することができる。

さらに、前記第１のヘッダ挿入手段は、フレーム毎に値が更新されるカウンタを有し、前記カウンタの値があらかじめ定められた設定値になると前記第２ヘッダを挿入し、前記第２のヘッダ挿入手段は、前記制御手段によって決定されたフレームで上記カウンタの値を強制的に前記設定値に書き換えることにより、前記第１のヘッダ挿入手段を使って前記制御手段によって決定されたフレーム内に前記第２ヘッダを挿入する構成としてもよい。この構成により、前記第１のヘッダ挿入手段と前記第２のヘッダ挿入手段とを少ない演算資源で実現できる。

また、前記制御手段は、入力信号の状態に応じて、前記第２ヘッダを挿入するフレームを決定するものであってもよい。この構成により、単発的に第２ヘッダを挿入するタイミングを入力信号の状態に応じて決定することができる。

前記制御手段は、外部から与えられる制御信号に従って、前記第２ヘッダを挿入するフレームを決定することとしてもよい。この構成によれば、単発的に第２ヘッダを挿入するタイミングを外部から与えられる制御信号に応じて決定することができる。

さらに、前記符号化手段は、複数曲の音楽信号からなる前記入力信号を連続的に符号化し、前記制御手段は、前記入力信号の曲の替わり目に相当する前記符号化信号中のフレームに前記第２ヘッダを挿入することを決定するようにしてもよい。この構成により、連続的に入力される複数曲の音楽信号を符号化する際、曲の替わり目で第２ヘッダ挿入することができる。

前記制御手段は、前記入力信号の振幅が閾値より小である前記符号化信号中のフレームに、前記第２ヘッダを挿入することを決定するようにしてもよく、この構成により入力信号の振幅が小であるフレーム、すなわち、曲の替わり目や入力信号の内容の替わり目などで第２ヘッダ挿入することができる。

前記制御手段は、前記入力信号の振幅が閾値より小である状態から前記閾値以上となるフレームに前記第２ヘッダを挿入することを決定するようにしてもよい。この構成により、入力信号の振幅が小である状態から大となるフレーム、すなわち、曲の先頭などに相当するフレームで第２ヘッダ挿入することができる。

また、前記制御手段は、前記入力信号の振幅が閾値より小である状態が所定の時間続いた後で、振幅が前記閾値以上となるフレームに前記第２ヘッダを挿入することを決定するようにしてもよい。この構成により、入力信号の振幅が小である状態が所定の時間続いた後で大となるフレーム、すなわち、曲の先頭などに相当するフレームなどで第２ヘッダを挿入することができる。

前記制御手段は、前記入力信号の曲調の変化を検出する曲調変化検出部を備え、前記制御手段は、前記曲調変化検出部が、前記入力信号の曲調が変化したことを検出した位置に相当する前記符号化信号中のフレームに、前記第２ヘッダを挿入することを決定するようにしてもよい。この構成により、曲調が変化した部分に相当するフレームで第２ヘッダ挿入することができる。

前記制御手段は、前記曲調変化検出部が、曲のさび部分を検出した前記入力信号の当該さび部分の先頭に相当する前記符号化信号中のフレームに、前記第２ヘッダを挿入することを決定するようにしてもよい。この構成により、曲のさび部分で第２ヘッダ挿入することができる。

また、前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、前記符号化信号の再生周波数帯域を拡大するための副次的データの管理情報を示すヘッダを前記第２ヘッダとして挿入するとしてもよい。この構成により、再生周波数帯域を拡大するための符号化情報の管理情報を示す第２ヘッダを挿入することができる。

前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、ＭＰＥＧ規格ＡＡＣ＋ＳＢＲ方式におけるＳＢＲＨｅａｄｅｒを前記第２ヘッダとして挿入するとしてもよいし、前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、前記符号化信号の再生チャネル数を拡大するための副次的データの管理情報を示すヘッダを前記第２ヘッダとして挿入するとしてもよい。

前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、再生チャネル数を拡大するための副次的データの管理情報を示すヘッダであり、チャネル間の音圧差（Ｉｎｔｅｒ−ｃｈａｎｎｅｌＩｎｔｅｎｓｉｔｙＤｉｆｆｅｒｅｎｃｅｓ）を符号化するときの符号化方法を示す符号化モード情報を含むヘッダを前記第２ヘッダとして挿入するようにしてもよい。

前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、再生チャネル数を拡大するための副次的データの管理情報を示すヘッダであり、チャネル間相関（Ｉｎｔｅｒ−ｃｈａｎｎｅｌＣｏｈｅｒｅｎｃｅ）を符号化するときの符号化方法を示す符号化モード情報を含むヘッダを前記第２ヘッダとして挿入するようにしてもよい。

前記符号化手段は、前記入力信号の振幅の大きさを検出する振幅検出部を有し、前記制御手段は、前記符号化手段が検出する前記入力信号の振幅の大きさに基づいて、前記第２ヘッダを挿入するフレームを決定するようにしてもよい。この構成により前記制御手段が、少ない演算資源でいずれのフレームに第２ヘッダを挿入するかを決定することができる。

前記第１のヘッダ挿入手段が挿入する前記第２ヘッダと、前記第２のヘッダ挿入手段が挿入する前第２記ヘッダとは、値が同じであるとしてもよい。この構成により第２ヘッダの値を格納する領域が少なくて済むこととなる。

なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本発明の信号処理装置によれば、ヘッダを毎フレーム挿入することによるビットレートの増加を避けつつ、必要なフレームには、ヘッダを挿入することができる。

（実施の形態１）
以下本発明の実施の形態１における信号処理装置について図面を参照しながら説明する。

図５は本実施の形態１における信号処理装置１０００の構成を示す図である。本信号処理装置は、第１符号化信号と第２符号化信号とからなる符号化信号を生成する信号処理装置であって、第１の符号化信号は、狭帯域のオーディオ信号をＭＰＥＧ規格ＡＡＣ方式で符号化した符号化信号であり、第２符号化信号は、前記第１符号化信号を復号化して得られる信号の周波数帯域を拡大する為の信号を符号化して得られる符号化信号であり、ＭＰＥＧ規格ＡＡＣ＋ＳＢＲ方式におけるＳＢＲ部の符号化信号である。

図５において、信号処理装置１０００は、制御部が入力ＰＣＭ信号の振幅の変化から曲の変わり目を検出し、第２ヘッダ挿入部が次の曲の先頭のフレームにＳＢＲＨｅａｄｅｒを挿入する信号処理装置であって、第１符号化部１００、第２符号化部１０１、ヘッダ情報記憶部１０２、ヘッダ挿入部１１０、制御部１０５及び多重化部１０６を備える。さらに、ヘッダ挿入部１１０は、第１ヘッダ挿入部１０３、第２ヘッダ挿入部１０４を備える。第１符号化部１００は、入力のＰＣＭ信号の低域の周波数帯域の信号を符号化する。第２符号化部１０１は、入力のＰＣＭ信号の高域の周波数帯域の信号を符号化する。入力のＰＣＭ信号は、例えば、ＣＤ１枚を再生して得られる楽曲データである。ヘッダ情報記憶部１０２は、第２符号化部１０１が生成する第２符号化信号の管理情報を記憶する。ヘッダ挿入部１１０は、前記符号化信号の再生周波数帯域を拡大するための副次的データの管理情報を示すヘッダを挿入する前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段の一例であり、すなわち、ＭＰＥＧ規格ＡＡＣ＋ＳＢＲ方式におけるＳＢＲＨｅａｄｅｒを挿入する前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段であり、ヘッダ情報記憶部１０２に格納されている第２符号化信号の管理情報であるＳＢＲＨｅａｄｅｒを第２符号化信号の先頭に挿入する。第１ヘッダ挿入部１０３は、前記管理情報を示すヘッダを周期的に、例えば、５００ｍ秒ごとに符号化信号に挿入する。なお、第１ヘッダ挿入部１０３がヘッダを符号化信号に挿入する周期は必ずしも５００ｍ秒である必要はなく、１００ｍ秒であってもよいし、３００ｍ秒であってもよいし、さらに異なる時間間隔であってもよい。第２ヘッダ挿入部１０４は、前記ヘッダを制御部１０５により決定されたフレームに単発的に挿入する。制御部１０５は、第２ヘッダ挿入部１０４を用いて符号化信号のどのフレームにＳＢＲＨｅａｄｅｒを挿入するかを決定する。多重化部１０６は、第１符号化部１００が生成する第１符号化信号と、第２符号化部１０１が生成する第２符号化信号と、ＡＡＣヘッダと、前記第１、第２の何れかのヘッダ挿入部によってＳＢＲＨｅａｄｅｒが挿入される場合は当該ＳＢＲＨｅａｄｅｒなどとを多重化する。

以上のように構成された信号処理装置の動作について、図面を参照しながら以下に説明する。

まず、前記第１符号化部１００において、入力のＰＣＭ信号の低域の周波数帯域、例えば、周波数８ｋＨｚ以下の帯域などの信号を符号化する。本実施の形態では、第１符号化部１００は、ＭＰＥＧ規格ＡＡＣ方式により低域の周波数帯域を符号化するとしたが、特にそれに限定されるものではなく、他の方式でもよい。また、第１符号化部１００が符号化を行う周波数帯域の上限を８ｋＨｚとしたが、これに限定されず、他の周波数であってもよい。

前記第２符号化部１０１では、前記第１符号化部１００で生成される符号化信号を復号化して得られる信号の周波数帯域を拡大する為の信号を符号化する。本実施の形態では、ＭＰＥＧ規格ＡＡＣ＋ＳＢＲ方式におけるＳＢＲ部の処理を行うものであるが、これも、特にＡＡＣ＋ＳＢＲ方式におけるＳＢＲ部の処理に限定されるものではなく、他の方式でもよい。第１符号化部１００及び第２符号化部１０１は、入力信号をフレーム単位で符号化する符号化手段の一例である。また、第１符号化部１００及び第２符号化部１０１は、複数曲の音楽信号からなる前記入力信号を連続的に符号化する前記符号化手段の一例である。

ヘッダ情報記憶部１０２は、ＡＡＣ＋ＳＢＲ方式におけるいわゆるＳＢＲＨｅａｄｅｒに記載する情報を記憶するメモリである。図６は、ＭＰＥＧ規格書（ＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ））の“Ｔａｂｌｅ４．１−Ｓｙｎｔａｘｏｆｓｂｒ＿ｈｅａｄｅｒ（）”（非特許文献１）を抜粋したものである。本テーブルに関する詳細な説明はＩＳＯ／ＩＥＣ１４４９６−３：２００５（Ｅ）に記載されているのでここでは省略するが、ＳＢＲＨｅａｄｅｒには、ＳＢＲ処理における符号化信号の量子化分解能や、ＳＢＲ処理がどの周波数帯域の信号に適用されているか、ということを示す情報などが含まれる。これらの情報は、通常、入力信号のサンプリング周波数や、出力ビットストリームのビットレートに応じて設定されるものであり、入力ＰＣＭ信号自体の時々刻々の性質には依存しないので、予め当該ヘッダ情報記憶部１０２に記憶しておけばよい。すなわち、このことは、前記第１のヘッダ挿入手段が挿入する前記ヘッダと、前記第２のヘッダ挿入手段が挿入する前記ヘッダとは、値が同じであることの一例である。

制御部１０５は、前記第１のヘッダ挿入手段が前記ヘッダを挿入するフレームとは独立に、前記ヘッダを挿入するフレームを決定する制御手段、及び入力信号の状態に応じて、前記ヘッダを挿入するフレームを決定する前記制御手段の一例であり、入力ＰＣＭ信号の振幅変化等を調べることにより、前記ＳＢＲＨｅａｄｅｒをいつ、どのフレームに挿入するかを制御する。図７（ａ）は、第１ヘッダ挿入部１０３によって周期的にＳＢＲＨｅａｄｅｒが挿入された符号化信号の一部分を模式的に示す図である。図７（ｂ）は、曲の替わり目で第２ヘッダ挿入部１０４によって次の曲の開始部分にＳＢＲＨｅａｄｅｒが単発的に挿入された符号化信号の一部分を模式的に示す図である。ここで、第１ヘッダ挿入部１０３は、前記符号化手段の符号化により生成される符号化信号の管理情報を示すヘッダを、フレームの並びで表される前記符号化信号内の一定間隔のフレームごとに挿入する第１のヘッダ挿入手段の一例であり、ヘッダ情報を所定のフレーム周期で挿入するものである。第２ヘッダ挿入部１０４は、前記制御手段によって決定された前記フレームに、前記ヘッダを単発的に挿入する第２のヘッダ挿入手段の一例であり、ヘッダ情報を単発的に挿入するものである。また、制御部１０５は、前記入力信号の曲の替わり目に相当する前記符号化信号中のフレームに前記ヘッダを挿入することを決定する前記制御手段の一例である。図７（ａ）は、第１ヘッダ挿入部１０３が５００ｍ秒ごとに周期的にＳＢＲＨｅａｄｅｒを挿入していることを示している。これに対し、図７（ｂ）では、直前のＳＢＲＨｅａｄｅｒから５００ｍ秒に満たない２００ｍ秒後に、ＳＢＲＨｅａｄｅｒが挿入されている。これは、制御部１０５が直前のＳＢＲＨｅａｄｅｒから２００ｍ秒後に曲の替わり目を検出したことにより、第２ヘッダ挿入部１０４が直前のＳＢＲＨｅａｄｅｒから２００ｍ秒後にＳＢＲＨｅａｄｅｒを挿入したことを示している。また、第２ヘッダ挿入部１０４がＳＢＲＨｅａｄｅｒを挿入した後は、第２ヘッダ挿入部１０４が挿入したＳＢＲＨｅａｄｅｒを起点として５００ｍ秒ごとに、第１ヘッダ挿入部１０３が周期的にＳＢＲＨｅａｄｅｒを挿入する。

ここで当該制御部１０５は、当該信号処理装置１０００が生成する符号化信号が再生される際、再生開始点になりそうなフレームには、強制的にＳＢＲＨｅａｄｅｒを挿入し、そうでないフレームでは、ある所定のフレーム間隔で定期的にＳＢＲＨｅａｄｅｒを挿入する、という制御を行う。例えば、図８は、ステレオ入力ＰＣＭ信号における曲の切り替わり部分の一例を示す波形図である。曲の無音の部分は、曲間であることが想定されるので、そのようなフレームにはＳＢＲＨｅａｄｅｒを挿入する。制御部１０５は、前記入力信号の振幅が閾値より小である前記符号化信号中のフレームに、前記ヘッダを挿入することを決定する前記制御手段の一例である。また、より好ましくは、図８の楕円で示される部分のように、無音から有音の部分に変化した時点は、曲の始まりであることが想定されるのでそのようなフレームにはＳＢＲＨｅａｄｅｒを挿入する。図８に示すように、ＣＤでは、人間の耳に曲と曲との切れ目であることが認識できるように、曲と曲との間で無音部分が一定時間続くように楽曲が収録されている。従って、制御部１０５は、曲の先頭のフレームにＳＢＲＨｅａｄｅｒを挿入する場合、無音部分が一定時間続いた後、ＳＢＲＨｅａｄｅｒを挿入することになる。ここで、制御部１０５は、前記入力信号の振幅が閾値より小である状態から前記閾値以上となるフレームに前記ヘッダを挿入することを決定する前記制御手段の一例である。また、曲調が変化した時点や、曲のいわゆる「さび」にあたる時点は、リスナーの嗜好に応じた再生開始時点として指示される可能性が高いことが想定されるのでそのようなフレームにはＳＢＲＨｅａｄｅｒを挿入する。ここで、曲調が変化した時点や、曲のさびにあたる時点を検出する方法は、従来から知られている方法を用いればよい（例えば特開２００１−２８３５６９号公報参照（特許文献２））。制御部１０５の内部に備えられる図示しない曲調変化検出部は、前記入力信号の曲調の変化を検出する曲調変化検出部の一例であり、従来から知られている方法により曲調が変化した時点や、曲のさびにあたる時点を検出する。また、制御部１０５は、前記曲調変化検出部が、前記入力信号の曲調が変化したことを検出した位置に相当する前記符号化信号中のフレームに、前記ヘッダを挿入することを決定し、前記曲調変化検出部が、曲のさび部分を検出した前記入力信号の当該さび部分の先頭に相当する前記符号化信号中のフレームに、前記ヘッダを挿入することを決定する前記制御手段の一例である。

ここで、制御部１０５が上記のように入力信号の状態に応じて、ＳＢＲＨｅａｄｅｒを挿入する時点を検出するには、図５に示したように、入力のＰＣＭ信号から直接情報を取り出してもよいが、前記第１符号化部１００や、前記第２符号化部１０１における演算過程で生成される信号に基づいて検出してもよい。例えば、前記第１符号化部１００は、本実施の形態では、ＡＡＣエンコードの処理を実行している。ＡＡＣ処理においては、所謂ｇｌｏｂａｌ＿ｇａｉｎといわれる信号の大きさを示す情報が生成されるので、その情報を参照することで、入力ＰＣＭ信号の振幅が大であるか小であるかを検出できる。従って、制御部は、それに基づいて、曲間の検出をしてもよい。ここで、第１符号化部１００は、前記入力信号の振幅の大きさを検出する振幅検出部を有する前記符号化手段の一例である。図９は、第１符号化部の演算過程で生成される信号に基づいてＳＢＲＨｅａｄｅｒの挿入箇所を判断する信号処理装置の構成を示す図である。第１符号化部１００で生成される信号に基づいて、入力ＰＣＭ信号の振幅が大であるか小であるかを検出し、曲間の検出などを行う信号処理装置２０００の構成は、図９のようになる。図９において、図５と同じ構成要素についてはすでに説明しているので同じ参照符号を付し、説明を省略する。信号処理装置２０００の各構成要素は、制御部２０５以外、図５のものと同じである。信号処理装置２０００では、制御部２０５が、第１符号化部１００からの信号であるｇｌｏｂａｌ＿ｇａｉｎに基づいて曲の替わり目を検出する動作が異なる。制御部２０５は、前記符号化手段が検出する前記入力信号の振幅の大きさに基づいて、前記ヘッダを挿入するフレームを決定する前記制御手段の一例である。

また、あるいは、前記第２符号化部１０１は、本実施の形態では、ＡＡＣ＋ＳＢＲ方式におけるＳＢＲエンコードの処理を実施しており、ＳＢＲ処理においても、入力信号の振幅の大きさを推定できる情報が生成されるので、その情報を参照することで、入力信号の振幅が大であるか小であるか検出でき、それに基づいて、曲間の検出をしてもよい。図１０は、第２符号化部の演算過程で生成される信号に基づいてＳＢＲＨｅａｄｅｒの挿入箇所を判断する信号処理装置の構成を示す図である。第２符号化部１０１の演算過程で生成される信号に基づいて、入力ＰＣＭ信号の振幅が大であるか小であるかを検出し、曲間の検出などを行う信号処理装置３０００の構成は、図１０のようになる。図１０において、図５と同じ構成要素についてはすでに説明しているので同じ参照符号を付し、説明を省略する。信号処理装置３０００の各構成要素は、制御部３０５を除き、図５のものと同じであるが、制御部３０５が、第２符号化部１０１からの信号に基づいて入力ＰＣＭ信号の振幅が大であるか小であるかを検出し、曲の替わり目を検出するなどの動作をするところが異なる。

また、曲間を示す情報や、曲のさびの位置を示す情報は、当該発明による信号処理装置の外部より入手するように構成してもよい。図１１は、外部から入力される制御信号に基づいてＳＢＲＨｅａｄｅｒの挿入箇所を判断する信号処理装置の構成を示す図である。外部からの制御信号に基づいてＳＢＲＨｅａｄｅｒの挿入箇所を検出する信号処理装置４０００の構成は、図１１のようになる。図１１において、図５と同じ構成要素についてはすでに説明しているので同じ参照符号を付し、説明を省略する。信号処理装置４０００の構成要素は制御部４０５を除き、図５のものと同じであるが、制御部４０５が曲間を示す情報や、曲のさびの位置を示す情報などの制御信号を外部より入手する経路を備えているところが図５と異なる。制御部４０５は、外部から与えられる制御信号に従って、前記ヘッダを挿入するフレームを決定する前記制御手段の一例である。

さて、第１ヘッダ挿入部１０３、第２ヘッダ挿入部１０４の動作について、フローチャートを用いて以下で詳細に説明する。

図１２は、前記第１ヘッダ挿入部１０３の動作を示すフローチャートである。第１ヘッダ挿入部１０３は、フレーム毎に値が更新されるカウンタを有し、前記カウンタの値があらかじめ定められた設定値になると前記ヘッダを挿入する前記第１のヘッダ挿入手段の一例である。まず、第１ヘッダ挿入部１０３は、内部に備える図示しないヘッダ挿入間隔レジスタにヘッダ挿入の間隔を設定する（Ｓ１）。ここでは、Ａ個のフレームに１回ＳＢＲＨｅａｄｅｒを挿入することを設定している。なお、Ａはあらかじめ定めた自然数である。次に、第１ヘッダ挿入部１０３は、フレームごとに値が更新されるフレームカウンタを０に初期化している（Ｓ２）。次いで、第１ヘッダ挿入部１０３は、上記フレームカウンタが０かどうかを検出している（Ｓ３）。フレームカウンタが０の場合、ステップＳ４にて、そのフレームにＳＢＲＨｅａｄｅｒの挿入を行う。その後、第１ヘッダ挿入部１０３は、フレームカウンタをフレーム毎に１インクリメントする。さらに、ここでは、フレームカウンタの値が、冒頭のステップＳ１で設定したフレーム間隔Ａに一致した際、フレームカウンタの値を０に戻す（Ｓ５）。ステップＳ３においてフレームカウンタの値が０でなければ、ステップＳ５の処理に移る。ステップＳ５では、すでに説明したように、フレームカウンタの値を１インクリメントし、さらに、フレームカウンタの値がステップＳ１で設定されたＡと一致すればフレームカウンタの値を０にリセットする。これによって、第１ヘッダ挿入部１０３は、周期的なヘッダ挿入を実現している。

図１３は、第２ヘッダ挿入部１０４の機能も加味したときの、第１ヘッダ挿入部１０３及び第２ヘッダ挿入部１０４の動作を示すフローチャートである。ステップＳ１１及びステップＳ１２の処理は、図１２のステップＳ１及びステップＳ２と同じであるが、第２ヘッダ挿入部１０４の動作を実現するために、ステップＳ１３及びステップＳ１４に制御部１０５の指示により強制的にフレームカウンタの値を０にする処理が設けられている点が、図１２と異なる。ここで、第２ヘッダ挿入部１０４は、前記制御手段によって決定されたフレームで上記カウンタの値を強制的に前記設定値に書き換えることにより、前記第１のヘッダ挿入手段を使って前記制御手段によって決定されたフレーム内に前記ヘッダを挿入する前記第２のヘッダ挿入手段の一例である。この経路によって、単発的にヘッダを挿入したい際、それが実現できることとなる。すなわち、ステップＳ１２でフレームカウンタの値を０に初期化した後、第２ヘッダ挿入部１０４は、制御部１０５からのヘッダ挿入指示があるか否かを判断し（Ｓ１３）、制御部１０５からの指示があればフレームカウンタの値を０にする（Ｓ１４）。ステップＳ１３において、制御部１０５からの指示がなければ、何もせずにステップＳ１５の処理に移る。図１３において、ステップＳ１５、ステップＳ１６、及びステップＳ１７の処理は、図１２のステップＳ３、ステップＳ４及びステップＳ５の処理と同じである。ただし、ステップＳ１７の処理の後の戻り先がステップＳ１３の直前となる点は異なる。これにより、第２ヘッダ挿入部１０４は、フレームごとに制御部１０５からのヘッダ挿入指示があるか否かを判断して（Ｓ１３）、制御部１０５からの指示があればフレームカウンタの値を０にする（Ｓ１４）ことにより、ステップＳ１６で単発的に、すなわち、第１ヘッダ挿入部１０３による周期的なヘッダ挿入とは無関係に、第２ヘッダ挿入部１０４はＳＢＲＨｅａｄｅｒを挿入することができる。また、第１ヘッダ挿入部１０３は、前記第２のヘッダ挿入手段によって前記ヘッダが挿入されると、前記第２のヘッダ挿入手段によって前記ヘッダが挿入されたフレームから一定間隔のフレームごとに前記ヘッダを挿入する前記第１のヘッダ挿入手段の一例であり、第２ヘッダ挿入部１０４によりＳＢＲＨｅａｄｅｒが挿入された後は、制御部１０５によるヘッダ挿入指示がなければ、フレームカウンタの値がフレーム挿入間隔Ａと一致したフレームごとに、第１ヘッダ挿入部１０３はＳＢＲＨｅａｄｅｒを挿入することになる。

最後に、多重化部１０６によって、前記第１符号化部１００が生成する符号化信号と、前記第２符号化部１０１が生成する符号化信号と、ＡＡＣＨｅａｄｅｒと、前記第１、第２の何れかのヘッダ挿入部によってヘッダが挿入される場合は当該ＳＢＲＨｅａｄｅｒとが多重化される。

上記のように、本実施の形態によれば、入力のＰＣＭ信号の低域の周波数帯域の信号を符号化する第１符号化部１００と、入力のＰＣＭ信号の高域の周波数帯域の信号を符号化する第２符号化部１０１と、前記第２符号化部が生成する符号化信号の管理情報を記憶するヘッダ情報記憶部１０２と、前記管理情報を示すヘッダを周期的に挿入する第１ヘッダ挿入部１０３と、前記ヘッダを単発的に挿入する第２ヘッダ挿入部１０４と、前記いずれのヘッダ挿入部を用いるかを決定する制御部と、前記第１符号化部１００が生成する符号化信号と、前記第２符号化部１０１が生成する符号化信号と、前記第１、第２の何れかのヘッダ挿入部によってヘッダが挿入される場合は当該ヘッダとを多重化する多重化部とを備えることによって、当該信号処理装置で生成された符号化信号が再生される際、再生開始点となる箇所に、再生開始点で必要となるヘッダ情報を挿入することができることとなる。

尚、本実施の形態では、第１符号化部１００は、ＡＡＣ＋ＳＢＲ方式におけるＡＡＣの符号化部、第２符号化部１０１は、ＡＡＣ＋ＳＢＲ方式におけるＳＢＲの符号化部、挿入するヘッダは、ＳＢＲＨｅａｄｅｒである、としたが、特にこれに限定されるべきものではない。例えば、ＡＡＣ＋ＳＢＲ方式の拡張規格である、Ｅｎｈ−ＡＡＣ＋ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３：２００１／ＦＤＡＭ２：２００４（Ｅ）（非特許文献２））において本願の技術を用いてもよい。この場合、第１符号化部１００はＡＡＣの符号化部、第２符号化部１０１は、ＳＢＲおよびＰａｒａｍｅｔｒｉｃステレオ技術の符号化部、挿入するヘッダは、所謂ｐｓ＿ｈｅａｄｅｒとなる。ここで、ｐｓ＿ｈｅａｄｅｒは、再生チャネル数を拡大するための符号化情報の管理情報を示すヘッダであり、例えば、チャネル間の音圧差（Ｉｎｔｅｒ−ｃｈａｎｎｅｌＩｎｔｅｎｓｉｔｙＤｉｆｆｅｒｅｎｃｅｓ）を符号化するときの符号化方法を示す符号化モード情報や、チャネル間相関（Ｉｎｔｅｒ−ｃｈａｎｎｅｌＣｏｈｅｒｅｎｃｅ）を符号化するときの符号化方法を示す符号化モード情報である。この場合、第１ヘッダ挿入部１０３及び第２ヘッダ挿入部１０４は、前記符号化信号の再生チャネル数を拡大するための副次的データの管理情報を示すヘッダを挿入する前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段の一例である。また、第１ヘッダ挿入部１０３及び第２ヘッダ挿入部１０４は、再生チャネル数を拡大するための副次的データの管理情報を示すヘッダであり、チャネル間の音圧差（Ｉｎｔｅｒ−ｃｈａｎｎｅｌＩｎｔｅｎｓｉｔｙＤｉｆｆｅｒｅｎｃｅｓ）を符号化するときの符号化方法を示す符号化モード情報であるヘッダを挿入する前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段の一例である。

尚、近年は、このようなチャネル間の違いを示す情報を圧縮符号化するＭＰＥＧＳｕｒｒｏｕｎｄ（ＭＰＳ）も規格化されつつある。この方式においても、符号化のための管理情報の中には、必ずしも全フレームに挿入しなくてもよい管理情報がある。これらの情報についても、本願の技術を用いて、再生側で再生開始点になるフレームに当該管理情報を示すヘッダを挿入すればよい。例えば、ＭＰＥＧＳｕｒｒｏｕｎｄ（ＭＰＳ）の規格では、エンコード側では、入力のマルチチャネル信号をダウンミックスする必要があるが、そのダウンミックス係数は、必ずしも全フレームに挿入しなくてもよい情報である。

また、近年では、デジタル通信部を用いた会議システムなどの開発も行われており、その音声伝送方式として、本願が前提としているような階層構造をもった符号化方式が用いられる場合も想定される。例えば、ＡＡＣ＋ＳＢＲのように低域と高域を階層に分けて符号化するようなものや、ＭＰＳのようにダウンミックス信号とそれをマルチチャネルに拡大する信号を階層に分けて符号化するようなものが用いられることが想定される。それを用いることによって、通信経路の伝送容量に余裕がある場合は全階層を伝送し、そうでない場合はいくつかのサブの階層を廃棄して伝送する、というようなことができるからである。

また、第１符号化部１００及び第２符号化部１０１が放送波に多重化する音声符号化信号を生成する場合には、制御部が放送波の内容がＣＭ放送であるか番組放送であるかを検出して、番組放送に切り替わるフレームにＳＢＲＨｅａｄｅｒ、ＭＰＳのダウンミックス係数、又はｐｓ＿ｈｅａｄｅｒなどを挿入するようにしてもよい。ここで、制御部は、放送波の内容がＣＭ放送であるか番組放送であるかを検出する放送内容検出部を有し、放送がＣＭ放送から番組放送に切り換わるフレームに前記ヘッダを挿入することを決定する前記制御手段の一例である。

同様に、第１符号化部１００及び第２符号化部１０１が放送波に多重化する音声符号化信号を生成する場合には、符号化の対象となる音声情報が複数のマイクロホンで収録される場合がある。例えば、あるマイクロホンではソロ歌手の音声を収録し、別のマイクロホンではバックバンドの伴奏やバックコーラスの音声を収録するなどの場合である。バックバンドの前奏の後にソロ歌手の音声が収録されているような場合、歌手の音声情報から再生が開始される可能性も高いと考えられる。このような場合、主としてバックバンドの伴奏やバックコーラスの音声を収録した音声情報を符号化している状態から、主としてソロ歌手の音声を収録した音声情報を符号化している状態に遷移した場合、制御部は、このような音声情報の切り替え位置に当たるフレームを、音声情報を収録するマイクロホンの切り替えによって検出し、そのフレームにＳＢＲＨｅａｄｅｒを挿入することを決定するとしてもよい。ここで、制御部は、前記入力信号の内容である音声情報の切り替え位置で、前記ヘッダを挿入することを決定する前記制御手段の一例である。

より具体的には、第１マイクロホン及び第２マイクロホンを含む少なくとも２本のマイクロホンを用いて収音された音声情報を前記符号化手段が符号化する際、前記符号化手段が主として第１マイクロホンで収音している音声情報を符号化している状態であるか、前記符号化手段が主として第２マイクロホンで収音している音声情報を符号化している状態であるかを検知し、前記符号化手段が前記第１マイクロホンで収音した音声情報を符号化している状態から前記第２マイクロホンで収音した音声情報を符号化している状態へ遷移したことを検知した場合、前記第２マイクロホンで収音した音声情報に切り替わった先頭のフレームに、前記ヘッダを挿入することを決定する制御手段の一例である。

また、上記の例では、音声情報を収録したマイクロホンの区別により、再生が開始される先頭フレームとなる可能性が高いフレームを検出したが、第１符号化部１００及び第２符号化部１０１が、音声情報と画像情報とを放送する放送波に多重化する音声符号化信号及び画像符号化信号を生成する場合、画像情報を収録したカメラの区別により、再生が開始される際の先頭フレームとなる可能性が高いフレームを検出することができる。この場合、制御部は、画像情報の切り替え時点の前記入力信号の位置に相当する前記符号化信号中のフレームに、前記ヘッダを挿入することを決定する前記制御手段の一例であり、より具体的には、前記画像情報が少なくとも第１カメラと第２カメラとを含む２台のカメラを用いて収録され、前記画像情報が第１カメラで収録されている状態であるか、第２カメラで収録される状態であるかを検知し、前記画像情報が前記第１カメラで収録されている状態から前記第２カメラで収録される状態へ遷移したことを検知した位置に相当するフレームに、前記ヘッダを挿入することを決定する前記制御手段の一例である。

さて、このような、階層構造を備えた符号化方式の場合は、ＡＡＣ＋ＳＢＲや、ＭＰＳがそうであるように、サブの階層の管理情報を必ずしも全フレーム伝送する必要がないが、一方で、通信を前提とした双方向の機器の場合は、受信側の要求に従って、サブの階層の管理情報を単発的に挿入しなければならない場合がある。これは、音声符号化信号に限らず、画像符号化信号についても同じことがいえる。例えば、１対１で通信していた電話会議において、もう１つ参加するサイトが増えたような場合、参加サイトが増えたそのタイミングでサブの階層の管理情報が音声符号化信号についても画像符号化信号についても、両方について、新たに参加したサイトのデコーダでは必要となる。そうしなければ、定期的に送信されてくる管理情報を待たなくてはならないからである。また、通信経路にエラーが生じ、信号を正常に受信できなかったような場合は、そのことを送信側に伝え、強制的に管理情報を送信させなくてはならない。そのような場合でも、本願実施の形態１の図１１で示した構成において、制御情報を外部から挿入することで強制的に管理情報を挿入できることになる。

また、画像符号化及びオーディオ符号化において、時間的に先に符号化されたデータと符号化対象データとの差分を符号化する予測符号化の手法がとられている場合に、予測符号化の途中のデータから再生が開始されると、時間的に先に符号化されたデータがないので、符号化された画像及びオーディオを正しく復号化することができない。そのため、予測符号化された符号化データの途中から再生が開始される可能性がある場合、ＢＳヘッダと同様にして、その位置に、予測符号化の初期化を示す管理情報（リセットサイン）を入れておくとしてもよい（特開２００６−１０６４７５号公報参照（特許文献３））。この場合、第１符号化部１００及び第２符号化部１０１は、入力信号の符号化対象フレームと、前記符号化対象フレームより前に符号化されたフレームとを用いて、それらの差分情報を符号化する予測符号化を行う前記符号化手段の一例である。また、制御部は、前記入力信号が予測符号化されている場合で、予測符号化された符号化信号の途中から再生が開始される可能性がある場合、再生が開始される可能性が高いフレームを、前記ヘッダを挿入するフレームと決定する前記制御手段の一例である。

なお、ブロック図（図５、図９、図１０、及び図１１など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明にかかる信号処理装置は、階層的な構成をもった符号化信号を生成する符号化装置に関し、サブの階層のヘッダ情報を定期的、あるいは単発的に挿入することで、再生側での再生開始点になるポイントにサブの階層のヘッダ情報を適切に挿入でき、再生側で再生開始時点から高音質の再生ができるので、例えば、ＡＡＣ＋ＳＢＲ方式やＭＰＥＧＳｕｒｒｏｕｎｄ方式が採用されたオーディオ再生機器に応用できる。

図１は、ＡＡＣ＋ＳＢＲ方式における圧縮符号化の基本的な考え方を示した図である。図２は、ＡＡＣ＋ＳＢＲ方式におけるビットストリームの基本的な構造を示した図である。図３は、ＣＤの音楽信号を高速に処理するためのシステム構成を示した図である。図４（ａ）は、１枚のＣＤに４曲の音楽信号が格納されていることを示す図である。図４（ｂ）は、一例として、１曲目と２曲目との曲間におけるビットストリームの構造をクローズアップして例示した図である。図４（ｃ）は、曲の先頭にＳＢＲＨｅａｄｅｒが挿入されていない場合の再生信号のスペクトルを示した図である。図５は、本実施の形態１における信号処理装置の構成を示す図である。図６は、ＭＰＥＧ規格のｓｂｒ＿ｈｅａｄｅｒ（）の内容を示す図である。図７（ａ）は、第１ヘッダ挿入部によって周期的にＳＢＲＨｅａｄｅｒが挿入された符号化信号の一部分を模式的に示す図である。図７（ｂ）は、曲の替わり目で第２ヘッダ挿入部によって次の曲の開始部分にＳＢＲＨｅａｄｅｒが単発的に挿入された符号化信号の一部分を模式的に示す図である。図８は、ステレオ入力ＰＣＭ信号における曲の切り替わり部分の一例を示す波形図である。図９は、第１符号化部の演算過程で生成される信号に基づいてＳＢＲＨｅａｄｅｒの挿入箇所を判断する信号処理装置の構成を示す図である。図１０は、第２符号化部の演算過程で生成される信号に基づいてＳＢＲＨｅａｄｅｒの挿入箇所を判断する信号処理装置の構成を示す図である。図１１は、外部から入力される制御信号に基づいてＳＢＲＨｅａｄｅｒの挿入箇所を判断する信号処理装置の構成を示す図である。図１２は、第１ヘッダ挿入部の動作を示すフローチャートである。図１３は、第１、第２ヘッダ挿入部の動作を示すフローチャートである。

１００第１符号化部
１０１第２符号化部
１０２ヘッダ情報記憶部
１０３第１ヘッダ挿入部
１０４第２ヘッダ挿入部
１０５、２０５、３０５、４０５制御部
１０６多重化部
１１０ヘッダ挿入部
１０００、２０００、３０００、４０００信号処理装置

Claims

入力信号を、フレームの先頭に第１ヘッダを含む符号化信号に、フレーム単位で符号化する符号化手段と、
前記符号化手段の符号化により生成される符号化信号の管理情報を示す第２ヘッダであって前記第１ヘッダとは異なる情報を示す第２ヘッダを、フレームの並びで表される前記符号化信号内の一定間隔のフレームごとに挿入する第１のヘッダ挿入手段と、
前記第１のヘッダ挿入手段が前記第２ヘッダを挿入するフレームとは独立に、前記第２ヘッダを挿入するフレームを決定する制御手段と、
前記制御手段によって決定された前記フレームに、前記第２ヘッダを単発的に挿入する第２のヘッダ挿入手段と
を備えることを特徴とする信号処理装置。
前記第１のヘッダ挿入手段は、前記第２のヘッダ挿入手段によって前記第２ヘッダが挿入されると、前記第２のヘッダ挿入手段によって前記第２ヘッダが挿入されたフレームから一定間隔のフレームごとに前記第２ヘッダを挿入する
ことを特徴とする請求項１記載の信号処理装置。
前記第１のヘッダ挿入手段は、フレーム毎に値が更新されるカウンタを有し、前記カウンタの値があらかじめ定められた設定値になると前記第２ヘッダを挿入し、
前記第２のヘッダ挿入手段は、前記制御手段によって決定されたフレームで上記カウンタの値を強制的に前記設定値に書き換えることにより、前記第１のヘッダ挿入手段を使って前記制御手段によって決定されたフレーム内に前記第２ヘッダを挿入する
ことを特徴とする請求項２記載の信号処理装置。
前記制御手段は、入力信号の状態に応じて、前記第２ヘッダを挿入するフレームを決定する
ことを特徴とする請求項１記載の信号処理装置。
前記制御手段は、外部から与えられる制御信号に従って、前記第２ヘッダを挿入するフレームを決定する
ことを特徴とする請求項１記載の信号処理装置。
前記符号化手段は、複数曲の音楽信号からなる前記入力信号を連続的に符号化し、
前記制御手段は、前記入力信号の曲の替わり目に相当する前記符号化信号中のフレームに前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項４記載の信号処理装置。
前記制御手段は、前記入力信号の振幅が閾値より小である前記符号化信号中のフレームに、前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項４記載の信号処理装置。
前記制御手段は、前記入力信号の振幅が閾値より小である状態から前記閾値以上となるフレームに前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項４記載の信号処理装置。
前記制御手段は、前記入力信号の振幅が閾値より小である状態が所定の時間続いた後で、振幅が前記閾値以上となるフレームに前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項４記載の信号処理装置。
前記制御手段は、前記入力信号の曲調の変化を検出する曲調変化検出部を備え、
前記制御手段は、前記曲調変化検出部が、前記入力信号の曲調が変化したことを検出した位置に相当する前記符号化信号中のフレームに、前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項４記載の信号処理装置。
前記制御手段は、前記曲調変化検出部が、曲のさび部分を検出した前記入力信号の当該さび部分の先頭に相当する前記符号化信号中のフレームに、前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項１０記載の信号処理装置。
前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、前記符号化信号の再生周波数帯域を拡大するための副次的データの管理情報を示すヘッダを前記第２ヘッダとして挿入する
ことを特徴とする請求項１記載の信号処理装置。
前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、ＭＰＥＧ規格ＡＡＣ＋ＳＢＲ方式におけるＳＢＲＨｅａｄｅｒを前記第２ヘッダとして挿入する
ことを特徴とする請求項１記載の信号処理装置。
前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、前記符号化信号の再生チャネル数を拡大するための副次的データの管理情報を示すヘッダを前記第２ヘッダとして挿入する
ことを特徴とする請求項１記載の信号処理装置。
前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、再生チャネル数を拡大するための副次的データの管理情報を示すヘッダであり、チャネル間の音圧差（Ｉｎｔｅｒ−ｃｈａｎｎｅｌＩｎｔｅｎｓｉｔｙＤｉｆｆｅｒｅｎｃｅｓ）を符号化するときの符号化方法を示す符号化モード情報を含むヘッダを前記第２ヘッダとして挿入する
ことを特徴とする請求項１４記載の信号処理装置。
前記第１のヘッダ挿入手段及び前記第２のヘッダ挿入手段は、再生チャネル数を拡大するための副次的データの管理情報を示すヘッダであり、チャネル間相関（Ｉｎｔｅｒ−ｃｈａｎｎｅｌＣｏｈｅｒｅｎｃｅ）を符号化するときの符号化方法を示す符号化モード情報を含むヘッダを前記第２ヘッダとして挿入する
ことを特徴とする請求項１４記載の信号処理装置。
前記符号化手段は、前記入力信号の振幅の大きさを検出する振幅検出部を有し、
前記制御手段は、前記符号化手段が検出する前記入力信号の振幅の大きさに基づいて、前記第２ヘッダを挿入するフレームを決定する
ことを特徴とする請求項４記載の信号処理装置。
前記第１のヘッダ挿入手段が挿入する前記第２ヘッダと、前記第２のヘッダ挿入手段が挿入する前記第２ヘッダとは、値が同じである
ことを特徴とする請求項１記載の信号処理装置。
前記符号化手段は、放送波に多重化する音声符号化信号を生成し、
前記制御手段は、放送波の内容がＣＭ放送であるか番組放送であるかを検出する放送内容検出部を有し、
前記制御手段は、放送がＣＭ放送から番組放送に切り換わるフレームに前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項１記載の信号処理装置。
前記符号化手段は、音声情報を放送する放送波に多重化する音声符号化信号を生成し、
前記制御手段は、前記入力信号の内容である音声情報の切り替え位置で、前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項１記載の信号処理装置。
前記制御手段は、第１マイクロホン及び第２マイクロホンを含む少なくとも２本のマイクロホンを用いて収音された音声情報を前記符号化手段が符号化する際、前記符号化手段が主として第１マイクロホンで収音している音声情報を符号化している状態であるか、前
記符号化手段が主として第２マイクロホンで収音している音声情報を符号化している状態であるかを検知し、前記符号化手段が前記第１マイクロホンで収音した音声情報を符号化している状態から前記第２マイクロホンで収音した音声情報を符号化している状態へ遷移したことを検知した場合、前記第２マイクロホンで収音した音声情報に切り替わった先頭のフレームに、前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項２０記載の信号処理装置。
前記符号化手段は、音声情報と画像情報とを放送する放送波に多重化する音声符号化信号及び画像符号化信号を生成し、
前記制御手段は、画像情報の切り替え時点の前記入力信号の位置に相当する前記符号化信号中のフレームに、前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項１記載の信号処理装置。
前記制御手段は、前記画像情報が少なくとも第１カメラと第２カメラとを含む２台のカメラを用いて収録されている場合、前記画像情報が第１カメラで収録されている状態であるか、第２カメラで収録される状態であるかを検知し、前記画像情報が前記第１カメラで収録されている状態から前記第２カメラで収録される状態へ遷移したことを検知した位置に相当するフレームに、前記第２ヘッダを挿入することを決定する
ことを特徴とする請求項２２記載の信号処理装置。
前記符号化手段は、入力信号の符号化対象フレームと、前記符号化対象フレームより前に符号化されたフレームとを用いて、それらの差分情報を符号化する予測符号化を行い、
前記制御手段は、前記入力信号が予測符号化されている場合で、予測符号化された符号化信号の途中から再生が開始される可能性がある場合、再生が開始される可能性が高いフレームを、前記第２ヘッダを挿入するフレームと決定する
ことを特徴とする請求項１記載の信号処理装置。
符号化手段が、入力信号を、フレームの先頭に第１ヘッダを含む符号化信号に、フレーム単位で符号化する符号化ステップと、
前記符号化ステップでの符号化により生成される符号化信号の管理情報を示す第２ヘッダであって前記第１ヘッダとは異なる情報を示す第２ヘッダを、第１のヘッダ挿入手段が、フレームの並びで表される前記符号化信号内の一定間隔のフレームごとに挿入する第１のヘッダ挿入ステップと、
制御手段が、前記第１のヘッダ挿入手段が前記第２ヘッダを挿入するフレームとは独立に、前記第２ヘッダを挿入するフレームを決定する制御ステップと、
第２のヘッダ挿入手段が、前記制御手段によって決定された前記フレームに、前記第２ヘッダを単発的に挿入する第２のヘッダ挿入ステップと
を含むことを特徴とする信号処理方法。
コンピュータを
入力信号を、フレームの先頭に第１ヘッダを含む符号化信号に、フレーム単位で符号化する符号化手段と、
前記符号化手段の符号化により生成される符号化信号の管理情報を示す第２ヘッダであって前記第１ヘッダとは異なる情報を示す第２ヘッダを、フレームの並びで表される前記符号化信号内の一定間隔のフレームごとに挿入する第１のヘッダ挿入手段と、
前記第１のヘッダ挿入手段が前記第２ヘッダを挿入するフレームとは独立に、前記第２ヘッダを挿入するフレームを決定する制御手段と、
前記制御手段によって決定された前記フレームに、前記第２ヘッダを単発的に挿入する第２のヘッダ挿入手段として機能させるプログラム。
入力信号を、フレームの先頭に第１ヘッダを含む符号化信号に、フレーム単位で符号化する符号化手段と、
前記符号化手段の符号化により生成される符号化信号の管理情報を示す第２ヘッダであって前記第１ヘッダとは異なる情報を示す第２ヘッダを、フレームの並びで表される前記符号化信号内の一定間隔のフレームごとに挿入する第１のヘッダ挿入手段と、
前記第１のヘッダ挿入手段が前記第２ヘッダを挿入するフレームとは独立に、前記第２ヘッダを挿入するフレームを決定する制御手段と、
前記制御手段によって決定された前記フレームに、前記第２ヘッダを単発的に挿入する第２のヘッダ挿入手段と
を備えることを特徴とする集積回路。