JP5265853B2 - 処理装置、処理方法、記録媒体、符号化方法及び復号化方法 - Google Patents

処理装置、処理方法、記録媒体、符号化方法及び復号化方法 Download PDF

Info

Publication number
JP5265853B2
JP5265853B2 JP2005348034A JP2005348034A JP5265853B2 JP 5265853 B2 JP5265853 B2 JP 5265853B2 JP 2005348034 A JP2005348034 A JP 2005348034A JP 2005348034 A JP2005348034 A JP 2005348034A JP 5265853 B2 JP5265853 B2 JP 5265853B2
Authority
JP
Japan
Prior art keywords
subband
information
similarity
audio signal
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005348034A
Other languages
English (en)
Other versions
JP2006163396A (ja
Inventor
重 會 金
度 亨 金
時 和 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2006163396A publication Critical patent/JP2006163396A/ja
Application granted granted Critical
Publication of JP5265853B2 publication Critical patent/JP5265853B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、ＭＰＥＧ（Moving Picture Expert Group）−４を利用したオーディオ信号の処理、すなわち、オーディオ信号の符号化及び復号化に関し、特に、低いビットレートでもオーディオ周波数帯域幅を狭めずにオーディオ信号を効率的に処理できるオーディオ信号処理装置及びオーディオ信号の処理方法に関する。
従来のオーディオ信号の処理方法のひとつに、認識ノイズ置換（PNS: Perceptual Noise Substitution）方法がある。この従来の方法は、ＭＰＥＧ−４オーディオ符号化ツールで用いられているものであって、６４ｋｂｐｓ／ステレオのように低いビットレートにおいてオーディオ信号を効果的に処理できるが、高いビットレートにおいて音質が低下するという問題点がある。この従来の方法では、特に過渡オーディオ信号を処理する場合、音質がさらに低下するという問題点がある。しかも、この従来の方法では、使用できるビット数が小さいので、オーディオ周波数帯域幅を狭めてオーディオ信号を符号化する。この場合、周波数帯域幅が狭くなるため、音質がさらに低下する。
本発明が解決しようとする技術的課題は、低いビットレートでもオーディオ周波数帯域幅を狭めずにオーディオ信号を効率的に処理できるオーディオ信号処理装置を提供することである。
本発明が解決しようとする他の技術的課題は、低いビットレートでもオーディオ周波数帯域幅を狭めずにオーディオ信号を効率的に処理できるオーディオ信号の処理方法を提供することである。
前記課題を達成するために、本発明によるオーディオ信号処理装置は、入力オーディオ信号を符号化する符号化部及び符号化された前記入力オーディオ信号を復号化する符号化部を有し、前記符号化部は、第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記探した第２サブバンドについての情報を生成する類似度分析部を含み、前記符号化部は、前記類似度分析部によって生成された後、ビットストリーム形式で伝送された前記生成した第２サブバンドについての情報を利用して、前記探した第２サブバンドについてのデータを前記第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化する高周波成分復元部を含み、前記第１サブバンドは、前記入力オーディオ信号のサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることが望ましい。
前記他の課題を達成するために、本発明によるオーディオ信号の処理方法は、入力オーディオ信号を符号化するとき、第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記探した第２サブバンドについての情報を生成するステップと、符号化された前記入力オーディオ信号を復号化するとき、ビットストリーム形式で伝送された前記生成された第２サブバンドについての情報を利用して、前記探した第２サブバンドについてのデータを前記第１サブバンドについてのデータとして複製して前記第１サブバンドを復号化するステップと、を含み、前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることが望ましい。
前記他の課題を達成するために、本発明によるオーディオ信号の処理方法は、第１サブバンドごとに前記第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記最も類似するサブバンドについての情報を生成することによって、入力オーディオ信号を符号化するステップと、ビットストリーム形式で伝送された前記生成された第２サブバンドについての情報を利用して、前記最も類似するサブバンドについてのデータを前記第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化することによって、符号化された前記入力オーディオ信号を復号化するステップと、を含み、前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであることを特徴とする。
本発明のオーディオ信号処理装置によれば、オーディオ信号を符号化及び復号化するとき、ノイズ成分が効率的に置換されるため音質を改善でき、特に、過渡オーディオ信号についてもノイズが効率的に置換され、さらに低いビットレートでも周波数帯域幅を狭めずに高周波信号を効率的に符号化及び復号化でき、ハーモニック成分が強い信号についても、従来のＲＮＳ方法より安定した音質を提供でき、時間的に大きい変化を有するオーディオ信号を処理する場合、自然な音質を提供できる。
本発明のオーディオ信号の処理方法によれば、オーディオ信号を符号化及び復号化するとき、ノイズ成分が効率的に置換されるため音質を改善でき、特に、過渡オーディオ信号についてもノイズが効率的に置換され、さらに低いビットレートでも周波数帯域幅を狭めずに高周波信号を効率的に符号化及び復号化でき、ハーモニック成分が強い信号についても、従来のＲＮＳ方法より安定した音質を提供でき、時間的に大きい変化を有するオーディオ信号を処理する場合、自然な音質を提供できる。
次に、本発明によるオーディオ信号処理装置の構成及び動作、並びにこのオーディオ信号処理装置によるオーディオ信号の処理方法について詳細に説明する。
図１は、本発明による一実施形態のオーディオ信号処理装置を示すブロック図である。このオーディオ信号処理装置は、符号化部１０及び復号化部１２によって構成されている。
この符号化部１０は、入力端子ＩＮ１を経て入力された入力オーディオ信号を符号化し、符号化したものを復号化部１２へ伝送する。この場合、復号化部１２は、符号化部１０によって符号化された入力オーディオ信号を復号化し、復号化したものを出力端子ＯＵＴ１を経て出力する。
この符号化部１０は、符号化を行うとき、第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、探した第２サブバンドについての情報、例えば、第２サブバンドのインデックスについての情報を生成する。符号化部１０は、このような動作を第１サブバンドのそれぞれについて行う。ここで、入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち、高周波数帯域に属するサブバンドを第１サブバンドと定義し、入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドを第２サブバンドと定義する。
この場合、符号化部１０は、類似するサブバンドを有していない第１サブバンドと第２サブバンドとについては、一般的なオーディオ符号化方法によって符号化する。以下、類似するサブバンドとは、第１サブバンドと所定値以上の類似度を有する第２サブバンドのことをいう。この場合、一般的なオーディオ符号化方法とは、後記するランダムノイズ置換（RNS: Random Noise Substitution）方法でよい。
図１に示すように、本発明の実施形態によれば、符号化部１０は、サブバンドフィルタ分析部３０）と、類似度分析部３２と、量子化部３４と、出力部３６と、量子化制御部３８とから構成できる。
次に、本実施形態の符号化部１０（図１参照）の構成及び動作、並びにこの符号化部１０によるオーディオ信号の処理方法について説明する。
図２は、符号化部１０によるオーディオ信号の処理方法を示すフローチャートである。
この処理方法は、入力オーディオ信号を符号化するオーディオ信号の処理方法であって、入力オーディオ信号をサブバンドフィルタリングするステップ（ステップ７０）と、サブバンドフィルタリングしたものに含まれる第１サブバンドごとに最も類似するサブバンドを探して、それらについての情報を生成するステップ（ステップ７２）と、聴感特性（聴覚の敏感度）の分析を行った結果を利用して量子化を行うステップ（ステップ７４及びステップ７６）と、量子化したものを無損失符号化し、ビットパッキングを行うステップ（ステップ７８）とからなる。
まず、符号化部１０のサブバンドフィルタ分析部３０は、入力端子ＩＮ１を経て入力オーディオ信号を入力されると、入力された入力オーディオ信号をサブバンドフィルタリングし、サブバンドフィルタリングしたものを類似度分析部３２及び量子化制御部３８へそれぞれ出力する（ステップ７０）。このとき、サブバンドフィルタ分析部３０は、サブバンドフィルタリングしたものを、量子化部３４へ出力するようにしてもよい。
ステップ７０の後に、類似度分析部３２は、第１サブバンドごとにその第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、探した第２サブバンドについての情報を生成し、生成した情報を量子化部３４へ出力する（ステップ７２）。例えば、類似度分析部３２は、第１サブバンドごとに最も類似するサブバンドを第２サブバンドのうちから探し、最も類似するサブバンドを有する第１サブバンドと最も類似するサブバンドについての情報とをマッチングさせて生成する。
ステップ７２の後に、量子化制御部３８は、サブバンドフィルタ分析部３０から入力したサブバンドフィルタリングしたものから聴感特性の分析を行い、この分析の結果に従ってステップサイズ制御信号を生成し、生成したステップサイズ制御信号を量子化部３４へ出力する（ステップ７４）。このために、量子化制御部３８は、アドレス発生部（図示せず）及びルックアップテーブル（図示せず）によって実現するとよい。ここで、アドレス発生部（図示せず）は、サブバンドフィルタ分析部３０から入力されたサブバンドフィルタリングしたものから聴感特性を反映してアドレスを生成し、生成したアドレスをルックアップテーブル（図示せず）へ出力する。ルックアップテーブルは、データとして保存されているステップサイズのうちから該当するステップサイズをアドレス発生部によって発生したアドレスに応じて選択し、選択したステップサイズをステップサイズ制御信号として量子化部３４へ出力する。ここで、ルックアップテーブルに保存されているステップサイズは、量子化を適切に行う情報、例えば、心理音響モデルに基づいて生成するとよい。
本発明によれば、図２に示すステップ７２及びステップ７４を同時に行ってもよく、ステップ７４をステップ７２より先に行ってもよい。
ステップ７４の後に、量子化部３４は、類似度分析部３２によって生成され入力された第２サブバンドについての情報と、入力オーディオ信号をサブバンドフィルタリングしたものとを量子化し、量子化したものを出力部３６へ出力する（ステップ７６）。このために、量子化部３４へは、サブバンドフィルタリングしたものがサブバンドフィルタ分析部３０から直接入力されるようにしてもよく、類似度分析部３２を経て入力されるようにしてもよい。この場合、量子化部３４は、量子化制御部３８から入力されたステップサイズ制御信号に応じて量子化ステップサイズを調節する。
ステップ７６の後に、出力部３６は、量子化部３４で量子化したものを無損失符号化及びビットパッキングし、ビットパッキングしたものをビットストリーム形式に変換し、変換されたビットストリームを保存した後に復号化部１２に伝送する（ステップ７８）。ここで、無損失符号化を行うには、ハフマンエンコーディングを用いることができる。
本発明によれば、図１に示す符号化部１０には、量子化制御部３８を設けなくてもよい。この場合、符号化部１０は、サブバンドフィルタ分析部３０と、類似度分析部３２と、量子化部３４と、出力部３６とによって構成される。
一方、復号化部１２で復号化を行うとき、ビットストリーム形式で符号化部１０によって生成され伝送された第２サブバンドについての情報を受信し、受信した情報を利用して、探した第２サブバンドについてのデータを第１サブバンドについてのデータとして複製する。
このとき、マッチングされた最も類似するサブバンドを有していない第１サブバンド及び第２サブバンドについては、一般的なオーディオ復号化方法によって復号化する。このために、本実施形態では、図１に示すように、復号化部１２は、入力部５０と、逆量子化部５２と、高周波成分復元部５４と、サブバンドフィルタ合成部５６とから構成されている。
次に、本実施形態の復号化部１２（図１参照）の構成及び動作、並びにこの復号化部１２によるオーディオ信号の処理方法について説明する。
図３は、本実施形態の符号化されたオーディオ信号を復号化するオーディオ信号の処理方法を示すフローチャートである。この方法は、ビットアンパッキングし、無損失復号化を行い、各種情報を抽出するステップ（ステップ９０）と、逆量子化を行うステップ（ステップ９２）と、データを複製するステップ（ステップ９４）と、サブバンドフィルタリングを行って入力オーディオ信号を復元するステップ（ステップ９６）とからなる。
まず、入力部５０は、符号化部１０の出力部３６から伝送されたビットストリームを受信し、受信したビットストリームをビットアンパッキングし、無損失復号化して逆量子化部５２へ出力するとともに、各種情報を抽出して高周波成分復元部５４へ出力する（ステップ９０）。ここで、無損失復号化の例として、ハフマンデコーディングが挙げられる。
ステップ９０の後に、逆量子化部５２は、入力部５０によって無損失復号化されたものを入力されると逆量子化し、逆量子化したものを高周波成分復元部５４へ出力する（ステップ９２）。
ステップ９２の後に、高周波成分復元部５４は、逆量子化したものに含まれる第２サブバンドについてのデータのうち、入力部５０によって抽出された各種情報に含まれる生成した第２サブバンドについての情報に該当するデータを第１サブバンドについてのデータとして複製し、複製したものをサブバンドフィルタ合成部５６へ出力する（ステップ９４）。
ステップ９４の後に、サブバンドフィルタ合成部５６は、高周波成分復元部５４から入力された複製されたデータを有する第１サブバンド及び逆量子化したものをサブバンドフィルタリングし、フィルタリングしたものを、入力オーディオ信号を復元したオーディオ信号として出力端子ＯＵＴ１を通じて出力する（ステップ９６）。ステップ９６においてサブバンドフィルタリングする逆量子化したものとは、逆量子化したものに含まれるデータのうち、複製されたデータを有していない第１サブバンド及び第２サブバンドについてのデータをいう。
このため、サブバンドフィルタ合成部５６へは、逆量子化したものを高周波成分復元部５４を通じて入力してもよく、逆量子化部５２から直接入力してもよい。
次に、本実施形態の類似度分析部３２（図１参照）の構成及び動作、並びに各実施形態によるオーディオ信号の処理方法について、添付した各図を参照して説明する。
図４は、図１に示した類似度分析部３２についての他の実施形態である類似度分析部３２Ａを示すブロック図である。この類似度分析部３２Ａは、類似度算出部１１０、サブバンド比較選択部１１３及び情報生成部１１６によって構成されている。
図５は、図２に示したステップ７２についての他の実施形態を示すフローチャートである。このステップ７２は、各第１サブバンドの類似度のうち最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップ（ステップ１３０及びステップ１３２）と、類似度が類似する程度によって情報を生成するステップ（ステップ１３４〜ステップ１３８）と、ノイズ電力についての情報を生成するステップ（ステップ１４０）とからなる。
図４に示した類似度算出部１１０は、高周波数帯域に属する第１サブバンドごとに第１サブバンドと低周波数帯域に属する第２サブバンドとの類似度を算出し、算出した第１サブバンドごとの類似度をサブバンド比較選択部１１３へ出力する（ステップ１３０）。このために、まず、類似度算出部１１０は、入力端子ＩＮ２を経て入力されたサブバンドフィルタリングしたものの帯域を、基準周波数を基準として高周波数帯域と低周波数帯域とに区分する。本発明によれば、高周波数帯域と低周波数帯域とを区分する基準周波数は、ユーザが変更してもよく、あらかじめ設定しておいてもよい。
本発明によれば、類似度ｃｏｒは、次の式（１）により求めることができる。
Figure 0005265853
 …（１）
ここで、ａｂｓ（）は、（）内の絶対値を意味し、ｓｂ１は、低周波数帯域に属する第２サブバンドのインデックスであって、０〜ｋ−１から選ばれる。ｋは、低周波数帯域に属する第２サブバンドの数を意味し、ｓｂ２は、第１サブバンドのインデックスを表す。Ｉは、第１サブバンドに属するタイムドメインサンプルの数を表す。この場合、第１サブバンド及び第２サブバンドに属するタイムドメインサンプルの数は、同一であると仮定する。ｓａｍｐ［ｓｂ１］［ｉ］は、ｓｂ１番目の第２サブバンドにあるｉ番目のタイムドメインサンプルを表し、ｓａｍｐ［ｓｂ２］［ｉ］は、ｓｂ２番目の第１サブバンドにあるｉ番目のタイムドメインサンプルを表す。
ステップ１３０の後に、サブバンド選択部１１２は、第１サブバンドごとに算出されて類似度算出部１１０から入力された類似度のうち、所定値以上の最も大きい類似度を算出するときに用いた第２サブバンドを選択して情報生成部１１６へ出力する（ステップ１３２及びステップ１３４）。ここで、「類似度を算出するときに用いた第２サブバンド」とは、類似度を算出するために第１サブバンドと比較された第２サブバンドを意味する。
このために、サブバンド選択部１１２は、第１サブバンドごとに類似度算出部１１０で算出された類似度のうち、最も大きい類似度を算出するときに用いた第２サブバンドを選択し、選択した第２サブバンドを情報生成部１１６に出力するとともに、最も大きい類似度を比較部１１４へ出力する（ステップ１３２）。ステップ１３２の後に、比較部１１４は、第１サブバンドごとに選択された第２サブバンドを使用して算出した類似度、すなわち、各第１サブバンドで最も大きい類似度を所定値と比較し、比較結果を情報生成部１１６へ出力する（ステップ１３４）。すなわち、比較部１１４は、各第１サブバンドの最も大きい類似度が所定値以上であるか否かを判断する。
情報生成部１１６は、比較部１１４による比較結果に応じて、サブバンド選択部１１２によって入力された選択した第２サブバンドについての情報、第１サブバンドが類似するサブバンドを有するか否かについての情報及び第１サブバンドのノイズ電力についての情報を生成し、生成した情報を出力端子ＯＵＴ２を経て出力する（ステップ１３６〜ステップ１４０）。
例えば、比較部１１４によって入力された比較結果から、第１サブバンドの最も大きい類似度が所定値以上であることが判断される場合、情報生成部１１６は、サブバンド選択部１１２から入力された選択した第２サブバンドについての情報、すなわち、選択した第２サブバンドのインデックスについての情報と第１サブバンドが類似するサブバンドを有することを表す情報とを、例えば、モードビット形式で生成し、生成した情報を出力端子ＯＵＴ２を経て出力する（ステップ１３６）。しかし、比較部１１４によって入力された比較結果から、第１サブバンドの最も大きい類似度が所定値以上でないことが判断される場合、情報生成部１１６は、第１サブバンドは類似するサブバンドを有していないことを表す情報をモードビット形式で生成する（ステップ１３８）。ここで、モードビットとは、第１サブバンドが類似するサブバンドを有するか、それとも類似するサブバンドを有していないかを表すビットである。例えば、第１サブバンドが類似するサブバンドを有する場合、類似ノイズ置換（CNS: Correlation Noise Substitution）モードを表すため、モードビットを‘１’（または‘０’）に設定すればよく（ステップ１３６）、第１サブバンドが類似するサブバンドを有していない場合、ＲＮＳモードを表すため、モードビットを‘０’（または‘１’）に設定すればよい（ステップ１３８）。ステップ１３６及びステップ１３８は、第１サブブロックごとに行う。
図６は、図１に示した類似度分析部３２の他の実施形態である類似度分析部３２Ｂを示すブロック図である。この類似度分析部３２Ｂは、類似度算出部１１０と、サブバンド比較選択部１５０と、情報生成部１５６とによって構成されている。
図７は、図２に示したステップ７２についての他の実施形態を示すフローチャートである。このステップ７２は、各第１サブバンドの類似度のうち、所定値以上の類似度が存在するか否かを判断するステップ（ステップ１３０及びステップ１６２）と、存在する類似度のうち最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップ（ステップ１６４）と、情報を生成するステップ（ステップ１３６〜ステップ１４０）とからなる。
図４及び図６に示した類似度算出部１１０は、同様に動作するので、同じ符号を使用し、詳細な説明は省略する。さらに、図５及び図７に示したステップ１３０及びステップ１４０は、同様な工程であるので、同じ符号を使用し、詳細な説明は省略する。
ステップ１３０の後に、サブバンド比較選択部１５０は、第１サブバンドごとに算出されて類似度算出部１１０から入力された類似度のうち、所定値以上であり最も大きい類似度を算出するときに用いた第２サブバンドを選択して情報生成部１５６へ出力する（ステップ１６２及びステップ１６４）。
このために、比較部１５２は、第１サブバンドごとに算出された類似度と所定値とを比較し、比較結果をサブバンド選択部１５４及び情報生成部１５６へそれぞれ出力する（ステップ１６２）。すなわち、比較部１５２は、各サブバンドで算出された類似度のうち、所定値以上の類似度が存在するか否かを判断する。比較部１５２による比較結果から、所定値以上の類似度が存在することが判断される場合、サブバンド選択部１５４は、所定値以上の類似度のうち最も大きい類似度の算出に用いた第２サブバンドを選択し、選択した第２サブバンドを情報生成部１５６へ出力する（ステップ１６４）。
情報生成部１５６は、サブバンド選択部１５４によって選択された第２サブバンドについての情報を生成し、比較部１５２から入力された比較結果を利用して、第１サブバンドが類似するサブバンドを有するか否かを表す情報を生成し、生成した情報を出力端子ＯＵＴ２を経て出力する（ステップ１６６及びステップ１６８）。情報生成部１５６は、図４に示した情報生成部１１６と同様に、第１サブバンドのノイズ電力についての情報も生成する。
例えば、比較部１５２によって入力された比較結果から、所定値以上の類似度が存在することが判断される場合、情報生成部１５６は、サブバンド選択部１５４から入力した選択された第２サブバンドについての情報、すなわち、選択された第２サブバンドのインデックスについての情報と第１サブバンドが類似するサブバンドを有することを表す情報とを、例えば、モードビット形式で生成し、生成した情報を出力端子ＯＵＴ２を経て出力する（ステップ１６６）。しかし、比較部１５２によって入力された比較結果から、第１サブバンドで算出した類似度のうち、所定値以上の類似度が存在していないことが判断される場合、情報生成部１１６は、その第１サブバンドが類似するサブバンドを有していないことを表す情報をモードビット形式で生成する（ステップ１６８）。ステップ１６６及びステップ１６８は、第１サブブロックごとに行う。
次に、本発明による他の実施形態の高周波成分復元部５４Ａ（図８参照）の構成及び動作、並びにこの実施形態におけるオーディオ信号の処理方法について、添付した図面を参照して説明する。
図８は、高周波成分復元部５４（図１参照）の他の実施形態の高周波成分復元部５４Ａを示すブロック図である。この高周波成分復元部５４Ａは、類似検査部１８０と、データ複製部１８２と、ランダムノイズ生成部１８４と、正規化部１８６とによって構成されている。
図９は、この実施形態のステップ９４（図３参照）を詳細に示すフローチャートである。このステップ９４は、第１サブバンドが類似するサブバンドを有するか否かによって、異なる第１サブバンドによって復号化するステップ（ステップ１９０〜ステップ１９４）と、複製されたデータを正規化するステップ（ステップ１９６）とからなる。
まず、類似検査部１８０は、逆量子化部５２で量子化したものの各第１サブバンドが類似するサブバンドを有するか否かを検査する（ステップ１９０）。このために、類似検査部１８０は、入力部５０から抽出された付加情報を入力端子ＩＮ３を経て入力され、入力された付加情報に従って各第１サブバンドが類似するサブバンドを有するか否かを判断する。例えば、抽出された付加情報は、前記したモードビットを含むことがある。この場合、類似検査部１８０は、モードビットを検査してモードビットが‘１’であるか‘０’であるかを検査し、検査結果から、第１サブバンドが類似するサブバンドを有するか否かを決定できる。
データ複製部１８２は、類似検査部１８０による検査結果から、第１サブバンドが類似するサブバンドを有することが判断される場合、選択された第２サブバンドについての情報に含まれたデータを、入力端子ＩＮ４を通じて逆量子化部５２から入力した逆量子化したものから抽出し、抽出されたデータを第１サブバンドについてのデータとして複製する（ステップ１９２）。しかし、ランダムノイズ生成部１８４は、類似検査部１８０での検査結果から、第１サブバンドが類似するサブバンドを有していないことが判断される場合、第１サブバンドについてのノイズをランダムに生成し、ランダムに生成したノイズを正規化部１８６へ出力する（ステップ１９４）。ここで、前記したＲＮＳ方法とは、モードビットをＲＮＳモードを表すビット値に設定するステップ１３８またはステップ１６８を行う従来の一般的な符号化方法と、ＲＮＳモードを表すビット値に設定されたモードビットによって、ステップ１９４を行う従来の一般的な復号化方法とをいう。
図９に示したステップ１９２及びステップ１９４は、第１サブバンドのそれぞれについて行う。こうして、第２サブバンドは、従来の一般的な復号化方法によって復号化される。すなわち、第２サブバンドについてのノイズもステップ１９４でランダムに生成される。
ステップ１９２またはステップ１９４の後に、正規化部１８６は、第１サブバンドについての総ノイズ電力、すなわち、総エネルギーが、符号化部１０によって算出された第１サブバンドの総ノイズ電力と同一に維持されるように、複製したデータとランダムに生成したノイズとを正規化し、正規化したものを出力端子ＯＵＴ３を経てサブバンドフィルタ合成部５６へ出力する。このために、正規化部１８６は、符号化部１０によって算出された第１サブバンドの総ノイズ電力が分かるように、符号化部１０によって生成されたノイズ電力についての情報を含む付加情報を、入力部５０から入力端子ＩＮ５を経て入力される。
ここで、選択した第２サブバンドについての情報に含まれるデータを第１サブバンドについてのデータとして複製する場合、本来の第１サブバンドのレベルが変わることがある。したがって、符号化される以前の本来の第１サブバンドが有するレベルを復元するために、正規化部１８６は、複製したデータとランダムに生成したノイズとを正規化する。
前記した本発明によるオーディオ信号処理装置及びオーディオ信号の処理方法は、低周波数帯域と高周波数帯域との類似度が高い場合、さらに向上した性能を提供できる。
一般的に、低周波数帯域と高周波数帯域との類似度は、時間領域上で突発的な変化が発生する場合に上昇し、ハーモニック成分が強く、かつサブバンド境界と一致する場合にも上昇する。
図１０Ａから図１０Ｅまでは、低周波数帯域と高周波数帯域との類似度を説明するために、各サブバンドの波形を例示した波形図である。図１０Ａは、６〜９番目のサブバンドについてのサンプルサイズを示し、図１０Ｂは、１０〜１３番目のサブバンドについてのサンプルサイズを示し、図１０Ｃは、１４〜１７番目のサブバンドについてのサンプルサイズを示し、図１０Ｄは、１８〜２１番目のサブバンドについてのサンプルサイズを示し、図１０Ｅは、２２〜２５番目のサブバンドについてのサンプルサイズを示す。各図では、横軸は、時間を表し、縦軸は、サンプルのサイズを表す。図１０Ａから図１０Ｅまでの各図に示す１〜１６は、時間領域上のインデックスを表す。
もし、基準周波数が、図１０Ｂに示した１０番目のサブバンド（１０ｔｈ）である場合、高周波数帯域で図１０Ｃに示した１４番目のサブバンド（１４ｔｈ）についての時間領域上のインデックスが２のときのサンプルサイズと、低周波数帯域で図１０Ａに示した７番目のサブバンド（７ｔｈ）についての時間領域上のインデックスが２のときのサンプルサイズとは、非常に類似している、すなわち、類似度が非常に高いということが分かる。
本発明はまた、記録媒体または伝送媒体に、コンピュータで読み取り可能なコードまたは命令を、様々なやり方で記録または伝送することによって実現できる。コンピュータで読み取り可能な記録媒体とは、コンピュータシステムによって読み取り可能なデータを保存できるすべての種類の記録媒体を含む。これらの記録媒体または伝送媒体は、例えば、磁気記録媒体（ＲＯＭ、ＲＡＭ、フレキシブルディスク、ハードディスク、磁気テープなど）や、光記録媒体（ＣＤ−ＲＯＭ、ＤＶＤ（登録商標）など）があり、また、例えばインターネットなどを通じて伝送される搬送信号であってもよい。また、これらの媒体は、ネットワークに分散されたコンピュータシステムであってもよく、そのため、これらのコンピュータで読み取り可能なコードまたは命令は、分散方式で保存または実行される。これらのコードまたは命令は、１つ以上のプロセッサによって、実行できるものである。
以上、図面及び明細書において、いくつかの典型的な実施形態を開示した。ここで用いた特定の用語は、単に、本発明を説明する目的で用いたものであり、意味を限定したり特許請求の範囲に記載された本発明の範囲を制限したりするために用いたものではない。したがって、当業者ならば、これから多様な変形及び均等な他の実施形態が可能であるということが分かるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲によって決定しなければならない。
本発明は、オーディオ信号処理装置関連の技術分野に適用可能である。
本発明による一実施形態のオーディオ信号処理装置を示すブロック図である。 符号化部によるオーディオ信号の処理方法を示すフローチャートである。 符号化されたオーディオ信号を復号化するオーディオ信号の処理方法を示すフローチャートである。 他の実施形態の類似度分析部を示すブロック図である。 図２に示したステップ７２についての他の実施形態を示すフローチャートである。 図１に示した類似度分析部の他の実施形態を示すブロック図である。 図２に示したステップ７２についての他の実施形態を示すフローチャートである。 高周波成分復元部を示すブロック図である。 ステップ９４（図３参照）を詳細に示すフローチャートである。 ６〜９番目のサブバンドについてのサンプルサイズの一例を示す波形図である。 １０〜１３番目のサブバンドについてのサンプルサイズの一例を示す波形図である。 １４〜１７番目のサブバンドについてのサンプルサイズの一例を示す波形図である。 １８〜２１番目のサブバンドについてのサンプルサイズの一例を示す波形図である。 ２２〜２５番目のサブバンドについてのサンプルサイズの一例を示す波形図である。
符号の説明
１０ 符号化部
１２ 復号化部
３０ サブバンドフィルタ分析部
３２ 類似度分析部
３４ 量子化部
３６ 出力部
３８ 量子化制御部
５０ 入力部
５２ 逆量子化部
５４ 高周波成分復元部
５６ サブバンドフィルタ合成部
１１０ 類似度算出部
１１２，１５４ サブバンド選択部
１１３，１５０ サブバンド比較選択部
１１４，１５２ 比較部
１１６，１５６ 情報生成部
１８０ 類似検査部
１８２ データ複製部
１８４ ランダムノイズ生成部
１８６ 正規化部
ＩＮ１〜ＩＮ５ 入力端子
ＯＵＴ１〜ＯＵＴ３ 出力端子

Claims (19)

  1. 入力オーディオ信号を符号化する符号化部及び符号化された前記入力オーディオ信号を復号化する復号化部を有するオーディオ信号処理装置において、
    前記符号化部は、
    複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを複数の第２サブバンドのうちから探し、前記最も類似するサブバンドの情報を生成する類似度分析部と、
    前記入力オーディオ信号をサブバンドフィルタリングしたものと、前記最も類似するサブバンドの情報とを量子化する量子化部とを含み、
    前記復号化部は、
    前記量子化部で量子化された後にビットストリーム形式で前記入力オーディオ信号をサブバンドフィルタリングしたものとともに伝送された前記最も類似するサブバンドの情報を逆量子化し、該最も類似するサブバンドの情報を利用して、前記最も類似するサブバンドについてのデータを対応する第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化する高周波成分復元部を含み、
    前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであり、
    前記類似度分析部は、
    前記サブバンドフィルタリングしたものの帯域を基準周波数を基準として前記高周波数帯域と前記低周波数帯域とに区分し、前記区分した高周波数帯域に属する前記複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと前記複数の第２サブバンドの夫々との類似度を算出する類似度算出部と、
    各第１サブバンドごとに算出された前記類似度のうち、前記所定値以上である最も大きい類似度を算出するときに用いた第２サブバンドを選択するサブバンド比較選択部と、
    前記選択された第２サブバンドについての情報と、各第１サブバンドごとに算出された前記類似度において前記所定値以上である類似度が存在するか否を示す情報と、前記第１サブバンドのノイズ電力についての情報とを含む前記最も類似するサブバンドの情報を生成する情報生成部と、
    を備え、
    前記高周波成分復元部は、
    各第１サブバンドごとに算出された前記類似度において前記所定値以上である類似度が存在するか否を示す情報に基づき、前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有するか否かを検査する類似検査部と、
    前記検査結果に応じて、前記選択された第２サブバンドについての情報に相当するデータを前記第１サブバンドについてのデータとして複製するデータ複製部と、
    前記検査結果に応じて、前記第１サブバンドについてのノイズをランダムに生成するランダムノイズ生成部と、
    前記第１サブバンドについての、前記第１サブバンドのノイズ電力についての情報に基づく総ノイズ電力が同一に維持されるように、前記複製したデータと前記ランダムに生成したノイズとを正規化し、正規化したものを出力する正規化部と、
    を備えることを特徴とするオーディオ信号処理装置。
  2. 前記符号化部は、
    前記入力オーディオ信号をサブバンドフィルタリングし、前記サブバンドフィルタリングしたものを前記類似度分析部へ出力するサブバンドフィルタ分析部と、
    前記量子化部において量子化されたものを無損失符号化及びビットパッキングして、ビットストリーム形式で前記復号化部に伝送する出力部と、
    を備えることを特徴とする請求項１に記載のオーディオ信号処理装置。
  3. 前記符号化部は、
    前記サブバンドフィルタ分析部から入力された前記サブバンドフィルタリングしたものから分析した聴感特性に従ってステップサイズ制御信号を生成し、前記ステップサイズ制御信号を前記量子化部へ出力する量子化制御部をさらに備え、
    前記量子化部は、前記ステップサイズ制御信号に応じて量子化ステップサイズを調節することを特徴とする請求項２に記載のオーディオ信号処理装置。
  4. 前記復号化部は、
    前記出力部から伝送されたビットストリームを受信してビットアンパッキングし、無損失復号化し、各種情報を抽出する入力部と、
    前記無損失符号化したものを逆量子化し、逆量子化したものを前記高周波成分復元部へ出力する逆量子化部と、
    前記高周波成分復元部から入力された前記複製したデータを有する前記第１サブバンド及び前記逆量子化したものをサブバンドフィルタリングし、サブバンドフィルタリングしたものを、前記入力オーディオ信号を復元したオーディオ信号として出力するサブバンドフィルタ合成部と、をさらに備え、
    前記高周波成分復元部は、前記逆量子化したものに含まれる前記第２サブバンドについてのデータのうち、前記抽出した各種情報に含まれる前記最も類似するサブバンドの情報に相当するデータを、前記第１サブバンドについてのデータとして複製することを特徴とする請求項２に記載のオーディオ信号処理装置。
  5. 前記サブバンド比較選択部は、
    各第１サブバンドごとに算出した前記類似度のうち、最も大きい類似度を算出するときに用いた第２サブバンドを選択するサブバンド選択部と、
    各第１サブバンドごとに前記選択した第２サブバンドを使用して算出した前記類似度を前記所定値と比較する比較部と、を備え、
    前記情報生成部は、前記比較部での比較結果に応じて、前記選択した第２サブバンドについての情報を生成することを特徴とする請求項１に記載のオーディオ信号処理装置。
  6. 前記サブバンド比較選択部は、
    各第１サブバンドごとに求めた前記類似度と前記所定値とを比較する比較部と、
    前記比較部での比較結果に応じて、前記所定値以上の類似度のうち最も大きい類似度を算出するときに用いた第２サブバンドを選択するサブバンド選択部と、を備え、
    前記情報生成部は、前記サブバンド選択部によって選択された第２サブバンドについての情報を生成することを特徴とする請求項１に記載のオーディオ信号処理装置。
  7. 前記基準周波数は、変更可能であることを特徴とする請求項１に記載のオーディオ信号処理装置。
  8. （ａ）入力オーディオ信号を符号化するとき、複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記最も類似するサブバンドの情報を生成し、該最も類似するサブバンドの情報の情報及び前記入力オーディオ信号をサブバンドフィルタリングしたものを量子化するステップと、
    （ｂ）符号化された前記入力オーディオ信号を復号化するとき、前記量子化後にビットストリーム形式で前記入力オーディオ信号をサブバンドフィルタリングしたものとともに伝送された前記最も類似するサブバンドの情報を逆量子化し、該最も類似するサブバンドの情報を利用して、前記最も類似するサブバンドについてのデータを対応する第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化するステップと、を含み、
    前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであり、
    前記（ａ）ステップは、
    （ａ１）前記サブバンドフィルタリングしたものの帯域を基準周波数を基準として前記高周波数帯域と前記低周波数帯域とに区分し、前記区分した高周波数帯域に属する前記複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと前記複数の第２サブバンドの夫々との類似度を求めるステップと、
    （ａ２）前記第１サブバンドごとに求めた前記類似度のうち、前記所定値以上である最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップと、
    （ａ３）前記選択した第２サブバンドについての情報と、前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報と、前記第１サブバンドのノイズ電力についての情報とを含む前記最も類似するサブバンドの情報を生成するステップと、
    を含み、
    前記（ｂ）ステップは、
    前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報に基づき、前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有するか否かを判断するステップと、
    前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有することが判断される場合、前記選択した第２サブバンドについての情報に含まれるデータを前記第１サブバンドについてのデータとして複製するステップと、
    前記第１サブバンドが前記最も類似するサブバンドを有しないことが判断される場合、前記第１サブバンドについてのノイズをランダムに生成するステップと、
    前記複製したデータ及び前記ランダムに生成したノイズを正規化し、前記第１サブバンドについての、前記第１サブバンドのノイズ電力についての情報に基づく総ノイズ電力を同一に維持するステップと、
    を含むことを特徴とするオーディオ信号の処理方法。
  9. 前記入力オーディオ信号をサブバンドフィルタリングし、前記（ａ）ステップに進むステップと、
    前記（ａ）ステップの後に、
    前記量子化したものを無損失符号化及びビットパッキングしてビットストリーム形式で伝送するステップと、
    を含むことを特徴とする請求項８に記載のオーディオ信号の処理方法。
  10. 前記オーディオ信号の処理方法は、
    前記サブバンドフィルタリングしたものから聴感特性の分析を行うステップをさらに含み、
    前記サブバンドフィルタリングしたものを量子化するとき、前記分析によって量子化ステップサイズを調節することを特徴とする請求項９に記載のオーディオ信号の処理方法。
  11. 前記伝送されたビットストリームを受信してビットアンパッキングし、無損失復号化し、各種情報を抽出するステップと、
    前記無損失符号化したものを逆量子化し、前記（ｂ）ステップに進むステップと、
    前記（ｂ）ステップの後に、前記複製されたデータを有する前記第１サブバンド及び前記逆量子化したものをサブバンドフィルタリングし、フィルタリングしたものを、前記入力オーディオ信号を復元したオーディオ信号として決定するステップと、をさらに含み、
    前記（ｂ）ステップは、前記逆量子化したものに含まれる前記第２サブバンドについてのデータのうち、前記抽出された各種情報に含まれる前記最も類似するサブバンドの情報に該当するデータを前記第１サブバンドについてのデータとして複製することを特徴とする請求項９に記載のオーディオ信号の処理方法。
  12. 前記（ａ２）ステップは、
    各第１サブバンドごとに求めた前記類似度のうち、最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップと、
    各第１サブバンドごとに前記選択した第２サブバンドを使用して求めた前記類似度が前記所定値以上であるか否かを判断するステップと、を含み、
    前記類似度が前記所定値以上であると判断される場合、前記（ａ３）ステップで前記選択した第２サブバンドについての情報及び前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在することを示す情報を生成することを特徴とする請求項８に記載のオーディオ信号の処理方法。
  13. 前記（ａ２）ステップは、
    各第１サブバンドごとに求めた前記類似度のうち、前記所定値以上の類似度が存在するか否かを判断するステップと、
    前記所定値以上の類似度が存在することが判断される場合、前記所定値以上の類似度のうち、最も大きい類似度を算出するときに用いた第２サブバンドを選択するステップと、を含み、
    前記（ａ３）ステップで、前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在しないことを示す情報を生成することを特徴とする請求項８記載のオーディオ信号の処理方法。
  14. 前記類似度は、次式により求められることを特徴とする請求項８に記載のオーディオ信号の処理方法。
    Figure 0005265853
    （ここで、ａｂｓ（）は、（）内の絶対値を意味し、ｓｂ１は、前記第２サブバンドのインデックスであって０〜ｋ−１から選ばれ、ｋは、前記低周波数帯域に属する前記複数の第２サブバンドの数を意味し、ｓｂ２は、前記複数の第１サブバンドの夫々のインデックスを表し、Ｉは、前記第１サブバンドまたは前記第２サブバンドに属するタイムドメインサンプルの数を表し、ｓａｍｐ［ｓｂ１］［ｉ］は、ｓｂ１番目の第２サブバンドにあるｉ番目のタイムドメインサンプルを表し、ｓａｍｐ［ｓｂ２］［ｉ］は、ｓｂ２番目の第１サブバンドにあるｉ番目のタイムドメインサンプルを表す。）
  15. オーディオ信号の処理方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体であって、
    前記プログラムは、前記コンピュータに、
    （ａ）入力オーディオ信号を符号化するとき、複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを第２サブバンドのうちから探し、前記最も類似するサブバンドの情報を生成し、該最も類似するサブバンドの情報の情報及び前記入力オーディオ信号をサブバンドフィルタリングしたものを量子化するステップと、
    （ｂ）符号化された前記入力オーディオ信号を復号化するとき、前記量子化後にビットストリーム形式で前記入力オーディオ信号をサブバンドフィルタリングしたものとともに伝送された前記最も類似するサブバンドの情報を逆量子化し、該最も類似するサブバンドの情報を利用して、前記最も類似するサブバンドについてのデータを対応する第１サブバンドについてのデータとして複製して、前記第１サブバンドを復号化するステップと、を実行させ、
    前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであり、
    前記（ａ）ステップは、
    （ａ１）前記サブバンドフィルタリングしたものの帯域を基準周波数を基準として前記高周波数帯域と前記低周波数帯域とに区分し、前記区分した高周波数帯域に属する前記複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと前記複数の第２サブバンドの夫々との類似度を求めるステップと、
    （ａ２）前記第１サブバンドごとに求めた前記類似度のうち、前記所定値以上である最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップと、
    （ａ３）前記選択した第２サブバンドについての情報と、前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報と、前記第１サブバンドのノイズ電力についての情報とを含む前記最も類似するサブバンドの情報を生成するステップと、
    を含み、
    前記（ｂ）ステップは、
    前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報に基づき、前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有するか否かを判断するステップと、
    前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有することが判断される場合、前記選択した第２サブバンドについての情報に含まれるデータを前記第１サブバンドについてのデータとして複製するステップと、
    前記第１サブバンドが前記最も類似するサブバンドを有しないことが判断される場合、前記第１サブバンドについてのノイズをランダムに生成するステップと、
    前記複製したデータ及び前記ランダムに生成したノイズを正規化し、前記第１サブバンドについての、前記第１サブバンドのノイズ電力についての情報に基づく総ノイズ電力を同一に維持するステップと、
    を含むことを特徴とする、記録媒体。
  16. （ａ）複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを複数の第２サブバンドのうちから探し、前記最も類似するサブバンドについての情報を生成し、該最も類似するサブバンドの情報の情報及び前記入力オーディオ信号をサブバンドフィルタリングしたものを量子化することによって、入力オーディオ信号を符号化するステップと
    （ｂ）前記量子化後にビットストリーム形式で前記入力オーディオ信号をサブバンドフィルタリングしたものとともに伝送された前記最も類似するサブバンドについての情報を逆量子化し、該最も類似するサブバンドについての情報を利用して、前記最も類似するサブバンドについてのデータを対応する第１サブバンドについてのデータとして複製して前記第１サブバンドを復号化することによって、符号化された前記入力オーディオ信号を復号化するステップと、を含み、
    前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであり、
    前記（ａ）ステップは、
    （ａ１）前記サブバンドフィルタリングしたものの帯域を基準周波数を基準として前記高周波数帯域と前記低周波数帯域とに区分し、前記区分した高周波数帯域に属する前記複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと前記複数の第２サブバンドの夫々との類似度を求めるステップと、
    （ａ２）前記第１サブバンドごとに求めた前記類似度のうち、前記所定値以上である最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップと、
    （ａ３）前記選択した第２サブバンドについての情報と、前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報と、前記第１サブバンドのノイズ電力についての情報とを含む前記最も類似するサブバンドについての情報を生成するステップと、
    を含み、
    前記（ｂ）ステップは、
    前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報に基づき、前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有するか否かを判断するステップと、
    前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有することが判断される場合、前記選択した第２サブバンドについての情報に含まれるデータを前記第１サブバンドについてのデータとして複製するステップと、
    前記第１サブバンドが前記最も類似するサブバンドを有しないことが判断される場合、前記第１サブバンドについてのノイズをランダムに生成するステップと、
    前記複製したデータ及び前記ランダムに生成したノイズを正規化し、前記第１サブバンドについての、前記第１サブバンドのノイズ電力についての情報に基づく総ノイズ電力を同一に維持するステップと、
    を含むことを特徴とするオーディオ信号の処理方法。
  17. オーディオ信号の処理方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体であって、
    前記プログラムは、前記コンピュータに、
    （ａ）複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと所定値以上の類似度を有する最も類似するサブバンドを複数の第２サブバンドのうちから探し、前記最も類似するサブバンドについての情報を生成し、該最も類似するサブバンドの情報の情報及び前記入力オーディオ信号をサブバンドフィルタリングしたものを量子化することによって、入力オーディオ信号を符号化するステップと、
    （ｂ）前記量子化後にビットストリーム形式で前記入力オーディオ信号をサブバンドフィルタリングしたものとともに伝送された前記最も類似するサブバンドについての情報を逆量子化し、該最も類似するサブバンドについての情報を利用して、前記最も類似するサブバンドについてのデータを対応する第１サブバンドについてのデータとして複製して前記第１サブバンドを復号化することによって、符号化された前記入力オーディオ信号を復号化するステップと、を実行させ、
    前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングしたものの帯域のうち高周波数帯域に属するサブバンドであり、前記第２サブバンドは、前記サブバンドフィルタリングしたものの帯域のうち低周波数帯域に属するサブバンドであり、
    前記（ａ）ステップは、
    （ａ１）前記サブバンドフィルタリングしたものの帯域を基準周波数を基準として前記高周波数帯域と前記低周波数帯域とに区分し、前記区分した高周波数帯域に属する前記複数の第１サブバンドの各第１サブバンドごとに当該第１サブバンドと前記複数の第２サブバンドの夫々との類似度を求めるステップと、
    （ａ２）前記第１サブバンドごとに求めた前記類似度のうち、前記所定値以上である最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップと、
    （ａ３）前記選択した第２サブバンドについての情報と、前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報と、前記第１サブバンドのノイズ電力についての情報とを含む前記最も類似するサブバンドについての情報を生成するステップと、
    を含み、
    前記（ｂ）ステップは、
    前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報に基づき、前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有するか否かを判断するステップと、
    前記複数の第１サブバンドの夫々が前記最も類似するサブバンドを有することが判断される場合、前記選択した第２サブバンドについての情報に含まれるデータを前記第１サブバンドについてのデータとして複製するステップと、
    前記第１サブバンドが前記最も類似するサブバンドを有しないことが判断される場合、前記第１サブバンドについてのノイズをランダムに生成するステップと、
    前記複製したデータ及び前記ランダムに生成したノイズを正規化し、前記第１サブバンドについての、前記第１サブバンドのノイズ電力についての情報に基づく総ノイズ電力を同一に維持するステップと、
    を含むことを特徴とする、記録媒体。
  18. 入力オーディオ信号をサブバンドフィルタリングするステップと、
    第１サブバンドごとに、当該第１サブバンドに対して所定値以上の類似度を有する最も類似したサブバンドを第２サブバンドのうちから探し、前記最も類似したサブバンドについての情報を生成するステップと、
    前記入力オーディオ信号をサブバンドフィルタリングしたものと、前記最も類似したサブバンドについての情報とを量子化するステップと、
    前記量子化された結果を無損失符号化及びビットパッキングしてビットストリーム形式で生成するステップと
    を備え、
    前記第１サブバンドは、前記入力オーディオ信号をサブバンドフィルタリングした結果、高周波数帯域に属し、前記第２サブバンドは、前記サブバンドフィルタリングした結果、低周波数体域に属し、
    前記最も類似したサブバンドについての情報を生成するステップは、
    前記サブバンドフィルタリングしたものの帯域を基準周波数を基準として前記高周波数帯域と前記低周波数帯域とに区分し、前記区分した高周波数帯域に属する前記第１サブバンドの各第１サブバンドごとに当該第１サブバンドと前記第２サブバンドの夫々との類似度を求めるステップと、
    前記第１サブバンドごとに求めた前記類似度のうち、前記所定値以上である最も大きい類似度を求めるときに用いた第２サブバンドを選択するステップと、
    前記選択した第２サブバンドについての情報と、前記第１サブバンドごとに求めた前記類似度において前記所定値以上である類似度が存在するか否を示す情報と、前記第１サブバンドのノイズ電力についての情報とを含む前記最も類似したサブバンドについての情報を生成するステップと、
    を含むことを特徴とする、周波数帯域間の類似度を用いたオーディオ信号の符号化方法。
  19. 第１サブバンドごとに、前記第１サブバンドに対して所定値以上の類似度を有する最も類似した第２サブバンドについての情報と、符号化されたデータとを含むビットストリームを受信して、ビットアンパッキングし、無損失復号化するステップと、
    前記無損失復号化された結果を逆量子化するステップと、
    前記最も類似した第２サブバンドについての情報を用い、前記逆量子化された結果に含まれた前記第２サブバンドについてのデータのうち、前記第１サブバンドについてのデータを複製して、前記第１サブバンドを復号化するステップと、
    前記複製されたデータを有する前記第１サブバンド及び前記逆量子化された結果をサブバンドフィルタリングし、該サブバンドフィルタリングされた結果を、復元されたオーディオ信号として生成するステップと
    を備え、
    前記第１サブバンドは、高周波数帯域に属するサブバンドであり、前記第２サブバンドは、低周波数帯域に属するサブバンドであり、
    前記第１サブバンドを復号化するステップは、
    前記最も類似した第２サブバンドについての情報に基づき、前記第１サブバンドの夫々について前記所定値以上である類似度を有するか否かを判断するステップと、
    前記所定値以上の類似度を有する第１サブバンドが存在すると判断される場合、前記逆量子化された結果に含まれた前記第２サブバンドについてのデータのうち前記第１サブバンドについてのデータを複製するステップと、
    前記所定値以上の類似度を有する第１サブバンドが存在しないと判断される場合、前記第１サブバンドについてのノイズをランダムに生成するステップと、
    前記複製したデータ及び前記ランダムに生成したノイズを正規化し、前記第１サブバンドについての総ノイズ電力を同一に維持するステップと、
    を含み、
    前記総ノイズ電力は、前記最も類似した第２サブバンドについての情報に含まれる第１サブバンドのノイズ電力についての情報に基づくことを特徴とする、周波数帯域間の類似度を用いたオーディオ信号の復号化方法。
JP2005348034A 2004-12-01 2005-12-01 処理装置、処理方法、記録媒体、符号化方法及び復号化方法 Expired - Fee Related JP5265853B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040099742A KR100657916B1 (ko) 2004-12-01 2004-12-01 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법
KR10-2004-0099742 2004-12-01

Publications (2)

Publication Number Publication Date
JP2006163396A JP2006163396A (ja) 2006-06-22
JP5265853B2 true JP5265853B2 (ja) 2013-08-14

Family

ID=35735271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005348034A Expired - Fee Related JP5265853B2 (ja) 2004-12-01 2005-12-01 処理装置、処理方法、記録媒体、符号化方法及び復号化方法

Country Status (5)

Country Link
US (1) US7756715B2 (ja)
EP (1) EP1667112B1 (ja)
JP (1) JP5265853B2 (ja)
KR (1) KR100657916B1 (ja)
CN (2) CN1784020B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738077B1 (ko) 2005-09-28 2007-07-12 삼성전자주식회사 계층적 오디오 부호화 및 복호화 장치와 방법
US20090281812A1 (en) * 2006-01-18 2009-11-12 Lg Electronics Inc. Apparatus and Method for Encoding and Decoding Signal
KR101418248B1 (ko) * 2007-04-12 2014-07-24 삼성전자주식회사 정현파 성분의 진폭 코딩 및 디코딩 방법과 그 장치
CN101471072B (zh) * 2007-12-27 2012-01-25 华为技术有限公司 高频重建方法、编码装置和解码装置
US8190440B2 (en) * 2008-02-29 2012-05-29 Broadcom Corporation Sub-band codec with native voice activity detection
JP5754899B2 (ja) * 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
ES2805349T3 (es) * 2009-10-21 2021-02-11 Dolby Int Ab Sobremuestreo en un banco de filtros de reemisor combinado
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5533502B2 (ja) * 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
EP3407352B9 (en) * 2011-02-18 2022-08-10 Ntt Docomo, Inc. Speech decoder, speech encoder, speech decoding method, speech encoding method, speech decoding program, and speech encoding program
KR101572034B1 (ko) * 2011-05-19 2015-11-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 파라메트릭 오디오 코딩 방식들의 포렌식 검출
RU2464649C1 (ru) * 2011-06-01 2012-10-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ обработки звукового сигнала
CN102208188B (zh) 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
PL2772913T3 (pl) * 2011-10-28 2018-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie kodujące i sposób kodowania
US9972325B2 (en) * 2012-02-17 2018-05-15 Huawei Technologies Co., Ltd. System and method for mixed codebook excitation for speech coding
US9373337B2 (en) * 2012-11-20 2016-06-21 Dts, Inc. Reconstruction of a high-frequency range in low-bitrate audio coding using predictive pattern analysis
EP3048609A4 (en) 2013-09-19 2017-05-03 Sony Corporation Encoding device and method, decoding device and method, and program
CN105849801B (zh) 2013-12-27 2020-02-14 索尼公司 解码设备和方法以及程序

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2705377B2 (ja) * 1991-07-31 1998-01-28 松下電器産業株式会社 帯域分割符号化方法
US5742734A (en) 1994-08-10 1998-04-21 Qualcomm Incorporated Encoding rate selection in a variable rate vocoder
US5692102A (en) * 1995-10-26 1997-11-25 Motorola, Inc. Method device and system for an efficient noise injection process for low bitrate audio compression
KR100261254B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP3510493B2 (ja) 1998-08-24 2004-03-29 株式会社ハドソン 音声信号の符号／復号方法及びそのプログラムを記録した記録媒体
US6978236B1 (en) * 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
JP3576941B2 (ja) * 2000-08-25 2004-10-13 株式会社ケンウッド 周波数間引き装置、周波数間引き方法及び記録媒体
BRPI0206395B1 (pt) * 2001-11-14 2017-07-04 Panasonic Intellectual Property Corporation Of America Decoding device, coding device, communication system constituting a coding device and a coding device, decoding method, coding method, communication method for a system established by a coding device and a decoding device , and recording media
DE60214027T2 (de) * 2001-11-14 2007-02-15 Matsushita Electric Industrial Co., Ltd., Kadoma Kodiervorrichtung und dekodiervorrichtung
JP4272897B2 (ja) * 2002-01-30 2009-06-03 パナソニック株式会社 符号化装置、復号化装置およびその方法
EP1470550B1 (en) * 2002-01-30 2008-09-03 Matsushita Electric Industrial Co., Ltd. Audio encoding and decoding device and methods thereof
EP1881486B1 (en) 2002-04-22 2009-03-18 Koninklijke Philips Electronics N.V. Decoding apparatus with decorrelator unit
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
KR100524065B1 (ko) * 2002-12-23 2005-10-26 삼성전자주식회사 시간-주파수 상관성을 이용한 개선된 오디오 부호화및/또는 복호화 방법과 그 장치
FI118550B (fi) * 2003-07-14 2007-12-14 Nokia Corp Parannettu eksitaatio ylemmän kaistan koodaukselle koodekissa, joka käyttää kaistojen jakoon perustuvia koodausmenetelmiä
CN1860526B (zh) * 2003-09-29 2010-06-16 皇家飞利浦电子股份有限公司 音频信号编码
WO2005043511A1 (en) * 2003-10-30 2005-05-12 Koninklijke Philips Electronics N.V. Audio signal encoding or decoding
US7460990B2 (en) 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity

Also Published As

Publication number Publication date
KR20060060928A (ko) 2006-06-07
CN101908340B (zh) 2012-07-04
KR100657916B1 (ko) 2006-12-14
JP2006163396A (ja) 2006-06-22
US7756715B2 (en) 2010-07-13
CN1784020A (zh) 2006-06-07
EP1667112A1 (en) 2006-06-07
CN1784020B (zh) 2010-11-24
EP1667112B1 (en) 2012-01-11
US20060116871A1 (en) 2006-06-01
CN101908340A (zh) 2010-12-08

Similar Documents

Publication Publication Date Title
JP5265853B2 (ja) 処理装置、処理方法、記録媒体、符号化方法及び復号化方法
JP4922296B2 (ja) 低ビット率オーディオ信号の符号化／復号化方法及び装置
EP2041745B1 (en) Adaptive encoding and decoding methods and apparatuses
KR101428487B1 (ko) 멀티 채널 부호화 및 복호화 방법 및 장치
RU2437172C1 (ru) Способ кодирования/декодирования индексов кодовой книги для квантованного спектра мдкп в масштабируемых речевых и аудиокодеках
KR101251813B1 (ko) 넓은-뜻의 지각적 유사성을 이용하는 디지털 미디어 스펙트럼 데이터의 효과적인 코딩
KR100661040B1 (ko) 정보 처리 장치 및 방법, 정보 기록 장치 및 방법, 기록 매체 및 제공 매체
KR100707177B1 (ko) 디지털 신호 부호화/복호화 방법 및 장치
WO2007011157A1 (en) Virtual source location information based channel level difference quantization and dequantization method
EP1441330B1 (en) Method of encoding and/or decoding digital audio using time-frequency correlation and apparatus performing the method
US20040002854A1 (en) Audio coding method and apparatus using harmonic extraction
JP2007333785A (ja) オーディオ信号符号化装置およびオーディオ信号符号化方法
US20090048849A1 (en) Audio encoding method and apparatus, and audio decoding method and apparatus, for processing death sinusoid and general continuation sinusoid
KR20090029088A (ko) 계층적 부호화 및 복호화 방법 및 장치
CN107945810B (zh) 用于编码和解码hoa或多声道数据的方法和装置
Bießmann et al. Estimating MP3PRO encoder parameters from decoded audio
KR20230028912A (ko) 오디오 압축 효율 향상 장치 및 방법
Cantzos et al. Quality Enhancement of Compressed Audio Based on Statistical Conversion

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061114

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111213

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120213

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121128

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130116

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130502

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees