JP6530449B2 - 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置 - Google Patents

符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置 Download PDF

Info

Publication number
JP6530449B2
JP6530449B2 JP2017127285A JP2017127285A JP6530449B2 JP 6530449 B2 JP6530449 B2 JP 6530449B2 JP 2017127285 A JP2017127285 A JP 2017127285A JP 2017127285 A JP2017127285 A JP 2017127285A JP 6530449 B2 JP6530449 B2 JP 6530449B2
Authority
JP
Japan
Prior art keywords
class
current frame
coding mode
coding
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017127285A
Other languages
English (en)
Other versions
JP2017167569A (ja
Inventor
チュー，キ−ヒョン
ビクトロビッチ ポロフ，アントン
ビクトロビッチ ポロフ，アントン
セルゲイビッチ オシポフ，コンスタンティン
セルゲイビッチ オシポフ，コンスタンティン
リ，ナム−スク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017167569A publication Critical patent/JP2017167569A/ja
Application granted granted Critical
Publication of JP6530449B2 publication Critical patent/JP6530449B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

本発明は、オーディオ符号化及びオーディオ復号化に係り、さらに具体的には、オーディオ信号の特性に適するように符号化モードを決定しがら、頻繁な符号化モードスイッチングを防止して復元音質を向上させる符号化モード決定方法及び該装置、信号符号化方法及び該装置、並びに信号復号化方法及び該装置に関する。
音楽信号の場合、周波数ドメインでの符号化が効率的であり、音声信号の場合、時間ドメインでの符号化が効率的であるということが周知されている。従って、音楽信号及び音声信号が混合されたオーディオ信号についてタイプを分類し、分類されたタイプに対応して符号化モードを決定する技術が多様に提案されている。
しかし、頻繁な符号化モードのスイッチングによって、ディレイが発生するだけではなく、復元音質の劣化をもたらし、一次的に決定された符号化モードを修正する技術が提案されておらず、符号化モード決定時、エラーが存在する場合、復元音質の劣化が発生するという問題があった。
本発明の技術的課題は、オーディオ信号の特性に適するように符号化モードを決定し、復元音質を向上させることができる符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置を提供するところにある。
本発明の技術的課題は、オーディオ信号の特性に適するように符号化モードを決定しがら、符号化モードスイッチングによるディレイを低減させることができる符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置を提供するところにある。
一側面によれば、符号化モード決定方法は、オーディオ信号の特性に対応し、第１符号化モードと第２符号化モードとを含む複数の符号化モードのうち一つを、現在フレームの初期符号化モードとして決定する段階と、前記初期符号化モードに係わる決定にエラーが存在する場合、前記初期符号化モードを第３符号化モードに修正し、修正された符号化モードを生成する段階と、を含んでもよい。
一側面によれば、オーディオ符号化方法は、オーディオ信号の特性に対応し、第１符号化モードと第２符号化モードとを含む複数の符号化モードのうち一つを、現在フレームの初期符号化モードとして決定して、前記初期符号化モードに係わる決定にエラーが存在する場合、前記初期符号化モードを第３符号化モードに修正し、修正された符号化モードを生成する段階と、前記初期符号化モード、あるいは修正された符号化モードに対応し、オーディオ信号に対して互いに異なる符号化処理を行う段階と、を含んでもよい。
一側面によれば、オーディオ復号化方法は、オーディオ信号の特性に対応し、第１符号化モードと第２符号化モードとを含む複数の符号化モードのうち一つに決定された初期符号化モード、あるいは前記初期符号化モードに係わる決定にエラーが存在する場合、前記初期符号化モードから修正された第３符号化モードのうち一つを符号化モードとして含むビットストリームをパージングする段階と、前記符号化モードにより、ビットストリームに対して互いに異なる復号化処理を行う段階と、を含んでもよい。
初期符号化モードの修正、及びハングオーバー長に対応するフレームの符号化モードを参照し、現在フレームの最終符号化モードを決定することにより、オーディオ信号の特性に適応的な符号化モードを決定しがらも、フレーム間の頻繁な符号化モードのスイッチングを防止することができる。
一実施形態によるオーディオ符号化装置の構成を示したブロック図である。 他の実施形態によるオーディオ符号化装置の構成を示したブロック図である。 一実施形態による符号化モード決定部の構成を示したブロック図である。 一実施形態による初期符号化モード決定部の構成を示したブロック図である。 一実施形態による特徴パラメータ抽出部の構成を示したブロック図である。 一実施形態による線形予測ドメイン及びスペクトルドメイン符号化に係わる適応的スイッチング方法について説明する図面である。 一実施形態による符号化モード修正部の動作について説明する図面である。 一実施形態によるオーディオ復号化装置の構成を示したブロック図である。 他の実施形態によるオーディオ復号化装置の構成を示したブロック図である。
以下、図面を参照し、本発明の実施形態について具体的に説明する。実施形態についての説明において、関連公知構成、または機能に係わる具体的な説明が、要旨を不明瞭にすると判断される場合には、その詳細な説明は省略する。
ある構成要素が他の構成要素に連結されていたり接続されていたりするというときには、その他の構成要素に、直接に連結されていたり接続されていたりすることもあるが、中間に、他の構成要素が存在することもあると理解されなければならない。
第１、第２のような用語は、多様な構成要素についての説明に使用されるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
実施形態に示される構成部は、互いに異なる特徴的な機能を示すために、独立して図示されることにより、各構成部が分離されたハードウェアや、１つのソフトウェア構成単位でなるということを意味しない。各構成部は、説明の便宜上、それぞれの構成部に並べられており、各構成部のうち少なくとも２つの構成部が合わさって１つの構成部からなるか、あるいは１つの構成部が複数個の構成部に分けられて機能を遂行することができる。
図１は、一実施形態によるオーディオ符号化装置の構成を示したブロック図である。図１に図示されたオーディオ符号化装置１００は、符号化モード決定部１１０、スイッチング部１２０、スペクトルドメイン符号化部１３０、線形予測ドメイン符号化部１４０及びビットストリーム生成部１５０を含んでもよい。ここで、線形予測ドメイン符号化部１４０は、時間ドメイン励起符号化部１４１と、周波数ドメイン励起符号化部１４３とを含んでもよく、２つの励起符号化部１４１，１４３のうち少なくとも一つによって具現されてもよい。ここで、各構成要素は、別途のハードウェアによって具現する必要がある場合を除いては、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）でもって具現される。ここで、オーディオ音楽またはオーディオ音声、あるいは音楽と音声との混合信号を意味する。
図１を参照すれば、符号化モード決定部１１０は、オーディオ信号の特性を分析してオーディオ信号のタイプを分類し、分類結果に対応して符号化モードを決定することができる。符号化モードは、スーパーフレーム単位、フレーム単位またはバンド単位で遂行される。または、複数のスーパーフレームグループ、複数のフレームグループ、複数のバンドグループ単位で遂行される。ここで、符号化モードの例としては、大きく分けて、スペクトルドメインと、時間ドメインまたは線形予測ドメインとの二つがあるが、それらに限定されるものではない。プロセッサの性能及び処理速度などが支援され、符号化モードスイッチングによるディレイが解決される場合、符号化モードをさらに細分化させることができ、符号化モードに対応し、符号化方式も細分化させることができる。一実施形態によれば、オーディオ信号を、スペクトルドメイン符号化モードと時間ドメイン符号化モードとのうち一つで初期符号化モードを決定することができる。他の実施形態によれば、オーディオ信号を、スペクトルドメイン符号化モード、時間ドメイン励起符号化モード及び周波数ドメイン励起符号化モードのうち一つで初期符号化モードを決定することができる。また、符号化モード決定部１１０は、初期符号化モードがスペクトルドメイン符号化モードに決定された場合、さらにスペクトルドメイン符号化モードと、周波数ドメイン励起符号化モードとのうち一つに修正することができる。符号化モード決定部１１０は、初期符号化モードが時間ドメイン符号化モード、すなわち、時間ドメイン励起符号化モードに決定された場合、さらに時間ドメイン（ＴＤ）励起符号化モードと周波数ドメイン（ＦＤ）励起符号化モードとのうち一つに修正することができる。ここで、初期符号化モードが時間ドメイン励起符号化モードに決定された場合、最終符号化モード決定過程は、選択的に遂行される。すなわち、時間ドメイン励起符号化モードである初期符号化モードがそのまま維持されてもよい。符号化モード決定部１１０は、ハングオーバー長に該当するフレーム数について符号化モードを判断し、現在フレームの最終符号化モードを決定することができる。一実施形態によれば、現在フレームの初期符号化モード、あるいは修正された符号化モードが複数個、例えば、７個の以前フレームの符号化モードと同一である場合、当該初期符号化モード、あるいは修正された符号化モードを、現在フレームの最終符号化モードとして決定することができる。一方、符号化モード決定部１１０は、現在フレームの初期符号化モード、あるいは修正された符号化モードが、複数個の以前フレームの符号化モードと同一ではない場合、直前フレームの符号化モードを、現在フレームの最終符号化モードとして決定することができる。
前述のように、初期符号化モードの修正、及びハングオーバー長に対応するフレームの符号化モードを参照し、現在フレームの最終符号化モードを決定することにより、オーディオ信号の特性に適応的な符号化モードを決定しがらも、フレーム間の頻繁な符号化モードのスイッチングを防止することができる。
一般的に、音声信号に分類された場合、時間ドメイン符号化、すなわち、時間ドメイン励起符号化が効率的であり、音楽信号に分類された場合、スペクトルドメイン符号化が効率的であり、ボーカル及び／またはハーモニック信号に分類された場合、周波数ドメイン励起符号化が効率的である。
スイッチング部１２０は、符号化モード決定部１１０で決定される符号化モードに対応し、オーディオ信号を、スペクトルドメイン符号化部１３０と、線形予測ドメイン符号化部１４０とのうち一つに提供することができる。線形予測ドメイン符号化部１４０が、時間ドメイン励起符号化部１４１で具現される場合には、スイッチング部１２０は、全体２個のブランチが存在し、時間ドメイン励起符号化部１４１と、周波数ドメイン励起符号化部１４３とによって具現される場合には、スイッチング部１２０は、全体３種のブランチが存在する。
スペクトルドメイン符号化部１３０は、オーディオ信号をスペクトルドメインで符号化することができる。スペクトルドメインは、周波数ドメインまたは変換ドメインを意味する。スペクトルドメイン符号化部１３０に適用される符号化方式としては、ＡＡＣ（advanced audio coding）方式またはＭＤＣＴ（modified discrete cosine transform）と、ＦＰＣ（factorial pulse coding）との結合方式を例として挙げることができるが、それに限定されるものではない。具体的には、ＦＰＣの代わりに、他の量子化方式及びエントロピー符号化方式を使用することができる。音楽信号の場合、スペクトルドメイン符号化部１３０で符号化されることが効率的である。
線形予測ドメイン（linear prediction domain）符号化部１４０は、オーディオ信号を線形予測ドメインで符号化することができる。線形予測ドメインは、励起ドメインまたは時間ドメインを意味する。線形予測ドメイン符号化部１４０は、時間ドメイン励起符号化部１４１によって具現されるか、あるいは時間ドメイン励起符号化部１４１と、周波数ドメイン励起符号化部１４３とを含んで具現される。時間ドメイン励起符号化部１４１に適用される符号化方式としては、ＣＥＬＰ（code excited linear prediction）方式またはＡＣＥＬＰ（algebraic ＣＥＬＰ）方式を例として挙げることができるが、それに限定されるものではない。周波数ドメイン励起符号化部１４３に適用される符号化方式としては、ＧＳＣ（general signal coding）方式またはＴＣＸ（transform coded excitation）方式を例として挙げることができるが、それに限定されるものではない。音声信号の場合、時間ドメイン励起符号化部１４１での符号化が効率的であり、ボーカル及び／またはハーモニック信号の場合、周波数ドメイン励起符号化部１４３での符号化が効率的である。
ビットストリーム生成部１５０は、符号化モード決定部１１０で提供される符号化モード、スペクトルドメイン符号化部１３０から提供される符号化結果、及び線形予測ドメイン符号化部１４０から提供される符号化結果を含み、ビットストリームを生成することができる。
図２は、他の実施形態によるオーディオ符号化装置の構成を示したブロック図である。図２に図示されたオーディオ符号化装置２００は、共通前処理モジュール２０５、符号化モード決定部２１０、スイッチング部２２０、スペクトルドメイン符号化部２３０、線形予測ドメイン符号化部２４０及びビットストリーム生成部２５０を含んでもよい。ここで、線形予測ドメイン符号化部２４０は、時間ドメイン励起符号化部２４１と、周波数ドメイン励起符号化部２４３とを含んでもよく、２つの励起符号化部２４１，２４３のうち少なくとも一つによって具現される。図１に図示されたオーディオ符号化装置と比較し、共通前処理モジュール２０５がさらに付加したものであり、共通する構成要素に係わる動作説明は省略する。
図２を参照すれば、共通前処理モジュール２０５は、ジョイントステレオ処理（joint stereo processing）、サラウンド処理（surround processing）及び／または帯域幅拡張処理（bandwidth extension processing）を行うことができる。ここで、ジョイントステレオ処理、サラウンド処理及び帯域幅拡張処理は、特定標準方式、例えば、ＭＰＥＧ標準方式に採択されたものを適用することができるが、それに限定されるものではない。共通前処理モジュール２０５の出力は、モノチャネル、ステレオチャネルまたはマルチチャネルにもなる。共通前処理モジュール２０５から出力される信号のチャネル数により、スイッチング部２２０は、少なくとも１以上のスィッチで構成される。例えば、共通前処理モジュール２０５が２以上のチャネル出力、すなわち、ステレオチャネルまたはマルチチャネル信号を出力する場合、各チャネルに対応するスィッチが具備される。代表的には、ステレオ信号の最初のチャネルは、音声チャネルでもあり、ステレオ信号の２番目チャネルは、音楽チャネルでもあり、その場合、２つのスィッチに同時にオーディオ信号が提供される。共通前処理モジュール２０５で生成される付加情報は、ビットストリーム生成部２５０に提供され、ビットストリームに含まれる。ここで、付加情報は、復号化端において、ジョイントステレオ処理、サラウンド処理及び／または帯域幅拡張処理が行われるのに必要な情報であり、空間パラメータ、エンベロープ情報、エネルギー情報などを挙げることができるが、適用される処理技法によって多様な付加情報が存在する。
一実施形態によれば、共通前処理モジュール２０５内での帯域幅拡張処理は、符号化ドメインによって、互いに異なるように行われる。コア帯域のオーディオ信号は、時間ドメイン励起符号化方式または周波数ドメイン励起符号化方式を利用して処理され、帯域幅拡張帯域のオーディオ信号は、時間ドメインで処理される。時間ドメインでの帯域幅拡張処理モードは、有声音モードまたは無声音モードを含む複数のモードが存在する。一方、コア帯域のオーディオ信号は、スペクトルドメイン方式を利用して処理され、帯域幅拡張帯域のオーディオ信号は、周波数ドメインで処理される。周波数ドメインでの帯域幅拡張処理モードは、トランジェントモード、ノーマルモードまたはハーモニックモードを含む複数のモードが存在する。互いに異なるドメインでの帯域幅拡張処理のために、符号化モード決定部２１０で決定される符号化モードが、シグナリング情報として共通前処理モジュール２０５に提供される。一実施形態によれば、コア帯域の最後の部分と、帯域幅拡張帯域の開始部分は、オーバーラップされる。オーバーラップされる領域の位置及び大きさは、あらかじめ決定される。
図３は、一実施形態による符号化モード決定部の構成を示したブロック図である。図３に図示された符号化モード決定部３００は、初期符号化モード決定部３１０と、符号化モード修正部３３０とを含んでもよい。
図３を参照すれば、初期符号化モード決定部３１０は、オーディオ信号から抽出された特徴パラメータを利用して、音楽信号であるか音声信号であるか、そのタイプを分類することができる。音声信号に分類された場合、線形予測ドメイン符号化処理が望ましい。一方、音楽信号に分類された場合、スペクトルドメイン符号化処理が望ましい。初期符号化モード決定部３１０は、オーディオ信号から抽出された特徴パラメータを利用して、スペクトルドメイン処理が適するか、時間ドメイン励起処理が適するか、あるいは周波数ドメイン励起処理が適するか、そのタイプを分類することができる。オーディオ信号のタイプによって、対応する符号化モードが決定される。スイッチング部１２０（図１）のブランチが２個である場合、１ビットで、ブランチが３個である場合、２ビットで符号化モードを表現することができる。初期符号化モード決定部３１０での音楽信号または音声信号へのタイプ分類方式は、公知されたさまざまな方式を使用することができる。例えば、ＵＳＡＣ標準のエンコーダパートに記載されたＦＤ／ＬＰＤ分類またはＡＣＥＬＰ／ＴＣＸ分類や、ＡＭＲ標準で使用されるＡＣＥＬＰ／ＴＣＸ分類などがあるが、それらに限定されるものではない。要約すれば、初期符号化モードをいかように決定するかということについては、実施形態で記載された方式以外に、多様な方式を使用することができるということが自明である。
符号化モード修正部３３０は、初期符号化モード決定部３１０で決定された初期符号化モードを、修正パラメータを利用して修正し、修正された符号化モードを決定することができる。一実施形態によれば、初期符号化モードがスペクトルドメイン符号化モードに決定された場合、修正パラメータに基づいて、周波数ドメイン励起符号化モードに修正される。また、初期符号化モードが時間ドメイン符号化モードに決定された場合、修正パラメータに基づいて、周波数ドメイン励起符号化モードに修正される。すなわち、初期符号化モードの決定にエラーがあるか否かということを、修正パラメータを利用して判断し、初期符号化モードの決定にエラーがないと判断された場合には、そのまま維持する一方、エラーがあると判断された場合には、初期符号化モードを修正することができる。初期符号化モードの修正範囲は、スペクトルドメイン符号化モードから周波数ドメイン励起符号化モードにもなり、時間ドメイン励起符号化モードから周波数ドメイン励起符号化モードにもなる。
一方、初期符号化モード、あるいは修正された符号化モードは、現在フレームの一時的な符号化モードであり、現在フレームの一時的符号化モードを、あらかじめ決定されたハングオーバー長内の以前フレームの符号化モードと比較し、該比較結果によって、現在フレームの最終符号化モードを決定することができる。
図４は、一実施形態による初期符号化モード決定部の構成を示したブロック図である。図４に図示された初期符号化モード決定部４００は、特徴パラメータ抽出部４１０及び決定部４３０を含んでもよい。
図４を参照すれば、特徴パラメータ抽出部４１０は、オーディオ信号から、符号化モード決定に必要となる特徴パラメータを抽出することができる。抽出される特徴パラメータの例としては、ピッチパラメータ、ボイシングパラメータ、相関度パラメータ、線形予測エラーのうち少なくとも一つ、あるいは少なくとも２つの組み合わせを含んでもよいが、それらに限定されるものではない。特徴パラメータについて、さらに具体的に説明すれば、次の通りである。
まず、最初の特徴パラメータＦ１は、ピッチパラメータと係わるものであり、現在フレームと、少なくとも１以上の以前フレームとから検出されるＮ個のピッチ値を利用して、ピッチの行動（behavior of pitch）を把握することができる。ランダムな変動、あるいは誤って検出されたピッチ値からの影響を防止するために、Ｎ個ピッチ値の平均から、差が大きいＭ個のピッチ値を除去する。ここで、ＮとＭは、事前の実験またはシミュレーションを介して、最適の値を設定することができる。また、Ｎは、あらかじめ設定し、Ｎ個ピッチ値の平均から、どれほどの差以上のピッチ値を除去するかということについて、事前の実験またはシミュレーションを介して、最適の値を設定することができる。（Ｎ−Ｍ）個のピッチ値に係わる平均ｍｐ’と分散σｐ’とを利用して、最初の特徴パラメータＦ１は、次の数式（１）のように示される。
Figure 0006530449
 ２番目の特徴パラメータＦ２も、ピッチパラメータと係わるものであり、現在フレームで検出されたピッチ値の信頼度を示される。現在フレーム内の２つのサブフレームＳＦ１，ＳＦ２でそれぞれ検出されたピッチ値の分散σＳＦ１，σＳＦ２を利用して、２番目の特徴パラメータＦ２は、次の数式（２）のように示される。
Figure 0006530449
 ここで、ｃｏｖ（ＳＦ１，ＳＦ２）は、サブフレームＳＦ１，ＳＦ２間の共分散を示す。すなわち、２番目の特徴パラメータＦ２は、２つのサーブフレーム間の相関度をピッチ距離で示すものである。一実施形態によれば、現在フレームは、２以上のサブフレームから構成され、サーブフレームの数によって、数学式（２）が変形される。
３番目の特徴パラメータＦ３は、ボイシングパラメータ（voicing）と相関度パラメータ（Ｃｏｒｒ）とから、次の数式（３）のように示される。
Figure 0006530449
 ここで、ボイシングパラメータ(voicing)は、音のボーカル特性と係わっており、公知の多様な方法によって得られ、相関度パラメータ（Ｃｏｒｒ）は、それぞれのバンド別フレーム間相関度の和で求められる。
４番目の特徴パラメータＦ４は、線形予測エラー（ＥＬＰＣ）と係わるものであり、次の数式（４）のように示される。
Figure 0006530449
 ここで、Ｍ（ＥＬＰＣ）は、Ｎ個の線形予測エラーの平均を示す。
決定部４３０は、特徴パラメータ抽出部４１０から提供される少なくとも一つ以上の特徴パラメータを利用して、オーディオ信号のタイプを分類し、分類されたタイプによって、初期符号化モードを決定することができる。決定部４３０は、望ましくは、軽判定（soft decision）方式を適用することができ、特徴パラメータ別に、少なくとも１つのミクスチャ（mixture）を形成することができる。一実施形態としては、ミクスチャ確率に基づいたＧＭＭ（Gaussian mixture model）を利用して、オーディオ信号のタイプを分類することができる。１つのミクスチャに係わる確率ｆ（ｘ）は、下記数式（５）によって算出される。
Figure 0006530449
 ここで、ｘは、特徴パラメータの入力ベクトルを示し、ｍは、ミクスチャを示し、Ｃｃは、共分散行列（covariance matrix）を示す。
決定部４３０は、音楽確率Ｐｍ及び音声確率Ｐｓを、次の数式（６）を利用して算出することができる。
Figure 0006530449
 ここで、音楽への分類にすぐれた特徴パラメータと係わるＭ個ミクスチャに係わる確率Ｐｉをいずれも加算して音楽確率Ｐｍを算出し、音声への分類にすぐれた特徴パラメータと係わるＳ個ミクスチャに係わる確率Ｐｉをいずれも加算して音声確率Ｐｓを算出する。
一方、正確度をさらに確保するために、音楽確率Ｐｍ及び音声確率Ｐｓを、次の数式（７）を利用して算出することができる。
Figure 0006530449
 ここで、
Figure 0006530449
 は、各ミクスチャに係わるエラー確率を示す。エラー確率は、クリーン音声信号とクリーン音楽信号とを含むトレーニングデータについて、各ミクスチャを利用して分類した結果、誤って分類された個数をチェックして得られるのである。
次に、決定されたハングオーバー長ほどの複数フレームについて、全てのフレームが音楽である確率Ｐｍと、全てのフレームが音声である確率Ｐｓとを、次の数式（８）を利用して算出することができる。ここで、ハングオーバー長は、８と設定するが、それに限定されるものではない。８個のフレームは、現在フレームと、７個の以前フレームとを含む。
Figure 0006530449
 次に、数式（５）または数式（６）を利用して求められた音楽確率及び音声確率を利用して、複数個の条件セット
Figure 0006530449
 を算出することができる。それについて、図６を参照してさらに具体的に説明すれば、次の通りである。ここで、各条件において、音楽である場合、１の値を有し、音声である場合、０の値を有するように設定する。
図６を参照すれば、６１０段階及び６２０段階においては、音楽確率Ｐｍ及び音声確率Ｐｓを利用して算出された複数個の条件セット
Figure 0006530449
 から、音楽条件の和Ｍと、音声条件の和Ｓとを求めることができる。すなわち、音楽条件の和Ｍと音声条件の和Ｓは、それぞれ次の数式（９）のように示される。
Figure 0006530449
 ６３０段階においては、音楽条件の和Ｍを、所定のスレショルド値Ｔｍと比較し、比較の結果、ＭがＴｍより大きければ、現在フレームの符号化モードを音楽モード、すなわち、スペクトルドメインモードにスイッチングする。一方、６３０段階での比較結果、ＭがＴｍより小さいか、あるいはそれと同じであるならば、現在フレームの符号化モードを変更しない。
６４０段階においては、音声条件の和Ｓを所定のスレショルド値Ｔｓと比較し、比較の結果、ＳがＴｓより大きければ、現在フレームの符号化モードを音声モード、すなわち、線形予測ドメインモードにスイッチングする。一方、６４０段階での比較結果、ＳがＴｓより小さいか、あるいはそれと同じであるならば、現在フレームの符号化モードを変更しない。
６３０段階及び６４０段階で使用されるスレショルド値Ｔｍ及びＴｓは、事前の実験またはシミュレーションを介して、最適の値に設定される。
図５は、一実施形態による特徴パラメータ抽出部の構成を示したブロック図である。図５に図示された初期符号化モード決定部５００は、変換部５１０、スペクトルパラメータ抽出部５２０、時間パラメータ抽出部５３０及び決定部５４０を含んでもよい。
図５において、変換部５１０は、本来のオーディオ信号を、時間ドメインから周波数ドメインに変換することができる。ここで、変換部５１０は、時間表現のオーディオ信号をスペクトル表現で示す多様な変換方式を適用することができ、例として、ＦＦＴ（fast Fourier transform）、ＤＣＴ（discrete cosine transform）またはＭＤＣＴ（modified discrete cosine transform）を有することができるが、それらに限定されるものではない。
スペクトルパラメータ抽出部５２０は、変換部５１０から提供される周波数ドメインのオーディオ信号から、少なくとも一つ以上のスペクトルパラメータを抽出することができる。また、スペクトルパラメータを、短期特徴パラメータ及び長期特徴パラメータに分類して使用することもできる。短期特徴パラメータは、単一の現在フレームから得られ、長期特徴パラメータは、現在フレームと、少なくとも１つの過去フレームとを含む複数のフレームから得られる。
時間パラメータ抽出部５３０は、時間ドメインのオーディオ信号から、少なくとも一つ以上の時間パラメータを抽出することができる。また、時間パラメータを、短期特徴パラメータ及び長期特徴パラメータに分類して使用することもできる。同様に、短期特徴パラメータは、単一の現在フレームから得られ、長期特徴パラメータは、現在フレームと、少なくとも１つの過去フレームとを含む複数のフレームから得られる。
決定部４３０（図４）は、スペクトルパラメータ抽出部５２０から提供されるスペクトルパラメータと、時間パラメータ抽出部５３０から提供される時間パラメータとを利用して、オーディオ信号のタイプを分類し、分類されたタイプによって、初期符号化モードを決定することができる。決定部４３０（図４）は、望ましくは、軽判定方式を適用することができる。
図７は、一実施形態による符号化モード修正部の動作について説明する図面である。図７を参照すれば、７００段階においては、初期符号化モード決定部３１０で決定された初期符号化モードを受信し、時間ドメインモード、すなわち、時間ドメイン励起モードであるか、あるいはスペクトルドメインモードであるかということを判断することができる。
７０１段階においては、７００段階において、スペクトルドメインモードと判断された場合（stateＴＳ＝＝１）、周波数ドメイン励起符号化が適するか否かということを示す指標stateＴＴＳＳをチェックすることができる。周波数ドメイン励起符号化、例えば、ＧＳＣが適するか否かということを示す指標stateＴＴＳＳは、互いに異なる周波数バンドのトーナリティを利用して得ることができる。それについて、さらに具体的に説明すれば、次の通りである。
低帯域信号のトーナリティは、与えられたバンドに対して、最小値を含む小さい値を有する複数個のスペクトル係数の和と、最大値であるスペクトル係数との比率として得られる。与えられたバンドが、それぞれ０〜１ｋＨｚ、１〜２ｋＨｚ、２〜４ｋＨｚである場合、各バンドのトーナリティｔ０１，ｔ１２，ｔ２４と、低帯域信号、すなわち、コア帯域のトーナリティｔＬは、下記数式（１０）のように示される。
Figure 0006530449
 一方、線形予測エラーｅｒｒは、ＬＰＣフィルタを利用して得られ、強いトーナル成分を排除するために使用される。すなわち、強いトーナル成分は、周波数ドメイン励起符号化モードより、スペクトルドメイン符号化モードの方がさらに効率的である。
前述のように得られるトーナリティ及び線形予測エラーを利用して、周波数ドメイン励起符号化モードにスイッチングするための開始条件、すなわち、ｃｏｎｄfrontは、次の数式（１１）のように示される。
Figure 0006530449
 ここで、ｔ１２front、ｔ２４front、ｔＬfront、ｅｒｒfrontは、それぞれ臨界値であり、事前の実験またはシミュレーションを介して、最適の値に設定される。
一方、前述のように得られるトーナリティ及び線形予測エラーを利用して、周波数ドメイン励起符号化モードを終えるための終了条件す、なわち、ｃｏｎｄbackは、次の数式（１２）のように示される。
Figure 0006530449
 ここで、ｔ１２back、ｔ２４back、ｔＬbackは、それぞれ臨界値であり、事前の実験またはシミュレーションを介して、最適の値に設定される。
すなわち、前記数式（１１）の開始条件が成立するか、あるいは前記数式（１２）の終了条件が成立しないかということを確認することにより、７０１段階において、スペクトルドメイン符号化に比べ、周波数ドメイン励起符号化、例えば、ＧＳＣが適するか否かということを示す指標stateＴＴＳＳが１であるか否かということがチェックされる。そのとき、前記数式（１２）の終了条件確認は、オプションで行われる。
７０２段階においては、７０１段階でのチェック結果、stateＴＴＳＳが１である場合、周波数ドメイン励起符号化方式に決定することができる。その場合、初期符号化モードが、スペクトルドメインモードから周波数ドメイン励起モードに、最終符号化モードが修正されたのである。
７０５段階においては、７０１段階でのチェック結果、stateＴＴＳＳが０である場合、強い音声であるか否かということを判断する指標stateＳＳをチェックすることができる。もしスペクトルドメイン符号化モードに係わる決定エラーが存在する場合、スペクトルドメイン符号化モードの代わりに、周波数ドメイン励起符号化モードが効率的である。強い音声であるか否かということを判断する指標stateＳＳは、ボイシングパラメータと相関度パラメータとの差値ｖｃを利用して得ることができる。
ボイシングパラメータと相関度パラメータとの差値ｖｃを利用して、強い音声モードにスイッチングするための開始条件、すなわち、ｃｏｎｄfrontは、次の数式（１３）のように示される。
Figure 0006530449
 ここで、ｖｃfrontは臨界値であり、事前の実験またはシミュレーションを介して、最適の値に設定される。
一方、ボイシングパラメータと相関度パラメータとの差値ｖｃを利用して、強い音声モードを終わらせるための終了条件、すなわち、ｃｏｎｄbackは、次の数式（１４）のように示される。
Figure 0006530449
 ここで、ｖｃbackは臨界値であり、事前の実験またはシミュレーションを介して、最適の値に設定される。
すなわち、前記数式（１３）の開始条件が成立するか、あるいは前記数式（１４）の終了条件が成立しないかということを確認することにより、７０５段階において、スペクトルドメイン符号化に比べ、周波数ドメイン励起符号化、例えば、ＧＳＣが適するか否かということを示す指標stateＳＳが１であるか否かということがチェックされる。そのとき、前記数式（１４）の終了条件確認は、オプションで行われる。
７０６段階においては、７０５段階でのチェック結果、stateＳＳが０である場合、すなわち、強い音声ではないと判断される場合、スペクトルドメイン符号化方式に決定することができる。その場合、スペクトルドメインモードである初期符号化モードが、最終符号化モードに維持されたのである。
７０７段階においては、７０５段階でのチェック結果、stateＳＳが１である場合、すなわち、強い音声であると判断される場合、周波数ドメイン励起符号化方式に決定することができる。その場合、初期符号化モードがスペクトルドメインモードから周波数ドメイン励起モードに、最終符号化モードが修正されたのである。
７００段階、７０１段階及び７０５段階を介して、初期符号化モードの決定時、スペクトルドメイン符号化モードに係わる決定エラーを修正することができる。具体的には、初期符号化モードが、スペクトルドメインモードから、スペクトルドメインモードまたは周波数ドメイン励起モードに最終符号化モードが変更される。
一方、７００段階において、線形予測ドメインモードと判断された場合（stateＴＳ＝＝０）、７０９段階において、強い音楽であるか否かということ判断する指標stateＳＭをチェックすることができる。もし線形予測ドメイン符号化モード、すなわち、時間ドメイン励起符号化モードに係わる決定エラーが存在する場合、時間ドメイン励起符号化モードの代わりに、周波数ドメイン励起符号化モードが効率的である。強い音楽であるか否かということを判断する指標stateＳＭは、１から、ボイシングパラメータと相関度パラメータとの差値ｖｃを減算した値（１−ｖｃ）を利用して得ることができる。
１から、ボイシングパラメータと相関度パラメータとの差値ｖｃを減算した値（１−ｖｃ）を利用して、強い音楽モードにスイッチングするための開始条件、すなわち、ｃｏｎｄfrontは、次の数式（１５）のように示される。
Figure 0006530449
 ここで、ｖｃｍfrontは、臨界値であり、事前の実験またはシミュレーションを介して、最適の値に設定される。
一方、１から、ボイシングパラメータと相関度パラメータとの差値ｖｃを減算した値（１−ｖｃ）を利用して、強い音楽モードを終わらせるための終了条件、すなわち、ｃｏｎｄbackは、次の数式（１６）のように示される。
Figure 0006530449
 ここで、ｖｃｍbackは、臨界値であり、事前の実験またはシミュレーションを介して、最適の値に設定される。
すなわち、前記数式（１５）の開始条件が成立するか、あるいは前記数式（１６）の終了条件が成立しないかということをを確認することにより、７０９段階において、時間ドメイン励起符号化に比べ、周波数ドメイン励起符号化、例えば、ＧＳＣが適するか否かということを示す指標stateＳＭが１であるか否かということがチェックされる。そのとき、前記数式（１６）の終了条件確認は、オプションで行われる。
７１０段階においては、７０９段階でのチェック結果、stateＳＭが０である場合、すなわち、強い音楽ではないと判断される場合、時間ドメイン励起符号化方式に決定することができる。その場合、線形予測ドメインモードである初期符号化モードが、時間ドメイン励起モードである最終符号化モードに修正されたのである。一実施形態によれば、線形予測ドメインモードが、時間ドメイン励起モードである場合、修正なしに維持されたと見ることができる。
７０７段階においては、７０９段階でのチェック結果、stateＳＭが１である場合、すなわち、強い音楽であると判断される場合、周波数ドメイン励起符号化方式に決定することができる。その場合、線形予測ドメインモードである初期符号化モードが、周波数ドメイン励起モードである最終符号化モードに修正されたのである。
７００段階及び７０９段階を介して、初期符号化モード判断時のエラーを修正することができる。具体的には、初期符号化モードが、線形予測ドメインモード、例えば、時間ドメイン励起モードから、時間ドメイン励起モードまたは周波数ドメイン励起モードに最終符号化モードが変更される。
一実施形態によれば、線形予測ドメインモードに係わる符号化モード決定エラーを修正するための強い音楽判定段階である７０９段階は、オプションで遂行される。
他の実施形態によれば、強い音声判定段階である７０５段階と、周波数ドメイン励起モード判定段階である７０１段階は、先後関係が変わることもある。すなわち、７００段階後、７０５段階をまず遂行した後、７０１段階を遂行することもできる。その場合、必要によっては、各判定段階において使用されるパラメータが変更される。
図８は、本発明の一実施形態によるオーディオ復号化装置の構成を示したブロック図である。
図８に図示されたオーディオ復号化装置８００は、ビットストリーム・パージング部８１０、スペクトルドメイン復号化部８２０、線形予測ドメイン復号化部８３０及びスイッチング部８４０を含んでもよい。ここで、線形予測ドメイン復号化部８３０は、時間ドメイン励起復号化部８３１と周波数ドメイン励起復号化部８３３を含んでもよく、２つの励起復号化部８３１，８３３のうち少なくとも一つによって具現される。ここで、各構成要素は、別途のハードウェアによって具現する必要がある場合を除いては、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）でもって具現される。
図８を参照すれば、ビットストリーム・パージング部８１０は、受信されたビットストリームをパージングし、符号化モードに係わる情報と、符号化されたデータとを分離することができる。符号化モードは、オーディオ信号の特性に対応し、第１符号化モードと第２符号化モードとを含む複数の符号化モードのうち一つを初期符号化モードとして決定し、初期符号化モードに係わる決定にエラーが存在する場合、初期符号化モードを第３符号化モードに修正して決定された最終符号化モードに該当する。
スペクトルドメイン復号化部８２０は、分離された符号化データのうち、スペクトルドメインで符号化されたデータを復号化することができる。
線形予測ドメイン復号化部８３０は、分離された符号化データのうち、線形予測ドメインで符号化されたデータを復号化することができる。線形予測ドメイン復号化部８３０が、時間ドメイン励起復号化部８３１と、周波数ドメイン励起復号化部８３３とから構成される場合、分離された符号化データについて、時間ドメイン励起復号化または周波数ドメイン励起復号化を行うことができる。
スイッチング部８４０は、スペクトルドメイン復号化部８２０から復元された信号と、線形予測ドメイン復号化部８３０から復元された信号とのうち一つをスイッチングし、最終復元された信号として提供することができる。
図９は、本発明の他の実施形態によるオーディオ復号化装置の構成を示したブロック図である。
図９に図示されたオーディオ復号化装置９００は、ビットストリーム・パージング部９１０、スペクトルドメイン復号化部９２０、線形予測ドメイン復号化部９３０、スイッチング部９４０及び共通後処理モジュール９５０を含んでもよい。ここで、線形予測ドメイン復号化部９３０は、時間ドメイン励起符号化部９３１と、周波数ドメイン励起符号化部９３３とを含んでもよく、２つの励起符号化部９３１，９３３のうち少なくとも一つによって具現される。ここで、各構成要素は、別途のハードウェアによって具現する必要がある場合を除いては、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）でもって具現される。図８に図示されたオーディオ符号化装置と比べ、共通後処理モジュール９５０がさらに付加されたものであり、共通する構成要素に係わる動作説明は省略する。
図９を参照すれば、共通後処理モジュール９５０は、共通前処理モジュール２０５（図２）に対応し、ジョイントステレオ処理、サラウンド処理及び／または帯域幅拡張処理を行うことができる。
前記実施形態による方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令またはデータファイルは、コンピュータで読み取り可能な記録媒体に、多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ（compact disc）−ＲＯＭ（read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気−光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ（random access memory）、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置；が含まれる。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードを含んでもよい。
以上のように、本発明の一実施形態は、たとえ限定された実施形態及び図面によって説明されたにしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、それは、本発明が属する分野で当業者であるならば、そのような記載から多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲に示されており、それと均等または等価的変形は、いずれも本発明の技術的思想の範疇に属するものである。
１００ オーディオ符号化装置
１１０ 符号化モード決定部
１２０ スイッチング部
１３０ スペクトルドメイン符号化部
１４０ 線形予測ドメイン符号化部
１４１ 時間ドメイン励起符号化部
１４３ 周波数ドメイン励起符号化部
１５０ ビットストリーム生成部

Claims (4)

  1. 少なくとも１つのプロセッサを含み、
    前記プロセッサは、
    第１の複数の信号特性に基づいて、音楽クラスと音声クラスとを含む複数のクラスから現在フレームのクラスを決定し、
    前記現在フレームを含む複数のフレームから得られる第２の複数の信号特性から特徴パラメータを取得し、
    前記特徴パラメータに基づいて、前記現在フレームについて決定されたクラスにエラーが存在するかを判断し、
    前記現在フレームについて決定されたクラスにエラーが存在し、前記現在フレームについて決定されたクラスが、前記音楽クラスである場合、前記現在フレームについて決定されたクラスを、前記音声クラスに訂正し、
    前記現在フレームについて決定されたクラスにエラーが存在し、前記現在フレームについて決定されたクラスが、前記音声クラスである場合、前記現在フレームについて決定されたクラスを、前記音楽クラスに訂正する符号化モード決定装置。
  2. 前記特徴パラメータはトーナリティ、線形予測エラー、ボイシングパラメータ、相関度パラメータとの差値のうち少なくとも一つを含む請求項１に記載の符号化モード決定装置。
  3. ハングオーバー長に該当するフレーム数についてクラスを判断し、前記現在フレームの最終クラスを決定する請求項１または２に記載の符号化モード決定装置。
  4. 少なくとも１つのプロセッサを含み、
    前記プロセッサは、
    第１の複数の信号特性に基づいて、音楽クラスと音声クラスとを含む複数のクラスから現在フレームのクラスを決定し、
    前記現在フレームを含む複数のフレームから得られる第２の複数の信号特性から特徴パラメータを取得し、
    前記特徴パラメータに基づいて、前記現在フレームについて決定されたクラスにエラーが存在するかを判断し、
    前記現在フレームについて決定されたクラスにエラーが存在し、前記現在フレームについて決定されたクラスが、前記音楽クラスである場合、前記現在フレームについて決定されたクラスを、前記音声クラスに訂正し、
    前記現在フレームについて決定されたクラスにエラーが存在し、前記現在フレームについて決定されたクラスが、前記音声クラスである場合、前記現在フレームについて決定されたクラスを、前記音楽クラスに訂正し、
    前記現在フレームについて決定されたクラス、あるいは変更されたクラスにより、前記現在フレームに対して互いに異なる符号化処理を行うオーディオ符号化装置。
JP2017127285A 2012-11-13 2017-06-29 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置 Active JP6530449B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261725694P 2012-11-13 2012-11-13
US61/725,694 2012-11-13

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015542948A Division JP6170172B2 (ja) 2012-11-13 2013-11-13 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置

Publications (2)

Publication Number Publication Date
JP2017167569A JP2017167569A (ja) 2017-09-21
JP6530449B2 true JP6530449B2 (ja) 2019-06-12

Family

ID=50731440

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015542948A Active JP6170172B2 (ja) 2012-11-13 2013-11-13 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置
JP2017127285A Active JP6530449B2 (ja) 2012-11-13 2017-06-29 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015542948A Active JP6170172B2 (ja) 2012-11-13 2013-11-13 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置

Country Status (18)

Country Link
US (3) US20140188465A1 (ja)
EP (3) EP4407616A3 (ja)
JP (2) JP6170172B2 (ja)
KR (3) KR102446441B1 (ja)
CN (3) CN104919524B (ja)
AU (2) AU2013345615B2 (ja)
BR (1) BR112015010954B1 (ja)
CA (1) CA2891413C (ja)
ES (1) ES2900594T3 (ja)
MX (2) MX349196B (ja)
MY (1) MY188080A (ja)
PH (1) PH12015501114A1 (ja)
PL (1) PL2922052T3 (ja)
RU (3) RU2630889C2 (ja)
SG (2) SG10201706626XA (ja)
TW (2) TWI648730B (ja)
WO (1) WO2014077591A1 (ja)
ZA (1) ZA201504289B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354331B1 (ko) 2014-02-24 2022-01-21 삼성전자주식회사 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
US9886963B2 (en) * 2015-04-05 2018-02-06 Qualcomm Incorporated Encoder selection
CN107731238B (zh) 2016-08-10 2021-07-16 华为技术有限公司 多声道信号的编码方法和编码器
CN114898761A (zh) * 2017-08-10 2022-08-12 华为技术有限公司 立体声信号编解码方法及装置
US10325588B2 (en) 2017-09-28 2019-06-18 International Business Machines Corporation Acoustic feature extractor selected according to status flag of frame of acoustic signal
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
US10365885B1 (en) * 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
CN111081264B (zh) * 2019-12-06 2022-03-29 北京明略软件系统有限公司 一种语音信号处理方法、装置、设备及存储介质
EP4362366A4 (en) * 2021-09-24 2024-10-23 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR TRANSMITTING OR RECEIVING DATA PACKETS, AND ASSOCIATED OPERATING METHOD

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2102080C (en) * 1992-12-14 1998-07-28 Willem Bastiaan Kleijn Time shifting for generalized analysis-by-synthesis coding
DE69926821T2 (de) * 1998-01-22 2007-12-06 Deutsche Telekom Ag Verfahren zur signalgesteuerten Schaltung zwischen verschiedenen Audiokodierungssystemen
JP3273599B2 (ja) * 1998-06-19 2002-04-08 沖電気工業株式会社 音声符号化レート選択器と音声符号化装置
US6691084B2 (en) * 1998-12-21 2004-02-10 Qualcomm Incorporated Multiple mode variable rate speech coding
US6704711B2 (en) * 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
US6658383B2 (en) * 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
US6785645B2 (en) * 2001-11-29 2004-08-31 Microsoft Corporation Real-time speech and music classifier
ES2378462T3 (es) * 2002-09-04 2012-04-12 Microsoft Corporation Codificación entrópica por adaptación de codificación entre modalidades de nivel y de longitud/nivel de cadencia
WO2004034379A2 (en) * 2002-10-11 2004-04-22 Nokia Corporation Methods and devices for source controlled variable bit-rate wideband speech coding
US20050096898A1 (en) * 2003-10-29 2005-05-05 Manoj Singhal Classification of speech and music using sub-band energy
FI118834B (fi) * 2004-02-23 2008-03-31 Nokia Corp Audiosignaalien luokittelu
US7512536B2 (en) * 2004-05-14 2009-03-31 Texas Instruments Incorporated Efficient filter bank computation for audio coding
DE602004025517D1 (de) 2004-05-17 2010-03-25 Nokia Corp Audiocodierung mit verschiedenen codierungsrahmenlängen
US7739120B2 (en) * 2004-05-17 2010-06-15 Nokia Corporation Selection of coding models for encoding an audio signal
CN101203907B (zh) * 2005-06-23 2011-09-28 松下电器产业株式会社 音频编码装置、音频解码装置以及音频编码信息传输装置
US7733983B2 (en) * 2005-11-14 2010-06-08 Ibiquity Digital Corporation Symbol tracking for AM in-band on-channel radio receivers
US7558809B2 (en) * 2006-01-06 2009-07-07 Mitsubishi Electric Research Laboratories, Inc. Task specific audio classification for identifying video highlights
US8346544B2 (en) * 2006-01-20 2013-01-01 Qualcomm Incorporated Selection of encoding modes and/or encoding rates for speech compression with closed loop re-decision
KR100790110B1 (ko) * 2006-03-18 2008-01-02 삼성전자주식회사 모폴로지 기반의 음성 신호 코덱 방법 및 장치
WO2008045846A1 (en) * 2006-10-10 2008-04-17 Qualcomm Incorporated Method and apparatus for encoding and decoding audio signals
CN100483509C (zh) * 2006-12-05 2009-04-29 华为技术有限公司 声音信号分类方法和装置
CN101197130B (zh) * 2006-12-07 2011-05-18 华为技术有限公司 声音活动检测方法和声音活动检测器
KR100964402B1 (ko) * 2006-12-14 2010-06-17 삼성전자주식회사 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치
CN101025918B (zh) * 2007-01-19 2011-06-29 清华大学 一种语音/音乐双模编解码无缝切换方法
KR20080075050A (ko) 2007-02-10 2008-08-14 삼성전자주식회사 오류 프레임의 파라미터 갱신 방법 및 장치
US8060363B2 (en) * 2007-02-13 2011-11-15 Nokia Corporation Audio signal encoding
CN101256772B (zh) * 2007-03-02 2012-02-15 华为技术有限公司 确定非噪声音频信号归属类别的方法和装置
US9653088B2 (en) * 2007-06-13 2017-05-16 Qualcomm Incorporated Systems, methods, and apparatus for signal encoding using pitch-regularizing and non-pitch-regularizing coding
CA2690433C (en) * 2007-06-22 2016-01-19 Voiceage Corporation Method and device for sound activity detection and sound signal classification
KR101380170B1 (ko) * 2007-08-31 2014-04-02 삼성전자주식회사 미디어 신호 인코딩/디코딩 방법 및 장치
CN101393741A (zh) * 2007-09-19 2009-03-25 中兴通讯股份有限公司 一种宽带音频编解码器中的音频信号分类装置及分类方法
CN101399039B (zh) * 2007-09-30 2011-05-11 华为技术有限公司 一种确定非噪声音频信号类别的方法及装置
CN101236742B (zh) * 2008-03-03 2011-08-10 中兴通讯股份有限公司 音乐/非音乐的实时检测方法和装置
EP2259253B1 (en) 2008-03-03 2017-11-15 LG Electronics Inc. Method and apparatus for processing audio signal
JP2011518345A (ja) * 2008-03-14 2011-06-23 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション スピーチライク信号及びノンスピーチライク信号のマルチモードコーディング
US8856049B2 (en) * 2008-03-26 2014-10-07 Nokia Corporation Audio signal classification by shape parameter estimation for a plurality of audio signal samples
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP2144231A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
MY153562A (en) * 2008-07-11 2015-02-27 Fraunhofer Ges Forschung Method and discriminator for classifying different segments of a signal
CN101350199A (zh) * 2008-07-29 2009-01-21 北京中星微电子有限公司 音频编码器及音频编码方法
CN102177426B (zh) * 2008-10-08 2014-11-05 弗兰霍菲尔运输应用研究公司 多分辨率切换音频编码/解码方案
CN101751920A (zh) * 2008-12-19 2010-06-23 数维科技（北京）有限公司 基于再次分类的音频分类装置及其实现方法
KR101622950B1 (ko) * 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
JP4977157B2 (ja) 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
CN101577117B (zh) * 2009-03-12 2012-04-11 无锡中星微电子有限公司 伴奏音乐提取方法及装置
CN101847412B (zh) * 2009-03-27 2012-02-15 华为技术有限公司 音频信号的分类方法及装置
US20100253797A1 (en) * 2009-04-01 2010-10-07 Samsung Electronics Co., Ltd. Smart flash viewer
KR20100115215A (ko) * 2009-04-17 2010-10-27 삼성전자주식회사 가변 비트율 오디오 부호화 및 복호화 장치 및 방법
KR20110022252A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치
BR112012009490B1 (pt) * 2009-10-20 2020-12-01 Fraunhofer-Gesellschaft zur Föerderung der Angewandten Forschung E.V. ddecodificador de áudio multimodo e método de decodificação de áudio multimodo para fornecer uma representação decodificada do conteúdo de áudio com base em um fluxo de bits codificados e codificador de áudio multimodo para codificação de um conteúdo de áudio em um fluxo de bits codificados
CN102237085B (zh) * 2010-04-26 2013-08-14 华为技术有限公司 音频信号的分类方法及装置
JP5749462B2 (ja) 2010-08-13 2015-07-15 株式会社Ｎｔｔドコモ オーディオ復号装置、オーディオ復号方法、オーディオ復号プログラム、オーディオ符号化装置、オーディオ符号化方法、及び、オーディオ符号化プログラム
CN102446504B (zh) * 2010-10-08 2013-10-09 华为技术有限公司 语音/音乐识别方法及装置
CN102385863B (zh) * 2011-10-10 2013-02-20 杭州米加科技有限公司 一种基于语音音乐分类的声音编码方法
US9111531B2 (en) * 2012-01-13 2015-08-18 Qualcomm Incorporated Multiple coding mode signal classification
WO2014010175A1 (ja) * 2012-07-09 2014-01-16 パナソニック株式会社 符号化装置及び符号化方法

Also Published As

Publication number Publication date
US20180322887A1 (en) 2018-11-08
CN104919524A (zh) 2015-09-16
CN108074579A (zh) 2018-05-25
AU2017206243B2 (en) 2018-10-04
PH12015501114A1 (en) 2015-08-10
AU2013345615B2 (en) 2017-05-04
RU2015122128A (ru) 2017-01-10
SG11201503788UA (en) 2015-06-29
EP3933836A1 (en) 2022-01-05
TW201805925A (zh) 2018-02-16
WO2014077591A1 (ko) 2014-05-22
BR112015010954B1 (pt) 2021-11-09
EP3933836C0 (en) 2024-07-31
KR20150087226A (ko) 2015-07-29
ES2900594T3 (es) 2022-03-17
MX349196B (es) 2017-07-18
CN108074579B (zh) 2022-06-24
CN104919524B (zh) 2018-01-23
JP2017167569A (ja) 2017-09-21
EP2922052B1 (en) 2021-10-13
KR102561265B1 (ko) 2023-07-28
KR20220132662A (ko) 2022-09-30
MX361866B (es) 2018-12-18
CN107958670B (zh) 2021-11-19
CA2891413C (en) 2019-04-02
AU2017206243A1 (en) 2017-08-10
EP2922052A1 (en) 2015-09-23
JP2015535099A (ja) 2015-12-07
MY188080A (en) 2021-11-16
RU2656681C1 (ru) 2018-06-06
EP4407616A3 (en) 2024-10-02
ZA201504289B (en) 2021-09-29
US20200035252A1 (en) 2020-01-30
TWI648730B (zh) 2019-01-21
KR20210146443A (ko) 2021-12-03
KR102446441B1 (ko) 2022-09-22
US11004458B2 (en) 2021-05-11
RU2630889C2 (ru) 2017-09-13
EP2922052A4 (en) 2016-07-20
TW201443881A (zh) 2014-11-16
EP4407616A2 (en) 2024-07-31
TWI612518B (zh) 2018-01-21
EP3933836B1 (en) 2024-07-31
PL2922052T3 (pl) 2021-12-20
AU2013345615A1 (en) 2015-06-18
CN107958670A (zh) 2018-04-24
JP6170172B2 (ja) 2017-07-26
US10468046B2 (en) 2019-11-05
US20140188465A1 (en) 2014-07-03
RU2680352C1 (ru) 2019-02-19
BR112015010954A2 (pt) 2017-08-15
SG10201706626XA (en) 2017-09-28
CA2891413A1 (en) 2014-05-22
KR102331279B1 (ko) 2021-11-25
MX2015006028A (es) 2015-12-01

Similar Documents

Publication Publication Date Title
JP6530449B2 (ja) 符号化モード決定方法及び該装置、オーディオ符号化方法及び該装置、並びにオーディオ復号化方法及び該装置
RU2630390C2 (ru) Устройство и способ для маскирования ошибок при стандартизированном кодировании речи и аудио с низкой задержкой (usac)
US9928843B2 (en) Method and apparatus for encoding/decoding speech signal using coding mode
US20220180884A1 (en) Methods and devices for detecting an attack in a sound signal to be coded and for coding the detected attack
BR122020023798B1 (pt) Método de codificação de um sinal de áudio

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190516

R150 Certificate of patent or registration of utility model

Ref document number: 6530449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250