TWI479481B - Encoding apparatus and method, decoding apparatus and method, and program - Google Patents

Encoding apparatus and method, decoding apparatus and method, and program Download PDF

Info

Publication number
TWI479481B
TWI479481B TW100136316A TW100136316A TWI479481B TW I479481 B TWI479481 B TW I479481B TW 100136316 A TW100136316 A TW 100136316A TW 100136316 A TW100136316 A TW 100136316A TW I479481 B TWI479481 B TW I479481B
Authority
TW
Taiwan
Prior art keywords
band
frequency
sub
signal
frequency sub
Prior art date
Application number
TW100136316A
Other languages
English (en)
Other versions
TW201227719A (en
Inventor
Yuki Yamamoto
Toru Chinen
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201227719A publication Critical patent/TW201227719A/zh
Application granted granted Critical
Publication of TWI479481B publication Critical patent/TWI479481B/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388Details of processing therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208Subband vocoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

編碼裝置及方法、解碼裝置及方法、及程式
本發明係關於一種編碼裝置及方法、解碼裝置及方法、及程式,特別係關於一種能藉由頻帶之擴大而以更高之音質再生音樂信號的編碼裝置及方法、解碼裝置及方法、及程式。
近年來,經由網際網路等傳遞音樂資料之音樂傳遞服務得到推廣。該音樂傳遞服務中,將藉由對音樂信號進行編碼而得之編碼資料作為音樂資料進行傳遞。作為音樂信號之編碼方法,為了下載時不會花費時間而抑制編碼資料之檔案容量而降低位元率之編碼方法成為主流。
作為此種音樂信號之編碼方法,大致有MP3(MPEG(Moving Picture Experts Group,動畫壓縮標準)Audio Layer(聲頻層)3)(國際標準規格ISO/IEC 11172-3)等編碼方法或HE-AAC(High Efficiency MPEG4 AAC)(國際標準規格ISO/IEC 14496-3)等編碼方法。
於以MP3為代表之編碼方法中,刪除音樂信號中之人耳難以察覺之約15kHz以上之高頻頻帶(以下稱作高頻)之信號成分,對剩餘之低頻頻帶(以下稱作低頻)之信號成分進行編碼。以下,將此種編碼方法稱作高頻刪除編碼方法。該高頻刪除編碼方法中,能抑制編碼資料之檔案容量。然而,高頻之聲音雖然微笑但人類能察覺,故若自藉由對編碼資料進行解碼而得之解碼後之音樂信號產生聲音並予以 輸出,則有時會產生失去原聲所具有之實感、或聲音不清等音質之劣化。
相對於此,於以HE-AAC為代表之編碼方法中,自高頻之信號成分中抽取特徵性的資訊,將其與低頻之信號成分一併進行編碼。以下,將此種編碼方法稱作高頻特徵編碼方法。於該高頻特徵編碼方法中,僅將高頻之信號成分之特徵性的資訊作為與高頻之信號成分相關的資訊進行編碼,故能抑制音質之劣化且提高編碼效率。
於利用該高頻特徵編碼方法進行編碼之編碼資料之解碼過程中,將低頻之信號成分及特徵性的資訊解碼,根據解碼後之低頻之信號成分及特徵性的資訊產生高頻之信號成分。以下,將藉由以此種方式根據低頻之信號成分產生高頻之信號成分來擴大低頻之信號成分之頻帶的技術稱作頻帶擴大技術。
作為頻帶擴大技術之一種應用例,有利用上述高頻刪除編碼方法對編碼資料進行解碼後之後處理。於該後處理中,根據解碼後之低頻之信號成分產生因編碼而丟失之高頻之信號成分,藉此擴大低頻之信號成分之頻帶(參照專利文獻1)。再者,以下,將專利文獻1之頻帶擴大之方法稱作專利文獻1之頻帶擴大方法。
於專利文獻1之頻帶擴大方法中,裝置將解碼後之低頻之信號成分作為輸入信號,根據輸入信號之功率譜推斷高頻之功率譜(以下,適當地稱作高頻之頻率包絡),根據低頻之信號成分產生具有該高頻之頻率包絡的高頻之信號成 分。
圖1係表示作為輸入信號之解碼後之低頻之功率譜、及所推斷之高頻之頻率包絡的一例。
圖1中,縱軸係以對數表示功率,橫軸表示頻率。
裝置係根據與輸入信號相關之編碼方式之種類、或採樣率(sampling rate)、位元率等資訊(以下稱作旁側資訊(side information))決定高頻之信號成分的低頻端之頻帶(以下稱作擴大開始頻帶)。接著,裝置將作為低頻之信號成分之輸入信號分割成複數個子頻帶信號。裝置求出分割後之複數個子頻帶信號、即較擴大開始頻帶位於更低頻側(以下簡稱為低頻側)的複數個子頻帶信號之各個之功率的、關於時間方向上之每個群組的平均(以下稱作群組功率)。如圖1所示,裝置係以將低頻側之複數個子頻帶之信號之各個之群組功率的平均作為功率、且將擴大開始頻帶之下端之頻率作為頻率的點為起點。裝置將通過該起點之具有特定傾斜度的一次直線作為較之擴大開始頻帶位於更高頻側(以下簡稱為高頻側)之頻率包絡進行推斷。再者,關於起點之功率方向之位置可由使用者調整。裝置係根據低頻側之複數個子頻帶之信號,以成為所推斷出之高頻側之頻率包絡之方式產生高頻側之複數個子頻帶之信號之各個。裝置對所產生之高頻側之複數個子頻帶的信號進行加法運算而作為高頻之信號成分,進而,對低頻之信號成分進行加法運算並予以輸出。藉此,頻帶之擴大後之音樂信號成為與本來的音樂信號更接近者。因此,能夠再生音質更高之 音樂信號。
上述專利文獻1之頻帶擴大方法具有如下特徵:關於各種高頻刪除編碼方法或各種位元率之編碼資料,能夠擴大關於該編碼資料之解碼後之音樂信號的頻帶。
[先行技術文獻] [專利文獻]
[專利文獻1]日本專利特開2008-139844號公報
然而,專利文獻1之頻帶擴大方法於如下方面需要改進:所推斷出之高頻側之頻率包絡成為特定之傾斜度之一次直線,即頻率包絡之形狀成為固定。
亦即,音樂信號之功率譜具有各種形狀,根據音樂信號之種類之不同,較大程度地偏離於由專利文獻1之頻帶擴大方法所推斷的高頻側之頻率包絡之情形亦不少。
圖2表示例如強力敲鼓一次時之、伴隨有時間性急劇之變化的衝擊性之音樂信號(衝擊性音樂信號)的本來的功率譜之一例。
再者,圖2中亦一併表示有利用專利文獻1之頻帶擴大方法,將衝擊性音樂信號中之低頻側之信號成分作為輸入信號,並根據該輸入信號推斷出的高頻側之頻率包絡。
如圖2所示,衝擊性音樂信號之本來的高頻側之功率譜大致平坦。
相對於此,所推斷出之高頻側之頻率包絡具有特定之負 的傾斜度,於起點,即便調節為接近本來的功率譜的功率,其與本來的功率譜之差亦會隨著頻率之變高而變大。
如此,於專利文獻1之頻帶擴大方法中,所推斷出之高頻側之頻率包絡無法高精度地再現本來的高頻側之頻率包絡。其結果係,若根據頻帶擴大後之音樂信號產生聲音且予以輸出,則有時聽覺上會較之原聲而言失去聲音之清晰性。
而且,於上述之HE-AAC等之高頻特徵編碼方法中,使用高頻側之頻率包絡作為被編碼之高頻之信號成分之特徵性資訊,但要求於解碼側高精度地在線本來的高頻側之頻率包絡。
本發明係鑒於上述情況而完成,其係藉由頻帶之擴大而以更高之音質再生音樂信號者。
本發明之第1技術方案之編碼裝置包括:子頻帶分割機構,其將輸入信號分割為複數個子頻帶,產生由低頻側之複數個子頻帶構成之低頻子頻帶信號、及由高頻側之複數個子頻帶構成之高頻子頻帶信號;特徵量算出機構,其基於上述低頻子頻帶信號及上述輸入信號中之至少任一者,算出表示上述輸入信號之特徵的特徵量;平滑化機構,其使上述特徵量平滑化;擬似高頻子頻帶功率算出機構,其基於已平滑化之上述特徵量及特定之係數,算出上述高頻子頻帶信號之功率之推斷值即擬似高頻子頻帶功率;選擇機構,其根據上述高頻子頻帶信號算出上述高頻子頻帶信 號之功率即高頻子頻帶功率,且對上述高頻子頻帶功率與上述擬似高頻子頻帶功率進行比較,選擇複數個上述係數中之任一者;高頻編碼機構,其對用於獲得所選擇之上述係數之係數資訊及與上述平滑化相關之平滑化資訊進行編碼,產生高頻編碼資料;低頻編碼機構,其對上述輸入信號之低頻之信號即低頻信號進行編碼,產生低頻編碼資料;及多工化機構,其對上述低頻編碼資料及上述高頻編碼資料進行多工化處理而獲得輸出代碼串(code string)。
上述平滑化機構中,可藉由對上述輸入信號之連續的特定數量之幀之上述特徵量進行加權平均而使上述特徵量平滑化。
上述平滑化資訊能夠作為表示上述加權平均中使用之上述幀之數量、或者上述加權平均中使用之權重中之至少一者的資訊。
編碼裝置中可進而設置參數決定機構,其基於上述高頻子頻帶信號來決定上述加權平均中使用之上述幀之數量、或者上述加權平均中使用之權重中的至少一者。
上述係數可藉由將根據寬頻帶教師信號所得之上述特徵量及上述高頻子頻帶功率作為說明變數及被說明變數的學習而產生。
上述寬頻帶教師信號係設為利用特定之編碼方式及編碼算法對特定之信號進行編碼且將經編碼之上述特定之信號解碼而得的信號,上述係數可針對複數個不同的編碼方式及編碼算法之各個,藉由使用上述寬頻帶教師信號之上述 學習而產生。
本發明之第1技術方案之編碼方法或者程式包括如下步驟:將輸入信號分割為複數個子頻帶,產生由低頻側之複數個子頻帶構成之低頻子頻帶信號及由高頻側之複數個子頻帶構成之高頻子頻帶信號;基於上述低頻子頻帶信號及上述輸入信號中之至少任一者算出表示上述輸入信號之特徵的特徵量;使上述特徵量平滑化;基於經平滑化之上述特徵量及特定之係數而算出上述高頻子頻帶信號之功率之推斷值即擬似高頻子頻帶功率;根據上述高頻子頻帶信號算出上述高頻子頻帶信號之功率即高頻子頻帶功率,對上述高頻子頻帶功率與上述擬似高頻子頻帶功率進行比較,選擇複數個上述係數中之任一者;對用於獲得所選擇之上述係數之係數資訊及與上述平滑化相關之平滑化資訊進行編碼,產生高頻編碼資料;對上述輸入信號之低頻之信號即低頻信號進行編碼,產生低頻編碼資料;對上述低頻編碼資料及上述高頻編碼資料進行多工化處理,獲得輸出代碼串。
於本發明之第1技術方案中,輸入信號被分割為複數個子頻帶,產生由低頻側之複數個子頻帶構成之低頻子頻帶信號及由高頻側之複數個子頻帶構成之高頻子頻帶信號,基於上述低頻子頻帶信號及上述輸入信號中之至少任一者而算出表示上述輸入信號之特徵的特徵量,使上述特徵量平滑化,基於經平滑化之上述特徵量及特定之係數而算出上述高頻子頻帶信號之功率之推斷值即擬似高頻子頻帶功 率,且根據上述高頻子頻帶信號而算出上述高頻子頻帶信號之功率即高頻子頻帶功率,對上述高頻子頻帶功率與上述擬似高頻子頻帶功率進行比較,選擇複數個上述係數中之任一者,對用於獲得所選擇之上述係數之係數資訊及與上述平滑化相關之平滑化資訊進行編碼,產生高頻編碼資料,對上述輸入信號之低頻之信號即低頻信號進行編碼,產生低頻編碼資料,對上述低頻編碼資料及上述高頻編碼資料進行多工化處理,而獲得輸出代碼串。
本發明之第2技術方案之解碼裝置包括:解多工化機構,其對所輸入之編碼資料進行解多工化處理而產生低頻編碼資料、用於獲得係數之係數資訊、及與平滑化相關之平滑化資訊;低頻解碼機構,其將上述低頻編碼資料解碼而產生低頻信號;子頻帶分割機構,其將上述低頻信號分割成複數個子頻帶,產生上述子頻帶各自之低頻子頻帶信號;特徵量算出機構,其基於上述低頻子頻帶信號而算出特徵量;平滑化機構,其基於上述平滑化資訊而使上述特徵量平滑化;及產生機構,其基於根據上述係數資訊所得之上述係數、經平滑化之上述特徵量、及上述低頻子頻帶信號而產生高頻信號。
上述平滑化機構能夠藉由對上述低頻信號之連續的特定數量之幀之上述特徵量進行加權平均,而使上述特徵量平滑化。
上述平滑化資訊能作為表示上述加權平均中使用之上述幀之數量、或者上述加權平均中使用之權重中的至少一者 之資訊。
上述產生機構中可設置解碼高頻子頻帶功率算出機構,其基於經平滑化之上述特徵量及上述係數而算出構成上述高頻信號的子頻帶之功率之推斷值即解碼高頻子頻帶功率;及高頻信號產生機構,其基於上述解碼高頻子頻帶功率及上述低頻子頻帶信號而產生上述高頻信號。
上述係數可藉由將根據寬頻帶教師信號所得之上述特徵量、及上述寬頻帶教師信號之與構成上述高頻信號之子頻帶相同的子頻帶之功率作為說明變數及被說明變數之學習而產生。
將上述寬頻帶教師信號作為根據特定之編碼方式及編碼算法而對特定之信號進行編碼且對經編碼之上述特定之信號進行解碼而得的信號,上述係數可針對複數個不同的編碼方式及編碼算法藉由使用上述寬頻帶教師信號之上述學習而產生。
本發明之第2技術方案之解碼方法或者程式包括如下步驟:對所輸入之編碼資料進行解多工化處理而產生低頻編碼資料、用於獲得係數之係數資訊、及與平滑化相關之平滑化資訊;對上述低頻編碼資料進行解碼而產生低頻信號;將上述低頻信號分割成複數個子頻帶,產生上述子頻帶各自之低頻子頻帶信號;基於上述低頻子頻帶信號算出特徵量;基於上述平滑化資訊而使上述特徵量平滑化;且基於根據上述係數資訊所得之上述係數、經平滑化之上述特徵量、及上述低頻子頻帶信號而產生高頻信號。
於本發明之第2技術方案中,所輸入之編碼資料被解多工化,而產生低頻編碼資料、用於獲得係數之係數資訊、及與平滑化相關之平滑化資訊,上述低頻編碼資料被解碼而產生低頻信號,上述低頻信號被分割為複數個子頻帶,產生上述子頻帶各自之低頻子頻帶信號,基於上述低頻子頻帶信號算出特徵量,基於上述平滑化資訊而使上述特徵量平滑化,且基於根據上述係數資訊所得之上述係數、經平滑化之上述特徵量、及上述低頻子頻帶信號而產生高頻信號。
根據本發明之第1技術方案及第2技術方案,可藉由頻帶之擴大而以更高之音質再生音樂信號。
以下,參照圖式對本發明之實施形態進行說明。再者,說明係以如下順序進行。
1.第1實施形態(本發明應用於頻帶擴大裝置中之情形)
2.第2實施形態(本發明應用於編碼裝置及解碼裝置中之情形)
3.第3實施形態(高頻編碼資料中包含係數索引之情形)
4.第4實施形態(高頻編碼資料中包含係數索引及擬似高頻子頻帶功率差分之情形)
5.第5實施形態(使用評估值來選擇係數索引之情形)
6.第6實施形態(使係數之一部分共通之情形)
7.第7實施形態(使特徵量平滑化之情形)
<1.第1實施形態>
於第1實施形態中,對於藉由利用高頻刪除編碼方法對編碼資料進行解碼而得的解碼後之低頻之信號成分,進行擴大頻帶之處理(以下稱作頻帶擴大處理)。
[頻帶擴大裝置之功能性構成例]
圖3表示應用有本發明之頻帶擴大裝置之功能性構成例。
頻帶擴大裝置10係將解碼後之低頻之信號成分作為輸入信號,且對該輸入信號進行頻帶擴大處理,將所得之頻帶擴大處理後之信號作為輸出信號予以輸出。
頻帶擴大裝置10包含低通濾波器11、延遲電路12、帶通濾波器13、特徵量算出電路14、高頻子頻帶功率推斷電路15、高頻信號產生電路16、高通濾波器17、及信號加法運算器18。
低通濾波器11係對於輸入信號以特定之截止頻率進行濾波,作為濾波後之信號,將低頻之信號成分即低頻信號成分供給至延遲電路12。
為了取得對來自低通濾波器11之低頻信號成分及後述之高頻信號成分進行加法運算時之同步,延遲電路12將低頻信號成分延遲固定的延遲時間而供給至信號加法運算器18。
帶通濾波器13係由各自具有不同的通過頻帶之帶通濾波器13-1~13-N構成。帶通濾波器13-i(1≦i≦N)使輸入信號中之特定之通過頻帶的信號通過,作為複數個子頻帶信號 中之一個而供給至特徵量算出電路14及高頻信號產生電路16。
特徵量算出電路14使用來自帶通濾波器13之複數個子頻帶信號及輸入信號中之至少任一者算出一個或者複數個特徵量,供給至高頻子頻帶功率推斷電路15。此處,所謂特徵量係指輸入信號之表示作為信號之特徵的資訊。
高頻子頻帶功率推斷電路15係基於來自特徵量算出電路14之一個或者複數個特徵量,針對每個高頻子頻帶算出高頻之子頻帶信號之功率即高頻子頻帶功率之推斷值,且將其等供給至高頻信號產生電路16。
高頻信號產生電路16基於來自帶通濾波器13之複數個子頻帶信號、及來自高頻子頻帶功率推斷電路15之複數個高頻子頻帶功率之推斷值,產生高頻之信號成分即高頻信號成分,且供給至高通濾波器17。
高通濾波器17將來自高頻信號產生電路16之高頻信號成分,以與低通濾波器11之截止頻率對應之截止頻率進行濾波,且供給至信號加法運算器18。
信號加法運算器18對於來自延遲電路12之低頻信號成分及來自高通濾波器17之高頻信號成分進行加法運算,且作為輸出信號予以輸出。
再者,於圖3之構成中,為了獲得子頻帶信號而應用帶通濾波器13,但並不限於此,亦可應用例如專利文獻1所記載之頻帶分割濾波器。
且同樣,圖3之構成中,為了合成子頻帶信號而應用信 號加法運算器18,但並不限於此,亦可應用例如專利文獻1中記載之頻帶合成濾波器。
[頻帶擴大裝置之頻帶擴大處理]
接著,參照圖4之流程圖對於圖3之頻帶擴大裝置之頻帶擴大處理進行說明。
步驟S1中,低通濾波器11對於輸入信號以特定之截止頻率進行濾波,且將作為濾波後之信號之低頻信號成分供給至延遲電路12。
低通濾波器11可設定任意之頻率作為截止頻率,本實施形態中係將特定之頻帶作為後述之擴大開始頻帶,且對應於該擴大開始頻帶之下端之頻率而設定截止頻率。因此,低通濾波器11係將較之擴大開始頻帶位於更低頻之信號成分即低頻信號成分作為濾波後之信號而供給至延遲電路12。
而且,低通濾波器11亦可對應於輸入信號之高頻刪除編碼方法或位元率等編碼參數而將最合適之頻率設定為截止頻率。作為該編碼參數,可利用例如專利文獻1之頻帶擴大方法中採用之旁側資訊。
步驟S2中,延遲電路12使來自低通濾波器11之低頻信號成分延遲固定的延遲時間而供給至信號加法運算器18。
步驟S3中,帶通濾波器13(帶通濾波器13-1~13-N)將輸入信號分割為複數個子頻帶信號,且將分割後之複數個子頻帶信號之各個供給至特徵量算出電路14及高頻信號產生電路16。再者,關於帶通濾波器13之輸入信號之分割處理之 詳情,於下文敍述。
步驟S4中,特徵量算出電路14使用來自帶通濾波器13之複數個子頻帶信號及輸入信號中之至少任一者,算出一個或者複數個特徵量,且供給至高頻子頻帶功率推斷電路15。再者,關於特徵量算出電路14之特徵量之算出處理之詳情,於下文敍述。
步驟S5中,高頻子頻帶功率推斷電路15基於來自特徵量算出電路14之一個或者複數個特徵量而算出複數個高頻子頻帶功率之推斷值,且供給至高頻信號產生電路16。再者,關於高頻子頻帶功率推斷電路15之高頻子頻帶功率之推斷值之算出處理之詳情,於下文敍述。
步驟S6中,高頻信號產生電路16基於來自帶通濾波器13之複數個子頻帶信號及來自高頻子頻帶功率推斷電路15之複數個高頻子頻帶功率之推斷值而產生高頻信號成分,且供給至高通濾波器17。此處所謂之高頻信號成分係指較之擴大開始頻帶位於更高頻之信號成分。再者,關於高頻信號產生電路16之高頻信號成分之產生處理之詳情,於下文敍述。
步驟S7中,高通濾波器17藉由對來自高頻信號產生電路16之高頻信號成分進行濾波而除去高頻信號成分中所包含的向低頻之返回成分等雜訊,且將該高頻信號成分供給至信號加法運算器18。
步驟S8中,信號加法運算器18對於來自延遲電路12之低頻信號成分及來自高通濾波器17之高頻信號成分進行加法 運算,且將其作為輸出信號予以輸出。
根據以上之處理,能對於解碼後之低頻之信號成分擴大頻帶。
接著,對於圖4之流程圖之步驟S3~S6之各個之處理詳情進行說明。
[帶通濾波器之處理之詳情]
首先,對於圖4之流程圖之步驟S3中之帶通濾波器13的處理之詳情進行說明。
再者,為了便於說明,以下,將帶通濾波器13之個數N設為N=4。
例如,將輸入信號之奈奎斯特頻率分割為16等分,將所得之16個子頻帶中之1個作為擴大開始頻帶,將該等16個子頻帶中之較之擴大開始頻帶位於更低頻之4個子頻帶之各個作為帶通濾波器13-1~13-4之通過頻帶之各個。
圖5表示帶通濾波器13-1~13-4之各個通過頻帶之頻率軸上之配置。
如圖5所示,若將較之擴大開始頻帶位於更低頻之頻帶(子頻帶)中之自高頻起的第一個子頻帶之索引設為sb、將第二個子頻帶之索引設為sb-1、將第I個子頻帶之索引設為sb-(I-1),則帶通濾波器13-1~13-4各自將較之擴大開始頻帶位於更低頻之子頻帶中的、索引為sb~sb-3之子頻帶之各個分配為通過頻帶。
再者,本實施形態中,帶通濾波器13-1~13-4之通過頻帶之各個係設為藉由將輸入信號之奈奎斯特頻率16等分後 所得的16個子頻帶中之特定之4個,但並不限於此,亦可為將輸入信號之奈奎斯特頻率256等分後所得的256個子頻帶中之特定之4個。而且,帶通濾波器13-1~13-4之各個之頻帶寬度亦可分別不同。
[特徵量算出電路之處理之詳情]
接著,對於圖4之流程圖之步驟S4中的特徵量算出電路14之處理之詳情進行說明。
特徵量算出電路14係使用來自帶通濾波器13之複數個子頻帶信號及輸入信號中之至少任一者而算出一個或者複數個特徵量,該特徵量係供高頻子頻帶功率推斷電路15算出高頻子頻帶功率之推斷值。
更具體而言,特徵量算出電路14根據來自帶通濾波器13之4個子頻帶信號,針對每個子頻帶算出子頻帶信號之功率(子頻帶功率(以下亦稱作低頻子頻帶功率))作為特徵量,且供給至高頻子頻帶功率推斷電路15。
亦即,特徵量算出電路14根據由帶通濾波器13供給之4個子頻帶信號x(ib,n),根據以下之通式(1)求出某特定之時間幀J內的低頻子頻帶功率power(ib,J)。此處,ib係表示子頻帶之索引,n係表示離散時間之索引。再者,1個幀之採樣數設為FSIZE,功率係設為由分貝表現者。
如以上所述,特徵量算出電路14所求出之低頻子頻帶功率power(ib,J)作為特徵量而被供給至高頻子頻帶功率推斷電路15。
[高頻子頻帶功率推斷電路之處理之詳情]
接著,對於圖4之流程圖之步驟S5中的高頻子頻帶功率推斷電路15之處理之詳情進行說明。
高頻子頻帶功率推斷電路15基於特徵量算出電路14所供給之4個子頻帶功率而算出索引為sb+1之子頻帶(擴大開始頻帶)以下之、欲擴大之頻帶(頻率擴大頻帶)的子頻帶功率(高頻子頻帶功率)之推斷值。
亦即,高頻子頻帶功率推斷電路15若將頻率擴大頻帶之最高頻之子頻帶的索引設為eb,則針對索引為sb+1~eb之子頻帶推斷出(eb-sb)個子頻帶功率。
頻率擴大頻帶之、索引為ib之子頻帶功率的推斷值powerest (ib,J)係使用特徵量算出電路14所供給之4個子頻帶功率power(ib,j)且根據例如以下之通式(2)表示。
此處,通式(2)中,係數Aib (kb)、Bib 係針對每個子頻帶ib而具有不同值的係數。係數Aib (kb)、Bib 係為了獲得適宜各種輸入信號之值而適當設定之係數。而且,藉由子頻帶 sb之變更,係數Aib (kb)、Bib 亦變更為最合適之值。再者,關於係數Aib (kb)、Bib 之導出於下文敍述。
通式(2)中,高頻子頻帶功率之推斷值係藉由使用來自帶通濾波器13之複數個子頻帶信號各自之功率的1次線性組合而算出,但並不限於此,亦可例如使用時間幀J之前後數個幀之複數個低頻子頻帶功率之線性組合而算出,又亦可使用非線性之函數而算出。
如以上所述,藉由高頻子頻帶功率推斷電路15所算出之高頻子頻帶功率的推斷值被供給至高頻信號產生電路16。
[高頻信號產生電路之處理之詳情]
接著,對於圖4之流程圖之步驟S6中高頻信號產生電路16之處理之詳情進行說明。
高頻信號產生電路16係根據由帶通濾波器13所供給之複數個子頻帶信號且基於上述通式(1)而算出各個子頻帶的低頻子頻帶功率power(ib,J)。高頻信號產生電路16使用所算出之複數個低頻子頻帶功率power(ib,J)及由高頻子頻帶功率推斷電路15基於上述通式(2)所算出之高頻子頻帶功率之推斷值powerest (ib,J),且根據以下之通式(3)而求出增益量G(ib,J)。
此處,通式(3)中,sbmap (ib)表示將子頻帶ib作為映射目標之子頻帶之情形時的映射源之子頻帶之索引,且由以下之通式(4)表示。
再者,通式(4)中,INT(a)係舍去值a之小數點後之部分而得之函數。
接著,高頻信號產生電路16使用以下之通式(5)將由通式(3)所求出之增益量G(ib,J)乘以帶通濾波器13之輸出,而算出增益調整後之子頻帶信號x2(ib,n)。
進而,高頻信號產生電路16根據以下之通式(6),自與索引為sb-3之子頻帶之下端的頻率對應之頻率向與索引為sb之子頻帶之上端的頻率對應之頻率進行餘弦調變,藉此,根據增益調整後之子頻帶信號x2(ib,n)算出經餘弦轉換之增益調整後之子頻帶信號x3(ib,n)。
再者,通式(6)中,π表示圓周率。該通式(6)係表示將增益調整後之子頻帶信號x2(ib,n)分別以4個頻帶向高頻側之頻率進行移位。
然後,高頻信號產生電路16根據以下之通式(7),根據已向高頻側移位之增益調整後之子頻帶信號x3(ib,n)算出高頻信號成分xhigh (n)。
如以上所述,藉由高頻信號產生電路16,基於根據來自帶通濾波器13之4個子頻帶信號所算出之4個低頻子頻帶功率、及來自高頻子頻帶功率推斷電路15之高頻子頻帶功率之推斷值而產生高頻信號成分,且供給至高通濾波器17。
藉由以上之處理,對於利用高頻刪除編碼方法所得之編碼資料經解碼後所獲得的輸入信號,將根據複數個子頻帶信號所算出之低頻子頻帶功率作為特徵量,且根據其以及適當設定之係數而算出高頻子頻帶功率之推斷值,且根據低頻子頻帶功率及高頻子頻帶功率之推斷值而相應地產生 高頻信號成分,故能高精度地推斷出頻率擴大頻帶之子頻帶功率,從而能以更高之音質再生音樂信號。
以上係關於特徵量算出電路14僅將根據複數個子頻帶信號所算出之低頻子頻帶功率作為特徵量而算出之示例進行說明,但此時,根據輸入信號之種類之不同,有時亦會無法高精度地推斷出頻率擴大頻帶之子頻帶功率。
因此,特徵量算出電路14算出與頻率擴大頻帶之子頻帶功率之情況(高頻之功率譜之形狀)相關的較強的特徵量,藉此,高頻子頻帶功率推斷電路15亦能夠更高精度地推斷出頻率擴大頻帶之子頻帶功率。
[藉由特徵量算出電路算出之特徵量之另一例]
圖6係表示某一輸入信號中,聲樂佔據其大部分之區間即聲樂區間之頻率特性的一例、及藉由僅將低頻子頻帶功率作為特徵量算出且推斷出高頻子頻帶功率而獲得的高頻之功率譜。
如圖6所示,聲樂區間之頻率特性中,所推斷出之高頻之功率譜位於原信號之高頻之功率譜更上方的情況較多。人耳容易察覺到人的歌聲之不適感,故需要於聲樂區間以尤佳之精度推斷出高頻子頻帶功率。
而且,如圖6所示,聲樂區間之頻率特性中,於4.9kHz~11.025kHz期間多出現1個較大的凹陷。
因此,以下,作為聲樂區間之高頻子頻帶功率之推斷中使用的特徵量,以應用頻率範圍內之4.9kHz~11.025kHz中之凹陷的程度之示例進行說明。再者,以下,將表示該 凹陷之程度之特徵量稱作下沉。
以下,對於時間幀J內之下沉dip(J)之算出例進行說明。
首先,對於輸入信號中之、包含時間幀J之前後數個幀之範圍內所含的2048採樣區間之信號實施2048點FFT(Fast Fourier Transform,快速傅立葉變換),算出頻率軸上之係數。對於所算出之各係數之絕對值實施db轉換,藉此獲得功率譜。
圖7表示以上述方式所得之功率譜之一例。此處,為了除去功率譜之微細之成分,例如以除去1.3kHz以下之成分之方式進行波濾(liftering)處理。藉由波濾處理,時序性地選擇功率譜之各次元,且使用低通濾波器進行濾波處理,藉此能使頻譜波峰之微細之成分平滑化。
圖8係表示波濾後之輸入信號之功率譜之一例。於圖8所示之波濾後之功率譜中,將相當於4.9kHz~11.025kHz之範圍內所含之功率譜的最小值與最大值之差作為下沉dip(J)。
如以上所述,算出了與頻率擴大頻帶之子頻帶功率相關之較強的特徵量。再者,下沉dip(J)之算出例並不限於上述方法,亦可為其他方法。
接著,對於與頻率擴大頻帶之子頻帶功率相關之較強特徵量之算出之又一例進行說明。
[藉由特徵量算出電路算出之特徵量之又一例]
某一輸入信號中,於包含衝擊性音樂信號之區間即衝擊區間之頻率特性中,如參照圖2進行之說明般高頻側之功 率譜大致平坦之情況較多。於僅將低頻子頻帶功率作為特徵量而算出之方法中,因不使用表示含有衝擊區間之輸入信號特有之時間變動的特徵量來推斷頻率擴大頻帶之子頻帶功率,故難以高精度地推斷衝擊區間內呈現之大致平坦的頻率擴大頻帶之子頻帶功率。
因此,以下,對於應用低頻子頻帶功率之時間變動作為衝擊區間之高頻子頻帶功率之推斷中使用的特徵量之示例進行說明。
某一時間幀J中之低頻子頻帶功率之時間變動powerd (J)係藉由例如以下之通式(8)而求出。
根據通式(8),低頻子頻帶功率之時間變動powerd (J)係表示時間幀J中之4個低頻子頻帶功率之和、與時間幀J之1幀前之時間幀(J-1)中之4個低頻子頻帶功率之和的比,該值越大則幀間的功率之時間變動越,亦即,時間幀J中所含之信號之衝擊性強。
而且,對圖1所示之統計上平均的功率譜與圖2所示之衝擊區間(衝擊性音樂信號)之功率譜進行比較可知,於衝擊區間之功率譜之中頻向右上升。於衝擊區間內,表現出此 種頻率特性之情況較多。
因此,以下,對於應用該中頻內之傾斜作為衝擊區間之高頻子頻帶功率之推斷中使用的特徵量之示例進行說明。
某一時間幀J中之中頻之傾斜slope(J)係例如根據以下之通式(9)而求出。
通式(9)中,係數w(ib)係以對高頻子頻帶功率進行加權之方式進行調整後之權重係數。根據通式(9),slope(J)係表示已對高頻進行加權之4個低頻子頻帶功率之和、與4個低頻子頻帶功率之和的比。例如當4個低頻子頻帶功率成為與中頻之子頻帶對應之功率之情形時,slope(J)係當中頻之功率譜向右上升時取較大的值,而於向右下降時取較小的值。
而且,於衝擊區間之前後,中頻之傾斜產生較大變動之情形較多,故而,亦可將以下之通式(10)所表示的傾斜之時間變動sloped (J)作為衝擊區間之高頻子頻帶功率之推斷中使用的特徵量。
而且,同樣,亦可將以下之通式(11)所表示之、上述之下沉dip(J)之時間變動dipd (J),作為衝擊區間之高頻子頻帶功率之推斷中使用的特徵量。
根據以上之方法,可算出與頻率擴大頻帶之子頻帶功率相關之較強特徵量,故而,藉由使用其等特徵量,高頻子頻帶功率推斷電路15能更高精度地進行頻率擴大頻帶之子頻帶功率之推斷。
以上係對於算出與頻率擴大頻帶之子頻帶功率相關的較強特徵量之示例進行說明,以下,對於使用以上述方式所算出之特徵量來推斷高頻子頻帶功率之示例進行說明。
[高頻子頻帶功率推斷電路之處理之詳情]
此處,以將參照圖8所說明之下沉、及低頻子頻帶功率用作特徵量來推斷高頻子頻帶功率之示例進行說明。
亦即,圖4之流程圖之步驟S4中,特徵量算出電路14根據來自帶通濾波器13之4個子頻帶信號,針對每個子頻 帶,將低頻子頻帶功率及下沉作為特徵量而算出,且供給至高頻子頻帶功率推斷電路15。
接著,於步驟S5中,高頻子頻帶功率推斷電路15基於來自特徵量算出電路14之4個低頻子頻帶功率及下沉而算出高頻子頻帶功率之推斷值。
此處,於子頻帶功率及下沉中,可取之值之範圍(scale)不同,因此,高頻子頻帶功率推斷電路15對於下沉之值例如進行以下之轉換。
高頻子頻帶功率推斷電路15預先針對大量之輸入信號算出4個低頻子頻帶功率中之最高頻之子頻帶功率及下沉之值,且對於其等分別求出平均值及標準偏差。此處,將子頻帶功率之平均值設為powerave ,將子頻帶功率之標準偏差設為powerstd ,將下沉之平均值設為dipave ,將下沉之標準偏差設為dipstd
高頻子頻帶功率推斷電路15使用該等值對於下沉之值dip(J)根據以下之通式(12)進行轉換,獲得轉換後之下沉dips (J)。
藉由進行通式(12)所示之轉換,高頻子頻帶功率推斷電路15能將下沉之值dip(J)轉換為統計上與低頻子頻帶功率之平均分散地相等之變數(下沉)dips (J),且能使下沉之可 取之值之範圍與子頻帶功率之可取之值之範圍大致相同。
頻率擴大頻帶中之、索引為ib之子頻帶功率之推斷值powerest (ib,J)係使用來自特徵量算出電路14之4個低頻子頻帶功率power(ib,J)與通式(12)所示之下沉dips (J)的線性組合,且根據例如以下之通式(13)而表示。
此處,通式(13)中,係數Cib (kb)、Dib 、Eib 係針對每個子頻帶ib而具有不同值之係數。係數Cib (kb)、Dib 、Eib 係為了獲得適宜各種輸入信號之值而適當設定之係數。而且,藉由子頻帶sb之變更,係數Cib (kb)、Dib 、Eib 亦能變更為最合適之值。再者,關於係數Cib (kb)、Dib 、Eib 之導出於下文敍述。
通式(13)中,高頻子頻帶功率之推斷值係藉由1次線性組合而算出,但並不限於此,例如亦可使用時間幀J之前後數幀之複數個特徵量的線性組合而算出,又可使用非線性之函數而算出。
藉由以上之處理,於高頻子頻帶功率之推斷中,使用聲樂區間特有之下沉之值作為特徵量,藉此,與僅將低頻子頻帶功率作為特徵量之情形相比,能提高聲樂區間內之高頻子頻帶功率之推斷精度,且使得因利用僅將低頻子頻帶 功率作為特徵量之方法推斷出高頻之功率譜大於原信號之高頻功率譜而產生之人耳容易察覺的不適感減少,因此,能以更高之音質再生音樂信號。
然而,就上述所說明之方法中作為特徵量而算出之下沉(聲樂區間之頻率特性中之凹陷的程度)而言,當子頻帶之分割數為16之情形時,頻率解析度低,故無法僅以低頻子頻帶功率表現該凹陷之程度。
因此,藉由增加子頻帶之分割數(例如16倍之256分割)、增加帶通濾波器13之頻帶分割數(例如16倍之64個)、增加由特徵量算出電路14算出之低頻子頻帶功率之數量(例如16倍之64個),能提高頻率解析度,僅以低頻子頻帶功率表現凹陷之程度。
藉此,能夠僅利用低頻子頻帶功率,以與將上述下沉用作特徵量之高頻子頻帶功率之推斷大致同等之精度來推斷高頻子頻帶功率。
然而,藉由增加子頻帶之分割數、頻帶分割數、及低頻子頻帶功率之數量,使得計算量增加。若任一種方法均能以同等之精度推斷出高頻子頻帶功率,則認為子頻帶之分割數不增加且使用下沉作為特徵量而推斷高頻子頻帶功率之方法於計算量之方面較有效。
以上係關於使用下沉及低頻子頻帶功率來推斷高頻子頻帶功率之方法進行說明,但作為高頻子頻帶功率之推斷中使用之特徵量,並不限於此組合,亦可使用上述所說明之特徵量(低頻子頻帶功率、下沉、低頻子頻帶功率之時間 變動、傾斜、傾斜之時間變動、及下沉之時間變動)中之一個或者複數個。藉此,於高頻子頻帶功率之推斷中,能進一步提高精度。
而且,如上述說明所述,於輸入信號中,將難以進行高頻子頻帶功率之推斷之區間內特有之參數,用作高頻子頻帶功率之推斷中使用之特徵量,藉此,能提高該區間之推斷精度。例如低頻子頻帶功率之時間變動、傾斜、傾斜之時間變動、及下沉之時間變動係衝擊區間內特有之參數,藉由將該等參數用作特徵量,能提高衝擊區間內之高頻子頻帶功率之推斷精度。
再者,當使用低頻子頻帶功率及下沉以外之特徵量,亦即,低頻子頻帶功率之時間變動、傾斜、傾斜之時間變動、及下沉之時間變動來進行高頻子頻帶功率之推斷之情形時,亦可使用與上文說明之方法相同之方法來推斷高頻子頻帶功率。
再者,此處所示之特徵量之各個之算出方法並不限於上文所說明之方法,亦可使用其他方法。
[係數Cib (kb)、Dib 、Eib 之求法]
接著,對於上述通式(13)中之係數Cib (kb)、Dib 、Eib 之求法進行說明。
作為係數Cib (kb)、Dib 、Eib 之求法,為了使係數Cib (kb)、Dib 、Eib 成為推斷頻率擴大頻帶之子頻帶功率時適宜各種輸入信號之值,而運用如下方法,即,預先藉由寬頻帶之教師信號(以下稱作寬頻帶教師信號)進行學習, 且基於該學習結果進行決定。
當進行係數Cib (kb)、Dib 、Eib 之學習時,應用配置有於較之擴大開始頻帶高的高頻具有與參照圖5所說明之帶通濾波器13-1~13-4相同的通過頻帶寬度之帶通濾波器的係數學習裝置。係數學習裝置係只要輸入寬頻帶教師信號便進行學習。
[係數學習裝置之功能性構成例]
圖9表示進行係數Cib (kb)、Dib 、Eib 之學習的係數學習裝置之功能性構成例。
就輸入至圖9之係數學習裝置20之寬頻帶教師信號中的、較之擴大開始頻帶位於更低頻之信號成分而言,若輸入至圖3之頻帶擴大裝置10之受頻帶限制之輸入信號為以與編碼時實施之編碼方式相同的方式進行編碼所得之信號則較佳。
係數學習裝置20係包括帶通濾波器21、高頻子頻帶功率算出電路22、特徵量算出電路23、及係數推斷電路24。
帶通濾波器21係由各自具有不同之通過頻帶之帶通濾波器21-1~21-(K+N)構成。帶通濾波器21-i(1≦i≦K+N)使輸入信號中之特定之通過頻帶之信號通過,作為複數個子頻帶信號中之1個而供給至高頻子頻帶功率算出電路22或者特徵量算出電路23。再者,帶通濾波器21-1~21-(K+N)中之帶通濾波器21-1~21-K使較之擴大開始頻帶更高頻之信號通過。
高頻子頻帶功率算出電路22對於來自帶通濾波器21之高 頻之複數個子頻帶信號,針對某一固定的時間幀之各個而算出每個子頻帶之高頻子頻帶功率,且供給至係數推斷電路24。
特徵量算出電路23針對與由高頻子頻帶功率算出電路22算出高頻子頻帶功率之固定的時間幀相同的每個時間幀,算出與由圖3之頻帶擴大裝置10之特徵量算出電路14算出之特徵量相同的特徵量。亦即,特徵量算出電路23使用來自帶通濾波器21之複數個子頻帶信號及寬頻帶教師信號中之至少任一者,算出一個或者複數個特徵量,且供給至係數推斷電路24。
係數推斷電路24基於每個固定的時間幀內之、來自高頻子頻帶功率算出電路22之高頻子頻帶功率、及來自特徵量算出電路23之特徵量,推斷出圖3之頻帶擴大裝置10之高頻子頻帶功率推斷電路15中使用之係數(係數資料)。
[係數學習裝置之係數學習處理]
接著,參照圖10之流程圖,對於圖9之係數學習裝置之係數學習處理進行說明。
步驟S11中,帶通濾波器21將輸入信號(寬頻帶教師信號)分割為(K+N)個子頻帶信號。帶通濾波器21-1~21-K將較之擴大開始頻帶更高頻之複數個子頻帶信號供給至高頻子頻帶功率算出電路22。而且,帶通濾波器21-(K+1)~21-(K+N)將較之擴大開始頻帶更低頻之複數個子頻帶信號供給至特徵量算出電路23。
步驟S12中,高頻子頻帶功率算出電路22對於來自帶通 濾波器21(帶通濾波器21-1~21-K)之高頻之複數個子頻帶信號,針對每個某一固定的時間幀,算出每個子頻帶之高頻子頻帶功率power(ib,J)。高頻子頻帶功率power(ib,J)可根據上述通式(1)而求出。高頻子頻帶功率算出電路22將所算出之高頻子頻帶功率供給至係數推斷電路24。
步驟S13中,特徵量算出電路23針對與由高頻子頻帶功率算出電路22算出高頻子頻帶功率之固定的時間幀相同的每個時間幀,算出特徵量。
再者,以下,對於如下之情形進行說明,即,假設於圖3之頻帶擴大裝置10之特徵量算出電路14中,將低頻之4個子頻帶功率及下沉作為特徵量而算出,於係數學習裝置20之特徵量算出電路23中亦同樣,算出低頻之4個子頻帶功率及下沉。
亦即,特徵量算出電路23使用來自帶通濾波器21(帶通濾波器21-(K+1)~21-(K+4))之、與輸入至頻帶擴大裝置10之特徵量算出電路14之4個子頻帶信號分別相同的頻帶之4個子頻帶信號,算出4個低頻子頻帶功率。而且,特徵量算出電路23根據寬頻帶教師信號算出下沉,且基於上述通式(12)算出下沉dips (J)。特徵量算出電路23將所算出之4個低頻子頻帶功率及下沉dips (J)作為特徵量而供給至係數推斷電路24。
步驟S14中,係數推斷電路24基於自高頻子頻帶功率算出電路22及特徵量算出電路23供給至同一時間幀的(eb-sb)個高頻子頻帶功率及特徵量(4個低頻子頻帶功率及下沉 dips (J))之多個組合,推斷係數Cib (kb)、Dib 、Eib 。例如,係數推斷電路24關於某一高頻之一個子頻帶,將5個特徵量(4個低頻子頻帶功率及下沉dips (J))作為說明變數,將高頻子頻帶功率之power(ib,J)作為被說明變數,使用最小平方法進行回歸分析,藉此決定通式(13)中之係數Cib (kb)、Dib 、Eib
再者,當然,係數Cib (kb)、Dib 、Eib 之推斷方法並不限於上述方法,亦可應用一般的各種參數辨識法。
藉由以上之處理,使用預先寬頻帶教師信號,進行高頻子頻帶功率之推斷中使用之係數之學習,故能獲得對輸入至頻帶擴大裝置10之各種輸入信號而言較適宜之輸出結果,而且能以更高之音質再生音樂信號。
再者,上述通式(2)中之係數Aib (kb)、Bib 亦可藉由上述係數學習方法而求出。
以上,係關於以頻帶擴大裝置10之高頻子頻帶功率推斷電路15中,高頻子頻帶功率之推斷值之各個藉由4個低頻子頻帶功率及下沉之線性組合而算出為前提的係數學習處理進行說明。然而,高頻子頻帶功率推斷電路15中高頻子頻帶功率之推斷之方法並不限於上述示例,亦可例如藉由特徵量算出電路14算出下沉以外之特徵量(低頻子頻帶功率之時間變動、傾斜、傾斜之時間變動、及下沉之時間變動)中之一個或者複數個,而算出高頻子頻帶功率,又可使用時間幀J之前後複數個幀的複數個特徵量之線性組合,或使用非線性之函數。亦即,於係數學習處理中,係 數推斷電路24只要能以與由頻帶擴大裝置10之高頻子頻帶功率推斷電路15算出高頻子頻帶功率時使用之特徵量、時間幀、及函數之相關條件相同的條件算出(學習)係數即可。
<2.第2實施形態>
第2實施形態中,藉由編碼裝置及解碼裝置實施高頻特徵編碼方法中之編碼處理及解碼處理。
[編碼裝置之功能性構成例]
圖11中表示應用本發明之編碼裝置之功能性構成例。
編碼裝置30包括低通濾波器31、低頻編碼電路32、子頻帶分割電路33、特徵量算出電路34、擬似高頻子頻帶功率算出電路35、擬似高頻子頻帶功率差分算出電路36、高頻編碼電路37、多工化電路38、及低頻解碼電路39。
低通濾波器31係以特定之截止頻率對輸入信號進行濾波,作為濾波後之信號,將較之截止頻率更低頻之信號(以下稱作低頻信號),供給至低頻編碼電路32、子頻帶分割電路33、及特徵量算出電路34。
低頻編碼電路32對來自低通濾波器31之低頻信號進行編碼,將編碼後所得之低頻編碼資料供給至多工化電路38及低頻解碼電路39。
子頻帶分割電路33將來自輸入信號及低通濾波器31之低頻信號,均等地分割為具有特定之頻帶寬度之複數個子頻帶信號,且供給至特徵量算出電路34或者擬似高頻子頻帶功率差分算出電路36。更具體而言,子頻帶分割電路33將 以低頻信號作為輸入而獲得之複數個子頻帶信號(以下稱作低頻子頻帶信號)供給至特徵量算出電路34。而且,子頻帶分割電路33將以輸入信號作為輸入而獲得之複數個子頻帶信號中的、較之低通濾波器31中所設定之截止頻率更高頻之子頻帶信號(以下稱作高頻子頻帶信號)供給至擬似高頻子頻帶功率差分算出電路36。
特徵量算出電路34使用來自子頻帶分割電路33之低頻子頻帶信號中之複數個子頻帶信號、及來自低通濾波器31之低頻信號中的至少任一者,算出一個或者複數個特徵量,且供給至擬似高頻子頻帶功率算出電路35。
擬似高頻子頻帶功率算出電路35基於來自特徵量算出電路34之一個或者複數個特徵量而產生擬似高頻子頻帶功率,且供給至擬似高頻子頻帶功率差分算出電路36。
擬似高頻子頻帶功率差分算出電路36基於來自子頻帶分割電路33之高頻子頻帶信號、及來自擬似高頻子頻帶功率算出電路35之擬似高頻子頻帶功率,計算出後述之擬似高頻子頻帶功率差分,且供給至高頻編碼電路37。
高頻編碼電路37對於來自擬似高頻子頻帶功率差分算出電路36之擬似高頻子頻帶功率差分進行編碼,將編碼後所得之高頻編碼資料供給至多工化電路38。
多工化電路38對來自低頻編碼電路32之低頻編碼資料、及來自高頻編碼電路37之高頻編碼資料進行多工化處理,且以輸出代碼串之形式予以輸出。
低頻解碼電路39對於來自低頻編碼電路32之低頻編碼資 料適當地進行解碼,將解碼後所得之解碼資料供給至子頻帶分割電路33及特徵量算出電路34。
[編碼裝置之編碼處理]
接著,參照圖12之流程圖,對於圖11之編碼裝置30之編碼處理進行說明。
步驟S111中,低通濾波器31以特定之截止頻率對輸入信號進行濾波,將作為濾波後之信號之低頻信號供給至低頻編碼電路32、子頻帶分割電路33、及特徵量算出電路34。
步驟S112中,低頻編碼電路32對於來自低通濾波器31之低頻信號進行編碼,將編碼後所得之低頻編碼資料供給至多工化電路38。
再者,關於步驟S112中之低頻信號之編碼,可根據編碼效率或需要之電路規模而選擇適當的編碼方式,本發明並不依存於該編碼方式。
步驟S113中,子頻帶分割電路33將輸入信號及低頻信號均等地分割為具有特定之頻帶寬度的複數個子頻帶信號。子頻帶分割電路33將以低頻信號作為輸入而得之低頻子頻帶信號供給至特徵量算出電路34。而且,子頻帶分割電路33將以輸入信號作為輸入而得之複數個子頻帶信號中的、較之低通濾波器31中所設定之頻帶限制之頻率更高的頻帶之高頻子頻帶信號,供給至擬似高頻子頻帶功率差分算出電路36。
步驟S114中,特徵量算出電路34使用來自子頻帶分割電路33之低頻子頻帶信號中之複數個子頻帶信號、及來自低 通濾波器31之低頻信號中的至少任一者,算出一個或者複數個特徵量,且供給至擬似高頻子頻帶功率算出電路35。再者,圖11之特徵量算出電路34具有與圖3之特徵量算出電路14基本相同的構成及功能,步驟S114中之處理係與圖4之流程圖之步驟S4中之處理基本相同,故省略其詳細說明。
步驟S115中,擬似高頻子頻帶功率算出電路35基於來自特徵量算出電路34之一個或者複數個特徵量而產生擬似高頻子頻帶功率,且供給至擬似高頻子頻帶功率差分算出電路36。再者,圖11之擬似高頻子頻帶功率算出電路35具有與圖3之高頻子頻帶功率推斷電路15基本相同的構成及功能,步驟S115中之處理係與圖4之流程圖之步驟S5中之處理基本相同,故省略其詳細說明。
步驟S116中,擬似高頻子頻帶功率差分算出電路36基於來自子頻帶分割電路33之高頻子頻帶信號、及來自擬似高頻子頻帶功率算出電路35之擬似高頻子頻帶功率而計算擬似高頻子頻帶功率差分,且供給至高頻編碼電路37。
更具體而言,擬似高頻子頻帶功率差分算出電路36對於來自子頻帶分割電路33之高頻子頻帶信號而算出某一固定的時間幀J之(高頻)子頻帶功率power(ib,J)。再者,本實施形態中,對於低頻子頻帶信號之子頻帶及高頻子頻帶信號之子頻帶全部使用索引ib進行識別。子頻帶功率之算出方法係與第1實施形態相同的方法,亦即,可應用使用通式(1)之方法。
接著,擬似高頻子頻帶功率差分算出電路36求出高頻子頻帶功率power(ib,J)、與時間幀J內之來自擬似高頻子頻帶功率算出電路35之擬似高頻子頻帶功率powerIh (ib,J)之差分(擬似高頻子頻帶功率差分)powerdiff (ib,J)。擬似高頻子頻帶功率差分powerdiff (ib,J)可根據以下之通式(14)而求出。
通式(14)中,索引sb+1係表示高頻子頻帶信號中最低頻之子頻帶之索引。而且,索引eb係表示高頻子頻帶信號中編碼所得之最高頻之子頻帶之索引。
如以上所述,由擬似高頻子頻帶功率差分算出電路36所算出之擬似高頻子頻帶功率差分被供給至高頻編碼電路37。
步驟S117中,高頻編碼電路37對於來自擬似高頻子頻帶功率差分算出電路36之擬似高頻子頻帶功率差分進行編碼,將編碼後所得之高頻編碼資料供給至多工化電路38。
更具體而言,高頻編碼電路37係決定來自擬似高頻子頻帶功率差分算出電路36之擬似高頻子頻帶功率差分經矢量化後所得者(以下稱作擬似高頻子頻帶功率差分矢量),屬於預先設定之擬似高頻子頻帶功率差分之特徵空間內之複數個叢集(cluster)中的哪個叢集。此處,某一時間幀J內之 擬似高頻子頻帶功率差分矢量係表示具有每個索引ib之擬似高頻子頻帶功率差分powerdiff (ib,J)之值作為矢量之各要素的(eb-sb)次元之矢量。而且,擬似高頻子頻帶功率差分之特徵空間亦同樣成為(eb-sb)次元之空間。
並且,高頻編碼電路37測定出擬似高頻子頻帶功率差分之特徵空間中,預先設定之複數個叢集之各代表矢量與擬似高頻子頻帶功率差分矢量的距離,求出距離最短之叢集之索引(以下稱作擬似高頻子頻帶功率差分ID),將其作為高頻編碼資料而供給至多工化電路38。
步驟S118中,多工化電路38對於自低頻編碼電路32輸出之低頻編碼資料、及自高頻編碼電路37輸出之高頻編碼資料進行多工化處理,將輸出代碼串予以輸出。
另外,作為高頻特徵編碼方法中之編碼裝置,於日本專利特開2007-17908號公報中揭示有以下技術:根據低頻子頻帶信號產生擬似高頻子頻帶信號,對擬似高頻子頻帶信號與高頻子頻帶信號之功率針對每個子頻帶進行比較,為了使擬似高頻子頻帶信號之功率與高頻子頻帶信號之功率一致而算出每個子頻帶每之功率的增益,且使其作為高頻特徵之資訊而包含於代碼串中。
另一方面,藉由以上之處理,作為解碼時用於推斷高頻子頻帶功率之資訊,輸出代碼串內可僅包含擬似高頻子頻帶功率差分ID。亦即,例如當預先設定之叢集之數量為64之情形時,作為解碼裝置中用於對高頻信號進行解碼之資訊,僅針對每1個時間幀而將6位元之資訊追加至代碼串即 可,與日本專利特開2007-17908號公報中所揭示之方法相比,能減少代碼串中所含之資訊量,故能進一步提高編碼效率,而且能以更高之音質再生音樂信號。
而且,以上之處理中,若計算量有裕度,則亦可將藉由低頻解碼電路39對來自低頻編碼電路32之低頻編碼資料進行解碼而得之低頻信號輸入至子頻帶分割電路33及特徵量算出電路34。解碼裝置之解碼處理中,根據已對低頻編碼資料進行解碼之低頻信號算出特徵量,且基於該特徵量推斷出高頻子頻帶之功率。因此,若使編碼處理中亦基於根據經解碼之低頻信號而算出的特徵量所算出之擬似高頻子頻帶功率差分ID包含於代碼串中,則於解碼裝置之解碼處理中,能以更高之精度推斷出高頻子頻帶功率。因此,能以更高之音質再生音樂信號。
[解碼裝置之功能性構成例]
接著,參照圖13,對於與圖11之編碼裝置30對應的解碼裝置之功能性構成例進行說明。
解碼裝置40包含解多工化電路41、低頻解碼電路42、子頻帶分割電路43、特徵量算出電路44、高頻解碼電路45、解碼高頻子頻帶功率算出電路46、解碼高頻信號產生電路47、及合成電路48。
解多工化電路41對輸入代碼串進行解多工化處理而產生高頻編碼資料及低頻編碼資料,且將低頻編碼資料供給至低頻解碼電路42,將高頻編碼資料供給至高頻解碼電路45。
低頻解碼電路42對於來自解多工化電路41之低頻編碼資 料進行解碼。低頻解碼電路42將經解碼後所得之低頻之信號(以下稱作解碼低頻信號)供給至子頻帶分割電路43、特徵量算出電路44、及合成電路48。
子頻帶分割電路43將來自低頻解碼電路42之解碼低頻信號均等地分割為具有特定之頻帶寬度的複數個子頻帶信號,且將所得之子頻帶信號(解碼低頻子頻帶信號)供給至特徵量算出電路44及解碼高頻信號產生電路47。
特徵量算出電路44使用來自子頻帶分割電路43之解碼低頻子頻帶信號中之複數個子頻帶信號、及來自低頻解碼電路42之解碼低頻信號中的至少任一者,算出一個或者複數個特徵量,且供給至解碼高頻子頻帶功率算出電路46。
高頻解碼電路45對來自解多工化電路41之高頻編碼資料進行解碼,且使用解碼後所得之擬似高頻子頻帶功率差分ID,來將預先針對每個ID(索引)所準備之、用於推斷高頻子頻帶之功率的係數(以下稱作解碼高頻子頻帶功率推斷係數)供給至解碼高頻子頻帶功率算出電路46。
解碼高頻子頻帶功率算出電路46基於來自特徵量算出電路44之一個或者複數個特徵量、及來自高頻解碼電路45之解碼高頻子頻帶功率推斷係數,算出解碼高頻子頻帶功率,且供給至解碼高頻信號產生電路47。
解碼高頻信號產生電路47基於來自子頻帶分割電路43之解碼低頻子頻帶信號、及來自解碼高頻子頻帶功率算出電路46之解碼高頻子頻帶功率而產生解碼高頻信號,且供給至合成電路48。
合成電路48將來自低頻解碼電路42之解碼低頻信號、與來自解碼高頻信號產生電路47之解碼高頻信號合成,且作為輸出信號予以輸出。
[解碼裝置之解碼處理]
接著,參照圖14之流程圖,對於圖13之解碼裝置之解碼處理進行說明。
步驟S131中,解多工化電路41對輸入代碼串進行解多工化處理而產生高頻編碼資料及低頻編碼資料,且將低頻編碼資料供給至低頻解碼電路42,將高頻編碼資料供給至高頻解碼電路45。
步驟S132中,低頻解碼電路42對來自解多工化電路41之低頻編碼資料進行解碼,且將解碼後所得之解碼低頻信號供給至子頻帶分割電路43、特徵量算出電路44、及合成電路48。
步驟S133中,子頻帶分割電路43將來自低頻解碼電路42之解碼低頻信號均等地分割為具有特定之頻帶寬度的複數個子頻帶信號,且將所得之解碼低頻子頻帶信號供給至特徵量算出電路44及解碼高頻信號產生電路47。
步驟S134中,特徵量算出電路44根據來自子頻帶分割電路43之解碼低頻子頻帶信號中之複數個子頻帶信號、及來自低頻解碼電路42之解碼低頻信號中的至少任一者,算出一個或者複數個特徵量,且供給至解碼高頻子頻帶功率算出電路46。再者,圖13之特徵量算出電路44具有與圖3之特徵量算出電路14基本相同的構成及功能,步驟S134中之 處理係與圖4之流程圖之步驟S4中之處理基本相同,故省略其詳細說明。
步驟S135中,高頻解碼電路45對於來自解多工化電路41之高頻編碼資料進行解碼,且使用解碼後所得之擬似高頻子頻帶功率差分ID,將預先針對每個ID(索引)準備之解碼高頻子頻帶功率推斷係數供給至解碼高頻子頻帶功率算出電路46。
步驟S136中,解碼高頻子頻帶功率算出電路46基於來自特徵量算出電路44之一個或者複數個特徵量、及來自高頻解碼電路45之解碼高頻子頻帶功率推斷係數,算出解碼高頻子頻帶功率,且供給至解碼高頻信號產生電路47。再者,圖13之解碼高頻子頻帶功率算出電路46係具有與圖3之高頻子頻帶功率推斷電路15基本相同之構成及功能,步驟S136中之處理係與圖4之流程圖之步驟S5中之處理基本相同,故省略其詳細說明。
步驟S137中,解碼高頻信號產生電路47基於來自子頻帶分割電路43之解碼低頻子頻帶信號、及來自解碼高頻子頻帶功率算出電路46之解碼高頻子頻帶功率而輸出解碼高頻信號。再者,圖13之解碼高頻信號產生電路47具有與圖3之高頻信號產生電路16基本相同之構成及功能,步驟S137中之處理係與圖4之流程圖之步驟S6中之處理基本相同,故省略其詳細說明。
步驟S138中,合成電路48將來自低頻解碼電路42之解碼低頻信號、及來自解碼高頻信號產生電路47之解碼高頻信 號合成,且作為輸出信號予以輸出。
依據以上之處理,使用與編碼時預先算出之擬似高頻子頻帶功率與實際之高頻子頻帶功率之差分的特徵對應之、解碼時之高頻子頻帶功率推斷係數,藉此,能提高解碼時之高頻子頻帶功率之推斷精度,其結果,能以更高之音質再生音樂信號。
而且,依據以上之處理,代碼串中所含之用於高頻信號產生之資訊較少,僅為擬似高頻子頻帶功率差分ID,故能高效地進行解碼處理。
以上,已對於應用本發明之編碼處理及解碼處理進行說明,而以下則對於圖11之編碼裝置30之高頻編碼電路37中預先設定之擬似高頻子頻帶功率差分之特徵空間內的複數個叢集各自之代表矢量、及圖13之解碼裝置40之高頻解碼電路45所輸出之解碼高頻子頻帶功率推斷係數之算出方法進行說明。
[擬似高頻子頻帶功率差分之特徵空間內之複數個叢集之代表矢量、及、對應於各叢集之解碼高頻子頻帶功率推斷係數之算出方法]
作為複數個叢集之代表矢量及各叢集之解碼高頻子頻帶功率推斷係數之求法,需要根據編碼時算出之擬似高頻子頻帶功率差分矢量,準備能夠高精度地推斷出解碼時之高頻子頻帶功率的係數。因此,應用預先藉由寬頻帶教師信號進行學習且基於該學習之結果而進行決定的方法。
[係數學習裝置之功能性構成例]
圖15表示進行複數個叢集之代表矢量及各叢集之解碼高頻子頻帶功率推斷係數的學習之係數學習裝置之功能性構成例。
輸入至圖15之係數學習裝置50之寬頻帶教師信號的處於編碼裝置30之低通濾波器31所設定之截止頻率以下之信號成分,較好為使編碼裝置30之輸入信號通過低通濾波器31,且藉由低頻編碼電路32進行編碼,進而藉由解碼裝置40之低頻解碼電路42解碼所得之解碼低頻信號。
係數學習裝置50包括低通濾波器51、子頻帶分割電路52、特徵量算出電路53、擬似高頻子頻帶功率算出電路54、擬似高頻子頻帶功率差分算出電路55、擬似高頻子頻帶功率差分叢集化電路56、及係數推斷電路57。
再者,圖15之係數學習裝置50中之低通濾波器51、子頻帶分割電路52、特徵量算出電路53、及擬似高頻子頻帶功率算出電路54之各個具有與圖11之編碼裝置30中之低通濾波器31、子頻帶分割電路33、特徵量算出電路34、及擬似高頻子頻帶功率算出電路35之各個基本相同的構成及功能,故適當省略其說明。
亦即,擬似高頻子頻帶功率差分算出電路55具有與圖11之擬似高頻子頻帶功率差分算出電路36相同之構成及功能,但將計算出擬似高頻子頻帶功率差分供給至擬似高頻子頻帶功率差分叢集化電路56,並且將計算擬似高頻子頻帶功率差分時算出之高頻子頻帶功率供給至係數推斷電路57。
擬似高頻子頻帶功率差分叢集化電路56使根據來自擬似高頻子頻帶功率差分算出電路55之擬似高頻子頻帶功率差分所得之擬似高頻子頻帶功率差分矢量叢集化,且算出各叢集之代表矢量。
係數推斷電路57基於來自擬似高頻子頻帶功率差分算出電路55之高頻子頻帶功率、及來自特徵量算出電路53之一個或者複數個特徵量,算出已藉由擬似高頻子頻帶功率差分叢集化電路56進行叢集化處理之每個叢集的高頻子頻帶功率推斷係數。
[係數學習裝置之係數學習處理]
接著,參照圖16之流程圖,對於圖15之係數學習裝置50之係數學習處理進行說明。
再者,圖16之流程圖中之步驟S151~S155之處理中,輸入至係數學習裝置50之信號為寬頻帶教師信號,除此以外均與圖12之流程圖中之步驟S111、S113~S116之處理相同,故省略其說明。
亦即,步驟S156中,擬似高頻子頻帶功率差分叢集化電路56將根據來自擬似高頻子頻帶功率差分算出電路55之擬似高頻子頻帶功率差分所得之、多個(大量之時間幀)擬似高頻子頻帶功率差分矢量,叢集化為例如64叢集,且算出各叢集之代表矢量。作為叢集化之方法之一例,可採用例如使用k-means法之叢集化。擬似高頻子頻帶功率差分叢集化電路56將藉由k-means法進行叢集化處理後所得之各叢集之重心矢量作為各叢集的代表矢量。再者,叢集化之 方法或叢集之數量均不限於上述內容,可使用其他方法。
而且,擬似高頻子頻帶功率差分叢集化電路56使用時間幀J中之、根據來自擬似高頻子頻帶功率差分算出電路55之擬似高頻子頻帶功率差分所得之擬似高頻子頻帶功率差分矢量,測定出與64個代表矢量之距離,決定距離最短之代表矢量所屬之叢集的索引CID(J)。再者,索引CID(J)係取1~叢集數(本例中為64)之整數值。擬似高頻子頻帶功率差分叢集化電路56係以上述方式輸出代表矢量,而且,將索引CID(J)供給至係數推斷電路57。
步驟S157中,係數推斷電路57針對自擬似高頻子頻帶功率差分算出電路55及特徵量算出電路53供給至同一時間幀之(eb-sb)個高頻子頻帶功率與特徵量之多個組合中的、具有相同索引CID(J)(屬於相同叢集)之每個集合,算出各叢集之解碼高頻子頻帶功率推斷係數。再者,係數推斷電路57之係數算出之方法係與圖9之係數學習裝置20中之係數推斷電路24所採用的方法相同,但當然亦可採用其他方法。
藉由以上之處理,預先使用寬頻帶教師信號,進行圖11之編碼裝置30之高頻編碼電路37中預先設定的擬似高頻子頻帶功率差分之特徵空間內之複數個叢集各自的代表矢量、及由圖13之解碼裝置40之高頻解碼電路45輸出之解碼高頻子頻帶功率推斷係數的學習,故而,能獲得適宜輸入至編碼裝置30之各種輸入信號、及、輸入至解碼裝置40之各種輸入代碼串的輸出結果,而且,能以更高的音質再生 音樂信號。
進而,關於信號之編碼及解碼,編碼裝置30之擬似高頻子頻帶功率算出電路35或解碼裝置40之解碼高頻子頻帶功率算出電路46中之用於算出高頻子頻帶功率的係數資料亦可如以下方式進行處理。亦即,亦可使用根據輸入信號之種類而有所不同之係數資料,將該係數記錄於代碼串之頭部。
例如,根據語音或爵士樂等之信號來變更係數資料,藉此,能提高編碼效率。
圖17表示以上述方式所得之代碼串。
圖17之代碼串A係對語音進行編碼後所得者,將最合適於語音之係數資料α記錄於頭部。
相對於此,圖17之代碼串B係對爵士樂編碼後所得者,將最合適於爵士樂之係數資料β記錄於頭部。
亦可預先利用同種音樂信號對如此之複數個係數資料進行學習,藉此進行準備,利用如編碼裝置30中記錄於輸入信號頭部般之類型(genre)資訊選擇該係數資料。或者,亦可對信號進行波形解析藉此來判定類型,且選擇係數資料。亦即,並不特別限定於此種信號之類型解析方法。
而且,若計算時間容許,則亦可於編碼裝置30內設置上述學習裝置,使用該信號專用之係數進行處理,且如圖17之代碼串C所示,最後將該係數記錄於頭部。
以下,對於使用該方法之優點進行說明。
高頻子頻帶功率之形狀係1個輸入信號內存在多個類似 之部分。利用多數輸入信號所具有之特徵,針對每個輸入信號個別地學習用於推斷高頻子頻帶功率之係數,藉此,能減少因高頻子頻帶功率之類似部分之存在而產生的冗餘度,提高編碼效率。而且,較之利用複數個信號統計性地學習用於推斷高頻子頻帶功率之係數而言,能夠以更高之精度推斷高頻子頻帶功率。
而且,亦可採用如此於編碼時將根據輸入信號學習之係數資料1次插入至數個幀的形態。
<3.第3實施形態>
[編碼裝置之功能性構成例]
再者,以上,對於擬似高頻子頻帶功率差分ID作為高頻編碼資料自編碼裝置30輸出至解碼裝置40之情形進行了說明,但亦可將用於獲得解碼高頻子頻帶功率推斷係數之係數索引設為高頻編碼資料。
此種情形時,編碼裝置30係以例如圖18所示之方式構成。再者,圖18中,對於與圖11中之情形對應之部分,標註相同的符號,且適當地省略相關說明。
圖18之編碼裝置30與圖11之不同之處在於,未設置圖11中之編碼裝置30及低頻解碼電路39,其他方面均相同。
圖18之編碼裝置30中,特徵量算出電路34使用自子頻帶分割電路33供給之低頻子頻帶信號,將低頻子頻帶功率作為特徵量而算出,且供給至擬似高頻子頻帶功率算出電路35。
而且,擬似高頻子頻帶功率算出電路35中,使預先藉由 回歸分析而求得之複數個解碼高頻子頻帶功率推斷係數、與指定該等解碼高頻子頻帶功率推斷係數之係數索引相對應而進行記錄。
具體而言,作為解碼高頻子頻帶功率推斷係數,預先準備了上述通式(2)之演算中使用的各子頻帶之係數Aib (kb)及係數Bib 之組。例如該等係數Aib (kb)及係數Bib 係藉由將低頻子頻帶功率作為說明變數、將高頻子頻帶功率作為被說明變數之使用最小平方法的回歸分析而預先求出。於回歸分析中,使用包含低頻子頻帶信號及高頻子頻帶信號之輸入信號作為寬頻帶教師信號。
擬似高頻子頻帶功率算出電路35針對所記錄之每個解碼高頻子頻帶功率推斷係數,使用解碼高頻子頻帶功率推斷係數及來自特徵量算出電路34之特徵量,算出高頻側之各子頻帶之擬似高頻子頻帶功率,且供給至擬似高頻子頻帶功率差分算出電路36。
擬似高頻子頻帶功率差分算出電路36係對於根據由子頻帶分割電路33供給之高頻子頻帶信號所求出之高頻子頻帶功率、及來自擬似高頻子頻帶功率算出電路35之擬似高頻子頻帶功率進行比較。
而且,擬似高頻子頻帶功率差分算出電路36進行比較之後,將複數個解碼高頻子頻帶功率推斷係數中的、獲得最接近高頻子頻帶功率之擬似高頻子頻帶功率的解碼高頻子頻帶功率推斷係數之係數索引供給至高頻編碼電路37。換而言之,選擇能獲得解碼時應再現之輸入信號之高頻信 號、及最接近真值之解碼高頻信號的解碼高頻子頻帶功率推斷係數之係數索引。
[編碼裝置之編碼處理]
接著,參照圖19之流程圖,對於藉由圖18之編碼裝置30而進行之編碼處理進行說明。再者,步驟S181~步驟S183之處理係與圖12之步驟S111~步驟S113之處理相同,故省略其說明。
步驟S184中,特徵量算出電路34使用來自子頻帶分割電路33之低頻子頻帶信號而算出特徵量,且供給至擬似高頻子頻帶功率算出電路35。
具體而言,特徵量算出電路34進行上述通式(1)之演算,且關於低頻側之各子頻帶ib(其中,sb-3≦ib≦sb),將幀J(其中,0≦J)之低頻子頻帶功率power(ib,J)作為特徵量而算出。亦即,低頻子頻帶功率power(ib,J)係藉由使構成幀J之低頻子頻帶信號的各採樣之採樣值之均方值進行對數化而算出。
步驟S185中,擬似高頻子頻帶功率算出電路35基於由特徵量算出電路34供給之特徵量而算出擬似高頻子頻帶功率,且供給至擬似高頻子頻帶功率差分算出電路36。
例如擬似高頻子頻帶功率算出電路35使用作為解碼高頻子頻帶功率推斷係數而預先記錄之係數Aib (kb)及係數Bib 、及低頻子頻帶功率power(kb,J)(其中,sb-3≦kb≦sb)來進行上述通式(2)之演算,算出擬似高頻子頻帶功率powerest (ib,J)。
亦即,將作為特徵量所供給之低頻側之各子頻帶之低頻子頻帶功率power(kb,J)乘以每個子頻帶之係數Aib (kb),進而,將乘以係數後所得之低頻子頻帶功率之和與係數Bib 進行加法運算,從而得到擬似高頻子頻帶功率powerest (ib,J)。該擬似高頻子頻帶功率係針對索引為sb+1~eb之高頻側之各子頻帶而算出。
而且,擬似高頻子頻帶功率算出電路35針對預先記錄之每個解碼高頻子頻帶功率推斷係數而算出擬似高頻子頻帶功率。例如,預先準備係數索引為1~K(其中,2≦K)之K個解碼高頻子頻帶功率推斷係數。此時,針對K個解碼高頻子頻帶功率推斷係數各自算出各子頻帶之擬似高頻子頻帶功率。
步驟S186中,擬似高頻子頻帶功率差分算出電路36基於來自子頻帶分割電路33之高頻子頻帶信號、及來自擬似高頻子頻帶功率算出電路35之擬似高頻子頻帶功率而算出擬似高頻子頻帶功率差分。
具體而言,擬似高頻子頻帶功率差分算出電路36針對來自子頻帶分割電路33之高頻子頻帶信號,進行與上述通式(1)相同之演算,算出幀J內之高頻子頻帶功率power(ib,J)。再者,本實施形態中,對於低頻子頻帶信號之子頻帶及高頻子頻帶信號之子頻帶,全部使用索引ib進行識別。
接著,擬似高頻子頻帶功率差分算出電路36進行與上述通式(14)相同的演算,求出幀J內之高頻子頻帶功率 power(ib,J)與擬似高頻子頻帶功率powerest (ib,J)之差分。藉此,針對每個解碼高頻子頻帶功率推斷係數,獲得索引為sb+1~eb之高頻側之各子頻帶中的擬似高頻子頻帶功率差分powerdiff (ib,J)。
步驟S187中,擬似高頻子頻帶功率差分算出電路36針對每個解碼高頻子頻帶功率推斷係數計算如下通式(15),算出擬似高頻子頻帶功率差分之平方和。
再者,通式(15)中,差分平方和E(J,id)係表示針對係數索引為id之解碼高頻子頻帶功率推斷係數而求出的幀J之擬似高頻子頻帶功率差分之平方和。而且,通式(15)中,powerdiff (ib,J,id)係表示針對係數索引為id之解碼高頻子頻帶功率推斷係數而求出的、索引為ib之子頻帶之幀J的擬似高頻子頻帶功率差分powerdiff (ib,J)。差分平方和E(J,id)係針對K個各解碼高頻子頻帶功率推斷係數而算出。
以上述方式所得之差分平方和E(J,id)係表示根據實際之高頻信號所算出之高頻子頻帶功率、與使用係數索引為id之解碼高頻子頻帶功率推斷係數所算出之擬似高頻子頻帶功率類似的程度。
亦即,表示推斷值相對於高頻子頻帶功率之真值的誤差。因此,差分平方和E(J,id)越小,則藉由使用解碼高 頻子頻帶功率推斷係數之演算,可獲得越接近實際之高頻信號之解碼高頻信號。換而言之,可以說差分平方和E(J,id)為最小之解碼高頻子頻帶功率推斷係數係最適於輸出代碼串之解碼時進行之頻帶擴大處理的推斷係數。
因此,擬似高頻子頻帶功率差分算出電路36選擇K個差分平方和E(J,id)中的值最小之差分平方和,將表示與該差分平方和對應之解碼高頻子頻帶功率推斷係數的係數索引供給至高頻編碼電路37。
步驟S188中,高頻編碼電路37對自擬似高頻子頻帶功率差分算出電路36所供給之係數索引進行編碼,且將編碼後所得之高頻編碼資料供給至多工化電路38。
例如步驟S188中,對於係數索引進行熵編碼等。藉此,能對輸出至解碼裝置40之高頻編碼資料之資訊量進行壓縮。再者,高頻編碼資料可為任一種能獲得最合適之解碼高頻子頻帶功率推斷係數之資訊,例如係數索引亦可直接成為高頻編碼資料。
步驟S189中,多工化電路38對於自低頻編碼電路32供給之低頻編碼資料、及自高頻編碼電路37供給之高頻編碼資料進行多工化處理,輸出所得之輸出代碼串,編碼處理結束。
藉由如此將藉由對係數索引進行編碼而得之高頻編碼資料與低頻編碼資料一同作為輸出代碼串進行輸出,使得接受該輸出代碼串之輸入的解碼裝置40中能獲得最適於頻帶擴大處理之解碼高頻子頻帶功率推斷係數。藉此,能獲得 更高音質之信號。
[解碼裝置之功能性構成例]
而且,將自圖18之編碼裝置30所輸出之輸出代碼串作為輸入代碼串予以輸入,進行解碼之解碼裝置40係例如如圖20所示而構成。再者,圖20中,對於與圖13中之情形對應之部分表示相同的符號,且省略相關說明。
圖20之解碼裝置40包括解多工化電路41~合成電路48,此方面與圖13之解碼裝置40相同,但兩者之不同之處在於,未將來自低頻解碼電路42之解碼低頻信號供給至特徵量算出電路44。
圖20之解碼裝置40中,高頻解碼電路45預先記錄有與圖18之擬似高頻子頻帶功率算出電路35中記錄之解碼高頻子頻帶功率推斷係數相同的解碼高頻子頻帶功率推斷係數。亦即,使預先藉由回歸分析而求得之作為解碼高頻子頻帶功率推斷係數的係數Aib (kb)與係數Bib 之組與係數索引相對應而進行記錄。
高頻解碼電路45對自解多工化電路41所供給之高頻編碼資料進行解碼,且將解碼後所得之係數索引表示的解碼高頻子頻帶功率推斷係數供給至解碼高頻子頻帶功率算出電路46。
[解碼裝置之解碼處理]
接著,參照圖21之流程圖,對於藉由圖20之解碼裝置40進行之解碼處理進行說明。
該解碼處理係一旦自編碼裝置30輸出之輸出代碼串作為 輸入代碼串而供給至解碼裝置40便開始。再者,步驟S211~步驟S213之處理係與圖14之步驟S131~步驟S133之處理相同故省略相關說明。
步驟S214中,特徵量算出電路44使用來自子頻帶分割電路43之解碼低頻子頻帶信號算出特徵量,且供給至解碼高頻子頻帶功率算出電路46。具體而言,特徵量算出電路44進行上述通式(1)之演算,且針對低頻側之各子頻帶ib,將幀J(其中,0≦J)之低頻子頻帶功率power(ib,J)作為特徵量進行算出。
步驟S215中,高頻解碼電路45對於自解多工化電路41所供給之高頻編碼資料進行解碼,且將解碼所得之係數索引表示之解碼高頻子頻帶功率推斷係數供給至解碼高頻子頻帶功率算出電路46。亦即,輸出高頻解碼電路45中預先記錄之複數個解碼高頻子頻帶功率推斷係數中的、由經解碼所得之係數索引表示的解碼高頻子頻帶功率推斷係數。
步驟S216中,解碼高頻子頻帶功率算出電路46基於自特徵量算出電路44所供給之特徵量、及自高頻解碼電路45所供給之解碼高頻子頻帶功率推斷係數而算出解碼高頻子頻帶功率,且供給至解碼高頻信號產生電路47。
亦即,解碼高頻子頻帶功率算出電路46使用作為解碼高頻子頻帶功率推斷係數之係數Aib (kb)及係數Bib 、以及作為特徵量之低頻子頻帶功率power(kb,J)(其中,sb-3≦kb≦sb)進行上述通式(2)之演算,算出解碼高頻子頻帶功率。藉此,針對索引為sb+1~eb之高頻側之各子頻帶, 獲得解碼高頻子頻帶功率。
步驟S217中,解碼高頻信號產生電路47基於自子頻帶分割電路43所供給之解碼低頻子頻帶信號、及自解碼高頻子頻帶功率算出電路46所供給之解碼高頻子頻帶功率而產生解碼高頻信號。
具體而言,解碼高頻信號產生電路47使用解碼低頻子頻帶信號進行上述通式(1)之演算,關於低頻側之各子頻帶算出低頻子頻帶功率。而且,解碼高頻信號產生電路47使用所得之低頻子頻帶功率及解碼高頻子頻帶功率進行上述通式(3)之演算,算出高頻側之每個子頻帶之增益量G(ib,J)。
進而,解碼高頻信號產生電路47使用增益量G(ib,J)及解碼低頻子頻帶信號進行上述通式(5)及通式(6)之演算,從而關於高頻側之各子頻帶產生高頻子頻帶信號x3(ib,n)。
亦即,解碼高頻信號產生電路47根據低頻子頻帶功率與解碼高頻子頻帶功率之比而對解碼低頻子頻帶信號x(ib,n)進行振幅調變,其結果係,對所得之解碼低頻子頻帶信號x2(ib,n)進一步進行頻率調變。藉此,低頻側之子頻帶之頻率成分之信號被轉換成高頻側之子頻帶之頻率成分之信號,獲得高頻子頻帶信號x3(ib,n)。
更詳細而言,如此獲得各子頻帶之高頻子頻帶信號之處理係如下之處理。
將頻率區域內連續排列之4個子頻帶稱作頻帶區塊,以 自位於低頻側之索引為sb~sb-3之4個子頻帶構成1個頻帶區塊(以下特別稱作低頻區塊)之方式分割頻帶。此時,例如由高頻側之索引為sb+1~sb+4之子頻帶構成的頻帶成為1個頻帶區塊。再者,以下將由高頻側、即索引為sb+1以上之子頻帶構成之頻帶區塊特別稱作高頻區塊。
此時,關注構成高頻區塊之1個子頻帶,產生該子頻帶(以下稱作關注子頻帶)之高頻子頻帶信號。首先,解碼高頻信號產生電路47指定與高頻區塊中之關注子頻帶之位置相同的位置關係的低頻區塊之子頻帶。
例如若關注子頻帶之索引為sb+1,則關注子頻帶為高頻區塊中頻率最低之頻帶,故具有與關注子頻帶相同之位置關係之低頻區塊之子頻帶成為索引為sb-3的子頻帶。
如以上所述,若指定了具有與關注子頻帶相同的位置關係之低頻區塊之子頻帶,則可使用該子頻帶之低頻子頻帶功率及解碼低頻子頻帶信號、以及關注子頻帶之解碼高頻子頻帶功率來產生關注子頻帶之高頻子頻帶信號。
亦即,將解碼高頻子頻帶功率及低頻子頻帶功率代入至通式(3),可算出與其等之功率之比相應之增益量。並且,將算出之增益量乘以解碼低頻子頻帶信號,進而對已乘以增益量之解碼低頻子頻帶信號藉由通式(6)之演算而進行頻率調變,從而可獲得關注子頻帶之高頻子頻帶信號。
利用以上之處理,獲得高頻側之各子頻帶之高頻子頻帶信號。藉此,解碼高頻信號產生電路47進而進行上述通式(7)之演算,求出所得之各高頻子頻帶信號之和,產生解碼 高頻信號。解碼高頻信號產生電路47將所得之解碼高頻信號供給至合成電路48,處理自步驟S217進入至步驟S218。
步驟S218中,合成電路48將來自低頻解碼電路42之解碼低頻信號、與來自解碼高頻信號產生電路47之解碼高頻信號合成,且作為輸出信號而予以輸出。並且,之後,解碼處理結束。
如以上所述,藉由解碼裝置40,根據由輸入代碼串之解多工化所得之高頻編碼資料獲得係數索引,使用該係數索引所示之解碼高頻子頻帶功率推斷係數算出解碼高頻子頻帶功率,故而可提高高頻子頻帶功率之推斷精度。藉此,能以更高之音質再生音樂信號。
<4.第4實施形態>
[編碼裝置之編碼處理]
而且,以上,係以高頻編碼資料中僅含係數索引之情形為例進行了說明,但亦可包含其他資訊。
例如,若係數索引包含於高頻編碼資料中,則於解碼裝置40側可知能獲得最接近實際之高頻信號之高頻子頻帶功率的解碼高頻子頻帶功率之解碼高頻子頻帶功率推斷係數。
然而,實際之高頻子頻帶功率(真值)、與解碼裝置40側所得之解碼高頻子頻帶功率(推斷值)僅產生與由擬似高頻子頻帶功率差分算出電路36所算出之擬似高頻子頻帶功率差分powerdiff (ib,J)大致相同值的差。
因此,若高頻編碼資料中不僅包含係數索引,亦包含各 子頻帶之擬似高頻子頻帶功率差分,則於解碼裝置40側可知解碼高頻子頻帶功率對於實際之高頻子頻帶功率之大概的誤差。如此,使用該誤差,可進一步提高高頻子頻帶功率之推斷精度。
以下,參照圖22及圖23之流程圖,對於高頻編碼資料中包含擬似高頻子頻帶功率差分之情形時的編碼處理及解碼處理進行說明。
首先,參照圖22之流程圖,對於藉由圖18之編碼裝置30進行之編碼處理進行說明。再者,步驟S241~步驟S246之處理係與圖19之步驟S181~步驟S186之處理相同,故省略相關說明。
步驟S247中,擬似高頻子頻帶功率差分算出電路36進行上述通式(15)之演算,且針對每個解碼高頻子頻帶功率推斷係數算出差分平方和E(J,id)。
而且,擬似高頻子頻帶功率差分算出電路36選擇差分平方和E(J,id)中值最小的差分平方和,將表示與該差分平方和對應之解碼高頻子頻帶功率推斷係數之係數索引供給至高頻編碼電路37。
進而,擬似高頻子頻帶功率差分算出電路36將針對與所選擇之差分平方和對應之解碼高頻子頻帶功率推斷係數所求出的、各子頻帶之擬似高頻子頻帶功率差分powerdiff (ib,J)供給至高頻編碼電路37。
步驟S248中,高頻編碼電路37對於自擬似高頻子頻帶功率差分算出電路36供給之係數索引及擬似高頻子頻帶功率 差分進行編碼,將編碼後所得之高頻編碼資料供給至多工化電路38。
藉此,將索引為sb+1~eb之高頻側之各子頻帶的擬似高頻子頻帶功率差分、即高頻子頻帶功率之推斷誤差作為高頻編碼資料供給至解碼裝置40。
若獲得高頻編碼資料,則之後進行步驟S249之處理,編碼處理結束,但步驟S249之處理係與圖19之步驟S189之處理相同,故省略其說明。
如以上所述,若高頻編碼資料中包含擬似高頻子頻帶功率差分,則解碼裝置40中,可進一步提高高頻子頻帶功率之推斷精度,且可獲得音質更高之音樂信號。
[解碼裝置之解碼處理]
接著,參照圖23之流程圖,對於藉由圖20之解碼裝置40進行之解碼處理進行說明。再者,步驟S271~步驟S274之處理係與圖21之步驟S211~步驟S214之處理相同,故省略相關說明。
步驟S275中,高頻解碼電路45對於由解多工化電路41所供給之高頻編碼資料進行解碼。並且,高頻解碼電路45將由經解碼所得之係數索引所示之解碼高頻子頻帶功率推斷係數、及經解碼所得之各子頻帶之擬似高頻子頻帶功率差分供給至解碼高頻子頻帶功率算出電路46。
步驟S276中,解碼高頻子頻帶功率算出電路46基於自特徵量算出電路44所供給之特徵量、及自高頻解碼電路45所供給之解碼高頻子頻帶功率推斷係數而算出解碼高頻子頻 帶功率。再者,步驟S276中,進行與圖21之步驟S216相同的處理。
步驟S277中,解碼高頻子頻帶功率算出電路46對於解碼高頻子頻帶功率與自高頻解碼電路45所供給之擬似高頻子頻帶功率差分進行加法運算,且將其作為最終的解碼高頻子頻帶功率,供給至解碼高頻信號產生電路47。亦即,對於所算出之各子頻帶之解碼高頻子頻帶功率與相同子頻帶之擬似高頻子頻帶功率差分進行加法運算。
而且,之後進行步驟S278及步驟S279之處理,解碼處理結束,但該等處理係與圖21之步驟S217及步驟S218相同,故省略相關說明。
如以上所述,解碼裝置40中,自藉由輸入代碼串之解多工化所得之高頻編碼資料獲得係數索引及擬似高頻子頻帶功率差分。而且,解碼裝置40係使用由係數索引所示之解碼高頻子頻帶功率推斷係數及擬似高頻子頻帶功率差分而算出解碼高頻子頻帶功率。藉此,能提高高頻子頻帶功率之推斷精度,且能以更高之音質再生音樂信號。
再者,亦考慮到編碼裝置30與解碼裝置40之間產生之高頻子頻帶功率之推斷值之差,即擬似高頻子頻帶功率與解碼高頻子頻帶功率之差(以下稱作裝置間推斷差)。
此種情形時,例如,作為高頻編碼資料之擬似高頻子頻帶功率差分由裝置間推斷差而修正,或者以高頻編碼資料中含有裝置間推斷差之方式,於解碼裝置40側,藉由裝置間推斷差來修正擬似高頻子頻帶功率差分。進而,亦可於 預先解碼裝置40側記錄裝置間推斷差,解碼裝置40對於擬似高頻子頻帶功率差分與裝置間推斷差進行加法運算,從而進行修正。藉此,可獲得更接近實際之高頻信號之解碼高頻信號。
<5.第5實施形態>
再者,已說明如下之情形,即,圖18之編碼裝置30中,擬似高頻子頻帶功率差分算出電路36將差分平方和E(J,id)作為指標,自複數個係數索引中選擇最合適之係數索引,但亦可使用與差分平方和不同之指標來選擇係數索引。
例如亦可使用考慮到高頻子頻帶功率與擬似高頻子頻帶功率之殘差之均方值、最大值、及平均值等的評估值,來作為選擇係數索引之指標。此種情形時,圖18之編碼裝置30進行如圖24之流程圖所示之編碼處理。
以下,參照圖24之流程圖,對於編碼裝置30之編碼處理進行說明。再者,步驟S301~步驟S305之處理係與圖19之步驟S181~步驟S185之處理相同,故省略相關說明。若進行步驟S301~步驟S305之處理,則針對K個解碼高頻子頻帶功率推斷係數之各個算出各子頻帶之擬似高頻子頻帶功率。
步驟S306中,擬似高頻子頻帶功率差分算出電路36針對K個解碼高頻子頻帶功率推斷係數之各個而算出使用成為處理對象的當前幀J之評估值Res(id,J)。
具體而言,擬似高頻子頻帶功率差分算出電路36使用自子頻帶分割電路33所供給之各子頻帶之高頻子頻帶信號進 行與上述通式(1)相同的演算,算出幀J之高頻子頻帶功率power(ib,J)。再者,本實施形態中,對於低頻子頻帶信號之子頻帶及高頻子頻帶信號之子頻帶,全部使用索引ib進行識別。
若獲得高頻子頻帶功率power(ib,J),則擬似高頻子頻帶功率差分算出電路36計算如下之通式(16),算出殘差均方值Resstd (id,J)。
亦即,針對索引為sb+1~eb之高頻側之各子頻帶,求出幀J之高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分,將其等之差分之平方和作為殘差均方值Resstd (id,J)。再者,擬似高頻子頻帶功率powerest (ib,id,J)係表示針對係數索引為id之解碼高頻子頻帶功率推斷係數所求出的、索引為ib之子頻帶之幀J的擬似高頻子頻帶功率。
接著,擬似高頻子頻帶功率差分算出電路36計算如下之通式(17),算出殘差最大值Resmax (id,J)。
[數17]Resmax (id,J)=maxib {|power(ib,J)-powerest (ib,id,J)|}...(17)
再者,通式(17)中,maxib {|power(ib,J)-powerest (ib,id,J)|}係表示索引為sb+1~eb之各子頻帶之高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分的絕對值中之最大的絕對值。因此,將幀J中之高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分的絕對值之最大值設為殘差最大值Resmax (id,J)。
而且,擬似高頻子頻帶功率差分算出電路36計算如下之通式(18),且算出殘差平均值Resave (id,J)。
亦即,針對索引為sb+1~eb之高頻側之各子頻帶,求出幀J之高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分,且求出其等之差分之總和。並且,將所得之差分之總和除以高頻側之子頻帶數(eb-sb)後所得之值的絕對值設為殘差平均值Resave (id,J)。該殘差平均值Resave (id,J)係表示考慮到符號之各子頻帶之推斷誤差之平均值的大小。
進而,若獲得殘差均方值Resstd (id,J)、殘差最大值Resmax (id,J)、及殘差平均值Resave (id,J),則擬似高頻子頻帶功率差分算出電路36計算如下之通式(19),且算出最終 的評估值Res(id,J)。
[數19]Res(id,J)=Resstd (id,J)+Wmax ×Resmax (id,J)+Wave ×Resave (id,J)...(19)
亦即,對殘差均方值Resstd (id,J)、殘差最大值Resmax (id,J)、及殘差平均值Resave (id,J)進行加權加法運算,作為最終的評估值Res(id,J)。再者,通式(19)中,Wmax 及Wave 為預先規定之權重,例如設為Wmax =0.5、Wave =0.5等。
擬似高頻子頻帶功率差分算出電路36進行以上之處理,且針對K個解碼高頻子頻帶功率推斷係數之各個、即K個係數索引id之各個,算出評估值Res(id,J)。
步驟S307中,擬似高頻子頻帶功率差分算出電路36基於所求出之係數索引id各自之評估值Res(id,J)選擇係數索引id。
經以上之處理所得之評估值Res(id,J)係表示根據實際之高頻信號所算出之高頻子頻帶功率、與使用係數索引為id之解碼高頻子頻帶功率推斷係數所算出之擬似高頻子頻帶功率的類似程度。亦即,表示高頻成分之推斷誤差之大小。
因此,評估值Res(id,J)越小,則藉由使用解碼高頻子頻帶功率推斷係數之演算可獲得越接近實際之高頻信號的解碼高頻信號。因此,擬似高頻子頻帶功率差分算出電路36 選擇K個評估值Res(id,J)中值最小的評估值,將表示與該評估值對應之解碼高頻子頻帶功率推斷係數的係數索引供給至高頻編碼電路37。
若係數索引輸出至高頻編碼電路37,則之後進行步驟S308及步驟S309之處理,編碼處理結束,但該等處理係與圖19之步驟S188及步驟S189相同,故省略相關說明。
如以上所述,編碼裝置30中,使用根據殘差均方值Resstd (id,J)、殘差最大值Resmax (id,J)、及殘差平均值Resave (id,J)所算出之評估值Res(id,J),選擇最合適之解碼高頻子頻帶功率推斷係數之係數索引。
若使用評估值Res(id,J),則與使用差分平方和之情形相比,能使用更多的評估尺度來評估高頻子頻帶功率之推斷精度,故而,能選擇更適當的解碼高頻子頻帶功率推斷係數。藉此,於接受輸出代碼串之輸入之解碼裝置40中,能獲得最適合於頻帶擴大處理之解碼高頻子頻帶功率推斷係數,且能獲得音質更高之信號。
<變化例1>
而且,若針對輸入信號之每個幀進行以上所說明之編碼處理,則於輸入信號之高頻側之各子頻帶之高頻子頻帶功率之時間性變動較少的穩定部,有時會針對連續之每個幀選擇不同之係數索引。
亦即,於構成輸入信號之穩定部之連續的幀內,各幀之高頻子頻帶功率成為大致相同的值,故該等幀中應持續選擇相同的係數索引。然而,於該等連續之幀之區間內,有 時,針對每個幀所選擇之係數索引會變化,其結果係,於解碼裝置40側再生之聲音之高頻成分會變得不穩定。因此,再生之聲音會產生聽覺上之不適感。
因此,當編碼裝置30中選擇係數索引之情形時,亦考慮時間上位於之前的幀內之高頻成分之推斷結果。此種情形時,圖18之編碼裝置30進行如圖25之流程圖所示之編碼處理。
以下,參照圖25之流程圖,對於編碼裝置30之編碼處理進行說明。再者,步驟S331~步驟S336之處理係與圖24之步驟S301~步驟S306之處理相同,故省略相關說明。
步驟S337中,擬似高頻子頻帶功率差分算出電路36算出使用過去幀及當前幀之評估值ResP(id,J)。
具體而言,擬似高頻子頻帶功率差分算出電路36針對較之處理對象之幀J而言於時間上位於前一位之幀(J-1),記錄使用最終選擇之係數索引之解碼高頻子頻帶功率推斷係數而得的、各子頻帶之擬似高頻子頻帶功率。此處,所謂最終選擇之係數索引係指藉由高頻編碼電路37進行編碼且輸出至解碼裝置40之係數索引。
以下,特別將幀(J-1)中所選擇之係數索引id設為idselected (J-1)。而且,將使用係數索引idselected (J-1)之解碼高頻子頻帶功率推斷係數所得之索引為ib(其中,sb+1≦ib≦eb)的子頻帶之擬似高頻子頻帶功率設為powerest (ib,idselected (J-1),J-1)而繼續進行說明。
擬似高頻子頻帶功率差分算出電路36首先計算如下之通 式(20),算出推斷殘差均方值ResPstd (id,J)。
亦即,針對索引為sb+1~eb之高頻側之各子頻帶,求出幀(J-1)之擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與幀J之擬似高頻子頻帶功率powerest (ib,id,J)之差分。並且,將其等之差分之平方和設為推斷殘差均方值ResPstd (id,J)。再者,擬似高頻子頻帶功率powerest (ib,id,J)係表示針對係數索引為id之解碼高頻子頻帶功率推斷係數所求出的、索引為ib的子頻帶之幀J之擬似高頻子頻帶功率。
該推斷殘差均方值ResPstd (id,J)係時間上連續之幀間的擬似高頻子頻帶功率之差分平方和,因此,推斷殘差均方值ResPstd (id,J)越小,則高頻成分之推斷值之時間性之變化越少。
接著,擬似高頻子頻帶功率差分算出電路36計算如下之通式(21),算出推斷殘差最大值ResPmax (id,J)。
[數21]ResPmax (id,J)=maxib {|powerest (ib,idselected (J-1),J-1)-powerest (ib,id,J)|}...(21)
再者,通式(21)中,maxib {|powerest (ib,idselected (J-1),J-1)-powerest (ib,id,J)|}係表示索引為sb+1~eb之各子頻帶之擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與擬似高頻子頻帶功率powerest (ib,id,J)之差分的絕對值中之最大的絕對值。因此,將時間上連續之幀間的擬似高頻子頻帶功率之差分之絕對值的最大值設為推斷殘差最大值ResPmax (id,J)。
推斷殘差最大值ResPmax (id,J)之值越小,則連續之幀間的高頻成分之推斷結果越接近。
若獲得推斷殘差最大值ResPmax (id,J),則擬似高頻子頻帶功率差分算出電路36繼而計算如下之通式(22),算出推斷殘差平均值ResPave (id,J)。
亦即,針對索引為sb+1~eb之高頻側之各子頻帶,求出幀(J-1)之擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與幀J之擬似高頻子頻帶功率powerest (ib,id,J)之差分。並且,將各子頻帶之差分之總和除以高頻側之子頻帶數(eb-sb)後所得之值的絕對值設為推斷殘差平均值ResPave (id,J)。該推斷殘差平均值ResPave (id,J)係表示考慮到符號之幀間的子頻帶之推斷值之差之平均值的大小。
進而,若獲得推斷殘差均方值ResPstd (id,J)、推斷殘差最大值ResPmax (id,J)、及推斷殘差平均值ResPave (id,J),則擬似高頻子頻帶功率差分算出電路36計算如下之通式(23),算出評估值ResP(id,J)。
[數23]ResP(id,J)=ResPstd (id,J)+Wmax ×ResPmax (id,J)+Wave ×ResPave (id,J)...(23)
亦即,對於推斷殘差均方值ResPstd (id,J)、推斷殘差最大值ResPmax (id,J)、及推斷殘差平均值ResPave (id,J)進行加權加法運算,作為評估值ResP(id,J)。再者,通式(23)中,Wmax 及Wave 係預先規定之權重,例如設為Wmax =0.5、Wave =0.5等。
如以上所述,若算出使用過去幀及當前幀之評估值ResP(id,J),則處理自步驟S337進入至步驟S338。
步驟S338中,擬似高頻子頻帶功率差分算出電路36計算如下之通式(24),算出最終的評估值Resall (id,J)。
[數24]Resall (id,J)=Res(id,J)+Wp (J)×ResP(id,J)...(24)
亦即,對於求出之評估值Res(id,J)及評估值ResP(id,J)進行加權加法運算。再者,通式(24)中,Wp (J)係藉由例如如下之通式(25)所定義之權重。
而且,通式(25)中之powerr (J)係藉由如下之通式(26)而規定之值。
該powerr (J)係表示幀(J-1)與幀J之高頻子頻帶功率之差分之平均。而且,根據通式(25)可知,當powerr (J)為0附近之特定之範圍內之值時,powerr (J)越小則Wp (J)之值越接近1,當powerr (J)大於特定之範圍之值時,則Wp (J)之值成為0。
此處,當powerr (J)為0附近之特定範圍內之值之情形時,連續之幀間的高頻子頻帶功率之差分之平均以某種程度而變得較小。換而言之,輸入信號之高頻成分之時間性變動較少,輸入信號之當前幀為穩定部。
作為權重Wp (J),輸入信號之高頻成分越穩定則其成為越接近1的值,相反,高頻成分越不穩定則其成為越接近0的值。因此,於通式(24)所示之評估值Resall (id,J)中,輸 入信號之高頻成分之時間性的變動越少,則將更前之幀之高頻成分之推斷結果的比較結果作為評估尺度之評估值ResP(id,J)的貢獻度越大。
其結果係,於輸入信號之穩定部,選擇能獲得接近前一幀之高頻成分之推斷結果者的解碼高頻子頻帶功率推斷係數,於解碼裝置40側,能再生更自然且音質更高的聲音。相反,於輸入信號之非穩定部,評估值Resall (id,J)之評估值ResP(id,J)之項成為0,可獲得更接近實際之高頻信號之解碼高頻信號。
擬似高頻子頻帶功率差分算出電路36進行以上之處理,針對K個解碼高頻子頻帶功率推斷係數之各個而算出評估值Resall (id,J)。
步驟S339中,擬似高頻子頻帶功率差分算出電路36基於所求出之解碼高頻子頻帶功率推斷係數各自之評估值Resall (id,J),選擇係數索引id。
藉由以上之處理所得之評估值Resall (id,J)係使用權重將評估值Res(id,J)與評估值ResP(id,J)進行線性組合而成者。如上所述,評估值Res(id,J)之值越小,則可獲得越接近實際之高頻信號之解碼高頻信號。而且,評估值ResP(id,J)之值越小,則可獲得越接近前一幀之解碼高頻信號之解碼高頻信號。
因此,評估值Resall (id,J)越小,則可獲得越適當的解碼高頻信號。因此,擬似高頻子頻帶功率差分算出電路36選中K個評估值Resall (id,J)中值最小的評估值,將表示與該 評估值對應的解碼高頻子頻帶功率推斷係數之係數索引供給至高頻編碼電路37。
若選擇係數索引,則之後進行步驟S340及步驟S341之處理,編碼處理結束,但該等處理係與圖24之步驟S308及步驟S309相同,故省略相關說明。
如以上所述,編碼裝置30中,使用評估值Res(id,J)與評估值ResP(id,J)經線性組合而得之評估值Resall (id,J),選擇最合適之解碼高頻子頻帶功率推斷係數之係數索引。
若使用評估值Resall (id,J),則與使用評估值Res(id,J)之情形相同,可藉由更多的評估尺度,來選擇更適當的解碼高頻子頻帶功率推斷係數。而且,若使用評估值Resall (id,J),則於解碼裝置40側,能抑制欲再生之信號之高頻成分之穩定部的時間性變動,從而能獲得音質更高的信號。
<變化例2>
另外,於頻帶擴大處理中,若欲獲得音質更高的聲音,則越是低頻側之子頻帶,於聽覺上越重要。亦即,高頻側之各子頻帶中、接近更低頻側之子頻帶之推斷精度越高,則能再生音質越高的聲音。
因此,當算出關於各解碼高頻子頻帶功率推斷係數之評估值之情形時,亦可注重更低頻側之子頻帶。此種情形時,圖18之編碼裝置30進行如圖26之流程圖所示之編碼處理。
以下,參照圖26之流程圖,對於編碼裝置30之編碼處理 進行說明。再者,步驟S371~步驟S375之處理係與圖25之步驟S331~步驟S335之處理相同,故省略相關說明。
步驟S376中,擬似高頻子頻帶功率差分算出電路36針對K個解碼高頻子頻帶功率推斷係數之各個,算出使用成為處理對象的當前幀J之評估值ResWband (id,J)。
具體而言,擬似高頻子頻帶功率差分算出電路36使用自子頻帶分割電路33所供給之各子頻帶之高頻子頻帶信號,進行與上述通式(1)相同的演算,算出幀J之高頻子頻帶功率power(ib,J)。
若獲得高頻子頻帶功率power(ib,J),則擬似高頻子頻帶功率差分算出電路36計算如下之通式(27),算出殘差均方值Resstd Wband (id,J)。
亦即,針對索引為sb+1~eb之高頻側之各子頻帶,求出幀J之高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分,將該等差分乘以每個子頻帶之權重Wband (ib)。並且,將乘以權重Wband (ib)後之差分之平方和作為殘差均方值Resstd Wband (id,J)。
此處,權重Wband (ib)(其中,sb+1≦ib≦eb)係由例如如下之通式(28)定義。該權重Wband (ib)之值係越位於更低頻側之子頻帶則越大。
接著,擬似高頻子頻帶功率差分算出電路36算出殘差最大值Resmax Wband (id,J)。具體而言,將索引為sb+1~eb之各子頻帶之高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分乘以權重Wband (ib)後所得者中的絕對值之最大值設為殘差最大值Resmax Wband (id,J)。
而且,擬似高頻子頻帶功率差分算出電路36算出殘差平均值Resave Wband (id,J)。
具體而言,針對索引為sb+1~eb之各子頻帶,求出高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分且乘以權重Wband (ib),求出乘以權重Wband (ib)後之差分之總和。並且,將所得之差分之總和除以高頻側之子頻帶數(eb-sb)後所得之值的絕對值設為殘差平均值Resave Wband (id,J)。
進而,擬似高頻子頻帶功率差分算出電路36算出評估值ResWband (id,J)。亦即,將殘差均方值Resstd Wband (id,J)、乘以權重Wmax 後之殘差最大值Resmax Wband (id,J)、及乘以權重Wave 後之殘差平均值Resave Wband (id,J)之和作為評估值ResWband (id,J)。
步驟S377中,擬似高頻子頻帶功率差分算出電路36算出使用過去幀及當前幀之評估值ResPWband (id,J)。
具體而言,擬似高頻子頻帶功率差分算出電路36係針對 時間上較之處理對象之幀J位於前一位之幀(J-1),記錄使用最終選擇之係數索引之解碼高頻子頻帶功率推斷係數所得的各子頻帶之擬似高頻子頻帶功率。
擬似高頻子頻帶功率差分算出電路36首先算出推斷殘差均方值ResPstd Wband (id,J)。亦即,針對索引為sb+1~eb之高頻側之各子頻帶,求出擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與擬似高頻子頻帶功率powerest (ib,id,J)之差分且乘以權重Wband (ib)。並且,將乘以權重Wband (ib)後之差分之平方和作為推斷殘差均方值ResPstd Wband (id,J)。
接著,擬似高頻子頻帶功率差分算出電路36算出推斷殘差最大值ResPmax Wband (id,J)。具體而言,將索引為sb+1~eb之各子頻帶之擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與擬似高頻子頻帶功率powerest (ib,id,J)之差分乘以權重Wband (ib)後所得者中的絕對值之最大值設為推斷殘差最大值ResPmax Wband (id,J)。
接著,擬似高頻子頻帶功率差分算出電路36算出推斷殘差平均值ResPave Wband (id,J)。具體而言,針對索引為sb+1~eb之各子頻帶,求出擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與擬似高頻子頻帶功率powerest (ib,id,J)之差分,且乘以權重Wband (ib)。並且,將乘以權重Wband (ib)後之差分之總和除以高頻側之子頻帶數(eb-sb)後所得之值的絕對值設為推斷殘差平均值ResPave Wband (id,J)。
進而,擬似高頻子頻帶功率差分算出電路36求出推斷殘差均方值ResPstd Wband (id,J)、乘以權重Wmax 後之推斷殘差最大值ResPmax Wband (id,J)、及乘以權重Wave 後之推斷殘差平均值ResPave Wband (id,J)之和,將其作為評估值ResPWband (id,J)。
步驟S378中,擬似高頻子頻帶功率差分算出電路36將評估值ResWband (id,J)、與乘以通式(25)之權重Wp (J)後之評估值ResPWband (id,J)進行加法運算,算出最終的評估值Resall Wband (id,J)。該評估值Resall Wband (id,J)係針對K個解碼高頻子頻帶功率推斷係數之各個而算出。
並且,之後進行步驟S379~步驟S381之處理,編碼處理結束,但該等處理係與圖25之步驟S339~步驟S341之處理相同,故省略相關說明。再者,於步驟S379中,選擇K個係數索引中、評估值Resall Wband (id,J)最小者。
如此,以注重更低頻側之子頻帶之方式,針對每個子頻帶進行加權,藉此,於解碼裝置40側,能獲得音質更高的聲音。
再者,以上,已對於基於評估值Resall Wband (id,J)而選擇解碼高頻子頻帶功率推斷係數之情形進行了說明,但亦可基於評估值ResWband (id,J)選擇解碼高頻子頻帶功率推斷係數。
<變化例3>
進而,人類之聽覺具有越是振幅(功率)大之頻帶則越容易察覺的特性,故亦可以注重功率更大之子頻帶之方式, 算出關於各解碼高頻子頻帶功率推斷係數之評估值。
此種情形時,圖18之編碼裝置30進行如圖27之流程圖所示之編碼處理。以下,參照圖27之流程圖,對於編碼裝置30之編碼處理進行說明。再者,步驟S401~步驟S405之處理係與圖25之步驟S331~步驟S335之處理相同,故省略相關說明。
步驟S406中,擬似高頻子頻帶功率差分算出電路36針對K個解碼高頻子頻帶功率推斷係數之各個,算出使用成為處理對象之當前幀J的評估值ResWpower (id,J)。
具體而言,擬似高頻子頻帶功率差分算出電路36使用自子頻帶分割電路33所供給之各子頻帶之高頻子頻帶信號而進行與上述通式(1)相同的演算,算出幀J之高頻子頻帶功率power(ib,J)。
若獲得高頻子頻帶功率power(ib,J),則擬似高頻子頻帶功率差分算出電路36計算如下之通式(29),算出殘差均方值Resst dWpower (id,J)。
亦即,針對索引為sb+1~eb之高頻側之各子頻帶,求出高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分,且將該等差分乘以每個子頻帶之權重Wpower (power(ib,J))。而且,將乘以權重 Wpower (power(ib,J))後之差分之平方和作為殘差均方值Resst dWpower (id,J)。
此處,權重Wpower (power(ib,J))(其中,sb+1≦ib≦eb)係由例如如下之通式(30)而定義。該權重Wpower (power(ib,J))之值係其子頻帶之高頻子頻帶功率power(ib,J)越大則越大。
接著,擬似高頻子頻帶功率差分算出電路36算出殘差最大值Resmax Wpower (id,J)。具體而言,將索引為sb+1~eb之各子頻帶之高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分乘以權重Wpower (power(ib,J))後所得者中之絕對值之最大值設為殘差最大值Resmax Wpower (id,J)。
而且,擬似高頻子頻帶功率差分算出電路36算出殘差平均值Resave Wpower (id,J)。
具體而言,針對索引為sb+1~eb之各子頻帶,求出高頻子頻帶功率power(ib,J)與擬似高頻子頻帶功率powerest (ib,id,J)之差分,且乘以權重Wpower (power(ib,J)),求出乘以權重Wpower (power(ib,J))後之差分之總和。並且,將所得之差分之總和除以高頻側之子頻帶數(eb-sb)後所得之值的絕對值設為殘差平均值Resave Wpower (id,J)。
進而,擬似高頻子頻帶功率差分算出電路36算出評估值 ResWpower (id,J)。亦即,將殘差均方值Resstd Wpower (id,J)、乘以權重Wmax 後之殘差最大值Resmax Wpower (id,J)、及乘以權重Wave 後之殘差平均值Resave Wpower (id,J)之和設為評估值ResWpower (id,J)。
步驟S407中,擬似高頻子頻帶功率差分算出電路36算出使用過去幀與當前幀之評估值ResPWpower (id,J)。
具體而言,擬似高頻子頻帶功率差分算出電路36針對時間上較之處理對象之幀J而言位於前位之幀(J-1),記錄使用最終選擇之係數索引之解碼高頻子頻帶功率推斷係數而獲得的、各子頻帶之擬似高頻子頻帶功率。
擬似高頻子頻帶功率差分算出電路36首先算出推斷殘差均方值ResPstd Wpower (id,J)。亦即,針對索引為sb+1~eb之高頻側之各子頻帶,求出擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與擬似高頻子頻帶功率powerest (ib,id,J)之差分,且乘以權重Wpower (power(ib,J))。並且,將乘以權重Wpower (power(ib,J))後之差分之平方和設為推斷殘差均方值ResPstd Wpower (id,J)。
接著,擬似高頻子頻帶功率差分算出電路36算出推斷殘差最大值ResPmax Wpower (id,J)。具體而言,將索引為sb+1~eb之各子頻帶之擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與擬似高頻子頻帶功率powerest (ib,id,J)之差分乘以權重Wpower (power(ib,J))後所得者中之最大值之絕對值,設為推斷殘差最大值ResPmax Wpower (id,J)。
接著,擬似高頻子頻帶功率差分算出電路36算出推斷殘差平均值ResPave Wpower (id,J)。具體而言,針對索引為sb+1~eb之各子頻帶,求出擬似高頻子頻帶功率powerest (ib,idselected (J-1),J-1)與擬似高頻子頻帶功率powerest (ib,id,J)之差分,且乘以權重Wpower (power(ib,J))。並且,將乘以權重Wpower (power(ib,J))後之差分之總和除以高頻側之子頻帶數(eb-sb)後所得的值之絕對值,設為推斷殘差平均值ResPave Wpower (id,J)。
進而,擬似高頻子頻帶功率差分算出電路36求出推斷殘差均方值ResPstd Wpower (id,J)、乘以權重Wmax 後之推斷殘差最大值ResPmax Wpower (id,J)、及乘以權重Wave 後之推斷殘差平均值ResPave Wpower (id,J)之和,且將其設為評估值ResPWpower (id,J)。
步驟S408中,擬似高頻子頻帶功率差分算出電路36將評估值ResWpower (id,J)與乘以通式(25)之權重Wp (J)後之評估值ResPWpower (id,J)進行加法運算,算出最終的評估值Resall Wpower (id,J)。該評估值Resall Wpower (id,J)係針對K個解碼高頻子頻帶功率推斷係數之各個而算出。
並且,之後進行步驟S409~步驟S411之處理,編碼處理結束,但該等處理係與圖25之步驟S339~步驟S341之處理相同,故省略相關說明。再者,於步驟S409中,選擇K個係數索引中、評估值Resall Wpower (id,J)最小者。
如此,以注重功率大的子頻帶之方式,針對每個子頻帶進行加權,藉此,於解碼裝置40側,能獲得音質更高的聲 音。
再者,以上,已對於基於評估值Resall Wpower (id,J)選擇解碼高頻子頻帶功率推斷係數之情形進行了說明,但亦可基於評估值ResWpower (id,J)來選擇解碼高頻子頻帶功率推斷係數。
<6.第6實施形態>
[係數學習裝置之構成]
另外,圖20之解碼裝置40中,作為解碼高頻子頻帶功率推斷係數之係數Aib (kb)與係數Bib 之組係與係數索引對應地進行記錄。例如,若解碼裝置40中記錄128個係數索引之解碼高頻子頻帶功率推斷係數,則作為記錄該等解碼高頻子頻帶功率推斷係數之記憶體等記錄區域,需要大的區域。
因此,亦可將若干解碼高頻子頻帶功率推斷係數之一部分設為共通的係數,使得記錄解碼高頻子頻帶功率推斷係數時所需之記錄區域縮小。此種情形時,藉由學習而求出解碼高頻子頻帶功率推斷係數之係數學習裝置係以例如圖28所示之方式構成。
係數學習裝置81包括子頻帶分割電路91、高頻子頻帶功率算出電路92、特徵量算出電路93、及係數推斷電路94。
該係數學習裝置81中供給有學習中使用之樂曲資料等,作為寬頻帶教師信號。寬頻帶教師信號係包含高頻之複數個子頻帶成分及低頻之複數個子頻帶成分之信號。
子頻帶分割電路91係包含帶通濾波器等,將所供給之寬頻帶教師信號分割為複數個子頻帶信號,且供給至高頻子 頻帶功率算出電路92及特徵量算出電路93。具體而言,將索引為sb+1~eb之高頻側之各子頻帶之高頻子頻帶信號供給至高頻子頻帶功率算出電路92,將索引為sb-3~sb之低頻側之各子頻帶之低頻子頻帶信號供給至特徵量算出電路93。
高頻子頻帶功率算出電路92算出自子頻帶分割電路91所供給之各高頻子頻帶信號之高頻子頻帶功率,且供給至係數推斷電路94。特徵量算出電路93基於自子頻帶分割電路91所供給之各低頻子頻帶信號將低頻子頻帶功率作為特徵量而算出,且供給至係數推斷電路94。
係數推斷電路94使用來自高頻子頻帶功率算出電路92之高頻子頻帶功率及來自特徵量算出電路93之特徵量進行回歸分析,藉此產生解碼高頻子頻帶功率推斷係數,且將其輸出至解碼裝置40。
[係數學習處理之說明]
接著,參照圖29之流程圖,對於藉由係數學習裝置81進行之係數學習處理進行說明。
步驟S431中,子頻帶分割電路91係將所供給之複數個寬頻帶教師信號之各個分割為複數個子頻帶信號。並且,子頻帶分割電路91將索引為sb+1~eb之子頻帶之高頻子頻帶信號供給至高頻子頻帶功率算出電路92,將索引為sb-3~sb之子頻帶之低頻子頻帶信號供給至特徵量算出電路93。
步驟S432中,高頻子頻帶功率算出電路92針對自子頻帶分割電路91所供給之各高頻子頻帶信號進行與上述通式(1) 相同的演算,算出高頻子頻帶功率,且將其供給至係數推斷電路94。
步驟S433中,特徵量算出電路93針對自子頻帶分割電路91所供給之各低頻子頻帶信號進行上述通式(1)之演算,將低頻子頻帶功率作為特徵量而算出,且將其供給至係數推斷電路94。
藉此,係數推斷電路94中,關於複數個寬頻帶教師信號之各幀供給高頻子頻帶功率及低頻子頻帶功率。
步驟S434中,係數推斷電路94使用最小平方法進行回歸分析,針對索引為sb+1~eb之高頻側之子頻帶ib(其中,sb+1≦ib≦eb)之各個算出係數Aib (kb)及係數Bib
再者,回歸分析中,將自特徵量算出電路93所供給之低頻子頻帶功率作為說明變數,將自高頻子頻帶功率算出電路92所供給之高頻子頻帶功率作為被說明變數。而且,回歸分析係使用構成供給至係數學習裝置81之所有寬頻帶教師信號的、所有幀之低頻子頻帶功率及高頻子頻帶功率而進行。
步驟S435中,係數推斷電路94使用所求出之每個子頻帶ib的係數Aib (kb)及係數Bib ,求出寬頻帶教師信號之各幀之殘差矢量。
例如係數推斷電路94針對幀J之每個子頻帶ib(其中,sb+1≦ib≦eb),自高頻子頻帶功率power(ib,J)減去乘以係數Aib (kb)後之低頻子頻帶功率power(kb,J)(其中,sb-3≦kb≦sb)之總和與係數Bib 之和,從而求出殘差。並且, 將包含幀J之各子頻帶ib之殘差之矢量作為殘差矢量。
再者,殘差矢量係針對構成供給至係數學習裝置81之所有寬頻帶教師信號的、所有幀而算出。
步驟S436中,係數推斷電路94使針對各幀所求出之殘差矢量正規化。例如係數推斷電路94針對各子頻帶ib求出所有幀之殘差矢量之子頻帶ib的殘差之分散值,將各殘差矢量之子頻帶ib之殘差除以該分散值之平方根,藉此,使殘差矢量正規化。
步驟S437中,係數推斷電路94將經正規化之所有幀之殘差矢量藉由k-means法等而叢集化。
例如,將使用係數Aib (kb)及係數Bib 進行高頻子頻帶功率之推斷時所得的、所有幀之平均的頻率包絡,稱作平均頻率包絡SA。而且,將功率大於平均頻率包絡SA的特定之頻率包絡作為頻率包絡SH,將功率小於平均頻率包絡SA的特定之頻率包絡作為頻率包絡SL。
此時,以獲得接近平均頻率包絡SA、頻率包絡SH、及頻率包絡SL之頻率包絡的係數之殘差矢量之各個屬於叢集CA、叢集CH、及叢集CL之方式,進行殘差矢量之叢集化。換而言之,以各幀之殘差矢量屬於叢集CA、叢集CH、或者叢集CL中之哪一個之方式進行叢集化處理。
基於低頻成分與高頻成分之關聯性來推斷高頻成分之頻帶擴大處理中,其特性上,若使用藉由回歸分析而得之係數Aib (kb)及係數Bib 算出殘差矢量,則越是高頻側之子頻帶,殘差越大。因此,若直接使殘差矢量叢集化,則越是 高頻側之子頻帶,則越注重進行處理。
相對於此,係數學習裝置81中,利用各子頻帶之殘差之分散值使殘差矢量正規化,藉此,外觀上使各子頻帶之殘差之分散相等,能對於各子頻帶賦予均等的權重而進行叢集化處理。
步驟S438中,係數推斷電路94選擇叢集CA、叢集CH、或者叢集CL中之任一者1個叢集來作為處理對象之叢集。
步驟S439中,係數推斷電路94使用作為處理對象之叢集所選擇之叢集中所屬的殘差矢量之幀,藉由回歸分析而算出各子頻帶ib(其中,sb+1≦ib≦eb)之係數Aib (kb)及係數Bib
亦即,若將處理對象之叢集中所屬之殘差矢量之幀稱作處理對象幀,則所有的處理對象幀之低頻子頻帶功率及高頻子頻帶功率成為說明變數及被說明變數,使用最小平方法進行回歸分析。藉此,可針對每個子頻帶ib獲得係數Aib (kb)及係數Bib
步驟S440中,係數推斷電路94針對所有之處理對象幀,使用步驟S439之處理所得之係數Aib (kb)及係數Bib ,求出殘差矢量。再者,步驟S440中,進行與步驟S435相同的處理,從而求出各處理對象幀之殘差矢量。
步驟S441中,係數推斷電路94對於步驟S440之處理中所求出之各處理對象幀之殘差矢量,進行與步驟S436相同的處理,而使其正規化。亦即,針對每個子頻帶,將殘差除以分散值之平方根,而對殘差矢量進行正規化處理。
步驟S442中,係數推斷電路94對於經正規化之所有處理對象幀之殘差矢量,藉由k-means法等進行叢集化處理。此處之叢集數係以如下方式決定。例如,係數學習裝置81中,當欲產生128個係數索引之解碼高頻子頻帶功率推斷係數之情形時,將處理對象幀數乘以128,進而除以所有幀數,將所得之數設為叢集數。此處,所謂所有幀數係指供給至係數學習裝置81之所有寬頻帶教師信號的所有幀之總數。
步驟S443中,係數推斷電路94求出由步驟S442之處理所得之各叢集的重心矢量。
例如,由步驟S442之叢集化所得之叢集係與係數索引相對應,係數學習裝置81中針對每個叢集分配係數索引,求出各係數索引之解碼高頻子頻帶功率推斷係數。
具體而言,步驟S438中,選擇叢集CA作為處理對象之叢集,藉由步驟S442中之叢集化而獲得F個叢集。此時,若關注F個叢集中之1個叢集CF,則將叢集CF之係數索引之解碼高頻子頻帶功率推斷係數設為步驟S439中針對叢集CA所求出之係數Aib (kb)為線性關聯項的係數Aib (kb)。而且,將對於步驟S443中所求出之叢集CF之重心矢量實施步驟S441中所進行的正規化之逆處理(逆正規化)後所得的矢量、與步驟S439中所求出之係數Bib 之和,設為解碼高頻子頻帶功率推斷係數之常數項即係數Bib 。作為此處之所謂逆正規化,當例如步驟S441中所進行之正規化係針對每個子頻帶將殘差除以分散值之平方根者之情形時,係指對於 叢集CF之重心矢量之各要素乘以與正規化時相同之值(每個子頻帶之分散值之平方根)的處理。
亦即,步驟S439中所得之係數Aib (kb)與以上述方式所求出之係數Bib 的組成為叢集CF之係數索引之解碼高頻子頻帶功率推斷係數。因此,由叢集化所得之F個叢集之各個係共通地具有針對叢集CA所求出之係數Aib (kb),來作為解碼高頻子頻帶功率推斷係數之線性關聯項。
步驟S444中,係數學習裝置81判斷是否已將叢集CA、叢集CH、及叢集CL之所有叢集作為處理對象之叢集進行處理。步驟S444中,當判斷為未對所有之叢集進行處理之情形時,處理返回至步驟S438,反覆進行上述之處理。亦即,選擇下一叢集作為處理對象,算出解碼高頻子頻帶功率推斷係數。
相對於此,步驟S444中,當判斷為已對所有叢集進行處理之情形時,已獲得欲求出之特定數量之解碼高頻子頻帶功率推斷係數,故處理進入至步驟S445。
步驟S445中,係數推斷電路94將所求出之係數索引、及解碼高頻子頻帶功率推斷係數輸出且記錄至解碼裝置40中,係數學習處理結束。
例如,輸出至解碼裝置40之解碼高頻子頻帶功率推斷係數中,作為線性關聯項存在若干具有相同係數Aib (kb)者。因此,係數學習裝置81中,對於該等共通的係數Aib (kb),使該係數Aib (kb)與特定之資訊即線性關聯項索引(pointer)相對應,並且對於係數索引,使線性關聯項索引與常數項 即係數Bib 相對應。
並且,係數學習裝置81將相對應之線性關聯項索引(pointer)與係數Aib (kb)、及相對應之係數索引與線性關聯項索引(pointer)及係數Bib 供給至解碼裝置40,且記錄於解碼裝置40之高頻解碼電路45內之記憶體中。以如此之方式記錄複數個解碼高頻子頻帶功率推斷係數時,若在用於各解碼高頻子頻帶功率推斷係數之記錄區域內針對共通的線性關聯項存儲線性關聯項索引(pointer),則能大幅縮小記錄區域。
此時,高頻解碼電路45內之記憶體中,使線性關聯項索引與係數Aib (kb)相對應地進行記錄,故根據係數索引能獲得線性關聯項索引及係數Bib ,進而,根據線性關聯項索引能獲得係數Aib (kb)。
再者,經過本申請人之解析可知,即便將複數個解碼高頻子頻帶功率推斷係數之線性關聯項共通化為3個圖案之程度,經頻帶擴大處理之聲音亦幾乎不存在聽覺上之音質之劣化。因此,藉由係數學習裝置81,能進一步縮小記錄解碼高頻子頻帶功率推斷係數時所需之記錄區域,而不會導致頻帶擴大處理後之聲音之音質劣化。
藉由以上方法,係數學習裝置81根據所供給之寬頻帶教師信號,產生並輸出各係數索引之解碼高頻子頻帶功率推斷係數。
再者,已對於圖29之係數學習處理中使殘差矢量正規化之情形進行了說明,但亦可對於步驟S436或者步驟S441中 之一者或者兩者不進行殘差矢量之正規化。
而且,亦可進行殘差矢量之正規化,不進行解碼高頻子頻帶功率推斷係數之線性關聯項之共通化。此種情形時,於步驟S436之正規化處理後,使經正規化之殘差矢量叢集化為與欲求出之解碼高頻子頻帶功率推斷係數之數量相同數量的叢集。並且,使用屬於各叢集之殘差矢量之幀,針對每個叢集進行回歸分析,產生各叢集之解碼高頻子頻帶功率推斷係數。
<7.第7實施形態>
[編碼裝置之功能性構成例]
另外,以上,已對於輸入信號之編碼時,選擇能根據輸入信號之低頻包絡以最高的精度推斷出高頻包絡之係數Aib (kb)及係數Bib 之情形進行了說明。此時,表示係數Aib (kb)及係數Bib 之係數索引之資訊包含於輸出代碼串內而被傳送至解碼側,當輸出代碼串之解碼時,使用與係數索引相對應之係數Aib (kb)及係數Bib 產生高頻包絡。
然而,當低頻包絡之時間變動大之情形時,即便對於輸入信號之連續之幀使用相同的係數Aib (kb)及係數Bib 來進行高頻包絡之推斷,高頻包絡之時間性變動亦會變大。
換而言之,當低頻子頻帶功率之時間性變動大之情形時,即便使用相同的係數Aib (kb)及係數Bib 來算出解碼高頻子頻帶功率,解碼高頻子頻帶功率之時間性變動亦會變大。原因在於,當算出解碼高頻子頻帶功率時使用低頻子頻帶功率,故該低頻子頻帶功率之時間性的變動大,則所 得之解碼高頻子頻帶功率亦會時間性地大幅變動。
而且,以上,已對於藉由使用寬頻帶教師信號之學習而預先準備複數個係數Aib (kb)與係數Bib 之組之情形進行了說明,但該寬頻帶教師信號係對輸入信號進行編碼、且進而對編碼後之輸入信號進行解碼後所得的信號。
此種藉由學習而得之係數Aib (kb)與係數Bib 之組成為適合於利用學習時對輸入信號進行編碼時之編碼方式及編碼算法對於實際之輸入信號進行編碼之情形的係數組。
當產生寬頻帶教師信號時,根據利用何種編碼方式對輸入信號進行編碼、解碼,而獲得不同的寬頻帶教師信號。而且,即便利用相同的編碼方式,但編碼器(編碼算法)不同,亦會獲得不同的寬頻帶教師信號。
因此,作為輸入信號,若僅將利用特定之編碼方式及編碼算法進行編碼、解碼後所得之1個信號用作寬頻帶教師信號,則可能難以根據所得之係數Aib (kb)及係數Bib 來高精度地推斷出高頻包絡。亦即,可能無法充分地對應編碼方式或編碼算法之差別。
因此,亦可藉由進行低頻包絡之平滑化(smoothing)、及適當的係數之產生,不論低頻包絡之時間變動或編碼方式等如何,而高精度地推斷出高頻包絡。
此種情形時,對輸入信號進行編碼之編碼裝置係以圖30所示之方式構成。再者,圖30中,對於與圖18中相應之部分標註相同的符號,且適當地省略相關說明。圖30之編碼裝置30與圖18之編碼裝置30之不同之處在於,另設有參數 決定部121及平滑化部122,其他方面均相同。
參數決定部121基於自子頻帶分割電路33所供給之高頻子頻帶信號,產生與作為特徵量而算出之低頻子頻帶功率之平滑化相關的參數(以下稱作平滑化參數)。參數決定部121將所產生之平滑化參數供給至擬似高頻子頻帶功率差分算出電路36及平滑化部122。
此處,平滑化參數係作為表示例如是否使用時間上連續之幾幀之低頻子頻帶功率來使作為處理對象的當前幀之低頻子頻帶功率平滑化(smoothing)的資訊等。亦即,藉由參數決定部121決定低頻子頻帶功率之平滑化處理所需之參數。
平滑化部122對於自特徵量算出電路34供給之作為特徵量之低頻子頻帶功率,使用自參數決定部121供給之平滑化參數進行平滑化,且供給至擬似高頻子頻帶功率算出電路35。
擬似高頻子頻帶功率算出電路35中,使預先藉由回歸分析而求出之複數個解碼高頻子頻帶功率推斷係數、與指定該等解碼高頻子頻帶功率推斷係數之係數集合索引及係數索引相對應而進行記錄。
具體而言,對於1個輸入信號,藉由複數個不同的編碼方式及編碼算法分別進行編碼,將經編碼所得之信號進一步進行解碼,將解碼後所得之信號準備為寬頻帶教師信號。
而且,針對該等複數個寬頻帶教師信號之各個,藉由將 低頻子頻帶功率作為說明變數、將高頻子頻帶功率作為被說明變數的、使用最小平方法之回歸分析(學習),求出各子頻帶之複數個係數Aib (kb)及係數Bib ,記錄於擬似高頻子頻帶功率算出電路35中。
此處,於使用1個寬頻帶教師信號之學習中,可獲得各子頻帶之係數Aib (kb)與係數Bib 之複數個組(以下稱作係數組)。將以上述方式根據1個寬頻帶教師信號所獲得之、複數個係數組的集合作為係數集合,將指定係數集合之資訊稱作係數集合索引,將指定係數集合所屬之係數組之資訊稱作係數索引。
擬似高頻子頻帶功率算出電路35中,將複數個係數集合之係數組與指定該係數組之係數集合索引及係數索引相對應而進行記錄。亦即,記錄於擬似高頻子頻帶功率算出電路35中之、作為解碼高頻子頻帶功率推斷係數之係數組(係數Aib (kb)及係數Bib )係藉由係數集合索引及係數索引而指定。
再者,係數組之學習時,作為說明變數之低頻子頻帶功率亦可藉由與平滑化部122之作為特徵量之低頻子頻帶功率之平滑化相同的處理而平滑化。
擬似高頻子頻帶功率算出電路35針對記錄之每個解碼高頻子頻帶功率推斷係數,使用解碼高頻子頻帶功率推斷係數、及自平滑化部122所供給之平滑化後之特徵量,算出高頻側之各子頻帶之擬似高頻子頻帶功率,且供給至擬似高頻子頻帶功率差分算出電路36。
擬似高頻子頻帶功率差分算出電路36對於根據自子頻帶分割電路33所供給之高頻子頻帶信號而求出之高頻子頻帶功率、與來自擬似高頻子頻帶功率算出電路35之擬似高頻子頻帶功率進行比較。
而且,擬似高頻子頻帶功率差分算出電路36進行比較之後,將複數個解碼高頻子頻帶功率推斷係數中之、獲得最接近高頻子頻帶功率之擬似高頻子頻帶功率的解碼高頻子頻帶功率推斷係數之係數集合索引及係數索引供給至高頻編碼電路37。而且,擬似高頻子頻帶功率差分算出電路36將表示自參數決定部121所供給之平滑化參數之平滑化資訊亦供給至高頻編碼電路37。
為了能如此應對編碼方式或編碼算法之差別,藉由預先學習而準備複數個係數集合,且記錄於擬似高頻子頻帶功率算出電路35中,藉此,能使用更適當的解碼高頻子頻帶功率推斷係數。藉此,於輸出代碼串之解碼側,不論編碼方式或編碼算法,均能以更高之精度進行高頻包絡之推斷。
[編碼裝置之編碼處理]
接著,參照圖31之流程圖,對於藉由圖30之編碼裝置30進行之編碼處理進行說明。再者,步驟S471~步驟S474之處理係與圖19之步驟S181~步驟S184之處理相同,故省略其說明。
然而,步驟S473中所得之高頻子頻帶信號係自子頻帶分割電路33而供給至擬似高頻子頻帶功率差分算出電路36及 參數決定部121。而且,步驟S474中,作為特徵量,算出成為處理對象之幀J的低頻側之各子頻帶ib(sb-3≦ib≦sb)之低頻子頻帶功率power(ib,J),且供給至平滑化部122。
步驟S475中,參數決定部121基於自子頻帶分割電路33所供給之高頻側之各子頻帶之高頻子頻帶信號,來決定特徵量之平滑化中使用之幀之數量。
例如,參數決定部121針對成為處理對象之幀J的高頻側之各子頻帶ib(其中,sb+1≦ib≦eb),進行上述通式(1)之演算而求出子頻帶功率,進而求出該等子頻帶功率之和。
同樣,參數決定部121針對較之幀J於時間上位於前一位之幀(J-1),求出高頻側之各子頻帶ib之子頻帶功率,且求出該等子頻帶功率之和。而且,參數決定部121對於自針對幀J所求出之子頻帶功率之和減去針對幀(J-1)所求出之子頻帶功率之和後所得的值(以下稱作子頻帶功率和之差分)、與預先決定之閾值進行比較。
例如,參數決定部121當子頻帶功率和之差分為閾值以上之情形時,將特徵量之平滑化中使用之幀之數量(以下稱作幀數ns)設為ns=4,當子頻帶功率和之差分小於閾值之情形時,將幀數設為ns=16。參數決定部121將所決定之幀數ns作為平滑化參數,供給至擬似高頻子頻帶功率差分算出電路36及平滑化部122。
再者,亦可對子頻帶功率和之差分與複數個閾值進行比較,將幀數ns設為3個以上之值中之任一個。
步驟S476中,平滑化部122使用自參數決定部121所供給 之平滑化參數計算如下之通式(31),使自特徵量算出電路34所供給之特徵量平滑化,且供給至擬似高頻子頻帶功率算出電路35。亦即,使作為特徵量所供給之、處理對象之幀J的低頻側之各子頻帶之低頻子頻帶功率power(ib,J)平滑化。
再者,通式(31)中,ns係作為平滑化參數之幀數ns,該幀數ns越大,則作為特徵量之低頻子頻帶功率之平滑化過程中使用越多的幀。而且,平滑化部122係保持幀J之前之幾個幀的各子頻帶之低頻子頻帶功率。
而且,與低頻子頻帶功率power(ib,J)相乘之權重SC(1)係藉由例如如下之通式(32)決定之權重。就該每個幀之權重SC(1)而言,越是與時間上接近處理對象之幀J的幀相乘之權重SC(1),值越大。
因此,平滑化部122中,利用權重SC(1),對於包含當前幀J之、由幀數ns決定之過去ns幀之低頻子頻帶功率進行加權加法運算,藉此使特徵量平滑化。亦即,求出幀J至幀 (J-ns+1)之相同子頻帶之低頻子頻帶功率的加權平均,作為平滑化後之低頻子頻帶功率powersmooth (ib,J)。
此處,平滑化(smoothing)中使用之幀數ns越大,則低頻子頻帶功率powersmooth (ib,J)之時間性變動越小。因此,只要使用低頻子頻帶功率powersmooth (ib,J)推斷高頻側之子頻帶功率,則能減小高頻側之子頻帶功率之推斷值的時間性變動。
然而,對於衝擊等過渡性輸入信號、即高頻成分之時間性的變動大的輸入信號,若不將幀數ns設為儘量小的值,則對於輸入信號之時間性之變化的追隨會變遲緩。從而,於解碼側,若再生經解碼所得之輸出信號,則聽覺上產生不適感之可能性較高。
因此,於參數決定部121,當上述子頻帶功率和之差分為閾值以上之情形時,輸入信號成為高頻側之子頻帶功率時間性地產生較大變動的過渡性信號,幀數ns成為更小的值(例如ns=4)。藉此,即便於輸入信號為過渡性信號(衝擊性之信號)之情形時,亦能適度地使低頻子頻帶功率平滑化,減小高頻側之子頻帶功率之推斷值之時間性變動,且能抑制對於高頻成分之變化的追隨之延遲。
相對於此,當子頻帶功率和之差分小於閾值之情形時,於參數決定部121,輸入信號成為高頻側之子頻帶功率之時間性變動少的穩定信號,使幀數ns成為更大的值(例如ns=16)。藉此,能適度地使低頻子頻帶功率平滑化,且使高頻側之子頻帶功率之推斷值的時間性變動減小。
步驟S477中,擬似高頻子頻帶功率算出電路35基於自平滑化部122所供給之低頻側之各子頻帶之低頻子頻帶功率powersmooth (ib,J)而算出擬似高頻子頻帶功率,且供給至擬似高頻子頻帶功率差分算出電路36。
例如,擬似高頻子頻帶功率算出電路35使用作為解碼高頻子頻帶功率推斷係數而預先記錄之係數Aib (kb)及係數Bib 、以及低頻子頻帶功率powersmooth (ib,J)(其中,sb-3≦ib≦sb)來進行上述通式(2)之演算,且算出擬似高頻子頻帶功率powerest (ib,J)。
再者,此處,通式(2)中之低頻子頻帶功率power(kb,J)被替換為經平滑化處理之低頻子頻帶功率powersmooth (kb,J)(其中,sb-3≦kb≦sb)。
亦即,將低頻側之各子頻帶之低頻子頻帶功率powersmooth (kb,J)乘以每個子頻帶之係數Aib (kb),將乘以係數後所得之低頻子頻帶功率之和進而與係數Bib 進行加法運算,作為擬似高頻子頻帶功率powerest (ib,J)。該擬似高頻子頻帶功率係針對索引為sb+1~eb之高頻側之各子頻帶而算出。
而且,擬似高頻子頻帶功率算出電路35針對預先記錄之每個解碼高頻子頻帶功率推斷係數而算出擬似高頻子頻帶功率。亦即,針對記錄之所有係數集合,對於係數集合之每個係數組(係數Aib (kb)與係數Bib 之組)算出擬似高頻子頻帶功率。
步驟S478中,擬似高頻子頻帶功率差分算出電路36基於 來自子頻帶分割電路33之高頻子頻帶信號、及來自擬似高頻子頻帶功率算出電路35之擬似高頻子頻帶功率,算出擬似高頻子頻帶功率差分。
而且,步驟S479中,擬似高頻子頻帶功率差分算出電路36針對每個解碼高頻子頻帶功率推斷係數計算上述通式(15),且算出擬似高頻子頻帶功率差分之平方和(差分平方和E(J,id))。
再者,步驟S478及步驟S479之處理係與圖19之步驟S186及步驟S187之處理相同,故省略其詳細說明。
擬似高頻子頻帶功率差分算出電路36若針對預先記錄之每個解碼高頻子頻帶功率推斷係數算出差分平方和E(J,id),則選擇該等差分平方和中值最小的差分平方和。
而且,擬似高頻子頻帶功率差分算出電路36將用於指定與所選擇之差分平方和對應之解碼高頻子頻帶功率推斷係數的、係數集合索引及係數索引、以及表示平滑化參數之平滑化資訊,供給至高頻編碼電路37。
此處,平滑化資訊亦可為作為由參數決定部121所決定之平滑化參數的幀數ns之值本身,亦可為表示幀數ns之標記等。例如,當平滑化資訊為表示幀數ns之2位元的標記之情形時,當幀數ns=1時標記之值為0,當幀數ns=4時標記之值為1,當幀數ns=8時標記之值為2,當幀數ns=16時標記之值為3等。
步驟S480中,高頻編碼電路37對於自擬似高頻子頻帶功率差分算出電路36所供給之係數集合索引、係數索引、及 平滑化資訊進行編碼,將經編碼後所得之高頻編碼資料供給至多工化電路38。
例如,於步驟S480中,對於係數集合索引、係數索引、及平滑化資訊進行熵編碼等。再者,高頻編碼資料只要為能獲得最合適之解碼高頻子頻帶功率推斷係數、或平滑化參數之資訊,則可為任意資訊,例如,係數集合索引等亦可直接作為高頻編碼資料。
步驟S481中,多工化電路38對於自低頻編碼電路32所供給之低頻編碼資料、及自高頻編碼電路37所供給之高頻編碼資料進行多工化處理,輸出經多工化處理後所得之輸出代碼串,編碼處理結束。
如此,將對於係數集合索引、係數索引、及平滑化資訊進行編碼後所得之高頻編碼資料作為輸出代碼串予以輸出,藉此,於接受該輸出代碼串之輸入之解碼裝置40中,能以更高的精度推斷高頻成分。
亦即,基於係數集合索引及係數索引,能獲得複數個解碼高頻子頻帶功率推斷係數中、最合適於頻帶擴大處理者,且不論編碼方式或編碼算法,均能以高精度推斷出高頻成分。而且,若根據平滑化資訊來使作為特徵量之低頻子頻帶功率平滑化,則能將由推斷而得之高頻成分的時間性變動抑制為更小,且不論輸入信號是穩定的或是過渡性的,均能獲得聽覺上無不適感的聲音。
[解碼裝置之功能性構成例]
而且,於將自圖30之編碼裝置30所輸出之輸出代碼串作 為輸入代碼串予以輸入、而進行解碼之解碼裝置40中係例如以圖32所示之方式構成。再者,圖32中,對於與圖20中之情形相對應的部分標註相同的符號,且省略相關說明。
圖32之解碼裝置40與圖20之不同之處在於,另設有解碼裝置40及平滑化部151,其他方面均相同。
圖32之解碼裝置40中,高頻解碼電路45預先記錄與圖30之擬似高頻子頻帶功率算出電路35所記錄之解碼高頻子頻帶功率推斷係數相同的解碼高頻子頻帶功率推斷係數。亦即,作為預先藉由回歸分析而求出之解碼高頻子頻帶功率推斷係數的係數Aib (kb)與係數Bib 之組係與係數集合索引及係數索引相對應而記錄。
高頻解碼電路45對於自解多工化電路41所供給之高頻編碼資料進行解碼,解碼後獲得係數集合索引、係數索引、及平滑化資訊。高頻解碼電路45將根據所得之係數集合索引及係數索引而指定之解碼高頻子頻帶功率推斷係數供給至解碼高頻子頻帶功率算出電路46,且將平滑化資訊供給至平滑化部151。
而且,特徵量算出電路44將作為特徵量而算出之低頻子頻帶功率供給至平滑化部151。平滑化部151將自特徵量算出電路44所供給之低頻子頻帶功率根據來自高頻解碼電路45之平滑化資訊而進行平滑化處理,且將其供給至解碼高頻子頻帶功率算出電路46。
[解碼裝置之解碼處理]
接著,參照圖33之流程圖,對於藉由圖32之解碼裝置40 而進行之解碼處理進行說明。
該解碼處理係一旦自編碼裝置30輸出之輸出代碼串作為輸入代碼串而供給至解碼裝置40便開始。再者,步驟S511~步驟S513之處理係與圖21之步驟S211~步驟S213之處理相同,故省略相關說明。
步驟S514中,高頻解碼電路45對於自解多工化電路41所供給之高頻編碼資料進行解碼。
高頻解碼電路45將預先記錄之複數個解碼高頻子頻帶功率推斷係數中的、藉由高頻編碼資料之解碼所得之係數集合索引及係數索引所表示之解碼高頻子頻帶功率推斷係數,供給至解碼高頻子頻帶功率算出電路46。而且,高頻解碼電路45將藉由高頻編碼資料之解碼而得之平滑化資訊供給至平滑化部151。
步驟S515中,特徵量算出電路44使用來自子頻帶分割電路43之解碼低頻子頻帶信號算出特徵量,且將其供給至平滑化部151。亦即,藉由上述通式(1)之演算,針對低頻側之各子頻帶ib而算出低頻子頻帶功率power(ib,J)作為特徵量。
步驟S516中,平滑化部151基於自高頻解碼電路45所供給之平滑化資訊,使作為自特徵量算出電路44所供給之特徵量之低頻子頻帶功率power(ib,J)平滑化。
亦即,平滑化部151基於平滑化資訊所表示之幀數ns來進行上述通式(31)之演算,針對低頻側之各子頻帶ib算出低頻子頻帶功率powersmooth (ib,J),且將其供給至解碼高頻 子頻帶功率算出電路46。再者,平滑化部151中保持幀J之前的幾幀之各子頻帶之低頻子頻帶功率。
步驟S517中,解碼高頻子頻帶功率算出電路46基於來自平滑化部151之低頻子頻帶功率、及來自高頻解碼電路45之解碼高頻子頻帶功率推斷係數而算出解碼高頻子頻帶功率,且將其供給至解碼高頻信號產生電路47。
亦即,解碼高頻子頻帶功率算出電路46使用作為解碼高頻子頻帶功率推斷係數之係數Aib (kb)及係數Bib 、以及低頻子頻帶功率powersmooth (ib,J)而進行上述通式(2)之演算,算出解碼高頻子頻帶功率。
再者,此處,通式(2)中之低頻子頻帶功率power(kb,J)被替換為經平滑化處理之低頻子頻帶功率powersmooth (kb,J)(其中,sb-3≦kb≦sb)。藉由該演算,可針對索引為sb+1~eb之高頻側之各子頻帶而獲得解碼高頻子頻帶功率powerest (ib,J)。
步驟S518中,解碼高頻信號產生電路47基於自子頻帶分割電路43所供給之解碼低頻子頻帶信號、及自解碼高頻子頻帶功率算出電路46所供給之解碼高頻子頻帶功率而產生解碼高頻信號。
具體而言,解碼高頻信號產生電路47使用解碼低頻子頻帶信號進行上述通式(1)之演算,針對低頻側之各子頻帶而算出低頻子頻帶功率。而且,解碼高頻信號產生電路47使用所得之低頻子頻帶功率及解碼高頻子頻帶功率而進行上述通式(3)之演算,算出高頻側之每個子頻帶之增益量 G(ib,J)。
而且,解碼高頻信號產生電路47使用增益量G(ib,J)及解碼低頻子頻帶信號而進行上述通式(5)及通式(6)之演算,針對高頻側之各子頻帶產生高頻子頻帶信號x3(ib,n)。
進而,解碼高頻信號產生電路47進行上述通式(7)之演算,求出所得之各高頻子頻帶信號之和,產生解碼高頻信號。解碼高頻信號產生電路47將所得之解碼高頻信號供給至合成電路48,處理自步驟S518進入至步驟S519。
步驟S519中,合成電路48將來自低頻解碼電路42之解碼低頻信號、與來自解碼高頻信號產生電路47之解碼高頻信號合成,且作為輸出信號予以輸出。之後,解碼處理結束。
如以上所述,藉由解碼裝置40,使用由根據高頻編碼資料所得之係數集合索引及係數索引所特定的解碼高頻子頻帶功率推斷係數而算出解碼高頻子頻帶功率,故能提高高頻子頻帶功率之推斷精度。亦即,解碼裝置40中預先記錄有能應對編碼方式或編碼算法之差別的複數個解碼高頻子頻帶功率推斷係數。因此,若自其中選擇藉由係數集合索引及係數索引所指定的最合適之解碼高頻子頻帶功率推斷係數來使用,則能高精度地推斷出高頻成分。
而且,解碼裝置40中,根據平滑化資訊來使低頻子頻帶功率平滑化,且算出解碼高頻子頻帶功率。因此,能將高頻包絡之時間性變動抑制為更小,且不論輸入信號是穩定 的或是過渡性的,均能獲得聽覺上無不適感的聲音。
再者,以上,已對於作為平滑化參數,使幀數ns變化之情形進行了說明,但亦可將幀數ns設為固定值,將平滑化時與各低頻子頻帶功率power(ib,J)相乘之權重SC(1)作為平滑化參數。此種情形時,參數決定部121使權重SC(1)作為平滑化參數而變化,藉此,使平滑化之特性變化。
如上所述,即便將權重SC(1)作為平滑化參數,則對於穩定的輸入信號、或過渡性輸入信號,均能適當地抑制解碼側之高頻包絡之時間性變動。
例如,若將上述通式(31)中之權重SC(1)設為由如下之通式(33)所示之函數所決定的權重,則較之使用通式(32)所示之權重之情形相比,能進一步提高對於過渡性信號之追隨度。
再者,通式(33)中,ns係表示平滑化中使用之輸入信號之幀數ns。
當權重SC(1)作為平滑化參數之情形時,參數決定部121基於高頻子頻帶信號來決定作為平滑化參數之權重SC(1)。而且,將表示作為平滑化參數之權重SC(1)的平滑化資訊作為高頻編碼資料,傳送至解碼裝置40。
此情形時,亦可例如將權重SC(1)之值本身、即權重SC(0)~權重SC(ns-1)作為平滑化資訊,又可預先準備複數個權重SC(1),將表示其中所選擇之權重SC(1)的索引作為平滑化資訊。
解碼裝置40中,使用藉由高頻編碼資料之解碼所得的、由平滑化資訊所指定之權重SC(1),進行低頻子頻帶功率之平滑化處理。進而,亦可將權重SC(1)及幀數ns該兩者作為平滑化參數,將表示權重SC(1)之索引、及表示幀數ns之標記等作為平滑化資訊。
進而,以上,作為預先準備複數個係數集合且使作為特徵量之低頻子頻帶功率平滑化之例,已對於應用於第3實施形態中之情形進行了說明,但亦可應用於上述第1實施形態~第5實施形態中之任一實施形態。亦即,當應用於任一實施形態之情形時,均可根據平滑化參數而使使特徵量平滑化,使用平滑化後之特徵量來算出高頻側之各子頻帶之子頻帶功率之推斷值。
上述之一系列處理可藉由硬體來執行,亦可藉由軟體來執行。當藉由軟體執行一系列處理之情形時,將構成該軟體之程式自程式記錄媒體安裝至組裝有專用之硬體之電腦、或者藉由安裝各種程式而能執行各種功能的例如通用的個人電腦等中。
圖34係表示由程式執行上述一系列處理的電腦之硬體之構成例之塊圖。
電腦中,CPU501、ROM(Read Only Memory,唯讀記憶 體)502、RAM(Random Access Memory,隨機存取記憶體)503係藉由匯流排504而相互連接。
匯流排504進而連接於輸入輸出界面505。輸入輸出界面505上連接有包含鍵盤、滑鼠、麥克風等之輸入部506;包含顯示器、揚聲器等之輸出部507;包含硬碟或非揮發性記憶體等之記憶部508;包含網絡界面等之通信部509;以及驅動磁碟、光碟、光磁碟、或者半導體記憶體等可移除媒體511之驅動器510。
以如上方式構成之電腦中,CPU501將例如記憶於記憶部508之程式經由輸入輸出界面505及匯流排504下載至RAM503且執行,藉此進行上述之一系列處理。
電腦(CPU501)執行之程式係記錄於例如作為由磁碟(包含軟碟)、光碟(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc,數位影音光碟)等)、光磁碟或者半導體記憶體等構成的套裝媒體的可移移媒體511,或者,經由區域網絡、網際網路、數位衛星放送等有線或者無線的傳送媒體而提供。
而且,程式可藉由將可移除媒體511裝設於驅動器510,而經由輸入輸出界面505安裝於記憶部508。而且,程式可經由有線或者無線之傳送媒體而由通信部509接收,且安裝於記憶部508。另外,程式可預先安裝於ROM502或記憶部508。
再者,電腦執行之程式亦可為按照本說明書所說明之順序進行時序性處理的程式,亦可為並行地或者進行調用時 等必要時進行處理之程式。
再者,本發明之實施形態並不限於上述之實施形態,可於不脫離本發明之宗旨之範圍內進行各種變更。
10‧‧‧頻帶擴大裝置
11‧‧‧低通濾波器
12‧‧‧延遲電路
13、13-1~13-N‧‧‧帶通濾波器
14‧‧‧特徵量算出電路
15‧‧‧高頻子頻帶功率推斷電路
16‧‧‧高頻信號產生電路
17‧‧‧高通濾波器
18‧‧‧信號加法運算器
20‧‧‧係數學習裝置
21、21-1~21-(K+N)‧‧‧帶通濾波器
22‧‧‧高頻子頻帶功率算出電路
23‧‧‧特徵量算出電路
24‧‧‧係數推斷電路
30‧‧‧編碼裝置
31‧‧‧低通濾波器
32‧‧‧低頻編碼電路
33‧‧‧子頻帶分割電路
34‧‧‧特徵量算出電路
35‧‧‧擬似高頻子頻帶功率算出電路
36‧‧‧擬似高頻子頻帶功率差分算出電路
37‧‧‧高頻編碼電路
38‧‧‧多工化電路
40‧‧‧解碼裝置
41‧‧‧解多工化電路
42‧‧‧低頻解碼電路
43‧‧‧子頻帶分割電路
44‧‧‧特徵量算出電路
45‧‧‧高頻解碼電路
46‧‧‧解碼高頻子頻帶功率算出電路
47‧‧‧解碼高頻信號產生電路
48‧‧‧合成電路
50‧‧‧係數學習裝置
51‧‧‧低通濾波器
52‧‧‧子頻帶分割電路
53‧‧‧特徵量算出電路
54‧‧‧擬似高頻子頻帶功率算出電路
55‧‧‧擬似高頻子頻帶功率差分算出電路
56‧‧‧擬似高頻子頻帶功率差分叢集化電路
57‧‧‧係數推斷電路
121‧‧‧參數決定部
122‧‧‧平滑化部
151‧‧‧平滑化部
圖1係表示作為輸入信號之解碼後之低頻之功率譜及所推斷出之高頻之頻率包絡的一例之圖式。
圖2係表示伴隨著時間性急劇之變化之衝擊性音樂信號之本來的功率譜之一例的圖式。
圖3係表示本發明之第1實施形態中之頻帶擴大裝置之功能性構成例之塊圖。
圖4係說明圖3之頻帶擴大裝置之頻帶擴大處理之例的流程圖。
圖5係表示輸入至圖3之頻帶擴大裝置之信號之功率譜及帶通濾波器之頻率軸上的配置之圖式。
圖6係表示聲樂區間之頻率特性及所推斷出之高頻之功率譜之例的圖式。
圖7係表示輸入至圖3之頻帶擴大裝置之信號之功率譜之例的圖式。
圖8係表示圖7之輸入信號之波濾後之功率譜之例的圖式。
圖9係表示用於學習圖3之頻帶擴大裝置之高頻信號產生電路中使用之係數的係數學習裝置之功能性構成例之塊圖。
圖10係說明圖9之係數學習裝置之係數學習處理之例的 流程圖。
圖11係表示本發明之第2實施形態中之編碼裝置之功能性構成例的塊圖。
圖12係說明圖11之編碼裝置之編碼處理之例的流程圖。
圖13係表示本發明之第2實施形態中之解碼裝置之功能性構成例的塊圖。
圖14係說明圖13之解碼裝置之解碼處理之例的流程圖。
圖15係表示用於學習圖11之編碼裝置之高頻編碼電路中使用之代表頻譜及圖13之解碼裝置之高頻解碼電路中使用之解碼高頻子頻帶功率推斷係數的係數學習裝置之功能性構成例之塊圖。
圖16係說明圖15之係數學習裝置之係數學習處理之例的流程圖。
圖17係表示圖11之編碼裝置輸出之代碼串之例的圖式。
圖18係表示編碼裝置之功能性構成例之塊圖。
圖19係說明編碼處理之流程圖。
圖20係表示解碼裝置之功能性構成例之塊圖。
圖21係說明解碼處理之流程圖。
圖22係說明編碼處理之流程圖。
圖23係說明解碼處理之流程圖。
圖24係說明編碼處理之流程圖。
圖25係說明編碼處理之流程圖。
圖26係說明編碼處理之流程圖。
圖27係說明編碼處理之流程圖。
圖28係表示係數學習裝置之構成例之圖式。
圖29係說明係數學習處理之流程圖。
圖30係表示編碼裝置之功能性構成例之塊圖。
圖31係說明編碼處理之流程圖。
圖32係表示解碼裝置之功能性構成例之塊圖。
圖33係說明解碼處理之流程圖。
圖34係表示藉由程式來執行應用本發明之處理的電腦之硬體之構成例的塊圖。

Claims (16)

  1. 一種編碼裝置,其包括:子頻帶分割機構,其將輸入信號分割為複數個子頻帶,產生由低頻側之複數個子頻帶構成之低頻子頻帶信號及由高頻側之複數個子頻帶構成之高頻子頻帶信號;特徵量算出機構,其基於上述低頻子頻帶信號及上述輸入信號中之至少任一者,算出表示上述輸入信號之特徵之特徵量;平滑化機構,其使特定之幀數之上述特徵量平滑化;擬似高頻子頻帶功率算出機構,其基於已平滑化之上述特徵量及對應於上述輸入信號之係數,算出上述高頻子頻帶信號之功率之推斷值即擬似高頻子頻帶功率;選擇機構,其根據上述高頻子頻帶信號算出上述高頻子頻帶信號之功率即高頻子頻帶功率,且對上述高頻子頻帶功率與上述擬似高頻子頻帶功率進行比較,選擇複數個上述係數中之任一者;高頻編碼機構,其對用於獲得所選擇之上述係數之係數資訊、及執行上述平滑化時之幀數相關之平滑化資訊進行編碼,產生高頻編碼資料;低頻編碼機構,其對上述輸入信號之低頻之信號即低頻信號進行編碼,產生低頻編碼資料;及多工化機構,其對上述低頻編碼資料及上述高頻編碼資料進行多工化處理,獲得輸出代碼串。
  2. 如請求項1之編碼裝置,其中上述平滑化機構係藉由對 上述輸入信號之連續之上述特定之幀數之幀的上述特徵量進行加權平均而使上述特徵量平滑化。
  3. 如請求項2之編碼裝置,其中於上述平滑化資訊,包含表示上述加權平均中使用之權重之資訊。
  4. 如請求項3之編碼裝置,其進而包括參數決定機構,該參數決定機構基於上述高頻子頻帶信號而決定上述特定之幀數或上述加權平均中使用之權重中的至少一者。
  5. 如請求項1之編碼裝置,其中上述係數係藉由將根據寬頻帶教師信號所得之上述特徵量及上述高頻子頻帶功率作為說明變數及被說明變數的學習而產生。
  6. 如請求項5之編碼裝置,其中上述寬頻帶教師信號係設為對於特定之信號根據特定之編碼方式及編碼算法進行編碼、且將經編碼之上述特定之信號進行解碼後所得之信號,上述係數係針對複數個不同的編碼方式及編碼算法之各個,藉由使用上述寬頻帶教師信號之上述學習而產生。
  7. 一種編碼方法,其包括如下步驟:將輸入信號分割為複數個子頻帶,產生由低頻側之複數個子頻帶構成之低頻子頻帶信號、及由高頻側之複數個子頻帶構成之高頻子頻帶信號;基於上述低頻子頻帶信號及上述輸入信號中之至少任一者,算出表示上述輸入信號之特徵的特徵量;使特定之幀數之上述特徵量平滑化; 基於已平滑化之上述特徵量及對應於上述輸入信號之係數,算出上述高頻子頻帶信號之功率之推斷值即擬似高頻子頻帶功率;根據上述高頻子頻帶信號,算出上述高頻子頻帶信號之功率即高頻子頻帶功率,且對上述高頻子頻帶功率及上述擬似高頻子頻帶功率進行比較,選擇複數個上述係數中之任一者;對用於獲得所選擇之上述係數之係數資訊、及執行上述平滑化時之幀數相關之平滑化資訊進行編碼,產生高頻編碼資料;對上述輸入信號之低頻之信號即低頻信號進行編碼,產生低頻編碼資料;對上述低頻編碼資料及上述高頻編碼資料進行多工化處理,獲得輸出代碼串。
  8. 一種程式,其使電腦執行包括如下步驟之處理:將輸入信號分割為複數個子頻帶,產生由低頻側之複數個子頻帶構成之低頻子頻帶信號及由高頻側之複數個子頻帶構成之高頻子頻帶信號;基於上述低頻子頻帶信號及上述輸入信號中之至少任一者,算出表示上述輸入信號之特徵的特徵量;使特定之幀數之上述特徵量平滑化;基於已平滑化之上述特徵量及對應於上述輸入信號之係數,算出上述高頻子頻帶信號之功率之推斷值即擬似高頻子頻帶功率; 根據上述高頻子頻帶信號,算出上述高頻子頻帶信號之功率即高頻子頻帶功率,且對上述高頻子頻帶功率及上述擬似高頻子頻帶功率進行比較,選擇複數個上述係數中之任一者;對用於獲得所選擇之上述係數之係數資訊、及執行上述平滑化時之幀數相關之平滑化資訊進行編碼,產生高頻編碼資料;對上述輸入信號之低頻之信號即低頻信號進行編碼,產生低頻編碼資料;對上述低頻編碼資料及上述高頻編碼資料進行多工化處理,獲得輸出代碼串。
  9. 一種解碼裝置,其包括:解多工化機構,其將被輸入之編碼資料解多工化為低頻編碼資料、用於獲得用來產生高頻信號的係數之係數資訊、及與平滑化相關之平滑化資訊;低頻解碼機構,其對上述低頻編碼資料進行解碼而產生低頻信號;子頻帶分割機構,其將上述低頻信號分割為複數個子頻帶,產生上述子頻帶各自之低頻子頻帶信號;特徵量算出機構,其基於上述低頻子頻帶信號而算出用來產生高頻信號的特徵量;平滑化機構,其使藉由上述平滑化資訊所表示之幀數之上述特徵量平滑化;及產生機構,其基於根據上述係數資訊所得之上述係 數、已平滑化之上述特徵量、及上述低頻子頻帶信號而產生高頻信號。
  10. 如請求項9之解碼裝置,其中上述平滑化機構係藉由對上述低頻信號之連續之上述幀數之幀的上述特徵量進行加權平均而使上述特徵量平滑化。
  11. 如請求項10之解碼裝置,其中於上述平滑化資訊,包含表示上述加權平均中使用之權重之資訊。
  12. 如請求項9之解碼裝置,其中上述產生機構包括:解碼高頻子頻帶功率算出機構,其基於已平滑化之上述特徵量及上述係數,算出構成上述高頻信號之子頻帶之功率的推斷值即解碼高頻子頻帶功率;及高頻信號產生機構,其基於上述解碼高頻子頻帶功率及上述低頻子頻帶信號而產生上述高頻信號。
  13. 如請求項9之解碼裝置,其中上述係數係藉由將根據寬頻帶教師信號所得之上述特徵量、及上述寬頻帶教師信號之與構成上述高頻信號之子頻帶相同的子頻帶之功率作為說明變數及被說明變數的學習而產生。
  14. 如請求項13之解碼裝置,其中上述寬頻帶教師信號係設為對於特定之信號根據特定之編碼方式及編碼算法進行編碼且對經編碼之上述特定之信號進行解碼後所得的信號,上述係數係針對複數個不同的編碼方式及編碼算法之各個,藉由使用上述寬頻帶教師信號之上述學習而產生。
  15. 一種解碼方法,其包括如下步驟:將被輸入之編碼資料解多工化為低頻編碼資料、用於獲得用來產生高頻信號的係數之係數資訊、及與平滑化相關之平滑化資訊;對上述低頻編碼資料進行解碼而產生低頻信號;將上述低頻信號分割為複數個子頻帶,產生上述子頻帶各自之低頻子頻帶信號;基於上述低頻子頻帶信號算出用來產生高頻信號的特徵量;使藉由上述平滑化資訊所表示之幀數之上述特徵量平滑化;基於根據上述係數資訊所得之上述係數、已平滑化之上述特徵量、及上述低頻子頻帶信號而產生高頻信號。
  16. 一種程式,其使電腦執行包括如下步驟之處理:將被輸入之編碼資料解多工化為低頻編碼資料、用於獲得用來產生高頻信號的係數之係數資訊、及與平滑化相關之平滑化資訊;對上述低頻編碼資料進行解碼而產生低頻信號;將上述低頻信號分割為複數個子頻帶,產生上述子頻帶各自之低頻子頻帶信號;基於上述低頻子頻帶信號而算出用來產生高頻信號的特徵量;使藉由上述平滑化資訊所表示之幀數之上述特徵量平滑化; 基於根據上述係數資訊而得之上述係數、已平滑化之上述特徵量、及上述低頻子頻帶信號而產生高頻信號。
TW100136316A 2010-10-15 2011-10-06 Encoding apparatus and method, decoding apparatus and method, and program TWI479481B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010232106A JP5707842B2 (ja) 2010-10-15 2010-10-15 符号化装置および方法、復号装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
TW201227719A TW201227719A (en) 2012-07-01
TWI479481B true TWI479481B (zh) 2015-04-01

Family

ID=45938252

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100136316A TWI479481B (zh) 2010-10-15 2011-10-06 Encoding apparatus and method, decoding apparatus and method, and program

Country Status (13)

Country Link
US (4) US9177563B2 (zh)
EP (3) EP3579230B1 (zh)
JP (1) JP5707842B2 (zh)
KR (2) KR101835910B1 (zh)
CN (1) CN103155031B (zh)
AR (1) AR083365A1 (zh)
AU (1) AU2011314848B2 (zh)
BR (1) BR112013008490B1 (zh)
CA (1) CA2811085C (zh)
MX (1) MX2013003952A (zh)
RU (2) RU2630384C1 (zh)
TW (1) TWI479481B (zh)
WO (1) WO2012050023A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI752519B (zh) * 2019-06-13 2022-01-11 南韓商納寶股份有限公司 用於多媒體信號識別的電子裝置及其操作方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP5743137B2 (ja) 2011-01-14 2015-07-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5975243B2 (ja) * 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
WO2013183928A1 (ko) * 2012-06-04 2013-12-12 삼성전자 주식회사 오디오 부호화방법 및 장치, 오디오 복호화방법 및 장치, 및 이를 채용하는 멀티미디어 기기
AU2013284703B2 (en) 2012-07-02 2019-01-17 Sony Corporation Decoding device and method, encoding device and method, and program
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
JP6407150B2 (ja) * 2013-06-11 2018-10-17 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音響信号の帯域幅拡張を行う装置及び方法
CN111292757A (zh) 2013-09-12 2020-06-16 杜比国际公司 基于qmf的处理数据的时间对齐
EP3806498B1 (en) 2013-09-17 2023-08-30 Wilus Institute of Standards and Technology Inc. Method and apparatus for processing audio signal
WO2015041070A1 (ja) 2013-09-19 2015-03-26 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム
CN105874819B (zh) 2013-10-22 2018-04-10 韩国电子通信研究院 生成用于音频信号的滤波器的方法及其参数化装置
US20150170655A1 (en) * 2013-12-15 2015-06-18 Qualcomm Incorporated Systems and methods of blind bandwidth extension
KR101627661B1 (ko) 2013-12-23 2016-06-07 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치
KR20230042410A (ko) 2013-12-27 2023-03-28 소니그룹주식회사 복호화 장치 및 방법, 및 프로그램
CN106105269B (zh) 2014-03-19 2018-06-19 韦勒斯标准与技术协会公司 音频信号处理方法和设备
CN108307272B (zh) 2014-04-02 2021-02-02 韦勒斯标准与技术协会公司 音频信号处理方法和设备
JP2016038435A (ja) * 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
EP3818528A1 (en) * 2018-07-03 2021-05-12 Soclip! Beat decomposition to facilitate automatic video editing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123484A (ja) * 1994-10-28 1996-05-17 Matsushita Electric Ind Co Ltd 信号合成方法および信号合成装置
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
WO2006075563A1 (ja) * 2005-01-11 2006-07-20 Nec Corporation オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム
JP2008139844A (ja) * 2006-11-09 2008-06-19 Sony Corp 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体

Family Cites Families (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4628529A (en) 1985-07-01 1986-12-09 Motorola, Inc. Noise suppression system
JPH03254223A (ja) 1990-03-02 1991-11-13 Eastman Kodak Japan Kk アナログデータ伝送方式
JP2655485B2 (ja) 1994-06-24 1997-09-17 日本電気株式会社 音声セル符号化装置
JP3498375B2 (ja) 1994-07-20 2004-02-16 ソニー株式会社 ディジタル・オーディオ信号記録装置
JPH1020888A (ja) 1996-07-02 1998-01-23 Matsushita Electric Ind Co Ltd 音声符号化・復号化装置
US6073100A (en) 1997-03-31 2000-06-06 Goodridge, Jr.; Alan G Method and apparatus for synthesizing signals using transform-domain match-output extension
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
WO1999003096A1 (fr) 1997-07-11 1999-01-21 Sony Corporation Procede et dispositif de codage et decodage d'informations et support de distribution
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
WO2000070769A1 (fr) 1999-05-14 2000-11-23 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'elargissement de la bande d'un signal audio
US6978236B1 (en) * 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
JP3454206B2 (ja) 1999-11-10 2003-10-06 三菱電機株式会社 雑音抑圧装置及び雑音抑圧方法
CA2290037A1 (en) 1999-11-18 2001-05-18 Voiceage Corporation Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals
SE0004163D0 (sv) 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
JP2002268698A (ja) 2001-03-08 2002-09-20 Nec Corp 音声認識装置と標準パターン作成装置及び方法並びにプログラム
SE0101175D0 (sv) 2001-04-02 2001-04-02 Coding Technologies Sweden Ab Aliasing reduction using complex-exponential-modulated filterbanks
JP4231987B2 (ja) 2001-06-15 2009-03-04 日本電気株式会社 音声符号化復号方式間の符号変換方法、その装置、そのプログラム及び記憶媒体
CN1235192C (zh) 2001-06-28 2006-01-04 皇家菲利浦电子有限公司 传输系统以及用于接收窄带音频信号的接收机和方法
WO2003007480A1 (fr) 2001-07-13 2003-01-23 Matsushita Electric Industrial Co., Ltd. Dispositif de decodage de signaux audio et dispositif de codage de signaux audio
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech
US6895375B2 (en) 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
CN100395817C (zh) * 2001-11-14 2008-06-18 松下电器产业株式会社 编码设备、解码设备和解码方法
CN1279512C (zh) 2001-11-29 2006-10-11 编码技术股份公司 用于改善高频重建的方法和装置
CN1288625C (zh) 2002-01-30 2006-12-06 松下电器产业株式会社 音频编码与解码设备及其方法
JP2003255973A (ja) 2002-02-28 2003-09-10 Nec Corp 音声帯域拡張システムおよび方法
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
JP2003316394A (ja) 2002-04-23 2003-11-07 Nec Corp 音声復号システム、及び、音声復号方法、並びに、音声復号プログラム
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
KR100602975B1 (ko) 2002-07-19 2006-07-20 닛본 덴끼 가부시끼가이샤 오디오 복호 장치와 복호 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록매체
JP4728568B2 (ja) 2002-09-04 2011-07-20 マイクロソフト コーポレーション レベル・モードとラン・レングス/レベル・モードの間での符号化を適応させるエントロピー符号化
JP3881943B2 (ja) 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
US7069212B2 (en) * 2002-09-19 2006-06-27 Matsushita Elecric Industrial Co., Ltd. Audio decoding apparatus and method for band expansion with aliasing adjustment
US7330812B2 (en) 2002-10-04 2008-02-12 National Research Council Of Canada Method and apparatus for transmitting an audio stream having additional payload in a hidden sub-channel
EP1611772A1 (en) 2003-03-04 2006-01-04 Nokia Corporation Support of a multichannel audio extension
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
US20050004793A1 (en) 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
KR20050027179A (ko) 2003-09-13 2005-03-18 삼성전자주식회사 오디오 데이터 복원 방법 및 그 장치
US7844451B2 (en) 2003-09-16 2010-11-30 Panasonic Corporation Spectrum coding/decoding apparatus and method for reducing distortion of two band spectrums
WO2005027095A1 (ja) * 2003-09-16 2005-03-24 Matsushita Electric Industrial Co., Ltd. 符号化装置および復号化装置
KR20060090995A (ko) 2003-10-23 2006-08-17 마쓰시다 일렉트릭 인더스트리얼 컴패니 리미티드 스펙트럼 부호화 장치, 스펙트럼 복호화 장치, 음향 신호송신 장치, 음향 신호 수신장치 및 이들의 방법
KR100587953B1 (ko) 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
JP4810422B2 (ja) 2004-05-14 2011-11-09 パナソニック株式会社 符号化装置、復号化装置、およびこれらの方法
BRPI0510400A (pt) 2004-05-19 2007-10-23 Matsushita Electric Ind Co Ltd dispositivo de codificação, dispositivo de decodificação e método dos mesmos
EP1749296B1 (en) 2004-05-28 2010-07-14 Nokia Corporation Multichannel audio extension
KR100608062B1 (ko) 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
US7716046B2 (en) 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US20060106620A1 (en) 2004-10-28 2006-05-18 Thompson Jeffrey K Audio spatial environment down-mixer
SE0402651D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
BRPI0517780A2 (pt) 2004-11-05 2011-04-19 Matsushita Electric Ind Co Ltd aparelho de decodificação escalável e aparelho de codificação escalável
CN102201242B (zh) 2004-11-05 2013-02-27 松下电器产业株式会社 编码装置、解码装置、编码方法及解码方法
KR100657916B1 (ko) 2004-12-01 2006-12-14 삼성전자주식회사 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법
KR100707177B1 (ko) * 2005-01-19 2007-04-13 삼성전자주식회사 디지털 신호 부호화/복호화 방법 및 장치
KR100708121B1 (ko) 2005-01-22 2007-04-16 삼성전자주식회사 음성 신호의 대역 확장 방법 및 장치
MX2007012187A (es) 2005-04-01 2007-12-11 Qualcomm Inc Sistemas, metodos y aparatos para deformacion en tiempo de banda alta.
DE602006004959D1 (de) 2005-04-15 2009-03-12 Dolby Sweden Ab Zeitliche hüllkurvenformgebung von entkorrelierten signalen
US20070005351A1 (en) 2005-06-30 2007-01-04 Sathyendra Harsha M Method and system for bandwidth expansion for voice communications
JP4899359B2 (ja) 2005-07-11 2012-03-21 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
KR100813259B1 (ko) 2005-07-13 2008-03-13 삼성전자주식회사 입력신호의 계층적 부호화/복호화 장치 및 방법
KR101228630B1 (ko) 2005-09-02 2013-01-31 파나소닉 주식회사 에너지 정형 장치 및 에너지 정형 방법
CN101273404B (zh) * 2005-09-30 2012-07-04 松下电器产业株式会社 语音编码装置以及语音编码方法
KR20080047443A (ko) 2005-10-14 2008-05-28 마츠시타 덴끼 산교 가부시키가이샤 변환 부호화 장치 및 변환 부호화 방법
WO2007052088A1 (en) 2005-11-04 2007-05-10 Nokia Corporation Audio compression
KR20080070831A (ko) 2005-11-30 2008-07-31 마츠시타 덴끼 산교 가부시키가이샤 서브밴드 부호화 장치 및 서브밴드 부호화 방법
JP4876574B2 (ja) 2005-12-26 2012-02-15 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
JP4863713B2 (ja) 2005-12-29 2012-01-25 富士通株式会社 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム
RU2414009C2 (ru) * 2006-01-18 2011-03-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Устройство и способ для кодирования и декодирования сигнала
US7953604B2 (en) 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US7590523B2 (en) 2006-03-20 2009-09-15 Mindspeed Technologies, Inc. Speech post-processing using MDCT coefficients
WO2007114291A1 (ja) 2006-03-31 2007-10-11 Matsushita Electric Industrial Co., Ltd. 音声符号化装置、音声復号化装置、およびこれらの方法
EP2323131A1 (en) 2006-04-27 2011-05-18 Panasonic Corporation Audio encoding device, audio decoding device, and their method
EP2200026B1 (en) 2006-05-10 2011-10-12 Panasonic Corporation Encoding apparatus and encoding method
JP2007316254A (ja) 2006-05-24 2007-12-06 Sony Corp オーディオ信号補間方法及びオーディオ信号補間装置
KR20070115637A (ko) 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
JP2007333785A (ja) 2006-06-12 2007-12-27 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置およびオーディオ信号符号化方法
US8010352B2 (en) 2006-06-21 2011-08-30 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
KR101244310B1 (ko) 2006-06-21 2013-03-18 삼성전자주식회사 광대역 부호화 및 복호화 방법 및 장치
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
WO2008032828A1 (fr) 2006-09-15 2008-03-20 Panasonic Corporation Dispositif de codage audio et procédé de codage audio
JP4918841B2 (ja) 2006-10-23 2012-04-18 富士通株式会社 符号化システム
US8295507B2 (en) 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
KR101565919B1 (ko) 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
JP4930320B2 (ja) 2006-11-30 2012-05-16 ソニー株式会社 再生方法及び装置、プログラム並びに記録媒体
CN101548318B (zh) 2006-12-15 2012-07-18 松下电器产业株式会社 编码装置、解码装置以及其方法
JP4984983B2 (ja) 2007-03-09 2012-07-25 富士通株式会社 符号化装置および符号化方法
JP2008261978A (ja) 2007-04-11 2008-10-30 Toshiba Microelectronics Corp 再生音量自動調整方法
US8015368B2 (en) 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
EP2159790B1 (en) 2007-06-27 2019-11-13 NEC Corporation Audio encoding method, audio decoding method, audio encoding device, audio decoding device, program, and audio encoding/decoding system
JP5071479B2 (ja) 2007-07-04 2012-11-14 富士通株式会社 符号化装置、符号化方法および符号化プログラム
JP5045295B2 (ja) 2007-07-30 2012-10-10 ソニー株式会社 信号処理装置及び方法、並びにプログラム
US8041577B2 (en) 2007-08-13 2011-10-18 Mitsubishi Electric Research Laboratories, Inc. Method for expanding audio signal bandwidth
US9495971B2 (en) 2007-08-27 2016-11-15 Telefonaktiebolaget Lm Ericsson (Publ) Transient detector and method for supporting encoding of an audio signal
DK3401907T3 (da) 2007-08-27 2020-03-02 Ericsson Telefon Ab L M Fremgangsmåde og indretning til perceptuel spektral afkodning af et audiosignal omfattende udfyldning af spektrale huller
CN101939782B (zh) 2007-08-27 2012-12-05 爱立信电话股份有限公司 噪声填充与带宽扩展之间的自适应过渡频率
EP2209116B8 (en) 2007-10-23 2014-08-06 Clarion Co., Ltd. Device and method for high-frequency range interpolation of an audio signal
KR101373004B1 (ko) 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
JP4733727B2 (ja) 2007-10-30 2011-07-27 日本電信電話株式会社 音声楽音擬似広帯域化装置と音声楽音擬似広帯域化方法、及びそのプログラムとその記録媒体
WO2009057329A1 (ja) 2007-11-01 2009-05-07 Panasonic Corporation 符号化装置、復号装置およびこれらの方法
KR101290622B1 (ko) 2007-11-02 2013-07-29 후아웨이 테크놀러지 컴퍼니 리미티드 오디오 복호화 방법 및 장치
US20090132238A1 (en) 2007-11-02 2009-05-21 Sudhakar B Efficient method for reusing scale factors to improve the efficiency of an audio encoder
WO2009059631A1 (en) 2007-11-06 2009-05-14 Nokia Corporation Audio coding apparatus and method thereof
JP2009116275A (ja) 2007-11-09 2009-05-28 Toshiba Corp 雑音抑圧、音声スペクトル平滑化、音声特徴抽出、音声認識及び音声モデルトレーニングための方法及び装置
US8527282B2 (en) 2007-11-21 2013-09-03 Lg Electronics Inc. Method and an apparatus for processing a signal
US8688441B2 (en) 2007-11-29 2014-04-01 Motorola Mobility Llc Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content
EP2224432B1 (en) 2007-12-21 2017-03-15 Panasonic Intellectual Property Corporation of America Encoder, decoder, and encoding method
WO2009084221A1 (ja) 2007-12-27 2009-07-09 Panasonic Corporation 符号化装置、復号装置およびこれらの方法
EP2077551B1 (en) 2008-01-04 2011-03-02 Dolby Sweden AB Audio encoder and decoder
EP2239731B1 (en) 2008-01-25 2018-10-31 III Holdings 12, LLC Encoding device, decoding device, and method thereof
KR101413968B1 (ko) 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
US8433582B2 (en) 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
US20090201983A1 (en) 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
EP2259253B1 (en) 2008-03-03 2017-11-15 LG Electronics Inc. Method and apparatus for processing audio signal
KR101449434B1 (ko) 2008-03-04 2014-10-13 삼성전자주식회사 복수의 가변장 부호 테이블을 이용한 멀티 채널 오디오를부호화/복호화하는 방법 및 장치
EP3296992B1 (en) 2008-03-20 2021-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for modifying a parameterized representation
KR20090122142A (ko) 2008-05-23 2009-11-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US8498344B2 (en) 2008-06-20 2013-07-30 Rambus Inc. Frequency responsive bus coding
KR101518532B1 (ko) 2008-07-11 2015-05-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 인코더, 오디오 디코더, 오디오 신호, 오디오 스트림을 부호화 및 복호화하는 장치 및 컴퓨터 프로그램
CA2730198C (en) 2008-07-11 2014-09-16 Frederik Nagel Audio signal synthesizer and audio signal encoder
JP5203077B2 (ja) 2008-07-14 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
EP2320416B1 (en) 2008-08-08 2014-03-05 Panasonic Corporation Spectral smoothing device, encoding device, decoding device, communication terminal device, base station device, and spectral smoothing method
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
US8352279B2 (en) 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
US8532983B2 (en) 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Adaptive frequency prediction for encoding or decoding an audio signal
WO2010028299A1 (en) 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Noise-feedback for spectral envelope quantization
US8798776B2 (en) 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
GB0822537D0 (en) 2008-12-10 2009-01-14 Skype Ltd Regeneration of wideband speech
GB2466201B (en) 2008-12-10 2012-07-11 Skype Ltd Regeneration of wideband speech
CN101770776B (zh) 2008-12-29 2011-06-08 华为技术有限公司 瞬态信号的编码方法和装置、解码方法和装置及处理系统
MY180550A (en) 2009-01-16 2020-12-02 Dolby Int Ab Cross product enhanced harmonic transposition
US8457975B2 (en) 2009-01-28 2013-06-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio decoder, audio encoder, methods for decoding and encoding an audio signal and computer program
JP4945586B2 (ja) 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
US8463599B2 (en) 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
WO2010098112A1 (ja) 2009-02-26 2010-09-02 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
JP5564803B2 (ja) 2009-03-06 2014-08-06 ソニー株式会社 音響機器及び音響処理方法
CN101853663B (zh) 2009-03-30 2012-05-23 华为技术有限公司 比特分配方法、编码装置及解码装置
EP2239732A1 (en) 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
CO6440537A2 (es) 2009-04-09 2012-05-15 Fraunhofer Ges Forschung Aparato y metodo para generar una señal de audio de sintesis y para codificar una señal de audio
JP5223786B2 (ja) 2009-06-10 2013-06-26 富士通株式会社 音声帯域拡張装置、音声帯域拡張方法及び音声帯域拡張用コンピュータプログラムならびに電話機
US8515768B2 (en) 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5928539B2 (ja) 2009-10-07 2016-06-01 ソニー株式会社 符号化装置および方法、並びにプログラム
CN102081927B (zh) 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
US8600749B2 (en) 2009-12-08 2013-12-03 At&T Intellectual Property I, L.P. System and method for training adaptation-specific acoustic models for automatic speech recognition
US8447617B2 (en) 2009-12-21 2013-05-21 Mindspeed Technologies, Inc. Method and system for speech bandwidth extension
EP2357649B1 (en) 2010-01-21 2012-12-19 Electronics and Telecommunications Research Institute Method and apparatus for decoding audio signal
TWI529703B (zh) 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
JP5375683B2 (ja) 2010-03-10 2013-12-25 富士通株式会社 通信装置および電力補正方法
WO2011121782A1 (ja) 2010-03-31 2011-10-06 富士通株式会社 帯域拡張装置および帯域拡張方法
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5652658B2 (ja) 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
WO2011127832A1 (en) 2010-04-14 2011-10-20 Huawei Technologies Co., Ltd. Time/frequency two dimension post-processing
US8560330B2 (en) 2010-07-19 2013-10-15 Futurewei Technologies, Inc. Energy envelope perceptual correction for high band coding
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
CA3203400C (en) 2010-07-19 2023-09-26 Dolby International Ab Processing of audio signals during high frequency reconstruction
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP2012058358A (ja) 2010-09-07 2012-03-22 Sony Corp 雑音抑圧装置、雑音抑圧方法およびプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
WO2012052802A1 (en) 2010-10-18 2012-04-26 Nokia Corporation An audio encoder/decoder apparatus
JP5743137B2 (ja) 2011-01-14 2015-07-01 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5704397B2 (ja) 2011-03-31 2015-04-22 ソニー株式会社 符号化装置および方法、並びにプログラム
JP6024077B2 (ja) 2011-07-01 2016-11-09 ヤマハ株式会社 信号送信装置および信号処理装置
JP5975243B2 (ja) 2011-08-24 2016-08-23 ソニー株式会社 符号化装置および方法、並びにプログラム
JP6037156B2 (ja) 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP5845760B2 (ja) 2011-09-15 2016-01-20 ソニー株式会社 音声処理装置および方法、並びにプログラム
IN2014CN01270A (zh) 2011-09-29 2015-06-19 Dolby Int Ab
WO2013154027A1 (ja) 2012-04-13 2013-10-17 ソニー株式会社 復号装置および方法、オーディオ信号処理装置および方法、並びにプログラム
JP5997592B2 (ja) 2012-04-27 2016-09-28 株式会社Nttドコモ 音声復号装置
AU2013284703B2 (en) 2012-07-02 2019-01-17 Sony Corporation Decoding device and method, encoding device and method, and program
TWI517142B (zh) 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program
CN103748629B (zh) 2012-07-02 2017-04-05 索尼公司 解码装置和方法、编码装置和方法以及程序
AU2013284705B2 (en) 2012-07-02 2018-11-29 Sony Corporation Decoding device and method, encoding device and method, and program
JP2014123011A (ja) 2012-12-21 2014-07-03 Sony Corp 雑音検出装置および方法、並びに、プログラム
WO2015041070A1 (ja) 2013-09-19 2015-03-26 ソニー株式会社 符号化装置および方法、復号化装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123484A (ja) * 1994-10-28 1996-05-17 Matsushita Electric Ind Co Ltd 信号合成方法および信号合成装置
JP2003216190A (ja) * 2001-11-14 2003-07-30 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
WO2006075563A1 (ja) * 2005-01-11 2006-07-20 Nec Corporation オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム
JP2008139844A (ja) * 2006-11-09 2008-06-19 Sony Corp 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI752519B (zh) * 2019-06-13 2022-01-11 南韓商納寶股份有限公司 用於多媒體信號識別的電子裝置及其操作方法
US11468257B2 (en) 2019-06-13 2022-10-11 Naver Corporation Electronic apparatus for recognizing multimedia signal and operating method of the same

Also Published As

Publication number Publication date
JP5707842B2 (ja) 2015-04-30
BR112013008490B1 (pt) 2021-06-22
RU2630384C1 (ru) 2017-09-07
EP4220638A1 (en) 2023-08-02
US20130208902A1 (en) 2013-08-15
TW201227719A (en) 2012-07-01
US9177563B2 (en) 2015-11-03
EP3579230B1 (en) 2023-06-07
US20170352365A1 (en) 2017-12-07
US9767824B2 (en) 2017-09-19
US10236015B2 (en) 2019-03-19
US20170076737A1 (en) 2017-03-16
EP2608199A4 (en) 2016-04-20
WO2012050023A1 (ja) 2012-04-19
AR083365A1 (es) 2013-02-21
JP2012083678A (ja) 2012-04-26
KR20130141478A (ko) 2013-12-26
CA2811085A1 (en) 2012-04-19
RU2013115770A (ru) 2014-10-20
KR101835910B1 (ko) 2018-03-07
KR20180026791A (ko) 2018-03-13
AU2011314848A1 (en) 2013-03-28
EP2608199B1 (en) 2019-08-21
RU2589293C2 (ru) 2016-07-10
MX2013003952A (es) 2013-06-03
US9536542B2 (en) 2017-01-03
US20160012829A1 (en) 2016-01-14
BR112013008490A2 (pt) 2016-08-09
KR101979557B1 (ko) 2019-05-16
CN103155031A (zh) 2013-06-12
AU2011314848B2 (en) 2014-11-20
EP3579230A1 (en) 2019-12-11
CA2811085C (en) 2019-01-08
CN103155031B (zh) 2015-04-01
EP2608199A1 (en) 2013-06-26

Similar Documents

Publication Publication Date Title
TWI479481B (zh) Encoding apparatus and method, decoding apparatus and method, and program
TWI480862B (zh) Band expanding apparatus and method, coding apparatus and method, decoding apparatus and method, and program
TWI484482B (zh) Signal processing apparatus and method, coding apparatus and method, decoding apparatus and method, and signal processing program
TWI480863B (zh) Signal processing apparatus and method, coding apparatus and method, decoding apparatus and method, and program product
JP6508551B2 (ja) 復号装置および方法、並びにプログラム
JP6341306B2 (ja) 信号処理装置および方法、並びにプログラム