JP5277508B2 - マルチ・チャンネル音響信号をエンコードするための装置および方法 - Google Patents

マルチ・チャンネル音響信号をエンコードするための装置および方法 Download PDF

Info

Publication number
JP5277508B2
JP5277508B2 JP2010527010A JP2010527010A JP5277508B2 JP 5277508 B2 JP5277508 B2 JP 5277508B2 JP 2010527010 A JP2010527010 A JP 2010527010A JP 2010527010 A JP2010527010 A JP 2010527010A JP 5277508 B2 JP5277508 B2 JP 5277508B2
Authority
JP
Japan
Prior art keywords
signal
acoustic signal
time difference
acoustic
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010527010A
Other languages
English (en)
Other versions
JP2010541007A (ja
Inventor
アラステア ギブス、ジョナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of JP2010541007A publication Critical patent/JP2010541007A/ja
Application granted granted Critical
Publication of JP5277508B2 publication Critical patent/JP5277508B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M3/00Conversion of analogue values to or from differential modulation
    • H03M3/30Delta-sigma modulation
    • H03M3/458Analogue/digital converters using delta-sigma modulation as an intermediate step
    • H03M3/466Multiplexed conversion systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、マルチ・チャンネル音響信号をエンコードするための装置および方法に関し、特に、しかしこれに限らないが、ステレオ音声信号をモノラル信号にダウン・ミックスして、モノラル・エンコーダ、たとえば符号励振線形予測エンコーダを用いたエンコードを図ることに関する。
音響信号を効率的にエンコードすることは、用途およびシステムの数がますます増える場合に重要である。たとえば、モバイル通信では、効率的な音声エンコーダを用いて、無線インターフェースを介して送信する必要があるデータ量を減らしている。
たとえば、国際電気通信連合(International Telecommunication Union:ITU)では、エンベデッド可変ビットレート・コーデック(Embeded Variable Bit Rate Codec:EV−VBR)として知られる音声エンコーダを標準化している。これは、音声信号を高品質で8〜64kbpの範囲のデータ・レートでエンコードすることができるものである。このエンコーダは、他の多くの効率的な音声エンコーダと同様に、符号励振線形予測(Code Excited Linear Prediction:CELP)技術を用いて、より低いビットレートの動作におけるエンコード処理の高い圧縮比を達成している。
用途によっては、複数の音響信号を取り込む場合があり、特にステレオ信号を、2つのマイクロフォンを用いた音響システムにおいて録音する場合がある。たとえば、ステレオ録音を通常、オーディオ・ビデオ会議とともに放送用途において用いる場合がある。
多くのマルチ・チャンネル・エンコード・システムにおいて、特に多くのマルチ・チャンネル音声エンコード・システムにおいて、低レベルのエンコードは単一チャンネルのエンコードに基づいている。このようなシステムでは、コーダーの下部層がエンコードするために、マルチ・チャンネル信号をモノラル信号に変換する場合がある。このモノラル信号の生成は、ダウン・ミキシングと言われる。このようなダウン・ミキシングは、モノラル信号に対するステレオ信号の様相(aspect)を記載するパラメータに関連付けられる場合がある。具体的には、ダウン・ミキシングによって、左および右のチャンネル間のタイミング差を特徴づけるチャネル間時間差(inter−channel time difference:ITD)情報を生成する場合がある。たとえば、2つのマイクロフォンが互いに少し離れて位置する場合、話者が一方のマイクロフォンの方に他方よりも近くに位置するときには、話者から出る信号は、後者のマイクロフォンには最初のものより遅れて到達する。このITDを、決定する場合があり、またデコーダにおいてモノラル信号からステレオ信号を再現するために用いる場合がある。ITDによって、再現されるステレオ立体感(stereo perspective)の品質が著しく向上する場合がある。なぜならば、ITDは、周波数がほぼ1kHzを下回る場合にはステレオ位置に対する支配的な知覚的影響であることが分かっているからである。したがって、ITDを推定することも重要である。
従来、モノラル信号は、ステレオ信号を一緒に加算することによって生成される。その後、モノラル信号はエンコードされ、ITDとともにデコーダに送信される。
たとえば、欧州電気通信標準化機構は、その技術仕様書ETSI−TS126290「拡張した適応マルチ・レート広帯域(Adaptive Multi−Rate − Wideband:AMR−WB+)コーデック;トランスコーディング機能」において、ステレオ信号ダウン・ミキシングを規定している。ここでは、モノラル信号は単に、以下のように左および右チャンネルの平均値として決められている。
ML(n)=0.5(XLL(n)+XRL(n))
ここで、XML(n)はモノラル信号のN番目のサンプルを表わし、XLL(n)は左チャンネル信号のN番目のサンプルを表わし、XRL(n)は右チャンネル信号のn番目のサンプルを表わしている。
ダウン・ミックスの別の例が以下の文献に示されている。H.パーンヘーゲン(Purnhagen)、「MPEG4における低複雑性パラメータ・ステレオ・コーディング(Low Complexity Parametric Stereo Coding in MPEG−4)」、会議記録第7回デジタル音響効果に関する国際会議(7th International Conference on Digital Audio Effects)(DAFx’04)、ナポリ(Naples)、イタリア(Italy)、10月5日〜8日、2004年、163〜168ページ。この文献では、ダウン・ミキシング法として、出力モノラル信号を、チャネル間強度差(IID)について得られる情報を用いてバンド毎の周波数に基づく着信チャンネルの加重和として得る方法について説明している。具体的には以下の通りである。
M[k,i]=gL[k,i]+gR[k,i]
ここで、M[k,i]は、モノラル信号のk番目の周波数ビン(frequency bin)のi番目のサンプルを表わし、L[k,i]は、左チャンネル信号のk番目の周波数ビンのi番目のサンプルを表わし、R[k,i]は、右チャンネル信号のk番目の周波数ビンのi番目のサンプルを表わし、gは左チャンネル重みであり、gは右チャンネル重みである。
このようなアプローチの特徴は、結果として、モノラル信号の残響時間が高いか、あるいは複雑性および遅延の少なくとも一方が高いかである。たとえば、AMR−WB+のダウン・ミキシング法で得られる出力の残響時間はほぼ、部屋の残響時間プラス2つのマイクロフォン間の飛行時間である。パーンヘーゲンにおいて与えられるダウン・ミックスは、複雑性が高く、周波数解析および再構成に起因する遅延が課される。
しかし、多くのモノラル・エンコーダでは、残響時間が低い信号に対して最良の結果が得られる。たとえば、低ビット・レートCELP音声コーダー、およびパルス・ベースの励起を用いて音声および音響信号を表わす他のエンコーダは、残響時間が短い信号を提示されるときに最良に機能する。したがって、エンコーダの性能、および結果として生じるエンコード後の信号の品質は、準最適となる傾向がある。
したがって、改善されたシステムは優位であり、特に、更なる適応性、実施容易性、改善したエンコード品質、改善したエンコード効率、減少した遅延、および改善した性能の少なくとも一つを可能とするシステムが優位であろう。
H.パーンヘーゲン(Purnhagen)、「MPEG4における低複雑性パラメータ・ステレオ・コーディング(Low Complexity Parametric Stereo Coding in MPEG−4)」、会議記録第7回デジタル音響効果に関する国際会議(7th International Conference on Digital Audio Effects)(DAFx’04)、ナポリ(Naples)、イタリア(Italy)、10月5日〜8日、2004年、163〜168ページ
したがって本発明の目的は、好ましくは、前述した不利のうちの1つまたは複数を、単独でまたは任意の組み合わせで、軽減するか、緩和するか、またはなくすことである。
本発明の態様によれば、マルチ・チャンネル音響信号をエンコードするための装置であって、少なくとも第1のマイクロフォンからの第1の音響信号と第2のマイクロフォンからの第2の音響信号とを含むマルチ・チャンネル音響信号を受信する受信部と、第1の音響信号と第2の音響信号との間の相互時間差を決定する時間差ユニットと、相互時間差信号に応じて第1の音響信号と第2の音響信号との少なくとも一方を遅延させることによって、マルチ・チャンネル音響信号から補償済みマルチ・チャンネル音響信号を生成する遅延ユニットと、補償済みマルチ・チャンネル音響信号のチャンネルを組み合わせることによってモノラル信号を生成するモノラル・ユニットと、モノラル信号をエンコードするモノラル信号エンコーダとを備える装置が提供される。
本発明によって、マルチ・チャンネル音響信号のエンコードの改善が得られる場合がある。特に、ある特定のデータ・レートに対する品質の向上が、多くの実施形態において実現される場合がある。本発明によって、ステレオ信号からのモノラル・ダウン・ミックス信号のモノラル・エンコードを改善することが、モノラル・ダウン・ミックス信号の残響時間を短くすることによって得られる場合がある。遅延ユニットは、どのマイクロフォンが(主の)音源に最も近いかに応じて、第1の音響信号または第2の音響信号のいずれかを遅延させても良い。相互時間差は、同じ音源から生じる第1および第2の音響信号の対応する音響成分間の時間差を表示したものであっても良い。モノラル信号を生成するユニットを、第1および第2の音響信号に対応する組み合わせマルチ・チャンネル音響信号の2つのチャンネルを合計するように構成しても良い。一部の実施形態においては、合計は加重和であっても良い。
本発明の任意的な特徴によれば、時間差ユニットは、複数の時間オフセットに対して第1の音響信号と第2の音響信号との間の相互相関を決定し、相互相関に応じて相互時間差を決定するように構成される。
この特徴によって、相互時間差の決定が改善される場合がある。この特徴によって、エンコード後の音響信号の品質が向上する場合、実施が容易になる場合、および複雑性が減る場合の少なくとも一つがある。特に、この特徴によって、モノラル信号及び相互時間差から得られるステレオ信号のステレオ知覚(perception)が向上する場合がある。相互相関は、相互時間差が個々の相互相関の時間オフセットに等しくなる確率を示しても良い。
本発明の別の態様によれば、マルチ・チャンネル音響信号をエンコードする方法であって、少なくとも第1のマイクロフォンからの第1の音響信号と第2のマイクロフォンからの第2の音響信号とを含むマルチ・チャンネル音響信号を受信すること、第1の音響信号と第2の音響信号との間の相互時間差を決定すること、相互時間差信号に応じて第1の音響信号と第2の音響信号との少なくとも一方を遅延させることによって、マルチ・チャンネル音響信号から補償済みマルチ・チャンネル音響信号を生成すること、補償済みマルチ・チャンネル音響信号のチャンネルを組み合わせることによってモノラル信号を生成すること、モノラル信号エンコーダにおいてモノラル信号をエンコードすることを含む方法が提供される。
本発明のこれらおよび他の態様、特徴および優位性は、以下に説明する実施形態から明らかとなり、また実施形態を参照して明瞭になる。
本発明の一部の実施形態によるマルチ・チャンネル音響信号をエンコードするための装置の例を例示する図である。 本発明の一部の実施形態による相互時間差を推定するための処理ユニットの例を例示する図である。 本発明の一部の実施形態による白色化プロセッサの例を例示する図である。 本発明の一部の実施形態によるトレリス状態機械に対する状態更新の例を例示する図である。 本発明の一部の実施形態によるマルチ・チャンネル音響信号をエンコードするための方法の例を例示する図である。
本発明の実施形態は、単に一例として、図面を参照して説明する。
以下の説明では、モノラル・エンコーダを用いたマルチ・チャンネル音響信号のエンコード、特にモノラルCELPエンコーダを用いたステレオ音声信号のエンコードに適用可能な本発明の実施形態に焦点を当てる。
図1に、本発明の一部の実施形態によるマルチ・チャンネル音響信号をエンコードするための装置を例示する。この具体例では、ステレオ音声信号は、モノラル信号にダウン・ミックスされ、モノラル・エンコーダを用いてエンコードされる。
装置は、2つのマイクロフォン101、103を備える。これらは、2つのマイクロフォンが配置される音響環境から音響信号を取り込む。この例では、2つのマイクロフォンを、部屋内の音声信号を記録するために使用し、最大3メートルの内部距離で配置する。特定の応用例では、マイクロフォン101、103は、たとえば部屋内の複数の人間から音声信号を記録しても良く、2つのマイクロフォンを用いることによって部屋のより良好な音響対象範囲(audio coverage)が得られる場合がある。
マイクロフォン101、103は、フレーム・プロセッサ105に結合されている。フレーム・プロセッサ105は、第1および第2の信号を、第1および第2のマイクロフォン101、103からそれぞれ受信する。フレーム・プロセッサによって、信号が連続的なフレームに分割される。この具体例では、サンプル周波数は16kサンプル/秒であり、フレームの継続時間は20msecであり、その結果、各フレームには320個のサンプルが含まれる。フレーム処理は必ずしも、音声経路への付加的な遅延とはならないことに注意されたい。その理由は、このフレームが、音声エンコード用に用いるものと同じフレームであってよく、またはフレーム処理がたとえば、古い音声サンプルに対して行なわれてもよいからである。
フレーム・プロセッサ105は、ITDプロセッサ107に結合されている。ITDプロセッサ107は、第1の音響信号と第2の音響信号との間の相互時間差を決定するように構成されている。相互時間差は、一方のチャンネルにおける信号の、他方のチャンネルにおける信号に対する遅延を表示したものである。この例では、相互時間差は、どちらのチャンネルが他方に対して遅延されているかに応じて、正であっても良いし負であっても良い。遅延は通常、支配的な音声源(すなわち、現在話している話者)とマイクロフォン101、103との間の遅延の差に起因して起こる。
ITDプロセッサ107はさらに、2つの遅延109、111に結合されている。第1の遅延109は、第1の音響チャンネルに遅延を導入するように構成され、第2の遅延109は、第2の音響チャンネルに遅延を導入するように構成されている。導入する遅延の量は、推定される相互時間差に依存する。さらに、この具体例では、常に遅延のうちの1つのみを用いる。その結果、推定される相互時間差の符号に応じて、遅延が第1または第2の音響信号のいずれかに導入される。遅延量は、推定される相互時間差にできるだけ近くなるように、具体的に設定される。結果として、遅延109、111の出力における音響信号は、厳密に時間整合され、具体的には相互時間差は通常はゼロに近い。
遅延109、111は結合器113に結合されている。結合器113は、補償済みマルチ・チャンネル音響信号のチャンネルを組み合わせることによってモノラル信号を生成するものであり、具体的には遅延109、111からの2つの出力信号を組み合わせることによって行なう。この例では、結合器113は、2つの信号を一緒に加える単純な総和ユニットである。さらに、信号を0.5倍に縮尺して、モノラル信号の振幅を組み合わせ前の個々の信号の振幅と同様に維持する。
こうして、結合器113の出力は、2つの取り込まれた信号のダウン・ミックスであるモノラル信号となる。さらに、遅延と、相互時間差の減少とに起因して、生成されたモノラル信号は残響が著しく減っている。
結合器113はモノラル・エンコーダ115に結合されている。モノラル・エンコーダ115は、モノラル信号のモノラル・エンコードを行なって、エンコード済みのデータを生成する。この具体例では、モノラル・エンコーダは、国際電気通信連合(ITU)によって標準化されるべきエンベデッド可変ビットレート・コーデック(EV−VBR)による符号励振線形予測(CELP)エンコーダである。
CELPコーダーは、極めて効率的なエンコードを実現するものとして、具体的には、低データ・レートの場合であっても良好な音声品質を実現するものとして知られている。しかしCELPコーダーは、残響時間が高い信号に対しては同様に機能しない傾向があり、したがって従来行なわれているモノラル・ダウン・ミックスのエンコードには適していなかった。しかし、遅延補償および結果として生じる残響の低下に起因して、CELPモノラル・エンコーダを図1の装置において用いて、音声ダウン・ミックス・モノラル信号の非常に効率的なエンコードが得られる場合がある。当然のことながら、これらの優位性は特にCELPモノラル・エンコーダに対して適切であるが、それに限定されるわけではなく、他の多くのエンコーダに適用しても良い。
モノラル・エンコーダ115は、出力マルチプレクサ117に結合されている。出力マルチプレクサ117はさらに、ITDプロセッサ107に結合されている。この例では、出力マルチプレクサ117は、モノラル・エンコーダ115から得られるエンコーディング・データと、ITDプロセッサ107から得られる相互時間差を表わすデータとを多重化して、単一の出力ビットストリームにする。ビットストリームに相互時間差を含めることによって、デコーダを、エンコーディング・データからデコードされたモノラル信号からステレオ信号を再現する際に助ける場合がある。
その結果、説明したシステムによって、性能の向上が得られ、特に、ある特定のデータ・レートに対して音響品質の向上が得られる場合がある。特に、モノラル・エンコーダたとえばCELPエンコーダの使用方法が改善されることによって、品質が著しく向上する場合がある。さらに、説明した機能は実施が容易であり、資源要求が比較的低い。
以下、ITDプロセッサ107が行なう相互時間差の推定について、図2を参照して説明する。
ITDプロセッサ107が用いるアルゴリズムは、チャンネル間の異なる可能な時間オフセットに対して、第1および第2の音響信号間の相互相関の経時的観測を組み合わせることによって、相互時間差の推定を決定するものである。相関は、間引きされたLPCの残りの領域(decimated LPC residual domain)において、より明確な相関を実現し、実施を容易にし、および計算要求を減らすために行なわれる。この例では、相互相関を処理して、−12msと+12msとの間(±〜4メートル)における各潜在的な遅延に関連する確率を導き出した後に、確率を、変更されたビタビ様アルゴリズムを用いて蓄積する。その結果、固有のヒステリシスを伴う相互時間差が推定される。
ITDプロセッサ107は間引きプロセッサ(decimation processor)201を備える。間引きプロセッサ201は、フレーム・プロセッサ105から2つのチャンネルに対するサンプルのフレームを受信する。間引きプロセッサ201は、最初に低域通過フィルタリングを行ない、その後に間引きを行なう。この具体例では、低域通過フィルタの帯域幅は約2kHzであり、間引き係数として4を16kサンプル/秒の信号に対して使用する結果、間引きされるサンプル周波数は4kサンプル/秒となる。フィルタリングおよび間引きの効果は部分的に、処理するサンプルの数を減らすことであり、その結果、計算要求が減る。しかしまたこのアプローチによって、相互時間差の推定を、相互時間差の知覚的な重要性が最も著しいもっと低い周波数に対してフォーカスすることができる。こうして、フィルタリングおよび間引きによって、計算負担が減るだけでなく、最も影響を受けやすい周波数にとって相互時間差の推定が適切であることを確実にする相乗効果が得られる。
間引きプロセッサ201は白色化プロセッサ203に結合されている。白色化プロセッサ(whitening processor)203は、相関に先立って、スペクトル白色化アルゴリズムを第1および第2の音響信号に適用するように構成されている。スペクトル白色化は、発声または発音の音声(voiced or tonal speech)の場合に、インパルスの組にさらに厳密に似ている2つの信号の時間領域信号を生じさせるので、以後の相関は、より明確な相互相関値をもたらすことができ、具体的には、より狭い相関ピークをもたらすことができる(インパルスの周波数応答が、平坦または白色スペクトルに対応し、逆に白色スペクトルの時間領域表現がインパルスとなる)。
この具体例では、スペクトル白色化は、第1および第2の音響信号に対する線形予測係数を算出することと、線形予測係数に応じて第1および第2の音響信号をフィルタリングすることとを含む。
図3に、白色化プロセッサ203の要素を示す。具体的には、間引きプロセッサ201から出た信号は、LPCプロセッサ301、303に供給される。LPCプロセッサ301、303は、2つの信号に対して線形予測フィルタに対する線形予測係数(Linear Predictive Coefficient:LPC)を決定する。当然のことながら、LPCを決定するための種々のアルゴリズムが当業者には知られており、本発明を損なうことなく好適な任意のアルゴリズムを用いても良い。
この例では、2つの音響信号が2つのフィルタ305、307に供給される。フィルタ305、307は、LPCプロセッサ301、303に結合されている。2つのフィルタは、LPCプロセッサ301、303によって決定された線形予測フィルタの逆フィルタとなるように決定される。具体的には、LPCプロセッサ301、303によって線形予測フィルタの逆フィルタに対する係数が決定され、2つのフィルタの係数はこれらの値に設定される。
2つの逆フィルタ305、307の出力は、発声の音声(voiced speech)の場合に、インパルス列の組と似ており、その結果、音声領域(speech domain)において可能であろう場合よりも、著しくより正確な相互相関を行なうことができる。
白色化プロセッサ203は、相関器205に結合されている。相関器205は、複数の時間オフセットに対する2つのフィルタ305、307の出力信号間の相互相関を決定するために配置されている。
具体的には、相関器は以下の値を決定することができる。
Figure 0005277508
ここで、tは時間オフセットであり、xおよびyは、2つの信号のサンプルであり、Nは、特定のフレームにおけるサンプルを表わしている。
相関は、可能な時間オフセットの組に対して行なう。この具体例では、相関は、±12msecの最大の時間オフセットに対応する全体として97個の時間オフセットに対して行なわれる。しかし、当然のことながら、他の実施形態においては時間オフセットの他の組を用いても良い。
こうして、相関器は97個の相互相関値を生成する。各相互相関は、2つのチャンネル間の特定の時間オフセットに、したがって可能な相互時間差に対応する。相互相関値は、特定の時間オフセットに対して2つの信号がどのくらい厳密にマッチしているかを示す表示に対応している。したがって、相互相関値が高い場合には信号は厳密にマッチしており、それに応じて、時間オフセットが正確な相互時間差の推定であるという確率は高い。逆に、相互相関値が低い場合には信号は厳密にはマッチしておらず、それに応じて、時間オフセットが正確な相互時間差の推定であるという確率は低い。こうして、各フレームに対して、相関器205は97個の相互相関値を生成し、各値は、対応する時間オフセットが正しい相互時間差であるという確率を表示するものである。
この例では、相関器205は、第1および第2の音響信号に対するウィンドウ処理を相互相関の前に行なうために配置されている。具体的には、2つの信号の各フレーム・サンプル・ブロックは、20ms窓(14msの矩形の中央部分と各端部における2つの3msのハン部分(Hann portions)とを含む)を用いてウィンドウ処理される。このウィンドウ処理によって、精度が向上し、相関窓のエッジにおける境界効果の影響が減る場合がある。
また、この例では、相互相関が規格化されている。規格は、具体的には、実現可能な最大の(すなわち、2つの信号が同一であるときの)相互相関値が1の値(unity value)を有することを確実にするためである。規格化によって、入力信号の信号レベルと試験した相関時間オフセットとは比較的無関係な相互相関値が得られ、その結果、確率の表示がより正確になる。特に、一続きのフレームに対する比較および処理を向上させることができる。
単純な実施形態においては、相関器205の出力を直接評価しても良く、現在フレームに対する相互時間差を、相互相関値が示すような最も確率が高い値に設定しても良い。しかし、このような方法では、音声信号が有声から無声へそして無音へと変動したときに、出力の信頼性がそれほど高くはない傾向があるであろう。説明した例では、相関器から状態プロセッサ207に供給され、そこで複数の状態に対して相関値が処理されて、より正確な相互時間差の推定が行なわれる。
この例では、相関値を、状態プロセッサ207において実施されるビタビ(Viterbi)・アルゴリズム・メトリック(metric)・アキュームレータに対する更新工程として用いる。
その結果、状態プロセッサ207によって、具体的には、時間オフセットに対応した多くの状態を有するメトリック・アキュームレータが実現される。こうして、各状態は、時間オフセットを表わし、蓄積されたメトリック値が付随している。
したがって、メトリック・アキュームレータの形態のビタビ・ベースのトレリス(trellis)状態機械は、相関値が計算された時間オフセット(すなわち、具体例では97個の状態/時間オフセット)のそれぞれに対して計量値を記憶する。各状態/時間オフセットは、具体的には、その状態の時間オフセットに相互時間差が対応する確率を示す確率メトリックに関連している。
すべての時間オフセットに対する確率メトリックをあらゆるフレームにおいて再計算して、現在フレームに対して決定された相関値を考慮に入れる。具体的には、経路メトリックを、相互相関に応じて状態/時間オフセットに対して計算する。この具体例では、相互相関を対数領域に、式log(0.5+p)を適用して変換する。ここで、pは、i番目の相関値(規格化処理により0〜1であり、相互時間差が、関連する時間オフセットに対応する確率に対応する)である。
この例では、ある特定の確率メトリックへの寄与は、その時間オフセットの以前の確率メトリックと、現在のフレームに対して計算されたオフセットに対する相関値とから決定される。加えて、寄与が由来する相関値は、相互時間差がある値から別の値に変化する(すなわち、最も起こりそうな状態が、ある時間オフセットのそれであることから、別の時間オフセットのそれであることに変化する)状況に対応する隣接する時間オフセットに関連する相関値である。
隣接する相互時間差値に対応する隣接する状態からの経路に対する経路メトリックは、同じ状態からの経路に対する経路メトリックよりもかなり低く加重される。具体的には、実験が示すところによれば、隣接する相関値が、同じ状態に対する相互相関よりも少なくとも5倍高く加重されるときに、特定の優位な性能が見出される。この具体例では、隣接する状態の経路メトリックは0.009倍加重され、同じ状態の経路メトリックは0.982倍加重される。
図4に、トレリス状態機械に対するフレームtに対するメトリック更新の例を例示する。この具体例では、時間tにおける状態Sに対する状態確率メトリックの計算を、時間t−1における状態Sと時間t−1における隣接する状態Sn−1およびSn+1とを含む以前の状態の下位集合からの経路の経路メトリックから行なう。具体的には、状態Sに対する状態確率メトリックは以下のように与えられる。
Figure 0005277508
ここで、P は、フレームtにおける状態xから状態nへの計算された加重経路メトリックである。
この例では、最も低い状態確率メトリックをすべての状態確率メトリックから差し引くことによって、確率メトリックを各フレームにおいて変更する。この結果、連続して増える状態確率メトリックに由来するオーバー・フロー問題が軽減される。
この例では、ある特定の時間オフセットメトリックに対する寄与が、オフセット自体および隣接するオフセットを含むオフセットの下位集合に対してのみ含まれている。しかし当然のことながら、他の実施形態においては、時間オフセットの他の下位集合を考慮しても良い。
この例では、トレリス状態機械に対する状態メトリックは各フレームにおいて更新される。しかし従来のビタビ・アルゴリズムとは対照的に、状態プロセッサ207は、各状態に対して好ましい経路を選択するのではなく、ある特定の状態に対する状態確率メトリックを、その状態に入るすべての経路に由来する組み合わせ寄与として計算する。また状態プロセッサ207は、存続している経路を決定するためにトレリスを通ってさかのぼって追跡することはしない。むしろ、この例では、現時点での相互時間差の推定を、現時点で状態確率メトリックが最も高い状態に対応する時間オフセットとして、単純に選択することができる。その結果、状態機械では遅延を受けない。さらに、確率状態メトリックは以前の値(および他の状態)に依存するため、ヒステリシスが本来的に実現される。
具体的には、状態プロセッサ207はITDプロセッサ209に結合されている。ITDプロセッサ209では、状態確率メトリックが最も高い状態に付随する時間オフセットから相互時間差を決定する。具体的には、ITDプロセッサ209は相互時間差を直接、状態確率メトリックが最も高い状態の時間オフセットに等しくなるように設定しても良い。
ITDプロセッサ209は、遅延プロセッサ211に結合されている。遅延プロセッサ211では、遅延109、111に適用されるべき遅延を決定する。最初に、遅延プロセッサ211は、間引きプロセッサ201において適用される間引き係数によって相互時間差を補償する。単純な実施形態においては、推定された相互時間差を、間引きされた(たとえば、250μsの分解能に対応して4kHzで間引きされた)ある数のサンプルとして与えても良く、これに間引き係数を乗じて、ある数の間引きされていないサンプルに変換しても良い(たとえば、係数4を乗じて16kHzのサンプルにしても良い)。
この例では、遅延プロセッサ211は、両方の遅延109、111に対して値を設定する。具体的には、相互時間差の符号に応じて、遅延の一方をゼロに設定し、他方の遅延を、計算された数の間引きされていないサンプルに設定する。
相互時間差を計算するための説明したアプローチによって、エンコード後の信号の品質が向上し、特に、エンコード前のモノラル信号の残響が減る。その結果、CELPモノラル・エンコーダ115の動作および性能が向上する。
具体的な試験を行なった。すなわち、3つのステレオ試験信号を会議室内で、一対のマイクロフォンを異なる構成で用いて記録した。第1の構成では、マイクロフォンを1m離して配置し、2人の男性話者が軸上で2つのマイクロフォンのそれぞれの向こうに座り、試験会話を記録した。第2の構成では、2つのマイクロフォンを3m離して配置し、男性話者がこの場合も軸上で2つのマイクロフォンのそれぞれの向こうに座った。最後の構成では、マイクロフォンを2m離し、2人の話者がマイクロフォンの軸に側面を向けて、しかし軸の対向する側で、2つのマイクロフォンのそれぞれの方を向いた。これらのシナリオのすべてにおいて、アルゴリズムは遅延を十分に追跡し、結果として得られるモノラル信号が、ITU−TEV−VBRコーデックに対するベースライン・アルゴリズムを用いてエンコードされたときに、SEGSNRおよびWSEGSNRにおいてほぼ0.3dbのゲインが、各シナリオにおいて観察された。
一部の実施形態においては、ある遅延から別の遅延への移行は、遅延109、111によって適切な信号が遅延されるサンプルの数を変えることによって単純に実現される。しかし一部の実施形態においては、1つの遅延から別の遅延への滑らかな移行を行なうための機能が含まれていても良い。
具体的には、第1の遅延から第2の遅延への移行を、移行前に遅延によって遅延される第1の信号と、移行後に遅延によって遅延される第2の信号とを生成することによって行なうように、装置を構成しても良い。次に第1および第2の信号を組み合わせて、移行前の信号と移行後の信号との両方からの寄与を含む組み合わせ信号を生成する。2つの信号からの寄与を徐々に変えて、最初は、寄与が主にまたは排他的に第1の信号からであり、移行の終わりでは、寄与が主にまたは排他的に第2の信号からとなるようにする。
その結果、装置は、遅延移行の間に、初期遅延と最終遅延とに対応する2つの信号を合成しても良い。2つの信号を、次の様な加重和によって組み合わせても良い。
S=a・S+b・S
ここで、SおよびSは第1および第2の信号を表わし、aおよびbは、移行間隔(具体的には単一のフレームに等しくても良い)の間に変更される重みである。具体的には、最初に、値をa=1およびb=0に設定しても良く、最終値をa=0およびb=1に設定しても良い。これらの値の間の移行を、好適な任意の関数に従って行なっても良く、具体的には、移行の間に関係a+b=1を維持しても良い。
こうして、このような実施形態においては、異なる遅延間の滑らかな移行が、両方の遅延に対する信号を合成することによって、および時間領域において一方から他方へ徐々に移すことによって実現される。
この具体例では、20msのハーフ・ハン(half−Hann)のオーバーラップ加算窓を適用して、ある遅延から次の遅延までの移行が可能な限り微小となることを確実にしている。
図5に、本発明の一部の実施形態によるマルチ・チャンネル音響信号をエンコードする方法を例示する。
本方法は工程501で始まる。工程501では、少なくとも第1のマイクロフォンからの第1の音響信号と第2のマイクロフォンからの第2の音響信号とを含むマルチ・チャンネル音響信号を受信する。
工程501に続く工程503では、第1の音響信号と第2の音響信号との間の相互時間差を決定する。
工程503に続く工程505では、相互時間差信号に応じて第1および第2のステレオ信号の少なくとも一方を遅延させることによって、マルチ・チャンネル音響信号から補償済みマルチ・チャンネル音響信号が生成される。
工程505に続く工程507では、補償済みマルチ・チャンネル音響信号のチャンネルを組み合わせることによってモノラル信号が生成される。
工程507に続く工程509では、モノラル信号を、モノラル信号エンコーダによってエンコードする。
当然のことながら、前述の記載では、明瞭さを得るために、異なる機能ユニットおよびプロセッサを参照して本発明の実施形態を説明した。しかし明らかなように、本発明を損なうことなく、異なる機能ユニットまたはプロセッサ間での任意の好適に分配された機能性を用いても良い。たとえば、別個のプロセッサまたはコントローラが行なうと例示した機能性を、同じプロセッサまたはコントローラが行なっても良い。したがって、特定の機能ユニットを参照することは、厳密な論理または物理的構造または組織を示すことではなく、単に、記載した機能性を実現するための好適な手段を参照することであるとみるべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせを含む任意の好適な形態において実施することができる。本発明は、少なくとも部分的に、1つまたは複数のデータ・プロセッサおよび/またはデジタル・シグナル・プロセッサ上で実行するコンピュータ・ソフトウェアとして、任意的に実施しても良い。本発明の実施形態の要素およびコンポーネントを、任意の好適な方法で物理的、機能的、および論理的に実施しても良い。実際には、機能性を、単一のユニットにおいて実施しても良いし、複数のユニットにおいて実施しても良いし、または他の機能ユニットの一部として実施しても良い。こうして、本発明を、単一のユニットにおいて実施しても良いし、または異なる単位およびプロセッサ間で物理的および機能的に分配しても良い。
本発明を、一部の実施形態と関連して説明してきたが、本明細書で述べた特定の形態に限定することは意図していない。むしろ、本発明の範囲は添付の請求項のみによって限定される。さらに加えて、ある特徴が特定の実施形態と関連して説明されているように見える場合があったとしても、当業者であれば分かるように、説明した実施形態の種々の特徴を本発明に従って組み合わせても良い。請求項では、用語「備える」は、他の要素または工程の存在を除外するものではない。
さらに、別個に列記しているが、複数のユニット、手段、要素、または方法工程を、たとえば、単一のユニットまたはプロセッサによって実施しても良い。さらに加えて、別個の特徴が異なる請求項に含まれている場合があるが、これらを組み合わせることはおそらく優位な場合があり、異なる請求項に含まれていても、特徴の組み合わせが実現可能ではなくおよび/または優位ではないという意味は含まない。また特徴が請求項の1つのカテゴリに含まれていても、このカテゴリに限定されるという意味は含まず、むしろ、その特徴は必要に応じて他の請求項カテゴリに等しく適用可能であるということを示すものである。さらに、請求項における特徴の順序は、特徴を作用させなければならない何らかの特定の順序を意味するものではなく、特に方法請求項における個々の工程の順序は、工程をこの順序で行なわなければならないということを意味するものではない。むしろ、工程は好適な任意の順番で行なっても良い。

Claims (9)

  1. マルチ・チャンネル音響信号をエンコードするための装置であって、
    少なくとも第1のマイクロフォンからの第1の音響信号と第2のマイクロフォンからの第2の音響信号とを含む前記マルチ・チャンネル音響信号を受信する受信部と、
    前記第1の音響信号と前記第2の音響信号との間の相互相関の経時的観測を組み合わせることによって前記第1の音響信号と前記第2の音響信号との間の相互時間差を決定するための時間差ユニットであって、前記相互時間差を決定する際に、ビタビ様アルゴリズムを用いて前記相互相関を処理して各潜在的な遅延に関連する確率を導き出し蓄積する、前記時間差ユニットと、
    相互時間差信号に応じて前記第1の音響信号及び前記第2の音響信号のうちの一方を遅延させることによって、前記マルチ・チャンネル音響信号から補償済みマルチ・チャンネル音響信号を生成する遅延ユニットであって、前記補償済みマルチ・チャンネル音響信号は、遅延した前記第1の音響信号及び前記第2の音響信号、または前記第1の音響信号及び遅延した前記第2の音響信号を含む、前記遅延ユニットと、
    前記補償済みマルチ・チャンネル音響信号からモノラル信号を生成するモノラル・ユニットと、
    前記モノラル信号をエンコードするモノラル信号エンコーダと
    エンコードされた前記モノラル信号と相互時間差を表すデータとを多重化するマルチプレクサと
    を備える装置。
  2. 前記時間差ユニットは、相互相関に先立って、前記第1の音響信号と前記第2の音響信号とを低域通過フィルタリングするように構成される、請求項1に記載の装置。
  3. 前記時間差ユニットは、相互相関に先立って、前記第1の音響信号と前記第2の音響信号とを間引くように構成される、請求項1に記載の装置。
  4. 前記遅延ユニットは、間引きの間引き係数に対して前記相互時間差を補償して、前記第1の音響信号及び前記第2の音響信号の一方に対する遅延を決定するように構成される、請求項1に記載の装置。
  5. 前記時間差ユニットは、相互相関に先立って、前記第1の音響信号及び前記第2の音響信号に対してスペクトル白色化を適用するように構成される、請求項1に記載の装置。
  6. 前記時間差ユニットは、相互相関に先立って、前記第1の音響信号及び前記第2の音響信号のウィンドウ処理を実行するように構成される、請求項1に記載の装置。
  7. 前記時間差ユニットは、
    複数の状態を有するトレリス状態機械であって、前記複数の状態の各々は、前記複数の時間オフセットのうちの一つの時間オフセットに対応する、前記トレリス状態機械と、
    前記相互相関に応じて前記トレリス状態機械の状態に対する経路メトリックを決定する経路ユニットと、
    以前の状態から現在の状態までの経路と関連する経路メトリックに応じて、前記状態に対する状態メトリックを決定する計算ユニットと、
    前記状態メトリックに応じて前記相互時間差を決定するユニットと
    を含む、請求項1に記載の装置。
  8. 前記遅延ユニットは、第1の遅延に応じて第1の補償済みマルチ・チャンネル音響信号を生成し、第2の遅延に応じて第2の補償済みマルチ・チャンネル音響信号を生成することによって、第1の遅延から第2の遅延へ移行するとともに、前記第1の補償済みマルチ・チャンネル音響信号と前記第2の補償済みマルチ・チャンネル音響信号とを組み合わせて前記補償済みマルチ・チャンネル音響信号を生成するように構成される、請求項1に記載の装置。
  9. システムによりマルチ・チャンネル音響信号をエンコードする方法であって、
    少なくとも第1のマイクロフォンからの第1の音響信号と第2のマイクロフォンからの第2の音響信号とを含む前記マルチ・チャンネル音響信号を受信すること、
    前記第1の音響信号と前記第2の音響信号との間の相互相関の経時的観測を組み合わせることによって前記第1の音響信号と前記第2の音響信号との間の相互時間差を決定し、前記相互時間差を決定する際に、ビタビ様アルゴリズムを用いて前記相互相関を処理して各潜在的な遅延に関連する確率を導き出し蓄積すること、
    相互時間差信号に応じて前記第1の音響信号及び第2の音響信号のうちの一方を遅延させることによって、前記マルチ・チャンネル音響信号から補償済みマルチ・チャンネル音響信号を生成することであって、前記補償済みマルチ・チャンネル音響信号は、遅延した前記第1の音響信号及び前記第2の音響信号、または前記第1の音響信号及び遅延した前記第2の音響信号を含む、前記生成すること、
    前記補償済みマルチ・チャンネル音響信号のチャンネルからモノラル信号を生成すること、
    モノラル信号エンコーダにおいて前記モノラル信号をエンコードすること
    エンコードされた前記モノラル信号と相互時間差を表すデータとを多重化すること
    を含む方法。
JP2010527010A 2007-09-25 2008-09-09 マルチ・チャンネル音響信号をエンコードするための装置および方法 Expired - Fee Related JP5277508B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0718682.8 2007-09-25
GB0718682.8A GB2453117B (en) 2007-09-25 2007-09-25 Apparatus and method for encoding a multi channel audio signal
PCT/US2008/075703 WO2009042386A1 (en) 2007-09-25 2008-09-09 Apparatus and method for encoding a multi channel audio signal

Publications (2)

Publication Number Publication Date
JP2010541007A JP2010541007A (ja) 2010-12-24
JP5277508B2 true JP5277508B2 (ja) 2013-08-28

Family

ID=38670458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010527010A Expired - Fee Related JP5277508B2 (ja) 2007-09-25 2008-09-09 マルチ・チャンネル音響信号をエンコードするための装置および方法

Country Status (13)

Country Link
US (3) US8577045B2 (ja)
EP (1) EP2206110B1 (ja)
JP (1) JP5277508B2 (ja)
KR (1) KR101120913B1 (ja)
CN (1) CN101809655B (ja)
BR (1) BRPI0817982B1 (ja)
CA (1) CA2698600C (ja)
GB (1) GB2453117B (ja)
MX (1) MX2010002846A (ja)
MY (1) MY169423A (ja)
RU (1) RU2450369C2 (ja)
WO (1) WO2009042386A1 (ja)
ZA (1) ZA201001672B (ja)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8515767B2 (en) * 2007-11-04 2013-08-20 Qualcomm Incorporated Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs
EP2237267A4 (en) * 2007-12-21 2012-01-18 Panasonic Corp STEREOSIGNALUMSETZER, STEREOSIGNALWANDLER AND METHOD THEREFOR
BRPI1008915A2 (pt) * 2009-02-27 2018-01-16 Panasonic Corp dispositivo de determinação de tom e método de determinação de tom
CN102157152B (zh) 2010-02-12 2014-04-30 华为技术有限公司 立体声编码的方法、装置
US8463414B2 (en) 2010-08-09 2013-06-11 Motorola Mobility Llc Method and apparatus for estimating a parameter for low bit rate stereo transmission
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
EP2671221B1 (en) 2011-02-03 2017-02-01 Telefonaktiebolaget LM Ericsson (publ) Determining the inter-channel time difference of a multi-channel audio signal
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
WO2013029225A1 (en) * 2011-08-29 2013-03-07 Huawei Technologies Co., Ltd. Parametric multichannel encoder and decoder
WO2013088208A1 (en) * 2011-12-15 2013-06-20 Nokia Corporation An audio scene alignment apparatus
US8811630B2 (en) 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9524098B2 (en) 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
USD721352S1 (en) 2012-06-19 2015-01-20 Sonos, Inc. Playback device
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US8965033B2 (en) 2012-08-31 2015-02-24 Sonos, Inc. Acoustic optimization
US9129600B2 (en) * 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US8976959B2 (en) * 2012-11-21 2015-03-10 Clinkle Corporation Echo delay encoding
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
USD721061S1 (en) 2013-02-25 2015-01-13 Sonos, Inc. Playback device
JP6224827B2 (ja) 2013-06-10 2017-11-01 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 分配量子化及び符号化を使用した累積和表現のモデル化によるオーディオ信号包絡符号化、処理及び復号化の装置と方法
CN104681029B (zh) 2013-11-29 2018-06-05 华为技术有限公司 立体声相位参数的编码方法及装置
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
CN103856869A (zh) * 2014-03-12 2014-06-11 深圳市中兴移动通信有限公司 音效处理方法和摄像装置
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9367283B2 (en) 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
USD883956S1 (en) 2014-08-13 2020-05-12 Sonos, Inc. Playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9973851B2 (en) 2014-12-01 2018-05-15 Sonos, Inc. Multi-channel playback of audio content
CN106033672B (zh) * 2015-03-09 2021-04-09 华为技术有限公司 确定声道间时间差参数的方法和装置
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
USD906278S1 (en) 2015-04-25 2020-12-29 Sonos, Inc. Media player device
USD886765S1 (en) 2017-03-13 2020-06-09 Sonos, Inc. Media playback device
USD920278S1 (en) 2017-03-13 2021-05-25 Sonos, Inc. Media playback device with lights
US20170085972A1 (en) 2015-09-17 2017-03-23 Sonos, Inc. Media Player and Media Player Design
USD768602S1 (en) 2015-04-25 2016-10-11 Sonos, Inc. Playback device
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US9460727B1 (en) * 2015-07-01 2016-10-04 Gopro, Inc. Audio encoder for wind and microphone noise reduction in a microphone array system
US9613628B2 (en) 2015-07-01 2017-04-04 Gopro, Inc. Audio decoder for wind and microphone noise reduction in a microphone array system
US9729118B2 (en) 2015-07-24 2017-08-08 Sonos, Inc. Loudness matching
US9877134B2 (en) * 2015-07-28 2018-01-23 Harman International Industries, Incorporated Techniques for optimizing the fidelity of a remote recording
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9736610B2 (en) 2015-08-21 2017-08-15 Sonos, Inc. Manipulation of playback device response using signal processing
US9712912B2 (en) 2015-08-21 2017-07-18 Sonos, Inc. Manipulation of playback device response using an acoustic filter
USD1043613S1 (en) 2015-09-17 2024-09-24 Sonos, Inc. Media player
CN108028985B (zh) 2015-09-17 2020-03-13 搜诺思公司 用于计算设备的方法
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
ES2904275T3 (es) 2015-09-25 2022-04-04 Voiceage Corp Método y sistema de decodificación de los canales izquierdo y derecho de una señal sonora estéreo
US10152977B2 (en) * 2015-11-20 2018-12-11 Qualcomm Incorporated Encoding of multiple audio signals
US10115403B2 (en) * 2015-12-18 2018-10-30 Qualcomm Incorporated Encoding of multiple audio signals
US10074373B2 (en) * 2015-12-21 2018-09-11 Qualcomm Incorporated Channel adjustment for inter-frame temporal shift variations
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
WO2017125559A1 (en) * 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses and methods for encoding or decoding an audio multi-channel signal using spectral-domain resampling
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US9978381B2 (en) * 2016-02-12 2018-05-22 Qualcomm Incorporated Encoding of multiple audio signals
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
CN105897738B (zh) * 2016-05-20 2017-02-22 电子科技大学 一种用于多信道环境的实时流编码方法
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
GB201615538D0 (en) * 2016-09-13 2016-10-26 Nokia Technologies Oy A method , apparatus and computer program for processing audio signals
USD851057S1 (en) 2016-09-30 2019-06-11 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
US10412473B2 (en) 2016-09-30 2019-09-10 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
USD827671S1 (en) 2016-09-30 2018-09-04 Sonos, Inc. Media playback device
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
CN106647103B (zh) * 2017-03-09 2019-12-06 电子科技大学 一种用于孤子自频移全光模数转换的编码装置及方法
CN108877815B (zh) * 2017-05-16 2021-02-23 华为技术有限公司 一种立体声信号处理方法及装置
CN109215667B (zh) 2017-06-29 2020-12-22 华为技术有限公司 时延估计方法及装置
CN109427338B (zh) * 2017-08-23 2021-03-30 华为技术有限公司 立体声信号的编码方法和编码装置
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation
US10872611B2 (en) * 2017-09-12 2020-12-22 Qualcomm Incorporated Selecting channel adjustment method for inter-frame temporal shift variations
US11741114B2 (en) * 2017-12-19 2023-08-29 ExxonMobil Technology and Engineering Company Data analysis platform
ES2909343T3 (es) * 2018-04-05 2022-05-06 Fraunhofer Ges Forschung Aparato, método o programa informático para estimar una diferencia de tiempo entre canales
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US11670317B2 (en) 2021-02-23 2023-06-06 Kyndryl, Inc. Dynamic audio quality enhancement

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4544919A (en) * 1982-01-03 1985-10-01 Motorola, Inc. Method and means of determining coefficients for linear predictive coding
JPS58152542A (ja) * 1982-03-05 1983-09-10 株式会社東芝 X線診断装置
US5434948A (en) * 1989-06-15 1995-07-18 British Telecommunications Public Limited Company Polyphonic coding
DE4320990B4 (de) * 1993-06-05 2004-04-29 Robert Bosch Gmbh Verfahren zur Redundanzreduktion
JP2762957B2 (ja) 1995-05-22 1998-06-11 日本電気株式会社 災害用電話システム、及び交換機、電話機
US5844947A (en) * 1995-12-28 1998-12-01 Lucent Technologies Inc. Viterbi decoder with reduced metric computation
KR100189906B1 (ko) * 1996-04-17 1999-06-01 윤종용 비터비 복호화방법 및 그 회로
US6236731B1 (en) * 1997-04-16 2001-05-22 Dspfactory Ltd. Filterbank structure and method for filtering and separating an information signal into different bands, particularly for audio signal in hearing aids
US6253172B1 (en) * 1997-10-16 2001-06-26 Texas Instruments Incorporated Spectral transformation of acoustic signals
US6452985B1 (en) * 1998-03-18 2002-09-17 Sony Corporation Viterbi decoding apparatus and Viterbi decoding method
JP2000004495A (ja) * 1998-06-16 2000-01-07 Oki Electric Ind Co Ltd 複数マイク自由配置による複数話者位置推定方法
JP2000044995A (ja) 1998-07-29 2000-02-15 Toppan Printing Co Ltd インキローラー洗浄剤
US6973184B1 (en) * 2000-07-11 2005-12-06 Cisco Technology, Inc. System and method for stereo conferencing over low-bandwidth links
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
DE60326782D1 (de) 2002-04-22 2009-04-30 Koninkl Philips Electronics Nv Dekodiervorrichtung mit Dekorreliereinheit
ES2280736T3 (es) 2002-04-22 2007-09-16 Koninklijke Philips Electronics N.V. Sintetizacion de señal.
EP1523863A1 (en) * 2002-07-16 2005-04-20 Koninklijke Philips Electronics N.V. Audio coding
KR101049751B1 (ko) * 2003-02-11 2011-07-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
US6988064B2 (en) * 2003-03-31 2006-01-17 Motorola, Inc. System and method for combined frequency-domain and time-domain pitch extraction for speech signals
RU2005135650A (ru) * 2003-04-17 2006-03-20 Конинклейке Филипс Электроникс Н.В. (Nl) Синтез аудиосигнала
US20070038439A1 (en) * 2003-04-17 2007-02-15 Koninklijke Philips Electronics N.V. Groenewoudseweg 1 Audio signal generation
ES2291939T3 (es) * 2003-09-29 2008-03-01 Koninklijke Philips Electronics N.V. Codificacion de señales de audio.
US7313720B1 (en) * 2004-02-12 2007-12-25 Network Appliance, Inc. Technique for increasing the number of persistent consistency point images in a file system
US20070168183A1 (en) * 2004-02-17 2007-07-19 Koninklijke Philips Electronics, N.V. Audio distribution system, an audio encoder, an audio decoder and methods of operation therefore
ATE405925T1 (de) 2004-09-23 2008-09-15 Harman Becker Automotive Sys Mehrkanalige adaptive sprachsignalverarbeitung mit rauschunterdrückung
US7653155B1 (en) * 2004-11-04 2010-01-26 Sandia Corporation Using convolutional decoding to improve time delay and phase estimation in digital communications
WO2006070757A1 (ja) * 2004-12-28 2006-07-06 Matsushita Electric Industrial Co., Ltd. 音声符号化装置および音声符号化方法
KR100936684B1 (ko) * 2005-01-13 2010-01-13 후지쯔 가부시끼가이샤 음 수신 장치
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US7583808B2 (en) * 2005-03-28 2009-09-01 Mitsubishi Electric Research Laboratories, Inc. Locating and tracking acoustic sources with microphone arrays
JP4948401B2 (ja) * 2005-05-31 2012-06-06 パナソニック株式会社 スケーラブル符号化装置およびスケーラブル符号化方法
US7653533B2 (en) * 2005-10-24 2010-01-26 Lg Electronics Inc. Removing time delays in signal paths
EP1953736A4 (en) * 2005-10-31 2009-08-05 Panasonic Corp STEREO CODING DEVICE AND METHOD FOR PREDICTING STEREO SIGNAL
CN1809105B (zh) * 2006-01-13 2010-05-12 北京中星微电子有限公司 适用于小型移动通信设备的双麦克语音增强方法及系统
WO2007110103A1 (en) * 2006-03-24 2007-10-04 Dolby Sweden Ab Generation of spatial downmixes from parametric representations of multi channel signals
US7599441B2 (en) * 2006-06-20 2009-10-06 Newport Media, Inc. Low complexity soft-input Viterbi decoding for digital communication systems

Also Published As

Publication number Publication date
GB2453117B (en) 2012-05-23
RU2450369C2 (ru) 2012-05-10
WO2009042386A4 (en) 2009-06-25
CN101809655A (zh) 2010-08-18
WO2009042386A1 (en) 2009-04-02
EP2206110B1 (en) 2017-01-11
CN101809655B (zh) 2012-07-25
RU2010116295A (ru) 2011-11-10
EP2206110A1 (en) 2010-07-14
GB0718682D0 (en) 2007-10-31
MX2010002846A (es) 2010-04-01
JP2010541007A (ja) 2010-12-24
US20110085671A1 (en) 2011-04-14
US20170116997A1 (en) 2017-04-27
MY169423A (en) 2019-04-03
US9570080B2 (en) 2017-02-14
KR101120913B1 (ko) 2012-02-27
CA2698600C (en) 2015-01-20
ZA201001672B (en) 2016-02-24
US20130282384A1 (en) 2013-10-24
BRPI0817982B1 (pt) 2020-05-05
EP2206110A4 (en) 2015-12-09
BRPI0817982A2 (pt) 2015-04-07
GB2453117A (en) 2009-04-01
CA2698600A1 (en) 2009-04-02
KR20100057666A (ko) 2010-05-31
US8577045B2 (en) 2013-11-05

Similar Documents

Publication Publication Date Title
JP5277508B2 (ja) マルチ・チャンネル音響信号をエンコードするための装置および方法
JP6641018B2 (ja) チャネル間時間差を推定する装置及び方法
RU2425340C2 (ru) Оптимизированное по точности кодирование с подавлением упреждающего эхо
JP6063555B2 (ja) マルチチャネルオーディオエンコーダ及びマルチチャネルオーディオ信号を符号化する方法
JP4809370B2 (ja) マルチチャネル音声符号化における適応ビット割り当て
TWI490853B (zh) 多聲道音訊處理技術
KR102550424B1 (ko) 채널 간 시간 차를 추정하기 위한 장치, 방법 또는 컴퓨터 프로그램
JP5724044B2 (ja) 多重チャネル・オーディオ信号の符号化のためのパラメトリック型符号化装置
JP5737077B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
CN108369810B (zh) 用于对多声道音频信号进行编码的自适应声道缩减处理
TWI508058B (zh) 多聲道音訊處理技術
WO2009084226A1 (ja) ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120514

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130104

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130502

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

LAPS Cancellation because of no payment of annual fees
R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350