JP5270357B2 - 信号処理で時間遅延を補償する方法 - Google Patents

信号処理で時間遅延を補償する方法 Download PDF

Info

Publication number
JP5270357B2
JP5270357B2 JP2008537580A JP2008537580A JP5270357B2 JP 5270357 B2 JP5270357 B2 JP 5270357B2 JP 2008537580 A JP2008537580 A JP 2008537580A JP 2008537580 A JP2008537580 A JP 2008537580A JP 5270357 B2 JP5270357 B2 JP 5270357B2
Authority
JP
Japan
Prior art keywords
signal
downmix
domain
spatial information
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008537580A
Other languages
English (en)
Other versions
JP2009512900A (ja
Inventor
スク パン，ヒー
スー キム，ドン
ヒュン リム，ジェ
オ オー，ヒェン
ウォン ジュン，ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060078222A external-priority patent/KR20070037985A/ko
Priority claimed from KR1020060078219A external-priority patent/KR20070074442A/ko
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2009512900A publication Critical patent/JP2009512900A/ja
Application granted granted Critical
Publication of JP5270357B2 publication Critical patent/JP5270357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Oscillators With Electromechanical Resonators (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

本発明は、信号処理に関するものである。
多チャネルオーディオコーディング（一般的に、空間オーディオコーディングという。）は、多チャネルオーディオ信号の空間イメージを各空間パラメータの圧縮されたセットに捕えることができる。ここで、空間パラメータは、伝送されたダウンミックス信号から高音質の多チャネル信号を合成するために用いられる。
多様なコーディング設計が支援される多チャネルオーディオシステムにおいて、ダウンミックス信号は、信号処理（例えば、時間-周波数ドメイン変換）過程のために、他のダウンミックス信号及び／または対応する各空間パラメータに比べて時間的に遅延される。
本発明は、ダウンミックス信号及び空間情報を含むオーディオ信号を受信する段階と、第１ドメインのダウンミックス信号を第２ドメインのダウンミックス信号に変換し、第１の変換されたダウンミックス信号を提供する段階と、第２ドメインの前記第１の変換されたダウンミックス信号を第３ドメインのダウンミックス信号に変換し、第２の変換されたダウンミックス信号を提供する段階と、前記第２の変換されたダウンミックス信号と前記空間情報とを結合する段階とを含み、前記結合された空間情報は、前記変換過程の経過時間だけ遅延されることを特徴とするオーディオ信号処理方法を提供する。
以下、本発明の好適な実施例に対して説明するが、これら各例は、添付の図面に示されている。
オーディオ信号は、多様なドメイン上で信号処理が可能であり、特に、時間ドメイン上で信号処理されるので、オーディオ信号は、時間の配列を考慮して適切に信号処理する必要がある。
したがって、オーディオ信号のドメインは、オーディオ信号処理過程で変換される。前記オーディオ信号のドメインの変換は、時間／周波数ドメイン変換及びコンプレックスドメイン変換を含むことができる。前記時間／周波数ドメイン変換は、時間ドメイン信号の周波数ドメイン信号への変換、及び周波数ドメイン信号の時間ドメイン信号への変換のうち少なくとも一つを含むことができる。前記コンプレックスドメイン変換は、前記オーディオ信号処理動作でのコンプレックスによるドメイン変換を意味する。また、前記コンプレックスドメイン変換は、リアル周波数ドメインにある信号のコンプレックス（ｃｏｍｐｌｅｘ）周波数ドメインへの変換、及びコンプレックス周波数ドメインにある信号のリアル周波数ドメインへの変換などを含むことができる。オーディオ信号が時間配列を考慮せずに処理される場合、音質が低下するおそれがある。遅延過程は、前記配列過程で行われる。前記遅延過程は、エンコーディング遅延及びデコーディング遅延のうち少なくとも一つを含むことができる。前記エンコーディング遅延は、エンコーディング過程において考慮された遅延によって信号が遅延されることを意味する。前記デコーディング遅延は、デコーディングする間に表れた実際の時間遅延を意味する。
本発明を説明する前に、本明細書で使用される用語を次のように定義する。
本明細書で使用される「ダウンミックス連結ドメイン」とは、多チャネルオーディオ信号を生成する多チャネルデコーディング部で伝送を受けられるダウンミックス信号のドメインをいい、「レジデュアル連結ドメイン」とは、前記多チャネルデコーディング部で伝送を受けられるレジデュアル信号のドメインをいう。そして「時系列データ」とは、多チャネルオーディオ信号との時間同期化または時間の配列が必要なデータで、例えば、動画像、イメージ及びテキストなどがある。また、「リーディング（ｌｅａｄｉｎｇ）」とは、信号を特定時間だけ操り上げることをいい、「ラギング（Ｌａｇｇｉｎｇ）」とは、信号を特定時間だけ遅延させることをいう。また、「空間情報」とは、多チャネルオーディオ信号を合成するための情報を意味する。前記空間情報は、空間パラメータを含むことができる。例えば、前記空間パラメータは、二つのチャネル間のエネルギー差を意味するＣＬＤ（ｃｈａｎｎｅｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ）、二つのチャネル間の相関関係を意味するＩＣＣ（ｉｎｔｅｒ ｃｈａｎｎｅｌ ｃｏｈｅｒｅｎｃｅｓ）、及び二つのチャネルから三つのチャネルを生成するときに用いられる予測係数であるＣＰＣ（ｃｈａｎｎｅｌ ｐｒｅｄｉｃｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔｓ）などを含むことができるが、これに限定されることはない。
本明細書におけるオーディオ信号のデコーディングは、信号処理方法の一例になり得る。また、本発明は、他の種類の信号処理にも適用される。例えば、ビデオ信号の処理方法にも適用される。本明細書の各実施例は、多様な種類のドメインで表現可能な多様な信号を含むように修正される。前記ドメインは、時間、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒ）、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、コンプレックスなどを含むことができるが、これに限定されることはない。
本発明の一実施例に係るオーディオ信号の処理方法は、ダウンミックス信号と空間情報とを結合して多チャネルオーディオ信号を生成する方法を提供することができる。この場合、複数個のダウンミックス連結ドメイン（例えば、時間ドメイン、ＱＭＦ、ＭＤＣＴ）が存在しうる。各ドメイン間の変換は、ダウンミックス信号の処理過程で時間遅延を発生させるおそれがあるので、ダウンミックス信号と前記ダウンミックス信号に対応する空間情報との間の時間同期差を補償する段階が必要となる。時間同期差を補償する段階は、前記ダウンミックス信号及び前記空間情報のうち少なくとも一つを遅延させる段階を含むことができる。以下、図面に基づいて、二つの信号間の時間同期差及び／または各信号と各パラメータとの間の時間同期差を補償するための多様な実施例を説明する。
ここで、装置は、ハードウェアの実施例に限定して解析されてはならない。本発明の各実施例は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの結合などに用いられる。
本発明の各実施例は、コンピュータで読み取り可能な記録媒体の命令で行われる。プロセッサ（例えば、コンピュータプロセッサ）によって行われるとき、プロセッサは、本発明の多様な面を提供する各動作を行うようになる。前記コンピュータで読み取り可能な記録媒体とは、遂行のためのプロセッサに命令を提供する媒体を意味する。例えば、前記媒体は、非揮発性媒体（例えば、光または磁気ディスク）、揮発性媒体（例えば、メモリ）、伝送媒体などを制限なしに含むことができる。前記伝送媒体は、光ケーブル、銅ケーブル、光繊維などを制限なしに含むことができる。また、前記伝送媒体は、音波、光またはラジオ周波数ウェーブなどの形態にもなり得る。
図１は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。
図１を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００及び多チャネルデコーディング部２００を含むことができる。
前記ダウンミックスデコーディング部１００は、ドメイン変換部１１０を含むことができる。したがって、ダウンミックスデコーディング部１００は、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１をそのまま多チャネルデコーディング部２００に伝送することもできる。さらに、前記ダウンミックスデコーディング部１００は、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１を変換部１１０を用いて時間ドメイン上のダウンミックス信号ＸＴ１に変換し、このダウンミックス信号ＸＴ１を多チャネルデコーディング部２００に伝送することもできる。オーディオ信号をＱＭＦドメインから時間ドメインに変換する技術は、既に知られており、公開的に利用可能なオーディオ信号処理標準（例えば、ＭＰＥＧ）で取り扱われてきた。
多チャネルデコーディング部２００は、ダウンミックス信号ＸＴ１またはＸＱ１及び空間情報ＳＩ１またはＳＩ２を用いて多チャネルオーディオ信号ＸＭ１を生成する。
図２は、本発明の他の実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。
図２を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００ａ、多チャネルデコーディング部２００ａ及びドメイン変換部３００ａで構成される。
図示したように、ダウンミックスデコーディング部１００ａは、ドメイン変換部１１０ａを備えている。したがって、ダウンミックスデコーディング部１００ａは、ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍをそのまま出力することもでき、ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍを変換部１１０ａを用いて時間ドメイン上のダウンミックス信号ＸＴ２に変換し、このダウンミックス信号ＸＴ２を出力することもできる。
そして、タイムドメイン上のダウンミックス信号ＸＴ２は、多チャネルデコーディング部２００ａに伝送され、ＭＤＣＴドメイン上のダウンミックス信号Ｘｍは、ドメイン変換部３００ａを経てＱＭＦドメイン上のダウンミックス信号ＸＱ２に変換された後、多チャネルデコーディング部２００ａに伝送される。
そして、多チャネルデコーディング部２００ａは、伝送されたダウンミックス信号ＸＴ２またはＸＱ２及び空間情報ＳＩ３またはＳＩ４を用いて多チャネルオーディオ信号ＸＭ２を生成する。
図３は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。
図３を参照すると、本発明の一実施例に係るオーディオ信号のデコーディング装置は、ダウンミックスデコーディング部１００ｂ、多チャネルデコーディング部２００ｂ、レジデュアルデコーディング部４００ｂ及びドメイン変換部５００ｂで構成される。
前記ダウンミックスデコーディング部１００ｂは、ドメイン変換部１１０ｂを含むことができる。前記ダウンミックスデコーディング部１００ｂは、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ３をそのまま多チャネルデコーディング部２００ｂに伝送することもでき、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ３を変換部１１０ｂを用いて時間ドメイン上のダウンミックス信号ＸＴ３に変換し、このダウンミックス信号ＸＴ３を多チャネルデコーディング部２００ｂに伝送することもできる。
エンコーディングされたレジデュアル信号ＲＢは、レジデュアルデコーディング部４００ｂに入力されて信号処理される。信号処理されたレジデュアル信号ＲＭは、ＭＤＣＴドメイン上の信号である。レジデュアル信号（例えば、予測誤差信号）は、通常、オーディオコーディングアプリケーションで用いられる。
そして、ＭＤＣＴドメイン上のレジデュアル信号ＲＭは、ドメイン変換部５００ｂを経てＱＭＦドメイン上のレジデュアル信号ＲＱに変換され、多チャネルデコーディング部２００ｂに伝送される。
一方、レジデュアルデコーディング部４００ｂで信号処理されて出力されるレジデュアル信号のドメインがレジデュアル連結ドメインであると、信号処理されたレジデュアル信号は、ドメイン変換過程を経ずに多チャネルデコーディング部２００ｂに伝送される。
また、図面によると、ドメイン変換部５００ｂは、ＭＤＣＴドメイン上のレジデュアル信号ＲＭをＱＭＦドメイン上のダウンミックス信号ＲＱに変換するが、本発明は、これに限定されるものでない。すなわち、ドメイン変換部５００ｂは、レジデュアルデコーディング部４００ｂで出力されたレジデュアル信号ＲＭをレジデュアル連結ドメインのうち何れか一つのドメイン上の信号に変換することができる。
上述したように、複数個のダウンミックス連結ドメインが存在することから、ダウンミックス信号と空間情報との間に時間同期差が発生しうるので、これを補償する必要がある。
以下、これに対して一層具体的に説明する。
本発明の一実施例に係るオーディオ信号の処理は、ダウンミックス信号及び空間情報が含まれたエンコーディングされたオーディオ信号をデコーディングし、多チャネルオーディオ信号を生成することである。
前記ダウンミックス信号及び前記空間情報は、デコーディング時に互いに異なる処理過程を経るので、互いに異なる時間遅延が発生する。したがって、前記ダウンミックス信号及び前記空間情報は、エンコーディング時に時間同期が合わせられてエンコーディングされる。
この場合、前記ダウンミックス信号及び前記空間情報は、ダウンミックスデコーディング部１００，１００ａまたは１００ｂで信号処理されたダウンミックス信号が多チャネルデコーディング部２００，２００ａまたは２００ｂに伝送されるドメインを考慮して、前記時間同期が合わせられる。
一例として、ダウンミックスコーディング識別子は、エンコーディングされたオーディオ信号に含まれることができ、前記ダウンミックスコーディング識別子によって、前記ダウンミックス信号と空間情報との間の時間同期が合わせられたドメインを把握することができる。この場合、前記ダウンミックスコーディング識別子は、ダウンミックス信号のデコーディング方式に対する情報を表す。
例えば、ダウンミックスコーディング識別子がＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）というデコーディング方式に対する情報を意味する場合、エンコーディングされたオーディオ信号は、エンコーディングされたダウンミックス信号がＡＡＣデコーダでデコーディングされる場合を想定して設けたものである。そして、前記ダウンミックスコーディング識別子によって、ダウンミックス信号と空間情報との間の時間同期が合わせられたドメインを知ることもできる。
本発明の一実施例に係るオーディオ信号処理方法によると、ダウンミックス信号は、時間同期が合わせられたドメインと異なるドメイン上で処理され、多チャネルデコーディング部２００，２００ａまたは２００ｂに伝送される。この場合、デコーディング部２００，２００ａまたは２００ｂは、ダウンミックス信号と空間情報との間の時間同期差を補償し、多チャネルオーディオ信号を生成することができる。
以下、図１及び図４を参照して、ダウンミックス信号と空間情報との間の時間同期差を補償する方法に対して説明する。
図４は、図１に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。
図１及び図４を参照すると、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００で信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００に伝送される。本実施例において、ダウンミックス信号と空間情報は、ＱＭＦドメイン上で時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、ＱＭＦドメインでない他のドメイン上でダウンミックス信号と空間情報との間の時間同期が合わせられたオーディオ信号を処理することもできる。
以下、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ１が多チャネルデコーディング部２００に伝送されて信号処理される場合を説明する。伝送されたダウンミックス信号ＸＱ１は、多チャネル生成部２３０で空間情報ＳＩ１と結合された後、多チャネルオーディオ信号ＸＭ１を生成する。この場合、空間情報ＳＩ１は、エンコーディング時に時間同期が合わせられた時間だけ遅延された後で結合される。前記遅延は、エンコーディング遅延でもある。また、空間情報ＳＩ１とダウンミックス信号ＸＱ１は、エンコーディング時に時間同期が合わせられているので、特別に同期を合せる処理過程なしに多チャネルオーディオ信号を生成することができる。すなわち、前記空間情報ＳＩ１は、このような場合、デコーディング遅延によって遅延されない。
以下、時間ドメイン上で信号処理されたダウンミックス信号ＸＴ１が多チャネルデコーディング部２００に伝送されて信号処理される場合を説明する。
ＱＭＦドメイン上のダウンミックス信号ＸＱ１は、ドメイン変換部１１０を経て時間ドメイン上のダウンミックス信号ＸＴ１に変換される。時間ドメイン上のダウンミックス信号ＸＴ１は、多チャネルデコーディング部２００に伝送される。
図４を参照すると、伝送されたダウンミックス信号ＸＴ１は、ドメイン変換部２１０でＱＭＦドメイン上のダウンミックス信号Ｘｑ１に変換される。時間ドメイン上のダウンミックス信号ＸＴ１が多チャネルデコーディング部２００に伝送されるとき、ダウンミックス信号Ｘｑ１または空間情報ＳＩ２のうち少なくとも一つは、時間遅延補償の遂行後に多チャネル生成部２３０に伝送されるべきである。そして、多チャネル生成部２３０は、伝送されたダウンミックス信号Ｘｑ１’と空間情報ＳＩ２’とを結合して多チャネルオーディオ信号ＸＭ１を生成することができる。
一方、ダウンミックス信号Ｘｑ１または空間情報ＳＩ２のうち少なくとも一つに時間遅延補償が行われるべき理由は、エンコーディング時に空間情報とダウンミックス信号との間の時間同期がＱＭＦドメインで合わせられたためである。したがって、ドメインが変換されたダウンミックス信号Ｘｑ１は、信号遅延処理部２２０でずれた時間同期差だけ補償された後、多チャネル生成部２３０に入力される。
前記時間同期差を補償する方法は、ダウンミックス信号Ｘｑ１を時間同期差だけリーディングさせることである。ここで、時間同期差は、ダウンミックスデコーディング部１００のドメイン変換部１１０で発生した遅延時間と、多チャネルデコーディング部２００のドメイン変換部２１０で発生した遅延時間との合計になり得る。
また、空間情報ＳＩ２の時間遅延を補償することで、上述した時間同期差を補償することができる。これによって、空間情報ＳＩ２は、上述した時間同期差だけ空間情報遅延処理部２４０でラギングされた後、多チャネル生成部２３０に伝送される。
しかしながら、実際に遅延される空間情報の遅延値は、ずれた時間同期差と、既に時間同期が合わせられた時間遅延との合計になる。すなわち、前記遅延された空間情報は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。これは、ダウンミックスデコーディング部１００で発生するダウンミックス信号と空間情報との間の時間同期差と、多チャネルデコーディング部２００で発生する時間同期差との合計でもある。実際に遅延される空間情報ＳＩ２の遅延値は、フィルタ（例えば、ＱＭＦ、ハイブリッドフィルターバンク）の性能及び遅延を考慮して決定される。
例えば、フィルタの性能及び遅延を考慮した空間情報遅延値は、９６１タイムサンプルになり得る。前記空間情報の遅延値を分析してみると、ダウンミックスデコーディング部１００で発生した時間同期差が２５７タイムサンプルで、多チャネルデコーディング部２００で発生した時間同期差が７０４タイムサンプルである。上述した遅延値は、タイムサンプル単位で表現したが、タイムサンプルの他にタイムスロット単位で表現することも可能である。
図５は、図２に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。以下、図２及び図５を参照して説明する。
図示したように、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００ａで信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００ａに伝送される。本実施例において、ダウンミックス信号と空間情報は、時間ドメイン上で時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、時間ドメインでない他のドメイン上でダウンミックス信号と空間情報が合わせられたオーディオ信号を処理することもできる。
以下、時間ドメイン上で信号処理されたダウンミックス信号ＸＴ２が多チャネルデコーディング部２００ａに伝送されて信号処理される場合を説明する。ＭＤＣＴドメイン上のダウンミックス信号Ｘｍは、ドメイン変換部１１０ａを経て時間ドメイン上のダウンミックス信号ＸＴ２に変換される。変換されたダウンミックス信号ＸＴ２は、多チャネルデコーディング部２００ａに伝送される。伝送されたダウンミックス信号ＸＴ２は、ドメイン変換部２１０ａを経てＱＭＦドメイン上のダウンミックス信号Ｘｑ２に変換されて多チャネル生成部２３０ａに伝送される。伝送されたダウンミックス信号Ｘｑ２は、多チャネル生成部２３０ａで空間情報ＳＩ３と結合された後、多チャネルオーディオ信号ＸＭ２を生成する。
この場合、空間情報ＳＩ３は、エンコーディング時に時間同期が合わせられた時間だけ遅延された後、ダウンミックス信号Ｘｑ２と結合される。また、空間情報ＳＩ３とダウンミックス信号Ｘｑ２は、エンコーディング時に時間同期が合わせられているので、特別に同期を合せる処理過程なしに多チャネルオーディオ信号を生成することができる。すなわち、ここで、前記空間情報ＳＩ３は、デコーディング遅延によって遅延されたものでない。
以下、ＱＭＦドメイン上で信号処理されたダウンミックス信号ＸＱ２が多チャネルデコーディング部２００ａに伝送されて信号処理される場合を説明する。
ＭＤＣＴドメイン上で信号処理されたダウンミックス信号Ｘｍは、ダウンミックスデコーディング部１００ａから出力される。出力されたダウンミックス信号Ｘｍは、ドメイン変換部３００ａを経てＱＭＦドメイン上のダウンミックス信号ＸＱ２に変換される。変換されたダウンミックス信号ＸＱ２は、多チャネルデコーディング部２００ａに伝送される。
ＱＭＦドメイン上のダウンミックス信号ＸＱが多チャネルデコーディング部２００ａに伝送されるとき、ダウンミックス信号ＸＱ２または空間情報ＳＩ４のうち少なくとも一つは、時間遅延補償の遂行後に多チャネル生成部２３０ａに伝送されるべきである。そして、多チャネル生成部２３０ａは、伝送されたダウンミックス信号ＸＱ２’と空間情報ＳＩ４’とを結合して多チャネルオーディオ信号ＸＭ２を生成することができる。
一方、ダウンミックス信号ＸＱ２または空間情報ＳＩ４のうち少なくとも一つに時間遅延補償が行われるべき理由は、エンコーディング時に空間情報とダウンミックス信号との間の時間同期が時間ドメインで合わせられたためである。したがって、ドメインが変換されたダウンミックス信号ＸＱ２は、信号遅延処理部２２０ａでずれた時間同期差だけ補償された後、多チャネル生成部２３０ａに入力される。
前記時間同期差を補償する方法は、ダウンミックス信号ＸＱ２を時間同期差だけラギングさせることである。ここで、時間同期差は、ダウンミックスデコーディング部１００のドメイン変換部１１０ａで発生した遅延時間と多チャネルデコーディング部２００ａのドメイン変換部２１０ａで発生した遅延時間との合計と、ドメイン変換部３００ａで発生した遅延時間との差をいう。
また、空間情報ＳＩ４の時間遅延を補償することで、上述した時間同期差を補償することができる。これによって、空間情報ＳＩ４は、上述した時間同期差だけ空間情報遅延処理部２４０ａでリーディングされた後、多チャネル生成部２３０ａに伝送される。しかし、実際に遅延される空間情報の遅延値は、ずれた時間同期差と、既に時間同期が合わせられた時間遅延との合計になる。すなわち、前記遅延された空間情報ＳＩ４’は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。
一方、本発明の一実施例に係るオーディオ信号の処理方法は、デコーディング方式が異なることから発生する遅延時間を補償し、オーディオ信号を処理する方法を含む。以下、これに対して具体的に説明する。
本発明の一実施例に係るオーディオ信号の処理方法は、エンコーディング時に特定のデコーディング方式を想定してダウンミックス信号と空間情報との間の時間同期が合わせられたオーディオ信号をエンコーディングし、このエンコーディングされたオーディオ信号をデコーディングする。デコーディング方式の例としては、音質に基づいたデコーディング方式及び電力に基づいたデコーディング方式がある。音質に基づいたデコーディング方式の例としては、高音質バージョンがあり、電力に基づいたデコーディング方式の例としては、低電力バージョンがある。高音質バージョンとは、低電力バージョンと比較して相対的に精練された音質の多チャネルオーディオ信号を出力するデコーディング方式をいい、低電力バージョンとは、相対的に高音質バージョンより低下した音質を有するが、高音質バージョンに比べて構成が複雑でなく、電力消耗が相対的に少ないデコーディング方式をいう。
以下、デコーディング方式を高音質バージョンと低電力バージョンを例に挙げて説明するが、本発明は、これに限定されるものでなく、より多様なデコーディング方式が存在しうる。
図６は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
図６を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｃ及び多チャネルデコーディング部２００ｃを含むことができる。
図示したように、ダウンミックスデコーディング部１００ｃで信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｃに伝送され、空間情報ＳＩ７またはＳＩ８と結合されて多チャネルオーディオ信号Ｍ１またはＭ２を生成する。信号処理されたダウンミックス信号ＸＴ４は、時間ドメイン上の信号である。
符号化されたダウンミックス信号ＤＢがダウンミックスデコーディング部１００ｃに伝送されて信号処理され、信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｃに伝送され、二つのデコーディングバージョン（高音質バージョンまたは低電力バージョン）のうち何れか一つによって多チャネルオーディオ信号を生成する。
信号処理されたダウンミックス信号ＸＴ４が低電力バージョンでデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ２経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２４０ｃを経てリアル（Ｒｅａｌ）ＱＭＦドメイン上の信号ＸＲＱに変換される。
そして、変換されたダウンミックス信号ＸＲＱは、ドメイン変換部２５０ｃを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ２に変換される。コンプレックスＱＭＦドメイン上の信号ＸＣＱ２は、多チャネル生成部２６０ｃで空間情報ＳＩ８と結合された後、多チャネルオーディオ信号Ｍ２を生成する。
以上のように、ダウンミックス信号ＸＴ４を低電力デコーディングバージョンでデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。すなわち、前記ダウンミックス信号ＸＲＱは、デコーディング遅延によって遅延されていない。
一方、信号処理されたダウンミックス信号ＸＴ４が高音質バージョンでデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ１経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２１０ｃを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ１に変換される。そして、変換されたダウンミックス信号ＸＣＱ１は、信号遅延処理部２２０ｃでダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間の時間同期差だけ遅延される。そして、遅延されたダウンミックス信号ＸＣＱ’は、多チャネル生成部２３０ｃで空間情報ＳＩ７と結合された後、多チャネルオーディオ信号Ｍ１を生成する。
上記のように、ダウンミックス信号ＸＣＱ１が信号遅延処理部２２０ｃを経る理由は、低電力バージョンが使用されると仮定してオーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間に時間同期差が発生するためである。
時間同期差は、使用されるデコーディング方式による時間遅延差を意味する。例えば、時間遅延差は、低電力バージョンのデコーディング方式と高音質バージョンのデコーディング方式との差のために発生しうる。前記時間遅延差は、ダウンミックス信号と空間情報信号とが結合される時点まで考慮される。その理由は、前記ダウンミックス信号と前記空間情報信号とが結合される時点まで、前記ダウンミックス信号と前記空間情報信号とを同期化させる必要がない場合もあるためである。
低電力バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ２と空間情報ＳＩ８とが結合される時点まで発生する遅延時間と、高音質バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ１’と空間情報ＳＩ７とが結合される時点まで発生する遅延時間とが同一になるように、前記時間同期差が決定される。時間遅延の単位としては、タイムサンプルを使用することもでき、タイムスロットを使用することもできる。
一方、ドメイン変換部２１０ｃで発生する遅延時間と、ドメイン変換部２４０ｃで発生する遅延時間とが同一である場合、信号遅延処理部２２０ｃは、ドメイン変換部２５０ｃで発生する遅延時間だけダウンミックス信号ＸＣＱ１を遅延させればよい。
図面に示した実施例では、２個のデコーディング方式が多チャネルデコーディング部２００ｃに存在する場合を例に挙げて説明したが、本発明では、多チャネルデコーディング部内に一つのデコーディング方式のみが存在することもある。
また、上述した実施例では、低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合を例に挙げて説明したが、本発明は、高音質バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合も含む。この場合、低電力バージョンで時間同期が合わせられた場合と反対にダウンミックス信号をリーディングさせればよい。
図７は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
図７を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｄ及び多チャネルデコーディング部２００ｄで構成される。
ダウンミックスデコーディング部１００ｄで信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｄに伝送され、空間情報ＳＩ７’またはＳＩ８と結合されて多チャネルオーディオ信号Ｍ３またはＭ２を生成する。信号処理されたダウンミックス信号ＸＴ４は、時間ドメイン上の信号である。
符号化されたダウンミックス信号ＤＢがダウンミックスデコーディング部１００ｄに伝送されて信号処理され、信号処理されたダウンミックス信号ＸＴ４は、多チャネルデコーディング部２００ｄに伝送され、二つのデコーディング方式（高音質方式または低電力方式）のうち何れか一つによって多チャネルオーディオ信号を生成する。
信号処理されたダウンミックス信号ＸＴ４が低電力方式でデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ４経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２４０ｄを経てリアルＱＭＦドメイン上の信号ＸＲＱに変換される。そして、変換されたダウンミックス信号ＸＲＱは、ドメイン変換部２５０ｄを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ２に変換される。前記ダウンミックス信号ＸＲＱの前記ダウンミックス信号ＸＣＱ２への変換は、コンプレックスドメイン変換の例として見なすことができる。
コンプレックスＱＭＦドメイン上の信号ＸＣＱ２は、多チャネル生成部２６０ｄで空間情報ＳＩ８と結合された後、多チャネルオーディオ信号Ｍ２を生成する。
以上のように、ダウンミックス信号ＸＴ４を低電力デコーディング方式でデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力方式でダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。すなわち、前記空間情報ＳＩ８は、デコーディング遅延によって遅延されていない。
一方、信号処理されたダウンミックス信号ＸＴ４が高音質方式でデコーディングされる場合、ダウンミックス信号ＸＴ４は、Ｐ３経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ４は、ドメイン変換部２１０ｄを経てコンプレックスＱＭＦドメイン上の信号ＸＣＱ１に変換される。
そして、変換されたダウンミックス信号ＸＣＱ１は、多チャネル生成部２３０ｄに伝送されて空間情報ＳＩ７’と結合された後、多チャネルオーディオ信号Ｍ３を生成する。空間情報ＳＩ７’は、空間情報ＳＩ７が空間情報遅延処理部２２０ｄを経ることで時間遅延が補償された空間情報である。
上記のように、空間情報ＳＩ７が空間情報遅延処理部２２０ｄを経る理由は、低電力デコーディング方式が使用されると仮定してオーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣＱ１と空間情報ＳＩ７との間に時間同期差が発生するためである。
時間同期差は、使用されるデコーディング方式による時間遅延差を意味する。例えば、時間遅延差は、低電力バージョンのデコーディング方式と高音質バージョンのデコーディング方式との差のために発生しうる。前記時間遅延差は、ダウンミックス信号と空間情報信号とが結合される時点まで考慮される。その理由は、前記ダウンミックス信号と前記空間情報信号とが結合される時点まで、前記ダウンミックス信号と前記空間情報信号とを同期化させる必要がない場合もあるためである。
低電力バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ２と空間情報ＳＩ８とが結合される時点まで発生する遅延時間と、高音質バージョンでデコーディングを行う場合にダウンミックス信号ＸＣＱ’と空間情報ＳＩ７’とが結合される時点まで発生する遅延時間とが同一になるように、前記時間同期差が決定される。時間遅延の単位としては、タイムサンプルを使用することもでき、タイムスロットを使用することもできる。
一方、ドメイン変換部２１０ｄで発生する遅延時間と、ドメイン変換部２４０ｄで発生する遅延時間とが同一である場合、空間情報遅延処理部２２０ｄは、ドメイン変換部２５０ｄで発生する遅延時間だけ空間情報ＳＩ７をリーディングさせればよい。
図面に示した実施例では、２個のデコーディング方式が多チャネルデコーディング部２００ｄに存在する場合を例に挙げて説明したが、本発明では、多チャネルデコーディング部内に一つのデコーディング方式のみが存在することもある。
また、上述した実施例では、低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合を例に挙げて説明したが、本発明は、高音質バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられた場合も含む。この場合、低電力バージョンで時間同期が合わせられた場合と反対に空間情報をラギングさせればよい。
また、図６乃至図７に示すように、多チャネルデコーディング部２００ｃまたは２００ｄ内に信号遅延処理部２２０ｃまたは空間情報遅延処理部２２０ｄのうち一つのみがある場合を例に挙げて説明したが、本発明は、多チャネルデコーディング部内に空間情報遅延処理部と信号遅延処理部とが同時にある場合も含む。この場合、空間情報遅延処理部２２０ｄで遅延補償する時間と信号遅延処理部２２０ｃで遅延補償する時間との合計は、時間同期差と同一でなければならない。
以上、複数個のダウンミックス連結ドメインが存在することから発生する時間同期差補償方法と、複数個のデコーディング方式が存在することから発生する時間同期差補償方法に対して説明した。
以下では、複数個のダウンミックス連結ドメインが存在するとともに、複数個のデコーディング方式が存在することから発生する時間同期差補償方法に対して説明する。
図８は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
図８を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｅ及び多チャネルデコーディング部２００ｅを含むことができる。
図示したように、本発明の一実施例に係るオーディオ信号の処理方法によると、ダウンミックスデコーディング部１００ｅで信号処理されたダウンミックス信号は、二つのドメインのうち何れか一つのドメイン上で多チャネルデコーディング部２００ｅに伝送される。本実施例において、ダウンミックス信号と空間情報は、ＱＭＦドメイン上で低電力バージョンに基づいて時間同期が合わせられたと仮定して説明するが、本発明は、これに限定されるものでなく、多様な変形が可能である。
まず、ＱＭＦドメイン上で処理されたダウンミックス信号ＸＱ５が多チャネルデコーディング部２００ｅに伝送されて信号処理される方法を説明する。この場合、前記ダウンミックス信号ＸＱ５は、コンプレックスＱＭＦ信号ＸＣＱ５及び実際のＱＭＦ信号ＸＲＱ５のうち何れか一つである。前記コンプレックスＱＭＦ信号ＸＣＱ５は、ダウンミックスデコーディング部１００ｅで高音質デコーディング方式によって処理された信号である。そして、前記実際のＱＭＦ信号ＸＲＱ５は、ダウンミックスデコーディング部１００ｅで低電力デコーディング方式によって処理された信号である。
本発明の実施例において、前記ダウンミックスデコーディング部１００ｅで高音質デコーディング方式によって処理された信号は、高音質デコーディング方式の多チャネルデコーディング部２００ｅと連結されており、前記ダウンミックスデコーディング部１００ｅで低電力デコーディング方式によって処理された信号は、低電力デコーディング方式の多チャネルデコーディング部２００ｅと連結されていると仮定する。
図示したように、信号処理されたダウンミックス信号ＸＱ５が低電力バージョンでデコーディングされる場合、ダウンミックス信号ＸＱ５は、Ｐ６経路に沿って伝送されてデコーディングされる。ここで、前記ダウンミックス信号ＸＱ５は、リアルＱＭＦドメインのダウンミックス信号ＸＲＱ５である。
前記ダウンミックス信号ＸＲＱ５は、多チャネル生成部２３１ｅで空間情報ＳＩ１０と結合された後、多チャネルオーディオ信号Ｍ５を生成する。
以上のように、ダウンミックス信号ＸＱ５を低電力デコーディングバージョンでデコーディングするとき、別途の遅延処理手順が必要でない。その理由は、オーディオ信号のエンコーディング時に、既に低電力バージョンでダウンミックス信号と空間情報との間の時間同期が合わせられてエンコーディングされたためである。
一方、信号処理されたダウンミックス信号ＸＱ５が高音質バージョンでデコーディングされる場合、ダウンミックス信号ＸＱ５は、Ｐ５経路に沿って伝送されてデコーディングされる。ここで、前記ダウンミックス信号ＸＱ５は、コンプレックスＱＭＦドメインのダウンミックス信号ＸＣＱ５である。前記ダウンミックス信号ＸＣＱ５は、多チャネル生成部２３０ｅで空間情報ＳＩ９と結合された後、多チャネルオーディオ信号Ｍ４を生成する。
以下、時間ドメイン上で処理されたダウンミックス信号ＸＴ５が多チャネルデコーディング部２００ｅに伝送されて信号処理される方法を説明する。
ダウンミックスデコーディング部１００ｅで信号処理されたダウンミックス信号ＸＴ５は、多チャネルデコーディング部２００ｅに伝送され、空間情報ＳＩ１１またはＳＩ１２と結合されて多チャネルオーディオ信号Ｍ６またはＭ７を生成する。
ダウンミックス信号ＸＴ５は、多チャネルデコーディング部２００ｅに伝送され、二つのデコーディング方式（高音質デコーディング方式または低電力デコーディング方式）のうち何れか一つによって多チャネルオーディオ信号を生成する。
信号処理されたダウンミックス信号ＸＴ５が低電力デコーディング方式でデコーディングされる場合、ダウンミックス信号ＸＴ５は、Ｐ８経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ５は、ドメイン変換部２４１ｅを経てリアルＱＭＦドメイン上の信号ＸＲに変換される。
そして、変換されたダウンミックス信号ＸＲは、ドメイン変換部２５０ｅを経てコンプレックスＱＭＦドメイン上の信号ＸＣ２に変換される。前記ダウンミックス信号ＸＲの前記信号ＸＣ２への変換は、コンプレックスドメイン変換の一例である。
コンプレックスＱＭＦドメイン上の信号ＸＣ２は、多チャネル生成部２３３ｅで空間情報ＳＩ１２’と結合された後、多チャネルオーディオ信号Ｍ７を生成する。
空間情報ＳＩ１２’は、空間情報ＳＩ１２が空間情報遅延処理部２４０ｅを経ることで時間遅延が補償された空間情報である。
上記のように、空間情報ＳＩ１２が空間情報遅延処理部２４０ｅを経る理由は、低電力デコーディング方式でダウンミックス信号と空間情報との間の時間同期が合わせられたドメインをＱＭＦドメインであると仮定して、オーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣ２と空間情報ＳＩ１２との間に時間同期差が発生するためである。ここで、前記遅延された空間情報ＳＩ１２’は、エンコーディング遅延及びデコーディング遅延によって遅延されたものである。
一方、信号処理されたダウンミックス信号ＸＴ５が高音質デコーディング方式でデコーディングされる場合、ダウンミックス信号ＸＴ５は、Ｐ７経路に沿って伝送されてデコーディングされる。信号処理されたダウンミックス信号ＸＴ５は、ドメイン変換部２４０ｅを経てコンプレックスＱＭＦドメイン上の信号ＸＣ１に変換される。
そして、変換されたダウンミックス信号ＸＣ１と前記空間情報ＳＩ１１は、それぞれ信号遅延処理部２５０ｅと空間情報遅延処理部２６０ｅでダウンミックス信号ＸＣ１と空間情報ＳＩ１１との間の時間同期差だけ時間遅延が補償される。
そして、時間遅延が補償されたダウンミックス信号ＸＣ１’は、多チャネル生成部２３２ｅで空間情報ＳＩ１１と結合された後、多チャネルオーディオ信号Ｍ６を生成する。
したがって、ダウンミックス信号ＸＣ１は信号遅延処理部２５０ｅを通過し、空間情報ＳＩ１１は空間情報遅延処理部２６０ｅを通過する。その理由は、低電力デコーディング方式でダウンミックス信号と空間情報との間の時間同期が合わせられたドメインをＱＭＦドメインであると仮定して、オーディオ信号がエンコーディングされることで、ダウンミックス信号ＸＣ２と空間情報ＳＩ１２との間に時間同期差が発生するためである。
図９は、本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。
図９を参照すると、本発明に係るデコーディング装置は、ダウンミックスデコーディング部１００ｆ及び多チャネルデコーディング部２００ｆを含むことができる。
エンコーディングされたダウンミックス信号ＤＢ１は、ダウンミックスデコーディング部１００ｆに伝送されて処理される。前記ダウンミックス信号ＤＢ１は、二つのダウンミックスデコーディング方式を考慮してエンコーディングされた信号である。前記二つのダウンミックスデコーディング方式は、第１デコーディング方式及び第２デコーディング方式を含むことができる。前記ダウンミックス信号ＤＢ１は、ダウンミックスデコーディング部１００ｆで一つのダウンミックスデコーディング方式によって処理される。前記一つのダウンミックスデコーディング方式は、前記第１デコーディング方式である。
前記処理されたダウンミックス信号ＸＴ６は、多チャネルオーディオ信号Ｍｆを生成するために多チャネルデコーディング部２００ｆに伝送される。
前記処理されたダウンミックス信号ＸＴ６’は、信号処理部２１０ｆでデコーディング遅延によって遅延される。前記ダウンミックス信号ＸＴ６’が遅延される理由は、エンコーディングで考慮されたダウンミックスデコーディング方式が、デコーディングで使用されたデコーディング方式と異なるためである。したがって、前記環境によって、前記ダウンミックス信号ＸＴ６’をアップサンプリングする必要がある。
前記遅延されたダウンミックス信号ＸＴ６’は、アップサンプリング部２２０ｆでアップサンプルされる。前記ダウンミックス信号ＸＴ６’がアップサンプルされる理由は、前記ダウンミックス信号ＸＴ６’のサンプル数が前記空間情報ＳＩ１３のサンプル数と異なるためである。
前記ダウンミックス信号ＸＴ６の遅延処理と前記ダウンミックス信号ＸＴ６’のアップサンプリング処理の順序は、互いに変わり得る。
前記アップサンプルされたダウンミックス信号ＵＸＴ６のドメインは、ドメイン処理部２３０ｆで変換される。前記ダウンミックス信号ＵＸＴ６のドメイン変換は、周波数／時間ドメイン変換及びコンプレックスドメイン変換を含むことができる。
そして、前記ドメインが変換されたダウンミックス信号ＵＸＴ６は、多チャネル生成部２６０ｄで空間情報ＳＩ１３と結合され、多チャネルオーディオ信号Ｍｆを生成する。
以上、ダウンミックス信号と空間情報との間に時間同期差が発生した場合、これを補償する方法に関して説明した。
以下では、上述した多様な方法によって生成された多チャネルオーディオ信号と時系列データとの間に時間同期差が発生した場合、これを補償する方法に対して説明する。
図１０は、本発明の一実施例に係るオーディオ信号のデコーディング装置を示したブロック図である。図１０を参照すると、本発明の一実施例に係るオーディオデコーディング装置は、時系列データデコーディング部１０及び多チャネルオーディオ信号の処理部２０を含むことができる。
図示したように、多チャネルオーディオ信号処理装置２０は、ダウンミックスデコーディング部２１、多チャネルデコーディング部２２及び時間遅延補償部２３を含むことができる。
まず、符号化されたダウンミックス信号の一例であるダウンミックスビットストリームＩＮ２は、ダウンミックスデコーディング部２１に印加されてデコーディングされる。ここで、ダウンミックスビットストリームＩＮ２は、二つのドメイン上でデコーディングされて出力される。出力されるドメインは、時間ドメイン及びＱＭＦドメインである。参照番号５０は、時間ドメインでデコーディングされて出力されるダウンミックス信号で、参照番号５１は、ＱＭＦドメインでデコーディングされて出力されるダウンミックス信号である。本実施例では、二つの場合のドメインのみを言及したが、本発明は、これに限定されるものでなく、それ以上のドメインでデコーディングされて出力されるダウンミックス信号も含む。
また、上記のような方法でデコーディングされたダウンミックス信号５０、５１は、多チャネルデコーディング部２２に伝送され、二つのデコーディング方式２２Ｈ、２２Ｌでデコーディングされる。参照番号２２Ｈは高音質デコーディング方式で、参照番号２２Ｌは低電力デコーディング方式である。
本発明の一実施例では、二つのデコーディング方式のみを言及しているが、本発明は、これに限定されるものでなく、より多様なデコーディング方式から選択することも可能である。
まず、時間ドメイン上でデコーディングされて出力されるダウンミックス信号５０は、二つの経路Ｐ９、Ｐ１０を選択してデコーディングされるが、Ｐ９は高音質バージョン２２Ｈでデコーディングされる経路で、Ｐ１０は低電力バージョン２２Ｌでデコーディングされる経路である。
したがって、Ｐ９経路に沿って伝送されたダウンミックス信号５０は、高音質バージョン２２Ｈによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＨＴを生成する。Ｐ４経路に沿って伝送されたダウンミックス信号５０は、低電力バージョン２２Ｌによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＬＴを生成する。
また、ＱＭＦドメイン上でデコーディングされて出力されたダウンミックス信号５１は、二つの経路Ｐ１１、Ｐ１２を選択してデコーディングされるが、Ｐ１１は高音質バージョン２２Ｈでデコーディングされる経路で、Ｐ１２は低電力バージョン２２Ｌでデコーディングされる経路である。
したがって、Ｐ１１経路に沿って伝送されたダウンミックス信号５１は、高音質バージョン２２Ｈによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＨＱを生成する。Ｐ１２経路に沿って伝送されたダウンミックス信号５１は、低電力バージョン２２Ｌによって空間情報ＳＩと結合された後、多チャネルオーディオ信号ＭＬＱを生成する。
上述した方法によって生成された多チャネルオーディオ信号ＭＨＴ、ＭＨＱ、ＭＬＴ、ＭＬＱのうち少なくとも一つは、時間遅延補償部２３で時間遅延補償過程を経た後で出力される（ＯＵＴ２、ＯＵＴ３、ＯＵＴ４、ＯＵＴ５）。
本実施例において、時間遅延補償過程とは、例えば、時系列デコーディング部１０でデコーディングされて出力される時系列データＯＵＴ１と、上述した多チャネルオーディオ信号ＭＨＴとの間の時間同期が合せられたと仮定するとき、時間同期がずれた多チャネルオーディオ信号ＭＨＱ、ＭＬＴ、ＭＬＱを多チャネルオーディオ信号ＭＨＴと比較し、時間遅延の発生を防止することを意味する。もちろん、時系列データＯＵＴ１と、上述した多チャネルオーディオ信号ＭＨＴ以外の他の多チャネルオーディオ信号ＭＨＱ，ＭＬＴ，ＭＬＱのうち何れか一つとの間の時間同期が合せられたとき、時間同期がずれた残りの他の多チャネルオーディオ信号の時間遅延を補償し、時系列データＯＵＴ１との時間同期を合せることも含まれる。
一方、時系列データＯＵＴ１と多チャネルオーディオ信号ＭＨＴ、ＭＨＱ、ＭＬＴ、ＭＬＱが一緒に処理されない場合にも、時間遅延補償過程を行うことができる。例えば、多チャネルオーディオ信号ＭＨＴの時間遅延を補償し、多チャネルオーディオ信号ＭＬＴと比較した結果を用いて時間遅延の発生を防止する。もちろん、その他の形態にも多様化される。
本発明は、上述した実施例に限定されるものでなく、添付された特許請求の範囲から分かるように、本発明の属する分野で通常の知識を有する者によって変形が可能であり、このような変形は本発明の範囲に属する。
第１に、本発明に係るオーディオ信号の処理方法は、ダウンミックス信号と空間情報との間に時間同期差が発生した場合、これを補償して音質低下を防止できるという効果がある。
第２に、本発明に係るオーディオ信号の処理方法は、動画像、テキスト及びイメージなどの時系列データと一緒に処理される多チャネルオーディオ信号と時系列データとの間の時間同期差を補償できるという効果がある。
本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。 本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。 本発明の一実施例に係るオーディオ信号のデコーディング装置のブロック図である。 図１に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。 図２に示した多チャネルデコーディング部で信号処理される方法を説明するためのブロック図である。 本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。 本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。 本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。 本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。 本発明の一実施例に係るオーディオ信号のデコーディング方法を説明するためのブロック図である。

Claims (3)

  1. デコーディング装置によってオーディオ信号を処理する方法であって、
    前記デコーディング装置によって、時間ドメインのダウンミックス信号及び空間情報を含むエンコーディングされたオーディオ信号を受信する段階と、
    前記デコーディング装置によって、前記時間ドメインのダウンミックス信号をリアル直交ミラーフィルタ（ＱＭＦ）ドメインのダウンミックス信号に第１の変換をする段階と、
    前記デコーディング装置によって、前記リアル直交ミラーフィルタドメインのダウンミックス信号をコンプレックス直交ミラーフィルタドメインのダウンミックス信号に第２の変換をする段階と、
    前記デコーディング装置によって、前記コンプレックス直交ミラーフィルタドメインのダウンミックス信号と前記空間情報とを結合する段階と、を有し、
    前記空間情報は、前記オーディオ信号をエンコーディングするとき、前記第１の変換及び前記第２の変換の経過時間を含む時間量だけ遅延される、方法。
  2. 前記空間情報の総遅延時間は、９６１時間サンプルである、請求項１に記載の方法。
  3. オーディオ信号を処理する装置であって、
    時間ドメインのダウンミックス信号及び空間情報を含むエンコーディングされたオーディオ信号を受信するオーディオ信号受信部と、
    前記時間ドメインのダウンミックス信号をリアル直交ミラーフィルタ（ＱＭＦ）ドメインのダウンミックス信号に第１の変換をする第１ダウンミックス信号変換部と、
    前記リアル直交ミラーフィルタドメインのダウンミックス信号をコンプレックス直交ミラーフィルタドメインのダウンミックス信号に第２の変換をする第２ダウンミックス信号変換部と、
    前記コンプレックス直交ミラーフィルタドメインのダウンミックス信号と前記空間情報とを結合する空間情報結合部と、
    を備え、
    前記空間情報は、前記オーディオ信号をエンコーディングするとき、前記第１の変換及び前記第２の変換の経過時間を含む時間量だけ遅延される、装置。
JP2008537580A 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法 Active JP5270357B2 (ja)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US72922505P 2005-10-24 2005-10-24
US60/729,225 2005-10-24
US75700506P 2006-01-09 2006-01-09
US60/757,005 2006-01-09
US78674006P 2006-03-29 2006-03-29
US60/786,740 2006-03-29
US79232906P 2006-04-17 2006-04-17
US60/792,329 2006-04-17
KR10-2006-0078218 2006-08-18
KR1020060078222A KR20070037985A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR10-2006-0078221 2006-08-18
KR10-2006-0078222 2006-08-18
KR10-2006-0078219 2006-08-18
KR10-2006-0078225 2006-08-18
KR1020060078218A KR20070037983A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 부호화된 오디오신호 생성방법
KR1020060078219A KR20070074442A (ko) 2006-01-09 2006-08-18 다채널 오디오 복원 장치 및 방법과 이 장치에서 수행되는프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체
KR1020060078221A KR20070037984A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 그 장치
KR1020060078225A KR20070037987A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 디코딩 방법 및 장치
KR10-2006-0078223 2006-08-18
KR1020060078223A KR20070037986A (ko) 2005-10-04 2006-08-18 다채널 오디오 신호의 처리방법 및 그 장치
PCT/KR2006/003973 WO2007049862A1 (en) 2005-10-24 2006-10-02 Removing time delays in signal paths

Publications (2)

Publication Number Publication Date
JP2009512900A JP2009512900A (ja) 2009-03-26
JP5270357B2 true JP5270357B2 (ja) 2013-08-21

Family

ID=44454038

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2008537582A Pending JP2009513084A (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法
JP2008537584A Active JP5270358B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法
JP2008537581A Active JP5249038B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法
JP2008537580A Active JP5270357B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法
JP2008537583A Active JP5249039B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法
JP2008537579A Active JP5399706B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2008537582A Pending JP2009513084A (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法
JP2008537584A Active JP5270358B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法
JP2008537581A Active JP5249038B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2008537583A Active JP5249039B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法
JP2008537579A Active JP5399706B2 (ja) 2005-10-24 2006-10-02 信号処理で時間遅延を補償する方法

Country Status (11)

Country Link
US (8) US7653533B2 (ja)
EP (6) EP1952670A4 (ja)
JP (6) JP2009513084A (ja)
KR (7) KR101186611B1 (ja)
CN (6) CN101297594B (ja)
AU (1) AU2006306942B2 (ja)
BR (1) BRPI0617779A2 (ja)
CA (1) CA2626132C (ja)
HK (1) HK1126071A1 (ja)
TW (6) TWI317247B (ja)
WO (6) WO2007049864A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
EP1817767B1 (en) * 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
US7761304B2 (en) * 2004-11-30 2010-07-20 Agere Systems Inc. Synchronizing parametric coding of spatial audio with externally provided downmix
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
US8019614B2 (en) * 2005-09-02 2011-09-13 Panasonic Corporation Energy shaping apparatus and energy shaping method
US7653533B2 (en) 2005-10-24 2010-01-26 Lg Electronics Inc. Removing time delays in signal paths
WO2008004812A1 (en) 2006-07-04 2008-01-10 Electronics And Telecommunications Research Institute Apparatus and method for restoring multi-channel audio signal using he-aac decoder and mpeg surround decoder
FR2911031B1 (fr) * 2006-12-28 2009-04-10 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2911020B1 (fr) * 2006-12-28 2009-05-01 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
JP5018193B2 (ja) * 2007-04-06 2012-09-05 ヤマハ株式会社 雑音抑圧装置およびプログラム
GB2453117B (en) 2007-09-25 2012-05-23 Motorola Mobility Inc Apparatus and method for encoding a multi channel audio signal
WO2009050896A1 (ja) * 2007-10-16 2009-04-23 Panasonic Corporation ストリーム合成装置、復号装置、方法
TWI407362B (zh) * 2008-03-28 2013-09-01 Hon Hai Prec Ind Co Ltd 播放裝置及其音頻輸出方法
US8380523B2 (en) 2008-07-07 2013-02-19 Lg Electronics Inc. Method and an apparatus for processing an audio signal
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP2144231A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
BRPI0905069A2 (pt) * 2008-07-29 2015-06-30 Panasonic Corp Aparelho de codificação de áudio, aparelho de decodificação de áudio, aparelho de codificação e de descodificação de áudio e sistema de teleconferência
TWI503816B (zh) * 2009-05-06 2015-10-11 Dolby Lab Licensing Corp 調整音訊信號響度並使其具有感知頻譜平衡保持效果之技術
US20110153391A1 (en) * 2009-12-21 2011-06-23 Michael Tenbrock Peer-to-peer privacy panel for audience measurement
US9601122B2 (en) * 2012-06-14 2017-03-21 Dolby International Ab Smooth configuration switching for multichannel audio
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
CN116665683A (zh) 2013-02-21 2023-08-29 杜比国际公司 用于参数化多声道编码的方法
RU2665281C2 (ru) * 2013-09-12 2018-08-28 Долби Интернэшнл Аб Временное согласование данных обработки на основе квадратурного зеркального фильтра
US10152977B2 (en) * 2015-11-20 2018-12-11 Qualcomm Incorporated Encoding of multiple audio signals
US9978381B2 (en) * 2016-02-12 2018-05-22 Qualcomm Incorporated Encoding of multiple audio signals
JP6866071B2 (ja) * 2016-04-25 2021-04-28 ヤマハ株式会社 端末装置、端末装置の動作方法およびプログラム
KR101687745B1 (ko) 2016-05-12 2016-12-19 김태서 양방향 데이터통신을 수행하는 교통신호 기반의 광고 시스템 및 그 제어 방법
KR101687741B1 (ko) 2016-05-12 2016-12-19 김태서 교통신호 기반의 능동형 광고 시스템 및 그 제어 방법
ES2971838T3 (es) * 2018-07-04 2024-06-10 Fraunhofer Ges Forschung Codificación de audio multiseñal utilizando el blanqueamiento de señal como preprocesamiento

Family Cites Families (152)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6096079A (ja) 1983-10-31 1985-05-29 Matsushita Electric Ind Co Ltd 多値画像の符号化方法
US4661862A (en) * 1984-04-27 1987-04-28 Rca Corporation Differential PCM video transmission system employing horizontally offset five pixel groups and delta signals having plural non-linear encoding functions
US4621862A (en) * 1984-10-22 1986-11-11 The Coca-Cola Company Closing means for trucks
JPS6294090A (ja) 1985-10-21 1987-04-30 Hitachi Ltd 符号化装置
JPS6294090U (ja) 1985-12-02 1987-06-16
US4725885A (en) * 1986-12-22 1988-02-16 International Business Machines Corporation Adaptive graylevel image compression system
JPH0793584B2 (ja) * 1987-09-25 1995-10-09 株式会社日立製作所 符号化装置
NL8901032A (nl) 1988-11-10 1990-06-01 Philips Nv Coder om extra informatie op te nemen in een digitaal audiosignaal met een tevoren bepaald formaat, een decoder om deze extra informatie uit dit digitale signaal af te leiden, een inrichting voor het opnemen van een digitaal signaal op een registratiedrager, voorzien van de coder, en een registratiedrager verkregen met deze inrichting.
US5243686A (en) * 1988-12-09 1993-09-07 Oki Electric Industry Co., Ltd. Multi-stage linear predictive analysis method for feature extraction from acoustic signals
JP2811369B2 (ja) 1989-01-27 1998-10-15 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 高品質オーディオ用短時間遅延変換コーダ、デコーダ、及びエンコーダ・デコーダ
DE3943879B4 (de) * 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
US6289308B1 (en) * 1990-06-01 2001-09-11 U.S. Philips Corporation Encoded wideband digital transmission signal and record carrier recorded with such a signal
NL9000338A (nl) * 1989-06-02 1991-01-02 Koninkl Philips Electronics Nv Digitaal transmissiesysteem, zender en ontvanger te gebruiken in het transmissiesysteem en registratiedrager verkregen met de zender in de vorm van een optekeninrichting.
GB8921320D0 (en) 1989-09-21 1989-11-08 British Broadcasting Corp Digital video coding
SG49883A1 (en) 1991-01-08 1998-06-15 Dolby Lab Licensing Corp Encoder/decoder for multidimensional sound fields
EP0805564A3 (en) * 1991-08-02 1999-10-13 Sony Corporation Digital encoder with dynamic quantization bit allocation
DE4209544A1 (de) 1992-03-24 1993-09-30 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen oder Speichern digitalisierter, mehrkanaliger Tonsignale
JP3104400B2 (ja) 1992-04-27 2000-10-30 ソニー株式会社 オーディオ信号符号化装置及び方法
JP3123286B2 (ja) * 1993-02-18 2001-01-09 ソニー株式会社 ディジタル信号処理装置又は方法、及び記録媒体
US5481643A (en) 1993-03-18 1996-01-02 U.S. Philips Corporation Transmitter, receiver and record carrier for transmitting/receiving at least a first and a second signal component
US5563661A (en) * 1993-04-05 1996-10-08 Canon Kabushiki Kaisha Image processing apparatus
US6125398A (en) * 1993-11-24 2000-09-26 Intel Corporation Communications subsystem for computer-based conferencing system using both ISDN B channels for transmission
US5508942A (en) * 1993-11-24 1996-04-16 Intel Corporation Intra/inter decision rules for encoding and decoding video signals
US5640159A (en) * 1994-01-03 1997-06-17 International Business Machines Corporation Quantization method for image data compression employing context modeling algorithm
RU2158970C2 (ru) 1994-03-01 2000-11-10 Сони Корпорейшн Способ кодирования цифрового сигнала и устройство для его осуществления, носитель записи цифрового сигнала, способ декодирования цифрового сигнала и устройство для его осуществления
US5550541A (en) 1994-04-01 1996-08-27 Dolby Laboratories Licensing Corporation Compact source coding tables for encoder/decoder system
DE4414445A1 (de) * 1994-04-26 1995-11-09 Heidelberger Druckmasch Ag Taktrolle zum Transport von Bogen in eine bogenverarbeitende Maschine
JP3498375B2 (ja) * 1994-07-20 2004-02-16 ソニー株式会社 ディジタル・オーディオ信号記録装置
US6549666B1 (en) * 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
JPH08123494A (ja) 1994-10-28 1996-05-17 Mitsubishi Electric Corp 音声符号化装置、音声復号化装置、音声符号化復号化方法およびこれらに使用可能な位相振幅特性導出装置
JPH08130649A (ja) * 1994-11-01 1996-05-21 Canon Inc データ処理装置
KR100209877B1 (ko) * 1994-11-26 1999-07-15 윤종용 복수개의 허프만부호테이블을 이용한 가변장부호화장치 및 복호화장치
JP3371590B2 (ja) 1994-12-28 2003-01-27 ソニー株式会社 高能率符号化方法及び高能率復号化方法
JP3484832B2 (ja) 1995-08-02 2004-01-06 ソニー株式会社 記録装置、記録方法、再生装置及び再生方法
KR100219217B1 (ko) 1995-08-31 1999-09-01 전주범 무손실 부호화 장치
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6047027A (en) 1996-02-07 2000-04-04 Matsushita Electric Industrial Co., Ltd. Packetized data stream decoder using timing information extraction and insertion
JP3088319B2 (ja) 1996-02-07 2000-09-18 松下電器産業株式会社 デコード装置およびデコード方法
US6399760B1 (en) * 1996-04-12 2002-06-04 Millennium Pharmaceuticals, Inc. RP compositions and therapeutic and diagnostic uses therefor
JP3977426B2 (ja) 1996-04-18 2007-09-19 ノキア コーポレイション ビデオデータ用エンコーダ及びデコーダ
US5970152A (en) * 1996-04-30 1999-10-19 Srs Labs, Inc. Audio enhancement system for use in a surround sound environment
KR100206786B1 (ko) * 1996-06-22 1999-07-01 구자홍 디브이디 재생기의 복수 오디오 처리 장치
EP0827312A3 (de) 1996-08-22 2003-10-01 Marconi Communications GmbH Verfahren zur Änderung der Konfiguration von Datenpaketen
US5912636A (en) * 1996-09-26 1999-06-15 Ricoh Company, Ltd. Apparatus and method for performing m-ary finite state machine entropy coding
US5893066A (en) 1996-10-15 1999-04-06 Samsung Electronics Co. Ltd. Fast requantization apparatus and method for MPEG audio decoding
TW429700B (en) 1997-02-26 2001-04-11 Sony Corp Information encoding method and apparatus, information decoding method and apparatus and information recording medium
US6134518A (en) * 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
US6131084A (en) 1997-03-14 2000-10-10 Digital Voice Systems, Inc. Dual subframe quantization of spectral magnitudes
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US5924930A (en) * 1997-04-03 1999-07-20 Stewart; Roger K. Hitting station and methods related thereto
US6356639B1 (en) 1997-04-11 2002-03-12 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus, signal processing device, sound image localization device, sound image control method, audio signal processing device, and audio signal high-rate reproduction method used for audio visual equipment
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
EP1020862B1 (en) 1997-09-17 2006-11-02 Matsushita Electric Industrial Co., Ltd. Optical disc, computer-readable recording medium storing an editing program, reproduction apparatus for the optical disc, and computer-readable recording medium storing an reproduction program
US6130418A (en) 1997-10-06 2000-10-10 U.S. Philips Corporation Optical scanning unit having a main lens and an auxiliary lens
US5966688A (en) * 1997-10-28 1999-10-12 Hughes Electronics Corporation Speech mode based multi-stage vector quantizer
JP2005063655A (ja) 1997-11-28 2005-03-10 Victor Co Of Japan Ltd オーディオ信号のエンコード方法及びデコード方法
NO306154B1 (no) * 1997-12-05 1999-09-27 Jan H Iien PolstringshÕndtak
JP3022462B2 (ja) 1998-01-13 2000-03-21 興和株式会社 振動波の符号化方法及び復号化方法
ATE302991T1 (de) * 1998-01-22 2005-09-15 Deutsche Telekom Ag Verfahren zur signalgesteuerten schaltung zwischen verschiedenen audiokodierungssystemen
JPH11282496A (ja) 1998-03-30 1999-10-15 Matsushita Electric Ind Co Ltd 復号装置
AUPP272898A0 (en) * 1998-03-31 1998-04-23 Lake Dsp Pty Limited Time processed head related transfer functions in a headphone spatialization system
US6016473A (en) 1998-04-07 2000-01-18 Dolby; Ray M. Low bit-rate spatial coding method and system
US6360204B1 (en) 1998-04-24 2002-03-19 Sarnoff Corporation Method and apparatus for implementing rounding in decoding an audio signal
US6339760B1 (en) * 1998-04-28 2002-01-15 Hitachi, Ltd. Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data
JPH11330980A (ja) 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 復号装置及びその復号方法、並びにその復号の手順を記録した記録媒体
CN1331335C (zh) 1998-07-03 2007-08-08 多尔拜实验特许公司 用于固定和可变速率数据流的代码转换器
GB2340351B (en) 1998-07-29 2004-06-09 British Broadcasting Corp Data transmission
MY118961A (en) * 1998-09-03 2005-02-28 Sony Corp Beam irradiation apparatus, optical apparatus having beam irradiation apparatus for information recording medium, method for manufacturing original disk for information recording medium, and method for manufacturing information recording medium
US6298071B1 (en) * 1998-09-03 2001-10-02 Diva Systems Corporation Method and apparatus for processing variable bit rate information in an information distribution system
US6148283A (en) * 1998-09-23 2000-11-14 Qualcomm Inc. Method and apparatus using multi-path multi-stage vector quantizer
US6553147B2 (en) * 1998-10-05 2003-04-22 Sarnoff Corporation Apparatus and method for data partitioning to improving error resilience
US6556685B1 (en) * 1998-11-06 2003-04-29 Harman Music Group Companding noise reduction system with simultaneous encode and decode
JP3346556B2 (ja) 1998-11-16 2002-11-18 日本ビクター株式会社 音声符号化方法及び音声復号方法
US6757659B1 (en) 1998-11-16 2004-06-29 Victor Company Of Japan, Ltd. Audio signal processing apparatus
US6195024B1 (en) * 1998-12-11 2001-02-27 Realtime Data, Llc Content independent data compression method and system
US6208276B1 (en) * 1998-12-30 2001-03-27 At&T Corporation Method and apparatus for sample rate pre- and post-processing to achieve maximal coding gain for transform-based audio encoding and decoding
US6631352B1 (en) * 1999-01-08 2003-10-07 Matushita Electric Industrial Co. Ltd. Decoding circuit and reproduction apparatus which mutes audio after header parameter changes
EP1173925B1 (en) * 1999-04-07 2003-12-03 Dolby Laboratories Licensing Corporation Matrixing for lossless encoding and decoding of multichannels audio signals
JP3323175B2 (ja) 1999-04-20 2002-09-09 松下電器産業株式会社 符号化装置
US6421467B1 (en) * 1999-05-28 2002-07-16 Texas Tech University Adaptive vector quantization/quantizer
KR100307596B1 (ko) 1999-06-10 2001-11-01 윤종용 디지털 오디오 데이터의 무손실 부호화 및 복호화장치
JP2000352999A (ja) * 1999-06-11 2000-12-19 Nec Corp 音声切替装置
US6226616B1 (en) 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
JP2001006291A (ja) * 1999-06-21 2001-01-12 Fuji Film Microdevices Co Ltd オーディオ信号の符号化方式判定装置、及びオーディオ信号の符号化方式判定方法
JP3762579B2 (ja) 1999-08-05 2006-04-05 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
JP2002093055A (ja) * 2000-07-10 2002-03-29 Matsushita Electric Ind Co Ltd 信号処理装置、信号処理方法、及び光ディスク再生装置
US20020049586A1 (en) 2000-09-11 2002-04-25 Kousuke Nishio Audio encoder, audio decoder, and broadcasting system
US6636830B1 (en) * 2000-11-22 2003-10-21 Vialta Inc. System and method for noise reduction using bi-orthogonal modified discrete cosine transform
JP4008244B2 (ja) 2001-03-02 2007-11-14 松下電器産業株式会社 符号化装置および復号化装置
JP3566220B2 (ja) 2001-03-09 2004-09-15 三菱電機株式会社 音声符号化装置、音声符号化方法、音声復号化装置及び音声復号化方法
US6504496B1 (en) * 2001-04-10 2003-01-07 Cirrus Logic, Inc. Systems and methods for decoding compressed data
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP2002335230A (ja) 2001-05-11 2002-11-22 Victor Co Of Japan Ltd 音声符号化信号の復号方法、及び音声符号化信号復号装置
JP2003005797A (ja) 2001-06-21 2003-01-08 Matsushita Electric Ind Co Ltd オーディオ信号の符号化方法及び装置、並びに符号化及び復号化システム
GB0119569D0 (en) * 2001-08-13 2001-10-03 Radioscape Ltd Data hiding in digital audio broadcasting (DAB)
EP1308931A1 (de) * 2001-10-23 2003-05-07 Deutsche Thomson-Brandt Gmbh Decodierung eines codierten digitalen Audio-Signals welches in Header enthaltende Rahmen angeordnet ist
KR100480787B1 (ko) 2001-11-27 2005-04-07 삼성전자주식회사 좌표 인터폴레이터의 키 값 데이터 부호화/복호화 방법 및 장치
EP1466320B1 (en) * 2001-11-30 2007-02-07 Koninklijke Philips Electronics N.V. Signal coding
TW569550B (en) 2001-12-28 2004-01-01 Univ Nat Central Method of inverse-modified discrete cosine transform and overlap-add for MPEG layer 3 voice signal decoding and apparatus thereof
EP1827026A1 (en) * 2002-01-18 2007-08-29 Kabushiki Kaisha Toshiba Video decoding method and apparatus
EP1341386A3 (en) * 2002-01-31 2003-10-01 Thomson Licensing S.A. Audio/video system providing variable delay
JP2003233395A (ja) 2002-02-07 2003-08-22 Matsushita Electric Ind Co Ltd オーディオ信号の符号化方法及び装置、並びに符号化及び復号化システム
CN1639984B (zh) * 2002-03-08 2011-05-11 日本电信电话株式会社 数字信号编码方法、解码方法、编码设备、解码设备
EP1493146B1 (en) * 2002-04-11 2006-08-02 Matsushita Electric Industrial Co., Ltd. Encoding and decoding devices, methods and programs
DE10217297A1 (de) 2002-04-18 2003-11-06 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Codieren eines zeitdiskreten Audiosignals und Vorrichtung und Verfahren zum Decodieren von codierten Audiodaten
US7275036B2 (en) * 2002-04-18 2007-09-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding a time-discrete audio signal to obtain coded audio data and for decoding coded audio data
AU2003230986A1 (en) 2002-04-19 2003-11-03 Droplet Technology, Inc. Wavelet transform system, method and computer program product
ES2280736T3 (es) 2002-04-22 2007-09-16 Koninklijke Philips Electronics N.V. Sintetizacion de señal.
ES2268340T3 (es) 2002-04-22 2007-03-16 Koninklijke Philips Electronics N.V. Representacion de audio parametrico de multiples canales.
JP2004004274A (ja) * 2002-05-31 2004-01-08 Matsushita Electric Ind Co Ltd 音声信号処理切換装置
KR100486524B1 (ko) * 2002-07-04 2005-05-03 엘지전자 주식회사 비디오 코덱의 지연시간 단축 장치
AU2003244932A1 (en) 2002-07-12 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
EP1523863A1 (en) 2002-07-16 2005-04-20 Koninklijke Philips Electronics N.V. Audio coding
DE60327039D1 (de) 2002-07-19 2009-05-20 Nec Corp Audiodekodierungseinrichtung, dekodierungsverfahren und programm
CN1672464B (zh) 2002-08-07 2010-07-28 杜比实验室特许公司 音频声道空间转换
JP2004085945A (ja) * 2002-08-27 2004-03-18 Canon Inc 音響出力装置及びそのデータ伝送制御方法
US7536305B2 (en) 2002-09-04 2009-05-19 Microsoft Corporation Mixed lossless audio compression
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
TW567466B (en) 2002-09-13 2003-12-21 Inventec Besta Co Ltd Method using computer to compress and encode audio data
EP1604528A2 (en) 2002-09-17 2005-12-14 Ceperkovic, Vladimir Fast codec with high compression ratio and minimum required resources
JP4084990B2 (ja) 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
JP2004220743A (ja) 2003-01-17 2004-08-05 Sony Corp 情報記録装置及び情報記録制御方法、並びに情報再生装置及び情報再生制御方法
JP3761522B2 (ja) * 2003-01-22 2006-03-29 パイオニア株式会社 音声信号処理装置および音声信号処理方法
KR101049751B1 (ko) 2003-02-11 2011-07-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
WO2004080125A1 (en) 2003-03-04 2004-09-16 Nokia Corporation Support of a multichannel audio extension
US20040199276A1 (en) * 2003-04-03 2004-10-07 Wai-Leong Poon Method and apparatus for audio synchronization
US20070038439A1 (en) * 2003-04-17 2007-02-15 Koninklijke Philips Electronics N.V. Groenewoudseweg 1 Audio signal generation
RU2005135650A (ru) 2003-04-17 2006-03-20 Конинклейке Филипс Электроникс Н.В. (Nl) Синтез аудиосигнала
JP2005086486A (ja) * 2003-09-09 2005-03-31 Alpine Electronics Inc オーディオ装置およびオーディオ処理方法
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
RU2374703C2 (ru) * 2003-10-30 2009-11-27 Конинклейке Филипс Электроникс Н.В. Кодирование или декодирование аудиосигнала
US20050137729A1 (en) * 2003-12-18 2005-06-23 Atsuhiro Sakurai Time-scale modification stereo audio signals
SE527670C2 (sv) 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
US7394903B2 (en) 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US20050174269A1 (en) * 2004-02-05 2005-08-11 Broadcom Corporation Huffman decoder used for decoding both advanced audio coding (AAC) and MP3 audio
US7272567B2 (en) * 2004-03-25 2007-09-18 Zoran Fejzo Scalable lossless audio codec and authoring tool
JP5032977B2 (ja) * 2004-04-05 2012-09-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネル・エンコーダ
WO2005099243A1 (ja) * 2004-04-09 2005-10-20 Nec Corporation 音声通信方法及び装置
JP4579237B2 (ja) * 2004-04-22 2010-11-10 三菱電機株式会社 画像符号化装置及び画像復号装置
JP2005332449A (ja) 2004-05-18 2005-12-02 Sony Corp 光学ピックアップ装置、光記録再生装置及びチルト制御方法
TWM257575U (en) 2004-05-26 2005-02-21 Aimtron Technology Corp Encoder and decoder for audio and video information
JP2006012301A (ja) * 2004-06-25 2006-01-12 Sony Corp 光記録再生方法、光ピックアップ装置、光記録再生装置、光記録媒体とその製造方法及び半導体レーザ装置
US8204261B2 (en) 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
JP2006120247A (ja) 2004-10-21 2006-05-11 Sony Corp 集光レンズ及びその製造方法、これを用いた露光装置、光学ピックアップ装置及び光記録再生装置
SE0402650D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US7991610B2 (en) 2005-04-13 2011-08-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Adaptive grouping of parameters for enhanced coding efficiency
CZ300251B6 (cs) 2005-07-20 2009-04-01 Oez S. R. O. Spínací prístroj, zvlášte výkonový jistic
US7653533B2 (en) 2005-10-24 2010-01-26 Lg Electronics Inc. Removing time delays in signal paths
JP4876574B2 (ja) * 2005-12-26 2012-02-15 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体

Also Published As

Publication number Publication date
EP1952674A1 (en) 2008-08-06
EP1952671A1 (en) 2008-08-06
JP5249039B2 (ja) 2013-07-31
KR20080096603A (ko) 2008-10-30
KR20080050442A (ko) 2008-06-05
TW200723247A (en) 2007-06-16
KR100888971B1 (ko) 2009-03-17
US20100324916A1 (en) 2010-12-23
US20070094011A1 (en) 2007-04-26
TWI317246B (en) 2009-11-11
WO2007049865A1 (en) 2007-05-03
EP1952674A4 (en) 2010-09-29
US20070094012A1 (en) 2007-04-26
US8095357B2 (en) 2012-01-10
JP5249038B2 (ja) 2013-07-31
US7742913B2 (en) 2010-06-22
TWI317247B (en) 2009-11-11
WO2007049866A1 (en) 2007-05-03
EP1952675A1 (en) 2008-08-06
CA2626132A1 (en) 2007-05-03
KR20080040785A (ko) 2008-05-08
WO2007049861A1 (en) 2007-05-03
JP5270358B2 (ja) 2013-08-21
US20070092086A1 (en) 2007-04-26
EP1952673A1 (en) 2008-08-06
US7840401B2 (en) 2010-11-23
KR20090018131A (ko) 2009-02-19
TW200718259A (en) 2007-05-01
CN101297599A (zh) 2008-10-29
JP2009513085A (ja) 2009-03-26
US7653533B2 (en) 2010-01-26
TWI317244B (en) 2009-11-11
EP1952672A2 (en) 2008-08-06
US7716043B2 (en) 2010-05-11
US20070094014A1 (en) 2007-04-26
CN101297598B (zh) 2011-08-17
TWI317245B (en) 2009-11-11
CN101297597B (zh) 2013-03-27
CN101297594B (zh) 2014-07-02
JP2009512901A (ja) 2009-03-26
WO2007049864A1 (en) 2007-05-03
JP2009513084A (ja) 2009-03-26
WO2007049862A1 (en) 2007-05-03
KR20080050443A (ko) 2008-06-05
JP2009512899A (ja) 2009-03-26
CN101297598A (zh) 2008-10-29
KR20080050445A (ko) 2008-06-05
TWI310544B (en) 2009-06-01
KR100888973B1 (ko) 2009-03-17
KR20080050444A (ko) 2008-06-05
EP1952672B1 (en) 2016-04-27
EP1952671A4 (en) 2010-09-22
KR101186611B1 (ko) 2012-09-27
JP2009512900A (ja) 2009-03-26
KR100875428B1 (ko) 2008-12-22
WO2007049863A8 (en) 2007-08-02
EP1952670A4 (en) 2012-09-26
CN101297596A (zh) 2008-10-29
TW200723931A (en) 2007-06-16
TW200723932A (en) 2007-06-16
JP2009512902A (ja) 2009-03-26
KR100928268B1 (ko) 2009-11-24
WO2007049863A2 (en) 2007-05-03
US7761289B2 (en) 2010-07-20
EP1952670A1 (en) 2008-08-06
US20070094013A1 (en) 2007-04-26
WO2007049862A8 (en) 2007-08-02
CA2626132C (en) 2012-08-28
AU2006306942A1 (en) 2007-05-03
KR100888974B1 (ko) 2009-03-17
TWI317243B (en) 2009-11-11
EP1952675A4 (en) 2010-09-29
EP1952672A4 (en) 2010-09-29
US8095358B2 (en) 2012-01-10
US20070094010A1 (en) 2007-04-26
EP1952674B1 (en) 2015-09-09
AU2006306942B2 (en) 2010-02-18
CN101297597A (zh) 2008-10-29
HK1126071A1 (en) 2009-08-21
BRPI0617779A2 (pt) 2011-08-09
JP5399706B2 (ja) 2014-01-29
TW200719747A (en) 2007-05-16
WO2007049863A3 (en) 2007-06-14
CN101297595A (zh) 2008-10-29
CN101297596B (zh) 2012-11-07
CN101297594A (zh) 2008-10-29
US20100329467A1 (en) 2010-12-30
KR100888972B1 (ko) 2009-03-17

Similar Documents

Publication Publication Date Title
JP5270357B2 (ja) 信号処理で時間遅延を補償する方法
KR100875429B1 (ko) 신호 처리에서 시간 지연을 보상하는 방법
RU2389155C2 (ru) Устранение задержек по времени на трактах обработки сигнала
TWI450603B (zh) 音頻訊號處理方法及其系統與電腦可讀取媒體

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120912

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5270357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250