JPWO2009122757A1 - ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 - Google Patents
ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 Download PDFInfo
- Publication number
- JPWO2009122757A1 JPWO2009122757A1 JP2010505410A JP2010505410A JPWO2009122757A1 JP WO2009122757 A1 JPWO2009122757 A1 JP WO2009122757A1 JP 2010505410 A JP2010505410 A JP 2010505410A JP 2010505410 A JP2010505410 A JP 2010505410A JP WO2009122757 A1 JPWO2009122757 A1 JP WO2009122757A1
- Authority
- JP
- Japan
- Prior art keywords
- signal
- coefficient
- channel signal
- stereo
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 122
- 238000000034 method Methods 0.000 title claims description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 90
- 238000010219 correlation analysis Methods 0.000 claims abstract description 24
- 230000008929 regeneration Effects 0.000 claims description 46
- 238000011069 regeneration method Methods 0.000 claims description 46
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 238000010845 search algorithm Methods 0.000 description 8
- 238000000926 separation method Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00992—Circuits for stereophonic or quadraphonic recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
- G11B2020/10546—Audio or video recording specifically adapted for audio data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
音源の位置が異なる場合であっても、冗長性の少ない符号化用信号(M、S)を得ることができるステレオ信号変換装置及びより高品質のステレオ信号を得ることができるステレオ信号逆変換装置。ステレオ信号変換装置(101)において、相関分析部(111)が、左チャネル信号Lと右チャネル信号Rとを用いて、左チャネル信号LのパワPL、右チャネル信号RのパワPRおよび相関値CLRを計算する。係数計算部(113)が、パワPLとパワPRとの大小関係に基づき、相関分析部111から出力された相関値CLRを用いて係数αを計算する。和差計算部(115)が、左チャネル信号Lと右チャネル信号Rとを加算してモノラル信号Mを生成する。また、和差計算部(115)が、パワPLとパワPRとの大小関係と、αを符号化・復号して得られる係数を用いてサイド信号Sを生成する。
Description
本発明は、ステレオ音声の符号化を実現する符号化装置、復号装置に用いられるステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法に関する。
音声符号化は、通常、電話帯域(200Hz〜3.4kHz)の狭帯域音声を使用する通信用途に用いられる。モノラル音声の狭帯域音声コーデックは、移動電話、遠隔会議機器や最近ではパケットネットワーク(たとえば、インターネット)上での音声通信などの通信用途に広く使用されている。
近年、通信ネットワークのブロードバンド化に伴い、音声通信に対して臨場感や音楽に対する品質の高さが求められるようになり、このニーズに応えるために、ステレオ音声の符号化技術を用いた音声通信システムの開発が進められている。
従来から、ステレオ音声を符号化する方法として、左チャネル信号と右チャネル信号との和に基づくモノラル信号と、左チャネル信号と右チャネル信号との差に基づくサイド信号とを求め、モノラル信号とサイド信号とをそれぞれ符号化する方法が知られている(特許文献1参照)。
左チャネル信号と右チャネル信号とは、人間のそれぞれの耳から入る音を表す信号であり、モノラル信号によって左チャネル信号と右チャネル信号との共通部分を表すことができ、サイド信号によって左チャネル信号と右チャネル信号との空間的な違いを表現することができる。
左チャネル信号と右チャネル信号との相関性が高いことから、これらの信号をモノラル信号とサイド信号とに変換してから符号化する方が、左チャネル信号と右チャネル信号とを直接符号化するよりも、モノラル信号とサイド信号の特徴に応じた適切な符号化が可能になり、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。
しかしながら、左チャネル信号と右チャネル信号との主成分が同じでも、これらの信号の音源の位置が異なる場合には、同時刻における左チャネル信号と右チャネル信号との相関性は低くなる。したがって、単に、左チャネル信号と右チャネル信号とをモノラル信号とサイド信号とに変換して符号化すると、音源の位置が大きく異なる場合に、モノラル信号とサイド信号とに冗長性が含まれたまま、非効率に量子化することになる。
本発明の目的は、符号化装置側では、音源の位置が異なる場合であっても、冗長性の少ない符号化用信号(M、S)を得ることができ、復号装置側では、より高品質のステレオ信号を得ることができる、ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法を提供することである。
本発明のステレオ信号変換装置は、ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値を計算する相関分析手段と、前記相関値に基づいて第1の係数を計算する係数計算手段と、前記第1の係数を符号化し、得られた符号化データに基づいて第2の係数を求める係数符号化手段と、前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号を、前記第2の係数を用いて生成する和差計算手段と、を具備する構成を採る。
本発明のステレオ信号逆変換装置は、ステレオ信号変換装置でステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値に基づいて求められた第1の係数を符号化して得られた符号化データ、を復号し第2の係数を求める係数復号手段と、前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号と、前記第2の係数と、を用いて、前記第1チャネル信号の再生成信号および前記第2チャネル信号の再生成信号を生成する再生成信号生成手段と、を具備する構成を採る。
本発明のステレオ信号変換方法は、ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値を計算する相関分析工程と、前記相関値に基づいて第1の係数を計算する係数計算工程と、前記第1の係数を符号化し、得られた符号化データに基づいて第2の係数を求める係数符号化工程と、前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号を、前記第2の係数を用いて生成する和差計算工程と、を具備する方法を採る。
本発明のステレオ信号逆変換方法は、ステレオ信号変換方法でステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値に基づいて求められた第1の係数を符号化して得られた符号化データ、を復号し第2の係数を求める係数復号工程と、前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号と、前記第2の係数と、を用いて、前記第1チャネル信号の再生成信号および前記第2チャネル信号の再生成信号を生成する再生成信号生成工程と、を具備する方法を採る。
本発明によれば、符号化装置側では、ステレオ信号(L、R)の間の相関を利用して求めた係数αを、左チャネル信号Lと右チャネル信号Rとのいずれか一方に乗算してサイド信号Sを求めることにより、音源の位置が異なる場合であっても、冗長性の少ない符号化用信号(M、S)を得ることができ、復号装置側ではより高品質のステレオ信号を得ることができる。
以下、本発明の実施の形態について、図面を用いて説明する。なお、各実施の形態では、ステレオ信号が左チャネル信号と右チャネル信号との2つの信号からなる場合を例に説明する。また、左チャネル信号、右チャネル信号、モノラル信号、サイド信号をそれぞれ、L、R、M、Sと表し、それらの再生成信号をそれぞれ、L’、R’、M’、S’と表す。なお、上記において、各信号の名称とそれに対する記号との対応関係は限定されるものではない。また、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
(実施の形態1)
図1は、本発明の実施の形態1に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図である。図1に示す符号化装置100は、ステレオ信号変換装置101と、モノラル符号化部102と、サイド符号化部103と、多重化部104と、から主に構成される。
図1は、本発明の実施の形態1に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図である。図1に示す符号化装置100は、ステレオ信号変換装置101と、モノラル符号化部102と、サイド符号化部103と、多重化部104と、から主に構成される。
ステレオ信号変換装置101は、左チャネル信号Lおよび右チャネル信号Rの和であるモノラル信号Mを生成し、左チャネル信号Lおよび右チャネル信号Rのいずれか一方から他方に係数αを乗算した値を減算した値であるサイド信号Sを生成する。そして、ステレオ信号変換装置101は、モノラル符号化部102にモノラル信号Mを出力し、サイド符号化部103にサイド信号Sを出力する。また、ステレオ信号変換装置101は、左チャネル信号Lと右チャネル信号Rのパワの大小関係を示す1ビットのデータ(以下、「パワデータ」という)および係数αを符号化したデータを多重化部104に出力する。
モノラル符号化部102は、モノラル信号Mを符号化し、得られた符号化データを多重化部104に出力する。サイド符号化部103は、サイド信号Sを符号化し、得られた符号化データを多重化部104に出力する。
多重化部104は、モノラル信号Mの符号化データ、サイド信号Sの符号化データ、パワデータ、および係数αの符号化データを多重化し、得られたビットストリームを出力する。
次に、ステレオ信号変換装置101の内部構成について説明する。ステレオ信号変換装置101は、相関分析部111、差分判断部112、係数計算部113、係数符号化部114および和差計算部115を有する。
相関分析部111は、左チャネル信号Lと右チャネル信号Rとを用いて、以下の式(1)により、左チャネル信号LのパワPL、右チャネル信号RのパワPRおよび相関値CLRを計算する。そして、相関分析部111は、パワPLおよびパワPRを差分判断部112に出力し、パワPL、パワPRおよび相関値CLRを係数計算部113に出力する。なお、式(1)において、Xi Lは左チャネル信号Lの各サンプルタイミングiにおける信号値、Xi Rは右チャネル信号Rの各サンプルタイミングiにおける信号値である。
差分判断部112は、相関分析部111から出力されたパワPLとパワPRとの大きさを比較し、比較結果を示す1ビットのパワデータを多重化部104、係数計算部113および和差計算部115に出力する。具体的には、差分判断部112は、PL≧PRの場合には符号「0」のパワデータを出力し、PL<PRの場合には符号「1」のパワデータを出力する。
係数計算部113は、差分判断部112から出力されたパワデータに基づき、相関分析部111から出力されたパワPL、パワPRおよび相関値CLRを用いて、以下の式(2)により、係数αを計算し、係数符号化部114に出力する。
上記式(2)から明らかなように、αは、−1<α≦1であり、上限および下限があるので符号化がしやすい値である。なお、αが1となるのは、PL=PRの場合であり、αが−1に近くなるのは、左チャネル信号Lと右チャネル信号Rとが逆位相で一方の振幅が他方より僅かに大きい場合である。
係数符号化部114は、内部に記憶された符号帳を参照して、係数計算部113から出力された係数αを符号化し、多重化部104に出力する。本実施の形態では、係数αを4ビットで符号化するものとする。ここで、係数αのパワ比(絶対値)は1に近い値を取ることが多いことから、係数αを符号化する際には、図2に示すような符号帳(コードブック)を用いる。図2に示す符号帳では、係数の値αiの絶対値が1.0に近いほど間隔が密になるように、係数の値αiが各符号に割り当てられる。この符号帳を使った探索は、木探索を用いれば、少ない計算量で探索することができる。木探索には、図2に示す符号帳の探索基準値δiを用いる。なお、探索アルゴリズムの詳細は後述する。
また、係数符号化部114は、係数αの符号化データに対応する係数の値αiを和差計算部115に出力する。
和差計算部115は、以下の式(3)のように、左チャネル信号Lと右チャネル信号Rとを加算してモノラル信号Mを生成する。また、和差計算部115は、差分判断部112から出力されたパワデータと係数符号化部114から出力された係数の値αiを用いて、以下の式(4)により、サイド信号Sを生成する。なお、式(3)、(4)において、Xi Mはモノラル信号Mの各サンプルタイミングiにおける信号値、Xi Sはサイド信号Sの各サンプルタイミングiにおける信号値である。そして、和差計算部115は、モノラル符号化部102にモノラル信号Mを出力し、サイド符号化部103にサイド信号Sを出力する。
和差計算部115で生成されるモノラル信号Mは、左チャネル信号Lと右チャネル信号Rとの主成分を表す。また、和差計算部115で生成されるサイド信号Sは、モノラル信号Mにベクトルとしてほぼ直交し、左チャネル信号Lと右チャネル信号Rとの空間的に異なる部分を従来技術よりも忠実に表すことができるので、復号装置側ではより高品質のステレオ信号を得ることができる。
なお、和差計算部115において、符号化前の係数αを用いてサイド信号Sを生成した場合には、サイド信号Sとモノラル信号Mとは、以下の式(5)に示すように、積和が0になることから、ベクトルとして完全に直交する。なお、式(5)は、PL<PRの場合を示す。
次に、係数符号化部114における探索アルゴリズムについて図3のフロー図を用いて説明する。
まず、ST301において、探索幅cを符号帳サイズの16の半分である8にセットし、符号バッファiを0に設定する。次に、ST302において、探索幅cが0かどうかを判定し、0であれば符号帳探索を終了し(ST302:Yes)、0でなければST303に移行する(ST302:No)。
ST302において「No」の場合、ST303において、符号バッファiに探索幅cの値を加算する。次に、ST304において、探索基準値δiと係数αとを比較し、係数αが探索基準値δiより小さい場合にはST305に移行し(ST304:Yes)、係数αが探索基準値δi以上の場合にはST306に移行する(ST304:No)。
ST304において「Yes」の場合、ST305において、符号バッファiから探索幅cの値を減算する。次に、ST306において、探索幅cの値を右に1だけビットシフトしてST302に移行する。なお、c>>1は、cの値を右に1だけビットシフトすることを示す。
ST304において「No」の場合、ST306において探索幅cの値を右に1だけビットシフトしてST302に移行する。
そして、符号帳探索を終了した時点における符号バッファiが符号となる。
このように探索を行えば、ST306において探索幅が8、4、2、1、0となり5回で0になるので、ST303からST306の探索ループは4回しか通らない。したがって、16通りの符号帳の探索を少ない計算量で行うことができる。なお、上記の方法は、16通りに限らず、2のべき乗のサイズの符号帳の探索に使用することができる。
図4は、本実施の形態に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図である。図4に示す復号装置400は、分離部401と、モノラル復号部402と、サイド復号部403と、ステレオ信号逆変換装置404と、から主に構成される。
分離部401は、復号装置400に受信されたビットストリームを分離し、モノラル信号Mの符号化データをモノラル復号部402に、サイド信号Sの符号化データをサイド復号部403に、係数αの符号化データおよびパワデータをステレオ信号逆変換装置404に、それぞれ出力する。
モノラル復号部402は、モノラル信号Mの符号化データを復号し、得られたモノラル再生成信号M’をステレオ信号逆変換装置404に出力する。サイド復号部403は、サイド信号Sの符号化データを復号し、得られたサイド再生成信号S’をステレオ信号逆変換装置404に出力する。
ステレオ信号逆変換装置404は、係数αの符号化データ、パワデータ、モノラル再生成信号M’およびサイド再生成信号S’を用いて左チャネル再生成信号L’および右チャネル再生成信号R’を得る。
次に、ステレオ信号逆変換装置404の内部構成について説明する。ステレオ信号逆変換装置404は、係数復号部411および和差計算部412を有する。
係数復号部411は、内部に記憶された図2と同様の符号帳を参照して係数αの符号化データを復号し、係数αの符号化データに対応する係数の値αiを和差計算部412に出力する。なお、係数復号部411内の符号帳には、図2に示した探索基準値δiは不要である。
和差計算部412は、モノラル復号部402から出力されたモノラル再生成信号M’、サイド復号部403から出力されたサイド再生成信号S’、パワデータ、及び係数の値αiを用いて、以下の式(6)により、左チャネル再生成信号L’および右チャネル再生成信号R’を算出する。なお、式(6)において、Yi Mはモノラル再生成信号M’の各サンプルタイミングiにおける信号値、Yi Sはサイド再生成信号S’の各サンプルタイミングiにおける信号値、Yi Lは左チャネル再生成信号L’の各サンプルタイミングiにおける信号値、Yi Rは右チャネル再生成信号R’の各サンプルタイミングiにおける信号値を示す。
以上説明したように、本実施の形態によれば、符号化装置側では、ステレオ信号(L、R)の間の相関を利用して求めた係数αを、左チャネル信号Lと右チャネル信号Rとのいずれか一方に乗算した値を用いてサイド信号Sを求めることにより、サイド信号Sがモノラル信号Mにベクトルとして直交(内積が0)するので、音源の位置が異なる場合であっても、冗長性の少ない符号化用信号(M、S)を得ることができ、復号装置側では、より高品質のステレオ信号を得ることができる。
(実施の形態2)
実施の形態2では、左チャネル信号Lと右チャネル信号Rとの差を取る順番を固定する場合について説明する。
実施の形態2では、左チャネル信号Lと右チャネル信号Rとの差を取る順番を固定する場合について説明する。
なお、本実施の形態において、実施の形態1と異なる点は、ステレオ信号変換装置101における和差計算部115の機能と、ステレオ信号逆変換装置404における和差計算部412の機能のみである。以下、この点について説明する。
ここで、本実施の形態では、和差計算部115において左チャネル信号Lからαiを掛けた右チャネル信号Rを差し引くように固定し、和差計算部412において右チャネル再生成信号R’を求める時に差分を取るように固定するものとする。
和差計算部115は、左チャネル信号Lと、右チャネル信号Rと、差分判断部112から出力されたパワデータと、係数符号化部114から出力された係数の値αiとを用いて、以下の式(7)によりモノラル信号Mを求め、式(8)によりサイド信号Sを求める。
また、和差計算部412は、モノラル再生成信号M’と、サイド再生成信号S’と、パワデータと、係数αの符号化データに対応する係数の値αiとに基づいて、以下の式(9)により、左チャネル再生成信号L’および右チャネル再生成信号R’を算出する。
ただし、図2の符号帳から明らかなようにαi=0になる場合がある。この場合には、逆数を取れないのでβ=0とする。
なお、上記0の場合も含めて、係数の値の逆数1/αiは予め計算しておき、符号帳に格納しておけば、計算の手間を省くことができる。
このように、本実施の形態によれば、符号化装置側で、左チャネル信号Lと右チャネル信号Rとに関して差を取る順番を固定することで、モノラル信号Mの連続性が良くなる。このため、不連続が生じた場合において当該不連続部分の極端な波形を符号化する必要が無くなるので、より効率的な符号化を行うことができ、復号装置側でより高品質のステレオ信号を得ることができる。
なお、本実施の形態では、差分を取る順番を、左チャネル信号Lから右チャネル信号Rを差し引くように固定する場合について説明したが、本発明は、右チャネル信号Rから左チャネル信号Lを差し引くように固定しても良い。この場合には、本実施の形態の各説明の左チャネル信号Lと右チャネル信号Rを逆にすれば良い。
(実施の形態3)
実施の形態3では、現在の信号変換対象である第1の信号変換単位の左チャネル信号L及び右チャネル信号Rからサイド信号を求める際に用いられる係数εを、第1の信号変換単位以前の第2の信号変換単位において用いられた係数εを用いて計算する例について説明する。さらに、チャネル信号ベクトルの要素毎に用いる係数を要素間で緩やかに変化させることによって、接続性を確保しながら、サイド信号ベクトルとモノラル信号ベクトルとを直交化させる例についても説明する。なお、以下においては、信号変換単位をフレームとして説明する。
実施の形態3では、現在の信号変換対象である第1の信号変換単位の左チャネル信号L及び右チャネル信号Rからサイド信号を求める際に用いられる係数εを、第1の信号変換単位以前の第2の信号変換単位において用いられた係数εを用いて計算する例について説明する。さらに、チャネル信号ベクトルの要素毎に用いる係数を要素間で緩やかに変化させることによって、接続性を確保しながら、サイド信号ベクトルとモノラル信号ベクトルとを直交化させる例についても説明する。なお、以下においては、信号変換単位をフレームとして説明する。
ここで、実施の形態3では、一例として、ベクトルの要素番号を用いて係数εを線形に変化させるアルゴリズムによって、上記直交化を実現する。また、左チャネル信号Lと右チャネル信号Rとの差を取る順番を固定するとともに、L信号からR信号と係数εとの乗算結果を減算する。
図5は、本発明の実施の形態3に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図である。図5に示す符号化装置500は、ステレオ信号変換装置501と、モノラル符号化部102と、サイド符号化部103と、多重化部502と、から主に構成される。
ステレオ信号変換装置501は、相関分析部511、係数計算部512、係数符号化部513および和差計算部514を有する。
相関分析部511は、左チャネル信号Lと右チャネル信号Rとを用いて、以下の式(10)により、左チャネル信号LのパワPL、右チャネル信号RのパワPR、相関値CLR、要素番号で重み付けされた右チャネル信号RのパワPR (i)、および要素番号で重み付けされた相関値CLR (i)を計算する。ここで、iは要素番号(サンプルタイミングに対応)であり、Iは要素数(ベクトル長)である。
係数計算部512は、現フレームにおいて計算する係数εを、以前のフレームにおいて計算した係数εを用いて計算する。
具体的には、係数計算部512は、先ず、相関分析部511で計算されたPL、PR、CLR、PR (i)、CLR (i)およびη(−1)を用いて、式(11)により、現フレームにおける計算対象である係数εの元となる数値(係数算出基礎値)γを計算する。ここでは、以前のフレームにおいて計算した係数εとして、1つ前のフレームで求めた係数εの値η(−1)を用いる。
次に、係数計算部512は、係数算出基礎値γを用いて、式(12)により、係数εを計算するとともに、係数算出基礎値γから係数εを求める際に用いられる変換モードの識別情報(つまり、変換式の識別情報m)を形成する。変換モードは、係数算出基礎値γの大きさに応じて、切り替えられる。
上記式(12)では、γをそのままεとして用いる無変換モードの識別情報m=0とし、γの逆数をεとする変換モードの識別情報をm=1としている。
上記式(12)から明らかなように、εは、−1<ε≦1であり、上限および下限があるので符号化がしやすい値である。なお、εが1となるのは、PL=PRの場合であり、εが−1に近くなるのは、左チャネル信号Lと右チャネル信号Rとが逆位相で一方の振幅が他方より僅かに大きい場合である。
こうして得られた1ビット情報である変換モード識別情報mは、多重化部502で多重化される。また、係数εは、係数符号化部513に出力される。
係数符号化部513は、内部に記憶された符号帳を参照して、係数計算部512から出力された係数εを符号化し、多重化部502に出力する。本実施の形態では、係数εを4ビットで符号化する。ここで、係数εのパワ比(絶対値)は1に近い値を取ることが多いことから、係数εを符号化する際にも、図2に示すような符号帳(コードブック)を用いることができる。このとき、実施の形態1と同様に、符号帳を使った探索には、木探索を用いることができる。
また、係数符号化部513は、係数εの符号化データに対応する係数の値η(図2を使う場合には、αi)を和差計算部514に出力する。
多重化部502は、モノラル信号Mの符号化データ、サイド信号Sの符号化データ、係数εの符号化データ、および係数εを求める際に用いた変換モードの識別情報mを多重化し、得られたビットストリームを出力する。
図6は、本発明の実施の形態3に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図である。図6に示す復号装置600は、分離部601と、モノラル復号部402と、サイド復号部403と、ステレオ信号逆変換装置602と、から主に構成される。
ステレオ信号逆変換装置602は、係数復号部611および和差計算部612を有する。
分離部601は、復号装置600に受信されたビットストリームを分離し、モノラル信号Mの符号化データをモノラル復号部402に、サイド信号Sの符号化データをサイド復号部403に、係数εの符号化データおよび変換モード識別情報mをステレオ信号逆変換装置602に、それぞれ出力する。
係数復号部611は、内部に記憶された図2と同様の符号帳を参照して係数εの符号化データを復号し、係数εの符号化データに対応する値αiを特定し、この値αi及び変換モード識別情報mを用いて、式(13)により、係数εの値ηを計算する。すなわち、係数εは、符号化装置500にて変換モードに応じて変換されているので、復号装置600では、式(13)により、逆変換が行われる。
こうして求められた係数εの値ηは、和差計算部612に出力される。
和差計算部612は、モノラル復号部402から出力されたモノラル再生成信号M’、サイド復号部403から出力されたサイド再生成信号S’、及び、係数εの値ηを用いて、式(14)により、左チャネル再生成信号L’および右チャネル再生成信号R’を算出する。
上記式(14)から明らかなように、現在の復号処理単位(ここでは、フレーム単位)でXi Rに掛けられる係数は、前のフレームの最後で用いたη(−1)から現在のフレームにおいて要素番号iが増えるに従ってηに向かい緩やかに変化する。これにより、S信号の連続性が良くなるので、特に、複数フレームを符号化する場合などで大きく音声品質を向上させることができる。
また、こうして得られたM信号はL信号及びR信号の主成分をより忠実に表すようになっている。また、S信号は、係数の符号化/復号化により生じる符号化歪の影響を受けるものの、M信号にほぼ直交しており、L信号とR信号の空間的に異なる部分をより忠実に表すようになっている。従って、符号化装置側では、M信号とS信号を符号化することでより適切な符号化を行うことができ、復号装置側では、より高品質のステレオ信号が得られる。
なお、符号化前の係数εを減算に用いてS信号を求めた場合には、S信号とM信号とは完全に直交する。これは、実施の形態1の式(5)と同様に証明できる。すなわち、式(14)で示した2式の積和が0となることを確認することにより、証明できる。ただし、式(14)中のηの代わりに、係数算出基礎値γが用いられる。
また、本実施の形態では、差分を取る順番を、左チャネル信号Lから右チャネル信号Rを差し引くように固定する場合について説明した。しかしながら、本発明はこれに限定されるものではなく、右チャネル信号Rから左チャネル信号Lを差し引くように固定しても良い。この場合には、本実施の形態の各説明の左チャネル信号Lと右チャネル信号Rを逆にすれば良い。
また、実施の形態1と同様に、差分を取る順番を変えても良い。ただし、本実施の形態のように「S信号の連続性」を良くするためには、差分を取る順番が固定されていることが好ましい。
なお、上記各実施の形態では、係数αの符号化ビット数を4ビットとする場合について説明したが、本発明はこれに限られず、係数αの符号化ビット数を4ビットよりもっと大きくしても小さくしてもよい。大きくすれば係数αを表現するバリエーションが増えるのでより高品質になり、小さくすれば符号化ビットを減らせるので低ビット化を実現することができる。また、符号帳のサイズを2のべき乗にすれば、初期値を変えるだけで、図3に示した探索アルゴリズムをそのまま使用することができる。
なお、上記各実施の形態では、左チャネル信号、右チャネル信号という名称を用いて2つのステレオ信号を表したが、より一般的な第1チャネル信号、第2チャネル信号という名称を用いることもできる。
また、上記各実施の形態では、符号化側から復号側に符号化した情報を伝送する場合について説明したが、本発明は、符号化側において符号化した情報を媒体記録に格納する場合も有効である。オーディオ信号はメモリやディスクに蓄積して用いる場合も多く、本発明はその場合にも有効である。
また、上記各実施の形態では、2チャネルの場合について示したが、本発明は、チャネル数について限定はなく、5.1chなどの多チャネルの場合にも有効であり、固定するチャネルと時間差を伴った相関のあるチャネルを明らかにすればそのまま適用することができる。
また、上記各実施の形態では、モノラル信号とサイド信号とをそれぞれ符号化する場合について示したが、本発明はこれに限られず、モノラル信号のみを使用する方法でも有効である。本発明を用いることにより、位相のずれを補正してダウンミックスすることができるので、より音源に近い高品質のモノラル信号を得ることができる。
また、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、ステレオ信号変換装置、ステレオ信号逆変換装置を有するシステムであればどのような場合にも適用することができる。
また、本発明に係るステレオ信号変換装置およびステレオ信号逆変換装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明と同様の機能を実現することができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。
また、ここではLSIとしたが、集積度の違いによって、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラム化することが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
2008年4月4日出願の特願2008−098736及び2008年11月5日出願の特願2008−284492の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係るステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法は、携帯電話、IP(Internet Protocol)電話、テレビ会議等に用いるに好適である。
本発明は、ステレオ音声の符号化を実現する符号化装置、復号装置に用いられるステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法に関する。
音声符号化は、通常、電話帯域(200Hz〜3.4kHz)の狭帯域音声を使用する通信用途に用いられる。モノラル音声の狭帯域音声コーデックは、移動電話、遠隔会議機器や最近ではパケットネットワーク(たとえば、インターネット)上での音声通信などの通信用途に広く使用されている。
近年、通信ネットワークのブロードバンド化に伴い、音声通信に対して臨場感や音楽に対する品質の高さが求められるようになり、このニーズに応えるために、ステレオ音声の符号化技術を用いた音声通信システムの開発が進められている。
従来から、ステレオ音声を符号化する方法として、左チャネル信号と右チャネル信号との和に基づくモノラル信号と、左チャネル信号と右チャネル信号との差に基づくサイド信号とを求め、モノラル信号とサイド信号とをそれぞれ符号化する方法が知られている(特許文献1参照)。
左チャネル信号と右チャネル信号とは、人間のそれぞれの耳から入る音を表す信号であり、モノラル信号によって左チャネル信号と右チャネル信号との共通部分を表すことができ、サイド信号によって左チャネル信号と右チャネル信号との空間的な違いを表現することができる。
左チャネル信号と右チャネル信号との相関性が高いことから、これらの信号をモノラル信号とサイド信号とに変換してから符号化する方が、左チャネル信号と右チャネル信号とを直接符号化するよりも、モノラル信号とサイド信号の特徴に応じた適切な符号化が可能になり、冗長性が少なく、低ビットレートで高品質な符号化を実現することができる。
しかしながら、左チャネル信号と右チャネル信号との主成分が同じでも、これらの信号の音源の位置が異なる場合には、同時刻における左チャネル信号と右チャネル信号との相関性は低くなる。したがって、単に、左チャネル信号と右チャネル信号とをモノラル信号とサイド信号とに変換して符号化すると、音源の位置が大きく異なる場合に、モノラル信号とサイド信号とに冗長性が含まれたまま、非効率に量子化することになる。
本発明の目的は、符号化装置側では、音源の位置が異なる場合であっても、冗長性の少ない符号化用信号(M、S)を得ることができ、復号装置側では、より高品質のステレオ信号を得ることができる、ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法を提供することである。
本発明のステレオ信号変換装置は、ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値を計算する相関分析手段と、前記相関値に基づいて第1の係数を計算する係数計算手段と、前記第1の係数を符号化し、得られた符号化データに基づいて第2の係数を求める係数符号化手段と、前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号を、前記第2の係数を用いて生成する和差計算手段と、を具備する構成を採る。
本発明のステレオ信号逆変換装置は、ステレオ信号変換装置でステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値に基づいて求められた第1の係数を符号化して得られた符号化データ、を復号し第2の係数を求める係数復号手段と、前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号と、前記第2の係数と、を用いて、前記第1チャネル信号の再生成信号および前記第2チャネル信号の再生成信号を生成する再生成信号生成手段と、を具備する構成を採る。
本発明のステレオ信号変換方法は、ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値を計算する相関分析工程と、前記相関値に基づいて第1の係数を計算する係数計算工程と、前記第1の係数を符号化し、得られた符号化データに基づいて第2の係数を求める係数符号化工程と、前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号を、前記第2の係数を用いて生成する和差計算工程と、を具備する方法を採る。
本発明のステレオ信号逆変換方法は、ステレオ信号変換方法でステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値に基づいて求められた第1の係数を符号化して得られた符号化データ、を復号し第2の係数を求める係数復号工程と、前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号と、前記第2の係数と、を用いて、前記第1チャネル信号の再生成信号および前記第2チャネル信号の再生成信号を生成する再生成信号生成工程と、を具備する方法を採る。
本発明によれば、符号化装置側では、ステレオ信号(L、R)の間の相関を利用して求めた係数αを、左チャネル信号Lと右チャネル信号Rとのいずれか一方に乗算してサイド信号Sを求めることにより、音源の位置が異なる場合であっても、冗長性の少ない符号化用信号(M、S)を得ることができ、復号装置側ではより高品質のステレオ信号を得ることができる。
以下、本発明の実施の形態について、図面を用いて説明する。なお、各実施の形態では、ステレオ信号が左チャネル信号と右チャネル信号との2つの信号からなる場合を例に説明する。また、左チャネル信号、右チャネル信号、モノラル信号、サイド信号をそれぞれ、L、R、M、Sと表し、それらの再生成信号をそれぞれ、L’、R’、M’、S’と表す。なお、上記において、各信号の名称とそれに対する記号との対応関係は限定されるものではない。また、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
(実施の形態1)
図1は、本発明の実施の形態1に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図である。図1に示す符号化装置100は、ステレオ信号変換装置101と、モノラル符号化部102と、サイド符号化部103と、多重化部104と、から主に構成される。
図1は、本発明の実施の形態1に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図である。図1に示す符号化装置100は、ステレオ信号変換装置101と、モノラル符号化部102と、サイド符号化部103と、多重化部104と、から主に構成される。
ステレオ信号変換装置101は、左チャネル信号Lおよび右チャネル信号Rの和であるモノラル信号Mを生成し、左チャネル信号Lおよび右チャネル信号Rのいずれか一方から他方に係数αを乗算した値を減算した値であるサイド信号Sを生成する。そして、ステレオ信号変換装置101は、モノラル符号化部102にモノラル信号Mを出力し、サイド符号化部103にサイド信号Sを出力する。また、ステレオ信号変換装置101は、左チャネル信号Lと右チャネル信号Rのパワの大小関係を示す1ビットのデータ(以下、「パワデータ」という)および係数αを符号化したデータを多重化部104に出力する。
モノラル符号化部102は、モノラル信号Mを符号化し、得られた符号化データを多重化部104に出力する。サイド符号化部103は、サイド信号Sを符号化し、得られた符号化データを多重化部104に出力する。
多重化部104は、モノラル信号Mの符号化データ、サイド信号Sの符号化データ、パワデータ、および係数αの符号化データを多重化し、得られたビットストリームを出力する。
次に、ステレオ信号変換装置101の内部構成について説明する。ステレオ信号変換装置101は、相関分析部111、差分判断部112、係数計算部113、係数符号化部114および和差計算部115を有する。
相関分析部111は、左チャネル信号Lと右チャネル信号Rとを用いて、以下の式(1)により、左チャネル信号LのパワPL、右チャネル信号RのパワPRおよび相関値CLRを計算する。そして、相関分析部111は、パワPLおよびパワPRを差分判断部112に出力し、パワPL、パワPRおよび相関値CLRを係数計算部113に出力する。なお、式(1)において、Xi Lは左チャネル信号Lの各サンプルタイミングiにおける信号値、Xi Rは右チャネル信号Rの各サンプルタイミングiにおける信号値である。
差分判断部112は、相関分析部111から出力されたパワPLとパワPRとの大きさを比較し、比較結果を示す1ビットのパワデータを多重化部104、係数計算部113および和差計算部115に出力する。具体的には、差分判断部112は、PL≧PRの場合には符号「0」のパワデータを出力し、PL<PRの場合には符号「1」のパワデータを出力する。
係数計算部113は、差分判断部112から出力されたパワデータに基づき、相関分析部111から出力されたパワPL、パワPRおよび相関値CLRを用いて、以下の式(2)により、係数αを計算し、係数符号化部114に出力する。
上記式(2)から明らかなように、αは、−1<α≦1であり、上限および下限があるので符号化がしやすい値である。なお、αが1となるのは、PL=PRの場合であり、αが−1に近くなるのは、左チャネル信号Lと右チャネル信号Rとが逆位相で一方の振幅が他方より僅かに大きい場合である。
係数符号化部114は、内部に記憶された符号帳を参照して、係数計算部113から出力された係数αを符号化し、多重化部104に出力する。本実施の形態では、係数αを4ビットで符号化するものとする。ここで、係数αのパワ比(絶対値)は1に近い値を取ることが多いことから、係数αを符号化する際には、図2に示すような符号帳(コードブック)を用いる。図2に示す符号帳では、係数の値αiの絶対値が1.0に近いほど間隔が密になるように、係数の値αiが各符号に割り当てられる。この符号帳を使った探索は、木探索を用いれば、少ない計算量で探索することができる。木探索には、図2に示す符号帳の探索基準値δiを用いる。なお、探索アルゴリズムの詳細は後述する。
また、係数符号化部114は、係数αの符号化データに対応する係数の値αiを和差計算部115に出力する。
和差計算部115は、以下の式(3)のように、左チャネル信号Lと右チャネル信号Rとを加算してモノラル信号Mを生成する。また、和差計算部115は、差分判断部112から出力されたパワデータと係数符号化部114から出力された係数の値αiを用いて、以下の式(4)により、サイド信号Sを生成する。なお、式(3)、(4)において、Xi Mはモノラル信号Mの各サンプルタイミングiにおける信号値、Xi Sはサイド信号Sの各サンプルタイミングiにおける信号値である。そして、和差計算部115は、モノラル符号化部102にモノラル信号Mを出力し、サイド符号化部103にサイド信号Sを出力する。
和差計算部115で生成されるモノラル信号Mは、左チャネル信号Lと右チャネル信号Rとの主成分を表す。また、和差計算部115で生成されるサイド信号Sは、モノラル信号Mにベクトルとしてほぼ直交し、左チャネル信号Lと右チャネル信号Rとの空間的に異なる部分を従来技術よりも忠実に表すことができるので、復号装置側ではより高品質のステレオ信号を得ることができる。
なお、和差計算部115において、符号化前の係数αを用いてサイド信号Sを生成した場合には、サイド信号Sとモノラル信号Mとは、以下の式(5)に示すように、積和が0になることから、ベクトルとして完全に直交する。なお、式(5)は、PL<PRの場合を示す。
次に、係数符号化部114における探索アルゴリズムについて図3のフロー図を用いて説明する。
まず、ST301において、探索幅cを符号帳サイズの16の半分である8にセットし、符号バッファiを0に設定する。次に、ST302において、探索幅cが0かどうかを判定し、0であれば符号帳探索を終了し(ST302:Yes)、0でなければST303に移行する(ST302:No)。
ST302において「No」の場合、ST303において、符号バッファiに探索幅cの値を加算する。次に、ST304において、探索基準値δiと係数αとを比較し、係数αが探索基準値δiより小さい場合にはST305に移行し(ST304:Yes)、係数αが探索基準値δi以上の場合にはST306に移行する(ST304:No)。
ST304において「Yes」の場合、ST305において、符号バッファiから探索幅cの値を減算する。次に、ST306において、探索幅cの値を右に1だけビットシフトしてST302に移行する。なお、c>>1は、cの値を右に1だけビットシフトすることを示す。
ST304において「No」の場合、ST306において探索幅cの値を右に1だけビットシフトしてST302に移行する。
そして、符号帳探索を終了した時点における符号バッファiが符号となる。
このように探索を行えば、ST306において探索幅が8、4、2、1、0となり5回で0になるので、ST303からST306の探索ループは4回しか通らない。したがって、16通りの符号帳の探索を少ない計算量で行うことができる。なお、上記の方法は、16通りに限らず、2のべき乗のサイズの符号帳の探索に使用することができる。
図4は、本実施の形態に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図である。図4に示す復号装置400は、分離部401と、モノラル復号部402と、サイド復号部403と、ステレオ信号逆変換装置404と、から主に構成される。
分離部401は、復号装置400に受信されたビットストリームを分離し、モノラル信号Mの符号化データをモノラル復号部402に、サイド信号Sの符号化データをサイド復号部403に、係数αの符号化データおよびパワデータをステレオ信号逆変換装置404に、それぞれ出力する。
モノラル復号部402は、モノラル信号Mの符号化データを復号し、得られたモノラル再生成信号M’をステレオ信号逆変換装置404に出力する。サイド復号部403は、サイド信号Sの符号化データを復号し、得られたサイド再生成信号S’をステレオ信号逆変換装置404に出力する。
ステレオ信号逆変換装置404は、係数αの符号化データ、パワデータ、モノラル再生成信号M’およびサイド再生成信号S’を用いて左チャネル再生成信号L’および右チャネル再生成信号R’を得る。
次に、ステレオ信号逆変換装置404の内部構成について説明する。ステレオ信号逆変換装置404は、係数復号部411および和差計算部412を有する。
係数復号部411は、内部に記憶された図2と同様の符号帳を参照して係数αの符号化データを復号し、係数αの符号化データに対応する係数の値αiを和差計算部412に出力する。なお、係数復号部411内の符号帳には、図2に示した探索基準値δiは不要である。
和差計算部412は、モノラル復号部402から出力されたモノラル再生成信号M’、サイド復号部403から出力されたサイド再生成信号S’、パワデータ、及び係数の値αiを用いて、以下の式(6)により、左チャネル再生成信号L’および右チャネル再生成信号R’を算出する。なお、式(6)において、Yi Mはモノラル再生成信号M’の各サンプルタイミングiにおける信号値、Yi Sはサイド再生成信号S’の各サンプルタイミングiにおける信号値、Yi Lは左チャネル再生成信号L’の各サンプルタイミングiにおける信号値、Yi Rは右チャネル再生成信号R’の各サンプルタイミングiにおける信号値を示す。
以上説明したように、本実施の形態によれば、符号化装置側では、ステレオ信号(L、R)の間の相関を利用して求めた係数αを、左チャネル信号Lと右チャネル信号Rとのいずれか一方に乗算した値を用いてサイド信号Sを求めることにより、サイド信号Sがモノラル信号Mにベクトルとして直交(内積が0)するので、音源の位置が異なる場合であっても、冗長性の少ない符号化用信号(M、S)を得ることができ、復号装置側では、より高品質のステレオ信号を得ることができる。
(実施の形態2)
実施の形態2では、左チャネル信号Lと右チャネル信号Rとの差を取る順番を固定する場合について説明する。
実施の形態2では、左チャネル信号Lと右チャネル信号Rとの差を取る順番を固定する場合について説明する。
なお、本実施の形態において、実施の形態1と異なる点は、ステレオ信号変換装置101における和差計算部115の機能と、ステレオ信号逆変換装置404における和差計算部412の機能のみである。以下、この点について説明する。
ここで、本実施の形態では、和差計算部115において左チャネル信号Lからαiを掛けた右チャネル信号Rを差し引くように固定し、和差計算部412において右チャネル再生成信号R’を求める時に差分を取るように固定するものとする。
和差計算部115は、左チャネル信号Lと、右チャネル信号Rと、差分判断部112から出力されたパワデータと、係数符号化部114から出力された係数の値αiとを用いて、以下の式(7)によりモノラル信号Mを求め、式(8)によりサイド信号Sを求める。
また、和差計算部412は、モノラル再生成信号M’と、サイド再生成信号S’と、パワデータと、係数αの符号化データに対応する係数の値αiとに基づいて、以下の式(9)により、左チャネル再生成信号L’および右チャネル再生成信号R’を算出する。
ただし、図2の符号帳から明らかなようにαi=0になる場合がある。この場合には、逆数を取れないのでβ=0とする。
なお、上記0の場合も含めて、係数の値の逆数1/αiは予め計算しておき、符号帳に格納しておけば、計算の手間を省くことができる。
このように、本実施の形態によれば、符号化装置側で、左チャネル信号Lと右チャネル信号Rとに関して差を取る順番を固定することで、モノラル信号Mの連続性が良くなる。このため、不連続が生じた場合において当該不連続部分の極端な波形を符号化する必要が無くなるので、より効率的な符号化を行うことができ、復号装置側でより高品質のステレオ信号を得ることができる。
なお、本実施の形態では、差分を取る順番を、左チャネル信号Lから右チャネル信号Rを差し引くように固定する場合について説明したが、本発明は、右チャネル信号Rから左チャネル信号Lを差し引くように固定しても良い。この場合には、本実施の形態の各説明の左チャネル信号Lと右チャネル信号Rを逆にすれば良い。
(実施の形態3)
実施の形態3では、現在の信号変換対象である第1の信号変換単位の左チャネル信号L及び右チャネル信号Rからサイド信号を求める際に用いられる係数εを、第1の信号変換単位以前の第2の信号変換単位において用いられた係数εを用いて計算する例について説明する。さらに、チャネル信号ベクトルの要素毎に用いる係数を要素間で緩やかに変化させることによって、接続性を確保しながら、サイド信号ベクトルとモノラル信号ベクトルとを直交化させる例についても説明する。なお、以下においては、信号変換単位をフレームとして説明する。
実施の形態3では、現在の信号変換対象である第1の信号変換単位の左チャネル信号L及び右チャネル信号Rからサイド信号を求める際に用いられる係数εを、第1の信号変換単位以前の第2の信号変換単位において用いられた係数εを用いて計算する例について説明する。さらに、チャネル信号ベクトルの要素毎に用いる係数を要素間で緩やかに変化させることによって、接続性を確保しながら、サイド信号ベクトルとモノラル信号ベクトルとを直交化させる例についても説明する。なお、以下においては、信号変換単位をフレームとして説明する。
ここで、実施の形態3では、一例として、ベクトルの要素番号を用いて係数εを線形に変化させるアルゴリズムによって、上記直交化を実現する。また、左チャネル信号Lと右チャネル信号Rとの差を取る順番を固定するとともに、L信号からR信号と係数εとの乗算結果を減算する。
図5は、本発明の実施の形態3に係るステレオ信号変換装置を含む符号化装置の構成を示すブロック図である。図5に示す符号化装置500は、ステレオ信号変換装置501と、モノラル符号化部102と、サイド符号化部103と、多重化部502と、から主に構成される。
ステレオ信号変換装置501は、相関分析部511、係数計算部512、係数符号化部513および和差計算部514を有する。
相関分析部511は、左チャネル信号Lと右チャネル信号Rとを用いて、以下の式(10)により、左チャネル信号LのパワPL、右チャネル信号RのパワPR、相関値CLR、要素番号で重み付けされた右チャネル信号RのパワPR (i)、および要素番号で重み
付けされた相関値CLR (i)を計算する。ここで、iは要素番号(サンプルタイミングに対応)であり、Iは要素数(ベクトル長)である。
付けされた相関値CLR (i)を計算する。ここで、iは要素番号(サンプルタイミングに対応)であり、Iは要素数(ベクトル長)である。
係数計算部512は、現フレームにおいて計算する係数εを、以前のフレームにおいて計算した係数εを用いて計算する。
具体的には、係数計算部512は、先ず、相関分析部511で計算されたPL、PR、CLR、PR (i)、CLR (i)およびη(−1)を用いて、式(11)により、現フレームにおける計算対象である係数εの元となる数値(係数算出基礎値)γを計算する。ここでは、以前のフレームにおいて計算した係数εとして、1つ前のフレームで求めた係数εの値η(−1)を用いる。
次に、係数計算部512は、係数算出基礎値γを用いて、式(12)により、係数εを計算するとともに、係数算出基礎値γから係数εを求める際に用いられる変換モードの識別情報(つまり、変換式の識別情報m)を形成する。変換モードは、係数算出基礎値γの大きさに応じて、切り替えられる。
上記式(12)では、γをそのままεとして用いる無変換モードの識別情報m=0とし、γの逆数をεとする変換モードの識別情報をm=1としている。
上記式(12)から明らかなように、εは、−1<ε≦1であり、上限および下限があるので符号化がしやすい値である。なお、εが1となるのは、PL=PRの場合であり、εが−1に近くなるのは、左チャネル信号Lと右チャネル信号Rとが逆位相で一方の振幅が他方より僅かに大きい場合である。
こうして得られた1ビット情報である変換モード識別情報mは、多重化部502で多重化される。また、係数εは、係数符号化部513に出力される。
係数符号化部513は、内部に記憶された符号帳を参照して、係数計算部512から出力された係数εを符号化し、多重化部502に出力する。本実施の形態では、係数εを4ビットで符号化する。ここで、係数εのパワ比(絶対値)は1に近い値を取ることが多いことから、係数εを符号化する際にも、図2に示すような符号帳(コードブック)を用いることができる。このとき、実施の形態1と同様に、符号帳を使った探索には、木探索を用いることができる。
また、係数符号化部513は、係数εの符号化データに対応する係数の値η(図2を使う場合には、αi)を和差計算部514に出力する。
多重化部502は、モノラル信号Mの符号化データ、サイド信号Sの符号化データ、係数εの符号化データ、および係数εを求める際に用いた変換モードの識別情報mを多重化し、得られたビットストリームを出力する。
図6は、本発明の実施の形態3に係るステレオ信号逆変換装置を含む復号装置の構成を示すブロック図である。図6に示す復号装置600は、分離部601と、モノラル復号部402と、サイド復号部403と、ステレオ信号逆変換装置602と、から主に構成される。
ステレオ信号逆変換装置602は、係数復号部611および和差計算部612を有する。
分離部601は、復号装置600に受信されたビットストリームを分離し、モノラル信号Mの符号化データをモノラル復号部402に、サイド信号Sの符号化データをサイド復号部403に、係数εの符号化データおよび変換モード識別情報mをステレオ信号逆変換装置602に、それぞれ出力する。
係数復号部611は、内部に記憶された図2と同様の符号帳を参照して係数εの符号化データを復号し、係数εの符号化データに対応する値αiを特定し、この値αi及び変換モード識別情報mを用いて、式(13)により、係数εの値ηを計算する。すなわち、係数εは、符号化装置500にて変換モードに応じて変換されているので、復号装置600では、式(13)により、逆変換が行われる。
こうして求められた係数εの値ηは、和差計算部612に出力される。
和差計算部612は、モノラル復号部402から出力されたモノラル再生成信号M’、サイド復号部403から出力されたサイド再生成信号S’、及び、係数εの値ηを用いて、式(14)により、左チャネル再生成信号L’および右チャネル再生成信号R’を算出する。
上記式(14)から明らかなように、現在の復号処理単位(ここでは、フレーム単位)でXi Rに掛けられる係数は、前のフレームの最後で用いたη(−1)から現在のフレームにおいて要素番号iが増えるに従ってηに向かい緩やかに変化する。これにより、S信号の連続性が良くなるので、特に、複数フレームを符号化する場合などで大きく音声品質を向上させることができる。
また、こうして得られたM信号はL信号及びR信号の主成分をより忠実に表すようになっている。また、S信号は、係数の符号化/復号化により生じる符号化歪の影響を受けるものの、M信号にほぼ直交しており、L信号とR信号の空間的に異なる部分をより忠実に表すようになっている。従って、符号化装置側では、M信号とS信号を符号化することでより適切な符号化を行うことができ、復号装置側では、より高品質のステレオ信号が得られる。
なお、符号化前の係数εを減算に用いてS信号を求めた場合には、S信号とM信号とは完全に直交する。これは、実施の形態1の式(5)と同様に証明できる。すなわち、式(14)で示した2式の積和が0となることを確認することにより、証明できる。ただし、式(14)中のηの代わりに、係数算出基礎値γが用いられる。
また、本実施の形態では、差分を取る順番を、左チャネル信号Lから右チャネル信号Rを差し引くように固定する場合について説明した。しかしながら、本発明はこれに限定されるものではなく、右チャネル信号Rから左チャネル信号Lを差し引くように固定しても良い。この場合には、本実施の形態の各説明の左チャネル信号Lと右チャネル信号Rを逆にすれば良い。
また、実施の形態1と同様に、差分を取る順番を変えても良い。ただし、本実施の形態のように「S信号の連続性」を良くするためには、差分を取る順番が固定されていることが好ましい。
なお、上記各実施の形態では、係数αの符号化ビット数を4ビットとする場合について説明したが、本発明はこれに限られず、係数αの符号化ビット数を4ビットよりもっと大きくしても小さくしてもよい。大きくすれば係数αを表現するバリエーションが増えるのでより高品質になり、小さくすれば符号化ビットを減らせるので低ビット化を実現することができる。また、符号帳のサイズを2のべき乗にすれば、初期値を変えるだけで、図3に示した探索アルゴリズムをそのまま使用することができる。
なお、上記各実施の形態では、左チャネル信号、右チャネル信号という名称を用いて2つのステレオ信号を表したが、より一般的な第1チャネル信号、第2チャネル信号という名称を用いることもできる。
また、上記各実施の形態では、符号化側から復号側に符号化した情報を伝送する場合について説明したが、本発明は、符号化側において符号化した情報を媒体記録に格納する場合も有効である。オーディオ信号はメモリやディスクに蓄積して用いる場合も多く、本発明はその場合にも有効である。
また、上記各実施の形態では、2チャネルの場合について示したが、本発明は、チャネル数について限定はなく、5.1chなどの多チャネルの場合にも有効であり、固定するチャネルと時間差を伴った相関のあるチャネルを明らかにすればそのまま適用することができる。
また、上記各実施の形態では、モノラル信号とサイド信号とをそれぞれ符号化する場合について示したが、本発明はこれに限られず、モノラル信号のみを使用する方法でも有効である。本発明を用いることにより、位相のずれを補正してダウンミックスすることができるので、より音源に近い高品質のモノラル信号を得ることができる。
また、以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。本発明は、ステレオ信号変換装置、ステレオ信号逆変換装置を有するシステムであればどのような場合にも適用することができる。
また、本発明に係るステレオ信号変換装置およびステレオ信号逆変換装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明と同様の機能を実現することができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。
また、ここではLSIとしたが、集積度の違いによって、IC、システムLSI、スーパーLSI、ウルトラLSI等と呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現しても良い。LSI製造後に、プログラム化することが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
2008年4月4日出願の特願2008−098736及び2008年11月5日出願の特願2008−284492の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係るステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法は、携帯電話、IP(Internet Protocol)電話、テレビ会議等に用いるに好適である。
Claims (12)
- ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値を計算する相関分析手段と、
前記相関値に基づいて第1の係数を計算する係数計算手段と、
前記第1の係数を符号化し、得られた符号化データに基づいて第2の係数を求める係数符号化手段と、
前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号を、前記第2の係数を用いて生成する和差計算手段と、
を具備するステレオ信号変換装置。 - 前記和差計算手段は、前記第1チャネル信号と前記第2チャネル信号との一方の信号から、他方の信号に前記第2の係数を乗算したものを減算することによりサイド信号を生成する、
請求項1記載のステレオ信号変換装置。 - 前記和差計算手段は、前記第1チャネル信号のパワと前記第2チャネル信号のパワとの大小関係に基づいて前記第2の係数を乗算する信号を決定する、
請求項2記載のステレオ信号変換装置。 - 前記和差計算手段は、前記第1チャネル信号から、前記第2チャネル信号に前記第2の係数あるいは前記第2の係数の逆数を乗算したものを減算することによりサイド信号を生成する、
請求項1記載のステレオ信号変換装置。 - 前記和差計算手段は、前記第1チャネル信号のパワと前記第2チャネル信号のパワとの大小関係に基づいて前記第2の係数を乗算するか前記第2の係数の逆数を乗算するかを決定する、
請求項4記載のステレオ信号変換装置。 - 前記係数計算手段は、前記第1チャネル信号のパワ、前記第2チャネル信号のパワ、前記相関値、現在の信号変換対象である信号変換単位に含まれる要素の順序を特定する要素番号により重み付けされた前記第1チャネル信号又は前記第2チャネル信号のパワ、前記要素番号で重み付けされた前記相関値、および、1つ過去の信号変換単位で求められた前記第2の係数に基づいて、現在の信号変換単位で用いられる前記第1の係数を計算する、
請求項1記載のステレオ信号変換装置。 - 前記信号変換単位は、フレームである、請求項6記載のステレオ信号変換装置。
- 請求項1記載のステレオ信号変換装置と、
前記ステレオ信号変換装置が生成したモノラル信号を符号化する第1符号化手段と、
前記ステレオ信号変換装置が生成したサイド信号を符号化する第2符号化手段と、
前記モノラル信号の符号化データ、前記サイド信号の符号化データおよび前記係数の符号化データを多重化する多重化手段と、
を具備する符号化装置。 - ステレオ信号変換装置でステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値に基づいて求められた第1の係数を符号化して得られた符号化データ、を復号し第2の係数を求める係数復号手段と、
前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号と、前記第2の係数と、を用いて、前記第1チャネル信号の再生成信号および前記第2チャネル信号の再生成信号を生成する再生成信号生成手段と、
を具備するステレオ信号逆変換装置。 - 前記モノラル信号の符号化データを復号して前記モノラル再生成信号を生成する第1復号手段と、
前記サイド信号の符号化データを復号して前記サイド再生成信号を生成する第2復号手段と、
請求項9記載のステレオ信号逆変換装置と、
を具備する復号装置。 - ステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値を計算する相関分析工程と、
前記相関値に基づいて第1の係数を計算する係数計算工程と、
前記第1の係数を符号化し、得られた符号化データに基づいて第2の係数を求める係数符号化工程と、
前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号を生成し、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号を、前記第2の係数を用いて生成する和差計算工程と、
を具備するステレオ信号変換方法。 - ステレオ信号変換方法でステレオ信号を構成する第1チャネル信号と第2チャネル信号との相関値に基づいて求められた第1の係数を符号化して得られた符号化データ、を復号し第2の係数を求める係数復号工程と、
前記第1チャネル信号と前記第2チャネル信号との和に関するモノラル信号の符号化データを復号したモノラル再生成信号と、前記第1チャネル信号と前記第2チャネル信号との差に関するサイド信号の符号化データを復号したサイド再生成信号と、前記第2の係数と、を用いて、前記第1チャネル信号の再生成信号および前記第2チャネル信号の再生成信号を生成する再生成信号生成工程と、
を具備するステレオ信号逆変換方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008098736 | 2008-04-04 | ||
JP2008098736 | 2008-04-04 | ||
JP2008284492 | 2008-11-05 | ||
JP2008284492 | 2008-11-05 | ||
PCT/JP2009/001572 WO2009122757A1 (ja) | 2008-04-04 | 2009-04-03 | ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2009122757A1 true JPWO2009122757A1 (ja) | 2011-07-28 |
Family
ID=41135157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010505410A Withdrawn JPWO2009122757A1 (ja) | 2008-04-04 | 2009-04-03 | ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20110019829A1 (ja) |
EP (1) | EP2264698A4 (ja) |
JP (1) | JPWO2009122757A1 (ja) |
CN (1) | CN101981616A (ja) |
WO (1) | WO2009122757A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3869825A1 (en) | 2015-06-17 | 2021-08-25 | Samsung Electronics Co., Ltd. | Device and method for processing internal channel for low complexity format conversion |
WO2017049397A1 (en) | 2015-09-25 | 2017-03-30 | Voiceage Corporation | Method and system using a long-term correlation difference between left and right channels for time domain down mixing a stereo sound signal into primary and secondary channels |
EP3483880A1 (en) * | 2017-11-10 | 2019-05-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Temporal noise shaping |
WO2020009082A1 (ja) * | 2018-07-03 | 2020-01-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置及び符号化方法 |
CN112233682A (zh) * | 2019-06-29 | 2021-01-15 | 华为技术有限公司 | 一种立体声编码方法、立体声解码方法和装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8913758D0 (en) * | 1989-06-15 | 1989-08-02 | British Telecomm | Polyphonic coding |
JPH1132399A (ja) * | 1997-05-13 | 1999-02-02 | Sony Corp | 符号化方法及び装置、並びに記録媒体 |
US6356211B1 (en) * | 1997-05-13 | 2002-03-12 | Sony Corporation | Encoding method and apparatus and recording medium |
JP3335605B2 (ja) | 2000-03-13 | 2002-10-21 | 日本電信電話株式会社 | ステレオ信号符号化方法 |
JP3598993B2 (ja) * | 2001-05-18 | 2004-12-08 | ソニー株式会社 | 符号化装置及び方法 |
DE102004009954B4 (de) * | 2004-03-01 | 2005-12-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals |
TWI393121B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
KR100682915B1 (ko) * | 2005-01-13 | 2007-02-15 | 삼성전자주식회사 | 다채널 신호 부호화/복호화 방법 및 장치 |
JP4999846B2 (ja) * | 2006-08-04 | 2012-08-15 | パナソニック株式会社 | ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 |
EP2237267A4 (en) * | 2007-12-21 | 2012-01-18 | Panasonic Corp | STEREOSIGNALUMSETZER, STEREOSIGNALWANDLER AND METHOD THEREFOR |
-
2009
- 2009-04-03 CN CN2009801107268A patent/CN101981616A/zh active Pending
- 2009-04-03 US US12/933,238 patent/US20110019829A1/en not_active Abandoned
- 2009-04-03 WO PCT/JP2009/001572 patent/WO2009122757A1/ja active Application Filing
- 2009-04-03 EP EP09727068A patent/EP2264698A4/en not_active Withdrawn
- 2009-04-03 JP JP2010505410A patent/JPWO2009122757A1/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP2264698A1 (en) | 2010-12-22 |
US20110019829A1 (en) | 2011-01-27 |
CN101981616A (zh) | 2011-02-23 |
WO2009122757A1 (ja) | 2009-10-08 |
EP2264698A4 (en) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5046653B2 (ja) | 音声符号化装置および音声符号化方法 | |
JP5413839B2 (ja) | 符号化装置および復号装置 | |
WO2009081567A1 (ja) | ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 | |
JP4999846B2 (ja) | ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 | |
JP5153791B2 (ja) | ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法 | |
JP4963965B2 (ja) | スケーラブル符号化装置、スケーラブル復号装置、及びこれらの方法 | |
JPWO2007116809A1 (ja) | ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 | |
WO2019193173A1 (en) | Truncateable predictive coding | |
JP4555299B2 (ja) | スケーラブル符号化装置およびスケーラブル符号化方法 | |
KR20070085532A (ko) | 스테레오 부호화 장치, 스테레오 복호 장치 및 그 방법 | |
JP2013137563A (ja) | ストリーム合成装置、復号装置、ストリーム合成方法、復号方法、およびコンピュータプログラム | |
WO2006104017A1 (ja) | 音声符号化装置および音声符号化方法 | |
WO2009122757A1 (ja) | ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 | |
KR20070090217A (ko) | 스케일러블 부호화 장치 및 스케일러블 부호화 방법 | |
WO2010016270A1 (ja) | 量子化装置、符号化装置、量子化方法及び符号化方法 | |
JP5425067B2 (ja) | 音響信号復号装置および音響信号復号装置におけるバランス調整方法 | |
JPWO2006009075A1 (ja) | 音声符号化装置および音声符号化方法 | |
JPWO2008090970A1 (ja) | ステレオ符号化装置、ステレオ復号装置、およびこれらの方法 | |
JP5340378B2 (ja) | チャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法 | |
WO2009142017A1 (ja) | ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法 | |
JPWO2010134332A1 (ja) | 符号化装置、復号装置、およびこれらの方法 | |
KR20230036146A (ko) | 다중 채널 오디오 신호 인코딩 및 디코딩 방법 및 장치 | |
KR20210141602A (ko) | 예측 코딩에서 저비용 에러 복구를 위한 방법 및 장치 | |
JP2006072269A (ja) | 音声符号化装置、通信端末装置、基地局装置および音声符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120305 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20120605 |