JP4633870B2 - オーディオ信号処理方法 - Google Patents
オーディオ信号処理方法 Download PDFInfo
- Publication number
- JP4633870B2 JP4633870B2 JP53218199A JP53218199A JP4633870B2 JP 4633870 B2 JP4633870 B2 JP 4633870B2 JP 53218199 A JP53218199 A JP 53218199A JP 53218199 A JP53218199 A JP 53218199A JP 4633870 B2 JP4633870 B2 JP 4633870B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- sound source
- distance
- listener
- ear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000005236 sound signal Effects 0.000 title description 7
- 238000003672 processing method Methods 0.000 title 1
- 230000000694 effects Effects 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000007493 shaping process Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 49
- 210000005069 ears Anatomy 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Description
2つの耳を有するリスナーに再演する3次元音場を再生するオーディオ信号の処理は、1930代のAlan Blumleinによるステレオの発明以来、発明者にとっての長年の目標であった。1つのアプローチは、多数の音再生チャンネルを使用してスピーカのような複数の音源でリスナーを囲むことであった。他のアプローチは、人工耳の聴覚導管(auditory canals))内に位置するマイクロフォンを有するダミー頭(ダミーヘッド)を使用して、ヘッドフォン聴取のための音記録を行う。このような音場の双聴覚用(binaural)合成(synthesis)に対する特に約束されたアプローチは、欧州特許EP-B-0689756に説明されており、それは1対のスピーカ及び2つの信号チャンネルだけを使用する音場の合成を説明しており、それにもかかわらず音場は、球体の中心に位置するリスナーの頭を囲む球体上のどこかに音源が現れるようにリスナーが知覚するのを可能にする方向情報を有する。
過去に開発されたこのようなシステムの欠点は、再現された音場が方向情報を有しているにもかかわらず、リスナーに近い音源、典型的にはリスナーの頭から約1.5mより近いと思われる音源の知覚を再現するのが難しいことであった。このような音響効果は、例えばコンピュータゲーム、又はリスナーの頭に近接した空間位置から発散するように見えるような音が要求されるような、又は時間と共にリスナーに向かって又は離れるように移動すると知覚される音源のような、又はリスナーの耳元にささやく人が知覚されるような他の応用で非常に効果的である。
本発明の第1の態様によれば、請求項1から11に規定されるような方法が提供される。本発明の第2の態様によれば、請求項12に規定されるような装置が提供される。本発明の第3の態様によれば、請求項13に規定されるようなオーディオ信号が提供される。
本発明の実施例は、添付の概略図面を、例としてのみ参照して以下に説明される。ここで、
図1は、リスナーの頭と座標システムを示し、
図2は、頭の平面図と到着する音波を示し、
図3は、等しい両耳間又は両耳間遅延を有する点の軌跡を示し、
図4は、図3の軌跡の等距離図法による図を示し、
図5は、リスナーの頭を囲む空間の平面図を示し、
図6は、近耳に対する距離の計算で使用される経路を示すリスナーの頭の別の平面図を示し、
図7は、遠耳に対する距離の計算で使用される経路を示すリスナーの頭の別の平面図を示し、
図8は、従来技術の方法のブロック図を示し、
図9は、本発明による方法のブロック図を示し、
図10は、方位角と距離の関数である近耳利得のプロットを示し、
図11は、方位角と距離の関数である遠耳利得のプロットを示す。
本発明は、特に、2個のスピーカステレオシステム又はヘッドフォンからの3D音(サウンド)の再生に関する。この形式の3Dサウンドは、例えば、EP-B-0689756に記載されており、ここではこれを参照する。
単一音源は、1組の頭応答伝達関数(HRTFs;ヘッドレスポンストランスファーファンクション)を介して、処理結果のステレオ−組信号が3Dサウンドキューを含むようにデジタル的に処理できることが知られている。これらのサウンドキューは、我々が実際の生活で音を聞く時に頭と耳によって自然に導入され、それらは両耳間強度差(IAD)、両耳間時間差(ITD)及び外側の耳によるスペクトル整形を含む。このステレオ信号組が例えばヘッドフォンによってリスナーの適当な耳に効果的に導入される時、彼又は彼女は、信号処理で使用されるHRTFの空間配置に従って、元(オリジナル)の音が空間のある位置にあるように知覚する。
ヘッドフォンの代わりにスピーカから聞く時、信号は耳に効果的に運ばれず、3Dサウンドキューを示す「両耳間(transaural)音声クロストーク」が存在する。これは、左耳は右耳が聞くものの一部を(約0.2msの小さな付加時間遅延の後に)聞くということを意味するなどといったことである。このようなことが起きるのを避けるために、反対側のスピーカからの信号の適当なクロストークキャンセルを生成することが知られている。これらの信号は、クロストーク信号に対して、強度が同じで反転しており(逆位相)、それらを相殺(キャンセル)するように設計される。第2のクロストークに寄与するキャンセル信号自体の第2の(及びより高次の)効果及びその補正を予想するより進んだ機構があり、これらの方法は従来技術で知られている。
HRTF処理及びクロストークキャンセルが正しく実行される時及び高品質のHRTF音源データを使用する時、効果が非常に顕著である。例えば、リスナーの回りの音源の仮想イメージを、完全な水平円内で、前から始めて、リスナーの右側を回り、リスナーの後ろ、そして左側を回り再び前に戻るように移動させることが可能である。更に、音源をリスナーの回りの垂直な円で移動させることも可能であり、音が空間の選択されたどこかの位置から来るように思わせることも可能である。しかしながら、いくつかの特定の位置は、音響心理学的な理由及び実際的な理由により、他の位置より合成するのが難しい。
例えば、直接上方及び下方に移動する音源の効果は、リスナーの両側(方位角90°)における方が、直前(方位角0°)におけるより大きい。これは、恐らく、脳が左右の差情報に対してより働くためである。同様に、リスナーの直前(方位角0°)の音源とリスナーの直後(方位角180°)の音源の間を異ならせるのは難しい。これは、脳が(ITD=0)で動作する時間要因情報が存在しないためであり、脳に有効な他の情報、すなわちスペクトルデータだけは、これらの位置の両方で類似している。実際、音源がリスナーの前にある時、より多くのHFエネルギが知覚される。これは前の音源からの高周波数は外耳の後ろの壁から耳道に反射されるが、後側の音源からのそれは、耳翼の回りで十分に回折できず効果的に耳道の入らないためである。
実際、3Dサウンド効果が合成できるように、HRTFデータのライブラリィを導出するために、人工頭から測定を行うことが知られている。いくつかの理由で、1m又はその付近の距離でこれらの測定を行うことが共通の慣例である。第1に、このような測定に使用される音源は、理想的には、点音源であり、通常はスピーカが使用される。しかし、スピーカのダイアフラムの最小の大きさ(サイズ)には物理的な限界がある。典型的には、数インチの直径が、要求される出力(パワー)能力及び低歪特性を維持できる実際の小ささである。そのため、点音源を示すこれらのスピーカ信号の効果を有するためには、スピーカを人工頭から約1mの距離に離さなければならない。第2に、通常は数m又はそれ以上の明白な距離を有するPCゲームなどのための音響効果を生成するように要求され、更に1mで測定されたHRTFとより大きな距離で測定されたものとの間にほとんど差がないため、1mでの測定が使用される。
中間距離(例えば、1mから5m)又は遠距離(5m以上)にあると思われる音源の効果は、主信号に残響信号を加えることによって容易に生成することができ、周囲の床及び壁からの反射音波の効果をシミュレート(模擬)する。音源の高周波数(HF)成分の低減は、離れた音源の効果の生成を補助することも可能で、空気によるHFの選択的な吸収をシミュレートするが、これは微妙な効果である。要するに、数mを越える距離にある音源の制御の効果は公知である。
しかし、多くのPCゲームの状況では、リスナーの非常に近くにある音源効果が望ましい。例えば、アドベンチャゲームでは、リスナーの耳の一方に指示をささやくガイドが必要であり、別のフライトシミュレータでは、リスナーはパイロットであり、ヘッドフォンを介して航空交通情報を聞く効果を生成することが要求される。戦闘ゲームでは、リスナーの頭の近くを弾丸が飛ぶように思わせることが要求される。これらの効果は1mの距離で測定されたHRTFでは不可能である。
従って、音源がスピーカ距離から移動し、例えばリスナーの頭の近く、更にはリスナーの一方の耳に「ささやく」ようにさえ思わせることが可能な「近領域」距離効果を生成できることが望まれている。原理的には、例えば、1m、0.9m、0.8mなどの異なる距離でのHRTFのフルセット(全組)を作り、近領域効果のこれらのライブラリィの間で切り換えることが可能である。しかし、すでに述べたように、測定はこれらの距離では点音源特性から外れた形状のスピーカダイアフラムによって妥協して行われる。更に、HRTFの各セットの測定を行うには莫大な努力が必要であり(典型的には、1000HRTFセット以上を有する1つのHRTFライブラリィを得るには、測定に数人・週が必要で、これらを使用可能なフィルタ係数に処理するにも同様の時間が必要である。)、従ってこのためには非常なコストがかかる。更に、PCにおける追加された各HRTFライブラリィの記憶には、かなりの付加メモリが必要である。更に、このような解決方法は、量子化された距離効果になり、音源がリスナーの頭に向かってスムーズに移動することができず、異なるHRTFセットの間で切り換えると「ジャンプ」したように思われるという別の問題がある。
理想的には、要求されているのは、「標準」の1mのHRTFセットを使用して近領域距離効果を生成する手段である。
本発明は、「標準」の1mのHRTFセットを使用して3Dサウンド合成用の近領域距離効果を生成する手段を備える。この方法は、(a)必要な近接、及び(b)空間位置の関数として相対的な左右チャンネル強度差を制御するアルゴリズムを使用する。このアルゴリズムは、音源が1mの距離から頭に向かって移動する時HRTFの左耳と右耳の個別の特性はそのスペクトル特性が大きくは変化しないという観察に基づいている。しかし、それらの間の強度及び強度の差は大きく変化し、距離比効果をを生じる。発生するスペクトル特性における小さな変化は、頭の影効果に大きく関係しており、これらは必要ならば近領域効果アルゴリズムに加えることができる。
ここの説明では、「近領域(near-field)」という表現は、頭の中心から約1m−1.5mの距離までのリスナーの頭の回りの空間の体積を意味すると定義される。実際的な理由のため、「近限界」を定義することも有用であり、これとして0.2mの距離が本発明を説明する目的で選択される。これらの限界は、両方共、典型的なHRTF測定距離(1m)と例えばゲームで生成することが望まれる最接近距離に基づいて、純粋に説明の目的で選択された。しかし、究極の「近接」は、彼又は彼女が単一イヤフォンを付けている場合のような単一の耳で音だけを聞くリスナーによって表されるという点に着目することも重要である。これもシミュレートでき、頭に近い又は「近領域」効果の究極の限界ケースとみなすことができる。この「一方の耳にささやく効果」は、遠耳利得(ゲイン)をゼロに又は聞こえないほど十分に低い値にセットするだけで実現できる。そして、処理されたオーディオ信号がヘッドフォンに流されている時、又は適当な両耳間クロストークキャンセル処理の後スピーカに流されている時、音は「一方の耳」内にあるように思われる。
最初に、例えば強度の変化を考察する。音源が1mの距離から頭に向かって移動する時、距離比(左耳から音源までの距離に対する右耳から音源までの距離)は非常に大きくなる。例えば、水平面内で45°の方位角にあり、頭の中心から1mの距離にある音源に対しては、近い耳(近耳)は約0.9mの距離であり、遠い耳(遠耳)は約1.1mである。従って、比は(1.1/0.9)=1.22である。音源が0.5mの距離に移動した時、比は(0.6/0.4)=1.5になり、距離が20cmの時、比は約(0.4/0.1)=4である。伝搬する波のエネルギが増加する面積に広がるので、音源の強度は距離に従って減少する。波面は膨張する風船に似ており、エネルギ密度は伝搬する波面の表面積に関係し、進む距離(風船の半径)の2乗則に関係する。
これが、よく知られている点音源から進む距離の逆2乗則の強度低下を与える。左右のチャンネルの強度比は、距離の2乗の逆比に関係する。従って、距離1m、0.5m及び0.2mの強度比は、それぞれ約1.49、2.25及び16である。dB単位で表現すると、これらの比はそれぞれ1.73dB、3.52dB及び12.04dBである。
次に、頭の影の効果を考察する。例えば、音源が頭から1mで、方位角45°である時、到着する音波は、頭の影内にある遠耳に到達するのに、頭の1/4だけ回りを進む。しかし、音源が例えば20cmという具合により近いと、音波が遠耳に到達できるまでに半球全部を回らなければならない。従って、遠耳に到達するHF要素は比例して減少する。
しかし、強度比の差は距離に依存しているため、上記の例で説明したよりも状況は複雑であることに着目することが重要である。例えば、上記の状況が頭に近づく前側の(方位角0°)の音源に対して繰り返されるのであれば、対称性のために左右チャンネルの強度の間には差がない。この例では、強度レベルは逆2乗則に従って単純増加する。
LとRのチャンネル利得(ゲイン)を正しく正確に制御するアルゴリズムで、3次元空間におけるいかなる特別な近接した位置にどのようにして関係付けることができるのであろうか。キーとなる要因は、両耳間時間遅延であり、これによりアルゴリズムを非常に効果的で効率のよい方法で空間位置に対応させることが可能になる。
本発明は、いくつかのステージで最適に説明されるが、両耳間時間遅延の説明から始め、リスナーの近領域のおける近耳と遠耳の近似距離の偏差の説明を続けて行う。図1は、リスナーの回りの近領域の図を、以下の説明の間参照される参照平面及び軸と一緒に示す。ここでは、P−P’はリスナーの頭の中心を切った水平面の前後の軸を表し、Q−Q’で左右の対応する側方軸を表す。
すでに言及したように、音源が極位置を含む中央平面内になければ(すなわち、直前直後の上下になければ)、音波が頭に斜めに入射する時、左右の耳の間に到着時間の差がある。これは両耳間時間遅延(ITD)として知られており、図2のように図の形で示すことができる。図2は、方位角θ(ここでは約45°)である距離にある音源からの音響信号を左右の耳で受ける概念的な頭の平面図を示す。波面(W−W’)が右耳に到達する時、それが左耳(LE)に到達するまでになお(a+b)の経路長があることが分かる。構成の対称性により、b部分は頭の中心から波面W−W’までの距離に等しく、従ってb=r.sinθである。弧aは円周部分を表し、θに対する円弧である。考察すると、経路長(a+b)は次の式で与えられる。
((cm単位で表された)この経路長は、34.3で除することで、(ms単位の)対応する時間遅延に変換できる。)
特に、θがゼロになると、それに従って経路長もゼロになることが分かる。更に、θが90°になると、頭の直径が15cmであれば経路長は約19.3cmであり、関係するITDは約563μsである。実際、ITDはこれより少し大きく測定され、典型的には702μs程度である。これは、(耳翼及び鼻の存在を含めた)頭の非球面特性、複雑な回折状況及び表面効果によると思われ。
このステージで、この導出は水平面における前−右象限(方位角0°と90°の間)に関係するが、4つの象限すべてで有効である。これは、(a)前−右及び右−後象限はQ−Q’軸に対して対称であり、(b)右の2つの象限は左の2つの象限と対称である。(当然この後の場合には、時間ずれよりも、時間遅延が逆で、左耳の信号が右耳の信号になる。)
従って、水平面には、例えば30°と150°、40°と140°などのようなある特定の(有効な)時間遅延に関係する2つの相補な位置が存在するというのが適切である。実際、測定は時間遅れが完全には対称でないことを示しており、例えば最大の時間遅延は方位角90°で生じるのではなく、85°付近で生じることを示す。これらの小さな非対称性は、説明を明瞭にするために一時的に棚上げにする。しかし、アルゴリズムのインデックスとしての時間遅延の使用は詳細な非対称性のすべてを考慮し、それにより近接した音源をシミュレートするよい手段を提供することが分かるであろう。
これから更に続けて、頭が近似的に球体であるとすると、対称性は3次元まで延長し、上側の半球は下側の半球に対して対称であり、水平面に対しての折り返しである。従って、所定の(有効な)両耳間時間遅延に対して、水平面上の1組の点ではなく、上記の点で水平面と交差する近似的に円である軌跡が存在する。実際、軌跡は側方軸Q−Q’に配置されたリスナーの適当な耳から伸びる仮想の円錐の表面で示すことができる(図3と図4を参照)。
このステージでは、次のことが重要である。
(1)両耳間時間遅延は、音源と各耳の間の相対的な音響経路長の差の非常に近い近似を表し、及び
(2)両耳間時間遅延は、各HRTFの組の積分された特徴である。
従って、いかなる3Dサウンド合成システムもHRTFデータを使用する時には、関係する両耳間時間遅延を相対的な経路長差のすばらしいインデックスとして使用できる。それは物理的な測定に基づいているので、上記の実際の生活の非線型性を伴う実際の測定である。
次のステージは、「近接した」仮想音源が要求される時に、左耳と右耳のチャンネルに印加しなければならない信号利得の値の決定手段を見出すことである。これは、近耳及び遠耳状況を交互に考察し、そして1mの距離をそこでの音響強度を0dBであるとする最遠の参照データとして使用すれば可能である。
図5は、リスナーの頭とそれを囲む近領域を一緒に示す平面図である。最初の例では、前−右の象限に特に注目する。水平面における近領域の位置と近耳(この場合は右耳)までの距離の間の関係を規定できるなら、これは右チャンネルの利得を制御するのに使用できる。この状況は、図6に示すように、近接した前側位置への(経路“A”のような)音源から耳への「真の」経路が、(“B”で示すような)直接距離に類似していると仮定することが可能であれば、解くのは簡単である。これにより、図6の左側の図に示すように、リスナーに対して前−右側の象限にありθの方位角の音源Sを示す状況が簡単になる。更に、音源の頭の中心からの距離がdで示され、音源の近耳からの距離がpで示される。S−頭の中心−Q’のなす角度は、(90°−θ)である。近耳距離は、S−頭の中心−近耳の三角形から余弦(cosine)法則を使用して導出できる。
もし頭の半径rが7.5cmであると仮定すると、pは次の式で与えられる。
図7は、リスナーの頭の平面図を、それを囲む近領域と一緒に示す。再度我々は前右側の象限に着目する。しかし、音源と遠耳の間の経路は、図7の右側に詳細図に明瞭に示されているように、2つの連続成分を備える。第1にqを付した頭に対して正接な音源Sからの直接経路があり、第2に正接点Tから遠耳までの頭Cの回りの円周経路がある。前述のように、音源から頭の中心までの距離はdであり、頭の半径はrである。正接点と頭の中心が音源でなす角度は、角度Rである。
正接経路qは、三角形から簡単に計算できる。
そして、角度Rは、
である。
S−T−頭の中心の三角形を考えると、角度P−頭の中心−Tは(90−θ−R)であり、従って角度T−頭の中心−Q(弧自体のなす角度)は(θ+R)でなければならない。円周経路はこの角度から計算でき、それは
である。
従って、式(5)を式(6)に代入し、式(4)と合わせることにより、音源から7.5cmの半径の頭の遠耳までの全距離の表現が計算できる。
近耳利得ファクタを、リスナーの頭からのいくつかの距離における方位角の関数として近耳利得ファクタを論じることは有益である。これを行い、その結果が図10にグラフで示される。利得は0dBで規定される1mの参照距離に対するdB単位で表現される。dBで表した利得は、経路長d(cm)から逆2乗則に従って計算され、次のようになる。
グラフから分かるように、100cmの線は、予想通りに方位角0°で0dBに等しく、音源が近耳の線である90°の位置に回転移動すると、音源は実際には少し近づくので、レベルは+0.68dBに増加する。20cmの線は、より近づくので当然に方位角0°で13.4dBの利得を示し、音源が90°の位置に回転移動すると、レベルは18.1dBに増加する。この時の増加は更に大きい。他の距離の線は、これらの2つの両極端の中間の特性を示す。
次に、遠耳利得ファクタを考察する。これは、図11にグラフで示される。グラフから分かるように、100cmの線は、(予想通りに)方位角0°で0dBに等しいが、ここでは音源が遠耳から離れる90°の位置に回転移動すると、レベルは−0.99dBに減少する。20cmの線は、方位角0°で13.8dBの利得を示し、等距離の近耳と同様に、音源が90°の位置に回転移動すると、レベルが9.58に減少し、100cmデータよりはるかに大きな減少になる。同様に、他の距離の線は、これらの2つの両極端の中間の特性を示す。
仮想音源に対する近領域効果を生成するのに適したHRTF利得ファクタのセットが特定の方位角及び必要な距離に基づいて計算できることが示された。しかし、実際には、位置データは、通常球面座標で規定される。すなわち、方位角θと仰角φ(本発明では更に距離d)である。従って、適当なLとRの利得ファクタを計算するために、式(3)と(7)を使用して、このデータを等価な水平面の方位角(及び0°から90°)に計算及び変換することが求められる。これは、非常な計算資源を必要とし、CPU又は供用されるDSPは、ほぼフル容量で動作することに気付くことが必要であり、できれば避けるのが最良である。
他の方法は、いくつかの特定の距離におけるすべての可能な方位角と仰角に対する(典型的には1つのHRTFライブラリィで約1,111)LとRの利得ファクタを記載した汎用の「ルックアップ」テーブルを作成することである。従って、このテーブルは、4つの特定の距離に対して、1,111×4×2(8,888)要素を必要とし、従ってそれに割り当てられるコンピュータメモリの非常に大きな量を必要とする。しかし、発明者は、各HRTFで行われる時間遅延は適当なLとRの利得ファクタを選択するためのインデックスとして利用できることが分かった。各両耳間時間遅延は、特定の方位角に交互に関係する等価水平面と関係する。これは、はるかに小さいルックアップテーブルが使用できることを意味する。上記の解決方法のHRTFライブラリィは、3°ずつ水平面を増加させるようにすると、0°から90°の範囲で31個のHRTFがある。従って、時間遅延インデックスルックアップテーブルの大きさは、31×4×2要素(248要素)であり、上記の「汎用」テーブルの大きさの2.8%にすぎない。
本発明の説明の最終ステージでは、その方位角に対して0°から90°の範囲で測定された水平面のHRTF時間遅延を、前のセクションで導出した近耳と遠耳利得ファクタを一緒に表にする。これは、時間遅延と利得ファクタを関連させ、実際のシステムで使用されるルックアップテーブルを表す。このデータが、表1(近耳データ)と表2(遠耳データ)の形で以下に示される。
上記の表における時間遅延は、44.1kHzのサンプリングレートに関係するサンプル周期の単位で示されており、それゆえ各サンプル単位は22.676μmである。
仮想音源が、水平面内に、方位角60°で、0.4mの距離に位置していることが要求される場合を考察してみる。表1を使用して、HRTFに適用されなければならない近耳利得は9.44dBとして示され、遠耳利得は(表2から)6.27dBである。
第2の例として、仮想音源が、水平面内以外の、方位角42°で、仰角−60°で、0.2mの距離に位置していることが要求される場合を考察してみる。この特別な空間位置に対するHRTFは、(44.1kHzで)7サンプル周期の時間遅延を有する。従って、表1を使用して、HRTFに適用されなければならない近耳利得は14.39dBとして示され、遠耳利得は(表2から)12.48dBである。(このHRTF時間遅延は、18°の方位角の水平面HRTFのそれと同じである。)
本発明の適用は直接的であり、図9に概略的に示される。図8は、以下のように、仮想音源を生成する従来の手段を示す。第1に、仮想音源の空間位置は特定され、その位置に対する適当なHRTFが選択される。このHRTFは、左耳関数と、右耳関数と、両耳間時間遅延値とを備える。仮想音源を生成するコンピュータシステムでは、HRTFデータは、一般的には(各チャンネルに対して1つの)FIRフィルタの組を制御するのに適したFIRフィルタ係数の形式であり、時間遅延は数字で表現される。モノラル音源は、信号処理機構に送られ、図示のように左側と右側チャンネル出力を生成する。(これらの出力信号はリスナーのヘッドフォン、又はスピーカ再生のためのクロストークキャンセル処理、又は他の手段に送るのに適する。)
図9に示すように、本発明は、この方法を追加するが、余分な計算はほとんど必要としない。この時、信号はあらかじめ処理されるが、近耳距離も特定され、選択されたHRTFからの時間遅延データと一緒に、ルックアップテーブルからの左右の各チャンネルに対する利得を選択するのに使用される。次に、このデータは、前述のように次のステージに出力される前に信号の利得を制御するのに使用される。
図9に示した左チャンネル出力と右チャンネル出力は、例えば、対応するチャンネルにおける信号を単に加えるだけで、ヘッドフォンに送られる通常のステレオ又は両耳信号と直接合わせることができる。図9に示す出力が、(例えばEP-B-0689756に記載されたSensaura(商標名)の方法を使用するような)両耳合成により発生される3D音場を生成するために作られた信号と合わされる。そして、2つの出力信号は、両耳間クロストーク補正を実行した後、両耳信号の対応するチャンネルに加えられる。
上記の例では、左右信号の強度の設定はヘッド応答伝達関数を使用する変形の後に実行されるが、強度は望むならこのような信号処理の前に設定でき、記載の方法でのステップの順番は、本発明の基本的な部分ではない。
上記の例では、使用中のリスナーの好適な位置に対する仮想音源の位置は一定であり時間と共に変化しないが、仮想音源に対する連続した異なる位置の適当な選択により、望むなら使用中のリスナーの頭に対して移動するようにできる。この明白な移動は、好適な位置からの仮想音源の方向を変えるか、又は好適な位置からの距離を変えるか、又はその両方を変えることで提供される。
最後に、添付の要約書の内容は、参考としてこの記載に加えられる。
Claims (6)
- 選択された方向及びリスナーの頭から選択された近領域距離にある音源を知覚するように、前記選択された方向及び前記リスナーの頭からより大きな距離である参照距離に位置する前記音源のために決定された頭応答伝達関数(HRTF)の組に基づいて、原音響信号に位置測定キューを提供する方法であって、当該方法は、
前記原音響信号から2チャンネル音響信号を提供し、
前記HRTFの組に基づいて前記2チャンネル音響信号をスペクトル的に整形し、
前記選択された方向に関係する両耳間時間遅延に基づいて前記2チャンネル音響信号のチャンネル間に時間遅延を導入し、
異なる利得ファクタを前記2チャンネルのそれぞれに適用し、
前記異なる利得ファクタは、前記選択された方向及び前記リスナーの頭からの前記選択された近領域距離に基づいて決定されることを特徴とする方法。 - 前記異なる利得ファクタは、前記リスナーの頭からの前記選択された近領域距離に位置する前記音源に対する、音源から耳までのそれぞれの距離の逆2乗則に基づいて各耳ごとに決定される請求項1に記載の方法。
- 前記異なる利得ファクタは、前記選択された方向に関係する前記両耳間時間遅延によりインデックスされた利得値のルックアップテーブルを提供し、前記ルックアップテーブルからそれぞれの利得値を選択することにより決定される請求項2に記載の方法。
- 前記近領域距離は、0.2m以上及び約1.5m以下である請求項1から3のいずれか1項に記載の方法。
- 異なる利得ファクタの適用は、左及び右のチャンネル信号のスペクトル整形の後に行われる請求項1から4のいずれか1項に記載の方法。
- 前記近領域距離における頭の陰になる効果を反映するように、前記2チャンネルの一方の前記周波数応答を変形することを更に備える請求項1から5のいずれか1項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB9726338.8 | 1997-12-13 | ||
GBGB9726338.8A GB9726338D0 (en) | 1997-12-13 | 1997-12-13 | A method of processing an audio signal |
PCT/GB1998/003714 WO1999031938A1 (en) | 1997-12-13 | 1998-12-11 | A method of processing an audio signal |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008227614A Division JP4663007B2 (ja) | 1997-12-13 | 2008-09-04 | オーディオ信号処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001511995A JP2001511995A (ja) | 2001-08-14 |
JP2001511995A5 JP2001511995A5 (ja) | 2006-04-13 |
JP4633870B2 true JP4633870B2 (ja) | 2011-02-16 |
Family
ID=10823548
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP53218199A Expired - Lifetime JP4633870B2 (ja) | 1997-12-13 | 1998-12-11 | オーディオ信号処理方法 |
JP2008227614A Expired - Lifetime JP4663007B2 (ja) | 1997-12-13 | 2008-09-04 | オーディオ信号処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008227614A Expired - Lifetime JP4663007B2 (ja) | 1997-12-13 | 2008-09-04 | オーディオ信号処理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7167567B1 (ja) |
EP (1) | EP0976305B1 (ja) |
JP (2) | JP4633870B2 (ja) |
DE (1) | DE69841097D1 (ja) |
GB (1) | GB9726338D0 (ja) |
WO (1) | WO1999031938A1 (ja) |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1410685A2 (de) * | 1999-11-03 | 2004-04-21 | Boris Weigend | Mehrkanaliges tonbearbeitungssystem |
AUPQ514000A0 (en) | 2000-01-17 | 2000-02-10 | University Of Sydney, The | The generation of customised three dimensional sound effects for individuals |
GB2369976A (en) * | 2000-12-06 | 2002-06-12 | Central Research Lab Ltd | A method of synthesising an averaged diffuse-field head-related transfer function |
JP3435156B2 (ja) * | 2001-07-19 | 2003-08-11 | 松下電器産業株式会社 | 音像定位装置 |
EP1500084B1 (en) | 2002-04-22 | 2008-01-23 | Koninklijke Philips Electronics N.V. | Parametric representation of spatial audio |
FR2847376B1 (fr) * | 2002-11-19 | 2005-02-04 | France Telecom | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
DE60336499D1 (de) * | 2002-11-20 | 2011-05-05 | Koninkl Philips Electronics Nv | Audio-gestüzte datenrepräsentationsvorrichtung und verfahren |
EP1667487A4 (en) * | 2003-09-08 | 2010-07-14 | Panasonic Corp | AUDIO PICTURE DEVICE DEVICE TOOL AND AUDIO PICTURE CONTROLLER |
EP1522868B1 (en) * | 2003-10-10 | 2011-03-16 | Harman Becker Automotive Systems GmbH | System for determining the position of a sound source and method therefor |
US6937737B2 (en) * | 2003-10-27 | 2005-08-30 | Britannia Investment Corporation | Multi-channel audio surround sound from front located loudspeakers |
JP2005223713A (ja) * | 2004-02-06 | 2005-08-18 | Sony Corp | 音響再生装置、音響再生方法 |
JP2005333621A (ja) * | 2004-04-21 | 2005-12-02 | Matsushita Electric Ind Co Ltd | 音情報出力装置及び音情報出力方法 |
JP4103846B2 (ja) * | 2004-04-30 | 2008-06-18 | ソニー株式会社 | 情報処理装置、音量制御方法、記録媒体、およびプログラム |
US8467552B2 (en) * | 2004-09-17 | 2013-06-18 | Lsi Corporation | Asymmetric HRTF/ITD storage for 3D sound positioning |
US7634092B2 (en) * | 2004-10-14 | 2009-12-15 | Dolby Laboratories Licensing Corporation | Head related transfer functions for panned stereo audio content |
US20060177073A1 (en) * | 2005-02-10 | 2006-08-10 | Isaac Emad S | Self-orienting audio system |
US20060277034A1 (en) * | 2005-06-01 | 2006-12-07 | Ben Sferrazza | Method and system for processing HRTF data for 3-D sound positioning |
KR100619082B1 (ko) * | 2005-07-20 | 2006-09-05 | 삼성전자주식회사 | 와이드 모노 사운드 재생 방법 및 시스템 |
JP4602204B2 (ja) | 2005-08-31 | 2010-12-22 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
WO2007045016A1 (en) * | 2005-10-20 | 2007-04-26 | Personal Audio Pty Ltd | Spatial audio simulation |
JP4637725B2 (ja) | 2005-11-11 | 2011-02-23 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラム |
WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
DE602006016017D1 (de) * | 2006-01-09 | 2010-09-16 | Nokia Corp | Steuerung der dekodierung binauraler audiosignale |
WO2007080224A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
US7876904B2 (en) * | 2006-07-08 | 2011-01-25 | Nokia Corporation | Dynamic decoding of binaural audio signals |
JP4835298B2 (ja) | 2006-07-21 | 2011-12-14 | ソニー株式会社 | オーディオ信号処理装置、オーディオ信号処理方法およびプログラム |
JP4894386B2 (ja) | 2006-07-21 | 2012-03-14 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
US8432834B2 (en) * | 2006-08-08 | 2013-04-30 | Cisco Technology, Inc. | System for disambiguating voice collisions |
US8270616B2 (en) * | 2007-02-02 | 2012-09-18 | Logitech Europe S.A. | Virtual surround for headphones and earbuds headphone externalization system |
JP5114981B2 (ja) * | 2007-03-15 | 2013-01-09 | 沖電気工業株式会社 | 音像定位処理装置、方法及びプログラム |
KR101431253B1 (ko) * | 2007-06-26 | 2014-08-21 | 코닌클리케 필립스 엔.브이. | 바이노럴 오브젝트―지향 오디오 디코더 |
KR101238361B1 (ko) * | 2007-10-15 | 2013-02-28 | 삼성전자주식회사 | 어레이 스피커 시스템에서 근접장 효과를 보상하는 방법 및장치 |
US8520872B2 (en) * | 2008-08-14 | 2013-08-27 | Samsung Electronics Co., Ltd. | Apparatus and method for sound processing in a virtual reality system |
US9247369B2 (en) * | 2008-10-06 | 2016-01-26 | Creative Technology Ltd | Method for enlarging a location with optimal three-dimensional audio perception |
CN102440003B (zh) * | 2008-10-20 | 2016-01-27 | 吉诺迪奥公司 | 音频空间化和环境仿真 |
US9055381B2 (en) * | 2009-10-12 | 2015-06-09 | Nokia Technologies Oy | Multi-way analysis for audio processing |
CN102223589A (zh) * | 2010-04-14 | 2011-10-19 | 北京富纳特创新科技有限公司 | 投音机 |
US9344813B2 (en) * | 2010-05-04 | 2016-05-17 | Sonova Ag | Methods for operating a hearing device as well as hearing devices |
US9332372B2 (en) * | 2010-06-07 | 2016-05-03 | International Business Machines Corporation | Virtual spatial sound scape |
DE102010030534A1 (de) * | 2010-06-25 | 2011-12-29 | Iosono Gmbh | Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion |
KR20120004909A (ko) * | 2010-07-07 | 2012-01-13 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
KR101702330B1 (ko) * | 2010-07-13 | 2017-02-03 | 삼성전자주식회사 | 근거리 및 원거리 음장 동시제어 장치 및 방법 |
JP5992409B2 (ja) * | 2010-07-22 | 2016-09-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 音再生のためのシステム及び方法 |
CH703771A2 (de) * | 2010-09-10 | 2012-03-15 | Stormingswiss Gmbh | Vorrichtung und Verfahren zur zeitlichen Auswertung und Optimierung von stereophonen oder pseudostereophonen Signalen. |
US8660271B2 (en) | 2010-10-20 | 2014-02-25 | Dts Llc | Stereo image widening system |
WO2012094338A1 (en) | 2011-01-04 | 2012-07-12 | Srs Labs, Inc. | Immersive audio rendering system |
JP5437317B2 (ja) * | 2011-06-10 | 2014-03-12 | 株式会社スクウェア・エニックス | ゲーム音場生成装置 |
US9648439B2 (en) | 2013-03-12 | 2017-05-09 | Dolby Laboratories Licensing Corporation | Method of rendering one or more captured audio soundfields to a listener |
EP3375207B1 (en) | 2015-12-07 | 2021-06-30 | Huawei Technologies Co., Ltd. | An audio signal processing apparatus and method |
ES2916342T3 (es) * | 2016-01-19 | 2022-06-30 | Sphereo Sound Ltd | Síntesis de señales para la reproducción de audio inmersiva |
US10477291B2 (en) * | 2016-07-27 | 2019-11-12 | Bose Corporation | Audio device |
WO2020016685A1 (en) | 2018-07-18 | 2020-01-23 | Sphereo Sound Ltd. | Detection of audio panning and synthesis of 3d audio from limited-channel surround sound |
US10911855B2 (en) | 2018-11-09 | 2021-02-02 | Vzr, Inc. | Headphone acoustic transformer |
CN110049196A (zh) * | 2019-05-28 | 2019-07-23 | 维沃移动通信有限公司 | 信息处理方法、移动终端及网络侧设备 |
US10667073B1 (en) * | 2019-06-10 | 2020-05-26 | Bose Corporation | Audio navigation to a point of interest |
CN113747335A (zh) | 2020-05-29 | 2021-12-03 | 华为技术有限公司 | 音频渲染方法及装置 |
CN114866948B (zh) * | 2022-04-26 | 2024-07-05 | 北京奇艺世纪科技有限公司 | 一种音频处理方法、装置、电子设备和可读存储介质 |
US20230362579A1 (en) * | 2022-05-05 | 2023-11-09 | EmbodyVR, Inc. | Sound spatialization system and method for augmenting visual sensory response with spatial audio cues |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3969588A (en) * | 1974-11-29 | 1976-07-13 | Video And Audio Artistry Corporation | Audio pan generator |
US4910718A (en) | 1988-10-05 | 1990-03-20 | Grumman Aerospace Corporation | Method and apparatus for acoustic emission monitoring |
JP2522092B2 (ja) * | 1990-06-26 | 1996-08-07 | ヤマハ株式会社 | 音像定位装置 |
US5173944A (en) * | 1992-01-29 | 1992-12-22 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Head related transfer function pseudo-stereophony |
JP2924502B2 (ja) * | 1992-10-14 | 1999-07-26 | ヤマハ株式会社 | 音像定位制御装置 |
US5440639A (en) * | 1992-10-14 | 1995-08-08 | Yamaha Corporation | Sound localization control apparatus |
JPH08502867A (ja) | 1992-10-29 | 1996-03-26 | ウィスコンシン アラムニ リサーチ ファンデーション | 指向性音を作る方法及び装置 |
EP0689756B1 (en) * | 1993-03-18 | 1999-10-27 | Central Research Laboratories Limited | Plural-channel sound processing |
US5438623A (en) | 1993-10-04 | 1995-08-01 | The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration | Multi-channel spatialization system for audio signals |
US5521981A (en) * | 1994-01-06 | 1996-05-28 | Gehring; Louis S. | Sound positioner |
ATE208120T1 (de) * | 1994-02-25 | 2001-11-15 | Henrik Moller | Binaurale synthese, kopfbezogene übertragungsfunktion, und ihre verwendung |
US5943427A (en) * | 1995-04-21 | 1999-08-24 | Creative Technology Ltd. | Method and apparatus for three dimensional audio spatialization |
GB9606814D0 (en) * | 1996-03-30 | 1996-06-05 | Central Research Lab Ltd | Apparatus for processing stereophonic signals |
US5901232A (en) * | 1996-09-03 | 1999-05-04 | Gibbs; John Ho | Sound system that determines the position of an external sound source and points a directional microphone/speaker towards it |
US6009178A (en) * | 1996-09-16 | 1999-12-28 | Aureal Semiconductor, Inc. | Method and apparatus for crosstalk cancellation |
JP3266020B2 (ja) | 1996-12-12 | 2002-03-18 | ヤマハ株式会社 | 音像定位方法及び装置 |
US6009179A (en) * | 1997-01-24 | 1999-12-28 | Sony Corporation | Method and apparatus for electronically embedding directional cues in two channels of sound |
US6181800B1 (en) * | 1997-03-10 | 2001-01-30 | Advanced Micro Devices, Inc. | System and method for interactive approximation of a head transfer function |
US6307941B1 (en) * | 1997-07-15 | 2001-10-23 | Desper Products, Inc. | System and method for localization of virtual sound |
US6067361A (en) * | 1997-07-16 | 2000-05-23 | Sony Corporation | Method and apparatus for two channels of sound having directional cues |
-
1997
- 1997-12-13 GB GBGB9726338.8A patent/GB9726338D0/en not_active Ceased
-
1998
- 1998-12-11 EP EP98960002A patent/EP0976305B1/en not_active Expired - Lifetime
- 1998-12-11 DE DE69841097T patent/DE69841097D1/de not_active Expired - Fee Related
- 1998-12-11 WO PCT/GB1998/003714 patent/WO1999031938A1/en active Application Filing
- 1998-12-11 JP JP53218199A patent/JP4633870B2/ja not_active Expired - Lifetime
- 1998-12-11 US US09/367,153 patent/US7167567B1/en not_active Expired - Fee Related
-
2008
- 2008-09-04 JP JP2008227614A patent/JP4663007B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001511995A (ja) | 2001-08-14 |
JP4663007B2 (ja) | 2011-03-30 |
WO1999031938A1 (en) | 1999-06-24 |
DE69841097D1 (de) | 2009-10-08 |
US7167567B1 (en) | 2007-01-23 |
EP0976305B1 (en) | 2009-08-26 |
GB9726338D0 (en) | 1998-02-11 |
EP0976305A1 (en) | 2000-02-02 |
JP2010004512A (ja) | 2010-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4633870B2 (ja) | オーディオ信号処理方法 | |
EP0966179B1 (en) | A method of synthesising an audio signal | |
Hacihabiboglu et al. | Perceptual spatial audio recording, simulation, and rendering: An overview of spatial-audio techniques based on psychoacoustics | |
US9197977B2 (en) | Audio spatialization and environment simulation | |
US6078669A (en) | Audio spatial localization apparatus and methods | |
JP2013524562A (ja) | マルチチャンネル音響再生方法及び装置 | |
WO2008135310A2 (en) | Early reflection method for enhanced externalization | |
WO1996033591A1 (en) | An acoustical audio system for producing three dimensional sound image | |
Gardner | 3D audio and acoustic environment modeling | |
US20170272889A1 (en) | Sound reproduction system | |
JPH09121400A (ja) | 奥行方向音響再生装置及び立体音響再生装置 | |
US6990210B2 (en) | System for headphone-like rear channel speaker and the method of the same | |
US10440495B2 (en) | Virtual localization of sound | |
JPH06105400A (ja) | 3次元空間再現システム | |
JPH05168097A (ja) | 頭外音像定位ステレオ受聴器受聴方法 | |
Oldfield | The analysis and improvement of focused source reproduction with wave field synthesis | |
US6983054B2 (en) | Means for compensating rear sound effect | |
JP2000333297A (ja) | 立体音生成装置、立体音生成方法及び立体音を記録した媒体 | |
Pelzer et al. | 3D reproduction of room acoustics using a hybrid system of combined crosstalk cancellation and ambisonics playback | |
GB2369976A (en) | A method of synthesising an averaged diffuse-field head-related transfer function | |
Omoto et al. | Hypotheses for constructing a precise, straightforward, robust and versatile sound field reproduction system | |
Laitinen | Binaural reproduction for directional audio coding | |
JP2004509544A (ja) | 耳に近接配置されるスピーカ用の音声信号処理方法 | |
Benjamin et al. | The effect of head diffraction on stereo localization in the mid-frequency range | |
WO2022181678A1 (ja) | 音響システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071210 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080507 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091008 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101118 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |