JP5031840B2 - 音像定位予測装置及び音像定位制御システム並びに音像定位予測方法及び音像定位制御方法 - Google Patents

音像定位予測装置及び音像定位制御システム並びに音像定位予測方法及び音像定位制御方法 Download PDF

Info

Publication number
JP5031840B2
JP5031840B2 JP2009528897A JP2009528897A JP5031840B2 JP 5031840 B2 JP5031840 B2 JP 5031840B2 JP 2009528897 A JP2009528897 A JP 2009528897A JP 2009528897 A JP2009528897 A JP 2009528897A JP 5031840 B2 JP5031840 B2 JP 5031840B2
Authority
JP
Japan
Prior art keywords
sound
sound image
image localization
localization
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009528897A
Other languages
English (en)
Other versions
JPWO2009025023A1 (ja
Inventor
佳樹 太田
健作 小幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2009025023A1 publication Critical patent/JPWO2009025023A1/ja
Application granted granted Critical
Publication of JP5031840B2 publication Critical patent/JP5031840B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Stereophonic System (AREA)

Description

本発明は、音像定位予測装置及び音像定位制御システム並びに音像定位予測方法及び音像定位制御方法に関する。
近年、DVD(Digital Versatile Disk)の普及や、地上デジタル放送の開始とともに、5.1チャンネルを代表とするマルチチャネルサラウンド再生方式が普及し始めている。
リスナの後方にスピーカーを置く必要のない「フロントサラウンド」のような技術へのニーズが高まっている。そのようなニーズの中で、複数のスピーカで生成される音像定位の位置を評価する技術への要求も増えている。従来より、受聴者の知覚する音像の定位方向が変化することが知られている。そして音像の定位方向を予測する様々な式が提案されている。
「2チャンネルステレオ再生時における各音像方向予測式の比較検討」(Vol.J87−A,No.12(20041202)第1549頁乃至第1554頁、電子情報通信学会)
このような公知技術では、次のような問題点が存在している。まず第1の問題点としては、このような予測式を用いたとしても、音像が様々な周波数成分から構成されており、周波数帯域ごとに音像の定位方向(角度)を予測することができる訳ではない。第2の問題点としては、2チャンネルステレオ再生時におけるチャネル間の位相差だけで、音像の定位方向が決まる訳ではないので、このような公知技術を音像の定位方向の制御へ応用することが困難である。第3の問題点としては、このような公知技術を用いようとすると、各スピーカから受聴者の両耳への信号レベルを独立に知る必要がある。第4の問題点としては、このような公知技術を用いると、音像の定位方向の制御にあたり、マイクロフォンを組み込んだダミーヘッドによる測定が必要となり、民生機器への適用に向かなかった。
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
上記課題を解決するために、請求項1記載の発明は、入力された複数の音信号を各々時間で積分するとともに対数化することにより、前記複数の音信号に対応する各音圧を取得する音圧取得手段と、前記音圧取得手段によって取得された各音圧を正規化する正規化手段と、記音信号の周波数帯域ごとに異なるように予め定められた複数の予測係数を用いて、前記正規化手段によって正規化された各音圧の線形和を演算し、その線形和により音像の定位角を算出する線形和演算手段とを有する。
上記課題を解決するために、請求項3記載の発明は、テスト信号を発生するテスト信号発生手段と、前記テスト信号に基づいて出力されるべき複数のテスト音の相対的な位相差を周波数帯域ごとにシフトさせ、前記複数のテスト音を出力させる制御を行う音像定位制御手段と、前記複数のテスト音に基づいて各々入力された複数の音信号から、前記複数のテスト音の相対的な位相差に応じて形成される音像の定位方向を周波数帯域ごとに予測する音像定位予測手段と、前記音像定位予測手段によって周波数帯域ごとに予測された音像の定位方向に応じて、前記音像定位制御手段を制御し、前記複数のテスト音の相対的な位相差を前記周波数帯域ごとに調整する制御手段とを有する。
上記課題を解決するために、請求項8記載の発明は、入力された複数の音信号を各々時間で積分するとともに対数化することにより、前記複数の音信号に対応する各音圧を取得する音圧取得ステップと、前記音圧取得ステップによって取得された各音圧を正規化する正規化ステップと、記音信号の周波数帯域ごとに異なるように予め定められた複数の予測係数を用いて、前記正規化ステップによって正規化された各音圧の線形和を演算し、その線形和により音像の定位角を算出する線形和演算ステップとを有する。
上記課題を解決するために、請求項9記載の発明は、テスト信号を発生するテスト信号発生ステップと、前記テスト信号に基づいて出力されるべき複数のテスト音の相対的な位相差を周波数帯域ごとにシフトさせ、前記複数のテスト音を出力させる制御を行う音像定位制御ステップと、前記複数のテスト音に基づいて各々入力された複数の音信号から、前記複数のテスト音の相対的な位相差に応じて形成される音像の定位方向を周波数帯域ごとに予測する音像定位予測ステップと、前記音像定位予測ステップによって周波数帯域ごとに予測された音像の定位方向に応じて、前記音像定位制御ステップによる前記複数のテスト音の相対的な位相差を前記周波数帯域ごとに調整する制御ステップとを有する。
以下、本発明の一実施の形態を図面を参照しつつ説明する。
図1は、本実施形態としての定位予測部1を内蔵する音像定位調整装置100のハードウェア構成例を示すブロック図である。
音像定位調整装置100は音像定位制御システムに相当し、複数のスピーカ12,13から各々複数のテスト音を出力させ、これら複数のテスト音に対応して各々入力された複数の音信号に基づく音像の定位方向を予測して調整する機能を有する。
音像定位調整装置100は、マイクロフォンアンプ5、A/D変換部2、定位予測部1、制御部4、テスト信号生成部6、音像定位制御部7、D/A変換部8及びアンプ9を備えており、このマイクロフォンアンプ5にマイクロフォンM1〜MNが着脱可能に接続されているとともに、このアンプ9にスピーカ12,13が着脱可能に接続されている。なお、この音像定位調整装置100は、これらスピーカ12,13及びマイクロフォンM1〜MNを備えている形態であっても良い。
制御部4は、テスト信号生成部6、音像定位制御部7及び定位予測部1に接続されており、これらテスト信号生成部6などを各々制御することで音像定位調整装置100全体を制御している。この制御部4は、テスト信号生成部6に対して所定の中心周波数fcを与え、音像定位制御部7に対して所定のパラメータdを与える。また、この制御部7は、定位予測部1に対してその中心周波数fcを与える。
テスト信号発生部6はテスト信号発生手段に相当し、制御部4から受け取った中心周波数fcに基づいて、この中心周波数fcの周波数帯域のテスト音を出力させるためのテスト信号SLを生成し、音像定位制御部7に出力する。
この音像定位制御部7は音像定位制御手段に相当し、このテスト信号SLに基づいて出力されべき複数のテスト音の相対的な位相差を周波数帯域ごとにシフトさせ、複数のテスト音を出力させる機能を有する。この音像定位制御部7は、このようにシフトさせたシフト済のテスト信号DL,DRをD/A変換部8に出力する。なお、これらシフト済のテスト信号DL,DRは、それぞれ左側及び右側からのテスト音を出力させるための信号である。
D/A変換部8は、音像定位制御部7及びアンプ9に接続されている。このD/A変換部8は、これらシフト済のテスト信号DL,DRを各々デジタルからアナログに変換してアンプ9に出力する。このアンプ9は、これらシフト済のテスト信号DL,DRを増幅し、シフト済のテスト信号DLに基づいてスピーカ12(音出力手段に相当)からテスト音を出力させるとともに、シフト済のテスト信号DRに基づいてスピーカ13(音出力手段に相当)からテスト音を出させる。
一方、マイクロフォンM1〜MNは音入力手段に相当し、上述のようにスピーカ12から出力されたテスト音を各々採取し、そのテスト音に基づく入力信号をマイクロフォンアンプ5に出力する。
マイクロフォンアンプ5は、これらマイクロフォンM1〜MNからの入力信号を各々増幅し、これら増幅信号SM1〜SMNをA/D変換部2に出力する。このA/D変換部2は、これら増幅信号SM1〜SMNを所定のサンプリング周波数を用いてサンプリングすることでアナログ信号からデジタル信号に変換し、定位予測部1に出力する
定位予測部1は、音像定位予測手段又は音像定位予測装置に相当する。この定位予測部1は、複数のテスト音に基づいて各々入力された複数の音信号から、複数のテスト音の相対的な位相差に応じて形成される音像の定位方向を周波数帯域ごとに予測する。
定位予測部1は、制御部4から受け取った中心周波数fcごとに、これら増幅信号SM1〜SMNに基づいて後述するように音像の定位方向を予測する機能を有する。そしてこの定位予測部1は、この中心周波数fcに関連付けて、この予測結果としての音像の定位方向(定位角)θを制御部4に出力する。この定位予測部1に関するより詳細な構成及び機能については後述する。
図2は、図1に示す音像定位制御部7の電気的な構成例を示すブロック図である。なお図2においては、説明の都合上、音像定位制御部7に含まれないスピーカ12,13を図示している。また、図2においては、音像の定位角θを説明するため、上述したマイクロフォンM1〜MNの代わりに対象者14が図示されている。
まず、本実施形態における音像の定位角θについて説明する。本実施形態では、音像の定位角θは、対象者14の正面方向14aを中心とした場合、音像Tの定位方向14bが左側(マイクロフォン12側)に傾斜していると、音像の定位角θが正の値となるものとしている。一方、音像Tの定位方向14bが右側(マイクロフォン13側)に傾斜していると、音像の定位角θが負の値となるものとしている。
次に音像定位制御部7の構成例について説明する。音像定位制御部7は遅延部11を備えている。この遅延部11は、入力されたテスト信号SLから分岐させた一方のテスト信号SL1に、パラメータの一例としての係数(以下「ディレイ値DLY」と呼ぶ)を掛け合わせて、他方のテスト信号SL2との間で相対的に位相差を生じさせる機能を有する。本実施形態では、音像定位制御部7は、この一方のテスト信号SL1をテスト信号DLとして出力し、この他方のテスト信号SL2をテスト信号DRとして出力している。
図3は、図1に示す定位予測部1の具体的な構成例を示すブロック図である。
定位予測部1は、積分器21−1〜21−N、対数化演算部22、正規化部23及び線形和演算部24を備えている。なお、積分器21−1〜21−Nは、上述したマイクロフォンM1〜マイクロフォンMNに各々対応して設けられている。
積分器21−1〜21−Nは音圧取得手段の一部に相当し、入力された複数の音信号M1〜MNを各々時間で積分し、積分信号P1〜PNを対数化演算部22に出力する機能を有する。なおこれら積分器21−1〜21−Nは、積分器21−1及び積分器21−Nのみを図示し、その他の積分器21−2等の図示を省略している。
対数化演算部22は音圧取得手段の一部に相当し、入力された積分信号P1〜PNを各々対数化して音圧レベルdP1〜dPN[dB]を演算し、正規化部23に出力する。この正規化部23は正規化手段に相当し、対数化演算部22によって演算された各音圧レベルdP1〜dPNを正規化する。具体的には、この正規化部23は、これら音圧レベルdP1〜dPNのうちの最小値が0[dB]となるようにその他の音圧レベルを正規化し、各々正規化信号DP1〜DPNとして線形和演算部24に出力する。
線形和演算部24は線形和演算手段に相当し、これら正規化信号DP1〜DPNの線形和を、上述した音信号の周波数帯域ごとに異なる予測係数a(1)〜a(N),cを用いて演算する。
具体的には、この線形和演算部24は、音信号の周波数帯域ごとに、正規化部33によって正規化された各音圧DP1〜DPNに各々予測係数a(1)〜a(N)を掛け合わせ、線形和を算出する。さらにこの線形和演算部24は、算出結果に定数cを足し合わせる。つまり、この線形和演算部24は、a(1)×DP1+a(2)×DP2+・・・+a(N−1)×DPN−1+a(N)×DPN+cを演算する。
定位予測部1を内蔵する音像定位調整装置100は以上のような構成例であり、次に図1〜図3を参照しつつ定位予測部1及び音像定位調整装置100の動作例について説明する。まずはスピーカ12,13のレイアウトについて説明する。
図4は、第1実施形態における音像の定位制御例の実験に用いたスピーカ12,13のレイアウト例を示している。
この実験例では、本来、対象者14が存在しているべき位置の正面の距離L[m]のところに、この対象者14の代わりに、幅W[m]とした左右対称な位置に2つのスピーカ12,13が設置されている。なお距離Lは、例えば2[m]であり、幅Wは、例えば1.5[m]である。
この音像定位制御部7への入力としては、例えば中心周波数1kHzのバンドノイズ(1/3オクターブ幅)を採用している。この音像定位制御部7は、右スピーカ13からは、減衰部18によって例えば−3dBの減衰をさせるとともに遅延部11によってディレイ値DLYをかけた信号成分を出力させ、左スピーカ13からは減衰させないとともにディレイをかけない信号成分を出力させる。
この実験例では、例えば7名の被験者に、図2と同様の考え方による音像の定位角θを評価したときの平均的な結果を、ディレイ値DLYと対応させて後述する図7に×印でプロットした。なお、この実験例では、マイクロフォンの配置例としては、後述する図5に示すようになっており、定位予測部1の線形和の演算に用いる予測係数a(1)〜a(N),cとしては、後述する図6に示すようになっている。
図5は、図4に示すレイアウト例における各マイクロフォンの配置例を示す図である。この例では、マイクロフォンの数N=11として、マイクロフォンM1〜M11が配置しているものとする。なお距離w1は、例えば0.5[m]であるとき、各マイクロフォンM1〜M11は5[cm]など間隔に配置されているとする。
例えば11本のマイクロフォンM1〜M11は、例えばスピーカ12,13の配列方向とほぼ平行な配列位置HLに沿って配置されている。これらマイクロフォンM1〜M11は、仮に対象者14が存在した場合に、その対象者14の両耳を結んだ場合における線HLに沿って配列している
これらマイクロフォンM1〜M11は、音像定位制御部7の制御によってスピーカ12,13から出力されたテスト音を採取し、後段の定位予測部1及び制御部4によって音場の特性を観測させるための音入力手段である。
図6は、定位予測部1の線形和の演算に用いる予測係数c,a(1)〜a(11)を算出した一例を示す図である。
この予測係数c,a(1)〜a(11)は、マイクロフォンM1〜M11で得られた信号M1〜M11と、そのときの定位角θとの対応関係から、重回帰分析をし、定位予測部1の線形和に用いる予測係数を算出したものである。
図7は、図6に示す予測係数c,a(1)〜a(11)を用いて定位予測部1が予測した結果の一例を示す図である。この図7では、対象者14による主観評価結果としての音像の定位角θを「×」印でプロットしており、定位予測部1による予測結果としての音像の定位角θを「○」印でプロットしている。なお、この図6及び図7の結果は、図4の減衰部18による減衰量が例えば−3dBであると固定されている場合において得られた値である。
図示の例によれば、音像の定位角θは、ディレイ値DLYが0[ms]〜0.6[ms]と大きくなるにつれて大きくなり、0.7[ms]程度をピークとして1.0[ms]にわたり低下するようになる。なお、ディレイ値DLYが0.7[ms]においては、音像の定位角θがほぼ90[°]に近くなっており、音像が真横に配置しているかのような状態となっている。これら主観評価結果としての平均して定位角で2度程度の誤差という高い推定精度を示している。
なお、この予測方式は、対象者14の頭部周辺の音圧分布さえマイクロフォンM1〜N11によって分かればよい。そのため、スピーカ12,13のレイアウトは、図4のような態様に限定されるものではない。また図6の予測係数は、例えば中心周波数1[kHz]であり、かつ、バンド幅が1/3オクターブ幅とした場合における予測結果であるため、中心周波数とバンド幅に応じて予測係数を用意すれば、様々な形態において予測結果を把握することができる。
図8は、定位予測部1によって予測される音像の定位角θを調整する手順の一例を示すフローチャートである。つまり、このフローチャートは、定位予測部1によって予測される音像の定位角θを所望の値に近似させるための手順例を表している。
まずステップS1では、制御部4が、音像定位制御部7に引き渡すパラメータの初期化をする。具体的には、この制御部4がカウンタiを1にセットし、ターゲットとする音像の目標定位角d_θ_fcを、例えば80度と設定する。なお、本実施形態では、図2に示すように仮に対象者14が存在した場合にこの対象者14がスピーカー12,13の中心方向14aを向く向きの定位角θが0度としている。
音像定位制御部7は、制御部4からの制御信号のディレイ値DLYを動かし、DLY_θ_fcの中から最適値を選んでいく。本実施形態では、一例として、音像定位制御部7がディレイ値DLYを0〜5[msec]の範囲で0.1[msec]ごとに動かすこととしている。
次にステップS2では、制御部4が、上述したカウンタに相当するディレイ値DLYをセットする。次にステップS3では、この制御部4がテスト信号生成部6から中心周波数fcのテスト音を再生させるよう制御する。なお本実施形態では、このテスト音を「バンドノイズ」とも呼んでいる。
次にステップS4では、定位予測部1が、テスト信号の再生中に、このテスト音に基づいてマイクロフォンM1〜M11から各々得られた入力信号SM1〜SMN(この例ではN=11)に基づいて音像の定位角θを予測する。
具体的には、まず、積分器21−1〜21−Nは、例えばマイクロフォンM1〜MNから各々入力された複数の音信号SM1〜SM11を時間で積分し、積分信号P1〜P11を対数化演算部22に出力する。この対数化演算部22は、入力された積分信号P1〜P11を各々対数化して音圧レベルdP1〜dP11[dB]を演算し、正規化部23に出力する。
これら正規化部23は、この対数化演算部22によって演算された各音圧レベルdP1〜dP11を正規化する。具体的には、この正規化部23は、これら音圧レベルdP1〜dP11のうちの最小値が0[dB]となるようにその他の音圧レベルを正規化し、各々正規化信号DP1〜DP11として線形和演算部24に出力する。
線形和演算部24は、これら正規化信号DP1〜DP11の線形和を、上述した音信号の周波数帯域ごとに異なる予測係数cを用いて演算する。具体的には、この線形和演算部24は、音信号の周波数帯域ごとに、正規化部33によって正規化された各音圧DP1〜DP11に各々予測係数a(1)〜a(11)を掛け合わせて線形和を算出する。さらにこの線形和演算部24は、この算出結果に定数cを足し合わせ、音像の定位角θを算出する。
次にステップS5では、制御部4が、その定位予測部1によって予測された音像の定位角θと、上述した音像の目標定位角d_θ_fcとの予測誤差Error(i)を算出する。なお、ここではカウンタi=1であるため、制御部4が予測誤差Error(1)を算出することになる。
次にステップS6では、制御部4がカウンタiをインクリメントし、i=i+1とする。次にステップS7では、制御部4が、上述した0〜5[msec]のディレイ値DLYに対応する全ての予測誤差Error(i)が算出し終わるまで、上述したステップS2〜ステップS6の処理を繰り返す。
次にステップS8では、制御部4が、予測誤差Error(i)が最小となるディレイ値DLYを、この中心周波数fcに対応するパラメータdとして出力する。本実施形態では、さらに制御部4が、周波数帯域ごとにこのフローチャートの各手順を実行させることで、その周波数帯域に対応する最適なディレイ値DLYを求めることができる。
上記実施形態における音像定位予測装置1(定位予測部に相当)は、入力された複数の音信号を各々時間で積分するとともに対数化することにより、前記複数の音信号に対応する各音圧を取得する音圧取得手段21−1〜21−N,22(積分器、対数化演算部に相当)と、前記音圧取得手段21−1〜21−Nによって取得された各音圧を正規化する正規化手段23(正規化部に相当)と、前記正規化手段23によって正規化された各音圧の線形和を、前記音信号の周波数帯域ごとに異なる複数の予測係数(a(1)〜a(N)と定数cに相当)を用いて演算する線形和演算手段24(線形和演算部に相当)とを有する。
このようにすると、正規化手段23は、正規化した各音圧によって相対的な音圧傾斜を特定することができるため、線形和演算手段24が、入力された音信号のレベルに依存しないで次のように演算を行うことができる。すなわち線形和演算手段24は、複数の音信号に対応した複数の音圧の線形和を演算し、この相対的な音圧傾斜に対応して複数の音信号により形成される音像の定位方向(上述した音像の定位角θに相当)を特定することができる。
しかも線形和演算手段24は、音信号の周波数帯域ごとに異なる予測係数を用いて演算しているため、音信号の周波数帯域を考慮して正確に音像の定位方向θを特定することができる。従って線形和演算手段24は、音信号の周波数帯域をも考慮した上で、複数の音信号により形成される音像の定位方向θを厳密に予測することができる。
上記実施形態における音像定位予測装置1は、上記構成に加えてさらに、線形和演算部24が、音信号の周波数帯域ごとに、前記正規化手段23によって正規化された各音圧に各前記予測係数a(1)〜a(N)を掛け合わせて線形和を算出する。なお、上記実施形態では、この線形和演算部24が、この算出結果に定数cを足し合わせている。
上記実施形態における音像定位制御システム100(音像定位調整装置に相当)は、テスト信号を発生するテスト信号発生手段6(テスト信号発生部に相当)と、前記テスト信号に基づいて出力されるべき複数のテスト音の相対的な位相差を周波数帯域ごとにシフトさせ、前記複数のテスト音を出力させるように制御する音像定位制御手段7,7a(音像定位制御部に相当)と、前記複数のテスト音に基づいて各々入力された複数の音信号から、前記複数のテスト音の相対的な位相差に応じて形成される音像の定位方向θを周波数帯域ごとに予測する音像定位予測手段1(音像定位予測手段に相当)と、前記音像定位予測手段1によって周波数帯域ごとに予測された音像の定位方向θに応じて、前記音像定位制御手段7,7aを制御し、前記複数のテスト音の相対的な位相差を前記周波数帯域ごとに調整する制御手段4(制御部に相当)とを有する。
このようにすると、制御手段4は、周波数帯域ごとに複数のテスト信号のうちあるテスト信号の位相をシフトさせて、音像定位制御手段7,7aが出力させる複数のテスト音によって形成される音像の定位方向θが所望の定位角となるように調整する。すると制御手段4は、単に複数のテスト音の相対的な位相差を調整するのみならず、周波数帯域ごとにも正確に調整するよう音像定位制御手段7,7aを制御していることになる。このため制御手段4は、このように位相差のみで調整する場合に比べて、その調整後に、複数のテスト音で形成される音源の音色を変化させないようにすることができる。また制御手段4は、人間の聴覚に頼らずに、音像の定位方向θが所望の定位角となるように自動的に調整することができる。また、音像の定位方向と位相(DLY)が周波数帯域ごとに対応付けられているため、音像定位制御部7,7aの設計が容易となる。
上記実施形態における音像定位制御システム100は、上記構成に加えてさらに、前記音像定位予測手段1(定位予測部に相当)は、入力された前記複数の音信号を各々時間で積分するとともに対数化することにより、前記複数の音信号に対応する各音圧を取得する音圧取得手段21−1〜21−N,22(積分器、対数化演算部に相当)と、前記音圧取得手段21−1〜21−Nによって取得された各音圧を正規化する正規化手段23(正規化部に相当)と、前記正規化手段23によって正規化された各音圧の線形和を、前記音信号の周波数帯域ごとに異なる複数の予測係数(a(1)〜a(N),cに相当)を用いて演算する線形和演算手段24(線形和演算部に相当)とを備える。
このようにすると、正規化手段23は、正規化した各音圧によって相対的な音圧傾斜を特定することができるため、線形和演算手段24が、入力された音信号のレベルに依存しないで次のように演算を行うことができる。すなわち線形和演算手段24は、複数の音信号に対応した複数の音圧の線形和を演算し、この相対的な音圧傾斜に対応して複数の音信号により形成される音像の定位方向(上述した音像の定位角θに相当)を特定することができる。
しかも線形和演算手段24は、音信号の周波数帯域ごとに異なる予測係数を用いて演算しているため、音信号の周波数帯域を考慮して正確に音像の定位方向θを特定することができる。従って線形和演算手段24は、音信号の周波数帯域をも考慮した上で、複数の音信号により形成される音像の定位方向θを厳密に予測することができる。
さらに制御手段4は、周波数帯域ごとに複数のテスト信号のうちあるテスト信号の位相をシフトさせて、音像定位制御手段7,7aが出力させる複数のテスト音によって形成される音像の定位方向θが所望の定位角となるように調整する。すると、この制御手段4は、単に複数のテスト音の相対的な位相差を調整するのみならず、周波数帯域ごとにも詳細に調整するよう音像定位制御手段7,7aを制御していることになる。このため制御手段4は、このように位相差のみで調整するため、その調整後に、複数のテスト音で形成される音源の音色を変化させないようにすることができる。また制御手段4は、人間の聴覚に頼らずに、音像の定位方向θが所望の定位角となるように自動的に調整することができる。
上記実施形態における音像定位制御システム100は、上記構成に加えてさらに、線形和演算部24が、音信号の周波数帯域ごとに、前記正規化手段23によって正規化された各音圧に各前記予測係数a(1)〜a(N)を掛け合わせ線形和を算出する。さらに本実施形態では、線形和演算部24が、この算出結果に定数cを足し合わせている。
このようにすると、線形和演算部24が、音信号の周波数帯域ごとに正確に各音圧を演算することができるようになり、各予測係数a(1)〜a(N)を掛け合わせた各音圧の線形和を正確に演算することができる。このため制御手段4は、周波数帯域ごとにも正確に調整した音像定位制御手段7,7aを制御するようになる。この制御手段4は、位相差のみで調整するため、その調整後に、複数のテスト音で形成される音源の音色を変化させないようにすることができる。また制御手段4は、人間の聴覚に頼らずに、より正確に、音像の定位方向θが所望の定位角となるように自動的に調整することができる。
上記実施形態における音像定位制御システム100は、前記複数の音信号を各々入力するための複数の音入力手段M1〜MN(マイクロフォンに相当)は、仮に対象者が存在していると想定した場合における前記対象者の両耳の配列方向に沿って配列している。
このようにすると、対象者の両耳の配列方向に沿った線における音圧傾斜が音像定位の重要な鍵になるため、音入力手段M1〜MNの数を最小にすることができる。
上記実施形態における音像定位予測方法は、入力された複数の音信号を各々時間で積分するとともに対数化することにより、前記複数の音信号に対応する各音圧を取得する音圧取得ステップと、前記音圧取得ステップによって取得された各音圧を正規化する正規化ステップと、前記正規化ステップによって正規化された各音圧の線形和を、前記音信号の周波数帯域ごとに異なる複数の予測係数(a(1)〜a(N),cに相当)を用いて演算する線形和演算ステップとを有する。
このようにすると、正規化ステップでは、正規化した各音圧によって相対的な音圧傾斜を特定することができるため、線形和演算ステップでは、入力された音信号のレベルに依存しないで次のように演算を行うことができる。すなわち線形和演算ステップでは、複数の音信号に対応した複数の音圧の線形和を演算し、この相対的な音圧傾斜に対応して複数の音信号により形成される音像の定位方向(上述した音像の定位角θに相当)を特定することができる。
しかも線形和演算ステップでは、音信号の周波数帯域ごとに異なる複数の予測係数を用いて演算しているため、音信号の周波数帯域を考慮して正確に音像の定位方向θを特定することができる。従って線形和演算ステップでは、音信号の周波数帯域をも考慮した上で、複数の音信号により形成される音像の定位方向θを厳密に予測することができる。
上記実施形態における音像定位制御方法は、テスト信号を発生するテスト信号発生ステップと、前記テスト信号に基づいて出力されるべき複数のテスト音の相対的な位相差を周波数帯域ごとにシフトさせ、前記複数のテスト音を出力させる制御を行う音像定位制御ステップと、前記複数のテスト音に基づいて各々入力された複数の音信号から、前記複数のテスト音の相対的な位相差に応じて形成される音像の定位方向を周波数帯域ごとに予測する音像定位予測ステップと、前記音像定位予測ステップによって周波数帯域ごとに予測された音像の定位方向に応じて、前記音像定位制御ステップによる前記複数のテスト音の相対的な位相差を前記周波数帯域ごとに調整する制御ステップとを有する。
このようにすると、制御ステップでは、周波数帯域ごとに複数のテスト信号のうちあるテスト信号の位相をシフトさせて、音像定位制御ステップで出力させる複数のテスト音によって形成される音像の定位方向θが所望の定位角となるように調整する。すると制御ステップでは、単に複数のテスト音の相対的な位相差を調整するのみならず、周波数帯域ごとにも正確に調整するように音像定位制御ステップを制御していることになる。このため制御ステップでは、このように位相差のみで調整するため、その調整後に、複数のテスト音で形成される音源の音色を変化させないようにすることができる。また制御ステップでは、人間の聴覚に頼らずに、音像の定位方向θが所望の定位角となるように自動的に調整することができる。
<第2実施形態>
図9は、第2実施形態における音像定位制御システム100aの音像定位制御部7aの電気的な構成例を示すブロック図である。なお図2においては、説明の都合上、音像定位制御部7に含まれないスピーカ12,13を図示している。また、図2においては、音像の定位角θを説明するため、上述したマイクロフォンM1〜MNの代わりに対象者14が図示されている。
第2実施形態における音像定位制御システム100aは、第1実施形態とほぼ同様の構成でありほぼ同様の動作である。このため第2実施形態では、同一の構成及び動作については第1実施形態における図1乃至図8と同一の符号を用いるとともに、その説明を省略し、以下の説明では異なる点を中心として説明する。
音像定位制御システム100aは、第1実施形態とは音像定位制御部7aの構成が異なっている。具体的には、この音像定位制御部7aは、第1実施形態における音像定位制御部7の構成に加えてさらに減衰部15を備えている。第2実施形態では、この音像定位制御部7aが、第1実施形態のように遅延部11によって複数の音信号の相対的な位相差を発生させるとともに、減衰器15によって複数の音信号の相対的な減衰量差を制御している。
この減衰部15は、入力されたテスト信号SLを分岐した一方のテスト信号SLに一定の係数att(アッテネーション)を掛け合わせて、この一方のテスト信号SLと他方のテスト信号SLとに相対的に減衰量の差を生じさせる機能を有する。この減衰部15は、このように減衰させた一方のテスト信号SLを遅延部11に出力する。
図10は、第2実施形態における音像の定位制御例実験に用いたスピーカ12,13のレイアウト例を示している。なお、図10における実験例では、図4とほぼ同様の条件にて実験を行っている。
この音像定位制御部7aへの入力としては、例えば中心周波数1kHzのバンドノイズ(1/3オクターブ幅)を採用している。この音像定位制御部7aは、右スピーカ13からは減衰量差attをかけるディレイ値DLYをかけた信号成分を出力させ、左スピーカ13からはディレイをかけない信号成分を出力させる。
このような実験結果の一例によれば、音像定位制御部7aは、位相のみならず減衰量によっても制御することができるため、より正確に音像の定位方向を調整することができる。
上記実施形態における音像定位制御システム100aは、上記第1実施形態の各構成に加えてさらに、前記音像定位制御手段7(音像定位制御部に相当)は、前記複数のテスト音の相対的な減衰量(att)の差を発生させる減衰手段15(減衰器)を備える。
このようにすると、(音色は多少変化するものの、)無駄なく精度の高い音像の定位方向の調整を行うことができる。
なお、本実施形態は、上記に限られず、種々の変形が可能である。以下、そのような変形例を順を追って説明する。
上述した定位予測部1(音像定位予測装置)は、第1実施形態又は第2実施形態に示すような音像定位制御システム100,100aのみならず、この定位予測部1を、認識すべき音声で生じる音像の定位角θを予測することに応用するようにしてもよい。
上述した第2実施形態では、この音像定位制御部7aが、第1実施形態のように複数の音信号の相対的な位相差を制御するとともに、減衰器15によって複数の音信号の相対的な減衰量を制御しているが、その代わりに、第1実施形態のように複数の音信号の相対的な位相差を制御する代わりに、減衰器15によって複数の音信号の相対的な減衰量を制御するようにしてもよい。
本実施形態としての音像定位部を内蔵する音像定位調整装置のハードウェア構成例を示すブロック図である。 図1に示す音像定位制御部の電気的な構成例を示すブロック図である。 図1に示す定位予測部の具体的な構成例を示すブロック図である。 第1実施形態における実験に用いた音像の定位制御におけるスピーカのレイアウト例を示している。 図4に示すレイアウト例における各マイクロフォンの配置例を示す図である。 定位予測部の線形和の演算に用いる予測係数を算出した一例を示す図である。 図6に示す予測係数を用いて定位予測部が予測した結果の一例を示す図である。 定位予測部によって予測される音像の定位角を調整する手順の一例を示すフローチャートである。 第2実施形態における音像定位制御システムの音像定位制御部の電気的な構成例を示すブロック図である。 第2実施形態における実験に用いた音像の定位制御におけるスピーカのレイアウト例を示している。
1 定位予測部(音像定位予測装置、音像定位予測手段に相当)
4 制御部(制御手段に相当)
6 テスト信号生成部(テスト信号発生手段に相当)
7 音像定位制御部(音像定位制御手段に相当)
7a 音像定位制御部(音像定位制御手段に相当)
12 スピーカー(音出力手段に相当)
13 スピーカー(音出力手段に相当)
21−1〜21−N 積分器(音圧取得手段に相当)
22 対数化演算部(音圧取得手段に相当)
23 正規化部(正規化手段に相当)
24 線形和演算部(線形和演算手段に相当)
100 音像定位調整装置(音像定位制御システムに相当)
100a 音像定位調整装置(音像定位制御システムに相当)

Claims (9)

  1. 入力された複数の音信号を各々時間で積分するとともに対数化することにより、前記複数の音信号に対応する各音圧を取得する音圧取得手段と、
    前記音圧取得手段によって取得された各音圧を正規化する正規化手段と、
    記音信号の周波数帯域ごとに異なるように予め定められた複数の予測係数を用いて、前記正規化手段によって正規化された各音圧の線形和を演算し、その線形和により音像の定位角を算出する線形和演算手段と
    を有することを特徴とする音像定位予測装置。
  2. 請求項1記載の音像定位予測装置において、
    前記予測係数は、
    実験において発生させた音に対応して入力された複数の音信号と、当該発生させた音に対し被験者が主観にて評価した定位角との対応関係を、重回帰分析することにより算出されている
    ことを特徴とする音像定位予測装置。
  3. テスト信号を発生するテスト信号発生手段と、
    前記テスト信号に基づいて出力されるべき複数のテスト音の相対的な位相差を周波数帯域ごとにシフトさせ、前記複数のテスト音を出力させる制御を行う音像定位制御手段と、
    前記複数のテスト音に基づいて各々入力された複数の音信号から、前記複数のテスト音の相対的な位相差に応じて形成される音像の定位方向を周波数帯域ごとに予測する音像定位予測手段と、
    前記音像定位予測手段によって周波数帯域ごとに予測された音像の定位方向に応じて、前記音像定位制御手段を制御し、前記複数のテスト音の相対的な位相差を前記周波数帯域ごとに調整する制御手段と
    を有することを特徴とする音像定位制御システム。
  4. 請求項3記載の音像定位制御システムにおいて、
    前記音像定位予測手段は、
    入力された前記複数の音信号を各々時間で積分するとともに対数化することにより、前記複数の音信号に対応する各音圧を取得する音圧取得手段と、
    前記音圧取得手段によって取得された各音圧を正規化する正規化手段と、
    記音信号の周波数帯域ごとに異なるように予め定められた複数の予測係数を用いて、前記正規化手段によって正規化された各音圧の線形和を演算し、その線形和により音像の定位角を算出する線形和演算手段と
    を備えることを特徴とする音像定位制御システム。
  5. 請求項4記載の音像定位制御システムにおいて、
    前記予測係数は、
    実験において発生させた音に対応して入力された複数の音信号と、当該発生させた音に対し被験者が主観にて評価した定位角との対応関係を、重回帰分析することにより算出されている
    ことを特徴とする音像定位制御システム。
  6. 請求項3乃至請求項5のいずれか記載の音像定位制御システムにおいて、
    前記音像定位制御手段は、
    前記複数のテスト音の相対的な減衰量の差を発生させる減衰手段を備えることを特徴とする音像定位制御システム。
  7. 請求項3乃至請求項5のいずれか記載の音像定位制御システムにおいて、
    前記複数の音信号を各々入力するための複数の音入力手段をさらに有し、
    前記複数の音入力手段は、仮に対象者が存在していると想定した場合における前記対象者の両耳の配列方向に沿って配列していることを特徴とする音像定位制御システム。
  8. 入力された複数の音信号を各々時間で積分するとともに対数化することにより、前記複数の音信号に対応する各音圧を取得する音圧取得ステップと、
    前記音圧取得ステップによって取得された各音圧を正規化する正規化ステップと、
    記音信号の周波数帯域ごとに異なるように予め定められた複数の予測係数を用いて、前記正規化ステップによって正規化された各音圧の線形和を演算し、その線形和により音像の定位角を算出する線形和演算ステップと
    を有することを特徴とする音像定位予測方法。
  9. テスト信号を発生するテスト信号発生ステップと、
    前記テスト信号に基づいて出力されるべき複数のテスト音の相対的な位相差を周波数帯域ごとにシフトさせ、前記複数のテスト音を出力させる制御を行う音像定位制御ステップと、
    前記複数のテスト音に基づいて各々入力された複数の音信号から、前記複数のテスト音の相対的な位相差に応じて形成される音像の定位方向を周波数帯域ごとに予測する音像定位予測ステップと、
    前記音像定位予測ステップによって周波数帯域ごとに予測された音像の定位方向に応じて、前記音像定位制御ステップによる前記複数のテスト音の相対的な位相差を前記周波数帯域ごとに調整する制御ステップと
    を有することを特徴とする音像定位制御方法。
JP2009528897A 2007-08-20 2007-08-20 音像定位予測装置及び音像定位制御システム並びに音像定位予測方法及び音像定位制御方法 Expired - Fee Related JP5031840B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/066112 WO2009025023A1 (ja) 2007-08-20 2007-08-20 音像定位予測装置及び音像定位制御システム並びに音像定位予測方法及び音像定位制御方法

Publications (2)

Publication Number Publication Date
JPWO2009025023A1 JPWO2009025023A1 (ja) 2010-11-18
JP5031840B2 true JP5031840B2 (ja) 2012-09-26

Family

ID=40377934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009528897A Expired - Fee Related JP5031840B2 (ja) 2007-08-20 2007-08-20 音像定位予測装置及び音像定位制御システム並びに音像定位予測方法及び音像定位制御方法

Country Status (3)

Country Link
US (1) US20110268285A1 (ja)
JP (1) JP5031840B2 (ja)
WO (1) WO2009025023A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10107893B2 (en) * 2011-08-05 2018-10-23 TrackThings LLC Apparatus and method to automatically set a master-slave monitoring system
JP2020036113A (ja) * 2018-08-28 2020-03-05 シャープ株式会社 音響システム
CN110166927B (zh) * 2019-05-13 2020-05-12 武汉大学 一种基于定位修正的虚拟声像重建方法
KR102304815B1 (ko) * 2020-01-06 2021-09-23 엘지전자 주식회사 오디오 장치 및 그의 동작방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116957A (ja) * 1994-10-18 1996-05-14 Kokuka Inriyou Kk 炭酸水で割って飲むリキュールの製法
JP2004325284A (ja) * 2003-04-25 2004-11-18 Kumamoto Technology & Industry Foundation 音源方向を推定する方法、そのためのシステム、および複数の音源の分離方法、そのためのシステム
JP2005080124A (ja) * 2003-09-02 2005-03-24 Japan Science & Technology Agency リアルタイム音響再現システム
JP2005244293A (ja) * 2004-02-24 2005-09-08 Yamaha Corp ステレオ信号の特性表示装置
WO2006004048A1 (ja) * 2004-07-06 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ信号符号化装置、オーディオ信号復号化装置、方法、及びプログラム
JP2007201818A (ja) * 2006-01-26 2007-08-09 Sony Corp オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5172597A (en) * 1990-11-14 1992-12-22 General Electric Company Method and application for measuring sound power emitted by a source in a background of ambient noise
US5982903A (en) * 1995-09-26 1999-11-09 Nippon Telegraph And Telephone Corporation Method for construction of transfer function table for virtual sound localization, memory with the transfer function table recorded therein, and acoustic signal editing scheme using the transfer function table
JP2003230198A (ja) * 2002-02-01 2003-08-15 Matsushita Electric Ind Co Ltd 音像定位制御装置
US20070160242A1 (en) * 2006-01-12 2007-07-12 Phonak Ag Method to adjust a hearing system, method to operate the hearing system and a hearing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116957A (ja) * 1994-10-18 1996-05-14 Kokuka Inriyou Kk 炭酸水で割って飲むリキュールの製法
JP2004325284A (ja) * 2003-04-25 2004-11-18 Kumamoto Technology & Industry Foundation 音源方向を推定する方法、そのためのシステム、および複数の音源の分離方法、そのためのシステム
JP2005080124A (ja) * 2003-09-02 2005-03-24 Japan Science & Technology Agency リアルタイム音響再現システム
JP2005244293A (ja) * 2004-02-24 2005-09-08 Yamaha Corp ステレオ信号の特性表示装置
WO2006004048A1 (ja) * 2004-07-06 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ信号符号化装置、オーディオ信号復号化装置、方法、及びプログラム
JP2007201818A (ja) * 2006-01-26 2007-08-09 Sony Corp オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム

Also Published As

Publication number Publication date
WO2009025023A1 (ja) 2009-02-26
US20110268285A1 (en) 2011-11-03
JPWO2009025023A1 (ja) 2010-11-18

Similar Documents

Publication Publication Date Title
CN104254049B (zh) 头戴式耳机响应测量和均衡
JP4965707B2 (ja) 音識別方法および装置
JP6104629B2 (ja) ダイナミックサウンド提供システム及び方法
KR101500254B1 (ko) 잔향의 지각 레벨에 대한 측정을 결정하는 장치, 방법 및 컴퓨터로 읽을 수 있는 저장 매체와, 직접 신호 성분으로부터 혼합 신호를 생성하기 위한 오디오 프로세서, 오디오 신호를 처리하는 방법 및 컴퓨터로 읽을 수 있는 저장 매체
JP5284360B2 (ja) 周囲信号を抽出するための重み付け係数を取得する装置および方法における周囲信号を抽出する装置および方法、並びに、コンピュータプログラム
US20170127206A1 (en) Sound level estimation
JP2013527491A (ja) オーディオ再生のための適応的環境ノイズ補償
JP6821699B2 (ja) アクティブモニタリングヘッドホンとそれの反転を正則化する方法
JP2006005902A (ja) 増幅装置及び振幅周波数特性調整方法
WO2006004099A1 (ja) 残響調整装置、残響補正方法、および、音響再生システム
CN105284133B (zh) 基于信号下混比进行中心信号缩放和立体声增强的设备和方法
JP2007043295A (ja) 増幅装置及び振幅周波数特性調整方法
KR20120080593A (ko) 청각 검사 및 보정 방법
US6956955B1 (en) Speech-based auditory distance display
JP2011215211A (ja) 音質評価装置およびそのためのプログラム
JP5031840B2 (ja) 音像定位予測装置及び音像定位制御システム並びに音像定位予測方法及び音像定位制御方法
US20230079741A1 (en) Automated audio tuning launch procedure and report
JPWO2007007695A1 (ja) オーディオシステム
SE2150611A1 (en) Voice optimization in noisy environments
US20050053246A1 (en) Automatic sound field correction apparatus and computer program therefor
US20230199419A1 (en) System, apparatus, and method for multi-dimensional adaptive microphone-loudspeaker array sets for room correction and equalization
US20230146772A1 (en) Automated audio tuning and compensation procedure
KR20150107699A (ko) 잔향음을 이용하여 공간을 인지하고 고유의 엔빌로프를 비교하여 음향을 보정하는 장치 및 방법
JP4522509B2 (ja) オーディオ装置
JP2008011342A (ja) 音響特性測定装置および音響装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120627

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees