JP5493611B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP5493611B2
JP5493611B2 JP2009207985A JP2009207985A JP5493611B2 JP 5493611 B2 JP5493611 B2 JP 5493611B2 JP 2009207985 A JP2009207985 A JP 2009207985A JP 2009207985 A JP2009207985 A JP 2009207985A JP 5493611 B2 JP5493611 B2 JP 5493611B2
Authority
JP
Japan
Prior art keywords
sound
audio signal
processing
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009207985A
Other languages
English (en)
Other versions
JP2011061422A5 (ja
JP2011061422A (ja
Inventor
秀一 千原
怡君 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009207985A priority Critical patent/JP5493611B2/ja
Priority to CN 201010271379 priority patent/CN102024457B/zh
Priority to US12/875,761 priority patent/US8848941B2/en
Publication of JP2011061422A publication Critical patent/JP2011061422A/ja
Publication of JP2011061422A5 publication Critical patent/JP2011061422A5/ja
Application granted granted Critical
Publication of JP5493611B2 publication Critical patent/JP5493611B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03Synergistic effects of band splitting and sub-band processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/008Visual indication of individual signal levels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
VoIP(Voice over Internet Protocol)を用いたIP電話システム、会議システム等の音声処理システムでは、遠隔地に送信する送信音声の入力にビームフォーミングが用いられる場合がある。この場合、ビームフォーミングに対応するマイクアレイを用いて、特定方向からの音声が送信音声として選択的に入力される。これにより、発話者および発話者と同一線上にある音源の音声(以下、特定音声とも称する。)を維持する一方で、環境音(ノイズ)である不特定音源の音声(以下、不特定音声とも称する。)を弱めることで、送信音声を良好な状態で入力することができる。
特開平06−233388号公報
ビームフォーミングでは、マイクアレイの各マイクにより収音された音声が音声間の位相差、音量差等に基づいて処理される。このため、送信音声の品質は、各マイク間の感度バランスの差、各マイクの感度自体のバラツキ、入力音声の周波数範囲等、各種の処理パラメータの影響を受ける。
しかし、従来、処理パラメータの変更には回路的な調整等が要求されるため、ユーザーは、使用環境に応じて処理パラメータを設定して、送信音声の品質を向上させることが困難であった。
そこで、本発明は、ビームフォーミングを用いて入力される送信音声の品質を向上可能な、情報処理装置、情報処理方法およびプログラムを提供しようとするものである。
本発明のある実施形態によれば、少なくとも一対で設けられ、外部の音声を収音して音声信号に変換する収音部と、少なくともユーザーの指示に応じて、少なくとも収音部の感度を規定する処理パラメータを設定するパラメータ設定部と、処理パラメータに基づいて、収音部から入力される音声信号にビームフォーミング処理を含む処理を施す音声信号処理部と、を備える情報処理装置が提供される。
かかる構成によれば、少なくとも一対で設けられる収音部により収音された外部の音声信号に、少なくとも収音部の感度を規定し、少なくともユーザーの指示に応じて設定された処理パラメータに基づいて、ビームフォーミング処理を含む音声処理が施される。これにより、使用環境に応じて、少なくとも収音部の感度を規定する処理パラメータを設定することで、特定音声が良好な状態で選択的に入力可能となり、送信音声の品質を向上させることができる。
また、本発明の別の実施形態によれば、少なくともユーザーの指示に応じて、音声信号の処理条件を規定する処理パラメータを設定するステップと、少なくとも一対で設けられる収音部から入力される外部の音声信号に、処理パラメータに基づいて、ビームフォーミング処理を含む音声処理を施すステップと、を含む情報処理方法が提供される。
また、本発明の別の実施形態によれば、上記情報処理方法をコンピュータに実行させるためのプログラムが提供される。プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段を介して提供されてもよい。
本発明によれば、ビームフォーミングを用いて入力される送信音声の品質を向上可能な、情報処理装置、情報処理方法およびプログラムを提供することができる。
ビームフォーミングの原理を示す図である。 ビームフォーミングに用いられる音声間の位相差の算定方法を示す図である。 情報処理装置の主要なハードウェア構成例を示す図である。 音声信号処理部の主要な機能構成を示す図である。 処理パラメータ設定用の設定パネルを示す図である。 感度バランス調整の設定処理を説明する図(1/2)である。 感度バランス調整の設定処理を説明する図(2/2)である。 感度調整の設定処理を説明する図(1/2)である。 感度調整の設定処理を説明する図(2/2)である。 感度調整補正の設定処理を説明する図(1/2)である。 感度調整補正の設定処理を説明する図(2/2)である。 周波数調整の設定処理を説明する図である。 特定音源の追跡処理を説明する図(1/2)である。 特定音源の追跡処理を説明する図(2/2)である。 処理パラメータの遠隔設定処理を説明する図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[1.ビームフォーミング]
まず、図1および図2を参照しながら、ビームフォーミングの原理について説明する。図1は、ビームフォーミングの原理を示す図である。図2は、ビームフォーミングに用いられる音声間の位相差Δθの算定方法を示す図である。
図1には、発話者Uが装着するヘッドホンHPの左右ユニットに、マイクアレイを構成する一対の無指向性マイクM1、M2を設ける場合が示されている。なお、マイクM1、M2は、ヘッドホンHPに限定されず、ヘッドバンドの左右ユニット、帽子の左右等に設けられてもよく、2以上で設けられてもよい。
発話者UがヘッドホンHPを装着した状態で発話すると、マイクM1、M2から略等距離に位置する発話者Uの口元を特定音源Ssとして、発話者Uの音声(特定音声Vs)がマイクM1、M2により略同時に、略同音量かつ略同位相で収音される。一方、ノイズ等の環境音(不特定音声Vn)は、概してマイクM1、M2から異なる距離に位置する不特定音源Snから発せられるので、マイクM1、M2により異なる時点、異なる音量かつ異なる位相で収音される。特に、ヘッドホンHPにマイクM1、M2を設ける場合、発話者Uが動作等しても、マイクM1、M2から略等距離の位置に特定音源Ssが位置しているので、特定音声Vsと不特定音声Vnを容易に判別することができる。
ここで、マイクM1、M2により収音される音声V間の位相差Δθは、図2を用いて算定される。音源SとマイクM1、M2の距離SM1、SM2が次式により得られる。
SM1=√((L・tanα+d)+L
SM2=√((L・tanα−d)+L
d:マイクM1、M2間の距離の1/2
L:音源Sとマイクアレイ間の垂直距離
α:音源Sとマイクアレイ中心との角度
よって、マイクM1、M2の音声V間の位相差Δθが次式により得られる。
Δθ=2πf・(SM1−SM2)/c
c:音速(342m/s)
f:音声の周波数(Hz)
ビームフォーミングでは、マイクM1、M2により収音される音声Vの位相差Δθ等に基づいて、特定音声Vsを維持する一方で、不特定音声Vnを弱めることで、特定音声Vsを送信音声として選択的に入力することができる。
マイクM1、M2により収音される音声Vは、音声Vの位相差Δθを閾値θtと比較することで、特定音声Vsまたは不特定音声Vnとして判別される。例えばd=5cm、L=100cm、f=800Hzの場合、位相差Δθ=42°を閾値θtとして、閾値θt未満の音声Vが特定音声Vsとして、閾値θt以上の音声Vが不特定音声Vnとして判別される。ここで、判別に用いる閾値θtは、d、L等の条件に応じて異なる値となる。なお、閾値θtは、絶対値が同一の正値/負値として定義されるが、以下では、|Δθ|<θtを閾値θt未満、θt≦|Δθ|を閾値θt以上と各々に称する。
[2.情報処理装置100の構成]
次に、図3および図4を参照しながら、本発明の一実施形態に係る情報処理装置100について説明する。図3は、情報処理装置100の主要なハードウェア構成例を示す図である。図4は、音声信号処理部150の主要な機能構成を示す図である。
図3に示すように、情報処理装置100は、例えば、パーソナルコンピュータ、PDA、ゲーム装置、携帯電話等であるが、以下では、情報処理装置100がパーソナルコンピュータである場合を想定する。
情報処理装置100は、主に、CPU101、ROM103、RAM105、ホストバス107、ブリッジ109、外部バス111、インタフェース113、音声入出力装置115、操作装置117、表示装置119、ストレージ装置121、ドライブ123、接続ポート125、通信装置127を含んで構成される。
CPU101は、演算処理装置および制御装置として機能し、ROM103、RAM105、ストレージ装置121、またはリムーバブル記録媒体129に記録された各種プログラムに従って、情報処理装置100の動作を少なくとも部分的に制御する。CPU101は、少なくともユーザーの指示に応じて、音声信号の処理条件を規定する処理パラメータを設定するパラメータ設定部としても機能する。ROM103は、CPU101が用いるプログラムやパラメータ等を記憶する。RAM105は、CPU101が実行するプログラム、プログラム実行時のパラメータ等を一時記憶する。
CPU101、ROM103、RAM105は、ホストバス107により互いに接続される。ホストバス107は、ブリッジ109を介して外部バス111に接続される。
音声入出力装置115は、ヘッドホンHP、マイク、スピーカ等を含む、音声信号を入出力可能な入出力手段である。音声入出力装置115は、各種フィルタ181、185、A/D変換器183、D/A変換器(不図示)等の前処理部116を含む(図4参照)。特に、本実施形態に係る音声入出力装置115では、ヘッドホンHPの左右ユニットに一対のマイクM1、M2が設けられている。音声入出力装置115は、マイクM1、M2により収音された外部の音声信号を音声信号処理部150に供給し、音声信号処理部150により処理された音声信号をヘッドホンHPに供給する。
操作装置117は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ等、ユーザーが操作可能な操作手段である。操作装置117は、例えば上記の操作手段を用いてユーザーにより入力された操作情報に基づいて入力信号を生成し、CPU101に出力する入力制御回路等を含んで構成される。ユーザーは、操作装置117の操作を介して、情報処理装置100に対して各種のデータを入力し、処理動作を指示する。
表示装置119は、例えば、液晶ディスプレイ等の表示手段である。表示装置119は、情報処理装置100の処理結果を出力する。例えば、表示装置119は、後述する各種パラメータ設定用の設定パネルCPを含む情報処理装置100による処理結果を、テキスト情報または画像情報として表示する。
ストレージ装置121は、データ格納用の装置であり、例えば、HDD等の磁気記憶デバイス等を含む。ストレージ装置121は、CPU101が実行するプログラム、各種データ、外部から取得された各種データ等を格納する。
ドライブ123は、記録媒体用リーダライタであり、情報処理装置100に内蔵または外付けされる。ドライブ123は、装着される磁気ディスク等のリムーバブル記録媒体129に対して、記録済みデータを読出してRAM105に出力し、記録対象のデータを書き込む。
接続ポート125は、例えば、USBポート等、外部機器131を情報処理装置100に直接接続するためのポートである。情報処理装置100は、接続ポート125に接続された外部機器131に対して、接続ポート125を介してデータを取得し、データを提供する。
通信装置127は、通信網Nに接続するための通信デバイス等から構成される通信インタフェース113である。通信装置127は、例えば、有線または無線LAN用の通信カード等である。通信装置127に接続される通信網Nは、有線または無線により接続されたネットワーク等により構成される。
[3.音声信号処理部150の構成]
図4に示すように、情報処理装置100は、マイクM1、M2の音声信号を処理する音声信号処理部150を含む。音声信号処理部150は、ハードウェア、ソフトウェア、または両者の組合せにより実現される。なお、図4には、本発明に関係する音声入力処理を行うための構成のみが示されている。
音声信号処理部150は、マイクM1、M2の入力系統毎に、感度調整部151、感度調整補正部153、および周波数調整部155を含む。また、音声信号処理部150は、マイクM1、M2の入力系統の後段に、時間差分析部157、周波数分析部159、位相差分析部161、ビームフォーミング処理部163(BF処理部163とも称する。)、ノイズ生成部165、ノイズ除去部167、および加算器169を含む。なお、ノイズ除去処理を行わない場合、ノイズ生成部165、ノイズ除去部167、および加算器169が省略されてもよい。
マイクM1、M2は、外部の音声を収音してアナログの音声信号に変換し、前処理部116に供給する。前処理部116では、マイクM1、M2の音声信号がフィルタ181に入力される。フィルタ181は、音声信号に含まれる所定の信号成分をフィルタリングし、A/D変換器183に供給する。A/D変換器183は、フィルタリング後の音声信号をデジタルの音声信号(音声データ)にPCM変換し、音声信号処理部150に供給する。
音声信号処理部150では、マイクM1、M2の入力系統毎に、感度調整部151、感度調整補正部153、および周波数調整部155による信号処理が施され、時間差分析部157および周波数分析部159に供給される。なお、感度調整部151、感度調整補正部153、および周波数調整部155による信号処理の詳細については、後述する。
時間差分析部157は、各入力系統から供給される音声信号に基づいて、各マイクM1、M2に到達する音声の時間差を分析する。音声の到達時間差は、各マイクM1、M2の音声信号の時系列を対象として、例えば、位相変化、レベル変化等に基づく相互相関分析を行うことで分析される。
周波数分析部159は、各入力系統から供給される音声信号に基づいて、音声信号の周波数を分析する。周波数分析では、FFT(高速フーリエ変換)等を用いて音声信号の時系列を様々な周期・振幅のサイン波信号に分解し、音声信号の周波数スペクトルを分析する。
位相差分析部161は、時間差分析および周波数分析の結果に基づいて、各マイクM1、M2により収音された音声間の位相差Δθを分析する。位相差分析では、周波数成分毎に音声の位相差Δθが分析される。位相差分析により、周波数成分毎の位相差Δθを所定の閾値θtと比較し、閾値θt以上の周波数成分をノイズ成分(不特定音声Vn)として判別することができる。
BF処理部163は、位相差分析の結果に基づいて、各入力系統から供給される音声信号にビームフォーミング処理を施して加算器169に供給する。ビームフォーミング処理では、各マイクM1、M2により収音された音声間の位相差Δθが閾値θt未満である場合に、信号レベルが維持され、閾値θt以上である場合に、信号レベルが減少される。
これにより、特定音声Vsは、マイクM1、M2から略等距離の位置を音源Ssとしており、位相差Δθが小さいので、信号レベルが維持される。一方、不特定音声Vnは、概してマイクM1、M2から異なる距離の位置を音源Snとしており、位相差Δθが大きいので、信号レベルが減少される。
ノイズ生成部165は、位相差分析の結果に基づいて、マイクM1、M2により収音された音声に含まれるノイズ(不特定音声Vn)を表すノイズ信号を生成する。
ノイズ除去部167は、不特定音声Vnに相当する信号成分を除去するために、ノイズ信号の反転により表される信号を生成して加算器169に供給する。ここで、ノイズ除去部167は、加算処理後の音声信号をフィードバックされ、フィードバック信号にノイズ信号を適応させる。
加算器169は、BF処理部163から供給される音声信号とノイズ除去部167から供給される信号を合算してフィルタ185に供給する。これにより、BF処理後の音声信号からノイズ成分が除去され、特定音声がさらに選択的に入力されるようになる。合算後の音声信号は、後段のフィルタ185を介して送信音声として入力され、通信装置127により通信網Nを介して不図示の再生装置100´に送信されて再生される。
[4.処理パラメータの設定処理]
次に、図5〜図11を参照しながら、処理パラメータの設定処理について説明する。図5は、処理パラメータ設定用の設定パネルCPを示す図である。図6A、6Bおよび図7A、7Bは、感度バランス調整および感度調整の設定処理を各々に説明する図である。図8A、8Bおよび図9は、感度調整補正および周波数調整の設定処理を各々に説明する図である。図10A、10Bおよび図11は、特定音源Ssの追跡処理、および処理パラメータの遠隔設定処理を各々に説明する図である。
処理パラメータの設定に際して、CPU101は、プログラムの実行により図5に示すような設定パネルCPを表示装置119に表示させる。設定パネルCPには、感度バランス調整、感度調整、感度調整補正、周波数調整の各パラメータを設定するためのスライダC1、C2、C3、C4が表示されている。また、設定パネルCPには、音源追跡処理、遠隔設定処理の有効/無効を切替えるためのスイッチC5、C6とともに、レベルメータLMが表示されている。なお、設定パネルCPに表示される操作用アイコンは、スライダ、スイッチ以外のアイコンでもよい。
感度バランス調整用のスライダC1では、ノブI1の操作によりパラメータが設定される。感度調整、感度調整補正、周波数調整用のスライダC2、C3、C4では、ノブI21、I22、I31、I32、I41、I42、I43、I44の操作により、マイクM1、M2毎にパラメータが設定される。なお、感度調整、感度調整補正、周波数調整用のスライダC2、C3、C4は、マイクM1、M2毎に設けられる代わりに、マイクM1、M2に共通して設けられてもよい。レベルメータLMには、マイクM1、M2毎に特定音声Vsおよび不特定音声Vnの信号レベルL1〜L4が表示される。
発話者Uは、所定の操作により設定パネルCPを表示させ、設定パネルCP上でスライダC1〜C4およびスイッチC5、C6を操作して、各パラメータおよびモードを設定することができる。
[4−1.感度バランス調整処理]
感度調整部151は、感度バランス調整パラメータに基づいて、マイクM1、M2の信号間のレベルバランスを変化させて、マイクM1、M2間の感度バランスを調整する。
装着用のマイクM1、M2の感度には、製造条件により、+/−3dB程度のバラツキが生じることが知られている。例えば、音量差のパラメータを用いて音源位置の特定精度を向上させるアルゴリズムを適用する場合等を想定する。この場合、マイクM1、M2に感度差が存在すると、収音される音声の音量に差が生じ、発話者Uの正面に位置する音源の音声が発話者Uの正面からずれて位置する音源の音声として収音されてしまう。また、同一感度のマイクM1、M2を用いることも考えられるが、マイク部品の製造歩留まりが低下し、コスト増加の要因となってしまう。
例えば、図6Aに示すように、マイクM1の感度がマイクM2よりも高い場合、マイクM1の信号レベルが相対的に高くなる。よって、例えば、発話者Uの正面に位置する音源Ssの特定音声Vsは、マイクM1の側に位置する音源Ss´の音声Vs´として収音されてしまう。そして、特定音源Ssの音声は、受話者U´により音源Ss´の音声Vs´として聴取されてしまう。
この場合、図6Bに示すように、感度バランス調整用スライダC1を用いて、マイクM1、M2の信号間のレベルバランスがマイクM2の側にシフトするように、感度バランス調整パラメータが設定される。ここで、レベルバランスのシフトは、マイクM2の信号レベルの増加、マイクM1の信号レベルの減少、または(例えばマイクM1、M2の信号レベルの合計が調整前後で変化しないような)両者の組合せにより実現される。例えばマイクM2の信号レベルを増加する場合、マイクM2の信号レベルに所定の増加率が乗算され、マイクM1、M2間で信号レベル差が低減される。これにより、感度バランスのバラツキ等に拘らずに、特定音源Ssの音声を発話者Uの正面に位置する音源の音声として入力することができる。
[4−2.感度調整処理]
また、感度調整部151は、感度調整パラメータに基づいて、マイクM1、M2の信号レベルを変化させて、マイクM1、M2の感度を調整する。マイクの感度を上げると、マイクから離れた音源の音声が入力可能となるが、不特定音声Vnも入力され易くなる。一方、マイクの感度を下げると、マイクに近い音源の音声のみが入力可能となり、特定音声Vsを選択的に入力し易くなる。
また、感度調整では、特定音声Vsおよび不特定音声Vnについて、信号レベルをリアルタイムに表示するレベルメータLMが利用される。レベルメータLMは、周波数分析された信号レベルをリアルタイムに表示することで実現される。一般に、送信音声が受話者U´の側でしか再生されないので、発話者Uは、感度調整の結果を容易に確認することができない。しかし、レベルメータLMを用いることで、特定音声Vsと不特定音声Vnの入力状況が確認可能となり、感度調整を容易に行うことができる。
図7Aに示す例では、マイクM1、M2の感度が高いので、特定音声Vsとともに、不特定音声Vnが相当程度で入力されている。ここで、発話者Uは、レベルメータLMを通じて音声の入力状況(L1、L3:Vsの入力状況、L2、L4:Vnの入力状況)を確認することができる。
この場合、図7Bに示すように、感度調整用スライダC2を用いて、マイクM1、M2の感度を低下させるように、感度調整パラメータが設定される(なお、図7A、7B中では、マイクM1のスライダのみが示されている。)。そして、マイクM1、M2の信号レベルに、感度調整パラメータの設定に応じて所定の低減率が乗算され、マイクM1、M2の信号レベルが低減される。ここで、発話者Uは、レベルメータLMを通じて音声の入力状況を確認しながら、感度調整を適切に行うことで、特定音声Vsを良好な状態で選択的に入力することができる。
[4−3.感度調整補正処理]
感度調整補正部153は、感度調整補正パラメータに基づいて、マイクM1、M2の感度調整を補正する。ここで、感度調整補正パラメータは、信号レベルが継続して所定の閾値Lt未満である場合に、音声信号の入力を中止するまでの継続時間ttを示すパラメータである。ここで、所定の閾値Ltは、マイクM1、M2の感度調整結果に応じて設定される。
発話音声は、一定の音量で継続するものではない。よって、特定音声Vsの音量が一時的に下がると、低い音量の音声が入力されず、特定音声Vsが断続的に入力されてしまう。しかし、マイクの感度を上げ過ぎると、低い音量の不特定音声Vnも入力され、信号ノイズ比(S/N)が低下してしまう。
このため、感度調整補正部153は、所定の閾値Lt未満の信号レベルが検出されると、音声信号の入力を中止するか否かの判定を開始する。そして、判定時間ttに亘って所定の閾値Lt未満の信号レベルが検出された場合に、音声信号の入力を中止する。一方、判定時間tt内に所定の閾値Lt以上の信号レベルが再び検出された場合に、判定時間ttを初期化し、音声信号の入力を継続する。
図8Aに示す例では、信号レベルが所定の閾値Ltを境として上下に変動している。また、閾値Lt未満の区間長Δtが継続時間tt以上となっている。このため、閾値Lt未満の区間の音声信号が入力されず、特定音声Vsが断続的に入力されている。
この場合、図8Bに示すように、感度調整補正用スライダCを用いて、継続時間ttが長くなるように、感度調整補正パラメータが設定される(なお、図8A、8B中では、マイクM1のスライダのみが示されている。)。これにより、閾値Lt未満の区間の音声信号が入力され、特定音声Vsを継続的に入力することができる。
[4−4.周波数調整処理]
周波数調整部155は、周波数調整パラメータに基づいて、各マイクM1、M2から入力される音声信号の周波数範囲を調整する。固定電話では、発話音声の周波数帯域として300〜3400Hz程度が利用されている。一方、環境音(ノイズ)の周波数帯域は、発話音声の周波数帯域よりも広いことが知られている。
このため、図9に示すように、周波数調整用スライダC4を用いて、入力される音声信号の周波数範囲が設定される。ここで、周波数範囲は、周波数範囲の上限および下限を各々に示すタブI41、I42を操作することで設定される(なお、図9では、マイクM1のスライダのみが示されている。)。周波数調整部155は、設定された周波数範囲に基づいて、音声信号から所定の信号成分をフィルタリングして後段に供給する。これにより、特定音声Vsを良好な状態で選択的に入力することができる。
[4−5.音源追跡処理]
音源追跡処理では、マイクM1、M2と特定音源Ssの相対的な位置変化に追従して、感度バランス調整パラメータが自動設定される。ここで、感度バランスは、特定音声Vsの音量が最大となるように、つまり、マイクM1、M2の音声間の位相差Δθが閾値θt未満となるように調整される。これにより、特定音声Vsの収音が継続可能となり、特定音源Ssを追跡することができる。
例えば、図10Aに示す例では、発話者Uの会話相手等の特定音源Ss´が発話者Uの正面に位置し、マイクM1、M2の音声間の位相差Δθが閾値θt未満であるので、特定音声Vsが維持され、不図示の不特定音声Vnが弱められて入力される。しかし、音源がマイクM2の側に大きく移動して特定音源Ssとなり、位相差Δθが閾値θt以上になると、特定音声Vsが弱められて入力できなくなる。
このため、図10Bに示すように、マイクM1、M2の信号間のレベルバランスがマイクM2の側にシフトするように、感度バランスが自動的に調整される。ここで、感度バランスは、マイクM1、M2と特定音源Ssの相対的な位置変化に追従して、マイクM1、M2の音声間の位相差Δθが閾値θt未満となるように調整される。これにより、発話者Uと特定音源Ssの相対位置が変化しても、特定音声Vsを連続的に入力することができる。
[4−6.遠隔設定処理]
遠隔設定処理では、受話者U´による各種パラメータの遠隔設定が可能となる。例えば、受話者U´は、図5に示した設定パネルCPと同様な設定パネルCP´を用いて、各種パラメータを遠隔設定する。
例えば図11に示すように、受話者U´は、再生装置100´が発話者Uの送信音声を再生すると、再生音声の品質に応じて、設定パネルCP´上で各種パラメータを指定(設定)する。再生装置100´は、受話者U´の操作に応じて、パラメータ指定情報を通信網Nを介して情報処理装置100に送信する。情報処理装置100は、パラメータ指定情報に基づいて各種パラメータを設定し、設定状況を設定パネルCPに反映させる。これにより、発話者Uと受話者U´の間で、パラメータの設定を最適化することで、送信音声の品質をさらに向上させることができる。
[5.まとめ]
以上説明したように、本実施形態によれば、少なくとも一対で設けられるマイクM1、M2により収音された外部の音声信号に、少なくともマイクM1、M2の感度を規定し、少なくともユーザーの指示に応じて設定された処理パラメータに基づいて、ビームフォーミング処理を含む音声処理が施される。これにより、使用環境に応じて、少なくとも収音部の感度を規定する処理パラメータを設定することで、特定音声Vsが良好な状態で選択的に入力可能となり、送信音声の品質を向上させることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態の説明では、使用環境に応じて処理パラメータを設定することで、特定音声Vsの音声信号のレベルを維持し、不特定音声Vnの音声信号のレベルを弱める場合について説明した。しかし、特定音声Vsの音声信号のレベルを弱め、不特定音声Vnの音声信号のレベルを維持してもよい。これにより、不特定音声Vnが良好な状態で選択的に入力可能となり、発話者周辺の音声を明瞭に聴取することができる。
100 情報処理装置
150 音声信号処理部
151 感度調整部
153 感度調整補正部
155 周波数調整部
157 時間差分析部
159 周波数分析部
161 位相差分析部
163 ビームフォーミング処理部(BF処理部)
U 発話者
Ss 特定音源
Vs 特定音声

Claims (13)

  1. ユーザーの頭部の左右に位置するユニットに少なくとも対をなして設けられ、当該ユーザーが発話した音声を少なくとも含む外部の音声を収音して音声信号に変換する収音部と、
    少なくともユーザーの指示に応じて、少なくとも前記収音部の感度を規定する処理パラメータを設定するパラメータ設定部と、
    前記処理パラメータに基づいて、前記収音部から入力される音声信号にビームフォーミング処理を含む音声処理を施す音声信号処理部と、
    を備え、
    前記処理パラメータは、当該ユーザーの指示に応じて随時設定可能であり、
    前記ビームフォーミング処理においては、音源と一対の前記収音部の各々との距離の差に応じた、当該収音部の各々によって収音される音声の位相差を、所定のしきい値と比較することにより、前記ユーザーが発話した音声と他の音声とが判別される、情報処理装置。
  2. 前記音声信号処理部は、前記処理パラメータに基づいて、前記収音部間の感度バランスを調整する、請求項1に記載の情報処理装置。
  3. 前記音声信号処理部は、前記処理パラメータに基づいて、前記収音部の感度を調整する、請求項1に記載の情報処理装置。
  4. 前記音声信号処理部は、前記処理パラメータに基づいて、前記収音部から入力される音声信号のレベルが継続して所定の閾値未満である場合に、音声信号の入力を中止するまでの継続時間を調整する、請求項1に記載の情報処理装置。
  5. 前記音声信号処理部は、前記処理パラメータに基づいて、前記収音部から入力される音声信号の周波数範囲を調整する、請求項1に記載の情報処理装置。
  6. 前記収音部と特定音源の相対的な位置変化に追従して、前記特定音源に対応する音声信号のレベルが最大となるように、前記収音部間の感度バランスを自動設定する、請求項1に記載の情報処理装置。
  7. 前記音声処理を施された音声信号を通信網を介して再生装置に送信する送信部と、
    前記処理パラメータを指定するパラメータ指定情報を前記再生装置から受信する受信部と、
    をさらに備え、
    前記パラメータ設定部は、前記受信されたパラメータ指定情報に従って、前記処理パラメータを設定する、請求項1に記載の情報処理装置。
  8. 前記音声信号処理部は、前記収音部の各々から入力される音声信号の位相差が所定の閾値未満である場合に、音声信号のレベルを維持し、所定の閾値以上である場合に、音声信号のレベルを減少させる、請求項1に記載の情報処理装置。
  9. 前記音声信号処理部は、前記収音部から入力される音声信号のうち特定音源以外に対応する音声信号以外の信号を除去するための信号を、前記収音部から入力される音声信号に合成する、請求項1に記載の情報処理装置。
  10. 前記収音部は、ヘッドホンの左右ユニットに対をなして設けられる、請求項1に記載の情報処理装置。
  11. 前記音声信号処理部は、前記処理パラメータを設定するための設定画面を通じて入力されるユーザーの指示に応じて、前記処理パラメータを調整する、請求項1に記載の情報処理装置。
  12. ユーザーの頭部の左右に位置するユニットに少なくとも対をなして設けられ、当該ユーザーが発話した音声を少なくとも含む外部の音声を収音して音声信号に変換する収音部の感度を規定する処理パラメータを、少なくともユーザーの指示に応じて設定することと、
    前記処理パラメータに基づいて、前記音声信号にビームフォーミング処理を含む音声処理を施すことと、
    を含み、
    前記処理パラメータは、当該ユーザーの指示に応じて随時設定可能であり、
    前記ビームフォーミング処理においては、音源と一対の前記収音部の各々との距離の差に応じた、当該収音部の各々によって収音される音声の位相差を、所定のしきい値と比較することにより、前記ユーザーが発話した音声と他の音声とが判別される、情報処理方法。
  13. ユーザーの頭部の左右に位置するユニットに少なくとも対をなして設けられ、当該ユーザーが発話した音声を少なくとも含む外部の音声を収音して音声信号に変換する収音部の感度を規定する処理パラメータを、少なくともユーザーの指示に応じて設定することと、
    前記処理パラメータに基づいて、前記音声信号にビームフォーミング処理を含む音声処理を施すことと、
    を含み、
    前記処理パラメータは、当該ユーザーの指示に応じて随時設定可能であり、
    前記ビームフォーミング処理においては、音源と一対の前記収音部の各々との距離の差に応じた、当該収音部の各々によって収音される音声の位相差を、所定のしきい値と比較することにより、前記ユーザーが発話した音声と他の音声とが判別される、情報処理方法をコンピュータに実行させるプログラム。

JP2009207985A 2009-09-09 2009-09-09 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP5493611B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009207985A JP5493611B2 (ja) 2009-09-09 2009-09-09 情報処理装置、情報処理方法およびプログラム
CN 201010271379 CN102024457B (zh) 2009-09-09 2010-09-01 信息处理设备和信息处理方法
US12/875,761 US8848941B2 (en) 2009-09-09 2010-09-03 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009207985A JP5493611B2 (ja) 2009-09-09 2009-09-09 情報処理装置、情報処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2011061422A JP2011061422A (ja) 2011-03-24
JP2011061422A5 JP2011061422A5 (ja) 2012-10-11
JP5493611B2 true JP5493611B2 (ja) 2014-05-14

Family

ID=43780431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009207985A Expired - Fee Related JP5493611B2 (ja) 2009-09-09 2009-09-09 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US8848941B2 (ja)
JP (1) JP5493611B2 (ja)
CN (1) CN102024457B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7255414B2 (ja) 2019-08-02 2023-04-11 スズキ株式会社 鞍乗型車両の排気装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025757A (ja) * 2011-07-26 2013-02-04 Sony Corp 入力装置、信号処理方法、プログラム、および記録媒体
JP6162220B2 (ja) * 2012-04-27 2017-07-12 ソニーモバイルコミュニケーションズ, エービー マイクロフォンアレイにおける音の相関に基づく雑音抑制
JP6096437B2 (ja) * 2012-08-27 2017-03-15 株式会社ザクティ 音声処理装置
JP6003510B2 (ja) * 2012-10-11 2016-10-05 富士ゼロックス株式会社 音声解析装置、音声解析システムおよびプログラム
US9232310B2 (en) * 2012-10-15 2016-01-05 Nokia Technologies Oy Methods, apparatuses and computer program products for facilitating directional audio capture with multiple microphones
WO2015121978A1 (ja) * 2014-02-14 2015-08-20 共栄エンジニアリング株式会社 放収音装置
US9706299B2 (en) * 2014-03-13 2017-07-11 GM Global Technology Operations LLC Processing of audio received at a plurality of microphones within a vehicle
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
US11067661B2 (en) 2015-11-17 2021-07-20 Sony Corporation Information processing device and information processing method
JP6197930B2 (ja) * 2016-09-14 2017-09-20 ソニー株式会社 耳孔装着型収音装置、信号処理装置、収音方法
CN111713119B (zh) 2018-02-23 2022-07-08 索尼公司 耳机、耳机系统和耳机系统中的方法
US10728656B1 (en) * 2019-01-07 2020-07-28 Kikago Limited Audio device and audio processing method
US11395065B2 (en) 2019-01-07 2022-07-19 Kikago Limited Audio device, audio system, and audio processing method
EP3783609A4 (en) * 2019-06-14 2021-09-15 Shenzhen Goodix Technology Co., Ltd. DIFFERENTIAL BEAM FORMATION METHOD AND MODULE, SIGNAL PROCESSING METHOD AND APPARATUS, AND CHIP
CN112786042A (zh) * 2020-12-28 2021-05-11 北京百度网讯科技有限公司 车载语音设备的调整方法、装置、设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2867461B2 (ja) 1989-09-08 1999-03-08 ソニー株式会社 騒音低減ヘッドホン
JP2778173B2 (ja) 1990-01-19 1998-07-23 ソニー株式会社 騒音低減装置
US5276740A (en) 1990-01-19 1994-01-04 Sony Corporation Earphone device
JPH04212600A (ja) * 1990-12-05 1992-08-04 Oki Electric Ind Co Ltd 音声入力装置
JPH05316587A (ja) 1992-05-08 1993-11-26 Sony Corp マイクロホン装置
JP3301445B2 (ja) 1992-08-25 2002-07-15 ソニー株式会社 音声入力装置
JP3254789B2 (ja) 1993-02-05 2002-02-12 ソニー株式会社 補聴装置
JP3219113B2 (ja) * 1993-06-04 2001-10-15 日本電信電話株式会社 小型収音再生装置
JP3334353B2 (ja) 1994-09-02 2002-10-15 ソニー株式会社 聴覚補助装置
JPH0983988A (ja) * 1995-09-11 1997-03-28 Nec Eng Ltd テレビ会議システム
AU2001245740B2 (en) * 2000-03-14 2005-04-14 Audia Technology, Inc. Adaptive microphone matching in multi-microphone directional system
WO2003013185A1 (en) * 2001-08-01 2003-02-13 Dashen Fan Cardioid beam with a desired null based acoustic devices, systems and methods
EP1556857B1 (en) * 2002-10-23 2013-07-31 Nuance Communication, Inc. Controlling an apparatus based on speech
EP1489596B1 (en) * 2003-06-17 2006-09-13 Sony Ericsson Mobile Communications AB Device and method for voice activity detection
JP2009530950A (ja) * 2006-03-24 2009-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウェアラブル装置のためのデータ処理
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
JP2008141487A (ja) * 2006-12-01 2008-06-19 Funai Electric Co Ltd テレビジョン装置およびテレビジョンシステム
JP5401760B2 (ja) 2007-02-05 2014-01-29 ソニー株式会社 ヘッドフォン装置、音声再生システム、音声再生方法
US8223988B2 (en) * 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures
US8812309B2 (en) * 2008-03-18 2014-08-19 Qualcomm Incorporated Methods and apparatus for suppressing ambient noise using multiple audio signals
US8199942B2 (en) * 2008-04-07 2012-06-12 Sony Computer Entertainment Inc. Targeted sound detection and generation for audio headset
US8218397B2 (en) * 2008-10-24 2012-07-10 Qualcomm Incorporated Audio source proximity estimation using sensor array for noise reduction
US8620672B2 (en) * 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7255414B2 (ja) 2019-08-02 2023-04-11 スズキ株式会社 鞍乗型車両の排気装置

Also Published As

Publication number Publication date
CN102024457B (zh) 2013-06-19
US8848941B2 (en) 2014-09-30
CN102024457A (zh) 2011-04-20
US20110075858A1 (en) 2011-03-31
JP2011061422A (ja) 2011-03-24

Similar Documents

Publication Publication Date Title
JP5493611B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9913022B2 (en) System and method of improving voice quality in a wireless headset with untethered earbuds of a mobile device
US9031256B2 (en) Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
CN106664473B (zh) 信息处理装置、信息处理方法和程序
US9438985B2 (en) System and method of detecting a user's voice activity using an accelerometer
US9037458B2 (en) Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
US20080159568A1 (en) Sound outputting apparatus, sound outputting method, sound output processing program and sound outputting system
WO2015163031A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN106664472B (zh) 信号处理设备、信号处理方法和计算机可读存储介质
JP2009530950A (ja) ウェアラブル装置のためのデータ処理
WO2011141772A1 (en) Method and apparatus for processing an audio signal based on an estimated loudness
US20110200213A1 (en) Hearing aid with an accelerometer-based user input
JP5417491B2 (ja) 電子機器、方法およびプログラム
US10878796B2 (en) Mobile platform based active noise cancellation (ANC)
JP2013065039A (ja) ヘッドホン、ヘッドホンのノイズ低減方法、ノイズ低減処理用プログラム
US20130136277A1 (en) Volume controller, volume control method and electronic device
CN111163411B (zh) 减少干扰音影响的方法及声音播放装置
JPWO2011105073A1 (ja) 音響処理装置および音響処理方法
TWI700004B (zh) 減少干擾音影響之方法及聲音播放裝置
JP5022459B2 (ja) 収音装置、収音方法及び収音プログラム
JP5880753B2 (ja) ヘッドホン、ヘッドホンのノイズ低減方法、ノイズ低減処理用プログラム
US20240078994A1 (en) Active damping of resonant canal modes
US20230239617A1 (en) Ear-worn device and reproduction method
JP2009005157A (ja) 音声信号補正装置
JP2018063400A (ja) 音声処理装置及び音声処理プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140217

LAPS Cancellation because of no payment of annual fees