JP5913340B2 - マルチビーム音響システム - Google Patents

マルチビーム音響システム Download PDF

Info

Publication number
JP5913340B2
JP5913340B2 JP2013536536A JP2013536536A JP5913340B2 JP 5913340 B2 JP5913340 B2 JP 5913340B2 JP 2013536536 A JP2013536536 A JP 2013536536A JP 2013536536 A JP2013536536 A JP 2013536536A JP 5913340 B2 JP5913340 B2 JP 5913340B2
Authority
JP
Japan
Prior art keywords
signal
adaptive
input signal
beam forming
microphone array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013536536A
Other languages
English (en)
Other versions
JP2013546247A (ja
Inventor
セ ウン キム
セ ウン キム
Original Assignee
マイティワークス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイティワークス filed Critical マイティワークス
Publication of JP2013546247A publication Critical patent/JP2013546247A/ja
Application granted granted Critical
Publication of JP5913340B2 publication Critical patent/JP5913340B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Description

本発明は、複数のビームを形成するように設定されたマイク(マイクロホン)アレイを利用して音響ソリューションを提供することができるシステムに関するものである。特に、本発明によるマルチビーム音響システムは、車両内に設置され車両内での効率的な音響ソリューションを提供することができるシステムに関するものである。
最近ではブルートゥースを含めた多様な技術の発達で、車両内の音響ソリューション(例えば、音声通話ソリューションなど)が便利になって活発に用いられている。しかし、走行中の車両内部の騒音、スピーカーの使用によるエコーなど多様な問題によって、一般的な携帯電話を使った通話品質の水準に及ぶことができずに環境も劣悪である。加えて、音声認識がより普及してきているので、車両の内部においても相当程度の音声認識成功率が保証されることが期待されている。
車両内での通話及び音声認識のためには、まず、マイクロホンを利用して音声信号の入力を受けなければならない。この時、マイクロホン一つのみを用いて音声信号の入力がされると、望む信号のSN比(Signal Noise Ratio)を十分に確保することができないだけでなく、走行中の騷音、車両の空間による歪曲及びエコーなどの音響干渉信号に対して非常に脆弱であり、問題になる。
また、車両内の通話または音声認識のための音響ソリューションでは運転者だけではなく、他の人の音声も収音する必要がある場合もある。このような問題に対してはマイクロホンアレイを用いて、ビームを形成することで入力SN比を改善し、音響干渉信号に強靭になるようにできる。
このようなビームを形成するための技術として適応型ビーム形成装置(Adaptive Beamformer)に対する技術が開示されている。この中で広帯域LCMV(Linearly Constrained Minimum Variance)適応ビーム形成装置は1972年Otis Lamont Frost IIIの論文で開示されている。
このような適応型ビーム形成装置は車両内での音響ソリューションでもよく用いられており、主に音源ソース(例えば、話者)またはノイズによってビームの方向を適応的に変化させ、車両内でより効率的な音響ソリューションを提供するために用いられている。
しかし、従来の適応型ビーム形成装置を利用してビームを形成しても、車両内の複数の人の音声を収音するためには、既存の一つのビームを利用したマイクロホンアレイでは、複数の人の音声を収音しにくい、又はその性能が低くなるなどの問題点がある。
このため、二以上のビームを持つマイクロホンアレイシステムが必要となる。そして、多様なノイズ及び干渉信号が存在するため、干渉信号と望む信号の間の向き(steering)も差が少なくなるようにし、より精巧なビーム形成が要求される。
したがって、本発明の目的は、マルチビームを形成することができるマイクアレイ及びこのための適応ビーム形成装置を提供することである。
また、前述のような車両内の環境でもっと強靭なマルチビーム音響システムを提供し、このために適応アルゴリズムを利用した適応ビーム形成装置を提供することである。
また、比較的少ない演算量による自己調律(self−tuning)アルゴリズムを利用して非定常の(non−stationary)干渉信号及びエコーに強靭なビーム形成装置を提供することである。
前記目的を具現化するための本発明の一側面によれば、提供されるマルチビーム音響システムは、車両内の所定の位置に設置されたマイクアレイを有し、入力信号を受信するマイクアレイ(Microphone Array)と、前記マイクアレイのビームを形成するための適応ビーム形成装置とを備え、前記適応ビーム形成装置は、互いに異なる方向に形成される前記マイクアレイの少なくとも二つのビームを形成することを特徴とすることができる。
前記適応ビーム形成装置は前記マイクアレイから入力される前記入力信号を望む方向に向ける(steering)固定ビーム形成部と、前記の入力信号を受信して受信された前記の入力信号からノイズ基準信号を取得するためのブロッキング行列部(Blocking Matrix)と、前記ブロッキング行列部から出力される前記ノイズ基準信号から適応型ノイズ信号を取得するための可変ビーム形成部と、前記固定ビーム形成部から出力された信号から前記適応型ノイズ信号を取り除いた目的信号を出力するための除去手段を含む一般化サイドローブキャンセラ(GSC:Generalized Sidelobe Canceller)と、を備え、前記固定ビーム形成部は少なくとも二つの方向に前記入力信号を向けることを特徴とすることができる。
前記一般化サイドローブキャンセラ(GSC)は少なくとも二つの方向に前記入力信号を向けるために、次の数学式のような制約条件を持つように設計されることを特徴とすることができる。
ここで、
はi番目の制限行列、
は望む方向の方向ベクトル(steering vector)、
は加重値ベクトル行列、
は目的とする衝撃応答を示す。
前記可変ビーム形成部は自己調律(self−tuning) RLS(Recursive Least Squares)アルゴリズムを利用して前記適応型ノイズ信号を取得することができる。
前記マイクアレイは前記車両に設置されている座席の中で任意の二つの座席に対応するように所定の位置に設置され、前記所定の位置は、前記任意の二つの座席の間の特定位置で前記任意の二つの座席方向と垂直方向の線上に位置し、前記少なくとも二つのビームの中で少なくとも一つは前記垂直方向の線を基準にある方向に位置する座席の位置に向かう方向に形成されて、前記少なくとも二つのビームのうち少なくとも他の一つは前記垂直方向の線を基準に、他の方向に位置する座席の位置に向かう方向に形成されることを特徴とすることができる。
前記マルチビーム音響システムは、前記車両のオーディオビデオナビゲーション(AVN:Audio Video Navigation)装置から出力された音響信号に基づくエコー信号が前記入力信号に含まれている場合、受信された前記入力信号から前記エコー信号を取り除くためのエコー除去装置をさらに備えることができる。
前記エコー除去装置は前記オーディオビデオナビゲーション装置から前記音響信号に対する情報を受信して保存し、保存された前記音響信号に対する情報に基づいて前記エコー信号を推定し、推定された前記エコー信号を前記入力信号で取り除くことができる。
前記マルチビーム音響システムは前記車両に設置されている座席の中で前記任意の二つの座席を除いた少なくとも一つの座席に対応されるように設置される第2マイクアレイをさらに備えることができる。
前記マルチビーム音響システムは、第2適応ビーム形成装置をさらに備え、前記適応ビーム形成装置または第2適応ビーム形成装置は、前記第2マイクアレイの少なくとも一つのビームを形成することを特徴とすることができる。
前記目的を具現化するための本発明の他の側面によれば、マルチビーム音響システムは車両内の所定の位置に設置された複数のマイクロホンを有し、入力信号を受信するマイクアレイのビームを形成するための適応ビーム形成装置と、マイクアレイから出力される出力信号から、前記車両のオーディオビデオナビゲーション装置から出力される音響信号に基づいたエコー信号を除去するためのエコー除去装置と、を有し、前記適応ビーム形成装置は前記マイクアレイのビームを少なくとも二つ形成することを特徴とする。
前記入力信号は前記車両内乗員の話者信号または音声命令信号を含み、前記マルチビーム音響システムは、前記少なくとも二つのビームのうち少なくとも一つを通じて入力される前記話者信号または前記音声命令信号から前記エコー信号を取り除いたエコー除去話者信号またはエコー除去音声命令信号を前記オーディオビデオナビゲーション装置に出力し、前記オーディオビデオナビゲーション装置は前記エコー除去話者信号を相手の通信装置に送信し、前記エコー除去音声命令信号によって所定の車両装置を制御するための制御信号を出力することができる。
前記目的を具現化するための本発明のさらなる側面によれば、提供されるマルチビーム音響システムは、マイクアレイから入力される入力信号を望む方向に向ける固定ビーム形成部と、前記入力信号を受信し、受信された前記入力信号からノイズ基準信号を取得するためのブロッキング行列部と、前記ブロッキング行列部から出力される前記ノイズ基準信号から適応型ノイズ信号を取得するための可変ビーム形成部と、前記固定ビーム形成部から出力された信号で前記適応型ノイズ信号を取り除いた目的信号を出力するための除去手段を含む一般化サイドローブキャンセラ(GSC)と、を備えることを特徴とし、前記固定ビーム形成部は少なくとも二つの方向に前記入力信号を向けることを特徴とすることができる。
前記一般化サイドローブキャンセラ(GSC)は、少なくとも二つの方向に前記入力信号を向けるために、次の数学式のような制約条件を持つように設計されることを特徴とすることができる。
ここで、
はi番目の制限行列、
は望む方向の方向ベクトル、
は加重値ベクトル行列、
は目的とする衝撃応答を示す。
本発明によるマルチビーム音響システムは適応的に複数のビームを形成することができるので、複数の音源ソースに対する認識率を高くすることができる効果がある。
また、本発明の実施例によるマルチビーム音響システムが車両に適用される場合、車両の運転者だけではなく、他の乗員の音声も効率的に収音することができる効果がある。
また、車両内外の騷音及びエコーに対して強靭にすることができるし、特にエコー除去装置を具備する場合、より騷音及びエコーに強靭になることができる効果がある。
また、比較的少ない演算量の自己調律アルゴリズムを利用して比較的早い時間内に非正常的な干渉信号及びエコーに強靭なビームを形成することができる効果がある。
本発明の詳細な説明で引用される図面をより十分に理解するために各図面の簡単な説明が提供される。
図1は本発明の実施例によるマルチビーム音響システムが車両に設置される場合の概念図を示す図面である。 図2は本発明の実施例によるマルチビーム音響システムの概略的な構成を示す図面である。 図3は一般的なマルチビーム音響システムの広帯域ビーム形成装置の概念を説明するための図面である。 図4は本発明の実施例による適応ビーム形成装置の概略的な構成を示す図面である。 図5は本発明の実施例によるマイクアレイとマイクアレイによるビームが車両の内部に形成されることを説明するための図面である。
本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を充分に理解するために、本発明の好ましい実施例を例示する添付図面及び添付図面に記載した内容が参照される。
また、本明細書においては一方の構成要素が他方の構成要素にデータを‘送信’する場合、一方の構成要素から他方の構成要素に直接データを送信する場合だけでなく、一方の構成要素からその他の少なくとも一つの構成要素を介して他方の構成要素に送信する場合も含まれる。
反対に、一方の構成要素が他方の構成要素にデータを‘直接送信’する場合にはいずれの構成要素も介さないで一方の構成要素から他方の構成要素にデータが送信されることを意味する。
以下、添付した図面を参照して本発明の好ましい実施例を説明することで、本発明を詳細に説明する。各図面に提示された等しい参照符号は等しい構成要素を示す。
図1は本発明の実施例によるマルチビーム音響システムが車両に設置される場合の概念図を示す図面である。また、図2は本発明の実施例によるマルチビーム音響システムの概略的な構成を示す図面である。
まず、図1a及び図2を参照すると、本発明の実施例によるマルチビーム音響システム1を具現化するためにマイクアレイ200は図1aに図示されるように設置される。マイクアレイ200は図1aに図示されるように少なくとも二つのビームを形成することができる。本明細書のビームとは、本発明の実施例による適応ビーム形成装置110によって形成されるメインローブ(Main Lobe)を意味する。
このように本発明の実施例によるマルチビーム音響システム1は、後述する技術的思想によって少なくとも二つのビームを形成することができる。複数のビームはそれぞれ車両の運転者だけではなく、他の乗員の音声信号を収音するように容易に形成することができる。
マイクアレイ200は複数の座席に対応するように設置することができる。マイクアレイ200が複数の座席に対応するように設置されるには、複数の座席それぞれの位置に向かう方向にビームが形成されることを意味する。例えば、マイクアレイ200が図1aに図示されたところのように二つのビームを形成する場合、二つのビームそれぞれは車両に設置された運転席及び助手席の位置に向かう方向に形成することができる。
本発明の一実施例によると、マイクアレイ200によって形成されるビームが二つである場合は、二つのビームそれぞれはマイクアレイ200の中心部を基準に互いに別の方向に形成されるように具現化される。このように互いに別の方向のビームを形成することで、ビームの間に与えることができる干渉の影響を減らすことができる効果がある。
したがって、マイクアレイ200は図1aのように車両の前の座席用ダッシュボード(dashboard)に設置または埋め込まれることができ、マイクアレイ200はマイクアレイ200の所定の地点(例えば、中心部)での垂直方向の線を基準に互いに別の方向に少なくとも二つのビームを形成することができる。この時、互いに別の方向とは、運転席及び助手席の方向とすることができる。
図1b及び図2を参照すると、本発明の実施例によるマルチビーム音響システム1は第2マイクアレイ200−1をさらに備えてもよい。第2マイクアレイ200−1は車両の後の座席に乗った乗員たちの音声を収音するために設置されてもよい。このため、第2マイクアレイ200−1も本発明の実施例によれば複数のビームを形成するように構成してもよい。実装によっては、第2マイクアレイ200−1は一つのビームを適応的にビーム形成方向が変化するように構成してもよく、このように一つのビームが音源ソースの位置によって変化する技術的思想は従来から公知であるため、詳細な説明は略する。
第2マイクアレイ200−1は後の座席の乗員たちの音声を収音するために容易な位置に設置または埋め込むことができる。例えば、第2マイクアレイ200−1は図1bに図示されるように運転席と助手席の間に位置するコンソールボックスの所定の位置に設置または埋め込まれることができる。一般的にコンソールボックスは後の座席の中央付近と垂直の位置にあるので、このようにコンソールボックスの所定の位置に設置されることによって、前述のように垂直を基準にお互いに別の方向を持つ少なくとも二つのビームを形成することができる。勿論、必ずコンソールボックスの所定の位置に第2マイクアレイ200−1が設置されなければならないわけではない。第2マイクアレイ200−1はコンソールボックスに個別に設置されてもよいが、後の座席用マルチメディア機器がコンソールボックス付近またはその以外の位置に設置される場合、マルチメディア機器の一部として実装されてもよい。
図1cはマイクアレイ200及び第2マイクアレイ200−1がそれぞれ2つのビームを形成する場合を示し、マイクアレイ200が形成するビームは運転席及び助手席に向かう方向に形成してもよく、第2マイクアレイ200−1が形成するビームは運転席の後の座席及び助手席の後の座席に向かう方向に形成してもよい。このように本発明の実施例によるマルチビーム音響システム1は計4つのビームを形成することによって、既存の車両内の音響システムが運転席に位置する運転者の音声を収音するために主に設置されることとは違い、車両に乗った他の乗員たちの音声も効率的に収音することができるようになる効果がある。
また、複数のビームを形成することによって、一つのビームを形成してリアルタイムでビームの方向を変化する場合に比べて、リアルタイムに演算するデータの量が少なくなる効果がある。
図2を参照すると、本発明の実施例によるマルチビーム音響システム1は適応ビーム形成装置110を有してもよい。適応ビーム形成装置110は所定の制御装置100に含まれてもよい。制御装置100は実施例によれば図2に図示されるように所定のエコー除去装置120を備えてもよい。制御装置100は一つのチップに実装されてもよく、所定のハードウェアと有機的に結合するように構成されるソフトウェアに実装されてもよい。
制御装置100は所定のオーディオビデオナビゲーション装置300と接続されてもよく、制御装置100から出力される信号(例えば、マイクアレイ200を通じて収音された信号など)がオーディオビデオナビゲーション装置300を介して所定の機器(例えば、相手の通話装置または音声命令を実行する機器など)に送信されてもよい。また、制御装置100はオーディオビデオナビゲーション装置300から外部に送信される信号またはスピーカーを通じて出力される音響信号に対する情報を受信し、これを利用してもよい。例えば、制御装置100に含まれるエコー除去装置120はオーディオビデオナビゲーション装置300から外部に送信される信号または車両の内部に出力される音響信号に対する情報を受信し、これを利用してマイクアレイ200から入力される入力信号のなかのエコー信号を推定し推定されたエコー信号を相殺することができる。
オーディオビデオナビゲーション装置300は本発明の実施例によるマルチビーム音響システム1が車両に設置される場合には、車両に設置されたオーディオシステム、ビデオシステム、ナビゲーションシステム、音声通話システムなど車両で提供される、可能なすべての種類の音声システムを意味することができる。また、マルチビーム音響システム1が車両以外の場所に用いられる場合には、他機器に信号を送信し、外部から受信した信号を出力することができる、あらゆる形態の音響システムとして用いられることができる。
オーディオビデオナビゲーション装置300に備えられたスピーカーから音響信号が出力され、出力された音響信号がまたマイクアレイ200を通じて入力される入力信号の一部として入力される場合、エコー除去装置120は、入力信号に含まれたエコー信号を取り除く機能を実行することができる。すなわち、マイクアレイ200から入力される入力信号はエコー除去装置120を通じてエコー信号が除去され、エコー信号が除去されたエコー除去信号はオーディオビデオナビゲーション装置300に送信される。
このため、エコー除去装置120は、オーディオビデオナビゲーション装置300からスピーカーを介して出力される音響信号に対する情報を受信し、一時的に保存することができる。そして、保存された音響信号に対する情報に基づいて、エコー信号は推定され、推定されたエコー信号はマイクアレイ200を通じて入力された入力信号から除去されうる。このように、エコー除去装置120はスピーカーを通じて出力される信号をあらかじめ保存していてからこれを利用してエコー信号を取り除く技術的思想を用いることができる。この技術的思想は、本出願人により2009年11月18日に出願された韓国特許出願(出願番号10−2009−0111323、“信号分離方法、信号分離方法を利用した通信システム及び音声認識システム”、以下、先出願)に開示されている。先出願に開示された技術的思想及び全体の内容は、本明細書の参考として含まれる。
エコー除去装置120は、先出願に開示されているように修正されたBSS(Blind Source Separation)アルゴリズムを利用して短い時間でリアルタイムに入力信号からエコー信号を分離することができる。また、先出願に開示された修正されたBSSアルゴリズムによると、一つのマイクロホンを用いて二つの信号を互いに分離することができる。具体的には、マイクアレイ200から入力された入力信号が適応ビーム形成装置110を通じて目的信号に出力されると、エコー除去装置120は、先出願にあるように、一つのマイクロホンを通じて入力される入力信号として出力された目的信号を処理し、エコー信号を除去することができる。勿論、エコー除去装置120は先出願に開示された技術的思想以外にも公知の多様な方式でエコーを取り除くこともできる。
例えば、マイクアレイ200によって形成される二つのビームのうち少なくとも一つを通じて車両の乗員の音声信号が収音される時、音声信号は、通話のための話者信号、または、音声認識命令のための音声命令信号である。そして、話者信号または音声認識命令信号は適応ビーム形成装置110を通じてエコー除去装置120に出力され、エコー除去装置120によってエコー信号が除去され、オーディオビデオナビゲーション装置300に出力される。次に、オーディオビデオナビゲーション装置300はエコー信号が除去された話者信号を相手の通信装置に出力することができ、また音声認識命令の対象になる所定の装置(例えば、ナビゲーション、車両のウィンドウ、その他の車両の装置など)を制御するための制御信号として出力することができる。入力信号が音声認識命令である場合、音声信号を認識し制御信号に変換するための音声認識装置(図示せず)は、制御装置100及び/またはオーディオビデオナビゲーション装置300に含まれうる。音声認識装置(図示せず)がオーディオビデオナビゲーション装置300に含まれて提供される場合、エコー除去装置120を通じて出力された信号は音声認識装置(図示せず)に入力され、音声認識装置(図示せず)は入力された信号に基づいて制御信号を生成し、生成された制御信号を所定の車両装置に出力することができる。
一方、図2に図示されるように、マルチビーム音響システム1は第2マイクアレイ200−1を含むことができる。第2マイクアレイ200−1は、制御装置100と接続され、前述のような機能を実行することもできるが、別の第2制御装置100−1に接続されてもよい。第2制御装置100−1はオーディオビデオナビゲーション装置300に接続されうる。
第2マイクアレイ200−1は前述のように少なくとも一つのビームを形成することができる。例えば、一つのビームを形成する場合には車両の後の座席の搭乗者の位置によって適応的にビームの方向が変化されることもできるし、二つ以上のビームが後の座席の搭乗者が乗る位置に向かうするように形成することもできる。
一方、適応ビーム形成装置110の機能は図3及び図4を参照して説明する。
図3は一般的なマルチビーム音響システムの広帯域ビーム形成装置の概念を説明するための図面であり、図4は本発明の実施例による適応ビーム形成装置の概略的な構成を示す図面である。
まず、図3を参照すると、図3は広帯域LCMV適応ビーム形成装置の構造を示している。広帯域LCMV適応ビーム形成装置は1972年のOtis Lamont Frost IIIの論文に始まると理解される。図3から分かるように、狭帯域ビーム形成装置とは異なり、広帯域ビーム形成装置は一つのセンサー(マイクロホン)ごとに複数の遅延時間(Delay)タブが付いている構造で構成されうる。また、望む方向(Look−Direction)の等価回路で表現すれば、それぞれの等価フィルタータブは全体回路の衝撃応答(Impulse Response)で示すことができる。
図3のビーム形成装置は、K個のセンサーとJ個の遅延タブで構成されていると仮定することができる。この場合、加重値の総数はKJ個であり、J個の制約条件となる。また、残りのKJ−J個の自由度(Degree of Freedom)を利用して、出力パワーは最小化される。
この時、入力信号と加重値ベクトルは次のように定義されることができる。
ここで、nは標本数(Sample Number)を示し、
は入力信号ベクトルを示し、
は加重値ベクトルを示す。
また、線形制約条件(Linear Constraint)は次のように与えられる。
上の式で、Fは所望の衝撃応答であり、
から
までの値で構成される
ベクトルを示すことができる。図3で示すように広帯域ビーム形成装置は同等のFIR(Finite Impulse Response)フィルターにモデリングすることができるし、この時、所望の周波数応答を有する衝撃応答を設計することができる。したがって、衝撃応答Fはビーム形成装置の周波数特性を決定する設計因子(Design Parameter)とすることができる。制限行列(Constraint Matrix)Cは
の大きさを持つ行列であり、数学式4のように定義されることができる。
上記数学式4で
は長さが
である列ベクトルであり、
は長さが
の方向ベクトル(Steering Vector)を示す。したがって、
はj番目のグループに方向ベクトルを持ち、残りの要素は0を持つ
長さの列ベクトルになる。
一般的な従来の広帯域ビーム形成装置は、ビーム、すなわち、メインローブを一つだけ持つように設計されて、この時、制約条件の行列は次の数式のようになる。
ここで、
は望む方向の方向ベクトルを示し、この時、衝撃応答fはその方向の望む応答を示す。また広帯域ビーム形成装置は後述するところのように一般化サイドローブキャンセラ(GSC)として実装され、この時、一般化サイドローブキャンセラ(GSC)のブロッキング行列(Blocking Matrix)
はCのnull spaceに定義され、その大きさは
として定義することができる。また、可変加重値ベクトル(Adaptive Weight Vector)の大きさは
に設計される。
本発明の実施例による適応ビーム形成装置110は、図3に図示される広帯域LCMV適応ビーム形成装置に基づいても構成されうる。適応ビーム形成装置110は音声帯域で適切な周波数応答を持つように衝撃応答Fを設計することができる。しかし、前述したように広帯域ビーム形成装置は自己調律の適応アルゴリズムを使用するのは難しいため、ビーム形成装置の加重値の調節は図4に図示されるような一般化サイドローブキャンセラ(GSC)を用いて具現化されうる。
[数学式3]の制限行列Cの直交補空間(Orthogonal Complement)行列を
とする。そして
行列Uと
を次の数式のように定義することができる。
数学式6及び7によって加重値ベクトルは次のように示すことができる。
数学式8と数学式3を利用すれば次のような数式を得ることができる。
直交補空間の定義は
であり、したがって、数学式9は次のように整理されることができる。
数学式11を用いて、ビーム形成装置の固定ビーム形成部(Fixed Beamformer Component)を取得することができ、次のような数式に表現されうる。
数学式8と数学式11によって、加重値ベクトルは次のように表現されることができる。
数学式12から、一般化サイドローブキャンセラ(GSC)は作ることができ、一般化サイドローブキャンセラ(GSC)の構造は図4と同様になる。
図4を参照すると、一般化サイドローブキャンセラ(GSC)、または、適応ビーム形成装置110はマイクアレイ200から入力される入力信号を望む方向に向ける固定ビーム形成部111と、入力信号を受信し受信された入力信号からノイズ基準信号を取得するブロッキング行列部112と、ブロッキング行列部112から出力されたノイズ基準信号から適応型ノイズ信号を取得するための可変ビーム形成部113と、
入力信号
から適応型ノイズ信号
を取り除くことで固定ビーム形成部から出力された入力信号から目的信号を出力するための除去手段114を含む一般化サイドローブキャンセラ(GSC)と、を備えることができる。図4に図示された適応ビーム形成装置110は従来のGSCと類似の構造を持つように構成されてもよく、このようなGSCの機能及び構造に関しては広く公知されているので詳細な説明は略する。しかし、本発明の実施例による適応ビーム形成装置110は固定ビーム形成部111が少なくとも二つの方向に入力信号が向くように設定されることを特徴とする。
また、既存のGSCが数学式3を満足するように設定されたとき、ブロッキング行列部112が本発明の実施例によってノイズ基準信号を生成するために作る制約条件は、次の数学式を満足するように設定されうる。
すなわち、固定ビーム形成部111によって取得される固定加重値ベクトル(Fixed Weight Vector)とブロッキング行列部112が用いるブロッキング行列
は適応ビーム形成装置110の設計値であらかじめプリセットすることができる。この時、固定ビーム形成部111によって取得される固定加重値ベクトルは、本発明の実施例によって形成される複数のビームに対応されるように設定することができる。ブロッキング行列
を取得するための制約条件(C)は数学式13による制約条件を持つように設計されることができる。
従来のビーム形成装置の場合、制限行列Cの大きさは
のように定義されるが、本発明の実施例による複数のビーム(メインローブ)を持つ適応ビーム形成装置110の場合、
(Nはメインローブの個数)の形態を持つのである。したがって、衝撃応答ベクトルの大きさも
から
に変化し、それぞれのビームにあたる衝撃応答が互いに垂直に重畳(cascade)されるように設計されうる。
したがって、適応ビーム形成装置110の設計値もこれに合わせて修正される。特に、可変加重値ベクトルの大きさが
に設計される。これによって、加重値ベクトルの変換行列(Transform Matrix)に対応するブロッキング行列
の大きさも
に設計されうる。これは制限行列Cを特異値分解(Singular Value Decomposition)することで設計され、特異値の大きい順に、設計されたサイズによる分解された行列を取ることで設計されうる。
一般的に、制約条件が全くないGSCの場合、可変ビーム形成部113の自由度はセンサー(マイクロホン)の数と同じである。制約条件が存在する場合は、(センサー(マイクロホン)の数−制約条件の数)になる。これは上述における可変加重値ベクトルの大きさを考慮することで理解することができる。したがって、制約条件の数が多くなるほど可変ビーム形成部113の自由度が減少してGSCの性能が落ちるようになる。従って、実質的に可能なビームの数はセンサー(マイクロホン)の数に制限を受けるようになる。もし、4個のセンサー(マイクロホン)を用いてマイクアレイ200を具現化する場合、実質的に意味のあるビームの数は1〜2個程度になることができる。したがって、マイクアレイ200は4個以上のセンサー(マイクロホン)を備えるのが好ましい。
一方、本発明の実施例による適応ビーム形成装置110では、可変ビーム形成部113によって取得される適応型ノイズ信号、すなわち、可変加重値ベクトルの調節において自己調律RLSを用いることができる。このような自己調律RLSアルゴリズムは適応アルゴリズムの中でも早い適応速度を持つアルゴリズムであるため、非定常の干渉信号にも強靭であるだけでなく、望む方向を変更した後にも早く適応することができる。
可変ビーム形成部113は自己調律RLSアルゴリズムを利用して可変加重値ベクトルを取得することができ、自己調律RLSアルゴリズムは最小二乗(Least Squares)問題の解(solution)を再帰的に取得するアルゴリズムでありうる。
一般的な最小二乗問題の場合をよく見ると、次のようである。
データ行列Aと所望の信号(Desired Signal)
を下記のように定義することができる。
また、一般的な適応信号処理で目標とする最適解は次の数学式のような条件を満足する。
数学式16のような条件を満足する最適の解を求めるために、次のように最小二乗問題(Least Squares Problem)を定義することができる。
上のような目的関数(Cost Function)を最小化する最小二乗問題の最適の解は一般的に次のように与えられる。
これを時間平均自己相関行列(Time−averaged Autocorrelation Matrix)Φと時間平均相互相関行列(Time−averaged Cross−correlation vector) Zに示すと、次のようである。
上のような解を再帰的に解き明かすことがRLSアルゴリズムであり、その信号処理過程は次のようである。
ここで
は事前エラー(Priori Error)を示し、
はゲインベクトルを示し、λは忘却ベクトル(Forgetting Vector)を示す。
したがって、数学式20で
は図4のブロッキング行列部112の出力信号に対応されることができるし、数学式20を利用して、数学式13の制約条件を持つ本発明の実施例による適応ビーム形成装置110の可変加重値ベクトルを再帰的に取得することができる。
図5は本発明の実施例によるマイクアレイと前記のマイクアレイによるビームが車両の内部に形成されることを説明するための図面である。
図5を参照すると、本発明の実施例によるマルチビーム音響システム1は1又は2以上のマイクアレイ200、200−1を備えることができる。この中で一つのマイクアレイ200は少なくとも二つのビームを形成することができるし、その中の一つは運転席S1に対して向かう方向に形成されることができるし、他の一つは助手席S2に向かう方向に形成されることができる。この時、それぞれのビームの方向は数学式13の制約条件でθの値を設定することにより決めることができる。
本発明の実施例によると、マイクアレイ200は所定の座席(例えば、S1、S2)の間の特定の地点10で垂直方向の線11上に位置することができ、マイクアレイ200によって形成される複数のビームの中で、一つは垂直方向の線11を基準に一方向に形成することができ、他の一つであるビームは他の方向に形成することができる。勿論、マイクアレイ200が座席間(例えば、S1、S2)の垂直方向の線11上の特定の点10に位置する代わりに、他の地点に位置する場合、複数のビームは同じ方向に形成されることもできる。
一方、マルチビーム音響システム1は第2マイクアレイ200−1をさらに備えることができ、第2マイクアレイ200−1も複数のビームを形成することもできる。また、実装において一つのビームを形成して適応的にビームの方向を変換するように構成することもできる。
第2マイクアレイ200−1が複数のビームを形成する場合、車両の後の座席に乗る乗員の位置(例えば、S3、S4、S5)によって複数のビームが形成されうる。
図5ではマイクアレイ200と第2マイクアレイ200−1が同一の線上に位置する場合を一例に図示したが、図5で図示されたように必ずしも具現する必要がないことは本発明の技術分野の平均的な専門家は容易に推論することができる。
本発明の実施例によるマルチビーム音響システムは、コンピューター読み取り可能な記録媒体にコンピューターが読めるコードとして記憶して構成することが可能である。コンピューター読み取り可能な記録媒体はコンピューターシステムによって読むことができるデータが保存されるすべての種類の記録装置を含む。コンピューター読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、ハードディスク、フロッピーディスク、光データ記憶装置などがあり、また、搬送波(例えば、インターネット送信)の形態で具現化されることも含む。また、コンピューター読み取り可能な記録媒体はネットワークで連結されたコンピューターシステムに分散され、分散方式でコンピューターの読めるコードが保存され実行することができる。そして、本発明を実現するための機能的なプログラム、コード及びコードセグメントは本発明が属する技術分野のプログラマーたちによって容易に解釈されることができる。
本発明を図面に図示された一実施例を参照して説明したが、これは一例に過ぎず、本技術分野の当業者であれば思いつく多様な変形例及び均等な他の実施例も本発明に含まれうる。したがって、本発明の真正な技術的保護範囲は特許請求の範囲の技術的思想によって定められる。
本発明は車両用音響システムに適用されることができる。

Claims (8)

  1. 車両内の所定の位置に設置され、複数のマイクロホンを有し、入力信号を受信するマイクアレイと、
    前記マイクアレイのビームを形成する適応ビーム形成装置とを備え、
    前記適応ビーム形成装置は、
    互いに異なる方向に形成される前記マイクアレイの少なくとも二つのビームを同時に形成し、前記少なくとも二つのビームの各々は、互いに異なる方向からの所望の音声信号のうちの一つを受信するためのビームであり、
    前記適応ビーム形成装置は、
    前記マイクアレイから入力される前記入力信号を望む方向に向ける固定ビーム形成部と、
    前記入力信号を受信して、受信された前記入力信号からノイズ基準信号を取得するためのブロッキング行列部と、
    前記ブロッキング行列部から出力される前記ノイズ基準信号から適応型ノイズ信号を取得するための可変ビーム形成部と、
    前記固定ビーム形成部から出力された信号で前記適応型ノイズ信号を取り除いた目的信号を出力するための除去手段を含む一般化サイドローブキャンセラと、を備え、
    前記固定ビーム形成部は少なくとも二つの方向に前記入力信号を向けることを特徴とし、
    前記一般化サイドローブキャンセラが、
    前記入力信号を少なくとも二つの方向に向けるために、次の数学式のような制約条件を持つように設計されることで、前記適応ビーム形成装置は、互いに異なる方向であるマイクアレイの少なくとも二つのビームを同時に形成することを特徴とするマルチビーム音響システム。
    ここで、
    はi番目の制限行列、
    は望む方向の方向ベクトル、
    は加重値ベクトル行列、
    は目的とする衝撃応答を示す。
  2. 前記可変ビーム形成部は、
    自己調律RLSアルゴリズムを利用して前記適応型ノイズ信号を取得することを特徴とする請求項1に記載のマルチビーム音響システム。
  3. 前記マイクアレイは、
    前記車両に設置されている座席の中で任意の二つの座席に対応するように所定の位置に設置され、
    前記所定の位置は、
    前記任意の二つの座席の間の特定位置で前記任意の二つの座席方向と垂直方向の線上に位置し、
    前記少なくとも二つのビームのうち少なくとも一つは前記垂直方向の線を基準にある方向に位置する座席の位置に向かう方向に形成されて、
    前記少なくとも二つのビームのうち少なくとも他の一つは前記垂直方向の線を基準に、他の方向に位置する座席の位置に向かう方向に形成されることを特徴とする請求項1に記載のマルチビーム音響システム。
  4. 前記マルチビーム音響システムは、
    前記車両のオーディオビデオナビゲーション装置から出力された音響信号に基づくエコー信号が前記入力信号に含まれている場合、受信された前記入力信号から前記エコー信号を取り除くためのエコー除去装置をさらに備えることを特徴とする請求項1に記載のマルチビーム音響システム。
  5. 前記エコー除去装置は、
    前記オーディオビデオナビゲーション装置から前記音響信号に対する情報を受信して保存し、保存された前記音響信号に対する情報に基づいて前記エコー信号を推定し、推定された前記エコー信号を前記入力信号から取り除くことを特徴とする請求項4に記載のマルチビーム音響システム。
  6. 前記マルチビーム音響システムは、
    前記車両に設置されている座席の中で前記任意の二つの座席を除いた少なくとも一つの座席に対応されるように設置される第2マイクアレイをさらに備えることを特徴とする請求項3に記載のマルチビーム音響システム。
  7. 前記マルチビーム音響システムは、
    第2適応ビーム形成装置をさらに備え、
    前記適応ビーム形成装置または前記第2適応ビーム形成装置は、前記第2マイクアレイの少なくとも一つのビームを形成することを特徴とする請求項6に記載のマルチビーム音響システム。
  8. イクアレイから入力される入力信号を望む方向に向ける固定ビーム形成部と、
    前記入力信号を受信し、受信された前記入力信号からノイズ基準信号を取得するためのブロッキング行列部と、
    前記ブロッキング行列部から出力される前記ノイズ基準信号から適応型ノイズ信号を取得するための可変ビーム形成部と、
    前記固定ビーム形成部から出力された信号で前記適応型ノイズ信号を取り除いた目的信号を出力するための除去手段を含む一般化サイドローブキャンセラと、を備えることを特徴とし、
    前記固定ビーム形成部は少なくとも二つの方向に同時に前記入力信号を向け、少なくとも二つの方向のビームの各々は、互いに異なる方向からの所望の音声信号のうちの一つを受信するためのビームであり、
    前記一般化サイドローブキャンセラが、
    少なくとも二つの方向に前記入力信号を向けるために、次の数学式のような制約条件を持つように設計されることで、前記適応ビーム形成装置は、互いに異なる方向であるマイクアレイの少なくとも二つのビームを同時に形成することを特徴とするマルチビーム音響システム。
    ここで、
    はi番目の制限行列、
    は望む方向の方向ベクトル、
    は加重値ベクトル行列、
    は目的とする衝撃応答を示す。


JP2013536536A 2010-10-29 2011-10-31 マルチビーム音響システム Active JP5913340B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020100106625A KR101103794B1 (ko) 2010-10-29 2010-10-29 멀티 빔 음향시스템
KR10-2010-0106625 2010-10-29
PCT/KR2011/008213 WO2012057589A2 (ko) 2010-10-29 2011-10-31 멀티 빔 음향시스템

Publications (2)

Publication Number Publication Date
JP2013546247A JP2013546247A (ja) 2013-12-26
JP5913340B2 true JP5913340B2 (ja) 2016-04-27

Family

ID=45613971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013536536A Active JP5913340B2 (ja) 2010-10-29 2011-10-31 マルチビーム音響システム

Country Status (4)

Country Link
US (1) US9521484B2 (ja)
JP (1) JP5913340B2 (ja)
KR (1) KR101103794B1 (ja)
WO (1) WO2012057589A2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015220400A1 (de) 2014-12-11 2016-06-16 Hyundai Motor Company Sprachempfangssystem im fahrzeug mittels audio-beamforming und verfahren zum steuern desselben
EP3231191A4 (en) * 2014-12-12 2018-07-25 Nuance Communications, Inc. System and method for generating a self-steering beamformer
WO2016123746A1 (en) * 2015-02-03 2016-08-11 SZ DJI Technology Co., Ltd. System and method for detecting aerial vehicle position and velocity via sound
JP6611474B2 (ja) * 2015-06-01 2019-11-27 クラリオン株式会社 集音装置、及び集音装置の制御方法
DE102015016380B4 (de) * 2015-12-16 2023-10-05 e.solutions GmbH Technik zum Unterdrücken akustischer Störsignale
KR102515996B1 (ko) 2016-08-26 2023-03-31 삼성전자주식회사 음성 인식을 위한 전자 장치 및 그 제어 방법
CN106548783B (zh) * 2016-12-09 2020-07-14 西安Tcl软件开发有限公司 语音增强方法、装置及智能音箱、智能电视
WO2018167921A1 (ja) * 2017-03-16 2018-09-20 三菱電機株式会社 信号処理装置
WO2019030898A1 (ja) 2017-08-10 2019-02-14 三菱電機株式会社 雑音除去装置および雑音除去方法
CN108132457A (zh) * 2017-12-22 2018-06-08 景晖 一种确定位置的语音来波方向估计方法和装置
CN108401208A (zh) * 2018-03-30 2018-08-14 斑马网络技术有限公司 带有收音场结构的车辆和车辆收音系统及其收音方法
JP7334406B2 (ja) * 2018-10-24 2023-08-29 ヤマハ株式会社 アレイマイクロフォンおよび収音方法
CN112216299B (zh) * 2019-07-12 2024-02-20 大众问问(北京)信息科技有限公司 双麦克风阵列波束形成方法、装置及设备
CN110751946A (zh) * 2019-11-01 2020-02-04 达闼科技成都有限公司 机器人及其语音识别装置和方法
CN114731467A (zh) * 2019-11-12 2022-07-08 阿里巴巴集团控股有限公司 线性差分定向麦克风阵列
EP3843421A1 (en) * 2019-12-23 2021-06-30 Bombardier Transportation GmbH Vehicle onboard condition monitoring

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3677143B2 (ja) * 1997-07-31 2005-07-27 株式会社東芝 音声処理方法および装置
JP3302300B2 (ja) * 1997-07-18 2002-07-15 株式会社東芝 信号処理装置および信号処理方法
JP3484112B2 (ja) * 1999-09-27 2004-01-06 株式会社東芝 雑音成分抑圧処理装置および雑音成分抑圧処理方法
US6748086B1 (en) * 2000-10-19 2004-06-08 Lear Corporation Cabin communication system without acoustic echo cancellation
KR100493172B1 (ko) 2003-03-06 2005-06-02 삼성전자주식회사 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치
JP2005084253A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd 音響処理装置、方法、プログラム及び記憶媒体
ATE413769T1 (de) * 2004-09-03 2008-11-15 Harman Becker Automotive Sys Sprachsignalverarbeitung für die gemeinsame adaptive reduktion von störgeräuschen und von akustischen echos
WO2007018293A1 (ja) * 2005-08-11 2007-02-15 Asahi Kasei Kabushiki Kaisha 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム
EP1850640B1 (en) * 2006-04-25 2009-06-17 Harman/Becker Automotive Systems GmbH Vehicle communication system
KR100856246B1 (ko) 2007-02-07 2008-09-03 삼성전자주식회사 실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법
KR100873000B1 (ko) * 2007-03-28 2008-12-09 경상대학교산학협력단 마이크 어레이를 이용한 방향성 음원 필터링 시스템 및 그방법
JP4867798B2 (ja) 2007-06-05 2012-02-01 ヤマハ株式会社 音声検出装置、音声会議システムおよび遠隔会議システム
JP2010091912A (ja) * 2008-10-10 2010-04-22 Equos Research Co Ltd 音声強調システム

Also Published As

Publication number Publication date
WO2012057589A3 (ko) 2012-06-21
JP2013546247A (ja) 2013-12-26
US20130216064A1 (en) 2013-08-22
US9521484B2 (en) 2016-12-13
KR101103794B1 (ko) 2012-01-06
WO2012057589A2 (ko) 2012-05-03

Similar Documents

Publication Publication Date Title
JP5913340B2 (ja) マルチビーム音響システム
US9338547B2 (en) Method for denoising an acoustic signal for a multi-microphone audio device operating in a noisy environment
US9002027B2 (en) Space-time noise reduction system for use in a vehicle and method of forming same
US8112272B2 (en) Sound source separation device, speech recognition device, mobile telephone, sound source separation method, and program
EP1718103B1 (en) Compensation of reverberation and feedback
EP1879180B1 (en) Reduction of background noise in hands-free systems
US10090000B1 (en) Efficient echo cancellation using transfer function estimation
CN102855880B (zh) 用于多话筒音频设备的去噪方法
CN105592384B (zh) 用于控制车内噪声的系统和方法
WO2016103709A1 (ja) 音声処理装置
US20170150256A1 (en) Audio enhancement
JP2007235943A (ja) 音声信号取得のためのハンドフリーシステム
WO2016103710A1 (ja) 音声処理装置
US20160119712A1 (en) System and method for in cabin communication
EP1538867B1 (en) Handsfree system for use in a vehicle
US20200380947A1 (en) Active noise control with feedback compensation
CN112673420B (zh) 静音区产生
CN110998715A (zh) 主动道路噪声控制
JP2010091912A (ja) 音声強調システム
US20220189450A1 (en) Audio processing system and audio processing device
JP2010085733A (ja) 音声強調システム
WO2018016044A1 (ja) 雑音除去装置、エコーキャンセリング装置、異音検出装置および雑音除去方法
JP5383008B2 (ja) 音声明瞭度改善システム及び音声明瞭度改善方法
US20200327887A1 (en) Dnn based processor for speech recognition and detection
CN116194988A (zh) 用于汽车免提通信的自适应降噪系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140728

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141024

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141031

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141126

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160401

R150 Certificate of patent or registration of utility model

Ref document number: 5913340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250