JP7122756B2 - 音声信号処理装置と音声信号処理方法と音声信号処理プログラム - Google Patents

音声信号処理装置と音声信号処理方法と音声信号処理プログラム Download PDF

Info

Publication number
JP7122756B2
JP7122756B2 JP2019525088A JP2019525088A JP7122756B2 JP 7122756 B2 JP7122756 B2 JP 7122756B2 JP 2019525088 A JP2019525088 A JP 2019525088A JP 2019525088 A JP2019525088 A JP 2019525088A JP 7122756 B2 JP7122756 B2 JP 7122756B2
Authority
JP
Japan
Prior art keywords
signal
individual
echo
microphones
filter coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019525088A
Other languages
English (en)
Other versions
JPWO2018230062A1 (ja
Inventor
一浩 鬼塚
徹 相川
靖仁 菊原
友里 実方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audio Technica KK
Original Assignee
Audio Technica KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audio Technica KK filed Critical Audio Technica KK
Publication of JPWO2018230062A1 publication Critical patent/JPWO2018230062A1/ja
Priority to JP2022097148A priority Critical patent/JP7323959B2/ja
Application granted granted Critical
Publication of JP7122756B2 publication Critical patent/JP7122756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、音声信号処理装置と、音声信号処理方法と、音声信号処理プログラムと、に関する。
近年、インターネットなどの通信回線を利用した電話会議システムやテレビ会議システムなどの通信会議システムが、物理的に離れた拠点間での会議に使用されている。このような通信会議システムでは、一方の拠点から受信した音声信号(以下「受話信号」という。)に基づく音声が他方の拠点のスピーカから出力されたとき、その出力された音声を他方の拠点のマイクロホンが収音することにより、音響エコーが発生する。
音響エコーは、通常、通信会議システムが備えるエコーキャンセラにより抑制・除去される。一般的なエコーキャンセラは、受話信号と、音響エコーに応じたエコー信号と、に基づいて、エコー信号を除去する除去信号を生成する適応フィルタを備え、除去信号とエコー信号とを加算または減算することにより、エコー信号を除去する。
このようなエコーキャンセラとして、複数のマイクロホンからのエコー信号を抑制・除去する多チャンネル対応のエコーキャンセラが提案されている(例えば、特許文献1参照。)
特開2002-252577号公報
特許文献1に開示されているエコーキャンセラは、複数のマイクロホンそれぞれに対応する複数のエコーキャンセル部を備え、各エコーキャンセル部が対応するマイクロホンからの入力信号に含まれるエコー信号を除去することにより、多チャンネルに対応する。すなわち、特許文献1に開示されているエコーキャンセラでは、マイクロホンと同数のエコーキャンセル部が必要となるため、回路構成や信号処理が複雑となる。
本発明は、以上のような従来技術の問題点を解消するためになされたもので、簡易な回路構成で複数のマイクロホンそれぞれからの入力信号に含まれるエコー信号を除去可能な音声信号処理装置と、音声信号処理方法と、音声信号処理プログラムと、を提供することを目的とする。
本発明にかかる音声信号処理装置は、受話信号を出力する出力部と、受話信号のエコー成分と、話者の音声と、を収音して、エコー成分に応じたエコー信号と、話者の音声に応じた音声信号と、を生成する複数のマイクロホンそれぞれから入力される信号を合成して送話信号を生成する入力部と、送話信号に含まれるエコー信号を除去する除去信号をフィルタ係数に基づいて生成する除去信号生成部と、フィルタ係数を算出する制御部と、送話信号と除去信号とに基づいて、エコー除去信号を生成する除去部と、を有してなり、制御部は、複数のマイクロホンそれぞれに対応する個別フィルタ係数を算出し、個別フィルタ係数を合成してフィルタ係数を算出する、ことを特徴とする。
本発明によれば、簡易な回路構成で複数のマイクロホンそれぞれからの入力信号に含まれるエコー信号を除去することができる。
本発明にかかる音声信号処理装置の実施の形態を示す機能ブロック図である。 本発明にかかる音声信号処理方法の実施の形態を示すフローチャートである。 図2の音声信号処理方法に含まれる初期化処理のフローチャートである。 図2の音声信号処理方法に含まれる初期学習処理のフローチャートである。 図4の初期学習処理での信号の流れを示す機能ブロック図である。 図2の音声信号処理方法に含まれるエコー信号除去処理のフローチャートである。 図6のエコー信号除去処理での信号の流れを示す機能ブロック図である。 図6の信号処理に含まれる特定処理のフローチャートである。 図8の特定処理での信号の流れを示す機能ブロック図である。 図8の信号処理に含まれる更新処理のフローチャートである。 図10の更新処理での信号の流れを示す機能ブロック図である。 本発明の別の実施の形態を示す機能ブロック図である。
以下、図面を参照しながら、本発明にかかる音声信号処理装置と、音声信号処理方法と、音声信号処理プログラムと、の実施の形態について説明する。
●音声信号処理装置●
先ず、本発明にかかる音声信号処理装置(以下「本装置」という。)の実施の形態について、説明する。
●音声信号処理装置の構成
図1は、本装置の実施の形態を示す機能ブロック図である。
本装置1は、音声や楽音を電気信号に変換するマイクロホン3などの機器からの信号(入力信号)の混合、分配、バランス調整などの処理を行う。本装置1は、例えば、ミキサである。
以下、例えば、本装置1が設置されている第1拠点の話者と、第1拠点とは物理的に離れた第2拠点の話者と、の間で行われるテレビ会議において、本装置1が使用される場合であって、本装置1が、第1拠点に配置されている1つのスピーカ2と、6つのマイクロホン3a,3b,3c,3d,3e,3f(いわゆる6チャンネル)と、に接続されている場合を例に説明する。第1拠点と第2拠点とは、例えば、会議室などの部屋である。
スピーカ2から室内の空間に出力された第2拠点からの音声(音)の一部は、同室内の空間を経由して、マイクロホン3に収音される。このとき、マイクロホン3は、スピーカ2から出力された音声(音)の一部(以下「エコー成分」という。)に応じた信号(以下「エコー信号」という。)esを生成して、エコー信号esを出力する。マイクロホン3は、第1拠点の話者が発話したとき、同話者の音声に応じた信号(以下「音声信号」という。)s1を生成して、音声信号s1を出力する。すなわち、第1拠点の話者と第2拠点の話者とが発話しているとき、マイクロホン3から出力される信号は、音声信号s1と、エコー信号esと、を含む。一方、第2拠点の話者のみが発話しているとき、マイクロホン3から出力される信号は、エコー信号esを含む。
本装置1は、第1入力部10と、第1出力部20と、第2入力部30と、切替部40と、制御部50と、記憶部60と、除去信号生成部70と、除去部80と、第2出力部90と、を有してなる。
本装置1は、パーソナルコンピュータなどで実現される。本装置1では、本発明にかかる情報処理プログラム(以下「本プログラム」という。)が動作して、本プログラムが本装置1のハードウェア資源と協働して、後述する本発明にかかる音声信号処理方法(以下「本方法」という。)を実現する。
なお、コンピュータ(不図示)に本プログラムを実行させることで、同コンピュータを本装置と同様に機能させて、同コンピュータに本方法を実行させることができる。
第1入力部10は、第2拠点の通信装置4と通信ケーブルなどの通信回線5を介して接続されて、第2拠点からの音声信号(以下「受話信号」という。)s2を受信する。第1入力部10は、例えば、コネクタや端子などの通信インターフェイス(I/F)、増幅器、などにより構成される。第1入力部10からの受話信号s2は、第1出力部20と、制御部50と、除去信号生成部70と、に入力される。
第1出力部20は、第1入力部10からの受話信号s2や制御部50からの基準信号s3を、スピーカ2に出力する。第1出力部20は、例えば、I/F、増幅器、などにより構成される。第1出力部20は、本発明における出力部である。「基準信号s3」は、本装置1が後述する本方法を実行するとき、スピーカ2を介して放出する基準音(例えば、ホワイトノイズ)に対応する信号である。基準信号s3は、制御部50により生成される。
第2入力部30は、各マイクロホン3a-3fと接続されて、同マイクロホン3a-3fそれぞれからの信号を受信する。第2入力部30は、例えば、I/F、増幅器、AD変換器、可変抵抗、などにより構成される。第2入力部30は、本発明における入力部である。第2入力部30は、受信した各信号のゲインを調整した信号(以下「個別送話信号」という。)s41,s42,s43,s44,s45,s46を生成すると共に、各個別送話信号s41-s46を合成した信号(以下「送話信号」という。)s4を生成する。すなわち、第2入力部30は、各個別送話信号s41-s46、換言すれば、各マイクロホン3a-3fそれぞれからの信号、を合成して送話信号s4を生成する。第2入力部30は、送話信号s4と各個別送話信号s41-s46それぞれに対応する7つの伝送路(不図示)を備える。生成された送話信号s4と各個別送話信号s41-s46とは、切替部40に入力される。以下、個別送話信号s41-s46を区別することなく総称する場合、各個別送話信号s41-s46を個別送話信号s40と記載する。
各信号のゲインの調整は、公知のゲインシェアリングのアルゴリズムを用いて実行される。「ゲインシェアリング」は、各マイクロホン3a-3fからの入力と、同入力の和と、を比較(例えば、マイクロホン3aからのみ信号の入力があるときと、マイクロホン3a-3fから信号の入力があるときと、を比較)して、トータルのゲイン値Gが一定値になるように各マイクロホン3a-3fからの信号の伝送路(増幅器)に設定されるゲイン値g1,g2,g3,g4,g5,g6を調節するアルゴリズムである。換言すれば、ゲインシェアリングは、各伝送路のトータルのゲイン値Gが一定値になるように、各マイクロホン3a-3fに対応するゲイン値g1-g6を調節するアルゴリズムである。各伝送路に設定されたゲイン値g1-g6は、記憶部60に記憶される。以下、各ゲイン値g1-g6を区別することなく総称する場合、各ゲイン値g1-g6をゲイン値gと記載する。
送話信号s4と個別送話信号s41-s46とは、前述のとおり、各マイクロホン3a-3fそれぞれからの信号に基づいて生成される。すなわち、送話信号s4と個別送話信号s41-s46とは、第1拠点の話者が発話しているとき音声信号s1とエコー信号esとを含み、第1拠点の話者が発話していないときエコー信号esを含む。
切替部40は、制御部50からの切替信号に基づいて、第2入力部30の伝送路を切り替えることにより、第2入力部30から制御部50や除去部80に入力される信号を切り替える。すなわち、切替部40は、6つのマイクロホン3a-3fそれぞれに対応する個別送話信号s40や送話信号s4のうち、制御部50や除去部80に入力される信号を切り替える。切替部40は、例えば、ロータリースイッチやスライドスイッチなどで構成される。切替部40の動作については、後述する。
制御部50は、本装置1が後述する本方法を実行するために必要な係数の算出、音声信号s1や受話信号s2の検出、エコーリターンロスの測定、などを実行する。制御部50は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などのプロセッサや、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などの集積回路により構成される。制御部50の動作と、エコーリターンロスと、については、後述する。
記憶部60は、本装置1が後述する本方法を実行するために必要な情報を記憶する手段である。記憶部60は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録装置や、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、などにより構成される。記憶部60に記憶される情報については、後述する。
除去信号生成部70は、受話信号s2とフィルタ係数Fとに基づいて、除去信号s5を生成する。除去信号生成部70は、例えば、公知のFIR(Finite Impulse Response)フィルタである。「除去信号s5」は、送話信号s4に含まれるエコー信号esを除去(抑制)する信号である。すなわち、例えば、除去信号s5は、送話信号s4に含まれるエコー信号esと同位相(あるいは、限りなく同位相に近い)信号である。除去信号生成部70による除去信号s5の生成については、後述する。
「フィルタ係数F」は、除去信号生成部70が受話信号s2に対してFIR処理を実行し、除去信号s5を生成するために用いる係数である。すなわち、除去信号生成部70は、フィルタ係数Fに基づいて、受話信号s2に対してFIR処理を実行して、除去信号s5を生成する。フィルタ係数Fは、前述のとおり、制御部50により算出される。制御部50によるフィルタ係数Fの算出については、後述する。
除去部80は、送話信号s4と除去信号s5とに基づいて、送話信号s4に含まれるエコー信号esを除去して、エコー除去信号s6を生成する。除去部80は、例えば、減算回路や加算回路などの演算回路である。除去部80によるエコー除去信号s6の生成については、後述する。
「エコー除去信号s6」は、前述のとおり、送話信号s4からエコー信号esを除去(抑制)した信号である。エコー除去信号s6は、第1拠点の話者が発話しているとき音声信号s1と残留エコー信号resとを含み、第1拠点の話者が発話していないとき残留エコー信号resを含む。「残留エコー信号res」は、エコー信号esと除去信号s5との差分信号である。すなわち、例えば、エコー除去信号s6がエコー信号esを完全に除去したとき(エコー信号esと除去信号s5との位相が同位相のとき)、両信号を減算して生成される残留エコー信号resの信号レベルは、「0」である。エコー除去信号s6は、制御部50と第2出力部90とに入力される。
第2出力部90は、通信回線5に接続されて、同通信回線5にエコー除去信号s6を出力する。第2出力部90は、例えば、I/F、増幅器、などにより構成される。第2出力部90からのエコー除去信号s6は、通信回線5を介して、第2拠点の通信装置4に入力される。
●音声信号処理方法●
次に、本方法について説明する。
図2は、本方法の実施の形態を示すフローチャートである。
本装置1は、本方法において、初期化処理(ST1)と、初期学習処理(ST2)と、エコー信号除去処理(ST3)と、後述する特定処理(ST4)(図8参照)と、後述する更新処理(ST5)(図10参照)と、を実行する。本装置1は、本方法において、各処理(ST1-ST5)を実行することにより、共通する1つのFIRフィルタ(除去信号生成部70)で6つのマイクロホン3(6チャンネル)に対応し、かつ、後述するように環境変化に自動的に対応したエコーキャンセルを実現する。
本装置1は、本装置1の電源投入後、初期化処理(ST1)を実行する。
●初期化処理
図3は、初期化処理(ST1)のフローチャートである。
「初期化処理(ST1)」は、パラメータの初期化や、環境測定などを実行する処理である。
先ず、本装置1は、パラメータの初期化を行う(ST101)。「パラメータ」は、後述する個別フィルタ係数kの算出に用いられるアルゴリズム(適応アルゴリズム)に設定される値である。
次いで、本装置1は、制御部50を用いて、本装置1とスピーカ2とマイクロホン3とが設置されている第1拠点の環境測定を実行する(ST102)。「環境測定」は、本装置1とスピーカ2とマイクロホン3とが設置されている第1拠点のスピーカ2からマイクロホン3までのエコー成分の伝達経路(環境)に関する項目(例えば、残響時間、遅延時間、最大エコー量、暗騒音)の測定である。本装置1は、スピーカ2を介して基準音を第1拠点内に出力して、同基準音のエコー成分をマイクロホン3を介して収音する。制御部50は、残響時間と、遅延時間と、最大エコー量と、暗騒音と、を測定する。環境測定は、マイクロホン3a-3fごとに実行される。
「残響時間」は、第1拠点内に基準音を出力(放射)して、同基準音の出力を停止してから同音の残響音のエネルギー密度が60dB減衰するまでに要する時間である。「遅延時間」は、スピーカ2から出力した基準音をマイクロホン3が収音するまでに要する時間である。「最大エコー量」は、第1拠点内でマイクロホン3が収音するエコー成分の最大量である。「暗騒音」は、第1拠点内の騒音(空調の音や室外の車の音など)の音圧レベルである。
次いで、本装置1は、マイクロホン3a-3fそれぞれに対応する環境測定の測定結果を記憶部60に記憶する(ST103)。
次いで、本装置1は、マイクロホン3a-3fそれぞれに対応する環境測定の測定結果に基づいてパラメータを特定する(ST104)。パラメータは、環境測定の測定結果に基づいて新規に算出され、あるいは、環境測定の測定結果に基づいて予め記憶部60に記憶されている複数のパラメータ群から1のパラメータ群が選択されることにより、特定される。
●初期学習処理
図4は、初期学習処理(ST2)のフローチャートである。
図5は、初期学習処理(ST2)での信号の流れを示す機能ブロック図である。
同図は、初期学習処理(ST2)での信号の流れのうち、主要な流れを矢印で示す。
「初期学習処理(ST2)」は、本装置1の電源投入後などに、本装置1がフィルタ係数Fを最初に算出(学習)する処理である。
先ず、本装置1は、切替部40と制御部50とを用いて、第2入力部30の伝送路をマイクロホン3aからの伝送路に切り替える(ST201)。切替部40による伝送路の切替は、制御部50からの切替信号に基づいて、行われる。
次いで、本装置1は、第2入力部30を用いて、マイクロホン3aに対応する個別送話信号s41を生成する(ST202)。制御部50は、基準信号s3を生成して、基準信号s3を第1出力部20に入力する。本装置1は、スピーカ2から基準音を出力して、同基準音のエコー成分を前述の処理(ST201)で切り替えた伝送路に対応するマイクロホン3(マイクロホン3a)により収音する。第2入力部30は、マイクロホン3aから入力される信号に基づいて、マイクロホン3aに対応する個別送話信号s41を生成する。同個別送話信号s41は、基準音のエコー成分に応じたエコー信号esを含む。個別送話信号s41は、第2入力部30から切替部40を介して、除去部80に入力される。
次いで、本装置1は、制御部50と除去信号生成部70とを用いて、個別除去信号s51を生成する(ST203)。「個別除去信号s51」は、個別送話信号s41に含まれるエコー信号(以下「個別エコー信号」という。)es1を除去する信号である。以下、個別除去信号s51-s56を区別することなく総称する場合、個別除去信号s51-s56を個別除去信号s50と記載する。
制御部50は、記憶部60からマイクロホン3aに対応する個別フィルタ係数k1の初期値を読み出し、除去信号生成部70に入力(設定)する。除去信号生成部70は、基準信号s3と個別フィルタ係数k1とに基づいて、個別除去信号s51を算出する。個別除去信号s51は、除去部80に入力される。
「個別フィルタ係数k1」は、スピーカ2からマイクロホン3aに至る音響伝達経路の伝達関数である。すなわち、個別フィルタ係数k1は、除去信号生成部70が参照信号に対してFIR処理を実行して、個別除去信号s51を生成するために用いる係数である。「参照信号」は、除去信号生成部70が個別フィルタ係数k1に基づいて個別除去信号s51を生成する基となる信号(初期学習処理(ST2)では基準信号s3、エコー信号除去処理(ST3)と特定処理(ST4)と更新処理(ST5)とでは受話信号s2)である。
次いで、本装置1は、除去部80を用いて、個別送話信号s41に含まれる個別エコー信号es1を除去して、個別エコー除去信号s61を生成する(ST204)。除去部80は、個別送話信号s41と個別除去信号s51とに基づいて、個別エコー除去信号s61を生成する。個別エコー除去信号s61は、除去部80から制御部50と第2出力部90とに入力される。このとき、第2出力部90は、個別エコー除去信号s61をミュートする。その結果、個別エコー除去信号s61は、第2拠点に送信されない。
なお、第2出力部は、個別エコー除去信号をアッテネートしてもよく、あるいは、個別エコー除去信号をミュートした上でダミーノイズ(ピンクノイズ)を第2拠点に送信してもよい。
「個別エコー除去信号s61」は、個別送話信号s41から個別エコー信号es1を除去(抑制)した信号である。個別エコー除去信号s61は、個別残留エコー信号res11を含む。以下、個別エコー除去信号s61-s66を区別することなく総称する場合、個別エコー除去信号s61-s66を個別エコー除去信号s60と記載する。「個別残留エコー信号res11」は、個別エコー信号es1と個別除去信号s51との差分信号である。除去部80は、個別送話信号s41から個別除去信号s51を減算して、個別エコー除去信号s61を生成する。以下、個別残留エコー信号res11-res16を区別することなく総称する場合、個別残留エコー信号res11-res16を個別残留エコー信号res10と記載する。
次いで、本装置1は、制御部50を用いて、マイクロホン3aに対応する個別フィルタ係数k1を算出する(ST205)。制御部50は、マイクロホン3aからの信号の伝送路に設定された(マイクロホン3aに対応する)ゲイン値g1を記憶部60から読み出す。次いで、制御部50は、読み出されたゲイン値g1と、基準信号s3と、個別エコー除去信号s61(すなわち、個別エコー除去信号s61に含まれる個別残留エコー信号res11)と、に基づいて、公知の適応アルゴリズムを用いて、マイクロホン3aに対応する個別フィルタ係数k1を算出する。
算出された個別フィルタ係数k1は、記憶部60に記憶される(ST206)。その結果、記憶部60に記憶されている個別フィルタ係数k1は、初期値から算出値へ更新される。
本装置1は、全てのマイクロホン3a-3fに対応する個別フィルタ係数k1-k6を算出するまで(ST207の「いいえ」)、処理(ST201-ST206)を繰り返す。ここで、前述のとおり、適応アルゴリズムのパラメータは、マイクロホン3それぞれに対応する環境測定の測定結果に基づいて、特定される。換言すれば、制御部50は、マイクロホン3それぞれに対応する環境測定の測定結果に基づいて、マイクロホン3それぞれに対応する個別フィルタ係数kを算出する。
全てのマイクロホン3a-3fに対応する個別フィルタ係数k1-k6が算出されたとき(ST207の「はい」)、本装置1は、制御部50を用いて、フィルタ係数Fを算出する(ST208)。制御部50は、各マイクロホン3a-3fからの信号の伝送路のゲイン値g1-g6と、各個別フィルタ係数k1-k6と、を記憶部60から読み出し、ゲイン値g1-g6と個別フィルタ係数k1-k6とに基づいて、フィルタ係数Fを算出する。フィルタ係数Fは、各個別フィルタ係数k1-k6を合成して算出される。以下、個別フィルタ係数k1-k6を区別することなく総称する場合、個別フィルタ係数k1-k6を個別フィルタ係数kと記載する。
各個別フィルタ係数k1-k6の合成は、各マイクロホン3a-3fに対応する個別フィルタ係数k1-k6ごとに、個別フィルタ係数kにゲイン値gを乗算して、その結果を加算することにより、実行される。すなわち、フィルタ係数Fは、マイクロホン3aに対応する個別フィルタ係数k1とゲイン値g1とを乗算した値と、マイクロホン3bに対応する個別フィルタ係数k2とゲイン値g2とを乗算した値と、マイクロホン3cに対応する個別フィルタ係数k3とゲイン値g3とを乗算した値と、マイクロホン3dに対応する個別フィルタ係数k4とゲイン値g4とを乗算した値と、マイクロホン3eに対応する個別フィルタ係数k5とゲイン値g5とを乗算した値と、マイクロホン3fに対応する個別フィルタ係数k6とゲイン値g6とを乗算した値と、を加算して算出される。
算出されたフィルタ係数Fは、記憶部60に記憶されると共に、除去信号生成部70に入力(設定)される(ST209)。その結果、除去信号生成部70は、フィルタ係数Fに基づいて、除去信号s5の生成が可能となる。
このように、本方法は、各マイクロホン3a-3fに対応する個別フィルタ係数k1-k6を算出して、合成することで、フィルタ係数Fを算出する。そのため、本装置1は、マイクロホンごとにエコーキャンセル部を備える従来の装置とは異なり、1つのエコーキャンセル部(制御部50と除去信号生成部70と除去部80とに相当)により各マイクロホン3a-3fからの信号に含まれるエコー信号esを除去可能である。すなわち、本装置1は、6つのマイクロホン3a-3fからの入力に対して、共通する1つのFIRフィルタ(除去信号生成部70)によりエコーキャンセルを実行する。つまり、本装置1は、従来の装置と比較して、簡易な回路構成で各マイクロホン3a-3fからの信号に含まれるエコー信号esを除去可能である。
●エコー信号除去処理
図6は、エコー信号除去処理(ST3)のフローチャートである。
図7は、エコー信号除去処理(ST3)での信号の流れを示す機能ブロック図である。
同図は、エコー信号除去処理(ST3)での信号の流れのうち、主要な流れを矢印で示す。
「エコー信号除去処理(ST3)」は、例えば、第1拠点と第2拠点との間の会議中など、第1入力部10が受信した信号に受話信号s2が含まれるとき、送話信号s4から受話信号s2に対応するエコー信号esを除去する処理である。前述のとおり、第1入力部10からの信号(受話信号s2)は、第1出力部20と、制御部50と、除去信号生成部70と、に入力される。
先ず、本装置1は、制御部50を用いて、第1入力部10からの信号に受話信号s2が含まれるか否か、つまり、受話信号s2の有無を検出する(ST301)。制御部50は、例えば、第1入力部10からの信号(信号レベル)と、所定の閾値V1と、を比較することにより、受話信号s2の有無を検出する。受話信号s2が有るとき、送話信号s4は、受話信号s2に対応するエコー信号esを含む。
「閾値V1」は、制御部50が第1入力部10からの信号に受話信号s2が含まれるか否かを検出するための閾値である。閾値V1は、記憶部60に記憶されている。
第1入力部10からの信号(信号レベル)が閾値V1より小さい(受話信号s2が無い)とき(ST301の「いいえ」)、本装置1は、受話信号s2の有無の検出を繰り返す。
一方、第1入力部10からの信号が閾値V1以上(受話信号s2が有る)のとき(ST301の「はい」)、本装置1は、切替部40と制御部50とを用いて、第2入力部30の伝送路を送話信号s4の伝送路に切り替える(ST302)。
次いで、本装置1は、第2入力部30を用いて、送話信号s4を生成する(ST303)。送話信号s4は、切替部40を介して、第2入力部30から制御部50と除去部80とに入力される。
次いで、本装置1は、制御部50と除去信号生成部70とを用いて、除去信号s5を生成する(ST304)。制御部50は、記憶部60からフィルタ係数Fを読み出して、除去信号生成部70に入力(設定)する。除去信号生成部70は、制御部50から入力されたフィルタ係数Fに基づいて、受話信号s2から除去信号s5を生成する。フィルタ係数Fは、初期学習処理(ST2)において算出されたフィルタ係数F、または、後述する更新処理(ST5)において算出して更新されたフィルタ係数Fである。
次いで、本装置1は、除去部80を用いて、送話信号s4に含まれるエコー信号esを除去して、エコー除去信号s6を生成する(ST305)。除去部80は、送話信号s4と除去信号s5とに基づいて、エコー除去信号s6を生成する。エコー除去信号s6は、制御部50と第2出力部90とに入力される。
次いで、本装置1は、制御部50を用いて、エコーリターンロス(Echo Return Loss:ERL)を測定する(ST306)。
「ERL」は、送話信号s4とエコー除去信号s6のレベル差、すなわち、エコー除去信号s6に含まれる残留エコー信号resの大きさ(信号レベル)である。ERLは、例えば、マイクロホン3の設置場所の変更や、スピーカ2の出力レベルの変動などに影響を受ける。すなわち、例えば、ERLは、話者によりマイクロホン3の位置が動かされ、エコー成分の伝達経路が変化(環境変化)したときに悪化する。制御部50は、送話信号s4の信号レベルと、エコー除去信号s6の信号レベルと、に基づいて、ERLを測定する。すなわち、制御部50は、送話信号s4の信号レベルからエコー除去信号s6の信号レベルを減算することにより、ERLを測定する。
次いで、本装置1は、制御部50を用いて、測定したERLと、所定の閾値V2と、を比較する(ST307)。「閾値V2」は、本装置1によるエコー信号esの除去が十分か否か(残留エコー信号resの信号レベルが大きいか否か)の閾値である。すなわち、本装置1によるエコー信号esの除去が不十分なとき、ERLは、閾値V2以上となる(悪化する)。一方、本装置1によるエコー信号esの除去が十分なとき、ERLは、閾値V2より小さい。閾値V2は、本発明における基準値である。閾値V2は、記憶部60に記憶されている。
ERLが閾値V2より小さいとき(ST307の「いいえ」)、本装置1は、第2出力部90を用いて、エコー除去信号s6を第2拠点の通信装置4に出力して(ST308)、処理(ST301)に戻る。
一方、ERLが閾値V2以上のとき(ST307の「はい」)、本装置1は、制御部50を用いて、送話信号s4に音声信号s1が含まれているか否か(音声信号s1の有無)を検出する(ST309)。制御部50は、例えば、第2入力部30からの送話信号s4(信号レベル)と、所定の閾値V3と、を比較することにより、音声信号s1の有無を検出する。
「閾値V3」は、制御部50が第2入力部30からの送話信号s4に音声信号s1が含まれるか否かを検出するための閾値である。閾値V3は、記憶部60に記憶されている。
送話信号s4の信号レベルが閾値V3以上(音声信号s1が有る)のとき(ST309の「はい」)、本装置1は、第2出力部90を用いて、エコー除去信号s6を第2拠点の通信装置4に出力して(ST308)、処理(ST301)に戻る。
一方、送話信号s4の信号レベルが閾値V3より小さい(音声信号s1が無い)とき(ST309の「いいえ」)、本装置1は、第2出力部90を用いて、エコー除去信号s6を第2拠点の通信装置4に出力して(ST310)、特定処理(ST4)を実行する。
このように、本装置1は、ERLが閾値V2以上のとき、受話信号s2が有り、かつ、音声信号s1が無いタイミング、で特定処理(ST4)を実行する。すなわち、本装置1は、ERLと閾値V2との比較結果に基づいて、送話信号s4にエコー信号esが含まれており、かつ、送話信号s4に音声信号s1が含まれていないとき、特定処理(ST4)を実行する。換言すれば、本装置1は、エコー信号除去処理(ST3)の実行中に環境変化を検知すると、特定処理(ST4)を実行する。
なお、ERLの値が負の値として測定されるとき、閾値V2は負の値であり、本装置1は前述の処理(ST307)でのERLと閾値V2との大小の比較を逆にしてもよい。すなわち、例えば、負の値であるERLが閾値V2以下のとき、本装置は、制御部を用いて、送話信号に音声信号が含まれているか否か(音声信号の有無)を検出してもよい。
●特定処理
図8は、特定処理(ST4)のフローチャートである。
図9は、特定処理(ST4)での信号の流れを示す機能ブロック図である。
同図は、特定処理(ST4)での信号の流れのうち、主要な流れを矢印で示す。同図は、説明の便宜上、マイクロホン3a-3fのうち、マイクロホン3aからの信号に対応する各信号のみを示す。
「特定処理(ST4)」は、マイクロホン3を特定マイクロホン、または、非特定マイクロホンとして特定する処理である。「特定マイクロホン」は、対応する個別フィルタ係数kが適正でない(ずれている)マイクロホン3、すなわち、個別フィルタ係数kの更新の対象となるマイクロホン3である。ERLの悪化は、エコー信号esに対するフィルタ係数Fのずれ、すなわち、各個別エコー信号es1-es6に対する各個別フィルタ係数k1-k6のずれ、に起因する。そのため、特定マイクロホンに対応する個別フィルタ係数kは、適正な値に更新する必要がある。「非特定マイクロホン」は、対応する個別フィルタ係数kが適正な(ずれていない)マイクロホン3、すなわち、個別フィルタ係数kの更新の対象とならないマイクロホン3である。
先ず、本装置1は、制御部50を用いて、送話信号s4に音声信号s1が含まれているか否か(音声信号s1の有無)を検出する(ST401)。音声信号s1の有無の検出(ST401)は、エコー信号除去処理(ST3)における音声信号s1の有無の検出(ST309)と同様の処理である。
送話信号s4に音声信号s1が含まれていない(音声信号s1が無い)とき(ST401の「いいえ」)、本装置1は、切替部40と制御部50とを用いて、第2入力部30の伝送路をマイクロホン3aからの信号の伝送路に切り替える(ST402)。
次いで、本装置1は、第2入力部30を用いて、マイクロホン3aからの信号に基づいて、個別送話信号s41を生成する(ST403)。個別送話信号s41は、切替部40を介して、除去部80へ入力される。
次いで、本装置1は、制御部50と除去信号生成部70とを用いて、個別除去信号(特定除去信号)s51を生成する(ST404)。制御部50は、記憶部60からマイクロホン3aに対応する個別フィルタ係数k1を読み出して、除去信号生成部70に入力する。除去信号生成部70は、受話信号s2と個別フィルタ係数k1とに基づいて、個別除去信号s51を生成する。個別除去信号s51は、除去部80に入力される。
次いで、本装置1は、除去部80を用いて、個別送話信号s41に含まれる個別エコー信号es1を除去して、個別エコー除去信号s61を生成する(ST405)。除去部80は、個別送話信号s41と個別除去信号s51とに基づいて、個別エコー除去信号s61を生成する。個別エコー除去信号s61は、除去部80から制御部50と第2出力部90とに入力される。
次いで、本装置1は、制御部50を用いて、個別ERLを測定する(ST406)。
「個別ERL」は、個別送話信号s41と個別エコー除去信号s61のレベル差、すなわち、個別エコー除去信号s61に含まれる個別残留エコー信号res11の大きさ(信号レベル)である。制御部50は、個別送話信号s41の信号レベルと、個別エコー除去信号s61の信号レベルと、に基づいて、個別ERLを測定する。すなわち、制御部50は、個別送話信号s41の信号レベルから個別エコー除去信号s61の信号レベルを減算することにより、個別ERLを測定する。
次いで、本装置1は、制御部50を用いて、測定した個別ERLと所定の閾値V4とを比較する(ST407)。
「閾値V4」は、本装置1による個別エコー信号es1の除去が十分か否か(個別残留エコー信号res11の信号レベルが大きいか否か)の閾値である。すなわち、本装置1による個別エコー信号es1の除去が不十分なとき、個別ERLは、閾値V4以上となる(悪化する)。一方、本装置1による個別エコー信号es1の除去が十分なとき、個別ERLは、閾値V4より小さい。閾値V4は、本発明における個別基準値である。閾値V4は、記憶部60に記憶されている。
個別ERLが閾値V4より小さいとき(ST407の「いいえ」)、本装置1は、マイクロホン3aを非特定マイクロホンとして特定する(ST408)。一方、個別ERLが閾値V4以上のとき(ST407の「はい」)、本装置1は、マイクロホン3aを特定マイクロホンとして特定する(ST409)。特定結果は、記憶部60に記憶される(ST410)。このとき、個別エコー除去信号s61は、第2出力部90から出力される。
本装置1は、全てのマイクロホン3a-3fを特定マイクロホン、または、非特定マイクロホンとして特定するまで、残りのマイクロホン3b-3fからの信号に対して処理(ST401-ST410)を繰り返す(ST411の「いいえ」)。すなわち、本装置1は、切替部40を用いて、残りのマイクロホン3b-3fそれぞれに対応する個別送話信号s42-s46を切り替えながら除去部80に入力して、各マイクロホン3a-3fを、特定マイクロホン、または、非特定マイクロホンのいずれかに決定する。
本装置1は、各マイクロホン3a-3fを特定マイクロホン、または、非特定マイクロホンとして特定したとき(ST411の「はい」)、更新処理(ST5)を実行する。このとき、マイクロホン3は、特定マイクロホンと、非特定マイクロホンと、で構成される。
送話信号s4に音声信号s1が含まれている(音声信号s1が有る)とき(ST401の「はい」)、本装置1は、特定処理(ST4)を終了(中断)して、エコー信号除去処理(ST3)を実行する。すなわち、特定処理(ST4)が完了する前に制御部50が音声信号s1を検出したとき、本装置1は特定処理(ST4)を中断してエコー信号除去処理(ST3)を実行する。特定処理(ST4)を中断した場合、本装置1は、エコー信号除去処理(ST3)において送話信号s4に音声信号s1が含まれないと判定したとき、中断された処理(特定マイクロホン、または、非特定マイクロホンとして特定されていないマイクロホン3からの信号に対する処理)から特定処理(ST4)を実行する(再開する)。すなわち、例えば、各マイクロホン3a-3fのうち、マイクロホン3dまで特定処理(ST4)が実行された段階で中断されていれば、特定処理(ST4)は、マイクロホン3eから再開される。
なお、本装置は、特定処理を中断したとき、特定処理を最初から、つまり、全てのマイクロホンに対して実行してもよい。
また、個別ERLの値が負の値として測定されるとき、閾値V4は負の値であり、本装置1は前述の処理(ST407)での個別ERLと閾値V4との大小の比較を逆にしてもよい。すなわち、例えば、負の値である個別ERLが閾値V4以下のとき、本装置は、同個別ERLに対応するマイクロホン3を特定マイクロホンとして特定してもよい。
このように、本装置1は、個別ERLと個別基準値(閾値V4)との比較結果に基づいて、複数のマイクロホン3a-3fの中から個別フィルタ係数kの更新の対象となる特定マイクロホンと、個別フィルタ係数kの更新の対象とならない非特定マイクロホンと、を決定する。すなわち、本装置1は、ERLが悪化したとき、送話信号s4にエコー信号esが含まれ、かつ、送話信号s4に音声信号s1が含まれないタイミングで特定マイクロホンを決定する。そのため、本装置1は、個別フィルタ係数kの更新が必要なマイクロホン3を限定し、個別フィルタ係数kの更新と、フィルタ係数Fの更新と、に必要な時間や、処理負荷を低減する。
●更新処理
図10は、更新処理(ST5)のフローチャートである。
図11は、更新処理(ST5)での信号の流れを示す機能ブロック図である。
同図は、更新処理(ST5)での信号の流れのうち、主要な流れを矢印で示す。同図は、マイクロホン3cからの信号に対応する各信号のみを示す。
「更新処理(ST5)」は、特定マイクロホンとして特定されたマイクロホン3に対応する個別フィルタ係数kを更新することにより、フィルタ係数Fを更新する処理である。すなわち、例えば、マイクロホン3aが特定マイクロホンとして特定されたとき、本装置1は、マイクロホン3aに対応する個別フィルタ係数k1を更新してフィルタ係数Fを更新する。また、マイクロホン3e,3fが特定マイクロホンとして特定されたとき、本装置1は、マイクロホン3e,3fに対応する個別フィルタ係数k5,k6を更新してフィルタ係数Fを更新する。以下、マイクロホン3cが特定マイクロホンとして特定された場合を例に説明する。
先ず、本装置1は、制御部50を用いて、送話信号s4(または、個別送話信号s43)に音声信号s1が含まれているか否か(音声信号s1の有無)を検出する(ST501)。音声信号s1の有無の検出(ST501)は、エコー信号除去処理(ST3)における音声信号s1の有無の検出(ST309)と同様の処理である。
先ず、本装置1は、切替部40と制御部50とを用いて、第2入力部30の伝送路を特定マイクロホン(マイクロホン3c)からの信号の伝送路に切り替える(ST502)。
次いで、本装置1は、特定マイクロホン(マイクロホン3c)からの信号に基づいて、個別送話信号s43を生成する(ST503)。
次いで、本装置1は、制御部50と除去信号生成部70とを用いて、個別除去信号s53を生成する(ST504)。制御部50は、記憶部60から特定マイクロホンに対応する個別フィルタ係数k3を読み出して、除去信号生成部70に入力する。除去信号生成部70は、受話信号s2と個別フィルタ係数k3とに基づいて、個別除去信号s53を生成する。個別除去信号s53は、本発明における特定除去信号である。個別除去信号s53は、除去部80に入力される。
次いで、本装置1は、除去部80を用いて、個別送話信号s43に含まれる個別エコー信号es3を除去して、個別エコー除去信号s63を生成する(ST505)。個別エコー除去信号s63は、本発明における特定エコー除去信号である。個別エコー除去信号s63は、制御部50と第2出力部90とに入力される。
次いで、本装置1は、制御部50を用いて、個別エコーリターンロス(個別ERL)を測定する(ST506)。
次いで、本装置1は、制御部50を用いて、測定した個別ERLと所定の閾値V4とを比較する(ST507)。
個別ERLが閾値V4以上のとき(ST507の「はい」)、本装置1は、制御部50を用いて、個別フィルタ係数k3を算出する(ST508)。制御部50は、特定マイクロホンからの信号の伝送路に設定したゲイン値g3を記憶部60から読み出す。制御部50は、読み出されたゲイン値g3と、個別エコー除去信号s63(すなわち、個別(特定)エコー除去信号s63に含まれる個別残留エコー信号res13)と、受話信号s2と、環境測定結果と、に基づいて、個別フィルタ係数k3を算出する。
次いで、本装置1は、算出した個別フィルタ係数k3を記憶部60に記憶して、すなわち、記憶部60に記憶されている個別フィルタ係数k3を更新して(ST509)、処理(ST504)に戻る。
一方、個別ERLが閾値V4より小さいとき(ST507の「いいえ」)、本装置1は、制御部50を用いて、記憶部60に記憶されているフィルタ係数Fを更新する(ST510)。制御部50は、更新された特定マイクロホンに対応する個別フィルタ係数k3と、非特定マイクロホンに対応する個別フィルタ係数k1,k2,k4-k6と、各伝送路に設定されたゲイン値g1-g6と、を記憶部60から読み出し、フィルタ係数Fを算出する。フィルタ係数Fは、初期学習処理(ST2)の処理(ST208)と同様に算出される。
次いで、本装置1は、算出したフィルタ係数Fを記憶部60に記憶して、すなわち、記憶部60に記憶されているフィルタ係数Fを更新して(ST511)、エコー信号除去処理(ST3)に戻る。
このように、本装置1は、特定処理(ST4)において個別ERLが悪化したマイクロホン3を特定マイクロホンとして特定し、特定マイクロホンに対してのみ更新処理(ST5)を実行する。その結果、フィルタ係数Fの更新にかかる処理負荷は軽減され、同処理時間は短縮される。
また、本装置1は、エコー信号除去処理(ST3)において、常にERLと閾値V2とを比較(すなわち、ERLを監視)する。ERLが閾値V2以上のとき、本装置1は、送話信号s4にエコー信号esが含まれ、かつ、音声信号s1が含まれないタイミングで、特定処理(ST4)と更新処理(ST5)とを実行する。特定処理(ST4)において、本装置1は、マイクロホン3ごとに個別ERLと閾値V4とを比較する。個別ERLが閾値V4以上のとき、本装置1は、個別フィルタ係数kの更新の対象となる特定マイクロホンを決定する。更新処理(ST5)において、本装置1は、受話信号s2と、個別エコー除去信号(特定エコー除去信号)s60に含まれる個別残留エコー信号res10と、に基づいて、特定マイクロホンに対応する個別フィルタ係数kを算出する。本装置1は、特定マイクロホンに対応する個別フィルタ係数kと、非特定マイクロホンに対応する個別フィルタ係数kと、に基づいて、フィルタ係数Fを算出・更新する。
●まとめ
以上説明した実施の形態によれば、制御部50は、複数のマイクロホン3a-3fそれぞれに対応する個別フィルタ係数k1-k6を算出し、各個別フィルタ係数k1-k6を合成してフィルタ係数Fを算出する。除去信号生成部70は、算出したフィルタ係数Fに基づいて、除去信号s5を生成する。除去部80は、送話信号s4と除去信号s5とに基づいて、送話信号s4に含まれるエコー信号esを除去する(エコー除去信号s6を生成する)。そのため、本装置1は、複数のマイクロホンそれぞれに対応するエコーキャンセル部を備える従来の装置と異なり、共通する1つのFIRフィルタ(除去信号生成部70)により複数のマイクロホン3(多チャンネル)からの信号に含まれるエコー信号esを除去することができる。すなわち、本装置1は、従来の装置と比較して簡易な回路構成を実現する。つまり、本装置1は、1つの共通するFIRフィルタを用いるという簡易な回路構成で複数のマイクロホン3からの信号に含まれるエコー信号esを除去する。
また、以上説明した実施の形態によれば、制御部50は、送話信号s4に音声信号s1が含まれてなく、かつ、送話信号s4にエコー信号esが含まれているとき(受話信号s2があるとき)、フィルタ係数Fを算出(更新)する。そのため、本装置1は、常にフィルタ係数を算出(更新)する従来の装置と比較して、フィルタ係数Fの算出(更新)の処理負荷を低減する。
さらに、以上説明した実施の形態によれば、切替部40は、送話信号s4に音声信号s1が含まれず、かつ、送話信号s4にエコー信号esが含まれているとき(受話信号s2があるとき)、各個別送話信号s41-s46を切り替えながら制御部50に入力する。制御部50は、複数のマイクロホン3a-3fそれぞれからの信号に基づいて、各マイクロホン3a-3fに対応する個別フィルタ係数k1-k6を算出する。すなわち、本装置1は、切替部40により個別送話信号s41-s46を切り替えながら、個別フィルタ係数k1-k6を算出する。そのため、本装置1は、共通する1つのFIRフィルタ(除去信号生成部70)により6つのマイクロホン3a-3fに対応する個別フィルタ係数k1-k6を算出することができる。つまり、本装置1は、簡易な回路構成で複数のマイクロホン3に対応する個別フィルタ係数kを算出し、同個別フィルタ係数kに基づいてフィルタ係数Fを算出する。その結果、本装置1は、簡易な回路構成で複数のマイクロホン3からの信号に含まれるエコー信号esを除去する。
さらにまた、以上説明した実施の形態によれば、制御部50は、受話信号s2と、個別エコー除去信号s60に含まれる個別残留エコー信号res10と、に基づいて、個別フィルタ係数kを算出する。すなわち、本装置1は、個別残留エコー信号res10が限りなく「0」に近づくように繰り返し個別フィルタ係数kを算出することにより、フィルタ係数Fの精度を向上させて、送話信号s4から確実にエコー信号esを除去(抑制)する。
さらにまた、以上説明した実施の形態によれば、制御部50は、複数のマイクロホン3a-3fそれぞれに対応するゲイン値g1-g6に基づいて、個別フィルタ係数k1-k6を更新する。そのため、本装置1は、各マイクロホン3a-3fがエコー成分を収音したときのゲイン値g1-g6で個別フィルタ係数k1-k6を算出することができる。その結果、本装置1は、フィルタ係数Fの精度を向上させて、送話信号s4から確実にエコー信号esを除去(抑制)することができる。
さらにまた、以上説明した実施の形態によれば、制御部50は、エコー信号除去処理(ST3)において常にERLを測定する。次いで、制御部50は、ERLが基準値(閾値V2)以上、かつ、送話信号s4に音声信号s1が含まれていないとき、記憶部60に記憶されているフィルタ係数Fを更新する。すなわち、本装置1は、ERLが悪化したタイミングで環境変化を検知し、フィルタ係数Fを更新する。つまり、本装置1は、常にフィルタ係数Fを算出(更新)する従来の装置と比較して、フィルタ係数Fの算出(更新)の処理負荷を低減する。
さらにまた、以上説明した実施の形態によれば、制御部50は、ERLと基準値(閾値V2)との比較結果に基づいて、個別ERLを測定する。その結果、本装置1は、ERLが悪化したとき、各マイクロホン3a-3fに対応するERLの測定結果から、フィルタ係数Fのずれ(エコー信号esの除去・抑制効果の悪化)を検出する。
さらにまた、以上説明した実施の形態によれば、制御部50は、個別ERLと個別基準値(閾値V4)との比較結果に基づいて、複数のマイクロホン3a-3fの中から個別フィルタ係数kの更新の対象となる特定マイクロホンを決定する。すなわち、本装置1は、ERLが悪化したとき、特定マイクロホンを決定することにより、個別フィルタ係数kの更新と、フィルタ係数Fの更新と、に必要な時間、処理負荷を低減する。
さらにまた、以上説明した実施の形態によれば、制御部50は、特定マイクロホンの個別フィルタ係数kを算出する。次いで、制御部50は、算出した特定マイクロホンの個別フィルタ係数kと、非特定マイクロホンの個別フィルタ係数kと、に基づいて、記憶部60に記憶されているフィルタ係数Fを更新する。そのため、本装置1は、特定マイクロホンの個別フィルタ係数kのみを算出(更新)することにより、フィルタ係数Fを更新する。すなわち、本装置1は、個別フィルタ係数kの更新と、フィルタ係数Fの更新と、に必要な時間、処理負荷を低減する。
さらにまた、以上説明した実施の形態によれば、制御部50は、マイクロホン3ごとの環境測定を実行して、同環境測定の測定結果に基づいて、個別フィルタ係数kを算出する。そのため、本装置1は、本装置1を設置する部屋(空間)の環境に応じて、フィルタ係数Fを算出することができる。
このように、以上説明した実施の形態によれば、本装置1は、初期化処理(ST1)と初期学習処理(ST2)とに基づいてフィルタ係数Fを算出し、同フィルタ係数Fに基づいてエコーキャンセルを実行する(エコー信号除去処理(ST3)を実行する)。本装置1は、エコー信号除去処理(ST3)の実行中に環境変化を検知すると、特定処理(ST4)と更新処理(ST5)とを実行することにより、フィルタ係数Fの自動調整を実現する。その結果、本装置1は、共通する1つのフィルタにより多チャンネルのエコーキャンセルを実行すると共に、環境変化に対して自動的に追従してエコーキャンセルを実行する。
なお、第2入力部に接続されるマイクロホンの数は、複数であればよく、「6」に限定されない。
また、以上説明した実施の形態では、本装置1は、1組の除去信号生成部70と除去部80とを備える構成であった。そのため、除去信号生成部70は、特定処理(ST4)や更新処理(ST5)において、個別除去信号s50の生成に専有される。その結果、本装置1は、エコー信号除去処理(ST3)と、特定処理(ST4)や更新処理(ST5)と、を同時に実行しない。
これに代えて、本装置は、エコー信号除去処理に用いられる1組の除去信号生成部と除去部と、特定処理と更新処理とに用いられる1組の除去信号生成部と除去部と、の2組の除去信号生成部と除去部とを備えてもよい。
図12は、本装置の別の実施の形態を示す機能ブロックである。
同図は、本装置1Aが、第1除去信号生成部70Aと、第2除去信号生成部70Bと、第1除去部80Aと、第2除去部80Bと、を有してなる音声信号処理装置であることを示す。第1除去信号生成部70Aと第1除去部80Aとは、特定処理(ST4)と更新処理(ST5)とを実行する。第2除去信号生成部70Bと第2除去部80Bとは、エコー信号除去処理(ST3)を実行する。
この構成によれば、本装置1Aは、エコー信号除去処理(ST3)と、特定処理(ST4)と更新処理(ST5)と、を同時に実行することができる。そのため、本装置1Aは、2つのエコーキャンセラ部を備える簡易な回路構成で、2以上のマイクロホン3からの信号に含まれるエコー信号esを除去(抑制)することができる。
1 音声信号処理装置
1A 音声信号処理装置
20 第1出力部(出力部)
30 第2入力部(入力部)
40 切替部
50 制御部
60 記憶部
70 除去信号生成部
70A 第1除去信号生成部
70B 第2除去信号生成部
80 除去部
80A 第1除去部
80B 第2除去部
s1 音声信号
s2 受話信号
s3 基準信号
s4 送話信号
s40 個別送話信号
s5 除去信号
s50 個別除去信号
s6 エコー除去信号
s60 個別エコー除去信号
es エコー信号
res 残留エコー信号
res10 個別残留エコー信号
F フィルタ係数
k 個別フィルタ係数

Claims (17)

  1. 受話信号を出力する出力部と、
    前記受話信号のエコー成分と、話者の音声と、を収音して、前記エコー成分に応じたエコー信号と、前記話者の音声に応じた音声信号と、を生成する複数のマイクロホンそれぞれから入力される信号に基づいて、前記複数のマイクロホンそれぞれに対応する個別送話信号を生成し、前記個別送話信号を合成して送話信号を生成する入力部と、
    前記送話信号に含まれる前記エコー信号を除去する除去信号をフィルタ係数に基づいて生成する除去信号生成部と、
    前記フィルタ係数を算出する制御部と、
    前記送話信号と前記除去信号とに基づいて、エコー除去信号を生成する除去部と、
    前記複数のマイクロホンそれぞれに対応する前記個別送話信号のうち、前記除去部に入力される信号を切り替える切替部と、
    を有してなり、
    前記切替部は、前記送話信号に前記音声信号が含まれていないとき、前記複数のマイクロホンそれぞれに対応する前記個別送話信号を切り替えながら前記除去部に入力し、
    前記除去信号生成部は、前記個別送話信号に含まれる前記エコー信号を除去する個別除去信号を生成し、
    前記除去部は、前記個別送話信号と前記個別除去信号とに基づいて、個別エコー除去信号を生成し、
    前記制御部は、前記受話信号と、前記個別エコー除去信号に含まれる個別残留エコー信号と、に基づいて、前記複数のマイクロホンそれぞれに対応する個別フィルタ係数を算出し、前記個別フィルタ係数を合成して前記フィルタ係数を算出する、
    ことを特徴とする音声信号処理装置。
  2. 前記制御部は、前記送話信号に前記音声信号が含まれていないとき、前記フィルタ係数を算出する、
    請求項1記載の音声信号処理装置。
  3. 前記制御部は、前記送話信号に前記エコー信号が含まれているとき、前記フィルタ係数を算出する、
    請求項2記載の音声信号処理装置。
  4. 前記除去信号生成部は、前記受話信号と前記フィルタ係数とに基づいて、前記除去信号を生成する、
    請求項1記載の音声信号処理装置。
  5. 前記切替部は、前記送話信号に前記エコー信号が含まれているとき、前記複数のマイクロホンそれぞれに対応する前記個別送話信号を切り替えながら前記除去部に入力する、
    請求項記載の音声信号処理装置。
  6. 前記制御部は、前記複数のマイクロホンそれぞれに対応するゲイン値に基づいて、前記個別フィルタ係数を算出する、
    請求項記載の音声信号処理装置。
  7. 前記フィルタ係数を記憶する記憶部、
    を備え、
    前記制御部は、前記送話信号に前記音声信号が含まれていないとき、前記記憶部に記憶されている前記フィルタ係数を更新する、
    請求項1記載の音声信号処理装置。
  8. 前記記憶部は、基準値を記憶し、
    前記制御部は、
    前記送話信号の信号レベルと、前記エコー除去信号の信号レベルと、に基づいて、エコーリターンロスを測定し、
    前記エコーリターンロスと、前記基準値と、の比較結果に基づいて、前記フィルタ係数を更新する、
    請求項記載の音声信号処理装置。
  9. 前記制御部は、前記比較結果に基づいて、前記複数のマイクロホンそれぞれに対応する個別エコーリターンロスを測定する、
    請求項記載の音声信号処理装置。
  10. 前記記憶部は、個別基準値、を記憶し、
    前記制御部は、
    前記複数のマイクロホンごとに、前記個別エコーリターンロスと、前記個別基準値と、を比較し、
    前記個別エコーリターンロスと、前記個別基準値と、の比較結果に基づいて、前記複数のマイクロホンの中から前記個別フィルタ係数の更新の対象となる特定マイクロホンを決定する、
    請求項記載の音声信号処理装置。
  11. 前記複数のマイクロホンは、
    前記特定マイクロホンと、
    前記特定マイクロホンとは異なる非特定マイクロホンと、
    で構成され、
    前記除去信号生成部は、前記特定マイクロホンからの信号に含まれる前記エコー信号を除去する特定除去信号を、前記特定マイクロホンに対応する前記個別フィルタ係数に基づいて生成し、
    前記除去部は、前記特定マイクロホンからの信号と、前記特定除去信号と、に基づいて、特定エコー除去信号を生成し、
    前記制御部は、
    前記受話信号と、前記特定エコー除去信号に含まれる個別残留エコー信号と、に基づいて、前記特定マイクロホンに対応する前記個別フィルタ係数を算出し、
    前記非特定マイクロホンに対応する前記個別フィルタ係数と、前記特定マイクロホンに対応する前記個別フィルタ係数と、に基づいて、前記記憶部に記憶されている前記フィルタ係数を更新する、
    請求項10記載の音声信号処理装置。
  12. 前記制御部は、
    前記複数のマイクロホンごとの環境測定を実行し、
    前記複数のマイクロホンそれぞれに対応する前記環境測定の結果に基づいて、前記個別フィルタ係数を算出する、
    請求項1記載の音声信号処理装置。
  13. コンピュータを、請求項1乃至12のいずれかに記載の音声信号処理装置として機能させる、
    ことを特徴とする音声信号処理プログラム。
  14. 受話信号を出力する出力部と、
    前記受話信号のエコー成分と、話者の音声と、を収音して、前記エコー成分に応じたエコー信号と、前記話者の音声に応じた音声信号と、を生成する複数のマイクロホンそれぞれから入力される信号に基づいて、前記複数のマイクロホンそれぞれに対応する個別送話信号を生成し、前記個別送話信号を合成して送話信号を生成する入力部と、
    前記送話信号に含まれる前記エコー信号を除去する除去信号をフィルタ係数に基づいて生成する除去信号生成部と、
    前記フィルタ係数を算出する制御部と、
    前記送話信号と前記除去信号とに基づいて、エコー除去信号を生成する除去部と、
    前記複数のマイクロホンそれぞれに対応する前記個別送話信号のうち、前記除去部に入力される信号を切り替える切替部と、
    を備える音声信号処理装置により実行される音声信号処理方法であって、
    前記切替部が、前記送話信号に前記音声信号が含まれていないとき、前記複数のマイクロホンそれぞれに対応する前記個別送話信号を切り替えながら前記除去部に入力し、
    前記除去信号生成部が、前記個別送話信号に含まれる前記エコー信号を除去する個別除去信号を生成し、
    前記除去部が、前記個別送話信号と前記個別除去信号とに基づいて、個別エコー除去信号を生成し、
    前記制御部が、前記受話信号と、前記個別エコー除去信号に含まれる個別残留エコー信号と、に基づいて、前記複数のマイクロホンそれぞれに対応する個別フィルタ係数を算出し、
    前記制御部が、前記個別フィルタ係数を合成して前記フィルタ係数を算出する、
    ことを特徴とする音声信号処理方法。
  15. 前記制御部が、前記送話信号に、前記エコー信号が含まれ、かつ、前記音声信号が含まれていないとき、前記個別フィルタ係数の算出を実行する、
    請求項14記載の音声信号処理方法。
  16. 前記音声信号処理装置は、前記フィルタ係数を記憶する記憶部、
    を備え、
    前記制御部が、前記送話信号に前記音声信号が含まれていないとき、前記記憶部に記憶されている前記フィルタ係数を更新する、
    請求項14記載の音声信号処理方法。
  17. 前記記憶部は、基準値と個別基準値と、を記憶し、
    前記制御部が、前記複数のマイクロホンごとに、
    前記送話信号の信号レベルと、前記エコー除去信号の信号レベルと、に基づいて、エコーリターンロスを測定し、
    前記エコーリターンロスと、前記基準値と、の比較結果に基づいて、前記複数のマイクロホンそれぞれに対応する個別エコーリターンロスを測定し、
    前記個別エコーリターンロスと、前記個別基準値と、の比較結果に基づいて、前記複数のマイクロホンの中から前記個別フィルタ係数の更新の対象となる特定マイクロホンを決定して、
    前記フィルタ係数を更新する、
    請求項16記載の音声信号処理方法。
JP2019525088A 2017-06-12 2018-03-15 音声信号処理装置と音声信号処理方法と音声信号処理プログラム Active JP7122756B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022097148A JP7323959B2 (ja) 2017-06-12 2022-06-16 音声信号処理装置と音声信号処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017114908 2017-06-12
JP2017114908 2017-06-12
PCT/JP2018/010330 WO2018230062A1 (ja) 2017-06-12 2018-03-15 音声信号処理装置と音声信号処理方法と音声信号処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022097148A Division JP7323959B2 (ja) 2017-06-12 2022-06-16 音声信号処理装置と音声信号処理方法

Publications (2)

Publication Number Publication Date
JPWO2018230062A1 JPWO2018230062A1 (ja) 2020-05-21
JP7122756B2 true JP7122756B2 (ja) 2022-08-22

Family

ID=64660460

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019525088A Active JP7122756B2 (ja) 2017-06-12 2018-03-15 音声信号処理装置と音声信号処理方法と音声信号処理プログラム
JP2022097148A Active JP7323959B2 (ja) 2017-06-12 2022-06-16 音声信号処理装置と音声信号処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022097148A Active JP7323959B2 (ja) 2017-06-12 2022-06-16 音声信号処理装置と音声信号処理方法

Country Status (5)

Country Link
US (1) US11227618B2 (ja)
EP (1) EP3641141A4 (ja)
JP (2) JP7122756B2 (ja)
CN (1) CN110741563B (ja)
WO (1) WO2018230062A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11502723B2 (en) * 2018-02-28 2022-11-15 Maxlinear, Inc. Full-duplex cable modem calibration
CN112885365B (zh) * 2021-01-08 2024-04-30 上海锐承通讯技术有限公司 回音消除装置及车载智能终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251224A (ja) 2000-03-06 2001-09-14 Nippon Telegr & Teleph Corp <Ntt> 反響消去方法および反響消去装置
WO2005076663A1 (en) 2004-01-07 2005-08-18 Koninklijke Philips Electronics N.V. Audio system having reverberation reducing filter
JP2005323308A (ja) 2004-05-11 2005-11-17 Sony Corp 音声集音装置とエコーキャンセル処理方法
JP2005347975A (ja) 2004-06-01 2005-12-15 Nec Electronics Corp 衛星放送用コンバータのスイッチ回路

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6412648A (en) 1987-07-06 1989-01-17 Nippon Telegraph & Telephone Echo canceller
US5410595A (en) * 1992-11-12 1995-04-25 Motorola, Inc. Apparatus and method for noise reduction for a full-duplex speakerphone or the like
US5323458A (en) * 1993-10-25 1994-06-21 Motorola Inc. Echo cancellation in a full-duplex speakerphone
JPH07334175A (ja) * 1994-06-07 1995-12-22 Matsushita Electric Ind Co Ltd 車載用音場補正装置
JP2002252577A (ja) 2001-02-26 2002-09-06 Nippon Telegr & Teleph Corp <Ntt> 多チャネル音響エコー消去方法、その装置、そのプログラム及びその記録媒体
JP4247158B2 (ja) 2004-06-01 2009-04-02 日本電信電話株式会社 多チャネル音響エコー消去方法、多チャネル音響エコー消去装置、多チャネル音響エコー消去プログラム、記録媒体
EP1633121B1 (en) 2004-09-03 2008-11-05 Harman Becker Automotive Systems GmbH Speech signal processing with combined adaptive noise reduction and adaptive echo compensation
CN101471694B (zh) 2007-12-24 2014-06-11 瑞昱半导体股份有限公司 干扰消除装置及其方法
CN101192411B (zh) 2007-12-27 2010-06-02 北京中星微电子有限公司 大距离麦克风阵列噪声消除的方法和噪声消除系统
DE102008039330A1 (de) * 2008-01-31 2009-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
JP5510288B2 (ja) * 2010-11-24 2014-06-04 沖電気工業株式会社 適応フィルタ次数制御装置及びプログラム、並びに、エコーキャンセラ
JP5501527B2 (ja) * 2011-05-10 2014-05-21 三菱電機株式会社 エコー消去装置およびエコー検出装置
US8526599B2 (en) * 2011-09-22 2013-09-03 Panasonic Corporation Input/output apparatus and communication terminal
EP3917161B1 (en) * 2012-11-12 2024-01-31 Yamaha Corporation Signal processing system and signal processing method
JP6349899B2 (ja) * 2014-04-14 2018-07-04 ヤマハ株式会社 放収音装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001251224A (ja) 2000-03-06 2001-09-14 Nippon Telegr & Teleph Corp <Ntt> 反響消去方法および反響消去装置
WO2005076663A1 (en) 2004-01-07 2005-08-18 Koninklijke Philips Electronics N.V. Audio system having reverberation reducing filter
JP2005323308A (ja) 2004-05-11 2005-11-17 Sony Corp 音声集音装置とエコーキャンセル処理方法
JP2005347975A (ja) 2004-06-01 2005-12-15 Nec Electronics Corp 衛星放送用コンバータのスイッチ回路

Also Published As

Publication number Publication date
JP7323959B2 (ja) 2023-08-09
CN110741563A (zh) 2020-01-31
CN110741563B (zh) 2021-11-23
EP3641141A4 (en) 2021-02-17
EP3641141A1 (en) 2020-04-22
US11227618B2 (en) 2022-01-18
JPWO2018230062A1 (ja) 2020-05-21
JP2022125069A (ja) 2022-08-26
WO2018230062A1 (ja) 2018-12-20
US20200105289A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
JP7323959B2 (ja) 音声信号処理装置と音声信号処理方法
US8842851B2 (en) Audio source localization system and method
US8644517B2 (en) System and method for automatic disabling and enabling of an acoustic beamformer
EP2868117B1 (en) Systems and methods for surround sound echo reduction
US20090253418A1 (en) System for conference call and corresponding devices, method and program products
US9246545B1 (en) Adaptive estimation of delay in audio systems
JP6163468B2 (ja) 音響品質評価装置、音響品質評価方法、およびプログラム
KR20150084814A (ko) 초음파를 이용한 에코 제거
CN103534942A (zh) 处理音频信号
JP6571623B2 (ja) 音響品質評価装置、音響品質評価方法、およびプログラム
US20030108208A1 (en) Method and device for comparing signals to control transducers and transducer control system
US8804946B2 (en) Stochastic vector based network echo cancellation
JP4709714B2 (ja) エコー消去装置、その方法、そのプログラム、およびその記録媒体
US20230058981A1 (en) Conference terminal and echo cancellation method for conference
JP3628267B2 (ja) 多チャネル反響消去方法、その装置、そのプログラム及びその記録媒体
JP2007151047A (ja) 音声スイッチ方法、音声スイッチ装置、音声スイッチプログラム及びそのプログラムを記録した記録媒体
JP6126053B2 (ja) 音響品質評価装置、音響品質評価方法、およびプログラム
US11924368B2 (en) Data correction apparatus, data correction method, and program
JPS62120734A (ja) 反響消去装置
CN116486823A (zh) 声音水印的处理方法及声音水印产生装置
CN115705847A (zh) 声音水印的处理方法及声音水印生成装置
US9438308B2 (en) Echo cancellation with quantization compensation
CN117099361A (zh) 用于经滤波参考声学回声消除的装置和方法
JP5264687B2 (ja) エコーキャンセル方法、エコーキャンセル装置、エコーキャンセルプログラム
JP3121988B2 (ja) 音響反響除去装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220802

R150 Certificate of patent or registration of utility model

Ref document number: 7122756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150