JP7462634B2 - マイクユニット - Google Patents

マイクユニット Download PDF

Info

Publication number
JP7462634B2
JP7462634B2 JP2021532725A JP2021532725A JP7462634B2 JP 7462634 B2 JP7462634 B2 JP 7462634B2 JP 2021532725 A JP2021532725 A JP 2021532725A JP 2021532725 A JP2021532725 A JP 2021532725A JP 7462634 B2 JP7462634 B2 JP 7462634B2
Authority
JP
Japan
Prior art keywords
microphone
sound data
matching
unit
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021532725A
Other languages
English (en)
Other versions
JPWO2021010056A1 (ja
Inventor
祥史 山中
昭吾 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hosiden Corp
Original Assignee
Hosiden Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hosiden Corp filed Critical Hosiden Corp
Publication of JPWO2021010056A1 publication Critical patent/JPWO2021010056A1/ja
Application granted granted Critical
Publication of JP7462634B2 publication Critical patent/JP7462634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00Electrostatic transducers
    • H04R19/01Electrostatic transducers characterised by the use of electrets
    • H04R19/016Electrostatic transducers characterised by the use of electrets for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00Electrostatic transducers
    • H04R19/04Microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003Mems transducers or their use

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Description

本発明は、第1マイクロフォンに入力された音声が、所期の発声者による音声であるか否かを判定可能なマイクユニットに関する。
従来、例えば電化製品に対する指示を音声により行う技術が利用されている。このような技術では音声認識が行われる。音声認識に係る技術として、例えば下記に出典を示す特許文献1に記載のものがある。
特許文献1には、音声対話システムについて記載されている。この音声対話システムは、音声対話装置と音声認識サーバとから構成される。音声対話装置は、音声入力手段に入力された音声を認識し、音声入力手段に入力された音声を音声認識サーバに送信する。音声認識サーバは、音声対話装置から受信した音声を認識する。音声対話装置は、当該音声対話装置における認識結果に基づく応答を出力した後、音声対話装置における認識結果と音声認識サーバにおける認識結果との差分に基づく応答を出力するように構成されている。
特開2018-45190号公報
特許文献1に記載の技術は、音声対話装置における音声認識処理だけでなく、音声認識サーバにおいても音声認識処理を行っている。このため、音声認識を行うにあたって通信を行う必要があり、通信インフラが整備されていない状況下では利用することができない。また、特許文献1に記載の技術は、音声認識を行う技術であって、音声の発声者を識別することまで想定されていない。
そこで、認識処理にネットワークを必要とせず、音声の発声者を識別可能なマイクユニットが求められる。
本発明に係るマイクユニットの特徴構成は、第1マイクロフォンに入力された音声が、所期の発声者による音声であるか否かを判定可能なマイクユニットであって、音声を音データとして取得する音データ取得部と、前記音データから特徴点を抽出した照合用音データを登録する音データ登録部と、前記第1マイクロフォンに入力された音声を評価用音データとして取得する評価用音データ取得部と、前記照合用音データと前記評価用音データから抽出した特徴点とに基づいて、前記評価用音データに基づく音声の発声者が前記照合用音データに基づく音声の発声者であるか否かの照合を行う照合部と、前記照合部の照合結果を出力する照合結果出力部と、を備え、前記照合用音データは、前記第1マイクロフォンが搭載された装置とは異なる装置によって作成され、前記第1マイクロフォンが搭載された装置と前記異なる装置とは無線通信により前記照合用音データの受け渡しが行われる点にある。
このような特徴構成とすれば、照合用のサーバを備えることなく、照合を行うことができる。すなわち所謂ローカル型認識処理であるので、セキュリティ上、安全に照合を行うことが可能となる。また、容易に予め登録した音声の発声者を特定することが可能となる。
また、前記照合部がスリープ状態である場合に、前記評価用音データ取得部による前記評価用音データの取得をトリガとして前記スリープ状態を終了すると好適である。
このような構成とすれば、消費電力を低減できる。
また、前記音データ取得部が取得する音データは、前記第1マイクロフォンが搭載された装置とは異なる装置に設けられた第2マイクロフォンに入力された音声であって、前記第1マイクロフォン及び前記第2マイクロフォンの双方への音声の入力前に、前記第1マイクロフォンの周波数特性及び前記第2マイクロフォンの周波数特性を評価する評価部と、前記第1マイクロフォン及び前記第2マイクロフォンのうちの一方の周波数特性を他方の周波数特性に一致するように補正する補正部と、を更に備えると好適である。
このような構成とすれば、第1マイクロフォンの周波数特性と第2マイクロフォンの周波数特性とを同じようにすることで、第1マイクロフォンと第2マイクロフォンとで同じユーザが音声を入力した場合の照合率を高めることができる。
また、前記照合用音データが登録された後であって、前記評価用音データが取得される前に、前記第1マイクロフォンで前記照合用音データに係る音声を発した発声者の音声を試験用音データとして取得する試験用音データ取得部と、前記試験用音データと前記照合用音データとに基づいて、前記照合に用いる照合用パラメータを変更しながら前記試験用音データに基づく前記発声者の照合率を算定する算定部と、を更に備え、前記照合部は、前記算定部により算定された前記照合率のうち、最も高い照合率である時の前記照合用パラメータに基づいて前記照合を行うと好適である。
一般的に、誤認率を下げると、照合率も下がるが、中には誤認率だけ下げて、照合率が下がらない照合用パラメータもある。そこで、本構成のように、照合率を算定しながら照合用パラメータを見つけることで、適切な照合用パラメータを設定できる。
また、前記照合用パラメータは、前記試験用音データ及び前記照合用音データのうちの少なくともいずれか一方を増幅する増幅率であると好適である。
このような構成とすれば、例えば、第1マイクロフォン及び第2マイクロフォンのうちの少なくともいずれか一方の入力レンジを変更することで、照合率を高めることが可能となる。
また、前記第1マイクロフォンに対する前記評価用音データに基づく音声の入力時に、当該第1マイクロフォンのパラメータを前記照合用パラメータに基づいて自動で変更するパラメータ変更部を、更に備えると好適である。
このような構成とすれば、第1マイクロフォンから入力された音声の音声レベルを自動的に抑え、照合率が向上するレベルに変更できる。したがって、自動的に照合率を向上することができる。また、例えば一定の時間だけ記録し、その時間内の平均の音声レベルに基づき、自動で音声レベルを変更するように構成することもできる。
また、前記マイクユニットは、前記照合部の照合結果に基づいて、前記第1マイクロフォンに入力された音声の発声者を識別すると好適である。
このような構成とすれば、複数のユーザで利用するマイクユニットに対して入力された音声の発声者を識別できるので、利便性を向上できる。
また、前記第1マイクロフォンに入力された音声の発声内容を推定し、推定された内容に基づき前記第1マイクロフォンが搭載された装置に対して操作指令を行うと好適である。
このような構成とすれば、操作指令に基づいて、第1マイクロフォンが搭載された装置の動作を制御することが可能となる。したがって、例えばハンズフリーで第1マイクロフォンが搭載された装置の動作を制御できるので、利便性を向上することが可能となる。
第1の実施形態に係るマイクユニットの構成を示す図である。 第2の実施形態に係るマイクユニットの構成を示す図である。 第3の実施形態に係るマイクユニットの構成を示す図である。 マイクユニットの適用例を示す図である。
1.第1の実施形態
本発明に係るマイクユニットは、入力された音声が所期の発声者による音声であるか否かの判定を行うことができるように構成されている。以下、本実施形態のマイクユニット1について説明する。
図1は、本実施形態に係るマイクユニット1の構成を模式的に示すブロック図である。図1に示されるように、マイクユニット1は、第1マイクロフォン10、音データ取得部11、音データ登録部12、評価用音データ取得部13、照合部14、照合結果出力部15の各機能部を備える。これらの各機能部は上述した判定に係る処理を行うために、CPUを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。
第1マイクロフォン10は音声が入力される。第1マイクロフォン10はマイク素子であって、特に構成は限定されるものではない。例えばエレクトレットコンデンサマイク(ECM)や、アナログMEMS(Micro-Electro-Mechanical System)マイクや、デジタルMEMS(Micro-Electro-Mechanical System)マイク等のうち、少なくとも一つを用いて構成すると良い。第1マイクロフォン10に入力された音声は、第1マイクロフォン10により電気信号である音データに変換される。
音データ取得部11は、音声を音データとして取得する。本実施形態では、音データ取得部11が取得する音データは、第1マイクロフォン10が搭載された装置とは異なる装置2に設けられた第2マイクロフォン2Aに入力された音声である。第1マイクロフォン10が搭載された装置とは、本実施形態ではマイクユニット1である。したがって、第2マイクロフォン2Aはマイクユニット1とは各別に(別体で)設けられる。第2マイクロフォン2Aも第1マイクロフォン10と同様に、例えばエレクトレットコンデンサマイク(ECM)や、アナログMEMS(Micro-Electro-Mechanical System)マイクや、デジタルMEMS(Micro-Electro-Mechanical System)マイク等のうち、少なくとも一つを用いて構成すると良い。第2マイクロフォン2Aに入力された音声は、第2マイクロフォン2Aにより電気信号である音データに変換される。音データ取得部11は、第2マイクロフォン2Aが変換して生成した音データを取得する。
音データ登録部12は、第2マイクロフォン2Aが生成した音データから特徴点を抽出した照合用音データを登録する。第2マイクロフォン2Aが生成した音データとは、上述したように第2マイクロフォン2Aに入力された音声を変換して(データ化して)生成されたものである。特徴点とは、電気信号(音データ)における特徴であって、例えば周期やピーク値や半値幅等が相当する。したがって、照合用音データは、第2マイクロフォン2Aに入力された音声を変換して生成された電気信号の特徴が抽出されたものが相当する。このような照合用音データは、本マイクユニット1が、第1マイクロフォン10に入力された音声が所期の発声者による音声であるか否かを判定する機能を実現するためのマスター音データにあたり、音データ登録部12にはこのような照合用音データが記録される。
照合用音データは、第1マイクロフォン10が搭載された装置(マイクユニット1)とは異なる装置によって作成される。第1マイクロフォン10が搭載された装置とは異なる装置とは、マイクユニット1とは異なる装置である。具体的には、第2マイクロフォン2Aが搭載される装置2や、マイクユニット1及び装置2以外の装置3が相当する。本実施形態では、照合用音データは装置3に設けられる照合用音データ生成部3Aにより生成される。照合用音データの受け渡しは、第1マイクロフォン10が搭載された装置と異なる装置とは無線通信によりが行われる。無線通信とは、例えばWi-Fi(登録商標)のようなLAN通信や、Bluetooth(登録商標)のような近距離無線通信が相当する。したがって、本実施形態ではマイクユニット1は、このような無線通信を介して装置3(装置3の照合用音データ生成部3A)から照合用音データが伝達される。なお、第2マイクロフォン2Aが搭載される装置2において、照合用音データを生成する場合には、照合用音データ生成部3Aが装置2に含まれるように構成すると良い。
マイクユニット1及び装置2以外の装置3が照合用音データを生成する場合には、音データ取得部11が当該マイクユニット1及び装置2以外の装置3に無線通信により音データを伝達し、マイクユニット1及び装置2以外の装置3において作成された照合用音データを無線通信により音データ登録部12が取得するように構成すると良い。
また、装置2が照合用音データを生成する場合には、音データ取得部11が装置2に無線通信により音データを伝達し、装置2において作成された照合用音データを無線通信により音データ登録部12が取得するように構成しても良いし、音データ取得部11を装置2に備え、装置2において音データ取得部11により取得された音データに基づいて作成された照合用音データを無線通信により音データ登録部12が取得するように構成しても良い。
例えば、周知の所謂スマートスピーカのようなデバイスでは、マイクロフォンに入力された音声を電子化し、電子化した音声データがインターネット回線を通じて外部デバイス(サーバ)に送信される。一方、本実施形態に係るマイクユニット1では、上述したように照合用音データ生成部3Aにより、音声データから特徴点を抽出して生成された照合用音データが、ペアリングされたデバイスに無線通信を介して送信される。
評価用音データ取得部13は、第1マイクロフォン10に入力された音声を評価用音データとして取得する。上述したように、第1マイクロフォン10に入力された音声は、第1マイクロフォン10により電気信号である音データに変換される。この音データが評価用音データに相当する。したがって、評価用音データ取得部13は、第1マイクロフォン10に入力された音声を、当該第1マイクロフォン10により電気信号である音データに変換して生成された評価用音データを取得する。
照合部14は、照合用音データと評価用音データから抽出した特徴点とに基づいて、評価用音データに基づく音声の発声者が照合用音データに基づく音声の発声者であるか否かの照合を行う。照合用音データは音データ登録部12に登録され、記録されている。評価用音データは評価用音データ取得部13により取得される。評価用音データから抽出した特徴点とは、電気信号である評価用音データの特徴であって、例えば周期やピーク値や半値幅等が相当する。このような特徴点は、照合用音データと同様に、マイクユニット1とは異なる装置で生成し、無線通信を介して伝達されるように構成することが可能である。もちろん、照合部14が特徴点を抽出するように構成することも可能である。評価用音データに基づく音声とは、第1マイクロフォン10に入力された音声であって、第1マイクロフォン10により評価用音データに変換される音声である。照合用音データに基づく音声とは、本実施形態では第2マイクロフォン2Aに入力された音声であって、第2マイクロフォン2Aにより照合用音データに変換される音声である。
したがって、照合部14は、音データ登録部12に記録されている照合用音データと評価用音データ取得部13により取得される評価用音データから抽出した特徴点とに基づいて、第1マイクロフォン10に入力された音声であって、第1マイクロフォン10により評価用音データに変換される音声の発声者が、第2マイクロフォン2Aに入力された音声であって、第2マイクロフォン2Aにより照合用音データに変換される音声の発声者と同一人物であるか否かの照合を行う。
このような照合は、例えば評価用音データと照合用音データとの特徴部分(上記「特徴点」に相当)を比較して一致点と相違点とを抽出し、一致点と相違点との割合から算定した一致度に基づき行うと良い。具体的には、一致度が予め設定された値よりも大きい場合には、評価用音データに変換された音声の発声者が、照合用音データに変換された音声の発声者と同一人物であると判定し、一致度が予め設定された値以下の場合には、評価用音データに変換された音声の発声者が、照合用音データに変換された音声の発声者と同一人物でないと判定することが可能である。もちろん、このような方法とは異なる方法(例えば公知の声紋解析等)により行うことも可能である。
ここで、照合部14による照合は演算処理を要することから照合部14を常時、稼働状態とする場合には消費電力が増大する。そこで、照合部14は照合を行う場合にのみ稼働状態にし、照合を行わない場合にはスリープ状態にすると好適である。係る場合、照合部14がスリープ状態である場合に、例えば、評価用音データ取得部13による評価用音データの取得をトリガとしてスリープ状態を終了すると良い。評価用音データ取得部13による評価用音データの取得したことは、評価用音データ取得部13による評価用音データの取得したことを示す情報を照合部14に伝達することで示しても良いし、評価用音データを照合部14に伝達することで示しても良い。また、第1マイクロフォン10が音声を検出(Voice Active Detection)したことを示す情報を、評価用音データ取得部13を介して照合部14に伝達して示すように構成することも可能である。
これにより、照合部14が照合を行う場合にのみ照合部14を稼働状態にできるので、他の状態にあっては消費電力を低減できる。このような構成は、スリープ時の照合部14の動作周波数を、稼働時の動作周波数に比べて低く設定することで実現可能である。更に、このような互いに異なる動作周波数を実現するために、例えばスリープ時は照合部14の外部からのクロック(外部クロック)により動作させ、稼働時は照合部14で生成したクロック(内部クロック)により動作させることも可能である。
あるいは、上記構成に代え、ユーザのボタン操作(スイッチ操作)に応じて、照合部14がスリープ状態を解除するように構成することも可能である。
照合結果出力部15は、照合部14の照合結果を出力する。照合部14の照合結果とは、評価用音データに変換された音声の発声者が、照合用音データに変換された音声の発声者と同一人物であるか否かの判定結果である。すなわち、第1マイクロフォン10に入力された音声の発声者が、第2マイクロフォン2Aに入力された音声の発声者と同一人物であるか否かの判定結果である。照合結果出力部15は、このような判定結果を表示装置に出力し、当該表示装置が表示しても良い。あるいは、このような判定結果をスピーカに出力し、当該スピーカが報知しても良い。更には、判定結果を他の制御装置に出力し、当該他の制御装置が制御に利用しても良い。
例えば照合部14の照合結果に基づいて、第1マイクロフォン10に入力された音声の発声者を識別するように構成することも可能である。係る場合、発声者の識別結果をスピーカや表示装置で出力するように構成しても良い。更には、識別結果を他の制御装置に出力し、当該他の制御装置が制御に利用しても良い。
2.第2の実施形態
次に、第2の実施形態について説明する。第2の実施形態に係るマイクユニット1は、上記第1の実施形態に係るマイクユニット1に、評価部20及び補正部21を備えている点が異なる。この点以外については、第1の実施形態と同様であるので、ここでは主に異なる点を中心に説明する。
図2は、本実施形態に係るマイクユニット1の構成を模式的に示すブロック図である。図2に示されるように、本実施形態のマイクユニット1は、第1マイクロフォン10、音データ取得部11、音データ登録部12、評価用音データ取得部13、照合部14、照合結果出力部15、評価部20、補正部21の各機能部を備える。評価部20及び補正部21も、第1の実施形態で説明した他の各機能部と同様に、上述した判定に係る処理を行うために、CPUを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。
評価部20は、第1マイクロフォン10及び第2マイクロフォン2Aの双方への音声の入力前に、第1マイクロフォン10の周波数特性及び第2マイクロフォン2Aの周波数特性を評価する。第1マイクロフォン10及び第2マイクロフォン2Aの双方への音声の入力前とは、第1マイクロフォン10及び第2マイクロフォン2Aの双方に対する音声の入力が完了する前である。
すなわち、第1マイクロフォン10及び第2マイクロフォン2Aの双方への音声の入力前とは、第1マイクロフォン10及び第2マイクロフォン2Aの双方に対して音声が入力されていない状態と、第1マイクロフォン10に対してのみ音声が入力されている状態と、第2マイクロフォン2Aに対してのみ音声が入力されている状態とが該当し、第1マイクロフォン10及び第2マイクロフォン2Aのうちの少なくともいずれか一方に対して音声が入力されていない状態である。
第1マイクロフォン10の周波数特性及び第2マイクロフォン2Aの周波数特性は、夫々のマイクロフォンについて予め規定されているので、このような周波数特性を記憶部(図示しない)に記憶しておいて評価部20が取得しても良いし、評価部20が実際に第1マイクロフォン10や第2マイクロフォン2Aに通電して周波数解析を行って取得しても良い。評価部20は、取得した第1マイクロフォン10の周波数特性及び第2マイクロフォン2Aの周波数特性の差異を算定する。
補正部21は、第1マイクロフォン10及び第2マイクロフォン2Aのうちの一方の周波数特性を他方の周波数特性に一致するように補正する。上述したように、第1マイクロフォン10の周波数特性及び第2マイクロフォン2Aの周波数特性は評価部20により評価されている。また、評価部20による評価は、第1マイクロフォン10及び第2マイクロフォン2Aのうちの少なくともいずれか一方に対して音声が入力されていない状態に行われる。
音声が入力されていない状態における第1マイクロフォン10及び第2マイクロフォン2Aのうちの一方とは、第1マイクロフォン10及び第2マイクロフォン2Aの双方に対して音声が入力されていない状態にあっては、第1マイクロフォン10及び第2マイクロフォン2Aの一方が相当し、第1マイクロフォン10及び第2マイクロフォン2Aのうちの一方に対して音声が入力されていない状態にあっては、第1マイクロフォン10及び第2マイクロフォン2Aのうち、音声が入力されていないものが相当する。
また、音声が入力されていない状態における第1マイクロフォン10及び第2マイクロフォン2Aのうちの他方とは、第1マイクロフォン10及び第2マイクロフォン2Aの双方に対して音声が入力されていない状態にあっては、第1マイクロフォン10及び第2マイクロフォン2Aの他方が相当し、第1マイクロフォン10及び第2マイクロフォン2Aのうちの一方に対して音声が入力されていない状態にあっては、第1マイクロフォン10及び第2マイクロフォン2Aのうち、音声が入力されているものが相当する。
したがって、補正部21は、第1マイクロフォン10及び第2マイクロフォン2Aの双方に対して音声が入力されていない状態にあっては、第1マイクロフォン10及び第2マイクロフォン2Aの一方の周波数特性を、第1マイクロフォン10及び第2マイクロフォン2Aの他方の周波数特性に一致するように補正し、第1マイクロフォン10及び第2マイクロフォン2Aのうちの一方に対して音声が入力されていない状態にあっては、第1マイクロフォン10及び第2マイクロフォン2Aのうち、音声が入力されていないものの周波数特性を、第1マイクロフォン10及び第2マイクロフォン2Aのうち、音声が入力されているものの周波数特性に一致するように補正する。
以上のように構成することで、第1マイクロフォン10及び第2マイクロフォン2Aのうち、少なくとも後に音声が入力されるものを、先に入力されるものの周波数特性に一致させることができるので、マイクロフォンの周波数特性の差異に起因した照合の誤りを低減できる。
3.第3の実施形態
次に、第3の実施形態について説明する。第3の実施形態に係るマイクユニット1は、上記第1の実施形態に係るマイクユニット1に、試験用音データ取得部30、算定部31、及びパラメータ変更部40を備えている点が異なる。この点以外については、第1の実施形態と同様であるので、ここでは主に異なる点を中心に説明する。
図3は、本実施形態に係るマイクユニット1の構成を模式的に示すブロック図である。図3に示されるように、本実施形態のマイクユニット1は、第1マイクロフォン10、音データ取得部11、音データ登録部12、評価用音データ取得部13、照合部14、照合結果出力部15、試験用音データ取得部30、算定部31、及びパラメータ変更部40の各機能部を備える。試験用音データ取得部30、算定部31、及びパラメータ変更部40も、第1の実施形態で説明した他の各機能部と同様に、上述した判定に係る処理を行うために、CPUを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。
試験用音データ取得部30は、照合用音データが登録された後であって、第1マイクロフォン10から評価用音データが取得される前に、第1マイクロフォン10で照合用音データに係る音声を発した発声者の音声を試験用音データとして取得する。照合用音データが登録された後とは、第2マイクロフォン2Aに入力された音声を変換して生成された照合用音データが音データ登録部12に登録された後である。評価用音データが取得される前とは、評価用音データ取得部13により第1マイクロフォン10に入力された音声を変換して生成された評価用音データが取得される前である。第1マイクロフォン10で照合用音データに係る音声を発した発声者の音声とは、音データ登録部12に登録された照合用音データの基となる音声を発した発声者と同一の発声者の音声であって、第1マイクロフォン10から取得した音声である。
したがって、試験用音データ取得部30は、音データ登録部12に第2マイクロフォン2Aに入力された音声を変換して生成された照合用音データが登録されてから、評価用音データ取得部13により第1マイクロフォン10に入力された音声を変換して生成された評価用音データが取得されるまでの間に、音データ登録部12に登録された照合用音データの基となる音声を発した発声者と同一の発声者により入力された音声を第1マイクロフォン10から試験用音データに変換して取得する。
算定部31は、試験用音データと照合用音データとに基づいて、照合に用いる照合用パラメータを変更しながら試験用音データに基づく発声者の照合率を算定する。算定部31は、試験用音データを試験用音データ取得部30から取得し、照合用音データを音データ登録部12から取得する。照合に用いるパラメータとは、試験用音データの基となる音声の発声者が照合用音データの基となる音声の発声者であると照合されるように、試験用音データ及び照合用音データの少なくともいずれか一方を補正するパラメータである。
本実施形態では、照合用パラメータは、試験用音データ及び照合用音データのうちの少なくともいずれか一方を増幅する増幅率が相当する。例えば、試験用音データと照合用音データとの振幅を互いに等しくするように、第1マイクロフォン10における試験用音データ及び第2マイクロフォン2Aにおける照合用音データの少なくとも一方を増幅すると良い。この時の増幅率が照合用パラメータにあたる。
算定部31は、増幅率を順次、変更しながら、入力された試験用音データ及び照合用音データの一方又は双方を増幅し、試験用音データの基となる音声の発声者と照合用音データの基となる音声の発声者とが、同一の発声者であると照合されるか否かを算定する。算定部31は、このような算定結果を記憶する。
パラメータ変更部40には、算定部31により算定された照合率のうち、最も高い照合率である時の照合用パラメータ(増幅率)が伝達され、その照合パラメータが第1マイクロフォン10及び第2マイクロフォン2Aの少なくともいずれか一方に設定される。そして、照合部14は、算定部31により算定された照合率のうち、パラメータ変更部40により設定された最も高い照合率である時の照合用パラメータが適用された試験用音データと照合用音データとに基づいて照合を行う。このような構成により、評価用音データに基づく音声の発声者が、照合用音データに基づく音声の発声者であるにも拘らず、同じ発声者でないと判定する誤照合を低減できる。
本実施形態では、上述した照合用パラメータの変更は、パラメータ変更部40が、第1マイクロフォン10に対する評価用音データに基づく音声の入力時に、当該第1マイクロフォン10のパラメータを照合用パラメータに基づいて自動で変更するように構成されている。これにより、照合用パラメータを容易に変更することができ、また、評価用音データに基づく音声の発声者が、照合用音データに基づく音声の発声者であるにも拘らず、同じ発声者でないと判定する誤照合を低減可能な評価用音データを用いて照合をすることが可能となる。
4.照合処理
次に、マイクユニット1の具体的な適用例について、図4に示すドアのロック解除を例に挙げて説明する。まず、ユーザ100がスマートフォン等の携帯端末(装置2の一例)に備えられた第2マイクロフォン2Aに、所定の単語を発声した音声を入力する(#1)。このようにスマートフォンを介した音声の入力は、予めスマートフォンにアプリケーションをセットアップしておくことで行うことが可能である。
第2マイクロフォン2Aに入力された音声は音データに変換され、スマートフォンの通信機能(例えば無線通信)を介して、マイクユニット1に伝達される。このような音データへの変換もスマートフォンのアプリケーションを利用して行うと好適である。マイクユニット1の音データ取得部11がこの音データを取得し、照合用音データ生成部3Aにより音データから特徴点が抽出された照合用音データが音データ登録部12により照合用音データとして登録される(#2)。
このような状態において、ユーザ100によりマイクユニット1の第1マイクロフォン10に音声が入力される(#3)。この時、上述した特定の単語を発声することで音声を入力すると良い。なお、この時点においてマイクユニット1は音声の入力者がユーザ100であるか否かは特定されていなくても良い。入力された音声は第1マイクロフォン10により評価用音データに変換され、評価用音データ取得部13が取得する。照合部14が、評価用音データから抽出した特徴点を照合用音データと照合する(#5)。
照合部14により、評価用音データに基づく音声の発声者が、照合用音データの音声に基づく発声者であると判定されると、照合結果出力部15がロックユニットに2つの音声に係る発声者が同一人物である、すなわち、評価用音データに基づく音声の発声者が照合用音データに基づく音声の発声者であるユーザ100であることを示す信号をロックユニットに出力する。これにより、ロックが解除される(#6)。
一方、#2の状態において、ユーザ100とは別人であるユーザ150によりマイクユニット1の第1マイクロフォン10に音声が入力される(#7)。なお、この時点においてマイクユニット1は音声の入力者がユーザ150であるか否かは特定されていなくても良い。入力された音声は第1マイクロフォン10により評価用音データに変換され、評価用音データ取得部13が取得する。照合部14が、評価用音データを照合用音データと照合する(#8)。
照合部14により、評価用音データに基づく音声の発声者が、照合用音データの音声に基づく発声者でないと判定されると、照合結果出力部15がロックユニットに2つの音声に係る発声者が同一人物でない、すなわち、評価用音データに基づく音声の発声者が照合用音データに基づく音声の発声者であるユーザ100でないことを示す信号をロックユニットに出力する。この場合には、ロックが解除されず、ロック状態が維持される(#9)。なお、係る場合、評価用音データに基づく音声の発声者が照合用音データに基づく音声の発声者であるユーザ100でないことを示す信号を報知部(図示せず)に出力し、報知部が発声者が異なっていることを示す音や光を出力して報知するように構成することも可能である。
なお、入力された音声に係る単語が、照合用音データに係る音声の単語と異なっていれば、今回の発声に係るユーザ150がユーザ100でないと判定することも可能である。
5.その他の実施形態
上記第1の実施形態では、照合部14がスリープ状態である場合に、評価用音データ取得部13による評価用音データの取得をトリガとしてスリープ状態を終了するとして説明したが、照合部14はスリープ状態にならないように構成することも可能である。
上記第2の実施形態では、マイクユニット1は、第1マイクロフォン10、音データ取得部11、音データ登録部12、評価用音データ取得部13、照合部14、照合結果出力部15、評価部20、補正部21の各機能部を備えるとして説明したが、試験用音データ取得部30及び算定部31を備えて構成しても良いし、更に、試験用音データ取得部30及び算定部31に加え、パラメータ変更部40を備えて構成しても良い。
上記第3の実施形態では、マイクユニット1がパラメータ変更部40を備えるとして説明したが、マイクユニット1はパラメータ変更部40を備えずに構成することも可能である。
上記実施形態では、第1マイクロフォン10が1つである場合の例を挙げて説明したが、第1マイクロフォン10を複数備えて構成することも可能である。係る場合、第1マイクロフォンの夫々に所期の方向からの音声のみが入力可能なるように構成すると好適である。これにより、特定の音声のみを認識し、発声者を照合し易くすることが可能となる。
上記第2の実施形態では、第1マイクロフォン10と第2マイクロフォン2Aの周波数特性を評価し、補正部21が第1マイクロフォン10及び第2マイクロフォン2Aのうちの一方の周波数特性を他方の周波数特性に一致するように補正するとして説明した。これに代え、まず、ユーザ100は第1マイクロフォン10に対して音声を入力し、マイクユニット1が第1マイクロフォン10に入力された音声を無線通信で装置2に転送する。次に、装置2の第2マイクロフォン2Aが、マイクユニット1から転送された音声に基づいて、音データとして取得し、音データを照合用音データとして登録するように構成することも可能である。このような構成であれば、直接、第1マイクロフォン10に入力された音声を用いて照合用音データを生成できるため、周波数特性を一致させるような補正を不要とできる。また、係る構成であっても、第1マイクロフォン10と第2マイクロフォン2Aとの周波数特性の差異に基づく誤った照合を防止できる。また、第1マイクロフォン10に音データ取得部11への伝達機能を持たせることなく、第2マイクロフォン2Aを有する装置2における機能(音データ取得部11への伝達機能)を有効に活用することができると共に、予め周波数特性を補正する必要がないので効率的である。
上記実施形態では、マイクユニット1をドアロックの解錠に利用する場合の例を挙げて説明したが、例えば車両のドアロックや、車両の動力装置(例えばエンジンやモータ等)の始動や、車両に設けられるデバイス(ハンズフリーマイクや、スピーカマイク一体型ボックスや、車外音声認識マイク、車内音声認識マイク)に利用することも可能である。また、車両に拘らず、スマートスピーカや、住設組み込み用マイク、監視カメラ、インタホン、家電機器(テレビ、冷蔵庫、炊飯器、電子レンジ等)、風呂用リモコン等に利用することも可能である。すなわち、換言すれば、マイクユニット1は第1マイクロフォン10に入力された音声の発声内容を推定し、推定された第1マイクロフォン10が搭載された装置(マイクユニット1)に対して操作指令を行うといえる。
上記実施形態では、第1マイクロフォン10と第2マイクロフォン2Aとは互いに異なるマイクロフォンである場合の例を挙げて説明したが、第1マイクロフォン10と第2マイクロフォン2Aとは同じマイクロフォンであっても良い。
上記実施形態では、「4.照合処理」において、「ユーザ100がスマートフォン等の携帯端末(装置2の一例)に備えられた第2マイクロフォン2Aに、所定の単語を発声した音声を入力する(#1)」として説明したが、ユーザ100が第1マイクロフォン10に、所定の単語を発声した音声を入力し、第1マイクロフォン10に入力された音声を第2マイクロフォン2Aに無線通信を介して伝達し、照合用音データを生成するように構成することが可能である。更には、「照合部14が、評価用音データから抽出した特徴点を照合用音データと照合する(#5)」として説明したが、評価用音データからの特徴点の抽出も、第2マイクロフォン2Aにて行うように構成することも可能である。いずれの場合であっても、各データや特徴点は、無線通信を介して伝達するように構成することが可能である。
本発明は、第1マイクロフォンに入力された音声が、所期の発声者による音声であるか否かを判定可能なマイクユニットに用いることが可能である。
1:マイクユニット
2:異なる装置
2A:第2マイクロフォン
10:第1マイクロフォン
11:音データ取得部
12:音データ登録部
13:評価用音データ取得部
14:照合部
15:照合結果出力部
20:評価部
21:補正部
30:試験用音データ取得部
31:算定部
40:パラメータ変更部

Claims (8)

  1. 第1マイクロフォンに入力された音声が、所期の発声者による音声であるか否かを判定可能なマイクユニットであって、
    音声を音データとして取得する音データ取得部と、
    前記音データから特徴点を抽出した照合用音データを登録する音データ登録部と、
    前記第1マイクロフォンに入力された音声を評価用音データとして取得する評価用音データ取得部と、
    前記照合用音データと前記評価用音データから抽出した特徴点とに基づいて、前記評価用音データに基づく音声の発声者が前記照合用音データに基づく音声の発声者であるか否かの照合を行う照合部と、
    前記照合部の照合結果を出力する照合結果出力部と、
    を備え、
    前記照合用音データは、前記第1マイクロフォンが搭載された装置とは異なる装置によって作成され、前記第1マイクロフォンが搭載された装置と前記異なる装置とは無線通信により前記照合用音データの受け渡しが行われるマイクユニット。
  2. 前記照合部がスリープ状態である場合に、前記評価用音データ取得部による前記評価用音データの取得をトリガとして前記スリープ状態を終了する請求項1に記載のマイクユニット。
  3. 前記音データ取得部が取得する音データは、前記第1マイクロフォンが搭載された装置とは異なる装置に設けられた第2マイクロフォンに入力された音声であって、
    前記第1マイクロフォン及び前記第2マイクロフォンの双方への音声の入力前に、前記第1マイクロフォンの周波数特性及び前記第2マイクロフォンの周波数特性を評価する評価部と、
    前記第1マイクロフォン及び前記第2マイクロフォンのうちの一方の周波数特性を他方の周波数特性に一致するように補正する補正部と、を更に備える請求項1又は2に記載のマイクユニット。
  4. 前記照合用音データが登録された後であって、前記評価用音データが取得される前に、前記第1マイクロフォンで前記照合用音データに係る音声を発した発声者の音声を試験用音データとして取得する試験用音データ取得部と、
    前記試験用音データと前記照合用音データとに基づいて、前記照合に用いる照合用パラメータを変更しながら前記試験用音データに基づく前記発声者の照合率を算定する算定部と、を更に備え、
    前記照合部は、前記算定部により算定された前記照合率のうち、最も高い照合率である時の前記照合用パラメータに基づいて前記照合を行う請求項1から3のいずれか一項に記載のマイクユニット。
  5. 前記照合用パラメータは、前記試験用音データ及び前記照合用音データのうちの少なくともいずれか一方を増幅する増幅率である請求項4に記載のマイクユニット。
  6. 前記第1マイクロフォンに対する前記評価用音データに基づく音声の入力時に、当該第1マイクロフォンのパラメータを前記照合用パラメータに基づいて自動で変更するパラメータ変更部を、更に備える請求項4又は5に記載のマイクユニット。
  7. 前記照合部の照合結果に基づいて、前記第1マイクロフォンに入力された音声の発声者を識別する請求項1から6のいずれか一項に記載のマイクユニット。
  8. 前記第1マイクロフォンに入力された音声の発声内容を推定し、推定された内容に基づき前記第1マイクロフォンが搭載された装置に対して操作指令を行う請求項1から7のいずれか一項に記載のマイクユニット。
JP2021532725A 2019-07-17 2020-06-09 マイクユニット Active JP7462634B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019131930 2019-07-17
JP2019131930 2019-07-17
PCT/JP2020/022616 WO2021010056A1 (ja) 2019-07-17 2020-06-09 マイクユニット

Publications (2)

Publication Number Publication Date
JPWO2021010056A1 JPWO2021010056A1 (ja) 2021-01-21
JP7462634B2 true JP7462634B2 (ja) 2024-04-05

Family

ID=74210556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021532725A Active JP7462634B2 (ja) 2019-07-17 2020-06-09 マイクユニット

Country Status (5)

Country Link
US (1) US20220415330A1 (ja)
EP (1) EP4002356A4 (ja)
JP (1) JP7462634B2 (ja)
CN (1) CN114080641A (ja)
WO (1) WO2021010056A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005241215A (ja) 2004-02-27 2005-09-08 Mitsubishi Electric Corp 電気機器、冷蔵庫、冷蔵庫の操作方法
JP2006126558A (ja) 2004-10-29 2006-05-18 Asahi Kasei Corp 音声話者認証システム
WO2014112375A1 (ja) 2013-01-17 2014-07-24 日本電気株式会社 話者識別装置、話者識別方法、および話者識別用プログラム
US20180040323A1 (en) 2016-08-03 2018-02-08 Cirrus Logic International Semiconductor Ltd. Speaker recognition

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2558682B2 (ja) * 1987-03-13 1996-11-27 株式会社東芝 知的ワ−クステ−シヨン
JPH08223281A (ja) * 1995-02-10 1996-08-30 Kokusai Electric Co Ltd 携帯電話機
JP2003066985A (ja) * 2001-08-22 2003-03-05 Nec Corp 携帯型通信機器の使用者認証方式
RU2230375C2 (ru) * 2002-09-03 2004-06-10 Общество с ограниченной ответственностью "Центр речевых технологий" Метод распознавания диктора и устройство для его осуществления
JP2004219728A (ja) * 2003-01-15 2004-08-05 Matsushita Electric Ind Co Ltd 音声認識装置
JP2006003451A (ja) * 2004-06-15 2006-01-05 Brother Ind Ltd 対象者特定装置,催事動向分析装置及び催事動向分析システム
JP2007057805A (ja) * 2005-08-24 2007-03-08 Denso Corp 車両用情報処理装置
US20100097178A1 (en) * 2008-10-17 2010-04-22 Pisz James T Vehicle biometric systems and methods
JP6081966B2 (ja) * 2014-07-18 2017-02-15 キャンバスマップル株式会社 情報検索装置、情報検索プログラム、および情報検索システム
US9257120B1 (en) * 2014-07-18 2016-02-09 Google Inc. Speaker verification using co-location information
JP6614080B2 (ja) 2016-09-16 2019-12-04 トヨタ自動車株式会社 音声対話システムおよび音声対話方法
JP6531776B2 (ja) * 2017-04-25 2019-06-19 トヨタ自動車株式会社 音声対話システムおよび音声対話方法
CN108926111A (zh) * 2018-07-23 2018-12-04 广州维纳斯家居股份有限公司 智能升降桌声音控制方法、装置、智能升降桌及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005241215A (ja) 2004-02-27 2005-09-08 Mitsubishi Electric Corp 電気機器、冷蔵庫、冷蔵庫の操作方法
JP2006126558A (ja) 2004-10-29 2006-05-18 Asahi Kasei Corp 音声話者認証システム
WO2014112375A1 (ja) 2013-01-17 2014-07-24 日本電気株式会社 話者識別装置、話者識別方法、および話者識別用プログラム
US20180040323A1 (en) 2016-08-03 2018-02-08 Cirrus Logic International Semiconductor Ltd. Speaker recognition

Also Published As

Publication number Publication date
US20220415330A1 (en) 2022-12-29
EP4002356A4 (en) 2023-05-24
WO2021010056A1 (ja) 2021-01-21
JPWO2021010056A1 (ja) 2021-01-21
CN114080641A (zh) 2022-02-22
EP4002356A1 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
US11748462B2 (en) Biometric authentication
US10542574B1 (en) Wireless device connection handover
US10678502B2 (en) Systems and methods for in-ear control of remote devices
US10721661B2 (en) Wireless device connection handover
US10728941B2 (en) Bidirectional sending and receiving of wireless data
US11292432B2 (en) Vehicle control system
TW201716929A (zh) 語音控制方法及語音控制系統
TW201717655A (zh) 語音控制方法及語音控制系統
US20180158462A1 (en) Speaker identification
US10425746B2 (en) Method for operating a hearing apparatus, and hearing apparatus
KR20210148057A (ko) 음성 인식 방법 및 이에 사용되는 장치
JP2019184809A (ja) 音声認識装置、音声認識方法
US20220238121A1 (en) Authenticating received speech
US11170790B2 (en) User authentication with audio reply
US11064281B1 (en) Sending and receiving wireless data
JP7462634B2 (ja) マイクユニット
JP2006025079A (ja) ヘッドセット及び無線通信システム
CN111583922A (zh) 智能语音助听器及智能家具系统
JP2015055835A (ja) 話者認識装置、話者認識方法及び話者認識プログラム
KR102573242B1 (ko) 비명소리 인식을 위한 사운드장치
JP2017003608A (ja) サーバ装置、システム、音声認識機能を管理するための方法、および、情報通信端末を制御するためのプログラム
JP6361360B2 (ja) 残響判定装置及びプログラム
KR102208496B1 (ko) 연속 음성 명령에 기반하여 서비스를 제공하는 인공지능 음성단말장치 및 음성서비스시스템
KR20190053633A (ko) 상황 판단을 위한 거치형 사운드장치
WO2019202852A1 (ja) 情報処理システム、クライアント装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240326

R150 Certificate of patent or registration of utility model

Ref document number: 7462634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150