JP6964666B2 - マルチビーム選定方法及び装置 - Google Patents

マルチビーム選定方法及び装置 Download PDF

Info

Publication number
JP6964666B2
JP6964666B2 JP2019528751A JP2019528751A JP6964666B2 JP 6964666 B2 JP6964666 B2 JP 6964666B2 JP 2019528751 A JP2019528751 A JP 2019528751A JP 2019528751 A JP2019528751 A JP 2019528751A JP 6964666 B2 JP6964666 B2 JP 6964666B2
Authority
JP
Japan
Prior art keywords
beam data
data
frequencies
correlation coefficient
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528751A
Other languages
English (en)
Other versions
JP2021509963A (ja
Inventor
炯亮 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Intelligent Technology Co Ltd
Original Assignee
Beijing Xiaomi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Intelligent Technology Co Ltd filed Critical Beijing Xiaomi Intelligent Technology Co Ltd
Publication of JP2021509963A publication Critical patent/JP2021509963A/ja
Application granted granted Critical
Publication of JP6964666B2 publication Critical patent/JP6964666B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/0055—Synchronisation arrangements determining timing error of reception due to propagation delay
    • H04W56/0065—Synchronisation arrangements determining timing error of reception due to propagation delay using measurement of signal travel time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0408—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas using two or more beams, i.e. beam diversity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0686—Hybrid systems, i.e. switching and simultaneous transmission
    • H04B7/0695—Hybrid systems, i.e. switching and simultaneous transmission using beam selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/26—Systems using multi-frequency codes
    • H04L27/2601—Multicarrier modulation systems
    • H04L27/2647—Arrangements specific to the receiver only
    • H04L27/2655—Synchronisation arrangements
    • H04L27/2657—Carrier synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/26—Systems using multi-frequency codes
    • H04L27/2601—Multicarrier modulation systems
    • H04L27/2647—Arrangements specific to the receiver only
    • H04L27/2655—Synchronisation arrangements
    • H04L27/2666—Acquisition of further OFDM parameters, e.g. bandwidth, subcarrier spacing, or guard interval length
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本開示は、デジタル信号処理技術分野に関し、特にマルチビーム選定方法及び装置に関する。
人工知能技術の迅速な発展に伴い、スマートホーム機器の適用がますます広くなる。スマートホーム機器には、一般的に、複数の音声収集モジュールを含むマイクロホンアレイが設けられる。複数のビームデータにおいて起動ワード検出を行い、ビームデータに設定されたキーワードが含まれることを検出した後、スマートホーム機器を起動するために、当該マイクロホンアレイによって、音声信号を収集し、収集された音声信号に基づいて、ビームフォーミングを行って、それぞれ異なる方向に対応する複数のビームデータを取得することができる。関連技術において、スマートホーム機器の起動速度を向上させるために、当該複数のビームデータに対してそれぞれ起動ワードの並列検出を行うことができる。
上記提案は、スマートホーム機器の起動速度を向上させることができるが、起動ワードの並列検出を行うには、多くの処理資源を消耗する必要があるため、スマートホーム機器の演算能力に対する要求が高く、スマートホーム機器の製造コストが向上し、ユーザ体験を損なう。
関連技術に存在する問題を克服するために、本開示の実施例によって、マルチビーム選定方法及び装置が提供される。技術案は、以下の通りである。
本開示の実施例の第１の態様によれば、
複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うステップと、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するステップであって、ビーム周波数の相関係数が、複数のビームデータ内の一つのビームデータと複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであるステップと、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップと、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップと、を含む、
マルチビーム選定方法を提供する。
本開示の実施例によって提供される技術案において、複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うことにより、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定する。上記提案において、音源から発した音声が起動ワードを含む場合、複数のビームデータ内の目標ビームデータにおいて起動ワードの検出に成功する確率が比較的高いので、複数のビームデータを取得した場合、すべてのビームデータに対して、起動ワード検出を行う必要がなく、目標ビームデータのみに対して起動ワード検出を行えばよく、起動ワードの検出速度に影響しないことを前提に、起動ワード検出を行うための所要のための所要の処理資源を減少させ、起動ワード検出を行う演算機器に対する演算能力の要求を低減して、当該演算機器の製造コストを低減し、ユーザ体験を改善する。
一実施例において、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するステップは、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各ビーム周波数の相関係数を正規化処理するステップを含み、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップは、
正規化処理された複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップを含む。
一実施例において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータを目標ビームデータとして選定するステップを含む。
一実施例において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するステップと、
候補ビームデータのエネルギー値を取得するステップと、
候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、候補ビームデータを目標ビームデータとして選定するステップと、を含む。
一実施例において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するステップと、
候補ビームデータを収集する音声収集モジュールが向けられる方向である候補ビーム収集方向を決定するステップと、
複数のビームデータ内の少なくとも２組のビームデータに基づいて、音声収集モジュールから音源に向けられる方向である音源方向を決定するステップと、
候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下である場合、候補ビームデータを目標ビームデータとして選定するステップと、を含む。
本開示の実施例の第２の態様によれば、
複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うためのビームデータ取得モジュールと、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するためのビーム周波数相関係数取得モジュールであって、ビーム周波数の相関係数が、複数のビームデータ内の一つのビームデータと複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであるビーム周波数相関係数取得モジュールと、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するためのビーム周波数相関係数合計取得モジュールと、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するための目標ビームデータ選定モジュールと、を含む、
マルチビーム選定装置を提供する。
一実施例において、ビーム周波数相関係数取得モジュールは、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各ビーム周波数の相関係数を正規化処理するための正規化処理サブモジュールを含み、
ビーム周波数相関係数合計取得モジュールは、
正規化処理された複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するためのビーム周波数相関係数合計取得サブモジュールを含む。
一実施例において、目標ビームデータ選定モジュールは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータを目標ビームデータとして選定するための第１の目標ビームデータ選定サブモジュールを含む。
一実施例において、目標ビームデータ選定モジュールは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するための第１の候補ビームデータ選定サブモジュールと、
候補ビームデータのエネルギー値を取得するためのエネルギー値取得サブモジュールと、
候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、候補ビームデータを目標ビームデータとして選定するための第２の目標ビームデータ選定サブモジュールと、を含む。
一実施例において、目標ビームデータ選定モジュールは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するための第１の候補ビームデータ選定サブモジュールと、
候補ビームデータを収集する音声収集モジュールが向けられる方向である候補ビーム収集方向を決定する候補ビーム収集方向決定サブモジュールと、
複数のビームデータ内の少なくとも２組のビームデータに基づいて、音声収集モジュールから音源に向けられる方向である音源方向を決定するための音源方向決定サブモジュールと、
候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下である場合、候補ビームデータを目標ビームデータとして選定するための第３の目標ビームデータ選定サブモジュールと、を含む。
本開示の実施例の第３の態様によれば、
プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
プロセッサは、
複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行い、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、ビーム周波数の相関係数が、複数のビームデータ内の一つのビームデータと複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであり、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するように構成される、
マルチビーム選定装置を提供する。
本開示の実施例の第４の態様によれば、
コンピュータ命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、
当該命令がプロセッサによって実行されるとき、本開示の実施例の第１の態様のいずれかの方法のステップを実現する、
コンピュータ読み取り可能な記憶媒体を提供する。
なお、以上の一般的な説明及び後述の詳細な説明は、単なる例示的及び解釈的なものであり、本開示を制限するものではない。
ここの図面は、本明細書に組み込まれて本明細書の一部を構成し、本開示に適する実施例を示しており、明細書と共に、本開示の原理を説明するために用いられる。
例示的な一実施例によって示されるマルチビーム選定方法の実装形態図である。 例示的な一実施例によって示されるマルチビーム選定方法の概略フローチャートである。 例示的な一実施例によって示されるマルチビーム選定方法の概略フローチャートである。 例示的な一実施例によって示されるマルチビーム選定方法の概略フローチャートである。 例示的な一実施例によって示されるマルチビーム選定方法の概略フローチャートである。 例示的な一実施例によって示されるマルチビーム選定方法の概略フローチャートである。 例示的な一実施例によって示されるマルチビーム選定装置の構造概略図である。 例示的な一実施例によって示されるマルチビーム選定装置の構造概略図である。 例示的な一実施例によって示されるマルチビーム選定装置の構造概略図である。 例示的な一実施例によって示されるマルチビーム選定装置の構造概略図である。 例示的な一実施例によって示されるマルチビーム選定装置の構造概略図である。 例示的な一実施例によって示される装置のブロック図である。 例示的な一実施例によって示される装置のブロック図である。
ここで例示的な実施例を詳細に説明し、その例が図面に示される。以下の説明が図面に係る場合、他の示しがない限り、異なる図面における同一の数字が、同一又は類似の要素を示す。以下の例示的な実施例に記載される実施形態は、本出願と一致する全ての実施形態を表すものではない。むしろそれらは、単に特許請求の範囲に詳述されている、本開示の一部の側面と一致する装置及び方法の例である。
科学技術の迅速な発展及び人々の生活水準の不断の向上に伴い、近来、人工知能技術が迅速に発展し、スマートホーム機器の適用範囲がますます広くなる。
スマートホーム機器には、一般的に、複数の音声収集モジュールを含むマイクロホンアレイが設けられる。複数のビームデータにおいて起動ワード検出を行い、ビームデータに設定されたキーワードが含まれることを検出した後、スマートホーム機器を起動するために、当該マイクロホンアレイによって、音声信号を収集し、収集された音声信号に基づいて、ビームフォーミングを行って、それぞれ異なる方向に対応する複数のビームデータを取得することができる。関連技術において、スマートホーム機器の起動速度を向上させるために、当該複数のビームデータに対してそれぞれ起動ワードの並列検出を行うことができる。
上記提案は、スマートホーム機器の起動速度を向上させることができるが、起動ワードの並列検出を行うには、多くの処理資源を消耗する必要があるため、スマートホーム機器の演算能力に対する要求が高く、スマートホーム機器の製造コストが向上し、ユーザ体験を損なう。
上記問題を解決するために、本開示の実施例によって提供される技術案において、複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うことにより、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定する。上記提案において、音源から発した音声が起動ワードを含む場合、複数のビームデータ内の目標ビームデータにおいて起動ワードの検出に成功する確率が比較的高いので、複数のビームデータを取得した場合、すべてのビームデータに対して、起動ワード検出を行う必要がなく、目標ビームデータのみに対して起動ワード検出を行えばよく、起動ワードの検出速度に影響しないことを前提に、起動ワード検出を行うための所要の処理資源を減少させ、起動ワード検出を行う演算機器に対する演算能力の要求を緩合計して、当該演算機器の製造コストを低減し、ユーザ体験を改善する。
本開示の実施例によって提供される技術案は、図１に示すような電子機器１００に関する。電子機器１００は、マイクロホンアレイ１０１を含み、マイクロホンアレイ１０１は、複数の音声収集モジュール１０２を含み、各音声収集モジュール１０２は、それぞれ電子機器１００を中心に異なる方向に向かっている。
本開示の実施例は、マルチビーム選定方法を提供する。図２ａに示すように、以下のステップ２０１〜ステップ２０４を含む。
ステップ２０１において、複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行う。
例示的には、複数のビームデータは、電子機器を中心とする空間を複数の領域に分割し、各領域が一つのビームデータに対応すると理解されてもよい。複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うことは、同一サンプリング間隔で複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行って、取得された周波数サンプリングデータが複数の周波数値を含むと理解されてもよい。
ステップ２０２において、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得する。
ビーム周波数の相関係数は、複数のビームデータ内の一つのビームデータと複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものである。
例示的には、複数のビームデータ内の任意の２つのビームデータに対応するビームのインデックス番号は、ｍ1とｍ2であり、Ｘm1（ｋ）は、ビームのインデックス番号がｍ1であるビームデータの周波数サンプリング値であり、Ｘm2（ｋ）は、ビームのインデックス番号がｍ2であるビームデータの周波数サンプリング値であり、この２つのビームにそれぞれ対応するビームデータ間のビーム周波数の相関係数Ｒm1,m2は、
Figure 0006964666
 によって取得することができ、ここで、Ｘm2（ｋ）*がＸm2（ｋ）の共役転置であり、ビームデータにおいて周波数サンプリングを行うサンプリング点がＮ個であり、例えば、Ｎは、２の累乗であってもよく、例えば、Ｎは、２５６に等しくてもよい。
ステップ２０３において、複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得する。
例示的には、複数のビームデータがＬ個のビームデータである場合、当該Ｌ個のビームデータのうちのいずれかのビームデータに対応するビーム周波数の相関係数の合計は、当該ビームデータと他のＬ−１個のビームデータにおける各ビームデータとのビーム周波数の相関係数を加算することにより取得され、すなわち、Ｌ−１個のビーム周波数の相関係数を加算して取得されると理解されてもよい。
ステップ２０４において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定する。
例示的には、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定することは、複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータを目標ビームデータとして選定すると理解されてもよい。
本開示の実施例によって提供される技術案において、複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うことにより、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定する。上記提案において、音源から発した音声が起動ワードを含む場合、複数のビームデータ内の目標ビームデータにおいて起動ワードの検出に成功する確率が比較的高いので、複数のビームデータを取得した場合、すべてのビームデータに対して、起動ワード検出を行う必要がなく、目標ビームデータのみに対して起動ワード検出を行えばよく、起動ワードの検出速度に影響しないことを前提に、起動ワード検出を行うための所要の処理資源を減少させ、起動ワード検出を行う演算機器に対する演算能力の要求を緩合計して、当該演算機器の製造コストを低減し、ユーザ体験を改善する。
一実施例において、図２ｂに示すように、ステップ２０２において、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得することは、ステップ２０２１によって実現することができる。
ステップ２０２１において、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各ビーム周波数の相関係数を正規化処理する。
例示的には、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各ビーム周波数の相関係数を正規化処理することは、
Figure 0006964666
 によって、ビーム周波数の相関係数Ｒm1,m2を取得し、ここで、複数のビームデータ内の二つのビームデータに対応するビームのインデックス番号がｍ1とｍ2であり、Ｘm1（ｋ）は、ビームのインデックス番号がｍ1であるビームデータの周波数サンプリング値であり、Ｘm2（ｋ）は、ビームのインデックス番号がｍ2であるビームデータの周波数サンプリング値であり、Ｘm2（ｋ）*は、Ｘm2（ｋ）の共役転置であり、ビームデータにおいて周波数サンプリングを行うサンプリング点がＮ個であると理解されてもよい。
ステップ２０３において、複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得することは、ステップ２０３１によって実現することができる。
ステップ２０３１において、正規化処理された複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得する。
正規化処理された複数のビーム周波数の相関係数を取得し、正規化処理された複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得することにより、周波数サンプリングデータにおける周波数の振幅に由来する、ビーム周波数の相関係数の合計への影響を低減することができ、起動ワード検出の成功率を向上させる。
一実施例において、図２ｃに示すように、ステップ２０４において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定することは、ステップ２０４１〜ステップ２０４３によって実現することができる。
ステップ２０４１において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定する。
ステップ２０４２において、候補ビームデータのエネルギー値を取得する。
ステップ２０４３において、候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、候補ビームデータを目標ビームデータとして選定する。
例示的には、候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たすことは、ビームデータのエネルギー値が予め設定されたエネルギー閾値以上である場合、候補ビームデータを目標ビームデータとして選定すると理解されてもよい。予め設定されたエネルギー閾値は、ノイズに対してサンプリングを行うことにより取得されたノイズエネルギー閾値であってもよい。
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定し、候補ビームデータのエネルギー値を取得し、候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、候補ビームデータを目標ビームデータとして選定することにより、ノイズによってマルチビーム選定が干渉されることを回避することができる。
一実施例において、図２ｄに示すように、ステップ２０４において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定することは、ステップ２０４４〜ステップ２０４７によって実現することができる。
ステップ２０４４において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定する。
ステップ２０４５において、候補ビーム収集方向を決定する。
候補ビーム収集方向は、候補ビームデータを収集する音声収集モジュールが向けられる方向である。
ステップ２０４６において、複数のビームデータ内の少なくとも２組のビームデータに基づいて、音源方向を決定する。
音源方向は、音声収集モジュールから音源に向けられる方向である。
例示的には、複数のビームデータ内の少なくとも２組のビームデータに基づいて、音源方向を決定することは、少なくとも２組のビームデータ間の音源伝搬遅延時間を取得し、伝搬遅延時間に基づいて音源方向を決定すると理解されてもよい。
ステップ２０４７において、候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下である場合、候補ビームデータを目標ビームデータとして選定する。
例示的には、候補ビーム収集方向は、当該候補ビームが向けられる方向と理解されてもよい。候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下である場合は、音源が当該候補ビームが向けられる方向に位置すると理解されてもよい。
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定し、候補ビーム収集方向を決定し、複数のビームデータ内の少なくとも２組のビームデータに基づいて、音源方向を決定して、候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下である場合、候補ビームデータを目標ビームデータとして選定することにより、音源が目標ビームが向けられる方向に位置することを確保し、起動ワード検出の成功率を向上させる。
以下、実施例によって実現過程を詳しく説明する。
図３は、例示的な一実施例によって示されるマルチビーム選定方法の概略的なフローチャートについて説明する。図３に示すように、以下のステップを含む。
ステップ３０１において、複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行う。
ステップ３０２において、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各ビーム周波数の相関係数を正規化処理する。
ステップ３０３において、正規化処理された複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得する。
ステップ３０４において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定する。
ステップ３０５において、候補ビームデータのエネルギー値を取得する。
ステップ３０６において、候補ビーム収集方向を決定する。
候補ビーム収集方向は、候補ビームデータを収集する音声収集モジュールが向けられる方向である。
ステップ３０７において、複数のビームデータ内の少なくとも２組のビームデータに基づいて、音源方向を決定し、音源方向が音声収集モジュールから音源に向けられる方向である。
ステップ３０８において、候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下であり、かつ、候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、候補ビームデータを目標ビームデータとして選定する。
本開示の実施例によって提供される技術案において、複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うことにより、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定する。上記提案において、音源から発した音声が起動ワードを含む場合、複数のビームデータ内の目標ビームデータにおいて起動ワードの検出に成功する確率が比較的高いので、複数のビームデータを取得した場合、すべてのビームデータに対して、起動ワード検出を行う必要がなく、目標ビームデータのみに対して起動ワード検出を行えばよく、起動ワードの検出速度に影響しないことを前提に、起動ワード検出を行うための所要の処理資源を減少させ、起動ワード検出を行う演算機器に対する演算能力の要求を緩合計して、当該演算機器の製造コストを低減し、ユーザ体験を改善する。
下記は、本開示の装置実施例であり、本開示の方法実施例を実行することができる。
図４ａは、例示的な一実施例によって示されるマルチビーム選定装置４０のブロック図であり、マルチビーム選定装置４０は、電子機器であってもよいし、電子機器の一部であってもよい。マルチビーム選定装置４０は、ソフトウェア、ハードウェア、又は両者の組み合わせによって、電子機器の一部又は全体として実現される。図４ａに示すように、当該マルチビーム選定装置４０は、
複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うためのビームデータ取得モジュール４０１と、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するためのビーム周波数相関係数取得モジュール４０２であって、ビーム周波数の相関係数が、複数のビームデータ内の一つのビームデータと複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであるビーム周波数相関係数取得モジュール４０２と、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するためのビーム周波数相関係数合計取得モジュール４０３と、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するための目標ビームデータ選定モジュール４０４と、を含む。
一実施例において、図４ｂに示すように、ビーム周波数相関係数取得モジュール４０２は、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各ビーム周波数の相関係数を正規化処理するための正規化処理サブモジュール４０２１を含む。
ビーム周波数相関係数合計取得モジュール４０３は、
正規化処理された複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するためのビーム周波数相関係数合計取得サブモジュール４０３１を含む。
一実施例において、図４ｃに示すように、目標ビームデータ選定モジュール４０４は、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータを目標ビームデータとして選定するための第１の目標ビームデータ選定サブモジュール４０４１を含む。
一実施例において、図４ｄに示すように、目標ビームデータ選定モジュール４０４は、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するための第１の候補ビームデータ選定サブモジュール４０４２と、
候補ビームデータのエネルギー値を取得するためのエネルギー値取得サブモジュール４０４３と、
候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、候補ビームデータを目標ビームデータとして選定するための第２の目標ビームデータ選定サブモジュール４０４４と、を含む。
一実施例において、図４ｅに示すように、目標ビームデータ選定モジュール４０４は、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するための第１の候補ビームデータ選定サブモジュール４０４５と、
候補ビームデータを収集する音声収集モジュールが向けられる方向である候補ビーム収集方向を決定するための候補ビーム収集方向決定サブモジュール４０４６と、
複数のビームデータ内の少なくとも２組のビームデータに基づいて、音声収集モジュールから音源に向けられる方向である音源方向を決定するための音源方向決定サブモジュール４０４７と、
候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下である場合、候補ビームデータを目標ビームデータとして選定するための第３の目標ビームデータ選定サブモジュール４０４８と、を含む。
本開示の実施例は、マルチビーム選定装置を提供する。当該マルチビーム選定装置は、複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うことにより、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定することができる。上記提案において、音源から発した音声が起動ワードを含む場合、複数のビームデータ内の目標ビームデータにおいて起動ワードの検出に成功する確率が比較的高いので、複数のビームデータを取得した場合、すべてのビームデータに対して、起動ワード検出を行う必要がなく、目標ビームデータのみに対して起動ワード検出を行えばよく、起動ワードの検出速度に影響しないことを前提に、起動ワード検出を行うための所要の処理資源を減少させ、起動ワード検出を行う演算機器に対する演算能力の要求を緩合計して、当該演算機器の製造コストを低減し、ユーザ体験を改善する。
図５は、例示的な一実施例によって示されるマルチビーム選定装置５０のブロック図であり、当該マルチビーム選定装置５０は、電子機器であってもよいし、電子機器の一部であってもよい。マルチビーム選定装置５０は、
プロセッサ５０１と、
プロセッサ５０１により実行可能な命令を記憶するためのメモリ５０２と、を含み、
プロセッサ５０１は、
複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行い、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、ビーム周波数の相関係数が、複数のビームデータ内の一つのビームデータと複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであり、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するように構成される。
一実施例において、上記プロセッサ５０１は、さらに、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得することは、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各ビーム周波数の相関係数を正規化処理することを含み、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得することは、
正規化処理された複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得することを含むように構成されてもよい。
一実施例において、上記プロセッサ５０１は、さらに、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定することは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータを目標ビームデータとして選定することを含むように構成されてもよい。
一実施例において、上記プロセッサ５０１は、さらに、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定することは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定することと、
候補ビームデータのエネルギー値を取得することと、
候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、候補ビームデータを目標ビームデータとして選定することと、を含むように構成されてもよい。
一実施例において、上記プロセッサ５０１は、さらに、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定することは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定することと、
候補ビーム収集方向を決定し、候補ビーム収集方向が、候補ビームデータを収集する音声収集モジュールが向けられる方向であることと、
複数のビームデータ内の少なくとも２組のビームデータに基づいて、音源方向を決定し、音源方向が音声収集モジュールから音源に向けられる方向であることと、
候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下である場合、候補ビームデータを目標ビームデータとして選定することと、を含むように構成されてもよい。
本開示の実施例は、マルチビーム選定装置を提供する。当該マルチビーム選定装置は、複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うことにより、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定することができる。上記提案において、音源から発した音声が起動ワードを含む場合、複数のビームデータ内の目標ビームデータにおいて起動ワードの検出に成功する確率が比較的高いので、複数のビームデータを取得した場合、すべてのビームデータに対して、起動ワード検出を行う必要がなく、目標ビームデータのみに対して起動ワード検出を行えばよく、起動ワードの検出速度に影響しないことを前提に、起動ワード検出を行うための所要の処理資源を減少させ、起動ワード検出を行う演算機器に対する演算能力の要求を緩合計して、当該演算機器の製造コストを低減し、ユーザ体験を改善する。
図６は、例示的な一実施例によって示されるマルチビーム選定用装置６００のブロック図であり、当該装置６００は、電子機器に適用する。例えば、装置６００は、スマートスピーカー、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどであってもよい。
装置６００は、プロセスアセンブリ６０２、メモリ６０４、電源アセンブリ６０６、マルチメディアアセンブリ６０８、オーディオアセンブリ６１０、入力／出力（Ｉ／Ｏ）インタフェース６１２、センサアセンブリ６１４、及び通信アセンブリ６１６のうち１つ以上のアセンブリを含んでもよい。
プロセスアセンブリ６０２は、一般的には装置６００全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセスアセンブリ６０２は、上記方法の全部、或いは一部のステップを実現するために、命令を実行する１つ以上のプロセッサ６１８を含んでもよい。なお、プロセスアセンブリ６０２は、プロセスアセンブリ６０２と他のアセンブリとの間のインタラクションが容易になるように、一つ以上のモジュールを含んでもよい。例えば、プロセスアセンブリ６０２は、マルチメディアアセンブリ６０８とプロセスアセンブリ６０２との間のインタラクションが容易になるように、マルチメディアモジュールを含んでもよい。
メモリ６０４は、各種類のデータを記憶することにより装置６００の操作を支援するように構成される。これらのデータの例は、装置６００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ６０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイス又はそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
電源アセンブリ６０６は、装置６００の多様なアセンブリに電力を供給する。電源アセンブリ６０６は、電源管理システム、一つ以上の電源、及び装置６００のための電力の生成、管理及び分配に関連する他のアセンブリを含んでもよい。
マルチメディアアセンブリ６０８は、前記装置６００とユーザの間に一つの出力インタフェースを提供するスクリーンを含む。上記実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或いはスライドの動作の境界だけでなく、前記タッチ、或いはスライド操作に係る継続時間及び圧力も検出できる。上記実施例において、マルチメディアアセンブリ６０８は、一つのフロントカメラ、及び／又はリアカメラを含む。装置６００が、例えば撮影モード、ビデオモードなどの操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、一つの固定型の光レンズ系、或いは可変焦点距離と光学ズーム機能を有するものであってもよい。
オーディオアセンブリ６１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ６１０は、一つのマイク（ＭＩＣ）を含み、装置６００が、例えば呼出しモード、記録モード、音声認識モードなどの操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ６０４に記憶されたり、通信アセンブリ６１６を介して送信されたりされる。上記実施例において、オーディオアセンブリ６１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
Ｉ／Ｏインタフェース６１２は、プロセスアセンブリ６０２と周辺インタフェースモジュールの間にインタフェースを提供するものであり、上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロックボタンを含んでもよいが、これらに限定されない。
センサアセンブリ６１４は、装置６００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサアセンブリ６１４は、装置６００のＯＮ／ＯＦＦ状態、装置６００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ６１４は、装置６００、或いは装置６００の一つのアセンブリの位置変更、ユーザと装置６００とが接触しているか否か、装置６００の方位、又は加速／減速、装置６００の温度の変化を検出できる。センサアセンブリ６１４は、何れの物理的接触もない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ６１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ図像センサのような光センサを含んでもよい。上記実施例において、当該センサアセンブリ６１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
通信アセンブリ６１６は、装置６００と他の機器の間に有線、又は無線形態の通信を提供する。装置６００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或いはこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な一実施例において、通信アセンブリ６１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な一実施例において、前記通信アセンブリ６１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ）技術及び他の技術に基づいて実現できる。
例示的な一実施例において、装置６００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品によって実現されるものであり、上記方法を実行する。
例示的な一実施例において、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体、例えば、命令を含むメモリ６０４をさらに提供しており、装置６００のプロセッサ６２０により上記命令を実行して上記方法を実現する。例えば、非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶デバイスなどであってもよい。
非一時的なコンピュータ読み取り可能な記憶媒体であって、前記記憶媒体における命令が装置６００のプロセッサによって実行される場合、装置６００は、上記マルチビーム選定方法を実行する。前記方法は、
複数のビームデータを取得し、複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うステップと、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するステップであって、ビーム周波数の相関係数が、複数のビームデータ内の一つのビームデータと複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであるステップと、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップと、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップと、を含む。
一実施例において、複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するステップは、
複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各ビーム周波数の相関係数を正規化処理するステップを含み、
複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップは、
正規化処理された複数のビーム周波数の相関係数に基づいて、複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップを含む。
一実施例において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータを目標ビームデータとして選定するステップを含む。
一実施例において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するステップと、
候補ビームデータのエネルギー値を取得するステップと、
候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、候補ビームデータを目標ビームデータとして選定するステップと、を含む。
一実施例において、複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップは、
複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するステップと、
候補ビームデータを収集する音声収集モジュールが向けられる方向である候補ビーム収集方向を決定するステップと、
複数のビームデータ内の少なくとも２組のビームデータに基づいて、音声収集モジュールから音源に向けられる方向である音源方向を決定するステップと、
候補ビーム収集方向と音源方向との間の角度差が予め設定された角度差以下である場合、候補ビームデータを目標ビームデータとして選定するステップと、を含む。
当業者は、明細書を考慮して、ここに開示される開示を実践した後、本開示の他の実施案を容易に想到し得る。本出願の目的は、本開示のあらゆる変形、用途又は適応的な変化を含み、これらの変形、用途又は適応的な変化は、本開示の一般的な原理に従って、本開示に開示されていない当技術分野における周知技術又は通常の技術手段を含む。明細書及び実施例は、単なる例示的なものと見なされ、本開示の確実な範囲及び要旨は、以下の特許請求の範囲によって示される。
なお、本開示は、以上に説明され、図面に示された精確な構造に限らず、その範囲を逸脱せずに各種の修正及び変更を行うことができる。本発明の範囲は、添付の特許請求の範囲のみによって制限される。

Claims (10)

  1. 複数のビームデータを取得し、前記複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うステップと、
    前記複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するステップであって、前記ビーム周波数の相関係数が、前記複数のビームデータ内の一つのビームデータと前記複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであるステップと、
    前記複数のビーム周波数の相関係数に基づいて、前記複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップであって、前記各ビームデータに対応するビーム周波数の相関係数の合計とは、前記複数のビーム周波数における各ビームデータと、前記複数のビーム周波数における該ビームデータ以外の他のビームデータにおける各ビームデータとのビーム周波数の相関係数の合計であるステップと、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップと、を含み、
    前記予め設定された相関係数の要求のビームデータは、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータである、
    ことを特徴とするマルチビーム選定方法。
  2. 前記複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するステップは、
    前記複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各前記ビーム周波数の相関係数を正規化処理するステップを含み、
    前記複数のビーム周波数の相関係数に基づいて、前記複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップは、
    正規化処理された複数のビーム周波数の相関係数に基づいて、前記複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するステップを含む、
    ことを特徴とする請求項１に記載のマルチビーム選定方法。
  3. 前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップは、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が前記予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するステップと、
    前記候補ビームデータのエネルギー値を取得するステップと、
    前記候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、前記候補ビームデータを前記目標ビームデータとして選定するステップと、を含む、
    ことを特徴とする請求項１に記載のマルチビーム選定方法。
  4. 前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するステップは、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が前記予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するステップと、
    前記候補ビームデータを収集する音声収集モジュールが向けられる方向である候補ビーム収集方向を決定するステップと、
    前記複数のビームデータ内の少なくとも２組のビームデータに基づいて、前記音声収集モジュールから音源に向けられる方向である音源方向を決定するステップと、
    前記候補ビーム収集方向と前記音源方向との間の角度差が予め設定された角度差以下である場合、前記候補ビームデータを前記目標ビームデータとして選定するステップと、を含む、
    ことを特徴とする請求項１に記載のマルチビーム選定方法。
  5. 複数のビームデータを取得し、前記複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行うためのビームデータ取得モジュールと、
    前記複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得するためのビーム周波数相関係数取得モジュールであって、前記ビーム周波数の相関係数が、前記複数のビームデータ内の一つのビームデータと前記複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであるビーム周波数相関係数取得モジュールと、
    前記複数のビーム周波数の相関係数に基づいて、前記複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するためのビーム周波数相関係数合計取得モジュールであって、前記各ビームデータに対応するビーム周波数の相関係数の合計とは、前記複数のビーム周波数における各ビームデータと、前記複数のビーム周波数における該ビームデータ以外の他のビームデータにおける各ビームデータとのビーム周波数の相関係数の合計であるビーム周波数相関係数合計取得モジュールと、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するための目標ビームデータ選定モジュールと、を含み、
    前記予め設定された相関係数の要求のビームデータは、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータである、
    ことを特徴とするマルチビーム選定装置。
  6. 前記ビーム周波数相関係数取得モジュールは、
    前記複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、各前記ビーム周波数の相関係数を正規化処理するための正規化処理サブモジュールを含み、
    前記ビーム周波数相関係数合計取得モジュールは、
    正規化処理された複数のビーム周波数の相関係数に基づいて、前記複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得するためのビーム周波数相関係数合計取得サブモジュールを含む、
    ことを特徴とする請求項５に記載のマルチビーム選定装置。
  7. 前記目標ビームデータ選定モジュールは、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が前記予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するための第１の候補ビームデータ選定サブモジュールと、
    前記候補ビームデータのエネルギー値を取得するためのエネルギー値取得サブモジュールと、
    前記候補ビームデータのエネルギー値が予め設定されたエネルギー値の要求を満たす場合、前記候補ビームデータを前記目標ビームデータとして選定するための第２の目標ビームデータ選定サブモジュールと、を含む、
    ことを特徴とする請求項５に記載のマルチビーム選定装置。
  8. 前記目標ビームデータ選定モジュールは、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が前記予め設定された相関係数の要求を満たすビームデータを候補ビームデータとして選定するための第１の候補ビームデータ選定サブモジュールと、
    前記候補ビームデータを収集する音声収集モジュールが向けられる方向である候補ビーム収集方向を決定する候補ビーム収集方向決定サブモジュールと、
    前記複数のビームデータ内の少なくとも２組のビームデータに基づいて、前記音声収集モジュールから音源に向けられる方向である音源方向を決定するための音源方向決定サブモジュールと、
    前記候補ビーム収集方向と前記音源方向との間の角度差が予め設定された角度差以下である場合、前記候補ビームデータを前記目標ビームデータとして選定するための第３の目標ビームデータ選定サブモジュールと、を含む、
    ことを特徴とする請求項５に記載のマルチビーム選定装置。
  9. プロセッサと、
    プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
    前記プロセッサは、
    複数のビームデータを取得し、前記複数のビームデータ内の各ビームデータに対して、周波数サンプリングを行い、
    前記複数のビームデータ内の各ビームデータの周波数サンプリングデータに基づいて、複数のビーム周波数の相関係数を取得し、前記ビーム周波数の相関係数が、前記複数のビームデータ内の一つのビームデータと前記複数のビームデータ内のもう一つのビームデータとの類似度を示すためのものであり、
    前記複数のビーム周波数の相関係数に基づいて、前記複数のビームデータ内の各ビームデータに対応するビーム周波数の相関係数の合計を取得し、前記各ビームデータに対応するビーム周波数の相関係数の合計とは、前記複数のビーム周波数における各ビームデータと、前記複数のビーム周波数における該ビームデータ以外の他のビームデータにおける各ビームデータとのビーム周波数の相関係数の合計であり、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が予め設定された相関係数の要求を満たすビームデータを目標ビームデータとして選定するように構成され、
    前記予め設定された相関係数の要求のビームデータは、
    前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ、又は、前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も大きいビームデータ及び前記複数のビームデータ内の対応するビーム周波数の相関係数の合計が最も小さいビームデータである、
    ことを特徴とするマルチビーム選定装置。
  10. コンピュータ命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、
    当該命令がプロセッサによって実行されるとき、請求項１〜４のいずれかに記載の方法のステップを実現する、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2019528751A 2018-11-20 2019-03-05 マルチビーム選定方法及び装置 Active JP6964666B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811385651.1A CN109599104B (zh) 2018-11-20 2018-11-20 多波束选取方法及装置
CN201811385651.1 2018-11-20
PCT/CN2019/077022 WO2020103353A1 (zh) 2018-11-20 2019-03-05 多波束选取方法及装置

Publications (2)

Publication Number Publication Date
JP2021509963A JP2021509963A (ja) 2021-04-08
JP6964666B2 true JP6964666B2 (ja) 2021-11-10

Family

ID=65958757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528751A Active JP6964666B2 (ja) 2018-11-20 2019-03-05 マルチビーム選定方法及び装置

Country Status (7)

Country Link
US (1) US11337173B2 (ja)
EP (1) EP3657497B1 (ja)
JP (1) JP6964666B2 (ja)
KR (1) KR102240490B1 (ja)
CN (1) CN109599104B (ja)
RU (1) RU2717912C1 (ja)
WO (1) WO2020103353A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109599104B (zh) * 2018-11-20 2022-04-01 北京小米智能科技有限公司 多波束选取方法及装置
CN111833901B (zh) * 2019-04-23 2024-04-05 北京京东尚科信息技术有限公司 音频处理方法、音频处理装置、系统及介质
CN110364161A (zh) 2019-08-22 2019-10-22 北京小米智能科技有限公司 响应语音信号的方法、电子设备、介质及系统
US11990973B2 (en) * 2020-04-20 2024-05-21 Telefonaktiebolaget Lm Ericsson (Publ) Beam management for a radio transceiver device
CN112492452B (zh) * 2020-11-26 2022-08-26 北京字节跳动网络技术有限公司 波束系数存储方法、装置、设备和存储介质
EP4210350A4 (en) * 2021-11-19 2023-12-13 Shenzhen Shokz Co., Ltd. OPEN ACOUSTIC DEVICE
US20240062774A1 (en) * 2022-08-17 2024-02-22 Caterpillar Inc. Detection of audio communication signals present in a high noise environment

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2861011B2 (ja) * 1989-01-11 1999-02-24 アイシン精機株式会社 音声入力方法及び装置
US7415117B2 (en) * 2004-03-02 2008-08-19 Microsoft Corporation System and method for beamforming using a microphone array
US7426464B2 (en) * 2004-07-15 2008-09-16 Bitwave Pte Ltd. Signal processing apparatus and method for reducing noise and interference in speech communication and speech recognition
EP3296992B1 (en) * 2008-03-20 2021-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for modifying a parameterized representation
JP2011257627A (ja) * 2010-06-10 2011-12-22 Murata Mach Ltd 音声認識装置と認識方法
GB2495129B (en) * 2011-09-30 2017-07-19 Skype Processing signals
US20130329908A1 (en) * 2012-06-08 2013-12-12 Apple Inc. Adjusting audio beamforming settings based on system state
KR20140108788A (ko) * 2013-02-28 2014-09-15 경북대학교 산학협력단 단일 마이크로폰을 이용한 접촉식 인터페이스 장치
US9489965B2 (en) * 2013-03-15 2016-11-08 Sri International Method and apparatus for acoustic signal characterization
WO2014175591A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호처리 방법
KR101491354B1 (ko) * 2013-11-25 2015-02-06 현대자동차주식회사 음성인식 장치 및 방법
KR102146462B1 (ko) * 2014-03-31 2020-08-20 삼성전자주식회사 음성 인식 시스템 및 방법
CN105590631B (zh) * 2014-11-14 2020-04-07 中兴通讯股份有限公司 信号处理的方法及装置
KR102346302B1 (ko) * 2015-02-16 2022-01-03 삼성전자 주식회사 전자 장치 및 음성 인식 기능 운용 방법
CN104810021B (zh) * 2015-05-11 2017-08-18 百度在线网络技术（北京）有限公司 应用于远场识别的前处理方法和装置
US9820036B1 (en) * 2015-12-30 2017-11-14 Amazon Technologies, Inc. Speech processing of reflected sound
US9653060B1 (en) * 2016-02-09 2017-05-16 Amazon Technologies, Inc. Hybrid reference signal for acoustic echo cancellation
CN105791611B (zh) * 2016-02-22 2020-07-07 腾讯科技（深圳）有限公司 回声消除方法、装置、终端以及存储介质
CN106023996B (zh) * 2016-06-12 2019-08-27 杭州电子科技大学 基于十字形声阵列宽带波束形成的声识别方法
US9972337B2 (en) * 2016-06-22 2018-05-15 Cisco Technology, Inc. Acoustic echo cancellation with delay uncertainty and delay change
JP6387151B2 (ja) * 2016-09-30 2018-09-05 パナソニック株式会社 雑音抑圧装置、及び、雑音抑圧方法
KR20180103634A (ko) * 2017-03-10 2018-09-19 주식회사 쿨잼컴퍼니 통계적 방법에 의한 음향 분석 및 비교
KR20180103639A (ko) * 2017-03-11 2018-09-19 주식회사 쿨잼컴퍼니 상대적 유사도에 기초한 음악 시퀀스들의 유사도 분석
CN106952653B (zh) * 2017-03-15 2021-05-04 科大讯飞股份有限公司 噪声去除方法、装置和终端设备
CN107274911A (zh) * 2017-05-03 2017-10-20 昆明理工大学 一种基于声音特征的相似度分析方法
CN107221320A (zh) * 2017-05-19 2017-09-29 百度在线网络技术（北京）有限公司 训练声学特征提取模型的方法、装置、设备和计算机存储介质
US10051366B1 (en) * 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
CN108122563B (zh) * 2017-12-19 2021-03-30 北京声智科技有限公司 提高语音唤醒率及修正doa的方法
CN108181612B (zh) * 2017-12-22 2019-05-21 达闼科技（北京）有限公司 确定麦克风波束成型角度的方法及相关装置
CN108717495A (zh) * 2018-05-22 2018-10-30 出门问问信息科技有限公司 多波束波束成形的方法、装置及电子设备
US10622004B1 (en) * 2018-08-20 2020-04-14 Amazon Technologies, Inc. Acoustic echo cancellation using loudspeaker position
CN109599104B (zh) * 2018-11-20 2022-04-01 北京小米智能科技有限公司 多波束选取方法及装置

Also Published As

Publication number Publication date
US11337173B2 (en) 2022-05-17
JP2021509963A (ja) 2021-04-08
KR102240490B1 (ko) 2021-04-15
EP3657497A1 (en) 2020-05-27
WO2020103353A1 (zh) 2020-05-28
US20200163038A1 (en) 2020-05-21
EP3657497B1 (en) 2024-01-10
RU2717912C1 (ru) 2020-03-26
KR20200063095A (ko) 2020-06-04
CN109599104A (zh) 2019-04-09
CN109599104B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
JP6964666B2 (ja) マルチビーム選定方法及び装置
CN108510987B (zh) 语音处理方法及装置
CN108766457B (zh) 音频信号处理方法、装置、电子设备及存储介质
EP3091753A1 (en) Method and device of optimizing sound signal
CN105631803B (zh) 滤镜处理的方法和装置
US10027785B2 (en) Method for switching screen state of terminal, terminal thereof, and computer-readable medium thereof
CN111553464B (zh) 基于超网络的图像处理方法、装置及智能设备
US11178501B2 (en) Methods, devices, and computer-readable medium for microphone selection
CN108307308B (zh) 无线局域网设备的定位方法、装置和存储介质
CN111863012B (zh) 一种音频信号处理方法、装置、终端及存储介质
CN112185388B (zh) 语音识别方法、装置、设备及计算机可读存储介质
CN112019948B (zh) 一种对讲设备通信的方法、对讲设备和存储介质
CN110298261A (zh) 静脉识别方法及相关产品
CN107665340B (zh) 指纹识别方法、装置、电子设备
CN112752191A (zh) 音频采集方法、装置及存储介质
CN111918170A (zh) 拾音方式切换方法、装置和电子设备
CN111986688B (zh) 一种提高语音清晰度的方法、装置及介质
CN116705047B (zh) 音频采集方法、装置及存储介质
CN112462928B (zh) 操作执行方法、装置及存储介质
CN112804462B (zh) 多点对焦成像方法及装置、移动终端、存储介质
CN110632600B (zh) 环境识别方法和装置
CN117636893A (zh) 风噪检测方法、装置、可穿戴设备及可读储存介质
CN116097349A (zh) 电子设备的语音唤醒方法、装置、存储介质及芯片
CN117877507A (zh) 语音信号增强方法、装置、电子设备和存储介质
CN112883849A (zh) 识别手势的方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211019

R150 Certificate of patent or registration of utility model

Ref document number: 6964666

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150