JP2023532078A - ヘッドセットノイズ処理方法、装置及びヘッドセット - Google Patents

ヘッドセットノイズ処理方法、装置及びヘッドセット Download PDF

Info

Publication number
JP2023532078A
JP2023532078A JP2022580546A JP2022580546A JP2023532078A JP 2023532078 A JP2023532078 A JP 2023532078A JP 2022580546 A JP2022580546 A JP 2022580546A JP 2022580546 A JP2022580546 A JP 2022580546A JP 2023532078 A JP2023532078 A JP 2023532078A
Authority
JP
Japan
Prior art keywords
signal
target
processing
headset
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022580546A
Other languages
English (en)
Inventor
チェン、ウェイビン
リ、ユロン
ファン、ファン
カオ、ティアンシアン
グイ、ツェンシア
チェン、ツィペン
キウ、クンショウ
シオン、ウェイ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2023532078A publication Critical patent/JP2023532078A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17837—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by retaining part of the ambient acoustic environment, e.g. speech or alarm signals that the user needs to hear
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3023—Estimation of noise, e.g. on error signals
    • G10K2210/30231—Sources, e.g. identifying noisy processes or components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3024—Expert systems, e.g. artificial intelligence
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3035—Models, e.g. of the acoustic system
    • G10K2210/30351—Identification of the environment for applying appropriate model characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3039—Nonlinear, e.g. clipping, numerical truncation, thresholding or variable input and output gain
    • G10K2210/30391—Resetting of the filter parameters or changing the algorithm according to prevailing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Telephone Function (AREA)

Abstract

本願の実施形態は、ヘッドセットノイズ処理方法、装置及びヘッドセットを提供して、ユーザ要求に基づいて所望の効果を実装する。ヘッドセットは、ＡＮＣ機能、ＨＴ機能、又はＡＨ機能のうちの少なくとも２つの機能を有する。ヘッドセットは第１マイクロホン及び第２マイクロホンを含む。第１マイクロホンは第１信号を収集するように構成される。第１信号は現在の外部環境における音を示す。第２マイクロホンは第２信号を収集するように構成される。第２信号は、ヘッドセットを装着しているユーザの外耳道における環境音を示す。ヘッドセットは左イヤホン又は右イヤホンであり得る。左イヤホン及び右イヤホンの処理モード又は処理強度は同一であり得る、又は、異なり得る。ヘッドセットは、現在の外部環境の場面タイプに基づいて決定され得る目標モードを取得し、目標モード、第１信号、及び第２信号に基づいて第２オーディオ信号を取得する。目標モードは、外部環境の場面タイプに基づいて決定され、その結果、聴覚感知効果は、ユーザに対してリアルタイムに最適化され得る。

Description

［関連出願の相互参照］
本願は、「ヘッドセットノイズ処理方法、装置及びヘッドセット」と題する、２０２０年６月３０日に中国国家知識産権局に出願された中国特許出願第２０２０１０６２３９８３．Ｘ号に対する優先権を主張し、その全体は参照によって本明細書に組み込まれる。
本願の実施形態は、オーディオ処理技術の分野、特に、ヘッドセットノイズ処理方法、装置及びヘッドセットに関する。
近年、ヘッドセットユーザが増えており、ヘッドセット機能に対するユーザの要求がますます多岐にわたっている。例えば、ユーザがヘッドセットを装着しているときに外部ノイズを聞きたくない場合、ユーザはアクティブノイズコントロール（ａｃｔｉｖｅ ｎｏｉｓｅ ｃｏｎｔｒｏｌ， ＡＮＣ）機能を使用して耳からノイズをブロックできる。一部のユーザは、ヘッドセットの外側の音を聞くことを望んでいる。あるユーザは、あたかもユーザがヘッドセットを装着していないかのように音を聞くために、環境音ヒアスルー（ｈｅａｒ ｔｈｒｏｕｇｈ， ＨＴ）機能を使用する必要がある。一部のユーザは難聴を有し得る。聴覚増強（ａｕｇｍｅｎｔ ｈｅａｒｉｎｇ， ＡＨ）機能は、所望の外部信号をユーザに送り、所望でない信号をフィルタリング除去するために使用され得る。
しかしながら、現在、ヘッドセットはユーザ要求に基づく所望の効果を実装できない。
本願の実施形態は、ヘッドセットノイズ処理方法、装置及びヘッドセットを提供して、ユーザ要求に基づいて所望の効果を実装する。
第１態様によれば、本願の実施形態はヘッドセットノイズ処理方法を提供する。ヘッドセットは、アクティブノイズコントロールＡＮＣ機能、環境音ヒアスルーＨＴ機能、又は聴覚増強ＡＨ機能のうちの少なくとも２つの機能を有する。ヘッドセットは第１マイクロホン及び第２マイクロホンを含む。第１マイクロホンは第１信号を収集するように構成される。第１信号は現在の外部環境における音を示す。第２マイクロホンは第２信号を収集するように構成される。第２信号は、ヘッドセットを装着しているユーザの外耳道における環境音を示す。ヘッドセットは左イヤホン又は右イヤホンであり得る。左イヤホン及び右イヤホンは同一の処理モード又は異なる処理モードを使用し得る。ヘッドセットは第１オーディオ信号を端末デバイスから受信し、目標モードを取得し（目標モードは現在の外部環境の場面タイプに基づいて決定され、目標モードは、目標処理機能を実行するようヘッドセットに指示し、目標処理機能は、アクティブノイズコントロールＡＮＣ機能、環境音ヒアスルーＨＴ機能又は聴覚増強ＡＨ機能の１つである）、目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得する。
前述の方法によれば、目標モードは、外部環境の場面タイプに基づいて決定され、その結果、聴覚感知効果は、ユーザに対してリアルタイムで最適化され得る。
可能な設計において、ヘッドセットは更にスピーカを含む。スピーカは第２オーディオ信号を再生するように構成される。
可能な設計において、目標処理機能がＡＮＣ機能であるとき、スピーカによって再生される第２オーディオ信号は、現在のユーザ環境における音及びユーザの外耳道における環境音のユーザ感知を弱めることができ、目標処理機能がＨＴ機能であるとき、スピーカによって再生される第２オーディオ信号は、現在のユーザ環境における音のユーザ感知を強化でき、又は、目標処理機能がＡＨ機能であるとき、スピーカによって再生される第２オーディオ信号は、イベント音のユーザ感知を強化でき、イベント音は予め設定されたスペクトルを満たす。
左イヤホンがＡＮＣモードを使用するとき、左イヤホンのスピーカによって再生されるオーディオ信号は、現在のユーザ環境における音（すなわち、現在の外部環境における音）及びユーザの左の外耳道における環境音のユーザの左耳感知を弱めることができることが理解されるべきである。右イヤホンがＡＮＣモードを使用するとき、右イヤホンのスピーカによって再生されるオーディオ信号は、現在のユーザ環境における音（すなわち、現在の外部環境における音）及びユーザの右の外耳道における環境音のユーザ右耳感知を弱めることができる。同様に、ＨＴ及びＡＨモードについて、左耳感知は、左イヤホンの処理モードに依存し、右耳感知は、右イヤホンの処理モードに依存する。
可能な設計において、目標処理機能がＡＮＣ機能であるとき、第２オーディオ信号は、第１オーディオ信号、第３信号及び第４信号に基づいて取得され、第３信号は第１信号の逆位相信号であり、第４信号は、第２信号の逆位相信号であり、目標処理機能がＨＴ機能であるとき、第２オーディオ信号は、第１オーディオ信号、第１信号及び第２信号に基づいて取得され、又は、目標処理機能がＡＨ機能であるとき、第２オーディオ信号は、第１オーディオ信号、第５信号、及び第４信号に基づいて取得され、第５信号は第１信号におけるイベント信号であり、イベント信号は現在の外部環境における特定の音を示し、イベント信号は予め設定されたスペクトルを満たす。
前述の設計は、単純かつ効果的である、異なる処理モードにおける、スピーカによって出力される信号を取得する方式を提供する。
可能な設計において、目標モードを取得することは、第１制御命令を端末デバイスから受信することを含み、第１制御命令は目標モードを保持し、目標モードは、現在の外部環境の場面タイプに基づいて端末デバイスによって決定される。
前述の設計において、目標モードは、外部環境の場面タイプに基づいて端末デバイスによって決定され、ヘッドセットを示し、その結果、聴覚感知効果がユーザに対してリアルタイムで最適化されることができる。
可能な設計において、第２制御命令が端末デバイスから受信され、第２制御命令は目標処理強度を保持し、目標処理強度は、ヘッドセットが目標処理機能を実行するときに使用される処理強度を示す。目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することは、目標モード、目標処理強度、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することを含む。
前述の設計によれば、端末デバイスは対応する処理モードにおけるヘッドセットの処理強度を示す。ユーザの聴覚感知を更に改善するために、処理強度は、処理モードに基づいて調整される。
可能な設計において、現在の外部環境におけるイベント音に対応する目標イベントは、第１信号に基づいて決定され、目標モードにおける目標処理強度は、目標イベントに基づいて決定され、ここで、目標処理強度は、ヘッドセットが目標処理機能を実行するときに使用される処理強度を示す。目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することは、目標モード、目標処理強度、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することを含む。異なる処理強度は異なるイベントに対応する。処理強度は、イベントに１対１で対応し、又は、１つの処理強度は、複数のイベントに対応する。例えば、２つのイベントについて同一の処理強度が使用され得、同一のイベントについて異なる処理強度を使用できない。
前述の設計によれば、ヘッドセットは、外部環境におけるイベント音に基づいて処理強度を決定して、異なる外部環境における異なる聴覚感知を実装する。これによりバックグラウンドノイズを低減し、ノイズコントロール強度を強化できる。
可能な設計において、ヘッドセットは更に骨伝導センサを含む。骨伝導センサは、ユーザの声帯の振動によって生成される骨伝導信号を収集するように構成される。第１信号に基づいて、ユーザが現在位置する第１場面を識別することは、第１信号及び骨伝導信号に基づいて、ユーザが現在位置する第１場面を識別することを含む。
可能な設計において、目標イベントはハウリングイベント、ウインドノイズイベント、緊急イベント、又は人声イベントである。
可能な設計において、目標モードを取得することは、第１信号に基づいて、現在の外部環境の場面タイプを目標場面タイプ（簡潔に目標場面又は目標タイプとして呼ばれる）を識別すること、及び、目標場面に基づいてヘッドセットの目標モードを決定することを含み、目標モードは目標場面に対応する処理モードである。異なる処理モードは異なる場面タイプに対応する。処理モードは場面タイプに１対１で対応し得、又は、１つの処理モードは、複数の場面タイプに対応し得る。例えば、同一の処理モードは、２つの場面タイプについて使用され得る。
前述の設計において、ヘッドセットは、識別された場面タイプに基づいてヘッドセットの処理モードを決定し、その結果、遅延が短縮され、聴覚感知がユーザに対してリアルタイムで最適化される。
可能な設計において、目標場面は、歩く場面、走る場面、静かな場面、複数人が話す場面、カフェの場面、地下鉄の場面、電車の場面、待合室の場面、対話の場面、オフィスの場面、屋外の場面、運転の場面、強風の場面、飛行機の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面のうちの１つである。
可能な設計において、方法は更に、指示情報を端末デバイスへ送信する段階であって、指示情報は目標モードを保持する、段階と、第３制御信号を端末デバイスから受信する段階であって、第３制御信号は、目標モードにおける目標処理強度を含み、目標処理強度は、ヘッドセットが目標処理機能を実行するときに使用される処理強度を示す、段階とを備える。目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することは、目標モード、目標処理強度、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することを含む。
前述の設計において、ヘッドセットは処理モードを決定し、処理モードを端末デバイスに示し、その結果、端末デバイスは処理強度を調整する。これにより、ヘッドセットによって占有される処理リソースを低減する。
可能な設計において、目標処理機能がＡＮＣ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音及びユーザの外耳道における環境音のより弱いユーザ感知を示し、目標処理機能がＨＴ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音のより強いユーザ感知を示し、又は、目標処理機能がＡＨ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音に含まれるイベント音のより強いユーザ感知を示す。
可能な設計において、目標モードは、ＡＮＣ機能を実行するようにヘッドセットに指示する。目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することは、第１信号に対して第１フィルタリング処理（例えば、フィードフォワードＦＦフィルタリング）を実行して第１フィルタリング信号を取得すること、第２信号に含まれる第１オーディオ信号をフィルタリング除去して第１フィルタリング済み信号を取得すること、第１フィルタリング信号及びフィルタリング済み信号に対してオーディオミキシング処理を実行して、第３オーディオ信号を取得すること、第３オーディオ信号に対して第３フィルタリング処理（例えば、フィードバックＦＢフィルタリング）を実行して第４オーディオ信号を取得すること、第４オーディオ信号及び第１オーディオ信号に対してオーディオミキシング処理を実行して第２オーディオ信号を取得することを含む。
前述の設計において、ＡＮＣ処理は、ＦＦフィルタリング及びＦＢシリアル処理の方式で実行され、より良くノイズ除去された信号を取得し、ノイズコントロール効果を強化する。
可能な設計において、第１フィルタリング処理に使用されるフィルタリング係数は、ＡＮＣ機能の場合において第１フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数であり、又は、第３フィルタリング処理に使用されるフィルタリング係数は、ＡＮＣ機能の場合において第３フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数である。
前述の設計において、固定フィルタリング係数の代わりに、異なる処理強度の場合において、異なるフィルタリング係数が使用される。これにより、より良いＡＮＣ効果を実装し、ユーザの聴覚感知を改善する。
可能な設計において、目標モードは、ＨＴ機能を実行するようにヘッドセットに指示する。目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することは、第１信号に対して第１信号処理を実行して第１処理済み信号を取得することであって、第１信号処理は第２フィルタリング処理（例えばＨＴフィルタリング）を含む、こと、第１処理済み信号及び第１オーディオ信号に対してオーディオミキシング処理を実行して第５オーディオ信号を取得すること、第２信号に含まれる第５オーディオ信号をフィルタリング除去して、第２フィルタリング済み信号を取得すること、第２フィルタリング済み信号に対して第３フィルタリング処理（例えばＦＢフィルタリング）を実行して第３フィルタリング済み信号を取得すること、第３フィルタリング済み信号及び第５オーディオ信号に対してオーディオミキシング処理を実行して第２オーディオ信号を取得することを含む。
第２信号に含まれる第５オーディオ信号がフィルタリング除去される前に、フィルタリング補償処理も第５オーディオ信号に対して実行され得、聴覚感知損失を低減する。前述の設計において、ＨＴフィルタリング中に、ダウンリンクオーディオミキシング処理及びフィルタリング補償処理が実行され、聴覚感知損失を更に低減する。
可能な設計において、第１環境信号に対して第１信号処理を実行して、処理済み環境信号を取得することは、第１信号に対して第２フィルタリング処理を実行して第２フィルタリング信号を取得すること、及び、第２フィルタリング信号に対して第２信号処理を実行して第２処理済み信号を取得することを含む。
第２信号処理は、ブロッキング効果解消処理を含む。
前述の設計によれば、ブロッキング効果解消処理は、ＨＴフィルタリングを通じて取得された信号に対して実行され、その結果、ユーザはより明確に環境音を聞くことができる。
可能な設計において、第２信号処理は、バックグラウンドノイズコントロール処理、ウインドノイズコントロール処理、利得調整処理、又は周波数応答調整処理のうちの少なくとも１つを更に含む。
前述の第２信号処理は、バックグラウンドノイズ及び異音を低減し、ユーザの聴覚感知を改善する。
可能な設計において、第２フィルタリング処理に使用されるフィルタリング係数は、ＨＴ機能の場合において第２フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数であり、又は、第３フィルタリング処理に使用されるフィルタリング係数は、ＨＴ機能の場合において第３フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数である。
可能な設計において、目標モードは、ＡＨ機能を実行するようにヘッドセットに指示する。目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得することは、第１信号に対して第２フィルタリング処理（例えばＨＴフィルタリング）を実行して第２フィルタリング信号を取得し、第２フィルタリング信号に対して強化処理を実行し、フィルタリング強化信号を取得すること、第１信号に対して第１フィルタリング処理（例えばＦＦフィルタリング）を実行して第１フィルタリング信号を取得すること、フィルタリング強化信号及び第１オーディオ信号に対してオーディオミキシング処理を実行して第６オーディオ信号を取得すること、第２信号に含まれる第６オーディオ信号をフィルタリング除去して第４フィルタリング済み信号を取得すること、第４フィルタリング済み信号に対して第３フィルタリング処理（例えば、ＦＢフィルタリング）を実行して第５フィルタリング済み信号を取得すること、ならびに、第５フィルタリング済み信号、第６オーディオ信号及び第１フィルタリング信号に対してオーディオミキシング処理を実行して第２オーディオ信号を取得することを含む。
前述の設計において、アクティブノイズコントロール及び環境音ヒアスルーが並行して実装される。ヒアスルーフィルタリング処理及び強化処理は、ヒアスルー信号をより明確にする。
任意選択で、第２信号に含まれる第６オーディオ信号をフィルタリング除去して第４フィルタリング済み信号を取得する前に、フィルタリング補償処理が第６オーディオ信号に対して実行され、その結果、ＦＢフィルタリングによって引き起こされる損失を回避でき、ヒアスルー信号が歪められないことを最大限に確実にする。
可能な設計において、第２フィルタリング信号に対して強化処理を実行してフィルタリング強化信号を取得することは、第２フィルタリング信号に対してブロッキング効果解消処理を実行し、ブロッキング効果解消処理を通じて取得された信号に対してノイズコントロール処理を実行することであって、ノイズコントロール処理は、人口知能ＡＩノイズコントロール処理及び／又はウインドノイズコントロール処理を含む、こと、及び、ノイズコントロール処理を通じて取得された信号に対して利得増幅処理及び周波数応答調整を実行してフィルタリング強化信号を取得することを含む。
前述の設計において、ヒアスルー信号に対して強化処理が実行される。これにより、外部の必要な音のユーザ感知が改善する。
可能な設計において、ヘッドセットは骨伝導センサを含む。骨伝導センサは、ヘッドセットユーザの骨伝導信号を収集するように構成される。ノイズコントロール処理を通じて取得される信号に対して利得増幅処理を実行することは、骨伝導信号に対して高調波拡張を実行して高調波拡張信号を取得すること、第１利得係数に基づいて、ノイズコントロール処理を通じて取得された信号に対して増幅処理を実行すること、第４フィルタリング係数に基づいて、増幅処理を通じて取得された信号に含まれる高調波拡張信号をフィルタリング除去することを含む。第４フィルタリング係数は第１利得係数に基づいて決定される。
前述の設計において、ヒアスルー環境音における特定の音の効果を改善するために、装着者の声以外の特定の音だけを増幅する増幅方式が提供される。
可能な設計において、第１利得係数は、目標モードにおける目標処理強度に関連付けられた利得係数である。
可能な設計において、第２フィルタリング信号に対して強化処理を実行してフィルタリング強化信号を取得することは、第２フィルタリング信号に対してブロッキング効果解消処理を実行してブロッキング解消済み信号を取得すること、ブロッキング解消済み信号に対してオーディオイベント検出を実行してブロッキング解消済み信号におけるオーディオイベント信号を取得すること、及び、ブロッキング解消済み信号におけるオーディオイベント信号に対して利得増幅処理及び周波数応答調整を実行してフィルタリング強化信号を取得することを含む。
可能な設計において、ヘッドセットは更に骨伝導センサを含む。骨伝導センサは、ヘッドセットユーザの骨伝導信号を収集するように構成される。ブロッキング解消済み信号におけるオーディオイベント信号に対して利得増幅処理を実行することは、骨伝導信号に対して高調波拡張を実行して高調波拡張信号を取得すること、第２利得係数に基づいて、ブロッキング解消済み信号におけるオーディオイベント信号に対して増幅を実行して増幅信号を取得すること、及び、第２フィルタリング係数に基づいて、増幅信号に含まれる高調波拡張信号をフィルタリング除去することを含む。第２フィルタリング係数は第２利得係数に基づいて決定される。
可能な設計において、第２利得係数は、第１ノイズ処理が実行されるときに第１フィルタリング処理についての目標処理強度に関連付けられる利得係数であるか、又は、第２利得係数は、第１ノイズ処理が実行されるときに第１フィルタリング処理についての第１場面識別子に関連付けられる利得係数である。
可能な設計において、第１フィルタリング処理について使用されるフィルタリング係数は、ＡＨ機能の場合における第１フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数であり、第２フィルタリング処理について使用されるフィルタリング係数は、ＡＨ機能の場合における第２フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数であり、又は、第３フィルタリング処理について使用されるフィルタリング係数は、ＡＨ機能の場合における第３フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数である。
可能な設計において、ヘッドセットは更に骨伝導センサを含む。骨伝導センサは、ヘッドセットユーザの骨伝導信号を収集するように構成される。第２フィルタリング信号に対してブロッキング効果解消処理を実行することは、音声高調波セットから、骨伝導信号に一致する第１音声高調波信号を決定することであって、音声高調波セットは複数の音声高調波信号を含む、こと、及び、第２フィルタリング信号から第１音声高調波信号を除去し、第１音声高調波信号が除去された第２フィルタリング信号における高周波数成分を増幅すること、又は、第２フィルタリング信号に対して適応フィルタリング処理を実行して第２フィルタリング信号における低周波成分を除去して第３フィルタリング信号を取得し、低周波成分が除去された第３フィルタリング信号における高周波数成分を増幅することを含む。
第２態様によれば、本願の実施形態はモード制御方法を提供する。方法は端末デバイスに適用される。方法は、現在の外部環境の場面タイプが目標場面として識別されるとき、目標場面に基づいて目標モードを決定する段階であって、目標モードはヘッドセットによってサポートされる処理モードの１つであり、ヘッドセットによってサポートされる処理モードは、アクティブノイズコントロールＡＮＣモード、環境音ヒアスルーＨＴモード、又は聴覚増強ＡＨモードのうちの少なくとも２つを含む、段階と、目標モードをヘッドセットへ送信する段階であって、目標モードは、目標モードに対応する処理機能を実装するようヘッドセットに指示する、段階とを備える。異なる処理モードは異なる場面タイプに対応する。処理モードは場面タイプに１対１で対応し得、又は、１つの処理モードは、複数の場面タイプに対応し得る。例えば、同一の処理モードは、２つの場面タイプについて使用され得る。
前述の設計において、端末デバイスは、場面識別に基づいて、ヘッドセットの処理モードをリアルタイムに制御し、その結果、聴覚感知がユーザに対してリアルタイムに最適化される。
可能な設計において、ヘッドセットの処理モードにおける目標場面に対応する目標モードが決定されるとき、方法は更に、結果プロンプト情報を表示する段階であって、結果プロンプト情報は、目標モードに対応する処理機能をヘッドセットが実装することをユーザにプロンプトするために使用される、段階を備える。前述の設計において、ユーザはヘッドセットの現在の処理モードをリアルタイムに決定できる。
可能な設計において、第１制御信号がヘッドセットへ送信される前に、方法は更に、選択プロンプト情報を表示する段階であって、選択プロンプト情報は、ヘッドセットの処理モードを目標モードに調整するかどうかをユーザにプロンプトするために使用される、段階と、ユーザがヘッドセットの処理モードを目標モードに調整することを選択する操作を検出する段階とを備える。
前述の設計において、ユーザは要件に基づいて、ヘッドセットの処理モードを調整するかどうかを決定し得る。これによりユーザ体験が改善する。
可能な設計において、第１コントロール及び第２コントロールが表示される。第１コントロール上の第２コントロール異なる位置は、目標モードにおける異なる処理強度を示す。第１制御信号がヘッドセットへ送信される前に、方法は更に、第２コントロールをタッチアンドホールドして、第１コントロール上の第１位置に動かすユーザ操作に応答する段階であって、第１コントロール上の第２コントロールの第１位置は、目標モードにおける目標処理強度を示す、段階と、目標処理強度をヘッドセットへ送信する段階であって、目標処理強度は、ヘッドセットが目標モードに対応する処理機能を実装するときに使用される処理強度を示す、段階とを備える。前述の設計において、ユーザは、要件に基づいてヘッドセットの処理強度を選択して、ユーザの異なる要件を満たし得る。
可能な設計において、第１コントロールはリング形状である。ユーザが第２コントロールをタッチアンドホールドして、時計回り方向で第１コントロール上で動かすとき、目標モードにおける処理強度が増加する。又は、ユーザが第２コントロールをタッチアンドホールドして、反時計周り方向で第１コントロール上で動かすとき、目標モードにおける処理強度が増加する。
可能な設計において、第１コントロールはバー形状である。ユーザが第２コントロールをタッチアンドホールドして、第１コントロール上で上から下に移動するとき、目標モードにおける処理強度は増加する。ユーザが第２コントロールをタッチアンドホールドして、第１コントロール上で下から上に動かすとき、目標モードにおける処理強度が増加する。ユーザが第２コントロールをタッチアンドホールドして、第１コントロール上で左から右に動かすとき、目標モードにおける処理強度が増加する。又は、ユーザが第２コントロールをタッチアンドホールドして、第１コントロール上で右から左に動かすとき、目標モードにおける処理強度が増加する。
可能な設計において、目標処理機能がＡＮＣ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音及びユーザの外耳道における環境音のより弱いユーザ感知を示し、目標処理機能がＨＴ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音のより強いユーザ感知を示し、又は、目標処理機能がＡＨ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音に含まれるイベント音のより強いユーザ感知を示す。
左イヤホン及び右イヤホンは同一の処理モード及び同一の処理強度を使用し得、したがって、ユーザの左耳感知及びユーザ右耳感知は同一であり得ることに留意されたい。左イヤホン及び右イヤホンは代替的に、異なる処理モード又は異なる処理強度を使用し得、したがって、ユーザの左耳感知及びユーザ右耳感知は異なる。
第３態様によれば、本願の実施形態はモード制御方法を提供する。方法は端末デバイスに適用される。方法は、目標モードを取得する段階であって、目標モードは、ヘッドセットによってサポートされる処理モードの１つであり、ヘッドセットによってサポートされる処理モードは、アクティブノイズコントロールＡＮＣモード、環境音ヒアスルーＨＴモード、又は聴覚増強ＡＨモードのうちの少なくとも２つを含む、段階と、現在の外部環境の場面タイプに基づいて目標モードにおける目標処理強度を決定する段階であって、異なる場面タイプは、目標モードにおける異なる処理強度に対応する、段階と、目標処理強度をヘッドセットへ送信する段階であって、目標処理強度は、ヘッドセットが目標モードに対応する処理機能を実装するときに使用される処理強度を示す、段階とを備える。
可能な設計において、目標モードを取得する段階は、ヘッドセットによって送信された目標モードを受信する段階、又は、選択コントロールを表示する段階であって、選択コントロールは、ヘッドセットによってサポートされる処理モードを含む、段階と、選択コントロールを使用することによってヘッドセットの処理モードから目標モードを選択するユーザ操作を検出する段階とを備える。選択コントロールは、ヘッドセットによってサポートされる処理モードを含む。それは、選択コントロールがヘッドセットによってサポートされる処理モードのオプションを提供し、又は、選択コントロールがヘッドセットによってサポートされる処理モードを表示し、ユーザがヘッドセットによってサポートされる処理モードから選択し得ることを意味する。
可能な設計において、現在の外部環境の場面タイプに基づいて目標モードにおける目標処理強度を決定する前に、方法は更に、ヘッドセットによって送信された目標モードが受信される場合、選択プロンプト情報を表示する段階であって、選択プロンプト情報は、ヘッドセットの処理モードを目標モードに調整するかどうかをユーザにプロンプトするために使用される、段階と、ユーザがヘッドセットの処理モードを目標モードに調整することを選択する操作を検出する段階とを備える。
可能な設計において、目標処理機能がＡＮＣ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音及びユーザの外耳道における環境音のより弱いユーザ感知を示し、目標処理機能がＨＴ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音のより強いユーザ感知を示し、又は、目標処理機能がＡＨ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音に含まれるイベント音のより強いユーザ感知を示す。
第４態様によれば、本願の実施形態はモード制御方法を提供する。方法は端末デバイスに適用される。方法は、第１インタフェースを表示する段階であって、第１インタフェースは第１選択コントロールを含み、第１選択コントロールは、第１目標イヤホンによってサポートされる処理モード、及び、第１目標イヤホンによってサポートされる処理モードに対応する処理強度を含み、第１目標イヤホンの処理モードは、アクティブノイズコントロールＡＮＣモード、環境音ヒアスルーＨＴモード、又は聴覚増強ＡＨモードのうちの少なくとも２つを含む、段階と、第１インタフェース上でユーザによって実行される第１操作に応答する段階であって、第１操作は、ユーザが第１選択コントロールを使用することによって、第１目標イヤホンによってサポートされる処理モードから第１目標モードを選択し、第１目標モードにおける処理強度を第１目標処理強度として選択するときに生成される、段階と、第１目標モード及び第１目標処理強度を第１目標イヤホンへ送信する段階であって、第１目標モードは、第１目標モードに対応する処理機能を実装するよう第１目標イヤホンに指示し、第１目標処理強度は、第１目標イヤホンが第１目標モードに対応する処理機能を実装するときに使用される処理強度を示す、段階とを備える。
第１選択コントロールは、第１目標イヤホンによってサポートされる処理モード、及び、第１目標イヤホンによってサポートされる処理モードに対応する処理強度を含む。それは、第１選択コントロールが、複数の処理モード（すべて第１目標イヤホンによってサポートされる）のオプション、及び、各処理モードにおける処理強度の調整項目をユーザに提供することを意味する。
前述の設計において、ユーザは、ＵＩを使用することによって、ユーザが望むヘッドセット効果に対応する処理モード及び強度を自由に切り替えて、ユーザの異なる要件を満たし得る。
可能な設計において、第１インタフェースを表示する前に、方法は更に、選択プロンプト情報を表示する段階であって、選択プロンプト情報は、第１目標イヤホンの処理モードを調整するかどうかをユーザにプロンプトするために使用される、段階と、ユーザが第１目標イヤホンの処理モードを調整することを選択する操作を検出する段階とを備える。
前述の設計において、ユーザは、要件に基づいて、現在の処理モードを調整するかどうかを決定し得る。
可能な設計において、第１インタフェースを表示する前に、方法は更に、現在の外部環境の場面タイプを目標場面として識別する段階であって、目標場面は、第１目標イヤホンの処理モードが調整される必要がある場面タイプに適合される、段階を備える。
前述の設計において、第１インタフェースは、特定の場面において能動的にポップアップされる。これによりユーザの手動操作プロセスを低減する。
可能な設計において、第１インタフェースを表示する前に、方法は更に、端末デバイスが第１目標イヤホンをトリガしてオーディオを再生することを識別する段階を備える。端末デバイスが第１目標イヤホンをトリガしてオーディオを再生することを識別することは、端末デバイスがオーディオ信号を第１目標イヤホンへ送信することを開始すると識別することとして説明され得る。
前述の設計において、第１インタフェースは能動的にポップアップされる。これによりユーザの手動操作プロセスを低減する。
可能な設計において、第１インタフェースを表示する前に、方法は更に、端末デバイスが第１目標イヤホンとの接続を確立することを検出する段階を備える。
前述の設計において、第１インタフェースは能動的にポップアップされる。これによりユーザの手動操作プロセスを低減する。
可能な設計において、第１インタフェースを表示する前に、方法は更に、端末デバイスが第１目標イヤホンとの接続を確立すると検出された場合に、ホーム画面上でユーザによって実行される第２操作を検出する段階を備える。ホーム画面は第１アプリケーションのアイコンを含む。第２操作は、ユーザが第１アプリケーションのアイコンをタッチするときに生成される。第１インタフェースは第１アプリケーションの表示インタフェースである。
可能な設計において、第１選択コントロールは第１コントロール及び第２コントロールを含む。第１コントロール上の第２コントロールの任意の２つの異なる位置は、第１目標イヤホンの２つの異なる処理モードを示し、又は、第１コントロール上の第２コントロールの任意の２つの異なる位置は、第１目標イヤホンの同一の処理モードにおける異なる処理強度を示す。第１操作は、ユーザが第１目標モードに対応する領域において第１コントロール上で第２コントロールの第１位置を動かすときに生成される。第１位置は、第１目標モードにおける第１目標処理強度に対応する。
可能な設計において、第１コントロールはリング形状又はバー形状である。
例えば、第１コントロールはリング形状である。リングは少なくとも２つの円弧セグメントを含む。異なる円弧セグメントに位置する第２コントロールは、第１目標イヤホンの異なる処理モードを示す。同一の円弧セグメント上の第２コントロールの異なる位置は、第１目標イヤホンの同一の処理モードにおける異なる処理強度を示す。
別の例では、第１コントロールはバー形状である。バーは少なくとも２つのバーセグメントを含む。異なるバーセグメントに位置する第２コントロールは、第１目標イヤホンの異なる処理モードを示す。同一のバーセグメント上の第２コントロールの異なる位置は、第１目標イヤホンの同一の処理モードにおける異なる処理強度を示す。
可能な設計において、方法は更に、第１インタフェース上でユーザによって実行される第３操作に応答する段階であって、第１インタフェースは更に第２選択コントロールを含み、第２選択コントロールは、第２目標イヤホンによってサポートされる処理モード、及び、第２目標イヤホンによってサポートされる処理モードに対応する処理強度を含み、第２目標イヤホンによってサポートされる処理モードは、アクティブノイズコントロールＡＮＣモード、環境音ヒアスルーＨＴモード、又は聴覚増強ＡＨモードのうちの少なくとも２つを含み、第３操作は、ユーザが第２選択コントロールを使用することによって第２目標イヤホンの処理モードから第２目標モードを選択し、第２目標モードにおける処理強度を第２目標処理強度として選択するときに生成され、第１目標イヤホンが左イヤホンであるとき、第２目標イヤホンは右イヤホンであり、又は、第１目標イヤホンが右イヤホンであるとき、第２目標イヤホンは左イヤホンである、段階と、第２目標モード及び第２目標処理強度を第２目標イヤホンへ送信する段階であって、第２目標モードは、第２目標モードに対応する処理機能を実装するよう第２目標イヤホンに指示し、第２目標処理強度は、第２目標イヤホンが第２目標モードに対応する処理機能を実装するときに使用される処理強度を示す、段階とを備える。
前述の設計において、ユーザは、左イヤホン及び右イヤホンの処理モード及び処理強度を別個に操作し、左耳及び右耳の聴覚感知についてのユーザの異なる要件を満たし得る。
第５態様によれば、本願の実施形態は更に、ノイズ処理装置を提供する。装置はヘッドセットに適用される。ヘッドセットは、アクティブノイズコントロールＡＮＣ機能、環境音ヒアスルーＨＴ機能、又は聴覚増強ＡＨ機能のうちの少なくとも２つの機能を有する。ヘッドセットは第１マイクロホン及び第２マイクロホンを含む。第１マイクロホンは第１信号を収集するように構成される。第１信号は現在の外部環境における音を示す。第２マイクロホンは第２信号を収集するように構成される。第２信号は、ヘッドセットを装着しているユーザの外耳道における環境音を示す。
ノイズ処理装置は、第１態様における前述の方法における段階を実装するようにそれぞれ構成される、対応する機能モジュールを含む。詳細については、方法例の詳細な説明を参照されたい。ここでは、詳細について改めて説明しない。当該機能は、ハードウェアにより実装されてもよいし、対応するソフトウェアをハードウェアにより実行することによって実装されてもよい。ハードウェア又はソフトウェアは、前述の機能に対応する１又は複数のモジュールを含む。例えば、ノイズ処理装置は、端末デバイスから第１オーディオ信号を受信するように構成される通信モジュールと、目標モードを取得するように構成される取得モジュールであって、目標モードは現在の外部環境の場面タイプに基づいて決定され、目標モードは、目標処理機能を実行するようヘッドセットに指示し、目標処理機能は、アクティブノイズコントロールＡＮＣ機能、環境音ヒアスルーＨＴ機能又は聴覚増強ＡＨ機能のうちの１つである、取得モジュールと、目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得するように構成される第１処理モジュールとを備える。
第６態様によれば、本願の実施形態は、左イヤホン及び右イヤホンを含む目標ヘッドセットを提供する。左イヤホンは、第１態様又は第１態様の設計のいずれか１つによる方法を実装するように構成され、又は、右イヤホンは、第１態様又は第１態様の設計のいずれか１つによる方法を実装するように構成される。
可能な設計において、左イヤホン及び右イヤホンは異なる処理モードを使用する。
第７態様によれば、本願の実施形態は目標ヘッドセットを提供する。目標ヘッドセットは左イヤホン及び右イヤホンを含む。左イヤホン又は右イヤホンは、第１マイクロホン、第２マイクロホン、プロセッサ、メモリ及びスピーカを含む。第１マイクロホンは第１信号を収集するように構成される。第１信号は現在の外部環境における音を示す。第２マイクロホンは第２信号を収集するように構成される。第２信号は、ヘッドセットを装着しているユーザの外耳道における環境音を示す。メモリは、プログラム又は命令を記憶するように構成されている。プロセッサは、プログラム又は命令を呼び出し、電子デバイスが第１態様のいずれかの設計による方法を実行して第２オーディオ信号を取得することを可能にするように構成される。スピーカは第２オーディオ信号を再生するように構成される。
第８態様によれば、本願の実施形態はモード制御装置を提供する。装置は端末デバイスに適用される。装置は、第２態様から第４態様における前述の方法における段階を実装するようにそれぞれ構成される対応する機能モジュールを含む。詳細については、方法例の詳細な説明を参照されたい。ここでは、詳細について改めて説明しない。当該機能は、ハードウェアにより実装されてもよいし、対応するソフトウェアをハードウェアにより実行することによって実装されてもよい。ハードウェア又はソフトウェアは、前述の機能に対応する１又は複数のモジュールを含む。
第９態様によれば、本願の実施形態は、メモリ、プロセッサ及びディスプレイを備える端末デバイスを提供する。ディスプレイは、インタフェースを表示するように構成される。メモリは、プログラム又は命令を記憶するように構成される。プロセッサは、プログラム又は命令を呼び出し、端末デバイスが、第２態様から第４態様における方法における段階を実行することを可能にするように構成される。
第１０態様によれば、本願はコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はコンピュータプログラム又は命令を記憶する。コンピュータプログラム又は命令がヘッドセットによって実行されるとき、ヘッドセットは、第１態様又は第１態様の可能な設計のいずれか１つにおける方法を実行することが可能となる。
第１１態様によれば、本願はコンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はコンピュータプログラム又は命令を記憶する。コンピュータプログラム又は命令が端末デバイスによって実行されるとき、ヘッドセットは、第２態様から第４態様のいずれか１つの可能な設計における方法を実行することが可能となる。
第１２態様によれば、本願はコンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータプログラム又は命令を含む。コンピュータプログラム又は命令がヘッドセットによって実行されるとき、第１態様又は第１態様の可能な実装のいずれか１つにおける方法が実装される。
第１３態様によれば、本願はコンピュータプログラム製品を提供する。コンピュータプログラム製品は、コンピュータプログラム又は命令を含む。コンピュータプログラム又は命令がヘッドセットによって実行されるとき、第２態様から第４態様の任意の可能な実装における方法が実装される。
第５態様から第１３態様のいずれか１つにおいて達成できる技術的効果については、第１態様から第４態様における有益な効果の説明を参照されたい。ここでは、詳細について改めて説明しない。
本願の実施形態による端末デバイス１００のハードウェア構造の概略図である。
本願の実施形態による端末デバイス１００のソフトウェア構造の概略図である。
本願の実施形態によるヘッドセット２００の構造の概略図である。
本願の実施形態によるＡＨＡ経路の概略図である。
本願の実施形態によるＡＮＣ処理のフローチャートである。
本願の実施形態によるＡＮＣ処理の概略フローチャートである。
本願の実施形態によるＨＴ処理のフローチャートである。
本願の実施形態によるＨＴ処理の概略フローチャートである。
本願の実施形態による別のＨＴ処理の概略フローチャートである。
本願の実施形態によるブロッキング効果解消処理の概略フローチャートである。
本願の実施形態によるＡＨ処理のフローチャートである。
本願の実施形態によるＡＨ処理の概略フローチャートである。
本願の実施形態による別のＡＨ処理の概略フローチャートである。
本願の実施形態によるノイズコントロール処理の概略フローチャートである。
本願の実施形態による利得増幅処理の概略フローチャートである。
本願の実施形態による別の利得増幅処理の概略フローチャートである。
本願の実施形態による端末デバイスのホーム画面の概略図である。
本願の実施形態によるヘッドセットアプリケーションの制御インタフェースの概略図である。
本願の実施形態による、ＡＮＣモードにおいて端末デバイスがヘッドセットを制御する概略的制御図である。
本願の実施形態による、ＨＴモードにおいて、端末デバイスがヘッドセットを制御する概略的制御図である。
本願の実施形態による、ＡＨモードにおいて、端末デバイスがヘッドセットを制御する概略的制御図である。
本願の実施形態による、選択コントロールの概略図である。
本願の実施形態による、別の選択コントロールの概略図である。
本願の実施形態による、ヘッドセット制御インタフェースをトリガする概略図である。
本願の実施形態による、なお別の選択コントロールの概略図である。
本願の実施形態による、スマート場面検出機能の制御を可能にすることの概略図である。
本願の実施形態による、スマート場面検出機能の制御を可能にすることの別の概略図である。
本願の実施形態による、ヘッドセット制御インタフェースの概略図である。
本願の実施形態による、イベント検出の概略図である。
本願の実施形態による、処理モード及び処理強度の観点における端末デバイスとヘッドセットとの間のインタラクションの概略図である。
本願の実施形態による、場面検出結果を表示することの概略図である。
本願の実施形態による、別の場面検出結果を表示することの概略図である。
本願の実施形態による場面検出の概略図である。
本願の実施形態によるノイズ処理装置１９００の構造の概略図である。
本願の実施形態によるモード制御装置２０００の構造の概略図である。
本願の実施形態によるモード制御装置２１００の構造の概略図である。
本願の実施形態によるモード制御装置２２００の構造の概略図である。
本願の実施形態による端末デバイス２３００の構造の概略図である。
以下では、添付図面を参照して、本願の実施形態を詳細に説明する。本願の実施形態において使用される用語は、本願の特定の実施形態を説明するためだけに使用され、本願を限定する意図はない。説明される実施形態は、本願の実施形態の全部ではなく一部に過ぎないことは明確である。本願の実施形態に基づいて創造的努力を行うことなく当業者により取得される他の実施形態は全て、本願の保護範囲に含まれるものとする。
以下ではまず、本願の実施形態におけるいくつかの用語を説明及び記載し、当業者による理解を促進する。
（１）本願の実施形態におけるアプリケーション（ａｐｐｌｉｃａｔｉｏｎ， ａｐｐ）は、１又は複数の特定の機能を実装できるソフトウェアプログラムである。一般的に、複数のアプリケーション、例えば、カメラアプリケーション、メールボックスアプリケーション、及びヘッドセット制御アプリケーションが端末デバイスにインストールされ得る。以下の説明で言及されるアプリケーションは、納品前に端末デバイスにインストールされたシステムアプリケーションであり得るか、又は、インターネットからダウンロードされた、若しくは、端末デバイスを使用するときにユーザによって別の端末デバイスから取得されたサードパーティアプリケーションであり得る。
（２）ｂａｒｋサブバンド
人間の聴覚システムは、マスキング効果を有する。換言すれば、強い音は、近いエリアにおいて同時に生じる弱い音の人間による感知のアライメントを妨げ、蝸牛の基底膜は、外部から入ってくる音信号に対する周波数選択及びチューニング機能を有する。したがって、感知の観点から音周波数を測定するために、臨界周波数帯の概念が導入される。一般的に、２２Ｈｚ～２２ｋＨｚの聴覚閾値において２４の臨界周波数帯があり、基底膜の異なる位置において振動を引き起こすと考えられている。各臨界周波数帯はｂａｒｋサブバンドと呼ばれる。
（３）ボイスアクティビティ検出（ｖｏｉｃｅ ａｃｔｉｖｉｔｙ ｄｅｔｅｃｔｉｏｎ， ＶＡＤ）ＶＡＤが、ノイズを有する音声の開始点及び終了点を正確に特定するために使用される。音声は長い静寂を含むので、静寂は実際の音声から分離される。これはボイスデータの最初の処理である。
（４）本願の実施形態において、「少なくとも１つの（品目）」とは、１つの（品目）又は複数の（品目）を意味し、「複数の（品目）」とは、２つの（品目）又はそれ以上の（品目）を意味する。「及び／又は」という用語は、関連付けられている対象を説明するための対応関係を説明し、３つの関係が存在し得ることを表す。例えば、Ａ及び／又はＢは、以下の３つの場合、すなわち、Ａのみが存在する、Ａ及びＢの両方が存在する、及び、Ｂのみが存在するという場合を表し得る。Ａ及びＢは各々、単数又は複数であり得る。「／」という文字は一般的に、関連付けられたオブジェクトの間の「又は」の関係を表す。「以下の品目（個）のうちの少なくとも１つ」又はその同様の表現は、単一の品目（個）又は複数の品目（個）の任意の組み合わせを含む、これらの品目の任意の組み合わせを示す。例えば、ａ、ｂ、又はｃのうちの少なくとも１つの品目（個）は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、又はａ－ｂ－ｃを表すことができる。ここで、ａ、ｂ、及びｃは単数又は複数であり得る。本願において、記号（ａ，ｂ）は、ａより大きくｂより小さい範囲の開区間を表し、［ａ，ｂ］は、ａ以上ｂ以下の範囲の閉区間を表し、（ａ，ｂ］は、ａより大きくｂ以下の範囲の半開半閉区間を表し、（ａ，ｂ］は、ａより大きくｂ以下の範囲の半開半閉区間を表す。加えて、別段の記載が無い限り、本願の実施形態において、「第１」及び「第２」などの序数は、複数のオブジェクトを区別することを意図しているが、複数のオブジェクトのサイズ、内容、順序、時系列、優先度、重要度又は同様のものを限定する意図は無い。例えば、第１マイクロホン及び第２マイクロホンは単に、異なるマイクロホンを区別するために使用されるが、２つのマイクロホンの異なるサイズ、優先度、重要度の程度、又は同様のものを示さない。
本願の実施形態はシステムを提供する。システムは端末デバイス１００及びヘッドセット２００を含む。端末デバイス１００はヘッドセット２００に接続される。接続は無線接続又は有線接続であり得る。無線接続の場合、例えば端末デバイスは、Ｂｌｕｅｔｏｏｔｈ（登録商標）技術、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ， Ｗｉ－Ｆｉ（登録商標））技術、赤外線ＩＲ技術、又は超広帯域技術を使用することによってヘッドセットに接続され得る。
本願の本実施形態において、端末デバイス１００は、表示インタフェース機能を有するデバイスである。端末デバイス１００は例えば、携帯電話、ディスプレイ、タブレットコンピュータ、又は車載デバイスなどの表示インタフェースを有する製品、及び、スマートウォッチ又はスマートバンドなどのインテリジェントディスプレイを有するウェアラブル製品であり得る。モバイル端末の具体的な形態は、本願の本実施形態において特に限定されない。
ヘッドセット２００は、耳に搭載される２つの音生成ユニットを含む。左耳に適合されるデバイスは、左イヤホンと呼ばれ得、右耳に適合されるデバイスは、右イヤホンと呼ばれ得る。装着の観点から、本願の本実施形態におけるヘッドセット２００は、頭部搭載ヘッドセット、耳搭載ヘッドセット、首搭載ヘッドセット、耳栓ヘッドセット又は同様のものであり得る。耳栓ヘッドセットは更に、インイヤーヘッドセット（又は外耳道ヘッドセットと呼ばれる）又は半インイヤーヘッドセットを含む。ヘッドセット２００は、ＡＮＣ機能、ＨＴ機能、及びＡＨ機能のうち少なくとも２つを有する。説明を容易にするために、本願の本実施形態において、ＡＮＣ、ＨＴ及びＡＨは、ＡＨＡとまとめて呼ばれ、当然、他の名称を有し得る。これについては、本願において限定しない。
インイヤーヘッドセットが例として使用される。左イヤホン及び右イヤホンは同様の構造を有する。左イヤホン及び右イヤホンの両方は、下で説明されるヘッドセット構造を使用し得る。ヘッドセット構造（左イヤホン又は右イヤホン）は、外耳道に挿入され得るゴムスリーブ、耳に近いイヤーバッグ、イヤーバッグ上に掛けられるヘッドセットポールを含む。ゴムスリーブは、音を外耳道に誘導する。イヤーバッグは、バッテリ、スピーカ及びセンサなどのコンポーネントを含む。マイクロホン及び物理的ボタンが、ヘッドセットポール上に配置され得る。ヘッドセットポールは円筒、立方体、楕円又は同様のものであり得る。耳の中に配置されるマイクロホンは、誤差マイクロホンと呼ばれ得る。ヘッドセットの外側に配置されるマイクロホンは、参照マイクロホンと呼ばれる。誤差マイクロホンは、外部環境における音を収集するように構成される。参照マイクロホンは、ユーザがヘッドセットを装着しているときに、ヘッドセットを装着しているユーザの外耳道における環境音を収集する。２つのマイクロホンは、アナログマイクロホン又はデジタルマイクロホンであり得る。ユーザがヘッドセットを装着した後に、２つのマイクロホン及びスピーカが以下の位置に配置される。誤差マイクロホンは耳の中、および、ヘッドセットのゴムスリーブの近くに配置される。スピーカは、誤差マイクロホンと参照マイクロホンとの間に位置する。参照マイクロホンは、耳の外部構造の近くであり、ヘッドセットポールの上部に配置され得る。誤差マイクロホンのパイプラインは、スピーカに面し得るか、又は、外耳道の内側に面し得る。ヘッドセットの穴が参照マイクロホンの近くに設けられ、外部環境における音が参照マイクロホンに入ることを可能にするように構成される。
本願の本実施形態において、端末デバイス１００は、ダウンリンクオーディオ信号及び／又は制御信号をヘッドセット２００へ送信するように構成される。例えば、制御信号は、ヘッドセット２００の処理モードを制御するために使用される。ヘッドセット２００の処理モードは、実行されている処理が無いことを示すヌルモード、ＡＮＣ機能が実装されていることを示すＡＮＣモード、ＨＴ機能が実装されていることを示すＨＴモード、又は、ＡＨ機能が実装されていることを示すＡＨモードのうちの少なくとも２つを含み得る。
ヘッドセットがＡＮＣモードを使用するとき、現在の外部環境における音、及び、ヘッドセットを装着しているユーザの外耳道における環境音のユーザ感知を弱めることができる。ヘッドセットがＨＴモードを使用するとき、現在の外部環境における音のユーザ感知を強化できる。ヘッドセットがＡＨモードを使用するとき、現在の外部環境における音に含まれるイベント音のユーザ感知を強化できる。イベント音は、外部環境における予め設定された音であるか、又は、イベント音は予め設定されたスペクトルを満たす。例えば、イベント音が鉄道駅における駅放送音又は警笛音を含む場合、イベント音は、鉄道駅における駅放送音のスペクトル又は警笛音のスペクトルを満たす。別の例では、イベント音は、飛行機ターミナルビルにおける通知音、飛行機上の放送音、及び、別の例として、ホテルにおけるコール音を含み得る。
ヘッドセット２００は左イヤホン及び右イヤホンを含むと理解されるべきである。左イヤホン及び右イヤホンは同一の処理モード又は異なる処理モードを使用し得る。左イヤホン及び右イヤホンが同一の処理モードを使用するとき、ユーザの聴覚感知は、左イヤホンを装着する左耳及び右イヤホンを装着する右耳で同一であり得る。左イヤホン及び右イヤホンが異なる処理モードを使用するとき、ユーザの聴覚感知は、左イヤホンを装着する左耳及び右イヤホンを装着する右耳で異なる。例えば、左イヤホンはＡＮＣを使用し、右イヤホンはＡＨを使用する。左イヤホンがＡＮＣモードを使用するとき、現在の外部環境における音、及び、ヘッドセットを装着しているユーザの左耳の外耳道における環境音のユーザ左耳感知を弱めることができる。右イヤホンがＡＨモードを使用するとき、現在の外部環境における音に含まれるイベント音のユーザ右耳感知を強化できる。
ヘッドセットの処理モードは、以下の可能な方式のいずれか１つにおいて決定され得る。
第１の可能な方式において、端末デバイス１００は制御インタフェースを提供し、その結果、ユーザは要件に基づいてヘッドセット２００の処理モードを選択する。例えば、端末デバイス１００は、制御信号をヘッドセット２００へ送信するようにユーザ操作によって命令される。制御信号はヘッドセット２００の処理モードを示す。
ヘッドセット２００における左イヤホン及び右イヤホンは同一の処理モード又は異なる処理モードを使用し得ることに留意されたい。例えば、制御インタフェースにおける選択コントロールが、左イヤホン及び右イヤホンについて同一の処理モードを選択するために使用される。別の例では、制御インタフェースは２つの選択コントロールを含み得、一方の選択コントロールは、左イヤホンについての処理モードを選択するのに使用され、他方の選択コントロールは、右イヤホンについての処理モードを選択するのに使用される。制御インタフェース及び選択コントロールは、以下の説明において詳細に説明される。ここでは、詳細について改めて説明しない。
第２の可能な方式において、端末デバイスは、ユーザの現在の外部環境の場面タイプを識別する。異なる場面において、ヘッドセット２００は異なる処理モードを使用する。換言すれば、ヘッドセットによって実装される処理機能は異なる。
第３の可能な方式において、ヘッドセット２００はユーザ操作を識別し、ユーザによって選択されたヘッドセット２００がＡＮＣモード、ＨＴモード又はＡＨモードを使用すると決定する。例えば、ユーザ操作は、ヘッドセットをタップするユーザ操作であり得る。代替的に、ボタンがヘッドセット上に配置され、異なるボタンは異なる処理モードを示す。
第４の可能な方式において、ヘッドセットは、ヘッドセットの外部環境の場面タイプを識別し、ヘッドセットは異なる場面において異なる処理モードを使用する。
第１の可能な方式から第４の可能な方式は後に詳細に説明される。ここでは、詳細について改めて説明しない。
図１は、端末デバイス１００の任意選択のハードウェア構造の概略図である。
端末デバイス１００は、プロセッサ１１０、外部メモリインタフェース１２０、内部メモリ１２１、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ， ＵＳＢ）ポート１３０、充電管理モジュール１４０、電源管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、オーディオモジュール１７０、スピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロホン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、ボタン１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイ１９４、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ， ＳＩＭ）カードインタフェース１９５及び同様のものを含み得る。センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光学近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、環境光センサ１８０Ｌ、骨伝導センサ１８０Ｍ等を含み得る。
本願の本実施形態に示される構造は、端末デバイス１００に対する具体的な限定を構成するものではないことが理解され得る。本願のいくつかの他の実施形態において、端末デバイス１００は、図に示されるものより多い、又は少ない部分を含み得、又は、いくつかの部分を組み合わせ得、又は、いくつかの部分を分割し得、又は、異なるコンポーネント配置を有し得る。図に示されるコンポーネントは、ハードウェア、ソフトウェア、又は、ソフトウェア及びハードウェアの組み合わせによって実装され得る。
プロセッサ１１０は１又は複数の処理ユニットを含み得る。例えば、プロセッサ１１０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、画像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、コントローラ、ビデオコーデック、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、ベースバンドプロセッサ、及び／又はニューラルネットワーク処理ユニット（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＮＰＵ）を含んでよい。異なる処理ユニットは、独立したコンポーネントであり得る、又は、１又は複数のプロセッサに統合され得る。
コントローラは、命令動作コード及び時系列信号に基づき動作制御信号を生成して、命令の読み取り及び命令の実行の制御を完了することができる。
メモリは更に、プロセッサ１１０に配置され得、命令及びデータを格納するよう構成される。いくつかの実施形態において、プロセッサ１１０内のメモリは、キャッシュメモリである。メモリは、プロセッサ１１０が用いたか繰り返し用いている命令又はデータを格納し得る。プロセッサ１１０が命令又はデータを再度使用する必要がある場合、プロセッサは命令又はデータをメモリから直接的に呼び出すことができる。これにより反復アクセスを回避し、プロセッサ１１０の待機時間を低減し、システム効率を改善する。
いくつかの実施形態において、プロセッサ１１０は１又は複数のインタフェースを含み得る。このインタフェースは、集積回路間（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、Ｉ２Ｃ）インタフェース、集積回路間サウンド（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｓｏｕｎｄ、Ｉ２Ｓ）インタフェース、パルス符号変調（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ、ＰＣＭ）インタフェース、汎用非同期式受信機／送信器（ｕｎｉｖｅｒｓａｌ ａｓｙｎｃｈｒｏｎｏｕｓ ｒｅｃｅｉｖｅｒ／ｔｒａｎｓｍｉｔｔｅｒ、ＵＡＲＴ）インタフェース、モバイルインダストリプロセッサインタフェース（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ、ＭＩＰＩ）、汎用入力／出力（ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｉｎｐｕｔ／ｏｕｔｐｕｔ、ＧＰＩＯ）インタフェース、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ、ＳＩＭ）インタフェース、及び／又はユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）インタフェース及び／又は同様のものを含んでよい。
Ｉ２Ｃインタフェースは双方向同期シリアルバスであり、シリアルデータライン（ｓｅｒｉａｌ ｄａｔａ ｌｉｎｅ、ＳＤＡ）及びシリアルクロックライン（ｓｅｒｉａｌ ｃｌｏｃｋ ｌｉｎｅ、ＳＣＬ）を含む。いくつかの実施形態において、プロセッサ１１０は、複数のグループのＩ２Ｃバスを含み得る。プロセッサ１１０は、タッチセンサ１８０Ｋ、充電器、フラッシュ、カメラ１９３などに、異なるＩ２Ｃバスインタフェースを通じて別々に結合され得る。例えば、プロセッサ１１０は、Ｉ２Ｃインタフェースを通じてタッチセンサ１８０Ｋに結合され得、その結果、プロセッサ１１０は、Ｉ２Ｃバスインタフェースを通じてタッチセンサ１８０Ｋと通信し、端末デバイス１００のタッチ機能を実装する。
Ｉ２Ｓインタフェースはオーディオ通信を実行するよう構成され得る。いくつかの実施形態において、プロセッサ１１０は複数のグループのＩ２Ｓバスを含み得る。プロセッサ１１０は、Ｉ２Ｓバスを介してオーディオモジュール１７０に結合され、プロセッサ１１０とオーディオモジュール１７０との間の通信を実装し得る。いくつかの実施形態においてオーディオモジュール１７０は、Ｉ２Ｓインタフェースを通じてオーディオ信号を無線通信モジュール１６０へ送信して、ヘッドセット２００（例えばブルートゥース（登録商標）ヘッドセット）を通じて通話に応答する機能を実装し得る。
ＰＣＭインタフェースはまた、オーディオ通信を実行し、アナログ信号をサンプリング、量子化、及び符号化するよう構成され得る。いくつかの実施形態において、オーディオモジュール１７０はＰＣＭバスインタフェースを通じて無線通信モジュール１６０に結合され得る。いくつかの実施形態において、オーディオモジュール１７０はまた、ＰＣＭインタフェースを通じてオーディオ信号を無線通信モジュール１６０へ送信して、ブルートゥース（登録商標）ヘッドセット２００を通じて通話に応答する機能を実装し得る。Ｉ２Ｓインタフェース及びＰＣＭインタフェースは両方とも、オーディオ通信に用いられてよい。
ＵＡＲＴインタフェースは、ユニバーサルシリアルデータバスであり、非同期通信を実行するように構成される。バスは、双方向通信バスであり得る。バスは送信予定のデータをシリアル通信とパラレル通信との間で変換する。いくつかの実施形態において、ＵＡＲＴインタフェースは、通常、プロセッサ１１０を無線通信モジュール１６０に接続するよう構成される。例えば、プロセッサ１１０は、ＵＡＲＴインタフェースを通じて無線通信モジュール１６０内のＢｌｕｅｔｏｏｔｈ（登録商標）モジュールと通信して、Ｂｌｕｅｔｏｏｔｈ（登録商標）機能を実装する。いくつかの実施形態において、オーディオモジュール１７０は、ＵＡＲＴインタフェースを通じてオーディオ信号を無線通信モジュール１６０へ送信して、ブルートゥース（登録商標）ヘッドセット２００を通じて音楽を再生する機能を実装し得る。
ＭＩＰＩインタフェースは、プロセッサ１１０をディスプレイ１９４又はカメラ１９３などのペリフェラルコンポーネントに接続するよう構成され得る。ＭＩＰＩインタフェースは、カメラシリアルインタフェース（ｃａｍｅｒａ ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ，ＣＳＩ）、及びディスプレイシリアルインタフェース（ｄｉｓｐｌａｙ ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ，ＤＳＩ）などを含む。いくつかの実施形態において、プロセッサ１１０は、ＣＳＩインタフェースを通じてカメラ１９３と通信して、端末デバイス１００の画像撮影機能を実装す。プロセッサ１１０は、ＤＳＩインタフェースを通じてディスプレイ１９４と通信して、端末デバイス１００の表示機能を実装する。
ＧＰＩＯインタフェースは、ソフトウェアで構成されてよい。ＧＰＩＯインタフェースは、制御信号又はデータ信号として構成され得る。いくつかの実施形態において、ＧＰＩＯインタフェースは、プロセッサ１１０をカメラ１９３、ディスプレイ１９４、無線通信モジュール１６０、オーディオモジュール１７０、センサモジュール１８０又は同様のものに接続するように構成され得る。ＧＰＩＯインタフェースは代替的に、Ｉ２Ｃインタフェース、Ｉ２Ｓインタフェース、ＵＡＲＴインタフェース、ＭＩＰＩインタフェース又は同様のものとして構成され得る。
ＵＳＢポート１３０は、ＵＳＢ標準仕様に適合するポートであり、具体的には、ミニＵＳＢポート、マイクロＵＳＢポート又はＵＳＢタイプＣポート又は同様のものであってよい。ＵＳＢポート１３０は、充電器に接続して端末デバイス１００を充電するために使用され得るか、又は、端末デバイス１００とペリフェラルデバイスとの間でデータを送信するために使用され得るか、又は、ヘッドセット２００を通じてオーディオを再生するためにヘッドセット２００に接続するように構成され得る。インタフェースは代替的に、別の端末デバイス、例えばＡＲデバイスに接続するために使用され得る。
本願の本実施形態におけるモジュール間のインタフェース接続関係は、説明のための例に過ぎず、端末デバイス１００の構造に対する限定を構成するものではないことが理解され得る。本願のいくつかの他の実施形態において、端末デバイス１００は代替的に、前述の実施形態とは異なるインタフェース接続方式を使用し得るか、又は、複数のインタフェース接続方式の組み合わせを使用し得る。
充電管理モジュール１４０は、充電器から充電入力を受信するよう構成される。充電器は、無線充電器又は有線充電器であり得る。有線充電のいくつかの実施形態において、充電管理モジュール１４０は、ＵＳＢポート１３０を通じて有線充電器の充電入力を受信し得る。無線充電のいくつかの実施形態において、充電管理モジュール１４０は、端末デバイス１００の無線充電コイルを通じて無線充電入力を受信し得る。バッテリ１４２を充電するとき、充電管理モジュール１４０は更に、電源管理モジュール１４１を使用することによって電力を端末デバイスに供給し得る。
電源管理モジュール１４１は、バッテリ１４２及び充電管理モジュール１４０をプロセッサ１１０に接続するよう構成される。電源管理モジュール１４１は、バッテリ１４２及び／又は充電管理モジュール１４０から入力を受信し、電力をプロセッサ１１０、内部メモリ１２１、ディスプレイ１９４、カメラ１９３、無線通信モジュール１６０及び同様のものに供給する。電源管理モジュール１４１は更に、バッテリ容量、バッテリサイクル数、及びバッテリの健康状態（漏電及びインピーダンス）などのパラメータをモニタリングするように構成され得る。いくつかの他の実施形態において、電源管理モジュール１４１は代替的に、プロセッサ１１０に配置され得る。いくつかの他の実施形態において、電源管理モジュール１４１及び充電管理モジュール１４０は代替的に、同じコンポーネントに配置されてもよい。
端末デバイス１００の無線通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサ及び同様のものを使用することによって実装され得る。
アンテナ１及びアンテナ２は、電磁波信号を送受信するように構成される。端末デバイス１００における各アンテナは、１又は複数の通信周波数帯をカバーするように構成され得る。アンテナ利用率を改善するために異なるアンテナが更に多重化され得る。例えば、アンテナ１は、無線ローカルエリアネットワークのダイバーシティアンテナとして多重化されてよい。いくつかの他の実施形態において、アンテナは、チューニングスイッチと組み合わせて用いられ得る。
モバイル通信モジュール１５０は、端末デバイス１００に適用される、２Ｇ／３Ｇ／４Ｇ／５Ｇ又は同様のものを含む無線通信ソリューションを提供し得る。モバイル通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器（ｌｏｗ ｎｏｉｓｅ ａｍｐｌｉｆｉｅｒ、ＬＮＡ）などを含み得る。モバイル通信モジュール１５０は、アンテナ１を通じて電磁波を受信し、受信された電磁波に対してフィルタリング又は増幅などの処理を実行し、復調のために電磁波をモデムプロセッサへ送信し得る。モバイル通信モジュール１５０は更に、モデムプロセッサによって変調された信号を増幅し、アンテナ１を通じた放射のために信号を電磁波に変換し得る。いくつかの実施形態において、モバイル通信モジュール１５０における少なくともいくつかの機能モジュールはプロセッサ１１０に配置され得る。いくつかの実施形態において、モバイル通信モジュール１５０の少なくともいくつかの機能モジュールは、プロセッサ１１０の少なくともいくつかのモジュールと同一のデバイスに配置され得る。
モデムプロセッサは、変調器及び復調器を含み得る。変調器は、送信予定の低周波数ベースバンド信号を中高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次に、復調器は、復調を介して取得された低周波数ベースバンド信号を、処理のためにベースバンドプロセッサへ送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、次にアプリケーションプロセッサに伝送される。アプリケーションプロセッサは、オーディオデバイス（スピーカ１７０Ａ又はレシーバ１７０Ｂ又は同様のものに限定されない）を用いることにより音信号を出力するか、ディスプレイ１９４を用いることにより画像又は映像を表示する。いくつかの実施形態において、モデムプロセッサは、独立のコンポーネントであり得る。いくつかの他の実施形態において、モデムプロセッサは、プロセッサ１１０から独立し得、モバイル通信モジュール１５０又は別の機能モジュールと共に同一デバイスとして配置される。
無線通信モジュール１６０は、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ， ＷＬＡＮ）（例えば、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ， Ｗｉ－Ｆｉ（登録商標））ネットワーク）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標）， ＢＴ）、全球測位衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ， ＧＮＳＳ）、周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ， ＦＭ）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ， ＮＦＣ）技術、赤外線（ｉｎｆｒａｒｅｄ， ＩＲ）技術又は同様のものを含む、端末デバイス１００に適用される無線通信ソリューションを提供し得る。無線通信モジュール１６０は、少なくとも１つの通信プロセッサモジュールを統合する１又は複数のコンポーネントであり得る。無線通信モジュール１６０は、アンテナ２によって電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリング処理を実行し、処理された信号をプロセッサ１１０へ送信する。無線通信モジュール１６０は更に、送信予定の信号をプロセッサ１１０から受信し、信号に対して周波数変調及び増幅を実行し、アンテナ２を通じた放射のために信号を電磁波に変換し得る。例えば、無線通信モジュール１６０は、ブルートゥース（登録商標）モジュールを含み、端末デバイス１００は、ブルートゥース（登録商標）を使用することによってヘッドセット２００との無線接続を確立する。別の例では、無線通信モジュール１６０は赤外線モジュールを含み、端末デバイス１００は、赤外線モジュールを使用することによってヘッドセット２００との無線接続を確立し得る。
いくつかの実施形態において、端末デバイス１００において、アンテナ１及びモバイル通信モジュール１５０は結合され、アンテナ２及び無線通信モジュール１６０は結合され、その結果、端末デバイス１００は、無線通信技術を使用することによってネットワーク及び別のデバイスと通信できる。無線通信技術は、グローバルシステム・フォー・モバイルコミュニケーションズ（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， ＧＳＭ（登録商標））、汎用パケット無線サービス（ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ， ＧＰＲＳ）、符号分割多元接続（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ， ＣＤＭＡ）、広帯域符号分割多元接続（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ， ＷＣＤＭＡ（登録商標））、時分割符号分割多元接続（ｔｉｍｅ－ｄｉｖｉｓｉｏｎ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ， ＴＤ－ＳＣＤＭＡ）、ロングタームエボリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ， ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、ＩＲ技術及び／又は同様のものを含み得る。ＧＮＳＳは、グローバルポジショニングシステム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、ＧＰＳ）、全球測位衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＬＯＮＡＳＳ）、北斗衛星導航系統（ＢｅｉＤｏｕ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＢＤＳ）、準天頂衛星システム（ｑｕａｓｉ－ｚｅｎｉｔｈ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＱＺＳＳ）、及び／又は衛星航法補強システム（ｓａｔｅｌｌｉｔｅ ｂａｓｅｄ ａｕｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍ、ＳＢＡＳ）を含み得る。
端末デバイス１００は、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサ及び同様のものを使用することによって表示機能を実装する。ＧＰＵは、画像処理のためのマイクロプロセッサであり、ディスプレイ１９４及びアプリケーションプロセッサに接続される。ＧＰＵは、数学的及び幾何学的計算を実行し、画像をレンダリングするように構成される。プロセッサ１１０は、表示情報を生成又は変更するためにプログラム命令を実行する１又は複数のＧＰＵを含み得る。
ディスプレイ１９４は、画像及び映像等を表示するように構成される。ディスプレイ１９４はディスプレイパネルを含む。表示パネルは、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、アクティブマトリクス有機発光ダイオード（ａｃｔｉｖｅ－ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＡＭＯＬＥＤ）、フレキシブル発光ダイオード（ｆｌｅｘｉｂｌｅ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＦＬＥＤ）、ミニＬＥＤ、マイクロＬＥＤ、マイクロＯＬＥＤ、量子ドット発光ダイオード（ｑｕａｎｔｕｍ ｄｏｔ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＱＬＥＤ）又は同様のものであってよい。いくつかの実施形態において、端末デバイス１００は、１又はＮ１個のディスプレイ１９４を含み得、Ｎ１は１より大きい正の整数である。
端末デバイス１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイ１９４、アプリケーションプロセッサ及び同様のものを使用することによって画像撮影機能を実装し得る。
ＩＳＰは、カメラ１９３によってフィードバックされたデータを処理するよう構成される。例えば、撮影中にシャッタが押され、光がレンズを通じてカメラの感光素子へ送られる。光信号は電気信号に変換され、カメラの感光素子は、処理のために電気信号をＩＳＰへ送信して、電気信号を可視画像に変換する。ＩＳＰは更に、画像のノイズ、輝度、及び色に対してアルゴリズム最適化を実行し得る。ＩＳＰは更に、撮影の場面の露光及び色温度などのパラメータを最適化し得る。いくつかの実施形態において、ＩＳＰはカメラ１９３内に配置され得る。
カメラ１９３は、静止画像又は映像を撮像するよう構成される。物体の光学画像は、レンズを通じて生成され、感光素子上に投影される。感光素子は、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ， ＣＣＤ）又は相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ， ＣＭＯＳ）フォトトランジスタであり得る。感光素子は、光信号を電気信号に変換し、次に、電気信号をデジタル画像信号に変換するために電気信号をＩＳＰに送信する。ＩＳＰは、処理ためのデジタル画像信号をＤＳＰへ出力する。ＤＳＰは、デジタル画像信号をＲＧＢ又はＹＵＶ等の標準形式の画像信号に変換する。いくつかの実施形態において、プロセッサ１１０は、内部メモリ１２１におけるプログラム又は命令に基づいてカメラ１９３をトリガし得、その結果、カメラ１９３は、少なくとも１つの画像を撮像し、それに対応して、プログラム又は命令に基づいて、少なくとも１つの画像を処理する。いくつかの実施形態において、端末デバイス１００は、１又はＮ２個のカメラ１９３を含み得、Ｎ２は１より大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成され、上記デジタル画像信号に加えて別のデジタル信号を処理してよい。例えば、端末デバイス１００が周波数を選択するとき、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換を実行するように構成される。
ビデオコーデックは、デジタル映像を圧縮又は展開するよう構成される。端末デバイス１００は１又は複数のビデオコーデックをサポートし得る。このように、端末デバイス１００は、複数の符号化形式、例えば、動画専門家集団（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－３、及びＭＰＥＧ－４）で映像を再生又は記録し得る。
ＮＰＵはニューラルネットワーク（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ， ＮＮ）処理ユニットである。ＮＰＵは、生物学的ニューラルネットワークの構造、例えば、人間の脳細胞間の転送モードを参照して入力情報を迅速に処理し、更に自己学習を継続的に実行し得る。ＮＰＵは、端末デバイス１００のインテリジェント認識などのアプリケーション、例えば、画像認識、顔認識、音声認識、テキスト理解を実装できる。
外部メモリインタフェース１２０は、外部メモリカード、例えばマイクロＳＤカードに接続し、端末デバイス１００の記憶容量を拡張するように構成され得る。外部メモリカードは、外部メモリインタフェース１２０を通じてプロセッサ１１０と通信し、データストレージ機能を実装する。例えば、音楽及び映像などのファイルは、外部ストレージカードに格納される。
内部メモリ１２１は、コンピュータ実行可能プログラムコードを格納するように構成され得る。実行可能プログラムコードは命令を含む。内部メモリ１２１は、プログラム記憶領域及びデータ記憶領域を含んでよい。プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能が必要とするアプリケーション（例えば、カメラアプリケーション）及び同様のものを記憶し得る。データ記憶領域は、端末デバイス１００の使用中に作成されるデータ（カメラによって撮像される画像など）及び同様のものを記憶し得る。加えて、内部メモリ１２１は、高速ランダムアクセスメモリを含み得、又は、少なくとも１つのディスクストレージデバイス、フラッシュメモリ又はユニバーサルフラッシュストレージ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ， ＵＦＳ）などの不揮発性メモリを含み得る。プロセッサ１１０は、内部メモリ１２１に記憶された命令、及び／又は、プロセッサに配置されたメモリに記憶された命令を実行して、端末デバイス１００の様々な機能アプリケーション及びデータ処理を実行する。内部メモリ１２１は更に、本願の本実施形態において提供されるダウンリンクオーディオ信号を記憶し得る。内部メモリ１２１は更に、ヘッドセット２００を制御する機能を実装するために使用されるコードを記憶し得る。内部メモリ１２１に記憶され、ヘッドセット２００を制御する機能を実装するために使用されるコードがプロセッサ１１０によって実行されるとき、ヘッドセット２００は、対応する機能、例えば、ＡＮＣ機能、ＨＴ機能又はＡＨ機能を実装するために制御される。当然、本願の本実施形態において提供されるヘッドセット２００の機能を制御するためのコードは代替的に、外部メモリに記憶され得る。この場合、プロセッサ１１０は、外部メモリインタフェース１２０を使用することによって、外部メモリに記憶される、ヘッドセット２００の機能を制御するために使用される対応するデータを実行して、ヘッドセット２００を制御し、対応する機能を実装し得る。
端末デバイス１００は、オーディオモジュール１７０、スピーカ１７０Ａ、レシーバ１７０Ｂ、マイクロホン１７０Ｃ、ヘッドセットジャック１７０Ｄ、アプリケーションプロセッサ及び同様のものを通じて、音楽の再生又は記録などのオーディオ機能を実装し得る。
オーディオモジュール１７０は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール１７０は更に、オーディオ信号を符号化及び復号するよう構成され得る。いくつかの実施形態において、オーディオモジュール１７０はプロセッサ１１０に配置され得るか、又は、オーディオモジュール１７０におけるいくつかの機能モジュールはプロセッサ１１０に配置され得る。
スピーカ１７０Ａは、「ラウドスピーカ」とも呼ばれ、オーディオ電気信号を音信号に変換するように構成されている。端末デバイス１００は、スピーカ１７０Ａを使用することによって、ハンズフリーモードにおいて音楽を聴く、又は通話に応答し得る。
「イヤホン」とも称されるレシーバ１７０Ｂは、オーディオ電気信号を音信号に変換するよう構成される。端末デバイス１００を使用することによって通話に応答する、又は音声情報を受信するとき、レシーバ１７０Ｂは、声を聴くために、人間の耳の近くに持ってこられ得る。
「マイク（ｍｉｋｅ）」又は「マイク（ｍｉｃ）」とも称されるマイクロホン１７０Ｃは、音信号を電気信号に変換するように構成される。通話を行う、又は音声メッセージを送信するとき、ユーザは、ユーザの口を通じてマイクロホン１７０Ｃの近くで音を発し、音信号をマイクロホン１７０Ｃに入力し得る。少なくとも１つのマイクロホン１７０Ｃが端末デバイス１００に配置され得る。いくつかの他の実施形態において、２つのマイクロホン１７０Ｃが端末デバイス１００に配置され、音信号を収集してノイズコントロール機能を実装し得る。いくつかの他の実施形態において、３、４又はより多くのマイクロホン１７０Ｃが代替的に端末デバイス１００に配置され、音信号を収集し、ノイズコントロールを実装し、音源を識別し、指向性記録機能を実装し、及び同様のものを行い得る。
ヘッドセットジャック１７０Ｄは有線ヘッドセットに接続するよう構成される。本願の本実施形態において提供されるヘッドセット２００が有線ヘッドセットであるとき、端末デバイス１００は、ヘッドセットジャック１７０Ｄを通じてヘッドセットに接続される。ヘッドセットジャック１７０Ｄは、ＵＳＢポート１３０であってもよく、又は、３．５ｍｍのオープンモバイル端末プラットフォーム（ｏｐｅｎ ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ ｐｌａｔｆｏｒｍ、ＯＭＴＰ）標準インタフェース又は米国セルラ通信工業会（ｃｅｌｌｕｌａｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎｄｕｓｔｒｙ ａｓｓｏｃｉａｔｉｏｎ ｏｆ ｔｈｅ ＵＳＡ、ＣＴＩＡ）標準インタフェースであってもよい。
圧力センサ１８０Ａは圧力信号を検知するよう構成され、圧力信号を電気信号に変換し得る。いくつかの実施形態において、圧力センサ１８０Ａは、ディスプレイ１９４上に配置されてよい。複数のタイプの圧力センサ１８０Ａ、例えば、抵抗式圧力センサ、誘導式圧力センサ、静電容量式圧力センサなどがある。静電容量式圧力センサは、導電材料で作られた少なくとも２つの平行なプレートを含み得る。圧力センサ１８０Ａに力が加えられるとき、電極間の静電容量が変化する。端末デバイス１００は、静電容量の変化に基づいて圧力強度を判定する。タッチ操作あディスプレイ１９４に対して実行されるとき、端末デバイス１００は、圧力センサ１８０Ａを使用することによってタッチ操作の強度を検出する。端末デバイス１００はまた、圧力センサ１８０Ａの検出信号に基づいてタッチ位置を計算し得る。いくつかの実施形態では、同じタッチ位置で行われても、タッチ操作の強さが異なる各タッチ操作が、異なる操作命令に対応してよい。例えば、タッチ操作の強度が第１圧力閾値より小さいタッチ操作がＳＭＳメッセージアプリケーションアイコン上で実行されるとき、ＳＭＳメッセージを表示するための命令が実行される。タッチ操作の強度が第１圧力閾値以上であるタッチ操作がＳＭＳメッセージアプリケーションアイコンに対して実行されるとき、新しいＳＭＳメッセージを作成するための命令が実行される。
ジャイロセンサ１８０Ｂは端末デバイス１００の動作姿勢を判定するように構成され得る。いくつかの実施形態において、３軸（すなわち、ｘ、ｙ、及びｚ軸）の周りの端末デバイス１００の角速度は、ジャイロセンサ１８０Ｂを使用することによって判定され得る。ジャイロセンサ１８０Ｂは、撮影時の手ぶれ補正を実装するように構成されてよい。例えば、シャッタが押されるとき、ジャイロセンサ１８０Ｂは、端末デバイス１００が揺れる角度を検出し、角度に基づいて、レンズモジュールが補償する必要がある距離を計算し、レンズが逆の動きを通じて端末デバイス１００の揺れを相殺することを可能にし、手ぶれ補正を実装する。ジャイロセンサ１８０Ｂはまた、ナビゲーションの場面及び身体的ゲームの場面において使用され得る。
気圧センサ１８０Ｃは気圧を測定するよう構成される。いくつかの実施形態において、端末デバイス１００は、気圧センサ１８０Ｃによって測定された気圧値を使用することによって高度を計算し、測位及びナビゲーションを支援する。
磁気センサ１８０Ｄはホールセンサを含む。端末デバイス１００は、磁気センサ１８０Ｄを使用することによってフリップカバーの開閉を検出し得る。いくつかの実施形態において、端末デバイス１００がフリップ型電話であるとき、端末デバイス１００は、磁気センサ１８０Ｄに基づいてフリップカバーの開閉を検出し得る。更には、検出されるレザーケースの開閉状態、又は、検出されるフリップカバーの開閉状態に基づいてフリップカバーの自動ロック解除などの機能が設定される。
加速度センサ１８０Ｅは、様々な方向（通常は３軸）における端末デバイス１００の加速度の大きさを検出し得る。重力の大きさ及び方向は、端末デバイス１００が静止しているときに検出され得る。加速度センサ１８０Ｅは更に、端末デバイスの姿勢を識別するように構成され得、横長モードと縦長モードとの間の切り替え又は歩数計などの用途に適用される。
距離センサ１８０Ｆは、距離を測定するよう構成される。端末デバイス１００は、赤外線方式又はレーザ方式で距離を測定し得る。いくつかの実施形態において、撮影の場面では、端末デバイス１００は、レンジセンサ１８０Ｆを使用することによって距離を測定し、迅速な焦点合わせを実装し得る。
光学近接センサ１８０Ｇは、例えば、発光ダイオード（ＬＥＤ）及び光検出器、例えばフォトダイオードを含み得る。発光ダイオードは赤外線発光ダイオードであり得る。端末デバイス１００は、発光ダイオードを使用することによって赤外線光を外へ放射する。端末デバイス１００は、フォトダイオードを使用することによって、近くの物体からの赤外線反射光を検出する。十分な反映光が検出されるとき、端末デバイス１００の近くに物体があると判定される。検出される反映光が不十分であるとき、端末デバイス１００は、端末デバイス１００の近くに物体が無いと判定し得る。端末デバイス１００は、光学近接センサ１８０Ｇを使用することによって、ユーザが通話するために耳の近に端末デバイス１００を把持していることを検出して、節電のために自動的に画面オフを実行し得る。光学近接センサ１８０Ｇはまた、画面のロック解除又はロックを自動的に実行するために、レザーケースモード又はポケットモードにおいて使用され得る。
環境光センサ１８０Ｌは、環境光輝度を検知するよう構成される。いくつかの実施形態において、端末デバイス１００は、環境光センサ１８０Ｌによって感知される環境光の輝度に基づいて画像の露光時間を判定し得る。いくつかの実施形態において、端末デバイス１００は、感知された環境光の輝度に基づいてディスプレイ１９４の輝度を適応的に調整し得る。環境光センサ１８０Ｌは、撮影中のホワイトバランスを自動的に調整するように構成されてもよい。環境光センサ１８０Ｌは更に、光学近接センサ１８０Ｇと協働して、端末デバイス１００がポケットの中にあるかどうかを検出して、偶発的なタッチを防止し得る。
指紋センサ１８０Ｈは指紋を収集するよう構成される。端末デバイス１００は、収集される指紋の特徴を使用して、指紋ベースのロック解除、アプリケーションロックアクセス、指紋ベースの撮影、及び指紋ベースの電話応答などを実装し得る。
温度センサ１８０Ｊは、温度を検出するよう構成される。いくつかの実施形態において、端末デバイス１００は、温度センサ１８０Ｊによって検出される温度を使用することによって、温度処理ポリシーを実行する。例えば、温度センサ１８０Ｊによって報告される温度が閾値を超えるとき、端末デバイス１００は、温度センサ１８０Ｊの近くに位置するプロセッサのパフォーマンスを低減して、電力消費を低減し、熱保護を実装する。いくつかの他の実施形態において、温度が別の閾値より低いとき、端末デバイス１００はバッテリ１４２を加熱し、低温によって生じる端末デバイス１００の異常なシャットダウンを回避する。いくつかの他の実施形態において、温度がなお別の閾値より低いとき、端末デバイス１００は、バッテリ１４２の出力電圧を上昇させ、低温によって引き起こされる異常なシャットダウンを回避する。
タッチセンサ１８０Ｋは「タッチコンポーネント」とも呼ばれ得る。タッチセンサ１８０Ｋはディスプレイ１９４に配置され得、タッチセンサ１８０Ｋ及びディスプレイ１９４は、「タッチスクリーン」とも称されるタッチ画面を構成する。タッチセンサ１８０Ｋは、タッチセンサ上又はタッチセンサの近くで実行されたタッチ操作を検出するよう構成される。タッチセンサは、検出したタッチ操作をアプリケーションプロセッサに転送して、タッチイベントの種類を判定し得る。タッチ操作に関する視覚的出力は、ディスプレイ１９４を通じて提供され得る。いくつかの他の実施形態において、タッチセンサ１８０Ｋは代替的に、ディスプレイ１９４とは異なる場所における端末デバイス１００の表面上に配置され得る。
骨伝導センサ１８０Ｍは振動信号を取得し得る。いくつかの実施形態において、骨伝導センサ１８０Ｍは、人の声帯部分の振動骨の振動信号を取得し得る。骨伝導センサ１８０Ｍはまた、血圧鼓動信号を受信するために身体の脈に接触し得る。いくつかの実施形態において、骨伝導センサ１８０Ｍはまた、ヘッドセットに配置されて骨伝導ヘッドセットを実現し得る。オーディオモジュール１７０は、骨伝導センサ１８０Ｍによって取得される、声帯部分の振動骨の振動信号に基づいて、解析を通じて音声信号を取得し、音声機能を実装し得る。アプリケーションプロセッサは、骨伝導センサ１８０Ｍにより取得される血圧鼓動信号に基づいて心拍数情報を解析し、心拍数検出機能を実装し得る。
ボタン１９０は、電源ボタン、音量ボタン、及び同様のものを含む。ボタン１９０は機械的ボタンであり得る、又は、タッチボタンであり得る。端末デバイス１００はボタン入力を受信し、端末デバイス１００のユーザ設定及び機能制御に関するボタン信号入力を生成し得る。
モータ１９１は振動プロンプトを生成し得る。モータ１９１は、着信振動プロンプト及びタッチ振動フィードバックを提供するように構成されてよい。例えば、異なるアプリケーション（例えば、写真撮影及びオーディオ再生）で実行されるタッチ操作は、異なる振動フィードバック効果に対応してよい。モータ１９１はまた、表示１９４の異なる領域に対して実行されたタッチ操作についての異なる振動フィードバック効果に対応し得る。また、異なるアプリケーション場面（例えば、時間リマインダ、情報受信、目覚まし時計、及びゲーム）が、異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果は更にカスタマイズされ得る。
インジケータ１９２はインジケータライトであり得、充電ステータス及び電力変化を示すよう構成され得る、又は、メッセージ、不在着信、通知などを示すよう構成され得る。
ＳＩＭカードインタフェース１９５は、ＳＩＭカードに接続されるように構成される。ＳＩＭカードは、ＳＩＭカードインタフェース１９５に挿入され得るか、又は、ＳＩＭカードインタフェース１９５から取り外され得、端末デバイス１００との接触又は分離を実装する。端末デバイス１００は、１又はＮ３個のＳＩＭカードインタフェースをサポートし得、Ｎ３は１より大きい正の整数である。ＳＩＭカードインタフェース１９５は、ナノＳＩＭカード、マイクロＳＩＭカード、ＳＩＭカードなどをサポートし得る。複数のカードが同じＳＩＭカードインタフェース１９５に同時に挿入されてよい。複数のカードは、同じ種類であってもよく、又は異なる種類であってもよい。ＳＩＭカードインタフェース１９５は、異なる種類のＳＩＭカードと互換性があり得る。ＳＩＭカードインタフェース１９５はまた、外部ストレージカードと互換性があり得る。端末デバイス１００は、ＳＩＭカードを使用することによってネットワークとやり取りし、通話及びデータ通信などの機能を実装する。いくつかの実施形態において、端末デバイス１００は、ｅＳＩＭカード、すなわち組み込みＳＩＭカードを使用する。ｅＳＩＭカードは端末デバイス１００に組み込まれ得、端末デバイス１００から分離できない。
端末デバイス１００のソフトウェアシステムは、階層アーキテクチャ、イベント駆動型アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ又はクラウドアーキテクチャを使用し得る。本願の実施形態において、階層アーキテクチャを有するＡｎｄｒｏｉｄ（登録商標）システムは、端末デバイス１００のソフトウェア構造を説明するための例として使用される。
図２は、本願の実施形態による端末デバイス１００のソフトウェア構造のブロック図である。
階層アーキテクチャにおいて、ソフトウェアは複数の層に分割され、各層は明確な役割及びタスクを有する。層はソフトウェアインタフェースを通じて互いに通信する。いくつかの実施形態において、Ａｎｄｒｏｉｄ（登録商標）システムは、４つの層、すなわち、上から下に、アプリケーション層、アプリケーションフレームワーク層、Ａｎｄｒｏｉｄ（登録商標）ランタイム（Ａｎｄｒｏｉｄ（登録商標） ｒｕｎｔｉｍｅ）及びシステムライブラリ、ならびに、カーネル層に分割される。アプリケーション層は一連のアプリケーションパッケージを含み得る。
図２に示されるように、アプリケーションパッケージは、カメラ、ギャラリー、カレンダー、電話、地図、ナビゲーション、ＷＬＡＮ、ブルートゥース（登録商標）、音楽、映像、メッセージなどのアプリケーションを含み得る。
アプリケーションフレームワーク層は、アプリケーション層におけるアプリケーションのためのアプリケーションプログラミングインタフェース（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ、ＡＰＩ）及びプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、いくつかの事前定義された機能を含む。
図２に示すように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、及び通知マネージャなどを含み得る。
ウィンドウマネージャは、ウィンドウプログラムを管理するように構成される。ウィンドウマネージャは、ディスプレイのサイズの取得、ステータスバーがあるかどうかの判定、画面ロックの実行及びスクリーンショットの撮影等を行い得る。
コンテンツプロバイダは、データを記憶及び取得し、データがアプリケーションプログラムによってアクセスされることを可能にするように構成される。データは、映像、画像、オーディオ、発信及び応答される電話、閲覧履歴及びブックマーク、ならびにアドレス帳などを含み得る。
ビューシステムは、テキストを表示するためのコントロール、及び画像を表示するためのコントロールなどの視覚的なコントロールを含む。ビューシステムは、アプリケーションプログラムを構築するように構成され得る。表示インタフェースは１又は複数のビューを含み得る。例えば、ＳＭＳメッセージ通知アイコンを含む表示インタフェースが、テキスト表示ビュー及び画像表示ビューを含んでよい。
電話マネージャは、端末デバイス１００の通信機能、例えば、通話ステータス（応答、拒否又は同様のものを含む）の管理を提供するように構成される。
リソースマネージャは、ローカライズされた文字列、アイコン、画像、レイアウトファイル、及び映像ファイルなどの様々なリソースをアプリケーションプログラムに提供する。
通知マネージャは、アプリケーションプログラムがステータスバーに通知情報を表示できるようにし、通知メッセージを伝達するように構成され得る。通知マネージャは、短い間を置いた後に、ユーザインタラクションを必要とせずに自動的に消えてよい。例えば、通知マネージャは、ダウンロード完了を通知すること、及び、メッセージ通知を提供することなどを行うよう構成される。通知マネージャは代替的に、グラフ又はスクロールバーテキストの形態でシステムの上部のステータスバーに現れる通知、例えば、バックグラウンド上で実行するアプリケーションの通知であり得るか、又は、ダイアログウィンドウの形態で画面に現れる通知であり得る。例えば、テキスト情報がステータスバーに表示され、アナウンスが提供され、端末デバイスが振動し、又はインジケータライトが点滅する。
Ａｎｄｒｏｉｄ（登録商標）ランタイムは、カーネルライブラリ及び仮想マシンを含む。Ａｎｄｒｏｉｄ（登録商標）ランタイムは、Ａｎｄｒｏｉｄ（登録商標）システムのスケジューリング及び管理を担う。
カーネルライブラリは２つの部分、すなわち、Ｊａｖａ（登録商標）言語において呼び出される必要がある関数、及び、Ａｎｄｒｏｉｄ（登録商標）のカーネルライブラリを含む。
アプリケーション層及びアプリケーションフレームワーク層は仮想マシン上で実行する。仮想マシンは、アプリケーション層及びアプリケーションフレームワーク層のＪａｖａ（登録商標）ファイルをバイナリファイルとして実行する。仮想マシンは、オブジェクトのライフサイクル管理、スタック管理、スレッド管理、セキュリティ及び例外管理、及びガベージコレクションなどの機能を実装するように構成されている。
システムライブラリは、複数の機能モジュール、例えば、サーフェスマネージャ（ｓｕｒｆａｃｅ ｍａｎａｇｅｒ）、メディアライブラリ（Ｍｅｄｉａ Ｌｉｂｒａｒｙ）、３次元グラフィックス処理ライブラリ（例えば、ＯｐｅｎＧＬ ＥＳ）、及び２Ｄグラフィックスエンジン（例えば、ＳＧＬ）を含み得る。
サーフェスマネージャは、ディスプレイサブシステムを管理し、複数のアプリケーションについて、２Ｄ層及び３Ｄ層の融合を提供するよう構成される。
メディアライブラリは、一般的に使用されている複数のオーディオ形式及び映像形式、及び静止画像ファイルでの再生及び記録をサポートする。メディアライブラリは、複数のオーディオ符号化形式及び映像符号化形式、例えば、ＭＰＥＧ－４、Ｈ．２６４、ＭＰ３、ＡＡＣ、ＡＭＲ、ＪＰＧ、及びＰＮＧをサポートすることができる。
３次元グラフィックス処理ライブラリは、３次元グラフィックス描画、画像レンダリング、合成、及び層処理などを実装するように構成される。
２Ｄグラフィックスエンジンは、２Ｄ描画のための描画エンジンである。
カーネル層はハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ、ヘッドセットドライバ及びセンサドライバを含む。
以下では、オーディオを撮像及び再生する場面を参照して、端末デバイス１００のソフトウェア及びハードウェアの動作手順の例を説明する。
タッチセンサ１８０Ｋがタッチ操作を受信するとき、対応するハードウェア割り込みがカーネル層に送信される。カーネル層は、タッチ操作を処理して元の入力イベント（タッチ操作のタッチ座標及びタイムスタンプ等の情報を含む）にする。元の入力イベントはカーネル層に格納される。アプリケーションフレームワーク層は元の入力イベントをカーネル層から取得し、入力イベントに対応する制御を識別する。例えば、タッチ操作はタッチタップ操作であり、タップ操作に対応するコントロールがオーディオアプリケーションアイコンのコントロールである。オーディオアプリケーションは、アプリケーションフレームワーク層におけるインタフェースを呼び出して、ヘッドセットを起動し、アプリケーションを制御し、次に、カーネル層を呼び出して、ヘッドセットドライバを起動し、オーディオ信号をヘッドセットへ送信し、ヘッドセット２００を使用することによってオーディオ信号を再生する。
図３はヘッドセット２００の任意選択のハードウェア構造の概略図である。ヘッドセット２００は左イヤホン及び右イヤホンを含む。左イヤホン及び右イヤホンは同様の構造を有する。ヘッドセット（左イヤホン及び右イヤホンを含む）は構造的に、第１マイクロホン３０１、第２マイクロホン３０２及び第３マイクロホン３０３を含む。ヘッドセットは更に、プロセッサ３０４及びスピーカ３０５を含み得る。後に説明されるヘッドセットは、左イヤホンとして解釈され得るか、又は、右イヤホンとして解釈され得ることが理解されるべきである。
第１マイクロホン３０１は、現在の外部環境における音を収集するように構成される。第１マイクロホン３０１はまた、参照マイクロホンと呼ばれ得る。ユーザがヘッドセットを装着しているとき、第１マイクロホン３０１はヘッドセットの外側に位置し、又は、第１マイクロホン３０１は耳の外側に位置する。ユーザがヘッドセットを装着しているとき、第２マイクロホン３０２は、ユーザの外耳道における環境音を収集する。第２マイクロホン３０２はまた、誤差マイクロホンと呼ばれ得る。ユーザがヘッドセットを装着しているとき、第２マイクロホン３０２は、ヘッドセットの内側又は外耳道の近くに位置する。第３マイクロホン３０３は通話信号を収集するように構成される。第３マイクロホン３０３はヘッドセットの外側に位置し得る。ユーザがヘッドセットを装着しているとき、第３マイクロホン３０３は、第１マイクロホン３０１と比べて、ユーザの口により近い。
第１マイクロホン３０１は現在の外部環境における音を収集するように構成され、ユーザがヘッドセットを装着している外部環境における音として説明され得ることに留意されたい。例えば、電車上で、外部環境における音は、ヘッドセットを装着しているユーザの周囲の環境における音である。左イヤホン上の第１マイクロホン３０１は、左イヤホンの外部環境における音を収集する。右イヤホン上の第１マイクロホン３０１は、右イヤホンの外部環境における音を収集する。
区別を容易にするために、第１マイクロホン３０１（参照マイクロホン）によって収集される信号は、第１信号と呼ばれ、第２マイクロホン３０２（誤差マイクロホン）によって収集される信号は第２信号と呼ばれる。本願の本実施形態におけるマイクロホンは、アナログマイクロホンであり得るか、又は、デジタルマイクロホンであり得る。マイクロホンがアナログマイクロホンであるとき、マイクロホンによって収集された信号に対してフィルタリング処理が実行される前に、アナログ信号がデジタル信号に変換され得る。本願の本実施形態において、例えば、第１マイクロホン及び第２マイクロホンの両方はデジタルマイクロホンであり、第１信号及び第２信号の両方はデジタル信号である。
プロセッサ３０４は、ダウンリンクオーディオ信号及び／又はマイクロホン（第１マイクロホン３０１、第２マイクロホン３０２、又は第３マイクロホン３０３を含む）によって収集された信号に対して処理、例えば、ＡＮＣ処理、ＨＴ処理、又はＡＨ処理を実行するように構成される。例えば、プロセッサ３０４は主制御部及びノイズコントロール処理ユニットを含み得る。主制御部は、ヘッドセットに対するユーザ操作についての制御コマンドを生成し、制御コマンドを端末デバイスから受信し、又は同様のものを行うように構成される。ノイズコントロール処理ユニットは、ダウンリンクオーディオ信号及び／又はマイクロホン（第１マイクロホン３０１、第２マイクロホン３０２、又は第３マイクロホン３０３を含む）によって収集された信号に対して制御コマンドに基づいて、ＡＮＣ処理、ＨＴ処理、又はＡＨ処理を実行するように構成される。
左イヤホン及び右イヤホンは更にメモリを含み得る。メモリは、プロセッサ３０４によって実行されるプログラム又は命令を記憶するように構成される。プロセッサ３０４は、メモリに記憶されるプログラム又は命令に基づいて、ＡＮＣ処理、ＨＴ処理又はＡＨ処理を実行する。メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ、リードオンリメモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、プログラマブルリードオンリメモリ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）、レジスタ、ハードディスク、着脱式ハードディスク、ＣＤ－ＲＯＭ、又は、当技術分野において周知であるいずれかの他の形態の記憶媒体のうちの１又は複数を含み得る。
主制御部は、例えば、ＡＲＭ処理チップ、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、システムオンチップ（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ， ＳｏＣ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ， ＤＳＰ）、又はマイクロコントローラユニット（ｍｉｃｒｏ ｃｏｎｔｒｏｌｌｅｒ ｕｎｉｔ， ＭＣＵ）のうちの１又は複数によって実装され得る。ノイズコントロール処理ユニットは、例えば、コーダ‐デコーダ（ｃｏｄｅｒ－ｄｅｃｏｄｅｒ， ＣＯＤＥＣ）チップ又はハイフィデリティ（ｈｉｇｈ－ｆｉｄｅｌｉｔｙ， Ｈｉ－Ｆｉ）チップを含み得る。例えば、ノイズコントロール処理ユニットは、コーデックチップを含む。コーデックにおいて、フィルタ、イコライザ（Ｅｑｕａｌｉｚｅｒ， ＥＱ）、ダイナミックレンジコントローラ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｎｔｒｏｌｌｅｒ， ＤＲＣ）、リミッタ（ｌｉｍｉｔｅｒ）、利得レギュレータ（ｇａｉｎ）、ミキサ（ｍｉｘｅｒ）、及び同様のものがハードウェア化され、主に、信号に対するフィルタリング、オーディオミキシング、及び利得調整などの処理を実行するように構成される。ノイズコントロール処理ユニットは更にＤＳＰを含み得る。ＤＳＰは、場面検出、声強化及びブロッキング解消などの処理を実行するように構成され得る。
ヘッドセットは更に、端末デバイス１００における無線通信モジュール１６０を通じて端末デバイス１００との通信接続を確立するように構成される無線通信部を含み得る。無線通信部は、無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ，ＷＬＡＮ）（例えば、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ，Ｗｉ－Ｆｉ（登録商標））ネットワーク）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標）， ＢＴ）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ，ＮＦＣ）技術、赤外線（ｉｎｆｒａｒｅｄ，ＩＲ）技術又は同様のものを含む、ヘッドセットに適用される無線通信ソリューションを提供し得る。無線通信部は、少なくとも１つの通信プロセッサモジュールを統合する１又は複数のコンポーネントであり得る。例えば、無線通信モジュール１６０はブルートゥース（登録商標）であり得、無線通信部もブルートゥース（登録商標）であり得、ヘッドセット２００は、ブルートゥース（登録商標）を使用することによって端末デバイス１００に接続される。
可能な例において、３つの異なるノイズ処理について、出力は、３つの経路、すなわち、アクティブノイズコントロール出力経路、環境音ヒアスルー出力経路、及び聴覚増強出力経路を使用することによって実行される。例えば、図４に示されるように、異なる出力経路は、異なる処理方式を使用する。
アクティブノイズコントロール出力経路におけるアクティブノイズコントロール処理は、参照マイクロホンによって収集される第１信号の逆位相信号、及び、誤差マイクロホンによって収集される第２信号の逆位相信号を使用することによってノイズ抑制を実行することを含み得るが、これに限定されない。アクティブノイズコントロール出力経路は、第１信号の逆位相信号及び第２信号の逆位相信号を含む。第１信号と第１信号の逆位相信号との間の位相差は１８０度であることに留意されたい。スピーカは、第１信号の逆位相信号及び第２信号の逆位相信号を重畳することによって取得される信号を出力し、その結果、スピーカによって再生される現在の外部環境における音は、耳によって実際に聞かれた外部環境における音によって相殺され、アクティブノイズコントロール効果が実装される。したがって、ヘッドセットがＡＮＣモードを使用するとき、現在のユーザ環境における音及びユーザの外耳道における環境音のユーザ感知を弱めることができる。
任意選択で、ダウンリンクオーディオ信号があるとき、フィルタリング補償がダウンリンクオーディオ信号に対して実行され得る。加えて、ダウンリンクオーディオ信号の影響は、環境音の逆位相信号が取得されるときに、排除され得る。
第１信号の逆位相信号及び第２信号の逆位相信号が取得されるとき、第１フィルタリング処理及び第３フィルタリング処理が使用され得る。例えば、第１フィルタリング処理は、フィードフォワード（ｆｅｅｄｆｏｒｗａｒｄ， ＦＦ）フィルタリング処理であり得、フィードフォワードフィルタによって実装され得る。第３フィルタリング処理は、フィードバック（ｆｅｅｄｂａｃｋ， ＦＢ）フィルタリング処理であり得、フィードバックフィルタによって実装され得る。図４に示されるように、ＦＦフィルタリング及びＦＢフィルタリングは、並列処理アーキテクチャを使用して、ノイズコントロール効果を強化する。ＡＮＣ処理手順は以下の説明において詳細に説明される。ここでは、詳細について改めて説明しない。
環境音ヒアスルー出力経路における環境音ヒアスルー処理は、誤差マイクロホンによって収集された信号に対して第３フィルタリング処理を実行してアクティブノイズコントロール機能の一部を実装すること、ならびに、参照マイクロホンによって収集された信号に対して第２フィルタリング処理及びＨＴ強化処理を実行することを含み得るが、これに限定されない。例えば、第２フィルタリング処理は、ヒアスルー（ＨＴ）フィルタリング処理であり得、ヒアスルーフィルタによって実装され得る。スピーカによって再生されるオーディオ信号は、第１信号及び第２信号に基づいて取得され、その結果、オーディオ信号がスピーカによって再生された後に、ユーザはヘッドセットを使用することによって外部環境における音を聞くことができる。ＨＴ処理が実行されていないときに聞かれる外部環境における音と比較して、この音は、より高い強度及びより良い効果を有する。したがって、ヘッドセットがＨＴモードを使用するとき、現在のユーザ環境における音の強度のユーザ感知を強化できる。ＨＴ処理手順は、以下の説明において詳細に説明される。ここでは、詳細について改めて説明しない。
聴覚増強出力経路における環境音ヒアスルー処理は、誤差マイクロホンによって収集された信号を使用することによってアクティブノイズコントロール機能の一部を実装すること、参照マイクロホンによって収集された信号に対して第１フィルタリング処理及び聴覚増強処理を実行してユーザ環境における音におけるイベント音を強化すること、及び、参照マイクロホンによって収集された信号に対して第２フィルタリング処理を実行することを含み得るが、これらに限定されない。スピーカの出力信号は、第１信号におけるイベント信号と第２信号の逆位相信号とを混合した後に取得される信号に基づいて取得される。第２信号と第２信号の逆位相信号との間の位相差は１８０度であることに留意されたい。スピーカは、第２信号の逆位相信号、第１信号の逆位相信号、及び第１信号におけるイベント信号を重畳することによって取得される信号を出力し、その結果、スピーカによって出力される信号は、耳によって実際に聞かれる環境における音を相殺し、アクティブノイズコントロール効果が実装される。加えて、スピーカは、環境におけるイベント音を出力し、その結果、ユーザは、環境においてユーザによって必要とされる予め設定された信号を明確に聞くことができる。したがって、ヘッドセットがＡＨモードを使用するとき、現在の外部環境における音に含まれるイベント音のヘッドセットユーザ感知を強化できる。ＡＨ処理手順は、以下の説明において詳細に説明される。ここでは、詳細について改めて説明しない。
ダウンリンクオーディオ信号、第１信号及び第２信号はすべて、１つのフレームの信号、又は、ある期間の信号であり得ることが理解されるべきである。例えば、ダウンリンクオーディオ信号、第１信号及び第２信号がすべて１つのフレームの信号であるとき、ダウンリンクオーディオ信号、第１信号、及び第２信号は、３つの信号ストリームにそれぞれ属し、ダウンリンクオーディオ信号の信号フレーム、第１信号の信号フレーム及び第２信号の信号フレームは、同一の期間にあるか、又は、時間が重複する。本願の本実施形態において、機能処理（例えば、ＡＮＣ、ＨＴ又はＡＨ）が実行されるとき、ダウンリンクオーディオ信号が位置する信号ストリーム、第１信号が位置する信号ストリーム、及び第２信号の信号ストリームに対して機能処理が継続的に実行される。
まず、以下では、アクティブノイズコントロール経路の処理手順を詳細に説明する。
図５Ａ及び図５Ｂは、アクティブノイズコントロール処理の概略フローチャートである。例えば、端末デバイス１００によってヘッドセット２００へ送信されたダウンリンクオーディオ信号は、後の説明において第１オーディオ信号と呼ばれる。第１オーディオ信号は、通話信号、音楽信号、又は同様のものであり得る。例えば、参照マイクロホンによって収集された信号は、第１信号と呼ばれ、誤差マイクロホンによって収集された信号は第２信号と呼ばれる。ヘッドセットはＡＮＣモードを使用する。
端末デバイス１００によってヘッドセット２００における左イヤホン及び右イヤホンへ送信されたダウンリンクオーディオ信号は、同一の信号であり得るか、又は異なる信号であり得ることに留意されたい。例えば、端末デバイスはステレオ効果を使用する。端末デバイス１００は、異なるダウンリンクオーディオ信号をヘッドセット２００へ送信してステレオ効果を実装する。当然、端末デバイスは代替的に、同一のダウンリンクオーディオ信号を左イヤホン及び右イヤホンへ送信し得る。左イヤホン及び右イヤホンはステレオ処理を使用してステレオ効果を実装する。左イヤホン又は右イヤホンは、ユーザの制御の場合において、図５Ａ又は図５Ｂにおける処理を実行し得る。
Ｓ５０１：参照マイクロホンによって収集された第１信号に対して第１フィルタリング処理を実行して第１フィルタリング信号を取得する。図５Ｂにおいて、第１フィルタリング信号は簡潔に信号Ａ１と呼ばれる。
Ｓ５０２：誤差マイクロホンによって収集された第２信号に含まれる第１オーディオ信号をフィルタリング除去して第１フィルタリング済み信号を取得する。図５Ｂにおいて、第１フィルタリング済み信号は簡潔に信号Ａ２と呼ばれる。
任意選択で、誤差マイクロホンによって収集された第２信号に含まれる第１オーディオ信号がフィルタリング除去されるとき、まずフィルタリング補償処理が第１オーディオ信号に対して実行され得る。
Ｓ５０３：第１フィルタリング信号及び第１フィルタリング済み信号に対してオーディオミキシング処理を実行して第３オーディオ信号を取得する。図５Ｂにおいて、第３オーディオ信号は簡潔に信号Ａ３と呼ばれる。換言すれば、信号Ａ３は、信号Ａ１及び信号Ａ２に対してオーディオミキシング処理を実行することによって取得される。
Ｓ５０４：第３オーディオ信号（信号Ａ３）に対して第３フィルタリング処理を実行して第４オーディオ信号を取得する。図５Ｂにおいて、第４オーディオ信号は簡潔に信号Ａ４と呼ばれる。
Ｓ５０５：第４オーディオ信号及び第１オーディオ信号に対してオーディオミキシング処理を実行し、第２オーディオ信号を取得する。スピーカは、第２オーディオ信号の再生を担う。図５Ｂにおいて、第２オーディオ信号は簡潔に信号Ａ５と呼ばれる。
ダウンリンクオーディオ信号がないとき、すなわち、端末デバイスが第１オーディオ信号をヘッドセットへ送信しないとき、及び、ヘッドセットがＡＮＣモードを使用するとき、スピーカによって出力された信号は、オーディオミキシング処理が実行されない第４オーディオ信号であることに留意されたい。この場合、Ｓ５０２及びＳ５０５は実行される必要がない。
図５Ｂにおいて、例えば、第１フィルタリング処理はＦＦフィルタリング処理であり、ＦＦフィルタによって実装され、第３フィルタリング処理はＦＢフィルタリング処理であり、ＦＢフィルタによって実装される。ヘッドセット２００における参照マイクロホンは、第１信号を拾い、ＦＦフィルタリング処理のために第１信号をＦＦフィルタに入力し、信号Ａ１を取得する。誤差マイクロホンは第２信号を拾い、第２信号を減算器に入力する。フィルタリング補償を通じて取得されたダウンリンクオーディオ信号も減算器に入力される。減算器は、フィルタリング補償を通じて取得される、第２信号に含まれるダウンリンクオーディオ信号を除去し、ダウンリンクオーディオ信号の影響を排除し、信号Ａ２を取得する。オーディオミキサは信号Ａ１及び信号Ａ２に対してオーディオミキシング処理を実行して信号Ａ３を取得し、ＦＢフィルタリング処理のために信号Ａ３をＦＢフィルタに入力して信号Ａ４を取得する。オーディオミキシングが信号Ａ４及びダウンリンクオーディオ信号に対して実行され、信号Ａ５を取得し、信号Ａ５は再生のためにスピーカに入力される。
ＡＮＣ処理は、ＦＦフィルタリング及びＦＢシリアル処理の方式で実行され、より良くノイズ除去された信号を取得し、ノイズコントロール効果を強化する。
可能な実装において、ＡＮＣ処理の処理強度によってＡＮＣ効果が決定され得る。ＡＮＣ処理の処理強度は、ＦＦフィルタリングに使用されるＦＦフィルタリング係数及び／又はＦＢフィルタリングに使用されるＦＢフィルタリング係数に依存する。
ＦＦフィルタリング係数については、１つの方式において、ＡＮＣモードにおけるデフォルトのＦＦフィルタリング係数が使用され得る。別の方式において、ＡＮＣモードが最後に選択されたときに使用されたＦＦフィルタリング係数が使用され得る。なお別の方式において、ヘッドセットは、識別された場面に基づいて、ＡＮＣモードにおいて使用されるＦＦフィルタリング係数を決定する。更になお別の方式において、ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ヘッドセットに対して、ＡＮＣモードにおいて使用されるＦＦフィルタリング係数を示す。例えば、ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ＡＮＣモードにおける処理強度を目標処理強度として選択する。異なる処理強度は異なるＦＦフィルタリング係数に対応する。
ＦＢフィルタリング係数については、１つの方式において、ＡＮＣモードにおけるデフォルトのＦＢフィルタリング係数が使用され得る。別の方式において、ＡＮＣモードが最後に選択されたときに使用されたＦＢフィルタリング係数が使用され得る。なお別の方式において、ヘッドセットは、識別された場面に基づいてＦＢフィルタリング係数を決定する。更になお別の方式において、ユーザは、端末デバイスによって提供されたＵＩコントロールを使用することによって、ヘッドセットに対して、ＡＮＣモードにおいて使用されるＦＦフィルタリング係数を示す。例えば、ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ＡＮＣモードにおける処理強度を目標処理強度として選択する。異なる処理強度は異なるＦＢフィルタリング係数に対応する。
ＡＮＣモードにおいて、ＦＦフィルタリング係数及びＦＢフィルタリング係数は、前述の提供された方式の任意の組み合わせで取得され得る。例において、ＦＦフィルタリング係数は、ＡＮＣモードにおけるデフォルトのフィルタリング係数を使用し、ＦＢフィルタリング係数は、識別された場面に基づいてヘッドセットによって決定される。別の例において、ＦＢフィルタリング係数は、ＡＮＣモードにおけるデフォルトのフィルタリング係数を使用し、ＦＦフィルタリング係数は、端末デバイスによって提供されるＵＩコントロールを使用することによってユーザによって決定される。別の例において、ＦＢフィルタリング係数は、ＡＮＣモードにおけるデフォルトのフィルタリング係数を使用し、ＦＦフィルタリング係数は、端末デバイスによって提供されるＵＩコントロールを使用することによってユーザによってヘッドセットに示される。ＡＮＣモードにおける処理強度の決定は、特定の例を使用することによって後に詳細に説明される。ここでは、詳細について改めて説明しない。
第２に、以下では環境音ヒアスルー経路の処理手順を詳細に説明する。
図６Ａ、図６Ｂ及び図６Ｃは、環境音ヒアスルー処理の概略フローチャートである。例えば、端末デバイス１００によってヘッドセット２００へ送信されたダウンリンクオーディオ信号は、後の説明において第１オーディオ信号と呼ばれる。第１オーディオ信号は、通話信号、音楽信号、又は同様のものであり得る。例えば、参照マイクロホンによって収集された信号は、第１信号と呼ばれ、誤差マイクロホンによって収集された信号は第２信号と呼ばれる。ヘッドセット２００における左イヤホン又は右イヤホンは、ユーザの制御の場合において、図６Ａ、図６Ｂ又は図６Ｃにおける処理を実行し得る。
Ｓ６０１：参照マイクロホンによって収集された第１信号に対して第１信号処理を実行して第１処理済み信号を取得する。図６Ｂ及び図６Ｃにおいて、第１処理済み信号は信号Ｂ１と呼ばれる。第１信号処理はＨＴフィルタリングを含む。
Ｓ６０２：第１処理済み信号及び第１オーディオ信号に対してオーディオミキシング処理を実行して第５オーディオ信号を取得する。図６Ｂ及び図６Ｃにおいて、第５オーディオ信号は信号Ｂ２と呼ばれる。
換言すれば、オーディオミキシング処理が、信号Ｂ１及びダウンリンクオーディオ信号（すなわち第１オーディオ信号）に対して実行され、信号Ｂ２を取得する。
Ｓ６０３：第２信号に含まれる第５オーディオ信号をフィルタリング除去して第２フィルタリング済み信号を取得する。図６Ｂ及び図６Ｃにおいて、第２フィルタリング済み信号は信号Ｂ３と呼ばれる。換言すれば、第２環境信号に含まれる信号Ｂ２はフィルタリング除去され、信号Ｂ３を取得する。
任意選択で、第２信号に含まれる第５オーディオ信号がフィルタリング除去される前に、フィルタリング補償処理も第５オーディオ信号に対して実行され得、聴覚感知損失を低減する。
Ｓ６０４：第２フィルタリング済み信号に対してＦＢフィルタリングを実行して第３フィルタリング済み信号を取得する。図６Ｂ及び図６Ｃにおいて、第３フィルタリング済み信号は信号Ｂ４と呼ばれる。換言すれば、ＦＢフィルタリングが信号Ｂ３に対して実行され、信号Ｂ４を取得する。
Ｓ６０５：第３フィルタリング済み信号及び第５オーディオ信号に対してオーディオミキシング処理を実行し、第２オーディオ信号を取得する。換言すれば、オーディオミキシング処理が信号Ｂ４及び信号Ｂ２に対して実行され、第２オーディオ信号を取得する。
例において、第１信号処理が、参照マイクロホンによって収集された第１信号に対して実行され、以下の方式で第１処理済み信号を取得し得る。
ＨＴフィルタリング処理が第１信号に対して実行され、第２フィルタリング信号を取得する。図６Ｂ及び図６Ｃにおいて、第２フィルタリング信号は信号Ｂ５と呼ばれる。更に、第２信号処理が第２フィルタリング信号に対して実行され、第２の処理済み信号を取得する。第２信号処理はまた、低遅延アルゴリズム処理又はＨＴ強化処理と呼ばれ得る。低遅延アルゴリズム処理は、ブロッキング効果解消処理、バックグラウンドノイズコントロール処理、ウインドノイズコントロール処理、利得調整処理、又は周波数応答調整処理のうちの１又は複数を含む。低遅延アルゴリズム処理は更に、ＨＴフィルタリングを通じて取得された信号に対して実行される。これによりバックグラウンドノイズ及び異音を低減し、ユーザ聴覚感知を改善する。
可能な方式において、図６Ｂに示されるように、ＨＴフィルタリング処理は、ノイズコントロール処理ユニットによって実装され得る。例えば、ヘッドセットのノイズコントロール処理ユニットはＣＯＤＥＣを含む。ＣＯＤＥＣは、ＨＴフィルタ、ＦＢフィルタ、減算器、第１オーディオミキサ、第２オーディオミキサ及びフィルタリング補償ユニットを含む。図６Ｂは、ノイズコントロール処理ユニットが更にＤＳＰを含む例を示す。ＤＳＰは、低遅延アルゴリズム処理を実行するように構成され得る。ヘッドセット２００における参照マイクロホンは第１信号を拾い、ＨＴフィルタリング処理のために第１信号をＨＴフィルタに入力し、信号Ｂ５を取得する。信号Ｂ５はＤＳＰに入力される。ＤＳＰは信号Ｂ５に対して低遅延アルゴリズム処理を実行し、信号Ｂ１を取得する。信号Ｂ１は第１オーディオミキサに入力される。第１オーディオミキサはダウンリンクオーディオ信号及び信号Ｂ１に対してオーディオミキシング処理を実行して信号Ｂ２を取得する。フィルタリング補償がフィルタリング補償ユニットによって実行された信号Ｂ２が減算器に入力される。減算器は、フィルタリング補償処理が実行された、誤差マイクロホンによって拾われた第２環境信号に含まれる信号Ｂ２をフィルタリング除去し、信号Ｂ３を取得するように構成される。信号Ｂ３はＦＢフィルタに入力される。ＦＢフィルタは、信号Ｂ３に対してＦＢフィルタリング処理を実行し、信号Ｂ４を取得する。信号Ｂ４は、第２オーディオミキサに入力される。加えて、第２オーディオミキサへの入力は更に信号Ｂ２を含む。第２オーディオミキサは、信号Ｂ２及び信号Ｂ４に対してオーディオミキシング処理を実行して第２オーディオ信号を取得する。第２オーディオ信号は、再生のためにスピーカに入力される。
別の可能な方式において、図６Ｃに示されるように、ＨＴフィルタリング処理は、ＤＳＰによって実装され得る。ＤＳＰはＨＴフィルタリング処理及び低遅延アルゴリズム処理を実行するように構成され得る。ヘッドセットのノイズコントロール処理ユニットは、ＦＢフィルタ、減算器、第１オーディオミキサ、第２オーディオミキサ及びフィルタリング補償ユニットを含む。ヘッドセットにおける参照マイクロホンは、第１信号を拾い、第１信号をＤＳＰに入力する。ＤＳＰは、第１信号に対してＨＴフィルタリング処理及び低遅延アルゴリズム処理を実行して信号Ｂ１を取得する。信号Ｂ１は第１オーディオミキサに入力される。第１オーディオミキサはダウンリンクオーディオ信号及び信号Ｂ１に対してオーディオミキシング処理を実行して信号Ｂ２を取得する。フィルタリング補償がフィルタリング補償ユニットによって実行された信号Ｂ２が減算器に入力される。減算器は、誤差マイクロホンによって拾われた第２信号に含まれる信号Ｂ２をフィルタリング除去して信号Ｂ３を取得するように構成される。信号Ｂ３はＦＢフィルタに入力される。ＦＢフィルタは、信号Ｂ３に対してＦＢフィルタリング処理を実行し、信号Ｂ４を取得する。信号Ｂ４は、第２オーディオミキサに入力される。加えて、第２オーディオミキサへの入力は更に信号Ｂ２を含む。第２オーディオミキサは、信号Ｂ２及び信号Ｂ４に対してオーディオミキシング処理を実行して第２オーディオ信号を取得する。第２オーディオ信号は、再生のためにスピーカに入力される。
例において、低遅延アルゴリズム処理はブロッキング効果解消処理を含む。ブロッキング効果解消処理方法を紹介する前に、まずブロッキング効果の生成原理を説明する。ヘッドセット装着者の声を感知する手段は２つある。１．信号が骨から骨膜に伝導されて感知される。信号は低周波数信号だけである。２．信号が外部の空気から骨膜に伝搬されて感知される。信号は低周波数信号及び中・高周波信号を含む。低周波数信号及び中・高周波信号が重畳された後に、低周波数信号は大き過ぎ、ヘッドセットが装着されているときに低周波数信号を送信できない。結果として、低周波数信号は耳において無秩序になり、ブロッキング効果を生じさせる。
ブロッキング効果解消処理は、ＨＴフィルタリング処理を通じて取得された信号Ｂ５に対して実行される。具体的には、以下の方式が使用され得る。
方式１：図７を参照されたい。
Ｓ７０１：骨伝導信号に一致する第１音声高調波信号を音声高調波セットから決定し、音声高調波セットは複数の音声高調波信号を含む。音声高調波セットに含まれる複数の音声高調波信号は異なる周波数に対応する。具体的には、骨伝導信号の周波数が決定され得、第１音声高調波信号が骨伝導信号の周波数に基づいて音声高調波セットから決定される。音声高調波信号はまた、音声高調波成分と呼ばれ得る。
Ｓ７０２：ＨＴフィルタリング処理から取得された信号Ｂ５から第１音声高調波信号を除去する。例えば、ＨＴフィルタリング処理を通じて取得された信号Ｂ５における第１音声高調波信号が除去され、信号Ｃ１が取得される。一般的に、骨伝導センサによって収集された人声は低周波数高調波成分である。したがって、Ｓ７０２において、低周波数高調波成分は信号Ｂ５から除去され、低周波数高調波成分を含まない信号Ｃ１が取得される。
Ｓ７０３：第１音声高調波信号が除去された信号Ｂ５における高周波数成分を増幅する。換言すれば、信号Ｃ１における高周波数成分は増幅される。
骨伝導信号に一致する第１音声高調波信号は音声高調波セットにおいて決定され得る。換言すれば、骨伝導センサは、ヘッドセット装着者が現在音を発している、例えば話している、又は歌っていることを示す骨伝導信号を検出し得る。信号Ｃ１に基づいて高周波数成分を増幅することによって取得された信号は、中・高周波数成分だけを含み、その結果、ヘッドセット装着者によって聞かれる信号はブロッキング効果を有しない。
音声高調波セットはヘッドセットに予め記憶され得る。例において、音声高調波セットはオフライン方式で、又はオンライン方式で取得され得る。
音声高調波セットがオフライン方式で取得されるとき、複数人の骨伝導信号が骨伝導センサによって収集され得る。以下の処理が、各人の骨伝導信号について実行される。第１骨伝導信号を例として使用すると、第１骨伝導信号に対してＦＦＴが実行され、周波数領域信号が取得される。周波数領域信号における基本周波数信号が、パイロットを使用することによって基本周波数を検索することによって決定される。骨伝導信号の高調波成分が基本周波数信号に基づいて決定される。この場合、骨伝導信号の周波数と高調波成分との間のマッピング関係が取得され、音声高調波セットが取得される。音声高調波セットは、異なる周波数と異なる高調波成分との間のマッピング関係を含み得る。
音声高調波セットがオンライン方式で取得されるとき、ヘッドセットにおける骨伝導センサによって、指定期間内に第２骨伝導信号が収集され得る。指定期間内に、ヘッドセットは複数人によって使用され得るか、又は、一人すなわちユーザだけによって使用され得る。以下の処理が第２骨伝導信号について実行される。
第２骨伝導信号に対してＦＦＴが実行されて周波数領域信号が取得される。周波数領域信号における基本周波数信号は、パイロットを使用することによって基本周波数を検索することによって決定される。ヘッドセットが指定期間内に複数人によって使用される場合、指定期間内の複数の異なる期間にそれぞれ対応する複数の基本周波数信号が決定され得る。骨伝導信号の複数の高調波成分は複数の基本周波数信号に基づいて決定され得る。この場合、周波数と高調波成分との間のマッピング関係が取得され、音声高調波セットが取得される。音声高調波セットは、異なる周波数と異なる高調波成分との間のマッピング関係を含み得る。
方式２：ＨＴフィルタリング処理を通じて取得された信号Ｂ５に対して適応フィルタリング処理が実行され、信号Ｂ５から低周波成分を除去して信号Ｃ１を取得し、すなわち、信号Ｂ５からヘッドセット装着者の音信号を除去し得る。低周波成分が除去された第３フィルタリング信号における高周波数成分が増幅される。換言すれば、信号Ｃ１における高周波数成分は増幅される。信号Ｃ１に基づいて高周波数成分を増幅することによって取得された信号は、中・高周波数成分だけを含み、その結果、ヘッドセット装着者によって聞かれる信号はブロッキング効果を有しない。
可能な実装において、ＨＴ効果はＨＴ処理の処理強度によって決定され得る。ＨＴ処理の処理強度は、ＨＴフィルタリングに使用されるＨＴフィルタリング係数及び／又はＦＢフィルタリングに使用されるＦＢフィルタリング係数に依存する。
ＨＴフィルタリング係数については、１つの方式において、ＨＴモードにおけるデフォルトのＨＴフィルタリング係数が使用され得る。別の方式において、ＨＴモードが最後に選択されたときに使用されたＨＴフィルタリング係数が使用され得る。なお別の方式において、ヘッドセットは、識別された場面に基づいて、ＨＴモードにおいて使用されるＨＴフィルタリング係数を決定する。更になお別の方式において、ユーザは、端末デバイスによって提供されたＵＩコントロールを使用することによって、ヘッドセットに対して、ＨＴモードにおいて使用されるＨＴフィルタリング係数を示す。例えば、ユーザは端末デバイスによって提供されるＵＩコントロールを使用することによってＨＴモードにおける処理強度を目標処理強度として選択する。異なる処理強度は異なるＨＴフィルタリング係数に対応する。ＦＢフィルタリング係数については、１つの方式において、ＨＴモードにおけるデフォルトのＦＢフィルタリング係数が使用され得る。別の方式において、ＨＴモードが最後に選択されたときに使用されたＦＢフィルタリング係数が使用され得る。なお別の方式において、ヘッドセットは、識別された場面に基づいてＦＢフィルタリング係数を決定する。更になお別の方式において、ユーザは、端末デバイスによって提供されたＵＩコントロールを使用することによって、ヘッドセットに対して、ＨＴモードにおいて使用されるＨＴフィルタリング係数を示す。例えば、ユーザは端末デバイスによって提供されるＵＩコントロールを使用することによってＨＴモードにおける処理強度を目標処理強度として選択する。異なる処理強度は異なるＦＢフィルタリング係数に対応する。
ＨＴモードにおいて、ＨＴフィルタリング係数及びＦＢフィルタリング係数は、前述の提供された方式の任意の組み合わせで取得され得る。
第３に、以下では、聴覚増強経路の処理手順を詳細に説明する。
図８Ａ、図８Ｂ及び図８Ｃは聴覚増強処理の概略フローチャートである。例えば、端末デバイス１００によってヘッドセット１１０へ送信されたダウンリンクオーディオ信号は、後の説明において第１オーディオ信号と呼ばれる。第１オーディオ信号は、通話信号、音楽信号、アラート音、又は同様のものであり得る。例えば、参照マイクロホンによって収集された信号は、第１信号と呼ばれ、誤差マイクロホンによって収集された信号は第２信号と呼ばれる。ヘッドセット２００における左イヤホン又は右イヤホンは、ユーザの制御の場合において、図８Ａ、図８Ｂ又は図８Ｃにおける処理を実行し得る。
Ｓ８０１：参照マイクロホンによって収集された第１信号に対してＨＴフィルタリングを実行して第２フィルタリング信号（信号Ｃ１）を取得する。図８Ｂ及び図８Ｃにおいて、第２フィルタリング信号は信号Ｃ１と呼ばれる。
Ｓ８０２：第２フィルタリング信号（すなわち信号Ｃ１）に対して強化処理を実行してフィルタリング強化信号を取得する。図８Ｂ及び図８Ｃにおいて、フィルタリング強化信号は簡潔に信号Ｃ２と呼ばれる。
Ｓ８０３：第１信号に対してＦＦフィルタリングを実行して第１フィルタリング信号を取得する。図８Ｂ及び図８Ｃにおいて、第１フィルタリング信号は簡潔に信号Ｃ３と呼ばれる。
Ｓ８０４：フィルタリング強化信号及び第１オーディオ信号に対してオーディオミキシング処理を実行して第６オーディオ信号を取得する。図８Ｂ及び図８Ｃにおいて、第６オーディオ信号は簡潔に信号Ｃ４と呼ばれる。換言すれば、段階Ｓ８０４において、信号Ｃ２及びダウンリンクオーディオ信号に対してオーディオミキシング処理が実行され、信号Ｃ４が取得される。
Ｓ８０５：第２信号に含まれる第６オーディオ信号をフィルタリング除去して第４フィルタリング済み信号を取得する。図８Ｂ及び図８Ｃにおいて、第４フィルタリング済み信号は簡潔に信号Ｃ５と呼ばれる。換言すれば、段階Ｓ８０５において、第２環境信号に含まれる信号Ｃ４はフィルタリング除去され、信号Ｃ５が取得される。
例において、段階Ｓ８０５が実行されるとき、まずフィルタリング補償処理が信号Ｃ４に対して実行されて補償信号が取得され得、次に、第２信号に含まれる補償信号がフィルタリング除去されて信号Ｃ５が取得される。
Ｓ８０６：第４フィルタリング済み信号に対してＦＢフィルタリングを実行して第５フィルタリング済み信号を取得する。
図８Ｂ及び図８Ｃにおいて、第５フィルタリング済み信号は簡潔に信号Ｃ６と呼ばれる。換言すれば、段階Ｓ８０６において、ＦＢフィルタリングが信号Ｃ５に対して実行されて信号Ｃ６が取得される。
Ｓ８０７：第５フィルタリング済み信号、第６オーディオ信号及び第１フィルタリング信号に対してオーディオミキシング処理を実行して第２オーディオ信号を取得する。換言すれば、段階Ｓ８０６において、信号Ｃ６、信号Ｃ４及び信号Ｃ３に対してオーディオミキシング処理が実行され、第２オーディオ信号が取得される。
可能な実装において、強化処理が第２フィルタリング信号（すなわち信号Ｃ１）に対して実行され、以下の方式１又は方式２でフィルタリング強化信号（信号Ｃ２）が取得され得る。
方式１：図９を参照されたい。
Ｓ９０１：第２フィルタリング信号（すなわち信号Ｃ１）に対してブロッキング効果解消処理を実行する。
信号Ｃ１に対してブロッキング効果解消処理を実行する方式は、信号Ｂ５に対してブロッキング効果解消処理を実行する方式と同一であり得る。詳細については、場面２における方式１及び方式２を参照されたい。ここでは、詳細について改めて説明しない。
次に、ブロッキング効果解消処理を通じて取得された信号に対してノイズコントロール処理が実行される。ノイズコントロール処理は、人口知能ＡＩノイズコントロール処理及び／又はウインドノイズコントロール処理を含む。図９において、例えばノイズコントロール処理はＡＩノイズコントロール処理及びウインドノイズコントロール処理を含む。
Ｓ９０２：ブロッキング効果解消処理を通じて取得された信号に対してＡＩノイズコントロール処理を実行する。
Ｓ９０３：ＡＩノイズコントロール処理を通じて取得された信号に対してウインドノイズコントロール処理を実行する。
Ｓ９０４：ウインドノイズコントロール処理を通じて取得された信号に対して利得増幅処理を実行する。
Ｓ９０５：利得増幅処理を通じて取得された信号に対して周波数応答調整を実行してフィルタリング強化信号を取得する。
前述のＳ９０４において、ウインドノイズ処理を通じて取得された信号に対して利得増幅処理を実行する実現可能な方式は、ウインドノイズ処理を通じて取得された信号を直接増幅することである。信号を直接増幅する方式において、外部信号が増幅され、装着者の声も増幅される。本願の本実施形態は、外部信号だけが増幅される利得増幅処理方式を提供し、装着者の声信号は増幅されない。例えば、図１０に示されるように、ノイズコントロール処理を通じて取得された信号に対して利得増幅処理が実行されるとき、以下の方式が実装のために使用され得る。
装着者の声信号は骨を通じて骨膜に伝導され、声信号は低周波数に集中し、骨伝導信号Ｄ１として示される。骨伝導信号Ｄ１は骨伝導センサによって収集される。
１．高調波拡張が骨伝導信号Ｄ１に対して実行され、高調波拡張信号が取得される。例えば、高調波拡張信号は信号Ｄ２と呼ばれる。例えば、高調波拡張は高調波強化方法、又は、骨伝導信号Ｄ１の高調波を直接的に上に拡張する方法であり得る。
２．第１利得係数（利得）に基づいて、ノイズコントロール処理を通じて取得された信号に対して増幅処理が実行される。説明を容易にするために、ノイズコントロール処理を通じて取得される信号は信号Ｄ３と呼ばれる。第１利得係数に基づいて信号Ｄ３に対して増幅処理が実行され、信号Ｄ４が取得される。ここで増幅処理は信号の直接増幅であり得る。第１利得係数の値はＡＨ処理の処理強度の値に関連し得る。例えば、第１利得係数とＡＨ処理の処理強度の値との間のマッピング関係はヘッドセットに記憶される。
３．増幅処理を通じて取得された信号に含まれる高調波拡張信号は、第１フィルタリング係数に基づいてフィルタリング除去され、信号Ｄ５が取得される。信号Ｄ４に含まれる信号Ｄ２は、適応フィルタリング方式で、第１フィルタリング係数に基づいてフィルタリング除去される。この場合、信号Ｄ５は、装着者の声がフィルタリング除去された信号である。第１フィルタリング係数は第１利得係数に基づいて決定される。第１利得係数（利得）は、適応フィルタリング強度を調整するために使用され、第１フィルタリング係数とも呼ばれ得る。換言すれば、信号が第１利得係数に基づいて増幅されたｄＢ数は、適応フィルタリングを通じてフィルタリングが実行されたｄＢ数と同一であり、その結果、装着者の声信号をバランシングでき、増幅又は低減されない。
方式２：図１１を参照されたい。
Ｓ１１０１：第２フィルタリング信号（すなわち信号Ｃ１）に対してブロッキング効果解消処理を実行してブロッキング解消済み信号を取得する。
信号Ｃ１に対してブロッキング効果解消処理を実行する方式は、信号Ｂ５に対してブロッキング効果解消処理を実行する方式と同一であり得る。詳細については、場面２における方式１及び方式２を参照されたい。ここでは、詳細について改めて説明しない。
Ｓ１１０２：ブロッキング解消済み信号に対してオーディオイベント検出を実行して、ブロッキング解消済み信号におけるオーディオイベント信号（簡潔にイベント信号と呼ばれ得る）を取得する。オーディオイベント信号は例えば、駅放送音及び警笛音である。
Ｓ１１０３：ブロッキング解消済み信号におけるオーディオイベント信号に対して利得増幅処理を実行する。
ブロッキング解消済み信号におけるオーディオイベント信号、例えば駅放送音及び警笛音に対して利得増幅処理が実行され、その結果、ヘッドセット装着者は、駅放送音又は警笛音を明確に聞くことができる。
Ｓ１１０４：利得増幅処理を通じて取得された信号に対して周波数応答調整を実行してフィルタリング強化信号を取得する。
方式２において、ブロッキング解消済み信号におけるオーディオイベント信号に対して利得増幅処理を実行する方式は、ノイズコントロール処理を通じて取得された信号に対して利得増幅処理を実行する方式と同一であり得る。ここでは、詳細について改めて説明しない。
可能な方式において、図８Ｂに示されるように、例えばノイズコントロール処理ユニットはＣＯＤＥＣ及びＤＳＰを含む。ヘッドセットのＣＯＤＥＣは、ＨＴフィルタ、ＦＢフィルタ、ＦＦフィルタ、減算器、第１オーディオミキサ、第２オーディオミキサ及びフィルタリング補償ユニットを含む。ＨＴフィルタリング処理はＣＯＤＥＣによって実行される。ＤＳＰは強化処理を実行するように構成され得る。ヘッドセット１１０における参照マイクロホンは第１信号を拾い、ＨＴフィルタリング処理のために第１信号をＨＴフィルタに入力し、信号Ｃ１を取得する。信号Ｃ１はＤＳＰに入力される。ＤＳＰは信号Ｃ１に対して強化処理を実行して信号Ｃ２を取得する。信号Ｃ２は第１オーディオミキサに入力される。第１オーディオミキサはダウンリンクオーディオ信号及び信号Ｃ２に対してオーディオミキシング処理を実行して信号Ｃ４を取得する。フィルタリング補償がフィルタリング補償ユニットによって実行された信号Ｃ４が減算器に入力される。減算器は、フィルタリング補償が実行された、誤差マイクロホンによって拾われた第２環境信号に含まれる信号Ｃ４をフィルタリング除去し、信号Ｃ５を取得するように構成される。信号Ｃ５はＦＢフィルタに入力される。ＦＢフィルタは、信号Ｃ５に対してＦＢフィルタリング処理を実行し、信号Ｃ６を取得する。信号Ｃ６は、第２オーディオミキサに入力される。加えて、第２オーディオミキサへの入力は更に信号Ｃ４及び信号Ｃ３を含む。第２オーディオミキサは、信号Ｃ３、信号Ｃ４及び信号Ｃ６に対してオーディオミキシング処理を実行し、第２オーディオ信号を取得する。第２オーディオ信号は、再生のためにスピーカに入力される。
別の可能な方式において、図８Ｃに示されるように、例えばノイズコントロール処理ユニットはＣＯＤＥＣ及びＤＳＰを含む。ＤＳＰはＨＴフィルタリング処理及び強化処理を実行するように構成され得る。ヘッドセットのＣＯＤＥＣは、ＦＢフィルタ、ＦＦフィルタ、減算器、第１オーディオミキサ、第２オーディオミキサ及びフィルタリング補償ユニットを含む。ヘッドセット１１０における参照マイクロホンは、第１信号を拾い、第１信号をＤＳＰに入力する。ＤＳＰは第１信号に対してＨＴフィルタリング処理を実行して信号Ｃ１を取得する。ＤＳＰは信号Ｃ１に対して強化処理を実行して信号Ｃ２を取得する。信号Ｃ２は第１オーディオミキサに入力される。第１オーディオミキサはダウンリンクオーディオ信号及び信号Ｃ２に対してオーディオミキシング処理を実行して信号Ｃ４を取得する。フィルタリング補償がフィルタリング補償ユニットによって実行された信号Ｃ４が減算器に入力される。減算器は、フィルタリング補償が実行された、誤差マイクロホンによって拾われた第２環境信号に含まれる信号Ｃ４をフィルタリング除去し、信号Ｃ５を取得するように構成される。信号Ｃ５はＦＢフィルタに入力される。ＦＢフィルタは、信号Ｃ５に対してＦＢフィルタリング処理を実行し、信号Ｃ６を取得する。信号Ｃ６は、第２オーディオミキサに入力される。加えて、第２オーディオミキサへの入力は更に信号Ｃ４及び信号Ｃ３を含む。第２オーディオミキサは、信号Ｃ３、信号Ｃ４及び信号Ｃ６に対してオーディオミキシング処理を実行し、第２オーディオ信号を取得する。第２オーディオ信号は、再生のためにスピーカに入力される。
可能な実装において、ＡＨ処理の処理強度によってＡＨ効果が決定され得る。ＡＨ処理の処理強度は、ＨＴフィルタリング係数、ＦＢフィルタリング係数、又はＦＦフィルタリング係数のうちの少なくとも１つに依存する。
ＦＦフィルタリング係数については、１つの方式において、ＡＨモードにおけるデフォルトのＦＦフィルタリング係数が使用され得る。別の方式において、ＡＨモードが最後に選択されたときに使用されたＦＦフィルタリング係数が使用され得る。なお別の方式において、ヘッドセットは、識別された場面に基づいて、ＡＨモードにおいて使用されるＦＦフィルタリング係数を決定する。更になお別の方式において、ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ヘッドセットに対して、ＡＨモードにおいて使用されるＦＦフィルタリング係数を示す。例えば、ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ＡＨモードにおける処理強度を目標処理強度として選択する。異なる処理強度は異なるＦＦフィルタリング係数に対応する。ＨＴフィルタリング係数については、１つの方式において、ＡＨモードにおけるデフォルトのＨＴフィルタリング係数が使用され得る。別の方式において、ＡＨモードが最後に選択されたときに使用されたＨＴフィルタリング係数が使用され得る。なお別の方式において、ヘッドセットは、識別された場面に基づいて、ＡＨモードにおいて使用されるＨＴフィルタリング係数を決定する。更になお別の方式において、ユーザは、端末デバイスによって提供されたＵＩコントロールを使用することによって、ヘッドセットに対して、ＡＨモードにおいて使用されるＨＴフィルタリング係数を示す。例えば、ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ＡＨモードにおける処理強度を目標処理強度として選択する。異なる処理強度は異なるＨＴフィルタリング係数に対応する。ＦＢフィルタリング係数については、１つの方式において、ＡＨモードにおけるデフォルトのＦＢフィルタリング係数が使用され得る。別の方式において、ＡＨモードが最後に選択されたときに使用されたＦＢフィルタリング係数が使用され得る。なお別の方式において、ヘッドセットは、識別された場面に基づいてＦＢフィルタリング係数を決定する。更になお別の方式において、ユーザは、端末デバイスによって提供されたＵＩコントロールを使用することによって、ヘッドセットに対して、ＡＨモードにおいて使用されるＨＴフィルタリング係数を示す。例えば、ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ＡＨモードにおける処理強度を目標処理強度として選択する。異なる処理強度は異なるＦＢフィルタリング係数に対応する。
ＡＨモードにおいて、ＨＴフィルタリング係数、ＦＢフィルタリング係数又はＦＦフィルタリング係数は、前述の提供された方式の任意の組み合わせで取得され得る。
ヘッドセット２００の処理モード（左イヤホン及び右イヤホンを含む）は、端末デバイス１００上のＵＩコントロールを使用することによってユーザによって決定され、ヘッドセットに示され得るか、又は、適応的に識別された場面に基づいて端末デバイスによって決定され、ヘッドセットに示され得るか、又は、適応的に識別された場面に基づいてヘッドセットによって決定され得る。
以下では、ヘッドセットの処理モードを決定する方式の例を説明する。
例１：単一のコントロールが左イヤホン及び右イヤホンを制御する。
端末デバイス１００は、ユーザが要件に基づいてヘッドセット２００（左イヤホン及び右イヤホンを含む）の処理モードを選択するための制御インタフェースを提供する。処理モードは、ヌルモード、ＡＮＣモード、ＨＴモード又はＡＨモードを含む。ヌルモードにおいて、処理は実行されない。ユーザによって選択される、制御インタフェースにおけるヘッドセットのすべての処理モードはヘッドセットによってサポートされる処理モードであることが理解されるべきである。例１において、左イヤホン及び右イヤホンは同一の処理機能を有し、又は同一の処理モードをサポートする。例えば、左イヤホン及び右イヤホンの両方はＡＨＡをサポートする。例えば、ヘッドセット２００に適合されたヘッドセットアプリケーションは端末デバイスにインストールされる。適合プロセスにおいて、ヘッドセットの処理機能を知ることができる。別の例において、ヘッドセット２００が端末デバイスとの接続を確立する通信プロセスにおいて、機能パラメータが端末デバイスへ送信され、その結果、端末デバイスは、機能パラメータに基づいてヘッドセットの処理機能を決定できる。
例えば、ユーザはＡＮＣモードを選択する。制御インタフェースはユーザインタフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ， ＵＩ）コントロールを含む。ＵＩコントロールは、ユーザがヘッドセット２００の処理モードを選択するために使用される。区別を容易にするために、ユーザがヘッドセットの処理モードを選択するために使用されるＵＩコントロールは選択コントロールと呼ばれる。処理モードは、ＡＮＣモード、ＨＴモード又はＡＨモードのうちの少なくとも２つを含む。端末デバイス１００は、選択コントロールを使用することによる、ヘッドセットによってサポートされる処理モードから目標モードを選択するユーザ操作に応答して、制御信号１を左イヤホン及び右イヤホンへ別個に送信する。制御信号１は目標モードを保持する。選択コントロールはまた、目標モードにおける処理強度を選択するために使用され得る。選択コントロールはリング形状、バー形状、又は別の形状であり得る。選択コントロールは、第１コントロール及び第２コントロールを含み得る。第１コントロール上の第２コントロールの任意の２つの異なる位置は、ヘッドセットの異なる処理モードに対応し、又は第１コントロール上の第２コントロールの２つの異なる位置は、ヘッドセットの同一の処理モードにおける異なる処理強度に対応する。ユーザは、ディスプレイの第１コントロール上にある、ユーザ選択を表す第２コントロールの位置を移動することによって、異なる処理モードを選択し、処理強度を制御する。
可能な実装において、ヘッドセットアプリケーション（ａｐｐｌｉｃａｔｉｏｎ， ＡＰＰ）が、左イヤホン及び右イヤホンの処理モードを制御するために使用される。
端末デバイス１００は、簡潔にヘッドセットアプリケーションと呼ばれる、ヘッドセットを制御するために使用されるヘッドセット制御アプリケーションを含む。例えば、図１２Ａに示される端末デバイスのホーム画面を参照されたい。ヘッドセットが端末デバイスに接続された後に、ユーザがデスクトップ上のヘッドセットアプリケーション（ａｐｐｌｉｃａｔｉｏｎ， ＡＰＰ）のアイコン００１をタップしたとき、端末デバイスは、アイコン００１をタップするユーザ操作に応答してヘッドセットアプリケーションを起動し、ディスプレイ上にヘッドセットアプリケーションの制御インタフェースを表示するか、又は、ヘッドセットアプリケーションが起動されたとき、ヘッドセットアプリケーションの制御インタフェースをポップアップし得る。
例えば、図１２Ｂに示されるように選択コントロールはリング形状である。図１２Ｂにおいて、例えば、左イヤホン及び右イヤホンの両方はＡＮＣモード、ＨＴモード及びＡＨモードをサポートする。図１２Ｂのリング形状の選択コントロールにおける第１コントロールは、ＡＮＣモード、ＨＴモード、ＡＨモードに別個に対応する３つの円弧セグメントを含む。第２コントロールがＡＮＣモードの円弧セグメント上に位置する場合、ＡＮＣモードが使用されると判定される。ＡＮＣモードの円弧セグメント上の第２コントロールの異なる位置はＡＮＣモードにおける異なる処理強度に対応する。第２コントロールがＨＴモードの円弧セグメント上に位置する場合、ＨＴモードが使用されると判定される。ＨＴモードの円弧セグメント上の第２コントロールの異なる位置は、ＨＴモードにおける異なる処理強度に対応する。第２コントロールがＡＨモードの円弧セグメント上に位置する場合、ＡＨモードが使用されると決定される。ＡＨモードの円弧セグメント上の第２コントロールの異なる位置は、ＡＨモードにおける異なる処理強度に対応する。
リング（又は外周）上のハイライトされた黒色の点は、ユーザが処理強度を選択するために使用する第２コントロールを表す。ユーザは、外周上で黒色の点の位置を移動することによって、異なる処理モードを選択し、処理強度を制御し得る。端末デバイス１００（例えばプロセッサ）は、制御インタフェースにおけるユーザによって実行される操作１に応答する。例えば、操作１は、ディスプレイの第２コントロール上にある、ユーザ選択を表す第２コントロールの位置をユーザが移動するときに生成される。端末デバイス１００は、制御命令１を左イヤホン及び右イヤホンへ別個に送信する。制御命令１は、目標モード及び目標処理強度を示す。図１２Ｂにおいて、目標モードはＡＮＣモードである。
例において、制御命令１は、ＡＮＣ識別子及びＡＮＣ処理の目標処理強度を示すパラメータ値を含み得る。ＡＮＣモードにおいて、異なる処理強度（すなわち、処理強度の異なる値）は、異なるＦＢフィルタリング係数及び／又はＦＦフィルタリング係数に対応する。
別の例において、制御命令１はラジアンを含む。対応する処理モードは、ラジアンの範囲に基づいて決定され得る。異なるラジアン値は処理モードにおける処理強度に対応する。図１２Ｂに示されるように、（０，１８０］に対応する処理モードはＡＮＣモードであり、（１８０，２７０］に対応する処理モードはＨＴモードであり、（２７０，３６０］に対応する処理モードはＡＨモードである。左イヤホン及び右イヤホンは、ラジアン範囲と処理モードとの間のマッピング関係、及び、ラジアン値とフィルタリング係数との間のマッピング関係を含み得る。ＡＮＣモードの例において、異なるラジアン値は異なるＦＢフィルタリング係数及びＦＦフィルタリング係数に対応する。
図１２Ｂは例として使用される。ユーザは、ディスクにおける黒色の点をタッチアンドホールドして、黒色の点を時計回りに０度から３６０度回転させ得る。０度に対応するＦＦフィルタリング係数及びＦＢフィルタリング係数に基づいて、ＡＮＣ効果がもっとも強い。換言すれば、現在のユーザ環境における音及びユーザの外耳道における環境音のユーザ感知が弱められる。回転後、ＦＦフィルタリング係数及びＦＢフィルタリング係数が変化する。結果として、アクティブノイズコントロール効果は徐々に弱められる。１８０度において、アクティブノイズコントロール効果がもっとも弱い。これは、ヘッドセットが装着された後にノイズコントロールが実行されないことと同様である。１８０度から２７０度において、環境音ヒアスルーが制御される。ユーザはディスクにおける黒色の点をタッチアンドホールドし、時計回りに１８０度から２７０度回転させる。１８０度に対応するＨＴフィルタリング係数及びＦＢフィルタリング係数に基づいて、環境音ヒアスルー効果がもっとも弱い。換言すれば、現在のユーザ環境における音のユーザ感知が弱められる。これは、ヘッドセットが装着された後にヌルモードが使用されることと同様である。時計回り回転の後に、ＨＴフィルタリング係数及びＦＢフィルタリング係数が変化し、その結果、環境音ヒアスルー効果が改善される。聴覚増強は、２７０度から３６０度までで制御される。ユーザはディスクにおける黒色の点をタッチアンドホールドする。１８０度に対応するＦＦフィルタリング係数、ＨＴフィルタリング係数、及びＦＢフィルタリング係数に基づいて、聴覚増強効果がもっとも弱い。換言すれば、現在のユーザ環境における環境音に含まれるイベント音のユーザ感知が弱められる。時計回り回転の後に、ＦＦフィルタリング係数、ＨＴフィルタリング係数及びＦＢフィルタリング係数が変化する。これにより聴覚増強効果を改善する。換言すれば、ユーザが聞くことを期待するイベント信号がより強くなる。これにより聞くことを促進する。
例えば、端末デバイス１００はブルートゥース（登録商標）を使用することによって左イヤホン及び右イヤホンに接続される。
例えば、ＡＮＣモードが選択される。図１２Ｃに示されるように、端末デバイス１００は、ユーザの操作１に応答して、ブルートゥース（登録商標）を使用することによって、左イヤホン及び右イヤホンへ制御命令１を別個に送信する。制御命令１は、目標処理強度のＡＮＣ識別子及びパラメータ値を含み得る。左イヤホン及び右イヤホンは、制御命令１を受信した後に同様の操作を実行する。左イヤホンの処理は後の説明において例として使用される。制御命令１を受信した後に、左イヤホンの主制御部は、ＡＮＣ識別子及び目標処理強度に基づいて、係数バンクからＡＮＣ処理のＦＦフィルタリング係数及びＦＢフィルタリング係数を取得する。
例えば、係数バンクは、表１に示されるマッピング関係を含む。表１は単に例であり、マッピング関係に対する特定の限定を構成する。例えば、目標処理強度のパラメータ値は強度１である。左イヤホンの主制御部は、表１に従って強度１に対応するＦＦフィルタリング係数ＦＦ１及びＦＢフィルタリング係数ＦＢ１を取得する。主制御部はＦＦフィルタを制御して、係数ＦＦ１に基づいて、参照マイクロホンによって収集された第１信号に対してＦＦフィルタリング処理を実行し、信号Ａ１を取得する。主制御部はＦＢフィルタを制御して、係数ＦＢ１に基づいて、信号Ａ３に対してＦＢフィルタリング処理を実行し、第２オーディオ信号を取得する。具体的には、主制御部は、係数ＦＦ１及び係数ＦＢ１をＡＨＡカーネルに書き込み、その結果、ＡＨＡカーネルは、段階Ｓ５０１～Ｓ５０４を実行して第２オーディオ信号を取得する。
表１
例えば、ＨＴモードが選択される。図１２Ｄに示されるように、端末デバイス１００は、ユーザの操作１に応答して、ブルートゥース（登録商標）を使用することによって、左イヤホン及び右イヤホンへ制御命令１を別個に送信する。制御命令１はＨＴ識別子及び目標処理強度を含み得る。目標処理強度は、ＨＴ処理の処理強度を示す。左イヤホン及び右イヤホンは、制御命令１を受信した後に同様の操作を実行する。左イヤホンの処理は後の説明において例として使用される。制御命令１を受信した後に、左イヤホンの主制御部は、ＨＴ識別子及び目標処理強度に基づいて、ＨＴ処理のＨＴフィルタリング係数及び／又はＦＢフィルタリング係数を係数バンクから取得する。
表１は例として使用され、目標処理強度の値は強度５である。左イヤホンの主制御部は、表１に従って、強度５に対応するＨＴフィルタリング係数ＨＴ１及びＦＢフィルタリング係数ＦＢ５を取得する。主制御部は、ＨＴフィルタを制御して、係数ＨＴ１に基づいて、参照マイクロホンによって収集された第１信号に対してＨＴフィルタリング処理を実行する。主制御部はＦＢフィルタを制御して、係数ＦＢ５に基づいて信号Ｂ３に対してＦＢフィルタリング処理を実行する。具体的には、主制御部は、係数ＨＴ１及び係数ＦＢ５をＡＨＡカーネルに書き込み、その結果、ＡＨＡカーネルは段階Ｓ６０１～Ｓ６０５を実行して第２オーディオ信号を取得する。
例えばＡＨモードが選択される。図１２Ｅに示されるように、端末デバイス１００は、ユーザの操作１に応答して、ブルートゥース（登録商標）を使用することによって、左イヤホン及び右イヤホンへ制御命令１を別個に送信する。制御命令１は、目標処理強度のＡＨ識別子及びパラメータ値を含み得る。左イヤホン及び右イヤホンは、制御命令１を受信した後に同様の操作を実行する。左イヤホンの処理は後の説明において例として使用される。制御命令１を受信した後に、左イヤホンの主制御部は、ＨＴ識別子及び目標処理強度に基づいて、ＡＨ処理のＨＴフィルタリング係数、ＦＦフィルタリング係数、及びＦＢフィルタリング係数を係数バンクから取得する。
表１は、例として用いられている。目標処理強度の値はインジケーション７である。左イヤホンの主制御部は、表１に従って、インジケーション７に対応するＨＴフィルタリング係数ＨＴ３、ＦＢフィルタリング係数ＦＢ７、及びＦＦフィルタリング係数ＦＦ５を取得する。主制御部は、ＨＴフィルタを制御して、係数ＨＴ３に基づいて、参照マイクロホンによって収集された第１信号に対してＨＴフィルタリング処理を実行する。主制御部はＦＢフィルタを制御して、係数ＦＢ７に基づいて信号Ｃ５に対してＦＢフィルタリング処理を実行する。主制御部は、ＦＦフィルタを制御して、係数ＦＦ５に基づいて第１信号に対してＦＦフィルタリング処理を実行する。具体的には、主制御部は係数ＨＴ３、係数ＦＢ７及び係数ＦＦ５をＡＨＡカーネルに書き込み、その結果、ＡＨＡカーネルは、段階Ｓ８０１～Ｓ８０７を実行して第２オーディオ信号を取得する。
例えば、図１２Ｆに示されるように、選択コントロールはバー形状であり得る。選択コントロールは、第１コントロール及び第２コントロールを含む。第１コントロールのバーは、ヘッドセットによってサポートされる処理モードの数に基づいて複数のバーセグメントに分割され得る。第１コントロールの異なるバーセグメント上の第２コントロールは異なる処理モードを示す。第１コントロールの同一のバーセグメント上の第２コントロールの異なる位置は同一の処理モードにおける異なる処理強度を示す。図１２Ｆにおいて、例えば、左イヤホン及び右イヤホンの両方はＡＨＡをサポートする。第１コントロールのバーは３つのバーセグメントを含む。
図１２Ｆは例として使用される。ユーザは黒色のバーをタッチアンドホールドして、黒色のバーを左又は右へスライドし得る。位置Ｋ１に位置する黒色のバーに対応するＦＦフィルタリング係数及びＦＢフィルタリング係数に基づいて、ＡＮＣ効果がもっとも強い。黒色のバーが右へスライドするとき、ＦＦフィルタリング係数及びＦＢフィルタリング係数は変化し、その結果、アクティブノイズコントロール効果は徐々に減少する。位置Ｋ２において、アクティブノイズコントロール効果はもっとも弱い。これは、ヘッドセットが装着された後にノイズコントロール処理が実行されないことと同様である。位置Ｋ２と位置Ｋ３との間の領域において、環境音ヒアスルーが制御される。ユーザが黒色のバーをタッチアンドホールドし、黒色のバーを位置Ｋ２から位置Ｋ３に移動する。位置Ｋ２における黒色のバーに対応するＨＴフィルタリング係数及びＦＢフィルタリング係数に基づいて、環境音ヒアスルー効果がもっとも弱い。黒色のバーが位置Ｋ３に移動されるとき、ＨＴフィルタリング係数及びＦＢフィルタリング係数は変化し、その結果、環境音ヒアスルー効果が改善される。聴覚増強は位置Ｋ３から位置Ｋ４まで制御される。ユーザは黒色のバーをタッチアンドホールドし、黒色のバーを位置Ｋ３から位置Ｋ４に移動する。位置Ｋ３における黒色のバーに対応するＦＦフィルタリング係数、ＨＴフィルタリング係数及びＦＢフィルタリング係数に基づいて、聴覚増強効果はもっとも弱い。黒色のバーが位置Ｋ３から位置Ｋ４に移動されるとき、ＦＦフィルタリング係数、ＨＴフィルタリング係数及びＦＢフィルタリング係数は変化し、その結果、聴覚増強効果が改善される。換言すれば、ユーザが聞くことを期待する声信号はより強くなる。これにより聞くことを促進する。
例えば、図１２Ｇに示されるように、（ａ）における選択コントロールは、ＡＮＣボタン、ＨＴボタン及びＡＨボタンを含む、異なる処理モードに対応するボタンを含む。ＡＮＣモードは例として使用される。端末デバイス１００は、ＡＮＣボタンをタップするユーザ操作に応答して、図１２Ｇの（ｂ）における表示インタフェースを表示する。（ｂ）における表示インタフェースは、処理強度を選択するために使用されるコントロール００２を含む。ユーザは黒色のバーをタッチアンドホールドして、黒色のバーを上下にスライドし、ＡＮＣ処理の処理強度を決定する、すなわち、対応するＦＦフィルタリング係数及び対応するＦＢフィルタリング係数を選択し得る。黒色のバーは領域Ｌ１－Ｌ２においてスライドする。位置Ｌ１に位置する黒色のバーに対応するＦＦフィルタリング係数及びＦＢフィルタリング係数に基づいて、ＡＮＣ効果がもっとも強い。黒色のバーが下へスライドするとき、ＦＦフィルタリング係数及びＦＢフィルタリング係数は変化し、その結果、アクティブノイズコントロール効果は徐々に減少する。位置Ｌ２において、アクティブノイズコントロール効果がもっとも弱い。これは、ヘッドセットが装着された後にノイズコントロール処理が実行されないことと同様である。
別の可能な実装において、ヘッドセット２００が端末デバイスとの接続を確立したとき、ヘッドセットＡＰＰがトリガされ得、選択コントロールを含む制御インタフェース、例えば、図１２Ａ、図１２Ｂ、図１２Ｆ又は図１２Ｇに示される制御インタフェースが表示される。
例えば、端末デバイスによって表示されるインタフェースはインタフェース１である。ヘッドセット２００が端末デバイスとの接続を確立することを端末デバイスが識別したとき、インタフェース１は制御インタフェースに切り替えられる。
なお別の可能な実装において、ヘッドセットが端末デバイスとの接続を確立した後に、オーディオを再生するようヘッドセットをトリガするとき、端末デバイスはヘッドセットＡＰＰをトリガし、選択コントロール、例えば、図１２Ａ、図１２Ｂ、図１２Ｃ又は図１２Ｄに示される表示インタフェースを含む制御インタフェースを表示し得る。例えば、オーディオを再生するようヘッドセットをトリガするとき、端末デバイスは、ヘッドセットとの接続を確立した後に曲を再生し得、選択コントロールを含む制御インタフェースを表示し得る。別の例として、ヘッドセットとの接続を確立した後に、端末デバイスは映像を再生し、選択コントロールを含む制御インタフェースを表示し得る。
なお別の可能な実装において、ヘッドセットが端末デバイスとの接続を確立した後に、端末デバイスがヘッドセットを使用することによってオーディオを再生するとき、現在の外部環境の識別された場面タイプは目標場面であり、目標場面は、第１目標イヤホンの処理モードが調整される必要がある場面タイプに適合し、プロンプト情報が表示され得る。プロンプト情報は、ヘッドセットの処理モードを調整するかどうかをユーザにプロンプトするために使用される。図１２Ｈに示されるように、例えば、プロンプト情報はプロンプトボックスである。ヘッドセットの処理モードを調整することを選択するユーザ操作に応答して、選択コントロールを含む制御インタフェース、例えば、図１２Ａ、図１２Ｂ、図１２Ｃ又は図１２Ｄに示される制御インタフェースが表示され得る。図１２Ｅは、図１２Ａに示される制御インタフェースの例を示す。
例えば、端末デバイスは、現在のユーザの場面を騒々しい場面として識別する。この場面において、ユーザは、処理モードを有効化して、ヘッドセットの処理モードを調整するかどうかをユーザにプロンプトするための選択プロンプト情報（例えばプロンプトボックス）を表示する必要があり得る。例えば、端末デバイスは外部環境の場面タイプを騒々しい場面として識別する。この場面において、ユーザは、処理モードを有効化して、ヘッドセットの処理モードを調整するかどうかをユーザにプロンプトするためのプロンプトボックスを表示する必要があり得る。
例において、プロンプトボックスの表示がトリガされる場面タイプは、騒々しい場面、ターミナルビルの場面、鉄道駅の場面、バス停留所の場面及び道路の場面を含み得る。
例えば、信号強度が設定された閾値に到達したとき、場面は騒々しい場面として決定される。別の例として、空港の放送の特定の音が識別されたとき、場面はターミナルビルの場面として決定される。なお別の例として、電車の時間通知の音が識別されたとき、場面は鉄道駅の場面として決定される。なお別の例として、バスチケット放送が識別されたとき、場面はバス停留所の場面として決定される。なお別の例として、信号灯のティック音、又は、自動車のクラクションが識別されたとき、場面は道路の場面として決定される。
なお別の可能な場面において、ヘッドセットが端末デバイスとの接続を確立した後に、端末デバイスがヘッドセットを使用してオーディオを再生するとき、端末デバイスは、識別された現在のユーザの場面に基づいて選択コントロールを含む制御インタフェースを表示する。
例２：２つのコントロールが左イヤホン及び右イヤホンを制御する。
端末デバイス１００は、ユーザが要件に基づいて左イヤホンの処理モード及び右イヤホンの処理モードを別個に選択するための制御インタフェースを提供する。左イヤホン及び右イヤホンの処理モードは異なり得る。例えば、左イヤホンはＡＮＣモードを選択し右イヤホンはＨＴモードを選択する。制御インタフェースは、左イヤホン選択コントロール及び右イヤホン選択コントロールを含む。区別を容易にするために、左イヤホン選択コントロールは第１選択コントロールと呼ばれ、右イヤホン選択コントロールは第２選択コントロールと呼ばれる。第１選択コントロールは、ユーザが左イヤホンの処理モードを選択するために使用され、第２選択コントロールは、右イヤホンの処理モードをユーザが選択するために使用される。第１選択コントロール及び第２選択コントロールはリング形状、バー形状又は別の形状であり得る。第１選択コントロール及び第２選択コントロールは同一の形態であり得るか、又は異なる形態であり得る。ユーザは異なる処理モードを選択し、ディスプレイ上にある、ユーザ選択を表すコントロールの位置を移動することによって処理強度をコントロールする。左イヤホン及び右イヤホンによって使用されたコントロールの形状については、例１における説明を参照されたい。ここでは、詳細について改めて説明しない。
左イヤホン及び右イヤホンの両方がリング形状の選択コントロールを使用する例が説明のために使用される。図１３に示されるように、第１選択コントロール及び第２選択コントロールの両方は第１コントロール及び第２コントロールを含む。第１コントロール上の第２コントロールの２つの異なる位置は異なる処理モードに対応し、又は、第１コントロール上の第２コントロールの２つの異なる位置は同一の処理モードにおける異なる処理強度に対応する。図１３に示される制御インタフェースが例として使用される。ユーザは、第１コントロールの外周上で左イヤホンの第１選択コントロールの第２コントロール（黒色の点）の位置を移動することによって、左イヤホンによって実装される異なる処理モードを選択し、処理強度を制御し得る。ユーザは、第１コントロール上で右イヤホンの第２選択コントロールの第２コントロールの位置を移動することによって、右イヤホンによって実装される異なる処理モードを選択し、処理強度を制御し得る。例２において、ユーザは、左イヤホン及び右イヤホンについて、異なる処理モード、又は、同一の処理モードにおいて同一の処理強度、又は、同一の処理モードにおいて異なる処理強度を選択し、耳の差異を整合させ、又は、異なる用途の要件を満たし得る。
例２において、第１選択コントロール及び第２選択コントロールを含む制御インタフェースの表示をトリガする方式については、例１の説明を参照されたい。ここでは、詳細について改めて説明しない。
例３：端末デバイスがスマート場面検出を実行する。
端末デバイスは現在のユーザの場面を識別する。ヘッドセットは異なる場面において異なる処理モードを使用する。現在の外部環境の場面タイプを第１場面として識別するとき、端末デバイスは、ヘッドセットの処理モードにおける第１場面に対応する目標モードを決定し、左イヤホン及び右イヤホンへ制御信号２を別個に送信する。制御信号２は目標モードを示す。異なる目標モードは異なる場面タイプに対応する。
本願の本実施形態において、端末デバイスは、識別された場面に基づいて、ヘッドセットによって実行される機能を決定する。ＡＨＡ機能は場面タイプに対応する。もっとも適切な機能が場面タイプについて選択される。このようにして、ユーザは所望の効果を自動的に体験する。
例において、場面タイプは、歩く場面、走る場面、静かな場面、複数人が話す場面、カフェの場面、地下鉄の場面、電車の場面、自動車の場面、待合室の場面、対話の場面、オフィスの場面、屋外の場面、運転の場面、強風の場面、飛行機の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面を含み得る。
端末デバイスは、スマート場面検出を実行するとき、人口知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ， ＡＩ）モデルを使用することによって検出分類を実行し得る。ＡＩモデルはオフライン方式で構築され、端末デバイスに記憶され得る。例えば、端末デバイス上のマイクロホンは、異なる場面における大量のノイズ及びセンサ（ｓｅｎｓｏｒ）データ及び／又は映像処理ユニット（ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ， ＶＰＵ）データを記録し、データに対応する場面をマニュアルでマークする。第２に、ＡＩモデルは初期化を通じて構築される。モデルは、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ＣＮＮ）、ディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ＤＮＮ）又は長・短期記憶（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ， ＬＳＴＭ）ネットワークの１つであり得るか、又は、異なるモデルの組み合わせであり得る。次に、マークされたデータを使用することによってモデル訓練が実行され、対応するＡＩモデルが取得される。使用において、リアルタイムに収集された外部環境の音信号が計算のためにＡＩモデルに入力され、分類結果が取得される。
例において、異なる場面タイプに適用可能な処理モードとして、歩く場面（ＨＴ）、走る場面（ＨＴ）、静かな場面（ＨＴ）、複数人が話す場面（ＡＮＣ）、カフェの場面（ＡＮＣ）、地下鉄の場面（ＡＨ）、電車の場面（ＡＮＣ）、待合室の場面（ＡＨ）、対話の場面（ＡＨ）、オフィスの場面（ＡＮＣ）、屋外の場面（ＡＮＣ）、運転の場面（ＡＮＣ）、強風の場面（ＡＮＣ）、飛行機の場面（ＡＮＣ）、アラーム音の場面（ＡＨ）、警笛音の場面（ＡＨ）及び泣き声の場面（ＡＨ）が挙げられる。括弧は、場面タイプに対応する処理モードを示す。例えば、飛行機の場面において、飛行機が飛行しているときはノイズが大きく、ＡＮＣモードが適切である。別の例として、歩く場面、走る場面及び静かな場面において、ＨＴモードが適切であり、バーストイベント音が聞かれ得る。別の例として、カフェの場面において、ユーザが静寂を必要とする場合、ＡＮＣモードが使用され得る。別の例として、軽音楽の場面において、ＨＴモードが使用され得る。別の例として、アラーム音の場面（ＡＨ）、警笛音の場面（ＡＨ）及び泣き声の場面（ＡＨ）において、予め設定された音が聞かれる必要があり、ＡＨモードが適切である。
例において、飛行機の場面において、現在の外部環境の場面タイプを飛行機の場面として識別するとき、端末デバイス１００は制御信号２をヘッドセットへ送信し得る。制御信号２は、ヘッドセットがＡＮＣ機能を実行する必要があると示し、ＡＮＣモードを使用するようヘッドセットに示す。制御信号２を受信した後に、左イヤホン及び右イヤホンは、Ｓ５０１からＳ５０４の処理を別個に実行する。
例において、歩く場面において、現在の外部環境の場面タイプを歩く場面として識別するとき、端末デバイス１００は制御信号２をヘッドセットへ送信し得る。制御信号２は、ヘッドセットがＨＴ機能を実行する必要があると示し、ＨＴモードを使用するようヘッドセットに示す。制御信号２を受信した後に、左イヤホン及び右イヤホンは、Ｓ６０１からＳ６０５の処理を別個に実行する。
別の例において、アラーム音の場面において、現在の外部環境の場面タイプを鉄道駅の場面として識別するとき、端末デバイス１００は、制御信号２をヘッドセットへ送信し得る。制御信号２は、ヘッドセットがＡＨ機能を実行する必要があると示し、ＡＨモードを使用するようヘッドセットに示す。制御信号２を受信した後に、左イヤホン及び右イヤホンは、Ｓ８０１からＳ８０７の処理を別個に実行する。
可能な実装において、ヘッドセットが端末デバイスとの接続を確立した後に、端末デバイスは場面検出を開始する。検出を完了した後に、端末デバイスは更に、検出結果をユーザに表示し得、その結果、ユーザはヘッドセットの処理モードを知る。例えば、検出結果は、プロンプトボックスの形式でユーザに表示される。検出結果は、検出された場面を含み得、検出された場面に対応する処理モードを更に含み得る。例えば、場面を第１場面として識別するとき、端末デバイスは、ヘッドセットの処理モードにおいて第１場面に対応する目標モードを決定し、検出結果、すなわち、第１場面及び目標モードをユーザに表示し、次に、制御信号２を左イヤホン及び右イヤホンへ別個に送信し得る。制御信号２は目標モードを示す。
別の可能な実装において、スマート場面検出を有効化する機能が端末デバイス上で構成される。スマート場面検出機能を有効化するユーザ操作に応答して、端末デバイスは場面検出をトリガする。場面を第１場面として識別するとき、端末デバイスは、ヘッドセットの処理モードにおける第１場面に対応する目標モードを決定し、制御信号２を左イヤホン及び右イヤホンへ別個に送信する。制御信号２は目標モードを示す。
検出を完了した後に、端末デバイスは更に、検出結果をユーザに表示し得、その結果、ユーザはヘッドセットの処理モードを知る。検出結果は、検出された場面を含み得、検出された場面に対応する処理モードを更に含み得る。例えば、場面を第１場面として識別するとき、端末デバイスは、ヘッドセットの処理モードにおいて第１場面に対応する目標モードを決定し、検出結果、すなわち、第１場面及び目標モードをユーザに表示し、次に、制御信号２を左イヤホン及び右イヤホンへ別個に送信し得る。制御信号２は目標モードを示す。任意選択で、検出結果がユーザに表示された後に、目標モードを決定するユーザ操作に応答して、制御信号２は左イヤホン及び右イヤホンへ送信される。
例えば、端末デバイスによって構成され、スマート場面検出を有効化するために使用される機能は、ヘッドセットアプリケーションの制御インタフェースにおいて構成され得るか、又は、端末デバイスのシステム設定メニューバー上で構成され得る。例えば、機能は、ヘッドセットアプリケーションお制御インタフェースにおいて構成される。端末デバイスは、場面を識別することによってヘッドセットの処理モードを制御し得る。端末デバイスは代替的に、制御インタフェースの選択コントロール上のユーザ操作を識別することによって、ヘッドセットの処理モードを制御し得る。端末デバイスは要件に基づいて、スマート場面検出機能を有効化するかどうかを決定し得る。スマート場面検出機能が有効化されないとき、ヘッドセットの処理モードは、例１を使用することによってマニュアルで選択され得る。スマート場面検出機能が有効化されるとき、端末デバイス１００は現在のユーザの場面を識別する。スマート場面検出機能が有効化された後に、ユーザは、処理モード手動選択インタフェースを別のインタフェースに更新し得るか、又は、処理モード手動選択インタフェースに基づいて検出結果を表示し得る。
例えば、ユーザがスマート場面検出機能を有効化する前に、端末デバイス上でユーザによって選択された処理機能はＨＴ機能である。スマート場面検出機能が有効化された後に、端末デバイスは、現在のユーザの場面を飛行機の場面として識別し、ＡＮＣ機能は使用に適用可能である。例において、ユーザはヘッドセットアプリケーションを起動し、ヘッドセットアプリケーションの制御インタフェースはディスプレイ上に表示される。リング形状が例として使用される。ユーザによって選択された処理機能は、図１４Ａの（ａ）に示されるようにＨＴ機能である。制御インタフェースは、スマート場面検出機能を有効化又は無効化するための任意選択のコントロールを含む。ユーザが任意選択のコントロールをトリガしてスマート場面検出機能を有効化した後に、ユーザはスマート場面検出機能をトリガし、場面検出を実行して検出結果を取得し、ユーザ選択を表す処理機能コントロールの位置を、ＡＮＣ機能に属する領域に変更する。ディスク上の黒色の点の位置は、ＡＮＣ機能のデフォルト値、又は、ＡＮＣ機能が最後に選択されたときにユーザによって選択された処理強度の位置であり得る。図１４Ａの（ｂ）を参照されたい。図１４Ａの（ｂ）において、例えば、飛行機の場面が検出される。端末デバイス１００は制御信号２を左イヤホン及び右イヤホンへ別個に送信し、制御信号２はＡＮＣ機能を示す。別の例において、ユーザはヘッドセットアプリケーションを起動し、ヘッドセットアプリケーションの制御インタフェースはディスプレイ上に表示される。リング形状は例として使用される。ユーザによって選択された処理機能は、図１４Ｂの（ａ）に示されるようにＨＴ機能である。制御インタフェースは、スマート場面検出機能を有効化又は無効化するための任意選択のコントロールを含む。ユーザが任意選択のコントロールをトリガしてスマート場面検出機能を有効化した後に、ユーザはスマート場面検出機能をトリガし、場面検出を実行して検出結果を取得し、検出結果インタフェースにおいて検出結果を表示する。検出インタフェースは更に、端末デバイスによって識別されることができる場面、及び、場面に対応する処理機能を含み得る。例えば、図１４Ｂの（ｂ）に示されるように、検出結果は飛行機の場面であり、対応する処理機能はＡＮＣ機能である。端末デバイス１００は制御信号２を左イヤホン及び右イヤホンへ別個に送信し、制御信号２はＡＮＣ機能を示す。
端末デバイスのスマート場面検出方式において、目標モードにおける目標処理強度は、以下の方式のいずれか１つで決定され得る。
方式１：ヘッドセットは目標モードにおけるデフォルトの目標処理強度を使用する。
端末デバイスが制御信号２を左イヤホン及び右イヤホンへ別個に送信した後に、左イヤホンは例として使用される。制御信号２を受信した後に、左イヤホンは処理モードを目標モードとして決定し、制御信号２は目標処理強度を示さず、ヘッドセットはデフォルトの目標処理強度を使用することを決定する。例えば、目標モードはＡＮＣモードである。制御信号２を受信した後に、左イヤホンは、ＡＮＣモードを使用することを決定し、左イヤホンからＡＮＣモードにおけるデフォルトのＦＦフィルタリング係数及びデフォルトのＦＢフィルタリング係数を取得する。
方式２：目標モードが最後に使用されたときに使用された処理強度が目標処理強度として使用される。
例において、端末デバイスは目標処理強度を決定し、制御信号を使用することによって目標処理強度を左イヤホン及び右イヤホンに示す。場面検出を実行し、検出された場面に基づいて目標モードを決定した後に、端末デバイスは、目標モードが最後に使用されたときに使用された処理強度を目標処理強度として取得し、制御信号２を左イヤホン及び右イヤホンへ別個に送信し、ここで、制御信号２は、目標モード及び目標処理強度を示す。
別の例において、ヘッドセットは目標モードにおける処理強度を決定する。場面検出を実行した後に、端末デバイスは、検出された場面に基づいて目標モードを決定し、制御信号２を左イヤホン及び右イヤホンへ別個に送信し、制御信号２は目標モードを示す。制御信号２を受信した後に、左イヤホン及び右イヤホンは処理モードを目標モードとして決定し、目標モードが最後に使用されたときに使用された記憶済み処理強度を目標処理強度として取得する。例えば、目標モードはＡＮＣモードであり、ＡＮＣモードが最後に使用されたときに記憶されたＦＦフィルタリング係数及びＦＢフィルタリング係数が取得され、ＡＮＣ処理が実行される。
方式３：端末デバイスは識別された場面に基づいて目標処理強度を決定する。
スマート場面検出を有効化するための機能が端末デバイス上で構成されないとき、場面を識別した後に、端末デバイスは識別された場面に基づいて目標処理強度を決定し得る。
例において、処理モードは、異なる場面が同一であると決定し、異なる場面は異なる処理強度に対応する。例えば、ＨＴモードは歩く場面、走る場面及び静かな場面に適用可能である。ＨＴモードが使用されるとき、歩く場面、走る場面及び静かな場面は異なる処理強度に別個に対応する。別の例として、ＡＮＣモードは複数人が話す場面、カフェの場面、電車の場面、飛行機の場面、強風の場面、及びオフィスの場面に適用可能である。ＡＮＣモード、複数人が話す場面、カフェの場面、電車の場面、飛行機の場面、強風の場面、及びオフィスの場面は、異なる処理強度に別個に対応する。別の例として、ＡＨモードは対話の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面に適用可能である。ＡＨモードが使用されるとき、対話の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面は異なる処理強度に別個に対応する。
これに基づいて、端末デバイスは、記憶された場面タイプ間の対応関係、目標モード、及び処理強度に基づいて、制御信号２を左イヤホン及び右イヤホンへ送信し、制御信号２は、目標モード及び目標モードにおける目標処理強度を示す。このようにして、制御信号２を受信した後に、ヘッドセットは、制御信号２に基づいて、目標モードを使用することを決定し、目標処理強度に対応するフィルタリング係数を決定する。例えば、目標モードはＡＨモードである。ＦＦフィルタリング係数、ＦＢフィルタリング係数、及びＨＴフィルタリング係数は、目標処理強度に基づいて決定され、Ｓ８０１からＳ８０７は、ＦＦフィルタリング係数、ＦＢフィルタリング係数、及びＨＴフィルタリング係数に基づいて実行される。
方式４：ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ヘッドセットに対して、目標モードにおいて使用される処理強度を示す。
例において、端末デバイスが場面検出を実行した後に、検出結果は端末デバイスの表示インタフェースに表示される。検出結果は、検出された場面、及び、検出された場面に対応する目標モードを含む。表示インタフェースは、処理強度を選択するために使用されるコントロールを含み得る。説明を容易にするために、処理強度を選択するために使用されるコントロールは、強度コントロールと呼ばれる。強度コントロールはコントロール１及びコントロール２を含み得る。コントロール１の異なる位置は、目標モードにおける異なる処理強度を示す。強度コントロールはリング形状、バー形状、又は別の形状であり得る。図１４Ｃに示されるように、検出された場面はターミナルビルの場面である。例えば、強度コントロールにおけるコントロール１はリングであり、コントロール２は円状の黒色の点である。ユーザはコントロール２をタッチアンドホールドして、コントロール１上で位置１に移動させる。位置１は、目標モードにおいてユーザによって選択された目標処理強度を示す。次に、制御命令２は、左イヤホン及び右イヤホンへ送信される。制御命令２は、位置１に対応する目標モード及び目標処理強度を示す。
任意選択で、目標モード及び目標処理強度は、異なる制御命令を使用することによって左イヤホン及び右イヤホンへ送信され得る。検出された場面に基づいて目標モードを決定した後に、端末デバイスは、目標モードを示す制御信号を左イヤホン及び右イヤホンへ送信する。目標モードを示す制御信号を受信した後に、左イヤホン及び右イヤホンは、目標モードにおけるデフォルトの処理強度を使用し、すなわち、目標モードにおけるデフォルトのフィルタリング係数を使用して、目標モードに対応する目標処理を実装する。ユーザがコントロール２をタッチアンドホールドしてコントロール１上で位置１に移動するとき、目標処理強度を示す制御信号は左イヤホン及び右イヤホンへ送信される。更に、左イヤホン及び右イヤホンは、目標処理強度に対応するフィルタリング係数に基づいて、目標モードに対応する目標処理を実行する。
別の例において、なお図１４Ａを参照されたい。ユーザが任意選択のコントロールをトリガしてスマート場面検出機能を有効化した後に、ユーザはスマート場面検出機能をトリガし、場面検出を実行して検出結果を取得し、ユーザ選択を表す処理機能コントロールの位置を、ＡＮＣ機能に属する領域に変更する。ディスク上の黒色の点の位置は、ＡＮＣ機能のデフォルト値、又は、ＡＮＣ機能が最後に選択されたときにユーザによって選択された処理強度の位置であり得る。ユーザは黒色の点を移動することによってＡＮＣモードにおける処理強度を選択する。加えて、制御信号２は左イヤホン及び右イヤホンへ送信される。制御信号２はＡＮＣモード及び目標処理強度を示す。
例４：ヘッドセット場面検出。異なる場面は異なる処理機能に対応する。
ヘッドセットは場面検出機能を有する。ヘッドセットは現在のユーザの場面を識別する。ヘッドセットの処理機能は異なる検出された場面タイプにおいて異なる。ヘッドセットにおいて、左イヤホンは場面検出機能を有し得、又は、右イヤホンは、場面検出機能を有し得、又は、左イヤホン及び右イヤホンの両方は場面検出機能を有する。例において、左イヤホン及び右イヤホンの１つは場面検出を実行するために使用される。例えば、左イヤホンは場面検出を実行し、検出結果を右イヤホンへ送信し、その結果、左イヤホン及び右イヤホンの両方は、左イヤホンの検出結果に基づいて、検出結果に対応する処理機能を実装するために使用される処理を実行する。代替的に、右イヤホンは、場面検出を実行し、検出結果を左イヤホンへ送信する。したがって、左イヤホン及び右イヤホンの両方は、右イヤホンの検出結果に基づいて、検出結果に対応する処理機能を実装するために使用される処理を実行する。別の例において、左イヤホン及び右イヤホンの両方は場面検出を実行し、左イヤホンは、左イヤホンの検出結果に基づいて、検出結果に対応する処理機能を実装するために使用される処理を実行し、右イヤホンは、右イヤホンの検出結果に基づいて、検出結果に対応する処理機能を実装するために使用される処理を実行する。
可能な実装において、ヘッドセットの場面検出機能を有効化することは、ユーザによって、ヘッドセットを使用することによって、又は、端末デバイスを使用することによって制御され得る。
１つの方式において、場面検出機能を開始するために使用されるボタンはヘッドセット上に配置される。ユーザは、ボタンにタッチすることによってヘッドセットの場面検出機能を有効化又は無効化し得る。ヘッドセットの場面検出機能が有効化された後に、ヘッドセットは、現在のユーザの場面（又は現在のヘッドセット場面）を識別する。場面と処理モードとの間の対応関係に基づいて、場面に対応する処理モードが識別されると決定され、処理モードに対応する処理機能が実装される。
別の方式において、ユーザは、ヘッドセット上のタップ操作、例えば３連続タップによって、ヘッドセットの場面検出機能を有効化又は無効化する。ヘッドセットの場面検出機能が無効化されているとき、ヘッドセットは、３連続タップに応答してヘッドセットの場面検出機能を有効化する。ヘッドセットの場面検出機能が有効化されているとき、ヘッドセットは、３連続タップに応答してヘッドセットの場面検出機能を無効化する。ヘッドセットの場面検出機能が有効化された後に、ヘッドセットは、現在のユーザの場面（又は現在のヘッドセット場面）を識別する。場面と処理モードとの間の対応関係に基づいて、場面に対応する処理モードが識別されると決定され、処理モードに対応する処理機能が実装される。
なお別の方式において、左イヤホン又は右イヤホンの場面検出機能を有効化することは端末デバイス１００によって制御される。例えば、ヘッドセット制御インタフェースは、ヘッドセットの場面検出機能を有効化又は無効化するためのボタンを含む。端末デバイスは、ユーザ要求に基づいて、ヘッドセットの場面検出機能を有効化するかどうかを決定し得る。ヘッドセットの場面検出機能が有効化されていないとき、ヘッドセットによって実装される必要がある処理機能は、例１を使用することによってマニュアルで選択され得る。ヘッドセットの場面検出機能が有効化された後に、ヘッドセットは現在の外部環境の場面タイプを識別する。場面タイプと処理モードとの間の対応関係に基づいて、場面タイプに対応する処理モードが識別されると決定され、処理モードに対応する処理機能を実装する。端末デバイス１００は、ヘッドセットの場面検出機能を有効化するユーザ操作に応答して、制御信号３をヘッドセット２００へ送信する。制御信号３は、場面検出機能を有効化するようにヘッドセットに示す。ヘッドセット２００は、制御信号３に基づいて場面検出を実行することを開始する。ヘッドセット２００は、現在の外部環境の検出された場面タイプに基づいて、実行される必要がある処理機能を決定する。例えば、処理機能がＡＮＣ機能である場合、ヘッドセット２００はＡＮＣ処理を実行し、Ｓ５０１からＳ５０４を実行する。
別の可能な実装において、ヘッドセットが端末デバイスとの接続を確立した後に、ヘッドセットは場面検出を開始し、又は、ヘッドセットが端末デバイスによって送信されたダウンリンクオーディオ信号を受信したとき、ヘッドセットは場面検出を開始する。
例４において、ヘッドセット検出が完了した後に、検出結果は更に端末デバイスへ送信され得る。例えば、検出結果は指示情報に含まれ、端末デバイスへ送信され得る。検出結果は、検出された場面、及び、場面に対応する処理モードを含み得る。検出結果を受信するとき、端末デバイスは、検出結果をユーザに表示し、その結果、ユーザはヘッドセットの処理モードを知る。例えば、検出結果は、プロンプトボックスの形式でユーザに表示される。任意選択で、検出結果は、検出された場面だけを含み得る。検出結果を受信した後に、端末デバイスは、ヘッドセットによって検出された場面に対応する処理モードを決定し、ヘッドセットによって検出された場面及び場面に対応する処理モードをユーザに表示する。例えば、場面を第１場面として識別するとき、ヘッドセットは、ヘッドセットの処理モードにおいて、第１場面に対応する目標モードを決定し、検出結果、すなわち、第１場面及び目標モードをユーザに表示し得る。
別の例において、ヘッドセット検出が完了した後に、場面に対応する処理モードの処理機能は即時に実行されず、検出結果は端末デバイスへ送信され、端末デバイスは検出結果をユーザに表示する。処理モードを決定するユーザ操作に応答して、端末デバイスは確認命令をヘッドセットへ送信する。確認命令を受信するとき、ヘッドセットは、ヘッドセットによって検出された場面に対応する処理モードを使用することによって処理機能を実行する。
例えば、ヘッドセットによって識別されることができる場面タイプは、歩く場面、走る場面、静かな場面、複数人が話す場面、カフェの場面、地下鉄の場面、電車の場面、自動車の場面、待合室の場面、対話の場面、オフィスの場面、屋外の場面、運転の場面、強風の場面、飛行機の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面を含み得る。
例において、異なる場面タイプに適用可能な処理モードとして、歩く場面（ＨＴ）、走る場面（ＨＴ）、静かな場面（ＨＴ）、複数人が話す場面（ＡＮＣ）、カフェの場面（ＡＮＣ）、地下鉄の場面（ＡＨ）、電車の場面（ＡＮＣ）、待合室の場面（ＡＨ）、対話の場面（ＡＨ）、オフィスの場面（ＡＮＣ）、屋外の場面（ＡＮＣ）、運転の場面（ＡＮＣ）、強風の場面（ＡＮＣ）、飛行機の場面（ＡＮＣ）、アラーム音の場面（ＡＨ）、警笛音の場面（ＡＨ）及び泣き声の場面（ＡＨ）が挙げられる。括弧は、場面タイプに対応する処理モードを示す。例えば、飛行機の場面において、飛行機が飛行しているときはノイズが大きく、ＡＮＣモードが適切である。別の例として、歩く場面、走る場面及び静かな場面において、ＨＴモードが適切であり、バーストイベント音が聞かれ得る。別の例として、カフェの場面において、ユーザが静寂を必要とする場合、ＡＮＣモードが使用され得る。別の例として、軽音楽の場面において、ＨＴモードが使用され得る。別の例として、アラーム音の場面（ＡＨ）、警笛音の場面（ＡＨ）及び泣き声の場面（ＡＨ）において、予め設定された音が聞かれる必要があり、ＡＨモードが適切である。
例において、飛行機の場面において、場面タイプが飛行機の場面として識別されるとき、ＡＮＣモードが使用されると決定され、左イヤホン及び右イヤホンは、Ｓ５０１からＳ５０４における処理を別個に実行する。
例において、歩く場面において、場面タイプが歩く場面として識別されるとき、ＨＴモードが使用されると決定され、左イヤホン及び右イヤホンはＳ６０１からＳ６０５における処理を別個に実行する。
別の例において、鉄道駅の場面において、場面タイプが鉄道駅の場面として識別されるとき、ＡＨモードが使用されると決定される。左イヤホン及び右イヤホンはＳ８０１からＳ８０７の処理を別個に実行する。
ヘッドセットの場面検出方式において、目標モードにおける目標処理強度は、以下の方式のいずれか１つで決定され得る。
方式１：ヘッドセットは目標モードにおけるデフォルトの目標処理強度を使用する。
ヘッドセット（左イヤホン又は右イヤホン）は、検出された場面に基づいて、処理モードを目標モードとして決定し、左イヤホン及び右イヤホンがデフォルトの目標処理強度を使用すると決定する。例えば、目標モードはＡＮＣモードである。左イヤホン及び右イヤホンは、ＡＮＣモードにおけるデフォルトのＦＦフィルタリング係数及びデフォルトのＦＢフィルタリング係数を取得する。
方式２：目標モードが最後に使用されたときに使用された処理強度が目標処理強度として使用される。
例において、ヘッドセット（左イヤホン又は右イヤホン）は目標モードにおける処理強度を決定する。ヘッドセットが場面検出を実行し、検出された場面に基づいて目標モードを決定した後に、ヘッドセットは、目標モードが最後に使用されたときに記憶された処理強度を目標処理強度として取得する。例えば、目標モードはＡＮＣモードであり、ＡＮＣモードが最後に使用されたときに記憶されたＦＦフィルタリング係数及びＦＢフィルタリング係数が取得され、ＡＮＣ処理が実行される。
別の例において、端末デバイスは目標処理強度を決定し、制御信号を使用することによって目標処理強度を左イヤホン及び右イヤホンに示す。場面検出を実行した後に、ヘッドセットは検出結果を端末デバイスへ送信し、その結果、端末デバイスは、目標モードが最後に使用されたときに使用された処理強度を目標処理強度として取得し、制御信号４を左イヤホン及び右イヤホンへ別個に送信する。制御信号４は目標処理強度を示す。
方式３：ヘッドセットは識別された場面に基づいて目標処理強度を決定する。
場面を識別した後に、ヘッドセットは、識別された場面に基づいて目標処理強度を決定し得る。
例において、処理モードは、異なる場面が同一であると決定し、異なる場面は異なる処理強度に対応する。例えば、ＨＴモードは歩く場面、走る場面及び静かな場面に適用可能である。ＨＴモードが使用されるとき、歩く場面、走る場面及び静かな場面は異なる処理強度に別個に対応する。別の例として、ＡＮＣモードは複数人が話す場面、カフェの場面、電車の場面、飛行機の場面、強風の場面、及びオフィスの場面に適用可能である。ＡＮＣモード、複数人が話す場面、カフェの場面、電車の場面、飛行機の場面、強風の場面、及びオフィスの場面は、異なる処理強度に別個に対応する。別の例として、ＡＨモードは対話の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面に適用可能である。ＡＨモードが使用されるとき、対話の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面は異なる処理強度に別個に対応する。
これに鑑み、左イヤホン及び右イヤホンは、記憶された場面タイプ、目標モード、及び処理強度間の対応関係に基づいて、検出された場面に対応する目標モード、及び、目標モードにおける目標処理強度を決定する。このように、左イヤホン及び右イヤホンは、目標処理強度に対応するフィルタリング係数を取得する。例えば、目標モードはＡＨモードである。ＦＦフィルタリング係数、ＦＢフィルタリング係数、及びＨＴフィルタリング係数は、目標処理強度に基づいて決定され、Ｓ８０１からＳ８０７は、ＦＦフィルタリング係数、ＦＢフィルタリング係数、及びＨＴフィルタリング係数に基づいて実行される。
別の例において、異なる場面において、ヘッドセットは更に緊急イベントを検出して目標イベント（又は目標イベントと呼ばれる）を決定し得る。例えば、緊急イベントは、ウインドノイズイベント、ハウリングイベント、緊急イベント、人声イベント又は非緊急イベントのうちの１又は複数を含む。異なるイベントは異なる処理強度に対応する。ヘッドセットは場面及びイベントを検出する。目標モードにおいて、異なるイベントは異なフィルタリング係数に対応する。ＡＮＣは例として使用される。異なるイベントにおいて、異なるＦＦフィルタリング係数及び／又は異なるＦＢフィルタリング係数に対応する。左イヤホン又は右イヤホンが場面及びイベント検出を実行した後に、左イヤホン及びＡＮＣモードは例として使用される。左イヤホンは、ＡＮＣ機能が実装されるとき、係数バンクから、検出結果に基づいて、検出されたイベントに対応するＦＦフィルタリング係数又はＦＢフィルタリング係数を取得し得る。係数バンクは、処理モード、イベント、ＦＦフィルタリング係数及びＦＢフィルタリング係数の間のマッピング関係を記憶する。ＡＮＣの処理効果は主にＦＢフィルタリング及び／又はＦＦフィルタリングに依存する。例えば、ＦＦフィルタのフィルタリング係数は検出された場面に基づいて制御され、ＦＢフィルタリング係数は固定値である。別の例では、ＦＢフィルタのフィルタリング係数は検出された場面に基づいて制御され、ＦＦフィルタリング係数は固定値である。なお別の例では、ＦＦフィルタリング係数及びＦＢフィルタリング係数は検出された場面に基づいて制御される。例えば、表２に示されるように、イベントはハウリングイベント、ウインドノイズイベント、緊急イベント、人声イベント、又は非緊急イベントを含む。
表２
例えば、ヘッドセット２００は外部環境におけるイベント音を検出し、参照マイクロホンによって収集された信号に基づいて、外部環境におけるイベント音に対応する目標イベントを決定し得る。例えば、参照マイクロホンによって収集された信号が、予め設定されたスペクトルの信号を含む場合、予め設定されたスペクトルの信号に対応するイベントが決定される。例えば、ウインドノイズイベントについては、参照マイクロホンによって収集された信号が風の音信号を含む場合、すなわち、収集された信号が、風の音のスペクトルに一致する信号を含む場合、外部環境における検出されたイベント音に対応するイベントがウインドノイズイベントであると決定される。参照マイクロホンによって収集された信号が予め設定されたスペクトルの信号を含むとき、スペクトル一致方式が使用され得るか、又は、ディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ＤＮＮ）一致方式が使用され得ると決定される。
例えば、図１５に示されるように、ヘッドセット２００は、以下の方式で、参照マイクロホンによって収集された信号に基づいて現在のユーザ環境におけるイベントを決定し得る。ヘッドセット２００は更に骨伝導センサを含む。骨伝導センサは、ヘッドセットユーザの骨伝導信号を収集するように構成される。ユーザがヘッドセット２００を装着していて、音を発する、例えば、話す、又は歌うとき、骨伝導センサは骨伝導信号を収集する、すなわち、ユーザが話すときに生成される骨膜振動信号を収集して骨伝導信号を取得する。
左イヤホン又は右イヤホンの場面検出機能を有効化することは、端末デバイス１００によって制御され得るか、又は、ヘッドセットに対するユーザ操作、例えば、左イヤホン又は右イヤホンをタップする操作によって制御され得る。代替的に、ヘッドセットは骨伝導センサを含む。ユーザの上及び下の歯が接触するとき、歯接触音が生成され、その結果、骨伝導センサは、ユーザの上及び下の歯が接触するときに生成されるオーディオ信号を検出することによって、場面検出機能を起動する。
Ｓ１５０１：参照マイクロホンによって収集された第３信号における骨伝導信号をフィルタリング除去してフィルタリング済み信号（簡潔に信号ＡＡ１と呼ばれる）を取得する。
段階Ｓ１５０１において、参照マイクロホンによって収集された第３信号は、ヘッドセットが場面検出機能を起動した後に参照マイクロホンによって収集された信号である。
ヘッドセットを装着しているときにユーザが音を発しない、例えば、ユーザが話さない、又は歌わないとき、骨伝導センサによって収集される骨伝導信号のエネルギーは小さいことが理解されるべきである。例えば、骨伝導信号のエネルギーが指定された閾値より小さいとき、Ｓ１５０１は実行されないことがあり得、信号ＡＡ１は第３信号である。例において、ヘッドセット２００はまず、骨伝導信号のエネルギーを決定し得る。骨伝導信号のエネルギーが指定された閾値より小さい場合、フィルタリング演算は実行されない。換言すれば、Ｓ１５０１が実行されない。骨伝導信号のエネルギーが指定された閾値以上であると決定されるとき、Ｓ１５０１が実行される。
Ｓ１５０２：フィルタリング済み信号に対してスペクトル分析を実行し、フィルタリング済み信号のエネルギー特徴を取得する。
換言すれば、ヘッドセット２００は信号ＡＡ１に対してスペクトル分析を実行して信号ＡＡ１のエネルギー特徴を取得する。例えば、ヘッドセット２００は、信号に対してスペクトル分析を実行して信号ＡＡ１のフレーム全体のエネルギー、及び、信号ＡＡ１の各ｂａｒｋサブバンドのエネルギーを取得して、ベクトルによって表される信号ＡＡ１のエネルギー特徴を形成する。
Ｓ１５０３：エネルギー特徴セットに含まれるエネルギー特徴における、フィルタリング済み信号のエネルギー特徴に一致する第１エネルギー特徴を決定し、エネルギー特徴セットに含まれる異なるエネルギー特徴は、異なるイベント識別子に対応する。
Ｓ１５０４：第１エネルギー特徴に対応するイベント識別子によって識別されるイベントを現在のユーザ環境におけるイベント、すなわち、イベント検出の検出結果として決定する。
例において、エネルギー特徴セットは以下の方式で生成され得る。ウインドノイズ検出、バーストノイズ検出、ハウリング検出、及び人声検出が、第１マイクロホン、第２マイクロホン及び第３マイクロホンによって収集された信号に対して実行され、ウインドノイズ信号、バーストノイズ信号及びハウリング信号が取得される。次に、ウインドノイズ信号、バーストノイズ信号、ハウリング信号、及び人声信号に対してスペクトル分析が別個に実行され、ウインドノイズ信号のサブバンドエネルギー特徴、バーストノイズ信号のサブバンドエネルギー特徴、ハウリング信号のサブバンドエネルギー特徴、及び人声信号のサブバンドエネルギー特徴が取得される。ウインドノイズ信号のサブバンドエネルギー特徴、バーストノイズ信号のサブバンドエネルギー特徴、ハウリング信号のサブバンドエネルギー特徴及び人声信号のサブバンドエネルギー特徴はエネルギー特徴セットを形成する。静かな場面において、ノイズのサブバンドエネルギーは弱いことが理解されるべきである。
任意選択で、エネルギー特徴セットに含まれるエネルギー特徴における、フィルタリング済み信号のエネルギー特徴に一致する第１エネルギー特徴が判定されるとき、スペクトル一致方式が使用され得るか、又はディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ＤＮＮ）一致方式が使用され得る。例えば、ＤＮＮ一致方式が使用されるとき、フィルタリング済み信号のエネルギー特徴と、エネルギー特徴セットに含まれる各エネルギー特徴との間の一致度が、ＤＮＮを使用することによって判定され得、最高の一致度を有する第１エネルギー特徴に対応するイベント識別子によって識別されるイベントが検出結果である。
本願の本実施形態において、ヘッドセット２００における主制御部は、参照マイクロホンによって収集された信号に基づいて現在のユーザ環境におけるイベントを決定し得る。例えば、主制御部はＤＳＰを含む。ＤＳＰはＳ１５０１～Ｓ１５０４を実行するように構成される。
方式４：ユーザは、端末デバイスによって提供されるＵＩコントロールを使用することによって、ヘッドセットに対して、目標モードにおいて使用される処理強度を示す。
例において、場面検出を実行した後に、ヘッドセットは検出結果を端末デバイスへ送信する。端末デバイスは検出結果をユーザに表示する。検出結果は端末デバイスの表示インタフェースに表示される。検出結果は、ヘッドセットによって検出された場面、及び、検出された場面に対応する目標モードを含む。表示インタフェースは、処理強度を選択するために使用されるコントロールを更に含む。説明を容易にするために、処理強度を選択するために使用されるコントロールは、強度コントロールと呼ばれる。強度コントロールはコントロール１及びコントロール２を含み得る。コントロール１の異なる位置は、目標モードにおける異なる処理強度を示す。強度コントロールはリング形状、バー形状、又は別の形状であり得る。図１６に示されるように、例えば、強度コントロールはリングである。ユーザはコントロール２をタッチアンドホールドして、コントロール１上で位置２に移動させる。位置２は、目標モードにおいてユーザによって選択された目標処理強度を示す。次に、制御命令５は、左イヤホン及び右イヤホンへ送信される。制御命令５は、位置２に対応する目標処理強度を示す。図１６において、例えば、目標モードはＨＴモードである。
例において、端末デバイス１００は、ヘッドセットの場面検出機能を有効化するユーザ操作に応答して、制御信号３をヘッドセット２００へ送信する。制御信号３は、場面検出機能を有効化することをヘッドセットに示す。ヘッドセット２００は、制御信号３に基づいて、場面検出を実行することを起動して検出結果を取得する。ヘッドセット２００は、検出結果を端末デバイス１００へ送信し得、その結果、端末デバイス１００は検出結果をユーザに表示し、ヘッドセットによって使用される必要がある、検出された場面に対応する処理モードをユーザに表示する。
更に、ヘッドセットの場面検出機能が有効化された後に、ユーザは処理モード手動選択インタフェースを別のインタフェースに更新し得るか、又は、処理モード手動選択インタフェースに基づいて検出結果を表示し得る。
例えば、ユーザがヘッドセットの場面検出機能を有効化する前に、端末デバイス上でユーザによって選択された処理機能はＨＴ機能である。ヘッドセットの場面検出機能が有効化された後に、ヘッドセット２００は、現在のユーザの場面を飛行機の場面として識別し、ＡＮＣ機能は適切である。ヘッドセットは検出結果、すなわち、飛行機の場面及びＡＮＣ機能を端末デバイスへ送信する。例において、ユーザはヘッドセットアプリケーションを起動し、ヘッドセットアプリケーションの制御インタフェースはディスプレイ上に表示される。リング形状が例として使用される。ユーザによって選択された処理機能は、図１７Ａの（ａ）に示されるようにＨＴ機能である。制御インタフェースは、ヘッドセットの場面検出機能を有効化又は無効化するための任意選択のコントロールを含む。ユーザがヘッドセットの場面検出機能を有効化するために任意選択のコントロールをトリガした後に、端末デバイスはヘッドセットの場面検出機能をトリガし、制御信号３をヘッドセット２００へ送信する。制御信号３は、場面検出機能を有効化することをヘッドセットに示す。ヘッドセット２００は、制御信号３に基づいて場面検出を実行することを開始し、検出結果を取得する。ヘッドセット２００は検出結果を端末デバイス１００へ送信する。検出結果を受信した後に、端末デバイス１００は、ユーザ選択を表す処理機能コントロールの位置をＡＮＣ機能に属する領域に変更する。ユーザは、ディスク上で黒色の点を移動することによってＡＮＣモードにおける処理強度を選択する。図１７Ａの（ｂ）を参照されたい。図１７Ａの（ｂ）において、例えば、飛行機の場面が検出される。
別の例において、ユーザはヘッドセットアプリケーションを起動し、ヘッドセットアプリケーションの制御インタフェースはディスプレイ上に表示される。リング形状が例として使用される。ユーザによって選択された処理機能は、図１７Ｂの（ａ）に示されるようにＨＴ機能である。制御インタフェースは、ヘッドセットの場面検出機能を有効化又は無効化するための任意選択のコントロールを含む。ユーザがヘッドセットの場面検出機能を有効化するために任意選択のコントロールをトリガした後に、端末デバイスはヘッドセットの場面検出機能をトリガし、制御信号３をヘッドセット２００へ送信する。制御信号３は、場面検出機能を有効化することをヘッドセットに示す。ヘッドセット２００は、制御信号３に基づいて場面検出を実行することを開始し、検出結果を取得する。ヘッドセット２００は検出結果を端末デバイス１００へ送信する。検出結果を受信した後に、端末デバイス１００は検出結果インタフェースに検出結果を表示する。検出インタフェースは更に、ヘッドセットによって識別され得る場面、及び、場面に対応する処理モードを含み得る。ユーザは、ディスク上で黒色の点を移動することによって、ＡＮＣモードにおける処理強度を選択する。例えば、図１７Ｂの（ｂ）に示されるように、検出結果は飛行機の場面であり、対応する処理モードはＡＮＣモードである。
例えば、１つの方式において、ヘッドセット２００は、場面検出を実行するときに人口知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ， ＡＩ）モデルを使用することによって検出分類を実行し得る。ＡＩモデルはヘッドセットにおいて構成され得る。別の方式において、場面タイプは、参照マイクロホンによって収集された信号に基づいて決定され得る。例えば、図１８に示されるように、ヘッドセット２００は、以下の方式で、参照マイクロホンによって収集された信号に基づいて、現在のユーザの場面を決定し得る。
Ｓ１８０１：参照マイクロホンによって収集された第１信号に対してスペクトル分析を実行し、第１信号を複数のサブバンドに分割し、各サブバンドのエネルギーを計算する。例えば、参照マイクロホンによって収集された第１信号は、ｂａｒｋサブバンド分割方法を使用することによって周波数領域においてサブバンドに分割され、各サブバンドのエネルギーが計算される。
Ｓ１８０２：ＶＡＤを決定し、第１信号におけるノイズセグメントを取得し、ノイズセグメントにおける各サブバンドの平滑エネルギーを取得する。
例において、ＶＡＤ決定方式は以下の通りである。参照マイクロホンと通信マイクロホンとの間の信号相互相関を計算して相互相関係数Ａを取得し、参照マイクロホンの自己相関係数Ｂを計算し、Ａ＜アルファ（第１閾値）かつＢ＜ベータ（第２閾値）であるとき、ＶＡＤに対応する信号セグメントをノイズセグメントとして決定し、そうでなければ、ＶＡＤに対応する信号セグメントを音声セグメントとして決定する。
Ｓ１８０３：ノイズセグメントにおける各サブバンドの平滑エネルギーに基づいて場面タイプを決定する。
例において、静かな場面、低周波数重ノイズ場面、及び、人声場面が決定される。決定されたノイズセグメントについて、場面タイプを判定するために以下の処理が実行される：
（１）ノイズセグメントにおける５０～１ＫＨｚサブバンドのエネルギー平均値Ｃ、１～２ＫＨｚサブバンドのエネルギー平均値Ｄ、及び、２～３ＫＨｚサブバンドのエネルギー平均値Ｅを計算し、Ｃ／Ｄ／ＥがＮ個の連続フレームの閾値ガンマ未満である場合、場面を静かな場面として判定する；
（２）ａ＝Ｄ／Ｃであり、ａが閾値ｔ未満であり、Ｃ及びＤは両方とも閾値ｋより大きく、Ｍ個の連続するフレームについて、ａは閾値ｔより小さく、Ｃ及びＤは両方とも閾値ｋより大きい場合、場面を低周波数重ノイズ場面として判定する；又は、
（３）ａが閾値ｋより大きく、Ｐ個の連続フレームがノイズフレームでない場合、場面を人声（又は音楽）場面として判定する。
例５：処理モードを決定した後に、ヘッドセットは処理モードにおいてイベント検出を実行する。処理モードにおいて、異なるイベントは異なるフィルタリング係数（すなわち処理モードにおける処理強度）に対応する。
ヘッドセットはユーザ操作を識別し、ユーザによって選択されたヘッドセット２００が、ＡＮＣ処理、ＨＴ処理又はＡＨ処理を実装する必要があると判定する。ヘッドセット２００によって使用される処理モードはＡＮＣモードである。可能な方式において、ユーザ操作はヘッドセットをタップするユーザ操作であり得る。異なる操作を使用することによって、処理モードは、ＡＮＣモード、ＨＴモード又はＡＨモードとして判定される。別の可能な方式において、ボタンがヘッドセット上に配置される。異なるボタンは異なる処理モードを示す。ユーザはボタンを押してヘッドセットの処理モードを選択する。例えば、ヘッドセット２００がユーザによってトリガされるＡＮＣモードの操作命令を受信した後に、左イヤホン及び右イヤホンはＡＮＣ処理を実行し、具体的にはＳ５０１～Ｓ５０４を実行する。なお別の可能な方式において、ヘッドセットによって実装される必要がある処理モードが選択され、端末デバイス１００によって制御される。
左イヤホン又は右イヤホンはイベント検出機能を有し得る。例において、左イヤホン及び右イヤホンの１つが、イベント検出を実行するために使用される。例えば、左イヤホンはイベント検出を実行し、検出結果を右イヤホンへ送信し、又は右イヤホンはイベント検出を実行し、検出結果を左イヤホンへ送信する。ＡＮＣモードにおいて、異なるイベントは異なるＦＦフィルタリング係数及び異なるＦＢフィルタリング係数に対応する。左イヤホン又は右イヤホンがイベント検出を実行した後に、左イヤホンは例として使用される。左イヤホンは、検出結果に基づいて、係数バンクから、ＡＮＣモードにおける検出されたイベントに対応するＦＦフィルタリング係数又はＦＢフィルタリング係数を取得し得る。例えば、表２は、係数バンクに含まれる内容を説明し、イベントは、ハウリングイベント、ウインドノイズイベント、緊急イベント、人声イベント又は非緊急イベントを含む。
前述の方法の実施形態における機能を実装するために、ヘッドセットは、各機能を実行するための対応するハードウェア構造及び／又はソフトウェアモジュールを含むと理解され得る。当業者であれば、本願において開示される実施形態において説明される例におけるモジュール及び方法の段階を参照して、本願はハードウェア又はハードウェア及びコンピュータソフトウェアの組み合わせによって実装され得ることに容易に気付くであろう。機能がハードウェアによって実行されるか、又は、コンピュータソフトウェアによって駆動されるハードウェアによって実行されるかは、特定の適用場面、及び、技術的解決策の設計の制約に依存する。
前述の方法と同一の発明の着想に基づいて、図１９に示されるように、本願の実施形態は更にノイズ処理装置１９００を提供する。ノイズ処理装置１９００はヘッドセットに適用される。ヘッドセットは、ＡＮＣ機能、ＨＴ機能又はＡＨ機能のうちの少なくとも２つの機能を有する。ヘッドセットは第１マイクロホン及び第２マイクロホンを含む。第１マイクロホンは第１信号を収集するように構成される。第１信号は現在の外部環境における音を示す。第２マイクロホンは第２信号を収集するように構成される。第２信号は、ヘッドセットを装着しているユーザの外耳道における環境音を示す。ノイズ処理装置１９００は、前述の方法の実施形態におけるヘッドセットの機能を実装するように構成され得、したがって、前述の方法の実施形態の有益な効果を実装できる。装置は通信モジュール１９０１、取得モジュール１９０２及び第１処理モジュール１９０３を含み得る。
通信モジュール１９０１は、端末デバイスから第１オーディオ信号を受信するように構成される。
取得モジュール１９０２は、目標モードを取得するように構成され、目標モードは、現在の外部環境の場面タイプに基づいて決定され、目標モードは、目標処理機能を実行するようにヘッドセットに指示し、目標処理機能は、アクティブノイズコントロールＡＮＣ機能、環境音ヒアスルーＨＴ機能又は聴覚増強ＡＨ機能の１つである。
第１処理モジュール１９０３は、目標モード、第１オーディオ信号、第１信号及び第２信号に基づいて第２オーディオ信号を取得するように構成される。
可能な実装において、装置は更に第２オーディオ信号を再生するように構成される再生モジュールを含む。再生モジュールは図１９に示されない。
可能な実装において、目標処理機能がＡＮＣ機能であるとき、再生モジュールによって再生された第２オーディオ信号は、ユーザの外耳道における現在のユーザ環境及び環境音における音のユーザ感知を弱くすることができ、目標処理機能がＨＴ機能であるとき、再生モジュールによって再生される第２オーディオ信号は、現在のユーザ環境における音のユーザ感知を強化でき、又は、目標処理機能がＡＨ機能であるとき、再生モジュールによって再生される第２オーディオ信号は、イベント音のユーザ感知を強化でき、イベント音は予め設定されたスペクトルを満たす。
可能な実装において、目標処理機能がＡＮＣ機能であるとき、第２オーディオ信号は、第１オーディオ信号、第３信号、及び第４信号に基づいて取得され、第３信号は、第１信号の逆位相信号であり、第４信号は第２信号の逆位相信号であり、目標処理機能がＨＴ機能であるとき、第２オーディオ信号は、第１オーディオ信号、第１信号、及び第２信号に基づいて取得され、又は、目標処理機能がＡＨ機能であるとき、第２オーディオ信号は、第１オーディオ信号、第５信号、及び第４信号に基づいて取得され、第５信号は、第１信号におけるイベント信号であり、イベント信号は予め設定されたスペクトルを満たす。
可能な実装において、通信モジュール１９０１は更に、第１制御命令を端末デバイスから受信することであって、第１制御命令は目標モードを保持し、目標モードは、現在の外部環境の場面タイプに基づいて端末デバイスによって決定される、こと、及び、目標モードを取得モジュール１９０２へ送信することを行うように構成される。
可能な実装において、通信モジュール１９０１は更に、第２制御命令を端末デバイスから受信するように構成され、第２制御命令は目標処理強度を保持し、目標処理強度は、ヘッドセットが目標処理機能を実行するときに使用される処理強度を示す。
第１処理モジュール１９０３は具体的には、目標モード、目標処理強度、第１オーディオ信号、第１信号及び第２信号に基づいて、第２オーディオ信号を取得するように構成される。
可能な実装において、装置は更に、第１信号に基づいて、現在の外部環境におけるイベント音に対応する目標イベントを決定し、目標イベントに基づいて目標モードにおける目標処理強度を決定するように構成される第２処理モジュール１９０４を備え、目標処理強度は、ヘッドセットが目標処理機能を実行するときに使用される処理強度を示す。
第１処理モジュール１９０３は具体的には、目標モード、目標処理強度、第１オーディオ信号、第１信号及び第２信号に基づいて、第２オーディオ信号を取得するように構成される。
可能な実装において、ヘッドセットは更に骨伝導センサを含む。骨伝導センサは、ユーザの声帯の振動によって生成される骨伝導信号を収集するように構成される。
第１処理モジュール１９０３は具体的には、第１信号及び骨伝導信号に基づいて、現在の外部環境におけるイベント音に対応する目標イベントを決定するように構成される。
可能な実装において、目標イベントは、ハウリングイベント、ウインドノイズイベント、緊急イベント又は人声イベントを含む。
可能な実装において、装置は更に、第１信号に基づいて、現在の外部環境の場面タイプを目標場面として識別し、目標場面に基づいて、ヘッドセットの目標モードを決定するように構成される第３処理モジュール１９０５を備え、目標モードは目標場面に対応する処理モードである。
可能な実装において、目標場面は、歩く場面、走る場面、静かな場面、複数人が話す場面、カフェの場面、地下鉄の場面、電車の場面、待合室の場面、対話の場面、オフィスの場面、屋外の場面、運転の場面、強風の場面、飛行機の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面のうちの１つを含む。
可能な実装において、通信モジュール１９０１は更に、指示情報を端末デバイスへ送信することであって、指示情報は目標モードを保持する、こと、及び、第３制御信号を端末デバイスから受信することであって、第３制御信号は目標モードにおける目標処理強度を含み、目標処理強度は、ヘッドセットが目標処理機能を実行するときに使用される処理強度を示す、ことを行うように構成される。
第１処理モジュール１９０３は具体的には、目標モード、目標処理強度、第１オーディオ信号、第１信号及び第２信号に基づいて、第２オーディオ信号を取得するように構成される。
可能な実装において、目標処理機能がＡＮＣ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音及びユーザの外耳道における環境音のより弱いユーザ感知を示し、目標処理機能がＨＴ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音のより強いユーザ感知を示し、又は、目標処理機能がＡＨ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音に含まれるイベント音のより強いユーザ感知を示す。
可能な実装において、ヘッドセットは左イヤホンであり、又はヘッドセットは右イヤホンである。
可能な実装において、目標モードは、ＡＮＣ機能を実行するようにヘッドセットに指示する。第１処理モジュール１９０３は具体的には、第１信号に対して第１フィルタリング処理を実行して第１フィルタリング信号を取得すること、第２信号に含まれる第１オーディオ信号をフィルタリング除去して第１フィルタリング済み信号を取得すること、第１フィルタリング信号及びフィルタリング済み信号に対してオーディオミキシング処理を実行して第３オーディオ信号を取得すること、第３オーディオ信号に対して第３フィルタリング処理を実行して第４オーディオ信号を取得すること、及び、第４オーディオ信号及び第１オーディオ信号に対してオーディオミキシング処理を実行して第２オーディオ信号を取得することを行うよう構成される。
可能な実装において、第１フィルタリング処理に使用されるフィルタリング係数は、ＡＮＣ機能の場合において第１フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数であり、又は、第３フィルタリング処理に使用されるフィルタリング係数は、ＡＮＣ機能の場合において第３フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数である。
可能な実装において、目標モードは、ＨＴ機能を実行するようにヘッドセットに指示する。第１処理モジュール１９０３は具体的には、第１信号に対して第１信号処理を実行して第１処理済み信号を取得することであって、第１信号処理は第２フィルタリング処理を含む、こと、第１処理済み信号及び第１オーディオ信号に対してオーディオミキシング処理を実行して第５オーディオ信号を取得すること、第２信号に含まれる第５オーディオ信号をフィルタリング除去して第２フィルタリング済み信号を取得すること、第２フィルタリング済み信号に対して第３フィルタリング処理を実行して第３フィルタリング済み信号を取得すること、及び、第３フィルタリング済み信号及び第５オーディオ信号に対してオーディオミキシング処理を実行して第２オーディオ信号を取得することを行うよう構成される。
可能な実装において、第２フィルタリング処理に使用されるフィルタリング係数は、ＨＴ機能の場合において第２フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数であり、又は、第３フィルタリング処理に使用されるフィルタリング係数は、ＨＴ機能の場合において第３フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数である。
可能な実装において、目標モードは、ＡＨ機能を実行するようヘッドセットに指示する。第１処理モジュール１９０３は具体的には、第１信号に対して第２フィルタリング処理を実行して第２フィルタリング信号を取得し、第２フィルタリング信号に対して強化処理を実行してフィルタリング強化信号を取得し、第１信号に対して第１フィルタリング処理を実行して第１フィルタリング信号を取得し、フィルタリング強化信号及び第１オーディオ信号に対してオーディオミキシング処理を実行して第６オーディオ信号を取得し、第２信号に含まれる第６オーディオ信号をフィルタリング除去して第４フィルタリング済み信号を取得し、第４フィルタリング済み信号に対して第３フィルタリング処理を実行して第５フィルタリング済み信号を取得し、第５フィルタリング済み信号、第６オーディオ信号、及び第１フィルタリング信号に対してオーディオミキシング処理を実行して第２オーディオ信号を取得するよう構成される。
可能な実装において、第１フィルタリング処理について使用されるフィルタリング係数は、ＡＨ機能の場合における第１フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数であり、第２フィルタリング処理について使用されるフィルタリング係数は、ＡＨ機能の場合における第２フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数であり、又は、第３フィルタリング処理について使用されるフィルタリング係数は、ＡＨ機能の場合における第３フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数である。
前述の方法の実施形態における機能を実装するために、端末デバイスは、各機能を実行するための対応するハードウェア構造及び／又はソフトウェアモジュールを含むと理解され得る。当業者であれば、本願において開示される実施形態において説明される例におけるモジュール及び方法の段階を参照して、本願はハードウェア又はハードウェア及びコンピュータソフトウェアの組み合わせによって実装され得ることに容易に気付くであろう。機能がハードウェアによって実行されるか、又は、コンピュータソフトウェアによって駆動されるハードウェアによって実行されるかは、特定の適用場面、及び、技術的解決策の設計の制約に依存する。
前述の方法と同一の発明の着想に基づいて、図２０に示されるように、本願の実施形態は更にモード制御装置２０００を提供する。モード制御装置２０００は端末デバイス１００に適用され、前述の方法の実施形態において端末デバイスの機能を実装するように構成され得る。したがって、前述の方法の実施形態の有益な効果を実装できる。
モード制御装置２０００は第１検出モジュール２００１及び送信モジュール２００２を含み、表示モジュール２００３及び第２検出モジュール２００４を更に含み得る。
第１検出モジュール２００１は、現在の外部環境の場面タイプを目標場面として識別するとき、目標場面に基づいて目標モードを判定するように構成される。
目標モードは、ヘッドセットによってサポートされる処理モードの１つである。異なる処理モードは異なる場面タイプに対応する。ヘッドセットによってサポートされる処理モードは、アクティブノイズコントロールＡＮＣモード、環境音ヒアスルーＨＴモード、又は聴覚増強ＡＨモードのうちの少なくとも２つを含む。
送信モジュール２００２は、目標モードをヘッドセットへ送信するように構成される。目標モードは、目標モードに対応する処理機能を実装するようヘッドセットに指示する。
可能な実装において、装置は更に、目標モードが目標場面に基づいて決定されるとき、結果プロンプト情報を表示するように構成される表示モジュール２００３を備え、結果プロンプト情報は、目標モードに対応する処理機能をヘッドセットが実装することをユーザにプロンプトするために使用される。
可能な実装において、表示モジュール２００３は、第１制御信号がヘッドセットへ送信される前に、選択プロンプト情報を表示するように構成され、選択プロンプト情報は、ヘッドセットの処理モードを目標モードに調整するかどうかをユーザにプロンプトするために使用される。
第２検出モジュール２００４は、ヘッドセットの処理モードを目標モードとして選択するユーザ操作を検出するように構成される。
可能な実装において、表示モジュール２００３は更に、第１コントロール及び第２コントロールを表示するように構成される。第１コントロール上の第２コントロール異なる位置は、目標モードにおける異なる処理強度を示す。
第２検出モジュール２００４は更に、送信モジュール２００２が第１制御信号をヘッドセットへ送信する前に、第２コントロールをタッチアンドホールドするユーザ操作を検出して、第１コントロール上の第１位置に移動させるように構成される。第１コントロール上の第２コントロールの第１位置は、目標モードにおける目標処理強度を示す。
送信モジュール２００２は更に、目標処理強度をヘッドセットへ送信するように構成される。目標処理強度は、ヘッドセットが目標モードに対応する処理機能を実装するときに使用される処理強度を示す。
可能な実装において、第１コントロールはリング形状である。ユーザが第２コントロールをタッチアンドホールドして、時計回り方向で第１コントロール上で動かすとき、目標モードにおける処理強度が増加する。又は、ユーザが第２コントロールをタッチアンドホールドして、反時計周り方向で第１コントロール上で動かすとき、目標モードにおける処理強度が増加する。
可能な実装において、第１コントロールはバー形状である。ユーザが第２コントロールをタッチアンドホールドして、第１コントロール上で上から下に移動するとき、目標モードにおける処理強度は増加する。ユーザが第２コントロールをタッチアンドホールドして、第１コントロール上で下から上に動かすとき、目標モードにおける処理強度が増加する。ユーザが第２コントロールをタッチアンドホールドして、第１コントロール上で左から右に動かすとき、目標モードにおける処理強度が増加する。又は、ユーザが第２コントロールをタッチアンドホールドして、第１コントロール上で右から左に動かすとき、目標モードにおける処理強度が増加する。
可能な実装において、目標処理機能がＡＮＣ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音及びユーザの外耳道における環境音のより弱いユーザ感知を示し、目標処理機能がＨＴ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音のより強いユーザ感知を示し、又は、目標処理機能がＡＨ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音に含まれるイベント音のより強いユーザ感知を示す。
前述の方法と同一の発明の着想に基づいて、図２１に示されるように、本願の実施形態は更にモード制御装置２１００を提供する。モード制御装置２１００は端末デバイス１００に適用され、前述の方法の実施形態において端末デバイスの機能を実装するように構成され得る。したがって、前述の方法の実施形態の有益な効果を実装できる。モード制御装置２１００は、処理モジュール２１０１、送信モジュール２１０２、受信モジュール２１０３、表示モジュール２１０４及び検出モジュール２１０５を含む。
処理モジュール２１０１は目標モードを取得するように構成される。目標モードはヘッドセットによってサポートされる処理モードの１つである。ヘッドセットによってサポートされる処理モードは、アクティブノイズコントロールＡＮＣモード、環境音ヒアスルーＨＴモード、又は聴覚増強ＡＨモードのうちの少なくとも２つを含む。
処理モジュール２１０１は更に、現在の外部環境の場面タイプに基づいて目標モードにおける目標処理強度を決定するように構成される。異なる場面タイプは目標モードにおける異なる処理強度に対応する。
送信モジュール２１０２は、目標処理強度をヘッドセットへ送信するように構成される。目標処理強度は、目標モードに対応する処理機能をヘッドセットが実装するときに使用される処理強度を示す。
可能な実装において、装置は更に、ヘッドセットによって送信された目標モードを受信するように構成される受信モジュール２１０３を備える。
可能な実装において、装置は更に、ヘッドセットによってサポートされる処理モードを含む選択コントロールを表示するように、及び、選択コントロールを使用することによってヘッドセットの処理モードから目標モードを選択するユーザ操作を検出するように構成される表示モジュール２１０４を備える。
可能な実装において、表示モジュール２１０４は更に、処理モジュール２１０１が現在の外部環境の場面タイプに基づいて目標モードにおける目標処理強度を決定する前に、受信モジュール２１０３がヘッドセットによって送信された目標モードを受信した場合、選択プロンプト情報を表示するように構成され、選択プロンプト情報は、ヘッドセットの処理モードを目標モードに調整するかどうかをユーザにプロンプトするために使用される。
装置は更に、ヘッドセットの処理モードを目標モードとして選択及び調整するユーザ操作を検出するように構成される検出モジュール２１０５を備える。
可能な実装において、目標処理機能がＡＮＣ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音及びユーザの外耳道における環境音のより弱いユーザ感知を示し、目標処理機能がＨＴ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音のより強いユーザ感知を示し、又は、目標処理機能がＡＨ機能であるとき、より大きい目標処理強度は、現在のユーザ環境における音に含まれるイベント音のより強いユーザ感知を示す。
前述の方法と同一の発明の着想に基づいて、図２２に示されるように、本願の実施形態は更にモード制御装置２２００を提供する。モード制御装置２２００は端末デバイス１００に適用され、前述の方法の実施形態において端末デバイスの機能を実装するように構成され得る。したがって、前述の方法の実施形態の有益な効果を実装できる。モード制御装置２１００は、表示モジュール２２０１、検出モジュール２２０２、送信モジュール２２０３及び識別モジュール２２０４を含む。
表示モジュール２２０１は第１インタフェースを表示するように構成される。第１インタフェースは第１選択コントロールを含む。第１選択コントロールは、第１目標イヤホンによってサポートされる処理モード、及び、第１目標イヤホンによってサポートされる処理モードに対応する処理強度を含む。第１目標イヤホンの処理モードは、アクティブノイズコントロールＡＮＣモード、環境音ヒアスルーＨＴモード又は聴覚増強ＡＨモードのうちの少なくとも２つを含む。
検出モジュール２２０２は、第１インタフェースに対してユーザによって実行される第１操作を検出するように構成される。第１操作は、ユーザが第１選択コントロールを使用することによって、第１目標イヤホンによってサポートされる処理モードから第１目標モードを選択し、第１目標モードにおける処理強度を第１目標処理強度として選択するときに生成される。
送信モジュール２２０３は、第１目標モード及び第１目標処理強度を第１目標イヤホンへ送信するように構成される。第１目標モードは、第１目標モードに対応する処理機能を実装するように第１目標イヤホンに指示する。第１目標処理強度は、第１目標イヤホンが第１目標モードに対応する処理機能を実装するときに使用される処理強度を示す。
可能な実装において、表示モジュール２２０１は更に、第１インタフェースが表示される前に、選択プロンプト情報を表示するように構成される。選択プロンプト情報は、ユーザが第１目標イヤホンの処理モードを調整するかどうかを選択するために使用される。
検出モジュール２２０２は更に、第１目標イヤホンの処理モードを選択及び調整するユーザ操作を検出するように構成される。
可能な実装において、装置は更に、表示モジュール２２０１が第１インタフェースを表示する前に、目標場面として現在の外部環境の場面タイプを識別するように構成される識別モジュール２２０４を備え、目標場面は、第１目標イヤホンの処理モードが調整される必要がある場面タイプに適合する。
可能な実装において、装置は更に、表示モジュール２２０１が第１インタフェースを表示する前に、端末デバイスが第１目標イヤホンをトリガしてオーディオを再生することを識別するように構成される識別モジュール２２０４を備える。
可能な実装において、検出モジュール２２０２は更に、表示モジュールが第１インタフェースを表示する前に、端末デバイスが第１目標イヤホンとの接続を確立することを検出するように構成される。
可能な実装において、表示モジュール２２０１が第１インタフェースを表示する前に、端末デバイスが第１目標イヤホンとの接続を確立することが検出された場合、検出モジュール２２０２は、ホーム画面上でユーザによって実行される第２操作を検出する。
ホーム画面は第１アプリケーションのアイコンを含む。第２操作は、ユーザが第１アプリケーションのアイコンをタッチするときに生成される。第１インタフェースは第１アプリケーションの表示インタフェースである。
可能な実装において、第１選択コントロールは第１コントロール及び第２コントロールを含む。第１コントロール上の第２コントロールの任意の２つの異なる位置は、第１目標イヤホンの２つの異なる処理モードを示し、又は、第１コントロール上の第２コントロールの任意の２つの異なる位置は、第１目標イヤホンの同一の処理モードにおける異なる処理強度を示す。
第１操作は、ユーザが第１目標モードに対応する領域において第１コントロール上で第２コントロールの第１位置を動かすときに生成される。第１位置は、第１目標モードにおける第１目標処理強度に対応する。
可能な実装において、第１コントロールはリング形状である。リングは少なくとも２つの円弧セグメントを含む。異なる円弧セグメントに位置する第２コントロールは、第１目標イヤホンの異なる処理モードを示す。同一の円弧セグメント上の第２コントロールの異なる位置は、第１目標イヤホンの同一の処理モードにおける異なる処理強度を示す。
代替的に、第１コントロールはバー形状である。バーは少なくとも２つのバーセグメントを含む。異なるバーセグメントに位置する第２コントロールは、第１目標イヤホンの異なる処理モードを示す。同一のバーセグメント上の第２コントロールの異なる位置は、第１目標イヤホンの同一の処理モードにおける異なる処理強度を示す。
可能な実装において、検出モジュール２２０２は更に、第１インタフェース上でユーザによって実行される第３操作を検出するように構成される。第１インタフェースは更に第２選択コントロールを含む。第２選択コントロールは、第２目標イヤホンによってサポートされる処理モード、及び、第２目標イヤホンによってサポートされる処理モードに対応する処理強度を含む。第２目標イヤホンによってサポートされる処理モードは、アクティブノイズコントロールＡＮＣモード、環境音ヒアスルーＨＴモード、又は聴覚増強ＡＨモードのうちの少なくとも２つを含む。第３操作は、ユーザが第２選択コントロールを使用することによって、第２目標イヤホンの処理モードから第２目標モードを選択し、第２目標モードにおける処理強度を第２目標処理強度として選択するときに生成される。第１目標イヤホンが左イヤホンであるとき、第２目標イヤホンは右イヤホンであり、又は、第１目標イヤホンが右イヤホンであるとき、第２目標イヤホンは左イヤホンである。
送信モジュール２２０３は更に、第２目標モード及び第２目標処理強度を第２目標イヤホンへ送信するように構成される。第２目標モードは第２目標イヤホンに、第２目標モードに対応する処理機能を実装するように指示する。第２目標処理強度は、第２目標モードに対応する処理機能を第２目標イヤホンが実装するときに使用される処理強度を示す。
これに鑑み、本願の実施形態は更に端末デバイスを提供する。図２３に示されるように、端末デバイスは、プロセッサ２３０１、メモリ２３０２、通信インタフェース２３０３及び表示２３０４を備える。メモリ２３０２は、プロセッサ２３０１によって実行される命令又はプログラムを記憶し、命令又はプログラムを実行するためにプロセッサ２３０１によって必要とされる入力データを記憶し、又は、プロセッサ２３０１が命令又はプログラムを実行した後に生成されたデータを記憶するように構成される。プロセッサ２３０１は、メモリ２３０２に記憶された命令又はプログラムを実行して、前述の方法において、端末デバイスによって実行される機能を実行するよう構成される。
可能な場面において、プロセッサ２３０１は、第１検出モジュール２００１、送信モジュール２００２、表示モジュール２００３及び第２検出モジュール２００４の機能を実行するように構成される。代替的に、プロセッサ２３０１は、第１検出モジュール２００１及び第２検出モジュール２００４の機能を実行するように構成される。送信モジュール２００２の機能は通信インタフェース２３０３によって実装される。表示モジュール２００３の機能はディスプレイ２３０４によって実装され得る。
別の可能な場面において、処理モジュール２１０１、送信モジュール２１０２、受信モジュール２１０３、表示モジュール２１０４及び検出モジュール２１０５はプロセッサ２３０１によって実装され得る。代替的に、プロセッサ２３０１は、処理モジュール２１０１及び検出モジュール２１０５の機能を実行するように構成され得る。送信モジュール２１０２及び受信モジュール２１０３の機能は通信インタフェース２３０３によって実装され得る。表示モジュール２１０４の機能はディスプレイ２３０４によって実装され得る。
なお別の可能な場面において、表示モジュール２２０１、検出モジュール２２０２、送信モジュール２２０３、及び識別モジュール２２０４はプロセッサ２３０１によって実装され得る。代替的に、検出モジュール２２０２及び識別モジュール２２０４の両方の機能はプロセッサ２３０１によって実装され得る。送信モジュール２２０３の機能は通信インタフェース２３０３によって実装され得る。表示モジュール２２０１の機能はディスプレイ２３０４によって実装され得る。
本願の実施形態において言及されるプロセッサは、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であり得るか、又は、プロセッサは、別の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ， ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ， ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ， ＦＰＧＡ）、又は、別のプログラマブル論理デバイス、トランジスタロジックデバイス、ハードウェアコンポーネント、又は任意の組み合わせであり得ることが理解されるべきである。汎用プロセッサはマイクロプロセッサ又は任意の従来型プロセッサ又は同様のものであり得る。
本願の実施形態における方法の段階は、ハードウェア方式で実装され得るか、又は、プロセッサによってソフトウェア命令を実行する方式で実装され得る。ソフトウェア命令は、対応するソフトウェアモジュールを含んでよい。ソフトウェアモジュールは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ、リードオンリメモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、又はプログラマブルリードオンリメモリ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）、レジスタ、ハードディスク、着脱式ハードディスク、ＣＤ－ＲＯＭ、又は、当技術分野において周知であるいずれかの他の形態の記憶媒体に記憶され得る。例えば、記憶媒体がプロセッサに結合されることにより、プロセッサは、記憶媒体から情報を読み出す、又は記憶媒体に情報を書き込むことができる。もちろん、記憶媒体は、プロセッサのコンポーネントであってよい。プロセッサ及び記憶媒体は、ＡＳＩＣに配置されてよい。加えて、ＡＳＩＣは、端末デバイスに位置してよい。もちろん、プロセッサ及び記憶媒体は、ディスクリートコンポーネントとして端末デバイスに存在してもよい。
前述の実施形態の全て又はいくつかが、ソフトウェア、ハードウェア、ファームウェア、又はその任意の組み合わせを使用することにより実装されてよい。ソフトウェアが実施形態を実装するために用いられる場合、実施形態の全部又は一部がコンピュータプログラム製品の形式で実装されてよい。コンピュータプログラム製品は、１又は複数のコンピュータプログラム又は命令を含む。コンピュータプログラム又は命令がロードされ、コンピュータ上で実行された場合、本願の実施形態による手順又は機能が全て又は部分的に実装される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、ユーザ機器、又は別のプログラマブル装置であり得る。コンピュータプログラム又は命令は、コンピュータ可読記憶媒体に記憶され得るか、又は、１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体へ送信され得る。例えば、コンピュータプログラム又は命令は、有線方式又は無線方式で、１つのウェブサイト、コンピュータ、サーバ又はデータセンタから別のウェブサイト、コンピュータ、サーバ又はデータセンタへ送信され得る。コンピュータ可読記憶媒体は、コンピュータ、又は、１又は複数の使用可能な媒体を統合するサーバ若しくはデータセンタなどのデータ記憶デバイスによってアクセス可能な任意の使用可能な媒体であってよい。使用可能な媒体は、磁気媒体、例えば、フロッピディスク、ハードディスク又は磁気テープであり得、光媒体、例えば、デジタルビデオディスク（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ， ＤＶＤ）であり得、半導体媒体、例えば、ソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ， ＳＳＤ）又は同様のものであり得る。
本願の実施形態において、別段の定めが無い限り、又は、論理的矛盾が無い限り、異なる実施形態の間の用語及び／又は説明は一貫し、相互に参照され得、異なる実施形態における技術的特徴は、それらの内部論理関係に基づいて組み合わされ、新しい実施形態を形成し得る。加えて、「含む（ｉｎｃｌｕｄｅ）」、「有する（ｈａｖｅ）」という用語及びこれらの任意の変形例は、非排他的包含をカバーする、例えば、一連の段階又はユニットを含むことを意図する。方法、システム、製品又はデバイスは、文字通りに列挙されているこれらの段階又はユニットに必ずしも限定されるものではないが、文字通りに列挙されていない、又は、そのようなプロセス、方法、製品又はデバイスに対して固有の他の段階又はユニットを含み得る。
本願が、特定の特徴及びその実施形態を参照して説明されるが、本願の趣旨及び範囲から逸脱することなく、それらに対して様々な修正及び組み合わせが加えられ得ることは明確である。それに対応して、明細書及び添付図面は単に、添付の特許請求の範囲によって定義される解決手段の説明のための例であり、本願の範囲をカバーする修正、変形、組み合わせ又は同等物のいずれか又はすべてとみなされる。
当業者であれば、本願の範囲から逸脱することなく、本願に対して様々な修正及び変形を加えることができることは明確である。本願は、以下の特許請求の範囲及び同等の技術により定義される保護の範囲に含まれる限り、これらの修正及び変形を包含することを目的としている。

Claims (42)

  1. ヘッドセットノイズ処理方法であって、ヘッドセットはアクティブノイズコントロール（ＡＮＣ）機能、環境音ヒアスルー（ＨＴ）機能、又は聴覚増強（ＡＨ）機能のうちの少なくとも２つの機能を有し、前記ヘッドセットは第１マイクロホン及び第２マイクロホンを備え、前記第１マイクロホンは、第１信号を収集するように構成され、前記第１信号は、現在の外部環境における音を示し、前記第２マイクロホンは、第２信号を収集するように構成され、前記第２信号は、前記ヘッドセットを装着しているユーザの外耳道における環境音を示し、
    前記ヘッドセットノイズ処理方法は、
    端末デバイスから第１オーディオ信号を受信する段階；
    目標モードを取得する段階であって、前記目標モードは、前記現在の外部環境の場面タイプに基づいて決定され、前記目標モードは、目標処理機能を実行するよう前記ヘッドセットに指示し、前記目標処理機能は、前記アクティブノイズコントロール（ＡＮＣ）機能、前記環境音ヒアスルー（ＨＴ）機能、又は、前記聴覚増強（ＡＨ）機能のうちの１つである、段階；及び
    前記目標モード、前記第１オーディオ信号、前記第１信号、及び前記第２信号に基づいて第２オーディオ信号を取得する段階
    を備える方法。
  2. 前記ヘッドセットは更に、スピーカを備え、前記スピーカは、前記第２オーディオ信号を再生するように構成される、請求項１に記載の方法。
  3. 前記目標処理機能が前記ＡＮＣ機能であるとき、前記スピーカによって再生される前記第２オーディオ信号は、前記現在のユーザ環境における前記音、前記ユーザの前記外耳道における前記環境音のユーザ感知を弱めることが可能であり、
    前記目標処理機能が前記ＨＴ機能であるとき、前記スピーカによって再生される前記第２オーディオ信号は、前記現在のユーザ環境における前記音のユーザ感知を強化することが可能であり、又は、
    前記目標処理機能が前記ＡＨ機能であるとき、前記スピーカによって再生される前記第２オーディオ信号は、イベント音のユーザ感知を強化することが可能であり、前記イベント音は予め設定されたスペクトルを満たす、
    請求項２に記載の方法。
  4. 前記目標処理機能が前記ＡＮＣ機能であるとき、前記第２オーディオ信号は、前記第１オーディオ信号、第３信号、及び第４信号に基づいて取得され、前記第３信号は、前記第１信号の逆位相信号であり、前記第４信号は前記第２信号の逆位相信号であり、
    前記目標処理機能が前記ＨＴ機能であるとき、前記第２オーディオ信号は、前記第１オーディオ信号、前記第１信号、及び前記第２信号に基づいて取得され、又は、
    前記目標処理機能が前記ＡＨ機能であるとき、前記第２オーディオ信号は、前記第１オーディオ信号、第５信号、及び第４信号に基づいて取得され、前記第５信号は、前記第１信号におけるイベント信号であり、前記イベント信号は予め設定されたスペクトルを満たす、請求項１から３のいずれか一項に記載の方法。
  5. 目標モードを取得する前記段階は、
    第１制御命令を前記端末デバイスから受信する段階であって、前記第１制御命令は前記目標モードを保持し、前記目標モードは、前記現在の外部環境の前記場面タイプに基づいて前記端末デバイスによって決定される、段階を含む、請求項１から４のいずれか一項に記載の方法。
  6. 前記方法は、第２制御命令を前記端末デバイスから受信する段階であって、前記第２制御命令は目標処理強度を保持し、前記目標処理強度は、前記ヘッドセットが前記目標処理機能を実行するときに使用される処理強度を示す、段階を更に備え、
    前記目標モード、前記第１オーディオ信号、前記第１信号及び前記第２信号に基づいて第２オーディオ信号を取得する前記段階は、
    前記目標モード、前記目標処理強度、前記第１オーディオ信号、前記第１信号及び前記第２信号に基づいて前記第２オーディオ信号を取得する段階を含む、請求項５に記載の方法。
  7. 前記方法は、前記第１信号に基づいて、前記現在の外部環境におけるイベント音に対応する目標イベントを決定し、前記目標イベントに基づいて前記目標モードにおける目標処理強度を決定する段階であって、前記目標処理強度は、前記ヘッドセットが前記目標処理機能を実行するときに使用される処理強度を示し、異なる処理強度は異なるイベントに対応する、段階を更に備え、
    前記目標モード、前記第１オーディオ信号、前記第１信号、及び前記第２信号に基づいて、第２オーディオ信号を取得する段階は、
    前記目標モード、前記目標処理強度、前記第１オーディオ信号、前記第１信号、及び前記第２信号に基づいて、前記第２オーディオ信号を取得する段階を含む、請求項５に記載の方法。
  8. 前記ヘッドセットは更に、骨伝導センサを備え、前記骨伝導センサは、前記ユーザの声帯の振動によって生成された骨伝導信号を収集するように構成され、前記第１信号に基づいて、前記現在の外部環境におけるイベント音に対応する目標イベントを決定する段階は、
    前記第１信号及び前記骨伝導信号に基づいて、前記現在の外部環境における前記イベント音に対応する前記目標イベントを決定する段階を含む、請求項７に記載の方法。
  9. 前記目標イベントは、ハウリングイベント、ウインドノイズイベント、緊急イベント又は人声イベントのうちの１つを含む、請求項８に記載の方法。
  10. 目標モードを取得する前記段階は、
    前記第１信号に基づいて、前記現在の外部環境の前記場面タイプを目標場面として識別し、前記目標場面に基づいて、前記ヘッドセットの前記目標モードを決定する段階であって、前記目標モードは、前記目標場面に対応する処理モードであり、異なる処理モードは異なる場面タイプに対応する、段階を含む、請求項１から４のいずれか一項に記載の方法。
  11. 前記目標場面は、歩く場面、走る場面、静かな場面、複数人が話す場面、カフェの場面、地下鉄の場面、電車の場面、待合室の場面、対話の場面、オフィスの場面、屋外の場面、運転の場面、強風の場面、飛行機の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面のうちの１つを含む、請求項１０に記載の方法。
  12. 前記方法は、
    指示情報を前記端末デバイスへ送信する段階であって、前記指示情報は前記目標モードを保持する、段階；及び
    第３制御信号を前記端末デバイスから受信する段階であって、前記第３制御信号は、前記目標モードにおける目標処理強度を含み、前記目標処理強度は、前記ヘッドセットが前記目標処理機能を実行するときに使用される処理強度を示す、段階
    を更に備え、前記目標モード、前記第１オーディオ信号、前記第１信号、及び前記第２信号に基づいて第２オーディオ信号を取得する前記段階は、
    前記目標モード、前記目標処理強度、前記第１オーディオ信号、前記第１信号及び前記第２信号に基づいて前記第２オーディオ信号を取得する段階を含む、請求項１０又は１１に記載の方法。
  13. 前記目標処理機能が前記ＡＮＣ機能であるとき、より大きい目標処理強度は、前記現在のユーザ環境における前記音、及び、前記ユーザの前記外耳道における前記環境音のより弱いユーザ感知を示し、
    前記目標処理機能が前記ＨＴ機能であるとき、より大きい目標処理強度は、前記現在のユーザ環境における前記音のより強いユーザ感知を示し、又は、
    前記目標処理機能が前記ＡＨ機能であるとき、より大きい目標処理強度は、前記現在のユーザ環境における前記音に含まれるイベント音のより強いユーザ感知を示す、請求項６、７又は１２のいずれか一項に記載の方法。
  14. 前記ヘッドセットは左イヤホンであるか、又は前記ヘッドセットは右イヤホンである、請求項１から１３のいずれか一項に記載の方法。
  15. 前記目標モードは、前記ＡＮＣ機能を実行するよう前記ヘッドセットに指示し、前記目標モード、前記第１オーディオ信号、前記第１信号及び前記第２信号に基づいて第２オーディオ信号を取得する前記段階は、
    前記第１信号に対して第１フィルタリング処理を実行して第１フィルタリング信号を取得する段階；
    前記第２信号に含まれる前記第１オーディオ信号をフィルタリング除去して、第１フィルタリング済み信号を取得する段階；
    前記第１フィルタリング信号及び前記フィルタリング済み信号に対してオーディオミキシング処理を実行して、第３オーディオ信号を取得する段階；
    前記第３オーディオ信号に対して第３フィルタリング処理を実行して第４オーディオ信号を取得する段階；及び
    前記第４オーディオ信号及び前記第１オーディオ信号に対してオーディオミキシング処理を実行して前記第２オーディオ信号を取得する段階
    を含む、請求項１から１４のいずれか一項に記載の方法。
  16. 前記第１フィルタリング処理に使用されるフィルタリング係数は、前記ＡＮＣ機能の場合における前記第１フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数であり、又は、
    前記第３フィルタリング処理に使用されるフィルタリング係数は、前記ＡＮＣ機能の場合における前記第３フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数である、請求項１５に記載の方法。
  17. 前記目標モードは、前記ＨＴ機能を実行するよう前記ヘッドセットに指示し、前記目標モード、前記第１オーディオ信号、前記第１信号及び前記第２信号に基づいて第２オーディオ信号を取得する前記段階は、
    前記第１信号に対して第１信号処理を実行して第１処理済み信号を取得する段階であって、前記第１信号処理は第２フィルタリング処理を含む、段階と、
    前記第１処理済み信号及び前記第１オーディオ信号に対してオーディオミキシング処理を実行して第５オーディオ信号を取得する段階；
    前記第２信号に含まれる前記第５オーディオ信号をフィルタリング除去して第２フィルタリング済み信号を取得する段階；
    前記第２フィルタリング済み信号に対して第３フィルタリング処理を実行して第３フィルタリング済み信号を取得する段階；及び
    前記第３フィルタリング済み信号及び前記第５オーディオ信号に対してオーディオミキシング処理を実行して前記第２オーディオ信号を取得する段階
    を含む、請求項１から１４のいずれか一項に記載の方法。
  18. 前記第２フィルタリング処理について使用されるフィルタリング係数は、前記ＨＴ機能の場合における前記第２フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数であり、又は、
    前記第３フィルタリング処理について使用されるフィルタリング係数は、前記ＨＴ機能の場合における前記第３フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数である、請求項１７に記載の方法。
  19. 前記目標モードは、前記ＡＨ機能を実行するよう前記ヘッドセットに指示し、前記目標モード、前記第１オーディオ信号、前記第１信号及び前記第２信号に基づいて第２オーディオ信号を取得する前記段階は、
    前記第１信号に対して第２フィルタリング処理を実行して第２フィルタリング信号を取得し、前記第２フィルタリング信号に対して強化処理を実行してフィルタリング強化信号を取得する段階；
    前記第１信号に対して第１フィルタリング処理を実行して第１フィルタリング信号を取得する段階；
    前記フィルタリング強化信号及び前記第１オーディオ信号に対してオーディオミキシング処理を実行して第６オーディオ信号を取得する段階；
    前記第２信号に含まれる前記第６オーディオ信号をフィルタリング除去して第４フィルタリング済み信号を取得する段階；
    前記第４フィルタリング済み信号に対して第３フィルタリング処理を実行して第５フィルタリング済み信号を取得する段階；
    前記第５フィルタリング済み信号、前記第６オーディオ信号、及び前記第１フィルタリング信号に対してオーディオミキシング処理を実行して前記第２オーディオ信号を取得する段階；
    を含む、請求項１から１４のいずれか一項に記載の方法。
  20. 前記第１フィルタリング処理について使用されるフィルタリング係数は、前記ＡＨ機能の場合における前記第１フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数であり、
    前記第２フィルタリング処理について使用されるフィルタリング係数は、前記ＡＨ機能の場合における前記第２フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数であり、又は、
    前記第３フィルタリング処理について使用されるフィルタリング係数は、前記ＡＨ機能の場合における前記第３フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数である、請求項１９に記載の方法。
  21. ノイズ処理装置であって、前記ノイズ処理装置はヘッドセットに適用され、前記ヘッドセットは、アクティブノイズコントロール（ＡＮＣ）機能、環境音ヒアスルー（ＨＴ）機能、又は聴覚増強（ＡＨ）機能のうちの少なくとも２つの機能を有し、前記ヘッドセットは、第１マイクロホン及び第２マイクロホンを備え、前記第１マイクロホンは第１信号を収集するように構成され、前記第１信号は、現在の外部環境における音を示し、前記第２マイクロホンは、第２信号を収集するように構成され、前記第２信号は、前記ヘッドセットを装着しているユーザの外耳道における環境音を示し、前記ノイズ処理装置は、
    第１オーディオ信号を端末デバイスから受信するように構成される通信モジュール；
    目標モードを取得するように構成される取得モジュールであって、前記目標モードは、前記現在の外部環境の場面タイプに基づいて決定され、前記目標モードは、目標処理機能を実行するよう前記ヘッドセットに指示し、前記目標処理機能は、前記アクティブノイズコントロール（ＡＮＣ）機能、前記環境音ヒアスルー（ＨＴ）機能又は前記聴覚増強（ＡＨ）機能のうちの１つである、取得モジュール；及び
    前記目標モード、前記第１オーディオ信号、前記第１信号、及び前記第２信号に基づいて第２オーディオ信号を取得するように構成される第１処理モジュール；
    を備える装置。
  22. 前記装置は更に、前記第２オーディオ信号を再生するように構成される再生モジュールを備える、請求項２１に記載の装置。
  23. 前記目標処理機能が前記ＡＮＣ機能であるとき、前記再生モジュールによって再生される前記第２オーディオ信号は、前記現在のユーザ環境における前記音、及び、前記ユーザの前記外耳道における前記環境音のユーザ感知を弱めることが可能であり、
    前記目標処理機能が前記ＨＴ機能であるとき、前記再生モジュールによって再生される前記第２オーディオ信号は、前記現在のユーザ環境における前記音のユーザ感知を強化することが可能であり、又は、
    前記目標処理機能が前記ＡＨ機能であるとき、前記再生モジュールによって再生される前記第２オーディオ信号は、イベント音のユーザ感知を強化することが可能であり、前記イベント音は予め設定されたスペクトルを満たす、請求項２２に記載の装置。
  24. 前記目標処理機能が前記ＡＮＣ機能であるとき、前記第２オーディオ信号は、前記第１オーディオ信号、第３信号、及び第４信号に基づいて取得され、前記第３信号は、前記第１信号の逆位相信号であり、前記第４信号は前記第２信号の逆位相信号であり、
    前記目標処理機能が前記ＨＴ機能であるとき、前記第２オーディオ信号は、前記第１オーディオ信号、前記第１信号、及び前記第２信号に基づいて取得され、又は、
    前記目標処理機能が前記ＡＨ機能であるとき、前記第２オーディオ信号は、前記第１オーディオ信号、第５信号、及び第４信号に基づいて取得され、前記第５信号は、前記第１信号におけるイベント信号であり、前記イベント信号は予め設定されたスペクトルを満たす、請求項２１から２３のいずれか一項に記載の装置。
  25. 前記通信モジュールは更に、
    第１制御命令を前記端末デバイスから受信することであって、前記第１制御命令は前記目標モードを保持し、前記目標モードは、前記現在の外部環境の前記場面タイプに基づいて前記端末デバイスによって決定される、こと、及び、
    前記目標モードを前記取得モジュールへ送信すること
    を行うように構成される、請求項２１から２４のいずれか一項に記載の装置。
  26. 前記通信モジュールは更に、第２制御命令を前記端末デバイスから受信することであって、前記第２制御命令は目標処理強度を保持し、前記目標処理強度は、前記ヘッドセットが前記目標処理機能を実行するときに使用される処理強度を示す、ことを行うように構成され、
    前記第１処理モジュールは具体的には、前記目標モード、前記目標処理強度、前記第１オーディオ信号、前記第１信号及び前記第２信号に基づいて前記第２オーディオ信号を取得するように構成される、請求項２５に記載の装置。
  27. 前記装置は、前記第１信号に基づいて、前記現在の外部環境におけるイベント音に対応する目標イベントを決定し、前記目標イベントに基づいて前記目標モードにおける目標処理強度を決定するように構成される第２処理モジュールであって、前記目標処理強度は、前記ヘッドセットが前記目標処理機能を実行するときに使用される処理強度を示し、異なる処理強度は異なるイベントに対応する、第２処理モジュールを更に備え、
    前記第１処理モジュールは具体的には、前記目標モード、前記目標処理強度、前記第１オーディオ信号、前記第１信号及び前記第２信号に基づいて、前記第２オーディオ信号を取得するように構成される、請求項２６に記載の装置。
  28. 前記ヘッドセットは更に骨伝導センサを備え、前記骨伝導センサは、前記ユーザの声帯の振動によって生成される骨伝導信号を収集するように構成され、
    前記第１処理モジュールは具体的には、前記第１信号及び前記骨伝導信号に基づいて、前記現在の外部環境における前記イベント音に対応する前記目標イベントを決定するように構成される、請求項２７に記載の装置。
  29. 前記目標イベントは、ハウリングイベント、ウインドノイズイベント、緊急イベント又は人声イベントである、請求項２８に記載の装置。
  30. 前記第１信号に基づいて、前記現在の外部環境の前記場面タイプを目標場面として識別し、前記目標場面に基づいて前記ヘッドセットの前記目標モードを決定するように構成される第３処理モジュールであって、前記目標モードは、前記目標場面に対応する処理モードであり、異なる処理モードは異なる場面タイプに対応する、第３処理モジュールを更に備える請求項２１から２４のいずれか一項に記載の装置。
  31. 前記目標場面は、歩く場面、走る場面、静かな場面、複数人が話す場面、カフェの場面、地下鉄の場面、電車の場面、待合室の場面、対話の場面、オフィスの場面、屋外の場面、運転の場面、強風の場面、飛行機の場面、アラーム音の場面、警笛音の場面、及び泣き声の場面のうちの１つである、請求項３０に記載の装置。
  32. 前記通信モジュールは更に、
    指示情報を前記端末デバイスへ送信することであって、前記指示情報は前記目標モードを保持する、こと、及び、
    前記端末デバイスから第３制御信号を受信することであって、前記第３制御信号は、前記目標モードにおける目標処理強度を含み、前記目標処理強度は、前記ヘッドセットが前記目標処理機能を実行するときに使用される処理強度を示す、こと、
    を行うよう構成され、前記第１処理モジュールは具体的には、前記目標モード、前記目標処理強度、前記第１オーディオ信号、前記第１信号、及び前記第２信号に基づいて前記第２オーディオ信号を取得するように構成される、請求項３０又は３１に記載の装置。
  33. 前記目標処理機能が前記ＡＮＣ機能であるとき、より大きい目標処理強度は、前記現在のユーザ環境における前記音、及び、前記ユーザの前記外耳道における前記環境音のより弱いユーザ感知を示し、
    前記目標処理機能が前記ＨＴ機能であるとき、より大きい目標処理強度は、前記現在のユーザ環境における前記音のより強いユーザ感知を示し、又は、
    前記目標処理機能が前記ＡＨ機能であるとき、より大きい目標処理強度は、前記現在のユーザ環境における前記音に含まれるイベント音のより強いユーザ感知を示す、請求項２６、２７又は３２のいずれか一項に記載の装置。
  34. 前記ヘッドセットは左イヤホンであり、又は、前記ヘッドセットは右イヤホンである、請求項２１から３３のいずれか一項に記載の装置。
  35. 前記目標モードは、前記ＡＮＣ機能を実行するよう前記ヘッドセットに指示し、前記第１処理モジュールは具体的には、
    前記第１信号に対して第１フィルタリング処理を実行して第１フィルタリング信号を取得すること、
    前記第２信号に含まれる前記第１オーディオ信号をフィルタリング除去して第１フィルタリング済み信号を取得すること、
    前記第１フィルタリング信号及び前記フィルタリング済み信号に対してオーディオミキシング処理を実行して第３オーディオ信号を取得すること、
    前記第３オーディオ信号に対して第３フィルタリング処理を実行して第４オーディオ信号を取得すること、及び、
    前記第４オーディオ信号及び前記第１オーディオ信号に対してオーディオミキシング処理を実行して前記第２オーディオ信号を取得すること
    を行うよう構成される、請求項２１から３４のいずれか一項に記載の装置。
  36. 前記第１フィルタリング処理に使用されるフィルタリング係数は、前記ＡＮＣ機能の場合における前記第１フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数であり、又は、
    前記第３フィルタリング処理に使用されるフィルタリング係数は、前記ＡＮＣ機能の場合における前記第３フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数である、請求項３５に記載の装置。
  37. 前記目標モードは、前記ＨＴ機能を実行するよう前記ヘッドセットに指示し、前記第１処理モジュールは具体的には、
    前記第１信号に対して第１信号処理を実行して第１処理済み信号を取得することであって、前記第１信号処理は第２フィルタリング処理を含む、こと、
    前記第１処理済み信号及び前記第１オーディオ信号に対してオーディオミキシング処理を実行して第５オーディオ信号を取得すること、
    前記第２信号に含まれる前記第５オーディオ信号をフィルタリング除去して第２フィルタリング済み信号を取得すること、
    前記第２フィルタリング済み信号に対して第３フィルタリング処理を実行して第３フィルタリング済み信号を取得すること、及び、
    前記第３フィルタリング済み信号及び前記第５オーディオ信号に対してオーディオミキシング処理を実行して前記第２オーディオ信号を取得すること
    を行うように構成される、請求項２１から３４のいずれか一項に記載の装置。
  38. 前記第２フィルタリング処理について使用されるフィルタリング係数は、前記ＨＴ機能の場合における前記第２フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数であり、又は、
    前記第３フィルタリング処理について使用されるフィルタリング係数は、前記ＨＴ機能の場合における前記第３フィルタリング処理についての目標処理強度に関連付けられたフィルタリング係数である、請求項３７に記載の装置。
  39. 前記目標モードは、前記ＡＨ機能を実行するよう前記ヘッドセットに指示し、前記第１処理モジュールは具体的には、
    前記第１信号に対して第２フィルタリング処理を実行して第２フィルタリング信号を取得し、前記第２フィルタリング信号に対して強化処理を実行してフィルタリング強化信号を取得し、
    前記第１信号に対して第１フィルタリング処理を実行して第１フィルタリング信号を取得し、
    前記フィルタリング強化信号及び前記第１オーディオ信号に対してオーディオミキシング処理を実行して第６オーディオ信号を取得し、
    前記第２信号に含まれる前記第６オーディオ信号をフィルタリング除去して第４フィルタリング済み信号を取得し、
    前記第４フィルタリング済み信号に対して第３フィルタリング処理を実行して第５フィルタリング済み信号を取得し、
    前記第５フィルタリング済み信号、前記第６オーディオ信号、及び前記第１フィルタリング信号に対してオーディオミキシング処理を実行して前記第２オーディオ信号を取得する
    ように構成される、請求項２１から３４のいずれか一項に記載の装置。
  40. 前記第１フィルタリング処理について使用されるフィルタリング係数は、前記ＡＨ機能の場合における前記第１フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数であり、
    前記第２フィルタリング処理について使用されるフィルタリング係数は、前記ＡＨ機能の場合における前記第２フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数であり、又は、
    前記第３フィルタリング処理について使用されるフィルタリング係数は、前記ＡＨ機能の場合における前記第３フィルタリング処理についての目標処理強度に関連付けられるフィルタリング係数である、請求項３９に記載の装置。
  41. 目標ヘッドセットであって、前記目標ヘッドセットは、左イヤホン及び右イヤホンを備え、前記左イヤホンは、請求項１から２０のいずれか一項に記載の方法を実装するように構成され、又は、前記右イヤホンは、請求項１から２０のいずれか一項に記載の方法を実装するように構成される、目標ヘッドセット。
  42. 第１マイクロホン、第２マイクロホン、プロセッサ、メモリ及びスピーカを備える目標ヘッドセットであって、
    前記第１マイクロホンは、第１信号を収集するように構成され、前記第１信号は、現在の外部環境における音を示し、
    前記第２マイクロホンは、第２信号を収集するように構成され、前記第２信号は、前記ヘッドセットを装着しているユーザの外耳道における環境音を示し、
    前記メモリは、プログラム又は命令を記憶するように構成され、
    前記プロセッサは、前記プログラム又は命令を呼び出し、前記目標ヘッドセットが、前記第１信号及び前記第２信号について、請求項１から２０のいずれか一項に記載の方法を実行して第２オーディオ信号を取得することを可能にするように構成され、
    前記スピーカは、前記第２オーディオ信号を再生するように構成される、目標ヘッドセット。
JP2022580546A 2020-06-30 2021-06-30 ヘッドセットノイズ処理方法、装置及びヘッドセット Pending JP2023532078A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010623983.X 2020-06-30
CN202010623983.XA CN113873378B (zh) 2020-06-30 2020-06-30 一种耳机噪声处理方法、装置及耳机
PCT/CN2021/103768 WO2022002166A1 (zh) 2020-06-30 2021-06-30 一种耳机噪声处理方法、装置及耳机

Publications (1)

Publication Number Publication Date
JP2023532078A true JP2023532078A (ja) 2023-07-26

Family

ID=78982040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022580546A Pending JP2023532078A (ja) 2020-06-30 2021-06-30 ヘッドセットノイズ処理方法、装置及びヘッドセット

Country Status (5)

Country Link
US (1) US20230134787A1 (ja)
EP (1) EP4167590A4 (ja)
JP (1) JP2023532078A (ja)
CN (1) CN113873378B (ja)
WO (1) WO2022002166A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507662B (zh) * 2021-06-29 2023-01-10 锐迪科微电子（上海）有限公司 降噪处理方法、装置、设备、存储介质及程序
CN114630239B (zh) * 2022-02-23 2024-08-13 北京小米移动软件有限公司 降低耳机闭塞效应方法、装置及存储介质
WO2023160286A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 降噪参数适配方法和装置
CN116709116A (zh) * 2022-02-28 2023-09-05 北京荣耀终端有限公司 声音信号的处理方法及耳机设备
CN114466278B (zh) * 2022-04-11 2022-08-16 北京荣耀终端有限公司 一种耳机模式对应的参数确定方法、耳机、终端和系统
CN115002595B (zh) * 2022-04-21 2023-03-28 广东华冠智联科技有限公司 耳机的节能控制方法、装置、设备及存储介质
CN114640938B (zh) * 2022-05-18 2022-08-23 深圳市听多多科技有限公司 一种基于蓝牙耳机芯片的助听功能实现方法及蓝牙耳机
CN115206278A (zh) * 2022-06-08 2022-10-18 荣耀终端有限公司 一种声音降噪的方法和装置
WO2023245390A1 (zh) * 2022-06-20 2023-12-28 北京小米移动软件有限公司 智能耳机的控制方法、装置、电子设备和存储介质
CN115134708B (zh) * 2022-06-30 2024-07-30 歌尔股份有限公司 耳机模式切换方法、装置、电子设备及可读存储介质
CN117528370A (zh) * 2022-07-30 2024-02-06 华为技术有限公司 信号处理方法及装置、设备控制方法及装置
CN117676406A (zh) * 2022-08-30 2024-03-08 博通集成电路（上海）股份有限公司 主动降噪耳机
CN115379340A (zh) * 2022-09-13 2022-11-22 湖南炬神电子有限公司 一种消噪运动蓝牙耳机
CN118057837A (zh) * 2022-11-21 2024-05-21 荣耀终端有限公司 透传模式的切换方法和切换装置
CN116156385B (zh) * 2023-04-19 2023-07-07 深圳市汇顶科技股份有限公司 滤波方法、滤波装置、芯片和耳机

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK1439734T3 (da) * 2004-02-10 2009-07-27 Phonak Ag Akustisk modforvrænger for höreapparater
US8923543B2 (en) * 2012-12-19 2014-12-30 Starkey Laboratories, Inc. Hearing assistance device vent valve
EP3255897B1 (en) * 2015-05-15 2021-02-17 Huawei Technologies Co. Ltd. Method and terminal for configuring noise reduction earphone, and noise reduction earphone
CN107533839B (zh) * 2015-12-17 2021-02-23 华为技术有限公司 一种对周围环境音的处理方法及设备
US9830930B2 (en) * 2015-12-30 2017-11-28 Knowles Electronics, Llc Voice-enhanced awareness mode
EP3188495B1 (en) * 2015-12-30 2020-11-18 GN Audio A/S A headset with hear-through mode
KR101756674B1 (ko) * 2016-05-27 2017-07-25 주식회사 이엠텍 보청기 기능의 능동 소음 제거 헤드셋 장치
CN107517415B (zh) * 2016-06-16 2024-06-07 江西斐耳科技有限公司 智能耳机
CN106792315B (zh) * 2017-01-05 2023-11-21 歌尔科技有限公司 一种抵消环境噪声的方法和装置及一种主动降噪耳机
CN206698392U (zh) * 2017-02-14 2017-12-01 歌尔股份有限公司 降噪耳机以及电子设备
US10129633B1 (en) * 2017-10-13 2018-11-13 Bose Corporation Automated awareness for ANR systems
CN108391206A (zh) * 2018-03-30 2018-08-10 广东欧珀移动通信有限公司 信号处理方法、装置、终端、耳机及可读存储介质
CN112770214B (zh) * 2021-01-28 2022-11-11 歌尔科技有限公司 耳机的控制方法、装置及耳机

Also Published As

Publication number Publication date
EP4167590A4 (en) 2023-12-13
CN113873378A (zh) 2021-12-31
EP4167590A1 (en) 2023-04-19
US20230134787A1 (en) 2023-05-04
WO2022002166A1 (zh) 2022-01-06
CN113873378B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN113873378B (zh) 一种耳机噪声处理方法、装置及耳机
WO2022002110A1 (zh) 一种模式控制方法、装置及终端设备
WO2021213120A1 (zh) 投屏方法、装置和电子设备
CN113169760B (zh) 无线短距离音频共享方法及电子设备
WO2021083128A1 (zh) 一种声音处理方法及其装置
WO2021036770A1 (zh) 一种分屏处理方法及终端设备
US20230041696A1 (en) Image Syntheis Method, Electronic Device, and Non-Transitory Computer-Readable Storage Medium
WO2020056684A1 (zh) 通过转发模式连接的多tws耳机实现自动翻译的方法及装置
WO2024027259A1 (zh) 信号处理方法及装置、设备控制方法及装置
CN113571035B (zh) 降噪方法及降噪装置
CN112150778A (zh) 环境音处理方法及相关装置
JP2022536868A (ja) 通話方法および装置
WO2022242300A1 (zh) 线性马达的振动波形调整方法及装置
WO2022257563A1 (zh) 一种音量调节的方法，电子设备和系统
CN111065020B (zh) 音频数据处理的方法和装置
WO2022089563A1 (zh) 一种声音增强方法、耳机控制方法、装置及耳机
WO2022242299A1 (zh) 驱动波形的调整方法及装置、电子设备、可读存储介质
CN116962937A (zh) 穿戴设备、拾音方法及装置
WO2024046416A1 (zh) 一种音量调节方法、电子设备及系统
WO2024046182A1 (zh) 一种音频播放方法、系统及相关装置
WO2022242301A1 (zh) 振动描述文件的生成方法、装置、设备及可读存储介质
WO2024032035A1 (zh) 一种语音信号的输出方法和电子设备
CN118466894A (zh) 音效控制的方法、装置和电子设备
CN118098261A (zh) 一种音频处理方法、设备及系统
CN118785048A (zh) 音频处理系统、方法及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240903