JP7279897B2 - 信号処理装置、マイクロホン装置、信号処理方法及びプログラム - Google Patents
信号処理装置、マイクロホン装置、信号処理方法及びプログラム Download PDFInfo
- Publication number
- JP7279897B2 JP7279897B2 JP2020186725A JP2020186725A JP7279897B2 JP 7279897 B2 JP7279897 B2 JP 7279897B2 JP 2020186725 A JP2020186725 A JP 2020186725A JP 2020186725 A JP2020186725 A JP 2020186725A JP 7279897 B2 JP7279897 B2 JP 7279897B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- microphone
- user
- condition
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 210000000613 ear canal Anatomy 0.000 claims description 70
- 230000005540 biological transmission Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 27
- 230000008054 signal transmission Effects 0.000 claims description 25
- 230000005236 sound signal Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 description 18
- 239000000284 extract Substances 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 230000003044 adaptive effect Effects 0.000 description 11
- 210000000845 cartilage Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 210000003205 muscle Anatomy 0.000 description 10
- 210000003625 skull Anatomy 0.000 description 10
- 230000015654 memory Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000004728 ear cartilage Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
- G10K11/17853—Methods, e.g. algorithms; Devices of the filter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
- G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
- G10K11/17825—Error signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
- H04R25/305—Self-monitoring or self-testing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
- H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/05—Noise reduction with a separate noise microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Multimedia (AREA)
- Neurosurgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明の目的は、上述した課題を解決する信号処理装置、マイクロホン装置、信号処理方法及びプログラムを提供することにある。
《マイクロホン装置の使用例》
以下、第1の実施形態に係るマイクロホン装置1の使用例について説明する。
図1は、第1の実施形態に係るマイクロホン装置1の使用例を示す図である。マイクロホン装置1は、集音した音を電気信号に変換して、電気信号を外部に送信する。マイクロホン装置1が集音する音の例としては、ユーザUが発する音声(ユーザUの自然発生音)が挙げられる。なお、マイクロホン装置1は、上記機能に加えて、外部から受信した電気信号を音に変換し、変換した音を送出しても良い。
スマートフォン3は、マイクロホン装置1から受信した電気信号を、スマートフォン3が備える記憶部(図示しない)に記録する。これにより、ユーザU1は音声をスマートフォン3に録音することができる。
以下、マイクロホン装置1の詳細な構成について説明する。
図2は、マイクロホン装置1の詳細な構成を示す図である。マイクロホン装置1は、ケース10と、第1マイク11と、第2マイク12と、判定部13と、検知部14と、信号送信部15を備える。判定部13と、検知部14及び信号送信部15を合わせて制御部16と称する。制御部16は制御手段の一例である。また、制御部16は信号処理装置の一例である。
なお、図2に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図2に示す点線の矢印は判定部13に係る電気信号の流れを示す。
他方、ユーザU1が音声を発することにより、ユーザU1の周辺の空気が振動する。この空気の振動により、第1マイク11はユーザU1が発する音声を集音することができる。この時に第1マイク11が集音した音に基づいて、第1マイク11が生じさせた電気信号をIS2とする。振動を伝導する伝導ルートの長さなどの相違により、IS1がIS2より先に生ずる。
第1マイク11は、生じさせた電気信号を判定部13と検知部14に送信する。第1マイク11から出力される電気信号を第1信号と称する。すなわち、IS1及びIS2は第1信号である。
他方、ユーザU1が音声を発することにより、ユーザU1の周辺の空気が振動する。この空気の振動により、第2マイク12はユーザU1が発する音声を集音することができる。この時に第2マイク12が集音した音に基づいて、第2マイク12が生じさせた電気信号をOS2とする。振動を伝導する伝導ルートの長さなどの相違により、OS1がOS2より先に生ずる。
第2マイク12は、生じさせた電気信号を判定部13に送信する。第2マイク12から出力される電気信号を第2信号と称する。すなわち、OS1及びOS2は第2信号である。
空気の振動により伝導された音は、頭蓋骨及び筋肉などの振動により伝導された音より音圧レベルが大きい。そのため、IS2又はOS2が示す音圧レベルは、IS1又はOS1が示す音圧レベルより大きい。また、OS2が生じる第2マイク12の位置と音を発するユーザU1の口との距離は、IS2が生じる第1マイク11の位置と音を発するユーザU1の口との距離より短い。そのため、OS2が示す音圧レベルはIS2が示す音圧レベルより大きい。上記の理由により、電気信号が示す音圧レベルは、IS1、IS2、OS1、OS2のうち、OS2が一番大きい。
以下、制御部の構成について説明する。
判定部13は、第1信号と第2信号との関係が第1条件を満たすか否かを判定する。上記第1条件とは、第1信号が示す音圧レベルが、第2信号が示す音圧レベルより大きいことである。判定部13は判定手段の一例である。ユーザU1が音声を発した後における判定部13の動作を以下に説明する。
その後、第2マイク12がOS2を出力する。この時、判定部13が受信する第1信号はIS1である。判定部13が受信する第2信号は、OS1及びOS2となる。そのため、第1信号が示す音圧レベルは第2信号が示す音圧レベルより大きくない。そのため、判定部13は、第1信号と第2信号との関係が第1条件を満たしていないと判定する。
その後、第1マイク11がIS2を出力する。この時、判定部13が受信する第1信号はIS1及びIS2である。また、判定部13が受信する第2信号はOS1及びOS2である。そのため、第1信号が示す音圧レベルは第2信号が示す音圧レベルより大きくない。そのため、判定部13は、第1信号と第2信号との関係が第1条件を満たしていないと判定する。
なお、検知部14は、第1信号のうち、人の音声に係る音圧レベルが所定閾値以上であるか否かを判定しても良い。
図1に示す使用例の場合、信号送信部15はスマートフォン3に第1信号を送信する。
以下、第1の実施形態に係るマイクロホン装置1の動作について説明する。
図3は、ユーザU1が音声を発した場合における、マイクロホン装置1の動作を示すフローチャートである。
その後、ユーザU1の外耳道の外部の空気が振動する。これにより、第2マイク12はOS1を判定部13に出力する(ステップS2)。
ステップS3により第1条件を満たすと判定されたため、信号送信部15は第1信号のスマートフォン3への送信を開始する(ステップS4)。
ユーザU1から空気の伝導により、第1マイク11はIS2を判定部13と検知部14に出力する(ステップS6)。
なお、ステップS4で開始された送信は、第2条件を満たす間は継続される。他方、ユーザU1が音声を発することを止めると、第2条件を満たさなくなる。この場合、ステップS4で開始された送信は停止される。
ユーザU1が音声を発する場合とは異なり、ユーザU2が発した音声に基づいては、頭蓋骨及び筋肉の振動を介して伝導されるIS1及びOS1のような電気信号が生じない。ユーザU2が発した音声は空気によりユーザU1に伝導される。第2マイク12が先にユーザU2の音声を集音して第2信号を出力する。その後、第1マイク11がユーザU2の音声を集音して第1信号を出力する。この場合、第2信号に係る伝導ルートは第1信号に係る伝導ルートより短い。そのため、第2信号が示す音圧レベルは第1信号が示す音圧レベルより大きい。これにより、ユーザU2は音声を発しても、判定部13は第1信号と第2信号との関係が第1条件を満たしていないと判定する。判定部13の判定により、信号送信部15がユーザU2の音声をスマートフォン3に送信することは無い。
本発明に係る信号処理装置は、ユーザUの外耳道に挿入される第1マイク11の出力に基づく第1信号と、外耳道の外部に位置する第2マイク12の出力に基づく第2信号との関係が第1条件を満たすか否かを判定する判定手段と、第1条件が満たされると判定された場合に、音の信号の送信に関する処理を開始し、第1条件が満たされなくなった後も、第1条件とは異なる第2条件が満たされる間は処理を継続する信号送信手段を備える。
信号処理装置は、空気の伝導により集音した音に基づいて、音の信号の送信に関する処理を開始し、継続する。そのため、信号処理装置は、第1マイク11又は第2マイク12が骨の伝導により集音するマイクでなくても、ユーザUの音声を抽出することができる。これにより、信号処理装置は、ユーザUの音声の抽出に関する汎用性を高めることができる。
信号処理装置は、第1信号が示す音圧レベル及び第2信号が示す音圧レベルに基づいて、音の信号の送信に関する処理を開始し、継続する。これにより、信号処理装置は、ユーザUの音声の抽出に関する汎用性を高めることができる。
以下、第2の実施形態に係るマイクロホン装置1について説明する。
第2の実施形態に係るマイクロホン装置1は、ノイズキャンセル部17と、シグナルキャンセル部18をさらに備える。第2の実施形態に係るマイクロホン装置1は、ノイズを除去した上で、ユーザUの音声を抽出してスマートフォン3に送信する。
第2の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
図4は、マイクロホン装置1の詳細な構成を示す図である。マイクロホン装置1は、ケース10と、第1マイク11と、第2マイク12と、判定部13と、検知部14と、信号送信部15と、ノイズキャンセル部17と、シグナルキャンセル部18を備える。第2の実施形態において、判定部13と、検知部14と、信号送信部15と、ノイズキャンセル部17と、シグナルキャンセル部18を合わせて制御部16と称する。
なお、図4に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図4に示す点線の矢印は判定部13に係る電気信号の流れを示す。
第1の実施形態とは異なり、第2の実施形態に係る第2マイク12はノイズキャンセル部17及びシグナルキャンセル部18に出力する。
第1信号は、ノイズキャンセル部17により外部のノイズが除去された信号である。
ノイズキャンセル部17は、固定フィルタを用いて外部のノイズを除去する。固定フィルタはノイズキャンセル関数f1を用いる。ノイズキャンセル関数f1(以下、f1と称する)は、INと、f1によりフィルタリングされたONが同様になるように、予め設定される。ノイズキャンセル部17は第2マイク12からONを含めた電気信号を受信する。ノイズキャンセル部17の固定フィルタによりフィルタリングされた電気信号が、ノイズキャンセル部17から出力される。ノイズキャンセル部17から出力された電気信号に基づいて、第1マイク11が出力する電気信号から外部のノイズであるINが除去される。このようなノイズの除去はマイクロホン装置1が備える加算器などにより実現される。検知部14はINが除去された電気信号を受信する。
第2信号は、シグナルキャンセル部18により所定の音が除去された信号である。上記所定の音の一例としては、外部のノイズ以外の音、ユーザU1の音声などが挙げられる。なお、所定の音は、上記の一例に限られない。
シグナルキャンセル部18は固定フィルタを用いて所定の音を除去する。固定フィルタはシグナルキャンセル関数g1を用いる。シグナルキャンセル関数g1(以下、g1と称する)は、第2マイク12から受信する電気信号からOS1を除去できるように、外部のノイズが小さい環境で予め設定される。シグナルキャンセル部18はフィルタリングした電気信号を判定部13に送信する。このように、マイクロホン装置1は、シグナルキャンセル部18によるフィルタリングを行い、目的信号を加えることにより、第2マイク12が出力する電気信号からOS1を除去できる。
以下、第2の実施形態に係るマイクロホン装置1の動作について説明する。
図5は、ユーザU1が音声を発した場合における、マイクロホン装置1の動作を示すフローチャートである。
その後、ユーザU1の外耳道の外部の空気が振動する。また、外部のノイズによりユーザU1の外耳道の外部の空気が振動する。これにより、第2マイク12はOS1及びONをノイズキャンセル部17及びシグナルキャンセル部18に出力する(ステップS12)。
シグナルキャンセル部18が第2マイク12から電気信号を受信してフィルタリングする。これにより、第2マイク12から出力される電気信号から所定の音が除去される(ステップS14)。
本発明に係る信号処理装置は、第1マイク11から出力される信号から外部のノイズを除去するノイズキャンセル手段をさらに備え、第1信号は、ノイズキャンセル手段により外部のノイズが除去された信号である。
信号処理装置は、ノイズキャンセル手段により、第1マイク11で出力される信号から外部のノイズを除去できる。そのため、信号処理装置は、外部のノイズがある環境においても、外部のノイズが除去された音声を抽出して送信することができる。
信号処理装置は、シグナルキャンセル手段により、第2マイク12で出力される信号から所定の音を除去できる。そのため、判定手段は所定の音が除去された第2信号に基づいて判定を行うことができる。これにより、信号処理装置は、外部のノイズがある環境においても、第1信号の送信を開始して継続することができる。
以下、第3の実施形態に係るマイクロホン装置1について説明する。
第3の実施形態に係るノイズキャンセル部17は、固定フィルタの代わりに適応フィルタを用いて外部のノイズを除去する。また、第3の実施形態に係るシグナルキャンセル部18は、固定フィルタの代わりに適応フィルタを用いて所定の音を除去する。ノイズキャンセル部17及びシグナルキャンセル部18の詳細な構成及び動作については、後述する。
第3の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第3の実施形態に係るマイクロホン装置1の構成について説明する。
第3の実施形態に係るマイクロホン装置1の構成は、第2の実施形態に係るマイクロホン装置1の構成に、加算器をさらに備える構成である。
なお、図6に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図6に示す点線の矢印は判定部13に係る電気信号の流れを示す。
マイクロホン装置1は、適応フィルタによりノイズが除去された音を、スマートフォン3に送信する。
これにより、マイクロホン装置1はユーザU1が発する音声を抽出し、外部のノイズの特徴量に対応した処理に基づいて音声を送信することができる。
なお、第3の実施形態に係るシグナルキャンセル部18は、第1信号に基づいて所定の音を除去する。すなわち、シグナルキャンセル部18は、ノイズキャンセル部17によりノイズが除去された第1信号に基づいて、アダプティブシグナルキャンセル処理を行う。適用フィルタと音が集音されるタイミングを考慮すると、IS1をOS1に変換することは可能だが、INをONに変換することやINをフィルタで削除することは困難であるためである。
以下、第3の実施形態に係るマイクロホン装置1の動作について説明する。
図8は、第3の実施形態に係るマイクロホン装置1の動作を示すフローチャートである。
その後、ユーザU1の外耳道の外部の空気が振動する。また、外部のノイズによりユーザU1の外耳道の外部の空気が振動する。これにより、第2マイク12はOS1及びONをノイズキャンセル部17及びシグナルキャンセル部18に出力する(ステップS22)。
シグナルキャンセル部18が第1マイク11及び第2マイク12から電気信号などを受信してフィルタリングする。これにより、第2マイク12から出力される電気信号から所定の音が除去される(ステップS24)。
本発明に係るマイクロホン装置1のノイズキャンセル手段は、外部のノイズの特徴量に対応して異なる処理を行い、シグナルキャンセル手段は、所定の音の特徴量に対応して異なる処理を行い、第1信号に基づいて所定の音を除去する。
マイクロホン装置1は、外部のノイズの特徴量に対応してノイズを除去する処理を行い、ユーザU1の音声を抽出して送信することができる。
以下、第4の実施形態に係るマイクロホン装置1について説明する。
第4の実施形態に係るマイクロホン装置1の構成は、第3の実施形態に係るマイクロホン装置1の構成に、フィルタ保存装置30を加えた構成である。フィルタ保存装置30の構成については後述する。
第4の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第4の実施形態に係るマイクロホン装置1の構成について説明する。図9に示すフィルタ保存装置30の位置は一例である。
なお、図9に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図9に示す点線の矢印は判定部13に係る電気信号の流れを示す。
以下、フィルタ保存装置30の構成について説明する。
フィルタ保存装置30は、ノイズフィルタとシグナルフィルタとを保存する。ノイズフィルタとは、ノイズキャンセル部17が外部のノイズを除去する際に用いられるフィルタである。また、シグナルフィルタとは、シグナルキャンセル部18が所定の音を除去する際に用いられるフィルタである。
図10はフィルタ保存装置30の構成を示す図である。図10に示すように、フィルタ保存装置30は、フィルタ記録部31と、フィルタ記憶部32を備える。
フィルタ記憶部32は、ノイズフィルタ及びシグナルフィルタを記憶する。フィルタ記憶部32は記憶手段の一例である。
シグナルキャンセル部18は、フィルタ記憶部32に記憶されているシグナルフィルタに基づいてASC処理を行う。
また、フィルタ保存装置30は、フィルタ特定部を備えても良い。フィルタ特定部はマイクロホン装置1が集音した音を、学習済みモデルM1又は学習済みモデルM2に入力して、ノイズフィルタ又はシグナルフィルタを特定する。
以下、第4の実施形態に係るマイクロホン装置1の動作について説明する。
図11は、第4の実施形態に係るマイクロホン装置1の動作を示すフローチャートである。
ステップS24の後、ステップS3とステップS4については、第1の実施形態に係るマイクロホン装置1の動作と同様である。
本発明に係る信号処理装置は、ノイズキャンセル手段が外部のノイズを除去する際に用いるノイズフィルタと、シグナルキャンセル手段が所定の音を除去する際に用いるシグナルフィルタと、を記憶手段に記録する記録手段をさらに備え、ノイズキャンセル手段は、記憶手段に記録されているノイズフィルタに基づいて外部のノイズを除去し、シグナルキャンセル手段は、記憶手段に記録されているシグナルフィルタに基づいて所定の音を除去する。
以下、第5の実施形態に係るマイクロホン装置1について説明する。
第5の実施形態に係るマイクロホン装置1は、第4の実施形態に係るマイクロホン装置1と異なり、フィルタ記憶部32を備えない。また、第5の実施形態に係るマイクロホン装置1は外部装置40と有線又は無線で接続する。外部装置40の構成については後述する。
第5の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第5の実施形態に係るマイクロホン装置1の構成について説明する。
図12はマイクロホン装置1の構成を示す図である。第5の実施形態におけるフィルタ保存装置30以外のマイクロホン装置1の構成は、第4の実施形態と同様である。なお、図13は、フィルタ保存装置30及び外部装置40の構成を示す図である。
なお、図12に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図12に示す点線の矢印は判定部13に係る電気信号の流れを示す。
シグナルキャンセル部18は、外部装置40に記録されているシグナルフィルタに基づいて、所定の音を除去する。
なお、第4の実施形態に係るマイクロホン装置1と同様に、装置の起動時に外部装置40からノイズフィルタ及びシグナルフィルタを呼び出しても良い。
以下、外部装置40の構成について説明する。外部装置40は、ノイズフィルタ及びシグナルフィルタを記憶する装置である。外部装置40は、外部記憶部41を備える。
外部装置40は、フィルタ記録部31からノイズフィルタ及びシグナルフィルタを受信する。外部装置40は、受信したノイズフィルタ及びシグナルフィルタを外部記憶部41に記録する。
外部記憶部41は、ノイズフィルタ及びシグナルフィルタを記憶する。
第5の実施形態に係るマイクロホン装置1の動作は、第4の実施形態に係るマイクロホン装置1の動作と同様である。
本発明に係る信号処理装置のノイズキャンセル手段は、信号処理装置と接続する外部装置40に記録されているノイズフィルタに基づいて外部のノイズを除去し、シグナルキャンセル手段は、外部装置40に記録されているシグナルフィルタに基づいて所定の音を除去する。
信号処理装置は外部装置40にフィルタを記録する。これにより、信号処理装置の内部装置を切り変えしなくても、外部記憶部41の内容を更新することができる。すなわち、信号処理装置のユーザUは、外部装置40を取り換えることにより、容易に信号処理装置が用いるフィルタを更新することができる。
以下、第6の実施形態に係るマイクロホン装置1について説明する。
第6の実施形態に係るマイクロホン装置1は、第4の実施形態に係るマイクロホン装置1の構成に加えて、スピーカー19と、認証部20をさらに備える構成である。
第6の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第6の実施形態に係るマイクロホン装置1の構成について説明する。図14はマイクロホン装置1の構成を示す図である。
なお、図14に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図14に示す点線の矢印は判定部13に係る電気信号の流れを示す。
ノイズキャンセル部17は、認証部20により特定されたノイズフィルタに基づいて外部のノイズを除去する。
シグナルキャンセル部18は、認証部20により特定されたシグナルフィルタに基づいて所定の音を除去する。
フィルタ記憶部32は、ノイズフィルタとユーザU1を関連付けた情報と、シグナルフィルタとユーザU1を関連付けた情報を記憶する。
以下、認証部20の構成について説明する。認証部20はスピーカー19が送出した音に基づいて、ノイズフィルタ及びシグナルフィルタを特定する。
認証部20は、ユーザ特定部21と、フィルタ特定部22を備える。
スピーカー19が音を送出すると、ユーザUの外耳道により反響音が生じる。ユーザUは、それぞれ異なる構造からなる外耳道を有する。そのため、ユーザUにより生じる反響音もそれぞれ異なる。反響音は第1マイク11により集音される。ユーザ特定部21は、第1マイク11から受信した反響音を示す電気信号を、反響音情報とユーザUとを関連付けた情報に照らし合わせて、ユーザUを特定する。
以下、第6の実施形態に係るマイクロホン装置1の動作について説明する。
図15は、第6の実施形態に係るマイクロホン装置1の動作を示すフローチャートである。
ステップS41で送出された音は、ユーザU1の外耳道で反響する。第1マイク11は反響音を集音する(ステップS42)。
フィルタ特定部22は、ステップS43で特定されたユーザUを、フィルタ記憶部32が記憶する情報に照らし合わせて、フィルタを特定する(ステップS44)。
ノイズキャンセル部17は、ステップS44で特定されたノイズフィルタを呼び出す。また、シグナルキャンセル部18は、ステップS44で特定されたシグナルフィルタを呼び出す(ステップS45)。
ステップS24の後、ステップS3とステップS4については、第1の実施形態に係るマイクロホン装置1の動作と同様である。
本発明に係る信号処理装置は、ユーザUの外耳道に音を送出するスピーカー19と、スピーカー19が送出した音に基づいてユーザUを特定するユーザ特定手段と、記憶手段に記録されているノイズフィルタ及びシグナルフィルタのうち、ユーザ特定手段により特定されたユーザUに関連付けられたノイズフィルタ及びシグナルフィルタを特定するフィルタ特定手段と、をさらに備え、ノイズキャンセル手段は、フィルタ特定手段により特定されたノイズフィルタに基づいて外部のノイズを除去し、シグナルキャンセル手段は、フィルタ特定手段により特定されたシグナルフィルタに基づいて所定の音を除去する。
以下、第7の実施形態に係るマイクロホン装置1について説明する。
第7の実施形態に係るマイクロホン装置1の構成は、第5の実施形態に係るマイクロホン装置1の構成に、スピーカー19と、認証部20を加えた構成である。なお、認証部20は、第6の実施形態に係る認証部20と異なり、ユーザ特定部21及びフィルタ特定部22を備えない。
第7の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第7の実施形態に係るマイクロホン装置1の構成について説明する。
図16は、第7の実施形態に係るマイクロホン装置1の構成を示す図である。
なお、図16に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図16に示す点線の矢印は判定部13に係る電気信号の流れを示す。
認証部20は、スピーカー19に音を示す電気信号を送信する。また、認証部20は、第1マイク11から受信した電気信号を、外部装置40に送信する。
以下、第7の実施形態に係る外部装置40の構成について説明する。
図17は、第7の実施形態に係る外部装置40の構成を示す図である。外部装置40は、外部記憶部41と、外部ユーザ特定部42と、外部フィルタ特定部43を備える。
以下、第7の実施形態に係るマイクロホン装置1の動作について説明する。
図18は、第7の実施形態に係るマイクロホン装置1の動作を示すフローチャートである。
外部フィルタ特定部43は、ステップS51で特定されたユーザUを、外部記憶部41が記憶する情報に照らし合わせて、フィルタを特定する(ステップS52)。
ノイズキャンセル部17は、ステップS52で特定されたノイズフィルタを呼び出す。また、シグナルキャンセル部18は、ステップS52で特定されたシグナルフィルタを呼び出す(ステップS53)。
ステップS24の後、ステップS3とステップS4については、第1の実施形態に係るマイクロホン装置1の動作と同様である。
本発明に係る信号処理装置は、ユーザUの外耳道に音を送出するスピーカー19をさらに備え、外部装置40は、スピーカー19が送出した音に基づいてユーザUを特定するユーザ特定手段と、外部装置40に記録されているノイズフィルタ及びシグナルフィルタのうち、ユーザ特定手段により特定されたユーザUに関連付けられたノイズフィルタ及びシグナルフィルタを特定するフィルタ特定手段と、を備え、ノイズキャンセル手段は、外部装置40により特定されたノイズフィルタに基づいて外部のノイズを除去し、シグナルキャンセル手段は、外部装置40により特定されたシグナルフィルタに基づいて所定の音を除去する。
以下、第8の実施形態に係るマイクロホン装置1について説明する。
第8の実施形態に係るマイクロホン装置1の構成は、第1の実施形態に係るマイクロホン装置1の構成に、補間部23を加えた構成である。
第8の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第8の実施形態に係るマイクロホン装置1の構成について説明する。
図19は、第8の実施形態に係るマイクロホン装置1の構成を示す図である。
なお、図19に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図19に示す点線の矢印は判定部13に係る電気信号の流れを示す。
信号送信部15は、補間部23により補間された第1信号をスマートフォン3に送信する。
以下、第8の実施形態に係るマイクロホン装置1の動作について説明する。
図20は、第8の実施形態に係るマイクロホン装置1の動作を示すフローチャートである。
ステップS2及びステップS3は、第1の実施形態に係るマイクロホン装置1の動作のステップS2及びステップS3と同様である。
信号送信部15は、補間部23が補間した第1信号を受信して、スマートフォン3への送信を開始する(ステップS63)。
ステップS5及びステップS6は、第1の実施形態に係るマイクロホン装置1の動作のステップS5及びステップS6と同様である。
本発明に係る信号処理装置の第1信号は、外耳道の軟骨からの伝導により第1マイク11が集音した音に基づいて出力され、第1信号を補間する補間手段をさらに備え、信号送信手段は、第1条件が満たされると判定された場合に、補間手段により補間された第1信号の送信に関する処理を開始し、第1条件が満たされなくなった後も、第2条件が満たされる間は処理を継続する。
以下、第9の実施形態に係るマイクロホン装置1について説明する。
第9の実施形態に係るマイクロホン装置1の構成は、第1の実施形態に係るマイクロホン装置1の構成と同様である。
第9の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第9の実施形態に係るマイクロホン装置1の構成について説明する。
第9の実施形態に係る第1条件とは、第1信号が示す音圧レベルを第2信号が示す音圧レベルで除算した値が、予め設定された第2閾値以上である。第1マイク11の感度と、第2マイク12の感度が異なる場合がある。この場合、ユーザU1が音声を発しても第1信号が示す音圧レベルが、第2信号が示す音圧レベルより大きくならない場合がある。また、マイクロホン装置1が使用される環境や第1マイク11及び第2マイク12の種別によって、ユーザU1が音声を発しても第1信号が示す音圧レベルが、第2信号が示す音圧レベルより大きくならない場合がある。第2閾値を上記の場合に対応して調整することにより、マイクロホン装置1は上記の場合でもユーザU1の音声を抽出して送信することができる。
以下、第9の実施形態に係るマイクロホン装置1の動作について説明する。
図21は、第9の実施形態に係るマイクロホン装置1の動作を示すフローチャートである。
判定部13は、第1信号と第2信号との関係が第1条件を満たすと判定する(ステップS71)。IS1が示す音圧レベルをOS1が示す音圧レベルで除算した値が第2閾値以上であるため、判定部13は第1条件を満たすと判定する。
ステップS4からステップS6は、第1の実施形態に係るマイクロホン装置1の動作のステップS4からステップS6と同様である。
本発明に係る信号処理装置の第1条件とは、第1信号が示す音圧レベルを第2信号が示す音圧レベルで除算した値が予め設定した第2閾値以上である。
信号処理装置は、第1マイク11の感度と第2マイク12の感度とが異なる場合などであっても、第2閾値を用いることで、ユーザU1の音声を抽出して送信することができる。
以下、第10の実施形態に係るマイクロホン装置1について説明する。
第10の実施形態に係るマイクロホン装置1の構成は、第1の実施形態に係るマイクロホン装置1の構成に加えて、閾値設定部24と、閾値記憶部25と、入力受付部26を備える構成である。
第10の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第10の実施形態に係るマイクロホン装置1の構成について説明する。
図22は、第10の実施形態に係るマイクロホン装置1の構成を示す図である。マイクロホン装置1は、ケース10と、第1マイク11と、第2マイク12と、判定部13と、検知部14と、信号送信部15と、閾値設定部24と、閾値記憶部25と、入力受付部26を備える。
なお、図22に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図22に示す点線の矢印は判定部13に係る電気信号の流れを示す。
閾値記憶部25は第2閾値を記憶する。閾値記憶部25は記憶手段の一例である。
なお、第1条件とは、第1信号が示す音圧レベルを第2信号が示す音圧レベルで除算した値が第2閾値以上である。
以下、第10の実施形態に係るマイクロホン装置1の動作について説明する。
図23は、テストモードに係るマイクロホン装置1の動作を示すフローチャートである。
ステップS1及びステップS2は、第1の実施形態に係るマイクロホン装置1の動作のステップS1及びステップS2と同様である。
閾値設定部24は、第1信号が示す音圧レベル及び第2信号が示す音圧レベルに基づいて、閾値記憶部25に第2閾値を記録する(ステップS82)。
なお、通常モードに係るマイクロホン装置1の動作は、第9の実施形態に係るマイクロホン装置1の動作と同様である。
本発明に係る信号処理装置は、第1信号が示す音圧レベル及び第2信号が示す音圧レベルに基づいて、記憶手段に第2閾値を記録する閾値設定手段をさらに備え、第1条件とは、第1信号が示す音圧レベルを第2信号が示す音圧レベルで除算した値が、閾値設定手段により記憶手段に記録された第2閾値以上である。
上記の動作により、信号処理装置はユーザUの音声により第2閾値を設定することができる。
以下、第11の実施形態に係るマイクロホン装置1について説明する。
第11の実施形態に係るマイクロホン装置1の構成は、第10の実施形態に係るマイクロホン装置1の構成に加えて、スピーカー19と、認証部20を備える構成である。
第11の実施形態に係るマイクロホン装置1の使用例は、図1に示す使用例と同様である。
以下、第11の実施形態に係るマイクロホン装置1の構成について説明する。
図24は、第11の実施形態に係るマイクロホン装置1の構成を示す図である。
なお、図24に示す実線の矢印は信号送信部15に係る電気信号の流れを示す。図24に示す点線の矢印は判定部13に係る電気信号の流れを示す。
閾値記憶部25は、ユーザUと第2閾値を関連付けて記憶する。
閾値特定部27は、ユーザ特定部21により特定されたユーザUを、閾値記憶部25が記憶している情報に照らし合わせて、第2閾値を特定する。すなわち、閾値特定部27は、ユーザUを、ユーザUと第2閾値とが関連付けられた情報に照らし合わせて、第2閾値を特定する。閾値特定部27は閾値特定手段の一例である。
なお、第1条件とは、第1信号が示す音圧レベルを第2信号が示す音圧レベルで除算した値が、閾値特定部27により特定された第2閾値以上である。
以下、第11の実施形態に係るマイクロホン装置1の動作について説明する。
テストモードに係るマイクロホン装置1の動作は、第10の実施形態におけるテストモードに係るマイクロホン装置1の動作と同様である。
図25は、通常モードに係るマイクロホン装置1の動作を示すフローチャートである。
判定部13は、第1信号と第2信号との関係が第1条件を満たすと判定する(ステップS91)。IS1が示す音圧レベルをOS1が示す音圧レベルで除算した値が、閾値特定部27により特定された第2閾値以上であるため、判定部13は第1条件を満たすと判定する。
ステップS4からステップS6は、第1の実施形態に係るマイクロホン装置1の動作のステップS4からステップS6と同様である。
本発明に係る信号処理装置は、ユーザUの外耳道に音を送出するスピーカー19と、スピーカー19が送出した音に基づいてユーザUを特定するユーザ特定手段と、記憶手段に記録されている第2閾値のうち、ユーザ特定手段により特定されたユーザUに関連付けられた第2閾値を特定する閾値特定手段と、をさらに備え、第1条件とは、第1信号が示す音圧レベルを第2信号が示す音圧レベルで除算した値が、閾値特定手段により特定された第2閾値以上である。
以下、基本構成に係るマイクロホン装置について説明する。
図26は、基本構成に係るマイクロホン装置1の構成を示す図である。図26に示すように、基本構成に係るマイクロホン装置1は、判定部13と、信号送信部15を備える。
基本構成に係る信号処理装置は、ユーザUの外耳道に挿入される第1マイク11の出力に基づく第1信号と、外耳道の外部に位置する第2マイク12の出力に基づく第2信号との関係が第1条件を満たすか否かを判定する判定手段と、第1条件が満たされると判定された場合に、音の信号の送信に関する処理を開始し、第1条件が満たされなくなった後も、第1条件とは異なる第2条件が満たされる間は処理を継続する信号送信手段を備える。
図27は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ1100は、プロセッサ1110、メインメモリ1120、ストレージ1130、インタフェース1140を備える。
上述のマイクロホン装置1及び外部装置40は、コンピュータ1100に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ1130に記憶されている。プロセッサ1110は、プログラムをストレージ1130から読み出してメインメモリ1120に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ1110は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ1120に確保する。
(付記1)ユーザの外耳道に挿入される第1マイクの出力に基づく第1信号と、前記外耳道の外部に位置する第2マイクの出力に基づく第2信号との関係が第1条件を満たすか否かを判定する判定手段と、前記第1条件が満たされると判定された場合に、音の信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第1条件とは異なる第2条件が満たされる間は前記処理を継続する信号送信手段と、を備える信号処理装置。
(付記2)前記第1信号は、空気の伝導により前記第1マイクが集音した音に基づいて出力され、前記第2信号は、空気の伝導により前記第2マイクが集音した音に基づいて出力される、付記1に記載の信号処理装置。
(付記3)前記第1条件とは、前記第1信号が示す音圧レベルが、前記第2信号が示す音圧レベルより大きいことである、付記1又は付記2に記載の信号処理装置。
(付記4)前記第1信号が示す音圧レベルが予め設定された第1閾値以上であるか否かを判定する検知手段をさらに備え、前記第2条件とは、前記検知手段により、前記第1信号が示す音圧レベルが前記第1閾値以上であると判定されることをいい、前記信号送信手段は、前記第1条件が満たされると判定された場合に、前記第1信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第2条件が満たされる間は前記処理を継続する、付記1から付記3の何れか付記に記載の信号処理装置。
(付記5)前記第1マイクから出力される信号から外部のノイズを除去するノイズキャンセル手段をさらに備え、前記第1信号は、前記ノイズキャンセル手段により前記外部のノイズが除去された信号である、付記1から付記4の何れか付記に記載の信号処理装置。
(付記6)前記第2マイクから出力される信号から所定の音を除去するシグナルキャンセル手段をさらに備え、前記第2信号は、前記シグナルキャンセル手段により前記所定の音が除去された信号である、付記5に記載の信号処理装置。
(付記7)前記ノイズキャンセル手段は、前記外部のノイズの特徴量に対応して異なる処理を行い、前記シグナルキャンセル手段は、前記所定の音の特徴量に対応して異なる処理を行い、前記第1信号に基づいて前記所定の音を除去する、付記6に記載の信号処理装置。
(付記8)前記ノイズキャンセル手段が前記外部のノイズを除去する際に用いるノイズフィルタと、前記シグナルキャンセル手段が前記所定の音を除去する際に用いるシグナルフィルタと、を記憶手段に記録する記録手段をさらに備え、前記ノイズキャンセル手段は、前記記憶手段に記録されている前記ノイズフィルタに基づいて前記外部のノイズを除去し、前記シグナルキャンセル手段は、前記記憶手段に記録されている前記シグナルフィルタに基づいて前記所定の音を除去する、付記7に記載の信号処理装置。
(付記9)前記ノイズキャンセル手段は、前記信号処理装置と接続する外部装置に記録されている前記ノイズフィルタに基づいて前記外部のノイズを除去し、前記シグナルキャンセル手段は、前記外部装置に記録されている前記シグナルフィルタに基づいて前記所定の音を除去する、付記7に記載の信号処理装置。
(付記10)前記ユーザの外耳道に音を送出するスピーカーと、前記スピーカーが送出した音に基づいて前記ユーザを特定するユーザ特定手段と、前記記憶手段に記録されている前記ノイズフィルタ及び前記シグナルフィルタのうち、前記ユーザ特定手段により特定された前記ユーザに関連付けられた前記ノイズフィルタ及び前記シグナルフィルタを特定するフィルタ特定手段と、をさらに備え、前記ノイズキャンセル手段は、前記フィルタ特定手段により特定された前記ノイズフィルタに基づいて前記外部のノイズを除去し、前記シグナルキャンセル手段は、前記フィルタ特定手段により特定された前記シグナルフィルタに基づいて前記所定の音を除去する、付記8に記載の信号処理装置。
(付記11)前記ユーザの外耳道に音を送出するスピーカーをさらに備え、前記外部装置は、前記スピーカーが送出した音に基づいて前記ユーザを特定するユーザ特定手段と、前記外部装置に記録されている前記ノイズフィルタ及び前記シグナルフィルタのうち、前記ユーザ特定手段により特定された前記ユーザに関連付けられた前記ノイズフィルタ及び前記シグナルフィルタを特定するフィルタ特定手段と、を備え、前記ノイズキャンセル手段は、前記外部装置により特定された前記ノイズフィルタに基づいて前記外部のノイズを除去し、前記シグナルキャンセル手段は、前記外部装置により特定された前記シグナルフィルタに基づいて前記所定の音を除去する、付記9に記載の信号処理装置。
(付記12)前記第1信号は、前記外耳道の軟骨からの伝導により前記第1マイクが集音した音に基づいて出力され、前記第1信号を補間する補間手段をさらに備え、前記信号送信手段は、前記第1条件が満たされると判定された場合に、前記補間手段により補間された前記第1信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第2条件が満たされる間は前記処理を継続する、付記1に記載の信号処理装置。
(付記13)前記第1条件とは、前記第1信号が示す音圧レベルを前記第2信号が示す音圧レベルで除算した値が予め設定した第2閾値以上である、付記1に記載の信号処理装置。
(付記14)前記第1信号が示す音圧レベル及び前記第2信号が示す音圧レベルに基づいて、記憶手段に前記第2閾値を記録する閾値設定手段をさらに備え、前記第1条件とは、前記第1信号が示す音圧レベルを前記第2信号が示す音圧レベルで除算した値が、前記閾値設定手段により前記記憶手段に記録された前記第2閾値以上である、付記13に記載の信号処理装置。
(付記15)前記ユーザの外耳道に音を送出するスピーカーと、前記スピーカーが送出した音に基づいて前記ユーザを特定するユーザ特定手段と、前記記憶手段に記録されている前記第2閾値のうち、前記ユーザ特定手段により特定された前記ユーザに関連付けられた前記第2閾値を特定する閾値特定手段と、をさらに備え、前記第1条件とは、前記第1信号が示す音圧レベルを前記第2信号が示す音圧レベルで除算した値が、前記閾値特定手段により特定された前記第2閾値以上である、付記14に記載の信号処理装置。
(付記16)ユーザの外耳道に挿入される第1部分と、前記外耳道の外部に位置する第2部分とを有し、前記ユーザの耳に装着されるケースと、前記ケースの第1部分に設けられた第1マイクと、前記ケースの第2部分に設けられた第2マイクと、前記第1マイクから出力される第1信号と前記第2マイクから出力される第2信号との関係が第1条件を満たす場合に音の信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第1条件とは異なる第2条件が満たされる間は前記処理を継続する制御手段と、を備えるマイクロホン装置。
(付記17)ユーザの外耳道に挿入される第1マイクから出力される第1信号と、前記外耳道の外部に位置する第2マイクから出力される第2信号との関係が第1条件を満たすか否かを判定することと、前記第1条件が満たされると判定された場合に、音の信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第1条件とは異なる第2条件が満たされる間は前記処理を継続することと、を含む信号処理方法。
(付記18)コンピュータを、ユーザの外耳道に挿入される第1マイクから出力される第1信号と、前記外耳道の外部に位置する第2マイクから出力される第2信号との関係が第1条件を満たすか否かを判定することと、前記第1条件が満たされると判定された場合に、音の信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第1条件とは異なる第2条件が満たされる間は前記処理を継続することと、として実行させるプログラム。
B 第2部分
U ユーザ
1 マイクロホン装置
3 スマートフォン
10 ケース
11 第1マイク
12 第2マイク
13 判定部
14 検知部
15 信号送信部
16 制御部
17 ノイズキャンセル部
18 シグナルキャンセル部
19 スピーカー
20 認証部
21 ユーザ特定部
22 フィルタ特定部
23 補間部
24 閾値設定部
25 閾値記憶部
26 入力受付部
27 閾値特定部
30 フィルタ保存装置
31 フィルタ記録部
32 フィルタ記憶部
40 外部装置
41 外部記憶部
42 外部ユーザ特定部
43 外部フィルタ特定部
1100 コンピュータ
1110 プロセッサ
1120 メインメモリ
1130 ストレージ
1140 インタフェース
Claims (9)
- ユーザの外耳道に挿入される第1マイクの出力に基づく第1信号と、前記外耳道の外部に位置する第2マイクの出力に基づく第2信号との関係が、前記第1信号が示す音圧レベルが前記第2信号が示す音圧レベルより大きいという第1条件を満たすか否かを判定する判定手段と、
前記第1条件が満たされると判定された場合に、音の信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第1信号が示す音圧レベルが第1閾値以上であるという第2条件が満たされる間は前記処理を継続する信号送信手段と、
を備える信号処理装置。 - 前記第1信号は、空気の伝導により前記第1マイクが集音した音に基づいて出力され、
前記第2信号は、空気の伝導により前記第2マイクが集音した音に基づいて出力される、
請求項1に記載の信号処理装置。 - 前記第2条件を満たすか否かを判定する検知手段をさらに備え、
前記信号送信手段は、前記第1条件が満たされると判定された場合に、前記第1信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第2条件が満たされる間は前記処理を継続する、
請求項1または請求項2に記載の信号処理装置。 - 前記第1マイクから出力される信号から外部のノイズを除去するノイズキャンセル手段をさらに備え、
前記第1信号は、前記ノイズキャンセル手段により前記外部のノイズが除去された信号である、
請求項1から請求項3の何れか1項に記載の信号処理装置。 - 前記第2マイクから出力される信号から所定の音を除去するシグナルキャンセル手段をさらに備え、
前記第2信号は、前記シグナルキャンセル手段により前記所定の音が除去された信号である、
請求項4に記載の信号処理装置。 - 前記ノイズキャンセル手段は、前記外部のノイズの特徴量に対応して異なる処理を行い、
前記シグナルキャンセル手段は、前記所定の音の特徴量に対応して異なる処理を行い、前記第1信号に基づいて前記所定の音を除去する、
請求項5に記載の信号処理装置。 - ユーザの外耳道に挿入される第1部分と、前記外耳道の外部に位置する第2部分とを有し、前記ユーザの耳に装着されるケースと、
前記ケースの第1部分に設けられた第1マイクと、
前記ケースの第2部分に設けられた第2マイクと、
前記第1マイクから出力される第1信号と前記第2マイクから出力される第2信号との関係が、前記第1信号が示す音圧レベルが前記第2信号が示す音圧レベルより大きいという第1条件を満たす場合に音の信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第1信号が示す音圧レベルが第1閾値以上であるという第2条件が満たされる間は前記処理を継続する制御手段と、
を備えるマイクロホン装置。 - ユーザの外耳道に挿入される第1マイクから出力される第1信号と、前記外耳道の外部に位置する第2マイクから出力される第2信号との関係が、前記第1信号が示す音圧レベルが前記第2信号が示す音圧レベルより大きいという第1条件を満たすか否かを判定することと、
前記第1条件が満たされると判定された場合に、音の信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第1信号が示す音圧レベルが第1閾値以上であるという第2条件が満たされる間は前記処理を継続することと、
を含む信号処理方法。 - コンピュータを、
ユーザの外耳道に挿入される第1マイクから出力される第1信号と、前記外耳道の外部に位置する第2マイクから出力される第2信号との関係が、前記第1信号が示す音圧レベルが前記第2信号が示す音圧レベルより大きいという第1条件を満たすか否かを判定することと、
前記第1条件が満たされると判定された場合に、音の信号の送信に関する処理を開始し、前記第1条件が満たされなくなった後も、前記第1信号が示す音圧レベルが第1閾値以上であるという第2条件が満たされる間は前記処理を継続することと、
として実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020186725A JP7279897B2 (ja) | 2020-11-09 | 2020-11-09 | 信号処理装置、マイクロホン装置、信号処理方法及びプログラム |
CN202180073333.5A CN116530098A (zh) | 2020-11-09 | 2021-11-04 | 信号处理设备、麦克风设备、信号处理方法和记录介质 |
US18/034,492 US20240347033A1 (en) | 2020-11-09 | 2021-11-04 | Signal processing device, microphone device, signal processing method, and recording medium |
KR1020237014622A KR20230078770A (ko) | 2020-11-09 | 2021-11-04 | 신호 처리 디바이스, 마이크로폰 디바이스, 신호 처리 방법, 및 기록 매체 |
EP21889245.3A EP4243439A4 (en) | 2020-11-09 | 2021-11-04 | SIGNAL PROCESSING DEVICE, MICROPHONE DEVICE, SIGNAL PROCESSING METHOD AND RECORDING MEDIUM |
PCT/JP2021/040647 WO2022097693A1 (ja) | 2020-11-09 | 2021-11-04 | 信号処理装置、マイクロホン装置、信号処理方法及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020186725A JP7279897B2 (ja) | 2020-11-09 | 2020-11-09 | 信号処理装置、マイクロホン装置、信号処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022076353A JP2022076353A (ja) | 2022-05-19 |
JP7279897B2 true JP7279897B2 (ja) | 2023-05-23 |
Family
ID=81458383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020186725A Active JP7279897B2 (ja) | 2020-11-09 | 2020-11-09 | 信号処理装置、マイクロホン装置、信号処理方法及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240347033A1 (ja) |
EP (1) | EP4243439A4 (ja) |
JP (1) | JP7279897B2 (ja) |
KR (1) | KR20230078770A (ja) |
CN (1) | CN116530098A (ja) |
WO (1) | WO2022097693A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070009122A1 (en) | 2005-07-11 | 2007-01-11 | Volkmar Hamacher | Hearing apparatus and a method for own-voice detection |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56122245A (en) * | 1980-02-29 | 1981-09-25 | Pilot Pen Co Ltd:The | Automatic control system for transmission or recording and transmission and reception |
JP3292098B2 (ja) * | 1997-07-29 | 2002-06-17 | ヤマハ株式会社 | 聴覚補助装置 |
US11317202B2 (en) * | 2007-04-13 | 2022-04-26 | Staton Techiya, Llc | Method and device for voice operated control |
JP2009212715A (ja) | 2008-03-03 | 2009-09-17 | Temuko Japan:Kk | 補聴器 |
KR101129882B1 (ko) * | 2010-05-26 | 2012-03-28 | 한국과학기술원 | 골 전도 기반 이어폰, 헤드폰 및 이를 이용한 미디어 기기 조작 방법 |
DE102018209822A1 (de) * | 2018-06-18 | 2019-12-19 | Sivantos Pte. Ltd. | Verfahren zur Steuerung der Datenübertragung zwischen zumindest einem Hörgerät und einem Peripheriegerät eines Hörgerätesystems sowie Hörgerät |
WO2020045204A1 (ja) * | 2018-08-31 | 2020-03-05 | 日本電気株式会社 | 生体認証装置、生体認証方法および記録媒体 |
DE102019112754B4 (de) | 2019-05-15 | 2021-06-24 | Man Energy Solutions Se | Verfahren und Steuerungseinrichtung zum Betreiben einer Common-Rail Kraftstoffversorgungsanlage |
-
2020
- 2020-11-09 JP JP2020186725A patent/JP7279897B2/ja active Active
-
2021
- 2021-11-04 EP EP21889245.3A patent/EP4243439A4/en active Pending
- 2021-11-04 CN CN202180073333.5A patent/CN116530098A/zh active Pending
- 2021-11-04 WO PCT/JP2021/040647 patent/WO2022097693A1/ja active Application Filing
- 2021-11-04 KR KR1020237014622A patent/KR20230078770A/ko active IP Right Grant
- 2021-11-04 US US18/034,492 patent/US20240347033A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070009122A1 (en) | 2005-07-11 | 2007-01-11 | Volkmar Hamacher | Hearing apparatus and a method for own-voice detection |
Also Published As
Publication number | Publication date |
---|---|
EP4243439A1 (en) | 2023-09-13 |
EP4243439A4 (en) | 2024-05-22 |
JP2022076353A (ja) | 2022-05-19 |
WO2022097693A1 (ja) | 2022-05-12 |
US20240347033A1 (en) | 2024-10-17 |
CN116530098A (zh) | 2023-08-01 |
KR20230078770A (ko) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2192794B1 (en) | Improvements in hearing aid algorithms | |
JP6150988B2 (ja) | 特に「ハンズフリー」電話システム用の、小数遅延フィルタリングにより音声信号のノイズ除去を行うための手段を含むオーディオ装置 | |
JP6034793B2 (ja) | オーディオ信号生成システム及び方法 | |
EP1956589B1 (en) | Estimating own-voice activity in a hearing-instrument system from direct-to-reverberant ratio | |
CN110010143B (zh) | 一种语音信号增强系统、方法及存储介质 | |
JP6931819B2 (ja) | 音声処理装置、音声処理方法及び音声処理プログラム | |
KR20130124573A (ko) | 공간 선택적 오디오 증강을 위한 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들 | |
CN111432318B (zh) | 包括直接声音补偿的听力装置 | |
JP2012189907A (ja) | 音声判別装置、音声判別方法および音声判別プログラム | |
US20120197635A1 (en) | Method for generating an audio signal | |
CN114009063A (zh) | 具有骨传导传感器的听力设备 | |
CN115039418A (zh) | 用于头戴式送受话器的耳上检测的系统和方法 | |
CN115039415A (zh) | 用于头戴式送受话器的耳上检测的系统和方法 | |
KR101850693B1 (ko) | 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법 | |
JP7279897B2 (ja) | 信号処理装置、マイクロホン装置、信号処理方法及びプログラム | |
KR101824648B1 (ko) | 음성 신호 처리 방법 및 장치 | |
ATE321332T1 (de) | Virtuelle mikrophonanordnung | |
JP2012517031A (ja) | 信号経路を分離する方法及び電気喉頭を使用して音声を改良するための使用方法 | |
WO2018227560A1 (zh) | 耳机控制方法及系统 | |
WO2022231977A1 (en) | Recovery of voice audio quality using a deep learning model | |
JP4817949B2 (ja) | 車載機 | |
KR20240039435A (ko) | 다중 센서신호 융합 기반의 주변소음 제거를 통한 고품질 음성신호 처리 장치 및 방법 | |
CN116193347A (zh) | 音频测试系统、方法和存储介质 | |
JP2019083366A (ja) | 電子機器及び残響抑圧プログラム | |
JP2009094700A (ja) | 音声処理システム、音声処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20210205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7279897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |