WO2024080160A1 - 情報処理装置、情報処理システム及び情報処理方法 - Google Patents

情報処理装置、情報処理システム及び情報処理方法 Download PDF

Info

Publication number
WO2024080160A1
WO2024080160A1 PCT/JP2023/035601 JP2023035601W WO2024080160A1 WO 2024080160 A1 WO2024080160 A1 WO 2024080160A1 JP 2023035601 W JP2023035601 W JP 2023035601W WO 2024080160 A1 WO2024080160 A1 WO 2024080160A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
hearing aid
unit
processing device
sound
Prior art date
Application number
PCT/JP2023/035601
Other languages
English (en)
French (fr)
Inventor
理 中村
恭輔 松本
慎平 土谷
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024080160A1 publication Critical patent/WO2024080160A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception

Definitions

  • This disclosure relates to an information processing device, an information processing system, and an information processing method.
  • Hearing aids are widely used as devices to compensate for a user's hearing.
  • a hearing aid is composed of a microphone, a receiver, etc., and at least a part of it is fitted into the user's ear canal.
  • the above-mentioned hearing aids are intended to compensate for the user's hearing, so if an abnormality occurs, they are required to detect it immediately and notify the user.
  • this disclosure proposes an information processing device, an information processing system, and an information processing method that can easily and accurately detect abnormalities in the device.
  • an information processing device configured so that at least a portion of the information processing device can be attached to the ear canal of a user, the information processing device including an output unit that outputs a measurement sound for detecting an abnormality in the information processing device, a first sound collection unit that collects the measurement sound, and an abnormality detection unit that detects the abnormality based on an acoustic signal collected by the first sound collection unit.
  • the present disclosure also provides an information processing system including an information processing device configured so that at least a portion of the information processing device can be attached to a user's ear canal, and a charger for the information processing device, the information processing device having an output unit that outputs a measurement sound for detecting an abnormality in the information processing device, a first sound collection unit that collects the measurement sound, and an abnormality detection unit that detects the abnormality based on an acoustic signal collected by the first sound collection unit.
  • an information processing method for detecting an abnormality in an information processing device configured so that at least a portion of the device can be attached to a user's ear canal, the information processing method including the information processing device outputting a measurement sound for detecting an abnormality in the information processing device, collecting the measurement sound, and detecting the abnormality based on the collected acoustic signal.
  • FIG. 1 is a diagram showing a schematic configuration of a hearing aid system 1 according to an embodiment of the present disclosure.
  • FIG. 2 is a functional block diagram of a hearing aid 2 and a charger 3 according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram of an information processing terminal 40 according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing an example configuration of a behind-the-ear hearing aid 100 according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing an example configuration of an in-the-ear hearing aid 500 according to an embodiment of the present disclosure.
  • FIG. 1 is a cross-sectional view showing an in-the-ear hearing aid 500 according to an embodiment of the present disclosure inserted into a user's ear canal.
  • 1 is an explanatory diagram showing an example of application to a behind-the-ear hearing aid 100 according to a first embodiment of the present disclosure.
  • 1 is an explanatory diagram showing an example of application of the first embodiment of the present disclosure to an in-the-ear hearing aid 500.
  • FIG. 4 is an explanatory diagram showing an example of characteristics of a measurement sound collected in the first embodiment of the present disclosure.
  • FIG. FIG. 1 is a functional block diagram of a hearing aid 100 according to a first embodiment of the present disclosure.
  • 2 is a functional block diagram of an abnormality detection unit 133 according to the first embodiment of the present disclosure.
  • FIG. 2 is a flowchart of an information processing method according to the first embodiment of the present disclosure.
  • 8 is an explanatory diagram illustrating the configuration of a charger 800 for storing a hearing aid 100 in a second embodiment of the present disclosure.
  • FIG. FIG. 11 is an explanatory diagram (part 1) showing an example of application of the behind-the-ear hearing aid 100 according to the third embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram (part 2) showing an example of application of the behind-the-ear hearing aid 100 according to the third embodiment of the present disclosure.
  • FIG. 11 is a functional block diagram of a trigger detection function of a charger 800 according to a fourth embodiment of the present disclosure.
  • 13 is a flowchart of an information processing method according to a fourth embodiment of the present disclosure.
  • FIG. 13 is an explanatory diagram showing a notification example according to a fourth embodiment of the present disclosure.
  • FIG. 13 is an explanatory diagram (part 1) showing a notification example according to the fifth embodiment of the present disclosure.
  • FIG. 23 is an explanatory diagram (part 2) showing a notification example according to the fifth embodiment of the present disclosure.
  • FIG. 23 is an explanatory diagram showing a notification setting screen according to a sixth embodiment of the present disclosure.
  • 13 is a flowchart of an information processing method according to a seventh embodiment of the present disclosure.
  • FIG. 23 is an explanatory diagram showing an example of characteristics of a measurement sound collected in the eighth embodiment of the present disclosure.
  • An explanatory diagram showing a modified example of application to an in-the-ear hearing aid 500 according to the eighth embodiment of the present disclosure is a functional block diagram of a hearing aid 500 according to an eighth embodiment of the present disclosure. 13 is a flowchart of an information processing method according to an eighth embodiment of the present disclosure. An explanatory diagram showing an example of application of the present disclosure to an in-the-ear hearing aid 500 according to the ninth embodiment. A functional block diagram of a device on the side of a third microphone 906 according to a ninth embodiment of the present disclosure. An explanatory diagram showing an example of application of the tenth embodiment of the present disclosure to an in-the-ear hearing aid 500.
  • 23 is an explanatory diagram showing an example of characteristics of a measurement sound collected in the tenth embodiment of the present disclosure.
  • 23 is a flowchart of an information processing method according to a tenth embodiment of the present disclosure.
  • FIG. 23 is an explanatory diagram showing an example of characteristics of a measurement sound collected in the eleventh embodiment of the present disclosure.
  • 23 is a flowchart of an information processing method according to an eleventh embodiment of the present disclosure.
  • FIG. 23 is a diagram (part 1) showing the schematic configuration of a hearing aid system 1a according to a fourteenth embodiment of the present disclosure.
  • FIG. 23 is a diagram (part 2) showing the schematic configuration of a hearing aid system 1a according to a fourteenth embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of data utilization.
  • FIG. 11 is a diagram illustrating an example of data.
  • FIG. 13 is a diagram illustrating an example of cooperation with other devices.
  • FIG. 13 is a diagram illustrating an example of a use transition.
  • Figure 1 is a diagram showing a schematic configuration of a hearing aid system 1 according to an embodiment of the present disclosure
  • Figure 2 is a functional block diagram of a hearing aid 2 and a charger 3 according to an embodiment of the present disclosure
  • Figure 3 is a block diagram of an information processing terminal 40 according to an embodiment of the present disclosure.
  • the hearing aid system 1 includes a pair of left and right hearing aids 2, a charger 3 (charging case) that stores and charges the hearing aids 2, and an information processing terminal 40 such as a smartphone that can communicate with at least one of the hearing aids 2 and the charger 3.
  • an information processing terminal 40 such as a smartphone that can communicate with at least one of the hearing aids 2 and the charger 3.
  • the hearing aid 2 is described as a pair for both ears, but the embodiment of the present disclosure is not limited to this and may be a single-ear type worn on either the left or right ear.
  • the hearing aid 2 mainly has a sound collection unit 20 (20b, 20f), a signal processing unit 21, an output unit 22, a battery 25, a connection unit 26, communication units 27, 30, a memory unit 28, and a control unit 29.
  • the sound collection unit 20 includes an outer (feedforward) sound collection unit 20f that collects sounds from the outer region of the ear canal, and an inner (feedback) sound collection unit 20b that collects sounds from the inner region of the ear canal.
  • an outer sound collection unit 20f that collects sounds from the outer region of the ear canal is provided.
  • Each sound collection unit 20 has a microphone (hereinafter also referred to as a microphone) 201 and an A/D (analog/digital) conversion unit 202.
  • the microphone 201 collects sound, generates an analog audio signal (acoustic signal), and outputs it to the A/D conversion unit 202.
  • the A/D conversion unit 202 performs digital conversion processing on the analog audio signal input from the microphone 201, and outputs the digitized audio signal to the signal processing unit 21.
  • the signal processing unit 21 performs predetermined signal processing on the digital audio signal input from the sound collection unit 20 and outputs the result to the output unit 22.
  • the predetermined signal processing include filtering processing that separates the audio signal into predetermined frequency bands, amplification processing that amplifies each predetermined frequency band after filtering processing by a predetermined amount, noise reduction processing, and howling cancellation processing.
  • the signal processing unit 21 can be configured, for example, with a memory and a processor having hardware such as a DSP (Digital Signal Processor).
  • the output unit 22 has a D/A (digital/analog) conversion unit 221 and a receiver 222.
  • the D/A conversion unit 221 performs analog conversion processing on the digital audio signal input from the signal processing unit 21 and outputs the signal to the receiver 222.
  • the receiver 222 outputs an output sound (audio) corresponding to the analog audio signal input from the D/A conversion unit 221.
  • the receiver 222 can be configured using, for example, a speaker, etc.
  • the battery 25 supplies power to each component of the hearing aid 2.
  • the battery 25 can be composed of a rechargeable secondary battery such as a lithium ion battery. Furthermore, the battery 25 can be charged by power supplied from the charger 3 via the connection part 26.
  • connection unit 26 connects to the connection unit of the charger 3 and can receive power and various information from the charger 3 and output various information to the charger 3.
  • the connection unit 26 can be configured using, for example, one or more pins.
  • the communication unit 27 can communicate with the charger 3 or the information processing terminal 40 via a communication network in accordance with a predetermined communication standard.
  • a predetermined communication standard include Wi-Fi (registered trademark) and Bluetooth (registered trademark).
  • the communication unit 27 can be configured using, for example, a communication module.
  • the communication unit 30 can communicate with the other hearing aid 2 by short-range communication such as NFMI (Near Field Magnetic Induction).
  • the memory unit 28 stores various information related to the hearing aid 2.
  • the memory unit 28 can be configured using, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a memory card, etc.
  • the memory unit 28 can store a program 281 executed by the hearing aid 2 and various data 282 used by the hearing aid 2.
  • the data 282 can include the user's age, whether the user has used the hearing aid 2 before, the user's gender, etc.
  • the data can include the usage time of the user's hearing aid 2, which is timed by a timekeeping unit (not shown).
  • the timekeeping unit is provided inside the hearing aid 2, and can time the date and time and output the timekeeping result to the control unit 29, etc.
  • the timekeeping unit can be configured using, for example, a timing generator, a timer with a timekeeping function, etc.
  • the control unit 29 controls each component of the hearing aid 2.
  • the control unit 29 can be configured, for example, using a memory and a processor having hardware such as a CPU (Central Processing Unit) and a DSP (Digital Signal Processor).
  • the control unit 29 reads out the stored program 281 into the working area of the memory and executes it, and controls each component through the execution of the program by the processor.
  • the hearing aid 2 may have an operation unit.
  • the operation unit can receive an input of a start-up signal (trigger signal) for starting the hearing aid 2, and output the received start-up signal to the control unit 29.
  • the operation unit can be configured using, for example, a push-type switch, a button, a touch panel, or the like.
  • the hearing aid 2 may also be equipped with a bioinformation sensor (not shown), which is a non-invasive sensor device capable of acquiring various types of bioinformation (sensing data) of the user.
  • bioinformation sensors include a blood flow sensor that detects the user's pulse, heart rate, blood flow, blood oxygen, etc.
  • the charger 3 mainly has a display unit 31, a battery 32, a storage unit 33, a communication unit 34, a memory unit 35, and a control unit 36.
  • the display unit 31 displays various states related to the hearing aid 2 under the control of the control unit 36.
  • the display unit 31 can display information indicating that the hearing aid 2 is charging, and information indicating that various information is being received from the information processing terminal 40.
  • the display unit 31 can be configured using, for example, a light-emitting LED (Light Emitting Diode) or the like.
  • the battery 32 supplies power to the components constituting the hearing aid 2 and charger 3 stored in the storage section 33 via a connection section 331 provided in the storage section 33.
  • the battery 32 can be constructed using a secondary battery such as a lithium ion battery.
  • the storage section 33 stores each separately.
  • the hearing aid 2 may be a type for only one ear.
  • the storage section 33 is also provided with a connection section 331 that can be connected to the connection section 26 of the hearing aid 2.
  • the connection section 331 connects to the connection section 26 of the hearing aid 2, and transmits power from the battery 32 and various information from the control section 36, as well as receiving various information from the hearing aid 2 and outputting it to the control section 36.
  • the connection section 331 can be configured using, for example, one or more pins.
  • the communication unit 34 communicates with the information processing terminal 40 via a communication network in accordance with a specific communication standard.
  • the communication unit 34 can be configured, for example, using a communication module.
  • the storage unit 35 stores various programs 351 executed by the charger 3.
  • the storage unit 35 can be configured using, for example, a RAM, a ROM, a flash memory, a memory card, etc.
  • the control unit 36 controls each component of the charger 3. For example, when the hearing aid 2 is stored in the storage unit 33, the control unit 36 causes power to be supplied from the battery 32 via the connection unit 331.
  • the control unit 36 can be configured, for example, using a memory and a processor having hardware such as a CPU or DSP.
  • the control unit 36 reads out the program 351 into the working area of the memory, executes it, and controls each component through the execution of the program by the processor.
  • the information processing terminal 40 mainly has an input unit 41, a communication unit 42, an output unit 43, a display unit 44, a storage unit 45, and a control unit 46.
  • the input unit 41 receives various operations input from the user and outputs a signal corresponding to the received operation to the control unit 46.
  • the input unit 41 can be configured using, for example, a switch, a touch panel, etc.
  • the communication unit 42 communicates with the charger 3 or the hearing aid 2 via a communication network under the control of the control unit 46.
  • the communication unit 42 can be configured using, for example, a communication module.
  • the output unit 43 outputs a volume of a predetermined sound pressure level for each predetermined frequency band under the control of the control unit 46.
  • the output unit 43 can be configured using, for example, a speaker.
  • the display unit 44 displays various information related to the information processing terminal 40 and information related to the hearing aid 2.
  • the display unit 44 can be configured using, for example, a liquid crystal display or an organic electroluminescent display (OLED).
  • the storage unit 45 stores various information related to the information processing terminal 40.
  • the storage unit 45 stores various programs 451 executed by the information processing terminal 40.
  • the storage unit 45 can be configured using a recording medium such as a RAM, a ROM, a flash memory, or a memory card.
  • the control unit 46 controls each component of the information processing terminal 40.
  • the control unit 46 can be configured, for example, using a memory and a processor having hardware such as a CPU.
  • the control unit 46 reads out a program stored in the storage unit 45 into the working area of the memory and executes it, and controls each component through the execution of the program by the processor.
  • the information processing terminal 40 may also include a positioning sensor (not shown).
  • the positioning sensor is a sensor that detects the position of the user carrying the information processing terminal 40, and specifically, may be a GNSS (Global Navigation Satellite System) receiver or the like. In this case, the positioning sensor can generate sensing data indicating the latitude and longitude of the user's current location based on signals from GNSS satellites.
  • GNSS Global Navigation Satellite System
  • the environment around the hearing aid 2 may be estimated based on the position information of the information processing terminal 40 that is in close proximity to the hearing aid 2.
  • the hearing aid system 1 and the functional configuration of each device included therein are not limited to the forms shown in Figures 1 to 3.
  • the hearing aid system 1 may also include an information processing server, etc.
  • FIGS. Fig. 4 is a diagram showing a configuration example of the behind-the-ear hearing aid 100 according to an embodiment of the present disclosure
  • Fig. 5 is a diagram showing a receiver of the behind-the-ear hearing aid 100 according to an embodiment of the present disclosure
  • 6 is a cross-sectional view showing a state in which the in-the-ear hearing aid 500 according to an embodiment of the present disclosure is inserted into the ear canal of a user.
  • the hearing aid 100 is a behind-the-ear hearing aid, for example, a behind-the-ear (BTE)/Receiver-In-The-Ear (REE) type hearing aid. Canal (RIC), etc.
  • the hearing aid 500 is an in-the-ear type hearing aid, and may be, for example, an In-The-Ear (ITE)/In-The-Canal (ITC)/Completely-In-The-Canal (CIC)/Invisible-In-The-Canal ( IIC) etc. It should be noted that the hearing aids 100 and 500 may be hearing aids of a type other than those mentioned above.
  • the behind-the-ear hearing aid 100 mainly includes a receiver (output unit) 101, an ear tip (worn part) 103, and a first microphone (first sound collecting unit) 104.
  • the first microphone 104 collects surrounding sounds and transmits an acoustic signal to a signal processing unit (not shown).
  • the signal processing unit amplifies the transmitted acoustic signal according to the user's hearing ability and transmits the acoustic signal to the receiver 101.
  • the receiver 101 is a speaker that outputs the transmitted acoustic signal.
  • an ear tip 103 for attachment to the user's ear canal is connected to the receiver 101.
  • the ear tip 103 is also called an ear dome, and one shaped to fit the shape of each user's ear is also called an ear mold.
  • the hearing aid 100 is placed on the auricle and the receiver 101 is inserted into the ear canal via the ear tip 103.
  • the ear tip 103 is provided with a first hole 107 as a sound outlet for the receiver 101, and the first hole 107 is provided with an earwax prevention filter 102 for preventing earwax from entering. Therefore, the sound outlet of the receiver 101 is connected to the inside of the ear canal 792 via the first hole 107 and the earwax prevention filter 102. Furthermore, the inside of the ear canal 792 and the outside of the ear canal 791 of the user are separated by the ear tip 103.
  • the ear tip 103 may be provided with a second hole 108 that connects the inside of the ear canal 792 and the outside of the ear canal 791 to prevent the user's own voice from being muffled and to ensure ventilation.
  • the second hole 108 is also called a vent.
  • the diameter of the first hole 107 is generally small, about 1 mm.
  • the presence or absence of the second hole 108 is often determined mainly by the user's hearing ability in the low frequency range, and the diameter of the second hole 108 can be appropriately selected, for example, about 1 mm or about 3 mm.
  • the number of second holes 108 may be one or more. When there are multiple second holes 108, the diameters of the holes may be the same or different.
  • the shape of the hole may be circular or may be a shape other than circular. Furthermore, one or both sides of the second hole 108 may have a mesh structure.
  • the in-the-ear hearing aid 500 mainly includes a receiver 501 and a first microphone 504.
  • the first microphone 504 collects ambient sounds and transmits an acoustic signal to a signal processing unit (not shown).
  • the signal processing unit amplifies the transmitted acoustic signal according to the user's hearing ability and transmits the acoustic signal to the receiver 501.
  • the receiver 501 outputs the transmitted acoustic signal.
  • the hearing aid 500 is inserted into the user's ear canal.
  • Figure 7 shows the in-the-ear hearing aid 500 inserted into the user's ear canal.
  • the housing which is the main body of the hearing aid 500, incorporates the receiver 501 and the first microphone 504 described above.
  • the user pulls the string 509 connected to the housing. Note that depending on the size of the in-the-ear hearing aid 500, the string 509 may not be present.
  • the housing is provided with a first hole 507 as a sound outlet of the receiver 501, and the first hole 507 is provided with an earwax prevention filter 502 for preventing earwax from entering. Therefore, the sound outlet of the receiver 501 is connected to the inside of the ear canal 792 via the first hole 507 and the earwax prevention filter 502. Furthermore, the first microphone 504 is provided at a position a predetermined distance away from the first hole 507. The inside of the ear canal 792 and the outside of the ear canal 791 of the user are separated by the hearing aid 500.
  • the hearing aid 500 may be provided with a second hole 508 that connects the inside of the ear canal 792 and the outside of the ear canal 791 to prevent the muffling of the user's own voice and ensure ventilation.
  • the diameter of the first hole 507 is generally small, about 1 mm.
  • the presence or absence of the second hole 508 is often determined depending on the user's hearing ability, mainly in the low frequency range, and the diameter of the second hole 508 can be appropriately selected, for example, around 1 mm or around 3 mm.
  • the number of second holes 508 may be one or more. When there are multiple second holes 508, the diameters of the holes may be the same or different.
  • the shape of the hole may be circular or may be a shape other than circular. Furthermore, one or both sides of the second hole 508 may have a mesh structure.
  • the hearing aids 100 and 500 are not limited to the shapes shown in Figures 4 to 7.
  • the first hole 107 and the earwax intrusion prevention filter 102 will be described with reference to FIG. 5.
  • the sound output from the receiver 101 reaches the inside of the ear canal 792 via the first hole 107.
  • the amplified sound will not reach the inside of the ear canal 792 as expected.
  • the hearing aid 100 supplements the user's hearing, and it can be a serious problem if the expected sound does not reach the user's ear canal.
  • the most common thing that gets clogged in the first hole 107 is earwax.
  • an earwax prevention filter 102 is widely used.
  • the earwax prevention filter 102 is also called a wax guard, wax trap, wax filter, etc.
  • the earwax prevention filter 102 is a replaceable part. Normally, the hearing aid 100 is adjusted (e.g., fitted) and maintained by an expert (audiologist). Therefore, it is common for the expert to check the condition of the earwax prevention filter 102 during maintenance and replace the earwax prevention filter 102 if necessary. However, replacement parts for the earwax prevention filter 102 are also sold to general users, and it is possible for users to replace it themselves.
  • the second hole 508 will be described with reference to FIG. 7. As can be seen from FIG. 7, the second hole 508 connects the inside 792 of the user's ear canal to the outside 791 of the ear canal. If something gets stuck in the second hole 508, the user's own voice may become too muffled or ventilation may be insufficient. If the user's own voice becomes too muffled, not only will the user feel uncomfortable, but it may also cause problems such as difficulty in speaking. The most common thing that gets stuck in the second hole 508 is earwax.
  • cleaning is performed with a cleaning brush (not shown).
  • a cleaning brush (not shown).
  • the hearing aid 500 is adjusted and maintained by a professional. Therefore, it is common for a professional to check the condition of the second hole 508 during maintenance and clean it as necessary.
  • cleaning brushes are also sold to general users, so users can clean it themselves.
  • the professional can check the condition of the earwax prevention filter 102 and the second hole 508 and take appropriate action. This prevents the user from continuing to use the hearing aid 100, 500 with something stuck in the earwax prevention filter 102 or the second hole 508.
  • the hearing aids 100, 500 may be sold at stores without the assistance of a specialist. Such hearing aids 100, 500 are called over-the-counter (OTC) hearing aids, and may not be able to receive sufficient support from a specialist. Therefore, in the case of OTC hearing aids, the user is required to check the condition of the earwax prevention filter 102 and the second hole 508 and take appropriate measures. Some hearing aids recommend that the earwax prevention filter 102 be replaced periodically in the instruction manual, but if the user overlooks or forgets to do so, the earwax prevention filter 102 will not be replaced. Furthermore, since the quality and quantity of earwax vary greatly from person to person, the appropriate time to replace the earwax prevention filter 102 varies from user to user.
  • OTC over-the-counter
  • the above-mentioned Patent Document 1 proposes a technology that aims to solve this problem.
  • the earwax prevention filter is estimated to be clogged based on the change in receiver impedance between when the earwax prevention filter is clogged and when it is not, and the user is notified of the estimated result.
  • the method proposed in the above-mentioned Patent Document 1 does not directly examine the sound output from the receiver, so it lacks reliability in terms of its effect on the sound, and there are limitations to increasing the accuracy of the estimation of the earwax prevention filter being clogged.
  • the hearing aid 100, 500 also has another problem.
  • the earwax prevention filter 102, 502 that should be attached to the first hole 107, 507 is not attached. If the earwax prevention filter 102, 502 is properly attached, it is unlikely to come off, but if it is not properly attached, it may come off and be lost. Elderly users often have poor eyesight and tend to have difficulty noticing that small parts are not attached.
  • the hearing aid 100, 500 is used without the earwax prevention filter 102, 502 attached, the likelihood of earwax entering the receiver 101, 501 increases. If earwax gets inside the receiver 101, 501, the hearing aid 100, 500 may malfunction. Therefore, it is necessary to notify the user as soon as possible that the earwax prevention filter 102, 502 has not yet arrived.
  • the hearing aid 100, 500 should be appropriately adjusted according to the hearing ability of the user, and therefore the microphone 104, 504 and receiver 101, 501 of the hearing aid 100, 500 are usually calibrated to an appropriate range by experts such as audiologists. However, due to some cause such as the user accidentally dropping the hearing aid 100, 500 or submerging it in water, the microphone 104, 504 and receiver 101, 501 may fall into a state other than the properly calibrated state. If the user does not realize this, the hearing aid 100, 500 will continue to be used in a state in which sounds that are not properly adjusted to the user's hearing ability are output, and the purpose of the hearing aid will not be achieved. Therefore, it is necessary to immediately inform the user that the microphone 104, 504 and receiver 101, 501 are in a state other than the properly calibrated state.
  • abnormalities in the hearing aid 100, 500 can be detected easily and accurately.
  • abnormalities in the hearing aid 100, 500 detected in the embodiment of the present disclosure include, for example, a blockage of the first hole 107, 507, an abnormality (blockage) of the second hole 108, an abnormality (blockage, not attached) of the earwax prevention filter 102, 502 attached to the first hole 107, 507, an abnormality of the receiver 101, 501 (output section), and an abnormality of the microphone (first sound collection section) 104, 504.
  • the embodiments of the present disclosure created by the inventors will be described below in order.
  • Fig. 8 is an explanatory diagram showing an example of application to a behind-the-ear hearing aid (information processing device) 100 according to this embodiment
  • Fig. 9 is an explanatory diagram showing an example of application to a canal hearing aid (information processing device) 500 according to this embodiment
  • Fig. 10 is an explanatory diagram showing an example of the characteristics of the measurement sound collected in this embodiment.
  • the hearing aid 100 when this embodiment is applied to a behind-the-ear hearing aid 100, the hearing aid 100 outputs a measurement sound for detecting abnormalities from the receiver (output unit) 101 upon receiving a trigger signal.
  • the measurement sound output from the receiver 101 passes through the first hole 107 and the space 711 and is collected by the first microphone (first sound collection unit) 104.
  • the first microphone 104 then collects the measurement sound that arrives through the space 711 and converts it into an acoustic signal.
  • the abnormality detection unit of the hearing aid 100 which will be described later, detects blockage of the earwax prevention filter 102 provided in the first hole 107 based on the converted acoustic signal.
  • the hearing aid 500 when this embodiment is applied to an in-the-ear hearing aid 500, the hearing aid 500 outputs a measurement sound for detecting abnormalities from the receiver 501 upon receiving a trigger signal.
  • the measurement sound output from the receiver 501 passes through the first hole 507 and the space 711 and is collected by the first microphone 504.
  • the first microphone 504 then collects the measurement sound that arrives through the space 711 and converts it into an acoustic signal.
  • the abnormality detection unit of the hearing aid 500 which will be described later, detects blockage of the earwax prevention filter 502 provided in the first hole 507 based on the converted acoustic signal.
  • the hearing aid to which this embodiment is applied may be a behind-the-ear hearing aid 100 or an in-the-ear hearing aid 500 as shown in Figures 8 and 9, or may be a hearing aid having a form other than that shown in Figures 8 and 9.
  • the hearing aid to which this embodiment is applied is not particularly limited as long as it has a receiver that outputs a test sound upon receiving a trigger signal, a microphone that collects the output test sound and converts it into an acoustic signal, and a functional unit that detects abnormalities using the acoustic signal.
  • the measurement sound collected by the first microphone 104, 504 exhibits characteristics (frequency characteristics) such as those shown in FIG. 10, for example.
  • characteristics frequency characteristics
  • the earwax prevention filter 102, 502 is not clogged, the measurement sound output from the receiver 101, 501 passes through the first hole 107, 507 normally. Therefore, when the measurement sound output from the receiver 101, 501 is collected by the first microphone 104, 504 and converted into an acoustic signal, the frequency characteristics of the converted acoustic signal will be, for example, normal characteristics 1161 in FIG. 10.
  • the earwax intrusion prevention filter 102, 502 is clogged, the measurement sound output from the receiver 101, 501 cannot pass through the first hole 107, 507 normally. Therefore, when the measurement sound output from the receiver 101, 501 is collected by the first microphone 104, 504 and converted into an acoustic signal, the frequency characteristics of the converted acoustic signal change, for example, to the abnormal characteristic 1162 in FIG. 10.
  • the clogging of the earwax intrusion prevention filter 102, 502 is detected based on the difference in the characteristics of the measurement sound collected by the first microphone 104, 504.
  • the characteristics used in this embodiment are not limited to the frequency characteristics that are the change in volume level with respect to the frequency change as shown in FIG. 10, but may be any characteristics that indicate the characteristics of the measurement sound collected by the first microphone 104, 504.
  • the difference in the characteristics of the measurement sounds depending on whether the earwax prevention filters 102, 502 are clogged or not becomes clear. Therefore, in this embodiment, it is possible to detect clogging of the earwax prevention filters 102, 502 using a model obtained by such analysis.
  • the measurement sound may be an impulse, a time-stretched pulse (TSP), noise, a melody including the frequency required for measurement, a pure tone, multiple pure tones, etc.
  • the measurement sound may be a sound whose frequency or volume changes in stages.
  • the measurement sound may be multiple sounds with different frequencies, for example, multiple sounds with different volumes or multiple sounds with different patterns. And in this embodiment, when multiple such sounds are used, they may be output simultaneously or at different times.
  • Figure 11 is a functional block diagram of the hearing aid 100 according to this embodiment
  • Figure 12 is a functional block diagram of the abnormality detection unit 133 according to this embodiment. Note that, although the hearing aid 100 is described here as an example, in this embodiment, the in-the-ear hearing aid 500 can also have a similar configuration.
  • the hearing aid 100 has a test signal reproducing unit 131 that outputs a test sound to the receiver 101, and a parameter memory unit 132 that stores programs and data for controlling the hearing aid 100.
  • the hearing aid 100 also has an abnormality detection unit 133 that detects abnormalities based on the test sound collected by the first microphone 104, and a control unit 134 that controls each functional unit of the hearing aid 100.
  • the hearing aid 100 mainly has a trigger detection unit (activation signal detection unit) 135 that detects a trigger signal (activation signal) for starting abnormality detection, and a communication unit (an example of a notification unit) 136 that can communicate with the information processing terminal 40.
  • a trigger detection unit activation signal detection unit
  • a communication unit an example of a notification unit
  • the measurement signal reproducing unit 131 can output a measurement sound to the receiver 101.
  • the measurement signal reproducing unit 131 may use parameters stored in the parameter storage unit 132 via the control unit 134.
  • the parameters can be used to adjust the frequency, volume, and pattern of the measurement sound depending on the difference in the output capacity of the receiver 101 and the difference in the environmental conditions when anomaly detection is performed (such as whether the surrounding environmental sound is loud or quiet).
  • the measurement signal reproducing unit 131 may detect the volume of the surrounding sound using the first microphone 104 of the hearing aid 100 and make the adjustment.
  • the measurement signal reproducing unit 131 may use the position information of the user's information processing terminal 40 close to the hearing aid 100 to detect whether the user is at home or away from home, and make the adjustment.
  • the hearing aid 100 when the hearing aid 100 is placed on a table or the like, it is preferable to output a stronger test sound compared to when the hearing aid 100 is stored in an acoustically closed space such as a charger, and by doing so, the accuracy of abnormality detection can be improved.
  • the parameter storage unit 132 also stores programs and data for controlling the hearing aid 100. These programs and data are stored, for example, when the hearing aid 100 is shipped from the factory. These programs and data may also be updated when a configuration change, such as replacing the receiver 101, is made during repairs. Furthermore, data (algorithms, models, etc.) used by the anomaly detection unit 133, which will be described later, may be updated by being distributed to the hearing aid 100 each time an update is made.
  • the first microphone 104 collects the measurement sound output from the receiver 101, converts the sound into an acoustic signal, and sends the converted acoustic signal to the abnormality detection unit 133.
  • the abnormality detection unit 133 Based on the acoustic signal from the first microphone 104, the abnormality detection unit 133 detects an abnormality, i.e., clogging of the earwax intrusion prevention filter 102 provided in the first hole 107.
  • the abnormality detection unit 133 can use parameters stored in the parameter storage unit 132 during the processing. Details of the abnormality detection unit 133 will be described later.
  • the control unit 134 instructs the measurement signal reproduction unit 131 to reproduce the measurement sound based on the trigger signal detected by the trigger detection unit 135. For example, when using a charger 3 with a lid that starts charging when the lid is closed, the charger 3 detects that the hearing aid 100 is built into the charger 3 and that charging has started when the lid is closed. The charger 3 then detects that charging of the hearing aid 100 from the charger 3 has started and sends a trigger signal to the hearing aid 100. Furthermore, the trigger detection unit 135 of the hearing aid 100 receives the trigger signal and instructs the measurement signal reproduction unit 131 via the control unit 134 to reproduce the measurement sound.
  • the charger 3 detects that charging has ended when the lid is opened. Then, the charger 3 detects that charging from the charger 3 to the hearing aid 100 has ended, and transmits a trigger signal to the hearing aid 100. Furthermore, the trigger detection unit 135 of the hearing aid 100 receives the trigger signal, and instructs the measurement signal reproduction unit 131 via the control unit 134 to end the reproduction of the measurement sound.
  • the trigger detection unit 135 is not limited to receiving a trigger signal from the charger 3, but may receive a trigger signal, for example, when a button provided on the hearing aid 100 is operated by the user.
  • the trigger detection unit 135 may also receive a trigger signal from the information processing terminal 40, etc.
  • the communication unit 136 can transmit the abnormality detection result to an external device (the charger 3 or the information processing terminal 40) using, for example, the communication antenna 137.
  • the communication unit 136 is not limited to performing wireless communication using the communication antenna 137 or the like, and may perform wired communication using a communication connector or the like.
  • the functional units of the hearing aid 100 are not limited to the form shown in FIG. 11.
  • the abnormality detection unit 133 and the like are described as being provided in the hearing aid 100, but this is not limited to this in this embodiment.
  • all or part of the functions of the abnormality detection unit 133 may be executed by the information processing terminal 40, the charger 3, an information processing server or cloud (not shown) that can communicate with the hearing aid 100 and the information processing terminal 40, etc. In this way, the configuration of the hearing aid 100 can be made compact and an increase in power consumption can be suppressed.
  • the abnormality detection unit 133 extracts a sound quality change feature amount (feature point) X relating to a change in sound quality from the acoustic signal of the measurement sound, and quantifies, for example, a sound quality change specific to clogging of the earwax intrusion prevention filter 102.
  • the abnormality detection unit 133 converts the acoustic signal output from the first microphone 104 into power spectrum coefficients S 0 , ..., S M-1 using a short-time Fourier transform or an LPC (Linear Predictive Coding) method, where M represents the order of the spectrum.
  • LPC Linear Predictive Coding
  • the sound quality change feature amount X can be obtained by calculating a weighted sum of the ratio of the spectrum coefficients S 0 , ..., S M-1 to the spectrum coefficients B 0 , ..., B M-1 according to the following formula (1).
  • Wm is a weighting factor
  • ⁇ is a predetermined bias value.
  • Various statistical judgment methods can be used to determine the weighting factor Wm and the bias value ⁇ .
  • the degree of clogging of many types of earwax prevention filters 102 is subjectively evaluated in advance, and learning samples are prepared that pair the spectrum coefficient ratio with a desired feature value (for example, 0.0 to 1.0).
  • a weight that is linearly approximated by multiple regression analysis of the learning sample can be found, and the weighting factor Wm and the bias value ⁇ can be determined.
  • a neural network may be used, or a discrimination method such as Bayesian estimation or vector quantization may be used.
  • a sound quality change feature X' may be used instead of the sound quality change feature X.
  • the abnormality detection unit 133 calculates the weighted sum of the differences between the spectrum coefficients S 0 , ..., S M-1 and the spectrum coefficients B 0 , ..., B M-1 according to the following formula (2) to obtain the sound quality change feature X'.
  • W'm is the weighting factor and ⁇ ' is a given bias value.
  • a sound quality feature X'' may be used instead of the sound quality change feature X.
  • the anomaly detection unit 133 calculates a weighted sum of the spectrum coefficients S 0 , . . . , S M-1 according to the following equation (3) to obtain the sound quality feature X''.
  • W''m is the weighting factor and ⁇ '' is the predetermined bias value.
  • the anomaly detection unit 133 quantifies the degree of anomaly based on the short-time amplitude A(t) of the acoustic signal output from the first microphone 104 and the sound quality change feature X. Specifically, the length y1 during which the sound quality change feature X exceeds a predetermined threshold, the maximum value y2 of the sound quality change feature X, and the average value y3 of the sound quality change feature X are calculated to obtain a feature vector. Then, the anomaly detection unit 133 calculates a value z indicating the degree of anomaly according to the following formula (4).
  • u i is a weighting factor
  • u 0 is a predetermined bias value.
  • Various statistical judgment methods can be used to determine the weighting factor u i and the bias value u 0.
  • the degree of clogging of many types of earwax intrusion prevention filters 102 is subjectively evaluated in advance, and learning samples are prepared in which feature vectors and desired score values (for example, 0.0 to 1.0) are paired.
  • a weight that is linearly approximated by multiple regression analysis of the learning samples can be obtained, and the weighting factor u i and the bias value u 0 can be determined.
  • a neural network may be used, or a discrimination method such as Bayesian estimation or vector quantization may be used.
  • the maximum value y4 of the short-time amplitude A(t) of the acoustic signal output from the first microphone 104 and the average value y5 of the short-time amplitude A(t) may be calculated and used as a feature vector.
  • the abnormality detection unit 133 calculates the value z indicating the degree of abnormality according to the following formula (5).
  • the degree of abnormality indicates the degree of clogging of the earwax intrusion prevention filter 102.
  • the abnormality detection unit 133 determines the presence or absence of an abnormality, that is, the presence or absence of clogging of the earwax prevention filter 102, according to the following formula (6).
  • th is a threshold value for determining whether or not there is an abnormality.
  • formula (6) it can be determined that "an abnormality exists" (earwax prevention filter 102 is clogged), and when it is not satisfied, it can be determined that "no abnormality exists” (earwax prevention filter 102 is not clogged).
  • the degree of abnormality may be determined, for example, according to the following formulas (7) and (8).
  • th1 and th2 are thresholds for determining the degree of abnormality.
  • formula (7) When formula (7) is satisfied, it can be determined that "abnormality exists", when formula (8) is satisfied, it is determined that "caution” is required, and when neither formula (7) nor formula (8) is satisfied, it is determined that "no abnormality exists”.
  • formula (6) is divided into two cases and formulas (7) and (8) are divided into three cases, in this embodiment, it is possible to divide into more cases.
  • the degree of abnormality z may be multiplied by 100 and the result shown as a percentage.
  • the abnormality detection unit 133 calculates the degree of abnormality z, for example, as described above, and outputs the calculated degree of abnormality z.
  • the abnormality detection unit 133 is not limited to outputting the degree of abnormality z, and may output the type of abnormality state, such as "abnormal” or "no abnormality.”
  • "abnormal” indicates that the earwax prevention filter 102 is clogged
  • "no abnormality” indicates that the earwax prevention filter 102 is not clogged.
  • a configuration was used to explicitly determine the feature quantities, but in this embodiment, a configuration using a model based on deep machine learning may also be used.
  • the degree of clogging of many types of earwax prevention filters 102 is subjectively evaluated in advance, and learning samples are prepared in which an abnormality level (e.g., 0.0 to 1.0) previously assigned to the evaluation is paired with an acoustic signal.
  • the anomaly detection unit 133 may then detect an anomaly using a trained model generated by machine learning using the prepared learning samples.
  • the anomaly detection unit 133 mainly includes, for example, a preprocessing unit 151, an analysis unit 152, and a determination unit 153.
  • the preprocessing unit 151 performs preprocessing on the acoustic signal as necessary.
  • preprocessing can include sampling rate conversion, frequency conversion, band division, level detection, standardization, normalization, etc. Note that in this embodiment, the preprocessing unit 151 does not necessarily have to be provided.
  • the analysis unit 152 analyzes the output from the pre-processing unit 151 and predicts the degree of abnormality and the type of abnormal state.
  • the analysis unit 152 may perform the processing of the above-mentioned formulas (1) to (5).
  • the degree of clogging of many types of earwax intrusion prevention filters 102 is subjectively evaluated in advance, and a learning sample is prepared in which an abnormality degree (for example, 0.0 to 1.0) previously assigned to the evaluation is paired with an acoustic signal.
  • the analysis unit 152 may then predict the degree of abnormality and the type of abnormal state using a trained model generated by machine learning using the prepared training sample. In this way, in this embodiment, the accuracy of abnormality detection can be improved by using machine learning.
  • the pre-processing unit 151 and the analysis unit 152 may acquire parameters from the parameter storage unit 132 via the control unit 134 as necessary.
  • the determination unit 153 determines the presence or absence of an abnormality, i.e., the presence or absence of clogging of the earwax prevention filter 102, based on the prediction results (analysis results) of the degree of abnormality and the type of abnormal state from the analysis unit 152, for example, using the above-mentioned formulas (6) to (8). Note that in this embodiment, the determination unit 153 does not necessarily have to be provided.
  • the functional parts of the anomaly detection unit 133 are not limited to the form shown in FIG. 12.
  • Fig. 13 is a flowchart of the information processing method according to this embodiment. As shown in Fig. 13, the information processing method according to this embodiment includes a plurality of steps from step S101 to step S105. Each step included in the information processing method according to this embodiment will be described in detail below.
  • the hearing aid 100 determines whether a trigger has occurred (step S101). If the hearing aid 100 determines that a trigger has occurred (step S101: Yes), it proceeds to step S102 and starts measurement. On the other hand, if the hearing aid 100 determines that a trigger has not occurred (step S101: No), it returns to step S101 and waits.
  • the hearing aid 100 outputs a test sound from the receiver 101, and the output test sound is input to the first microphone 104 (step S102).
  • the hearing aid 100 predicts clogging of the earwax prevention filter 102 based on the acoustic signal from the first microphone 104 (step S103).
  • the hearing aid 100 determines whether the earwax prevention filter 102 is suspected to be clogged based on the result of the clogging of the earwax prevention filter 102 predicted in step S103 (step S104). If the hearing aid 100 does not suspect the earwax prevention filter 102 to be clogged (step S104: No), it ends the process. On the other hand, if the hearing aid 100 suspects the earwax prevention filter 102 to be clogged (step S104: Yes), it proceeds to step S105.
  • notification methods can include, for example, notification on the display of the charger 3 described below, or notification via a display, audio, or vibration output from the information processing terminal 40 owned by the user. Also, in this embodiment, the notification information can be stored, and the next time the user wears the hearing aid 100 in their ear, an audio notification can be sent to the user via the hearing aid 100.
  • clogging of the earwax prevention filter 102, 502 attached to the first hole 107, 507 can be detected easily and accurately.
  • FIG. 14 is an explanatory diagram showing an example of application to a behind-the-ear hearing aid 100 according to this embodiment
  • Figure 15 is an explanatory diagram showing an example of application to an in-the-ear hearing aid 500 according to this embodiment.
  • the first closed space 612 is an acoustically closed space bounded by a first boundary 615, that is, a space that can suppress the transmission of sound from the outside.
  • a first boundary 615 that is, a space that can suppress the transmission of sound from the outside.
  • FIG. 16 is an explanatory diagram illustrating the configuration of a charger 800 that stores the hearing aid 100 in this embodiment.
  • the hearing aid 100 can be stored in the charger 800.
  • the charger 800 has a structure (box structure) that has a lid and can start charging by closing the lid. Therefore, when the lid of the charger 800 is closed, the charger 800 can play a role similar to that of the first closed space 612 described above.
  • the hearing aid 100, 500 in the charger 800, it is possible to reduce the mixing of sounds other than the measurement sound with the measurement sound and the sound being collected by the first microphone 104, 504.
  • the measurement sound output from the receiver 101, 501 can efficiently reach the first microphone 104, 504 without being diffused. Therefore, according to this embodiment, the accuracy of anomaly detection can be improved.
  • the timing at which the lid of the charger 800 is closed is used as a trigger to start abnormality detection (i.e., to start outputting the measurement sound).
  • the trigger is not limited to the timing at which the lid is closed, but may also be the timing at which charging starts or ends, and is not particularly limited as long as the lid is closed.
  • the trigger may be the user operating an externally operable button 823 of the charger 800 with the lid closed.
  • the result of the abnormality detection may be notified to the user via a display unit 822 of the charger 800 that is visible from the outside.
  • the display unit 822 may notify the user by color, such as by displaying blue when there is no abnormality and red when there is an abnormality.
  • the display unit 822 may be enlarged to display text, illustrations, animations, etc.
  • an advantage of performing abnormality detection when the hearing aid 100, 500 is stored in the charger 800 and the lid is closed is that it is possible to reliably recognize that the hearing aid 100, 500 is not being worn in the user's ear. If the hearing aid 100, 500 is not being worn in the user's ear, the user does not need to hear unnecessary measurement sounds. Furthermore, since various selections can be made regarding the sound and volume (sound pressure level) as the measurement sound, it is expected that the accuracy of abnormality detection will be improved. Note that if the hearing aid 100, 500 is provided with the above-mentioned bioinformation sensor, it is also possible to detect whether the hearing aid 100, 500 is being worn or not based on sensing data from such a bioinformation sensor. Therefore, in this embodiment, such a bioinformation sensor may be used to confirm that the hearing aid 100, 500 is not being worn in the user's ear and then abnormality detection may be started.
  • the first closed space 612 is not limited to being the charger 800, but may be, for example, a device that disinfects, sterilizes, dries, etc. the hearing aids 100, 500, or may be a storage case for the hearing aids 100, 500.
  • the hearing aid 100, 500 by placing the hearing aid 100, 500 in the first closed space 612, it is possible to reduce the occurrence of sounds other than the measurement sound being mixed with the measurement sound and picked up by the first microphone 104, 504. Furthermore, by placing the hearing aid 100, 500 in the first closed space 612, the measurement sound output from the receiver 101, 501 reaches the first microphone 104, 504 efficiently without being diffused. Therefore, according to this embodiment, the accuracy of anomaly detection can be improved.
  • the hearing aid 100 may have an IR (infrared) sensor, a pressure sensor, a camera, or other imaging sensor in addition to the microphone.
  • these sensors may be used to determine whether the hearing aid 100 is stored in an acoustically closed space such as a charger, or in an acoustically open space.
  • the output level of the test sound may be adjusted according to the battery charge of the hearing aid 100. As a result, by adjusting the output level to an optimal level according to the battery charge, it is possible to conserve the battery of the hearing aid 100 and use the hearing aid 100 for a long period of time.
  • FIGS 17 and 18 are explanatory diagrams showing an example of application to the behind-the-ear hearing aid 100 according to this embodiment.
  • a fixing portion 924 is provided in the first closed space 612 to fix the positional relationship between the receiver 101 and the first microphone 104 in the first closed space 612.
  • the positional relationship between the receiver 101 and the first microphone 104 in the first closed space 612 is fixed, the measurement sound collected by the first microphone 104 is stabilized, and the accuracy of anomaly detection can be further improved.
  • the fixing portion may have a tunnel structure that creates a closed space 612 defined by a first boundary 615.
  • the fixing portion is provided in a box structure shown as a fourth boundary 618, and the first closed space 612 can be formed by fitting the ear tip 103 therein, which communicates with the receiver 101 and the first microphone 104.
  • the first closed space 612 can be formed by fitting the ear tip 103 therein, which communicates with the receiver 101 and the first microphone 104.
  • the fixing portion 924 by providing the fixing portion 924, the positional relationship between the receiver 101 and the first microphone 104 is fixed, so that the measurement sound collected by the first microphone 104 is stabilized, and the accuracy of abnormality detection can be further improved.
  • this embodiment can also be applied to the in-the-ear hearing aid 500.
  • Fig. 19 is a functional block diagram of the trigger detection function of the charger 800 according to the present embodiment
  • Fig. 20 is a flowchart of an information processing method according to the present embodiment
  • Fig. 21 is an explanatory diagram showing a notification example according to the present embodiment.
  • the functional block for executing the trigger detection function as shown in FIG. 19 can be applied to, for example, the charger 800.
  • the charger 800 mainly has a control unit 844, a trigger detection unit 845, and a communication unit 846.
  • the trigger detection unit 845 can detect that the lid of the charger 800 has been closed and output a trigger signal.
  • the trigger detection unit 845 may detect that an operation has been performed on the button 823 of the charger 800 shown in FIG. 16 and output a trigger signal.
  • the trigger may be detected as a user's speech or a sound from the user (e.g., a wake word, etc.) and output a trigger signal.
  • the control unit 844 receives a trigger signal from the trigger detection unit 845 and outputs the trigger signal to the communication unit 846.
  • the communication unit 846 can transmit the trigger signal to the hearing aid 100, 500, for example, using a communication antenna 847.
  • the communication unit 846 is not limited to performing wireless communication using the communication antenna 847 or the like, but may perform wired communication using a communication connector or the like. Then, upon receiving the trigger signal, the hearing aid 100, 500 starts outputting a measurement sound to detect an abnormality.
  • the trigger detection unit 845 may output a trigger signal to the hearing aid 100, 500 to stop abnormality detection, as described above.
  • the device that transmits the trigger signal to the hearing aid 100, 500 is not limited to the charger 800, but may be an external device such as the information processing terminal 40 or an information processing server (not shown), or a relay device, etc.
  • the information processing method according to this embodiment includes steps S201 and S202. Each step included in the information processing method according to this embodiment will be described in detail below.
  • the charger 800 determines whether a trigger has occurred (step S201). For example, in the case of a charger with a lid, the charger detects the lid being closed or opened as a trigger. If a trigger has occurred (step S201: Yes), the charger 800 proceeds to step S202, and if a trigger has not occurred (step S201: No), the charger 800 returns to step S201. The charger 800 then transmits a trigger signal to the hearing aid 100 (step S202).
  • the detection of an abnormality is not limited to being based on a trigger signal from the charger 800, but may be based on a trigger signal from the information processing terminal 40 used by the user.
  • the information processing terminal 40 stores the timing of the previous abnormality detection in advance based on an input by the user or a signal from the hearing aid 100, 500, and measures the elapsed time from the previous abnormality detection and the usage time using a timer or the like. Furthermore, when a predetermined time has elapsed, the information processing terminal 40 transmits a trigger signal to the hearing aid 100.
  • the user or the like may register a specific date and time for abnormality detection in advance using a calendar, and the information processing terminal 40 may transmit a trigger signal to the hearing aid 100, 500 based on the registration.
  • the information processing terminal 40 may transmit a trigger signal to the hearing aid 100 in response to an instruction from a server (not shown) from a support service company.
  • the information processing terminal 400 displays a message 871 to the user, such as "We will check the hearing aid for earwax blockage. Please remove the hearing aid from your ear and then select execute.”
  • the information processing terminal 400 obtains a response from the user with buttons 872, 873.
  • the information processing terminal 400 transmits a trigger signal to the hearing aid 100 according to the response from the user.
  • Fig. 22 and Fig. 23 are explanatory diagrams showing an example of a notification according to this embodiment.
  • the result of the abnormality detection is notified by outputting a message 971 such as "earwax may be clogged" from the receiver 101 of the hearing aid 100.
  • the receiver 101 outputs the message 971 by voice or sound.
  • the result is notified to the user at a timing when it is estimated that the user will be wearing the hearing aid 100, such as 10 seconds after the hearing aid 100 is turned on or 10 seconds after the hearing aid 100 is removed from the charger 800.
  • the hearing aid 100 is provided with the above-mentioned bioinformation sensor, the wearing of the hearing aid 100 may be confirmed by sensing data from such a bioinformation sensor and the message 971 may be output.
  • the user can confirm the result of the abnormality detection of the hearing aid 100 without using the information processing terminal 400 or the like, so that even a user who does not use the information processing terminal 400 often can prevent a situation in which the user does not notice the notification.
  • the message 971 is output from the receiver 101 of the hearing aid 100, it is preferable to notify the user before the earwax prevention filter 102 becomes completely clogged.
  • a vibrator may be installed in the hearing aid 100, and vibration may be used as a message (tactile message).
  • a display device such as an LED (Light-Emitting Diode) may be installed in the hearing aid 100, and color changes or display contents of the display device may be used as a message (visual message).
  • the information processing terminal 400 notifies the user of the abnormality detection by displaying a message 882 such as "The earwax prevention filter is clogged. Please replace it.”
  • the message 882 may be a text message as shown in FIG. 23, or a message using illustrations, symbols, animations, etc.
  • the user may operate the buttons 874 and 875 on the screen to feed back to the information processing terminal 400 that the notification has been confirmed.
  • the user may operate the buttons 874 and 875 on the screen to cause the information processing terminal 400 to display a diagram or video explaining how to replace the earwax prevention filter 102.
  • the information processing terminal 400 may be connected to a server (not shown) of a support service company or a support telephone line.
  • a server not shown
  • the user can easily confirm how to replace the earwax prevention filter 102, and therefore can replace the earwax prevention filter 102 without the user feeling confused about the procedure.
  • the message output is not limited to the hearing aid 100 or the information processing terminal 400, but may also be the charger 800, an information device such as a television (not shown) installed around the user, or an information processing terminal (not shown) of the user's family.
  • the format of the message output from these devices is not limited either, and a voice message (auditory message), vibration (tactile message), display message (visual message), etc. can be selected as appropriate.
  • Fig. 24 is an explanatory diagram showing a notification setting screen according to this embodiment.
  • the user can be notified of the presence or absence of an abnormality in the hearing aid 100 and the level of the abnormality. Therefore, in this embodiment, the level of the abnormality to be notified can be set by the user.
  • the user can select radio button 887 in display screen 883 displayed on the display unit of information processing terminal 400 to set the level of notification desired by the user from among "Notify of severe clogging only,” “Notify of minor clogging as well,” and "Do not notify.”
  • radio button 887 in display screen 883 displayed on the display unit of information processing terminal 400 to set the level of notification desired by the user from among "Notify of severe clogging only,” “Notify of minor clogging as well,” and "Do not notify.”
  • an operation can be performed on button 885 in display screen 883.
  • an operation can be performed on button 886 in display screen 883.
  • the user can set the notification to be made at the level of clogging of the earwax prevention filter 102 desired by the user by sliding a slider bar 889 in a display screen 884 displayed on the display unit of the information processing terminal 400. Also, for example, the user can set whether or not to notify using a switch 890 in the display screen 884. Furthermore, to enable the user's setting of the slider bar 889, for example, the user can operate button 891 in the display screen 884. To cancel the user's setting of the slider bar 889, for example, the user can operate button 892 in the display screen 884.
  • the settings related to abnormality notification may include whether or not to perform abnormality detection, and may also include setting the notification destination (charger 800, information processing terminal 400, etc.).
  • the notification method audio, lamp display, screen display, etc.
  • notification destination may also be set according to the level of clogging of the earwax intrusion prevention filter 102.
  • Fig. 25 is an explanatory diagram showing an example of application to the in-ear hearing aid 500 according to this embodiment
  • Fig. 26 is an explanatory diagram showing a modified example of application to the in-ear hearing aid 500 according to this embodiment. Note that, although the in-ear hearing aid 500 is described here as an example, in this embodiment, the behind-the-ear hearing aid 100 can also have a similar configuration.
  • the hearing aid 500 outputs a measurement sound for abnormality detection from the receiver 501.
  • the measurement sound output from the receiver 501 passes through the first hole 507, the second closed space 613, the second hole 508, and the space 711 and is collected by the first microphone 504.
  • the sound collected by the first microphone 504 is converted into an acoustic signal and used for predicting abnormality detection.
  • the second closed space 613 is an acoustically closed space with the second boundary 616 as a boundary.
  • the receiver 501 and the first microphone 504 are placed in different spaces with the second boundary 616 as a boundary, so that the measurement sound that passes through the second hole 508 can be collected by the first microphone 504.
  • the sound that passes through the second hole 508 is collected by the first microphone 504, so that clogging of the second hole 508 can be detected.
  • the difference from the example of FIG. 25 is that one end face of the second hole 508 and the first microphone 504 are present in the same third closed space 614.
  • the third closed space 614 is an acoustically closed space bounded by a third boundary 617.
  • by arranging one end face of the second hole 508 and the first microphone 504 in the third closed space 614 it is possible to reduce the mixing of the measurement sound with other sounds and the sound being collected by the first microphone 504.
  • This embodiment can be executed by the functional unit of the hearing aid 100 of the first embodiment shown in FIG. 11.
  • the parameter storage unit 132 shown in FIG. 11 stores the characteristics of the measurement sound passing through two holes, the first hole 507 and the second hole 508.
  • the abnormality detection unit 133 can predict clogging of the second hole 508 in addition to clogging of the earwax intrusion prevention filter 502 of the first hole 507.
  • abnormality detection may be performed multiple times using multiple measurement sounds.
  • the parameters used in the measurement signal reproduction unit 131 and the abnormality detection unit 133 may be changed for each measurement.
  • FIG. 27 is a flowchart of the information processing method according to this embodiment.
  • the information processing method according to this embodiment includes a plurality of steps from step S301 to step S308. Details of each step included in the information processing method according to this embodiment will be described below. Note that steps S301 to S303 of this embodiment are similar to steps S101 to S103 of the first embodiment shown in FIG. 11, so the description thereof will be omitted here.
  • the hearing aid 500 determines whether or not the hole is suspected to be clogged based on the degree of blockage of the hole predicted in the previous step S303 (step S304). If the hearing aid 500 does not suspect the hole to be clogged (step S304: No), it ends the process. If the hearing aid 500 suspects the hole to be clogged (step S304: Yes), it proceeds to step S305.
  • the hearing aid 500 asks the user whether the second hole 508 has been cleaned, and obtains a response (step S305).
  • the information processing terminal 400 can be used to ask the user questions and receive the user's responses.
  • the user may input the response via the display unit 44 of the information processing terminal 400, or the user may directly input the response by voice using voice recognition or the like.
  • the response may be input via a button 823 or the like provided on the charger 800, rather than the information processing terminal 400.
  • the user regularly uploads data such as a cleaning history to an external server, that data can also be used for the response.
  • the hearing aid 500 determines whether the second hole 508 has been cleaned based on the user's response (step S306). If the user's response is that the second hole 508 has not been cleaned (step S306: No), the hearing aid 500 proceeds to step S308. On the other hand, if the user's response is that the second hole 508 has been cleaned (step S306: Yes), the hearing aid 500 proceeds to step S307.
  • the hearing aid 500 since the user's response indicates that the second hole 508 has been cleaned, the hearing aid 500 notifies the user to replace or clean the earwax prevention filter 102 (step S307). On the other hand, since the user's response indicates that the second hole 508 has not been cleaned, and therefore the second hole 508 may be clogged, the hearing aid 500 notifies the user to clean the second hole 508 (step S308).
  • the notifications in steps S307 and S308 can be sent using the information processing terminal 400, the charger 800, etc.
  • the user is advised to give priority to cleaning the second hole 508.
  • Cleaning the second hole 508 can be easily performed by passing a cleaning brush through the second hole 508.
  • replacing the earwax prevention filter 502 requires a new part, so it is desirable to avoid unnecessary replacement as much as possible. Therefore, in the flowchart of FIG. 27, the user is advised to give priority to cleaning the second hole 508.
  • the order is not limited to this. In this embodiment, for example, if the user can check for clogging of the second hole 508 and the earwax prevention filter 502 by himself, the user may be advised to check for clogging of the second hole 508 and the earwax prevention filter 502 in step S305 of FIG. 27.
  • clogging of the second hole 508 can be detected easily and accurately.
  • a second microphone 505 provided in the hearing aid 500 is used to detect clogging of the earwax intrusion prevention filter 502 in the first hole 507.
  • Fig. 28 is an explanatory diagram showing an example of application to the in-the-ear hearing aid 500 according to this embodiment
  • Fig. 29 is an explanatory diagram showing an example of the characteristics of the measurement sound collected in this embodiment. Note that, although the in-the-ear hearing aid 500 is described as an example here, the behind-the-ear hearing aid 100 can also have a similar configuration in this embodiment.
  • the hearing aid 500 is provided with a second microphone (second sound collection unit) 505 adjacent to the receiver 501.
  • a measurement sound for abnormality detection is output from the receiver 501.
  • the measurement sound output from the receiver 501 is also collected by the second microphone 505 via the first hole 507.
  • the sound collected by the second microphone 505 is converted into an acoustic signal and can be used for abnormality detection.
  • the second microphone 505 is provided closer to the first hole 507 than the first microphone 504, and is therefore less susceptible to the effects of external sounds and environmental sounds. Therefore, in this embodiment, the accuracy of abnormality detection can be further improved by using the acoustic signal collected by the second microphone 505.
  • the frequency characteristic when the first hole 507 is not clogged is characteristic 1161
  • the frequency characteristic when the first hole 507 is clogged is characteristic 1163.
  • the first hole 507 is close to a closed space or becomes a closed space, so the level of the measurement sound collected by the second microphone 505 changes, for example, to characteristic 1163.
  • the clogging of the first hole 507 is detected based on the difference in the characteristics of the measurement sound collected by the second microphone 505.
  • FIG. 30 is an explanatory diagram showing a modified example of application to the in-ear hearing aid 500 according to this embodiment.
  • the difference from the example of FIG. 28 is that the clogging of the second hole 508 can also be detected.
  • the hearing aid 500 outputs a measurement sound for abnormality detection from the receiver 501.
  • the measurement sound output from the receiver 501 is collected by the first microphone 504 via the second closed space 613, the second hole 508, and the third closed space 614.
  • the measurement sound output from the receiver 501 is also collected by the second microphone 505.
  • the measurement sound collected by the first microphone 504 and the second microphone 505 is converted into an acoustic signal and can be used for abnormality detection.
  • FIG. 31 is a functional block diagram of the hearing aid 500 according to this embodiment.
  • the hearing aid 500 according to this embodiment has a test signal reproducing unit 531 that outputs a test sound to the receiver 501, and a parameter storage unit 532 that stores programs and data for controlling the hearing aid 500.
  • the hearing aid 500 also has an abnormality detection unit 533 that detects an abnormality based on the test sound collected by the first microphone 504 and the second microphone 505, and a control unit 534 that controls each functional unit of the hearing aid 500.
  • the hearing aid 500 mainly has a trigger detection unit 535 that detects a trigger signal for starting abnormality detection, and a communication unit 536 that can communicate with the information processing terminal 400. Note that, here, the description of the functional units common to the first embodiment will be omitted.
  • the measurement sound output from the receiver 501 is collected by the first microphone 504 and the second microphone 505, converted into an acoustic signal, and the converted acoustic signal is output to the abnormality detection unit 533.
  • the abnormality detection unit 533 detects an abnormality using the acoustic signals from the first microphone 504 and the second microphone 505.
  • a specific configuration example of the abnormality detection unit 533 can be the same as that of the first embodiment.
  • the abnormality detection unit 533 can be configured to process the acoustic signal from the first microphone 504 and the acoustic signal from the second microphone 505 separately to detect an abnormality.
  • the abnormality detection unit 533 may be configured to process the acoustic signal from the first microphone 504 and the acoustic signal from the second microphone 505 together to detect an abnormality.
  • the anomaly detection unit 533 detects an anomaly by combining the acoustic signals from the first microphone 504 and the second microphone 505, for example, the above formula (5) can be rewritten as the following formula (9).
  • the sound signal of the first microphone 504 is represented by a sound quality change feature X1 and a short-time amplitude A1(t)
  • the sound signal of the second microphone 505 is represented by a sound quality change feature X2 and a short-time amplitude A2(t).
  • the abnormality detection unit 533 then quantifies the degree of abnormality based on the sound quality change feature X1 and X2 and the short-time amplitude A1(t) and A2(t).
  • u i is a weighting factor
  • u 0 is a predetermined bias value.
  • Various statistical judgment methods can be used to determine the weighting factor u i and the bias value u 0.
  • the degree of clogging of many types of first holes 507 and/or second holes 508 is subjectively evaluated in advance, and learning samples are prepared in which feature vectors and desired score values (for example, 0.0 to 1.0) are paired.
  • a weight that is linearly approximated by multiple regression analysis of the learning sample is obtained, and the weighting factor u i and the bias value u 0 can be determined.
  • a neural network instead of multiple regression analysis, a neural network may be used, and a discrimination method such as Bayesian estimation or vector quantization may be used.
  • Fig. 32 is a flowchart of the information processing method according to this embodiment.
  • the information processing method according to this embodiment includes a plurality of steps from step S401 to step S407. Details of each step included in the information processing method according to this embodiment will be described below. Note that step S401 of this embodiment is similar to step S101 of the first embodiment shown in Fig. 11, and therefore will not be described here.
  • the hearing aid 500 outputs a test sound from the receiver 501 and inputs the output test sound from the first microphone 504 and the second microphone 505 (step S402).
  • the hearing aid 500 uses the acoustic signals from the first microphone 504 and the second microphone 505 to predict clogging of the earwax prevention filter 102 at the first hole 507 and clogging of the second hole 508 (step S403).
  • the hearing aid 500 determines whether the earwax prevention filter 102 in the first hole 507 is suspected to be clogged (step S404). If the hearing aid 500 does not suspect the earwax prevention filter 102 in the first hole 507 to be clogged (step S404: No), it proceeds to step S406. On the other hand, if the hearing aid 500 suspects the earwax prevention filter 102 in the first hole 507 to be clogged (step S404: Yes), it proceeds to step S405. The hearing aid 500 then notifies the user, for example via the information processing terminal 400, to recommend replacement or cleaning of the earwax prevention filter 102 (step S405).
  • the hearing aid 500 determines whether the second hole 508 is suspected to be clogged based on the result of the blockage predicted in step S403 described above (step S406). If the hearing aid 500 does not suspect the second hole 508 to be clogged (step S406: No), it ends the process. On the other hand, if the hearing aid 500 suspects the second hole 508 to be clogged (step S406: Yes), it proceeds to step S407. The hearing aid 500 then notifies the user, for example via the information processing terminal 400 or the charger 800, to recommend cleaning the second hole 508 (step S407).
  • clogging of the earwax prevention filter 102 at the first hole 507 and clogging of the second hole 508 can be detected easily and accurately.
  • a ninth embodiment of the present disclosure will be described with reference to Fig. 33 and Fig. 34.
  • a difference from the eighth embodiment is that a third microphone (third sound collecting unit) is provided in the charger 800, etc., instead of the second microphone 505 provided in the hearing aid 500. Since the number of microphones mounted on the hearing aid 500 body is reduced in this embodiment, it can be realized even in a very small hearing aid 500.
  • Fig. 33 is an explanatory diagram showing an example of application to the in-ear hearing aid 500 according to this embodiment
  • Fig. 34 is a functional block diagram of the device on the third microphone 906 side according to this embodiment. Note that, although the in-ear hearing aid 500 is described here as an example, the behind-the-ear hearing aid 100 can also have a similar configuration in this embodiment.
  • a third microphone 906 is provided in a second closed space 613 and a third closed space 614 defined by a second boundary 616 and a third boundary 617, in which a hearing aid 500 such as a charger 800 can be stored.
  • the device in which the third microphone 906 is provided is referred to as device 900.
  • Device 900 is not limited to charger 800, and is not particularly limited as long as it is an acoustically closed space that can store hearing aid 500 while suppressing the transmission of sound from the outside.
  • the hearing aid 500 outputs a measurement sound for abnormality detection from the receiver 501.
  • the measurement sound output from the receiver 501 passes through the second closed space 613, the second hole 508, and the third closed space 614 and is collected by the first microphone 504.
  • the measurement sound output from the receiver 501 is also collected by the third microphone 906 provided in the device 900.
  • the measurement sounds collected by the first microphone 504 and the third microphone 906 are converted into acoustic signals and can be used for abnormality detection.
  • FIG. 34 is a block diagram of the functional parts of a device 900 capable of storing a hearing aid 500, such as a charger 800. Note that the functional configuration of the hearing aid 500 is the same as that of the hearing aid 500 of the eighth embodiment shown in FIG. 31, and therefore will not be described here.
  • the device 900 mainly includes a parameter storage unit 942, a control unit 944, a communication unit 946, and a preprocessing unit 951.
  • the third microphone 906 collects the measurement sound output from the receiver 501, converts the sound into an acoustic signal, and outputs the converted acoustic signal to the preprocessing unit 951.
  • the preprocessing unit 951 then performs preprocessing as necessary using the acoustic signal from the third microphone 906.
  • preprocessing can include sampling rate conversion, frequency conversion, band division, level detection, standardization, normalization, etc.
  • the preprocessing unit 951 can use parameters stored in the parameter storage unit 942. In this embodiment, by performing preprocessing, the amount of data transmitted to the hearing aid 500 can be reduced. Note that in this embodiment, the device 900 does not need to be provided with a preprocessing unit 951, which can simplify the configuration of the device 900.
  • the control unit 944 then sends the signal received from the pre-processing unit 951 to the communication unit 946.
  • the communication unit 946 can transmit a signal to the hearing aid 500 using the communication antenna 947, and the hearing aid 500 can use the transmitted signal to detect an abnormality.
  • this embodiment is not limited to the configuration shown in FIG. 34, and an abnormality detection unit may be provided on the device 900 side, and the device 900 may detect an abnormality and transmit the result to the hearing aid 500.
  • the information processing method according to this embodiment can perform processing, for example, according to the information processing method of the eighth embodiment shown in FIG. 32.
  • Fig. 35 is an explanatory diagram showing an example of application to an in-the-ear hearing aid 500 according to this embodiment
  • Fig. 36 is an explanatory diagram showing an example of the characteristics of the measurement sound collected in this embodiment. Note that, although the in-the-ear hearing aid 500 is described as an example here, in this embodiment, the behind-the-ear hearing aid 100 can also have a similar configuration.
  • the hearing aid 500 outputs a measurement sound for abnormality detection from the receiver 501.
  • the measurement sound output from the receiver 501 passes through the first hole 507 and is collected by the first microphone 504.
  • the sound collected by the first microphone 504 is then converted into an acoustic signal and used to detect an abnormality in the hearing aid 500, i.e., to detect whether the earwax prevention filter 502 is not attached.
  • the frequency characteristic when the earwax prevention filter 502 is attached is characteristic 1161
  • the frequency characteristic when the earwax prevention filter 502 is not attached is characteristic 1164.
  • the acoustic resistance of the first hole 507 decreases, so the level of the measurement sound collected by the first microphone 504 changes to, for example, characteristic 1164.
  • FIG. 37 is a flowchart of the information processing method according to this embodiment.
  • the information processing method according to this embodiment includes a plurality of steps from step S501 to step S505. Details of each step included in the information processing method according to this embodiment will be described below. Note that steps S501 to S503 of this embodiment are similar to steps S101 to S103 of the first embodiment shown in FIG. 11, so description thereof will be omitted here.
  • the hearing aid 500 determines whether the earwax prevention filter 502 is suspected to be not yet attached based on the result of the blockage predicted in step S503 (step S504). If the hearing aid 500 does not suspect that the earwax prevention filter 502 is not yet attached (step S504: No), it ends the process. On the other hand, if the hearing aid 500 suspects that the earwax prevention filter 502 is not yet attached (step S504: Yes), it proceeds to step S505.
  • the hearing aid 500 notifies the user to recommend that the earwax prevention filter 502 be attached (step S505).
  • the hearing aid 500 may transmit information to the information processing terminal 400 or the like that the earwax prevention filter 102 is suspected to be not attached, and output a voice message or a display message to the user such as "Please check if the earwax prevention filter is attached. would you like to see the attachment procedure?".
  • Fig. 38 is an explanatory diagram showing an example of the characteristics of a measurement sound collected in this embodiment.
  • the acoustic signal picked up by the first microphone 504 has a frequency characteristic of characteristic 1161, for example, when the earwax prevention filter 502 is attached and the first hole 507 and the second hole 508 are not clogged.
  • the acoustic signal picked up by the first microphone 504 is considered to change to a frequency characteristic of characteristic 1165 if there is an abnormality in the hearing aid 500 itself, even if the earwax prevention filter 502 is attached and the first hole 507 and the second hole 508 are not clogged. For example, if the hearing aid 500 is dropped on a hard floor, the receiver 501 or the first microphone 504 may break down.
  • the level of the measurement sound picked up by the first microphone 504 may change to, for example, characteristic 1165. Therefore, in this embodiment, a malfunction of the hearing aid 500 is detected based on the difference in the characteristics of the test sound collected by the first microphone 504.
  • FIG. 39 is a flowchart of the information processing method according to this embodiment.
  • the information processing method according to this embodiment includes a plurality of steps from step S601 to step S605. Details of each step included in the information processing method according to this embodiment will be described below. Note that steps S601 to S603 of this embodiment are similar to steps S101 to S103 of the first embodiment shown in FIG. 11, so description thereof will be omitted here.
  • the hearing aid 500 judges whether the hearing aid 500 is suspected to be abnormal based on the result of the blockage predicted in step S603 (step S604). If the hearing aid 500 is not suspected to be abnormal (step S604: No), the hearing aid 500 ends the process. On the other hand, if the hearing aid 500 is suspected to be abnormal (step S604: Yes), the hearing aid 500 proceeds to step S605.
  • the hearing aid 500 then notifies the user to request inspection or repair from the support desk (step S605).
  • the hearing aid 500 may transmit information that the hearing aid 500 is suspected to be abnormal to the information processing terminal 400, and output a voice message or a display message such as "Your hearing aid may not be working properly. Please contact the support center" to the user. Furthermore, the information processing terminal 400 may output the above-mentioned message and provide a link to the contact information.
  • abnormalities in the hearing aid 500 can be detected easily and accurately.
  • a twelfth embodiment of the present disclosure will be described with reference to Fig. 40 and Fig. 41.
  • a camera (imaging unit) 527 is provided in the charger 800, and the state of the first hole 507 and the second hole 508 is predicted using information from the camera.
  • the accuracy of abnormality detection can be improved by detecting an abnormality using information from the camera.
  • Fig. 40 is an explanatory diagram showing an example of application to an in-ear hearing aid 500 according to this embodiment
  • Fig. 41 is a functional block diagram of a device on the camera 527 side according to this embodiment. Note that, although the in-ear hearing aid 500 is described here as an example, the behind-the-ear hearing aid 100 can also have a similar configuration in this embodiment.
  • a camera 527 is provided in a second closed space 613 and a third closed space 614 defined by a second boundary 616 and a third boundary 617, in which a hearing aid 500 such as a charger 800 can be stored.
  • the device in which the camera 527 is provided is referred to as device 600.
  • Device 600 is not limited to charger 800, and is not particularly limited as long as it is an acoustically closed space that can store hearing aid 500 while suppressing the transmission of sound from the outside.
  • the hearing aid 500 outputs a measurement sound for abnormality detection from the receiver 501.
  • the measurement sound output from the receiver 501 passes through the second closed space 613, the second hole 508, and the third closed space 614 and is collected by the first microphone 504.
  • the measurement sound collected by the first microphone 504 is converted into an acoustic signal and can be used for abnormality detection.
  • the camera 527 captures images of the first hole 507 and the second hole 508. The image signal obtained by capturing the image is used to detect abnormalities in the hearing aid 500 by image recognition technology.
  • FIG. 41 is a block diagram of the functional parts of a device 600 capable of storing a hearing aid 500, such as a charger 800. Note that the functional configuration of the hearing aid 500 is the same as that of the hearing aid 500 of the eighth embodiment shown in FIG. 31, and therefore will not be described here.
  • the device 600 mainly has a parameter storage unit 542, a control unit 544, a communication unit 546, and an image processing unit 548.
  • the camera 527 captures the state of the first hole 507 and the second hole 508, converts it into an image signal, and sends the converted image signal to the image processing unit 548.
  • the image processing unit 548 can use image recognition technology to obtain, for example, an abnormality score value v (e.g., 0.0 to 1.0) indicating the clogging state of the first hole 507 and the second hole 508.
  • v an abnormality score value
  • the image processing unit 548 can use parameters stored in the parameter storage unit 542.
  • control unit 544 sends the abnormality score value v received from the image processing unit 548 to the communication unit 546.
  • the communication unit 546 can transmit the abnormality score value v to, for example, the hearing aid 500 or the information processing terminal 400 using the communication antenna 547.
  • the hearing aid 500 etc. detects an abnormality using the transmitted abnormality score value v.
  • the sound signal of the first microphone 504 is represented by a sound quality change feature X1 and a short-time amplitude A1(t).
  • the abnormality detection unit 533 of the hearing aid 500 quantifies the degree of abnormality based on the short-time amplitude A(t), the sound quality change feature X, and the abnormality score value v.
  • the length y1 during which the sound quality change feature X exceeds a predetermined threshold, the maximum value y2 of the sound quality change feature X, the average value y3 of the sound quality change feature X, the maximum value y4 of the short-time amplitude A(t), and the average value y5 of the short-time amplitude A(t) are calculated, and the abnormality score value v is set as y6, which is a feature vector.
  • the abnormality detection unit 533 calculates a value z indicating the degree of abnormality according to the following formula (10).
  • u i is a weighting factor
  • u 0 is a predetermined bias value.
  • Various statistical judgment methods can be used to determine the weighting factor u i and the bias value u 0.
  • the degree of clogging of many types of first holes 507 and/or second holes 508 is subjectively evaluated in advance, and learning samples are prepared in which feature vectors and desired score values (for example, 0.0 to 1.0) are paired.
  • a weight that is linearly approximated by multiple regression analysis of the learning sample is obtained, and the weighting factor u i and the bias value u 0 can be determined.
  • a neural network instead of multiple regression analysis, a neural network may be used, and a discrimination method such as Bayesian estimation or vector quantization may be used.
  • the accuracy of anomaly detection can be improved by detecting anomalies using information from camera 527.
  • camera 527 has been used as an example here, in this embodiment, in addition to a visible light camera, for example, a TOF (Time of Flight) sensor, a depth sensor, an IR sensor, etc. can be used as camera 527.
  • a TOF Time of Flight
  • a depth sensor e.g., a depth sensor
  • an IR sensor IR sensor
  • the state of first hole 507 and second hole 508 may be detected by a TOF sensor, a depth sensor, an IR sensor, etc.
  • Fig. 42 is a diagram showing a schematic configuration of a hearing aid system 1 according to this embodiment.
  • the hearing aid 500 notifies the information processing terminal 400 of the result of the abnormality detection.
  • the hearing aid 500 may notify the information processing terminal 400 directly, for example, via the charger 800.
  • the information processing terminal 400 may send a notification to another pre-registered information processing terminal 402 via the communication network 484 or a communication path not shown.
  • the hearing aid 500 may send a notification to the information processing terminal 402 via the communication network 484.
  • the information processing terminal 400 is carried by the user of the hearing aid 500, and the information processing terminal 402 is carried by a support provider such as the user's family or caregiver.
  • the notification is delivered to the information processing terminal 402 of the family member or caregiver, so that a quick and reliable response to the abnormality notification can be expected.
  • the problem of the user of the hearing aid 500 continuing to hear inappropriate sounds will be quickly resolved.
  • the user of the hearing aid 500 may be asked to confirm approval of the notification, or the confirmation may be omitted by setting the operation to be performed at the time of notification in advance.
  • Fig. 43 is a diagram showing a schematic configuration of a hearing aid system 1a according to this embodiment.
  • the hearing aid 500 notifies the information processing terminal 400 of the result of the abnormality detection.
  • the information processing terminal 400 transmits the notification to the server of the sales company 586, which has been registered in advance, via the communication network 484 or a communication path not shown.
  • the information processing terminal 400 notifies the server of the sales company 586, but this is not limited to this in the present embodiment, and the hearing aid 500 may notify the server of the sales company 586 directly.
  • the user of the hearing aid 500 may be asked to approve the notification, or the confirmation may be omitted by setting the operation at the time of notification in advance.
  • the information processing terminal 400 may display a message such as, for example, "Do you want to purchase an earwax prevention filter?" or "Do you want to purchase a vent cleaning brush?” and confirm whether or not the notification is approved based on the user's response.
  • the sales company 586 that has received the notification will ship the purchased item 587, such as the earwax prevention filter 502 that is compatible with the hearing aid 500, to the user.
  • the information processing terminal 400 may send information to the sales company 586 for identifying the user and the hearing aid 500 used by the user, and information for identifying the consumables. According to this embodiment, this allows the sales company 586 to send the purchased item 587 without delay, so that the purchased item 587 can be expected to be obtained quickly.
  • the abnormality detection result of the hearing aid 500 may be used as reference information.
  • the hearing aid 500 notifies the information processing terminal 400 of the abnormality detection result.
  • the information processing terminal 400 may then transmit the notification to a server of the support service provider 585 that has been registered in advance via the communication network 484 or a communication path not shown. Note that in the example of FIG. 43, the information processing terminal 400 notifies the server of the support service provider 585, but this is not limited to this in this embodiment, and the hearing aid 500 may directly notify the server of the support service provider 585.
  • the user of the hearing aid 500 may be asked to approve the notification, or the confirmation may be omitted by setting the operation at the time of notification in advance. Furthermore, when confirming with the user whether or not the notification is approved, the information processing terminal 400 may display a message such as, for example, "May I send the result of the abnormality detection to the support service provider?" and may confirm whether or not the notification is approved based on the user's response.
  • the support service provider 585 that receives the notification can use the information on the abnormality detection result when providing support services.
  • Examples of support services include inquiries from users of the hearing aid 500 about malfunctions with the hearing aid 500. When an inquiry about a malfunction such as no sound is made to the support service provider 585, a quick response to the inquiry can be expected because the support service provider 585 has the information on the abnormality detection result. Furthermore, before an inquiry is made from the user, the support service provider 585 can inquire about the condition of the hearing aid 500, which can be useful for more proactive support services.
  • FIG. 44 is a diagram showing the schematic configuration of the hearing aid system 1a according to the present embodiment.
  • the hearing aid system 1a according to the present embodiment includes a pair of left and right hearing aids 2, a charger 3 (charging case) that stores and charges the hearing aids 2, and an information processing terminal 40 such as a smartphone that can communicate with at least one of the hearing aids 2 and the charger 3.
  • the hearing aid system 1a according to the present embodiment includes a server (information processing server) 90 managed by a sales company 586 or a support service provider 585.
  • FIG. 45 is a block diagram of the server 90 according to this embodiment.
  • the server 90 mainly includes a communication unit 91, a storage unit 95, and a control unit 96.
  • the communication unit 91 communicates with the hearing aid 2 and the information processing terminal 40 via the communication network 484.
  • the communication unit 91 can be configured, for example, using a communication module.
  • the memory unit 95 also stores various information related to the hearing aid 500.
  • the memory unit 95 also stores various programs 961 executed by the server 90, etc.
  • the memory unit 95 can be configured, for example, using a recording medium such as a RAM, ROM, flash memory, or memory card.
  • the control unit 96 controls each component of the server 90.
  • the control unit 96 can be configured, for example, using a memory and a processor having hardware such as a CPU.
  • the control unit 96 reads out a program stored in the storage unit 95 into the working area of the memory and executes it, and controls each component through the execution of the program by the processor.
  • the embodiments of the present disclosure have been described as being applied to hearing aids 100 and 500, the embodiments of the present disclosure can be applied to any device that has a hearing aid function and is structured in such a way that abnormalities may occur in the holes.
  • Examples of such devices include earphones, headsets, and sound amplifiers.
  • FIG. 46 is a diagram showing an example of data utilization.
  • elements in the edge area 1000 include a sound device 1100, a peripheral device 1200, and a vehicle 1300.
  • Examples of elements in the cloud area 2000 include a server device 2100.
  • Examples of elements in the operator area 3000 include an operator 3100 and a server device 3200.
  • the sound generating device 1100 in the edge region 1000 is worn by the user or placed near the user so as to emit sound toward the user.
  • Specific examples of the sound generating device 1100 include earphones, a headset (headphones), a hearing aid, etc. More specifically, the sound generating device 1100 can be the hearing aid 2, 100 described with reference to Figures 1, 4, etc.
  • the peripheral device 1200 and the vehicle 1300 in the edge region 1000 are devices used together with the sound generating device 1100, and transmit signals such as content viewing sounds, telephone call sounds, and warning sounds to the sound generating device 1100.
  • the sound generating device 1100 outputs sounds to the user in response to signals from the peripheral device 1200 or the vehicle 1300.
  • a specific example of the peripheral device 1200 is a smartphone.
  • the external device 70 described above with reference to FIG. 13 etc. may be used as the peripheral device 1200.
  • FIG. 47 is a diagram showing examples of data.
  • Examples of data that can be acquired within the edge region 1000 include device data, usage history data, personalization data, biometric data, emotional data, application data, fitting data, and preference data. Note that data may be interpreted as information, and may be interpreted as appropriate within the scope of no contradiction. Various known methods may be used to acquire the example data.
  • the device data is data related to the sound production device 1100, and includes, for example, type data of the sound production device 1100, specifically, data specifying whether the sound production device 1100 is an earphone, a headphone, a TWS (True Wireless Stereo), a hearing aid (CIC, ITE, RIC, etc.), etc.
  • type data of the sound production device 1100 specifically, data specifying whether the sound production device 1100 is an earphone, a headphone, a TWS (True Wireless Stereo), a hearing aid (CIC, ITE, RIC, etc.), etc.
  • the usage history data is usage history data of the sound device 1100, and includes, for example, data such as the amount of music exposure, the continuous use time of the hearing aid, and content viewing history (viewing time, etc.).
  • the usage history data can be used for safe listening, turning TWS into a hearing aid, notifying the replacement of the earwax prevention filter 102, etc.
  • the personalized data is data related to the user of the sound generation device 1100, and includes, for example, the user's personal head-related transfer function (HRTF), ear canal characteristics, earwax type, etc. Furthermore, data such as hearing ability may also be included in the personalized data.
  • HRTF head-related transfer function
  • the biometric data is the biometric data of the user of the sound generation device 1100, and includes, for example, data on sweating, blood pressure, blood flow, heart rate, pulse rate, body temperature, brain waves, breathing, and myoelectric potential.
  • Emotional data is data that indicates the emotions of the user of the sound generation device 1100, and includes, for example, data indicating pleasure, discomfort, etc.
  • Application data is data used in various applications, and includes, for example, the location of the user of the pronunciation device 1100 (which may be the location of the pronunciation device 1100), user attribute information data such as schedule, age, and gender, as well as data on weather, air pressure, temperature, etc.
  • the location data can be used to search for a lost pronunciation device 1100 or to determine the timing for predicting clogging of the earwax prevention filter 102.
  • the fitting data may include, for example, adjustment parameters of the hearing aid 2 used by the user, hearing aid gain for each frequency band that is set based on the user's hearing test results (audiogram), etc.
  • Preference data is data related to the user's preferences, including, for example, preferences for music to listen to while driving.
  • data on the communication status, data on the charging status of the sound generation device 1100, etc. may also be acquired.
  • some of the processing in the edge area 1000 may be executed by the cloud area 2000. By sharing the processing, the processing burden on the edge area 1000 is reduced.
  • data such as that described above is acquired within the edge region 1000 and transmitted from the sound generation device 1100, the peripheral device 1200, or the vehicle 1300 to the server device 2100 in the cloud region 2000.
  • the server device 2100 stores (saves, accumulates, etc.) the received data.
  • the business operator 3100 in the business operator domain 3000 uses the server device 3200 to obtain data from the server device 2100 in the cloud domain 2000. The business operator 3100 can then utilize the data.
  • businesses 3100 There may be various businesses 3100. Specific examples of businesses 3100 include hearing aid stores, hearing aid manufacturers, content production companies, distribution businesses that provide music streaming services, etc., and in order to distinguish between them, they are illustrated as businesses 3100-A, 3100-B, and 3100-C.
  • the corresponding server devices 3200 are illustrated as server devices 3200-A, 3200-B, and 3200-C.
  • Various data is provided to such various businesses 3100, promoting the use of data. Data may be provided to businesses 3100, for example, through subscriptions, recurring, etc.
  • Data can also be provided from the cloud area 2000 to the edge area 1000.
  • data for feedback, revision, etc. of learning data is prepared by an administrator of the server device 2100 in the cloud area 2000.
  • the prepared data is transmitted from the server device 2100 to the sound device 1100, peripheral device 1200, or vehicle 1300 in the edge area 1000.
  • some kind of incentive (a privilege such as a premium service) may be provided to the user.
  • a privilege such as a premium service
  • An example of a condition is that at least some of the devices among the pronunciation device 1100, the peripheral device 1200, and the vehicle 1300 are devices provided by the same operator.
  • the incentive can be supplied electronically (such as an electronic coupon), the incentive may be transmitted from the server device 2100 to the pronunciation device 1100, the peripheral device 1200, or the vehicle 1300.
  • the sound output device 1100 may cooperate with other devices using a peripheral device 1200, such as a smartphone, as a hub. An example will be described with reference to FIG.
  • FIG. 48 is a diagram showing an example of collaboration with other devices.
  • the edge area 1000, cloud area 2000, and business operator area 3000 are connected by a network 4000 and a network 5000.
  • a smartphone is exemplified as a peripheral device 1200 in the edge area 1000, and other devices 1400 are also exemplified as elements in the edge area 1000.
  • the peripheral device 1200 can communicate with both the sound generating device 1100 and the other device 1400.
  • the communication method is not particularly limited, but for example, Bluetooth LDAC or the previously mentioned Bluetooth LE Audio may be used.
  • the communication between the peripheral device 1200 and the other device 1400 may be multicast communication.
  • An example of multicast communication is Auracast (registered trademark), etc.
  • the other device 1400 is used in conjunction with the sound generation device 1100 via the peripheral device 1200.
  • Specific examples of the other device 1400 include a television (hereinafter referred to as a television), a personal computer (PC), an HMD (Head Mounted Display), a robot, a smart speaker, a gaming device, etc.
  • An incentive may also be provided to the user if the pronunciation device 1100, the peripheral device 1200, and the other devices 1400 meet certain conditions (e.g., at least some of them are all provided by the same business operator).
  • the peripheral device 1200 is a hub, and the pronunciation device 1100 and the other devices 1400 can work together.
  • the work together may be performed using various data stored in the server device 2100 in the cloud area 2000.
  • the pronunciation device 1100 and the other devices 1400 share information such as the user's fitting data, viewing time, and hearing ability, and thereby adjust the volume of each device in cooperation with each other.
  • the hearing aid 2 HA: Hearing Aid
  • PSAP Personal Sound Amplification Product
  • the settings of the other devices may be automatically changed so that the settings that are normally set for normal hearing people are set to settings suitable for a hearing aid user.
  • whether or not the user is using the hearing aid 2 may be determined by automatically sending information (e.g., wearing detection information) that the hearing aid 2 is worn to a device such as a television or PC to which the hearing aid 2 is paired when the user wears the hearing aid 2, or may be detected as a trigger when the hearing aid user approaches another device such as a television or PC.
  • information e.g., wearing detection information
  • the user is a hearing aid user by capturing an image of the user's face with a camera or the like provided on another device such as a television or PC, or may be determined by a method other than the above.
  • the hearing aid 2 which is the sound device 1100
  • the hearing aid 2 can function as an earphone by linking with the other device 1400.
  • the other device 1400 has a microphone that collects ambient sound
  • the earphone which is the sound device 1100, can function like the hearing aid 2.
  • the function of the hearing aid can be used in a style (appearance, etc.) as if listening to music.
  • Data on the user's listening history may be shared. Listening for long periods of time can be a risk of future hearing loss. To prevent listening times from becoming too long, a notification may be sent to the user. For example, such a notification may be sent when the viewing time exceeds a predetermined threshold (safe listening). The notification may be sent by any device within the edge area 1000.
  • At least some of the devices used in the edge area 1000 may be provided by different operators.
  • Information regarding the device settings of each operator may be transmitted from the server device 3200 in the operator area 3000 to the server device 2100 in the cloud area 2000 and stored in the server device 2100. Using such information, it may be possible for devices provided by different operators to work together.
  • FIG. 49 is a diagram showing an example of usage transition.
  • the sound device 1100 When the user has normal hearing, for example while the user is a child and for a while after becoming an adult, the sound device 1100 is used as headphones or earphones (headphones/TWS). In addition to the safe listening mentioned above, the sound device 1100 adjusts the equalizer, performs processing according to the user's behavioral characteristics, current location, and external environment (for example, switching to the most appropriate noise canceling mode when the user is in a restaurant and when the user is on a vehicle), collects logs of music played, etc. Communication between devices using Auracast is also used.
  • the hearing aid function of the pronunciation device 1100 begins to be used.
  • the pronunciation device 1100 is used as an OTC hearing aid (Over the Counter Hearing Aid).
  • OTC hearing aids are hearing aids sold in stores without the intervention of a specialist, and are convenient in that they can be purchased without undergoing a hearing test or a specialist such as an audiologist. Operations specific to hearing aids, such as fitting, may be performed by the user himself.
  • the pronunciation device 1100 is used as an OCT hearing aid or a hearing aid, hearing tests are performed and the hearing aid function is turned on. For example, functions such as sending a speech flag in the embodiment described above may also be used.
  • various information about hearing will be collected, and fitting, sound environment adaptation, remote support, etc. will be carried out, and even transcription will be performed.
  • the present technology can also be configured as follows.
  • An information processing device configured so that at least a portion of the information processing device can be attached to an ear canal of a user, an output unit that outputs a measurement sound for detecting an abnormality in the information processing device; A first sound collecting unit that collects the measurement sound; an abnormality detection unit that detects the abnormality based on the acoustic signal collected by the first sound collection unit; Equipped with Information processing device.
  • the information processing device according to any one of (1) to (3), wherein the anomaly detection unit predicts the anomaly using a model obtained by machine learning.
  • the abnormality detection unit is an analysis unit that analyzes an acoustic signal collected by the first sound collection unit; A determination unit that determines the presence or absence of the abnormality based on the analysis result; The information processing device according to any one of (1) to (3) above, (6) The information processing device according to any one of (1) to (5), further comprising a notification unit that, when the abnormality is detected, notifies the user of the abnormality.
  • the housing has a first hole communicating between the output section and an ear canal of the user;
  • the first sound collecting unit is provided at a position spaced a predetermined distance from the opening of the first hole, and collects the measurement sound that has passed through the first hole.
  • An information processing device according to any one of (1) to (6) above.
  • the earphone further includes a fitting part configured to be fitted to an ear canal of the user and having a first hole that communicates between the output unit and the ear canal of the user;
  • the output unit is attached to an ear canal of the user via the attachment part,
  • the first sound collecting unit is attached to the auricle of the user and collects the measurement sound that has passed through the first hole.
  • An information processing device according to any one of (1) to (6) above.
  • (9) a second hole that communicates an inner region and an outer region of the ear canal separated by the information processing device when the information processing device is attached to the ear canal of the user;
  • the first sound collecting unit collects the measurement sound that has passed through the first hole and the second hole.
  • the information processing device according to (7) or (8) above.
  • (10) The information processing device described in (9) above, wherein the abnormality detection unit detects at least one abnormality among an abnormality in the first hole, an abnormality in the second hole, an abnormality in the filter attached to the first hole, an abnormality in the output unit, and an abnormality in the first sound collection unit.
  • a communication unit capable of communicating with an external device including at least one of a charger, an information processing terminal, and an information processing server; a start-up signal detection unit that detects a start-up signal from the external device and starts the output unit; Further comprising: The information processing device according to any one of (1) to (10) above.
  • a second sound collecting unit is provided adjacent to the output unit and collects the measurement sound.
  • the abnormality detection unit detects the abnormality based on an acoustic signal collected by the second sound collection unit.
  • the information processing device configured so that at least a portion of the information processing device can be attached to an ear canal of a user; A charger for the information processing device;
  • An information processing system comprising: The information processing device includes: an output unit that outputs a measurement sound for detecting an abnormality in the information processing device; A first sound collecting unit that collects the measurement sound; an abnormality detection unit that detects the abnormality based on the acoustic signal collected by the first sound collection unit; having Information processing system.
  • the charger includes: The information processing device is configured as an acoustically closed space capable of being stored therein. The information processing system according to (15) above.
  • An information processing method for detecting an abnormality in an information processing device configured to be at least partially attachable to a user's ear canal, comprising: The information processing device, outputting a measurement sound for detecting an abnormality in the information processing device; Collecting the measurement sound; Detecting the abnormality based on the collected acoustic signal; An information processing method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置であって、前記情報処理装置の異常を検知するための測定音を出力する出力部と、前記測定音を集音する第１の集音部と、前記第１の集音部で集音した音響信号に基づき、前記異常を検知する異常検知部とを備える、情報処理装置を提供する。

Description

情報処理装置、情報処理システム及び情報処理方法
　本開示は、情報処理装置、情報処理システム及び情報処理方法に関する。
　ユーザの聴力を補う装置として、補聴器が広く利用されている。例えば、補聴器は、マイクロフォンやレシーバ等から構成され、その少なくとも一部が、ユーザの外耳道に装着される。
特表２０１７－５３６７８２号公報
　上記補聴器においては、ユーザの聴力を補うためのものであることから、異常が生じた場合には、早急にその旨を検知し、ユーザに通知することが求められる。
　そこで、本開示では、装置の異常を簡便に、且つ、精度よく検知することができる情報処理装置、情報処理システム及び情報処理方法を提案する。
　本開示によれば、ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置であって、前記情報処理装置の異常を検知するための測定音を出力する出力部と、前記測定音を集音する第１の集音部と、前記第１の集音部で集音した音響信号に基づき、前記異常を検知する異常検知部とを備える、情報処理装置が提供される。
　また、本開示によれば、ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置と、当該情報処理装置の充電器とを含む情報処理システムであって、前記情報処理装置は、前記情報処理装置の異常を検知するための測定音を出力する出力部と、前記測定音を集音する第１の集音部と、前記第１の集音部で集音した音響信号に基づき、前記異常を検知する異常検知部とを有する、情報処理システムが提供される。
　さらに、本開示によれば、ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置の異常を検出する情報処理方法であって、前記情報処理装置が、前記情報処理装置の異常を検知するための測定音を出力することと、前記測定音を集音することと、集音した音響信号に基づき、前記異常を検知することとを含む、情報処理方法が提供される。
本開示の実施形態に係る補聴器システム１の概略構成を示す図である。 本開示の実施形態に係る補聴器２及び充電器３の機能ブロック図である。 本開示の実施形態に係る情報処理端末４０のブロック図である。 本開示の実施形態に係る耳掛け型補聴器１００の構成例を示す図である。 本開示の実施形態に係る耳掛け型補聴器１００のレシーバ１０１をユーザの外耳道に挿入した状態を示す断面図である。 本開示の実施形態に係る耳穴型補聴器５００の構成例を示す図である。 本開示の実施形態に係る耳穴型補聴器５００をユーザの外耳道に挿入した状態を示す断面図である。 本開示の第１の実施形態に係る耳掛け型補聴器１００への適用例を示す説明図である。 本開示の第１の実施形態に係る耳穴型補聴器５００への適用例を示す説明図である。 本開示の第１の実施形態において集音される測定音の特性の例を示す説明図である。 本開示の第１の実施形態に係る補聴器１００の機能ブロック図である。 本開示の第１の実施形態に係る異常検知部１３３の機能ブロック図である。 本開示の第１の実施形態に係る情報処理方法のフローチャートである。 本開示の第２の実施形態に係る耳掛け型補聴器１００への適用例を示す説明図である。 本開示の第２の実施形態に係る耳穴型補聴器５００への適用例を示す説明図である。 本開示の第２の実施形態における、補聴器１００を格納する充電器８００の構成を説明する説明図である。 本開示の第３の実施形態に係る耳掛け型補聴器１００への適用例を示す説明図（その１）である。 本開示の第３の実施形態に係る耳掛け型補聴器１００への適用例を示す説明図（その２）である。 本開示の第４の実施形態に係る充電器８００のトリガー検知機能における機能ブロック図である。 本開示の第４の実施形態に係る情報処理方法のフローチャートである。 本開示の第４の実施形態に係る通知例を示す説明図である。 本開示の第５の実施形態に係る通知例を示す説明図（その１）である。 本開示の第５の実施形態に係る通知例を示す説明図（その２）である。 本開示の第６の実施形態に係る通知設定画面を示す説明図である。 本開示の第７の実施形態に係る耳穴型補聴器５００への適用例を示す説明図である。 本開示の第７の実施形態に係る耳穴型補聴器５００への適用の変形例を示す説明図である。 本開示の第７の実施形態に係る情報処理方法のフローチャートである。 本開示の第８の実施形態に係る耳穴型補聴器５００への適用例を示す説明図である。 本開示の第８の実施形態において集音される測定音の特性の例を示す説明図である。 本開示の第８の実施形態に係る耳穴型補聴器５００への適用の変形例を示す説明図である。 本開示の第８の実施形態に係る補聴器５００の機能ブロック図である。 本開示の第８の実施形態に係る情報処理方法のフローチャートである。 本開示の第９の実施形態に係る耳穴型補聴器５００への適用例を示す説明図である。 本開示の第９の実施形態に係る第３のマイクロフォン９０６側の装置の機能ブロック図である。 本開示の第１０の実施形態に係る耳穴型補聴器５００への適用例を示す説明図である。 本開示の第１０の実施形態において集音される測定音の特性の例を示す説明図である。 本開示の第１０の実施形態に係る情報処理方法のフローチャートである。 本開示の第１１の実施形態において集音される測定音の特性の例を示す説明図である。 本開示の第１１の実施形態に係る情報処理方法のフローチャートである。 本開示の第１２の実施形態に係る耳穴型補聴器５００への適用例を示す説明図である。 本開示の第１２の実施形態に係るカメラ５２７側の装置の機能ブロック図である。 本開示の第１３の実施形態に係る補聴器システム１の概略構成を示す図である。 本開示の第１４の実施形態に係る補聴器システム１ａの概略構成を示す図（その１）である。 本開示の第１４の実施形態に係る補聴器システム１ａの概略構成を示す図（その２）である。 本開示の第１４の実施形態に係るサーバ９０のブロック図である。 データの利活用の例を示す図である。 データの例を示す図である。 他のデバイスとの連携の例を示す図である。 用途遷移の例を示す図である。
　以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　　１．　補聴器システムの概要
　　２．　背景
　　３．　第１の実施形態
　　４．　第２の実施形態
　　５．　第３の実施形態
　　６．　第４の実施形態
　　７．　第５の実施形態
　　８．　第６の実施形態
　　９．　第７の実施形態
　　１０．　第８の実施形態
　　１１．　第９の実施形態
　　１２．　第１０の実施形態
　　１３．　第１１の実施形態
　　１４．　第１２の実施形態
　　１５．　第１３の実施形態
　　１６．　第１４の実施形態
　　１７．　まとめ
　　１８．　データ利活用の例
　　１９．　他のデバイスとの連携の例
　　２０．　用途遷移の例
　　２１．　補足
　＜＜１．　補聴器システムの概要＞＞
　まずは、図１から図３を参照して、本開示の実施形態に係る補聴器システム１の概要を説明する。図１は、本開示の実施形態に係る補聴器システム１の概略構成を示す図であり、図２は、本開示の実施形態に係る補聴器２及び充電器３の機能ブロック図であり、図３は、本開示の実施形態に係る情報処理端末４０のブロック図である。
　図１に示すように、本開示に実施形態に係る補聴器システム１は、左右一組とする補聴器２と、補聴器２を収納するとともに補聴器２を充電する充電器３（充電ケース）と、補聴器２及び充電器３の少なくとも一方と通信可能な、スマートフォン等の情報処理端末４０とを含む。以下、本開示の実施形態に係る補聴器システム１に含まれる各装置について順次説明する。
　なお、以下の説明においては、補聴器２を両耳の一対で構成されているものとして説明するが、本開示の実施形態は、これに限定されることなく、左右のどちらか一方に装着する片耳型であってもよい。
　まず、補聴器２の機能的構成について説明する。本開示の実施形態においては、補聴器２の少なくとも一部は、ユーザの外耳道の一部に装着できるように構成される（この詳細については、後述する）。そして、図２に示すように、補聴器２は、集音部２０（２０ｂ、２０ｆ）と、信号処理部２１と、出力部２２と、電池２５と、接続部２６と、通信部２７、３０と、記憶部２８と、制御部２９とを主に有する。
　集音部２０は、外耳道の外側領域の音を集音する外側（フィードフォワード）集音部２０ｆと、外耳道の内側領域の音を集音する内側（フィードバック）集音部２０ｂとを含む。なお、本開示の実施形態に係る補聴器２においては、少なくとも外耳道の外側領域の音を集音する外側集音部２０ｆが設けられていればよい。各集音部２０は、マイクロフォン（以下、マイクとも称する）２０１と、Ａ／Ｄ（アナログ／デジタル）変換部２０２とを有する。マイク２０１は、集音してアナログの音声信号（音響信号）を生成してＡ／Ｄ変換部２０２へ出力する。Ａ／Ｄ変換部２０２は、マイク２０１から入力されたアナログの音声信号に対して、デジタル変換処理を行い、デジタル化された音声信号を信号処理部２１へ出力する。
　信号処理部２１は、後述する制御部２９の制御のもと、集音部２０から入力されたデジタルの音声信号に対して、所定の信号処理を行い、出力部２２へ出力する。ここで、所定の信号処理としては、音声信号に対して所定の周波数帯毎に分離するフィルタリング処理、フィルタリング処理を行った所定の周波数帯毎に所定の増幅量で増幅する増幅処理、ノイズリダクション処理およびハウリングキャンセル処理等を挙げることができる。信号処理部２１は、例えば、メモリと、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等のハードウェアを有するプロセッサとにより構成することができる。
　出力部２２は、Ｄ／Ａ（デジタル／アナログ）変換部２２１と、レシーバ２２２とを有する。Ｄ／Ａ変換部２２１は、信号処理部２１から入力されたデジタルの音声信号に対して、アナログ変換処理を行ってレシーバ２２２へ出力する。レシーバ２２２は、Ｄ／Ａ変換部２２１から入力されたアナログの音声信号に対応する出力音（音声）を出力する。レシーバ２２２は、例えば、スピーカ等を用いて構成することができる。
　電池２５は、補聴器２を構成する各部へ電力を供給する。電池２５は、例えば、リチウムイオン電池等の充電可能な二次電池により構成することができる。さらに、電池２５は、接続部２６を介して充電器３から供給される電力によって充電されることができる。
　接続部２６は、例えば、充電器３に補聴器２が収納された際に、充電器３の接続部と接続し、充電器３から電力および各種情報を受信するとともに、各種情報を充電器３へ出力することができる。接続部２６は、例えば、１つ又は複数のピンを用いて構成することができる。
　通信部２７は、制御部２９の制御のもと、通信ネットワークを介して、所定の通信規格に従って充電器３又は情報処理端末４０と通信を行うことができる。ここで、所定の通信規格としては、例えば、Ｗｉ－Ｆｉ（登録商標）及びＢｌｕｅｔｏｏｔｈ（登録商標）等が想定される。通信部２７は、例えば、通信モジュール等を用いて構成することができる。さらに、通信部３０は、制御部２９の制御のもと、ＮＦＭＩ(Ｎｅａｒ　Ｆｉｅｌｄ　Ｍａｇｎｅｔｉｃ　Ｉｎｄｕｃｔｉｏｎ)等の近距離通信等により、他方の補聴器２と通信を行うことができる。
　記憶部２８は、補聴器２に関する各種情報を格納する。記憶部２８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びメモリカード等を用いて構成することができる。記憶部２８は、補聴器２が実行するプログラム２８１及び補聴器２で用いる各種のデータ２８２を格納することができる。例えば、データ２８２としては、ユーザの年齢、ユーザの補聴器２の使用経験の有無、ユーザの性別等を挙げることができる。さらに、データとしては、計時部（図示省略）によって計時されたユーザの補聴器２を使用した使用時間を挙げることができる。また、当該計時部は、補聴器２内部に設けられ、日時を計時し、計時結果を制御部２９等へ出力することができる。当該計時部は、例えば、タイミングジェネレータや計時機能を有するタイマー等を用いて構成することができる。
　制御部２９は、補聴器２を構成する各部を制御する。制御部２９は、例えば、メモリと、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等のハードウェアを有するプロセッサを用いて構成することができる。制御部２９は、格納されたプログラム２８１をメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御する。
　また、図２では図示を省略しているものの、補聴器２は操作部を有していてもよい。当該操作部は、補聴器２を起動するための起動信号（トリガー信号）の入力を受け付け、受け付けた起動信号を制御部２９へ出力することができる。操作部は、例えば、プッシュ型のスイッチ、ボタン又はタッチパネル等を用いて構成することができる。
　また、補聴器２は、ユーザの各種の生体情報（センシングデータ）を取得することが可能な、非侵襲のセンサデバイスである生体情報センサ（図示省略）を搭載していてもよい。生体情報センサとしては、例えば、ユーザの脈拍、心拍、血流、血中酸素等を検出する血流センサ等を挙げることができる。
　次に、充電器３の機能的構成について説明する。図２に示すように、充電器３は、表示部３１と、電池３２と、収納部３３と、通信部３４と、記憶部３５と、制御部３６とを主に有する。
　表示部３１は、制御部３６の制御のもと、補聴器２に関する各種状態を表示する。例えば、表示部３１は、補聴器２が充電中であることを示す情報、情報処理端末４０から各種情報を受信していることを示す情報を表示することができる。表示部３１は、例えば、発光ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等を用いて構成することができる。
　電池３２は、収納部３３に設けられた接続部３３１を介して収納部３３に収納された補聴器２及び充電器３を構成する各部へ電力を供給する。電池３２は、例えばリチウムイオン電池等の二次電池を用いて構成することができる。
　収納部３３は、補聴器２が左右２チャンネルの場合は、各々を個別に収納する。なお、補聴器２が片耳のみのタイプであってもよい。また、収納部３３には、補聴器２の接続部２６と接続可能な接続部３３１が設けられている。接続部３３１は、補聴器２が収納部３３に収納された際に、補聴器２の接続部２６と接続し、電池３２から電力及び制御部３６からの各種情報を送信するとともに、補聴器２からの各種情報を受信して制御部３６へ出力する。接続部３３１は、例えば、１つ又は複数のピンを用いて構成することができる。
　通信部３４は、制御部３６の制御のもと、通信ネットワークを介して、所定の通信規格に従って、情報処理端末４０と通信を行う。通信部３４は、例えば通信モジュールを用いて構成することができる。
　記憶部３５は、充電器３が実行する各種のプログラム３５１を格納する。記憶部３５は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ及びメモリカード等を用いて構成することができる。
　制御部３６は、充電器３を構成する各部を制御する。例えば、制御部３６は、収納部３３に補聴器２が収納された場合、接続部３３１を介して電池３２から電力を供給させる。制御部３６は、例えば、メモリと、ＣＰＵまたはＤＳＰ等のハードウェアを有するプロセッサを用いて構成することができる。制御部３６は、プログラム３５１をメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御する。
　次に、情報処理端末４０の機能的構成について説明する。図３に示すように、情報処理端末４０は、入力部４１と、通信部４２と、出力部４３と、表示部４４と、記憶部４５と、制御部４６とを主に有する。
　入力部４１は、ユーザからの各種操作の入力を受け付け、受け付けた操作に応じた信号を制御部４６へ出力する。入力部４１は、例えばスイッチ及びタッチパネル等を用いて構成することができる。
　通信部４２は、制御部４６の制御のもと、通信ネットワークを介して、充電器３又は補聴器２と通信を行う。通信部４２は、例えば、通信モジュールを用いて構成することができる。
　出力部４３は、制御部４６の制御のもと、所定の周波数帯毎に所定の音圧レベルの音量を出力する。出力部４３は、例えば、スピーカ等を用いて構成することができる。
　表示部４４は、制御部４６の制御もと、情報処理端末４０に関する各種情報および補聴器２に関する情報を表示する。表示部４４は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ　Ｄｉｓｐｌａｙ）等を用いて構成することができる。
　記憶部４５は、情報処理端末４０に関する各種情報を格納する。記憶部４５は、情報処理端末４０が実行する各種のプログラム４５１等を格納する。記憶部４５は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、メモリカード等の記録媒体を用いて構成することができる。
　制御部４６は、情報処理端末４０を構成する各部を制御する。制御部４６は、例えば、メモリと、ＣＰＵ等のハードウェアを有するプロセッサとを用いて構成することができる。制御部４６は、記憶部４５に格納されたプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御する。
　また、情報処理端末４０は、測位センサ（図示省略）を含んでいてもよい。当該測位センサは、情報処理端末４０を携帯するユーザの位置を検出するセンサであり、具体的には、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）受信機等であることができる。この場合、測位センサは、ＧＮＳＳ衛星からの信号に基づいて、ユーザの現在地の緯度・経度を示すセンシングデータを生成することができる。また、本開示の実施形態においては、例えば、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、Ｗｉ－Ｆｉのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を上記測位センサとして利用することも可能である。本開示の実施形態においては、補聴器２と近接する情報処理端末４０の位置情報に基づき、補聴器２の周囲の環境等を推定してもよい。
　なお、本開示の実施形態においては、補聴器システム１、及び、それに含まれる各装置の機能構成は、図１から図３に示すような形態であることに限定されるものではない。例えば、後述するように、補聴器システム１には、情報処理サーバ等が含まれていてもよい。
　＜＜２．　背景＞＞
　次に、本開示の実施形態を説明する前に、本発明者らが本開示の実施形態を創作するに至る背景について説明する。まずは、図４から図７を参照して、補聴器２の具体的な形態について説明する。図４は、本開示の実施形態に係る耳掛け型補聴器１００の構成例を示す図であり、図５は、本開示の実施形態に係る耳掛け型補聴器１００のレシーバ１０１をユーザの外耳道に挿入した状態を示す断面図である。図６は、本開示の実施形態に係る耳穴型補聴器５００の構成例を示す図であり、図７は、本開示の実施形態に係る耳穴型補聴器５００をユーザの外耳道に挿入した状態を示す断面図である。ここで、補聴器１００は耳掛け型補聴器であり、例えば、Ｂｅｈｉｎｄ－Ｔｈｅ－Ｅａｒ（ＢＴＥ）／Ｒｅｃｅｉｖｅｒ－Ｉｎ－Ｔｈｅ－Ｃａｎａｌ（ＲＩＣ）等と称される。また、補聴器５００は耳穴型補聴器であり、例えば、Ｉｎ－Ｔｈｅ－Ｅａｒ（ＩＴＥ）／Ｉｎ－Ｔｈｅ－Ｃａｎａｌ（ＩＴＣ）／Ｃｏｍｐｌｅｔｅｌｙ－Ｉｎ－Ｔｈｅ－Ｃａｎａｌ（ＣＩＣ）／Ｉｎｖｉｓｉｂｌｅ－Ｉｎ－Ｔｈｅ－Ｃａｎａｌ（ＩＩＣ）等と称される。なお、補聴器１００、５００は、上述した形式以外の補聴器であってもよい。
　図４に示すように、耳掛け型補聴器１００は、レシーバ（出力部）１０１と、イヤーチップ（装着部品）１０３と、第１のマイクロフォン（第１の集音部）１０４とを主に有する。第１のマイクロフォン１０４は、周囲の音を集音し、図示しない信号処理部に音響信号を伝達する。上記信号処理部は、伝達された音響信号をユーザの聴力に合わせて増幅し、レシーバ１０１に音響信号を伝達する。レシーバ１０１は、伝達された音響信号を出力するスピーカである。さらに、レシーバ１０１には、ユーザの外耳道に装着するためのイヤーチップ（ｅａｒ　ｔｉｐ）１０３が接続されている。イヤーチップ１０３は、イヤードーム（ｅａｒ　ｄｏｍｅ）とも称され、各ユーザの耳の型に合わせて成形されたものは、イヤーモールド（ｅａｒ　ｍｏｌｄ）とも称される。そして、ユーザが補聴器１００を使用する際は、補聴器１００を耳介に掛け、レシーバ１０１を、イヤーチップ１０３を介して外耳道に挿入する。
　図５に、耳掛け型補聴器１００のレシーバ１０１をユーザの外耳道に挿入した状態を示す。イヤーチップ１０３には、レシーバ１０１の音の出口として第１の孔１０７が設けられ、さらに、当該第１の孔１０７には、耳垢の侵入を防止するための耳垢侵入防止フィルタ１０２が設けられている。従って、レシーバ１０１の音の出口は、第１の孔１０７と耳垢侵入防止フィルタ１０２とを経由して外耳道内側７９２と連通している。さらに、ユーザの外耳道内側７９２と外耳道外側７９１は、イヤーチップ１０３で隔たれている。そして、イヤーチップ１０３には、自声のこもりを防ぎ、且つ、通気の確保のために、外耳道内側７９２と外耳道外側７９１とを連通させる第２の孔１０８が設けられていてもよい。なお、第２の孔１０８は、ベントとも称される。例えば、第１の孔１０７の径は、１ｍｍ前後の小さな径が一般的である。また、第２の孔１０８の有無については、ユーザの主に低周波数域の聴力に依存して決まることが多く、第２の孔１０８の径は、例えば、１ｍｍ前後や３ｍｍ前後等のように、適宜選択することが可能である。なお、第２の孔１０８の数は１つでも複数であってもよい。第２の孔１０８が複数である場合には、それぞれの孔の径は、同じであっても、もしくは、異なっていてもよい。また、孔の形状は、円形であってもよく、円形以外の形状であってもよい。さらに、第２の孔１０８の片側又は両側は、メッシュ構造になっていてもよい。
　また、図６に示すように、耳穴型補聴器５００は、レシーバ５０１と、第１のマイクロフォン５０４とを主に有する。第１のマイクロフォン５０４は、周囲の音を集音し、図示しない信号処理部に音響信号を伝達する。上記信号処理部は、伝達された音響信号をユーザの聴力に合わせて増幅し、レシーバ５０１に音響信号を伝達する。レシーバ５０１は、伝達された音響信号を出力する。そして、ユーザが補聴器５００を使用する際は、補聴器５００をユーザの外耳道に挿入する。
　図７に、耳穴型補聴器５００をユーザの外耳道に挿入した状態を示す。先に説明したように、ユーザが補聴器５００を使用する際は、補聴器５００をユーザの外耳道に挿入する。補聴器５００の本体である筐体（筐体部）は、上述したレシーバ５０１と、第１のマイクロフォン５０４とを内蔵する。さらに、補聴器５００を外耳道から外す際には、ユーザは、筐体に接続されたテグス５０９を引っ張ることとなる。なお、耳穴型補聴器５００の大きさによっては、テグス５０９がないこともある。
　さらに、筐体には、レシーバ５０１の音の出口として、第１の孔５０７が設けられ、当該第１の孔５０７には、耳垢の侵入を防止するための耳垢侵入防止フィルタ５０２が設けられている。従って、レシーバ５０１の音の出口は、第１の孔５０７と耳垢侵入防止フィルタ５０２とを経由して外耳道内側７９２と連通している。さらに、第１のマイクロフォン５０４は、第１の孔５０７から所定の距離だけ離れた位置に設けられている。また、ユーザの外耳道内側７９２と外耳道外側７９１は、補聴器５００で隔たれている。そして、補聴器５００には、自声のこもりを防ぎ、且つ、通気の確保のために、外耳道内側７９２と外耳道外側７９１とを連通させる第２の孔５０８が設けられていてもよい。例えば、第１の孔５０７の径は、１ｍｍ前後の小さな径が一般的である。また、第２の孔５０８の有無については、ユーザの主に低周波数域の聴力に依存して決まることが多く、第２の孔５０８の径は、例えば、１ｍｍ前後や３ｍｍ前後等のように、適宜選択することが可能である。なお、第２の孔５０８の数は１つでも複数であってもよい。第２の孔５０８が複数である場合には、それぞれの孔の径は、同じであっても、もしくは、異なっていてもよい。また、孔の形状は、円形であってもよく、円形以外の形状であってもよい。さらに、第２の孔５０８の片側又は両側は、メッシュ構造になっていてもよい。
　なお、本開示の実施形態においては、補聴器１００、５００は、図４から図７に示すような形態であることに限定されるものではない。
　さらに、図５を用いて、第１の孔１０７と耳垢侵入防止フィルタ１０２とを説明する。図５からわかるように、レシーバ１０１から出力された音は、第１の孔１０７を経由して外耳道内側７９２へ届くこととなる。しかしながら、第１の孔１０７に何かが詰まると、増幅された音が外耳道内側７９２へ期待通りに届かなくなる。補聴器１００は、ユーザの聴力を補うものであり、期待通りの音がユーザの外耳道に届かないことは深刻な問題となり得る。そして、第１の孔１０７に詰まるものとして最も一般的なものは耳垢である。
　そこで、耳垢が第１の孔１０７に侵入して第１の孔１０７を塞いでしまうことを防ぐために、耳垢侵入防止フィルタ１０２が広く用いられている。なお、耳垢侵入防止フィルタ１０２は、ワックスガード（ｗａｘ　ｇｕａｒｄ）、ワックストラップ（ｗａｘ　ｔｒａｐ）、ワックスフィルター（ｗａｘ　ｆｉｌｔｅｒ）等とも称される。
　そして、耳垢侵入防止フィルタ１０２は、交換できる部品である。通常、補聴器１００は、専門家（オーディオロジスト）によって調整（例えばフィッティング処理）とメンテナンスがなされる。従って、専門家がメンテナンス時に耳垢侵入防止フィルタ１０２の状態を確認し、必要に応じて耳垢侵入防止フィルタ１０２を交換することが一般的である。しかしながら、耳垢侵入防止フィルタ１０２の交換部品は、一般ユーザ向けにも販売されており、ユーザ自身で交換することも可能である。
　さらに、図７を用いて、第２の孔５０８を説明する。図７からわかるように、第２の孔５０８は、ユーザの外耳道内側７９２と外耳道外側７９１とを連通する。当該第２の孔５０８に何かが詰まると、自声のこもりが大きくなり過ぎたり、通気が不十分になったりする。自声のこもりが大きくなり過ぎると、ユーザが不快に感じるだけでなく、発話しづらくなるという問題も生じ得る。そして、第２の孔５０８に詰まるものとして最も一般的なものは耳垢である。
　そこで、耳垢が第２の孔５０８に侵入して第２の孔５０８を塞いでしまうことを防ぐために、図示しない清掃ブラシによる掃除が行われる。通常、補聴器５００は、専門家によって調整とメンテナンスとがなされる。従って、専門家がメンテナンス時に第２の孔５０８の状態を確認し、必要に応じて清掃することが一般的である。しかしながら、清掃ブラシは一般ユーザ向けにも販売されており、ユーザ自身で清掃することもできる。
　このように、補聴器販売店等で専門家がメンテナンスを行なう場合には、当該専門家が、耳垢侵入防止フィルタ１０２や第２の孔５０８の状態を確認し、対処することができる。従って、耳垢侵入防止フィルタ１０２や第２の孔５０８に何かが詰まった状態のまま、ユーザが補聴器１００、５００を使用し続けてしまうことを防ぐことができる。
　一方、専門家を介することなく、補聴器１００、５００を店頭で販売する場合がある。このような補聴器１００、５００は、ＯＴＣ（Ｏｖｅｒ－Ｔｈｅ－Ｃｏｕｎｔｅｒ）補聴器と呼ばれ、専門家のサポートを十分に受けることが期待できない場合がある。従って、ＯＴＣ補聴器の場合には、ユーザ自身で、耳垢侵入防止フィルタ１０２や第２の孔５０８の状態を確認し、対処することが求められる。補聴器によっては、説明書等により、定期的に耳垢侵入防止フィルタ１０２を交換することを促していることもあるが、ユーザがそれを見落とししたり、忘れてしまったりした場合には、耳垢侵入防止フィルタ１０２の交換が行われないこととなる。さらに、そもそも耳垢の質と量とは個人差が大きいことから、ユーザによって適切な耳垢侵入防止フィルタ１０２の交換時期は異なる。
　そこで、上記特許文献１では、このような課題を解決しようとする技術が提案されている。詳細には、上記特許文献１では、耳垢侵入防止フィルタに詰まりがない場合とある場合とで、レシーバのインピーダンスが変化することに基づいて、耳垢侵入防止フィルタの詰まりを推定し、ユーザに推定結果を通知している。しかしながら、上記特許文献１で提案されている方法では、レシーバから出力された音を直接的に調べるものではないため、音への影響という点で、信頼性に欠け、耳垢侵入防止フィルタの詰まりの推定の精度を高くすることに限界がある。
　また、ここまで、耳垢侵入防止フィルタ１０２や第２の孔５０８の詰まりについて説明してきたが、補聴器１００、５００には、さらに他の課題もある。第１の孔１０７、５０７に装着されるはずの耳垢侵入防止フィルタ１０２、５０２の未装着である。耳垢侵入防止フィルタ１０２、５０２は、適切に装着されていれば、外れてしまう可能性は低いものの、装着が適切になされていない場合には、外れて、紛失してしまうことがある。ユーザが高齢者の場合、視力が低下していることが多く、小さな部品の未装着には気づきにくい傾向がある。紛失に気づければ、新たな耳垢侵入防止フィルタ１０２、５０２を装着することができるが、気づかなければ耳垢侵入防止フィルタ１０２、５０２を未装着のまま補聴器１００、５００を使用し続けてしまうことになる。耳垢侵入防止フィルタ１０２、５０２が未装着のまま、補聴器１００、５００を使用した場合、耳垢がレシーバ１０１、５０１内へ侵入する蓋然性が高まる。そして、耳垢がレシーバ１０１、５０１の中にまで入ってしまうと、補聴器１００、５００が故障する恐れがある。従って、耳垢侵入防止フィルタ１０２、５０２の未到着を、ユーザに早急に気づかせる必要がある。
　さらに、補聴器１００、５００は、ユーザの聴力に応じて適切に調整されるべきものであり、従って、通常は、オージオロジストをはじめとした専門家等により、補聴器１００、５００のマイクロフォン１０４、５０４とレシーバ１０１、５０１とは適切な範囲に校正されている。しかしながら、ユーザが、誤って補聴器１００、５００を落下させたり、水没させたり等、何らかの原因により、マイクロフォン１０４、５０４やレシーバ１０１、５０１が適切に校正された状態とは異なる状態に陥ることがある。そして、ユーザがそのことに気づかなければ、ユーザの聴力に適切に合わせた音と結果的にずれた音が出力される状態で、補聴器１００、５００の使用を続けてしまうことになり、補聴器の目的を達成することができない。従って、マイクロフォン１０４、５０４やレシーバ１０１、５０１が適切に校正された状態とは異なる状態であることを、ユーザに早急に気づかせる必要がある。
　そこで、本発明者らは、このような状況を鑑みて、以下に説明する本開示の実施形態を創作するに至った。本開示の実施形態によれば、補聴器１００、５００の異常を簡便に、且つ、精度よく検知することができる。なお、本開示の実施形態において検知される補聴器１００、５００の異常は、例えば、第１の孔１０７、５０７の（詰まり）、第２の孔１０８の異常（詰まり）、第１の孔１０７、５０７に装着される耳垢侵入防止フィルタ１０２、５０２の異常（詰まり、未装着）、レシーバ１０１、５０１（出力部）の異常、及び、マイクロフォン（第１の集音部）１０４、５０４の異常等である。以下、本発明者らが創作した本開示の実施形態を順次説明する。
　＜＜３．　第１の実施形態＞＞
　＜３．１　概要＞
　まずは、図８から図１０を参照して、本開示の第１の実施形態の概要を説明する。本実施形態においては、第１の孔１０７、５０７に設けられた耳垢侵入防止フィルタ１０２、５０２の詰まりを検知する。図８は、本実施形態に係る耳掛け型補聴器（情報処理装置）１００への適用例を示す説明図であり、図９は、本実施形態に係る耳穴型補聴器（情報処理装置）５００への適用例を示す説明図である。さらに、図１０は、本実施形態において集音される測定音の特性の例を示す説明図である。
　まず、図８に示すように、本実施形態を耳掛け型補聴器１００へ適用した場合、補聴器１００は、トリガー信号の受信を起点として、異常を検知するための測定音をレシーバ（出力部）１０１から出力する。レシーバ１０１から出力された測定音は、第１の孔１０７及び空間７１１を経由して第１のマイクロフォン（第１の集音部）１０４で集音される。そして、第１のマイクロフォン１０４は、空間７１１を経由して届いた測定音を集音し、音響信号に変換する。さらに、後述する補聴器１００の異常検知部は、変換された音響信号に基づいて、第１の孔１０７に設けられた耳垢侵入防止フィルタ１０２の詰まりを検知する。
　また、図９に示すように、本実施形態を耳穴型補聴器５００への適用した場合、補聴器５００は、トリガー信号の受信を起点として、異常を検知するための測定音をレシーバ５０１から出力する。レシーバ５０１から出力された測定音は、第１の孔５０７及び空間７１１を経由して第１のマイクロフォン５０４で集音される。そして、第１のマイクロフォン５０４は、空間７１１を経由して届いた測定音を集音し、音響信号に変換する。さらに、後述する補聴器５００の異常検知部は、変換された音響信号に基づいて、第１の孔５０７に設けられた耳垢侵入防止フィルタ５０２の詰まりを検知する。
　なお、本実施形態が適用される補聴器は、図８及び図９に示すような耳掛け型補聴器１００及び耳穴型補聴器５００であってもよく、図８及び図９に示す形態以外の形態を持つ補聴器であってもよい。すなわち、本実施形態が適用される補聴器は、トリガー信号の受信を起点として測定音を出力するレシーバと、出力された測定音を集音して音響信号に変換するマイクロフォンと、音響信号を使って異常を検知する機能部とを有する補聴器であれば、特に限定されるものではない。
　そして、第１のマイクロフォン１０４、５０４で集音された測定音は、例えば、図１０に示すような特性（周波数特性）を示す。詳細には、耳垢侵入防止フィルタ１０２、５０２の詰まりがない場合には、レシーバ１０１、５０１から出力された測定音は正常に第１の孔１０７、５０７を通過する。従って、レシーバ１０１、５０１から出力された測定音を第１のマイクロフォン１０４、５０４で集音し、音響信号へ変換した場合、変換された音響信号の周波数特性は、例えば、図１０の正常時の特性１１６１のようになる。
　一方、耳垢侵入防止フィルタ１０２、５０２の詰まりがある場合には、レシーバ１０１、５０１から出力された測定音は正常に第１の孔１０７、５０７を通過することができない。従って、レシーバ１０１、５０１から出力された測定音を第１のマイクロフォン１０４、５０４で集音し、音響信号へ変換した場合、変換された音響信号の周波数特性は、例えば、図１０の異常時の特性１１６２のように変化する。本実施形態においては、このような第１のマイクロフォン１０４、５０４で集音された測定音の特性の違いにより、耳垢侵入防止フィルタ１０２、５０２の詰まりを検知する。なお、本実施形態で用いられる特性は、図１０に示すような、周波数変化に対する音量レベルの変化である周波数特性に限定されるものではなく、第１のマイクロフォン１０４、５０４で集音された測定音の特徴が示される特性であればよい。
　例えば、様々な耳垢侵入防止フィルタ１０２、５０２の詰まりの状態において集音された測定音の特性を、機械学習や統計的手法等により解析することにより、耳垢侵入防止フィルタ１０２、５０２の詰まりの有無による測定音の特性の違いが明確になる。そこで、本実施形態においては、このような解析によって得られたモデルを用いて、耳垢侵入防止フィルタ１０２、５０２の詰まりを検知することが可能となる。
　本実施形態においては、測定音としては、インパルス（ｉｍｐｕｌｓｅ）、ＴＳＰ（Ｔｉｍｅ－Ｓｔｒｅｔｃｈｅｄ－Ｐｕｌｓｅ）、ノイズ、測定に必要な周波数を含むメロディー、純音、複数の純音等を用いることができる。また、測定音としては、段階的に周波数や音量が変化する音を用いてもよい。さらに、測定音としては、周波数が異なる複数の音を用いてもよく、例えば、音量の異なる複数の音、パターンが異なる複数の音を用いてもよい。そして、本実施形態においては、このような複数の音を使用する場合には、同時に出力してもよく、異なるタイミングで出力してもよい。
　＜３．２　機能構成＞
　次に、図１１及び図１２を参照して、本実施形態における補聴器１００の機能構成について説明する。図１１は、本実施形態に係る補聴器１００の機能ブロック図であり、図１２は、本実施形態に係る異常検知部１３３の機能ブロック図である。なお、ここでは、耳掛け型補聴器１００を例に説明しているが、本実施形態においては、耳穴型補聴器５００も同様の構成をとることができる。
　図１１に示すように、本実施形態に係る補聴器１００は、レシーバ１０１に測定音を出力する測定信号再生部１３１と、補聴器１００を制御するためのプログラムやデータを格納するパラメータ記憶部１３２とを有する。また、補聴器１００は、第１のマイクロフォン１０４で集音された測定音に基づき、異常を検知する異常検知部１３３と、補聴器１００の各機能部を制御する制御部１３４とを有する。さらに、補聴器１００は、異常検知を開始するためのトリガー信号（起動信号）を検知するトリガー検知部（起動信号検知部）１３５と、情報処理端末４０と通信可能な通信部（通知部の一例）１３６と、を主に有する。以下、補聴器１００の各機能ブロックについて説明する。
　測定信号再生部１３１は、レシーバ１０１に測定音を出力することができる。測定信号再生部１３１は、測定音を再生するために、制御部１３４を介してパラメータ記憶部１３２に格納されたパラメータを利用してもよい。パラメータの利用として、例えば、レシーバ１０１の出力能力の違いや、異常検知を行なう際の環境条件の違い（周囲の環境音が大きいか小さいか等）によって、測定音の周波数や音量、パターンを調整することができる。この際、測定信号再生部１３１は、補聴器１００の第１のマイクロフォン１０４により周囲の音の音量を検知して調整を行ってもよい。もしくは、測定信号再生部１３１は、補聴器１００に近接するユーザの情報処理端末４０の位置情報を使用して、ユーザの自宅にいるか外出先にいるか等を検知して、調整を行ってもよい。なお、本実施形態においては、補聴器１００がテーブル等の上に置かれている場合には、充電器等の音響的に閉じた閉空間に補聴器１００が格納された場合と比べ、より強い測定音を出力した方が好ましく、このようにすることで、異常検知の精度を高めることができる。
　また、パラメータ記憶部１３２は、補聴器１００を制御するためのプログラムやデータを格納する。これらのプログラムやデータは、例えば、補聴器１００の工場出荷時に格納される。また、これらのプログラムやデータは、レシーバ１０１の入れ替え等の構成変更を修理で行った場合には、その際に、更新されてもよい。さらに、後述する異常検知部１３３で使用するデータ（アルゴリズム、モデル等）については、更新が行われるたびに、補聴器１００に配信されることで、更新されてもよい。
　そして、レシーバ１０１から出力された測定音を第１のマイクロフォン１０４が集音し、第１のマイクロフォン１０４は、音から音響信号へ変換し、変換した音響信号を異常検知部１３３へ送る。異常検知部１３３は、第１のマイクロフォン１０４からの音響信号に基づいて、異常、すなわち、第１の孔１０７に設けられた耳垢侵入防止フィルタ１０２の詰まりを検知する。異常検知部１３３は、異常を検知する際、処理の過程においてパラメータ記憶部１３２に格納されたパラメータを使うことができる。なお、異常検知部１３３の詳細については、後述する。
　制御部１３４は、トリガー検知部１３５が検知したトリガー信号に基づいて、測定信号再生部１３１に、測定音の再生を指示する。例えば、蓋が閉じたタイミングで充電を開始する蓋付き充電器３を使用する場合、充電器３は、補聴器１００が充電器３に内蔵され、蓋が閉じたことで充電が開始したことを検知する。そして、充電器３は、充電器３から補聴器１００へ充電が開始したことを検知し、補聴器１００へトリガー信号を送信する。さらに、補聴器１００のトリガー検知部１３５は、トリガー信号を受信し、制御部１３４を介して、測定信号再生部１３１に、測定音の再生を指示する。
　また、上述のような場合、例えば、充電器３が、蓋が開いたタイミングで充電を終了するように構成されていれば、充電器３は、蓋が開いたことで充電が終了したことを検知する。そして、充電器３は、充電器３から補聴器１００へ充電が終了したことを検知し、補聴器１００へトリガー信号を送信する。さらに、補聴器１００のトリガー検知部１３５は、トリガー信号を受信し、制御部１３４を介して、測定信号再生部１３１に、測定音の再生を終了する。
　なお、本実施形態においては、トリガー検知部１３５は、充電器３からのトリガー信号を受信することに限定されるものではなく、例えば、補聴器１００に設けられたボタンがユーザに操作されたことによりトリガー信号を受信してもよい。また、トリガー検知部１３５は、情報処理端末４０等からトリガー信号を受信してもよい。
　通信部１３６は、例えば、通信アンテナ１３７を用いて異常検知結果を外部装置（充電器３や情報処理端末４０）へ送信することができる。本実施形態においては、通信部１３６は、通信アンテナ１３７等を利用した無線通信を行うことに限定されるものではなく、通信コネクタ等を利用した有線通信を行ってもよい。
　なお、本実施形態においては、補聴器１００の各機能部は、図１１に示すような形態であることに限定されるものではない。また、上述の説明においては、異常検知部１３３等は、補聴器１００に設けられているものして説明しているが、本実施形態においては、これに限定されるものではない。例えば、異常検知部１３３の全体又は一部の機能については、補聴器１００で実行する代わりに、情報処理端末４０、充電器３、補聴器１００や情報処理端末４０等と通信可能な情報処理サーバやクラウド等（図示省略）で実行されてもよい。このようにすることで、補聴器１００の構成をコンパクトにし、消費電力の増加を抑えることができる。
　次に、異常検知部１３３の動作について、具体例を示す。異常検知部１３３は、測定音の音響信号から音質の変化に関する音質変化特徴量（特徴点）Ｘを抽出し、例えば、耳垢侵入防止フィルタ１０２の詰まりに特有の音質変化を定量化する。具体的には、異常検知部１３３は、第１のマイクロフォン１０４から出力された音響信号を、短時間フーリエ変換やＬＰＣ（Ｌｉｎｅａｒ　Ｐｒｅｄｉｃｔｉｖｅ　Ｃｏｄｉｎｇ）法などを用いてパワースペクトラム係数Ｓ０、・・・、ＳＭ－１に変換する。Ｍはスペクトラムの次数を表す。そして、以下の式（１）に従ってスペクトラム係数Ｓ０、・・・、ＳＭ－１とスペクトラム係数Ｂ０、・・・、ＢＭ－１の比の荷重和を計算し、音質変化特徴量Ｘを得ることができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｗｍは荷重係数であり、θは所定のバイアス値である。この荷重係数Ｗｍとバイアス値θとの決定には種々の統計的判定法を利用することができる。本実施形態においては、例えば、予め、多数の種類の耳垢侵入防止フィルタ１０２の詰まりの程度を主観的に評価し、スペクトラム係数比と望ましい特徴量値（例えば０．０～１．０）とを組にした学習サンプルを用意する。さらに、学習サンプルに対する重回帰分析によって直線近似される荷重を求め、荷重係数Ｗｍとバイアス値θを決定することができる。また、本実施形態においては、重回帰分析の代わりに、ニューラルネットワークを用いてもよく、ベイズ推定法やベクトル量子化等の判別法を用いてもよい。
　また、本実施形態においては、音質変化特徴量Ｘの代わりに、音質変化特徴量Ｘ’を用いてもよい。具体的には、異常検知部１３３は、以下の式（２）に従ってスペクトラム係数Ｓ０、・・・、ＳＭ－１とスペクトラム係数Ｂ０、・・・、ＢＭ－１の差の荷重和を計算し、音質変化特徴量Ｘ’を得る。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｗ’ｍは荷重係数であり、θ’は所定のバイアス値である。
　また、本実施形態においては、音質変化特徴量Ｘの代わりに、音質特徴量Ｘ’’を用いてもよい。具体的には、異常検知部１３３は、以下の式（３）に従ってスペクトラム係数Ｓ０、・・・、ＳＭ－１の荷重和を計算し、音質特徴量Ｘ’’を得る。
Figure JPOXMLDOC01-appb-M000003
　ここで、Ｗ’’ｍは荷重係数であり、θ’’は所定のバイアス値である。
　続いて、異常検知部１３３は、第１のマイクロフォン１０４から出力された音響信号の短時間振幅Ａ（ｔ）と音質変化特徴量Ｘとに基づいて異常度を定量化する。具体的には、音質変化特徴量Ｘが所定の閾値を超える長さｙ１、音質変化特徴量Ｘの最大値ｙ２、音質変化特徴量Ｘの平均値ｙ３を計算し、特徴ベクトルとする。そして、異常検知部１３３は、以下の式（４）に従って異常度を示す値ｚを計算する。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｕｉは荷重係数であり、ｕ０は所定のバイアス値である。この荷重係数ｕｉとバイアス値ｕ０との決定には種々の統計的判定法を利用することができる。本実施形態においては、例えば、予め、多数の種類の耳垢侵入防止フィルタ１０２の詰まりの程度を主観的に評価し、特徴ベクトルと望ましいスコア値（例えば０．０～１．０）とを組にした学習サンプルを用意する。さらに、学習サンプルに対する重回帰分析によって直線近似される荷重を求め、荷重係数ｕｉとバイアス値ｕ０とを決定することができる。また、本実施形態においては、重回帰分析の代わりに、ニューラルネットワークを用いてもよく、ベイズ推定法やベクトル量子化等の判別法を用いてもよい。
　また、異常度を示す値ｚの計算において、さらに、第１のマイクロフォン１０４から出力された音響信号の短時間振幅Ａ（ｔ）の最大値ｙ４、短時間振幅Ａ（ｔ）の平均値ｙ５を計算し、特徴ベクトルとしてもよい。そして、異常検知部１３３は、以下の式（５）に従って、異常度を示す値ｚを計算する。ここで、異常度とは、耳垢侵入防止フィルタ１０２の詰まりの程度を示すものとする。
Figure JPOXMLDOC01-appb-M000005
　さらに、異常検知部１３３は、以下の式（６）に従って、異常の有無、ずなわち、耳垢侵入防止フィルタ１０２の詰まりの有無を判別する。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｔｈは異常の有無を判別するための閾値である。式（６）が満たされるときを「異常あり」（耳垢侵入防止フィルタ１０２の詰まり有り）、満たされないときを「異常なし」（耳垢侵入防止フィルタ１０２の詰まり無し）と判別できる。また、本実施形態においては、例えば、以下の式（７）と式（８）に従って、異常の程度を判別してもよい。
Figure JPOXMLDOC01-appb-M000007
　ここで、ｔｈ１とｔｈ２は異常の程度を判別するための閾値である。式（７）が満たされるときを「異常あり」、式（８）が満たされるときを「注意」、式（７）も式（８）も満たされないときを「異常なし」と判別することができる。また、式（６）では、２つに場合分けし、式（７）と式（８）では３つに場合分けしているが、本実施形態においては、もっと多くの場合に分けてもよい。さらに、本実施形態においては、例えば、異常度ｚに１００を掛けて、パーセントとして結果を示してもよい。
　異常検知部１３３は、例えば、上述のようにして異常度ｚを計算し、計算した異常度ｚを出力する。なお、本実施形態においては、異常検知部１３３は、異常度ｚを出力することに限定されるものではなく、「異常あり」、「異常なし」等の異常状態の種類を出力してもよい。ここで、「異常あり」は、耳垢侵入防止フィルタ１０２の詰まりがあることを示し、「異常なし」は、耳垢侵入防止フィルタ１０２の詰まりがないことを示す。
　上述した式（１）～式（８）を用いた方法では、明示的に特徴量を求める構成を用いていたが、本実施形態においては、深層機械学習によるモデルを用いる構成であってもよい。本実施形態においては、例えば、予め、多数の種類の耳垢侵入防止フィルタ１０２の詰まりの程度を主観的に評価し、評価に対して予め割り当てた異常度（例えば０．０～１．０）と、音響信号とを組にした学習サンプルを用意する。そして、異常検知部１３３は、用意した学習サンプルによる機械学習で生成した学習済モデルを用いて、異常の検知を行ってもよい。
　さらに、図１２を参照して、異常検知部１３３の詳細構成を説明する。異常検知部１３３は、図１２に示すように、例えば、前処理部１５１と、解析部１５２と、判定部１５３とを主に有する。
　前処理部１５１は、音響信号に対して必要に応じて前処理を行なう。例えば、前処理としては、サンプリングレート変換や周波数変換、帯域分割、レベル検出、標準化、正規化等を挙げることができる。なお、本実施形態においては、前処理部１５１は設けられていなくてもよい。
　解析部１５２は、前処理部１５１からの出力を解析し、異常度や異常状態の種類を予測する。例えば、解析部１５２は、上述した式（１）～（５）の処理を行ってもよい。もしくは、本実施形態においては、先に説明したように、予め、多数の種類の耳垢侵入防止フィルタ１０２の詰まりの程度を主観的に評価し、評価に対して予め割り当てた異常度（例えば０．０～１．０）と、音響信号とを組にした学習サンプルを用意する。そして、解析部１５２は、用意した学習サンプルによる機械学習で生成した学習済モデルを用いて、異常度や異常状態の種類を予測してもよい。このように、本実施形態においては、機械学習を利用することによって、異常検知の精度を高めることができる。また、前処理部１５１及び解析部１５２は、必要に応じて、制御部１３４を介してパラメータ記憶部１３２からパラメータを取得してもよい。
　さらに、判定部１５３は、解析部１５２からの異常度や異常状態の種類の予測結果（解析結果）に基づき、例えば、上述した式（６）から（８）を用いて、異常の有無、すなわち、耳垢侵入防止フィルタ１０２の詰まりの有無を判別する。なお、本実施形態においては、判定部１５３は設けられていなくてもよい。
　なお、本実施形態においては、異常検知部１３３の各機能部は、図１２に示すような形態であることに限定されるものではない。
　＜３．３　情報処理方法＞
　次に、図１３を参照して、本実施形態に係る情報処理方法を説明する。図１３は、本実施形態に係る情報処理方法のフローチャートである。図１３に示すように、本実施形態に係る情報処理方法には、ステップＳ１０１からステップＳ１０５までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
　補聴器１００は、トリガーが発生しているかを判定する（ステップＳ１０１）。補聴器１００は、トリガーが発生していると判定した場合（ステップＳ１０１：Ｙｅｓ）には、ステップＳ１０２へ進み、測定を開始する。一方、補聴器１００は、トリガーが発生していないと判定した場合（ステップＳ１０１：Ｎｏ）には、ステップＳ１０１へ戻り、待機する。
　補聴器１００は、レシーバ１０１から測定音を出力し、出力された測定音が第１のマイクロフォン１０４に入力される（ステップＳ１０２）。次に、補聴器１００は、第１のマイクロフォン１０４からの音響信号に基づいて、耳垢侵入防止フィルタ１０２の詰まりを予測する（ステップＳ１０３）。
　補聴器１００は、ステップＳ１０３で予測された耳垢侵入防止フィルタ１０２の詰まりの結果から、耳垢侵入防止フィルタ１０２の詰まりが疑われるかを判定する（ステップＳ１０４）。補聴器１００は、耳垢侵入防止フィルタ１０２の詰まりが疑われない場合（ステップＳ１０４：Ｎｏ）には、処理を終了する。一方、補聴器１００は、耳垢侵入防止フィルタ１０２の詰まりが疑われる場合（ステップＳ１０４：Ｙｅｓ）には、ステップＳ１０５へ進む。
　そして、補聴器１００は、ユーザに対して耳垢侵入防止フィルタ１０２の交換や清掃を勧める通知を行なう（ステップＳ１０５）。本実施形態においては、通知の方法として、例えば、後述する充電器３の表示部による通知や、ユーザの有する情報処理端末４０の表示や音声や振動出力による通知を利用することができる。また、本実施形態においては、通知情報を記憶しておき、次回、ユーザが補聴器１００を耳に装着したタイミングで、補聴器１００を介してユーザに音声通知してもよい。
　以上のように、本実施形態によれば、第１の孔１０７、５０７に装着される耳垢侵入防止フィルタ１０２、５０２の詰まりを、簡便に、且つ、精度よく検知することができる。
　＜＜４．　第２の実施形態＞＞
　次に、図１４及び図１５を参照して、本開示の第２の実施形態を説明する。本実施形態においては、第１の実施形態と異なる点として、補聴器１００、５００が第１の閉空間６１２内に格納されていることである。図１４は、本実施形態に係る耳掛け型補聴器１００への適用例を示す説明図であり、図１５は、本実施形態に係る耳穴型補聴器５００への適用例を示す説明図である。
　詳細には、図１４及び図１５に示すように、第１の閉空間６１２は、第１の境界６１５を境として音響的に閉じた空間、すなわち、外部からの音の伝わりを抑制することができる空間である。本実施形態においては、補聴器１００、５００を第１の閉空間６１２の中に配置することによって、測定音でない音が測定音に混ざって第１のマイクロフォン１０４、５０４に集音されることを軽減できる。さらに、補聴器１００、５００を第１の閉空間６１２の中に配置することによって、レシーバ１０１、５０１から出力された測定音は、拡散することなく第１のマイクロフォン１０４、５０４に効率よく届く。このため、本実施形態によれば、異常検知の精度を高めることができる。
　さらに、図１６を参照して、第１の閉空間６１２をさらに具現化した例を説明する。図１６は、本実施形態における、補聴器１００を格納する充電器８００の構成を説明する説明図である。
　図１６に示すように、補聴器１００は、充電器８００に格納されることができる。充電器８００は、例えば、蓋を持っており、蓋を閉じることで充電を開始できる構造（箱構造）を持つ。従って、充電器８００の蓋を閉じたとき、充電器８００は、上述した第１の閉空間６１２と同様の役割を果たすことができる。その結果、補聴器１００、５００を充電器８００の中に格納することによって、測定音でない音が測定音に混ざって第１のマイクロフォン１０４、５０４に集音されることを軽減できる。さらに、補聴器１００、５００を充電器８００の中に配置することによって、レシーバ１０１、５０１から出力された測定音は、拡散することなく第１のマイクロフォン１０４、５０４に効率よく届く。このため、本実施形態によれば、異常検知の精度を高めることができる。
　また、図１６の例においては、先に説明したように、充電器８００の蓋を閉じたタイミングをトリガーとして、異常検知を開始する（すなわち、測定音の出力を開始する）。本実施形態においては、トリガーとしては、蓋を閉じたタイミングに限るものではなく、充電を開始したタイミングや充電を終了したタイミングでもよく、蓋が閉じている状態であれば特に限定されるものではない。
　また、本実施形態においては、例えば、蓋が閉じている状態で、充電器８００の、外部から操作可能なボタン８２３がユーザによって操作されたことをトリガーとしてもよい。さらに、図１６の例においては、異常検知の結果を、充電器８００の、外部から視認可能な表示部８２２を介してユーザに通知することもできる。例えば、表示部８２２は、異常なしの場合に青色を表示し、異常がある場合に赤色を表示するというように、色でも通知できる。さらに、表示部８２２を大きくし、文字、イラスト、アニメーション等を表示してもよい。
　さらに、充電器８００に補聴器１００、５００が格納され、蓋が閉じている状態で異常検知を行なうことの利点としては、補聴器１００、５００がユーザの耳に装着されていない状態であることを確実に認識することができることである。補聴器１００、５００がユーザの耳に装着されていない状態であれば、ユーザは、不要な測定音を聴かないで済む。さらに、測定音として、音や音量（音圧レベル）等について様々な選択を行うことが可能となるため、異常検知の精度の向上を期待することができる。なお、補聴器１００、５００に、上述した生体情報センサが設けられていれば、このような生体情報センサからのセンシングデータにより、補聴器１００、５００の装着の有無を検出することも可能である。従って、本実施形態においては、このような生体情報センサを利用して、ユーザの耳に補聴器１００、５００が装着されていないことを確認して、異常検知を開始してもよい。
　さらに、本実施形態においては、第１の閉空間６１２は、充電器８００であることに限定されるものではなく、例えば、補聴器１００、５００の除菌・殺菌・乾燥等を行なう機器であってもよく、もしくは、補聴器１００、５００の収納ケースであってもよい。
　以上のように、本実施形態においては、補聴器１００、５００を第１の閉空間６１２の中に配置することによって、測定音でない音が測定音に混ざって第１のマイクロフォン１０４、５０４に集音されることを軽減できる。さらに、補聴器１００、５００を第１の閉空間６１２の中に配置することによって、レシーバ１０１、５０１から出力された測定音は、拡散することなく第１のマイクロフォン１０４、５０４に効率よく届く。このため、本実施形態によれば、異常検知の精度を高めることができる。
　なお、本実施形態においては、例えば、補聴器１００は、マイクロフォン以外にＩＲ（ｉｎｆｒａｒｅｄ）センサや気圧センサ、カメラ等の撮像センサを有していてもよい。本実施形態においては、これらのセンサを用いることにより、補聴器１００が充電器等の音響的に閉じた閉空間に格納されている状態か、音響的に開かれた開空間にある状態かを判定しても良い。さらに、本実施形態においては、このようにすることで、たとえば補聴器１００が開空間にある場合には、閉空間に格納されている場合と比べて、より強い測定音を出力するように制御を行うことができる。また、本実施形態においては、補聴器１００のバッテリー量に応じて測定音の出力レベルを調整しても良い。その結果、バッテリー量に応じて最適な出力レベルに調整することで、補聴器１００のバッテリーを節約することができ、補聴器１００を長時間使用することが可能になる。
　＜＜５．　第３の実施形態＞＞
　次に、図１７及び図１８を参照して、本開示の第３の実施形態を説明する。本実施形態においては、第２の実施形態と異なる点として、異常検知に際の音響特性を一定に保つために、第１の閉空間６１２内に補聴器１００、５００を固定する固定部が設けられていることである。図１７及び図１８は、本実施形態に係る耳掛け型補聴器１００への適用例を示す説明図である。
　例えば、図１７に示すように、第１の閉空間６１２内に、当該第１の閉空間６１２におけるレシーバ１０１と第１のマイクロフォン１０４との間の位置関係を固定するための固定部９２４が設けられている。本実施形態によれば、第１の閉空間６１２におけるレシーバ１０１と第１のマイクロフォン１０４との間の位置関係が固定されることから、第１のマイクロフォン１０４で集音される測定音が安定し、異常検知の精度をより高めることができる。
　また、図１８に示すように、固定部は、第１の境界６１５による閉空間６１２を作り出すようなトンネル構造であってもよい。詳細には、当該固定部は、第４の境界６１８として示される箱構造の中に設けられ、イヤーチップ１０３がはめ込まれることで、レシーバ１０１と第１のマイクロフォン１０４とを連通する第１の閉空間６１２であることができる。本実施形態によれば、このようにすることで、レシーバ１０１と第１のマイクロフォン１０４との間の位置関係を固定しつつ、レシーバ１０１からの測定音を第１のマイクロフォン１０４へ効率よく導くことができることができる。その結果、本実施形態によれば、異常検知の精度をより高めることができる。
　以上のように、本実施形態によれば、固定部９２４を設けることにより、レシーバ１０１と第１のマイクロフォン１０４との間の位置関係が固定されることから、第１のマイクロフォン１０４で集音される測定音が安定し、異常検知の精度をより高めることができる。なお、ここでは、耳掛け型補聴器１００を例に説明したが、本実施形態においては、耳穴型補聴器５００にも同様に適用することができる。
　＜＜６．　第４の実施形態＞＞
　次に、図１９から図２１を参照して、本開示の第４の実施形態に係るトリガー検知機能について説明する。図１９は、本実施形態に係る充電器８００のトリガー検知機能における機能ブロック図であり、図２０は、本実施形態に係る情報処理方法のフローチャートである。さらに、図２１は、本実施形態に係る通知例を示す説明図である。
　図１９に示すようなトリガー検知機能を実行する機能ブロックを、例えば充電器８００に適用することができる。充電器８００は、制御部８４４と、トリガー検知部８４５と、通信部８４６とを主に有する。詳細には、トリガー検知部８４５は、充電器８００の蓋が閉じたことを検知し、トリガー信号を出力することができる。もしくは、トリガー検知部８４５は、図１６に示す充電器８００のボタン８２３に対して操作が行われたことを検知し、トリガー信号を出力してもよい。本実施形態においては、例えば、ユーザの発話や、ユーザからの音声（例えばウェイクワード等）をトリガーとして検知し、トリガー信号を出力してもよい。
　制御部８４４は、トリガー検知部８４５からのトリガー信号を受けて、トリガー信号を通信部８４６へ出力する。通信部８４６は、例えば、通信アンテナ８４７を用いてトリガー信号を補聴器１００、５００へ送信することができる。本実施形態においては、通信部８４６は、通信アンテナ８４７等を利用した無線通信を行うことに限定されるものではなく、通信コネクタ等を利用した有線通信を行ってもよい。そして、トリガー信号を受信した補聴器１００、５００は、異常の検知を行うために測定音の出力を開始する。
　なお、本実施形態においては、充電器８００の蓋が開いたことを検知した場合、上述と同様に、トリガー検知部８４５は、異常検知を中止するトリガー信号を補聴器１００、５００に出力してもよい。
　なお、本実施形態においては、トリガー信号を補聴器１００、５００に送信する装置は、充電器８００に限定されるものではなく、情報処理端末４０、情報処理サーバ（図示省略）等の外部装置や中継装置等であってもよい。
　次に、図２０を参照して、本実施形態に係る情報処理方法を説明する。図２０に示すように、本実施形態に係る情報処理方法には、ステップＳ２０１及びステップＳ２０２が含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
　まず、充電器８００は、トリガーが発生しているかを判定する（ステップＳ２０１）。トリガーとしては、例えば、蓋付き充電器であれば、蓋が閉じたこと、又は、蓋が開いたことをトリガーとして検知する。充電器８００は、トリガーが発生した場合（ステップＳ２０１：Ｙｅｓ）には、ステップＳ２０２へ進み、トリガーが発生していない場合（ステップＳ２０１：Ｎｏ）には、ステップＳ２０１へ戻る。そして、充電器８００は、補聴器１００に対してトリガー信号を送信する（ステップＳ２０２）。
　本実施形態においては、上述したように充電器８００からのトリガー信号に基づいて異常の検知を行うことに限定されるものではなく、例えば、ユーザの使用する情報処理端末４０からのトリガー信号に基づいて異常の検知を行ってもよい。詳細には、例えば、情報処理端末４０は、前回の異常検知のタイミングを予めユーザによる入力、又は、補聴器１００、５００からの信号により記憶し、前回の異常検知からの経過時間や使用時間をタイマー等によって計測する。さらに、情報処理端末４０は、所定の時間が経過した場合には、トリガー信号を補聴器１００に送信する。もしくは、本実施形態においては、予め異常検知を行う特定の日時を、ユーザ等によりカレンダーを使って登録してもらい、その登録に基づいて、情報処理端末４０は、補聴器１００、５００にトリガー信号を送信してもよい。もしくは、本実施形態においては、サポートサービス会社からのサーバ（図示省略）からの指示により、情報処理端末４０は、トリガー信号を補聴器１００に送信してもよい。
　そして、本実施形態においては、異常検知を実行する前に、ユーザに補聴器１００、５００を耳から外すことを誘導することが望ましい。例えば、図２１に示すように、情報処理端末４００は、ユーザに対して、「補聴器の耳垢詰まりを調べます。補聴器を耳から外してから実行を選択してください」等のメッセージ８７１を表示する。そして、情報処理端末４００は、ユーザからの回答をボタン８７２、８７３で取得する。さらに、情報処理端末４００は、ユーザからの回答に従って、トリガー信号を補聴器１００へ送信する。
　＜＜７．　第５の実施形態＞＞
　次に、本開示の第５の実施形態として、図２２及び図２３を参照して、異常を検知した場合の通知について説明する。図２２及び図２３は、本実施形態に係る通知例を示す説明図である。
　図２２の例では、異常検知の結果を、補聴器１００のレシーバ１０１から、「耳垢詰まりの可能性があります」等のメッセージ９７１を出力することで通知する。ここで、レシーバ１０１は、音声や音によるメッセージ９７１を出力する。例えば、補聴器１００の電源を入れたタイミングから１０秒後や、充電器８００から補聴器１００を外したタイミングから１０秒後等のような、ユーザが補聴器１００を装着しているだろうと推定されるタイミングで、ユーザに結果を通知する。さらに、補聴器１００に、上述した生体情報センサが設けられていれば、このような生体情報センサからのセンシングデータにより、補聴器１００の装着を確認して、メッセージ９７１を出力するようにしてもよい。本実施形態においては、このようにすることで、ユーザは、情報処理端末４００等を用いることなく、補聴器１００の異常検知の結果を確認できるため、情報処理端末４００をあまり使わないユーザであっても、通知に気がつかない状況が生じることを防ぐことができる。なお、この例においては、補聴器１００のレシーバ１０１からメッセージ９７１を出力する場合、耳垢侵入防止フィルタ１０２が完全に詰まってしまう前に通知することが好ましい。
　また、本実施形態においては、音声メッセージ（聴覚メッセージ）の代わりに、例えば、補聴器１００にバイブレータを搭載し、バイブレーションをメッセージ（触覚メッセージ）として用いてもよい。もしくは、本実施形態においては、補聴器１００に、ＬＥＤ（Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の表示デバイスを搭載し、表示デバイスの色変化や表示内容をメッセージ（視覚メッセージ）として用いてもよい。
　図２３の例では、情報処理端末４００は、「耳垢侵入防止フィルタが詰まっています。交換してください。」等のメッセージ８８２を表示することで、ユーザに、異常検知を通知している。本実施形態においては、メッセージ８８２は、図２３に示すように、文字によるメッセージであっても、もしくは、イラスト、シンボル、アニメーション等によるメッセージであってもよい。さらに、ユーザは、画面上のボタン８７４、８７５に対して操作を行うことで、通知を確認したことを情報処理端末４００にフィードバックしてもよい。また、例えば、ユーザは、画面上のボタン８７４、８７５に対して操作を行うことで、情報処理端末４００に、耳垢侵入防止フィルタ１０２の交換方法を説明する図や映像を表示させてもよい。もしくは、本実施形態においては、情報処理端末４００を、サポートサービス会社のサーバ（図示省略）や、サポート用電話回線に接続するようにしてもよい。本実施形態においては、このように通知することで、ユーザは、耳垢侵入防止フィルタ１０２の交換方法を簡便に確認できるため、ユーザが手順に迷いを感じることなく、耳垢侵入防止フィルタ１０２を交換することができる。
　さらに、本実施形態においては、メッセージの出力は、補聴器１００や情報処理端末４００に限定されるものではなく、充電器８００や、ユーザの周囲に設置されたテレビジョン等の情報機器（図示省略）や、ユーザの家族の情報処理端末（図示省略）であってもよい。さらに、本実施形態においては、これらの機器からのメッセージの出力の形式も、限定されるものではなく、音声メッセージ（聴覚メッセージ）、バイブレーション（触覚メッセージ）、表示メッセージ（視覚メッセージ）等を適宜選択することができる。
　＜＜８．　第６の実施形態＞＞
　次に、本開示の第６の実施形態として、図２４を参照して、異常の通知に関する設定について説明する。図２４は、本実施形態に係る通知設定画面を示す説明図である。これまで説明した本開示の実施形態においては、補聴器１００の異常の有無や、異常の程度をユーザに通知することができる。そこで、本実施形態においては、ユーザによって、通知する異常のレベルを設定することができる。
　例えば、図２４の左側に示すように、ユーザは、情報処理端末４００の表示部に表示された表示画面８８３内のラジオボタン８８７を選択することにより、「ひどい詰まりのみ通知する」、「軽い詰まりも通知する」、「通知しない」の中からユーザの所望するレベルでの通知を設定することができる。さらに、ユーザによるラジオボタン８８７の選択を有効化する場合は、例えば、表示画面８８３内のボタン８８５に対して操作を行えばよい。また、ユーザによるラジオボタン８８７の選択をキャンセルする場合は、例えば、表示画面８８３内のボタン８８６に対して操作を行えばよい。
　また、例えば、図２４の右側に示すように、ユーザは、情報処理端末４００の表示部に表示された表示画面８８４内のスライダーバー８８９をスライドさせることにより、ユーザの所望する耳垢侵入防止フィルタ１０２の詰まりのレベルで通知するように設定することができる。また、例えば、ユーザは、表示画面８８４内のスイッチ８９０を使って、通知の有無を設定することもできる。さらに、ユーザによるスライダーバー８８９の設定を有効化する場合は、例えば、表示画面８８４内のボタン８９１に対して操作を行えばよい。また、ユーザによるスライダーバー８８９の設定をキャンセルする場合は、例えば、表示画面８８４内のボタン８９２に対して操作を行えばよい。
　また、本実施形態においては、異常の通知に関する設定として、異常検知の実行の有無を設定してもよく、また、通知先（充電器８００、情報処理端末４００等）を設定してもよい。さらに、本実施形態においては、耳垢侵入防止フィルタ１０２の詰まりのレベルに応じた通知方法（音声、ランプ表示、画面表示等）や通知先を設定してもよい。
　＜＜９．　第７の実施形態＞＞
　＜９．１　概要＞
　本開示の第７の実施形態においては、第１の孔５０７の耳垢侵入防止フィルタ５０２の詰まりに加え、第２の孔５０８の詰まりを予測する。このような本実施形態を、図２５及び図２６を参照して説明する。図２５は、本実施形態に係る耳穴型補聴器５００への適用例を示す説明図であり、図２６は、本実施形態に係る耳穴型補聴器５００への適用の変形例を示す説明図である。なお、ここでは、耳穴型補聴器５００を例に説明しているが、本実施形態においては、耳掛け型補聴器１００も同様の構成をとることができる。
　まずは、図２５に示すように、補聴器５００は、異常検知のための測定音をレシーバ５０１から出力する。レシーバ５０１から出力された測定音は、第１の孔５０７と、第２の閉空間６１３と、第２の孔５０８と、空間７１１とを経由して第１のマイクロフォン５０４で集音される。そして、第１のマイクロフォン５０４で集音された音は、音響信号に変換され、異常検知の予測のために利用されることとなる。ここで、第２の閉空間６１３は、第２の境界６１６を境として音響的に閉じた空間である。本実施形態においては、レシーバ５０１と第１のマイクロフォン５０４とを第２の境界６１６を境にして別空間の中に配置することによって、第２の孔５０８を経由した測定音を第１のマイクロフォン５０４で集音できるようになる。そして、本実施形態においては、第２の孔５０８を経由した音を第１のマイクロフォン５０４で集音することによって、第２の孔５０８の詰まりを検知することができる。
　図２６に示す例は、本実施形態の変形例である。図２５の例との違いは、第２の孔５０８の一方の端面と第１のマイクロフォン５０４とが、同じ第３の閉空間６１４内に存在することである。第３の閉空間６１４は、第３の境界６１７を境として音響的に閉じた空間である。本実施形態においては、第２の孔５０８の一方の端面と第１のマイクロフォン５０４とを第３の閉空間６１４の中に配置することによって、測定音に他の音が混ざって第１のマイクロフォン５０４から集音されることを軽減することができる。さらに、第２の孔５０８の一方の端面と第１のマイクロフォン５０４とを第３の閉空間６１４の中に配置することによって、第２の孔５０８を通過した測定音の拡散を防ぎ、第１のマイクロフォン５０４にて効率よく測定音を集音することができる。その結果、本実施形態によれば、異常検知の精度を高めることができる。
　本実施形態は、図１１に示す第１の実施形態の補聴器１００の機能部により実行することが可能である。しかしながら、本実施形態においては、測定音は、第１の孔５０７と第２の孔５０８との２つの孔を通過することから、測定音の特性は、図１０に示す特性とは異なる可能性がある。そこで、本実施形態においては、図１１に示すパラメータ記憶部１３２は、第１の孔５０７と第２の孔５０８との２つの孔を通過する測定音の特性を格納する。そして、異常検知部１３３は、格納した特性を利用することにより、第１の孔５０７の耳垢侵入防止フィルタ５０２の詰まりに加え、第２の孔５０８の詰まりを予測することができる。また、本実施形態においては、異常検知を、複数の測定音を用いて、複数回行ってもよい。さらに、本実施形態においては、異常検知を複数回行なう場合には、測定信号再生部１３１や異常検知部１３３で使用するパラメータを測定ごとに変更してもよい。
　＜９．２　情報処理方法＞
　次に、図２７を参照して、本実施形態に係る情報処理方法を説明する。図２７は、本実施形態に係る情報処理方法のフローチャートである。図２７に示すように、本実施形態に係る情報処理方法には、ステップＳ３０１からステップＳ３０８までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。なお、本実施形態のステップＳ３０１からステップＳ３０３までは、図１１に示す第１の実施形態のステップＳ１０１からステップＳ１０３までと同様であるため、ここではその説明を省略する。
　補聴器５００は、先のステップＳ３０３において予測された孔の詰まり度から、孔の詰まりが疑われるかどうかを判定する（ステップＳ３０４）。補聴器５００は、孔の詰まりが疑われない場合（ステップＳ３０４：Ｎｏ）には、処理を終了する。また、補聴器５００は、孔の詰まりが疑われる場合（ステップＳ３０４：Ｙｅｓ）には、ステップＳ３０５へ進む。
　次に、補聴器５００は、ユーザに対して第２の孔５０８の清掃が済んでいるか否か質問し、回答を得る（ステップＳ３０５）。ここで、ユーザに対する質問や、ユーザからの回答には、情報処理端末４００を利用することができる。本実施形態においては、例えば、情報処理端末４００の表示部４４を介してユーザが回答を入力してもよいし、音声認識等を用いてユーザから直接音声によって回答が入力されてもよい。また、情報処理端末４００ではなく、充電器８００に設けられたボタン８２３等を介して回答が入力されてもよい。さらに、ユーザが清掃履歴等のデータを定期的に外部のサーバ等にアップロードしている場合は、それらのデータを回答に使用することも可能である。
　補聴器５００は、ユーザの回答に基づいて、第２の孔５０８が掃除済みかどうかを判定する（ステップＳ３０６）。補聴器５００は、ユーザからの回答が第２の孔５０８の清掃済でない場合（ステップＳ３０６：Ｎｏ）には、ステップＳ３０８へ進む。一方、補聴器５００は、ユーザからの回答が第２の孔５０８の清掃済である場合（ステップＳ３０６：Ｙｅｓ）には、ステップＳ３０７へ進む。
　そして、補聴器５００は、ユーザからの回答が、第２の孔５０８が清掃済であることから、ユーザに対して耳垢侵入防止フィルタ１０２の交換や清掃を勧める通知を行なう（ステップＳ３０７）。一方、補聴器５００は、ユーザからの回答が、第２の孔５０８が清掃済でないことから、第２の孔５０８が詰まっている可能性があるため、ユーザに対して第２の孔５０８の清掃を勧める通知を行なう（ステップＳ３０８）。なお、ステップＳ３０７やステップＳ３０８での通知は、情報処理端末４００や充電器８００等を用いることができる。
　図２７のフローチャートにおいては、第２の孔５０８の清掃を優先してユーザに勧めている。第２の孔５０８の清掃は、清掃用のブラシを第２の孔５０８に通すことで済むため、容易に行うことができる。一方、耳垢侵入防止フィルタ５０２の交換は新しい部品を必要とするため、なるべく不必要な交換は避けることが望ましい。そこで、図２７のフローチャートにおいては、第２の孔５０８の清掃を優先してユーザに勧めている。しかしながら、本実施形態においては、このような順番に限定されるものではない。本実施形態においては、例えば、ユーザが第２の孔５０８の詰まりと耳垢侵入防止フィルタ５０２の詰まりとを自身で確認できる場合には、図２７のステップＳ３０５で、第２の孔５０８の詰まりと耳垢侵入防止フィルタ５０２の詰まりとを確認することを勧めてもよい。
　以上のように、本実施形態によれば、第２の孔５０８の詰まりを、簡便に、且つ、精度よく検知することができる。
　＜＜１０．　第８の実施形態＞＞
　＜１０．１　概要＞
　本開示の第８の実施形態においては、補聴器５００に設けられた第２のマイクロフォン５０５を使って第１の孔５０７の耳垢侵入防止フィルタ５０２の詰まりを検知する。このような本実施形態を、図２８及び図２９を参照して説明する。図２８は、本実施形態に係る耳穴型補聴器５００への適用例を示す説明図であり、図２９は、本実施形態において集音される測定音の特性の例を示す説明図である。なお、ここでは、耳穴型補聴器５００を例に説明しているが、本実施形態においては、耳掛け型補聴器１００も同様の構成をとることができる。
　本実施形態においては、図２８に示すように、補聴器５００には、レシーバ５０１に隣接して第２のマイクロフォン（第２の集音部）５０５が設けられている。そして、本実施形態においては、異常検知のための測定音をレシーバ５０１から出力する。レシーバ５０１から出力された測定音は第１の孔５０７を経由して第２のマイクロフォン５０５でも集音される。第２のマイクロフォン５０５で集音された音は、音響信号に変換され、異常検知のために利用することができる。第２のマイクロフォン５０５は、第１のマイクロフォン５０４よりも第１の孔５０７に近い位置に設けられるため、外部の音や環境音の影響を受けにくい。従って、本実施形態においては、第２のマイクロフォン５０５で集音された音響信号を用いることにより、異常検知の精度をより高めることができる。
　図２９に、第２のマイクロフォン５０５で集音される測定音の特性の例を示す。詳細には、例えば、第１の孔５０７に詰まりがない場合の周波数特性が特性１１６１であり、第１の孔５０７に詰まりがある場合の周波数特性が特性１１６３である。第１の孔５０７に詰まりがある場合、第１の孔５０７は閉空間に近い状態、または、閉空間となるため、第２のマイクロフォン５０５で集音される測定音のレベルは、例えば、特性１１６３のように変化する。様々な第１の孔５０７の詰まりの状態において集音された測定音の特性を、機械学習や統計的手法等により解析することにより、第１の孔５０７の詰まりの有無による測定音の特性の違いが明確になる。そこで、本実施形態においては、このような第２のマイクロフォン５０５で集音された測定音の特性の違いにより、第１の孔５０７の詰まりを検知する。
　＜１０．２　変形例＞
　図３０は、本実施形態に係る耳穴型補聴器５００への適用の変形例を示す説明図である。図２８の例との違いは、第２の孔５０８の詰まりも検知できることである。さらに、第１のマイクロフォン５０４と第２のマイクロフォン５０５とを併用することで、第２の孔５０８の詰まりの有無に拘わらず、第１の孔５０７の詰まりを検知することができる。詳細には、本変形例においては、補聴器５００は、異常検知のための測定音をレシーバ５０１から出力する。レシーバ５０１から出力された測定音は、第２の閉空間６１３と、第２の孔５０８と、第３の閉空間６１４とを経由して第１のマイクロフォン５０４で集音される。さらに、レシーバ５０１から出力された測定音は、第２のマイクロフォン５０５でも集音される。第１のマイクロフォン５０４と第２のマイクロフォン５０５とで集音された測定音は、音響信号に変換され、異常検知のために利用することができる。
　＜１０．３　機能構成＞
　次に、図３１を参照して、本実施形態における補聴器５００の機能構成について説明する。図３１は、本実施形態に係る補聴器５００の機能ブロック図である。図３１に示すように、本実施形態に係る補聴器５００は、レシーバ５０１に測定音を出力する測定信号再生部５３１と、補聴器５００を制御するためのプログラムやデータを格納するパラメータ記憶部５３２とを有する。また、補聴器５００は、第１のマイクロフォン５０４及び第２のマイクロフォン５０５で集音された測定音に基づき、異常を検知する異常検知部５３３と、補聴器５００の各機能部を制御する制御部５３４とを有する。さらに、補聴器５００は、異常検知を開始するためのトリガー信号を検知するトリガー検知部５３５と、情報処理端末４００と通信可能な通信部５３６と、を主に有する。なお、ここでは、第１の実施形態と共通する機能部については、その説明を省略する。
　本実施形態においては、図３１に示すように、レシーバ５０１から出力された測定音を第１のマイクロフォン５０４と第２のマイクロフォン５０５とが集音し、音響信号へ変換し、変換した音響信号を異常検知部５３３へ出力する。そして、異常検知部５３３は、第１のマイクロフォン５０４及び第２のマイクロフォン５０５からの音響信号を使って、異常を検知する。
　本実施形態においては、異常検知部５３３の具体的な構成例は、第１の実施形態と同様のものとすることができる。本実施形態においては、例えば、異常検知部５３３は、第１のマイクロフォン５０４からの音響信号と、第２のマイクロフォン５０５からの音響信号とを、別々に処理し、異常検知する構成とすることができる。もしくは、本実施形態においては、異常検知部５３３は、第１のマイクロフォン５０４からの音響信号と、第２のマイクロフォン５０５からの音響信号とを合わせて処理し、異常検知する構成であってもよい。
　異常検知部５３３が第１のマイクロフォン５０４及び第２のマイクロフォン５０５からの音響信号を合わせて異常検知するとき、例えば、上述の式（５）は、下記の式（９）のように書き換えることができる。
　詳細には、第１のマイクロフォン５０４の音響信号は、音質変化特徴量Ｘ１と短時間振幅Ａ１（ｔ）とで表現されるものとし、第２のマイクロフォン５０５の音響信号は、音質変化特徴量Ｘ２と短時間振幅Ａ２（ｔ）とで表現されるものとする。そして、異常検知部５３３は、このような音質変化特徴量Ｘ１とＸ２、短時間振幅Ａ１（ｔ）とＡ２（ｔ）に基づいて、異常度を定量化する。具体的には、音質変化特徴量Ｘ１が所定の閾値を超える長さｙ１、音質変化特徴量Ｘ１の最大値ｙ２、音質変化特徴量Ｘ１の平均値ｙ３、短時間振幅Ａ１（ｔ）の最大値ｙ４、短時間振幅Ａ１（ｔ）の平均値ｙ５、音質変化特徴量Ｘ２が所定の閾値を超える長さｙ６、音質変化特徴量Ｘ２の最大値ｙ７、音質変化特徴量Ｘ２の平均値ｙ８、短時間振幅Ａ２（ｔ）の最大値ｙ９、短時間振幅Ａ２（ｔ）の平均値ｙ１０を計算し、特徴ベクトルとする。そして、異常検知部５３３は、以下の式（９）に従って異常度を示す値ｚを計算する。
Figure JPOXMLDOC01-appb-M000008
　ここで、ｕｉは荷重係数であり、ｕ０は所定のバイアス値である。この荷重係数ｕｉとバイアス値ｕ０との決定には種々の統計的判定法を利用することができる。例えば、予め、多数の種類の第１の孔５０７、及び／又は、第２の孔５０８の詰まりの程度を主観的に評価し、特徴ベクトルと望ましいスコア値（例えば０．０～１．０）とを組にした学習サンプルを用意する。さらに、学習サンプルに対する重回帰分析によって直線近似される荷重を求め、荷重係数ｕｉとバイアス値ｕ０とを決定することができる。また、本実施形態においては、重回帰分析の代わりに、ニューラルネットワークを用いてもよく、ベイズ推定法やベクトル量子化等の判別法を用いてもよい。
　＜１０．４　情報処理方法＞
　次に、図３２を参照して、本実施形態に係る情報処理方法を説明する。図３２は、本実施形態に係る情報処理方法のフローチャートである。図３２に示すように、本実施形態に係る情報処理方法には、ステップＳ４０１からステップＳ４０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。なお、本実施形態のステップＳ４０１は、図１１に示す第１の実施形態のステップＳ１０１と同様であるため、ここでは説明を省略する。
　補聴器５００は、レシーバ５０１から測定音を出力し、出力された測定音を第１のマイクロフォン５０４及び第２のマイクロフォン５０５から入力する（ステップＳ４０２）。補聴器５００は、第１のマイクロフォン５０４及び第２のマイクロフォン５０５からの音響信号を使って、第１の孔５０７の耳垢侵入防止フィルタ１０２の詰まり、及び、第２の孔５０８の詰まりを予測する（ステップＳ４０３）。
　補聴器５００は、上述のステップＳ４０３で予測された詰まりの結果から、第１の孔５０７の耳垢侵入防止フィルタ１０２の詰まりが疑われるかを判定する（ステップＳ４０４）。補聴器５００は、第１の孔５０７の耳垢侵入防止フィルタ１０２の詰まりが疑われない場合（ステップＳ４０４：Ｎｏ）には、ステップＳ４０６へ進む。一方、補聴器５００は、第１の孔５０７の耳垢侵入防止フィルタ１０２の詰まりが疑われる場合（ステップＳ４０４：Ｙｅｓ）には、ステップＳ４０５へ進む。そして、補聴器５００は、例えば情報処理端末４００を介して、ユーザに対して耳垢侵入防止フィルタ１０２の交換や清掃を勧める通知を行なう（ステップＳ４０５）。
　補聴器５００は、上述のステップＳ４０３で予測された詰まりの結果から、第２の孔５０８の詰まりが疑われるかを判定する（ステップＳ４０６）。補聴器５００は、第２の孔５０８の詰まりが疑われない場合（ステップＳ４０６：Ｎｏ）には、処理を終了する。一方、補聴器５００は、第２の孔５０８の詰まりが疑われる場合（ステップＳ４０６：Ｙｅｓ）には、ステップＳ４０７へ進む。そして、補聴器５００は、例えば情報処理端末４００や充電器８００等を介して、ユーザに対して第２の孔５０８の清掃を勧める通知を行なう（ステップＳ４０７）。
　以上のように、本実施形態によれば、第１の孔５０７の耳垢侵入防止フィルタ１０２の詰まり、及び、第２の孔５０８の詰まりを、簡便に、且つ、精度よく検知することができる。
　＜＜１１．　第９の実施形態＞＞
　次に、図３３及び図３４を参照して、本開示の第９の実施形態を説明する。本実施形態においては、第８の実施形態と異なる点として、補聴器５００に設けられた第２のマイクロフォン５０５の代わりに、充電器８００等に、第３のマイクロフォン（第３の集音部）が設けられていることである。本実施形態は、補聴器５００本体に搭載するマイクロフォンの個数が少なくなるため、超小型の補聴器５００でも実現可能である。図３３は、本実施形態に係る耳穴型補聴器５００への適用例を示す説明図であり、図３４は、本実施形態に係る第３のマイクロフォン９０６側の装置の機能ブロック図である。なお、ここでは、耳穴型補聴器５００を例に説明しているが、本実施形態においては、耳掛け型補聴器１００も同様の構成をとることができる。
　図３３に示すように、本実施形態においては、充電器８００等のような補聴器５００を格納することができる、第２の境界６１６及び第３の境界６１７によって定められた第２の閉空間６１３及び第３の閉空間６１４に、第３のマイクロフォン９０６が設けられる。なお、ここでは、第３のマイクロフォン９０６が設けられる装置を、装置９００と称する。そして、装置９００は、充電器８００に限定されるものではなく、補聴器５００を格納しつつ、音響的に閉じた空間、すなわち、外部からの音の伝わりを抑制することができる空間であれば、特に限定されるものではない。
　そして、本実施形態においては、補聴器５００は、異常検知のための測定音をレシーバ５０１から出力する。レシーバ５０１から出力された測定音は、第２の閉空間６１３と、第２の孔５０８と、第３の閉空間６１４とを経由して第１のマイクロフォン５０４で集音される。また、レシーバ５０１から出力された測定音は、装置９００に設けられた第３のマイクロフォン９０６でも集音される。さらに、本実施形態においては、第１のマイクロフォン５０４と第３のマイクロフォン９０６で集音された測定音は、音響信号に変換され、異常検知のために利用することができる。
　図３４は、充電器８００等のような補聴器５００を格納することができる装置９００の機能部のブロック図である。なお、補聴器５００の機能構成は、図３１に示す第８の実施形態の補聴器５００の機能構成と同じであるため、ここでは説明を省略する。
　図３４に示すように、装置９００は、パラメータ記憶部９４２と、制御部９４４と、通信部９４６と、前処理部９５１とを主に有する。
　レシーバ５０１から出力された測定音を第３のマイクロフォン９０６が集音し、第３のマイクロフォン９０６は、音から音響信号へ変換し、変換した音響信号を前処理部９５１へ出力する。そして、前処理部９５１は、第３のマイクロフォン９０６からの音響信号を使って、必要に応じて前処理を行なう。例えば、前処理としては、サンプリングレート変換や周波数変換、帯域分割、レベル検出、標準化、正規化等を挙げることができる。前処理を行なう際、前処理部９５１は、パラメータ記憶部９４２に格納したパラメータを使うことができる。本実施形態においては、前処理を行なうことによって、補聴器５００側へ送信するデータ量を少なくすることができる。なお、本実施形態においては、装置９００には、前処理部９５１を設けていなくてもよく、このようにすることで装置９００の構成をよりシンプルにすることができる。
　そして、制御部９４４は、前処理部９５１から受け取った信号を通信部９４６へ送る。通信部９４６は、通信アンテナ９４７を用いて信号を補聴器５００へ送信することができ、補聴器５００は、送信された信号を用いて異常の検知を行うこととなる。なお、本実施形態においては、図３４に示す構成に限定されるものではなく、装置９００側に異常検知部を設けて、装置９００で異常を検知し、その結果を補聴器５００へ送信してもよい。また、本実施形態に係る情報処理方法は、例えば、図３２に示す第８の実施形態の情報処理方法に従って、処理を行うことができる。
　＜＜１２．　第１０の実施形態＞＞
　＜１２．１　概要＞
　本開示の第１０の実施形態においては、第１の孔５０７の耳垢侵入防止フィルタ５０２の未装着を検知する。このような本実施形態を、図３５及び図３６を参照して説明する。図３５は、本実施形態に係る耳穴型補聴器５００への適用例を示す説明図であり、図３６は、本実施形態において集音される測定音の特性の例を示す説明図である。なお、ここでは、耳穴型補聴器５００を例に説明しているが、本実施形態においては、耳掛け型補聴器１００も同様の構成をとることができる。
　本実施形態においては、図３５に示すように、補聴器５００は、異常検知のための測定音をレシーバ５０１から出力する。レシーバ５０１から出力された測定音は第１の孔５０７を経由して第１のマイクロフォン５０４で集音される。そして、第１のマイクロフォン５０４で集音された音は、音響信号に変換され、補聴器５００の異常の検知、すなわち、耳垢侵入防止フィルタ５０２の未装着の検知のために利用されることとなる。
　図３６に、本実施形態において、第１のマイクロフォン５０４で集音される測定音の特性の例を示す。詳細には、例えば、耳垢侵入防止フィルタ５０２が装着された場合の周波数特性が特性１１６１であり、耳垢侵入防止フィルタ５０２が装着されていない場合の周波数特性が特性１１６４である。耳垢侵入防止フィルタ５０２が未装着の場合、第１の孔５０７の音響抵抗が下がることから、第１のマイクロフォン５０４で集音される測定音のレベルは、例えば、特性１１６４のように変化する。耳垢侵入防止フィルタ５０２の装着／未装着の状態において集音された測定音の特性を、機械学習や統計的手法等により解析することにより、耳垢侵入防止フィルタ５０２の装着の有無のよる測定音の特性の違いが明確になる。そこで、本実施形態においては、このような第１のマイクロフォン５０４で集音された測定音の特性の違いにより、耳垢侵入防止フィルタ５０２の未装着を検知する。
　＜１２．２　情報処理方法＞
　次に、図３７を参照して、本実施形態に係る情報処理方法を説明する。図３７は、本実施形態に係る情報処理方法のフローチャートである。図３７に示すように、本実施形態に係る情報処理方法には、ステップＳ５０１からステップＳ５０５までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。なお、本実施形態のステップＳ５０１からステップＳ５０３までは、図１１に示す第１の実施形態のステップＳ１０１からステップＳ１０３までと同様であるため、ここでは説明を省略する。
　補聴器５００は、ステップＳ５０３で予測された詰まりの結果から、耳垢侵入防止フィルタ５０２の未装着が疑われるかを判定する（ステップＳ５０４）。補聴器５００は、耳垢侵入防止フィルタ５０２の未装着が疑われない場合（ステップＳ５０４：Ｎｏ）には、処理を終了する。一方、補聴器５００は、耳垢侵入防止フィルタ５０２の未装着が疑われる場合（ステップＳ５０４：Ｙｅｓ）には、ステップＳ５０５へ進む。
　そして、補聴器５００は、ユーザに対して耳垢侵入防止フィルタ５０２の装着を勧める通知を行なう（ステップＳ５０５）。例えば、補聴器５００は、情報処理端末４００等に耳垢侵入防止フィルタ１０２の未装着が疑われる旨の情報を送信し、ユーザに対して「耳垢侵入防止フィルタが付いているかご確認ください。装着手順を表示しますか？」等の音声メッセージや、表示メッセージを出力させてもよい。
　以上のように、本実施形態によれば、耳垢侵入防止フィルタ１０２の未装着を、簡便に、且つ、精度よく検知することができる。
　＜＜１３．　第１１の実施形態＞＞
　＜１３．１　概要＞
　本開示の第１１の実施形態においては、補聴器５００の異常を検知する。このような本実施形態を、図３８を参照して説明する。図３８は、本実施形態において集音される測定音の特性の例を示す説明図である。
　図３８に示すように、第１のマイクロフォン５０４で収音された音響信号は、例えば、耳垢侵入防止フィルタ５０２が装着され、且つ、第１の孔５０７、第２の孔５０８の詰まりがない場合には、特性１１６１の周波数特性を持つものとする。一方、第１のマイクロフォン５０４で収音された音響信号は、例えば、耳垢侵入防止フィルタ５０２が装着され、且つ、第１の孔５０７、第２の孔５０８の詰まりがない場合であっても、補聴器５００自体に異常がある場合には、特性１１６５の周波数特性へ変化すると考えられる。例えば、補聴器５００を固い床に落としてしまった場合などに、レシーバ５０１や第１のマイクロフォン５０４が故障することがある。また、レシーバ５０１の出力が著しく低下したり、第１のマイクロフォン５０４の感度が著しく低下したりした場合にも、第１のマイクロフォン５０４で集音される測定音のレベルは、例えば、特性１１６５のように変化し得る。そこで、本実施形態においては、このような第１のマイクロフォン５０４で集音された測定音の特性の違いにより、補聴器５００の故障を検知する。
　＜１３．２　情報処理方法＞
　次に、図３９を参照して、本実施形態に係る情報処理方法を説明する。図３９は、本実施形態に係る情報処理方法のフローチャートである。図３９に示すように、本実施形態に係る情報処理方法には、ステップＳ６０１からステップＳ６０５までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。なお、本実施形態のステップＳ６０１からステップＳ６０３までは、図１１に示す第１の実施形態のステップＳ１０１からステップＳ１０３までと同様であるため、ここでは説明を省略する。
　補聴器５００は、ステップＳ６０３で予測された詰まりの結果から、補聴器５００の異常が疑われるかを判定する（ステップＳ６０４）。補聴器５００は、補聴器５００の異常が疑われない場合（ステップＳ６０４：Ｎｏ）には、処理を終了する。一方、補聴器５００は、補聴器５００の異常が疑われる場合（ステップＳ６０４：Ｙｅｓ）には、ステップＳ６０５へ進む。そして、補聴器５００は、ユーザに対して、ユーザに対してサポート窓口への点検や修理の依頼を勧める通知を行なう（ステップＳ６０５）。例えば、補聴器５００は、情報処理端末４００に補聴器５００の異常が疑われる旨の情報を送信し、ユーザに対して「補聴器が正常に動作していない恐れがあります。サポートセンターにお問い合わせください。」等の音声メッセージや、表示メッセージを出力させてよい。さらに、上記情報処理端末４００は、上述のようなメッセージを出力するとともに、問い合わせ先へのリンクを行ってもよい。
　以上のように、本実施形態によれば、補聴器５００の異常を、簡便に、且つ、精度よく検知することができる。
　＜＜１４．　第１２の実施形態＞＞
　次に、図４０及び図４１を参照して、本開示の第１２の実施形態を説明する。本実施形態においては、充電器８００等に、カメラ（撮像部）５２７を設けており、第１の孔５０７や第２の孔５０８の状態をカメラの情報を使って予測する。本実施形態によれば、カメラの情報を使って異常検知を行なうことで、異常検知の精度を高めることができる。図４０は、本実施形態に係る耳穴型補聴器５００への適用例を示す説明図であり、図４１は、本実施形態に係るカメラ５２７側の装置の機能ブロック図である。なお、ここでは、耳穴型補聴器５００を例に説明しているが、本実施形態においては、耳掛け型補聴器１００も同様の構成をとることができる。
　図４０に示すように、本実施形態においては、充電器８００等のような補聴器５００を格納することができる、第２の境界６１６及び第３の境界６１７によって定められた第２の閉空間６１３及び第３の閉空間６１４に、カメラ５２７が設けられる。なお、ここでは、カメラ５２７が設けられる装置を、装置６００と称する。そして、装置６００は、充電器８００に限定されるものではなく、補聴器５００を格納しつつ、音響的に閉じた空間、すなわち、外部からの音の伝わりを抑制することができる空間であれば、特に限定されるものではない。
　詳細には、本実施形態においては、補聴器５００は、異常検知のための測定音をレシーバ５０１から出力する。レシーバ５０１から出力された測定音は、第２の閉空間６１３と、第２の孔５０８と、第３の閉空間６１４とを経由して第１のマイクロフォン５０４で集音される。本実施形態においては、第１のマイクロフォン５０４で集音された測定音は、音響信号に変換され、異常検知のために利用することができる。さらに、本実施形態においては、カメラ５２７は、第１の孔５０７や第２の孔５０８を撮影する。撮影で得た画像信号は、画像認識技術によって、補聴器５００の異常の検知に利用される。
　図４１は、充電器８００等のような補聴器５００を格納することができる装置６００の機能部のブロック図である。なお、補聴器５００の機能構成は、図３１に示す第８の実施形態の補聴器５００の機能構成と同じであるため、ここでは説明を省略する。
　図４１に示すように、装置６００は、パラメータ記憶部５４２と、制御部５４４と、通信部５４６と、画像処理部５４８とを主に有する。
　詳細には、カメラ５２７は、第１の孔５０７や第２の孔５０８の状態を撮影し、画像信号へ変換し、変換した画像信号を画像処理部５４８へ送る。画像処理部５４８は、画像認識技術を用いて、例えば、第１の孔５０７や第２の孔５０８の詰まりの状態を示す異常スコア値ｖ（例えば、０．０～１．０）を得ることができる。また、画像処理を行なう際、画像処理部５４８は、パラメータ記憶部５４２に格納されたパラメータを使うことができる。
　そして、制御部５４４は、画像処理部５４８から受け取った異常スコア値ｖを通信部５４６へ送る。通信部５４６は、通信アンテナ５４７を用いて異常スコア値ｖを、例えば、補聴器５００や情報処理端末４００へ送信することができる。そして、補聴器５００等は、送信された異常スコア値ｖを用いて異常の検知を行うこととなる。
　ここで、第１のマイクロフォン５０４の音響信号は、音質変化特徴量Ｘ１と短時間振幅Ａ１（ｔ）とで表現されるものとする。そして、本実施形態においては、例えば、補聴器５００の異常検知部５３３は、短時間振幅Ａ（ｔ）と音質変化特徴量Ｘと、上記異常スコア値ｖに基づいて、異常度を定量化する。具体的には、音質変化特徴量Ｘが所定の閾値を超える長さｙ１、音質変化特徴量Ｘの最大値ｙ２、音質変化特徴量Ｘの平均値ｙ３、短時間振幅Ａ（ｔ）の最大値ｙ４、短時間振幅Ａ（ｔ）の平均値ｙ５を計算し、異常スコア値ｖをｙ６として特徴ベクトルとする。そして、異常検知部５３３は、以下の式（１０）に従って異常度を示す値ｚを計算する。
Figure JPOXMLDOC01-appb-M000009
　ここで、ｕｉは荷重係数であり、ｕ０は所定のバイアス値である。この荷重係数ｕｉとバイアス値ｕ０との決定には種々の統計的判定法を利用することができる。例えば、予め、多数の種類の第１の孔５０７、及び／又は、第２の孔５０８の詰まりの程度を主観的に評価し、特徴ベクトルと望ましいスコア値（例えば０．０～１．０）とを組にした学習サンプルを用意する。さらに、学習サンプルに対する重回帰分析によって直線近似される荷重を求め、荷重係数ｕｉとバイアス値ｕ０とを決定することができる。また、本実施形態においては、重回帰分析の代わりに、ニューラルネットワークを用いてもよく、ベイズ推定法やベクトル量子化等の判別法を用いてもよい。
　また、本実施形態に係る情報処理方法は、これまで説明した実施形態の係る情報処理方法を用いることができることから、ここでは説明を省略する。
　以上のように、本実施形態によれば、カメラ５２７の情報を使って異常検知を行なうことで、異常検知の精度をより高めることができる。なお、ここではカメラ５２７を例に挙げて説明したが、本実施形態においては、カメラ５２７として、可視光カメラ以外に、例えば、ＴОＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサやＤｅｐｔｈセンサ、ＩＲセンサ等を用いることができる。例えば、第１の孔５０７や第２の孔５０８の状態を、ＴОＦセンサやＤｅｐｔｈセンサ、ＩＲセンサ等によって検出してもよい。
　＜＜１５．　第１３の実施形態＞＞
　これまで説明した本開示の実施形態においては、主に、補聴器５００やユーザの有する情報処理端末４００を使用して、異常の通知を行う例を説明したが、本開示においては、これに限定されるものではない。そこで、図４２を参照して、他の情報処理端末を利用して通知を行う、本開示の第１３の実施形態を説明する。図４２は、本実施形態に係る補聴器システム１の概略構成を示す図である。
　図４２に示すように、本実施形態においては、補聴器５００は、異常検知の結果を情報処理端末４００に通知する。もしくは、本実施形態においては、補聴器５００から直接ではなく、例えば、充電器８００等を介して、情報処理端末４００へ通知してもよい。さらに、本実施形態においては、情報処理端末４００は、通信ネットワーク４８４や、図示しない通信路を経由して、予め登録されている他の情報処理端末４０２に通知を送信してもよい。もしくは、本実施形態においては、補聴器５００から、通信ネットワーク４８４等を経由して、情報処理端末４０２に通知を送信してもよい。本実施形態においては、情報処理端末４００は、補聴器５００のユーザが所持していることを想定しており、情報処理端末４０２は、ユーザの家族や介護者等のサポート提供者が所持していることを想定している。補聴器５００のユーザが高齢者の場合、異常検知の通知を受けてもその対処を自身で行なえないことがあることから、本実施形態においては、家族や介護者の情報処理端末４０２へ通知が届くことによって、異常通知に対する迅速、且つ、確実な対応を期待できる。すなわち、本実施形態によれば、検知した異常の結果をユーザやその家族に通知することによって、補聴器５００のユーザが不適切な音を聴き続けてしまうという問題の早期解消を期待できる。
　なお、本実施形態においては、情報処理端末４００から情報処理端末４０２へ通知する際に、補聴器５００のユーザに通知の承認を確認してもよく、もしくは、予め、通知時の動作を設定しておくことで、当該確認を省略してもよい。
　＜＜１６．　第１４の実施形態＞＞
　＜１６．１　概要＞
　本開示の第１４の実施形態においては、補聴器の消耗品等の商品を簡便に入手できる購入システムを提案する。このような本実施形態を、図４３を参照して説明する。図４３は、本実施形態に係る補聴器システム１ａの概略構成を示す図である。
　本実施形態においては、図４３に示すように、補聴器５００は、異常検知の結果を情報処理端末４００に通知する。そして、情報処理端末４００は、通信ネットワーク４８４や、図示しない通信路を経由して、予め登録されている販売会社５８６のサーバに通知を送信する。なお、図４３の例では、情報処理端末４００から販売会社５８６のサーバへ通知するものとしているが、本実施形態においてはこれに限定されるものではなく、補聴器５００から直接、販売会社５８６のサーバへ通知してもよい。なお、販売会社５８６に通知する際、補聴器５００のユーザに通知の承認を確認してもよく、もしくは、予め、通知時の動作を設定しておくことで、当該確認を省略してもよい。また、ユーザに通知の承認を確認する場合、情報処理端末４００は、例えば、「耳垢侵入防止フィルタを購入しますか？」、「ベント清掃用ブラシを購入しますか？」等のメッセージを表示し、ユーザからの回答に基づいて、通知への承認の有無を確認してもよい。
　そして、通知を受けた販売会社５８６は、補聴器５００に適合した耳垢侵入防止フィルタ５０２等の購入品５８７をユーザに発送する。本実施形態においては、補聴器５００に適合した耳垢侵入防止フィルタ５０２等の消耗品等を特定するために、情報処理端末４００は、ユーザやユーザの使用する補聴器５００を識別するための情報や、消耗品を識別するための情報を販売会社５８６に送信してもよい。本実施形態によれば、このようにすることで、販売会社５８６が遅滞なく購入品５８７を送付できることから、迅速な購入品５８７の入手を期待することができる。
　また、図４３に示すように、本実施形態においては、サポートサービス提供会社５８５がサポートサービスを行なう際に、補聴器５００の異常検知結果を参考情報として利用するようにしてもよい。詳細には、補聴器５００は、異常検知の結果を情報処理端末４００に通知する。そして、情報処理端末４００は、通信ネットワーク４８４や、図示しない通信路を経由して、予め登録されているサポートサービス提供会社５８５のサーバに通知を送信してもよい。なお、図４３の例では、情報処理端末４００からサポートサービス提供会社５８５のサーバへ通知するものとしているが、本実施形態においてはこれに限定されるものではなく、補聴器５００から直接、サポートサービス提供会社５８５のサーバへ通知してもよい。なお、サポートサービス提供会社５８５に通知する際、補聴器５００のユーザに通知の承認を確認してもよく、もしくは、予め、通知時の動作を設定しておくことで、当該確認を省略してもよい。また、ユーザに通知の承認を確認する場合、情報処理端末４００は、例えば、「異常検知の結果をサポートサービス提供会社へ送信してよいですか？」等のメッセージを表示し、ユーザからの回答に基づいて、通知への承認の有無を確認してもよい。
　そして、本実施形態においては、通知を受けたサポートサービス提供会社５８５は、異常検知結果の情報を、サポートサービスを行う際に利用することができる。サポートサービスとは、例えば、補聴器５００のユーザからの補聴器５００に関する不具合の問い合わせ等が挙げられる。音が出ないなどの不具合の問い合わせがサポートサービス提供会社５８５になされたとき、サポートサービス提供会社５８５が、異常検知結果の情報を保有していることで、問い合わせに対する迅速な対応を期待できる。さらに、ユーザからの問い合わせが来る前に、サポートサービス提供会社５８５側からユーザへ補聴器５００の状態について問い合わせることもでき、より積極的なサポートサービスに役立てることもできる。
　以上のように、本実施形態によれば、検知した異常の結果を販売会社５８６やサポートサービス会社５８５に通知することによって、補聴器のユーザが不適切な音を聴き続けてしまうという問題の早期解消を期待できる。
　例えば、本実施形態は、図４４に示す本実施形態に係る補聴器システム１ａで実現することができる。図４４は、本実施形態に係る補聴器システム１ａの概略構成を示す図である。図４４に示すように、本実施形態に係る補聴器システム１ａは、左右一組とする補聴器２と、補聴器２を収納するとともに補聴器２を充電する充電器３（充電ケース）と、補聴器２および充電器３の少なくとも一方と通信可能なスマートフォン等の情報処理端末４０とを含む。さらに、本実施形態に係る補聴器システム１ａは、販売会社５８６やサポートサービス提供会社５８５が管理するサーバ（情報処理サーバ）９０を含む。
　さらに、サーバ９０は、図４５のように構成されてもよい。図４５は、本実施形態に係るサーバ９０のブロック図である。図４５に示すように、サーバ９０は、通信部９１と、記憶部９５と、制御部９６とを主に有する。
　通信部９１は、制御部９６の制御のもと、通信ネットワーク４８４を介して、補聴器２や情報処理端末４０と通信を行う。通信部９１は、例えば、通信モジュールを用いて構成することができる。また、記憶部９５は、補聴器５００に関する各種情報を格納する。さらに、記憶部９５は、サーバ９０が実行する各種のプログラム９６１等を格納する。記憶部９５は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、メモリカード等の記録媒体を用いて構成することができる。
　制御部９６は、サーバ９０を構成する各部を制御する。制御部９６は、例えば、メモリと、ＣＰＵ等のハードウェアを有するプロセッサとを用いて構成することができる。制御部９６は、記憶部９５に格納されたプログラムをメモリの作業領域に読み出して実行し、プロセッサによるプログラムの実行を通じて各構成部等を制御する。
　＜＜１７．　まとめ＞＞
　以上のように、本開示の実施形態によれば、補聴器１００、５００の異常を簡便に、且つ、精度よく検知することができる。詳細には、本開示の実施形態によれば、第１の孔１０７や耳垢侵入防止フィルタ１０２の詰まり、第２の孔１０８の詰まり、耳垢侵入防止フィルタ１０２の未装着、レシーバ１０１の異常、及び、マイクロフォン１０４の異常等を、簡便に、且つ、精度よく検知することができる。
　なお、本開示の実施形態においては、補聴器１００、５００に適用するものとして説明したが、本開示の実施形態は、補聴機能を有し、且つ、孔に異常が起こり得る構造をしている装置であれば適用することができる。このような装置としては、例えば、イヤフォン、ヘッドセット、集音器等を挙げることができる。
　＜＜１８．　データ利活用の例＞＞
　さらに、補聴器１００、５００の利用に関連して得られたデータは、さまざまに利活用されてよい。一例について図４６を参照して説明する。
　図４６は、データの利活用の例を示す図である。例示されるシステムでは、エッジ領域１０００、クラウド領域２０００及び事業者領域３０００が存在する。エッジ領域１０００内の要素として、発音デバイス１１００、周辺デバイス１２００及び車両１３００が例示される。クラウド領域２０００内の要素として、サーバ装置２１００が例示される。事業者領域３０００内の要素として、事業者３１００及びサーバ装置３２００が例示される。
　エッジ領域１０００内の発音デバイス１１００は、ユーザに向けて音を発するように、ユーザに装着されたりユーザの近くに配置されたりして用いられる。発音デバイス１１００の具体例としては、イヤフォン、ヘッドセット(ヘッドホン)、補聴器等を挙げることができる。より具体的には、発音デバイス１１００は、図１、４等を参照して説明した補聴器２、１００であることができる。
　エッジ領域１０００内の周辺デバイス１２００及び車両１３００は、発音デバイス１１００とともに用いられるデバイスであり、例えば、コンテンツ視聴音、通話音、警告音等の信号を発音デバイス１１００に送信する。発音デバイス１１００は、周辺デバイス１２００や車両１３００からの信号に応じた音をユーザに向けて出力する。周辺デバイス１２００の具体例は、スマートフォン等である。例えば先に図１３等を参照して説明した外部デバイス７０が、周辺デバイス１２００として用いられてよい。
　エッジ領域１０００内では、発音デバイス１１００の利用に関するさまざまなデータが取得され得る。図４７も参照して説明する。
　図４７は、データの例を示す図である。エッジ領域１０００内で取得され得るデータとして、デバイスデータ、使用履歴データ、個人化データ、生体データ、情動データ、アプリケーションデータ、フィッティングデータ及び嗜好データが例示される。なお、データは情報の意味に解されてよく、矛盾の無い範囲においてそれらは適宜読み替えられてよい。例示されるデータの取得には、種々の公知の手法が用いられてよい。
　デバイスデータは、発音デバイス１１００に関するデータであり、例えば、発音デバイス１１００の種別データ、具体的には、発音デバイス１１００が、イヤフォン、ヘッドホン、ＴＷＳ（Ｔｒｕｅ　Ｗｉｒｅｌｅｓｓ　Ｓｔｅｒｅｏ）、補聴器（ＣＩＣ、ＩＴＥ、ＲＩＣ等)等であることを特定するデータを含む。
　使用履歴データは、発音デバイス１１００の使用履歴データであり、例えば、音楽被ばく量、補聴器の連続使用時間、コンテンツ視聴履歴（視聴時間等）等のデータを含む。使用履歴データは、セーフリスニング、ＴＷＳの補聴器化、耳垢侵入防止フィルタ１０２の交換通知等に用いることができる。
　個人化データは、発音デバイス１１００のユーザに関するデータであり、例えば、ユーザ個人の頭部伝達関数（ＨＲＴＦ：　Ｈｅａｄ　ｒｅｌａｔｅｄ　ｔｒａｎｓｆｅｒ　ｆｕｎｃｔｉｏｎ）、外耳道特性、耳垢の種別等を含む。さらに、聴力等のデータも個人化データに含まれてよい。
　生体データは、発音デバイス１１００のユーザの生体データであり、例えば、発汗、血圧、血流、心拍、脈拍、体温、脳波、呼吸、筋電位等のデータを含む。
　情動データは、発音デバイス１１００のユーザの情動を示すデータであり、例えば、快、不快等を示すデータを含む。
　アプリケーションデータは、各種のアプリケーションで使用等されるデータであり、例えば、発音デバイス１１００のユーザの位置（発音デバイス１１００の位置でもよい）、スケジュール、年齢及び性別等のようなユーザの属性情報データ、さらに、天気、気圧、気温等のデータを含む。例えば、位置データは、紛失した発音デバイス１１００を探すためや、耳垢侵入防止フィルタ１０２の詰まりを予測するタイミングを決定する際に用いることができる。
　フィッティングデータは、例えば、ユーザが使用する補聴器２の調整パラメータや、ユーザの聴力測定結果（オージオグラム）等に基づき設定される周波数帯域毎の補聴器ゲイン等を含むことができる。
　嗜好データは、ユーザの嗜好に関するデータであり、例えば運転時に聴く音楽の嗜好等のデータを含む。
　なお、通信状況のデータ、発音デバイス１１００等の充電状況のデータ等も取得されてよい。帯域や通信状況、充電状況等に応じて、エッジ領域１０００での処理の一部がクラウド領域２０００によって実行されてもよい。処理が分担されることで、エッジ領域１０００での処理負担が軽減される。
　図４６に戻り、例えば上述のようなデータが、エッジ領域１０００内で取得され、発音デバイス１１００、周辺デバイス１２００又は車両１３００から、クラウド領域２０００内のサーバ装置２１００に送信される。サーバ装置２１００は、受信したデータを記憶（保存、蓄積等）する。
　事業者領域３０００内の事業者３１００は、サーバ装置３２００を利用して、クラウド領域２０００内のサーバ装置２１００からデータを取得する。事業者３１００によるデータの利活用が可能になる。
　さまざまな事業者３１００が存在し得る。事業者３１００の具体例は、補聴器店、補聴器メーカ、コンテンツ制作会社、音楽ストリーミングサービス等を提供する配信事業者等であり、それらを区別できるように、事業者３１００－Ａ、事業者３１００－Ｂ及び事業者３１００－Ｃと称し図示する。対応するサーバ装置３２００を、サーバ装置３２００－Ａ、サーバ装置３２００－Ｂ及びサーバ装置３２００－Ｃと称し図示する。このようなさまざまな事業者３１００にさまざまなデータが提供され、データの利活用が促進される。事業者３１００へのデータ提供は、例えば、サブスクリプション、リカーリング等によるデータ提供であってもよい。
　クラウド領域２０００からエッジ領域１０００へのデータ提供も可能である。例えば、エッジ領域１０００での処理の実現に機械学習が必要な場合には、学習データのフィードバック、修正（Ｒｅｖｉｓｅ）等のためのデータが、クラウド領域２０００内のサーバ装置２１００の管理者等によって準備される。準備されたデータは、サーバ装置２１００からエッジ領域１０００内の発音デバイス１１００、周辺デバイス１２００又は車両１３００に送信される。
　エッジ領域１０００内において、特定の条件を満たす場合には、何らかのインセンティブ（プレミアサービス等の特典）が、ユーザに提供されてよい。条件の例は、発音デバイス１１００、周辺デバイス１２００及び車両１３００の少なくとも一部のデバイスが、同じ事業者によって提供されたデバイスであるといった条件である。電子供給可能なインセンティブ（電子クーポン等）であれば、インセンティブがサーバ装置２１００から発音デバイス１１００、周辺デバイス１２００又は車両１３００に送信されてよい。
　＜＜１９．　他のデバイスとの連携の例＞＞
　エッジ領域１０００内において、例えばスマートフォンのような周辺デバイス１２００をハブとして、発音デバイス１１００と、他のデバイスとが連携してよい。一例について図４８を参照して説明する。
　図４８は、他のデバイスとの連携の例を示す図である。エッジ領域１０００、クラウド領域２０００及び事業者領域３０００は、ネットワーク４０００及びネットワーク５０００で接続される。エッジ領域１０００内の周辺デバイス１２００としてスマートフォンが例示され、また、エッジ領域１０００内の要素として他のデバイス１４００も例示される。なお、車両１３００（図４６）は図示を省略する。
　周辺デバイス１２００は、発音デバイス１１００及び他のデバイス１４００それぞれと通信可能である。通信手法はとくに限定されないが、例えば、Ｂｌｕｅｔｏｏｔｈ　ＬＤＡＣ、先にも述べたＢｌｕｅｔｏｏｔｈ　ＬＥ　Ａｕｄｉｏ等が用いられてよい。周辺デバイス１２００と他のデバイス１４００との間の通信は、マルチキャスト通信であってもよい。マルチキャスト通信の例は、Ａｕｒａｃａｓｔ（登録商標）等である。
　他のデバイス１４００は、周辺デバイス１２００を介して、発音デバイス１１００と連携して用いられる。他のデバイス１４００の具体例としては、テレビジョン（以下、テレビと称する）、パーソナルコンピュータ（ＰＣ）、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）、ロボット、スマートスピーカ、ゲーミングデバイス等を挙げることができる。
　発音デバイス１１００、周辺デバイス１２００及び他のデバイス１４００が特定の条件（例えばそれらの少なくとも一部がいずれも同じ事業者によって提供されたものであるといった条件）を満たす場合にも、インセンティブがユーザに提供されてよい。
　周辺デバイス１２００をハブとして、発音デバイス１１００及び他のデバイス１４００が連携可能である。連携は、クラウド領域２０００内のサーバ装置２１００に記憶された各種のデータを用いて行われてよい。例えば、発音デバイス１１００及び他のデバイス１４００どうしの間で、ユーザのフィッティングデータ、視聴時間、聴力等の情報が共有され、それによって、各デバイスの音量調整等が連携して行われる。補聴器２（ＨＡ：Ｈｅａｒｉｎｇ　Ａｉｄ）や集音器（ＰＳＡＰ：Ｐｅｒｓｏｎａｌ　Ｓｏｕｎｄ　Ａｍｐｌｉｆｉｃａｔｉｏｎ　Ｐｒｏｄｕｃｔ）の装着時に、テレビやＰＣ等において自動的に補聴器２やＰＳＡＰ用の設定を行うといったことが可能である。例えば、補聴器２を使用しているユーザが、テレビやＰＣ等の他のデバイスを使用する際に、通常は健聴者向けの設定になっているところを補聴器使用ユーザに適した設定になるように、自動で他のデバイスの設定を変更する処理が行われてもよい。なお、ユーザが補聴器２を使用しているかどうかは、ユーザが補聴器２を装着した際に、補聴器２を装着したという情報（例えば装着検出情報）が自動で補聴器２のペアリング先のテレビやＰＣ等の機器に送られることで判定されても良いし、補聴器使用ユーザが、対象となるテレビやＰＣ等の他のデバイスに接近したことをトリガーとして検知されてもよい。また、テレビやＰＣ等の他のデバイスに設けられたカメラ等でユーザの顔を撮像することで、当該ユーザが補聴器ユーザであることを判定してもよいし、前述した以外の方法で判定してもよい。また、例えば、発音デバイス１１００である補聴器２及び他のデバイス１４００どうしの間で連携を行うことにより、補聴器２をイヤフォンとして機能させることもできる。さらに、他のデバイス１４００が周囲音を集音するマイクロフォンを備える場合には、発音デバイス１１００であるイヤフォンを、補聴器２のように機能させることもできる。この場合、あたかも音楽を聴いているようなスタイル（外観等）で、補聴器の機能を利用することができる。イヤフォン・ヘッドフォンと補聴器は、技術的にオーバーラップする部分が多く、今後両者の垣根がなくなり一つのデバイスがイヤフォンと補聴器両方の機能を有することが想定される。聴力が正常な時、つまり健聴者には通常のイヤフォン・ヘッドフォンとして使用する事でコンテンツ視聴体験を楽しむことができ、加齢等で聴力が下がってきた場合には補聴機能をオンにすることで補聴器としての機能を果たすこともできる。イヤフォンとしてのデバイスをそのまま補聴器としても使用する事ができるため、外観やデザインの観点からも、ユーザの継続的・長期的な使用を期待できる。
　ユーザの試聴履歴のデータが共有されてもよい。長時間の試聴は将来的な難聴のリスクとなり得る。試聴時間が長くなり過ぎないように、ユーザへの通知等が行われてよい。例えば視聴時間が予め定められた閾値を超えると、そのような通知が行われる（セーフリスニング）。通知は、エッジ領域１０００内の任意のデバイスによって行われてよい。
　エッジ領域１０００内で用いられるデバイスの少なくとも一部は、異なる事業者によって提供されたものであってよい。各事業者のデバイス設定等に関する情報が、事業者領域３０００のサーバ装置３２００からクラウド領域２０００のサーバ装置２１００に送信され、サーバ装置２１００に記憶されてよい。そのような情報を用いることで、異なる事業者によって提供されたデバイスどうしの連携も可能になる。
　＜＜２０．　用途遷移の例＞＞
　上述のようなユーザのフィッティングデータ、視聴時間、聴力等をはじめとするさまざまな状況に応じて、発音デバイス１１００の用途が遷移し得る。一例について図４９を参照して説明する。
　図４９は、用途遷移の例を示す図である。ユーザが健聴者であるとき、例えばユーザが子供である間及び成人になってしばらくの間は、発音デバイス１１００は、ヘッドホンやイヤホン（ｈｅａｄｐｈｏｎｅｓ／ＴＷＳ）として用いられる。先にも述べたセーフリスニングの他に、イコライザーの調整や、ユーザの行動特性や現在地、外部環境に応じた処理（例えば、ユーザがレストランにいるシーンと乗り物に乗っているシーンとでそれぞれ最適なノイズキャンセリングモードに切り替わる、等）がされたり、視聴楽曲ログの収集等が行われたりする。Ａｕｒａｃａｓｔを用いたデバイス間の通信も利用される。
　ユーザの聴力が低下すると、発音デバイス１１００の補聴機能が利用され始める。例えば、ユーザが軽・中度難聴者の間、発音デバイス１１００は、ＯＴＣ補聴器（Ｏｖｅｒ　Ｔｈｅ　Ｃｏｕｎｔｅｒ　Ｈｅａｒｉｎｇ　Ａｉｄ）として用いられる。ユーザが高程度難聴者になると、発音デバイス１１００は、補聴器として用いられる。なお、ＯＴＣ補聴器は、専門家を介することなく、店頭で販売される補聴器であり、聴力検査やオージオロジスト等の専門家を経ずに購入できるという手軽さがある。フィッティング等の補聴器特有の操作等は、ユーザ自身が行ってよい。発音デバイス１１００がＯＣＴ補聴器や補聴器として用いられる間は、聴力測定が行われたり、補聴機能がＯＮになったりする。例えば先に説明した実施形態における発話フラグの送信等の機能も利用され得る。また、聴力に関するさまざまな情報（聴力ビッグデータ）が収集され、フィッティング（Ｆｉｔｔｉｎｇ）、音環境適合、遠隔サポート等が行われたり、さらには、トランスクリプションが行われたりする。
　＜＜２１．　補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置であって、
　前記情報処理装置の異常を検知するための測定音を出力する出力部と、
　前記測定音を集音する第１の集音部と、
　前記第１の集音部で集音した音響信号に基づき、前記異常を検知する異常検知部と、
　を備える、
　情報処理装置。
（２）
　前記出力部は、前記情報処理装置が前記ユーザの外耳道に装着されていない状態において、前記測定音を出力する、上記（１）に記載の情報処理装置。
（３）
　前記出力部は、前記情報処理装置が音響的に閉じた空間に格納された状態において、前記測定音を出力する、上記（２）に記載の情報処理装置。
（４）
　前記異常検知部は、機械学習で得られたモデルを用いて前記異常を予測する、上記（１）～（３）のいずれか１つに記載の情報処理装置。
（５）
　前記異常検知部は、
　前記第１の集音部で集音した音響信号を解析する解析部と、
　解析結果に基づき、前記異常の有無を判定する判定部と、
　を有する、上記（１）～（３）のいずれか１つに記載の情報処理装置。
（６）
　前記異常を検知した場合に、当該異常を前記ユーザに通知する通知部をさらに備える、　上記（１）～（５）のいずれか１つに記載の情報処理装置。
（７）
　前記第１の集音部を内蔵する筐体部をさらに備え、
　前記筐体部は、前記出力部と前記ユーザの外耳道とを連通する第１の孔を持ち、
　前記第１の集音部は、前記第１の孔の開口から所定の距離だけ離された位置に設けられ、前記第１の孔を通過した前記測定音を集音する、
　上記（１）～（６）のいずれか１つに記載の情報処理装置。
（８）
　前記ユーザの外耳道に装着可能に構成され、前記出力部と前記ユーザの外耳道とを連通する第１の孔を持つ装着部品をさらに備え、
　前記出力部は、前記装着部品を介して前記ユーザの外耳道に装着され、
　前記第１の集音部は、前記ユーザの耳介に装着され、前記第１の孔を通過した前記測定音を集音する、
　上記（１）～（６）のいずれか１つに記載の情報処理装置。
（９）
　前記ユーザの外耳道に前記情報処理装置を装着した際に、前記情報処理装置により隔てられた前記外耳道の内側領域と外側領域とを連通する第２の孔をさらに備え、
　前記第１の集音部は、前記第１の孔及び前記第２の孔を通過した前記測定音を集音する、
　上記（７）又は（８）に記載の情報処理装置。
（１０）
　前記異常検知部は、前記第１の孔の異常、前記第２の孔の異常、前記第１の孔に装着されるフィルタの異常、前記出力部の異常、及び、第１の集音部の異常のうちの少なくとも１つの異常を検知する、上記（９）に記載の情報処理装置。
（１１）
　充電器、情報処理端末、及び、情報処理サーバのうちの少なくとも１つを含む外部装置と通信可能な通信部と、
　前記外部装置からの起動信号を検知して、前記出力部を起動させる起動信号検知部と、
　をさらに備える、
　上記（１）～（１０）のいずれか１つに記載の情報処理装置。
（１２）
　前記出力部に隣接して設けられ、前記測定音を集音する第２の集音部をさらに備え、
　前記異常検知部は、前記第２の集音部で集音した音響信号に基づき、前記異常を検知する、
　上記（１）～（１１）のいずれか１つに記載の情報処理装置。
（１３）
　前記情報処理装置は、補聴器である、
　上記（１）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
　前記情報処理装置は、イヤフォンである、
　上記（１）～（１２）のいずれか１つに記載の情報処理装置。
（１５）
　ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置と、
　当該情報処理装置の充電器と、
　を含む情報処理システムであって、
　前記情報処理装置は、
　前記情報処理装置の異常を検知するための測定音を出力する出力部と、
　前記測定音を集音する第１の集音部と、
　前記第１の集音部で集音した音響信号に基づき、前記異常を検知する異常検知部と、
　を有する、
　情報処理システム。
（１６）
　前記充電器は、
　前記情報処理装置を格納可能な、音響的に閉じた空間として構成される、
　上記（１５）に記載の情報処理システム。
（１７）
　前記充電器は、前記情報処理装置を内部に固定するための固定部をさらに有する、上記（１６）に記載の情報処理システム。
（１８）
　前記充電器は、前記測定音を集音する第３の集音部をさらに有する、上記（１６）又は（１７）に記載の情報処理システム。
（１９）
　前記充電器は、格納された前記情報処理装置を撮像する撮像部をさらに有し、
　前記異常検知部は、前記撮像部で撮像した画像に基づき、前記異常を検知する、
　上記（１５）～（１８）のいずれか１つに記載の情報処理システム。
（２０）
　前記情報処理装置と通信可能な情報処理端末をさらに含む、上記（１５）～（１９）のいずれか１つに記載の情報処理システム。
（２１）
　前記情報処理装置と通信可能な情報処理サーバをさらに含む、上記（１５）～（２０）のいずれか１つに記載の情報処理システム。
（２２）
　ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置の異常を検出する情報処理方法であって、
　前記情報処理装置が、
　前記情報処理装置の異常を検知するための測定音を出力することと、
　前記測定音を集音することと、
　集音した音響信号に基づき、前記異常を検知することと、
　を含む、情報処理方法。
　　１、１ａ　　補聴器システム
　　２、１００、５００　　補聴器
　　３、８００　　充電器
　　２０ｂ、２０ｆ　　集音部
　　２１　　信号処理部
　　２２　　出力部
　　２５、３２　　電池
　　２６、３３１　　接続部
　　２７、３０、３４、４２、９１、１３６、５３６、５４６、８４６、９４６　　通信部
　　２８、３５、４５、９５　　記憶部
　　２９、３６、４６、９６、１３４、５３４、５４４、８４４、９４４　　制御部
　　３１、４４、８２２　　表示部
　　３３　　収納部
　　４０、４００、４０２　　情報処理端末
　　４１　　入力部
　　４３　　出力部
　　７０　　外部デバイス
　　９０　　サーバ
　　１０１、２２２、５０１　　レシーバ
　　１０２、５０２　　耳垢侵入防止フィルタ
　　１０３　　イヤーチップ
　　１０４、５０４　　第１のマイクロフォン
　　１０７、５０７　　第１の孔
　　１０８、５０８　　第２の孔
　　１３１、５３１　　測定信号再生部
　　１３２、５３２、５４２、９４２　　パラメータ記憶部
　　１３３、５３３　　異常検知部
　　１３５、５３５　　トリガー検知部
　　１３７、５４７、８４７、９４７　　通信アンテナ
　　１５１、９５１　　前処理部
　　１５２　　解析部
　　１５３　　判定部
　　２０１ｂ、２０１ｆ　　マイクロフォン
　　２０２ｂ、２０２ｆ　　Ａ／Ｄ変換部
　　２２１　　Ｄ／Ａ変換部
　　２８１、３５１　　プログラム
　　２８２　　データ
　　４８４　　通信ネットワーク
　　５０５　　第２のマイクロフォン
　　５０９　　テグス
　　５２７　　カメラ
　　５４８　　画像処理部
　　５８６　　販売会社
　　５８７　　購入品
　　６００、９００　　装置
　　６１２　　第１の閉空間
　　６１３　　第２の閉空間
　　６１４　　第３の閉空間
　　６１５　　第１の境界
　　６１６　　第２の境界
　　６１７　　第３の境界
　　６１８　　第４の境界
　　７１１　　空間
　　７９１　　外耳道外側
　　７９２　　外耳道内側
　　８２３、８７２、８７３、８７４、８７５、８８５、８８６、８９１、８９２　　ボタン
　　８４５　　トリガー検知部
　　８７１、８８２、９７１　　メッセージ
　　８８３、８８４　　表示画面
　　８８７　　ラジオボタン
　　８８９　　スライダーバー
　　８９０　　スイッチ
　　９０６　　第３のマイクロフォン
　　９２４　　固定部
　　１１６１、１１６２、１１６３、１１６４、１１６５　　特性

Claims (22)

  1. 　ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置であって、
    　前記情報処理装置の異常を検知するための測定音を出力する出力部と、
    　前記測定音を集音する第１の集音部と、
    　前記第１の集音部で集音した音響信号に基づき、前記異常を検知する異常検知部と、
    　を備える、
    　情報処理装置。
  2. 　前記出力部は、前記情報処理装置が前記ユーザの外耳道に装着されていない状態において、前記測定音を出力する、請求項１に記載の情報処理装置。
  3. 　前記出力部は、前記情報処理装置が音響的に閉じた空間に格納された状態において、前記測定音を出力する、請求項２に記載の情報処理装置。
  4. 　前記異常検知部は、機械学習で得られたモデルを用いて前記異常を予測する、請求項１に記載の情報処理装置。
  5. 　前記異常検知部は、
    　前記第１の集音部で集音した音響信号を解析する解析部と、
    　解析結果に基づき、前記異常の有無を判定する判定部と、
    　を有する、請求項１に記載の情報処理装置。
  6. 　前記異常を検知した場合に、当該異常を前記ユーザに通知する通知部をさらに備える、　請求項１に記載の情報処理装置。
  7. 　前記第１の集音部を内蔵する筐体部をさらに備え、
    　前記筐体部は、前記出力部と前記ユーザの外耳道とを連通する第１の孔を持ち、
    　前記第１の集音部は、前記第１の孔の開口から所定の距離だけ離された位置に設けられ、前記第１の孔を通過した前記測定音を集音する、
    　請求項１に記載の情報処理装置。
  8. 　前記ユーザの外耳道に装着可能に構成され、前記出力部と前記ユーザの外耳道とを連通する第１の孔を持つ装着部品をさらに備え、
    　前記出力部は、前記装着部品を介して前記ユーザの外耳道に装着され、
    　前記第１の集音部は、前記ユーザの耳介に装着され、前記第１の孔を通過した前記測定音を集音する、
    　請求項１に記載の情報処理装置。
  9. 　前記ユーザの外耳道に前記情報処理装置を装着した際に、前記情報処理装置により隔てられた前記外耳道の内側領域と外側領域とを連通する第２の孔をさらに備え、
    　前記第１の集音部は、前記第１の孔及び前記第２の孔を通過した前記測定音を集音する、
    　請求項７に記載の情報処理装置。
  10. 　前記異常検知部は、前記第１の孔の異常、前記第２の孔の異常、前記第１の孔に装着されるフィルタの異常、前記出力部の異常、及び、第１の集音部の異常のうちの少なくとも１つの異常を検知する、請求項９に記載の情報処理装置。
  11. 　充電器、情報処理端末、及び、情報処理サーバのうちの少なくとも１つを含む外部装置と通信可能な通信部と、
    　前記外部装置からの起動信号を検知して、前記出力部を起動させる起動信号検知部と、
    　をさらに備える、
    　請求項１に記載の情報処理装置。
  12. 　前記出力部に隣接して設けられ、前記測定音を集音する第２の集音部をさらに備え、
    　前記異常検知部は、前記第２の集音部で集音した音響信号に基づき、前記異常を検知する、
    　請求項１に記載の情報処理装置。
  13. 　前記情報処理装置は、補聴器である、
    　請求項１に記載の情報処理装置。
  14. 　前記情報処理装置は、イヤフォンである、
    　請求項１に記載の情報処理装置。
  15. 　ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置と、
    　当該情報処理装置の充電器と、
    　を含む情報処理システムであって、
    　前記情報処理装置は、
    　前記情報処理装置の異常を検知するための測定音を出力する出力部と、
    　前記測定音を集音する第１の集音部と、
    　前記第１の集音部で集音した音響信号に基づき、前記異常を検知する異常検知部と、
    　を有する、
    　情報処理システム。
  16. 　前記充電器は、
    　前記情報処理装置を格納可能な、音響的に閉じた空間として構成される、
    　請求項１５に記載の情報処理システム。
  17. 　前記充電器は、前記情報処理装置を内部に固定するための固定部をさらに有する、請求項１６に記載の情報処理システム。
  18. 　前記充電器は、前記測定音を集音する第３の集音部をさらに有する、請求項１６に記載の情報処理システム。
  19. 　前記充電器は、格納された前記情報処理装置を撮像する撮像部をさらに有し、
    　前記異常検知部は、前記撮像部で撮像した画像に基づき、前記異常を検知する、
    　請求項１５に記載の情報処理システム。
  20. 　前記情報処理装置と通信可能な情報処理端末をさらに含む、請求項１５に記載の情報処理システム。
  21. 　前記情報処理装置と通信可能な情報処理サーバをさらに含む、請求項１５に記載の情報処理システム。
  22. 　ユーザの外耳道に少なくとも一部が装着可能に構成された情報処理装置の異常を検出する情報処理方法であって、
    　前記情報処理装置が、
    　前記情報処理装置の異常を検知するための測定音を出力することと、
    　前記測定音を集音することと、
    　集音した音響信号に基づき、前記異常を検知することと、
    　を含む、情報処理方法。
PCT/JP2023/035601 2022-10-11 2023-09-29 情報処理装置、情報処理システム及び情報処理方法 WO2024080160A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022163411 2022-10-11
JP2022-163411 2022-10-11

Publications (1)

Publication Number Publication Date
WO2024080160A1 true WO2024080160A1 (ja) 2024-04-18

Family

ID=90669134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035601 WO2024080160A1 (ja) 2022-10-11 2023-09-29 情報処理装置、情報処理システム及び情報処理方法

Country Status (1)

Country Link
WO (1) WO2024080160A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017539167A (ja) * 2014-12-17 2017-12-28 ヴェーデクス・アクティーセルスカプ 補聴器システムの動作方法および補聴器システム
JP2020115636A (ja) * 2018-12-28 2020-07-30 ジーエヌ ヒアリング エー／エスＧＮ Ｈｅａｒｉｎｇ Ａ／Ｓ 頭部装着型聴覚装置の音響フィードバック経路の状態を決定する方法および頭部装着型聴覚装置
JP2022077512A (ja) * 2020-11-11 2022-05-23 ジーエヌ ヒアリング エー／エス 聴覚装置のフィルタ詰まりの検出

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017539167A (ja) * 2014-12-17 2017-12-28 ヴェーデクス・アクティーセルスカプ 補聴器システムの動作方法および補聴器システム
JP2020115636A (ja) * 2018-12-28 2020-07-30 ジーエヌ ヒアリング エー／エスＧＮ Ｈｅａｒｉｎｇ Ａ／Ｓ 頭部装着型聴覚装置の音響フィードバック経路の状態を決定する方法および頭部装着型聴覚装置
JP2022077512A (ja) * 2020-11-11 2022-05-23 ジーエヌ ヒアリング エー／エス 聴覚装置のフィルタ詰まりの検出

Similar Documents

Publication Publication Date Title
EP2840810B1 (en) A hearing assistance system with a low-power mode
US9635469B2 (en) Automatic real-time hearing aid fitting based on auditory evoked potentials
US20130343585A1 (en) Multisensor hearing assist device for health
US20180263562A1 (en) Hearing system for monitoring a health related parameter
CN111492672B (zh) 听力设备及其操作方法
US11671769B2 (en) Personalization of algorithm parameters of a hearing device
WO2009023784A1 (en) Method and device for linking matrix control of an earpiece ii
US11206501B2 (en) Method for operating a hearing instrument and a hearing system containing a hearing instrument
US10631107B2 (en) Hearing device comprising adaptive sound source frequency lowering
US20220272462A1 (en) Hearing device comprising an own voice processor
EP2742701A1 (en) Method for providing distant support to a personal hearing system user and system for implementing such a method
US10231069B2 (en) Method for evaluating an individual hearing benefit of a hearing device feature and for fitting a hearing device
US20230037356A1 (en) Hearing system and a method for personalizing a hearing aid
CN110139201B (zh) 根据用户需要验配听力装置的方法、编程装置及听力系统
DK1906702T4 (en) A method of controlling the operation of a hearing aid and a corresponding hearing aid
EP3886461A1 (en) Hearing device for identifying a sequence of movement features, and method of its operation
WO2024080160A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
US10873816B2 (en) Providing feedback of an own voice loudness of a user of a hearing device
Gatehouse Electronic aids to hearing
WO2024080069A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2024075434A1 (ja) 情報処理システム、デバイス、情報処理方法及びプログラム
KR102609206B1 (ko) 크래들을 구비한 셀프 피팅이 가능한 보청기 시스템 및 이를 이용한 피팅 방법
US20240089669A1 (en) Method for customizing a hearing apparatus, hearing apparatus and computer program product

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877165

Country of ref document: EP

Kind code of ref document: A1