WO2025239246A1 - 出力装置及び音出力方法 - Google Patents

出力装置及び音出力方法

Info

Publication number
WO2025239246A1
WO2025239246A1 PCT/JP2025/016660 JP2025016660W WO2025239246A1 WO 2025239246 A1 WO2025239246 A1 WO 2025239246A1 JP 2025016660 W JP2025016660 W JP 2025016660W WO 2025239246 A1 WO2025239246 A1 WO 2025239246A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
data
acquired
output device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/016660
Other languages
English (en)
French (fr)
Inventor
耕介 大角
利知 金岡
隆行 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of WO2025239246A1 publication Critical patent/WO2025239246A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers

Definitions

  • This disclosure relates to an output device and a sound output method.
  • Patent Document 1 describes a portable music playback device equipped with a sound collection means for collecting external sounds.
  • An output device includes: an acquisition unit that acquires sound data; a control unit that determines whether or not the sound acquired by the acquisition unit is to be recorded, based on first data including data of the sound to be recorded; When the control unit receives input for sound playback, the control unit updates the first data based on sound data acquired by the acquisition unit within a predetermined time from the time when the input for sound playback was received.
  • a sound output method includes: Acquiring sound data; determining whether the acquired sound is to be recorded based on first data including data of the sound to be recorded; When an input for sound playback is received, the first data is updated based on data of the acquired sounds that are present within a predetermined time from the timing at which the input for sound playback is received.
  • FIG. 10 is a diagram illustrating an example of first data according to an embodiment. 10 is a timing chart showing an example of the operation of starting and ending recording. 10 is a flowchart illustrating an example of a procedure for sound output processing.
  • FIG. 10 is a diagram illustrating an example of first data according to another embodiment.
  • FIG. 10 is a diagram showing an example of first data according to yet another embodiment.
  • FIG. 10 is a diagram for explaining the processing of a determination unit according to yet another embodiment.
  • FIG. 10 is a block diagram of a sound output device according to yet another embodiment.
  • FIG. 10 is a diagram showing an example of first data and second data according to yet another embodiment.
  • the sound output device 1 (output device) shown in FIG. 1 is a hearable device.
  • the sound output device 1 is a bone conduction earphone.
  • the sound output device 1 is not limited to a bone conduction earphone as long as it is a hearable device.
  • the sound output device 1 may be an ear-hook earphone, a neck-hanging speaker, an inner-ear earphone, an in-ear earphone, a headphone, or a hearing aid.
  • the sound output device 1 is an inner-ear earphone or a headphone, it may have an external sound capture function.
  • the external sound capture function is a function that collects external sounds from the sound output device 1 and outputs them to the user.
  • External sounds are sounds emitted outside the sound output device 1.
  • external sounds include sounds emitted around the user. External sounds may also include sounds emitted by the user themselves.
  • the sound output device 1 includes a housing 1L, a housing 1R, and a fixing member 1F.
  • the housing 1L is placed against the user's left temple.
  • the housing 1R is placed against the user's right temple.
  • the fixing member 1F fixes the housing 1L and the housing 1R to the user's left and right temples, respectively.
  • the fixing member 1F includes a left ear hook that is placed over the user's left ear, a right ear hook that is placed over the user's right ear, and a band that connects these ear hooks.
  • the fixing member 1F may be fitted with a housing that can house each element of the sound output device 1.
  • the sound output device 1 is worn on the user's head. With the sound output device 1 worn on the user's head, the user can hear external sounds. However, if the user is paying attention to something else, they may miss external sounds containing necessary information. If the user feels that they have missed external sounds containing necessary information, they can have the sound output device 1 play the external sounds. By having the sound output device 1 play the external sounds, the user can confirm whether the external sounds contain the necessary information.
  • the sound output device 1 includes a microphone unit 10 that collects external sound data as an acquisition unit that acquires sound data.
  • the sound output device 1 also includes a speaker unit 11, an input unit 12, a memory unit 13, and a control unit 16.
  • the memory unit 13 and the control unit 16 may be housed in either the housing 1L or the housing 1R as shown in FIG. 1, or may be housed in a housing attached to the fixing member 1F.
  • the microphone unit 10 is capable of collecting external sounds around the sound output device 1.
  • the microphone unit 10 is composed of a left microphone and a right microphone.
  • the left microphone is housed in housing 1L.
  • the right microphone is housed in housing 1R.
  • the microphone unit 10 collects external sounds as stereo sounds using the left microphone and the right microphone.
  • the microphone unit 10 converts the collected external sounds into electrical signal data.
  • the microphone unit 10 outputs the external sound data after conversion into an electrical signal to the control unit 16.
  • the speaker unit 11 is capable of outputting sound.
  • the speaker unit 11 outputs sound by converting an electrical signal output from the control unit 16 into sound.
  • the speaker unit 11 is configured to include a left bone conduction speaker and a right bone conduction speaker.
  • the bone conduction speaker converts the electrical signal output from the control unit 16 into vibrations, thereby transmitting the vibrations to the user's skull.
  • the bone conduction speaker outputs sound to the user by transmitting the vibrations to the user's skull.
  • the left bone conduction speaker is housed in housing 1L.
  • the right bone conduction speaker is housed in housing 1R.
  • the input unit 12 is capable of accepting input from the user.
  • the input unit 12 is configured to include at least one input interface capable of accepting input from the user.
  • the input interface is, for example, a physical key or a capacitance key.
  • the input unit 12 is located on the surface of the housing 1L as shown in FIG. 1. However, the input unit 12 may also be located on the surface of the housing 1R.
  • the memory unit 13 is configured to include at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or a combination of at least two of these.
  • the semiconductor memory is, for example, RAM (Random Access Memory) or ROM (Read Only Memory).
  • the RAM is, for example, SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • the ROM is, for example, EEPROM (Electrically Erasable Programmable Read Only Memory).
  • the memory unit 13 may function as a main memory device, an auxiliary memory device, or a cache memory.
  • the memory unit 13 stores data used in the operation of the sound output device 1 and data obtained by the operation of the sound output device 1.
  • the memory unit 13 may also store programs executed by the control unit 16.
  • the memory unit 13 includes a buffer 14 and a category storage unit 15.
  • the buffer 14 stores data on external sounds collected by the microphone unit 10 that are determined to be recorded, as described below.
  • recording means storing sound data in the buffer 14.
  • the category storage unit 15 stores first data.
  • the first data includes data on sounds to be recorded.
  • the first data in this embodiment includes data on multiple sound categories (multiple categories), multiple score weights, and multiple feature quantities, as shown in Figure 3.
  • Sound categories may include any sound category. Sound categories may be set based on the user's usage patterns. In Figure 3, the sound categories are announcements, conversations between multiple people, speech by one person, sirens, screams, children playing, and loud voices. Hereinafter, the sound category of list number C will be referred to as "sound category C.”
  • the multiple score weights indicate the importance of sounds belonging to each of the multiple sound categories.
  • the score weight indicates the importance of recording sounds belonging to the corresponding sound category.
  • the sound category corresponding to a score weight means the sound category with the same list number C as the score weight in the listed first data.
  • the score weight corresponding to sound category C will be referred to as "score weight W C ". The higher the importance of recording sounds belonging to sound category C, the larger the score weight W C is set. The lower the importance of recording sounds belonging to sound category C, the smaller the score weight W C is set.
  • a sound feature indicates a sound feature belonging to a corresponding sound category.
  • the sound category corresponding to a sound feature means the sound category with the same list number C as the sound feature in the listed first data.
  • a sound feature corresponding to sound category C will be referred to as a "feature ⁇ C ".
  • a sound feature may be any sound feature that indicates a sound feature. Examples of sound features include Mel-Frequency Cepstrum Coefficients (MFCCs), formant frequencies, sound frequency spectra, or voiceprint values shown in a spectrogram. Examples of sound frequency spectra include amplitude spectra or phase spectra. When a sound feature is given as a string of numbers, it is also referred to as a "sound feature vector.”
  • a sound feature ⁇ C may be an average value, such as a time average value, of sound features belonging to sound category C.
  • the control unit 16 is configured to include at least one processor, at least one dedicated circuit, or a combination of these.
  • the processor is a general-purpose processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), or a dedicated processor specialized for specific processing.
  • the dedicated circuit is, for example, an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit).
  • the control unit 16 controls each part of the sound output device 1 and executes processing related to the operation of the sound output device 1.
  • the control unit 16 includes a determination unit 17, a selection unit 18, and an update unit 19.
  • the determination unit 17 acquires external sound data from the microphone unit 10. The determination unit 17 determines whether the acquired external sound is to be recorded. This process is explained below.
  • the determination unit 17 converts the stereo sound data acquired from the microphone unit 10 into monaural external sound data.
  • the monaural external sound data is used in the process of determining whether the external sound is to be recorded.
  • this process may use either one of the stereo external sound data instead of the monaural external sound data. Which of the stereo external sound data to use may be set in advance based on reliability, etc.
  • the determination unit 17 calculates the power of the external sound in the converted monaural sound.
  • the determination unit 17 calculates the power of the external sound, for example, by squaring the amplitude of the waveform data of the external sound. If the calculated power of the external sound is below a power threshold, the determination unit 17 determines that the external sound is not to be recorded.
  • the power threshold may be set based on the power of the external sound, such as an announcement sound, that the user wants to hear.
  • the determination unit 17 determines whether the external sound is to be recorded based on the first data in the category storage unit 15. First, the determination unit 17 calculates a similarity score S C.
  • the similarity score S C indicates the similarity between the external sound and a sound belonging to sound category C. The larger the similarity score S C , the higher the possibility that the external sound belongs to sound category C.
  • the determination unit 17 calculates the similarity score S C , for example, using equation (1) or equation (2). Equation (2) is an equation using cosine similarity.
  • Equation (1) 100-(x- ⁇ C ) 2 Equation (1)
  • the subscript C corresponds to the list number C in FIG.
  • the feature amount x in equation (1) and the feature amount x indicated with a superscript arrow in equation (2) are the feature amounts of the external sound.
  • the determination unit 17 calculates a total score S TC using a plurality of similarity scores S C and a plurality of score weights W C.
  • the determination unit 17 calculates the total score S TC , for example, by using equation (3).
  • S TC S C + W C formula (3)
  • the determination unit 17 After calculating the overall score S TC for each sound category C, the determination unit 17 acquires the overall score S T that is the maximum of the calculated overall scores S TC . The determination unit 17 determines whether the overall score S T is equal to or greater than an overall threshold. The overall threshold may be set taking into consideration user convenience. If the determination unit 17 determines that the overall score S T is equal to or greater than the overall threshold, it determines that the external sound is to be recorded. However, the determination unit 17 may also determine whether each overall score S TC is equal to or greater than the overall threshold. In this case, if the determination unit 17 determines that at least one of the multiple overall scores S TC is equal to or greater than the overall threshold, it determines that the external sound is to be recorded.
  • the determination unit 17 determines that the external sound is to be recorded, it starts recording the external sound. That is, the determination unit 17 stores the external sound data in the buffer 14. In this embodiment, the determination unit 17 stores the stereo external sound data in the buffer 14. However, the determination unit 17 may also store the monaural external sound data in the buffer 14.
  • the determination unit 17 After starting recording of the external sound, the determination unit 17 ends the recording of the external sound when the power of the external sound falls below a certain level or the external sound is no longer a target special sound. Through such processing by the determination unit 17, recording starts or ends at the timing shown in Figure 4, for example. In Figure 4, the determination unit 17 starts recording the external sound at times t0, t2, t4, and t6. The determination unit 17 ends recording the external sound at times t1, t3, t5, and t7. In Figure 4, external sound data D0, D1, D2, and D3 are stored in the buffer 14.
  • the selection unit 18 can accept recording and playback input (sound playback input) via the input unit 12. If the user feels that they have missed an external sound containing necessary information, they can input recording and playback input via the input unit 12.
  • the selection unit 18 When the selection unit 18 receives a recording/playback input from the input unit 12, it selects external sound data to be played back from the external sound data stored in the buffer 14. For example, the selection unit 18 selects external sound data from the external sound data stored in the buffer 14 up to a predetermined time prior to the time the recording/playback input was received.
  • the predetermined time may be set taking into consideration user convenience. For example, in FIG. 4, the recording/playback input is received at time t7. In FIG. 4, time t2 is a predetermined time prior to time t7. In FIG. 4, the selection unit 18 selects external sound data D1, D2, and D3 as the external sound data to be played back.
  • the selection unit 18 plays the selected external sound data by the speaker unit 11. For example, the selection unit 18 outputs the external sound collected by the left microphone of the microphone unit 10 from the left speaker of the speaker unit 11, out of the stereo sound data of the selected external sound. The selection unit 18 also outputs the external sound collected by the right microphone of the microphone unit 10 from the right speaker of the speaker unit 11, out of the stereo sound data of the selected external sound. By having the selection unit 18 play the external sound, the user can hear any external sound that they missed.
  • the update unit 19 When the update unit 19 receives a recording/playback input via the input unit 12, it updates the first data in the category storage unit 15 based on the external sound data stored in the buffer 14. Here, if the user feels that they have missed an external sound containing necessary information, they input a recording/playback input via the input unit 12. In other words, the external sound immediately prior to the time the recording/playback input was received is likely to contain a sound that provides the user with necessary information, i.e., a sound that should be recorded. Therefore, the update unit 19 updates the first data based on the data of the external sound immediately prior to the time the recording/playback input was received. "Most recent" means within a predetermined time from the time the input was received. The predetermined time may be set in advance taking into consideration user convenience. Alternatively, the control unit 16 may receive the predetermined time from the user via the input unit 12. The predetermined time may be, for example, within 5 seconds or within 5 phrases.
  • the update unit 19 may use external sound data from the first time to the second time as the external sound data immediately prior to the time when the recording/playback input was accepted.
  • the first time is the time when the recording/playback input was accepted.
  • the second time is a time that goes back a set amount of time from the first time.
  • the set amount of time may be set taking into account the time from when the user feels that they have missed an external sound containing necessary information until the recording/playback input is accepted.
  • the set amount of time may be 30 seconds, for example.
  • the recording/playback input is accepted at time t7. Therefore, in FIG. 4, the first time is time t7. Also, in FIG.
  • the update unit 19 uses external sound data D2 and D3 from time t4 to time t7 as the external sound data immediately prior to the time when the recording/playback input was accepted.
  • the update unit 19 may use, as the external sound data immediately preceding the time when the input for recording and playback was accepted, the external sound data recorded at the time when the input for recording and playback was accepted up to a predetermined number of times before.
  • the predetermined number may be set taking into consideration the time from when the user feels that they have missed an external sound containing necessary information until the input for recording and playback is accepted. For example, in FIG. 4, the predetermined number is 3.
  • the external sound data recorded at the time when the input for recording and playback was accepted is external sound data D3. Therefore, the update unit 19 uses the external sound data D1, D2, and D3 up to three times before external sound data D3.
  • the updating unit 19 When the updating unit 19 acquires data on the external sound immediately prior to the timing of receiving the recording/playback input, it identifies the sound category to which the acquired external sound belongs.
  • the sound category to which the external sound belongs will be referred to as the "external sound category.”
  • the updating unit 19 calculates a similarity score S C using, for example, Equation (1) or Equation (2), and if the calculated similarity score S C is equal to or greater than the similarity threshold, it identifies category C as the external sound category.
  • the updating unit 19 may use the data on the similarity score S C calculated by the determination unit 17 to identify the external sound category.
  • the update unit 19 When the update unit 19 identifies the category of the external sound, it updates the first data in the category storage unit 15 based on the identified category of the external sound. As an example, the update unit 19 increases the score weight W C of a sound category C that is the same as the category of the external sound in the first data in the category storage unit 15. The degree to which the score weight W C is increased may be set in advance taking into consideration the convenience of the user. As another example, if the category of the external sound does not exist in the first data in the category storage unit 15, the update unit 19 registers the category of the external sound as a new sound category C in the first data. In this case, the update unit 19 may calculate the sound feature amount ⁇ C of the new sound category C from the data of the external sound. Furthermore, the update unit 19 may register an initial value for the score weight W C of the new sound category C. This initial value may be set in advance according to the user's usage mode.
  • (Operation of sound output device) 5 is a flowchart showing an example of the procedure for the sound output process.
  • This sound output process corresponds to the sound output method according to the present embodiment. For example, when the power of the sound output device 1 is turned on, the sound output device 1 starts the process of step S1.
  • the microphone unit 10 collects external sounds around the sound output device 1 (step S1). The microphone unit 10 converts the collected external sounds into electrical signal data. The microphone unit 10 outputs the external sound data after the conversion into an electrical signal to the control unit 16.
  • the determination unit 17 acquires external sound data from the microphone unit 10 and determines whether the power of the acquired external sound is equal to or greater than the power threshold (step S2). If the determination unit 17 determines that the power of the external sound is equal to or greater than the power threshold (step S2: YES), the process proceeds to step S3. On the other hand, if the determination unit 17 determines that the power of the external sound is below the power threshold (step S2: NO), the process proceeds to step S4.
  • the determination unit 17 determines whether or not the external sound is to be recorded, based on the first data in the category storage unit 15. In the present embodiment, the determination unit 17 calculates a total score S T using formula (1) or (2) and formula (3). If the determination unit 17 determines that the total score S T is equal to or greater than the total threshold, it determines that the external sound is to be recorded.
  • step S3 determines that the external sound is not to be recorded (step S3: NO)
  • step S4 determines that the external sound is to be recorded
  • step S5 determines that the external sound is to be recorded
  • step S4 the determination unit 17 ends recording of external sound. However, if recording has not started before the processing of step S4, the determination unit 17 maintains a state in which external sound is not being recorded.
  • step S5 the determination unit 17 starts recording external sounds.
  • step S6 the control unit 16 determines whether or not a recording/playback input has been received by the input unit 12. If the control unit 16 does not determine that a recording/playback input has been received by the input unit 12 (step S6: NO), the sound output device 1 returns to the processing of step S1. On the other hand, if the control unit 16 determines that a recording/playback input has been received by the input unit 12 (step S6: YES), the control unit 16 proceeds to the processing of step S7.
  • step S7 the selection unit 18 selects external sound data to be played from the external sound data stored in the buffer 14.
  • the selection unit 18 plays the selected external sound data to be played back by the speaker unit 11.
  • step S8 when the update unit 19 receives input for recording and playback, it updates the first data in the category storage unit 15 based on the external sound data stored in the buffer 14.
  • the determination unit 17 may determine whether to automatically play the acquired external sound based on the multiple similarity scores and the multiple score weights. As an example, when the determination unit 17 determines that the total score ST is equal to or greater than the total threshold, the determination unit 17 may further determine whether the total score ST is equal to or greater than a first playback threshold. When the determination unit 17 determines that the total score ST is equal to or greater than the first playback threshold, the determination unit 17 may determine to automatically play the acquired external sound. When the determination unit 17 determines that the total score ST is below the first playback threshold, the determination unit 17 may determine not to automatically play the acquired external sound. When the determination unit 17 determines to automatically play the acquired external sound, the determination unit 17 automatically plays back data of the acquired external sound by the speaker unit 11. The first playback threshold is greater than the total threshold. The first playback threshold may be set based on user convenience.
  • the determination unit 17 determines whether or not an external sound is to be recorded, based on the first data including data on the sound to be recorded. By determining whether or not an external sound is to be recorded, it is possible to record external sound that includes information necessary for the user. In other words, only external sound data that includes information necessary for the user can be stored in the buffer 14. With this configuration, when external sound is played back, only external sound data that includes information necessary for the user is played back. Therefore, the user can hear only external sound that includes the necessary information.
  • the update unit 19 updates the first data in the category storage unit 15 based on the data of the external sound immediately prior to the time when the recording/playback input is received.
  • the external sound immediately prior to the time when the recording/playback input is received is likely to contain a sound that is information necessary for the user, i.e., a sound that should be recorded.
  • the updated first data reflects the data of the sound that is information necessary for the user. With this configuration, it is possible to accurately determine whether an external sound is to be recorded based on the updated first data.
  • this embodiment can improve sound recording technology.
  • a sound output device 1 calculates a first probability as to whether an external sound is to be recorded, and determines whether the external sound is to be recorded based on the calculated first probability.
  • a Gaussian Mixture Model (GMM) is used to calculate the first probability according to the other embodiment.
  • the category storage unit 15 stores first data as shown in FIG. 6.
  • the first data in another embodiment includes multiple sound categories, multiple second probabilities, multiple first feature vectors, and multiple second feature vectors.
  • the sound category data is listed and assigned a list number C (C is an integer satisfying 1 ⁇ C), in the same or similar manner as in FIG. 3.
  • Sound categories are set to be the same as or similar to the sound categories shown in Figure 3. As in Figure 3, the sound category of list number C is written as "Sound Category C.”
  • the second probability is the probability that the external sound belongs to the corresponding sound category.
  • the sound category corresponding to the second probability means the sound category with the same list number C as the second probability in the listed first data.
  • the second probability corresponding to sound category C will be referred to as the "second probability ⁇ C .”
  • the first feature vector is an average value, such as a time average, of the feature vectors of sounds belonging to the corresponding sound category.
  • the sound category corresponding to the first feature vector means the sound category with the same list number C as the first feature in the listed first data.
  • the first feature vector corresponding to sound category C will be referred to as the "first feature vector M C ".
  • the second feature vector is a covariance matrix of feature vectors of sounds belonging to a corresponding sound category.
  • the sound category corresponding to the second feature vector means the sound category with the same list number C as the second feature vector in the listed first data.
  • the second feature vector corresponding to sound category C will be referred to as the "second feature vector ⁇ C .”
  • the probability p(x) that the external sound is acquired is expressed by equation (4).
  • the second probability p(C) is the second probability that the external sound belongs to sound category C.
  • the subscript C corresponds to the list number C in FIG. 6.
  • the second probability p(C) corresponds to the second probability ⁇ C in FIG. 6, as shown on the right side of equation (4).
  • C) is the conditional probability that an external sound belonging to sound category C is acquired.
  • C) is expressed as N(x
  • the determination unit 17 calculates a first probability p(C
  • the selection unit 18 When the selection unit 18 receives a recording/playback input from the input unit 12, it selects the external sound data to be played back from the external sound data stored in the buffer 14, in the same or similar manner as in the above-described embodiment. The selection unit 18 plays back the external sound data selected for playback through the speaker unit 11, in the same or similar manner as in the above-described embodiment.
  • the updating unit 19 acquires data on the external sound immediately prior to the timing of receiving the recording/playback input, in the same manner as or similar to the embodiment described above.
  • the updating unit 19 updates the first data stored in the category storage unit 15 based on the acquired external sound data.
  • the updating unit 19 identifies the category of the external sound, in the same manner as or similar to the embodiment described above.
  • the updating unit 19 updates the second probability ⁇ C of the category C that is the same as the identified category of the external sound.
  • the updating unit 19 registers the category of the external sound in the first data as a new sound category C.
  • the updating unit 19 may calculate the second probability ⁇ C of the sound of the new sound category C, the first feature vector M C , and the second feature vector ⁇ C from the external sound data.
  • a sound output device 1 obtains a first probability p(C
  • D X ) is a first probability that the external sound D X belongs to a sound category C.
  • the machine learning model is machine-learned to output the first probability p(C
  • the data of the external sound D X may be data in any format depending on the machine learning model used.
  • the data of the external sound D X may be a feature vector of the external sound or waveform data of the external sound.
  • the category storage unit 15 stores neural network parameters.
  • the first data includes neural network parameters. These parameters are, for example, weighting and bias terms between nodes in each layer of the neural network.
  • a determination unit 17 acquires a first probability p(C
  • steps S4 to S7 is the same as or similar to that in the embodiment described above.
  • step S8 the update unit 19 updates the neural network parameters stored in the category storage unit 15 based on the external sound data stored in the buffer 14.
  • the determination unit 17 may determine whether or not to automatically play the external sound based on the first probability p(C
  • the determination unit 17 may determine not to automatically play the acquired external sound. If the determination unit 17 determines to automatically play the acquired external sound, the determination unit 17 automatically plays back data of the acquired external sound by the speaker unit 11.
  • the words to be recorded are proper nouns such as place names or personal names.
  • the words to be recorded are Yokohama and Tanaka.
  • the multiple scores indicate the importance of recording each of the sounds containing the multiple words to be recorded.
  • the scores indicate the importance of recording sounds containing the corresponding words to be recorded.
  • the words to be recorded corresponding to the scores are the words to be recorded associated with the scores in the first data. The higher the importance of recording sounds containing the corresponding words to be recorded, the higher the score is set. The lower the importance of recording sounds containing the corresponding words to be recorded, the higher the score is set.
  • the determination unit 17 determines whether the word of the acquired external sound matches any of the words to be recorded in the category storage unit 15. If the determination unit 17 determines that the word of the acquired external sound matches any of the words to be recorded in the category storage unit 15, it obtains a score for the recorded word that matches the word of the external sound. For example, in Figure 8, the determination unit 17 obtains the word "Yokohama" from the external sound data. The determination unit 17 references the first data in the category storage unit 15, as shown in Figure 7, and obtains a score of 80 associated with the word "Yokohama".
  • the determination unit 17 determines whether the acquired score is equal to or greater than the score threshold.
  • the score threshold may be set taking into consideration user convenience. If the determination unit 17 determines that the acquired score is equal to or greater than the score threshold, it determines that the external sound is to be recorded. If the determination unit 17 determines that the external sound is to be recorded, it stores external sound data corresponding to a sentence containing words that match the words to be recorded in the buffer 14. For example, if the determination unit 17 determines that the score of 80 associated with the word "Yokohama" in Figure 7 is equal to or greater than the score threshold, it stores external sound data corresponding to the sentence "I'm going to Yokohama today" as shown in Figure 8 in the buffer 14. If the determination unit 17 determines that the acquired score is below the score threshold, it determines that the external sound is not to be recorded.
  • the selection unit 18 When the selection unit 18 receives a recording/playback input from the input unit 12, it selects the external sound data to be played back from the external sound data stored in the buffer 14, in the same or similar manner as in the above-described embodiment. The selection unit 18 plays back the external sound data selected for playback through the speaker unit 11, in the same or similar manner as in the above-described embodiment.
  • the update unit 19 updates the first data stored in the category storage unit 15 based on the external sound data stored in the buffer 14.
  • the update unit 19 acquires external sound data immediately prior to the time the recording/playback input was received, in the same or similar manner as in the above-described embodiment.
  • the update unit 19 acquires word data from the external sound data immediately prior to the time the recording/playback input was received, in the same or similar manner as the processing of the determination unit 17. If the acquired word data is not stored in the category storage unit 15, the update unit 19 stores the acquired word data in the category storage unit 15 as a new word to be recorded. In this case, the update unit 19 may set an initial value for the score of the new word to be registered.
  • This initial value may be set in advance according to the user's usage pattern. If the acquired word data is stored in the category storage unit 15, the update unit 19 increases the score of the same word to be recorded as the acquired word. The degree to which the word score is increased may be set in advance in consideration of user convenience.
  • steps S1 and S2 are the same as or similar to that in the above-described embodiment.
  • the determination unit 17 acquires words from the external sound data.
  • the determination unit 17 determines whether the acquired word of the external sound matches any of the words to be recorded in the category storage unit 15. If the determination unit 17 determines that the acquired word of the external sound does not match any of the words to be recorded in the category storage unit 15, it determines that the external sound is not to be recorded (step S3: NO). On the other hand, if the determination unit 17 determines that the acquired word of the external sound matches any of the words to be recorded in the category storage unit 15, it acquires a score associated with the word to be recorded that matches the word of the external sound.
  • step S3 determines that the acquired score is equal to or greater than the score threshold. If the determination unit 17 determines that the external sound is to be recorded (step S3: YES). On the other hand, if the determination unit 17 determines that the acquired score is below the score threshold, it determines that the external sound is not to be recorded (step S3: NO).
  • steps S4 to S8 are the same as or similar to the embodiment described above.
  • the determination unit 17 may determine whether or not to automatically play the acquired external sound based on the score. As an example of this, in this case, if the determination unit 17 determines that the acquired score is equal to or greater than the score threshold, it may further determine whether or not the acquired score is equal to or greater than a third playback threshold. If the determination unit 17 determines that the acquired score is equal to or greater than the third playback threshold, it may determine that the acquired external sound will be automatically played. If the determination unit 17 determines that the acquired score is below the third playback threshold, it may determine that the acquired external sound will not be automatically played. If the determination unit 17 determines that the acquired external sound will be automatically played, it automatically plays the data of the acquired external sound by the speaker unit 11. The third playback threshold is greater than the score threshold. The third playback threshold may be set based on user convenience.
  • a sound output device 101 (output device) 9 , a sound output device 101 (output device) according to yet another embodiment is connectable to a network 2.
  • the network 2 may be any network including a mobile communication network, the Internet, etc.
  • the sound output device 101 determines whether or not the acquired external sound is to be recorded, based on the position information of the sound output device 101 and the first data.
  • Server 3 may be, for example, a dedicated computer configured to function as a server, a general-purpose personal computer, or a cloud computing system.
  • the server 3 stores multiple pieces of second data. Each piece of second data is associated with location information.
  • the second data includes data on sounds to be recorded at the associated location.
  • the location associated with the second data may be set with consideration for user convenience.
  • the location associated with the second data may be, for example, a train station or an airport.
  • the second data includes multiple sound categories, multiple score weights, and multiple feature data, similar to or identical to the first data.
  • Sound output device 101 is equipped with a microphone unit 10, a speaker unit 11, an input unit 12, a memory unit 13, and a control unit 16, which are the same as or similar to sound output device 1 shown in FIG. 2.
  • sound output device 101 is equipped with a positioning unit 20 and a communication unit 21.
  • Positioning unit 20 and communication unit 21 may be housed in either housing 1L or housing 1R as shown in FIG. 1, or may be housed in a housing attached to fixing member 1F.
  • the positioning unit 20 is capable of acquiring position information of the sound output device 101.
  • the positioning unit 20 is configured to include at least one receiving module compatible with a satellite positioning system.
  • the receiving module is, for example, a receiving module compatible with GPS (Global Positioning System).
  • the communication unit 21 is configured to include at least one communication module that can be connected to the network 2.
  • the communication module is, for example, a communication module that supports mobile communication standards such as LTE (Long Term Evolution), 4G (4th Generation), or 5G (5th Generation).
  • the control unit 16 acquires the position information of the sound output device 101 at predetermined time intervals using the positioning unit 20.
  • the predetermined time interval may be set taking into consideration the user's average moving speed, etc.
  • the control unit 16 transmits the position information of the sound output device 101 via the network 2 using the communication unit 21.
  • the server 3 receives location information of the sound output device 101 from the sound output device 101 via the network 2. Upon receiving the location information of the sound output device 101, the server 3 transmits, via the network 2, second data associated with the location information of the sound output device 101 from among the multiple second data stored on the server 3 to the sound output device 101. For example, it is assumed that the location of the sound output device 101 is within Station A. In this case, the server 3 transmits the second data associated with Station A to the sound output device 101.
  • the control unit 16 receives second data associated with the location information of the sound output device 101 from the server 3 via the network 2 using the communication unit 21.
  • the control unit 16 stores the received second data in the category storage unit 15.
  • the category storage unit 15 stores first data and second data as shown in Figure 10. This first data is the same as the first data shown in Figure 3.
  • the second data is data associated with Station A. In Figure 10, the first data and second data are collectively listed and assigned list number C.
  • the determination unit 17 calculates the similarity score SC using equation (1) or equation (2) in the same or similar manner as in the above-described embodiment.
  • the determination unit 17 calculates the overall score STC using equation (3) in the same or similar manner as in the above-described embodiment.
  • the determination unit 17 acquires the maximum overall score ST from the multiple overall scores STC in the same or similar manner as in the above-described embodiment.
  • the determination unit 17 determines whether the overall score ST is equal to or greater than an overall threshold.
  • the overall threshold may be the same as or different from the overall score in the above-described embodiment. If the determination unit 17 determines that the overall score ST is equal to or greater than the overall threshold, it determines that the external sound is to be recorded.
  • the determination unit 17 determines that the overall score ST is below the overall threshold, it determines that the external sound is not to be recorded. In the same or similar manner as in the above-described embodiment, the determination unit 17 may determine whether each overall score STC is equal to or greater than an overall threshold. In this case, when the determination unit 17 determines that at least one of the plurality of total scores S TC is equal to or greater than the total threshold value, it determines that the external sound is to be recorded.
  • the selection unit 18 When the selection unit 18 receives a recording/playback input from the input unit 12, it selects the external sound data to be played back from the external sound data stored in the buffer 14, in the same or similar manner as in the above-described embodiment. The selection unit 18 plays back the external sound data selected for playback through the speaker unit 11, in the same or similar manner as in the above-described embodiment.
  • the update unit 19 acquires data on the external sound immediately prior to the timing at which the recording/playback input was received, in the same or similar manner as in the above-described embodiment.
  • the update unit 19 updates the first data stored in the category storage unit 15 based on the acquired external sound data.
  • the update unit 19 transmits the data on the external sound immediately prior to the timing at which the recording/playback input was received, along with location information of the sound output device 101, to the server 3 via the network 2 via the communication unit 21.
  • the server 3 can update the second data associated with the location information.
  • the control unit 16 acquires position information of the sound output device 101 at predetermined time intervals using the positioning unit 20. As described above, the control unit 16 transmits the user's position information to the server 3, thereby receiving second data associated with the user's position information from the server 3. The control unit 16 stores the received second data in the category storage unit 15.
  • steps S1 to S7 is the same as or similar to that in the embodiment described above.
  • step S8 when the update unit 19 receives a recording/playback input via the input unit 12, it updates the first data in the category storage unit 15 based on the external sound data stored in the buffer 14, in the same or similar manner as in the above-described embodiment.
  • the update unit 19 transmits the external sound data immediately prior to the time the recording/playback input was received, along with location information of the sound output device 101, to the server 3 via the network 2 via the communication unit 21.
  • the determination unit 17 may determine whether to automatically play the acquired external sound based on the multiple similarity scores and the multiple score weights, in the same or similar manner as in the above-described embodiment. As an example, when the determination unit 17 determines that the total score ST is equal to or greater than the total threshold, the determination unit 17 may determine whether the total score ST is equal to or greater than a first playback threshold, in the same or similar manner as in the above-described embodiment. When the determination unit 17 determines that the total score ST is equal to or greater than the first playback threshold, the determination unit 17 may determine to automatically play the acquired external sound. When the determination unit 17 determines that the total score ST is below the first playback threshold, the determination unit 17 may determine not to automatically play the acquired external sound. When the determination unit 17 determines to automatically play the acquired external sound, the determination unit 17 automatically plays back data of the acquired external sound via the speaker unit 11.
  • each functional unit, means, or step can be added to other embodiments so as not to cause logical inconsistencies, or can be replaced with each functional unit, means, or step of other embodiments.
  • multiple functional units, means, or steps can be combined into one or separated.
  • the above-described embodiments of the present disclosure are not limited to faithful implementation of each of the described embodiments, but can also be implemented by combining features or omitting some features as appropriate.
  • the sound output device 1, 101 has been described as a hearable device such as a bone conduction earphone as shown in FIG. 1.
  • the sound output device 1, 101 does not have to be a hearable device.
  • the sound output device 1, 101 may be a device such as a smartphone.
  • the sound output device 1, 101 may further include a communication unit that acquires sound data from an earphone or the like, instead of the microphone unit 10 and speaker unit 11.
  • the sound output device 1, 101 may transmit external sound data stored in the buffer 14 to the earphone or the like via the communication unit.
  • a general-purpose computer functions as the sound output device 1 or sound output device 101 according to the above-described embodiments.
  • a program describing the processing content for realizing each function of the sound output device 1 or sound output device 101 according to the above-described embodiments is stored in the memory of the general-purpose computer, and the program is read and executed by a processor. Therefore, the present disclosure can also be realized as a program executable by a processor, or a non-transitory computer-readable medium that stores the program.
  • an output device is an acquisition unit that acquires sound data; a control unit that determines whether or not the sound acquired by the acquisition unit is to be recorded, based on first data including data of the sound to be recorded; When the control unit receives input for sound playback, the control unit updates the first data based on sound data acquired by the acquisition unit within a predetermined time from the time when the input for sound playback was received.
  • the first data is Multiple categories and a plurality of score weights indicating the importance of sounds belonging to each of the plurality of categories;
  • the control unit may determine whether the acquired sound is to be recorded based on the similarity between the acquired sound and sounds belonging to each of the multiple categories and the multiple score weights.
  • the control unit may determine whether to automatically play back the acquired sound based on the plurality of similarities and the plurality of score weights.
  • the control unit may identify a category to which a sound within a predetermined time from the timing of receiving the input for sound playback belongs, and update the first data based on the identified category.
  • the control unit calculating a total score based on the plurality of similarities and the plurality of score weights; If the total score is equal to or greater than a total threshold, the acquired sound may be determined to be a recording target, and if the total score is equal to or greater than a first playback threshold, the acquired sound may be automatically played back.
  • the control unit calculates a first probability that the sound acquired by the acquisition unit is the recording target based on the first data; When it is determined that the calculated first probability is equal to or greater than a probability threshold, it may be determined that the sound acquired by the acquisition unit is to be recorded.
  • the first data includes a plurality of sound categories, a plurality of second probabilities, a plurality of first feature vectors, and a plurality of second feature vectors;
  • the second probability is a second probability as to whether the sound acquired by the acquisition unit belongs to the corresponding sound category;
  • the first feature vector is an average value of feature vectors of sounds belonging to the corresponding sound category,
  • the second feature vector is a covariance matrix of feature vectors of sounds belonging to the corresponding sound category,
  • the control unit may calculate the first probability using a feature vector of the sound acquired by the acquisition unit and the first data.
  • the first data includes parameters of a neural network used in a machine learning model; the machine learning model is machine-learned to output the first probability when sound data acquired by the acquisition unit is input,
  • the control unit may calculate the first probability using the machine learning model.
  • the control unit may update parameters of the neural network based on sound data within a predetermined time period from the timing at which the input for sound playback is received.
  • the control unit may automatically play back the sound acquired by the acquisition unit when the first probability is equal to or greater than a second playback threshold.
  • the first data is A plurality of words to be recorded; a plurality of scores indicating the importance of recording each of the sounds comprising the plurality of target words;
  • the control unit may determine that the acquired sound is to be recorded when a score of a word included in the sound acquired by the acquisition unit is equal to or greater than a threshold value.
  • the control unit In the output device described in (11), The control unit acquiring word data from sound data within a predetermined time period from the timing of receiving the sound playback input; If the acquired word matches the word to be recorded, increase the score of the word to be recorded; If the acquired word does not match the word to be recorded, the acquired word may be registered in the first data as a new word to be recorded.
  • the control unit may automatically play back the sound acquired by the acquisition unit when the score is equal to or greater than a third playback threshold.
  • a positioning unit capable of acquiring position information of the output device
  • the control unit may determine whether or not the sound acquired by the acquisition unit is to be recorded, based on the location information acquired from the positioning unit and the first data.
  • a sound output method includes: Acquiring sound data; determining whether the acquired sound is to be recorded based on first data including data of the sound to be recorded; When an input for sound playback is received, the first data is updated based on data of the acquired sounds that are present within a predetermined time from the timing at which the input for sound playback is received.
  • references such as “first” and “second” are identifiers used to distinguish the configuration.
  • Configurations distinguished by descriptions such as “first” and “second” in this disclosure may have their numbers swapped.
  • first data may swap the identifiers “first” and “second” with second data.
  • the identifier swapping occurs simultaneously.
  • the configurations remain distinguished even after the identifier swapping.
  • Identifiers may be deleted. Configurations from which identifiers have been deleted are distinguished by their symbols. Identifier descriptions such as “first” and “second” in this disclosure should not be used solely to interpret the order of the configurations or to justify the existence of identifiers with smaller numbers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

出力装置は、音のデータを取得する取得部と、制御部とを備える。制御部は、記録対象となる音のデータを含む第１データに基づいて、取得部によって取得された音が記録対象であるか否かを判定する。制御部は、音再生の入力を受け付けると、取得部によって取得された音のうちの音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、第１データを更新する。

Description

出力装置及び音出力方法 関連出願へのクロスリファレンス
　本出願は、２０２４年５月１７日に日本国に特許出願された特願２０２４－０８０９４２の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、出力装置及び音出力方法に関する。
　従来、ユーザの周囲の音を録音する技術が知られている。例えば、特許文献１には、外部音を集音する集音手段を具備する携帯音楽再生装置が記載されている。
特開２００１－２５６７７１号公報
　本開示の一実施形態に係る出力装置は、
　音のデータを取得する取得部と、
　記録対象となる音のデータを含む第１データに基づいて、前記取得部によって取得された音が記録対象であるか否かを判定する制御部と、を備え、
　前記制御部は、音再生の入力を受け付けると、前記取得部によって取得された音のうちの前記音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、前記第１データを更新する。
　本開示の一実施形態に係る音出力方法は、
　音のデータを取得することと、
　記録対象となる音のデータを含む第１データに基づいて、前記取得された音が記録対象であるか否かを判定することと、
　音再生の入力を受け付けると、前記取得された音のうちの前記音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、前記第１データを更新することと、を含む。
一実施形態に係る音出力装置の概略構成を示す図である。 図２に示す音出力装置のブロック図である。 一実施形態に係る第１データの一例を示す図である。 録音開始及び録音終了の動作の一例を示すタイミングチャートである。 音出力処理の手順例を示すフローチャートである。 他の実施形態に係る第１データの一例を示す図である。 さらに他の実施形態に係る第１データの一例を示す図である。 さらに他の実施形態に係る判定部の処理を説明するための図である。 さらに他の実施形態に係る音出力装置のブロック図である。 さらに他の実施形態に係る第１データ及び第２データの一例を示す図である。
　音を録音する従来の技術には、改善の余地がある。本開示の一実施形態によれば、音を録音する技術を改善することができる。
　以下、本開示に係る実施形態について、図面を参照して説明する。
　図１に示すような音出力装置１（出力装置）は、ヒアラブルデバイスである。本実施形態では、音出力装置１は、骨伝導イヤホンである。ただし、音出力装置１は、ヒアラブルデバイスであれば、骨伝導イヤホンに限定されない。他の例として、音出力装置１は、耳掛け型イヤホン、首掛け型スピーカ、インナーイヤー型イヤホン、カナル型イヤホン、ヘッドホン又は補聴器であってもよい。音出力装置１は、インナーイヤー型イヤホン又はヘッドホンである場合、外部音の取り込み機能を有してよい。外部音の取り込み機能は、音出力装置１の外部音を集音してユーザに出力する機能である。外部音とは、音出力装置１の外部で発せられる音である。一例として、外部音には、ユーザの周囲で発せられる音が含まれる。外部音には、ユーザ自身が発する音が含まれてよい。
　音出力装置１は、筐体１Ｌと、筐体１Ｒと、固定部材１Ｆとを含む。筐体１Ｌは、ユーザの左側のこめかみ部分に当てられる。筐体１Ｒは、ユーザの右側のこめかみ部分に当てられる。固定部材１Ｆは、筐体１Ｌ及び筐体１Ｒをそれぞれユーザの左側及び右側のこめかみ部分に固定する。固定部材１Ｆは、ユーザの左耳に掛けられる左用のイヤーフックと、ユーザの右耳に掛けられる右用のイヤーフックと、これらのイヤーフックを接続するバンドとを含む。固定部材１Ｆは、音出力装置１の各要素を収容可能な筐体が取り付けられてもよい。
　音出力装置１は、ユーザの頭部に装着される。ユーザは、音出力装置１を頭部に装着した状態で、外部音を聞くことができる。しかしながら、ユーザは、他の物事に注意を向けていると、必要な情報を含む外部音を聞き逃してしまうことがある。ユーザは、必要な情報を含む外部音を聞き逃したと感じた場合、音出力装置１に外部音を再生させることができる。音出力装置１に外部音を再生させることにより、ユーザは、必要な情報が外部音に含まれるか否かを確認することができる。
　図２に示すように、本実施形態に係る音出力装置１は、音のデータを取得する取得部として、外部音のデータを集音するマイク部１０を備える。音出力装置１は、マイク部１０に加えて、スピーカ部１１と、入力部１２と、記憶部１３と、制御部１６とを備える。記憶部１３及び制御部１６は、図１に示すような、筐体１Ｌ及び筐体１Ｒの何れかに収容されてもよいし、固定部材１Ｆに取り付けられる筐体に収容されてもよい。
　マイク部１０は、音出力装置１の周囲の外部音を集音可能である。マイク部１０は、左用のマイク及び右用のマイクを含んで構成される。左用のマイクは、筐体１Ｌに収容される。右用のマイクは、筐体１Ｒに収容される。マイク部１０は、左用のマイク及び右用のマイクによって、外部音をステレオ音として集音する。マイク部１０は、集音した外部音を電気信号のデータに変換する。マイク部１０は、電気信号に変換後の外部音のデータを制御部１６に出力する。
　スピーカ部１１は、音を出力可能である。スピーカ部１１は、制御部１６から出力される電気信号を音に変換することにより、音を出力する。本実施形態では、スピーカ部１１は、左用の骨伝導スピーカ及び右用の骨伝導スピーカを含んで構成される。骨伝導スピーカは、制御部１６から出力される電気信号を振動に変換することにより、ユーザの頭蓋骨に振動を伝達させる。骨伝導スピーカは、ユーザの頭蓋骨に振動を伝達させることにより、音をユーザに対して出力する。左用の骨伝導スピーカは、筐体１Ｌに収容される。右用の骨伝導スピーカは、筐体１Ｒに収容される。
　入力部１２は、ユーザからの入力を受け付け可能である。入力部１２は、ユーザからの入力を受け付け可能な少なくとも１つの入力用インタフェースを含んで構成される。入力用インタフェースは、例えば、物理キー又は静電容量キー等である。入力部１２は、図１に示すように筐体１Ｌの表面に位置する。ただし、入力部１２は、筐体１Ｒの表面に位置してもよい。
　記憶部１３は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部１３は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部１３は、音出力装置１の動作に用いられるデータと、音出力装置１の動作によって得られたデータとを記憶する。記憶部１３には、制御部１６によって実行されるプログラムが記憶されてよい。
　記憶部１３は、バッファ１４と、カテゴリ格納部１５とを含む。
　バッファ１４には、マイク部１０によって集音された外部音のデータのうち、後述するように記録対象であると判定された外部音のデータが記憶される。本実施形態において、録音とは、バッファ１４に音のデータを記憶させることを意味する。
　カテゴリ格納部１５には、第１データが格納される。第１データは、記録対象となる音のデータを含む。本実施形態に係る第１データは、図３に示すような、複数の音のカテゴリ（複数のカテゴリ）と、複数のスコア重みと、複数の特徴量のデータとを含む。図３では、第１データは、リスト化されてリスト番号Ｃ（Ｃは、１≦Ｃを満たす整数）が付される。
　音のカテゴリは、任意の音のカテゴリを含んでよい。音のカテゴリは、ユーザの使用態様に基づいて設定されてよい。図３では、音のカテゴリは、アナウンス、複数人での会話、一人のスピーチ、サイレン、悲鳴、子供の遊ぶ声及び大声である。以下、リスト番号Ｃの音のカテゴリは、「音のカテゴリＣ」と記載される。
　複数のスコア重みは、複数の音のカテゴリのそれぞれに属する音の重要度を示す。本実施形態では、スコア重みは、対応する音のカテゴリに属する音を録音する重要度を示す。スコア重みに対応する音のカテゴリとは、リスト化された第１データにおいてスコア重みと同じリスト番号Ｃの音のカテゴリを意味する。以下、音のカテゴリＣに対応するスコア重みは、「スコア重みＷＣ」と記載される。音のカテゴリＣに属する音を録音する重要度が高いほど、スコア重みＷＣは、大きく設定される。音のカテゴリＣに属する音を録音する重要度が低いほど、スコア重みＷＣは、小さく設定される。
　音の特徴量は、対応する音のカテゴリに属する音の特徴量を示す。音の特徴量に対応する音のカテゴリとは、リスト化された第１データにおいて音の特徴量と同じリスト番号Ｃの音のカテゴリを意味する。以下、音のカテゴリＣに対応する音の特徴量は、「特徴量μＣ」と記載される。音の特徴量は、音の特徴を示すものであれば、任意のものであってよい。音の特徴量は、例えば、メル周波数ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstrum Coefficient）、フォルマント周波数、音の周波数スペクトル又はスペクトログラムに示された声紋の値等である。音の周波数スペクトルは、例えば、振幅スペクトル又は位相スペクトル等である。音の特徴量は、数字の文字列で与えられる場合、「音の特徴量ベクトル」とも称される。音の特徴量μＣは、音のカテゴリＣに属する音の特徴量の時間平均値等の平均値であってよい。
　制御部１６は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部１６は、音出力装置１の各部を制御しながら、音出力装置１の動作に関わる処理を実行する。
　制御部１６は、判定部１７と、選択部１８と、更新部１９とを含む。
　判定部１７は、マイク部１０から外部音のデータを取得する。判定部１７は、取得した外部音が記録対象であるか否かを判定する。以下、この処理について説明する。
　まず、判定部１７は、マイク部１０から取得したステレオ音のデータをモノラル音の外部音のデータに変換する。本実施形態では、外部音が記録対象であるか否かを判定する処理には、モノラル音の外部音のデータが用いられる。ただし、この処理には、モノラル音の外部音のデータの代わりに、ステレオ音の外部音のデータの何れか一方が用いられてもよい。ステレオ音の外部音のデータの何れを用いるかは、信頼度等に基づいて予め設定されてよい。
　判定部１７は、変換後のモノラル音の外部音のパワーを算出する。判定部１７は、例えば、外部音の波形データの振幅を二乗することにより、外部音のパワーを算出する。判定部１７は、算出した外部音のパワーがパワー閾値を下回る場合、外部音が記録対象ではないと判定する。パワー閾値は、ユーザが聞きたいアナウンス音等の外部音のパワーに基づいて設定されてよい。
　判定部１７は、算出した外部音のパワーがパワー閾値以上である場合、カテゴリ格納部１５の第１データに基づいて、外部音が記録対象であるか否かを判定する。まず、判定部１７は、類似度スコアＳＣを算出する。類似度スコアＳＣは、外部音と音のカテゴリＣに属する音との間の類似度を示す。類似度スコアＳＣが大きいほど、外部音が音のカテゴリＣに属する可能性が高くなる。判定部１７は、例えば、式（１）又は式（２）によって、類似度スコアＳＣを算出する。式（２）は、コサイン類似度（cosine similarity）を用いた式である。
　ＳＣ＝１００－（ｘ－μＣ）２　　　　　　　　式（１）
　式（１）及び式（２）において、添え字Ｃは、図３におけるリスト番号Ｃに対応する。
　式（１）の特徴量ｘ及び式（２）の上付き矢印とともに示される特徴量ｘは、外部音の特徴量である。
　式（１）又は式（２）から、音のカテゴリＣに属する音と外部音とが完全に一致する場合、類似度スコアＳＣが１００になることが分かる。一方、音のカテゴリＣに属する音と外部音との間の類似度が低いほど、類似度スコアＳＣが小さくなることが分かる。
　判定部１７は、複数の類似度スコアＳＣと複数のスコア重みＷＣとによって、総合スコアＳＴＣを算出する。判定部１７は、例えば、式（３）によって、総合スコアＳＴＣを算出する。
　ＳＴＣ＝ＳＣ＋ＷＣ　　　　　　　　　　　　　式（３）
　判定部１７は、各音のカテゴリＣについての総合スコアＳＴＣを算出すると、算出した複数の総合スコアＳＴＣのうちから最大値となる総合スコアＳＴを取得する。判定部１７は、総合スコアＳＴが総合閾値以上であるか否かを判定する。総合閾値は、ユーザの利便性を考慮して設定されてよい。判定部１７は、総合スコアＳＴが総合閾値以上であると判定した場合、外部音が記録対象であると判定する。ただし、判定部１７は、各総合スコアＳＴＣが総合閾値以上であるか否かを判定してもよい。この場合、判定部１７は、複数の総合スコアＳＴＣの少なくとも１つが総合閾値以上であると判定した場合、外部音が記録対象であると判定する。
　判定部１７は、外部音が記録対象であると判定した場合、外部音の録音を開始する。つまり、判定部１７は、外部音のデータをバッファ１４に記憶させる。本実施形態では、判定部１７は、ステレオ音の外部音のデータをバッファ１４に記憶させる。ただし、判定部１７は、モノラル音の外部音のデータをバッファ１４に記憶させてもよい。
　判定部１７は、外部音の録音を開始した後、外部音のパワーが下回るか又は外部音が特音対象ではなくなると、外部音の録音を終了する。このような判定部１７の処理によって、例えば、図４に示すようなタイミングで録音が開始又は終了する。図４では、判定部１７は、時刻ｔ０，ｔ２，ｔ４，ｔ６で、外部音の録音を開始する。判定部１７は、時刻ｔ１，ｔ３，ｔ５，ｔ７で、外部音の録音を終了する。図４では、外部音のデータＤ０，Ｄ１，Ｄ２，Ｄ３がバッファ１４に記憶される。
　選択部１８は、録音再生の入力（音再生の入力）を入力部１２によって受け付け得る。ユーザは、必要な情報を含む外部音を聞き逃したと感じた場合、録音再生の入力を入力部１２から入力する。
　選択部１８は、録音再生の入力を入力部１２によって受け付けると、バッファ１４に記憶させた外部音のデータのうちから、再生する外部音のデータを選択する。選択部１８は、例えば、バッファ１４に記憶させた外部音のデータのうち、録音再生の入力を受け付けた時刻から所定時間過去に遡った時刻までの外部音のデータを選択する。所定時間は、ユーザの利便性を考慮して設定されてよい。例えば、図４では、時刻ｔ７で、録音再生の入力が受け付けられる。図４では、時刻ｔ２は、時刻ｔ７から所定時間過去に遡った時刻となる。図４では、選択部１８は、外部音のデータＤ１，Ｄ２，Ｄ３を再生する外部音のデータとして選択する。
　選択部１８は、再生すると選択した外部音のデータをスピーカ部１１によって再生する。例えば、選択部１８は、選択した外部音であるステレオ音のデータのうち、マイク部１０の左用のマイクによって集音した外部音をスピーカ部１１の左用のスピーカに出力させる。また、選択部１８は、選択した外部音であるステレオ音のデータのうち、マイク部１０の右用のマイクによって集音した外部音をスピーカ部１１の右用のスピーカに出力させる。選択部１８によって外部音が再生されることにより、ユーザは、聞き逃した外部音を聞くことができる。
　更新部１９は、録音再生の入力を入力部１２によって受け付けると、バッファ１４に記憶された外部音のデータに基づいて、カテゴリ格納部１５の第１データを更新する。ここで、ユーザは、必要な情報を含む外部音を聞き逃したと感じると、録音再生の入力を入力部１２から入力する。つまり、録音再生の入力を受け付けたタイミングの直近の外部音には、ユーザにとって必要な情報となる音すなわち記録対象とすべき音が含まれる可能性が高い。そこで、更新部１９は、外部音のうちで録音再生の入力を受け付けた直近の外部音のデータに基づいて、第１データを更新する。直近とは、入力を受け付けたタイミングから所定時間以内のことである。所定時間は、ユーザの利便性を考慮して予め設定されてよい。又は、所定時間は、制御部１６がユーザから入力部１２を介して受け付けてもよい。所定時間以内は、例えば、５秒以内又は５文節以内であってよい。
　更新部１９は、録音再生の入力を受け付けたタイミングの直近の外部音のデータとして、第１時刻から第２時刻までの外部音のデータを用いてよい。第１時刻は、録音再生の入力を受け付けた時刻である。第２時刻は、第１時刻から過去に設定時間遡った時刻である。設定時間は、必要な情報を含む外部音をユーザが聞き逃したと感じてから録音再生の入力を受け付けるまでの時間を考慮して設定されてよい。設定時間は、例えば、３０秒である。例えば、図４では、上述したように、時刻ｔ７で、録音再生の入力が受け付けられる。そのため、図４では、第１時刻は、時刻ｔ７となる。また、図４では、時刻ｔ７から過去に設定時間遡った時刻は、時刻ｔ４となる。そのため、第２時刻は、時刻ｔ４となる。更新部１９は、録音再生の入力を受け付けたタイミングの直近の外部音のデータとして、時刻ｔ４から時刻ｔ７までの外部音のデータＤ２，Ｄ３を用いる。
　更新部１９は、録音再生の入力を受け付けたタイミングの直近の外部音のデータとして、録音再生の入力を受け付けたタイミングで録音された外部音のデータから所定数前までの外部音のデータを用いてもよい。所定数は、必要な情報を含む外部音をユーザが聞き逃したと感じてから録音再生の入力を受け付けるまでの時間を考慮して設定されてよい。例えば、図４では、所定数は、３であるものとする。図４では、録音再生の入力を受け付けたタイミングで録音された外部音のデータは、外部音のデータＤ３となる。そのため、更新部１９は、外部音のデータＤ３から３つ前までの外部音のデータＤ１，Ｄ２，Ｄ３を用いる。
　更新部１９は、録音再生の入力を受け付けたタイミングの直近の外部音のデータを取得すると、取得した外部音が属する音のカテゴリを特定する。以下、外部音が属する音のカテゴリは、「外部音のカテゴリ」と記載される。更新部１９は、例えば、式（１）又は式（２）によって類似度スコアＳＣを算出し、算出した類似度スコアＳＣが類似度閾値以上である場合、カテゴリＣを外部音のカテゴリとして特定する。又は、更新部１９は、判定部１７が算出した類似度スコアＳＣのデータを用いて、外部音のカテゴリを特定してよい。
　更新部１９は、外部音のカテゴリを特定すると、特定した外部音のカテゴリに基づいて、カテゴリ格納部１５の第１データを更新する。一例として、更新部１９は、カテゴリ格納部１５の第１データのうち、外部音のカテゴリと同じ音のカテゴリＣのスコア重みＷＣを増加させる。スコア重みＷＣを増加させる度合いは、ユーザの利便性を考慮して予め設定されてよい。他の例として、更新部１９は、外部音のカテゴリがカテゴリ格納部１５の第１データに存在しない場合、外部音のカテゴリを新たな音のカテゴリＣとして第１データに登録する。この場合、更新部１９は、新たな音のカテゴリＣの音の特徴量μＣを外部音のデータから算出してよい。また、更新部１９は、新たな音のカテゴリＣのスコア重みＷＣには、初期値を登録してよい。この初期値は、ユーザの使用態様に応じて予め設定されてよい。
　（音出力装置の動作）
　図５は、音出力処理の手順例を示すフローチャートである。この音出力処理は、本実施形態に係る音出力方法に相当する。音出力装置１は、例えば、音出力装置１の電源がオンになると、ステップＳ１の処理を開始する。
　マイク部１０は、音出力装置１の周囲の外部音を集音する（ステップＳ１）。マイク部１０は、集音した外部音を電気信号のデータに変換する。マイク部１０は、電気信号に変換後の外部音のデータを制御部１６に出力する。
　判定部１７は、マイク部１０から外部音のデータを取得し、取得した外部音のパワーがパワー閾値以上であるか否かを判定する（ステップＳ２）。判定部１７は、外部音のパワーがパワー閾値以上であると判定した場合（ステップＳ２：ＹＥＳ）、ステップＳ３の処理に進む。一方、判定部１７は、外部音のパワーがパワー閾値を下回ると判定した場合（ステップＳ２：ＮＯ）、ステップＳ４の処理に進む。
　ステップＳ３の処理では、判定部１７は、カテゴリ格納部１５の第１データに基づいて、外部音が記録対象であるか否かを判定する。本実施形態では、判定部１７は、式（１）又は式（２）と、式（３）とによって、総合スコアＳＴを算出する。判定部１７は、総合スコアＳＴが総合閾値以上であると判定した場合、外部音が記録対象であると判定する。
　判定部１７は、外部音が記録対象ではないと判定した場合（ステップＳ３：ＮＯ）、ステップＳ４の処理に進む。一方、判定部１７は、外部音が記録対象であると判定した場合（ステップＳ３：ＹＥＳ）、ステップＳ５の処理に進む。
　ステップＳ４の処理では、判定部１７は、外部音の録音を終了する。ただし、判定部１７は、ステップＳ４の処理前に録音が開始されていない場合、外部音を録音しない状態を維持する。
　ステップＳ５の処理では、判定部１７は、外部音の録音を開始する。
　ステップＳ６の処理では、制御部１６は、録音再生の入力を入力部１２によって受け付けたか否かを判定する。制御部１６が録音再生の入力を入力部１２によって受け付けたと判定しない場合（ステップＳ６：ＮＯ）、音出力装置１は、ステップＳ１の処理に戻る。一方、制御部１６は、録音再生の入力を入力部１２によって受け付けたと判定した場合（ステップＳ６：ＹＥＳ）、ステップＳ７の処理に進む。
　ステップＳ７の処理では、選択部１８は、バッファ１４に記憶させた外部音のデータのうちから、再生する外部音のデータを選択する。選択部１８は、再生すると選択した外部音のデータをスピーカ部１１によって再生する。
　ステップＳ８の処理では、更新部１９は、録音再生の入力を受け付けると、バッファ１４に記憶された外部音のデータに基づいて、カテゴリ格納部１５の第１データを更新する。
　ここで、ステップＳ３の処理において、判定部１７は、複数の類似度スコアと複数のスコア重みとに基づいて、取得した外部音を自動的に再生するか否かを判定してもよい。この一例として、判定部１７は、総合スコアＳＴが総合閾値以上であると判定した場合、さらに総合スコアＳＴが第１再生閾値以上であるか否かを判定してもよい。判定部１７は、総合スコアＳＴが第１再生閾値以上であると判定した場合、取得した外部音を自動的に再生すると判定してよい。判定部１７は、総合スコアＳＴが第１再生閾値を下回ると判定した場合、取得した外部音を自動的に再生しないと判定してよい。判定部１７は、取得した外部音を自動的に再生すると判定した場合、取得した外部音のデータをスピーカ部１１によって自動的に再生する。第１再生閾値は、総合閾値よりも大きい。第１再生閾値は、ユーザの利便性に基づいて設定されてもよい。
　このように本実施形態に係る音出力装置１では、判定部１７は、記録対象となる音のデータを含む第１データに基づいて、外部音が記録対象であるか否かを判定する。外部音が記録対象であるか否かを判定することにより、ユーザにとって必要な情報を含む外部音を録音することができる。つまり、バッファ１４には、ユーザにとって必要な情報を含む外部音のデータのみを記憶させることができる。このような構成により、外部音が再生される際、ユーザにとって必要な情報を含む外部音のデータのみが再生される。したがって、ユーザは、必要な情報を含む外部音のみを聞くことができる。
　さらに、本実施形態では、更新部１９は、録音再生の入力を受け付けたタイミングの直近の外部音のデータに基づいて、カテゴリ格納部１５の第１データを更新する。上述したように、ユーザは、必要な情報を含む外部音を聞き逃したと感じると、録音再生の入力を入力部１２から入力する。つまり、録音再生の入力を受け付けたタイミングの直近の外部音には、ユーザにとって必要な情報となる音すなわち記録対象とすべき音が含まれる可能性が高い。録音再生の入力を受け付けたタイミングの直近の外部音のデータに基づいてカテゴリ格納部１５の第１データを更新することにより、更新後の第１データは、ユーザにとって必要な情報となる音のデータを反映したものとなる。このような構成により、更新後の第１データに基づいて、外部音が記録対象であるか否かを精度よく判定することができる。
　よって、本実施形態によれば、音を録音する技術を改善することができる。
　（他の実施形態に係る音出力装置）
　他の実施形態に係る音出力装置１は、外部音が記録対象であるかについての第１確率を算出し、算出した第１確率に基づいて外部音が記録対象であるか否かを判定する。他の実施形態に係る第１確率の算出には、混合ガウス分布（ＧＭＭ：Gaussian Mixture Model）が用いられる。
　他の実施形態に係るカテゴリ格納部１５には、図６に示すような、第１データが格納される。他の実施形態に係る第１データは、複数の音のカテゴリと、複数の第２確率と、複数の第１特徴量ベクトルと、複数の第２特徴量ベクトルとを含む。図６では、図３と同じ又は類似に、音のカテゴリのデータは、リスト化されてリスト番号Ｃ（Ｃは、１≦Ｃを満たす整数）が付される。
　音のカテゴリは、図３に示すような音のカテゴリと同じ又は類似に設定される。図３と同じく、リスト番号Ｃの音のカテゴリは、「音のカテゴリＣ」と記載される。
　第２確率は、対応する音のカテゴリに外部音が属するかについての確率である。第２確率に対応する音のカテゴリとは、リスト化された第１データにおいて第２確率と同じリスト番号Ｃの音のカテゴリを意味する。以下、音のカテゴリＣに対応する第２確率は、「第２確率ωＣ」と記載される。
　第１特徴量ベクトルは、対応する音のカテゴリに属する音の特徴ベクトルの時間平均等の平均値である。第１特徴量ベクトルに対応する音のカテゴリとは、リスト化された第１データにおいて第１特徴量と同じリスト番号Ｃの音のカテゴリを意味する。以下、音のカテゴリＣに対応する第１特徴量ベクトルは、「第１特徴量ベクトルΜＣ」と記載される。
　第２特徴量ベクトルは、対応する音のカテゴリに属する音の特徴量ベクトルの共分散行列である。第２特徴量ベクトルに対応する音のカテゴリとは、リスト化された第１データにおいて第２特徴量ベクトルと同じリスト番号Ｃの音のカテゴリを意味する。以下、音のカテゴリＣに対応する第２特徴量ベクトルは、「第２特徴量ベクトルΣＣ」と記載される。
　ここで、混合ガウス分布を用いると、外部音の特徴量ベクトルを「特徴量ベクトルｘ」と記載する場合、その外部音が取得される確率ｐ（ｘ）は、式（４）によって表される。
　式（４）において、第２確率ｐ（Ｃ）は、音のカテゴリＣに外部音が属するかについての第２確率である。添え字Ｃは、図６におけるリスト番号Ｃに対応する。第２確率ｐ（Ｃ）は、式（４）の右辺に示されるように、図６における第２確率ωＣに対応する。
　式（４）において、確率ｐ（ｘ｜Ｃ）は、音のカテゴリＣに属する外部音が取得される条件付き確率である。確率ｐ（ｘ｜Ｃ）は、式（４）の右辺に示されるように、図６に示すような第１特徴量ベクトルμＣ及び第２特徴量ベクトルΣＣを用いると、Ｎ（ｘ｜μＣ，ΣＣ）と表される。
　式（４）から式（５）が導かれる。式（５）は、第１確率ｐ（Ｃ｜ｘ）を算出する式である。第１確率ｐ（Ｃ｜ｘ）は、特徴量ベクトルｘを有する外部音が音のカテゴリＣに属する第１確率である。
　他の実施形態に係る判定部１７は、外部音の特徴量ベクトルｘと、カテゴリ格納部１５の第１データと、式（５）とによって、第１確率ｐ（Ｃ｜ｘ）を算出する。判定部１７は、算出した第１確率ｐ（Ｃ｜ｘ）が確率閾値以上であるか否かを判定する。判定部１７は、算出した第１確率ｐ（Ｃ｜ｘ）が確率閾値以上であると判定した場合、外部音が記録対象であると判定する。判定部１７は、算出した第１確率ｐ（Ｃ｜ｘ）が確率閾値を下回ると判定した場合、外部音が記録対象ではないと判定する。
　選択部１８は、録音再生の入力を入力部１２によって受け付けると、上述した実施形態と同じ又は類似に、バッファ１４に記憶させた外部音のデータのうちから、再生する外部音のデータを選択する。上述した実施形態と同じ又は類似に、選択部１８は、再生すると選択した外部音のデータをスピーカ部１１によって再生する。
　更新部１９は、録音再生の入力を入力部１２によって受け付けると、上述した実施形態と同じ又は類似に、録音再生の入力を受け付けたタイミングの直近の外部音のデータを取得する。更新部１９は、取得した外部音のデータに基づいて、カテゴリ格納部１５に格納された第１データを更新する。一例として、更新部１９は、上述した実施形態と同じ又は類似に、外部音のカテゴリを特定する。更新部１９は、特定した外部音のカテゴリと同じカテゴリＣの第２確率ωＣを更新する。他の例として、更新部１９は、外部音のカテゴリがカテゴリ格納部１５の第１データに存在しない場合、外部音のカテゴリを新たな音のカテゴリＣとして第１データに登録する。更新部１９は、新たな音のカテゴリＣの音の第２確率ωＣ、第１特徴量ベクトルＭＣ及び第２特徴量ベクトルΣＣを外部音のデータから算出してよい。
　（他の実施形態に係る音出力装置の動作）
　他の実施形態に係る音出力装置１の動作は、図５に示すフローチャートによって説明される。
　ステップＳ１，Ｓ２の処理は、上述した実施形態と同じ又は類似である。
　ステップＳ３の処理では、判定部１７は、外部音の特徴量ベクトルｘと、カテゴリ格納部１５の第１データと、式（５）とによって、第１確率ｐ（Ｃ｜ｘ）を算出する。判定部１７は、算出した第１確率ｐ（Ｃ｜ｘ）が確率閾値以上であると判定した場合、外部音が記録対象であると判定する（ステップＳ３：ＹＥＳ）。一方、判定部１７は、算出した第１確率ｐ（Ｃ｜ｘ）が確率閾値を下回ると判定した場合、外部音が記録対象ではないと判定する（ステップＳ３：ＮＯ）。
　ステップＳ４～Ｓ８の処理は、上述した実施形態と同じ又は類似である。
　ここで、ステップＳ３の処理において、判定部１７は、第１確率ｐ（Ｃ｜ｘ）に基づいて、取得した外部音を自動的に再生するか否かを判定してもよい。この一例として、判定部１７は、第１確率ｐ（Ｃ｜ｘ）が確率閾値以上であると判定した場合、第１確率ｐ（Ｃ｜ｘ）が第２再生閾値以上であるか否かを判定してもよい。判定部１７は、第１確率ｐ（Ｃ｜ｘ）が第２再生閾値以上であると判定した場合、取得した外部音を自動的に再生すると判定してよい。判定部１７は、第１確率ｐ（Ｃ｜ｘ）が第２再生閾値を下回ると判定した場合、取得した外部音を自動的に再生しないと判定してよい。判定部１７は、取得した外部音を自動的に再生すると判定した場合、取得した外部音のデータをスピーカ部１１によって自動的に再生する。第２再生閾値は、確率閾値よりも大きい。第２再生閾値は、ユーザの利便性に基づいて設定されてもよい。
　他の実施形態に係る音出力装置１のその他の構成及び効果は、上述した実施形態と同じ又は類似である。
　（さらに他の実施形態に係る音出力装置）
　さらに他の実施形態に係る音出力装置１は、機械学習モデルによって、第１確率ｐ（Ｃ｜ＤＸ）を取得する。第１確率ｐ（Ｃ｜ＤＸ）は、外部音ＤＸが音のカテゴリＣに属するかについての第１確率である。機械学習モデルは、外部音ＤＸのデータが入力されると、第１確率ｐ（Ｃ｜ＤＸ）を出力するように機械学習したものである。外部音ＤＸのデータは、用いられる機械学習モデルに応じた任意の形式のデータであってよい。一例として、外部音ＤＸのデータは、外部音の特徴量ベクトルであってもよいし、外部音の波形データであってもよい。機械学習モデルの学習データは、例えば、外部音の波形又は特徴量と、その外部音が属するカテゴリＣをラベル付けしたものである。機械学習モデルは、ニューラルネットワークを用いたものである。ニューラルネットワークは、入力層と、中間層と、出力層とを含む。ニューラルネットワークの各層は、少なくとも１つのノードを含む。
　さらに他の実施形態に係るカテゴリ格納部１５には、ニューラルネットワークのパラメータが格納される。つまり、さらに他の実施形態に係る第１データは、ニューラルネットワークのパラメータを含む。このパラメータは、例えば、ニューラルネットワークの各層のノード間の重み付け及びバイアス項等である。
　さらに他の実施形態に係る判定部１７は、外部音ＤＸのデータを機械学習モデルに入力することにより、第１確率ｐ（Ｃ｜ＤＸ）を取得する。判定部１７は、取得した第１確率ｐ（Ｃ｜ＤＸ）が確率閾値以上であるか否かを判定する。判定部１７は、取得した第１確率ｐ（Ｃ｜ＤＸ）が確率閾値以上であると判定した場合、外部音が記録対象であると判定する。判定部１７は、取得した第１確率ｐ（Ｃ｜ＤＸ）が確率閾値を下回ると判定した場合、外部音が記録対象ではないと判定する。
　選択部１８は、録音再生の入力を入力部１２によって受け付けると、上述した実施形態と同じ又は類似に、バッファ１４に記憶させた外部音のデータのうちから、再生する外部音のデータを選択する。上述した実施形態と同じ又は類似に、選択部１８は、再生すると選択した外部音のデータをスピーカ部１１によって再生する。
　更新部１９は、録音再生の入力を入力部１２によって受け付けると、上述した実施形態と同じ又は類似に、録音再生の入力を受け付けたタイミングの直近の外部音のデータを取得する。更新部１９は、取得した外部音のデータに基づいて、カテゴリ格納部１５に格納されたニューラルネットワークのパラメータを更新する。
　（さらに他の実施形態に係る音出力装置の動作）
　さらに他の実施形態に係る音出力装置１の動作は、図５に示すフローチャートによって説明される。
　ステップＳ１，Ｓ２の処理は、上述した実施形態と同じ又は類似である。
　ステップＳ３の処理では、判定部１７は、外部音ＤＸのデータを機械学習モデルに入力することにより、第１確率ｐ（Ｃ｜ＤＸ）を取得する。判定部１７は、取得した第１確率ｐ（Ｃ｜ＤＸ）が確率閾値以上であると判定した場合、外部音が記録対象であると判定する（ステップＳ３：ＹＥＳ）。判定部１７は、取得した第１確率ｐ（Ｃ｜ＤＸ）が確率閾値を下回ると判定した場合、外部音が記録対象ではないと判定する（ステップＳ３：ＮＯ）。
　ステップＳ４～Ｓ７の処理は、上述した実施形態と同じ又は類似である。
　ステップＳ８の処理では、更新部１９は、バッファ１４に記憶された外部音のデータに基づいて、カテゴリ格納部１５に格納されたニューラルネットワークのパラメータを更新する。
　ここで、ステップＳ３の処理において、判定部１７は、上述した実施形態と同じ又は類似に、第１確率ｐ（Ｃ｜ＤＸ）に基づいて、外部音を自動的に再生するか否かを判定してもよい。この一例として、判定部１７は、第１確率ｐ（Ｃ｜ＤＸ）が確率閾値以上であると判定した場合、上述した実施形態と同じ又は類似に、第１確率ｐ（Ｃ｜ＤＸ）が第２再生閾値以上であるか否かを判定してもよい。上述した実施形態と同じ又は類似に、判定部１７は、第１確率ｐ（Ｃ｜ＤＸ）が第２再生閾値以上であると判定した場合、取得した外部音を自動的に再生すると判定してよい。判定部１７は、第１確率ｐ（Ｃ｜ＤＸ）が第２再生閾値を下回ると判定した場合、取得した外部音を自動的に再生しないと判定してよい。判定部１７は、取得した外部音を自動的に再生すると判定した場合、取得した外部音のデータをスピーカ部１１によって自動的に再生する。
　（さらに他の実施形態に係る音出力装置）
　さらに他の実施形態に係る音出力装置１は、外部音に含まれる単語によって、外部音が記録対象であるか否かを判定する。
　さらに他の実施形態に係るカテゴリ格納部１５には、図７に示すような、第１データが格納される。第１データは、複数の記録対象の単語と、複数のスコアとを含む。第１データにおいて、複数の記録対象の単語のそれぞれと、複数のスコアのそれぞれとは、対応付けられる。
　記録対象の単語は、地名又は人名等の固有名詞である。図７では、記録対象の単語は、横浜及び田中である。
　複数のスコアは、複数の記録対象の単語を含む音のそれぞれを録音する重要度を示す。本実施形態では、スコアは、対応する記録対象の単語を含む音を録音する重要度を示す。スコアに対応する記録対象の単語は、第１データにおいてスコアに対応付けられた記録対象の単語である。スコアは、対応する記録対象の単語を含む音を録音する重要度が高いほど、大きく設定される。スコアは、対応する記録対象の単語を含む音を録音する重要度が低いほど、大きく設定される。
　さらに他の実施形態に係る判定部１７は、外部音のデータに対して音声認識処理を実行する。判定部１７は、外部音のデータに対して音声認識処理を実行することにより、外部音に含まれる文字列のデータを取得する。判定部１７は、取得した外部音の文字列のデータに対して形態素解析を実行することにより、外部音の文字列から形態素のデータを取得する。判定部１７は、外部音の形態素のデータから単語のデータを取得する。例えば、判定部１７は、外部音のデータに対して音声認識処理を実行することにより、図８に示すような「今日は横浜に行きます」との文字列のデータを取得したものとする。この場合、判定部１７は、取得した文字列のデータに対して形態素解析を実行することにより、「今日」、「は」、「横浜」、「に」、「行き」及び「ます」との形態素のデータを取得する。判定部１７は、形態素のデータから「横浜」との単語のデータを取得する。
　判定部１７は、取得した外部音の単語がカテゴリ格納部１５の記録対象の単語の何れかと一致するか否かを判定する。判定部１７は、取得した外部音の単語がカテゴリ格納部１５の記録対象の単語の何れかと一致すると判定した場合、外部音の単語と一致する記録対象の単語のスコアを取得する。例えば、図８では、判定部１７は、外部音のデータから「横浜」との単語を取得する。判定部１７は、カテゴリ格納部１５の図７に示すような第１データを参照し、「横浜」との単語に対応付けられたスコアの８０を取得する。
　判定部１７は、取得したスコアがスコア閾値以上であるか否かを判定する。スコア閾値は、ユーザの利便性を考慮して設定されてよい。判定部１７は、取得したスコアがスコア閾値以上であると判定した場合、外部音が記録対象であると判定する。判定部１７は、外部音が記録対象であると判定した場合、記録対象の単語と一致する単語を含む外部音について、一文に対応する外部音のデータをバッファ１４に記憶させる。例えば、判定部１７は、図７における、「横浜」との単語に対応付けられたスコアの８０がスコア閾値以上であると判定した場合、図８に示すような「今日は横浜に行きます」との一文に対応する外部音のデータをバッファ１４に記憶させる。判定部１７は、取得したスコアがスコア閾値を下回ると判定した場合、外部音が記録対象ではないと判定する。
　選択部１８は、録音再生の入力を入力部１２によって受け付けると、上述した実施形態と同じ又は類似に、バッファ１４に記憶させた外部音のデータのうちから、再生する外部音のデータを選択する。上述した実施形態と同じ又は類似に、選択部１８は、再生すると選択した外部音のデータをスピーカ部１１によって再生する。
　更新部１９は、録音再生の入力を入力部１２によって受け付けると、バッファ１４に記憶された外部音のデータに基づいて、カテゴリ格納部１５に格納された第１データを更新する。更新部１９は、上述した実施形態と同じ又は類似に、録音再生の入力を受け付けたタイミングの直近の外部音のデータを取得する。更新部１９は、判定部１７の処理と同じ又は類似にして、録音再生の入力を受け付けたタイミングの直近の外部音のデータから単語のデータを取得する。更新部１９は、取得した単語のデータがカテゴリ格納部１５に格納されていない場合、取得した単語のデータを新たな記録対象の単語としてカテゴリ格納部１５に格納する。この場合、更新部１９は、新たな登録対象の単語のスコアには初期値を設定してよい。この初期値は、ユーザの使用態様に応じて予め設定されてよい。更新部１９は、取得した単語のデータがカテゴリ格納部１５に格納されている場合、取得した単語と同じ記録対象の単語のスコアを増加させる。単語のスコアを増加させる度合いは、ユーザの利便性を考慮して予め設定されてよい。
　（さらに他の実施形態に係る音出力装置の動作）
　さらに他の実施形態に係る音出力装置１の動作は、図５に示すフローチャートによって説明される。
　ステップＳ１，Ｓ２の処理は、上述した実施形態と同じ又は類似である。
　ステップＳ３の処理では、判定部１７は、外部音のデータから単語を取得する。判定部１７は、取得した外部音の単語がカテゴリ格納部１５の記録対象の単語の何れかと一致するか否かを判定する。判定部１７は、取得した外部音の単語がカテゴリ格納部１５の記録対象の単語の何れとも一致しないと判定した場合、外部音が記録対象ではないと判定する（ステップＳ３：ＮＯ）。一方、判定部１７は、取得した外部音の単語がカテゴリ格納部１５の記録対象の単語の何れかと一致すると判定した場合、外部音の単語と一致する記録対象の単語に対応付けられたスコアを取得する。判定部１７は、取得したスコアがスコア閾値以上であると判定した場合、外部音が記録対象であると判定する（ステップＳ３：ＹＥＳ）。一方、判定部１７は、取得したスコアがスコア閾値を下回ると判定した場合、外部音が記録対象ではないと判定する（ステップＳ３：ＮＯ）。
　ステップＳ４～Ｓ８の処理は、上述した実施形態と同じ又は類似である。
　ここで、ステップＳ３の処理において、判定部１７は、スコアに基づいて、取得した外部音を自動的に再生するか否かを判定してもよい。この一例として、この場合、判定部１７は、取得したスコアがスコア閾値以上であると判定した場合、さらに取得したスコアが第３再生閾値以上であるか否かを判定してもよい。判定部１７は、取得したスコアが第３再生閾値以上であると判定した場合、取得した外部音を自動的に再生すると判定してよい。判定部１７は、取得したスコアが第３再生閾値を下回ると判定した場合、取得した外部音を自動的に再生しないと判定してよい。判定部１７は、取得した外部音を自動的に再生すると判定した場合、取得した外部音のデータをスピーカ部１１によって自動的に再生する。第３再生閾値は、スコア閾値よりも大きい。第３再生閾値は、ユーザの利便性に基づいて設定されてもよい。
　（さらに他の実施形態に係る音出力装置）
　図９に示すように、さらに他の実施形態に係る音出力装置１０１（出力装置）は、ネットワーク２に接続可能である。ネットワーク２は、移動体通信網及びインターネット等を含む任意のネットワークであってよい。音出力装置１０１は、音出力装置１０１の位置情報と第１データとに基づいて、取得された外部音が記録対象であるか否かを判定する。
　サーバ３は、例えば、サーバとして機能するように構成された専用のコンピュータ、汎用のパーソナルコンピュータ又はクラウドコンピューティングシステム等である。
　サーバ３には、複数の第２データが格納される。複数の第２データには、それぞれ、位置情報が対応付けられる。第２データは、対応付けられた位置における記録対象となる音のデータを含む。第２データに対応付けられる位置は、ユーザの利便性を考慮して設定されてよい。第２データに対応付けられる位置は、例えば、駅構内又は空港等である。第２データは、第１データと同じ又は類似に、複数の音のカテゴリと、複数のスコア重みと、複数の特徴量のデータとを含む。
　音出力装置１０１は、図２に示すような音出力装置１と同じ又は類似に、マイク部１０と、スピーカ部１１と、入力部１２と、記憶部１３と、制御部１６とを備える。これらに加えて、音出力装置１０１は、測位部２０と、通信部２１とを備える。測位部２０及び通信部２１は、図１に示すような、筐体１Ｌ及び筐体１Ｒの何れかに収容されてもよいし、固定部材１Ｆに取り付けられる筐体に収容されてもよい。
　測位部２０は、音出力装置１０１の位置情報を取得可能である。測位部２０は、衛星測位システムに対応する少なくとも１つの受信モジュールを含んで構成される。受信モジュールは、例えば、ＧＰＳ（Global Positioning System）に対応した受信モジュールである。
　通信部２１は、ネットワーク２に接続可能な少なくとも１つの通信モジュールを含んで構成される。通信モジュールは、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信規格に対応した通信モジュールである。
　制御部１６は、所定時間毎に、音出力装置１０１の位置情報を測位部２０によって取得する。所定時間は、ユーザの平均移動速度等を考慮して設定されてよい。音出力装置１０１がユーザの頭部に装着されることにより、音出力装置１０１の位置情報は、ユーザの位置情報となる。制御部１６は、ネットワーク２を介して音出力装置１０１の位置情報を通信部２１によって送信する。
　サーバ３は、ネットワーク２を介して音出力装置１０１から、音出力装置１０１の位置情報を受信する。サーバ３は、音出力装置１０１の位置情報を受信すると、サーバ３に格納された複数の第２データのうちから、音出力装置１０１の位置情報が対応付けられた第２データをネットワーク２を介して音出力装置１０１に送信する。例えば、音出力装置１０１の位置は、Ａ駅構内であるものとする。この場合、サーバ３は、Ａ駅構内に対応付けられた第２データを音出力装置１０１に送信する。
　制御部１６は、ネットワーク２を介してサーバ３から、音出力装置１０１の位置情報が対応付けられた第２データを通信部２１によって受信する。制御部１６は、受信した第２データをカテゴリ格納部１５に格納させる。
　カテゴリ格納部１５には、図１０に示すような第１データ及び第２データが格納される。この第１データは、図３に示す第１データと同じである。第２データは、Ａ駅構内に対応付けられたデータである。図１０では、第１データ及び第２データは、まとめてリスト化されてリスト番号Ｃが付される。
　判定部１７は、上述した実施形態と同じ又は類似に、式（１）又は式（２）によって類似度スコアＳＣを算出する。判定部１７は、上述した実施形態と同じ又は類似に、式（３）によって、総合スコアＳＴＣを算出する。判定部１７は、上述した実施形態と同じ又は類似に、複数の総合スコアＳＴＣのうちから最大値となる総合スコアＳＴを取得する。判定部１７は、総合スコアＳＴが総合閾値以上であるか否かを判定する。総合閾値は、上述した実施形態における総合スコアと同じであってもよいし、異なってもよい。判定部１７は、総合スコアＳＴが総合閾値以上であると判定した場合、外部音が記録対象であると判定する。判定部１７は、総合スコアＳＴが総合閾値を下回ると判定した場合、外部音が記録対象ではないと判定する。上述した実施形態と同じ又は類似に、判定部１７は、各総合スコアＳＴＣが総合閾値以上であるか否かを判定してもよい。この場合、判定部１７は、複数の総合スコアＳＴＣの少なくとも１つが総合閾値以上であると判定した場合、外部音が記録対象であると判定する。
　選択部１８は、録音再生の入力を入力部１２によって受け付けると、上述した実施形態と同じ又は類似に、バッファ１４に記憶させた外部音のデータのうちから、再生する外部音のデータを選択する。上述した実施形態と同じ又は類似に、選択部１８は、再生すると選択した外部音のデータをスピーカ部１１によって再生する。
　更新部１９は、録音再生の入力を入力部１２によって受け付けると、上述した実施形態と同じ又は類似に、録音再生の入力を受け付けたタイミングの直近の外部音のデータを取得する。更新部１９は、取得した外部音のデータに基づいて、カテゴリ格納部１５に格納された第１データを更新する。さらに他の実施形態では、更新部１９は、音出力装置１０１の位置情報とともに、録音再生の入力を受け付けたタイミングの直近の外部音のデータを、ネットワーク２を介してサーバ３に通信部２１によって送信する。このような構成により、サーバ３は、位置情報に対応付けられた第２データを更新することができる。
　（さらに他の実施形態に係る音出力装置の動作）
　さらに他の実施形態に係る音出力装置１の動作は、図５に示すフローチャートによって説明される。ただし、制御部１６は、図５に示す処理と並行して、所定時間毎に、音出力装置１０１の位置情報を測位部２０によって取得する。上述したように、制御部１６は、ユーザの位置情報をサーバ３に送信することにより、サーバ３からユーザの位置情報に対応付けられた第２データを受信する。制御部１６は、受信した第２データをカテゴリ格納部１５に格納させる。
　ステップＳ１～Ｓ７の処理は、上述した実施形態と同じ又は類似である。
　ステップＳ８の処理では、更新部１９は、録音再生の入力を入力部１２によって受け付けると、上述した実施形態と同じ又は類似に、バッファ１４に記憶された外部音のデータに基づいて、カテゴリ格納部１５の第１データを更新する。さらに他の実施形態では、更新部１９は、音出力装置１０１の位置情報とともに、録音再生の入力を受け付けたタイミングの直近の外部音のデータを、ネットワーク２を介してサーバ３に通信部２１によって送信する。
　ここで、ステップＳ３の処理において、判定部１７は、上述した実施形態と同じ又は類似に、複数の類似度スコアと複数のスコア重みとに基づいて、取得した外部音を自動的に再生するか否かを判定してもよい。この一例として、判定部１７は、総合スコアＳＴが総合閾値以上であると判定した場合、上述した実施形態と同じ又は類似に、総合スコアＳＴが第１再生閾値以上であるか否かを判定してもよい。判定部１７は、総合スコアＳＴが第１再生閾値以上であると判定した場合、取得した外部音を自動的に再生すると判定してよい。判定部１７は、総合スコアＳＴが第１再生閾値を下回ると判定した場合、取得した外部音を自動的に再生しないと判定してよい。判定部１７は、取得した外部音を自動的に再生すると判定した場合、取得した外部音のデータをスピーカ部１１によって自動的に再生する。
　本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、１つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
　例えば、上述した実施形態では、音出力装置１，１０１は、図１に示すような骨伝導イヤホン等のヒアラブルデバイスであるものとして説明した。ただし、音出力装置１，１０１は、ヒアラブルデバイスではなくてもよい。他の例として、音出力装置１，１０１は、スマートフォン等の装置であってもよい。この場合、音出力装置１，１０１は、マイク部１０及びスピーカ部１１の代わりに、イヤホン等から音のデータを取得する通信部をさらに備えてもよい。また、音出力装置１，１０１は、当該通信部によって、バッファ１４に記憶された外部音のデータをイヤホン等に送信してもよい。
　例えば、汎用のコンピュータを、上述した実施形態に係る音出力装置１又は音出力装置１０１として機能させる実施形態も可能である。具体的には、上述した実施形態に係る音出力装置１又は音出力装置１０１の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は、当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。
　一実施形態において、（１）出力装置は、
　音のデータを取得する取得部と、
　記録対象となる音のデータを含む第１データに基づいて、前記取得部によって取得された音が記録対象であるか否かを判定する制御部と、を備え、
　前記制御部は、音再生の入力を受け付けると、前記取得部によって取得された音のうちの前記音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、前記第１データを更新する。
　（２）上記（１）に記載の出力装置において、
　前記第１データは、
　　複数のカテゴリと、
　　前記複数のカテゴリのそれぞれに属する音の重要度を示す複数のスコア重みと、を含み、
　前記制御部は、前記複数のカテゴリのそれぞれに属する音と前記取得された音との類似度と、前記複数のスコア重みとに基づいて、前記取得された音が記録対象であるか否かを判定してもよい。
　（３）上記（２）に記載の出力装置において、
　前記制御部は、前記複数の類似度と前記複数のスコア重みとに基づいて、前記取得された音を自動的に再生するか否かを判定してもよい。
　（４）上記（２）又は（３）に記載の出力装置において、
　前記制御部は、前記音再生の入力を受け付けたタイミングから所定時間内の音が属するカテゴリを特定し、特定した当該カテゴリに基づいて、前記第１データを更新してもよい。
　（５）上記（２）から（４）までの何れか１つに記載の出力装置において、
　前記制御部は、
　　前記複数の類似度と前記複数のスコア重みとによって総合スコアを算出し、
　　前記総合スコアが総合閾値以上である場合、前記取得された音を記録対象であると判定し、前記総合スコアが第１再生閾値以上である場合、前記取得された音を自動的に再生してもよい。
　（６）上記（１）から（５）までの何れか１つに記載の出力装置において、
　前記制御部は、前記第１データに基づいて、前記取得部によって取得された音が前記記録対象であるかについての第１確率を算出し、
　算出した前記第１確率が確率閾値以上であると判定した場合、前記取得部によって取得された音が記録対象であると判定してもよい。
　（７）上記（６）に記載の出力装置において、
　前記第１データは、複数の音のカテゴリと、複数の第２確率と、複数の第１特徴量ベクトルと、複数の第２特徴量ベクトルとを含み、
　前記第２確率は、対応する前記音のカテゴリに前記取得部によって取得された音が属するかについての第２確率であり、
　前記第１特徴量ベクトルは、対応する前記音のカテゴリに属する音の特徴量ベクトルの平均値であり、
　前記第２特徴量ベクトルは、対応する前記音のカテゴリに属する音の特徴量ベクトルの共分散行列であり、
　前記制御部は、前記取得部によって取得された音の特徴量ベクトルと前記第１データとによって、前記第１確率を算出してもよい。
　（８）上記（６）に記載の出力装置において、
　前記第１データは、機械学習モデルに用いられるニューラルネットワークのパラメータを含み、
　前記機械学習モデルは、前記取得部によって取得された音のデータが入力されると、前記第１確率を出力するように機械学習したものであり、
　前記制御部は、前記機械学習モデルによって前記第１確率を算出してもよい。
　（９）上記（８）に記載の出力装置において、
　前記制御部は、前記音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、前記ニューラルネットワークのパラメータを更新してもよい。
　（１０）上記（６）から（９）までの何れか１つに記載の出力装置において、
　前記制御部は、前記第１確率が第２再生閾値以上である場合、前記取得部によって取得された音を自動的に再生してもよい。
　（１１）上記（１）に記載の出力装置において、
　前記第１データは、
　　複数の記録対象の単語と、
　　前記複数の記録対象の単語を含む音のそれぞれを録音する重要度を示す複数のスコアと、を含み、
　前記制御部は、前記取得部によって取得された音に含まれる単語のスコアが閾値以上である場合、前記取得された音が記録対象であると判定してもよい。
　（１２）上記（１１）に記載の出力装置において、
　前記制御部は、
　前記音再生の入力を受け付けたタイミングから所定時間内の音のデータから単語のデータを取得し、
　取得した前記単語が前記記録対象の単語と一致する場合、前記記録対象の単語のスコアを増加させ、
　取得した前記単語が前記記録対象の単語と一致しない場合、取得した前記単語を新たな記録対象の単語として前記第１データに登録してもよい。
　（１３）上記（１１）又は（１２）に記載の出力装置において、
　前記制御部は、前記スコアが第３再生閾値以上である場合、前記取得部によって取得された音を自動的に再生してもよい。
 
　（１４）上記（１）に記載の出力装置において、
　前記出力装置の位置情報を取得可能な測位部をさらに備え、
　前記制御部は、前記測位部から取得した前記位置情報と前記第１データとに基づいて、前記取得部によって取得された音が記録対象であるか否かを判定してもよい。
　一実施形態において、（１５）音出力方法は、
　音のデータを取得することと、
　記録対象となる音のデータを含む第１データに基づいて、前記取得された音が記録対象であるか否かを判定することと、
　音再生の入力を受け付けると、前記取得された音のうちの前記音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、前記第１データを更新することと、を含む。
　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１データは、第２データと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　１，１０１　音出力装置（１Ｆ：固定部材、１Ｌ：筐体、１Ｒ：筐体、１０：マイク部、１１：スピーカ部、１２：入力部、１３：記憶部、１４：バッファ、１５：カテゴリ格納部、１６：制御部、１７：判定部、１８：選択部、１９：更新部、２０：測位部、２１：通信部）
　２　ネットワーク
　３　サーバ

Claims (15)

  1. 　音のデータを取得する取得部と、
    　記録対象となる音のデータを含む第１データに基づいて、前記取得部によって取得された音が記録対象であるか否かを判定する制御部と、を備え、
    　前記制御部は、音再生の入力を受け付けると、前記取得部によって取得された音のうちの前記音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、前記第１データを更新する、出力装置。
  2. 　前記第１データは、
    　　複数のカテゴリと、
    　　前記複数のカテゴリのそれぞれに属する音の重要度を示す複数のスコア重みと、を含み、
    　前記制御部は、前記複数のカテゴリのそれぞれに属する音と前記取得された音との類似度と、前記複数のスコア重みとに基づいて、前記取得された音が記録対象であるか否かを判定する、請求項１に記載の出力装置。
  3. 　前記制御部は、前記複数の類似度と前記複数のスコア重みとに基づいて、前記取得された音を自動的に再生するか否かを判定する、請求項２に記載の出力装置。
  4. 　前記制御部は、前記音再生の入力を受け付けたタイミングから所定時間内の音が属するカテゴリを特定し、特定した当該カテゴリに基づいて、前記第１データを更新する、請求項２又は３に記載の出力装置。
  5. 　前記制御部は、
    　　前記複数の類似度と前記複数のスコア重みとによって総合スコアを算出し、
    　　前記総合スコアが総合閾値以上である場合、前記取得された音を記録対象であると判定し、前記総合スコアが第１再生閾値以上である場合、前記取得された音を自動的に再生する、請求項２から４までの何れか一項に記載の出力装置。
  6. 　前記制御部は、前記第１データに基づいて、前記取得部によって取得された音が前記記録対象であるかについての第１確率を算出し、
    　算出した前記第１確率が確率閾値以上であると判定した場合、前記取得部によって取得された音が記録対象であると判定する、請求項１から５までの何れか一項に記載の出力装置。
  7. 　前記第１データは、複数の音のカテゴリと、複数の第２確率と、複数の第１特徴量ベクトルと、複数の第２特徴量ベクトルとを含み、
    　前記第２確率は、対応する前記音のカテゴリに前記取得部によって取得された音が属するかについての第２確率であり、
    　前記第１特徴量ベクトルは、対応する前記音のカテゴリに属する音の特徴量ベクトルの平均値であり、
    　前記第２特徴量ベクトルは、対応する前記音のカテゴリに属する音の特徴量ベクトルの共分散行列であり、
    　前記制御部は、前記取得部によって取得された音の特徴量ベクトルと前記第１データとによって、前記第１確率を算出する、請求項６に記載の出力装置。
  8. 　前記第１データは、機械学習モデルに用いられるニューラルネットワークのパラメータを含み、
    　前記機械学習モデルは、前記取得部によって取得された音のデータが入力されると、前記第１確率を出力するように機械学習したものであり、
    　前記制御部は、前記機械学習モデルによって前記第１確率を算出する、請求項６に記載の出力装置。
  9. 　前記制御部は、前記音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、前記ニューラルネットワークのパラメータを更新する、請求項８に記載の出力装置。
  10. 　前記制御部は、前記第１確率が第２再生閾値以上である場合、前記取得部によって取得された音を自動的に再生する、請求項６から９までの何れか一項に記載の出力装置。
  11. 　前記第１データは、
    　　複数の記録対象の単語と、
    　　前記複数の記録対象の単語を含む音のそれぞれを録音する重要度を示す複数のスコアと、を含み、
    　前記制御部は、前記取得部によって取得された音に含まれる単語のスコアが閾値以上である場合、前記取得された音が記録対象であると判定する、請求項１に記載の出力装置。
  12. 　前記制御部は、
    　前記音再生の入力を受け付けたタイミングから所定時間内の音のデータから単語のデータを取得し、
    　取得した前記単語が前記記録対象の単語と一致する場合、前記記録対象の単語のスコアを増加させ、
    　取得した前記単語が前記記録対象の単語と一致しない場合、取得した前記単語を新たな記録対象の単語として前記第１データに登録する、請求項１１に記載の出力装置。
  13. 　前記制御部は、前記スコアが第３再生閾値以上である場合、前記取得部によって取得された音を自動的に再生する、請求項１１又は１２に記載の出力装置。
  14. 　前記出力装置の位置情報を取得可能な測位部をさらに備え、
    　前記制御部は、前記測位部から取得した前記位置情報と前記第１データとに基づいて、前記取得部によって取得された音が記録対象であるか否かを判定する、請求項１に記載の出力装置。
  15. 　音のデータを取得することと、
    　記録対象となる音のデータを含む第１データに基づいて、前記取得された音が記録対象であるか否かを判定することと、
    　音再生の入力を受け付けると、前記取得された音のうちの前記音再生の入力を受け付けたタイミングから所定時間内の音のデータに基づいて、前記第１データを更新することと、を含む、音出力方法。
PCT/JP2025/016660 2024-05-17 2025-05-02 出力装置及び音出力方法 Pending WO2025239246A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-080942 2024-05-17
JP2024080942 2024-05-17

Publications (1)

Publication Number Publication Date
WO2025239246A1 true WO2025239246A1 (ja) 2025-11-20

Family

ID=97720210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/016660 Pending WO2025239246A1 (ja) 2024-05-17 2025-05-02 出力装置及び音出力方法

Country Status (1)

Country Link
WO (1) WO2025239246A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064744A (ja) * 2003-08-08 2005-03-10 Yamaha Corp 聴覚補助装置
JP2013114723A (ja) * 2011-11-30 2013-06-10 Sony Corp 情報処理装置、プログラムおよび情報処理方法
JP2014123887A (ja) * 2012-12-21 2014-07-03 Sharp Corp 音声再生装置
WO2020178961A1 (ja) * 2019-03-04 2020-09-10 マクセル株式会社 ヘッドマウント情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005064744A (ja) * 2003-08-08 2005-03-10 Yamaha Corp 聴覚補助装置
JP2013114723A (ja) * 2011-11-30 2013-06-10 Sony Corp 情報処理装置、プログラムおよび情報処理方法
JP2014123887A (ja) * 2012-12-21 2014-07-03 Sharp Corp 音声再生装置
WO2020178961A1 (ja) * 2019-03-04 2020-09-10 マクセル株式会社 ヘッドマウント情報処理装置

Similar Documents

Publication Publication Date Title
US12567435B1 (en) Context driven device arbitration
US7603276B2 (en) Standard-model generation for speech recognition using a reference model
KR102450853B1 (ko) 음성 인식 장치 및 방법
JP6129134B2 (ja) 音声対話装置、音声対話システム、端末、音声対話方法およびコンピュータを音声対話装置として機能させるためのプログラム
CN112420026A (zh) 优化关键词检索系统
JP2016045487A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US20240134908A1 (en) Sound search
CN114067782B (zh) 音频识别方法及其装置、介质和芯片系统
EP3667660A1 (en) Information processing device and information processing method
US12190877B1 (en) Device arbitration for speech processing
CN112289300B (zh) 音频处理方法、装置及电子设备和计算机可读存储介质
JP2024504435A (ja) オーディオ信号生成システム及び方法
KR20230146898A (ko) 대화 처리 방법 및 대화 시스템
US20240005937A1 (en) Audio signal processing method and system for enhancing a bone-conducted audio signal using a machine learning model
CN112735381B (zh) 一种模型更新方法及装置
CN119943063B (zh) 基于不可学习语音样本的语音防克隆方法及装置
JPWO2011122522A1 (ja) 感性表現語選択システム、感性表現語選択方法及びプログラム
JP2005227794A (ja) 標準モデル作成装置及び標準モデル作成方法
JP6233103B2 (ja) 音声合成装置、音声合成方法及び音声合成プログラム
CN115862586A (zh) 音色特征提取模型的训练和音频合成的方法及装置
JP4877112B2 (ja) 音声処理装置およびプログラム
JP2019144524A (ja) ワード検出システム、ワード検出方法及びワード検出プログラム
JP2020197629A (ja) 音声テキスト変換システムおよび音声テキスト変換装置
WO2025229916A1 (ja) 音処理システム及び音処理方法
JP4297433B2 (ja) 音声合成方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25803495

Country of ref document: EP

Kind code of ref document: A1