WO2022168559A1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2022168559A1
WO2022168559A1 PCT/JP2022/000919 JP2022000919W WO2022168559A1 WO 2022168559 A1 WO2022168559 A1 WO 2022168559A1 JP 2022000919 W JP2022000919 W JP 2022000919W WO 2022168559 A1 WO2022168559 A1 WO 2022168559A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
section
point
processing
output control
Prior art date
Application number
PCT/JP2022/000919
Other languages
English (en)
French (fr)
Inventor
将治 吉野
悟 大杉
翔太 橋本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280011959.8A priority Critical patent/CN116888667A/zh
Priority to US18/262,838 priority patent/US20240096333A1/en
Priority to JP2022579413A priority patent/JPWO2022168559A1/ja
Publication of WO2022168559A1 publication Critical patent/WO2022168559A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0007Codebook element generation
    • G10L2019/001Interpolation of codebook vectors

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and an information processing program.
  • the audio data to be reproduced has a discontinuous point with a different audio level, the discontinuous point becomes noise, which degrades the reproduction quality, such as outputting an offensive sound.
  • discontinuities may occur at the data junctions. rice field.
  • a technique for suppressing deterioration in reproduction quality at a discontinuity point by performing a fade process on audio data near the discontinuity point is known.
  • continuous audio data includes silent intervals, such as when part of the audio data is lost during transmission.
  • all the data may not be acquired and some of the audio data may be lost.
  • Discontinuity points are generated at both ends of a silent section in which audio data is lost.
  • the present disclosure proposes an information processing device, an information processing method, and an information processing program capable of suppressing deterioration in reproduction quality due to data loss during transmission.
  • the information processing device includes a detection unit and a control execution unit.
  • the detection unit detects a discontinuity point where the signal level of the input signal is discontinuous.
  • the control execution unit performs predetermined control on a loss interval that is an interval between the first discontinuity point and the second discontinuity point detected by the detection unit.
  • the predetermined control has a control start position at a point in time before the first discontinuous point by a first period, and a control end position at a point in time after the second discontinuous point by a second period.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing device according to a first embodiment of the present disclosure
  • FIG. FIG. 3 is a diagram showing an overview of processing according to the first embodiment of the present disclosure
  • FIG. 4 is a flowchart showing an example of processing according to the first embodiment of the present disclosure
  • FIG. 7 is a diagram showing an outline of processing according to the second embodiment of the present disclosure
  • FIG. FIG. 11 is a flow chart showing an example of processing according to the second embodiment of the present disclosure
  • FIG. FIG. 11 is a diagram showing an overview of processing according to a third embodiment of the present disclosure
  • FIG. FIG. 11 is a flow chart showing an example of processing according to the third embodiment of the present disclosure
  • FIG. 12 is a diagram illustrating a configuration example of an information processing device according to a fourth embodiment of the present disclosure
  • FIG. 12 is a diagram showing an overview of processing according to the fourth embodiment of the present disclosure
  • FIG. FIG. 12 is a flowchart showing an example of processing according to the fourth embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating a configuration example of an information processing device according to a fifth embodiment of the present disclosure
  • FIG. 12 is a diagram showing an outline of processing according to the fifth embodiment of the present disclosure
  • FIG. FIG. 16 is a flowchart showing an example of processing according to the fifth embodiment of the present disclosure
  • FIG. FIG. 13 is a diagram showing an outline of processing according to the sixth embodiment of the present disclosure
  • FIG. FIG. 21 is a flow chart showing an example of processing according to the sixth embodiment of the present disclosure
  • First Embodiment 1-1 Configuration of Information Processing Apparatus According to First Embodiment 1-2. Outline of processing according to first embodiment 1-3. Procedure of processing according to the first embodiment2. Second embodiment 2-1. Outline of processing according to second embodiment 2-2. Procedure of processing according to the second embodiment3. Third Embodiment 3-1. Outline of processing according to third embodiment 3-2. Procedure of processing according to the third embodiment;4. Fourth Embodiment 4-1. Configuration of Information Processing Apparatus According to Fourth Embodiment 4-2. Outline of processing according to fourth embodiment 4-3. Procedure of Processing According to Fourth Embodiment 4-4. Modified example of the fourth embodiment5. Fifth Embodiment 5-1.
  • FIG. 1 is a diagram showing a configuration example of an information processing device 1 according to the first embodiment of the present disclosure.
  • the information processing device 1 is a device that reproduces audio data acquired from an external device, such as headphones or TWS (True Wireless Stereo) earphones.
  • the TWS earphone is an earphone in which left and right earphones are connected by various wireless communication methods.
  • the information processing device 1 acquires audio data from an external device, for example, by wireless communication.
  • various communication standards such as Bluetooth (registered trademark), BLE (Bluetooth (registered trademark) Low Energy), Wi-Fi (registered trademark), 3G, 4G, and 5G can be used as appropriate. .
  • the external device is, for example, a device that wirelessly transmits various data such as music and video audio data.
  • Devices such as smart phones, tablet terminals, PCs (Personal Computers), mobile phones, and PDA (Personal Digital Assistants) can be used as the external device.
  • the external device performs signal processing such as encoding processing and modulation processing on the audio data, and transmits the processed audio data to the information processing device 1 .
  • Audio data is transmitted from an external device to the information processing apparatus 1 for each frame (packet) containing a predetermined number of samples.
  • the information processing device 1 may acquire audio data from an external device through wired communication. Further, the information processing device 1 may be configured integrally with an external device.
  • the information processing device 1 includes a communication unit 2, a buffer 3, a signal processing unit 4, a buffer 5, a DA conversion unit 6 and a control unit 7.
  • the communication unit 2 performs wireless communication with an external device and receives audio data from the external device.
  • the communication section 2 outputs the received audio data to the buffer 3 .
  • the communication unit 2 has, as a hardware configuration, a communication circuit conforming to a corresponding communication standard for wireless transmission.
  • the communication unit 2 has a communication circuit compatible with the Bluetooth standard.
  • the buffer 3 is a buffer memory that temporarily stores the audio data output from the communication unit 2.
  • the signal processing unit 4 demodulates (decodes) the audio data temporarily stored in the buffer 3 for each frame containing a predetermined number of samples.
  • the signal processing unit 4 also decodes the encoded data (audio data) in units of frames using a predetermined decoder.
  • the signal processing unit 4 outputs the decoded frame-by-frame audio data to the buffer 5 .
  • the signal processing unit 4 has, as a hardware configuration, a processor such as a DSP (Digital Signal Processor) and memories such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the processor loads the program stored in the ROM into the RAM and executes the loaded program (application), thereby realizing each function of the signal processing unit 4 .
  • the signal processing unit 4 includes a CPU (Central Processing Unit), MPU (Micro-Processing Unit), FPGA (Field Programmable Gate Array) and other PLD (Programmable Logic Device), ASIC (Application Specific Integrated Circuit), and other processors.
  • CPU Central Processing Unit
  • MPU Micro-Processing Unit
  • FPGA Field Programmable Gate Array
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • the buffer 5 is a buffer memory that temporarily stores the frame-by-frame audio data output from the signal processing unit 4 .
  • the DA converter 6 is a circuit that converts the audio data (digital signal) temporarily stored in the buffer 5 into an analog signal and supplies the converted analog signal to an output device such as a speaker.
  • the DA converter 6 also includes a circuit that changes the amplitude (signal level) of the analog signal supplied to an output device such as a speaker under the control of the controller 7 .
  • changing the amplitude of the analog signal includes at least mute processing and fade processing of the analog signal (audio signal). Fade processing includes fade-in processing and fade-out processing.
  • the control unit 7 controls operations of the information processing device 1 such as the communication unit 2, the signal processing unit 4, and the DA conversion unit 6.
  • the control unit 7 has a processor such as a CPU and memories such as a RAM and a ROM as a hardware configuration.
  • the processor loads the program stored in the ROM into the RAM, and executes the loaded program (application) to implement each function of the control unit 7 (sound skip monitoring unit 71 and output control unit 72). .
  • the sound skipping monitoring unit 71 refers to the frame-by-frame audio data stored in the buffer 5, and performs sound skipping detection processing for monitoring the presence or absence of sound skipping due to audio data loss (packet loss).
  • the skipping monitor 71 is an example of a detector.
  • the output control unit 72 performs output control processing for changing the signal level of the output signal (analog signal) by the DA conversion unit 6 in response to the sound skipping detection by the sound skipping monitoring unit 71 .
  • Output control processing includes fade-out processing, fade-in processing and mute processing.
  • the fade-out process is a process of gradually lowering the signal level of the output signal from the DA converter 6 .
  • the fade-in process is a process of gradually increasing the signal level of the output signal from the DA converter 6 .
  • the muting process is a process of setting the signal level of the output signal from the DA converter 6 to zero.
  • the output control section 72 is an example of a control execution section.
  • the output control processing is not limited to fade-out processing, fade-in processing, and mute processing. For example, processing such as gradually fading out the volume and maintaining the volume after reaching a certain volume that is not zero may be performed.
  • control unit 7 may have a processor such as an MPU, a DSP, a PLD such as an FPGA, or an ASIC in place of or in addition to the CPU as a hardware configuration.
  • a processor such as an MPU, a DSP, a PLD such as an FPGA, or an ASIC in place of or in addition to the CPU as a hardware configuration.
  • At least two of the buffer 3, the buffer 5, the memory of the signal processing unit 4, and the memory of the control unit 7 may be integrated.
  • the buffers 3, 5, the memory of the signal processing unit 4, and the memory of the control unit 7 may each be composed of two or more memories.
  • processor of the signal processing unit 4 and the processor of the control unit 7 may be integrated. Moreover, the processor of the signal processing unit 4 and the processor of the control unit 7 may each be composed of two or more processors.
  • Information processing devices 1 such as headphones and TWS earphones that reproduce audio data acquired from an external device are required to reduce the size of the main body from the viewpoint of improving portability and reducing the burden on the user by reducing the weight and size. there is Therefore, such an information processing apparatus 1 is greatly restricted in terms of the size and number of circuit configurations such as a CPU, power consumption, antenna performance, and the like.
  • part of the audio data may be lost due to the communication environment when acquiring the audio data from the external device, the processing speed of the audio data in the information processing device 1, and the like.
  • the information processing apparatus 1 when the information processing apparatus 1 is configured as a mobile device and audio data is acquired from an external device by wireless audio transmission, the communication environment may suddenly deteriorate.
  • part of the audio data acquired by the information processing apparatus 1 may be lost due to the processing speed of audio data transmission in the external device.
  • the processing speed of audio data transmission may be reduced when a read error occurs in audio data to be transmitted in an external device, or due to delays in signal processing such as encoding processing and modulation processing.
  • discontinuities occur at both ends of silent intervals where audio data is lost. If the audio data to be reproduced has discontinuous points with different audio levels, the discontinuous points become noise, resulting in deterioration of reproduction quality, such as output of harsh sounds.
  • the present disclosure proposes an information processing device 1 capable of suppressing deterioration in reproduction quality due to data loss during transmission.
  • FIG. 2 is a diagram showing an overview of processing according to the first embodiment of the present disclosure.
  • the horizontal axis indicates time.
  • a region hatched with slanting lines sloping to the right indicates a section in which no loss occurs in the input signal 801 (audio data) to the information processing apparatus 1 .
  • areas (loss sections TL1 and TL2) not hatched with diagonal lines sloping to the right indicate sections in which a loss occurs in the input signal 801 to the information processing apparatus 1 .
  • the height of the area hatched with diagonal lines sloping downward to the right schematically indicates the signal level of the input signal to the information processing apparatus 1 .
  • each loss section TL1 and TL2 are discontinuous points where the signal level of the input signal is discontinuous.
  • each loss interval TL1, TL2 is the interval between two discontinuities.
  • the area hatched with dots schematically shows the output control 803 according to the embodiment.
  • the output control unit 72 changes the signal level of the output signal with respect to the discontinuous points at both ends of the loss section TL1.
  • predetermined control Specifically, as shown in FIG. 2, the output control unit 72 sets the control start position A11 at a point in time before the start position of the loss interval TL1 by a predetermined period (first period). Also, as shown in FIG. 2, the output control unit 72 sets the control end position A22 at a point in time after a predetermined period (second period) from the end position of the loss interval TL1. As shown in FIG. 2, the output control unit 72 performs output control 803 from the control start position A11 to the control end position A22.
  • the output control unit 72 performs fade-out processing from the control start position A11 to the fade-out processing end position A12 by the DA conversion unit 6, as shown in FIG.
  • the output control unit 72 preferably sets the control start position A11 such that the end position A12 of the fade-out process is the start position of the loss section TL1 or a time point before the start position.
  • the section from the control start position A11 to the fade-out processing end position A12 is preferably shorter than or equal to the first period. Note that the fade-out process may end after the start position of the loss section TL1.
  • the output control unit 72 performs fade-in processing from the fade-in processing start position A21 to the control end position A22 by the DA conversion unit 6, as shown in FIG.
  • the output control unit 72 preferably sets the control end position A22 such that the fade-in process start position A21 is at the end position of the loss section TL1 or at a point after the end position.
  • the section from the fade-in process start position A21 to the control end position A22 is preferably shorter than or equal to the second period. Note that the fade-in process may be started before the end position of the loss section TL1.
  • the output control section 72 performs muting processing from the end position A12 of the fade-out processing to the start position A21 of the fade-in processing by the DA conversion section 6.
  • the output control unit 72 controls the first period (control start position A11) is set. In addition, the output control unit 72 adjusts the second period (control end position A22 ).
  • the output control 803 for the loss interval TL1 has been described with reference to FIG. 2, the output control unit 72 similarly performs the output control 803 for the loss interval TL2.
  • the speed of signal level decrease in the fade-out process and the speed of signal level increase in the fade-in process are determined in advance and stored in the memory of the control unit 7, for example.
  • FIG. 2 exemplifies a case where the rate of change in signal level is constant, the present invention is not limited to this.
  • the change speed of the signal level may change during at least one of fade-out processing and fade-in processing. Also, it may be appropriately set by the user.
  • FIG. 3 is a flowchart illustrating an example of processing according to the first embodiment of the present disclosure.
  • the flow of FIG. 3 is started, for example, when audio data is received from an external device. Further, the flow of FIG. 3 ends, for example, when the reproduction of the audio data received from the external device ends, or when the power of the information processing device 1 is turned off.
  • the sound skipping monitoring unit 71 determines whether or not sound skipping has been detected (S101). When it is not determined that the sound skipping is detected (S101: No), the sound skipping monitoring unit 71 repeats the processing of S101.
  • the output control unit 72 performs fade-out processing on the discontinuous point at the start position of the lost section (sound skipping section) in which the skipping has been detected. (S102). Further, after the fade-out processing is completed, the output control unit 72 performs mute processing on the sound skip section.
  • the output control unit 72 determines whether or not sound skipping is detected, that is, whether or not the sound skipping section (loss section) has ended (S103).
  • the sound skip section is in units of packets (frames).
  • the length of the sound skip section can be calculated in advance according to, for example, the audio data wireless transmission system or codec. Therefore, in this determination, whether or not skipping is detected may be determined in the same manner as in the processing of S101, or may be determined based on whether the calculated length has passed from the start position of the sound skipping section. may be When it is not determined that the sound skip section has ended (S103: No), the output control unit 72 continues the mute processing for the sound skip section.
  • the output control unit 72 performs fade-in processing on the discontinuous point at the end position of the sound skip section. After that, the flow in FIG. 3 returns to the process of S101.
  • the information processing apparatus 1 changes the signal level for the discontinuous points at both ends of the sound skip section (silent section) when it is determined that the sound skip has been detected. Perform output control processing.
  • harsh sound skipping at discontinuous points caused by loss of audio data can be changed to mellow sound skipping with improved listening comfort.
  • the information processing apparatus 1 according to the first embodiment it is possible to suppress deterioration in reproduction quality due to data loss during transmission.
  • the information processing apparatus 1 performs fade processing (output control processing) on discontinuous points at both ends of each sound skip section (loss section TL1, TL2) for each sound skip section (loss section TL1, TL2).
  • fade processing output control processing
  • the information processing apparatus 1 can also perform a series of output control processes for continuously occurring sound skip intervals.
  • the information processing device 1 according to the second embodiment has the same configuration as the information processing device 1 according to the first embodiment described with reference to FIG.
  • FIG. 4 is a diagram illustrating an overview of processing according to the second embodiment of the present disclosure.
  • the output control unit 72 sets the control start position A1 at a point in time before the start position of the loss interval TL1 by a predetermined period (first period), as in the first embodiment. . That is, when the loss interval TL1 is detected, the output control unit 72 sets the control start position A1 based on the start position of the detected loss interval TL1.
  • the output control unit 72 performs Then, a series of output control 803 is performed.
  • the mute period TM is determined in advance and stored in the memory of the control section 7 or the like.
  • the time width of the mute section TM is 200ms.
  • the mute period TM may be set to a desired period based on, for example, the type of codec, sampling rate, and the like.
  • the output control unit 72 sets the control end position A2 at a point after the mute section TM1 (second period) from the end position of the loss section TL1, as indicated by the dashed arrow in FIG.
  • loss section TL2 is detected from the end position of loss section TL1 until mute section TM1 (mute section TM) passes.
  • the output control unit 72 sets a mute section TM2 (mute section TM) from the end position of the loss section TL2.
  • the output control section 72 resets the mute section TM with the end position of the detected loss section as the starting point.
  • the output control unit 72 resets the control end position A2 at a point after the mute section TM2 (second period) from the end position of the loss section TL2, as indicated by the solid arrow in FIG.
  • the output control unit 72 detects the end of the loss section TL1.
  • a control end position A2 is set at a point after the mute section TM1 (second period) from the position.
  • mute sections TM1 and TM2 (mute sections TM) start from the end positions of the loss sections TL1 and TL2
  • the mute intervals TM1, TM2 may start from the starting positions of the loss intervals TL1, TL2. In this way, when the loss interval TL1 is detected, the output control section 72 can also use the start position of the detected loss interval TL1 as the reference timing for various kinds of output control.
  • the control end position A2 may be set at a point in time after a predetermined period (second period) from the end position of , that is, at a point in time after the mute section TM1.
  • the output control unit 72 performs a series of output controls 803 (predetermined control) on the continuous loss sections TL1 and TL2 between the control start position A1 and the control end position A2.
  • the output control 803 according to the second embodiment does not include fade processing. Therefore, the first period and the second period according to the second embodiment can be set shorter than the first period and the second period according to the first embodiment, respectively.
  • the output control unit 72 performs mute processing (output control 803) at the control start position A1 by the DA conversion unit 6, as shown in FIG. Further, the output control unit 72 performs unmute processing (output control 803) at the control end position A2 by the DA conversion unit 6.
  • FIG. Note that, as shown in FIG. 4, the output control unit 72 does not perform unmuting processing for the end position of the loss section TL1 when the loss section TL2 is detected in the mute section TM1. Similarly, when the loss section TL2 is detected in the mute section TM, the output control section 72 does not perform the unmuting process for the start position of the loss section TL2.
  • FIG. 5 is a flowchart illustrating an example of processing according to the second embodiment of the present disclosure. Note that differences from the flow of processing according to the first embodiment shown in FIG. 3 will be mainly described here.
  • the sound skipping monitoring unit 71 determines whether or not sound skipping has been detected (S201) in the same manner as in the process of S101 in FIG.
  • the output control unit 72 performs mute processing on the discontinuous point at the start position of the loss interval (sound skipping interval) in which the sound skipping has been detected ( S202).
  • the output control unit 72 determines whether or not the sound skip section has ended (S203) in the same manner as in the process of S103 in FIG.
  • the output control section 72 determines whether or not the mute section has ended (S204).
  • the flow of FIG. 5 returns to the process of S203.
  • the output control unit 72 performs unmuting processing on the discontinuous point at the end position of the last sound skipping period included in the mute period. (S205). After that, the flow of FIG. 5 returns to the process of S201.
  • the information processing apparatus 1 newly detects the next sound skip section when the next sound skip section is detected between the end position of the detected sound skip section and the end of the mute section.
  • a series of output control processing is also performed on the skipped interval.
  • FIG. 4 illustrates a case where a series of output controls are performed for two sound skipping intervals
  • the information processing apparatus 1 performs three or more sound skipping intervals for a sound skipping interval included in a mute interval.
  • the jump section is also subject to a series of output control processes. As a result, it is possible to reduce the number of discontinuous points, thereby suppressing deterioration in reproduction quality due to data loss during transmission.
  • the output control according to the second embodiment does not include fade processing, which is generally more computationally expensive than mute processing. Therefore, according to the information processing apparatus 1 according to the second embodiment, in addition to the effects obtained in the first embodiment, it is possible to reduce the calculation cost related to the output control process. A reduction in calculation cost contributes to a reduction in the size and number of mounted circuit configurations and a reduction in power consumption.
  • the information processing apparatus 1 that performs a series of muting processes (output control processes) for a plurality of consecutively occurring sound skip intervals was exemplified, but the present invention is not limited to this.
  • the information processing apparatus 1 can also perform a series of fading processes (output control processes) for consecutively occurring multiple sound skip intervals in the same manner as the output control process of the first embodiment.
  • the information processing apparatus 1 according to the third embodiment has the same configuration as the information processing apparatus 1 according to the first and second embodiments described with reference to FIG.
  • FIG. 6 is a diagram showing an overview of processing according to the third embodiment of the present disclosure.
  • the output control unit 72 sets a control start position A11 and a fade-out process end position A12 in the same manner as in the first embodiment.
  • the output control unit 72 fades the fade section TL2 according to the loss section TL2 detected from the end position of the loss section TL1 until the mute section TM1 elapses, as in the second embodiment.
  • a start position A21 of the IN process and a control end position A22 are set.
  • the output control unit 72 sets the start position A21 (broken line) of the fade-in process at a point after the muting section TM1 (mute section TM) from the end position of the loss section TL1.
  • the output control unit 72 starts the fade-in process at a point after the mute section TM2 (mute section TM) from the end position of the loss section TL2.
  • Position A21 solid line
  • the output control unit 72 performs a series of output controls 803 (predetermined control) for the continuous loss sections TL1 and TL2 between the control start position A11 and the control end position A22.
  • FIG. 7 is a flowchart illustrating an example of processing according to the third embodiment of the present disclosure. Note that differences from the flow of processing according to the second embodiment shown in FIG. 5 will be mainly described here.
  • the output control unit 72 changes the starting position of the lost section (sound skipping section) in which the skipping is detected.
  • a fade-out process is performed on the discontinuous point (S302).
  • the output control unit 72 determines whether or not the sound skip section has ended (S303) and whether or not the mute section has ended (S304) in the same manner as in the processes of S203 and S204 in FIG. do.
  • the output control unit 72 performs fade-in processing on the discontinuous point at the end position of the last sound skipping period included in the mute period (S305). .
  • the flow of FIG. 7 returns to the processing of S301.
  • the information processing apparatus 1 according to the third embodiment performs the mute process in the information processing apparatus 1 according to the second embodiment, and also performs the muting process in the information processing apparatus 1 according to the first embodiment. Fade processing is performed in the same manner. As a result, the calculation cost can be reduced as compared with the information processing apparatus 1 according to the first embodiment, and the sound skipping can be more mellow and more comfortable than the information processing apparatus 1 according to the second embodiment.
  • FIG. 8 is a diagram showing a configuration example of the information processing device 1 according to the fourth embodiment of the present disclosure. Here, differences from the configuration of FIG. 1 will be mainly described.
  • the information processing apparatus 1 acquires metadata of the audio data from an external device in addition to the audio data. Further, when the signal processing unit 4 decodes the audio data, the information processing apparatus 1 may add metadata to the audio data.
  • the metadata is, for example, type information of the audio data, importance information of the audio data, and the like.
  • the audio data type information is, for example, information indicating whether the audio data is music data or video data. Also, the importance of audio data is, for example, information indicating whether or not it is a chorus of music. Also, the importance of audio data is not limited to the chorus, and may be information indicating a musical part, for example.
  • the musical parts are, for example, an introduction, an A melody, a B melody, a chorus, an outro, and the like.
  • the importance of audio data is, for example, information indicating the type of music, such as classical music or jazz.
  • the importance of audio data is, for example, information indicating whether or not a moving image is a climax scene.
  • the importance of audio data may be, for example, information indicating a part in a moving image.
  • the part in the moving image indicates, for example, whether or not it is the dialogue of the main character.
  • a part in a moving image indicates, for example, whether it is an environmental sound.
  • the importance of audio data is assumed to be included in the metadata attached to the audio data, but this is not the only option.
  • the importance of audio data may be obtained by searching the information processing apparatus 1 using the Internet or the like based on the type and name of the audio data, or the information processing apparatus 1 may obtain a reference regarding the importance in advance.
  • the data may be stored in a table format, for example, and assigned by referring to the table.
  • the reference data may be stored not in the information processing device 1 but in the cloud.
  • the user may be allowed to set as appropriate.
  • the processor of the control unit 7 further implements the metadata monitoring unit 73 by loading the program stored in the ROM into the RAM and executing the loaded program (application).
  • the metadata monitoring section 73 is an example of an adjustment section.
  • the metadata monitoring unit 73 acquires the type and importance of audio data from the signal processing unit 4.
  • the metadata monitoring unit 73 determines the details of the output control 803 for the target loss section (skipping section) based on the type and importance of the acquired audio data.
  • the metadata monitoring unit 73 supplies the content of the determined output control 803 to the output control unit 72 .
  • the output control unit 72 performs output control processing according to the contents of the output control 803 supplied from the metadata monitoring unit 73.
  • the type and importance of audio data are acquired from the signal processing unit 4 here, they may be acquired from a server outside the information processing apparatus 1, the cloud, or the like.
  • FIG. 9 is a diagram showing an overview of processing according to the fourth embodiment of the present disclosure.
  • FIG. 9 illustrates a case where output control 803a applying fade processing and output control 803b applying mute processing are executed.
  • the metadata monitoring unit 73 determines the content of the output control 803 for the target loss section (skipping section) based on the acquired metadata of the audio data.
  • the user can arbitrarily set which process is applied to which metadata (for example, type, importance), and is stored in advance in the memory of the control unit 7 or the like. do.
  • the metadata monitoring unit 73 determines to apply fade processing to music and mute processing to dialogue. In this case, it is possible to realize output control processing such as improving the reproduction quality of music and reducing the loss of information amount of dialogue.
  • FIG. 10 is a flowchart illustrating an example of processing according to the fourth embodiment of the present disclosure.
  • differences from the processing flow according to the second embodiment shown in FIG. 5 or the processing flow according to the third embodiment shown in FIG. 7 will be mainly described.
  • the metadata monitoring unit 73 receives the type and importance of the audio data from the signal processing unit 4. Get degrees.
  • the metadata monitoring unit 73 determines the content of output control for the target loss section (skipping section) based on the type and importance of the acquired audio data.
  • the metadata monitoring unit 73 supplies the content of the determined output control to the output control unit 72 (S402).
  • the output control unit 72 performs output control processing according to the details of the output control supplied from the metadata monitoring unit 73 (S403).
  • the processing of S403 is the same as the processing of S202 in FIG. 5 when the mute processing is applied. Further, the processing of S403 is the same as the processing of S302 in FIG. 7 when fade processing is performed.
  • the output control unit 72 determines whether the sound skipping section has ended (S404), and determines whether the mute section has ended. It is determined whether or not (S405). When it is determined that the mute section has ended (S405: Yes), the output control section 72 controls the metadata supplied from the monitoring section 73 to the discontinuous point at the end position of the last sound skipping section included in the mute section. Output control processing is performed in accordance with the contents of the output control (S406). After that, the flow of FIG. 10 returns to the processing of S401.
  • the information processing apparatus 1 that determines the content of the output control 803 for the target loss section (sound skipping section) based on the metadata of the audio data was exemplified, but the present invention is not limited to this.
  • the metadata monitoring unit 73 can determine the rate of change (inclination angle) of the signal level in fade processing based on the metadata of the audio data.
  • the change speed in the fade-out process and the change speed in the fade-in process may be the same or different.
  • the user can arbitrarily set which rate of change is applied to which metadata, and is stored in advance in the memory of the control unit 7 or the like.
  • the metadata monitoring unit 73 sets a large change speed for lines from the viewpoint of reducing the loss of the amount of information.
  • the metadata monitoring unit 73 sets a small change speed from the viewpoint of reproduction quality.
  • the output control unit 72 may perform fade-in processing in the processing of S406 when only one sound skip section is detected. can.
  • the information processing apparatus 1 determines the details of the output control 803 for the target loss section (skipping section) based on the type and importance of the audio data.
  • FIG. 11 is a diagram showing a configuration example of the information processing device 1 according to the fifth embodiment of the present disclosure. Here, differences from the configuration of FIG. 1 will be mainly described.
  • the sound skipping monitoring unit 71 refers to the audio data output from the communication unit 2 stored in the buffer 3, and detects sound caused by loss of audio data (packet loss). Received packet monitoring processing for monitoring the presence or absence of skipping is further performed.
  • the processor of the control unit 7 further implements the communication control unit 74 by loading the program stored in the ROM into the RAM and executing the loaded program (application).
  • the communication control section 74 is an example of a control execution section.
  • the communication control unit 74 sets a communication optimization period (third period).
  • the communication control unit 74 executes a communication optimization process that controls so that lost audio data is not retransmitted during a communication optimization interval.
  • FIG. 12 is a diagram illustrating an overview of processing according to the fifth embodiment of the present disclosure.
  • the communication control section 74 acquires the control start position A1 and the control end position A2 set by the output control section 72 .
  • the communication control unit 74 sets a communication optimization section TO (third period) shorter than the interval between the control start position A1 and the control end position A2.
  • the communication control unit 74 executes communication optimization processing for controlling so that audio data is not retransmitted in the communication optimization section TO.
  • a transmission method may be used in which the information processing device 1 transmits a request to resend the audio data in the lost section to an external device.
  • the communication control unit 74 does not transmit a retransmission request for audio data to the external device even if the audio data is lost in the set communication optimization section TO.
  • the communication control unit 74 transmits to the external device a request to stop the remaining number of transmissions for the communication optimization section TO.
  • the communication control unit 74 may transmit to the external device that data from the current time to a predetermined time ahead is not required, depending on the length of the optimization interval TO.
  • the predetermined time is determined in advance and stored in the memory of the control unit 7, for example.
  • the predetermined time may be determined based on the metadata of the audio data (for example, the type and importance), as in the information processing apparatus according to the fourth embodiment, and may be appropriately set by the user.
  • FIG. 13 is a flowchart illustrating an example of processing according to the fifth embodiment of the present disclosure. Note that differences from the flow of processing according to the second embodiment shown in FIG. 5 will be mainly described here.
  • the output control unit 72 performs mute processing in the same manner as the process of S202 of FIG. ).
  • the communication control unit 74 starts communication optimization processing (S503). 5
  • the output control unit 72 determines whether or not the sound skip section has ended (S504) and whether or not the mute section has ended (S505). do.
  • the communication control unit 74 ends the communication optimization process (S506).
  • the output control unit 72 performs unmute processing (S406) in the same manner as in S205 of FIG. After that, the flow of FIG. 13 returns to the processing of S501.
  • the information processing apparatus 1 performs communication optimization processing that does not retransmit lost audio data in output control for a target loss section (sound skip section).
  • a target loss section sound skip section
  • a process (PLC: Packet Loss Concealment) of interpolating the audio data of the lost section from the audio data before and after the skipped section may be executed.
  • PLC Packet Loss Concealment
  • the information processing device 1 according to the sixth embodiment has the same configuration as the information processing device 1 according to the fifth embodiment described with reference to FIG.
  • the output control unit 72 detects the loss interval (sound skipping interval). ) is subjected to PLC by the signal processing unit 4 .
  • the interval width for PLC is determined in advance and stored in the memory of the control unit 7, for example.
  • the output control unit 72 performs output control processing on a section that could not be interpolated by PLC among the loss sections.
  • FIG. 14 is a diagram illustrating an overview of processing according to the sixth embodiment of the present disclosure.
  • the area hatched with diagonal lines rising to the right indicates the input signal 805 (audio data) interpolated by the PLC.
  • the loss section TL1 includes a section TL1a interpolated by PLC and a section TL1b that could not be interpolated by PLC.
  • the lost section TL2 includes a section TL2a interpolated by PLC and a section TL2b not completely interpolated by PLC.
  • the output control unit 72 controls the control start position A11 and fade-out processing for the section TL1b of the loss section TL1 that could not be interpolated by the PLC in the same manner as in the third embodiment.
  • the start position of the section TL1b according to the sixth embodiment corresponds to the start position of the loss section TL1 according to the third embodiment.
  • the output control unit 72 sets the start position of the fade-in processing to the section TL2b of the loss section TL2 that could not be interpolated by the PLC in the same manner as in the third embodiment. A21 and control end position A22 are set.
  • the output control unit 72 replaces the sections TL1b and TL2b of the loss sections TL1 and TL2, which could not be interpolated by the PLC, with the loss sections TL1 and TL2 according to the third embodiment. , and a series of output control 803 (predetermined control) is performed for the continuous sections TL1b and TL2b.
  • FIG. 15 is a flowchart illustrating an example of processing according to the sixth embodiment of the present disclosure. Note that differences from the flow of processing according to the third embodiment shown in FIG. 7 will be mainly described here.
  • the output control unit 72 determines whether or not the target sound skipping section is in a range that cannot be interpolated. Determine (S602). When it is not determined that the target sound skip section is in a range where interpolation is not possible (S602: No), the output control unit 72 performs PLC by the signal processing unit 4, and interpolates the audio data of the sound skip section. (S603). After that, the flow of FIG. 15 returns to the processing of S601.
  • the output control unit 72 performs PLC by the signal processing unit 4, The audio data is interpolated for the range, that is, the interpolable range (S604). Further, the output control unit 72 performs fade-out processing on the discontinuous point at the start position of the section that could not be interpolated by the PLC, among the loss sections (sound skip sections) in which skipping was detected (S605).
  • the output control unit 72 determines whether or not the sound skip section has ended (S606) and whether or not the mute section has ended (S607) in the same manner as in the processes of S303 and S304 in FIG. do.
  • the output control unit 72 determines the end position of the last sound skip section that cannot be interpolated by the PLC, among the sound skip sections included in the mute section.
  • a fade-in process is performed on the discontinuous point (S608). After that, the flow of FIG. 15 returns to the processing of S601.
  • the information processing apparatus 1 interpolates the audio data by PLC for the interpolable range of the sound skip section when it is determined that the sound skip has been detected. Then, for the interpolable range of the sound skip section, output control processing is performed in the same manner as in each of the above-described embodiments.
  • discontinuous points can be eliminated in sound skip sections that can be interpolated by PLC.
  • the technology according to the sixth embodiment can be arbitrarily combined with the technology according to each of the above-described embodiments.
  • the above lighting device may be configured to be able to reproduce audio data. In this case, it is not necessary to perform output control processing for both audio data and optical signals. It is also possible to perform the output control processing according to the above-described embodiments only on audio data, and to perform the output of the optical signal in conjunction with the output control of the audio data. As a result, an increase in processing cost can be suppressed even when output control is further performed on the optical signal.
  • the output control processing according to each of the above-described embodiments is not limited to the lighting device, and may be applied to display control of, for example, an HMD (Head Mounted Display).
  • HMD Head Mounted Display
  • the output control process may be performed on at least one of the two discontinuous points that define the loss interval. In other words, the output control process does not have to be performed for either one of the discontinuous points of the start position and the end position of the loss interval.
  • the information processing apparatus 1 includes a skipping monitoring unit 71 (detection unit) and an output control unit 72 (control execution unit).
  • the sound skipping monitor 71 detects a discontinuity point where the signal level of the input signal 801 is discontinuous.
  • the output control unit 72 performs output control 803 (predetermined control) on the loss interval TL1, which is the interval between the first discontinuity point and the second discontinuity point detected by the sound skipping monitoring unit 71.
  • the information processing method executed in the information processing apparatus 1 detects a discontinuity point where the signal level of the input signal 801 is discontinuous, and detects the detected first discontinuity point and the detected second discontinuity point.
  • the information processing program executed by the information processing apparatus 1 detects discontinuous points where the signal level of the input signal 801 is discontinuous, and detects the detected first discontinuous point and second discontinuous point.
  • the computer is made to implement the output control 803 (predetermined control) for the loss interval TL1, which is the interval between .
  • the output control 803 has a control start position A11 at the time point before the first discontinuity point by the first period, and the control end point at the time point after the second discontinuity point by the second period. It has a position A22.
  • the information processing apparatus 1 can convert harsh sound skipping at discontinuous points caused by loss of audio data (input signal) into mellow sound skipping with improved listening comfort. In other words, according to the information processing device 1, it is possible to suppress deterioration in reproduction quality due to data loss during transmission.
  • the output control 803 (predetermined control) is at least one of fade processing and mute processing.
  • the information processing device 1 can suppress deterioration in reproduction quality due to data loss during transmission.
  • the output control 803 (predetermined control) further includes non-retransmission processing of the input signal 801 (communication optimization processing).
  • the information processing device 1 can suppress a decrease in data transfer efficiency due to retransmission of the input signal 801 from the external device.
  • the input signal 801 includes metadata.
  • the output control 803 (predetermined control) is at least one of fade processing and mute processing.
  • the output control unit 72 performs at least one of fade processing and mute processing according to the metadata.
  • the information processing apparatus 1 can implement appropriate control according to the data to be reproduced.
  • the output control 803 (predetermined control) is fade processing.
  • the information processing apparatus 1 further includes a metadata monitoring unit 73 (adjusting unit) that adjusts the lengths of the first period and the second period.
  • the information processing apparatus 1 can realize control according to each of the viewpoint of reducing the loss of information amount and the viewpoint of reproduction quality, according to the data to be reproduced.
  • the input signal 801 includes metadata. Also, the metadata monitoring unit 73 (adjusting unit) adjusts the lengths of the first period and the second period according to the metadata.
  • the information processing apparatus 1 can realize control according to each of the viewpoint of reducing the loss of information amount and the viewpoint of reproduction quality, according to the data to be reproduced.
  • the metadata includes at least type information and importance information of the input signal 801.
  • the information processing apparatus 1 can implement appropriate control according to the data to be reproduced.
  • the output control unit 72 (control execution unit) generates an input signal 805 of the interpolation interval TC, which is at least part of the loss interval TL1, based on the input signal 801 before and after the loss interval TL1. to interpolate.
  • the information processing device 1 can eliminate discontinuous points in sound skipping sections that can be interpolated by PLC.
  • the silent section caused by the output control 803 can be shortened even for the skipped section that cannot be completely interpolated by the PLC.
  • control start position A11 is the end position of the interpolation interval TC.
  • the information processing apparatus 1 can shorten the silent section caused by the output control 803 even for the skipped section that cannot be interpolated by the PLC.
  • the input signal 801 is at least one of an audio signal and an optical signal.
  • the input signal is audio data
  • sound quality playback quality
  • optical signal it is possible to suppress deterioration of illumination quality (reproduction quality) such as visual flickering due to data loss during transmission.
  • the loss section TL1 is a section in which the input signal 805 is lost during wireless transmission.
  • the present technology can also take the following configuration.
  • a detection unit that detects a discontinuity point where the signal level of the input signal is discontinuous;
  • a control execution unit that performs a predetermined control on a loss interval that is an interval between the first discontinuity point and the second discontinuity point detected by the detection unit;
  • the predetermined control has a control start position at a point in time before the first discontinuous point by a first period, and a control end position at a point in time after the second discontinuous point by a second period.
  • the predetermined control is at least one of fade processing and mute processing.
  • the predetermined control further includes non-retransmission processing of the input signal.
  • the input signal includes metadata; the predetermined control is at least one of fade processing and mute processing; The information processing apparatus according to any one of (1) to (3), wherein the control execution unit performs at least one of the fading process and the muting process according to the metadata.
  • the predetermined control is fade processing, Further comprising an adjustment unit that adjusts the length of the first period and the second period, The information processing apparatus according to (1).
  • the input signal includes metadata; The adjustment unit adjusts the lengths of the first period and the second period according to the metadata.
  • the information processing device according to (5) above.
  • (7) The information processing apparatus according to (4) or (6), wherein the metadata includes at least type information and importance information of the input signal.
  • control execution unit interpolates the input signal in an interpolation interval that is at least a part of the loss interval, based on the input signal before and after the loss interval.
  • the information processing device according to any one of .
  • the information processing device wherein the control start position is the end position of the interpolation interval.
  • the information processing apparatus according to any one of (1) to (9), wherein the input signal is at least one of an audio signal and an optical signal.
  • the loss section is a section in which the input signal is lost in wireless transmission.
  • the predetermined control has a control start position at a point in time before the first discontinuous point by a first period, and a control end position at a point in time after the second discontinuous point by a second period.
  • the predetermined control has a control start position at a point in time before the first discontinuous point by a first period, and a control end position at a point in time after the second discontinuous point by a second period.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示に係る情報処理装置は、検出部と、制御実行部とを備える。前記検出部は、入力信号の信号レベルが不連続である不連続点を検出する。前記制御実行部は、前記検出部により検出された第1の不連続点及び第2の不連続点の間の区間である損失区間に対して所定の制御を行う。前記所定の制御は、前記第1の不連続点から第1の期間だけ前の時点に制御開始位置を有し、前記第2の不連続点から第2の期間だけ後の時点に制御終了位置を有する。

Description

情報処理装置、情報処理方法及び情報処理プログラム
 本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
 例えばヘッドホンやTWS(True Wireless Stereo)イヤホンなど、外部から取得したオーディオデータを再生する装置がある。このような装置においては、再生するオーディオデータにオーディオレベルが異なる不連続点が存在すると、その不連続点がノイズとなり耳障りな音が出力されるなど再生品質が低下する。
 例えば、ある区間のデータを切り出して別の区間のデータに接続するなど、不連続なオーディオデータの接続により連続したオーディオデータを生成する場合、データのつなぎの部分で不連続点が生じる場合があった。このような中、不連続点近傍のオーディオデータにフェード(Fade)処理を施すことにより、不連続点における再生品質の低下を抑制する技術が知られている。
特開2000-243065号公報
 しかしながら、上記の従来技術では、伝送時にオーディオデータの一部が損失した場合など、連続したオーディオデータに無音区間が含まれる場合については考慮されていない。例えば、外部からオーディオデータを取得する際の通信環境などに起因して、すべてのデータが取得されず、オーディオデータの一部が損失する場合があった。オーディオデータが損失した無音区間の両端部には、不連続点が生じる。
 そこで、本開示では、伝送時のデータ損失に起因した再生品質の低下を抑制することができる情報処理装置、情報処理方法及び情報処理プログラムを提案する。
 本開示によれば、情報処理装置は、検出部と、制御実行部とを備える。前記検出部は、入力信号の信号レベルが不連続である不連続点を検出する。前記制御実行部は、前記検出部により検出された第1の不連続点及び第2の不連続点の間の区間である損失区間に対して所定の制御を行う。前記所定の制御は、前記第1の不連続点から第1の期間だけ前の時点に制御開始位置を有し、前記第2の不連続点から第2の期間だけ後の時点に制御終了位置を有する。
本開示の第1の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第1の実施形態に係る処理の概要を示す図である。 本開示の第1の実施形態に係る処理の一例を示すフローチャートである。 本開示の第2の実施形態に係る処理の概要を示す図である。 本開示の第2の実施形態に係る処理の一例を示すフローチャートである。 本開示の第3の実施形態に係る処理の概要を示す図である。 本開示の第3の実施形態に係る処理の一例を示すフローチャートである。 本開示の第4の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第4の実施形態に係る処理の概要を示す図である。 本開示の第4の実施形態に係る処理の一例を示すフローチャートである。 本開示の第5の実施形態に係る情報処理装置の構成例を示す図である。 本開示の第5の実施形態に係る処理の概要を示す図である。 本開示の第5の実施形態に係る処理の一例を示すフローチャートである。 本開示の第6の実施形態に係る処理の概要を示す図である。 本開示の第6の実施形態に係る処理の一例を示すフローチャートである。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 以下に示す項目順序に従って本開示を説明する。
 1.第1の実施形態
  1-1.第1の実施形態に係る情報処理装置の構成
  1-2.第1の実施形態に係る処理の概要
  1-3.第1の実施形態に係る処理の手順
 2.第2の実施形態
  2-1.第2の実施形態に係る処理の概要
  2-2.第2の実施形態に係る処理の手順
 3.第3の実施形態
  3-1.第3の実施形態に係る処理の概要
  3-2.第3の実施形態に係る処理の手順
 4.第4の実施形態
  4-1.第4の実施形態に係る情報処理装置の構成
  4-2.第4の実施形態に係る処理の概要
  4-3.第4の実施形態に係る処理の手順
  4-4.第4の実施形態の変形例
 5.第5の実施形態
  5-1.第5の実施形態に係る情報処理装置の構成
  5-2.第5の実施形態に係る処理の概要
  5-3.第5の実施形態に係る処理の手順
 6.第6の実施形態
  6-1.第6の実施形態に係る処理の概要
  6-2.第6の実施形態に係る処理の手順
 7.その他の実施形態
 8.本開示に係る情報処理装置による効果
(1.第1の実施形態)
[1-1.第1の実施形態に係る情報処理装置の構成]
 図1を用いて、第1の実施形態に係る情報処理装置1の構成例を説明する。図1は、本開示の第1の実施形態に係る情報処理装置1の構成例を示す図である。
 情報処理装置1は、例えばヘッドホンやTWS(True Wireless Stereo)イヤホンなど、外部装置から取得したオーディオデータを再生する装置である。ここでTWSイヤホンとは左右のイヤホンが種々の無線通信方式で接続されるイヤホンである。情報処理装置1は、例えば無線通信により外部装置からオーディオデータを取得する。ここで、無線伝送としては、Bluetooth(登録商標)やBLE(Bluetooth(登録商標) Low Energy)、Wi-Fi(登録商標)、3G、4G、5Gなどの種々の通信規格が適宜利用可能である。
 ここで、外部装置は、例えば、音楽や動画のオーディオデータなどの各種のデータを無線で送信する装置である。外部装置としては、例えば、スマートフォンやタブレット型端末、PC(Personal Computer)、携帯電話機、PDA(Personal Digital Assistant)等の装置が適宜利用可能である。外部装置は、オーディオデータに対して符号化処理や変調処理等の信号処理を施し、処理後のオーディオデータを情報処理装置1へ送信する。オーディオデータは、所定数のサンプルを含むフレーム(パケット)ごとに外部装置から情報処理装置1へ送信される。
 なお、情報処理装置1は、有線通信により外部装置からオーディオデータを取得してもよい。また、情報処理装置1は、外部装置と一体に構成されていても構わない。
 図1に示すように、実施形態に係る情報処理装置1は、通信部2、バッファ3、信号処理部4、バッファ5、DA変換部6及び制御部7を備える。
 通信部2は、外部装置との間で無線通信を行い、外部装置からオーディオデータを受信する。通信部2は、受信したオーディオデータをバッファ3に出力する。通信部2は、ハードウェア構成として、対応する無線伝送の通信規格に応じた通信回路を有する。一例として、通信部2は、Bluetooth規格に対応した通信回路を有する。
 バッファ3は、通信部2から出力されたオーディオデータを一時的に記憶するバッファメモリである。
 信号処理部4は、バッファ3に一時的に記憶されたオーディオデータを所定数のサンプルを含むフレームごとに復調(復号)する。また、信号処理部4は、フレーム単位の符号化データ(オーディオデータ)を所定のデコーダを用いて復号する。信号処理部4は、復号したフレーム単位のオーディオデータをバッファ5に出力する。信号処理部4は、ハードウェア構成として、DSP(Digital Signal Processor)などのプロセッサと、RAM(Random Access Memory)、ROM(Read Only Memory)などのメモリとを有する。プロセッサは、ROMに格納されたプログラムをRAMにロードし、ロードされたプログラム(アプリケーション)を実行することにより、信号処理部4の有する各機能を実現する。
 なお、信号処理部4は、ハードウェア構成として、DSPに代えて又はDSPに加えて、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、FPGA(Field Programmable Gate Array)などのPLD(Programmable Logic Device)、ASIC(Application Specific Integrated Circuit)などのプロセッサを有していてもよい。
 バッファ5は、信号処理部4から出力されたフレーム単位のオーディオデータを一時的に記憶するバッファメモリである。
 DA変換部6は、バッファ5に一時的に記憶されたオーディオデータ(デジタル信号)をアナログ信号に変換し、変換されたアナログ信号をスピーカなどの出力装置に供給する回路である。また、DA変換部6は、制御部7の制御に従い、スピーカなどの出力装置に供給するアナログ信号の振幅(信号レベル)を変更する回路を含む。ここで、アナログ信号の振幅の変更は、アナログ信号(オーディオ信号)のミュート(Mute)処理及びフェード(Fade)処理を少なくとも含む。フェード処理は、フェードイン(Fade In)処理及びフェードアウト(Fade Out)処理を含む。
 制御部7は、通信部2、信号処理部4及びDA変換部6など、情報処理装置1の動作を制御する。制御部7は、ハードウェア構成として、CPUなどのプロセッサと、RAM、ROMなどのメモリとを有する。プロセッサは、ROMに格納されたプログラムをRAMにロードし、ロードされたプログラム(アプリケーション)を実行することにより、制御部7の有する各機能(音飛び監視部71及び出力制御部72)を実現する。
 音飛び監視部71は、バッファ5に格納されているフレーム単位のオーディオデータを参照し、オーディオデータの損失(パケットロス)による音飛びの有無を監視する音飛び検出処理を行う。ここで、音飛び監視部71は、検出部の一例である。
 出力制御部72は、音飛び監視部71による音飛びの検出に応じて、DA変換部6により出力信号(アナログ信号)の信号レベルを変更する出力制御処理を行う。出力制御処理は、フェードアウト処理、フェードイン処理及びミュート処理を含む。ここで、フェードアウト処理は、DA変換部6からの出力信号の信号レベルを徐々に低下させる処理である。また、フェードイン処理は、DA変換部6からの出力信号の信号レベルを徐々に上昇させる処理である。また、ミュート処理は、DA変換部6からの出力信号の信号レベルをゼロにする処理である。ここで、出力制御部72は、制御実行部の一例である。また、出力制御処理はフェードアウト処理、フェードイン処理及びミュート処理に限定されない。例えば、音量を徐々にフェードアウト処理していき、ゼロでないある音量に到達後はその音量を維持するといった処理等であってもよい。
 なお、制御部7は、ハードウェア構成として、CPUに代えて又はCPUに加えて、MPU、DSP、FPGAなどのPLD、ASICなどのプロセッサを有していてもよい。
 なお、バッファ3、バッファ5、信号処理部4のメモリ及び制御部7のメモリのうちの少なくとも2つは、一体に構成されていてもよい。また、バッファ3、バッファ5、信号処理部4のメモリ及び制御部7のメモリは、それぞれ2以上のメモリにより構成されていても構わない。
 なお、信号処理部4のプロセッサ及び制御部7のプロセッサは、一体に構成されていてもよい。また、信号処理部4のプロセッサ及び制御部7のプロセッサは、それぞれ2以上のプロセッサにより構成されていても構わない。
[1-2.第1の実施形態に係る処理の概要]
 外部装置から取得したオーディオデータを再生するヘッドホンやTWSイヤホンなどの情報処理装置1においては、携帯性の向上や軽量化及び小型化によるユーザへの負担低減の観点から本体サイズの抑制が要求されている。したがって、このような情報処理装置1には、CPUなどの搭載される回路構成の大きさや数、消費電力、アンテナ性能などの制約が大きい。
 このため、外部装置からオーディオデータを取得する際の通信環境、情報処理装置1におけるオーディオデータの処理速度などに起因して、オーディオデータの一部が損失する場合があった。例えば、情報処理装置1をモバイル機器として構成し、外部機器から無線音声伝送によりオーディオデータを取得する場合、突発的に通信環境が悪化する場合もある。また、外部装置におけるオーディオデータの送信に係る処理速度に起因して、情報処理装置1で取得されるオーディオデータの一部に損失が発生する場合があった。例えば、オーディオデータの送信に係る処理速度は、外部装置において送信予定のオーディオデータに読み出しエラーが発生したときや、符号化処理や変調処理等の信号処理の遅延により低下し得る。
 このような中、オーディオデータが損失した無音区間の両端部には、不連続点が生じる。再生するオーディオデータにオーディオレベルが異なる不連続点が存在すると、その不連続点がノイズとなり耳障りな音が出力されるなど再生品質が低下する。
 そこで、本開示では、伝送時のデータ損失に起因した再生品質の低下を抑制することができる情報処理装置1を提案する。
 図2は、本開示の第1の実施形態に係る処理の概要を示す図である。図2に示す例において、横軸は時間を示す。また、右下がりの斜線のハッチングが付された領域は、情報処理装置1への入力信号801(オーディオデータ)において、損失が発生していない区間を示す。一方で、右下がりの斜線のハッチングが付されていない領域(損失区間TL1,TL2)は、それぞれ情報処理装置1への入力信号801において、損失が発生している区間を示す。ここで、右下がりの斜線のハッチングが付された領域の高さは、情報処理装置1への入力信号の信号レベルを模式的に示す。つまり、各損失区間TL1,TL2の両端部は、入力信号の信号レベルが不連続の不連続点である。換言すれば、各損失区間TL1,TL2は、2つの不連続点の間の区間である。また、ドットのハッチングが付された領域は、実施形態に係る出力制御803を模式的に示す。
 出力制御部72は、音飛び監視部71により損失区間TL1、すなわち音飛びが検出されたとき、損失区間TL1の両端部の不連続点に対して出力信号の信号レベルを変更する出力制御803(所定の制御)を行う。具体的には、出力制御部72は、図2に示すように、損失区間TL1の開始位置から所定の期間(第1の期間)だけ前の時点に制御開始位置A11を設定する。また、出力制御部72は、図2に示すように、損失区間TL1の終了位置から所定の期間(第2の期間)だけ後の時点に制御終了位置A22を設定する。出力制御部72は、図2に示すように、制御開始位置A11から制御終了位置A22までの間において出力制御803を行う。
 より具体的には、出力制御部72は、図2に示すように、DA変換部6により制御開始位置A11からフェードアウト処理の終了位置A12まで、フェードアウト処理を行う。出力制御部72は、好ましくは、フェードアウト処理の終了位置A12が損失区間TL1の開始位置又は開始位置より前の時点になるように、制御開始位置A11を設定する。換言すれば、制御開始位置A11からフェードアウト処理の終了位置A12までの区間は、第1の期間以下であることが好ましい。なお、フェードアウト処理は、損失区間TL1の開始位置より後に終了しても構わない。
 また、出力制御部72は、図2に示すように、DA変換部6によりフェードイン処理の開始位置A21から制御終了位置A22までフェードイン処理を行う。出力制御部72は、好ましくは、フェードイン処理の開始位置A21が損失区間TL1の終了位置又は終了位置より後の時点になるように、制御終了位置A22を設定する。換言すれば、フェードイン処理の開始位置A21から制御終了位置A22までの区間は、第2の期間以下であることが好ましい。なお、フェードイン処理は、損失区間TL1の終了位置より前に開始しても構わない。
 また、出力制御部72は、図2に示すように、DA変換部6によりフェードアウト処理の終了位置A12からフェードイン処理の開始位置A21までミュート処理を行う。
 このように、出力制御部72は、入力信号の信号レベルと、フェードアウト処理における信号レベルの低下速度(図2の出力制御803の左端の傾き)とに応じて、第1の期間(制御開始位置A11)を設定する。また、出力制御部72は、入力信号の信号レベルと、フェードイン処理における信号レベルの上昇速度(図2の出力制御803の右端の傾き)とに応じて、第2の期間(制御終了位置A22)を設定する。
 なお、図2を参照して損失区間TL1に対する出力制御803を説明したが、出力制御部72は、損失区間TL2についても同様に出力制御803を行う。
 なお、フェードアウト処理における信号レベルの低下速度と、フェードイン処理における信号レベルの上昇速度とは、例えば予め定められて制御部7のメモリなどに記憶されているとする。また、図2は、信号レベルの変化速度がそれぞれ一定である場合を例示するが、これに限らない。信号レベルの変化速度は、フェードアウト処理及びフェードイン処理の少なくとも一方において変化してもよい。また、ユーザによって適宜設定されるようにしても良い。
[1-3.第1の実施形態に係る処理の手順]
 次に、図3を用いて、実施形態に係る処理の手順について説明する。図3は、本開示の第1の実施形態に係る処理の一例を示すフローチャートである。図3の流れは、例えば外部装置からオーディオデータを受信したときに開始される。また、図3の流れは、例えば、外部装置から受信されたオーディオデータの再生が終了したとき、あるいは情報処理装置1の電源がオフ状態とされたときに終了する。
 まず、音飛び監視部71は、音飛びを検出したか否かを判定する(S101)。音飛びを検出したと判定されなかったとき(S101:No)、音飛び監視部71は、S101の処理を繰り返す。
 一方で、音飛びを検出したと判定されたとき(S101:Yes)、出力制御部72は、音飛びが検出された損失区間(音飛び区間)の開始位置の不連続点に対してフェードアウト処理を行う(S102)。また、フェードアウト処理が終了した後、出力制御部72は、音飛び区間に対してミュート処理を行う。
 その後、出力制御部72は、音飛びを検出しているか否か、すなわち音飛び区間(損失区間)が終了したか否かを判定する(S103)。なお、音飛び区間は、パケット(フレーム)単位である。このため、音飛び区間の長さは、例えばオーディオデータの無線伝送方式やコーデックにより予め算出することができる。したがって、本判定では、音飛びを検出しているか否かは、S101の処理と同様に判定されてもよいし、算出された長さだけ音飛び区間の開始位置から経過したかに基づいて判定されてもよい。音飛び区間が終了したと判定されなかったとき(S103:No)、出力制御部72は、音飛び区間に対してミュート処理を継続する。
 一方で、音飛び区間が終了したと判定されたとき(S103:Yes)、出力制御部72は、音飛び区間の終了位置の不連続点に対してフェードイン処理を行う。その後、図3の流れは、S101の処理へ戻る。
 このように、第1の実施形態に係る情報処理装置1は、音飛びを検出したと判定されたとき、音飛び区間(無音区間)の両端部の不連続点に対して信号レベルを変更する出力制御処理を行う。これにより、オーディオデータの損失に起因する不連続点における耳障りな音飛びを、聞き心地の改善されたまろやかな音飛びとすることができる。換言すれば、第1の実施形態に係る情報処理装置1によれば、伝送時のデータ損失に起因した再生品質の低下を抑制することができる。
(2.第2の実施形態)
 第1の実施形態では、各音飛び区間(損失区間TL1,TL2)ごとに、各音飛び区間の両端部の不連続点に対してフェード処理(出力制御処理)を行う情報処理装置1を例示したが、これに限らない。情報処理装置1は、連続して発生する音飛び区間に対して、一連の出力制御処理を行うこともできる。
 なお、第2の実施形態に係る情報処理装置1は、図1を参照して説明した第1の実施形態に係る情報処理装置1の構成と同様の構成を有する。
[2-1.第2の実施形態に係る処理の概要]
 図4は、本開示の第2の実施形態に係る処理の概要を示す図である。
 出力制御部72は、図4に示すように、第1の実施形態と同様に、損失区間TL1の開始位置から所定の期間(第1の期間)だけ前の時点に制御開始位置A1を設定する。つまり、出力制御部72は、損失区間TL1が検出されたとき、検出された損失区間TL1の開始位置に基づいて制御開始位置A1を設定する。
 第2の実施形態に係る出力制御部72は、図4に示すように、損失区間TL1と、損失区間TL1の終了位置から所定の期間(ミュート区間TM)に検出される損失区間TL2とに対して、一連の出力制御803を行う。ここで、ミュート区間TMは、例えば予め定められて制御部7のメモリなどに記憶されているとする。一例として、ミュート区間TMの時間幅は、200msである。ここで、ミュート区間TMは、例えばコーデックの種類やサンプリングレート等に基づいて所望の期間に設定されてもよい。
 まず、出力制御部72は、図4に破線の矢印で示すように、損失区間TL1の終了位置からミュート区間TM1(第2の期間)だけ後の時点に制御終了位置A2を設定する。
 例えば、図4に示すように、損失区間TL1の終了位置からミュート区間TM1(ミュート区間TM)が経過するまでに損失区間TL2が検出されるとする。このとき、出力制御部72は、損失区間TL2の終了位置からミュート区間TM2(ミュート区間TM)を設定する。換言すれば、出力制御部72は、ミュート区間TMにおいて損失区間が検出されたとき、検出された損失区間の終了位置を始点として、ミュート区間TMを再設定する。つまり、出力制御部72は、図4に実線の矢印示すように、損失区間TL2の終了位置からミュート区間TM2(第2の期間)だけ後の時点に制御終了位置A2を再設定する。
 例えば図4に示す例とは異なり、損失区間TL1の終了位置からミュート区間TM1(ミュート区間TM)が経過するまでに損失区間TL2が検出されなければ、出力制御部72は、損失区間TL1の終了位置からミュート区間TM1(第2の期間)だけ後の時点に制御終了位置A2を設定する。
 なお、損失区間TL1,TL2の終了位置からミュート区間TM1,TM2(ミュート区間TM)が開始される場合を例示したが、これに限らない。ミュート区間TM1,TM2は、損失区間TL1,TL2の開始位置から開始されてもよい。このように、出力制御部72は、損失区間TL1が検出されたとき、検出された損失区間TL1の開始位置を各種の出力制御に係る基準タイミングとして用いることもできる。
 なお、出力制御部72は、損失区間TL1の終了位置からミュート区間TM1(ミュート区間TM)が経過するまでの間に損失区間TL2が収まる場合、第1の実施形態と同様にして、損失区間TL1の終了位置から所定の期間(第2の期間)だけ後の時点、すなわちミュート区間TM1だけ後の時点に制御終了位置A2を設定してもよい。
 このように、出力制御部72は、制御開始位置A1から制御終了位置A2までの間において、連続する損失区間TL1,TL2に対して一連の出力制御803(所定の制御)を行う。
 なお、第2の実施形態に係る出力制御803は、フェード処理を含まない。このため、第2の実施形態に係る第1の期間及び第2の期間は、それぞれ、第1の実施形態に係る第1の期間及び第2の期間より短く設定することができる。
 より具体的には、出力制御部72は、図4に示すように、DA変換部6により制御開始位置A1においてミュート処理(出力制御803)を行う。また、出力制御部72は、DA変換部6により制御終了位置A2においてアンミュート(UnMute)処理(出力制御803)を行う。なお、出力制御部72は、図4に示すように、ミュート区間TM1において損失区間TL2が検出されているとき、損失区間TL1の終了位置に対するアンミュート処理は行わない。同様に、出力制御部72は、ミュート区間TMにおいて損失区間TL2が検出されているとき、損失区間TL2の開始位置に対するアンミュート処理は行わない。
[2-2.第2の実施形態に係る処理の手順]
 次に、図5を用いて、実施形態に係る処理の手順について説明する。図5は、本開示の第2の実施形態に係る処理の一例を示すフローチャートである。なお、ここでは、主として図3の第1の実施形態に係る処理の流れとの相違点を説明する。
 まず、音飛び監視部71は、図3のS101の処理と同様にして、音飛びを検出したか否かを判定する(S201)。音飛びを検出したと判定されたとき(S201:Yes)、出力制御部72は、音飛びが検出された損失区間(音飛び区間)の開始位置の不連続点に対してミュート処理を行う(S202)。
 その後、出力制御部72は、図3のS103の処理と同様にして、音飛び区間が終了したか否かを判定する(S203)。音飛び区間が終了したと判定されたとき(S203:Yes)、出力制御部72は、ミュート区間が終了したか否かを判定する(S204)。ミュート区間が終了したと判定されなかったとき(S204:No)、図5の流れはS203の処理に戻る。
 一方で、ミュート区間が終了したと判定されたとき(S204:Yes)、出力制御部72は、ミュート区間に含まれる最後の音飛び区間の終了位置の不連続点に対してアンミュート処理を行う(S205)。その後、図5の流れは、S201の処理へ戻る。
 このように、第2の実施形態に係る情報処理装置1は、検出された音飛び区間の終了位置からミュート区間が終了するまでの間に次の音飛び区間が検出されたとき、新たに検出された音飛び区間についても一連の出力制御処理の対象とする。なお、図4は2つの音飛び区間に対して一連の出力制御を行う場合を例示したが、情報処理装置1は、ミュート区間に含まれる音飛び区間であれば、3以上の複数回の音飛び区間についても一連の出力制御処理の対象とする。これにより、不連続点の数を低減することができるため、伝送時のデータ損失に起因した再生品質の低下を抑制することができる。
 また、第2の実施形態に係る出力制御は、一般にミュート処理より計算コストが高いフェード処理を含まない。したがって、第2の実施形態に係る情報処理装置1によれば、第1の実施形態で得られる効果に加えて、出力制御処理に係る計算コストを低減することができる。計算コストの低減は、搭載される回路構成の大きさや数、消費電力の低減に寄与する。
(3.第3の実施形態)
 第2の実施形態では、連続して発生する複数回の音飛び区間に対して、一連のミュート処理(出力制御処理)を行う情報処理装置1を例示したが、これに限らない。情報処理装置1は、連続して発生する複数回の音飛び区間に対して、第1の実施形態の出力制御処理と同様にして、一連のフェード処理(出力制御処理)を行うこともできる。
 なお、第3の実施形態に係る情報処理装置1は、図1を参照して説明した第1の実施形態及び第2の実施形態に係る情報処理装置1の構成と同様の構成を有する。
[3-1.第3の実施形態に係る処理の概要]
 図6は、本開示の第3の実施形態に係る処理の概要を示す図である。
 出力制御部72は、図6に示すように、第1の実施形態と同様にして、制御開始位置A11及びフェードアウト処理の終了位置A12を設定する。
 また、出力制御部72は、図6に示すように、第2の実施形態と同様に、損失区間TL1の終了位置からミュート区間TM1が経過するまでに検出される損失区間TL2に応じて、フェードイン処理の開始位置A21及び制御終了位置A22を設定する。図6に示す例では、出力制御部72は、損失区間TL1の終了位置からミュート区間TM1(ミュート区間TM)だけ後の時点にフェードイン処理の開始位置A21(破線)を設定する。また、出力制御部72は、ミュート区間TM1の間に損失区間TL2が検出されたことに応じて損失区間TL2の終了位置からミュート区間TM2(ミュート区間TM)だけ後の時点にフェードイン処理の開始位置A21(実線)を再設定する。
 このように、出力制御部72は、制御開始位置A11から制御終了位置A22までの間において、連続する損失区間TL1,TL2に対して一連の出力制御803(所定の制御)を行う。
[3-2.第3の実施形態に係る処理の手順]
 次に、図7を用いて、実施形態に係る処理の手順について説明する。図7は、本開示の第3の実施形態に係る処理の一例を示すフローチャートである。なお、ここでは、主として図5の第2の実施形態に係る処理の流れとの相違点を説明する。
 図5のS201の処理と同様にして、音飛びを検出したと判定されたとき(S301:Yes)、出力制御部72は、音飛びが検出された損失区間(音飛び区間)の開始位置の不連続点に対してフェードアウト処理を行う(S302)。
 その後、出力制御部72は、図5のS203,S204の処理と同様にして、音飛び区間が終了したか否かの判定(S303)と、ミュート区間が終了したか否かを判定(S304)する。ミュート区間が終了したと判定されたとき(S304:Yes)、出力制御部72は、ミュート区間に含まれる最後の音飛び区間の終了位置の不連続点に対してフェードイン処理を行う(S305)。その後、図7の流れは、S301の処理へ戻る。
 このように、第3の実施形態に係る情報処理装置1は、第2の実施形態に係る情報処理装置1でミュート処理を行うことに加えて、第1の実施形態に係る情報処理装置1と同様にしてフェード処理を行う。これにより、第1の実施形態に係る情報処理装置1より計算コストを低減しつつ、第2の実施形態に係る情報処理装置1より聞き心地の改善されたまろやかな音飛びとすることができる。
(4.第4の実施形態)
 上述の各実施形態では、出力制御処理において、フェード処理及びミュート処理のいずれかを行う情報処理装置1を例示したが、これに限らない。出力制御処理においては、フェード処理及びミュート処理のうちの適切な処理を、オーディオデータの内容に応じて適用することもできる。
[4-1.第4の実施形態に係る情報処理装置の構成]
 図8を用いて、第4の実施形態に係る情報処理装置1の構成例を説明する。図8は、本開示の第4の実施形態に係る情報処理装置1の構成例を示す図である。なお、ここでは、主として図1の構成との相違点を説明する。
 第4の実施形態に係る情報処理装置1は、オーディオデータに加えて、当該オーディオデータのメタデータを外部装置から取得する。また、信号処理部4でオーディオデータを復号する際に情報処理装置1側でメタデータを付与するようにしてもよい。ここで、メタデータとは例えば、当該オーディオデータの種別情報や当該オーディオデータの重要度情報などである。オーディオデータの種別情報は、例えばそのオーディオデータが音楽のデータであるか、あるいは動画のデータであるかを示す情報である。また、オーディオデータの重要度は、例えば音楽に関してサビの部分であるか否かを示す情報である。また、オーディオデータの重要度は、サビに限らず、例えば音楽のパートを示す情報であってもよい。ここで、音楽のパートとは、一例として、イントロ,Aメロ,Bメロ,サビ,アウトロなどを示す。また、オーディオデータの重要度は、一例として、クラシックやジャズなどの音楽種別を示す情報である。また、オーディオデータの重要度は、例えば動画に関してクライマックスシーンであるか否かを示す情報である。また、オーディオデータの重要度は、例えば動画内のパートを示す情報であってもよい。ここで、動画内のパートとは、一例として、主役のセリフであるか否かを示す。動画内のパートとは、一例として、環境音であるか否かを示す。
 なお、オーディオデータの重要度は、オーディオデータに付与されたメタデータに含まれているとするが、これに限らない。オーディオデータの重要度は、オーディオデータの種別や名称などに基づいて、情報処理装置1がインターネット等を用いて検索して取得する構成としても構わないし、情報処理装置1側で予め重要度に関するリファレンスデータを例えばテーブル形式で記憶しておき、当該テーブルを参照することで付与されるようにしてもよい。ここでリファレンスデータは情報処理装置1ではなく、クラウド側に記憶されていてもよい。また、ユーザが適宜設定できるようにしてもよい。
 制御部7のプロセッサは、ROMに格納されたプログラムをRAMにロードし、ロードされたプログラム(アプリケーション)を実行することにより、メタデータ監視部73をさらに実現する。ここで、メタデータ監視部73は、調整部の一例である。
 メタデータ監視部73は、信号処理部4からオーディオデータの種別及び重要度を取得する。メタデータ監視部73は、取得されたオーディオデータの種別及び重要度に基づいて、対象の損失区間(音飛び区間)に対する出力制御803の内容を決定する。メタデータ監視部73は、決定された出力制御803の内容を出力制御部72に供給する。
 出力制御部72は、メタデータ監視部73から供給された出力制御803の内容に従い、出力制御処理を行う。なお、ここでは信号処理部4からオーディオデータの種別及び重要度を取得するとしたが、情報処理装置1の外部にあるサーバーやクラウド等から取得するようにしてもよい。
[4-2.第4の実施形態に係る処理の概要]
 図9は、本開示の第4の実施形態に係る処理の概要を示す図である。図9は、フェード処理を適用する出力制御803aと、ミュート処理を適用する出力制御803bとが実行される場合を例示する。上述したように、メタデータ監視部73は、取得されたオーディオデータのメタデータに基づいて、対象の損失区間(音飛び区間)に対する出力制御803の内容を決定する。
 なお、いずれのメタデータ(例えば種別,重要度)に対していずれの処理を適用するかは、ユーザが任意に設定可能であり、予め定められて制御部7のメモリなどに記憶されているとする。一例として、メタデータ監視部73は、音楽に対してフェード処理を適用し、セリフに対してミュート処理を適用すると決定する。この場合、音楽に対しては再生品質を向上しつつ、セリフに対しては情報量の損失を低減するといった出力制御処理を実現することができる。
[4-3.第4の実施形態に係る処理の手順]
 次に、図10を用いて、実施形態に係る処理の手順について説明する。図10は、本開示の第4の実施形態に係る処理の一例を示すフローチャートである。なお、ここでは、主として図5の第2の実施形態に係る処理又は図7の第3の実施形態に係る処理の流れとの相違点を説明する。
 図5のS201及び図7のS301の処理と同様にして、音飛びを検出したと判定されたとき(S401:Yes)、メタデータ監視部73は、信号処理部4からオーディオデータの種別及び重要度を取得する。メタデータ監視部73は、取得されたオーディオデータの種別及び重要度に基づいて、対象の損失区間(音飛び区間)に対する出力制御の内容を決定する。メタデータ監視部73は、決定された出力制御の内容を出力制御部72に供給する(S402)。
 その後、出力制御部72は、メタデータ監視部73から供給された出力制御の内容に従い、出力制御処理を行う(S403)。なお、S403の処理は、ミュート処理を適用する場合は、図5のS202の処理と同様である。また、S403の処理は、フェード処理を行う場合は、図7のS302の処理と同様である。
 その後、出力制御部72は、図5のS203,S204及び図7のS303及びS304の処理と同様にして、音飛び区間が終了したか否かの判定(S404)と、ミュート区間が終了したか否かを判定(S405)する。ミュート区間が終了したと判定されたとき(S405:Yes)、出力制御部72は、ミュート区間に含まれる最後の音飛び区間の終了位置の不連続点に対してメタデータ監視部73から供給された出力制御の内容に従い、出力制御処理を行う(S406)。その後、図10の流れは、S401の処理へ戻る。
[4-4.第4の実施形態の変形例]
 なお、第4の実施形態では、オーディオデータのメタデータに基づいて、対象の損失区間(音飛び区間)に対する出力制御803の内容を決定する情報処理装置1を例示したが、これに限らない。メタデータ監視部73は、オーディオデータのメタデータに基づいて、フェード処理における信号レベルの変化速度(傾斜角度)を決定することができる。このとき、フェードアウト処理における変化速度と、フェードイン処理における変化速度とは、同じであってもよいし、異なっていても構わない。ここで、いずれのメタデータに対していずれの変化速度を適用するかは、ユーザが任意に設定可能であり、予め定められて制御部7のメモリなどに記憶されているとする。一例として、メタデータ監視部73は、オーディオデータの重要度がミュージカルを示す情報であるとき、セリフに対しては、情報量の損失を低減する観点から大きな変化速度を設定する。一例として、メタデータ監視部73は、オーディオデータの重要度が音楽であるとき、再生品質の観点から小さな変化速度を設定する。
 なお、オーディオデータのメタデータに基づいて決定された出力制御803の内容がミュート処理である場合において、1つの音飛び区間しか検出されない場合もあり得る。そこで、出力制御部72は、S402の処理でミュート処理が行われた場合であっても、1つの音飛び区間だけが検出された場合には、S406の処理において、フェードイン処理を行うこともできる。
 このように、第4の実施形態に係る情報処理装置1は、オーディオデータの種別及び重要度に基づいて、対象の損失区間(音飛び区間)に対する出力制御803の内容を決定する。これにより、上述の各実施形態で得られる効果に加えて、再生するデータに応じた適切な制御を実現することができる。
(5.第5の実施形態)
 上述の各実施形態では、出力制御処理を行う間においても外部装置から情報処理装置1にオーディオデータが送信され続ける場合を例示したが、これに限らない。出力制御処理により音飛び区間(損失区間)が存在しても再生品質の低下を抑制することができるため、損失したオーディオデータは使用されていない。そこで、本実施形態では、出力制御処理とともに、通信の最適化処理を行う情報処理装置1を説明する。
[5-1.第5の実施形態に係る情報処理装置の構成]
 図11を用いて、第5の実施形態に係る情報処理装置1の構成例を説明する。図11は、本開示の第5の実施形態に係る情報処理装置1の構成例を示す図である。なお、ここでは、主として図1の構成との相違点を説明する。
 第5の実施形態に係る情報処理装置1において、音飛び監視部71は、バッファ3に格納されている通信部2から出力されたオーディオデータを参照し、オーディオデータの損失(パケットロス)による音飛びの有無を監視する受信パケット監視処理をさらに行う。
 制御部7のプロセッサは、ROMに格納されたプログラムをRAMにロードし、ロードされたプログラム(アプリケーション)を実行することにより、通信制御部74をさらに実現する。ここで、通信制御部74は、制御実行部の一例である。
 通信制御部74は、通信の最適化区間(第3の期間)を設定する。通信制御部74は、通信の最適化区間において、損失したオーディオデータの再送が行われないように制御する通信の最適化処理を実行する。
[5-2.第5の実施形態に係る処理の概要]
 図12は、本開示の第5の実施形態に係る処理の概要を示す図である。通信制御部74は、出力制御部72から設定された制御開始位置A1及び制御終了位置A2を取得する。通信制御部74は、図12に示すように、制御開始位置A1及び制御終了位置A2の間より短い通信の最適化区間TO(第3の期間)を設定する。通信制御部74は、通信の最適化区間TOに関するオーディオデータの再送が行われないように制御する通信の最適化処理を実行する。
 例えば、情報処理装置1においてオーディオデータの損失を検出したときに、当該損失区間のオーディオデータの再送依頼を情報処理装置1から外部装置に送信する伝送方式が利用される場合がある。この場合、通信制御部74は、設定された通信の最適化区間TOに関しては、オーディオデータが損失していても、オーディオデータの再送依頼を外部装置に送信しない。
 例えば、オーディオデータが損失した場合に備えて、情報処理装置1からの再送依頼に依らず、同一の区間のオーディオデータを外部装置から情報処理装置1に複数回送信する伝送方式が利用される場合がある。この場合、通信制御部74は、通信の最適化区間TOに関しては、残り回数の送信を停止する依頼を外部装置に送信する。
 なお、通信制御部74は、最適化区間TOの長さに応じて、現時点から所定時間先までのデータが不要であることを外部装置へ送信してもよい。この場合、所定時間は、例えば予め定められて制御部7のメモリなどに記憶されているとする。なお、所定時間は、第4の実施形態に係る情報処理装置と同様に、オーディオデータのメタデータ(例えば種別や重要度)などに基づいて決定されても構わないし、ユーザが適宜設定できるようにしてもよい。
[5-3.第5の実施形態に係る処理の手順]
 次に、図13を用いて、実施形態に係る処理の手順について説明する。図13は、本開示の第5の実施形態に係る処理の一例を示すフローチャートである。なお、ここでは、主として図5の第2の実施形態に係る処理の流れとの相違点を説明する。
 図5のS201の処理と同様にして、音飛びを検出したと判定されたとき(S501:Yes)、出力制御部72は、図5のS202の処理と同様にして、ミュート処理を行う(S502)。
 その後、通信制御部74は、通信の最適化処理を開始する(S503)。また、出力制御部72は、図5のS203,S204の処理と同様にして、音飛び区間が終了したか否かの判定(S504)と、ミュート区間が終了したか否かを判定(S505)する。ミュート区間が終了したと判定されたとき(S505:Yes)、通信制御部74は、通信の最適化処理を終了する(S506)。その後、出力制御部72は、図5のS205と同様にして、アンミュート処理を行う(S406)。その後、図13の流れは、S501の処理へ戻る。
 このように、第5の実施形態に係る情報処理装置1は、対象の損失区間(音飛び区間)に対する出力制御において、損失したオーディオデータの再送を行わない通信の最適化処理を行う。これにより、上述の各実施形態で得られる効果に加えて、再送に伴うデータ転送効率の低下を抑制することができる。なお、第5の実施形態に係る技術は、上述の各実施形態に係る技術と任意に組合せ可能である。
(6.第6の実施形態)
 上述の各実施形態に係る情報処理装置1において、音飛び区間に対してその前後のオーディオデータから損失区間のオーディオデータを補間する処理(PLC:Packet Loss Concealment)が実行されてもよい。
 なお、第6の実施形態に係る情報処理装置1は、図11を参照して説明した第5の実施形態に係る情報処理装置1の構成と同様の構成を有する。
 第6の実施形態に係る情報処理装置1において、出力制御部72は、音飛び監視部71の受信パケット監視処理によりオーディオデータ(パケット)の損失が検出されたとき、その損失区間(音飛び区間)に対して、信号処理部4によりPLCを行う。ここで、PLCを行う区間幅は、例えば予め定められて制御部7のメモリなどに記憶されているとする。また、出力制御部72は、損失区間のうち、PLCにより補間しきれなかった区間に対して出力制御処理を行う。
[6-1.第6の実施形態に係る処理の概要]
 図14は、本開示の第6の実施形態に係る処理の概要を示す図である。図14に示す例において、右上がりの斜線のハッチングが付された領域は、PLCにより補間された入力信号805(オーディオデータ)を示す。また、図14に示す例において、損失区間TL1は、PLCにより補間された区間TL1aと、PLCにより補間しきれなかった区間TL1bとを含む。同様に、損失区間TL2は、PLCにより補間された区間TL2aと、PLCにより補間しきれなかった区間TL2bとを含む。
 出力制御部72は、図14に示すように、損失区間TL1のうちのPLCにより補間しきれなかった区間TL1bに対して、第3の実施形態と同様にして、制御開始位置A11及びフェードアウト処理の終了位置A12を設定する。ここで、第6の実施形態に係る区間TL1bの開始位置は、第3の実施形態に係る損失区間TL1の開始位置に相当する。
 また、出力制御部72は、図14に示すように、損失区間TL2のうちのPLCにより補間しきれなかった区間TL2bに対して、第3の実施形態と同様にして、フェードイン処理の開始位置A21及び制御終了位置A22を設定する。
 このように、第6の実施形態に係る出力制御部72は、損失区間TL1,TL2のうちのPLCにより補間しきれなかった区間TL1b,TL2bを、第3の実施形態に係る損失区間TL1,TL2と同様に扱い、連続する区間TL1b,TL2bに対して一連の出力制御803(所定の制御)を行う。
[6-2.第6の実施形態に係る処理の手順]
 次に、図15を用いて、実施形態に係る処理の手順について説明する。図15は、本開示の第6の実施形態に係る処理の一例を示すフローチャートである。なお、ここでは、主として図7の第3の実施形態に係る処理の流れとの相違点を説明する。
 図7のS301の処理と同様にして、音飛びを検出したと判定されたとき(S601:Yes)、出力制御部72は、対象の音飛び区間が補間不可能な範囲であるか否かを判定する(S602)。対象の音飛び区間が補間不可能な範囲であると判定されなかったとき(S602:No)、出力制御部72は、信号処理部4によりPLCを行い、その音飛び区間のオーディオデータを補間する(S603)。その後、図15の流れはS601の処理へ戻る。
 一方で、対象の音飛び区間が補間不可能な範囲であると判定されたとき(S602:Yes)、出力制御部72は、信号処理部4によりPLCを行い、その音飛び区間の一部の範囲について、すなわち補間可能な範囲についてオーディオデータを補間する(S604)。また、出力制御部72は、音飛びが検出された損失区間(音飛び区間)のうち、PLCで補間しきれなかった区間の開始位置の不連続点に対してフェードアウト処理を行う(S605)。
 その後、出力制御部72は、図7のS303,S304の処理と同様にして、音飛び区間が終了したか否かの判定(S606)と、ミュート区間が終了したか否かを判定(S607)する。ミュート区間が終了したと判定されたとき(S607:Yes)、出力制御部72は、ミュート区間に含まれる音飛び区間のうちの、PLCで補間しきれなかった最後の音飛び区間の終了位置の不連続点に対してフェードイン処理を行う(S608)。その後、図15の流れは、S601の処理へ戻る。
 このように、第6の実施形態に係る情報処理装置1は、音飛びを検出したと判定されたとき、音飛び区間のうちの補間可能な範囲については、PLCによりオーディオデータを補間する。そして、音飛び区間のうちの補間可能な範囲については、上述の各実施形態と同様にして、出力制御処理を行う。これにより、PLCにより補間可能な音飛び区間については、不連続点を無くすことができる。また、PLCにより補間しきれない音飛び区間についても、出力制御処理により生じる無音区間を短くすることができる。なお、第6の実施形態に係る技術は、上述の各実施形態に係る技術と任意に組合せ可能である。
(7.その他の実施形態)
 なお、上述の各実施形態では、入力信号がオーディオデータである場合を例示したが、これに限らない。上述の各実施形態に係る出力制御処理は、例えば照明装置などの光源の明暗処理に適用することもできる。つまり、入力信号としては、光源からの光信号を使用することもできる。この場合、視覚へのちらつきなど、照明品質(再生品質)の低下を抑制できるという効果が得られる。
 また、上記の照明装置は、オーディオデータを再生可能に構成されていてもよい。この場合、オーディオデータ及び光信号の両方に関して出力制御処理を実行しなくてもよい。オーディオデータだけに上述の各実施形態に係る出力制御処理を実行し、光信号の出力を、その音声データの出力制御に連動させて行うこともできる。これにより、光信号に対してさらに出力制御を行う場合であっても、処理コストの増加を抑制できる。
 また、上述の各実施形態に係る出力制御処理は、照明装置に限らず、例えばHMD(Head Mounted Display)などの表示制御に適用されても構わない。
 なお、上述の各実施形態に係る情報処理装置1において、出力制御処理は、損失区間を規定する2つの不連続点のうちの少なくとも一方に対して行われてもよい。換言すれば、損失区間の開始位置及び終了位置のうちのいずれ一方の不連続点に対して、出力制御処理が行われなくても構わない。
(8.本開示に係る情報処理装置による効果)
 情報処理装置1は、音飛び監視部71(検出部)と、出力制御部72(制御実行部)とを備える。音飛び監視部71は、入力信号801の信号レベルが不連続である不連続点を検出する。出力制御部72は、音飛び監視部71により検出された第1の不連続点及び第2の不連続点の間の区間である損失区間TL1に対して出力制御803(所定の制御)を行う。また、例えば情報処理装置1において実行される情報処理方法は、入力信号801の信号レベルが不連続である不連続点を検出し、検出された第1の不連続点及び第2の不連続点の間の区間である損失区間TL1に対して出力制御803(所定の制御)を行うことを含む。また、例えば情報処理装置1により実行される情報処理プログラムは、入力信号801の信号レベルが不連続である不連続点を検出し、検出された第1の不連続点及び第2の不連続点の間の区間である損失区間TL1に対して出力制御803(所定の制御)を行うことをコンピュータに実現させる。ここで、出力制御803は、第1の不連続点から第1の期間だけ前の時点に制御開始位置A11を有し、第2の不連続点から第2の期間だけ後の時点に制御終了位置A22を有する。
 これにより、情報処理装置1は、オーディオデータ(入力信号)の損失に起因する不連続点における耳障りな音飛びを、聞き心地の改善されたまろやかな音飛びとすることができる。換言すれば、情報処理装置1によれば、伝送時のデータ損失に起因した再生品質の低下を抑制することができる。
 情報処理装置1において、出力制御803(所定の制御)は、フェード処理及びミュート処理のうち少なくとも一方である。
 これにより、情報処理装置1は、伝送時のデータ損失に起因した再生品質の低下を抑制することができる。
 情報処理装置1において、出力制御803(所定の制御)は、入力信号801の非再送処理(通信の最適化処理)をさらに含む。
 これにより、情報処理装置1は、外部装置からの入力信号801の再送に伴うデータ転送効率の低下を抑制することができる。
 情報処理装置1において、入力信号801は、メタデータを含む。また、出力制御803(所定の制御)は、フェード処理及びミュート処理のうち少なくとも一方である。また、出力制御部72は、メタデータに応じてフェード処理及びミュート処理のうち少なくとも一方を行う。
 これにより、情報処理装置1は、再生するデータに応じた適切な制御を実現することができる。
 情報処理装置1において、出力制御803(所定の制御)は、フェード処理である。また、情報処理装置1は、第1の期間及び第2の期間の長さを調整するメタデータ監視部73(調整部)をさらに備える。
 これにより、情報処理装置1は、再生するデータに応じて、情報量の損失を低減する観点と、再生品質の観点との各々に応じた制御を実現することができる。
 情報処理装置1において、入力信号801は、メタデータを含む。また、メタデータ監視部73(調整部)は、メタデータに応じて第1の期間及び第2の期間の長さを調整する。
 これにより、情報処理装置1は、再生するデータに応じて、情報量の損失を低減する観点と、再生品質の観点との各々に応じた制御を実現することができる。
 情報処理装置1において、メタデータは、入力信号801の種別情報及び重要度情報を少なくとも含む。
 これにより、情報処理装置1は、再生するデータに応じた適切な制御を実現することができる。
 情報処理装置1において、出力制御部72(制御実行部)は、損失区間TL1の前後の入力信号801に基づいて、損失区間TL1のうちの少なくとも一部の区間である補間区間TCの入力信号805を補間する。
 これにより、情報処理装置1は、PLCにより補間可能な音飛び区間については、不連続点を無くすことができる。また、PLCにより補間しきれない音飛び区間についても、出力制御803により生じる無音区間を短くすることができる。
 情報処理装置1において、制御開始位置A11は、補間区間TCの終了位置である。
 これにより、情報処理装置1は、PLCにより補間しきれない音飛び区間についても、出力制御803により生じる無音区間を短くすることができる。
 情報処理装置1において、入力信号801は、オーディオ信号及び光信号のうちの少なくとも一方である。
 これにより、入力信号がオーディオデータである場合には、伝送時のデータ損失に起因した音質(再生品質)の低下を抑制することができる。同様に、入力信号が光信号である場合には、伝送時のデータ損失に起因した視覚へのちらつきなど、照明品質(再生品質)の低下を抑制できるという効果が得られる。
 情報処理装置1において、損失区間TL1は、入力信号805が無線伝送において損失した区間である。
 これにより、無線伝送時のデータ損失に起因した再生品質の低下を抑制することができる。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 入力信号の信号レベルが不連続である不連続点を検出する検出部と、
 前記検出部により検出された第1の不連続点及び第2の不連続点の間の区間である損失区間に対して所定の制御を行う制御実行部と
 を備え、
 前記所定の制御は、前記第1の不連続点から第1の期間だけ前の時点に制御開始位置を有し、前記第2の不連続点から第2の期間だけ後の時点に制御終了位置を有する、
 情報処理装置。
(2)
 前記所定の制御は、フェード処理及びミュート処理のうち少なくとも一方である、前記(1)に記載の情報処理装置。
(3)
 前記所定の制御は、前記入力信号の非再送処理をさらに含む、前記(2)に記載の情報処理装置。
(4)
 前記入力信号は、メタデータを含み、
 前記所定の制御は、フェード処理及びミュート処理のうち少なくとも一方であり、
 前記制御実行部は、前記メタデータに応じて前記フェード処理及び前記ミュート処理のうち少なくとも一方を行う、前記(1)~(3)のいずれかに記載の情報処理装置。
(5)
 前記所定の制御は、フェード処理であり、
 前記第1の期間及び前記第2の期間の長さを調整する調整部をさらに備える、
 前記(1)に記載の情報処理装置。
(6)
 前記入力信号は、メタデータを含み、
 前記調整部は、前記メタデータに応じて前記第1の期間及び前記第2の期間の長さを調整する、
 前記(5)に記載の情報処理装置。
(7)
 前記メタデータは、前記入力信号の種別情報及び重要度情報を少なくとも含む、前記(4)又は(6)に記載の情報処理装置。
(8)
 前記制御実行部は、前記損失区間の前後の前記入力信号に基づいて、前記損失区間のうちの少なくとも一部の区間である補間区間の前記入力信号を補間する、前記(1)~(7)のいずれかに記載の情報処理装置。
(9)
 前記制御開始位置は、前記補間区間の終了位置である、前記(8)に記載の情報処理装置。
(10)
 前記入力信号は、オーディオ信号及び光信号のうちの少なくとも一方である、前記(1)~(9)のいずれかに記載の情報処理装置。
(11)
 前記損失区間は、前記入力信号が無線伝送において損失した区間である、前記(1)~(10)のいずれかに記載の情報処理装置。
(12)
 入力信号の信号レベルが不連続である不連続点を検出することと、
 検出された第1の不連続点及び第2の不連続点の間の区間である損失区間に対して所定の制御を行うことと
 を含み、
 前記所定の制御は、前記第1の不連続点から第1の期間だけ前の時点に制御開始位置を有し、前記第2の不連続点から第2の期間だけ後の時点に制御終了位置を有する、
 情報処理方法。
(13)
 コンピュータに、
 入力信号の信号レベルが不連続である不連続点を検出することと、
 検出された第1の不連続点及び第2の不連続点の間の区間である損失区間に対して所定の制御を行うことと
 を実現させ、
 前記所定の制御は、前記第1の不連続点から第1の期間だけ前の時点に制御開始位置を有し、前記第2の不連続点から第2の期間だけ後の時点に制御終了位置を有する、
 情報処理プログラム。
  1 情報処理装置
  2 通信部
  3 バッファ
  4 信号処理部
  5 バッファ
  6 DA変換部
  7 制御部
 71 音飛び監視部(検出部)
 72 出力制御部(制御実行部)
 73 メタデータ監視部(調整部)
 74 通信制御部(制御実行部)

Claims (13)

  1.  入力信号の信号レベルが不連続である不連続点を検出する検出部と、
     前記検出部により検出された第1の不連続点及び第2の不連続点の間の区間である損失区間に対して所定の制御を行う制御実行部と
     を具備し、
     前記所定の制御は、前記第1の不連続点から第1の期間だけ前の時点に制御開始位置を有し、前記第2の不連続点から第2の期間だけ後の時点に制御終了位置を有する、
     情報処理装置。
  2.  前記所定の制御は、フェード処理及びミュート処理のうち少なくとも一方である、請求項1に記載の情報処理装置。
  3.  前記所定の制御は、前記入力信号の非再送処理をさらに含む、請求項2に記載の情報処理装置。
  4.  前記入力信号は、メタデータを含み、
     前記所定の制御は、フェード処理及びミュート処理のうち少なくとも一方であり、
     前記制御実行部は、前記メタデータに応じて前記フェード処理及び前記ミュート処理のうち少なくとも一方を行う、請求項1に記載の情報処理装置。
  5.  前記所定の制御は、フェード処理であり、
     前記第1の期間及び前記第2の期間の長さを調整する調整部をさらに備える、
     請求項1に記載の情報処理装置。
  6.  前記入力信号は、メタデータを含み、
     前記調整部は、前記メタデータに応じて前記第1の期間及び前記第2の期間の長さを調整する、
     請求項5に記載の情報処理装置。
  7.  前記メタデータは、前記入力信号の種別情報及び重要度情報を少なくとも含む、請求項4に記載の情報処理装置。
  8.  前記制御実行部は、前記損失区間の前後の前記入力信号に基づいて、前記損失区間のうちの少なくとも一部の区間である補間区間の前記入力信号を補間する、請求項1に記載の情報処理装置。
  9.  前記制御開始位置は、前記補間区間の終了位置である、請求項8に記載の情報処理装置。
  10.  前記入力信号は、オーディオ信号及び光信号のうちの少なくとも一方である、請求項1に記載の情報処理装置。
  11.  前記損失区間は、前記入力信号が無線伝送において損失した区間である、請求項1に記載の情報処理装置。
  12.  入力信号の信号レベルが不連続である不連続点を検出することと、
     検出された第1の不連続点及び第2の不連続点の間の区間である損失区間に対して所定の制御を行うことと
     を含み、
     前記所定の制御は、前記第1の不連続点から第1の期間だけ前の時点に制御開始位置を有し、前記第2の不連続点から第2の期間だけ後の時点に制御終了位置を有する、
     情報処理方法。
  13.  コンピュータに、
     入力信号の信号レベルが不連続である不連続点を検出することと、
     検出された第1の不連続点及び第2の不連続点の間の区間である損失区間に対して所定の制御を行うことと
     を実現させ、
     前記所定の制御は、前記第1の不連続点から第1の期間だけ前の時点に制御開始位置を有し、前記第2の不連続点から第2の期間だけ後の時点に制御終了位置を有する、
     情報処理プログラム。
PCT/JP2022/000919 2021-02-03 2022-01-13 情報処理装置、情報処理方法及び情報処理プログラム WO2022168559A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280011959.8A CN116888667A (zh) 2021-02-03 2022-01-13 信息处理设备、信息处理方法和信息处理程序
US18/262,838 US20240096333A1 (en) 2021-02-03 2022-01-13 Information processing device, information processing method, and information processing program
JP2022579413A JPWO2022168559A1 (ja) 2021-02-03 2022-01-13

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021015786 2021-02-03
JP2021-015786 2021-02-03

Publications (1)

Publication Number Publication Date
WO2022168559A1 true WO2022168559A1 (ja) 2022-08-11

Family

ID=82741283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000919 WO2022168559A1 (ja) 2021-02-03 2022-01-13 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (4)

Country Link
US (1) US20240096333A1 (ja)
JP (1) JPWO2022168559A1 (ja)
CN (1) CN116888667A (ja)
WO (1) WO2022168559A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135935A (ja) * 1996-10-31 1998-05-22 Sharp Corp データ通信装置
JP2004064390A (ja) * 2002-07-29 2004-02-26 Matsushita Electric Ind Co Ltd パケット補間装置
JP2006042210A (ja) * 2004-07-29 2006-02-09 Victor Co Of Japan Ltd 光無線受信装置
JP2006135872A (ja) * 2004-11-09 2006-05-25 Sharp Corp 受信装置及び無線通信システム
JP2010282699A (ja) * 2009-06-05 2010-12-16 Renesas Electronics Corp 外部音声入力装置及びそのミュート制御方法
JP2017513072A (ja) * 2014-03-19 2017-05-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135935A (ja) * 1996-10-31 1998-05-22 Sharp Corp データ通信装置
JP2004064390A (ja) * 2002-07-29 2004-02-26 Matsushita Electric Ind Co Ltd パケット補間装置
JP2006042210A (ja) * 2004-07-29 2006-02-09 Victor Co Of Japan Ltd 光無線受信装置
JP2006135872A (ja) * 2004-11-09 2006-05-25 Sharp Corp 受信装置及び無線通信システム
JP2010282699A (ja) * 2009-06-05 2010-12-16 Renesas Electronics Corp 外部音声入力装置及びそのミュート制御方法
JP2017513072A (ja) * 2014-03-19 2017-05-25 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 適応型ノイズ推定を使用してエラー隠し信号を生成する装置及び方法

Also Published As

Publication number Publication date
JPWO2022168559A1 (ja) 2022-08-11
CN116888667A (zh) 2023-10-13
US20240096333A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
ES2738494T3 (es) Metadatos para control de sonoridad y rango dinámico
US8750536B2 (en) Output control apparatus, output controlling method, program, and output control system
US8989884B2 (en) Automatic audio configuration based on an audio output device
US8242942B2 (en) System and method to modify a metadata parameter
US8407565B2 (en) System and method for producing importance rate-based rich media, and server applied to the same
JP2006313310A (ja) 音声遅延を低減するための方法およびシステム
US20060080109A1 (en) Audio decoding apparatus
US10440475B2 (en) Signal processing device, signal processing method, and program
US11830512B2 (en) Encoded output data stream transmission
US10080207B2 (en) Audio device, audio system, and synchronous reproduction method
CN114006890A (zh) 一种数据传输方法、设备及存储介质和终端设备
CN112562638A (zh) 语音预览的方法、装置及电子设备
WO2022168559A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2021093578A (ja) 音声処理装置
JP2004221951A (ja) 伝送データのジッター補正方法
JP2008067279A (ja) 音声再生装置、映像音声再生装置、及びその音場モード切り替え方法
JP2004328513A (ja) 音声データ処理装置、音声データ処理方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP5489900B2 (ja) 音響データ通信装置
JP6575684B2 (ja) 同期設定装置、配信システム、同期設定方法、及びプログラム
JP2013201651A (ja) Avアンプ
WO2013146602A1 (ja) Avアンプ
US20230244267A1 (en) Multimedia system and multimedia operation method
WO2021002135A1 (ja) データ送信装置、データ送信システム、及び、データ送信方法
EP4336343A1 (en) Device control
KR20060029486A (ko) 피디에이 및 이를 이용한 디지털 오디오 방송 서비스의스트리밍 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22749436

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022579413

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18262838

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280011959.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22749436

Country of ref document: EP

Kind code of ref document: A1