WO2021162254A1 - 오디오 장치 및 그 제어방법 - Google Patents

오디오 장치 및 그 제어방법 Download PDF

Info

Publication number
WO2021162254A1
WO2021162254A1 PCT/KR2021/000553 KR2021000553W WO2021162254A1 WO 2021162254 A1 WO2021162254 A1 WO 2021162254A1 KR 2021000553 W KR2021000553 W KR 2021000553W WO 2021162254 A1 WO2021162254 A1 WO 2021162254A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio stream
stream data
buffer
amount
audio
Prior art date
Application number
PCT/KR2021/000553
Other languages
English (en)
French (fr)
Inventor
장인환
장두희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2021162254A1 publication Critical patent/WO2021162254A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers

Definitions

  • the present invention relates to an audio device and a method for controlling the same, and more particularly, to a technology for adjusting the amount of data in a buffer so that audio signals of heterogeneous sources are seamlessly synchronized on a multi-view screen.
  • the method of synchronizing the audio signal includes a method of using the clock of the input audio as it is or a method of adjusting the clock of the output audio.
  • the received additional audio signal must also be synchronized with the existing audio signal.
  • the purpose of this is to adjust the amount of data in the buffer so that signals from heterogeneous audio sources are seamlessly synchronized on the multi-view screen.
  • an audio device includes: a first input unit for receiving a first audio stream signal; a second input unit receiving a second audio stream signal; a decoding unit for decoding the input first and second audio stream signals; a first buffer for storing first audio stream data based on the decoded first audio stream signal; a second buffer for storing second audio stream data based on the decoded second audio stream signal; a mixing unit for mixing the first audio stream data stored in the first buffer and the second audio stream data stored in the second buffer; and the amount of the second audio stream data output according to the second audio stream data output rate of the second buffer, which is determined in proportion to the first audio stream data output rate of the first buffer, compared to the second buffer output rate.
  • the amount of the second audio stream data remaining in the second buffer is determined according to the amount of the second audio stream data inputted according to the input speed, and the amount of the second audio stream data remaining in the second buffer is determined. and a control unit that adjusts the amount of data of the second audio stream transferred from the second buffer to the mixing unit in comparison with a predetermined reference data amount.
  • control unit determines that the second audio stream data output rate of the second buffer is the second audio stream data input rate. can be determined to be larger.
  • the controller determines that the second audio stream data output rate of the second buffer is greater than the second audio stream data input rate, the second audio stream data amount transferred from the second buffer to the mixing unit can reduce
  • the controller is configured to determine the second audio stream data output rate of the second buffer to be the second audio stream data input rate. It can be decided to be smaller.
  • the controller increases the second audio stream data amount transferred from the second buffer to the mixing unit can do it
  • the second buffer includes a plurality, and the controller outputs the second audio stream data of each of the plurality of second buffers determined in proportion to the first audio stream data output rate of the first buffer.
  • the controller outputs the second audio stream data of each of the plurality of second buffers determined in proportion to the first audio stream data output rate of the first buffer.
  • the second audio stream data amount remaining is determined, and the second audio stream data amount remaining in each of the plurality of second buffers is compared with a predetermined reference data amount to be transferred from the plurality of second buffers to the mixing unit. 2Audio stream data amount can be adjusted individually.
  • control unit adjusts the amount of data of the second audio stream transferred from the second buffer to the mixing unit, and converts a sampling rate based on the data input rate compared to the data output rate of the second buffer. can do.
  • the apparatus further includes a decoding unit for decoding the received first and second audio stream signals, wherein the first buffer stores the first audio stream data from which the first audio stream signal is decoded. and the second buffer may store the second audio stream data from which the second audio stream signal is decoded.
  • the mixing unit may mix the first audio stream data and the second audio stream data based on the sampling rate conversion.
  • the second audio stream data output rate of the second buffer is greater than the second audio stream data input rate.
  • adjusting the amount of input of the second audio stream is performed from the second buffer to the mixing unit when it is determined that the output rate of the second audio stream data of the second buffer is greater than the second audio stream data input rate. It may include; reducing the amount of transmitted second audio stream data.
  • the second audio stream data output rate of the second buffer is smaller than the second audio stream data input rate.
  • adjusting the second audio stream data input amount may include, when it is determined that the second audio stream data output amount of the second buffer is less than the second audio stream data input amount, is transferred from the second buffer to the mixing unit It may include; increasing the data amount of the second audio stream.
  • the plurality of second determining the amount of the second audio stream data remaining in each of the plurality of second buffers according to the amount of the second audio stream data input according to the second audio stream data input rate of each of the second buffers; Comparing the amount of second audio stream data remaining in each of the plurality of second buffers with a predetermined reference data amount, respectively adjusting the amount of second audio stream data transferred from the second buffer to the mixing unit; further comprising can do.
  • Storing the stream data; and storing the second audio stream data may include storing the second audio stream data from which the second audio stream signal is decoded.
  • the method may further include mixing and outputting the first audio stream data and the second audio stream data based on the sampling rate conversion.
  • FIG. 1 illustrates an audio device implemented as a display device according to an exemplary embodiment.
  • FIG. 2 is a control block diagram of an audio device according to an exemplary embodiment.
  • FIG. 3 illustrates a case in which an output speed of sub-audio stream data is greater than an input speed according to an exemplary embodiment.
  • FIG. 4 illustrates a case in which an output speed of sub-audio stream data is smaller than an input speed according to an exemplary embodiment.
  • FIG. 5 illustrates a data amount based on a difference between an output speed and an input speed of each sub-audio stream data when there are a plurality of sub-audio signals according to an exemplary embodiment.
  • 6A and 6B are flowcharts illustrating a method of controlling an audio device according to an exemplary embodiment.
  • the identification code is used for convenience of description, and the identification code does not describe the order of each step, and each step may be performed differently from the specified order unless the specific order is clearly stated in the context. have.
  • FIG. 1 illustrates an audio device implemented as a display device according to an exemplary embodiment.
  • an audio device and a control method thereof may be applied to any device capable of reproducing audio by receiving an audio signal from the outside.
  • the audio device 100 may be a device capable of reproducing multimedia data such as a TV, a DTV, a PC, a smart phone, a tablet, a DVD player, and a Blu-ray player, as well as a general audio device and an audio system.
  • the audio device 100 includes all kinds of handheld-based wireless communication devices such as smart phones, watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-wearable devices. (a wearable device such as a head-mounted-device (HMD)).
  • HMD head-mounted-device
  • the audio device 100 is implemented as a display device such as a TV or a PC will be described as an example.
  • the display device when the audio device 100 is implemented as a display device, the display device includes a display panel 110 displaying an image and a display device disposed behind the display panel 110 to support the display panel 110 . It may include a frame 10 .
  • a display device is a device capable of outputting an image and audio sound by processing an image signal and an audio signal previously stored in the display device or received from the outside.
  • the display device when the display device is a TV, it is possible to receive a broadcast signal transmitted from a broadcast station, process it, and output an image and sound included in the broadcast signal. Alternatively, it is possible to receive the image signal and the sound signal from the set-top box.
  • the display device can be implemented in various forms, such as a monitor, a portable multimedia device, a portable communication device, a portable computing device, etc., and the display device is not limited as long as it is a device that visually and aurally outputs images and sounds. does not
  • the user when receiving a broadcast signal for a sports channel and watching a sports video 111 on a TV while watching a sports game while playing a sports relay video 112 of a famous YouTuber in the corner of the screen, the user It is desired that the sound of the sports image 111 and the sound of the sports relay image 112 be continuously output through the same audio device 100 .
  • the audio signal output speed needs to be synchronized with the audio signal input speed of the sports video 111 corresponding to the main audio signal.
  • the sub audio signal is mixed with the main audio signal and outputted by mixing the sub audio signal and the main audio signal. must be synchronized.
  • the clock of the sub audio signal cannot be used as it is and the output of the main audio signal cannot be adjusted, the data of the sub audio signal must be processed to match the speed with the main audio signal, and then the signal must be mixed and output.
  • FIG. 2 is a control block diagram of an audio device according to an exemplary embodiment.
  • 3 illustrates a case in which an output speed of sub-audio stream data is greater than an input speed according to an exemplary embodiment.
  • 4 illustrates a case in which an output speed of sub-audio stream data is smaller than an input speed according to an exemplary embodiment.
  • 5 illustrates a data amount based on a difference between an output speed and an input speed of each sub-audio stream data when there are a plurality of sub-audio signals according to an exemplary embodiment.
  • 6A and 6B are flowcharts illustrating a method of controlling an audio device according to an exemplary embodiment.
  • the audio device 100 may include a signal processing unit 120 , a control unit 130 , an output unit 140 , a storage unit 150 , and a user interface unit 160 .
  • the signal processing unit 120 includes a main signal input unit 121a, a sub signal input unit 121b, a first audio input buffer 122a, a second audio input buffer 122b, a decoding unit 123, a first audio intermediate buffer ( 124a), a second audio intermediate buffer 124b and a mixing unit 125 may be included.
  • the main signal input unit will be referred to as a 'first input unit 121a' and the sub signal input unit will be referred to as a 'second input unit 121b'.
  • the first input unit 121a may receive a first audio stream signal
  • the second input unit 121b may receive a second audio stream signal.
  • the signal of the sports image 111 corresponding to the main audio signal is The signal of the sports relay image 112 corresponding to the first audio stream signal and the sub audio signal is the second audio stream signal.
  • the first input unit 121a and the second input unit 121b may be implemented as a tuner that receives audio content from various audio sources, and a storage medium built into the audio device 100 or an external storage connected to the audio device 100 . It may be implemented as an interface that receives audio content data read from a medium. For example, it may be implemented as an interface such as USB or HDMI.
  • the first input unit 121a and the second input unit 121b may include a network interface card for streaming or downloading audio content data from a server device through an IP communication network.
  • the audio content data received through the first input unit 121a and the second input unit 121b may include a hard disk, a CD, a digital video disc (DVD), an HD DVD, and a Blu-ray Disc (BD).
  • OTT may correspond to audio content stored in a storage medium such as a server.
  • Such audio content data may be a transport stream (TS) in which a plurality of elementary streams (ES) are bundled into one single stream and multiplexed.
  • TS transport stream
  • ES elementary streams
  • the second input unit 121b may be implemented in plurality, and as shown in FIG. 2 , the second input unit 1 121b-1, the second input unit 121b-2, ... , the second input unit n (121b-n) may be implemented to receive a plurality of sub-audio signals.
  • the first audio input buffer 122a and the second audio input buffer 122b receive stream data based on the first audio stream signal received by the first input unit 121a and the second input unit 121b and the second audio stream signal. It is possible to perform a function of storing the stream data based on the amount of data that the decoding unit 123 can process.
  • the control unit 130 calculates a reproduction time corresponding to the audio stream data stored in the first audio input buffer 122a and the second audio input buffer 122b, compares the calculated reproduction time with a preset reproduction time to obtain the first
  • the audio data storage amount may be controlled so that the audio data amount corresponding to a preset reproduction time is maintained in the audio input buffer 122a and the second audio input buffer 122b.
  • the second audio input buffer 122b may be implemented in plurality, and as shown in FIG. 2 , the second audio input buffer 1 122b-1, the second audio input buffer 2 122b-2, . . . , is implemented as the second audio input buffer n (122b-n) to store stream data based on a plurality of second audio stream signals.
  • the decoding unit 123 may decode audio data stored in the first audio input buffer 122a and the second audio input buffer 122b. That is, the decoding unit 123 may decode stream data based on the first audio stream signal and stream data based on the second audio stream signal.
  • the audio data decoded by the decoding unit 123 may be stored in the first audio intermediate buffer 124a and the second audio intermediate buffer 124b. That is, the first audio intermediate buffer 124a stores first audio stream data from which the first audio stream signal is decoded, and the second audio intermediate buffer 124b stores second audio stream data from which the second audio stream signal is decoded. can be saved.
  • the decoded first audio stream data stored in the first audio intermediate buffer 124a and the decoded second audio stream data stored in the second audio intermediate buffer 124b may be synchronized with each other and output through the output unit 140 . .
  • the mixing unit 125 may mix the first audio stream data and the second audio stream data and transmit them to the output unit 140 .
  • the mixing unit 125 may mix stream data of the main audio signal and stream data of the sub audio signal to be output by the audio device 100 .
  • the output unit 140 may include a speaker outputting audio. Alternatively, the output unit 140 may be implemented to transmit decoded audio data to an external device so that the audio is output from the external device.
  • the output unit 140 may include various communication interfaces for communicating with an external device, for example, may include an interface for various wireless communication such as Wi-Fi, Bluetooth, NFC, or a wired interface.
  • the output unit 140 may include an output buffer. That is, although not shown in the drawing, the output unit 140 may include a first audio output buffer and a second audio output buffer.
  • the control unit 130 is a component for controlling the components constituting the audio device 100 as a whole.
  • the controller 130 may include a CPU, a RAM, a ROM, and a system bus.
  • the controller 130 may be implemented as, for example, a MICRO COMPUTER (MICOM), an application specific integrated circuit (ASIC), or the like.
  • MICOM MICRO COMPUTER
  • ASIC application specific integrated circuit
  • the storage unit 150 may be implemented as a non-volatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), or a solid state drive (SSD).
  • the storage unit 150 is accessed by the control unit 130 , and reading/writing/modification/deletion/update of data by the control unit 130 may be performed.
  • the storage unit 150 may be implemented not only as a storage medium in the audio device 100 , but also as an external storage medium, for example, a USB or a web server through a network.
  • the storage unit may store various data such as programs such as O/S or various applications, user setting data, data generated in the process of performing the application, multimedia content data, and the like. In particular, specification information for each audio source may be stored in the storage 150 .
  • the user interface unit 160 is a component for receiving a user command, and the user interface unit 160 may be implemented in various forms according to an implementation example of the audio device 100 .
  • the audio device 100 When the audio device 100 is implemented as a TV, it may be implemented as a remote control receiver, but when the audio device 100 is implemented as a touch-based terminal such as a smart phone or a tablet, it may be implemented as a touch screen. Meanwhile, in some cases, the audio device 100 may not directly receive a user command, but a form in which the user command is input through an external device connected to the audio device 100 and transmitted to the audio device 100 . In this case, the user interface 160 may not be provided in the audio device 100 .
  • the first input unit 121a may receive a first audio stream signal
  • the second input unit 121b may receive a second audio stream signal ( 1000 ). That is, the first input unit 121a may receive an audio signal of a main image signal such as the sports image 111 , and the second input unit 121b may receive a sports relay image 112 output as the sports image 111 . It is possible to receive an audio signal of a sub-video signal such as
  • the amount of data that can be processed by the decoding unit 123 is the stream data of the first audio stream signal input through the first input unit 121a and the stream data of the second audio stream signal input through the second input unit 121b. may be stored in the first audio input buffer 122a and the second audio input buffer 122b.
  • the decoding unit 123 may decode the stream data of the first audio stream signal stored in the first audio input buffer 122a and the stream data of the second audio stream signal stored in the second audio input buffer 122b (1010). ).
  • the first audio intermediate buffer 124a stores first audio stream data from which the first audio stream signal is decoded
  • the second audio intermediate buffer 124b stores second audio stream data from which the second audio stream signal is decoded. may (1020).
  • the first audio intermediate buffer 124a will be referred to as a 'first buffer 124a' and the second audio intermediate buffer 124b will be referred to as a 'second buffer 124b'.
  • the controller 130 may determine a second audio stream data output speed of the second buffer 124b and a second audio stream data input speed of the second buffer 124b ( S1030 ).
  • the second audio stream data output rate of the second buffer 124b is determined to correspond to the first audio stream data output rate of the first buffer 124a. That is, the second audio stream data output speed of the second buffer 124b may be determined according to the first audio stream data output speed of the first buffer 124a. If the first audio stream data output speed is fast, the second audio stream data output speed The stream data output rate may also be determined to be fast, and if the first audio stream data output rate is slow, the second audio stream data output rate may also be determined to be slow. Meanwhile, the second audio stream data output rate may be determined to be the same as the first audio stream data output rate, and although not identical to the first audio stream data output rate, the second audio stream data output rate is proportional to the first audio stream data output rate.
  • a data output rate may be determined. That is, the data output amount of the sub audio signal received by the audio device 100 is determined according to the data output amount of the main audio signal.
  • the controller 130 compares the second audio stream data amount output according to the second audio stream data output speed of the second buffer 124b determined in proportion to the first audio stream data output speed of the first buffer 124a.
  • the amount of the second audio stream data remaining in the second buffer 124b may be determined according to the amount of second audio stream data input according to the second audio stream data input speed of the second buffer 124b.
  • the controller 130 may determine the amount of second audio stream data remaining in the second buffer 124b based on the data input rate compared to the data output rate of the second buffer 124b (1040), and the second buffer 124b ) may be compared with a predetermined reference data amount of the second audio stream data amount.
  • control unit 130 sets the output rate of the second audio stream data of the second buffer 124b to the second audio It may be determined to be greater than the stream data input rate (1060).
  • the first audio stream data amount 200 stored in the first buffer 124a and the second audio stream data amount 201 stored in the second buffer 124b are shown.
  • the second audio stream data amount 201 remaining in the second buffer 124b is less than a predetermined reference data amount, which corresponds to the first audio stream data output rate of the first buffer 124a. Since the second audio stream data output rate of the second buffer 124b determined by this is greater than the second audio stream data input rate, the amount of second audio stream data 201 stored in the second buffer 124b gradually decreases.
  • the output amount of the second audio stream data determined in response to the first audio stream data output rate is 256 samples per cycle
  • the input amount of the second audio stream is 255 samples
  • the second buffer The amount of second audio stream data 201 stored in 124b gradually decreases to approach the lowest reference data amount (Low Level Threshold).
  • the controller 130 determines that the second audio stream data output rate of the second buffer 124b is greater than the second audio stream data input rate, the second buffer 124b is transferred to the mixing unit 125.
  • the amount of data of the second audio stream may be reduced ( 1070 ).
  • the controller 130 down-samples the second audio stream data amount transferred from the second buffer 124b to the mixing unit 125 from 256 samples to 255 samples or less. 2Audio stream data amount can be reduced.
  • the controller 130 compares the amount of second audio stream data remaining in the second buffer 124b with a predetermined reference data amount, and when the second audio stream data amount exceeds the predetermined reference data amount (1080), the second It may be determined that the second audio stream data output rate of the second buffer 124b is smaller than the second audio stream data input rate (1090).
  • the first audio stream data amount 200 stored in the first buffer 124a and the second audio stream data amount 202 stored in the second buffer 124b are shown.
  • the amount of second audio stream data 201 remaining in the second buffer 124b exceeds a predetermined reference data amount, which corresponds to the first audio stream data output rate of the first buffer 124a. Since the determined second audio stream data output rate of the second buffer 124b is smaller than the second audio stream data input rate, the amount of second audio stream data 201 remaining in the second buffer 124b gradually increases.
  • the second audio stream data output amount determined in response to the first audio stream data output rate outputs data by 256 samples per cycle
  • the second audio stream data input amount is 257 samples
  • the second buffer The amount of second audio stream data 201 stored in 124b gradually increases to approach the highest reference data amount (High Level Threshold).
  • the controller 130 determines that the second audio stream data output rate of the second buffer 124b is smaller than the second audio stream data input rate, the second buffer 124b is transferred to the mixing unit 125.
  • the data amount of the second audio stream may be increased ( 1100 ).
  • the controller 130 up-samples the second audio stream data amount transferred from the second buffer 124b to the mixing unit 125 from 256 samples to 257 samples or more. It is possible to increase the amount of audio stream data.
  • each of the second input units 121b-1, 121b-2, ..., 121b-n receives a plurality of second audio stream signals
  • Each of the received second audio stream signals 121b may be stored in a plurality of second buffers 124b after decoding.
  • the control unit 130 determines a second audio stream data output rate of each of the plurality of second buffers 124b determined in proportion to the first audio stream data output rate of the first buffer 124a and a plurality of second buffers 124b, respectively. It is possible to determine the data input speed of the second audio stream.
  • the controller 130 controls the second audio stream data input rate of each of the plurality of second buffers 124b compared to the amount of the second audio stream data output according to the second audio stream data output rate of each of the plurality of second buffers 124b. determines the amount of second audio stream data remaining in each of the plurality of second buffers 124b according to the amount of input second audio stream data according to by comparing with a predetermined reference data amount, the amount of second audio stream data transferred from the plurality of second buffers 124b to the mixing unit 125 may be adjusted, respectively.
  • the second audio stream data amount 201 remaining in the second buffer 1 124b-1 is less than the predetermined reference data amount, which is the first data amount 201 as described above in FIG. Since the second audio stream data output rate of the second buffer 1 124b-1 determined to correspond to the first audio stream data output rate of the buffer 124a is greater than the second audio stream data input rate, the second buffer 1 ( The amount of second audio stream data 201 remaining in 124b-1) gradually decreases.
  • the controller 130 determines that the second audio stream data output rate of the second buffer 1 124b-1 is greater than the second audio stream data input rate, the mixing unit in the second buffer 1 124b-1 The amount of second audio stream data transferred to 125 may be reduced.
  • the remaining second audio stream data amount 201 exceeds a predetermined reference data amount, which is the first buffer 124a. Because the second audio stream data output rate of the second buffer 2 124b-2 or the second buffer n 124b-n determined corresponding to the first audio stream data output rate of , the second audio stream data amount 201 remaining in the second buffer 2 124b-2 or the second buffer n 124b-n gradually increases.
  • the controller 130 determines that the second audio stream data output rate of the second buffer 2 124b-2 or the second buffer n 124b-n is smaller than the second audio stream data input rate, the second The amount of second audio stream data transferred from the second buffer 124b - 2 or the second buffer n 124b - n to the mixing unit 125 may be increased.
  • the controller 130 controls the second audio remaining in each of the plurality of second buffers 124b.
  • the stream data amount is determined, and the second audio stream data amount remaining in each of the plurality of second buffers 124b is compared with a predetermined reference data amount to be transferred from the second buffer 124b to the mixing unit 125 .
  • the controller 130 adjusts the amount of data of the second audio stream stored in the second buffer 124b, and as a result, a sampling rate based on the data input rate versus the data output rate of the second buffer 124b. rate) can be converted (1110).
  • the controller 130 may control the mixing unit 125 to mix the first audio stream data and the sampling rate-converted second audio stream data and output them through the output unit 140 ( 1120 ).
  • the amount of data in the buffer is adjusted so that the audio signals of the heterogeneous sources received from the audio device are synchronized without interruption, so that the sound of the heterogeneous clock audio signal is controlled without a physical circuit device. It has the effect of being able to mix without interruption.
  • a physical circuit device for SRC is not used in the audio device, cost can be reduced, and the scalability of audio signal mixing is increased.
  • the disclosed embodiments may be implemented in the form of a recording medium storing instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may generate program modules to perform the operations of the disclosed embodiments.
  • the recording medium may be implemented as a computer-readable recording medium.
  • the computer-readable recording medium includes any type of recording medium in which instructions readable by the computer are stored.
  • ROM read only memory
  • RAM random access memory
  • magnetic tape magnetic tape
  • magnetic disk magnetic disk
  • flash memory an optical data storage device, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

멀티뷰 화면에서 이종 소스의 오디오 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하는 오디오 장치는, 제1오디오 스트림 신호를 입력 받는 제1입력부, 제2오디오 스트림 신호를 입력 받는 제2입력부, 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하는 디코딩부, 디코딩된제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼, 디코딩괸제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼, 제1버퍼에 저장된 제1오디오 스트림 데이터 및 제2버퍼에 저장된 제2오디오 스트림 데이터를 믹싱하는 믹싱부, 및 제1버퍼의 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 제2버퍼의 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 제2오디오 스트림 데이터량 대비 제2버퍼의 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 제2오디오 스트림 데이터량에 따라 제2버퍼에 남은 제2오디오 스트림 데이터량을 결정하고, 제2버퍼에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 제2버퍼에서 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하는 제어부를 포함한다.

Description

오디오 장치 및 그 제어방법
오디오 장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 멀티뷰 화면에서 이종 소스의 오디오 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하는 기술에 관한 것이다.
현대 사회에 들어서면서, 디스플레이 성능 향상을 위한 다양한 기술 및 디스플레이와 호환되는 오디오 시스템의 성능 향상을 위한 다양한 기술이 개발되고 있다.
종래 텔레비전 방송이 개시되고 나서 다양한 형태의 디스플레이 장치의 기술이 개발, 상용화됨에 따라, 실시간으로 수신되는 방송 이외에 Contents on Demand, 영화와 같은 다양한 종류의 컨텐츠를 피씨(PC)나 외부 서버 또는 게임 콘솔 같은 외부 장치를 통하여 제공받을 수 있게 되었으며, 넓고 커다란 극장을 안방으로 그대로 옮긴, 가정에서 즐길 수 있는 홈 씨어터 시스템 또한 많이 실용화가 되고 있다.
일반적으로 외부에서 입력되는 오디오를 재생하기 위해서는 오디오 신호 입력 속도에 맞춰 오디오 신호 출력 속도를 동기화 해주어야 하며, 동기화가 안되는 경우 사운드 끊김 현상이 발생한다. 오디오 신호를 동기화 하는 방법은 입력 오디오의 클럭을 그대로 사용하는 방법 또는 출력 오디오 클럭을 조절하는 방법이 있다. 이 때, 다른 외부 오디오 신호도 추가적으로 수신하여 기존의 오디오 신호와 믹싱하여 출력하는 경우에는 수신된 추가 오디오 신호도 기존 오디오 신호와 동기화 해주어야 한다.
이 경우에는 두 번째 입력 오디오 신호의 클럭을 그대로 사용할 수 없고, 기존 오디오 신호의 출력을 조절할 수도 없으므로 데이터를 가공하여(SRC : Sampling Rate Convert) 첫 번째 오디오 신호와 속도를 맞춘 후 신호를 믹싱한다. 오디오 신호를 믹싱할 때 논리적으로는 같은 SF(Sampling Frequency)의 데이터를 믹싱하지만 오디오 소스가 다른 경우 논리적으로는 같은 SF이어도 실제로는 미세한 오차가 발생할 수 있다.
종래에는 이종 오디오 소스 신호를 믹싱할 때 물리적인 회로 장치를 사용하여 SRC를 수행하며, 이러한 장치를 사용하지 않는 경우에는 장시간 오디오 재생시 사운드 끊김 현상이 발생하는 문제점이 있었다. 또한, 이미 출시된 제품에는 SRC를 위한 물리적인 회로 장치를 적용하기 힘든 문제점이 있었다.
멀티뷰 화면에서 이종 오디오 소스의 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 일 실시예에 따른 오디오 장치는, 제1오디오 스트림 신호를 입력 받는 제1입력부; 제2오디오 스트림 신호를 입력 받는 제2입력부; 상기 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하는 디코딩부; 상기 디코딩된제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼; 상기 디코딩괸제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼; 상기 제1버퍼에 저장된 상기 제1오디오 스트림 데이터 및 상기 제2버퍼에 저장된 제2오디오 스트림 데이터를 믹싱하는 믹싱부; 및 상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 제2버퍼의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 결정하고, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 제2버퍼에서 상기 믹싱부로 전달되는 상기 제2오디오 스트림 데이터량을 조절하는 제어부;를 포함한다.
또한, 상기 제어부는, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 미만이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정할 수 있다.
또한, 상기 제어부는, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 감소시킬 수 있다.
또한, 상기 제어부는, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 초과이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정할 수 있다.
또한, 상기 제어부는, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력량이 상기 제2오디오 스트림 데이터 입력량보다 적은 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 증가시킬 수 있다.
또한, 상기 제2버퍼는, 복수 개를 포함하고, 상기 제어부는, 상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 결정하고, 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 복수 개의 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 각각 조절할 수 있다.
또한, 상기 제어부는, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하여, 상기 제2버퍼의 상기 데이터 출력 속도 대비 상기 데이터 입력속도에 기초한 샘플링 레이트(sampling rate)를 변환할 수 있다.
또한, 상기 입력 받은 제1오디오 스트림 신호 및 제2오디오 스트림 신호를 디코딩하는 디코딩부;를 더 포함하고, 상기 제1버퍼는, 상기 제1오디오 스트림 신호가 디코딩된 상기 제1오디오 스트림 데이터를 저장하고, 상기 제2버퍼는, 상기 제2오디오 스트림 신호가 디코딩된 상기 제2오디오 스트림 데이터를 저장할 수 있다.
또한, 상기 믹싱부는, 상기 제1오디오 스트림 데이터 및 상기 샘플링 레이트 변환에 기초한 상기 제2오디오 스트림 데이터를 믹싱하할 수 있다.
또한, 상술한 목적을 달성하기 위한 일 실시예에 따른 오디오 장치 제어방법은,
제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼, 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼 및 상기 제1버퍼에 저장된 상기 제1오디오 스트림 데이터 및 상기 제2버퍼에 저장된 상기 제2오디오 스트림 데이터를 믹싱하는 믹싱부를 포함하는 오디오 장치 제어방법에 있어서, 제1오디오 스트림 신호를 입력 받고; 제2오디오 스트림 신호를 입력 받고; 상기 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하고; 상기 디코딩된 제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하고; 상기 디코딩된 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하고; 상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 및 상기 제2버퍼의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 결정하고; 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절한다.
또한, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 미만이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하는 것;을 더 포함할 수 있다.
또한, 상기 제2오디오 스트림 데이터 입력량을 조절하는 것은, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 감소시키는 것;을 포함할 수 있다.
또한, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 초과이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하는 것;을 더 포함할 수 있다.
또한, 상기 제2오디오 스트림 데이터 입력량을 조절하는 것은, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력량이 상기 제2오디오 스트림 데이터 입력량보다 적은 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 증가시키는 것;을 포함할 수 있다.
또한, 상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 결정하고; 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 각각 조절하는 것;을 더 포함할 수 있다.
또한, 상기 복수 개의 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하여, 상기 제2버퍼의 상기 데이터 출력 속도 대비 상기 데이터 입력속도에 기초한 샘플링 레이트를 변환하는 것;을 더 포함할 수 있다.
또한, 상기 입력 받은 제1오디오 스트림 신호 및 제2오디오 스트림 신호를 디코딩하는 것;을 더 포함하고, 상기 제1오디오 스트림 데이터를 저장하는 것은, 상기 제1오디오 스트림 신호가 디코딩된 상기 제1오디오 스트림 데이터를 저장하는 것;을 포함하고, 상기 제2오디오 스트림 데이터를 저장하는 것은, 상기 제2오디오 스트림 신호가 디코딩된 상기 제2오디오 스트림 데이터를 저장하는 것;을 포함할 수 있다.
또한, 상기 제1오디오 스트림 데이터 및 상기 샘플링 레이트 변환에 기초한 상기 제2오디오 스트림 데이터를 믹싱하여 출력하는 것;을 더 포함할 수 있다.
멀티뷰 화면에서 이종 소스의 오디오 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하여 물리적인 회로 장치 없이 이종 클럭 오디오 신호의 소리를 끊김 없이 믹싱할 수 있는 효과가 있다. 또한, 오디오 장치에 있어서 SRC를 위한 물리적인 회로 장치를 적용하지 않음으로써 비용을 절감할 수 있고, 오디오 신호 믹싱의 확장성이 증대되는 효과가 있다.
도 1은 일 실시예에 따른 오디오 장치가 디스플레이 장치로 구현된 것을 도시한 것이다.
도 2는 일 실시예에 따른 오디오 장치의 제어 블록도이다.
도 3은 일 실시예에 따라 서브 오디오 스트림 데이터의 출력 속도가 입력 속도보다 큰 경우를 도시한 것이다.
도 4는 일 실시예에 따라 서브 오디오 스트림 데이터의 출력 속도가 입력 속도보다 작은 경우를 도시한 것이다.
도 5는 일 실시예에 따라 서브 오디오 신호가 복수 개인 경우 각 서브 오디오 스트림 데이터의 출력 속도 및 입력 속도의 차이에 기초한 데이터량을 도시한 것이다.
도 6a 및 도 6b는 일 실시예에 따른 오디오 장치의 제어방법을 도시한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 오디오 장치가 디스플레이 장치로 구현된 것을 도시한 것이다.
개시된 발명의 일 실시예에 따른 오디오 장치 및 그 제어방법은, 외부로부터 오디오 신호를 입력 받아 오디오를 재생할 수 있는 장치라면 모두 적용될 수 있다. 즉, 오디오 장치(100)는 일반 오디오 장치 및 오디오 시스템은 물론 TV, DTV, PC, 스마트폰, 태블릿, DVD 플레이어, 블루레이 플레이어 등 멀티미디어 데이터를 재생할 수 있는 장치일 수 있다. 또한, 오디오 장치(100)는 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
이하에서는 오디오 장치(100)가 TV 또는 PC 등 디스플레이장치로 구현된 경우를 예로 들어 설명한다.
도 1을 참조하면, 오디오 장치(100)가 디스플레이 장치로 구현된 경우, 디스플레이 장치는 영상을 표시하는 디스플레이 패널(110)과 디스플레이 패널(110)의 후방에 배치되어 디스플레이 패널(110)을 지지하는 프레임(10)을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치는 디스플레이 장치에 미리 저장되어 있거나 외부로부터 수신되는 영상 신호 및 오디오 신호를 처리하여 영상 및 오디오 사운드를 출력할 수 있는 장치이다.
예를 들어, 디스플레이 장치가 TV인 경우에는 방송국으로부터 송출되는 방송 신호를 수신하고 이를 처리하여 방송 신호에 포함된 영상과 음향을 출력할 수 있다. 또는, 셋탑 박스로부터 영상 신호와 음향 신호를 전달받는 것도 가능하다. 또한, 디스플레이 장치는 모니터(Monitor), 휴대용 멀티미디어 장치, 휴대용 통신장치, 휴대용 연산장치 등 다양한 형태로 구현할 수 있으며, 디스플레이 장치는 영상 및 음향을 시각적 및 청각적으로 출력하는 장치라면 그 형태가 한정되지는 않는다
이하 설명의 편의를 위해 디스플레이 장치가 다양한 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신하는 예와 관련하여, 디스플레이 장치가 다양한 종류의 오디오 신호를 수신하는 예를 중심으로 설명하도록 한다.
도 1에 도시된 바와 같이, 오늘날 대부분의 TV나 AV 장치등의 전자장치는 두 개 이상의 오디오 또는 비디오가 포함된 이종 소스 신호를 입력 받을 수 있다. 또한, 신호처리 기술의 발달에 따라 한 화면에 두 개 이상의 영상이 출력되도록 하고 동시에 두 종류 이상의 소리를 청취하고자 하는 사용자가 증가하고 있다.
예를 들어, 스포츠 채널에 대한 방송 신호를 수신하여 TV로 스포츠 영상(111)을 시청하면서 화면의 모서리 부분에는 유명 유투버의 스포츠 중계 영상(112)을 틀어놓고 스포츠 경기를 시청중인 경우, 사용자는 스포츠 영상(111)의 소리와 스포츠 중계 영상(112)의 소리가 동일한 오디오 장치(100)를 통해 끊김 없이 출력되는 것을 원한다.
TV에서 스포츠 영상(111)과 스포츠 중계 영상(112)이 동시에 출력되는 경우, 메인 오디오 신호에 해당하는 스포츠 영상(111)의 오디오 신호 입력 속도에 맞춰 오디오 신호 출력 속도를 동기화 해주어야 한다.
또한, TV가 메인 오디오 신호 이외에 서브 오디오 신호에 해당하는 스포츠 중계 영상(112)의 오디오 신호를 추가적으로 수신하는 경우, 서브 오디오 신호와 메인 오디오 신호를 믹싱하여 출력하기 위해 서브 오디오 신호를 메인 오디오 신호와 동기화 해주어야 한다.
즉, 이 경우 서브 오디오 신호의 클럭을 그대로 사용할 수 없고, 메인 오디오 신호의 출력을 조절할 수는 없으므로 서브 오디오 신호의 데이터를 가공하여 메인 오디오 신호와 속도를 맞춘 후 신호를 믹싱하여 출력해야 한다.
이하 도 2 내지 도 6b를 참조하여 개시된 발명의 일 실시예에 따른 오디오 장치 및 그 제어방법을 설명한다.
도 2는 일 실시예에 따른 오디오 장치의 제어 블록도이다. 도 3은 일 실시예에 따라 서브 오디오 스트림 데이터의 출력 속도가 입력 속도보다 큰 경우를 도시한 것이다. 도 4는 일 실시예에 따라 서브 오디오 스트림 데이터의 출력 속도가 입력 속도보다 작은 경우를 도시한 것이다. 도 5는 일 실시예에 따라 서브 오디오 신호가 복수 개인 경우 각 서브 오디오 스트림 데이터의 출력 속도 및 입력 속도의 차이에 기초한 데이터량을 도시한 것이다. 도 6a 및 도 6b는 일 실시예에 따른 오디오 장치의 제어방법을 도시한 순서도이다.
도 2를 참고하면, 일 실시예에 따른 오디오 장치(100)는 신호 처리부(120), 제어부(130), 출력부(140), 저장부(150) 및 사용자 인터페이스부(160)를 포함할 수 있다. 신호 처리부(120)는 메인 신호 입력부(121a), 서브 신호 입력부(121b), 제1오디오 입력버퍼(122a), 제2오디오 입력버퍼(122b), 디코딩부(123), 제1오디오 중간버퍼(124a), 제2오디오 중간버퍼(124b) 및 믹싱부(125)를 포함할 수 있다.
이하, 메인 신호 입력부는 '제1입력부(121a)'로, 서브 신호 입력부는 '제2입력부(121b)'로 설명한다.
제1입력부(121a)는 제1오디오 스트림 신호를 입력 받을 수 있고, 제2입력부(121b)는 제2오디오 스트림 신호를 입력 받을 수 있다.
즉, 도 1에서 전술한 바와 같이 오디오 장치(100)에서 스포츠 영상(111)과 스포츠 중계 영상(112)의 오디오를 동시에 출력하고자 하는 경우, 메인 오디오 신호에 해당하는 스포츠 영상(111)의 신호가 제1오디오 스트림 신호고 서브 오디오 신호에 해당하는 스포츠 중계 영상(112)의 신호가 제2오디오 스트림 신호다.
제1입력부(121a)와 제2입력부(121b)는 다양한 오디오 소스로부터 오디오 컨텐츠를 수신하는 튜너로 구현될 수 있고, 오디오 장치(100)에 내장된 저장 매체 또는 오디오 장치(100)에 연결된 외부 저장 매체로부터 독출된 오디오 컨텐츠 데이터를 입력 받는 인터페이스로 구현될 수도 있다. 예를 들어, USB, HDMI 등의 인터페이스로 구현될 수 있다. 그 밖에도 제1입력부(121a)와 제2입력부(121b)는 IP 통신망을 통해 서버 장치로부터 오디오 컨텐츠 데이터를 스트리밍 또는 다운로드 받는 네트워크 인터페이스 카드를 포함할 수도 있다.
일 실시예에 따르면, 제1입력부(121a)와 제2입력부(121b)를 통해 수신되는 오디오 컨텐츠 데이터는, 하드디스크, CD, DVD(Digital Video Disc), HD DVD, BD(Blu-ray Disc), OTT, 서버 등과 같은 저장매체에 저장된 오디오 컨텐츠에 대응될 수 있다.
이러한 오디오 컨텐츠 데이터는 복수의 기초 스트림(elementary stream; ES)이 하나의 단일 스트림으로 묶여 다중화된 전송 스트림(Transport stream; TS)일 수 있다.
제2입력부(121b)는 복수 개로 구현될 수 있으며, 도 2에 도시된 바와 같이 제2입력부1(121b-1), 제2입력부2(121b-2), …, 제2입력부n(121b-n)으로 구현되어 복수 개의 서브 오디오 신호를 입력 받을 수 있다.
제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)는 제1입력부(121a) 및 제2입력부(121b)가 입력 받은 제1오디오 스트림 신호에 기초한 스트림 데이터 및 제2오디오 스트림 신호에 기초한 스트림 데이터를 디코딩부(123)에서 처리할 수 있는 데이터량만큼 저장하는 기능을 수행할 수 있다.
제어부(130)는 제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)에 저장된 오디오 스트림 데이터에 대응하는 재생 시간을 산출하고, 산출된 재생 시간과 미리 설정된 재생 시간을 비교하여 제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)에 미리 설정된 재생 시간에 대응하는 오디오 데이터량이 유지되도록 오디오 데이터 저장량을 제어할 수 있다.
제2오디오 입력버퍼(122b)는 복수 개로 구현될 수 있으며, 도 2에 도시된 바와 같이 제2오디오 입력버퍼1(122b-1), 제2오디오 입력버퍼2(122b-2), …, 제2오디오 입력버퍼n(122b-n)로 구현되어 복수 개의 제2오디오 스트림 신호에 기초한 스트림 데이터를 저장할 수 있다.
디코딩부(123)는 제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)에 저장된 오디오 데이터를 디코딩 할 수 있다. 즉, 디코딩부(123)는 제1오디오 스트림 신호에 기초한 스트림 데이터 및 제2오디오 스트림 신호에 기초한 스트림 데이터를 디코딩 할 수 있다.
디코딩부(123)에서 디코딩된 오디오 데이터는 제1오디오 중간버퍼(124a) 및 제2오디오 중간버퍼(124b)에 저장될 수 있다. 즉, 제1오디오 중간버퍼(124a)는 제1오디오 스트림 신호가 디코딩된 제1오디오 스트림 데이터를 저장하고, 제2오디오 중간버퍼(124b)는 제2오디오 스트림 신호가 디코딩된 제2오디오 스트림 데이터를 저장할 수 있다.
제1오디오 중간버퍼(124a)에 저장된 디코딩된 제1오디오 스트림 데이터와 제2오디오 중간버퍼(124b)에 저장된 디코딩된 제2오디오 스트림 데이터는 서로 동기화되어 출력부(140)를 통해 출력될 수 있다.
믹싱부(125)는 제1오디오 스트림 데이터 및 제2오디오 스트림 데이터를 믹싱하여 출력부(140)로 전달할 수 있다. 구체적으로 믹싱부(125)는 오디오 장치(100)가 출력하기 위한 메인 오디오 신호의 스트림 데이터 및 서브 오디오 신호의 스트림 데이터를 믹싱할 수 있다.
출력부(140)는 오디오를 출력하는 스피커를 포함할 수 있다. 또는, 출력부(140)는 오디오가 외부 장치에서 출력되게끔 디코딩된 오디오 데이터를 외부 장치로 전송하는 구성으로 구현될 수 있다. 이 경우, 출력부(140)는 외부 장치와 통신하기 위한 각종 통신 인터페이스를 포함할 수 있고, 예컨대, 와이파이, 블루투스, NFC 등 다양한 무선 통신을 위한 인터페이스 또는 유선 인터페이스를 포함할 수 있다. 출력부(140)는 출력버퍼를 포함할 수 있다. 즉, 도면에는 도시되지 않았지만 출력부(140)는 제1오디오 출력버퍼 및 제2오디오 출력버퍼를 포함할 수 있다.
제어부(130)는 오디오 장치(100)를 구성하는 구성들을 전반적으로 제어하기 위한 구성이다. 제어부(130)는 CPU, 램(RAM), 롬(ROM), 시스템 버스를 포함할 수 있다. 제어부(130)는 예컨대 MICOM(MICRO COMPUTER), ASIC(application specific integrated circuit) 등으로 구현될 수 있다.
저장부(150)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 저장부(150)는 제어부(130)에 의해 액세스 되며, 제어부(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 한편, 저장부(150)는 오디오 장치(100) 내의 저장 매체뿐만 아니라, 외부 저장 매체, 예를 들어, USB 또는 네트워크를 통한 웹 서버(Web server) 등으로 구현될 수 있다. 저장부에는 O/S나 각종 애플리케이션과 같은 프로그램과, 사용자 설정 데이터, 애플리케이션 수행 과정에서 생성된 데이터, 멀티미디어 컨텐츠 데이터 등과 같은 다양한 데이터가 저장될 수 있다. 특히, 저장부(150)에는 오디오 소스별 스팩 정보가 저장될 수 있다.
사용자 인터페이스부(160)는 사용자 명령을 수신하기 위한 구성으로서, 사용자 인터페이스부(160)는 오디오 장치(100)의 구현 예에 따라 다양한 형태로 구현될 수 있다. 오디오 장치(100)가 TV로 구현되는 경우 리모컨 수신부로 구현될 수 있으나, 오디오 장치(100)가 스마트폰, 태블릿 등과 같은 터치 기반의 단말로 구현되는 경우 터치 스크린으로 구현될 수 있다. 한편, 경우에 따라서는 사용자 명령을 오디오 장치(100)가 직접 입력받지 않고, 오디오 장치(100)와 연결된 외부 장치를 통해 사용자 명령이 입력되어 오디오 장치(100)로 전달되는 형태도 가능하다. 이 경우엔 사용자 인터페이스부(160)가 오디오 장치(100)에 구비되어 있지 않을 수 있다.
도 2 내지 도 6b를 참조하면, 제1입력부(121a)는 제1오디오 스트림 신호를 입력 받을 수 있고, 제2입력부(121b)는 제2오디오 스트림 신호를 입력 받을 수 있다(1000). 즉, 제1입력부(121a)는 스포츠 영상(111)과 같은 메인 영상 신호의 오디오 신호를 입력 받을 수 있고, 제2입력부(121b)는 스포츠 영상(111)과 같이 출력되는 스포츠 중계 영상(112)과 같은 서브 영상 신호의 오디오 신호를 입력 받을 수 있다.
제1입력부(121a)를 통해 입력된 제1오디오 스트림 신호의 스트림 데이터 및 제2입력부(121b)를 통해 입력된 제2오디오 스트림 신호의 스트림 데이터는 디코딩부(123)에서 처리할 수 있는 데이터량만큼 제1오디오 입력버퍼(122a) 및 제2오디오 입력버퍼(122b)에 저장될 수 있다.
디코딩부(123)는 제1오디오 입력버퍼(122a)에 저장된 제1오디오 스트림 신호의 스트림 데이터 및 제2오디오 입력버퍼(122b)에 저장된 제2오디오 스트림 신호의 스트림 데이터를 디코딩 할 수 있다(1010).
제1오디오 중간버퍼(124a)는 제1오디오 스트림 신호가 디코딩된 제1오디오 스트림 데이터를 저장하고, 제2오디오 중간버퍼(124b)는 제2오디오 스트림 신호가 디코딩된 제2오디오 스트림 데이터를 저장할 수 있다(1020).
이하에서는, 설명의 편의를 위해 제1오디오 중간버퍼(124a)를 '제1버퍼(124a)'로 칭하고 제2오디오 중간버퍼(124b)를 '제2버퍼(124b)'로 칭하여 설명한다.
제어부(130)는 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도 및 제2버퍼(124b)의 제2오디오 스트림 데이터 입력 속도를 결정할 수 있다(1030)..
제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된다. 즉, 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 맞추어 결정될 수 있는바, 제1오디오 스트림 데이터 출력 속도가 빠르면 제2오디오 스트림 데이터 출력 속도도 빠르게 결정될 수 있고, 제1오디오 스트림 데이터 출력 속도가 느리면 제2오디오 스트림 데이터 출력 속도도 느리게 결정될 수 있다. 한편, 제2오디오 스트림 데이터 출력 속도는 제1오디오 스트림 데이터 출력 속도와 동일한 속도로 결정될 수 있고, 제1오디오 스트림 데이터 출력 속도와 동일하지는 않지만 제1오디오 스트림 데이터 출력 속도에 비례하여 제2오디오 스트림 데이터 출력 속도가 결정될 수 있다. 즉, 오디오 장치(100)가 수신하는 서브 오디오 신호의 데이터 출력량은 메인 오디오 신호의 데이터 출력량에 따라 결정된다.
제어부(130)는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 제2오디오 스트림 데이터량 대비 제2버퍼(124b)의 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 제2오디오 스트림 데이터량에 따라 제2버퍼(124b)에 남은 상기 제2오디오 스트림 데이터량을 결정할 수 있다.
제어부(130)는 제2버퍼(124b)의 데이터 출력 속도 대비 데이터 입력 속도에 기초할 때 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량을 결정할 수 있고(1040), 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교할 수 있다.
즉, 제어부(130)는 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량이 미리 정해진 기준 데이터량 미만이면(1050), 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정할 수 있다(1060).
도 3을 참조하면, 제1버퍼(124a)에 저장된 제1오디오 스트림 데이터량(200) 및 제2버퍼(124b)에 저장된 제2오디오 스트림 데이터량(201)이 도시되어 있다.
도 3의 경우에는 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량(201)이 미리 정해진 기준 데이터량 미만에 해당하며, 이는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 크기 때문에, 제2버퍼(124b)에 저장된 제2오디오 스트림 데이터량(201)이 점차 감소한다.
예를 들어, 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2오디오 스트림 데이터 출력량이 한 주기에 256 샘플(sample)씩 데이터를 출력하는 경우, 제2오디오 스트림 데이터 입력량은 255 샘플이면 제2버퍼(124b)에 저장되는 제2오디오 스트림 데이터량(201)이 점차 감소하여 최저 기준 데이터량(Low Level Threshold)에 근접하게 된다.
따라서, 제어부(130)는 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 감소시킬 수 있다(1070).
즉, 제어부(130)는 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 256 샘플에서 255 샘플 또는 그 이하의 값으로 다운 샘플링(down sampling)함으로써 전달되는 제2오디오 스트림 데이터량을 감소시킬 수 있다.
한편, 제어부(130)는 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여, 제2오디오 스트림 데이터량이 미리 정해진 기준 데이터량을 초과하면(1080), 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정할 수 있다(1090).
도 4를 참조하면, 제1버퍼(124a)에 저장된 제1오디오 스트림 데이터량(200) 및 제2버퍼(124b)에 저장된 제2오디오 스트림 데이터량(202)이 도시되어 있다.
도 4의 경우에는 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량(201)이 미리 정해진 기준 데이터량을 초과하며, 이는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작기 때문에, 제2버퍼(124b)에 남은 제2오디오 스트림 데이터량(201)이 점차 증가한다.
예를 들어, 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2오디오 스트림 데이터 출력량이 한 주기에 256 샘플(sample)씩 데이터를 출력하는 경우, 제2오디오 스트림 데이터 입력량은 257 샘플이면 제2버퍼(124b)에 저장되는 제2오디오 스트림 데이터량(201)이 점차 증가하여 최고 기준 데이터량(High Level Threshold)에 근접하게 된다.
따라서, 제어부(130)는 제2버퍼(124b)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하면, 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 증가시킬 수 있다(1100).
즉, 제어부(130)는 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 256 샘플에서 257 샘플 또는 그 이상의 값으로 업 샘플링(up sampling)함으로써 전달되는 제2오디오 스트림 데이터량을 증가시킬 수 있다.
도 5를 참조하면, 제2입력부(121b)가 복수 개이고 제2입력부(121b-1, 121b-2, …, 121b-n) 각각이 복수의 제2오디오 스트림 신호를 입력 받는 경우, 제2입력부(121b) 각각이 수신한 제2오디오 스트림 신호 각각은 디코딩 후 복수 개의 제2버퍼(124b)에 저장될 수 있다.
제어부(130)는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 복수 개의 제2버퍼(124b) 각각의 제2오디오 스트림 데이터 출력 속도 및 복수 개의 제2버퍼(124b) 각각의 제2오디오 스트림 데이터 입력 속도를 결정할 수 있다.
제어부(130)는 복수 개의 제2버퍼(124b) 각각의 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 제2오디오 스트림 데이터량 대비 복수 개의 제2버퍼(124b) 각각의 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 제2오디오 스트림 데이터량에 따라 복수 개의 제2버퍼(124b) 각각에 남은 제2오디오 스트림 데이터량을 결정하고, 복수 개의 제2버퍼(124b) 각각에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 복수 개의 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 각각 조절할 수 있다.
도 5를 참조하면, 제1버퍼(124a)에 저장된 제1오디오 스트림 데이터량(200) 및 제2버퍼 1(124b-1) 내지 제2버퍼 n(124b-n)에 각각 남은 제2오디오 스트림 데이터량(201 내지 200n) 이 도시되어 있다.
제2버퍼1(124b-1)의 경우에는, 제2버퍼1(124b-1) 남은 제2오디오 스트림 데이터량(201)이 미리 정해진 기준 데이터량 미만이며 이는 도 3에서 전술한 바와 같이 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2버퍼1(124b-1)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 크기 때문에, 제2버퍼1(124b-1)에 남은 제2오디오 스트림 데이터량(201)이 점차 감소한다.
따라서, 제어부(130)는 제2버퍼1(124b-1)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 제2버퍼1(124b-1)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 감소시킬 수 있다.
제2버퍼 2(124b-2) 및 제2버퍼n(124b-n)의 경우에는, 남은 제2오디오 스트림 데이터량(201)이 미리 정해진 기준 데이터량을 초과하며, 이는 제1버퍼(124a)의 제1오디오 스트림 데이터 출력 속도에 대응하여 결정된 제2버퍼2(124b-2) 또는 제2버퍼n(124b-n)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작기 때문에, 제2버퍼2(124b-2) 또는 제2버퍼n(124b-n)에 남은 제2오디오 스트림 데이터량(201)이 점차 증가한다.
따라서, 제어부(130)는 제2버퍼2(124b-2) 또는 제2버퍼n(124b-n)의 제2오디오 스트림 데이터 출력 속도가 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하면, 제2버퍼2(124b-2) 또는 제2버퍼n(124b-n)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 증가시킬 수 있다.
이와 같이, 오디오 장치(100)가 복수 개의 제2입력부(121b)를 통해 복수의 제2오디오 스트림 신호를 입력 받는 경우, 제어부(130)는 복수 개의 제2버퍼(124b) 각각에 남은 제2오디오 스트림 데이터량을 결정하고, 복수 개의 제2버퍼(124b) 각각에 남은 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 제2버퍼(124b)에서 믹싱부(125)로 전달되는 제2오디오 스트림 데이터량을 각각 조절함으로써, 다양한 이종 소스의 오디오 신호가 끊김 없이 동기화되도록 버퍼 내의 데이터량을 조절할 수 있다.
제어부(130)는 전술한 바와 같이, 제2버퍼(124b)에 저장되는 제2오디오 스트림 데이터량을 조절하여 결과적으로 제2버퍼(124b)의 데이터 출력 속도 대비 데이터 입력 속도에 기초한 샘플링 레이트(sampling rate)를 변환할 수 있다(1110).
제어부(130)는 믹싱부(125)를 제어하여 제1오디오 스트림 데이터 및 샘플링 레이트 변환된 제2오디오 스트림 데이터를 믹싱하여 출력부(140)를 통해 출력할 수 있다(1120).
전술한 일 실시예에 따른 오디오 장치 및 그 제어방법에 의하면, 오디오 장치에서 수신되는 이종 소스의 오디오 신호가 끊김 없이 동기화 되도록 버퍼 내 데이터량을 조절하여 물리적인 회로 장치 없이 이종 클럭 오디오 신호의 소리를 끊김 없이 믹싱할 수 있는 효과가 있다. 또한, 오디오 장치에 있어서 SRC를 위한 물리적인 회로 장치를 적용하지 않음으로써 비용을 절감할 수 있고, 오디오 신호 믹싱의 확장성이 증대되는 효과가 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 제1오디오 스트림 신호를 입력 받는 제1입력부;
    제2오디오 스트림 신호를 입력 받는 제2입력부;
    상기 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하는 디코딩부;
    상기 디코딩된 제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼;
    상기 디코딩된 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼;
    상기 제1버퍼에 저장된 상기 제1오디오 스트림 데이터 및 상기 제2버퍼에 저장된 상기 제2오디오 스트림 데이터를 믹싱하는 믹싱부; 및
    상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 제2버퍼의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 결정하고, 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하는 제어부;를 포함하는 오디오 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 미만이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하는 오디오 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 감소시키는 오디오 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 초과이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하는 오디오 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력량이 상기 제2오디오 스트림 데이터 입력량보다 적은 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 증가시키는 오디오 장치.
  6. 제1항에 있어서,
    상기 제2버퍼는, 복수 개를 포함하고,
    상기 제어부는,
    상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 결정하고, 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 복수 개의 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 각각 조절하는 오디오 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하여, 상기 제2버퍼의 상기 데이터 출력 속도 대비 상기 데이터 입력속도에 기초한 샘플링 레이트(sampling rate)를 변환하는 오디오 장치.
  8. 제1항에 있어서,
    상기 입력 받은 제1오디오 스트림 신호 및 제2오디오 스트림 신호를 디코딩하는 디코딩부;를 더 포함하고,
    상기 제1버퍼는, 상기 제1오디오 스트림 신호가 디코딩된 상기 제1오디오 스트림 데이터를 저장하고,
    상기 제2버퍼는, 상기 제2오디오 스트림 신호가 디코딩된 상기 제2오디오 스트림 데이터를 저장하는 오디오 장치.
  9. 제7항에 있어서,
    상기 믹싱부는,
    상기 제1오디오 스트림 데이터 및 상기 샘플링 레이트 변환에 기초한 상기 제2오디오 스트림 데이터를 믹싱하는 오디오 장치.
  10. 제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하는 제1버퍼, 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하는 제2버퍼 및 상기 제1버퍼에 저장된 상기 제1오디오 스트림 데이터 및 상기 제2버퍼에 저장된 상기 제2오디오 스트림 데이터를 믹싱하는 믹싱부를 포함하는 오디오 장치 제어방법에 있어서,
    제1오디오 스트림 신호를 입력 받고;
    제2오디오 스트림 신호를 입력 받고;
    상기 입력된 제 1 오디오 스트림 신호 및 제2 오디오 스트림 신호를 디코딩하고;
    상기 디코딩된 제1오디오 스트림 신호에 기초한 제1오디오 스트림 데이터를 저장하고;
    상기 디코딩된 제2오디오 스트림 신호에 기초한 제2오디오 스트림 데이터를 저장하고;
    상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 제2버퍼의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량
    을 결정하고;
    상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 조절하는 오디오 장치 제어방법.
  11. 제10항에 있어서,
    상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 미만이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하는 것;을 더 포함하는 오디오 장치 제어방법.
  12. 제11항에 있어서,
    상기 제2오디오 스트림 데이터 입력량을 조절하는 것은,
    상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 큰 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 감소시키는 것;을 포함하는 오디오 장치 제어방법.
  13. 제10항에 있어서,
    상기 제2버퍼에 남은 상기 제2오디오 스트림 데이터량이 상기 미리 정해진 기준 데이터량 초과이면, 상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력 속도가 상기 제2오디오 스트림 데이터 입력 속도보다 작은 것으로 결정하는 것;을 더 포함하는 오디오 장치 제어방법.
  14. 제13항에 있어서,
    상기 제2오디오 스트림 데이터 입력량을 조절하는 것은,
    상기 제2버퍼의 상기 제2오디오 스트림 데이터 출력량이 상기 제2오디오 스트림 데이터 입력량보다 적은 것으로 결정하면, 상기 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 증가시키는 것;을 포함하는 오디오 장치 제어방법.
  15. 제10항에 있어서,
    상기 제1버퍼의 상기 제1오디오 스트림 데이터 출력 속도에 비례하여 결정된 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 출력 속도에 따라 출력되는 상기 제2오디오 스트림 데이터량 대비 상기 복수 개의 제2버퍼 각각의 상기 제2오디오 스트림 데이터 입력 속도에 따라 입력되는 상기 제2오디오 스트림 데이터량에 따라 상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 결정하고;
    상기 복수 개의 제2버퍼 각각에 남은 상기 제2오디오 스트림 데이터량을 미리 정해진 기준 데이터량과 비교하여 상기 복수 개의 제2버퍼에서 상기 믹싱부로 전달되는 제2오디오 스트림 데이터량을 각각 조절하는 것;을 더 포함하는 오디오 장치 제어방법.
PCT/KR2021/000553 2020-02-13 2021-01-14 오디오 장치 및 그 제어방법 WO2021162254A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200017446A KR102660576B1 (ko) 2020-02-13 2020-02-13 오디오 장치 및 그 제어방법
KR10-2020-0017446 2020-02-13

Publications (1)

Publication Number Publication Date
WO2021162254A1 true WO2021162254A1 (ko) 2021-08-19

Family

ID=77292830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000553 WO2021162254A1 (ko) 2020-02-13 2021-01-14 오디오 장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR102660576B1 (ko)
WO (1) WO2021162254A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230034063A (ko) * 2021-09-02 2023-03-09 삼성전자주식회사 디스플레이 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931843B1 (ko) * 2008-01-29 2009-12-15 엠텍비젼 주식회사 멀티미디어 프로세서 칩 및 오디오 신호 처리 방법
KR101260017B1 (ko) * 2012-01-30 2013-05-06 주식회사 금영 오디오 채널 간의 동기화를 위한 오디오 재생 장치
KR20130082366A (ko) * 2012-01-11 2013-07-19 엘지전자 주식회사 전자 기기 및 그것의 미디어 콘텐츠 재생 방법
KR101483684B1 (ko) * 2009-12-21 2015-01-16 한국전자통신연구원 오디오 데이터 분석 기반 음란성 콘텐츠 분석 장치 및 방법
US20180091847A1 (en) * 2015-03-20 2018-03-29 Liuzhou Guitong Technology Co., Ltd. Method and System for Synchronously Reproducing Multimedia Multi-Information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100931843B1 (ko) * 2008-01-29 2009-12-15 엠텍비젼 주식회사 멀티미디어 프로세서 칩 및 오디오 신호 처리 방법
KR101483684B1 (ko) * 2009-12-21 2015-01-16 한국전자통신연구원 오디오 데이터 분석 기반 음란성 콘텐츠 분석 장치 및 방법
KR20130082366A (ko) * 2012-01-11 2013-07-19 엘지전자 주식회사 전자 기기 및 그것의 미디어 콘텐츠 재생 방법
KR101260017B1 (ko) * 2012-01-30 2013-05-06 주식회사 금영 오디오 채널 간의 동기화를 위한 오디오 재생 장치
US20180091847A1 (en) * 2015-03-20 2018-03-29 Liuzhou Guitong Technology Co., Ltd. Method and System for Synchronously Reproducing Multimedia Multi-Information

Also Published As

Publication number Publication date
KR20210103114A (ko) 2021-08-23
KR102660576B1 (ko) 2024-04-26

Similar Documents

Publication Publication Date Title
WO2013077525A1 (ko) 제어 방법 및 그를 이용한 장치
WO2015037826A1 (en) Apparatus and method for processing audio, method for setting initialization mode, and computer-readable recording medium
WO2010150976A2 (en) Receiving system and method of providing 3d image
WO2013077524A1 (ko) 사용자 인터페이스 표시 방법 및 그를 이용한 장치
WO2013025032A1 (ko) 수신 장치 및 그 수신 방법
WO2014116088A1 (en) Source device, content providing method using the source device, sink device and controlling method of the sink device
WO2013015546A2 (ko) 방송콘텐츠의 부가정보 제공 방법 및 그 시스템
WO2011005025A2 (en) Signal processing method and apparatus therefor using screen size of display device
WO2013100376A1 (en) Apparatus and method for displaying
WO2011059257A2 (en) Display apparatus and method for remotely outputting audio
WO2014142413A1 (en) Display apparatus and control method thereof for applying motion compensation to remove artifacts from images
WO2018131806A1 (en) Electronic apparatus and method of operating the same
WO2018164547A1 (en) Image display apparatus and operation method thereof
WO2015152534A1 (en) Broadcast receiving apparatus, upgrade device for upgrading the apparatus, broadcast signal processing system, and methods thereof
WO2022154198A1 (ko) 스트리밍 이벤트 효과 조정 기능을 제공하는 서버 및 방법
WO2021162254A1 (ko) 오디오 장치 및 그 제어방법
WO2017078443A1 (en) Broadcasting signal receiving apparatus and control method thereof
WO2015046724A1 (en) Image display apparatus, server for synchronizing contents, and method for operating the server
WO2017026768A1 (ko) 송신 장치 및 이의 제어 방법
WO2021045404A1 (en) Display apparatus and method of controlling thereof
WO2015008955A1 (en) Multi contents view display apparatus and method for displaying multi contents view
WO2018221855A1 (en) Electronic apparatus and method of operating the same
WO2021060578A1 (ko) 영상표시장치, 이의 립싱크 보정방법 및 영상표시시스템
WO2021112438A1 (en) Electronic apparatus and controlling method thereof
WO2015105348A1 (ko) 멀티미디어 데이터 재생 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21752996

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21752996

Country of ref document: EP

Kind code of ref document: A1