WO2016089049A1 - 스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스 - Google Patents

스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스 Download PDF

Info

Publication number
WO2016089049A1
WO2016089049A1 PCT/KR2015/012853 KR2015012853W WO2016089049A1 WO 2016089049 A1 WO2016089049 A1 WO 2016089049A1 KR 2015012853 W KR2015012853 W KR 2015012853W WO 2016089049 A1 WO2016089049 A1 WO 2016089049A1
Authority
WO
WIPO (PCT)
Prior art keywords
speaker
signal
main
auxiliary
background signal
Prior art date
Application number
PCT/KR2015/012853
Other languages
English (en)
French (fr)
Inventor
이윤재
김한기
김상윤
송영석
오은미
임동현
장지호
조재연
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201580075082.9A priority Critical patent/CN107211213B/zh
Priority to US15/531,916 priority patent/US10171911B2/en
Priority to KR1020177014532A priority patent/KR102343330B1/ko
Publication of WO2016089049A1 publication Critical patent/WO2016089049A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Definitions

  • the present invention relates to a method and a device for outputting an audio signal based on location information of a speaker.
  • a speaker having a low acoustic performance may be provided in the multimedia device. Accordingly, the user may further use at least one high performance speaker device to enhance the sound output performance of the multimedia device when viewing the image using the multimedia device.
  • the user may listen to the sound by using the plurality of speaker devices.
  • the positional movement of the speaker device may frequently occur due to the characteristics of the wireless connection. Since the performance of the sound effect provided to the user may vary according to the position of the speaker device, when sound is output without considering the position of the speaker device, it may be difficult to provide the user with the optimal sound effect.
  • a method of outputting an audio signal may be required to provide an optimal sound effect in consideration of the positional information of each speaker.
  • An object of the present invention is to provide a method and device for processing and outputting an audio signal to provide an optimal sound effect in consideration of location information of each speaker when using a plurality of speakers.
  • the audio signal when using a plurality of speakers, may be processed and output to provide an optimal sound effect in consideration of the location information of each speaker.
  • FIG. 1 is a diagram illustrating an example of a speaker and a multimedia apparatus according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating a method of outputting an audio signal based on location information of a speaker, according to an exemplary embodiment.
  • FIG. 3 is a block diagram illustrating an internal structure of a device that outputs an audio signal based on speaker location information according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating a method of outputting an audio signal based on speaker location information according to an exemplary embodiment.
  • FIG. 5 is an exemplary diagram illustrating an example in which a plurality of speaker devices are connected to each other through wireless communication.
  • FIG. 6 is a diagram illustrating an example of location information of a main speaker and an auxiliary speaker according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an example of a plurality of auxiliary speakers and a main speaker according to an embodiment.
  • FIG. 8 is a diagram illustrating an example of a main speaker and an auxiliary speaker according to an exemplary embodiment.
  • FIG. 9 is an exemplary view illustrating an example of a speaker according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating an example of a speaker that outputs an audio signal in consideration of a wall position according to an exemplary embodiment.
  • FIG. 11 is a diagram illustrating an example of a speaker that outputs an audio signal in consideration of a user's location according to an exemplary embodiment.
  • FIG. 12 is an exemplary diagram illustrating an example of a method of obtaining location information of a speaker, according to an exemplary embodiment.
  • FIG. 13 is a diagram illustrating an example of a method of obtaining location information of a speaker, according to an exemplary embodiment
  • FIG. 14 is an exemplary diagram illustrating an example of a method of measuring a distance between speaker devices according to an exemplary embodiment.
  • 15 is a block diagram illustrating an internal structure of a device according to an embodiment.
  • a method of processing an audio signal includes: separating the audio signal into a main signal and a background signal; Obtaining location information of a main speaker and a sub speaker; Mixing the main signal and the background signal based on the position information; And outputting the mixed main signal and the background signal to the main speaker and the auxiliary speaker, respectively.
  • the mixing may include determining gains for the main signal and gains for the background signal based on the position information; Generating a mixed background signal by mixing the background signal and a main signal to which a gain with respect to the main signal is applied; And generating a mixed main signal by mixing the main signal and a background signal to which a gain with respect to the background signal is applied.
  • the determining of the gain may further include determining gains for the main signal and the background signal based on a difference between a sound output direction of the main speaker and a sound output direction of the auxiliary speaker.
  • the determining of the gain may include setting a center axis based on a position and a predetermined direction of the main speaker; And determining a gain value for the main signal as a value inversely proportional to a distance between the auxiliary speaker and the central axis.
  • the determining of the gain may include determining a gain value of the background signal as a value proportional to a distance between the auxiliary speaker and the central axis.
  • the separating may include converting the audio signal into a main signal and a background signal based on at least one of a correlation between a display screen corresponding to the audio signal, a reproduction performance of the main and auxiliary speakers, and a correlation between channels. Separating.
  • a device for processing an audio signal may include a receiver configured to receive the audio signal; A controller which separates the audio signal into a main signal and a background signal, obtains position information of the main speaker and the auxiliary speaker, and mixes the main signal and the background signal based on the position information; And an output unit configured to output the mixed main signal and the background signal to the main speaker and the auxiliary speaker, respectively.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • a part is “connected” with another part, this includes not only the case where it is “directly connected” but also the case where it is “electrically connected” with another element between them.
  • part refers to a hardware component, such as software, FPGA or ASIC, and “part” plays certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • FIG. 1 is a diagram illustrating an example of a speaker and a multimedia apparatus according to an exemplary embodiment.
  • a user may watch a multimedia image using the auxiliary speaker 120 and the multimedia apparatus 110 for improving sound performance.
  • the multimedia apparatus 110 for displaying a multimedia image may include a speaker for outputting an audio signal inside the apparatus 110.
  • the multimedia apparatus 110 may output an audio signal corresponding to the multimedia image being displayed through a speaker provided in the multimedia apparatus 110.
  • the audio signal corresponding to the multimedia image may also be output through the auxiliary speaker 120 connected to the multimedia apparatus 110.
  • the high performance auxiliary speaker 120 may assist the speaker inside the low performance multimedia device 110.
  • the sound of the multimedia image may be output through the auxiliary speaker 120 as well as the speaker of the multimedia apparatus 110, so that a sound effect having a better performance may be provided to the user.
  • the audio signal may be output only to the auxiliary speaker 120.
  • the audio signal may be divided into an audio signal to be output to the multimedia apparatus 110 and the auxiliary speaker 120, and each of the separated audio signals may be output to the multimedia apparatus 110 and the auxiliary speaker 120.
  • the multimedia apparatus 110 When the multimedia apparatus 110 is located in front of the user, it is assumed that sound is preferably recognized in the direction of the multimedia apparatus 110 according to the intention of the multimedia image producer. If the sound is output through the auxiliary speaker 120, the sound may be recognized in the direction of the auxiliary speaker 120, unlike the producer's intention. As sound is output in an unintended direction as the auxiliary speaker 120 is separated from the multimedia apparatus 110, a user may feel awkwardness, dislocation, and the like from the output sound.
  • the device may process the audio signal such that a component of an audio signal having directionality is output from the multimedia apparatus 110 and a component of an audio signal having no directionality is output from the auxiliary speaker 120. have.
  • the device may process the audio signal such that a component of the audio signal that can be output from the auxiliary speaker 120 more effectively than the multimedia apparatus 110 according to the sound output performance of each speaker. have.
  • FIG. 2 is a flowchart illustrating a method of outputting an audio signal based on location information of a speaker, according to an exemplary embodiment.
  • a device for processing an audio signal may be an element that may be included in the above-described multimedia apparatus 110 or the auxiliary speaker 120.
  • the present invention is not limited thereto, and the device may be an external device.
  • the audio signal may be output through the main speaker and one or more auxiliary speakers.
  • the main speaker may refer to a speaker provided in the multimedia apparatus 110, but is not limited thereto and may be one of various kinds of speakers.
  • the main speaker may be a device that is located in front of the user and outputs sound in a user direction. Alternatively, the present invention is not limited thereto, and the main speaker may be a device that outputs sound toward at least one direction as a reference.
  • the auxiliary speaker may be used as a device for assisting the sound output performance of the main speaker.
  • the device may process and output audio signals to be output to the main speaker and the auxiliary speaker so as to provide an optimal sound effect to the user.
  • the device may separate an audio signal to be output into a main signal and a background signal.
  • the device may separate the audio signal component which is preferably output from the main speaker into the main signal and the audio signal component which is preferably output from the auxiliary speaker into the background signal.
  • a voice or an object click sound having a relatively high correlation with an image or a screen displayed on a display corresponds to a signal component whose direction is important, and thus the aforementioned audio signal components may be output in a reference direction. So that it can be included in the main signal.
  • audio signal components such as an effect sound or an ambient sound whose direction is not important may be separated into a background signal.
  • a signal having a high correlation for left and right channels may be separated into a main signal.
  • a signal having low correlation with the left and right channels may be separated into a background signal.
  • audio signal components of a band eg, ultra high frequency or ultra low frequency band
  • the device may acquire location information of the main speaker and the auxiliary speaker. For example, the device may set the center axis based on the position of the main speaker and the user, and then obtain a distance between the auxiliary speaker and the center axis. The device may assume the user is located in front of the main speaker to determine the user's location. In addition to this, the device may set a central axis based on a predetermined position. The device may determine the gain value used in mixing based on the distance between the auxiliary speaker and the center axis.
  • the device may generate the mixed main signal and the background signal by mixing the main signal and the background signal based on the location information of the main speaker and the auxiliary speaker acquired in step S220.
  • the device may determine a gain value based on the distance between the auxiliary speaker and the center axis obtained based on the positional information of the main speaker and the auxiliary speaker, and mix the main signal and the background signal according to the determined gain value.
  • the device may determine the gain to be applied to the main signal and the background signal based on the location information of the speakers, and then perform mixing using the main signal and the background signal to which different gains are applied.
  • the main signal to which the gain for the main signal is applied may be mixed with the background signal.
  • the background signal to which the gain for the background signal is applied may be mixed with the main signal.
  • the gain value that may be determined based on the location information may be determined to be less than one.
  • the gain value for the main signal may be determined as a value inversely proportional to the distance between the center axis and the auxiliary speaker, and the gain value for the background signal may be determined as a value proportional to the distance between the center axis and the auxiliary speaker.
  • the direction difference between the auxiliary speaker and the main speaker may be smaller based on the user position or a predetermined position. Therefore, when the distance between the central axis and the auxiliary speaker is close, awkwardness, dislocation, or the like with respect to the main signal output from the auxiliary speaker that the user can feel may be reduced. Therefore, as the distance between the central axis and the auxiliary speaker gets closer, a gain value applied to the main signal that is mixed with the background signal and output from the auxiliary speaker may be determined to be a large value.
  • the background signal may include an audio signal having a lower directional specific gravity than the main signal, but when the direction difference from the display image increases, the background signal may increase awkwardness and dislocation.
  • the device may determine the gain such that the ratio of the background signal output from the main speaker is increased, thereby reducing awkwardness, dislocation, and the like, which may be felt by the user due to the difference in directionality of the sound.
  • a gain value applied to a background signal that is mixed with the main signal and output from the main speaker may be determined as a large value.
  • the device may generate the mixed main signal that may be output from the main speaker and the mixed background signal that may be output from the auxiliary speaker using the determined gain value.
  • the device may output each of the mixed main signal and the mixed background signal acquired in operation S250 to the main speaker and the auxiliary speaker. Based on the location information of the speaker, by adjusting the ratio of the main signal and the background signal included in the mixed signal, the audio signal is processed and output so as to minimize the discomfort, awkwardness, etc. that the user can feel due to the directional difference of the audio signal Can be.
  • FIG. 3 is a block diagram illustrating an internal structure of a device that outputs an audio signal based on speaker location information according to an exemplary embodiment.
  • the device 300 may include a signal separator 310 that separates an audio signal, a gain determiner 320, 330, and an adder 340, 350 that determine gains for a main signal and a background signal. It may include.
  • the device 300 of FIG. 3 may correspond to the device of FIG. 2.
  • the signal separator 310 may separate the audio signal input to the device 300 into a main signal and a background signal.
  • the signal separator 310 may separate an audio signal component, which is preferably output from the main speaker, as a main signal, and an audio signal component, which is preferably output from the auxiliary speaker, as a background signal.
  • the gain determiner 320 for the main signal may determine a gain that may be applied to the main signal based on location information of the main speaker and the auxiliary speaker.
  • the gain value for the main signal may be determined as a value inversely proportional to the distance between the center axis and the auxiliary speaker. As the distance between the central axis and the auxiliary speaker gets closer, the awkwardness, dislocation, etc. of the main signal output from the auxiliary speaker decreases, so that the gain determiner 320 for the main signal is mixed with the background signal and output from the auxiliary speaker.
  • the gain applied to the main signal may be determined as a large value.
  • the gain determiner 330 for the background signal may determine a gain that may be applied to the background signal based on location information of the main speaker and the auxiliary speaker.
  • the gain value for the background signal may be determined as a value proportional to the distance between the center axis and the auxiliary speaker. As the distance between the central axis and the auxiliary speaker increases, the gain is determined to increase the ratio of the background signal output from the main speaker, and thus, awkwardness, dislocation, and the like that the user may feel due to the difference in the directionality of the sound may be reduced.
  • the gain determiner 330 for the background signal may determine a gain value applied to the background signal that is mixed with the main signal and output from the main speaker as the distance between the central axis and the auxiliary speaker increases.
  • the main signal separated from the audio signal by the signal separator 310 may be mixed with the background signal to which the gain for the background signal is applied by the adder 340 and output.
  • the main signal mixed by the adder 340 may be output to the main speaker.
  • the background signal separated from the audio signal by the signal separator 310 may be mixed with the main signal to which the gain for the main signal is applied and output by the adder 350.
  • the background signal mixed by the adder 350 may be output to the auxiliary speaker.
  • the ratio of the main signal and the background signal included in the mixed signal is adjusted based on the location information of the speaker, such that the user may feel discomfort due to the difference in direction, awkwardness, etc.
  • the audio signal may be processed and output to minimize this.
  • FIG. 4 is a flowchart illustrating a method of outputting an audio signal based on speaker location information according to an exemplary embodiment.
  • the method illustrated in FIG. 4 may correspond to the method illustrated in FIG. 2, and overlapping description may be omitted.
  • the speaker devices may be connected to each other to perform communication.
  • the display device including the speaker and the wireless speaker may be connected to each other through wired or wireless communication.
  • the device 300 for processing the audio signal based on the speaker position information is considered to be included in the display apparatus, and the following steps S420 to S470 will be described. Steps S420 to S470 may be performed in the device 300.
  • sound profile information between speaker devices connected to each other in operation S410 may be exchanged with each other.
  • acoustic profile information of another speaker device may be transmitted to a speaker device including a device that processes an audio signal among speaker devices connected to each other.
  • the sound profile information may include information about sound output performance of the speaker device. Based on the information about the sound output performance, the audio signal can be separated into a main signal and a background signal.
  • the main speaker and the auxiliary speaker may be determined based on the sound profile information exchanged in step S420.
  • the speaker of the multimedia device including the display may be determined as the main speaker, and the remaining speaker device may be determined as the auxiliary speaker.
  • a speaker capable of outputting an audio signal in a reference direction may be determined as a main speaker, and the remaining speaker device may be determined as an auxiliary speaker.
  • a speaker having a relatively high performance of sound output may be determined as an auxiliary speaker.
  • one or more auxiliary speakers may be present.
  • a process for recognizing the speaker location may be performed to obtain location information of the speaker.
  • location information of each speaker may be obtained by receiving an audio signal output from the auxiliary speaker using a microphone of the display device.
  • the location information of each speaker may be obtained from the time when the audio signal output from the auxiliary speaker is received in the microphone of the display device and the strength of the received audio signal.
  • gain for the main signal and the background signal may be determined based on the location information of the speaker.
  • Gain for the main signal and the background signal may be determined according to the method of FIGS. 2 to 3 described above.
  • the device 300 may generate the mixed main signal and the background signal using the gain value determined in operation S450, and output the mixed main signal and the background signal to the main speaker and the auxiliary speaker.
  • FIG. 5 is an exemplary diagram illustrating an example in which a plurality of speaker devices are connected to each other through wireless communication.
  • step S410 of FIG. 4 may be included in an embodiment in which speaker devices are connected to each other through wired or wireless communication in step S410 of FIG. 4.
  • the speaker device 520 may be in a state of being previously connected to an access point 530.
  • the speaker device 520 connected in advance to the AP 530 may be a terminal device such as a smart phone, a smart TV, or the like that can be used by a user.
  • the new speaker device 510 When the new speaker device 510 is detected by a proximity sensor or BLE broadcasting (Bluetooth low energy broadcasting) provided in the existing speaker device 520, the detected speaker device 510 is connected to the existing speaker device 520. Can be connected. An authentication procedure for the new speaker device 510 may be performed in the existing speaker device 520. When the new speaker device 510 is authenticated, the new speaker device 510 is a service set identifier (SSID), identifier (ID) and password (password) for accessing the AP 530 from the existing speaker device 520. Receive the information, and can use the received information to access the AP 530.
  • SSID service set identifier
  • ID identifier
  • password password
  • the new speaker device 510 and the existing speaker device 520 may be connected to each other.
  • the user may control the new speaker device 510 using the control means of the existing speaker device 520.
  • the user may control the processed audio signal to be output to the speaker devices 510 and 520 based on the location information of the speaker devices 510 and 520, according to an exemplary embodiment.
  • the new speaker device 510 is determined to be an auxiliary speaker and the existing speaker device 520 is a main speaker, and each of the speaker devices 510 and 520 may output the mixed background signal and the mixed main signal.
  • FIG. 6 is a diagram illustrating an example of location information of a main speaker and an auxiliary speaker according to an exemplary embodiment.
  • the location information of the main speaker 620 and the auxiliary speaker 610 may include a distance r between the main speaker 620 and the auxiliary speaker 610 and between the central axis 640 and the auxiliary speaker 610. It may include angle ( ⁇ ) information.
  • the distance r * sin ⁇ between the auxiliary speaker 610 and the central axis 640 described above may be obtained from the location information of the main speaker 620 and the auxiliary speaker 610.
  • the central axis 640 may be set based on the main speaker 620 and the user location 630.
  • the user location 630 may be determined based on location information measured by a terminal device that the user is carrying, for example, a smart watch or smart glasses.
  • the user location 630 may be regarded as being located in front of the main speaker 620 in that the user may face the display screen.
  • FIG. 7 is a diagram illustrating an example of a plurality of auxiliary speakers and a main speaker according to an embodiment.
  • auxiliary speakers 710 and 720 capable of outputting an audio signal corresponding to an image displayed on the multimedia apparatus of the main speaker 730.
  • the left side auxiliary speaker 710 may output an L (left) channel audio signal
  • the right side auxiliary speaker 720 may output an R (right) channel audio signal.
  • the device 300 may separate the background signal from the audio signal by the number of auxiliary speakers 710 and 720.
  • the device 300 may separate an L background signal that may be output to the left side speaker 710 and an R background signal that may be output to the right side speaker 720 from the audio signal, respectively.
  • the device 300 may determine the gain for the main signal based on the distance between the auxiliary speakers 710 and 720 and the center axis. For example, the gain for the main signal may be determined based on the average distance between the auxiliary speakers 710 and 720 and the center axis. In addition, the device 300 may determine the gain for the L background signal and the R background signal based on the distance between the corresponding auxiliary speakers 710 and 720 and the center axis, respectively.
  • the device 300 may generate the mixed main signal to be output from the main speaker 730 by mixing the L background signal and the R background signal to which the gain for each background signal is applied, and the main signal.
  • the device 300 may generate the mixed L background signal to be output from the left auxiliary speaker 710 by mixing the main signal to which the gain with respect to the main signal is applied and the L background signal.
  • the device 300 may generate the mixed R background signal to be output from the right auxiliary speaker 720 by mixing the main signal to which the gain with respect to the main signal is applied and the R background signal.
  • FIG. 8 is a diagram illustrating an example of a main speaker and an auxiliary speaker according to an exemplary embodiment.
  • the built-in speaker 811 of the smartphone or the built-in speaker 851 of the TV (television) may be set as the main speaker.
  • the built-in speaker of the terminal device capable of displaying an image may be determined as the main speaker.
  • the wireless speaker 812, the built-in speaker 851 of the TV, the sound bar 831, the subwoofer 841, and the like may be set as auxiliary speakers.
  • a speaker having a higher sound output performance than the main speaker may be set as an auxiliary speaker.
  • FIG. 9 is an exemplary view illustrating an example of a speaker according to an exemplary embodiment.
  • the speaker 900 illustrated in FIG. 9 may be set as the above-described main speaker or auxiliary speaker to output an audio signal.
  • the speaker 900 may radiate in all directions.
  • the speaker 900 may output audio signals in up, left, right, and down directions.
  • the speaker 900 may output different audio signals according to left and right or up and down directions, and may be designed to recognize various sound fields for each listening position.
  • the horizontal unit among the output units of the speaker 900 may output audio signals of left and right channels along the left and right directions.
  • the unit in the vertical direction of the speaker 900 may output a mixed signal of the audio signal of the left channel and the audio signal of the right channel.
  • the units in each direction of the speaker 900 may output audio signals of left and right channels based on the user position so that the user may feel an optimal sense of presence.
  • FIG. 10 is a diagram illustrating an example of a speaker that outputs an audio signal in consideration of a wall position according to an exemplary embodiment.
  • the speaker 900 may include a wall recognition sensor 910 to detect a position of a wall.
  • the wall recognition sensor 910 outputs a signal such as an ultrasonic wave or an infrared ray in a predetermined direction, and obtains a time when the output signal is reflected and input again to the wall recognition sensor 910, thereby providing a distance between the speaker 900 and the wall. Can be obtained.
  • the speaker 900 may adjust the size of the audio signal radiated in the wall direction based on the distance between the speaker 900 and the wall.
  • the speaker 900 may adjust and output the audio signal radiated to the wall according to the distance between the wall and the speaker 900.
  • the output of the audio signal radiated to the wall may be minimized.
  • the output of the audio signal radiated to the wall may be adjusted.
  • FIG. 11 is a diagram illustrating an example of a speaker that outputs an audio signal in consideration of a user's location according to an exemplary embodiment.
  • the speaker 900 when the user's listening position is above the speaker 900, the speaker 900 directly radiates an audio signal 920 in the direction in which the user is located or radiates an audio signal 930 toward the ceiling. can do. Since the audio signal 930 radiated toward the ceiling may be reflected from the ceiling and transmitted directly to the user, the user may hear the sound more clearly.
  • FIG. 12 is an exemplary diagram illustrating an example of a method of obtaining location information of a speaker, according to an exemplary embodiment.
  • location information of the speakers 1210, 1220, and 1230 may be obtained by the terminal device 1240 including the microphones 1241 and 1242.
  • the terminal device 1240 may acquire location information of the speakers 1210, 1220 and 1230 by sensing the sound output from the speakers 1210, 1220 and 1230 through the microphones 1241 and 1242.
  • the sound output from the speaker 1220 may be sensed through the microphones 1241 and 1242 of the terminal device 1240. According to the positions of the microphones 1241 and 1242, since the distance between the speaker and the microphones 1241 and 1242 is different, the sensing time for the same sound is different from each other. Based on the time difference of arrival that can be obtained from the sensing times T1 and T2, the distance between the speaker 1220 and each of the microphones 1241 and 1242 may be obtained. In addition, according to the distance between the microphones 1241 and 1242, an angle between the central axis of the terminal device 1240 and the speaker 1220 may be obtained. The central axis of the terminal device 1240 may be set based on the front direction of the terminal device 1240.
  • FIG. 13 is a diagram illustrating an example of a method of obtaining location information of a speaker, according to an exemplary embodiment
  • distance information between the speaker devices 1320 and 1330 and the terminal device 1310 may be obtained through a received signal strength indication (RSSI) of a wireless signal. By comparing the measured RSSI, it may be determined in which direction the speaker devices 1320 and 1330 are located with respect to the terminal device 1310.
  • the terminal device 1310 may process an audio signal and output the same to the speaker devices 1320 and 1330 according to the positions of the speaker devices 1320 and 1330.
  • RSSI received signal strength indication
  • Radio frequency (RF) modules capable of measuring RSSI may be provided in the terminal device 1310 and the speaker devices 1320 and 1330, respectively.
  • the RF modules provided in the terminal device 1310 and the speaker devices 1320 and 1330 will be referred to as RF module_TV, RF module_WA1, and RF module_WA2, respectively.
  • TV, WA1, and WA2 represent terminal device 1310 and speaker devices 1320 and 1330, respectively.
  • the RF module _TV which is an RF module of the terminal device 1310, is provided to be biased on the right side or the left side, so that it is determined in which direction the speaker devices 1320 and 1330 exist based on the terminal device 1310 through RSSI comparison. have.
  • the speaker device of the larger size among RSSI (WA1, TV) and RSSI (WA2, TV) may be closer to the RF module TV.
  • the RSSIs (TV, WA1), RSSIs (WA2, WA1), and RSSIs (TV, WA2) illustrated in FIG. 13 indicate RSSIs detected between the terminal device 1310 and the speaker devices 1320 and 1330. By comparing the detected RSSIs with each other, it may be determined in which direction the speaker devices 1320 and 1330 are present based on the terminal device 1310.
  • the speaker device 1320 1330 may be determined to be located at the left and the right of the terminal device 1310, respectively.
  • the speaker device 1320 1330 may be determined to be located at the right and left sides of the terminal device 1310, respectively.
  • FIG. 14 is an exemplary diagram illustrating an example of a method of measuring a distance between speaker devices according to an exemplary embodiment.
  • the distance between the speaker devices may be measured by a proximity sensor provided in the speaker devices 1410 and 1420, for example, an RF module.
  • the distance between the speaker devices 1410 and 1420 may be measured. As the RSSI value is smaller, the distance between the speaker devices 1410 and 1420 may be determined as a longer value.
  • 15 is a block diagram illustrating an internal structure of a device according to an embodiment.
  • the device 1500 may include a receiver 1510, a controller 1520, and an output unit 1530.
  • the receiver 1510 may receive an audio signal to be output through a speaker.
  • the audio signal that may be received by the receiver 1510 may correspond to the image or screen being displayed.
  • the controller 1520 may separate the audio signal received from the receiver 1510 into a main signal and a background signal.
  • the controller 1520 may generate the mixed main signal and the background signal by mixing the main signal and the background signal based on the location information of the main speaker and the auxiliary speaker.
  • the location information of the main speaker and the auxiliary speaker may be received from the outside by the receiver 1510 or may be obtained according to the method of acquiring the location information of the speaker described above.
  • the controller 1520 may determine a gain value based on location information of the main speaker and the auxiliary speaker, and mix the main signal and the background signal according to the determined gain value.
  • a gain value applied to the main signal that is mixed with the background signal and output from the auxiliary speaker may be determined to be a large value.
  • the gain value applied to the background signal that is mixed with the main signal and output from the main speaker may be determined as a large value.
  • the output unit 1530 may output the mixed main signal that may be output from the main speaker and the mixed background signal that may be output from the auxiliary speaker to the main speaker and the auxiliary speaker.
  • the audio signal when using a plurality of speakers, may be processed and output to provide an optimal sound effect in consideration of the location information of each speaker.
  • the method according to some embodiments may be embodied in the form of program instructions that may be executed by various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Abstract

오디오 신호를 메인 신호 및 배경 신호로 분리하고, 메인 스피커 및 보조 스피커의 위치 정보를 획득하고, 위치 정보에 기초하여, 메인 신호 및 배경 신호를 믹싱하고, 믹싱된 메인 신호 및 배경 신호를 각각 메인 스피커 및 보조 스피커로 출력하는, 디바이스에서 오디오 신호를 처리하는 방법이 개시된다.

Description

스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스
본 발명은 스피커의 위치 정보에 기초하여 오디오 신호를 출력하는 방법 및 디바이스에 대한 것이다.
멀티미디어 장치의 슬림화 및 경량화로 인해 대부분 낮은 음향 성능의 스피커가 멀티미디어 장치에 구비될 수 있다. 따라서, 사용자는 멀티미디어 장치를 이용하여 영상을 시청할 때 멀티미디어 장치의 음향 출력 성능을 보강하기 위한 고성능의 스피커 장치를 하나 이상 더 이용할 수 있다.
이러한 경우, 사용자는 복수 개의 스피커 장치를 이용하여 음향을 청취할 수 있다. 그러나, 무선 연결이 가능한 스피커 장치의 경우, 무선 연결의 특성 상 스피커 장치의 위치 이동이 빈번하게 일어날 수 있다. 스피커 장치의 위치에 따라 사용자에게 제공되는 음향 효과의 성능이 달라질 수 있으므로, 스피커 장치의 위치에 대한 고려 없이 음향이 출력되는 경우, 최적의 음향 효과가 사용자에게 제공되기 어려울 수 있다.
따라서, 복수 개의 스피커를 이용하는 경우, 각 스피커의 위치 정보를 고려하여 최적의 음향 효과가 제공되도록 오디오 신호를 출력하는 방법이 요구될 수 있다.
본 발명이 해결하고자 하는 과제는 복수 개의 스피커를 이용하는 경우, 각 스피커의 위치 정보를 고려하여 최적의 음향 효과가 제공되도록 오디오 신호를 처리하여 출력하는 방법 및 디바이스를 제공하는데 있다.
일 실시 예에 의하면, 복수 개의 스피커를 이용하는 경우, 각 스피커의 위치 정보를 고려하여 최적의 음향 효과가 제공되도록 오디오 신호를 처리하여 출력할 수 있다.
도 1은 일 실시 예에 의한 스피커 및 멀티미디어 장치의 일 예를 나타낸 예시도면이다.
도 2는 일 실시 예에 의한 스피커의 위치 정보에 기초하여 오디오 신호를 출력하는 방법을 나타낸 순서도이다.
도 3은 일 실시 예에 의한 스피커 위치 정보에 기초하여 오디오 신호를 출력하는 디바이스의 내부 구조를 나타낸 블록도이다.
도 4는 일 실시 예에 의한 스피커 위치 정보에 기초하여 오디오 신호를 출력하는 방법을 나타낸 순서도이다.
도 5는 일 실시 예에 의한 다수의 스피커 장치가 무선 통신을 통해 서로 연결되는 일 예를 나타낸 예시 도면이다.
도 6은 일 실시 예에 의한 메인 스피커와 보조 스피커의 위치 정보의 일 예를 나타낸 예시 도면이다.
도 7은 일 실시 예에 의한 복수 개의 보조 스피커 및 메인 스피커의 일 예를 나타낸 예시 도면이다.
도 8은 일 실시 예에 의한 메인 스피커와 보조 스피커의 일 예를 나타낸 예시 도면이다.
도 9는 일 실시 예에 의한 스피커의 일 예를 나타낸 예시 도면이다.
도 10은 일 실시 예에 의한 벽 위치를 고려하여 오디오 신호를 출력하는 스피커의 일 예를 나타낸 예시 도면이다.
도 11은 일 실시 예에 의한 사용자 위치를 고려하여 오디오 신호를 출력하는 스피커의 일 예를 나타낸 예시 도면이다.
도 12는 일 실시 예에 의한 스피커의 위치 정보를 획득하는 방법의 일 예를 나타낸 예시 도면이다.
도 13은 일 실시 예에 의한 스피커의 위치 정보를 획득하는 방법의 일 예를 나타낸 예시 도면이다.
도 14는 일 실시 예에 의한 스피커 장치 간 거리를 측정하는 방법의 일 예를 나타낸 예시 도면이다.
도 15는 일 실시 예에 의한 디바이스의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 디바이스에서 오디오 신호를 처리하는 방법은 상기 오디오 신호를 메인 신호 및 배경 신호로 분리하는 단계; 메인 스피커(main speaker) 및 보조 스피커(sub speaker)의 위치 정보를 획득하는 단계; 상기 위치 정보에 기초하여, 상기 메인 신호 및 배경 신호를 믹싱하는 단계; 및 상기 믹싱된 메인 신호 및 배경 신호를 각각 상기 메인 스피커 및 보조 스피커로 출력하는 단계를 포함한다.
또한, 상기 믹싱하는 단계는, 상기 위치 정보에 기초하여, 상기 메인 신호에 대한 게인 및 상기 배경 신호에 대한 게인을 각각 결정하는 단계; 상기 배경 신호와, 상기 메인 신호에 대한 게인이 적용된 메인 신호를 믹싱함으로써, 믹싱된 배경 신호를 생성하는 단계; 및 상기 메인 신호와, 상기 배경 신호에 대한 게인이 적용된 배경 신호를 믹싱함으로써, 믹싱된 메인 신호를 생성하는 단계를 포함한다.
또한, 상기 게인을 결정하는 단계는 상기 메인 스피커의 음향 출력 방향 및 상기 보조 스피커의 음향 출력 방향 간의 차이에 기초하여, 상기 메인 신호 및 배경 신호에 대한 게인을 각각 결정하는 단계를 포함한다.
또한, 상기 게인을 결정하는 단계는 상기 메인 스피커의 위치 및 소정 방향을 기준으로 중심축을 설정하는 단계; 및 상기 메인 신호에 대한 게인 값을 상기 보조 스피커 및 상기 중심축 간 거리에 반비례하는 값으로 결정하는 단계를 포함한다.
또한, 상기 게인을 결정하는 단계는 상기 배경 신호에 대한 게인 값을 상기 보조 스피커 및 상기 중심축 간 거리에 비례하는 값으로 결정하는 단계를 포함한다.
또한, 상기 분리하는 단계는 상기 오디오 신호와 대응되는 디스플레이 화면과의 상관도, 상기 메인 스피커 및 보조 스피커의 재생 성능 및 채널 간 상관성 중 적어도 하나에 기초하여, 상기 오디오 신호를 메인 신호 및 배경 신호로 분리하는 단계를 포함한다.
일 실시 예에 의한 오디오 신호를 처리하는 디바이스는 상기 오디오 신호를 수신하는 수신부; 상기 오디오 신호를 메인 신호 및 배경 신호로 분리하고, 메인 스피커 및 보조 스피커의 위치 정보를 획득하고, 상기 위치 정보에 기초하여, 상기 메인 신호 및 배경 신호를 믹싱하는 제어부; 및 상기 믹싱된 메인 신호 및 배경 신호를 각각 상기 메인 스피커 및 보조 스피커로 출력부를 포함한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 스피커 및 멀티미디어 장치의 일 예를 나타낸 예시도면이다.
도 1을 참조하면, 사용자는 음향 성능 향상을 위한 보조 스피커(120)와 멀티미디어 장치(110)를 이용하여 멀티 미디어 영상을 시청할 수 있다. 멀티 미디어 영상을 디스플레이하는 멀티 미디어 장치(110)는 오디오 신호 출력을 위한 스피커를 장치(110) 내부에 구비할 수 있다. 멀티 미디어 장치(110)는 디스플레이 중인 멀티 미디어 영상과 대응되는 오디오 신호를 멀티 미디어 장치(110) 내부에 구비된 스피커를 통해 출력할 수 있다. 멀티 미디어 영상과 대응되는 오디오 신호는 멀티 미디어 장치(110)와 연결된 보조 스피커(120)를 통하여도 출력될 수 있다.
고성능의 보조 스피커(120)는 저성능의 멀티미디어 장치(110) 내부의 스피커를 보조하여 줄 수 있다. 멀티 미디어 영상의 음향은 멀티 미디어 장치(110)의 스피커뿐만 아니라 보조 스피커(120)를 통하여 출력됨으로써 보다 나은 성능의 음향 효과가 사용자에게 제공될 수 있다.
멀티 미디어 장치(110)와 보조 스피커(120)가 연결됨에 따라 오디오 신호는 보조 스피커(120)로만 출력될 수 있다. 또는, 오디오 신호는 멀티미디어 장치(110)와 보조 스피커(120)로 출력될 오디오 신호로 분리되어, 분리된 각각의 오디오 신호가 멀티미디어 장치(110)와 보조 스피커(120)로 출력될 수 있다.
사용자 정면에 멀티미디어 장치(110)가 위치하는 경우, 멀티미디어 영상 제작자의 의도에 따라 멀티미디어 장치(110)의 방향으로 음향이 인지됨이 바람직한 경우를 가정한다. 만약, 보조 스피커(120)를 통하여 음향이 출력되는 경우, 제작자의 의도와는 달리 보조 스피커(120)의 방향에서 음향이 인지될 수 있다. 보조 스피커(120)가 멀티미디어 장치(110)로부터 떨어진 만큼 의도되지 않은 방향으로 음향이 출력됨에 따라 사용자는 출력된 음향으로부터 어색함, 괴리감 등을 느낄 수 있다.
따라서, 일 실시 예에 의한 디바이스는 방향성이 중요한 오디오 신호의 성분은 멀티미디어 장치(110)에서 출력되고, 방향성이 중요하지 않은 오디오 신호의 성분은 보조 스피커(120)에서 출력되도록 오디오 신호를 처리할 수 있다. 또한, 디바이스는 각 스피커의 음향 출력 성능에 따라서, 멀티미디어 장치(110)보다 보조 스피커(120)에서 더 효과적으로 출력될 수 있는 오디오 신호의 성분은 보조 스피커(120)에서 출력되도록 오디오 신호를 처리할 수 있다.
도 2는 일 실시 예에 의한 스피커의 위치 정보에 기초하여 오디오 신호를 출력하는 방법을 나타낸 순서도이다.
이하 설명에서 오디오 신호를 처리하는 디바이스는 상술한 멀티미디어 장치(110) 또는 보조 스피커(120)에 포함될 수 있는 요소일 수 있다. 또한, 이에 한하지 않고, 디바이스는 외부에 존재하는 장치일 수 있다.
오디오 신호는 메인 스피커와 하나 이상의 보조 스피커를 통해 출력될 수 있다. 메인 스피커는 멀티미디어 장치(110) 내부에 구비된 스피커를 지칭할 수 있으나 이에 한하지 않고 다양한 종류의 스피커 중 하나일 수 있다. 메인 스피커는 사용자 정면에 위치하여 사용자 방향으로 음향을 출력하는 장치일 수 있다. 또는, 이에 한하지 않고, 메인 스피커는 기준이 되는 적어도 하나의 방향을 향해 음향을 출력하는 장치일 수 있다. 보조 스피커는 메인 스피커의 음향 출력 성능을 보조하기 위한 장치로 이용될 수 있다.
일 실시 예에 의하면, 디바이스는 사용자에게 최적의 음향 효과가 제공되도록 메인 스피커와 보조 스피커로 출력될 오디오 신호를 각각 처리하여 출력할 수 있다.
도 2를 참조하면, 단계 S210에서 디바이스는 출력하고자 하는 오디오 신호를 메인 신호 및 배경 신호로 분리할 수 있다. 디바이스는 메인 스피커에서 출력됨이 바람직한 오디오 신호 성분을 메인 신호로, 보조 스피커에서 출력됨이 바람직한 오디오 신호 성분을 배경 신호로 분리할 수 있다.
예를 들면, 디스플레이에 표시된 영상 또는 화면과의 상관도가 상대적으로 높은 음성이나 오브젝트 클릭음 등은 방향성이 중요한 신호 성분에 해당되는 점에서, 상술된 오디오 신호 성분들은 기준이 되는 방향으로 출력될 수 있도록 메인 신호에 포함될 수 있다. 반면, 방향성이 중요하지 않은 효과음이나 배경음(ambient sound) 등의 오디오 신호 성분은 배경 신호로 분리될 수 있다. 또한, 좌우 채널에 대한 상관도(correlation)가 높은 신호는 메인 신호로 분리될 수 있다. 반면, 좌우 채널에 대한 상관도가 낮은 신호는 배경 신호로 분리될 수 있다. 메인 스피커의 음향 출력 성능에 따라, 메인 스피커에서 최적으로 출력되기 어려운 대역(ex. 초고주파 또는 초저주파 대역)의 오디오 신호 성분은 고성능의 보조 스피커에서 출력될 수 있도록 배경 신호로 분리될 수 있다.
단계 S220에서, 디바이스는 메인 스피커 및 보조 스피커의 위치 정보를 획득할 수 있다. 예를 들면, 디바이스는 메인 스피커 및 사용자의 위치를 기준으로 중심축을 설정한 후, 보조 스피커와 중심축 간 거리를 구할 수 있다. 디바이스는 사용자가 메인 스피커의 정면에 위치한 것으로 가정하여, 사용자의 위치를 결정할 수 있다. 이에 한하지 않고, 디바이스는 소정 위치를 기준으로 중심축을 설정할 수 있다. 디바이스는 보조 스피커와 중심축 간 거리에 기초하여, 믹싱 시 이용되는 게인 값을 결정할 수 있다.
단계 S230에서, 디바이스는 단계 S220에서 획득한 메인 스피커 및 보조 스피커의 위치 정보에 기초하여, 메인 신호 및 배경 신호를 믹싱함으로써 믹싱된 메인 신호 및 배경 신호를 생성할 수 있다. 디바이스는 메인 스피커 및 보조 스피커의 위치 정보에 기초하여 획득된 보조 스피커와 중심축 간 거리에 기초하여, 게인 값을 결정하고, 결정된 게인 값에 따라 메인 신호 및 배경 신호를 믹싱할 수 있다.
디바이스는 스피커들의 위치 정보에 기초하여 메인 신호와 배경 신호에 적용될 게인을 각각 결정한 후, 서로 다른 게인이 적용된 메인 신호와 배경 신호를 이용하여 믹싱을 수행할 수 있다. 메인 신호에 대한 게인이 적용된 메인 신호는 배경 신호와 믹싱될 수 있다. 또한, 배경 신호에 대한 게인이 적용된 배경 신호는 메인 신호와 믹싱될 수 있다.
위치 정보에 기초하여 결정될 수 있는 게인 값은 1보다 작은 값으로 결정될 수 있다. 메인 신호에 대한 게인 값은 중심축과 보조 스피커 간 거리에 반비례하는 값으로 결정될 수 있고, 배경 신호에 대한 게인 값은 중심축과 보조 스피커 간 거리에 비례하는 값으로 결정될 수 있다.
중심축과 보조 스피커 간 거리가 가까워질수록 사용자 위치 또는 소정 위치를 기준으로 보조 스피커와 메인 스피커 간 방향 차이는 작아질 수 있다. 따라서, 중심축과 보조 스피커 간 거리가 가까운 경우, 사용자가 느낄 수 있는 보조 스피커에서 출력된 메인 신호에 대한 어색함, 괴리감 등이 적어질 수 있다. 따라서, 중심축과 보조 스피커 간 거리가 가까워질수록, 배경 신호와 믹싱되어 보조 스피커에서 출력될 수 있는 메인 신호에 대해 적용되는 게인 값은 큰 값으로 결정될 수 있다.
반면, 중심축과 보조 스피커 간 거리가 멀어질수록 사용자 위치를 기준으로 보조 스피커와 메인 스피커 간 방향 차이가 커지게 된다. 따라서, 중심축과 보조 스피커 간 거리가 멀수록, 보조 스피커와 메인 스피커에서 출력되는 배경 신호 간 방향 차이가 커지게 됨에 따라, 배경 신호의 방향성 차이로 인하여 사용자가 느낄 수 있는 어색함, 괴리감 등이 증가될 수 있다. 배경 신호는 메인 신호에 비해 상대적으로 방향성 비중이 낮은 오디오 신호를 포함할 수 있으나, 디스플레이 영상과의 방향 차이가 커지면 사용자가 느낄 수 있는 어색함, 괴리감이 증가될 수 있다. 따라서, 디바이스는 메인 스피커에서 출력되는 배경 신호의 비율이 높아지도록 게인을 결정함으로써, 음향의 방향성 차이로 인하여 사용자가 느낄 수 있는 어색함, 괴리감 등을 저하시킬 수 있다. 중심축과 보조 스피커 간 거리가 멀어질수록 메인 신호와 믹싱되어 메인 스피커에서 출력될 수 있는 배경 신호에 대해 적용되는 게인 값은 큰 값으로 결정될 수 있다.
디바이스는 결정된 게인 값을 이용하여 메인 스피커에서 출력될 수 있는 믹싱된 메인 신호와, 보조 스피커에서 출력될 수 있는 믹싱된 배경 신호를 생성할 수 있다.
단계 S240에서, 디바이스는 단계 S250에서 획득한 믹싱된 메인 신호 및 믹싱된 배경 신호 각각을 메인 스피커 및 보조 스피커로 출력시킬 수 있다. 스피커의 위치 정보에 기초하여, 믹싱된 신호에 포함된 메인 신호 및 배경 신호의 비율이 조절됨으로써, 오디오 신호의 방향성 차이로 인하여 사용자가 느낄 수 있는 괴리감, 어색함 등이 최소화되도록 오디오 신호가 처리되어 출력될 수 있다.
도 3은 일 실시 예에 의한 스피커 위치 정보에 기초하여 오디오 신호를 출력하는 디바이스의 내부 구조를 나타낸 블록도이다.
도 3을 참조하면, 디바이스(300)는 오디오 신호를 분리하는 신호 분리부(310), 메인 신호 및 배경 신호에 대한 게인을 결정하는 게인 결정부(320, 330), 가산기(340, 350)를 포함할 수 있다. 도 3의 디바이스(300)는 도 2의 디바이스와 대응될 수 있다.
신호 분리부(310)는 디바이스(300)에 입력된 오디오 신호를 메인 신호 및 배경 신호로 분리할 수 있다. 신호 분리부(310)는 메인 스피커에서 출력됨이 바람직한 오디오 신호 성분을 메인 신호로, 보조 스피커에서 출력됨이 바람직한 오디오 신호 성분을 배경 신호로 분리할 수 있다.
메인 신호에 대한 게인 결정부(320)는 메인 스피커 및 보조 스피커의 위치 정보에 기초하여 메인 신호에 적용될 수 있는 게인을 결정할 수 있다. 메인 신호에 대한 게인 값은 중심축과 보조 스피커 간 거리에 반비례하는 값으로 결정될 수 있다. 중심축과 보조 스피커 간 거리가 가까워질수록, 보조 스피커에서 출력된 메인 신호에 대한 어색함, 괴리감 등이 적어짐에 따라, 메인 신호에 대한 게인 결정부(320)는 배경 신호와 믹싱되어 보조 스피커에서 출력될 수 있는 메인 신호에 대해 적용되는 게인 값을 큰 값으로 결정할 수 있다.
배경 신호에 대한 게인 결정부(330)는 메인 스피커 및 보조 스피커의 위치 정보에 기초하여 배경 신호에 적용될 수 있는 게인을 결정할 수 있다. 배경 신호에 대한 게인 값은 중심축과 보조 스피커 간 거리에 비례하는 값으로 결정될 수 있다. 중심축과 보조 스피커 간 거리가 멀어질수록, 메인 스피커에서 출력되는 배경 신호의 비율이 높아지도록 게인이 결정됨으로써, 음향의 방향성 차이로 인하여 사용자가 느낄 수 있는 어색함, 괴리감 등이 저하될 수 있다. 배경 신호에 대한 게인 결정부(330)는 중심축과 보조 스피커 간 거리가 멀어질수록 메인 신호와 믹싱되어 메인 스피커에서 출력될 수 있는 배경 신호에 대해 적용되는 게인 값을 큰 값으로 결정할 수 있다.
신호 분리부(310)에 의해 오디오 신호로부터 분리된 메인 신호는 가산기(340)에 의하여, 배경 신호에 대한 게인이 적용된 배경 신호와 믹싱되어 출력될 수 있다. 가산기(340)에 의해 믹싱된 메인 신호는 메인 스피커로 출력될 수 있다.
또한, 신호 분리부(310)에 의해 오디오 신호로부터 분리된 배경 신호는 가산기(350)에 의하여, 메인 신호에 대한 게인이 적용된 메인 신호와 믹싱되어 출력될 수 있다. 가산기(350)에 의해 믹싱된 배경 신호는 보조 스피커로 출력될 수 있다.
일 실시 예에 의한 디바이스(300)에 의하면, 스피커의 위치 정보에 기초하여, 믹싱된 신호에 포함된 메인 신호 및 배경 신호의 비율이 조절됨으로써, 방향성 차이로 인하여 사용자가 느낄 수 있는 괴리감, 어색함 등이 최소화되도록 오디오 신호가 처리되어 출력될 수 있다.
도 4는 일 실시 예에 의한 스피커 위치 정보에 기초하여 오디오 신호를 출력하는 방법을 나타낸 순서도이다.
도 4에 도시된 방법은 도 2에 도시된 방법과 대응될 수 있으며, 중복되는 설명은 생략될 수 있다.
도 4를 참조하면, 단계 S410에서, 스피커 장치들 간 통신이 수행될 수 있도록 서로 연결될 수 있다. 예를 들면, 유무선 통신을 통해 스피커가 구비된 디스플레이 장치와 무선 스피커 간 서로 연결될 수 있다. 스피커 위치 정보에 기초하여 오디오 신호를 처리하는 디바이스(300)는 디스플레이 장치에 포함된 것으로 보고 이하 단계 S420 내지 단계 S470을 설명하기로 한다. 디바이스(300)에서 이하 단계 S420 내지 단계 S470가 수행될 수 있다.
단계 S420에서, 단계 S410에서 서로 연결된 스피커 장치들 간 음향 프로파일 정보가 서로 교환될 수 있다. 예를 들면, 서로 연결된 스피커 장치들 중 오디오 신호를 처리하는 디바이스를 포함하는 스피커 장치로 다른 스피커 장치의 음향 프로파일 정보가 전달될 수 있다. 음향 프로파일 정보는 스피커 장치의 음향 출력 성능에 관한 정보를 포함할 수 있다. 음향 출력 성능에 관한 정보에 기초하여, 오디오 신호가 메인 신호 및 배경 신호로 분리될 수 있다.
단계 S430에서, 단계 S420에서 교환된 음향 프로파일 정보에 기초하여 메인 스피커 및 보조 스피커가 결정될 수 있다. 예를 들면, 디스플레이를 포함하는 멀티미디어 장치의 스피커가 메인 스피커로 결정되고, 나머지 스피커 장치는 보조 스피커로 결정될 수 있다. 또 다른 예로, 기준이 되는 방향으로 오디오 신호를 출력할 수 있는 스피커가 메인 스피커로 결정되고, 나머지 스피커 장치는 보조 스피커로 결정될 수 있다. 스피커 장치들 중 상대적으로 고성능의 음향 출력 성능을 가지는 스피커가 보조 스피커로 결정될 수 있다. 실시 예에 따라서, 보조 스피커는 하나 이상 존재할 수 있다.
단계 S440에서, 스피커 위치를 인식하기 위한 프로세스가 수행됨으로써, 스피커의 위치 정보가 획득될 수 있다. 예를 들면, 디스플레이 장치의 마이크를 이용하여 보조 스피커에서 출력된 오디오 신호를 수신함으로써 각 스피커의 위치 정보가 획득될 수 있다. 디스플레이 장치의 마이크에 보조 스피커에서 출력된 오디오 신호가 수신된 시간 및 수신된 오디오 신호의 강도로부터 각 스피커의 위치 정보가 획득될 수 있다.
단계 S450에서, 메인 신호 및 배경 신호에 대한 게인이 스피커의 위치 정보에 기초하여 결정될 수 있다. 메인 신호 및 배경 신호에 대한 게인은 상술된 도 2 내지 도 3의 방법에 따라 결정될 수 있다.
단계 S460에서, 디바이스(300)는 단계 S450에서 결정된 게인 값을 이용하여 믹싱된 메인 신호 및 배경 신호를 생성하고, 믹싱된 메인 신호 및 배경 신호를 메인 스피커 및 보조 스피커로 출력할 수 있다.
도 5는 일 실시 예에 의한 다수의 스피커 장치가 무선 통신을 통해 서로 연결되는 일 예를 나타낸 예시 도면이다.
도 5에 도시된 실시 예는 도 4의 단계 S410의 유무선 통신을 통해 스피커 장치 간 서로 연결되는 실시 예에 포함될 수 있다.
도 5를 참조하면, 스피커 장치(520)는 AP(access point)(530)와 미리 연결된 상태일 수 있다. AP(530)와 미리 연결된 스피커 장치(520)는 사용자가 사용할 수 있는 스마트 폰, 스마트 TV 등과 같은 단말 장치일 수 있다.
기존의 스피커 장치(520)에 구비된 근접 센서 또는 BLE broadcasting (Bluetooth low energy broadcasting) 에 의해 새로운 스피커 장치(510)가 감지되는 경우, 감지된 스피커 장치(510)는 기존의 스피커 장치(520)와 연결될 수 있다. 기존의 스피커 장치(520)에서 새로운 스피커 장치(510)에 대한 인증 절차가 수행될 수 있다. 새로운 스피커 장치(510)가 인증이 완료되면, 새로운 스피커 장치(510)는 기존의 스피커 장치(520)로부터 AP(530) 접속을 위한 SSID(service set identifier), ID(identifier) 및 암호(password) 정보들을 수신하고, 수신된 정보들을 이용하여 AP(530)에 접속할 수 있다.
새로운 스피커 장치(510)가 AP(530)에 접속함에 따라, 새로운 스피커 장치(510)와 기존 스피커 장치(520)는 서로 연결될 수 있다. 사용자는 기존 스피커 장치(520)의 컨트롤 수단을 이용하여 새로운 스피커 장치(510)를 제어할 수 있다. 예를 들면, 사용자는 일 실시 예에 따라 스피커 장치(510, 520)들의 위치 정보에 기초하여, 처리된 오디오 신호가 스피커 장치(510, 520)들로 출력되도록 제어할 수 있다. 새로운 스피커 장치(510)는 보조 스피커, 기존 스피커 장치(520)는 메인 스피커로 결정되어, 각각의 스피커 장치(510, 520)는 믹싱된 배경 신호와 믹싱된 메인 신호를 출력할 수 있다.
도 6은 일 실시 예에 의한 메인 스피커와 보조 스피커의 위치 정보의 일 예를 나타낸 예시 도면이다.
도 6을 참조하면, 메인 스피커(620)와 보조 스피커(610)의 위치 정보는 메인 스피커(620)와 보조 스피커(610) 간 거리(r) 및 중심축(640)과 보조 스피커(610) 간 각도(θ) 정보를 포함할 수 있다. 메인 스피커(620)와 보조 스피커(610)의 위치 정보로부터 상술된 보조 스피커(610)와 중심축(640) 간 거리(r*sinθ)가 획득될 수 있다.
중심축(640)은 메인 스피커(620) 및 사용자 위치(630)를 기준으로 설정될 수 있다. 사용자 위치(630)는 사용자가 휴대 중인 단말 장치, 예를 들면, 스마트 워치, 스마트 글래스 등에 의해 측정된 위치 정보에 기초하여 결정될 수 있다. 또는, 사용자가 디스플레이 화면을 향하여 있을 수 있는 점에서 사용자 위치(630)는 메인 스피커(620)의 정면에 위치한 것으로 볼 수 있다.
도 7은 일 실시 예에 의한 복수 개의 보조 스피커 및 메인 스피커의 일 예를 나타낸 예시 도면이다.
도 7을 참조하면, 메인 스피커(730)의 멀티미디어 장치에 디스플레이된 영상과 대응되는 오디오 신호가 출력될 수 있는 메인 스피커(730) 및 2개의 보조 스피커(710, 720)가 존재할 수 있다. 왼쪽의 보조 스피커(710)는 L(left) 채널의 오디오 신호가 출력될 수 있고, 오른쪽의 보조 스피커(720)는 R(right) 채널의 오디오 신호가 출력될 수 있다.
디바이스(300)는 보조 스피커(710, 720)의 개수만큼 배경 신호를 오디오 신호로부터 분리할 수 있다. 예를 들면, 디바이스(300)는 왼쪽의 보조 스피커(710)로 출력될 수 있는 L 배경 신호와 오른쪽의 보조 스피커(720)로 출력될 수 있는 R 배경 신호를 각각 오디오 신호로부터 분리할 수 있다.
디바이스(300)는 메인 신호에 대한 게인을 보조 스피커(710, 720) 및 중심축 간 거리에 기초하여 결정할 수 있다. 예를 들면, 메인 신호에 대한 게인은 보조 스피커(710, 720) 및 중심축 간 평균 거리에 기초하여 결정될 수 있다. 또한, 디바이스(300)는 L 배경 신호 및 R 배경 신호에 대한 게인을 각각 대응되는 보조 스피커(710, 720) 및 중심축 간 거리에 기초하여 결정할 수 있다.
디바이스(300)는 각 배경 신호에 대한 게인이 적용된 L 배경 신호 및 R 배경 신호와, 메인 신호를 믹싱함으로써 메인 스피커(730)에서 출력될 믹싱된 메인 신호를 생성할 수 있다. 또한, 디바이스(300)는 메인 신호에 대한 게인이 적용된 메인 신호와 L 배경 신호를 믹싱함으로써, 왼쪽 보조 스피커(710)에서 출력될 믹싱된 L 배경 신호를 생성할 수 있다. 마찬가지로, 디바이스(300)는 메인 신호에 대한 게인이 적용된 메인 신호와 R 배경 신호를 믹싱함으로써, 오른쪽 보조 스피커(720)에서 출력될 믹싱된 R 배경 신호를 생성할 수 있다.
도 8은 일 실시 예에 의한 메인 스피커와 보조 스피커의 일 예를 나타낸 예시 도면이다.
810 내지 860에 도시된 것과 같이 스마트폰의 내장 스피커(811) 또는 TV(television)의 내장 스피커(851)는 메인 스피커로 설정될 수 있다. 영상을 표시할 수 있는 단말 장치의 내장 스피커는 메인 스피커로 결정될 수 있다.
또한, 810 내지 860에 도시된 것과 같이 무선 스피커(812), TV의 내장 스피커(851), 사운드바(831), 서브우퍼(841) 등은 보조 스피커로 설정될 수 있다. 메인 스피커에 비해 상대적으로 음향 출력 성능이 높은 스피커가 보조 스피커로 설정될 수 있다.
도 9는 일 실시 예에 의한 스피커의 일 예를 나타낸 예시 도면이다.
도 9에 도시된 스피커(900)는 상술된 메인 스피커 또는 보조 스피커로 설정되어 오디오 신호를 출력할 수 있다.
도 9를 참조하면, 스피커(900)는 전방향으로 방사가 가능하다. 예를 들면, 스피커(900)는 위쪽, 왼쪽, 오른쪽, 아래쪽 방향으로 오디오 신호를 출력할 수 있다. 스피커(900)는 좌우 또는 아래 위 방향에 따라 서로 다른 오디오 신호를 출력할 수 있고, 청취 위치별로 다양한 음장감이 인지될 수 있도록 설계될 수 있다.
예를 들면, 스피커(900)의 출력 유닛 중 수평 방향의 유닛은, 좌우 방향에 따라 좌우 채널의 오디오 신호를 출력할 수 있다. 또한, 스피커(900)의 수직 방향의 유닛은, 좌채널의 오디오 신호 및 우채널의 오디오 신호이 믹싱된 신호를 출력할 수 있다.
또한, 사용자 위치가 인식될 수 있는 경우, 사용자가 최적의 임장감을 느낄 수 있도록 스피커(900)의 각 방향의 유닛들은 사용자 위치를 기준으로 좌우 채널의 오디오 신호를 출력할 수 있다.
도 10은 일 실시 예에 의한 벽 위치를 고려하여 오디오 신호를 출력하는 스피커의 일 예를 나타낸 예시 도면이다.
도 10을 참조하면, 스피커(900)는 벽 인식 센서(910)를 구비하여 벽의 위치를 감지할 수 있다. 벽 인식 센서(910)는 소정 방향으로 초음파, 적외선 등의 신호를 출력하고, 출력된 신호가 반사되어 벽 인식 센서(910)에 다시 입력된 시간을 구함으로써, 스피커(900)와 벽과의 거리를 구할 수 있다. 스피커(900)는 스피커(900)와 벽과의 거리에 기초하여, 벽 방향으로 방사되는 오디오 신호의 크기를 조절할 수 있다.
스피커(900) 근처에 벽이 존재하는 경우, 스피커(900)에서 출력된 오디오 신호가 벽에 의해 반사되어 왜곡될 수 있다. 따라서, 스피커(900)는 오디오 신호가 왜곡되어 방사되는 것을 방지하기 위해, 벽으로 방사되는 오디오 신호를 벽과 스피커(900) 간의 거리에 따라 조절하여 출력할 수 있다.
예를 들면, 1010에 도시된 바와 같이 스피커(900)와 벽 간 거리가 좁은 경우, 벽으로 방사되는 오디오 신호의 출력을 최소화할 수 있다. 또한 1020에 도시된 바와 같이 스피커(900)와 벽 간 거리가 멀어질수록, 벽으로 방사되는 오디오 신호의 출력을 크게 조절할 수 있다.
도 11은 일 실시 예에 의한 사용자 위치를 고려하여 오디오 신호를 출력하는 스피커의 일 예를 나타낸 예시 도면이다.
도 11을 참조하면, 사용자의 청취 위치가 스피커(900)보다 위에 있을 경우, 스피커(900)는 사용자가 위치한 방향으로 오디오 신호를 직접 방사(920)하거나, 천장을 향해 오디오 신호를 방사(930)할 수 있다. 천장을 향해 방사된 오디오 신호(930)는 천장에서 반사되어 사용자에게 직접 전달될 수 있으므로, 사용자가 보다 명료하게 음향을 청취할 수 있다.
도 12는 일 실시 예에 의한 스피커의 위치 정보를 획득하는 방법의 일 예를 나타낸 예시 도면이다.
도 12를 참조하면, 마이크(1241, 1242)를 구비한 단말 장치(1240)에 의해 스피커들(1210, 1220, 1230)의 위치 정보가 획득될 수 있다. 단말 장치(1240)는 스피커들(1210, 1220, 1230)에서 출력된 음향을 마이크(1241, 1242)를 통해 감지함으로써 스피커들(1210, 1220, 1230)의 위치 정보를 획득할 수 있다.
스피커(1220)에서 출력된 음향은 단말 장치(1240)의 마이크(1241, 1242)를 통해 감지될 수 있다. 마이크(1241, 1242)의 위치에 따라서, 스피커와 마이크(1241, 1242) 간 거리가 다르므로, 동일한 음향에 대한 감지 시간이 서로 달라지게 된다. 감지 시간 T1, T2 로부터 획득될 수 있는 도착 시간의 차이(Time difference of arrival)에 기초하여, 스피커(1220)와 각 마이크(1241, 1242) 간 거리가 구해질 수 있다. 또한, 마이크(1241, 1242) 사이의 거리에 따라서, 단말 장치(1240)의 중심축과 스피커(1220) 간 각도가 구해질 수 있다. 단말 장치(1240)의 중심 축은 단말 장치(1240)의 정면 방향을 기준으로 설정될 수 있다.
도 13은 일 실시 예에 의한 스피커의 위치 정보를 획득하는 방법의 일 예를 나타낸 예시 도면이다.
도 13을 참조하면, 스피커 장치(1320, 1330) 및 단말 장치(1310) 간 거리 정보는 무선 신호의 세기(RSSI; received signal strength indication)를 통해 획득될 수 있다. 측정된 RSSI를 비교함으로써, 스피커 장치(1320, 1330)가 단말 장치(1310)를 기준으로 어느 방향에 위치하여 있는지 결정될 수 있다. 단말 장치(1310)는 스피커 장치(1320, 1330)의 위치에 따라서, 서로 다른 음향이 출력되도록 오디오 신호를 처리하여 스피커 장치(1320, 1330)로 출력할 수 있다.
RSSI를 측정할 수 있는 RF(radio frequency) 모듈은 각각 단말 장치(1310) 및 스피커 장치(1320, 1330)에 구비될 수 있다. 이하에서, 단말 장치(1310) 및 스피커 장치(1320, 1330)에 구비된 RF 모듈을 각각 RF 모듈_TV, RF 모듈_WA1, RF 모듈_WA2로 지칭하기로 한다. TV, WA1 및 WA2는 각각 단말 장치(1310) 및 스피커 장치(1320, 1330)를 나타낸다.
단말 장치(1310)의 RF 모듈인 RF 모듈_TV는 오른쪽 또는 왼쪽에 치우치게 구비됨으로써 RSSI 비교를 통해 스피커 장치(1320, 1330)가 단말 장치(1310)를 기준으로 어느 방향에 존재하는지 여부가 결정될 수 있다. RSSI(WA1, TV) 및 RSSI(WA2, TV) 중 크기가 더 큰 쪽의 스피커 장치가 RF 모듈_TV과 더 가까이에 존재할 수 있다.
도 13에 도시된 RSSI(TV, WA1), RSSI(WA2, WA1) 및 RSSI(TV, WA2)는 단말 장치(1310) 및 스피커 장치(1320, 1330) 사이에 감지된 RSSI를 나타낸다. 감지된 RSSI를 서로 비교함으로써 스피커 장치(1320, 1330)가 단말 장치(1310)를 기준으로 어느 방향에 존재하는지 여부가 결정될 수 있다.
만약, RSSI(WA1, TV) > RSSI(WA2, TV), RSSI(WA1, WA2) < RSSI(WA1, TV), RSSI(WA1, WA2) < RSSI(WA2, TV) 이면, 스피커 장치(1320,1330)들은 단말 장치(1310)를 기준으로 각각 왼쪽, 오른쪽에 위치하는 것으로 결정될 수 있다.
또한, RSSI(WA1, TV) < RSSI(WA2, TV), RSSI(WA1, WA2) < RSSI(WA1, TV), RSSI(WA1, WA2) < RSSI(WA2, TV) 이면, 스피커 장치(1320,1330)들은 단말 장치(1310)를 기준으로 각각 오른쪽, 왼쪽에 위치하는 것으로 결정될 수 있다.
도 14는 일 실시 예에 의한 스피커 장치 간 거리를 측정하는 방법의 일 예를 나타낸 예시 도면이다.
도 14를 참조하면, 스피커 장치 간 거리는 스피커 장치(1410, 1420) 내에 구비된 근접 센서, 예를 들면, RF 모듈에 의해 측정될 수 있다.
RF 모듈에 의해 측정된 RSSI 값에 따라서, 스피커 장치(1410, 1420) 간 거리가 측정될 수 있다. RSSI 값이 작을수록 스피커 장치(1410, 1420) 간 거리는 긴 값으로 결정될 수 있다.
도 15는 일 실시 예에 의한 디바이스의 내부 구조를 나타낸 블록도이다.
도 15를 참조하면, 디바이스(1500)는 수신부(1510), 제어부(1520) 및 출력부(1530)를 포함할 수 있다.
수신부(1510)는 스피커를 통해 출력하고자 하는 오디오 신호를 수신할 수 있다. 수신부(1510)에서 수신할 수 있는 오디오 신호는 디스플레이되고 있는 영상 또는 화면과 대응되는 것일 수 있다.
제어부(1520)는 수신부(1510)에서 수신된 오디오 신호를 메인 신호 및 배경 신호로 분리할 수 있다. 제어부(1520)는 메인 스피커 및 보조 스피커의 위치 정보에 기초하여, 메인 신호 및 배경 신호를 믹싱함으로써 믹싱된 메인 신호 및 배경 신호를 생성할 수 있다. 메인 스피커 및 보조 스피커의 위치 정보는 수신부(1510)에 의해 외부로부터 수신되거나, 상술된 스피커의 위치 정보를 획득하는 방법에 따라 획득될 수 있다. 제어부(1520)는 메인 스피커 및 보조 스피커의 위치 정보에 기초하여 게인 값을 결정하고, 결정된 게인 값에 따라 메인 신호 및 배경 신호를 믹싱할 수 있다.
중심축과 보조 스피커 간 거리가 가까워질수록, 배경 신호와 믹싱되어 보조 스피커에서 출력될 수 있는 메인 신호에 대해 적용되는 게인 값은 큰 값으로 결정될 수 있다. 반면, 중심축과 보조 스피커 간 거리가 멀어질수록 메인 신호와 믹싱되어 메인 스피커에서 출력될 수 있는 배경 신호에 대해 적용되는 게인 값은 큰 값으로 결정될 수 있다.
출력부(1530)는 메인 스피커에서 출력될 수 있는 믹싱된 메인 신호와, 보조 스피커에서 출력될 수 있는 믹싱된 배경 신호를 메인 스피커 및 보조 스피커로 출력시킬 수 있다.
일 실시 예에 의하면, 복수 개의 스피커를 이용하는 경우, 각 스피커의 위치 정보를 고려하여 최적의 음향 효과가 제공되도록 오디오 신호를 처리하여 출력할 수 있다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (13)

  1. 디바이스에서 오디오 신호를 처리하는 방법에 있어서,
    상기 오디오 신호를 메인 신호 및 배경 신호로 분리하는 단계;
    메인 스피커(main speaker) 및 보조 스피커(sub speaker)의 위치 정보를 획득하는 단계;
    상기 위치 정보에 기초하여, 상기 메인 신호 및 배경 신호를 믹싱하는 단계; 및
    상기 믹싱된 메인 신호 및 배경 신호를 각각 상기 메인 스피커 및 보조 스피커로 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 믹싱하는 단계는
    상기 위치 정보에 기초하여, 상기 메인 신호에 대한 게인 및 상기 배경 신호에 대한 게인을 각각 결정하는 단계;
    상기 배경 신호와, 상기 메인 신호에 대한 게인이 적용된 메인 신호를 믹싱함으로써, 믹싱된 배경 신호를 생성하는 단계; 및
    상기 메인 신호와, 상기 배경 신호에 대한 게인이 적용된 배경 신호를 믹싱함으로써, 믹싱된 메인 신호를 생성하는 단계를 포함하는, 방법.
  3. 제2항에 있어서, 상기 게인을 결정하는 단계는
    상기 메인 스피커의 음향 출력 방향 및 상기 보조 스피커의 음향 출력 방향 간의 차이에 기초하여, 상기 메인 신호 및 배경 신호에 대한 게인을 각각 결정하는 단계를 포함하는, 방법.
  4. 제2항에 있어서, 상기 게인을 결정하는 단계는
    상기 메인 스피커의 위치 및 소정 방향을 기준으로 중심축을 설정하는 단계; 및
    상기 메인 신호에 대한 게인 값을 상기 보조 스피커 및 상기 중심축 간 거리에 반비례하는 값으로 결정하는 단계를 포함하는, 방법.
  5. 제4항에 있어서, 상기 게인을 결정하는 단계는
    상기 배경 신호에 대한 게인 값을 상기 보조 스피커 및 상기 중심축 간 거리에 비례하는 값으로 결정하는 단계를 포함하는, 방법.
  6. 제1항에 있어서, 상기 분리하는 단계는
    상기 오디오 신호와 대응되는 디스플레이 화면과의 상관도, 상기 메인 스피커 및 보조 스피커의 재생 성능 및 채널 간 상관성 중 적어도 하나에 기초하여, 상기 오디오 신호를 메인 신호 및 배경 신호로 분리하는 단계를 포함하는, 방법.
  7. 오디오 신호를 처리하는 디바이스에 있어서,
    상기 오디오 신호를 수신하는 수신부;
    상기 오디오 신호를 메인 신호 및 배경 신호로 분리하고, 메인 스피커 및 보조 스피커의 위치 정보를 획득하고, 상기 위치 정보에 기초하여, 상기 메인 신호 및 배경 신호를 믹싱하는 제어부; 및
    상기 믹싱된 메인 신호 및 배경 신호를 각각 상기 메인 스피커 및 보조 스피커로 출력부를 포함하는, 디바이스.
  8. 제7항에 있어서, 상기 제어부는
    상기 위치 정보에 기초하여, 상기 메인 신호에 대한 게인 및 상기 배경 신호에 대한 게인을 각각 결정하고,
    상기 배경 신호와, 상기 메인 신호에 대한 게인이 적용된 메인 신호를 믹싱함으로써, 믹싱된 배경 신호를 생성하고,
    상기 메인 신호와, 상기 배경 신호에 대한 게인이 적용된 배경 신호를 믹싱함으로써, 믹싱된 메인 신호를 생성하는, 디바이스
  9. 제8항에 있어서, 상기 제어부는
    상기 메인 스피커의 음향 출력 방향 및 상기 보조 스피커의 음향 출력 방향 간의 차이에 기초하여, 상기 메인 신호 및 배경 신호에 대한 게인을 각각 결정하는, 디바이스.
  10. 제8항에 있어서, 상기 제어부는
    상기 메인 스피커의 위치 및 소정 방향을 기준으로 중심축을 설정하고, 상기 메인 신호에 대한 게인 값을 상기 보조 스피커 및 상기 중심축 간 거리에 반비례하는 값으로 결정하는, 디바이스.
  11. 제10항에 있어서, 상기 제어부는
    상기 배경 신호에 대한 게인 값을 상기 보조 스피커 및 상기 중심축 간 거리에 비례하는 값으로 결정하는, 디바이스.
  12. 제7항에 있어서, 상기 제어부는
    상기 오디오 신호와 대응되는 디스플레이 화면과의 상관도, 상기 메인 스피커 및 보조 스피커의 재생 성능 및 채널 간 상관성 중 적어도 하나에 기초하여, 상기 오디오 신호를 메인 신호 및 배경 신호로 분리하는, 디바이스.
  13. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2015/012853 2014-12-01 2015-11-27 스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스 WO2016089049A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580075082.9A CN107211213B (zh) 2014-12-01 2015-11-27 基于扬声器的位置信息输出音频信号的方法和设备
US15/531,916 US10171911B2 (en) 2014-12-01 2015-11-27 Method and device for outputting audio signal on basis of location information of speaker
KR1020177014532A KR102343330B1 (ko) 2014-12-01 2015-11-27 스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462085729P 2014-12-01 2014-12-01
US62/085,729 2014-12-01

Publications (1)

Publication Number Publication Date
WO2016089049A1 true WO2016089049A1 (ko) 2016-06-09

Family

ID=56091954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012853 WO2016089049A1 (ko) 2014-12-01 2015-11-27 스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스

Country Status (4)

Country Link
US (1) US10171911B2 (ko)
KR (1) KR102343330B1 (ko)
CN (1) CN107211213B (ko)
WO (1) WO2016089049A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586539A (zh) * 2016-09-23 2020-08-25 苹果公司 延伸通过扬声器隔膜的扬声器后腔
US11256338B2 (en) 2014-09-30 2022-02-22 Apple Inc. Voice-controlled electronic device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432503B (zh) * 2015-01-06 2023-12-05 三星电子株式会社 电子装置和设置音频设备网络的方法
JP7176194B2 (ja) * 2018-02-09 2022-11-22 ヤマハ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN108712706B (zh) * 2018-05-17 2020-09-22 Oppo广东移动通信有限公司 发声方法、装置、电子装置及存储介质
CN108901080A (zh) * 2018-07-02 2018-11-27 Oppo广东移动通信有限公司 通信连接建立方法及相关设备
KR20210015540A (ko) * 2019-08-02 2021-02-10 엘지전자 주식회사 디스플레이 장치 및 서라운드 사운드 시스템
KR102456748B1 (ko) * 2020-12-17 2022-10-20 주식회사 엘지유플러스 셋톱 단말 및 이의 동작 방법
US11659331B2 (en) * 2021-01-22 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for audio balance adjustment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056418A (ja) * 2002-07-19 2004-02-19 Yamaha Corp 音響再生装置
KR100739762B1 (ko) * 2005-09-26 2007-07-13 삼성전자주식회사 크로스토크 제거 장치 및 그를 적용한 입체 음향 생성 시스템
KR20070108341A (ko) * 2007-10-22 2007-11-09 주식회사 이머시스 스테레오 스피커 환경에서 가상 스피커 기술을 사용한입체음향 재생 장치 및 방법
US20100226500A1 (en) * 2006-04-03 2010-09-09 Srs Labs, Inc. Audio signal processing
US20120140959A1 (en) * 2001-02-09 2012-06-07 Fincham Lawrence R Sound system and method of sound reproduction

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006645B2 (en) 2002-07-19 2006-02-28 Yamaha Corporation Audio reproduction apparatus
US20090103737A1 (en) 2007-10-22 2009-04-23 Kim Poong Min 3d sound reproduction apparatus using virtual speaker technique in plural channel speaker environment
CN101640831A (zh) * 2008-07-28 2010-02-03 深圳华为通信技术有限公司 一种扬声器阵列设备及其驱动方法
JP2011124723A (ja) * 2009-12-09 2011-06-23 Sharp Corp オーディオデータ処理装置、オーディオ装置、オーディオデータ処理方法、プログラム及び当該プログラムを記録した記録媒体
US9408011B2 (en) 2011-12-19 2016-08-02 Qualcomm Incorporated Automated user/sensor location recognition to customize audio performance in a distributed multi-sensor environment
KR102028122B1 (ko) * 2012-12-05 2019-11-14 삼성전자주식회사 오디오 장치 및 그의 신호 처리 방법 그리고 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능 매체
WO2014122550A1 (en) 2013-02-05 2014-08-14 Koninklijke Philips N.V. An audio apparatus and method therefor
US20160066118A1 (en) 2013-04-15 2016-03-03 Intellectual Discovery Co., Ltd. Audio signal processing method using generating virtual object
KR20140127022A (ko) 2013-04-24 2014-11-03 인텔렉추얼디스커버리 주식회사 가상 객체 생성을 이용한 오디오 신호처리 방법.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120140959A1 (en) * 2001-02-09 2012-06-07 Fincham Lawrence R Sound system and method of sound reproduction
JP2004056418A (ja) * 2002-07-19 2004-02-19 Yamaha Corp 音響再生装置
KR100739762B1 (ko) * 2005-09-26 2007-07-13 삼성전자주식회사 크로스토크 제거 장치 및 그를 적용한 입체 음향 생성 시스템
US20100226500A1 (en) * 2006-04-03 2010-09-09 Srs Labs, Inc. Audio signal processing
KR20070108341A (ko) * 2007-10-22 2007-11-09 주식회사 이머시스 스테레오 스피커 환경에서 가상 스피커 기술을 사용한입체음향 재생 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256338B2 (en) 2014-09-30 2022-02-22 Apple Inc. Voice-controlled electronic device
USRE49437E1 (en) 2014-09-30 2023-02-28 Apple Inc. Audio driver and power supply unit architecture
CN111586539A (zh) * 2016-09-23 2020-08-25 苹果公司 延伸通过扬声器隔膜的扬声器后腔
CN111586539B (zh) * 2016-09-23 2022-07-19 苹果公司 延伸通过扬声器隔膜的扬声器后腔
US11693487B2 (en) 2016-09-23 2023-07-04 Apple Inc. Voice-controlled electronic device
US11693488B2 (en) 2016-09-23 2023-07-04 Apple Inc. Voice-controlled electronic device

Also Published As

Publication number Publication date
KR102343330B1 (ko) 2021-12-24
CN107211213B (zh) 2019-06-14
US20170325028A1 (en) 2017-11-09
KR20170089861A (ko) 2017-08-04
CN107211213A (zh) 2017-09-26
US10171911B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
WO2016089049A1 (ko) 스피커의 위치 정보에 기초하여, 오디오 신호를 출력하는 방법 및 디바이스
WO2015053485A1 (en) Audio system, method of outputting audio, and speaker apparatus
WO2018008885A1 (ko) 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체
WO2014119857A1 (en) System and method for setting audio output channels of speakers
WO2018004163A1 (en) Acoustic output device and control method thereof
WO2017052056A1 (en) Electronic device and method of audio processing thereof
WO2013147547A1 (en) Audio apparatus and method of converting audio signal thereof
WO2014021670A1 (en) Mobile apparatus and control method thereof
WO2017119644A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2017039255A1 (ko) 이어셋, 이어셋 시스템 및 이어셋 제어방법
CN109121047B (zh) 双屏终端立体声实现方法、终端及计算机可读存储介质
WO2015147435A1 (ko) 오디오 신호 처리 시스템 및 방법
WO2020050473A1 (ko) Uwb 네트워크에서 프리앰블을 적응적으로 제어하기 위한 장치 및 방법
US20220021980A1 (en) Terminal, audio cooperative reproduction system, and content display apparatus
WO2018164547A1 (en) Image display apparatus and operation method thereof
EP2668790A2 (en) Method and apparatus for remotely controlling consumer electronics device by using wireless personal area network
WO2017057866A1 (ko) 오디오 출력 장치 및 오디오 출력 장치의 제어 방법
WO2018084483A1 (en) Speaker apparatus, electronic apparatus connected therewith, and controlling method thereof
WO2015020418A1 (en) Function upgrade device, display apparatus and method for controlling display apparatus thereof
WO2013187688A1 (en) Method for processing audio signal and audio signal processing apparatus adopting the same
WO2016053019A1 (ko) 잡음이 포함된 오디오 신호를 처리하는 방법 및 장치
WO2018084468A1 (ko) 전자 장치 및 전자 장치의 무선 연결 제어 방법
WO2019074238A1 (ko) 마이크로폰, 마이크로폰을 포함하는 전자 장치 및 전자 장치의 제어 방법
WO2016167464A1 (ko) 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
WO2015088149A1 (ko) 음향 출력 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15866097

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177014532

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15531916

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15866097

Country of ref document: EP

Kind code of ref document: A1