WO2016163833A1 - 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체 - Google Patents

컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체 Download PDF

Info

Publication number
WO2016163833A1
WO2016163833A1 PCT/KR2016/003749 KR2016003749W WO2016163833A1 WO 2016163833 A1 WO2016163833 A1 WO 2016163833A1 KR 2016003749 W KR2016003749 W KR 2016003749W WO 2016163833 A1 WO2016163833 A1 WO 2016163833A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
propagation path
sink
source
sound source
Prior art date
Application number
PCT/KR2016/003749
Other languages
English (en)
French (fr)
Inventor
박우찬
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160041857A external-priority patent/KR101790137B1/ko
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Publication of WO2016163833A1 publication Critical patent/WO2016163833A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to sound tracing technology, and more particularly, to a computer-implemented sound tracing method capable of realizing a sound environment by realizing sound effects such as transmission, absorption, reflection, refraction or diffraction, A sound tracing device and a recording medium storing the same.
  • Three-dimensional sound technology is a sound technology that uses a three-dimensional representation of geometric data stored in computing, and is widely used in the film, game industry, and virtual reality today.
  • three-dimensional graphics technology requires a separate high performance graphics processor due to the large amount of computation.
  • the sound tracing technology that can generate a realistic three-dimensional sound in accordance with the recent development of the processor has been studied.
  • Sound tracing technology applies the principle of ray tracing to sound, taking into account the effect of transmitted, absorbed, reflected, refracted, or diffracted sound on the listener (or sound sync) on another object.
  • Naturally provided transmission, absorption, reflection, refraction or diffraction effects can produce realistic 3D sound.
  • Korean Patent No. 10-1107120 relates to a sound source tracking and object recognition method, using a microphone array having a plurality of microphones to calculate a direction in which a sound source is generated and to rotate the camera in a corresponding direction to identify an object; and A method is disclosed.
  • Korean Patent No. 10-1369139 relates to a sound source position tracking method and apparatus, which receives a sound source signal, converts it into a digital signal, converts the digital signal into a frequency domain signal, removes a result of low reliability, and removes the time difference of the sound source.
  • a sound source position tracking method for calculating the position and tracking the position of a sound source based on a result of the calculation.
  • One embodiment of the present invention provides a sound tracing method for reducing the amount of computation of the computer by omitting the process of generating a sound propagation path when the position of the sound source, the position of the sound sink and the position of the at least one object are not changed. To provide.
  • an online processing of audible sound is performed based on a sound propagation path generated through offline processing.
  • One embodiment of the present invention is to provide a sound tracing method for providing realistic 3D sound by naturally providing the transmission, absorption, reflection, refraction or diffraction effect of the sound.
  • a computer executable sound tracing method includes (a) determining a location of a sound source and a location of a sound sink on a current display screen, (b) formed between the sound source and the sound sink and on the display screen. Generating at least one sound propagation path that may be distorted by the at least one object present and processing online detection of the rate of change of the position of the sound source, the position of the sound sink and the position of the at least one object And (c) performing auralization on the sound based on the sound propagation path.
  • the step (b) is the sound source, the at least one object, if the rate of change of the position of the sound source, the position of the sound sink or the position of the at least one object exceeds a reference change rate And regenerating a sound propagation path formed between the sound sinks.
  • the step (b) may include storing the generated sound propagation path in a memory unit.
  • the step (c) may include generating the sound propagation path if the rate of change of the position of the sound source, the position of the sound sink, and the position of the at least one object does not exceed a reference change rate. Omitting the sound propagation path stored in the memory unit may be omitted.
  • Step (b) may include offline processing in advance of generating the at least one sound propagation path and storing it in the memory unit independently from performing the audible hearing.
  • the step (c) is the sound propagation path through the offline processing, if the rate of change of the position of the sound source, the position of the sound sink and the position of the at least one object does not exceed a reference change rate And online processing of the audible sound for the sound based on.
  • the step (a) may include detecting a sound generating object among at least one object existing on the display screen.
  • the step (a) if the sound source does not exist in the display screen, designates a specific object in the geometric data as a sound generating object, and the position of the specified sound generating object to the position of the virtual sound source Determining may include.
  • Step (b) synthesizes the primary sound that can be output from the sound source and at least one secondary sound derived through the at least one object to determine the at least one sound propagation path. It may comprise the step of generating. Step (b) is based on the property of the sound source or the material properties of the at least one object (determining the transmission, absorption, reflection, refraction or diffraction path of the sound) the main sound and the at least one derivative sound. Determining how to synthesize.
  • Step (b) may include controlling the output of sound by adjusting the number of the generated sound propagation paths.
  • Step (c) may include converting a channel by controlling the sound propagation path for the first channel and performing audible sound on the second channel.
  • the sound tracing device may include a source position determiner for determining a position of a sound source, a sink position determiner for determining a position of a sound sink on a current display screen, and formed between the sound source and the sound sink and the display screen.
  • a source position determiner for determining a position of a sound source
  • a sink position determiner for determining a position of a sound sink on a current display screen
  • the sound tracing device may include a source position determiner for determining a position of a sound source, a sink position determiner for determining a position of a sound sink on a current display screen, and formed between the sound source and the sound sink and the display screen.
  • the sound tracing device may further include an audible performing unit that performs auralization of the sound based on the sound propagation path.
  • a computer-readable recording medium having recorded thereon a program for implementing a sound tracing method has a function of determining a position of a sound source and a position of a sound sink on a current display screen, between the sound source and the sound sink. Generate at least one sound propagation path that is formed and can be distorted by at least one object on the display screen, and wherein the rate of change of the position of the sound source, the position of the sound sink and the position of the at least one object A function of online processing of the detection and an auralization of the sound based on the sound propagation path.
  • the computational amount of the computer is reduced by omitting the repeated generation of the sound propagation path.
  • an audible sound is audible based on a sound propagation path generated through offline processing. You can process anger online.
  • Sound tracing method can provide a realistic 3D sound by naturally providing the transmission, absorption, reflection, refraction or diffraction effect of the sound.
  • FIG. 1 is a block diagram illustrating a sound tracing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining the principle of sound tracing performed in the sound tracing apparatus of FIG. 1.
  • FIG. 3 is a flowchart illustrating a sound tracing process performed in the sound tracing device of FIG. 1.
  • FIG. 4 is a flowchart illustrating a sound tracing process according to a change rate of a position of a sound source, a position of a sound sink, and a position of at least one object performed by the sound tracing apparatus of FIG. 1.
  • FIG. 5 is a flowchart illustrating a sound tracing process according to control of a propagation path performed by the sound tracing device of FIG. 1.
  • FIG. 6 is a diagram for explaining a sound tracing embodiment performed by the sound tracing device of FIG. 1.
  • first and second are intended to distinguish one component from another component, and the scope of rights should not be limited by these terms.
  • first component may be named a second component, and similarly, the second component may also be named a first component.
  • an identification code (e.g., a, b, c, etc.) is used for convenience of description, and the identification code does not describe the order of the steps, and each step clearly indicates a specific order in context. Unless stated otherwise, they may occur out of the order noted. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be embodied as computer readable code on a computer readable recording medium
  • the computer readable recording medium includes all kinds of recording devices in which data can be read by a computer system.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and are also implemented in the form of a carrier wave (for example, transmission over the Internet). It also includes.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • FIG. 1 is a block diagram illustrating a sound tracing apparatus according to an embodiment of the present invention.
  • the sound tracing apparatus 100 includes a source position determiner 110, a sink position determiner 120, a propagation path generator 130, an audible sound performer 140, and a sound output unit 150. ), A memory unit 160, and a controller 170.
  • the source location determiner 110 may determine a location of a sound source on a display screen including at least one object.
  • the source position determiner 110 may detect a sound generating object among at least one object existing on the display screen.
  • the sound source may correspond to a sound generating object that generates a sound among at least one object.
  • the sound generating object may exist in the display screen.
  • the source position determiner 110 may detect the sound generating object and determine the position of the sound source.
  • the source position determiner 110 may determine the position, direction, type, and characteristic of each sound source.
  • the source position determiner 110 may detect the position change of the sound source to determine the position, direction, type and characteristic of the sound source again.
  • the sink position determiner 120 may determine the position of the sound sink on the current display screen.
  • the sound sink may correspond to the final destination where the sound arrives.
  • the position of the sound sink can be changed in real time, and the sound propagation path can be regenerated in response to the change in position of the sound sink.
  • the propagation path generation unit 130 generates a sound propagation path output from the sound source and guided by each of the at least one object, and relates to the rate of change of the location of the sound source, the location of the sound sink, and the location of the at least one object. Detection can be processed online.
  • the sound propagation path means a path of sound induced by at least one object through transmission, absorption, reflection, refraction or diffraction.
  • the sound propagation path may correspond to a path of the sound output from the sound source and reaching the sound sink. That is, the propagation path generation unit 130 may generate a sound propagation path for outputting from the sound source and reaching the sound sink.
  • the propagation path generation unit 130 may generate a secondary sound induced through at least one object in terms of the position of the sound source. Secondary sound refers to a sound in which a primary sound output from a sound source is induced by at least one object. That is, the propagation path generation unit 130 may generate a propagation path of the derived sound and provide the propagation path to the audible performing unit 140.
  • the propagation path generation unit 130 may use 3D geometric data having material properties of at least one object.
  • the material properties of the object can determine the transmission, absorption, reflection, refraction or diffraction paths of the sound. That is, each object may have unique material properties, and the geometric data may include information about the transmission, absorption, reflection, refraction and diffraction paths of the sound by the material properties.
  • the geometric data may include information on the location and number of at least one object.
  • the propagation path generator 130 may generate a derivative sound based on the geometric data.
  • the propagation path generator 130 generates at least one sound propagation path by synthesizing a primary sound that can be output from a sound source and at least one secondary sound derived through at least one object. can do.
  • the main sound means the sound transmitted directly from the sound source without being transmitted, absorbed, reflected, refracted and diffracted. If there is no disturbing object between the sound source and the sound sink, the main sound may reach the sound sink, and the propagation path generation unit 130 may synthesize the main sound and at least one derived sound. However, when a disturbing object exists between the sound source and the sound sink, only the derived sound may reach the sound sink, and the propagation path generation unit 130 may synthesize at least one derived sound. That is, the propagation path generation unit 130 may generate at least one sound propagation path by synthesizing the main sound and the at least one derived sound. The propagation path generation unit 130 may store the generated sound propagation path in the memory unit 160.
  • the propagation path generation unit 130 may determine a method of synthesizing the main sound and the at least one derivative sound based on the property of the sound source.
  • the properties of the sound source may correspond to the position of the source, the intensity of the sound, the attenuation rate and the directionality.
  • the user may preset the sound synthesis method in relation to the properties of the sound source.
  • the propagation path generator 130 may receive a property of a sound source determined by the source position determiner 110 and synthesize a main sound and at least one derived sound by a preset method.
  • the propagation path generation unit 130 may determine a method of synthesizing the main sound and the at least one derived sound based on the material property of the at least one object.
  • the user may preset a sound synthesis method related to the material property of the at least one object.
  • the propagation path generation unit 130 may receive a material property of at least one object from the memory unit 160, and synthesize the main sound and the at least one derived sound by a preset method.
  • the propagation path generation unit 130 performs image processing on the display screen 220 in advance so as to perform online detection on the change rate of the position of the sound source, the position of the sound sink, and the position of the at least one object. Can be processed.
  • the propagation path generation unit 130 may perform image processing on a frame preceding the frame of sound tracing, and the position of the sound source, the position of the sound sink, and the position of the at least one object based on the image processing.
  • the change rate of can be detected in advance. Therefore, the propagation path generation unit 130 may perform image processing on the display screen 220 in advance to reduce the amount of calculation for the rate of change of the position of the sound source, the position of the sound sink, and the position of the at least one object. .
  • the propagation path generation unit 130 performs image processing on the display screen 220 in advance to control the change scale of the sound of the position of the sound source, the position of the sound sink, and the position of at least one object. can do. For example, when the position of the sound source, the position of the sound sink, or the position of the at least one object moves by 0.1R with respect to the display screen 220, the propagation path generation unit 130 adjusts the position change scale of the sound by 0.1R. By increasing to k * R (k is a sound factor), the position change can be detected efficiently.
  • the audible performing unit 140 may perform auralization on the sound based on the generated sound propagation path.
  • the audible performing unit 140 may control the sound propagation path for the first channel and perform audible for the second channel to convert the channel. More specifically, the audible performing unit 140 may control the sound propagation path for the first channel generated by the propagation path generation unit 130.
  • the audible performing unit 140 may synthesize the main sound and the derived sound based on the controlled sound propagation path to perform audible sound on the second channel.
  • the sound tracing apparatus 100 may provide a channel conversion command to the audible performing unit 140 when receiving a channel conversion command from the outside or when a predetermined condition is satisfied.
  • the audible performing unit 140 may perform audible for the second channel based on the sound propagation path for the first channel. That is, the audible performing unit 140 may perform channel conversion by controlling the sound propagation path. For example, when the number of channels of the first channel is greater than the number of channels of the second channel, the audible performing unit 140 may perform down mixing. Meanwhile, when the number of channels of the first channel is smaller than the number of channels of the second channel, the audible performing unit 140 may perform up mixing.
  • the sound output unit 150 may receive and output the audible sound from the audible performing unit 140.
  • the user may control the sound output unit 150 through the control unit 170.
  • the sound output unit 150 may be implemented as a speaker.
  • the memory unit 160 may be connected to each of the source position determiner 110, the propagation path generator 130, and the audible performer 140.
  • the memory unit 160 may store the geometric data used in the propagation path generation unit 130 and the generated propagation path.
  • the memory unit 160 may store geometric data including information on material properties in advance. Therefore, the memory unit 160 may provide the 3D geometric data to the sound tracing device 100 by performing the pre-stored geometric data and sound tracing.
  • the memory unit 140 may be implemented as a dynamic random access memory (DRAM).
  • the sound tracing device 100 may store geometric data and a sound propagation path in the memory unit 160 in advance to reduce the amount of data required for sound tracing and implement a real-time sound tracing technique.
  • the control unit 170 controls the overall operation of the sound tracing device 100, the source position determiner 110, the sink position determiner 120, the propagation path generation unit 130, the audible performing unit 140, The control flow or data flow between the sound output unit 150 and the memory unit 160 may be controlled.
  • FIG. 2 is a view for explaining the principle of sound tracing performed in the sound tracing apparatus of FIG. 1.
  • the display screen 220 may include at least one object 240, 250, 260, 270 therein.
  • the sound output from the sound source 230 may be transmitted, absorbed, reflected, refracted, or diffracted by at least one object.
  • At least one object may have unique material properties.
  • the geometric data may include information on the material property of the object, and may be stored in advance in the memory unit 160.
  • the sound may be routed by the material property of the object. Accordingly, the propagation path generation unit 130 may generate a propagation path of the transmitted, absorbed, reflected, refracted, or diffracted sound based on the geometric data.
  • the sound may be absorbed (S) by the obstructing object 240.
  • S the sound
  • the primary sound may be absorbed by the obstruction object and the derived sound may reach the sound sink 210. That is, the sound may be diffracted by at least one disturbing object 240, and the diffracted sound may correspond to the derived sound.
  • the sound is not limited to being absorbed by the disturbing object 240, and may be reflected, refracted, or diffracted according to the material property of the disturbing object 240, the wave, and the incident angle of the sound.
  • the sound may be reflected (R) by the distributed object 250a.
  • the main sound may be absorbed (S) by the distributed object 250a, and the derived sound may be generated by being reflected (R) by the distributed object 250a. That is, the sound may be reflected (R) by at least one distributed object 250, and the reflected sound may correspond to the derived sound.
  • the reflection angle of the sound may be determined by the material property of the dispersion object 250.
  • the sound is not limited to being reflected by the dispersing object 250, and may be refracted, diffracted, or absorbed according to the material property of the dispersing object 250, the wave, and the incident angle of the sound.
  • the sound may pass through the refracting object 260 and may be refracted when entering or exiting the refracting object.
  • the sound may be refracted by at least one refracting object 260, and the refracted sound may correspond to a derivative sound.
  • the refraction angle of the sound may be determined by the material property of the refraction object 260.
  • the sound is not limited to being refracted by the refracting object 260, but may be reflected, diffracted, or absorbed according to the material property of the refracting object 260, the wave, and the incident angle of the sound.
  • the sound may transmit (T) the transmissive object 270.
  • the sound may have the same exit angle as the angle incident on the transparent object 270. That is, the sound may pass through the transparent object 270 without being absorbed or reflected by the transparent object 270.
  • the source position determiner 110 may determine the position of the sound source 230 and provide it to the propagation path generator 130.
  • FIG. 3 is a flowchart illustrating a sound tracing process performed in the sound tracing device of FIG. 1.
  • the source location determiner 110 may determine the location of the sound source 230 on the display screen 220 including at least one object. More specifically, when at least one sound source 230 exists in the display screen, the source position determiner 110 may determine the position and direction of each sound source 230. On the other hand, when the sound source 230 does not exist in the display screen, the source position determiner 110 designates a specific object in the 3D geometric data as the sound generating object, and the position of the virtual sound source 230. It can be determined (step S310).
  • the sink position determiner 120 may determine the position of the sound sink 210 on the current display screen. In one embodiment, the position of the sound sink 210 may be changed in real time, and the sound propagation path may be regenerated in response to the position change of the sound sink (step S320).
  • the propagation path generation unit 130 may generate a sound propagation path output from the sound source 230 and guided by each of the at least one object. More specifically, the propagation path generation unit 130 may generate a derivative sound induced through at least one object in terms of the position of the sound source 230. In one embodiment, the propagation path generation unit 130 may generate a derivative sound using geometric data having material properties of at least one object (step S330).
  • the propagation path generation unit 130 may generate a sound propagation path by synthesizing a primary sound that can be output from a sound source and at least one secondary sound derived through at least one object. .
  • the audible performing unit 140 may perform audible for the generated sound propagation path (step S340).
  • FIG. 4 is a flowchart illustrating a sound tracing process according to a change rate of a position of a sound source, a position of a sound sink, and a position of at least one object performed by the sound tracing apparatus of FIG. 1.
  • the source position determiner 110 may determine the position of the sound source 230 on the display screen 220 including at least one object (step S410).
  • the sink position determiner 120 may determine the position of the sound sink 210 on the current display screen (step S420).
  • the propagation path generation unit 130 may generate a sound propagation path formed between the sound source 230 and the sound sink 210 and distorted by an object on the display screen 220 (step S430).
  • the memory unit 160 may store the sound propagation path generated by the propagation path generation unit 130 and provide the sound propagation path to the audible performing unit 140 according to a user's request (step S440).
  • the propagation path generation unit 130 may synthesize a primary sound that can be output from the sound source 230 and at least one secondary sound derived through at least one object.
  • the audible performing unit 140 may perform audible sound on the generated synthesized sound (step S450).
  • the propagation path generation unit 130 may process online detection of the position of the sound source, the position of the sound sink, and the rate of change of the position of the at least one object (step S460). In one embodiment, when the rate of change of the position of the sound source 230, the position of the sound sink 210, or the position of the at least one object exceeds the reference change rate, the sound source 230 ), A sound propagation path formed between the at least one object and the sound sink 210 may be regenerated.
  • the position change rate of the sound source 230, the position change rate of the sound sink 210, and the position change rate of the at least one object mean a degree of change of the current position with respect to the previous position
  • the reference change rate is The threshold value at which the sound propagation path is changed according to the position change rate of the sound source 230, the position change rate of the sound sink 210, or the position change rate of the at least one object. That is, the propagation path generation unit 130 does not need to regenerate the sound propagation path because the sound propagation path does not change when the position change rate is less than the reference change rate. Can be regenerated. For example, the propagation path generation unit 130 may determine the location change rate by comparing the current location with the previous location.
  • the propagation path generation unit 130 may set a reference change rate of the position change rate, and compare the position change rate with the reference change rate. When the rate of change of the position of the sound source 230, the position of the sound sink 210, or the position of the at least one object exceeds the reference rate of change, the propagation path generator 130 then The sound propagation path may be regenerated in the frame, and the audible performing unit 140 may perform audible again.
  • the audible performing unit 140 may be omitted and a sound propagation path stored in the memory unit 160 may be called. That is, the audible performing unit 140 receives the rate of change of the position of the sound source 230, the position of the sound sink 210, and the position of at least one object detected in real time from the propagation path generation unit 130. In the previous frame, it may be determined whether a sound propagation path stored in the memory unit 160 is received.
  • the propagation path generation unit 130 may offline process a process of generating at least one sound propagation path independently from the audible performing unit 140 and storing it in the memory unit 160. If the change rate of the position of the sound source 230, the position of the sound sink 210, and the position of the at least one object does not exceed the reference change rate, the audible performing unit 140 propagates the sound generated through offline processing. Based on the path, audible sound can be processed online. Accordingly, the sound tracing apparatus 100 may generate a sound propagation path when the rate of change of the position of the sound source 230, the position of the sound sink 210, and the position of the at least one object does not exceed the reference change rate. Off-line and audible on-line to reduce real-time computations, improving sound tracing performance and minimizing power consumption.
  • the audible performing unit 140 may repeat the audible sound in the next frame based on the previously generated sound propagation path (step S470). Therefore, the sound tracing apparatus 100 may omit unnecessary calculation processes and implement a real-time sound tracing technique.
  • FIG. 5 is a flowchart illustrating a sound tracing process according to control of a propagation path performed by the sound tracing device of FIG. 1.
  • the source position determiner 110 may determine the position of the sound source 230 on the display screen 220 including at least one object (step S510).
  • the sink position determiner 120 may determine the position of the sound sink 210 on the current display screen (step S520).
  • the propagation path generation unit 130 may generate a sound propagation path output from the sound source and guided by each of the at least one object (step S530).
  • the memory unit 160 may store the generated propagation path and provide the propagation path to the audible performing unit 140 according to a user's request.
  • the user may input the number of propagation paths through the control unit 170.
  • the memory unit 160 may provide the propagation path to the audible performing unit 140 based on a command input by the user (step S540).
  • the audible performing unit 140 may repeatedly perform the audible hearing on the sound propagation path received from the memory unit 160. That is, the audible performing unit 140 may repeatedly perform the audible based on the propagation path controlled by the user (step S550).
  • FIG. 6 is a diagram for explaining a sound tracing embodiment performed by the sound tracing device of FIG. 1.
  • the sound source 230 may exist in the display screen 220, and the sound output from the sound source 230 may be reflected, refracted, diffracted, or absorbed by at least one object.
  • the sound may generate a propagation path by the material property of the object, and may reach the sound sink 210 along the generated sound propagation path.
  • the sound tracing apparatus 100 may generate a sound propagation path guided by each of the at least one object.
  • the sound tracing device 100 may realize sound effects such as transmission, reflection, transmission, absorption, and diffraction based on the geometric data, and may provide realistic 3D sound.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

컴퓨터 실행 가능한 사운드 트레이싱 방법은 (a) 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 단계, (b) 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 단계 및 (c) 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 단계를 포함 한다. 따라서, 사운드 트레이싱 방법은 사운드의 투과, 흡수, 반사, 굴절 또는 회절 효과를 자연적으로 제공하여 현실감 있는 3D 사운드를 제공할 수 있다.

Description

컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
본 발명은 사운드 트레이싱 기술에 관한 것으로, 보다 상세하게는, 투과, 흡수, 반사, 굴절 또는 회절 등의 사운드 효과를 실현하여 현실감 있는 사운드 환경을 구축할 수 있는 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체에 관한 것이다.
3차원 사운드 기술은 컴퓨팅에 저장된 기하 데이터(Geometric Data)의 3차원 표현을 사용하는 사운드 기술로, 오늘날 영화, 게임 산업 및 가상 현실 분야에서 널리 사용되고 있다. 일반적으로 3차원 그래픽 기술은 많은 연산량으로 인하여 별개의 고성능 그래픽 프로세서를 요구한다. 특히, 최근 프로세서의 발전에 따라 현실적인 3차원 사운드를 생성할 수 있는 사운드 트레이싱(Sound Tracing) 기술이 연구되고 있다.
사운드 트레이싱(Sound Tracing) 기술은 레이 트레이싱(Ray Tracing)의 원리를 사운드에 적용한 방식으로, 다른 물체에서 투과, 흡수, 반사, 굴절 또는 회절된 사운드가 청자(또는 사운드 싱크)에 미치는 영향을 고려하여 투과, 흡수, 반사, 굴절 또는 회절 효과가 자연적으로 제공되기 때문에 현실감 있는 3D 사운드를 생성할 수 있다.
한국등록특허 제10-1107120호는 음원 추적 및 객체 인식 방법에 관한 것으로, 복수의 마이크로폰들이 구비된 마이크로폰 어레이를 이용하여 음원이 발생한 방향을 계산하고 해당 방향으로 카메라를 회전시켜 객체를 확인하는 장치 및 방법에 대하여 개시한다.
한국등록특허 제10-1369139호는 음원 위치 추적 방법 및 장치에 관한 것으로, 음원 신호를 수신하여 디지털 신호로 변환하고 디지털 신호를 주파수 영역 신호로 변환하며, 신뢰도가 작은 산출 결과를 제거하고 음원의 시간차를 산출하여 산출 결과를 기초로 음원의 위치를 추적하는 음원 위치 추적 방법에 대하여 개시한다.
본 발명의 일 실시예는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치가 변경되지 않는 경우, 반복되는 사운드 전파 경로의 생성 과정을 생략하여 컴퓨터의 연산량을 감소시키는 사운드 트레이싱 방법을 제공하고자 한다.
본 발명의 일 실시예는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치가 변경되지 않는 경우, 오프라인 처리를 통해 생성된 사운드 전파 경로를 기초로 사운드에 대한 가청화를 온라인 처리하는 사운드 트레이싱 방법을 제공하고자 한다.
본 발명의 일 실시예는 사운드의 투과, 흡수, 반사, 굴절 또는 회절 효과를 자연적으로 제공하여 현실감 있는 3D 사운드를 제공하는 사운드 트레이싱 방법을 제공하고자 한다.
실시예들 중에서, 컴퓨터 실행 가능한 사운드 트레이싱 방법은 (a) 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 단계, (b) 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 단계 및 (c) 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 단계를 포함한다.
일 실시예에서, 상기 (b) 단계는 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 또는 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하면, 상기 사운드 소스, 상기 적어도 하나의 객체 및 상기 사운드 싱크 간에 형성되는 사운드 전파 경로를 재생성하는 단계를 포함할 수 있다. 상기 (b) 단계는 상기 생성된 사운드 전파 경로를 메모리부에 저장하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 상기 사운드 전파 경로를 생성하는 과정을 생략하고 상기 메모리부에 저장된 사운드 전파 경로를 불러오는 단계를 포함할 수 있다. 상기 (b) 단계는 상기 가청화를 수행하는 단계로부터 독립적으로 상기 적어도 하나의 사운드 전파 경로를 생성하여 상기 메모리부에 저장하는 과정을 미리 오프라인 처리하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 상기 오프라인 처리를 통해 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화를 온라인 처리하는 단계를 포함할 수 있다.
상기 (a) 단계는 상기 디스플레이 화면에 존재하는 적어도 하나의 객체 중 사운드 발생 객체를 검출하는 단계를 포함할 수 있다. 일 실시예에서, 상기 (a) 단계는 상기 사운드 소스가 디스플레이 화면 내에 존재하지 않는 경우, 기하 데이터 내의 특정 객체를 사운드 발생 객체로 지정하고, 상기 지정된 사운드 발생 객체의 위치를 가상 사운드 소스의 위치로 결정하는 단계를 포함할 수 있다.
상기 (b) 단계는 상기 사운드 소스로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 상기 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성하여 상기 적어도 하나의 사운드 전파 경로를 생성하는 단계를 포함할 수 있다. 상기 (b) 단계는 상기 사운드 소스의 속성 또는 상기 적어도 하나의 객체의 물질 속성(사운드의 투과, 흡수, 반사, 굴절 또는 회절 경로를 결정)을 기초로 상기 주요 사운드 및 상기 적어도 하나의 파생 사운드를 합성하는 방식을 결정하는 단계를 포함할 수 있다.
상기 (b) 단계는 상기 생성되는 사운드 전파 경로의 개수를 조절하여 사운드의 출력을 제어하는 단계를 포함할 수 있다. 상기 (c) 단계는 제1 채널에 대한 상기 사운드 전파 경로를 제어하고 제2 채널에 대한 가청화를 수행하여 채널을 변환하는 단계를 포함할 수 있다.
실시예들 중에서, 사운드 트레이싱 장치는 사운드 소스의 위치를 결정하는 소스 위치 결정부, 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 싱크 위치 결정부 및 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 전파 경로 생성부를 포함한다.
상기 사운드 트레이싱 장치는 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 가청화 수행부를 더 포함할 수 있다.
실시예들 중에서, 사운드 트레이싱 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체는 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 기능, 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 기능 및 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 기능을 포함한다.
본 발명의 일 실시예에 따른 사운드 트레이싱 방법은 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치가 변경되지 않는 경우, 반복되는 사운드 전파 경로의 생성 과정을 생략하여 컴퓨터의 연산량을 감소시킬 수 있다.
본 발명의 일 실시예에 따른 사운드 트레이싱 방법은 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치가 변경되지 않는 경우, 오프라인 처리를 통해 생성된 사운드 전파 경로를 기초로 사운드에 대한 가청화를 온라인 처리할 수 있다.
본 발명의 일 실시예에 따른 사운드 트레이싱 방법은 사운드의 투과, 흡수, 반사, 굴절 또는 회절 효과를 자연적으로 제공하여 현실감 있는 3D 사운드를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사운드 트레이싱 장치를 설명하는 블록도이다.
도 2는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 트레이싱 의 원리를 설명하는 도면이다.
도 3은 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 트레이싱 과정을 설명하는 순서도이다.
도 4는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 따른 사운드 트레이싱 과정을 설명하는 순서도이다.
도 5는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 전파 경로의 제어에 따른 사운드 트레이싱 과정을 설명하는 순서도이다.
도 6은 도 1에 있는 사운드 트레이싱 장치에서 수행된 사운드 트레이싱 실시예를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 사운드 트레이싱 장치를 설명하는 블록도이다.
도 1을 참조하면, 사운드 트레이싱 장치(100)는 소스 위치 결정부(110), 싱크 위치 결정부(120), 전파 경로 생성부(130), 가청화 수행부(140), 사운드 출력부(150), 메모리부(160) 및 제어부(170)를 포함한다.
소스 위치 결정부(110)는 적어도 하나의 객체를 포함하는 디스플레이 화면에서 사운드 소스의 위치를 결정할 수 있다. 소스 위치 결정부(110)는 디스플레이 화면에 존재하는 적어도 하나의 객체 중 사운드 발생 객체를 검출할 수 있다. 여기에서, 사운드 소스는 적어도 하나의 객체 중 사운드를 발생시키는 사운드 발생 객체에 해당할 수 있다. 사운드 발생 객체는 디스플레이 화면 내에 존재할 수 있다. 일 실시예에서, 사운드 발생 객체가 디스플레이 화면 내에 존재하는 경우, 소스 위치 결정부(110)는 사운드 발생 객체를 검출하여, 사운드 소스의 위치를 결정할 수 있다. 적어도 하나의 사운드 소스가 디스플레이 화면 내에 존재하는 경우, 소스 위치 결정부(110)는 각각의 사운드 소스의 위치, 방향, 종류 및 특성을 결정할 수 있다. 또한, 소스 위치 결정부(110)는 사운드 소스의 위치 변경을 감지하여 사운드 소스의 위치, 방향, 종류 및 특성을 다시 결정할 수 있다.
싱크 위치 결정부(120)는 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정할 수 있다. 사운드 싱크는 사운드가 도달하는 최종 목적지에 해당할 수 있다. 일 실시예에서, 사운드 싱크의 위치는 실시간으로 변경될 수 있고, 사운드 전파 경로는 사운드 싱크의 위치 변화에 대응하여 재생성될 수 있다.
전파 경로 생성부(130)는 사운드 소스에서 출력되고 적어도 하나의 객체 각각에 의하여 유도되는 사운드 전파 경로를 생성하고, 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리할 수 있다. 여기에서, 사운드 전파 경로는 적어도 하나의 객체에 의하여 투과, 흡수, 반사, 굴절 또는 회절을 통해 유도되는 사운드의 경로를 의미한다. 또한, 사운드 전파 경로는 사운드 소스로부터 출력되어 사운드 싱크에 도달한 사운드의 경로에 해당할 수 있다. 즉, 전파 경로 생성부(130)는 사운드 소스에서 출력되고 사운드 싱크에 도달하기 위한 사운드 전파 경로를 생성할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 사운드 소스의 위치 관점에서 적어도 하나의 객체를 통해 유도되는 파생 사운드(Secondary Sound)를 생성할 수 있다. 파생 사운드(Secondary Sound)는 사운드 소스로부터 출력된 주요 사운드(Primary Sound)가 적어도 하나의 객체에 의하여 유도된 사운드를 의미한다. 즉, 전파 경로 생성부(130)는 파생 사운드의 전파 경로를 생성하여 가청화 수행부(140)에 제공할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 적어도 하나의 객체의 물질 속성(Material Property)을 갖는 3차원 기하 데이터를 사용할 수 있다. 객체의 물질 속성은 사운드의 투과, 흡수, 반사, 굴절 또는 회절 경로를 결정할 수 있다. 즉, 각각의 객체들은 고유의 물질 속성을 보유할 수 있고, 기하 데이터는 물질 속성에 의한 사운드의 투과, 흡수, 반사, 굴절 및 회절 경로에 대한 정보를 포함할 수 있다. 또한, 기하 데이터는 적어도 하나의 객체의 위치 및 개수에 대한 정보를 포함할 수 있다. 전파 경로 생성부(130)는 기하 데이터를 기초로 파생 사운드를 생성할 수 있다.
전파 경로 생성부(130)는 사운드 소스로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성하여 적어도 하나의 사운드 전파 경로를 생성할 수 있다. 여기에서, 주요 사운드는 투과, 흡수, 반사, 굴절 및 회절되지 않고 사운드 소스로부터 직접 전송된 사운드를 의미한다. 사운드 소스 및 사운드 싱크 사이에 방해 객체가 존재하지 않는 경우, 주요 사운드는 사운드 싱크에 도달할 수 있고, 전파 경로 생성부(130)는 주요 사운드 및 적어도 하나의 파생 사운드를 합성할 수 있다. 하지만, 사운드 소스 및 사운드 싱크 사이에 방해 객체가 존재하는 경우, 파생 사운드만이 사운드 싱크에 도달할 수 있고, 전파 경로 생성부(130)는 적어도 하나의 파생 사운드를 합성할 수 있다. 즉, 전파 경로 생성부(130)는 주요 사운드 및 적어도 하나의 파생 사운드를 합성하여 적어도 하나의 사운드 전파 경로를 생성할 수 있다. 전파 경로 생성부(130)는 생성된 사운드 전파 경로를 메모리부(160)에 저장할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 사운드 소스의 속성을 기초로 주요 사운드 및 적어도 하나의 파생 사운드를 합성하는 방식을 결정할 수 있다. 여기에서, 사운드 소스의 속성은 소스의 위치, 소리의 세기, 감쇠율 및 방향성에 해당할 수 있다. 사용자는 사운드 소스의 속성에 관련한 사운드 합성 방식을 미리 설정할 수 있다. 전파 경로 생성부(130)는 소스 위치 결정부(110)에 의하여 결정된 사운드 소스의 속성을 수신할 수 있고, 기 설정된 방식에 의하여 주요 사운드 및 적어도 하나의 파생 사운드를 합성할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 적어도 하나의 객체의 물질 속성을 기초로 주요 사운드 및 적어도 하나의 파생 사운드를 합성하는 방식을 결정할 수 있다. 사용자는 적어도 하나의 객체의 물질 속성에 관련한 사운드 합성 방식을 미리 설정할 수 있다. 전파 경로 생성부(130)는 메모리부(160)로부터 적어도 하나의 객체에 대한 물질 속성을 수신할 수 있고, 기 설정된 방식에 의하여 주요 사운드 및 적어도 하나의 파생 사운드를 합성할 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 디스플레이 화면(220)에 대한 영상 처리를 미리 수행하여 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리할 수 있다. 예를 들어, 전파 경로 생성부(130)는 사운드 트레이싱의 프레임보다 앞선 프레임에서 영상 처리를 수행할 수 있고, 해당 영상 처리를 기초로 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률을 미리 검출할 수 있다. 따라서, 전파 경로 생성부(130)는 디스플레이 화면(220)에 대한 영상 처리를 미리 수행하여 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 대한 연산량을 감소시킬 수 있다.
일 실시예에서, 전파 경로 생성부(130)는 디스플레이 화면(220)에 대한 영상 처리를 미리 수행하여 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 사운드에 대한 변경 스케일을 제어할 수 있다. 예를 들어, 사운드 소스의 위치, 사운드 싱크의 위치 또는 적어도 하나의 객체의 위치가 디스플레이 화면(220)을 기준으로 0.1R만큼 이동하면, 전파 경로 생성부(130)는 사운드의 위치 변경 스케일을 0.1k*R(k는 사운드 팩터)로 증가시켜 위치 변경을 효율적으로 검출할 수 있다.
가청화 수행부(140)는 생성된 사운드 전파 경로를 기초로 사운드에 대한 가청화(Auralization)를 수행할 수 있다. 일 실시예에서, 가청화 수행부(140)는 제1 채널에 대한 사운드 전파 경로를 제어하고 제2 채널에 대한 가청화를 수행하여 채널을 변환할 수 있다. 보다 구체적으로, 가청화 수행부(140)는 전파 경로 생성부(130)에 의하여 생성된 제1 채널에 대한 사운드 전파 경로를 제어할 수 있다. 가청화 수행부(140)는 제어된 사운드 전파 경로를 기초로 주요 사운드 및 파생 사운드를 합성하여 제2 채널에 대한 가청화를 수행할 수 있다. 한편, 사운드 트레이싱 장치(100)는 외부로부터 채널 변환 명령을 받거나 또는 기 설정된 조건이 충족되는 경우 가청화 수행부(140)에 채널 변환 명령을 제공할 수 있다. 가청화 수행부(140)가 채널 변환 명령을 수신하면, 가청화 수행부(140)는 제1 채널에 대한 사운드 전파 경로를 기초로 제2 채널에 대한 가청화를 수행할 수 있다. 즉, 가청화 수행부(140)는 사운드 전파 경로를 제어하여 채널 변환을 수행할 수 있다. 예를 들어, 제1 채널의 채널 수가 제2 채널의 채널 수보다 많은 경우, 가청화 수행부(140)는 다운 믹싱(Down Mixing)을 수행할 수 있다. 한편, 제1 채널의 채널 수가 제2 채널의 채널 수보다 적은 경우, 가청화 수행부(140)는 업 믹싱(Up Mixing)을 수행할 수 있다.
사운드 출력부(150)는 가청화 수행부(140)로부터 가청화된 사운드를 수신하여 출력할 수 있다. 사용자는 제어부(170)를 통해 사운드 출력부(150)를 제어할 수 있다. 일 실시예에서, 사운드 출력부(150)는 스피커로 구현될 수 있다.
메모리부(160)는 소스 위치 결정부(110), 전파 경로 생성부(130) 및 가청화 수행부(140) 각각과 연결될 수 있다. 메모리부(160)는 전파 경로 생성부(130)에서 사용되는 기하 데이터 및 생성된 전파 경로를 저장할 수 있다. 메모리부(160)는 물질 속성에 대한 정보를 포함하는 기하 데이터를 미리 저장할 수 있다. 따라서, 메모리부(160)는 기 저장된 기하 데이터 및 사운드 트레이싱을 수행하여 3차원 기하 데이터를 사운드 트레이싱 장치(100)에 제공할 수 있다. 일 실시예에서, 메모리부(140)는 DRAM(Dynamic Random Access Memory)으로 구현될 수 있다. 사운드 트레이싱 장치(100)는 기하 데이터 및 사운드 전파 경로를 미리 메모리부(160)에 저장하여 사운드 트레이싱에 필요한 데이터 연산량을 감소시킬 수 있고, 실시간 사운드 트레이싱 기술을 구현할 수 있다.
제어부(170)는 사운드 트레이싱 장치(100)의 전체적인 동작을 제어하고, 소스 위치 결정부(110), 싱크 위치 결정부(120), 전파 경로 생성부(130), 가청화 수행부(140), 사운드 출력부(150) 및 메모리부(160) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.
도 2는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 트레이싱 의 원리를 설명하는 도면이다.
도 2를 참조하면, 디스플레이 화면(220)은 그 내부에 적어도 하나의 객체(240, 250, 260, 270)를 포함할 수 있다. 사운드 소스(230)에서 출력된 사운드는 적어도 하나의 객체에 의하여 투과, 흡수, 반사, 굴절 또는 회절될 수 있다. 적어도 하나의 객체는 고유의 물질 속성을 보유할 수 있다. 기하 데이터는 객체의 물질 속성에 대한 정보를 포함할 수 있고, 메모리부(160)에 미리 저장될 수 있다. 사운드는 객체의 물질 속성에 의하여 경로가 결정될 수 있다. 따라서, 전파 경로 생성부(130)는 기하 데이터를 기초로 투과, 흡수, 반사, 굴절 또는 회절된 사운드의 전파 경로를 생성할 수 있다.
일 실시예에서, 사운드는 방해 객체(240)에 의하여 흡수(S)될 수 있다. 따라서, 사운드 소스(230) 및 사운드 싱크(210) 사이에 방해 객체(240)가 존재하는 경우, 주요 사운드는 방해 객체에 흡수되고 파생 사운드가 사운드 싱크(210)에게 도달할 수 있다. 즉, 사운드는 적어도 하나의 방해 객체(240)에 의하여 회절될 수 있고, 회절된 사운드는 파생 사운드에 해당할 수 있다. 여기에서, 사운드는 방해 객체(240)에 의하여 흡수되는 것에 한정되지 않고, 방해 객체(240)의 물질 속성, 사운드의 파동 및 입사각에 따라 반사, 굴절 또는 회절될 수 있다.
일 실시예에서, 사운드는 분산 객체(250a)에 의하여 반사(R)될 수 있다. 주요 사운드는 분산 객체(250a)에 의하여 흡수(S)될 수 있고, 파생 사운드는 분산 객체(250a)에 의하여 반사(R)되어 생성될 수 있다. 즉, 사운드는 적어도 하나의 분산 객체(250)에 의하여 반사(R)될 수 있고, 반사된 사운드는 파생 사운드에 해당할 수 있다. 사운드의 반사각은 분산 객체(250)의 물질 속성에 의하여 결정될 수 있다. 여기에서, 사운드는 분산 객체(250)에 의하여 반사되는 것에 한정되지 않고, 분산 객체(250)의 물질 속성, 사운드의 파동 및 입사각에 따라 굴절, 회절 또는 흡수될 수 있다.
일 실시예에서, 사운드는 굴절 객체(260)를 통과할 수 있고, 굴절 객체에 입사하거나 굴절 객체로부터 출사될 때 굴절될 수 있다. 사운드는 적어도 하나의 굴절 객체(260)에 의하여 굴절될 수 있고, 굴절된 사운드는 파생 사운드에 해당할 수 있다. 사운드의 굴절각은 굴절 객체(260)의 물질 속성에 의하여 결정될 수 있다. 여기에서, 사운드는 굴절 객체(260)에 의하여 굴절되는 것에 한정되지 않고, 굴절 객체(260)의 물질 속성, 사운드의 파동 및 입사각에 따라 반사, 회절 또는 흡수될 수 있다.
일 실시예에서, 사운드는 투과 객체(270)를 투과(T)할 수 있다. 사운드는 투과 객체(270)에 입사된 각과 동일한 출사각을 가질 수 있다. 즉, 사운드는 투과 객체(270)에 흡수되거나 반사되지 않고 투과 객체(270)를 통과할 수 있다.
일 실시예에서, 사운드 발생 객체가 디스플레이 화면(220) 내에 존재하는 경우, 소스 위치 결정부(110)는 사운드 소스(230)의 위치를 결정하여 전파 경로 생성부(130)에 제공할 수 있다.
도 3은 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 트레이싱 과정을 설명하는 순서도이다.
도 3을 참조하면, 소스 위치 결정부(110)는 적어도 하나의 객체를 포함하는 디스플레이 화면 (220)에서 사운드 소스(230)의 위치를 결정할 수 있다. 보다 구체적으로, 적어도 하나의 사운드 소스(230)가 디스플레이 화면 내에 존재하는 경우, 소스 위치 결정부(110)는 각각의 사운드 소스(230)의 위치 및 방향을 결정할 수 있다. 한편, 사운드 소스(230)가 디스플레이 화면 내에 존재하지 않는 경우, 소스 위치 결정부(110)는 3차원 기하 데이터 내의 특정 객체를 사운드 발생 객체로 지정하고, 이의 위치를 가상 사운드 소스(230)의 위치로 결정할 수 있다(단계 S310).
싱크 위치 결정부(120)는 현재 디스플레이 화면에서 사운드 싱크(210)의 위치를 결정할 수 있다. 일 실시예에서, 사운드 싱크(210)의 위치는 실시간으로 변경될 수 있고, 사운드 전파 경로는 사운드 싱크의 위치 변화에 대응하여 재생성될 수 있다(단계 S320).
전파 경로 생성부(130)는 사운드 소스(230)에서 출력되고 적어도 하나의 객체 각각에 의하여 유도되는 사운드 전파 경로를 생성할 수 있다. 보다 구체적으로, 전파 경로 생성부(130)는 사운드 소스(230)의 위치 관점에서 적어도 하나의 객체를 통해 유도되는 파생 사운드를 생성할 수 있다. 일 실시예에서, 전파 경로 생성부(130)는 적어도 하나의 객체의 물질 속성을 갖는 기하 데이터를 사용하여 파생 사운드를 생성할 수 있다(단계 S330).
전파 경로 생성부(130)는 사운드 소스로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성하여 사운드 전파 경로를 생성할 수 있다. 가청화 수행부(140)는 생성된 사운드 전파 경로에 대한 가청화를 수행할 수 있다(단계 S340).
도 4는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 따른 사운드 트레이싱 과정을 설명하는 순서도이다.
소스 위치 결정부(110)는 적어도 하나의 객체를 포함하는 디스플레이 화면(220)에서 사운드 소스(230)의 위치를 결정할 수 있다(단계 S410).
싱크 위치 결정부(120)는 현재 디스플레이 화면에서 사운드 싱크(210)의 위치를 결정할 수 있다(단계 S420).
전파 경로 생성부(130)는 사운드 소스(230) 및 사운드 싱크(210) 간에 형성되고 디스플레이 화면(220)에 있는 객체에 의하여 왜곡될 수 있는 사운드 전파 경로를 생성할 수 있다(단계 S430).
메모리부(160)는 전파 경로 생성부(130)에서 생성된 사운드 전파 경로를 저장할 수 있고 사용자의 요청에 따라 가청화 수행부(140)에 제공할 수 있다(단계 S440).
전파 경로 생성부(130)는 사운드 소스(230)로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성할 수 있다. 가청화 수행부(140)는 생성된 합성 사운드에 대한 가청화를 수행할 수 있다(단계 S450).
전파 경로 생성부(130)는 사운드 소스의 위치, 사운드 싱크의 위치 및 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리할 수 있다(단계 S460). 일 실시예에서, 전파 경로 생성부(130)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 또는 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하면, 사운드 소스(230), 적어도 하나의 객체 및 사운드 싱크(210) 간에 형성되는 사운드 전파 경로를 재생성할 수 있다. 여기에서, 사운드 소스(230)의 위치 변경률, 사운드 싱크(210)의 위치 변경률 및 적어도 하나의 객체의 위치 변경률은 이전 위치를 기준으로 현재 위치의 변경 정도를 의미하고, 기준 변경률은 사운드 소스(230)의 위치 변경률, 사운드 싱크(210)의 위치 변경률 또는 적어도 하나의 객체의 위치 변경률에 따라 사운드 전파 경로가 변경되는 임계치를 의미한다. 즉, 전파 경로 생성부(130)는 위치 변경률이 기준 변경률 미만이면 사운드 전파 경로가 변경되지 않기 때문에 사운드 전파 경로를 재생성할 필요가 없고, 위치 변경률이 기준 변경률을 초과하면 사운드 전파 경로를 재생성할 수 있다. 예를 들어, 전파 경로 생성부(130)는 현재의 위치 및 이전의 위치를 비교하여 위치 변경률을 결정할 수 있다. 전파 경로 생성부(130)는 위치 변경률의 기준 변경률을 설정할 수 있고, 위치 변경률을 기준 변경률과 비교할 수 있다. 전파 경로 생성부(130)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 또는 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하면, 전파 경로 생성부(130)는 다음 프레임에서 사운드 전파 경로를 재생성할 수 있고, 가청화 수행부(140)는 가청화를 다시 수행할 수 있다.
일 실시예에서, 가청화 수행부(140)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 및 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 사운드 전파 경로를 생성하는 과정을 생략하고 메모리부(160)에 저장된 사운드 전파 경로를 불러올 수 있다. 즉, 가청화 수행부(140)는 전파 경로 생성부(130)로부터 실시간으로 검출된 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 및 적어도 하나의 객체의 위치의 변경률을 수신하여 이전 프레임에서 메모리부(160)에 저장된 사운드 전파 경로의 수신 여부를 결정할 수 있다.
다른 일 실시예에서, 전파 경로 생성부(130)는 가청화 수행부(140)로부터 독립적으로 적어도 하나의 사운드 전파 경로를 생성하여 메모리부(160)에 저장하는 과정을 미리 오프라인 처리할 수 있다. 가청화 수행부(140)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 및 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 오프라인 처리를 통해 생성된 사운드 전파 경로를 기초로 사운드에 대한 가청화를 온라인 처리할 수 있다. 따라서, 사운드 트레이싱 장치(100)는 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 및 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 사운드 전파 경로를 생성하는 과정을 오프라인 처리하고 가청화를 온라인 처리하여 실시간 연산량을 감소시켜 사운드 트레이싱의 성능을 향상시키고 전력 소모를 최소화할 수 있다.
한편, 사운드 소스(230)의 위치, 사운드 싱크(210)의 위치 또는 적어도 하나의 객체의 위치의 변경률이 기준 변경률 미만이고 해당 사운드 트레이싱 과정이 마지막 프레임에 해당하지 않는 경우, 가청화 수행부(140)는 기 생성된 사운드 전파 경로를 기초로 다음 프레임에서 가청화를 반복하여 수행할 수 있다(단계 S470). 따라서, 사운드 트레이싱 장치(100)는 불필요한 연산 과정을 생략할 수 있고, 실시간 사운드 트레이싱 기술을 구현할 수 있다.
도 5는 도 1에 있는 사운드 트레이싱 장치에서 수행되는 전파 경로의 제어에 따른 사운드 트레이싱 과정을 설명하는 순서도이다.
소스 위치 결정부(110)는 적어도 하나의 객체를 포함하는 디스플레이 화면(220)에서 사운드 소스(230)의 위치를 결정할 수 있다(단계 S510).
싱크 위치 결정부(120)는 현재 디스플레이 화면에서 사운드 싱크(210)의 위치를 결정할 수 있다(단계 S520).
전파 경로 생성부(130)는 사운드 소스에서 출력되고 적어도 하나의 객체 각각에 의하여 유도되는 사운드 전파 경로를 생성할 수 있다(단계 S530).
메모리부(160)는 생성된 전파 경로를 저장하고 사용자의 요청에 따라 전파 경로를 가청화 수행부(140)에 제공할 수 있다. 일 실시예에서, 사용자는 제어부(170)를 통하여 전파 경로의 개수를 입력할 수 있다. 메모리부(160)는 사용자에 의하여 입력된 명령을 기초로, 전파 경로를 가청화 수행부(140)에 제공할 수 있다(단계 S540).
가청화 수행부(140)는 메모리부(160)로부터 수신된 사운드 전파 경로에 대한 가청화를 반복하여 수행할 수 있다. 즉, 가청화 수행부(140)는 사용자에 의하여 제어된 전파 경로를 기초로 가청화를 반복하여 수행할 수 있다(단계 S550).
도 6은 도 1에 있는 사운드 트레이싱 장치에서 수행된 사운드 트레이싱 실시예를 설명하는 도면이다.
도 6을 참조하면, 사운드 소스(230)는 디스플레이 화면(220) 내에 존재할 수 있고, 사운드 소스(230)에서 출력된 사운드는 적어도 하나의 객체에 의하여 반사, 굴절, 회절 또는 흡수될 수 있다. 사운드는 객체의 물질 속성에 의하여 전파 경로가 생성될 수 있고, 생성된 사운드 전파 경로를 따라 사운드 싱크(210)에 도달할 수 있다.
따라서, 사운드 트레이싱 장치(100)는 적어도 하나의 객체 각각에 의하여 유도되는 사운드 전파 경로를 생성할 수 있다. 사운드 트레이싱 장치(100)는 기하 데이터를 기초로 투과, 반사, 전송, 흡수 및 회절과 같은 사운드 효과를 실현할 수 있고, 현실감 있는 3D 사운드를 제공할 수 있다.
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (15)

  1. (a) 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 단계;
    (b) 상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 단계; 및
    (c) 상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 실행 가능한 사운드 트레이싱 방법.
  2. 제1항에 있어서, 상기 (b) 단계는
    상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 또는 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하면, 상기 사운드 소스, 상기 적어도 하나의 객체 및 상기 사운드 싱크 간에 형성되는 사운드 전파 경로를 재생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  3. 제1항에 있어서, 상기 (b) 단계는
    상기 생성된 사운드 전파 경로를 메모리부에 저장하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  4. 제3항에 있어서, 상기 (c) 단계는
    상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 상기 사운드 전파 경로를 생성하는 과정을 생략하고 상기 메모리부에 저장된 사운드 전파 경로를 불러오는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  5. 제3항에 있어서, 상기 (b) 단계는
    상기 가청화를 수행하는 단계로부터 독립적으로 상기 적어도 하나의 사운드 전파 경로를 생성하여 상기 메모리부에 저장하는 과정을 미리 오프라인 처리하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  6. 제5항에 있어서, 상기 (c) 단계는
    상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률이 기준 변경률을 초과하지 않으면, 상기 오프라인 처리를 통해 생성된 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화를 온라인 처리하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  7. 제1항에 있어서, 상기 (a) 단계는
    상기 디스플레이 화면에 존재하는 적어도 하나의 객체 중 사운드 발생 객체를 검출하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  8. 제7항에 있어서, 상기 (a) 단계는
    상기 사운드 소스가 디스플레이 화면 내에 존재하지 않는 경우, 기하 데이터 내의 특정 객체를 사운드 발생 객체로 지정하고, 상기 지정된 사운드 발생 객체의 위치를 가상 사운드 소스의 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  9. 제1항에 있어서, 상기 (b) 단계는
    상기 사운드 소스로부터 출력될 수 있는 주요 사운드(Primary Sound) 및 상기 적어도 하나의 객체를 통해 유도되는 적어도 하나의 파생 사운드(Secondary Sound)를 합성하여 상기 적어도 하나의 사운드 전파 경로를 생성하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  10. 제9항에 있어서, 상기 (b) 단계는
    상기 사운드 소스의 속성 또는 상기 적어도 하나의 객체의 물질 속성(사운드의 투과, 흡수, 반사, 굴절 또는 회절 경로를 결정)을 기초로 상기 주요 사운드 및 상기 적어도 하나의 파생 사운드를 합성하는 방식을 결정하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  11. 제1항에 있어서, 상기 (b) 단계는
    상기 생성되는 사운드 전파 경로의 개수를 조절하여 사운드의 출력을 제어하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  12. 제11항에 있어서, 상기 (c) 단계는
    제1 채널에 대한 상기 사운드 전파 경로를 제어하고 제2 채널에 대한 가청화를 수행하여 채널을 변환하는 단계를 포함하는 것을 특징으로 하는 사운드 트레이싱 방법.
  13. 사운드 소스의 위치를 결정하는 소스 위치 결정부;
    현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 싱크 위치 결정부; 및
    상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 전파 경로 생성부를 포함하는 사운드 트레이싱 장치.
  14. 제13항에 있어서,
    상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 가청화 수행부를 더 포함하는 것을 특징으로 하는 사운드 트레이싱 장치.
  15. 사운드 소스의 위치와 현재 디스플레이 화면에서 사운드 싱크의 위치를 결정하는 기능;
    상기 사운드 소스와 상기 사운드 싱크 간에 형성되고 상기 디스플레이 화면에 있는 적어도 하나의 객체에 의하여 왜곡될 수 있는 적어도 하나의 사운드 전파 경로를 생성하고, 상기 사운드 소스의 위치, 상기 사운드 싱크의 위치 및 상기 적어도 하나의 객체의 위치의 변경률에 관한 검출을 온라인 처리하는 기능; 및
    상기 사운드 전파 경로를 기초로 상기 사운드에 대한 가청화(Auralization)를 수행하는 기능을 포함하는 사운드 트레이싱 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2016/003749 2015-04-10 2016-04-08 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체 WO2016163833A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0051037 2015-04-10
KR20150051037 2015-04-10
KR1020160041857A KR101790137B1 (ko) 2015-04-10 2016-04-05 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
KR10-2016-0041857 2016-04-05

Publications (1)

Publication Number Publication Date
WO2016163833A1 true WO2016163833A1 (ko) 2016-10-13

Family

ID=57072879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/003749 WO2016163833A1 (ko) 2015-04-10 2016-04-08 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체

Country Status (1)

Country Link
WO (1) WO2016163833A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065365A (ko) * 2009-08-21 2012-06-20 리얼리티 아이피 피티와이 리미티드 개선된 음상을 지닌 다중 채널 사운드를 재생하기 위한 라우드스피커 시스템
US20140270182A1 (en) * 2013-03-14 2014-09-18 Nokia Corporation Sound For Map Display
KR20150004000A (ko) * 2013-07-02 2015-01-12 한국산업은행 가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치
KR20150038487A (ko) * 2012-08-31 2015-04-08 돌비 레버러토리즈 라이쎈싱 코오포레이션 오브젝트―기반 오디오를 위한 반사된 사운드 렌더링

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065365A (ko) * 2009-08-21 2012-06-20 리얼리티 아이피 피티와이 리미티드 개선된 음상을 지닌 다중 채널 사운드를 재생하기 위한 라우드스피커 시스템
KR20150038487A (ko) * 2012-08-31 2015-04-08 돌비 레버러토리즈 라이쎈싱 코오포레이션 오브젝트―기반 오디오를 위한 반사된 사운드 렌더링
US20140270182A1 (en) * 2013-03-14 2014-09-18 Nokia Corporation Sound For Map Display
KR20150004000A (ko) * 2013-07-02 2015-01-12 한국산업은행 가상 오디오 신호 처리 방법 및 그에 따른 가상 오디오 신호 처리 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHANDAR, ANISH ET AL.: "AD-FRUSTUM: Adaptive Frustum Tracing For Interactive Sound Propagation", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 14, no. 6, December 2008 (2008-12-01), pages 1707 - 1722, XP011324211 *

Similar Documents

Publication Publication Date Title
WO2013147547A1 (en) Audio apparatus and method of converting audio signal thereof
US20170280235A1 (en) Creating an audio envelope based on angular information
US20030053639A1 (en) Method for improving near-end voice activity detection in talker localization system utilizing beamforming technology
WO2019117362A1 (ko) 온라인 노래방 서비스의 반주 및 가창 음성 간 동기화 시스템 및 이를 수행하기 위한 장치
WO2015152661A1 (ko) 오디오 오브젝트를 렌더링하는 방법 및 장치
EP3061269A1 (en) Method of generating multi-channel audio signal and apparatus for carrying out same
WO2021118107A1 (en) Audio output apparatus and method of controlling thereof
TWI465919B (zh) 採用雷霆介面之電子裝置、其連接方法及底座設備
US11496830B2 (en) Methods and systems for recording mixed audio signal and reproducing directional audio
KR20220084359A (ko) 종단 간 다중-화자 시청각 자동 음성 인식
WO2020054980A1 (ko) 음소기반 화자모델 적응 방법 및 장치
WO2021112273A1 (ko) 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치
KR101790137B1 (ko) 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
WO2016163833A1 (ko) 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
KR20190084859A (ko) 의미론적으로 생성된 결과 세트에 기초하여 오디오 스트림을 라우팅하는 기법
CN106949902B (zh) 导航语音故障解决方法、装置、设备及存储介质
Lin et al. Directional speech recognition for speaker disambiguation and cross-talk suppression
JP2000194977A (ja) 避難誘導装置
WO2021091063A1 (ko) 전자장치 및 그 제어방법
WO2022065537A1 (ko) 자막 동기화를 제공하는 영상 재생 장치 및 그 동작 방법
WO2020055027A1 (ko) 언어 학습 장치
WO2024177299A1 (ko) 그래픽 성능과 동기화 가능한 사운드 트레이싱 장치 및 방법
WO2020071728A1 (ko) 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
WO2023120902A1 (ko) 사운드 트레이싱의 회절을 위한 에지 검출 방법 및 장치
WO2013100368A1 (en) Electronic apparatus and method of controlling the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16776936

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16776936

Country of ref document: EP

Kind code of ref document: A1