WO2016148552A2 - 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법 - Google Patents

음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법 Download PDF

Info

Publication number
WO2016148552A2
WO2016148552A2 PCT/KR2016/002825 KR2016002825W WO2016148552A2 WO 2016148552 A2 WO2016148552 A2 WO 2016148552A2 KR 2016002825 W KR2016002825 W KR 2016002825W WO 2016148552 A2 WO2016148552 A2 WO 2016148552A2
Authority
WO
WIPO (PCT)
Prior art keywords
channel
data
sound
source
channels
Prior art date
Application number
PCT/KR2016/002825
Other languages
English (en)
French (fr)
Other versions
WO2016148552A3 (ko
Inventor
구본희
이종석
김대진
김동준
Original Assignee
(주)소닉티어랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160032467A external-priority patent/KR20160113035A/ko
Application filed by (주)소닉티어랩 filed Critical (주)소닉티어랩
Publication of WO2016148552A2 publication Critical patent/WO2016148552A2/ko
Publication of WO2016148552A3 publication Critical patent/WO2016148552A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals

Definitions

  • the following embodiments relate to sound image externalization, and more particularly, a method and apparatus for representing three-dimensional sound by a combination of a sound output from a proximity speaker and a sound output from a remote speaker are disclosed.
  • the three-dimensional sound is a sound that makes the user feel as if he or she is actually in the situation of the image as the intensity and direction of the sound is set to correspond to the image, more than simply output from the speaker.
  • a sound image externalization technology is required to cause sound images to form on the outside of the head of a user seated in a movie theater.
  • HRTF Head Related Transfer Function
  • an environment for forming and controlling a sound field using a plurality of speakers has been provided. Multiple channels are used for the formation and control of the sound field.
  • the sound field is becoming more sophisticated as more channels are used. For example, beyond the existing 5.1 and 7.1 channels, 11.1 channels, 15.1 channels and 31.1 channels are used for the formation of the sound field.
  • the image externalization technology is creating an environment in which a user can enjoy a three-dimensional sound without a speaker through a plurality of channels through the headphones.
  • Prior art still reproduces only the ambient sound as the surround sound based on the speaker.
  • Prior arts unlike the three-dimensional image of a three-dimensional movie, have limitations in bringing the sound image to the front or back of the screen.
  • the sound image unlike a three-dimensional image protruding to the front of the screen, the sound image does not protrude to the front of the screen and thus does not provide a complete three-dimensional sound.
  • One embodiment can provide a method and apparatus for reproducing realistic three-dimensional sound by causing the sound image to protrude to the front with respect to the listener.
  • One embodiment may provide a method and apparatus for providing a perfect playback method for content produced using multichannel technology.
  • One embodiment may provide a method and apparatus for providing compatibility with existing content through a special algorithm.
  • One embodiment may provide a method and apparatus for providing a supplement to a portion difficult to be realized by conventional sound externalization technology by using a conventional speaker together.
  • One embodiment can provide a method and apparatus for expressing both up, down, left, and right sounds with only minimal speakers by using translative and sound image externalization techniques.
  • receiving a signal Generating one or more separated signals by performing channel separation and object separation on the received signal; Classifying each signal of the one or more separated signals into one of channel data and object data; Outputting the channel data to one or more remote speakers; Implementing sound image externalization for the object data; And outputting data on which sound image externalization is implemented to a proximity speaker.
  • the generating may include dividing the received signal into one or more channels; Determining which of the channel data and the object data to use data of each channel of the one or more channels; Generating the channel data using data of a channel set to be used as the channel data among the one or more channels; And generating the object data using data of a channel set to be used as the object data among the one or more channels.
  • the generating may include performing level compensation on the channel data; And performing level compensation on the object data.
  • the generating may further comprise dividing the one or more channels into one or more high level channels and one or more low level channels.
  • the one or more low level channels may be used for the channel data.
  • a dialogue channel among the one or more high level channels may be set to use one of the object data and channel data.
  • the object data may include location information about a space, direction information about a motion, and sound size information.
  • Each signal of the one or more separated signals may be transmitted to one of one or more remote speaker channels of the one or more remote speakers and a sound externalization channel of the proximity speaker in accordance with the number of the one or more remote speakers.
  • the method of reproducing the 3D sound may further include performing processing on the one or more separated signals.
  • the method of reproducing the three-dimensional sound may include determining whether to bypass the received signal; And if the bypass of the received signal is determined, transmitting the received signal to a selected one of the one or more far-range speakers and the proximity speaker.
  • the signal receiving unit for receiving a signal;
  • a primary signal processor which generates one or more separated signals by performing channel separation and object separation on the received signal;
  • a channel allocator for classifying each signal of the one or more separated signals into one of channel data and object data;
  • a remote speaker detection / reproducing unit for outputting the channel data to one or more remote speakers;
  • a sound image externalization implementer for implementing sound image externalization of the object data;
  • a proximity speaker sensing / reproducing unit configured to output data on which sound image externalization is implemented to a proximity speaker.
  • the primary signal processor may include a channel detector that divides the received signal into one or more channels; A channel comparator for determining which of the channel data and the object data to use data of each channel of the one or more channels; A channel data generator configured to generate the channel data using data of a channel set to be used as the channel data among the one or more channels; And an object data generator configured to generate the object data using data of a channel set to be used as the object data among the one or more channels.
  • the primary signal processor may include a channel mix unit configured to perform level compensation on the channel data; And an object data mixing unit configured to perform level compensation on the object data.
  • the primary signal processor may further include a level detector that divides the one or more channels into one or more high level channels and one or more low level channels.
  • the channel comparator may use the one or more low level channels as the channel data.
  • the channel comparator may be configured to use a dialogue channel among the one or more high level channels as one of the object data and the channel data.
  • the object data may include location information about a space, direction information about a motion, and sound size information.
  • the channel allocator transmits each signal of the one or more separated signals to one of the one or more remote speaker channels of the one or more remote speakers and the sound externalization channel of the proximity speaker in accordance with the number of the one or more remote speakers. Can be.
  • the 3D sound reproducing apparatus may further include a secondary signal processor configured to process the one or more separated signals.
  • the 3D sound reproducing apparatus may further include a bypass adjusting unit configured to transmit the received signal to a selected one of the one or more far-range speakers and the proximity speaker when the bypass of the received signal is determined.
  • the signal detector may determine whether to bypass the received signal.
  • the present invention provides a method and apparatus for enabling the representation of sound beyond the three-dimensional sound of the existing ambience by causing the image of the sound to protrude to the front with respect to the listener.
  • a method and apparatus are provided for selectively using remote speakers and proximity speakers to which sound image externalization is applied.
  • FIG. 1 is a structural diagram of a 3D sound reproducing apparatus according to an example.
  • FIG. 2 is a flowchart illustrating a 3D sound reproduction method according to an example.
  • FIG. 3 is a block diagram illustrating a primary signal processor according to an example.
  • FIG. 5 is a structural diagram of a 3D sound providing apparatus according to an embodiment.
  • FIG. 6 is a flowchart of a 3D sound providing method according to an exemplary embodiment.
  • FIG 8 shows a first process of a mixing method according to an example.
  • FIG. 10 shows a third process of a mixing method according to an example.
  • 11 illustrates an overall interface for determining values of one or more parameters for three-dimensional sound according to an example.
  • FIG. 13 illustrates a source setting interface according to an example.
  • FIG. 16 illustrates editing a source trace line according to an example.
  • FIG. 17 illustrates a screen interface according to an example.
  • 20 illustrates a locator area of a project according to one embodiment.
  • FIG. 21 illustrates an enlarged speed graph according to an example.
  • FIG. 22 illustrates an electronic device implementing a 3D sound reproducing apparatus according to an embodiment.
  • FIG. 23 is a diagram illustrating an electronic device that implements a 3D sound providing apparatus according to an embodiment.
  • first and second may be used to describe various components, but the above components should not be limited by the above terms. The above terms are used to distinguish one component from another component.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments are shown independently to represent different characteristic functions, and do not mean that each component is composed of only separate hardware or one software component unit. That is, each component is listed as each component for convenience of description. For example, at least two of the components may be combined into one component. In addition, one component may be divided into a plurality of components. The integrated and separated embodiments of each of these components are also included in the scope of the present invention without departing from the essence.
  • components may not be essential components for performing essential functions, but may be optional components for improving performance.
  • Embodiments may be implemented including only components necessary to implement the nature of the embodiments, and structures including the optional components, such as, for example, components used only for performance improvement, are also included in the scope of rights.
  • FIG. 1 is a structural diagram of a 3D sound reproducing apparatus according to an example.
  • the three-dimensional sound reproducing apparatus 100 includes a signal receiver 105, a signal detector 110, a primary signal processor 120, a channel allocator 130, a secondary signal processor 140, and a function adjuster 150.
  • the sound image externalization implementer 160, the bypass adjuster 170, the bypass switch 171, the far-range speaker sensing / reproducing unit 180, and the proximity speaker sensing / reproducing unit 190 may be included.
  • the functions and operations of the bypass adjusting unit 170, the bypass switching switch 171, the remote speaker sensing / reproducing unit 180, and the proximity speaker sensing / reproducing unit 190 will be described in detail below.
  • the 3D sound reproducing apparatus 100 may include a remote speaker 181 and a proximity speaker 191. Alternatively, the 3D sound reproducing apparatus 100 and the remote speaker 181 may be connected by wire or wirelessly. The 3D sound reproducing apparatus 100 and the proximity speaker 191 may be connected by wire or wirelessly.
  • the remote speaker 181 may be a speaker that is not used for sound externalization.
  • the remote speaker 181 may be a speaker physically separated from the listener of the sound generated by the 3D sound reproducing apparatus 100.
  • the remote speaker 181 may be a loud speaker.
  • the remote speaker 181 may be a main speaker, a surround speaker, or a sealing speaker connected to a receiver.
  • the remote speaker 181 may be a speaker attached to a TV or a desktop speaker attached to a computer. Alternatively, the remote speaker 181 may be a speaker for transative reproduction.
  • the proximity speaker 191 may be a speaker used for sound externalization.
  • the proximity speaker 191 may be a speaker in close contact with the listener's ear of the sound generated by the 3D sound reproducing apparatus 100.
  • the proximity speaker 191 may be headphones or earphones.
  • the proximity speaker 191 may be in-ear headphones, on-ear headphones, or over-ear headphones.
  • FIG. 2 is a flowchart illustrating a 3D sound reproduction method according to an example.
  • the signal receiver 105 may receive a signal transmitted from a sound transmission device.
  • the signal detector 110 may detect a type of the received signal.
  • the signal detector 110 may detect whether the received signal is in a format that supports 3D sound, and may detect whether the received signal includes object data.
  • the signal detector 110 may detect that the received signal is a signal or content such as mono, stereo, 5.1 channel, and 7.1 channel.
  • the primary signal processor 120 may determine how to perform processing on the transmitted signal.
  • the signal detector 110 may detect the type of the received signal using the number of audio channels of the received signal.
  • the signal detector 110 may detect that the received signal is a stereo signal. If the received signal has six audio channels, the signal detector 110 may detect that the received 5.1 channel signal is received. When the received signal is a signal using a codec, the signal detector 110 may check the information of the channel using the information of the head of the signal, and the type of the received signal using the confirmed channel information. Can be detected.
  • the signal detector 110 may determine whether to bypass the received signal. Alternatively, the signal detector 110 may determine whether to generate 3D sound or stereo sound. When bypassing the received signal, stereo sound may be produced. If the received signal is not bypassed, three-dimensional sound may be generated. The stereo sound may be a general 2D sound rather than a 3D sound.
  • the signal detector 110 may determine whether to generate three-dimensional sound or stereo sound.
  • the signal detector 110 may determine to generate a stereo sound using the bypass function.
  • the signal detector 110 may determine whether to generate 3D sound or stereo sound based on the setting of the bypass switch 171.
  • a user of the 3D sound reproducing apparatus 100 may determine whether to generate 3D sound or stereo sound by setting the bypass switching switch 171.
  • the bypass changeover switch 171 may be set to on or off.
  • the signal detector 110 may generate stereo sound.
  • the bypass switching switch 171 is set to off, a three-dimensional sound to be described later may be generated.
  • bypass changeover switch 171 may be set to "far output”, “close output” or off.
  • the signal detector 110 may generate stereo sound.
  • the bypass switching switch 171 is set to off, a three-dimensional sound to be described later may be generated.
  • step 235 If bypass of the received signal is determined (ie, it is determined that stereo sound is to be produced), step 235 can be performed. If it is determined not to bypass the received signal (ie, it is determined that three-dimensional sound is to be produced), step 245 may be performed.
  • the bypass adjuster 170 may select a speaker to which the received signal is immediately transmitted among the remote speaker 181 and the proximity speaker 191.
  • the bypass adjuster 170 may directly transmit the received signal to one of the one or more remote speakers and the adjacent speaker 191.
  • bypass adjuster 170 may select the far speaker 181 and transmit the received signal directly to the far speaker 181.
  • the bypass switching switch 171 is set to "proximity output”
  • the bypass adjuster 170 may select the proximity speaker 191 and transmit the received signal directly to the proximity speaker 191.
  • the function adjusting unit 150 may perform setting according to the taste of the listener.
  • the setting may affect the operation of the primary signal processor 120.
  • the function adjuster 150 may perform settings for the primary signal processor 120.
  • the function adjusting unit 150 may set a downmix according to the taste of the listener.
  • the function adjusting unit 150 may set an upmix according to the taste of the listener.
  • the primary signal processor 120 may generate one or more separated signals by performing channel separation and object separation on the signal detected by the signal detector 110.
  • the primary signal processor 120 may extract channel data and object data from the detected signal by separating the channel data and the object data from the detected signal.
  • Channel data and object data may constitute three-dimensional data.
  • the 3D data may include channel data and object data.
  • the channel data may be data of channel components recognized by the primary signal processor 120 among the detected signals.
  • the object data may be data of an object component recognized by the primary signal processor 120 among the detected signals.
  • the object data may include location information about the space, direction information about the motion, size information of the sound, and the like.
  • the primary signal processor 120 may separate the channel data of the detected signal according to the surround standard.
  • the primary signal processor 120 may separate and extract automation data of each object for each object of one or more objects.
  • the primary signal processor 120 may apply processing according to the sensed signal type.
  • the primary signal processor 120 may perform channel separation and object separation on the detected signal according to the mode of processing determined by the user.
  • the mode may include a stereo mode, a multichannel surround mode, and a three dimensional audio mode including an object.
  • the primary signal processor 120 may provide channel data of the sensed signal to the channel allocator 130 without additional processing.
  • the primary signal processor 120 may separate the channel data and the object data using the object extraction method, and provide the separated channel data and the object data to the channel allocator 130. Can be.
  • the primary signal processor 120 may separate the channel data and the object data according to the channel information and the object information of the detected signal, and separate the separated channel data and the object data.
  • the channel allocator 130 may provide the channel allocation unit 130.
  • the primary signal processor 120 may separate and extract channel data, object data, and spatial image data by using a decoder when the sensed signal corresponds to 3D sound.
  • One or more separated signals may include at least some of channel data, object data, and spatial image data.
  • the primary signal processor 120 may transmit one or more separated signals to the channel allocator 130.
  • the channel allocator 130 may acquire information about the remote speaker 181 and the proximity speaker 191.
  • the channel allocator 130 may detect whether the remote speaker 181 is connected to the 3D sound reproducing apparatus 100, and determine the number of remote speakers 181 connected to the 3D sound reproducing apparatus 100. Can be.
  • the remote speaker detecting / reproducing unit 180 may detect whether the remote speaker 181 is connected or detect the number of the remote speakers 181 connected to the 3D sound reproducing apparatus 100.
  • the remote speaker detecting / reproducing unit 180 may detect the remote speaker 181 actually connected to the 3D sound reproducing apparatus 100.
  • the remote speaker detecting / reproducing unit 180 may provide the number of the detected remote speakers 181 to the channel allocator 130.
  • the remote speaker detection / reproducing unit 180 may detect the number of remote speakers 181 currently connected to the preamplifier and / or the power amplifier.
  • the remote speaker detecting / reproducing unit 180 may provide the channel allocating unit 130 with the number of detected remote speakers 181 set by the user.
  • the channel allocator 130 may detect whether the proximity speaker 191 is connected to the 3D sound reproducing apparatus 100.
  • the proximity speaker detecting / reproducing unit 190 may detect the proximity speaker 191 actually connected to the 3D sound reproducing apparatus 100.
  • the proximity speaker detecting / reproducing unit 190 may provide the channel allocating unit 130 with information indicating whether the proximity speaker 191 is actually connected to the 3D sound reproducing apparatus 100.
  • step 255 allocation of each signal of one or more separate signals may be performed.
  • the channel allocator 130 may allocate each signal of one or more separated signals according to the number of detected one or more remote speakers and whether the proximity speaker 191 is connected. .
  • the assignment may be to classify the signal into one of channel data and object data.
  • the channel allocator 130 may classify each signal of one or more separated signals into one of channel data and object data.
  • the channel allocator 130 may classify each signal of the one or more separated signals into one of channel data and object data according to the number of detected one or more remote speakers and whether the proximity speaker 191 is connected.
  • the channel allocator 130 may allocate channel information according to a channel supported by the 3D sound reproducing apparatus 100 and arrange object data.
  • the channel allocator 130 may separate the channel data into one or more remote speaker channels of the one or more remote speakers, and may separate the object data into a sound externalization channel of the proximity speaker 191.
  • the channel allocator 130 converts each signal of one or more separated signals according to the number of one or more remote speakers into one or more channels of one or more remote speaker channels of the one or more remote speakers and the sound externalization channel of the proximity speaker 191. Can be sent to.
  • the far speaker channel may be a channel of the far speaker 181.
  • the sound externalization channel may be a channel of the proximity speaker 191.
  • the far speaker channel may be a channel provided with channel data.
  • the sound externalization channel may be a channel provided with object data.
  • the remote speaker channel may actually represent channel data
  • the audio externalization channel may actually represent object data.
  • the remote speaker channel can provide separate data in surround formats such as 5.1 channel, 7.1 channel, 8.1 channel, 9.1 channel, 10.2 channel, 11.1 channel, 13.1 channel, 14.2 channel, 15.1 channel, 22.2 channel, 30.2 channel and 31.1 channel. Can be.
  • the remote speaker channel can support all existing surround formats.
  • the acoustic externalization channel may provide information about data, spatial coordinates, vectors, levels, and the like of the object.
  • the remote speaker channel and the sound image externalization channel may be exchanged with each other.
  • the channel allocator 130 may use the remote speaker channel as a channel for reproducing object data, and use the sound externalization channel as a channel for reproducing channel data, if necessary.
  • the channel allocator 130 may transmit one or more separated signals to one or more remote speaker channels using the following allocation rule.
  • N may represent the number of one or more remote speakers, and n may represent the number of one or more effective channels of one or more separate signals.
  • the channel allocator 130 may assign one or more effective channels to one or more remote speaker channels one-to-one.
  • the channel allocator 130 assigns some effective channels as many as one or more remote speakers among one or more effective channels to one or more remote speaker channels of the one or more remote speakers, respectively. And the remaining valid channels that are not assigned to one or more far channels of the one or more effective channels can be assigned to the audio externalization channel.
  • the channel allocator 130 may perform downmixing of one or more effective channels according to a user's setting.
  • the channel allocator 130 may perform downmixing on a plurality of effective channels according to the number of one or more remote speakers.
  • the channel allocator 130 may allocate all of the one or more effective channels to only one or more remote speaker channels of the one or more remote speakers through the downmix, but may not allocate the sound externalization channel.
  • the channel allocator 130 may allocate all of one or more effective channels only to the sound externalization channel through the downmix, but may not assign the one or more remote speaker channels.
  • the channel allocator 130 assigns one or more effective channels to some remote speaker channels as many as one or more effective channels of one or more remote speaker channels of the one or more remote speakers, respectively.
  • the effective channel may not be allocated to the remaining remote speaker channel to which each effective channel of the one or more effective channels of the one or more remote speaker channels is not assigned.
  • the channel allocator 130 may perform upmix on one or more effective channels according to a user's setting.
  • the channel allocator 130 may perform upmix on one or more effective channels according to the number of one or more remote speakers.
  • the channel allocator 130 may allocate all of one or more effective channels to one or more remote speaker channels of the one or more remote speakers through the upmix, but may not allocate the sound externalization channel.
  • the channel allocator 130 may assign all of one or more effective channels to only the sound externalization channel, but may not assign to one or more remote speaker channels.
  • the function adjusting unit 150 may perform a setting for the secondary signal processing unit 140.
  • the function adjuster 150 may set a parameter used by the secondary signal processor 140 to perform processing on one or more separated signals.
  • the function adjusting unit 150 may receive a user input for setting a parameter.
  • the function adjusting unit 150 may adjust the size of the space according to the environment of the listener, and may adjust the size of the virtual space according to the taste of the listener.
  • the function adjusting unit 150 may set sound effects such as an equalizer, a compressor, and a delay for correcting the listener's environment.
  • the function adjuster 150 may set an adjustment of the level of each signal of one or more separate signals for correction of the listener's listening environment.
  • the function adjuster 150 may set positions of one or more remote speakers for correction of the listener's listening environment.
  • the secondary signal processor 140 may perform processing on one or more separated signals.
  • the secondary signal processor 140 may set the tone and level of each signal of one or more separated signals according to the taste of the listener through processing, and may add a virtual space image to each signal.
  • the secondary signal processor 140 may process each signal of one or more separated signals in accordance with a space according to the environment of the listener or a virtual space according to the taste of the listener.
  • Each signal may be one of channel data and object data.
  • the secondary signal processor 140 may mix object data into channel data.
  • the secondary signal processor 140 may give a spatial image to each signal of one or more separated signals.
  • the secondary signal processor 140 may perform a function of a room simulator through the provision of a spatial image.
  • the secondary signal processor 140 may apply a sound effect to each signal of one or more separated signals according to the listener's listening environment.
  • the secondary signal processor 140 may adjust the level and tone of each signal of one or more separated signals according to the listener's listening environment.
  • the secondary signal processor 140 may adjust the levels of each of the one or more far speakers and the near speaker of the one or more far speakers.
  • the secondary signal processor 140 may adjust positions of one or more remote speakers.
  • the secondary signal processor 140 may adjust an artificial distance between one or more remote speakers and a proximity speaker.
  • the secondary signal processor 140 may mix levels of one or more remote speakers and a proximity speaker.
  • the remote speaker sensing / reproducing unit 180 may output the channel data processed by the secondary signal processing unit 140 to one or more remote speakers.
  • the sound externalization implementer 160 may implement sound externalization of the object data processed by the secondary signal processor 140.
  • the sound externalization implementer 160 may generate data on which sound externalization is implemented by implementing sound externalization.
  • the sound externalization implementer 150 may implement sound externalization by rearranging information represented by the object data processed by the secondary signal processor 140 according to the spatial image represented by the spatial image data.
  • the channel of the object data may not be limited.
  • the object data may be input to the sound externalization implementer 160 through one or more infinite channels.
  • Sound externalization data generated by the sound externalization implementation unit 160 may include two or more channels.
  • the proximity speaker detection / reproducing unit 190 may reproduce data in which sound image externalization is implemented using the proximity speaker 191.
  • the proximity speaker detection / reproducing unit 190 may output data on which sound image externalization is implemented to the proximity speaker 191.
  • the proximity speaker sensing / reproducing unit 190 may process the processing of the sound externalization of the data on which the sound externalization is implemented.
  • the proximity speaker sensing / reproducing unit 190 may output a result of the processing of the external sound image to the proximity speaker 191.
  • FIG. 3 is a block diagram illustrating a primary signal processor according to an example.
  • the primary signal processor 120 may include a channel detector 310, a level detector 320, a threshold controller 330, a channel comparator 340, an object data allocation controller 350, and channel data generation.
  • the unit 360 may include an object data generator 370, a channel mixer 380, and an object data mixer 390.
  • Channel detector 310 level detector 320, threshold controller 330, channel comparator 340, object data allocation controller 350, channel data generator 360, object data generator 370 ), Functions and operations of the channel mix unit 380 and the object data mix unit 390 will be described in detail below.
  • Step 410, 415, 420, 425, 430, 440, 445, 450 and 455 the signal detector 110 detects a general surround signal rather than a 3D audio signal, and the bypass adjuster 170. ) May be performed when the bypass function is not used.
  • Step 245 described above with reference to FIG. 2 may include steps 410, 415, 420, 425, 430, 440, 445, 450, and 455.
  • the primary signal processor 120 may provide compatibility with existing content. Can be extracted.
  • the channel detector 310 may divide the signal detected by the signal detector 110 into one or more channels according to the surround format of the detected signal. Each channel of the one or more channels may have a unique channel number.
  • the channel detector 310 may separate the detected signal into one or more channels according to the surround format of the surround channel.
  • the surround channel may include a 5.1 channel, a 7.1 channel, and the like.
  • a surround channel may include all channels that do not have a height component.
  • the surround channel may include 6.1 channels, 8.1 channels, and 9.1 channels.
  • the channel detector 310 may bypass the detected signal to the channel allocator 130. For example, if the sensed signal is a signal of a stereo channel, the sensed signal may not include a surround channel.
  • the threshold controller 330 may determine the threshold level.
  • the level detector 320 may detect levels of one or more channels, and may divide one or more channels into one or more high level channels and one or more low level channels.
  • Each channel of the one or more high level channels may be a channel having a level above the threshold level.
  • Each channel of the one or more low level channels may be a channel having a level less than the threshold level.
  • the level detector 320 may classify a channel having a level higher than or equal to a threshold level among the one or more channels as a high level channel, and classify a channel having a level smaller than the threshold level as a low level channel.
  • high level channels can be used as object data and low level channels can be used as channel data.
  • the level detector 320 may transmit one or more high level channels and one or more low level channels to the channel comparator 340.
  • the object data allocation controller 350 may set whether to use dialogue as channel data or object data.
  • the channel comparator 340 may set whether to use data of each channel of one or more channels as channel data or object data.
  • the channel comparator 340 may set one or more low level channels to be used as channel data.
  • the channel comparator 340 may finally determine whether to use data of one or more high level channels as object data or channel data through channel comparison with respect to one or more high level channels.
  • the channel comparator 340 may be configured to use the dialogue channel among the one or more high level channels as one of the object data and the channel data according to the setting of the object data allocation controller 350. In other words, the channel comparator 340 may determine which channel among the one or more high level channels is used as the remote speaker channel or the audio externalization channel according to the setting of the object data allocation controller 350.
  • the channel comparator 340 may set the channel of dialogue among the one or more high level channels to be used as channel data.
  • the channel comparator 340 may set the dialogue channel among the one or more high level channels to be used as the object data.
  • the center channel may be a metabolic channel with a probability of 90% or more.
  • the channel comparator 340 may set the plurality of channels from which the same data is extracted to be used as object data.
  • the extracted data when data for one channel is extracted from a channel other than the center channel among the one or more high level channels, the extracted data may be a special effect.
  • the special effect may be object data. Therefore, when data for one channel is extracted from a channel other than the center channel among one or more high level channels, the channel comparator 340 may set the channel from which the data for one channel is extracted as object data. Can be.
  • the extracted data when data is extracted only from a left channel and a right channel of one or more high level channels, the extracted data may be music data or ambience with a large volume. Music data or ambience with large volume may be channel data. Therefore, when data is extracted only from the left channel and the right channel among the one or more high level channels, the channel comparator 340 may set the left channel and the right channel to be used as the channel data.
  • the channel data generator 360 may generate channel data using data of a channel set to be used as channel data among one or more channels.
  • the channel data generator 360 may prevent data of a channel having a level higher than or equal to the threshold level set by the threshold controller 330 from being reproduced in the remote speaker 181.
  • the channel data generator 360 may allow the data of the channel set to be used as the channel data to be reproduced through the remote speaker channel according to the setting method of the channel comparator 340.
  • the channel mixer 380 may perform level compensation on the channel data, which is reduced according to the extraction of the object data.
  • the channel mix unit 380 may apply a release parameter in level compensation. By applying the release parameter, a break between the object data and the sound in the threshold region may be prevented.
  • the object data generator 370 may generate object data using data of a channel set to be used as object data among one or more channels.
  • the object data generator 370 may allow only the data of the channel having a level equal to or greater than the threshold level set by the threshold controller 330 to be reproduced in the proximity speaker 191.
  • the channel data generator 360 may allow the data of the channel set to be used as the object data to be reproduced through the sound externalization channel according to the setting method of the channel comparator 340.
  • the object data mixing unit 390 may perform level compensation on the object data, which is reduced according to the extraction of the object data.
  • Object data may be extracted from channel components. Accordingly, the object data mixing unit 390 may adjust the object data such that only pure object data can be reproduced by using a parameter such as a gate.
  • the object data mix unit 390 may apply a gate time to adjust the object data so that a mix between the channel data and the object data occurs naturally.
  • FIG. 5 is a structural diagram of a 3D sound providing apparatus according to an embodiment.
  • the 3D sound providing apparatus 500 may include a setting unit 510, a generating unit 520, and an output unit 530. Functions and operations of the setting unit 510, the generating unit 520, and the output unit 530 will be described in detail below.
  • FIG. 6 is a flowchart of a 3D sound providing method according to an exemplary embodiment.
  • the setting unit 510 may determine values of one or more parameters for the 3D sound.
  • One or more parameters may be associated with a source of sound located in three-dimensional space.
  • the values of the one or more parameters can be edited via the graphical interface described below.
  • Step 610 may be performed repeatedly as the values of one or more parameters change.
  • the generator 520 may generate data of the 3D sound based on one or more parameters.
  • the generator 520 may generate data of the 3D sound by reflecting one or more parameters.
  • the data of the 3D sound may include data of a plurality of channels. One or more parameters may be used for each channel of the plurality of channels.
  • the output unit 530 may output a signal including data of 3D sound.
  • the output signal may be received and used by the 3D sound reproducing apparatus 100.
  • Data of the 3D sound of the output signal may correspond to the object data described above with reference to FIGS. 2 to 4.
  • the one or more parameters may correspond to positional information on the space of the object data, direction information on the movement, and sound size information, respectively.
  • one of the one or more parameters related to the location of the source may correspond to location information about the space.
  • the parameter related to the movement of the source among the one or more parameters may correspond to the direction information about the movement.
  • parameters representing damper, mix, diffuse, gain, and tail of the source may correspond to loudness information.
  • the threshold may represent a bulge limit line.
  • D may represent a difference between a general mixing line and a mixing line according to an example of the present invention.
  • the screen may be a location where the image is formed.
  • a mix based on the screen can be made.
  • the delay at the point of the screen may be zero.
  • the setting unit 510 may set the threshold d as a parameter.
  • the generator 520 may apply the delay d as much as the threshold d to the entire signal of the three-dimensional sound so that the three-dimensional sound is represented by the distance corresponding to the threshold d.
  • the delay cannot be pulled forward.
  • the viewer's hearing recognizes the distance d '
  • the viewer may recognize the sound according to the position of the screen according to the psychological factor of the viewer. That is to say, as a result, the viewer can perceive the position of the screen as if a sound was produced.
  • the sound can be projected toward the seat where the viewer is located by the distance of D.
  • the source of the sound may have a velocity component.
  • the source may represent a source of sound.
  • the source may correspond to the above-described object.
  • FIG 8 shows a first process of a mixing method according to an example.
  • the generation unit 520 may enlarge the spatial image by applying a threshold d delay to the entire signal of the 3D sound.
  • the generation unit 520 may reduce the pre-delay value by a distance d corresponding to the increased space in the reverb process. By reducing the value of the pre-delay, the generator 520 may perform mixing to prevent the viewer from recognizing the increased space.
  • the delay may not be applied to the rear of the screen in order to minimize distortion of the space and recognition of the distortion of the viewer.
  • the delay applied by d may be ignored and a sound image may be formed relative to the screen.
  • FIG. 10 shows a third process of a mixing method according to an example.
  • the sound protruding from the screen can be expressed as a result.
  • a graphical interface for front screen panning is described.
  • the parameters can be edited in nonlinear form by the graphical interface below.
  • the speed and acceleration of the sound source can be imparted by the graphic interface below, and sound effects on the sound source can be processed. Sound effects can include Doppler processing.
  • 11 illustrates an overall interface for determining values of one or more parameters for three-dimensional sound according to an example.
  • the overall interface 1100 may include at least some of the distance setting interface 1110, the source setting interface 1120, the distance interface 1130, the screen interface 1140, the speed interface 1150, and the sequence interface 1160. Can be.
  • the starting point of the source can be represented by S.
  • the end point of the sound source may be represented by E.
  • the starting point of the source may be outlined as the starting point.
  • the end point of the source can be outlined as the end point.
  • the distance setting interface 1110 includes a distance knob 1210, a distance value 1215, a threshold knob 1220, a threshold value 1225, a damper knob 1230, a damper value 1235, and a mix knob 1240. , A mix value 1245, and a limit reset button 1250.
  • the sound source may be formed behind the screen via the distance setting interface 1210.
  • the distance value 1215 can represent the maximum distance of the area behind the screen.
  • the distance knob 1210 can adjust the distance value 1215.
  • One or more parameters may include a maximum distance parameter that indicates a maximum distance of the area behind the screen.
  • the maximum distance parameter may have a value of 0 to 1000.
  • the default value of the maximum distance parameter may be zero.
  • the range of values of the start point and the end point of the source may be changed according to the maximum distance parameter. For example, when the start and end points of the source are located behind the screen, the distance from the screen of the start and end points of the source cannot be greater than the value of the maximum distance parameter.
  • the threshold value 1225 may represent the distance of the area in front of the screen. Threshold knob 1220 can adjust threshold value 1225.
  • One or more parameters may include a maximum threshold parameter that indicates a maximum distance of the area in front of the screen.
  • the maximum threshold parameter may have a value between 0 and 30.
  • the default value of the maximum threshold parameter may be zero.
  • the range of values of the start point and the end point of the source may be changed according to the maximum threshold parameter. For example, when the start and end points of the source are located in front of the screen, the distance from the screen of the start and end points of the source cannot be greater than the value of the maximum threshold parameter.
  • the damper value 1235 may represent the damper of the source.
  • the damper knob 1230 can adjust the damper value 1235.
  • the damper may exhibit a velocity effect.
  • One or more parameters may include a damper parameter indicating a damper of the source.
  • the damper parameter may have a value of 0 to 1.
  • the default value of the damper parameter may be zero.
  • the generator 520 may maximize the level effect and the reverberation effect of the 3D sound in consideration of the speed of the sound by using the damper parameter.
  • the generator 520 may perform the compression of the 3D sound by using the damper parameter, and may harden the 3D sound through the compression.
  • the generator 520 may cut the upper part and the lower part of the 3D sound by applying a filter to the 3D sound by using the damper parameter.
  • the size of the damper may be indicated as one or more concentric circles at speed interface 1150.
  • the mix value 1245 may represent a balance between the sound generated by the processing and the original sound.
  • the mix knob 1240 may adjust the mix value 1235.
  • One or more parameters may include a mix parameter indicative of a balance between the sound produced by the processing and the original sound.
  • the mix parameter may have a value between 0 and 100.
  • the default value of the damper parameter may be 100.
  • the mix parameter having a minimum value may indicate that only the sound generated by the processing is output.
  • a mix parameter having a maximum value may indicate that only the original, unprocessed sound is output. That is to say that the mix parameter has a maximum value may indicate that the sound is bypassed.
  • the generator 520 may adjust a balance between the sound generated by the processing and the original sound according to the value of the mix parameter.
  • the limit reset button may be used to return one or more parameters of the distance setting interface 1110 to the default value.
  • FIG. 13 illustrates a source setting interface according to an example.
  • the source setting interface 1120 includes a source start point knob 1310, a source start point value 1315, a source start point diffuse knob 1320, a source start point diffuse value 1325, a source end point knob 1330, a source It may include an endpoint value 1335, a source endpoint diffuse knob 1340, a source endpoint diffuse value 1345, and a source reset button 1350.
  • the position of the start point of the source, the position of the end point of the source, the diffuse of the start point of the source and the diffuse of the end point of the source may be determined.
  • the diffuse may indicate the degree of diffusion.
  • the value of diffuse can represent the radius of diffusion.
  • the source start point value 1315 may indicate the position of the start point of the source.
  • the source start point knob 1310 may adjust the source start point value 1315.
  • One or more parameters may include a source start point parameter that indicates the location of the start point of the source.
  • the location of the start point of the source may include the distance from the listening area to the start point of the source and / or the coordinates of the start point of the source.
  • the source start point parameter can optionally be activated.
  • the source start point knob 1310, the source start point value 1315, and the source start point parameter may be activated when the source start point is generated.
  • the starting point of the source may be generated by user manipulation at one of the distance interface 1130, the screen interface 1140, and the speed interface 1150.
  • the minimum value of the source start point parameter may be zero.
  • the maximum value of the source start point parameter may be the sum of the maximum distance parameter and the maximum threshold parameter.
  • the source start point diffuse value 1325 may represent the diffuse of the source start point.
  • the source start point diffuse knob 1320 may adjust the source start point diffuse value 1325.
  • One or more parameters may include a source start point diffuse parameter that indicates a diffuse of the start point of the source.
  • the diffuse at the beginning of the source may represent the degree of dispersion of the sound at the beginning of the source.
  • the source start point diffuse parameter can optionally be activated.
  • the source start point diffuse knob 1320, the source start point diffuse value 1325, and the source start point diffuse parameters may be activated when the source start point is generated.
  • the starting point of the source may be generated by user manipulation at one of the distance interface 1130, the screen interface 1140, and the speed interface 1150.
  • the source start point diffuse parameter may have a value of 0 to 100.
  • the default value of the source start point diffuse parameter may be zero.
  • the generator 520 may set the degree of dispersion of the sound at the start point of the source using the source start point diffuse parameter. The same delay can be applied to the distributed sound. The distributed sound may be reproduced by the proximity speaker 191.
  • the degree of dispersion by the source start point diffuse parameter may be displayed in the screen interface 1140.
  • the source endpoint value 1335 may indicate the location of the endpoint of the source.
  • the source endpoint knob 1330 may adjust the source endpoint value 1335.
  • One or more parameters may include a source endpoint parameter that indicates the location of the endpoint of the source.
  • the location of the end point of the source may include the distance from the listening area to the end point of the source and / or the coordinates of the end point of the source.
  • the source endpoint parameter can optionally be activated.
  • the source endpoint knob 1330, the source endpoint value 1335, and the source endpoint parameter may be activated when the endpoint of the source is generated.
  • the end point of the source may be generated by user manipulation at one of the distance interface 1130, the screen interface 1140, and the speed interface 1150.
  • the minimum value of the source endpoint parameter may be zero.
  • the maximum value of the source endpoint parameter may be the sum of the maximum distance parameter and the maximum threshold parameter.
  • the source endpoint diffuse value 1345 may represent the diffuse of the source endpoint.
  • the source endpoint diffuse knob 1340 may adjust the source endpoint diffuse value 1345.
  • One or more parameters may include a source endpoint diffuse parameter that indicates a diffuse of the endpoint of the source.
  • the diffuse at the end of the source may indicate the degree of dispersion of the sound at the end of the source.
  • the source endpoint diffuse parameter can optionally be activated.
  • the source endpoint diffuse knob 1340, the source endpoint diffuse value 1345, and the source endpoint diffuse parameters can be activated when the source endpoint is generated.
  • the end point of the source may be generated by user manipulation at one of the distance interface 1130, the screen interface 1140, and the speed interface 1150.
  • the source endpoint diffuse parameter may have a value from 0 to 100.
  • the default value of the source endpoint diffuse parameter may be zero.
  • the generator 520 may set the degree of dispersion of the sound at the end point of the source using the source end point diffuse parameter. The same delay can be applied to the distributed sound. The distributed sound may be reproduced by the proximity speaker 191.
  • the degree of dispersion by the source endpoint diffuse parameter may be displayed in the screen interface 1140.
  • the distance interface 1130 includes a maximum distance value 1410, a distance value control 1415, a maximum threshold value 1420, a threshold value control 1425, a unit 1430, a source start point 1440, a source start It may include a point distance 1445, a source end point 1450, a source end point distance 1455, a source trace line 1460, a screen line 1470, and a listening area 1480.
  • the distance interface 1130 may visually show the parameters set in the distance setting interface 1110.
  • the distance interface 1130 may reflect the increase or decrease of the unit without changing the appearance.
  • the maximum distance value 1410 may represent a maximum distance value inside the screen.
  • the inside of the screen may represent an area behind the screen based on the viewer.
  • the maximum distance value 1410 may represent a value of the maximum distance parameter.
  • the distance value into the interior of the screen of the source start point 1240 and the distance value into the interior of the screen of the source end point 1250 may be limited to below the maximum distance value 1410.
  • the distance interface 110 may increase or decrease the unit of the maximum distance value 1410.
  • the unit of the maximum distance value 1410 may be meters or feet.
  • the distance value control 1415 may be appropriately spaced scales generated according to the maximum distance value 1410.
  • the maximum threshold value 1420 may represent a maximum distance value outside of the screen.
  • the outside of the screen may represent an area in front of the screen based on the viewer.
  • the maximum threshold value 1420 may represent a value of the maximum threshold parameter.
  • the distance value to the outside of the screen of the source start point 1440 and the distance value to the outside of the screen of the source end point 1450 may be limited to below the maximum distance value 1420.
  • the distance interface 1130 may increase or decrease the unit of the maximum threshold value 1420.
  • the unit of the maximum threshold value 1420 may be meters or feet.
  • Threshold value control 1425 may be appropriately spaced scales generated according to maximum threshold value 1420.
  • the unit 1430 may indicate a value displayed on the distance interface 1130 or a unit of parameters displayed on the distance interface 1130. Through a global setting, one of the meters and feet can be selected as the unit. The default value of the unit may be meters.
  • the source start point 1440 may indicate the start point of the source.
  • the source start point 1440 may indicate a value of a source start point parameter.
  • the user may generate the source start point 1440 by manipulating the input device within the dotted line of the area of the distance interface 1130.
  • the location specified by the manipulation of the input device may represent the source start point 1440.
  • a starting point of the source may be generated, and a source starting point knob 1310, a source starting point value 1315, a source starting point diffuse knob 1320, a source starting point diffuse value 1325 and the source start point diffuse parameter may be activated.
  • the input device can include a keyboard and / or a mouse. Operation of the input device may include clicking, double-clicking, dragging, and dragging and dropping of a mouse, and may include pressing a specific key of the keyboard.
  • the source start point 1440 may display an X coordinate and a Y coordinate among coordinates of the start point of the source.
  • the value of the Z coordinate of the start point of the source may not be reflected at the source start point 1440.
  • the user may move the source start point 1440 to a desired position through manipulation of the input device.
  • the user may delete the source start point 1440 through an operation of the input device.
  • the source start point distance 1445 can represent the distance between the screen and the source start point 1440.
  • the source start point distance 1445 may represent a value of a source start point parameter.
  • the source start point distance 1445 may be displayed as a horizontal line and may be displayed as a value located at the end of the horizontal line.
  • the source endpoint 1450 may represent an endpoint of the source.
  • the source endpoint 1450 may represent a value of the source endpoint parameter.
  • the user may generate the source endpoint 1450 by manipulating the input device within a dashed line of the area of the distance interface 1130.
  • the location specified by the manipulation of the input device may represent the source end point 1450.
  • Source end point 1450 may be generated after generation of source start point 1440.
  • the user may generate a source start point 1440 and a source end point 1450 through manipulation of the input device.
  • the source end point 1450 may be automatically generated. In this case, the location of the generated source endpoint 1450 may be the center of the screen line 1470.
  • an end point of the source may be generated, the source end point knob 1330, the source end point value 1335, the source end point diffuse knob 1340, and the source end point diffuse value. 1345 and the source endpoint diffuse parameter may be activated.
  • the source end point 1450 may display an X coordinate and a Y coordinate among coordinates of the end point of the source.
  • the value of the Z coordinate of the end point of the source may not be reflected in the source end point 1450.
  • the user may move the source end point 1450 to a desired position through manipulation of the input device.
  • the user may delete the source endpoint 1450 through manipulation of the input device.
  • the source endpoint distance 1455 may represent the distance between the screen and the source endpoint 1450.
  • the source endpoint distance 1455 may represent a value of the source endpoint parameter.
  • the source end point distance 1455 may be displayed as a horizontal line and may be displayed as a value located at the end of the horizontal line.
  • the source trace line 1460 may represent a line along which the source moves from the start point of the source to the end point of the source.
  • One or more parameters may include a source trace line parameter indicating the line through which the source travels from the start point of the source to the end point of the source.
  • the line through which the source moves may include a plurality of lines.
  • the source trace line parameter may indicate a plurality of lines connecting the start point of the source and the end point of the source.
  • the generator 520 may move the position of the source using the source trace line parameter.
  • the user may change the shape of the source trace line 1460 through manipulation of the input device. For example, the user may divide one line of the source trace line 1460 into two connected lines through manipulation of the input device.
  • the distance interface 1130 may indicate a point moving along the source trace line 1460 according to the processing length set in the sequence interface 1160.
  • the screen line 1470 may indicate a point where a screen on which an image is displayed is located.
  • the screen line 1470 may be a reference for the distance of the source start point 1440 and the distance of the source end point 1450.
  • the listening area 1480 may represent an area where the viewer is located. Also, the listening area may indicate the direction of the viewer.
  • the user can select one point of source trace line 1460.
  • the selected point 1510 may represent a point selected by the user. When a point is selected by the user, a distance value of the selected point may be displayed.
  • the distance value 1520 may represent a distance value of a point selected by the user. In addition, the distance value may represent the distance between the selected point and the screen.
  • FIG. 16 illustrates editing a source trace line according to an example.
  • a user can edit source trace line 1460.
  • the value of the source trace line parameter may be set by editing the source trace line 1160.
  • the user may move the position of the selected point 1510 through manipulation of the input device.
  • the moved selected point 1610 is shown.
  • the source trace line 1460 may change.
  • the line in which the selected point 1510 of one or more lines of the source trace line 1460 is located is two lines in which the moved selected point 1610 is the end point as the selected point 1510 moves.
  • the first of the two lines may be a line from the start point of the line where the selected point 1510 is located to the selected point 1610 moved.
  • the second of the two lines may be a line from the moved selected point 1610 to the end point of the line where the selected point 1510 is located.
  • the setting unit 510 may set the value of the source trace line parameter to reflect the division of the line.
  • FIG. 17 illustrates a screen interface according to an example.
  • the screen interface 1140 may provide editing of the value of the X coordinate and the value of the Y coordinate for the start point and the end point of the source.
  • the screen interface 1140 may display the value of the X coordinate and the value of the Y coordinate among the coordinates of the start point of the source, and display the value of the X coordinate and the value of the Y coordinate among the coordinates of the end point of the source. have.
  • the screen interface 1140 may include a panning area 1710, a source start point 1720, a source end point 1730, a diffuse circle 1740, and a source trace line 1750.
  • the panning area 1710 may represent an area required for displaying the source start point 1720 and the source end point 1730.
  • the source start point 1720 may represent the coordinates of the start point of the source.
  • the source start point 1720 may indicate an X coordinate and a Y coordinate among coordinates of the start point of the source.
  • the function of the source start point 1720 may correspond to the function of the source start point 1440 described above.
  • the source end point 1730 may represent the coordinates of the end point of the source.
  • the source end point 1730 may indicate an X coordinate and a Y coordinate among coordinates of the end point of the source.
  • the function of the source endpoint 1730 may correspond to the function of the source endpoint 1450 described above.
  • the radius of the diffuse circle 1740 may represent the value of the diffuse of the start point of the source and / or the end point of the source.
  • the radius of the diffuse circle 1740 may represent only the value of the diffuse of the start point of the source.
  • the value of the diffuse of the start point of the source may represent the value of the source start point diffuse parameter.
  • the radius of the diffuse circle 1740 may represent only the value of the diffuse of the end point of the source.
  • the value of the diffuse of the end point of the source may represent the value of the source endpoint diffuse parameter.
  • the source trace line 1750 may indicate a line from which the source moves from the start point of the source to the end point of the source.
  • the function of the source trace line 1750 may correspond to the function of the source trace line 1460 described above.
  • Velocity interface 1150 may provide editing of the value of the Y coordinate and the value of the Z coordinate for the start point of the source and the end point of the source.
  • the velocity interface 1150 may display the value of the Y coordinate and the value of the Z coordinate among the coordinates of the start point of the source, and display the value of the Y coordinate and the value of the Z coordinate among the coordinates of the end point of the source. have.
  • Speed interface 1150 includes screen line 1810, maximum distance value 1820, distance value control 1825, maximum threshold value 1830, threshold value control 1835, listening area 1840, damper value 1850, source start point 1860, source end point 1870, and source trace line 1880.
  • Screen line 1810 may correspond to screen line 1470 described above. However, screen line 1470 may be displayed for the X and Y coordinates, while screen line 1810 may be displayed for the Y and Z coordinates.
  • the maximum distance value 1820 may correspond to the maximum distance value 1410 described above. However, the maximum distance value 1410 may be displayed for the X coordinate and the Y coordinate, while the maximum distance value 1820 may be displayed for the Y coordinate and the Z coordinate.
  • Distance value control 1825 may correspond to distance value control 1415 described above. However, distance value control 1415 may be displayed for X and Y coordinates, while distance value control 1825 may be displayed for Y and Z coordinates.
  • the maximum threshold value 1830 may correspond to the maximum threshold value 1420 described above. However, the maximum threshold value 1420 may be displayed for the X coordinate and the Y coordinate, while the maximum threshold value 1830 may be displayed for the Y coordinate and the Z coordinate.
  • Threshold value control 1835 may correspond to threshold value control 1425 described above. However, the threshold value control 1425 can be displayed for the X and Y coordinates, while the threshold value control 1835 can be displayed for the Y and Z coordinates.
  • the listening area 1840 may correspond to the aforementioned listening area 1480. However, while the listening area 1480 is displayed with respect to the X coordinate and the Y coordinate, the listening area 1840 may be displayed with respect to the Y coordinate and the Z coordinate.
  • the damper display unit 1850 may indicate the above-described damper value.
  • the shape of the damper display unit may indicate a value of the damper parameter.
  • the damper indicator 1850 may include one or more concentric circles. One or more concentric circles may be shown only in part. The number, shape and radius of one or more concentric circles may represent a damper applied to the source and may vary depending on the value of the damper parameter. For example, an ellipse may be formed based on the threshold line as the value of the damper parameter increases.
  • the source start point 1860 may correspond to the source start point 1440 described above. However, the source start point 1440 may be displayed for the X and Y coordinates, while the source start point 1860 may be displayed for the Y and Z coordinates.
  • Source endpoint 1870 may correspond to source endpoint 1450 described above. However, the source end point 1450 may be displayed for the X and Y coordinates, while the source end point 1870 may be displayed for the Y and Z coordinates.
  • Source trace line 1880 may correspond to source trace line 1460 described above. However, the source trace line 1460 may be displayed for the X and Y coordinates, while the source trace line 1880 may be displayed for the Y and Z coordinates.
  • the sequence interface 1160 may provide editing of the value of the Y coordinate and the value of the Z coordinate for the start point and the end point of the source.
  • the sequence interface 1160 may be linked with the source start point 1440 and the source end point 1450 of the distance interface 1130.
  • the information about the source displayed in the sequence interface 1160 may be displayed from the Y coordinate and the Z coordinate of the source start point 1440, and may be displayed from the Y coordinate and the Z coordinate of the source end point 1450. .
  • sequence interface 1160 may indicate a damper at an end point of the source.
  • the sequence interface 1160 includes a timeline 1910, a project cursor 1915, a sequence marker 1920, a time stretch switch 1925, a speed length 1930, a time stretch grid line 1935, a speed graph 1940.
  • Gain graph (1945), tail (1950), tail (1950), velocity length (1955), timeline speed (1960), timeline gain (1965), tail length (1970), tail end A point 1975 and sequence editing area 1980 may be included.
  • the timeline 1910 may represent a timeline according to a length set in the sequence interface 1160.
  • the timeline may represent the flow of time from the time of the start point of the source to the time of the end point of the source.
  • the start point and the end point of the timeline 1910 may be set to be the same as the start point and the end point of the locator area of the projector.
  • Timeline 1910 may represent an application for pre-roll and / or post-roll.
  • the time at which the preroll and / or postroll is applied can be set globally.
  • the project cursor 1915 may operate in synchronization with the cursor of the host program. For example, when the cursor of the host program moves, the project cursor 2015 may also move along the cursor of the host program.
  • One or more parameters may have different values over time.
  • the point indicated by the project cursor 1915 in the timeline 1910 may indicate a reference time in displaying a parameter value.
  • the sequence marker 1920 may be a button for setting a start point and an end point of the timeline 1910.
  • the timeline 1910 may be set in the same manner as the locator of the project.
  • the time of the start point locator may be set to the start point of the timeline 1910
  • the time of the end point locator may be set to the end point of the timeline 1910.
  • sequence marker 1920 may be deactivated.
  • the time stretch switch 1925 can create an additional timeline on the line of velocity length 1930.
  • the user can set the time stretch switch 1925 to ON through manipulation of the input device. If time stretch switch 1925 is set to on, an additional time line may be created in the line of speed length 1930.
  • the user can adjust the interval of the additional timeline by operating the input device. As the interval of additional timelines becomes wider, the passage of time can be faster. As the intervals of additional timelines become narrower, the passage of time may be slower.
  • the project cursor 1915 can reflect the passage of time based on the additional timeline.
  • the user may set the time stretch switch 1925 to OFF through manipulation of the input device. If time stretch switch 1925 is set to off, an additional time line may disappear from the line of speed length 1930. If the additional timeline disappears, the project cursor 1915 may reflect the passage of time relative to the timeline 1910.
  • the velocity length 1930 may represent the length of time that the process takes.
  • the length of velocity length 1930 may be the same as the length of timeline 1910.
  • the starting point of velocity length 1930 may correspond to the starting point locator of the project.
  • the end point of velocity length 1930 may correspond to the end point locator of the project.
  • the velocity length 1930 may have a value corresponding to the length generated by the sequence marker 1920.
  • the time stretch grid line 1935 can indicate the extent of stretch in time.
  • the time stretch grid line 1935 may be generated by manipulation of a user's input device.
  • the user may manipulate the input device to change the position of the points of the time stretch grid line 1935. As the location of the point changes, the spacing of the grid lines may change.
  • the speed graph 1940 may represent the speed of the source and the acceleration of the source along the timeline.
  • the speed graph 1940 may represent a change in the speed of the source from the start point of the source to the end point of the source.
  • One or more parameters may include a speed parameter indicative of the speed of the source and may include an acceleration parameter indicative of the acceleration of the source.
  • the speed parameter may indicate the speed of the source over time.
  • the acceleration parameter may represent the acceleration of the source over time.
  • the one or more parameters may include speed and acceleration parameters indicative of the speed and acceleration of the source.
  • the generator 520 may generate the 3D sound by reflecting the speed of the source using the speed parameter. In addition, the generator 520 may generate the 3D sound by reflecting the acceleration of the source using the acceleration parameter. Alternatively, the generator 520 may generate the 3D sound by reflecting the speed and acceleration of the source using the speed and acceleration parameters.
  • the user may enlarge the speed graph 2040 by manipulating the input device.
  • the speed graph 1940 may automatically calculate the speed of the source linearly over time once the start and end points are determined, and display the calculated speed of the source as a graph.
  • the height of a point may represent the speed of the source at the time corresponding to the point.
  • the slope of a point may represent the acceleration of the source at the time corresponding to the point.
  • the user may move one point on the speed graph to another position by manipulating the input device.
  • the shape of the graph may change, and the speed of the source may change according to the changed shape of the speed graph.
  • the gain graph 1945 may represent a change in gain of the source along the timeline.
  • the gain graph 1945 may represent a change in gain from the start point of the source to the end point of the source.
  • One or more parameters may include a gain parameter indicative of the gain of the source.
  • the gain parameter may represent a gain of a source over time.
  • the generator 520 may generate the 3D sound by reflecting the gain of the source using the gain parameter.
  • the gain graph 1945 may automatically calculate the gain of the source linearly over time when the start point and the end point are determined, and display the calculated gain of the source as a graph.
  • the height of a point may represent the gain of the source at the time corresponding to the point.
  • the user can apply the value of the speed of the source to the gain of the source through the manipulation of the input device.
  • the tail graph 1950 may represent the tail of the source.
  • the tail of the source may occur after the end point of the source. Basically, 3 seconds of reverberation can occur as the tail.
  • One or more parameters may include a tail parameter indicating a tail of the source.
  • the tail parameter may indicate the tail of the source.
  • the generator 520 may generate the 3D sound by reflecting the tail of the source using the tail parameter.
  • the tail graph 1950 may operate regardless of the project cursor 1915.
  • the user may change the shape of the tail through manipulation of the input device.
  • the tail may change cyclically into a plurality of predefined shapes.
  • the setting unit 510 may set a value of the tail parameter according to the changed shape.
  • the velocity length value 1955 may represent the time used for the representation of velocity.
  • the timeline speed value 1945 may represent the speed at the point indicated by the project cursor 1915 of the timeline 1910.
  • Timeline Gain Value 1965 The gain at the point indicated by the project cursor 1915 of the timeline 1910 may be represented.
  • Tail length 1970 may represent the reverberation time of the tail.
  • Tail end point 1975 may represent the end point of the tail.
  • the setting unit 510 may set the value of the tail parameter by reflecting the position of the moved end point.
  • the length of the tail may change depending on the position of the end point to which the tail is moved.
  • the changed tail length can be indicated at tail length 1970.
  • the sequence editing area 1980 may be an area that provides editing for the sequence.
  • the user can manipulate the input device to select one of speed, gain and tail. As one of the speed, the gain and the tail is selected, the size of the edit window for editing the selected object may increase. If a specific object is not selected, an editing window of the same size may be provided for the objects.
  • 20 illustrates a locator area of a project according to one embodiment.
  • the locator area 2000 may include a start point locator 2010, an end point locator 2020, and a project cursor 2040.
  • the time of the start point locator may be set to the start point of the timeline 1910 and the time of the end point locator may be set to the end point of the timeline 1910.
  • FIG. 21 illustrates an enlarged speed graph according to an example.
  • an enlarged speed graph 2100 is shown enlarged in the sequence editing area 1980.
  • the point 2110 selected as the object of editing due to the manipulation of the input device by the user is shown, and the current speed 2120 is shown.
  • the current speed 2120 can be displayed as the height of the graph at the point where the project cursor 1915 is located. Also, the current speed 2120 may be displayed at the speed length value 1955.
  • FIG. 22 illustrates an electronic device implementing a 3D sound reproducing apparatus according to an embodiment.
  • the 3D sound reproducing apparatus 100 may be implemented as the electronic device 2200 illustrated in FIG. 22.
  • the electronic device 2200 may be a general purpose computer system that operates as the 3D sound reproducing apparatus 100.
  • the electronic device 2200 may include at least a portion of a processor 2221, a network interface 2229, a memory 2223, a storage 2228, and a bus 2222.
  • Components of the electronic device 2200 such as the processor 2221, the network interface 2229, the memory 2223, the storage 2228, and the like, may communicate with each other through the bus 2222.
  • the processor 2221 may be a semiconductor device that executes processing instructions stored in the memory 2223 or the storage 2228.
  • the processor 2221 may process a task required for the operation of the electronic device 2200.
  • the processor 2221 may execute code of an operation or step of the processor 2221 described in the embodiments.
  • the network interface 2229 may be connected to the network 2230.
  • the network interface 2229 may receive data or information required for the operation of the electronic device 2200, and may transmit data or information required for the operation of the electronic device 2200.
  • the network interface 2229 may transmit data to and receive data from other devices via the network 2230.
  • the network interface 2229 may be a network chip or port.
  • Memory 2223 and storage 2228 may be various forms of volatile or nonvolatile storage media.
  • the memory 2223 may include at least one of a ROM 2224 and a RAM 2225.
  • the storage 2228 may include internal storage media such as RAM, flash memory, hard disk, and the like, and may include removable storage media such as a memory card.
  • the electronic device 2200 may further include a user interface (UI) input device 2226 and a UI output device 2227.
  • the UI input device 2226 may receive a user input required for the operation of the electronic device 2200.
  • the UI output device 2227 may output information or data according to the operation of the electronic device 2200.
  • the function or operation of the electronic device 2200 may be performed as the processor 2221 executes at least one program module.
  • the memory 2223 and / or the storage 2228 may store at least one program module.
  • At least one program module may be configured to be executed by the processor 2221.
  • At least one program module may include a signal detector 110, a primary signal processor 120, a channel allocator 130, a secondary signal processor 140, a function controller 150, and a sound image externalization implementer 160. ), A bypass adjusting unit 170, a remote speaker detection / playback unit 180 and a proximity speaker detection / playback unit 190 may be included.
  • the UI input device 2226 may include a bypass switch 171.
  • the network interface 2229 may include a signal receiver 105.
  • FIG. 23 is a diagram illustrating an electronic device that implements a 3D sound providing apparatus according to an embodiment.
  • the 3D sound providing apparatus 500 may be implemented as the electronic device 2300 illustrated in FIG. 23.
  • the electronic device 2300 may be a general purpose computer system that operates as the 3D sound providing device 500.
  • the electronic device 2300 may include at least a portion of a processor 2321, a network interface 2333, a memory 2323, a storage 2328, and a bus 2322.
  • Components of the electronic device 2300 such as the processor 2321, the network interface 2329, the memory 2323, the storage 2328, and the like, may communicate with each other through the bus 2232.
  • the processor 2321 may be a semiconductor device that executes processing instructions stored in the memory 2323 or the storage 2328.
  • the processor 2321 may process a task required for the operation of the electronic device 2300.
  • the processor 2321 may execute code of an operation or step of the processor 2321 described in the embodiments.
  • the network interface 2329 may be connected to the network 2330.
  • the network interface 2329 may receive data or information required for the operation of the electronic device 2 # 00, and may transmit data or information required for the operation of the electronic device 2300.
  • the network interface 2329 may transmit data to and receive data from other devices through the network 2330.
  • the network interface 2329 may be a network chip or a port.
  • the memory 2323 and the storage 2328 may be various forms of volatile or nonvolatile storage media.
  • the memory 2323 may include at least one of a ROM 2324 and a RAM 2325.
  • the storage 2328 may include built-in storage media such as RAM, flash memory, hard disk, and the like, and may include removable storage media such as a memory card.
  • the electronic device 2300 may further include a user interface (UI) input device 2326 and a UI output device 2327.
  • the UI input device 2326 may receive a user input required for the operation of the electronic device 2300.
  • the UI output device 2327 may output information or data according to the operation of the electronic device 2300.
  • the function or operation of the electronic device 2300 may be performed as the processor 2321 executes at least one program module.
  • the memory 2323 and / or the storage 2328 may store at least one program module.
  • At least one program module may be configured to be executed by the processor 2321.
  • At least one program module may include a setting unit 510 and a generating unit 520.
  • the network interface 2329 may include an output unit 530.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

3차원 사운드 이미지를 재생하기 위한 방법 및 장치가 제공된다. 3차원 사운드 재생 장치는 수신된 신호를 하나 이상의 분리된 신호들로 분리한다. 분리된 신호들의 각 신호는 채널 데이터 및 오브젝트 데이터 중 하나로 분류된다. 채널 데이터는 원거리 스피커에 의해 출력된다. 3차원 사운드 재생 장치는 오브젝트 데이터에 대한 음상 외재화를 구현하며, 음상 외재화가 구현된 데이터를 근접 스피커로 출력한다.

Description

음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법
아래의 실시예들은 음상 외재화에 관한 것으로, 보다 상세히는 근접 스피커에서 출력되는 사운드 및 원거리 스피커에서 출력되는 사운드의 조합에 의한 3차원의 사운드를 표현하는 방법 및 장치가 개시된다.
최근에는, 좀 더 실감나는 영화 상영을 위하여 3차원(Dimension) 영상이 영화관에서 상영되고 있다. 좀 더 실감나는 영화 상영을 위해서는 사운드 역시 3차원 사운드로 출력되어야 한다. 3차원 사운드는 스피커에서 단순하게 출력되는 것 이상으로 사운드의 세기 및 방향 등이 영상과 상응하게 설정됨에 따라 사용자가 영상의 상황에 실제로 위치하는 느낌을 받게 하는 사운드이다.
이러한 3차원 사운드를 실현하기 위해서는, 영화관에 착석한 사용자의 머리의 외부에 음상이 맺히게 하는 음상 외재화(externalization) 기술이 요구된다.
음상 외재화 기술은 사운드 신호 및 머리 관련 전달 함수(Head Related Transfer Function; HRTF)의 컨볼루션을 수행함으로써 구현될 수 있다. HRTF는 사용저의 머리의 주변의 각 위치에서 들리는 사운드에 대한 임펄스 응답을 나타낸다.
현재 다수의 스피커들을 사용하여 음장을 형성하고 제어하는 환경이 제공되고 있다. 음장의 형성 및 제어를 위해서는 다수의 채널들이 사용된다. 음장은 보다 다수의 채널들을 사용하게 되면서 보다 정교해지고 있다. 예를 들면, 기존의 5.1 채널 및 7.1 채널을 넘어서, 11.1 채널, 15.1 채널 및 31.1 채널 등이 음장의 형성을 위해 사용되고 있다. 또한 음상 외재화 기술을 통해 사용자가 다수의 채널을 헤드폰을 통해서 스피커 없이 입체감을 갖는 사운드를 감상할 수 있는 환경이 조성되고 있다.
하지만, 종래 기술들은 여전히 스피커를 기준으로 주변음(ambience sound) 만을 서라운드 사운드로서 재생한다. 종래 기술들은, 3차원 영화의 3차원 이미지와는 달리, 사운드 이미지를 스크린의 앞 또는 뒤에 맺히게 함에 있어서는 한계를 갖는다. 특히, 종래 기술에 의해서는, 3차원 이미지가 스크린의 전면으로 튀어 나오는 것과 다르게, 사운드 이미지는 스크린의 전면으로 튀어 나오지 않아 완전한 3차원 사운드가 제공되지 않는다.
따라서, 3차원 영화가 급격하게 대중화 되고 있는 추세에 비추어, 사운드 또한 완전한 3차원으로 형성하는 기술의 필요성이 대두된다.
일 실시예는 사운드 이미지가 청취자를 기준으로 전면으로 돌출되게 함으로써 실제와 같은 생동감 있는 3차원 사운드를 재생하는 방법 및 장치를 제공할 수 있다.
일 실시예는 다채널 기술을 사용하여 제작되는 컨텐츠에 대해 완벽한 재생 방법을 제공하는 방법 및 장치를 제공할 수 있다.
일 실시예는 특수한 알고리즘을 통해 기존의 컨텐츠에 대한 호환을 제공하는 방법 및 장치를 제공할 수 있다.
일 실시예는 기존의 스피커를 함께 사용함으로써 종래의 음상 외재화 기술에 의해 실현되기 힘든 부분에 대한 보완을 제공하는 방법 및 장치를 제공할 수 있다.
일 실시예는 트랜소럴 및 음상 외재화 기술을 사용함으로써 최소의 스피커들 만으로 상하좌우의 사운드를 모두 표현하는 방법 및 장치를 제공할 수 있다.
일 측에 있어서, 신호를 수신하는 단계; 수신된 신호에 대한 채널 분리 및 오브젝트 분리를 수행함으로써 하나 이상의 분리된 신호들을 생성하는 단계; 상기 하나 이상의 분리된 신호들의 각 신호를 채널 데이터 및 오브젝트 데이터 중 하나로 분류하는 단계; 상기 채널 데이터를 하나 이상의 원거리 스피커들로 출력하는 단계; 상기 오브젝트 데이터에 대한 음상 외재화를 구현하는 단계; 및 상기 음상 외재화가 구현된 데이터를 근접 스피커로 출력하는 단계를 포함하는 3차원 사운드를 재생하는 방법이 제공된다.
상기 생성하는 단계는, 상기 수신된 신호를 하나 이상의 채널들로 구분하는 단계; 상기 하나 이상의 채널들의 각 채널의 데이터를 상기 채널 데이터 및 상기 오브젝트 데이터 중 어느 것으로 사용할 것인가를 결정하는 단계; 상기 하나 이상의 채널들 중 상기 채널 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 상기 채널 데이터를 생성하는 단계; 및 상기 하나 이상의 채널들 중 상기 오브젝트 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 상기 오브젝트 데이터를 생성하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 채널 데이터에 대한 레벨 보상을 수행하는 단계; 및 상기 오브젝트 데이터에 대한 레벨 보상을 수행하는 단계를 더 포함할 수 있다.
상기 생성하는 단계는, 상기 하나 이상의 채널들을 하나 이상의 고 레벨 채널들 및 하나 이상의 저 레벨 채널들로 구분하는 단계를 더 포함할 수 있다.
상기 하나 이상의 저 레벨 채널들은 상기 채널 데이터로 사용될 수 있다.
상기 하나 이상의 고 레벨 채널들 중 대사의 채널은 상기 오브젝트 데이터 및 채널 데이터 중 하나로 사용하도록 설정될 수 있다.
상기 오브젝트 데이터는 공간에 대한 위치 정보, 움직임에 대한 방향 정보 및 사운드의 크기 정보를 포함할 수 있다.
상기 하나 이상의 분리된 신호들의 각 신호는 상기 하나 이상의 원거리 스피커들의 개수에 맞춰서 상기 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들 및 상기 근접 스피커의 음상 외재화 채널 중 하나의 채널로 전송될 수 있다.
상기 3차원 사운드를 재생하는 방법은, 상기 하나 이상의 분리 신호들에 대한 프로세싱을 수행하는 단계를 더 포함할 수 있다.
상기 3차원 사운드를 재생하는 방법은, 상기 수신된 신호를 바이패스할 것인지 여부를 결정하는 단계; 및 상기 수신된 신호의 바이패스가 결정된 경우, 수신된 신호를 상기 하나 이상의 원거리 스피커들 및 상기 근접 스피커 중 선택된 스피커로 전송하는 단계를 더 포함할 수 있다.
다른 일 측에 있어서, 신호를 수신하는 신호 수신부; 수신된 신호에 대한 채널 분리 및 오브젝트 분리를 수행함으로써 하나 이상의 분리된 신호들을 생성하는 1차 신호 처리부; 상기 하나 이상의 분리된 신호들의 각 신호를 채널 데이터 및 오브젝트 데이터 중 하나로 분류하는 채널 할당부; 상기 채널 데이터를 하나 이상의 원거리 스피커들로 출력하는 원거리 스피커 감지/재생부; 상기 오브젝트 데이터에 대한 음상 외재화를 구현하는 음상 외재화 구현부; 및 상기 음상 외재화가 구현된 데이터를 근접 스피커로 출력하는 근접 스피커 감지/재생부를 포함하는 3차원 사운드 재생 장치가 제공된다.
상기 1차 신호 처리부는, 상기 수신된 신호를 하나 이상의 채널들로 구분하는 채널 감지부; 상기 하나 이상의 채널들의 각 채널의 데이터를 상기 채널 데이터 및 상기 오브젝트 데이터 중 어느 것으로 사용할 것인가를 결정하는 채널 비교부; 상기 하나 이상의 채널들 중 상기 채널 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 상기 채널 데이터를 생성하는 채널 데이터 생성부; 및 상기 하나 이상의 채널들 중 상기 오브젝트 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 상기 오브젝트 데이터를 생성하는 오브젝트 데이터 생성부를 포함할 수 있다.
상기 1차 신호 처리부는, 상기 채널 데이터에 대한 레벨 보상을 수행하는 채널 믹스부; 및 상기 오브젝트 데이터에 대한 레벨 보상을 수행하는 오브젝트 데이터 믹스부를 더 포함할 수 있다.
상기 1차 신호 처리부는, 상기 하나 이상의 채널들을 하나 이상의 고 레벨 채널들 및 하나 이상의 저 레벨 채널들로 구분하는 레벨 감지부를 더 포함할 수 있다.
상기 채널 비교부는 상기 하나 이상의 저 레벨 채널들을 상기 채널 데이터로 사용할 수 있다.
상기 채널 비교부는 상기 하나 이상의 고 레벨 채널들 중 대사의 채널을 상기 오브젝트 데이터 및 채널 데이터 중 하나로 사용하도록 설정할 수 있다.
*상기 오브젝트 데이터는 공간에 대한 위치 정보, 움직임에 대한 방향 정보 및 사운드의 크기 정보를 포함할 수 있다.
상기 채널 할당부는 상기 하나 이상의 원거리 스피커들의 개수에 맞춰서 상기 하나 이상의 분리된 신호들의 각 신호를 상기 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들 및 상기 근접 스피커의 음상 외재화 채널 중 하나의 채널로 전송할 수 있다.
상기 3차원 사운드 재생 장치는, 상기 하나 이상의 분리 신호들에 대한 프로세싱을 수행하는 2차 신호 처리부를 더 포함할 수 있다.
상기 3차원 사운드 재생 장치는, 상기 수신된 신호의 바이패스가 결정된 경우, 수신된 신호를 상기 하나 이상의 원거리 스피커들 및 상기 근접 스피커 중 선택된 스피커로 전송하는 바이패스 조정부를 더 포함할 수 있다.
상기 신호 감지부는 상기 수신된 신호를 바이패스할 지 여부를 결정할 수있다.
사운드의 이미지가 청취자를 기준으로 전면으로 돌출되게 함으로써 기존의 앰비언스의 3차원 사운드를 넘어서는 사운드의 표현을 가능하게 하는 방법 및 장치를 제공한다.
3차원 사운드로 제작되지 않은 서라운드 컨텐츠에서도 채널 정보의 비교 및 분석을 통해 오브젝트 데이터를 추출하는 방법 및 장치가 제공된다.
채널 정보의 비교 및 분석을 통해 오브젝트 데이터를 추출함으로써 컨텐츠에 대한 호환성을 보장하는 방법 및 장치가 제공한다.
원거리 스피커 및 음상 외재화가 적용되는 근접 스피커를 선택적으로 사용하는 방법 및 장치가 제공된다.
기존의 스피커 및 헤드폰을 각각 그대로 활용할 수 있게 함으로써 비용을 감소시키는 방법 및 장치가 제공된다.
2개의 원거리 스피커들 및 헤드폰 만을 사용하여 서라운드 사운드를 구현함에 따라, 서라운드 스피커 설치를 위한 공간 및 비용을 감소시키면서도 서라운드 효과를 상승시키는 방법 및 장치가 제공된다.
도 1은 일 예에 따른 3차원 사운드 재생 장치의 구조도이다.
도 2는 일 예에 따른 3차원 사운드 재생 방법의 흐름도이다.
도 3은 일 예에 따른 1차 신호 처리부의 블록도이다.
도 4는 일 예에 따른 오브젝트 추출의 흐름도이다.
도 5는 일 실시예에 따른 3차원 사운드 제공 장치의 구조도이다.
도 6은 일 실시예에 따른 3차원 사운드 제공 방법의 흐름도이다.
도 7은 일 예에 따른 사운드 믹스를 나타낸다.
도 8은 일 예에 따른 믹싱 방법의 첫 번째 과정을 나타낸다.
도 9는 일 예에 따른 믹싱 방법의 두 번째 과정을 나타낸다.
도 10은 일 예에 따른 믹싱 방법의 세 번째 과정을 나타낸다.
도 11은 일 예에 따른 3차원 사운드에 대한 하나 이상의 파라미터들의 값들을 결정하기 위한 전체의 인터페이스를 나타낸다.
도 12는 일 예에 따른 거리 설정 인터페이스를 나타낸다.
도 13은 일 예에 따른 소스 설정 인터페이스를 나타낸다.
도 14는 일 예에 따른 거리 인터페이스를 나타낸다.
도 15는 일 예에 따른 선택된 점을 나타낸다.
도 16은 일 예에 따른 소스 트레이스 라인의 편집을 나타낸다.
도 17은 일 예에 따른 스크린 인터페이스를 나타낸다.
도 18은 일 예에 따른 속도 및 가속도 인터페이스를 나타낸다.
도 19는 일 예에 따른 시퀀스 인터페이스를 나타낸다.
도 20은 일 에에 따른 프로젝트의 로케이터 영역을 나타낸다.
도 21은 일 예에 따른 확대된 속도 그래프를 나타낸다.
도 22는 일 실시예에 따른 3차원 사운드 재생 장치를 구현하는 전자 장치를 도시한다.
도 23은 일 실시예에 따른 3차원 사운드 제공 장치를 구현하는 전자 장치를 도시한다.
후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
실시예에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 실시예에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않으며, 추가적인 구성이 예시적 실시예들의 실시 또는 예시적 실시예들의 기술적 사상의 범위에 포함될 수 있음을 의미한다. 어떤 구성요소(component)가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들이 서로 간에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기의 구성요소들은 상기의 용어들에 의해 한정되어서는 안 된다. 상기의 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하여 지칭하기 위해서 사용된다. 예를 들어, 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 실시예들에 나타나는 구성요소들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성요소가 분리된 하드웨어나 하나의 소프트웨어 구성 단위로만 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열된 것이다. 예를 들면, 구성요소들 중 적어도 두 개의 구성요소들이 하나의 구성요소로 합쳐질 수 있다. 또한, 하나의 구성요소가 복수의 구성요소들로 나뉠 수 있다. 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예 또한 본질에서 벗어나지 않는 한 권리범위에 포함된다.
또한, 일부의 구성요소는 본질적인 기능을 수행하는 필수적인 구성요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성요소일 수 있다. 실시예들은 실시예의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 예를 들면, 단지 성능 향상을 위해 사용되는 구성요소와 같은, 선택적 구성요소가 제외된 구조 또한 권리 범위에 포함된다.
이하에서는, 기술분야에서 통상의 지식을 가진 자가 실시예들을 용이하게 실시할 수 있도록 하기 위하여, 첨부된 도면을 참조하여 실시예들을 상세히 설명하기로 한다. 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 일 예에 따른 3차원 사운드 재생 장치의 구조도이다.
3차원 사운드 재생 장치(100)는 신호 수신부(105), 신호 감지부(110), 1차 신호 처리부(120), 채널 할당부(130), 2차 신호 처리부(140), 기능 조정부(150), 음상 외재화 구현부(160), 바이패스 조정부(170), 바이패스 전환 스위치(171), 원거리 스피커 감지/재생부(180) 및 근접 스피커 감지/재생부(190)를 포함할 수 있다.
신호 수신부(105), 신호 감지부(110), 1차 신호 처리부(120), 채널 할당부(130), 2차 신호 처리부(140), 기능 조정부(150), 음상 외재화 구현부(160), 바이패스 조정부(170), 바이패스 전환 스위치(171), 원거리 스피커 감지/재생부(180) 및 근접 스피커 감지/재생부(190)의 기능 및 동작에 대해서, 아래에서 상세하게 설명된다.
3차원 사운드 재생 장치(100)는 원거리 스피커(181) 및 근접 스피커(191)를 포함할 수 있다. 또는, 3차원 사운드 재생 장치(100) 및 원거리 스피커(181)와 유선 또는 무선으로 연결될 수 있다. 3차원 사운드 재생 장치(100) 및 근접 스피커(191)는 유선 또는 무선으로 연결될 수 있다.
원거리 스피커(181)는 음상 외재화의 용도로 사용되지 않는 스피커일 수 있다.
원거리 스피커(181)는 3차원 사운드 재생 장치(100)에 의해 생성된 사운드의 청취자와 물리적으로 떨어진 스피커일 수 있다. 원거리 스피커(181)는 라우드(loud) 스피커일 수 있다. 원거리 스피커(181)는 리시버(receiver)와 연결된 메인 스피커, 서라운드 스피커 또는 실링 스피커일 수 있다. 원거리 스피커(181)는 TV에 부착된 스피커 또는 컴퓨터에 부착된 데스크탑 스피커일 수 있다. 또는, 원거리 스피커(181)는 트랜소럴 재생을 위한 스피커일 수 있다.
근접 스피커(191)는 음상 외재화의 용도로 사용되는 스피커일 수 있다.
근접 스피커(191)는 3차원 사운드 재생 장치(100)에 의해 생성된 사운드의 청취자의 귀에 밀착한 스피커일 수 있다. 근접 스피커(191)는 헤드폰 또는 이어폰일 수 있다. 근접 스피커(191)는 인이어 헤드폰, 온이어 헤드폰 또는 오버이어 헤드폰일 수 있다.
도 2는 일 예에 따른 3차원 사운드 재생 방법의 흐름도이다.
단계(210)에서, 신호 수신부(105)는 사운드 전송 장치로부터 전송된 신호를 수신할 수 있다.
단계(220)에서, 신호 감지부(110)는 수신된 신호의 종류(type)을 감지할 수 있다.
예를 들면, 신호 감지부(110)는 수신된 신호가 3차원 사운드를 지원하는 포맷인지 여부를 감지할 수 있고, 수신된 신호가 오브젝트(object) 데이터를 포함하는지 여부를 감지할 수 있다. 또한, 신호 감지부(110)는 수신된 신호가 모노, 스테레오, 5.1 채널 및 7.1 채널 등의 신호 또는 컨텐츠임을 감지할 수 있다.
신호 감지부(110)가 전송된 신호의 종류를 감지함에 따라, 1차 신호 처리부(120)는 어떠한 방식으로 전송된 신호에 대한 프로세싱을 수행할 것인가를 결정할 수 있다.
신호 감지부(110)는 수신된 신호의 오디오 채널의 개수를 사용하여 수신된 신호의 종류를 감지할 수 있다.
예를 들면, 신호 감지부(110)는 수신된 신호가 2개의 오디오 채널들을 가지면 수신된 신호가 스테레오 신호인 것을 감지할 수 있다. 신호 감지부(110)는 수신된 신호가 6개의 오디오 채널들을 가지면 수신된 5.1 채널의 신호인 것을 감지할 수 있다. 신호 감지부(110)는 수신된 신호가 코덱(codec)을 사용하는 신호일 경우, 신호의 헤드의 정보를 사용하여 채널의 정보를 확인할 수 있고, 확인된 채널의 정보를 사용하여 수신된 신호의 종류를 감지할 수 있다.
단계(230)에서, 신호 감지부(110)는 수신된 신호를 바이패스할 지 여부를 결정할 수 있다. 또는, 신호 감지부(110)는 3차원 사운드 및 스테레오 사운드 중 어느 것을 생성할 것인 가를 결정할 수 있다. 수신된 신호를 바이패스할 경우, 스테레오 사운드가 생성될 수 있다. 수신된 신호를 바이패스하지 않을 경우 3차원 사운드가 생성될 수 있다. 스테레오 사운드는 3차원 사운드가 아닌 일반적인 2D 사운드일 수 있다.
예를 들면, 신호 감지부(110)가 2개의 오디오 채널들을 감지한 경우, 신호 감지부(110)는 3차원 사운드 및 스테레오 사운드 중 어느 것을 생성할 것인 가를 결정할 수 있다.
또한, 신호 감지부(110)에서 감지된 신호의 종류와는 무관하게 바이패스 기능을 사용하여 스테레오 사운드를 생성할 것을 결정할 수 있다. 신호 감지부(110)는 바이패스 전환 스위치(171)의 설정에 기반하여 3차원 사운드 및 스테레오 사운드 중 어느 것을 생성할 것인 가를 결정할 수 있다.
*예를 들면, 3차원 사운드 재생 장치(100)의 사용자는 바이패스 전환 스위치(171)를 설정하여 3차원 사운드 및 스테레오 사운드 중 어느 것을 생성할 것인 가를 결정할 수 있다.
예를 들면, 바이패스 전환 스위치(171)는 온(on) 또는 오프(off)로 설정될 수 있다. 바이패스 전환 스위치(171)가 온(on)으로 설정된 경우, 신호 감지부(110)는 스테레오 사운드를 생성할 수 있다. 바이패스 전환 스위치(171)가 오프(off)으로 설정된 경우, 후술될 3차원 사운드가 생성될 수 있다.
예를 들면, 바이패스 전환 스위치(171)는 "원거리 출력", "근접 출력" 또는 오프(off)로 설정될 수 있다. 바이패스 전환 스위치(171)가 "원거리 출력" 또는 "근접 출력"으로 설정된 경우, 신호 감지부(110)는 스테레오 사운드를 생성할 수 있다. 바이패스 전환 스위치(171)가 오프(off)으로 설정된 경우, 후술될 3차원 사운드가 생성될 수 있다.
수신된 신호의 바이패스가 결정된 경우(즉, 스테레오 사운드가 생성되는 것이 결정된 경우), 단계(235)가 수행될 수 있다. 수신된 신호를 바이패스하지 않는 것이 결정된 경우(즉, 3차원 사운드가 생성되는 것이 결정된 경우), 단계(245)가 수행될 수 있다.
단계(235)에서, 수신된 신호의 바이패스가 결정된 경우, 바이패스 조정부(170)는 원거리 스피커(181) 및 근접 스피커(191) 중 수신된 신호가 곧바로 전송될 스피커를 선택할 수 있다. 바이패스 조정부(170)는 수신된 신호를 하나 이상의 원거리 스피커들 및 근접 스피커(191) 중 선택된 스피커로 곧바로 전송할 수 있다.
예를 들면, 바이패스 전환 스위치(171)가 "원거리 출력"으로 설정된 경우, 바이패스 조정부(170)는 원거리 스피커(181)를 선택할 수 있고, 수신된 신호를 원거리 스피커(181)로 곧바로 전송할 수 있다. 바이패스 전환 스위치(171)가 "근접 출력"으로 설정된 경우, 바이패스 조정부(170)는 근접 스피커(191)를 선택할 수 있고, 수신된 신호를 근접 스피커(191)로 곧바로 전송할 수 있다.
단계(240)에서, 기능 조정부(150)는 청취자의 취향에 따른 설정을 수행할 수 있다. 설정은 1차 신호 처리부(120)의 동작에 영향을 미칠 수 있다. 기능 조정부(150)는 1차 신호 처리부(120)를 위한 설정을 수행할 수 있다.
예를 들면, 기능 조정부(150)는 청취자의 취향에 따라 다운믹스(downmix)를 설정할 수 있다.
예를 들면, 기능 조정부(150)는 청취자의 취향에 따라 업믹스(upmix)를 설정할 수 있다.
단계(245)에서, 1차 신호 처리부(120)는 신호 감지부(110)에서 감지된 신호에 대한 채널 분리 및 오브젝트 분리를 수행함으로써 하나 이상의 분리된 신호들을 생성할 수 있다.
1차 신호 처리부(120)는 감지된 신호로부터 채널 데이터 및 오브젝트 데이터를 분리함으로써 감지된 신호로부터 채널 데이터 및 오브젝트 데이터를 추출할 수 있다.
채널 데이터 및 오브젝트 데이터는 3차원 데이터를 구성할 수 있다. 또는, 3차원 데이터는 채널 데이터 및 오브젝트 데이터를 포함할 수 있다.
채널 데이터는 감지된 신호 중 1차 신호 처리부(120)에 의해 인식된 채널 성분의 데이터일 수 있다.
오브젝트 데이터는 감지된 신호 중 1차 신호 처리부(120)에 의해 인식된 오브젝트 성분의 데이터일 수 있다. 오브젝트 데이터는 공간에 대한 위치 정보, 움직임에 대한 방향 정보 및 사운드의 크기 정보 등을 포함할 수 있다.
1차 신호 처리부(120)는 감지된 신호의 채널 데이터를 서라운드 규격에 맞게 분리할 수 있다.
1차 신호 처리부(120)는 하나 이상의 오브젝트들의 각 오브젝트에 대하여, 각 오브젝트의 오토메이션 데이터를 분리 및 추출할 수 있다.
1차 신호 처리부(120)는 감지된 신호의 종류에 따른 프로세싱을 적용할 수 있다. 또한, 1차 신호 처리부(120)는 사용자에 의해 결정된 프로세싱의 모드에 따라 감지된 신호에 대한 채널 분리 및 오브젝트 분리를 수행할 수 있다. 예를 들면, 모드는 스테레오 모드, 다채널 서라운드 모드 및 오브젝트를 포함하는 3차원 오디오 모드를 포함할 수 있다. 스테레오 모드가 설정된 경우, 1차 신호 처리부(120)는 별도의 프로세싱 없이 감지된 신호의 채널 데이터를 채널 할당부(130)에게 제공할 수 있다. 다채널 서라운드 모드가 설정된 경우, 1차 신호 처리부(120)는 오브젝트 추출 방법을 사용하여 채널 데이터 및 오브젝트 데이터를 분리할 수 있고, 분리된 채널 데이터 및 오브젝트 데이터를 채널 할당부(130)에게 제공할 수 있다. 오브젝트를 포함하는 3차원 오디오 모드가 설정된 경우, 1차 신호 처리부(120)는 감지된 신호의 채널 정보 및 오브젝트 정보에 따라서 채널 데이터 및 오브젝트 데이터를 분리할 수 있고, 분리된 채널 데이터 및 오브젝트 데이터를 채널 할당부(130)에게 제공할 수 있다.
1차 신호 처리부(120)는 감지된 신호가 3차원 사운드에 대응하는 경우, 디코더(decoder)를 사용하여 채널 데이터, 오브젝트 데이터 및 공간 이미지 데이터를 분리 및 추출할 수 있다.
하나 이상의 분리된 신호들은 채널 데이터, 오브젝트 데이터 및 공간 이미지 데이터 중 적어도 일부를 포함할 수 있다.
1차 신호 처리부(120)는 하나 이상의 분리된 신호들을 채널 할당부(130)로 전송할 수 있다.
단계(250)에서, 채널 할당부(130)는 원거리 스피커(181) 및 근접 스피커(191)에 대한 정보를 획득할 수 있다.
채널 할당부(130)는 3차원 사운드 재생 장치(100)에 원거리 스피커(181)가 연결되었는지 여부를 감지할 수 있고, 3차원 사운드 재생 장치(100)에 연결된 원거리 스피커(181)의 개수를 결정할 수 있다.
원거리 스피커 감지/재생부(180)는 원거리 스피커(181)가 연결되었는지 여부를 감지할 수 있고, 3차원 사운드 재생 장치(100)에 연결된 원거리 스피커(181)의 개수를 감지할 수 있다.
원거리 스피커 감지/재생부(180)는 3차원 사운드 재생 장치(100)에 실제로 연결된 원거리 스피커(181)를 감지할 수 있다. 원거리 스피커 감지/재생부(180)는 감지된 원거리 스피커(181)의 개수를 채널 할당부(130)에게 제공할 수 있다. 원거리 스피커 감지/재생부(180)는 프리 앰프 및/또는 파워 앰프에 현재 연결된 원거리 스피커(181)의 개수를 감지할 수 있다.
원거리 스피커 감지/재생부(180)는 사용자에 의해 설정된 감지된 원거리 스피커(181)의 개수를 채널 할당부(130)에게 제공할 수 있다.
채널 할당부(130)는 3차원 사운드 재생 장치(100)에 근접 스피커(191)가 연결되었는지 여부를 감지할 수 있다.
근접 스피커 감지/재생부(190)는 3차원 사운드 재생 장치(100)에 실제로 연결된 근접 스피커(191)를 감지할 수 있다. 근접 스피커 감지/재생부(190)는 3차원 사운드 재생 장치(100)에 실제로 근접 스피커(191)가 연결되었는지 여부를 나타내는 정보를 채널 할당부(130)에게 제공할 수 있다.
단계(255)에서, 하나 이상의 분리된 신호들의 각 신호에 대한 할당을 수행할 수 있다. 채널 할당부(130)는 채널 할당부(130)는 감지된 하나 이상의 원거리 스피커들의 개수 및 근접 스피커(191)가 연결되었는지 여부에 따라 하나 이상의 분리된 신호들의 각 신호에 대한 할당을 수행할 수 있다. 여기에서, 할당은 신호를 채널 데이터 및 오브젝트 데이터 중 하나로 분류하는 것일 수 있다.
채널 할당부(130)는 하나 이상의 분리된 신호들의 각 신호를 채널 데이터 및 오브젝트 데이터 중 하나로 분류할 수 있다. 채널 할당부(130)는 감지된 하나 이상의 원거리 스피커들의 개수 및 근접 스피커(191)가 연결되었는지 여부에 따라 하나 이상의 분리된 신호들의 각 신호를 채널 데이터 및 오브젝트 데이터 중 하나로 분류할 수 있다.
채널 할당부(130)는 3차원 사운드 재생 장치(100)가 지원하는 채널에 맞게 채널 정보를 할당하고, 오브젝트 데이터를 배치할 수 있다.
채널 할당부(130)는 채널 데이터를 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들로 분리할 수 있고, 오브젝트 데이터를 근접 스피커(191)의 음상 외재화 채널로 분리할 수 있다.
채널 할당부(130)는 하나 이상의 원거리 스피커들의 개수에 맞춰서 하나 이상의 분리된 신호들의 각 신호를 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들 및 근접 스피커(191)의 음상 외재화 채널 중 하나의 채널로 전송할 수 있다.
원거리 스피커 채널은 원거리 스피커(181)의 채널일 수 있다. 음상 외재화 채널은 근접 스피커(191)의 채널일 수 있다. 원거리 스피커 채널은 채널 데이터가 제공되는 채널일 수 있다. 음상 외재화 채널은 오브젝트 데이터가 제공되는 채널일 수 있다. 말하자면, 원거리 스피커 채널은 실제적으로 채널 데이터를 나타낼 수 있고, 음상 외재화 채널은 실제적으로 오브젝트 데이터를 나타낼 수 있다.
원거리 스피커 채널은 5.1 채널, 7.1 채널, 8.1 채널, 9.1 채널, 10.2 채널, 11.1 채널, 13.1 채널, 14.2 채널, 15.1 채널, 22.2 채널, 30.2 채널 및 31.1 채널 등의 서라운드 포맷으로 분리된 데이터를 제공할 수 있다. 원거리 스피커 채널은 현존하는 모든 서라운드 포맷을 지원할 수 있다.
음상 외재화 채널은 오브젝트의 데이터, 공간 좌표, 벡터 및 레벨 등에 대한 정보를 제공할 수 있다.
다만, 원거리 스피커 채널 및 음상 외재화 채널은 서로 간에 교체될 수 있다. 말하자면, 채널 할당부(130)는 필요에 따라 원거리 스피커 채널을 오브젝트 데이터를 재생하는 채널로서 사용할 수 있고, 음상 외재화 채널을 채널 데이터를 재생하는 채널로서 사용할 수 있다.
채널 할당부(130)는 아래의 할당 규칙을 사용하여 하나 이상의 분리된 신호들을 하나 이상의 원거리 스피커 채널들로 전송할 수 있다.
*N은 하나 이상의 원거리 스피커들의 개수를 나타낼 수 있고, n은 하나 이상의 분리된 신호들의 하나 이상의 유효 채널들의 개수를 나타낼 수 있다.
1) N 및 n이 동일한 경우, 채널 할당부(130)는 하나 이상의 유효 채널들을 하나 이상의 원거리 스피커 채널들에 1대1로 어사인(assign)할 수 있다.
2) N이 n보다 작은 경우, 채널 할당부(130)는 하나 이상의 유효 채널들 중 하나 이상의 원거리 스피커들의 개수만큼의 일부 유효 채널을 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들에 각각 어사인할 수 있고, 하나 이상의 유효 채널들 중 하나 이상의 원거리 채널들에 어사인되지 않은 나머지의 유효 채널을 음상 외재화 채널로 어사인할 수 있다.
3) N이 n보다 작은 경우, 사용자의 설정에 따라, 채널 할당부(130)는 하나 이상의 유효 채널들에 대한 다운믹스(downmix)를 수행할 수 있다.
예를 들면, 채널 할당부(130)는 하나 이상의 원거리 스피커들의 개수에 맞춰 복수의 유효 채널들에 대한 다운믹스를 수행할 수 있다. 채널 할당부(130)는 다운믹스를 통해 하나 이상의 유효 채널들의 전부를 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들에만 할당하고, 음상 외재화 채널에는 할당하지 않을 수 있다.
예를 들면, 채널 할당부(130)는 다운믹스를 통해 하나 이상의 유효 채널들의 전부를 음상 외재화 채널에만 할당할 수 있고, 하나 이상의 원거리 스피커 채널들에는 할당하지 않을 수 있다.
4) N이 n보다 큰 경우, 채널 할당부(130)는 하나 이상의 유효 채널들을 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들 중 하나 이상의 유효 채널들의 개수만큼의 일부 원거리 스피커 채널에 각각 어사인할 수 있고, 하나 이상의 원거리 스피커 채널들 중 하나 이상의 유효 채널들의 각 유효 채널이 할당되지 않은 나머지의 원거리 스피커 채널에는 유효 채널을 할당하지 않을 수 있다.
5) N이 n보다 큰 경우, 사용자의 설정에 따라, 채널 할당부(130)는 하나 이상의 유효 채널들에 대한 업믹스(upmix)를 수행할 수 있다.
예를 들면, 채널 할당부(130)는 하나 이상의 원거리 스피커들의 개수에 맞춰 하나 이상의 유효 채널들에 대한 업믹스를 수행할 수 있다. 채널 할당부(130)는 업믹스를 통해 하나 이상의 유효 채널들의 전부를 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들에 할당하고, 음상 외재화 채널에는 할당하지 않을 수 있다.
예를 들면, 채널 할당부(130)는 하나 이상의 유효 채널들의 전부를 음상 외재화 채널에만 할당할 수 있고, 하나 이상의 원거리 스피커 채널들에는 할당하지 않을 수 있다.
단계(255)에서, 기능 조정부(150)는 2차 신호 처리부(140)를 위한 설정을 수행할 수 있다.
기능 조정부(150)는 2차 신호 처리부(140)가 하나 이상의 분리된 신호들에 대한 프로세싱을 수행하기 위해 사용하는 파라미터를 설정할 수 있다. 기능 조정부(150)는 파라미터의 설정에 대한 사용자의 입력을 수신할 수 있다.
예를 들면, 기능 조정부(150)는 청취자의 환경에 따른 공간의 크기를 조정할 수 있고, 청취자의 취향에 따른 가상 공간의 크기를 조정할 수 있다.
예를 들면, 기능 조정부(150)는 청취자의 환경을 보정하기 위한 이퀄라이저, 컴프레서 및 딜레이 등과 같은 사운드 이펙트를 설정할 수 있다.
예를 들면, 기능 조정부(150)는 청취자의 청음 환경에 대한 보정을 위한 하나 이상의 분리된 신호들의 각 신호의 레벨의 조정을 설정할 수 있다.
예를 들면, 기능 조정부(150)는 청취자의 청음 환경에 대한 보정을 위한 하나 이상의 원거리 스피커들의 위치들을 설정할 수 있다.
단계(260)에서, 2차 신호 처리부(140)는 하나 이상의 분리된 신호들에 대한 프로세싱을 수행할 수 있다.
2차 신호 처리부(140)는 프로세싱을 통해 청취자의 취향에 맞춰 하나 이상의 분리된 신호들의 각 신호의 음색 및 레벨 등을 설정할 수 있고, 각 신호에 가상 공간 이미지를 추가할 수 있다.
2차 신호 처리부(140)는 청취자의 환경에 따른 공간 또는 청취자의 취향에 따른 가상의 공간 등에 맞춰 하나 이상의 분리된 신호들의 각 신호를 가공할 수 있다. 각 신호는 채널 데이터 및 오브젝트 데이터 중 하나일 수 있다.
근접 스피커(191)가 감지되지 않은 경우, 2차 신호 처리부(140)는 오브젝트 데이터를 채널 데이터로 믹스할 수 있다.
예를 들면, 2차 신호 처리부(140)는 하나 이상의 분리된 신호들의 각 신호에 공간 이미지를 부여할 수 있다. 공간 이미지의 부여를 통해 2차 신호 처리부(140)는 룸 시뮬레이터의 기능을 수행할 수 있다.
예를 들면, 2차 신호 처리부(140)는 청취자의 청음 환경에 맞춰 하나 이상의 분리된 신호들의 각 신호에 사운드 이펙트를 적용할 수 있다.
예를 들면, 2차 신호 처리부(140)는 청취자의 청음 환경에 맞춰 하나 이상의 분리된 신호들의 각 신호의 레벨 및 음색을 조정할 수 있다.
예를 들면, 2차 신호 처리부(140)는 하나 이상의 원거리 스피커들의 각 원거리 스피커 및 근접 스피커의 레벨을 조정할 수 있다.
예를 들면, 2차 신호 처리부(140)는 하나 이상의 원거리 스피커들의 위치들을 조정할 수 있다.
예를 들면, 2차 신호 처리부(140)는 하나 이상의 원거리 스피커들 및 근접 스피커 간의 인위적인 거리를 조정할 수 있다.
예를 들면, 2차 신호 처리부(140)는 하나 이상의 원거리 스피커들 및 근접 스피커의 레벨들을 믹스할 수 있다.
단계(270)에서, 원거리 스피커 감지/재생부(180)는 2차 신호 처리부(140)에 의해 프로세싱된 채널 데이터를 하나 이상의 원거리 스피커들로 출력할 수 있다.
단계(280)에서, 음상 외재화 구현부(160)는 2차 신호 처리부(140)에 의해 프로세싱된 오브젝트 데이터에 대한 음상 외재화를 구현할 수 있다. 음상 외재화 구현부(160)는 음상 외재화의 구현을 통해 음상 외재화가 구현된 데이터를 생성할 수 있다.
음상 외재화 구현부(150)는 2차 신호 처리부(140)에 의해 프로세싱된 오브젝트 데이터가 나타내는 정보를 공간 이미지 데이터가 나타내는 공간 이미지에 맞춰 재배치함으로써 음상 외재화를 구현할 수 있다.
오브젝트 데이터의 채널은 제한되지 않을 수 있다. 말하자면, 오브젝트 데이터는 하나 이상의, 무한대의 채널을 통해 음상 외재화 구현부(160)로 입력될 수 있다.
음상 외재화 구현부(160)에 의해 생성된 음상 외재화가 구현된 데이터는 2개 이상의 채널들을 포함할 수 있다.
단계(290)에서, 근접 스피커 감지/재생부(190)는 음상 외재화가 구현된 데이터를 근접 스피커(191)를 사용하여 재생할 수 있다. 근접 스피커 감지/재생부(190)는 음상 외재화가 구현된 데이터를 근접 스피커(191)로 출력할 수 있다.
근접 스피커 감지/재생부(190)는 음상 외재화가 구현된 데이터에 대한 음상 외재화의 프로세싱을 처리할 수 있다.
근접 스피커 감지/재생부(190)는 음상 외재화의 프로세싱의 결과를 근접 스피커(191)로 출력할 수 있다.
도 3은 일 예에 따른 1차 신호 처리부의 블록도이다.
1차 신호 처리부(120)는 채널 감지부(310), 레벨 감지부(320), 트레숄드(threshold) 제어부(330), 채널 비교부(340), 오브젝트 데이터 할당 제어부(350), 채널 데이터 생성부(360), 오브젝트 데이터 생성부(370), 채널 믹스부(380) 및 오브젝트 데이터 믹스부(390)를 포함할 수 있다.
채널 감지부(310), 레벨 감지부(320), 트레숄드 제어부(330), 채널 비교부(340), 오브젝트 데이터 할당 제어부(350), 채널 데이터 생성부(360), 오브젝트 데이터 생성부(370), 채널 믹스부(380) 및 오브젝트 데이터 믹스부(390)의 기능 및 동작에 대해서, 아래에서 상세하게 설명된다.
도 4는 일 예에 따른 오브젝트 추출의 흐름도이다.
아래의 단계들(410, 415, 420, 425, 430, 440, 445, 450 및 455)은 신호 감지부(110)가 3차원 오디오 신호가 아닌 일반의 서라운드 신호를 감지하고, 바이패스 조정부(170)에서 바이패스 기능이 사용되지 않은 경우에 수행될 수 있다. 도 2를 참조하여 전술된 단계(245)는 단계들(410, 415, 420, 425, 430, 440, 445, 450 및 455)을 포함할 수 있다.
아래의 단계들(410, 415, 420, 425, 430, 440, 445, 450 및 455)을 통해, 1차 신호 처리부(120)는 기존의 컨텐츠에 대한 호환을 제공할 수 있으며, 바이노널을 추출할 수 있다.
단계(410)에서, 채널 감지부(310)는 감지된 신호의 서라운드 포맷에 따라서 신호 감지부(110)에 의해 감지된 신호를 하나 이상의 채널들로 구분할 수 있다. 하나 이상의 채널들의 각 채널은 고유의 채널 번호를 가질 수 있다.
채널 감지부(310)는 신호 감지부(110)에 의해 감지된 신호가 서라운드 채널을 포함하는 경우, 서라운드 채널의 서라운드 포맷에 따라 감지된 신호를 하나 이상의 채널들로 분리할 수 있다.
예를 들면, 서라운드 채널은 5.1 채널 및 7.1 채널 등을 포함할 수 있다. 예를 들면, 서라운드 채널은 높이(height) 성분을 갖지 않는 모든 채널을 포함할 수 있다. 예를 들면, 서라운드 채널은 6.1 채널, 8.1 채널 및 9.1 채널을 포함할 수 있다.
채널 감지부(310)는 신호 감지부(110)에 의해 감지된 신호가 서라운드 채널을 포함하지 않는 경우, 감지된 신호를 채널 할당부(130)로 바이패스할 수 있다. 예를 들면, 감지된 신호가 스테레오 채널의 신호일 경우, 감지된 신호는 서라운드 채널을 포함하지 않을 수 있다.
단계(415)에서, 트레숄드 제어부(330)는 트레숄드 레벨을 결정할 수 있다.
단계(420)에서, 레벨 감지부(320)는 하나 이상의 채널들의 레벨들을 각각 감지할 수 있고, 하나 이상의 채널들을 하나 이상의 고 레벨 채널들 및 하나 이상의 저 레벨 채널들로 구분할 수 있다.
하나 이상의 고 레벨 채널들의 각 채널은 트레숄드 레벨 이상의 레벨을 갖는 채널일 수 있다. 하나 이상의 저 레벨 채널들의 각 채널은 트레숄드 레벨 보다 작은 레벨을 갖는 채널일 수 있다. 레벨 감지부(320)는 하나 이상의 채널들 중 트레숄드 레벨 이상의 레벨을 갖는 채널을 고 레벨 채널로 분류할 수 있고, 트레숄드 레벨 보다 더 작은 레벨을 갖는 채널을 저 레벨 채널로 분류할 수 있다. 기본적으로, 고 레벨 채널은 오브젝트 데이터로 사용될 수 있고, 저 레벨 채널은 채널 데이터로 사용될 수 있다.
레벨 감지부(320)는 하나 이상의 고 레벨 채널들 및 하나 이상의 저 레벨 채널들을 채널 비교부(340)로 전송할 수 있다.
단계(425)에서, 오브젝트 데이터 할당 제어부(350)는 대사를 채널 데이터 및 오브젝트 데이터 중 어느 것으로 사용할 것인가를 설정할 수 있다.
단계(430)에서, 채널 비교부(340)는 하나 이상의 채널들의 각 채널의 데이터를 채널 데이터 및 오브젝트 데이터 중 어느 것으로 사용할 것인가를 설정할 수 있다.
채널 비교부(340)는 하나 이상의 저 레벨 채널들을 채널 데이터로 사용되도록 설정할 수 있다.
채널 비교부(340)는 하나 이상의 고 레벨 채널들에 대한 채널 비교를 통해 하나 이상의 고 레벨 채널들의 데이터를 오브젝트 데이터 및 채널 데이터 중 어느 것으로 사용하도록 설정할 것인가를 최종적으로 결정할 수 있다.
채널 비교부(340)는 하나 이상의 고 레벨 채널들 중 대사의 채널을 오브젝트 데이터 할당 제어부(350)의 설정에 따라 오브젝트 데이터 및 채널 데이터 중 하나로 사용하도록 설정할 수 있다. 말하자면, 채널 비교부(340)는 하나 이상의 고 레벨 채널들 중 대사의 채널을 오브젝트 데이터 할당 제어부(350)의 설정에 따라 원거리 스피커 채널 및 음상 외재화 채널 중 어느 채널로서 사용할 것인가를 결정할 수 있다.
예를 들면, 대사가 채널 데이터로 사용되도록 설정된 경우, 채널 비교부(340)는 하나 이상의 고 레벨 채널들 중 대사의 채널을 채널 데이터로 사용되도록 설정할 수 있다. 대사가 오브젝트 데이터로 할당되도록 설정된 경우, 채널 비교부(340)는 하나 이상의 고 레벨 채널들 중 대사의 채널을 오브젝트 데이터로 사용되도록 설정할 수 있다.
예를 들면, 하나 이상의 채널들 중 센터(center) 채널에서만 데이터가 추출된 경우, 센터 채널은 90% 이상의 확률로 대사 채널일 수 있다.
예를 들면, 하나 이상의 고 레벨 채널들 중 복수의 채널들에서 동일한 데이터가 추출된 경우, 채널 비교부(340)는 동일한 데이터가 추출된 복수의 채널들을 오브젝트 데이터로 사용되도록 설정할 수 있다.
예를 들면, 하나 이상의 고 레벨 채널들 중 센터 채널이 아닌 채널에서 하나의 채널에 대한 데이터가 추출된 경우, 추출된 데이터는 특수 이펙트일 수 있다. 특수 이펙트는 오브젝트 데이터일 수 있다. 따라서, 하나 이상의 고 레벨 채널들 중 센터 채널이 아닌 채널에서 하나의 채널에 대한 데이터가 추출된 경우, 채널 비교부(340)는 하나의 채널에 대한 데이터가 추출된 채널을 오브젝트 데이터로 사용되도록 설정할 수 있다.
예를 들면, 하나 이상의 고 레벨 채널들 중 좌측 채널 및 우측 채널에서만 데이터가 추출된 경우, 추출된 데이터는 음악 데이터 또는 큰 음량을 가진 앰비언스일 수 있다. 음악 데이터 또는 큰 음량을 가진 앰비언스는 채널 데이터일 수 있다. 따라서, 하나 이상의 고 레벨 채널들 중 좌측 채널 및 우측 채널에서만 데이터가 추출된 경우, 채널 비교부(340)는 좌측 채널 및 우측 채널을 채널 데이터로 사용되도록 설정할 수 있다.
단계(440)에서, 채널 데이터 생성부(360)는 하나 이상의 채널들 중 채널 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 채널 데이터를 생성할 수 있다.
채널 데이터 생성부(360)는 트레숄드 제어부(330)에 의해 설정된 트레숄드 레벨 이상의 레벨을 갖는 채널의 데이터가 원거리 스피커(181)에서 재생되지 않게 할 수 있다.
채널 데이터 생성부(360)는 채널 비교부(340)의 설정 방식에 따라 채널 데이터로 사용되도록 설정된 채널의 데이터가 원거리 스피커 채널을 통해 재생되게 할 수 있다.
단계(445)에서, 채널 믹스부(380)는 채널 데이터에 대하여, 오브젝트 데이터의 추출에 따라 감쇄된 레벨에 대한 레벨 보상을 수행할 수 있다.
채널 믹스부(380)는 레벨 보상에 있어서 릴리스(release) 파라미터를 적용할 수 있다. 릴리스 파라미터를 적용함에 따라 트레숄드 영역에서 오브젝트 데이터 및 사운드 간의 끊김 현상이 방지될 수 있다.
단계(450)에서, 오브젝트 데이터 생성부(370)는 하나 이상의 채널들 중 오브젝트 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 오브젝트 데이터를 생성할 수 있다.
오브젝트 데이터 생성부(370)는 트레숄드 제어부(330)에 의해 설정된 트레숄드 레벨 이상의 레벨을 갖는 채널의 데이터만 근접 스피커(191)에서 재생되게 할 수 있다.
채널 데이터 생성부(360)는 채널 비교부(340)의 설정 방식에 따라 오브젝트 데이터로 사용되도록 설정된 채널의 데이터가 음상 외재화 채널을 통해 재생되게 할 수 있다.
단계(455)에서, 오브젝트 데이터 믹스부(390)는 오브젝트 데이터에 대하여, 오브젝트 데이터의 추출에 따라 감쇄된 레벨에 대한 레벨 보상을 수행할 수 있다.
오브젝트 데이터는 채널 성분으로부터 추출될 수 있다. 따라서, 오브젝트 데이터 믹스부(390)는 게이트(gate)와 같은 파라미터를 사용하여 순수한 오브젝트 데이터만이 재생될 수 있도록 오브젝트 데이터에 대한 조정을 수행할 수 있다.
또한, 자연스러운 오브젝트 데이터를 재생하기 위해, 오브젝트 데이터 믹스부(390)는 채널 데이터 및 오브젝트 데이터 간의 믹스가 자연스럽게 이루어질 수 있도록 게이트 타임(gate time)을 적용하여 오브젝트 데이터에 대한 조정을 수행할 수 있다.
도 5는 일 실시예에 따른 3차원 사운드 제공 장치의 구조도이다.
3차원 사운드 제공 장치(500)는 설정부(510), 생성부(520) 및 출력부(530)를 포함할 수 있다. 설정부(510), 생성부(520) 및 출력부(530)의 기능 및 동작에 대해서, 아래에서 상세하게 설명된다.
도 6은 일 실시예에 따른 3차원 사운드 제공 방법의 흐름도이다.
단계(610)에서, 설정부(510)는 3차원 사운드에 대한 하나 이상의 파라미터들의 값들을 결정할 수 있다. 하나 이상의 파라미터들은 3차원 공간 상에 위치하는 사운드의 소스와 관련될 수 있다.
하나 이상의 파라미터들의 값들은 후술될 그래픽 인터페이스를 통해 편집될 수 있다.
단계(610)는 하나 이상의 파라미터들의 값들이 변경됨에 따라 반복해서 수행될 수 있다.
단계(620)에서, 생성부(520)는 하나 이상의 파라미터들에 기반하여 3차원 사운드의 데이터를 생성할 수 있다.
생성부(520)는 하나 이상의 파라미터들을 반영하여 3차원 사운드의 데이터를 생성할 수 있다.
3차원 사운드의 데이터는 복수의 채널들의 데이터를 포함할 수 있다. 하나 이상의 파라미터들은 복수의 채널들의 각 채널 별로 사용될 수 있다.
단계(630)에서, 출력부(530)는 3차원 사운드의 데이터를 포함하는 신호를 출력할 수 있다. 출력된 신호는 3차원 사운드 재생 장치(100)에 의해 수신 및 사용될 수 있다.
출력된 신호의 3차원 사운드의 데이터는 도 2 내지 도 4를 참조하여 전술된 오브젝트 데이터에 대응할 수 있다. 말하자면, 하나 이상의 파라미터들은 오브젝트 데이터의 공간에 대한 위치 정보, 움직임에 대한 방향 정보 및 사운드의 크기 정보에 각각 대응할 수 있다. 예를 들면, 하나 이상의 파라미터들 중 소스의 위치에 관련된 파라미터는 공간에 대한 위치 정보에 대응할 수 있다. 하나 이상의 파라미터들 중 소스의 움직임에 관련된 파라미터는 움직임에 대한 방향 정보에 대응할 수 있다. 하나 이상의 파라미터들 중 소스의 댐퍼, 믹스, 디퓨즈, 게인 및 테일을 나타내는 파라미터는 사운드의 크기 정보에 대응할 수 있다.
하나 이상의 파라미터들의 각각에 대해, 아래에서 상세하게 설명된다.
도 7은 일 예에 따른 사운드 믹스를 나타낸다.
도 7에서는, 스크린 및 트레숄드가 도시되었다. 트레숄드는 벌지 제한 라인(bulge limit line)을 나타낼 수 있다. D는 일반적인 믹싱 라인 및 본 발명의 일 예에 따른 믹싱 라인 간의 차이를 나타낼 수 있다. 스크린은 영상이 맺히는 위치일 수 있다.
일반적인 사운드 믹스에서는, 스크린을 기준으로 한 믹스가 이루어질 수 있다. 말하자면, 스크린의 지점에서의 딜레이는 0일 수 있다.
믹스를 통해, 트레숄드 d만큼의 딜레이를 사운드의 전체 신호에 더해지면, 실질적으로 사운드는 스크린으로부터 트레숄드에 해당하는 거리 d'만큼 뒤에서 표현될 수 있다. 단계(610)에서, 설정부(510)는 트레숄드 d를 파라미터로서 설정할 수 있다. 단계(620)에서, 생성부(520)는 3차원 사운드의 전체의 신호에 대해 트레숄드 d만큼의 딜레이를 가함으로써 3차원 사운드가 트레숄드 d에 해당하는 거리만큼 뒤에서 표현되게 할 수 있다.
물리적으로, 딜레이는 앞으로 당겨질 수는 없다. 그러나, 시청자의 청각이 d'의 거리를 인식하면, 시청자의 심리적 요인에 따라 시청자는 스크린의 위치에 맞춰서 사운드를 인식할 수 있다. 말하자면, 결과적으로, 시청자는 스크린의 위치가 사운드가 생성되는 것처럼 인식할 수 있다.
전술된 것과 같은 믹스 방법을 사용하면, D의 거리만큼은 시청자가 위치한 객석을 향해 사운드가 돌출될 수 있다. 단, 사운드가 돌출되기 위해서는 사운드의 소스가 속도 성분을 가져야만 할 수도 있다.
이하, 소스는 사운드의 소스를 나타낼 수 있다. 또한, 소스는 전술된 오브젝트에 대응할 수 있다.
도 8은 일 예에 따른 믹싱 방법의 첫 번째 과정을 나타낸다.
도 8에서 도시된 것과 같이, 단계(620)에서, 생성부(520)는 3차원 사운드의 전체의 신호에 대해 트레숄드 d만큼의 딜레이를 가함으로써 공간 이미지를 크게 만들 수 있다.
단계(620)에서, 생성부(520)는 리버브 처리에 있어서, 프리-딜레이의 값을 증가된 공간에 해당하는 거리 d 만큼 감소시킬 수 있다. 프리-딜레이의 값을 김소시킴으로써 생성부(520)는 시청자가 증가된 공간을 인지하지 못하도록 믹싱을 수행할 수 있다.
도 9는 일 예에 따른 믹싱 방법의 두 번째 과정을 나타낸다.
공간에 대한 왜곡 및 시청자의 왜곡에 대한 인식을 최소화하기 위해 스크린의 후면에는 딜레이가 적용되지 않을 수 있다.
시청자가 공간에 대해 충분히 적응된 경우, d 만큼 적용된 딜레이는 무시될 수 있고, 스크린을 기준으로 사운드 이미지가 형성될 수 있다.
도 10은 일 예에 따른 믹싱 방법의 세 번째 과정을 나타낸다.
스크린을 기준으로 사운드 이미지가 형성됨에 따라, 결과적으로 스크린으로부터 돌출된 사운드가 표현될 수 있다.
스크린의 후면에 대한 사운드의 보정이 수행되면, 보다 뛰어난 효과가 획득될 수 있다.
아래에서는, 전면 스크린 패닝을 위한 그래픽 인터페이스가 설명된다. 아래의 그래픽 인터페이스에 의해 파라미터가 논리니어(nonlinear) 형식으로 편집될 수 있다. 또한, 아래의 그래픽 인터페이스에 의해 사운드 소스의 속도 및 가속도가 부여될 수 있고, 사운드 소스에 대한 사운드 효과가 처리될 수 있다. 사운드 효과는 도플러 처리를 포함할 수 있다.
도 11은 일 예에 따른 3차원 사운드에 대한 하나 이상의 파라미터들의 값들을 결정하기 위한 전체의 인터페이스를 나타낸다.
전체의 인터페이스(1100)는 거리 설정 인터페이스(1110), 소스 설정 인터페이스(1120), 거리 인터페이스(1130), 스크린 인터페이스(1140), 속도 인터페이스(1150) 및 시퀀스 인터페이스(1160) 중 적어도 일부를 포함할 수 있다.
각 인터페이스에서, 소스의 시작 점은 S로 표현될 수 있다. 사운드 소스의 끝 점은 E로 표현될 수 있다. 이하에서, 소스의 시작 점은 시작 점으로 약술될 수 있다. 소스의 끝 점은 끝 점으로 약술될 수 있다.
도 12는 일 예에 따른 거리 설정 인터페이스를 나타낸다.
거리 설정 인터페이스(1110)는 거리 노브(1210), 거리 값(1215), 트레숄드 노브(1220), 트레숄드 값(1225), 댐퍼 노브(1230), 댐퍼 값(1235), 믹스 노브(1240), 믹스 값(1245) 및 제한 리셋 버튼(1250)을 포함할 수 있다.
거리 설정 인터페이스(1210)를 통해 사운드 소스가 스크린의 뒤쪽에 형성될 수 있다.
거리 값(1215)은 스크린의 뒤쪽의 영역의 최대 거리를 나타낼 수 있다. 거리 노브(1210)는 거리 값(1215)을 조정할 수 있다.
하나 이상의 파라미터들은 스크린의 뒤쪽의 영역의 최대 거리를 나타내는 최대 거리 파라미터를 포함할 수 있다.
예를 들면, 최대 거리 파라미터는 0 내지 1000의 값을 가질 수 있다. 최대 거리 파라미터의 기본 값은 0일 수 있다.
최대 거리 파라미터에 따라 소스의 시작 점 및 끝 점의 값의 범위가 변경될 수 있다. 예를 들면, 소스의 시작 점 및 끝 점이 스크린의 뒤쪽에 위치하였을 때 소스의 시작 점 및 끝 점의 스크린으로부터의 거리는 최대 거리 파라미터의 값보다 클 수 없다.
트레숄드 값(1225)은 스크린의 앞쪽의 영역의 거리를 나타낼 수 있다. 트레숄드 노브(1220)는 트레숄드 값(1225)을 조정할 수 있다.
하나 이상의 파라미터들은 스크린의 앞쪽의 영역의 최대 거리를 나타내는 최대 트레숄드 파라미터를 포함할 수 있다.
예를 들면, 최대 트레숄드 파라미터는 0 내지 30의 값을 가질 수 있다. 최대 트레숄드 파라미터의 기본 값은 0일 수 있다.
최대 트레숄드 파라미터에 따라 소스의 시작 점 및 끝 점의 값의 범위가 변경될 수 있다. 예를 들면, 소스의 시작 점 및 끝 점이 스크린의 앞쪽에 위치하였을 때 소스의 시작 점 및 끝 점의 스크린으로부터의 거리는 최대 트레숄드 파라미터의 값보다 클 수 없다.
댐퍼 값(1235)은 소스의 댐퍼를 나타낼 수 있다. 댐퍼 노브(1230)는 댐퍼 값(1235)을 조정할 수 있다.
댐퍼는 속도 효과(velocity effect)를 나타낼 수 있다.
하나 이상의 파라미터들은 소스의 댐퍼를 나타내는 댐퍼 파라미터를 포함할 수 있다.
예를 들면, 댐퍼 파라미터는 0 내지 1의 값을 가질 수 있다. 댐퍼 파라미터의 기본 값은 0일 수 있다.
단계(620)에서, 생성부(520)는 댐퍼 파라미터를 사용함으로써 사운드의 속도를 고려하여 3차원 사운드의 레벨 효과 및 잔향 효과를 극대화시킬 수 있다. 또한, 생성부(520)는 댐퍼 파라미터를 사용하여 3차원 사운드의 컴프레션(compression)을 수행할 수 있고, 컴프레션을 통해 3차원 사운드를 단단하게 만들 수 있다. 생성부(520)는 댐퍼 파라미터를 사용함으로써 3차원 사운드에 필터를 적용하여 3차원 사운드의 위쪽 부분 및 아래쪽 부분을 잘라낼 수 있다.
댐퍼의 크기는 속도 인터페이스(1150)에서 하나 이상의 동심원들로서 표시될 수 있다.
믹스 값(1245)은 프로세싱에 의해 생성된 사운드 및 원래의 사운드 간의 밸런스(balance)를 나타낼 수 있다. 믹스 노브(1240)는 믹스 값(1235)을 조정할 수 있다.
하나 이상의 파라미터들은 프로세싱에 의해 생성된 사운드 및 원래의 사운드 간의 밸런스를 나타내는 믹스 파라미터를 포함할 수 있다.
예를 들면, 믹스 파라미터는 0 내지 100의 값을 가질 수 있다. 댐퍼 파라미터의 기본 값은 100일 수 있다. 믹스 파라미터가 최소 값을 갖는다는 것은 프로세싱에 의해 생성된 사운드만이 출력된다는 것을 나타낼 수 있다. 믹스 파라미터가 최대 값을 갖는다는 것은 프로세싱되지 않은 원래의 사운드만 출력된다는 것을 나타낼 수 있다. 말하자면, 믹스 파라미터가 최대 값을 갖는다는 것은 사운드가 바이패스된다는 것을 나타낼 수 있다.
단계(620)에서, 생성부(520)는 믹스 파라미터의 값에 따라 프로세싱에 의해 생성된 사운드 및 원래의 사운드 간의 밸런스를 조정할 수 있다.
한계 리셋(limit reset) 버튼은 거리 설정 인터페이스(1110)의 하나 이상의 파라미터들을 기본 값으로 되돌리기 위해 사용될 수 있다.
도 13은 일 예에 따른 소스 설정 인터페이스를 나타낸다.
소스 설정 인터페이스(1120)는 소스 시작 점 노브(1310), 소스 시작 점 값(1315), 소스 시작 점 디퓨즈 노브(1320), 소스 시작 점 디퓨즈 값(1325), 소스 끝 점 노브(1330), 소스 끝 점 값(1335), 소스 끝 점 디퓨즈 노브(1340), 소스 끝 점 디퓨즈 값(1345) 및 소스 리셋 버튼(1350)을 포함할 수 있다.
소스 설정 인터페이스(1120)를 통해 소스의 시작 점의 위치, 소스의 끝 점의 위치, 소스의 시작 점의 디퓨즈 및 소스의 끝 점의 디퓨즈가 결정될 수 있다. 디퓨즈는 확산의 정도를 나타낼 수 있다. 디퓨즈의 값은 확산의 반경을 나타낼 수 있다.
소스 시작 점 값(1315)은 소스의 시작 점의 위치를 나타낼 수 있다. 소스 시작 점 노브(1310)는 소스 시작 점 값(1315)을 조정할 수 있다.
하나 이상의 파라미터들은 소스의 시작 점의 위치를 나타내는 소스 시작 점 파라미터를 포함할 수 있다. 소스의 시작 점의 위치는 청취 영역으로부터 소스의 시작 점까지의 거리 및/또는 소스의 시작 점의 좌표들을 포함할 수 있다.
소스 시작 점 파라미터는 선택적으로 활성화될 수 있다. 예를 들면, 소스 시작 점 노브(1310), 소스 시작 점 값(1315) 및 소스 시작 점 파라미터는 소스의 시작 점이 생성된 경우에 활성화될 수 있다. 소스의 시작 점은 거리 인터페이스(1130), 스크린 인터페이스(1140) 및 속도 인터페이스(1150) 중 하나에서 사용자의 조작에 의해 생성될 수 있다.
예를 들면, 소스 시작 점 파라미터의 최소 값은 0일 수 있다. 소스 시작 점 파라미터의 최대 값은 최대 거리 파라미터 및 최대 트레숄드 파라미터의 합일 수 있다.
소스 시작 점 디퓨즈 값(1325)은 소스 시작 점의 디퓨즈를 나타낼 수 있다. 소스 시작 점 디퓨즈 노브(1320)는 소스 시작 점 디퓨즈 값(1325)을 조정할 수 있다.
하나 이상의 파라미터들은 소스의 시작 점의 디퓨즈를 나타내는 소스 시작 점 디퓨즈 파라미터를 포함할 수 있다. 소스의 시작 점의 디퓨즈는 소스의 시작 점에서의 사운드의 분산 정도를 나타낼 수 있다.
소스 시작 점 디퓨즈 파라미터는 선택적으로 활성화될 수 있다. 예를 들면, 소스 시작 점 디퓨즈 노브(1320), 소스 시작 점 디퓨즈 값(1325) 및 소스 시작 점 디퓨즈 파라미터는 소스의 시작 점이 생성된 경우에 활성화될 수 있다. 소스의 시작 점은 거리 인터페이스(1130), 스크린 인터페이스(1140) 및 속도 인터페이스(1150) 중 하나에서 사용자의 조작에 의해 생성될 수 있다.
예를 들면, 소스 시작 점 디퓨즈 파라미터는 0 내지 100의 값을 가질 수 있다. 소스 시작 점 디퓨즈 파라미터의 기본 값은 0일 수 있다.
단계(620)에서, 생성부(520)는 소스 시작 점 디퓨즈 파라미터를 사용하여 소스의 시작 점에서의 사운드의 분산 정도를 설정할 수 있다. 분산된 사운드에는 동일한 딜레이가 적용될 수 있다. 분산된 사운드는 근접 스피커(191)에 의해 재생될 수 있다.
소스 시작 점 디퓨즈 파라미터에 의한 분산의 정도는 스크린 인터페이스(1140)에서 표시될 수 있다.
소스 끝 점 값(1335)은 소스의 끝 점의 위치를 나타낼 수 있다. 소스 끝 점 노브(1330)는 소스 끝 점 값(1335)을 조정할 수 있다.
하나 이상의 파라미터들은 소스의 끝 점의 위치를 나타내는 소스 끝 점 파라미터를 포함할 수 있다. 소스의 끝 점의 위치는 청취 영역으로부터 소스의 끝 점까지의 거리 및/또는 소스의 끝 점의 좌표들을 포함할 수 있다.
소스 끝 점 파라미터는 선택적으로 활성화될 수 있다. 예를 들면, 소스 끝 점 노브(1330), 소스 끝 점 값(1335) 및 소스 끝 점 파라미터는 소스의 끝 점이 생성된 경우에 활성화될 수 있다. 소스의 끝 점은 거리 인터페이스(1130), 스크린 인터페이스(1140) 및 속도 인터페이스(1150) 중 하나에서 사용자의 조작에 의해 생성될 수 있다.
예를 들면, 소스 끝 점 파라미터의 최소 값은 0일 수 있다. 소스 끝 점 파라미터의 최대 값은 최대 거리 파라미터 및 최대 트레숄드 파라미터의 합일 수 있다.
소스 끝 점 디퓨즈 값(1345)은 소스 끝 점의 디퓨즈를 나타낼 수 있다. 소스 끝 점 디퓨즈 노브(1340)는 소스 끝 점 디퓨즈 값(1345)을 조정할 수 있다.
하나 이상의 파라미터들은 소스의 끝 점의 디퓨즈를 나타내는 소스 끝 점 디퓨즈 파라미터를 포함할 수 있다. 소스의 끝 점의 디퓨즈는 소스의 끝 점에서의 사운드의 분산 정도를 나타낼 수 있다.
소스 끝 점 디퓨즈 파라미터는 선택적으로 활성화될 수 있다. 예를 들면, 소스 끝 점 디퓨즈 노브(1340), 소스 끝 점 디퓨즈 값(1345) 및 소스 끝 점 디퓨즈 파라미터는 소스의 끝 점이 생성된 경우에 활성화될 수 있다. 소스의 끝 점은 거리 인터페이스(1130), 스크린 인터페이스(1140) 및 속도 인터페이스(1150) 중 하나에서 사용자의 조작에 의해 생성될 수 있다.
*예를 들면, 소스 끝 점 디퓨즈 파라미터는 0 내지 100의 값을 가질 수 있다. 소스 끝 점 디퓨즈 파라미터의 기본 값은 0일 수 있다.
단계(620)에서, 생성부(520)는 소스 끝 점 디퓨즈 파라미터를 사용하여 소스의 끝 점에서의 사운드의 분산 정도를 설정할 수 있다. 분산된 사운드에는 동일한 딜레이가 적용될 수 있다. 분산된 사운드는 근접 스피커(191)에 의해 재생될 수 있다.
소스 끝 점 디퓨즈 파라미터에 의한 분산의 정도는 스크린 인터페이스(1140)에서 표시될 수 있다.
도 14는 일 예에 따른 거리 인터페이스를 나타낸다.
거리 인터페이스(1130)는 최대 거리 값(1410), 거리 값 제어(1415), 최대 트레숄드 값(1420), 트레숄드 값 제어(1425), 단위(1430), 소스 시작 점(1440), 소스 시작 점 거리(1445), 소스 끝 점(1450), 소스 끝 점 거리(1455), 소스 트레이스 라인(1460), 스크린 라인(1470) 및 청취 영역(1480)을 포함할 수 있다.
거리 인터페이스(1130)는 거리 설정 인터페이스(1110)에서 설정된 파라미터를 시각적으로 도시할 수 있다. 거리 인터페이스(1130)는 외형의 변화 없이 단위의 증감을 반영할 수 있다.
최대 거리 값(1410)은 스크린의 내부의 최대의 거리 값을 나타낼 수 있다. 여기서, 스크린의 내부는 시청자를 기준으로 스크린의 뒤쪽의 영역을 나타낼 수 있다. 최대 거리 값(1410)은 최대 거리 파라미터의 값을 나타낼 수 있다. 소스 시작 점(1240)의 스크린의 내부로의 거리 값 및 소스 끝 점(1250)의 스크린의 내부로의 거리 값은 최대 거리 값(1410)의 이하로 제한될 수 있다.
거리 인터페이스(110)는 최대 거리 값(1410)의 단위를 증가시키거나 감소시킬 수 있다. 최대 거리 값(1410)의 단위는 미터 또는 피트일 수 있다.
거리 값 제어(1415)는 최대 거리 값(1410)에 따라 생성된 적정한 간격의 눈금들일 수 있다.
최대 트레숄드 값(1420)은 스크린의 외부의 최대의 거리 값을 나타낼 수 있다. 여기서, 스크린의 외부는 시청자를 기준으로 스크린의 앞쪽의 영역을 나타낼 수 있다. 최대 트레숄드 값(1420)은 최대 트레숄드 파라미터의 값을 나타낼 수 있다. 소스 시작 점(1440)의 스크린의 외부로의 거리 값 및 소스 끝 점(1450)의 스크린의 외부로의 거리 값은 최대 거리 값(1420)의 이하로 제한될 수 있다.
거리 인터페이스(1130)는 최대 트레숄드 값(1420)의 단위를 증가시키거나 감소시킬 수 있다. 최대 트레숄드 값(1420)의 단위는 미터 또는 피트일 수 있다.
트레숄드 값 제어(1425)는 최대 트레숄드 값(1420)에 따라 생성된 적정한 간격의 눈금들일 수 있다.
단위(1430)는 거리 인터페이스(1130)에서 표시되는 값 또는 거리 인터페이스(1130)에서 표시되는 파라미터들의 단위를 나타낼 수 있다. 글로벌 설정을 통해, 미터 및 피트 중의 하나가 단위로서 선택될 수 있다. 단위의 기본 값은 미터일 수 있다.
*소스 시작 점(1440)은 소스의 시작 점을 나타낼 수 있다. 소스 시작 점(1440)은 소스 시작 점 파라미터의 값을 나타낼 수 있다.
사용자는 거리 인터페이스(1130)의 영역의 점선 내에서 입력 장치를 조작함으로써 소스 시작 점(1440)을 생성할 수 있다. 입력 장치의 조작에 의해 특정된 위치가 소스 시작 점(1440)을 나타낼 수 있다. 소스 시작 점(1440)의 생성에 따라, 소스의 시작 점이 생성될 수 있고, 소스 시작 점 노브(1310), 소스 시작 점 값(1315), 소스 시작 점 디퓨즈 노브(1320), 소스 시작 점 디퓨즈 값(1325) 및 소스 시작 점 디퓨즈 파라미터가 활성화될 수 있다.
예를 들면, 입력 장치는 키보드 및/또는 마우스를 포함할 수 있다. 입력 장치의 조작은 마우스의 클릭, 더블클릭, 드래그 및 드래그&드롭을 포함할 수 있고, 키보드의 특정한 키를 누르는 것을 포함할 수 있다.
소스 시작 점(1440)은 소스의 시작 점의 좌표들 중 X 좌표 및 Y 좌표를 표시할 수 있다. 소스의 시작 점의 Z 좌표의 값은 소스 시작 점(1440)에서는 반영되지 않을 수 있다.
사용자는 입력 장치의 조작을 통해 소스 시작 점(1440)을 자신이 원하는 위치로 이동시킬 수 있다. 사용자는 입력 장치의 조작을 통해 소스 시작 점(1440)을 삭제할 수 있다.
소스 시작 점 거리(1445)는 스크린 및 소스 시작 점(1440) 간의 거리를 나타낼 수 있다. 소스 시작 점 거리(1445)는 소스 시작 점 파라미터의 값을 나타낼 수 있다.
소스 시작 점 거리(1445)는 수평선으로서 표시될 수 있으며, 수평선의 끝에 위치하는 값으로서 표시될 수 있다.
소스 끝 점(1450)은 소스의 끝 점을 나타낼 수 있다. 소스 끝 점(1450)은 소스 끝 점 파라미터의 값을 나타낼 수 있다.
사용자는 거리 인터페이스(1130)의 영역의 점선 내에서 입력 장치를 조작함으로써 소스 끝 점(1450)을 생성할 수 있다. 입력 장치의 조작에 의해 특정된 위치가 소스 끝 점(1450)을 나타낼 수 있다. 소스 끝 점(1450)은 소스 시작 점(1440)의 생성 이후에 생성될 수 있다. 사용자는 입력 장치의 조작을 통해 소스 시작 점(1440) 및 소스 끝 점(1450)을 생성할 수 있다. 또한, 소스 시작 점(1440)이 생성된 후, 다른 파라미터의 값이 조정되면, 소스 끝 점(1450)이 자동으로 생성될 수 있다. 이 때, 생성된 소스 끝 점(1450)의 위치는 스크린 라인(1470)의 중앙일 수 있다.
소스 끝 점(1450)의 생성에 따라, 소스의 끝 점이 생성될 수 있고, 소스 끝 점 노브(1330), 소스 끝 점 값(1335), 소스 끝 점 디퓨즈 노브(1340), 소스 끝 점 디퓨즈 값(1345) 및 소스 끝 점 디퓨즈 파라미터가 활성화될 수 있다.
소스 끝 점(1450)은 소스의 끝 점의 좌표들 중 X 좌표 및 Y 좌표를 표시할 수 있다. 소스의 끝 점의 Z 좌표의 값은 소스 끝 점(1450)에서는 반영되지 않을 수 있다.
사용자는 입력 장치의 조작을 통해 소스 끝 점(1450)을 자신이 원하는 위치로 이동시킬 수 있다. 사용자는 입력 장치의 조작을 통해 소스 끝 점(1450)을 삭제할 수 있다.
소스 끝 점 거리(1455)는 스크린 및 소스 끝 점(1450) 간의 거리를 나타낼 수 있다. 소스 끝 점 거리(1455)는 소스 끝 점 파라미터의 값을 나타낼 수 있다.
소스 끝 점 거리(1455)는 수평선으로서 표시될 수 있으며, 수평선의 끝에 위치하는 값으로서 표시될 수 있다.
소스 트레이스 라인(1460)는 소스의 시작 점으로부터 소스의 끝 점까지의 소스가 이동하는 라인을 나타낼 수 있다.
하나 이상의 파라미터들은 소스의 시작 점으로부터 소스의 끝 점까지의 소스가 이동하는 라인을 나타내는 소스 트레이스 라인 파라미터를 포함할 수 있다.
소스가 이동하는 라인은 복수의 라인들을 포함할 수 있다. 소스 트레이스 라인 파라미터는 소스의 시작 점 및 소스의 끝 점을 연결하는 복수의 라인들을 나타낼 수 있다.
단계(620)에서, 생성부(520)는 소스 트레이스 라인 파라미터를 사용하여 소스의 위치를 이동시킬 수 있다.
사용자는 입력 장치의 조작을 통해 소스 트레이스 라인(1460)의 형태를 변경할 수 있다. 예를 들면, 사용자는 입력 장치의 조작을 통해 소스 트레이스 라인(1460)의 하나의 라인을 2개의 연결된 라인들로 분할할 수 있다.
거리 인터페이스(1130)는 시퀀스 인터페이스(1160)에서 설정된 프로세싱 길이에 따라 소스 트레이스 라인(1460)을 따라서 움직이는 점을 표시할 수 있다.
스크린 라인(1470)은 영상이 표시되는 스크린이 위치한 지점을 나타낼 수 있다. 스크린 라인(1470)은 소스 시작 점(1440)의 거리 및 소스 끝 점(1450)의 거리에 대한 기준이 될 수 있다.
청취 영역(1480)은 시청자가 위치한 영역을 나타날 수 있다. 또한, 청취 영역은 시청자의 방향을 나타낼 수 있다.
도 15는 일 예에 따른 선택된 점을 나타낸다.
거리 인터페이스(1330)에서, 사용자는 소스 트레이스 라인(1460) 중 한 점을 선택할 수 있다.
선택된 점(1510)은 사용자에 의해 선택된 점을 나타낼 수 있다. 사용자에 의해 점이 선택되면 선택된 점의 거리 값이 표시될 수 있다. 거리 값(1520)은 사용자에 의해 선택된 점의 거리 값을 나타낼 수 있다. 또한, 거리 값은 선택된 점 및 스크린 간의 거리를 나타낼 수 있다.
도 16은 일 예에 따른 소스 트레이스 라인의 편집을 나타낸다.
거리 인터페이스(1130)에서, 사용자는 소스 트레이스 라인(1460)을 편집할 수 있다. 소스 트레이스 라인(1160)의 편집을 통해 소스 트레이스 라인 파라미터의 값이 설정될 수 있다.
사용자는 입력 장치의 조작을 통해 선택된 점(1510)의 위치를 이동시킬 수 있다. 도 16에서는, 이동된 선택된 점(1610)이 도시되었다.
선택된 점의 위치가 이동함이 따라, 소스 트레이스 라인(1460)이 변경될 수 있다. 예를 들면, 소스 트레이스 라인(1460)의 하나 이상의 라인들 중 선택된 점(1510)이 위치한 라인은, 선택된 점(1510)이 이동함에 따라, 이동된 선택된 점(1610)이 끝 점인 2개의 라인들로 분할될 수 있다. 여기에서, 2개의 라인들 중 제1 라인은 선택된 점(1510)이 위치한 라인의 시작 점으로부터 이동된 선택된 점(1610)까지의 라인일 수 있다. 2개의 라인들 중 제2 라인은 이동된 선택된 점(1610)으로부터 선택된 점(1510)이 위치한 라인의 끝 점까지의 라인일 수 있다.
소스 트레이스 라인의 하나 이상의 라인들 중 한 라인이 분할되면, 단계(610)에서, 설정부(510)는 라인의 분할을 반영하여 소스 트레이스 라인 파라미터의 값을 설정할 수 있다.
도 17은 일 예에 따른 스크린 인터페이스를 나타낸다.
스크린 인터페이스(1140)는 소스의 시작 점 및 소스의 끝 점에 대한 X 좌표의 값 및 Y 좌표의 값의 편집을 제공할 수 있다.
스크린 인터페이스(1140)는 소스의 시작 점의 좌표들 중 X 좌표의 값 및 Y 좌표의 값을 표시할 수 있고, 소스의 끝 점의 좌표들 중 X 좌표의 값 및 Y 좌표의 값을 표시할 수 있다.
스크린 인터페이스(1140)는 패닝(panning) 영역(1710), 소스 시작 점(1720), 소스 끝 점(1730), 디퓨즈 원(1740) 및 소스 트레이스 라인(1750)을 포함할 수 있다.
패닝 영역(1710)은 소스 시작 점(1720) 및 소스 끝 점(1730)을 표시하기 위해 요구되는 영역을 나타낼 수 있다.
소스 시작 점(1720)은 소스의 시작 점의 좌표를 나타낼 수 있다. 소스 시작 점(1720)은 소스의 시작 점의 좌표들 중 X 좌표 및 Y 좌표를 표시할 수 있다. 소스 시작 점(1720)의 기능은 전술된 소스 시작 점(1440)의 기능에 대응할 수 있다.
소스 끝 점(1730)은 소스의 끝 점의 좌표를 나타낼 수 있다. 소스 끝 점(1730)은 소스의 끝 점의 좌표들 중 X 좌표 및 Y 좌표를 표시할 수 있다. 소스 끝 점(1730)의 기능은 전술된 소스 끝 점(1450)의 기능에 대응할 수 있다.
디퓨즈 원(1740)의 반경은 소스의 시작 점 및/또는 소스의 끝 점의 디퓨즈의 값을 나타낼 수 있다. 사용자의 조작에 의해 소스 시작 점(1720)이 선택된 경우, 디퓨즈 원(1740)의 반경은 소스의 시작 점의 디퓨즈의 값만을 나타낼 수 있다. 소스의 시작 점의 디퓨즈의 값은 소스 시작 점 디퓨즈 파라미터의 값을 나타낼 수 있다. 사용자의 조작에 의해 소스 끝 점(1730)이 선택된 경우, 디퓨즈 원(1740)의 반경은 소스의 끝 점의 디퓨즈의 값만을 나타낼 수 있다. 소스의 끝 점의 디퓨즈의 값은 소스 끝 점 디퓨즈 파라미터의 값을 나타낼 수 있다.
소스 트레이스 라인(1750)은 소스의 시작 점으로부터 소스의 끝 점까지의 소스가 이동하는 라인을 표시할 수 있다. 소스 트레이스 라인(1750)의 기능은 전술된 소스 트레이스 라인(1460)의 기능에 대응할 수있다.
도 18은 일 예에 따른 속도 및 가속도 인터페이스를 나타낸다.
속도 인터페이스(1150)는 소스의 시작 점 및 소스의 끝 점에 대한 Y 좌표의 값 및 Z 좌표의 값의 편집을 제공할 수 있다.
속도 인터페이스(1150)는 소스의 시작 점의 좌표들 중 Y 좌표의 값 및 Z 좌표의 값을 표시할 수 있고, 소스의 끝 점의 좌표들 중 Y 좌표의 값 및 Z 좌표의 값을 표시할 수 있다.
속도 인터페이스(1150)는 스크린 라인(1810), 최대 거리 값(1820), 거리 값 제어(1825), 최대 트레숄드 값(1830), 트레숄드 값 제어(1835), 청취 영역(1840), 댐퍼 값(1850), 소스 시작 점(1860), 소스 끝 점(1870) 및 소스 트레이스 라인(1880)을 포함할 수 있다.
스크린 라인(1810)은 전술된 스크린 라인(1470)에 대응할 수 있다. 단, 스크린 라인(1470)이 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 스크린 라인(1810)은 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
최대 거리 값(1820)은 전술된 최대 거리 값(1410)에 대응할 수 있다. 단, 최대 거리 값(1410)이 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 최대 거리 값(1820)은 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
거리 값 제어(1825)는 전술된 거리 값 제어(1415)에 대응할 수 있다. 단, 거리 값 제어(1415)가 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 거리 값 제어(1825)는 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
최대 트레숄드 값(1830)은 전술된 최대 트레숄드 값(1420)에 대응할 수 있다. 단, 최대 트레숄드 값(1420)이 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 최대 트레숄드 값(1830)은 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
트레숄드 값 제어(1835)는 전술된 트레숄드 값 제어(1425)에 대응할 수 있다. 단, 트레숄드 값 제어(1425)가 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 트레숄드 값 제어(1835)는 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
청취 영역(1840)은 전술된 청취 영역(1480)에 대응할 수 있다. 단, 청취 영역(1480)이 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 청취 영역(1840)은 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
댐퍼 표시부(1850)는 전술된 댐퍼의 값을 나타낼 수 있다. 말하자면, 댐퍼 표시부의 형태는 댐퍼 파라미터의 값을 나타낼 수 있다. 댐퍼 표시부(1850)는 하나 이상의 동심원들을 포함할 수 있다. 하나 이상의 동심원들은 일부만 표시될 수 있다. 하나 이상의 동심원들의 개수, 모양 및 반지름은 소스에 적용되는 댐퍼를 나타낼 수 있고, 댐퍼 파라미터의 값에 따라 변할 수 있다. 예를 들면, 댐퍼 파라미터의 값이 클수록 트레숄드 라인을 기준으로 타원이 형성될 수 있다.
소스 시작 점(1860)은 전술된 소스 시작 점(1440)에 대응할 수 있다. 단, 소스 시작 점(1440)이 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 소스 시작 점(1860)은 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
소스 끝 점(1870)은 전술된 소스 끝 점(1450)에 대응할 수 있다. 단, 소스 끝 점(1450)이 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 소스 끝 점(1870)은 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
소스 트레이스 라인(1880)은 전술된 소스 트레이스 라인(1460)에 대응할 수 있다. 단, 소스 트레이스 라인(1460)이 X 좌표 및 Y 좌표에 대하여 표시되는 반면, 소스 트레이스 라인(1880)은 Y 좌표 및 Z 좌표에 대하여 표시될 수 있다.
도 19는 일 예에 따른 시퀀스 인터페이스를 나타낸다.
시퀀스 인터페이스(1160)는 소스의 시작 점 및 소스의 끝 점에 대한 Y 좌표의 값 및 Z 좌표의 값의 편집을 제공할 수 있다.
시퀀스 인터페이스(1160)는 거리 인터페이스(1130)의 소스 시작 점(1440) 및 소스 끝 점(1450)과 연동될 수 있다. 말하자면, 시퀀스 인터페이스(1160)에서 표시되는 소스에 대한 정보는 소스 시작 점(1440)의 Y 좌표 및 Z 좌표에서부터 표시될 수 있고, 소스 끝 점(1450)의 Y 좌표 및 Z 좌표까지 표시될 수 있다.
또한, 시퀀스 인터페이스(1160)는 소스의 끝 점에서의 댐퍼를 표시할 수 있다.
시퀀스 인터페이스(1160)는 타임 라인(1910), 프로젝트 커서(1915), 시퀀스 마커(1920), 타임 스트레치 스위치(1925), 속도 길이(1930), 타임 스트레치 그리드 라인(1935), 속력 그래프(1940), 게인(gain) 그래프(1945), 테일(tail) 그래프(1950), 속도 길이 값(1955), 타임 라인 속력 값(1960), 타임 라인 게인 값(1965), 테일 길이(1970), 테일 끝 점(1975) 및 시퀀스 편집 영역(1980)를 포함할 수 있다.
타임 라인(1910)은 시퀀스 인터페이스(1160)에서 설정된 길이에 따른 타임 라인을 나타낼 수 있다. 여기에서, 타임 라인은 소스의 시작 점의 시간으로부터 소스의 끝 점의 시간까지의 시간의 흐름을 나타낼 수 있다.
타임 라인(1910)의 시작 점 및 끝 점은 프로젝터의 로케이터 영역의 시작 점 및 끝 점과 동일하게 설정될 수 있다.
타임 라인(1910)은 프리롤(pre-roll) 및/또는 포스트롤(post-roll)에 대한 적용을 나타낼 수 있다. 프리롤 및/또는 포스트롤이 적용되는 시간은 글로벌하게 설정될 수 있다.
프로젝트 커서(1915)는 호스트 프로그램의 커서와 동기화되어 동작할 수 있다. 예를 들면, 호스트 프로그램의 커서가 이동하면, 프로젝트 커서(2015) 또한 호스트 프로그램의 커서를 따라서 이동할 수 있다.
하나 이상의 파라미터들은 시간에 따라 서로 다른 값을 가질 수 있다. 타임 라인(1910) 중 프로젝트 커서(1915)가 가리키는 지점은 파라미터의 값을 표시함에 있어서의 기준 시간을 나타낼 수 있다.
시퀀스 마커(1920)는 타임 라인(1910)의 시작 점 및 끝 점을 설정하기 위한 버튼일 수 있다. 사용자가 입력 장치의 조작을 통해 시퀀스 마커(1920)를 선택하면, 프로젝트의 로케이터와 동일하게 타임 라인(1910)이 설정될 수 있다. 말하자면, 시퀀스 마커(1920)가 선택되면, 시작 점 로케이터의 시간이 타임 라인(1910)의 시작 점으로 설정될 수 있고, 끝 점 로케이터의 시간이 타임 라인(1910)의 끝 점으로 설정될 수 있다.
만약, 호스트 프로그램에서 로케이터가 설정되어 있지 않은 경우, 시퀀스 마커(1920)는 비활성화될 수 있다.
타임 스트레치 스위치(1925)는 속도 길이(1930)의 라인에 추가의 타임 라인을 생성할 수 있다. 사용자는 입력 장치의 조작을 통해 타임 스트레치 스위치(1925)를 온으로 설정할 수 있다. 타임 스트레치 스위치(1925)가 온으로 설정되면, 속도 길이(1930)의 라인에 추가의 타임 라인이 생성될 수 있다.
사용자는 입력 장치의 조작을 통해 추가의 타임 라인의 간격을 조정할 수 있다. 추가의 타임 라인의 간격이 넓어지면, 시간의 흐름이 빨라질 수 있다. 추가의 타임 라인의 간격이 좁아지면, 시간의 흐름이 느려질 수 있다.
추가의 타임 라인이 생성되면, 프로젝트 커서(1915)는 추가의 타임 라인을 기준으로 시간의 흐름을 반영할 수 있다.
사용자는 입력 장치의 조작을 통해 타임 스트레치 스위치(1925)를 오프로 설정할 수 있다. 타임 스트레치 스위치(1925)가 오프로 설정되면, 속도 길이(1930)의 라인에 추가의 타임 라인이 사라질 수 있다. 추가의 타임 라인이 사라지면, 프로젝트 커서(1915)는 타임 라인(1910)을 기준으로 시간의 흐름을 반영할 수 있다.
속도 길이(1930)는 프로세스가 이루이지는 시간의 길이를 나타낼 수 있다. 속도 길이(1930)의 길이는 타임 라인(1910)의 길이와 동일할 수 있다. 예를 들면, 속도 길이(1930)의 시작 점은 프로젝트의 시작 점 로케이터에 대응할 수 있다. 속도 길이(1930)의 끝 점은 프로젝트의 끝 점 로케이터에 대응할 수 있다. 속도 길이(1930)는 시퀀스 마커(1920)에 의해 생성된 길이에 해당하는 값을 가질 수 있다.
타임 스트레치 그리드 라인(1935)은 시간의 스트레치의 정도를 표시할 수 있다.
타임 스트레치 그리드 라인(1935)은 사용자의 입력 장치의 조작에 의해 생성될 수 있다. 사용자는 입력 장치를 조작하여 타임 스트레치 그리드 라인(1935)의 점의 위치를 변경할 수 있다. 점의 위치가 변경됨에 따라 그리드 라인의 간격이 변경될 수 있다.
속력 그래프(1940)는 타임 라인에 따른 소스의 속도 및 소스의 가속도를 표현할 수 있다. 속력 그래프(1940)는 소스의 시작 점으로부터 소스의 끝 점까지의 소스의 속도의 변화를 나타낼 수 있다.
하나 이상의 파라미터들은 소스의 속도를 나타내는 속도 파라미터를 포함할 수 있고, 소스의 가속도를 나타내는 가속도 파라미터를 포함할 수 있다. 속도 파라미터는 시간의 흐름에 따른 소스의 속도를 나타낼 수 있다. 가속도 파라미터는 시간의 흐름에 따른 소스의 가속도를 나타낼 수 있다. 또는, 하나 이상의 파라미터들은 소스의 속도 및 가속도를 나타내는 속도 및 가속도 파라미터를 포함할 수 있다.
단계(620)에서, 생성부(520)는 속도 파라미터를 사용하여 소스의 속도를 반영하여 3차원 사운드를 생성할 수 있다. 또한, 생성부(520)는 가속도 파라미터를 사용하여 소스의 가속도를 반영하여 3차원 사운드를 생성할 수 있다. 또는, 생성부(520)는 속도 및 가속도 파라미터를 사용하여 소스의 속도 및 가속도를 반영하여 3차원 사운드를 생성할 수 있다.
사용자는 입력 장치의 조작을 통해 속력 그래프(2040)를 확대시킬 수 있다.
속력 그래프(1940)는 시작 점 및 끝 점이 결정되면, 자동으로 소스의 속력를 시간에 따라 리니어하게 계산할 수 있고, 계산된 소스의 속력을 그래프로서 표시할 수 있다. 속력 그래프(1940)에서, 한 점의 높이는 점에 해당하는 시간에서의 소스의 속력을 나타낼 수 있다. 속력 그래프(1940)에서, 한 점의 기울기는 점에 해당하는 시간에서의 소스의 가속도를 나타낼 수 있다.
사용자는 입력 장치의 조작을 통해 속력 그래프 상의 한 점을 다른 위치로 이동시킬 수 있다. 한 점이 다른 위치로 이동함에 따라 그래프의 형태가 변하게 되고, 속력 그래프의 변한 형태에 따라 소스의 속력이 변할 수 있다.
게인 그래프(1945)는 타임 라인에 따른 소스의 게인의 변화를 나타낼 수 있다. 게인 그래프(1945)는 소스의 시작점으로부터 소스의 끝 점까지의 게인의 변화를 나타낼 수 있다.
하나 이상의 파라미터들은 소스의 게인을 나타내는 게인 파라미터를 포함할 수 있다. 게인 파라미터는 시간의 흐름에 따른 소스의 게인를 나타낼 수 있다.
단계(620)에서, 생성부(520)는 게인 파라미터를 사용하여 소스의 게인을 반영하여 3차원 사운드를 생성할 수 있다.
게인 그래프(1945)는 시작 점 및 끝 점이 결정되면, 자동으로 소스의 게인을 시간에 따라 리니어하게 계산할 수 있고, 계산된 소스의 게인을 그래프로서 표시할 수 있다. 게인 그래프(1945)에서, 한 점의 높이는 점에 해당하는 시간에서의 소스의 게인을 나타낼 수 있다.
사용자는 입력 장치의 조작을 통해 소스의 속력의 값을 소스의 게인에 적용할 수 있다.
테일 그래프(1950)는 소스의 테일을 나타낼 수 있다. 소스의 테일은 소스의 끝 점의 이후에 발생할 수 있다. 기본적으로, 3초의 잔향이 테일로서 발생할 수 있다.
하나 이상의 파라미터들은 소스의 테일을 나타내는 테일 파라미터를 포함할 수 있다. 테일 파라미터는 소스의 테일를 나타낼 수 있다.
단계(620)에서, 생성부(520)는 테일 파라미터를 사용하여 소스의 테일을 반영하여 3차원 사운드를 생성할 수 있다.
테일 그래프(1950)는 프로젝트 커서(1915)는 무관하게 동작할 수 있다.
사용자는 입력 장치의 조작을 통해 테일의 모양을 변경할 수 있다. 사용자에 의한 입력 장치의 조작에 따라, 테일은 복수의 기정의된 모양들로 순환하여(cyclic) 변할 수 있다. 테일의 모양이 변할 경우, 설정부(510)는 변한 모양에 맞춰 테일 파라미터의 값을 설정할 수 있다.
속도 길이 값(1955)은 속도의 표현을 위해 사용되는 시간을 나타낼 수 있다.
*타임 라인 속력 값(1945)은 타임 라인(1910) 중 프로젝트 커서(1915)가 가리키는 지점에서의 속력을 나타낼 수 있다.
타임 라인 게인 값(1965) 타임 라인(1910) 중 프로젝트 커서(1915)가 가리키는 지점에서의 게인을 나타낼 수 있다.
테일 길이(1970)는 테일의 잔향 시간을 나타낼 수 있다.
테일 끝 점(1975)은 테일의 끝 점을 나타낼 수 있다.
*사용자는 입력 장치의 조작을 통해 테일의 끝 점의 위치를 이동시킬 수 있다. 단계(610)에서, 설정부(510)는 이동된 끝 점의 위치를 반영하여 테일 파라미터의 값을 설정할 수 있다.
테일의 끝 점의 위치가 이동하면, 테일의 길이가 이동된 끝 점의 위치에 따라 변할 수 있다. 변한 테일의 길이는 테일 길이(1970)에서 표시될 수 있다.
시퀀스 편집 영역(1980)은 시퀀스에 대한 편집을 제공하는 영역일 수 있다. 사용자는 입력 장치를 조작하여, 속력, 게인 및 테일 중 하나를 선택할 수 있다. 속력, 게인 및 테일 중 하나가 선택됨에 따라, 선택된 대상을 편집할 수 있는 편집 창의 크기가 커질 수 있다. 특정한 대상이 선택되지 않은 경우, 대상들에 대해 동일한 크기의 편집 창이 제공될 수 있다.
도 20은 일 에에 따른 프로젝트의 로케이터 영역을 나타낸다.
로케이터 영역(2000)은 시작 점 로케이터(2010), 끝 점 로케이터(2020) 및 프로젝트 커서(2040)를 포함할 수 있다.
전술된 것과 같이, 시작 점 로케이터의 시간이 타임 라인(1910)의 시작 점으로 설정될 수 있고, 끝 점 로케이터의 시간이 타임 라인(1910)의 끝 점으로 설정될 수 있다.
*도 21은 일 예에 따른 확대된 속도 그래프를 나타낸다.
도 21에서는, 확대된 속도 그래프(2100)가 시퀀스 편집 영역(1980)에 확대되어 도시되었다.
도 21에서는, 사용자에 의한 입력 장치의 조작으로 인해 편집의 대상으로 선택된 지점(2110)이 도시되었고, 현재 속도(2120)가 도시되었다. 현재 속도(2120)는 프로젝트 커서(1915)가 위치한 지점에서의 그래프의 높이로서 표시될 수 있다. 또한, 현재 속도(2120)는 속도 길이 값(1955)에서 표시될 수 있다.
도 22은 일 실시예에 따른 3차원 사운드 재생 장치를 구현하는 전자 장치를 도시한다.
3차원 사운드 재생 장치(100)는 도 22에서 도시된 전자 장치(2200)로서 구현될 수 있다. 전자 장치(2200)는 3차원 사운드 재생 장치(100)로서 동작하는 범용의 컴퓨터 시스템일 수 있다.
도 22에서 도시된 바와 같이, 전자 장치(2200)는 프로세서(2221), 네트워크 인터페이스(2229), 메모리(2223), 저장소(2228) 및 버스(2222) 중 적어도 일부를 포함할 수 있다. 프로세서(2221), 네트워크 인터페이스(2229), 메모리(2223) 및 저장소(2228) 등과 같은 전자 장치(2200)의 구성요소들은 버스(2222)를 통해 서로 간에 통신할 수 있다.
프로세서(2221)는 메모리(2223) 또는 저장소(2228)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다.
프로세서(2221)는 전자 장치(2200)의 동작을 위해 요구되는 작업을 처리할 수 있다. 프로세서(2221)는 실시예들에서 설명된 프로세서(2221)의 동작 또는 단계의 코드를 실행(execute)할 수 있다.
네트워크 인터페이스(2229)는 네트워크(2230)에 연결될 수 있다. 네트워크 인터페이스(2229)는 전자 장치(2200)의 동작을 위해 요구되는 데이터 또는 정보를 수신할 수 있으며, 전자 장치(2200)의 동작을 위해 요구되는 데이터 또는 정보를 전송할 수 있다. 네트워크 인터페이스(2229)는 네트워크(2230)를 통해 다른 장치로 데이터를 전송할 수 있고, 다른 장치로부터 데이터를 수신할 수 있다. 예를 들면, 네트워크 인터페이스(2229)는 네트워크 칩(chip) 또는 포트(port)일 수 있다.
메모리(2223) 및 저장소(2228)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리(2223)는 롬(ROM)(2224) 및 램(RAM)(2225) 중 적어도 하나를 포함할 수 있다. 저장소(2228)는 램, 플레시(flash) 메모리 및 하드 디스크(hard disk) 등과 같은 내장형의 저장 매체를 포함할 수 있고, 메모리 카드 등과 같은 탈착 가능한 저장 매체를 포함할 수 있다.
전자 장치(2200)는 사용자 인터페이스(User Interface; UI) 입력 디바이스(2226) 및 UI 출력 디바이스(2227)를 더 포함할 수 있다. UI 입력 디바이스(2226)는 전자 장치(2200)의 동작을 위해 요구되는 사용자의 입력을 수신할 수 있다. UI 출력 디바이스(2227)는 전자 장치(2200)의 동작에 따른 정보 또는 데이터를 출력할 수 있다.
전자 장치(2200)의 기능 또는 동작은 프로세서(2221)가 적어도 하나의 프로그램 모듈을 실행함에 따라 수행될 수 있다. 메모리(2223) 및/또는 저장소(2228)는 적어도 하나의 프로그램 모듈을 저장할 수 있다. 적어도 하나의 프로그램 모듈은 프로세서(2221)에 의해 실행되도록 구성될 수 있다.
적어도 하나의 프로그램 모듈은 신호 감지부(110), 1차 신호 처리부(120), 채널 할당부(130), 2차 신호 처리부(140), 기능 조절부(150), 음상 외재화 구현부(160), 바이패스 조정부(170), 원거리 스피커 감지/재생부(180) 및 근접 스피커 감지/재생부(190)를 포함할 수 있다.
*UI 입력 디바이스(2226)는 바이패스 전환 스위치(171)를 포함할 수 있다.
네트워크 인터페이스(2229)는 신호 수신부(105)를 포함할 수 있다.
도 23은 일 실시예에 따른 3차원 사운드 제공 장치를 구현하는 전자 장치를 도시한다.
3차원 사운드 제공 장치(500)는 도 23에서 도시된 전자 장치(2300)로서 구현될 수 있다. 전자 장치(2300)는 3차원 사운드 제공 장치(500)로서 동작하는 범용의 컴퓨터 시스템일 수 있다.
도 23에서 도시된 바와 같이, 전자 장치(2300)는 프로세서(2321), 네트워크 인터페이스(2329), 메모리(2323), 저장소(2328) 및 버스(2322) 중 적어도 일부를 포함할 수 있다. 프로세서(2321), 네트워크 인터페이스(2329), 메모리(2323) 및 저장소(2328) 등과 같은 전자 장치(2300)의 구성요소들은 버스(2322)를 통해 서로 간에 통신할 수 있다.
프로세서(2321)는 메모리(2323) 또는 저장소(2328)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다.
프로세서(2321)는 전자 장치(2300)의 동작을 위해 요구되는 작업을 처리할 수 있다. 프로세서(2321)는 실시예들에서 설명된 프로세서(2321)의 동작 또는 단계의 코드를 실행(execute)할 수 있다.
네트워크 인터페이스(2329)는 네트워크(2330)에 연결될 수 있다. 네트워크 인터페이스(2329)는 전자 장치(2#00)의 동작을 위해 요구되는 데이터 또는 정보를 수신할 수 있으며, 전자 장치(2300)의 동작을 위해 요구되는 데이터 또는 정보를 전송할 수 있다. 네트워크 인터페이스(2329)는 네트워크(2330)를 통해 다른 장치로 데이터를 전송할 수 있고, 다른 장치로부터 데이터를 수신할 수 있다. 예를 들면, 네트워크 인터페이스(2329)는 네트워크 칩(chip) 또는 포트(port)일 수 있다.
메모리(2323) 및 저장소(2328)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리(2323)는 롬(ROM)(2324) 및 램(RAM)(2325) 중 적어도 하나를 포함할 수 있다. 저장소(2328)는 램, 플레시(flash) 메모리 및 하드 디스크(hard disk) 등과 같은 내장형의 저장 매체를 포함할 수 있고, 메모리 카드 등과 같은 탈착 가능한 저장 매체를 포함할 수 있다.
전자 장치(2300)는 사용자 인터페이스(User Interface; UI) 입력 디바이스(2326) 및 UI 출력 디바이스(2327)를 더 포함할 수 있다. UI 입력 디바이스(2326)는 전자 장치(2300)의 동작을 위해 요구되는 사용자의 입력을 수신할 수 있다. UI 출력 디바이스(2327)는 전자 장치(2300)의 동작에 따른 정보 또는 데이터를 출력할 수 있다.
전자 장치(2300)의 기능 또는 동작은 프로세서(2321)가 적어도 하나의 프로그램 모듈을 실행함에 따라 수행될 수 있다. 메모리(2323) 및/또는 저장소(2328)는 적어도 하나의 프로그램 모듈을 저장할 수 있다. 적어도 하나의 프로그램 모듈은 프로세서(2321)에 의해 실행되도록 구성될 수 있다.
적어도 하나의 프로그램 모듈은 설정부(510) 및 생성부(520)를 포함할 수 있다.
네트워크 인터페이스(2329)는 출력부(530)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (18)

  1. 신호를 수신하는 단계;
    수신된 신호에 대한 채널 분리 및 오브젝트 분리를 수행함으로써 하나 이상의 분리된 신호들을 생성하는 단계;
    상기 하나 이상의 분리된 신호들의 각 신호를 채널 데이터 및 오브젝트 데이터 중 하나로 분류하는 단계;
    상기 채널 데이터를 하나 이상의 원거리 스피커들로 출력하는 단계;
    상기 오브젝트 데이터에 대한 음상 외재화를 구현하는 단계; 및
    상기 음상 외재화가 구현된 데이터를 근접 스피커로 출력하는 단계
    를 포함하는 3차원 사운드를 재생하는 방법.
  2. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 수신된 신호를 하나 이상의 채널들로 구분하는 단계;
    상기 하나 이상의 채널들의 각 채널의 데이터를 상기 채널 데이터 및 상기 오브젝트 데이터 중 어느 것으로 사용할 것인가를 결정하는 단계;
    상기 하나 이상의 채널들 중 상기 채널 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 상기 채널 데이터를 생성하는 단계; 및
    상기 하나 이상의 채널들 중 상기 오브젝트 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 상기 오브젝트 데이터를 생성하는 단계
    를 포함하는 3차원 사운드를 재생하는 방법.
  3. 제2항에 있어서,
    상기 생성하는 단계는,
    상기 채널 데이터에 대한 레벨 보상을 수행하는 단계; 및
    상기 오브젝트 데이터에 대한 레벨 보상을 수행하는 단계
    를 더 포함하는 3차원 사운드를 재생하는 방법.
  4. 제2항에 있어서,
    상기 생성하는 단계는,
    상기 하나 이상의 채널들을 하나 이상의 고 레벨 채널들 및 하나 이상의 저 레벨 채널들로 구분하는 단계
    를 더 포함하고,
    상기 하나 이상의 저 레벨 채널들은 상기 채널 데이터로 사용되는 3차원 사운드를 재생하는 방법.
  5. 제4항에 있어서,
    상기 하나 이상의 고 레벨 채널들 중 대사의 채널은 상기 오브젝트 데이터 및 채널 데이터 중 하나로 사용하도록 설정되는 3차원 사운드를 재생하는 방법.
  6. 제1항에 있어서,
    상기 오브젝트 데이터는 공간에 대한 위치 정보, 움직임에 대한 방향 정보 및 사운드의 크기 정보를 포함하는 3차원 사운드를 재생하는 방법.
  7. 제1항에 있어서,
    상기 하나 이상의 분리된 신호들의 각 신호는 상기 하나 이상의 원거리 스피커들의 개수에 맞춰서 상기 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들 및 상기 근접 스피커의 음상 외재화 채널 중 하나의 채널로 전송되는 3차원 사운드를 재생하는 방법.
  8. 제1항에 있어서,
    상기 하나 이상의 분리 신호들에 대한 프로세싱을 수행하는 단계
    를 더 포함하는 3차원 사운드를 재생하는 방법.
  9. 제1항에 있어서,
    상기 수신된 신호를 바이패스할 것인지 여부를 결정하는 단계; 및
    상기 수신된 신호의 바이패스가 결정된 경우, 수신된 신호를 상기 하나 이상의 원거리 스피커들 및 상기 근접 스피커 중 선택된 스피커로 전송하는 단계
    를 더 포함하는 3차원 사운드를 재생하는 방법.
  10. 신호를 수신하는 신호 수신부;
    수신된 신호에 대한 채널 분리 및 오브젝트 분리를 수행함으로써 하나 이상의 분리된 신호들을 생성하는 1차 신호 처리부;
    상기 하나 이상의 분리된 신호들의 각 신호를 채널 데이터 및 오브젝트 데이터 중 하나로 분류하는 채널 할당부;
    상기 채널 데이터를 하나 이상의 원거리 스피커들로 출력하는 원거리 스피커 감지/재생부;
    상기 오브젝트 데이터에 대한 음상 외재화를 구현하는 음상 외재화 구현부; 및
    상기 음상 외재화가 구현된 데이터를 근접 스피커로 출력하는 근접 스피커 감지/재생부
    를 포함하는 3차원 사운드 재생 장치.
  11. 제10항에 있어서,
    상기 1차 신호 처리부는,
    상기 수신된 신호를 하나 이상의 채널들로 구분하는 채널 감지부;
    상기 하나 이상의 채널들의 각 채널의 데이터를 상기 채널 데이터 및 상기 오브젝트 데이터 중 어느 것으로 사용할 것인가를 결정하는 채널 비교부;
    상기 하나 이상의 채널들 중 상기 채널 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 상기 채널 데이터를 생성하는 채널 데이터 생성부; 및
    상기 하나 이상의 채널들 중 상기 오브젝트 데이터로 사용되도록 설정된 채널의 데이터를 사용하여 상기 오브젝트 데이터를 생성하는 오브젝트 데이터 생성부
    를 포함하는 3차원 사운드 재생 장치.
  12. 제11항에 있어서,
    상기 1차 신호 처리부는,
    상기 채널 데이터에 대한 레벨 보상을 수행하는 채널 믹스부; 및
    상기 오브젝트 데이터에 대한 레벨 보상을 수행하는 오브젝트 데이터 믹스부
    를 더 포함하는 3차원 사운드 재생 장치.
  13. 제11항에 있어서,
    상기 1차 신호 처리부는,
    상기 하나 이상의 채널들을 하나 이상의 고 레벨 채널들 및 하나 이상의 저 레벨 채널들로 구분하는 레벨 감지부
    를 더 포함하고,
    상기 채널 비교부는 상기 하나 이상의 저 레벨 채널들을 상기 채널 데이터로 사용하는 3차원 사운드 재생 장치.
  14. 제13항에 있어서,
    상기 채널 비교부는 상기 하나 이상의 고 레벨 채널들 중 대사의 채널을 상기 오브젝트 데이터 및 채널 데이터 중 하나로 사용하도록 설정하는 3차원 사운드 재생 장치.
  15. 제10항에 있어서,
    상기 오브젝트 데이터는 공간에 대한 위치 정보, 움직임에 대한 방향 정보 및 사운드의 크기 정보를 포함하는 3차원 사운드 재생 장치.
  16. 제10항에 있어서,
    상기 채널 할당부는 상기 하나 이상의 원거리 스피커들의 개수에 맞춰서 상기 하나 이상의 분리된 신호들의 각 신호를 상기 하나 이상의 원거리 스피커들의 하나 이상의 원거리 스피커 채널들 및 상기 근접 스피커의 음상 외재화 채널 중 하나의 채널로 전송하는 3차원 사운드 재생 장치.
  17. 제10항에 있어서,
    상기 하나 이상의 분리 신호들에 대한 프로세싱을 수행하는 2차 신호 처리부
    를 더 포함하는 3차원 사운드 재생 장치.
  18. 제10항에 있어서,
    상기 수신된 신호의 바이패스가 결정된 경우, 수신된 신호를 상기 하나 이상의 원거리 스피커들 및 상기 근접 스피커 중 선택된 스피커로 전송하는 바이패스 조정부
    를 더 포함하고,
    상기 신호 감지부는 상기 수신된 신호를 바이패스할 지 여부를 결정하는 3차원 사운드 재생 장치.
PCT/KR2016/002825 2015-03-19 2016-03-21 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법 WO2016148552A2 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20150038373 2015-03-19
KR10-2015-0038373 2015-03-19
KR10-2016-0032467 2016-03-18
KR1020160032467A KR20160113035A (ko) 2015-03-19 2016-03-18 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2016148552A2 true WO2016148552A2 (ko) 2016-09-22
WO2016148552A3 WO2016148552A3 (ko) 2016-11-10

Family

ID=56919093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/002825 WO2016148552A2 (ko) 2015-03-19 2016-03-21 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2016148552A2 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4701944B2 (ja) * 2005-09-14 2011-06-15 ヤマハ株式会社 音場制御機器
KR101842411B1 (ko) * 2009-08-14 2018-03-26 디티에스 엘엘씨 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
CN105792086B (zh) * 2011-07-01 2019-02-15 杜比实验室特许公司 用于自适应音频信号产生、编码和呈现的系统和方法
ES2534283T3 (es) * 2011-07-01 2015-04-21 Dolby Laboratories Licensing Corporation Ecualización de conjuntos de altavoces
KR101454342B1 (ko) * 2013-05-31 2014-10-23 한국산업은행 서라운드 채널 오디오 신호를 이용한 추가 채널 오디오 신호 생성 장치 및 방법

Also Published As

Publication number Publication date
WO2016148552A3 (ko) 2016-11-10

Similar Documents

Publication Publication Date Title
WO2016024847A1 (ko) 음향 신호를 생성하고 재생하는 방법 및 장치
WO2015199508A1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2016104988A1 (ko) 이동 단말기, 오디오 출력장치, 및 이를 구비하는 오디오 출력 시스템
WO2009131391A1 (en) Method for generating and playing object-based audio contents and computer readable recording medium for recoding data having file format structure for object-based audio service
WO2010008234A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 성능 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2016017945A1 (en) Mobile device and method of pairing the same with electronic device
WO2010008232A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008235A2 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008233A2 (ko) 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010120137A2 (ko) 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
WO2013022218A2 (en) Electronic apparatus and method for providing user interface thereof
WO2017010651A1 (ko) 디스플레이 시스템
WO2019103584A1 (ko) 귀 개방형 헤드폰을 이용한 다채널 사운드 구현 장치 및 그 방법
WO2010033006A2 (ko) 실감 효과 표현 방법 및 장치
WO2016093510A1 (en) Display apparatus and display method
WO2016104952A1 (en) Display apparatus and display method
WO2020231202A1 (ko) 복수 개의 스피커들을 포함하는 전자 장치 및 그 제어 방법
WO2016182133A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020145659A1 (en) Signal processing device and image display apparatus including the same
WO2018139884A1 (en) Method for processing vr audio and corresponding equipment
WO2019031652A1 (ko) 3차원 오디오 재생 방법 및 재생 장치
WO2019125036A1 (en) Image processing method and display apparatus therefor
WO2022158943A1 (ko) 다채널 오디오 신호 처리 장치 및 방법
WO2016182124A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2017039130A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16765308

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16765308

Country of ref document: EP

Kind code of ref document: A2