WO2024075978A1 - 음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치 - Google Patents

음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2024075978A1
WO2024075978A1 PCT/KR2023/012532 KR2023012532W WO2024075978A1 WO 2024075978 A1 WO2024075978 A1 WO 2024075978A1 KR 2023012532 W KR2023012532 W KR 2023012532W WO 2024075978 A1 WO2024075978 A1 WO 2024075978A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
sound
separator
edited
electronic device
Prior art date
Application number
PCT/KR2023/012532
Other languages
English (en)
French (fr)
Inventor
최명규
김성환
김현수
정봉수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220144196A external-priority patent/KR20240049067A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024075978A1 publication Critical patent/WO2024075978A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals

Definitions

  • a sound source may include various elements.
  • the sound source may include a human voice, the sound of a characteristic instrument being played, or a specific sound effect.
  • a sound source separator is provided that can separate sound source elements included in a specific sound source.
  • the electronic device of the present disclosure may include a memory that stores an original sound source and at least one processor functionally connected to the memory. At least one processor receives an original sound source including a plurality of sound source elements, selects a pre-stored test sound source corresponding to the original sound source among a plurality of pre-stored test sound sources, and the plurality of test sound sources are included in the performance index. Accordingly, it matches at least one of a plurality of sound source separators, selects at least one sound source separator corresponding to separation of the test sound source among the plurality of sound source separators, and uses the selected at least one sound source separator to select the original sound source separator. may be set to separate, extract a plurality of sound source elements, and store an edited sound source including the extracted plurality of sound source elements.
  • a method of providing a sound source editing function includes receiving an original sound source including a plurality of sound source elements, and selecting a pre-stored test sound source corresponding to the original sound source among a plurality of pre-stored test sound sources. Operation - the plurality of test sound sources are matched to at least one of the plurality of sound source separators according to the performance index, the operation of selecting at least one sound source separator corresponding to the separation of the test sound source among the plurality of sound source separators, The method may include separating the original sound source using at least one selected sound source separator to extract a plurality of sound source elements, and storing an edited sound source including the extracted plurality of sound source elements.
  • a method of providing a sound source editing function includes the operation of acquiring an edited sound source separated from the sound source, and among the separated elements included in the edited sound source.
  • An operation of providing a screen for selecting a sound field effect for at least one element, an operation of receiving a user input for selecting a sound field effect, and an operation of selecting a sound source separator optimized for the sound field effect selected by the user input from among a plurality of sound source separators. It may include the operation of separating the original sound source corresponding to the edited sound source using the selected sound source separator, and creating and storing a new edited sound source.
  • an electronic device or server device may include a processor that operates the method of providing the sound source editing function described above and a memory that supports the same.
  • the present technology can provide an appropriate or optimal sound source separator in response to a request for sound source separation for the original sound source (or content).
  • Figure 1 is a diagram illustrating an example of a system environment supporting a sound source separation function according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of the configuration of an electronic device according to an embodiment.
  • Figure 3 is a diagram showing an example of a server device configuration according to an embodiment.
  • Figure 4 is a diagram showing an example of sound source separators according to an embodiment.
  • Figure 5 is a diagram showing an example of a method of operating a plurality of sound source separators according to an embodiment.
  • Figure 6 is a diagram showing another example of a method of operating a plurality of sound source separators according to an embodiment.
  • Figure 7 is a diagram illustrating an example of a metadata format according to sound source editing according to an embodiment.
  • Figure 8 is a diagram showing various examples of metadata formats according to sound source editing according to an embodiment.
  • Figure 9 is a diagram showing an example of sound source elements according to sound source editing according to an embodiment.
  • Figure 10 is a diagram illustrating an example of providing objects related to selection of sound source elements according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of a screen interface related to adjusting the sound field effect of a single sound source element according to an embodiment.
  • FIG. 12 is a diagram illustrating an example of a screen interface related to adjusting the sound field effect of multiple sound source elements according to an embodiment.
  • Figure 13 is a diagram illustrating an example of a screen interface for applying sound field effects for each sound source element according to an embodiment.
  • Figure 14 is a diagram showing an example of a screen interface related to sound field effects according to an embodiment.
  • FIG. 15 is a block diagram of an electronic device 1501 in a network environment 1500, according to various embodiments.
  • this description stores a plurality of sound source separators specialized in editing specific sound source elements (e.g., separation of sound source elements, sound source separation), and when a request for sound source separation for the original sound source (or content) occurs, It is possible to provide a method to support the selection of the optimal sound source separator and use it for sound source separation. Through this, this device can use various sound effects or sound field effects in duplicate, and supports the creation of new edited sound sources through mixed playback of each edited (or separated) sound source element, thereby eliminating the need for sound source separation and use operations. User satisfaction can be improved.
  • sound source separators specialized in editing specific sound source elements (e.g., separation of sound source elements, sound source separation)
  • Figure 1 is a diagram illustrating an example of a system environment supporting a sound source separation function according to an embodiment.
  • a system environment 10 supporting sound source separation includes at least one electronic device 100 (or user terminal, portable terminal, portable electronic device), a network 50, and a server device. (200) (e.g., cloud server device) may be included.
  • a server device e.g., cloud server device
  • the network 50 may form a communication channel between at least one electronic device 100 and the server device 200.
  • the network 50 may include, for example, at least one of a wireless communication network element and/or a wired communication network element.
  • the network 50 may include at least one of a mobile communication network including at least one base station, a base station controller, and a core system, and an Internet network connected to the mobile communication network.
  • the network 50 may support the formation of a communication channel for the portable terminal based on the mobile communication network.
  • the network 50 is a component that can transmit and receive signals or data through the formation of a communication channel between the server device 200 and the at least one electronic device 100, and is a specific communication method, It is not limited to communication equipment.
  • the server device 200 may form a communication channel with the at least one electronic device 100 through the network 50 and support a sound source editing function in response to a request from the at least one electronic device 100. there is. For example, the server device 200 prepares a communication channel for connection of at least one electronic device 100, and when at least one electronic device 100 connects, it displays a screen related to sound source separation on the at least one electronic device ( 100). The server device 200 receives an original sound source (or content) from at least one electronic device 100, or selects an original sound source selected by the user of the electronic device 100 among at least pre-stored original sound sources from an external electronic device or server memory. Can be obtained (or received).
  • an original sound source or content
  • the server device 200 may select a sound source separator that provides optimal sound source separation performance for a received or acquired original sound source among a plurality of sound source separators.
  • the server device 200 may separate the original sound source using the selected sound source separator and store the result or provide the result to at least one electronic device 100.
  • the server device 200 may select a test sound source corresponding to the original sound source among pre-stored test sound sources and select a sound source separator that exhibits optimal performance for the selected test sound source.
  • the server device 200 provides a list of edited sound sources (or sound source elements are separated) to at least one electronic device 100, and after a specific edited sound source is selected by the user, the selected edited sound source is selected.
  • a sound field effect for a sound source element e.g., effect type, sound source characteristics, application service or application program or application type applied to the edited sound source, such as editing
  • a plurality of sound source separators that can optimally demonstrate the selected sound field effect are installed. You can select it from the sound source separator.
  • the server device 200 may perform sound source separation on the original sound source using the selected sound source separator, and store the results in the server device 200 or provide them to at least one electronic device 100.
  • the server device 200 selects the type of the application among a plurality of sound source separators. You can select the corresponding specific sound source separator.
  • the specific sound source separator selected may be a sound source separator that can optimize or improve the audio characteristics of the application.
  • the server device 200 selects a voice among sound source separators (or sound source separation engines). You can select the sound source separator that has the highest SNR (Signal to Noise Ratio) for information (separates sound sources with the highest SNR of the voice signal compared to all other sound sources).
  • SNR Signal to Noise Ratio
  • the server device 200 improves or minimizes background noise (e.g., ambient noise such as buzzing bubble noise or car noise) to further emphasize the main sound source (e.g., music sound or voice).
  • background noise e.g., ambient noise such as buzzing bubble noise or car noise
  • the sound source separator with the highest background noise removal performance (or with a predefined performance or higher) among the sound source separators can be selected.
  • the server device 200 when an application (or application) in which the quality of a specific sound source (e.g., a sound from a specific direction or the sound of a single instrument such as a piano) is important is running, the server device 200 separates a plurality of sound sources. Among these, you can select the sound source separator that has the best performance in emphasizing sound sources in a specific direction. As described above, the server device 200 may select a sound source separator that can optimize the audio performance of the application or applications according to the characteristics of the application (or applications) currently running on the electronic device 100. . For example, the server device 200 may select a sound source separator that is related to specific audio performance or can optimize or improve the performance according to the type of application to which the specific audio function is applied.
  • a specific sound source e.g., a sound from a specific direction or the sound of a single instrument such as a piano
  • the server device 200 provides the electronic device 100 with a list of applications (or application list) related to playback of the final edited sound source, or provides an application related to playback of the sound source from the electronic device 100.
  • the optimal sound source separator related to the final edited sound source selected by the user input can be selected from among the plurality of sound source separators. For example, when an application (or applications) related to playing the final edited sound source is selected, the server device 200 checks the audio characteristics emphasized in the application, selects a sound source separator optimized for the confirmed audio characteristics, By performing sound source separation on the original sound source (or edited sound source), a new edited sound source can be created and provided to the electronic device 100.
  • the electronic device 100 may receive a new edited sound source optimized for the application (or application program) to be executed and play it based on the application (or application program).
  • the at least one electronic device 100 may include an electronic device capable of accessing the server device 200 through the network 50 .
  • the at least one electronic device 100 may include a portable communication device or a portable terminal capable of accessing the server device 200 through a mobile communication network.
  • the at least one electronic device 100 may include a portable terminal that is connected to wireless communication such as Wi-Fi and can access the server device 200 through an Internet network.
  • the at least one electronic device 100 may include a desktop computer, etc.
  • the at least one electronic device 100 is an electronic device that can connect to the server device 200 through the network 50 and is not limited to its shape, size, or number.
  • At least one electronic device 100 may access the server device 200 based on the address information of the server device 200 and use the sound source editing function provided by the server device 200. In this operation, at least one electronic device 100 provides an original sound source (or content) to the server device 200 or selects at least one original sound source among a plurality of original sound sources provided by the server device 200. , it is possible to request the server device 200 to separate the sound source for the original sound source. The at least one electronic device 100 may receive and output sound source elements separated from the sound source provided by the server device 200 or an edited sound source including the same.
  • the at least one electronic device 100 selects at least one edited sound source provided by the server device 200 and receives a user input for adjusting the sound field effect for a specific sound source element included in the edited sound source. It can be provided at (200).
  • the optimal sound source separator for applying the user-selected sound field effect to the original sound source is selected by the server device 200, the original sound source corresponding to the edited sound source is separated again using the selected optimal sound source separator. You can.
  • the server device 200 stores a plurality of sound source separators, and the server device 200 acts as the entity that selects the optimal sound source separator (or exhibits performance greater than the specified size) according to the characteristics of the original sound source.
  • the present description is not limited to this.
  • at least one of the at least one electronic device 100 includes a plurality of sound source separators, and uses a sound source separator to separate the original sound source stored in the electronic device 100 or the original sound source received from an external electronic device. You can perform the selected action.
  • the electronic device 100 including a plurality of sound source separators may select a sound source separator to optimally provide the sound field effect.
  • the sound source separator selection function of the present disclosure may be provided through the server device 200, but may also be performed in at least one electronic device 100 itself.
  • At least one electronic device 100 may receive a plurality of sound source separators capable of providing a sound source separator selection function from the server device 200 and store them.
  • At least one sound source separator among the plurality of sound source separators may be composed of at least one of a processing module, a program, an application, and a trained deep learning model.
  • At least one electronic device 100 may select a sound source separator that can optimize the corresponding audio function among a plurality of sound source separators in relation to the audio performance of an application currently running or selected by the user. there is. For example, at least one electronic device 100 may select a sound source separator that can optimize or improve the performance of a specific audio function depending on the type of application to which it is applied.
  • FIG. 2 is a diagram illustrating an example of the configuration of an electronic device according to an embodiment.
  • the electronic device configuration described in FIG. 2 may be one of the at least one electronic device 100 described previously in FIG. 1 . Accordingly, hereinafter, the electronic device will be described with a drawing number of 100.
  • the electronic device 100 may include a communication circuit 110, an input/output unit 120, a memory 130, a display 140, and a processor 150.
  • the communication circuit 110 may form at least one communication channel in connection with supporting the communication function of the electronic device 100.
  • the communication circuit 110 may form a communication channel with the server device 200 through the network 50.
  • the communication circuit 110 may support at least one communication method among various communication methods such as 3G, 4G, LTE, or 5G.
  • the communication circuit 110 may include a plurality of communication modules to support a plurality of communication methods.
  • the communication circuit 110 transmits an original sound source to the server device 200 in response to control of the processor 150 or sends a user input for selecting a specific original sound source stored in the server device 200 to the server. It can be transmitted to the device 200.
  • the communication circuit 110 may receive an edited sound source created by applying a sound source separation function to a specific original sound source in response to the control of the processor 150.
  • the input/output unit 120 may include at least one input means supporting an input function of the electronic device 100 and at least one output means supporting an output function.
  • the input means may include various means such as a touch pad, touch keys, physical keys, physical buttons, a voice input device, a jog shuttle, or a joystick.
  • the display 140 when the display 140 includes a touch screen that supports a touch function, the display 140 may be included in the input means.
  • the output means may include a speaker that outputs an audio signal according to sound source reproduction, a vibration module that outputs vibration of a specific pattern, and an LED lamp that outputs light of a specific color.
  • the speaker included in the output means can output at least some sound source elements from the edited sound source.
  • the memory 130 can store various data or programs necessary for operating the electronic device 100. According to one embodiment, the memory 130 may store a browser program related to connection to the server device 200 or an application that supports connection to the server device 200. The memory 130 may store at least one original sound source to be transmitted to the server device 200. According to one embodiment, the memory 130 may store at least one edited sound source received from the server device 200. If the electronic device 100 is designed to support an optimal sound source separator selection function among a plurality of sound source separators, the memory 130 may store a plurality of sound source separators that support a sound source separation function for the original sound source and a plurality of test sound sources. You can.
  • the display 140 may provide various screens according to the operation of the electronic device 100.
  • the display 140 includes a connection screen for connecting to the server device 200, a screen for transmitting an original sound source to the server device 200, a screen for selecting an optimal sound source separator corresponding to the transmitted original sound source, and a screen for selecting an optimal sound source separator corresponding to the transmitted original sound source.
  • the display 140 outputs a screen for selecting a sound source separator corresponding to the original sound source among the plurality of sound source separators. can do.
  • the display 140 includes a first screen for selecting at least one edited sound source and a second screen for adjusting the sound field effect of a specific sound source element among the edited sound sources, according to a request for adjusting the sound field effect. At least one of the third screens in which a new sound source separator is selected may be output.
  • the server device 200 may provide at least one of the first to third screens.
  • the sound source separator selection function is provided in the electronic device 100, at least one screen among the first to third screens may be generated and provided by control of the processor 150 of the electronic device 100.
  • the processor 150 may perform signal transmission, processing, and storage control according to the operation of the electronic device 100. For example, the processor 150 may control access to the server device 200 in response to user input and output a screen related to the sound source separator selection function provided by the server device 200 on the display 140. The processor 150 may control the original sound source stored in the memory 130 to be transmitted to the server device 200 in response to a user input in a screen output state related to selecting a sound source separator. Alternatively, the processor 150 may provide a screen for selecting at least one original sound source stored in the server device 200 and control transmission of user selection information to the server device 200. The processor 150 may receive an edited sound source for the original sound source selected by the user from the server device 200 and control the received edited sound source to be stored in the memory 130 in response to the user input.
  • the processor 150 controls to output a screen for selecting at least one edited sound source stored in the server device 200 to the display 140, and controls the screen included in the edited sound source selected by the user input.
  • a screen including a plurality of sound source elements can be controlled to be output on the display 140.
  • the processor 150 transmits a message to the server device 200 requesting a change in the sound field effect for a specific sound source element according to a user input, and receives from the server device 200 a new edited sound source including the sound source element with the changed sound field effect. can receive.
  • the received new edited sound source may be stored in the memory 130 according to user input.
  • the electronic device 100 may directly provide a sound source separator selection function without interworking with the server device 200.
  • the processor 150 may receive the original sound source from an external electronic device through the communication circuit 110 or collect the original sound source using a microphone. When the original sound source is collected, the processor 150 can select a corresponding test sound source and select a sound source separator that has been pre-evaluated to provide optimal performance for the test sound source. The processor 150 can perform sound source separation on the original sound source using the selected sound source separator and output the edited sound source or store it in the memory 130.
  • the processor 150 when at least one edited sound source stored in the memory 130 is selected by a user input, the processor 150 outputs a screen interface that can adjust the sound field effects of sound source elements included in the selected edited sound source. You can control it to do so.
  • the processor 150 selects a sound source separator that can provide optimal performance for the adjusted sound field effect, and uses the selected sound source separator to separate the sound source from the original sound source corresponding to the edited sound source. You can control the creation of a new edited sound source by performing .
  • FIG. 3 is a diagram showing an example of the configuration of a server device according to an embodiment
  • FIG. 4 is a diagram showing an example of sound source separators according to an embodiment.
  • a configuration of the server device described in 3 may be an example of the configuration of the server device previously described in FIG. 1.
  • the server device 200 may include a server communication circuit 210, a server memory 230, and a server processor 250.
  • the server communication circuit 210 may support the communication function of the server device 200.
  • the server communication circuit 210 may form a communication channel with at least one electronic device 100 through the network 50.
  • the server communication circuit 210 provides a screen corresponding to the sound source separator selection function to at least one electronic device 100, receives an original sound source from the at least one electronic device 100, or A user input for selecting an original sound source stored in the server memory 230 may be received.
  • the server communication circuit 210 may transmit the edited sound source to at least one electronic device 100 in response to a request from the at least one electronic device 100 .
  • the server memory 230 may store data or programs necessary for operating the server device 200. According to one embodiment, the server memory 230 stores test sound sources 231 (or test vector sound sources), sound source separators 232, and editing sound sources 233 in relation to supporting the sound source separator selection function. You can.
  • the test sound sources 231 may include test vector values for various sound sources.
  • the test vector included in the test sound sources 231 may be composed of basic information, mixed-data of sound, and sound source for each channel.
  • Each of the test sound sources 231 may be matched to a plurality of sound source separators 232.
  • the test sound sources 231 may include sound sources in which a plurality of sound source elements (e.g., voices, specific instruments, at least some sound source elements among sounds in a specific frequency band) are defined differently. You can.
  • the test sound sources 231 may be a test sound source that matches a sound source separator with optimal performance for sound source separation for voices, and a test sound source that matches a sound source separator with optimal performance for sound source separation of a specific type of musical instrument sound source element. It may include a test sound source and a test sound source matched to a sound source separator with optimal performance for sound source separation of sounds in a specific frequency band.
  • the above-described test sound sources 231 may be pre-stored, and each test sound source 231 may include matching information with the optimal sound source separator. According to one embodiment, at least one of the processing size and/or the memory allocation size to be allocated to each test sound source 231 may be different.
  • the sound source separators 232 may include a plurality of sound source separators capable of separating at least one sound source element from an original sound source including at least one sound source element.
  • the sound source separators 232 may include a first sound source separator 232a and a second sound source separator 232b, as shown.
  • the sound source separators 232 may perform sound source separation for an original sound source (input) (eg, input sound source, input) in response to the control of the processor 150.
  • the sound source separators 232 may have different numbers of sound source elements that can be separated depending on their performance. Alternatively, the sound source separators 232 may have different degrees of distortion of separated sound source elements depending on their performance.
  • the first sound source separator 232a of the sound source separators 232 divides the original sound source (input) into two first sound source element groups 233a (e.g., voice, back ground music (BGM)). can be separated.
  • the second sound source separator 232b can extract four second sound source element groups 233b (e.g., guitar, piano, drum, other) from the original sound source (input).
  • the second sound source separator 232b may separate at least some sound source elements (e.g., voices or BGM) from the first sound source element group 233a separated by the first sound source separator 232a. there is. The performance of this sound source separation may vary depending on the performance of the sound source separator itself or the hardware allocation for operating the sound source separator.
  • Each of the sound source separators 232 may be matched to at least one test sound source.
  • the sound source separators 232 may include, for example, commercial sound source separators.
  • each of the sound source separators 232 may have better sound source separation performance for a specific sound source element than sound source separation performance for other sound source elements.
  • sound source separation performance can be classified, for example, by the degree of distortion of the original sound source characteristics of a specific sound source element.
  • the sound source separators 232 include three sound source separators, and when separating the voice from the original sound source including the voice among the three sound source separators, the sound source separator with the lowest distortion has higher performance than the remaining sound source separators. It can be classified into a sound source separator with .
  • the size of the CPU amount and memory allocation to be allocated may be different.
  • at least some of the sound source separators 232 may have different amounts of bandwidth to be allocated when executed.
  • the edited sound source 233 may be information stored after a specific sound source separator is selected from among the sound source separators 232 and the original sound source is edited by the selected sound source separator.
  • the edited sound source 233 includes the original sound source, information related to sound source elements separated from the original sound source, information on the type of sound source separator used during editing, sound field effects (e.g., effect type, sound source characteristics, application services or applications such as editing). or application) type information.
  • the edited sound source 233 may be updated to a new edited sound source at the request of the electronic device 100.
  • the edited sound source 233 may not separately include the original sound source and may store an address value where the original sound source is stored, or may store an address value where separate sound source elements are stored.
  • the server memory 230 stores a plurality of sound field effectors (or effect modules) and provides a list of sound field effectors that the server device 200 can provide in response to a request from the electronic device 100. can do.
  • the server processor 250 may control the transmission and processing of signals for operating the server device 200 and storage of the processing results.
  • the server processor 250 includes an original sound source collection unit 251, a test sound source matching unit 252, and a sound source separator selection unit 253. and an edited sound source management unit 254.
  • the original sound source collection unit 251 can process original sound source collection. For example, when the electronic device 100 accesses the original sound source collection unit 251, it can allocate a channel that can provide or register the original sound source from which to separate the sound source. In this operation, the original sound source collection unit 251 may provide the electronic device 100 with a connection screen containing items related to original sound source registration. According to one embodiment, the original sound source collection unit 251 may collect the original sound source by connecting to an external server device that provides the original sound source at a designated period. Alternatively, when the original sound source collection unit 251 receives an update message for a specific original sound source from a designated external server device, the original sound source collection unit 251 may receive the specific original sound source from the external server device and store it in the server memory 230.
  • the test sound source matching unit 252 can compare the test sound sources with the characteristics of the original sound source from which sound source separation is requested. For example, the test sound source matching unit 252 may extract representative characteristics of the original sound source and detect a test sound source (or test vector) that is most similar to the representative characteristic (or has a similarity greater than a reference value). According to one embodiment, the test sound source matching unit 252 extracts sound information of the original sound source (e.g., at least one of the genre of the original sound source, the number and type of instruments used in the original sound source, and the sound field effect applied to the original sound source). And, a test sound source having the same or similar sound information as the sound information can be detected.
  • the original sound source e.g., at least one of the genre of the original sound source, the number and type of instruments used in the original sound source, and the sound field effect applied to the original sound source.
  • test sound sources 231 may include sound information that can be compared with sound information stored in the original sound source.
  • the test sound source matching unit 252 may transmit the detected test sound source to the sound source separator selection unit 253.
  • the test sound source matching unit 252 uses classification information (e.g., ID3) registered in the file tag of the original sound source or matches the sound with the prepared test sound sources 231 (or test vector set). Test sound sources can also be selected based on their similarity evaluation.
  • the sound source separator selection unit 253 may receive a test sound source from the test sound source matching unit 252 and select a sound source separator matching the received test sound source from the plurality of sound source separators 232.
  • each or at least a portion of the plurality of sound source separators 232 stored in the server memory 230 may include information that matches the test sound sources 231.
  • the server memory 230 may store a matching table that matches the test sound sources 231 and the sound source separators 232.
  • the sound source separator selection unit 253 transmits the test sound source to a designated external server device holding various sound source separators, and selects a software type (e.g., an application or processing module) corresponding to the test sound source from the designated external server device. form) can also receive a sound source separator.
  • a software type e.g., an application or processing module
  • the sound source separator selection unit 253 may check the resource usage status of the server device 200 (or an external server device) that will perform processing on the original sound source along with the test sound source.
  • the resource usage status of the server device 200 (or an external server device) may be determined by the hardware resources (e.g., remaining memory capacity, remaining CPU capacity, remaining power amount) and network of the server device 200 (or an external server device). May include resources (e.g. network data transfer speed, network latency).
  • the sound source separator selection unit 253 may check whether the time required to separate a specific sound source is within a predefined standard value and select a sound source separator that is within the standard value.
  • the sound source separator selection unit 253 extracts at least one sound source separator candidate group that can be used based on the test sound source, and selects a sound source separator (or most suitable sound source separator candidate) that satisfies the specified processing speed or processing time among the sound source separation candidate group. You can select a sound source separator that provides optimal processing speed and processing time.
  • the sound source separator selection unit 253 may generate data for scoring of a plurality of sound source separators 232 stored in the server memory 230 (or stored in an external server device).
  • the sound source separator selection unit 253 may include quality items (eval: SNR, SDR, SIR and similarity after sound effect by test) corresponding to quality performance quantitative values from the separated sound source results, and performance speed when separating the sound source.
  • quality items eval: SNR, SDR, SIR and similarity after sound effect by test
  • CPU central processing unit
  • GPU graphics processing unit
  • NPU neural processing unit
  • the final score of the calculated scores is calculated based on the following equation 1
  • the original sound source is recorded based on the final score. You can select the sound source separator to be used for sound field effects for or edit sound sources.
  • Equation 1 ⁇ , ⁇ , ⁇ , and ⁇ are weight values and can be constant values determined by specified conditions.
  • the sound source separator selection unit 253 may check the current system status. For example, if the system is configured with a single processor, the sound source separator selection unit 253 checks at least one of resources (e.g., at least one of memory, CPU, GPU, DSP, and NPU capacity), speed, and current consumption, and determines the distributed processor. If configured, check at least one of the external processor's system status (e.g. memory, speed, current consumption), network status and delay time, and the external processor's capability check result, and select the sound source separator based on the confirmed result. It can be performed, and the above-described operation can be confirmed at the time when the sound source separator is stored in the server memory 230 or when the operation for selecting the sound source separator of the external server device is performed.
  • resources e.g., at least one of memory, CPU, GPU, DSP, and NPU capacity
  • speed, and current consumption e.g., current consumption
  • the external processor's system status e.g. memory, speed, current consumption
  • the sound source separator selection unit 253 may obtain a sound source separation result according to the application of each sound source separator 232 to the test sound sources 231.
  • the sound source separator selection unit 253 can update the contents of the system items for each sound source separator and determine key state elements in a single or distributed system to be used for the sound source separators.
  • the sound source separator performance index may include, for example, at least one of SDR, SAR, SIR, SNR, and/or similarity after applying sound field effects.
  • SDR is the skewness of the separated sound source or the skewness of the original sound source (source) of the separated sound source and the test sound source (or test vector), and can be obtained through Equation 2 below.
  • Equation 2 s1 is the ground truth, S2 is the sound source obtained from the sound source separator (estimate), and ⁇ can be any very small value that prevents the equation from being 0.
  • SAR represents the sound source separation performance resulting from the self-defect of the separated sound source and can be obtained through Equation 3 below.
  • S target is the correct signal, and e artif may mean the noise value generated by a defect in the sound source separator itself.
  • the SAR may indicate the degree of sound distortion of the separated sound source (channel) itself.
  • SIR represents sound source separation performance due to the influence of the following sound sources, and can be obtained through Equation 4 below.
  • Equation 4 S target is the correct signal, and e interf may mean the noise value due to the influence of other channels.
  • the SIR may indicate the influence of other signals remaining in the separated sound source (channel).
  • SNR represents all noise effects related to sound source separation, and can be obtained through Equation 5 below.
  • S target is the correct signal
  • S2 may mean the sound source (estimate) obtained from the sound source separator.
  • the resulting similarity can be calculated through Equation 6 below.
  • Equation 6 S target is the correct signal, S2 means the sound source (estimate) obtained from the sound source separator, effect( ) is an effective function, and similarity( ) can be a similarity calculation function.
  • the above-described sound source separation performance index is intended to standardize the performance of the plurality of sound source separators 232, and the sound source separator selection unit 253 can select and use at least one of the various performance index items described above.
  • the sound source separator selection unit 253 may select a sound source separator by considering the skewness of the separated sound source and the system load (e.g., memory, calculation amount, delay time) in relation to the performance of sound source separation.
  • the sound source separator selection unit 253 is a sound source separator that better distinguishes voices and produces a higher SNR for voices, or a sound source separator that produces better performance in sound sources with specific harmonics, such as specific instruments or types of sound sources. You can select it according to the original sound source.
  • the sound source separator selection unit 253 may select a sound source separator with higher performance in the sound field effect application operation.
  • the edited sound source management unit 254 creates parameter information about the separated original sound source and sets the created parameters.
  • the edited sound source along with the information can be stored in the server memory 230.
  • the parameter information may include, for example, at least one of the number of sound source elements separated from the original sound source, the type of separated sound source elements, the type of sound source separator used to separate the original sound source, and the time required to separate the sound source.
  • the edited sound source management unit 254 can store and manage original sound source information corresponding to the edited sound source 233.
  • the edited sound source management unit 254 may provide an edited sound source including parameter information to the electronic device 100 that has requested separation of the original sound source.
  • the edited sound source management unit 254 may provide the electronic device 100 with a list of at least one edited sound source 233 stored in the server memory 230 and provide the electronic device 100 with an edited sound source according to the user's selection. You can.
  • the edited sound source management unit 254 may receive a message from the electronic device 100 requesting to change the sound field effect for a specific sound source element included in the edited sound source. In this case, the edited sound source management unit 254 may transmit a message requesting sound field effect change and the original sound source corresponding to the edited sound source to the sound source separator selection unit 253.
  • the sound source separator selection unit 253 can select the optimal sound source separator to change the sound field effect of a specific sound source element included in the original sound source.
  • the server memory 230 may store and manage a list of optimal sound source separators according to changes in sound field effects of sound source elements.
  • the sound source separator selection unit 253 includes a list of sound source separators stored in the server memory 230 (e.g., identification information of the sound source separator (e.g., name or designation number of the sound source separator), storage location of the sound source separator, characteristics of the sound source separator- For example, by checking at least one of the following - an explanation of what type of sound source shows better performance -, sound source separator preference - including preferences corresponding to various users' selections and users' preferred sound source information -, the user can separate the sound source and Select a sound source separator optimized for the original sound source that requested sound field effect application, re-perform sound source separation for the original sound source using the selected sound source separator, and apply sound field effects to the sound source elements specified by the user among the sound source elements resulting from re-performance. You can create a new edited sound source through .
  • the edited sound source management unit 254 can process update of parameter information for a new edited sound source.
  • the sound source separator selection function may be performed, for example, in the electronic device 100.
  • the operation of the server processor 250 described above is the operation of the processor 150 of the electronic device 100. It may apply to according to one embodiment, at least one of the sound source separator, the original sound source, the test sound source (or test vector), the effect module (or sound field effector), and the operation unit for selecting the sound source separator may be in an external network, and the sound source separator Can be used as an optional system(capa) element.
  • Figure 4 is a diagram showing an example of sound source separation using a plurality of sound source separators according to an embodiment.
  • the server processor 250 separates a plurality of sound source separators 232 stored in the server memory 230 (or an external server device). (a plurality of stored sound source separators) at least one sound source separator may be selected, and sound source separation of the original sound source (input) may be performed based on the selected sound source separator.
  • the main components of the sound source separator include basic information (e.g., including at least one of name, version, url (including local), size, dependency (requirement) library), input type (e.g., data, format, may include sampling rate, channel) and output type (e.g. data, format, sampling rate, channel (information)).
  • the plurality of sound source separators 232 may include at least a first sound source separator 232a and a second sound source separator 232b.
  • the server processor 250 may select the first sound source separator 232a and the second sound source separator 232b in relation to sound source separation for the original sound source (input) in response to a specified condition.
  • the server processor 250 may separate the original sound source (input) using the selected sound source separators 232a and 232b to generate the first edited sound source 233 and the second edited sound source 233.
  • the first edited sound source 233 may include voice and BGM sound source elements.
  • the second edited sound source 233 may include guitar, piano, drums, and other sound source elements.
  • the server processor 250 may create parameter information for sound source elements of the generated first edited sound source 233 and store the parameter information in the first edited sound source 233 in the server memory 230. .
  • the server processor 250 may include and store information about the original sound source (input) in the first edited sound source 233.
  • Parameter information included in the first edited sound source 233 may include, for example, at least identification information of the first sound source separator 232a, types of sound source elements, and number information of sound source elements.
  • the server processor 250 creates parameter information for sound source elements of the generated second edited sound source 233, and stores the parameter information including the parameter information in the second edited sound source 233 in the server memory 230.
  • information about the original sound source (input) can be included and stored in the second edited sound source 233.
  • Parameter information included in the second edited sound source 233 may include, for example, at least identification information of the second sound source separator 232b, types of sound source elements, and number information of sound source elements.
  • the server processor 250 selects the first sound source separator 232a and the second sound source separator 232b as an example, but the present description is not limited to this.
  • the server processor 250 may select only one of the first sound source separator 232a and the second sound source separator 232b in response to a specified condition.
  • the server memory 230 contains either the first edited sound source 233 separated by the first sound source separator 232a or the second edited sound source 233 separated by the second sound source separator 232b. Either one can be saved.
  • the plurality of sound source separators include a third sound source separator capable of separating at least one of multi-talker, chorus, acoustic, electronic sound, spatial sense, sound effect, and noise into sound source elements, through which the above-described sound source At least one of the elements can also be separated from the sound source.
  • Figure 5 is a diagram showing an example of a method of operating a plurality of sound source separators according to an embodiment.
  • the server processor 250 of the server device 200 can control the collection of the original sound source in operation 501.
  • An original sound source for example, provided by the electronic device 100, an original sound source stored in the server memory 230, may be selected, or may be received from an external server device.
  • the server processor 250 forms a communication channel with the electronic device 100, provides a menu item for uploading an original sound source to the electronic device 100, and provides a menu item for uploading an original sound source to the electronic device 100 through the menu item. You can receive the original sound source from ).
  • the server processor 250 may temporarily or semi-permanently store the received original sound source in the server memory 230.
  • the server processor 250 provides the electronic device 100 with a list screen for selecting an original sound source to be used for sound source separation, and the user can select a specific original sound source from the list screen.
  • the server processor 250 may provide a preview function for an original sound source that the user of the electronic device 100 can select.
  • the electronic device 100 can receive and output the original sound source stored in the server memory 230 in a streaming manner, or download and play the original sound source.
  • the server processor 250 may receive a search word for a specific original sound source from the electronic device 100, and if the original sound source corresponding to the search term is not stored in the server memory 230, the search term may be received from the external server device. You can receive the original sound source corresponding to the search term.
  • the server processor 250 may select a test sound source.
  • the server processor 250 checks the sound information (or meta information) of the original sound source selected by the user of the electronic device 100 and selects a plurality of test sound sources having the same or similar sound information as the sound information. You can choose from ten test sound sources. If there is no sound information in the original sound source, the server processor 250 may analyze the waveform of the signal included in the original sound source and select a test sound source with a similar waveform. In this operation, the server processor 250 may sample at least a portion of the entire section of the original sound source and select a test sound source having a sample section that is the same or similar to the sampled section.
  • the test sound sources 231 pre-stored in the server memory 230 may be matched with a sound source separator that is optimized (or has a degree of distortion less than a reference value or the smallest compared to other sound source separators).
  • the server memory 230 can store and manage a table that matches the test sound sources 231 and the optimal sound source separator.
  • the server processor 250 performs sound source separation for the test sound sources 231, evaluates the sound source separation results, determines the optimal test sound source, and matches the sound source.
  • the table can be updated.
  • the server processor 250 may select a sound source separator.
  • the server processor 250 checks the matching table pre-stored in the server memory 230 and determines optimal performance (or performance above a specified reference value, or below the reference value) for the test sound source selected from among the plurality of sound source separators. You can select a sound source separator with a performance that indicates the degree of distortion. For example, as previously described in Equation 1, the server processor 250 selects quality items (eval: SNR, SDR, SIR) corresponding to quality performance quantitative values from previously performed (or performed with a test sound source) sound source separation results.
  • quality items eval: SNR, SDR, SIR
  • time(inference) item corresponding to the performance speed when separating sound sources size(memory) item corresponding to the memory size used when separating sound sources, system(capa) corresponding to performance indicators in the system.
  • CPU central processing unit
  • GPU graphics processing unit
  • NPU neural processing unit
  • network element e.g., at least one of CPU (central processing unit), GPU (graphic processing unit), NPU (neural processing unit), and/or network element) scores are calculated, and based on the final score, the original sound source is recorded. You can select the sound source separator to be used for sound field effects for sound source separation or editing sound sources.
  • the server processor 250 may generate an edited sound source by separating the original sound source using the selected sound source separator. If a plurality of sound source separators are selected in operation 505, the server processor 250 may generate a plurality of edited sound sources.
  • the edited sound source may include multiple sound source elements.
  • the server processor 250 may control storage of the edited sound source.
  • the server processor 250 may store the edited sound source in the server memory 230.
  • the server processor 250 may provide an edited sound source to the electronic device 100 in response to a request to separate the original sound source from the electronic device 100.
  • the server processor 250 may provide all of the plurality of edited sound sources to the electronic device 100.
  • the server processor 250 may provide a plurality of edited sound source lists to the electronic device 100 and provide the electronic device 100 with edited sound sources according to user selection.
  • Figure 6 is a diagram showing another example of a method of operating a plurality of sound source separators according to an embodiment.
  • the server processor 250 of the server device 200 (or the processor 150 of the electronic device 100, hereinafter referred to as the server processor ( In operation 601 (described based on 250), when the electronic device 100 connects, a predefined connection screen (or web page) may be provided to the electronic device 100.
  • the connection screen may include, for example, a list of edited sound sources stored in the server memory 230.
  • the electronic device 100 may output the received edited sound source list on the display and transmit the edited sound source selected according to the user input to the server device 200.
  • the server processor 250 may check whether the electronic device 100 selects an edited sound source.
  • the connection screen provided on the electronic device 100 may further include a menu item for selecting an original sound source separation function, a menu item related to original sound source playback, etc. Accordingly, if the user input is not an input for selecting an edited sound source, the server processor 250 may provide a designated function according to the user input in operation 605.
  • the server processor 250 may support specific sound source-related functions such as an original sound source search function, an original sound source playback function, and an original sound source separation function.
  • the server processor 250 may output sound source elements of the selected edited sound source in operation 607.
  • the server processor 250 may generate a list corresponding to a plurality of sound source elements of the edited sound source and provide the generated sound source element list to the electronic device 100.
  • the sound source element list may include at least one of the types of sound source elements, whether sound field effects are applied to the sound source elements, and the type of sound field effect applied to the sound source elements.
  • the electronic device 100 may transmit a message instructing to change the sound field effect of a specific sound source element to the server device 200 in response to a user input.
  • the server processor 250 may determine whether a user input related to changing the sound field effect occurs. Upon receiving a user input related to changing the sound field effect of a specific sound source element, the server processor 250 may select a sound source separator in operation 611. In this operation, the server processor 250 may select a sound source separator that provides performance (or optimal performance) above a preset reference value in applying the sound field effect of the sound source element selected by the user from among a plurality of sound source separators.
  • the server memory 230 may store sound source elements and sound field effect information that each sound source separator can characteristically deliver high performance in a table format. The server processor 250 can check the information table stored in the server memory 230 and select a sound source element selected by user input and a sound source separator for providing a sound field effect.
  • the server processor 250 may check the original sound source corresponding to the edited sound source and, in operation 613, perform the task of separating the original sound source corresponding to the edited sound source using the selected sound source separator. After the server processor 250 performs a sound source separation operation from the original sound source and extracts a plurality of sound source elements, the server processor 250 can create a new edited sound source by applying a sound field effect selected by the user to the extracted sound source elements. .
  • the server processor 250 may update the newly created edited sound source in the server memory 230.
  • the server processor 250 may delete a previously stored edited sound source and store a new edited sound source, or may add a new edited sound source while maintaining the previous edited sound source.
  • the server processor 250 may provide a new edited sound source to the electronic device 100.
  • the server processor 250 may apply a sound field effect requested by the user to sound source elements included in a previously edited sound source and control the creation of a new edited sound source accordingly.
  • the server processor 250 may provide a new edited sound source registered by another electronic device user to the user of the electronic device 100. In this way, the server processor 250 can support other users to share the form of editing or re-editing of a specific original or edited sound source through the sharing or recommendation function of the edited sound source. In addition, the server processor 250 may apply a voting function (or a scoring function) to at least one edited sound source, allowing other users to check and view the edited sound source that received a relatively good score.
  • a voting function or a scoring function
  • FIGS. 5 and 6 described above the original sound source editing function and the edited sound source use function are explained based on the server processor 250. However, the operations of FIGS. 5 and 6 described above are performed using the processor of the electronic device 100 ( 150) The same can be applied to motion.
  • Figure 7 is a diagram illustrating an example of a metadata format according to sound source editing according to an embodiment.
  • the server device 200 generates an edited sound source by performing sound source separation on the original sound source, and sets parameters for the generated edited sound source in the form of a structure as shown. It can be recorded as
  • the depicted structure may include factors for creating information about the edited sound source.
  • the structure is defined as BASIC_TYPE, and BASIC_TYPE may include typename, format(raw: 0, meta: 1), and SSE_INFO items.
  • the typename may contain the name or title information of the created edited sound source. As an example, a title entered by a user or a title randomly selected by the server processor 250 may be recorded in typename.
  • the name of the original sound source or the name of the test sound source may be entered in the typename item.
  • format(raw: 0, meta: 1) can be written corresponding to the type of the sound source. For example, if it is an original sound source, 0 may be written in place of the format item, and if it is an edited sound source, 1 may be written in place of the format item.
  • the name of the sound source separator used to separate the sound source can be entered in the SSE_INFO item.
  • SSE_INFO may include name_version, separation_num, and CHANNEL items in relation to the sound source separator.
  • the name and version number of the sound source separator may be entered in the name_version item.
  • the number of separated sound source elements can be entered in the Separation_num item.
  • the CHANNEL item may include ch_number, total_section, and SECTION items.
  • the channel number may be entered in the ch_number item, and information on the number of total sections may be entered in the total_section item.
  • the SECTION item may include start, end, and SEE_INFO items.
  • the start number of the section may be entered in the start item, and the end number of the section may be entered in the end item.
  • the SEE_INFO item may include name_version and EFFECT items.
  • name_version item the name and version of the applied sound field effector (or application service, application program, or application, such as an effect module, a sound source characteristic change module, or an editing module) may be entered.
  • the EFFECT item the sound field effect applied through the sound field effector can be entered.
  • FIG. 8 is a diagram showing various examples of metadata formats according to sound source editing according to an embodiment
  • FIG. 9 is a diagram showing an example of sound source elements according to sound source editing according to an embodiment.
  • the server processor 250 may enter parameter information in relation to sound source separation, and as shown in FIG. 8, at least one of various types of parameter information can be written.
  • the server processor 250 may create at least one of the first to fifth parameter information (810, 820, 830, 840, and 850).
  • the first parameter information 810 is parameter information in which vocal is written as BASIC_TYPE, and the manual_v1.0 sound source separator is used in the original sound source (raw: 0), there is one separated sound source element, and the channel number is 1. It includes one section in total, the start and end of the section are defined as 0 to 60, and as a sound field effect, it can indicate the state in which raw_data (no separate sound field effect is applied) has been applied.
  • the second parameter information 820 is parameter information in which BGM is written in BASIC_TYPE, and the network_model_A sound source separator is used in the edited sound source (meta: 1), there is one separated sound source element, and the channel number is 1, It contains one section in total, the start and end of the section are defined as 0 ⁇ 60, and the volume sound field effect is set to mute: 0.
  • the third parameter information 830 is parameter information in which classic-EQ is written as BASIC_TYPE, and in the edited sound source (meta: 1), the Network_model_B sound source separator is used, and there are two separated sound source elements.
  • the channel number of the first sound source element of the two sound source elements is 3, and includes a total of two sections, with the start and end of the section defined as 0 to 30, a section section with classic applied as a sound field effector PEQ device, and 40. You can define the state in which rock is applied through the PEG sound field effector in the section section defined as ⁇ 60.
  • the second sound source element of the two sound source elements has a channel number of 4 and includes a total of 1 section, the start and end of the section are defined as 0 ⁇ 60, and the sound field effect volume is 0 (e.g., the sound field effect is applied).
  • the fourth parameter information 840 is parameter information in which SVS-Rhythm is written as BASIC_TYPE, and in the edited sound source (meta: 1), the network_model_C sound source separator is used, and there are two separated sound source elements. Of the two sound source elements, the first sound source element has channel number 1, contains a total of 1 section, the start and end of the section are defined as 0 ⁇ 60, and the NEW-midi sound field effect of the Tone-transfer sound field effector is applied. Status can be defined.
  • the fifth parameter information 850 is parameter information in which my-Effect is written as BASIC_TYPE, and in the edited sound source (meta: 1), the network_model_C sound source separator is used, and there are four separated sound source elements.
  • the channel number of the first sound source element is 1, it contains a total of one section, the start and end of the section are defined as 0 ⁇ 60, and the synthesize sound field effect of the sound field effector SVS-DJ is applied. It can be defined.
  • the channel number of the second sound source element is 2, and includes a total of three sections.
  • the start and end of the first section are defined as 0 to 20, and the sound field effector volume is applied as 0, and the second section's
  • the start and end are defined as 20 ⁇ 40, and are applied with sound field effects PEG and pop.
  • the start and end of the third section are defined as 40 ⁇ 60, and the state in which sound field effects ECHO and stadium are applied can be defined.
  • the channel number of the third sound source element is 3, contains a total of one section, the start and end of the section are defined as 0 ⁇ 60, and the sound field effect Tone-transfer and EDM sound field effects are applied. define.
  • the channel number of the fourth sound source element is 4, contains a total of one section, the start and end of the section are defined as 0 ⁇ 60, and the guitar sound field effect of the sound field effector Tone-transfer is applied. It can be defined.
  • the server processor 250 can display parameter information of various sound sources previously described in FIG. 8 in a simple form as shown.
  • the original sound source 800 may be displayed as one audio waveform as shown.
  • the first parameter information 810 corresponding to the first edited sound source may be displayed as an audio waveform corresponding to a voice, which is one sound source element.
  • the second parameter information 820 corresponding to the second edited sound source may be displayed as an audio waveform corresponding to background music (BGM), which is one sound source element.
  • BGM background music
  • the third parameter information 830 corresponding to the third edited sound source has the title classic-EQ and may be displayed as an audio waveform corresponding to two sound source elements.
  • the fourth parameter information 840 corresponding to the fourth edited sound source has the title SVS-Rhythm and may be displayed as an audio waveform corresponding to two sound source elements.
  • the fifth parameter information 850 corresponding to the fifth edited sound source has the title myEffect and can be displayed as an audio waveform corresponding to four sound source elements.
  • the server processor 250 may vary the color and size of the displayed audio waveform depending on at least one of the type of sound field effector used or the type of sound source element.
  • Figure 10 is a diagram illustrating an example of providing objects related to selection of sound source elements according to an embodiment.
  • the server device 200 selects items related to original sound source editing (e.g., sound source separation) and items for searching edited sound sources.
  • a screen including at least one item may be provided to the electronic device 100.
  • the user of the electronic device 100 can select any one of the edited sound sources on the screen provided by the server device 200, and an input signal corresponding to the user's selection is provided to the server device 200.
  • the device 200 may provide the electronic device 100 with a screen corresponding to the edited sound source selected by the user.
  • the server device 200 generates five sound source elements 1001, 1002, 1003, and 1004 in response to a user input for selecting a specific edited sound source among edited sound sources. , 1005) can be provided to the electronic device 100.
  • the five sound source elements (1001, 1002, 1003, 1004, 1005) of the edited sound source according to the user's selection include, for example, a voice sound source element (1001), a guitar sound source element (1002), a drum sound source element (1003), and a violin sound source. It may include an element 1004 and a piano sound source element 1005.
  • the sound source elements 1001, 1002, 1003, 1004, and 1005 output on the display 140 of the electronic device 100 may be output in the form of specific icons as shown, but the present description is not limited thereto.
  • the sound source elements 1001, 1002, 1003, 1004, and 1005 output to the electronic device 100 include not only icons, but also text describing each icon (e.g., voice, guitar, drum, violin, piano). It can be output at a location adjacent to .
  • FIG. 11 is a diagram illustrating an example of a screen interface related to adjusting the sound field effect of a single sound source element according to an embodiment.
  • the server device 200 may provide functions for applying volume and sound field effects to specific sound source elements.
  • the server device 200 may output an adjustment object related to adjusting the volume and sound field effect of the voice sound source element object 1101, as in state 1110.
  • the control object is configured to adjust the volume of the voice sound source element in the vertical direction (or x-axis direction), for example, and the sound field effect of the voice sound source element in the horizontal direction (or y-axis direction) (e.g., Pop, Classic, Flat). , jazz, Rock) may be configured (e.g., an application service, application, or application such as an effect module, a sound source characteristic change module, or an editing module).
  • the user of the electronic device 100 may move the voice sound source element object 1101 to the top in the vertical direction to adjust the volume of the voice sound source element, as in state 1120.
  • the user of the electronic device 100 may move the voice sound source element object 1101 to the bottom in the vertical direction to adjust the volume of the voice sound source element, as in state 1130.
  • the server device 200 or electronic device 100 sets the sound source element so that the volume of the voice sound source element increases. can be adjusted, and in response to the volume increase setting, the first voice sound source transformation object 1101_1 can be output in the upper vertical direction.
  • the first voice sound source transformation object 1101_1 may be displayed in a larger size than the voice sound source element object 1101.
  • the server device 200 sets the sound source element so that the volume of the voice sound source element becomes smaller. can be adjusted, and in response to the volume reduction setting, the second voice sound source transformation object 1101_2 can be output in the lower vertical direction.
  • the second voice sound source transformation object 1101_2 may be displayed in a smaller size than the voice sound source element object 1101.
  • the volume control of the voice sound source element has been described, but the control of other sound source elements can also be adjusted through the control object described in FIG. 11.
  • the server device 200 or the electronic device 100
  • An adjustment object capable of controlling at least one of the volume and sound field effect for the selected sound source element may be output, and as described in FIG. 11, at least one of the volume and sound field effect may be adjusted according to the movement of the sound source element.
  • the server device 200 (or electronic device 100) of the present disclosure has a vertical direction for volume adjustment. Only one of a control object or a horizontal control object for controlling the sound field effect may be provided.
  • FIG. 12 is a diagram illustrating an example of a screen interface related to adjusting the sound field effect of multiple sound source elements according to an embodiment.
  • the server device 200 may edit sound source elements 1001 and 1002 included in the edited sound source selected by the user, as described above with reference to FIG. 10. , 1003, 1004, 1005) can be output. With a plurality of sound source elements 1001, 1002, 1003, 1004, and 1005 output, a user may select the plurality of sound source elements in relation to adjusting at least one of the volume and sound field effect of the sound source element. For example, the user can select all five sound source elements described in FIG. 10 to adjust the volume and sound field effect of all five sound source elements.
  • the server device 200 may provide functions for applying volume and sound field effects of a plurality of sound source elements.
  • the server device 200 includes a voice sound source element object 1101, a piano sound source element object 1105, another sound source element object 1102, a violin sound source element object 1104, and a drum sound source element object 1103. ) can output an control object that can control the volume and sound field effects.
  • the user of the electronic device 100 adjusts the volume of the voice sound source element object 1101 and the piano sound source element object 1105 relative to other sound source elements (e.g., guitar, violin, drum). It can be set high.
  • the server device 200 may display the size of each sound source element object differently depending on the position on the vertical setting line.
  • the volume and sound field effect for at least one sound source element.
  • the voice sound source element object 1101 is placed above the horizontal line and at the left edge (e.g., a position corresponding to the Pop sound field effect)
  • the volume of the voice sound source element is located on the horizontal line. It is set higher than the volume level, and the Pop effect can be applied as a sound field effect.
  • the piano sound source element object 1105 is placed in the second quadrant corresponding to a certain position above and to the left of the horizontal line (e.g., a position corresponding to the Classic sound field effect)
  • the volume size of the piano sound source element is the voice sound source.
  • the Classic effect can be applied as a sound field effect.
  • the volume size of the drum sound source element is It is set lower than the volume level set on the horizontal line or the volume level of the voice sound source element, and the Rock effect can be applied as a sound field effect.
  • the violin sound source element object 1104 and other sound source element objects 1102 are located below the vertical line and can be set to Flat as a sound field effect.
  • the flat sound field effect may include a setting where no separate sound field effect is applied.
  • the volume of the violin sound source element and other sound source elements may be set to the minimum.
  • the violin and other sound source elements are removed from the edited sound source described in Figure 10, the PoP effect is applied to the voice and played at a volume level between the piano and drums, and the piano is played at the highest volume with the Classic effect applied, and drums can be played at a lower volume than the voice with the Rock effect applied.
  • the server device 200 or the electronic device 100 can change the color when applying a specific sound field effect.
  • Figure 13 is a diagram illustrating an example of a screen interface for applying sound field effects for each sound source element according to an embodiment.
  • the sound field effect of a specific sound source element can be changed or adjusted by placing an object corresponding to the specific sound source element at a position corresponding to the specific sound field effect on the horizontal line. there is.
  • the user of the electronic device 100 may perform the same settings as in state 1310.
  • the 1310 state may include, for example, a state in which the volume of the voice sound source element is set to maximum and the volume level of other sound source elements (e.g., guitar sound source element, drum sound source element, violin sound source element, and piano sound source element) is set to minimum. You can.
  • the user of the electronic device 100 may perform the same settings as in state 1320.
  • the 1320 state may include, for example, a state in which the volume of the voice sound source element is set to minimum and the volume level of other sound source elements (e.g., guitar sound source element, drum sound source element, violin sound source element, and piano sound source element) is set to maximum. You can.
  • the user of the electronic device 100 may perform the same settings as in state 1330.
  • the 1330 state for example, sets the volume of the voice sound source element, other sound source element, violin sound source element, and piano sound source element to the maximum, without applying any separate sound field effects (or setting it to Flat), and sets the volume level of the drum sound source element to the maximum.
  • the user of the electronic device 100 may perform the same settings as in state 1340.
  • the 1340 state applies the Pop sound field effect by setting the volume of the voice sound source element lower than the level of the piano sound source element and higher than the level of other sound source elements, and applies the Classic sound field effect while maximizing the volume level of the piano sound source element.
  • It may include a state where the volume level of other sound source elements (e.g., guitar sound source element, drum sound source element, violin sound source element) is set to minimum.
  • Figure 14 is a diagram showing an example of a screen interface related to sound field effects according to an embodiment.
  • the server device 200 in addition to or separately expressing the sound field effect described in FIGS. 11 to 13 with a specific text or color, the server device 200 (or the electronic device 100 )) can use specific poses or gesture shapes in relation to expressing specific sound field effects.
  • the server device 200 (or the electronic device 100) allocates an image corresponding to a specific pose or gesture of a person corresponding to each of the Pop, Classic, Flat, jazz, and Rock sound field effects, and , icons provided for applying the sound field effect previously described in FIGS. 11 to 13 can be replaced and output.
  • a user of the electronic device 100 may check a specific pose or gesture (or check text written under the specific pose or gesture) and select the sound field effect he or she wishes to apply.
  • the server device 200 When receiving a user input related to adjusting the sound field effect of a specific sound source element in FIGS. 10 to 14 described above, the server device 200 (or the electronic device 100) applies the sound field effect selected by the user to the corresponding sound source element.
  • an appropriate sound source separator can be selected.
  • the server device 200 (or electronic device 100) is a sound field effector or sound source separator that produces a performance index (or optimal performance index) above a reference value when applying a specific sound field effect to a specific sound source element. You can save and manage a list of them.
  • the server device 200 may check a pre-stored list, select a sound field effector or sound source separator to apply a sound field effect to a specific sound source element, and perform a related function. In this operation, the server device 200 (or the electronic device 100) acquires the original sound source corresponding to the edited sound source when selecting a sound source separator, separates the sound source for the obtained original sound source, and selects the sound source elements among the separated sound source elements. It can handle the application of sound field effects to sound source elements selected by the user.
  • the server device 200 selects a sound source separator and creates an edited sound source
  • the processor 150 of the electronic device 100 selects a sound source separator on behalf of the server processor 250 of the server device 200, creates an edited sound source, and selects a new sound source separator for a specific sound source element among the edited sound sources.
  • At least one of the functions of selection, separation of the original sound source using a newly selected sound source separator, and updating of a new edited sound source by applying a sound field effect according to the user's selection to the sound source elements may be processed.
  • the sound source separation function of the present disclosure may be provided by the electronic device 100 itself without connection to the server device 200.
  • the electronic device 100 may store a plurality of sound source separators and at least one edited sound source in the memory 130 and provide a sound source separator selection function or a re-editing function for the edited sound source.
  • the electronic device 100 is installed with an application that supports at least one of the above-described sound source separator selection function and re-editing function, and according to execution of the application, the sound field effect editing and the sound field effect editing shown in FIGS. 10 to 14 described above are performed. It can support related screen interface provision functions.
  • the sound source separator selection function and the edited sound source use function of this description described above can be applied in the form of metadata, as previously explained in FIGS. 7 to 9 for the sound field effect after selecting the optimal sound source separator.
  • the present invention can select an appropriate sound source separator to extract the sound source elements and provide a sound field effect.
  • the sound field effects of edited sound sources recorded in metadata form are capable of single and mixed playback, and the data can be shared, added, and updated on one or more processors or devices of multiple terminals (mobile, AR, server). It can be operated.
  • effects can be applied to each separate sound source, and the sound source separation and sound field effect modules can be separated or an integrated model can be used. Additionally, in relation to the sound field effect control function, this device can also support adjustments such as frequency, pitch, and reverb.
  • This device supports changing the settings of individual or selected sound sources at the same time, and separate effects tailored to the characteristics of the sound source can be provided or recommended.
  • the device of the present invention e.g., server device 200 or electronic device 100
  • the device described herein supports displaying settings in various ways and supports applying effects (e.g. pitch, style-transfer, svs, SEE (Sound Effect Engine)) to the tone. Additionally, this device supports a language translation function (e.g., a function to generate and provide a script for a voice) and can support creating a vocal from a script. This device can apply spatial effects, apply overlapping sound field effects, save, share and update set sound field effects, apply different sound field effects for each original sound, and display sound sources differently depending on the song. Function, provision of appropriate recommendation function when user preference information is collected, function to apply different video effects depending on the sound source, sound source recommendation function according to the video, ranking function for set sound field effects, tag addition function, copyright indication and transfer At least one of the functions can be supported.
  • effects e.g. pitch, style-transfer, svs, SEE (Sound Effect Engine)
  • a language translation function e.g., a function to generate and provide a script for a voice
  • This device
  • a method of providing a sound source editing function includes the operation of receiving an original sound source containing a plurality of sound source elements, and selecting the original sound source among a plurality of pre-stored test sound sources.
  • the operation of selecting the at least one sound source separator determines the degree of distortion of the plurality of sound source separators for at least one test sound source among the plurality of test sound sources and the sound source separation performance speed of the plurality of sound source separators.
  • the at least one sound source separator may be determined based on at least one of the hardware resource usage of the plurality of sound source separators.
  • the performance indicator is at least one of software definition radio (SDR), sources to artifacts ratio (SAR), signal to interference ratio (SIR), signal to noise ratio (SNR), and similarity to a target value.
  • SDR software definition radio
  • SAR sources to artifacts ratio
  • SIR signal to interference ratio
  • SNR signal to noise ratio
  • similarity to a target value may include.
  • the sound source elements are each extracted using each sound source separator in the operation of extracting the plurality of sound source elements. It may include actions such as:
  • the method further includes an operation of storing metadata related to the edited sound source, wherein the metadata includes the name of the sound source separator applied to sound source separation of the original sound source, the number of sound source elements, and It may include at least one of the types of sound source elements and the name of the sound field effector applied to the sound source elements.
  • the method includes providing a list of at least one stored edited sound source, receiving a user input for selecting a specific edited sound source included in the edited sound source list, and at least one selected edited sound source included in the selected edited sound source.
  • An operation of outputting one sound source element may be further included.
  • the method includes receiving a user input for adjusting the sound field effect of a specific sound source element, obtaining an original sound source corresponding to the selected specific edited sound source, and adjusting the sound field effect of the specific sound source element.
  • the operation of selecting the new sound source separator includes obtaining a matching table with a sound source separator indicating a performance index greater than a specified reference value in the operation of applying a sound field effect to the specific sound source element, and the matching table. It may include an operation of selecting the new sound source separator based on the sound source separator.
  • the method may further include providing a screen interface that can adjust at least one of the volume and sound field effect of the at least one sound source element.
  • the method further includes outputting at least one of object size, color, and shape corresponding to the at least one sound source element differently in response to adjusting the volume and sound field effect of the at least one sound source element. It can be included.
  • a method of providing a sound source editing function includes an operation of obtaining a separated edited sound source, and at least one element among the separated elements included in the edited sound source.
  • An operation of providing a screen for selecting a sound field effect, an operation of receiving a user input for selection of a sound field effect, an operation of selecting a sound source separator optimized for the sound field effect selected by the user input from among a plurality of sound source separators, the selected sound source separator It may include an operation of separating the original sound source corresponding to the edited sound source and creating and storing a new edited sound source. At least one of the above-described operations may be performed by a server device or an electronic device.
  • a method of providing a sound source editing function includes the operation of receiving an original sound source containing a plurality of sound source elements, and selecting the original sound source among a plurality of pre-stored test sound sources.
  • An operation of selecting a corresponding pre-stored test sound source - the plurality of test sound sources are matched to at least one of a plurality of sound source separators according to a performance index, and a predefined sound source is separated from the plurality of sound source separators matching the test sound source.
  • a method of providing a sound source editing function includes an operation of an electronic device receiving a list of edited sound sources with separated sound sources, an operation of selecting a specific edited sound source from the list of edited sound sources, An operation to display a list of sound field effects that can be applied to a specific selected edited sound source.
  • a new edit in which the sound field effect of the selected edited sound source is adjusted based on the sound field effect application corresponding to the selected item It may include an operation of receiving a sound source.
  • Operations related to this method of providing the sound source editing function may be processed within the electronic device itself or through a screen interface provided by the server to the electronic device.
  • FIG. 15 is a block diagram of an electronic device 1501 in a network environment 1500, according to various embodiments.
  • the electronic device 1501 communicates with the electronic device 1502 through a first network 1598 (e.g., a short-range wireless communication network) or a second network 1599. It is possible to communicate with at least one of the electronic device 1504 or the server 1508 through (e.g., a long-distance wireless communication network).
  • the electronic device 1501 may communicate with the electronic device 1504 through the server 1508.
  • the electronic device 1501 includes a processor 1520, a memory 1530, an input module 1550, an audio output module 1555, a display module 1560, an audio module 1570, and a sensor module ( 1576), interface (1577), connection terminal (1578), haptic module (1579), camera module (1580), power management module (1588), battery (1589), communication module (1590), subscriber identification module (1596) , or may include an antenna module 1597.
  • a sensor module 1576
  • interface e.g, connection terminal 1578
  • haptic module (1579
  • camera module (1580
  • power management module (1588
  • battery 1589
  • communication module e.g., subscriber identification module (1596)
  • the electronic device 1501 includes a processor 1520, a memory 1530, an input module 1550, an audio output module 1555, a display module 1560, an audio module 1570, and a sensor module ( 1576), interface (1577), connection terminal (1578), haptic module (1579), camera module (1580), power management module (1588), battery (15
  • the processor 1520 executes software (e.g., program 1540) to operate at least one other component (e.g., hardware or software component) of the electronic device 1501 connected to the processor 1520. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 1520 stores commands or data received from another component (e.g., sensor module 1576 or communication module 1590) in volatile memory 1532. The commands or data stored in the volatile memory 1532 can be processed, and the resulting data can be stored in the non-volatile memory 1534.
  • software e.g., program 1540
  • the processor 1520 stores commands or data received from another component (e.g., sensor module 1576 or communication module 1590) in volatile memory 1532.
  • the commands or data stored in the volatile memory 1532 can be processed, and the resulting data can be stored in the non-volatile memory 1534.
  • the processor 1520 may include a main processor 1521 (e.g., a central processing unit or an application processor) or an auxiliary processor 1523 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 1521 e.g., a central processing unit or an application processor
  • auxiliary processor 1523 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 1501 includes a main processor 1521 and a auxiliary processor 1523
  • the auxiliary processor 1523 may be set to use lower power than the main processor 1521 or be specialized for a designated function. You can.
  • the auxiliary processor 1523 may be implemented separately from the main processor 1521 or as part of it.
  • the auxiliary processor 1523 may, for example, act on behalf of the main processor 1521 while the main processor 1521 is in an inactive (e.g., sleep) state, or while the main processor 1521 is in an active (e.g., application execution) state. ), together with the main processor 1521, at least one of the components of the electronic device 1501 (e.g., the display module 1560, the sensor module 1576, or the communication module 1590) At least some of the functions or states related to can be controlled.
  • coprocessor 1523 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 1580 or communication module 1590. there is.
  • the auxiliary processor 1523 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 1501 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 1508).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 1530 may store various data used by at least one component (eg, the processor 1520 or the sensor module 1576) of the electronic device 1501. Data may include, for example, input data or output data for software (e.g., program 1540) and instructions related thereto.
  • Memory 1530 may include volatile memory 1532 or non-volatile memory 1534.
  • the program 1540 may be stored as software in the memory 1530 and may include, for example, an operating system 1542, middleware 1544, or an application 1546.
  • the input module 1550 may receive commands or data to be used in a component of the electronic device 1501 (e.g., the processor 1520) from outside the electronic device 1501 (e.g., a user).
  • the input module 1550 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 1555 may output sound signals to the outside of the electronic device 1501.
  • the sound output module 1555 may include, for example, a speaker or receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 1560 can visually provide information to the outside of the electronic device 1501 (eg, a user).
  • the display module 1560 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 1560 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 1570 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 1570 acquires sound through the input module 1550, the sound output module 1555, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 1501). Sound may be output through an electronic device 1502 (e.g., speaker or headphone).
  • an electronic device 1502 e.g., speaker or headphone
  • the sensor module 1576 detects the operating state (e.g., power or temperature) of the electronic device 1501 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 1576 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 1577 may support one or more designated protocols that can be used to connect the electronic device 1501 directly or wirelessly with an external electronic device (e.g., the electronic device 1502).
  • the interface 1577 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1578 may include a connector through which the electronic device 1501 can be physically connected to an external electronic device (eg, the electronic device 1502).
  • the connection terminal 1578 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1579 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 1579 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1580 can capture still images and moving images.
  • the camera module 1580 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1588 can manage power supplied to the electronic device 1501.
  • the power management module 1588 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1589 may supply power to at least one component of the electronic device 1501.
  • the battery 1589 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 1590 provides a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device 1501 and an external electronic device (e.g., the electronic device 1502, the electronic device 1504, or the server 1508). It can support establishment and communication through established communication channels.
  • the communication module 1590 operates independently of the processor 1520 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module 1590 is a wireless communication module 1592 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1594 (e.g.
  • GNSS global navigation satellite system
  • LAN local area network
  • power line communication module may be included.
  • the corresponding communication module is a first network 1598 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1599 (e.g., legacy It may communicate with an external electronic device 1504 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • the wireless communication module 1592 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1596 to communicate within a communication network such as the first network 1598 or the second network 1599.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 1592 may support 5G networks and next-generation communication technologies after 4G networks, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 1592 may support high frequency bands (e.g., mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 1592 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 1592 may support various requirements specified in the electronic device 1501, an external electronic device (e.g., electronic device 1504), or a network system (e.g., second network 1599).
  • the wireless communication module 1592 supports peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 1597 may transmit or receive signals or power to or from the outside (e.g., an external electronic device).
  • the antenna module 1597 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 1597 may include a plurality of antennas (eg, an array antenna).
  • at least one antenna suitable for the communication method used in the communication network such as the first network 1598 or the second network 1599, is connected to the plurality of antennas by, for example, the communication module 1590.
  • the communication module 1590 can be selected Signals or power may be transmitted or received between the communication module 1590 and an external electronic device through the selected at least one antenna.
  • other components eg, radio frequency integrated circuit (RFIC) in addition to the radiator may be additionally formed as part of the antenna module 1597.
  • RFIC radio frequency integrated circuit
  • the antenna module 1597 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 1501 and the external electronic device 1504 through the server 1508 connected to the second network 1599.
  • Each of the external electronic devices 1502 or 1504 may be of the same or different type as the electronic device 1501.
  • all or part of the operations performed in the electronic device 1501 may be executed in one or more of the external electronic devices 1502, 1504, or 1508.
  • the electronic device 1501 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 1501.
  • the electronic device 1501 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 1501 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1504 may include an Internet of Things (IoT) device.
  • Server 1508 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1504 or server 1508 may be included in the second network 1599.
  • the electronic device 1501 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-mentioned devices.
  • first, second, or first or second may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. can be used
  • a module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of this document are one or more instructions stored in a storage medium (e.g., built-in memory 1536 or external memory 1538) that can be read by a machine (e.g., electronic device 1501). It may be implemented as software (e.g., program 1540) including these.
  • a processor e.g., processor 1520 of a device (e.g., electronic device 1501) may call at least one command among one or more commands stored from a storage medium and execute it. This allows the device to be operated to perform at least one function according to the at least one instruction called.
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • the expression 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term is used when data is semi-permanently stored in the storage medium.
  • signals e.g. electromagnetic waves
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or , or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 기재는 복수의 음원 요소들이 포함된 원본 음원을 수신하는 동작, 사전 저장된 복수의 테스트 음원들 중 상기 원본 음원에 대응하는 사전 저장된 테스트 음원을 선택하는 동작 - 상기 복수의 테스트 음원들은 성능 지표에 따라 복수의 음원 분리기들 중 적어도 하나에 매칭됨, 상기 복수의 음원 분리기들 중 상기 테스트 음원의 분리에 대응하는 적어도 하나의 음원 분리기를 선택하는 동작, 상기 선택된 적어도 하나의 음원 분리기를 이용하여 상기 원본 음원을 분리하여 복수의 음원 요소들을 추출하는 동작, 상기 추출된 복수의 음원 요소들을 포함하는 편집 음원을 저장하는 동작을 포함하는 음원 편집 기능 제공 방법 및 이를 지원하는 장치가 개시된다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치
본 문서에서 개시되는 다양한 실시 예들은, 음원 편집에 관한 것이다.
휴대용 전자 장치가 일반화되면서, 휴대용 전자 장치를 통하여 다양한 컨텐츠를 이용할 수 있는 기능이 각광받고 있다. 그 중 음원 컨텐츠를 저장하거나 특정 서버 장치로부터 다운로드 받아 출력하는 음악 출력 기능은 다양한 사용자들이 애용하고 있는 기능이다. 또한, 최근 들어, 1인 또는 다인 방송 채널이 쉽게 개설되고 공유되면서, 음원을 제공하는 채널 또는 음악을 제공하는 채널이 급격하게 늘어나고 있다. 음원은 다양한 요소들을 포함할 수 있다. 예컨대, 음원은 사람의 목소리, 특징 악기의 연주음, 특정 효과음 등이 포함될 수 있다.
한편, 사용자 별로 음원에 포함된 다양한 음원 요소들 중 일부 요소들에 대한 호 및 불호의 차이가 발생하고 있다. 예컨대, 어떠한 사용자의 경우, 특정 음원에 포함된 음원 요소들 중 적어도 일부 음원 요소들을 제거하거나 또는 일부 음원 요소들을 변형하기를 희망할 수 있다. 이러한 기능 지원과 관련하여, 특정 음원에 포함된 음원 요소들을 분리할 수 있는 음원 분리기가 제공되고 있다.
본 기재의 전자 장치에서는, 원본 음원을 저장하는 메모리 및 상기 메모리에 기능적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 복수의 음원 요소들이 포함된 원본 음원을 수신하고, 사전 저장된 복수의 테스트 음원들 중 상기 원본 음원에 대응하는 사전 저장된 테스트 음원을 선택하고 - 상기 복수의 테스트 음원들은 성능 지표에 따라 복수의 음원 분리기들 중 적어도 하나에 매칭됨, 상기 복수의 음원 분리기들 중 상기 테스트 음원의 분리에 대응하는 적어도 하나의 음원 분리기를 선택하고, 상기 선택된 적어도 하나의 음원 분리기를 이용하여 상기 원본 음원을 분리하여 복수의 음원 요소들을 추출하고, 상기 추출된 복수의 음원 요소들을 포함하는 편집 음원을 저장하도록 설정될 수 있다.
본 기재의 일 실시 예에 따른 음원 편집 기능 제공 방법은, 복수의 음원 요소들이 포함된 원본 음원을 수신하는 동작, 사전 저장된 복수의 테스트 음원들 중 상기 원본 음원에 대응하는 사전 저장된 테스트 음원을 선택하는 동작 - 상기 복수의 테스트 음원들은 성능 지표에 따라 복수의 음원 분리기들 중 적어도 하나에 매칭됨, 상기 복수의 음원 분리기들 중 상기 테스트 음원의 분리에 대응하는 적어도 하나의 음원 분리기를 선택하는 동작, 상기 선택된 적어도 하나의 음원 분리기를 이용하여 상기 원본 음원을 분리하여 복수의 음원 요소들을 추출하는 동작, 상기 추출된 복수의 음원 요소들을 포함하는 편집 음원을 저장하는 동작을 포함할 수 있다.
본 기재의 일 실시 예에 따른 음원 편집 기능 제공 방법은, 음원 편집 기능 제공 방법(또는 컨텐츠 데이터의 음원 처리 방법)은 음원 분리된 편집 음원을 획득하는 동작, 편집 음원에 포함된 분리된 요소들 중 적어도 하나의 요소에 대한 음장 효과 선택을 위한 화면을 제공하는 동작, 음장 효과 선택에 대한 사용자 입력을 수신하는 동작, 복수의 음원 분리기 중 사용자 입력에 의해 선택된 음장 효과에 최적화된 음원 분리기를 선택하는 동작, 상기 선택된 음원 분리기를 이용하여 상기 편집 음원에 해당하는 원본 음원을 분리하여, 새 편집 음원을 생성 및 저장하는 동작을 포함할 수 있다.
상술한 동작 중 적어도 하나의 동작은 서버 장치가 수행하거나 전자 장치가 수행할 수 있다. 이와 관련하여, 본 기재의 일 실시 예에 따른 전자 장치 또는 서버 장치는 상술한 음원 편집 기능 제공 방법을 운용하는 프로세서와 이를 지원하는 메모리를 포함할 수 있다.
본 기재는, 원본 음원(또는 컨텐츠)에 대한 음원 분리 요청에 대응하여 적절한 또는 최적의 음원 분리기를 제공할 수 있다.
기타, 본 기재는 이하에서 설명하는 각 실시 예들의 설명과 함께 각 실시 예 중 적어도 하나의 실시 예의 효과에 대해서 설명하기로 한다.
도 1은 일 실시 예에 따른 음원 분리 기능을 지원하는 시스템 환경의 한 예를 나타낸 도면이다.
도 2는 일 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.
도 3은 일 실시 예에 따른 서버 장치 구성의 한 예를 나타낸 도면이다.
도 4는 일 실시 예에 따른 음원 분리기들의 한 예를 나타낸 도면이다.
도 5는 일 실시 예에 따른 복수개의 음원 분리기들의 운용 방법의 한 예를 나타낸 도면이다.
도 6은 일 실시 예에 따른 복수개의 음원 분리기들의 운용 방법의 다른 예를 나타낸 도면이다.
도 7은 일 실시 예에 따른 음원 편집에 따른 메타 데이터 양식의 한 예를 나타낸 도면이다.
도 8은 일 실시 예에 따른 음원 편집에 따른 메타 데이터 양식의 다양한 예를 나타낸 도면이다.
도 9는 일 실시 예에 따른 음원 편집에 따른 음원 요소들의 한 예를 나타낸 도면이다.
도 10은 일 실시 예에 따른 음원 요소 선택과 관련한 객체 제공의 한 예를 나타낸 도면이다.
도 11은 일 실시 예에 따른 단일 음원 요소의 음장 효과 조절과 관련한 화면 인터페이스의 한 예를 나타낸 도면이다.
도 12는 일 실시 예에 따른 다중 음원 요소의 음장 효과 조절과 관련한 화면 인터페이스의 한 예를 나타낸 도면이다.
도 13은 일 실시 예에 따른 음원 요소별 음장 효과 적용에 관한 화면 인터페이스의 한 예를 나타낸 도면이다.
도 14는 일 실시 예에 따른 음장 효과와 관련한 화면 인터페이스의 한 예를 나타낸 도면이다.
도 15는, 다양한 실시 예들에 따른, 네트워크 환경(1500) 내의 전자 장치(1501)의 블록도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하에서, 본 기재는, 특정 음원 요소들의 편집(예: 음원 요소들의 분리, 음원 분리)에 있어서 특화된 복수의 음원 분리기들을 저장하고, 원본 음원(또는 컨텐츠)에 대한 음원 분리의 요청이 발생한 경우, 최적의 음원 분리기를 선택하여 음원 분리에 이용할 수 있도록 지원하는 방안을 제공할 수 있다. 이를 통해 본 기재는 다양한 음향 효과 또는 음장 효과를 중복하여 사용할 수도 있고, 편집된(또는 분리된) 음원 요소별 혼합 재생을 통해 새로운 편집 음원을 생성할 수 있도록 지원함으로써, 음원 분리 및 이용 동작에서의 사용자 만족도를 개선할 수 있다.
이하에서는, 본 기재에서 제안하는 복수개의 음원 분리기를 활용하여 특정 음원의 분리를 지정된 기준 값 이상의 정확도를 가지며 수행하거나 또는 최적의 성과로 음원을 분리할 수 있는 음원 분리기 선택 및 활용하는 시스템 환경 및 시스템 환경을 구성하는 각 장치들에 대해서 설명하기로 한다.
도 1은 일 실시 예에 따른 음원 분리 기능을 지원하는 시스템 환경의 한 예를 나타낸 도면이다.
도 1을 참조하면, 일 실시 예에 따른 음원 분리를 지원하는 시스템 환경(10)은 적어도 하나의 전자 장치(100)(또는 사용자 단말, 휴대용 단말, 휴대용 전자 장치), 네트워크(50) 및 서버 장치(200)(예: 클라우드 서버 장치)를 포함할 수 있다.
상기 네트워크(50)는 적어도 하나의 전자 장치(100)와 서버 장치(200) 간에 통신 채널을 형성할 수 있다. 상기 네트워크(50)는 예컨대, 무선 통신 네트워크 요소 및/또는` 유선 통신 네트워크 요소 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 상기 네트워크(50)는 적어도 하나의 기지국 및 기지국 제어기와 코어 시스템을 포함하는 이동 통신 네트워크, 상기 이동 통신 네트워크와 연결되는 인터넷 네트워크 중 적어도 하나를 포함할 수 있다. 상기 적어도 하나의 전자 장치(100)가 이동통신 단말 또는 휴대용 단말을 포함하는 경우, 상기 네트워크(50)는 이동통신 네트워크를 기반으로 휴대용 단말의 통신 채널 형성을 지원할 수 있다. 상술한 바와 같이, 상기 네트워크(50)는 상기 서버 장치(200)와 상기 적어도 하나의 전자 장치(100) 사이의 통신 채널 형성을 통해 신호 또는 데이터를 송수신할 수 있는 구성 요소로서 특정 통신 방식이나, 통신 장비로서 한정되는 것은 아니다.
상기 서버 장치(200)는 상기 네트워크(50)를 통하여 상기 적어도 하나의 전자 장치(100)와 통신 채널을 형성하고, 상기 적어도 하나의 전자 장치(100)의 요청에 대응하여 음원 편집 기능을 지원할 수 있다. 예컨대, 서버 장치(200)는 적어도 하나의 전자 장치(100)의 접속을 위한 통신 채널을 준비하고, 적어도 하나의 전자 장치(100)가 접속하면, 음원 분리와 관련한 화면을 적어도 하나의 전자 장치(100)에 제공할 수 있다. 상기 서버 장치(200)는 적어도 하나의 전자 장치(100)로부터 원본 음원(또는 컨텐츠)을 수신하거나 또는 사전 저장된 적어도 원본 음원 중 전자 장치(100) 사용자가 선택한 원본 음원을 외부 전자 장치 또는 서버 메모리에서 획득(또는, 수신)할 수 있다. 상기 서버 장치(200)는 복수개의 음원 분리기들 중 수신 또는 획득된 원본 음원에 대해 최적의 음원 분리 성능을 제공하는 음원 분리기를 선택할 수 있다. 상기 서버 장치(200)는 선택된 음원 분리기를 이용하여 상기 원본 음원을 분리하고, 그 결과를 저장하거나 적어도 하나의 전자 장치(100)에 제공할 수 있다. 상술한 동작에서, 상기 서버 장치(200)는 사전 저장된 테스트 음원들 중 원본 음원에 대응하는 테스트 음원을 선택하고, 선택된 테스트 음원에 최적의 성능을 발휘하는 음원 분리기를 선택할 수 있다.
일 실시 예에 따르면, 상기 서버 장치(200)는 적어도 하나의 전자 장치(100)에 편집된(또는 음원 요소들이 분리된) 음원 리스트를 제공하고, 사용자에 의해 특정 편집 음원이 선택된 후, 선택된 편집 음원 요소에 대한 음장 효과(예: 이펙트 종류, 음원 특성, 편집과 같이 편집 음원에 적용되는 응용 서비스 또는 응용프로그램이나 어플리케이션 종류)가 선택되면, 선택된 음장 효과를 최적으로 발휘할 수 있는 음원 분리기를 복수의 음원 분리기에서 선택할 수 있다. 상기 서버 장치(200)는 선택된 음원 분리기를 이용하여 원본 음원에 대한 음원 분리를 수행하고, 그 결과를 서버 장치(200)에 저장하거나 또는 적어도 하나의 전자 장치(100)에 제공할 수 있다. 일 예로서, 상기 서버 장치(200)는 최종 편집된 편집 음원의 특정 오디오 기능(또는 음장 효과) 적용과 관련한 응용 프로그램(또는 어플리케이션)이 선택되면, 복수의 음원 분리기들 중 상기 응용 프로그램의 종류에 대응되는 특정 음원 분리기를 선택할 수 있다. 선택된 특정 음원 분리기는 상기 응용 프로그램의 오디오 특성을 최적화하거나 개선할 수 있는 음원 분리기일 수 있다.
일 실시 예에 따르면, 상기 서버 장치(200)는 음성 인식이나 통화 기능과 같이 사용자의 보이스 정보의 품질이 중요한 응용 프로그램(또는 어플리케이션)이 실행 중인 경우, 음원 분리기(또는 음원 분리 엔진)들 중에서 보이스 정보에 대한 SNR(Siganl to Noise Ratio, 신호대 잡음비)이 가장 높은(음성 신호의 SNR이 나머지 모든 음원보다 가장 높게 음원 분리를 해 주는) 음원 분리기를 선택할 수 있다.
일 실시 예에 따르면, 상기 서버 장치(200)는 배경 잡음(예: 웅성거리는 버블 노이즈 또는 자동차 소음과 같은 주변 잡음)을 개선하거나 최소화 시켜서 메인 음원(예: 음악소리 또는 보이스)을 더욱 강조해야 하는 상황에 이용되는 응용프로그램(또는 어플리케이션)이 실행 중이면, 음원 분리기들 중 배경 잡음 제거 성능이 가장 높은(또는 사전 정의된 성능 이상을 가진) 음원 분리기를 선택할 수 있다.
일 실시 예에 따르면, 상기 서버 장치(200)는 특정 음원(예: 특정 방향의 소리나 피아노 같은 하나의 악기 소리)에 대한 품질이 중요한 응용 프로그램(또는 어플리케이션)이 실행 중인 경우, 복수의 음원 분리기들 중 특정 방향의 음원을 강조하는 성능이 가장 좋은 음원 분리기를 선택할 수 있다. 상술한 바와 같이, 상기 서버 장치(200)는 현재 전자 장치(100)에서 실행 중인 응용 프로그램(또는 어플리케이션)의 특성에 따라 해당 응용 프로그램 또는 어플리케이션의 오디오 성능을 최적화할 수 있는 음원 분리기를 선택할 수 있다. 예컨대, 서버 장치(200)는 특정 오디오 성능과 관련된 또는 특정 오디오 기능이 적용되는 응용 프로그램의 종류에 따라 해당 성능을 최적화하거나 개선할 수 있는 음원 분리기를 선택할 수 있다.
일 실시 예에 따르면, 상기 서버 장치(200)는 최종 편집된 음원의 재생과 관련한 어플리케이션 목록(또는 응용 프로그램 목록)을 전자 장치(100)에 제공하거나 또는 전자 장치(100)로부터 음원 재생과 관련한 어플리케이션 정보(또는 응용 프로그램 정보)를 획득하면, 복수의 음원 분리기들 중 사용자 입력에 의해 선택된 최종 편집 음원과 관련한 최적 음원 분리기를 선택할 수 있다. 예컨대, 상기 서버 장치(200)는 최종 편집 음원 재생과 관련한 어플리케이션(또는 응용 프로그램)이 선택되면, 해당 응용 프로그램에서 강조되는 오디오 특성을 확인하고, 확인된 오디오 특성에 최적화된 음원 분리기를 선택하여, 원본 음원(또는 편집 음원)에 대한 음원 분리기를 수행하여 새로운 편집 음원을 생성하여 전자 장치(100)에 제공할 수 있다. 전자 장치(100)는 실행될 어플리케이션(또는 응용 프로그램)에 최적화된 새 편집 음원을 수신하여, 상기 어플리케이션(또는 응용 프로그램)을 기반으로 재생할 수 있다.
상기 적어도 하나의 전자 장치(100)는 상기 네트워크(50)를 통하여 상기 서버 장치(200)에 접속할 수 있는 전자 장치를 포함할 수 있다. 일 실시 예에 따르면, 상기 적어도 하나의 전자 장치(100)는 이동통신 네트워크를 통하여 상기 서버 장치(200)에 접속할 수 있는 휴대용 통신 장치 또는 휴대용 단말을 포함할 수 있다. 또는, 상기 적어도 하나의 전자 장치(100)는 와이파이와 같은 무선 통신으로 연결되어 인터넷 네트워크를 통해 상기 서버 장치(200)에 접속할 수 있는 휴대용 단말을 포함할 수 있다. 또는, 상기 적어도 하나의 전자 장치(100)는 데스크 톱 컴퓨터 등을 포함할 수 있다. 상술한 바와 같이, 상기 적어도 하나의 전자 장치(100)는 네트워크(50)를 통하여 상기 서버 장치(200)에 접속할 수 있는 전자 장치로서 그 형태나 크기 또는 개수 등에 한정되는 것은 아니다. 일 실시 예에 따르면, 적어도 하나의 전자 장치(100)는 서버 장치(200)의 주소 정보를 토대로 서버 장치(200)에 접속하고, 서버 장치(200)에서 제공하는 음원 편집 기능을 이용할 수 있다. 이 동작에서, 적어도 하나의 전자 장치(100)는 원본 음원(또는 컨텐츠)을 서버 장치(200)에 제공하거나 또는 서버 장치(200)에서 제공하는 복수개의 원본 음원 중 적어도 하나의 원본 음원을 선택한 후, 해당 원본 음원에 대한 음원 분리를 서버 장치(200)에 요청할 수 있다. 상기 적어도 하나의 전자 장치(100)는 서버 장치(200)에서 제공하는 음원이 분리된 음원 요소들 또는 이를 포함하는 편집된 음원을 수신하여 출력할 수 있다. 또한, 적어도 하나의 전자 장치(100)는 서버 장치(200)에서 제공하는 적어도 하나의 편집된 음원을 선택하고, 편집된 음원에 포함된 특정 음원 요소에 대한 음장 효과를 조정하는 사용자 입력을 서버 장치(200)에 제공할 수 있다. 이에 대응하여, 사용자 선택 음장 효과를 원본 음원에 적용하기 위한 최적의 음원 분리기가 서버 장치(200)에 의해 선택된 후, 선택된 최적 음원 분리기를 이용하여 편집된 음원에 대응하는 원본 음원을 다시 음원 분리할 수 있다.
한편, 상술한 설명에서는 복수개의 음원 분리기를 서버 장치(200)가 저장하고, 원본 음원의 특징에 따라 최적의(또는 지정된 크기 이상의 성능을 발휘하는) 음원 분리기를 선택하는 주체로서 서버 장치(200)가 관련 동작을 수행하는 것으로 설명하였으나, 본 기재가 이에 한정되는 것은 아니다. 예컨대, 상기 적어도 하나의 전자 장치(100) 중 적어도 하나가 복수개의 음원 분리기를 포함하고, 전자 장치(100)에 저장된 원본 음원 또는 외부 전자 장치로부터 수신된 원본 음원에 대한 음원 분리를 위해 음원 분리기를 선택하는 동작을 수행할 수 있다. 또한, 편집된 음원에 대한 음장 효과 선택에 대응하여, 복수개의 음원 분리기를 포함하는 전자 장치(100)는 해당 음장 효과를 최적으로 제공하기 위한 음원 분리기를 선택할 수 있다. 이에 따라, 본 기재의 음원 분리기 선택 기능은 서버 장치(200)를 통해서 제공될 수도 있으나, 적어도 하나의 전자 장치(100) 자체에서 수행될 수도 있다. 적어도 하나의 전자 장치(100)는 음원 분리기 선택 기능을 제공할 수 있는 복수의 음원 분리기를 서버 장치(200)로부터 수신하여 저장할 수 있다. 상기 복수개의 음원 분리기들 중 적어도 하나의 음원 분리기는 프로세싱 모듈, 프로그램, 어플리케이션, 훈련된 딥러닝 모델 중 적어도 하나로 구성될 수 있다. 일 실시 예에 따르면, 적어도 하나의 전자 장치(100)는 현재 실행 중인 또는 사용자가 선택한 응용 프로그램의 오디오 성능과 관련하여, 복수의 음원 분리기들 중 해당 오디오 기능을 최적화할 수 있는 음원 분리기를 선택할 수 있다. 예컨대, 적어도 하나의 전자 장치(100)는 특정 오디오 기능이 적용되는 응용 프로그램의 종류에 따라 해당 성능을 최적화하거나 개선할 수 있는 음원 분리기를 선택할 수 있다.
도 2는 일 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.
설명에 앞서, 도 2에서 설명한 전자 장치 구성은 앞서 도 1에서 설명한 적어도 하나의 전자 장치(100) 중 하나일 수 있다. 이에 따라, 이하에서는 전자 장치의 도면 번호를 100을 부여하여 설명하기로 한다.
도 2를 참조하면, 일 실시 예에 따른 전자 장치(100)는 통신 회로(110), 입출력부(120), 메모리(130), 디스플레이(140) 및 프로세서(150)를 포함할 수 있다.
상기 통신 회로(110)는 전자 장치(100)의 통신 기능 지원과 관련하여 적어도 하나의 통신 채널을 형성할 수 있다. 예컨대, 상기 통신 회로(110)는 네트워크(50)를 통해 서버 장치(200)와 통신 채널을 형성할 수 있다. 상기 통신 회로(110)는 3G, 4G, LTE 또는 5G와 같은 다양한 통신 방식 중 적어도 하나의 통신 방식을 지원할 수 있다. 또는, 통신 회로(110)는 복수개의 통신 방식을 지원할 수 있도록 복수개의 통신 모듈을 포함할 수 있다. 일 실시 예에 따르면, 상기 통신 회로(110)는 프로세서(150) 제어에 대응하여 서버 장치(200)에 원본 음원을 전송하거나 또는 서버 장치(200)에 저장된 특정 원본 음원을 선택하는 사용자 입력을 서버 장치(200)에 전송할 수 있다. 상기 통신 회로(110)는 프로세서(150) 제어에 대응하여 특정 원본 음원에 대한 음원 분리 기능이 적용됨에 따라 생성됨 편집된 음원을 수신할 수 있다.
상기 입출력부(120)는 상기 전자 장치(100)의 입력 기능을 지원하는 적어도 하나의 입력 수단 및 출력 기능을 지원하는 적어도 하나의 출력 수단을 포함할 수 있다. 일 실시 예에 따르면, 상기 입력 수단은 예컨대, 터치패드, 터치키, 물리키, 물리 버튼, 음성 입력 장치, 조그 셔틀이나 조이스틱과 같은 다양한 수단을 포함할 수 있다. 일 실시 예에 따르면, 상기 디스플레이(140)가 터치 기능을 지원하는 터치스크린을 포함하는 경우, 상기 디스플레이(140)는 입력 수단에 포함될 수 있다. 상기 출력 수단은 음원 재생에 따른 오디오 신호를 출력하는 스피커, 특정 패턴의 진동을 출력하는 진동 모듈, 특정 색상의 광을 출력하는 LED 램프를 포함할 수 있다. 일 실시 예에 따르면, 상기 출력 수단에 포함된 스피커는 편집된 음원 중 적어도 일부 음원 요소를 출력할 수 있다.
상기 메모리(130)는 상기 전자 장치(100) 운영에 필요한 다양한 데이터 또는 프로그램을 저장할 수 있다. 일 실시 예에 따르면, 상기 메모리(130)는 상기 서버 장치(200) 접속과 관련한 브라우저 프로그램 또는 서버 장치(200) 접속을 지원하는 어플리케이션을 저장할 수 있다. 상기 메모리(130)는 상기 서버 장치(200)에 전송할 적어도 하나의 원본 음원을 저장할 수 있다. 일 실시 예에 따르면, 메모리(130)는 서버 장치(200)로부터 수신된 적어도 하나의 편집된 음원을 저장할 수 있다. 상기 전자 장치(100)가 복수개의 음원 분리기 중 최적 음원 분리기 선택 기능을 지원하도록 설계된 경우 상기 메모리(130)는 원본 음원에 대한 음원 분리 기능을 지원하는 복수개의 음원 분리기들 및 복수개의 테스트 음원들을 저장할 수 있다.
상기 디스플레이(140)는 전자 장치(100) 운영에 따른 다양한 화면을 제공할 수 있다. 예컨대, 상기 디스플레이(140)는 서버 장치(200) 접속에 따른 접속 화면, 원본 음원을 서버 장치(200)에 전송하는 화면, 전송된 원본 음원에 대응하는 최적 음원 분리기 선택 화면, 선택된 음원 분리기에 의해 원본 음원을 편집하는 화면 또는 편집된 음원 생성 화면, 편집된 음원을 다운로드 하는 화면을 출력할 수 있다. 상기 전자 장치(100)가 복수개의 음원 분리기들을 직접 포함하고, 음원 분리기 선택 기능을 제공하는 경우, 상기 디스플레이(140)는 복수개의 음원 분리기들 중 원본 음원에 대응하는 음원 분리기를 선택하는 화면을 출력할 수 있다. 일 실시 예에 따르면, 상기 디스플레이(140)는 적어도 하나의 편집된 음원을 선택할 수 있는 제1 화면 및 편집된 음원 중 특정 음원 요소의 음장 효과를 조절할 수 있는 제2 화면, 음장 효과 조절 요청에 따라 새로운 음원 분리기가 선택되는 제3 화면 중 적어도 하나를 출력할 수 있다. 상기 음원 분리기 선택 기능을 서버 장치(200)에서 제공하는 경우, 상기 제1 내지 제3 화면 중 적어도 하나는 상기 서버 장치(200)가 제공할 수 있다. 상기 음원 분리기 선택 기능을 전자 장치(100)에서 제공하는 경우, 상기 제1 내지 제3 화면 중 적어도 하나의 화면은 상기 전자 장치(100)의 프로세서(150) 제어에 의해 생성 및 제공될 수 있다.
상기 프로세서(150)는 전자 장치(100) 운용에 따른 신호의 전달과 처리 및 저장 제어를 수행할 수 있다. 예컨대, 프로세서(150)는 사용자 입력에 대응하여 서버 장치(200) 접속을 제어하고, 서버 장치(200)에서 제공하는 음원 분리기 선택 기능과 관련한 화면을 디스플레이(140)에 출력하도록 제어할 수 있다. 상기 프로세서(150)는 음원 분리기 선택과 관련한 화면 출력 상태에서, 사용자 입력에 대응하여 메모리(130)에 저장된 원본 음원을 서버 장치(200)에 전송하도록 제어할 수 있다. 또는, 프로세서(150)는 서버 장치(200)에 저장된 적어도 하나의 원본 음원을 선택할 수 있는 화면을 제공하고, 사용자 선택 정보를 서버 장치(200)에 전송하도록 제어할 수 있다. 상기 프로세서(150)는 서버 장치(200)로부터 사용자가 선택한 원본 음원에 대한 편집된 음원을 수신하고, 사용자 입력에 대응하여, 수신된 편집 음원을 메모리(130)에 저장하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서(150)는 서버 장치(200)에 저장된 적어도 하나의 편집 음원을 선택할 수 있는 화면을 디스플레이(140)에 출력하도록 제어하고, 사용자 입력에 의해 선택된 편집 음원에 포함된 복수개의 음원 요소들을 포함하는 화면을 디스플레이(140)에 출력하도록 제어할 수 있다. 상기 프로세서(150)는 사용자 입력에 의해 특정 음원 요소에 대한 음장 효과 변경을 요청하는 메시지를 서버 장치(200)에 전송하고, 서버 장치(200)로부터 음장 효과가 변경된 음원 요소를 포함하는 새로운 편집 음원을 수신할 수 있다. 상기 수신된 새로운 편집 음원은 사용자 입력에 따라 메모리(130)에 저장될 수 있다.
일 실시 예에 따르면, 상기 전자 장치(100)는 음원 분리기 선택 기능을 서버 장치(200)와의 연동 없이 직접 제공할 수 있다. 이 경우, 상기 프로세서(150)는 통신 회로(110)를 통해 외부 전자 장치로부터 원본 음원을 수신하거나 또는 마이크를 이용하여 원본 음원을 수집할 수 있다. 상기 프로세서(150)는 원본 음원이 수집되면, 대응되는 테스트 음원을 선택하고, 테스트 음원에 대해 최적의 성능을 발휘하도록 사전 평가된 음원 분리기를 선택할 수 있다. 상기 프로세서(150)는 선택된 음원 분리기를 이용하여 원본 음원에 대한 음원 분리를 수행하여 편집된 음원을 출력하거나 메모리(130)에 저장할 수 있다. 일 실시 예에 따르면, 상기 프로세서(150)는 메모리(130)에 저장된 적어도 하나의 편집 음원이 사용자 입력에 의해 선택되면, 선택된 편집 음원에 포함된 음원 요소들의 음장 효과를 조절할 수 있는 화면 인터페이스를 출력하도록 제어할 수 있다. 사용자 입력에 의해 음장 효과가 조절되면, 프로세서(150)는 조절된 음장 효과에 대해 최적 성능을 발휘할 수 있는 음원 분리기를 선택하고, 선택된 음원 분리기를 이용하여 편집 음원에 대응하는 원본 음원에 대한 음원 분리를 수행하여 새로운 편집 음원을 생성하도록 제어할 수 있다.
도 3은 일 실시 예에 따른 서버 장치 구성의 한 예를 나타낸 도면이며, 도 4는 일 실시 예에 따른 음원 분리기들의 한 예를 나타낸 도면이다. 3에서 설명하는 서버 장치의 일 구성은 앞서 도 1에서 설명한 서버 장치 구성의 한 예일 수 있다.
도 3을 참조하면, 일 실시 예에 따른 서버 장치(200)는 서버 통신 회로(210), 서버 메모리(230) 및 서버 프로세서(250)를 포함할 수 있다.
상기 서버 통신 회로(210)는 상기 서버 장치(200)의 통신 기능을 지원할 수 있다. 상기 서버 통신 회로(210)는 네트워크(50)를 통해 적어도 하나의 전자 장치(100)와 통신 채널을 형성할 수 있다. 일 실시 예에 다르면, 상기 서버 통신 회로(210)는 적어도 하나의 전자 장치(100)에 음원 분리기 선택 기능에 대응하는 화면을 제공하고, 적어도 하나의 전자 장치(100)로부터 원본 음원을 수신하거나 또는 서버 메모리(230)에 저장된 원본 음원을 선택하는 사용자 입력을 수신할 수 있다. 상기 서버 통신 회로(210)는 적어도 하나의 전자 장치(100) 요청에 대응하여 편집된 음원을 적어도 하나의 전자 장치(100)에 전송할 수 있다.
상기 서버 메모리(230)는 상기 서버 장치(200) 운용에 필요한 데이터 또는 프로그램을 저장할 수 있다. 일 실시 예에 따르면, 상기 서버 메모리(230)는 음원 분리기 선택 기능 지원과 관련하여, 테스트 음원들(231)(또는 테스트 벡터 음원들), 음원 분리기들(232) 및 편집 음원(233)을 저장할 수 있다.
상기 테스트 음원들(231)은 다양한 음원들에 대한 테스트 벡터 값을 포함할 수 있다. 상기 테스트 음원들(231)에 포함된 테스트 벡터는 기본 정보, 사운드(sound)의 mixed-data와 각 채널별 음원(source)으로 구성될 수 있다. 상기 테스트 음원들(231) 각각은 복수개의 음원 분리기들(232)에 매칭될 수 있다. 복수개의 테스트 음원들(231)에 포함된 특정 테스트 음원은 복수개의 음원 분리기들(232) 중 적어도 하나의 특정 음원 분리기가 최적의 성능을 제공할 수 있다. 일 실시 예에 따르면, 상기 테스트 음원들(231)은 복수개의 음원 요소들(예: 목소리, 특정 악기들, 특정 주파수 대역의 소리들 중 적어도 일부 음원 요소들)이 서로 다르게 정의된 음원들을 포함할 수 있다. 예컨대, 테스트 음원들(231)은 목소리에 대한 음원 분리에 대해 최적의 성능을 가지는 음원 분리기에 매칭되는 테스트 음원, 특정 종류의 악기 음원 요소의 음원 분리에 대해 최적의 성능을 가지는 음원 분리기에 매칭되는 테스트 음원, 특정 주파수 대역의 소리의 음원 분리에 대해 최적의 성능을 가지는 음원 분리기에 매칭되는 테스트 음원을 포함할 수 있다. 상술한 테스트 음원들(231)은 사전 저장될 수 있으며, 각각의 테스트 음원들(231)은 최적 음원 분리기와의 매칭 정보를 포함할 수 있다. 일 실시 예에 따르면, 테스트 음원들(231) 별로 할당되어야 할 프로세싱 크기 및/또는 메모리 할당량의 크기 중 적어도 하나가 다를 수 있다.
상기 음원 분리기들(232)은 적어도 하나의 음원 요소를 포함하는 원본 음원으로부터 적어도 하나의 음원 요소를 분리할 수 있는 복수개의 음원 분리기들을 포함할 수 있다. 도 4를 참조하면, 상기 음원 분리기들(232)은 도시된 바와 같이, 제1 음원 분리기(232a) 및 제2 음원 분리기(232b)를 포함할 수 있다. 상기 음원 분리기들(232)은 프로세서(150) 제어에 대응하여 원본 음원(input)(예: 입력 음원, input)에 대한 음원 분리를 수행할 수 있다. 음원 분리기들(232)은 성능에 따라 분리할 수 있는 음원 요소들의 개수가 다를 수 있다. 또는, 음원 분리기들(232)은 성능에 따라 음원 분리한 음원 요소들의 왜곡도가 다를 수 있다. 일 실시 예에 따르면, 음원 분리기들(232) 중 제1 음원 분리기(232a)는 원본 음원(input)에 대하여 2개의 제1 음원 요소 그룹(233a) (예: 목소리, BGM(back ground music))을 분리할 수 있다. 복수의 음원 분리기들(232) 중 제2 음원 분리기(232b)는 원본 음원(input)에 대하여 4개의 제2 음원 요소 그룹(233b) (예: guitar, 피아노, 드럼, other)을 추출할 수 있다. 일 실시 예에 따르면, 제2 음원 분리기(232b)는 제1 음원 분리기(232a)에 의해 음원 분리된 제1 음원 요소 그룹(233a) 중 적어도 일부 음원 요소(예: 목소리 또는 BGM)를 분리할 수도 있다. 이러한 음원 분리의 성능은 음원 분리기 자체 성능 또는 음원 분리기 운용을 위한 하드웨어 할당량에 따라 달라질 수 있다.
상기 음원 분리기들(232) 각각은 적어도 하나의 테스트 음원에 매칭될 수 있다. 상기 음원 분리기들(232)은 예컨대, 상용의 음원 분리기들을 포함할 수 있다. 각각의 음원 분리기들(232)은 예컨대, 특정 음원 요소에 대한 음원 분리 성능이 다른 음원 요소에 대한 음원 분리 성능보다 뛰어난 특성을 가질 수 있다. 여기서, 음원 분리 성능은 예컨대 특정 음원 요소의 원래의 음원 특성에 대한 왜곡도로 구분될 수 있다. 예컨대, 음원 분리기들(232)이 3개의 음원 분리기를 포함하고, 3개의 음원 분리기들 중 목소리를 포함한 원본 음원에서 상기 목소리를 분리할 때 왜곡도가 가장 낮은 음원 분리기가 나머지 음원 분리기들보다 높은 성능을 가진 음원 분리기로 구분될 수 있다. 일 실시 예에 따르면, 음원 분리기들(232)들 중 적어도 일부는 실행 시, 할당되어야 할 CPU 량 및 메모리 할당량의 크기가 다를 수 있다. 또는, 음원 분리기들(232) 중 적어도 일부는 실행 시 할당되어야 할 대역폭의 양이 다를 수 있다.
상기 편집 음원(233)은 음원 분리기들(232) 중 특정 음원 분리기가 선택되고, 선택된 음원 분리기에 의해 원본 음원이 편집된 후, 저장된 정보일 수 있다. 상기 편집 음원(233)은 원본 음원, 원본 음원으로부터 분리된 음원 요소들과 관련한 정보, 편집 시 사용된 음원 분리기 종류 정보, 음장 효과(예: 이펙트 종류, 음원 특성, 편집과 같은 응용 서비스나 응용프로그램 또는 어플리케이션)의 종류 정보 중 적어도 일부를 포함할 수 있다. 상기 편집 음원(233)은 전자 장치(100)의 요청에 의하여 새로운 편집 음원으로 갱신될 수 있다. 상기 편집 음원(233)은 별도로 원본 음원을 포함하지 않고, 원본 음원이 저장된 주소 값을 저장할 수도 있고, 분리된 음원 요소들이 저장된 주소 값을 저장할 수 있다.
일 실시 예에 따르면, 상기 서버 메모리(230)는 복수개의 음장 효과기(또는 effect module)를 저장하고, 전자 장치(100) 요청에 대응하여 서버 장치(200)가 제공할 수 있는 음장 효과기 리스트를 제공할 수 있다.
상기 서버 프로세서(250)는 서버 장치(200) 운용을 위한 신호의 전달과 처리 및 처리 결과에 대한 저장 제어를 수행할 수 있다. 일 실시 예에 따르면, 상기 서버 프로세서(250)는 일 실시 예에 따른 음원 분리기 선택 기능 지원과 관련하여, 원본 음원 수집부(251), 테스트 음원 매칭부(252), 음원 분리기 선택부(253) 및 편집 음원 관리부(254)를 포함할 수 있다.
상기 원본 음원 수집부(251)는 원본 음원 수집을 처리할 수 있다. 예컨대, 상기 원본 음원 수집부(251)는 전자 장치(100)가 접속하면, 음원을 분리할 원본 음원을 제공 또는 등록할 수 있는 채널을 할당할 수 있다. 이 동작에서, 상기 원본 음원 수집부(251)는 원본 음원 등록과 관련한 항목을 포함하는 접속 화면을 전자 장치(100)에 제공할 수 있다. 일 실시 예에 따르면, 상기 원본 음원 수집부(251)는 지정된 주기에 따라 원본 음원을 제공하는 외부 서버 장치에 접속하여 원본 음원을 수집할 수 있다. 또는 원본 음원 수집부(251)는 특정 원본 음원에 대한 갱신 메시지를 지정된 외부 서버 장치로부터 수신하면, 해당 외부 서버 장치로부터 특정 원본 음원을 수신하여 서버 메모리(230)에 저장할 수 있다.
상기 테스트 음원 매칭부(252)는 음원 분리가 요청된 원본 음원의 특성과 테스트 음원들을 비교할 수 있다. 예컨대, 테스트 음원 매칭부(252)는 원본 음원의 대표 특성을 추출하고, 대표 특성과 가장 유사한(또는 기준치 이상의 유사도를 가지는) 테스트 음원(또는 테스트 벡터)을 검출할 수 있다. 일 실시 예에 따르면, 테스트 음원 매칭부(252)는 원본 음원의 사운드 정보(예: 원본 음원의 장르, 원본 음원에 사용된 악기의 수와 종류, 원본 음원에 적용된 음장 효과 중 적어도 하나)를 추출하고, 상기 사운드 정보와 동일 또는 유사한 사운드 정보를 가지는 테스트 음원을 검출할 수 있다. 이와 관련하여, 테스트 음원들(231) 중 적어도 일부는 원본 음원에 저장된 사운드 정보와 비교할 수 있는 사운드 정보를 포함할 수 있다. 상기 테스트 음원 매칭부(252)는 원본 음원에 대응하는 테스트 음원이 검출되면, 검출된 테스트 음원을 음원 분리기 선택부(253)에 전달할 수 있다. 일 실시 예에 따르면, 테스트 음원 매칭부(252)는 원본 음원의 파일 태그에 등록된 분류 정보(예: ID3)를 이용하거나 사운드(sound)와 준비된 테스트 음원들(231)(또는 테스트 벡터 셋)들의 유사도 평가에 따라 테스트 음원을 선택할 수도 있다.
상기 음원 분리기 선택부(253)는 상기 테스트 음원 매칭부(252)로부터 테스트 음원을 수신하고, 수신된 테스트 음원에 매칭되는 음원 분리기를 복수개의 음원 분리기들(232)에서 선택할 수 있다. 이와 관련하여, 서버 메모리(230)에 저장된 복수개의 음원 분리기들(232)은 각각 또는 적어도 일부가 테스트 음원들(231)에 매치된 정보를 포함할 수 있다. 또는, 상기 서버 메모리(230)는 테스트 음원들(231)과 음원 분리기들(232)을 매칭한 매칭 테이블을 저장할 수 있다. 일 실시 예에 따르면, 상기 음원 분리기 선택부(253)는 테스트 음원을 다양한 음원 분리기를 보유한 지정된 외부 서버 장치에 전송하고, 지정된 외부 서버 장치로부터 테스트 음원에 대응하는 소프트웨어 형태(예: 어플리케이션 또는 프로세싱 모듈 형태)의 음원 분리기를 수신할 수도 있다.
일 실시 예에 따르면, 상기 음원 분리기 선택부(253)는 테스트 음원과 함께 원본 음원에 대한 처리를 수행할 서버 장치(200)(또는 외부 서버 장치)의 자원 이용 상태를 확인할 수 있다. 예컨대, 상기 서버 장치(200)(또는 외부 서버 장치)의 자원 이용 상태는 서버 장치(200)(또는 외부 서버 장치))의 하드웨어 리소스(예: 잔여 메모리 용량, 잔여 CPU 용량, 잔여 전력량) 및 네트워크 리소스(예: 네트워크의 데이터 전송 속도, 네트워크의 지연 시간)를 포함할 수 있다. 상기 음원 분리기 선택부(253)는 특정 음원을 분리하는데 소요될 시간이 사전 정의된 기준 값 이내인지 확인하고, 기준 값 이내인 음원 분리기를 선택할 수 있다. 상기 음원 분리기가 외부 서버 장치에 있는 경우, 외부 서버 장치에 저장된 음원 분리기를 다운로드하고 이를 이용해 음원 분리하는데 소요되는 시간 또는 외부 서버 장치에 저장된 음원 분리기를 이용하여 음원을 분리하는데 소요되는 시간을 계산하고, 계산 값이 지정된 값 이내인 음원 분리기를 선택할 수 있다. 일 실시 예에 따르면, 음원 분리기 선택부(253)는 테스트 음원을 기준으로 이용할 수 있는 적어도 하나의 음원 분리기 후보군을 추출하고, 음원 부리기 후보군 중 지정된 처리 속도 또는 처리 시간을 만족하는 음원 분리기(또는 가장 최적의 처리 속도와 처리 시간을 제공하는 음원 분리기)를 선택할 수 있다.
일 실시 예에 다르면, 음원 분리기 선택부(253)는 서버 메모리(230)에 저장된(또는 외부 서버 장치에 저장된) 복수의 음원 분리기들(232)의 scoring을 위한 데이터를 생성할 수 있다. 예컨대, 음원 분리기 선택부(253)는 분리된 음원 결과로부터의 품질 성능 정량 값들에 대응하는 quality 항목(eval: SNR, SDR, SIR and similarity after sound effect by test), 음원 분리 시 수행 속도에 해당하는 time(inference) 항목, 음원 분리 시 사용되는 메모리 크기에 해당하는 size(memory) 항목, 시스템에서의 성능 지표에 해당하는 system(capa)(예: CPU(central processing unit), GPU(graphic processing unit), NPU(neural processing unit) 및/또는 네트웍 요소 중 적어도 하나) 항목들에 대한 점수를 산출하고, 산출된 점수들의 최종 score를 다음 수학식 1을 기반으로 계산한 후, 최종 점수를 기반으로 원본 음원에 대한 음원 분리 또는 편집 음원에 대한 음장 효과에 사용될 음원 분리기를 선택할 수 있다.
Figure PCTKR2023012532-appb-img-000001
수학식 1에서, α, β, γ, δ는 가중치 값으로서, 지정된 조건에 의해 정해진 상수 값이 될 수 있다.
일 실시 예에 따르면, 시스템 항목과 관련하여, 음원 분리기 선택부(253)는 현재 시스템 상황을 확인할 수 있다. 예컨대, 음원 분리기 선택부(253)는 시스템이 단일 프로세서로 구성된 경우, 리소스(예: 메모리, CPU, GPU, DSP, NPU 용량 중 적어도 하나), 속도, 전류 소모 중 적어도 하나를 확인하고, 분산 프로세서로 구성된 경우, 외부 프로세서의 시스템 상황(예: 메모리, 속도, 전류 소모) 및 네트워크의 상태 및 지연 시간과 외부프로세서의 capability check결과 중 적어도 하나를 확인하고, 확인된 결과를 기반으로 음원 분리기 선택을 수행할 수 있으며, 상술한 동작은, 서버 메모리(230)에 음원 분리기가 저장되는 시점 또는 외부 서버 장치의 음원 분리기 선택을 위한 동작을 수행하는 시점에 확인될 수 있다.
일 실시 예에 따르면, 음원 분리기 성능 지표 계산과 관련하여, 음원 분리기 선택부(253)는 테스트 음원들(231)에 대한 각 음원 분리기들(232) 적용에 따른 음원 분리 결과를 획득할 수 있다. 이와 함께, 음원 분리기 선택부(253)는 각 음원분리기에 대한 시스템 항목에 대한 내용들을 갱신하여 음원 분리기들에 사용할 단일 또는 분산 시스템에서의 주요 상태 요소를 결정할 수 있다. 상기 음원 분리기 성능 지표는 예컨대, SDR, SAR, SIR, SNR 및/또는 음장 효과 적용 후 유사도 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, SDR은 분리음원의 왜곡도 또는 분리된 음원과 테스트 음원(또는 test vector)의 원본 음원(source)에 대한 왜곡도이며, 다음 수학식 2를 통해 구할 수 있다.
Figure PCTKR2023012532-appb-img-000002
상술한 SDR은 목적하는 음원에 가까운 정도를 나타내는 것으로 결과 값이 클수록 분리된 음원(채널)의 품질이 좋음을 나타낼 수 있다. 수학식 2에서, s1은 정답신호(ground truth), S2는 음원분리기에서 얻은 음원(estimate), ε는 수식이 0이 되지 않도록 하는 임의의 아주 작은 값이 될 수 있다.
일 실시 예에 따르면, SAR는 분리 음원의 자체 결함으로부터 발생된 음원 분리 성능을 나타내며 다음 수학식 3을 통해 구할 수 있다.
Figure PCTKR2023012532-appb-img-000003
수학식 3에서, Starget은 정답신호이고, eartif는 음원분리기 자체의 결함으로 발생된 노이즈 값을 의미할 수 있다. 상기 SAR는 분리된 음원(채널) 자체의 소리 왜곡 정도를 나타낼 수 있다.
일 실시 예에 따르면, SIR은 다음 음원들의 영향으로 인한 음원 분리 성능을 나타내며, 다음 수학식 4를 통해 구할 수 있다.
Figure PCTKR2023012532-appb-img-000004
수학식 4에서, Starget은 정답신호이고, einterf는 다른 채널들의 영향으로 인한 노이즈 값을 의미할 수 있다. 상기 SIR은 분리된 음원(채널)에 남아 있는 다른 신호들의 영향을 나타낼 수 있다.
일 실시 예에 따르면, SNR은 음원 분리와 관련한 모든 노이즈 영향을 나타내며, 다음 수학식 5를 통해 구할 수 있다.
Figure PCTKR2023012532-appb-img-000005
수학식 5에서, Starget은 정답신호이고, S2는 음원분리기에서 얻은 음원 (estimate)을 의미할 수 있다.
일 실시 예에 따르면, effect(음장 효과) 적용 후, 결과 유사도는 다음 수학식 6을 통해 산출할 수 있다.
Figure PCTKR2023012532-appb-img-000006
수학식 6에서, Starget은 정답신호이고, S2는 음원분리기에서 얻은 음원 (estimate)을 의미하며, effect( )는 효과적용 함수이고, similarity( )는 유사도계산 함수가 될 수 있다.
상술한 음원 분리 성능 지표는, 복수개의 음원 분리기들(232)의 성능을 표준화하기 위한 것으로, 상기 음원 분리기 선택부(253)는 상술한 다양한 성능 지표 항목들 중 적어도 하나를 채택하여 사용할 수 있다. 일 실시 예에 따르면, 음원 분리기 선택부(253)는 음원 분리의 성능과 관련하여 분리 음원의 왜곡도 및 시스템 로드(예: 메모리, 계산량, 지연 시간)를 고려하여 음원 분리기를 선택할 수 있다. 또는, 음원 분리기 선택부(253)는 목소리(voice)를 더 잘 구분해서 목소리에 대해서 더 높은 SNR이 나오는 음원분리기나 특정 악기나 음원 종류와 같이 특정 하모닉을 가진 음원에서 더 좋은 성능이 나오는 음원 분리기를 원본 음원에 맞추어 선택할 수 있다. 또는, 음원 분리기 선택부(253)는 음장 효과 적용 동작에서 더 높은 성능을 가지는 음원 분리기를 선택할 수도 있다.
상기 편집 음원 관리부(254)는 음원 분리기 선택부(253)에 의해 선택된 음원 분리기를 이용하여 원본 음원이 분리되면, 편집 음원 관리부(254)는 분리된 원본 음원에 대한 파라메터 정보를 작성하고, 작성된 파라메터 정보와 함께 편집된 음원을 서버 메모리(230)에 저장할 수 있다. 상기 파라메터 정보는 예컨대, 원본 음원에서 분리된 음원 요소의 개수, 분리된 음원 요소의 종류, 원본 음원 분리에 사용된 음원 분리기의 종류, 음원 분리에 소요된 시간 중 적어도 하나를 포함할 수 있다. 상기 편집 음원 관리부(254)는 편집 음원(233)에 대응되는 원본 음원 정보를 함께 저장 관리할 수 있다. 상기 편집 음원 관리부(254)는 원본 음원의 분리를 요청한 전자 장치(100)에 파라메터 정보가 포함된 편집 음원을 제공할 수 있다. 또는, 편집 음원 관리부(254)는 서버 메모리(230)에 저장된 적어도 하나의 편집 음원(233) 리스트를 전자 장치(100)에 제공하고, 사용자 선택에 따른 편집 음원을 전자 장치(100)에 제공할 수 있다.
상기 편집 음원 관리부(254)는 전자 장치(100)로부터 편집 음원에 포함된 특정 음원 요소에 대한 음장 효과 변경을 요청하는 메시지를 수신할 수 있다. 이 경우, 편집 음원 관리부(254)는 음장 효과 변경을 요청하는 메시지와 편집 음원에 대응하는 원본 음원을 음원 분리기 선택부(253)에 전달할 수 있다.
상기 음원 분리기 선택부(253)는 원본 음원에 포함된 특정 음원 요소의 음장 효과를 변경하는데 최적의 음원 분리기를 선택할 수 있다. 이와 관련하여, 서버 메모리(230)에는 음원 요소의 음장 효과 변경에 따라 최적의 음원 분리기에 대한 목록이 저장 및 관리될 수 있다. 상기 음원 분리기 선택부(253)는 서버 메모리(230)에 저장된 음원 분리기 목록(예: 음원 분리기의 식별 정보(예: 음원 분리기의 이름이나 지정 번호), 음원 분리기의 저장 위치, 음원 분리기의 특성-예컨대 어떠한 종류의 음원에 보다 좋은 성능을 나타내는지에 대한 설명-, 음원 분리기 선호도 - 다양한 사용자들의 선택에 대응하는 선호도 및 사용자들의 선호 음원 정보 포함-, 중 적어도 하나)을 확인하여, 사용자가 음원 분리 및 음장 효과 적용을 요청한 원본 음원에 최적화된 음원 분리기를 선택하고, 선택된 음원 분리기를 이용하여 원본 음원에 대한 음원 분리를 재수행하고, 재수행에 따른 음원 요소들 중 사용자가 지정된 음원 요소에 대한 음장 효과 적용을 통하여 새로운 편집 음원을 생성할 수 있다. 상기 편집 음원 관리부(254)는 새로운 편집 음원에 대한 파라메터 정보의 갱신을 처리할 수 있다.
일 실시 예에 따르면, 상기 음원 분리기 선택 기능은 예컨대, 전자 장치(100)에서 수행될 수 있으며, 이 경우, 상술한 서버 프로세서(250)의 동작은 전자 장치(100)의 프로세서(150)의 동작에 해당할 수 있다. 일 실시 예에 따르면, 적어도 하나의 음원 분리기, 원본 음원, 테스트 음원(또는 test vector), effect 모듈(또는 음장 효과기), 음원 분리기를 선택하는 연산 장치 중 적어도 하나는 외부 네트웍에 있을 수 있으며 음원 분리기 선택의 system(capa) 요소로 사용될 수 있다.
도 4는 일 실시 예에 따른 복수개의 음원 분리기들에 의한 음원 분리의 예를 나타낸 도면이다.
도 3 및 도 4를 참조하면, 서버 프로세서(250)는 원본 음원(input)에 대한 음원 분리 요청이 발생하면, 서버 메모리(230)예 저장된 복수개의 음원 분리기들(232)(또는 외부 서버 장치에 저장된 복수개의 음원 분리기들) 적어도 하나의 음원 분리기를 선택하고, 선택된 음원 분리기를 기반으로 원본 음원(input)에 대한 음원 분리를 수행할 수 있다. 일 실시 예에 따르면, 음원 분리기의 주요 구성은 기본 정보(예: 명칭, 버전, url(로컬포함), size, dependency(requirement) library 중 적어도 하나를 포함), input type(예: data, format, sampling rate, channel), output type(예: data, format, sampling rate, channel(information))을 포함할 수 있다.
도시된 도면을 예시로 설명하면, 상기 복수개의 음원 분리기들(232)은 적어도 제1 음원 분리기(232a) 및 제2 음원 분리기(232b)를 포함할 수 있다. 상기 서버 프로세서(250)는 지정된 조건에 대응하여, 원본 음원(input)에 대한 음원 분리와 관련하여 제1 음원 분리기(232a) 및 제2 음원 분리기(232b)를 선택할 수 있다. 상기 서버 프로세서(250)는 선택된 음원 분리기들(232a, 232b)을 이용하여 원본 음원(input)을 음원 분리하여 제1 편집 음원(233) 및 제2 편집 음원(233)을 생성할 수 있다. 일 실시 예에 따르면, 상기 제1 편집 음원(233)은 목소리 및 BGM 음원 요소들을 포함할 수 있다. 상기 제2 편집 음원(233)은 guitar, 피아노, 드럼, other 음원 요소들을 포함할 수 있다. 상기 서버 프로세서(250)는 생성된 제1 편집 음원(233)의 음원 요소들에 대한 파라메터 정보를 작성하고, 제1 편집 음원(233)에 파라메터 정보를 포함하여 서버 메모리(230)에 저장할 수 있다. 이 동작에서, 상기 서버 프로세서(250)는 원본 음원(input)에 대한 정보를 제1 편집 음원(233)에 포함하여 저장할 수 있다. 상기 제1 편집 음원(233)에 포함된 파라메터 정보는 예컨대, 상기 제1 음원 분리기(232a)의 식별 정보, 음원 요소들의 종류, 음원 요소들의 개수 정보를 적어도 포함할 수 있다.
또한, 상기 서버 프로세서(250)는 생성된 제2 편집 음원(233)의 음원 요소들에 대한 파라메터 정보를 작성하고, 제2 편집 음원(233)에 파라메터 정보를 포함하여 서버 메모리(230)에 저장할 수 있으며, 원본 음원(input)에 대한 정보를 제2 편집 음원(233)에 포함하여 저장할 수 있다. 상기 제2 편집 음원(233)에 포함된 파라메터 정보는 예컨대, 상기 제2 음원 분리기(232b)의 식별 정보, 음원 요소들의 종류, 음원 요소들의 개수 정보를 적어도 포함할 수 있다.
한편, 상술한 설명에서는, 서버 프로세서(250)는 제1 음원 분리기(232a) 및 제2 음원 분리기(232b)를 선택하는 상황을 예로 하여 설명하였으나, 본 기재가 이에 한정되는 것은 아니다. 예컨대, 상기 서버 프로세서(250)는 지정된 조건에 대응하여 제1 음원 분리기(232a) 또는 제2 음원 분리기(232b) 중 어느 하나의 음원 분리기만을 선택할 수도 있다. 이에 대응하여, 서버 메모리(230)에는 제1 음원 분리기(232a)에 의해 음원 분리된 제1 편집 음원(233) 또는 제2 음원 분리기(232b)에 의해 음원 분리된 제2 편집 음원(233) 중 어느 하나가 저장될 수 있다. 일 실시 예에 따르면, 상기 복수의 음원 분리기들은 다화자, 코러스, 어쿠스틱, 전자음, 공간감, 효과음 및 노이즈 중 적어도 하나를 음원 요소로 분리할 수 있는 제3 음원 분리기를 포함하고, 이를 통해 상술한 음원 요소들 중 적어도 하나를 음원 분리할 수도 있다.
도 5는 일 실시 예에 따른 복수개의 음원 분리기들의 운용 방법의 한 예를 나타낸 도면이다.
도 5를 참조하면, 일 실시 예에 따른 복수개의 음원 분리기들의 운용 방법과 관련하여, 서버 장치(200)의 서버 프로세서(250)(또는 전자 장치(100)의 프로세서(150), 이하 서버 프로세서(250) 기준으로 설명)는 501 동작에서, 원본 음원의 수집을 제어할 수 있다. 원본 음원 예컨대, 전자 장치(100)가 제공하거나, 서버 메모리(230)에 저장된 원본 음원이 선택되거나, 또는 외부 서버 장치로부터 수신될 수 있다. 이와 관련하여, 서버 프로세서(250)는 전자 장치(100)와 통신 채널이 형성되며, 전자 장치(100)에 원본 음원을 업로드할 수 있는 메뉴 항목을 제공하고, 해당 메뉴 항목을 통하여 전자 장치(100)로부터 원본 음원을 수신할 수 있다. 상기 서버 프로세서(250)는 전자 장치(100)로부터 원본 음원을 수신하면, 수신된 원본 음원을 서버 메모리(230)에 임시 또는 반영구적으로 저장할 수 있다. 일 실시 예에 따르면, 상기 서버 프로세서(250)는 음원 분리에 이용할 원본 음원을 선택할 수 있는 리스트 화면을 전자 장치(100)에 제공하고, 사용자는 리스트 화면에서 특정 원본 음원을 선택할 수 있다. 이 동작에서, 상기 서버 프로세서(250)는 전자 장치(100)의 사용자가 선택할 수 있는 원본 음원에 대한 미리 듣기 기능을 제공할 수 있다. 상기 전자 장치(100)는 서버 메모리(230)에 저장된 원본 음원을 스트리밍 방식으로 수신하여 출력하거나 또는 원본 음원을 다운로드하여 재생할 수 있다. 상기 서버 프로세서(250)는 전자 장치(100)로부터 특정 원본 음원에 대한 검색어를 수신할 수 있으며, 상기 검색어에 대응하는 원본 음원이 서버 메모리(230)에 저장되어 있지 않은 경우, 외부 서버 장치로부터 상기 검색어에 대응하는 원본 음원을 수신할 수 있다.
503 동작에서, 서버 프로세서(250)는 테스트 음원을 선택할 수 있다. 테스트 음원 선택과 관련하여, 상기 서버 프로세서(250)는 전자 장치(100) 사용자가 선택한 원본 음원의 사운드 정보(또는 메타 정보)를 확인하고, 사운드 정보와 동일 또는 유사한 사운드 정보를 가지는 테스트 음원을 복수개의 테스트 음원에서 선택할 수 있다. 원본 음원에 사운드 정보가 없는 경우, 상기 서버 프로세서(250)는 원본 음원에 포함된 신호의 파형을 분석하여 유사한 파형을 가지는 테스트 음원을 선택할 수 있다. 이 동작에서, 상기 서버 프로세서(250)는 원본 음원의 전체 구간 중 적어도 일부를 샘플링하고, 샘플링된 구간과 동일 또는 유사한 샘플 구간을 가지는 테스트 음원을 선택할 수도 있다. 서버 메모리(230)에 사전 저장된 테스트 음원들(231)은 최적화된(또는 왜곡의 정도가 기준 값 미만이거나 다른 음원 분리기들에 비하여 가장 적은) 음원 분리기와 매칭될 수 있다. 상기 서버 메모리(230)는 테스트 음원들(231)과 최적 음원 분리기를 매칭한 테이블을 저장 관리할 수 있다. 상기 서버 프로세서(250)는 새로운 음원 분리기를 외부 서버 장치로부터 다운로드하여 설치한 경우, 테스트 음원들(231)에 대한 음원 분리를 수행하고, 음원 분리 결과를 평가하여 최적 테스트 음원을 결정하고, 상기 매칭 테이블을 갱신할 수 있다.
505 동작에서, 서버 프로세서(250)는 테스트 음원이 선택되면, 음원 분리기를 선택할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 서버 메모리(230)에 사전 저장된 매칭 테이블을 확인하여, 복수개의 음원 분리기들 중 선택된 테스트 음원에 대해 최적 성능(또는 지정된 기준 값 이상의 성능, 또는 기준 값 미만의 왜곡 정도를 나타내는 성능)의 음원 분리기를 선택할 수 있다. 예컨대, 서버 프로세서(250)는 앞서 수학식 1에서 설명한 바와 같이, 이전 수행된(또는 테스트 음원으로 수행된) 음원 분리 결과로부터의 품질 성능 정량 값들에 대응하는 quality 항목(eval: SNR, SDR, SIR and similarity after sound effect by test), 음원 분리 시 수행 속도에 해당하는 time(inference) 항목, 음원 분리 시 사용되는 메모리 크기에 해당하는 size(memory) 항목, 시스템에서의 성능 지표에 해당하는 system(capa)(예: CPU(central processing unit), GPU(graphic processing unit), NPU(neural processing unit) 및/또는 네트웍 요소 중 적어도 하나) 항목들에 대한 점수를 산출하고, 최종 점수를 기반으로 원본 음원에 대한 음원 분리 또는 편집 음원에 대한 음장 효과에 사용될 음원 분리기를 선택할 수 있다.
507 동작에서, 서버 프로세서(250)는 선택된 음원 분리기를 이용하여 원본 음원을 분리하여 편집 음원을 생성할 수 있다. 상기 서버 프로세서(250)는 505 동작에서 복수개의 음원 분리기가 선택된 경우, 복수개의 편집 음원을 생성할 수 있다. 편집된 음원은 복수개의 음원 요소를 포함할 수 있다.
509 동작에서, 서버 프로세서(250)는 편집 음원의 저장을 제어할 수 있다. 예컨대, 서버 프로세서(250)는 편집 음원을 서버 메모리(230)에 저장할 수 있다. 일 실시 예에 따르면, 상기 서버 프로세서(250)는 전자 장치(100)의 원본 음원에 대한 음원 분리 요청에 대응하여 편집 음원을 전자 장치(100)에 제공할 수 있다. 원본 음원에 대하여 복수개의 편집 음원이 생성된 경우, 서버 프로세서(250)는 복수개의 편집 음원 전체를 전자 장치(100)에 제공할 수 있다. 또는, 서버 프로세서(250)는 복수개의 편집 음원 리스트를 전자 장치(100)에 제공하고, 사용자 선택에 따른 편집 음원을 전자 장치(100)에 제공할 수도 있다.
도 6은 일 실시 예에 따른 복수개의 음원 분리기들의 운용 방법의 다른 예를 나타낸 도면이다.
도 6을 참조하면, 일 실시 예에 따른 복수개의 음원 분리기들의 운용 방법과 관련하여, 서버 장치(200)의 서버 프로세서(250)(또는 전자 장치(100)의 프로세서(150), 이하 서버 프로세서(250) 기준으로 설명)는 601 동작에서, 전자 장치(100)가 접속하면, 사전 정의된 접속 화면(또는 웹 페이지)를 전자 장치(100)에 제공할 수 있다. 상기 접속 화면은 예컨대, 서버 메모리(230)에 저장된 편집 음원 리스트를 포함할 수 있다. 전자 장치(100)는 수신된 편집 음원 리스트를 디스플레이에 출력하고, 사용자 입력에 따라 선택된 편집 음원을 서버 장치(200)에 전송할 수 있다.
603 동작에서, 서버 프로세서(250)는 전자 장치(100)의 편집 음원 선택 여부를 확인할 수 있다. 일 실시 예에 따르면, 상기 전자 장치(100)에 제공된 접속 화면은 원본 음원 분리 기능을 선택할 수 있는 메뉴 항목, 원본 음원 재생과 관련한 메뉴 항목 등을 더 포함할 수 있다. 이에 따라, 사용자 입력이 편집 음원 선택을 위한 입력이 아닌 경우, 서버 프로세서(250)는 605 동작에서, 사용자 입력에 따른 지정된 기능을 제공할 수 있다. 예컨대, 상기 서버 프로세서(250)는 원본 음원 검색 기능, 원본 음원 재생 기능, 원본 음원 분리 기능과 같은 특정 음원 관련 기능을 지원할 수 있다.
전자 장치(100)로부터 수신된 사용자 입력이, 편집 음원을 선택하는 입력인 경우, 607 동작에서, 서버 프로세서(250)는 선택된 편집 음원의 음원 요소들을 출력할 수 있다. 이 동작에서, 상기 서버 프로세서(250)는 편집 음원의 복수의 음원 요소들에 대응하는 리스트를 생성하고, 생성된 음원 요소 리스트를 전자 장치(100)에 제공할 수 있다. 일 실시 예에 따르면, 상기 음원 요소 리스트는 음원 요소의 종류, 음원 요소들의 음장 효과 적용 여부, 음원 요소들에 적용된 음장 효과의 종류 중 적어도 하나를 포함할 수 있다. 전자 장치(100)는 사용자 입력에 대응하여 특정 음원 요소의 음장 효과 변경을 지시하는 메시지를 서버 장치(200)에 전송할 수 있다.
609 동작에서, 서버 프로세서(250)는 음장 효과 변경과 관련한 사용자 입력이 발생하는지 확인할 수 있다. 특정 음원 요소의 음장 효과 변경과 관련한 사용자 입력을 수신하면, 상기 서버 프로세서(250)는 611 동작에서, 음원 분리기를 선택할 수 있다. 이 동작에서, 상기 서버 프로세서(250)는 복수개의 음원 분리기들 중에서 사용자가 선택한 음원 요소의 음장 효과 적용에 있어서 기 설정된 기준 값 이상의 성능(또는 최적의 성능)을 제공하는 음원 분리기를 선택할 수 있다. 이와 관련하여, 상기 서버 메모리(230)에는 각각의 음원 분리기들이 특징적으로 높은 성능을 낼 수 있는 음원 요소 및 음장 효과 정보가 테이블 형태로 저장될 수 있다. 상기 서버 프로세서(250)는 상기 서버 메모리(230)에 저장된 정보 테이블을 확인하여, 사용자 입력에 의해 선택된 음원 요소 및 음장 효과를 제공하기 위한 음원 분리기를 선택할 수 있다.
음원 분리기가 선택되면, 서버 프로세서(250)는 편집 음원에 대응하는 원본 음원을 확인하고, 613 동작에서, 선택된 음원 분리기를 이용하여 편집 음원에 대응하는 원본 음원의 분리 작업을 수행할 수 있다. 상기 서버 프로세서(250)는 원본 음원으로부터 음원 분리 작업을 수행하여 복수개의 음원 요소들을 추출한 후, 서버 프로세서(250)는 추출된 음원 요소에 사용자가 선택한 음장 효과를 적용한 새로운 편집 음원을 생성할 수 있다.
615 동작에서, 서버 프로세서(250)는 새롭게 생성된 편집 음원을 서버 메모리(230)에 갱신할 수 있다. 갱신 동작에서, 상기 서버 프로세서(250)는 이전 저장된 편집 음원을 삭제하고 새로운 편집 음원을 저장하거나 또는 이전 편집 음원을 유지한 상태에서, 새로운 편집 음원을 추가할 수 있다. 상기 서버 프로세서(250)는 새로운 편집 음원을 전자 장치(100)에 제공할 수 있다.
한편, 상술한 설명에서는, 편집 음원에 포함된 음원 요소들 중 사용자가 선택한 적어도 하나의 음원 요소에 지정된 음장 효과를 적용하기 위하여, 원본 음원을 새로 선택한 음원 분리기를 이용하여 음원 분리하는 것을 예시하였으나, 본 기재가 이에 한정되는 것은 아니다. 예컨대, 상기 서버 프로세서(250)는 이전 편집 음원에 포함된 음원 요소들에 대하여, 사용자가 적용 요청한 음장 효과를 적용하고, 그에 따른 새로운 편집 음원 생성하도록 제어할 수도 있다.
일 실시 예에 따르면, 상기 서버 프로세서(250)는 다른 전자 장치 사용자가 등록한 새 편집 음원을 전자 장치(100) 사용자에게 제공할 수도 있다. 이와 같이, 상기 서버 프로세서(250)는 편집 음원의 공유 또는 추천 기능을 통하여, 다른 사용자들이 특정 원본 음원 또는 편집 음원에 대하여 어떠한 형태로 편집 또는 재편집하는지를 공유할 수 있도록 지원할 수 있다. 또한, 상기 서버 프로세서(250)는 적어도 하나의 편집 음원에 대하여 투표 기능(또는 점수 부여 기능)을 적용하여, 상대적으로 양호한 점수를 받은 편집 음원을 다른 사용자가 확인 및 시청할 수 있도록 지원할 수 있다.
한편, 상술한 도 5 및 도 6에서는 서버 프로세서(250)를 기준으로 원본 음원 편집 기능과 편집 음원 이용 기능에 대해서 설명하였으나, 상술한 도 5 및 도 6의 동작은 전자 장치(100)의 프로세서(150) 동작에도 동일하게 적용될 수 있다.
도 7은 일 실시 예에 따른 음원 편집에 따른 메타 데이터 양식의 한 예를 나타낸 도면이다.
도 7을 참조하면, 본 기재의 일 실시 예에 따르면, 서버 장치(200)는 원본 음원에 대한 음원 분리를 수행하여 편집 음원을 생성하고, 생성된 편집 음원에 대한 파라메터를 도시된 바와 같은 구조체 형태로 기록할 수 있다. 도시된 구조체는 편집 음원에 대한 정보 작성을 위한 인자들을 포함할 수 있다. 일 실시 예에 따르면, 구조체는 BASIC_TYPE으로 정의되고, BASIC_TYPE에는 typename, format(raw: 0, meta: 1), SSE_INFO 항목이 포함될 수 있다. 상기 typename은 생성된 편집 음원의 명칭 또는 제목 정보가 기입될 수 있다. 일 예로서, typename에는 사용자가 입력한 제목 또는 서버 프로세서(250)가 임의로 선택한 제목이 기록될 수 있다. 또는, typename 항목에는 원본 음원의 명칭이나 테스트 음원의 명칭이 기입될 수도 있다. format(raw: 0, meta: 1)은 해당 음원의 종류에 대응하여 기입될 수 있다. 예컨대, 원본 음원인 경우, format 항목 자리에 0이 기입되고, 편집 음원인 경우 format 항목 자리에 1이 기입될 수 있다. SSE_INFO 항목에는 음원 분리에 사용된 음원 분리기 이름이 기입될 수 있다. 한편, SSE_INFO는 음원 분리기와 관련하여, name_version, separation_num, CHANNEL 항목이 포함될 수 있다. 상기 name_version 항목에는 음원 분리기의 명칭 및 버전 번호가 기입될 수 있다. Separation_num 항목에는 분리된 음원 요소들의 갯수가 기입될 수 있다. CHANNEL 항목은 도시된 바와 같이, ch_number, total_section 및 SECTION 항목이 포함될 수 있다. ch_number 항목에는 채널 번호가 기입되며, total_section 항목에는 전체 섹션의 개수 정보가 기입될 수 있다. 상기 SECTION 항목은 start, end, SEE_INFO 항목이 포함될 수 있다. 상기 start 항목에는 섹션의 시작 번호가 기입되고, end 항목에는 섹션의 종료 번호가 기입될 수 있다. SEE_INFO 항목에는 name_version 및 EFFECT 항목이 포함될 수 있다. 상기 name_version 항목에는 적용된 음장 효과기(또는 effect 모듈, 음원 특성 변경 모듈, 편집 모듈과 같은 응용 서비스나 응용프로그램 또는 어플리케이션)의 명칭과 버전이 기입될 수 있다. EFFECT 항목에는, 음장 효과기를 통해 적용된 음장 효과가 기입될 수 있다.
도 8은 일 실시 예에 따른 음원 편집에 따른 메타 데이터 양식의 다양한 예를 나타낸 도면이며, 도 9는 일 실시 예에 따른 음원 편집에 따른 음원 요소들의 한 예를 나타낸 도면이다.
도 8 및 도 9를 참조하면, 앞서 도 7에서 설명한 바와 같이 음원 분리와 관련하여 서버 프로세서(250)는 파라메터 정보를 기입할 수 있으며, 도 8에 나타낸 바와 같이, 다양한 형태의 파라메터 정보 중 적어도 하나를 작성할 수 있다. 일 실시 예에 따르면, 서버 프로세서(250)는 제1 내지 제5 파라메터 정보들(810, 820, 830, 840, 850) 중 적어도 하나를 작성할 수 있다. 제1 파라메터 정보(810)는 BASIC_TYPE으로 vocal이 기입된 파라메터 정보이며, 원본 음원(raw: 0)에, manual_v1.0 음원 분리기가 사용되었고, 분리된 음원 요소가 1개이며, 채널 번호가 1번이고, 전체 1개의 섹션을 포함하고, 섹션의 시작과 끝은 0~60으로 정의되고, 음장 효과로서, raw_data(별도의 음장 효과가 적용되지 않음)가 적용된 상태를 나타낼 수 있다.
제2 파라메터 정보(820)는 BASIC_TYPE으로 BGM이 기입된 파라메터 정보이며, 편집 음원(meta: 1)에, network_model_A 음원 분리기가 사용되었고, 분리된 음원 요소가 1개이며, 채널 번호가 1번이고, 전체 1개의 섹션을 포함하고, 섹션의 시작과 끝은 0~60으로 정의되고, volume 음장 효과가 mute: 0 상태로 설정된 상태를 나타낼 수 있다.
제3 파라메터 정보(830)는 BASIC_TYPE으로 classic-EQ가 기입된 파라메터 정보이며, 편집 음원(meta: 1)에, Network_model_B 음원 분리기가 사용되고, 분리된 음원 요소가 2개이다. 2개의 음원 요소 중 첫번째 음원 요소의 채널 번호는 3번이고, 전체 2개의 섹션을 포함하고, 섹션의 시작과 끝은 0~30으로 정의되며, 음장 효과기 PEQ 기기로 classic이 적용된 섹션 구간과, 40~60으로 정의된 섹션 구간에 PEG 음장 효과기를 통해 rock이 적용된 상태를 정의할 수 있다. 또한, 2개의 음원 요소 중 두번째 음원 요소는 채널 번호가 4번이고 전체 1개의 섹션을 포함하고, 섹션의 시작과 끝은 0~60으로 정의되며, 음장 효과기 volume이 0(예: 음장 효과가 적용되지 않은 상태)으로 설정된 상태를 정의할 수 있다.
제4 파라메터 정보(840)는 BASIC_TYPE으로 SVS-Rhythm이 기입된 파라메터 정보이며, 편집 음원(meta: 1)에, network_model_C 음원 분리기가 사용되고, 분리된 음원 요소가 2개이다. 2개의 음원 요소 중 첫번째 음원 요소는 채널 번호가 1번이고, 전체 1개의 섹션을 포함하고, 섹션의 시작과 끝은 0~60으로 정의되며, Tone-transfer 음장 효과기의 NEW-midi 음장 효과가 적용된 상태를 정의할 수 있다.
제5 파라메터 정보(850)는 BASIC_TYPE으로 my-Effect가 기입된 파라메터 정보이며, 편집 음원(meta: 1)에, network_model_C 음원 분리기가 사용되고, 분리된 음원 요소가 4개이다. 4개의 음원 요소 중 첫번째 음원 요소의 채널 번호는 1번이고, 전체 1개의 섹션을 포함하고, 섹션의 시작과 끝은 0~60으로 정의되며, 음장 효과기 SVS-DJ의 syntheise 음장 효과가 적용된 상태를 정의할 수 있다. 4개의 음원 요소 중 두번째 음원 요소의 채널 번호는 2번이고, 전체 3개의 섹션을 포함하고, 첫번째 섹션의 시작과 끝은 0~20으로 정의되며, 음장 효과기 volume, 0으로 적용 되며, 두번째 섹션의 시작과 끝은 20~40으로 정의되며, 음장 효과기 PEG, pop으로 적용 되며, 세번째 섹션의 시작과 끝은 40~60으로 정의되며, 음장 효과기 ECHO, stadium이 적용된 상태를 정의할 수 있다. 4개의 음원 요소 중 세번째 음원 요소의 채널 번호는 3번이고, 전체 1개의 섹션을 포함하고, 섹션의 시작과 끝은 0~60으로 정의되며, 음장 효과기 Tone-transfer, EDM 음장 효과가 적용된 상태를 정의한다. 4개의 음원 요소 중 네번째 음원 요소의 채널 번호는 4번이고, 전체 1개의 섹션을 포함하고, 섹션의 시작과 끝은 0~60으로 정의되며, 음장 효과기 Tone-transfer의 guitar 음장 효과가 적용된 상태를 정의할 수 있다.
도 9를 참조하면, 서버 프로세서(250)는 앞서 도 8에서 설명한 다양한 음원들의 파라메터 정보를 도시된 바와 같이, 단순한 형태로 표시할 수 있다. 일 실시 예에 따르면, 원본 음원(800)은 도시된 바와 같이 하나의 오디오 파형으로 표시될 수 있다. 제1 편집 음원에 대응하는 제1 파라메터 정보(810)는 하나의 음원 요소인 목소리(vocal)에 대응하는 오디오 파형으로 표시될 수 있다. 제2 편집 음원에 대응하는 제2 파라메터 정보(820)는 하나의 음원 요소인 배경음악(BGM)에 대응하는 오디오 파형으로 표시될 수 있다. 제3 편집 음원에 대응하는 제3 파라메터 정보(830)는 classic-EQ 제목을 가지며, 2개의 음원 요소들에 대응하는 오디오 파형으로 표시될 수 있다. 제4 편집 음원에 대응하는 제4 파라메터 정보(840)는 SVS-Rhythm 제목을 가지며, 2개의 음원 요소들에 대응하는 오디오 파형으로 표시될 수 있다. 제5 편집 음원에 대응하는 제5 파라메터 정보(850)는 myEffect 제목을 가지며, 4개의 음원 요소들에 대응하는 오디오 파형으로 표시될 수 있다. 상기 서버 프로세서(250)는 사용된 음장 효과기의 종류 또는 음원 요소의 종류 중 적어도 하나에 따라 표시되는 오디오 파형의 색상과 크기를 다르게 할 수 있다.
도 10은 일 실시 예에 따른 음원 요소 선택과 관련한 객체 제공의 한 예를 나타낸 도면이다.
도 10을 참조하면, 전자 장치(100)가 서버 장치(200)에 접속하면, 서버 장치(200)는 원본 음원 편집(예: 음원 분리)과 관련한 항목 및 편집된 음원들을 검색할 수 있는 항목 중 적어도 하나의 항목을 포함하는 화면을 전자 장치(100)에 제공할 수 있다. 전자 장치(100) 사용자는 서버 장치(200)가 제공하는 화면에서 편집된 음원들 중 어느 하나의 편집 음원을 선택할 수 있으며, 사용자 선택에 대응하는 입력 신호는 서버 장치(200)에 제공되고, 서버 장치(200)는 사용자 선택에 따른 편집 음원에 대응하는 화면을 전자 장치(100)에 제공할 수 있다.
일 실시 예에 따르면, 서버 장치(200)는 도 10에 도시된 바와 같이, 편집된 음원들 중 특정 편집 음원을 선택하는 사용자 입력에 대응하여, 5개의 음원 요소들(1001, 1002, 1003, 1004, 1005)을 포함하는 화면을 전자 장치(100)에 제공할 수 있다. 상기 사용자 선택에 따른 편집 음원의 5개의 음원 요소들(1001, 1002, 1003, 1004, 1005)은 예컨대, 목소리 음원 요소(1001), guitar 음원 요소(1002), 드럼 음원 요소(1003), 바이올린 음원 요소(1004) 및 피아노 음원 요소(1005)를 포함할 수 있다. 상기 전자 장치(100)의 디스플레이(140)에 출력되는 음원 요소들(1001, 1002, 1003, 1004, 1005)은 도시된 바와 같이 특정 아이콘 형태로 출력될 수 있으나, 본 기재가 이에 한정되는 것은 아니다. 예컨대, 전자 장치(100)에 출력되는 음원 요소들(1001, 1002, 1003, 1004, 1005)은 아이콘뿐만 아니라, 각 아이콘을 설명하는 텍스트(예: 목소리, 기타, 드럼, 바이올린, 피아노)가 아이콘에 인접된 위치에 출력될 수 있다.
도 11은 일 실시 예에 따른 단일 음원 요소의 음장 효과 조절과 관련한 화면 인터페이스의 한 예를 나타낸 도면이다.
도 10 및 도 11을 참조하면, 서버 장치(200)(또는 전자 장치(100))는 특정 음원 요소의 볼륨 및 음장 효과 적용을 위한 기능을 제공할 수 있다. 일 실시 예에 따르면, 서버 장치(200)는 1110 상태에서와 같이, 목소리 음원 요소 객체(1101)의 볼륨 및 음장 효과 조절과 관련한 조절 객체를 출력할 수 있다. 상기 조절 객체는 예컨대, 수직 방향(또는 x축 방향)으로 목소리 음원 요소의 볼륨을 조절할 수 있도록 구성되고, 수평 방향(또는 y축 방향)으로 목소리 음원 요소의 음장 효과(예: Pop, Classic, Flat, Jazz, Rock)를 변경할 수 있도록 구성(예: 이펙트 모듈, 음원 특성 변경 모듈, 편집 모듈과 같은 응용 서비스나 응용프로그램 또는 어플리케이션)될 수 있다.
일 실시 예에 따르면, 전자 장치(100) 사용자는 1120 상태에서와 같이, 목소리 음원 요소의 볼륨을 조절하기 위하여, 목소리 음원 요소 객체(1101)를 수직 방향의 상단으로 이동시킬 수 있다. 또는, 전자 장치(100) 사용자는 1130 상태에서와 같이, 목소리 음원 요소의 볼륨을 조절하기 위하여, 목소리 음원 요소 객체(1101)를 수직 방향의 하단으로 이동시킬 수 있다. 1110 상태의 목소리 음원 요소 객체(1101)가 1120 상태에서와 같이 상측 수직방향으로 이동되는 경우, 서버 장치(200)(또는 전자 장치(100))는 목소리 음원 요소의 볼륨이 커지도록 음원 요소의 설정을 조절할 수 있으며, 볼륨 증가 설정에 대응하여, 제1 목소리 음원 변형 객체(1101_1)를 상측 수직 방향에 출력할 수 있다. 상기 제1 목소리 음원 변형 객체(1101_1)는 예컨대, 목소리 음원 요소 객체(1101)보다 크기가 크게 표시될 수 있다.
1110 상태의 목소리 음원 요소 객체(1101)가 1130 상태에서와 같이 하측 수직방향으로 이동되는 경우, 서버 장치(200)(또는 전자 장치(100))는 목소리 음원 요소의 볼륨이 작아지도록 음원 요소의 설정을 조절할 수 있으며, 볼륨 감소 설정에 대응하여, 제2 목소리 음원 변형 객체(1101_2)를 하측 수직 방향에 출력할 수 있다. 상기 제2 목소리 음원 변형 객체(1101_2)는 예컨대, 목소리 음원 요소 객체(1101)보다 크기가 작게 표시될 수 있다.
한편, 상술한 도 11에서는 목소리 음원 요소의 볼륨 조절에 대해서 설명하였으나, 다른 음원 요소들의 조절 역시, 도 11에서 설명한 조절 객체를 통하여 조절될 수 있다. 예컨대, 도 10에 도시된 5개의 음원 요소들(1001, 1002, 1003, 1004, 1005) 중 특정 음원 요소를 선택하는 사용자 입력이 발생하면, 서버 장치(200)(또는 전자 장치(100))는 선택된 음원 요소에 대한 볼륨 및 음장 효과 중 적어도 하나를 조절할 수 있는 조절 객체를 출력할 수 있으며, 도 11에서 설명한 바와 같이, 음원 요소의 이동에 따라 볼륨 및 음장 효과 중 적어도 하나가 조절될 수 있다.
다양한 실시 예에 따르면, 상술한 도 11에서 볼륨 조절과 음장 효과를 조절할 수 있는 조절 객체를 제시하였으나, 본 기재의 서버 장치(200)(또는 전자 장치(100))는 볼륨 조절을 위한 수직 방향의 조절 객체 또는 음장 효과 조절을 위한 수평 방향의 조절 객체 중 어느 하나만을 제공할 수도 있다.
도 12는 일 실시 예에 따른 다중 음원 요소의 음장 효과 조절과 관련한 화면 인터페이스의 한 예를 나타낸 도면이다.
도 10 내지 도 12를 참조하면, 일 실시 예에 따른 서버 장치(200)(또는 전자 장치(100))는 앞서 도 10에서 설명한 바와 같이 사용자가 선택한 편집 음원에 포함된 음원 요소들(1001, 1002, 1003, 1004, 1005)을 출력할 수 있다. 복수개의 음원 요소들(1001, 1002, 1003, 1004, 1005)이 출력된 상태에서, 사용자가 음원 요소의 볼륨 및 음장 효과 중 적어도 하나의 조절과 관련하여, 복수개의 음원 요소를 선택할 수 있다. 예컨대, 사용자는, 도 10에서 설명한 5개의 음원 요소들 전체의 볼륨 및 음장 효과 조절을 을 위해 5개 음원 요소들 전체를 선택할 수 있다.
이에 대응하여, 서버 장치(200)(또는 전자 장치(100))는 복수개의 음원 요소들의 볼륨 및 음장 효과 적용을 위한 기능을 제공할 수 있다. 일 실시 예에 따르면, 서버 장치(200)는 목소리 음원 요소 객체(1101), 피아노 음원 요소 객체(1105), 기타 음원 요소 객체(1102), 바이올린 음원 요소 객체(1104) 및 드럼 음원 요소 객체(1103)의 볼륨 및 음장 효과를 조절할 수 있는 조절 객체를 출력할 수 있다. 상기 전자 장치(100)의 사용자는 1210 상태에서와 같이, 목소리 음원 요소 객체(1101) 및 피아노 음원 요소 객체(1105)의 볼륨을 다른 음원 요소들(예: 기타, 바이올린, 드럼)에 비하여 상대적으로 높게 설정할 수 있다. 상기 서버 장치(200)(또는 전자 장치(100))는 앞서 도 11에서 설명한 바와 같이, 수직 방향의 설정 라인 상의 위치에 따라 각 음원 요소 객체들의 크기를 다르게 표시할 수 있다.
일 실시 예에 따르면, 1220 상태에서와 같이, 적어도 하나의 음원 요소들에 대한 볼륨 및 음장 효과를 동시에 조절하도록 지원할 수 있다. 예컨대, 목소리 음원 요소 객체(1101)가 도시된 바와 같이, 수평 라인보다 상측이면서 좌측 가장자리(예: Pop 음장 효과에 대응되는 위치)에 배치되면, 목소리 음원 요소의 볼륨은 수평 라인에 위치하는 음원 요소의 볼륨 레벨에 비하여 높게 설정되고, 음장 효과로서 Pop 효과가 적용될 수 있다. 피아노 음원 요소 객체(1105)가 도시된 바와 같이, 수평 라인보다 상측이면서 좌측 일정 위치(예: Classic 음장 효과에 대응되는 위치)에 해당하는 2사분면에 배치되면, 피아노 음원 요소의 볼륨 크기는 목소리 음원 요소의 볼륨 레벨보다 높게 설정되고, 음장 효과로서 Classic 효과가 적용될 수 있다. 드럼 음원 요소 객체(1103)가 도시된 바와 같이, 수평 라인보다 아래에 배치되면서 우측 가장자리 위치(예: Rock 음장 효과에 대응되는 위치)에 해당하는 4사분면에 배치되면, 드럼 음원 요소의 볼륨 크기는 수평 라인에 설정된 볼륨 레벨 또는 목소리 음원 요소의 볼륨 레벨보다 낮게 설정되고, 음장 효과로서 Rock 효과가 적용될 수 있다. 바이올린 음원 요소 객체(1104) 및 기타 음원 요소 객체(1102)는 도시된 바와 같이, 수직 라인의 하측에 위치하여 음장 효과로서 Flat이 설정될 수 있다. 여기서 Flat 음장 효과는 별도의 음장 효과가 적용되지 않는 설정을 포함할 수 있다. 이에 대응하여, 바이올린 음원 요소 및 기타 음원 요소의 볼륨이 최소로 설정될 수 있다. 상술한 바와 같이, 1220 상태에서와 같은 설정이 적용될 경우, 도 10에서 설명한 편집 음원에서 바이올린 및 기타 음원 요소는 제거되고, 목소리에는 PoP 효과가 적용되며 피아노 및 드럼 사이의 볼륨 레벨로 재생되고, 피아노는 Classic 효과가 적용되면서 가장 높은 볼륨으로 재생되고, 드럼은 Rock 효과가 적용되면서 목소리보다 낮은 볼륨으로 재생될 수 있다. 1220 상태의 조절 객체 설정을 보면, 서버 장치(200)(또는 전자 장치(100))는 특정 음장 효과 적용 시, 색상을 변경할 수 있다.
도 13은 일 실시 예에 따른 음원 요소별 음장 효과 적용에 관한 화면 인터페이스의 한 예를 나타낸 도면이다.
도 12 및 도 13을 참조하면, 앞서 도 12에서 설명한 바와 같이, 특정 음원 요소에 해당하는 객체를 수평 라인의 특정 음장 효과에 대응하는 위치에 배치하여, 특정 음원 요소의 음장 효과를 변경 또는 조절할 수 있다.
일 실시 예에 따르면, 목소리(vocal)만을 강조하고자 할 경우, 전자 장치(100) 사용자는 1310 상태에서와 같은 설정을 수행할 수 있다. 1310 상태는 예컨대, 목소리 음원 요소의 볼륨을 최대로 설정하고, 다른 음원 요소(예: 기타 음원 요소, 드럼 음원 요소, 바이올린 음원 요소 및 피아노 음원 요소)의 볼륨 레벨을 최소로 설정한 상태를 포함할 수 있다.
일 실시 예에 따르면, 배경 음악(BGM)만을 강조하고자 할 경우, 전자 장치(100) 사용자는 1320 상태에서와 같은 설정을 수행할 수 있다. 1320 상태는 예컨대, 목소리 음원 요소의 볼륨을 최소로 설정하고, 다른 음원 요소(예: 기타 음원 요소, 드럼 음원 요소, 바이올린 음원 요소 및 피아노 음원 요소)의 볼륨 레벨을 최대로 설정한 상태를 포함할 수 있다.
일 실시 예에 따르면, 음원 요소들의 비트 조정을 수행하고자 할 경우, 전자 장치(100) 사용자는 1330 상태에서와 같은 설정을 수행할 수 있다. 1330 상태는 예컨대, 목소리 음원 요소, 기타 음원 요소, 바이올린 음원 요소 및 피아노 음원 요소의 볼륨을 최대로 설정하면서 별도의 음장 효과는 적용하지 않고(또는 Flat 설정), 드럼 음원 요소의 볼륨 레벨을 최대로 설정하면서 Rock 음장 효과를 적용한 상태를 포함할 수 있다.
일 실시 예에 따르면, 사용자의 설정에 따라 다양한 형태의 음원 조절을 수행할 경우, 전자 장치(100) 사용자는 1340 상태에서와 같은 설정을 수행할 수 있다. 1340 상태는 예컨대, 목소리 음원 요소의 볼륨을 피아노 음원 요소의 레벨보다는 낮게 하고 다른 음원 요소보다는 높게 설정하면서 Pop 음장 효과를 적용하고, 피아노 음원 요소의 볼륨 레벨은 최대로 하면서 Classic 음장 효과를 적용하고, 다른 음원 요소(예: 기타 음원 요소, 드럼 음원 요소, 바이올린 음원 요소)의 볼륨 레벨을 최소로 설정한 상태를 포함할 수 있다.
도 14는 일 실시 예에 따른 음장 효과와 관련한 화면 인터페이스의 한 예를 나타낸 도면이다.
음장 효과를 적용하는 동작에서, 앞서 도 11 내지 도 13에서 설명한 음장 효과를 특정 텍스트나, 색으로 표현하는 것에 추가하여 또는 별도로 도 14에 나타낸 바와 같이, 서버 장치(200)(또는 전자 장치(100))는 특정 포즈나 제스처 형상들을 특정 음장 효과 표현과 관련하여 사용할 수 있다. 일 실시 예에 따르면, 상기 서버 장치(200)(또는 전자 장치(100))는 Pop, Classic, Flat, Jazz, Rock 음장 효과들 각각에 대응하는 사람의 특정 포즈나 제스처에 대응하는 이미지를 할당하고, 앞서 도 11 내지 도 13에서 설명한 음장 효과 적용을 위해 제공된 아이콘들을 대체하여 출력할 수 있다.
전자 장치(100) 사용자는 특정 포즈나 제스처를 확인하고(또는 특정 포즈나 제스처 하부에 기재된 텍스트를 확인하고), 자신의 적용하고자 하는 음장 효과를 선택할 수 있다.
상술한 도 10 내지 도 14에서 특정 음원 요소의 음장 효과 조절과 관련한 사용자 입력을 수신하면, 서버 장치(200)(또는 전자 장치(100))는 사용자가 선택한 음장 효과를 해당 음원 요소에 적용하기 위하여, 적절한 음원 분리기를 선택할 수 있다. 이와 관련하여, 상기 서버 장치(200)(또는 전자 장치(100))는 특정 음원 요소에 특정 음장 효과를 적용하는데 있어서, 기준 값 이상의 성능 지표(또는 최적의 성능 지표)를 내는 음장 효과기 또는 음원 분리기들에 대한 목록을 저장 관리할 수 있다. 상기 서버 장치(200)(또는 전자 장치(100))는 사전 저장된 목록을 확인하여, 특정 음원 요소에 대한 음장 효과를 적용하기 위한 음장 효과기 또는 음원 분리기를 선택하여 관련 기능을 수행할 수 있다. 이 동작에서, 상기 서버 장치(200)(또는 전자 장치(100)는 음원 분리기 선택 시, 편집 음원에 대응하는 원본 음원을 획득하고, 획득된 원본 음원에 대한 음원 분리 및 음원 분리된 음원 요소들 중 사용자가 선택한 음원 요소에 대한 음장 효과 적용을 처리할 수 있다.
한편, 서버 장치(200)에서 음원 분리기의 선택과 편집 음원의 생성을 수행하는 것을 예시하였으나, 본 기재가 이에 한정되는 것은 아니다. 예컨대, 상기 전자 장치(100)의 프로세서(150)가 상기 서버 장치(200)의 서버 프로세서(250)를 대신하여 음원 분리기의 선택, 편집 음원의 생성, 편집 음원 중 특정 음원 요소에 대한 새로운 음원 분리기 선택, 새로 선택된 음원 분리기를 이용한 원본 음원의 음원 분리, 사용자 선택에 따른 음장 효과를 음원 요소에 적용한 새 편집 음원의 갱신 중 적어도 하나의 기능을 처리할 수도 있다. 일 실시 예에 따르면, 본 기재의 음원 분리 기능은 서버 장치(200)와의 연결 없이 전자 장치(100) 자체에서 제공될 수도 있다. 이 경우 전자 장치(100)는 복수개의 음원 분리기들 및 적어도 하나의 편집 음원을 메모리(130)에 저장하고, 음원 분리기 선택 기능 또는 편집 음원에 대한 재편집 기능을 제공할 수 있다. 이와 관련하여, 전자 장치(100)는 상술한 음원 분리기 선택 기능 및 재편집 기능 중 적어도 하나를 지원하는 어플리케이션이 설치되고, 해당 어플리케이션 실행에 따라, 앞서 설명한 도 10 내지 도 14에서의 음장 효과 편집과 관련한 화면 인터페이스 제공 기능을 지원할 수 있다.
이상에서 설명한 본 기재의 음원 분리기 선택 기능 및 편집 음원 이용 기능은, 최적의 음원 분리기 선택 후 음장 효과에 대해서 앞서 도 7 내지 도 9에서 설명한 바와 같이, metadata 형태로 적용할 수 있다. 서로 다른 다수의 음원 분리기를 포함하는 시스템에서, 편집하고자 하는 사운드의 음원 요소들의 인자와 조건이 주어질 때, 본 기재는 적합한 음원분리기를 선택하여 음원 요소들을 추출하고, 음장효과를 줄 수 있다. 본 기재에서, metadata 형태로 기록된 편집 음원의 음장 효과들은 단일 및 혼합 재생이 가능하며, 해당 데이터는 여러 단말 (mobile, AR, 서버)의 하나이상의 프로세서나 디바이스에서 공유, 추가, 갱신이 가능하도록 운용될 수 있다.
상술한 본 기재의 사용자 기능을 통하여, 분리된 음원 별 effect(음장 효과)를 적용할 수 있으며, 음원 분리와 음장 효과 모듈을 분리하거나 통합된 모델을 사용할 수 있다. 추가적으로, 본 기재에서 음장 효과 조절 기능과 관련하여, 주파수, pitch, reberv와 같은 방식의 조절도 지원할 수 있다. 본 기재는 개별 또는 선택된 음원들의 설정을 동시에 변경할 수 있도록 지원하며, 음원 특성에 맞는 별도의 effect들을 제공하거나 추천 받을 수 있다. 본 기재의 장치(예: 서버 장치(200) 또는 전자 장치(100))는 음원 편집 또는 편집 음원의 재편집 동작에서 변경된 설정값은 file format(metainfo)에 맞게 다수개 이상 기록할 수 있도록 지원하며, 재생 시 다수개 중 선택해서 청취할 수 있도록 지원할 수 있다. 본 기재의 장치는 설정값을 다양한 방식으로 표시할 수 있도록 지원하며, 음색에 대한 effect(예: pitch, style-transfer, svs, SEE(Sound Effect Engine))를 적용할 수 있도록 지원한다. 또한, 본 기재는 언어에 대한 번역(translation) 기능(예: 목소리(vocal)에 대한 script를 생성하여 제공하는 기능)을 지원하며, script로부터 vocal을 만들 수 있도록 지원할 수 있다. 본 기재는 공간감(Spatial)에 대한 effect를 적용할 수 있으며, 음장 효과 중첩 적용, 설정된 음장 효과의 저장과 공유 및 갱신, 원음 별 설정된 음장 효과 적용을 다르게 하는 기능, 노래에 따라 음원 표시를 다르게 하는 기능, 사용자 취향 정보를 수집한 경우 그에 맞는 추천 기능 제공, 음원에 따른 영상의 효과를 다르게 적용하는 기능, 영상에 따른 음원 추천 기능, 설정 음장 효과에 대한 랭킹 기능, 태크 추가 기능, 저작권 표시 및 양도 기능 중 적어도 하나의 기능을 지원할 수 있다.
본 기재의 일 실시 예에 따르면, 음원 편집 기능 제공 방법(또는 컨텐츠 데이터의 음원 처리 방법)은 복수의 음원 요소들이 포함된 원본 음원을 수신하는 동작, 사전 저장된 복수의 테스트 음원들 중 상기 원본 음원에 대응하는 사전 저장된 테스트 음원을 선택하는 동작 - 상기 복수의 테스트 음원들은 성능 지표에 따라 복수의 음원 분리기들 중 적어도 하나에 매칭됨, 상기 복수의 음원 분리기들 중 상기 테스트 음원의 분리에 대응하는 적어도 하나의 음원 분리기를 선택하는 동작, 상기 선택된 적어도 하나의 음원 분리기를 이용하여 상기 원본 음원을 분리하여 복수의 음원 요소들을 추출하는 동작, 상기 추출된 복수의 음원 요소들을 포함하는 편집 음원을 저장하는 동작을 포함할 수 있다. 상술한 동작 중 적어도 하나의 동작은 서버 장치가 수행하거나 전자 장치가 수행할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 음원 분리기를 선택하는 동작은 상기 복수의 테스트 음원들 중 적어도 하나의 테스트 음원에 대한 상기 복수개의 음원 분리기들의 왜곡 정도, 상기 복수개의 음원 분리기들의 음원 분리 수행 속도, 상기 복수개의 음원 분리기들의 하드웨어 자원 사용량 중 적어도 하나를 기준으로 상기 적어도 하나의 음원 분리기를 결정할 수 있다.
일 실시 예에 따르면, 상기 성능 지표는, SDR(software definition radio), SAR(sources to artifacts ratio), SIR(signal to interference ratio), SNR(signal to noise ratio), 목표 값과의 유사도 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 적어도 하나의 음원 분리기를 선택하는 동작에서 복수개의 음원 분리기가 선택되면, 상기 복수의 음원 요소들을 추출하는 동작에서 각각의 음원 분리기를 이용하여 음원 요소들을 각각 추출하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 편집 음원과 관련한 메타데이터를 저장하는 동작을 더 포함하고, 상기 메타데이터는, 상기 원본 음원의 음원 분리에 적용된 음원 분리기의 명칭, 상기 음원 요소들의 개수, 상기 음원 요소들의 종류, 상기 음원 요소들에 적용된 음장 효과기의 명칭 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 저장된 적어도 하나의 편집 음원 리스트를 제공하는 동작, 상기 편집 음원 리스트에 포함된 특정 편집 음원을 선택하는 사용자 입력을 수신하는 동작, 상기 선택된 특정 편집 음원에 포함된 적어도 하나의 음원 요소들을 출력하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 특정 음원 요소의 음장 효과 조절을 위한 사용자 입력을 수신하는 동작, 상기 선택된 특정 편집 음원에 대응하는 원본 음원을 획득하는 동작, 상기 특정 음원 요소의 음장 효과 조절과 관련한 새 음원 분리기를 선택하는 동작, 상기 새 음원 분리기를 이용하여 상기 원본 음원에 대한 음원 분리를 수행하는 동작, 상기 음원 분리된 음원 요소들 중 상기 사용자가 선택한 음원 요소에 상기 음장 효과를 적용하여 새 편집 음원을 생성하는 동작, 상기 새 편집 음원을 출력하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 새 음원 분리기를 선택하는 동작은 상기 특정 음원 요소에 음장 효과를 적용하는 동작에서 지정된 기준 값 이상의 성능 지표를 나타내는 음원 분리기와의 매칭 테이블을 획득하는 동작, 상기 매칭 테이블을 기반으로 상기 새 음원 분리기를 선택하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 적어도 하나의 음원 요소들의 볼륨 및 음장 효과 중 적어도 하나를 조절할 수 있는 화면 인터페이스를 제공하는 동작을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 적어도 하나의 음원 요소들의 볼륨 및 음장 효과 조절에 대응하여 상기 적어도 하나의 음원 요소들에 대응하는 객체 크기, 색, 모양 중 적어도 하나를 다르게 출력하는 동작을 더 포함할 수 있다.
본 기재의 일 실시 예에 따르면, 음원 편집 기능 제공 방법(또는 컨텐츠 데이터의 음원 처리 방법)은 음원 분리된 편집 음원을 획득하는 동작, 편집 음원에 포함된 분리된 요소들 중 적어도 하나의 요소에 대한 음장 효과 선택을 위한 화면을 제공하는 동작, 음장 효과 선택에 대한 사용자 입력을 수신하는 동작, 복수의 음원 분리기 중 사용자 입력에 의해 선택된 음장 효과에 최적화된 음원 분리기를 선택하는 동작, 상기 선택된 음원 분리기를 이용하여 상기 편집 음원에 해당하는 원본 음원을 분리하여, 새 편집 음원을 생성 및 저장하는 동작을 포함할 수 있다. 상술한 동작 중 적어도 하나의 동작은 서버 장치가 수행하거나 전자 장치가 수행할 수 있다.
본 기재의 일 실시 예에 따르면, 음원 편집 기능 제공 방법(또는 컨텐츠 데이터의 음원 처리 방법)은 복수의 음원 요소들이 포함된 원본 음원을 수신하는 동작, 사전 저장된 복수의 테스트 음원들 중 상기 원본 음원에 대응하는 사전 저장된 테스트 음원을 선택하는 동작 - 상기 복수의 테스트 음원들은 성능 지표에 따라 복수의 음원 분리기들 중 적어도 하나에 매칭됨, 상기 테스트 음원과 매칭되는 복수의 음원 분리기들 중 사전 정의된 음원 분리 수행 속도 및 하드웨어 자원 사용량 을 만족하는 음원 분리기를 선택하는 동작, 상기 선택된 음원 분리기를 이용하여 상기 원본 음원을 분리하여 복수의 음원 요소들을 추출하는 동작, 상기 추출된 복수의 음원 요소들을 포함하는 편집 음원을 저장하는 동작을 포함할 수 있다.
본 기재의 일 실시 예에 따르면, 음원 편집 기능 제공 방법(또는 컨텐츠 데이터의 음원 처리 방법)은 전자 장치가 음원 분리된 편집 음원 리스트를 수신하는 동작, 편집 음원 리스트 중 특정 편집 음원을 선택하는 동작, 선택된 특정 편집 음원에 적용할 수 있는 음장 효과 목록을 표시하는 동작, 음장 효과 목록 중 특정 항목이 선택되면, 선택된 항목에 대응하는 음장 효과 어플리케이션을 기반으로 상기 선택된 편집 음원의 음장 효과가 조절된 새 편집 음원을 수신하는 동작을 포함할 수 있다. 이러한 음원 편집 기능 제공 방법과 관련한 동작들은 전자 장치 자체 내에서 처리되거나 또는 서버가 전자 장치에 제공하는 화면 인터페이스를 통해서 처리될 수 있다.
도 15는, 다양한 실시 예들에 따른, 네트워크 환경(1500) 내의 전자 장치(1501)의 블록도이다. 도 15을 참조하면, 네트워크 환경(1500)에서 전자 장치(1501)는 제1 네트워크(1598)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1502)와 통신하거나, 또는 제2 네트워크(1599)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1504) 또는 서버(1508) 중 적어도 하나와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1501)는 서버(1508)를 통하여 전자 장치(1504)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1501)는 프로세서(1520), 메모리(1530), 입력 모듈(1550), 음향 출력 모듈(1555), 디스플레이 모듈(1560), 오디오 모듈(1570), 센서 모듈(1576), 인터페이스(1577), 연결 단자(1578), 햅틱 모듈(1579), 카메라 모듈(1580), 전력 관리 모듈(1588), 배터리(1589), 통신 모듈(1590), 가입자 식별 모듈(1596), 또는 안테나 모듈(1597)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1501)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1578))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1576), 카메라 모듈(1580), 또는 안테나 모듈(1597))은 하나의 구성요소(예: 디스플레이 모듈(1560))로 통합될 수 있다.
프로세서(1520)는, 예를 들면, 소프트웨어(예: 프로그램(1540))를 실행하여 프로세서(1520)에 연결된 전자 장치(1501)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1520)는 다른 구성요소(예: 센서 모듈(1576) 또는 통신 모듈(1590))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1532)에 저장하고, 휘발성 메모리(1532)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1534)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(1520)는 메인 프로세서(1521)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1523)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1501)가 메인 프로세서(1521) 및 보조 프로세서(1523)를 포함하는 경우, 보조 프로세서(1523)는 메인 프로세서(1521)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1523)는 메인 프로세서(1521)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1523)는, 예를 들면, 메인 프로세서(1521)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1521)를 대신하여, 또는 메인 프로세서(1521)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1521)와 함께, 전자 장치(1501)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1560), 센서 모듈(1576), 또는 통신 모듈(1590))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(1523)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1580) 또는 통신 모듈(1590))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(1523)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(1501) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1508))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(1530)는, 전자 장치(1501)의 적어도 하나의 구성요소(예: 프로세서(1520) 또는 센서 모듈(1576))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1540)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1530)는, 휘발성 메모리(1532) 또는 비휘발성 메모리(1534)를 포함할 수 있다.
프로그램(1540)은 메모리(1530)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1542), 미들 웨어(1544) 또는 어플리케이션(1546)을 포함할 수 있다.
입력 모듈(1550)은, 전자 장치(1501)의 구성요소(예: 프로세서(1520))에 사용될 명령 또는 데이터를 전자 장치(1501)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1550)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(1555)은 음향 신호를 전자 장치(1501)의 외부로 출력할 수 있다. 음향 출력 모듈(1555)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(1560)은 전자 장치(1501)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1560)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(1560)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(1570)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(1570)은, 입력 모듈(1550)을 통해 소리를 획득하거나, 음향 출력 모듈(1555), 또는 전자 장치(1501)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1502))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1576)은 전자 장치(1501)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(1576)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1577)는 전자 장치(1501)가 외부 전자 장치(예: 전자 장치(1502))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(1577)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1578)는, 그를 통해서 전자 장치(1501)가 외부 전자 장치(예: 전자 장치(1502))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(1578)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1579)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(1579)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1580)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1580)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1588)은 전자 장치(1501)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(1588)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1589)는 전자 장치(1501)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(1589)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1590)은 전자 장치(1501)와 외부 전자 장치(예: 전자 장치(1502), 전자 장치(1504), 또는 서버(1508)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1590)은 프로세서(1520)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(1590)은 무선 통신 모듈(1592)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1594)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(1598)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(1599)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1504)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1592)은 가입자 식별 모듈(1596)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(1598) 또는 제2 네트워크(1599)와 같은 통신 네트워크 내에서 전자 장치(1501)를 확인 또는 인증할 수 있다.
무선 통신 모듈(1592)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1592)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1592)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1592)은 전자 장치(1501), 외부 전자 장치(예: 전자 장치(1504)) 또는 네트워크 시스템(예: 제2 네트워크(1599))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(1592)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(1597)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1597)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1597)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(1598) 또는 제2 네트워크(1599)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1590)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1590)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1597)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(1597)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(1599)에 연결된 서버(1508)를 통해서 전자 장치(1501)와 외부의 전자 장치(1504)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1502, 또는 1504) 각각은 전자 장치(1501)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(1501)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1502, 1504, 또는 1508) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1501)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1501)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1501)로 전달할 수 있다. 전자 장치(1501)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1501)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(1504)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1508)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(1504) 또는 서버(1508)는 제2 네트워크(1599) 내에 포함될 수 있다. 전자 장치(1501)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시 예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(1501)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1536) 또는 외장 메모리(1538))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1540))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1501))의 프로세서(예: 프로세서(1520))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’ 표현은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 원본 음원을 저장하는 메모리;
    상기 메모리에 기능적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    복수의 음원 요소들이 포함된 원본 음원을 수신하고,
    사전 저장된 복수의 테스트 음원들 중 상기 원본 음원에 대응하는 사전 저장된 테스트 음원을 선택하고 - 상기 복수의 테스트 음원들은 성능 지표에 따라 복수의 음원 분리기들 중 적어도 하나에 매칭됨,
    상기 복수의 음원 분리기들 중 상기 테스트 음원의 분리에 대응하는 적어도 하나의 음원 분리기를 선택하고,
    상기 선택된 적어도 하나의 음원 분리기를 이용하여 상기 원본 음원을 분리하여 복수의 음원 요소들을 추출하고, 상기 추출된 복수의 음원 요소들을 포함하는 편집 음원을 저장하도록 설정된 것 특징으로 하는 음원 편집 기능을 제공하는 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 음원 분리기를 선택하는 동작과 관련하여, 상기 복수의 테스트 음원들 중 적어도 하나의 테스트 음원에 대한 상기 복수개의 음원 분리기들의 왜곡 정도, 상기 복수개의 음원 분리기들의 음원 분리 수행 속도, 상기 복수개의 음원 분리기들의 하드웨어 자원 사용량 중 적어도 하나를 기준으로 상기 적어도 하나의 음원 분리기를 결정하고,
    상기 적어도 하나의 음원 분리기를 선택하는 동작에서 복수개의 음원 분리기가 선택되면, 상기 복수의 음원 요소들을 추출하는 동작에서 각각의 음원 분리기를 이용하여 음원 요소들을 각각 추출하도록 설정된 것을 특징으로 하는 음원 편집 기능을 제공하는 전자 장치.
  3. 제1항에 있어서,
    상기 성능 지표는,
    SDR(software definition radio), SAR(sources to artifacts ratio), SIR(signal to interference ratio), SNR(signal to noise ratio), 목표 값과의 유사도 중 적어도 하나를 포함하는 것을 특징으로 하는 음원 편집 기능을 제공하는 전자 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 편집 음원과 관련한 메타데이터를 저장하고,
    상기 메타데이터는,
    상기 원본 음원의 음원 분리에 적용된 음원 분리기의 명칭, 상기 음원 요소들의 개수, 상기 음원 요소들의 종류, 상기 음원 요소들에 적용된 음장 효과기의 명칭 중 적어도 하나를 포함하는 것을 특징으로 하는 음원 편집 기능을 제공하는 전자 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    저장된 적어도 하나의 편집 음원 리스트를 제공하고,
    상기 편집 음원 리스트에 포함된 특정 편집 음원을 선택하는 사용자 입력을 수신하고,
    상기 선택된 특정 편집 음원에 포함된 적어도 하나의 음원 요소들을 출력하도록 설정된 것을 특징으로 하는 음원 편집 기능을 제공하는 전자 장치.
  6. 제5항에 있어서,
    상기 적어도 하나의 프로세서는,
    특정 음원 요소의 음장 효과 조절을 위한 사용자 입력 또는 특정 음장 효과 조절을 위한 응용 프로그램을 선택하는 사용자 입력을 수신하고,
    상기 선택된 특정 편집 음원에 대응하는 원본 음원을 획득하고, 상기 특정 음원 요소의 음장 효과 조절과 관련한 새 음원 분리기 또는 상기 선택된 응용 프로그램의 종류에 대응하는 새 음원 분리기를 선택하고,
    상기 새 음원 분리기를 이용하여 상기 원본 음원에 대한 음원 분리를 수행하고,
    상기 음원 분리된 음원 요소들 중 상기 사용자가 선택한 음원 요소에 상기 음장 효과를 적용하여 새 편집 음원을 생성하고,
    상기 새 편집 음원을 출력하도록 설정된 것을 특징으로 하는 음원 편집 기능을 제공하는 전자 장치.
  7. 제6항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 새 음원 분리기를 선택하는 동작과 관련하여, 상기 특정 음원 요소에 음장 효과를 적용하는 동작에서 지정된 기준 값 이상의 성능 지표를 나타내는 음원 분리기와의 매칭 테이블을 획득하고, 상기 매칭 테이블을 기반으로 상기 새 음원 분리기를 선택하도록 설정된 것을 특징으로 하는 음원 편집 기능을 제공하는 전자 장치.
  8. 제5항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 음원 요소들의 볼륨 및 음장 효과 중 적어도 하나를 조절할 수 있는 화면 인터페이스를 제공하고,
    상기 적어도 하나의 음원 요소들의 볼륨 및 음장 효과 조절에 대응하여 상기 적어도 하나의 음원 요소들에 대응하는 객체 크기, 색, 모양 중 적어도 하나를 다르게 출력하도록 설정된 것을 특징으로 하는 음원 편집 기능을 제공하는 전자 장치.
  9. 복수의 음원 요소들이 포함된 원본 음원을 수신하는 동작;
    사전 저장된 복수의 테스트 음원들 중 상기 원본 음원에 대응하는 사전 저장된 테스트 음원을 선택하는 동작 - 상기 복수의 테스트 음원들은 성능 지표에 따라 복수의 음원 분리기들 중 적어도 하나에 매칭됨;
    상기 복수의 음원 분리기들 중 상기 테스트 음원의 분리에 대응하는 적어도 하나의 음원 분리기를 선택하는 동작;
    상기 선택된 적어도 하나의 음원 분리기를 이용하여 상기 원본 음원을 분리하여 복수의 음원 요소들을 추출하는 동작;
    상기 추출된 복수의 음원 요소들을 포함하는 편집 음원을 저장하는 동작;을 포함하는 음원 편집 기능 제공 방법.
  10. 제9항에 있어서,
    상기 적어도 하나의 음원 분리기를 선택하는 동작은
    상기 복수의 테스트 음원들 중 적어도 하나의 테스트 음원에 대한 상기 복수개의 음원 분리기들의 왜곡 정도, 상기 복수개의 음원 분리기들의 음원 분리 수행 속도, 상기 복수개의 음원 분리기들의 하드웨어 자원 사용량 중 적어도 하나를 기준으로 상기 적어도 하나의 음원 분리기를 결정하는 동작;을 포함하고,
    상기 적어도 하나의 음원 분리기를 선택하는 동작에서 복수개의 음원 분리기가 선택되면, 상기 복수의 음원 요소들을 추출하는 동작에서 각각의 음원 분리기를 이용하여 음원 요소들을 각각 추출하는 동작;을 더 포함하는 음원 편집 기능 제공 방법.
  11. 제9항에 있어서,
    상기 성능 지표는,
    SDR(software definition radio), SAR(sources to artifacts ratio), SIR(signal to interference ratio), SNR(signal to noise ratio), 목표 값과의 유사도 중 적어도 하나를 포함하는 음원 편집 기능 제공 방법.
  12. 제9항에 있어서,
    상기 편집 음원과 관련한 메타데이터를 저장하는 동작;을 더 포함하고,
    상기 메타데이터는,
    상기 원본 음원의 음원 분리에 적용된 음원 분리기의 명칭, 상기 음원 요소들의 개수, 상기 음원 요소들의 종류, 상기 음원 요소들에 적용된 음장 효과기의 명칭 중 적어도 하나를 포함하는 음원 편집 기능 제공 방법.
  13. 제9항에 있어서,
    저장된 적어도 하나의 편집 음원 리스트를 제공하는 동작;
    상기 편집 음원 리스트에 포함된 특정 편집 음원을 선택하는 사용자 입력을 수신하는 동작;
    상기 선택된 특정 편집 음원에 포함된 적어도 하나의 음원 요소들을 출력하는 동작;을 더 포함하는 음원 편집 기능 제공 방법.
  14. 제13항에 있어서,
    특정 음원 요소의 음장 효과 조절을 위한 사용자 입력 또는 특정 음장 효과 조절을 위한 응용 프로그램을 선택하는 사용자 입력을 수신하는 동작;
    상기 선택된 특정 편집 음원에 대응하는 원본 음원을 획득하는 동작;
    상기 특정 음원 요소의 음장 효과 조절과 관련한 새 음원 분리기 또는 상기 선택된 응용 프로그램의 종류에 대응하는 새 음원 분리기를 선택하는 동작;
    상기 새 음원 분리기를 이용하여 상기 원본 음원에 대한 음원 분리를 수행하는 동작;
    상기 음원 분리된 음원 요소들 중 상기 사용자가 선택한 음원 요소에 상기 음장 효과를 적용하여 새 편집 음원을 생성하는 동작;
    상기 새 편집 음원을 출력하는 동작;을 포함하고,
    상기 새 음원 분리기를 선택하는 동작은
    상기 특정 음원 요소에 음장 효과를 적용하는 동작에서 지정된 기준 값 이상의 성능 지표를 나타내는 음원 분리기와의 매칭 테이블을 획득하는 동작;
    상기 매칭 테이블을 기반으로 상기 새 음원 분리기를 선택하는 동작;을 포함하는 음원 편집 기능 제공 방법.
  15. 제13항에 있어서,
    상기 적어도 하나의 음원 요소들의 볼륨 및 음장 효과 중 적어도 하나를 조절할 수 있는 화면 인터페이스를 제공하는 동작;을 더 포함하고,
    상기 화면 인터페이스를 제공하는 동작은
    상기 적어도 하나의 음원 요소들의 볼륨 및 음장 효과 조절에 대응하여 상기 적어도 하나의 음원 요소들에 대응하는 객체 크기, 색, 모양 중 적어도 하나를 다르게 출력하는 동작;을 포함하는 음원 편집 기능 제공 방법.
PCT/KR2023/012532 2022-10-07 2023-08-24 음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치 WO2024075978A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0128645 2022-10-07
KR20220128645 2022-10-07
KR10-2022-0144196 2022-11-02
KR1020220144196A KR20240049067A (ko) 2022-10-07 2022-11-02 음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2024075978A1 true WO2024075978A1 (ko) 2024-04-11

Family

ID=90608615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/012532 WO2024075978A1 (ko) 2022-10-07 2023-08-24 음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치

Country Status (1)

Country Link
WO (1) WO2024075978A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100581017B1 (ko) * 2004-03-08 2006-05-22 (주)엠프렌 변경 음원 재생 시스템 및 이를 위한 변경 음원 제작방법과 변경 음원 재생 방법
KR100677156B1 (ko) * 2004-12-08 2007-02-02 삼성전자주식회사 음원 관리 방법 및 그 장치
WO2018047643A1 (ja) * 2016-09-09 2018-03-15 ソニー株式会社 音源分離装置および方法、並びにプログラム
US20220286775A1 (en) * 2021-03-05 2022-09-08 Honda Motor Co., Ltd. Acoustic processing device, acoustic processing method, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100581017B1 (ko) * 2004-03-08 2006-05-22 (주)엠프렌 변경 음원 재생 시스템 및 이를 위한 변경 음원 제작방법과 변경 음원 재생 방법
KR100677156B1 (ko) * 2004-12-08 2007-02-02 삼성전자주식회사 음원 관리 방법 및 그 장치
WO2018047643A1 (ja) * 2016-09-09 2018-03-15 ソニー株式会社 音源分離装置および方法、並びにプログラム
US20220286775A1 (en) * 2021-03-05 2022-09-08 Honda Motor Co., Ltd. Acoustic processing device, acoustic processing method, and storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHATTERJEE MOITREYA; LE ROUX JONATHAN; AHUJA NARENDRA; CHERIAN ANOOP: "Visual Scene Graphs for Audio Source Separation", 2021 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), IEEE, 10 October 2021 (2021-10-10), pages 1184 - 1193, XP034093693, DOI: 10.1109/ICCV48922.2021.00124 *

Similar Documents

Publication Publication Date Title
WO2020162709A1 (en) Electronic device for providing graphic data based on voice and operating method thereof
WO2019139301A1 (ko) 전자 장치 및 그 자막 표현 방법
WO2020180034A1 (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
WO2022154270A1 (ko) 요약 영상 생성 방법 및 그 전자 장치
WO2021118229A1 (en) Information providing method and electronic device for supporting the same
WO2024075978A1 (ko) 음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치
WO2023048379A1 (ko) 사용자 발화를 처리하는 서버, 전자 장치 및 그의 동작 방법
WO2022216059A1 (ko) 개인화 오디오 정보를 제공하기 위한 전자 장치 및 방법
WO2022191451A1 (ko) 운동 영상의 속도를 제어하는 전자 장치 및 이의 제어 방법
WO2022030750A1 (ko) 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
WO2022177166A1 (ko) 화면 재생률을 제어하는 방법 및 이를 지원하는 전자 장치
WO2022098168A1 (ko) 화상 회의를 제공하는 전자 장치 및 화상 회의를 제공하는 방법
WO2022163963A1 (ko) 전자 장치 및 전자 장치의 단축 명령어 수행 방법
WO2022085926A1 (ko) 전자 장치 및 서버를 포함하는 시스템, 및 그 시스템을 이용한 컨텐츠 추천 방법
WO2024143884A1 (ko) 컨텐트 재생에 기반한 출력 장치들을 제어하는 전자 장치, 그 동작 방법 및 저장 매체
WO2022139515A1 (ko) 음성 기반 콘텐츠 제공 방법 및 그 전자 장치
WO2022124872A1 (ko) 전자 장치 및 전자 장치의 동작 방법
KR20240049067A (ko) 음원 편집 기능 제공 방법 및 이를 지원하는 전자 장치
WO2024049088A1 (ko) 미디어 기반의 조명 제어 서비스를 제공하기 위한 전자 장치, 그 동작 방법 및 저장 매체
WO2023106591A1 (ko) 사용자의 감정에 기반하여 콘텐트를 제공하기 위한 전자 장치 및 방법
WO2024072142A1 (ko) 서술어를 포함하지 않는 발화를 처리하는 전자 장치, 동작 방법 및 저장 매체
WO2024106913A1 (ko) 발화를 처리하기 위한 전자 장치, 그 동작 방법 및 저장 매체
WO2024128637A1 (ko) 화자별 음량 조절을 위한 전자 장치, 그 동작 방법 및 저장 매체
WO2022186477A1 (ko) 콘텐츠 재생 방법 및 이를 지원하는 전자 장치
WO2023027377A1 (ko) 전자 장치 및 개인화된 사용자 상황 인지 서비스 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23875048

Country of ref document: EP

Kind code of ref document: A1