KR20200054084A - Method of producing a sound and apparatus for performing the same - Google Patents

Method of producing a sound and apparatus for performing the same Download PDF

Info

Publication number
KR20200054084A
KR20200054084A KR1020190140347A KR20190140347A KR20200054084A KR 20200054084 A KR20200054084 A KR 20200054084A KR 1020190140347 A KR1020190140347 A KR 1020190140347A KR 20190140347 A KR20190140347 A KR 20190140347A KR 20200054084 A KR20200054084 A KR 20200054084A
Authority
KR
South Korea
Prior art keywords
sound
dimensional
sounds
track
processor
Prior art date
Application number
KR1020190140347A
Other languages
Korean (ko)
Other versions
KR102322120B1 (en
Inventor
배영식
Original Assignee
주식회사 후본
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 후본 filed Critical 주식회사 후본
Priority to CN201980073791.1A priority Critical patent/CN113039815B/en
Priority to PCT/KR2019/015145 priority patent/WO2020096406A1/en
Priority to US17/292,447 priority patent/US20220021998A1/en
Priority to CN202211375358.3A priority patent/CN115767407A/en
Publication of KR20200054084A publication Critical patent/KR20200054084A/en
Priority to KR1020210145037A priority patent/KR20210133924A/en
Application granted granted Critical
Publication of KR102322120B1 publication Critical patent/KR102322120B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

Disclosed are a method for generating a sound and devices for performing the same. According to an embodiment, the method for generating a sound includes the steps of: extracting a plurality of 2D object sounds included in the 2D sound track; converting the 2D object sounds into a plurality of 3D object sounds by applying a plurality of binaural effects to each of the 2D object sounds; and generating a 3D sound track based on the 3D object sounds.

Description

사운드 생성 방법 및 이를 수행하는 장치들{METHOD OF PRODUCING A SOUND AND APPARATUS FOR PERFORMING THE SAME}Sound generation method and devices performing the same {METHOD OF PRODUCING A SOUND AND APPARATUS FOR PERFORMING THE SAME}

아래 실시예들은 사운드 생성 방법 및 이를 수행하는 장치들에 관한 것이다.The embodiments below relate to a sound generating method and apparatuses performing the same.

최근에는 다양한 3차원 오디오 전용 콘텐츠를 사용자에게 제공할 수 있다. 예를 들어, 최근에는 별도로 녹음된 3차원 사운드를 출력하여 사용자에게 3차원 오디오 전용 콘텐츠를 제공할 수 있다.Recently, various 3D audio-only contents can be provided to a user. For example, recently, separately recorded 3D sound may be output to provide 3D audio-only content to a user.

3차원 오디오 전용 콘텐츠는 3차원 사운드로 상술한 바와 같이 별도로 녹음된 3차원 사운드를 이용하여 생성된 다양한 콘텐츠일 수 있다. 예를 들어, 최근에는 일반적인 2차원 사운드(또는 음향)에 방향성과 자동화 계산을 수행하여 다양한 3차원 오디오 전용 콘텐츠를 생성하고 있다.The content for exclusive use of 3D audio may be various content generated by using 3D sound recorded separately as described above as 3D sound. For example, recently, a variety of 3D audio-only contents are generated by performing directionality and automation calculation on a general 2D sound (or sound).

3차원 오디오 전용 콘텐츠는 기존의 3차원 사운드 콘텐츠 보다 고몰입과 현실감 재현이 가능한 장점이 있다.3D audio-only content has the advantage of reproducing high immersion and realism than existing 3D sound content.

실시예들은 2차원 사운드 트랙의 복수의 2차원 객체 사운드들 각각을 3차원 객체 사운드로 변환하여 3차원 객체 사운드가 반영된 3차원 사운드 트랙을 생성하는 기술을 제공할 수 있다.Embodiments may provide a technique for converting each of a plurality of 2D object sounds of a 2D sound track into a 3D object sound to generate a 3D sound track reflecting the 3D object sound.

일 실시예에 따른 사운드 생성 방법은 2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출하는 단계와, 상기 복수의 2차원 객체 사운드들 각각에 복수의 바이너럴 이펙트들 각각을 적용하여 상기 복수의 2차원 객체 사운드들을 복수의 3차원 객체 사운드들로 변환하는 단계와, 상기 복수의 3차원 객체 사운드들에 기초하여 3차원 사운드 트랙을 생성하는 단계를 포함한다.A sound generation method according to an embodiment includes extracting a plurality of 2D object sounds included in a 2D sound track, and applying a plurality of binaural effects to each of the plurality of 2D object sounds to apply the plurality of sound And converting the two-dimensional object sounds into a plurality of three-dimensional object sounds, and generating a three-dimensional sound track based on the plurality of three-dimensional object sounds.

상기 복수의 2차원 객체 사운드들은 상기 2차원 사운드 트랙에서 주파수 및 객체 중에서 어느 하나 별로 분리된 사운드일 수 있다.The plurality of 2D object sounds may be sounds separated by any one of frequency and object in the 2D sound track.

상기 추출하는 단계는 이퀄라이저 이펙트(equalizer effect)를 이용하여 주파수 대역 별로 상기 2차원 사운드 트랙을 분리하여 상기 복수의 2차원 객체 사운드들을 추출하는 단계를 포함할 수 있다.The extracting may include extracting the plurality of two-dimensional object sounds by separating the two-dimensional sound track for each frequency band using an equalizer effect.

상기 추출하는 단계는 사운드 디텍팅(sound detecting)을 이용하여 객체 별로 상기 2차원 사운드 트랙을 분리하여 상기 복수의 2차원 객체 사운드들을 추출하는 단계를 포함할 수 있다.The extracting may include extracting the plurality of two-dimensional object sounds by separating the two-dimensional sound track for each object using sound detecting.

상기 변환하는 단계는 상기 복수의 2차원 객체 사운드들 중에서 제1의 2차원 객체 사운드에 제1 바이너럴 이펙트를 적용하여 제1의 3차원 객체 사운드를 생성하는 단계와, 상기 복수의 2차원 객체 사운드들 중에서 제2의 2차원 객체 사운드에 제2 바이너럴 이펙트를 적용하여 제2의 3차원 객체 사운드를 생성하는 단계를 포함할 수 있다.The converting may include generating a first 3D object sound by applying a first binaural effect to a first 2D object sound among the plurality of 2D object sounds, and the plurality of 2D object sounds The method may include generating a second 3D object sound by applying a second binaural effect to the second 2D object sound.

상기 제1 바이너럴 이펙트 및 상기 제2 바이너럴 이펙트는 서로 상이하거나 서로 동일한 바이너럴 이펙트일 수 있다.The first binaural effect and the second binaural effect may be different from each other or the same binaural effect.

상기 제1의 3차원 객체 사운드를 생성하는 단계는 상기 제1의 2차원 객체 사운드에 대한 제1의 3차원 포지셔닝을 결정하는 단계와, 제1의 2차원 객체 사운드에 상기 제1의 3차원 포지셔닝 및 상기 제1 바이너럴 이펙트를 적용하여 상기 제1의 3차원 객체 사운드를 생성하는 단계를 포함할 수 있다.Generating the first three-dimensional object sound may include determining a first three-dimensional positioning for the first two-dimensional object sound, and the first three-dimensional positioning on the first two-dimensional object sound. And generating the first 3D object sound by applying the first binaural effect.

상기 제2의 3차원 객체 사운드를 생성하는 단계는 상기 제1의 3차원 포지셔닝과 상이하게 상기 제2의 2차원 객체 사운드에 대한 제2의 3차원 포지셔닝을 결정하는 단계와, 상기 제2의 2차원 객체 사운드에 상기 제2의 3차원 포지셔닝 및 상기 제2 바이너럴 이펙트를 적용하여 상기 제2의 3차원 객체 사운드를 생성하는 단계를 포함할 수 있다.The generating of the second three-dimensional object sound may include determining a second three-dimensional positioning for the second two-dimensional object sound differently from the first three-dimensional positioning, and the second two And generating the second three-dimensional object sound by applying the second three-dimensional positioning and the second binaural effect to the dimensional object sound.

상기 생성하는 단계는 상기 복수의 3차원 객체 사운드들을 통합하여 상기 3차원 사운드 트랙을 생성하는 단계를 포함할 수 있다.The generating may include generating the 3D sound track by integrating the plurality of 3D object sounds.

일 실시예에 따른 사운드 생성 장치는 인스트럭션들을 포함하는 메모리와, 상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고, 상기 프로세서는 2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출하고, 상기 복수의 2차원 객체 사운드들 각각에 복수의 바이너럴 이펙트들 각각을 적용하여 상기 복수의 2차원 객체 사운드들을 복수의 3차원 객체 사운드들로 변환하고, 상기 복수의 3차원 객체 사운드들에 기초하여 3차원 사운드 트랙을 생성할 수 있다.A sound generating apparatus according to an embodiment includes a memory including instructions, and a processor for executing the instructions, wherein the processor extracts a plurality of two-dimensional object sounds included in a two-dimensional sound track, and the plurality of Each of the two-dimensional object sounds is applied to each of a plurality of binaural effects to convert the plurality of two-dimensional object sounds into a plurality of three-dimensional object sounds, and a three-dimensional sound based on the plurality of three-dimensional object sounds You can create tracks.

상기 복수의 2차원 객체 사운드들은 상기 2차원 사운드 트랙에서 주파수 및 객체 중에서 어느 하나 별로 분리된 사운드일 수 있다.The plurality of 2D object sounds may be sounds separated by any one of frequency and object in the 2D sound track.

상기 프로세서는 이퀄라이저 이펙트(equalizer effect)를 이용하여 주파수 대역 별로 상기 2차원 사운드 트랙을 분리하여 상기 복수의 2차원 객체 사운드들을 추출할 수 있다.The processor may extract the plurality of two-dimensional object sounds by separating the two-dimensional sound track for each frequency band using an equalizer effect.

상기 프로세서는 사운드 디텍팅(sound detecting)을 이용하여 객체 별로 상기 2차원 사운드 트랙을 분리하여 상기 복수의 2차원 객체 사운드들을 추출할 수 있다.The processor may extract the plurality of two-dimensional object sounds by separating the two-dimensional sound track for each object using sound detecting.

상기 프로세서는 상기 복수의 2차원 객체 사운드들 중에서 제1의 2차원 객체 사운드에 제1 바이너럴 이펙트를 적용하여 제1의 3차원 객체 사운드를 생성하고, 상기 복수의 2차원 객체 사운드들 중에서 제2의 2차원 객체 사운드에 제2 바이너럴 이펙트를 적용하여 제2의 3차원 객체 사운드를 생성할 수 있다.The processor generates a first 3D object sound by applying a first binaural effect to a first 2D object sound among the plurality of 2D object sounds, and a second of the plurality of 2D object sounds A second 3D object sound may be generated by applying a second binaural effect to the 2D object sound of.

상기 제1 바이너럴 이펙트 및 상기 제2 바이너럴 이펙트는 서로 상이하거나 서로 동일한 바이너럴 이펙트일 수 있다.The first binaural effect and the second binaural effect may be different from each other or the same binaural effect.

상기 프로세서는 상기 제1의 2차원 객체 사운드에 대한 제1의 3차원 포지셔닝을 결정하고, 제1의 2차원 객체 사운드에 상기 제1의 3차원 포지셔닝 및 상기 제1 바이너럴 이펙트를 적용하여 상기 제1의 3차원 객체 사운드를 생성할 수 있다.The processor determines the first three-dimensional positioning of the first two-dimensional object sound, and applies the first three-dimensional positioning and the first binaural effect to the first two-dimensional object sound to produce the first three-dimensional object sound. You can create a 3D object sound of 1.

상기 프로세서는 상기 제1의 3차원 포지셔닝과 상이하게 상기 제2의 2차원 객체 사운드에 대한 제2의 3차원 포지셔닝을 결정하고, 상기 제2의 2차원 객체 사운드에 상기 제2의 3차원 포지셔닝 및 상기 제2 바이너럴 이펙트를 적용하여 상기 제2의 3차원 객체 사운드를 생성할 수 있다.The processor determines a second three-dimensional positioning for the second two-dimensional object sound differently from the first three-dimensional positioning, and the second three-dimensional positioning and the second two-dimensional object sound. The second 3D object sound may be generated by applying the second binaural effect.

상기 프로세서는 상기 복수의 3차원 객체 사운드들을 통합하여 상기 3차원 사운드 트랙을 생성할 수 있다.The processor may generate the 3D sound track by integrating the plurality of 3D object sounds.

도 1은 일 실시예에 따른 사운드 생성 시스템의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 사운드 생성 장치의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 프로세서의 동작을 설명하기 위한 일 예를 나타낸다.
도 4는 도 1에 도시된 사운드 제공 장치를 설명하기 위한 일 예를 나타낸다.
도 5는 도 1에 도시된 사운드 생성 장치를 설명하기 위한 일 예를 나타낸다.
도 6은 도 2에 도시된 프로세서의 동작을 설명하기 위한 순서도를 나타낸다.1 shows a schematic block diagram of a sound generation system according to an embodiment.
FIG. 2 shows a schematic block diagram of the sound generating apparatus shown in FIG. 1.
3 shows an example for explaining the operation of the processor shown in FIG. 2.
FIG. 4 shows an example for describing the sound providing apparatus illustrated in FIG. 1.
FIG. 5 shows an example for describing the sound generating device illustrated in FIG. 1.
FIG. 6 is a flowchart illustrating the operation of the processor illustrated in FIG. 2.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, various changes may be made to the embodiments, and the scope of the patent application right is not limited or limited by these embodiments. It should be understood that all modifications, equivalents, or substitutes for the embodiments are included in the scope of rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, the terms "include" or "have" are intended to indicate the presence of features, numbers, steps, actions, components, parts or combinations thereof described herein, one or more other features. It should be understood that the existence or addition possibilities of fields or numbers, steps, operations, components, parts or combinations thereof are not excluded in advance.

제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.The terms first or second may be used to describe various components, but the components should not be limited by the terms. The terms are for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the embodiment, the first component may be referred to as the second component, and similarly The second component may also be referred to as the first component.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the embodiment belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that detailed descriptions of related known technologies may unnecessarily obscure the subject matter of the embodiments, detailed descriptions thereof will be omitted.

본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.A module in the present specification may mean hardware capable of performing functions and operations according to each name described in the present specification, or computer program code capable of performing specific functions and operations. Or, it may mean an electronic recording medium on which computer program code capable of performing a specific function and operation is mounted, for example, a processor or a microprocessor.

다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.In other words, the module may mean a functional and / or structural combination of hardware for performing the technical idea of the present invention and / or software for driving the hardware.

이하, 실시예들은 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the scope of the patent application is not limited or limited by these embodiments. The same reference numerals in each drawing denote the same members.

도 1은 일 실시예에 따른 사운드 생성 시스템의 개략적인 블록도를 나타낸다.1 shows a schematic block diagram of a sound generation system according to an embodiment.

사운드 생성 시스템(10)은 사운드 제공 장치(100) 및 사운드 생성 장치(300)를 포함한다.The sound generating system 10 includes a sound providing device 100 and a sound generating device 300.

사운드 제공 장치(100)는 2차원 사운드 트랙을 생성(또는 레코딩)한 후, 2차원 사운드 트랙을 사운드 생성 장치(300)에 제공할 수 있다.After generating (or recording) a 2D sound track, the sound providing device 100 may provide the 2D sound track to the sound generating device 300.

2차원 사운드 트랙은 스테레오 또는 모노 타입의 단 방향성 사운드 트랙으로 청취자가 청취가능한 사운드일 수 있다. 예를 들어, 2차원 사운드 트랙은 2차원 음원, 2차원 음성 및 2차원 VR(virtual reality) 사운드 등 다양할 수 있다.The two-dimensional sound track is a stereo or mono type unidirectional sound track, which may be audible to a listener. For example, the 2D sound track may be various, such as a 2D sound source, a 2D voice, and a 2D VR (virtual reality) sound.

2차원 사운드 트랙은 복수의 객체 사운드들을 포함할 수 있다. 복수의 객체 사운드들 각각은 2차원 사운드로, 복수의 객체들 각각으로부터 발생되는 객체 사운드일 수 있다.The 2D sound track may include a plurality of object sounds. Each of the plurality of object sounds is a two-dimensional sound, and may be an object sound generated from each of the plurality of objects.

사운드 생성 장치(300)는 2차원 사운드 트랙의 복수의 2차원 객체 사운드들 각각을 3차원 객체 사운드로 변환하여 3차원 객체 사운드가 반영된 3차원 사운드 트랙을 생성할 수 있다.The sound generating apparatus 300 may convert each of a plurality of 2D object sounds of the 2D sound track into a 3D object sound to generate a 3D sound track reflecting the 3D object sound.

이에, 사운드 생성 장치(300)는 3차원 효과에 따른 3차원 방향성을 2차원 객체 사운드 각각에 반영하여 다양한 형태의 몰입감 높은 3차원 사운드(또는 3차원 콘텐츠)를 제공할 수 있다.Accordingly, the sound generating apparatus 300 may provide various immersive 3D sounds (or 3D contents) in various forms by reflecting 3D directionality according to 3D effects to each of the 2D object sounds.

사운드 생성 장치(300)는 2차원 사운드 트랙만을 이용하여 3차원 사운드 트랙을 생성함으로써, 용이하게 3차원 사운드 트랙을 생성할 수 있다.The sound generating apparatus 300 can easily generate a 3D sound track by generating a 3D sound track using only the 2D sound track.

사운드 생성 장치(300)는 3차원 사운드(또는 3차원 오디오)의 특징인 3차원 사운드 트랙의 방향 재현을 통해 이명 치료나 이명 진단 등에서도 활용이 가능한 3차원 사운드 트랙을 생성할 수 있다. 예를 들어, 사운드 생성 장치(300)는 주파수 대에 따른 위치 재현을 3차원 사운드 트랙에 반영하여 실질적인 이명 치료 및 이명 진단에 활용 가능한 3차원 사운드 트랙을 생성할 수 있다.The sound generating device 300 may generate a 3D sound track that can be used in tinnitus treatment or tinnitus diagnosis by reproducing the direction of a 3D sound track that is a characteristic of 3D sound (or 3D audio). For example, the sound generating apparatus 300 may generate a 3D sound track that can be used for practical tinnitus treatment and tinnitus diagnosis by reflecting the position reproduction according to the frequency band in the 3D sound track.

도 2는 도 1에 도시된 사운드 생성 장치의 개략적인 블록도를 나타낸다.FIG. 2 shows a schematic block diagram of the sound generating apparatus shown in FIG. 1.

사운드 생성 장치(300)는 통신 모듈(310), 메모리(330) 및 프로세서(350)를 포함한다.The sound generating device 300 includes a communication module 310, a memory 330 and a processor 350.

통신 모듈(310)은 사운드 제공 장치(100)로부터 전송된 2차원 사운드 트랙을 수신하여 프로세서(350)에 전송할 수 있다.The communication module 310 may receive the two-dimensional sound track transmitted from the sound providing device 100 and transmit it to the processor 350.

메모리(330)는 프로세서(350)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(350)의 동작 및/또는 프로세서(350)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.The memory 330 may store instructions (or programs) executable by the processor 350. For example, instructions may include instructions for performing the operation of processor 350 and / or the operation of each component of processor 350.

프로세서(350)는 메모리(330)에 저장된 데이터를 처리할 수 있다. 프로세서(350)는 메모리(330)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(350)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.The processor 350 may process data stored in the memory 330. The processor 350 may execute computer readable code (eg, software) stored in the memory 330 and instructions caused by the processor 350.

프로세서(350)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.The processor 350 may be a data processing device embodied in hardware having circuits having a physical structure for performing desired operations. For example, desired operations may include code or instructions included in a program.

예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.For example, the data processing device implemented in hardware includes a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , ASIC (Application-Specific Integrated Circuit), FPGA (Field Programmable Gate Array).

프로세서(350)는 사운드 생성 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(350)는 사운드 생성 장치(300)의 각 구성(310 및 330)의 동작을 제어할 수 있다.The processor 350 may control the overall operation of the sound generating device 300. For example, the processor 350 may control the operation of each component 310 and 330 of the sound generating device 300.

프로세서(350)는 통신 모듈(310)을 통해 2차원 사운드 트랙을 획득한 뒤, 2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출할 수 있다. 복수의 2차원 객체 사운드들은 2차원 사운드 트랙에서 주파수 및 객체 중에서 어느 하나 별로 분리된 사운드일 수 있다.The processor 350 may acquire a 2D sound track through the communication module 310 and then extract a plurality of 2D object sounds included in the 2D sound track. The plurality of 2D object sounds may be a sound separated by any one of frequency and object in a 2D sound track.

일 예로, 프로세서(350)는 이퀄라이저 이펙트(equalizer effect; EQ)를 이용하여 주파수 대역 별로 2차원 사운드 트랙을 분리하여 2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출할 수 있다.For example, the processor 350 may extract a plurality of two-dimensional object sounds included in the two-dimensional sound track by separating the two-dimensional sound track for each frequency band using an equalizer effect (EQ).

다른 예로, 프로세서(350)는 사운드 디텍팅(sound detecting)을 이용하여 객체 별로 2차원 사운드 트랙을 분리하여 2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출할 수 있다.As another example, the processor 350 may extract a plurality of two-dimensional object sounds included in the two-dimensional sound track by separating the two-dimensional sound track for each object using sound detecting.

프로세서(350)는 복수의 2차원 객체 사운드들 각각에 복수의 바이너럴 이펙트(binaural effect)들 각각을 적용하여 복수의 2차원 객체 사운드들을 복수의 3차원 객체 사운드들로 변환할 수 있다. 복수의 3차원 객체 사운드들 각각은 2차원의 객체 사운드가 3차원 객체 사운드로 변환된 3차원 바이너럴 사운드일 수 있다.The processor 350 may convert a plurality of two-dimensional object sounds into a plurality of three-dimensional object sounds by applying each of a plurality of binaural effects to each of the plurality of two-dimensional object sounds. Each of the plurality of 3D object sounds may be a 3D binaural sound in which a 2D object sound is converted into a 3D object sound.

프로세서(350)는 복수의 2차원 객체 사운드들 중에서 제1의 2차원 객체 사운드에 제1 바이너럴 이펙트를 적용하여 제1의 3차원 객체 사운드들 생성할 수 있다.The processor 350 may generate first 3D object sounds by applying a first binaural effect to the first 2D object sound among a plurality of 2D object sounds.

예를 들어, 프로세서(350)는 제1의 2차원 객체 사운드에 대한 제1의 3차원 포지셔닝을 결정할 수 있다. 프로세서(350)는 제1의 2차원 객체 사운드에 제1의 3차원 포지셔닝 및 제1 바이너럴 이펙트를 적용하여 제1의 3차원 객체 사운드를 생성할 수 있다. 제1의 3차원 객체 사운드는 제1의 2차원 객체 사운드를 3차원 사운드로 변환한 3차원 사운드일 수 있다.For example, the processor 350 may determine the first 3D positioning for the first 2D object sound. The processor 350 may generate the first 3D object sound by applying the first 3D positioning and the first binaural effect to the first 2D object sound. The first 3D object sound may be a 3D sound obtained by converting the first 2D object sound into a 3D sound.

프로세서(350)는 복수의 2차원 객체 사운드들 중에서 제2의 2차원 객체 사운드에 제2 바이너럴 이펙트를 적용하여 제2의 3차원 객체 사운드를 생성할 수 있다.The processor 350 may generate a second 3D object sound by applying a second binaural effect to the second 2D object sound among a plurality of 2D object sounds.

예를 들어, 프로세서(350)는 제1의 3차원 포지셔닝과 상이하게 제2의 2차원 객체 사운드에 대한 제2의 3차원 포지셔닝을 결정할 수 있다. 프로세서(350)는 제2의 2차원 객체 사운드에 제2의 3차원 포지셔닝 및 제2 바이너럴 이펙트를 적용하여 제2의 3차원 객체 사운드를 생성할 수 있다. 제2의 3차원 객체 사운드는 제2의 2차원 객체 사운드를 3차원 사운드로 변환한 3차원 사운드일 수 있다.For example, the processor 350 may determine the second three-dimensional positioning for the second two-dimensional object sound differently from the first three-dimensional positioning. The processor 350 may generate a second 3D object sound by applying a second 3D positioning and a second binaural effect to the second 2D object sound. The second 3D object sound may be a 3D sound obtained by converting a 2D object sound into a 3D sound.

상술한 제1 바이너럴 이펙트 및 제2 바이너럴 이펙트는 서로 상이하거나 서로 동일한 바이너럴 이펙트일 수 있다.The first binaural effect and the second binaural effect described above may be different from each other or may be the same binaural effect.

프로세서(350)는 복수의 3차원 객체 사운드들에 기초하여 3차원 사운드 트랙을 생성할 수 있다. 3차원 사운드 트랙은 2차원 사운드 트랙의 2차원 사운드를 3차원 사운드로 변환한 사운드 트랙일 수 있다.The processor 350 may generate a 3D sound track based on a plurality of 3D object sounds. The 3D sound track may be a sound track obtained by converting a 2D sound of a 2D sound track into a 3D sound.

예를 들어, 프로세서(350)는 복수의 3차원 객체 사운드들을 통합하여(muxing) 복수의 3차원 객체 사운드들이 통합된 3차원 사운드 트랙을 생성할 수 있다.For example, the processor 350 may generate a 3D sound track in which a plurality of 3D object sounds are integrated by muxing a plurality of 3D object sounds.

설명의 편의를 위해서, 이하에서는 2차원 사운드 트랙을 2차원 음원으로 가정하도록 한다.For convenience of description, hereinafter, it is assumed that a 2D sound track is a 2D sound source.

도 3은 도 2에 도시된 프로세서의 동작을 설명하기 위한 일 예를 나타낸다.3 shows an example for explaining the operation of the processor shown in FIG. 2.

프로세서(350)는 2차원 사운드 트랙을 획득할 수 있다. 2차원 사운드 트랙은 2 채널 스테레오 또는 1 채널 모노 타입의 사운드일 수 있다.The processor 350 may acquire a 2D sound track. The 2D sound track may be a 2 channel stereo or 1 channel mono type sound.

프로세서(350)는 객체 및 주파수 별로 2차원 사운드 트랙을 분리하여 2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출할 수 있다.The processor 350 may separate a 2D sound track for each object and frequency, and extract a plurality of 2D object sounds included in the 2D sound track.

예를 들어, 프로세서(350)는 사운드 디텍딩을 이용하여 2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드를 검출할 수 있다. 프로세서(350)는 2차원 사운드 트랙을 검출된 2차원 객체 사운드에 대응하는 객체 별로 분리하여 객체 별 사운드인 복수의 2차원 객체 사운드들 각각을 추출할 수 있다. 복수의 2차원 객체 사운드들은 바이올린 사운드, 드럼 사운드, 기타 사운드, 베이스 사운드, 키보드 사운드 및 트럼펫 사운드 등 다양한 악기 사운드일 수 있다.For example, the processor 350 may detect a plurality of 2D object sounds included in a 2D sound track using sound decoding. The processor 350 separates the 2D sound track for each object corresponding to the detected 2D object sound, and extracts each of a plurality of 2D object sounds, which are sound for each object. The plurality of two-dimensional object sounds may be various musical instrument sounds such as violin sound, drum sound, guitar sound, bass sound, keyboard sound, and trumpet sound.

프로세서(350)는 복수의 2차원 객체 사운드들 각각에 복수의 2차원 객체 사운드들 각각에 대응하는 객체의 명칭(또는 이름)을 인덱싱하여 사운드 트랙(또는 오디오 트랙)으로 관리(또는 저장)할 수 있다. 예를 들어, 프로세서(350)는 바이올린 사운드에 바이올린을 인덱싱하여 제1 2차원 트랙으로 관리할 수 있다. 프로세서(350)는 드럼 사운드에 드럼을 인덱싱하여 제2 2차원 트랙으로 관리할 수 있다. 프로세서(350)는 기타 사운드에 기타를 인덱싱하여 제3 2차원 트랙으로 관리할 수 있다. 프로세서(350)는 베이스 사운드에 베이스를 인덱싱하여 제4 2차원 트랙으로 관리할 수 있다. 프로세서(350)는 키보드 사운드에 키보드를 인덱싱하여 제5 2차원 트랙으로 관리할 수 있다. 프로세서(350)는 트럼펫 사운드에 트럼펫을 인덱싱하여 제6 2차원 트랙으로 관리할 수 있다.The processor 350 may index (or store) a name (or name) of an object corresponding to each of the plurality of 2D object sounds to each of the plurality of 2D object sounds and manage (or store) the sound track (or audio track). have. For example, the processor 350 may index the violin to the violin sound and manage the first two-dimensional track. The processor 350 may index the drum to the drum sound and manage it as a second two-dimensional track. The processor 350 may index the guitar to the guitar sound and manage it as a third 2D track. The processor 350 may index the bass to the bass sound and manage it as a fourth 2D track. The processor 350 may manage the keyboard as a fifth two-dimensional track by indexing the keyboard to the keyboard sound. The processor 350 may index the trumpet into the trumpet sound and manage the sixth two-dimensional track.

프로세서(350)는 제1 2차원 트랙 내지 제6 2차원 트랙의 3차원 포지셔닝을 상이하게 결정할 수 있다.The processor 350 may determine the 3D positioning of the first 2D track to the 6th 2D track differently.

프로세서(350)는 제1 2차원 트랙 내지 제6 2차원 트랙에 상이한 3차원 포지셔닝 및 바이너럴 이펙트를 적용하여 제1 2차원 트랙 내지 제6 2차원 트랙을 제1 3차원 트랙 내지 제6 3차원 트랙으로 변환할 수 있다. 이때, 프로세서(350)는 제1 2차원 트랙 내지 제6 2차원 트랙을 복수의 채널로 분리한 뒤, 복수의 채널로 분리된 제1 2차원 트랙 내지 제6 2차원 트랙에 바이너럴 이펙트를 적용(또는 랜더링)할 수 있다.The processor 350 applies different 3D positioning and binaural effects to the first 2D track to the 6D 2D track to apply the first 2D track to the 6th 2D track from the first 3D track to the 6D 3D track. Can be converted to tracks. At this time, the processor 350 separates the first 2D track to the 6D 2D track into a plurality of channels, and then applies a binaural effect to the first 2D track to the 6D 2D track divided into a plurality of channels. (Or rendering).

프로세서(350)는 제1 3차원 트랙 내지 제6 3차원 트랙을 통합하여 3차원 사운드 트랙을 생성할 수 있다. 3차원 사운드 트랙은 스테레오 또는 모노 타입의 2차원 사운드 트랙을 변환하여 바이너럴 이펙트가 적용된 복수의 채널 3차원 사운드일 수 있다.The processor 350 may generate a 3D sound track by integrating the first 3D track to the 6th 3D track. The 3D sound track may be a multi-channel 3D sound to which a binaural effect is applied by converting a stereo or mono type 2D sound track.

도 4는 도 1에 도시된 사운드 제공 장치를 설명하기 위한 일 예를 나타낸다.FIG. 4 shows an example for describing the sound providing apparatus illustrated in FIG. 1.

사운드 제공 장치(100)는 일반적인 2차원 오디오 전용 사운드인 2차원 사운드 트랙을 사운드 생성 장치(300)에 제공할 수 있다. 일반적인 2차원 오디오 전용 사운드는 3차원 사운드 효과를 적용하여 레코딩되지 않은 2차원 사운드일 수 있다.The sound providing device 100 may provide a 2D sound track, which is a general 2D audio-only sound, to the sound generating device 300. The general 2D audio-only sound may be a 2D sound that is not recorded by applying a 3D sound effect.

예를 들어, 사운드 제공 장치(100)는 복수의 객체 사운드들로 구성된 2차원 사운드 트랙을 생성할 수 있다.For example, the sound providing apparatus 100 may generate a two-dimensional sound track composed of a plurality of object sounds.

사운드 제공 장치(100)는 다양한 악기들 각각이 연주되는 사운드를 레코딩하여 2차원 사운드 트랙을 생성할 수 있다.The sound providing apparatus 100 may generate a two-dimensional sound track by recording sound played by each of various instruments.

사운드 제공 장치(100)는 이미 레코딩(또는 이미 생성)된 악기별 객체 사운드를 조합하여 2차원 사운드 트랙을 생성할 수 있다.The sound providing apparatus 100 may generate a two-dimensional sound track by combining object sounds for each instrument that has already been recorded (or already generated).

사운드 제공 장치(100)는 유선 통신 방법 및/또는 무선 통신 방법으로 2차원 사운드 트랙을 사운드 생성 장치(300)에 전송할 수 있다. 유선 통신 방식은 USB, 디스플레이 port 및 HDMI 등 다양한 유선 통신 방식을 이용한 통신 방식일 수 있다. 무선 통신 방식은 Wi-Fi, 블루투스 등 다양한 무선 통신 방식을 이용한 통신 방식일 수 있다.The sound providing device 100 may transmit a two-dimensional sound track to the sound generating device 300 by a wired communication method and / or a wireless communication method. The wired communication method may be a communication method using various wired communication methods such as USB, display port, and HDMI. The wireless communication method may be a communication method using various wireless communication methods such as Wi-Fi and Bluetooth.

도 5는 도 1에 도시된 사운드 생성 장치를 설명하기 위한 일 예를 나타낸다.FIG. 5 shows an example for describing the sound generating device illustrated in FIG. 1.

사운드 생성 장치(300)는 바이너럴 이펙트 기술을 이용하여 복수의 2차원 객체 사운드들 각각을 3차원 가상 공간에 배치하여 2차원 사운드 트랙을 3차원 가상 공간이 반영된 3차원 사운드 트랙으로 변환할 수 있다.The sound generating apparatus 300 may convert a 2D sound track into a 3D sound track reflecting a 3D virtual space by arranging each of a plurality of 2D object sounds in a 3D virtual space using a binaural effect technology. .

바이너럴 이펙트는 인간의 양 귀의 위치에 따른 소리 전달 차이를 통한 소리 방향의 공간 인식 기술에 기초하여 스테레오 스피커를 통해 3차원 사운드를 생성하는 기술일 수 있다.The binaural effect may be a technology that generates a 3D sound through a stereo speaker based on a spatial recognition technology in a sound direction through a sound transmission difference according to the position of both ears of a human.

3차원 사운드 트랙은 사운드의 공간감, 현장감 및 방향성이 반영된 3차원 오디오 전용 사운드일 수 있다. 3차원 오디오 전용 사운드는 비 3차원 사운드(또는 비 3차원 오디오, 비 3차원 음원) 또는 5.1 채널 등의 다채널 2차원 사운드(또는 다채널 2차원 오디오)를 3차원으로 변환한 3차원 사운드일 수 있다. 3차원 오디오 전용 사운드는 3차원 2 채널, 3차원 5.1 채널, 3차원 10.1 채널 등 다양한 채널의 3차원 사운드일 수 있다.The 3D sound track may be a 3D audio-only sound reflecting the sense of space, realism, and directionality of the sound. The 3D audio-only sound is a 3D sound obtained by converting a non-three-dimensional sound (or a non-three-dimensional audio, a non-three-dimensional sound source) or a multi-channel two-dimensional sound (or multi-channel two-dimensional audio) such as 5.1 channels into 3D. Can be. The 3D audio-only sound may be 3D sound of various channels such as 3D 2 channel, 3D 5.1 channel, and 3D 10.1 channel.

사운드 생성 장치(300)는 다양한 방식으로 3차원 사운드 트랙을 전자 장치에 제공할 수 있다.The sound generating device 300 may provide the 3D sound track to the electronic device in various ways.

전자 장치는 사운드 출력 장치, PC(personal computer), 데이터 서버, 또는 휴대용 전자 장치 등 다양한 장치일 수 있다. 휴대용 전자 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 스마트 디바이스(smart device)으로 구현될 수 있다. 이때, 스마트 디바이스는 스마트 워치(smart watch) 또는 스마트 밴드(smart band)로 구현될 수 있다.The electronic device may be various devices such as a sound output device, a personal computer (PC), a data server, or a portable electronic device. Portable electronic devices include laptop computers, mobile phones, smart phones, tablet PCs, mobile internet devices (MIDs), personal digital assistants (PDAs), and enterprise digital assistants (EDAs). ), Digital still camera, digital video camera, portable multimedia player (PMP), personal navigation device or portable navigation device (PND), handheld game console, e-book (e-book), may be implemented as a smart device (smart device). At this time, the smart device may be implemented as a smart watch or a smart band.

예를 들어, 사운드 생성 장치(300)는 1:N 방식으로 복수의 청취자들 각각이 사용하는 사운드 출력 장치에 3차원 사운드 트랙을 제공할 수 있다. 1:N 방식은 3차원 사운드 트랙이 복수의 청취자들에게 제공되게 하는 브로드 캐스트형 방식일 수 있다.For example, the sound generating device 300 may provide a 3D sound track to a sound output device used by each of a plurality of listeners in a 1: N manner. The 1: N method may be a broadcast type method in which a 3D sound track is provided to a plurality of listeners.

사운드 생성 장치(300)는 N:N 방식으로 복수의 청취자들 각각이 사용하는 사운드 출력 장치에 3차원 사운드 트랙을 선택적으로 제공할 수 있다. N:N 방식은 복수의 3차원 사운드 트랙들이 복수의 청취자들에게 선택적으로 제공되게 하는 맞춤형 방식일 수 있다.The sound generating device 300 may selectively provide a 3D sound track to a sound output device used by each of a plurality of listeners in an N: N manner. The N: N method may be a custom method in which a plurality of 3D sound tracks are selectively provided to a plurality of listeners.

사운드 생성 장치(300)는 N:1 방식으로 단일의 청취자가 사용하는 사운드 출력 장치에 복수의 3차원 사운드 트랙들 모두를 제공할 수 있다. N:1 방식은 복수의 3차원 사운드 트랙들이 단일의 청취자에게 제공되는 서비스 집중형 멀티 엑세스 방식일 수 있다.The sound generating device 300 may provide all of a plurality of three-dimensional sound tracks to a sound output device used by a single listener in an N: 1 manner. The N: 1 method may be a service-focused multi-access method in which a plurality of 3D sound tracks are provided to a single listener.

사운드 생성 장치(300)는 상술한 유선 통신 방식 및/또는 무선 통신 방식으로 3차원 사운드 트랙을 사운드 출력 장치에 제공할 수 있다.The sound generating device 300 may provide the 3D sound track to the sound output device by the wired communication method and / or the wireless communication method described above.

상술한 사운드 출력 장치는 웨어러블 타입, 인이어 타입, 온이어 타입 및 브레인 트렌스 타입으로 구현될 수 있다.The sound output device described above may be implemented as a wearable type, an in-ear type, an on-ear type, and a brain trans type.

웨어러블 타입은 청취자가 편리하게 착용하는 제품에 결합된(또는 장착된) 타입일 수 있다. 웨어러블 타입은 헤어 밴드, 어깨 부착형 장치, 점퍼 및/또는 제킷 및/또는 우주복 등의 상의 부착형 장치, 고글 및 안경 등일 수 있다. 인이어 타입은 이어폰일 수 있다. 온이어 타입은 헤드폰 및 헬멧 등일 수 있다. 브레인 트렌스 타입은 뇌파 전송 장치일 수 있다.The wearable type may be a type coupled (or mounted) to a product that the listener conveniently wears. The wearable type may be a hair band, a shoulder-mounted device, a jumper and / or a jacket-like device such as a space suit, goggles and glasses, and the like. The in-ear type may be an earphone. The on-ear type may be headphones and a helmet. The brain trans type may be an EEG transmission device.

또한, 사운드 출력 장치는 HMD, 스마트 글래스, See-thru 디스플레이 장치, 멀티 모달(예를 들어, 5감 센싱) 등을 활용한 체감형 장치, 골전도 오디오 장치에 구현될 수 있다.In addition, the sound output device may be implemented in an HMD, a smart glass, a see-thru display device, a haptic device using a multi-modal (eg, 5 sense sensing), and a bone conduction audio device.

도 6은 도 2에 도시된 프로세서의 동작을 설명하기 위한 순서도를 나타낸다.FIG. 6 is a flowchart illustrating the operation of the processor illustrated in FIG. 2.

프로세서(350)는 사운드 제공 장치(100)로부터 전송된 2차원 사운드 트랙을 획득할 수 있다(610).The processor 350 may acquire a 2D sound track transmitted from the sound providing device 100 (610).

프로세서(350)는 이퀄라이저 이펙트 및/또는 사운드 디텍딩 기술을 이용하여 2차원 사운드 트랙을 주파수 및/또는 객체 별로 분리하여 2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출할 수 있다(630).The processor 350 may extract a plurality of 2D object sounds included in the 2D sound track by separating the 2D sound track for each frequency and / or object using an equalizer effect and / or sound detecting technology (630). ).

프로세서(350)는 바이너럴 이펙트 기술을 통해 복수의 2차원 객체 사운드들 각각에 복수의 바이너럴 이펙트들 각각을 적용하여 복수의 2차원 객체 사운드들을 복수의 3차원 객체 사운드들로 변환할 수 있다(650).The processor 350 may convert a plurality of 2D object sounds into a plurality of 3D object sounds by applying each of a plurality of binaural effects to each of the plurality of 2D object sounds through a binaural effect technology ( 650).

프로세서(350)는 복수의 3차원 객체 사운드들을 통합하여 2차원 사운드 트랙이 3차원 사운도로 변환된 3차원 사운드 트랙을 생성할 수 있다(670).The processor 350 may generate a 3D sound track in which a 2D sound track is converted to 3D sound by integrating a plurality of 3D object sounds (670).

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiments or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device. Software and / or data may be interpreted by a processing device, or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodied in the transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order than the described method, and / or the components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or other components Alternatively, even if substituted or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (18)

2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출하는 단계;
상기 복수의 2차원 객체 사운드들 각각에 복수의 바이너럴 이펙트들 각각을 적용하여 상기 복수의 2차원 객체 사운드들을 복수의 3차원 객체 사운드들로 변환하는 단계; 및
상기 복수의 3차원 객체 사운드들에 기초하여 3차원 사운드 트랙을 생성하는 단계
를 포함하는 사운드 생성 방법.
Extracting a plurality of 2D object sounds included in the 2D sound track;
Converting the plurality of 2D object sounds into a plurality of 3D object sounds by applying a plurality of binaural effects to each of the plurality of 2D object sounds; And
Generating a 3D sound track based on the plurality of 3D object sounds
Sound generation method comprising a.
제1항에 있어서,
상기 복수의 2차원 객체 사운드들은 상기 2차원 사운드 트랙에서 주파수 및 객체 중에서 어느 하나 별로 분리된 사운드인 사운드 생성 방법.
According to claim 1,
The plurality of two-dimensional object sound is a sound generation method that is a sound separated by any one of the frequency and the object in the two-dimensional sound track.
제1항에 있어서,
상기 추출하는 단계는,
이퀄라이저 이펙트(equalizer effect)를 이용하여 주파수 대역 별로 상기 2차원 사운드 트랙을 분리하여 상기 복수의 2차원 객체 사운드들을 추출하는 단계
를 포함하는 사운드 생성 방법.
According to claim 1,
The extraction step,
Extracting the plurality of two-dimensional object sounds by separating the two-dimensional sound track for each frequency band using an equalizer effect
Sound generation method comprising a.
제1항에 있어서,
상기 추출하는 단계는,
사운드 디텍팅(sound detecting)을 이용하여 객체 별로 상기 2차원 사운드 트랙을 분리하여 상기 복수의 2차원 객체 사운드들을 추출하는 단계
를 포함하는 사운드 생성 방법.
According to claim 1,
The extraction step,
Extracting the plurality of two-dimensional object sounds by separating the two-dimensional sound track for each object using sound detecting.
Sound generation method comprising a.
제1항에 있어서,
상기 변환하는 단계는,
상기 복수의 2차원 객체 사운드들 중에서 제1의 2차원 객체 사운드에 제1 바이너럴 이펙트를 적용하여 제1의 3차원 객체 사운드를 생성하는 단계; 및
상기 복수의 2차원 객체 사운드들 중에서 제2의 2차원 객체 사운드에 제2 바이너럴 이펙트를 적용하여 제2의 3차원 객체 사운드를 생성하는 단계
를 포함하는 사운드 생성 방법.
According to claim 1,
The step of converting,
Generating a first 3D object sound by applying a first binaural effect to a first 2D object sound among the plurality of 2D object sounds; And
Generating a second 3D object sound by applying a second binaural effect to a second 2D object sound among the plurality of 2D object sounds
Sound generation method comprising a.
제5항에 있어서,
상기 제1 바이너럴 이펙트 및 상기 제2 바이너럴 이펙트는 서로 상이하거나 서로 동일한 바이너럴 이펙트인 사운드 생성 방법.
The method of claim 5,
The first binaural effect and the second binaural effect are different or the same binaural effect.
제5항에 있어서,
상기 제1의 3차원 객체 사운드를 생성하는 단계는,
상기 제1의 2차원 객체 사운드에 대한 제1의 3차원 포지셔닝을 결정하는 단계; 및
제1의 2차원 객체 사운드에 상기 제1의 3차원 포지셔닝 및 상기 제1 바이너럴 이펙트를 적용하여 상기 제1의 3차원 객체 사운드를 생성하는 단계
를 포함하는 사운드 생성 방법.
The method of claim 5,
Generating the first three-dimensional object sound,
Determining a first three-dimensional positioning for the first two-dimensional object sound; And
Generating the first three-dimensional object sound by applying the first three-dimensional positioning and the first binaural effect to the first two-dimensional object sound
Sound generation method comprising a.
제7항에 있어서,
상기 제2의 3차원 객체 사운드를 생성하는 단계는,
상기 제1의 3차원 포지셔닝과 상이하게 상기 제2의 2차원 객체 사운드에 대한 제2의 3차원 포지셔닝을 결정하는 단계; 및
상기 제2의 2차원 객체 사운드에 상기 제2의 3차원 포지셔닝 및 상기 제2 바이너럴 이펙트를 적용하여 상기 제2의 3차원 객체 사운드를 생성하는 단계
를 포함하는 사운드 생성 방법.
The method of claim 7,
The generating of the second 3D object sound may include:
Determining a second three-dimensional positioning for the second two-dimensional object sound differently from the first three-dimensional positioning; And
Generating the second three-dimensional object sound by applying the second three-dimensional positioning and the second binaural effect to the second two-dimensional object sound;
Sound generation method comprising a.
제1항에 있어서,
상기 생성하는 단계는,
상기 복수의 3차원 객체 사운드들을 통합하여 상기 3차원 사운드 트랙을 생성하는 단계
를 포함하는 사운드 생성 방법.
According to claim 1,
The generating step,
Generating the 3D sound track by integrating the plurality of 3D object sounds
Sound generation method comprising a.
인스트럭션들을 포함하는 메모리; 및
상기 인스트럭션들을 실행하기 위한 프로세서
를 포함하고,
상기 프로세서는,
2차원 사운드 트랙에 포함된 복수의 2차원 객체 사운드들을 추출하고, 상기 복수의 2차원 객체 사운드들 각각에 복수의 바이너럴 이펙트들 각각을 적용하여 상기 복수의 2차원 객체 사운드들을 복수의 3차원 객체 사운드들로 변환하고, 상기 복수의 3차원 객체 사운드들에 기초하여 3차원 사운드 트랙을 생성하는 사운드 생성 장치.
A memory containing instructions; And
Processor for executing the instructions
Including,
The processor,
Extracting a plurality of two-dimensional object sounds included in a two-dimensional sound track, and applying a plurality of binaural effects to each of the plurality of two-dimensional object sounds, the plurality of two-dimensional object sounds to a plurality of three-dimensional objects A sound generating device that converts sounds and generates a 3D sound track based on the plurality of 3D object sounds.
제10항에 있어서,
상기 복수의 2차원 객체 사운드들은 상기 2차원 사운드 트랙에서 주파수 및 객체 중에서 어느 하나 별로 분리된 사운드인 사운드 생성 장치.
The method of claim 10,
The plurality of two-dimensional object sound is a sound generating device that is a sound separated by any one of the frequency and the object in the two-dimensional sound track.
제10항에 있어서,
상기 프로세서는,
이퀄라이저 이펙트(equalizer effect)를 이용하여 주파수 대역 별로 상기 2차원 사운드 트랙을 분리하여 상기 복수의 2차원 객체 사운드들을 추출하는 사운드 생성 장치.
The method of claim 10,
The processor,
A sound generating device that extracts the plurality of two-dimensional object sounds by separating the two-dimensional sound track for each frequency band using an equalizer effect.
제10항에 있어서,
상기 프로세서는,
사운드 디텍팅(sound detecting)을 이용하여 객체 별로 상기 2차원 사운드 트랙을 분리하여 상기 복수의 2차원 객체 사운드들을 추출하는 사운드 생성 장치.
The method of claim 10,
The processor,
A sound generating device that extracts the plurality of two-dimensional object sounds by separating the two-dimensional sound track for each object by using sound detecting.
제10항에 있어서,
상기 프로세서는,
상기 복수의 2차원 객체 사운드들 중에서 제1의 2차원 객체 사운드에 제1 바이너럴 이펙트를 적용하여 제1의 3차원 객체 사운드를 생성하고, 상기 복수의 2차원 객체 사운드들 중에서 제2의 2차원 객체 사운드에 제2 바이너럴 이펙트를 적용하여 제2의 3차원 객체 사운드를 생성하는 사운드 생성 장치.
The method of claim 10,
The processor,
A first 3D object sound is generated by applying a first binaural effect to a first 2D object sound among the plurality of 2D object sounds, and a second 2D among the plurality of 2D object sounds A sound generating device that generates a second 3D object sound by applying a second binaural effect to the object sound.
제14항에 있어서,
상기 제1 바이너럴 이펙트 및 상기 제2 바이너럴 이펙트는 서로 상이하거나 서로 동일한 바이너럴 이펙트인 사운드 생성 장치.
The method of claim 14,
The first binaural effect and the second binaural effect are sound generating devices that are different from each other or are the same binaural effect.
제14항에 있어서,
상기 프로세서는,
상기 제1의 2차원 객체 사운드에 대한 제1의 3차원 포지셔닝을 결정하고, 제1의 2차원 객체 사운드에 상기 제1의 3차원 포지셔닝 및 상기 제1 바이너럴 이펙트를 적용하여 상기 제1의 3차원 객체 사운드를 생성하는 사운드 생성 장치.
The method of claim 14,
The processor,
Determining a first three-dimensional positioning for the first two-dimensional object sound, and applying the first three-dimensional positioning and the first binaural effect to the first two-dimensional object sound, the first three A sound generation device that generates dimensional object sounds.
제16항에 있어서,
상기 프로세서는,
상기 제1의 3차원 포지셔닝과 상이하게 상기 제2의 2차원 객체 사운드에 대한 제2의 3차원 포지셔닝을 결정하고, 상기 제2의 2차원 객체 사운드에 상기 제2의 3차원 포지셔닝 및 상기 제2 바이너럴 이펙트를 적용하여 상기 제2의 3차원 객체 사운드를 생성하는 사운드 생성 장치.
The method of claim 16,
The processor,
A second 3D positioning for the second 2D object sound is determined differently from the first 3D positioning, and the second 3D positioning and the second for the second 2D object sound. A sound generating device that generates the second 3D object sound by applying a binaural effect.
제10항에 있어서,
상기 프로세서는,
상기 복수의 3차원 객체 사운드들을 통합하여 상기 3차원 사운드 트랙을 생성하는 사운드 생성 장치.The method of claim 10,
The processor,
A sound generating device that generates the 3D sound track by integrating the plurality of 3D object sounds.
KR1020190140347A 2018-11-09 2019-11-05 Method of producing a sound and apparatus for performing the same KR102322120B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980073791.1A CN113039815B (en) 2018-11-09 2019-11-08 Sound generating method and device for executing the same
PCT/KR2019/015145 WO2020096406A1 (en) 2018-11-09 2019-11-08 Method for generating sound, and devices for performing same
US17/292,447 US20220021998A1 (en) 2018-11-09 2019-11-08 Method for generating sound and devices for performing same
CN202211375358.3A CN115767407A (en) 2018-11-09 2019-11-08 Sound generating method and device for executing the same
KR1020210145037A KR20210133924A (en) 2018-11-09 2021-10-27 Method of producing a sound and apparatus for performing the same

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20180136955 2018-11-09
KR1020180136955 2018-11-09
KR1020190092596 2019-07-30
KR20190092596 2019-07-30
KR20190129756 2019-10-18
KR1020190129756 2019-10-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210145037A Division KR20210133924A (en) 2018-11-09 2021-10-27 Method of producing a sound and apparatus for performing the same

Publications (2)

Publication Number Publication Date
KR20200054084A true KR20200054084A (en) 2020-05-19
KR102322120B1 KR102322120B1 (en) 2021-11-05

Family

ID=70913425

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190140347A KR102322120B1 (en) 2018-11-09 2019-11-05 Method of producing a sound and apparatus for performing the same
KR1020210145037A KR20210133924A (en) 2018-11-09 2021-10-27 Method of producing a sound and apparatus for performing the same

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210145037A KR20210133924A (en) 2018-11-09 2021-10-27 Method of producing a sound and apparatus for performing the same

Country Status (1)

Country Link
KR (2) KR102322120B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140125745A (en) * 2013-04-19 2014-10-29 한국전자통신연구원 Processing appratus mulit-channel and method for audio signals
KR20170097484A (en) * 2016-02-18 2017-08-28 삼성전자주식회사 Method for processing audio data and electronic device supporting the same
KR20180106812A (en) * 2017-03-20 2018-10-01 ㈜라이커스게임 System for implementing augmented reality 3-dimensional sound with real sound and program for the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140125745A (en) * 2013-04-19 2014-10-29 한국전자통신연구원 Processing appratus mulit-channel and method for audio signals
KR20170097484A (en) * 2016-02-18 2017-08-28 삼성전자주식회사 Method for processing audio data and electronic device supporting the same
KR20180106812A (en) * 2017-03-20 2018-10-01 ㈜라이커스게임 System for implementing augmented reality 3-dimensional sound with real sound and program for the same

Also Published As

Publication number Publication date
KR20210133924A (en) 2021-11-08
KR102322120B1 (en) 2021-11-05

Similar Documents

Publication Publication Date Title
US10585486B2 (en) Gesture interactive wearable spatial audio system
EP2737727B1 (en) Method and apparatus for processing audio signals
US20180206057A1 (en) Audio parallax for virtual reality, augmented reality, and mixed reality
JP5865899B2 (en) Stereo sound reproduction method and apparatus
JP2019518373A (en) Immersive audio playback system
CN110651487B (en) Distributed audio virtualization system
WO2017044208A1 (en) Microphone placement for sound source direction estimation
US20180352359A1 (en) Remote personalization of audio
US20130178967A1 (en) Method and apparatus for virtualizing an audio file
US20210006976A1 (en) Privacy restrictions for audio rendering
US11580213B2 (en) Password-based authorization for audio rendering
US20210004201A1 (en) Audio capture and rendering for extended reality experiences
CN114424587A (en) Controlling presentation of audio data
WO2023045980A1 (en) Audio signal playing method and apparatus, and electronic device
KR102656969B1 (en) Discord Audio Visual Capture System
US9843883B1 (en) Source independent sound field rotation for virtual and augmented reality applications
TW202105164A (en) Audio rendering for low frequency effects
KR20190109019A (en) Method and apparatus for reproducing audio signal according to movenemt of user in virtual space
CN110890100A (en) Voice enhancement method, multimedia data acquisition method, multimedia data playing method, device and monitoring system
CN110191745A (en) It is transmitted as a stream using the game of space audio
TW201325268A (en) Virtual reality sound source localization apparatus
KR102322120B1 (en) Method of producing a sound and apparatus for performing the same
CN113039815B (en) Sound generating method and device for executing the same
KR102379734B1 (en) Method of producing a sound and apparatus for performing the same
KR20200074757A (en) Apparatus and method for processing audio signal using composited order ambisonics

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right