KR20190045696A - Apparatus and method for synthesizing virtual sound - Google Patents

Apparatus and method for synthesizing virtual sound Download PDF

Info

Publication number
KR20190045696A
KR20190045696A KR1020170138567A KR20170138567A KR20190045696A KR 20190045696 A KR20190045696 A KR 20190045696A KR 1020170138567 A KR1020170138567 A KR 1020170138567A KR 20170138567 A KR20170138567 A KR 20170138567A KR 20190045696 A KR20190045696 A KR 20190045696A
Authority
KR
South Korea
Prior art keywords
virtual
sound
sound wave
virtual space
virtual object
Prior art date
Application number
KR1020170138567A
Other languages
Korean (ko)
Other versions
KR101975920B1 (en
Inventor
신승호
김휴대
임국찬
조익환
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170138567A priority Critical patent/KR101975920B1/en
Publication of KR20190045696A publication Critical patent/KR20190045696A/en
Application granted granted Critical
Publication of KR101975920B1 publication Critical patent/KR101975920B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Abstract

According to one embodiment of the present invention, provided is a method for synthesizing a virtual sound, which comprises the steps of: obtaining information on an actual object from image data; positioning a virtual object generated through three-dimensional modeling of the actual object in a three-dimensional virtual space; determining a traveling path in the virtual space of a sound wave based on a position and a shape of the virtual object, with respect to one or more sound waves emitted from the virtual sound wave positioned in the virtual space; and synthesizing a sound which is expected to be sensed in a predetermined position in the virtual space based on the traveling path of the sound wave.

Description

가상 음향 합성 장치 및 방법 {APPARATUS AND METHOD FOR SYNTHESIZING VIRTUAL SOUND}[0001] APPARATUS AND METHOD FOR SYNTHESIZING VIRTUAL SOUND [0002]

본 발명은 가상 공간에서의 음향 효과 구현에 있어서, 보다 현실감 있는 음향의 구현이 가능하도록 하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for realizing a more realistic sound in realizing a sound effect in a virtual space.

근래에 들어, 가상 현실 혹은 증강 현실과 같이 가상의 정보를 이용하여 구현된 다양한 컨텐츠가 제안되고 있다. 일반적인 가상 현실(virtual reality)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어 낸 가상 공간으로서, 실제와 유사하지만 실제가 아닌 특징이 있다. 증강 현실(augmented reality, AR)은 가상 현실의 한 분야로서, 사용자가 보는 현실의 객체에 가상의 정보를 합성하여, 가상의 정보를 현실의 일부로서 인식하도록 할 수 있는 기법을 가리킨다.In recent years, various contents implemented using virtual information such as virtual reality or augmented reality have been proposed. A typical virtual reality is a virtual space created by artificial technology using a computer or the like. Augmented reality (AR) is a field of virtual reality, which refers to a technique that allows virtual information to be recognized as a part of reality by compositing virtual information with the actual objects that the user sees.

이와 같은 가상 현실 혹은 증강 현실이 적용된 가상 공간(virtual space)에서는, 시각적 컨텐츠뿐 아니라 청각적 컨텐츠도 사용자에게 제공될 수 있다. 예컨대, 가상 공간 내를 이동할 수 있는 가상의 캐릭터의 시선과 사용자의 시선이 서로 일치하도록 함으로써, 사용자가 상기 캐릭터의 입장에서 상기 가상 공간 내에 구현된 가상의 사물을 직접 볼 수 있도록 할 수 있다. 이에 더하여, 상기 가상 공간 내에는 가상의 음원(音源)이 위치할 수 있으며, 이 때 사용자는 상기 캐릭터의 입장에서 상기 음원이 방사하는 소리를 들을 수도 있다.In the virtual space in which the virtual reality or the augmented reality is applied, not only the visual content but also the auditory content can be provided to the user. For example, by making the line of sight of a virtual character movable in the virtual space coincide with the line of sight of the user, the user can directly view a virtual object implemented in the virtual space in the position of the character. In addition, a virtual sound source may be located in the virtual space, and the user may hear the sound emitted by the sound source from the position of the character.

현실 세계에서는 같은 소리라 해도 청취자의 위치 혹은 주변 환경에 따라 다르게 들릴 수 있다. 전술한 바와 같은 청각적 컨텐츠를 사용자에게 제공하는 가상 공간에서도, 상기 가상 공간의 구체적인 환경 및 청각적 컨텐츠의 청취 위치 등을 고려하여 음향 효과를 구현해야, 보다 실감나는 컨텐츠를 사용자에게 제공할 수 있을 것이다.In the real world, the same sounds can be heard differently depending on the location of the listener or the surrounding environment. It is necessary to implement a sound effect in consideration of the specific environment of the virtual space and the listening position of the auditory contents even in the virtual space providing the auditory contents to the user as described above, will be.

한국공개특허공보 제 10-2013-0109615 호 (2013.10.08. 공개)Korean Patent Publication No. 10-2013-0109615 (Published Oct. 20, 2013)

본 발명이 해결하고자 하는 과제는, 가상 공간을 통해 청각적 컨텐츠를 제공받는 사용자에게 보다 현실감 있는 컨텐츠를 제공하기 위한 장치 및 방법에 관한 것이다.An object of the present invention is to provide an apparatus and method for providing more realistic contents to a user who is provided with auditory contents through a virtual space.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood, however, that the present invention is not limited to the above-mentioned embodiments, but other and further objects which need not be mentioned can be clearly understood by those skilled in the art from the following description will be.

본 발명의 일 실시예에 따른 가상 음향 합성 방법은, 영상 데이터로부터 실제 객체에 대한 정보를 획득하는 단계, 3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 단계, 상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 단계 및 상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 단계를 포함할 수 있다.A virtual sound synthesis method according to an embodiment of the present invention includes acquiring information on an actual object from image data, positioning a virtual object generated by three-dimensionally modeling the real object in a three-dimensional virtual space , Determining, for one or more virtual sound waves (sound waves) emitted from a virtual sound source located in the virtual space, a traveling path in the virtual space of the sound waves based on the position and shape of the virtual object And synthesizing a sound that is expected to be sensed at a predetermined position in the virtual space based on the traveling path of the sound wave.

본 발명의 일 실시예에 따른 가상 음향 합성 장치는, 영상 데이터로부터 실제 객체에 대한 정보를 획득하는 정보 획득부, 3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 가상 공간 정보 생성부, 상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 연산부 및 상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 음향 합성부를 포함할 수 있다.A virtual sound synthesis apparatus according to an embodiment of the present invention includes an information acquisition unit for acquiring information on an actual object from image data, a virtual object generated by three-dimensionally modeling the real object in a three- (Sound source) radiated from a virtual sound source (sound source) located in the virtual space, a virtual space information generating unit for generating a virtual space in the virtual space based on the position and the shape of the virtual object And an acoustic synthesizer for synthesizing a sound that is expected to be sensed at a predetermined position in the virtual space based on a traveling path of the sound wave.

본 발명의 일 실시예에 따르면, 가상 현실과 증강 현실 등을 이용하여 구현된 가상 공간을 통해 청각적 컨텐츠를 사용자에게 제공함에 있어서, 상기 가상 공간 내의 객체 배치 및 청각적 컨텐츠의 청취 위치 등에 기초하여, 가상 음원으로부터 방사된 음파(音波)의 직진(直進) 및 반사(反射)가 고려된 음향 효과를 구현할 수 있다. 이를 통해, 보다 현실에 가까운 청각적 컨텐츠를 사용자에게 제공할 수 있으며, 사용자가 가상 공간을 마치 현실의 공간처럼 느끼도록 할 수 있다.According to an embodiment of the present invention, in providing auditory contents to a user through a virtual space implemented using a virtual reality and an augmented reality, , It is possible to realize a sound effect which considers straightness and reflection of a sound wave radiated from a virtual sound source. Accordingly, it is possible to provide auditory contents closer to reality to the user, and the user can make the virtual space feel like a real space.

도 1은 본 발명의 일 실시예에 따른 가상 음향 합성 방법에 대해 개념적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 음향 합성 방법에 이용될 수 있는 영상 데이터를 예시적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상 음향 합성 장치의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 가상 음향 합성 방법의 각 단계를 도시한 도면이다.
도 5 및 6은 본 발명의 일 실시예에 따른 가상 음향 합성 방법 중 가상 객체에 의한 음파의 반사에 대해 설명하기 위한 도면이다.1 is a conceptual diagram for explaining a virtual sound synthesis method according to an embodiment of the present invention.
2 is a diagram for explaining image data that can be used in a virtual sound synthesis method according to an embodiment of the present invention.
3 is a diagram illustrating a configuration of a virtual sound synthesizer according to an embodiment of the present invention.
4 is a diagram illustrating each step of a virtual sound synthesis method according to an embodiment of the present invention.
5 and 6 are views for explaining reflection of a sound wave by a virtual object in a virtual sound synthesis method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 가상 음향 합성 방법에 대해 개념적으로 설명하기 위한 도면이다. 도 1의 가상 공간(10)은 시각 혹은 청각을 통해 사용자가 인지할 수 있는 컨텐츠를 제공하기 위한 3차원의 가상적 공간일 수 있다. 가상 공간(10)의 사용자는 가상 공간(10) 내에 위치하는 가상 캐릭터(20)를 통해 이와 같은 컨텐츠를 제공받을 수 있다.1 is a conceptual diagram for explaining a virtual sound synthesis method according to an embodiment of the present invention. The virtual space 10 shown in FIG. 1 may be a three-dimensional virtual space for providing contents that the user can perceive through visual or auditory sense. The user of the virtual space 10 can receive such contents through the virtual character 20 located in the virtual space 10. [

가상 공간(10) 내에는 하나 이상의 가상 객체(30)가 위치할 수 있다. 예컨대, 도 1의 가상 공간(10)은 벽과 바닥, 천장으로 둘러싸인 방(房, room)일 수 있으며, 가상 객체(30)는 방 내에 비치된 가구 등의 사물일 수 있다. 또한, 가상 공간(10) 내의 소정 위치에는 가상 음원(40)이 위치하여 사용자에게 음악이나 음성 등의 청각적 컨텐츠를 제공할 수 있다.In the virtual space 10, one or more virtual objects 30 may be located. For example, the virtual space 10 of FIG. 1 may be a wall, a floor, or a room surrounded by a ceiling, and the virtual object 30 may be a thing, such as furniture, provided in a room. In addition, the virtual sound source 40 may be located at a predetermined position in the virtual space 10 to provide auditory contents such as music and voice to the user.

가상 음원(40)은 직진성(直進性)을 갖는 하나 이상의 음파를 가상 공간(10) 내에 방사(放射)할 수 있다. 비유하자면, 상기 가상 음원(40)에서 방사되는 각 음파는 광원(光源)으로부터 방사되는 각 광선속(光線束)에 대응된다고 볼 수 있다. 물론 이러한 음파는 실제의 음파가 아닌, 사용자가 청취할 청각적 컨텐츠를 전송하는 것으로 상정되는 가상의 음파이다.The virtual sound source 40 can radiate (radiate) one or more sound waves having a directivity into the virtual space 10. In other words, each sound wave emitted from the virtual sound source 40 corresponds to each light beam (light beam) emitted from a light source (light source). Of course, such a sound wave is not a real sound wave but a virtual sound wave assumed to transmit auditory contents to be heard by a user.

가상 캐릭터(20)의 위치, 즉 가상 음원(40)이 제공하는 청각적 컨텐츠의 청취 위치에 도달하는 음파 중에는, 가상 음원(40)과 가상 캐릭터(20)를 연결하는 직선 경로를 직진하여 상기 청취 위치에 도달하는 음파(41)가 있을 수 있다. 하지만 이와 달리, 가상 객체(30) 혹은 가상 공간(10)의 벽면에 반사됨으로써 상기 청취 위치에 도달하는 음파(42)도 있을 수 있다. 이와 같은 현상은 현실에서 일어나는 음파의 직진 및 반사를 가상 공간(10)에 반영한 결과라 할 수 있다.A sound path reaching the position of the virtual character 20, that is, the listening position of the auditory contents provided by the virtual sound source 40, is straightened to a straight line connecting the virtual sound source 40 and the virtual character 20, There may be a sound wave 41 reaching the position. Alternatively, however, there may be a sound wave 42 reaching the listening position by being reflected on the wall surface of the virtual object 30 or virtual space 10. Such a phenomenon can be said to be a result of reflecting the straight line and reflection of the sound wave occurring in the real world in the virtual space 10.

상기한 바와 같은 각 음파(41, 42)를 합성하여 사용자에게 들려줌으로써, 현실에 보다 가까운 실감나는 청각적 컨텐츠를 사용자에게 제공하는 것이 가능하다. 이 때, 가상 공간(10)의 형태 혹은 가상 객체(30)의 가상 공간(10) 내에서의 배치가 달라지거나, 가상 캐릭터(20)의 이동에 의해 청취 위치가 변화된 경우, 이를 반영하여 새롭게 합성된 음향을 사용자에게 제공할 필요가 있다. 일반화시켜 말하면, 가상 공간(10)의 형태, 가상 객체(30)의 배치 등에 기초하여 가상 음원(40)으로부터 방사되는 각 음파의 진행 경로를 계산하고, 상기 계산 결과에 기초하여 소정의 청취 위치에서 느껴질 음향 효과를 구현할 수 있다.By synthesizing the sound waves 41 and 42 as described above and letting them hear the sound, it is possible to provide realistic auditory contents closer to reality to the user. At this time, when the arrangement of the virtual space 10 or the placement of the virtual object 30 in the virtual space 10 is changed or the listening position is changed by the movement of the virtual character 20, It is necessary to provide the sound to the user. In general, a path of each sound wave radiated from the virtual sound source 40 is calculated on the basis of the form of the virtual space 10, the arrangement of the virtual objects 30, and the like. Based on the calculation result, It is possible to realize a sound effect to be felt.

가상 공간(10) 내에 배치될 가상 객체(30)는 순수한 가상 객체일 수도 있지만, 증강 현실에 의해 현실의 실제 객체가 증강되어 생성된 객체일 수도 있다. 예컨대, 사용자가 카메라(camera) 등의 촬영 장치를 통해 현실의 객체를 촬영한 경우, 아래의 도 3을 통해 설명할 가상 음향 합성 장치(100)는 상기 현실 객체를 3차원 모델링하여 가상 객체(30)를 생성하고, 생성된 가상 객체(30)를 가상 공간(10) 내에 배치할 수 있다.The virtual object 30 to be placed in the virtual space 10 may be a pure virtual object, but may be an object created by augmenting real objects. For example, when a user photographs a real object through a photographing device such as a camera, the virtual sound synthesizing apparatus 100, which will be described with reference to FIG. 3 below, models the real object three- ), And place the generated virtual object 30 in the virtual space 10. [

도 2는 본 발명의 일 실시예에 따른 가상 음향 합성 방법에 이용될 수 있는 영상 데이터를 예시적으로 설명하기 위한 도면이다. 전술한 실제 객체를 촬영한 영상은, 예컨대 도 2와 같이 깊이(depth) 정보를 갖는 영상(50)일 수 있다. 이러한 영상(50)은 뎁스 카메라(depth camera)를 통해 얻어질 수 있다.2 is a diagram for explaining image data that can be used in a virtual sound synthesis method according to an embodiment of the present invention. The image of the above-described actual object may be, for example, an image 50 having depth information as shown in FIG. This image 50 can be obtained through a depth camera.

도 3은 본 발명의 일 실시예에 따른 가상 음향 합성 장치의 구성을 도시한 도면이다. 본 발명의 일 실시예에 따른 가상 음향 합성 장치(100)는 정보 획득부(110), 가상 공간 정보 생성부(120), 연산부(130) 및 음향 합성부(140)를 포함할 수 있다. 단, 도 3의 가상 음향 합성 장치(100)는 본 발명의 일 실시예에 불과하므로, 도 3에 의해 본 발명의 사상이 제한 해석되는 것은 아니다.3 is a diagram illustrating a configuration of a virtual sound synthesizer according to an embodiment of the present invention. The virtual sound synthesis apparatus 100 according to an embodiment of the present invention includes an information acquisition unit 110, A virtual space information generation unit 120, an operation unit 130, and an audio synthesis unit 140. However, since the virtual sound synthesizer 100 of FIG. 3 is only an embodiment of the present invention, the concept of the present invention is not limited to FIG. 3.

정보 획득부(110)는 실제 객체를 촬영한 영상 데이터로부터 촬영된 실제 객체에 대한 정보를 획득할 수 있다. 영상 데이터는 도 2를 통해 설명한 바와 같이 깊이 정보를 갖는 영상(50)일 수 있으나, 반드시 이에 한정되는 것은 아니다. 상기 영상 데이터의 획득을 위해, 정보 획득부(110)는 뎁스 카메라 등의 영상 촬영 장치를 포함하여 구현될 수 있다. 혹은, 정보 획득부(110)는 가상 음향 합성 장치(100)와는 별개로 존재하는 영상 촬영 장치에 의해 촬영된 영상을 전송받을 수 있으며, 이 경우 정보 획득부(110)는 데이터의 수신을 위한 데이터 버스, 혹은 유/무선 통신 모듈을 통해 구현될 수 있다.The information acquisition unit 110 may acquire information on the actual object photographed from the image data of the actual object. The image data may be an image 50 having depth information as described with reference to FIG. 2, but the present invention is not limited thereto. In order to acquire the image data, the information obtaining unit 110 may be implemented by including a photographing apparatus such as a depth camera. Alternatively, the information obtaining unit 110 may receive the image photographed by the image photographing apparatus existing separately from the virtual sound synthesizing apparatus 100. In this case, the information obtaining unit 110 may obtain the data Bus, or wired / wireless communication module.

가상 공간 정보 생성부(120)는 3차원의 가상 공간(10) 내에, 영상 데이터에 의해 촬영된 실제 객체를 3차원 모델링하여 생성되는 가상 객체(30)를 위치시킬 수 있다. 이를 위해, 가상 공간 정보 생성부(120)는 가상 공간(10)을 생성할 수 있다. 또한, 가상 공간 정보 생성부(120)는 특정한 실제 객체의 영상이 획득될 경우 상기 영상으로부터 추출된 실제 객체의 정보를 이용하여 실제 객체에 대한 3차원 모델링을 수행함으로써 가상 객체(30)를 생성하고, 생성된 가상 객체(30)를 가상 공간(10)에 배치할 수 있다. 또한, 가상 공간 정보 생성부(120)는 가상 공간(10)의 소정 위치에 가상 음원(40)을 배치할 수도 있다. 이러한 가상 공간 정보 생성부(120)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 연산부(130) 및 음향 합성부(140)에 있어서도 같다.The virtual space information generation unit 120 may position the virtual object 30 generated by three-dimensionally modeling the actual object photographed by the image data in the three-dimensional virtual space 10. To this end, the virtual space information generation unit 120 may generate the virtual space 10. The virtual space information generation unit 120 generates a virtual object 30 by performing three-dimensional modeling on an actual object using the information of the actual object extracted from the image, when an image of a specific real object is acquired , And place the generated virtual object 30 in the virtual space 10. In addition, the virtual space information generation unit 120 may arrange the virtual sound source 40 at a predetermined position in the virtual space 10. [ The virtual space information generating unit 120 may be implemented by an arithmetic unit including a microprocessor and is similar to the arithmetic unit 130 and the sound synthesizing unit 140 to be described later.

연산부(130)는 가상 공간(10) 내의 가상 음원(40)으로부터 방사되는 하나 이상의 가상 음파에 대해, 가상 공간(10)의 구조, 가상 객체(30)의 위치 및 형상 등에 기초하여 상기 각 음파의 가상 공간(10) 내에서의 진행 경로를 결정할 수 있다. 상기 각 음파는 기본적으로 가상 음원(40)으로부터 방사되면 방사된 방향으로 직진하나, 직진 중 가상 객체(30)의 표면과 만나면 반사된 후 반사된 방향으로 재차 직진할 수 있다. 연산부(130)는 이와 같은 각 음파의 직진 및 반사를 고려하여 각 음파의 진행 경로를 결정할 수 있다.The calculation unit 130 calculates the position of the virtual object 30 based on the structure of the virtual space 10, the position and shape of the virtual object 30, and the like of each of the sound waves 40 radiated from the virtual sound source 40 in the virtual space 10. [ The progress path in the virtual space 10 can be determined. Each of the sound waves is radiated from the virtual sound source 40 when it is radiated from the virtual sound source 40. However, the sound waves may be reflected when they meet the surface of the virtual object 30 during straight traveling, The calculating unit 130 can determine the traveling path of each sound wave in consideration of the straightness and reflection of each sound wave.

음향 합성부(140)는 상기 결정된 각 음파의 진행 경로에 기초하여, 가상 공간(10) 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성할 수 있다. 즉, 음향 합성부(140)는 가상 음원(40)으로부터 방사되는 음파에 의해 가상 공간(10) 내의 가상 캐릭터(20)가 듣게 될 것으로 예상되는 소리를 생성할 수 있다. 더 나아가, 음향 합성부(140)는 사용자가 실제로 소리를 들을 수 있도록 합성된 소리를 재생할 수 있으며, 이 경우 스피커(speaker)와 같은 청각적 컨텐츠의 출력을 위한 하드웨어 장치를 포함하여 구현될 수 있다.The sound synthesizer 140 may synthesize sound that is expected to be sensed at a predetermined position in the virtual space 10 based on the determined path of the respective sound waves. That is, the sound synthesizer 140 can generate a sound that is expected to be heard by the virtual character 20 in the virtual space 10 by the sound waves radiated from the virtual sound source 40. Further, the sound synthesizer 140 can reproduce the synthesized sound so that the user can actually hear the sound, and in this case, can be implemented including a hardware device for outputting auditory contents such as a speaker .

도 4는 본 발명의 일 실시예에 따른 가상 음향 합성 방법의 각 단계를 도시한 도면이다. 도 4의 방법은 도 3을 참조하여 설명한 가상 음향 합성 장치(100)를 이용하여 수행될 수 있으며, 도 1 내지 3과 중복되는 부분에 대해서는 설명이 생략될 수 있다. 단, 도 4의 방법은 본 발명의 일 실시예에 불과하므로 도 4에 의해 본 발명의 사상이 제한 해석되는 것은 아니며, 도 4의 방법의 각 단계는 도 4에 제시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.4 is a diagram illustrating each step of a virtual sound synthesis method according to an embodiment of the present invention. The method of FIG. 4 can be performed using the virtual sound synthesizer 100 described with reference to FIG. 3, and a description of parts overlapping with those of FIGS. 1 to 3 may be omitted. However, since the method of FIG. 4 is only an embodiment of the present invention, the concept of the present invention is not limited to FIG. 4, and each step of the method of FIG. 4 is performed in a different order as shown in FIG. Of course.

우선, 정보 획득부(110)는 영상 데이터로부터 실제 객체의 정보를 획득할 수 있다(S110). 이어서, 가상 공간 정보 생성부(120)는 실제 객체로부터 생성된 가상 객체(30)를 가상 공간(10) 내에 배치할 수 있다(S120). 그리고 연산부(130)는 가상 음원(40)으로부터 방사되는 음파의 진행 경로를 결정할 수 있다(S130).First, the information obtaining unit 110 may obtain information of an actual object from the image data (S110). Then, the virtual space information generating unit 120 can arrange the virtual objects 30 generated from the actual objects in the virtual space 10 (S120). The operation unit 130 may determine the traveling path of the sound wave radiated from the virtual sound source 40 (S130).

이하에서는 상기 단계 S120 및 S130에 대해 보다 구체적으로 설명하도록 한다. 가상 공간 정보 생성부(120)는 영상 데이터로부터 실제 객체 정보를 추출할 때, 영상 데이터 내에서 실제 객체에 해당하는 부분에 대한 구획(segmentation)을 수행한 후, 상기 실제 객체를 모델링한 가상 객체(30)의 형상 및 가상 공간(10) 내에서의 위치를 결정할 수 있다. Hereinafter, steps S120 and S130 will be described in more detail. The virtual space information generation unit 120 performs segmentation of a portion corresponding to an actual object in the image data when extracting actual object information from the image data, 30 and the position in the virtual space 10 can be determined.

또한, 가상 공간 정보 생성부(120)는 상기 영상 데이터에 담긴 실제 객체의 형상에 관한 정보로부터 상기 실제 객체의 속성이 기 정해진 복수의 속성 중 어떤 속성에 해당되는지를 파악할 수 있다. 여기서 실제 객체의 속성이란, 예컨대 실제 객체의 종류(텔레비전, 소파, 장롱 등)가 될 수 있다. 가상 공간 정보 생성부(120)는 실제 객체와 동일한 속성을 실제 객체로부터 모델링된 가상 객체(30)에 대해서도 부여할 수 있다. 지금까지 서술한 바와 같은 가상 공간 정보 생성부(120)의 동작은, 예컨대 딥 러닝(deep learning) 기법을 이용하여 구현될 수 있다.The virtual space information generation unit 120 may determine which of a plurality of predetermined attributes the property of the real object corresponds to from the information about the shape of the actual object contained in the image data. Here, the attribute of the actual object may be, for example, the type of the actual object (television, sofa, dresser, etc.). The virtual space information generation unit 120 may assign the same attributes as the actual object to the virtual object 30 modeled from the actual object. The operation of the virtual space information generation unit 120 as described above can be implemented using, for example, a deep learning technique.

상기 가상 객체(30)의 위치 및 형상 등의 정보는 연산부(130)가 가상 음원(40)으로부터 방사되는 각 음파의 진행 경로를 결정하는 데 이용될 수 있다. 구체적으로, 연산부(130)는 직진하던 각 음파가 어느 지점에서 반사되는지, 반사가 된다면 어느 방향으로 반사되는지를 결정하는 데 상기 위치 및 형상에 관한 정보를 이용할 수 있다. The information such as the position and shape of the virtual object 30 can be used by the operation unit 130 to determine the traveling path of each sound wave radiated from the virtual sound source 40. Specifically, the calculation unit 130 can use information about the position and the shape to determine the direction in which each sound wave is reflected at which point, and in which direction the sound wave is reflected.

또한, 연산부(130)는 상기 음파의 진행 경로뿐 아니라, 상기 진행 경로 상의 임의의 위치에서의 음파의 세기(intensity)에 관한 정보도 산출할 수 있다. 현실 세계에서도 음파의 세기는 음원으로부터의 거리가 멀어질수록 감소하는 것을 참조하여, 연산부(130)는 소정의 감쇠율(減衰率)에 기초하여 음파의 진행에 따른 음파의 세기 변화에 대한 정보를 산출할 수 있다. In addition, the operation unit 130 can calculate not only the traveling path of the sound wave, but also information about the intensity of the sound wave at an arbitrary position on the traveling path. In the real world, referring to the fact that the intensity of the sound wave decreases as the distance from the sound source increases, the operation unit 130 calculates information on the intensity change of the sound wave due to the progress of the sound wave based on a predetermined attenuation factor can do.

아울러, 현실 세계에서는 반사 전과 반사 후의 음파의 세기가 다르다는 것 역시 알려져 있다. 이를 반영하여, 연산부(130)는 음파의 반사가 있을 때에 소정의 반사율(反射率) 및 반사 전의 음파의 세기에 기초하여 반사 후의 음파의 세기를 산출할 수 있다. 경우에 따라, 가상 객체(30)에 부딪힌 음파는 일반적인 반사 외에 반사 후 음파가 여러 방향으로 분산되는 산란(散亂)을 겪을 수도 있다. 이와 같은 산란도 반사의 일종이라 볼 수 있으며, 이와 같은 산란이 일어나도록 설정된 경우, 연산부(130)는 소정의 산란 정보에 기초하여 산란 후의 각 분산된 음파의 진행 경로 및 세기에 관한 정보를 산출할 수 있다.In addition, it is also known that in the real world, the intensity of the reflected waves differs from that of the reflected waves. In consideration of this, the calculating unit 130 can calculate the intensity of the reflected sound wave based on the predetermined reflectance (reflectance) and the intensity of the sound wave before reflection when the sound wave is reflected. In some cases, the sound waves hitting the virtual object 30 may experience scattering in which, besides general reflection, the sound waves are scattered in various directions after reflection. The scattering is also a kind of reflection. When the scattering is set to occur, the calculating unit 130 calculates information on the propagation path and intensity of each dispersed sound wave after scattering based on the predetermined scattering information .

한편, 상기 반사율은 가상 객체(30)의 속성에 따라 다를 수 있으므로, 연산부(130)는 반사의 원인이 된 가상 객체(30)의 속성에 대응되는 반사율을 상기 반사 후의 음파의 세기 산출에 이용할 수 있다. 이와 같은 반사율 및 전술한 감쇠율과 관련된 정보를 이용하여, 연산부(130)는 음파의 진행 경로 및 음파의 세기 변화에 대한 정보를 산출할 수 있다.Since the reflectivity may vary depending on the attributes of the virtual object 30, the operation unit 130 may use the reflectivity corresponding to the attribute of the virtual object 30, which is the cause of the reflection, to calculate the intensity of the reflected sound wave have. Using the information related to the reflectance and the above-described attenuation rate, the operation unit 130 can calculate information on the progress path of the sound wave and the intensity change of the sound wave.

이하에서는 도 5 및 6을 참조하여, 가상 객체(30)에 의해 반사된 음파의 반사 후 진행 경로를 산출하는 법에 대해 보다 상세히 설명하도록 한다. 도 5 및 6은 본 발명의 일 실시예에 따른 가상 음향 합성 방법 중 가상 객체에 의한 음파의 반사에 대해 설명하기 위한 도면이다. Hereinafter, a method of calculating a traveling path after reflection of a sound wave reflected by the virtual object 30 will be described in more detail with reference to FIGS. 5 and 6. FIG. 5 and 6 are views for explaining reflection of a sound wave by a virtual object in a virtual sound synthesis method according to an embodiment of the present invention.

우선 도 5를 참조하면, 가상 공간 정보 생성부(120)에 의해 복수의 폴리곤(polygon)으로 구획된 가상 객체(30)의 표면(60)을 확인할 수 있다. 즉, 가상 공간 정보 생성부(120)는 복수의 폴리곤을 포함하는 메쉬(mesh)를 이용하여 가상 객체(30)의 형상을 정의할 수 있다. 도 5의 예시에 의하면, 각 폴리곤은 삼각형 형상을 가짐을 볼 수 있다.Referring to FIG. 5, the virtual space information generation unit 120 can identify the surface 60 of the virtual object 30 partitioned by a plurality of polygons. That is, the virtual space information generation unit 120 can define the shape of the virtual object 30 using a mesh including a plurality of polygons. According to the example of FIG. 5, each polygon has a triangular shape.

연산부(130)는 도 5의 여러 폴리곤들 중, 가상 객체(30)로 입사되는 음파(63)와 교차하는 폴리곤(61)을 식별할 수 있다. 이와 같은 식별 동작은, 폴리곤을 포함하는 평면과 입사되는 음파(63)가 만나는 점이 해당 폴리곤 내부에 존재하는지 판단하는 동작을 각 폴리곤에 대해 수행함으로써 가능할 수 있다. 그리고 도 5에서 확인할 수 있는 바와 같이, 연산부(130)는 식별된 폴리곤(61)의 법선 벡터(normal vector, 62)를 기준으로 한 입사각(入射角, θi)과 반사각(反射角, θf)이 서로 동일하도록, 반사 후의 음파(64)의 진행 경로를 결정할 수 있다.The operation unit 130 can identify the polygon 61 that intersects the sound wave 63 incident on the virtual object 30 among the various polygons shown in FIG. Such an identifying operation may be possible by performing an operation for each polygon to determine whether or not the point at which the plane containing the polygon and the incident sound 63 meet exists within the corresponding polygon. 5, the calculation unit 130 calculates an angle of incidence (incident angle, θ i ) and an angle of reflection (a reflection angle, θ f ) based on the normal vector 62 of the identified polygon 61, Can be determined so that the propagation path of the sound wave 64 after reflection can be determined.

지금까지는 도 5를 참조하여, 메쉬를 이용하여 모델링된 가상 객체(30)에 의한 음파의 반사를 처리하는 실시예에 대해 서술하였다. 이하에서는 이와 달리, 메쉬를 생성하지 않고도 영상 데이터의 깊이 정보만을 이용하여 음파의 반사를 처리하는 실시예에 대해 도 6을 참조하여 설명하도록 한다.Up to now, an embodiment has been described with reference to FIG. 5 for processing reflection of a sound wave by the virtual object 30 modeled using a mesh. Hereinafter, an embodiment of processing reflection of a sound wave using only depth information of image data without generating a mesh will be described with reference to FIG.

도 6은 실제 객체를 촬영한, 깊이 정보를 포함하고 있는 영상(70)을 나타내고 있다. 가상 공간 정보 생성부(120)는 이와 같은 깊이 영상(70)을 이용하여, 촬영된 실제 객체에 대응되는 가상 객체(30)의 표면을 구현할 수 있다. 이를 위해 우선, 가상 공간 정보 생성부(120)는 가상 객체(30)의 표면을 복수의 영역(71)으로 분할할 수 있다. 도 6은 이해를 쉽게 하기 위해 상기 복수의 영역(71)으로 구획된 가상 객체(30)의 표면을 영상(70)의 대응되는 위치에 겹쳐 보이도록 한 것이다.FIG. 6 shows an image 70 that includes depth information, in which an actual object is photographed. The virtual space information generation unit 120 may implement the surface of the virtual object 30 corresponding to the photographed real object by using the depth image 70 as described above. To this end, the virtual space information generation unit 120 may divide the surface of the virtual object 30 into a plurality of areas 71. [ 6, the surface of the virtual object 30 partitioned by the plurality of regions 71 is superimposed on the corresponding position of the image 70 in order to facilitate understanding.

각 영역(71)은 저마다 복수의 기준점(72)을 포함할 수 있다. 즉, 이와 같은 복수의 기준점(72)은 가상 객체(30)의 표면에 위치한다고 볼 수 있으며, 가상 공간 정보 생성부(120)는 깊이 영상(70)의 각 화소(pixel)의 깊이 정보에 기초하여 각 기준점(72)의 가상 공간(10) 내에서의 위치를 결정할 수 있다. 즉, 각각의 기준점(72)은 저마다 하나씩 깊이 영상(70)의 각 화소에 대응될 수 있다.Each region 71 may include a plurality of reference points 72 each. That is, the plurality of reference points 72 may be located on the surface of the virtual object 30, and the virtual space information generation unit 120 may generate the virtual space information based on the depth information of each pixel of the depth image 70 So that the position of each reference point 72 in the virtual space 10 can be determined. That is, each reference point 72 may correspond to each pixel of the depth image 70 one by one.

이와 같은 상태에서, 가상 객체(30)의 표면에 대한 정보를 반영하여, 가상 객체(30)에 입사된 음파의 반사 경로를 계산하는 방법에 대해 설명하도록 한다. 우선 하나의 방법으로, 가상 공간(10) 내에서의 각 기준점(72)의 위치를 나타내는 좌표에 기초하여, 가상 객체(30)의 표면을 구성하는 곡면을 다항식(polynomial)을 이용하여 표현하는 방법을 들 수 있다. 즉, 가상 공간 정보 생성부(120)는 상기 각 기준점(72)을 지나는 곡면을 다항식을 이용해 근사하여 나타낼 수 있다. In this state, a method of calculating the reflection path of a sound wave incident on the virtual object 30 by reflecting information about the surface of the virtual object 30 will be described. A method of expressing a curved surface constituting the surface of the virtual object 30 by using a polynomial based on the coordinates indicating the position of each reference point 72 in the virtual space 10 . That is, the virtual space information generation unit 120 may approximate the curved surface passing through the reference points 72 by using a polynomial.

단, 가상 객체(30)의 표면을 구성하는 모든 기준점(72)을 지나는 곡면을 하나의 다항식으로 나타내고자 한다면 다항식의 차수가 지나치게 높아질 수 있으므로, 가상 공간 정보 생성부(120)는 각 영역(71)별로 서로 다른 다항식을 적용할 수 있다. 이 경우, 가상 공간 정보 생성부(120)는 특정한 하나의 영역(71)에 포함된 기준점(72)들만을 지나는 곡면을 나타내는 다항식을 구하는 과정을, 각 영역(71)에 대해 수행할 수 있다.However, if the curved surface passing through all the reference points 72 constituting the surface of the virtual object 30 is represented by one polynomial, the order of the polynomial may be excessively high. Therefore, ) Can be applied to different polynomials. In this case, the virtual space information generation unit 120 may perform a process of obtaining a polynomial expressing a curved surface passing through only the reference points 72 included in a specific region 71, for each region 71. [

이와 같이 다항식을 이용하여 표면을 나타낸 가상 객체(30)에 음파가 입사될 경우, 연산부(130)는 상기 입사된 음파의 경로와, 상기 가상 객체(30)를 이루는 곡면 간의 교점을 산출할 수 있다. 이와 같은 교점의 산출은 각 영역(71)을 이루는 다항식들을 이용하여 수행될 수 있으며, 구체적인 과정에 대해서는 통상의 기술자에게 용이한 것이므로 자세한 설명을 생략하도록 한다. 연산부(130)는 상기 입사된 음파가 상기 교점에서 반사되도록 하되, 상기 교점에서의 상기 곡면의 법선을 기준으로 한 입사각과 반사각이 서로 동일하도록 반사된 음파의 진행 경로를 결정할 수 있다.When a sound wave is incident on the virtual object 30 whose surface is represented by using a polynomial, the calculation unit 130 may calculate an intersection between the path of the incident sound wave and the curved surface forming the virtual object 30 . The calculation of such an intersection can be performed by using polynomials constituting each region 71, and a detailed process will be omitted for the sake of convenience to the ordinary technician. The calculating unit 130 may determine the traveling path of the reflected sound wave such that the incident sound wave is reflected at the intersection point so that the incident angle and the reflection angle based on the normal line of the curved surface at the intersection are equal to each other.

이하에서는 전술한 방법과 또 다른 방법에 대해 설명하도록 한다. 가상 객체(30)의 표면이 복수의 영역(71)으로 분할될 수 있음은 위에서 설명한 바와 같다. 이 때, 복수의 영역(71)에 수직한 방향, 즉 본래의 깊이 영상(70)에 수직한 방향과 동일한 방향을 시선의 방향으로 하여 가상 객체(30)를 바라볼 때, 상기 각 영역(71)을 구분하기 위한 격자는 시선의 방향과 수직한 기준 평면에 놓여 있다고 생각할 수 있다. Hereinafter, the above-described method and another method will be described. The surface of the virtual object 30 can be divided into a plurality of regions 71 as described above. At this time, when the virtual object 30 is viewed with the direction perpendicular to the plurality of regions 71, that is, the same direction as the direction perpendicular to the original depth image 70, ) Can be considered to lie in a reference plane perpendicular to the direction of the line of sight.

이 때, 임의의 한 영역(71)은 해당 영역 전체에서 동일한 깊이를 갖고 있다고 가정할 수 있다. 가상 공간 정보 생성부(120)는 이와 같은 특정 영역(71)의 깊이의 값을, 해당 특정 영역(71)에 속한 모든 기준점(72)의 깊이를 평균한 값과 같도록 설정할 수 있다. 이에 따라, 서로 다른 영역(70)끼리는 깊이가 다를 수 있다.At this time, it can be assumed that one arbitrary region 71 has the same depth in the entire region. The virtual space information generating unit 120 may set the depth value of the specific area 71 equal to a value obtained by averaging the depths of all the reference points 72 belonging to the specific area 71. [ Accordingly, the depths of the different regions 70 may be different.

상기 각 영역(71)의 깊이 값을 이용하여, 연산부(130)는 가상 객체(30)에 입사된 음파가 각 영역(71) 중 어떤 영역(71)과 만나는지를 구할 수 있으며, 더 나아가 상기 입사된 음파가 반사되는 점이 상기 기준 평면 상에서 어느 위치에 존재하는지도 구할 수 있다.Using the depth value of each of the regions 71, the calculation unit 130 can determine which region 71 of the region 71 the sound wave incident on the virtual object 30 meets, and further, It is possible to obtain a position at which a point at which a sound wave is reflected is present on the reference plane.

다음으로, 연산부(130)는 상기 반사되는 점에서의 법선을 구하고, 상기 법선에 대하여 입사각과 반사각이 동일하도록 반사된 음파의 진행 경로를 구할 수 있다. 상기 법선을 구하기 위해, 우선 도 6을 통해 설명된 각 기준점(72)들에서의 법선을 구할 수 있다. 각 기준점(72)에서의 법선은, 해당 기준점(72)의 깊이 값 및 인접한 기준점(72)의 깊이 값을 이용하여 구할 수 있다. 보다 구체적으로는 다음의 수학식 1 및 2를 참고하여 유한차분법(finite difference approximation)을 통해 구할 수 있다. Next, the operation unit 130 obtains the normal line at the reflected point, and finds the traveling path of the reflected sound wave so that the incident angle and the reflection angle are the same with respect to the normal line. In order to obtain the normal line, a normal line at each reference point 72 described with reference to FIG. 6 can be obtained. The normal line at each reference point 72 can be obtained by using the depth value of the reference point 72 and the depth value of the adjacent reference point 72. More specifically, it can be obtained through a finite difference approximation by referring to the following equations (1) and (2).

여기서 i와 j는 기준점(72)의 인덱스(index)를 나타내며, i는 상기 기준 평면에서의 x축 방향에서의 인덱스, j는 y축 방향에서의 인덱스를 각각 나타낼 수 있다. h는 기준 평면 상에서 서로 인접한 기준점(72) 간의 거리를, u는 특정 기준점(72)에서의 깊이의 값을 각각 나타낸다. 즉, ui,j는 (i, j)의 인덱스를 갖는 기준점(72)에서의 깊이의 값을 나타낸다. uxx(xi, yj) 및 uyy(xi, yj)는 (i, j)의 인덱스를 갖는 기준점(72)에서의 깊이의 2계 미분값을 나타내는데, uxx(xj, yj)는 x축 방향의, uyy(xj, yj)는 y축 방향의 2계 미분값을 각각 나타낸다.Here, i and j represent the index of the reference point 72, i represents an index in the x-axis direction in the reference plane, and j represents an index in the y-axis direction. h denotes the distance between the reference points 72 adjacent to each other on the reference plane, and u denotes the value of the depth at the specific reference point 72, respectively. That is, u i, j represents the depth value at the reference point 72 having the index of (i, j). u xx (x i, y j) and u yy (x i, y j) is to indicate the second-order differential value of the depth of the reference point (72) with the index of (i, j), u xx (x j, y j ) is the x-axis direction, and u yy (x j , y j ) is the second-order differential value in the y-axis direction.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

연산부(130)는 전술한 바와 같은 과정을 거쳐 각 기준점(72)들에서의 상기 수학식 1 및 2의 값을 구할 수 있으며, 이에 기초하여 각 기준점(72)들에서의 3차원 가상 공간(10)에서의 법선(보다 정확히는, 단위 길이를 갖는 법선 벡터)을 구할 수 있다. 그리고 연산부(130)는 반사가 이루어지는 점에 인접한(예컨대, 반사가 이루어지는 점으로부터 기 정해진 거리 내에 있는) 기준점(72)들에서의 법선을 이용하여(예컨대, 4개의 인접한 기준점(72) 각각에서의 법선 벡터를, 각 인접한 기준점(72)들로부터의 거리에 기초해 가중평균하여) 상기 반사되는 점에서의 법선을 구할 수 있으며, 이를 통해 반사된 후의 음파의 진행 경로를 결정할 수 있다.The operation unit 130 can obtain the values of the equations (1) and (2) at each reference point 72 through the process described above, and based on this, the three-dimensional virtual space 10 (More precisely, a normal vector having a unit length) in the above-described equation (1). The operator 130 may then use the normal at the reference points 72 adjacent to the point at which the reflection occurs (e.g., within a predetermined distance from the point at which reflection occurs) (e.g., at four adjacent reference points 72) The normal vector may be weighted averaged based on the distance from each adjacent reference point 72) to determine the normal of the reflected point and the path of the reflected sound after it is determined.

지금까지 설명한 바와 같이 각 음파의 진행 경로 및 진행에 따른 음파의 세기와 관련된 정보가 결정되고 나면, 음향 합성부(140)는 상기 결정된 정보에 기초하여 음향 합성을 수행할 수 있다(S140). 이 때, 음향 합성부(140)는 상기 합성된 가상 음향에 실제 음향을 부가하여 최종적인 음향을 사용자에게 출력할 수도 있다. 본 발명의 일 실시예에 의한 가상 음향 합성 방법의 전술한 일련의 단계들을 통해, 보다 현실에 가까운 청각적 컨텐츠를 사용자에게 제공할 수 있으며, 사용자가 가상 공간을 마치 현실의 공간처럼 느끼도록 할 수 있다.After the information related to the propagation path of each sound wave and the intensity of the sound wave due to the progress of the sound wave is determined as described above, the sound synthesis unit 140 may perform sound synthesis based on the determined information (S140). At this time, the sound synthesizer 140 may add actual sound to the synthesized virtual sound to output the final sound to the user. Through the above-described series of steps of the virtual sound synthesis method according to an embodiment of the present invention, it is possible to provide audiovisual contents closer to reality and to allow the user to feel the virtual space as if it is a real space have.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each step of the flowchart and each block of the block diagrams appended to the present invention may be performed by computer program instructions. These computer program instructions may be embedded in an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus, so that the instructions, performed through the encoding processor of a computer or other programmable data processing apparatus, Thereby creating means for performing the functions described in each step of the flowchart. These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible for the instructions stored in the block diagram to produce a manufacturing item containing instruction means for performing the functions described in each block or flowchart of the block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and changes may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as falling within the scope of the present invention.

본 발명의 일 실시예에 따르면, 가상 공간을 통해 청각적 컨텐츠를 사용자에게 제공함에 있어서, 상기 가상 공간 내의 객체 배치 및 청각적 컨텐츠의 청취 위치 등이 고려된 음향 효과를 구현할 수 있다. 이를 통해, 보다 현실에 가까운 청각적 컨텐츠를 사용자에게 제공할 수 있으며, 사용자가 가상 공간을 마치 현실의 공간처럼 느끼도록 할 수 있다.According to an embodiment of the present invention, in providing auditory contents to a user through a virtual space, a sound effect can be implemented in consideration of object placement in the virtual space and listening positions of auditory contents. Accordingly, it is possible to provide auditory contents closer to reality to the user, and the user can make the virtual space feel like a real space.

10: 가상 공간
20: 가상 캐릭터
30: 가상 객체
40: 가상 음원
50: 영상 데이터
100: 가상 음향 합성 장치
110: 정보 획득부
120: 가상 공간 정보 생성부
130: 연산부
140: 음향 합성부10: Virtual space
20: Virtual characters
30: Virtual objects
40: virtual sound source
50: image data
100: Virtual sound synthesizer
110: Information obtaining unit
120: Virtual space information generation unit
130:
140:

Claims (11)

영상 데이터로부터 실제 객체에 대한 정보를 획득하는 단계;
3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 단계;
상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 단계; 및
상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 단계를 포함하는
가상 음향 합성 방법.Obtaining information on an actual object from the image data;
Positioning a virtual object generated by three-dimensionally modeling the real object in a three-dimensional virtual space;
Determining, for at least one virtual sound wave (sound wave) emitted from a virtual sound source located in the virtual space, a traveling path of the sound wave in the virtual space based on the position and shape of the virtual object; And
Synthesizing a sound that is expected to be sensed at a predetermined position in the virtual space based on a traveling path of the sound wave
Virtual sound synthesis method. 제 1 항에 있어서,
상기 음파는, 상기 가상 공간 내에서 직진성(直進性)을 가지며, 상기 가상 객체의 표면과 만날 경우 반사되는
가상 음향 합성 방법.The method according to claim 1,
Wherein the sound waves have straightness in the virtual space and are reflected when they meet with the surface of the virtual object
Virtual sound synthesis method. 제 2 항에 있어서,
상기 가상 객체의 표면은, 복수의 폴리곤(polygon)에 의해 구획되며,
상기 진행 경로를 결정하는 단계는,
상기 폴리곤 중 상기 음파와 만나는 폴리곤을 식별하는 단계; 및
상기 음파가 상기 식별된 폴리곤에 의해 반사되도록 하되, 상기 식별된 폴리곤의 법선 벡터(normal vector)를 기준으로 한 입사각(入射角)과 반사각(反射角)이 서로 동일하도록 상기 음파의 진행 경로를 결정하는 단계를 포함하는
가상 음향 합성 방법.3. The method of claim 2,
The surface of the virtual object is partitioned by a plurality of polygons,
The method of claim 1,
Identifying a polygon in the polygon that meets the sound wave; And
(The incident angle) and the reflection angle (reflection angle) based on the normal vector of the identified polygon are equal to each other, so that the sound wave is reflected by the identified polygon ≪ / RTI >
Virtual sound synthesis method. 제 2 항에 있어서,
상기 가상 객체가, 기 정해진 복수의 속성 중 어떤 속성에 해당하는지 식별하는 단계; 및
상기 가상 객체의 속성에 대응되는 소정의 반사율(反射率)과, 상기 음파의 진행에 따른 소정의 감쇠율(減衰率)에 기초하여, 상기 진행 경로를 진행함에 따른 상기 음파의 세기 변화에 대한 정보를 획득하는 단계를 더 포함하며,
상기 합성하는 단계는, 상기 음파의 진행 경로 및 상기 음파의 세기 변화에 대한 정보에 기초하여 상기 예상되는 소리를 합성하는 단계를 포함하는
가상 음향 합성 방법.3. The method of claim 2,
Identifying which of a plurality of predetermined attributes the virtual object corresponds to; And
Information about a change in strength of the sound wave due to the progress of the progress path is calculated based on a predetermined reflectance (reflectance) corresponding to the attribute of the virtual object and a predetermined attenuation rate (decay rate) according to the progress of the sound wave Further comprising the steps of:
Wherein the synthesizing step includes synthesizing the expected sound based on information about a progress path of the sound wave and a change in intensity of the sound wave
Virtual sound synthesis method. 제 2 항에 있어서,
상기 위치시키는 단계는, 상기 영상 데이터의 각 화소(pixel)의 깊이(depth) 정보에 기초하여, 상기 가상 객체의 표면을 모델링하기 위한 복수 개의 점의 상기 가상 공간 내에서의 위치를 결정하는 단계를 포함하는
가상 음향 합성 방법.3. The method of claim 2,
Wherein the positioning includes determining a position within the virtual space of a plurality of points for modeling the surface of the virtual object based on depth information of each pixel of the image data Included
Virtual sound synthesis method. 제 5 항에 있어서,
상기 위치시키는 단계는, 상기 복수 개의 점의 위치를 나타내는 좌표에 기초하여, 상기 가상 객체의 표면을 구성하는 곡면을 다항식(polynomial)을 이용하여 표현하는 단계를 포함하는
가상 음향 합성 방법.6. The method of claim 5,
Wherein the positioning includes expressing a curved surface constituting the surface of the virtual object using a polynomial based on coordinates indicating the positions of the plurality of points
Virtual sound synthesis method. 제 6 항에 있어서,
상기 진행 경로를 결정하는 단계는,
상기 가상 객체로 입사되는 상기 음파의 경로와 상기 곡면 간의 교점을 상기 다항식을 이용하여 산출하는 단계; 및
상기 음파가 상기 교점에서 반사되도록 하되, 상기 곡면의 상기 교점에서의 법선을 기준으로 한 입사각과 반사각이 서로 동일하도록 상기 진행 경로를 결정하는 단계를 포함하는
가상 음향 합성 방법.The method according to claim 6,
The method of claim 1,
Calculating an intersection between the path of the sound wave incident on the virtual object and the curved surface using the polynomial equation; And
Determining the path of travel so that the sound waves are reflected at the intersection point such that an incident angle and a reflection angle with respect to a normal line at the intersection of the curved surface are equal to each other,
Virtual sound synthesis method. 제 5 항에 있어서,
상기 진행 경로를 결정하는 단계는,
상기 가상 객체로 입사되는 상기 음파의 경로와 상기 가상 객체의 표면 간의 교점에서의 법선을, 상기 복수 개의 점들 중 상기 교점으로부터 소정 거리 내에 존재하는 점들의 가상 공간 내에서의 위치에 기초하여 구하는 단계; 및
상기 음파가 상기 교점에서 반사되도록 하되, 상기 법선을 기준으로 한 입사각과 반사각이 서로 동일하도록 상기 진행 경로를 결정하는 단계를 포함하는
가상 음향 합성 방법.6. The method of claim 5,
The method of claim 1,
Obtaining a normal at an intersection between a path of the sound wave incident on the virtual object and a surface of the virtual object based on a position in a virtual space of points existing within a predetermined distance from the intersection among the plurality of points; And
Determining the path of travel so that the sound waves are reflected at the intersection, wherein an incidence angle and a reflection angle with respect to the normal line are equal to each other
Virtual sound synthesis method. 영상 데이터로부터 실제 객체에 대한 정보를 획득하는 정보 획득부;
3차원의 가상 공간 내에, 상기 실제 객체를 3차원 모델링하여 생성되는 가상 객체를 위치시키는 가상 공간 정보 생성부;
상기 가상 공간 내에 위치하는 가상 음원(音源)으로부터 방사되는 하나 이상의 가상 음파(音波)에 대해, 상기 가상 객체의 위치 및 형상에 기초하여 상기 음파의 상기 가상 공간 내에서의 진행 경로를 결정하는 연산부; 및
상기 음파의 진행 경로에 기초하여, 상기 가상 공간 내의 소정 위치에서 감지될 것으로 예상되는 소리를 합성하는 음향 합성부를 포함하는
가상 음향 합성 장치.An information obtaining unit for obtaining information on an actual object from the image data;
A virtual space information generation unit that positions a virtual object generated by three-dimensionally modeling the real object within a three-dimensional virtual space;
An operation unit for determining a traveling path of the sound wave in the virtual space based on a position and a shape of the virtual object for one or more virtual sound waves (sound waves) radiated from a virtual sound source located in the virtual space; And
And an acoustic synthesis unit for synthesizing a sound that is expected to be sensed at a predetermined position in the virtual space based on the traveling path of the sound wave
Virtual sound synthesizer. 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는, 컴퓨터 판독 가능 기록매체에 저장된 프로그램.9. A program stored on a computer-readable medium for performing the respective steps according to the method of any one of claims 1-8. 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.9. A computer-readable medium having stored thereon instructions for performing the respective steps according to the method recited in any one of claims 1 to 8.
KR1020170138567A 2017-10-24 2017-10-24 Apparatus and method for synthesizing virtual sound KR101975920B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170138567A KR101975920B1 (en) 2017-10-24 2017-10-24 Apparatus and method for synthesizing virtual sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170138567A KR101975920B1 (en) 2017-10-24 2017-10-24 Apparatus and method for synthesizing virtual sound

Publications (2)

Publication Number Publication Date
KR20190045696A true KR20190045696A (en) 2019-05-03
KR101975920B1 KR101975920B1 (en) 2019-05-09

Family

ID=66545522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170138567A KR101975920B1 (en) 2017-10-24 2017-10-24 Apparatus and method for synthesizing virtual sound

Country Status (1)

Country Link
KR (1) KR101975920B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523048B1 (en) * 2022-04-08 2023-04-18 조현석 Sound conversion system and method in virtual reality

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210123198A (en) 2020-04-02 2021-10-13 주식회사 제이렙 Argumented reality based simulation apparatus for integrated electrical and architectural acoustics
US11582571B2 (en) 2021-05-24 2023-02-14 International Business Machines Corporation Sound effect simulation by creating virtual reality obstacle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080124A (en) * 2003-09-02 2005-03-24 Japan Science & Technology Agency Real-time sound reproduction system
KR20130109615A (en) 2012-03-28 2013-10-08 삼성전자주식회사 Virtual sound producing method and apparatus for the same
US20160109284A1 (en) * 2013-03-18 2016-04-21 Aalborg Universitet Method and device for modelling room acoustic based on measured geometrical data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080124A (en) * 2003-09-02 2005-03-24 Japan Science & Technology Agency Real-time sound reproduction system
KR20130109615A (en) 2012-03-28 2013-10-08 삼성전자주식회사 Virtual sound producing method and apparatus for the same
US20160109284A1 (en) * 2013-03-18 2016-04-21 Aalborg Universitet Method and device for modelling room acoustic based on measured geometrical data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523048B1 (en) * 2022-04-08 2023-04-18 조현석 Sound conversion system and method in virtual reality
WO2023195830A1 (en) * 2022-04-08 2023-10-12 조현석 System and method for converting sound in virtual space

Also Published As

Publication number Publication date
KR101975920B1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN111095952B (en) 3D audio rendering using volumetric audio rendering and scripted audio detail levels
Schissler et al. Efficient HRTF-based spatial audio for area and volumetric sources
US20200302688A1 (en) Method and system for generating an image
JP3528284B2 (en) 3D sound system
CN113597777B (en) Audio processing
KR101975920B1 (en) Apparatus and method for synthesizing virtual sound
US10382881B2 (en) Audio system and method
KR101835675B1 (en) Apparatus for providing3d sound in augmmented reality environmentand method thereof
CN113711278A (en) Method and system for processing virtual 3D object surface interactions
KR102398850B1 (en) Sound control system that realizes 3D sound effects in augmented reality and virtual reality
EP2552130B1 (en) Method for sound signal processing, and computer program for implementing the method
JP2022041721A (en) Binaural signal generation device and program
Cowan et al. Interactive rate acoustical occlusion/diffraction modeling for 2D virtual environments & games
TWI797577B (en) Apparatus and method for rendering a sound scene comprising discretized curved surfaces
WO2015011471A2 (en) Acoustic spatial sensory aid
JP2001346300A (en) Simulated sound generator and method of generating simulated sound
Dias et al. 3D reconstruction and spatial auralization of the Painted Dolmen of Antelas
JP6086453B2 (en) Acoustic system and method for setting virtual sound source thereof
Cowan A graph-based real-time spatial sound framework
CN116421971A (en) Method and device for generating spatial audio signal, storage medium and electronic equipment
KR20200095766A (en) Device and method for simulation of the presence ofone or more sound sources in virtual positions inthree-dimensional acoustic space
TW202348048A (en) Diffraction modelling based on grid pathfinding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant