KR101408921B1 - 가상 현실 시스템의 음향 처리 장치 및 방법 - Google Patents

가상 현실 시스템의 음향 처리 장치 및 방법 Download PDF

Info

Publication number
KR101408921B1
KR101408921B1 KR1020080011160A KR20080011160A KR101408921B1 KR 101408921 B1 KR101408921 B1 KR 101408921B1 KR 1020080011160 A KR1020080011160 A KR 1020080011160A KR 20080011160 A KR20080011160 A KR 20080011160A KR 101408921 B1 KR101408921 B1 KR 101408921B1
Authority
KR
South Korea
Prior art keywords
sound
virtual reality
user
area
object selected
Prior art date
Application number
KR1020080011160A
Other languages
English (en)
Other versions
KR20090085326A (ko
Inventor
장석우
이근섭
강상기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080011160A priority Critical patent/KR101408921B1/ko
Publication of KR20090085326A publication Critical patent/KR20090085326A/ko
Application granted granted Critical
Publication of KR101408921B1 publication Critical patent/KR101408921B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 가상 현실 공간에 존재하는 체험자(캐릭터)의 사운드를 합성하기 위한 장치 및 방법에 관한 것으로, 가상 현실 공간을 다수의 영역으로 분할하고, 사운드 조절부에 의해 조절된 사운드를 합성하도록 처리하는 제어부와, 상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 상기 사운드 조절부를 포함하여 일반적인 가상 현실 시스템에서 발생할 수 있는 사용자의 숫자에 따라 늘어나는 연산량 문제를 해결할 수 있다.
가상 현실 시스템, 사운드 조절, 3D, 입체 사운드

Description

가상 현실 시스템의 음향 처리 장치 및 방법{APPARATUS AND METHOD FOR SOUND PROCESSING IN VITUAL REALITY SYSTEM}
본 발명은 3차원 가상 현실 시스템의 음향 처리 장치 및 방법에 관한 것으로, 가상 현실 공간에 존재하는 체험자(캐릭터)의 사운드를 합성하기 위한 장치 및 방법에 관한 것이다.
최근에는 실제 상황과 동일한 3차원 가상 현실에서 사용자가 실제로 생활하는 것처럼 체험하는 시뮬레이터의 필요성 증가에 따라 가상 현실 시스템이 개발되었다.
상기와 같은 가상 현실 시스템은 가상 현실 게임이나 3D 게임 등과 같이 높은 현실감을 필요로 하는 시스템에 적용할 수 있다.
상기 가상 현실 시스템은 가상으로 만든 공간에서 시각 청각 촉각 등 여러 감각을 현실처럼 느끼게 해주는 시스템으로써, 영상의 경우 모니터 장치 혹은 두부 장착 표시 장치(HMD ; Head Mounted Display)를 사용하여 3D로 가상 현실의 영상을 구현한다. 또한, 상기 가상 현실 시스템의 음향의 경우, 가상 위치를 표현하는 위치를 측정하는 기술(localization)을 사용한다.
상기와 같은 가상 현실 시스템의 음향 처리 방법은 사운드의 사실감을 느끼기 위하여 사운드를 발생하는 물체의 상대적인 위치, 주변 사물의 위치, 소리가 나고 있는 방향 등에 따라 소리의 도달 경로와 소리의 변화를 완전히 모델링하여 소리에 변화를 가하거나, 방향성을 나타내기 위해 사람이 소리의 방향성을 결정짓는 두 귀의 소리 차이가 나게 되는 경로를 모델링(HRTF)함으로써 사운드를 결정한다.
도 1인 일반적인 가상 현실 시스템의 음향 처리 과정을 도시한 도면이다.
도 1(a)는 가상 현실 시스템의 가상 현실 공간을 나타내는 도면이다.
상기 도 1(a)를 참조하면, 상기 가상 현실 시스템에는 가상 현실 시스템을 체험하고자 하는 사용자(Actor)(100)가 헬스 클럽에 간 상황을 일 예로 나타내는 도면이다.
상기 가상 현실 시스템에는 런닝머신 k개(103)와 상기 런닝머신(103)을 이용하는 j명(105)의 사람이 있으며 그 앞에는 TV n개(101)가 틀어져 있다. 상기 체험자(100)는 동행자(Company)1(120)을 바라보고 있으며 동행자(Company)2(110)는 상기 체험자(100)를 바라보고 있다.
도 1(b)는 상기 도 1(a)와 같은 가상 현실 시스템의 음향 처리 과정을 도시한 도면이다.
상기 도 1(b)와 같은 음향 처리 과정은 런닝 머신(103), TV(101), 사용 자(105) 등의 소리는 미리 저장된 배경 소리(134)로 나타내고 대화를 나누는 동행자 1(132), 2(136)의 목소리만 상기 체험자(130)에게 들리도록 처리한다. 상기와 같은 음향 처리 과정은 헬스 클럽 안에서는 항상 고정된 배경 소리밖에 들을 수 없고, 이는 고정된 시나리오 게임을 하듯이 현실감이 매우 떨어진다는 문제점을 야기시킨다.
도 1(c)는 상기 도 1(a)와 같은 가상 현실 시스템의 다른 음향 처리 과정을 도시한 도면이다.
상기 도 1(c)는 상기 도 1(b)와 같은 음향 처리 과정의 문제점을 해결하기 위한 방법으로 모든 객체(예 ; 런닝머신, 사용자, 동행자, TV)의 소리를 Localization 신호 처리 후 가상 위치에서 소리가 나도록 처리하는 방법을 나타낸다.
상기 도 1(c)와 같은 음향 처리 과정은 모든 객체의 소리(런닝머신(144)+TV(142)+동행자(146), (148))를 3D Localization 신호 처리(141)하여야 한다. 하지만, 상기와 같은 방법은 사용자의 숫자에 따라 연산량 또한 기하급수적으로 늘어난다는 문제점이 있다. 예를 들어 10명이 모여있는 가상 현실 세계를 예상할 경우 한명당 10가지 소리 소스를 localization하고 이러한 작업을 10명에 대해서 모두 해야 하므로 소리의 localization을 100번 해야 한다.
또한, 상기와 같은 작업을 음원 소스의 모든 원본 소리를 모든 사용자에게 전달하여 사용자 기기에서 신호처리를 통해 가상 현실을 구현하는 경우는 10명 사람의 소리를 모두 전송해야 하므로 전송할 데이터량이 소리가 나는 소스의 갯 수에 비례하여 많아진다. 이런 경우 수많은 군중이 모일 수 있는 현실감 높은 가상 현실과 같은 경우 소리의 데이터가 제약 없이 증가한다는 문제점이 있다.
따라서, 상기와 같은 문제점을 해결하기 위한 가상 현실 공간에 존재하는 체험자(캐릭터)의 사운드를 합성하기 위한 장치 및 방법이 요구된다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 도출된 것으로서, 본 발명의 목적은 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 합성(Mixing)하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 가상 현실 공간에 포함된 객체 가운데 사용자를 제외한 객체에 대한 사운드 소스는 가상 현실 서버로부터 제공받고 사용자에 대한 사운드 소스는 가상 현실 장치에서 생성하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 가상 현실 시스템에서 발생하는 사운드의 위치에 따라 상기 사운드의 크기 및 좌, 우 밸런스를 조절하기 위한 장치 및 방법을 제공함에 있다.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 가상 현실 장치의 음향 처리 방법은 가상 현실 공간을 시점에 따라 다수의 영역으로 분할하는 과정과, 상기 가상 현실 공간에 포함된 객체 가운데 사용자가 선택한 객체를 제외한 적어도 하나 이상의 객체에 대한 사운드 소스를 외부 서버로부터 수신하는 과정과, 상기 사용자가 선택한 객체의 주변 객체에서 사운드가 발생되면, 사운드를 발생시킨 객체들이 존재하는 영역을 확인하고, 상기 영역에 상응하는 조절 방식으로 발생된 사운드를 조절하는 과정과, 상기 영역에 상응하는 조절 방식으로 조절된 사운드와 상기 외부 서버로부터 수신한 사운드 소스를 믹싱하여 출력하는 과정을 포함한다.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 가상 현실 장치의 음향 처리 장치는 가상 현실 공간에 포함된 객체 가운데 사용자가 선택한 객체를 제외한 적어도 하나 이상의 객체에 대한 사운드 소스를 외부 서버로부터 수신하는 통신부와, 상기 통신부를 통해서 적어도 하나 이상의 객체에 대한 사운드 소스를 수신하도록 제어하고, 상기 가상 현실 공간을 시점에 따라 다수의 영역으로 분할하도록 처리하는 제어부와, 상기 사용자가 선택한 객체의 주변 객체에서 사운드가 발생되면, 사운드를 발생시킨 객체들이 존재하는 영역을 확인하여 상기 영역에 상응하는 조절 방식으로 발생된 사운드를 조절하고, 상기 영역에 상응하는 조절 방식으로 조절된 사운드와 상기 외부 서버로부터 수신한 사운드 소스를 믹싱하여 출력하는 사운드 조절부를 포함한다.
상술한 바와 같이 발생하는 사운드의 위치에 따라 상기 사운드의 크기 및 좌, 우 밸런스를 조절하기 위한 가상 현실 시스템을 통하여 타 사용자(다른 매체)의 사운드의 좌, 우 밸런스 조절과 사운드의 크기 줄임을 통해 사운드 객체가 아무리 많은 가상 현실에서도 현실감을 떨어뜨리지 않고 각 객체의 자유로운 변화를 반영하도록 처리할 수 있다. 또한, 본 발명에 따른 가상 현실 시스템의 음향 처리 장치는 일반적인 가상 현실 시스템에서 발생할 수 있는 사용자의 숫자에 따라 늘어나는 연산량 문제를 해결할 수 있다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 설명에서는 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 합성(Mixing)하기 위한 장치 및 방법에 관하여 설명할 것이다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 시스템의 구성을 도시한 블록도이다.
상기 도 2를 참조하면, 상기 가상 현실 시스템은 가상 현실 서버(200)와 가 상 현실 장치(210)를 포함하여 구성할 수 있다.
먼저, 상기 가상 현실 서버(200)는 제어부(204), 저장부(202) 및 통신부(206)를 포함하여 구성할 수 있으며, 상기 가상 현실 서버(200)의 제어부(204)는 가상 현실 서버(200)의 전반적인 동작을 제어하며, 본 발명에 따라 상기 제어부(204)는 상기 가상 현실 장치(210)로 제공하기 위한 사운드 소스를 믹싱하도록 처리한다. 다시 말해서, 상기 제어부(204)는 가상 현실 환경을 사용하고자 하는 사용자로부터 상기 사용자가 사용하고자 하는 가상 현실 캐릭터를 선택받은 후, 상기 저장부에 저장하고 있는 가상 현실 공간 안에 존재하는 객체 가운데 사용자를 제외한 객체(예; 물건, 동물)의 사운드 소스에 대한 정보를 확인하고, 상기 선택받은 가상 현실 캐릭터의 상대적 위치나 상황에 따라 사운드 소스를 믹싱하도록 처리한다. 즉, 상기 제어부(204)는 가상 현실 공간 안에 존재하는 사용자를 제외한 객체의 사운드 소스를 상기 가상 현실 캐릭터의 위치, 방향, 거리 등에 상응하도록 처리하는 것이다.
상기 저장부(204)는 사운드 소스에 대한 정보 다시 말해서, 가상 현실 공간 안에 존재하는 객체 가운데 사용자를 제외한 객체에 대한 사운드 소스에 대한 정보를 저장할 수 있다. 다시 말해서, 상기 저장부(204)에는 가상 현실 공간에 존재하는 사용자 외의 객체가 발생시킬 수 있는 사운드를 저장하는 것이다.
상기 통신부(206)는 상기 제어부(204)에 의해 믹싱된 사운드 소스를 상기 가상 현실 장치(210)로 전달하도록 처리한다.
상기 가상 현실 장치(210)는 통신부(212), 제어부(214) 및 사운드 조절부(216)를 포함하여 구성할 수 있다.
먼저, 상기 가상 현실 장치(210)의 제어부(214)는 상기 가상 현실 서버(200)로부터 수신한 믹싱 사운드와 상기 가상 현실 캐릭터 주변에 존재하는 다른 사용자의 사운드를 가상 현실 공간의 소리 영역에 따라 사운드 크기 조절 및 좌 우 밸런스 조절하여 믹싱하도록 처리한다. 여기에서, 상기 제어부(214)는 가상 현실 공간을 사용자의 시점에 따라 다수의 영역으로 분할하여 상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조절하도록 처리할 수 있다.
상기 사운드 조절부(216)는 상기 제어부(214)의 지시를 받아 가상 현실 공간의 소리 영역에 따라 즉, 상기 가상 현실 공간을 가상 현실 환경을 사용하고자 하는 사용자가 선택한 캐릭터가 집중할 수 있는 영역(Focus Area)에서 발생하는 사운드의 머리전달 함수(HRTF ; Head Related Transfer Function)를 확인하여 상기 발생하는 사운드의 정확한 위치의 소리를 생성한다.
또한, 상기 사운드 조절부(216)는 상기 제어부(214)의 지시를 받아 상기 가상 현실 공간의 소리 영역이 상기 캐릭터가 집중할 수 없는 영역에 발생하는 사운드의 크기 및 상기 사운드의 좌, 우 밸런스를 조절하도록 처리한다.
상기 통신부(212)는 상기 가상 현실 서버(200)에 의해 전달되는 상기 믹싱된 사운드 소스를 수신하도록 처리한다.
즉, 상기 가상 현실 장치(210)는 가상 공간 안에 존재하는 사용자에 의해 발생된 사운드를 영역에 따라 조절하여 가상 현실 서버(200)로부터 제공받은 객체의 사운드 소스에 믹싱하여 현실감이 높은 사운드를 생성하는 것이다.
이상은 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 합성(Mixing)하기 위한 장치에 관하여 설명하였고, 이하 설명에서는 본 발명의 바람직한 일 실시 예에 따른 상기 장치를 이용하여 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 합성(Mixing)하기 위한 방법에 관하여 설명할 것이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 가상 현실 서버의 동작 과정을 도시한 흐름도이다.
상기 도 3을 참조하면, 상기 가상 현실 서버(200)는 먼저 301단계에서 가상 현실 환경을 사용하고자 하는 사용자로부터 상기 사용자가 사용하고자 하는 가상 현실 캐릭터를 선택받은 후, 303단계로 진행하여 저장부에 기저장하고 있는 사운드 소스에 대한 정보 다시 말해서, 가상 현실 공간 안에 존재하는 객체(예; 물건, 동물 등)가 발생시킬 수 있는 사운드에 대한 정보를 확인한다.
이때, 상기 가상 현실 서버(200)는 가상 현실 공간 안에 존재하는 모든 객체 가운데 캐릭터(사용자)를 제외한 객체에 대한 사운드 소스를 확인하고, 가상 현실 공간에 포함된 캐릭터에서 발생된 사운드는 가상 현실 장치에서 생성하도록 할 수 있다.
이후, 상기 가상 현실 서버(200)는 305단계로 진행하여 상기 사운드 소스를 출력하기 위하여 상기 선택받은 캐릭터의 상대적 위치나 상황에 따라 사운드 소스를 믹싱하도록 처리한 후, 307단계로 진행하여 상기 믹싱한 사운드를 가상 현실 장치(210)로 전달하도록 처리한다.
이후, 상기 가상 현실 서버(200)는 본 알고리즘을 종료한다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 과정을 도시한 흐름도이다.
상기 도 4를 참조하면, 상기 가상 현실 장치(210)는 먼저 401단계에서 가상 현실 서버(200)로부터 믹싱 사운드를 수신한 후, 403단계로 진행하여 주변에 존재하는 다른 캐릭터의 사운드를 수집한다.
여기에서, 상기 가상 현실 서버(200)로부터 수신하는 믹싱 사운드는 사운드 소스를 출력하기 위하여 캐릭터의 상대적 위치나 상황에 따라 가상 현실 공간 안에 존재하는 캐릭터를 제외한 객체의 사운드 소스를 믹싱한 사운드를 말한다.
이후, 상기 가상 현실 장치(210)는 405단계로 진행하여 상기 가상 현실 서버(200)로부터 수신한 믹싱 사운드와 상기 가상 현실 장치(210) 주변에 존재하는 다른 캐릭터의 사운드를 믹싱한 후, 407단계로 진행하여 상기 믹싱한 사운드를 출력하도록 처리한다. 여기에서, 상기 믹싱 사운드와 상기 가상 현실 장치(210) 주변에 존재하는 다른 캐릭터의 사운드를 믹싱하는 과정인 상기 405단계의 과정은 하기 도 5에서 상세히 후술할 것이다.
이후, 상기 가상 현실 장치(210)는 본 알고리즘을 종료한다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 사운드 믹싱 과정을 도시한 흐름도이다.
상기 도 5를 참조하면, 상기 가상 현실 장치(210)는 먼저 501단계에서 가상 현실 공간을 확인한 후, 503단계로 진행하여 가상 현실 공간의 소리 영역을 분할하도록 처리한다.
즉, 상기 가상 현실 장치(210)는 상기 가상 현실 공간을 가상 현실 환경을 사용하고자 하는 사용자가 선택한 캐릭터가 집중할 수 있는 영역(Focus Area)과, 집중하지 못하는 영역(Un - Focus Area)으로 분할하도록 처리한다. 여기에서, 상기 캐릭터가 집중할 수 있는 영역은 상기 캐릭터의 시야 안에 있는 정면 공간 가운데 상기 캐릭터와 가까운 위치의 영역을 말하고, 상기 캐릭터가 집중할 수 없는 영역은 상기 캐릭터의 시야 안에 있는 정면 공간에 위치하지만 상기 캐릭터와 거리가 먼 영역과 상기 캐릭터의 시야 밖에 위치한 영역을 말한다.
이후, 상기 가상 현실 장치(210)는 505단계로 진행하여 상기 분할한 영역 가운데 캐릭터의 시야 안에 있는 공간에서 발생하는 사운드가 존재하는지 검사한다. 만일, 상기 캐릭터의 시야 안에 있는 공간에서 발생하는 사운드가 존재하지 않을 경우, 상기 가상 현실 장치(210)는 517단계로 진행하여 발생하는 사운드의 크기 즉 볼륨을 배경 소리(Background Sound)의 크기로 줄이도록 처리(Attenuation)한 후, 519단계로 진행하여 상기 사운드의 좌, 우 밸런스를 조절(Panning)하도록 처리한다.
한편, 상기 캐릭터의 시야 안에 있는 공간에서 발생하는 사운드가 존재함을 확인할 경우, 상기 가상 현실 장치(210)는 507단계로 진행하여 상기 발생하는 사운드가 상기 캐릭터의 시야 안의 가까운 곳에서 발생하는지 검사한다.
만일, 상기 사운드가 상기 캐릭터의 시야 안의 가까운 곳에서 발생하지 않음을 확인할 경우, 상기 가상 현실 장치(210)는 515단계로 진행하여 발생 사운드의 크기 즉 볼륨을 줄이도록 처리(Attenuation)한다. 즉, 상기 가상 현실 장치는 상기 캐릭터의 시야에 있지만 멀리 위치한 영역에서 발생하는 사운드에 대해서는 방향감이 적기 때문에 단순히 볼륨 크기만 줄이도록 처리(Attenuation)할 수 있다.
한편, 상기 사운드가 상기 캐릭터의 시야 안의 가까운 곳에서 발생함을 확인할 경우, 상기 가상 현실 장치는 509단계로 진행하여 음원과 머리와의 상대적 위치 관계에 따라 그 값이 다르다는 성질을 지니고 있는 머리전달 함수(HRTF ; Head Related Transfer Function)를 확인한 후, 511단계로 진행하여 상기 발생하는 사운드의 위치를 기준으로 한 소리를 생성한다. 즉, 상기 가상 현실 장치(210)는 주변에서 발생되는 사용자의 사운드를 사운드 발생 위치에 상응하도록 조절한 후, 조절된 사용자의 사운드를 가상 현실 서버로부터 수신한 객체의 사운드 소스와 믹싱하도록 처리한다.
즉, 상기 가상 현실 장치(210)는 하기 <표 1>과 같이 정의한 발생하는 사운드의 위치에 따라 상기 사운드의 크기 조절(Attenuation) 및 좌, 우 밸런스를 조 절(Panning)할 수 있다.
Front Left Right
Near Focused Un - Focused - Left Pan Un - Focused - Right Pan
Far Un - Focused Background Background
Company - in sight Focused
Company - out of sight Focused - Left Pan Focused - Right Pan
예를 들어, 상기 가상 현실 장치(210)가 캐릭터의 정면에 가까운 곳에서 발생하는 사운드를 확인할 경우, 캐릭터가 집중할 수 있는 영역(Focus Area)에서 상기 사운드가 발생한다고 판단하여 음원과 머리와의 상대적 위치 관계에 따라 그 값이 다르다는 성질을 지니고 있는 머리전달 함수를 사용하여 상기 발생하는 사운드의 정확한 위치의 소리를 생성하도록 처리하고, 상기 가상 현실 장치(210)가 캐릭터의 정면에 먼 곳에서 발생하는 사운드를 확인할 경우, 캐릭터가 집중할 수 없는 영역(Un - Focus Area)에서 상기 사운드가 발생한다고 판단하여 상기 발생하는 사운드의 크기를 줄이도록 처리할 수 있다.
또 다른 실시 예로, 상기 가상 현실 장치(210)가 캐릭터의 시야 밖에 먼 거리에 위치한 동행자에게는 사운드 크기의 조절과 사운드 좌, 우 밸런스를 조절하도록 처리할 수 있다.
상기 가상 현실 장치(210)는 상기와 같이 생성한 소리를 믹싱한 후, 본 알고리즘을 종료한다.
도 6은 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 공간의 소리 영역을 분할하는 과정을 도시한 도면이다.
상기 도 6을 참조하면, 상기 가상 현실 장치를 사용하고자 하는 캐릭터(600)는 정면에 위치한 동행자 1(620)을 바라보고 동행자 2(630), 3(640)은 상기 캐릭터(600)를 바라보고 있는 상황을 나타낸다.
상기 가상 현실 장치는 상기 가상 현실 공간을 상기 가상 현실 장치를 사용하고자 하는 캐릭터(600)가 집중할 수 있는 영역(Focus Area)과, 집중하지 못하는 영역(Un - Focus Area)으로 분할할 수 있다.
여기에서, 상기 캐릭터가 집중할 수 있는 영역은 상기 캐릭터(600)의 시야 안에 있는 정면 공간 가운데 상기 캐릭터(600)와 가까운 위치의 영역(603)을 말하고, 상기 캐릭터(600)가 집중할 수 없는 영역은 상기 캐릭터(600)의 시야 안에 있는 정면 공간에 위치하지만 상기 캐릭터(600)와 거리가 먼 영역(601)과 상기 캐릭터(600)의 시야 밖에 위치한 영역(605), (607), (609), (611)을 말한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1(a)는 가상 현실 시스템의 가상 현실 공간을 나타내는 도면,
도 1(b)는 상기 도 1(a)와 같은 가상 현실 시스템의 음향 처리 과정을 도시한 도면,
도 1(c)는 상기 도 1(a)와 같은 가상 현실 시스템의 다른 음향 처리 과정을 도시한 도면,
도 2는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 시스템의 구성을 도시한 블록도,
도 3은 본 발명의 바람직한 일 실시 예에 따른 가상 현실 서버의 동작 과정을 도시한 흐름도,
도 4는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 과정을 도시한 흐름도,
도 5는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 사운드 믹싱 과정을 도시한 흐름도 및,
도 6은 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 공간의 소리 영역을 분할하는 과정을 도시한 도면.

Claims (16)

  1. 가상 현실 장치의 음향 처리 방법에 있어서,
    가상 현실 공간을 시점에 따라 다수의 영역으로 분할하는 과정과,
    상기 가상 현실 공간에 포함된 객체 가운데 사용자가 선택한 객체를 제외한 적어도 하나 이상의 객체에 대한 사운드 소스를 외부 서버로부터 수신하는 과정과,
    상기 사용자가 선택한 객체의 주변 객체에서 사운드가 발생되면, 사운드를 발생시킨 객체들이 존재하는 영역을 확인하고, 상기 영역에 상응하는 조절 방식으로 발생된 사운드를 조절하는 과정과,
    상기 영역에 상응하는 조절 방식으로 조절된 사운드와 상기 외부 서버로부터 수신한 사운드 소스를 믹싱하여 출력하는 과정을 포함하는 방법.
  2. 제 1항에 있어서,
    상기 외부 서버로부터 수신하는 사운드 소스는 상기 가상 현실 공간에 포함된 객체 가운데 사용자가 선택한 객체를 제외한 객체에서 발생되는 사운드를 포함하고,
    상기 사용자가 선택한 객체의 주변 객체에서 발생되는 사운드는 상기 가상 현실 공간에 포함된 사용자가 선택한 객체에 의해서 발생되는 사운드를 포함하는 방법.
  3. 제 1항에 있어서,
    상기 가상 현실 공간을 시점에 따라 다수의 영역으로 분할하는 과정은,
    가상 현실 시스템을 사용하고자 하는 사용자가 선택한 객체를 기준으로 사용자가 집중할 수 있는 영역과 사용자가 집중할 수 없는 영역으로 구분하는 하는 과정을 포함하되,
    상기 사용자가 집중할 수 있는 영역은 사용자가 선택한 객체의 시야 안에 있는 정면 공간 가운데 사용자가 선택한 객체와 가까운 위치의 영역을 의미하고,
    상기 사용자가 집중할 수 없는 영역은 사용자가 선택한 객체의 시야 안에 있는 정면 공간에 위치하지만 사용자가 선택한 객체와 거리가 먼 영역과 사용자가 선택한 객체의 시야 밖에 위치한 영역을 의미하는 방법.
  4. 제 3항에 있어서,
    상기 사운드를 발생시킨 객체들이 존재하는 영역을 확인하고, 상기 영역에 상응하는 조절 방식으로 발생된 사운드를 조절하는 과정은,
    사용자가 집중할 수 있는 영역에서 발생된 사운드에 대하여 머리전달 함수(HRTF; Head Related Transfer Function)를 이용하여 사운드를 생성하는 과정을 포함하는 방법.
  5. 제 3항에 있어서,
    상기 사운드를 발생시킨 객체들이 존재하는 영역을 확인하고, 상기 영역에 상응하는 조절 방식으로 발생된 사운드를 조절하는 과정은,
    사용자가 집중할 수 없는 영역에서 발생된 사운드에 대하여 사운드의 크기를 조절하는 과정을 포함하는 방법.
  6. 제 3항에 있어서,
    상기 사운드를 발생시킨 객체들이 존재하는 영역을 확인하고, 상기 영역에 상응하는 조절 방식으로 발생된 사운드를 조절하는 과정은,
    사용자가 집중할 수 없는 영역에서 발생된 사운드에 대하여 사운드의 크기 및 밸런스를 조절하는 과정을 포함하는 방법.
  7. 제 1항에 있어서,
    상기 외부 서버로부터 수신하는 사운드 소스는,
    상기 가상 현실 장치의 위치, 거리, 방향 가운데 어느 하나를 기반으로 처리된 객체의 사운드를 포함하는 방법.
  8. 가상 현실 장치의 음향 처리 장치에 있어서,
    가상 현실 공간에 포함된 객체 가운데 사용자가 선택한 객체를 제외한 적어도 하나 이상의 객체에 대한 사운드 소스를 외부 서버로부터 수신하는 통신부와,
    상기 통신부를 통해서 적어도 하나 이상의 객체에 대한 사운드 소스를 수신하도록 제어하고, 상기 가상 현실 공간을 시점에 따라 다수의 영역으로 분할하도록 처리하는 제어부와,
    상기 사용자가 선택한 객체의 주변 객체에서 사운드가 발생되면, 사운드를 발생시킨 객체들이 존재하는 영역을 확인하여 상기 영역에 상응하는 조절 방식으로 발생된 사운드를 조절하고, 상기 영역에 상응하는 조절 방식으로 조절된 사운드와 상기 외부 서버로부터 수신한 사운드 소스를 믹싱하여 출력하는 사운드 조절부를 포함하는 장치.
  9. 제 8항에 있어서,
    상기 외부 서버로부터 수신하는 사운드 소스는 상기 가상 현실 공간에 포함된 객체 가운데 사용자가 선택한 객체를 제외한 객체에서 발생되는 사운드를 포함하고,
    상기 주변에서 발생되는 사운드는 상기 가상 현실 공간에 포함된 사용자가 선택한 객체에 의해서 발생되는 사운드를 포함하는 장치.
  10. 제 8항에 있어서,
    상기 제어부는,
    가상 현실 시스템을 사용하고자 하는 사용자가 선택한 객체를 기준으로 사용자가 집중할 수 있는 영역과 사용자가 집중할 수 없는 영역으로 구분하도록 처리하되,
    상기 사용자가 집중할 수 있는 영역은 사용자가 선택한 객체의 시야 안에 있는 정면 공간 가운데 사용자가 선택한 객체와 가까운 위치의 영역을 의미하고,
    상기 사용자가 집중할 수 없는 영역은 사용자가 선택한 객체의 시야 안에 있는 정면 공간에 위치하지만 사용자가 선택한 객체와 거리가 먼 영역과 사용자가 선택한 객체의 시야 밖에 위치한 영역을 의미하는 장치.
  11. 제 10항에 있어서,
    상기 사운드 조절부는,
    사용자가 집중할 수 있는 영역에서 발생된 사운드에 대하여 머리전달 함수(HRTF; Head Related Transfer Function)를 이용하여 사운드를 생성하도록 처리하는 장치.
  12. 제 10항에 있어서,
    상기 사운드 조절부는,
    사용자가 집중할 수 없는 영역에서 발생된 사운드에 대하여 사운드의 크기를 조절하도록 처리하는 장치.
  13. 제 10항에 있어서,
    상기 사운드 조절부는,
    사용자가 집중할 수 없는 영역에서 발생된 사운드에 대하여 사운드의 크기 및 밸런스를 조절하도록 처리하는 장치.
  14. 제 8항에 있어서,
    상기 외부 서버로부터 수신하는 사운드 소스는,
    상기 가상 현실 장치의 위치, 거리, 방향 가운데 어느 하나를 기반으로 처리된 객체의 사운드를 포함하는 장치.
  15. 삭제
  16. 삭제
KR1020080011160A 2008-02-04 2008-02-04 가상 현실 시스템의 음향 처리 장치 및 방법 KR101408921B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080011160A KR101408921B1 (ko) 2008-02-04 2008-02-04 가상 현실 시스템의 음향 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080011160A KR101408921B1 (ko) 2008-02-04 2008-02-04 가상 현실 시스템의 음향 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090085326A KR20090085326A (ko) 2009-08-07
KR101408921B1 true KR101408921B1 (ko) 2014-06-17

Family

ID=41205364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080011160A KR101408921B1 (ko) 2008-02-04 2008-02-04 가상 현실 시스템의 음향 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101408921B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520872B2 (en) 2008-08-14 2013-08-27 Samsung Electronics Co., Ltd. Apparatus and method for sound processing in a virtual reality system
WO2014178480A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법
EP3370133B1 (en) * 2017-03-02 2023-10-18 Nokia Technologies Oy Audio processing
KR102602753B1 (ko) * 2021-10-13 2023-11-15 주식회사 인필 사용자 심리 상태에 적합한 컬러 정보 기반의 vr 심리 개선 프로그램 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254167A (ja) * 2005-03-11 2006-09-21 Hitachi Ltd 音声会議システム、会議端末および音声サーバ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254167A (ja) * 2005-03-11 2006-09-21 Hitachi Ltd 音声会議システム、会議端末および音声サーバ

Also Published As

Publication number Publication date
KR20090085326A (ko) 2009-08-07

Similar Documents

Publication Publication Date Title
US11350071B2 (en) Augmented reality based user interfacing
CN108701371B (zh) 用于提供虚拟现实输出和增强现实输出的方法和装置
US11450071B2 (en) Adapting acoustic rendering to image-based object
US7812815B2 (en) Compact haptic and augmented virtual reality system
US7907167B2 (en) Three dimensional horizontal perspective workstation
US20050275913A1 (en) Binaural horizontal perspective hands-on simulator
Larsson et al. The actor-observer effect in virtual reality presentations
KR20220062513A (ko) 복수의 물리적 참가자들을 갖는 환경들에서의 가상 컨텐츠의 배치
CN112602053B (zh) 音频装置和音频处理的方法
US10493360B2 (en) Image display device and image display system
JP2019175323A (ja) シミュレーションシステム及びプログラム
EP3595337A1 (en) Audio apparatus and method of audio processing
KR101408921B1 (ko) 가상 현실 시스템의 음향 처리 장치 및 방법
CN109996060B (zh) 一种虚拟现实影院系统及信息处理方法
KR102190072B1 (ko) 콘텐츠 발견
CN115428420A (zh) 用于提供增强现实交互的设备和方法
Rund Audio Pointer V2-Joystick & Camera in MATLAB
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
Whitton et al. SECTION PERSPECTIVE

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 5