KR20090085326A - 가상 현실 시스템의 음향 처리 장치 및 방법 - Google Patents

가상 현실 시스템의 음향 처리 장치 및 방법 Download PDF

Info

Publication number
KR20090085326A
KR20090085326A KR1020080011160A KR20080011160A KR20090085326A KR 20090085326 A KR20090085326 A KR 20090085326A KR 1020080011160 A KR1020080011160 A KR 1020080011160A KR 20080011160 A KR20080011160 A KR 20080011160A KR 20090085326 A KR20090085326 A KR 20090085326A
Authority
KR
South Korea
Prior art keywords
sound
user
virtual reality
generated
area
Prior art date
Application number
KR1020080011160A
Other languages
English (en)
Other versions
KR101408921B1 (ko
Inventor
장석우
이근섭
강상기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080011160A priority Critical patent/KR101408921B1/ko
Publication of KR20090085326A publication Critical patent/KR20090085326A/ko
Application granted granted Critical
Publication of KR101408921B1 publication Critical patent/KR101408921B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

본 발명은 가상 현실 공간에 존재하는 체험자(캐릭터)의 사운드를 합성하기 위한 장치 및 방법에 관한 것으로, 가상 현실 공간을 다수의 영역으로 분할하고, 사운드 조절부에 의해 조절된 사운드를 합성하도록 처리하는 제어부와, 상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 상기 사운드 조절부를 포함하여 일반적인 가상 현실 시스템에서 발생할 수 있는 사용자의 숫자에 따라 늘어나는 연산량 문제를 해결할 수 있다.
가상 현실 시스템, 사운드 조절, 3D, 입체 사운드

Description

가상 현실 시스템의 음향 처리 장치 및 방법{APPARATUS AND METHOD FOR SOUND PROCESSING IN VITUAL REALITY SYSTEM}
본 발명은 3차원 가상 현실 시스템의 음향 처리 장치 및 방법에 관한 것으로, 가상 현실 공간에 존재하는 체험자(캐릭터)의 사운드를 합성하기 위한 장치 및 방법에 관한 것이다.
최근에는 실제 상황과 동일한 3차원 가상 현실에서 사용자가 실제로 생활하는 것처럼 체험하는 시뮬레이터의 필요성 증가에 따라 가상 현실 시스템이 개발되었다.
상기와 같은 가상 현실 시스템은 가상 현실 게임이나 3D 게임 등과 같이 높은 현실감을 필요로 하는 시스템에 적용할 수 있다.
상기 가상 현실 시스템은 가상으로 만든 공간에서 시각 청각 촉각 등 여러 감각을 현실처럼 느끼게 해주는 시스템으로써, 영상의 경우 모니터 장치 혹은 두부 장착 표시 장치(HMD ; Head Mounted Display)를 사용하여 3D로 가상 현실의 영상을 구현한다. 또한, 상기 가상 현실 시스템의 음향의 경우, 가상 위치를 표현하는 위치를 측정하는 기술(localization)을 사용한다.
상기와 같은 가상 현실 시스템의 음향 처리 방법은 사운드의 사실감을 느끼기 위하여 사운드를 발생하는 물체의 상대적인 위치, 주변 사물의 위치, 소리가 나고 있는 방향 등에 따라 소리의 도달 경로와 소리의 변화를 완전히 모델링하여 소리에 변화를 가하거나, 방향성을 나타내기 위해 사람이 소리의 방향성을 결정짓는 두 귀의 소리 차이가 나게 되는 경로를 모델링(HRTF)함으로써 사운드를 결정한다.
도 1인 일반적인 가상 현실 시스템의 음향 처리 과정을 도시한 도면이다.
도 1(a)는 가상 현실 시스템의 가상 현실 공간을 나타내는 도면이다.
상기 도 1(a)를 참조하면, 상기 가상 현실 시스템에는 가상 현실 시스템을 체험하고자 하는 사용자(Actor)(100)가 헬스 클럽에 간 상황을 일 예로 나타내는 도면이다.
상기 가상 현실 시스템에는 런닝머신 k개(103)와 상기 런닝머신(103)을 이용하는 j명(105)의 사람이 있으며 그 앞에는 TV n개(101)가 틀어져 있다. 상기 체험자(100)는 동행자(Company)1(120)을 바라보고 있으며 동행자(Company)2(110)는 상기 체험자(100)를 바라보고 있다.
도 1(b)는 상기 도 1(a)와 같은 가상 현실 시스템의 음향 처리 과정을 도시한 도면이다.
상기 도 1(b)와 같은 음향 처리 과정은 런닝 머신(103), TV(101), 사용 자(105) 등의 소리는 미리 저장된 배경 소리(134)로 나타내고 대화를 나누는 동행자 1(132), 2(136)의 목소리만 상기 체험자(130)에게 들리도록 처리한다. 상기와 같은 음향 처리 과정은 헬스 클럽 안에서는 항상 고정된 배경 소리밖에 들을 수 없고, 이는 고정된 시나리오 게임을 하듯이 현실감이 매우 떨어진다는 문제점을 야기시킨다.
도 1(c)는 상기 도 1(a)와 같은 가상 현실 시스템의 다른 음향 처리 과정을 도시한 도면이다.
상기 도 1(c)는 상기 도 1(b)와 같은 음향 처리 과정의 문제점을 해결하기 위한 방법으로 모든 객체(예 ; 런닝머신, 사용자, 동행자, TV)의 소리를 Localization 신호 처리 후 가상 위치에서 소리가 나도록 처리하는 방법을 나타낸다.
상기 도 1(c)와 같은 음향 처리 과정은 모든 객체의 소리(런닝머신(144)+TV(142)+동행자(146), (148))를 3D Localization 신호 처리(141)하여야 한다. 하지만, 상기와 같은 방법은 사용자의 숫자에 따라 연산량 또한 기하급수적으로 늘어난다는 문제점이 있다. 예를 들어 10명이 모여있는 가상 현실 세계를 예상할 경우 한명당 10가지 소리 소스를 localization하고 이러한 작업을 10명에 대해서 모두 해야 하므로 소리의 localization을 100번 해야 한다.
또한, 상기와 같은 작업을 음원 소스의 모든 원본 소리를 모든 사용자에게 전달하여 사용자 기기에서 신호처리를 통해 가상 현실을 구현하는 경우는 10명 사람의 소리를 모두 전송해야 하므로 전송할 데이터량이 소리가 나는 소스의 갯 수에 비례하여 많아진다. 이런 경우 수많은 군중이 모일 수 있는 현실감 높은 가상 현실과 같은 경우 소리의 데이터가 제약 없이 증가한다는 문제점이 있다.
따라서, 상기와 같은 문제점을 해결하기 위한 가상 현실 공간에 존재하는 체험자(캐릭터)의 사운드를 합성하기 위한 장치 및 방법이 요구된다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 도출된 것으로서, 본 발명의 목적은 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 합성(Mixing)하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 가상 현실 시스템에서 발생하는 사운드의 위치에 따라 상기 사운드의 크기 및 좌, 우 밸런스를 조절하기 위한 장치 및 방법을 제공함에 있다.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 가상 현실 시스템의 음향 처리 장치는 가상 현실 공간을 다수의 영역으로 분할하고, 사운드 조절부에 의해 조절된 사운드를 합성하도록 처리하는 제어부와, 상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 상기 사운드 조절부를 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 가상 현실 시스템의 음향 처리 방법은 가상 현실 공간을 다수의 영역으로 분할하는 과정과, 상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 과정과, 상기 조정한 사운드들을 합성하는 과정을 포함하는 것을 특징으로 한다.
상술한 바와 같이 발생하는 사운드의 위치에 따라 상기 사운드의 크기 및 좌, 우 밸런스를 조절하기 위한 가상 현실 시스템을 통하여 타 사용자(다른 매체)의 사운드의 좌, 우 밸런스 조절과 사운드의 크기 줄임을 통해 사운드 객체가 아무리 많은 가상 현실에서도 현실감을 떨어뜨리지 않고 각 객체의 자유로운 변화를 반영하도록 처리할 수 있다. 또한, 본 발명에 따른 가상 현실 시스템의 음향 처리 장치는 일반적인 가상 현실 시스템에서 발생할 수 있는 사용자의 숫자에 따라 늘어나는 연산량 문제를 해결할 수 있다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 설명에서는 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 합성(Mixing)하기 위한 장치 및 방법에 관하여 설명할 것이다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 시스템의 구성을 도시한 블록도이다.
상기 도 2를 참조하면, 상기 가상 현실 시스템은 가상 현실 서버(200)와 가 상 현실 장치(210)를 포함하여 구성할 수 있다.
먼저, 상기 가상 현실 서버(200)는 제어부(204), 저장부(202) 및 통신부(206)를 포함하여 구성할 수 있으며, 상기 가상 현실 서버(200)의 제어부(204)는 가상 현실 서버(200)의 전반적인 동작을 제어하며, 본 발명에 따라 상기 제어부(204)는 상기 가상 현실 장치(210)로 제공하기 위한 사운드 소스를 믹싱하도록 처리한다. 다시 말해서, 상기 제어부(204)는 가상 현실 환경을 사용하고자 하는 사용자로부터 상기 사용자가 사용하고자 하는 가상 현실 캐릭터를 선택받은 후, 상기 저장부에 기저장하고 있는 가상 현실 공간 안에 존재하는 사용자 캐릭터를 제외한 물건이나 인물 등의 사운드 소스에 대한 정보를 확인하고, 상기 선택받은 캐릭터의 상대적 위치나 상황에 따른 사운드 소스를 믹싱하도록 처리한다.
상기 저장부(204)는 사운드 소스에 대한 정보 다시 말해서, 가상 현실 공간 안에 존재하는 사용자 캐릭터를 제외한 물건이나 인물 등의 사운드 소스에 대한 정보를 기저장한다.
상기 통신부(206)는 상기 제어부(204)에 의해 믹싱된 사운드 소스를 상기 가상 현실 장치(210)로 전달하도록 처리한다.
상기 가상 현실 장치(210)는 통신부(212), 제어부(214) 및 사운드 조절부(216)를 포함하여 구성할 수 있다.
먼저, 상기 가상 현실 장치(210)의 제어부(214)는 상기 가상 현실 서버(200)로부터 수신한 믹싱 사운드와 상기 주변에 존재하는 다른 캐릭터의 사운드를 가상 현실 공간의 소리 영역에 따라 사운드 크기 조절 및 좌 우 밸런스 조절하여 믹싱하 도록 처리한다. 여기에서, 상기 제어부(214)는 가상 현실 공간을 다수의 영역으로 분할하여 상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조절하도록 처리할 수 있다.
상기 사운드 조절부(216)는 상기 제어부(214)의 지시를 받아 가상 현실 공간의 소리 영역에 따라 즉, 상기 가상 현실 공간을 가상 현실 환경을 사용하고자 하는 사용자가 선택한 캐릭터가 집중할 수 있는 영역(Focus Area)에서 발생하는 사운드의 머리전달 함수(HRTF ; Head Related Transfer Function)를 확인하여 상기 발생하는 사운드의 정확한 위치의 소리를 생성한다.
또한, 상기 사운드 조절부(216)는 상기 제어부(214)의 지시를 받아 상기 가상 현실 공간의 소리 영역이 상기 캐릭터가 집중할 수 없는 영역에 발생하는 사운드의 크기 및 상기 사운드의 좌, 우 밸런스를 조절하도록 처리한다.
상기 통신부(212)는 상기 가상 현실 서버(200)에 의해 전달되는 상기 믹싱된 사운드 소스를 수신하도록 처리한다.
이상은 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 합성(Mixing)하기 위한 장치에 관하여 설명하였고, 이하 설명에서는 본 발명의 바람직한 일 실시 예에 따른 상기 장치를 이용하여 가상 현실 시스템에서 모든 객체의 사운드를 현실감 있게 합성(Mixing)하기 위한 방법에 관하여 설명할 것이다.
도 3은 본 발명의 바람직한 일 실시 예에 따른 가상 현실 서버의 동작 과정을 도시한 흐름도이다.
상기 도 3을 참조하면, 상기 가상 현실 서버(200)는 먼저 301단계에서 가상 현실 환경을 사용하고자 하는 사용자로부터 상기 사용자가 사용하고자 하는 가상 현실 캐릭터를 선택받은 후, 303단계로 진행하여 저장부에 기저장하고 있는 사운드 소스에 대한 정보 다시 말해서, 가상 현실 공간 안에 존재하는 사용자 캐릭터를 제외한 물건이나 인물 등의 사운드 소스에 대한 정보를 확인한다.
이후, 상기 가상 현실 서버(200)는 305단계로 진행하여 상기 사운드 소스를 출력하기 위하여 상기 선택받은 캐릭터의 상대적 위치나 상황에 따른 사운드 소스를 믹싱하도록 처리한 후, 307단계로 진행하여 상기 믹싱한 사운드를 가상 현실 장치(210)로 전달하도록 처리한다.
이후, 상기 가상 현실 서버(200)는 본 알고리즘을 종료한다.
도 4는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 과정을 도시한 흐름도이다.
상기 도 4를 참조하면, 상기 가상 현실 장치(210)는 먼저 401단계에서 가상 현실 서버(200)로부터 믹싱 사운드를 수신한 후, 403단계로 진행하여 주변에 존재하는 다른 캐릭터의 사운드를 수집한다.
여기에서, 상기 가상 현실 서버(200)로부터 수신하는 믹싱 사운드는 사운드 소스를 출력하기 위하여 상기 캐릭터의 상대적 위치나 상황에 따른 사운드 소스를 믹싱한 사운드를 말한다.
이후, 상기 가상 현실 장치(210)는 405단계로 진행하여 상기 가상 현실 서 버(200)로부터 수신한 믹싱 사운드와 상기 주변에 존재하는 다른 캐릭터의 사운드를 믹싱한 후, 407단계로 진행하여 상기 믹싱한 사운드를 출력하도록 처리한다. 여기에서, 상기 믹싱 사운드와 상기 주변에 존재하는 다른 캐릭터의 사운드를 믹싱하는 과정인 상기 405단계의 과정은 하기 도 5에서 상세히 후술할 것이다.
이후, 상기 가상 현실 장치(210)는 본 알고리즘을 종료한다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 사운드 믹싱 과정을 도시한 흐름도이다.
상기 도 5를 참조하면, 상기 가상 현실 장치(210)는 먼저 501단계에서 가상 현실 공간을 확인한 후, 503단계로 진행하여 가상 현실 공간의 소리 영역을 분할하도록 처리한다.
즉, 상기 가상 현실 장치(210)는 상기 가상 현실 공간을 가상 현실 환경을 사용하고자 하는 사용자가 선택한 캐릭터가 집중할 수 있는 영역(Focus Area)과, 집중하지 못하는 영역(Un - Focus Area)으로 분할하도록 처리한다. 여기에서, 상기 캐릭터가 집중할 수 있는 영역은 상기 캐릭터의 시야 안에 있는 정면 공간 가운데 상기 캐릭터와 가까운 위치의 영역을 말하고, 상기 캐릭터가 집중할 수 없는 영역은 상기 캐릭터의 시야 안에 있는 정면 공간에 위치하지만 상기 캐릭터와 거리가 먼 영역과 상기 캐릭터의 시야 밖에 위치한 영역을 말한다.
이후, 상기 가상 현실 장치(210)는 505단계로 진행하여 상기 분할한 영역 가운데 캐릭터의 시야 안에 있는 공간에서 발생하는 사운드가 존재하는지 검사한다. 만일, 상기 캐릭터의 시야 안에 있는 공간에서 발생하는 사운드가 존재하지 않을 경우, 상기 가상 현실 장치(210)는 517단계로 진행하여 발생하는 사운드의 크기 즉 볼륨을 배경 소리(Background Sound)의 크기로 줄이도록 처리(Attenuation)한 후, 519단계로 진행하여 상기 사운드의 좌, 우 밸런스를 조절(Panning)하도록 처리한다.
한편, 상기 캐릭터의 시야 안에 있는 공간에서 발생하는 사운드가 존재함을 확인할 경우, 상기 가상 현실 장치(210)는 507단계로 진행하여 상기 발생하는 사운드가 상기 캐릭터의 시야 안의 가까운 곳에서 발생하는지 검사한다.
만일, 상기 사운드가 상기 캐릭터의 시야 안의 가까운 곳에서 발생하지 않음을 확인할 경우, 상기 가상 현실 장치(210)는 515단계로 진행하여 발생 사운드의 크기 즉 볼륨을 줄이도록 처리(Attenuation)한다. 즉, 상기 가상 현실 장치는 상기 캐릭터의 시야에 있지만 멀리 위치한 영역에서 발생하는 사운드에 대해서는 방향감이 적기 때문에 단순히 볼륨 크기만 줄이도록 처리(Attenuation)할 수 있다.
한편, 상기 사운드가 상기 캐릭터의 시야 안의 가까운 곳에서 발생함을 확인할 경우, 상기 가상 현실 장치는 509단계로 진행하여 음원과 머리와의 상대적 위치 관계에 따라 그 값이 다르다는 성질을 지니고 있는 머리전달 함수(HRTF ; Head Related Transfer Function)를 확인한 후, 511단계로 진행하여 상기 발생하는 사운드의 정확한 위치의 소리를 생성한다.
즉, 상기 가상 현실 장치(210)는 하기 <표 1>과 같이 정의한 발생하는 사운드의 위치에 따라 상기 사운드의 크기 조절(Attenuation) 및 좌, 우 밸런스를 조 절(Panning)할 수 있다.
Front Left Right
Near Focused Un - Focused - Left Pan Un - Focused - Right Pan
Far Un - Focused Background Background
Company - in sight Focused
Company - out of sight Focused - Left Pan Focused - Right Pan
예를 들어, 상기 가상 현실 장치(210)가 캐릭터의 정면에 가까운 곳에서 발생하는 사운드를 확인할 경우, 캐릭터가 집중할 수 있는 영역(Focus Area)에서 상기 사운드가 발생한다고 판단하여 음원과 머리와의 상대적 위치 관계에 따라 그 값이 다르다는 성질을 지니고 있는 머리전달 함수를 사용하여 상기 발생하는 사운드의 정확한 위치의 소리를 생성하도록 처리하고, 상기 가상 현실 장치(210)가 캐릭터의 정면에 먼 곳에서 발생하는 사운드를 확인할 경우, 캐릭터가 집중할 수 없는 영역(Un - Focus Area)에서 상기 사운드가 발생한다고 판단하여 상기 발생하는 사운드의 크기를 줄이도록 처리할 수 있다.
또 다른 실시 예로, 상기 가상 현실 장치(210)가 캐릭터의 시야 밖에 먼 거리에 위치한 동행자에게는 사운드 크기의 조절과 사운드 좌, 우 밸런스를 조절하도록 처리할 수 있다.
이후, 상기 가상 현실 장치(210)는 513단계로 진행하여 상기 생성한 소리를 믹싱한 후, 본 알고리즘을 종료한다.
도 6은 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 공간의 소리 영역을 분할하는 과정을 도시한 도면이다.
상기 도 6을 참조하면, 상기 가상 현실 장치를 사용하고자 하는 캐릭터(600)는 정면에 위치한 동행자 1(620)을 바라보고 동행자 2(630),3(640)은 상기 캐릭터(600)를 바라보고 있는 상황을 나타낸다.
상기 가상 현실 장치는 상기 가상 현실 공간을 상기 가상 현실 장치를 사용하고자 하는 캐릭터(600)가 집중할 수 있는 영역(Focus Area)과, 집중하지 못하는 영역(Un - Focus Area)으로 분할할 수 있다.
여기에서, 상기 캐릭터가 집중할 수 있는 영역은 상기 캐릭터(600)의 시야 안에 있는 정면 공간 가운데 상기 캐릭터(600)와 가까운 위치의 영역(603)을 말하고, 상기 캐릭터(600)가 집중할 수 없는 영역은 상기 캐릭터(600)의 시야 안에 있는 정면 공간에 위치하지만 상기 캐릭터(600)와 거리가 먼 영역(601)과 상기 캐릭터(600)의 시야 밖에 위치한 영역(605), (607), (609), (611)을 말한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1(a)는 가상 현실 시스템의 가상 현실 공간을 나타내는 도면,
도 1(b)는 상기 도 1(a)와 같은 가상 현실 시스템의 음향 처리 과정을 도시한 도면,
도 1(c)는 상기 도 1(a)와 같은 가상 현실 시스템의 다른 음향 처리 과정을 도시한 도면,
도 2는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 시스템의 구성을 도시한 블록도,
도 3은 본 발명의 바람직한 일 실시 예에 따른 가상 현실 서버의 동작 과정을 도시한 흐름도,
도 4는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 과정을 도시한 흐름도,
도 5는 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 사운드를 제공하기 위한 사운드 믹싱 과정을 도시한 흐름도 및,
도 6은 본 발명의 바람직한 일 실시 예에 따른 가상 현실 장치에서 가상 현실 공간의 소리 영역을 분할하는 과정을 도시한 도면.

Claims (16)

  1. 가상 현실 시스템의 음향 처리 장치에 있어서,
    가상 현실 공간을 다수의 영역으로 분할하고, 사운드 조절부에 의해 조절된 사운드를 합성하도록 처리하는 제어부와,
    상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 상기 사운드 조절부를 포함하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 가상 현실 시스템을 사용하고자 하는 사용자를 기준으로 상기 사용자가 집중할 수 있는 영역과 상기 사용자가 집중할 수 없는 영역으로 구분함으로써, 상기 가상 현실 공간을 다수의 영역으로 분할하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 장치.
  3. 제 2항에 있어서,
    상기 사용자가 집중할 수 있는 영역은,
    상기 사용자의 시야 안에 있는 정면 공간 가운데 상기 사용자와 가까운 위치의 영역임을 특징으로 하는 가상 현실 시스템의 음향 처리 장치.
  4. 제 2항에 있어서,
    상기 사용자가 집중할 수 없는 영역은,
    상기 사용자의 시야 안에 있는 정면 공간에 위치하지만 상기 사용자와 거리가 먼 영역과 상기 사용자의 시야 밖에 위치한 영역임을 특징으로 하는 가상 현실 시스템의 음향 처리 장치.
  5. 제 1항에 있어서,
    상기 사운드 조절부는,
    상기 사용자의 시야 안에 있는 정면 공간 가운데 상기 사용자와의 거리가 가까운 영역에서 발생하는 사운드를 확인할 경우, 음원과 머리와의 상대적 위치 관계에 따라 그 값이 다르다는 성질을 지니고 있는 머리전달 함수를 통해 상기 발생한 사운드의 위치를 확인하여 상기 사운드의 크기 및 좌, 우 밸런스를 조정하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 장치.
  6. 제 5항에 있어서,
    상기 사운드 조절부는,
    상기 사용자의 시야 안에 있는 정면 공간 가운데 상기 사용자와의 거리가 먼 영역에서 발생하는 사운드를 확인할 경우, 상기 발생한 사운드의 크기를 줄임으로써, 상기 사운드의 크기 및 좌, 우 밸런스를 조정하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 장치.
  7. 제 6항에 있어서,
    상기 사운드 조절부는,
    상기 사용자의 시야 밖에 위치한 영역에서 발생하는 사운드를 확인할 경우, 상기 발생한 사운드의 크기 및 상기 발생한 사운드의 좌, 우 밸런스를 조절함으로써, 상기 사운드의 크기 및 좌, 우 밸런스를 조정하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 장치.
  8. 제 7항에 있어서,
    상기 사운드 조절부는,
    상기 발생한 사운드의 크기를 배경 소리(Background Sound)의 크기로 조절하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 장치.
  9. 가상 현실 시스템의 음향 처리 방법에 있어서,
    가상 현실 공간을 다수의 영역으로 분할하는 과정과,
    상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 과정과,
    상기 조정한 사운드들을 합성하는 과정을 포함하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 방법.
  10. 제 9항에 있어서,
    상기 가상 현실 공간을 다수의 영역으로 분할하는 과정은,
    상기 가상 현실 시스템을 사용하고자 하는 사용자를 기준으로 상기 가상 현실 공간을 상기 사용자가 집중할 수 있는 영역과 상기 사용자가 집중할 수 없는 영역으로 구분하는 하는 과정임을 특징으로 하는 가상 현실 시스템의 음향 처리 방법.
  11. 제 10항에 있어서,
    상기 사용자가 집중할 수 있는 영역은,
    상기 사용자의 시야 안에 있는 정면 공간 가운데 상기 사용자와 가까운 위치의 영역임을 특징으로 하는 가상 현실 시스템의 음향 처리 방법.
  12. 제 10항에 있어서,
    상기 사용자가 집중할 수 없는 영역은,
    상기 사용자의 시야 안에 있는 정면 공간에 위치하지만 상기 사용자와 거리가 먼 영역과 상기 사용자의 시야 밖에 위치한 영역임을 특징으로 하는 가상 현실 시스템의 음향 처리 방법.
  13. 제 9항에 있어서,
    상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 과정은,
    상기 사용자의 시야 안에 있는 정면 공간 가운데 상기 사용자와의 거리가 가까운 영역에서 발생하는 사운드를 확인할 경우, 음원과 머리와의 상대적 위치 관계에 따라 그 값이 다르다는 성질을 지니고 있는 머리전달 함수를 확인하는 과정과,
    상기 머리전달 함수를 통해 상기 발생한 사운드의 위치를 확인하는 과정을 더 포함하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 방법.
  14. 제 13항에 있어서,
    상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 과정은,
    상기 사용자의 시야 안에 있는 정면 공간 가운데 상기 사용자와의 거리가 먼 영역에서 발생하는 사운드를 확인할 경우, 상기 발생한 사운드의 크기를 줄이는 과정을 더 포함하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 방법.
  15. 제 14항에 있어서,
    상기 분할한 영역에서 발생하는 사운드의 크기 및 좌, 우 밸런스를 조정하는 과정은,
    상기 사용자의 시야 밖에 위치한 영역에서 발생하는 사운드를 확인할 경우, 상기 발생한 사운드의 크기를 줄이는 과정과,
    상기 발생한 사운드의 좌, 우 밸런스를 조절하는 과정을 더 포함하는 것을 특징으로 하는 가상 현실 시스템의 음향 처리 방법.
  16. 제 15항에 있어서,
    상기 사용자의 시야 밖에 위치한 영역에서 발생하는 사운드를 확인할 경우, 상기 발생한 사운드의 크기를 줄이는 과정은,
    상기 발생한 사운드의 크기를 배경 소리(Background Sound)의 크기로 줄이는 과정임을 특징으로 하는 가상 현실 시스템의 음향 처리 방법.
KR1020080011160A 2008-02-04 2008-02-04 가상 현실 시스템의 음향 처리 장치 및 방법 KR101408921B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080011160A KR101408921B1 (ko) 2008-02-04 2008-02-04 가상 현실 시스템의 음향 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080011160A KR101408921B1 (ko) 2008-02-04 2008-02-04 가상 현실 시스템의 음향 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090085326A true KR20090085326A (ko) 2009-08-07
KR101408921B1 KR101408921B1 (ko) 2014-06-17

Family

ID=41205364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080011160A KR101408921B1 (ko) 2008-02-04 2008-02-04 가상 현실 시스템의 음향 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101408921B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520872B2 (en) 2008-08-14 2013-08-27 Samsung Electronics Co., Ltd. Apparatus and method for sound processing in a virtual reality system
WO2014178480A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법
CN110622106A (zh) * 2017-03-02 2019-12-27 诺基亚技术有限公司 音频处理
KR20230052708A (ko) * 2021-10-13 2023-04-20 주식회사 인필 사용자 심리 상태에 적합한 컬러 정보 기반의 vr 심리 치료 프로그램 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4426484B2 (ja) * 2005-03-11 2010-03-03 株式会社日立製作所 音声会議システム、会議端末および音声サーバ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520872B2 (en) 2008-08-14 2013-08-27 Samsung Electronics Co., Ltd. Apparatus and method for sound processing in a virtual reality system
WO2014178480A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 제공 방법
CN110622106A (zh) * 2017-03-02 2019-12-27 诺基亚技术有限公司 音频处理
CN110622106B (zh) * 2017-03-02 2023-10-27 诺基亚技术有限公司 用于音频处理的装置和方法
KR20230052708A (ko) * 2021-10-13 2023-04-20 주식회사 인필 사용자 심리 상태에 적합한 컬러 정보 기반의 vr 심리 치료 프로그램 및 시스템

Also Published As

Publication number Publication date
KR101408921B1 (ko) 2014-06-17

Similar Documents

Publication Publication Date Title
CN112567767B (zh) 用于交互式音频环境的空间音频
US11350071B2 (en) Augmented reality based user interfacing
US7812815B2 (en) Compact haptic and augmented virtual reality system
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
Larsson et al. The actor-observer effect in virtual reality presentations
US20050275913A1 (en) Binaural horizontal perspective hands-on simulator
CN112602053B (zh) 音频装置和音频处理的方法
CN109314834A (zh) 改进介导现实中声音对象的感知
Sodnik et al. Spatial auditory human-computer interfaces
CN113170253B (zh) 用于音频空间化的加重
KR101408921B1 (ko) 가상 현실 시스템의 음향 처리 장치 및 방법
AU2021240949A1 (en) Device and method for providing augmented reality interaction
JP2023168544A (ja) 低周波数チャネル間コヒーレンス制御
Steffens et al. Auditory orientation and distance estimation of sighted humans using virtual echolocation with artificial and self-generated sounds
Finnegan Compensating for distance compression in virtual audiovisual environments
US20230413003A1 (en) Audio processing in a virtual environment
Geronazzo et al. Customized 3D sound for innovative interaction design
Luna Introduction to Virtual Reality
Kim et al. A VR-Based Mobile Platform for Training to Non-Individualized Binaural 3D Audio
EP1617702A1 (en) Portable electronic equipment with 3D audio rendering
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
CN117221807A (zh) 音频的处理方法及装置
CN112162638A (zh) 一种虚拟现实vr观影中的信息处理方法及服务器
Bourdot et al. The Use of 3D-Audio in a Multi-Modal Teleoperation Platform for Remote Driving/Supervision
Rosenberg et al. Future Human Interfaces to Computer-Controlled Sound Systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 5