KR101851361B1 - Hmd 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템 - Google Patents

Hmd 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템 Download PDF

Info

Publication number
KR101851361B1
KR101851361B1 KR1020160155285A KR20160155285A KR101851361B1 KR 101851361 B1 KR101851361 B1 KR 101851361B1 KR 1020160155285 A KR1020160155285 A KR 1020160155285A KR 20160155285 A KR20160155285 A KR 20160155285A KR 101851361 B1 KR101851361 B1 KR 101851361B1
Authority
KR
South Korea
Prior art keywords
sound
player
channel
source
unit
Prior art date
Application number
KR1020160155285A
Other languages
English (en)
Inventor
박홍식
채일진
윤태수
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020160155285A priority Critical patent/KR101851361B1/ko
Application granted granted Critical
Publication of KR101851361B1 publication Critical patent/KR101851361B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Abstract

본 발명은 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템을 제공한다. 이와 같은 본 발명에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템은 인터랙티브 게임컨텐츠를 비롯한 각종 인터랙티브 영상컨텐츠를 HMD를 통해 체험하고 있는 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향을 기준으로 한 입체사운드가 실시간으로 생성되어 헤드폰으로 출력되도록 함으로써 입체사운드의 현실 근접도를 극대화시킬 수 있고, 이를 통해 사운드 체감도와 인터랙티브 영상에 대한 몰입도를 증대시킬 수 있는 기술적 특징을 갖는다.

Description

HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템{System for realtime-providing 3D sound by adapting to player based on headphone linked to HMD}
본 발명은 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템에 관한 것으로, 좀더 구체적으로는 인터랙티브 게임컨텐츠를 비롯한 각종 인터랙티브 영상컨텐츠를 HMD를 통해 체험하고 있는 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향을 기준으로 한 입체사운드가 실시간으로 생성되어 헤드폰으로 출력되도록 함으로써 입체사운드의 현실 근접도를 극대화시킬 수 있고, 이를 통해 사운드 체감도와 인터랙티브 영상에 대한 몰입도를 증대시킬 수 있는 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템에 관한 것이다.
현재 3D TV나 모니터를 통해 보편적으로 즐길 수 있는 3D 영화나 3D 게임들은 실제와 같은 거리감만 느낄 수 있게 제작되는 것으로, 가상현실을 현실처럼 느끼는 데에는 한계가 있다. 이를 개선하기 위하여 대한민국 등록특허공보 등록번호 제10-0580841호 "이동단말과 헤드 마운티드 디스플레이 장치간의 정합 장치및 방법", 등록번호 제10-0861813호 "증강현실용 두부장착 디스플레이 장치" 등의 HMD(Head Mounted Display)가 개발되어 사용되고 있는데, 최근에는 HMD의 일종으로 영상의 현실감이 더욱 개선된 오큘러스 리프트가 개발되었다. 이와 같은 오큘러스 리프트는 헤드 마운트를 사용자가 머리에 쓰면 사용자의 눈 전방으로 3D 가상현실이 디스플레이되도록 한 것으로, 사용자의 눈앞 화면이 현실로 느껴질 만큼 현실감 있는 영상을 제공하게 된다.
상기와 같은 오큘러스 리프트의 개발로 사용자의 눈으로 느끼는 현실감은 극대화된 반면, 가상 현실을 이용자에게 실제 상황으로 인식시키기 위해서 필수적으로 요구되는 입체사운드의 구현은 현재까지 미진한 부분이 많다. 즉 종래에는 오큘러스 리프트와 같은 HMD를 착용한 플레이어의 귀 부위에 장착되는 헤드폰을 통해 사운드가 구현되는 것임에 따라 게임의 사실감을 높이고, 플레이어의 흥미와 몰입감을 높이는데 한계가 있었다.
한편 유니티(Unity)는 3D 비디오게임, 건축 시각화, 실시간 3D 애니메이션 등의 인터랙티브 콘텐츠를 제작하기 위한 통합 제작 도구로서, 유니티를 기반으로 한 콘텐츠 제작에 연동되는 사운드 작업을 위한 편의 기능을 갖춘 작업 도구인 사운드 툴을 구비하고 있는데, 유니티에 구비된 사운드 툴은 가상현실 컨텐츠에 대하여 디테일한 음향 효과를 표현하기에는 부족한 부분이 있다.
특히 가상현실 콘텐츠 제작의 경우, 이용자가 콘텐츠 이용시 실제 상황처럼 실감하게 하기 위해서는 입체적인 사운드 조정이 절실히 필요하고 제작시 실시간으로 수정 및 채널에 따라 배치가능한 사운드 툴의 제작이 우선시되어야 하나, 종래의 유니티 사운드 툴을 통해서는 이를 구현하기 어려웠다. 이에 따라 대부분의 가상현실 콘텐츠 개발사에서는 개발 시 연출의도에 따라 게임엔진 내에서 미세한 커스터마이징을 할 수 있는 사운드 툴의 필요성을 절실히 느끼고 있다.
대한민국 등록특허공보 등록번호 제10-0580841호 "이동단말과 헤드 마운티드 디스플레이 장치간의 정합 장치및 방법" 대한민국 등록특허공보 등록번호 제10-0861813호 "증강현실용 두부장착 디스플레이 장치" 대한민국 공개특허공보 공개번호 제10-2015-0100305호 "입체 사운드를 재생하는 방법 및 장치" 대한민국 공개특허공보 공개번호 제10-1999-0034393호 "그룹 가상현실환경에 적합한 3차원 사운드 채널설정장치"
따라서 본 발명은 이와 같은 종래 기술의 문제점을 개선하여, 플레이어 현재 시선방향 검출유닛과 플레이어 조작기 현재정보 검출유닛이 구비되어 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향이 검출되고, 소스 사운드정보 설정유닛 및 이벤트 사운드정보 생성유닛이 구비되어 인터랙티브 영상컨텐츠의 현재 위치를 기준으로 가상적으로 배치되는 가상 다채널 스피커시스템이 설정되면서 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛이 설정/생성되며, 헤드폰 좌우측 출력신호 전달유닛이 구비되어 플레이어의 좌우측 귀 부위로 각각 전달되는 채널별 소스 사운드유닛/채널별 이벤트 사운드유닛의 파형이 각각 중첩되면서 헤드폰 좌우측 출력신호가 생성되는 구조를 제공함으로써 인터랙티브 게임컨텐츠를 비롯한 각종 인터랙티브 영상컨텐츠를 HMD를 통해 체험하고 있는 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향을 기준으로 한 입체사운드가 실시간으로 생성되어 헤드폰으로 출력되면서 입체사운드의 현실 근접도를 극대화시킬 수 있고, 이를 통해 사운드 체감도와 인터랙티브 영상에 대한 몰입도를 증대시킬 수 있는 새로운 형태의 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템을 제공하는 것을 목적으로 한다.
또한 본 발명은 중음 스피커모듈, 저음 스피커모듈, 고음 스피커모듈이 원형으로 배열된 구조의 특수 헤드폰이 구비되고, 이에 대응하는 스피커모듈별 출력신호 전달유닛이 구비되어 각 스피커모듈로 전달되는 채널별 소스 사운드유닛/채널별 이벤트 사운드유닛이 서로 중첩되면서 스피커모듈별 출력신호가 생성되는 구조를 제공함으로써 인터랙티브 게임컨텐츠를 비롯한 각종 인터랙티브 영상컨텐츠를 HMD를 통해 체험하고 있는 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향을 기준으로 한 입체사운드가 실시간으로 생성되어 헤드폰으로 출력되면서 입체사운드의 현실 근접도를 극대화시킬 수 있고, 이를 통해 사운드 체감도와 인터랙티브 영상에 대한 몰입도를 증대시킬 수 있는 새로운 형태의 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 본 발명은 플레이어의 현재 시선방향을 기준으로 한 인터랙티브 영상컨텐츠가 출력되는 HMD(1)를 착용한 플레이어의 귀 부위에 장착되고, 인터랙티브 영상컨텐츠에 연동되는 다채널 입체사운드가 출력되는 입체사운드 출력용 헤드폰(10)과; 플레이어의 현재 시선방향을 검출하는 플레이어 현재 시선방향 검출유닛(20)과; 플레이어 조작기(2)의 현재 동작정보, 플레이어 조작기(2)의 현재 지향방향 정보를 검출하는 플레이어 조작기 현재정보 검출유닛(30)과; 인터랙티브 영상컨텐츠에 연동되는 소스 사운드정보를 설정된 복수의 채널별 소스 사운드유닛의 조합으로 설정하되, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키는 소스 사운드정보 설정유닛(40)과; 플레이어 조작기(2)의 현재 동작정보 및 플레이어 현재 지향방향 기준 플레이어 조작기(2)의 현재 지향각도 정보에 연동되는 이벤트 사운드정보를 설정된 복수의 채널별 이벤트 사운드유닛의 조합으로 생성하되, 플레이어의 현재 시선방향 기준 플레이어 조작기(2)의 현재 지향각도에 맞추어진 음상(sound image)을 형성하는 채널별 이벤트 사운드유닛을 생성시키는 이벤트 사운드정보 생성유닛(50)과; 소스 사운드정보 설정유닛(40)과 이벤트 사운드정보 생성유닛(50)으로부터 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛을 전달받고, 전달받은 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛으로부터 헤드폰 좌측 출력신호와 헤드폰 우측 출력신호를 생성시켜 입체사운드 출력용 헤드폰(10)의 좌측 스피커유닛(11a)과 우측 스피커유닛(11b)으로 전달하는 헤드폰 좌우측 출력신호 전달유닛(60)을 포함하여, 플레이어 조작기(2)의 사용으로 발생되는 이벤트 사운드의 입체적인 구현이 가능해지도록 하는 것을 특징으로 하는 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템을 제공한다.
이와 같은 본 발명에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템에서 입체사운드 출력용 헤드폰(10)은, 서라운드 인코딩된 소스 사운드정보와 이벤트 사운드정보를 디코딩하는 서라운드 디코더(12)로부터 사운드정보를 전달받아 다채널 입체사운드를 출력시키는 서라운드 디코더 기반 입체사운드 출력용 헤드폰(10a), 복수의 소형 스피커모듈(111)이 구비된 다채널 스피커모듈 구비형 입체사운드 출력용 헤드폰(10b) 중에서 선택된 어느 하나일 수 있다.
이와 같은 본 발명에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템에서 헤드폰 좌우측 출력신호 전달유닛(60)은, 소스 사운드정보 설정유닛(40)으로부터 전달되는 채널별 소스 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 채널별 소스 사운드유닛의 파형을 중첩시켜 소스 사운드 헤드폰 좌측 출력신호를 생성시키는 소스 사운드 헤드폰 좌측 출력신호 생성모듈(61)과; 소스 사운드정보 설정유닛(40)으로부터 전달되는 채널별 소스 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 채널별 소스 사운드유닛의 파형을 중첩시켜 소스 사운드 헤드폰 우측 출력신호를 생성시키는 소스 사운드 헤드폰 우측 출력신호 생성모듈(62)과; 이벤트 사운드정보 생성유닛(50)으로부터 전달되는 채널별 이벤트 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 채널별 이벤트 사운드유닛의 파형을 중첩시켜 이벤트 사운드 헤드폰 좌측 출력신호를 생성시키는 이벤트 사운드 헤드폰 좌측 출력신호 생성모듈(63) 및; 이벤트 사운드정보 생성유닛(50)으로부터 전달되는 채널별 이벤트 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 채널별 이벤트 사운드유닛의 파형을 중첩시켜 이벤트 사운드 헤드폰 좌측 출력신호를 생성시키는 이벤트 사운드 헤드폰 우측 출력신호 생성모듈(64)을 포함하는 구성으로 이루어질 수 있다.
상술한 목적을 달성하기 위한 본 발명의 다른 특징에 의하면, 본 발명은 플레이어의 현재 시선방향을 기준으로 한 인터랙티브 영상컨텐츠가 출력되는 HMD(1)를 착용한 플레이어의 머리 부위에 장착되고, 플레이어의 머리 부위를 둘러싸면서 설정간격으로 원형 배열되는 복수의 중음 스피커모듈(13a), 복수의 저음 스피커모듈(13b), 복수의 고음 스피커모듈(13c)을 포함하는 구성의 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)으로 이루어지며, 인터랙티브 영상컨텐츠에 연동되는 다채널 입체사운드가 출력되는 입체사운드 출력용 헤드폰(10)과; 플레이어의 현재 시선방향을 검출하는 플레이어 현재 시선방향 검출유닛(20)과; 플레이어 조작기(2)의 현재 동작정보, 플레이어 조작기(2)의 현재 지향방향 정보를 검출하는 플레이어 조작기 현재정보 검출유닛(30)과; 인터랙티브 영상컨텐츠에 연동되는 소스 사운드정보를 설정된 복수의 채널별 소스 사운드유닛의 조합으로 설정하되, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키는 소스 사운드정보 설정유닛(40)과; 플레이어 조작기(2)의 현재 동작정보 및 플레이어 현재 지향방향 기준 플레이어 조작기(2)의 현재 지향각도 정보에 연동되는 이벤트 사운드정보를 설정된 복수의 채널별 이벤트 사운드유닛의 조합으로 생성하되, 플레이어의 현재 시선방향 기준 플레이어 조작기(2)의 현재 지향각도에 맞추어진 음상(sound image)을 형성하는 채널별 이벤트 사운드유닛을 생성시키는 이벤트 사운드정보 생성유닛(50)과; 소스 사운드정보 설정유닛(40)과 이벤트 사운드정보 생성유닛(50)으로부터 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛을 전달받고, 전달받은 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛으로부터 스피커모듈별 출력신호를 생성시켜 입체사운드 출력용 헤드폰(10)의 중음 스피커모듈(13a), 저음 스피커모듈(13b), 고음 스피커모듈(13c)로 전달하는 스피커모듈별 출력신호 전달유닛(60')을 포함하여, 플레이어 조작기(2)의 사용으로 발생되는 이벤트 사운드의 입체적인 구현이 가능해지도록 하는 것을 특징으로 하는 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템을 제공한다.
이와 같은 본 발명에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템에서 소스 사운드정보 설정유닛(40)은 인터랙티브 영상컨텐츠의 가상공간 내에 플레이어의 현재 위치를 기준으로 가상적으로 배치되는 가상 다채널 스피커시스템(70)을 설정하여 해당 다채널 스피커 시스템에 대응하는 복수의 채널별 소스 사운드유닛을 설정하게 되되, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키게 되는 것이고, 이벤트 사운드정보 생성유닛(50)은 인터랙티브 영상컨텐츠의 가상공간 내에 플레이어의 현재 위치를 기준으로 가상적으로 배치되는 가상 다채널 스피커시스템(70)을 설정하여 해당 다채널 스피커 시스템에 대응하는 복수의 채널별 이벤트 사운드유닛을 생성하게 되되, 이벤트 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 이벤트 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키게 되는 것일 수 있다.
본 발명에 의한 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템에 의하면, 인터랙티브 게임컨텐츠를 비롯한 각종 인터랙티브 영상컨텐츠를 HMD를 통해 체험하고 있는 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향을 기준으로 한 입체사운드가 실시간으로 생성되어 헤드폰으로 출력되도록 하므로, 입체사운드의 현실 근접도가 극대화되고, 이를 통해 사운드 체감도와 인터랙티브 영상에 대한 몰입도가 증대되는 효과가 있다.
도 1은 플레이어가 HMD와 입체사운드 출력용 헤드폰을 착용하여 가상현실을 체험하고 있는 것을 보여주기 위한 도면;
도 2는 본 발명의 실시예에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템의 기본 구성 블록도;
도 3의 (a)와 (b)는 본 발명의 실시예에 따른 입체사운드 출력용 헤드폰의 구성 예시도;
도 4와 도 5는 본 발명의 다른 실시예에 따른 입체사운드 출력용 헤드폰의 구성 예시도;
도 6의 (a)와 (b)는 본 발명의 실시예에 따른 플레이어 현재 시선방향 검출유닛의 구성 예시도;
도 7은 본 발명의 실시예에 따른 플레이어 조작기 현재정보 검출유닛의 구성 블록도;
도 8의 (a)와 (b)는 본 발명의 실시예에 따른 소스 사운드정보 설정유닛의 구성 블록도;
도 9와 도 10은 본 발명의 실시예에 따른 이벤트 사운드정보 생성유닛의 구성 블록도;
도 11은 본 발명의 실시예에 따른 헤드폰 좌우측 출력신호 전달유닛의 구성 블록도;
도 12는 본 발명의 다른 실시예에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템의 구성블록도이다.
이하, 본 발명의 실시예를 첨부된 도면 도 1 내지 도 12에 의거하여 상세히 설명한다. 한편, 도면과 상세한 설명에서 일반적인 HMD, 오큘러스 리프트, 스피커, 입체사운드 구현, 인터랙티브 영상컨텐츠, 플레이어 조작기, 게임용 총 등으로부터 이 분야의 종사자들이 용이하게 알 수 있는 구성 및 작용에 대한 도시 및 언급은 간략히 하거나 생략하였다. 특히 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
본 발명에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템(100)은 도 1에서와 같이 오큘러스 리프트를 비롯한 각종 HMD(head mounted display)(1)를 착용하여 가상현실을 체험하고 있는 플레이어가 자신이 소지한 플레이어 조작기(2)의 사용으로 발생되는 이벤트 사운드의 입체적인 구현이 사용자의 귀에 장착되는 헤드폰(10)을 통해서도 가능해지도록 하는 것으로, 특히 3D 영상컨텐츠/인터랙티브 영상컨텐츠/게임 컨텐츠 등의 제작에 사용되는 유니티(Unity)에 효과적으로 적용되어 유니트 기반의 제작 컨텐츠에 연동된 입체 사운드의 구현을 위한 사운드 작업도구로 활용될 수 있다. 물론 본 발명에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템(100)이 유니티에 한정되어 사용되는 것은 아니고, 다양한 3D 영상컨텐츠/인터랙티브 영상컨텐츠/게임 컨텐츠 제작 프로그램이나 입체사운드 제작툴, 입체사운드 시스템 등에 적용될 수 있다. 이를 위한 본 발명의 실시예에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템(100)은 도 2에서와 같이 입체사운드 출력용 헤드폰(10), 플레이어 현재 시선방향 검출유닛(20), 플레이어 조작기 현재정보 검출유닛(30), 소스 사운드정보 설정유닛(40), 이벤트 사운드정보 생성유닛(50), 헤드폰 좌우측 출력신호 전달유닛(60)을 포함하는 구성으로 이루어진다.
입체사운드 출력용 헤드폰(10)은 플레이어의 현재 시선방향을 기준으로 한 인터랙티브 영상컨텐츠가 출력되는 HMD(1)를 착용한 플레이어의 귀 부위나 머리 부위에 장착되는 것으로, 인터랙티브 영상컨텐츠에 연동되는 다채널 입체사운드가 출력된다. 여기서 입체사운드 출력용 헤드폰(10)은 도 2의 (a)에서와 같이 서라운드 인코딩된 소스 사운드정보와 이벤트 사운드정보를 디코딩하는 서라운드 디코더(12)로부터 사운드정보를 전달받아 다채널 입체사운드를 출력시키는 서라운드 디코더 기반 입체사운드 출력용 헤드폰(10a)으로 이루어질 수 있는데, DTS 헤드폰:X 기술이 적용된 헤드폰이 사용되거나, SRS-CS헤드폰(5.1채널)이 사용될 수 있다. 이와 달리 도 2의 (b)에서와 같이 입체사운드 출력용 헤드폰(10) 자체에 복수의 소형 스피커모듈(111)이 구비되어 다채널 입체 사운드를 출력시키는 다채널 스피커모듈 구비형 입체사운드 출력용 헤드폰(10b)이 입체사운드 출력용 헤드폰(10)으로 사용될 수도 있다. 이와 같은 다채널 스피커모듈 구비형 입체사운드 출력용 헤드폰(10b)에는 대한민국 등록특허공보 등록번호 제10-1194600호 "다채널 헤드폰 세트", 등록번호 제10-0335171호 "다채널헤드폰 시스템", 등록실용신안공보 등록번호 제20-0233586호 "다채널 6스피커 입체음향 헤드폰" 등에서 개시된 기술구성이 적용될 수 있다.
이와 달리 본 발명의 다른 실시예에 따른 입체사운드 출력용 헤드폰(10)은 도 4와 도 5에서와 같이 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)으로 이루어질 수도 있다. 이와 같은 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)은 도 4에서와 같이 플레이어의 머리 부위를 둘러싸면서 설정간격으로 원형 배열되는 복수의 중음 스피커모듈(13a), 복수의 저음 스피커모듈(13b), 복수의 고음 스피커모듈(13c)을 포함하는 구성으로 이루어진다. 특히 본 발명의 실시예에 따른 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)은 플레이어 좌우측 귀 부위에 배치되는 한쌍의 중음 스피커모듈(13a), 플레이어의 머리 부위 전후방에 배치되는 한쌍의 저음 스피커모듈(13b), 한쌍의 중음 스피커모듈(13a)과 한쌍의 저음 스피커모듈(13b) 사이에 각각 배치되는 4개의 고음 스피커모듈(13c)이 원형 배열된 구조로 이루어진다.
그리고 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)은 도 5에서와 같이 플레이어의 머리 부위에 착용된다. 이를 위하여 헬멧 구조로 이루어져 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)은 헬멧 형상의 머리장착 캡(14) 하단 내측면 둘레를 따라 중음 스피커모듈(13a), 저음 스피커모듈(13b), 고음 스피커모듈(13c)이 고정배치되는 구성으로 이루어질 수 있다.
상기와 같은 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)을 사용하게 될 경우, 사운드 출력신호가 분산 출력되면서 출격사운드의 입체감이 증대될 수 있게 된다.
플레이어 현재 시선방향 검출유닛(20)은 플레이어의 현재 시선방향을 검출하는 유닛으로, 도 3에서와 같이 영상촬영장치(21)에 의한 영상촬영으로 플레이어의 현재 시선방향을 검출할 수도 있고, 플레이어의 머리 회전정보를 검출하는 머리 회전정보 검출센서(22)를 통해 플레이어의 현재 시선방향을 검출할 수도 있다. 머리 회전정보 검출센서(22)로는 자이로 센서나 지자기 센서가 사용될 수 있다.
플레이어 조작기 현재정보 검출유닛(30)은 플레이어가 소지하게 되는 플레이어 조작기(2)의 현재 동작정보와 현재 지향방향 정보를 검출하는 유닛이다. 인터랙티브 영상컨텐츠가 게임 컨텐츠일 경우, 플레이어 조작기(2)로는 게임용 총(2a)이 사용될 수 있으며, 게임용 총(2a)의 격발 동작이 플레이어 조작기(2)의 현재 동작정보로 검출되는 한편 게임용 총(2a)의 사격방향이 플레이어 조작기(2)의 현재 지향방향 정보로 검출될 수 있다.
여기서 플레이어 조작기 현재정보 검출유닛(30)은 플레이어 조작기(2)에 배치되는 것일 수 있다. 이와 같은 플레이어 조작기 현재정보 검출유닛(30)이 배치된 플레이어 조작기(2)는 도 6에서와 같이 조작기 본체(3), 컨트롤러(4), 방향정보 검출센서(5), 통신모듈(6)을 포함하는 구성으로 이루어질 수 있다.
조작기 본체(3)는 사용자가 소지하면서 사용자에 의해 조작되는 것으로, 스위치, 선택버튼 등이 설치되어 있을 수 있다. 플레이어 조작기(2)가 게임용 총(2a)일 경우, 조작기 본체(3)는 방아쇠를 구비하게 된다.
컨트롤러(4)는 조작기 본체(3)에 내장되는 것으로, 사용자의 조작기 본체 조작으로부터 플레이어 조작기(2)의 현재 동작정보를 산출하게 된다. 플레이어 조작기(2)가 게임용 총(2a)일 경우 컨트롤러(4)는 방아쇠에 연결되어 방아쇠 조작에 따른 격발 동작을 플레이어 조작기 현재 동작정보로 산출하게 된다.
방향정보 검출센서(5)는 조작기 본체(3)에 설치되어 조작기 본체(3)의 움직임 정보를 센싱하는 것으로, 센싱된 조작기 본체(3)의 움직임 정보로부터 플레이어 조작기(2)의 현재 지향방향 정보를 산출하게 된다. 이와 같은 방향정보 검출센서(5)로는 지자기 센서, 자이로 센서 등이 사용될 수 있다.
통신모듈(6)은 컨트롤러(4)와 방향정보 검출센서(5)로부터 플레이어 조작기(2)의 현재 동작정보와 현재 지향방향 정보를 전달받아 이벤트 사운드정보 생성유닛(50)으로 전송하는 모듈이다. 이와 같은 통신모듈(6)로는 블루투스 통신기 등이 사용될 수 있다.
소스 사운드정보 설정유닛(40)은 인터랙티브 영상컨텐츠에 연동되는 소스 사운드정보를 설정된 복수의 채널별 소스 사운드유닛의 조합으로 설정하는 유닛이다. 여기서 소스 사운드정보 설정유닛(40)은 도 7의 (a)에서와 같이 인터랙티브 영상컨텐츠의 가상공간 내에 플레이어의 현재 위치를 기준으로 가상적으로 배치되는 가상 다채널 스피커시스템(70)을 설정하여 해당 다채널 스피커 시스템에 대응하는 복수의 채널별 소스 사운드유닛을 설정하게 된다. 이와 같은 가상 다채널 스피커시스템(70)은 5.1채널 스피커 시스템, 7.1채널 스피커 시스템, 9.1채널 스피커 시스템, 11.2채널 스피커 시스템, 22.2채널 스피커 시스템, 원형 배열 스피커 시스템 등으로 이루어질 수 있다.
이와 같은 소스 사운드정보 설정유닛(40)은 도 7의 (b)에서와 같이 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키게 된다.
상기와 같은 소스 사운드정보 설정유닛(40)에서의 채널별 소스 사운드유닛 설정 구성은 등록특허공보 등록번호 제10-0608025호 "2채널 헤드폰용 입체 음향 생성 방법 및 장치"에 개시된 기술구성으로 구현될 수 있다.
이벤트 사운드정보 생성유닛(50)은 플레이어 조작기(2)의 현재 동작정보 및 플레이어 현재 지향방향 기준 플레이어 조작기(2)의 현재 지향각도 정보에 연동되는 이벤트 사운드정보를 설정된 복수의 채널별 이벤트 사운드유닛의 조합으로 생성하는 유닛으로, 도 8의 (a)에서와 같이 플레이어의 현재 시선방향 기준 플레이어 조작기(2)의 현재 지향각도에 맞추어진 음상(sound image)을 형성하는 채널별 이벤트 사운드유닛을 생성시키게 된다. 여기서 이벤트 사운드정보는 플레이어 조작기(2)의 현재 동작에 의해 발생되는 것으로, 플레이어 조작기(2)가 게임용 총(2a)일 경우, 게임용 총(2a)의 격발에 의한 총소리가 이벤트 사운드정보가 될 수 있다.
이와 같은 이벤트 사운드정보 생성유닛(50)도 소스 사운드정보 설정유닛(40)과 마찬가지로 도 8의 (b)에서와 같이 인터랙티브 영상컨텐츠의 가상공간 내에 플레이어의 현재 위치를 기준으로 가상적으로 배치되는 가상 다채널 스피커시스템(70)을 설정하여 해당 다채널 스피커 시스템에 대응하는 복수의 채널별 이벤트 사운드유닛을 생성하게 된다. 이와 같은 가상 다채널 스피커시스템(70)은 5.1채널 스피커 시스템, 7.1채널 스피커 시스템, 9.1채널 스피커 시스템, 11.2채널 스피커 시스템, 22.2채널 스피커 시스템, 원형 배열 스피커 시스템 등으로 이루어질 수 있다.
여기서 이벤트 사운드정보 생성유닛(50)은 도 10에서와 같이 이벤트 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 이벤트 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 이벤트 사운드유닛을 생성시키게 된다.
상기와 같은 이벤트 사운드정보 생성유닛(50)에서의 채널별 이벤트 사운드유닛 설정 구성도 등록특허공보 등록번호 제10-0608025호 "2채널 헤드폰용 입체 음향 생성 방법 및 장치"에 개시된 기술구성으로 구현될 수 있다.
헤드폰 좌우측 출력신호 전달유닛(60)은 소스 사운드정보 설정유닛(40)과 이벤트 사운드정보 생성유닛(50)으로부터 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛을 전달받고, 전달받은 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛으로부터 헤드폰 좌측 출력신호와 헤드폰 우측 출력신호를 생성시켜 입체사운드 출력용 헤드폰(10)의 좌측 스피커유닛(11a)과 우측 스피커유닛(11b)으로 전달하는 유닛이다.
여기서 본 발명의 실시예에 따른 헤드폰 좌우측 출력신호 전달유닛(60)은 도 11에서와 같이 소스 사운드 헤드폰 좌측 출력신호 생성모듈(61), 소스 사운드 헤드폰 우측 출력신호 생성모듈(62), 이벤트 사운드 헤드폰 좌측 출력신호 생성모듈(63), 이벤트 사운드 헤드폰 우측 출력신호 생성모듈(64)을 포함하는 구성으로 이루어진다.
소스 사운드 헤드폰 좌측 출력신호 생성모듈(61)은 소스 사운드정보 설정유닛(40)으로부터 전달되는 채널별 소스 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 채널별 소스 사운드유닛의 파형을 중첩시켜 소스 사운드 헤드폰 좌측 출력신호를 생성시키는 모듈이다.
소스 사운드 헤드폰 우측 출력신호 생성모듈(62)은 소스 사운드정보 설정유닛(40)으로부터 전달되는 채널별 소스 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 채널별 소스 사운드유닛의 파형을 중첩시켜 소스 사운드 헤드폰 우측 출력신호를 생성시키는 모듈이다.
이벤트 사운드 헤드폰 좌측 출력신호 생성모듈(63)은 이벤트 사운드정보 생성유닛(50)으로부터 전달되는 채널별 이벤트 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 채널별 이벤트 사운드유닛의 파형을 중첩시켜 이벤트 사운드 헤드폰 좌측 출력신호를 생성시키는 모듈이다.
이벤트 사운드 헤드폰 우측 출력신호 생성모듈(64)은 이벤트 사운드정보 생성유닛(50)으로부터 전달되는 채널별 이벤트 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 채널별 이벤트 사운드유닛의 파형을 중첩시켜 이벤트 사운드 헤드폰 좌측 출력신호를 생성시키는 모듈이다.
한편 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)이 사용되는 본 발명의 다른 실시예에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템(100)은 도 12에서와 같이 스피커모듈별 출력신호 전달유닛(60')을 구비하게 되는데, 스피커모듈별 출력신호 전달유닛(60')은 소스 사운드정보 설정유닛(40)과 이벤트 사운드정보 생성유닛(50)으로부터 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛을 전달받는 것으로, 전달받은 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛으로부터 스피커모듈별 출력신호를 생성시켜 입체사운드 출력용 헤드폰(10)의 중음 스피커모듈(13a), 저음 스피커모듈(13b), 고음 스피커모듈(13c)로 전달하게 된다. 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛은 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)을 구성하는 중음 스피커모듈(13a), 저음 스피커모듈(13b), 고음 스피커모듈(13c)의 개수와 위치에 대응하여 생성되고, 동일한 채널을 갖는 소스 사운드유닛과 이벤트 사운드유닛이 서로 중첩되면서 해당 채널에 대응하는 스피커모듈에 할당될 출력신호가 생성된다. 이와 같이 생성된 스피커모듈별 출력신호가 각각의 중음 스피커모듈(13a), 저음 스피커모듈(13b), 고음 스피커모듈(13c)로 전달된다.
상기와 같이 구성된 본 발명의 실시예에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템(100)은 플레이어 현재 시선방향 검출유닛(20)과 플레이어 조작기 현재정보 검출유닛(30)이 구비되어 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향이 검출되고, 소스 사운드정보 설정유닛(40) 및 이벤트 사운드정보 생성유닛(50)이 구비되어 인터랙티브 영상컨텐츠의 현재 위치를 기준으로 가상적으로 배치되는 가상 다채널 스피커시스템(70)이 설정되면서 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛이 설정/생성되며, 헤드폰 좌우측 출력신호 전달유닛(60)이 구비되어 플레이어의 좌우측 귀 부위로 각각 전달되는 채널별 소스 사운드유닛/채널별 이벤트 사운드유닛의 파형이 각각 중첩되면서 헤드폰 좌우측 출력신호가 생성되는 구조를 제공하므로, 인터랙티브 게임컨텐츠를 비롯한 각종 인터랙티브 영상컨텐츠를 HMD를 통해 체험하고 있는 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향을 기준으로 한 입체사운드가 실시간으로 생성되어 입체사운드 출력용 헤드폰(10)으로 출력되면서 입체사운드의 현실 근접도를 극대화시킬 수 있고, 이를 통해 사운드 체감도와 인터랙티브 영상에 대한 몰입도를 증대시킬 수 있게 된다.
또한 본 발명의 다른 실시예에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템(100)은 중음 스피커모듈(13a), 저음 스피커모듈(13b), 고음 스피커모듈(13c)이 원형으로 배열된 특수 구조의 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)이 구비되고, 이에 대응하는 스피커모듈별 출력신호 전달유닛(60')이 구비되어 각 중음 스피커모듈(13a), 저음 스피커모듈(13b), 고음 스피커모듈(13c)로 전달되는 채널별 소스 사운드유닛/채널별 이벤트 사운드유닛이 서로 중첩되면서 스피커모듈별 출력신호가 생성되는 구조를 제공하므로, 인터랙티브 게임컨텐츠를 비롯한 각종 인터랙티브 영상컨텐츠를 HMD를 통해 체험하고 있는 플레이어의 현재 시선방향 및 플레이어 조작기(게임용 총 등)의 현재 동작/현재 지향방향을 기준으로 한 입체사운드가 실시간으로 생성되어 입체사운드 출력용 헤드폰(10)으로 출력되면서 입체사운드의 현실 근접도를 극대화시킬 수 있고, 이를 통해 사운드 체감도와 인터랙티브 영상에 대한 몰입도를 증대시킬 수 있게 된다.
상술한 바와 같은, 본 발명의 실시예에 따른 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.
1 : HMD
2 : 플레이어 조작기
2a : 게임용 총
3 : 조작기 본체
4 : 컨트롤러
5 : 방향정보 검출센서
6 : 통신모듈
10 : 입체사운드 출력용 헤드폰
10a : 서라운드 디코더 기반 입체사운드 출력용 헤드폰
10b : 다채널 스피커모듈 구비형 입체사운드 출력용 헤드폰
10c : 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰
11a : 좌측 스피커유닛
11b : 우측 스피커유닛
111 : 소형 스피커모듈
12 : 서라운드 디코더
13a : 중음 스피커모듈
13b : 저음 스피커모듈
13c : 고음 스피커모듈
14 : 머리장착 캡
20 : 플레이어 현재 시선방향 검출유닛
21 : 영상촬영장치
22 : 머리 회전정보 검출센서
30 : 플레이어 조작기 현재정보 검출유닛
40 : 소스 사운드정보 설정유닛
50 : 이벤트 사운드정보 생성유닛
60 : 헤드폰 좌우측 출력신호 전달유닛
61 : 소스 사운드 헤드폰 좌측 출력신호 생성모듈
62 : 소스 사운드 헤드폰 우측 출력신호 생성모듈
63 : 이벤트 사운드 헤드폰 좌측 출력신호 생성모듈
64 : 이벤트 사운드 헤드폰 우측 출력신호 생성모듈
60' : 스피커모듈별 출력신호 전달유닛
70 : 가상 다채널 스피커시스템
100 : 입체사운드 실시간 제공시스템

Claims (5)

  1. 플레이어의 현재 시선방향을 기준으로 한 인터랙티브 영상컨텐츠가 출력되는 HMD(1)를 착용한 플레이어의 귀 부위에 장착되고, 인터랙티브 영상컨텐츠에 연동되는 서라운드 인코딩된 소스 사운드정보와 이벤트 사운드정보를 디코딩하는 서라운드 디코더(12)로부터 사운드정보를 전달받아 다채널 입체사운드를 출력시키는 서라운드 디코더 기반 입체사운드 출력용 헤드폰(10a), 복수의 소형 스피커모듈(111)이 구비된 다채널 스피커모듈 구비형 입체사운드 출력용 헤드폰(10b) 중에서 선택된 어느 하나로 출력되는 입체사운드 출력용 헤드폰(10)과;
    영상촬영장치(21)에 의한 영상촬영 또는 플레이어의 머리 회전정보를 검출하는 머리 회전정보 검출센서(22)를 통해 플레이어의 현재 시선방향을 검출하는 플레이어 현재 시선방향 검출유닛(20)과;
    플레이어 조작기(2)의 현재 동작정보, 플레이어 조작기(2)의 현재 지향방향 정보를 검출하는 플레이어 조작기 현재정보 검출유닛(30)과;
    인터랙티브 영상컨텐츠에 연동되는 소스 사운드정보를 설정된 복수의 채널별 소스 사운드유닛의 조합으로 설정하되, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키는 소스 사운드정보 설정유닛(40)과;
    플레이어 조작기(2)의 현재 동작정보 및 플레이어 현재 지향방향 기준 플레이어 조작기(2)의 현재 지향각도 정보에 연동되는 이벤트 사운드정보를 설정된 복수의 채널별 이벤트 사운드유닛의 조합으로 생성하되, 플레이어의 현재 시선방향 기준 플레이어 조작기(2)의 현재 지향각도에 맞추어진 음상(sound image)을 형성하는 채널별 이벤트 사운드유닛을 생성시키는 이벤트 사운드정보 생성유닛(50)과;
    소스 사운드정보 설정유닛(40)과 이벤트 사운드정보 생성유닛(50)으로부터 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛을 전달받고, 전달받은 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛으로부터 헤드폰 좌측 출력신호와 헤드폰 우측 출력신호를 생성시켜 입체사운드 출력용 헤드폰(10)의 좌측 스피커유닛(11a)과 우측 스피커유닛(11b)으로 전달하는 헤드폰 좌우측 출력신호 전달유닛(60)을 포함하여,
    플레이어 조작기(2)의 사용으로 발생되는 이벤트 사운드의 입체적인 구현이 가능해지도록 하는 것을 특징으로 하는 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템.
  2. 삭제
  3. 제 1항에 있어서,
    헤드폰 좌우측 출력신호 전달유닛(60)은,
    소스 사운드정보 설정유닛(40)으로부터 전달되는 채널별 소스 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 채널별 소스 사운드유닛의 파형을 중첩시켜 소스 사운드 헤드폰 좌측 출력신호를 생성시키는 소스 사운드 헤드폰 좌측 출력신호 생성모듈(61)과;
    소스 사운드정보 설정유닛(40)으로부터 전달되는 채널별 소스 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 채널별 소스 사운드유닛의 파형을 중첩시켜 소스 사운드 헤드폰 우측 출력신호를 생성시키는 소스 사운드 헤드폰 우측 출력신호 생성모듈(62)과;
    이벤트 사운드정보 생성유닛(50)으로부터 전달되는 채널별 이벤트 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 좌측 귀 부위로 전달되는 채널별 이벤트 사운드유닛의 파형을 중첩시켜 이벤트 사운드 헤드폰 좌측 출력신호를 생성시키는 이벤트 사운드 헤드폰 좌측 출력신호 생성모듈(63) 및;
    이벤트 사운드정보 생성유닛(50)으로부터 전달되는 채널별 이벤트 사운드유닛이 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 것을 가정하여 인터랙티브 영상컨텐츠의 가상공간 내 현재 위치의 플레이어 우측 귀 부위로 전달되는 채널별 이벤트 사운드유닛의 파형을 중첩시켜 이벤트 사운드 헤드폰 좌측 출력신호를 생성시키는 이벤트 사운드 헤드폰 우측 출력신호 생성모듈(64)을 포함하는 것을 특징으로 하는 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템.
  4. 플레이어의 현재 시선방향을 기준으로 한 인터랙티브 영상컨텐츠가 출력되는 HMD(1)를 착용한 플레이어의 머리 부위에 장착되고, 플레이어의 머리 부위를 둘러싸는 헬멧 구조로 이루어져 설정간격으로 원형 배열되는 복수의 중음 스피커모듈(13a), 복수의 저음 스피커모듈(13b), 복수의 고음 스피커모듈(13c)을 포함하는 구성의 원형배열 스피커모듈 구비형 입체사운드 출력용 헤드폰(10c)으로 이루어지며, 인터랙티브 영상컨텐츠에 연동되는 다채널 입체사운드가 출력되는 입체사운드 출력용 헤드폰(10)과;
    영상촬영장치(21)에 의한 영상촬영 또는 플레이어의 머리 회전정보를 검출하는 머리 회전정보 검출센서(22)를 통해 플레이어의 현재 시선방향을 검출하는 플레이어 현재 시선방향 검출유닛(20)과;
    플레이어 조작기(2)의 현재 동작정보, 플레이어 조작기(2)의 현재 지향방향 정보를 검출하는 플레이어 조작기 현재정보 검출유닛(30)과;
    인터랙티브 영상컨텐츠에 연동되는 소스 사운드정보를 설정된 복수의 채널별 소스 사운드유닛의 조합으로 설정하되, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키는 소스 사운드정보 설정유닛(40)과;
    플레이어 조작기(2)의 현재 동작정보 및 플레이어 현재 지향방향 기준 플레이어 조작기(2)의 현재 지향각도 정보에 연동되는 이벤트 사운드정보를 설정된 복수의 채널별 이벤트 사운드유닛의 조합으로 생성하되, 플레이어의 현재 시선방향 기준 플레이어 조작기(2)의 현재 지향각도에 맞추어진 음상(sound image)을 형성하는 채널별 이벤트 사운드유닛을 생성시키는 이벤트 사운드정보 생성유닛(50)과;
    소스 사운드정보 설정유닛(40)과 이벤트 사운드정보 생성유닛(50)으로부터 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛을 전달받고, 전달받은 채널별 소스 사운드유닛과 채널별 이벤트 사운드유닛으로부터 스피커모듈별 출력신호를 생성시켜 입체사운드 출력용 헤드폰(10)의 중음 스피커모듈(13a), 저음 스피커모듈(13b), 고음 스피커모듈(13c)로 전달하는 스피커모듈별 출력신호 전달유닛(60')을 포함하여,
    플레이어 조작기(2)의 사용으로 발생되는 이벤트 사운드의 입체적인 구현이 가능해지도록 하는 것을 특징으로 하는 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템.
  5. 제 1항 또는 제 4항에 있어서,
    소스 사운드정보 설정유닛(40)은,
    인터랙티브 영상컨텐츠의 가상공간 내에 플레이어의 현재 위치를 기준으로 가상적으로 배치되는 5.1채널 스피커 시스템, 7.1채널 스피커 시스템, 9.1채널 스피커 시스템, 11.2채널 스피커 시스템, 22.2채널 스피커 시스템 또는 원형 배열 스피커 시스템 중 어느 하나로 이루어진 가상 다채널 스피커시스템(70)을 설정하여 해당 다채널 스피커 시스템에 대응하는 복수의 채널별 소스 사운드유닛을 설정하게 되되, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 소스 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키게 되는 것이고,
    이벤트 사운드정보 생성유닛(50)은,
    인터랙티브 영상컨텐츠의 가상공간 내에 플레이어의 현재 위치를 기준으로 가상적으로 배치되는 5.1채널 스피커 시스템, 7.1채널 스피커 시스템, 9.1채널 스피커 시스템, 11.2채널 스피커 시스템, 22.2채널 스피커 시스템 또는 원형 배열 스피커 시스템 중 어느 하나로 이루어진 가상 다채널 스피커시스템(70)을 설정하여 해당 다채널 스피커 시스템에 대응하는 복수의 채널별 이벤트 사운드유닛을 생성하게 되되, 이벤트 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어 현재 위치 간 이격거리, 이벤트 사운드정보를 생성시키는 인터랙티브 영상컨텐츠의 가상공간 내 음원과 인터랙티브 영상컨텐츠의 가상공간 내 플레이어의 현재 시선방향 간 이격각도에 맞추어 복수의 채널별 소스 사운드유닛을 생성시키게 되는 것을 특징으로 하는 HMD 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템.
KR1020160155285A 2016-11-21 2016-11-21 Hmd 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템 KR101851361B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160155285A KR101851361B1 (ko) 2016-11-21 2016-11-21 Hmd 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160155285A KR101851361B1 (ko) 2016-11-21 2016-11-21 Hmd 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템

Publications (1)

Publication Number Publication Date
KR101851361B1 true KR101851361B1 (ko) 2018-04-23

Family

ID=62088986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160155285A KR101851361B1 (ko) 2016-11-21 2016-11-21 Hmd 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템

Country Status (1)

Country Link
KR (1) KR101851361B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210130486A (ko) * 2020-04-22 2021-11-01 연세대학교 산학협력단 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227806A (ja) * 2007-03-12 2008-09-25 Yamaha Corp 骨伝導スピーカ装置
US20150245159A1 (en) * 2008-10-27 2015-08-27 Sony Computer Entertainment Inc. Sound localization for user in motion
US20160119731A1 (en) * 2014-10-22 2016-04-28 Small Signals, Llc Information processing system, apparatus and method for measuring a head-related transfer function
JP2016158794A (ja) * 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227806A (ja) * 2007-03-12 2008-09-25 Yamaha Corp 骨伝導スピーカ装置
US20150245159A1 (en) * 2008-10-27 2015-08-27 Sony Computer Entertainment Inc. Sound localization for user in motion
US20160119731A1 (en) * 2014-10-22 2016-04-28 Small Signals, Llc Information processing system, apparatus and method for measuring a head-related transfer function
JP2016158794A (ja) * 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210130486A (ko) * 2020-04-22 2021-11-01 연세대학교 산학협력단 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템
KR102372792B1 (ko) * 2020-04-22 2022-03-08 연세대학교 산학협력단 사운드의 병행 출력을 통한 사운드 제어 시스템 및 이를 포함하는 통합 제어 시스템

Similar Documents

Publication Publication Date Title
US10304446B2 (en) Self calibration for smartphone goggles
EP3008698B1 (en) Head-mountable apparatus and systems
US20110157327A1 (en) 3d audio delivery accompanying 3d display supported by viewer/listener position and orientation tracking
EP2942980A1 (en) Real-time control of an acoustic environment
JP7177054B2 (ja) ユーザ頭部回転ガイド付きヘッドマウントディスプレイ
US11026024B2 (en) System and method for producing audio data to head mount display device
WO2019039378A1 (ja) 情報処理装置および画像表示方法
WO2019002668A1 (en) METHODS, APPARATUS, SYSTEMS AND COMPUTER PROGRAM PRODUCTS FOR PERMITTING THE USE OF MEDIATED REALITY VIRTUAL CONTENT
KR101851360B1 (ko) 다채널 스피커 기반 플레이어 적응형 입체사운드 실시간 제공시스템
US11806621B2 (en) Gaming with earpiece 3D audio
WO2019073303A1 (en) METHOD AND APPARATUS FOR PROVIDING AUDIO CONTENT IN IMMERSIVE REALITY
GB2517056A (en) Head-mountable apparatus and systems
JP2020501275A (ja) 画像処理システムおよび方法
KR101851361B1 (ko) Hmd 연동 헤드폰 기반 플레이어 적응형 입체사운드 실시간 제공시스템
JP6616023B2 (ja) 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム
CN109791436B (zh) 用于提供虚拟场景的装置及方法
JP7193539B2 (ja) データ処理
GB2517008A (en) Head-mountable apparatus and systems
EP3673348B1 (en) Data processing device, method and non-transitory machine-readable medium for detecting motion of the data processing device
GB2558279A (en) Head mountable display system
US10902617B2 (en) Data processing for position detection using optically detectable indicators
CN206517592U (zh) 一种交互式3d音频系统
JPH08336166A (ja) 映像視聴装置
TWI733219B (zh) 音頻調整方法以及音頻調整裝置
WO2018198777A1 (ja) 仮想現実画像提供装置および仮想現実画像提供用プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant