KR101988244B1

KR101988244B1 - 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법

Info

Publication number: KR101988244B1
Application number: KR1020170084798A
Authority: KR
Inventors: 정용철
Original assignee: 정용철
Priority date: 2017-07-04
Filing date: 2017-07-04
Publication date: 2019-06-12
Also published as: KR20190004501A

Abstract

본 발명은 HMD(Head Mounted Display) 등의 VR(Virtual Reality, 가상현실) 단말을 통해 가상현실을 체험하는 사용자의 시선을 추적하여 사용자의 시선 방향에 따라 변화된 가상현실 영상에 적합한 오디오를 출력할 때, VR 단말을 이용하는 사용자의 이전 움직임에 대한 정보를 참조하여 미래의 움직임 방향을 적어도 하나 이상 예측한 후 움직임 방향에 대한 예측정보와 현재의 좌표정보 비교를 통해 오디오 출력의 조정을 신속하게 처리하고, 상기 사용자의 시선추적 과정에서의 움직임 센싱 노이즈를 효과적으로 제거할 수 있도록 하는 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법에 관한 것이다.

Description

사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법{APPARATUS AND METHOD FOR VIRTUAL REALITY SOUND PROCESSING ACCORDING TO VIEWPOINT CHANGE OF A USER}

본 발명은 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 HMD(Head Mounted Display) 등의 VR(Virtual Reality, 가상현실) 단말을 통해 가상현실을 체험하는 사용자의 시선을 추적하여 사용자의 시선 방향에 따라 변화된 가상현실 영상에 적합한 오디오를 출력할 때, VR 단말을 이용하는 사용자의 이전 움직임에 대한 정보를 참조하여 미래의 움직임 방향을 적어도 하나 이상 예측한 후 움직임 방향에 대한 예측정보와 현재의 좌표정보 비교를 통해 오디오 출력의 조정을 신속하게 처리하고, 상기 사용자의 시선추적 과정에서의 움직임 센싱 노이즈를 효과적으로 제거할 수 있도록 하는 가상현실 사운드 처리 장치 및 그 방법에 관한 것이다.

최근 들어 양안 시차를 이용하여 평면적인 디스플레이 하드웨어에서 가상적으로 입체감을 느낄 수 있는 3D 입체영상 기술의 이용이 활발해지고 있다. 3D 입체영상이란 2D 평면정보와 달리 깊이 및 공간 형상 정보를 동시에 제공하는 보다 사실적인 영상을 말한다. 즉 3D 입체영상은 이미 학습한 경험이 있는 볼륨(Volume)을 갖는 환경을 인간의 양안(즉 좌/우측 눈)이 인식하여 뇌에서 정리하는 과정에서 종합되는 공간인식 개념의 영상으로, 현장에서 실물을 보는 듯한 임장감, 사실감 및 가상 현실감 등을 제공한다.

이러한 3D 입체영상 기술은 컴퓨터를 이용하여 만들어낸 가공의 상황이나 환경을 사람의 감각기관을 통해 느끼게 하여 사용자가 몰입감을 느끼고 상호작용하게 하는 기술인 VR, VR의 한 분야로 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법인 AR(Augmented Reality, 증강현실), 가상현실과 실제 환경을 접목하여 만들어낸 세상으로 기반이 현실인가 가상인가에 따라 증강가상과 증강현실로 나뉘는 MR(Mixed Reality, 혼합현실) 등으로 구분할 수 있다.

또한, 3D 입체영상 기술은 대형 시스템 기술 및 휴대형 시스템 기술로 분류가 가능하다.

대형 시스템 기술은 대규모 영상을 출력하는 프로젝션 모듈과 영상이 투여되는 스크린 모듈, 그리고 양안 시각(binocular viewing)을 제시하기 위한 좌우 시각 정보 분리 모듈, 예를 들면 프로젝터 부착 편광 필터, 입체 안경 등으로 구성되며, 테마파크의 가상현실 체험 장이나 대형 입체 영화 상영관 같이 대규모 사용자가 동시에 입체 영상 콘텐츠를 즐기는 목적으로 사용되고 있다.

휴대형 시스템 기술의 대표적인 형태는 머리 착용형 디스플레이 장치(HMD)/얼굴 착용형 디스플레이 장치(FMD; Face Mounted Display)이다. 이런 장치들은 초소형 디스플레이 장치를 안경과 유사한 구조로 광학 확대 구조부와 통합된 구조이며, 입체 시각 디스플레이를 위해서 좌우 눈 부분을 담당하는 별도의 모듈과 2개 채널의 영상 정보를 입력받는 구조를 가지고 있다. 이는 개인용 정보를 가시화하는 환경이나 모바일 컴퓨팅과 같이 높은 신체 자유도를 요구하는 조건에서 활용되고 있다.

특히, 현재 대부분의 사람이 사용하고 있는 스마트폰 등의 통신 단말기와 결합하여 손쉽게 사용할 수 있는 장점으로 인하여 HMD와 같은 VR 단말의 사용이 더욱 활발해지고 있으며, VR 산업은 우리의 생활에 깊숙하게 파고들어 실질적인 변화와 혁신을 줄 것으로 전망된다.

그리고 VR 기술산업은 여러 기술과 학문이 집약된 복합 산업으로서, 의료, 교육, 게임 등의 전방산업과, 디스플레이, SW, 통신 등과 같은 후방산업의 동반성장을 촉진할 것으로 기대된다.

예를 들어, 외상 후 스트레스 장애, 각종 공포증(고소, 대인, 폐쇄), 우울증에 대한 치료 기법으로 확산되는 추세에 있고, 인지기능이 발달 중인 유아 및 아동 교육이나, 특정 교육(체험형 인성/적성 검사, 스포츠 훈련, 토론/발표 훈련 등)에 응용되어 실제 교육과 같은 효과가 기대된다. 그리고 가상현실 시뮬레이션이 활발히 도입되고 있는 외과수술, 산업훈련, 군사훈련, 항공기 조종, 소방훈련 등의 산업용/군사용 교육도 주요 대상이 될 수 있다.

하지만, 상술한 바와 같은 HMD 등의 VR 단말은, 사용자가 움직이는 시선 방향에 따라 적합한 오디오를 출력하는 과정에서 사용자의 시선추적에 관련된 움직임 센싱 노이즈(즉 통상적인 움직임이 아닌 급격한 움직임이나 별다른 의미 없이 상하좌우로 두리번거리는 듯한 비정상적인 움직임 등)를 효율적으로 제거하지 못하면, 사용자의 미세한 움직임에도 오디오 출력이 빈번하게 조정되기 때문에 사용자가 VR 단말을 사용하면 할수록 피로도가 급격하게 증가되어 건강을 해칠 수 있으며, 가상현실 영상의 몰입도가 현저하게 저하되는 문제가 있었다.

또한 사용자의 시선추적에 대한 움직임 센싱 노이즈를 제거하지 못함에 따라 오디오 출력이 빈번하게 변경되면, 오디오 출력의 정확도가 떨어짐은 물론, 오디오 출력 변경에 따른 지연(delay) 현상이 발생되며, 결과적으로 VR 단말의 품질이 현격하게 저하되는 문제가 있었다.

따라서 본 발명에서는 VR 단말을 이용하는 사용자의 시선 추적을 통해 사용자의 시선 방향에 따라 변화된 가상현실 영상에 적합한 오디오를 출력할 때, 상기 사용자의 시선추적 과정에서의 움직임 센싱 노이즈를 효율적으로 제거함으로써, 사용자가 오디오 출력의 빈번한 조정으로 인한 피로감을 덜 느끼면서 입체감 있는 가상현실 체험을 수행할 수 있는 방안을 제시하고자 한다.

특히, 본 발명에서는 사용자의 이전 움직임에 대한 정보를 참조하여 미래의 움직임 방향을 적어도 하나 이상 예측하고, 예측정보와 현재 이동한 좌표정보의 비교를 통해 오디오 출력의 조정을 처리함으로써, 사용자의 시선 변화에 따른 오디오 출력의 정확도 및 속도를 높이며, 오디오 출력의 지연을 줄일 수 있는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제0912075호(2009.08.06.)는 가상현실을 위한 오디오 음상 제어 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 가상현실에서 사용자에 의해 미리 정해진 초기 방향으로부터 변경하고자 하는 방향 간의 각도 값(이하, 변경 각도 값)에 따라 오디오 데이터의 각 채널에 대한 신호 파워를 변경하여 서라운드 음상을 제어함으로써, 가상현실에서 재생되는 신호가 사용자에 의해 제어된 각도만큼 그 방향이 변화되어 들릴 수 있게 하는 것이다.

상기 선행기술은 청취 위치를 기준으로 한 각 채널 스피커의 방향을 기반으로 각 채널 신호를 사용자의 제어에 의해 변화된 각도에 따라, 인접 채널 스피커에 인가되는 파워 비율을 조절하는 패닝 방법에 의해 실제 재생되는 신호가 사용자에 의해 제어된 각도만큼 그 방향이 변화되어 들리도록 하는 효과를 제공하는 것으로서, 사용자 위치에 따라 스피커 출력을 다르게 제어한다는 점에서 본 발명의 사용자가 바라보는 방향에 적합한 오디오를 조정하여 출력하는 구성과 일부 유사성이 있다.

하지만, 상기 선행기술에는 본 발명에서 제시하고 있는 사용자의 시선 추적을 통해 사용자의 시선 방향에 적합한 오디오를 출력할 때 시선추적 과정에서의 움직임 센싱 노이즈를 효율적으로 제거하여 오디오 출력의 빈번한 조정으로 인한 피로감을 줄이면서 입체감 있는 가상현실 체험을 수행하도록 하는 기술적 특징에 대한 기재는 물론, 이를 암시하거나 추론할 수 있는 내용의 기재가 없다.

또한 사용자의 이전 움직임에 대한 정보를 참조하여 미래의 움직임 방향을 복수 개 예측하고, 예측정보와 현재 이동한 좌표정보의 비교를 통해 오디오 출력의 조정을 처리하는 기술적 구성은 본 발명만의 특징적 구성이다.

또한, 한국등록특허 제1683385호(2016.11.30.)는 HMD 장비의 헤드트레킹 정보 연동하여 입체감 있는 음향을 제공할 수 있는 레코딩 및 재생 솔루션을 제공하는 360도 실사 VR 체험공간에 적용될 입체음향 레코딩 및 재생 방법에 관한 것이다.

상기 선행기술은 홀로포닉스 녹음 기술을 기반으로 하는 스테레오 기술과 사용자의 시각에 따라 위상이 변하는 입체음향기술을 알맞게 조절하여 360도 VR 체험공간의 장점을 부각시킬 수 있는 효과를 제공하는 것으로서, 사용자의 시각에 따라 위상이 변하는 사운드를 구현하는 점에서 본 발명의 사용자가 바라보는 방향에 적합한 오디오를 조정하여 출력하는 구성과 일부 유사성이 있다.

하지만, 본 발명은 사용자의 시선 추적을 통해 사용자의 시선 방향에 적합한 오디오를 출력할 때 시선추적 과정에서의 움직임 센싱 노이즈를 효율적으로 제거하여 오디오 출력의 빈번한 조정으로 인한 피로감을 줄이면서 입체감 있는 가상현실 체험을 수행하도록 하는 기술적 구성을 제시하고 있기 때문에, 상기 선행기술의 사용자의 시각에 따라 위상이 변하는 입체음향기술을 알맞게 조절하는 구성과 비교해 볼 때 차이점이 분명하다.

즉 상기 선행기술들은 사용자 위치에 따라 스피커 출력을 다르게 제어하는 구성, 사용자의 시각에 따라 위상이 변하는 사운드를 구현하는 구성을 제시하고 있지만, 본 발명의 기술적 특징인 사용자의 시선 방향에 따라 변화된 가상현실 영상에 적합한 오디오를 출력할 때 시선추적 과정에서의 움직임 센싱 노이즈를 효율적으로 제거하는 구성, 사용자의 이전 움직임에 대한 정보를 참조하여 미래의 움직임 방향을 사전에 복수 개 예측한 후 예측정보와 현재 이동한 좌표정보의 비교를 통해 오디오 출력의 조정을 처리하는 구성에 대해서는 아무런 기재가 없기 때문에 기술적 차이점이 분명한 것이다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, VR 단말을 통해 입체영상을 즐기는 사용자의 시선에 따라 상기 VR 단말의 이동 궤적을 추적하여 사용자의 시선 방향에 따라 변화된 가상현실 영상에 적합한 오디오를 출력하도록 함으로써, 사용자가 입체감 있는 오디오를 통해 몰입감을 높이면서 가상현실 영상을 즐길 수 있도록 하는 것을 목적으로 한다.

또한 본 발명은 VR 단말을 이용하는 사용자가 시선을 바꾸면, 이전의 움직임에 대한 정보를 참조하여 미래의 움직임 방향을 적어도 하나 이상 예측하고, 움직임 방향에 대한 예측정보와 현재 이동한 좌표정보의 비교를 통해 오디오 출력의 조정을 신속하게 처리함으로써, 사용자의 시선 변화에 따른 오디오 출력의 정확도 및 속도를 높이며, 오디오 출력 변경과정에서의 지연을 줄일 수 있도록 하는 것을 다른 목적으로 한다.

또한 본 발명은 단위시간당 이동거리나 속도에 따라 기 설정되어 있는 임계값(threshold)을 참조하여 VR 단말을 이용하는 사용자의 시선추적에 따른 움직임 센싱 노이즈를 효과적으로 제거함으로써, 급격한 변화나 의미 없는 움직임을 노이즈가 아닌 정상적인 움직임으로 판단하여 오디오 출력이 조정되는 것을 방지하도록 하는 것을 또 다른 목적으로 한다.

또한 본 발명은 사용자의 과도한 방향전환이나 의미 없는 비정상적인 움직임을 정상적인 움직임으로 인식하여 오디오 출력을 빈번하게 조정함에 따라 발생할 수 있는 사용자의 피로감을 줄이도록 하며, 이를 통해 VR 단말을 장시간 이용하더라도 건강에 악영향을 미치지 않도록 하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 가상현실 사운드 처리 장치는, 사용자의 시선 방향을 추적하여 예측하는 시선방향 트래킹부 및 상기 예측한 사용자의 시선 방향에 따라 오디오 출력을 조정하는 오디오 출력 조정부를 포함하며, 상기 시선 방향에 따라 가상현실 영상의 장면이 변화되고, 상기 변화된 가상현실 영상의 장면에 따라 사운드의 출력을 변화시켜 출력하는 것을 특징으로 한다.

또한 상기 시선방향 트래킹부는, 이전 단위시간의 시선 움직임 정보를 토대로 향후의 시선 방향을 적어도 하나 이상 예측하고, 상기 예측한 방향 각각에 대한 오디오 출력레벨의 파라미터를 확인하여 준비하는 예측부 및 단위시간 경과 후 측정된 현재좌표를 상기 예측부에서 예측한 적어도 하나 이상의 예측좌표와 비교하고, 상기 현재좌표와 가장 근접한 예측좌표의 파라미터를 토대로 오디오 출력레벨을 조정하기 위한 제어신호를 생성하여 상기 오디오 출력 조정부로 출력하는 분석부를 포함하는 것을 특징으로 한다.

또한 상기 시선방향 트래킹부는, 가속도, 지자계, 위치 또는 이들의 조합을 포함한 센싱정보를 단위시간별로 수집하는 센싱정보 수집부 및 단위시간별로 수집되는 센싱정보를 평탄화(smoothing)하는 평탄화부를 더 포함하는 것을 특징으로 한다.

또한 상기 분석부는, 단위시간당 이동거리, 속도 또는 이들의 조합을 포함한 센싱정보와 기 설정된 임계값을 비교하고, 비교결과 상기 센싱정보가 상기 임계값을 벗어나는 급격한 회전이나 이동, 무의미한 움직임 또는 이들의 조합을 포함하는 경우, 노이즈로 판단하여 사용자의 시선 방향에 따른 오디오 출력레벨의 조정을 수행하지 않고 현재의 출력상태를 유지하도록 하는 것을 특징으로 한다.

또한 상기 오디오 출력 조정부는, 상기 시선방향 트래킹부에서 추적한 사용자의 시선 방향에 따라 오디오 출력레벨을 자체적으로 조정하여 처리하거나, 또는 네트워크를 통해 미디어 서버로 상기 시선방향 트래킹부에서 추적하여 예측한 좌표정보를 전송한 다음 상기 미디어 서버로부터 상기 예측한 좌표에 따라 오디오 출력레벨이 조정된 사운드를 제공받아 처리하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 가상현실 사운드 처리 방법은, VR 단말의 시선방향 트래킹부에서 사용자의 시선 방향을 추적하여 예측하는 시선방향 트래킹 단계 및 상기 예측한 사용자의 시선 방향에 따라 오디오 출력을 조정하는 오디오 출력 조정 단계를 포함하며, 상기 시선 방향에 따라 가상현실 영상의 장면이 변화되고, 상기 변화된 가상현실 영상의 장면에 따라 사운드의 출력을 변화시켜 출력하는 것을 특징으로 한다.

또한 상기 트래킹 처리 단계는, 상기 시선방향 트래킹부에서 이전 단위시간의 시선 움직임 정보를 토대로 향후의 시선 방향을 적어도 하나 이상 예측하고, 상기 예측한 방향 각각에 대한 오디오 출력레벨의 파라미터를 확인하여 준비하는 예측 단계 및 단위시간 경과 후 측정된 현재좌표를 상기 예측 단계에서 예측한 적어도 하나 이상의 예측좌표와 비교하고, 상기 현재좌표와 가장 근접한 예측좌표의 파라미터를 토대로 오디오 출력레벨을 조정하기 위한 제어신호를 생성하여 상기 오디오 출력 조정부로 출력하는 분석 단계를 포함하는 것을 특징으로 한다.

또한 상기 트래킹 처리 단계는, 상기 시선방향 트래킹부에서 가속도, 지자계, 위치 또는 이들의 조합을 포함한 센싱정보를 단위시간별로 수집하는 센싱정보 수집 단계 및 상기 센싱정보 수집 단계를 통해 단위시간별로 수집되는 센싱정보를 평탄화하는 평탄화 수행 단계를 더 포함하는 것을 특징으로 한다.

또한 상기 분석 단계는, 단위시간당 이동거리, 속도 또는 이들의 조합을 포함한 센싱정보와 기 설정된 임계값을 비교하는 단계 및 비교결과 상기 센싱정보가 상기 임계값을 벗어나는 급격한 회전이나 이동, 무의미한 움직임 또는 이들의 조합을 포함하는 경우, 노이즈로 판단하여 사용자의 시선 방향에 따른 오디오 출력레벨의 조정을 수행하지 않고 현재의 출력상태를 유지하도록 하는 단계를 더 포함하는 것을 특징으로 한다.

또한 상기 오디오 출력 조정 단계는, 상기 시선방향 트래킹부에서 추적한 사용자의 시선 방향에 따라 상기 오디오 출력 조정부에서 오디오 출력레벨을 자체적으로 조정하여 처리하거나, 또는 상기 오디오 출력 조정부에서 네트워크를 통해 미디어 서버로 상기 시선방향 트래킹부에서 추적하여 예측한 좌표정보를 전송한 다음, 상기 미디어 서버로부터 상기 예측한 좌표에 따라 오디오 출력레벨이 조정된 사운드를 제공받아 처리하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법에 따르면, VR 단말을 이용하는 사용자의 움직임에 따라 상기 VR 단말의 이동 궤적을 추적하여 사용자의 시선 방향에 따라 변화된 가상현실 영상에 적합한 오디오를 출력함으로써, 사용자가 입체감 있는 오디오를 통해 몰입감을 높이면서 가상현실 영상을 즐길 수 있는 효과가 있다.

또한 VR 단말을 이용하는 사용자의 시선 방향을 추적할 때, 이전의 움직임에 대한 정보를 참조하여 미래의 움직임 방향을 적어도 하나 이상 예측한 후 예측정보와 현재 이동한 좌표정보를 비교하여 오디오 출력을 조정함으로써, 사용자의 시선 변화에 따른 오디오 출력의 정확도 및 속도를 높일 수 있으며, 오디오 출력 변경과정에서 발생하는 지연을 줄여 품질 높은 가상현실을 구현할 수 있는 효과가 있다.

또한 VR 단말을 이용하는 사용자가 시선을 바꿀 때 급격한 변화나 의미 없는 움직임을 노이즈로 판단하여 오디오 출력을 조정하지 않도록 함으로써, 오디오 출력의 빈번한 조정으로 발생할 수 있는 사용자의 피로감을 줄일 수 있으며, VR 단말을 장시간 이용하더라도 건강에 악영향을 미치지 않는 효과가 있다.

도 1은 본 발명이 적용된 사용자의 시선 변화에 따른 가상현실 사운드 처리과정을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치의 구성을 개략적으로 나타낸 도면이다.
도 3은 도 2의 VR 단말의 구성을 상세하게 나타낸 도면이다.
도 4는 도 3의 시선방향 트래킹부의 구성을 상세하게 나타낸 도면이다.
도 5는 도 2의 VR 단말에서 사용자 시선을 추적할 때의 움직임 방향 예측과정을 설명하기 위해 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 사용자의 시선 변화에 따른 가상현실 사운드 처리 방법의 동작과정을 상세하게 나타낸 순서도이다.
도 7은 도 6의 사용자 시선 방향의 트래킹에 대한 동작과정을 보다 상세하게 나타낸 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

본 발명에서는 가상현실 영상을 입체영상에 대해서 주로 설명하고 있으나, 가상현실 영상은 반드시 입체영상이 아니더라도 사용자에게 가상현실을 전달할 수 있는 영상이면 본 발명의 기술적 사상에 포함되는 것으로 해석되어야 한다.

도 1은 본 발명이 적용된 사용자의 시선 변화에 따른 가상현실 사운드 처리과정을 설명하기 위한 개념도이다.

도 1에 도시된 바와 같이, 본 발명은 VR 단말(100)을 사용하는 사용자가 가상현실 영상을 이용하는 과정에서 현재 위치에서 상하좌우로 머리를 움직여 시선을 바꾸면, VR 단말(100)에서 사용자가 움직인 시선 방향을 추적하여 가상현실 입체영상을 3차원 공간상에 표시함과 동시에 사용자가 바라보고 있는 시선 방향에 따라 변화된 가상현실 영상에 적합한 오디오 신호로 변경하여 출력한다.

즉 상기 VR 단말(100)은 사용자가 바라보는 방향을 기준으로 가상현실 입체영상을 변경시켜 표시하면서 각 채널(예를 들어, 통상적인 5.1 채널, 2.1 채널 등을 의미함)의 오디오 출력방향, 세기 등의 오디오 출력레벨을 조절해 줌으로써, 입체영상을 확인하는 사용자가 해당 영상에 최적화된 오디오를 청취할 수 있도록 하는 것이다.

특히, 상기 VR 단말(100)은 사용자의 시선 방향을 추적하여 오디오 출력레벨을 조정하는 과정에서, 사용자 시선 추적에 따른 움직임 센싱 노이즈를 효율적으로 제거하여, 사용자의 움직임에 너무 민감하게 오디오 출력레벨이 조절되지 않도록 한다.

예를 들어 사용자의 머리 움직임이 특정 방향으로 서서히 움직이는 것이 아닌 너무 급격하게 이루어지거나 움직이는 과정에서 무의미하게 흔드는 등의 행동으로 인해 기 설정되어 있는 오디오 출력레벨의 조정이 필요한 임계값을 벗어나는 움직임으로 판단되면, 상기 VR 단말(100)은 해당 사용자의 움직임을 정상적인 움직임으로 판단하지 않고 노이즈로 처리하여 사용자의 시선이 변화하더라도 오디오 출력레벨의 조정을 수행하지 않는다.

즉 사용자의 시선 방향에 따른 오디오 출력레벨의 조정을 수행하지 않고 현재의 출력상태를 그대로 유지함으로써, 사용자 시선 변경에 따른 오디오 출력의 빈번한 조정으로 인해 발생할 수 있는 사용자의 피로감을 줄이고, 장시간동안 이용하여도 건강에 해로운 영향을 미치지 않으며, VR 단말(100)을 이용하는 동안 사용자가 입체감 있는 오디오를 즐길 수 있도록 하는 것이다.

한편 상기 VR 단말(100)은 기 설정된 단위시간별로 사용자의 시선 움직임 정보를 추적하는데, 우선 이전 단위시간의 시선 움직임 정보를 토대로 향후의 시선 방향을 적어도 하나 이상 예측하고, 예측된 각각의 방향별 오디오 출력레벨의 파라미터를 확인한다. 즉 사용자의 시선 방향에 따라 변화할 오디오 출력레벨을 사전에 복수 개 준비해 둠으로써, 실제 사용자가 움직인 시선 방향과 가장 근접한 좌표에 설정된 오디오를 즉시 출력할 수 있도록 하는 것이다. 이는 오디오 출력의 조정을 신속하게 처리하여 사용자의 시선 변화에 따른 오디오 출력의 정확도 및 속도를 크게 높이고, 오디오 출력 변경과정에서의 지연을 줄여 VR 단말(100)의 품질을 높이기 위함이다.

이후 상기 VR 단말(100)은 단위시간이 경과되어 측정한 현재좌표와 사전에 수행한 예측좌표와 비교하여 현재좌표와 가장 근접한 예측좌표를 확인하고, 가장 근접한 예측좌표의 파라미터를 토대로 오디오 신호를 믹싱 및 마스터링하여 오디오 출력레벨의 조정을 수행한 다음 스피커 등을 통해 출력한다.

이때 상기 믹싱은 오디오 신호에 특정 효과를 더해서 사용자가 원하는 소리를 조정하는 작업이고, 상기 마스터링은 상기 믹싱과정을 통해 소리를 완성한 후 최종적으로 조율해 콘텐츠에 담아내는 과정을 말한다.

한편 본 발명은 상기 설명에서와 같이 HMD 등의 VR 단말(100) 이외에, 안경을 이용한 편광방식, 셔터방식 및 에너글리프(anaglyph), 안경을 이용하지 않는 렌티큘러(lenticular) 렌즈방식 및 시차 장벽(parallax barrier) 방식 등 공지의 3D 입체영상 기술이 적용된 모든 전자기기에 적용 가능함은 물론이다.

도 2는 본 발명의 일 실시예에 따른 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치의 구성을 개략적으로 나타낸 도면이다.

도 2에 도시된 바와 같이 본 발명은, VR 단말(100), 통신 단말(200), 미디어 서버(300), 데이터베이스(400) 등으로 구성된다.

상기 VR 단말(100)은 고글 형태의 HMD로 구성되는 것이 가장 일반적인 구성 형태로서, 도 2a에 도시된 바와 같이 전면에 스마트폰 등의 통신 단말(200)이 거치되어 상기 통신 단말(200)에서 제공되는 3D 포맷의 영상을 입체영상으로 출력하거나, 또는 도 2b에 도시된 바와 같이 네트워크를 통해 미디어 서버(300)와 유선이나 무선으로 연결되어 스트리밍 형태로 입체영상을 출력한다.

이때 상기 통신 단말(200)은 도 2b에서와 같이 네트워크를 통해 상기 미디어 서버(300)에 접속하여 3D 포맷 영상을 사전에 다운로드받거나 스트리밍 형태로 제공받을 수 있음은 물론이다.

또한 상기 VR 단말(100)은 상기 통신 단말(200)에서 재생되는 3D 포맷 영상 또는 미디어 서버(300)로부터 전송받은 3D 포맷 영상을 눈의 위치, 시선 방향, 초점 등의 사용자 시각정보를 토대로 가사현실 입체영상으로 출력한다. 즉 상기 VR 단말(100)은 기기 내에 구비되어 이동관성, 회전관성, 방위각 등을 측정하는 IMU(Inertial Measurement Unit) 센서를 통해 검출되는 데이터를 토대로 사용자의 시각정보를 추적하여 확인한다.

또한 상기 VR 단말(100)은 가상현실 입체영상을 즐기는 사용자가 상하좌우 자유롭게 위치를 변경시킴에 따라 사용자가 움직인 시선 방향을 추적하여 가상현실 입체영상을 3차원 공간상에 표시하는 것과 함께 사용자의 시선 변화에 따라 변화된 가상현실 입체영상에 적합한 오디오의 출력방향, 세기 등의 오디오 출력레벨을 조정함으로써, 사용자가 자신이 바라보는 방향에 최적화된 가상현실 입체영상과 오디오를 이용할 수 있도록 한다.

또한 상기 VR 단말(100)은 사용자의 시선 방향을 추적하여 오디오 출력레벨을 조정할 때, 사용자의 움직임에 너무 민감하게 반응하여 오디오 출력레벨이 조절되지 않도록 노이즈 제거를 수행한다. 예를 들어 사용자의 움직임이 기 설정된 임계값보다 빠르게 움직이거나 짧은 거리가 이동되는 경우, 사용자의 시선이 변경되더라도 오디오 출력레벨은 조정하지 않도록 한다.

이때 상기 VR 단말(100)은 사용자의 이전 움직임에 대한 정보를 참조하여 미래의 움직임 방향을 복수 개 예측하고, 예측정보와 현재 이동한 좌표정보의 비교를 통해 오디오 출력의 조정을 처리한다. 이에 대한 과정은 도 4와 도 5를 참조하여 상세하게 설명하기로 한다.

통신 단말(200)은 통상적인 스마트폰 등의 통신기기로서, 3D 포맷 영상이 저장되어 있으며, 상기 VR 단말(100)의 전면에 거치되어 사용된다.

미디어 서버(300)는 각종 3D 포맷 영상을 데이터베이스(400)에 저장, 관리하면서, 네트워크를 통해 통신 접속된 상기 VR 단말(100)로 3D 포맷 영상을 스트리밍 형태로 제공하거나 해당 VR 단말(100)로 다운로드한다.

도 3은 상기 도 2의 VR 단말의 구성을 상세하게 나타낸 도면이고, 도 4는 도 3의 시선방향 트래킹부의 구성을 상세하게 나타낸 도면이며, 도 5는 도 2의 VR 단말에서 사용자 시선을 추적할 때의 움직임 방향 예측과정을 설명하기 위해 나타낸 도면이다.

도 3에 도시된 바와 같이 본 발명의 VR 단말(100)은, 영상 입력부(110), IMU 센서(120), 시선방향 트래킹부(130), 오디오 출력 조정부(140), 오디오 출력부(150), 입체영상 처리부(160), 입체영상 출력부(170) 등으로 구성된다. 이때 상기 VR 단말(100)은 상기 구성 이외에도 도면에 도시하지 않았지만 전원부, 메모리, 버튼 조작부 등을 더 구비할 수 있다.

영상 입력부(110)는 VR 단말(100)에 거치된 통신 단말(200)로부터 3D 포맷의 영상신호를 입력받거나, 또는 네트워크를 통해 연결된 미디어 서버(300)로부터 3D 포맷의 영상신호를 입력받는다.

IMU 센서(120)는 가속도센서(121), 자이로센서(122), 위치센서(123) 등이 일체로 통합된 통합 센서로서, VR 단말(100)을 착용한 사용자의 움직임에 따른 가속도, 지자계, 위치 또는 이들의 조합을 포함한 정보를 센싱하고, 센싱정보를 시선방향 트래킹부(130)로 제공한다.

시선방향 트래킹부(130)는 상기 IMU 센서(120)로부터 입력되는 센싱정보를 토대로 사용자의 시선을 추적하여 향후의 시선 방향을 예측하는 기능을 수행하는 부분으로서, 사용자의 상하좌우 회전에 따른 헤드 움직임에 관련된 방향, 거리 등의 정보와, 사용자의 눈의 위치와 시선 방향, 초점 정보 등을 포함한 사용자 시각정보를 확인하고, 사용자의 시선 변화에 관련된 정보를 오디오 출력 조정부(140)와 입체영상 처리부(160)로 출력한다.

이때 상기 시선방향 트래킹부(130)는 도 4에 도시된 바와 같이, 센싱정보 수집부(131), 평탄화부(132), 방향 예측부(133), 분석부(134) 등으로 구성된다.

센싱정보 수집부(131)는 상기 IMU 센서(120)로부터 가속도, 지자계, 위치 또는 이들의 조합을 포함한 센싱정보를 수집한다. 이때 상기 센싱정보 수집부(131)는 기 설정된 단위시간에 따라 상기 IMU 센서(120)로부터 센싱정보를 수집한다.

평탄화부(132)는 상기 센싱정보 수집부(131)로부터 단위시간별로 수집되는 센싱정보를 평탄화하고, 평탄화한 정보를 방향 예측부(133)로 출력한다.

이때 상기 평탄화부(132)는 움직임 센싱 노이즈가 있는 기존 측정값을 최소 제곱법을 통해 분석하여 일정시간 후의 위치를 예측할 수 있는 칼만 필터(Kalman Filter)를 적용할 수 있으며, 그 이외에 공지의 모든 형태의 필터를 사용할 수 있음은 물론이다.

방향 예측부(133)는 상기 평탄화부(132)에서 평탄화한 센싱정보를 이용하여 이전 단위시간의 시선 움직임 정보(예를 들어, 도 5에 도시된 이전의 단위시간 t-1에서부터 현재 단위시간 t까지의 움직임 정보)를 토대로 현재 단위시간을 기준으로 향후 단위시간(도 5의 t+1 지점)의 시선 방향을 적어도 하나 이상 예측하고, 상기 예측한 방향 각각에 대한 오디오 출력레벨의 파라미터를 확인하여 오디오 출력레벨의 조정을 준비한다.

분석부(134)는 방향 예측부(133)에서 예측한 적어도 하나 이상의 예측좌표 정보를 토대로 단위시간 경과 후 측정된 현재좌표를 상기 예측부(133)에서 예측한 예측좌표들과 비교하고, 상기 현재좌표와 가장 근접한 예측좌표의 파라미터를 토대로 오디오 출력레벨을 조정하기 위한 제어신호를 생성한 후 이를 오디오 출력 조정부(140)로 출력한다.

이때 상기 분석부(134)는 상기 센싱정보 수집부(131)를 통해 기 설정된 단위시간별로 수집한 이동거리, 속도 또는 이들의 조합을 포함한 센싱정보와 기 설정된 임계값을 비교하고, 비교결과 상기 센싱정보가 상기 임계값을 벗어나는 급격한 회전이나 이동, 무의미한 움직임 또는 이들의 조합을 포함하는 경우, 노이즈로 판단하여 사용자의 시선 방향에 따른 오디오 출력레벨의 조정을 수행하지 않고 현재의 출력상태를 유지하도록 한다. 즉 사용자의 시선 변화에 따라 현재 측정한 좌표와 가장 근접한 예측좌표가 있다 하더라도 상기 예측좌표가 임계값에 미치지 못하여 노이즈로 판단되는 경우 오디오 출력레벨을 조정하기 위한 제어신호를 생성하지 않고 현재 출력중인 오디오 신호를 유지하도록 하는 것이다.

다시 도 3을 참조하면, 오디오 출력 조정부(140)는 상기 시선방향 트래킹부(130)에서 추적한 사용자의 시선 방향에 따라 오디오 출력을 조정하고, 조정된 오디오 신호를 오디오 출력부(150)로 출력한다. 즉 사용자의 시선 방향에 따라 가상현실 영상의 장면 변화에 맞추어 사운드의 출력을 변화시켜 출력하는 것이다.

이때 상기 오디오 출력 조정부(140)는 상기 시선방향 트래킹부(130)에서 추적한 사용자의 시선 방향에 따라 오디오 출력레벨을 자체적으로 조정하여 처리하는 것을 예로 설명하였으나 이에 한정되는 것은 아니며, 그 이외에 네트워크를 통해 미디어 서버(300)로 상기 시선방향 트래킹부(130)에서 추적한 현재좌표와 최대 근접한 예측좌표정보를 전송한 다음, 상기 미디어 서버(300)로부터 상기 예측한 좌표에 따라 오디오 출력레벨이 조정된 사운드를 제공받아 처리할 수도 있다.

오디오 출력부(150)는 상기 오디오 출력 조정부(140)에서 조정된 오디오 신호를 스피커 등을 통해 출력한다.

입체영상 처리부(160)는 상기 시선방향 트래킹부(130)에서 수행한 사용자의 시선 방향에 따라 영상 입력부(110)로부터 제공되는 영상신호를 좌안용 및 우안용 입체영상으로 생성하여 출력한다.

즉 상기 입체영상 처리부(160)는 상기 시선방향 트래킹부(130)에서 확인한 사용자의 상하좌우 회전에 따른 헤드 움직임에 관련된 방향, 거리 등의 정보와, 사용자의 눈의 위치와 시선 방향, 초점 정보 등을 포함한 사용자 시각정보를 참조하여 상기 영상 입력부(110)로부터 입력되는 영상신호에서 깊이, 원근, 고저 등의 처리를 수행하여 사용자가 깊이감이나 실재감을 느낄 수 있는 좌안용 및 우안용 입체영상을 생성하여 출력하는 것이다.

입체영상 출력부(170)는 상기 입체영상 처리부(160)에서 생성된 좌안용 및 우안용 입체영상을 3차원 공간상에 출력하여 사용자가 확인하도록 한다.

다음에는, 이와 같이 구성된 본 발명에 따른 사용자의 시선 변화에 따른 가상현실 사운드 처리 방법의 일 실시예를 도 6과 도 7을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.

도 6은 본 발명의 일 실시예에 따른 사용자의 시선 변화에 따른 가상현실 사운드 처리 방법의 동작과정을 구체적으로 나타낸 순서도이며, 도 7은 상기 도 6의 사용자 시선 방향의 트래킹에 대한 동작과정을 보다 상세하게 나타낸 순서도이다.

우선, 사용자가 통신 단말(200)이 거치되거나, 또는 미디어 서버(300)와 통신 접속된 VR 단말(100)을 고글과 같이 머리에 착용한 후 조작을 수행하면, VR 단말(100)로 입력되는 3D 포맷의 영상이 3차원 공간상에 가상현실 입체영상으로 출력된다(S100). 이때 사용자의 시선 방향에 따른 가상현실 입체영상에 최적화된 오디오 신호가 스피커를 통해 출력된다.

이처럼 VR 단말(100)을 착용한 사용자가 가상현실 입체영상을 이용하는 과정에서, 상기 VR 단말(100)은 기기 내부에 구비된 IMU 센서(120)에서 측정한 가속도, 지자계, 위치 등의 센싱정보를 통해 사용자의 헤드 움직임 또는 시선 방향을 트래킹하고, 사용자의 시선 변화와 관련된 트래킹 정보를 오디오 출력 조정부(140)와 입체영상 처리부(160)로 출력한다(S200).

상기 S200 단계를 도 7을 참조하여 상세하게 설명하면, 상기 VR 단말(100)의 시선방향 트래킹부(130)는 상기 IMU 센서(120)로부터 가속도, 지자계, 위치 또는 이들의 조합을 포함한 센싱정보를 단위시간별로 수집하고(S210), S210 단계를 통해 단위시간별로 수집되는 센싱정보를 공지의 칼만 필터 등을 통해 평탄화 작업을 수행한다(S220).

상기 S220 단계를 통해 평탄화 작업을 수행한 이후, 상기 VR 단말(100)의 시선방향 트래킹부(130)는 사용자가 이전 단위시간에 움직인 정보를 활용하여 향후 움직임 방향을 적어도 하나 이상 예측한 후(S230), 상기 예측한 방향 각각에 대한 오디오 출력레벨의 파라미터를 확인하여 오디오 출력레벨의 조정을 준비한다(S240).

예를 들어, 도 5에 도시된 것과 같이 이전의 단위시간 t-1에서부터 현재 단위시간 t까지의 움직임 정보를 토대로 향후 단위시간 t+1에서의 시선 방향을 적어도 하나 이상 예측하고, 적어도 하나 이상 예측된 각각의 좌표별 오디오 출력레벨에 대한 파라미터를 확인하여 사용자의 시선 변화에 따른 오디오 출력레벨의 조정을 준비하는 것이다.

상기 S230 단계 및 상기 S240 단계를 통해 사용자의 이전 움직임 정보를 토대로 향후 움직임을 예측하고 각각의 예측좌표별 오디오 출력레벨의 파라미터를 확인한 이후, 상기 VR 단말(100)의 시선방향 트래킹부(130)는 단위시간이 경과된 다음 현재의 좌표를 측정한 다음 현재좌표를 상기 S230 단계에서 예측한 좌표들과 비교하고(S250), 상기 현재좌표에서 가장 근접한 특정 예측좌표를 확인한다(S260).

이후 상기 VR 단말(100)의 시선방향 트래킹부(130)는 상기 S260 단계에서 확인한 현재 단위시간의 센싱정보, 즉 단위시간당 이동거리, 속도 또는 이들의 조합을 포함한 센싱정보가 기 설정된 임계값을 초과하는지를 판단하고(S270), 판단결과 현재 단위시간의 센싱정보가 기 설정된 임계값을 초과하지 않으면 정상적인 움직임으로 판단하여 상기 현재좌표와 가장 근접한 예측좌표의 파라미터를 토대로 오디오 출력레벨을 조정하기 위한 제어신호를 생성하여 오디오 출력 조정부(140)로 출력한다(S280).

그러나 상기 S270 단계의 판단결과 현재 단위시간의 센싱정보가 기 설정된 임계값을 초과하면, 상기 VR 단말(100)의 시선방향 트래킹부(130)는 현재의 사용자 시선 변화를 움직임 센싱 노이즈로 판단하여 사용자의 시선 방향에 따른 오디오 출력레벨의 조정을 수행하지 않고 현재의 출력상태를 유지하도록 한다(S290). 즉 현재의 사용자 움직임이 기 설정된 임계값을 벗어나는 급격한 회전이나 이동, 무의미한 움직임 등으로 판단되는 경우 오디오 출력레벨의 조정을 수행하지 않도록 하는 것이다.

한편 상기 S200 단계를 통해 상기 VR 단말(100)의 시선방향 트래킹부(130)로부터 사용자의 시선 변화와 관련된 트래킹 정보를 제공받은 오디오 출력 조정부(140)는 상기 S280 단계를 통해 제공받은 제어신호(즉 현재좌표와 가장 근접한 예측좌표의 파라미터를 토대로 오디오 출력레벨을 조정하기 위한 제어신호)를 토대로 오디오 신호를 믹싱 및 마스터링하여 오디오 출력레벨을 조정하고(S300), 조정된 오디오를 스피커를 통해 출력한다(S400).

이때 상기 S300 단계 및 S400 단계를 통해 사용자의 시선 방향에 따라 오디오 출력레벨을 조정하여 출력할 때, 상기 오디오 출력 조정부(140)는 오디오 출력레벨을 자체적으로 조정하여 처리하거나, 또는 네트워크를 통해 미디어 서버(300)로 상기 시선방향 트래킹부(130)에서 추적한 현재좌표와 최대 근접한 예측좌표정보를 전송한 후 상기 미디어 서버(300)로부터 상기 예측좌표에 따라 오디오 출력레벨이 조정된 사운드를 제공받아 처리할 수 있다.

또한 상기 S300 단계 및 S400 단계에서의 오디오 출력레벨 조정과 함께, 상기 VR 단말(100)의 시선방향 트래킹부(130)로부터 사용자의 시선 변화와 관련된 트래킹 정보를 제공받은 입체영상 처리부(160)는 상기 시선방향 트래킹부(130)에서 수행한 사용자의 시선 방향에 따라 영상 입력부(110)로부터 제공되는 영상신호를 좌안용 및 우안용 입체영상으로 생성하고(S500), 이를 입체영상 출력부(170)를 통해 3차원 공간상에 출력하여 사용자가 확인하도록 한다(S600).

이후 상기 VR 단말(100)은 사용자의 가상현실 체험이 종료되는 것을 판단하여(S700), 가상현실 체험이 종료될 때까지 사용자의 시선 방향 추적 및 시선방향 추적에 따른 입체영상과 오디오 출력레벨의 조정을 수행한다.

이처럼, 본 발명은 VR 단말을 이용하는 사용자가 시선을 바꾸면 이동 궤적을 추적하여 사용자의 시선 방향에 따라 변화된 가상현실 영상에 적합한 오디오를 출력하기 때문에 사용자가 입체감 있는 오디오를 통해 몰입감을 높이면서 가상현실 영상을 즐길 수 있다.

또한 VR 단말 사용자의 시선 방향을 추적할 때, 이전의 움직임에 대한 정보를 참조하여 복수 개의 움직임 방향을 미리 예측한 후 예측정보와 현재 이동한 좌표정보를 비교하여 오디오 출력을 조정하기 때문에 사용자 시선 변화에 따른 오디오 출력의 정확도 및 속도를 높임은 물론, 오디오 출력 변경과정에서의 지연을 줄여 품질 높은 가상현실 영상을 이용할 수 있다.

또한 VR 단말 사용자가 시선을 바꿀 때 급격한 변화나 의미 없는 움직임을 노이즈로 판단하기 때문에 오디오 출력의 빈번한 조정으로 발생할 수 있는 사용자의 피로감을 줄일 수 있으며, VR 단말을 장시간 이용하더라도 건강에 악영향을 미치지 않는다.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : VR 단말 110 : 영상 입력부
120 : IMU 센서 121 : 가속도센서
122 : 자이로센서 123 : 위치센서
130 : 시선방향 트래킹부 131 : 센싱정보 수집부
132 : 평탄화부 133 : 방향 예측부
134 : 분석부 140 : 오디오 출력 조정부
150 : 오디오 출력부 160 : 입체영상 처리부
170 : 입체영상 출력부 200 : 통신 단말
300 : 미디어 서버 400 : 데이터베이스

Claims

사용자의 시선 방향을 추적하여 예측하는 시선방향 트래킹부; 및
상기 예측한 사용자의 시선 방향에 따라 오디오 출력을 조정하는 오디오 출력 조정부;를 포함하며,
상기 시선방향 트래킹부는,
이전 단위시간의 시선 움직임 정보를 토대로 향후의 시선 방향을 적어도 하나 이상 예측하고, 상기 예측한 방향 각각에 대한 오디오 출력레벨의 파라미터를 확인하여 준비하는 예측부; 및
단위시간 경과 후 측정된 현재좌표를 상기 예측부에서 예측한 적어도 하나 이상의 예측좌표와 비교하고, 상기 현재좌표와 가장 근접한 예측좌표의 파라미터를 토대로 오디오 출력레벨을 조정하기 위한 제어신호를 생성하여 상기 오디오 출력 조정부로 출력하는 분석부;를 포함하며,
상기 시선 방향에 따라 가상현실 영상의 장면이 변화되고, 상기 변화된 가상현실 영상의 장면에 따라 사운드의 출력을 변화시켜 출력할 때, 상기 분석부에서 단위시간당 이동거리, 속도 또는 이들의 조합을 포함한 센싱정보와 기 설정된 임계값을 비교하고, 비교결과 상기 센싱정보가 상기 임계값을 초과하면 노이즈로 판단하여 사용자의 시선 방향에 따른 오디오 출력레벨의 조정을 수행하지 않고 현재의 출력상태를 유지하도록 하는 것을 특징으로 하는 가상현실 사운드 처리 장치.
삭제
청구항 1에 있어서,
상기 시선방향 트래킹부는,
가속도, 지자계, 위치 또는 이들의 조합을 포함한 센싱정보를 단위시간별로 수집하는 센싱정보 수집부; 및
상기 단위시간별로 수집한 센싱정보를 평탄화하는 평탄화부;를 더 포함하는 것을 특징으로 하는 가상현실 사운드 처리 장치.
삭제
청구항 1에 있어서,
상기 오디오 출력 조정부는,
상기 시선방향 트래킹부에서 추적하여 예측한 사용자의 시선 방향에 따라 오디오 출력레벨을 자체적으로 조정하여 처리하거나, 또는
상기 시선방향 트래킹부에서 추적하여 예측한 좌표정보를 미디어 서버로 전송한 다음, 상기 미디어 서버로부터 상기 예측한 좌표정보에 따라 오디오 출력레벨이 조정된 사운드를 제공받아 처리하는 것을 특징으로 하는 가상현실 사운드 처리 장치.
VR 단말의 시선방향 트래킹부에서, 사용자의 시선 방향을 추적하여 예측하는 시선방향 트래킹 단계; 및
오디오 출력 조정부에서, 상기 예측한 사용자의 시선 방향에 따라 오디오 출력을 조정하는 오디오 출력 조정 단계;를 포함하며,
상기 시선방향 트래킹 단계는,
상기 시선방향 트래킹부에서 이전 단위시간의 시선 움직임 정보를 토대로 향후의 시선 방향을 적어도 하나 이상 예측하고, 상기 예측한 방향 각각에 대한 오디오 출력레벨의 파라미터를 확인하여 준비하는 예측 단계; 및
단위시간 경과 후 측정된 현재좌표를 상기 예측 단계에서 예측한 적어도 하나 이상의 예측좌표와 비교하고, 상기 현재좌표와 가장 근접한 예측좌표의 파라미터를 토대로 오디오 출력레벨을 조정하기 위한 제어신호를 생성하여 상기 오디오 출력 조정부로 출력하는 분석 단계;를 포함하며,
상기 시선 방향에 따라 가상현실 영상의 장면이 변화되고, 상기 변화된 가상현실 영상의 장면에 따라 사운드의 출력을 변화시켜 출력할 때, 상기 시선방향 트래킹부에서 단위시간당 이동거리, 속도 또는 이들의 조합을 포함한 센싱정보와 기 설정된 임계값을 비교하고, 비교결과 상기 센싱정보가 상기 임계값을 초과하면 노이즈로 판단하여 사용자의 시선 방향에 따른 오디오 출력레벨의 조정을 수행하지 않고 현재의 출력상태를 유지하도록 하는 것을 특징으로 하는 가상현실 사운드 처리 방법.
삭제
청구항 6에 있어서,
상기 시선방향 트래킹 단계는,
상기 시선방향 트래킹부에서 가속도, 지자계, 위치 또는 이들의 조합을 포함한 센싱정보를 단위시간별로 수집하는 센싱정보 수집 단계; 및
상기 센싱정보 수집 단계를 통해 단위시간별로 수집한 센싱정보를 평탄화하는 평탄화 수행 단계;를 더 포함하는 것을 특징으로 하는 가상현실 사운드 처리 방법.
삭제
청구항 6에 있어서,
상기 오디오 출력 조정 단계는,
상기 시선방향 트래킹부에서 추적하여 예측한 사용자의 시선 방향에 따라 상기 오디오 출력 조정부에서 오디오 출력레벨을 자체적으로 조정하여 처리하거나, 또는
상기 오디오 출력 조정부에서 상기 시선방향 트래킹부에서 추적하여 예측한 좌표정보를 미디어 서버로 전송한 다음, 상기 미디어 서버로부터 상기 예측한 좌표정보에 따라 오디오 출력레벨이 조정된 사운드를 제공받아 처리하는 것을 특징으로 하는 가상현실 사운드 처리 방법.