KR20180117867A

KR20180117867A - 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법

Info

Publication number: KR20180117867A
Application number: KR1020170050934A
Authority: KR
Inventors: 임완택
Original assignee: 스크린커플스(주)
Priority date: 2017-04-20
Filing date: 2017-04-20
Publication date: 2018-10-30
Also published as: KR101947799B1

Abstract

본 발명은 문화체육관광부 및 한국콘텐츠진흥원의 2016년도 문화기술 연구개발 지원사업으로 수행된 사업으로서, 본 발명의 실시 형태는 헤드 마운티드 디스플레이(HMD, Head Mounted Display)에 마련된 양안렌즈에 의해 촬영되는 양안 시차(binocular disparity)를 갖는 좌안영상 및 우안영상에 대한 렌더링을 수행하는 360°VR 어안 렌더링 방법에 있어서, 양안렌즈에 의해 촬영된 좌안영상과 우안영상이 미리 설정된 임계 주사율(fps;frames per second)을 초과하는지 판단하는 주사율 판단 과정 과정; 및 상기 임계 주사율을 초과하는 좌안영상과 우안영상을 대상으로 렌더링을 수행하는 렌더링 수행 과정;을 포함할 수 있다.

Description

가상현실 콘텐츠 서비스를 위한 360도 VR 어안 렌더링 방법{360 degrees Fisheye Rendering Method for Virtual Reality Contents Service}

본 발명은 가상현실 콘텐츠 서비스를 위한 360도 VR 어안 렌더링 방법에 관한 것이다.

최근, 가상 현실(Virtual Reality) 분야와 관련된 기술이 주목받고 있다. 특히, 헤드 마운티드 디스플레이(HMD, Head Mounted Display)와 같은 가상 현실을 경험할 수 있는 소형 웨어러블 디바이스 기술이 발전하고 있다. 반면, 가상 현실 콘텐츠를 제공할 수 있는 디바이스의 기술에 비해 가상 현실 콘텐츠는 부족한 실정이다. 따라서, 소형 웨어러블 디바이스 기술에 적용될 수 있는 가상 현실 콘텐츠 생성 기술에 대한 필요성이 증가하고 있다.

종래에는, 소형 3D 가상 현실 콘텐츠를 생성하기 위해 많은 개수의 카메라가 필요하였다. 이를 해결하기 위해 종래에는 어안 렌즈(fish-eye lenses)와 같은 복수의 광각 렌즈를 이용하여 360도 3D 입체 영상을 생성한다.

그러나 어안 렌즈와 같은 광각 렌즈를 이용하여 소형 360도 3D 입체 영상을 생성할 때, 뎁스를 생성하는 단계(depth reconstruction stage)에서 이미지 왜곡이 발생하여 입체 영상에서 낮은 입체감을 제공하는 문제가 있다. 예를 들어, 종래에는, 어안 영상으로부터 촬영된 저 왜곡 영역에서 뎁스를 생성하여 입체 영상을 생성한다.

따라서, 핀 구션(Pin Cushion) 영역은 복수의 어안 카메라로 촬영된 영상들의 오버랩이 부족하여 뎁스 복원이 어려운 문제가 있다. 따라서, 소형화된 360도 3D VR(Virtual Reality) 촬영 기기에서 촬영한 영상의 모든 영역에서 입체감을 향상시키는 기술이 필요하다.

한국등록특허 제-10-1650810호

본 발명의 기술적 과제는 하드웨어 양안렌즈(볼록)의 이미지 굴절 현상을 S/W 알고리즘으로 평면 변환하는 VR 어안 렌더링 엔진 기술을 제안하는데 있다.

본 발명의 실시 형태는 헤드 마운티드 디스플레이(HMD, Head Mounted Display)에 마련된 양안렌즈에 의해 촬영되는 양안 시차(binocular disparity)를 갖는 좌안영상 및 우안영상에 대한 렌더링을 수행하는 360°VR 어안 렌더링 방법에 있어서, 양안렌즈에 의해 촬영된 좌안영상과 우안영상이 미리 설정된 임계 주사율(fps;frames per second)을 초과하는지 판단하는 주사율 판단 과정 과정; 및 상기 임계 주사율을 초과하는 좌안영상과 우안영상을 대상으로 렌더링을 수행하는 렌더링 수행 과정;을 포함할 수 있다.

상기 좌안영상과 우안영상이 임계 주사율 이하를 가시는 시간이 미리 설정된 임계 시간동안 지속되는 경우, 상기 헤드 마운티드 디스플레이에 오작동 메시지를 표시하고 리셋시킴을 특징으로 할 수 있다.

상기 임계 주사율은, 30fps임을 특징으로 할 수 있다.

상기 렌더링 수행 과정이 있기 이전에, 상기 좌안영상의 위치정보와 우안영상의 위치정보를 생성하는 위치정보 생성 과정; 및 상기 좌안영상과 우안영상간의 픽셀간격이 설정된 임계 픽셀간격 이하로 되도록 보정하는 양안간격 보정 과정;을 포함할 수 있다.

상기 위치정보 생성 과정은, 헤드 마운티드 디스플레이에 마련된 위치 감지 센서의 위치 센싱값을 이용하여 위치정보를 생성함을 특징으로 할 수 있다.

상기 양안간격 보정 과정은, ±5 픽셀 이내의 임계 픽셀간격 이하로 좌안영상과 우안영상간의 픽셀간격이 되도록 보정할 수 있다.

상기 양안간격 보정 과정이 있은 후, 양안 렌즈의 화각 왜곡을 보정하는 양안왜곡 보정 과정을 포함할 수 있다.

본 발명의 실시 형태에 따르면 양안렌즈(볼록)의 이미지 굴절현상을 S/W 알고리즘으로 평면으로 최적화 변환하는 360°VR 어안 렌더링 엔진을 통해 양안 렌즈의 하드웨어 렌즈의 단점(한계)을 극복할 수 있다. 또한 조작용 패드 등 별도의 장치 없이 사용자의 시선과 탭 동작만으로 빠르고 편리하게 작동시킬 수 있다.

도 1은 본 발명의 실시예에 따른 헤드 마운티드 디스플레이(HMD)에 의해 360°촬영하는 모습을 도시한 그림.
도 2는 본 발명의 실시예에 따른 헤드 마운티드 디스플레이(HMD)에 의해 좌안영상과 우안영상이 촬영된 이미지를 도시한 그림.
도 3은 본 발명의 실시예에 따른 360°VR 어안 렌더링 과정들을 도시한 플로차트.
도 4는 공지된 3차원 입체영상을 렌더링하는 렌더링 기술의 플로우차트.
도 5는 본 발명의 실시예에 따른 360°VR 어안 렌더링을 적용하여 구현 가능한 기술들을 도시한 테이블표.

이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 헤드 마운티드 디스플레이(HMD)에 의해 360°촬영하는 모습을 도시한 그림이며, 도 2는 본 발명의 실시예에 따른 헤드 마운티드 디스플레이(HMD)에 의해 좌안영상과 우안영상이 촬영된 이미지를 도시한 그림이다.

최근에는 전용 모바일 단말기(갤럭시)에 최적화된 삼성의‘기어 VR’이나, 저가의 범용성을 지닌 구글의‘카드보드’등을 통해 일반 사용자 역시 이를 경험할 기회가 빈번해지며 VR의 초기성장을 견인하는 콘텐츠 분야로써 게임 부문이 집중적인 스포트라이트를 받아왔으나 현재는 다양한 산업 분야에서의 가상현실(VR) 콘텐츠와 동 분야의 연구개발의 중요성이 인식되기 시작하였다. 아프리카TV의 인터넷 VR 방송 서비스가 생기기 시작하고 VR 테마파크, VR 전용 상영관 등의 확산도 예정된 수순이며 게임 분야뿐 아니라 부동산 거래와 엔지니어링, 교육, 공연, 스포츠, 의료, 군사, 헬스 케어 등이 VR에 의해 변화가 일어날 수 있는 산업으로 지목되고 있으며 기술의 진보가 이어질수록 향후 VR 기술과 융합이 가능한 S/W 적용 분야 산업군은 기하급수적으로 증가할 것으로 예상된다.

예로, 기존의 K-POP과 같은 원천 콘텐츠에 본 발명의 VR 어안 렌더링 기술을 적용함으로써 완전히 새로운 VR 최적화 콘텐츠로 탄생하여 새로운 콘텐츠로 소비가 가능하게 되고, 나아가 다양한 산업 분야에 있어서도 활용될 수 있다.

이를 위하여 본 발명은 양안렌즈(볼록)의 이미지 굴절현상을 S/W 알고리즘으로 평면으로 최적화 변환하는 렌더링 엔진을 개발하여 하드웨어 렌즈의 단점(한계)을 극복할 수 있는 360°VR 어안 렌더링 기술을 제안한다.

이를 위하여 도 1과 같이 헤드 마운티드 디스플레이(10;HMD)를 착용한 착용자에 의해 360°촬영될 수 있다. 헤드 마운티드 디스플레이(10;HMD)에는 좌안렌즈와 우안렌즈로 된 각각의 카메라를 구비하고 있어, 도 2에 도시한 바와 같이 좌안영상과 우안영상이 획득된다.

본 발명은 이러한 좌안영상과 우안영상에 대하여 3차원 렌더링을 왜곡없이 S/W 알고리즘으로서 구현한다. 참고로, 렌더링(rendering)이라 함은, 수치와 방정식으로 서술된 2차원 혹은 3차원 데이터를 사람이 인지 가능한 영상으로 변환하는 과정이다. 2차원 데이터의 경우 카메라 등으로 획득한 실사 이미지와 렌더링 과정으로 제작된 영상 등을 서로 겹쳐서 새로운 영상을 만들어내기도 한다. 3차원의 경우에는 실제 물체로부터 형상이라든가 표면 형태 등을 얻기도 하고, 인위적으로 제작된 것을 사용하기도 한다. 2차원과 3차원 데이터로 얻어낼 수 있는 영상의 특성이 각각 다른 까닭에 최종 결과물을 얻어내는 과정에서는 영상의 품질을 위하여 2차원과 3차원 데이터를 혼합해서 사용하는 경우가 일반적이다.

도 3은 본 발명의 실시예에 따른 360°VR 어안 렌더링 과정들을 도시한 플로차트이며, 도 4는 공지된 3차원 입체영상을 렌더링하는 렌더링 기술의 플로우차트이며, 도 5는 본 발명의 실시예에 따른 360°VR 어안 렌더링을 적용하여 구현 가능한 기술들을 도시한 테이블표이다.

헤드 마운티드 디스플레이(10;HMD;Head Mounted Display)에 마련된 양안렌즈에 의해 촬영되는 양안 시차(binocular disparity)를 갖는 좌안영상 및 우안영상에 대한 렌더링을 수행하는 360°VR 어안 렌더링 방법은, 헤드 마운티드 디스플레이(10)에서 촬영된 영상을 실시간으로 수신하여 렌더링 처리하는 연산 유닛(예컨대, 컴퓨터, 서버)이 구현한다. 이러한 연산 유닛을 렌더링 프로세서 유닛이라 부르기로 한다.

이러한 렌더링 프로세서 유닛은 도 3에 도시한 바와 같이, 주사율 판단 과정(S310), 위치 정보 생성 과정(S320), 양안간격 보정 과정(S330), 양안왜곡 보정 과정(S340), 및 렌더링 수행 과정(S350)을 가질 수 있다.

주사율 판단 과정(S310)은, 양안렌즈에 의해 촬영된 좌안영상과 우안영상이 미리 설정된 임계 주사율(fps;frames per second)을 초과하는지 판단하는 과정이다. 여기서 임계 주사율은 30fps임이 바람직하다. 이는 헤드 마운티드 디스플레이의 오작동 등으로 인하여 임계 주사율 미만으로 촬영되는 영상의 경우, 렌더링하더라도 입체적인 질감 효과가 반감되기 때문이다.

따라서 렌더링 프로세서 유닛은, 좌안영상과 우안영상이 임계 주사율 이하를 가시는 시간이 미리 설정된 임계 시간동안 지속되는 경우, 헤드 마운티드 디스플레이에 오작동 메시지를 표시하고 헤드 마운티드 디스플레이(10)를 리셋시켜, 정상 동작이 되도록 한다. 참고로 렌더링 프로세서 유닛과 헤드 마운티드 디스플레이는 유선 통신 또는 무선 통신으로 연결될 수 있는데, 이더넷(Ethernet), 범용 직렬 버스(Universal Serial Bus), IEEE 1394, 직렬통신(serial communication) 및 병렬 통신(parallel communication)과 같은 유선 통신 방식이 사용될 수 있으며, 적외선 통신(Infrared Radiation), 블루투스(Bluetooth), 홈 RF(Radio Frequency) 및 무선 랜(Wireless LAN)과 같은 무선 통신 방식이 사용될 수 있다.

위치 정보 생성 과정(S320)은, 좌안영상의 위치정보와 우안영상의 위치정보를 생성한다. 위치정보 생성 과정은, 헤드 마운티드 디스플레이에 마련된 위치 감지 센서의 위치 센싱값을 이용하여 위치정보를 생성할 수 있다. 헤드 마운티드 디스플레이에 자이로 센서와 같은 위치 감지 센서가 구비되어 있는 경우, 좌안 카메라의 위치값을 이용하여 좌안영상의 위치정보를 생성하고, 우안 카메라의 위치값을 이용하여 우안영상의 위치정보를 생성할 수 있다.

양안간격 보정 과정(S330)은, 좌안영상과 우안영상간의 픽셀간격이 설정된 임계 픽셀간격 이하로 되도록 보정한다. 이러한 양안간격 보정 과정은, ±5 픽셀 이내의 임계 픽셀간격 이하로 좌안영상과 우안영상간의 픽셀간격이 되도록 보정하는 것이 바람직하다. 좌안영상과 우안영상간의 픽셀간격이 ±5 픽셀 범위를 벗어난 간격을 벗어날 경우, 3차원 입체적인 렌더링을 하더라도 현실감이 떨어지기 때문이다. 참고로 이러한 ±5 픽셀 이내의 임계 픽셀간격 이하로 보정은, 픽셀 색상값을 이용한 보정을 할 수 있다. 예컨대, 좌안영상과 우안영상간내의 특정 영역의 각 픽셀값이 ±5 픽셀 간격내에서 일치할 때까지 어느 하나의 영상을 픽셀 위치 이동시킬 수 있다.

양안왜곡 보정 과정(S340)은, 양안 렌즈의 화각 왜곡을 보정하는 과정으로서 1~5단계의 굴절/왜곡을 조절하는데 0.1도로 조절하는 과정을 가진다. 즉, 양안 렌즈에 맞는 화각 왜곡이 되도록 조절하는데, 양안 거리 및 왜곡 단계를 조절한다. 나아가 사용자 설정 유지 및 재설정이 가능하다.

렌더링 수행 과정(S350)은, 임계 주사율을 초과하는 좌안영상과 우안영상을 대상으로 렌더링을 수행하는 과정이다.

참고로, 렌더링의 단계들은, 기존에 공지된 다양한 렌더링 기술이 적용될 수 있다. 예컨대, 도 3을 참조하여 설명하면, 촬영된 그래픽스 데이터가 나타내는 객체의 기본 구성 단위인 프리미티브가 화면상에 차지하는 크기를 계산하는 프리미티브 크기 계산 단계, 계산된 크기에 따라 비디오 스트림이 지원하는 복수 개의 해상도들 중 어느 하나를 선택하는 해상도 선택 단계, 비디오 스트림으로부터 상기 선택된 해상도를 갖는 비디오 프레임 이미지를 생성하는 비디오 프레임 이미지 생성 단계, 생성된 비디오 프레임 이미지를 이용하여 그래픽스 데이터를 렌더링하는 렌더링 단계를 가진다.

여기서, 프리미티브 크기 계산 단계는, 3차원 그래픽스 데이터가 나타내는 객체의 기본 구성 단위인 프리미티브가 화면상에 차지하는 크기를 계산한다. 프리미티브(primitive)란, 3차원 그래픽스 데이터가 나타내는 객체의 기본 구성 단위를 의미하며, 점, 선, 폴리곤(polygon)이 프리미티브가 될 수 있다. 일반적으로는 삼각형 모양의 프리미티브가 사용된다. 크기를 계산하는 경우는 여러 단계의 해상도를 갖는 이미지를 출력할 수 있는 비디오 디코더를 사용하는 경우이다. 예를 들면, 비디오 스트림의 일부분만을 선택적으로 디코딩함으로써, 다양한 해상도를 갖는 이미지를 출력하는 SVC(Scalable video coding) 방법을 사용하는 비디오 디코더를 들 수있다. 상기 크기란, 상기 프리미티브의 면적을 의미할 수 있다.

해상도 선택 단계는 계산된 프리미티브 크기에 따라 비디오 스트림이 지원하는 복수 개의 해상도들 중 어느 하나를 선택한다. 시점(viewpoint)에 가까이 위치하는 객체에 대해서는 보다 높은 해상도를 선택하고, 시점에 멀리 위치하는 객체에 대해서는 보다 낮은 해상도를 선택한다. 수신되는 비디오 스트림을 분석함으로써, 비디오 스트림으로부터 만들 수 있는 복수 개의 해상도들 중 어느 하나를 선택할 수 있다. 프리미티브 크기에 가장 가까운 크기를 갖는 비디오 프레임 이미지에 대응하는 해상도를 비디오 스트림이 지원하는 복수 개의 해상도들 중에서 선택한다.

또한 비디오 프레임 이미지 생성 단계는, 선택된 해상도를 갖는 비디오 프레임 이미지를 생성하고, 아울러, 비디오 프레임 이미지를 RGB 신호값으로 변환한다. 비디오나 사진 같은 영상들은 일반적으로 YUV 색 공간상에서 인코딩 되므로, YUV 색 공간상에서 인코딩된 이미지들을 RGB 신호값로 변환한다.

또한 렌더링 단계는, 비디오 프레임 이미지를 이용하여 3차원 그래픽스 데이터를 렌더링하는 단계이다.

한편, 상기와 같이, 헤드 마운티드 디스플레이(HMD, Head Mounted Display)에 마련된 양안렌즈에 의해 촬영되는 양안 시차(binocular disparity)를 갖는 좌안영상 및 우안영상에 대한 렌더링을 수행하는 360°VR 어안 렌더링 방법에 있어서, 양안렌즈에 의해 촬영된 좌안영상과 우안영상이 미리 설정된 임계 주사율(fps;frames per second)을 초과하는지 판단하는 주사율 판단 과정 과정과, 임계 주사율을 초과하는 좌안영상과 우안영상을 대상으로 렌더링을 수행하는 렌더링 수행 과정을 거침으로써, 도 5에 도시한 바와 같이 다양한 기능의 구현이 효율적으로 이루어질 수 있다.

상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.

10:헤드 마운티드 디스플레이
S310:주사율 판단 과정
S320:위치 정보 생성 과정
S330:양안간격 보정 과정
S340:양안왜곡 보정 과정
S350:렌더링 수행 과정

Claims

헤드 마운티드 디스플레이(HMD, Head Mounted Display)에 마련된 양안렌즈에 의해 촬영되는 양안 시차(binocular disparity)를 갖는 좌안영상 및 우안영상에 대한 렌더링을 수행하는 360°VR 어안 렌더링 방법에 있어서,
양안렌즈에 의해 촬영된 좌안영상과 우안영상이 미리 설정된 임계 주사율(fps;frames per second)을 초과하는지 판단하는 주사율 판단 과정 과정; 및
상기 임계 주사율을 초과하는 좌안영상과 우안영상을 대상으로 렌더링을 수행하는 렌더링 수행 과정;
을 포함하는 가상현실 콘텐츠 서비스를 위한 360°VR 어안 렌더링 방법.
청구항 1에 있어서,
상기 좌안영상과 우안영상이 임계 주사율 이하를 가시는 시간이 미리 설정된 임계 시간동안 지속되는 경우, 상기 헤드 마운티드 디스플레이에 오작동 메시지를 표시하고 리셋시킴을 특징으로 하는 가상현실 콘텐츠 서비스를 위한 360°VR 어안 렌더링 방법.
청구항 1에 있어서,
상기 임계 주사율은, 30fps임을 특징으로 하는 가상현실 콘텐츠 서비스를 위한 360°VR 어안 렌더링 방법.
청구항 1에 있어서, 상기 렌더링 수행 과정이 있기 이전에,
상기 좌안영상의 위치정보와 우안영상의 위치정보를 생성하는 위치정보 생성 과정; 및
상기 좌안영상과 우안영상간의 픽셀간격이 설정된 임계 픽셀간격 이하로 되도록 보정하는 양안간격 보정 과정;
을 포함하는 가상현실 콘텐츠 서비스를 위한 360°VR 어안 렌더링 방법.
청구항 4에 있어서, 상기 위치정보 생성 과정은,
헤드 마운티드 디스플레이에 마련된 위치 감지 센서의 위치 센싱값을 이용하여 위치정보를 생성함을 특징으로 하는 가상현실 콘텐츠 서비스를 위한 360°VR 어안 렌더링 방법.
청구항 4에 있어서, 상기 양안간격 보정 과정은,
±5 픽셀 이내의 임계 픽셀간격 이하로 좌안영상과 우안영상간의 픽셀간격이 되도록 보정하는 가상현실 콘텐츠 서비스를 위한 360°VR 어안 렌더링 방법.
청구항 4에 있어서, 상기 양안간격 보정 과정이 있은 후,
양안 렌즈의 화각 왜곡을 보정하는 양안왜곡 보정 과정;을 포함하는 가상현실 콘텐츠 서비스를 위한 360°VR 어안 렌더링 방법.