KR101933037B1 - 360도 동영상에서의 가상현실 재생 장치 - Google Patents

360도 동영상에서의 가상현실 재생 장치 Download PDF

Info

Publication number
KR101933037B1
KR101933037B1 KR1020170037447A KR20170037447A KR101933037B1 KR 101933037 B1 KR101933037 B1 KR 101933037B1 KR 1020170037447 A KR1020170037447 A KR 1020170037447A KR 20170037447 A KR20170037447 A KR 20170037447A KR 101933037 B1 KR101933037 B1 KR 101933037B1
Authority
KR
South Korea
Prior art keywords
image
depth
generating unit
image generating
stereo
Prior art date
Application number
KR1020170037447A
Other languages
English (en)
Other versions
KR20180108106A (ko
Inventor
안재용
정성신
강민수
Original Assignee
주식회사 씨오티커넥티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨오티커넥티드 filed Critical 주식회사 씨오티커넥티드
Priority to KR1020170037447A priority Critical patent/KR101933037B1/ko
Publication of KR20180108106A publication Critical patent/KR20180108106A/ko
Application granted granted Critical
Publication of KR101933037B1 publication Critical patent/KR101933037B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Abstract

본 발명의 360도 동영상에서의 가상현실 재생 장치는 3차원 공간을 촬영하는 복수의 스테레오 카메라들로부터 복수의 스테레오 영상들을 수신하고, 상기 복수의 스테레오 영상들에 관한 깊이 맵들을 통합한 장면 깊이 맵과 상기 복수의 스테레오 영상들에 관한 색상 맵들을 통합한 장면 색상 맵을 생성하여 360도 동영상을 생성하는 영상 생성부 및 상기 360도 동영상에 사용자에 의해 결정된 가상 시점을 반영하여 양안 각각을 위한 2차원 영상을 영상 표시 장치를 통해 재생하는 영상 재생부를 포함한다.

Description

360도 동영상에서의 가상현실 재생 장치{APPARATUS FOR REPRODUCING 360 DEGREES VIDEO IMAGES FOR VIRTUAL REALITY}
본 발명은 가상현실 재생 기술에 관한 것으로, 보다 상세하게는, 향상된 영상 품질의 360도 입체 영상을 제공할 수 있는 360도 동영상에서의 가상현실 재생 장치에 관한 것이다.
최근 3차원 입체 영상을 제공하는 멀티미디어 콘텐츠에 관한 수요가 증가함에 따라 3차원 TV나 HMD(Head Mounted Display)에 관한 3차원 영상 재생 기술이 꾸준히 개발되고 있다. 가상현실 환경 기반의 그래픽 모델에서 입체 이미지들은 왼쪽과 오른쪽 시야를 위한 두 개의 카메라들로부터 생성된다. 카메라들의 구조를 마치 인간의 눈과 같이 유사하게 동작하게 하기 위한 많은 연구들이 지속되고 있으나, 실제 세계와 흡사한 입체 영상을 생성하는 것에는 여전히 많은 어려움이 있다.
한국 등록특허 제10-1066542(2011.09.15)호는 고화질의 가상 시점 영상을 생성하는 가상 시점 영상 생성방법 및 그 장치에 관한 것으로서 본 발명에 따른 가상 시점 영상 생성방법은 복수의 기준 시점 카메라의 영상을 합성하여 가상 시점 카메라에 대한 가상 시점 영상을 생성하는 가상 시점 영상 합성단계; 상기 가상 시점 영상의 에지정보를 추출하는 에지정보 추출단계; 및 상기 에지정보에 기초하여 상기 가상 시점 영상의 미처리 영역을 보상하는 미처리 영역 보상단계를 포함한다.
한국 등록특허 제10-0779634(2007.11.20)호는 가상 시점 화상 생성방법 및 3차원 화상 표시방법 및 장치에 관한 것으로, 복수의 카메라로 촬영된 복수매의 피사체의 화상을 바탕으로, 가상 시점으로부터 피사체를 보았을 때의 화상인 가상 시점 화상을 생성하는 가상 시점 화상 생성방법이 제공된다. 이 가상 시점 화상 생성방법에 있어서, 다층구조를 갖는 투영면을 설정하고, 상기 투영면상의 각 투영점과 대응하는 상기 각 피사체의 화상 상의 대응점을 구하고, 복수의 대응점의 색 정보에 기초하여 상기 투영점의 색 정보를 결정하고, 공간상의 어떤 기준시점으로부터 보아 겹치는 복수의 투영점에 대하여, 상기 각 투영점의 위치에 상당하는 거리에 상기 피사체가 존재할 가능성의 정도를, 상기 대응점의 상관의 정도에 기초하여 계산하고, 상기 가상 시점으로부터 보아 겹치는 기준점의 색 정보에 대하여, 상기 피사체가 존재할 가능성의 정도에 따른 혼합처리를 하여, 상기 가상 시점 화상에 있어서의 각 화소의 색 정보를 결정한다.
1. 한국 등록특허 제10-1066542(2011.09.15)호 2. 한국 등록특허 제10-0779634(2007.11.20)호
본 발명의 일 실시예는 향상된 영상 품질의 360도 입체 영상을 제공할 수 있는 360도 동영상에서의 가상현실 재생 장치를 제공하고자 한다.
본 발명의 일 실시예는 사용자에 의해 가상 시점이 변경되어도 효율적으로 가상 시점을 반영하여 양안 각각을 위해 갱신된 2차원 영상을 제공할 수 있는 360도 동영상에서의 가상현실 재생 장치를 제공하고자 한다.
실시예들 중에서, 360도 동영상에서의 가상현실 재생 장치는 3차원 공간을 촬영하는 복수의 스테레오 카메라들로부터 복수의 스테레오 영상들을 수신하고, 상기 복수의 스테레오 영상들에 관한 깊이 맵들을 통합한 장면 깊이 맵과 상기 복수의 스테레오 영상들에 관한 색상 맵들을 통합한 장면 색상 맵을 생성하여 360도 동영상을 생성하는 영상 생성부 및 상기 360도 동영상에 사용자에 의해 결정된 가상 시점을 반영하여 양안 각각을 위한 2차원 영상을 영상 표시 장치를 통해 재생하는 영상 재생부를 포함한다.
상기 영상 생성부는 상기 복수의 스테레오 영상들에 관해 양안을 위한 왼쪽 및 오른쪽 영상 간의 특성 매칭을 통해 2차원 좌표계로 정의되는 상기 깊이 맵들을 생성할 수 있다.
상기 영상 생성부는 상기 복수의 스테레오 카메라들 간의 회전변화(rotation) 및 평행이동(translation)을 포함하는 변환 관계를 기초로 상기 깊이 맵들을 3차원 좌표계로 정의되는 가상 공간 상에 정렬(aligning)할 수 있다.
상기 영상 생성부는 상기 정렬된 깊이 맵들 각각에 있는 세그먼트들에 관해 레이블링을 수행하여 객체 형태를 정의하고, 상기 정의된 객체 형태를 기초로 왼쪽 및 오른쪽 영상에 관한 객체 형태들 간의 깊이 정보를 분석하여 세그먼트들을 최적화할 수 있다.
상기 영상 생성부는 상기 최적화된 세그먼트들 중에서 중첩된 깊이 맵들 상에 있는 세그먼트들에 관해 세그먼트 매칭을 수행하여 매칭된 세그먼트들을 획득할 수 있다.
상기 영상 생성부는 상기 매칭된 세그먼트들을 통합(integration)하여 상기 장면 깊이 맵을 생성할 수 있다.
상기 영상 생성부는 상기 장면 깊이 맵에 상기 색상 맵들을 반영하는 3차원 텍스처 매핑을 통해 상기 색상 맵들을 통합하여 상기 장면 색상 맵을 생성할 수 있다.
상기 영상 재생부는 상기 양안 각각을 위한 2차원 영상의 재생 과정에서 상기 사용자에 의해 상기 가상 시점의 변경과 연관된 헤드 트래킹 이벤트가 수신되면 상기 수신된 헤드 트래킹 이벤트를 분석하여 상기 가상 시점을 갱신할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 360도 동영상에서의 가상현실 재생 장치는 향상된 영상 품질의 360도 입체 영상을 제공할 수 있다.
본 발명의 일 실시예에 따른 360도 동영상에서의 가상현실 재생 장치는 사용자에 의해 가상 시점이 변경되어도 효율적으로 가상 시점을 반영하여 양안 각각을 위해 갱신된 2차원 영상을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 영상 생성 및 재생 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 360도 동영상에서의 가상현실 재생 장치에서 360도 동영상을 생성 및 재생하는 과정을 설명하는 순서도이다.도 3은 도 1에 있는 영상 생성부가 깊이 맵 구체를 생성하는 과정의 일 실시예를 설명하기 위한 도면이다.
도 4는 도 1에 있는 영상 생성부가 3차원 가상 공간 상에 정렬된 깊이 맵들을 하나의 투영 구체로 투영하여 통합하기 위한 과정을 수행하는 일 실시예를 설명하기 위한 도면이다.
도 5는 도 1에 있는 영상 생성부가 깊이 양자화 처리를 통해 중첩된 객체들의 깊이를 결정하는 과정의 일 실시예를 나타내는 도면이다.
도 6은 도 1에 있는 영상 생성부가 세그먼트 매칭을 수행하기 위해 각 패치의 세그먼트들을 3차원 가상 공간 상에 재투영하는 과정의 일 실시예를 나타내는 도면이다.
도 7은 도 1에 있는 영상 생성부가 각 객체에 대해 중첩 영역에 있는지 여부를 검사하는 과정의 일 실시예를 나타내는 도면이다.
도 8는 도 1에 있는 360도 동영상에서의 가상현실 재생 장치에서 360도 동영상을 생성 및 재생하는 과정의 일 실시예를 설명하는 순서도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 가상 영상 생성 및 재생 시스템을 설명하는 도면이다.
도 1을 참조하면, 가상 영상 생성 및 재생 시스템(100)은 복수의 스테레오 카메라들(110), 360도 동영상에서의 가상현실 재생 장치(120) 및 영상 표시 장치(130)을 포함한다.
복수의 스테레오 카메라들(110)은 3차원 공간을 촬영하는 다중 스테레오 카메라 장치에 해당하고, 예를 들어, 복수의 스테레오 카메라들(110) 각각은 양안을 위한 2대의 카메라 쌍을 이용해 입체 영상을 획득하는 3차원 스테레오 카메라로 구현되거나, 2개의 촬영용 렌즈를 포함하여 같은 피사체에 대해 동시에 2개의 이미지 또는 영상을 촬상할 수 있는 입체 카메라로 구현될 수 있다.
일 실시예에서, 복수의 스테레오 카메라들(110) 각각은 양안을 위한 왼쪽 카메라와 오른쪽 카메라로 구성되어 특정 피사체에 대해 복수의 스테레오 영상들을 생성할 수 있고, 예를 들어, 각각이 양안을 위한 왼쪽 및 오른쪽 카메라 쌍으로 구성된 7개의 스테레오 카메라들(110)은 각각이 양안을 위한 왼쪽 및 오른쪽 영상 쌍으로 구성된 7개의 스테레오 영상들을 생성할 수 있다.
복수의 스테레오 카메라들(110)은 360도 동영상에서의 가상현실 재생 장치(120)와 유선 또는 무선으로 연결될 수 있고, 생성된 복수의 스테레오 영상들을 360도 동영상에서의 가상현실 재생 장치(120)에 전송할 수 있다. 일 실시예에서, 복수의 스테레오 카메라들(110)은 360도 동영상에서의 가상현실 재생 장치(120)와 연동하여 카메라들(110)은 360도 동영상에서의 가상현실 재생 장치(120)에 의해 적어도 일부의 동작이 제어될 수 있다.
영상 표시 장치(130)는 360도 동영상에서의 가상현실 재생 장치(120)와 유선 또는 무선으로 연결될 수 있고, 360도 동영상에서의 가상현실 재생 장치(120)로부터 수신된 양안 각각을 위한 2차원 영상을 디스플레이할 수 있는 디스플레이 기기에 해당한다. 예를 들어, 영상 표시 장치(130)는 HMD(Head Mounted Display)로 구현될 수 있다.
360도 동영상에서의 가상현실 재생 장치(120)는 복수의 스테레오 카메라들(110) 및 영상 표시 장치(130)과 연결될 수 있는 컴퓨팅 장치에 해당한다. 예를 들어, 360도 동영상에서의 가상현실 재생 장치(120)는 복수의 스테레오 카메라들(120) 및 영상 표시 장치(130)와 유선 또는 무선으로 연결될 수 있다. 일 실시예에서, 360도 동영상에서의 가상현실 재생 장치(120)는 복수의 스테레오 카메라들(110)에 의해 생성된 장면 이미지 또는 스테레오 영상을 기초로 가상 영상에 해당하는 360도 동영상을 생성 및 재생할 수 있다.
360도 동영상에서의 가상현실 재생 장치(120)는 영상 생성부(123) 및 영상 재생부(126)를 포함하고, 이들은 상호 연결될 수 있다.
제1 실시예에서, 영상 생성부(123)와 영상 재생부(126)는 물리적으로 분리된 컴퓨팅 장치로 각각 구현되어 서로 다른 사업자에 의해 운영될 수 있고, 네트워크를 통해 상호 연결될 수 있다. 예를 들어, 영상 생성부(123)는 영상 제작자에 의해 구축 및 운영되고, 영상 재생부(126)는 영상 배포자에 의해 구축 및 운영될 수 있다.
제2 실시예에서, 영상 생성부(123)와 영상 재생부(126)는 물리적으로 분리되지 않고 기능적으로 분리된 컴퓨팅 장치로 구현되어 동일 사업자에 의해 운영될 수 있고, 상호 전기적으로 연결될 수 있으며, 예를 들어, 영상 제작 및 배포자에 의해 통합적으로 구축 및 운영될 수 있다.
제3 실시예에서, 영상 생성부(123)와 영상 재생부(126)는 물리적으로 분리된 컴퓨팅 장치로 각각 구현되지만 동일 사업자에 의해 운영될 수 있고, 유선 또는 무선으로 상호 연결될 수 있다.
360도 동영상에서의 가상현실 재생 장치(120)에서, 영상 생성부(123)는 복수의 스테레오 카메라들(110)로부터 수신된 스테레오 영상들을 기초로 가상 영상을 생성할 수 있고, 영상 재생부(126)는 영상 생성부(123)로부터 수신된 가상 영상을 영상 표시 장치(130)를 통해 재생할 수 있다. 영상 생성부(123) 및 영상 재생부(126) 각각의 구체적인 동작에 관해서는 하기에서 보다 상세히 서술하도록 한다.
360도 동영상에서의 가상현실 재생 장치(120)의 영상 생성부(123)에 관해 먼저 서술하도록 한다.
영상 생성부(123)는 3차원 공간을 촬영하는 복수의 스테레오 카메라들(110)로부터 복수의 스테레오 영상들을 수신한다. 여기에서, 복수의 스테레오 영상들 각각은 각 스테레오 카메라(110)의 왼쪽 및 오른쪽 카메라 쌍에 의해 생성된 왼쪽 및 오른쪽 영상 쌍으로 구성될 수 있다.
일 실시예에서, 영상 생성부(123)는 복수의 스테레오 카메라들(110)과 연동하여 복수의 스테레오 카메라들(110)이 피사체에 대해 복수의 스테레오 영상의 생성을 시작하도록 요청할 수 있고, 복수의 스테레오 카메라들(110)에 의해 생성된 복수의 스테레오 영상들을 수신하여 메인 메모리에 저장할 수 있다. 일 실시예에서, 영상 생성부(123)는 복수의 스테레오 카메라들(110)을 제어하여 복수의 스테레오 카메라들(110) 간의 동기화 상태를 유지하도록 할 수 있고, 동기화 이후 복수의 스테레오 영상들을 GPU(Graphic Processing Unit) 메모리에 업로드할 수 있다. 일 실시예에서, 영상 생성부(123)는 복수의 스테레오 영상들을 수신하기 전에 복수의 스테레오 카메라들(110)에 관한 현재 카메라 설정의 물리적 특성들을 결정하기 위한 보정을 수행할 수 있다.
영상 생성부(123)는 복수의 스테레오 영상들에 관한 깊이 맵들을 통합한 장면 깊이 맵과 복수의 스테레오 영상들에 관한 색상 맵들을 통합한 장면 색상 맵을 생성하여 360도 동영상을 생성한다. 하기에서 이러한 과정들에 관해 보다 상세히 서술하도록 한다.
영상 생성부(123)는 복수의 스테레오 카메라들(110)에 관한 카메라 특성 파라미터를 기초로, 수신된 복수의 스테레오 영상들을 보정할 수 있다. 보다 구체적으로, 영상 생성부(123)는 복수의 스테레오 카메라들(110) 각각에 관한 렌즈 왜곡 정보와 연관된 내부 파라미터와 회전 및 변환 정보와 연관된 외부 파라미터를 포함하는 카메라 특성 파라미터를 고려하여 복수의 스테레오 영상들 각각에 관해 보정을 수행할 수 있다. 여기에서, 복수의 스테레오 카메라들(110) 각각에 관한 내부 파라미터는 렌즈의 왜곡 계수, 초점 거리 및 주요 점의 위치를 비롯한 고유 매개 변수에 해당할 수 있고, 외부 파라미터는 각 스테레오 카메라의 왼쪽 카메라와 오른쪽 카메라 간의 상대적인 자세 및 복수의 스테레오 카메라들(110) 간의 상대적인 자세를 기초로 결정되고 행렬 형식, 회전 및 변환 행렬로 표시되는 외부 매개 변수에 해당할 수 있다. 일 실시예에서, 영상 생성부(123)는 이미지 워핑을 위해 각 픽셀의 재매핑을 수행하는 이미지 핸들링을 통해 복수의 스테레오 영상들 각각에 관한 조정을 수행할 수 있고, 이에 따라 깊이 맵 생성에 유효한 이미지 영역을 결정할 수 있다. 이후의 단계에서, 영상 생성부(123)는 보정 또는 조정된 복수의 스테레오 영상들을 기초로 복수의 스테레오 영상들에 관한 깊이 맵들을 생성할 수 있다.
영상 생성부(123)는 복수의 스테레오 영상들에 관해 양안을 위한 왼쪽 및 오른쪽 영상 간의 특성 매칭을 통해 2차원 좌표계로 정의되는 깊이 맵들을 생성할 수 있다. 보다 구체적으로, 영상 생성부(123)는 각 스테레오 영상의 왼쪽 및 오른쪽 영상 간의 픽셀 단위의 특성 매칭을 통해 각 스테레오 영상에 관한 깊이 맵을 생성할 수 있다. 일 실시예에서, 깊이 맵은 이미지 포인트의 픽셀 값으로 카메라의 이미지 평면(Image plane)과 장면의 객체 점 사이의 거리를 포함하는 2차원의 이미지에 해당하고, 복수의 스테레오 카메라들(110) 각각의 왼쪽 및 오른쪽 카메라 쌍에서 생성될 수 있다.
일 실시예에서, 영상 생성부(123)는 각 스테레오 영상은 왼쪽 및 오른쪽 영상의 각 행을 따라 픽셀 단위로 대응하는 과정을 통해 특성 매칭을 수행할 수 있고, 매칭 점의 불일치, 즉, 행 방향에서의 위치의 차이를 기초로 점의 깊이에 관해 연산할 수 있다. 여기에서, 불일치는 깊이에 반비례하는 역깊이에 해당할 수 있다. 일 실시예에서, 영상 생성부(123)는 깊이 맵을 생성하는 과정에서 스테레오 영상의 왼쪽 영상에 깊이 맵이 생성되도록 할 수 있고, 깊이 맵 각각은 스테레오 비전에서 영상의 다른 면을 참조하는 스테레오 영상의 한 면에 정의될 수 있다.
일 실시예에서, 영상 생성부(123)는 스테레오 블록 매칭을 통해 로우(raw) 깊이 맵을 생성한 다음 경계 보존 필터를 적용하는 방식으로 깊이 맵을 생성할 수 있고, 그래프-컷(graph-cut) 또는 신념 전파 방법(constant belief propagation method)을 통해 깊이 맵에 관한 최적화를 수행하여 깊이 맵의 품질을 개선할 수 있다.
영상 생성부(123)는 복수의 스테레오 영상들에 관한 깊이 맵들이 생성되면 생성된 깊이 맵들을 통합하여 장면 깊이 맵을 생성할 수 있다.
영상 생성부(123)는 복수의 스테레오 카메라들(110) 간의 회전변화(rotation) 및 평행이동(translation)을 포함하는 변환 관계를 기초로 깊이 맵들을 3차원 좌표계로 정의되는 가상 공간 상에 정렬(aligning)할 수 있다. 일 실시예에서, 영상 생성부(123)는 360도 광시야각을 가지는 장면에 관한 깊이 정보를 관리하기 위해 구 좌표계로 깊이 맵을 정의할 수 있고, 이러한 과정에서 영상에 관한 이미지 좌표계를 유클리드(Euclidean)에서 구(sphere) 좌표계로 변환할 수 있으며, 두 픽셀 사이의 거리가 투영 광선 사이의 각도에 비례하는 특성을 가지는 등방장형도법 형태(equirectangular form)로 깊이 맵들 각각을 변환하여 저장할 수 있다. 이후, 영상 생성부(123)는 깊이 맵들을 복수의 스테레오 카메라들(110)에 관한 설정을 기초로 3차원 가상 공간 상에 정렬할 수 있다.
일 실시예에서, 영상 생성부(123)는 정렬을 위해 복수의 스테레오 카메라들(110) 중에서 하나의 왼쪽 카메라를 주 카메라로 임의로 설정할 수 있고, 주 카메라의 광학 중심을 깊이 맵들이 정렬되는 3차원 가상 공간의 원점으로 설정할 수 있으며, 공간의 z축을 주 카메라의 주축과 정렬되도록 설정할 수 있다. 이에 따라, 영상 생성부(123)는 구체의 중심을 공간의 원점으로 하고 구체의 반경은 주 카메라의 초점 거리로 하는 이미지 구체를 생성할 수 있다. 이러한 설정에 따라 주 카메라의 투영면은 구체의 표면과 수직으로 접하는 평면이 될 수 있고, 투영된 구체는 깊이 맵 구체를 생성하기 위한 가이드라인을 제공할 수 있다.
일 실시예에서, 영상 생성부(123)는 복수의 깊이 맵들의 깊이 정보를 이용하여 깊이 맵 구체를 생성할 수 있고, 각각의 깊이 맵의 깊이 정보를 하나의 공통 광학 포인트를 가지도록 조정할 수 있다. 이러한 내용은 도 3을 참조하여 설명하도록 한다.
도 3은 도 1에 있는 영상 생성부(123)가 깊이 맵 구체를 생성하는 과정의 일 실시예를 설명하기 위한 도면이다. 보다 구체적으로, 영상 생성부(123)는 다음과 같은 단계들을 통해 깊이 맵 구체를 생성할 수 있다.
첫 번째로, 영상 생성부(123)는 이미지면의 자세와 광학점을 고려하여 각 깊이 맵의 픽셀들을 3차원 공간으로 재투영한 다음 이미지 구체에 투영할 수 있다. 도 3에서, pi,j는 이미지면 i에서 j번째 픽셀을 나타낸다. 영상 생성부(123)는 재투영 과정 후, pn,m를 3차원 지점 vn,m으로 재투영할 수 있고, 재투영된 지점 vn,m은 (vn,m과 이미지 구체 C1의 중심 사이의 거리 - 구체의 반경)을 저장한 이미지 구체의 동일 픽셀 지점으로 투영될 수 있다. 영상 생성부(123)는 재투영된 3차원 지점이 이미지 구체에 투영되면 이미지 구체의 동일 픽셀 지점에 하나 이상의 3차원 지점을 투영할 수 있고, 이 경우 3차원 지점의 깊이 정렬이 필요하다.
두 번째로, 영상 생성부(123)는 각 3차원 지점과 투영 지점 사이의 거리를 비교하여 거리가 최소인 점을 선택할 수 있다. 도 3에서, 영상 생성부(123)는 v2,2와 v2,3을 이미지 구체의 픽셀 지점 ps,t에 투영할 수 있고, v2,2와 ps,t와의 거리가 더 가까우면 v2,2를 ps,t로 투영할 수 있다. 영상 생성부(123)는 3차원 지점들을 순차적으로 투영하여 거리 정렬을 간단하게 수행할 수 있다. 영상 생성부(123)는 특정 3차원 지점을 이미지 구체에 투영하려고 할 때 이미지 구체가 이미 픽셀 지점에서 깊이 값을 갖는 경우 이 값을 현재 3차원 지점의 깊이와 비교하여 현재 3차원 지점의 깊이가 더 작으면 투영 지점의 값을 현재 3차원 지점의 깊이로 변경할 수 있다.
일 실시예에서, 영상 생성부(123)는 GPU에서 병렬 처리로 재투영된 3차원 지점의 투영 작업을 수행할 때 3차원 지점의 순차 처리가 적합하지 않는 문제를 해결하기 위해 병렬 처리에서 3차원 지점을 투영할 수 있다.
예를 들어, 픽셀 지점 ps,t의 깊이 값을 선택하는 문제에 있어서, 영상 생성부(123)는 픽셀 ps,t의 깊이를 결정하기 위해 투영 광선 C1, ps,t과 첫 번째 교차점 또는 충분히 근접한 3차원 지점을 생성할 수 있고, 이 경우, C2, C1 및 ps,t는 항상 같은 반평면에 위치할 수 있으며, ps,t에 투영되는 3차원 지점도 그 반평면에 존재할 수 있다. 이때, 반평면은 이미지 평면(Image plane) #2와 교차할 수 있고, 광선 C1, ps,t에는 교차선 상의 픽셀들에서 재투영된 3차원 지점들만 존재할 수 있다. 여기에서, 카메라들의 설정이 변경되지 않는 한, 이미지의 각 투영 픽셀 지점에 대한 교차 선의 위치와 교차 선과 투영 광선 사이의 각도도 변경되지 않고, 또한, 교차 선상의 각 픽셀에 대해 재투영된 3차원 지점을 광선 C1, ps,t와 만나게 하는 깊이 값은 일정하며 투영 광선과 교차 선 사이의 각도와 그 픽셀과 교차 지점 p2,x,t사이의 거리를 이용해 계산할 수 있다. 이에 따라, 영상 생성부(123)는 교차점 p2,t에서 시작하여 교차 선을 따라 선상의 대상 픽셀을 순차적으로 검색하여 재투영된 3차원 점이 픽셀 점 ps,t로 투영된 첫 번째 픽셀을 찾으면 검색을 중지하고 (3차원 점과 픽셀 점 p2,x 사이의 거리) - (이미지 구체의 반경)으로 p2,x의 깊이 값을 설정할 수 있다. 일 실시예에서, 이러한 본 발명의 알고리즘을 사용하면 이미지 영역에 표시되지 않는 픽셀의 재투영 계산을 위해 들어가는 불필요한 비용을 제거할 수 있고, 전체적인 프로세스가 병렬로 처리되는데 적합한 구조로 만들 수 있다.
영상 생성부(123)는 각 깊이 맵에 대해 상기의 작업을 반복하여 각 스테레오 영상 쌍에 대한 구형 깊이 맵을 생성할 수 있다. 여기에서, 각 구형 깊이 맵에서 원본 깊이 맵으로 덮인 영역만 깊이 정보를 가지는데, 패치는 이러한 영역으로 정의될 수 있다. 영상 생성부(123)는 패치들을 하나의 구체에서 결합할 수 있고, 이에 따라 패치들 사이에 겹침이 발생할 수 있다. 이러한 현상은 스테레오 카메라(110)의 시야가 겹치기 때문에 발생하는 것으로, 패치의 겹침 영역에서 객체의 깊이 불일치가 발생하기 때문에 완벽한 통합을 위해 각 객체가 일정한 깊이 맵을 가지도록 해야한다. 영상 생성부(123)는 이후의 단계들을 통해 장면간 겹침과 그 영역에서의 깊이 불일치를 해결할 수 있다.
일 실시예에서, 영상 생성부(123)는 3차원 가상 공간 상에 정렬된 깊이 맵들을 하나의 투영 구체로 투영하여 통합할 수 있다. 앞서 서술한 것처럼, 깊이 맵들 간의 완벽한 통합을 위해 인접한 깊이 맵들 간의 겹침을 결정하고 깊이의 불일치를 해결하는 것이 중요하다. 이러한 내용은 도 4를 참조하여 설명하도록 한다.
도 4는 도 1에 있는 영상 생성부(123)가 3차원 가상 공간 상에 정렬된 깊이 맵들을 하나의 투영 구체로 투영하여 통합하기 위한 과정을 수행하는 일 실시예를 설명하기 위한 도면이다.
보다 구체적으로, 도 4는 스테레오 카메라들(110)의 2개의 뷰 사이에 중첩이 발생한 경우를 보여준다. 도 4에서, 음영 영역은 왼쪽 및 오른쪽 카메라 쌍 사이에 중첩되는 영역을 나타낸다. 객체 점이 중첩 영역에 있으면 객체가 두 스테레오 카메라에 모두 나타나고, 이에 관한 객체의 깊이는 각 스테레오 카메라(110)에 의해 측정될 수 있다. 영상 생성부(123)는 정렬된 깊이 맵들을 통합하는 과정에서 이웃하는 스테레오 카메라(110)의 중첩 영역에 표시된 객체들을 검출하고, 검출된 객체들이 일관된 깊이를 갖도록 깊이를 조정할 수 있다.
3차원 공간에서의 카메라 설정에 따라 중첩 영역은 다르게 발생한다. 도 4에서, 해당 중첩의 경우에 이론적으로 장면의 모든 객체가 카메라로부터 무한 거리에 있다면 겹치는 영역은 선 p1,l p1,k로 표시된 이미지 영역을 차지하게 된다. 여기에서, p1,l는 이미지 영역 #1의 왼쪽 경계선, p2,r는 이미지 영역 #2의 오른쪽 경계선, p1,k은 이미지 영역 #2의 투영 광선이 p2,r에 평행한 픽셀 점들로 이루어진 선에 해당한다.
영상 생성부(123)는 정렬된 깊이 맵들 각각에 있는 세그먼트들에 관해 레이블링(labeling)을 수행하여 객체 형태(contour)를 정의할 수 있다. 보다 구체적으로, 영상 생성부(123)는 해당 세그먼트들이 하나의 평면에 존재하도록 깊이 값의 근사를 진행하여 깊이 정보를 조정하는 레이블링을 수행하여 객체들을 구분할 수 있다. 일 실시예에서, 영상 생성부(123)는 정렬된 깊이 맵들 각각의 이미지에 있는 객체들을 배경 객체와 전경 객체로 분류하고, 전경 객체들 중 겹치는 영역으로 재투영되는 객체가 존재하는 경우 깊이 조정이 필요한 대상 객체로 지정하여 레이블링을 수행할 수 있다. 여기에서, 전경 객체는 스테레오 영상에서 충분한 불일치를 보여주는 객체에 해당하고, 배경 객체는 불일치가 관찰되지 않는 객체에 해당할 수 있다.
일 실시예에서, 영상 생성부(123)는 레이블링을 위해 깊이 맵에 있는 객체들 간의 깊이 차이를 과장하고 객체 내의 깊이 차이를 감소시켜 각 객체를 보다 구별되도록 하는 깊이 양자화 처리(Depth Quantization)를 수행할 수 있다. 이러한 내용은 도 5를 참조하여 설명하도록 한다.
도 5는 도 1에 있는 영상 생성부(123)가 깊이 양자화 처리를 통해 중첩된 객체들의 깊이를 결정하는 과정의 일 실시예를 나타내는 도면이다.
보다 구체적으로, 영상 생성부(123)는 깊이 양자화 처리를 통해 각 객체의 샘플 깊이 값을 선택하여 객체들 간의 깊이 정보에 관해 비교 분석할 수 있다. 일 실시예에서, 영상 생성부(123)는 현재 장면에서 객체들의 깊이 정보를 고려하여 샘플 깊이를 적절하게 선택하는 방식으로 깊이 양자화 처리를 수행할 수 있고, 보다 구체적으로, 각 패치에 대해 깊이 값들의 히스토그램을 생성하고 히스토그램을 기초로 깊이 값의 K 평균값 클러스터링을 수행하여 산출된 각 클러스터의 평균 깊이 값을 각 객체의 샘플 깊이 값으로 선택할 수 있다. 여기에서, K는 클러스터 수를 나타내고, 설계자에 의해 미리 설정될 수 있다.
일 실시예에서, 영상 생성부(123)는 깊이 양자화 처리 후에 깊이 값이 같고 연결된 픽셀들을 클러스터링하여 이미지 세분화를 수행할 수 있고, 이에 따라 객체 형태를 정의할 수 있다.
일 실시예에서, 영상 생성부(123)는 정의된 객체 형태를 기초로 왼쪽 및 오른쪽 영상에 관한 객체 형태들 간의 깊이 정보를 분석하여 세그먼트들을 최적화할 수 있다. 보다 구체적으로, 영상 생성부(123)는 현재 깊이 맵에 있는 객체 이미지 세그먼트의 깊이 정보를 깊이 맵 생성에 사용한 원본 영상(왼쪽 및 오른쪽 영상)을 기초로 추정할 수 있고, 결과적으로, 세그먼트가 존재하는 이미지 영역을 대상으로 최적화를 수행할 수 있다.
영상 생성부(123)는 최적화된 세그먼트들 중에서 중첩된 깊이 맵들 상에 있는 세그먼트들에 관해 세그먼트 매칭을 수행하여 매칭된 세그먼트들을 획득할 수 있다. 보다 구체적으로, 영상 생성부(123)는 중첩된 깊이 맵들 상에 있는 세그먼트들을 검출할 수 있고, 세그먼트들 간의 유사도를 산출하는 세그먼트 매칭을 통해 중첩 영역에서 매칭된 세그먼트들을 획득할 수 있다.
일 실시예에서, 영상 생성부(123)는 세그먼트 매칭을 수행하기 위해 먼저 각 패치의 세그먼트들을 3차원 가상 공간 상에 재투영할 수 있다. 이러한 내용은 도 6을 참조하여 설명하도록 한다.
도 6은 도 1에 있는 영상 생성부(123)가 세그먼트 매칭을 수행하기 위해 각 패치의 세그먼트들을 3차원 가상 공간 상에 재투영하는 과정의 일 실시예를 나타내는 도면이다. 여기에서, 패치의 세그먼트들은 평면 깊이 맵으로의 세그먼트 재투영과 달리, 구의 표면에서 변환될 때 크기가 조정될 수 있고, 조정 계수는 세그먼트의 깊이 ds에 비례할 수 있다. 일 실시예에서, 영상 생성부(123)는 세그먼트들의 평균 RGB(Red Green Blue) 색상과 재투영된 위치를 기초로 패치들 간에 매칭되는 세그먼트를 검출할 수 있다.
이후, 영상 생성부(123)는 각 객체에 대해 객체가 중첩 영역에 있는지 여부를 검사할 수 있다. 이러한 내용은 도 7을 참조하여 설명하도록 한다.
도 7은 도 1에 있는 영상 생성부(123)가 각 객체에 대해 중첩 영역에 있는지 여부를 검사하는 과정의 일 실시예를 나타내는 도면이다.
보다 구체적으로, 세그먼트의 겹침은 중첩 영역 내에 객체가 존재하는 경우(Case1), 객체의 경계가 한 패치의 비중첩 영역에서 시작하여 중첩 영역에서 끝나는 경우(Caes2) 및 객체의 경계가 한 패치의 비중첩 영역에서 시작하여 다른 패치의 비중첩 영역에서 끝나는 경우(Case3)로 분류할 수 있다. 일 실시예에서, 영상 생성부(123)는 각 경우에 대해 패치 간의 매칭을 찾기 위해 무게중심 위치와 세그먼트의 겹치는 부분의 평균 RGB 값 사이의 거리를 측정할 수 있다.
예를 들어, Case1의 경우, 세그먼트의 경계가 중첩영역 내부에서 정의되는 경우로 볼 수 있고, 이 경우 영상 생성부(123)는 양쪽 깊이 맵에서 존재하는 세그먼트 중 신뢰도가 높은 세그먼트의 깊이로 선택할 수 있으며, 여기에서, 신뢰도는 품질 개선된 깊이 맵 상에서의 깊이 값과 로우 깊이 맵 상에서의 깊이 값의 일치 정도가 클수록 높은 것으로 판단될 수 있다.
예를 들어, Case2의 경우, 세그먼트의 경계가 중첩 영역과 한쪽 깊이 맵에 걸쳐서 존재하는 경우로 볼 수 있고, 이 경우 영상 생성부(123)는 각 깊이 맵 이미지 상에서 나타난 매칭된 세그먼트들에 대하여 해당 세그먼트들의 각 깊이 맵 상에서의 신뢰도와 세그먼트의 크기 비율을 기준으로 최종 세그먼트의 깊이를 추정하여 최종 형태를 선택할 수 있다. 여기에서, 세그먼트 s1과 s2 간의 유사도를 측정하기 위해 s1.2와 s2의 무게중심 위치와 평균 RGB를 사용할 수 있으며, 해당 경우에 대해 s1.2와 s2.1 사이의 유사도를 측정하여 가장 작은 차이를 보여주는 세그먼트들 간의 매칭을 수행할 수 있다.
예를 들어, Case3의 경우, 세그먼트의 경계가 중첩 영역과 양쪽 깊이 맵들에 걸쳐서 존재하는 경우로 볼 수 있고, 이 경우 영상 생성부(123)는 각 깊이 맵 이미지 상에서 나타난 매칭 세그먼트들에 대하여 세그먼트들의 각 깊이 맵 상에서의 신뢰도와 중첩 영역 주변 세그먼트의 크기 비율을 기준으로 최종 깊이와 최종 형태를 추정할 수 있다.
영상 생성부(123)는 상기의 Case1 ~ Case3 이외에, 최종적으로 경계 및 중첩 영역에서 객체의 외형이 판별되지 않은 영역에 대해서는 배경 객체로 정의하고, 양쪽 깊이 맵들에서 측정된 깊이 값의 평균으로 깊이 값을 추정할 수 있다.
영상 생성부(123)는 매칭된 세그먼트들을 통합(integration)하여 장면 깊이 맵을 생성할 수 있다. 보다 구체적으로, 영상 생성부(123)는 중첩되는 세그먼트 사이의 매칭 이후, 매칭된 세그먼트들을 동일한 깊이로 병합하여 장면 깊이 맵을 생성할 수 있고, 매칭된 세그먼트의 최적 깊이를 찾기 위해 매칭된 세그먼트들의 위치의 가중 평균을 계산할 수 있다. 일 실시예에서, 영상 생성부(123)는 전체 세그먼트의 크기를 가중치로 사용할 수 있다.
일 실시예에서, 영상 생성부(123)는 장면 깊이 맵에 색상 맵들을 반영하는 3차원 텍스처 매핑을 통해 색상 맵들을 통합하여 장면 색상 맵을 생성할 수 있다. 보다 구체적으로, 영상 생성부(123)는 생성된 3차원의 장면 깊이 맵 정보에 복수의 스테레오 영상들 각각의 2차원의 원본 영상으로부터 검출된 색상 정보를 포함하는 색상 맵들을 반영하는 텍스처 매핑을 수행하여 3차원의 장면 색상 맵을 생성할 수 있다. 다른 일 실시예에서, 영상 생성부(123)는 복수의 스테레오 영상들로부터 각각에 관한 색상 정보를 포함하는 색상 맵들을 생성할 수 있고, 생성된 색상 맵들을 병합하여 장면 색상 맵을 생성할 수 있다.
영상 생성부(123)는 장면 깊이 맵과 장면 색상 맵을 통합하여 360도 동영상을 생성할 수 있다. 일 실시예에서, 영상 생성부(123)는 장면 깊이 맵과 장면 색상 맵을 기초로 깊이 맵 구체를 생성하여 360도 동영상을 생성할 수 있다. 360도 동영상에서, 사용자에 의해 가상 시점이 결정되면 결정된 가상 시점에 따라 깊이 구체 내부에서 임의의 3차원 위치가 선택될 수 있고, 선택된 3차원 위치에 따라 해당 가상 시점의 스테레오 영상이 생성될 수 있다.
일 실시예에서, 영상 생성부(123)는 360도 동영상에 대해 가상 스테레오 카메라를 설정하고, 가상 스테레오 카메라를 기초로 가상 시점에 대한 스테레오 영상을 생성할 수 있다. 이를 위해 영상 생성부(123)는 깊이 맵 구체 위에 세그먼트를 재투영하여 가상 3차원 장면을 만들고, 가상 스테레오 카메라의 뷰 위치에서 장면에 관한 구멍이 검출되면 해당 구멍을 메우기 위한 인페인팅을 수행할 수 있다.
영상 생성부(123)는 생성된 360도 동영상을 영상 재생부(126)에 전송할 수 있다. 일 실시예에서, 영상 생성부(123)는 360도 동영상을 프레임 단위로 압축하고 인코딩하여 해당 압축 및 인코딩된 360도 동영상을 유선 또는 무선 네트워크를 통해 영상 재생부(126)에 전송할 수 있다. 다른 일 실시예에서, 영상 생성부(123)는 생성된 장면 깊이 맵과 장면 색상 맵에 관해 프레임 단위로 압축하고 인코딩하여 해당 압축 및 인코딩된 장면 깊이 맵과 장면 색상 맵을 유선 또는 무선 네트워크를 통해 영상 재생부(126)에 전송할 수 있다.
360도 동영상에서의 가상현실 재생 장치(120)의 영상 재생부(126)에 관해 이어서 서술하도록 한다.
영상 재생부(126)는 360도 동영상에 사용자에 의해 결정된 가상 시점을 반영하여 양안 각각을 위한 2차원 영상을 영상 표시 장치(130)를 통해 재생한다. 일 실시예에서, 영상 재생부(126)는 영상 생성부(123)로부터 압축 및 인코딩된 장면 깊이 맵과 장면 색상 맵을 수신할 수 있고, 수신된 압축 및 인코딩 데이터에 관해 압축 해제 및 디코딩을 수행하여 장면 깊이 맵과 장면 색상 맵에 대한 복원을 통해 360 동영상의 재생을 준비할 수 있다. 다른 일 실시예에서, 영상 재생부(126)는 영상 생성부(123)로부터 압축 및 인코딩된 360도 동영상을 수신하고 이에 관해 압축 해제 및 디코딩을 수행하여 360도 동영상을 복원할 수 있다.
영상 재생부(126)는 가상 시점을 설정할 수 있다. 영상 재생부(126)는 영상 표시 장치(130)로부터 사용자에 의한 가상 시점의 조작 정보를 수신하여 해당 조작 정보에 관한 분석을 통해 가상 시점을 결정할 수 있고, 영상 표시 장치(130)로부터 별도의 가상 시점에 관한 조작 정보가 수신되지 않으면 설계자 또는 사용자에 의해 미리 설정된 가상 시점 초기 값을 가상 시점으로 결정할 수 있다.
일 실시예에서, 영상 재생부(126)는 가상 시점이 결정되면 복원된 장면 깊이 맵과 장면 색상 맵에 해당 가상 시점을 반영하여 360도 동영상에 관한 3차원 위치를 검출할 수 있고, 해당 3차원 위치에 따른 양안 각각을 위한 2차원 영상을 영상 표시 장치(130)에 전송하여 영상 표시 장치(130)가 해당 가상 시점에 관한 3차원 파노라마 영상을 디스플레이하도록 할 수 있다.
영상 재생부(126)는 양안 각각을 위한 2차원 영상의 재생 과정에서 사용자에 의해 가상 시점의 변경과 연관된 헤드 트래킹 이벤트가 수신되면 수신된 헤드 트래킹 이벤트를 분석하여 가상 시점을 갱신할 수 있다. 보다 구체적으로, 영상 재생부(126)는 사용자가 고개를 돌리는 움직임에 관한 추적 정보를 포함하는 헤드 트래킹 이벤트를 지속적으로 확인하여 사용자가 고개를 돌리는 방향으로 360도 동영상의 시점이 움직이도록 할 수 있고, 헤드 트래킹 이벤트에 관한 정보를 가상 시점으로 변환하여 가상 시점을 갱신할 수 있으며, 갱신된 가상 시점이 반영된 양안 각각을 위한 2차원 영상을 영상 표시 장치(130)에 전송하여 실시간으로 갱신된 3차원 파노라마 영상을 영상 표시 장치(130)를 통해 재생할 수 있다.
영상 생성부(123)와 영상 재생부(126) 각각은 상호 물리적으로 분리된 별도의 컴퓨팅 장치 또는 분리되지 않은 동일 컴퓨팅 장치로 구현되어 각각의 전체적인 동작을 제어하는 제어 모듈들 또는 통합된 제어 모듈을 포함하여 구성될 수 있고, 예를 들어, 제어 모듈은 CPU(Central Processing Unit)로 구현된 제1 제어 모듈 및 GPU로 구현된 제2 제어 모듈 중에서 적어도 하나를 포함하여 360도 동영상에서의 가상현실 재생 장치(120)의 동작 전반에서 수행되는 작업들을 분산하여 병렬 처리되도록 제어할 수 있다.
도 2는 도 1에 있는 360도 동영상에서의 가상현실 재생 장치에서 360도 동영상을 생성 및 재생하는 과정을 설명하는 순서도이다.
영상 생성부(123)는 3차원 공간을 촬영하는 복수의 스테레오 카메라들(110)로부터 복수의 스테레오 영상들을 수신한다(단계 S210).
영상 생성부(123)는 복수의 스테레오 영상들에 관한 깊이 맵들을 통합한 장면 깊이 맵과 복수의 스테레오 영상들에 관한 색상 맵들을 통합한 장면 색상 맵을 생성하여 360도 동영상을 생성한다(단계 S220).
영상 재생부(126)는 360도 동영상에 사용자에 의해 결정된 가상 시점을 반영하여 양안 각각을 위한 2차원 영상을 영상 표시 장치(130)를 통해 재생한다(단계 S230).
본 발명의 일 실시예에 따르면, 360도 동영상에서의 가상현실 재생 장치(120)는 향상된 영상 품질의 360도 입체 영상을 제공할 수 있다.
도 8는 도 1에 있는 360도 동영상에서의 가상현실 재생 장치에서 360도 동영상을 생성 및 재생하는 과정의 일 실시예를 설명하는 순서도이다.
영상 생성부(123)는 3차원 공간을 촬영하는 복수의 스테레오 카메라들(110)로부터 복수의 스테레오 영상들을 수신할 수 있고, 복수의 스테레오 카메라들(110)에 관한 카메라 특성 파라미터를 기초로, 수신된 복수의 스테레오 영상들을 보정할 수 있다(단계 S810).
영상 생성부(123)는 보정된 복수의 스테레오 영상들에 관해 양안을 위한 왼쪽 및 오른쪽 영상 간의 특성 매칭을 통해 2차원 좌표계로 정의되는 깊이 맵들을 생성할 수 있고, 그래프-컷 또는 신념 전파 방법을 통해 깊이 맵에 관한 최적화를 수행하여 깊이 맵의 품질을 개선할 수 있다(단계 S820).
영상 생성부(123)는 복수의 스테레오 카메라들(110) 간의 회전변화 및 평행이동을 포함하는 변환 관계를 기초로 깊이 맵들을 3차원 좌표계로 정의되는 가상 공간 상에 정렬하여 장면 깊이 맵을 생성할 수 있고, 장면 깊이 맵에 관한 모델링 정확도를 개선하여 보다 향상된 결과를 얻을 수 있다(단계 S820). 일 실시예에서, 영상 생성부(123)는 각 스테레오 영상의 왼쪽 및 오른쪽 영상 쌍에 관한 깊이 맵을 가상 공간 상에 정렬하여 구형 깊이 맵을 생성할 수 있고, 각 스테레오 영상을 통해 획득된 구형 깊이 맵에 있는 패치들을 하나의 구체에서 결합할 수 있으며, 정렬된 깊이 맵들 각각에 있는 세그먼트들에 관한 레이블링과 세그먼트 매칭 및 통합을 통해 하나의 구체에서 검출되는 장면간 겹침과 그 영역에서의 깊이 불일치를 최소화할 수 있다(단계 S830).
영상 생성부(123)는 장면 깊이 맵에 색상 맵들을 반영하는 3차원 텍스처 매핑을 통해 색상 맵들을 통합하여 장면 색상 맵을 생성할 수 있다(단계 S840).
영상 생성부(123)는 장면 깊이 맵과 장면 색상 맵을 프레임 단위로 압축 및 인코딩하여 네트워크를 통해 영상 재생부(126)에 전송할 수 있다(단계 S850).
영상 재생부(126)는 영상 생성부(123)로부터 수신된 해당 압축 및 인코딩된 장면 깊이 맵과 장면 색상 맵을 압축 해제 및 디코딩하는 과정을 통해 프레임 단위로 장면 깊이 맵과 장면 색상 맵을 복원할 수 있다(단계 S860). 영상 재생부(126)는 복원된 장면 깊이 맵과 장면 색상 맵을 기초로 360도 동영상을 획득할 수 있다.
영상 재생부(126)는 360도 동영상에 사용자에 의해 결정된 가상 시점을 반영하여 양안 각각을 위한 2차원 영상을 영상 표시 장치(130)를 통해 재생할 수 있다(단계 S870~S880).
영상 재생부(126)는 양안 각각을 위한 2차원 영상의 재생 과정에서 사용자에 의해 가상 시점의 변경과 연관된 헤드 트래킹 이벤트가 수신되면 수신된 헤드 트래킹 이벤트를 분석하여 가상 시점을 갱신할 수 있다(단계 S890).
본 발명의 일 실시예에 따르면, 360도 동영상에서의 가상현실 재생 장치(120)는 사용자에 의해 가상 시점이 변경되어도 효율적으로 가상 시점을 반영하여 양안 각각을 위해 갱신된 2차원 영상을 제공할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 가상 영상 생성 및 재생 시스템
110: 복수의 스테레오 카메라들
120: 360도 동영상에서의 가상현실 재생 장치
123: 영상 생성부 126: 영상 재생부
130: 영상 표시 장치

Claims (8)

  1. 3차원 공간을 촬영하는 복수의 스테레오 카메라들로부터 복수의 스테레오 영상들을 수신하고, 상기 복수의 스테레오 영상들에 관한 2차원 좌표계로 정의되는 깊이 맵들을 생성하여 3차원 좌표계로 정의되는 가상 공간 상에 정렬하고, 상기 정렬된 깊이 맵들을 깊이 맵 구체에 투영하여 상기 투영된 깊이 맵들 각각에 있는 세그먼트들을 매칭하고 통합한 장면 깊이 맵과 상기 복수의 스테레오 영상들에 관한 색상 맵들을 통합한 장면 색상 맵을 생성하여 360도 동영상을 생성하는 영상 생성부; 및
    상기 360도 동영상에 사용자에 의해 결정된 가상 시점을 반영하여 양안 각각을 위한 2차원 영상을 영상 표시 장치를 통해 재생하는 영상 재생부를 포함하는 360도 동영상에서의 가상현실 재생 장치.
  2. 제1항에 있어서, 상기 영상 생성부는
    상기 복수의 스테레오 영상들에 관해 양안을 위한 왼쪽 및 오른쪽 영상 간의 특성 매칭을 통해 상기 깊이 맵들을 생성하는 것을 특징으로 하는 360도 동영상에서의 가상현실 재생 장치.
  3. 제2항에 있어서, 상기 영상 생성부는
    상기 복수의 스테레오 카메라들 간의 회전변화(rotation) 및 평행이동(translation)을 포함하는 변환 관계를 기초로 상기 깊이 맵들을 상기 가상 공간 상에 정렬(aligning)하는 것을 특징으로 하는 360도 동영상에서의 가상현실 재생 장치.
  4. 제3항에 있어서, 상기 영상 생성부는
    상기 정렬된 깊이 맵들 각각에 있는 세그먼트들에 관해 레이블링을 수행하여 객체 형태를 정의하고, 상기 정의된 객체 형태를 기초로 왼쪽 및 오른쪽 영상에 관한 객체 형태들 간의 깊이 정보를 분석하여 세그먼트들을 최적화하는 것을 특징으로 하는 360도 동영상에서의 가상현실 재생 장치.
  5. 제4항에 있어서, 상기 영상 생성부는
    상기 최적화된 세그먼트들 중에서 중첩된 깊이 맵들 상에 있는 세그먼트들에 관해 세그먼트 매칭을 수행하여 매칭된 세그먼트들을 획득하는 것을 특징으로 하는 360도 동영상에서의 가상현실 재생 장치.
  6. 제5항에 있어서, 상기 영상 생성부는
    상기 매칭된 세그먼트들을 통합(integration)하여 상기 장면 깊이 맵을 생성하는 것을 특징으로 하는 360도 동영상에서의 가상현실 재생 장치.
  7. 제1항에 있어서, 상기 영상 생성부는
    상기 장면 깊이 맵에 상기 색상 맵들을 반영하는 3차원 텍스처 매핑을 통해 상기 색상 맵들을 통합하여 상기 장면 색상 맵을 생성하는 것을 특징으로 하는 360도 동영상에서의 가상현실 재생 장치.
  8. 제1항에 있어서, 상기 영상 재생부는
    상기 양안 각각을 위한 2차원 영상의 재생 과정에서 상기 사용자에 의해 상기 가상 시점의 변경과 연관된 헤드 트래킹 이벤트가 수신되면 상기 수신된 헤드 트래킹 이벤트를 분석하여 상기 가상 시점을 갱신하는 것을 특징으로 하는 360도 동영상에서의 가상현실 재생 장치.
KR1020170037447A 2017-03-24 2017-03-24 360도 동영상에서의 가상현실 재생 장치 KR101933037B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170037447A KR101933037B1 (ko) 2017-03-24 2017-03-24 360도 동영상에서의 가상현실 재생 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170037447A KR101933037B1 (ko) 2017-03-24 2017-03-24 360도 동영상에서의 가상현실 재생 장치

Publications (2)

Publication Number Publication Date
KR20180108106A KR20180108106A (ko) 2018-10-04
KR101933037B1 true KR101933037B1 (ko) 2018-12-27

Family

ID=63862813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170037447A KR101933037B1 (ko) 2017-03-24 2017-03-24 360도 동영상에서의 가상현실 재생 장치

Country Status (1)

Country Link
KR (1) KR101933037B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200116224A (ko) * 2019-04-01 2020-10-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 360도 영상 저장 방법 및 렌더링 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
KR102642418B1 (ko) * 2017-11-16 2024-03-04 삼성전자주식회사 3차원 영상을 처리하는 방법 및 장치
KR20210133083A (ko) * 2020-04-28 2021-11-05 삼성전자주식회사 카메라를 이용하여 공간의 깊이를 획득하는 디바이스 및 방법
US20220321859A1 (en) * 2021-03-25 2022-10-06 Korea Advanced Institute Of Science And Technology Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof
KR102587298B1 (ko) * 2021-03-25 2023-10-12 한국과학기술원 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200116224A (ko) * 2019-04-01 2020-10-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 360도 영상 저장 방법 및 렌더링 방법
KR102209907B1 (ko) * 2019-04-01 2021-01-29 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 360도 영상 저장 방법 및 렌더링 방법

Also Published As

Publication number Publication date
KR20180108106A (ko) 2018-10-04

Similar Documents

Publication Publication Date Title
KR101933037B1 (ko) 360도 동영상에서의 가상현실 재생 장치
US10645366B2 (en) Real time re-calibration of stereo cameras
US10602126B2 (en) Digital camera device for 3D imaging
US10176592B2 (en) Multi-directional structured image array capture on a 2D graph
US10460509B2 (en) Parameterizing 3D scenes for volumetric viewing
US9204128B2 (en) Stereoscopic shooting device
EP2328125B1 (en) Image splicing method and device
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
US9846960B2 (en) Automated camera array calibration
US9288474B2 (en) Image device and image processing method for generating control information indicating the degree of stereoscopic property or whether or not 3D image needs to be outputted
US20140002612A1 (en) Stereoscopic shooting device
US8970675B2 (en) Image capture device, player, system, and image processing method
JP2017532847A (ja) 立体録画及び再生
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
US9042709B2 (en) Image capture device, player, and image processing method
CN108886611A (zh) 全景立体视频系统的拼接方法和装置
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
Zilly et al. Real-time generation of multi-view video plus depth content using mixed narrow and wide baseline
KR101983586B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
WO2020184174A1 (ja) 画像処理装置および画像処理方法
Rotem et al. Automatic video to stereoscopic video conversion
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
WO2019008222A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
Fu et al. Image Stitching Techniques Applied to Plane or 3D Models: A Review
GB2585197A (en) Method and system for obtaining depth data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant