KR102166158B1 - 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 - Google Patents
입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 Download PDFInfo
- Publication number
- KR102166158B1 KR102166158B1 KR1020180164854A KR20180164854A KR102166158B1 KR 102166158 B1 KR102166158 B1 KR 102166158B1 KR 1020180164854 A KR1020180164854 A KR 1020180164854A KR 20180164854 A KR20180164854 A KR 20180164854A KR 102166158 B1 KR102166158 B1 KR 102166158B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- eye
- intra
- generating
- view
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 40
- 238000009877 rendering Methods 0.000 claims description 26
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims description 10
- 230000004886 head movement Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims 2
- 210000003128 head Anatomy 0.000 description 28
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0096—Synchronisation or controlling aspects
Abstract
본 발명은 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템에 관한 것으로, 입체 영상 생성 장치는 HMD (Head Mount Display) 기기 및 VR(Virtual Reality) Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 수신하여 FOV(Field Of View)를 결정하는 FOV 처리부, 제1 아이(Eye)를 위해서 독자적으로 생성되는 인트라(Intra) 영상과 상기 인트라 영상에서 파생되는 인터(Inter) 영상을 포함하고, 상기 사용자의 헤드 방향의 중심에서 상기 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성하는 제1 아이 영상 생성부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 복수의 제2 아이 영상들을 생성하는 제2 아이 영상 생성부를 포함한다.
Description
본 발명은 입체 영상 생성 및 복원 기술에 관한 것으로, 보다 상세하게는 입체 영상의 재생 환경에서 불필요한 연산을 감소 또는 제거할 수 있는 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템에 관한 것이다.
최근 가상현실(Virtual Reality, VR) 기기가 출현하고 있으나, 비싼 가격, 몰입감을 방해하는 저해상도, VR 컨텐츠 부족 등의 문제로 인해 스마트폰처럼 널리 보급되고 있지 않다. 특히, 사용자의 머리 움직임과 눈에 보이는 VR 영상 간의 불일치로 인해 발생할 수 있는 어지러움 등과 같은 신체적 불편의 해소는 필수적으로 해결되어야 하는 문제일 수 있다. 이를 해결하기 위해서는 MTP(Motion-to-Photon) 지연(Redundancy)를 10 ~ 20 ms 이내로 줄여야 하며, 무선 환경(예를 들어, WiFi 또는 모바일 네트워크 등)에서 이를 달성하기 위해서는 기술적 어려움이 존재한다.
한국 등록특허공보 제10-0820132(2008.04.01)호는 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및 시스템에 관한 것으로, 영상 인코딩 또는 디코딩 프로세스에 사용되는 화소 예측 모드를 추정하고, 영상 인코더와 디코더 사이에 화소 예측 모드를 전달하고, 화소의 인트라-예측 모드를 순서화하기 위한 방법 및 시스템을 제공함으로써, 코딩 프로세스의 효율을 개선시킬 수 있는 기술을 개시하고 있다.
한국 등록특허공보 제10-0813435(2008.03.07)호는 비트스트림 인코딩/디코딩 방법 및 장치에 관한 것으로, 각 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화(decoding)할 수 있고, 이를 위하여 디코딩 디스크립션(decoding description)을 부가한 확장 비트스트림을 생성하는 기술을 개시하고 있다.
본 발명의 일 실시예는 입체 영상의 재생 환경에서 불필요한 연산을 감소 또는 제거할 수 있는 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템을 제공하고자 한다.
본 발명의 일 실시예는 오른쪽 영상의 인트라 영상을 왼쪽 영상의 기본 인터 영상 생성에 활용함으로써 무선 통신을 통해 전송되는 데이터를 효과적으로 줄일 수 있는 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템을 제공하고자 한다.
본 발명의 일 실시예는 오른쪽 영상의 인트라 영상과 왼쪽 영상의 기본 인터 영상을 동일한 시점으로 동기화 시킬 수 있는 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템을 제공하고자 한다.
실시예들 중에서, 입체 영상 생성 장치는 HMD (Head Mount Display) 기기 및 VR(Virtual Reality) Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 수신하여 FOV(Field Of View)를 결정하는 FOV 처리부, 제1 아이(Eye)를 위해서 독자적으로 생성되는 인트라(Intra) 영상과 상기 인트라 영상에서 파생되는 인터(Inter) 영상을 포함하고, 상기 사용자의 헤드 방향의 중심에서 상기 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성하는 제1 아이 영상 생성부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 복수의 제2 아이 영상들을 생성하는 제2 아이 영상 생성부를 포함한다.
상기 FOV 처리부는상기 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직에 관한 상기 FOV를 결정할 수 있다.
상기 제2 아이 영상 생성부는 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 생성할 수 있다.
상기 제1 아이 영상 생성부는 상기 사용자의 헤드 방향이 일정 시간 이상 유지되는 경우에는 상기 여유 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 상기 실제 화각까지의 실제 영상에 관한 해상도를 증가시킬 수 있다.
상기 제2 아이 영상 생성부는 입체 영상에서 동일한 시점으로 상기 인트라 영상과 상기 기본 인터 영상을 동기화 시킬 수 있다.
상기 제2 아이 영상 생성부는 상기 제1 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제1 인트라 영상)에 대해 제2 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제2 인트라 영상)의 차이를 상기 기본 인터 영상으로 생성할 수 있다.
실시예들 중에서, 입체 영상 복원 장치는 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 상기 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원하는 제1 아이 영상 복원부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원하는 제2 아이 영상 복원부를 포함한다.
실시예들 중에서, 입체 영상 재생 시스템은 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 상기 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원하는 제1 아이 영상 복원부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원하는 제2 아이 영상 복원부를 포함하는 입체 영상 복원 장치 및 상기 복수의 제1 및 제2 아이 영상들을 수신하여 입체 영상을 재생하는 HMD (Head Mount Display) 기기를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템은 오른쪽 영상의 인트라 영상을 왼쪽 영상의 기본 인터 영상 생성에 활용함으로써 무선 통신을 통해 전송되는 데이터를 효과적으로 줄일 수 있다.
본 발명의 일 실시예에 따른 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템은 오른쪽 영상의 인트라 영상과 왼쪽 영상의 기본 인터 영상을 동일한 시점으로 동기화 시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치의 기능적 구성을 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 입체 영상 생성 과정을 설명하는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템의 전체적인 구성을 설명하는 개념도이다.
도 5는 도 4에 있는 입체 영상 생성 장치가 입체 영상 인코딩 과정에서 사용하는 인코딩 방법의 예를 설명하는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 양안 영상에 관한 인코딩 과정을 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 인트라 및 인터 영상의 생성 과정을 설명하는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치의 기능적 구성을 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 입체 영상 생성 과정을 설명하는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템의 전체적인 구성을 설명하는 개념도이다.
도 5는 도 4에 있는 입체 영상 생성 장치가 입체 영상 인코딩 과정에서 사용하는 인코딩 방법의 예를 설명하는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 양안 영상에 관한 인코딩 과정을 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 인트라 및 인터 영상의 생성 과정을 설명하는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템을 설명하는 도면이다.
도 1을 참조하면, 입체 영상 생성 및 재생 시스템(100)은 HMD 기기(110), 입체 영상 생성 및 복원 장치(130), 데이터베이스(150) 및 컨트롤러 기기(170)를 포함할 수 있다. 일 실시예에서, 입체 영상 생성 및 재생 시스템(100)은 입체 영상 생성 시스템과 입체 영상 재생 시스템이 각각 독립적으로 구현될 수 있고, 이 경우 입체 영상 생성 및 복원 장치(130)는 각각 입체 영상 생성 장치와 입체 영상 복원 장치로서 구분될 수 있으며 각 시스템에 포함되어 구현될 수 있다.
HMD(Head Mounted Display) 기기(110)는 사용자의 머리 움직임에 따라 사용자의 시선 방향을 검출하고 해당 시선 방향의 입체 영상을 재생할 수 있는 컴퓨팅 장치에 해당하고, 스마트폰, VR 디바이스 등으로 구현될 수 있다. HMD 기기(110)는 입체 영상 생성 및 복원 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 HMD 기기(110)들은 입체 영상 생성 및 복원 장치(130)와 동시에 연결될 수 있다. 일 실시예에서, HMD 기기(110)는 사용자의 머리 움직임을 감지하여 시선 방향을 검출할 수 있고, 입체 영상 생성 및 복원 장치(130)에 해당 정보를 WiFi, 5G 등과 같은 무선 네트워크를 통해 전송할 수 있다. 또한, HMD 기기(110)는 입체 영상 생성 및 복원 장치(130)로부터 복원된 입체 영상을 전송받아 재생할 수 있다.
입체 영상 생성 및 복원 장치(130)는 사용자의 시선 방향의 영상을 생성하여 무선 전송을 위한 영상 압축을 수행하며 전송받은 입체 영상을 복원하여 재생할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 입체 영상 생성 및 복원 장치(130)는 HMD 기기(110) 및 컨트롤러 기기(170)와 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 유선 또는 무선 네트워크를 통해 HMD 기기(110) 및 컨트롤러 기기(170)와 통신을 수행할 수 있다. 일 실시예에서, 입체 영상 생성 및 복원 장치(130)는 데이터베이스(150)와 연동하여 입체 영상 생성 및 복원에 필요한 정보들을 저장할 수 있다. 한편, 입체 영상 생성 및 복원 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다.
데이터베이스(150)는 입체 영상 생성 및 복원 장치(130)가 생성한 입체 영상에 관한 인코딩 정보를 저장할 수 있고, 해당 입체 영상의 인코딩 과정에서 생성한 렌더링(rendering) 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 입체 영상 생성 및 복원 장치(130)가 입체영상에 대한 인코딩 및 디코딩 과정에서 다양한 형태로 수집 또는 가공한 정보를 저장할 수 있다. 일 실시예에서, 데이터베이스(150)는 복수의 부분 데이터베이스들로 구성될 수 있고, 각 부분 데이터베이스는 하나의 제어부를 통해 통합 관리될 수 있다.
컨트롤러 기기(170)는 사용자의 움직임에 관한 입력 신호를 생성하여 제공할 수 있는 컴퓨팅 장치에 해당하고, Controller, Glove, VR Vest 등으로 구현될 수 있다. 컨트롤러 기기(170)는 입체 영상 생성 및 복원 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 컨트롤러 기기(170)들은 입체 영상 생성 및 복원 장치(130)와 동시에 연결될 수 있다. 일 실시예에서, 컨트롤러 기기(170)는 사용자의 손 움직임, 몸통 위치 등을 감지하여 사용자 입력 신호로서 생성할 수 있고, 입체 영상 생성 및 복원 장치(130)에 해당 정보를 WiFi, 5G 등과 같은 무선 네트워크를 통해 전송할 수 있다.
일 실시예에서, 컨트롤러 기기(170)는 도 1과 달리, HMD 기기(110)와 서로 연결되어 사용자 움직임에 관한 입력 신호를 HMD 기기(110)에 전송할 수 있고, HMD 기기(110)는 컨트롤러 기기(170)로부터 수신한 정보를 입체 영상 생성 및 복원 장치(130)에 전송할 수 있다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치의 기능적 구성을 설명하는 블록도이다.
도 2를 참조하면, 입체 영상 생성 장치(210)는 FOV 처리부(211), 제1 아이 영상 생성부(213), 제2 아이 영상 생성부(215) 및 제1 제어부(217)를 포함할 수 있고, 입체 영상 복원 장치(230)는 제1 아이 영상 복원부(231), 제2 아이 영상 복원부(233) 및 제2 제어부(235)를 포함할 수 있다.
일 실시예에서, 입체 영상 생성 장치(210)는 HMD 기기(110) 및 컨트롤러 기기(170)로부터 사용자 입력에 관한 신호를 수신하고, 그래픽 렌더링을 통해 사용자 시선 방향의 입체 영상을 생성하며, 해당 영상을 캡쳐한 후 무선 전송을 위한 비디오 인코딩을 수행할 수 있다.
일 실시예에서, 입체 영상 복원 장치(230)는 입체 영상 생성 장치(210)에 의해 생성되고 인코딩된 입체 영상을 수신하여 비디오 디코딩을 수행할 수 있고, 사용자의 시선 방향에 따른 해당 입체 영상을 복원하여 HMD 기기(110)를 통해 재생할 수 있으며, FOV에 맞춰 입체 영상을 확장하거나 잘라내는 영상 처리를 수행할 수 있다.
FOV 처리부(211)는 HMD 기기(110) 및 VR Vest 기기를 장착한 사용자의 헤드 및 바디 방향을 수신하여 FOV를 결정할 수 있다. 보다 구체적으로, FOV 처리부(211)는 HMD 기기(110)로부터 사용자의 헤드 방향에 관한 신호를 전달받고, 컨트롤러 기기(170)에 해당하는 VR Vest 기기로부터 사용자의 바디 방향에 관한 신호를 전달받을 수 있다. 또한, FOV 처리부(211)는 해당 사용자의 헤드 방향 및 바디 방향에 기초하여 적응적으로 사용자의 화각(Field Of View, FOV)을 결정할 수 있다. 입체 영상 생성 장치(210)는 FOV 처리부(211)에 의해 결정된 화각을 기초로 입체 영상에 관한 제1 아이 영상과 제2 아이 영상을 생성할 수 있다.
일 실시예에서, FOV 처리부(211)는 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직에 관한 FOV를 결정할 수 있다. 보다 구체적으로, 사용자의 헤드 움직임 만을 고려하여 FOV를 결정하는 경우 사용자의 바디가 고정된 상태를 전제한 것으로 FOV의 범위는 사용자의 헤드와 바디 모두를 고려하여 결정되는 FOV의 범위보다 상대적으로 범위가 제한적일 수 있다. 따라서, FOV 처리부(211)는 사용자의 헤드 움직임 뿐만 아니라 바디 움직임까지 고려하여 FOV를 결정함으로써 사용자의 동적인 움직임을 보다 정확히 반영할 수 있다. 특히, FOV 처리부(211)는 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직 FOV를 결정할 수 있다.
일 실시예에서, FOV 처리부(211)는 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도를 설정할 수 있다. 또한, FOV 처리부(211)는 수평 화각(HFOV)을 210도에서 360도 사이에서 조절할 수 있고, 수직 화각(VFOV)을 130도에서 180도 사이에서 조절할 수 있으며, 이러한 화각 조절은 머리 움직임의 가속(Acceleration of head movement) 및 몸의 움직임(Movement of body)을 기초로 결정될 수 있다. 일 실시예에서, FOV 처리부(211)는 적응적 FOV 선택 모듈 및 포비티드 렌더링 모듈로 구성될 수 있다.
제1 아이 영상 생성부(213)는 제1 아이(Eye)를 위해서 독자적으로 생성되는 인트라(Intra) 영상과 인트라 영상에서 파생되는 인터(Inter) 영상을 포함하고 사용자의 헤드 방향의 중심에서 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성할 수 있다. 여기에서, 제1 아이(Eye)는 사용자의 오른쪽 눈에 해당할 수 있고, 제1 아이 영상은 HMD 기기(110) 상에서 재생되고, 사용자의 오른쪽 눈을 통해 시청되는 입체 영상으로서 제1 아이 영상 생성부(213)에 의해 인코딩된 영상에 해당할 수 있다. 제1 아이 영상 생성부(213)는 FOV 처리부(211)에 의해 결정되는 화각을 기초로 그래픽 렌더링(Graphics Rendering), 스크린 캡쳐(Screen Capturing) 및 비디오 인코딩(Video Encoding)을 순차적으로 수행하여 제1 아이 영상을 생성할 수 있다.
특히, 제1 아이 영상 생성부(213)는 비디오 인코딩 과정에서 전체 영상을 특정 길이의 프레임 구간으로 분할할 수 있고, 각 구간별 프레임에 대해 기준이 되는 프레임으로서 인트라 영상을 생성할 수 있다. 인트라 영상은 입체 영상을 구성하는 프레임으로서 인코딩 또는 디코딩에 있어서 해당 프레임에 관한 정보만을 이용하여 생성되는 프레임에 해당할 수 있다. 즉, 인트라 영상은 해당 프레임에 관한 정보를 모두 가지고 있는 기준 영상에 해당할 수 있다. 또한, 제1 아이 영상 생성부(213)는 인트라 영상을 기초로 인터 영상을 생성할 수 있다. 인터 영상은 입체 영상을 구성하는 프레임으로서 인트라 영상에 기초하여 해당 영상과의 차이에 관한 정보만을 인코딩하여 생성된 프레임에 해당할 수 있다.
일 실시예에서, 제1 아이 영상 생성부(213)는 사용자의 헤드 방향의 중심에서 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성할 수 있다. 제1 아이 영상 생성부(213)는 FOV 처리부(211)에 의해 결정된 화각(또는 화각)을 기초로 제1 아이 영상을 생성할 수 있고, FOV 처리부(211)는 HMD 기기(110) 상에서 실제 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각을 FOV에 대한 화각으로서 결정할 수 있다. 즉, FOV 처리부(211)는 사용자의 헤드 및 바디 움직임에 따라 FOV를 동적으로 결정하여 사용자에 의해 시청되는 실제 화각보다 큰 여유 화각을 FOV로 결정할 수 있다. 따라서, 제1 아이 영상 생성부(213)는 FOV에 대한 화각을 기초로 실제 화각보다 큰 여유 화각까지의 여유 영상을 제1 아이 영상으로서 생성할 수 있다.
일 실시예에서, 제1 아이 영상 생성부(213)는 사용자의 헤드 방향이 일정 시간 이상 유지되는 경우에는 여유 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 실제 화각까지의 실제 영상에 관한 해상도를 증가시킬 수 있다. 사용자의 헤드 방향이 일정 시간 이상 유지되는 경우 해당 시선 방향의 영상을 사용자가 주시하고 있는 것으로 판단할 수 있고, 제1 아이 영상 생성부(213)는 여유 영상에 관한 포비티드 렌더링을 수행할 수 있다.
여기에서, 포비티드 렌더링은 사용자의 시선에 따라 사용자가 관심있게 주시하는 영역에 대해서는 고해상도로 처리하고 해당 영역 이외의 부분에 대해서는 저해상도로 처리하는 영상 처리 방법에 해당할 수 있다. 제1 아이 영상 생성부(213)는 사용자의 헤드 방향의 변화 여부를 기초로 사용자의 주시 여부를 결정할 수 있고, 사용자가 주시하고 있는 실제 영역에 대해서는 고해상도로 렌더링을 수행하고 나머지 영역, 즉 여유 영상에서 실제 화각 이외의 영역에 대해서는 저해상도로 렌더링을 수행할 수 있다. 결과적으로, 제1 아이 영상 생성부(213)는 여유 영상에서 실제 화각까지의 실제 영상과 나머지 영상의 해상도를 차별적으로 적용할 수 있고, 실제 영상에 대해서 상대적으로 더 높은 해상도를 적용할 수 있다.
제2 아이 영상 생성부(215)는 제2 아이를 위해서 복수의 제1 아이 영상들 중 인트라 영상을 기초로 복수의 제2 아이 영상들을 생성할 수 있다. 여기에서, 제2 아이(Eye)는 제1 아이에 대응되고 사용자의 왼쪽 눈에 해당할 수 있으며, 제2 아이 영상은 HMD 기기(110) 상에서 재생되고, 사용자의 왼쪽 눈을 통해 시청되는 입체 영상으로서 제2 아이 영상 생성부(215)에 의해 인코딩된 영상에 해당할 수 있다. 제2 아이 영상 생성부(215)는 FOV 처리부(211)에 의해 결정되는 화각을 기초로 포비티드 렌더링(Foveated Rendering), 스크린 캡쳐(Screen Capturing) 및 비디오 인코딩(Video encoding)을 순차적으로 수행하여 제2 아이 영상을 생성할 수 있고 제1 아이 영상을 생성하는 과정과 동일하게 진행될 수 있다.
일 실시예에서, 제2 아이 영상 생성부(215)는 복수의 제1 아이 영상들 중 인트라 영상을 생성되는 기본 인터 영상과 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 생성할 수 있다. 특히, 제2 아이 영상 생성부(215)는 비디오 인코딩 과정에서 전체 영상을 특정 길이의 프레임 구간으로 분할할 수 있고, 각 구간별 프레임에 대해 기준이 되는 프레임으로서 기본 인터 영상을 생성할 수 있다. 기본 인터 영상은 제1 아이 영상 생성 과정에서의 인트라 영상에 대응되는 영상으로서 해당 인트라 영상을 그대로 사용하거나 또는 해당 인트로 영상을 기초로 생성될 수 있다. 또한, 제2 아이 영상 생성부(215)는 기본 인터 영상을 기초로 확장 인터 영상을 생성할 수 있다. 확장 인터 영상은 입체 영상을 구성하는 프레임으로서 기본 인터 영상에 기초하여 해당 영상과의 차이에 관한 정보만을 인코딩하여 생성된 프레임에 해당할 수 있다.
일 실시예에서, 제2 아이 영상 생성부(215)는 입체 영상에서 동일한 시점으로 인트라 영상과 기본 인터 영상을 동기화 시킬 수 있다. 제2 아이 영상 생성부(215)는 제1 아이 영상의 인트라 영상을 그대로 이용하여 제2 아이 영상에 관한 기본 인터 영상을 생성할 수 있고, 이 경우 제1 아이 영상과 제2 아이 영상은 각각 오른쪽 및 왼쪽 영상에 해당할 수 있다. 따라서, 제2 아이 영상 생성부(215)는 인트라 영상과 기본 인터 영상을 동일 시점으로 동기화 시킴으로써 해당 시점에서의 입체감을 제공할 수 있다.
보다 구체적으로, 동일 시점으로의 동기화는 사용자의 헤드 방향의 중심을 기준으로 하여 제1 아이 방향의 실제 화각에 대응되도록 제2 아이 방향의 실제 화각을 산출하여 이를 기본 인터 영상에 적용함으로써 수행될 수 있다. 즉, 제2 아이 영상 생성부(215)는 제1 아이 영상의 인트라 영상을 제2 아이 영상의 기본 인터 영상으로 설정하고 인트라 영상을 제1 아이 방향의 실제 화각에 맞춰 조정함으로써 동일 시점으로의 동기화를 수행할 수 있다.
일 실시예에서, 제2 아이 영상 생성부(215)는 제1 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제1 인트라 영상)에 대해 제2 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제2 인트라 영상)의 차이를 기본 인터 영상으로 생성할 수 있다. 제2 아이 영상 생성부(215)는 제1 인트라 영상을 기초로 제2 아이 영상에 관한 기본 인터 영상을 생성할 수 있고, 이 경우 제1 인트라 영상과 제2 인트라 영상의 차이를 기초로 기본 인터 영상을 생성할 수 있다. 결과적으로, 제2 인트라 영상은 제1 인트라 영상과의 차이를 기초로 인터 영상을 생성하는 방식을 통해 생성될 수 있다.
일 실시예에서, 제1 아이 영상 생성부(213) 및 제2 아이 영상 생성부(215)는 사용자 입력 신호 수신 모듈, 그래픽 렌더링 모듈, 스크린 캡쳐 모듈 및 비디오 인코딩 모듈로 각각 구성될 수 있다. 사용자 입력 신호 수신 모듈은 사용자 입력 신호를 수신할 수 있고, 그래픽 렌더링 모듈은 사용자의 시선 방향을 기초로 화각을 결정하고 포비티드 렌더링을 수행할 수 있으며, 스크린 캡쳐 모듈은 그래픽 렌더링 모듈에 의해 생성된 영상으로부터 사용자 시선 방향의 영상을 캡쳐할 수 있다. 또한, 비디오 인코딩 모듈은 캡쳐된 영상에 대한 인코딩을 수행할 수 있다.
제1 제어부(217)는 입체 영상 생성 장치(210)의 전체적인 동작을 제어하고, FOV 처리부(211), 제1 아이 영상 생성부(213) 및 제2 아이 영상 생성부(215) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
제1 아이영상 복원부(231)는 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원할 수 있다. 제2 아이 영상 복원부(233)는 제2 아이를 위해서 복수의 제1 아이 영상들 중 인트라 영상을 기초로 생성되는 기본 인터 영상과 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원할 수 있다.
일 실시예에서, 제1 아이 영상 복원부(231) 및 제2 아이 영상 복원부(233)는 입체 영상 수신 모듈, 비디오 디코딩 모듈 및 복원 영상 전송 모듈로 구성될 수 있다. 입체 영상 수신 모듈은 입체 영상 생성 장치(210)에 의해 생성된 입체 영상을 무선 통신을 통해 수신할 수 있고, 비디오 디코딩 모듈은 수신된 입체 영상을 디코딩하여 복원할 수 있다. 또한, 복원 영상 전송 모듈은 비디오 디코딩 모듈에 의해 복원된 입체 영상을 HMD 기기(110)에 전송할 수 있고, HMD 기기(110)은 전송된 영상을 재생하여 사용자에게 최종 전달할 수 있다. 다른 실시예에서, 제1 아이 영상 복원부(231) 및 제2 아이 영상 복원부(233)는 HMD 기기(110)에 포함되어 구현될 수 있고, 이 경우 HMD 기기(110)로의 영상 전송을 위한 복원 영상 전송 모듈은 생략될 수 있다.
제2 제어부(235)는 입체 영상 복원 장치(230)의 전체적인 동작을 제어하고, 제1 아이 영상 복원부(231) 및 제2 아이 영상 복원부(233) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 입체 영상 생성 과정을 설명하는 순서도이다.
도 3을 참조하면, 입체 영상 생성 장치(210)는 FOV 처리부(211)를 통해 HMD 기기(110)를 VR Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 수신할 수 있다(단계 S310). 입체 영상 생성 장치(210)는 제1 아이 영상 생성부(213)를 통해 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 인트라 영상에서 파생되는 인터 영상을 포함하고, 사용자의 헤드 방향의 중심에서 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성할 수 있다(단계 S330). 입체 영상 생성 장치(210)는 제2 아이 영상 생성부(215)를 통해 제2 아이를 위해서 복수의 제1 아이 영상들 중 인트라 영상을 기초로 복수의 제2 아이 영상들을 생성할 수 있다(단계 S350).
도 4는 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템의 전체적인 구성을 설명하는 개념도이다.
도 4를 참조하면, 입체 영상 생성 및 재생 시스템은 불필요한 영상의 인코딩을 줄이고 무선 네트워크를 통해 전송되는 데이터를 감소시킴으로써 입체 영상의 중복을 제거하고 지연을 감소시킬 수 있다. 입체 영상 생성 및 재생 시스템은 사용자의 신체에 착용될 수 있는 컨트롤러, VR Vest 및 Accessary 등의 컨트롤러 기기와 입체 영상을 재생할 수 있는 HMD 기기, 그리고 입체 영상의 렌더링 및 인코딩을 수행하는 입체 영상 생성 장치로 구성될 수 있다. 일 실시예에서, 컨트롤러 기기는 HMD 기기와 연결되어 사용자의 움직임 신호를 전달할 수 있고, HMD 기기는 사용자의 머리 움직임을 포함하는 움직임 신호를 입체 영상 생성 장치로 전송할 수 있으며, 입체 영상 생성 장치는 그래픽 렌더링, 스크린 캡쳐 및 비디오 인코딩을 수행하는 독립적인 GPU들로 구성될 수 있다.
입체 영상 생성 장치는 사용자 움직임 신호를 기초로 FOV를 동적으로 결정할 수 있고(단계 B), FOV에 기초하여 그래픽 렌더링 및 포비티드 렌더링을 수행할 수 있다(단계 C). 또한, 입체 영상 생성 장치는 스크린 캡쳐 후 비디오 인코딩을 수행할 수 있다(단계 A). 입체 영상 생성 장치에 의해 생성된 인코딩 데이터는 무선 네트워크를 통해 입체 영상을 재생할 수 있는 HMD 기기로 전송될 수 있고, HMD 기기는 내부에 구현된 입체 영상 복원 장치를 통해 인코딩된 데이터를 디코딩하고 실제 디스플레이 크기에 맞춰 영상을 확장하거나 잘라낸 후(단계 D) 디스플레이 패널을 통해 재생할 수 있다.
도 5는 도 4에 있는 입체 영상 생성 장치가 입체 영상 인코딩 과정에서 사용하는 인코딩 방법의 예를 설명하는 예시도이다.
도 5를 참조하면, 입체 영상 생성 장치는 그래픽 렌더링을 통해 생성된 영상에 대해 비디오 인코딩을 수행할 수 있으며, 크게 3가지 인코딩을 수행할 수 있다. 첫 번째로, 표준 AVC(Advanced Video Coding) 인코딩을 수행할 수 있으며, 포비티드된 영상을 기초로 수행하여 포비티드 인코딩할 수 있다. 두 번째로, 타일 기반의 고효율 비디오 코딩(High Efficiency Video Cdoing) 인코딩을 수행할 수 있으며, 포비티드된 영상을 기초로 수행하여 포비티드 인코딩할 수 있다. 세 번째로, 입체 영상에 관한 리던던시(Redundancy)가 제거된 인코딩을 수행할 수 있다. 즉, 사용자 주변의 360도 영상 전체를 인코딩하지 않고 사용자의 머리 및 몸의 움직임에 기초하여 동적으로 결정되는 FOV에 따라 해당 FOV를 포함하는 여유 영상만을 그래픽 렌더링을 통해 생성하고 이를 인코딩함으로써 무선 네트워크를 통해 전송되는 데이터량을 줄일 수 있다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 양안 영상에 관한 인코딩 과정을 설명하는 예시도이다.
도 6을 참조하면, 입체 영상 생성 장치(210)는 오른쪽 및 왼쪽 눈을 통해 시청되는 양안 영상에 관한 인코딩을 수행할 수 있다. 일 실시예에서, 입체 영상 생성 장치(210)는 하나의 영상에 대해 복수의 블록들로 분할하여 블록 단위로 생성 과정을 처리할 수 있다. 예를 들어, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, PU), 변환 유닛(Transform Unit, TU) 및 코딩 유닛(Coding Unit, CU) 중 어느 하나에 해당할 수 있다. 하나의 영상은 복수의 코딩 트리 유닛(Coding Tree Unit, CTU)들로 구성될 수 있고, 각 코딩 트리 유닛은 쿼드 트리(Quad Tree) 구조를 형성하며 복수의 CU들로 분할될 수 있다. 또한, PU 및 TU는 CU로부터 도출될 수 있다.
인트라 예측(Intra Prediction) 단계는 영상의 처리 블록 단위별로 예측을 수행하여 예측 블록으로 구성된 인트라 영상을 생성할 수 있다. 이 때, 예측이 수행되는 처리 단위와 예측 방법은 예측 조건에 따라 가변될 수 있다. 인트라 예측은 현재 영상에 해당하는 프레임 내의 픽셀 정보만을 기초로 예측을 수행할 수 있다. 모션 추정(Motion Estimation) 단계는 영상의 처리 블록 단위별로 예측을 수행하여 예측 블록으로 구성된 인터 영상을 생성할 수 있다. 모션 추정은 현재 영상의 이전 프레임 또는 이후 프레임 중 적어도 하나의 정보를 기초로 예측을 수행할 수 있다.
변환(Transform) 단계는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다. 양자화(Quantization) 단계는 변환된 블록들에 대해 변환 계수를 양자화하여 양자화된 변환 계수를 생성할 수 있다. 스캔(Scan) 단계는 양자화된 변환 계수를 재정렬하여 엔트로피 코딩 단계에서의 인코딩 효율을 높일 수 있다. 또한, 스캔 단계는 계수 스캐닝을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 엔트로피 코딩(Entropy Coding) 단계는 재정렬된 양자화된 변환 값들을 기초로 엔트로피 코딩하여 비트 스트림(Bit Stream)을 출력할 수 있다. 역 양자화(Inverse Quantization) 단계는 양자화 단계에서 양자화된 값들을 역약자화할 수 있다. 역 변환(Inverse Transform) 단계는 역양자화 단계에서 역양자화된 값들을 역변환할 수 있다.
디블록킹 필터(De-blocking Filter) 단계는 복원된 영상에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. 프레임 메모리(Frame Memory) 단계는 디블록킹 필터 단계에서 도출된 영상 또는 프레임을 저장할 수 있고, 메모리에 저장된 영상 또는 프레임은 모션 추정 단계에 제공될 수 있다. 일 실시예에서, 제1 아이 영상을 생성하는 과정 중 프레임 메모리 단계에서 메모리에 저장된 인트라 영상(또는 프레임)은 제2 아이 영상을 생성하기 위한 기본 인터 영상으로서 제공될 수 있다. 즉, 제2 아이 영상은 제1 아이 영상 생성에 있어서의 인트라 영상을 기본 인터 영상으로서 사용하여 생성될 수 있다. 따라서, 제2 아이 영상 생성을 위한 기본 인터 영상은 인트라 영상을 대신하여 사용될 수 있다.
또한, 본 발명의 일 실시예에 따른 입체 영상 복원 장치(230)는 입체 영상 생성 장치(210)로부터 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 입체 영상 생성 장치(210)에서 수행된 영상 정보가 처리된 절차에 따라 디코딩(decoding)될 수 있다.
도 7은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 인트라 및 인터 영상의 생성 과정을 설명하는 예시도이다.
도 7을 참조하면, 입체 영상 생성 장치(210)는 제1 아이 영상 생성부(213)를 통해 제1 아이 영상을 생성하고, 제2 아이 영상 생성부(215)를 통해 제2 아이 영상을 생성할 수 있다. 제1 아이 영상은 사용자의 오른쪽 눈을 통해 보여지는 영상에 해당하고 제2 아이 영상은 사용자의 왼쪽 눈을 통해 보여지는 영상에 해당할 수 있다. 제1 및 제2 아이 영상은 모두 인트라 영상(또는 프레임)을 기준 영상으로 하여 생성되는 일련의 인터 영상으로 구성될 수 있다. 다만, 제2 아이 영상에 있어서의 인트라 영상은 제1 아이 영상 생성에서의 인트라 영상을 기초로 생성될 수 있다. 일 실시예에서, 제2 아이 영상의 기본 인터 영상은 제1 아이 영상의 인트라 영상을 그대로 사용하여 생성될 수 있고, 다른 실시예에서, 제2 아이 영상의 기본 인터 영상은 제1 아이 영상의 인트라 영상과 제2 아이 영상의 인트라 영상과의 차이를 기초로 생성될 수 있다. 제1 및 제2 아이 영상은 복수의 프레임 구간들로 분할될 수 있고 각 프레임 구간은 하나의 인트라 영상(또는 프레임)과 이에 기초하여 생성되는 복수의 인터 영상들로 구성될 수 있다.
도 8은 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
도 8을 참조하면, HMD 기기(110) 또는 컨트롤러 기기(170)로부터 사용자 입력 신호가 생성될 수 있고, 입체 영상 생성 장치(210)는 이를 수신하여 사용자의 머리 및 몸의 움직임에 관한 가속을 산출할 수 있다. 입체 영상 생성 장치(210)는 FOV 처리부(211)를 통해 사용자의 머리 및 몸의 움직임에 관한 가속을 기초로 동적으로 사용자의 FOV를 산출할 수 있다. 또한, 입체 영상 생성 장치(210)는 산출된 FOV를 기초로 입체 영상 생성을 위한 그래픽 렌더링(Graphics rendering)을 수행할 수 있다. 그래픽 렌더링은 적응적 화각 선택(Adaptive FOV Selection) 단계와 포비티드 렌더링(Foveated Rendering) 단계로 구성될 수 있다. 적응적 화각 선택 단계는 기본 설정각을 기준으로 특정 범위 내에서 머리 움직임 가속과 몸의 움직임 가속에 기초하여 동적으로 화각을 결정할 수 있다. 포비티드 렌더링(Foveated Rendering) 단계는 사용자의 화각을 기준으로 사용자가 주시하는 영역은 고해상도로, 그 외의 영역은 저해상도로 영상 처리를 수행할 수 있다.
또한, 입체 영상 생성 장치(210)는 렌더링된 영상을 캡쳐하는 이미지 캡쳐(Image capturing)를 수행할 수 있다. 입체 영상 생성 장치(210)는 비디오 인코딩(Video encoding)을 통해 무선 전송될 영상 데이터를 생성할 수 있다. 비디오 인코딩은 제1 아이 및 제2 아이 영상 생성을 위하여 기존의 표준 고급 비디오 부호화(Advanced Video Coding) 또는 고효율 비디오 코딩(High Efficiency Video Coding)에 따라 수행될 수 있고, 본 발명의 일 실시예에 따른 인코딩에 따라 수행될 수 있다. 입체 영상 생성 장치(210)에 의해 생성된 인코딩 데이터는 무선 통신을 통해 입체 영상 복원 장치(230)로 전송될 수 있다.
입체 영상 복원 장치(230)는 입체 영상 생성 장치(210)로부터 수신된 인코딩 데이터를 이용하여 비디오 디코딩(Video decoding)을 수행할 수 있다. 입체 영상 복원 장치(230)는 비디오 디코딩을 통해 인코딩된 영상을 복원할 수 있다. 여기에서, 비디오 디코딩은 비디오 인코딩과 유사한 방식으로 수행될 수 있고, 입체 영상 복원 장치(230)에 의해 복원된 입체 영상은 HMD 기기(110)를 통해 재생될 수 있다. 일 실시예에서, 입체 영상 복원 장치(230)는 사용자의 머리 및 바디 움직임을 기초로 결정된 FOV에 따라 입체 영상을 생성하여 재생할 수 있다. 예를 들어, 입체 영상 복원 장치(230)는 디스플레이되는 사용자의 화각에 적합하도록 이미지를 확장하거나 잘라낸 후 HMD 기기(110)를 통해 재생할 수 있다.
도 9는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
도 9를 참조하면, 입체 영상 생성 장치(210)는 HMD 기기(110) 및 컨트롤러 기기(170)로부터 수신한 사용자 움직임에 대한 신호를 기초로 FOV를 결정할 수 있고, 해당 FOV에 기초하여 주요 FOV(Primary FOV) 및 확장 FOV(Extended FOV)를 동적으로 결정할 수 있다. 입체 영상 생성 장치(210)는 FOV 처리부(211)에 의해 결정된 FOV에 따라 입체 영상을 렌더링하고 영상 포비션(Foveation)을 수행하여 포비티드 영상을 생성할 수 있으며, 해당 영상을 인코딩하여 포비티드 인코딩(Foveated Encoding)을 수행할 수 있다.
입체 영상 생성 장치(210)는 인코딩된 데이터를 전송할 수 있고, 입체 영상 복원 장치(230)는 해당 데이터를 수신하여 디코딩 후 디스플레이 장치를 통해 재생할 수 있다. 일 실시예에서 입체 영상 복원 장치(230)는 HMD 기기(110) 내부에 포함되어 구현될 수 있다. 입체 영상 복원 장치(230)는 인코딩 데이터를 디코딩한 후 디스플레이 장치의 화면 크기에 맞춰 영상을 확장하거나 잘라낼 수 있다. 또한, 입체 영상 복원 장치(230)는 사용자의 머리 및 몸의 움직임에 기초하여 인코딩된 데이터에서 재생될 위치를 결정하고 해당 위치에서의 영상을 복원하여 재생할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 입체 영상 생성 및 재생 시스템
110: HMD 기기 130: 입체 영상 생성 및 복원 장치
150: 데이터베이스 170: 컨트롤러 기기
210: 입체 영상 생성 장치
211: FOV 처리부 213: 제1 아이 영상 생성부
215: 제2 아이 영상 생성부 217: 제1 제어부
230: 입체 영상 복원 장치
231: 제1 아이 영상 복원부 233: 제2 아이 영상 복원부
235: 제2 제어부
110: HMD 기기 130: 입체 영상 생성 및 복원 장치
150: 데이터베이스 170: 컨트롤러 기기
210: 입체 영상 생성 장치
211: FOV 처리부 213: 제1 아이 영상 생성부
215: 제2 아이 영상 생성부 217: 제1 제어부
230: 입체 영상 복원 장치
231: 제1 아이 영상 복원부 233: 제2 아이 영상 복원부
235: 제2 제어부
Claims (8)
- HMD (Head Mount Display) 기기 및 VR(Virtual Reality) Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 독립적으로 수신하여 수평 및 수직에 관한 FOV(Field Of View)를 결정하는 FOV 처리부;
제1 아이(Eye)를 위해서 독자적으로 생성되는 인트라(Intra) 영상과 상기 인트라 영상에서 파생되는 인터(Inter) 영상을 포함하고, 상기 사용자의 헤드 방향의 중심에서 상기 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성하는 제1 아이 영상 생성부; 및
제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 복수의 제2 아이 영상들을 생성하는 제2 아이 영상 생성부를 포함하되,
상기 FOV 처리부는 수평방향 210도와 수직방향 130도를 디폴트(default) 화각(FOV)으로서 설정하고 상기 헤드 움직임의 가속(Acceleration of head movement) 및 바디 움직임(Movement of body)을 기초로 수평 화각(HFOV)을 210도에서 360도 사이에서 조절하며 수직 화각(VFOV)을 130도에서 180도 사이에서 조절하고,
상기 제1 아이 영상 생성부는 인트라 예측(Intra Prediction), 모션 추정(Motion Estimation), 변환(Transform), 양자화(Quantization), 스캔(Scan), 엔트로피 코딩(Entropy Coding), 역 양자화(Inverse Quantization), 역 변환(Inverse Transform), 디블록킹 필터(De-blocking Filter) 및 프레임 메모리(Frame Memory) 단계들을 포함하는 상기 제1 아이 영상을 생성하는 과정 중 프레임 메모리 단계에서 메모리에 저장된 인트라 영상(또는 프레임)을 제2 아이 영상을 생성하기 위한 기본 인터 영상으로서 제공하고,
상기 제2 아이 영상 생성부는 상기 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 생성하는 과정에서 상기 인트라 영상과 상기 기본 인터 영상을 입체 영상에서 동일한 시점으로 동기화시키는 것을 특징으로 하는 입체 영상 생성 장치.
- 삭제
- 삭제
- 제1항에 있어서, 상기 제1 아이 영상 생성부는
상기 사용자의 헤드 방향이 일정 시간 이상 유지되는 경우에는 상기 여유 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 상기 실제 화각까지의 실제 영상에 관한 해상도를 증가시키는 것을 특징으로 하는 입체 영상 생성 장치.
- 삭제
- 제1항에 있어서, 상기 제2 아이 영상 생성부는
상기 제1 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제1 인트라 영상)에 대해 제2 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제2 인트라 영상)의 차이를 상기 기본 인터 영상으로 생성하는 것을 특징으로 하는 입체 영상 생성 장치.
- 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 상기 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원하는 제1 아이 영상 복원부; 및
제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원하는 제2 아이 영상 복원부를 포함하되,
상기 제1 및 제2 아이 영상들은 HMD (Head Mount Display) 기기 및 VR(Virtual Reality) Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 기초로 동적으로 결정된 수평 및 수직에 관한 FOV(Field Of View) - 상기 FOV는 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도로 설정되고 상기 헤드 움직임의 가속(Acceleration of head movement) 및 바디 움직임(Movement of body)을 기초로 수평 화각(HFOV)은 210도에서 360도 사이에서 조절되며 수직 화각(VFOV)은 130도에서 180도 사이에서 조절됨 - 에 기초하여 생성되고,
인트라 예측(Intra Prediction), 모션 추정(Motion Estimation), 변환(Transform), 양자화(Quantization), 스캔(Scan), 엔트로피 코딩(Entropy Coding), 역 양자화(Inverse Quantization), 역 변환(Inverse Transform), 디블록킹 필터(De-blocking Filter) 및 프레임 메모리(Frame Memory) 단계들을 포함하는 상기 제1 아이 영상을 생성하는 과정 중 프레임 메모리 단계에서 메모리에 저장된 인트라 영상(또는 프레임)은 제2 아이 영상을 생성하기 위한 기본 인터 영상으로서 제공되고,
상기 복수의 제2 아이 영상들의 생성 과정에서 상기 인트라 영상과 상기 기본 인터 영상이 입체 영상에서 동일한 시점을 기준으로 동기화되는 것을 특징으로 하는 입체 영상 복원 장치.
- 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 상기 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원하는 제1 아이 영상 복원부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원하는 제2 아이 영상 복원부를 포함하는 입체 영상 복원 장치; 및
상기 복수의 제1 및 제2 아이 영상들을 수신하여 입체 영상을 재생하는 HMD (Head Mount Display) 기기를 포함하되,
상기 제1 및 제2 아이 영상들은 HMD (Head Mount Display) 기기 및 VR(Virtual Reality) Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 기초로 동적으로 결정된 수평 및 수직에 관한 FOV(Field Of View) - 상기 FOV는 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도로 설정되고 상기 헤드 움직임의 가속(Acceleration of head movement) 및 바디 움직임(Movement of body)을 기초로 수평 화각(HFOV)은 210도에서 360도 사이에서 조절되며 수직 화각(VFOV)은 130도에서 180도 사이에서 조절됨 - 에 기초하여 생성되고,
인트라 예측(Intra Prediction), 모션 추정(Motion Estimation), 변환(Transform), 양자화(Quantization), 스캔(Scan), 엔트로피 코딩(Entropy Coding), 역 양자화(Inverse Quantization), 역 변환(Inverse Transform), 디블록킹 필터(De-blocking Filter) 및 프레임 메모리(Frame Memory) 단계들을 포함하는 상기 제1 아이 영상을 생성하는 과정 중 프레임 메모리 단계에서 메모리에 저장된 인트라 영상(또는 프레임)은 제2 아이 영상을 생성하기 위한 기본 인터 영상으로서 제공되고,
상기 복수의 제2 아이 영상들의 생성 과정에서 상기 인트라 영상과 상기 기본 인터 영상이 입체 영상에서 동일한 시점을 기준으로 동기화되는 것을 특징으로 하는 입체 영상 재생 시스템.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180164854A KR102166158B1 (ko) | 2018-12-19 | 2018-12-19 | 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 |
| PCT/KR2019/016836 WO2020130416A1 (ko) | 2018-12-19 | 2019-12-02 | 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 |
| US17/253,108 US11356652B2 (en) | 2018-12-19 | 2019-12-02 | Stereoscopic image generating apparatus, stereoscopic image reconstructing apparatus and stereoscopic image playing system including same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180164854A KR102166158B1 (ko) | 2018-12-19 | 2018-12-19 | 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200076109A KR20200076109A (ko) | 2020-06-29 |
| KR102166158B1 true KR102166158B1 (ko) | 2020-10-15 |
Family
ID=71101698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180164854A KR102166158B1 (ko) | 2018-12-19 | 2018-12-19 | 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11356652B2 (ko) |
| KR (1) | KR102166158B1 (ko) |
| WO (1) | WO2020130416A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102460474B1 (ko) * | 2021-05-14 | 2022-11-01 | (주)이머시브캐스트 | 화면 떨림 감소를 위한 클라우드 vr 장치 |
| KR102461478B1 (ko) | 2021-05-03 | 2022-11-03 | (주)이머시브캐스트 | 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치 |
| KR20220147381A (ko) | 2021-04-27 | 2022-11-03 | (주)이머시브캐스트 | 분산 렌더링 기반의 클라우드 vr 장치 |
| KR20220155071A (ko) * | 2021-05-14 | 2022-11-22 | (주)이머시브캐스트 | 적응적인 fov 렌더링 방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR112022001434A2 (pt) * | 2019-07-28 | 2022-06-07 | Google Llc | Métodos, sistemas e mídia para renderizar conteúdo de vídeo imersivo com malhas otimizadas |
| KR20220039113A (ko) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치 |
| KR102437276B1 (ko) * | 2020-10-15 | 2022-08-30 | (주)이머시브캐스트 | 바디 움직임 기반의 클라우드 vr 장치 및 방법 |
| US20230376162A1 (en) * | 2022-05-19 | 2023-11-23 | Aveva Software, Llc | Servers, systems, and methods for an industrial metaverse |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2860977A1 (en) | 2002-05-28 | 2015-04-15 | Sharp Kabushiki Kaisha | Method and systems for image intra-prediction mode estimation, communication, and organization |
| JP2008092390A (ja) | 2006-10-04 | 2008-04-17 | Calsonic Kansei Corp | 対象物距離表示方法 |
| KR100813435B1 (ko) | 2006-10-18 | 2008-03-13 | 주식회사 휴맥스 | 비트스트림 인코딩/디코딩 방법 및 장치 |
| KR101040121B1 (ko) * | 2008-12-22 | 2011-06-09 | 한국전자통신연구원 | 거리 측정 방법 및 스테레오 매칭 시스템 |
| JP2012034356A (ja) * | 2010-07-02 | 2012-02-16 | Panasonic Corp | 画像符号化装置、画像符号化方法、プログラムおよび集積回路 |
| TWI462569B (zh) * | 2011-04-22 | 2014-11-21 | Mstar Semiconductor Inc | 三維影像攝相機及其相關控制方法 |
| US9674525B2 (en) | 2011-07-28 | 2017-06-06 | Qualcomm Incorporated | Multiview video coding |
| KR101649207B1 (ko) * | 2011-08-31 | 2016-08-19 | 노키아 테크놀로지스 오와이 | 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램 |
| JP2013168867A (ja) * | 2012-02-16 | 2013-08-29 | Canon Inc | 画像処理装置、その制御方法およびプログラム |
| JP2013168866A (ja) * | 2012-02-16 | 2013-08-29 | Canon Inc | 画像処理装置、その制御方法およびプログラム |
| US10437327B2 (en) * | 2015-05-08 | 2019-10-08 | Apple Inc. | Eye tracking device and method for operating an eye tracking device |
| KR102411145B1 (ko) * | 2017-04-19 | 2022-06-20 | 삼성디스플레이 주식회사 | 헤드 마운티드 디스플레이 장치 |
-
2018
- 2018-12-19 KR KR1020180164854A patent/KR102166158B1/ko active IP Right Grant
-
2019
- 2019-12-02 WO PCT/KR2019/016836 patent/WO2020130416A1/ko active Application Filing
- 2019-12-02 US US17/253,108 patent/US11356652B2/en active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220147381A (ko) | 2021-04-27 | 2022-11-03 | (주)이머시브캐스트 | 분산 렌더링 기반의 클라우드 vr 장치 |
| KR102461478B1 (ko) | 2021-05-03 | 2022-11-03 | (주)이머시브캐스트 | 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치 |
| KR102460474B1 (ko) * | 2021-05-14 | 2022-11-01 | (주)이머시브캐스트 | 화면 떨림 감소를 위한 클라우드 vr 장치 |
| KR20220155071A (ko) * | 2021-05-14 | 2022-11-22 | (주)이머시브캐스트 | 적응적인 fov 렌더링 방법 |
| KR102528175B1 (ko) * | 2021-05-14 | 2023-05-04 | (주)이머시브캐스트 | 적응적인 fov 렌더링 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200076109A (ko) | 2020-06-29 |
| WO2020130416A1 (ko) | 2020-06-25 |
| US20210274155A1 (en) | 2021-09-02 |
| US11356652B2 (en) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102166158B1 (ko) | 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 | |
| Wien et al. | Standardization status of immersive video coding | |
| US11405643B2 (en) | Sequential encoding and decoding of volumetric video | |
| CN111837396B (zh) | 基于子图像码流视角相关视频编码中的误差抑制 | |
| KR102493754B1 (ko) | 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치 | |
| TWI690201B (zh) | 全方位視訊之解碼方法、編碼方法及電子設備 | |
| US20180359487A1 (en) | Multi-viewpoint video encoding/decoding method | |
| JP2019534620A (ja) | 広視野ビデオを符号化及び復号する方法及び装置 | |
| KR20190004280A (ko) | 360도 비디오에 대한 하이브리드 그래픽들 및 픽셀 도메인 아키텍처 | |
| CN111819855B (zh) | 视频码流中的取消标志指示 | |
| CN110121065B (zh) | 空间排序视频编码应用中的多向图像处理 | |
| MX2008002391A (es) | Metodo y aparato para codificar video de vistas multiples. | |
| US11582384B2 (en) | Methods and apparatus for encoding, communicating and/or using images | |
| JP2023518307A (ja) | 顔復元に基づくビデオ会議のためのフレームワーク | |
| KR102183895B1 (ko) | 가상 현실 비디오 스트리밍에서의 관심영역 타일 인덱싱 | |
| KR20200143287A (ko) | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 | |
| US20230300426A1 (en) | Dual stream dynamic gop access based on viewport change | |
| CN111630862A (zh) | 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备 | |
| KR102209192B1 (ko) | 다시점 360도 영상 처리 및 전송 | |
| US20230305489A1 (en) | Systems and methods for computer-generated hologram image and video compression | |
| US20200413094A1 (en) | Method and apparatus for encoding/decoding image and recording medium for storing bitstream | |
| CN115474034A (zh) | 沉浸媒体的数据处理方法、装置、相关设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |