WO2020130416A1 - 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 - Google Patents

입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 Download PDF

Info

Publication number
WO2020130416A1
WO2020130416A1 PCT/KR2019/016836 KR2019016836W WO2020130416A1 WO 2020130416 A1 WO2020130416 A1 WO 2020130416A1 KR 2019016836 W KR2019016836 W KR 2019016836W WO 2020130416 A1 WO2020130416 A1 WO 2020130416A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
intra
stereoscopic image
inter
Prior art date
Application number
PCT/KR2019/016836
Other languages
English (en)
French (fr)
Inventor
윤홍서
한장희
정필중
이인환
Original Assignee
(주)이머시브캐스트
윤홍서
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이머시브캐스트, 윤홍서 filed Critical (주)이머시브캐스트
Priority to US17/253,108 priority Critical patent/US11356652B2/en
Publication of WO2020130416A1 publication Critical patent/WO2020130416A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템에 관한 것으로, 입체 영상 생성 장치는 HMD (Head Mount Display) 기기 및 VR(Virtual Reality) Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 수신하여 FOV(Field Of View)를 결정하는 FOV 처리부, 제1 아이(Eye)를 위해서 독자적으로 생성되는 인트라(Intra) 영상과 상기 인트라 영상에서 파생되는 인터(Inter) 영상을 포함하고, 상기 사용자의 헤드 방향의 중심에서 상기 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성하는 제1 아이 영상 생성부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 복수의 제2 아이 영상들을 생성하는 제2 아이 영상 생성부를 포함한다.

Description

입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
본 발명은 입체 영상 생성 및 복원 기술에 관한 것으로, 보다 상세하게는 입체 영상의 재생 환경에서 불필요한 연산을 감소 또는 제거할 수 있는 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템에 관한 것이다.
최근 가상현실(Virtual Reality, VR) 기기가 출현하고 있으나, 비싼 가격, 몰입감을 방해하는 저해상도, VR 컨텐츠 부족 등의 문제로 인해 스마트폰처럼 널리 보급되고 있지 않다. 특히, 사용자의 머리 움직임과 눈에 보이는 VR 영상 간의 불일치로 인해 발생할 수 있는 어지러움 등과 같은 신체적 불편의 해소는 필수적으로 해결되어야 하는 문제일 수 있다. 이를 해결하기 위해서는 MTP(Motion-to-Photon) 지연(Redundancy)를 10 ~ 20 ms 이내로 줄여야 하며, 무선 환경(예를 들어, WiFi 또는 모바일 네트워크 등)에서 이를 달성하기 위해서는 기술적 어려움이 존재한다.
한국 등록특허공보 제10-0820132(2008.04.01)호는 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및 시스템에 관한 것으로, 영상 인코딩 또는 디코딩 프로세스에 사용되는 화소 예측 모드를 추정하고, 영상 인코더와 디코더 사이에 화소 예측 모드를 전달하고, 화소의 인트라-예측 모드를 순서화하기 위한 방법 및 시스템을 제공함으로써, 코딩 프로세스의 효율을 개선시킬 수 있는 기술을 개시하고 있다.
한국 등록특허공보 제10-0813435(2008.03.07)호는 비트스트림 인코딩/디코딩 방법 및 장치에 관한 것으로, 각 표준(예를 들어, MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등)에 따른 다양한 형식(syntax, semantics)으로 부호화된 비트스트림을 동일한 정보 인식 방식으로 복호화(decoding)할 수 있고, 이를 위하여 디코딩 디스크립션(decoding description)을 부가한 확장 비트스트림을 생성하는 기술을 개시하고 있다.
[선행기술문헌]
[특허문헌]
한국 등록특허공보 제10-0820132(2008.04.01)호
한국 등록특허공보 제10-0813435(2008.03.07)호
본 발명의 일 실시예는 입체 영상의 재생 환경에서 불필요한 연산을 감소 또는 제거할 수 있는 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템을 제공하고자 한다.
본 발명의 일 실시예는 오른쪽 영상의 인트라 영상을 왼쪽 영상의 기본 인터 영상 생성에 활용함으로써 무선 통신을 통해 전송되는 데이터를 효과적으로 줄일 수 있는 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템을 제공하고자 한다.
본 발명의 일 실시예는 오른쪽 영상의 인트라 영상과 왼쪽 영상의 기본 인터 영상을 동일한 시점으로 동기화 시킬 수 있는 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템을 제공하고자 한다.
실시예들 중에서, 입체 영상 생성 장치는 HMD (Head Mount Display) 기기 및 VR(Virtual Reality) Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 수신하여 FOV(Field Of View)를 결정하는 FOV 처리부, 제1 아이(Eye)를 위해서 독자적으로 생성되는 인트라(Intra) 영상과 상기 인트라 영상에서 파생되는 인터(Inter) 영상을 포함하고, 상기 사용자의 헤드 방향의 중심에서 상기 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성하는 제1 아이 영상 생성부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 복수의 제2 아이 영상들을 생성하는 제2 아이 영상 생성부를 포함한다.
상기 FOV 처리부는상기 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직에 관한 상기 FOV를 결정할 수 있다.
상기 제2 아이 영상 생성부는 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 생성할 수 있다.
상기 제1 아이 영상 생성부는 상기 사용자의 헤드 방향이 일정 시간 이상 유지되는 경우에는 상기 여유 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 상기 실제 화각까지의 실제 영상에 관한 해상도를 증가시킬 수 있다.
상기 제2 아이 영상 생성부는 입체 영상에서 동일한 시점으로 상기 인트라 영상과 상기 기본 인터 영상을 동기화 시킬 수 있다.
상기 제2 아이 영상 생성부는 상기 제1 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제1 인트라 영상)에 대해 제2 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제2 인트라 영상)의 차이를 상기 기본 인터 영상으로 생성할 수 있다.
실시예들 중에서, 입체 영상 복원 장치는 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 상기 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원하는 제1 아이 영상 복원부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원하는 제2 아이 영상 복원부를 포함한다.
실시예들 중에서, 입체 영상 재생 시스템은 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 상기 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원하는 제1 아이 영상 복원부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원하는 제2 아이 영상 복원부를 포함하는 입체 영상 복원 장치 및 상기 복수의 제1 및 제2 아이 영상들을 수신하여 입체 영상을 재생하는 HMD (Head Mount Display) 기기를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템은 오른쪽 영상의 인트라 영상을 왼쪽 영상의 기본 인터 영상 생성에 활용함으로써 무선 통신을 통해 전송되는 데이터를 효과적으로 줄일 수 있다.
본 발명의 일 실시예에 따른 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템은 오른쪽 영상의 인트라 영상과 왼쪽 영상의 기본 인터 영상을 동일한 시점으로 동기화 시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치의 기능적 구성을 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 입체 영상 생성 과정을 설명하는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템의 전체적인 구성을 설명하는 개념도이다.
도 5는 도 4에 있는 입체 영상 생성 장치가 입체 영상 인코딩 과정에서 사용하는 인코딩 방법의 예를 설명하는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 양안 영상에 관한 인코딩 과정을 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 인트라 및 인터 영상의 생성 과정을 설명하는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
도 9는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템을 설명하는 도면이다.
도 1을 참조하면, 입체 영상 생성 및 재생 시스템(100)은 HMD 기기(110), 입체 영상 생성 및 복원 장치(130), 데이터베이스(150) 및 컨트롤러 기기(170)를 포함할 수 있다. 일 실시예에서, 입체 영상 생성 및 재생 시스템(100)은 입체 영상 생성 시스템과 입체 영상 재생 시스템이 각각 독립적으로 구현될 수 있고, 이 경우 입체 영상 생성 및 복원 장치(130)는 각각 입체 영상 생성 장치와 입체 영상 복원 장치로서 구분될 수 있으며 각 시스템에 포함되어 구현될 수 있다.
HMD(Head Mounted Display) 기기(110)는 사용자의 머리 움직임에 따라 사용자의 시선 방향을 검출하고 해당 시선 방향의 입체 영상을 재생할 수 있는 컴퓨팅 장치에 해당하고, 스마트폰, VR 디바이스 등으로 구현될 수 있다. HMD 기기(110)는 입체 영상 생성 및 복원 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 HMD 기기(110)들은 입체 영상 생성 및 복원 장치(130)와 동시에 연결될 수 있다. 일 실시예에서, HMD 기기(110)는 사용자의 머리 움직임을 감지하여 시선 방향을 검출할 수 있고, 입체 영상 생성 및 복원 장치(130)에 해당 정보를 WiFi, 5G 등과 같은 무선 네트워크를 통해 전송할 수 있다. 또한, HMD 기기(110)는 입체 영상 생성 및 복원 장치(130)로부터 복원된 입체 영상을 전송받아 재생할 수 있다.
입체 영상 생성 및 복원 장치(130)는 사용자의 시선 방향의 영상을 생성하여 무선 전송을 위한 영상 압축을 수행하며 전송받은 입체 영상을 복원하여 재생할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 입체 영상 생성 및 복원 장치(130)는 HMD 기기(110) 및 컨트롤러 기기(170)와 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 유선 또는 무선 네트워크를 통해 HMD 기기(110) 및 컨트롤러 기기(170)와 통신을 수행할 수 있다. 일 실시예에서, 입체 영상 생성 및 복원 장치(130)는 데이터베이스(150)와 연동하여 입체 영상 생성 및 복원에 필요한 정보들을 저장할 수 있다. 한편, 입체 영상 생성 및 복원 장치(130)는 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다.
데이터베이스(150)는 입체 영상 생성 및 복원 장치(130)가 생성한 입체 영상에 관한 인코딩 정보를 저장할 수 있고, 해당 입체 영상의 인코딩 과정에서 생성한 렌더링(rendering) 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 입체 영상 생성 및 복원 장치(130)가 입체영상에 대한 인코딩 및 디코딩 과정에서 다양한 형태로 수집 또는 가공한 정보를 저장할 수 있다. 일 실시예에서, 데이터베이스(150)는 복수의 부분 데이터베이스들로 구성될 수 있고, 각 부분 데이터베이스는 하나의 제어부를 통해 통합 관리될 수 있다.
컨트롤러 기기(170)는 사용자의 움직임에 관한 입력 신호를 생성하여 제공할 수 있는 컴퓨팅 장치에 해당하고, Controller, Glove, VR Vest 등으로 구현될 수 있다. 컨트롤러 기기(170)는 입체 영상 생성 및 복원 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 컨트롤러 기기(170)들은 입체 영상 생성 및 복원 장치(130)와 동시에 연결될 수 있다. 일 실시예에서, 컨트롤러 기기(170)는 사용자의 손 움직임, 몸통 위치 등을 감지하여 사용자 입력 신호로서 생성할 수 있고, 입체 영상 생성 및 복원 장치(130)에 해당 정보를 WiFi, 5G 등과 같은 무선 네트워크를 통해 전송할 수 있다.
일 실시예에서, 컨트롤러 기기(170)는 도 1과 달리, HMD 기기(110)와 서로 연결되어 사용자 움직임에 관한 입력 신호를 HMD 기기(110)에 전송할 수 있고, HMD 기기(110)는 컨트롤러 기기(170)로부터 수신한 정보를 입체 영상 생성 및 복원 장치(130)에 전송할 수 있다.
도 2는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치의 기능적 구성을 설명하는 블록도이다.
도 2를 참조하면, 입체 영상 생성 장치(210)는 FOV 처리부(211), 제1 아이 영상 생성부(213), 제2 아이 영상 생성부(215) 및 제1 제어부(217)를 포함할 수 있고, 입체 영상 복원 장치(230)는 제1 아이 영상 복원부(231), 제2 아이 영상 복원부(233) 및 제2 제어부(235)를 포함할 수 있다.
일 실시예에서, 입체 영상 생성 장치(210)는 HMD 기기(110) 및 컨트롤러 기기(170)로부터 사용자 입력에 관한 신호를 수신하고, 그래픽 렌더링을 통해 사용자 시선 방향의 입체 영상을 생성하며, 해당 영상을 캡쳐한 후 무선 전송을 위한 비디오 인코딩을 수행할 수 있다.
일 실시예에서, 입체 영상 복원 장치(230)는 입체 영상 생성 장치(210)에 의해 생성되고 인코딩된 입체 영상을 수신하여 비디오 디코딩을 수행할 수 있고, 사용자의 시선 방향에 따른 해당 입체 영상을 복원하여 HMD 기기(110)를 통해 재생할 수 있으며, FOV에 맞춰 입체 영상을 확장하거나 잘라내는 영상 처리를 수행할 수 있다.
FOV 처리부(211)는 HMD 기기(110) 및 VR Vest 기기를 장착한 사용자의 헤드 및 바디 방향을 수신하여 FOV를 결정할 수 있다. 보다 구체적으로, FOV 처리부(211)는 HMD 기기(110)로부터 사용자의 헤드 방향에 관한 신호를 전달받고, 컨트롤러 기기(170)에 해당하는 VR Vest 기기로부터 사용자의 바디 방향에 관한 신호를 전달받을 수 있다. 또한, FOV 처리부(211)는 해당 사용자의 헤드 방향 및 바디 방향에 기초하여 적응적으로 사용자의 화각(Field Of View, FOV)을 결정할 수 있다. 입체 영상 생성 장치(210)는 FOV 처리부(211)에 의해 결정된 화각을 기초로 입체 영상에 관한 제1 아이 영상과 제2 아이 영상을 생성할 수 있다.
일 실시예에서, FOV 처리부(211)는 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직에 관한 FOV를 결정할 수 있다. 보다 구체적으로, 사용자의 헤드 움직임 만을 고려하여 FOV를 결정하는 경우 사용자의 바디가 고정된 상태를 전제한 것으로 FOV의 범위는 사용자의 헤드와 바디 모두를 고려하여 결정되는 FOV의 범위보다 상대적으로 범위가 제한적일 수 있다. 따라서, FOV 처리부(211)는 사용자의 헤드 움직임 뿐만 아니라 바디 움직임까지 고려하여 FOV를 결정함으로써 사용자의 동적인 움직임을 보다 정확히 반영할 수 있다. 특히, FOV 처리부(211)는 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직 FOV를 결정할 수 있다.
일 실시예에서, FOV 처리부(211)는 디폴트(default) 화각(FOV)으로서 수평방향 210도와 수직방향 130도를 설정할 수 있다. 또한, FOV 처리부(211)는 수평 화각(HFOV)을 210도에서 360도 사이에서 조절할 수 있고, 수직 화각(VFOV)을 130도에서 180도 사이에서 조절할 수 있으며, 이러한 화각 조절은 머리 움직임의 가속(Acceleration of head movement) 및 몸의 움직임(Movement of body)을 기초로 결정될 수 있다. 일 실시예에서, FOV 처리부(211)는 적응적 FOV 선택 모듈 및 포비티드 렌더링 모듈로 구성될 수 있다.
제1 아이 영상 생성부(213)는 제1 아이(Eye)를 위해서 독자적으로 생성되는 인트라(Intra) 영상과 인트라 영상에서 파생되는 인터(Inter) 영상을 포함하고 사용자의 헤드 방향의 중심에서 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성할 수 있다. 여기에서, 제1 아이(Eye)는 사용자의 오른쪽 눈에 해당할 수 있고, 제1 아이 영상은 HMD 기기(110) 상에서 재생되고, 사용자의 오른쪽 눈을 통해 시청되는 입체 영상으로서 제1 아이 영상 생성부(213)에 의해 인코딩된 영상에 해당할 수 있다. 제1 아이 영상 생성부(213)는 FOV 처리부(211)에 의해 결정되는 화각을 기초로 그래픽 렌더링(Graphics Rendering), 스크린 캡쳐(Screen Capturing) 및 비디오 인코딩(Video Encoding)을 순차적으로 수행하여 제1 아이 영상을 생성할 수 있다.
특히, 제1 아이 영상 생성부(213)는 비디오 인코딩 과정에서 전체 영상을 특정 길이의 프레임 구간으로 분할할 수 있고, 각 구간별 프레임에 대해 기준이 되는 프레임으로서 인트라 영상을 생성할 수 있다. 인트라 영상은 입체 영상을 구성하는 프레임으로서 인코딩 또는 디코딩에 있어서 해당 프레임에 관한 정보만을 이용하여 생성되는 프레임에 해당할 수 있다. 즉, 인트라 영상은 해당 프레임에 관한 정보를 모두 가지고 있는 기준 영상에 해당할 수 있다. 또한, 제1 아이 영상 생성부(213)는 인트라 영상을 기초로 인터 영상을 생성할 수 있다. 인터 영상은 입체 영상을 구성하는 프레임으로서 인트라 영상에 기초하여 해당 영상과의 차이에 관한 정보만을 인코딩하여 생성된 프레임에 해당할 수 있다.
일 실시예에서, 제1 아이 영상 생성부(213)는 사용자의 헤드 방향의 중심에서 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성할 수 있다. 제1 아이 영상 생성부(213)는 FOV 처리부(211)에 의해 결정된 화각(또는 화각)을 기초로 제1 아이 영상을 생성할 수 있고, FOV 처리부(211)는 HMD 기기(110) 상에서 실제 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각을 FOV에 대한 화각으로서 결정할 수 있다. 즉, FOV 처리부(211)는 사용자의 헤드 및 바디 움직임에 따라 FOV를 동적으로 결정하여 사용자에 의해 시청되는 실제 화각보다 큰 여유 화각을 FOV로 결정할 수 있다. 따라서, 제1 아이 영상 생성부(213)는 FOV에 대한 화각을 기초로 실제 화각보다 큰 여유 화각까지의 여유 영상을 제1 아이 영상으로서 생성할 수 있다.
일 실시예에서, 제1 아이 영상 생성부(213)는 사용자의 헤드 방향이 일정 시간 이상 유지되는 경우에는 여유 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 실제 화각까지의 실제 영상에 관한 해상도를 증가시킬 수 있다. 사용자의 헤드 방향이 일정 시간 이상 유지되는 경우 해당 시선 방향의 영상을 사용자가 주시하고 있는 것으로 판단할 수 있고, 제1 아이 영상 생성부(213)는 여유 영상에 관한 포비티드 렌더링을 수행할 수 있다.
여기에서, 포비티드 렌더링은 사용자의 시선에 따라 사용자가 관심있게 주시하는 영역에 대해서는 고해상도로 처리하고 해당 영역 이외의 부분에 대해서는 저해상도로 처리하는 영상 처리 방법에 해당할 수 있다. 제1 아이 영상 생성부(213)는 사용자의 헤드 방향의 변화 여부를 기초로 사용자의 주시 여부를 결정할 수 있고, 사용자가 주시하고 있는 실제 영역에 대해서는 고해상도로 렌더링을 수행하고 나머지 영역, 즉 여유 영상에서 실제 화각 이외의 영역에 대해서는 저해상도로 렌더링을 수행할 수 있다. 결과적으로, 제1 아이 영상 생성부(213)는 여유 영상에서 실제 화각까지의 실제 영상과 나머지 영상의 해상도를 차별적으로 적용할 수 있고, 실제 영상에 대해서 상대적으로 더 높은 해상도를 적용할 수 있다.
제2 아이 영상 생성부(215)는 제2 아이를 위해서 복수의 제1 아이 영상들 중 인트라 영상을 기초로 복수의 제2 아이 영상들을 생성할 수 있다. 여기에서, 제2 아이(Eye)는 제1 아이에 대응되고 사용자의 왼쪽 눈에 해당할 수 있으며, 제2 아이 영상은 HMD 기기(110) 상에서 재생되고, 사용자의 왼쪽 눈을 통해 시청되는 입체 영상으로서 제2 아이 영상 생성부(215)에 의해 인코딩된 영상에 해당할 수 있다. 제2 아이 영상 생성부(215)는 FOV 처리부(211)에 의해 결정되는 화각을 기초로 포비티드 렌더링(Foveated Rendering), 스크린 캡쳐(Screen Capturing) 및 비디오 인코딩(Video encoding)을 순차적으로 수행하여 제2 아이 영상을 생성할 수 있고 제1 아이 영상을 생성하는 과정과 동일하게 진행될 수 있다.
일 실시예에서, 제2 아이 영상 생성부(215)는 복수의 제1 아이 영상들 중 인트라 영상을 생성되는 기본 인터 영상과 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 생성할 수 있다. 특히, 제2 아이 영상 생성부(215)는 비디오 인코딩 과정에서 전체 영상을 특정 길이의 프레임 구간으로 분할할 수 있고, 각 구간별 프레임에 대해 기준이 되는 프레임으로서 기본 인터 영상을 생성할 수 있다. 기본 인터 영상은 제1 아이 영상 생성 과정에서의 인트라 영상에 대응되는 영상으로서 해당 인트라 영상을 그대로 사용하거나 또는 해당 인트로 영상을 기초로 생성될 수 있다. 또한, 제2 아이 영상 생성부(215)는 기본 인터 영상을 기초로 확장 인터 영상을 생성할 수 있다. 확장 인터 영상은 입체 영상을 구성하는 프레임으로서 기본 인터 영상에 기초하여 해당 영상과의 차이에 관한 정보만을 인코딩하여 생성된 프레임에 해당할 수 있다.
일 실시예에서, 제2 아이 영상 생성부(215)는 입체 영상에서 동일한 시점으로 인트라 영상과 기본 인터 영상을 동기화 시킬 수 있다. 제2 아이 영상 생성부(215)는 제1 아이 영상의 인트라 영상을 그대로 이용하여 제2 아이 영상에 관한 기본 인터 영상을 생성할 수 있고, 이 경우 제1 아이 영상과 제2 아이 영상은 각각 오른쪽 및 왼쪽 영상에 해당할 수 있다. 따라서, 제2 아이 영상 생성부(215)는 인트라 영상과 기본 인터 영상을 동일 시점으로 동기화 시킴으로써 해당 시점에서의 입체감을 제공할 수 있다.
보다 구체적으로, 동일 시점으로의 동기화는 사용자의 헤드 방향의 중심을 기준으로 하여 제1 아이 방향의 실제 화각에 대응되도록 제2 아이 방향의 실제 화각을 산출하여 이를 기본 인터 영상에 적용함으로써 수행될 수 있다. 즉, 제2 아이 영상 생성부(215)는 제1 아이 영상의 인트라 영상을 제2 아이 영상의 기본 인터 영상으로 설정하고 인트라 영상을 제1 아이 방향의 실제 화각에 맞춰 조정함으로써 동일 시점으로의 동기화를 수행할 수 있다.
일 실시예에서, 제2 아이 영상 생성부(215)는 제1 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제1 인트라 영상)에 대해 제2 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제2 인트라 영상)의 차이를 기본 인터 영상으로 생성할 수 있다. 제2 아이 영상 생성부(215)는 제1 인트라 영상을 기초로 제2 아이 영상에 관한 기본 인터 영상을 생성할 수 있고, 이 경우 제1 인트라 영상과 제2 인트라 영상의 차이를 기초로 기본 인터 영상을 생성할 수 있다. 결과적으로, 제2 인트라 영상은 제1 인트라 영상과의 차이를 기초로 인터 영상을 생성하는 방식을 통해 생성될 수 있다.
일 실시예에서, 제1 아이 영상 생성부(213) 및 제2 아이 영상 생성부(215)는 사용자 입력 신호 수신 모듈, 그래픽 렌더링 모듈, 스크린 캡쳐 모듈 및 비디오 인코딩 모듈로 각각 구성될 수 있다. 사용자 입력 신호 수신 모듈은 사용자 입력 신호를 수신할 수 있고, 그래픽 렌더링 모듈은 사용자의 시선 방향을 기초로 화각을 결정하고 포비티드 렌더링을 수행할 수 있으며, 스크린 캡쳐 모듈은 그래픽 렌더링 모듈에 의해 생성된 영상으로부터 사용자 시선 방향의 영상을 캡쳐할 수 있다. 또한, 비디오 인코딩 모듈은 캡쳐된 영상에 대한 인코딩을 수행할 수 있다.
제1 제어부(217)는 입체 영상 생성 장치(210)의 전체적인 동작을 제어하고, FOV 처리부(211), 제1 아이 영상 생성부(213) 및 제2 아이 영상 생성부(215) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
제1 아이영상 복원부(231)는 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원할 수 있다. 제2 아이 영상 복원부(233)는 제2 아이를 위해서 복수의 제1 아이 영상들 중 인트라 영상을 기초로 생성되는 기본 인터 영상과 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원할 수 있다.
일 실시예에서, 제1 아이 영상 복원부(231) 및 제2 아이 영상 복원부(233)는 입체 영상 수신 모듈, 비디오 디코딩 모듈 및 복원 영상 전송 모듈로 구성될 수 있다. 입체 영상 수신 모듈은 입체 영상 생성 장치(210)에 의해 생성된 입체 영상을 무선 통신을 통해 수신할 수 있고, 비디오 디코딩 모듈은 수신된 입체 영상을 디코딩하여 복원할 수 있다. 또한, 복원 영상 전송 모듈은 비디오 디코딩 모듈에 의해 복원된 입체 영상을 HMD 기기(110)에 전송할 수 있고, HMD 기기(110)은 전송된 영상을 재생하여 사용자에게 최종 전달할 수 있다. 다른 실시예에서, 제1 아이 영상 복원부(231) 및 제2 아이 영상 복원부(233)는 HMD 기기(110)에 포함되어 구현될 수 있고, 이 경우 HMD 기기(110)로의 영상 전송을 위한 복원 영상 전송 모듈은 생략될 수 있다.
제2 제어부(235)는 입체 영상 복원 장치(230)의 전체적인 동작을 제어하고, 제1 아이 영상 복원부(231) 및 제2 아이 영상 복원부(233) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 입체 영상 생성 과정을 설명하는 순서도이다.
도 3을 참조하면, 입체 영상 생성 장치(210)는 FOV 처리부(211)를 통해 HMD 기기(110)를 VR Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 수신할 수 있다(단계 S310). 입체 영상 생성 장치(210)는 제1 아이 영상 생성부(213)를 통해 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 인트라 영상에서 파생되는 인터 영상을 포함하고, 사용자의 헤드 방향의 중심에서 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성할 수 있다(단계 S330). 입체 영상 생성 장치(210)는 제2 아이 영상 생성부(215)를 통해 제2 아이를 위해서 복수의 제1 아이 영상들 중 인트라 영상을 기초로 복수의 제2 아이 영상들을 생성할 수 있다(단계 S350).
도 4는 본 발명의 일 실시예에 따른 입체 영상 생성 및 재생 시스템의 전체적인 구성을 설명하는 개념도이다.
도 4를 참조하면, 입체 영상 생성 및 재생 시스템은 불필요한 영상의 인코딩을 줄이고 무선 네트워크를 통해 전송되는 데이터를 감소시킴으로써 입체 영상의 중복을 제거하고 지연을 감소시킬 수 있다. 입체 영상 생성 및 재생 시스템은 사용자의 신체에 착용될 수 있는 컨트롤러, VR Vest 및 Accessary 등의 컨트롤러 기기와 입체 영상을 재생할 수 있는 HMD 기기, 그리고 입체 영상의 렌더링 및 인코딩을 수행하는 입체 영상 생성 장치로 구성될 수 있다. 일 실시예에서, 컨트롤러 기기는 HMD 기기와 연결되어 사용자의 움직임 신호를 전달할 수 있고, HMD 기기는 사용자의 머리 움직임을 포함하는 움직임 신호를 입체 영상 생성 장치로 전송할 수 있으며, 입체 영상 생성 장치는 그래픽 렌더링, 스크린 캡쳐 및 비디오 인코딩을 수행하는 독립적인 GPU들로 구성될 수 있다.
입체 영상 생성 장치는 사용자 움직임 신호를 기초로 FOV를 동적으로 결정할 수 있고(단계 B), FOV에 기초하여 그래픽 렌더링 및 포비티드 렌더링을 수행할 수 있다(단계 C). 또한, 입체 영상 생성 장치는 스크린 캡쳐 후 비디오 인코딩을 수행할 수 있다(단계 A). 입체 영상 생성 장치에 의해 생성된 인코딩 데이터는 무선 네트워크를 통해 입체 영상을 재생할 수 있는 HMD 기기로 전송될 수 있고, HMD 기기는 내부에 구현된 입체 영상 복원 장치를 통해 인코딩된 데이터를 디코딩하고 실제 디스플레이 크기에 맞춰 영상을 확장하거나 잘라낸 후(단계 D) 디스플레이 패널을 통해 재생할 수 있다.
도 5는 도 4에 있는 입체 영상 생성 장치가 입체 영상 인코딩 과정에서 사용하는 인코딩 방법의 예를 설명하는 예시도이다.
도 5를 참조하면, 입체 영상 생성 장치는 그래픽 렌더링을 통해 생성된 영상에 대해 비디오 인코딩을 수행할 수 있으며, 크게 3가지 인코딩을 수행할 수 있다. 첫 번째로, 표준 AVC(Advanced Video Coding) 인코딩을 수행할 수 있으며, 포비티드된 영상을 기초로 수행하여 포비티드 인코딩할 수 있다. 두 번째로, 타일 기반의 고효율 비디오 코딩(High Efficiency Video Cdoing) 인코딩을 수행할 수 있으며, 포비티드된 영상을 기초로 수행하여 포비티드 인코딩할 수 있다. 세 번째로, 입체 영상에 관한 리던던시(Redundancy)가 제거된 인코딩을 수행할 수 있다. 즉, 사용자 주변의 360도 영상 전체를 인코딩하지 않고 사용자의 머리 및 몸의 움직임에 기초하여 동적으로 결정되는 FOV에 따라 해당 FOV를 포함하는 여유 영상만을 그래픽 렌더링을 통해 생성하고 이를 인코딩함으로써 무선 네트워크를 통해 전송되는 데이터량을 줄일 수 있다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 양안 영상에 관한 인코딩 과정을 설명하는 예시도이다.
도 6을 참조하면, 입체 영상 생성 장치(210)는 오른쪽 및 왼쪽 눈을 통해 시청되는 양안 영상에 관한 인코딩을 수행할 수 있다. 일 실시예에서, 입체 영상 생성 장치(210)는 하나의 영상에 대해 복수의 블록들로 분할하여 블록 단위로 생성 과정을 처리할 수 있다. 예를 들어, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, PU), 변환 유닛(Transform Unit, TU) 및 코딩 유닛(Coding Unit, CU) 중 어느 하나에 해당할 수 있다. 하나의 영상은 복수의 코딩 트리 유닛(Coding Tree Unit, CTU)들로 구성될 수 있고, 각 코딩 트리 유닛은 쿼드 트리(Quad Tree) 구조를 형성하며 복수의 CU들로 분할될 수 있다. 또한, PU 및 TU는 CU로부터 도출될 수 있다.
인트라 예측(Intra Prediction) 단계는 영상의 처리 블록 단위별로 예측을 수행하여 예측 블록으로 구성된 인트라 영상을 생성할 수 있다. 이 때, 예측이 수행되는 처리 단위와 예측 방법은 예측 조건에 따라 가변될 수 있다. 인트라 예측은 현재 영상에 해당하는 프레임 내의 픽셀 정보만을 기초로 예측을 수행할 수 있다. 모션 추정(Motion Estimation) 단계는 영상의 처리 블록 단위별로 예측을 수행하여 예측 블록으로 구성된 인터 영상을 생성할 수 있다. 모션 추정은 현재 영상의 이전 프레임 또는 이후 프레임 중 적어도 하나의 정보를 기초로 예측을 수행할 수 있다.
변환(Transform) 단계는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다. 양자화(Quantization) 단계는 변환된 블록들에 대해 변환 계수를 양자화하여 양자화된 변환 계수를 생성할 수 있다. 스캔(Scan) 단계는 양자화된 변환 계수를 재정렬하여 엔트로피 코딩 단계에서의 인코딩 효율을 높일 수 있다. 또한, 스캔 단계는 계수 스캐닝을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 엔트로피 코딩(Entropy Coding) 단계는 재정렬된 양자화된 변환 값들을 기초로 엔트로피 코딩하여 비트 스트림(Bit Stream)을 출력할 수 있다. 역 양자화(Inverse Quantization) 단계는 양자화 단계에서 양자화된 값들을 역약자화할 수 있다. 역 변환(Inverse Transform) 단계는 역양자화 단계에서 역양자화된 값들을 역변환할 수 있다.
디블록킹 필터(De-blocking Filter) 단계는 복원된 영상에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. 프레임 메모리(Frame Memory) 단계는 디블록킹 필터 단계에서 도출된 영상 또는 프레임을 저장할 수 있고, 메모리에 저장된 영상 또는 프레임은 모션 추정 단계에 제공될 수 있다. 일 실시예에서, 제1 아이 영상을 생성하는 과정 중 프레임 메모리 단계에서 메모리에 저장된 인트라 영상(또는 프레임)은 제2 아이 영상을 생성하기 위한 기본 인터 영상으로서 제공될 수 있다. 즉, 제2 아이 영상은 제1 아이 영상 생성에 있어서의 인트라 영상을 기본 인터 영상으로서 사용하여 생성될 수 있다. 따라서, 제2 아이 영상 생성을 위한 기본 인터 영상은 인트라 영상을 대신하여 사용될 수 있다.
또한, 본 발명의 일 실시예에 따른 입체 영상 복원 장치(230)는 입체 영상 생성 장치(210)로부터 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 입체 영상 생성 장치(210)에서 수행된 영상 정보가 처리된 절차에 따라 디코딩(decoding)될 수 있다.
도 7은 본 발명의 일 실시예에 따른 입체 영상 생성 장치에서 수행되는 인트라 및 인터 영상의 생성 과정을 설명하는 예시도이다.
도 7을 참조하면, 입체 영상 생성 장치(210)는 제1 아이 영상 생성부(213)를 통해 제1 아이 영상을 생성하고, 제2 아이 영상 생성부(215)를 통해 제2 아이 영상을 생성할 수 있다. 제1 아이 영상은 사용자의 오른쪽 눈을 통해 보여지는 영상에 해당하고 제2 아이 영상은 사용자의 왼쪽 눈을 통해 보여지는 영상에 해당할 수 있다. 제1 및 제2 아이 영상은 모두 인트라 영상(또는 프레임)을 기준 영상으로 하여 생성되는 일련의 인터 영상으로 구성될 수 있다. 다만, 제2 아이 영상에 있어서의 인트라 영상은 제1 아이 영상 생성에서의 인트라 영상을 기초로 생성될 수 있다. 일 실시예에서, 제2 아이 영상의 기본 인터 영상은 제1 아이 영상의 인트라 영상을 그대로 사용하여 생성될 수 있고, 다른 실시예에서, 제2 아이 영상의 기본 인터 영상은 제1 아이 영상의 인트라 영상과 제2 아이 영상의 인트라 영상과의 차이를 기초로 생성될 수 있다. 제1 및 제2 아이 영상은 복수의 프레임 구간들로 분할될 수 있고 각 프레임 구간은 하나의 인트라 영상(또는 프레임)과 이에 기초하여 생성되는 복수의 인터 영상들로 구성될 수 있다.
도 8은 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
도 8을 참조하면, HMD 기기(110) 또는 컨트롤러 기기(170)로부터 사용자 입력 신호가 생성될 수 있고, 입체 영상 생성 장치(210)는 이를 수신하여 사용자의 머리 및 몸의 움직임에 관한 가속을 산출할 수 있다. 입체 영상 생성 장치(210)는 FOV 처리부(211)를 통해 사용자의 머리 및 몸의 움직임에 관한 가속을 기초로 동적으로 사용자의 FOV를 산출할 수 있다. 또한, 입체 영상 생성 장치(210)는 산출된 FOV를 기초로 입체 영상 생성을 위한 그래픽 렌더링(Graphics rendering)을 수행할 수 있다. 그래픽 렌더링은 적응적 화각 선택(Adaptive FOV Selection) 단계와 포비티드 렌더링(Foveated Rendering) 단계로 구성될 수 있다. 적응적 화각 선택 단계는 기본 설정각을 기준으로 특정 범위 내에서 머리 움직임 가속과 몸의 움직임 가속에 기초하여 동적으로 화각을 결정할 수 있다. 포비티드 렌더링(Foveated Rendering) 단계는 사용자의 화각을 기준으로 사용자가 주시하는 영역은 고해상도로, 그 외의 영역은 저해상도로 영상 처리를 수행할 수 있다.
또한, 입체 영상 생성 장치(210)는 렌더링된 영상을 캡쳐하는 이미지 캡쳐(Image capturing)를 수행할 수 있다. 입체 영상 생성 장치(210)는 비디오 인코딩(Video encoding)을 통해 무선 전송될 영상 데이터를 생성할 수 있다. 비디오 인코딩은 제1 아이 및 제2 아이 영상 생성을 위하여 기존의 표준 고급 비디오 부호화(Advanced Video Coding) 또는 고효율 비디오 코딩(High Efficiency Video Coding)에 따라 수행될 수 있고, 본 발명의 일 실시예에 따른 인코딩에 따라 수행될 수 있다. 입체 영상 생성 장치(210)에 의해 생성된 인코딩 데이터는 무선 통신을 통해 입체 영상 복원 장치(230)로 전송될 수 있다.
입체 영상 복원 장치(230)는 입체 영상 생성 장치(210)로부터 수신된 인코딩 데이터를 이용하여 비디오 디코딩(Video decoding)을 수행할 수 있다. 입체 영상 복원 장치(230)는 비디오 디코딩을 통해 인코딩된 영상을 복원할 수 있다. 여기에서, 비디오 디코딩은 비디오 인코딩과 유사한 방식으로 수행될 수 있고, 입체 영상 복원 장치(230)에 의해 복원된 입체 영상은 HMD 기기(110)를 통해 재생될 수 있다. 일 실시예에서, 입체 영상 복원 장치(230)는 사용자의 머리 및 바디 움직임을 기초로 결정된 FOV에 따라 입체 영상을 생성하여 재생할 수 있다. 예를 들어, 입체 영상 복원 장치(230)는 디스플레이되는 사용자의 화각에 적합하도록 이미지를 확장하거나 잘라낸 후 HMD 기기(110)를 통해 재생할 수 있다.
도 9는 본 발명의 일 실시예에 따른 입체 영상 생성 및 복원 장치에서 수행되는 입체 영상의 생성 및 복원 과정을 설명하는 예시도이다.
도 9를 참조하면, 입체 영상 생성 장치(210)는 HMD 기기(110) 및 컨트롤러 기기(170)로부터 수신한 사용자 움직임에 대한 신호를 기초로 FOV를 결정할 수 있고, 해당 FOV에 기초하여 주요 FOV(Primary FOV) 및 확장 FOV(Extended FOV)를 동적으로 결정할 수 있다. 입체 영상 생성 장치(210)는 FOV 처리부(211)에 의해 결정된 FOV에 따라 입체 영상을 렌더링하고 영상 포비션(Foveation)을 수행하여 포비티드 영상을 생성할 수 있으며, 해당 영상을 인코딩하여 포비티드 인코딩(Foveated Encoding)을 수행할 수 있다.
입체 영상 생성 장치(210)는 인코딩된 데이터를 전송할 수 있고, 입체 영상 복원 장치(230)는 해당 데이터를 수신하여 디코딩 후 디스플레이 장치를 통해 재생할 수 있다. 일 실시예에서 입체 영상 복원 장치(230)는 HMD 기기(110) 내부에 포함되어 구현될 수 있다. 입체 영상 복원 장치(230)는 인코딩 데이터를 디코딩한 후 디스플레이 장치의 화면 크기에 맞춰 영상을 확장하거나 잘라낼 수 있다. 또한, 입체 영상 복원 장치(230)는 사용자의 머리 및 몸의 움직임에 기초하여 인코딩된 데이터에서 재생될 위치를 결정하고 해당 위치에서의 영상을 복원하여 재생할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
100: 입체 영상 생성 및 재생 시스템
110: HMD 기기 130: 입체 영상 생성 및 복원 장치
150: 데이터베이스 170: 컨트롤러 기기
210: 입체 영상 생성 장치
211: FOV 처리부 213: 제1 아이 영상 생성부
215: 제2 아이 영상 생성부 217: 제1 제어부
230: 입체 영상 복원 장치
231: 제1 아이 영상 복원부 233: 제2 아이 영상 복원부
235: 제2 제어부

Claims (8)

  1. HMD (Head Mount Display) 기기 및 VR(Virtual Reality) Vest 기기를 장착한 사용자의 헤드 및 바디 움직임을 수신하여 FOV(Field Of View)를 결정하는 FOV 처리부;
    제1 아이(Eye)를 위해서 독자적으로 생성되는 인트라(Intra) 영상과 상기 인트라 영상에서 파생되는 인터(Inter) 영상을 포함하고, 상기 사용자의 헤드 방향의 중심에서 상기 제1 아이의 방향으로 현재 디스플레이되고 있는 실제 화각보다 특정 기준 이상 큰 여유 화각까지의 여유 영상을 복수의 제1 아이 영상들로 생성하는 제1 아이 영상 생성부; 및
    제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 복수의 제2 아이 영상들을 생성하는 제2 아이 영상 생성부를 포함하는 입체 영상 생성 장치.
  2. 제1항에 있어서, 상기 FOV 처리부는
    상기 사용자의 헤드 및 바디 움직임의 가속(Acceleration)을 기초로 수평 및 수직에 관한 상기 FOV를 결정하는 것을 특징으로 하는 입체 영상 생성 장치.
  3. 제1항에 있어서, 상기 제2 아이 영상 생성부는
    상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 생성하는 것을 특징으로 하는 입체 영상 생성 장치.
  4. 제3항에 있어서, 상기 제1 아이 영상 생성부는
    상기 사용자의 헤드 방향이 일정 시간 이상 유지되는 경우에는 상기 여유 영상에 관한 포비티드 렌더링(Foveated Rendering)을 수행하여 상기 실제 화각까지의 실제 영상에 관한 해상도를 증가시키는 것을 특징으로 하는 입체 영상 생성 장치.
  5. 제1항에 있어서, 상기 제2 아이 영상 생성부는
    입체 영상에서 동일한 시점으로 상기 인트라 영상과 상기 기본 인터 영상을 동기화 시키는 것을 특징으로 하는 입체 영상 생성 장치.
  6. 제5항에 있어서, 상기 제2 아이 영상 생성부는
    상기 제1 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제1 인트라 영상)에 대해 제2 아이를 위해서 독자적으로 생성되는 인트라 영상(이하, 제2 인트라 영상)의 차이를 상기 기본 인터 영상으로 생성하는 것을 특징으로 하는 입체 영상 생성 장치.
  7. 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 상기 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원하는 제1 아이 영상 복원부; 및
    제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원하는 제2 아이 영상 복원부를 포함하는 입체 영상 복원 장치.
  8. 제1 아이를 위해서 독자적으로 생성되는 인트라 영상과 상기 인트라 영상에서 파생되는 인터 영상을 포함하는 복수의 제1 아이 영상들을 순차적으로 수신하여 제1 아이 영상을 복원하는 제1 아이 영상 복원부 및 제2 아이를 위해서 상기 복수의 제1 아이 영상들 중 상기 인트라 영상을 기초로 생성되는 기본 인터 영상과 상기 기본 인터 영상에서 파생되는 확장 인터 영상을 포함하는 복수의 제2 아이 영상들을 순차적으로 수신하여 제2 아이 영상을 복원하는 제2 아이 영상 복원부를 포함하는 입체 영상 복원 장치; 및
    상기 복수의 제1 및 제2 아이 영상들을 수신하여 입체 영상을 재생하는 HMD (Head Mount Display) 기기를 포함하는 입체 영상 재생 시스템.
PCT/KR2019/016836 2018-12-19 2019-12-02 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템 WO2020130416A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/253,108 US11356652B2 (en) 2018-12-19 2019-12-02 Stereoscopic image generating apparatus, stereoscopic image reconstructing apparatus and stereoscopic image playing system including same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180164854A KR102166158B1 (ko) 2018-12-19 2018-12-19 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
KR10-2018-0164854 2018-12-19

Publications (1)

Publication Number Publication Date
WO2020130416A1 true WO2020130416A1 (ko) 2020-06-25

Family

ID=71101698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016836 WO2020130416A1 (ko) 2018-12-19 2019-12-02 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템

Country Status (3)

Country Link
US (1) US11356652B2 (ko)
KR (1) KR102166158B1 (ko)
WO (1) WO2020130416A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230144093A (ko) * 2019-07-28 2023-10-13 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
KR102437276B1 (ko) * 2020-10-15 2022-08-30 (주)이머시브캐스트 바디 움직임 기반의 클라우드 vr 장치 및 방법
KR102656014B1 (ko) 2021-04-27 2024-04-11 (주)이머시브캐스트 분산 렌더링 기반의 클라우드 vr 장치
KR102461478B1 (ko) 2021-05-03 2022-11-03 (주)이머시브캐스트 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치
KR102460474B1 (ko) * 2021-05-14 2022-11-01 (주)이머시브캐스트 화면 떨림 감소를 위한 클라우드 vr 장치
KR102528175B1 (ko) * 2021-05-14 2023-05-04 (주)이머시브캐스트 적응적인 fov 렌더링 방법
US20230376162A1 (en) * 2022-05-19 2023-11-23 Aveva Software, Llc Servers, systems, and methods for an industrial metaverse

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092390A (ja) * 2006-10-04 2008-04-17 Calsonic Kansei Corp 対象物距離表示方法
KR20100072776A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 거리 측정 방법 및 스테레오 매칭 시스템
US20130114705A1 (en) * 2011-07-28 2013-05-09 Qualcomm Incorporated Multiview video coding
KR20140064926A (ko) * 2011-08-31 2014-05-28 노키아 코포레이션 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
KR20180117770A (ko) * 2017-04-19 2018-10-30 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003101117A1 (en) 2002-05-28 2003-12-04 Sharp Kabushiki Kaisha Methods and systems for image intra-prediction mode estimation, communication, and organization
KR100813435B1 (ko) 2006-10-18 2008-03-13 주식회사 휴맥스 비트스트림 인코딩/디코딩 방법 및 장치
JP2012034356A (ja) * 2010-07-02 2012-02-16 Panasonic Corp 画像符号化装置、画像符号化方法、プログラムおよび集積回路
TWI462569B (zh) * 2011-04-22 2014-11-21 Mstar Semiconductor Inc 三維影像攝相機及其相關控制方法
JP2013168866A (ja) * 2012-02-16 2013-08-29 Canon Inc 画像処理装置、その制御方法およびプログラム
JP2013168867A (ja) * 2012-02-16 2013-08-29 Canon Inc 画像処理装置、その制御方法およびプログラム
EP3294113B1 (en) * 2015-05-08 2019-09-25 Apple Inc. Eye tracking device and method for operating an eye tracking device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008092390A (ja) * 2006-10-04 2008-04-17 Calsonic Kansei Corp 対象物距離表示方法
KR20100072776A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 거리 측정 방법 및 스테레오 매칭 시스템
US20130114705A1 (en) * 2011-07-28 2013-05-09 Qualcomm Incorporated Multiview video coding
KR20140064926A (ko) * 2011-08-31 2014-05-28 노키아 코포레이션 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
KR20180117770A (ko) * 2017-04-19 2018-10-30 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치

Also Published As

Publication number Publication date
US11356652B2 (en) 2022-06-07
KR102166158B1 (ko) 2020-10-15
KR20200076109A (ko) 2020-06-29
US20210274155A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
WO2020130416A1 (ko) 입체 영상 생성 장치, 입체 영상 복원 장치와 이를 포함하는 입체 영상 재생 시스템
JP3659161B2 (ja) 動画像符号化装置及びそれを用いたテレビ電話端末
WO2018182377A1 (en) Method and apparatus for producing 360 degree image content on rectangular projection by selectively applying in-loop filter
WO2018004239A1 (ko) 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
WO2010068020A2 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
WO2011034382A2 (en) Method and apparatus for decoding image based on skip mode
US8810628B2 (en) Image processing apparatus and image processing method
WO2012036468A2 (en) Method and apparatus for hierarchical picture encoding and decoding
CN115499652A (zh) 一种视频编解码方法和相关装置
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014109547A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014084613A9 (ko) 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
WO2019088435A1 (ko) 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치
WO2019083119A1 (ko) 360도 비디오에 대한 영상 코딩 시스템에서 회전 파라미터를 사용한 영상 디코딩 방법 및 장치
WO2016006746A1 (ko) 초고해상도 영상 처리를 위한 장치
WO2010140864A2 (ko) 스테레오 영상 처리 장치 및 방법
WO2015102329A1 (en) Method and apparatus for processing video signal for reducing visibility of blocking artifacts
WO2014168411A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014042459A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013077650A1 (ko) 다시점 비디오 복호화 방법 및 장치
JPH066781A (ja) 多地点動画像符号化復号装置
WO2023219278A1 (ko) Mpeg 몰입형 비디오를 위한 카메라 파라미터 그룹핑 및 업데이트를 위한 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19899198

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06.10.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19899198

Country of ref document: EP

Kind code of ref document: A1