KR20200111643A - 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 - Google Patents

이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 Download PDF

Info

Publication number
KR20200111643A
KR20200111643A KR1020200033735A KR20200033735A KR20200111643A KR 20200111643 A KR20200111643 A KR 20200111643A KR 1020200033735 A KR1020200033735 A KR 1020200033735A KR 20200033735 A KR20200033735 A KR 20200033735A KR 20200111643 A KR20200111643 A KR 20200111643A
Authority
KR
South Korea
Prior art keywords
image
atlas
view
patch
images
Prior art date
Application number
KR1020200033735A
Other languages
English (en)
Inventor
윤국진
정준영
이광순
신홍창
음호민
곽상운
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US16/823,617 priority Critical patent/US20210006830A1/en
Publication of KR20200111643A publication Critical patent/KR20200111643A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 이머시브 영상 처리 방법은, 복수의 소스 시점 영상들을 기준 시점 영상 및 추가 시점 영상으로 분류하는 단계, 상기 추가 시점 영상에 대한 잔차 데이터를 생성하는 단계, 상기 잔차 데이터를 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계, 및 상기 패치에 대한 메타 데이터를 생성하는 단계를 포함한다.

Description

이머시브 영상 처리 방법 및 이머시브 영상 합성 방법{METHOD FOR PROCESSING IMMERSIVE VIDEO AND METHOD FOR PRODUCING IMMERSIVE VIDEO}
본 발명은 회전 및 병진 움직임에 대한 운동 시차를 지원하는 이머시브 영상의 처리/출력 방법에 관한 것이다.
가상현실(virtual reality) 서비스는 전방위 영상을 실사 혹은 CG (Computer Graphics) 형태로 생성하여 HMD, 스마트폰 등에 재생함으로써 몰입감 및 현장감이 극대화된 서비스를 제공하는 방향으로 진화하고 있다. 현재 HMD를 통해 자연스럽고 몰입감 있는 전방위 영상을 재생하려면 6 자유도 (DoF: Degrees of Freedom)를 지원해야 하는 것으로 알려져 있다. 6DoF 영상은 (1) 좌우 회전, (2) 상하 회전, (3) 좌우 이동, (4) 상하 이동 등 여섯 방향에 대해 자유로운 영상을 HMD 화면을 통해 제공해야 한다. 하지만 현재 실사에 기반한 대부분의 전방위 영상은 회전운동만을 지원하고 있다. 이에, 6DoF 전방위 영상의 획득, 재현 기술 등의 분야에 대한 연구가 활발히 진행 중에 있다.
본 발명에서는 운동시차를 지원하는 대용량의 이머시브 영상 서비스 제공을 위해, 최소한의 비디오 및 메타데이터 전송 만으로 운동시차를 지원하는 영상 재현이 가능한 파일 포맷을 제공하는 것을 목적으로 한다.
또한, 본 발명은 아틀라스 영상 간 우선 순위를 설정하여, 장치 능력(capacity)에 따라 선택적인 부호화/복호화가 가능하게 하는 것을 목적으로 한다.
또한, 본 발명은 소스 시점 영상 간 우선 순위를 설정하여, 잔차 데이터를 최소화하는 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 이머시브 영상 처리 방법은, 복수의 소스 시점 영상들을 기준 시점 영상 및 추가 시점 영상으로 분류하는 단계, 상기 추가 시점 영상에 대한 잔차 데이터를 생성하는 단계, 상기 잔차 데이터를 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계, 및 상기 패치에 대한 메타 데이터를 생성하는 단계를 포함할 수 있다. 이때, 상기 메타 데이터는 상기 패치의 출처인 소스 시점을 식별하기 위한 정보 및 소스 시점 영상 또는 상기 아틀라스 영상 내 상기 패치의 위치를 나타내는 정보를 포함할 수 있다.
본 발명에 따른 이머시브 영상 합성 방법은, 비트스트림으로부터 영상 데이터 및 메타 데이터를 파싱하는 단계, 상기 영상 데이터를 복호화하여 단계, 및 상기 영상 데이터를 복호화하여 생성된 아틀라스 영상 및 기준 시점 영상을 기초로, 뷰포트 영상을 합성하는 단계를 포함할 수 있다. 이때, 상기 메타 데이터는 상기 아틀라스 영상에 포함된 패치의 출처 시점을 식별하기 위한 정보 및 출처 시점 영상 또는 상기 아틀라스 영상 내 상기 패치의 위치를 나타내는 정보를 포함할 수 있다.
본 발명에 따른 이머시브 영상 처리 장치 및 이머시브 영상 합성 방법에 있어서, 상기 메타 데이터는 상기 패치가 관심 영역 패치인지 여부를 나타내는 플래그를 더 포함할 수 있다.
본 발명에 따른 이머시브 영상 처리 장치 및 이머시브 영상 합성 방법에 있어서, 상기 메타 데이터는 상기 복수의 소스 시점 영상들을 촬영한 카메라들의 인덱스 정보를 포함하고, 상기 카메라들 각각에는 상이한 인덱스가 할당될 수 있다.
본 발명에 따른 이머시브 영상 처리 장치 및 이머시브 영상 합성 방법에 있어서, 복수개의 아틀라스 영상들이 생성된 경우, 상기 메타 데이터는 상기 아틀라스 영상의 우선 순위 정보를 포함할 수 있다.
본 발명에 따른 이머시브 영상 처리 장치 및 이머시브 영상 합성 방법에 있어서, 상기 메타 데이터는 상기 아틀라스 영상 내 관심 영역 패치들이 패킹된 위치를 나타내는 정보를 포함할 수 있다.
본 발명에 따른 이머시브 영상 처리 장치 및 이머시브 영상 합성 방법에 있어서, 상기 메타 데이터는 상기 아틀라스 영상이 스케일링되었는지 여부를 나타내는 플래그 또는 상기 아틀라스 영상의 크기를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 이머시브 영상 처리 장치 및 이머시브 영상 합성 방법에 있어서, 복수개의 아틀라스 영상들이 부호화되는 경우, 상기 아틀라스 영상들 각각에 대해 상기 플래그가 부호화될 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에서 의하면, 최소한의 비디오 및 메타데이터 전송 만으로 운동시차를 지원하는 영상 재현이 가능한 파일 포맷을 제공할 수 있다.
본 발명에 의하면, 아틀라스 영상 간 우선 순위를 설정하여, 장치 능력(capacity)에 따라 선택적인 부호화/복호화가 가능하다.
본 발명에 의하면, 소스 시점 영상 간 우선 순위를 설정하여, 잔차 데이터를 최소화할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 운동 시차를 제공할 수 있는 이머시브 영상을 예시한 도면이다.
도 2는 본 발명에 따른 복수의 소스 시점 영상들을 나타낸 도면이다.
도 3은 복수의 소스 시점 영상들을 합성하여 이머시브 영상을 생성하는 개념도를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 5 내지 도 7은 추가 시점 영상에 대한 잔차 데이터가 생성되는 예를 나타낸 도면이다.
도 8은 본 발명에 따른 이머시브 영상 출력 장치의 블록도이다.
도 9은 본 발명의 일 실시예에 따른 소스 시점 영상의 잔차 데이터를 생성하는 방법을 나타낸 흐름도이다.
도 10은 소스 시점 영상과 참조 영상 간의 중복 데이터를 판별하는 예를 설명하기 위한 도면이다.
도 11은 뷰 포트 영상을 합성하는 과정을 나타낸 흐름도이다.
도 12는 기준 시점 영상과 패치들을 이용하여 뷰포트 영상을 합성하는 예를 나타낸 도면이다.
도 13은 추가 시점 영상간 계층적으로 프루닝이 수행되는 예를 나타낸 도면이다.
도 14는 관심 영역 시점 영상과 비관심 영역 시점 영상의 프루닝 순서를 예시한 도면이다.
도 15는 복수의 아틀라스 영상들이 생성된 예를 나타낸 것이다.
도 16은 아틀라스 영상의 우선 순위에 기초하여, 복호화 대상이 되는 아틀라스 영상이 결정되는 예를 나타낸 도면이다.
도 17은 아틀라스 영상 내 관심 영역 패치들이 패킹되는 양상을 나타낸 도면이다.
도 18은 중심 시점 영상을 생성하는 예를 나타낸 도면이다.
도 19은 본 발명에 따른 추가 시점 영상들을 합성하는 방법을 나타낸 도면이다.
도 20은 중심 시점 잔차 영상을 생성하는 예를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결 되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이머시브 영상은 3D 공간상에서 사용자의 시청 위치가 동적으로 변경될 수 있는 영상을 의미한다. 이머시브 영상은 3DoF (Degree of Freedom), 3DoF+, Windowed-6DoF 또는 6DoF 타입 등으로 분류될 수 있다.
3DoF 영상은 뷰포트의 움직임을 3개의 회전 움직임(rotational movements)(예컨대, yaw, roll, picth)으로 표현하는 영상을 의미한다. 3DoF+ 영상은 3DoF 영상에 제한적인 병진 움직임(translation movements)를 추가한 영상을 의미한다. 6DoF 영상은 뷰포트의 움직임을 3개의 회전 움직임과 3개의 병진 움직임(예컨대, (x, y, z) 벡터)으로 표현하는 영상을 의미한다.
3DoF+ 및 6DoF 영상은 회전 운동뿐만 아니라, 제한적인 또는 다양한 병진 운동(예컨대, 좌우/상하/앞뒤)에 대한 운동시차를 사용자에게 제공할 수 있다.
도 1은 운동 시차를 제공할 수 있는 이머시브 영상을 예시한 도면이다.
사용자에게 운동 시차를 제공할 수 있는 3DoF+ 또는 6DoF 이머시브 영상은, 텍스처 정보 및 깊이 정보를 포함할 수 있다. 반면, 운동 시차를 제공하지 않는 3DoF 이머시브 영상은, 텍스처 정보 만으로 구성될 수 있다.
후술되는 실시예에서, 이머시브 영상은 3DoF+, Windowed-6DoF 또는 6DoF와 같이 운동 시차를 제공할 수 있는 형태인 것으로 가정한다. 다만, 후술되는 실시예들은 3DoF와 같이 텍스처 정보 기반의 이머시브 영상에도 적용될 수 있다. 후술되는 실시예들을 텍스처 정보 기반의 이머시브 영상에 적용하는 경우, 뎁스 정보의 처리 및 재현에 대한 부분은 생략될 수 있다.
본 발명에서, '시점'은 카메라의 촬영 위치 또는 시청자의 시청 위치 등 특정 위치를 가리킨다. '시점 영상'은 상기 '시점'에 대응하는 영상을 나타낸다. 일 예로, 시점 영상은 특정 시점에서 촬영된 영상 또는 특정 시점을 중심으로 합성된 영상을 가리킬 수 있다.
시점 영상은 타입 또는 용도에 따라, 다양하게 명명될 수 있다. 일 예로, 복수의 카메라들 각각이 촬영한 영상을 '소스 시점 영상'이라 호칭할 수 있다. 시점이 상이한 시점 영상들은 '제1' 또는 '제2'와 같은 첨두어에 기초하여 구분될 수 있다.
후술되는 실시예들에서는, 시점 영상의 종류 또는 용도에 따라, 시점 영상 앞에 '소스', '추가' 또는 '기준'과 같은 첨두어를 붙이기로 한다.
이하, 본 발명에 대해 상세히 설명하기로 한다.
도 2는 본 발명에 따른 복수의 소스 시점 영상들을 나타낸 도면이다.
도 2의 (a)는 각 시점에서의 촬영 범위(화각)을 나타낸 것이고, 도 2의 (b)는 각 시점들의 소스 시점 영상들을 나타낸다.
도 3은 복수의 소스 시점 영상들을 합성하여 이머시브 영상을 생성하는 개념도를 나타낸 도면이다.
도 2 및 도 3에서, xn은 촬영 시점을 나타낸다. 일 예로, xn은 인덱스가 n인 카메라의 촬영 시점을 나타낼 수 있다.
도 2 및 도 3에서, Vn은 시점 xn를 기준으로 촬영된 영상을 나타낸다. 이머시브 영상의 타입에 따라, 시점 xn을 기준으로 촬영된 영상 Vn은 텍스처 영상 및/또는 뎁스 영상을 포함할 수 있다. 일 예로, 3DoF 영상인 경우, 영상 Vn은 텍스처 영상만으로 구성될 수 있다. 또는, 평면 영상을 기본으로 하는 Windowed-6DoF 영상의 경우, 영상 Vn은 텍스처 영상만으로 구성될 수 있다. 반면, 3DoF+ 또는 6DoF 영상인 경우, 영상 Vn은 텍스처 영상 및 뎁스 영상을 포함할 수 있다. 시점 xn을 기준으로 촬영된 텍스처 영상을 Tn으로 표기하고, 시점 xn을 기준으로 촬영된 뎁스 영상을 Dn으로 표기하기로 한다.
소스 시점 각각에는 상이한 인덱스가 할당될 수 있다. 소스 시점의 인덱스에 대한 정보는 메타데이터로서 부호화될 수 있다. 각 소스 시점에 할당되는 인덱스는 각 카메라에 할당되는 인덱스와 동일하게 설정될 수도 있다.
또는, 카메라에 할당되는 인덱스와 소스 시점에 할당되는 인덱스가 상이할 수도 있다. 이 경우, 카메라의 인덱스에 대응하는 소스 시점을 가리키는 정보가 메타데이터로서 부호화될 수 있다.
이하, 설명의 편의를 위해, 센터 시점의 인덱스는 c인 것으로 가정하고, 그 이외 시점들의 인덱스는 센터 시점 또는 센터 위치 카메라와의 거리에 따라, (c+k) 또는 (c-k)인 것으로 가정한다. 일 예로, 센터 시점의 우측에 위치하는 시점 또는 우측에 위치하는 시점의 인덱스는 (c+1)이고, 인덱스가 (c+1)인 시점의 우측에 위치하는 시점의 인덱스는 (c+2)인 것으로 가정한다. 또한, 센터 시점의 좌측에 위치하는 시점의 인덱스는 (c-1)인 것으로 가정하고, 인덱스가 (c-1)인 시점의 좌측에 위치하는 시점의 인덱스는 (c-2)인 것으로 가정한다. 또한, 소스 시점의 인덱스와 카메라의 인덱스는 동일한 것으로 가정한다.
이머시브 영상을 구현하기 위해, 기본 시점 영상과, 기본 시점 영상 이외의 다중 시점 영상들이 요구된다. 또한, 3DoF+ 또는 6DoF 기반의 이머시브 영상을 구현을 위해, 평면 데이터(예컨대, 텍스처 영상)뿐만 아니라, 공간 데이터(예컨대, 깊이 영상 및/또는 카메라 정보)가 요구된다.
일 예로, 이머시브 영상은 도 2 및 도 3에 도시된 예에서와 같이, 센터 위치 xc에서 촬영된 시점 영상 Vc와 비-센터 위치에서 촬영된 시점 영상들 Vc-1, Vc-2, Vc+1, Vc+2를 합성하여 생성될 수 있다.
다중 시점 영상 데이터를 기반으로 이머시브 영상이 구현되는 바, 이머시브 영상의 획득, 생성, 전송 및 재현을 위해서는 대용량 영상 데이터의 효과적인 저장 및 압축 기술이 요구된다.
본 발명에서는, 3DoF 기반의 이머시브 영상과의 호환성을 유지하면서, 운동 시차를 지원하는 3DoF+ 또는 6DoF 이머시브 영상의 저장 및 압축이 가능한 이머시브 영상 생성 포맷 및 압축 기술을 제공한다.
도 4는 본 발명의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 4를 참조하면, 본 발명에 따른 이머시브 영상 처리 장치는 시점 최적화부(View Optimizer, 110), 아틀라스(Atlas) 영상 생성부(120), 메타데이터 생성부(130), 영상 인코더부(140) 및 비트스트림 생성부(150)를 포함할 수 있다.
시점 최적화부(110)는 복수의 소스 시점 영상들을 기준 시점 영상과 비-기준 시점 영상으로 분류한다. 구체적으로, 시점 최적화부(110)는 복수의 소스 시점 영상들 중 적어도 하나를 기준 시점 영상으로 선택할 수 있다.
시점 최적화부(110)는 카메라 파라미터에 기초하여, 기준 시점 영상을 결정할 수 있다. 구체적으로, 시점 최적화부(110)는 카메라 인덱스, 카메라간의 우선 순위, 카메라의 위치 또는 관심 영역 카메라인지 여부에 기초하여 기준 시점 영상을 결정할 수 있다.
일 예로, 시점 최적화부(110)는 카메라 인덱스가 가장 작은(또는 가장 큰) 카메라를 통해 촬영된 소스 시점 영상, 기 정의된 인덱스를 갖는 카메라를 통해 촬영된 소스 시점 영상, 우선순위가 가장 높은(또는 가장 낮은) 카메라를 통해 촬영된 소스 시점 영상, 특정 위치(예컨대, 중심 위치)의 카메라를 통해 촬영된 소스 시점 영상 또는 관심 영역 카메라를 통해 촬영된 소스 시점 영상을 기준 시점 영상으로 결정할 수 있다.
또는, 시점 최적화부(110)는 소스 시점 영상들의 품질을 기초로 기준 시점 영상을 선택할 수 있다. 일 예로, 시점 최적화부(110)는 소스 시점 영상들 중 최고 품질을 갖는 소스 시점 영상을 기준 시점 영상으로 선택할 수 있다.
또는, 시점 최적화부(110)는 소스 시점 영상들 간의 중복 정도를 검사하고, 타 소스 시점 영상들과 중복 데이터가 높은 순서(또는 낮은 순서)에 기초하여 기준 시점 영상을 선택할 수 있다.
또는, 시점 최적화부(110)는 외부에서 입력되는 데이터(예컨대, 메타데이터)를 기초로, 기준 시점 영상을 선택할 수 있다. 외부로부터 입력되는 데이터는, 복수의 카메라들 중 적어도 하나를 특정하는 인덱스, 복수의 촬영 시점들 중 적어도 하나를 특정하는 인덱스 또는 복수의 소스 시점 영상들 중 적어도 하나를 특정하는 인덱스 중 적어도 하나를 포함할 수 있다.
기준 시점 영상으로 선택되지 않은 소스 시점 영상을 추가 시점 영상 또는 비-기준 시점 영상이라 호칭할 수 있다.
복수개의 소스 시점 영상들이 기준 시점 영상으로 선택될 수도 있다.
아틀라스 영상 생성부(120)는 기준 시점 영상과 추가 시점 영상을 차분하여 추가 시점 영상의 잔차 데이터를 생성하고, 잔차 데이터를 기초로 아틀라스 영상을 생성할 수 있다.
아틀라스 영상 생성부(120)는 프루닝부(Pruning unit, 122) 및 패치 수집부(Patch Aggreegation Unit, 124)를 포함할 수 있다.
프루닝부(122)는 추가 시점 영상에 대해 프루닝을 수행한다. 프루닝은 추가 시점 영상 내 기준 시점 영상과의 중복 데이터를 제거하기 위한 것일 수 있다. 프루닝 수행 결과, 추가 시점 영상에 대한 잔차 데이터가 생성될 수 있다.
상이한 시점에서 동일한 피사체를 촬영하여 생성된 소스 시점 영상들은 서로 공통되는 데이터를 가질 수 있다. 이에 따라, 추가 시점 영상에서 기준 시점 영상을 차분하게 되면, 소스 시점 영상에 포함되어 있지 않은 데이터가 추가 시점 영상에 대한 잔차 데이터로 생성될 수 있다.
도 5 내지 도 7은 추가 시점 영상에 대한 잔차 데이터가 생성되는 예를 나타낸 도면이다.
도 5에 도시된 예에서, Vn은 시점 xn에서 촬영된 영상을 나타낸다. 설명의 편의를 위해, 기준 시점 영상은 Vk인 것으로 가정한다.
평면비디오를 기반으로 하는 Windowed-6DoF 영상에서, 기준 시점 영상은 2D 영상일 수 있다. 반면, 전방위 영상을 기반으로 하는 3DoF+ 또는 6DoF 영상에서, 기준 시점 영상은 텍스처 영상 및 뎁스 영상을 포함하는 3D 또는 3DoF 영상일 수 있다.
도 5의 (a) 도시된 예에서, 실선의 화살표는 기준 시점 영상 Vk가 포함하는 데이터를 나타낸다. 시점 xk의 화각에는, 피사체 O2, O3 및 O4가 포함된다. 이때, 피사체 O4는 피사체 O3에 가려져 있어, 도 5의 (b)에 도시된 예에서와 같이 피사체 O4에 대한 데이터는 기준 시점 영상 Vk에는 포함되지 않는다.
도 5의 (a) 도시된 예에서, 점선의 화살표는 기준 시점 영상에 포함되지 않지만, 추가 시점 영상에는 포함된 데이터를 나타낸다. 시점 xk-1의 화각에는, 피사체 O2, O3 및 O4가 포함된다. 피사체 O2 및 O3에 대한 데이터는 기준 시점 영상 Vk에도 포함되어 있으므로, 추가 시점 영상 Vk-1과 기준 시점 영상 Vk 간 피사체 O2 및 O3에 대해 일부 중복된 데이터가 존재할 수 있다. 반면, 피사체 O4에 대한 데이터는 기준 시점 영상 Vk에 포함되어 있지 않다.
시점 xk-2의 화각에는 피사체 O1, O3 및 O4가 포함된다. 피사체 O3에 대한 데이터는 기준 시점 영상 Vk에도 포함되어 있으므로, 추가 시점 영상 Vk-2와 기준 시점 영상 Vk 간 피사체 O3에 대해 일부 중복된 데이터가 존재할 수 있다. 반면, 피사체 O1 및 O4에 대한 데이터는 기준 시점 영상 Vk에 포함되어 있지 않다.
추가 시점 영상과 기준 시점 영상을 차분하여, 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다.
일 예로, 추가 시점 영상인 영상 Vk-1에서 기준 시점 영상 Vk를 차분하여, 추가 시점 영상 Vk-1에 대한 잔차 영상인 RVK-1을 생성할 수 있다. 도 6에 도시된 예에서, 잔차 영상 RVk-1는 기준 시점 영상 Vk에 포함되어 있지 않은 피사체 O2에 대한 일부 데이터 및 피사체 O4에 대한 데이터를 포함하는 것으로 예시되었다. 추가 시점 영상 Vk-1에 포함된 피사체 O3에 대한 데이터는 기준 시점 영상 Vk에 모두 포함되어 있어, 잔차 영상 RVk-1에 포함되지 않은 것으로 이해될 수 있다.
마찬가지로, 추가 시점 영상인 영상 Vk-2에서 기준 시점 영상 Vk를 차분하여, 추가 시점 영상 Vk-2에 대한 잔차 영상인 RVk-2를 생성할 수 있다. 도 6에 도시된 예에서, 잔차 영상 RVk-2는 기준 시점 영상 Vk에 포함되어 있지 않은 피사체 O2에 대한 일부 데이터, 피사체 O3에 대한 일부 데이터, 피사체 O1에 대한 데이터 및 피사체 O4에 대한 데이터를 포함하는 것으로 예시되었다.
소스 시점 영상이 텍스처 영상 및 뎁스 영상을 모두 포함하는 경우, 텍스처 영상 및 뎁스 영상 각각에 프루닝이 수행될 수 있다. 그 결과, 추가 시점 영상에 대한 잔차 데이터는 텍스처 영상에 대한 잔차 데이터 또는 뎁스 영상에 대한 잔차 데이터 중 적어도 하나를 포함할 수 있다.
일 예로, 3DoF+ 또는 6DoF 기반의 이머시브 영상의 경우, 잔차 영상 RVk-n은 텍스처 잔차 영상 RTk-n 및 뎁스 잔차 영상 RDk-n을 포함할 수 있다.
또는, 뎁스 영상에 대해서만 프루닝을 수행하고, 뎁스 잔차 영상을 기초로 텍스처 잔차 영상을 생성할 수 있다.
일 예로, 기준 시점 영상의 뎁스 영상과 추가 시점 영상의 잔차 영상을 차분하여, 추가 시점 영상에 대한 잔차 뎁스 영상을 생성하고, 생성된 뎁스 잔차 영상을 기초로, 마스크 이미지를 생성할 수 있다. 상기 마스크 이미지는 뎁스 잔차 영상 내 잔차 데이터가 존재하는 부분의 픽셀값이 1, 잔여 영역의 픽셀값은 0인 영상을 가리킨다. 생성된 마스크 이미지를 추가 시점 영상의 텍스처 영상에 마스킹하여, 추가 시점 영상에 대한 잔차 영상을 획득할 수 있다.
복수개의 기준 시점 영상들이 존재하는 경우, 추가 시점 영상에서 복수개의 기준 시점 영상들 각각을 차분하여, 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다. 또는, 복수개의 기준 시점 영상들 중 적어도 하나를 선택하고, 추가 시점 영상에서 선택된 기준 시점 영상을 차분하여 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다.
추가 시점 영상과 기준 시점 영상간의 중복 데이터를 제거하여 잔차 데이터를 생성하는 경우, 추가 시점 영상간의 중복 데이터는 제거되지 않는 문제점이 있다. 일 예로, 도 6에 도시된 예에서, 추가 시점 영상 Vk-1의 잔차 영상 RVk-1 및 추가 시점 영상 Vk-2의 잔차 영상 RVk-2는 모두 피사체 O4에 대해 공통의 데이터를 포함한다.
추가 시점 영상들 간 중복 데이터 제거를 위해, 추가 시점 영상들 중 적어도 일부에 대해서는, 기본 시점 영상 및 타 추가 시점 영상을 이용하여 프루닝을 수행할 수 있다. 그 결과, 추가 시점 영상의 잔차 데이터는 기본 시점 영상과의 중복 데이터 및 타 추가 시점 영상과의 중복 데이터를 제거하여 생성될 수 있다.
일 예로, 추가 시점 영상 Vk-2에 대한 잔차 영상 RVk-2는 추가 시점 영상 Vk-2에서 기준 시점 영상 Vk 및 추가 시점 영상 Vk-1을 차분하여 생성되거나, 추가 시점 영상 Vk-2에서 기준 시점 영상 Vk 및 추가 시점 영상 Vk-1의 잔차 영상 RVk-1을 차분하여 생성될 수 있다. 이에 따라, 도 6에 도시된 예에서는, 추가 시점 영상 Vk-2에 대한 잔차 영상 RVk-2는 잔차 영상 RVk-1에 포함된 피사체 O4에 대한 데이터가 제거된 것으로 예시되었다.
위와 같이, 타 추가 시점 영상과 중복되는 데이터를 갖는 추가 시점 영상을 공유 시점 영상이라 정의할 수 있다. 일 예로, 추가 시점 영상 Vk-1과 중복 데이터를 갖는 추가 시점 영상 Vk-2는, 추가 시점 영상 Vk-1의 공유 시점 영상일 수 있다. 공유 시점 영상의 프루닝은 공유 시점 영상과 공통의 데이터를 갖는 추가 시점 영상을 이용하여 수행될 수 있다.
잔차 데이터의 생성에 이용되는 시점 영상 또는 영상 합성시 필요한 시점 영상을 참조 시점 영상이라 호칭할 수 있다. 일 예로, 공유 시점 영상 Vk-2에 대해서는 기본 시점 영상 Vk 및 추가 시점 영상 Vk-1이 참조 시점 영상들로 기능할 수 있다. 특히, 추가 시점 영상의 참조 시점 영상으로 이용되는 타 추가 시점 영상을 추가 참조 시점 영상이라 호칭할 수 있다.
추가 시점 영상 간 프루닝 우선 순위가 설정될 수 있다. 추가 시점 영상 간 프루닝 우선 순위에 따라, 타 추가 시점 영상의 이용 여부가 결정될 수 있다. 우선 순위가 높은 것은 프루닝 순서가 빠름을 나타낸다.
일 예로, 우선 순위가 가장 높은 추가 시점 영상(예컨대, 우선 순위 0)의 잔차 데이터는 추가 시점 영상에서 기준 시점 영상을 차분하여 생성될 수 있다. 반면, 우선 순위가 낮은 추가 시점 영상(예컨대, 우선 순위 1)의 잔차 데이터는 추가 시점 영상에서 기준 시점 영상 및 추가 참조 시점 영상(예컨대, 우선 순위 0)을 차분하여 생성될 수 있다. 즉, 추가 시점 영상들의 프루닝은 계층적으로 수행될 수 있다.
추가 시점 영상들 간의 우선 순위는 기준 시점 영상과의 인덱스 차분에 의해 결정될 수 있다. 일 예로, 기준 시점 영상과의 인덱스 차분의 오름차순 또는 내림차순으로 추가 시점 영상들 간의 우선 순위가 결정될 수 있다.
또는, 기준 시점 영상과 중복되는 데이터량을 고려하여, 추가 시점 영상들 간의 우선 순위를 결정할 수 있다. 일 예로, 기준 시점 영상과의 중복 데이터가 많은 순서 또는 기준 시점 영상과의 중복 데이터가 적은 순서로 추가 시점 영상들 간의 우선 순위를 결정할 수 있다.
우선 순위가 낮은 추가 시점 영상의 프루닝은, 상기 추가 시점 영상보다 우선 순위가 한단계 높은 추가 시점 영상을 이용하여 수행될 수 있다. 일 예로, 추가 시점 영상 Vk-n에 대한 잔차 데이터는, 기준 시점 영상 추가 시점 영상 Vk-n에서 기준 시점 영상 Vk와 추가 시점 영상 Vk-n+1을 차분하여 생성될 수 있다.
우선 순위가 높은 추가 시점 영상이 복수개 존재하는 경우, 추가 시점 영상보다 우선 순위가 높은 기준 시점 영상들을 전부 또는 일부를 이용하여 상기 추가 시점 영상에 대한 프루닝을 수행할 수도 있다. 일 예로, 추가 시점 영상 Vk-n에 대한 잔차 데이터는, 추가 시점 영상 Vk-n에서 기준 시점 영상 Vk와 복수의 추가 시점 영상들 Vk-1 부터 Vk-n+1 중 적어도 하나가 이용될 수 있다.
또는, 추가 시점 영상의 프루닝에 이용되는 추가 시점 영상의 개수가 이머시즈 영상 처리 장치에 기 저장되어 있을 수 있다.
패치 수집부(124)는 추가 시점 영상들의 잔차 데이터를 수집하여, 아틀라스 영상을 생성한다. 구체적으로, 잔차 영상에 포함된 데이터를 사각 형태의 패치로 가공하고, 복수 잔차 영상들로부터 추출된 패치들을 하나의 영상에 패킹할 수 있다. 패치들을 패킹하여 생성된 영상을 아틀라스 혹은 아틀라스 영상이라 호칭할 수 있다.
아틀라스 영상은 텍스처 영상 및/또는 뎁스 영상을 포함할 수 있다.
아틀라스 영상 생성기(120)는 아틀라스 영상 내 패치들의 점유 양상을 나타내는 아틀라스 점유 맵(Atlas Occupancy Map)을 생성할 수도 있다. 아틀라스 점유 맵은 아틀라스 영상과 동일한 크기로 생성될 수 있다.
아틀라스 점유 맵의 픽셀값은 아틀라스 영상 내 패치들의 인덱스값으로 설정될 수 있다. 일 예로, 아틀라스 영상 내 제1 패치가 점유하는 영역과 대응하는 영역(예컨대, 콜로케이트 영역) 내 픽셀들은, 제1 패치에 할당되는 인덱스 값으로 설정될 수 있다. 반면, 아틀라스 영상 내 제2 패치가 점유하는 영역과 대응하는 영역 내 픽셀들은, 제2 패치에 할당되는 인덱스 값으로 설정될 수 있다.
메타데이터 생성부(130)는 시점 영상 합성을 위한 메타데이터를 생성한다. 구체적으로, 메타데이터 생성부(130)는 아틀라스로 패킹되는 잔차 영상 관련 부가 정보를 포맷팅할 수 있다.
메타데이터는 시점 영상 합성을 위한 다양한 정보를 포함할 수 있다.
일 예로, 메타데이터는 카메라의 정보를 포함할 수 있다. 카메라의 정보는, 카메라의 외부 파라미터 또는 내부 파라미터 중 적어도 하나를 포함할 수 있다. 카메라 외부 파라미터는 카메라의 촬영 위치를 나타내는 정보를 포함할 수 있다.
메타 데이터는 소스 시점에 대한 정보를 포함할 수 있다. 소스 시점에 대한 정보는, 소스 시점의 개수에 대한 정보, 소스 시점에 대응하는 카메라를 특정하는 정보 또는 소스 시점 영상에 관한 정보 중 적어도 하나를 포함할 수 있다. 소스 시점 영상에 대한 정보는, 소스 시점 영상의 크기 또는 화질에 관한 정보를 포함할 수 있다.
메타데이터는 기준 시점 영상에 대한 정보를 포함할 수 있다. 기준 시점 영상에 대한 정보는, 기준 시점으로 선택된 소스 시점에 대한 정보 또는 기준 시점 영상의 개수에 대한 정보 중 적어도 하나를 포함할 수 있다.
메타데이터는 프루닝 우선 순위에 대한 정보를 포함할 수 있다. 프루닝 우선 순위에 대한 정보는 복수 기준 시점들 간 우선 순위, 추가 시점들 간 우선 순위 또는 추가 시점이 공유 시점인지 여부를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
메타데이터는 영상 우선 순위에 대한 정보를 포함할 수 있다. 영상 우선 순위는, 소스 시점 영상들 간 우선 순위, 기준 시점 영상들 간 우선 순위 또는 아틀라스 영상들 간 우선 순위 중 적어도 하나를 포함할 수 있다. 데이터 용량이 제한될 때, 영상 우선 순위 정보에 기초하여, 영상의 전송 유무 또는 영상에 할당되는 비트율 중 적어도 하나가 결정될 수 있다. 또는, 공유 시점 영상들의 시점 인덱스에 따라 우선 순위를 결정할 수도 있다.
메타데이터는 아틀라스 영상에 대한 정보를 포함할 수 있다. 아틀라스 영상에 대한 정보는 아틀라스 영상의 개수에 대한 정보, 아틀라스 영상의 크기에 대한 정보 또는 아틀라스 영상 내 패치들의 정보 중 적어도 하나를 포함할 수 있다. 패치 정보는 아틀라스 영상 내 패치를 식별하기 위한 인덱스 정보, 패치의 출처가 되는 소스 시점을 나타내는 정보, 아틀라스 영상 내 패치의 위치/크기에 대한 정보 또는 소스 시점 영상 내 패치의 위치/크기에 대한 정보 중 적어도 하나를 포함할 수 있다.
영상 인코더부(140)는 기준 시점 영상 및 아틀라스 영상을 인코딩한다. 영상 인코더부는 텍스처 영상을 위한 텍스처 영상 인코더부(142) 및 뎁스 영상을 위한 뎁스 영상 인코더부(144)를 포함할 수 있다.
비트스트림 생성부(150)는 인코딩된 영상 및 메타데이터를 기초로 비트스트림을 생성한다. 생성된 비트스트림은 이머시브 영상 출력 장치로 전송될 수 있다.
도 8은 본 발명에 따른 이머시브 영상 출력 장치의 블록도이다.
도 8을 참조하면, 본 발명에 따른 이머시브 영상 출력 장치는 비트스트림 파싱부(210), 영상 디코딩부(220), 메타데이터 처리부(230) 및 영상 합성부(240)를 포함할 수 있다.
비트스트림 파싱부는 비트스트림으로부터 영상 데이터 및 메타데이터를 파싱한다. 영상 데이터는 부호화된 기준 시점 영상의 데이터 및 부호화된 아틀라스 영상의 데이터를 포함할 수 있다.
영상 디코딩부(220)는 파싱된 영상 데이터를 복호화한다. 영상 디코딩부(220)는 텍스처 영상을 디코딩하기 위한 텍스처 영상 디코딩부(222) 및 뎁스 영상을 디코딩하기 위한 뎁스 영상 디코딩부(224)를 포함할 수 있다.
메타데이터 처리부(230)는 파싱된 메타데이터를 언포맷팅한다.
언포맷팅된 메타데이터는 시점 영상을 합성하는데 이용될 수 있다. 일 예로, 메타데이터 처리부(230)는 사용자의 시청 위치(viewing position)에 대응하는 뷰포트 영상을 합성하기 위해, 메타데이터를 이용하여 아틀라스 영상 내 뷰포트 영상 합성에 필요한 패치들의 위치/크기를 결정할 수 있다.
영상 합성부(240)는 사용자의 시청 위치에 해당하는 뷰포트 영상을 동적으로 합성할 수 있다. 뷰포트 영상 합성을 위해, 영상 합성부(240)는 아틀라스 영상으로부터 뷰포트 영상을 합성하는데 필요한 패치들을 추출할 수 있다. 구체적으로, 메타데이터 처리부(230)에서 언포맷팅된 메타데이터를 기초로, 아틀라스 영상 내 뷰포트 영상 합성에 필요한 패치들의 위치/크기를 결정하고, 결정된 위치/크기에 대응하는 패치를 필터링하여 아틀라스 영상으로부터 분리할 수 있다. 뷰포트 영상의 합성에 필요한 패치들이 추출되면, 기준 시점 영상 및 패치들을 합성하여, 뷰포트 영상을 생성할 수 있다.
구체적으로, 기준 시점 영상 및 패치들을 뷰포트의 좌표계로 와핑 및/또는 변환한 뒤, 와핑 및/또는 변환된 기준 시점 영상 및 와핑 및/또는 변환된 패치들을 머징하여, 뷰포트 영상을 생성할 수 있다.
상술한 설명에 기초하여, 소스 시점 영상에 대한 잔차 데이터를 생성하는 방법 및 시점 영상 합성 방법에 대해 보다 구체적으로 설명하기로 한다.
도 9은 본 발명의 일 실시예에 따른 소스 시점 영상의 잔차 데이터를 생성하는 방법을 나타낸 흐름도이다.
잔차 데이터는 제1 소스 시점 영상에서 제2 소스 시점 영상을 차분하여 생성될 수 있다. 여기서, 제1 소스 시점 영상은 추가 시점 영상을 나타내고, 제2 소스 시점 영상은 기준 시점 영상 또는 추가 참조 시점 영상 중 적어도 하나를 나타낸다.
제1 소스 시점 영상과 제2 소스 시점 영상간의 중복성을 제거하기 위해, 제2 소스 시점 영상을 제1 소스 시점 영상으로 와핑(warping)할 수 있다(S910). 구체적으로, 제2 소스 시점 영상을 타겟 시점인 제1 소스 시점으로 와핑하고, 제1 소스 시점 영상으로부터 와핑된 제2 소스 시점 영상을 차분하여, 제1 소스 시점 영상에 대한 잔차 데이터를 생성할 수 있다. 와핑된 소스 시점 영상을 참조 영상이라 호칭하기로 한다.
와핑은, 제2 소스 시점 영상의 뎁스 맵을 와핑한 뒤, 와핑된 뎁스 맵을 기준으로 텍스처 영상을 와핑하는 3D 와핑 알고리즘을 기초로 수행될 수 있다. 뎁스 맵의 와핑은 카메라 파라미터를 기초로 수행될 수 있다. 3D 와핑은 다음 단계들을 거쳐 수행될 수 있다.
제1 단계) 소스 시점 영상 좌표계에서 3차원 공간 좌표계로 역투영
제2 단계) 3차원 공간 좌표계에서 타겟 시점 영상의 좌표계로 투영
수학식 1은 소스 시점 영상 Vk의 좌표를 3차원 공간 좌표계로 역투영하는 수식을 나타낸다.
Figure pat00001
투영행렬 P는 카메라 캘리브레이션 과정을 통해 획득되는 카메라의 내부 파라미터 K 및 외부 파라미터 R, T를 통해 획득될 수 있다. 구체적으로, 투영행렬 P는 다음의 수학식 2를 기초로 유도될 수 있다.
Figure pat00002
수학식 3은 3차원 공간 좌표계로 역투영된 좌표를 타겟 시점 영상 Vk-1의 좌표계로 투영하는 수식을 나타낸다.
Figure pat00003
2차원의 데이터 어레이인 소스 시점 영상에 대한 3D 워핑을 진행하기 위해, 수학식 1 및 3에 예시된 바와 같이, Z 값에 해당하는 깊이값이 추가 요구될 수 있다.
와핑 수행 결과, 소스 시점 영상에서 보이지 않던 부분은 참조 영상에서 홀(Hole)로 남겨질 수 있다.
제1 소스 시점 영상과 참조 영상을 비교하고, 제1 소스 시점 영상에서 참조 영상과의 중복 데이터를 제거할 수 있다(S920).
도 10은 소스 시점 영상과 참조 영상 간의 중복 데이터를 판별하는 예를 설명하기 위한 도면이다.
제1 소스 시점 영상 Vk-1에 대한 잔차 데이터를 생성하기 위해, 제2 소스 시점 영상 Vk에 대해 3D 와핑을 수행하여 참조 영상 Rk를 생성할 수 있다. 이때, 제2 소스 시점 영상 Vk에서 보이지 않던 영역은, 참조 영상 Rk에서 홀로 남겨질 수 있다. 구체적으로, 제2 소스 시점 영상 Vk에서 보이지 않았던, 피사체 O4에 관한 정보 및 피사체 O2의 좌측면에 관한 정보는 홀로 남겨질 수 있다.
홀은 아무런 영상 데이터가 존재하지 않는 영역을 나타내며, 홀 내 샘플 값은 디폴트값(예컨대, 0)으로 설정될 수 있다.
제1 소스 시점 영상 Vk-1에 대한 잔차 영상 RVk-1은, 제1 소스 시점 영상 Vk-1에서 참조 영상 Rk를 차분하여 생성될 수 있다. 구체적으로, 제1 소스 시점 영상과 참조 영상 간 텍스처값 또는 깊이값 중 적어도 하나를 비교하여, 중복 데이터를 검출할 수 있다. 구체적으로, 제1 소스 시점 영상 및 참조 영상 간 픽셀값의 차분이 기 설정된 임계치보다 작은 경우, 3D 공간상 동일한 위치에 대한 데이터인 것으로 보고, 해당 픽셀을 중복 데이터로 결정할 수 있다.
예컨대, 도 10에 도시된 예에서, 제1 소스 시점 영상 Vk-1 및 참조 영상 Rk 내 피사체 O3에 대한 정보가 중복 데이터로 결정될 수 있다.
반면, 제1 소스 시점 영상 및 참조 영상 간 픽셀값의 차분이 기 설정된 임계치 이상인 경우, 해당 픽셀은 중복 데이터가 아닌 것으로 결정할 수 있다. 예컨대, 도 10에 도시된 예에서, 제1 소스 시점 영상 Vk-1 내 피사체 O4 및 피사체 O2의 좌측면에 대한 데이터는 중복 데이터가 아닌 것으로 결정될 수 있다.
중복 데이터 검출은 제1 소스 시점 영상과 참조 영상 간 동일한 위치의 픽셀을 비교하여 수행될 수 있다. 또는, 픽셀들을 서브 샘플링한 뒤, 동일 위치의 픽셀들을 비교하여 중복 데이터를 검출할 수 있다.
제1 소스 시점 영상에 대한 잔차 데이터를 생성하는데 복수의 참조 영상들이 이용되는 경우(S930), 복수의 소스 시점 영상들 각각에 참조 영상 생성(S910) 및 중복 데이터 제거(S920)를 반복적으로 수행할 수 있다. 즉, 제1 소스 시점 영상의 잔차 영상은 복수 참조 영상들에 대한 중복 데이터를 제거함으로써 생성될 수 있다(S940).
일 예로, 제1 소스 시점 영상의 프루닝 제2 소스 시점 영상 및 제3 소스 시점 영상을 기초로 제1 소스 시점 영상에 대한 프루닝이 수행된다고 가정할 경우, 제2 소스 시점 영상을 와핑하여 생성된 제1 참조 영상 및 제3 소스 시점 영상을 와핑하여 생성된 제2 참조 영상이 제1 소스 시점 영상에 대한 잔차 영상을 생성하는데 이용될 수 있다.
일 예로, 도 8을 통해 설명한 예에서와 같이, 제2 추가 시점 영상 Vk-2의 잔차 영상 RVk-2를 생성하기 위해, 기준 시점 영상 Vk를 와핑하여 생성된 제1 참조 영상 Rk 및 제1 추가 시점 영상 Vk-1에 대한 제2 참조 영상 Rk-1을 이용할 수 있다. 이때, 제2 참조 영상 Rk-1은 제1 추가 시점 영상 Vk-1을 와핑하여 생성되거나, 제1 잔차 영상 RVk-1을 와핑하여 생성된 것일 수 있다. 이에 따라, 제2 추가 시점 영상 Vk-2와 기준 시점 영상 Vk과의 중복 데이터 및 제1 제2 추가 시점 영상 Vk-2와 추가 시점 영상 Vk-1과의 중복 데이터를 제거하여, 제2 잔차 영상 RVk-2가 생성될 수 있다.
다음으로, 아틀라스 영상을 이용한 뷰 포트 영상의 생성 방법에 대해 상세히 살펴보기로 한다.
도 11은 뷰 포트 영상을 합성하는 과정을 나타낸 흐름도이다.
사용자의 시청 위치가 입력되면, 사용자의 시청 위치에 부합하는 뷰포트 영상을 생성하는데 필요한 적어도 하나의 소스 시점을 결정할 수 있다(S1110). 일 예로, 뷰포트가 제1 시점 x1 및 제2 시점 x2 사이에 뷰포트가 위치하는 경우, 제1 시점 x1 및 제2 시점 x2를 뷰포트 영상 합성을 위한 소스 시점으로 결정할 수 있다.
결정된 소스 시점이 공유 시점인 경우, 공유 시점의 참조 추가 시점도 뷰포트 영상 합성을 위한 소스 시점으로 결정할 수 있다.
메타데이터 처리부(230)는 메타데이터를 해석하여, 사용자의 시청 위치에 부합하는 적어도 하나의 기준 시점, 추가 시점 또는 공유 시점 중 적어도 하나를 결정할 수 있다.
소스 시점이 결정되면, 아틀라스 영상으로부터 결정된 소스 시점으로부터 유도된 잔차 데이터를 추출할 수 있다(S1120). 구체적으로, 아틀라스 영상 내 패치들의 소스 시점을 확인한 뒤, 출처가 결정된 소스 시점인 패치들을 아틀라스 영상으로부터 추출할 수 있다.
잔차 데이터가 추출되면, 추출된 잔차 데이터와 기준 시점 영상을 기초로, 뷰포트 영상을 합성할 수 있다(S1130). 구체적으로, 기준 시점 영상 및 잔차 영상을 시청 위치의 좌표계에 맞춰 와핑하고, 와핑된 참조 영상들을 더하여 뷰포트 영상을 생성할 수 있다. 이때, 잔차 데이터(예컨대, 패치)의 위치/크기는 메타데이터에서 파싱될 수 있다.
도 12는 기준 시점 영상과 패치들을 이용하여 뷰포트 영상을 합성하는 예를 나타낸 도면이다.
사용자의 시청 위치 xv에 대응하는 뷰포트 영상 Vv는 기준 시점 영상 Vk, 참조 시점 영상 Vk-1에 대한 잔차 영상 RVk-1 및 추가 시점 영상 Vk-2에 대한 잔차 영상 RVk-2를 합성하여 생성될 수 있다.
먼저, 기준 시점 영상 Vk를 추가 시점 xv의 좌표계에 맞춰 와핑함으로써, 참조 영상 Rk를 생성할 수 있다. 참조 영상 Rk 내 피사체 O3는 깊이에 따라 위치가 결정되어 사상(mapping)된다. 피사체 O2도 시점 xk-2의 좌표계에 맞춰 사상되나, 뷰포트(즉, 시점 xv)에 포함되지 않으므로, 뷰포트 영상 Vv에는 포함되지 않는다.
다음으로, 기준 시점 영상 Vk에서는 보이지 않지만, 시점 xv에서 보이는 영역의 텍스처를 생성해야 한다. 이를 위해, 3차원 기하 관계를 참고하여, 참조 영상 Rk 내 홀(hole)로 남겨진 텍스처를 후방 사상(backward warping)으로 가져오기에 적합한 시점을 결정한다. 도 12에서는, 시점 xk-1 및 시점 xk-2가 후방 사상을 위한 참조 시점으로 결정된 것으로 예시되었다.
메타 데이터로부터 패치에 대한 정보를 추출하고, 추출된 정보를 기초로, 시점 xk-1 및 시점 xk-2로부터 유도된 패치들을 추출한다. 패치들이 추출되면, 추출된 패치들을 시점 vx에 맞춰 와핑한다. 일 예로, 시점 xk-1의 잔차 영상 RVk-1 및 시점 xk-2의 잔차 영상 RVk-2를 시점 xv의 좌표계에 맞춰 와핑하여, 참조 영상 Rk-1 및 참조 영상 Rk-2를 생성한다. 그리고 나서, 참조 영상 Rk-1 및 참조 영상 Rk-2에 포함된 데이터 중 참조 영상 Rk 내 홀로 남겨진 텍스처에 삽입될 데이터를 추출한다.
일 예로, 참조 영상 Rk에서 홀로 남겨진 피사체 O4에 대한 데이터는 참조 영상 Rk-1로부터 추출하고, 홀로 남겨진 피사체 O3의 좌측면에 대한 데이터 및 홀로 남겨진 피사체 O1에 대한 데이터는 참조 영상 Rk-2로부터 추출될 수 있다.
앞서 설명한 예에서와 같이, 추가 시점 영상의 잔차 영상은 기준 시점 영상과의 중복 데이터 및/또는 추가 참조 시점 영상과의 중복 데이터를 제거하여 생성될 수 있다. 이때, 참조 시점 영상간의 중복 데이터는 계층적으로 비교되어 제거될 수 있다.
도 13은 추가 시점 영상간 계층적으로 프루닝이 수행되는 예를 나타낸 도면이다.
도 13에서 V0 및 V1은 기준 시점 영상들을 나타내고, V2 내지 V4는 추가 시점 영상들을 나타낸다.
추가 시점 영상들 간의 우선 순위는 V2, V3 및 V4 순서인 것으로 가정한다.
우선 순위가 낮은 추가 시점 영상의 잔차 데이터는 기준 시점 영상 및 우선 순위가 높은 추가 시점 영상과의 중복 데이터를 제거하여 생성될 수 있다.
일 예로, 우선 순위가 가장 높은 추가 시점 영상 V2에 대한 잔차 데이터는 기준 시점 영상 V0 및 V1과의 중복 데이터를 제거하여 생성될 수 있다. 반면, 우선 순위가 추가 시점 영상 V2보다 낮은 추가 시점 영상 V3에 대한 잔차 데이터는 기준 시점 영상 V0, 기준 시점 영상 V1 및 추가 시점 영상 V2와의 중복 데이터를 제거하여 생성될 수 있다. 우선 순위가 가장 낮은 추가 시점 영상 V4에 대한 잔차 데이터는 기준 시점 영상 V0, 기준 시점 영상 V1, 추가 시점 영상 V2 및 추가 시점 영상 V3와의 중복 데이터를 제거하여 생성될 수 있다.
추가 시점 영상들 간의 프루닝 순서에 따라, 잔차 데이터(예컨대, 패치)의 개수 또는 형태가 상이하게 결정될 수 있다. 특히, 우선 순위가 높은 추가 시점 영상(또는, 프루닝 순위가 빠른 추가 시점 영상)에서는 상대적으로 많은 잔차 데이터가 생성되는 반면, 우선 순위가 낮은 추가 시점 영상(또는, 프루닝 순위가 늦은 추가 시점)에서는 상대적으로 적은 잔차 데이터가 생성될 가능성이 높다.
일 예로, 도 13에 도시된 예에 기초하면, 아틀라스 영상 내 프루닝 순서가 가장 빠른 추가 시점 영상 V2은 기준 시점 영상만을 이용하여 프루닝을 수행하므로 보존되는 잔차 데이터의 양이 많을 가능성이 높다.
반면, 프루닝 순서가 가장 늦은 추가 시점 영상 V4는 기준 시점 영상 뿐만 아니라, 추가 시점 영상 V2 및 V3도 이용하여 프루닝이 수행되므로 보존되는 잔차 데이터의 양이 적을 확률이 높다.
잔차 데이터의 양이 적게 보존될수록, 해당 시점을 이용한 뷰포트 영상 생성시 화질 저하가 발생할 가능성이 높다.
일 예로, 시점 x2를 기초로 뷰포트 영상을 생성하고자 하는 경우, 기준 시점 영상 V0, 기준 시점 영상 V1 및 추가 시점 영상 V2의 잔차 데이터를 합성하여 생성할 수 있다. 반면, 시점 x4를 중심으로 하는 뷰포트 영상을 생성하고자 하는 경우, 기준 시점 영상 V0 및 기준 시점 영상 V1 뿐만 아니라, 추가 시점 영상 V2, 추가 시점 영상 V3 및 추가 시점 영상 V4의 잔차 데이터를 합성하여야 한다. 즉, 시점 x2에서의 뷰포트 영상은 실질적으로 3개의 소스 시점 영상(V0, V1, V2)를 합성하여 생성 가능한 반면, 시점 x4에서의 뷰포트 영상은 실질적으로 5개의 소스 시점 영상(V0, V1, V2, V3, V4)를 생성하여야 하는 바, 시점 x4에서의 뷰포트 영상이 시점 x2에서의 뷰포트 영상보다 화질이 저하될 것을 예상할 수 있다.
위와 같은 특성을 반영하여, 관심 영역의 잔차 데이터가 더 많이 보존되도록 프루닝 순서를 결정할 수 있다.
구체적으로, 사용자는 이머시브 영상의 전체 영역 중 배경보다는 객체가 위치하는 영역을 주로 시청한다. 위와 같은 시청 패턴에 착안하여, 이머시브 영상의 전체 영역 중 사용자의 주요 시청 위치를 관심 영역(Region of Interest, ROI)으로 지정할 수 있다. 관심 영역은 제작자 또는 운영자에 의해 설정될 수 있고, 관심 영역이 설정된 경우, 관심 영역에 대한 정보가 메타데이터로서 부호화될 수 있다.
관심 영역이 설정된 경우, 복수의 카메라들을 관심 영역 카메라 및 비관심 영역 카메라로 구분할 수 있다. 위와 같은 분류에 따라, 소스 시점 영상들도 관심 영역 시점 영상과 비관심 영역 시점 영상들로 구분할 수 있다. 구체적으로, 관심 영역 시점 영상은 관심 영역 카메라를 기초로 촬영된 소스 시점 영상을 나타내고, 비관심 영역 시점 영상은 비관심 영역 카메라를 기초로 촬영된 소스 시점 영상을 나타낼 수 있다.
이하, 관심 영역에 대응하는 시점 영상을 관심 영역 영상이라 호칭하기로 한다. 관심 영역 영상은 기준 시점 영상 및/또는 관심 영역 시점 영상으로부터 추출된 패치들을 합성하여 생성되는 것일 수 있다.
관심 영역 영상의 품질을 향상시키기 위해, 관심 영역 시점 영상에 대한 프루닝 우선 순서를 비관심 영역 시점 영상에 대한 우선 순서보다 높게 설정할 수 있다.
도 14는 관심 영역 시점 영상과 비관심 영역 시점 영상의 프루닝 순서를 예시한 도면이다.
도 14에 도시된 예에서와 같이, 관심 영역 카메라들을 통해 촬영된 추가 시점 영상 V2 및 추가 시점 영상 V3는 비관심 영역 카메라를 통해 촬영된 추가 시점 영상 V4보다 앞서 프루닝이 수행될 수 있다.
복수의 관심 영역 시점 영상들이 존재할 경우, 소스 시점 영상의 중요도, 관심 영역 카메라들간 우선 순위 또는 카메라 인덱스 중 적어도 하나에 기초하여 복수의 관심 영역 시점 영상들 간의 프루닝 순서를 결정할 수 있다.
일 예로, 도 14에 도시된 예에서는, 관심 영역 시점 영상 V2의 프루닝 순서가 관심 영역 시점 영상 V3보다 높은 우선 순위를 갖는 것으로 도시되었다.
복수 추가 시점 영상들의 잔차 데이터(예컨대, 패치)를 패킹하여 아틀라스 영상을 생성할 수 있다. 아틀라스 영상의 총 개수는 카메라 리그의 배치 구조 또는 깊이맵의 정확도 등에 따라 다양하게 결정될 수 있다.
도 15는 복수의 아틀라스 영상들이 생성된 예를 나타낸 것이다.
도 15에서 점선은 아틀라스 영상이 포함하는 패치들이 점유하는 영역을 나타낸다.
복수개의 아틀라스 영상들이 생성된 경우, 이머시브 영상 출력 장치도 복수개의 복호화기를 구비해야 한다. 그러나, 이머시브 영상 출력 장치에 탑재된 복호화기들의 개수가 아틀라스 영상들의 개수보다 작은 경우, 모든 아틀라스 영상들을 복호화할 수 없다.
모든 아틀라스 영상들을 복호화하지 못하는 경우라도, 주요 시점에 대한 시점 영상 합성이 가능하도록, 아틀라스 영상들 간 우선 순위를 설정할 수 있다. 아틀라스 영상 간 우선 순위는 메타데이터로서 부호화될 수 있다.
아틀라스 영상들보다 복호화기의 개수가 적은 경우, 이머시브 영상 출력 장치는 아틀라스 영상들의 우선 순위에 기초하여, 복호화할 아틀라스 영상을 결정할 수 있다. 구체적으로, 우선 순위가 높은 아틀라스 영상을 복호화 대상으로 선택할 수 있다.
도 16은 아틀라스 영상의 우선 순위에 기초하여, 복호화 대상이 되는 아틀라스 영상이 결정되는 예를 나타낸 도면이다.
이머시브 영상 출력 장치가 구비한 복호화기의 개수가 아틀라스 영상들의 개수보다 작은 경우, 이머시브 영상 출력 장치는 아틀라스 영상들간의 우선 순위에 기초하여, 복호화할 아틀라스 영상을 결정할 수 있다. 우선 순위가 높은 것은 복호화 필요도가 높은 것을 의미한다.
일 예로, 아틀라스 영상간 우선 순위에 대한 정보를 파싱하고, 파싱된 정보에 기초하여, 복호화할 아틀라스 영상을 결정할 수 있다.
일 예로, 아틀라스 영상들을 파싱하기 위한 복호화기의 개수가 2개인 경우, 아틀라스 영상들 중 우선 순위가 높은 2개의 아틀라스 영상들을 복호화 대상으로 결정할 수 있다. 도 16에 도시된 예에서는, 제1 복호화기에 우선 순위 0 (atlas_priority = 0)인 아틀라스 영상이 입력되고, 제2 복호화기에 우선 순위 1 (atlas_priority = 1)인 아틀라스 영상이 입력되는 것으로 예시되었다.
아틀라스 영상들 간의 우선 순위는 아틀라스 영상에 포함된 관심 영역 패치들의 개수 또는 아틀라스 영상 내 관심 영역 패치들이 점유하는 영역의 크기 중 적어도 하나를 기초로 결정될 수 있다.
관심 영역 패치는 관심 영역 시점 영상으로부터 유도되는 패치를 가리킨다. 일 예로, 관심 영역 패치들의 개수가 가장 많은 아틀라스 영상에 가장 높은 우선 순위를 할당하고, 관심 영역 패치들의 개수가 가장 적은 아틀라스 영상에 가장 낮은 우선 순위를 할당할 수 있다.
복수개의 관심 영역 시점 영상들이 존재하는 경우, 복수개의 관심 영역 시점 영상들 중 우선 순위(예컨대, 프루닝 순서)가 가장 높은 관심 영역 영상의 잔차 데이터를 가장 많이 포함하는 아틀라스 영상에 가장 높은 우선 순위를 할당할 수도 있다.
표 1은 아틀라스 영상들간 우선 순위를 나타내는 신택스 atlas_priority를 포함하는 아틀라스 파라미터 리스트 atlas_params_list의 구조를 나타낸다.
Figure pat00004
표 1에서 신택스 num_atlases_minus1은 아틀라스 영상들의 개수에서 1츨 차분한 값을 나타낸다. 신택스 num_atlases_minus1이 0보다 큰 경우, 복수의 아틀라스 영상들이 존재함을 나타낸다.
신택스 atlas_id[i]는 i번째 아틀라스 영상의 인덱스를 나타낸다. 아틀라스 영상들 각각에는 상이한 인덱스가 할당될 수 있다.
신택스 atlas_priority[i]는 i번째 아틀라스 영상의 우선 순위를 나타낸다. 구체적으로, 신택스 atlas_priority[i]는 영상 출력 장치가 모든 아틀라스 영상을 디코딩하기에 충분한 능력(capacity)를 갖고 있지 않을 때, 우선시되어야 하는 아틀라스 영상을 나타낸다. 신택스 atlas_priority[i]의 값이 낮을수록 복호화 우선 순위가 높음을 나타낸다. 아틀라스 영상들 각각의 우선 순위는 상이한 값을 가질 수 있다. 또는, 복수개의 아틀라스 영상들의 우선 순위가 같은 값으로 설정될 수 있다.
관심 영역 패치들이 복수의 아틀라스 영상들에 분산 패킹되었으나, 복수의 아틀라스 영상들 중 일부만이 복호화 가능하다면, 복호화되지 않은 아틀라스 영상으로 인해, 관심 영역 영상을 온전히 합성할 수 없는 문제가 발생할 수 있다. 위와 같은 문제를 해소하기 위해, 관심 영역 패치들을 하나의 아틀라스 영상에 패킹할 수 있다.
또는, 아틀라스 영상에 관심 영역 패치들을 패킹한 뒤, 비관심 영역 패치를 패킹할 수 있다. 이때, 관심 영역 패치들을 소정 공간 내 연속적으로 배치할 수 있다. 즉, 관심 영역 패치들이 소정 영역에 군집 형성되도록 설정할 수 있다.
도 17은 아틀라스 영상 내 관심 영역 패치들이 패킹되는 양상을 나타낸 도면이다.
도 17에 도시된 예에서와 같이, 아틀라스 영상 내 소정 영역에 관심 영역 패치들을 연속하여 패킹한 뒤, 아틀라스 영상의 잔여 공간에 비관심 영역의 패치를 패킹할 수 있다.
관심 영역 패치들의 패킹은 타일 단위로 수행될 수 있다. 일 예로, 하나의 타일이 채워질 때까지, 관심 영역 패치들을 상기 타일에 패킹할 수 있다. 상기 타일에 관심 영역 패치를 패킹하기 위한 공간이 더 이상 존재하지 않을 경우, 다음 타일에 관심 영역 패치들을 패킹할 수 있다.
관심 영역 패치들이 패킹된 영역을 식별하기 위한 정보가 메타데이터에 부호화될 수 있다. 일 예로, 관심 영역 패치들이 패킹된 영역의 위치를 나타내는 정보 또는 관심 영역 패치들이 패킹된 영역의 크기를 나타내는 정보 중 적어도 하나가 부호화될 수 있다.
표 2은 아틀라스 영상 내 관심 영역 패치들이 패킹된 영역의 크기를 나타내는 신택스들을 포함하는 아틀라스 파라미터 리스트 atlas_params_list의 구조를 나타낸다.
Figure pat00005
신택스 roi_width_in_atlas[i]는 i번째 아틀라스 영상 내 관심 영역 패치들을 포함하는 영역의 너비를 나타낸다.
신택스 roi_height_in_atlas[i]는 i번째 아틀라스 영상 내 관심 영역 패치들을 포함하는 영역의 높이를 나타낸다.
표 3은 아틀라스 영상 내 관심 영역 패치들이 패킹된 위치를 나타내는 신택스들을 포함하는 아틀라스 파라미터 리스트 atlas_params_list의 구조를 나타낸다.
Figure pat00006
신택스 roi_pos_in_atlas_x[i]는 i번째 아틀라스 영상 내 관심 영역 패치들을 포함하는 영역의 x좌표를 나타낸다.
신택스 roi_pos_in_atlas_y[i]는 i번째 아틀라스 영상 내 관심 영역 패치들을 포함하는 영역의 y좌표를 나타낸다.
여기서, 상기 신택스들이 가리키는 x 좌표 및 y 좌표는, 관심 영역 패치들을 포함하는 영역의 좌측 상단, 우측 상단, 좌측 하단, 우측 하단 또는 중심 좌표 중 적어도 하나일 수 있다.
표 2 및 표 3의 예에서와 달리, 관심 영역 패치들을 포함하는 타일을 식별하기 위한 정보가 시그날링될 수도 있다. 일 예로, 신택스 roi_num_tile_in_atlas[i] 또는 신택스 roi_tile_id_in_atlas[i]가 부호화될 수 있다.
신택스 roi_num_tile_in_atlas[i]는 i번째 아틀라스 영상 내 관심 영역 패치들을 포함하는 타일의 개수를 나타낸다.
신택스 roi_tile_id_in_atlas[i]는 i번째 아틀라스 영상 내 관심 영역 패치를 포함하는 타일의 인ㄷ게스를 나타낸다.
아틀라스 영상의 개수 또는 아틀라스 영상에 대한 비트레이트를 감소시키기 위해, 패치를 다운 샘플링하고, 다운샘플링된 패치를 패킹하여 아틀라스 영상을 생성할 수 있다. 다운샘플링된 패치를 이용함으로써, 패치 자체의 데이터량을 줄이고, 아틀라스 영상 내 패치가 점유하는 공간을 줄일 수 있다.
이머시브 영상 출력 장치에서는, 뷰포트 영상을 재현하기 위해 아틀라스 영상으로부터 추출된 패치를 업샘플링할 수 있다. 패치의 업샘플링을 위한 정보는 부호화되어 메타데이터로 전송될 수 있다.
표 4는 패치의 축소 비율을 나타내는 신택스들을 포함하는 아틀라스 파라미터 atlas_params의 구조를 나타낸다.
Figure pat00007
표 4에서, 신택스 num_patches_minu1[a]는 인덱스가 a인 아틀라스 영상에 포함된 패치들의 개수에서 1을 차분한 값을 나타낸다.
신택스 view_id[a][i]는 아틀라스 영상 내 i번째 패치의 소스 시점을 특정한다. 일 예로, view_id[a][i]가 0인 것은, i번째 패치는 소스 시점 영상 V0의 잔차 데이터임을 의미한다.
신택스 patch_width_in_view[a][i]는 소스 시점 영상 내 i번째 패치의 너비를 나타낸다. 신택스 patch_height_in_view[a][i]는 소스 시점 영상 내 i번째 패치의 높이를 나타낸다. 패치의 크기는 루마 샘플을 기준으로 결정될 수 있다.
신택스 patch_width_in_atlas[a][i]는 아틀라스 영상 내 i번째 패치의 너비를 나타낸다. 신택스 patch_height_in_atlas[a][i]는 아틀라스 영상 내 i번째 패치의 높이를 나타낸다. 패치의 크기는 루마 샘플을 기준으로 결정될 수 있다.
신택스 pos_in_view_x[a][i]는 소스 시점 영상 내 i번째 패치의 x좌표를 나타내고, 신택스 pos_in_view_y[a][i]는 소스 시점 영상 내 i번째 패치의 y좌표를 나타낸다.
신택스 pos_in_atlas_x[a][i]는 아틀라스 영상 내 i번째 패치의 x좌표를 나타내고, 신택스 pos_in_atlas_y[a][i]는 아틀라스 영상 내 i번째 패치의 y좌표를 나타낸다.
신택스 patch_rotation[a][i]는 i번째 패치의 패킹시, i번째 패치가 회전 또는 미러링되었는지 여부를 나타낸다.
패치의 스케일 팩터는 소스 시점 영상 내 패치의 크기와 아틀라스 영상 내 패치의 크기를 비교하여 유도될 수 있다. 스케일 팩터는 확대/축소 비율을 나타내는 것일 수 있다.
일 예로, 패킹시 패치가 회전되지 않았다고 가정할 경우, 신택스 patch_width_in_view[a][i] 및 patch_width_in_atlas[a][i]를 비교하여 수평 방향의 스케일 팩터를 유도하고, patch_height_in_view[a][i] 및 patch_height_in_atlas[a][i]를 비교하여 수직 방향의 스케일 팩터를 유도할 수 있다. 일 예로, patch_width_in_view[a][i]의 값이 400픽셀이고, patch_width_in_atlas[a][i]의 값이 200픽셀인 경우, i번째 패치의 패킹시 너비가 1/2 만큼 축소되었음을 의미하므로, 수평 방향에 대한 스케일 팩터는 1/2로 설정될 수 있다. 이에 따라, 이머시브 영상 처리 장치는 뷰포트 영상 합성시 패치의 너비를 2배만큼 확대하는 업샘플링을 수행할 수 있다.
패치가 시계 또는 반시계 방향으로 90도 회전된 경우, patch_width_in_view[a][i] 및 patch_height_in_atlas[a][i]를 비교하여, 수평 방향에 대한 스케일 팩터를 유도하고, patch_height_in_view[a][i] 및 patch_height_in_atlas[a][i]를 비교하여 수직 방향에 대한 스케일 팩터를 유도할 수 있다.
다른 예로, 소스 시점 영상 내 패치의 크기와 아틀라스 영상 내 패치의 크기 간의 비율을 나타내는 신택스를 부호화할 수도 있다. 일 예로, 표 5는 소스 시점 영상 내 패치의 크기와 아틀라스 영상 내 패치의 크기 사이의 비율을 나타내는 신택스들을 포함하는 아틀라스 파라미터 atlas_params의 구조를 나타낸다.
Figure pat00008
표 5에서, 신택스 patch_width_scale_factor_in_atlas_x[a][i]는 i번째 패치에 대한 수평 방향의 스케일 팩터를 유도하기 위한 신택스를 나타낸다. 신택스 patch_width_scale_factor_in_atlas_y[a][i]는 i번째 패치에 대한 수직 방향의 스케일 팩터를 유도하기 위한 신택스를 나타낸다.
아틀라스 영상 내 i번째 패치의 너비는 소스 시점 영상 내 i번째 패치의 너비에 수평 방향의 스케일 팩터 및 수직 방향의 스케일 팩터를 곱하여 유도되고, 아틀라스 영상 내 i번째 패치의 높이는 소스 시점 영상 내 i번째 패치의 높이에 수평 방향의 스케일 팩터 및 수직 방향의 스케일 팩터를 곱하여 유도될 수 있다.
표 5에서는 수평 방향의 스케일 팩터 및 수직 방향의 스케일 팩터가 각기 시그날링되는 것으로 예시되었으나, 수평 방향 및 수직 방향에 공통 적용되는 단일의 스케일 팩터를 시그날링할 수도 있다. 일 예로, 수평 방향 및 수직 방향의 스케일 팩터를 나타내는 신택스 patch_size_scale_factor_in_atlas[a][i]가 부호화될 수 있다.
표 5에서는 소스 시점 영상 내 i번째 패치의 크기를 나타내는 신택스들과 스케일 팩터를 결정하기 위한 신택스가 부호화되는 것으로 예시되었다. 다른 예로, 아틀라스 영상 내 i번째 패치의 크기를 나타내는 신택스들과 스케일 팩터를 결정하기 위한 신택스를 부호화할 수도 있다. 이 경우, 아틀라스 영상 내 i번째 패치의 너비/높이에 스케일 팩터를 곱하여 소스 영상 내 i번째 패치의 너비/높이가 유도될 수 있다.
패치들을 복수의 패치 그룹들로 나눈 뒤, 동일한 패치 그룹에 포함된 패치들은 동일한 비율로 다운샘플링되도록 설정할 수 있다. 패치 그룹별 스케일 팩터를 결정하고, 패치가 속한 패치 그룹을 특정하여, 패치의 스케일 팩터를 결정할 수 있다.
표 6은 패치가 속한 패치 그룹을 식별하기 위한 신택스를 포함하는 아틀라스 파라미터 atlas_params의 구조를 나타낸다.
Figure pat00009
표 6에서, 신택스 patch_scaling_group_id[a][i]는 i번째 패치를 포함하는 패치 그룹의 인덱스를 나타낸다. patch_scaling_group_id[a][i]가 가리키는 패치 그룹의 스케일링 팩터가 i번째 패치의 스케일링 팩터로 결정될 수 있다.
일 예로, 패치 그룹 0에 포함된 패치들은 다운샘플링 없이 패킹되었고, 패치그룹 1에 포함된 패치들은 너비는 1/2, 높이는 1/3만큼 축소된 것으로 가정한다. 신택스 patch_scaling_group_id[a][i]가 0인 경우, i번째 패치에 대해 업샘플링을 수행하지 않을 수 있다. 반면, patch_scaling_group_id[a][i]가 1인 경우, i번째 패치에 대해, i번째 패치를 수평 방향으로 2배 및 수직 방향으로 3배 확대하는 업샘플링을 수행할 수 있다.
패치가 관심 영역 패치인지 여부를 기초로, 패치 패킹시 패치를 다운 샘플링할 것인지 여부를 결정할 수 있다. 일 예로, 관심 영역 패치는 원본 크기 그대로 아틀라스 영상에 패킹될 수 있다. 반면, 비관심 영역 패치에 대해서는 다운 샘플링을 수행하여, 원본 크기보다 작은 패치를 아틀라스 영상에 패킹할 수 있다.
또는, 패치가 관심 영역 패치인지 여부를 기초로, 다운 샘플링 레이트를 결정할 수 있다. 관심 영역 패치에 대해서는 너비 및/또는 높이를 제1 스케일 팩터 만큼 축소하는 반면, 비관심 영역 패치에 대해서는 너비 및/또는 높이를 제2 스케일 팩터만큼 축소할 수 있다. 여기서, 제1 스케일 팩터는 제2 스케일 팩터보다 큰 실수일 수 있다.
패치가 관심 영역 패치인지 여부를 나타내는 메타데이터가 부호화되어 전송할 수 있다. 일 예로, 표 7은 패치가 관심 영역 패치인지 여부를 나타내는 신택스를 포함하는 아틀라스 파라미터 atlas_params의 구조를 나타낸다.
Figure pat00010
표 7에서, 신택스 roi_patch_flag[a][i]는 i번째 패치가 관심 영역 패치인지 여부를 나타낸다. 일 예로, 신택스 roi_patch_flag[a][i]의 값이 1인 것은 i번째 패치가 관심 영역 패치임을 나타낸다. 신택스 roi_patch_flag[a][i]의 값이 0인 것은 i번째 패치가 비관심 영역 패치임을 나타낸다.
아틀라스 영상이 관심 영역 패치를 포함하는지 여부를 나타내는 신택스가 부호화될 수도 있다. 일 예로, 아틀라스 파라미터 리스트 atlas_params_list를 통해 i번째 아틀라스 영상이 관심 영역 패치를 포함하는지 여부를 나타내는 신택스 roi_patch_present_flag[i]가 부호화될 수 있다.
아틀라스 영상이 관심 영역 패치를 포함하는지 여부에 기초하여 아틀라스 영상들 간의 우선 순위를 결정할 수 있다. 일 예로, 관심 영역 패치를 포함하는 아틀라스 영상은 관심 영역 패치를 포함하지 않는 아틀라스 영상보다 높은 복호화 우선 순위를 가질 수 있다.
아틀라스 영상은 타 영상과 동일한 크기를 가질 수 있다. 또는, 타 영상과 아틀라스 영상의 크기를 상이하게 설정할 수 있다. 여기서, 타 영상은 아틀라스 영상과 함께 부호화되는 영상으로 소스 시점 영상 또는 기준 시점 영상을 의미할 수 있다.
또는, 아틀라스 텍스처 영상 및 아틀라스 뎁스 영상의 크기를 상이하게 설정할 수도 있다. 이 경우, 아틀라스 뎁스 영상에 대한 타 영상은 아틀라스 뎁스 영상을 의미할 수 있다.
아틀라스 영상에 대한 스케일링을 수행하여, 크기가 축소된 아틀라스 영상을 부호화/복호화할 수 있다. 일 예로, 아틀라스 텍스처 영상 또는 아틀라스 뎁스 영상 중 적어도 하나에 스케일링을 적용하여, 크기가 축소된 아틀라스 텍스처 영상 또는 크기가 축소된 아틀라스 뎁스 영상을 부호화/복호화할 수 있다.
아틀라스 영상의 크기가 축소된 경우, 아틀라스 영상에 포함된 패치들도 아틀라스 영상이 축소된 만큼 축소된다. 이에 따라, 아틀라스 영상에 포함된 패치들을 이용하여 시점 영상을 합성하기 위해서는, 아틀라스 영상 또는 패치들을 아틀라스 영상이 축소된 만큼 확대해야 한다.
이를 위해, 아틀라스 영상의 스케일링 관련 정보가 메타데이터로서 부호화될 수 있다.
일 예로, 시퀀스 파라미터 세트(Sequence Parameter Set, SPS) 또는 픽처 파라미터 세트(Picture Parameter Set, PPS)와 같은 하이레벨 신택스 내 아틀라스 영상의 스케일 관련 정보를 부호화할 수 있다.
아틀라스 영상의 스케일 관련 정보는, 아틀라스 영상이 스케일되었는지 여부를 나타낸 정보 또는 아틀라스 영상의 크기에 관한 정보 중 적어도 하나를 포함할 수 있다.
일 예로, 아틀라스 파라미터 리스트 atlas_params_list에 아틀라스 영상의 스케일링 관련 정보를 부호화하거나, 아틀라스 파라미터 atlas_params에 아틀라스 영상의 스케일링 관련 정보를 부호화할 수 있다.
표 8은 아틀라스 영상의 스케일링 관련 정보를 포함하는 아틀라스 파라미터 리스트 atlas_params_list의 구조를 나타낸다.
Figure pat00011
표 8에서, 신택스 atlas_scale_flag는 아틀라스 영상에 대해 스케일링이 수행되었는지 여부를 나타낸다. 여기서, 아틀라스 영상은 아틀라스 텍스처 영상 또는 아틀라스 뎁스 영상 중 적어도 하나를 나타낼 수 있다.
신택스 atlas_scale_flag가 1인 것은 아틀라스 영상이 축소되어 부호화되었음 또는 아틀라스 영상에 대한 스케일링이 허용되었음을 나타낸다. 신택스 atlas_scale_flag가 1인 경우, 아틀라스 영상과 타 영상은 상이한 크기를 가질 수 있다.
신택스 atlas_scale_flag가 1인 경우, 아틀라스 영상의 크기를 나타내는 정보가 부호화될 수 있다. 일 예로, 신택스 atlas_width는 아틀라스 영상의 너비를 나타내고, 신택스 atlas_height는 아틀라스 영상의 높이를 나타낸다.
표 9는 아틀라스 영상의 스케일링 관련 정보를 포함하는 아틀라스 파라미터 atlas_params의 구조를 나타낸다.
Figure pat00012
표 9에서, 신택스 depth_atlas_scale_flag는 아틀라스 영상이 스케일링되었는지 여부를 나타낸다. 일 예로, depth_atlas_scale_flag는 깊이 정보를 포함하는 아틀라스 영상(예컨대, 아틀라스 뎁스 영상)이 스케일링 되었는지 여부를 나타낸다.
아틀라스 영상이 스케일링된 경우, 스케일링된 아틀라스 영상의 너비 및 높이를 나타내는 정보가 시그날링될 수 있다. 일 예로, 신택스 atlas_width[a]는 인덱스가 a인 아틀라스 영상의 너비를 나타내고, 신택스 atlas_height[a]는 인덱스가 a인 아틀라스 영상의 높이를 나타낸다. 여기서, 신택스 atlas_width[a] 및 신택스 atlas_height[a]는 스케일링된 아틀라스 영상 타입에 따라, 아틀라스 텍스처 영상 또는 아틀라스 뎁스 영상의 크기를 나타내는 것일 수 있다.
아틀라스 영상은 텍스처 영상 및/또는 뎁스 영상을 포함할 수 있다. 이때, 스케일링은 아틀라스 뎁스 영상에만 허용될 수 있다.
또는, 아틀라스 텍스처 영상 및 아틀라스 뎁스 영상 모두에 스케일링을 적용하거나 아틀라스 텍스처 영상 또는 아틀라스 뎁스 영상 중 어느 하나에 대해서만 스케일링을 적용할 수도 있다.
아틀라스 텍스처 영상 및 아틀라스 뎁스 영상 각각에 대해 스케일링이 수행되었는지 여부를 나타내는 정보가 비트스트림을 통해 시그날링될 수도 있다. 일 예로, 아틀라스 뎁스 영상의 스케일 여부를 나타내는 depth_atlas_scale_flag 및 아틀라스 텍스처 영상의 스케일 여부를 나타내는 texture_atlas_scale_flag가 각각 시그날링될 수 있다.
아틀라스 텍스처 영상과 아틀라스 뎁스 영상 간의 스케일 비율을 상이하게 설정할 수 있다. 이 경우, 아틀라스 텍스처 영상의 크기를 나타내는 정보 및 아틀라스 뎁스 영상의 크기를 나타내는 정보가 각각 시그날링될 수 있다.
아틀라스 영상의 크기와 타 영상의 크기를 비교하여, 아틀라스 영상에 대한 스케일 팩터를 유도할 수 있다. 구체적으로, 타 영상의 너비와 아틀라스 영상의 너비를 비교하여 수평 방향에 대한 스케일 팩터를 유도하고, 타 영상의 높이와 아틀라스 영상의 높이를 비교하여 수직 방향에 대한 스케일 팩터를 유도할 수 있다.
스케일 팩터가 유도되면, 유도된 스케일 팩터를 기초로 아틀라스 영상 또는 아틀라스 영상으로부터 추출된 패치을 원본 크기로 복원할 수 있다.
다른 예로, 아틀라스 영상의 스케일 팩터를 나타내는 정보가 시그날링될 수 있다. 일 예로, 신택스 atlas_width_scale_factor_x[a]는 인덱스가 a인 아틀라스 영상의 수평 방향의 스케일 팩터를 나타낸다. 신택스 atlas_width-scale_factor_y[a]는 인덱스가 a인 아틀라스 영상의 수직 방향의 스케일 팩터를 나타낸다.
복수개의 아틀라스 영상들이 부호화된 경우, 복수개의 아틀라스 영상들 모두가 동일한 크기로 스케일될 수 있다. 이에 따라, 복수개의 아틀라스 영상들은 신택스 atlas_width 및 신택스 atlas_height에 의해 특정된 크기를 가질 수 있다.
또는, 복수개의 아틀라스 영상들 각각의 스케일 비율이 상이할 수 있다. 이에 따라, 아틀라스 영상들 각각에, 아틀라스 영상의 크기를 나타내는 정보가 시그날링될 수 있다. 일 예로, 신택스 atlas_width[i] 및 신택스 atlas_height[i]가 시그날링될 수 있다. 상기 신택스들은 i번째 아틀라스 영상의 너비 및 높이를 나타낸다.
상위 레벨에서 아틀라스 영상에 대한 스케일링이 허용되는지 여부를 나타내는 플래그를 시그날링하고, 하위 레벨에서 아틀라스 영상의 크기를 나타내는 정보를 시그날링할 수도 있다.
일 예로, 아틀라스 파라미터 리스트 atlas_params_list를 통해 아틀라스 영상의 크기가 타 영상과 상이한 크기일 수 있는지 여부를 나타내는 신택스 atlas_scale_ flag가 비트스트림을 통해 시그날링될 수 있다. 신택스 atlas_scale_ flag가 0인 것은 아틀라스 영상이 타 영상과 동일한 크기를 가짐을 나타낸다. 신택스 atlas_scale_ flag가 1인 것은 아틀라스 영상이 타 영상과 상이한 크기를 가질 수 있음을 나타낸다.
i번째 아틀라스 영상에 대한 파라미터들을 포함하는 아틀라스 파라미터 atlas_params를 통해 i번째 아틀라스 영상의 크기를 나타내는 신택스 atlas_width[i] 및 신택스 atlas_height[i]가 시그날링될 수 있다. 이때, 신택스 atlas_width[i] 및 신택스 atlas_height[i]를 파싱할 것인지 여부는 상위 레벨(즉, 아틀라스 파라미터 리스트 atlas params_list)를 통해 시그날링되는 신택스 atlas_scale_flag의 값에 의해 결정될 수 있다. 일 에로, 신택스 atlas_scale_flag가 1인 경우, 신택스 atlas_width[i] 및 신택스 atlas_height[i]가 파싱될 수 있다.
신택스 atlas_width 및 신택스 atlas_height가 부호화되지 않은 경우, 아틀라스 영상의 크기는 타 영상와 동일한 것으로 간주될 수 있다.
또는, 영상 시퀀스 파라미터들을 포함하는 파라미터 세트를 통해 아틀라스 영상에 대한 스케일링이 허용되는지 여부를 나타내는 신택스 scale_enabled_flag를 시그날링하고, 아틀라스 파라미터 리스트 atlas_params_list를 통해 아틀라스 영상의 크기를 나타내는 신택스 atlas_width 및 신택스 atlas_height를 부호화할 수도 있다.
복수개의 아틀라스 영상들이 존재하는 경우, 아틀라스 파라미터 리스트를 통해 시그날링되는 신택스 atlas_width 및 신택스 atlas_height는 복수 아틀라스 영상들의 크기를 나타낼 수 있다.
서로 다른 위치의 카메라들을 통해 X축 또는 Y축 방향에 대해 편차가 존재하는 소스 시점 영상들을 획득할 수 있다. 카메라들 사이의 시차를 통해 2D 영상인 소스 시점 영상들로부터 깊이 정보를 유추할 수 있다. 이에 따라, 2D 영상인 소스 시점 영상들로부터 3D 공간 정보를 복원 및 3D 공간 내 영상을 재현할 수 있다. 기준 시점 영상 및 아틀라스 영상을 기초로 3D 공간 상의 영상을 재현하기 위해서는, 각 소스 시점 영상을 촬영하는데 이용된 카메라의 위치 정보를 제공하여야 할 필요가 있다. 이에 따라, 각 카메라의 위치 정보를 부호화하여 메타데이터로 전송할 수 있다.
이때, 카메라들 사이에 x축 및/또는 y축 방향에 대한 거리 차이가 없다면, 복수의 카메라들 중 하나에 대해서만 x축 및/또는 y축 방향의 위치 정보를 부호화할 수 있다. 일 예로, 1D 어레이 형태로 배열된 카메라들(예컨대, 1x5 구조의 카메라들) 또는 2D 어레이 형태로 배열된 카메라들(예컨대, 4x4 구조의 카메라들)은 동일한 직선 또는 평면상에 위치하는 바, 카메라들간 x축 또는 y축 방향에 대한 거리 차이가 발생하지 않을 수 있다. 카메라들간 x축 또는 y축 방향에 대한 거리 차이가 발생하지 않는 경우, 카메라들의 x축 또는 y축 위치를 나타내는 정보의 부호화를 생략할 수 있다.
표 10은 카메라 위치를 결정하기 위한 신택스들을 포함하는 카메라 파라미터 리스트 camera_params_list 구조를 나타낸 것이다.
Figure pat00013
표 10에서, 신택스 num_cameras_minus1은 카메라들의 개수에서 1을 차분한 값을 나타낸다.
신택스 cam_id[i]는 i번째 카메라의 인덱스를 나타낸다. 신택스 cam_id[i]와 소스 시점의 인덱스를 나타내는 신택스 view_id[i] (표 4 내지 7 참조)와 연동될 수 있다. 즉, view_id[i]의 값이 n인 것은, cam_id[i]가 n인 카메라를 통해 촬영된 소스 시점 영상으로부터 패치가 생성되었음을 나타낼 수 있다.
신택스 cam_pos_x_present_flag는 카메라들간 x축 방향(예컨대, 전후 방향)에 대한 거리 차이가 존재하는지 여부를 나타낸다. 신택스 cam_pos_x_present_flag가 0인 것은 카메라들간 x축 방향에 대한 거리 차이가 존재하지 않음을 나타낸다. 이 경우, 카메라의 x축 위치를 나타내는 신택스 cam_pos_x[i]의 부호화를 생략할 수 있다. 신택스 cam_pos_x_present_flag가 1인 것은 카메라들 중 적어도 하나의 x축 위치가 상이함을 나타낸다. 신택스 cam_pos_x_present_flag가 1인 경우, 각 카메라 별로 x축 위치를 나타내는 신택스 cam_pos_x[i]를 부호화할 수 있다.
신택스 cam_pos_y_present_flag는 카메라들간 y축 방향(예컨대, 상하 방향)에 대한 거리 차이가 존재하는지 여부를 나타낸다. 신택스 cam_pos_y_present_flag가 0인 것은 카메라들간 y축 방향에 대한 거리 차이가 존재하지 않음을 나타낸다. 이 경우, 카메라의 y축 위치를 나타내는 신택스 cam_pos_y[i]의 부호화를 생략할 수 있다. 신택스 cam_pos_y_present_flag가 1인 것은 카메라들 중 적어도 하나의 y축 위치가 상이함을 나타낸다. 신택스 cam_pos_y_present_flag가 1인 경우, 각 카메라 별로 y축 위치를 나타내는 신택스 cam_pos_y[i]를 부호화할 수 있다.
신택스 intrinsic_params_equal_flag는 카메라들의 내부 파라미터가 동일한지 여부를 나타낸다. 신택스 intrinsic_params_equal_flag가 1인 경우, 첫번째 카메라에 대해서만, 내부 파라미터를 시그날링할 수 있다. 잔여 카메라들의 내부 파라미터는 첫번째 카메라와 동일하게 설정될 수 있다. 신택스 intrinsic_params_equal_flag가 0인 경우, 카메라 각각에 대해서 내부 파라미터를 시그날링할 수 있다.
상술한 실시예에서는, 복수의 소스 시점 영상들 중 적어도 하나가 기준 시점 영상으로 설정되는 것으로 예시하였다. 다른 예로, 복수의 소스 시점 영상들을 기초로, 특정 시점의 시점 영상을 합성하고, 합성된 시점 영상을 기준 시점 영상으로 설정할 수 있다.
일 예로, 복수의 소스 시점 영상들을 기초로, 중심 시점(Central View)의 영상을 합성하고, 합성된 중심 시점 영상을 기준 시점 영상으로 설정할 수 있다. 여기서, 중심 시점은 구의 중심을 나타내고, 중심 시점 영상은 중심 시점을 기준으로 하는 완전한(Full) ERP (Equi-Rectangular Projection) 형태의 영상일 수 있다. 복수의 소스 시점 영상들을 구의 중심 시점으로 와핑한 뒤, 와핑된 영상들을 병합하여 중심 시점 영상을 생성할 수 있다. 중심 시점 영상은 텍스처 영상 및/또는 뎁스 영상을 포함할 수 있다.
도 18은 중심 시점 영상을 생성하는 예를 나타낸 도면이다.
도 18에 도시된 예에서와 같은, Semi-ERP 형태의 이머시브 영상에서, 각 카메라를 통해 촬영된 소스 시점 영상은 이머시브 영상의 일부를 구성하는 부분적인(Partial) ERP 형태의 영상일 수 있다.
이때, 소스 시점 영상들을 병합하여, 센트럴 시점 영상을 생성할 수 있다. 일 예로, 도 18에 도시된 예에서, 소스 시점 영상들 V1 내지 V6를 구의 중심 시점으로 투사 및/또는 와핑한 뒤, 투사 및/또는 와핑된 소스 시점 영상들을 병합하여, 중심 시점 영상을 생성할 수 있다.
중심 시점 영상은 부분 ERP들을 병합하여 생성된 완전한(Full) ERP 형태의 영상일 수 있다.
중심 시점 영상을 기준 시점 영상으로 설정하고, 기준 시점 영상과 추가 시점 영상들간의 프루닝을 수행할 수 있다. 구체적으로, 합성된 중심 시점 영상과 추가 시점 영상의 중복 데이터를 제거함으로써, 소스 시점 영상의 잔차 영상을 제거할 수 있다.
프루닝 횟수는 추가 시점 영상들의 개수 이상일 수 있다. 다만, 프루닝 횟수가 증가할 수록, 이머시브 영상 처리 장치에서의 데이터 처리량이 증가하는 바, 위 문제점을 해소하기 위해, 본 발명에서는 프루닝 횟수를 방법을 제안하고자 한다. 구체적으로, 복수의 추가 시점 영상들을 합성하고, 합성된 추가 시점 영상을 이용하여 프루닝을 수행함으로써, 프루닝 횟수를 감소시킬 수 있다.
도 19은 본 발명에 따른 추가 시점 영상들을 합성하는 방법을 나타낸 도면이다.
프루닝 횟수를 줄이기 위해, 복수의 소스 시점 영상들을 병합할 수 있다. 구체적으로, 둘 이상의 부분적인 ERP 형태의 영상들을 병합하거나, 시점이 대칭인 추가 시점 영상들을 병합하여 생성된 완전한 ERP 형태의 추가 시점 영상을 획득할 수 있다. 병합되는 추가 시점 영상은 텍스처 영상 및/또는 뎁스 영상을 포함할 수 있다.
일 예로, 도 19에 도시된 예에서, 상호 대칭인 카메라들을 통해 촬영된 소스 시점 영상들을 병합하여, 완전한 ERP 형태의 추가 시점 영상을 생성할 수 있다. 일 예로, 상호 대칭인 소스 시점 영상들 V3 및 V6를 병합하여, 추가 시점 영상 E1을 생성하고, 상호 대칭인 소스 시점 영상들 V1 및 V4를 병합하여, 추가 시점 영상 E2를 생성하고, 상호 대칭인 소스 시점 영상들 V2 및 V5를 병합하여, 추가 시점 영상 E3를 생성할 수 있다.
중앙 시점 영상과 병합된 추가 시점 영상들간 프루닝을 수행하여, 병합된 추가 시점 영상들에 대한 잔차 데이터를 생성할 수 있다. 소스 시점 영상들 대신 병합된 추가 시점 영상들을 이용하여 프루닝을 수행함으로써, 프루닝 수행을 위해 입력되는 영상의 개수를 감소시킬 수 있다.
중앙 시점 영상을 병합된 추가 시점 영상의 위치로 투사 및/또는 와핑하여, 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다. 일 예로, 중앙 시점 영상과 병합된 추가 시점 영상 E1의 중복 데이터를 제거하여, 추가 시점 영상 E1에 대한 잔차 영상 RV1를 생성하고, 중앙 시점 영상과 병합된 추가 시점 영상 E2의 중복 데이터를 제거하여, 추가 시점 영상 E2에 대한 잔차 영상 RV2를 생성하고, 중앙 시점 영상과 병합된 추가 시점 영상 E3의 중복 데이터를 제거하여 추가 시점 영상 E3에 대한 잔차 영상 RV3를 생성할 수 있다. 잔차 영상은 텍스처 영상에 대한 잔차 영상 및 뎁스 영상에 대한 잔차 영상을 포함할 수 있다.
잔차 영상들이 생성되면, 생성된 잔차 영상들을 중심 시점을 기초로 합성하여, 중심 시점 잔차 영상을 생성할 수 있다. 중심 시점 잔차 영상을 생성함으로써, 잔차 영상들 간 중복 데이터를 제거할 수 있다.
도 20은 중심 시점 잔차 영상을 생성하는 예를 나타낸 도면이다.
도 20에 도시된 예에서, 잔차 영상 RV1, 잔차 영상 RV2 및 잔차 영상 RV3를 구의 중심을 기준으로 투사 및/또는 와핑할 수 있다. 투사 및/또는 와핑된 잔차 영상들을 병합하여 중심 시점 잔차 영상을 생성할 수 있다.
중심 시점 잔차 영상을 병합된 추가 시점 영상 EN의 위치로 투사 및/또는 와핑할 수 있다. 투사 및/또는 와핑된 중심 시점 잔차 영상과 병합된 추가 시점 영상 EN의 잔차 영상 RVN을 기초로 제2 잔차 영상 RV'N을 생성할 수 있다.
제2 잔차 영상은 투사 및/또는 와핑된 중심 시점 잔차 영상에 병합된 추가 시점 영상의 잔차 영상을 마스킹하거나, 투사 및/또는 와핑된 중심 시점 잔차 영상에 병합된 추가 시점 영상의 잔차 영상을 차분함으로써 생성될 수 있다.
일 예로, 투사 및/또는 와핑된 중심 시점 잔차 영상과 병합된 추가 시점 영상 E1의 잔차 영상 RV1을 기초로, 병합된 추가 시점 영상 E1에 대한 제2 잔차 영상 RV'1을 생성할 수 있다.
제2 잔차 영상이 생성되면, 제2 잔차 영상의 잔차 데이터를 패킹하여 아틀라스 영상을 생성할 수 있다. 구체적으로, 제2 잔차 영상 내 잔차 데이터를 사각 형태의 패치로 가공하고, 패치를 하나의 영상에 패킹하여 아틀라스 영상을 생성할 수 있다.
각각의 잔차 영상들 대신 중심 시점 잔차 영상을 기초로 아틀라스 영상을 생성함으로써, 잔차 영상들 간 중복 데이터를 효과적으로 제거할 수 있다.
이때, 영상 프레임내 관심 영역이 지정된 경우, 잔차 데이터가 관심 영역에 포함되었는지 여부를 고려하여, 패킹을 수행할 수 있다. 구체적으로, 관심 영역 패치들은 아틀라스 영역 내 제1 영역에 패킹하고, 비관심 영역 패치들은 아틀라스 영역 내 제2 영역에 패킹할 수 있다. 즉, 관심 영역 패치들과 비관심 영역 패치들이 패킹되는 영역을 분리할 수 있다.
관심 영역은 영상 프레임 내 영역 기반 분할을 통해 관심 영역의 위치가 결정될 수 있다. 관심 영역 지정시, 데이터 송수신시 관심 영역의 데이터로 우선 송부하는 것이 가능하다. 일 예로, 네트워크 또는 단말의 특징에 따라 관심 영역을 우선 송부할 것인지 여부를 결정할 수 있다.
관심 영역 패치들 및 비관심 영역 패치들이 상이한 영역에 패킹된 경우, 패킹에 대한 정보가 메타데이터로 부호화될 수 있다. 일 예로, 상기 메타데이터는, 관심 영역 패치들이 분리된 영역에 패킹되었는지 여부, 아틀라스 영역 내 영역의 타입에 대한 정보(예컨대, 관심 영역 패치들이 패킹된 영역인지 또는 비관심 영역 패치들이 패킹된 영역인지 여부), 관심 영역의 위치 정보(예컨대, 관심 영역의 식별자 또는 위치), 관심 영역의 개수/크기에 대한 정보, 관심 영역/비관심 영역에 대한 우선 순위 정보 또는 패킹 순서에 대한 정보 중 적어도 하나를 포함할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (14)

  1. 복수의 소스 시점 영상들을 기준 시점 영상 및 추가 시점 영상으로 분류하는 단계;
    상기 추가 시점 영상에 대한 잔차 데이터를 생성하는 단계;
    상기 잔차 데이터를 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계; 및
    상기 패치에 대한 메타 데이터를 생성하는 단계를 포함하되,
    상기 메타 데이터는 상기 패치의 출처인 소스 시점을 식별하기 위한 정보 및 소스 시점 영상 또는 상기 아틀라스 영상 내 상기 패치의 위치를 나타내는 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 처리 방법.
  2. 제1 항에 있어서,
    상기 메타 데이터는 상기 패치가 관심 영역 패치인지 여부를 나타내는 플래그를 더 포함하는, 이머시브 영상 처리 방법.
  3. 제1 항에 있어서,
    상기 메타 데이터는 상기 복수의 소스 시점 영상들을 촬영한 카메라들의 인덱스 정보를 포함하고,
    상기 카메라들 각각에는 상이한 인덱스가 할당되는 것을 특징으로 하는, 이머시브 영상 처리 방법.
  4. 제1 항에 있어서,
    복수개의 아틀라스 영상들이 생성된 경우,
    상기 메타 데이터는 상기 아틀라스 영상의 우선 순위 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 처리 방법.
  5. 제1 항에 있어서,
    상기 메타 데이터는 상기 아틀라스 영상 내 관심 영역 패치들이 패킹된 위치를 나타내는 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 처리 방법.
  6. 제1 항에 있어서,
    상기 메타 데이터는 상기 아틀라스 영상이 스케일링되었는지 여부를 나타내는 플래그 또는 상기 아틀라스 영상의 크기를 나타내는 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는, 이머시브 영상 처리 방법.
  7. 제6 항에 있어서,
    복수개의 아틀라스 영상들이 부호화되는 경우, 상기 아틀라스 영상들 각각에 대해 상기 플래그가 부호화되는 것을 특징으로 하는, 이머시브 영상 처리 방법.
  8. 비트스트림으로부터 영상 데이터 및 메타 데이터를 파싱하는 단계;
    상기 영상 데이터를 복호화하여 단계; 및
    상기 영상 데이터를 복호화하여 생성된 아틀라스 영상 및 기준 시점 영상을 기초로, 뷰포트 영상을 합성하는 단계를 포함하되,
    상기 메타 데이터는 상기 아틀라스 영상에 포함된 패치의 출처 시점을 식별하기 위한 정보 및 출처 시점 영상 또는 상기 아틀라스 영상 내 상기 패치의 위치를 나타내는 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 합성 방법.
  9. 제8 항에 있어서,
    상기 메타 데이터는 상기 패치가 관심 영역 패치인지 여부를 나타내는 플래그를 더 포함하는, 이머시브 영상 합성 방법.
  10. 제8 항에 있어서,
    상기 메타 데이터는 복수의 소스 시점 영상들을 촬영한 카메라들의 인덱스 정보를 포함하고,
    상기 카메라들 각각에는 상이한 인덱스가 할당되는 것을 특징으로 하는, 이머시브 영상 합성 방법.
  11. 제8 항에 있어서,
    복수개의 아틀라스 영상들이 존재하고, 복호화기의 개수가 아틀라스 영상들의 개수보다 작은 경우,
    상기 메타 데이터가 포함하는 상기 아틀라스 영상 우선 순위 정보에 기초하여 상기 아틀라스 영상의 복호화 여부가 결정되는 것을 특징으로 하는, 이머시브 영상 합성 방법.
  12. 제8 항에 있어서,
    상기 메타 데이터는 상기 아틀라스 영상 내 관심 영역 패치들이 패킹된 위치를 나타내는 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 합성 방법.
  13. 제8 항에 있어서,
    상기 메타 데이터는 상기 아틀라스 영상이 스케일링되었는지 여부를 나타내는 플래그 또는 상기 아틀라스 영상의 크기를 나타내는 정보 중 적어도 하나를 포함하는 특징으로 하는, 이머시브 영상 합성 방법.
  14. 제12 항에 있어서,
    복수개의 아틀라스 영상들이 부호화되는 경우, 상기 아틀라스 영상들 각각에 대해 상기 플래그가 파싱되는 것을 특징으로 하는, 이머시브 영상 합성 방법.
KR1020200033735A 2019-03-19 2020-03-19 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 KR20200111643A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/823,617 US20210006830A1 (en) 2019-03-19 2020-03-19 Method for processing immersive video and method for producing immersive video

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20190031450 2019-03-19
KR1020190031450 2019-03-19
KR1020190079025 2019-07-01
KR20190079025 2019-07-01
KR20190080890 2019-07-04
KR1020190080890 2019-07-04
KR1020200004444 2020-01-13
KR20200004444 2020-01-13

Publications (1)

Publication Number Publication Date
KR20200111643A true KR20200111643A (ko) 2020-09-29

Family

ID=72661352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200033735A KR20200111643A (ko) 2019-03-19 2020-03-19 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법

Country Status (2)

Country Link
US (1) US20210006830A1 (ko)
KR (1) KR20200111643A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3109685A1 (fr) * 2020-04-22 2021-10-29 Orange Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues

Also Published As

Publication number Publication date
US20210006830A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
Salahieh et al. Test model for immersive video
CN110100435B (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
US11616938B2 (en) Method for processing immersive video and method for producing immersive video
US11528509B2 (en) Video transmission method, video transmission device, video receiving method and video receiving device
US11483534B2 (en) Method for processing immersive video and method for producing immersive video
Salahieh et al. Test model 8 for MPEG immersive video
KR20200143276A (ko) 비디오 부호화 방법 및 비디오 복호화 방법
KR20200111643A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
US20230232031A1 (en) Method for decoding immersive video and method for encoding immersive video
US11477429B2 (en) Method for processing immersive video and method for producing immersive video
US11350074B2 (en) Method for processing immersive video and method for producing immersive video
US20230011027A1 (en) Method for encoding immersive image and method for decoding immersive image
US11457199B2 (en) Method for processing immersive video and method for producing immversive video
KR20210036795A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
US11575935B2 (en) Video encoding method and video decoding method
KR20210157887A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
KR20210036834A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
KR20200095408A (ko) 이머시브 비디오 포맷팅 방법 및 장치
KR102591133B1 (ko) 이머시브 영상 부호화 방법 및 이머시브 영상 복호화 방법
US20230119281A1 (en) Method for decoding immersive video and method for encoding immersive video
KR102658474B1 (ko) 가상 시점 합성을 위한 영상 부호화/복호화 방법 및 장치
US20230222694A1 (en) Method for decoding immersive video and method for encoding immersive video
KR20230110178A (ko) 이머시브 영상 복호화 방법 및 이머시브 영상 부호화 방법
US20220345742A1 (en) Immersive video decoding method and immersive video encoding method
US20230336789A1 (en) Method for decoding immersive video and method for encoding immersive video