KR101982436B1 - 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법 - Google Patents

결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법 Download PDF

Info

Publication number
KR101982436B1
KR101982436B1 KR1020180014088A KR20180014088A KR101982436B1 KR 101982436 B1 KR101982436 B1 KR 101982436B1 KR 1020180014088 A KR1020180014088 A KR 1020180014088A KR 20180014088 A KR20180014088 A KR 20180014088A KR 101982436 B1 KR101982436 B1 KR 101982436B1
Authority
KR
South Korea
Prior art keywords
information
images
image
mapping
feature
Prior art date
Application number
KR1020180014088A
Other languages
English (en)
Other versions
KR20180016461A (ko
Inventor
강제원
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020180014088A priority Critical patent/KR101982436B1/ko
Publication of KR20180016461A publication Critical patent/KR20180016461A/ko
Application granted granted Critical
Publication of KR101982436B1 publication Critical patent/KR101982436B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법은 디코더가 동일 시간에 서로 다른 방향을 촬영한 복수의 영상, 상기 복수의 영상 각각에 대한 특징 정보 및 맵핑 정보를 수신하는 단계, 상기 디코더가 상기 특징 정보를 기준으로 상기 복수의 영상을 스티칭(stitching)하여 하나의 영상으로 결합하는 단계 및 상기 디코더가 상기 맵핑 정보를 기준으로 상기 하나의 영상을 360도 영상으로 변환하는 단계를 포함한다. 상기 특징 정보는 영상에서 추출되는 특징값으로 상기 복수의 영상 중 서로 인접한 영역을 촬영한 영상을 결합하기 위한 것이고, 상기 360도 영상은 재생 장치의 방향에 따라 3차원 공간상에서 특정 시점의 영상을 제공한다.

Description

결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법{DECODING METHOD FOR VIDEO DATA INCLUDING STITCHING INFORMATION AND ENCODING METHOD FOR VIDEO DATA INCLUDING STITCHING INFORMATION}
이하 설명하는 기술은 360도 영상에 대한 인코딩 방법 및 디코딩 방법에 관한 것이다.
멀티미디어 기술의 발달로 최근 실감 미디어에 대한 관심이 높아지고 있다. 그 중 다시점 영상은 시점이 다른 2개 이상의 다시점 카메라를 사용하여 획득한 영상을 말한다. 다시점 영상은 사용자에게 입체감 있는 영상을 제공하는데 사용된다. 나아가 최근에는 360도(전방위) 영상을 이용한 VR(가상현실) 서비스가 등장하고 있다.
이하 설명하는 기술은 복수의 다시점 영상 및 다시점 영상을 매칭하는 부가 정보를 별도로 인코딩하는 기법을 제공하고자 한다. 이하 설명하는 기술은 다른 측면에서 부가 정보를 이용하여 복수의 영상 스트림을 디코딩하는 기법을 제공하고자 한다.
결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법은 디코더가 서로 다른 방향을 촬영한 복수의 영상, 상기 복수의 영상 각각에 대한 특징 정보 및 맵핑 정보를 수신하는 단계, 상기 디코더가 상기 특징 정보를 기준으로 상기 복수의 영상을 스티칭(stitching)하여 하나의 영상으로 결합하는 단계 및 상기 디코더가 상기 맵핑 정보를 기준으로 상기 하나의 영상을 360도 영상으로 변환하는 단계를 포함한다.
다른 측면에서 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법은 디코더가 서로 다른 방향을 촬영한 복수의 영상, 상기 복수의 영상 중 적어도 두 개 이상의 영상에 대한 시차 정보, 상기 복수의 영상에 대한 특징 정보 및 맵핑 정보를 수신하는 단계 및 상기 디코더가 상기 복수의 영상 스트림 중 어느 하나를 복호하는 제1 모드, 상기 시차 정보를 기준으로 상기 복수의 영상 스트림 중 두 개의 영상 스트림을 다시점 영상으로 복호하는 제2 모드 또는 상기 특징 정보 및 상기 맵핑 정보를 기준으로 상기 복수의 영상 스트림을 360도 영상을 복호하는 제3 모드로 동작하는 단계를 포함한다.
결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법은 인코더가 서로 다른 방향을 촬영한 복수의 영상을 획득하는 단계, 상기 인코더가 상기 복수의 영상을 각각 별도로 인코딩하는 단계, 상기 인코더가 상기 복수의 영상에 대해 각각 추출한 특징 정보를 인코딩하는 단계 및 상기 인코더가 맵핑 방식에 대한 파라미터 정보를 인코딩하는 단계를 포함한다.
상기 특징 정보는 영상에서 추출되는 특징값으로 상기 복수의 영상 중 서로 인접한 영역을 촬영한 영상을 결합하기 위한 것이다. 상기 맵핑 정보 또는 상기 파리미터 정보는 상기 특징 정보를 사용하여 결합된 영상을 360도 영상으로 변환하기 위한 환경 맵핑 기법에 대한 것이다.
이하 설명하는 기술은 별도로 부호화된 복수의 영상 스트림과 부가 정보를 이용하여 사용자의 필요에 따라 다양한 종류의 비디오 영상을 제공한다.
도 1은 360도 영상을 전달하는 시스템을 도시한 예이다.
도 2는 360 영상을 생성하는 예이다.
도 3은 360도 영상을 전달하는 시스템을 도시한 다른 예이다.
도 4는 복수의 영상에 대한 계층적 부호 및 복호에 대한 예이다.
도 5는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법에 대한 예이다.
도 6은 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법에 대한 다른 에이다.
도 7은 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법에 대한 또 다른 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
최근 VR(가상 현실) 서비스가 주목 받고 있다. VR 서비스는 기본적으로 360도 영상(전방위 영상)을 사용한다. 360도 영상(전방위 영상)은 전방위 장면을 촬영하는 카메라가 획득한 영상을 일정하게 결합한 영상이다. 스마트폰 또는 VR 전용 장치는 360도 영상을 이용하여 장치의 방향에 따라 특정 시점의 영상을 제공한다.
도 1은 360도 영상을 전달하는 시스템(100)을 도시한 예이다. 도 1은 종래의 360도 영상을 전달하는 시스템(100)에 대한 예이다. 영상 전달 시스템(100)은 360도 카메라(110), 인코더(120) 및 디코더(130)를 포함한다.
360도 카메라(110)는 특정 지점을 기준으로 서로 다른 방향(시점)의 영상을 획득하는 장치이다. 360도 카메라(110)는 기준 지점을 기준으로 서로 다른 방향을 향하는 복수의 카메라 유닛을 포함한다. 도 1에서는 구 형태의 360도 카메라(110)를 도시하였으나 360도 카메라(110)는 다양한 형태를 가질 수 있다. 360도 카메라(110)가 사용하는 복수의 카메라 유닛의 수도 다양할 수 있다.
인코더(120)는 360도 카메라(110)가 획득한 서로 다른 시점의 영상을 인코딩한다. 인코더(120)가 360도 영상을 인코딩하기 전에 360도 카메라(110)가 획득한 영상을 하나의 영상을 전처리해야한다. 전처리 과정은 복수의 영상을 일정하게 처리하여 360도 영상을 생성하는 과정에 해당한다. 인코더(120)가 전처리 과정을 수행할 수 있다. 또는 별도의 이미지 처리 장치가 전처리 과정을 수행할 수도 있다. 도 1에서는 인코더(120)가 전처리 과정을 수행하는 것으로 도시하였다. 이하 설명의 편의를 위해 인코더(120)가 전처리 과정을 수행하는 것으로 설명한다.
전처리 과정(①)은 다음과 같아 (i)인코더(120)는 서로 다른 시점인 복수의 영상(프레임)을 하나의 영상(프레임)으로 결합(stitching)한다. (ii)인코더(120)는 결합한 영상을 일정한 기준에 따라 맵핑한다. 예컨대, 인코더(120)는 equiretangular 맵핑을 수행할 수 있다. 물론 인코더(120)는 입체감 있는 영상을 생성하기 위해 다른 환경 맵핑 기법을 이용할 수도 있다. 360도 영상은 복수의 영상이 하나의 영상(프레임)으로 일정하게 결합된 것이다.
②인코더(120)는 생성한 360도 영상을 인코딩한다. 인코더(120)는 사용하는 방식(표준)에 따라 다양한 기법으로 영상을 인코딩할 수 있다. 도 1에서 인코더(120)가 생성하는 비트 스트림의 예를 도시하였다. 비트 스트림은 헤더 부분과 영상 스트림(video stream)을 포함한다. 도 1에서는 설명의 편의를 위해 헤더와 영상 스트림만을 표시한 것이다. 비트 스트림은 인코딩 방식 등에 따라 다양한 시퀀스를 추가로 가질 수 있다. 영상 스트림은 360도 영상에 대한 단일 스트림이다.
디코더(130)는 인코더(120)가 전달하는 비트 스트림에서 영상 스트림을 인코딩의 역순으로 디코딩한다. 디코더(130)는 최종적으로 비트 스트림을 360도 영상으로 디코딩한다.
도 2는 360 영상을 생성하는 예이다. 도 2는 복수의 영상으로부터 360도 영상을 생성하는 예이다. 360도 카메라는 서로 다른 시점인 복수의 영상을 획득한다. 인코더 또는 영상 처리 장치는 복수의 영상 각각에서 결합 정보를 추출한다. 결합 정보는 복수의 영상 중 서로 인접한 영상을 결합하는데 사용되는 정보이다. 예컨대, 결합 정보는 영상의 특징점, 특징 벡터 등과 같은 특징 정보를 포함한다.
결합 정보(특징 정보)는 다양한 기법을 사용하여 추출될 수 있다. 특징 정보는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), LBP(Local Binary Pattern), FAST(Features from Accelerated Segment Test), ORB(Oriented FAST and Rotated BRIEF) 및 HOG(Histogram of Gradient) 중 적어도 하나를 이용하여 추출될 수 있다. 예컨대 SIFT의 경우 영상에서 코너 및 에지 등에서 특징점을 선택한 후 그를 중심으로 일정 블록 크기 영역 내에서 그레디언트(gradient)의 방향과 크기에 대한 히스토그램을 구한다. 그 후 각 빈(bin) 값들을 일정 차원 (128차원 등)의 벡터로 표현한 특징정보를 생성한다. 결합 정보(특징 정보)는 영상 처리 분야에서 사용되는 다른 기법을 사용하여 추출될 수도 있다.
도 2(a)는 결합 정보를 사용하여 복수의 영상을 결합(stitching)한 예이다. 도 2(b)는 결합한 영상을 환경 맵핑(equiretangular 맵핑)한 예이다. 맵핑은 서로 다른 시점인 복수의 영상을 입체감 있는 전방위 영상으로 변환하는 과정에 해당한다.
도 3은 360도 영상을 전달하는 시스템(200)을 도시한 다른 예이다. 영상 전달 시스템(200)은 360도 카메라(210), 인코더(220) 및 디코더(230)를 포함한다. 360도 카메라(210)는 도 1에서 설명한 360도 카메라(110)와 동일한 장치이다.
인코더(220)는 도 1의 인코더(120)와 달리 360도 영상을 생성하지 않는다. 인코더(220)는 결합 정보 생성에 사용되는 특징 정보를 추출할 수 있다. 물론 사전에 별도의 영상 처리 장치가 복수의 영상 각각에 대해 특징 정보를 추출할 수도 있다. ① 인코더(220)는 결합 정보에 해당하는 특징 정보를 인코딩한다. ② 인코더(220)는 맵핑 방식과 관련된 파라미터 정보를 인코딩한다. ③ 인코더(220)는 복수의 영상을 각각 별도로 인코딩한다.
도 3에서 인코더(220)가 생성한 비트스트림의 예를 도시하였다. 비트 스트림은 특징 정보(feature)를 나타내는 시퀀스, 맵핑 정보를 나타내는 시퀀스, N개의 영상 스트림(video stream 1 내지 video stream N)을 포함한다. 이 때 Header 및 feature 정보는 도 3과 같이 N개의 영상 스트림에 한 번 전송할 수 있지만 각 영상 스트림 사이에 개별적으로(interleaving) 전송할 수도 있다.
① 디코더(230)는 비트 스트림에서 특징 정보, 맵핑 관련 파라미터 및 영상 스트림을 각각 디코딩한다. ② 나아가 디코더(230)는 복호한 특징 정보를 이용하여 복호한 복수의 영상을 360도 영상으로 생성할 수도 있다. 한편 별도의 영상 처리 장치가 디코더(230)가 복호한 특징 정보 및 영상 스트림을 이용하여 360도 영상을 생성할 수도 있다.
도 3와 같이 인코더(220)는 복수의 영상 스트림과 영상 스트림을 일정하게 처리하는데 사용하는 부가 정보를 전달할 수 있다. 이를 통해 인코더(220)는 소위 계층적 부호화를 수행할 수 있다. 디코더(230)는 계층적 부호화된 데이터를 이용하여 다양한 형태의 영상을 복호할 수도 있다.
도 4는 복수의 영상에 대한 계층적 부호 및 복호에 대한 예이다. ① 인코더(220)는 기본적으로 시점 별 복수의 영상(프레임)에 대한 비트 스트림(bitstream)을 인코딩한다. ② 인코더(220)는 부가적으로 다시점 영상을 생성하기 위한 다시점 정보를 포함하는 비트 스트림(extra bitstream 1)을 인코딩할 수 있다. 예컨대, 다시점 정보는 입체 영상(3D 영상)을 생성하는데 사용하는 시차 벡터 등일 수 있다. ③ 인코더(220)는 또한 360도 영상을 생성하는데 사용하는 결합 정보를 포함하는 비트 스트림(extra bitstream 2)을 인코딩할 수 있다.
인코더(220)는 복수의 영상 스트림을 순서 등에 관계 없이 식별자만 부여하여 개별적으로 인코딩할 수 있다. 나아가 인코더(220)는 종래 다시점 영상의 코딩 기법과 같이 복수의 영상 스트림의 시점간 연관성을 이용하여 일정한 순서로 영상 스트림을 인코딩할 수도 있다.
디코더(230)는 사용자의 선택이나 서비스의 종류에 따라 다양한 모드로 동작할 수 있다. ① 예컨대, 제1 모드에서 디코더(230)는 비트 스트림에서 복수의 영상 스트림 중 적어도 하나를 선택하여 디코딩할 수 있다. 즉, 하나의 시점 또는 복수의 시점의 화면을 개별적으로 디코딩하는 것이다. ② 제2 모드에서 디코더(230)는 복수의 영상에 대한 비트 스트림 중 적어도 둘 이상을 선택하여 디코딩하고, 다시점 정보를 디코딩한다. 도 4에서는 두 개의 영상을 디코딩한 예를 도시하였다. 디코더(230) 또는 별도의 영상 처리 장치는 두 개의 영상과 다시점 정보를 이용하여 깊이감 있는 3차원 영상을 생성할 수 있다. ③ 제3 모드에서 디코더(230)는 복수의 영상에 대한 비트 스트림을 모두 디코딩하고, 결합 정보를 디코딩할 수 있다. 디코더(230) 또는 별도의 영상 처리 장치는 복수의 영상과 복수의 영상에 대한 결합 정보를 이용하여 360도 영상을 생성할 수 있다.
도 5는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법(300)에 대한 예이다. 먼저 디코더가 비트 스트림을 수신한다(310). 디코더는 비트 스트림 중 복수의 영상에 대한 스트림, 결합 정보 및 맵핑 정보를 각각 디코딩한다(320). 디코더는 복호한 결합 정보를 이용하여 인접한 복수의 영상을 서로 매칭하여 결합하고, 디코더는 맵핑 정보를 이용하여 결합한 영상을 360도 영상으로 변환한다(330). 스마트폰과 같은 모바일 단말은 수신한 비트 스트림을 디코딩하고, 디코딩한 자료를 360도 영상으로 생성하는 디코더 장치에 해당한다. 다만 경우에 따라서는 셋업 박스와 같은 디코더가 영상과 결합 정보를 디코딩하고, VR 장치와 같은 영상 처리 장치가 결합 정보를 이용하여 360도 영상을 생성할 수도 있다. 디스플레이 장치는 입력되는 방향 값(orientation)에 따라 360도 영상 중 해당 방향(특정 영역)에 대한 영상을 출력한다(340). 디스플레이 장치는 스마트폰, 태블릿 PC, 모니터, VR 장치 등을 포함한다.
도 6은 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법(400)에 대한 다른 에이다. 먼저 디코더가 비트 스트림을 수신한다(410). 디코더는 비트 스트림 중 복수의 영상에 대한 스트림, 결합 정보 및 맵핑 정보를 각각 디코딩한다(420). 이후 디코더는 방향 정보가 입력되는지 모니터링한다(430). 방향 정보는 3차원 공간에서 가속도 센서, 자이로 센서, 지자기 센서 중 적어도 하나를 이용하여 측정되는 특정 방향을 의미한다. 디코더는 특정 방향 정보가 입력되면 해당 방향 정보에 맞는 영상을 생성한다. 즉, 디코더는 방향 정보에 따라 복호한 복수의 영상 중 둘 이상의 영상을 선택하고, 결합 정보 및 맵핑 정보를 이용하여 해당 영상을 결합한다(440). 디스플레이 장치는 디코더가 결합한 영상을 출력한다(450). 도 6의 디코딩 방법(400)은 도 5와 달리 사전에 360도 영상을 생성하지 않고, 방향 정보에 따라 실시간으로 영상을 결합하여 해당 방향에 대한 영상을 생성한다. 예컨대, 사용자가 일정한 방향으로 이동하는 경우에는 각 지점에서의 360도 영상을 사전에 모두 생성하는 것보다 실시간으로 해당 방향에 대한 영상을 생성하는 것이 유리할 수도 있다.
도 7은 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법(500)에 대한 또 다른 예이다. 도 7은 도 4에서 설명한 계층적 부호 및 복호에 대한 예이다. 디코더는 복수의 영상 스트림 및 부가 정보를 포함하는 비트 스트림을 수신한다(510). 부가 정보는 결합 정보 및 맵핑 정보를 포함한다. 디코더는 사용자의 입력 또는 서비스의 종류에 따라 사전에 설정된 동작 모드로 작동한다. 디코더는 현재 설정된 동작 모두가 무엇인지 판단한다(520). 디코더는 제1 모드에서 비트 스트림에서 복수의 영상 스트림 중 적어도 하나를 선택하여 디코딩할 수 있다(530). 디코더는 제2 모드에서 복수의 영상에 대한 비트 스트림 중 적어도 둘 이상을 선택하여 디코딩하고, 다시점 정보(예컨대, 시차 정보)를 디코딩할 수 있다(540). 이후 디코더 또는 별도의 영상 처리 장치가 시차 정보를 이용하여 두 개의 영상을 다시점 영상으로 생성할 수 있다(540). 디코더는 제3 모드에서 복수의 영상에 대한 비트 스트림을 모두 디코딩하고, 결합 정보 및 맵핑 정보를 디코딩할 수 있다(550). 이후 디코더 또는 별도의 영상 처리 장치가 결합 정보를 이용하여 복수의 영상을 360도 영상으로 생성할 수 있다(550). 최종적으로 디스플레이 장치가 영상을 출력한다(560).
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100 : 영상 전달 시스템
110 : 360도 카메라
120 : 인코더
130 : 디코더
200 : 영상 전달 시스템
210 : 360도 카메라
220 : 인코더
230 : 디코더

Claims (12)

  1. 디코더는 서로 다른 방향을 촬영한 복수의 영상, 상기 복수의 영상 각각에 대한 특징 정보 및 맵핑 정보가 인코딩된 비트스트림을 수신하고, 상기 비트스트림에서 상기 복수의 영상, 상기 특징 정보 및 상기 맵핑 정보를 각각 디코딩하는 단계;
    상기 디코더가 디코딩된 상기 특징 정보를 기준으로 디코딩된 상기 복수의 영상을 스티칭(stitching)하는 단계; 및
    상기 디코더가 상기 맵핑 정보를 기준으로 상기 스티칭된 영상을 360도 영상으로 변환하는 단계를 포함하되,
    상기 특징 정보는 영상에서 추출되는 특징값으로 상기 복수의 영상 중 서로 인접한 영역에 대한 영상을 스티칭하기 위한 것이고, 상기 맵핑 정보는 스티칭된 영상을 360도 영상 콘텐츠로 변환하기 위한 것이고, 상기 360도 영상은 재생 장치의 방향에 따라 3차원 공간상에서 특정 시점의 영상을 제공하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  2. 제1항에 있어서,
    상기 특징 정보는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), LBP(Local Binary Pattern), FAST(Features from Accelerated Segment Test), ORB(Oriented FAST and Rotated BRIEF) 및 HOG(Histogram of Gradient)를 포함하는 추출 기법 그룹 중 적어도 하나의 추출 기법을 사용하여 추출되는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  3. 제1항에 있어서,
    상기 맵핑 정보는 환경 맵핑에 따른 맵핑 정보인 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  4. 삭제
  5. 디코더는 서로 다른 방향을 촬영한 복수의 영상, 상기 복수의 영상 중 적어도 두 개 이상의 영상에 대한 시차 정보, 상기 복수의 영상 각각에 대한 특징 정보 및 맵핑 정보가 인코딩된 비트스트림을 수신하고, 상기 비트스트림에서 상기 복수의 영상, 상기 시차 정보, 상기 특징 정보 및 상기 맵핑 정보를 각각 디코딩하는 단계; 및
    상기 디코더가 상기 복수의 영상 스트림 중 어느 하나를 복호하는 제1 모드, 상기 시차 정보를 기준으로 상기 복수의 영상 스트림 중 두 개의 영상 스트림을 다시점 영상으로 복호하는 제2 모드 또는 상기 특징 정보 및 상기 맵핑 정보를 기준으로 상기 복수의 영상 스트림을 360도 영상을 복호하는 제3 모드로 동작하는 단계를 포함하되,
    상기 제3 모드에서 상기 디코더는 상기 특징 정보를 이용하여 상기 복수의 영상을 스티칭(stitching)하고, 상기 스티칭된 영상을 상기 맵핑 정보를 이용하여 상기 360도 영상으로 변환하고,
    상기 특징 정보는 영상에서 추출되는 특징값으로 상기 복수의 영상 중 서로 인접한 영역에 대한 영상을 스티칭하기 위한 것이고, 상기 맵핑 정보는 스티칭된 하나의 영상을 360도 영상 콘텐츠로 변환하기 위한 것이고, 상기 360도 영상은 재생 장치의 방향에 따라 3차원 공간상에서 특정 시점의 영상을 제공하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  6. 제5항에 있어서,
    상기 디코더는 상기 제2 모드에서 상기 시차 정보를 기준으로 상기 복수의 영상 스트림 중 중첩되는 영역에 대한 상기 두 개의 영상 스트림을 선택하고, 선택한 상기 두 개의 영상 스트림을 복호하여 3D 영상을 생성하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  7. 제5항에 있어서,
    상기 특징 정보는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), LBP(Local Binary Pattern), FAST(Features from Accelerated Segment Test), ORB(Oriented FAST and Rotated BRIEF) 및 HOG(Histogram of Gradient)를 포함하는 추출 기법 그룹 중 적어도 하나의 추출 기법을 사용하여 추출되는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  8. 제5항에 있어서,
    상기 맵핑 정보는 환경 맵핑에 따른 맵핑 정보인 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  9. 삭제
  10. 인코더가 서로 다른 방향을 촬영한 복수의 영상을 획득하는 단계;
    상기 인코더가 상기 복수의 영상을 각각 별도로 인코딩하는 단계;
    상기 인코더가 상기 복수의 영상에 대해 각각 추출한 특징 정보를 인코딩하는 단계; 및
    상기 인코더가 맵핑 방식에 대한 파라미터 정보를 인코딩하는 단계를 포함하되,
    상기 특징 정보는 영상에서 추출되는 특징값으로 상기 복수의 영상 중 서로 인접한 영역에 대한 영상을 스티칭하기 위한 것이고, 상기 파라미터 정보는 상기 스티칭된 영상을 360도 영상 콘텐츠로 맵핑하기 위한 맵핑 방식에 대한 정보를 포함하고, 상기 360도 영상 콘텐츠는 재생 장치의 방향에 따라 3차원 공간상에서 특정 시점의 영상을 제공하는 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법.
  11. 제10항에 있어서,
    상기 인코더가 상기 복수의 영상, 상기 특징 정보 및 상기 파라미터 정보를 포함하는 비트스트림을 생성하는 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법.
  12. 제10항에 있어서,
    상기 인코더는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), LBP(Local Binary Pattern), FAST(Features from Accelerated Segment Test), ORB(Oriented FAST and Rotated BRIEF) 및 HOG(Histogram of Gradient)를 포함하는 추출 기법 그룹 중 적어도 하나의 추출 기법을 사용하여 상기 특징 정보를 추출하는 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법.
KR1020180014088A 2018-02-05 2018-02-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법 KR101982436B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180014088A KR101982436B1 (ko) 2018-02-05 2018-02-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180014088A KR101982436B1 (ko) 2018-02-05 2018-02-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160041507A Division KR20170114160A (ko) 2016-04-05 2016-04-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Publications (2)

Publication Number Publication Date
KR20180016461A KR20180016461A (ko) 2018-02-14
KR101982436B1 true KR101982436B1 (ko) 2019-05-24

Family

ID=61229944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180014088A KR101982436B1 (ko) 2018-02-05 2018-02-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Country Status (1)

Country Link
KR (1) KR101982436B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172956A1 (ko) * 2020-02-28 2021-09-02 엘지전자 주식회사 영상 특징 정보 시그널링을 위한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463671B2 (en) 2018-07-09 2022-10-04 Lg Electronics Inc. Video transmitting method, video transmitting device, video receiving method and video receiving device
KR102383669B1 (ko) * 2018-10-23 2022-04-06 한국전자통신연구원 Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
CN114697501B (zh) * 2022-03-23 2023-08-11 南京云创大数据科技股份有限公司 一种基于时间的监控摄像头图像处理方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074764A (ja) * 2006-12-20 2007-03-22 Sony Corp 送信装置および受信装置
KR101581131B1 (ko) * 2014-09-11 2015-12-30 이화여자대학교 산학협력단 영상 정보를 전달하는 방법, 영상 부호기 및 영상 복호기

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381601B1 (ko) * 2007-05-14 2014-04-15 삼성전자주식회사 다시점 영상 부호화 및 복호화 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074764A (ja) * 2006-12-20 2007-03-22 Sony Corp 送信装置および受信装置
KR101581131B1 (ko) * 2014-09-11 2015-12-30 이화여자대학교 산학협력단 영상 정보를 전달하는 방법, 영상 부호기 및 영상 복호기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172956A1 (ko) * 2020-02-28 2021-09-02 엘지전자 주식회사 영상 특징 정보 시그널링을 위한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11838519B2 (en) 2020-02-28 2023-12-05 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling image feature information, and method for transmitting bitstream

Also Published As

Publication number Publication date
KR20180016461A (ko) 2018-02-14

Similar Documents

Publication Publication Date Title
US11087549B2 (en) Methods and apparatuses for dynamic navigable 360 degree environments
CN108616731B (zh) 一种360度vr全景图形图像及视频实时生成方法
JP6630891B2 (ja) 明視野画像ファイルを符号化および復号するためのシステムおよび方法
KR101982436B1 (ko) 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법
JP6365635B2 (ja) 画像処理装置および画像処理方法
US8907968B2 (en) Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
CN109565571B (zh) 标示关注区域的方法与装置
US20190373287A1 (en) Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same
CN109076240A (zh) 将全向图像映射到布局输出格式的方法和装置
CN107454468A (zh) 对沉浸式视频进行格式化的方法、装置和流
KR102157656B1 (ko) 360도 비디오를 송수신하는 방법 및 그 장치
CN109361913A (zh) 用于对于头戴式显示器提供三维图像的方法和装置
WO2014052437A1 (en) Encoding images using a 3d mesh of polygons and corresponding textures
CN102246529A (zh) 基于图像的3d视频格式
You et al. Internet of Things (IoT) for seamless virtual reality space: Challenges and perspectives
CN112189345A (zh) 体积式视频格式的方法，装置和流
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
KR20150105069A (ko) 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법
CN114071116A (zh) 视频处理方法、装置、电子设备及存储介质
CN113906761A (zh) 利用修补补片对3d场景进行编码和渲染的方法和装置
US20200302680A1 (en) Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
JP2022533754A (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
WO2019008222A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
WO2018109265A1 (en) A method and technical equipment for encoding media content
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant