KR20130084295A

KR20130084295A - 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치

Info

Publication number: KR20130084295A
Application number: KR1020137011632A
Authority: KR
Inventors: 성재원; 박승욱; 임재현; 김정선; 박준영; 최영희; 전병문; 전용준
Original assignee: 엘지전자 주식회사
Priority date: 2010-11-15
Filing date: 2011-11-15
Publication date: 2013-07-24
Also published as: EP2642758A2; KR101525713B1; US9407899B2; JP5837606B2; CN103210653B; GB201308552D0; DE112011103496T5; GB2499146B; EP2642758A4; JP2014502451A; CN103210653A; US20130242049A1; WO2012067399A3; MX2013005402A; GB2499146A; WO2012067399A2

Abstract

프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치가 개시되어 있다.
MVC(Multiview Video Compression) 디코더로 부호화된 MVC 양립 프레임을 복호화하는 단계와 복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계를 포함할 수 있다. 따라서, 기존의 영상 처리 장치를 기초로 다른 프레임 포맷을 재생할 수 있다.

Description

프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치{METHOD FOR TRANSFORMING FRAME FORMAT AND APPARATUS USING SAME METHOD}

본 발명은 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치에 관한 것으로 더욱 상세하게는 복호화 방법 및 장치에 관한 것이다.

다시점 비디오는 여러 개의 시점(View) 채널을 이용하여 현장감과 몰입감을 제공하는 새로운 형태의 멀티미디어 기술이다. 다시점 비디오 응용은 삼차원 정보를 표현, 저장, 전송함에 있어 가장 일반적이고도 도전적인 응용 모델로서 사용자에게 미디어와의 상호 작용성을 부여하여 보다 실감나는 가상현실을 제공하는 것을 목표로 한다. 이 기술은 향후 3차원 영화, 실감방송, 오락, 의료실습, 교육, 관광 및 문화, 원격감시, 국보급 문화재나 중요 전통문화 등의 정보기록 등의 광범위한 응용이 기대되며 Free-viewpoint TV 응용의 경우 미디어의 일방적인 수용에서 벗어나 사용자가 미디어의 관측방향과 시점을 자유롭게 조작할 수 있으므로 능동형 미디어로의 변화를 가능케 한다. 하지만 시점의 개수가 증가함에 따라 영상획득, 영상저장 및 전송, 영상재현의 문제가 발생한다. 특히 영상저장 및 전송에 있어서 제한된 저장용량, 증가하는 채널 대역은 다시점 비디오 서비스의 가장 큰 장애요인이다.

따라서 다시점 비디오 응용을 위해서는 높은 부호화 효율(Compression efficiency), 사용자와의 상호작용성(Interactivity), 그리고 다양한 스케일러빌리티(View scalability, Temporal scalability), 시점 및 시간 방향으로의 임의접근(Random access) 등을 만족시키는 부호화 기술이 필요하다. 이러한 기대와 요구조건들은 2001년부터 시작된 MPEG-4 3DAV(3D Audio/Video) 표준화 그룹의 다시점 비디오 부호화 방식의 표준화에 도 반영되고 있다.

본 발명의 목적은 기존의 영상 전송 레이어에서 다른 영상 포맷을 전송하는 방법을 제공하는 것이다.

또한, 본 발명의 또 다른 목적은 영상 전송 레이어에서 다른 영상 포맷을 전송하는 방법을 수행하는 장치를 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상 복호화 방법은 MVC(Multiview Video Compression) 디코더로 부호화된 MVC 양립 프레임을 복호화하는 단계와 복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계를 포함할 수 있다. 상기 영상 복호화 방법은 상기 Advanced 3D 프레임을 이용하여 뷰 합성을 수행하는 단계를 더 포함할 수 있다. , 상기 MVC 양립 프레임은 프레임 양립 방식을 사용하여 상기 Advanced 3D 프레임의 칼라 정보와 깊이 정보를 하나의 프레임으로 생성한 프레임일 수 있다. 상기 프레임 양립 방식은, check board 방식, column interleaving 방식, row interleaving 방식, side-by-side 방식, top and bottom 방식 중 적어도 하나의 방식일 수 있다. 상기 Advanced 3D 프레임은 칼라 정보와 깊이 정보를 포함하는 MVD(Multiview Video plus Depth) 방식 또는 전후방 칼라 정보 및 전후방 깊이 정보를 포함하는 LDV(Layered Depth Video) 방식일 수 있다. 상기 복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계는 상기 Advanced 3D 프레임이 MVD(Multiview Video plus Depth) 방식인 경우, 상기 MVC 양립 프레임에 포함된 제1 정보를 기초로 칼라 정보를 추출하여 업샘플링 하고, 상기 MVC 양립 프레임에 포함된 제2 정보를 기초로 깊이 정보를 추출하여 업샘플링하는 단계일 수 있다. 상기 복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계는 상기 Advanced 3D 프레임이 LDV(Layered Depth Video) 방식인 경우, 상기 MVC 양립 프레임에 포함된 제1 정보를 기초로 전방 칼라 정보 또는 후방 칼라 정보를 추출하여 업샘플링하고, 상기 MVC 양립 프레임에 포함된 제2 정보를 기초로 깊이 정보를 추출하여 업샘플링하는 단계일 수 있다. 상기 복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계는 상기 MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방식 정보를 복호화하고 복호화된 프레임 양립 방식 정보에 기초하여 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 생성하는 단계일 수 있다.

상술한 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상 복호화 방법은 코딩을 수행하지 않는 블랭크 부호화 단위의 위치 정보를 복호화하는 단계와 상기 위치 정보를 기초로 부호화 단위에서 복호화를 수행하는 단계를 포함할 수 있다. 상기 코딩을 수행하지 않는 블랭크 부호화 단위의 위치 정보를 복호화하는 단계는 해당 슬라이스에 포함된 부호화 단위에서 복호화가 수행되는지 여부를 표시하는 블랭크 맵 정보를 복호화하고 상기 블랭크 맵 정보를 기초로 코딩을 수행하지 않는 블랭크 부호화 단위의 위치 정보를 복호화하는 단계일 수 있다. 상기 영상 복호화 방법은 SPS에 저장된 블랭크 코딩 여부 정보를 기초로 시퀀스의 블랭크 코딩 여부를 결정하는 단계와 상기 시퀀스에서 블랭크 코딩을 수행할 경우, 슬라이스에서 블랭크 코딩을 수행하는지 여부를 결정하는 단계를 포함할 수 있다.

상술한 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 영상 부호화 장치는 칼라 정보 및 깊이 정보를 다운 샘플링하는 다운샘플링부와 상기 다운샘플링부에 의해 다운 샘플링된 상기 칼라 정보 및 상기 깊이 정보를 하나의 MVC 양립 프레임으로 생성하는 프레임 합성부를 포함할 수 있다. 상기 프레임 합성부는 상기 MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방법 정보를 생성할 수 있다.

상술한 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 영상 복호화 장치는 MVC 양립 프레임을 적어도 하나의 칼라 정보 및 적어도 하나의 깊이 정보로 분리하는 프레임 분리부와 상기 프레임 분리부에 의해 분리된 상기 칼라 정보 및 상기 깊이 정보를 업샘플링하는 업샘플링부를 포함할 수 있다. 상기 프레임 분리부는 상기 MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방법 정보를 기초로 상기 MVC 양립 프레임을 분리할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치에 따르면 Advanced 3D 영상을 기존의 MVC 부복호화기를 통해 전송할 수 있다. 따라서, 기존의 전송 시스템 및 통신 레이어의 변화 없이도 Advanced 3D 컨텐츠를 활용할 수 있다.

도 1은 본 발명의 실시예에 따른 Advanced 3D 컨텐츠를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 MVD 방식의 Advance 3D 컨텐츠를 MVC 양립 프레임으로 변경시키는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 LDV 방식의 Advanced 3D 컨텐츠를 MVC 양립 프레임으로 변경시키는 방법을 나타낸 개념도이다.
도 4는 본 발명의 또 다른 실시예에 따른 Advance 3D 컨텐츠 표현 방법을 나타낸 개념도이다.
도 5는 본 발명의 또 다른 실시예에 따른 Advanced 3D 컨텐츠를 MVC 양립 프레임으로 표현하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 또 다른 실시예에 따른 MVD 방식의 Advance 3D 컨텐츠를 MVC 양립 프레임으로 변경시키는 방법을 나타낸 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 MVC 양립 프레임을 다시 MVD 방식의 Advance 3D 컨텐츠로 복호하는 방법을 나타낸 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 Advanced 3D 프레임을 MVC를 이용하여 부복호화하는 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 부호화를 수행하는데 사용되는 제1 포맷 전환부를 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 복호화를 수행하는데 사용되는 제2 포맷 전환부를 나타낸 개념도이다.
도 11은 본 발명의 또 다른 실시예에 따른 블랭크 코딩 여부 정보를 복호화 하는 방법을 나타낸 순서도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명의 실시예에 따른 Advanced 3D 컨텐츠를 나타낸 개념도이다.

Advanced 3D 컨텐츠는 칼라 정보에 깊이 정보를 포함하는 프레임 컨텐츠를 말한다. Advanced 3D 컨텐츠는 재생 단계에서 전송된 영상 정보와 깊이 정보를 활용하여 임의 뷰의 위치에서 영상을 합성하여 재생하는 방식으로 깊이감 있는 3D 영상 재생을 수행할 수 있다. Advanced 3D 방식을 사용할 경우, 시청자가 깊이감을 조절할 수 있고 또한 멀티뷰(Multiview) 디스플레이 장치에서 필요한 만큼의 여러개의 뷰를 연속적인 시점에서 자연스럽게 합성할 수 있다는 장점이 있다.

도 1의 상단은 Advanced 3D 방식 중 MVD(Multiview video plus depth) 방식을 의미한다.

도 1의 상단은 뷰의 개수가 3개인 경우의 MVD를 나타낸 것으로 MVD 포맷은 제1 칼라 정보(100), 제2 칼라 정보(110), 제3 칼라 정보(120)와 각 칼라 정보에 대한 깊이 정보인 제1 깊이 정보(105), 제2 깊이 정보(115), 제3 깊이 정보(125)를 가질 수 있다. 즉, MVD 방식의 경우, 뷰에 따라 칼라 정보와 그에 따른 깊이 정보가 각각 생성될 수 있다.

도 1의 하단은 Advanced 3D 방식 중 LDV(Layered Depth Video) 방식을 나타낸 것이다.

도 1의 하단을 참조하면, LDV(Layered Depth Video) 방식은 전방 칼라 정보(130, FT, foreground texture)와 후방 칼라 정보(140, BT, background texture)와 전방 칼라 정보에 따른 깊이 정보를 가지고 있는 전방 깊이 정보(135, FD, foreground depth)와 후방 영상 정보에 따른 깊이 정보를 가지고 있는 후방 깊이 정보(145, BD, background depth)를 포함할 수 있다.

본 발명의 실시예에 따른 영상 컨텐츠 전송 방법에서는 MVD 및 LDV와 같은 Advance 3D 컨텐츠를 MVC(Multiview Video Compresssion) 방법을 사용하여 전송할 수 있고 MVC 인코더 또는 MVC 디코더에서 부/복호화하도록 MVC 프레임 형태로 표현된 Advanced 3D 컨텐츠를 MVC 양립 프레임이라는 용어로 정의할 수 있다.

도 2 내지 도 3은 본 발명의 또 다른 실시예에 따른 Advance 3D 컨텐츠 표현 방법을 나타낸 개념도이다.

도 2는 본 발명의 실시예에 따른 MVD 방식의 Advance 3D 컨텐츠를 MVC 양립 프레임으로 변경시키는 방법을 나타낸 개념도이다.

MVD 방식에서 뷰의 개수가 2개인 경우, Side-by-Side 방식을 사용해 제1 칼라 정보(210)와 제1 깊이 정보(220)를 제1 MVC 양립 프레임(200)으로 생성하고, 제2 영상 정보(240)와 제2 깊이 정보(250)를 제2 MVC 양립 프레임(230)으로 생성할 수 있다. 제1 MVC 양립 프레임(200)과 제2 MVC 양립 프레임(230)은 MVC 인코더 및 MVC 디코더를 통해 함께 부/복호화될 수 있다.

도 3은 본 발명의 실시예에 따른 LDV 방식의 Advanced 3D 컨텐츠를 MVC 양립 프레임으로 변경시키는 방법을 나타낸 개념도이다.

LDV 방식에서 산출된 전방 칼라 정보(310)와 전방 깊이 정보(320)를 Side-by-Side 방식을 사용해 제1 MVC 양립 프레임(300)으로 생성하고, 후방 칼라 정보(340)와 후방 깊이 정보(350)를 Side-by-Side 방식을 사용해 제2 MVC 양립 프레임(330)으로 생성할 수 있다. 생성된 제1 MVC 양립 프레임(300)과 제2 MVC 양립 프레임(330)은 프레임은 MVC 인코더 및 MVC 디코더를 통해 함께 부/복호화될 수 있다.

도 4는 본 발명의 또 다른 실시예에 따른 Advance 3D 컨텐츠 표현 방법을 나타낸 개념도이다.

도 4에서는 Top-bottom 방식으로 Advance 3D 컨텐츠를 MVC 양립 프레임으로 변경시키는 방법을 나타낸 것이다.

도 4의 상단을 참조하면, MVD 방식의 Advanced 3D 컨텐츠의 경우, 제1 칼라 정보(410)와 제1 깊이 정보(420)를 Top-Down 방식을 사용해 제1 MVC 양립 프레임(400)으로 생성하고, 제2 칼라 정보(440)와 제2 깊이 정보(450)를 Top-Down 방식을 사용해 제2 MVC 양립 프레임(430)으로 생성할 수 있다. 제1 MVC 양립 프레임(400)과 제2 MVC 양립 프레임(430)은 MVC 인코더 및 MVC 디코더를 통해 함께 부/복호화될 수 있다.

도 4의 하단을 참조하면, LDV 방식에서 산출된 전방 칼라 정보(470)와 전방 깊이 정보(480)를 Top-Down 방식을 사용해 제1 MVC 양립 프레임(460)으로 생성하고, 후방 칼라 정보(493)와 후방 깊이 정보(496)를 Top-Down 방식을 사용해 제2 MVC 양립 프레임(490)으로 생성할 수 있다. 생성된 제1 MVC 양립 프레임(460)과 제2 MVC 양립 프레임(490)은 MVC 인코더 및 MVC 디코더를 통해 함께 부/복호화될 수 있다.

도 5는 본 발명의 또 다른 실시예에 따른 Advanced 3D 컨텐츠를 MVC 양립 프레임으로 표현하는 방법을 나타낸 개념도이다.

도 5를 참조하면, MVC 양립 프레임 표현 방식으로써 추가적으로 Interlaced 방식 또는 Check Box 방식을 사용할 수 있다.

Interlaced 방식(500, 520)과 Check Box 방식(540, 560)에서는 전술한 Side-by-Side 방식과 Top and Down 방식과 마찬가지로 칼라 정보와 깊이 정보를 하나의 프레임 정보로 생성하여 MVC 양립 프레임을 생성할 수 있다. 즉, MVD를 사용하는 Advanced 3D 컨텐츠의 경우 칼라 정보(570)와 깊이 정보(580), LDV를 사용하는 Advanced 3D 컨텐츠 방식에서는 산출된 전후방 칼라 정보(570)와 전후방 깊이 정보(580)를 기초로 MVC 양립 프레임을 생성할 수 있다. Interlaced 방식(500, 520)과 Check Box 방식(540, 560)에서 프레임에 포함되는 제1 정보는 칼라 정보가 되고, 제2 정보는 깊이 정보가 될 수 있다.

전술한 프레임 양립 방식 외에 두 개의 정보를 하나의 프레임으로 표현할 수 있는 방법을 사용하여 Advanced 3D 방식으로 표현된 컨텐츠 정보를 하나의 정보로 표현하는 방식을 사용하여 MVC 양립 프레임을 생성하는 것도 가능하고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

전술한 바와 같이 MVC 인코더 또는 MVC 디코더에서 부/복호화하도록 MVC 프레임 형태로 표현된 Advanced 3D 컨텐츠를 MVC 양립 프레임이라는 용어로 정의할 수 있고 MVC 양립 프레임은 원래 Advanced 3D의 영상 정보와 깊이 정보의 해상도를 다운 샘플링하여 표현될 수 있다. 다운 샘플링된 영상은 디코딩 과정을 수행하면서 원래의 해상도로 업샘플링된 영상으로 생성될 수 있다.

이하, 본 발명의 실시예에서는 설명의 편의상 MVC 부복호화를 수행함에 있어서 두 개의 프레임을 기초로 MVC 부복호화를 수행하는 방법에 대해 개시하지만, MVC 부복호화는 복수의 영상 정보를 기초로 영상 부복호화를 수행할 수 있는 방법으로 픽쳐 매트릭스(MOP, Matrix of Picture)를 기초로 시간적 유사도(Temporal Similarity) 및 화면 간 유사도(Inter-view Similarity) 등을 사용하여 복수의 영상을 부호화할 수 있다. 즉, MVC 부복호화는 복수의 프레임을 기초로 수행될 수 있다. 따라서, Advanced 3D 방법에 따라 복수개의 영상 정보가 생성될 수 있고 이에 기초하여 두 개 이상의 MVC 양립 프레임이 생성되고 이를 기초로 MVC 부복호화를 수행할 수 있다.

도 6은 본 발명의 또 다른 실시예에 따른 MVD 방식의 Advance 3D 컨텐츠를 MVC 양립 프레임으로 변경시키는 방법을 나타낸 개념도이다.

도 6을 참조하면, Advanced 3D 프레임을 기초로 MVC 양립 프레임을 생성한다(단계 S600).

전술한 바와 같이 MVD 방식의 경우, 제1 칼라 정보와 제1 깊이 정보를 기초로 MVC 양립 제1 프레임을 생성할 수 있고, 제2 칼라 정보와 제2 깊이 정보를 기초로 MVC 양립 제2 프레임을 생성할 수 있다. LDV 방식의 경우, 전방 영상 정보 및 전방 깊이 정보를 기초로 MVC 양립 제1 프레임 및 MVC 양립 제2 프레임을 생성할 수 있다. 전술한 바와 같이 Advanced 3D 컨텐츠를 MVC 양립 프레임으로 생성하기 위해 Side-by-Side 방식, Top-Down 방식, Interlaced 방식, Check Box 방식 등 다양한 프레임 양립 방식으로 MVC 양립 프레임을 생성할 수 있다. 원래의 영상 정보와 깊이 정보의 해상도를 MVC 양립 프레임을 생성하는 방법에 따라 다운 샘플링하여 MVC 양립 프레임이 생성될 수 있다.

MVC 양립 프레임을 기초로 MVC 부호화를 수행한다(단계 S610).

MVC 부호화 방법은 복수의 프레임 사이의 공간적 유사도 또는 시간적 유사도에 기초하여 프레임의 영상 정보 및 깊이 정보를 부호화하는 방법이 될 수 있고 프레임 양립 방법을 기초로 생성된 MVC 양립 프레임을 사용하여 MVC 부호화를 수행할 수 있다.

도 7은 본 발명의 또 다른 실시예에 따른 MVC 양립 프레임을 다시 MVD 방식의 Advance 3D 컨텐츠로 복호하는 방법을 나타낸 순서도이다.

도 7을 참조하면, 부호화된 MVC 양립 프레임을 복호화한다(단계 S700).

MVC 인코더를 통해 부호화된 MVC 양립 프레임은 MVC 디코더를 이용해 복호화될 수 있다.

복호화된 MVC 양립 프레임을 Advanced 3D 컨텐츠로 전환한다(단계 S710).

복호화된 MVC 양립 프레임을 기초로 원래의 Advanced 3D 컨텐츠 형태인 MVD 방식 또는 LDV 방식의 영상 정보로 복호할 수 있다. 예를 들어, MVD 방식일 경우, MVC 양립 프레임은 복수개의 칼라 정보 및 깊이 정보로 전환될 수있고, LDV 방식일 경우, MVC 양립 프레임은 복수개의 전방 칼라 정보 및 전방 깊이 정보, 복수개의 후방 칼라 정보 및 후방 깊이 정보를 포함한 프레임으로 전환될 수 있다.

복호화된 MVC 양립 프레임을 원래의 Advanced 3D 프레임으로 전환하기 위해서, 칼라 정보와 깊이 정보를 업샘플링할 수 있다. 복호화된 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하기 위해 Advanced 3D 컨텐츠가 MVC 양립 프레임으로 생성되기 위해 사용한 side-by-side 방법, top and bottom 방법과 같은 프레임 양립 방법에 대한 정보를 제공받고 이 정보에 기초하여 원래의 Advanced 3D 컨텐츠로 생성할 수 있다.

Advanced 3D 컨텐츠를 기초로 뷰 합성을 수행한다(단계 S720).

Advanced 3D 프레임에 포함된 칼라 정보와 깊이 정보를 이용해 디스플레이 방식에 따라 복수개의 가상뷰(Virtual view)를 생성할 수 있다. 즉, 두개의 영상 정보와 깊이 정보를 기초로 멀티뷰 렌더링(Multiview rendering)을 통해서 복수개의 가상 뷰(Virtual View)를 생성할 수 있다.

합성된 영상을 출력한다(단계 S730).

3D 디스플레이 장치를 통해 Advanced 3D 컨텐츠에 기초한 영상을 출력할 수 있다.

도 8은 본 발명의 또 다른 실시예에 따른 Advanced 3D 프레임을 MVC를 이용하여 부복호화하는 방법을 나타낸 개념도이다.

이하, 도 8에서는 깊이 정보와 영상 정보를 따로 생성하는 Advanced 3D 컨텐츠 중 MVD 영상에 대해서 개시하나, LDV와 같은 다른 Advanced 3D 컨텐츠에도 동일한 방법으로 적용될 수 있다.

도 8을 참조하면, 제1 칼라 정보 및 제1 깊이 정보와 제2 칼라 정보 및 제2 깊이 정보를 포함하는 MVD 영상(800)에 대해 제1 포맷 전환(805)을 수행할 수 있다.

제1 포맷 전환(805)은 전술한 바와 같이 MVD 또는 LDV와 같은 Advanced 3D 컨텐츠를 MVC 양립 프레임으로 전환하는 방법으로 Side-by-Side 방식, Top-Down 방식, Interlaced 방식, Check Box 방식 등 다양한 방법이 사용될 수 있다. 제1 포맷 전환(805)은 프레임 양립 방식에 따라 칼라 정보 또는 깊이 정보의 해상도를 다운 샘플링하여 하나의 프레임으로 생성할 수 있다.

제1 포맷 전환(805)을 통해 생성된 MVC 양립 프레임(810)은 하나의 프레임에 칼라 정보와 깊이 정보를 동시에 포함할 수 있고, 복수의 MVC 양립 프레임(810)은 MVC 인코더(820)에 의해 MVC 부호화될 수 있다.

부호화된 MVC 양립 프레임은 MVC 디코더(830)에 의해 MVC 복호화될 수 있고 복호화된 MVC 양립 프레임(840)은 다시 인코딩을 수행했던 때와 반대 절차로 제2 포맷 전환(850)을 수행할 수 있다. 제2 포맷 전환(850)은 제1 포맷 전환(805)에 의해 다운샘플링되었던 복호화된 프레임을 업샘플링하여 원래 영상의 해상도로 생성할 수 있다. 즉, 제2 포맷 전환(850)을 통해 다운 샘플링되어 하나의 프레임으로 표현되었던 영상 정보와 깊이 정보를 다시 각각의 복수의 영상 정보 및 깊이 정보로 복호화할 수 있다.

MVC 양립 프레임(840)은 제2 포맷 전환(850)을 수행하여 다시 Advanced 3D 컨텐츠(860)로 생성될 수 있다. 포맷 전환된 영상 정보 및 깊이 정보는 뷰 합성(870, View Synthesis)과정을 통해 임의의 가상 뷰(Virtual View)의 이미지를 합성할 수 있다. Advanced 3D 영상의 경우, 깊이 정보를 기초로 복수개의 시점으로 워핑을 시킬 수 있고 따라서, 연속적인 복수개의 가상 뷰들을 합성할 수 있다.

뷰 합성된 영상은 3D 디스플레이 장치(880)를 기초로 재생될 수 있다.

도 9는 본 발명의 실시예에 따른 부호화를 수행하는데 사용되는 제1 포맷 전환부를 나타낸 개념도이다.

도 9를 참조하면, 제1 포맷 전환부(900)는 다운 샘플링부(920), 프레임 합성부(940)를 포함할 수 있다.

다운 샘플링부(920)는 프레임 양립 방식에 따라서, 칼라 정보 또는 깊이 정보의 해상도를 수평 또는 수직 방향으로 감소시킬 수 있다. 예를 들어, 프레임 양립 방식이 Side-by-Side 방식인 경우, 칼라 정보를 포함하는 프레임의 수평 방향의 해상도를 반으로 감소시키고, 깊이 정보를 포함하는 프레임의 수평 방향의 해상도를 반으로 감소시킬 수 있고 Top and Down 방식인 경우, 칼라 정보를 포함하는 프레임의 수직 방향의 해상도를 반으로 감소시키고, 깊이 정보를 포함하는 프레임의 수직 방향의 해상도를 반으로 감소시킬 수 있다.

프레임 합성부(940)는 다운 샘플링부(920)를 통해 다운 샘플링된 영상을 하나의 프레임 정보로 생성할 수 있다. 예를 들어, Side-by-Side 방식인 경우, 다운 샘플링된 칼라 정보 프레임과 깊이 정보 프레임을 하나의 MVC 양립 프레임으로 합성할 수 있다. 생성된 MVC 양립 프레임은 MVC 인코더에 제공되어 부호화될 수 있다. 프레임 합성부에서는 현재 MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방법에 대한 정보를 생성할 수 있고, 현재 MVC 프레임을 생성하기 위해 사용된 프레임 양립 정보는 MVC 인코더에서 부호화될 수 있다.

도 10은 본 발명의 실시예에 따른 복호화를 수행하는데 사용되는 제2 포맷 전환부를 나타낸 개념도이다.

도 10을 참조하면, 제2 포맷 전환부(1000)는 프레임 분리부(1020), 업샘플링부(1040)를 포함할 수 있다.

프레임 분리부(1020)에서는 복호화된 하나의 MVC 양립 프레임을 기초로 두개의 프레임을 생성할 수 있다. 예를 들어, 하나의 MVC 양립 프레임은 하나의 칼라 정보 프레임과 깊이 정보 프레임이 다운 샘플링되어 포함되어 있는 구조이므로, MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방법에 대한 정보를 기초로 MVC 양립 프레임을 칼라 정보 프레임과 깊이 정보 프레임으로 분리할 수 있다.

프레임 분리부(1020)에서는 MVC 디코더에서 복호화된 프레임 양립 정보를 기초로 현재 MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방법에 대한 정보를 제공받을 수 있고, 이 정보에 기초하여 프레임을 원래 Advanced 3D 컨텐츠로 분리할 수 있다.

업샘플링부(1040)에서는 프레임 분리부(1020)에 의해 분리된 프레임을 업샘플링할 수 있다. 프레임 분리부(1020)에 의해 분리된 프레임은 제1 포맷 전환부에서 다운 샘플링되어 합성된 프레임으로써 해상도가 반으로 줄어든 프레임이 될 수 있다. 따라서, 프레임의 해상도를 증가시키기 위해서 업샘플링부1040()에서는 업샘플링을 수행하여 원래 Advanced 3D 영상을 복원할 수 있다.

표 1은 본 발명의 실시예에 따른 영상 정보 표현 방법은 수행하기 위한 구문 요소 정보를 나타낸 것이다. 구문 요소들은 MVC SEI 메시지에 해당 정보가 추가되어 현재 영상 정보의 생성 방식을 표현할 수 있다.

구문 요소 frame_packing_arrangement_type은 프레임을 패킹하는 방법에 대한 정보를 나타낼 수 있다. 전술한 바와 같이 Advanced 3D 컨텐츠를 MVC 양립 프레임으로 생성하는 방법에 인덱스(0:check board, 1:column interleaving, 2:row interleaving, 3: side-by-side, 4:top and bottom)를 매핑하고, 이러한 매핑 정보에 기초하여 현재 MVC 양립 프레임이 어떠한 프레임 패킹 방법으로 프래임 패킹되었는지 여부를 판단할 수 있다.

구문 요소 advanced_3d_data_type은 프레임 패킹된 Advanced 3D 영상이 MVD 방식인지 아니면 LDV 방식인지에 대한 정보를 나타낼 수 있다.

아래의 표 2는 신택스 구조를 나타내는 것으로서 frame_packing_arrangement_info(payloadsize)에 frame_packing_arrangement_type과 advanced3d_data_type을 표현할 수 있다.

위의 구문 요소 정보는 예시적으로 프레임을 패킹하는 타입 정보와 Advanced 3D 데이터 포맷을 나타내기 위한 정보를 나타낸 것으로 구문 요소 정보와 구문 요소 정보에 해당하는 뜻은 다른 방식으로 표현될 수 있다. 또한, 이러한 구문 요소 정보는 개별적으로 사용되거나 다른 구문 요소 정보에 결합되어 사용되는 것도 가능하다.

MVD(Multi-view Video plus Depth) 방식은 다양한 뷰에서 촬영한 영상 정보와 깊이 정보로 구성될 수 있다. 이러한 MVD 방식을 사용할 경우, 3차원 공간상의 한 점의 영상 정보와 깊이 정보는 복수개의 뷰의 영상 정보와 깊이 정보에 중복되어 표현될 수 있다. 부호화를 수행함에 있어 중복된 영상 정보를 제거하고 다른 뷰에서 표현되지 않은 부분에 대해 영상 정보와 깊이 정보를 산출하기 위한 방법으로 RDV(Residual Depth Video) 방식을 사용할 수 있다. RDV 데이터 포맷의 경우, 부호화를 수행시 중복되는 데이터는 제거하고 다른 뷰에서 표현되지 않은 부분의 영상 정보와 깊이 정보만을 남겨두기 때문에 다른 뷰와 중복되는 영역은 인코딩을 수행하지 않는 인코딩할 데이터가 존재하지 않는 영역(Blank 영역)이 된다. 따라서, 이러한 블랭크 블록의 위치에 대해 전송해주는 경우, 해당 영역에 대한 부복호화가 수행되지 않기 때문에 부복호화 복잡도가 낮아지고 부복호화 효율이 증가될 수 있다. 이하, RDV 데이터 포멧에서 사용하는 부호화 방식을 블랭크 코딩 방식이라고 한다.

표 3은 본 발명의 또 다른 실시예에 따른 해당 시퀀스에서 블랭크 코딩을 수행할지 여부를 나타내는 구문요소를 나타낸 것이다.

표 3에서는 SPS(Sequence Parameter Set)영역에서 구문 요소enable_blank_flag를 사용하여 현재 시퀀스가 블랭크를 사용하여 블랭크 코딩을 수행하는 RDV 방식 데이터인지 아니면, 블랭크 코딩을 수행하지 않는 MVD 방식의 데이터인지 여부를 판단할 수 있다. 예를 들어, enable_blank_flag가 1인 경우, 블랭크 코딩을 사용하는 RDV 데이터로 판단하고, enable_blank_flag가 0인 경우 블랭크 코딩을 사용하지 않는 MVD 데이터로 판단할 수 있다.

슬라이스 레벨에서는 슬라이스 별로 블랭크 코딩을 사용할지 여부를 나타낼 수 있다.

아래의 표 4는 본 발명의 실시예에 따른 슬라이스 별로 블랭크 코딩을 사용할지 여부를 표시하는 구문 요소를 나타낸 것이다.

표 4를 참조하면, 만약 SPS 단위에서 구문 요소 enable_blank_flag를 통해서 현재 시퀀스에서 블랭크 코딩을 사용하는 것으로 결정된 경우, 새로운 구문 요소인 use_blank_flag를 사용하여 슬라이스 별로 블랭크 코딩을 사용할지 여부를 결정할 수 있다. enable_blank_flag가 0일 경우, use_black_flag는 0으로 추정될 수 있다.

표 5는 현재 부호화 단위가 코딩이 수행되지 않는 블랭크 부호화 단위인지 여부를 나타내는 표이다.

표 5를 참조하면, 부호화 단위에서 블랭크 코딩을 수행할지 여부를 새로운 구문요소인 blank_flag를 사용하여 표현할 수 있다.

부호화 단위 레벨에서 blank_flag는 현재 부호화 단위에 부호화를 수행할 정보가 존재하는지 여부에 대해 표시할 수 있다. use_blank_flag가 0인 경우, blank_flag값은 0으로 추정될 수 있다.

표 3 내지 표 5에서 전술한 구문 요소는 시퀀스, 슬라이스 또는 부호화 단위가 부호화를 수행할지 여부에 대한 정보를 표현하는 하나의 실시예로써 블랭크 코딩을 수행하기 위한 다른 다양한 구문 요소 정보로 표현되는 실시예들이 수행될 수 있다. 예를 들어, 특정한 경우, 시퀀스 레벨에서 무조건적으로 블랭크 코딩을 수행하는 경우, 표 3에서 전술한 enable_blank_flag와 같은 구문 요소 정보가 사용되지 않을 수 있고, 그에 따라 표 4 및 표 5의 구문 요소 표현 방법이 달라질 수 있다.

도 11은 본 발명의 또 다른 실시예에 따른 블랭크 코딩 여부 정보를 복호화 하는 방법을 나타낸 순서도이다.

도 11을 참조하면, 시퀀스에서 블랭크 코딩을 수행하는지 여부를 판단한다(단계 S1100).

표 3에서 전술한 바와 같이 SPS에 포함된 enable_blank_flag 정보를 통해 현재 시퀀스에서 블랭크 코딩을 수행한다고 판단할 수 있다.

블랭크 코딩을 수행하지 않는 경우, 일반적인 MVD 복호화 절차를 수행할 수 있다(단계 S1110).

슬라이스 레벨에서 현재 슬라이스가 블랭크 코딩을 수행하는지 여부 정보를 복호화한다(단계 S1120).

시퀀스 레벨에서 블랭크 코딩을 수행하는 것으로 판단된 경우, 슬라이스 레벨에서 현재 슬라이스가 블랭크 코딩을 수행하는지 여부에 대해서 판단할 수 있다.

현재 슬라이스에서 블랭크 코딩을 수행하지 않는 경우, 슬라이스에서는 일반적인 복호화 절차를 통해 복호화를 수행할 수 있다(단계 S1130).

현재 슬라이스에서 블랭크 코딩을 수행하는 경우, 해당 슬라이스에 포함되는 부호화 블록에서 블랭크 코딩이 수행되는지 여부를 표시하기 위한 맵 정보인 2차원 배열의 블랭크 맵을 생성할 수 있다. 블랭크 맵에서 블랭크 여부를 표현하는 정보는 0으로 초기화될 수 있다.

블랭크 맵을 기초로 부호화 단위에 대해 복호화 여부 결정한다(단계 S1140).

현재 부호화 단위의 블랭크 코딩 수행 여부를 결정하는 blank_flag가 1인 경우, 해당 부호화 단위의 부호화를 수행하지 않을 수 있고, 블랭크 맵 정보를 표시하는 BlankMap[x][y]에 1을 기록하여 현재 부호화 단위가 부호화를 수행하지 않음을 표시할 수 있다. 또한, 블랭크되어 코딩을 수행하지 않는 부호화 단위의 경우, 주변 부호화 단위의 화면 내 예측 또는 화면 간 예측을 수행함에 있어서 참조 블록으로 사용되지 않을 수 있다. 블랭크 플래그가 0인 경우, 해당 부호화 단위에 대해 부호화를 수행할 수 있다.

도 10은 표 3 내지 표 5에서 전술한 블랭크 코딩 방법에 기초하여 설명한 것으로써 본 발명의 본질에서 벋어나지 않는한 다른 블랭크 코딩 방법을 수행할 수 있다. 예를 들어, 시퀀스 레벨에서 해당 시퀀스가 블랭크 코딩을 수행하는지 여부를 결정하는 단계를 수행하지 않을 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

MVC(Multiview Video Compression) 디코더로 부호화된 MVC 양립 프레임을 복호화하는 단계; 및
복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계를 포함하는 영상 복호화 방법.
제1항에 있어서,
상기 Advanced 3D 프레임을 이용하여 뷰 합성을 수행하는 단계를 더 포함하는 영상 복호화 방법.
제1항에 있어서, 상기 MVC 양립 프레임은,
프레임 양립 방식을 사용하여 상기 Advanced 3D 프레임의 칼라 정보와 깊이 정보를 하나의 프레임으로 생성한 프레임인 영상 복호화 방법.
제3항에 있어서, 상기 프레임 양립 방식은,
check board 방식, column interleaving 방식, row interleaving 방식, side-by-side 방식, top and bottom 방식 중 적어도 하나의 방식인 영상 복호화 방법.
제1항에 있어서, 상기 Advanced 3D 프레임은,
칼라 정보와 깊이 정보를 포함하는 MVD(Multiview Video plus Depth) 방식 또는 전후방 칼라 정보 및 전후방 깊이 정보를 포함하는 LDV(Layered Depth Video) 방식인 영상 복호화 방법.
제1항에 있어서, 상기 복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계는,
상기 Advanced 3D 프레임이 MVD(Multiview Video plus Depth) 방식인 경우, 상기 MVC 양립 프레임에 포함된 제1 정보를 기초로 칼라 정보를 추출하여 업샘플링 하고, 상기 MVC 양립 프레임에 포함된 제2 정보를 기초로 깊이 정보를 추출하여 업샘플링하는 단계인 영상 복호화 방법.
제1항에 있어서, 상기 복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계는,
상기 Advanced 3D 프레임이 LDV(Layered Depth Video) 방식인 경우, 상기 MVC 양립 프레임에 포함된 제1 정보를 기초로 전방 칼라 정보 또는 후방 칼라 정보를 추출하여 업샘플링하고, 상기 MVC 양립 프레임에 포함된 제2 정보를 기초로 깊이 정보를 추출하여 업샘플링하는 단계인 영상 복호화 방법.
제1항에 있어서, 상기 복호화된 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 전환하는 단계는,
상기 MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방식 정보를 복호화하고 복호화된 프레임 양립 방식 정보에 기초하여 상기 MVC 양립 프레임을 Advanced 3D 프레임으로 생성하는 단계인 영상 복호화 방법.
코딩을 수행하지 않는 블랭크 부호화 단위의 위치 정보를 복호화하는 단계; 및
상기 위치 정보를 기초로 부호화 단위에서 복호화를 수행하는 단계를 포함하는 영상 복호화 방법.
제9항에 있어서, 상기 코딩을 수행하지 않는 블랭크 부호화 단위의 위치 정보를 복호화하는 단계는,
해당 슬라이스에 포함된 부호화 단위에서 복호화가 수행되는지 여부를 표시하는 블랭크 맵 정보를 복호화하고 상기 블랭크 맵 정보를 기초로 코딩을 수행하지 않는 블랭크 부호화 단위의 위치 정보를 복호화하는 단계인 영상 복호화 방법.
제9항에 있어서,
SPS에 저장된 블랭크 코딩 여부 정보를 기초로 시퀀스의 블랭크 코딩 여부를 결정하는 단계; 및
상기 시퀀스에서 블랭크 코딩을 수행할 경우, 슬라이스에서 블랭크 코딩을 수행하는지 여부를 결정하는 단계를 포함하는 영상 복호화 방법.
칼라 정보 및 깊이 정보를 다운 샘플링하는 다운샘플링부;
상기 다운샘플링부에 의해 다운 샘플링된 상기 칼라 정보 및 상기 깊이 정보를 하나의 MVC 양립 프레임으로 생성하는 프레임 합성부를 포함하는 영상 부호화 장치.
제12항에 있어서, 상기 프레임 합성부는,
상기 MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방법 정보를 생성하는 영상 부호화 장치.
MVC 양립 프레임을 적어도 하나의 칼라 정보 및 적어도 하나의 깊이 정보로 분리하는 프레임 분리부; 및
상기 프레임 분리부에 의해 분리된 상기 칼라 정보 및 상기 깊이 정보를 업샘플링하는 업샘플링부를 포함하는 영상 복호화 장치.
제14항에 있어서, 상기 프레임 분리부는,
상기 MVC 양립 프레임을 생성하기 위해 사용된 프레임 양립 방법 정보를 기초로 상기 MVC 양립 프레임을 분리하는 영상 부호화 장치.