KR20140039231A

KR20140039231A - 3d 서비스 처리 방법 및 장치

Info

Publication number: KR20140039231A
Application number: KR1020137033737A
Authority: KR
Inventors: 서종열; 최지현
Original assignee: 엘지전자 주식회사
Priority date: 2011-07-15
Filing date: 2012-07-16
Publication date: 2014-04-01
Also published as: EP2733945A2; CA2841192A1; CA2841192C; US9602798B2; WO2013012227A3; EP2733945A4; WO2013012227A2; CN103650492B; CN103650492A; US20140132718A1; KR101960315B1

Abstract

본 명세서에서는 3D 서비스 처리 방법 및 장치가 개시된다. 여기서, 본 발명에 따른 3D 서비스 장치의 일 예는, 3D 서비스를 포함한 방송 신호를 수신하는 수신부; 방송 신호로부터 3D 서비스에 관한 SI 정보를 추출하고 디코딩하는 SI 처리부; 3D 뷰 데이터와 뎁쓰 데이터를 디코딩하는 제1 처리부; 제1 처리부의 디코딩된 신호를 입력으로 상기 디코딩된 SI 정보에 기초하여 임의의 시점의 가상 뷰를 생성하는 제2 처리부; 및 제2 처리부에서 생성된 임의의 시점의 가상 뷰에 기초하여 3D 서비스 데이터를 생성하여 출력하는 아웃풋 포맷터;를 포함한다.

Description

3D 서비스 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A 3D SERVICE}

본 발명은 3D(3-Dimntional) 서비스에 관한 것으로, 더욱 상세하게는 임의의 시점의 가상 3D 시점(3D view)를 지원을 위한 시그널링(signaling)을 포함하여 그 처리 방법 및 장치에 관한 것이다.

3DTV의 보급이 본격화되면서 3D 서비스에 대한 요구 내지 관심과 그를 위한 연구가 활성화되고 있다.

3D 영상은, 두 눈의 스테레오(stereo)시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼는데, 상기 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 느끼도록 한다.

이러한 3D 영상 디스플레이 방법에는, 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 레프트 뷰(left view) 이미지와 우안에서 시청되기 위한 라이트 뷰(right view)이미지를 제공하여, 안경 또는 디스플레이 장비 자체를 통해 3차원 영상 효과를 인지할 수 있도록 한다.

전술한 바와 같이, 3D 방송은 레프트 뷰 이미지와 라이트 뷰 이미지를 각각 전달하고, 이를 방송 수신기에서 적절히 처리하여 3D 영상을 만들어야 하므로, 3D 방송 신호 처리를 위한 시그널링 정보가 요구된다.

한편, 종래 3DTV 수신기는 고정된 시점에서의 제한적인 입체 영상의 시청만이 가능하여 시청자가 원하는 시점을 자유롭게 선택하여 보기 어려운 문제가 있다. 이러한 문제점은 멀티-뷰 방송이나 무안경 방식의 3DTV에서도 문제가 될 수 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 일 과제는 3D 비디오를 시청하는 과정에서 필요에 따라 입체감을 조절하고자 하는 경우에, 새로운 레프트 뷰 이미지와 라이트 뷰 이미지를 수신기에서 생성해 이를 조합하여 의도한 입체감을 조절하고자 하는 것이다.

본 발명의 다른 과제는, 뎁쓰 맵과 각 2D 영상(L, R)에 대한 카메라 파라미터를 이용하여, 각 영상(L, R)에 대한 3D 정보를 복원하고, 기하학적 투영을 통해 임의의 시점에 대한 영상을 생성하는 것이다.

본 발명의 또 다른 과제는, 임의의 시점에서 3D 뷰를 생성하는데 필요한 정보를 시그널링하고 3D 서비스를 처리하는 방법 및 장치를 제공하는 것이다.

본 발명은 상기와 같은 과제를 해결하기 위한 것으로, 본 발명에 따른 3D 서비스 장치의 일 예는, 3D 서비스를 포함한 방송 신호를 수신하는 수신부; 방송 신호로부터 3D 서비스에 관한 SI 정보를 추출하고 디코딩하는 SI 처리부; 3D 뷰 데이터와 뎁쓰 데이터를 디코딩하는 제1 처리부; 제1 처리부의 디코딩된 신호를 입력으로 상기 디코딩된 SI 정보에 기초하여 임의의 시점의 가상 뷰를 생성하는 제2 처리부; 및 제2 처리부에서 생성된 임의의 시점의 가상 뷰에 기초하여 3D 서비스 데이터를 생성하여 출력하는 아웃풋 포맷터;를 포함한다.

그리고 본 발명에 따른 3D 서비스를 처리하는 방법의 일 예는, 3D 서비스를 포함한 방송 신호를 수신하는 단계; 방송 신호로부터 3D 서비스에 관한 SI 정보를 추출하고 디코딩하는 단계; 3D 뷰 데이터와 뎁쓰 데이터를 디코딩하는 단계; 디코딩된 신호를 입력으로 상기 SI 정보에 기초하여 임의의 시점의 가상 뷰를 생성하는 단계; 및 생성된 임의의 시점의 가상 뷰에 기초하여 3D 서비스 데이터를 생성하여 출력하는 단계;를 포함하여 이루어진다.

본 발명에 따르면,

첫째, 3D 비디오를 시청하는 과정에서 임의의 시점에서의 3D 뷰를 통해 의도한 입체감을 조절할 수 있는 효과가 있다.

둘째, 뎁쓰 맵과 각 2D 영상(L, R)에 대한 카메라 파라미터를 이용하여, 각 영상(L, R)에 대한 3D 정보를 복원하고, 기하학적 투영을 통해 임의의 시점에 대한 영상을 생성할 수 있는 효과가 있다.

셋째, 임의의 시점에서 3D 시점을 생성하는데 필요한 정보를 시그널링하고 3D 서비스를 처리하는 방법 및 장치를 제공할 수 있는 효과가 있다.

도 1은 본 발명에 따른 3D 방송 수신기의 일 예를 설명하기 위해 도시한 도면,
도 2는 도 1의 제2 처리부(160) 내 뷰 합성 모듈(162)의 상세 구성 블록도를 도시한 도면,
도 3은 가상 뷰 합성과 관련하여, 비디오 및 뎁쓰 요소의 구성을 설명하기 위해 도시한 도면,
도 4는 view synthesis descriptor의 일 예를 설명하기 위해 도시한 도면,
도 5는 카메라 파라미터의 일 예를 설명하기 위해 도시한 도면,
도 6은 view synthesis descriptor를 포함한 PMT 구성의 일 예를 설명하기 위해 도시한 도면,
도 7은 view synthesis descriptor를 포함한 TVCT 구성의 일 예를 설명하기 위해 도시한 도면,
도 8은 view synthesis descriptor를 포함한 SDT 구성의 일 예를 설명하기 위해 도시한 도면,
도 9는 view_synthesis_info_data를 전송하는 방법의 일 예를 설명하기 위해 도시한 도면,
도 10은 view synthesis info SEI message의 일 예를 설명하기 위해 도시한 도면,
도 11은 view synthesis SEI descriptor의 일 예를 도시한 도면,
도 12는 도 2의 뷰 합성 모듈(162) 내 임의의 시점 영상 한 개를 생성하는 일 예를 설명하기 위해 도시한 도면,
도 13은 도 12에서 제너럴 워핑 수행을 설명하기 위해 도시한 도면,
도 14는 도 12에서 1D 패러렐 워핑 수행을 설명하기 위해 도시한 도면,
도 15는 뎁쓰 타입의 일 예를 설명하기 위해 도시한 도면,
도 16은 1D 패러렐 워핑 수행 과정을 더욱 상세하게 설명하기 위해 도시한 도면,
도 17은 카메라 배치 및 Z 값 측정의 일 예를 설명하기 위해 도시한 도면, 그리고
도 18은 도 17에서 i번째 카메라의 파라미터 세부 항목의 설명하기 위해 도시한 도면이다.

발명의 실시를 위한 최선의 형태

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

3D 시스템에서, 전송 측에서 미리 정한 시점에 대한 영상과 정보를 제공하면, 수신 측에서 해당 영상과 정보에 기초하여 고정된 시점(fixed view)에서의 입체 영상을 제공하는 형태의 3D 서비스가 일반적이다. 다시 말하면, 대부분의 수신기에서 동일한 영상과 정보에 기초한 동일한 시점 또는 고정된 시점의 입체 영상을 사용자에게 제공한다.

이러한 3D 서비스는, 사용자의 개인 취향, 연령, 환경, 수신기의 성능 등을 전혀 고려하지 않고 컨텐트 제공자 또는 서비스 제공자의 의도에 따라 일방향적으로 이루어져 오히려 컨텐트를 소비하는 사용자의 만족도를 떨어뜨리거나 제대로 구현되지 않는 등 불편함을 줄 수도 있다.

따라서, 사용자 또는 수신기에서 입체감을 적절히 조절할 수 있도록 임의의 시점을 선택하여 입체감을 조절할 수 있도록 유연하게 처리할 필요가 있다. 한편, 이러한 내용은 멀티-뷰 방송이나 무안경 방식의 3D 서비스에서도 적용 가능하다.

본 명세서에서는 임의의 시점에서의 3D 뷰를 제공하는 내용에 대해 설명하는데, 이를 위해 예를 들어, 뎁쓰 맵(depth map)과 각 2D 영상(L, R)에 대한 카메라 파라미터(camera parameter)를 이용하여 각 영상(L, R)에 대한 3D 정보를 복원하고, 기하학적 투영을 통해 임의의 시점에 대한 영상을 생성할 수 있다. 한편, 이를 위해 임의의 시점에서 3D 뷰를 생성하는데 필요한 정보를 시그널링(signaling)하고 3D 서비스를 처리하는 방법 및 장치를 제공한다. 그러한 예로 해당 부분에서 뷰 합성(View synthesis)을 위한 시그널링 정보 또는 서비스 정보(이하 ‘시그널링 정보’)를 정의하고, 이를 송수신 즉, 시그널링 하는 방법의 예(들)을 구체적으로 설명한다. 다만, 이는 본 발명의 이해를 돕고 설명의 편의를 위한 것으로 본 발명의 기술 사상은 이러한 실시 예에만 한정되는 것은 아니다.

또한, 본 명세서에서는 상술한 바와 같이 3D 뷰를 생성하기 위해 필요한 각종 변수와 데이터를 정의하고 이를 이용하고자 한다.

이하 본 명세서에서 “시그널링 정보(signaling information)”는, 주로 임의의 시점에 대한 가상의 3D 뷰에 관한 3D 서비스를 위한 것으로 예를 들어, 방송 서비스와 관련하여 이용되는 PSI/PSIP(Program Specific Information/Program and System Information Protocol), DVB-SI(Digital Video Broadcasting-Service Information) 등의 정보 내 또는 그와 연동되어 정의 또는/및 이용될 수 있다.

한편, 본 명세서에서 “장치”는, 직접 또는 외부와 연결 등을 통해 간접으로 3D 서비스를 처리하는 디지털 기기를 모두 포함하는 것이나 편의상 방송 수신기를 예로 하여 설명한다. 이러한 디지털 기기로는, 스마트 TV, IPTV 등 고정 기기, 스마트 폰, 태블릿 PC, 노트북 등과 같은 모바일 기기 등과 같이, 3D 서비스를 포함한 신호 내지 컨텐트 뿐만 아니라 블루레이, 비디오 CD, 게임, 애플리케이션, 소프트웨어 등을 처리 또는/및 출력하는 모든 기기를 포함한다. 그 밖에 상기 디지털 기기는 필요에 따라 네트워크를 통해 다른 디지털 기기와 연동될 수도 있으며, 별도의 OS를 더 구비할 수도 있다.

도 1은 본 발명에 따른 3D 방송 수신기의 일 예를 설명하기 위해 도시한 도면이다.

도 1을 참조하면, 3D 방송 수신기는, 수신부(110), 복조부(120), 역다중화부(130), SI 프로세서(140), 제1 처리부(150), 제2 처리부(160) 및 아웃풋 포맷터(170)을 포함하여 구성될 수 있다.

수신부(110)는, RF 채널을 통해 3D 서비스를 위한 뷰 이미지 데이터와 그를 위한 시그널링 정보를 포함한 3DTV 방송 신호를 수신한다.

복조부(120)는, 수신된 3DTV 방송 신호를 복조한다.

역다중화부(130)는, 복조된 3DTV 방송 신호로부터 뷰 이미지 데이터를 포함한 비디오 데이터, 오디오 데이터 및 시그널링 데이터를 역다중화하여 해당 구성으로 전송한다.

SI 프로세서(140)는, 역다중화된 시그널링 데이터를 수신하여 이를 프로세싱한다. 프로세싱된 시그널링 데이터는 제1 처리부(150), 뷰 합성 모듈(162), 아웃풋 포맷터(170) 등으로 전송되어 해당 구성에서의 처리에 이용되거나 도시되진 않았으나 내부 또는 외부에 구비된 SI 데이터베이스(DB)에 일시 저장된다. 예컨대, SI 프로세서(140)는, 프로세싱된 시그널링 데이터 중 베이스 레이어(Base Layer)와 인핸스먼트 레이어(Enhancement Layer)의 영상 데이터에 대한 시그널링 데이터는 상기 제1 처리부(150)로 전송하고, 3D 가상 뷰에 대한 시그널링 데이터는 제2 처리부(160)로 전송한다.

제1 처리부(150)는, 제1 뷰 처리부와 제2 뷰 처리부를 포함하여 구성될 수 있다. 한편, 상기 제1 뷰 처리부는, 제1 디코더(152)와 제2 디코더(154)를 포함하여 구성되고, 상기 제2 뷰 처리부는, 제3 디코더(156)와 제4 디코더(158)를 포함하여 구성될 수 있다. 이러한 제1 처리부(150)는 전술한 전송측에 의해 미리 결정된 고정된 시점의 3D 서비스에 필수적인 처리를 위한 구성이다.

다만, 이러한 제1 처리부(150)의 구성은 예컨대, 3D 서비스의 타입에 따라 다양하게 적응적인 구성으로 구현될 수 있으나, 본 명세서에서는 편의상 베이스 레이어와 인핸스먼트 레이어의 3D 서비스 데이터 처리를 위한 구성을 예로 하여 각각 제1 뷰 처리부와 제2 뷰 처리부에서 처리된다.

제1 뷰 처리부에서, 제2 디코더(154)는, 베이스 레이어의 뷰 이미지 데이터를 디코딩하고, 제1 디코더(152)는 상기 제2 디코더(154)에서 디코딩되는 베이스 레이어 뷰 이미지 데이터에 대한 뎁쓰 정보를 디코딩한다. 여기서, 베이스 레이어는 AVC 레이어로 뷰 이미지 데이터가 AVC 코딩되었음을 나타낼 수 있다.

제2 뷰 처리부에서, 제3 디코더(156)는, 인핸스먼트 레이어의 뷰 이미지 데이터를 디코딩하고, 제4 디코더(158)는 상기 제3 디코더(156)에서 디코딩되는 인핸스먼트 레이어 뷰 이미지 데이터에 대한 뎁쓰 정보를 디코딩한다. 여기서, 인핸스먼트 레이어는 MVC 익스텐션 레이어로 뷰 이미지 데이터가 MVC 코딩되었음을 나타낼 수 있다.

이렇게 제1 처리부(150)를 통해 제1 뷰 이미지 데이터 및 뎁쓰 정보 그리고 제2 뷰 이미지 데이터 및 뎁쓰 정보가 생성되어 제2 처리부(160) 또는 아웃풋 포맷터(170)로 전송될 수 있다. 한편, 상기 제1 뷰 이미지 데이터 및 뎁쓰 정보는 레프트 뷰 이미지 데이터로, 상기 제2 뷰 이미지 데이터 및 뎁쓰 정보는 라이트 뷰 이미지 데이터로 정의할 수 있으나 그 반대일 수도 있다.

또한, 제2 처리부(160)는, 뷰 합성 모듈(162), 제1 가상 뷰 처리부(164) 및 제2 가상 뷰 처리부(166)를 포함하여 구성될 수 있다. 이에 대해서는 후술하는 도 2에서 보다 상세하게 설명한다.

아웃풋 포맷터(170)는, 제1 처리부(150)와 제2 처리부(160)를 거쳐 수신되는 레프트 뷰 이미지와 라이트 뷰 이미지 데이터를 통해 출력 주파수에 따라 합성된 3D 뷰 데이터를 생성하여 출력한다.

한편, 상기에서, 3D 방송 수신기를 구성하는 구성요소들은 그 기능, 성능 등을 고려하여 복수의 구성요소가 모듈화되어 하나의 구성으로 구현되거나 반대일 수 있다.

또한, 도 1에 도시되진 않았으나, OSD 생성과 관련된 OSD 엔진, 믹서 등의 구성이 더 포함될 수 있으며, 디스플레이와 스피커를 포함한 출력부를 포함하거나 또는 외부에 구비되고 HDMI 인터페이스 등으로 연결될 수도 있다.

도 2는 도 1의 제2 처리부(160) 내 뷰 합성 모듈(162)의 상세 구성 블록도를 도시한 도면이다.

제2 처리부(160)는, 제1 처리부(150)를 통해 전달되는 레프트 뷰 이미지 데이터와 라이트 뷰 이미지 데이터 및 시그널링 정보에 기초하여 사용자 또는/및 수신기에서 임의의 시점을 선택 가능하고, 선택된 임의의 시점에서의 3D 가상 뷰 이미지 데이터를 생성/처리하는 구성이다.

전술한 도 1에서 제2 처리부(160)는 뷰 합성 모듈(162), 제1 가상 뷰 처리부(164) 및 제2 가상 뷰 처리부(166)를 포함하여 구성되었으나, 도 2에서는 뷰 합성 모듈(162)과 아웃풋 포맷터(170)만을 도시하였으나 그 사이에 상기 제1 가상 뷰 처리부(164) 및 제2 가상 뷰 처리부(166)가 있음은 자명하다.

뷰 합성 모듈(162)은, 크게 제1 가상 뷰 처리부(164)에 대응되는 제1 합성부와 제2 가상 뷰 처리부(166)에 대응되는 제2 합성부로 구성된다.

제1 합성부는, 제1 워핑부(212), 제1 머징부(214), 제1 홀-필링부(216) 및 제1 바운더리 노이즈 제거부(218)을 포함하여 구성된다. 한편, 제2 합성부도, 제2 워핑부(222), 제2 머징부(224), 제2 홀-필링부(226) 및 제2 바운더리 노이즈 제거부(228)을 포함하여 구성된다. 다만, 이는 본 발명의 설명의 편의상 필요한 구성만을 도시한 것으로, 필요에 따라 일부 구성이 더 추가되거나 생략될 수도 있다.

도 2를 참조하면, 뷰 합성 모듈(162)에서 임의의 3D 가상 뷰를 생성하는 과정은, 입력되는 레프트 뷰 이미지 데이터(L_view & L_depth)와 라이트 뷰 이미지 데이터(R_view & R_depth)를 워핑부에서 워핑 처리하여 레프트 뷰 이미지 데이터로부터 워프된 데이터와 라이트 뷰 이미지 데이터로부터 워프된 데이터를 생성하여 이를 머징부에서 머징하고 홀-필링부에서 홀(들)을 필링한 후 바운더리 노이즈 제거부에서 바운더리의 노이즈를 제거함으로써 합성된 레프트 뷰 및 합성된 라이트 뷰를 생성한다.

여기서, 워핑부는 후술할 뷰 합성 정보로부터 카메라 파라미터, 뎁쓰 타입, 뎁쓰_near, 뎁쓰_far 등 중 적어도 하나 이상의 정보에 기초하여 각 뷰 이미지 데이터에 대해 워핑 처리를 한다.

또한, 워핑부는, 뎁쓰 정보와 홀 정보를 머징부, 홀-필링부, 바운더리 노이즈 제거부로 제공하여 머징과 홀(들) 필링시에 이용하도록 한다.

이렇게 생성된 합성된 레프트 뷰 및 합성된 라이트 뷰는 각각 제1 가상 뷰 처리부(164)와 제2 가상 뷰 처리부(166)을 거쳐 아웃풋 포맷터(170)를 거쳐 임의의 시점의 합성된 3D 뷰가 제공되는 것이다.

한편, 도 2에서는 임의의 시점에서의 합성된 3D 뷰 형성을 위한 과정을 설명하였다. 관련하여, 상기 과정에서 이용된 워핑, 머징, 홀-필링, 바운더리 노이즈 제거 과정에서 대해서는 후술하는 도면을 참조하여 보다 상세하게 설명하겠다.

도 3은 가상 뷰 합성과 관련하여, 비디오 및 뎁쓰 요소의 구성을 설명하기 위해 도시한 도면이다.

도 3은 예컨대, 본 발명과 관련하여 뷰 합성을 위한 방송 서비스 구조의 일 예를 도시한 것이다. 여기서, 3D 프로그램/서비스/채널은 예컨대, 비디오 데이터와 뎁쓰 데이터로만 구성될 수 있다.

도 3에서는 제1 (가상) 뷰를 위한 비디오 엘레멘트와 제1 (가상) 뷰를 위한 뎁쓰 엘레멘트와 제2 (가상) 뷰를 위한 비디오 엘레멘트와 제2 (가상) 뷰를 위한 뎁쓰 엘레멘트가 도시되었다.

다만, 도 3에 도시된 방송 서비스 구조는 본 발명의 설명의 편의를 위해 도시한 일 예일 뿐, 본 발명이 이에 한정되는 것은 아니며 기 공지된 방송 서비스 구조 내지 향후 기술 발전에 따라 추가된 방송 서비스 구조 등에서도 모두 적용 가능함을 자명하다.

도 4는 뷰 합성 디스크립터(view synthesis descriptor)의 일 예를 설명하기 위해 도시한 도면이다.

도 4는, 본 발명에 따라 임의의 3D 가상 뷰를 생성하기 위해 필요한 시그널링 정보를 정의한다. 이하에서 이러한 시그널링 정보는 뷰 합성 정보라 하며, 이러한 뷰 합성 정보는 예컨대, 기 구성된 SI 정보들과 호환성을 가지며 정의되고 전송될 수 있다.

한편, 이러한 뷰 합성 정보는 일반적으로 SI에서 정의되는 테이블, 디스크립터, 필드 등 다양한 형태로 정의 가능하다. 다만, 본 명세서에서는 일 예로, 디스크립터 형태로 정의하고 뷰 합성 디스크립터로 명명하여 설명한다.

이러한 뷰 합성 디스크립터는 예컨대, PMT(Program Map Table), TVCT(Terrestrial Virtual Channel Table), SDT(Service Description Table), EIT(Event Information Table) 등에 포함되어 현재 프로그램, 채널, 서비스에 포함된 비디오 혹은 뎁쓰 스트림(Video stream or Depth stream)에 대한 3D 영상 획득 정보를 알려 주는데, 이에 대해서는 후술한다.

뷰 합성 디스크립터는 예를 들어, 레프트 뷰 또는 라이트 각 뷰에 대한 3D 취득과 관련된 정보를 제공하며 3D 수신기에서 임의의 3D 시점에 대한 가상 뷰 생성에 필요한 정보를 제공한다.

한편, 뷰 합성 디스크립터는, 각 뷰에 대한 정보를 나타내는 경우 N은 1이며 이 경우 해당 시점에 대한 정보만을 제공한다.

뷰 합성 디스크립터에서 프로그램, 채널, 또는 서비스에 포함된 모든 뷰에 대한 정보를 나타낼 수 있으며 이 경우 N은 실제 전송되는 뷰의 개수를 의미한다.

이하 도 4를 참조하여, 뷰 합성 디스크립터를 구성하는 각 필드 또는 엘레멘트(이하 ‘필드’)에 대해 보다 상세하게 설명하면, 다음과 같다.

descriptor_tag 필드와 descriptor_length 필드는, 본 디스크립터가 뷰 합성 디스크립터임과 본 디스크립터의 길이를 알려준다.

left_view_flag 필드는, 뒤따르는 depth_type, filter_coefficient 등이 어느 뷰(view)에 적용되는지를 지시한다. 참고로 스테레오스코픽 비디오 서비스(stereoscopic video service)의 경우(N이 2 또는 그 이하), 본 필드는 레프트 뷰, 라이트 뷰를 알려준다. 만약 상기 N > 2인 경우에는 본 필드는 1 비트보다 커야 하며 뷰의 상대적 위치를 알려주도록 확장될 수 있다. 예를 들어, 0은 레프트-모스트 뷰(left-most view), 숫자가 증가할 수록 라이트 뷰(view)를 의미할 수 있다.

depth_type 필드는, 전송되는 뎁쓰 맵(depth map)의 종류를 지시한다. 본 필드에 따라 수신기가 뎁쓰 맵(depth map)을 처리하는 방법이 달라질 수 있다.

한편, 아래는 루프 구조로 필터의 개수에 따라 필터 관련 정보를 제공한다.

filter_type 필드는, 바이리니어(bilinear), 바이큐빅(bicubic) 등 필터(filter)의 종류를 지시한다.

filter_usage 필드는, 해당 필터가 사용되는 케이스를 지시한다. 예를 들어, 본 필드 값에 따라 인테져(integer)에서 해프-펠(half-pel)로 인터폴레이션(interpolation) 하기 위한 필터인지 해프-펠에서 쿼터-펠(quarter-pel) 영역으로 인터폴레이션 하기 위한 필터인지를 지시할 수 있다.

num_filter_tap 필드는, 필터를 구현할 때 사용되는 계수(coefficient)의 개수를 지시하는데, 필터 탭의 개수만큼 계수 1(coeff1)과 계수 2(coeff2)가 정의될 수 있다. 여기서, 실제 계수 값은 상기 정의되는 계수 1과 계수 2의 관계 예를 들어, coeff1 / coeff2로 계산될 수 있다. 한편, 상기 계수 값에서 소수점 단위로 필터 계수 표현 가능할 수도 있다.

상술한 계수 1과 계수 2에 대한 filter_coefficient 필드는, 뷰 합성(view synthesis)를 위한 픽셀 매핑(pixel mapping) 과정에서 인터-(integer-), 해프-(half-), 쿼터-펠(quarter-pel) 인터폴레이션을 수행할 때 추천(recommend)하는 필터 구현을 위한 계수이다.

한편, 상술한 N에 따라 left_view_flag 필드와 depth_type 이하도 루프 구조를 형성할 수 있다.

nearest_depth_value 필드와 farthest_depth_value 필드는, 뎁쓰 맵에 명시된 노미널(nominal)한 값(예를 들어, 0~255)에 대해 물리적으로 의미 있는 z 값을 부여하기 위한 뎁쓰 레인지(depth range)를 지시한다.

synthesis_mode 필드는, 일반적으로 제너럴 모드(general mode), 1D 패러렐 모드(1D parallel mode) 등 수신기의 뷰 합성 알고리즘(view synthesis algorithm)을 의미하나, 이 경우에는 전송하는 파라미터 세트(parameter set)에 대한 프로파일(profile) 개념으로 정의할 수 있다. 예를 들어, 상기 제너럴 모드에는 필요한 로테이션 매트릭스 계수(rotation matrix coefficient) 등이 전송되지 않음을 나타낼 수 있다. 풀 버전(Full version), 심플 버전(simple version) 등으로 나타낼 수도 있다.

synthesis_mode 필드에 따라 멀티뷰 획득 정보 SEI 메시지(Multiview acquisition information SEI message)를 활용할 수 있으며 그에 따라 후술하는 필드 및 그 값이 결정될 수 있는데 예컨대, synthesis_mode 필드 값이 0x00인 경우에는 도 5(a)와 같은 camera_intrinsic_info() 필드와 도 5(b)와 같은 camera_extrinsic_info() 필드가 정의되고, 0x01인 경우 또는 0x00이 아닌 경우에는 focal_length 필드, baseline_distance 필드, principal_point_offset_distance 필드 등이 정의될 수 있다.

camera_intrinsic_info() 필드와 camera_extrinsic_info() 필드는, 카메라 파라미터(Camera parameter)에 대한 것으로, synthesis_mode가 0x00일 때 의미 있으며 이는 풀 파라미터 세트(full parameter set)로 전송된다. 한편, 상기 synthesis_mode가 0x01이면 부분 세트(partial set)이 전송되며, 부분 세트와 관련하여, 포컬 렝쓰(focal length), 베이스라인 디스턴스(baseline distance), 프린스플 포인트 오프셋에서 디퍼런스(difference in principal point offset) 등에 대한 정보가 전송될 수 있다.

여기서, camera_intrinsic_info 및 camera_extrinsic_info에 대해 camera_parameter_id를 부여해 추후 해당 조합을 수신기에 저장한 후 재사용할 수 있는 방법이 가능하다. 이 경우 파라미터를 중복해서 보내지 않을 수 있으므로 대역폭 낭비를 줄일 수 있는 여지가 있다.

merge_option_included_flag 필드는, 뷰 합성 과정에 필요한 옵션에 관한 것으로, 해당 옵션 값에 따라 예컨대, 수신기에서 선택적으로 참고할 수 있는 정보로 뷰 합성 과정에서 사용되는 파라미터를 제공하는 depth_threshold 필드와 hole_count_threshold 필드가 정의될 수 있다.

한편, 도 6 내지 8은 전술한 바와 같이, 본 발명에 따른 뷰 합성 디스크립터를 포함한 SI의 일 예를 도시한 것으로, 각각에서 상기 뷰 합성 디스크립터를 포함한 내용을 설명한다.

도 6은 view synthesis descriptor를 포함한 PMT 구성의 일 예를 설명하기 위해 도시한 도면이다.

여기서, 도 6은 본 발명에 따른 뷰 합성 디스크립터와 관련하여 필요한 구성 내지 필드만을 개시하였다. 다만, PMT에 관한 일반적인 내용, 구성 내지 필드와 그에 관한 보다 상세한 설명은 기 공지된 내용 및 규격의 내용을 참고하며, 여기서 그에 관한 상세한 설명은 생략한다.

뷰 합성 디스크립터가 PMT에 위치하는 경우, 제1 옵션으로 뎁쓰 스트림(depth stream)에 해당하는 엘리멘터리 스트림(elementary stream) 레벨에서 시그널링할 수 있다. 또는 제2 옵션으로 뎁쓰에 대응되는 비디오 엘리멘터리 스트림(video elementary stream)에 해당하는 엘리멘터리 스트림 레벨 루프(loop)에서 시그널링을 할 수 있다.

도 6을 참조하면, 하나의 프로그램 즉, 0x0002인 program_number를 가진 프로그램에는 뷰에 대한 비디오 스트림과 뎁쓰 스트림 등 다양한 뷰 스트림에 관한 정보가 포함될 수 있다.

stream_type 필드 값이 0x1B인 경우에는 AVC 코딩된 비디오 스트림에 관한 것으로 이는 베이스 레이어 즉, 제1 뷰에 대한 스트림 타입을 지시하고, 이러한 비디오 스트림의 elementary_PID는 0x0090이며, 뷰 합성 디스크립터가 포함될 수 있다.

stream_type 필드 값이 0x20인 경우에는 MVC 코딩된 비디오 스트림에 관한 것으로 이는 인핸스먼트 레이어 즉, 제2 뷰에 대한 스트림 타입을 지시하고, 이러한 비디오 스트림의 elementary_PID는 0x00A0이며, 뷰 합성 디스크립터가 포함될 수 있다.

stream_type 필드 값이 0x26인 경우에는 베이스 레이어 즉, 상술한 제1 뷰에 대한 뎁쓰 스트림임을 지시하고, 이러한 비디오 스트림의 elementary_PID는 0x0091이며, 뷰 합성 디스크립터가 포함될 수 있다.

stream_type 필드 값이 0x26인 경우에는 역시 뎁쓰 스트림임을 지시하나 이 경우에는 인핸스먼트 레이어에 대한 제2 뷰에 대한 뎁쓰 스트림일 수 있다. 따라서, 이 경우에 비디오 스트림의 elementary_PID는 0x0091이며, 뷰 합성 디스크립터가 포함될 수 있다.

상기에서, 뷰 합성 디스크립터는 stream_type 및 elementary_PID에 따른 비디오 스트림 및 뎁쓰 스트림 각각 중 적어도 하나에 위치하거나 모두에 위치할 수도 있다. 즉, 뷰 단위 또는 스트림 단위로 뷰 합성 디스크립터가 정의되고 전송될 수 있다.

도 7은 view synthesis descriptor를 포함한 TVCT 구성의 일 예를 설명하기 위해 도시한 도면이다.

도 7 역시, 일반적인 TVCT 섹션을 구성하는 각 구성 필드는 기 공지된 내용 및 규격서를 참고하여 생략하고, 본 발명과 관련된 내용만을 설명하겠다.

뷰 합성 디스크립터가 TVCT에 포함되어 전송되는 경우, 제1 옵션으로, channel level descriptor loop에 위치할 수 있다. 또는 제2 옵션으로 기존의 component list descriptor에 뷰 합성 디스크립터의 필드들이 위치할 수 있다. 또는 제3 옵션으로 service location descriptor를 확장해 뷰 합성 디스크립터 의 필드들을 포함할 수 있다.

다만, TVCT에 뷰 합성 디스크립터가 포함되는 경우, 모든 뷰에 대한 정보가 포함되도록 구성한다.

TVCT 섹션은, major_channel_number와 minor_channel_number 필드를 통해 가상 채널에 대한 채널 넘버를 제공하고, channel_TSID 필드를 통해 채널에 대한 전송 스트림 ID와 program_number 필드를 통해 PSI 내 PAT(Program Association Table) 또는/및 PMT의 프로그램과 링크되고, service_type을 통해 해당 채널의 서비스 타입 정보를 제공한다.

여기서, 도 7의 본 발명에 따른 TVCT 내 service_type에는 예컨대, 3D 서비스에 관한 서비스 타입도 포함되는바 예를 들어, 상기 service_type 필드 값이 0x07 또는 0x09인 경우에는 해당 채널을 통해 전송되는 서비스의 타입이 3DTV 서비스임을 지시할 수 있다. 한편, 상기 service_type 필드의 값은 설명의 편의를 위한 것으로, 상기한 필드 값에 반드시 구속되는 것은 아니다.

전술한 바와 같이, 본 발명에 따른 뷰 합성 디스크립터는, 도 7의 TVCT의 디스크립터의 하나로 정의될 수 있는데 일 예로, 도 7의 TVCT 섹션에는 뷰 합성 디스크립터가 service_type 필드 값에 따라 그 포함 내지 정의 여부가 결정되며, 특히 service_type 필드 값을 통해 서비스 타입이 3DTV 서비스인 경우에만 포함될 수 있다. 또는 상기 뷰 합성 디스크립터는, 3D 가상 서비스라는 별도의 서비스 타입을 정의하여 그 경우에만 TVCT 섹션의 디스크립터로 포함되어 전송될 수도 있다. 그 밖에, 뷰 합성 디스크립터는 서비스 단위가 아니라 채널 단위 또는/및 program_number에 따라 그 포함/전송 여부가 결정될 수도 있다.

도 8은 view synthesis descriptor를 포함한 SDT 구성의 일 예를 설명하기 위해 도시한 도면이다.

도 8은 DVB 방식의 서비스에 관한 SDT 섹션으로, 이 경우에도 전술한 도 7과 같이 뷰 합성 디스크립터가 포함될 수 있다.

뷰 합성 디스크립터가 SDT로 전송되는 경우, service level descriptor loop에 위치하며 모든 뷰에 대한 정보가 포함되도록 구성한다.

한편, 전술한 바와 같이, 도 8의 SDT의 경우에도 service_id를 통해 식별된 서비스가 3D 서비스인 경우에만 뷰 합성 디스크립터가 포함되거나, 별도의 3D 가상 서비스에 관한 service_id를 정의하고, 정의된 3D 가성 서비스에 관한 식별자가 전송되는 경우에만 뷰 합성 디스크립터가 포함될 수도 있으며, service_id와 관계없이 뷰 합성 디스크립터가 SDT에 포함되어 전송될 수도 있다.

한편, 도 8에 도시된 나머지 구성 필드의 경우 기 공지된 내용 및 규격서의 내용을 참고하며, 여기서 그에 대한 상세한 설명은 생략한다.

다만, service_id, 뷰 합성 디스크립터 등에 관한 내용은, 최신 규격 또는/및 본 명세서에서 정의된 내용에 따를 것이다.

도 9는 view_synthesis_info_data를 전송하는 방법의 일 예를 설명하기 위해 도시한 도면이다. 도 10은 view synthesis info SEI message의 일 예를 설명하기 위해 도시한 도면이다.

이하는 전술한 내용과 달리, 뷰 합성을 위한 정보를 전송하기 위한 비디오 레벨 시그널링하는 것으로, 전술한 내용과 달리 디스크립터 형태로 PSI/PSIP/DVB-SI 정보가 아니라, 비디오 스트림 또는 비디오 데이터 헤더의 SEI 메시지(View Synthesis Info SEI message)를 이용하는 예시이다. 이러한 View Synthesis Info SEI message는 비디오 레벨에서 뷰 합성 관련 정보를 알려주기 위한 것이다.

도 9를 참고하면, H.264(또는 AVC) 비디오의 경우에는 SEI(Supplemental Enhancement Information) 영역에 해당 정보를 전송하며 user_data_registered_itu_t_135()에 user_identifier와 user_structure를 포함하도록 전송한다. 즉, user_data() 대신 SEI 페이로드들(payloads)에 해당 정보를 전송한다.

SEI는 MPEG-2의 픽쳐 확장과 유저 데이터(picture extension and user data)의 역할을 수행하며 위치 또한 비슷하게 제한(constraint)할 수 있다.

즉, 도 9는 뷰 합성 정보 데이터를 AVC/H.264 내에서 전송하기 위한 방법을 의미한다.

도 10은 본 발명에 따른 뷰 합성 정보 데이터 즉, View Synthesis Info SEI message의 상세 구성이다.

도 10의 View Synthesis Info SEI message의 각 구성 필드를 상세히 설명하면, 다음과 같다.

view_synthesis_info_id 필드는, view synthesis info SEI message에 포함된 정보 조합을 식별하기 위한 식별 넘버(identifying number)를 포함한다.

view_synthesis_info_cancel_flag 필드는, ‘1’인 경우 이전 픽쳐(picture)까지 적용된 view synthesis info가 더 이상 적용되지 않음을 의미한다.

나머지 구성 필드의 내용은 예컨대, 전술한 도 4의 구성 필드와 동일한 바, 상술한 내용을 원용하고 여기서 중복되는 설명은 생략한다.

한편, 전술한 View Synthesis Info SEI message 즉, 비디오 레벨에서 뷰 합성 관련 정보를 알려주기 위해 view_synthesis_info_data를 전송하는 방법은 다음과 같다.

특정 뷰의 비디오 데이터 혹은 뎁쓰 스트림에 view synthesis info SEI message가 포함되는 경우, view_synthesis_info_data를 통해 해당 스트림의 뷰에 대한 입체 정보 등을 시그널링 한다. view_synthesis_info_data()는 SEI RBSP(raw byte sequence payload)를 통해 수신된다. AVC NAL 유닛(unit)을 파싱(parsing) 하여 nal_unit_type 값이 6이면 SEI 데이터이며 payloadType이 4인 user_data_registered_itu_t_t35 SEI message를 읽어 user_identifier 값을 확인한다. user_identifier 값이 0x4741 3934에 해당하는 user_structure()를 읽어서 user_data_type_code가 0x12인 데이터를 추출한다. view_synthesis_info_data()를 파싱해 3D 취득 정보 및 추후 가상 뷰 생성을 위한 정보를 획득한다.

도 11은 view synthesis SEI descriptor의 일 예를 도시한 도면이다.

한편, 도 11은 예를 들어, 전술한 도 10의 비디오 레벨에서 View Synthesis Info SEI message의 존재 여부를 미리 시스템 레벨에서 시그널링하는 예를 도시한 것이다.

이러한 View Synthesis SEI descriptor는 도 6과 같은, PMT의 ES 레벨(level) 등에 위치할 수 있으며 해당 비디오 내에 View Synthesis Info SEI message가 포함되었는지 여부를 수신기가 시스템 레벨(system level)에서 미리 알 수 있도록 시그널링 정보를 제공한다.

도 11을 참조하면, 본 디스크립터는 다음과 같은 구성 필드를 포함한다.

view_synthesis_info_SEI_message_exist_flag 필드는, 수신되는 비디오 스트림 내에 뷰 합성(view synthesis) 관련 정보를 상세하게 알 수 있는 view synthesis SEI message가 포함되었는지를 여부를 지시한다.

한편, full_synthesis_mode_supported_flag 필드는, 전술한 바와 같은 synthesis_mode 값을 지시할 수 있다.

아울러, view synthesis info SEI message에 포함된 정보가 3D 취득과 관련된 지오메트리(geometry) 정보를 전체적으로(fully) 제공하는지 부분적으로(partially) 제공하는지를 미리 알 수 있다.

전술한 바와 같이, 방송국이 송신한 스트림으로부터 새로운 임의의 시점에서의 3D 가상 뷰를 생성하려면, 다음과 같은 단계(들)을 거칠 수 있다.

도 12는 도 2의 뷰 합성 모듈(162) 내 임의의 시점 영상 한 개를 생성하기 위한 구성 블록도의 일 예를 설명하기 위해 도시한 도면이다.

우선, 워핑(Warping) 단계이다.

이 단계에서는 3D 뷰를 구성하는 레프트(Left) 영상과 라이트(Right) 영상에 대해 각각 워핑(warping)이 적용되어 새로운 시점의 영상으로 픽셀(pixel) 단위의 매핑(mapping)이 수행된다.

이에는 크게 두 가지 방법이 있는데, 하나는 모든 카메라 컨피규레이션(camera configuration)에 대해 수행 가능한 일반적인 워핑 방법(general warping mode)이 있고, 다른 하나는 1D parallel camera configuration case에만 적용이 가능한 워핑 방법(1D parallel warping mode)이 있다.

한편, 워핑 수행을 위해 제1 처리부(150)를 거쳐 입력되는 데이터는, 레프트 뷰(Left view or L video image), 레프트 뎁쓰 맵(L depth map), 라이트 뷰 이미지(Right view or R video image), 라이트 뎁쓰 맵(R depth map)이다.

다음으로, 워핑이 끝나면, 머징(Merging)이 이루어진다.

이 단계는 앞서 구해진 두 개의 워핑(warping) 영상 즉, 레프트 뷰(Left view)로부터 워핑된 새로운 시점에서의 영상(L’)과 라이트 뷰(Right view)로부터 워핑된 새로운 시점에서의 영상(R’)을 조합하여 하나의 영상으로 만들어 내는 과정이다.

여기서, 머징 시, L’ 영상과 R’ 영상 둘 중 한쪽만 매핑된 픽셀 값이 존재하고 나머지 한쪽은 홀(hole) 인 경우에는 존재하는 픽셀 값으로 해당 픽셀을 채워 넣을 수 있다.

또한, L’ 영상과 R’ 영상 양쪽 모두에서 홀인 경우에는 머지된 뷰(merged view)의 픽셀도 홀로 유지하면 된다.

그러나 L’ 영상과 R’ 영상 양쪽 모두에서 매핑된 픽셀 값이 존재하는 경우에는 둘 중 한쪽 값을 선택하거나 혹은 두 개의 값을 하나의 값으로 합성하여 사용해야 하며, 이때 선택 방법/합성 방법은 여러 가지가 있을 수 있다.

해당 픽셀의 뎁쓰 값을 이용하는 방법/픽셀 매핑 시 camera baseline distance[pixel]를 이용한 방법/픽셀 주변의 홀 개수를 측정하여 신뢰도를 산출하는 방법 등이 있을 수 있다.

다음으로, 머징까지 완료되면, 홀-필링(Hole-filling)을 수행한다.

이 단계에서는, 앞서 만들어진 머지된 뷰(merged view)에 여전히 남아있는 홀들을 채워 넣어 홀이 없는 뷰를 생성하는 것이다.

홀 주변 픽셀의 홀 위치 및 개수, 주변 존재하는 픽셀 위치 및 각각의 픽셀 값, 해당 픽셀 뎁쓰 값 등 중 적어도 하나 이상을 종합적으로 고려하여 적절한 값을 할당할 수 있으며, 여러 가지 알고리즘이 존재한다.

마지막으로, 홀-필링까지 수행되면, 바운더리 노이즈 제거(Boundary Noise Removal) 과정을 수행한다.

상기 홀-필링 과정까지 거쳐 생성된 영상에는 바운더리 노이즈(Boundary Noise)가 존재할 가능성이 매우 높다. 그러므로 이러한 노이즈를 제거하는 과정이 필요한데, 그를 위해 고안된 것이 바운더리 노이즈 제거 과정이다.

도 13은 도 12에서 제너럴 워핑 수행을 설명하기 위해 도시한 도면이다.

도 13은 도 12의 워핑 방법 중 하나인 제너럴 워핑 수행 과정에 대한 것이다.

도 13(a)를 참조하면, 제너럴 모드 워핑(General mode warping)은 2D 공간상의 픽셀을 해당 픽셀의 뎁쓰 값 및 해당 영상을 촬영한 카메라의 지오메트리 정보를 이용하여 3D 공간 상으로 투영한 후, 이를 다시 새로운 임의의 2D 공간상으로 투영하여 영상을 생성해내는 방법이다.

여기서, M은 3D 세계 좌표계상의 포인트(point on 3D world coordinate)를 나타내고, m과 m’는 이미지 평면 상에 M의 투영(들)(projections of M on the image planes)을 나타낸다. 또한, t와 t’는 카메라들의 센터들(centers of cameras)을 나타낸다.

도 13(b)는 2D 공간상의 점을 3D 공간상의 점으로 변환하기 위한 수식을 도시한 것이다.

한편, 도 13(c)는 반대로 3D 공간상의 점을 2D 공간상의 점으로 변환하기 위한 수식을 도시한 것이다.

상기에서, P는, 노멀라이즈드 퍼스펙티브 프로젝션 매트릭스(normalized perspective projection matrix)이며, s, s’ 는 스칼라(scalar) 이다.

두 식을 조합하면 도 13(d)와 같은 관계식이 유도될 수 있다.

도 14는 도 12에서 1D 패러렐 워핑 수행을 설명하기 위해 도시한 도면이다.

도 14은 도 12의 워핑 방법 중 하나로 도 13의 제너럴 워핑 수행 방법과 다른 1D 패러렐 모드 워핑 방법에 대한 것이다.

도 14(a)를 참고하면, 1D 패러렐 모드 워핑 방법은, 카메라 배열이 1D 방향으로 배열(align)된 제한 조건을 만족하는 경우에만 사용할 수 있는 방법으로 앞서의 제너럴 모드 워핑에 비해 간단하며, 다음의 세가지 변수를 기반으로 처리된다.

f, 포컬 렝쓰(focal length)

l, 베이스라인 스페이싱(baseline spacing)

du, 프린스펄 포인트 내 디퍼런스(difference in principal point)

또한, 도 14(b)와 (c)를 참고하면, 주어진 뎁쓰 맵 및 Z_near, Z_far 값으로부터 실제 뎁쓰 값 z를 계산해 내어 활용할 수 있다.

도 14(d)를 참고하면, 상기 세가지 변수 값과 z 값을 통해 디스패리티(disparity) 값을 산출할 수 있으며, 이를 통해 픽셀 매핑(pixel mapping)이 이루어진다.

도 15는 뎁쓰 타입의 일 예를 설명하기 위해 도시한 도면이다. 도 16은 1D 패러렐 워핑 수행 과정을 더욱 상세하게 설명하기 위해 도시한 도면이다. 도 17은 카메라 배치 및 Z 값 측정의 일 예를 설명하기 위해 도시한 도면이다. 그리고 도 18은 도 17에서 i번째 카메라의 파라미터 세부 항목의 설명하기 위해 도시한 도면이다.

한편, 도 15 내지 18은 본 발명에 따라 상술한 도 12의 각 스텝에서 사용되는 파라미터들에 대한 보다 상세하게 설명한 것이다.

세팅(Settings) 과정에 대해 먼저 설명하면, 다음과 같다.

SynthesisMode 필드는, 뷰 합성 모드를 설명하는 필드로써, 이러한 뷰 합성 모드에는 일반 모드, 1D 패러렐 모드 및 하이브리드 모드(Hybrid mode)가 있으며, 본 필드를 통해 적어도 하나의 모드가 지시될 수 있다. 한편, 본 필드는 풀 버전/라이트(심플) 버전도 나타낼 수 있다.

DepthType 필드는, 뎁쓰 타입을 설명하기 위한 필드이다.

도 15에서는, 본 필드 값에 따른 각각의 특징, Z값의 범위, 뎁쓰와 인텐시티에 관한 방정식(z-v), 그리고 인텐시티와 디스패리티에 관한 방정식(v-d)을 도시하였고, 도 16에서는 상기 뎁쓰 타입에 따른 1D 패러렐 워핑 수행 방법을 도식적으로 도시한 것이다. 여기서, 도 16(a)는 예컨대, depth_type이 0인 경우를, 도 16(b)는 depth_type이 1인 경우를 도시한 것이다.

depth_type 필드의 값이 0인 경우에는, 도 15 및 16(a)에 도시된 바와 같이, 카메라로부터 뎁쓰를 이용하는 뷰합성 모드를 의미하는 것으로 이때, 3D 공간의 오리진(the origin of 3D space)으로부터 뎁쓰 밸류는 포지티브뿐만 아니라 네거티브도 가져올 수 있다. 이는 어떠한 1D 패러렐 이미지에도 적용 가능하다.

본 필드의 값이 1인 경우에도, 도 15 및 16(b)에 도시된 바와 같이, 카메라로부터 뎁쓰를 이용하는 뷰합성 모드를 의미하는데, 이때, 3D 공간의 오리진(the origin of 3D space)으로부터 뎁쓰 밸류는 오직 포지티브 값만 가져온다. 이는 3D 공간의 오리진으로부터 포지티브 뎁쓰들을 가진 어떤 오브젝트에 관한 이미지들에만 적용 가능하다. (It is applicable to any 1D parallel image. The input value 1 means the view synthesis mode by using depth from the origin of 3D space. In this case, depth value from the origin of 3D space takes only positive value. It is applicable to only images that any object has positive depths from the origin of 3D space.)

한편, 도 17은 본 발명과 관련하여, 카메라 배치 및 Z 밸류 측정에 관해 도시한 것이다.

도 17을 참조하면, filter_usage, filter_type 및 filter_coefficient 필드의 조합은, 적어도 하나 이상이 나올 수 있으며, 특히, filter_usage는 해당 필터가 적용되는 시점을 알려준다.

Filter_usage 필드는, 필터가 적용되는 시점을 의미하는 필드로, 해프-펠 영역을 쿼터-펠로 업샘플링(upsampling)하는 경우, 인테져-펠(integer-pel) 영역을 쿼터-펠영역으로 업샘플링 하는 경우 등 여러 사용예(usage)를 지시할 수 있다.

Filter_type 필드는, 서브-픽셀 포지션들 상에 이미지 신호들을 생성하기 위해 업샘플링 필터를 설명한다. 본 필드 값이 0인 경우는 (바이-)리니어 필터를 의미하고, 1인 경우에는 (바이-)큐빅 필터를 의미하고, 2인 경우에는 MPEG-4 AVC에 사용된 필터를 의미할 수 있다. (Specifies the upsampling filter to generate image signals on sub-pixel positions. 0 means(bi-)linear filter, 1 means(bi-)cubic filter, and 2 means filter which used in MPEG-4 AVC.)

Filter_coefficient 필드는, 필터에 사용되는 필터 계수를 의미한다.

셋팅 과정에 이어 워핑 과정을 보다 상세하게 설명하면, 다음과 같다.

NearestDepthValue 필드는, 카메라 또는 3D 공간의 오리진으로부터 레프트 이미지의 가장 가까운 뎁쓰 값을 설명한다(Specifies the nearest depth value of left image from camera or the origin of 3D space).

FarthestDepthValue 필드는, 카메라 또는 3D 공간의 오리진으로부터 레프트 이미지의 가장 먼 뎁쓰 값을 설명한다(Specifies the farthest depth value of left image from camera or the origin of 3D space).

워핑 과정에서, 제너럴 모드는 관련된 카메라 파라미터 정보가 모두 필요하며, 카메라 파라미터는 파일(File) 형태로 주어지고, 그 파일 내에서 원하는 카메라의 이름(식별자)을 토대로 원하는 카메라의 파라미터를 가져다 쓸 수 있다.

카메라 파라미터는, 도 18(a)의 로테이션 매트릭스 R(rotation matrix R), 18(b)의 트랜슬레이션 벡터 t(translation vector t), 도 18(c)의 인트린식 매트릭스 A(intrinsic matrix A) 등 또는 적어도 하나 이상으로 구성되어 있다.

CameraParameterFile 필드는, 실제 또는 가상 뷰들에서 모든 카메라들의 인트린식 및 엑스트린식 파라미터들을 포함하는 파일의 파일 네임을 설명하는데, 이때 파일 네임은 .txt 형태를 가질 수 있다(Specifies the filename(with the .txt)of the file which includes intrinsic and extrinsic parameters of all cameras at real and virtual views).

LeftCameraName 필드는, 설명된 가상 뷰포인트 카메라의 레프트 핸드 사이드에서 실제 가메라의 네임을 설명한다(Specifies the name of real camera at the left hand side of a specified virtual viewpoint camera).

VirtualCameraName 필드는, 생성될 뷰 이미지들에 가상 뷰포인트 카메라의 네임을 설명한다(Specifies the name of virtual viewpoint camera to be generated view images.

RightCameraName 필드는, Specifies the name of real camera at the right hand side of a specified virtual viewpoint camera).

워핑 과정에서, 1D 패러렐 모드는, 레프트 영상과 라이트 영상 각각에 대해 다음의 정보들이 필요하다.

Focal_length 필드는, 카메라의 포컬 렝쓰를 의미한다.

Baseline_spacing 필드는, 카메라 사이의 거리(즉, 보유한 L 또는 R 영상의 시점과 생성하려는 영상의 시점 사이의 거리)를 의미한다.

Difference_in_principal_point_offset 필드는, 보유한 L 또는 R 카메라의 프린스펄 포인트 오프셋(principal point offset)과 생성하려는 영상 카메라의 프린스펄 포인트 오프셋 값의 차이를 의미한다.

워핑 과정에 이어, 머징 과정을 더욱 상세하게 설명하면, 다음과 같다.

다음의 필드들은 수신기에서 머징 수행 시 참고할 수 있도록 방송국에서 선택적으로 보내줄 수 있는 값이다.

DepthThreshold 필드는, MergingOption이 2로 설정되는 경우에만 유효한 파라미터이다. 이는 휴리스틱 블렌딩 알고리즘에 이용될 수 있다. 큰 값은 평균보다 더 많은 픽셀들을 의미한다. 일반적으로, 보다 큰 값은 푸어 퀄리티의 뎁쓰 맵이 기대된다. 이와 관련하여서는 예컨대, MPEG 다큐먼트 M15883에 더 상세하게 기술되어 있으므로 이를 참고할 수 있다(A valid parameter only when MergingOption is set to 2. It is used in the heuristic blending algorithm. A larger value means more pixels are averaged. Generally, a larger value is expected with a depth map of poor quality. See MPEG document M15883 for more details).

HoleCountThreshold 필드는, MergingOption이 2로 설정되는 경우에만 유효한 파라미터이다. 이는 휴리스틱 블렌딩 알고리즘에 이용될 수 있다. 큰 값은 평균보다 더 적은 픽셀들을 의미한다. 이와 관련하여서는 예컨대, MPEG 다큐먼트 M15883에 더 상세하게 기술되어 있으므로 이를 참고할 수 있다(A valid parameter only when MergingOption is set to 2. It is used in the heuristic blending algorithm. A larger value means less pixels are averaged. See MPEG document M15883 for more details).

한편, 머징시에는, 아래 방법들이 가능하다. 픽셀이 레프트 및 라이트 레퍼런스 뷰 모두로부터 매핑되면, 블렌딩 메쏘드는 파이널 픽셀 밸류를 결정하기 위해 적용이 필요해 진다(When a pixel gets mapped from both the left and the right reference view, a blending method need be applied to decide the final pixel value).

z-버퍼(z-buffer) 비교하여 카메라에 가까운 쪽에 있는 픽셀 값을 할당한다. 카메라에 가까운 픽셀은 항상 선택될 수 있다(the pixel closer to camera is always selected).

주변 픽셀의 홀-카운트(hole-count)를 하여 홀이 적은 픽셀 값을 할당(홀이 적은 것을 신뢰도가 높다고 판단)

베이스라인 디스턴스를 비교하여 거리가 가까운 픽셀 값을 할당한다. 만약 가상 뷰포인트가 레프트 뷰포인트에 가까우면, 레프트 뷰 이미지가 이용된 것이다. 그 반대도 마찬가지이다(if virtual viewpoint is near to left viewpoint, left view image is used, and vice versa).

L 혹은 R 한쪽 위주로 일단 채워 넣은 후, 나머지 부분만 다른 쪽으로 채워 넣는 방법을 이용할 수도 있다. 이때, 주로 레프트 또는 라이트 뷰 이미지를 이용하고, 홀들은 다른 이미지로 채울 수 있다(primarily using either left or right view image, and holes are filled with the other image).

두 픽셀의 값 자체를 조합하여 만들어진 새로운 픽셀 값을 사용하는데, 대표적인 방법으로 평균화(averaging) 등을 이용할 수 있다.

발명의 실시를 위한 형태

상술한 바와 같이, 본 발명의 다양한 실시 예(들)은 상술한 발명의 실시를 위한 최선의 형태에서 모두 설명하였다.

본 발명은 부분적으로 또는 전체적으로 디지털 시스템에 적용되어 산업상 이용 가능성이 있다.

Claims

3D 서비스 장치에 있어서,
3D 서비스를 포함한 방송 신호를 수신하는 수신부;
방송 신호로부터 3D 서비스에 관한 SI 정보를 추출하고 디코딩하는 SI 처리부;
3D 뷰 데이터와 뎁쓰 데이터를 디코딩하는 제1 처리부;
제1 처리부의 디코딩된 신호를 입력으로 상기 디코딩된 SI 정보에 기초하여 임의의 시점의 가상 뷰를 생성하는 제2 처리부; 및
제2 처리부에서 생성된 임의의 시점의 가상 뷰에 기초하여 3D 서비스 데이터를 생성하여 출력하는 아웃풋 포맷터;
를 포함하는 장치.
제1항에 있어서,
상기 제2 처리부는,
합성된 레프트/라이트 뷰를 생성하는 뷰 합성 모듈을 포함하는 장치.
제2항에 있어서,
상기 뷰 합성 모듈은,
레프트 뷰와 라이트 뷰에 대해 각각 워핑을 적용하여 새로운 시점의 뷰로 픽셀 단위의 매핑을 수행하는 워핑부;
워프된 뷰들을 조합하여 하나의 뷰로 머징하는 머징부;
머지된 뷰에 남아 있는 홀(들)을 채우는 홀-필링부; 및
홀(들)이 채워진 뷰에 바운더리 노이즈를 제거하는 바운더리 노이즈 제거부;
를 포함하는 장치.
제3항에 있어서,
상기 SI 정보는,
각 뷰에 대한 3D 취득과 관련된 정보를 포함하여 임의의 3D 시점에 대한 가상 영상을 만들 수 있는 정보를 포함하는 뷰 합성 정보를 포함하되,
상기 뷰 합성 정보는,
시스템 레벨에서 디스크립터 형태 또는 비디오 레벨에서 SEI 메시지 형태로 정의되는 장치.
제4항에 있어서,
상기 뷰 합성 정보는,
전송되는 뎁쓰 맵의 타입을 지시하는 뎁쓰 타입 정보, 필터의 타입을 지시하는 필터 타입 정보, 상기 필터 타입에 따라 해당 필터가 사용되는 케이스를 지시하는 필터 사용 정보, 필터에 이용되는 필터 계수에 대한 필터 계수 정보, 뎁쓰 맵에 명시된 노미널한 값에 대해 물리적으로 의미있는 Z값을 부여하기 위한 뎁쓰 레인지를 명시하는 뎁쓰 밸류 정보, 뷰 합성 알고리즘으로 각 알고리즘의 전송 파라미터 셋트에 대한 프로필 개념인 합성 모드 정보, 상기 합성 모드에 따라 풀 파라미터 세트와 부분 파라미터 세트를 결정하여 전송하는 카메라 정보, 및 상기 정보들이 어느 뷰에 적용되는지 지시하는 레프트 뷰 플래그 정보 중 적어도 하나 이상을 포함하는 장치.
제5항에 있어서,
상기 뷰 합성 알고리즘에는,
제너럴 모드와 1D 패러렐 모드가 포함되는 장치.
제6항에 있어서,
상기 뷰 합성 정보가 비디오 레벨에서 SEI 메시지 형태로 정의되는 경우,
상기 SEI 메시지에 포함된 정보의 조합을 식별하는 식별자에 관한 식별자 정보와 특정 값이면 이전 픽쳐까지 적용된 SEI 메시지의 뷰 합성 정보가 더 이상 적용되지 않음을 지시하는 플래그 정보를 더 포함하는 장치.
제7항에 있어서,
상기 비오 레벨에서 정의되는 뷰 합성 정보는,
해당 뷰 합성 정보에 관한 SEI 메시지의 포함 여부에 관한 존재 플래그 정보와 합성 모드 값을 포함한 지원 플래그 정보를 시스템 레벨에서 정의하는 장치.
3D 서비스를 처리하는 방법에 있어서,
3D 서비스를 포함한 방송 신호를 수신하는 단계;
방송 신호로부터 3D 서비스에 관한 SI 정보를 추출하고 디코딩하는 단계;
3D 뷰 데이터와 뎁쓰 데이터를 디코딩하는 단계;
디코딩된 신호를 입력으로 상기 SI 정보에 기초하여 임의의 시점의 가상 뷰를 생성하는 단계; 및
생성된 임의의 시점의 가상 뷰에 기초하여 3D 서비스 데이터를 생성하여 출력하는 단계;
를 포함하여 이루어지는 방법.
제9항에 있어서,
상기 임의의 시점의 가상 뷰를 생성하는 단계는,
뷰 합성 방법으로 합성된 레프트/라이트 뷰를 생성하는 방법.
제10항에 있어서,
상기 뷰 합성 방법은,
레프트 뷰와 라이트 뷰에 대해 각각 워핑을 적용하여 새로운 시점의 뷰로 픽셀 단위의 매핑을 수행하는 워핑하는 단계;
워프된 뷰들을 조합하여 하나의 뷰로 머징하는 단계;
머지된 뷰에 남아 있는 홀(들)을 채우는 홀-필링 단계; 및
홀(들)이 채워진 뷰에 바운더리 노이즈를 제거하는 단계;
를 포함하여 이루어지는 방법.
제11항에 있어서,
상기 SI 정보는,
각 뷰에 대한 3D 취득과 관련된 정보를 포함하여 임의의 3D 시점에 대한 가상 영상을 만들 수 있는 정보를 포함하는 뷰 합성 정보를 포함하되,
상기 뷰 합성 정보는,
시스템 레벨에서 디스크립터 형태 또는 비디오 레벨에서 SEI 메시지 형태로 정의되는 방법.
제12항에 있어서,
상기 뷰 합성 정보는,
전송되는 뎁쓰 맵의 타입을 지시하는 뎁쓰 타입 정보, 필터의 타입을 지시하는 필터 타입 정보, 상기 필터 타입에 따라 해당 필터가 사용되는 케이스를 지시하는 필터 사용 정보, 필터에 이용되는 필터 계수에 대한 필터 계수 정보, 뎁쓰 맵에 명시된 노미널한 값에 대해 물리적으로 의미있는 Z값을 부여하기 위한 뎁쓰 레인지를 명시하는 뎁쓰 밸류 정보, 뷰 합성 알고리즘으로 각 알고리즘의 전송 파라미터 셋트에 대한 프로필 개념인 합성 모드 정보, 상기 합성 모드에 따라 풀 파라미터 세트와 부분 파라미터 세트를 결정하여 전송하는 카메라 정보, 및 상기 정보들이 어느 뷰에 적용되는지 지시하는 레프트 뷰 플래그 정보 중 적어도 하나 이상을 포함하는 방법.
제13항에 있어서,
상기 뷰 합성 알고리즘에는,
제너럴 모드와 1D 패러렐 모드가 포함되는 방법.
제14항에 있어서,
상기 뷰 합성 정보가 비디오 레벨에서 SEI 메시지 형태로 정의되는 경우,
상기 SEI 메시지에 포함된 정보의 조합을 식별하는 식별자에 관한 식별자 정보와 특정 값이면 이전 픽쳐까지 적용된 SEI 메시지의 뷰 합성 정보가 더 이상 적용되지 않음을 지시하는 플래그 정보를 더 포함하고,
상기 비오 레벨에서 정의되는 뷰 합성 정보는,
해당 뷰 합성 정보에 관한 SEI 메시지의 포함 여부에 관한 존재 플래그 정보와 합성 모드 값을 포함한 지원 플래그 정보를 시스템 레벨에서 정의하는 방법.