KR20130057389A - 다시점 비디오 및 그에 대응되는 깊이 영상 정보의 ｍｐｅｇ-2 트랜스포트 스트림으로의 전송 방법 및 장치 - Google Patents

Abstract

다시점 비디오 및 그에 대응되는 깊이 영상 정보를 MPEG-2 트랜스포트 스트림으로 전송하는 전송 장치가 개시된다. 본 발명에서는 기존의 부가 비디오 스트림 서술자를 확장하여 1) 다시점 비디오에 포함된 시점 정보와 2) 각 시점 비디오에 해당하는 깊이 영상의 매핑 관계를 서술하도록 한다. 그리고 3) 다시점 비디오와 깊이 영상을 이용한 가상 시점에서의 영상 합성을 위한 합성 파라미터를 포함할 수 있는 신택스를 제공한다.

Description

다시점 비디오 및 그에 대응되는 깊이 영상 정보의 ＭＰＥＧ-2 트랜스포트 스트림으로의 전송 방법 및 장치{TRNASPORT METHOD AND APPARATUS FOR MULTIVIEW VIDEO AND THE ASSOCIATED DEPTH IMAGE INFORMATION OVER MPEG-2 TRANSPORT STREAM}

아래의 실시예들은 다시점 비디오 및 깊이 영상 정보를 전송하는 기술에 관한 것으로, 구체적으로는 다시점 비디오 및 깊이 영상 정보를 MPEG-2 트랜스포트 스트림(Transport Stream: TS)으로 전송하기 위한 방법에 관한 것이다.

최근 차세대 방송 기술분야의 한 종류로써 3차원 방송에 대한 관심이 높아 지고 있다. 3차원 방송은 입체 및 현실감 있는 영상서비스를 제공하여 실감형 방송 서비스되는 것을 말한다.

현재 방송을 통해 서비스되는 3차원 영상은 좌영상과 우영상의 해상도를 조절하여 하나의 프레임으로 구성하는 프레임 호환 방식이 주를 이루고 있다. 최근에는 우리나라에서 개발한 좌영상과 우영상을 독립적으로 송출하는 듀얼 스트림 방식이 3DTV 표준으로 채택되었다.

3차원 영상을 제공하기 위한 부호화 기술 중 양안을 이용하는 스테레오스코픽 기술 이외에, 두 개 이상의 시점을 이용하는 다시점 비디오 부호화 기술이 있다.

다시점 비디오는 두 대 이상의 카메라를 통해 촬영한 영상물을 기하학적으로 교정하고 공간적으로 합성하여 여러 방향의 시점을 사용자에게 제공하는 3차원 영상처리의 한 분야이다. 그러나 다시점 비디오는 사용자들에게 자유로운 시점 선택 및 넓은 시점을 통해 입체감을 제공하고 있지만, 시점의 증가에 따라 전송하는 데이터량의 증가가 불가피하다.

이에 따라 현재 MPEG 3DV 그룹에서는 제한된 수의 카메라로부터 입력된 다시점 비디오와 그에 대응되는 깊이 영상으로부터 합성된 가상 시점의 영상을 부호화하는 기술의 표준화가 진행 중에 있다.

향후, 3DV에 대한 표준화가 완료되면 다시점 비디오와 깊이 영상을 기반으로 하는 3차원 입체 영상을 방송망으로 전송하기 위한 관련 표준의 확장 기술이 도입될 것으로 예상된다.

전송과 관련된 배경기술인 MPEG-2 시스템은 비디오 파트 및 오디오 파트에서 생성한 기초 스트림(Element Stream; ES)을 저장 또는 전송하기 위해 패킷화하고, 다중화하는 과정을 수행한다. 방송망 전송을 위해서는 전송오류를 고려한 트랜스포트 스트림(Transport Stream; TS)을 사용한다.

예시적 실시예들의 일측은 다시점 비디오 및 깊이 영상 정보를 MPEG-2 트랜스포트 스트림에 포함하여 전송할 수 있는 MPEG-2 트랜스포트 스트림 생성 장치를 제공한다.

예시적 실시예들의 일측은, 다시점 비디오 스트림, 상기 다시점 비디오 스트림에 대응되는 부가 비디오 스트림 및 부가 비디오 스트림의 해석 정보를 포함하는 MPEG-2 트랜스포트 스트림 패킷을 생성하는 패킷 생성부 및 상기 MPEG-2 트랜스포트 스트림 패킷을 사용하여 MPEG-2 트랜스포트 스트림을 전송하는 전송부를 포함하는, MPEG-2 트랜스포트 스트림 생성 장치를 제공한다.

예시적 실시예들의 일측에 따르면, 다시점 비디오 및 깊이 영상 정보를 MPEG-2 트랜스포트 스트림에 포함하여 전송할 수 있다.

도 1은 본 발명의 일 실시예에 따라서 한 시점의 비디오와 깊이 영상을 MPEG-2 TS로 다중화 처리하는 기법을 도시화 한 것이다.
도 2는 본 발명의 일 실시예에 따라서 다시점의 비디오와 깊이 영상을 MPEG-2 TS로 다중화 처리하는 기법을 도시화 한 것이다.
도 3은 본 발명의 일 실시예에 따른 PSI의 프로그램 맵 테이블(Program Map Table; PMT)의 구성도이다.
도 4는 본 발명의 일 예에 따른 부가 비디오 스트림 서술자의 확장된 구문이다.
도 5는 본 발명의 일 예에 따른 부가 비디오 스트림을 해석하기 위한 부가정보의 RBSP(Raw Byte Sequence payload) 구문이다.
도 6은 본 발명의 일 예에 따른 부가 비디오 스트림의 종류와 크기를 결정하기 위한 부가정보의 메시지(message) 구문이다.
도 7은 본 발명의 일 예에 따른 부가 비디오 스트림의 종류에 따른 파라미터를 결정하기 위한 부가정보 유료부하(payload)의 확장된 구문이다.
도 8은 본 발명의 일 예에 따른 부가 비디오 스트림이 다시점의 비디오에 대한 깊이 영상일 경우 가상 시점의 영상을 생성하기 위한 시점합성 파라미터(view synthesis parameter)의 구문이다.

이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 후술된 본 발명의 실시예들은 다시점 비디오 및 그 다시점 비디오의 깊이 영상을 전송하기 위한 방법을 제공한다.

하기의 실시예들은 부가 비디오 스트림 기술자를 확장하여 1) 다시점 비디오에 포함된 시점 정보와 2) 각 시점 비디오에 해당하는 깊이 영상의 매핑 관계를 서술하도록 한다. 그리고 3) 다시점 비디오와 깊이 영상을 이용한 가상 시점에서의 영상 합성을 위한 합성 파라미터를 포함할 수 있는 신택스를 제공한다.

또한, MPEG-C Part 3를 확장하여 부가 비디오 스트림 서술자에 포함될 파라미터의 서술을 정의한다. 즉, 가상 시점에서의 영상 합성을 위한 파라미터를 포함하도록 한다.

도 1은 본 발명의 일 실시예에 따라서 한 시점의 비디오와 깊이 영상을 MPEG-2 TS로 다중화 처리하는 기법을 도시화 한 것이다.

한 시점의 비디오(110)와 깊이 영상(120)으로 다중화된 MPEG-2 TS는 수신기에서 깊이 영상(120)을 부가 비디오 스트림으로 구분하고, 이를 해석하기 위해 PSI의 부가 비디오 스트림 서술자(130) 및 부가정보메시지(140)를 MPEG-2 TS 다중화시 함께 다중화되어야 한다.

깊이 영상(120)은 부가 비디오 스트림 서술자(130)를 통해 깊이 영상의 부호화 정보가 제공되고, 부가정보메시지(140)를 통해 한 시점의 비디오(110)와 깊이 영상(120)으로부터 스테레오스코픽(stereoscopic) 시점 재현 및 깊이 범위를 조절하기 위한 파라미터가 제공된다.

하지만, 이 경우 한 시점에 대한 비디오(110)와 깊이 영상(120)만을 이용하기 때문에 가상시점의 영상을 생성하지 못하는 한계점을 가지고 있다.

도 2는 본 발명의 일 실시예에 따라서 다시점의 비디오와 깊이 영상을 MPEG-2 TS로 다중화 처리하는 기법을 도시화 한 것이다.

상기 도1에서 설명한 한 시점의 정보만을 이용할 경우 발생하는 가상 시점 영상 생성의 한계점을 극복하기 위한 방법이 제공된다.

다시점의 비디오(210)와 그에 대응하는 깊이 영상(220)을 MVC(Multiview Video Coding) 부호화 기술에 의해 하나의 기초 스트림으로 생성하여 다중화 된 MPEG-2 TS는 수신기에서 함께 다중화 된 PSI의 부가 비디오 스트림 서술자(230)와 부가정보메시지(240)를 통해 다시점의 비디오(210)와 깊이 영상(220)간의 매핑 관계를 제공하고, 깊이 영상(220)의 부호화 정보 깊이 영상의 각 시점에 해당하는 합성 파라미터가 제공된다.

다중화된 부가 비디오 스트림 서술자(230)와 부가정보메시지(240)는 기존의 표준을 확장한 구문을 포함한다.

도 3은 본 발명의 일 실시예에 따른 PSI의 프로그램 맵 테이블(Program Map Table; PMT)의 구성도이다.

도 1 및 2에서 MPEG-2 TS 다중화 시에 함께 다중화된 PSI의 부가 비디오 스트림 서술자(130 및 230)는 PMT안에 포함된다.

즉, 기초 스트림 레벨에서 PMT의 스트림 종류(stream type)(310)를 통해 현재 입력된 기초 스트림이 부가 비디오 스트림인지 구분하고, 부가 비디오 스트림인 경우, N 반복 서술자(320)에 부가 비디오 스트림 서술자(130 및 230)가 포함된다.

도 4는 본 발명의 일 예에 따른 부가 비디오 스트림 서술자의 확장된 구문이다.

상기 도 3에서 기술한 바와 같이, 기초 스트림이 부가 비디오 스트림으로 분류된 경우, PSI의 PMT에는 부가 비디오 스트림 서술자(230)가 포함된다.

확장된 부가 비디오 스트림 서술자(230)는 1) 부가 비디오 스트림의 부호화 정보(410)를 제공하고, 2) 다시점 비디오에 포함된 시점 정보(420 및 430)와 3) 각 시점 비디오에 해당하는 깊이 영상의 매핑 관계(440)를 서술한다. 그리고 4) 다시점 비디오와 깊이 영상을 이용한 가상 시점에서의 영상 합성을 위한 합성 파라미터를 포함할 수 있는 신택스(460)를 제공한다.

부가 비디오 스트림의 부호화 정보(410)는 부가 비디오 스트림으로 분류된 기초 스트림의 부호화 비디오 코덱 종류를 알려주어 부가 비디오 스트림을 해석하는데 필요한 정보로써 이용된다.

부가 비디오 스트림이 포함하는 시점 정보(420 및 430)는 한 시점만을 포함할 경우, 시점번호의 최소값(420)과 최대값(430)은 동일한 값으로 제공된다.

또한, 다시점을 포함하는 부가 비디오 스트림인 경우 여러 시점정보를 포함하므로 시점번호의 최소값(420)과 최대값(430)은 서로 다른 값으로 제공된다.

이는 여러 시점정보에 따라 가상 시점의 영상 생성에 필요한 파라미터 값이 다르기 때문에 시점번호를 통해 시점들을 구분하는 이유가 된다.

부가 비디오 스트림이 포함하는 각 시점에 대한 영상은 대응되는 비디오로부터 생성된 영상이므로, 대응되는 비디오에 대한 매핑 관계를 나타낼 필요가 있다. 이에 종속관계인 비디오와 부가 비디오간의 매핑 관계를 알려 주기 위해 TS 패킷의 관련된 비디오에 대한 PID(440)가 제공된다.

각 시점을 포함하는 부가 비디오 스트림을 해석하기 위한 정보는 시점번호의 최소값(420)부터 최대값(430)까지의 반복문(450)으로 각 시점에 필요한 파라미터에 대해 MPEG-C Part 3에서 정하고 있는 부가정보 RBSP 구문(460)이 제공된다.

도 5는 본 발명의 일 예에 따른 부가 비디오 스트림을 해석하기 위한 부가정보의 RBSP(Raw Byte Sequence payload) 구문이다.

상기 기술한 도 4의 부가 비디오 스트림 서술자(230)의 각 시점 별 필요한 파라미터를 제공하는 MPEG-C Part 3의 부가정보 메시지(520)는 부가정보 RBSP 구문(460)에 포함된다.

부가 비디오 스트림 서술자(230)의 크기보다 1만큼 작은 바이트 크기를 NumBytesInSI 값으로 제공받아, 부가정보 메시지(520)를 호출한다. 즉, 부가 비디오 스트림 서술자(230)보다 1만큼 작은 바이트 크기로 부가정보 메시지(520)의 크기가 정해진다.

도 6은 본 발명의 일 예에 따른 부가 비디오 스트림의 종류와 크기를 결정하기 위한 부가정보의 메시지(message) 구문이다.

유료부하의 크기(620)는 부가정보메시지(520)에 쓰여진 유료부하크기 (payloadSize)로부터 제공받고, 유료부하종류(610)값은 실제 부가 비디오 스트림의 종류를 구분하는데 이용된다. 즉, 유료부하종류(610)값이 0 인 경우 부가 비디오 스트림이 한 시점에 해당하는 깊이 영상임을 알려주고, 1 인 경우에는 한 시점에 해당하는 깊이 영상임을 알려준다.

또한, 본 발명의 일 예로 기존의 MPEG-C Part 3 표준을 확장한 부가정보 메시지(520)에서는 유료부하종류(610)값으로 2를 추가하여, 2인 경우에는 다시점에 해당하는 깊이 영상임을 나타낸다.

도 7은 본 발명의 일 예에 따른 부가 비디오 스트림의 종류에 따른 파라미터를 결정하기 위한 부가정보 유료부하(payload)의 확장된 구문이다.

부가 비디오에 대한 부가정보 유무(720)를 판별하고, 유료부하종류(610)에 따라 파라미터가 다르게 제공된다.

유료부하종류(610)에 상관없이 제공되는 공통 파라미터(740)는 조건문(730)에 의해 부가 비디오에 대한 부가정보가 있음을 알리고, 공통 파라미터(740)가 제공된다.

유료부하종류(610)가 0 인 경우, 한 시점에 대한 깊이 영상이므로 그에 필요한 깊이 파라미터(750)를 제공하고, 1인 경우에는 한 시점에 대한 시차 영상이므로 그에 필요한 시차 파라미터(760)를 제공한다.

또한, 상기 기술한 기존의 MPEG-C Part 3 표준을 확장한 구문에서는 유료부하종류(610)이 2인 경우, 다시점에 대한 깊이 영상이므로 가상 시점에 필요한 합성 파라미터(770)가 제공된다.

도 8은 본 발명의 일 예에 따른 부가 비디오 스트림이 다시점의 비디오에 대한 깊이 영상일 경우 가상 시점의 영상을 생성하기 위한 시점합성 파라미터(view synthesis parameter)의 구문이다.

기존의 MPEG-C Part 3 표준을 확장하여 다시점의 비디오에 대한 깊이 영상과 관련된 시점합성 파라미터가 제공된다.

시점합성 파라미터는 가상 시점의 영상을 합성하기 위한 파라미터로써, 카메라 파라미터와 깊이 영상 거리정보 파라미터가 있다.

카메라 파라미터는 카메라의 초점거리(810 및 812)와 카메라 렌즈의 왜곡을 보정하기 위한 정보(814) 및 카메라 주축과 영상 평면이 만나는 위치정보(816 및 818)가 제공되며, 카메라 좌표계와 세계 좌표계(world coordinate system)의 원점을 일치시키기 위한 회전 행렬(820부터 836까지)과 천이 벡터(838부터 842까지)가 제공된다.

깊이 영상 거리정보 파라미터는 영상 평면으로부터 깊이 영상의 최소(844) 및 최대(846) 거리정보를 제공하는 파라미터이다.

시점합성 파라미터를 통하여 다시점 비디오와 깊이 영상을 이용한 가상 시점에서의 영상 합성 및 3차원 영상 서비스가 가능하다.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

110: 한 시점의 비디오
120: 깊이 영상
130: 부가 비디오 스트림 서술자
140: 부가정보 메시지

Claims (1)

1. 다시점 비디오 스트림, 상기 다시점 비디오 스트림에 대응되는 부가 비디오 스트림 및 상기 부가 비디오 스트림에 대한 해석 정보를 포함하는 MPEG-2 트랜스포트 스트림 패킷을 생성하는 패킷 생성부; 및
   상기 MPEG-2 트랜스포트 스트림 패킷을 사용하여 MPEG-2 트랜스포트 스트림을 전송하는 전송부
   를 포함하고,
   상기 해석 정보는 상기 다시점 비디오 스트림에 대한 시점 정보, 상기 다시점 비디오 스트림에 대응하는 깊이 영상의 매핑 관계 및 상기 다시점 비디오와 상기 깊이 영상을 이용한 가상 시점에서의 영상 합성을 위한 합성 파라미터를 포함하는, MPEG-2 트랜스포트 스트림 생성 장치.

Images