KR20140080701A - 자막 데이터를 이용한 3dtv 동기 보정 방법 및 그 장치 - Google Patents

Abstract

본 발명은 3DTV 서비스를 구성하는 복수의 스트림들의 자막 데이터를 이용한 동기 보정 방법 및 장치에 대한 것이다. 본 발명에 따른 동기 보정 방법은 상기 3DTV 서비스를 구성하는 제1 비디오 스트림으로부터 제1 비디오 데이터 및 제1 자막 정보를 추출하는 단계, 상기 3DTV 서비스를 구성하고 상기 제1 비디오 스트림과 연동되는 제2 비디오 스트림으로부터 제2 비디오 데이터 및 제2 자막 정보를 추출하는 단계, 상기 자막 정보 1과 상기 자막 정보 2의 시간 차이를 측정하는 단계, 상기 측정된 시간 차이를 기반으로 상기 제1 비디오 데이터 및 상기 제2 비디오 데이터의 동기를 맞추는 단계를 포함함을 특징으로 한다. 본 발명에 따르면 상기 제1 비디오 스트림 및 상기 제2 비디오 스트림에 별도의 추가 정보가 삽입되지 않고도, 상기 제1 비디오 데이터 및 제2 비디오 데이터 간 동기를 획득할 수 있다.

Description

자막 데이터를 이용한 3DTV 동기 보정 방법 및 그 장치{STEREOSCOPIC 3DTV RE-SYNCHRONIZING METHOD AND ITS APPARATUS USING CAPTION DATA}

본 발명은 3DTV 동기 보정 방법에 대한 것으로, 보다 상세하게는 자막 데이터를 이용한 동기 보정 방법 및 장치에 대한 것이다.

최근 3D(3 Dimension) 입체 영화 및 3D 방송 기술에 대한 요구가 극대화되고 있다. 3D 방송 기술의 경우, 기존은 방송 환경에 대한 호환성이 요구되고 있으며, 이를 위해서 듀얼 스트림 3DTV 방식이 개발되었다. 듀얼 스트림 3DTV 방식의 경우 두 개의 스트림을 별도로 인코딩하여 전송해야 하며, 이 경우 두 스트림에 대한 프레임 단위의 동기화된 출력이 요구된다.

현재 3D 영상을 서로 다른 부호화기(encoder)로 부호화(encoding)할 경우, 같이 시간에 같은 동기 시간 정보를 가지는 두 입력 스트림들을 부호화하더라도, 초기 지연시간과 같은 부호화기의 특성에 의하여 각각의 부호화기에서 출력되는 두 전송스트림에 대한 정확한 동기가 확보되기 어렵다. 따라서, 각각의 부호화기의 출력을 그대로 다중화하는 경우, 같은 동기 시간 정보를 입력했음에도 불구하고, 수신기에 전달되는 좌우 영상간의 동기가 맞지 않는 문제가 발생할 수 있다. 이러한 문제를 보정하기 위하여, 기존의 방법에서는 동일 칩셋을 기반으로 만들어진 3DTV 전용 부호화기를 이용하거나, 부호화기에서 출력되는 전송스트림(transport stream)을 다시 복호화(decoding)하여 사람이 눈으로 확인한 후 영상 프레임의 동기를 수동으로 맞추었다. 하지만 상기와 같은 기존의 방법을 사용하는 경우 라이브 방송 등의 경우에 다양한 3D 카메라 장면을 스위칭하거나, 여러 입력 스트림들을 서로 다른 부호화기 연결을 통해서 사용하는 경우, 원활한 서비스를 제공하기에 어려움이 있었다.

본 발명의 기술적 과제는 자막 데이터를 이용한 3DTV 동기 보정 방법 및 그 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 3DTV 방송을 구성하는 복수의 스트림들 간 동기를 보정(또는 매칭)함에 있다.

본 발명의 또 다른 기술적 과제는 비디오 스트림 내의 자막 정보를 이용하여 3DTV 방송을 구성하는 복수의 스트림들 간 동기를 보정함에 있다.

본 발명의 또 다른 기술적 과제는 듀얼 스트림 3DTV 방식에서 두 개의 비디오 스트림에 포함되어 있는 자막정보를 이용하여 프레임 단위의 동기를 맞추는 방법 및 장치를 제공함에 있다.

본 발명의 일 양태에 다르면 3DTV 서비스 동기 보정 방법을 제공한다. 상기 방법은 상기 3DTV 서비스를 구성하는 제1 비디오 스트림으로부터 제1 비디오 데이터 및 제1 자막 정보를 추출하는 단계, 상기 3DTV 서비스를 구성하고 상기 제1 비디오 스트림과 연동되는 제2 비디오 스트림으로부터 제2 비디오 데이터 및 제2 자막 정보를 추출하는 단계, 상기 자막 정보 1과 상기 자막 정보 2의 시간 차이를 측정하는 단계, 상기 측정된 시간 차이를 기반으로 상기 제1 비디오 데이터 및 상기 제2 비디오 데이터의 동기를 맞추는 단계를 포함함을 특징으로 한다.

본 발명에 따르면, 3DTV 서비스를 구성하는 제1 비디오(예를 들어 기본 영상) 및 제2 비디오(예를 들어 부가 영상)의 자막 정보를 이용함으로써, 비디오 부호화기에서 부호화를 함에 있어 별도의 추가 정보를 삽입할 필요 없이 동기를 제1 비디오와 제2 비디오 간 동기를 맞출 수 있다.

도 1은 지상파 방송에서 사용되는 MPEG(Moving Picture Experts Group)-2 비디오에서의 자막 정보를 전송하기 위한 데이터 구조의 일 예를 나타낸다.
도 2는 본 발명이 적용될 수 있는 3DTV 수신기의 일 예를 나타낸다.
도 3은 본 발명의 일 예에 따른 3DTV 수신기에서 동기 보정을 수행하는 예를 나타낸다.
도 4는 본 발명에 따른 자막정보를 이용한 동기 보정 시간 계산의 일 예이다.
도 5는 본 발명의 다른 예에 따른 3DTV 다중화기에서 동기 보정을 수행하는 예를 나타낸다.

이하, 본 명세서에서는 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 명세서에서 본 발명의 실시 예들을 설명함에 있어, 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명에 따른 3DTV 동기 보정 방법은 예를 들어, 3DTV 수신기 및 3DTV 다중화기 등에 적용될 수 있다.

본 발명은 3DTV 서비스를 구성하는 복수의 영상들(예를 들어 좌 영상 및 우 영상) 또는 상기 복수의 영상들의 일부 구간에 동일한 자막이 사용되는 경우에 적용될 수 있다. 상기 자막은 예를 들어, 청각 장애자를 위하여 상기 복수의 영상들에 포함될 수 있고, 방송 서비스의 해설 또는 부가적인 설명 등을 위하여 상기 복수의 영상들에 포함될 수도 있다. 상기 자막은 프레임(frame) 단위로 비디오 스트림에 포함되어 3DTV 수신기 등으로 전송될 수 있다. 상기 자막은 폐쇄 자막(Closed caption)을 포함할 수 있다.

도 1은 지상파 방송에서 사용되는 MPEG(Moving Picture Experts Group)-2 비디오에서의 자막 정보를 전송하기 위한 데이터 구조의 일 예를 나타낸다.

도 1을 참조하면, 자막 정보는 비디오 스트림 내의 유저 데이터(user_data) 구문(100)에 포함될 수 있다. 예를 들어, H.264 비디오의 경우, 상기 자막 정보는 비디오 스트림 내의 SEI(Supplemental Enhancement Information) 구문 내의 페이로드(payload) 내의 유저 데이터 구문(100)에 포함되어, 3DTV 수신기 등으로 전송될 수 있다.

3DTV 서비스를 구성하는 복수의 비디오 스트림들에 대한 각각의 자막 정보는, 상기 복수의 비디오 프레임들 각각과 동기화 되어 3DTV 수신기 등으로 전송된다. 상용 부호화기에서는 비디오 부호화시 입력으로 자막 정보를 수신하면, 해당 자막 정보를 비디오 프레임과 같이 스트림에 포함시킨다. 본 발명에서는 상기 복수의 비디오 스트림들에 포함(또는 삽입)되는 자막 정보들을 이용한다.

도 2는 본 발명이 적용될 수 있는 3DTV 수신기의 일 예를 나타낸다.

도 2를 참조하면, 3DTV 수신기는 입력부(200), 역다중화부(210), 제1 비디오 복호화부(220), 제2 비디오 복호화부(225), 3D 영상 동기화부(230), 3D 영상 합성부(240), 비디오 출력부(250), 오디오 디코딩부(260), 오디오 출력부(270)를 포함한다.

입력부(200)는 3DTV 서비스에 대한 데이터를 외부로부터 입력 받는다. 구체적으로 입력부(200)는 3D 영상 서비스에 대한 전송 스트림을 입력 받고, 이를 역다중화부(210)로 보낸다.

역다중화부(210)는 오디오, 비디오 데이터를 분리한다. 구체적으로 다시 말하면, 역다중화부(210)는 상기 전송 스트림으로부터 오디오에 대한 스트림(들) 및 비디오에 대한 스트림(들)을 분리할 수 있고, 3DTV 서비스의 경우 복수의 구성 비디오(영상)들에 대한 스트림들(예를 들어, 제1 비디오 스트림 및 상기 제1 비디오 스트림과 연동되는 제2 비디오 스트림)을 분리할 수 있다.

제1 비디오 복호화부(220)는 상기 3DTV 서비스를 구성하는 제1 비디오 스트림을 복호화하여 제1 비디오 데이터를 생성할 수 있고, 제2 비디오 복호화부(225)는 상기 3DTV 서비스를 구성하고 상기 제1 비디오 스트림에 연동되는 제2 비디오 스트림을 디코딩하여 제2 비디오 데이터를 생성할 수 있다. 예를 들어 3DTV 서비스가 듀얼 스트림으로 구성된 경우, 즉, 3DTV 서비스가 기준 영상에 대한 스트림 및 부가 영상에 대한 스트림으로 구성된 경우, 제1 비디오 복호화부(220)는 상기 기준 영상에 대한 스트림을 복호화하여 기준 영상 데이터를 획득할 수 있고, 제2 비디오 복호화부(225)는 부가 영상에 대한 스트림을 복호화하여 부가 영상 데이터을 획득할 수 있다.

오디오 디코딩부(260)는 오디오에 대한 기초 스트림(들)을 디코딩하고, 오디오 데이터를 획득하고, 오디오 출력부(270)는 상기 획득된 오디오 데이터를 출력한다.

3D 영상 동기화부(230)는 제1 비디오 복호화부(220)에서 복호화된 상기 제1 비디오 데이터 및 제2 비디오 복호화부(225)에서 복호화된 상기 제2 비디오 데이터의 동기를 맞춘다.

3D 영상 합성부(240)는 상기 동기가 맞추어진 상기 제1 비디오 데이터 및 상기 제2 비디오 데이터를 기반으로 3D 영상 데이터을 생성한 후 비디오 출력부(250)를 통해 디스플레이 수단에서 출력하게 된다. 3D 영상 합성부(240)는 비디오 출력부(250)의 지원 형태에 따라 상기 3D 영상 데이터를 사이드-바이-사이드(Side-by-Side) 형태나 프레임 팩킹(Frame Packing) 형태로 생성하고, 이를 비디오 출력부(250)를 통해 상기 디스플레이 수단에서 출력할 수 있다.

예를 들어 상기 제1 비디오 데이터는 기준 영상에 관한 데이터이고, 상기 제2 비디오 데이터는 부가 영상에 관한 데이터일 수 있다. 즉, 제1 비디오 복호화부(220)는 기준 영상에 대한 스트림을 디코딩하여 기준 영상에 관한 데이터를 생성(또는 획득)할 수 있고, 제2 비디오 복호화부(225)는 부가 영상에 대한 스트림을 복호화하여 부가 영상에 관한 데이터를 생성(또는 획득)할 수 있으며, 이 경우 제1 비디오 복호화부(220)에서는 MPEG-2 비디오 인코딩 기법이 사용될 수 있고, 제2 비디오 복호화부(225)에서는 H.264나 HEVC(High Efficiency Video Coding)과 같은 고화질의 비디오 인코딩 기법이 사용될 수 있다.

도 3은 본 발명의 일 예에 따른 3DTV 수신기에서 동기 보정을 수행하는 예를 나타낸다. 본 예는 3DTV 서비스를 구성하는 제1 비디오 스트림 및 제2 비디오 스트림이 각각 제1 자막 정보 및 제2 자막 정보를 포함하고 있는 경우이다.

도 3을 참조하면, 제1 비디오 복호화부(320)는 3DTV 서비스를 구성하는 제1 비디오 스트림을 복호화하고 제1 비디오 데이터 및 제1 자막 정보를 획득한다. 제2 비디오 복호화부(325)는 상기 3DTV 서비스를 구성하고, 상기 제1 비디오 스트림에 연뎡되는 제2 비디오 스트림을 복호화하고, 제2 비디오 데이터 및 제2 자막 정보를 획득한다.

3D 영상 동기화부(330)는 자막 비교 모듈(335)를 포함한다. 자막 비교 모듈(335)는 상기 제1 자막 정보 및 상기 제2 자막 정보를 기반으로 두 자막 간 시간 차이를 측정한다. 구체적으로 예를 들면, 자막 비교 모듈(335)은 상기 제1 자막 정보 및 상기 제2 자막 정보를 해당 자막에 대한 시간 정보(프레임 단위의 PCR(Program Clock Reference 또는 PTS(Presentation Time Stamp) 등)에 따라 버퍼(buffer)에 저장하고, 상기 제1 자막 정보 및 상기 제2 자막 정보를 비교하고,두 자막 사이의 시간 차이를 측정한다. 비교하는 상기 제1 자막 정보 및 상기 제2 자막 정보는 화면에 출력하기 위한 캡션 데이터일 수도 있고, 상기 캡션 데이터를 제어하기 위한 명령어일 수도 있다.

도 4는 본 발명에 따른 자막정보를 이용한 동기 보정 시간 계산의 일 예이다.

도 4를 참조하면, 제1 비디오에 자막 정보(즉, 제1 자막 정보)의 경우 3번째 블록부터 A 정보가 검색되고, 제2 비디오에 대한 자막 정보(즉, 제2 자막 정보)의 경우 5번째 블록부터 A 정보가 검색된다. 이 경우 두 자막 사이의 시간 차이 △t는 두 블록 시간 차이가 된다. 즉, 각 자막 정보들을 비교하여 같은 정보가 발견될 경우, 최초에 같은 정보가 나타나는 시간을 측정하여, 두 자막 사이의 시간 차이를 측정할 수 있다. 이는 자막의 경우 여러 화면에서 같은 정보가 나타날 수 있기 때문이다. 또한 같은 방식으로 같은 정보가 사라지는 시간 차이를 기준으로 하여 상기 두 자막 사이의 시간 차이를 측정할 수도 잇다.

다시 도 3을 참조하면, 3D 영상 동기화부(330) 상기 측정된 두 자막 사이의 시간 차이(△t)를 기반으로, 상기 제1 비디오 데이터 및 상기 제2 비디오 데이터를 동기를 맞춘다. 예를 들어, 상기 제1 비디오 데이터 또는 상기 제2 비디오 데이터에 대하여 △t만큼 시간 보정을 수행할 수도 있고, 또는 상기 △t를 나누어서 상기 제1 비디오 데이터 및 상기 제2 비디오 데이터 모두 조금씩 시간 보정을 수행할 수도 있다.

3D 영상 합성부(340)는 상기 동기가 맞추어진(즉, 시간 보정이 수행된) 상기 제1 비디오 데이터 및 상기 제2 비디오 데이터를 기반으로 3D 영상 데이터을 생성한 후 비디오 출력부(350)를 통해 디스플레이 수단에서 출력하게 된다. 또한, 3D 영상 합성부(340)는 상기 시간 보정에 대한 정보(동기 보정 정보)를 오디오 출력부(370)로 전달할 수 있다. 이는 오디오 출력부(370)에서 상기 시간 보정에 대한 정보를 기반으로 오디오 데이터의 동기를 조절할 수 있도록 하기 위함이다.

도 5는 본 발명의 다른 예에 따른 3DTV 다중화기에서 동기 보정을 수행하는 예를 나타낸다. 기존의 3DTV 다중화기의 경우, 입력되는 두 개의 비디오 신호에 기준신호를 입력하고, 이를 복호화하여 복호화된 픽셀 정보를 비교하여 동기 정보를 추정하거나, 상기 두 개의 비디오 신호에 별도의 동기 정보를 입력하여 해당 동기 정보끼리 비교하여 영상 화면의 시간 정보를 추정하였다. 전자의 경우에는 다중화를 위해서 비디오에 기준 신호를 포함하여 촬영하여야 하며, 또한 다중화기가 비디오 복호화 기능을 포함하여야 하므로, 이는 시스템의 복잡도를 높이고, 비용의 증가를 가져오게 된다. 또한 후자의 경우에는 동기 정보를 입력하는 부분을 부호화기 입력에 추가해야 하고, 다중화 시에 비디오 스트림에 포함된 동기 정보를 삭제해야 하는 문제를 가지고 있다.

도 5를 참조하면, 본 발명의 다른 예에 따른 3DTV 다중화기는 제1 전송 스트림(TS) 역패킷화(De-packetizer) 모듈(500), 제2 전송 스트림 역패킷화 모듈(505), 자막 동기추출 모듈(510), 동기 수정 모듈(520), 3DTV 다중화 모듈(530)을 포함한다.

제1 전송 스트림 역패킷화 모듈(500)은 입력으로 들어오는 제1 전송 스트림에서 제1 비디오 PES(Packetized Elementary Stream)을 추출하고, 자막 동기추출 모듈(510)에 전달한다. 제2 전송 스트림 역패킷화 모듈(505)은 입력으로 들어오는 제2 전송 스트림에서 제2 비디오 PES을 추출하고, 자막 동기추출 모듈(510)에 전달한다. 상기 제1 전송 스트림 및 상기 제2 전송 스트림은 예를 들어 MPEG-2에 의하여 부호화된 전송 스트림들일 수 있다.

제1 전송 스트림 역패킷화 모듈(500)은 상기 제1 비디오 PES를 동기 수정 모듈(520)로 전달한다. 또한, 제2 전송 스트림 역패킷화 모듈(505)는 상기 제2 비디오 PES를 동기 수정 모듈(520)로 전달한다. 또한, 제1 전송 스트림 역패킷화 모듈(500)은 제1 전송 스트림에서 오디오 PES를 추출하고, 동기 수정 모듈(520)로 전달할 수 있다.

자막 동기추출 모듈(510)은 제1 비디오 PES 및 제2 비디오 PES에 포함된 자막(정보)을 각각 추출하여 비교하고 시간 차이를 측정(또는 계산)한다. 자막 동기추출 모듈(510)은 상기 측정한 시간 차이에 대한 정보(동기 보정 정보)를 동기 수정 모듈(520)로 전달한다.

동기 수정 모듈(520)은 제1 전송 스트림 역패킷화 모듈(500) 및 제2 전송 스트림 역패킷화 모듈(505)로부터 각각 전달받은 제1 비디오 PES 및 제2 비디오 PES과 자막 동기추출 모듈(510)로부터 전달받은 시간 차이에 대한 정보를 기반으로, 제1 비디오 PES 및 제2 비디오 PES의 동기화(동기 수정)를 수행할 수 있다. 이 경우 상기 자막(정보)를 이용한 두 자막 사이의 시간 차이 측정 및 두 비디오의 동기 보정 방식은 도 3 및 도 4에서 설명된 방법을 사용할 수 있다. 예를 들어, 제1 비디오 PES 및 제2 비디오 PES로부터 각각 자막을 입력받아 버퍼에 넣고, 같은 정보가 시작되는 시간 정보를 비교하여, 시간 차이를 측정하고, 상기 측정된 시간 차이를 기반으로 두 비디오 PES들의 동기화(동기 보정)를 수행할 수 있다. 동기 수정 모듈(520)은 또한 상기 오디오 PES의 동기화를 더 수행할 수 있다.

3DTV 다중화 모듈(530)은 상기 동기화가 수행된 제1 비디오 PES 및 제2 비디오 PES를 다중화하여, 3DTV 전송 스트림을 생성한다. 3DTV 다중화 모듈(530)은 또한 상기 동기화가 수행된 오디오 PES를 더 다중화하여 상기 3DTV 전송 스트림을 생성할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

1. 3DTV 서비스 동기 보정 방법으로,
   상기 3DTV 서비스를 구성하는 제1 비디오 스트림으로부터 제1 비디오 데이터 및 제1 자막 정보를 추출하는 단계;
   상기 3DTV 서비스를 구성하고 상기 제1 비디오 스트림과 연동되는 제2 비디오 스트림으로부터 제2 비디오 데이터 및 제2 자막 정보를 추출하는 단계;
   상기 자막 정보 1과 상기 자막 정보 2의 시간 차이를 측정하는 단계;
   상기 측정된 시간 차이를 기반으로 상기 제1 비디오 데이터 및 상기 제2 비디오 데이터의 동기를 맞추는 단계를 포함함을 특징으로 하는, 3DTV 서비스 동기 보정 방법.

Images