KR101203483B1 - 3차원 입체방송의 전송방법 및 그 수신기 - Google Patents

Abstract

본 발명은 효율적인 3차원 입체방송 및 그에 관한 3DTV 수신기를 제공하고자 하는 것으로서, 동시에 촬영된 기준영상과 부가영상 중에서 부가영상을 방송전에 미리 전송하고, 방송시에는 상기 기준영상과 상기 부가영상에 있어서 각 첫 프레임의 표현시간지정정보(PTS) 값의 차이를 구하여 이를 상기 기준영상과 함께 전송하는 것을 특징으로 하는 3차원 입체방송의 전송방법을 제공한다.
상기에서, 기준영상의 앞에는 3차원 입체방송의 시작을 알리는 3DTV 시작 패턴 영상(3DTV 始作 pattern 映像)이 삽입되어 인코딩 되고, 인코딩된 스트림에서 상기 3DTV 시작 패턴 영상이 끝나는 프레임의 다음 프레임인 기준영상의 첫 프레임을 찾아 해당 프레임의 PTS 값을 추출하여, 부가영상의 첫 프레임의 PTS 값과의 차이를 구하는 것이 바람직하다.
또한 상기 기준영상은 방송망을 통하여 전송되고, 상기 부가영상은 인터넷망을 통하여 전송되면 좋다.
또한 상기의 기능을 구현하는 3차원 입체방송의 수신기를 제공한다.

Description

3차원 입체방송의 전송방법 및 그 수신기{THE METHOD TO TRANSMIT 3 DIMENSIONAL BROADCASTING, AND THE RECEIVER}

본 발명은 3차원 입체방송에 관한 것으로서, 특히 수신기(3DTV 수신기)로 미리 다운로드 시킨 영상과 실시간 디지털 방송의 영상을 동기화하여 3차원 입체영상을 시청하는 기술에 관한 것이다.

현재의 3차원 입체방송은 양안식 카메라(兩眼式 camera)로 촬영한 좌영상(左映像)과 우영상(右映像)을 방송망을 통해서 수신기로 전송하고, 수신기에서 수신한 좌영상과 우영상을 시청자의 좌안과 우안에 노출시키는 형태로 이루어진다. 이 때 동시에 노출되는 좌영상과 우영상은 같은 시점에 촬영된 영상이어야 한다. 그렇지 않은 경우에는 시청자가 심한 어지러움을 느끼고, 3차원 입체 효과도 느끼지 못한다.

같은 시점에 촬영한 좌영상과 우영상이 방송 채널을 통해서 동시에 전송되는 경우에는 수신기에서 같은 시점에 촬영한 좌영상과 우영상을 쉽게 찾아내서 시청자에게 동시에 노출시킬 수 있다. 좌영상과 우영상을 하나의 비디오 스트림을 통해서 전송되는 경우에는 좌/우 영상이 한 프레임에 포함되어 있거나, 번갈아가면서 전송되기 때문에 수신기에서 같은 시점에 촬영한 좌영상과 우영상을 쉽게 찾을 수 있고, 좌영상과 우영상을 서로 다른 비디오 스트림을 통해서 전송하는 경우에는 같은 시점에 촬영한 좌영상과 우영상에 같은 표현시간지정정보(Presentation Time Stamp, 이하 PTS) 값을 지정하여 스트림을 생성하여 전송하면, 수신기에서 PTS값을 비교하여 동일한 시점에 촬영한 좌영상과 우영상을 찾을 수 있다.

그러나, 하나의 방송 채널에 좌영상과 우영상을 함께 전송하게 되면 하나의 방송 채널에 하나의 영상을 전송할 때보다 좌영상과 우영상 각각을 2배 더 압축해서 전송해야 한다. 그렇게 되면 좌영상과 우영상 모두 화질이 떨어지게 되어 고화질의 방송 서비스를 제공하기 어려워진다.

이러한 문제를 해결하기 위해서 좌/우영상 중에서 하나를 부가영상으로 하고, 이를 방송 전에 비실시간 다운로드 방송 서비스 또는 인터넷을 통해서 수신기로 미리 다운로드 시키고, 방송 시간에는 좌/우영상 중의 나머지 하나인 기준영상만을 실시간 방송 채널을 통하여 보내는 방법을 사용할 수 있다. 이러한 방식을 사용할 경우 좌영상과 우영상 모두 고화질로 시청자에게 전달하는 것이 가능하다.

그러나, 실시간 방송 채널을 통해서 전송되는 기준영상의 PTS는 비디오 인코더에서 실시간적으로 붙이고, 수신기에 미리 저장되어 있는 부가영상은 미리 인코딩 된 시점의 PTS가 붙여져 있어서, 수신기에서 같은 시점에 촬영된 것인지 아닌지를 파악하기 불가능하다. 미리 전송되어 저장되어 있는 부가영상과 실시간으로 인코딩되어 전송되는 기준영상을 PTS에 의해서 동기화시키기 위해서는 저장된 부가영상과 실시간으로 인코딩되는 기준영상의 PTS값의 차를 보정하여야 하는데, 이를 위하여는 반드시 양 영상의 PTS값의 차를 구해야 한다.

이를 위하여, 기준영상과 부가영상의 각각의 첫 번째 프레임의 PTS값을 구하여 그 차를 구하면 된다.

그러나, 첫 번째 부가영상 프레임의 PTS값은 부가영상이 이미 인코딩이 되었기 때문에 쉽게 구할 수 있다. 하지만, 첫 번째 기준영상 프레임의 PTS값은 실시간 비디오 인코더에 의해서 순간적으로 결정되기 때문에 프레임 단위로 정확하게 찾기 어렵다.

본 발명은 상기 과제를 해결하기 위하여, 부가영상과 같은 시점에 촬영된 기준영상이 실시간으로 인코딩 될 때의 PTS값을 프레임 단위로 정확하게 찾을 수 있는 방법을 제안한다.

즉, 첫 번째 기준영상의 PTS값을 찾고, 미리 인코딩한 첫 번째 부가영상 프레임의 PTS값과의 차를 구해 수신기로 전송하면 수신기에서 실시간 방송을 통해 수신한 기준영상과 같은 시점에 촬영된 부가영상을 쉽게 찾을 수 있다.

실시간으로 인코딩되는 기준영상의 PTS값을 찾기 위해서, 기준영상의 첫 번째 프레임의 앞에 3DTV의 시작을 알리는 특정한 패턴 영상들을 붙이고, 비디오 인코더의 출력 스트림에서 이러한 특정한 패턴 영상을 찾아내고, 마지막 패턴 영상을 지나면 기준영상의 첫 프레임을 찾을 수 있다. 이렇게 찾은 첫 번째 기준영상 프레임의 PTS값과 미리 인코딩된 부가영상 스트림의 첫 번째 부가영상 프레임의 PTS값의 차를 구하고, 이 값을 수신기로 전송하면 수신기에서 기준영상과 부가영상의 PTS값을 비교하여 동일한 시점에 촬영한 상대방 영상을 찾을 수 있다.

그 구성은, 동시에 촬영된 기준영상과 부가영상 중에서 부가영상을 방송전에 미리 전송하고, 방송시에는 상기 기준영상과 상기 부가영상에 있어서 각 첫 프레임의 표현시간지정정보(PTS) 값의 차이를 구하여 이를 상기 기준영상과 함께 전송하는 것이다.

여기에서, 기준영상의 앞에는 3차원 입체방송의 시작을 알리는 3DTV 시작 패턴 영상(3DTV 始作 pattern 映像)이 삽입되어 인코딩 되고, 인코딩된 스트림에서 상기 3DTV 시작 패턴 영상이 끝나는 프레임의 다음 프레임인 기준영상의 첫 프레임을 찾아 해당 프레임의 PTS 값을 추출하여, 부가영상의 첫 프레임의 PTS 값과의 차이를 구하는 것이 바람직하다.

또한, 상기 기준영상은 방송망을 통하여 전송되고, 상기 부가영상은 인터넷망을 통하여 전송되면 바람직하다.

또한, 본 발명의 다른 구성은, 동시에 촬영된 기준영상과 부가영상 중에서 부가영상을 방송전에 미리 수신하여 저장하고, 방송시에는 상기 기준영상을 수신하여 표시하고, 상기 기준영상과 상기 부가영상에 있어서 각 첫 프레임의 표현시간지정정보(PTS) 값의 차이를 수신하고, 이에 의거하여 상기 기준영상의 새로운 표현시간지정정보(PTS)를 구하고, 상기 부가영상 중에서 새로운 표현시간지정정보(PTS)에 맞는 프레임을 찾아 이를 표시하는 것을 특징으로 하는 3차원 입체방송의 수신기이다.

본 발명에 의하면, 미리 다운로드 되어 수신기에 저장되어 있는 부가영상과 실시간 방송을 통해 전송된 기준영상을 동기화시킬 수 있게 되어, 기준영상과 부가영상을 동시에 전송하지 않고도, 실시간 채널에서 3차원 입체 영상 서비스를 제공할 수 있게 된다.

기준영상과 부가영상을 함께 보내지 않아도 되기 때문에, 기준/부가영상의 화질을 떨어뜨리지 않고 3차원 입체 영상 서비스를 제공할 수 있게 된다.

또한 상기한 효과를 3차원 입체방송의 수신기에서도 구현할 수 있다.

도1은, 본 발명의 한 실시예인 실시간/비실시간 혼합형 3DTV 송출 시스템을 나타내는 도면이다.
도2는, 3DTV 동기화 정보추출 서버에 있어서의 동작을 나타내는 플로우챠트이다.
도3은 3DTV 수신기의 동작을 나타내는 플로우챠트이다.

스테레오스코픽 3차원 입체방송을 위해서 부가영상은 인터넷이나 비실시간 다운로드 방송 서비스를 통해서 미리 수신기로 다운로드시키고, 기준영상은 실시간 방송을 통해서 전송하는 경우에, 수신기에서 기준영상 스트림과 부가영상 스트림 중에서 같은 시점에 촬영한 기준영상과 부가영상을 찾는 방법 및 장치에 관한 본 발명을 이하에서 상세하게 설명한다.

도1은 본 발명의 한 실시예인 실시간/비실시간 혼합형 3DTV 송출 시스템을 나타내는 도면이다. 도1이 나타내는 바와 같이, 실시간 비디오 인코더, 비실시간 비디오 인코더, 3DTV 동기화 정보추출 서버, PSI/PSIP 생성기(Program Specific Information/Program and System Information Protocol 生成器), 디지털 방송 파일 다운로드 서버 또는 인터넷 파일 다운로드 서버 등으로 구성된다.

각 구성 장비들의 기능과 전체적인 동작 방식은 아래와 같다.

1.스테레오스코픽 3차원 입체 영상(stereoscopic 3次元立體映像)을 구성하는 좌영상과 우영상이 촬영되고 편집된다. 그리고 좌/우영상 중의 하나를 기준영상으로 하고, 나머지를 부가영상으로 한다. 즉, 좌영상이 기준영상이 되는 경우에는 우영상이 부가영상이 되고, 우영상이 기준영상이 되는 경우에는 좌영상이 부가영상이 된다. 그리고 기준영상의 앞에는 3DTV 시작 패턴 영상(3DTV 始作 pattern 映像)이 일정한 길이만큼 삽입된다.

2.기준영상이 실시간 방송되기 전에, 부가영상은 비실시간 비디오 인코더에 의해서 부가영상 스트림으로 인코딩되고, 이 부가영상 스트림은 디지털 방송 파일 다운로드 서버나 인터넷 파일 다운로드 서버에 의해서 미리 3DTV 수신기로 다운로드된다. 동시에 이 부가영상 스트림은 3DTV 동기화 정보추출 서버로 보내져 거기에 저장된다.

3.기준영상은 정해진 방송시간이 되면 실시간 비디오 인코더에 의해서 기준영상 스트림으로 인코딩이 되어, 디지털 방송 장비들을 통해서 3DTV 수신기로 전송된다. 동시에 기준영상 스트림은 3DTV 동기화 정보추출 서버로도 전달된다.

4.3DTV 동기화 정보추출 서버는 실시간 비디오 인코더로부터의 출력 스트림인 기준영상 스트림을 검사하여 3DTV 시작 패턴 영상을 찾는다. 3DTV 시작 패턴 영상을 찾은 후에 3DTV 시작 패턴 영상이 끝나는 위치를 찾아, 그 다음 프레임인 첫 번째 기준영상 프레임의 PTS값을 찾는다. 그리고 저장되어 있는 부가영상 스트림을 읽어, 첫 번째 부가영상 프레임의 PTS값을 찾는다. 첫 번째 기준영상 프레임의 PTS값과 부가영상 프레임의 PTS값의 차이를 계산한다.

예를 들어 부가영상 프레임의 PTS값이 40이고 기준영상 프레임의 PTS값이 50이라면, PTS값의 차이는 10이 되고, 이 값을 PSI/PSIP 생성기에 전달한다.

5.PSI/PSIP 생성기는 기준/부가영상의 PTS값 차이의 정보와 3DTV 서비스 정보를 PSI/PSIP 테이블에 포함시켜 송출한다.

6.3DTV 수신기는 부가영상 스트림을 방송망이나 인터넷을 통해서 미리 다운로드 받아, 저장하고 있다. 기준/부가영상의 PTS값의 차이에 대한 정보를 수신하고, 이를 이용하여 기준영상 프레임과 같은 시간에 촬영된 부가영상 프레임을 부가영상 스트림으로부터 찾아내서 동시에 시청자에게 노출한다.

예를 들어 수신된 기준영상 프레임의 PTS값이 50이고, 수신된 PTS값의 차이에 대한 정보가 10이라고 한다면, 50 - 10 = 40이 되어, 저장되어 있는 부가영상 프레임에서 PTS값이 40인 것을 찾아내고, 이를 방금 수신한 기준영상고 프레임과 같이 동시에 디스플레이 한다.

MPEG-2 TS 리먹스, 모듈레이터 등은 디지털 방송을 위한 기기들로서 종래에 널리 알려진 주지의 것이므로, 그에 대한 상세한 설명은 생략한다.

도2는 3DTV 동기화 정보추출 서버에 있어서의 동작을 나타내는 플로우챠트이다.

우선, 실시간 비디오 인코더의 출력 스트림을 디코딩하여, 디스플레이 할 프레임들을 순서대로 추출한다(S1). 디지털 방송용 비디오 압축 코덱의 특성상 디코딩한 프레임의 순서와 디스플레이할 프레임의 순서에 차이가 생길 수 있기 때문이다.

디스플레이할 프레임의 영상을 3DTV 시작 패턴 영상과 비교한다(S2). 3DTV 시작 패턴 영상의 첫 번째 프레임을 찾는 과정이다.

디스플레이할 프레임의 영상과 3DTV 시작 패턴의 영상이 일치하는지를 판단하여(S3), 일치하면 S4 단계로 이동하고, 일치하지 않으면 다시 S1 단계로 되돌아 가서, 다음 프레임을 추출한다.

계속해서 실시간 비디오 인코더의 출력 스트림을 디코딩하여, 디스플레이할 프레임들을 순서대로 추출한다(S4).

그리고 디스플레이할 프레임의 영상을 3DTV 시작 패턴 영상과 비교한다(S5). 3DTV 시작 패턴 영상이 끝나고, 기준영상의 첫 번째 프레임을 찾기 위한 과정이다.

디스플레이할 프레임의 영상과 3DTV 시작 패턴의 영상이 일치하는지를 판단하고(S6), 일치하면 다시 S4 단계로 되돌아가서 다음 프레임을 추출하고, 일치하지 않으면 S7 단계로 넘어간다.

이 단계에서 디스플레이할 프레임의 영상이 첫 번째 기준영상 프레임이 된다. 이 프레임의 PTS값을 기록한다(S7).

저장되어 있는 부가영상 스트림의 파일에서 첫 번째 부가영상 프레임의 PTS값을 추출한다(S8).

첫 번째 기준영상 프레임의 PTS값과 첫 번째 부가영상 프레임의 PTS값의 차를 계산하고, 이 값을 PSI/PSIP 생성기에 전달한다(S9).

도3은 3DTV 수신기의 동작을 나타내는 플로우챠트이다.

3DTV 수신기는 부가영상 스트림 파일을 인터넷 또는 디지털 방송을 통해서 미리 다운로드하고 수신기에 저장한다(S10).

기준/부가영상의 PTS값의 차이에 대한 정보가 도착하기 전에 기준영상이 도착하면 스트림을 디코딩하여 화면에 출력한다(S11).

PSI/PSIP 테이블을 수신하면, 이를 통해 기준/부가영상의 PTS값의 차이정보가 있는지 조사한다(S12).

그리고 기준/부가영상의 PTS값의 차이정보가 없는지 없는지를 판단하고(S13), 없으면 다시 S11 단계로 되돌아가서 다음 스트림을 디코딩하여 출력하고, 차이정보가 있으면 S14 단계로 넘어간다(S13).

수신한 기준영상 프레임의 PTS에서 기준/부가영상 PTS값의 차이를 빼고, 기준영상 프레임의 새로운 PTS값을 생성한다(S14).

기준영상 프레임의 새로운 PTS값과 일치하는 부가영상 프레임을 부가영상 스트림에서 찾는다(S15).

기준영상 프레임과 S15에서 찾은 부가영상 프레임을 디코딩하여 시청자에게 동시에 노출한다(S16).

그리고 부가영상 스트림의 마지막 프레임인지 아닌지를 판단하고(S17), 마지막이면 종료하고, 그렇지 않으면 S14로 되돌아가 S14 ~ S17의 과정을 계속해서 반복한다(S17).

Claims (5)

1. 동시에 촬영된 기준영상과 부가영상 중에서 부가영상을 방송전에 미리 전송하고,
   방송시에는 상기 기준영상과 상기 부가영상에 있어서 각 첫 프레임의 표현시간지정정보(PTS) 값의 차이를 구하여 구해진 차이를 상기 기준영상과 함께 전송하는
   3차원 입체방송의 전송방법에 있어서,
   기준영상의 앞에는 3차원 입체방송의 시작을 알리는 3DTV 시작 패턴 영상(3DTV 始作 pattern 映像)이 삽입되어 인코딩 되고,
   인코딩된 스트림에서 상기 3DTV 시작 패턴 영상이 끝나는 프레임의 다음 프레임인 기준영상의 첫 프레임을 찾아 해당 프레임의 PTS 값을 추출하여,
   부가영상의 첫 프레임의 PTS 값과의 차이를 구하는 것을 특징으로 하는 3차원 입체방송의 전송방법.
   
2. 삭제
3. 제1항에 있어서,
   상기 기준영상은 방송망을 통하여 전송되고,
   상기 부가영상은 인터넷망을 통하여 전송되는 것을 특징으로 하는 3차원 입체방송의 전송방법.
   
4. 삭제
5. 삭제

Images