KR100763441B1

KR100763441B1 - 동기화된 다시점 입체 영상 전송 방법 및 그 시스템

Info

Publication number: KR100763441B1
Application number: KR1020060096795A
Authority: KR
Inventors: 김종원; 김종률; 이석희
Original assignee: 광주과학기술원
Priority date: 2006-09-30
Filing date: 2006-09-30
Publication date: 2007-10-04

Abstract

본 발명은 다시점 영상 전송을 위한 동기화된 다중화 방법 및 장치, 역다중화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 고가의 하드웨어를 기반으로 하지 않은 동기화 방법으로서, 카메라로부터 획득된 영상에 대한 기본 시간을 설정하고 각각의 영상 스트림에 대해 기본 시간과의 시간축 차이값을 계산하여 보정함으로써 영상 스트림을 동기화시키도록 하는 동기화된 다시점 입체 영상 전송 방법 및 그 시스템에 관한 것이다.

본 발명은, 다시점 입체 영상을 동기화하여 전송하는 방법에 있어서, (a) 적어도 두 대의 카메라로부터 획득된 영상 스트림에 대해 네트워크 인터페이스에서 전역 시간 정보를 부가하는 단계; (b) 상기 영상 스트림에 대한 기준 시간을 설정하는 단계; (c) 상기 기준 시간과 상기 영상 스트림의 시간축 정보를 비교하여 시간축 차이값을 추정하는 단계; 및 (d) 상기 영상 스트림의 상기 시간축 정보를 상기 시간축 차이값으로 보정하는 단계를 포함하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 방법을 제공한다.

다시점, 동기화, 입체 영상, 다중화, 시점 전환

Description

동기화된 다시점 입체 영상 전송 방법 및 그 시스템{Synchronized Multiplexing Method, Device Therefor, Demultiplexing Method and Device Therefor}

도 1은 개략적인 다시점 영상 전송 시스템의 구성도,

도 2는 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 시스템을 개략적으로 나타낸 블록 구성도,

도 3은 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법을 나타낸 순서도,

도 4는 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 시간축 차이값의 추정 과정을 구체적으로 도시한 순서도,

도 5는 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 영상 스트림의 시간축 차이값을 추정한 이후의 프레임 배열 상태를 도시한 도면,

도 6은 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 시간축 보정 과정을 구체적으로 도시한 순서도,

도 7은 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 MPEG-2 TS 레벨에서의 다중화 방법의 일례를 도시한 도면,

도 8은 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 MPEG-2 TS 레벨에서의 역다중화의 일례를 도시한 도면,

도 9는 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서, 시점별 영상을 전환하는 방법을 도시한 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100 : 다시점 영상 전송 시스템 102-1, 102-2, ..., 102-n: 카메라

104 : 네트워크 인터페이스 106 : 전역 시계 모듈

108 : 획득 서버 110 : 획득 모듈

112 : 시간축 동기화 모듈 114 : 기준시간 설정모듈

116 : 시간축 추정 모듈 118 : 시간축 모정모듈

120 : 전송 서버 122 : 다중화기

124 : 패킷타이저 126 : 전송 네트워크

128 : 수신기 130 : 디패킷타이저

132 : 역다중화기 134 : 디스플레이 장치

본 발명은 다시점 영상 전송을 위한 동기화된 다중화 방법 및 장치, 역다중화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 고가의 하드웨어를 기반으로 하지 않은 동기화 방법으로서, 카메라로부터 획득된 영상에 대한 기본 시간을 설정하 고 각각의 영상 스트림에 대해 기본 시간과의 시간축 차이값을 계산하여 보정함으로써 영상 스트림을 동기화시키도록 하는 동기화된 다시점 입체 영상 전송 방법 및 그 시스템에 관한 것이다.

종래의 방송 기술은 단순히 아날로그 영상을 전송하는 것에 머물렀으나 최근에는 디지털 멀티미디어의 발전에 힘입어 화질과 음질이 획기적으로 향상된 시청각 미디어가 제공되고 있다. 화질에 있어서는 고화질(High Definition : HD) 방송이 가능하게 되어 아날로그 방송보다 5배 가량의 화소를 가진 화면이 제공되고, 음질에 있어서는 5.1 채널의 서라운드 음향이 제공되어 현장감있는 방송의 제공이 가능하게 되었다. 또한 디지털 압축기술과 3차원 디스플레이의 개발에 힘입어 기존의 2차원 컬러 영상에 깊이 정보를 부가하고 스테레오스코픽(Steroscopic) 비전 기술을 적용하여 3차원 TV를 통해 생생한 영상을 제공하도록 하는 기술들이 개발되고 있다. 이러한 방송기술은 시청자에게 현장감과 현실감을 증대시킬 수 있도록 하는 방향으로 진화하고 있다.

한편, 최근 고성능 네트워크와 같은 대용량 네트워크 인프라를 이용하여 몰입감을 증대시키기 위하여 시점 전환이 가능한 고화질 입체 영상을 전송하려는 다양한 시도가 이루어지고 있다. 고화질 입체 영상은 사용자들에게 실감성을 요구하는 원거리 협업을 위한 엑세스 그리드(Access Grid), 수술 장면을 고화질 입체 영상으로 전송하는 임상 체험 시스템, 및 입체감과 실재감을 요구하는 교육과 웹 쇼핑 분야 등 그 활용 범위가 넓고 다양하다.

최근 들어 IP 네트워크(Internet Protocol Network)를 통한 다시점 3D 영상 서비스를 제공하기 위한 시도가 늘고 있다. Europian IST(Information Society Technology)의 ATTEST(Advanced Three-dimensional Television System Technology) 프로젝트의 경우, 연구자들은 방송 환경을 위한 2차원 호환가능한 다시점 3차원 TV(2D-compatible multi-view 3DTV) 시스템을 개발하였다. 자연스런 시청을 수행하기 위해, ATTEST 프로젝트는 깊이 카메라에 기초한 3D 컨텐츠를 생성하기 위한 유효한 접근을 제안하였다. (A. Redert, C. Fehn, W. IJsselstijn, M. Pollefeys, L. Gool, E. Ofek, I. Sexton, and P. Surman, "ATTEST:Advanced three-dimensional television system technologies," Proc . IEEE First International Symposium on 3D Data Processing Visualization and Transmission, 2002.) 또한 MERL (Mitsubishi Electric Research Lab.)은 실시간 획득, 전송 및 자동 입체 시현을 구비한 3DTV 시스템을 제안하였는데, 이 시스템은 16개의 시점과 시점당 1024 × 768 픽셀을 제공할 수 있어서 특별한 안경이 없이도 몰입감있는 3차원 체험이 가능하도록 하였다.(W. Matusik and H. Pfister, "3D TV: A scalable system for real-time acquisition, transmission and autostereoscopic display of dynamic scenes," ACM Trans . on Graphics, 2004.) 그러나 이러한 고가의 시험 시스템은 다가오는 광대역 IP 네트워크를 통한 미디어 전송에 기초하여 대두되고 있는 방송 서비스에 대해서는 충분히 고려하고 있지 않은 상태이다.

도 1은 개략적인 다시점 영상 전송 시스템의 구성도이다.

일반적인 다시점 영상 전송 시스템(10)은 획득부(20), 전송부(30), 수신부(40)를 포함한다.

획득부(20)는 다수의 카메라(22-1, 22-2, ..., 22-n), 동기화 장치(24) 및 획득 서버(26)로 구성된다. 카메라들(22-1, 22-2, ..., 22-n)이 동시에 작동하도록 하기 위하여, 대부분의 시스템은 동기화 장치(24)를 사용한다. 생성된 동기화 신호는 모든 카메라(22-1, 22-2, ..., 22-n)가 같은 시간에 트리거(trigger)되고 촬영하도록 한다. 결과적으로 각 화면은 다수의 카메라들(22-1, 22-2, ..., 22-n)에 의해 동시에 획득된다.

획득 서버(26)는 카메라(22-1, 22-2, ..., 22-n)로부터 획득된 영상 스트림을 IEEE1394 또는 이더넷(Ethernet)과 같은 네트워크 인터페이스를 통해 모은다. 모여진 스트림은 동기화를 위해 처리된 후 전송부(30)로 전달된다.

전송부(30)는 전송 서버(32)와 전송을 위한 전송망(34)을 포함한다.

전송 서버(32)는 동기화된 영상 스트림의 다중화를 처리한다. 전송망(34)은 다양한 네트워크를 사용할 수 있으나 다수에 대한 전송을 위해서는 멀티캐스트 네트워크를 활용함이 바람직하다. 멀티캐스트 네트워크에서 영상 스트림의 전송을 위해 다수의 라우터(36)가 구비된다. 전송 서버(32)에서, 수신측의 사용자에게 다시점 영상 서비스를 제공하기 위하여 몇몇 영상 스트림은 함께 다중화되고 별개의 IP 멀티캐스트 채널을 통해 전송된다. 이 경우 영상 스트림에 대한 압축이 촬영 후 또는 다중화 전에 수행될 수 있다. 시점 선택가능한(view-switchable) 입체 HD의 경우에는, 몇몇 다중화된 영상 스트림의 그룹은 다른 멀티캐스트 채널을 통해 동시에 전송된다.

수신부(40)는 수신기(42)와 디스플레이부(44)를 포함한다.

수신기(42)와 디스플레이부(44)를 포함하는 각각의 클라이언트에서 사용자는 원하는 시점에 따른 멀티캐스트 채널을 선택할 수 있게 된다. 멀티캐스트 채널을 선택적으로 연결함으로써, 선택한 다중화된 영상 스트림을 수신할 수 있다. 수신기(42)에서는 영상 스트림을 역다중화하고 디스플레이를 위해 복호화를 수행한다.

그런데 이러한 다시점 전송 시스템(10)에 있어서는 획득 과정, 전송 과정 및 출력 과정에 있어서 동기화가 매우 중요하다. 즉, 현재 고화질 입체 영상 시스템을 구현하기 위해서는 많은 문제점이 존재하는 상태이다. 그 중 하나는 고화질 입체 영상의 생성에 이용되는 좌안 영상과 우안 영상의 동기화이다. 정확하게 동기화되지 않은 좌우 영상으로 고화질 입체 영상을 생성하는 경우에는 제대로 된 입체감을 느낄 수 없을 뿐만 아니라, 눈에 심한 피로감을 주게 되고, 결과적으로는 고화질 입체 영상 시스템을 통해 몰입감을 제공하고자 하는 궁극의 목표 달성이 불가능하게 된다.

종래 다시점 입체 영상의 다중화 방식에서 다시점 입체 영상 간의 동기화를 위하여 부호화기로부터 출력되는 여러 개의 다시점 부호화 스트림을 다중화하여 전송하는 방식을 사용하였다. 이 경우 다시점 입체 영상 간의 정확한 동기화를 위해서 동기화 장치(24)는 젱록(GenLock)과 같은 동기신호발생기(SyncGenerator)를 사용하여 카메라들(22-1, 22-2, ..., 22-n)로부터 동기화된 영상을 획득할 수 있었다. 그러나, 이러한 하드웨어 기반의 동기화 방법은 기본적으로 고비용의 하드웨어 장비를 필요로 하고, 시스템의 확장성과 유동성을 충족시키지 못하는 문제점이 존재하였다.

상기와 같은 문제점을 해결하기 위해 본 발명은, 고가의 하드웨어를 기반으로 하지 않은 동기화 방법으로서, 카메라로부터 획득된 영상에 대한 기본 시간을 설정하고 각각의 영상 스트림에 대해 기본 시간과의 시간축 차이값을 계산하여 보정함으로써 영상 스트림을 동기화시키도록 하는 동기화된 다시점 입체 영상 전송 방법 및 그 시스템을 제공함을 목적으로 한다.

또한, 본 발명은 MPEG-2 TS 레벨에서 다중화 과정을 통해 하나의 스트림으로 전송하고, 개별 시점에 대한 입체 영상에 대해 서로 다른 멀티캐스트 주소를 할당함으로써 사용자가 원하는 시점에 대한 영상 스트림을 전송받을 수 있도록 하는 동기화된 다시점 입체 영상 전송 방법을 제공함을 그 목적으로 한다.

상기한 목적을 달성하기 위해 본 발명은, 다시점 입체 영상을 동기화하여 전송하는 방법에 있어서, (a) 적어도 두 대의 카메라로부터 획득된 영상 스트림에 대해 네트워크 인터페이스에서 전역 시간 정보를 부가하는 단계; (b) 상기 영상 스트림에 대한 기준 시간을 설정하는 단계; (c) 상기 기준 시간과 상기 영상 스트림의 시간축 정보를 비교하여 시간축 차이값을 추정하는 단계; 및 (d) 상기 영상 스트림의 상기 시간축 정보를 상기 시간축 차이값으로 보정하는 단계를 포함하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 방법을 제공한다.

또한, 본 발명은, 동기화된 다시점 입체 영상의 다중화 전송 방법에 있어서, (a) 적어도 두 대의 카메라로부터 획득된 영상 스트림 패킷에 대하여 영상 스트림 들의 패킷에 대한 PID가 동일하지 않도록 변경하는 단계; (b) 어느 하나의 영상 스트림 패킷을 제외한 나머지 영상 스트림 패킷을 상기 어느 하나의 영상 스트림 패킷에 결합하는 단계; (c) 상기 나머지 영상 스트림 패킷의 PID와 기술 정보를 상기 어느 하나의 PMT에 결합하는 단계를 포함하는 것을 특징으로 하는 동기화된 다시점 입체 영상의 다중화 전송 방법을 제공한다.

또한, 본 발명은, 시점별로 다중화되어 전송되는 입체 영상의 시점 전환 방법에 있어서, (a) 클라이언트에서 최후방 홉 라우터(LHR)로 상기 입체 영상에 대한 IGMP leave 메시지를 전송하는 단계; (b) 상기 최후방 홉 라우터가 상기 클라이언트로 IGMP query 메시지를 전송하고, 상위 라우터에 대해 IGMP leave 메시지를 전송하여 상기 입체 영상의 전송 중단을 요청하는 단계; (c) 상기 클라이언트에서 상기 최후방 홉 라우터로 새로운 입체 영상을 위한 IGMP join 메시지를 전송하는 단계; (d) 상기 최후방 홉 라우터가 상위 라우터로 PIM join 메시지를 전송하는 단계; 및 (e) 클라이언트가 새로운 입체 영상을 선택하여 전송받는 단계를 포함하는 것을 특징으로 하는 시점별 다중화 전송되는 입체 영상의 시점 전환 방법을 제공한다.

또한 본 발명은, 다시점 입체 영상을 동기화하여 전송하는 시스템에 있어서, 다시점 영상을 획득하는 적어도 두 대의 카메라; 상기 카메라로부터 획득된 영상 스트림에 전역 시간에 따른 시간축 정보를 부가하여 전송하는 네트워크 인터페이스; 상기 네트워크 인터페이스로부터 전달된 상기 영상 스트림을 수집하는 획득 모듈과, 상기 영상 스트림의 시간축 정보를 기준 시간과 비교하여 시간축 차이값을 생성하고 상기 영상 스트림의 시간축을 보정하여 동기화하는 시간축 동기화 모듈; 및 동기화된 상기 영상 스트림을 다중화하여 전송하는 전송 서버를 포함하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 시스템을 제공한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 2는 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 시스템을 개략적으로 나타낸 블록 구성도이다.

본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 시스템은, 다수의 카메라(102-1, 102-2, ..., 102-n)와, 네트워크 인터페이스(104), 획득 서버(108), 전송 서버(120), 전송 네트워크(126), 수신기(128), 및 디스플레이 장치(134)를 포함한다.

다수의 카메라들(102-1, 102-2, ..., 102-n)은 다시점 영상을 획득하는 수단이다. 이 카메라들(102-1, 102-2, ..., 102-n)은 서로 비동기 상태에 있으며, 각각의 카메라(102-1, 102-2, ..., 102-n)에서 획득되는 프레임 비율은 일정한 것이 바 람직하다.

네트워크 인터페이스(104)는 카메라(102-1, 102-2, ..., 102-n)를 획득 서버(108)와 연결하는 기능을 수행한다. 네트워크 인터페이스(104)는 IEEE1394 또는 이더넷(Ethernet) 인터페이스로 이루어질 수 있다. 네트워크 인터페이스(104)에는 전역 시간 모듈(106)이 구비된다. 전역 시간 모듈(106)은 네트워크 인터페이스(104)에 공통적으로 적용되는 전역 시간(Global Time)을 생성하여 네트워크 인터페이스(104)의 각 노드를 통과하는 영상 스트림에 네트워크 인터페이스(104)의 전역 시간 정보가 포함되도록 한다.

네트워크 인터페이스(104)로 IEEE1394 인터페이스를 사용하는 경우를 예로 들어 설명하면 다음과 같다.

IEEE1394 버스는 하나의 전역 시간을 가지게 되는데, 이 전역 시간은 IEEE1394 노드들의 트리 구성을 통해 선정된 싸이클 마스터(cycle master)가 초당 8000번을 전송하는 싸이클 시작 패킷(cycle start packet)을 통해 각각의 싸이클 슬레이브(cycle slave)의 CYCLE_TIME register의 값을 변경함으로써 유지된다. 즉 CYCLE_TIME register와 싸이클 시작 패킷들 간의 동기화를 통하여 버스 전체의 전역 시간축이 유지된다. 그리고 이렇게 CYCLE_TIME register에 저장된 전역 시간축은 해당 노드가 패킷을 전송하는 시점에서 SPH(source packet header)의 timestamp 부분인 cycle_count와 cycle_offset 필드에 저장되어 목적지 노드에 전달된다. 이러한 IEEE1394 인터페이스는 전역 시간을 제공하며, 등시성 전송(isochronous treansmission)을 허용한다. 따라서 각각의 카메라(102-1, 102-2, ..., 102-n)가 획득 서버(108) 측으로 전송하는 프레임 비율이 동일하고, 카메라들(102-1, 102-2,..., 102-n)이 IEC61883 등시성 전송을 지원한다고 가정하면 각 카메라(102-1, 102-2, ..., 102-n)가 전송하는 영상 데이터들이 가지는 SPH의 timestamp 값을 비교하여 기준 시간을 동기화할 수 있다.

획득 서버(108)는 획득 모듈(110)과 시간축 동기화 모듈(112)이 포함된다.

획득 모듈(110)은 네트워크 인터페이스(104)를 통해 영상 스트림을 전송받아 이를 수집한 후 획득 서버(108)로 전달한다.

시간축 동기화 모듈(112)은 각각의 영상 스트림에 포함된 사용가능한 타임스탬프(timestamp)를 비교함으로써 시간축(timeline)의 차이를 추정하고, 카메라들(102-1, 102-2,..., 102-n)과 획득 서버(108) 사이의 네트워크 인터페이스(104)의 전역 시간을 사용하여 영상 스트림의 각각의 시간축을 보정한다.

이러한 시간축 동기화 모듈(112)은 보다 세부적으로, 기준시간 설정모듈(114), 시간축 추정 모듈(116) 및 시간축 보정 모듈(118)을 포함한다.

기준시간 설정모듈(114)은 비동기 상태의 카메라들(102-1, 102-2,..., 102-n)의 시간축 중에서 기준이 되는 기준 시간축을 결정하는 기능을 수행한다. 즉, 기준시간 설정모듈(114)은 모든 영상 스트림들의 기준 시간으로 사용될 가상의 기준 시간을 설정하는 기능을 수행한다.

시간축 추정 모듈(116)은 기준시간 설정모듈(114)에서 결정된 가상의 기준 시간을 기준으로 획득된 모든 영상 스트림의 시간축과의 차이값을 추정하는 기능을 수행한다. 다시 말하면, 시간축 추정 모듈(116)은 각 영상 스트림에는 전역 시간 정보, 즉 시간축 정보가 포함되어 있으므로 기준 시간축과 해당 영상 스트림의 시의 전역 시간 정보의 차이를 이용하여 시간축 차이값을 추정하는 것이다.

시간축 보정 모듈(118)은 각각의 카메라(102-1, 102-2,..., 102-n)로부터의 영상 스트림의 시간축을 상기의 시간축 차이값을 이용하여 보정함으로써 모든 영상 스트림의 시간축을 동기화하는 기능을 수행한다.

전송 서버(120)는 동기화된 영상 스트림을 다중화하여 패킷화한 후 전송 네트워크(126)를 통해 전송하는 기능을 수행한다.

전송 서버(120)는 다중화기(Multiplexer, 122)와 패킷타이저(Packetizer, 124)를 포함하는데, 다중화기(122)는 영상 스트림을 다중화하고, 패킷타이저(124)는 다중화된 영상 스트림 정보를 패킷화하는 기능을 수행한다.

전송 네트워크(126)는 멀티캐스트, 유니캐스트 등 다양한 방식의 네트워크일 수 있으나, 입체 영상을 다수에게 전달하기 위하여 멀티캐스트 네트워크인 것이 바람직하다.

전송 네트워크(126)를 통해 전송된 패킷 형태의 다중화된 영상 스트림 정보는 수신기(128)의 디패킷타이저(130)에서 비트 스트림으로 어셈블(assemble)되고, 역다중화기(132)에서 역다중화되어 디스플레이 장치(134)에서 디스플레이된다.

물론 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 시스템(100)은 전송 서버(120) 측에 부호화 모듈을 구비하고, 수신기(128) 측에 복호화 모듈을 구비할 수 있음은 당연하다.

한편, 디스플레이 장치(134)에는 사용자 인터페이스(미도시)가 구비되고 사 용자는 사용자 인터페이스를 통해 전송 서버(120)로 피드백(Feedback) 정보를 전송할 수 있도록 하는 것이 바람직하다. 사용자는 사용자 인터페이스를 통해 전송 서버(120)로 사용자의 시점 정보와 디스플레이 방식에 대한 정보를 전송할 수 있다. 사용자는 사용자 인터페이스를 통해 N 개의 카메라(102-1, 102-2,..., 102-n)로부터 획득된 영상 중 보고 싶은 시점에 대한 영상을 선택할 수 있고, 전송 서버(120)의 다중화기(122)는 그에 따른 다중화를 수행할 수 있도록 함이 바람직하다.

즉, 다중화 과정을 통한 전송 과정에 있어서 몇 개의 영상 스트림을 다중화할 것인지는 사용자의 선호에 의하여 다양하게 이루어질 수 있다. 다시점 입체 영상 전송시에는 입체 영상의 생성을 위하여 두 개의 좌우 영상을 다중화하는 것이 일반적이다. 이러한 다중화 과정을 거쳐 각각의 시점에 따른 영상 정보는 서로 다른 멀티캐스트 주소를 할당받고 시점마다 각각의 멀티캐스트 트리를 구성한다. 따라서 사용자는 원하는 시점에 따른 영상 정보를 제공받기 위하여 각각의 시점에 해당하는 멀티캐스트 트리에 조인(join)하여 원하는 시점의 입체 영상을 제공받는다.

도 3은 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법을 나타낸 순서도이다.

먼저 N개의 카메라들(102-1, 102-2,..., 102-n)로부터 영상 데이터를 입력받는다(S300). 여기에서 입력되는 영상 데이터는 동영상 데이터 스트림으로 하고, 상기 N값은 2 이상의 값이다.

카메라들(102-1, 102-2,..., 102-n)로부터 획득된 영상 스트림은 네트워크 인터페이스(104)를 통해 획득 서버(108)로 전송되는데, 네트워크 인터페이스(104) 의 전역 시간 정보가 모든 영상 스트림에 대해 부가된다(S302). 네트워크 인터페이스(104)로 IEEE1394 인터페이스가 사용되는 경우 전역 시간 정보는 각 영상 스트림의 SPH(source packet header)의 timestamp 부분인 cycle_count와 cycle_offset 필드에 저장되어 전달된다.

획득 서버(108)의 시간축 동기화 모듈(112)은 영상 스트림을 획득한 후, 모든 영상 스트림에 대해 기준이 되는 기준 시간축, 즉, 기준 시간을 결정한다(S304). 기준 시간축의 결정에 있어서, 획득된 영상 스트림 중 어느 하나의 영상 스트림의 시간축을 기준 시간축으로 결정할 수도 있으며, 경우에 따라서는 임의의 시간을 기준 시간으로 결정하는 것도 가능하다.

시간축 동기화 모듈(112)은 기간 시간축과 영상 스트림의 시간축 정보를 비교하여 시간축 차이값을 추정한다(S306).

다음으로 모든 영상 스트림의 시간축을 각각의 시간축 차이값으로 보정하여 동기화시킨다(S308).

동기화된 영상 스트림은 다중화된 후 전송된다(S310).

이상의 설명에 있어서, 네트워크 인터페이스(104)로 IEEE1394 인터페이스를 사용하여 IEEE1394 인터페이스의 전역 시간을 이용하고, MPEG-2 시스템의 시간 모델을 이용하여 시간축 차이값을 추정하고 보정하는 과정을 보다 구체적으로 설명한다.

영상 스트림의 획득 과정 중에서의 동기화를 위해서는, 같은 또는 유사한 시 간에서 캡쳐된 영상 프레임은 잃어버린 동기화를 복구함으로써 대응하는 목표 지점으로 확인되어야 한다. 그렇게 함으로써, 영상 스트림 사이에서 시간축 차이값을 예측한 후 영상 스트림의 시간축을 보정할 수 있게 된다.

도 4는 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 시간축 차이값의 추정 과정을 구체적으로 도시한 순서도이다.

카메라(102-1, 102-2,...,102-n)에서 획득된 영상 스트림은 카메라(102-1, 102-2,...,102-n)에서 이미 MPEG-2 TS(Transport Stream) 포맷으로 부호화된 것으로 하여 이후의 과정을 설명한다.

획득 모듈(110)을 통하여 영상 스트림을 획득한 후 획득 서버(108)는 MPEG-2 TS 패킷이 PES(Packetized Elementary Stream) 헤더를 가지고 있는지 여부를 검사한다(S400). PES 헤더를 가지고 있다는 것은 그 MPEG-2 TS 패킷이 새로운 프레임의 시작이라는 것을 의미한다.

S400의 검사 결과 MPEG-2 TS 패킷이 PES 헤더를 가지고 있는 경우에는 획득 서버(108)는 SPH 타임스탬프가 존재하는지 여부를 검사한다(S402). 그 결과 SPH 타임스탬프가 존재하는 경우, 이 새로운 프레임이 이 영상 스트림의 첫 번째 프레임인지 여부, 즉 PES 헤더가 그 영상 프레임의 첫 번째 PES 헤더인지를 검사한다(S404).

만약, 이 새로운 프레임이 첫 번째 프레임이라면, 획득 서버(108)는 다른 영상 스트림의 첫 번째 프레임, 즉 첫번째 PES를 수신하였는지 여부를 검사한다(S406).

만약 다른 영상 스트림의 첫 번째 프레임을 수신하였다면, 획득 서버(108)의 시간축 추정 모듈(116)은 영상 스트림 중에서 시간축 차이값을 추정하고(S408), 이 값을 MPEG-2 시스템에서의 시간값으로 변환한다(S410). 이 변환은, 시간축 차이값에 0.000125(s)×3000×30을 곱해 줌으로써 얻어진다.

이후 영상 스트림을 상기 변환된 시간축 차이값을 이용하여 보정하기 위해 일시적으로, 상기 MPEG-2 TS 패킷을 버퍼에 저장한다(S414).

한편, 상기 S400, S402, S404 단계의 판단 결과 그 요건을 충족시키지 않는 경우에는 그 MPEG-2 TS 패킷은 시간축 차이값 추정에 사용되지 않는 것이므로 시간축 보정을 위해 버퍼에 일시 저장한다(S414). 또한, 상기 S406 단계의 판단 결과 그 요건을 충족시키지 않는 경우에는 이후의 다른 영상 스트림의 첫 번째 프레임이 수신된 이후 시간축 차이값을 추정하기 위해 SPH 타임스탬프를 기록하고(S412), MPEG-2 TS 패킷을 버퍼에 저장한다(S414).

다음으로, 영상 스트림의 시간축을 보정하는 구체적인 과정을 설명한다. 이에 앞서서 영상 스트림에 대한 시간축 차이값을 추정한 이후에 각 영상 스트림의 프레임의 배열 상태를 살펴보기로 한다.

도 5는 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 영상 스트림의 시간축 차이값을 추정한 이후의 프레임 배열 상태를 도시한 도면이다.

도 5의 (a)는 대응하는 목표 지점에서 동일한 타입의 프레임이 위치하는 경우를 나타내며, 도 5의 (b)는 대응하는 목표 지점에서 다른 타입의 프레임이 존재 하는 경우를 나타낸다.

시간축 보정 단계에 있어서는 추정된 시간축 차이값을 이용하여 각각의 비디오 스트림들의 기준 시간 값을 보정한다. 이 과정에서는 SPH 타임스탬프 값의 차이값을 MPEG-2 system의 PTS(Presentation Time Stamp) 또는 DTS(Decoding Time Stamp)와 같은 타임스탬프 값에 반영해 주어야 한다. 이때 서로 상관되는 서로 다른 비디오 스트림들의 프레임들의 타입을 고려해 주어야 한다. 왜냐하면 MPEG-2 system에서는 I와 P 프레임과 B프레임은 서로 다른 PTS와 DTS의 특징을 지니기 때문이다. I 프레임은 참조없이 내부적으로 부호화된다. P 프레임은 참조 화면을 이용하여 예측 부호화되며, 장래의 화면들의 코딩을 위한 참조화면이 된다. B 프레임은 과거와 미래의 프레임 모두에 의존하며, 양방향 움직임 보상을 이용한다. 따라서, I와 P 프레임은 B 프레임보다 이전에 부호화되어야 하고, B 프레임 이후에 디스플레이되어야 한다. 이에 따라 I나 P프레임은 디코딩하는 시점과 디스플레이하는 시점이 달라서 서로 다른 PTS와 DTS를 지닌다. 이와 달리 B프레임은 디코딩과 디스플레이하는 시점이 동일하여 동일한 PTS와 DTS를 지닌다. 따라서 추정된 기준 시간의 차이 값을 MPEG-2 system의 PTS와 DTS에 보정해 줄 때는 이와 같은 연관되는 프레임의 타입을 고려해 주어야 한다.

도 5의 (a)의 경우에는 프레임 배열이 상호 일치하기 때문에 대응하는 목표 지점에서 캡쳐된 각 프레임 간의 PTS 및 DTS 값은 동일하나, (b)의 경우에는 대응하는 목표 지점에서 캡쳐된 각 프레임 간의 PTS 및 DTS 값이 상이하다.

이러한 점을 고려하여 시간축 보정 과정을 설명하면 다음과 같다.

도 6은 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 시간축 보정 과정을 구체적으로 도시한 순서도이다.

획득 서버(108)는 대응하는 목표 지점에서의 프레임의 픽쳐 타입을 검사한다(S600).

대응하는 목표 지점에서의 프레임의 타입이 동일한 경우, 획득 서버(108)는 기본이 되는 카메라의 PTS 값과 시간축 차이값의 합을 대응하는 프레임의 DTS 값 및 PTS 값으로 설정한다(S602).

상기 S600 단계의 판별 결과 대응한 목표 지점에서의 픽쳐 타입이 동일하지 않으나, I 또는 P 픽쳐 타입인지를 판별하고(S604), I 또는 P 픽쳐 타입이 아닌 경우에는 기본이 되는 카메라의 PTS 값과 시간축 차이값의 합을 대응하는 프레임의 DTS 값 및 PTS 값으로 설정한다(S604).

만약 프레임의 타입이 동일하지 않은 경우 I 또는 P 픽쳐 타입의 프레임에 대한 보정을 위해서, 획득 서버(108)는 GOP(Group of Picture)의 M 값(I와 P 사이 혹은 P와 P 사이의 픽쳐 개수)을 검사한다(S608).

이에 따라 기본이 되는 카메라의 PTS 값과 시간축 차이값의 합을 대응하는 프레임의 PTS 값으로 하고, 기본 카메라의 DTS 값에서 3000×M을 뺀 후 시간축 차이값을 합한 것을 대응하는 프레임의 DTS 값으로 한다(S610). 상기에서 M값에 3000을 곱한 이유는, MPEG-2 시스템의 DTS 공식을 사용하면, 현재 픽쳐와 이전 픽쳐 간의 DTS 또는 PTS의 차이는 약 3000(=(1/30) × 27000000 ÷ 300)이기 때문이다.

다음으로 동기화된 영상 스트림을 MPEG-2 TS 레벨에서 다중화하는 방법을 설명하도록 한다.

도 7은 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 MPEG-2 TS 레벨에서의 다중화 방법의 일례를 도시한 도면이고, 도 8은 본 발명의 바람직한 실시예에 따른 동기화된 다시점 영상 전송 방법에 있어서 MPEG-2 TS 레벨에서의 역다중화의 일례를 도시한 도면이다.

본 발명의 실시예에 있어서 카메라가 MPEG-2 TS 패킷 형식의 영상 스트림을 제공하는 것으로 할 때, 네트워크의 지터(jitter)를 최소화하기 위해 MPEG-2 TS 레벨에서 영상 스트림들을 다중화한다.

MPEG-2 TS는 고정된 크기(188 bytes)의 MPEG-2 TS 패킷의 시퀀스로 이루어진다. 각각의 패킷은 184 바이트(bytes)의 데이터부와 4 바이트의 헤더로 이루어진다. 이러한 4 바이트의 헤더에는 13 비트(bits)의 PID(Packet IDentifier, 패킷 식별자)가 포함되는데, PID는 MPEG-2 TS의 동작에 있어서 중요한 기능을 수행한다. 다중화 전송시에 어느 하나의 채널에 해당하는 패킷에 동일한 PID를 부여하면 다른 채널의 패킷과 쉽게 구별할 수 있게 된다. 따라서 수신측에서는 다중화된 TS에서 원하는 채널의 패킷만을 그 채널의 PID를 이용하여 선택하여 역다중화하면 된다.

도 7에서와 같이 두 대의 카메라(12-a, 12-b)가 구비된다고 할 때, 두 대의 카메라(12-a, 12-b)가 동일한 모델인 경우라면 동일한 두 대의 카메라(12-a, 12-b)에서 획득되는 스트림의 PID는 동일하게 된다. 이 두 개의 스트림은 다른 채널을 통해 각각 들어온 후 어느 하나(도 7에서는 좌측)의 MPEG-2 TS의 PID를 변경함으로 써 양 스트림은 하나의 스트림으로 다중화된다. 다시 말하면, 좌측 카메라(12-b)로부터 좌측 MPEG-2 TS를 읽어들인 후, 다중화기(122)는 즉시 좌측의 영상 MPEG-2 TS의 PID를 즉각적으로 변경하고, 이 영상 MPEG-2 TS 패킷을 우측의 MPEG-2 TS(영상, 음성, 및 PSI)에 결합한다. 또한, 다중화기(122)는 좌측의 오디오 MPEG-2 TS 패킷 및 PSI(Program Specific Information) 패킷은 불필요하므로 삭제한다. 그런 후 다중화기(122)는 좌측 영상 MPEG-2 패킷의 PID와 기술(description) 내용을 우측 MPEG-2 TS의 PMT(Program Map Table)에 결합한다.

도 7을 참조하면, 다중화기(122)는 채널 62의 영상 MPEG-2 TS 패킷의 PID를 1000에서 1004로 변경하고, 여분의 오디오 TS 패킷은 제거하였다. 다중화기(122)는 63 채널의 PMT 패킷에 PID 1004 및 영상(video)의 기술을 추가한다. 따라서, 이러한 모든 스트림은 하나의 스트림으로 다중화되어 전송될 수 있다.

도 8을 참고하면, 수신측의 역다중화기(132)에서는 PMT 내의 PID 정보를 이용하여 하나의 MPEG-2 TS를 다수의 영상과 하나의 음성 MPEG-2 TS로 역다중화할 수 있다.

이상의 내용을 간략히 정리하면, 전송되는 스트림은 PES(Packetized Elementary Stream)으로 되고, PES는 ES로 된다. 이에 따라 3 종류의 ES(좌측 영상, 우측 영상, 오디오)는 동일한 시간축에 따라 복호화된다. 결과적으로 복호화된 영상 데이터는 각각의 PCR(Program Clock Reference) 및 PTS에 의해 동기화된 시간에 3D 디스플레이에 디스플레이된다.

상술한 바에 의하면, 기준 시간이 보정된 비디오 스트림들은 MPEG-2 TS level에서 다중화 과정을 통하여 하나의 스트림을 이루게 된다. 이 경우에 한 시점에 따른 좌안 영상과 우안 영상의 입체 영상 스트림은 하나의 스트림으로 다중화되고, 각각 별도의 멀티캐스트 주소를 할당받아 전송 네트워크(126)를 통해 전송되도록 함이 바람직하다. 이에 따라 각각의 시점들은 서로 다른 멀티캐스트 주소를 할당받고 시점마다 각각의 멀티캐스트 트리를 구성하게 된다. 따라서, 사용자는 원하는 시점에 대한 영상을 제공받기 위해 각각의 시점에 해당하는 멀티캐스트 트리에 조인(join)하여 원하는 시점의 다시점 입체 영상 서비스를 제공받을 수 있다.

이 경우 시점별 입체 영상을 변환하는 방법을 설명한다.

전송 서버(120)는 다시점 입체 영상을 시점별로 서로 다른 멀티캐스트 주소를 통해 전송 네트워크(126)의 최전방 홉 라우터(Front Hop Router, FHR ; 920)로 전송한다(S900).

클라이언트(940)는 수신기(128)를 통해 어느 한 시점에 대한 입체 영상을 전송받아 시청한다(S902).

현재 시청하고 있는 시점에 대한 입체 영상을 다른 시점에 대한 입체영상으로 전환하기 위해서, 현재 입체 영상을 전환하고자 하는 요청을 클라이언트(940)에 구비된 사용자 인터페이스(미도시)를 통해 입력한다(S904).

클라이언트(940)는 최후방 홉 라우터(Last Hop Router, LHR ; 930)로 기존의 입체 영상에 대한 IGMP(Internet Group Management Protocol) leave 메시지를 전송 한다(S906). 이에 대해 LHR(930)은 어떠한 호스트가 leave 메시지 내지의 그룹에 대해 소속되어 있는지를 확인하기 위해, IGMP query 메시지를 클라이언트(940)가 포함된 로컬 네트워크로 전송한다(S908). 만약 어떠한 호스트도 query 인터벌 동안에 응답 메시지를 송신하지 않는다면, LHR(930)은 그 그룹은 로컬 멤버가 포함되지 않는 것으로 판단하고, 멀티캐스트 스트림의 전달을 중단하며, 상위 라우터(도 9에서는 FHR(920))로 IGMP leave 메시지를 전송한다(S910). FHR(920)은 LHR(930)로 IGMP query 메시지를 전송한다(S912)

클라이언트(940)는 LHR(930)로 IGMP leave 메시지를 전송한 이후, 클라이언트(940)는 새로운 입체 영상의 수신을 위해 IGMP join 메시지를 LHR(930)로 전송한다(S914).

LHR(930)은 IGMP join 메시지를 수신하고, 상위 라우터(즉, 도 9에서는 FHR(920))로 PIM join 메시지를 전송한다(S916).

그러면, 클라이언트(940)는 새로운 입체 영상을 선택하여 전송받을 수 있게 된다(S918).

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명에 의하면, 고가의 하드웨어를 기반으로 하지 않은 동기화 방법으로서, 카메라로부터 획득된 영상에 대한 기본 시간을 설정하고 각각의 영상 스트림에 대해 기본 시간과의 시간축 차이값을 계산하여 보정함으로써 영상 스트림을 동기화시킬 수 있게 되어, 사용자에게 동기화된 다시점 입체 영상을 제공할 수 있는 효과가 있다.

이에 따라 사용자는 사용자가 원하는 시점을 선택할 경우 전 시점과 동기화된 기준 시간을 이용하는 선택한 시점을 제공받게 되어 보다 나은 입체감과 몰입감 및 현실감을 제공받을 수 있다.

또한, 본 발명에 의하면, 네트워크 전송시 발생하는 지터의 영향을 최소화할 수 있고, 시스템 구성에 있어서 확장성과 유동성을 담보할 수 있는 장점이 있다.

Claims

다시점 입체 영상을 동기화하여 전송하는 방법에 있어서,

(a) 적어도 두 대의 카메라로부터 획득된 영상 스트림에 대해 네트워크 인터페이스에서 전역 시간 정보를 부가하는 단계;

(b) 상기 영상 스트림에 대한 기준 시간을 설정하는 단계;

(c) 상기 기준 시간과 상기 영상 스트림의 시간축 정보를 비교하여 시간축 차이값을 추정하는 단계; 및

(d) 상기 영상 스트림의 상기 시간축 정보를 상기 시간축 차이값으로 보정하는 단계

를 포함하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 방법.
제 1 항에 있어서

(e) 동기화된 상기 영상 스트림을 다중화하여 전송하는 단계를 추가로 포함하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 방법.
제 1 항에 있어서,

상기 카메라에서 획득되는 상기 영상 스트림은 상기 카메라에서 MPEG-2 TS 포맷으로 부호화된 것을 특징으로 하는 다시점 입체 영상 동기화 전송 방법.
제 3 항에 있어서,

상기 (c) 단계는,

(c1) 상기 영상 스트림을 이루는 MPEG-2 TS 패킷이 PES 헤더를 가지는지 여부를 검사하는 단계;

(c2) 상기 MPEG-2 TS 패킷이 PES 헤더를 가지는 것으로 판정된 경우, MPEG-2 TS 패킷이 상기 영상 스트림의 첫 번째 프레임인지 여부를 검사하는 단계;

(c3) 상기 MPEG-2 TS 패킷이 상기 영상 스트림의 첫 번째 프레임인 경우, 상기 영상 스트림외의 다른 영상 스트림의 첫 번째 프레임을 수신하였는지 여부를 검사하는 단계; 및

(c4) 상기 영상 스트림과 상기 다른 영상 스트림의 첫 번째 프레임을 수신한 경우 상기 모든 영상 스트림에 대한 시간축 차이값을 추정하는 단계

를 포함하여 이루어지는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 방법.
제 4 항에 있어서,

(c4) 상기 시간축 차이값을 MPEG-2 시스템의 시간값으로 변환하는 단계; 및

(c5) 상기 (d) 단계의 수행을 위해 상기 MPEG-2 PS 패킷을 버퍼에 저장하는 단계

를 추가로 포함하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 방법.
제 3 항에 있어서

상기 (d) 단계는,

(d1) 대응하는 목표 지점에서의 프레임의 픽쳐 타입이 상호 동일한지 여부를 검사하는 단계;

(d2) 대응하는 목표 지점에서의 픽쳐 타입이 동일한 경우 상기 카메라 중 기본이 되는 카메라의 PTS 값과 상기 시간축 차이값의 합을 상기 프레임의 DTS 값 및 PTS 값으로 설정하는 단계;

(d3) 대응하는 목표 지점에서의 픽쳐 타입이 동일하지 않고 해당 픽쳐 타입이 I 또는 P 픽쳐 타입인 경우, GOP의 M값을 확인하고, 상기 카메라 중 기본이 되는 카메라의 PTS 값과 상기 시간축 차이값의 합을 상기 프레임의 PTS 값으로 설정하고, 상기 카메라 중 기본이 되는 카메라의 DTS 값과 상기 상기 시간축 차이값의 합에서 상기 M 값에 소정의 수치를 곱한 것의 차를 상기 프레임의 DTS 값으로 설정하는 단계

를 포함하여 이루어짐을 특징으로 하는 다시점 입체 영상 동기화 전송 방법.
동기화된 다시점 입체 영상의 다중화 전송 방법에 있어서,

(a) 적어도 두 대의 카메라로부터 획득된 영상 스트림 패킷에 대하여 영상 스트림들의 패킷에 대한 PID가 동일하지 않도록 변경하는 단계;

(b) 어느 하나의 영상 스트림 패킷을 제외한 나머지 영상 스트림 패킷을 상 기 어느 하나의 영상 스트림 패킷에 결합하는 단계;

(c) 상기 나머지 영상 스트림 패킷의 PID와 기술 정보를 상기 어느 하나의 PMT에 결합하는 단계

를 포함하는 것을 특징으로 하는 동기화된 다시점 입체 영상의 다중화 전송 방법.
제 7 항에 있어서,

상기 다중화는 MPEG-2 TS 레벨에서 이루어지는 것을 특징으로 하는 동기화된 다시점 입체 영상의 다중화 전송 방법.
제 7 항에 있어서,

상기 다중화는 시점(view point)별 입체 영상에 대해 별도로 이루어지는 것을 특징으로 하는 동기화된 다시점 입체 영상의 다중화 전송 방법.
제 9 항에 있어서,

상기 시점별 입체 영상에 대해 하나로 다중화된 영상 스트림마다 멀티캐스트 주소를 다르게 할당하는 것을 특징으로 하는 동기화된 다시점 입체 영상의 다중화 전송 방법.
시점별로 다중화되어 전송되는 입체 영상의 시점 전환 방법에 있어서,

(a) 클라이언트에서 최후방 홉 라우터(LHR)로 상기 입체 영상에 대한 IGMP leave 메시지를 전송하는 단계;

(b) 상기 최후방 홉 라우터가 상기 클라이언트로 IGMP query 메시지를 전송하고, 상위 라우터에 대해 IGMP leave 메시지를 전송하여 상기 입체 영상의 전송 중단을 요청하는 단계;

(c) 상기 클라이언트에서 상기 최후방 홉 라우터로 새로운 입체 영상을 위한 IGMP join 메시지를 전송하는 단계;

(d) 상기 최후방 홉 라우터가 상위 라우터로 PIM join 메시지를 전송하는 단계; 및

(e) 클라이언트가 새로운 입체 영상을 선택하여 전송받는 단계

를 포함하는 것을 특징으로 하는 시점별 다중화 전송되는 입체 영상의 시점 전환 방법.
다시점 입체 영상을 동기화하여 전송하는 시스템에 있어서,

다시점 영상을 획득하는 적어도 두 대의 카메라;

상기 카메라로부터 획득된 영상 스트림에 전역 시간에 따른 시간축 정보를 부가하여 전송하는 네트워크 인터페이스;

상기 네트워크 인터페이스로부터 전달된 상기 영상 스트림을 수집하는 획득 모듈과, 상기 영상 스트림의 시간축 정보를 기준 시간과 비교하여 시간축 차이값을 생성하고 상기 영상 스트림의 시간축을 보정하여 동기화하는 시간축 동기화 모듈; 및

동기화된 상기 영상 스트림을 다중화하여 전송하는 전송 서버

를 포함하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 시스템.
제 12 항에 있어서,

네트워크 인터페이스는, 전역 시계 모듈을 구비하여 상기 전역 시간에 대한 정보를 제공하고, 등시성 전송을 지원하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 시스템.
제 12 항에 있어서,

상기 시간축 동기화 모듈은,

가상이 기준 시간을 설정하는 기준시간 설정모듈과, 상기 기준시간과 상기 영상 스트림에 포함된 시간축을 비교하여 상기 시간축 차이값을 추정하는 시간축 추정 모듈과, 상기 시간축 차이값을 이용하여 상기 영상 스트림을 보정하는 시간축 보정 모듈을 포함하여 이루어지는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 시스템.
제 12 항에 있어서,

상기 전송 서버는, 상기 영상 스트림을 다중화하는 다중화기와 다중화된 상기 영상 스트림을 패킷화하는 패킷타이저를 포함하고, 상기 다중화기는 시점(view point) 별로 상기 영상 스트림을 다중화하는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 시스템.
제 15 항에 있어서,

상기 전송 서버에서 다중화된 상기 영상 스트림은 시점별로 별도의 멀티캐스트 채널을 할당받아 전송 네트워크를 통해 전송되는 것을 특징으로 하는 다시점 입체 영상 동기화 전송 시스템.