KR100703715B1 - 다시점 3차원 동영상 송수신 시스템 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 다시점 3차원 동영상 송수신 시스템에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은 MPEG-4를 이용하여 IP 환경에서 사용자에게 원하는 시점별 동영상 및 3차원 동영상 필드 셔터링, 그리고 파노라마 디스플레이 방식의 다시점 3차원 동영상을 서비스할 수 있는 다시점 3차원 동영상 송수신 시스템을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

본 발명은, 다시점 3차원 동영상 송신 시스템에 있어서, 입력되는 다시점 3차원 동영상 간의 시점별 연관성 정도에 따라, 상기 다시점 3차원 동영상을 부호화하기 위한 다시점 3차원 동영상 부호화수단; 상기 다시점 3차원 동영상 부호화수단으로부터 출력되는 부호화 스트림(ES) 및 부호화 스트림 인터페이스(ESI) 정보를 바탕으로, 시점 및 디스플레이 방식 전환에 따른 실시간 전송이 용이한 포맷의 파일을 생성하기 위한 파일생성수단; 및 백채널에 의한 사용자의 요구사항을 분석하여, 사용자가 선택한 시점 및/또는 디스플레이 방식의 해당 ES(상기 파일로 저장되어 있는 ES)를 추출한 후 패킷 스트림으로 생성하여 인터넷 프로토콜(IP)을 통해 전송하기 위한 스트림 처리수단을 포함한다.

4. 발명의 중요한 용도

본 발명은 다시점 동영상을 서비스하는 시스템에 이용됨.

다시점 3차원 동영상, MPEG-4, IP 기반, 부호화 스트림, 시점

Description

다시점 3차원 동영상 송수신 시스템{Multiview 3D video transmission/receiving system}

도 1 은 본 발명에 따른 다시점 3차원 동영상 송수신 시스템의 일실시예 구성도,

도 2 는 본 발명에 따른 다시점 3차원 동영상 송신 시스템 중 다시점 3차원 동영상 부호화부의 일실시예 상세 구성도,

도 3 은 본 발명에 따른 다시점 3차원 동영상 송신 시스템 중 상기 도 2의 동영상 부호화부의 일실시예 상세 구성도,

도 4 는 본 발명에 따른 다시점 3차원 동영상 송신 시스템 중 MP4 파일 생성부의 일실시예 상세 구성도,

도 5 는 본 발명에 따라 다시점 3차원 동영상에 대하여 지원하는 디스플레이 방식을 나타낸 설명도,

도 6 은 본 발명에 따라 다시점 3차원 동영상의 부호화 스트림에 대하여 각각의 ES _ID를 부여한 mdata atom에서의 부호화 스트림 배열 구조를 나타낸 설명도,

도 7 은 본 발명에 따라 다시점 3차원 동영상에 대하여 하나의 ES_ID를 부여 한 mdata atom에서의 부호화 스트림 배열 구조를 나타낸 설명도,

도 8 은 본 발명에 따른 다시점 3차원 동영상 송신 시스템 중 스트림 처리부의 일실시예 상세 구성도,

도 9 는 본 발명에 따른 다시점 3차원 동영상 수신 시스템의 일실시예 상세 구성도,

도 10 은 본 발명에 따른 다시점 3차원 동영상 수신 시스템 중 플레이어의 3차원 동영상 복호화부의 일실시예 상세 구성도이다.

* 도면의 주요 부분에 대한 부호 설명

10 : 다시점 3차원 동영상 입력부 20 : 송신 시스템

21 : 다시점 3차원 동영상 부호화부 22 : MP4 파일 생성부

23 : 스트림 처리부 24 : 저장부

30 : 수신 시스템 31 : 스트림 수신부

32 : 플레이어

본 발명은 다시점 3차원 동영상 송수신 시스템에 관한 것으로, 더욱 상세하게는 인터넷 프로토콜(IP : Internet Protocol) 기반으로 다시점 3차원 동영상을 사용자에게 서비스하기 위한 다시점 3차원 동영상 송수신 시스템에 관한 것이다.

우선, 이해를 돕기 위하여 다시점 동영상과 다시점 3차원 동영상의 차이점에 대해 살펴보기로 하고, 이후 다시점 동영상에 관련된 선행기술을 살펴보기로 한다.

일반적으로, 다시점 동영상은 다수 개의 카메라를 이용하여 영상을 획득하고 이를 이용하여 영상처리를 하는 기술을 의미한다.

다시점 3차원 동영상은 다시점 동영상의 하나의 서브셋(sub-set)으로서, 3차원 동영상을 지원하는 동영상 형태이다. 이를 위해서는 카메라 배치가 상당히 조밀해야 다시점 동영상 보다 사용자들에게 보여주는 관찰범위가 다소 줄어들게 된다.

상기 다시점 동영상에 관한 처리 요소기술로는, 획득 기술, 모델링/렌더링 기술, 부호화 및 전송 기술 등이 있다. 이중 모델링/렌더링 기술의 일예로, "일본 NHK 기술연구소"의 'HD카메라를 이용한 인체모델링 및 임의시점 영상 생성기술'과 "독일 MPI-infomatik"의 'Free-viewpoint video' 기술이 있는데, 모델링/렌더링 기술은 다수 개의 카메라를 통해 특정 오브젝트를 모델링하는 기법으로서, 사용자는 임의 시점에서 객체를 돌려보면서 볼 수 있다. 이는 방송(송수신) 개념이 아닌 것으로, 본 발명과는 전혀 다른 개념을 가지고 있어 순수 모델링 및 렌더링의 영상처리 분야에서 사용되고 있다. 이에 반하여, 본 발명은 실사 영상(카메라로부터 들어온 영상)을 기반으로 영상을 압축하며, 방송(송수신) 개념을 토대로 한다는 점에서 일반적인 모델링/렌더링 기술과는 엄연한 차이점이 존재한다.

한편, 다시점 동영상을 기반으로 한 부호화 및 전송 기술과 관련된 선행기술의 일예로, "EyeVision(이하, '제1 선행기술'이라 함)"이 존재하는데, 상기 제1 선 행기술은 스포츠 경기장에서 다수 개의 카메라(50대 정도)를 설치하고 임의의 시간 동안 특정 오브젝트에 대하여 사용자에게 360도 뷰를 생성하여 보여주게 된다(영화 매트릭스 효과).

상기 제1 선행기술은 기존 방송을 이용하여 서비스하는 것으로서, 각 카메라를 통해 들어온 영상 각각을 MPEG-2로 압축하고 MPEG-2 시스템을 이용해 다중화하여 영상을 전송하게 된다. 즉, 상기 제1 선행기술에서는 운용자가 임의의 시점을 선택하여 방송으로 송신하며, 특정 오브젝트에 대해서는 360도 신을 만들어 이를 다시금 MPEG-2로 압축하여 방송하게 된다.

하지만, 상기 제1 선행기술은 기존 방송 개념을 토대로 한 MPEG-2 기반의 운용자 중심의 서비스로서, 운용자가 보내주는 대로 사용자는 시청할 수 밖에 없다(No interaction). 또한, 상기 제1 선행기술은 본 발명에서와 같이 다시점 3차원 동영상이 아닌, 다시점 동영상을 대상으로 하고, 카메라 배치 등에서 본 발명에서와 같은 디스플레이(3차원 동영상 필드 셔터링 및 파노라마 디스플레이 등)를 지원할 수 없다. 이에 반하여, 본 발명은 MPEG-4 개념에서 사용자가 원하는 시점별 동영상 및 3차원 동영상 필드 셔터링, 그리고 파노라마 디스플레이 방식의 다시점 3차원 동영상을 선택하여 볼 수 있는 것으로, 상기 제1 선행기술과는 접근 자체에 차이가 있다. 즉, 본 발명은 MPEG-4와 호환성을 유지하기 위하여 다시점 3차원 동영상을 압축하는 방법 및 MP4 파일에서 다시점 3차원 동영상 ES(Elementary Stream)를 저장하는 방법, 그리고 송수신 파트에서 사용자 백채널 신호를 받아 처리하는 방법, 사용자가 선택한 디스플레이 방식 및 시점에 따라 해당 스트림만을 추출하여 전송하는 방법(remote interaction), 또한 전송된 스트림에 대하여 사용자가 원하는 디스플레이 방식으로 보여주게 되는 디코딩(local interaction) 기술에 있어 상기 제1 선행기술과 차이점이 존재한다.

한편, 다시점 동영상을 기반으로 한 부호화 및 전송 기술과 관련된 선행기술의 다른 예로, "다중 디스플레이 방식을 지원하는 다시점 동영상의 객체기반 부호화 장치(한국공개특허 2004-0020537호, 2004. 3. 9 공개)(이하, '제2 선행기술'이라 함)"가 존재하는데, 상기 제2 선행기술은 다시점 동영상에 대한 부호화에 관한 것이나, 특히 양안식 3차원 동영상(stereoscopic video)에 관한 부호화 기술을 다루고 있다. 이는 좌우영상을 각각 필드로 나누게 되며, 4개의 필드를 이용하여 부호화하는 방식이다.

하지만, 상기 제2 선행기술은 영상의 필드로 나누고 각 필드간의 상관성을 이용하여 압축하는 방법으로, 특히 부호화에 초점을 맞추고 있으나, 본 발명에서 제시하고 있는 변이(disparity), 깊이(depth) 등 3차원 부가정보를 이용하여 압축하는 방식 및 부호화 방식 선택을 통한 부호화 방식과는 크게 다르다. 또한, 상기 제2 선행기술에서는 본 발명에서 개시하고 있는 MP4 파일 생성, 실제로 전송/수신 파트에 대한 방식 및 사용자 인터랙션에 대한 과정이 전혀 개시되어 있지 않다.

다른 한편, 다시점 동영상을 기반으로 한 부호화 및 전송 기술과 관련된 선행기술의 또 다른 예로, "다시점 영상의 압축/복원 장치 및 방법(한국공개특허 2004-0065014호, 2004. 7. 21 공개)(이하, '제3 선행기술'이라 함)"이 존재하는데, 상기 제3 선행기술은 순수 다시점 동영상에 대한 부호화에 관한 것으로, 입력되는 중앙영상을 기준으로 좌영상과 우영상을 참조하여 부호화한다.

하지만, 상기 제3 선행기술은 필드를 확장하여 프레임 기반에서 압축하는 방식으로, 특히 부호화에 초점을 맞추고 있으나, 본 발명에서 제시하고 있는 변이(disparity), 깊이(depth) 등 3차원 부가정보를 이용하여 압축하는 방식 및 부호화 방식 선택을 통한 부호화 방식과는 크게 다르다. 또한, 상기 제3 선행기술에서는 본 발명에서 개시하고 있는 MP4 파일 생성, 실제로 전송/수신 파트에 대한 방식 및 사용자 인터랙션에 대한 과정이 전혀 개시되어 있지 않다.

최근, 컴퓨터 및 통신기술의 발달로 인해 사람들 사이의 커뮤니케이션 영역이 크게 변화되고 있으며, 특히 다양한 멀티미디어의 각종 데이터를 IP와 연동하여 기존 단방향 서비스가 아닌 양방향 서비스(interactivity service)가 활발히 이용되고 있다.

그러나, 종래에는 주로 2차원 동영상에 초점을 맞추어 제공함으로써, 현실감 및 입체감이 떨어지며 2차원 디스플레이 방식만을 지원하는 바, 사용자는 제한적인 서비스를 받아 왔다. 또한, 급증하고 있는 3차원 동영상에 대한 연구 및 관심으로 인해 스포츠 중계, 광고, 교육, 의료, 게임 등 많은 응용분야에서 3차원 동영상이 사용되고 있으나, 데이터 양, 부호화, 동기화 및 시스템 복잡도 측면에서 많은 어려운 점을 가지고 있어, 카메라를 통해 들어온 실사 영상에 대한 처리는 인터넷 등 IP 기반에서 사용자에게 전혀 서비스되지 못하고 있다.

이와 같이 다시점 3차원 동영상이 비록 많은 응용분야에서 사용되고 있지만, 영상의 획득, 처리, 데이터 양, 동기화 및 디스플레이 방법에 있어 기존 2차원 동 영상 보다 많은 어려운 점을 가지고 있는 실정이다.

그런데, MPEG-4는 멀티미디어 통신 서비스를 고려하여 양방향성(interactivity), 높은 압축률 및 다양한 단말기의 접속을 가능케 하는 오디오/비디오 데이터에 대한 새로운 표준이다. 따라서, 이를 이용하면 기본의 단방향성 통신의 정보전달의 차원을 벗어나, 수신자의 요구와 선택에 따라 필요한 정보를 원하는 시간에 제공할 수 있는 양방향 서비스(interactivity service)를 실현할 수 있다.

따라서, 상기한 점들을 감안할 볼 때, 현재의 기술분야에서는 MPEG-4를 이용하여 IP 환경에서 사용자에게 원하는 시점별 동영상 및 3차원 동영상 필드 셔터링, 그리고 파노라마 디스플레이 방식의 다시점 3차원 동영상을 서비스할 수 있는 방안이 절실히 요구된다. 특히, 시점별 복호화가 가능한 부호화 스트림을 생성하는 방안, IP 기반으로 사용자 백채널 정보를 처리하고 사용자가 선택한 시점의 부호화 스트림만을 전송하기 위한 방안, 전송된 스트림을 수신하고 사용자에게 다양한 디스플레이 방식을 서비스할 수 있는 방안이 절실히 요구된다 하겠다.

본 발명은 상기 요구에 부응하기 위하여 제안된 것으로, MPEG-4를 이용하여 IP 환경에서 사용자에게 원하는 시점별 동영상 및 3차원 동영상 필드 셔터링, 그리고 파노라마 디스플레이 방식의 다시점 3차원 동영상을 서비스할 수 있는 다시점 3차원 동영상 송수신 시스템을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명은, 다시점 3차원 동영상 송신 시스템에 있어서, 입력되는 다시점 3차원 동영상 간의 시점별 연관성 정도에 따라, 상기 다시점 3차원 동영상을 부호화하기 위한 다시점 3차원 동영상 부호화수단; 상기 다시점 3차원 동영상 부호화수단으로부터 출력되는 부호화 스트림(ES) 및 부호화 스트림 인터페이스(ESI) 정보를 바탕으로, 시점 및 디스플레이 방식 전환에 따른 실시간 전송이 용이한 포맷의 파일을 생성하기 위한 파일생성수단; 및 백채널에 의한 사용자의 요구사항을 분석하여, 사용자가 선택한 시점 및/또는 디스플레이 방식의 해당 ES(상기 파일로 저장되어 있는 ES)를 추출한 후 패킷 스트림으로 생성하여 인터넷 프로토콜(IP)을 통해 전송하기 위한 스트림 처리수단을 포함하여 이루어진 것을 특징으로 한다.

한편, 본 발명은 상기 다시점 3차원 동영상 송신 시스템에 의해 전송된 패킷 스트림을 인터넷 프로토콜(IP)을 통해 수신하는 다시점 3차원 동영상 수신 시스템에 있어서, 백채널을 통해 사용자 시점별 선택 및 디스플레이 정보를 상기 다시점 3차원 동영상 송신 시스템으로 전송하고, 사용자가 선택한 시점 및/또는 디스플레 이 방식에 따라 전송된 패킷 스트림을 부호화 스트림 단위(AU)로 수신하기 위한 스트림 수신수단; 및 상기 부호화 스트림 단위(AU)의 패킷 스트림을 복호화하여, 사용자가 선택한 시점 및/또는 디스플레이 방식에 따라 복호화된 다시점 3차원 동영상을 재조합하여 디스플레이하기 위한 영상재생수단을 포함하여 이루어진 것을 특징으로 한다.

본 발명은 IP 기반으로 다시점 3차원 동영상을 사용자에게 서비스하기 위한 다시점 3차원 동영상 송수신 시스템에 관한 것으로, MPEG-4를 이용하여, IP 환경에서 사용자에게 원하는 시점별 동영상 및 3차원 동영상 필드 셔터링, 그리고 파노라마 디스플레이 방식의 다시점 3차원 동영상을 서비스하고자 한다.

이를 위해, 본 발명에서는 IP 기반으로 사용자가 원하는 시점의 동영상 및 이를 2차원 또는 3차원 방식으로 디스플레이하기 위하여, 시점별 복호화가 가능한 부호화 스트림을 생성 및 저장하는 과정, 사용자 백채널 정보를 처리하고 사용자가 선택한 부호화 스트림만을 추출 및 전송하는 과정, 전송된 스트림을 수신하고 사용자에게 다시점 3차원 동영상을 디스플레이하기 위한 과정을 개시한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실 시예를 상세히 설명하기로 한다.

도 1 은 본 발명에 따른 다시점 3차원 동영상 송수신 시스템의 일실시예 구성도이다.

다시점 3차원 동영상 송수신 시스템은, 크게 다시점 3차원 동영상의 컨텐츠를 획득하기 위한 카메라, VTR 등의 다시점 3차원 동영상 입력부(10)와, 다시점 3차원 동영상 입력부(10)를 통해 획득된 다시점 3차원 동영상의 부호화 및 전송을 위한 송신시스템(20)과, 사용자가 선택한 시점 및 디스플레이 방식에 따라 전송된 스트림을 복호화하고 이를 디스플레이하는 수신시스템(30)으로 구성된다.

상기 다시점 3차원 동영상 송신 시스템(20)은, 다시점 3차원 동영상 입력부(10)로부터 입력되는 다시점 3차원 동영상 간의 시점별 연관성 정도에 따라, 다시점 3차원 동영상을 부호화하기 위한 다시점 3차원 동영상 부호화부(21)와, 다시점 3차원 동영상 부호화수단으로부터 출력되는 부호화 스트림(ES : Elementary Stream) 및 부호화 스트림 인터페이스(ESI : Elementary Stream Interface) 정보를 바탕으로, 시점 및 디스플레이 방식 전환에 따른 실시간 전송이 용이한 포맷의 파일(MP4 파일)을 생성하기 위한 MP4 파일 생성부(22)와, 백채널에 의한 사용자의 요구사항을 분석하여, 사용자가 선택한 시점 및/또는 디스플레이 방식의 해당 ES(MP4 파일로 저장되어 있는 ES)를 추출한 후 패킷 스트림으로 생성하여 인터넷 프로토콜(IP)을 통해 전송하기 위한 스트림 처리부(23)를 포함한다.

또한, 상기 다시점 3차원 동영상 송신 시스템(20)에 의해 전송된 패킷 스트림을 인터넷 프로토콜(IP)을 통해 수신하는 다시점 3차원 동영상 수신 시스템(30) 은, 백채널을 통해 사용자 시점별 선택 및 디스플레이 정보를 다시점 3차원 동영상 송신 시스템(20)으로 전송하고, 사용자가 선택한 시점 및/또는 디스플레이 방식에 따라 전송된 패킷 스트림을 부호화 스트림 단위(AU : Access Unit)로 수신하기 위한 스트림 수신부(31)와, 부호화 스트림 단위(AU)의 패킷 스트림을 복호화하여, 사용자가 선택한 시점 및/또는 디스플레이 방식에 따라 복호화된 다시점 3차원 동영상을 재조합하여 디스플레이하기 위한 플레이어(32)를 포함한다.

다시점 3차원 동영상 부호화부(21)는 MPEG-4 기반 부호화 스트림을 생성하기 위한 것으로, 다시점 3차원 동영상을 획득하기 위한 카메라 배치 및 시점간 연관성에 따라 다시점 3차원 동영상을 부호화한다. 즉, 다시점 3차원 동영상 부호화부(21)는 다시점 3차원 동영상 입력부(10)를 통해 획득한 다시점 3차원 동영상을 시점별 연관성 정도(즉, 카메라와 카메라 사이의 간격)에 따라 2차원 동영상 부호화 및 3차원 동영상 부호화 방식으로 부호화한다. 이때, 부호화된 스트림은 MP4 파일을 생성하기 위하여 MP4 파일 생성부(22)로 출력된다. 상기 다시점 3차원 동영상 부호화부(21)에 대해서는 하기의 도 2 및 도 3에서 보다 상세하게 설명하기로 한다.

MP4 파일 생성부(22)는 다시점 3차원 동영상 부호화부(21)로부터 출력되는 부호화 스트림(ES) 및 부호화 스트림 인터페이스(ESI) 정보를 토대로 각 시점별 2차원 디스플레이(스위칭 디스플레이) 또는 시점별 3차원 동영상 필드 셔터링, 그리고 파노라마 디스플레이 방식 전환에 따른 실시간 전송이 용이한 MP4 파일을 생성/저장한다. 상기 MP4 파일 생성부(22)에 대해서는 하기의 도 4에서 보다 상세하게 설명하기로 한다.

스트림 처리부(23)는 MPEG-4 시스템 기반으로 사용자 백채널 정보를 처리하고 해당 부호화 스트림을 전송 패킷으로 생성하기 위한 것으로, 사용자의 시점 선택 및 디스플레이 정보 등의 사용자 백채널 정보를 처리하고 해당 부호화 스트림만을 추출하여 패킷 스트림으로 변환한 후 IP를 통해 다시점 3차원 동영상 수신시스템(30)으로 전송한다. 즉, 스트림 처리부(23)에서는 MP4 파일로 저장되어 있는 부호화 스트림을 IP를 통해 전송될 수 있는 패킷 스트림으로 생성하여 출력하며, 사용자 시점별 선택 및 디스플레이 정보 등의 사용자 백채널 정보를 처리한다. 상기 스트림 처리부(23)에 대해서는 하기의 도 8에서 보다 상세하게 설명하기로 한다.

다시점 3차원 동영상을 이용하는 사용자의 수신시스템(30)에는 송신시스템(20)으로부터 전송되는 패킷 스트림을 수신하기 위한 스트림 수신부(31)와, IP 상에서 운용되는 일반적인 개인 컴퓨터 상에서 다시점 3차원 동영상을 사용자가 원하는 시점 및 2차원 또는 3차원 디스플레이 방식으로 감상하기 위한 플레이어(32)가 설치되어 있어야 한다. 이와 같이 다시점 3차원 동영상 수신시스템(30)은 다시점 3차원 동영상 송신시스템(20)으로부터 시점 및 디스플레이 방식에 따라 전송되는 패킷 스트림을 수신하여 복호화하고 사용자에게 다양한 디스플레이 방식을 제공한다.

이때, 2차원 또는 3차원 디스플레이 전환은 사용자의 요구에 의하여 실시간으로 이루어지며, 이에 대한 정보는 백채널에 의하여 송신시스템(20)으로 전달된다.

도 2 는 본 발명에 따른 다시점 3차원 동영상 송신 시스템 중 다시점 3차원 동영상 부호화부의 일실시예 상세 구성도이고, 도 3 은 본 발명에 따른 다시점 3차원 동영상 송신 시스템 중 상기 도 2의 동영상 부호화부의 일실시예 상세 구성도이다.

다시점 3차원 동영상 부호화부(21)는 다시점 3차원 동영상 데이터 획득시에 시점별 연관성 정도에 따라 운용자가 2차원 동영상 부호화부(212)와 3차원 동영상 부호화부(213)를 선택하여 MPEG-4로 부호화하고, 부호화된 스트림(ES)을 MP4 파일 생성부(22)로 전송하는 역할을 수행하며, 동영상 부호화부(Video Encoder)(211) 및 오디오 부호화부(Audio Encoder)(214)로 구성된다.

다시점 3차원 동영상 부호화부(21)의 동영상 부호화부(Video Encoder)(211)는 다시점 3차원 동영상이 시점별 상관성 정도(카메라와 카메라 사이의 간격)에 따라 운용자(운용자의 비디오 부호화기 선택 정보)가 2차원 동영상 부호화 모드(2차원 동영상 부호화부)(2D Video Encoder)(212) 또는 3차원 동영상 부호화 모드(3차원 동영상 부호화부)(3D Video Encoder)(213)를 선택하여 부호화할 수 있도록 2개의 부호화 모드(Mode 1, Mode 2)를 지원한다.

따라서, 도 2 및 도 3에 도시된 바와 같이, 다시점 3차원 동영상 부호화부(21)는, 시점별 상관성이 높은 다시점 3차원 동영상에 대하여, 시점간에 존재하는 깊이 및 변이를 포함하는 상관정보를 이용하여 다시점 3차원 동영상 부호화를 수행하기 위한 3차원 동영상 부호화부(213)와, 시점별 상관성이 떨어지는 다시점 3차원 동영상에 대하여, 각 시점별로 독립적으로 MPEG-4 부호화를 수행하기 위한 2차원 동영상 부호화부(212)와, 입력된 오디오 데이터에 대하여 MPEG-4 오디오 부호화 규 격을 이용하여 오디오 부호화 스트림을 출력하기 위한 오디오 부호화부(214)와, 부호화된 다시점 3차원 동영상의 부호화 스트림(ES) 및 오디오 스트림에 대한 부가정보(부호화 스트림 인터페이스(ESI) 정보)를 생성하기 위한 ESI 정보 생성부(215)를 포함한다.

3차원 동영상 부호화부(Mode 2)(213)는 시점별 연관성이 높은 동영상에 대하여 시점간에 존재하는 변이(disparity) 및 깊이(depth) 등의 상관정보를 이용하여 다시점 3차원 동영상 부호화를 수행한다. 따라서, N시점의 영상이 입력된 경우, 독립된 부호화 스트림 및 이에 종속된 부호화 스트림을 출력한다(N개의 동영상 ES).

2차원 동영상 부호화부(Mode 1)(212)는 다시점 3차원 동영상 중에서 각 시점 영상 사이에 상관성이 떨어질 경우, 2차원 동영상 부호화 방식인 MPEG-4 코덱을 각 시점 영상에 대하여 독립적으로 부호화한다. 따라서, N시점의 영상이 입력된 경우, 독립된 N개의 MPEG-4 동영상 부호화 스트림을 출력한다(N개의 동영상 ES).

오디오 부호화부(214)는 입력된 오디오 데이터에 대하여 MPEG-4 오디오 부호화 규격을 이용하여 오디오 부호화 스트림을 출력한다.

ESI 정보 생성부(215)는 2차원/3차원 동영상 부호화부(212,213) 및 오디오 부호화부(214)에서 출력되는 다시점 3차원 동영상 부호화 스트림(ES) 및 오디오 부호화 스트림에 대한 부가 정보(ESI 정보)를 생성하여 MP4 파일 생성부(22)로 출력한다.

도 4 는 본 발명에 따른 다시점 3차원 동영상 송신 시스템 중 MP4 파일 생성부의 일실시예 상세 구성도이다.

MP4 파일 생성부(22)는 2차원 동영상 부호화부(212) 또는 3차원 동영상 부호화부(213)로부터 출력되는 N시점 영상에 대한 부호화 스트림(ES) 및 ESI 정보를 이용하여 시점별 동영상(2차원 디스플레이), 3차원 동영상 필드 셔터링, 파노라마 동영상 디스플레이에 대한 실시간 전환이 가능한 형태의 MP4 파일을 생성하여 저장한다.

참고적으로, 다시점 3차원 동영상에 대하여 가능한 디스플레이 방식을 도 5를 참조하여 살펴보면 다음과 같다.

2차원 디스플레이 방식은 사용자에게 원하는 시점을 선택하여 2차원으로 디스플레이하는 방식이다.

또한, 3차원 동영상 필드 셔터링 디스플레이 방식은 원하는 시점을 3차원으로 디스플레이하는 방식으로, 즉 사용자가 1번 시점을 선택할 경우, 1번과 2번 시점을 이용하여 3차원 동영상을 생성 사용자에게 디스플레이하는 방식이다.

또한, 파노라마 디스플레이 방식은 사용자가 선택한 모든 뷰에 대하여 스티칭을 통하여 보다 넓은 화각의 동영상을 사용자에게 디스플레이하는 방식이다.

따라서, MP4 파일 생성부(22)에 대해 구체적으로 살펴보면, 다시점 3차원 동영상 부호화부(21)에서 부호화된 다시점 3차원 동영상 데이터 및 오디오 데이터의 부호화 스트림를 입력받아, MP4 파일 생성 및 저장부(223)로 출력하는 미디어 데이터 제공부(221)와, 다시점 3차원 동영상 부호화 스트림의 복호화 및 디스플레이에 필요한 메타데이터(ESI 정보)로서 시점수, 각 시점 영상에 대한 프레임 단위별 부호화 스트림의 바이트수와 동영상 부호화 모드 정보를 입력받아, MP4 파일 생성 및 저장부(223)로 출력하는 메타 데이터 제공부(222)와, ESI 정보를 바탕으로 다시점 3차원 동영상 데이터에 대해 다양한 디스플레이의 전환에 따른 실시간 스트리밍이 용이한 포맷의 MP4 파일을 생성하여 스트림 처리부(23)로 전달하는 MP4 파일 생성 및 저장부(223)를 포함한다.

미디어 데이터 제공부(221)는 부호화된 N시점의 동영상 데이터 및 오디오 데이터의 부호화 스트림를 입력받아 버퍼에 저장한 다음 MP4 파일 생성 및 저장부(223)로 출력한다.

메타 데이터 제공부(222)는 다시점 3차원 동영상 부호화 스트림의 복호화 및 디스플레이에 필요한 메타데이터(ESI 정보)로서 시점수, 각 시점 영상에 대한 프레임 단위별 부호화 스트림의 바이트수와 동영상 부호화 모드 정보를 입력받아, 버퍼에 저장한 다음 MP4파일 생성 및 저장부(223)로 출력한다.

MP4 파일 생성 및 저장부(223)는 MP4 파일 포맷을 확장하여, ESI 정보를 바탕으로 다시점 3차원 동영상 데이터에 대하여 다양한 디스플레이의 전환에 따른 실시간 스트리밍이 용이한 포맷의 MP4 파일을 생성하여 저장한다.

이를 위해, MP4 파일 생성부(23)에서는 도 6 또는 도 7에 도시된 바와 같이 다시점 3차원 동영상 부호화부(21)로부터 출력되는 부호화 스트림(ES)을 ESI 정보를 바탕으로 MP4 파일을 저장한다.

도 6에서는 N개의 시점 영상에 대한 다시점 3차원 부호화 스트림에 대하여 각각, N개의 ES_ID를 부여하여 미디어 데이터가 저장되는 mdata atom에서의 부호화 스트림 배열 구조를 나타낸다.

또한, 도 7에서는 N개 시점의 다시점 3차원 부호화 스트림에 대하여 같은 시간정보를 갖는 N개 시점의 부호화 스트림를 순차적으로 다중화하여 1개의 ES_ID를 부여하여 미디어 데이터가 저장되는 mdata atom에서의 부호화 스트림 배열 구조를 나타낸다. 이때, 메타데이터가 저장되는 부분 중에서 stsc atom의 sample_per-chunk=N으로 설정한다.

도 8 은 본 발명에 따른 다시점 3차원 동영상 송신 시스템 중 스트림 처리부의 일실시예 상세 구성도이다.

스트림 처리부(23)는 MP4 파일 생성부(22)에서 출력되는 MP4 파일로부터 사용자가 선택한 시점의 영상에 해당하는 미디어 데이터 부호화 스트림를 추출하여 클라이언트(다시점 3차원 동영상 수신시스템(30))로 전송하는 기능과, 백채널에 의한 사용자의 요구사항을 분석하여 처리하는 기능을 포함한다. 또한, IP 망의 특성을 고려하여 MPEG-4 시스템 제어신호 및 백채널은 TCP(Transmission Control Protocol)를 사용하며, 미디어 데이터는 RTP(Real-Time Transport Protocol)를 통하여 전송한다.

응용부(Application)(231)는 미디어 데이터의 전송율 및 서비스 트래픽 상황을 표시한다. 응용부(231)가 실행되면, 접속요청 관리부(call manager)(234)가 실행되어 대기상태가 되고, 클라이언트(다시점 3차원 동영상 수신시스템(30))의 접속요청을 기다린다.

부호화 스트림 제공부(ES provider)(232)는 사용자가 선택한 다시점 3차원 동영상의 MP4 파일을 분석하여 IOD(Initial Object Descriptor), OD(Object Descriptor), BIFS(Binary Format for Scene) 및 미디어 데이터 부호화 스트림을 분리하고 각 스트림을 AU(Access Unit) 단위로 세분화한다. 또한, 사용자의 디스플레이 선택해 따라 추출된 부호화 스트림을 다중화하는 기능을 포함한다.

서비스 제공부(Service provider)(233)는 전체적인 세션을 설정하고 관리하는 모듈로서, 세션 설정을 위한 IOD 데이터 전송을 명령하고, 클라이언트(다시점 3차원 동영상 수신시스템(30))에서 전송되는 사용자 요구정보를 분석한다. 이때, 세션 설정을 위해서, RTP(Real-Time Transport Protocol)와 RTCP(RTP Control Protocol)를 이용한다.

접속요청 관리부(Call manager)(234)는 클라이언트(다시점 3차원 동영상 수신시스템(30))로부터 접속요청을 기다리며, 접속요청이 있을 경우 응용부(231)로 정보를 전송한다.

SL 패킷 생성부(234)는 IOD, OD, BIFS 및 다시점 3차원 동영상 스트림에 대하여 SL 패킷을 생성한다. 이는 MPEG-4 시스템에서 모든 미디어 데이터를 AU(Access Unit) 단위로 분할하여 각 AU를 하나 이상의 SL(Synchronization Layer) 패킷에 매핑하도록 규정하고 있기 때문이다.

RTP 전송부(RTP Sender)(236)는 SL 패킷 생성부(234)로부터 전송받은 SL 패킷을 RTP 패킷화한 후, 클라이언트(다시점 3차원 동영상 수신시스템(30))로 전송한다.

참고적으로, MPEG-4 시스템의 스트리밍 과정에 대해 살펴보기로 한다.

일반적으로, MPEG-4 스트리밍 서버는 DMIF(Delivery Multimedia Integration Framework)를 통하여 초기 연결 설정을 하고, 데이터를 MPEG-4 클라이언트로 전달한다.

DMIF는 MPEG-4 응용의 개발자가 하부의 전송 네트워크나 저장 매체와 무관하게 DAI(DMIF Application Interface)라고 하는 일관된 인터페이스를 사용하여 시그널링을 할 수 있도록 하고 전송 및 저장 매체의 사용을 가능하게 한다.

DMIF로 전달되는 데이터는, 클라이언트에서의 디코딩과 합성에 필요한 시간지정(time stamp) 등이 포함된 SL(Sync Layer), 즉 패킷화된 구조의 데이터이다.

DMIF의 하부에 존재하는 네트워크는 여러 가지가 될 수 있지만, 인터넷 상에서 스트리밍과 같은 실시간 전송을 위해서는 현재 RTP(Realtime Transport Protocol)가 주로 사용되고 있다.

여러 객체 데이터들이 DMIF를 통하여 MPEG-4 클라이언트로 전송되면, MPEG-4 클라이언트에서는 함께 전달되는 BIFS(Binary Format for Scene) 정보를 이용하여 컴포지터(Compositor)에서 오디오, 비디오, 그래픽 데이터 등의 객체들을 2차원, 3차원 공간에 시간적, 공간적으로 구성한다. 이때, 전송된 각각의 데이터는 시간 정보를 포함하고 있어서 특정한 시간에 화면상에 나타나거나 사라질 수 있다.

도 9 는 본 발명에 따른 다시점 3차원 동영상 수신 시스템의 일실시예 상세 구성도로서, 스트림 처리부(23)부터 전송되는 스트림의 수신 및 복호화, 컴포지션, 디스플레이를 수행하여 사용자가 선택한 시점의 영상을 디스플레이하고, 사용자가 선택하는 디스플레이 방식에 대한 정보를 스트림 처리부(23)로 전송하는 수신시스템(20)의 구조를 나타낸다.

RTP 수신부(311)는 사용자가 선택한 시점의 미디어 데이터의 RTP 패킷을 수신받아, 미디어 데이터별로 SL 패킷을 복원하여 DMIF 필터(312)로 전달한다.

DMIF 필터(312)는 전송된 IOD를 분석한 후, OD와 BIFS 데이터 및 다시점 3차원 동영상 데이터를 요구하고, DMIF 인스턴스(instance)를 TCP(Transmission control protocol)를 통해 스트림 처리부(23)로 전달함으로써 채널 생성을 요구한다.

SL 조립부(de-packetization)(313)는 DMIF 필터(312)에서 출력되는 SL 패킷을 수신받아, 역다중화 및 조립(depacketization)하여 분리된 AU(Access Unit)를 디코딩 버퍼(314)로 출력한다.

3차원 동영상 복호화부(321)는 디코딩 버퍼(314)로부터 2차원 동영상 또는 다시점 3차원 동영상, 오디오에 대한 AU를 입력받아, 복호화를 수행하며, 사용자가 선택한 디스플레이 방식에 따라 복호화된 영상을 재조합하여 출력한다.

컴포지터(Compositor)(323)는 BIFS(Binary Format for Scene) 정보를 이용하여 오디오, 비디오, 그래픽 데이터 등의 객체들을 2차원, 3차원 공간에 시간적, 공간적으로 구성한다.

프레임 응용부(Frame application)(324)는 사용자에게 기본적인 명령(play, Pause 등)을 제공한다.

도 10 은 본 발명에 따른 다시점 3차원 동영상 수신 시스템 중 플레이어의 3차원 동영상 복호화부의 일실시예 상세 구성도이다.

3차원 동영상 복호화부(321)는 디스플레이 모드 정보에 따라, 2차원 동영상 복호화부(321-1)를 통해 복호화된 2차원 동영상(시점별 동영상)을 출력하고, 3차원 동영상 복호화부(321-2)를 통해 복호화된 2개 시점 영상을 입력받아 입체감을 재생할 수 있는 양안식 3차원 영상으로 재구성하며(3차원 필드 셔터링 동영상 생성부(321-3)), 3차원 동영상 복호화부(321-2)를 통해 복호화된 2개 이상의 시점 영상을 와핑(warpping) 등의 기법을 사용하여 자연스럽게 연결시켜 1개의 시점 영상보다 큰 영상으로 재구성한다(파노라마 동영상 생성부(321-4)).

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 기존 MPEG-4 시스템과 호환성을 유지하면서 사용자에게 IP 기반으로 다시점 3차원 동영상을 서비스할 수 있고, 특히 사용자에게 IP 환경에서 원하는 시점별 동영상 및 2차원, 3차원 동영상 필드 셔터링, 그리고 파노라마 디스플레이 방식으로 보다 현실감있는 다시점 3차원 동영상을 제공할 수 있을 뿐만 아니라, 사용자의 양방향 서비스가 가능한 효과가 있다.

Claims (9)

1. 다시점 3차원 동영상 송신 시스템에 있어서,

   입력되는 다시점 3차원 동영상 간의 시점별 연관성 정도에 따라, 상기 다시점 3차원 동영상을 부호화하기 위한 다시점 3차원 동영상 부호화수단;

   상기 다시점 3차원 동영상 부호화수단으로부터 출력되는 부호화 스트림(ES) 및 부호화 스트림 인터페이스(ESI) 정보를 바탕으로, 시점 및 디스플레이 방식 전환에 따른 실시간 전송이 용이한 포맷의 파일을 생성하기 위한 파일생성수단; 및

   백채널에 의한 사용자의 요구사항을 분석하여, 사용자가 선택한 시점 및/또는 디스플레이 방식의 해당 ES(상기 파일로 저장되어 있는 ES)를 추출한 후 패킷 스트림으로 생성하여 인터넷 프로토콜(IP)을 통해 전송하기 위한 스트림 처리수단

   을 포함하는 다시점 3차원 동영상 송신 시스템.
2. 제 1 항에 있어서,

   상기 다시점 3차원 동영상 부호화수단은,

   시점별 상관성이 높은 다시점 3차원 동영상에 대하여, 시점간에 존재하는 깊이 및 변이를 포함하는 상관정보를 이용하여 다시점 3차원 동영상 부호화를 수행하는 3차원 동영상 부호화부;

   시점별 상관성이 떨어지는 다시점 3차원 동영상에 대하여, 각 시점별로 독립 적으로 MPEG-4 부호화를 수행하는 2차원 동영상 부호화부;

   입력된 오디오 데이터에 대하여 MPEG-4 오디오 부호화 규격을 이용하여 오디오 부호화 스트림을 출력하는 오디오 부호화부; 및

   상기 부호화된 다시점 3차원 동영상의 부호화 스트림(ES) 및 오디오 스트림에 대한 부가정보(부호화 스트림 인터페이스(ESI) 정보)를 생성하는 ESI 정보 생성부

   를 포함하는 다시점 3차원 동영상 송신 시스템.
3. 제 1 항에 있어서,

   상기 시점 및 디스플레이 방식 전환에 따른 실시간 전송이 용이한 포맷의 파일은, MP4 파일이며,

   상기 파일생성수단은,

   상기 다시점 3차원 동영상 부호화수단에서 부호화된 다시점 3차원 동영상 데이터 및 오디오 데이터의 부호화 스트림를 입력받아, MP4 파일 생성 및 저장부로 출력하는 미디어 데이터 제공부;

   다시점 3차원 동영상 부호화 스트림의 복호화 및 디스플레이에 필요한 메타데이터(ESI 정보)로서 시점수, 각 시점 영상에 대한 프레임 단위별 부호화 스트림의 바이트수와 동영상 부호화 모드 정보를 입력받아, MP4 파일 생성 및 저장부로 출력하는 메타 데이터 제공부; 및

   상기 ESI 정보를 바탕으로 다시점 3차원 동영상 데이터에 대해 다양한 디스플레이의 전환에 따른 실시간 스트리밍이 용이한 포맷의 MP4 파일을 생성하여 상기 스트림 처리수단으로 전달하는 상기 MP4 파일 생성 및 저장부

   를 포함하는 다시점 3차원 동영상 송신 시스템.
4. 제 3 항에 있어서,

   상기 파일생성수단은,

   상기 다시점 3차원 동영상 부호화수단을 통해 출력되는 부호화 스트림에 대하여, 각각의 시점별 ES_ID를 부여하여 MP4 파일의 mdata Atom에 시점별 부호화 스트림으로 순차적으로 저장하거나, 1개의 ES_ID를 부여하여 MP4 파일의 mdata Atom에 시점별 부호화 스트림을 다중화하여 저장하는 것을 특징으로 하는 다시점 3차원 동영상 송신 시스템.
5. 제 1 항에 있어서,

   상기 스트림 처리수단은,

   미디어 데이터의 전송율 및 서비스 트래픽 상황을 표시하는 응용부;

   클라이언트(다시점 3차원 동영상 수신시스템)로부터 접속요청을 기다리며, 접속요청이 있을 경우 상기 응용부로 정보를 전송하는 접속요청 관리부;

   사용자가 선택한 다시점 3차원 동영상의 MP4 파일을 분석하여 IOD(Initial Object Descriptor), OD(Object Descriptor), BIFS(Binary Format for Scene) 및 미디어 데이터 부호화 스트림을 분리하고 각 스트림을 AU(Access Unit) 단위로 세분화하고, 사용자의 디스플레이 선택해 따라 추출된 부호화 스트림을 다중화하는 ES 제공부;

   전체적인 세션을 설정하고 관리하되, 세션 설정을 위한 IOD 데이터 전송을 명령하고, 상기 클라이언트(다시점 3차원 동영상 수신시스템)에서 전송되는 사용자 요구정보를 분석하는 서비스 제공부;

   IOD, OD, BIFS 및 다시점 3차원 동영상 스트림에 대하여 SL(Synchronization Layer) 패킷을 생성하는 SL 패킷 생성부; 및

   상기 SL 패킷 생성부로부터 전송받은 SL 패킷을 RTP(Real-Time Transport Protocol) 패킷화한 후, 상기 클라이언트(다시점 3차원 동영상 수신시스템)로 전송하는 RTP 전송부

   를 포함하는 다시점 3차원 동영상 송신 시스템.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

   상기 시점별 연관성 정도는,

   카메라와 카메라 사이의 간격 정보인 것을 특징으로 하는 다시점 3차원 동영상 송신 시스템.
7. 제 1 항 내지 제 5 항 중 어느 한 항의 상기 다시점 3차원 동영상 송신 시스템에 의해 전송된 패킷 스트림을 인터넷 프로토콜(IP)을 통해 수신하는 다시점 3차원 동영상 수신 시스템에 있어서,

   백채널을 통해 사용자 시점별 선택 및 디스플레이 정보를 상기 다시점 3차원 동영상 송신 시스템으로 전송하고, 사용자가 선택한 시점 및/또는 디스플레이 방식에 따라 전송된 패킷 스트림을 부호화 스트림 단위(AU)로 수신하기 위한 스트림 수신수단; 및

   상기 부호화 스트림 단위(AU)의 패킷 스트림을 복호화하여, 사용자가 선택한 시점 및/또는 디스플레이 방식에 따라 복호화된 다시점 3차원 동영상을 재조합하여 디스플레이하기 위한 영상재생수단

   을 포함하는 다시점 3차원 동영상 수신 시스템.
8. 제 7 항에 있어서,

   상기 스트림 수신수단은,

   사용자가 선택한 시점의 미디어 데이터의 RTP(Realtime Transport Protocol) 패킷을 수신받아, 미디어 데이터별로 SL(Synchronization Layer) 패킷을 복원하여 DMIF(Delivery Multimedia Integration Framework) 필터로 전달하는 RTP 수신부;

   전송된 IOD(Initial Object Descriptor)를 분석한 후, OD(Object Descriptor)와 BIFS(Binary Format for Scene) 데이터 및 다시점 3차원 동영상 데이터를 요구하는 상기 DMIF 필터; 및

   상기 DMIF 필터에서 출력되는 SL 패킷을 수신받아, 역다중화 및 조립하여 분리된 AU(Access Unit)를 디코딩 버퍼로 출력하는 SL 조립부

   를 포함하는 다시점 3차원 동영상 수신 시스템.
9. 제 7 항에 있어서,

   상기 영상재생수단은,

   상기 디코딩 버퍼로부터 2차원 동영상 혹은 다시점 3차원 동영상, 오디오에 대한 AU를 입력받아, 복호화를 수행하며, 사용자가 선택한 디스플레이 방식에 따라 복호화된 영상을 재조합하여 출력하는 3차원 동영상 복호화부;

   BIFS 정보를 이용하여 오디오, 비디오, 그래픽 데이터의 객체들을 2차원, 3차원 공간에 시간적, 공간적으로 구성하는 컴포지터; 및

   사용자에게 기본적인 명령을 제공하는 프레임 응용부

   를 포함하는 다시점 3차원 동영상 수신 시스템.

Images