KR100613752B1 - 파노라마 영상의 스트리밍 방법 - Google Patents

Abstract

본 발명은 파노라마 비디오 스트리밍을 위한 효율적인 데이터 전송 기법에 관한 것이다.

이같은 본 발명은, 서버의 압축 부담을 줄이기 위해 파노라마 영상 전체를 압축하여 클라이언트에게 전송하는 것이 아니라 파노라마 영상 중에서 제한된 일정 크기의 영역만큼을 클라이언트에게 제공한다. 또한 클라이언트에게 시점이동 기능을 제공하여 클라이언트는 자신이 원하는 영역으로 자유롭게 접근할 수 있다. 전체 파노라마 영상을 스트립 영상이라는 작은 영상 단위로 잘라 스트립 영상 하나를 독립적인 영상으로 보고 각 스트립 영상 단위로 압축한다. 즉, 클라이언트는 서버에게 자신이 원하는 영상을 요청하고 서버는 클라이언트의 요청에 따라 스트립 영상을 압축하여 전송하는 서버와 클라이언트 사이에 상호작용이 가능한 양방향 스트리밍 시스템이다. 본 발명은 파노라마 영상을 스트립 단위로 압축하고 서버 클라이언트간상호작용 가능한 시스템으로써, 적용가능 분야는 가상현실에서의 원격회의, 사용자의 시점 상호작용이 가능한 멀티미디어 스트리밍 서비스, 사이버 관광시스템, 특정상품 홍보 등에 적용 가능한 파노라마 영상의 스트리밍 방법을 제공한다.

스트리밍, 파노라마 영상, 멀티미디어, 가상현실

Description

파노라마 영상의 스트리밍 방법{Streaming method of a panorama video}

도 1은 본 발명의 일실시예로 파노라마 영상 스트리밍 시스템의 전체 구성도.

도 2는 본 발명의 일실시예로 파노라마 영상의 스트립 단위 압축 및 그 전송방법을 보인 전체 흐름도.

도 3은 본 발명의 일실시예로 파노라마 영상을 생성하는 과정을 보인 도면.

도 4는 본 발명의 일실시예로 클라이언트에서 재생되는 시각 영역의 도면.

도 5는 본 발명의 일실시예로 시간에 따라 파노라마 영상이 압축되는 스트립 단위 영상의 도면.

도 6은 종래 MPEG의 영상 구조도.

도 7은 본 발명의 일실시예로 파노라마의 압축 영상 구조도.

도 8은 본 발명의 일실시예로 스트립 영상의 압축 과정을 보인 도면.

도 9는 본 발명의 일실시예로 시점 이동시 발생하는 문제를 나타내는 도면.

도 10은 본 발명의 일실시예로 새로운 클라이언트 접속시 발생하는 문제를 나타내는 도면.

도 11은 본 발명의 일실시예로 도 9의 시점 이동시 발생하는 문제를 해결한 경우를 나타내는 도면.

도 12는 본 발명의 일실시예로 도 10의 새로운 클라이언트 접속시 발생하는 문제를 해결한 경우를 나타내는 도면.

도 13은 본 발명의 일실시예로 스트립 영상 전송시 포함되는 예비영역을 나타내는 도면.

*도면의 주요 부분에 대한 부호의 설명*

1a,1b,1c; 카메라 2a,2b…,2n; 클라이언트 컴퓨터

10; 서버 11; 수신부

12; 영상생성부 13; 영상압축부

14; 전송부

본 발명은 파노라마 영상을 압축하고 그 압축된 영상을 전송하는 방법에 관한 것으로, 보다 상세하게는 클라이언트가 파노라마의 전체 영상 중에서 원하는 시점 영역의 영상을 요청하는 경우 파노라마 전체 영상을 스트립 영상 단위로 압축시킨 후 그 압축된 스트립 단위의 영상중에서 클라이언트가 원하는 시점 영역의 압축 영상만을 실시간 전송할 수 있도록 하는 파노라마 영상의 스트리밍 방법에 관한 것이다.

주지된 바와같이, 대량의 영상 데이터를 효율적으로 압축하기 위한 방법은 MPEG-II와 C. Zhang의 방법이 있다.

상기 MPEG-II는 시간의 흐름에 따른 시퀀스 구조로서 이는 I-프레임(Intra-coded frame)과 P-프레임(Predictive-coded frame) 및 B-프레임(Bidirectional-coded frame)으로 구성되고, 영상의 순서는 I-프레임, B-프레임, B-프레임, P-프레임, I-프레임의 순서로 시간 흐름에 따라 순차적으로 나열된다.

상기 각 I-프레임, P-프레임, B-프레임들은 슬라이스들의 모임으로 슬라이스는 매크로 블록들로 구성되고, 상기 매크로 블록은 블록이 모여서 생성된다.

MPEG의 I-프레임은 다른 영상들의 참조없이 부호화가 가능하므로 스트림의 어느 위치에나 올 수 있으며, 영상 데이터의 임의 접근을 위해 사용되어 진다.

상기 I-프레임은 정지영상 압축방법(JPEG)을 이용하지만, JPEG과 달리 MPEG에서는 실시간으로 압축이 이루어지며, 상기 I-프레임의 압축은 MPEG 프레임 압축방법 중에서 가장 낮은 압축률을 보인다.

이 압축 방법은 매크로 블록 내에서 지정된 8×8 블록으로 나누어 DCT(DCT; Discrete Cosine Transform)기법을 사용한 후, 상기 DC계수는 DPCM(Differential Pulse Code Modulation)방법으로 부호화 하는데, 연속한 블록 사이의 차이 값을 계산한 후 가변 길이 부호화와 허프만 부호화를 사용하여 변환한다.

상기 P-프레임의 부호화와 복호화는 이전 시간에 존재하는 I-프레임 정보와 P-프레임의 정보를 이용하는 것으로, 상기 P-프레임은 연속되는 영상들에서 존재하는 각 영상에서 영상 전체가 바뀌는 것이 아니라 시간 흐름에 따라 영상 내에 존재하는 블록들이 옆으로 이동한다는 점에 착안한 것이다.

즉, 움직임이 있는 경우 앞 화면에 있는 물체 자체의 모양에는 큰 변화 없이 옆으로 이동하는 경우가 대부분이므로, 이전의 영상과 현재 영상의 차이가 매우 적은 것을 이용하여 차이 값만을 부호화하며, 이때 부호화 되는 값은 영상의 움직임 벡터와 오차 값이다.

상기 B-프레임의 부호화와 복호화를 행할 때 이전 및 이후 시간에 존재하는 I-프레임과 P-프레임 모두를 사용한다.

즉, 상기 B-프레임은 이전의 I-프레임 또는 P-프레임과 B-프레임 이후에 존재하는 I-프레임 또는 P-프레임의 움직임 벡터와 오차 값을 압축하므로 높은 압축률을 얻을 수 있다.

상기 I-프레임으로 시작하는 연속적인 영상들의 집합을 GOP(Group Of Picture)라 하고, MPEG은 B-프레임을 사용하기 때문에 MPEG 코드 데이터 스트립의 순서는 실제 복호화 되는 순서와 다르다.

영상의 순서는 I-프레임, B-프레임, B-프레임, P-프레임의 순서로 존재하지만 복원할 때는 이와 같은 순서로 복원되지 않는다.

상기 B-프레임을 복원하기 위해서는 이 B-프레임을 압축하기 위해 이용된 P-프레임은 B-프레임의 복원에 필요하므로 P-프레임을 먼저 복원한 후 B-프레임의 복원이 가능하다.

반면, C. Zhang의 방법은 동심원 모자익 영상을 압축하기 위해 제안한 RBC(Reference Block Coding)의 압축방법으로, 상기 RBC는 영상이 A-프레임, P-프레임으로 구성되고, 프레임의 압축방법은 MPEG-II 압축을 기반으로 하지만 MPEG과 다르다.

즉, 상기 RBC의 A-프레임 압축은 MPEG의 I-프레임과 압축 방법이 같지만, P-프레임은 MPEG과 달리 P-프레임을 얻기 위해 이전 시간에 존재하는 P-프레임 또는 A-프레임을 참조하는 것이 아니라 이전 시간에 존재하는 A-프레임만을 참조하여 얻어진다.

그러므로, A-프레임 뿐만아니라 P-프레임도 영상 데이터의 임의 접근이 가능하다.

상기의 방법은 P-프레임을 복원할 때 이전 시간의 A-프레임만으로 P-프레임을 복원할 수 있는 장점이 있지만, 압축률이 MPEG-II보다 떨어진다.

한편, 시점 이동에 따른 데이터 전송 기법에는 Chen, C. Zhang, C. Grunheit의 기법이 있다.

상기 Chen에 의해 만들어진 영상 기반의 가상현실 시스템인 Quick Time VR은 영상을 재생하기 위해 전체 데이터를 서버로부터 다운받아야만 재생이 가능하고, 상기 서버는 전체 파노라마 영상을 압축하여 전송하고 클라이언트는 이를 전송받아 재생시킨다.

상기 Quick Time VR시스템은 서버로부터 파일을 모두 다운받아야만 재생이 가능하므로 파일을 다운 받는데 시간이 소요되고 서버와의 접속이 끊어졌을 경우 서버에 재접속하여 파일을 처음부터 다시 다운로드 받아야 하는 문제점이 있음은 물론, 클라이언트의 경우에는 파일을 다운받아 저장할 공간을 늘 보유하고 있어야만 하는 단점이 있다.

상기 C. Zhang의 기법은 RBC로 동심원 모자익 영상을 압축한 다음, 이를 인터넷(internet)으로 확장시켜 서버와 클라이언트 사이에 상호 작용이 가능한 브라우저를 개발한 것이다.

즉, 상기 서버는 클라이언트의 재생에 필요한 영상을 캐쉬로 전송시켜 반복적으로 재생하고자 하는 부분의 영상은 더 이상 서버로부터 요청하지 않아도 되며, 그 결과 클라이언트의 재생 속도를 향상시켰다.

그러나, 동심원 모자익 영상은 시간축을 가지지 않는 정적 영상을 대상으로만 가능하였다.

상기 C. Grunheit는 축소 및 확대(zoom in/out)와 시점 이동이 가능한 상호작용이 가능한 스트리밍 시스템을 개발한 것으로, 이는 파노라마 영상을 일정한 크기의 독립된 영상으로 분할하여 클라이언트가 자신이 보고자 하는 부분의 영상을 서버로부터 요청하고 시점 변화를 요구할 경우 해당되는 영상의 비트 열을 클라이언트에 전송하는 것이다.

상기 시스템은 각각의 독립된 영상을 스케일러블(scalable) 코딩 기법을 이용하여 압축 전송하는 것으로, 이러한 스케일러블 코딩 기법은 MPEG에 비해 압축률이 떨어지는 단점을 가진다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 안출된 것으로서 본 발명은, MPEG 압축기법을 변형한 스트립 단위의 압축기법과 클라이언트 요청에 따른 서버에서의 효율적인 스트립 단위 전송기법을 제공함으로써, 클라이언트 의 요청에 따라 실시간 상호 작용 가능한 시스템에서 필요한 영상으로 압축함은 물론, 그 압축된 영상을 효율적으로 전송할 수 있도록 하려는데 목적이 있다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 본 발명을 용이하게 실시할 수 있는 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에서 제안하는 파노라마 스트리밍 시스템으로, 파노라마 영상을 얻기 위해 동일한 위치에서 각각 다른 방향의 영상을 얻을 수 있는 3대의 보정된 카메라(1a)(1b)(1c)를 사용하며, 도 2 및 도 3에서와 같이 서버(10)는 카메라(1a)(1b)(1c)에 의해 촬영된 영상을 정합한 후 파노라마 영상을 생성한다.

즉, 본 발명에서 제안하는 파노라마 영상의 스트리밍은 도 1 내지 도 3에 도시된 바와같이, 카메라(1a)(1b)(1c)로부터 촬영된 파노라마 영상을 생성하고 이를 압축하는 서버(10)와, 상기 서버(10)에 의해 압축된 파노라마 영상을 풀어 재생하는 클라이언트의 컴퓨터(2; 2a,2b,…,2n)로 구성된다.

이때, 상기 서버(10)는 도 2에서와 같이 카메라(1a)(1b)(1c)에 의해 촬영된 파노라마 영상 전체를 압축하여 클라이언트의 컴퓨터(2)로 전송하지 않고, 클라이언트가 요청하여 재생되는 시각 영역의 영상만을 압축한 후 이를 전송하도록 설계되어 있다.

이를 위해, 상기 서버(10)에는 카메라(1a)(1b)(1c)에 의해 촬영된 영상을 수신하는 수신부(11), 상기 수신부(11)로부터 수신된 영상을 정합하여 파노라마 영상을 생성하는 영상생성부(12), 상기 영상생성부(12)로부터 생성된 파노라마 영상을 스트립 단위로 압축하는 영상압축부(13) 및, 상기 영상압축부(13)로부터 스트립단위로 압축된 영상을 전송하는 전송부(14) 등을 포함하고 있으며, 반드시 이러한 구성요소에 한정하는 것은 아니다.

예를 들어, 도 2에서와 같이 클라이언트 컴퓨터(2)로부터 전체 파노라마 영상 중 P영역의 영상만을 요청하는 신호가 서버(10)의 수신부(11)로 입력된다면, 상기 서버(10)의 영상압축부(13)에서는 P영역의 영상만을 압축한 후 이를 클라이언트 컴퓨터(2; 2a,2b,…,2n)로 전송한다.

또한, 클라이언트에게는 시점 이동 기능을 제공하게 되는데, 각 클라이언트는 자신이 원하는 부분의 영상을 서버(10)로부터 전송받다가 새로운 영역의 영상 보기를 원한다면, 시각 영역이 바뀌었다는 정보를 서버(10)에 전송한다.

그러면, 상기 서버(10)내의 영상압축부(13)에서는 이를 즉각적으로 수용하여 클라이언트가 요청하는 영역의 영상을 압축 한 후 이를 전송부(14)를 통해 전송하게 되는 것이다.

즉, 본 발명은 다중 클라이언트에게 제한된 시각영역을 제공하고 영역 안에서 시점 이동이 가능한 시스템으로, 이는 클라이언트에게 영상을 전송할 때 재생되는 시각 영역만큼 그 영상을 압축 전송함으로써 미세한 시점이동까지 컨트롤이 가능하다는 장점이 있다.

이를 보다 구체적으로 살펴보면,

도 4에서와 같이 클라이언트A의 시각영역이 시점이동을 했을 때, 상기 서버(10)의 영상압축부(13)에서는 재생되는 시각영역만큼을 I-프레임으로 압축하여 전송한다.

클라이언트B의 시각영역이 시점이동을 하였을 경우, 상기 서버(10)의 영상압축부(13)에서는 역시 시점이동에 의해 재생되는 프레임 전체를 I-프레임으로 압축 전송한다.

만약, 다중 클라이언트가 모두 시점이동을 한다면 서버(10)의 영상압축부(13)에서는 재생되는 시각영역만큼을 각 클라이언트의 요청에 따라 계속 I-프레임으로 압축 전송해야 함으로, 상기 영상압축부(13)는 압축에 대한 부담이 매우 크다.

이에 본 시스템에서는 서버(10)내 영상압축부(13)의 압축부담을 줄이기 위해 파노라마 영상을 독립된 스트립 단위로 자르고 스트립 영상 단위로 압축하도록 하였다.

도 5는 스트립 단위로 압축하여 클라이언트에 제공되는 시각 영역이 시점이동 요청이 있을 때 스트립 영상 사이즈로 시점이동이 가능한 것을 보여주고 있다.

하지만, 클라이언트A의 시각영역에서 t시간에 시점이동을 했을 때 새롭게 요청한 스트립 영상만을 I-스트립으로 압축하고, 이전 시간에 재생하고 있던 영역은 이전 시간의 영상을 참조하여 P-스트립 영상으로 압축하여 전송한다.

클라이언트B의 시각영역에서 t시간에 시점이동하는 경우 새롭게 요청한 스트립 영상은 서버(10)의 영상압축부(13)에서 I-스트립으로 압축하여 전송한다.

그리고, t+1시간에 시점이동이 없다면 이전 시간의 P-스트립 영상을 참조하여 P-스트립 영상으로 압축하여 전송하고, 만약 다중 클라이언트가 서버(10)에 접 속된 상태에서 동시에 시점 이동을 요청 했을 경우 이전에 요청했던 영상과 겹쳐지는 부분은 P-스트립으로 압축하여 전송한다.

즉, 새롭게 요청한 스트립 영상만을 I-스트립으로 압축하고 이전 시간부터 재생되는 스트립 영상은 P-스트립으로 압축하여 전송함으로써, 상기 서버(10)내 영상압축부(13)의 압축 부담을 줄일 수 있는 것이다.

도 6은 일반적인 MPEG의 영상구조로, 상기 MPEG은 스트립 영상이 가로로 존재하며, 상기와 같이 영상이 가로방향으로 존재하는 스트립 영상을 부분적으로 클라이언트에 전송할 때 영상의 상태는 불완전하게 되고, 이는 곧 클라이언트에게 파노라마 영상의 일부분을 전송할 수 없게 된다.

그러나, 본 발명의 스트립 영상 구조는 도 7과 같은 영상 구조를 가진다.

즉, 본 발명이 제안한 시스템에서는 스트립 구조가 세로방향으로 존재하게 됨으로써 파노라마 영상의 일부분을 클라이언트에 제공할 수 있는 것이다.

이에따라 본 발명에서는 세로방향으로 존재하는 스트립 영상 구조를 잘라 일정 영역만큼의 영상을 클라이언트에게 제공할 수 있는 것이며, 상기 파노라마 영상의 압축방법은 도 8과 같다.

도 8에서 I는 I-스트립 압축을 나타낸다.

다중 클라이언트가 각각 컴퓨터(2a,2b,…,2n)를 통해 서버(10)에 접속하여 영상을 요청하면, 상기 서버(10)내의 영상생성부(12)에서는 카메라(1a)(1b)(1c)에 의해 촬영된 영상을 정합한 후 파노라마 영상을 생성한다.

그러면, 상기 서버(10)내의 영상압축부(13)에서는 생성된 파노라마 영상을 스트립 단위로 잘라 클라이언트가 요청한 스트립 영상만을 압축하게 되는 것이다.

즉, 상기 서버(10)내의 영상압축부(13)는 접속 초기에 입력된 파노라마 영상을 I-스트립으로 압축하고, 다음 시간에 입력으로 들어온 영상은 이전 시간의 I-스트립으로 압축된 스트립 영상을 참조하여 P-스트립으로 압축한다.

이때, 상기 I-스트립과 P-스트립의 압축방법은 다음과 같다.

우선 I-스트립 압축은 입력된 영상을 DCT와 양자화 과정을 거치고 양자화된 DCT계수를 가변 길이 부호화와 허프만 부호화 과정을 거쳐 압축한다.

이것은 MPEG-II의 I-프레임 압축 과정과 같다.

상기 P-스트립 압축방법은 다음 시간에 입력된 영상을 이전 시간의 스트립 영상을 참조하여 시간의 흐름에 따라 압축한다.

즉, 이전 시간의 스트립 영상을 기준으로 입력으로 들어온 스트립 영상을 비교해 움직임 벡터와 오차 값을 구한다.

상기 움직임 벡터는 움직임 보상 과정을 거치고, 오차 값은 DCT와 양자화 과정을 거쳐 이들 값을 가변 길이 부호화와 허프만 부호화 과정을 거쳐서 압축한다.

이는 MPEG-II의 P-프레임 압축 과정과 같다.

본 시스템에서 다른 영상을 참조하지 않고 자기 자신만으로 압축할 수 있는 스트립 영상을 I-스트립 영상으로, I-스트립 또는 이전에 존재하는 P-스트립 영상을 참조하여 이를 시간의 흐름에 따라 순방향 예측하여 얻어진 스트립 영상을 P-스트립 영상으로 정의 한다.

한편, 일반적인 스트리밍 시스템은 하나의 카메라를 통해 입력된 영상을 사 용하여 서버(10)에서 영상을 압축하고, 상기 서버(10)에 접속된 다중 클라이언트에게 데이터를 전송하는 것으로, 이는 영상 전체를 압축하여 전송함으로써 클라이언트의 요구를 고려할 필요가 없는 단방향 시스템이다.

그러나, 본 발명에서 제안하는 스트리밍 시스템은 클라이언트에게 파노라마 영상 일부분만을 전송하는 것으로, 이는 클라이언트가 서버(10)에 필요한 부분의 영상을 요청하면, 상기 서버(10)는 클라이언트로 압축된 데이터를 전송하는 서버(10)와 클라이언트 사이에 상호 작용이 가능한 양방향 시스템이다.

한편, MPEG에서 시퀀스 하게 나열된 영상에서 임의의 프레임으로 접근이 가능한 프레임은 I-프레임으로 압축된 프레임이다.

만약 P-프레임으로 압축된 상태의 영상을 재생하기 위해서는 P-프레임을 생성하기 위해 참조했던 영상들이 모두 있어야만 재생이 가능하다.

본 시스템은 다중 클라이언트에게 시점이동을 제공하는 시스템으로 기존 MPEG으로 압축했을 때 2가지 문제가 발생된다.

첫번째 문제로서, 도 8에서는 시점이동을 했을 때 발생되는 문제를 도시하고 있다.

P는 P-스트립으로 압축된 데이터를 I는 I-스트립으로 압축된 데이터이다.

I-스트립 또는 P-스트립으로 압축된 스트립 영상 위의 숫자는 클라이언트가 요청한 스트립 번호를 나타낸다.

클라이언트가 시간 t에 파노라마 영상 중 4, 5, 6, 7, 8의 P-스트립 영상을 서버(10)로부터 요청하여 재생하고 있다.

클라이언트는 시간 t+1에 시점이동을 하여 6, 7, 8, 9, 10번에 해당하는 스트립 영상을 요청했을 때 이전 시간부터 서버(10)로부터 전송 받아 재생하고 있던 6, 7, 8에 해당하는 스트립 영상은 바로 재생이 가능하다.

하지만 새롭게 요청한 9, 10번 스트립 영상은 서버(10)에서 이전시간에 재생되고 있지 않으므로 9, 10번 스트립 영상을 참조할 스트립 영상이 존재하지는 않는다.

그러므로 9, 10번 스트립 영상에 해당되는 I-스트립 영상이 도착할 때까지 9, 10번 스트립 영상 부분은 재생할 수 없는 문제가 발생한다.

도 10에서 클라이언트A가 시간 t에 4, 5, 6, 7, 8에 해당하는 P-스트립 영상을 전송받고 시간 t+1까지 시점이동없이 계속해서 4, 5, 6, 7, 8의 P-스트립 영상을 전송받고 있다.

이때 t+1 시간에 접속한 클라이언트B가 6, 7, 8, 9, 10의 스트립 영상을 요청한다면 현재 전송되고 있는 영상은 모두 P-스트립 영상이므로, 도 10과 같이 새롭게 접속한 클라이언트B가 요청하는 6, 7, 8, 9, 10 스트립 영상을 참조할 스트립 영상이 존재하지 않는다.

그러므로, 클라이언트B는 서버(10)에서 6, 7, 8, 9, 10번의 I-스트립 영상이 도착할 때까지 기다려야 한다.

두번째 문제로서, 기존 MPEG-II를 이용하여 영상을 압축할 때 클라이언트가 시점이동 요청할 때와 새로운 클라이언트가 접속 했을 경우 요청하는 스트립 영상의 I-스트립 영상이 전송될 때까지 기다려야 하는 문제가 있다.

이를 해결하는 방법으로 시점이동이나 새로운 클라이언트가 접속할 때 새롭게 입력으로 들어오는 영상을 I-스트립으로 압축하여 모든 클라이언트에게 I-스트립 영상을 전송하는 방법이 있으나, P-스트립 영상을 전송할 수 있는 클라이언트까지 I-스트립으로 압축된 데이터를 전송하게 된다.

이러한 문제를 클라이언트가 요청하는 스트립 중 이전에 전송되고 있는 스트립 영상과 중복되는 스트립 영상은 이전 스트립 영상을 참조하여 P-스트립 영상으로 압축하여 전송하고, 새롭게 요청하는 스트립 영상만 그 시간에 카메라(1a) (1b)(1c)를 통해 입력되는 영상을 I-스트립 영상으로 압축하여 전송한다.

이를 본 시스템에서는 "적응성 스트립 압축(Adaptive Strip Compression)" 이라고 정의한다.

도 11은 시간 t에 클라이언트가 P-스트립으로 압축된 4, 5, 6, 7, 8 스트립 영상을 재생하고 있다.

시간 t+1에 클라이언트는 시점이동을 요청하여 6, 7, 8, 9, 10 스트립 영상을 서버(10)로부터 요청한다.

상기 서버(10)내의 영상압축부(13)는 t시간에 재생되고 있는 6, 7, 8 스트립 영상은 t시간 스트립 영상을 참조하여 P-스트립 영상으로 압축하여 전송하고, 참조할 영상이 없는 9, 10 스트립은 그 시간에 카메라(1a)(1b)(1c)를 통해 입력되는 파노라마 영상 중 새롭게 요청하는 스트립 영상만을 I-스트립 영상으로 압축하여 전송한다.

즉, 클라이언트가 시점이동을 할 때 서버(10)내의 영상압축부(13)는 이를 즉 각적으로 인식하여 시간 t+1에 카메라(1a)(1b)(1c)로 입력된 9, 10 스트립 영상만을 I-스트립 영상으로 압축하여 전송한다.

도 12는 클라이언트A가 시간 t에 4, 5, 6, 7, 8의 P-스트립 영상을 전송받고 있으며, 시간 t+1에도 같은 시각영역의 P-스트립 영상 4, 5, 6, 7, 8을 전송 받고 있다.

이때, 시간 t+1에 스트립 영상 6, 7, 8, 9, 10을 요구하는 새로운 클라이언트B가 접속한다면, 서버(10)내의 영상압축부(13)는 클라이언트A가 요구하는 4, 5, 6, 7, 8 스트립 영상은 이전 4, 5, 6, 7, 8 스트립 영상을 참조하여 P-스트립으로 압축하여 전송한다.

그리고, 클라이언트B가 요청하는 스트립 영상을 이 시간에 카메라(1a)(1b) (1c)를 통해 입력으로 들어오는 영상 중 6, 7, 8, 9, 10에 해당되는 스트립 영상만을 I-스트립으로 압축하여 클라이언트B에 전송한다.

결과적으로 이전부터 재생하고 있는 영상과 동일한 부분의 스트립 영상은 P-스트립으로 압축 전송하고, 새롭게 요청하는 부분은 그 시간에 카메라(1a)(1b)(1c)를 통해 입력된 영상을 스트립으로 잘라 클라이언트가 필요로 하는 부분만을 I-스트립 영상으로 압축하여 클라이언트에게 전송한다.

즉, 클라이언트의 요청에 따라 스트립 영상의 상태를 결정하여 I-스트립 또는 P-스트립으로 압축 전송함으로써 클라이언트의 시점이동시 발생하는 문제와 새로운 클라이언트가 접속 하였을 때 발생되는 문제를 해결할 수 있는 것이다.

또한, 좌우방향 시점이동을 할 때 끊어짐이 없기 위해 클라이언트가 요청하는 시각영역보다 도 13과 같이 각각 좌우 방향으로 1개의 스트립 영상을 하나씩 더 포함시켜 전송함으로써 시점이동을 더욱 자연스럽게 할 수 있는 것이다.

이상에서 설명한 바와같이 본 발명은 클라이언트에게 넓은 시각영역을 제공하기 위한 파노라마 영상을 스트립이라는 영상 단위로 잘라 스트립 영상단위로 압축한 후 이를 전송하는 효율적인 스트리밍 시스템을 구성함으로써, 서버는 파노라마 영상 전체를 압축하여 클라이언트에게 전송하는 것이 아니라 카메라를 통해 입력으로 들어오는 파노라마 영상에서 일정 크기의 시각영역만큼을 압축하여 클라이언트에게 전송함은 물론, 제공되는 영역에서 시점이동을 가능하게 함으로써 다중 클라이언트에게 자신이 보고자 하는 영역으로 자유롭게 접근이 가능하도록 하는 효과를 제공한다.

또한 본 발명은 클라이언트의 요구에 따라 스트립 영상을 I-스트립 또는 P-스트립으로 적절하게 압축하는 적응성 스트립 압축기법을 구성함으로써, 클라이언트가 자신이 원하는 부분의 영상을 서버로부터 전송받다가 새로운 영역의 영상을 보기를 원한다면 시각 영역이 바뀌었다는 정보를 서버에 전송하고, 또 새로운 클라이언트가 접속할 때 접속 정보를 서버에 알리도록 하여 각 스트립 영상을 MPEG으로 압축할 경우 클라이언트가 시점이동을 요청할 경우와 새로운 클라이언트가 접속했을 때 스트립 영상의 일부를 재생할 수 없는 문제가 발생하는 종래의 문제점 개선하면서 서버의 압축부담을 감소시켜 가상현실에서의 원격회의, 사용자의 시점 상호작용이 가능한 멀티미디어 스트리밍 서비스, 사이버 관광시스템(Cyber Tour System), 특정상품 홍보 등에 그 적용이 가능하도록 한 효과를 제공한다.

본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와같은 변경은 청구범위 기재의 범위내에 있게 된다.

Claims (10)

1. 카메라에 의해 촬영된 영상을 정합한 후 파노라마 영상을 생성하는 단계;

   상기 생성된 파노라마 영상 중 클라이언트가 특정영역의 파노라마 영상만을 요청시 파노라마 영상을 세로방향의 스트립 구조 단위로 자른 후 클라이언트가 재생 요청한 스트립 영상만을 압축하여 전송하는 단계;

   상기 클라이언트가 자신이 원하는 부분의 스트립 영상을 전송받다가 새로운 영역의 영상 보기를 원할 경우 시각 영역이 전환되었다는 정보를 서버로 전송하는 단계; 및,

   상기 단계로부터 클라이언트가 요청하는 시각영역의 영상에 대해, 접속 초기에 입력된 스트립 영상을 I-스트립으로 압축하고, 다음 시간에 입력으로 들어온 스트립 영상은 이전 시간의 I-스트립으로 압축된 스트립 영상을 참조하여 P-스트립으로 압축한 후, 이를 전송하는 단계; 로 진행함을 특징으로 하는 파노라마 영상의 스트리밍 방법.
2. 제 1 항에 있어서,

   클라이언트가 시각영역에서 t시간에 시점 이동할 경우 새롭게 요청한 스트립 영상은 I-스트립으로 압축하여 전송하고, 이전 시간에 재생하고 있던 시각영역은 이전 시간의 스트립 영상을 참조하여 P-스트립으로 압축하여 전송함을 특징으로 하는 파노라마 영상의 스트리밍 방법.
3. 제 1 항에 있어서,

   클라이언트가 시각영역에서 t+1시간에 시점이동이 없다면 스트립 영상은 이전 시간의 P-스트립 영상을 참조하여 P-스트립으로 압축하여 전송함을 특징으로 하는 파노라마 영상의 스트리밍 방법.
4. 제 1 항에 있어서,

   다중 클라이언트가 서버에 접속된 상태에서 동시에 시점 이동을 요청 했을 경우 이전에 요청했던 스트립 영상과 겹쳐지는 부분은 P-스트립으로 압축하여 전송함을 특징으로 하는 파노라마 영상의 스트리밍 방법.
5. 제 1 항에 있어서,

   클라이언트의 요청시 이전부터 재생하고 있는 스트립 영상과 동일한 부분의 스트립 영상은 P-스트립으로 압축 전송하고, 새롭게 요청하는 부분은 그 시간에 카메라를 통해 입력되는 영상을 스트립 단위로 잘라 클라이언트가 필요로 하는 부분만을 I-스트립으로 압축하여 전송함을 특징으로 하는 파노라마 영상의 스트리밍 방법.
6. 제 1 항에 있어서,

   다중 클라이언트 중 어느 한 클라이언트가 시각영역에서 좌우방향으로 시점이동을 할 경우 끊어짐없이 클라이언트가 요청하는 시각영역보다 각각 좌우방향 1개의 스트립 영상을 더 포함시켜 전송함을 특징으로 하는 파노라마 영상의 스트리밍 방법.
7. 제 1 항에 있어서,

   상기 I-스트립의 영상 압축은, 입력된 파노라마 영상을 DCT와 양자화 과정을 거치고 양자화된 DCT계수를 가변 길이 부호화와 허프만 부호화 과정을 거쳐 이루어짐을 특징으로 하는 파노라마 영상의 스트리밍 방법.
8. 제 1 항에 있어서,

   상기 P-스트립의 영상 압축은, 다음 시간에 입력된 파노라마 영상을 이전 시간의 스트립 영상을 참조하여 시간의 흐름에 따라 이루어짐을 특징으로 하는 파노라마 영상의 스트리밍 방법.
9. 삭제
10. 삭제

Images