KR101690153B1 - Http 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템 - Google Patents

Abstract

본 발명은 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템에 관한 것으로서, 획득된 영상 패킷을 GOP 단위의 TS 포맷으로 멀티플렉싱하고, 멀티플렉싱된 영상을 소켓을 통해 클라이언트로 전송함으로써, 연속적인 패킷 데이터 생성을 통해 영상의 중단이 발생하지 않고, 세그먼트 파일의 추가 저장소 자원이 필요치 않으며, 종단전달 지연 시간을 단축하고, 메모리를 최소로 사용할 수 있는 시스템을 제공함에 목적이 있다.
이러한 목적을 달성하기 위한 본 발명은, 스트리밍 제공부를 통해 클라이언트 디바이스로부터 수신된 미디어 데이터 요청신호에 따라, 상기 네트워크 카메라로부터 획득된 영상 패킷을 GOP(Group Of Picture) 단위로 멀티플렉싱하는 미디어 컨버터; 및 웹 서버로서, CGI(Common Gateway Interface)를 통해 상기 클라이언트 디바이스로부터 미디어 데이터 요청신호를 수신하며, 상기 미디어 컨버터를 통해 멀티플렉싱된 GOP 단위의 TS 영상 패킷을 소켓을 이용하여 상기 클라이언트 디바이스로 미디어 데이터를 실시간 전송하는 스트리밍 제공부; 를 포함한다.

Description

HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템{LIVE STREAMING SYSTEM USING HTTP-BASED NON-BUFFERING VIDEO TRANSMISSION METHOD}

본 발명은 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템에 관한 것으로서, 더욱 상세하게는 H.264 코덱의 Elementary stream(ES)를 지원하는 임베디드 네트워크 카메라를 기반으로 네트워크 카메라의 내부에 스트리밍 시스템을 구축하여 실시간 무버퍼링 영상전송이 가능한 시스템에 관한 것이다.

IP 네트워크를 이용한 영상 감시 및 관리와 관련해서는, 한국공개특허 제10-2010-0038560호(이하, '선행문헌') 외에 다수 등록 및 공개되어 있다.

상기한 선행문헌에는, 네트워크망을 통해 수신되는 영상을 인코딩하고, 스트리밍하는 구성이 개시되어 있다. 상기한 선행문헌과 같이, 감시 보안 등의 목적으로 공공장소에 많은 아날로그/디지털 방식의 CCTV가 설치되어 운영되고 있다. 이에 비하여 최근에는 IP 카메라를 이용한 비디오 보안 감시 시스템이 저가의 시스템으로 일반화되고 있다.

최근 방송시스템과 영상 감시시스템과 같은 실시간 미디어 스트리밍을 기술은 필수적인 기술이 되고 있다. 그런데 상태를 가지고 특별한 소프트웨어를 필요로 하는 상태기반(stateful) 프로토콜을 적용하는 대신 인터넷 오픈 표준 프로토콜인 HTTP 기반의 스트리밍 방법이 연구되고 있다.

HTTP 기반의 스트리밍 프로토콜의 비디오 및 오디오 소스는 클라이언트에서 재생 가능한 미디어 형식으로 엔코딩 되어서 일정한 재생시간을 갖는 미디어파일로 분할되어 클라이언트에 제공됨으로써 영상을 전송하는 방법을 사용한다.

클라이언트는 순차적으로 분할된 미디어 파일을 요청하고 HTTP 프로토콜의 순차적(progressive) 다운로드 기법을 통해 미디어파일을 전송받는다. 분할된 미디어파일들은 재생목록을 통해 순차적으로 재생된다. 재생되는 미디어는 연속적인 데이터를 가지며, 전체 미디어는 연속적으로 재생된다. HTTP 기반의 스트리밍 방법은 분할된 파일을 이용하여 연속적인 재생이 가능하지만 최초의 분할된 미디어 파일의 생성 시간과 분할된 미디어 파일의 재생시간에 따라 실제 영상에서 클라이언트에 재생되기까지의 종단전달(end-to-end) 지연이 발생하는 단점이 있다.

즉, 미디어 파일이 10초의 분할 파일이면 최소한 10초 이상의 지연이 발생하게 된다. 종단전달 지연을 줄이기 위해 분할된 미디어 파일의 재생시간을 짧게 할 경우 클라이언트 측에 연산부하가 발생하여 지연이 발생할 수 있다.

본 발명은 클라이언트가 사용하는 기기와의 호환성 문제없이 HTTP상에서 실시간 스트리밍을 달성하기 위해 MPEG transport stream(MPEG-TS) 파일 전송에 초점을 맞춘다. MPEG-2 TS는 Multiplexed TS packets으로 비디오와 오디오의 패킷화된 ES(Elementary Stream)들을 전송하기 위한 데이터 포맷이다.

HTTP를 통해 TS파일의 전송을 지원하는 스트리밍 솔루션은 두 가지로 Dynamic adaptive streaming over HTTP(MPEG-DASH)와 HTTP live streaming(HLS)이 있다.

HLS 서버를 구현하는 과정에서 애플(APPLE Inc.)은 멀티미디어의 각 분할된 미디어파일의 재생시간으로 10초와 최소 3개의 분할된 미디어 파일을 유지하기를 권장하고 있다. 10초의 재생시간을 갖는 3개의 분할된 미디어 파일을 이용하여 HLS를 구현할 경우, 클라이언트는 최소 30초의 종단전달(end-to-end) 지연 시간을 갖게 된다.

이를 해결하기 위하여, 짧은 재생시간을 갖는 미디어 파일을 사용하여 스트리밍 서비스를 제공할 수 있지만, 이러한 방법은 불필요한 네트워크 오버 헤드를 생성하며, CCTV 카메라에서 영상을 생성하기 위하여 많은 연산을 수행하여야 하는 문제점이 있다.

한편, HLS를 기반으로 실시간 스트리밍을 구현하기 위해, 클라우드 컴퓨팅을 기반으로 실시간 미디어 스트리밍을 전송하는 방법이 제안되었다. 이 방법은 HLS의 서버구조를 변경하지 않고 실시간 스트리밍을 제공할 수 있으나, HLS의 특성에 의해 발생하는 종달전달(end-to-end) 지연에 대해서는 연구되지 않았다.

도 1 은 기존의 방법에서 네트워크 카메라에 구현된 HLS 시스템구조를 나타낸다. HTTP를 기반으로 한 HLS를 지원하기 위하여 웹서버가 필요하며 일 예로 GoAhead 웹 서버는 네트워크 카메라 내부에 구축되어 카메라로부터 미디어를 획득 HTTP를 통해 사용자에게 제공한다. 기존의 웹 서버는 APPLE 사의 권장사항을 준수하여 구현할 수 있다. 서버는 표준에서 제안된 바와 같이 3개의 분할된 미디어 파일에 대한 Uniform resource locators (URLs)을 재생목록파일인 m3u8파일에 기재하여야 한다. 재생목록에 기재되는 URL의 예시는 다음과 같다.

http://example.com/test/segmented_video0.ts

APPLE 사의 권장사항을 준수하여 스트리밍 시스템을 구성할 경우, 서버는 반드시 분할된 미디어파일들을 클라이언트 요청이 있기 이전에 미리 생성해두어야 한다. 이는 스트리밍 서버에서 분할된 미디어 파일들을 보관할 수 있는 저장소를 필요로 하는 것을 의미하며, 실시간 미디어 스트리밍을 제공하기 위한 서버는 지속적으로 새로운 분할된 미디어 파일을 생성해 주어야 한다. 긴 재생시간을 갖는 미디어 파일을 생성하는 경우 재생시간 이상의 시간 동안 클라이언트는 미디어를 재생할 수 없다. 이 때문에 서버와 클라이언트 간의 종단전달(end-to-end) 지연이 발생한다.

한국공개특허 제10-2010-0038560호.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 획득된 영상 패킷을 GOP 단위의 TS 포맷으로 멀티플렉싱하고, 멀티플렉싱된 영상을 소켓을 통해 클라이언트로 전송함으로써, 연속적인 패킷 데이터 생성을 통해 영상의 중단이 발생하지 않고, 세그먼트 파일의 추가 저장소 자원이 필요치 않으며, 종단전달 지연 시간을 단축하고, 메모리를 최소로 사용할 수 있는 시스템을 제공함에 목적이 있다.

이러한 기술적 과제를 달성하기 위한 본 발명은 네트워크 카메라의 내부에 내장된 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템에 관한 것으로서, 스트리밍 제공부를 통해 클라이언트 디바이스로부터 수신된 미디어 데이터 요청신호에 따라, 상기 네트워크 카메라로부터 획득된 영상 패킷을 GOP(Group Of Picture) 단위로 멀티플렉싱하는 미디어 컨버터; 및 웹 서버로서, CGI(Common Gateway Interface)를 통해 상기 클라이언트 디바이스로부터 미디어 데이터 요청신호를 수신하며, 상기 미디어 컨버터를 통해 멀티플렉싱된 GOP 단위의 TS 영상 패킷을 소켓을 이용하여 상기 클라이언트 디바이스로 미디어 데이터를 실시간 전송하는 스트리밍 제공부; 를 포함한다.

또한 상기 미디어 컨버터는, 상기 네트워크 카메라로부터 획득된 ES 영상 패킷을 GOP 단위의 TS 영상 패킷으로 멀티플렉싱하는 멀티플렉싱모듈; 및 상기 멀티플렉싱모듈이 ES 영상 패킷을 TS 영상 패킷으로 멀티플렉싱하는 동안, 획득된 ES 영상 패킷을 저장하는 저장모듈; 을 포함하는 것을 특징으로 한다.

또한 상기 멀티플렉싱모듈은, CGI(Common Gateway Interface)를 통해 상기 클라이언트 디바이스로부터 수신된 미디어 데이터 요청신호를 바탕으로 활성화되는 것을 특징으로 한다.

그리고 상기 저장모듈은, 원형 큐 구조의 버퍼인 것을 특징으로 한다.

상기와 같은 본 발명에 따르면, 종단전달(end-to-end) 지연시간을 줄일 수 있으며, 임베디드 시스템에서 필수적으로 고려하여야 하는 자원 관리 측면에서도 메모리를 최소화 할 수 있는 효과가 있다.

도 1 은 네트워크 카메라의 내부에 내장된 기존 HLS 시스템을 보이는 일예시도.
도 2 는 본 발명에 따른 네트워크 카메라의 내부에 내장된 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템을 개념적으로 도시한 전체 구성도.
도 3 은 본 발명에 따른 GOP 단위의 멀티플렉싱 의사코드를 보이는 일예시도.
도 4 는 파일 기반의 스트림 데이터 트래픽과, 본 발명에 따른 패킷 기반의 스트림 데이터 트래픽을 비교한 그래프.
도 5 는 본 발명에 따른 실제 재생 실험을 보인 일예시도.

본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.

본 발명에 따른 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템에 관하여 도 2 내지 도 5 를 참조하여 설명하면 다음과 같다.

도 2 는 본 발명에 따른 네트워크 카메라의 내부에 내장된 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 미디어 컨버터(100) 및 스트리밍 제공부(200)를 포함하여 이루어진다.

미디어 컨버터(100)는 스트리밍 제공부(200)를 통해 클라이언트 디바이스(10)로부터 수신된 미디어 데이터 요청신호에 따라, 네트워크 카메라로부터 획득된 영상 패킷을 GOP 단위로 멀티플렉싱하는 기능을 수행하는 바, 도 2 에 도시된 바와 같이 멀티플렉싱모듈(110) 및 저장모듈(120)을 포함한다.

구체적으로, 멀티플렉싱모듈(110)은 네트워크 카메라로부터 획득된 ES 영상 패킷을 GOP(Group Of Picture) 단위의 TS 영상 패킷으로 멀티플렉싱하고, 영상 표시를 위한 표현 시간표(PTS)를 지정한다.

이때, 멀티플렉싱모듈(110)은 CGI(Common Gateway Interface)를 통해 클라이언트 디바이스(10)로부터 수신된 미디어 데이터 요청신호를 바탕으로 활성화되며, 미디어 데이터 요청신호는 로 표현될 수 있다.

여기서, 영상 표시를 위한 표현 시간표(Presentation Time Stamp: PTS)는 멀티플렉싱된 TS 영상 패킷의 헤더에 있으며, 0초부터 시작한다. 이러한, 표현 시간표(PTS)는 TS 영상 패킷이 재생되어야 할 시간정보를 나타낸다

저장모듈(120)은 멀티플렉싱모듈(110)이 ES 영상 패킷을 TS 영상 패킷으로 멀티플렉싱하는 동안, 획득된 ES 영상 패킷을 저장한다.

이때, 저장모듈(120)은 원형 큐 구조의 버퍼로서, 이는 ES 영상 패킷의 TS 영상 패킷으로 변환 과정 중에도 ES 패킷을 지속적으로 획득할 수 있으,며 영상 중단을 방지할 수 있다.

스트리밍 제공부(200)는 웹 서버로서, CGI(Common Gateway Interface)를 통해 클라이언트 디바이스(10)로부터 미디어 데이터 요청신호를 수신하며, 미디어 컨버터(100)를 통해 멀티플렉싱된 GOP(Group Of Picture) 단위의 TS 영상 패킷을 소켓(210)을 이용하여 클라이언트 디바이스(10)로 미디어 데이터를 실시간 전송한다.

앞서 상술한 바와 같이, 스트리밍 제공부(200)는 클라이언트 디바이스(10)로부터 수신된 미디어 데이터 요청신호를 바탕으로 CGI(Common Gateway Interface)를 통해 미디어 컨버터(100)의 멀티플렉싱을 활성화 시킨다.

한편, 본 발명에 따른 멀티플렉싱 모듈(110)은 오픈소스 미디어 변환기 라이브러리인 FFmpeg을 기반으로 구현하였다.

도 3 은 GOP 단위의 멀티플렉싱 의사코드를 나타낸다.

멀티플렉싱 모듈(110)은 ES 포맷을 받아드릴 데이터 구조를 생성하고, 이로부터 필요한 영상 정보를 획득한다. 그리고, TS 포맷을 위한 데이터 구조를 생성한 후, 영상 표시를 위한 표현 시간표(PTS)를 지정한다.

이후, 패킷 단위로 원형 큐 버퍼를 이용하여 지속적인 멀티프렉싱이 이루어진다. 그리고, GOP 단위로 멀티플렉싱된 영상은 소켓 통신을 통하여 웹 서버인 스트리밍 제공부(200)로 전송되며, 클라이언트 디바이스(10)에 전송되어 실시간 영상 전송이 이루어진다. 이상적으로는 영상의 프레임 수에 따른 GOP 단위에 따른 시간을 기본으로 하여 변환된 GOP 단위의 TS 영상 패킷 데이터는 네트워크 소켓을 통해 직접 클라이언트 디바이스(10)에 전송된다.

이하에서는, 네트워크 카메라에 내장된 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템(S)에 대한 실험 결과에 관하여 설명하도록 한다.

스트리밍 시스템은 클라이언트 디바이스와 HTTP 기반의 상호작용(interaction)을 지원하며, 네트워크 카메라로부터 제공되는 이미지를 256Kbps의 CBR, 해상도 320x176, 초당 30.0 프레임의 프레임 레이트를 갖도록 설정하였다.

스트리밍 시스템은 900프레임으로 구성된 30초 지속 시간의 TS 파일을 제공하였으며, 스트리밍 시스템과 클라이언트 디바이스 사이의 데이터 트래픽을 측정하였다.

도 4 에 도시된 바와 같이, 패킷 기반 스트림의 약 1219.9kB 데이터와, 파일 기반의 약 1256.1kB 데이터를 30초 동안의 전송한 실험 결과를 나타낸다.

전송되는 데이터의 크기가 비슷했지만, 파일 기반 TS 스트림 제공 시, 스트리밍 시스템은 클라이언트 디바이스의 요청에 따라 세그먼트 파일의 필요한 수를 생성할 필요가 있기 때문에, 초기 지연이 일어났다.

반면, 본 발명에 따른 패킷 기반의 스트리밍 시스템(S)을 이용한 방법은 초기 지연이 대략 1초로 감소하였으며, 전송된 패킷 사이의 시간 간격은 GOP 단위(즉, 15프레임)로 약 0.5초로 변환됨을 확인되었다.

도 5 는 실제 재생 실험을 보여주고 있다.

도 5 의 (a) 는 실제 영상과 같은 시간을 나타낸다. 즉, 도 5 의 (a) 에 나타낸 시간을 네트워크 카메라를 이용하여 두 가지 방법으로 클라이언트 디바이스에 재생되는 화면을 보이고 있다.

먼저, 본 발명에 따른 패킷 기반의 스트리밍 시스템(S)의 클라이언트 디바이스는 안드로이드 4.4.4(SM-G850) 플랫폼에서 수행하였다. 안드로이드 기기에서의 재생 실험은 추가 미디어 플레이어를 통해 수행된다. J2 인터랙티브가 개발 MX Player를 네트워크 스트리밍 플레이어(도 5 의 (c))로 사용하였다.

결과는 현재 시간이 26에서 27초로의 전환과정에서의 영상 전송을 나타낸다.

도 5 의 (b) 는 별도의 플러그인 이용하여 사용하는 실시간 영상 전송 프로토콜인 RTSP 기반의 영상 전송 결과이다. RTSP 기반의 생방송 시청자는 화면에 나타낸 바와 같이 26초를 나타내고 있으며, 실제 영상에 비하여 약 1초의 지연을 나타내고 있다.

그러나, 본 발명에 따른 패킷 기반의 스트리밍 시스템(S)을 이용한 방법은 약 25초를 나타내고 있으며, 약 2초의 종단간 대기 시간을 나타내고 있다.

이와 같은 결과는 별도의 플러그인 프로그램이 없이 이용하는 HTTP 기반의 프로토콜 실시간 영상 전송기법에서는 최소의 대기 시간이다.

이와 같은 결과를 HLS를 이용하는 경우는 약 30초 이상의 지연이 나타나게 된다. 따라서, RTSP 기반 실시간 스트리밍은 빠른 응답 시간을 제공하지만, 이 프로토콜의 광범위한 사용은 현재의 방화벽과의 호환성 문제가 있으며 별도의 프로토콜을 설치하여야 한다는 문제를 가지고 있다.

따라서, 파일 기반의 스트리밍 방법을 사용하는 HLS 솔루션과 비교하여, 제안된 본 발명에 따른 패킷 기반의 스트리밍 시스템(S)을 이용한 방법은 대폭 종단 간 지연 시간을 대폭 줄일 수 있었다.

결과적으로, 본 발명은 HTTP를 통해 실시간 영상 전송 방법에 있어서 실시간 전송 시스템의 개선된 구조를 제안하고 있다.

기존 파일 기반 스트리밍 시스템과 비교할 때, 제안된 설계는 세그먼트 파일의 추가 저장소의 자원을 필요로 하지 않는다. 또한, 연속적인 패킷 데이터를 생성하고, GOP 단위에 기초하여 구현된 ES 기반의 미디어 컨버터를 멀티플렉싱한다.

따라서, 파일 단위의 지연 시간을 GOP 단위의 패킷 단위로 지연을 대폭 감소하였다. 또한, 이 패킷 기반 접근법은 HLS 뿐만 아니라 MPEG-DASH 같은 기존 HTTP 기반 미디어 통신 솔루션에 모두 사용이 가능한 멀티플렉싱의 기술에 관한 것으로 사용 범위 및 효과가 매우 크다.

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

100: 미디어 컨버터 200: 스트리밍 제공부
110: 멀티플렉싱모듈 120: 저장모듈
210: 소켓 10: 클라이언트 디바이스

Claims (4)

1. 네트워크 카메라의 내부에 내장된 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템에 있어서,
   스트리밍 제공부를 통해 클라이언트 디바이스로부터 수신된 미디어 데이터 요청신호에 따라, 상기 네트워크 카메라로부터 획득된 영상 패킷을 GOP(Group Of Picture) 단위로 멀티플렉싱하고, 영상표시를 위한 표현 시간표(PTS)를 지정하는 미디어 컨버터; 및
   웹 서버로서, CGI(Common Gateway Interface)를 통해 상기 클라이언트 디바이스로부터 미디어 데이터 요청신호를 수신하며, 상기 미디어 컨버터를 통해 GOP 단위에 따른 시간(PTS)을 기본으로 하여 변환된 GOP 단위의 TS 영상 패킷 데이터를 네트워크 소켓을 통해 상기 클라이언트 디바이스로 실시간 전송하는 스트리밍 제공부; 를 포함하는 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템.
   
2. 제 1 항에 있어서,
   상기 미디어 컨버터는,
   상기 네트워크 카메라로부터 획득된 ES 영상 패킷을 GOP 단위의 TS 영상 패킷으로 멀티플렉싱하는 멀티플렉싱모듈; 및
   상기 멀티플렉싱모듈이 ES 영상 패킷을 TS 영상 패킷으로 멀티플렉싱하는 동안, 획득된 ES 영상 패킷을 저장하는 저장모듈; 을 포함하는 것을 특징으로 하는 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템.
   
3. 제 2 항에 있어서,
   상기 멀티플렉싱모듈은,
   CGI(Common Gateway Interface)를 통해 상기 클라이언트 디바이스로부터 수신된 미디어 데이터 요청신호를 바탕으로 활성화되는 것을 특징으로 하는 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템.
   
4. 제 2 항에 있어서,
   상기 저장모듈은,
   원형 큐 구조의 버퍼인 것을 특징으로 하는 HTTP 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템.
   

Images