KR20130122117A - 실시간 동영상 전송 방법 및 장치 - Google Patents

Abstract

네트워크의 전송환경에 따라 동영상 데이터를 전송하는 실시간 동영상 전송 방법 및 장치가 개시된다. 실시간 동영상 전송 방법에 의하면, 동영상이 촬영됨에 따라, 핑 메시지를 전송한다. 이어, 억세스포인트 및 게이트웨이를 포함하는 네트워크 전송환경을 체크하기 위해, 수집된 핑메시지를 근거로 라운드 트립 타임을 연산한다. 이어, 라운드 트립 타임을 근거로 동영상의 비트레이트 조정을 위한 비트계수, 동영상의 프레임레이트 조정을 위한 프레임계수 및 동영상의 B-프레임의 전송 빈도 조정을 위한 빈도계수를 생성한다. 이어, 비트계수를 촬영된 동영상의 비트레이트에 승산하여 전송 비트레이트를 설정한다. 이어, 프레임계수를 촬영된 동영상의 프레임레이트에 승산하여 전송 프레임레이트를 설정한다. 이어, 빈도계수를 근거로 B-프레임 전송 빈도를 설정한다. 이어, 전송 비트레이트 및 전송 프레임레이트를 근거로 동영상의 I-프레임, P-프레임 및 B-프레임을 네트워크 전송한다. 여기서, B-프레임은 설정된 빈도로 네트워크 전송된다.

Description

실시간 동영상 전송 방법 및 장치{METHOD AND APPARATUS FOR TRANSMITTING A MOVING IMAGE IN A REAL TIME}

본 발명은 실시간 동영상 전송 방법 및 장치에 관한 것으로, 보다 상세하게는 네트워크의 전송환경에 따라 동영상 데이터를 전송하는 실시간 동영상 전송 방법 및 장치에 관한 것이다.

일반적으로, 방송사나 동영상 생중계가 필요한 곳에서는 마이크로웨이브 지상국을 이용한 전자적 뉴스 취재(Electronic News Gathering; ENG) 장비나 이것이 불가능한 지역은 위성 뉴스 취재(Satellite News Gathering; SNG) 장비를 이용하여 위성으로 동영상을 생중계를 하고 있다. 하지만 이들 장비들을 사용할 경우에는 비용이 증가하며, 크기가 커져 이동에 불편을 가져오며, 전력 소모가 커지는 등의 문제점이 있다. 또한, 마이크로웨이브 지상국이 확보되지 않거나 위성과 교신이 되지 않는 지역에서는 동영상의 생중계가 불가능하다. 나아가 이동 중인 사물을 동영상으로 생중계하는 데는 더욱 어려움이 발생한다. 이에, 이동 통신을 이용한 동영상을 송수신하는 방법에 관한 연구가 진행되었다.

최근에는 이동 통신 분야의 급격한 기술 발전으로, 휴대폰을 이용한 동영상, 멀티미디어 전송 등 차세대 무선 멀티미디어 서비스를 제공하게 되었다. 특히, 기존의 시디엠에이(Code Division Multiple Access; CDMA) X1 의 한계를 극복한 고속하향패킷접속(High Speed Donloading Packet Access; HSDPA)망이나 와이브로망 (이하 무선광대역망이라 함)을 이용하여 현장의 영상을 무선 통신으로 생중계하는 동영상 송수신 장치의 필요성이 대두되고 있다. 여기서, 무선광대역망이란 이동 통신에서 웹 브라우징 등 인터넷 접속이 늘어남에 따라 기존의 CDMA-2000 1X로는 고속의 하향 링크 패킷 데이터 전송에 제약이 있기 때문에 이를 보완하기 위하여 전용의 고속 하향 링크 규격을 정의하여 고속, 고용량의 데이터 전송에 최적화된 무선 접속 기술 표준을 말한다.

무선광대역망의 하향(downlink)속도는 최고 2Mbps가 보장되어 동영상을 보거나, 인터넷 웹 검색등을 하는데 어려움이 발생하지 않는다. 그러나, 무선광대역망의 상향(uplink)속도는 230Kbps 이상의 속도를 확보하기 어려워, 표준품질(SD, Standard Definition)의 영상의 실시간 전송이 불가능하며, 저화질이라도 동영상이 끊기거나 중단되는 등의 문제점이 발생한다. 따라서, 동영상의 품질이 저하되어 TV등의 중계방송매체에 적용되지 못한다.

특히, 무선광대역망 서비스를 제공하는 네트워크의 전송환경은 접속자 수의 증가, 네트워크의 물리적인 장애, 서버의 장애 등 여러가지 원인으로 변화할 수 있다. 이러한 네트워크 전송환경에 변화에 따라 동영상을 끊기거나 중단하지 않고 실시간으로 서버단에 제공하는 방법에 대한 고려가 요구된다.

이에 본 발명의 기술적 과제는 이러한 점에 착안한 것으로, 본 발명의 목적은 네트워크의 전송환경에 따라 동영상을 끊기거나 중단하지 않고 실시간으로 서버단에 전송하는 실시간 동영상 전송 방법을 제공하는 것이다.

본 발명의 다른 목적은 상기한 실시간 동영상 전송 방법을 수행하기 위한 장치를 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위하여 일실시예에 따른 실시간 동영상 전송 방법에 의하면, 동영상이 촬영됨에 따라, 촬영된 동영상을 동영상 서버에 전송하기 위해 핑 메시지를 전송한다. 이어, 억세스포인트 및 게이트웨이를 포함하는 네트워크 전송환경을 체크하기 위해, 수집된 핑메시지를 근거로 라운드 트립 타임을 연산한다. 이어, 상기 라운드 트립 타임을 근거로 동영상의 비트레이트 조정을 위한 비트계수, 상기 동영상의 프레임레이트 조정을 위한 프레임계수 및 상기 동영상의 B-프레임의 전송 빈도 조정을 위한 빈도계수를 생성한다. 이때, 상기 비트계수 및 상기 프레임계수는 0보다 크고 1보다 작은 소수이고, 상기 빈도계수는 0보다 크거나 같고 1과 같거나 작은 소수이다. 이어, 상기 비트계수를 촬영된 동영상의 비트레이트에 승산하여 전송 비트레이트를 설정한다. 이어, 상기 프레임계수를 촬영된 동영상의 프레임레이트에 승산하여 전송 프레임레이트를 설정한다. 이어, 상기 빈도계수를 근거로 B-프레임 전송 빈도를 설정한다. 이어, 상기 전송 비트레이트 및 상기 전송 프레임레이트를 근거로 상기 동영상의 I-프레임, P-프레임 및 B-프레임을 네트워크 전송한다. 여기서, 상기 B-프레임은 상기 설정된 빈도로 네트워크 전송된다.

일실시예에서, 실시간 동영상 전송 방법은, 상기 동영상 서버로부터 프레임 드롭에 따른 영상 전송 갱신이 요청됨에 따라, 상기 핑 메시지를 전송하는 단계로 피드백하는 단계를 더 포함할 수 있다.

일실시예에서, 상기 라운드 트립 타임을 근거로 네트워크 전송환경이 불량한 것으로 체크되면, 상기 B-프레임은 전송되지 않을 수 있다.

상기한 본 발명의 다른 목적을 실현하기 위하여 일실시예에 따른 실시간 동영상 전송 장치는 영상촬영부, 핑 메시지 전송부, 라운드 트립 타임 연산부, 계수생성부, 전송 영상 조정부 및 영상 프레임 전송부를 포함한다. 상기 영상촬영부는 영상을 촬영한다. 상기 핑 메시지 전송부는 상기 영상촬영부에 의해 동영상이 촬영됨에 따라, 촬영된 동영상을 동영상 서버에 전송하기 위해 핑 메시지를 전송한다. 상기 라운드 트립 타임 연산부는 억세스포인트 및 게이트웨이를 포함하는 네트워크 전송환경을 체크하기 위해 수집된 핑메시지를 근거로 라운드 트립 타임을 연산한다. 상기 계수생성부는 상기 라운드 트립 타임을 근거로 동영상의 비트레이트 조정을 위한 비트계수, 상기 동영상의 프레임레이트 조정을 위한 프레임계수 및 상기 동영상의 B-프레임의 전송 빈도 조정을 위한 빈도계수를 생성한다. 상기 전송 영상 조정부는 상기 비트계수를 촬영된 동영상의 비트레이트에 승산하여 전송 비트레이트를 설정하고, 상기 프레임계수를 촬영된 동영상의 프레임레이트에 승산하여 전송 프레임레이트를 설정하며, 상기 빈도계수를 근거로 B-프레임 전송 빈도를 설정한다. 상기 영상 프레임 전송부는 상기 전송 비트레이트 및 상기 전송 프레임레이트를 근거로 상기 동영상의 I-프레임, P-프레임 및 B-프레임을 네트워크 전송하되, 상기 설정된 빈도로 상기 B-프레임을 네트워크 전송한다.

이러한 실시간 동영상 전송 방법 및 장치에 의하면, 네트워크 전송환경이 원활하지 않다고 체크되면 동영상의 비트레이트 및 프레임레이트를 다운시키고, B-프레임 영상의 전송은 생략하고, I-프레임 및 P-프레임 영상만을 전송하므로써, 네트워크의 전송환경에 따라 동영상을 끊기거나 중단하지 않고 실시간으로 서버단에 전송할 수 있다.

도 1은 본 발명에 따른 동영상 송수신을 설명하기 위한 구성도이다.
도 2는 MPEG의 일반적인 프레임 구조를 설명하기 위한 구성도이다.
도 3은 도 1에 도시된 동영상 촬영장치를 논리적으로 설명하기 위한 블럭도이다.
도 4는 본 발명의 일실시예에 따른 실시간 동영상 전송 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 실시간 동영상 전송 방법을 설명하기 위한 흐름도이다.

이하, 첨부한 도면들을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명에 따른 동영상 송수신을 설명하기 위한 구성도이다.

도 1을 참조하면, 동영상 촬영장치(100)는 촬영된 동영상을 데이터 압축부호화하여 네트워크를 경유하여 동영상 서버(200)에 전송한다. 동영상 서버(200)는 원격지에서 촬영된 동영상을 실시간으로 관측하도록 동영상을 표시장치(300)에 제공할 수도 있다. 동영상 서버(200)는 방송 관리 서버일 수 있다. 상기 발광 관리 서버는 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

본 실시예에서, 동영상 촬영장치(100)는 네트워크 환경에 적응하여 동영상 서버(200)에 동영상을 전송한다.

본 실시예에서, 동영상 촬영장치(100)는 H.264 방식으로 촬영된 동영상을 압축부호화한다. H.264는, ITU-T(국제 전기통신 연합 전기통신 표준화부문)가 정한 H26L 중 압축 알고리즘 H264 권고번호로서, MPEG-4 AVC 라고도 불린다. H.264는 이전 방식에 비해 현저히 큰 압축률을 제공하는 새로운 비디오 압축 표준으로서, H.264 표준은 기존의 MPEG-4보다 두 배정도 더 많은 압축률과, 보다 개선된 인식 품질을 제공한다. 또한, H.264 표준은 1Mbps 이하의 속도에서 DVD 수준의 고품질 비디오를 제공할 수 있으며, 무선이나 위성 및 ADSL 인터넷 접속을 통해 영상을 재생하는 비디오를 제공할 수 있다.

본 실시예에 따르면, 네트워크 전송환경이 양호한 경우에는 정상적인 동영상을 인코딩하여 동영상 서버(200)에 전송한다. 하지만, 네트워크 전송환경이 양호하지 않은 경우에는 전송되는 동영상의 비트레이트(bit rate)를 다운시키고, 동영상의 프레임레이트(frame rate)를 다운시키며, 동영상의 B-프레임은 생략한 채 I-프레임과 P-프레임만을 동영상 서버(200)에 전송한다. 이에 따라, 네트워크 전송환경이 양호하지 않은 상태에서도 동영상의 화질은 양호하지 않지만 동영상의 끊김 현상없이 원활하게 동영상을 동영상 서버(200)에 전송할 수 있다. 특히, 본 발명에 따른 실시간 동영상 전송 장치가 산불화재현장 등에서 사용되는 경우, 원격지에서 화면의 상태는 정교하지 않더라도 화면의 끊김없이 원격지에서 전송되는 영상을 수신하게 되므로 실시간으로 산불의 규모나 진행방향 등을 확인하여 이에 대응하여 조치 등을 취할 수 있다.

상기 비트레이트는 단위시간당 비트전송률이다. 비트레이트는 초당 비트수(bits per second)를 사용하여 계산한다. 수치가 높을수록, 즉, 많은 비트가 전송될수록 표현력이 풍부해져 세세한 부분까지 치밀하게 표현할 수 있어서 그 만큼 화질이 좋아진다.

상기 프레임레이트는 표시장치가 화면 하나의 데이터를 표시하는 속도를 말하며, 프레임 속도 또는 프레임율, 초당 프레임수라고도 한다. 기존의 컬러 텔레비전의 경우 프레임레이트는 NTSC 방식에서는 30fps(frames per second)이고, PAL 방식이나 SECAM 방식에서는 25fps이다. 또한, 일본에서는 애니메이션을 제작할 때 예산을 줄이려고 18fps나 15fps 동영상을 만들기도 한다. 보통 눈의 잔상을 이용해서 표시하기 때문에 1초에 30번 또는 25번 이상이 필요하나, 부드러운 표시를 위해서 1초에 60~120번의 프레임을 표시하기도 한다.

동영상의 복호화 및 부호화를 위한 MPEG 표준에 따르면, 동영상 데이터는 인코딩의 기본 단위인 GOP(Group of Pictures)들의 집합으로 구성된다. GOP는 후술할 I-프레임부터 다음 I-프레임까지의 프레임의 집합을 의미한다. 상기 GOP는 I-프레임(Infra-frame; I-frame), B-프레임(Bidirectional-frame; B-frame) 및 P-프레임(Predicted-frame; P-frame)과 같은 세가지 종류의 프레임의 집합으로 구성된다. 상기 프레임은 동영상을 구성하는 개개의 정지화면을 재생하기 위해 필요한 정보를 담고있는 데이터 단위를 의미한다.

도 2는 MPEG의 일반적인 프레임 구조를 설명하기 위한 구성도이다. 도 2에서, I는 인트라 프레임(Intra-Frame: I-Frame)(이하, I-프레임)이고, P는 예측 프레임(Predictive Frame: P-frame)(이하, P-프레임)이며, B는 양방향 프레임(B-directional-Frame: B-Frame)(이하, B-프레임)이다.

도 2를 참조하면, I-프레임은 정지영상을 압축하는 것과 동일한 방법을 사용하는 것으로 연속되는 화면의 기본을 이루는 화면으로, 일반적으로 JPEG 압축방식과 동일하다. I-프레임은 프레임 내에 모든 영상 데이터를 가지고 있는 독립적인 프레임으로서 비디오 스트림에 있는 다른 화상과 독립적으로 인코딩되고 디코딩된다. 즉, I-프레임은 키 프레임이라고도 부르며, 동영상의 임의의 한 화면을 압축한 정보를 담고있는 데이터를 의미한다. 가장 높은 화질의 동영상 데이터를 가지고 있으며, 일반적으로 가장 높은 크기의 용량을 지니고 있다.

상기 I-프레임을 참조하여 모션 벡터라는 변환값을 가지는 종속적인 프레임인 P-프레임과 B-프레임으로 나누어진다.

상기 P-프레임은 이전에 재생된 영상을 기준으로 기준영상(I-Frame)과의 차이점만을 보충하여 재생하는 화면으로써, 그 다음에 재생될 예측 프레임의 기준이 되기도 한다. P-프레임은 먼저 코딩된 P-프레임 또는 I-프레임, 즉 가장 가까운 과거의 기준 화상에 대해 인코딩 및 디코딩되는 전방 예측 프레임이다. 즉, P-프레임은 해당 프레임 이전에 존재하는 키프레임의 정보를 바탕으로 화면을 구성하는 데이터를 의미한다. I-프레임보다 용량이 작고, 화질이 낮으나, 후술할 B-프레임보다 용량이 크고, 화질이 높다.

상기 B-프레임은 앞 프레임 또는 뒷 프레임 또는 앞과 뒷 프레임 모두를 참조하여 코딩된 프레임을 말한다. I-프레임과 P-프레임 또는 P-프레임과 다음 P-프레임 사이에 들어가는 재생된 영상으로써 두 개의 기준영상을 양방향에서 예측해서 붙여내는 영상이다. 즉, B-프레임은 해당 프레임 이전에 존재하는 키프레임과, 이후에 존재하는 프레임을 바탕으로 화면을 구성하는 데이터를 의미한다. 상기 프레임 중 가장 용량이 작으며, 화질이 가장 낮다.

이를 사용하여 영상을 암호화시키는 방법은 MPEG의 기존 특성을 이용하는 방법으로써, MPEG은 기본적으로 DCT를 이용한 손실압축과 이전영상과의 차이 있는 부분만을 인코딩하는 차영상압축을 기반으로 하고 있다. MPEG 데이터는 일반적으로 I-프레임, B-프레임 및 P-프레임이라고 불리는 3가지 종류로 나뉘게 되는데, 이때 I-프레임만이 온전한 데이터를 가지고 있으며, B-프레임과 P-프레임은 앞 프레임과 뒤 프레임을 참조하여 영상을 복원하는 차영상 복원 기법을 적용한다.

도 3은 도 1에 도시된 동영상 촬영장치를 논리적으로 설명하기 위한 블럭도이다. 특히, 라운드 트립 반응속도에 의한 실시간 동영상 전송 네트워크 대역 설정 장치가 도시된다.

도 1 및 도 3을 참조하면, 동영상 촬영장치(100)는 영상촬영부(110), 핑 메시지 전송부(120), 라운드 트립 타임 연산부(130), 네트워크 연결부(140), 계수생성부(150), 전송 영상 조정부(160), 영상 프레임 전송부(170) 및 전송갱신신호 수신부(180)를 포함한다. 본 실시예에서, 영상촬영부(110), 핑 메시지 전송부(120), 라운드 트립 타임 연산부(130), 네트워크 연결부(140), 계수생성부(150), 전송 영상 조정부(160), 영상 프레임 전송부(170) 및 전송갱신신호 수신부(180)는 논리적으로 구분하였을 뿐 하드웨어적으로 구분한 것은 아니다.

상기 영상촬영부(110)는 영상을 촬영한다.

상기 핑 메시지 전송부(120)는 상기 영상촬영부(110)에 의해 동영상이 촬영됨에 따라, 촬영된 동영상을 상기 동영상 서버(200)에 전송하기 위해 핑(ping) 메시지를 상기 네트워크 연결부(140)를 통해 네트워크에 전송한다.

상기 네트워크는 하나 이상의 유선 또는 무선 통신 시스템을 포함하며, 이러한 통신 시스템은 HSDPA, WiBRO, WIFI 등과 같은 무선네트워크 장치와 인터넷 및 전용선을 포함하는 유선네트워크 장치를 포함할 수 있다. 또한, 통신 시스템은 이더넷, 전화(예를들어, POTS), 케이블, 전력라인, 및 광섬유 시스템, 및/또는 무선 시스템(CDMA, CDMA 2000, FDMA, OFDM TDMA, GSM/GPRS/EDGE, TETRA 이동 전화 시스템, WCDMA, 1xEV-DO 또는 1xEV-DO 골드 멀티캐스트, IEEE 802.11, 미디어플로, DMB, 또는 DVB-H 등)을 포함할 수 있다.

한편, 핑은 초당 하나의 데이터그램을 전송하고 수신되는 각 응답마다 한 행의 출력을 의미한다. 즉, 데이터프로그램을 사용자가 지정한 호스트에 보내고 응답을 기다려 명령에 대한 응답으로 돌려받은 바이트와 순서번호 응답소요시간 등이 출력되면 사용이 가능하고 만약 <no answer from host>가 출력되면 사용불가능한 것을 의미한다.

상기 라운드 트립 타임 연산부(130)는 억세스포인트 및 게이트웨이를 포함하는 네트워크 전송환경을 체크하기 위해 수집된 핑메시지를 근거로 라운드 트립 타임을 연산한다.

상기 네트워크 연결부(140)는 동영상 촬영장치(100)와 네트워크 연결을 위한 인터페이스 역할을 수행한다.

상기 계수생성부(150)는 비트계수 생성부(152), 프레임계수 생성부(154) 및 빈도계수 생성부(156)를 포함하고, 상기 라운드 트립 타임을 근거로 동영상의 비트레이트 조정을 위한 비트계수, 상기 동영상의 프레임레이트 조정을 위한 프레임계수 및 상기 동영상의 B-프레임의 전송 빈도 조정을 위한 빈도계수를 각각 생성하고, 생성된 비트계수, 프레임계수 및 빈도계수를 상기 전송 영상 조정부(160)에 제공한다. 상기 비트계수 및 상기 프레임계수는 0보다 크고 1보다 작은 소수로 생성될 수 있다. 또한, 상기 빈도계수는 0보다 크거나 같고 1과 같거나 작은 소수로 생성될 수 있다.

상기 전송 영상 조정부(160)는 상기 비트계수를 촬영된 동영상의 비트레이트에 승산하여 전송 비트레이트를 설정하고, 상기 프레임계수를 촬영된 동영상의 프레임레이트에 승산하여 전송 프레임레이트를 설정하며, 상기 빈도계수를 근거로 B-프레임 전송 빈도를 설정한다. 예를들어, 상기 비트계수가 0.5로 생성되면, 상기 전송 비트레이트는 촬영된 동영상의 비트레이트의 1/2(또는 50%)로 설정된다. 상기 프레임계수가 0.5로 설정되면, 상기 전송 프레임레이트는 촬영된 동영상의 프레임레이트의 1/2(또는 50%)로 설정된다. 따라서, 촬영된 동영상은 1/2(또는 50%)로 다운된 비트레이트와 1/2(또는 50%)로 다운된 프레임레이트로 네트워크 전송된다.

상기 영상 프레임 전송부(170)는 상기 전송 비트레이트 및 상기 전송 프레임레이트를 근거로 상기 동영상의 I-프레임, P-프레임 및 B-프레임을 상기 네트워크 연결부(140)를 통해 네트워크 전송하되, 상기 설정된 빈도로 상기 B-프레임을 상기 네트워크 연결부(140)를 통해 네트워크 전송한다. 상기 빈도계수가 0.5로 설정되면, 상기 B-프레임의 전송 빈도는 1/2(또는 50%) 다운되어 일반적인 B-프레임의 전송빈도에 비해 줄어든 빈도로 네트워크 전송된다. 예를들어, 일반적인 B-프레임이 일정 시간동안 10개가 전송된다면, 1/2(또는 50%)로 다운된 전송빈도에 의하면 일정 시간동안 5개가 전송된다. 만일, 상기 빈도계수가 0으로 설정되면, 일정 시간동안 B-프레임은 전송되지 않는다.

상기 전송갱신신호 수신부(180)는 네트워크 연결부(140)를 통해 프레임 드롭에 따른 영상 전송갱신신호가 수신되면, 현재 설정된 비트레이트나 프레임레이트 또는 B-프레임의 전송 빈도의 수정 요청으로 판단하여 핑 메시지가 발송되도록 상기 핑 메시지 전송부(120)를 제어한다.

한편, 상기 전송갱신신호 수신부(180)는 네트워크 연결부(140)를 통해 프레임 드롭에 따른 영상 전송갱신신호가 수신되면, 현재 설정된 비트레이트나 프레임레이트 또는 B-프레임의 전송 빈도의 수정 요청으로 판단하여 상기 계수생성부(150)를 제어할 수도 있다. 이에 따라, 상기 비트계수 생성부(152)는 생성된 비트계수를 수정하여 새로운 비트계수를 생성할 수 있다. 또한, 상기 프레임계수 생성부(154)는 생성된 프레임계수를 수정하여 새로운 프레임계수를 생성할 수 있다.

또한, 상기 빈도계수 생성부(156)는 생성된 빈도계수를 수정하여 새로운 빈도계수를 생성할 수 있다. 상기한 새로운 비트계수나 새로운 프레임계수, 새로운 빈도계수 모두가 수정될 수도 있고, 2개 또는 1개가 수정될 수도 있다.

이상에서 설명된 바와 같이, 영상을 전송하는 클라이언트단인 동영상 촬영장치(100)에서 동영상 서버(200)까지의 네트워크 전송환경을 체크하여 네트워크 전송환경이 원활하지 않다고 체크되면 동영상의 비트레이트 및 프레임레이트를 다운시키고, B-프레임 영상의 전송은 생략하고, I-프레임 및 P-프레임 영상만을 전송하므로써, 영상을 끊김없이 동영상 서버에 전송할 수 있다. 이때 네트워크 전송환경은 클라이언트단인 동영상 촬영장치(100)에서 동영상 서버(200)로 전송한 데이터에 상응하는 응답 메시지를 수신한 시간인 라운드 트립 타임(RTT: Round Trip Time)을 고려하여 체크한다. 부가적으로, 영상을 수신하는 동영상 서버단에서 수신된 영상의 프레임 드롭이 발생되면 클라이트단에 다운된 비트레이트, 다운된 프레임레이트로 영상 전송을 요청하여, 동영상 끊김 현상을 방지할 수 있다.

도 4는 본 발명의 일실시예에 따른 실시간 동영상 전송 방법을 설명하기 위한 흐름도이다.

도 3 및 도 4를 참조하면, 상기 영상촬영부(110)는 동영상을 촬영한다(단계 S100).

이어, 상기 영상촬영부(110)는 사용자의 조작에 의한 동영상 전송 요청 여부를 체크한다(단계 S102). 즉, 상기 영상촬영부(110)가 동영상을 촬영하더라도 동영상을 네트워크 전송하지 않을 수도 있으므로, 사용자의 조작에 의해 동영상 전송이 요청되는지의 여부를 체크하는 것이 바람직하다.

단계 S102에서 동영상 전송이 요청되는 것으로 체크되면, 핑 메시지 전송부(120)는 억세스포인트 및 게이트웨이를 포함하는 네트워크의 상태 체크를 위해 핑 메시지를 네트워크에 전송한다(단계 S104). 상기 핑 메시지는 사용자가 설정된 호스트인 동영상 서버(200)에 전송될 수 있다. 네트워크에 전송된 핑 메시지는 동영상 서버(200)에 보내지고 그 응답은 다시 라운드 트립 타임 연산부(130)에 제공된다.

상기 라운드 트립 타임 연산부(130)는 수집된 핑 메시지를 근거로 라운드 트립 타임을 연산한다(단계 S106).

상기 계수생성부(150)는 상기 연산된 라운드 트립 타임을 근거로 비트계수, 프레임계수 및 빈도계수를 생성한다(단계 S108). 상기 계수생성부(150)의 비트계수 생성부(152)는 상기 연산된 라운드 트립 타임을 근거로 비트계수를 생성하고, 상기 계수생성부(150)의 프레임계수 생성부(154)는 상기 연산된 라운드 트립 타임을 근거로 프레임계수를 생성하며, 상기 계수생성부(150)의 빈도계수 생성부(156)는 상기 연산된 라운드 트립 타임을 근거로 빈도계수를 생성한다. 상기 비트계수 및 상기 프레임계수는 0보다 크고 1보다 작은 소수로 생성될 수 있다. 또한, 상기 빈도계수는 0보다 크거나 같고 1과 같거나 작은 소수로 생성될 수 있다.

상기 전송 영상 조정부(160)는 상기 비트계수를 원시 비트레이트에 승산하여 전송 비트레이트를 설정한다(단계 S110). 예를들어, 상기 비트계수가 0.5로 생성되었다면, 상기 전송 비트레이트는 촬영된 동영상의 비트레이트의 1/2(또는 50%)로 설정된다.

상기 전송 영상 조정부(160)는 상기 프레임계수를 원시 프레임레이트에 승산하여 전송 프레임레이트를 설정한다(단계 S112). 상기 프레임계수가 0.5로 설정된다면, 상기 전송 프레임레이트는 촬영된 동영상의 프레임레이트의 1/2(또는 50%)로 설정된다.

상기 전송 영상 조정부(160)는 빈도계수를 근거로 B-프레임 전송 빈도를 설정한다(단계 S114). 상기 빈도계수가 0.5로 설정되었다면, 상기 B-프레임의 전송 빈도는 1/2(또는 50%) 다운되어 일반적인 B-프레임의 전송빈도에 비해 줄어든 빈도로 네트워크 전송된다.

상기 영상 프레임 전송부(170)는 동영상의 I-프레임, P-프레임 및 B-프레임을 상기 전송 비트레이트 및 상기 전송 프레임레이트로 네트워크 전송한다(단계 S116). 이때, B-프레임의 전송 빈도는 상기 전송빈도에 따른다. 즉, 상기 전송빈도가 50%로 설정되었다면, 기설정된 B-프레임의 전송수에 비해 50% 줄어든 개수의 B-프레임을 전송한다. 만일, 상기 전송빈도가 0으로 설정되었다면, B-프레임은 전송하지 않고 동영상의 I-프레임 및 P-프레임만 전송한다.

상기 전송갱신신호 수신부(180)는 네트워크 연결부(140)를 통해 수신되는 프레임 드롭에 따른 영상 전송갱신신호가 수신되는지의 여부를 체크하여(단계 S118), 프레임 드롭에 따른 영상 전송 갱신 요청이 있는 것으로 체크되면 단계 S104로 피드백한다.

프레임 드롭에 따른 영상 전송 갱신 요청이 없는 것으로 체크되면 동영상 전송중지 요청 여부를 체크하여(단계 S120), 동영상중지 요청이 없는 것으로 체크되면 단계 S116으로 피드백하고, 동영상중지 요청이 있는 것으로 체크되면 종료한다.

이상에서 설명된 바와 같이, 본 발명의 일실시예에 따르면, RTT를 근거로 네트워크 전송환경을 체크하되, RTT에 따라 비트레이트의 다운 정도, 프레임레이트 다운 정도 등을 조정하고, B-프레임 영상의 전송 빈도를 조정하므로써, 네트워크의 전송환경에 따라 동영상을 끊기거나 중단하지 않고 실시간으로 서버단에 전송할 수 있다.

도 5는 본 발명의 다른 실시예에 따른 실시간 동영상 전송 방법을 설명하기 위한 흐름도이다. 도 5에서 설명되는 실시간 동영상 전송 방법은 도 3에 도시된 실시간 동영상 전송 장치에 의해 수행될 수 있으며, 이때 계수생성부(150)는 생략된다.

도 3 및 도 5를 참조하면, 상기 영상촬영부(110)는 동영상을 촬영한다(단계 S200).

이어, 상기 영상촬영부(110)는 사용자의 조작에 의한 동영상 전송 요청 여부를 체크한다(단계 S202). 즉, 상기 영상촬영부(110)가 동영상을 촬영하더라도 동영상을 네트워크 전송하지 않을 수도 있으므로, 사용자의 조작에 의해 동영상 전송이 요청되는지의 여부를 체크하는 것이 바람직하다.

단계 S202에서 동영상 전송이 요청되는 것으로 체크되면, 핑 메시지 전송부(120)는 억세스포인트 및 게이트웨이를 포함하는 네트워크의 상태 체크를 위해 핑 메시지를 네트워크에 전송한다(단계 S204). 상기 핑 메시지는 사용자가 설정된 호스트인 동영상 서버(200)에 전송될 수 있다. 네트워크에 전송된 핑 메시지는 동영상 서버(200)에 보내지고 그 응답은 다시 라운드 트립 타임 연산부(130)에 제공된다.

상기 라운드 트립 타임 연산부(130)는 수집된 핑 메시지를 근거로 라운드 트립 타임(RTT)을 연산한다(단계 S206).

이어, 전송 영상 조정부(160)는 단계 S206에서 연산된 라운드 트립 타임을 근거로 네트워크 전송상태를 체크한다(단계 S208). 예를들어, 네트워크 전송상태가 양호한 것에 대응하는 기설정된 라운드 트립 타임을 근거로 단계 S206에서 연산된 라운드 트립 타임이 기설정된 라운드 트립 타임보다 높거나 같다면 네트워크 전송 상태는 양호한 것으로 판단할 수 있다. 한편, 단계 S206에서 연산된 라운드 트립 타임이 기설정된 라운드 트립 타임보다 작다면 네트워크 전송 상태는 양호하지 않는 것으로 판단할 수 있다.

단계 S208에서, 네트워크 전송상태가 양호한 것으로 체크되면, 전송 영상 조정부(160)는 동영상의 비트레이트를 유지하고(단계 S210), 동영상의 프레임레이트를 유지한다(단계 S212).

이어, 영상 프레임 전송부(170)는 동영상의 I-프레임, P-프레임 및 B-프레임을 네트워크 전송한다(단계 S220).

한편, 단계 S208에서 네트워크 전송상태가 양호하지 않는 것으로 체크되면, 전송 영상 조정부(160)는 동영상의 비트레이트를 다운하고(단계 S220), 동영상의 프레임레이트를 다운시킨다(단계 S222). 상기한 비트레이트의 다운이나 프레임레이트의 다운은 동시에 이루어질 수도 있고, 어느 하나만 다운될 수 있다. 또한, 비트레이트의 다운 정도나 프레임레이트의 다운 정도는 기설정된 비트레이트나 기설정된 프레임레이트에 비해 5%, 10% 등과 같이 다양하게 설정될 수 있다. 이러한 다운 정도의 설정은 실시간 동영상 전송 장치를 개발한 개발자측에서 설정할 수도 있고, 실시간 전송 장치를 사용하는 사용자, 예를들어, 카메라를 갖고서 동영상을 촬영하는 촬영기사측에서 설정할 수도 있다.

이어, 영상 프레임 전송부(170)는 동영상의 B-프레임은 전송하지 않으면서 동영상의 I-프레임 및 P-프레임을 네트워크 전송한다(단계 S224).

단계 S214 또는 단계 S224에 이어, 상기 전송갱신신호 수신부(180)는 네트워크 연결부(140)를 통해 수신되는 프레임 드롭에 따른 영상 전송갱신신호가 수신되는지의 여부를 체크하여(단계 S230), 프레임 드롭에 따른 영상 전송 갱신 요청이 있는 것으로 체크되면 단계 S220으로 피드백한다.

프레임 드롭에 따른 영상 전송 갱신 요청이 없는 것으로 체크되면 동영상 전송중지 요청 여부를 체크하여(단계 S240), 동영상중지 요청이 없는 것으로 체크되면 단계 S204로 피드백하고, 동영상중지 요청이 있는 것으로 체크되면 종료한다.

이상에서 설명된 바와 같이, 본 발명의 일실시예에 따르면, RTT를 근거로 네트워크 전송환경을 체크하여, 양호한 경우에는 동영상의 비트레이트 및 프레임레이트를 유지하고, 동영상의 I-프레임, P-프레임 및 B-프레임을 전송하고, 불량인 경우에는 동영상의 비트레이트 및 프레임레이트를 다운시키고, 동영상의 B-프레임의 전송은 생략한 채, I-프레임, P-프레임만을 전송할 수도 있다. 이에 따라, 네트워크의 전송환경에 따라 동영상을 끊기거나 중단하지 않고 실시간으로 서버단에 전송할 수 있다.

이상에서는 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

이상에서 설명한 바와 같이, 본 발명의 실시예들에 따르면, 네트워크 전송환경이 원활하지 않다고 체크되면 동영상의 비트레이트 및 프레임레이트를 다운시키고, B-프레임 영상의 전송은 생략하고, I-프레임 및 P-프레임 영상만을 전송하므로써, 네트워크의 전송환경에 따라 동영상을 끊기거나 중단하지 않고 실시간으로 서버단에 전송할 수 있다.

특히, 본 발명에 따른 실시간 동영상 전송 장치가 산불화재현장 등에서 사용되는 경우, 원격지에서 화면의 상태는 정교하지 않더라도 화면의 끊김없이 원격지에서 전송되는 영상을 수신하게 되므로 실시간으로 산불의 규모나 진행방향 등을 확인하여 이에 대응하여 조치 등을 취할 수 있다.

100 : 동영상 촬영장치 200 : 동영상 서버
110 : 영상촬영부 120 : 핑 메시지 전송부
130 : 라운드 트립 타임 연산부 140 : 네트워크 연결부
150 : 계수생성부 160 : 전송 영상 조정부
170 : 영상 프레임 전송부 180 : 전송갱신신호 수신부

Claims (4)

1. 동영상이 촬영됨에 따라, 촬영된 동영상을 동영상 서버에 전송하기 위해 핑 메시지를 전송하는 단계;
   억세스포인트 및 게이트웨이를 포함하는 네트워크 전송환경을 체크하기 위해, 수집된 핑메시지를 근거로 라운드 트립 타임을 연산하는 단계;
   상기 라운드 트립 타임을 근거로 동영상의 비트레이트 조정을 위한 비트계수, 상기 동영상의 프레임레이트 조정을 위한 프레임계수 및 상기 동영상의 B-프레임의 전송 빈도 조정을 위한 빈도계수를 생성하는 단계-상기 비트계수 및 상기 프레임계수는 0보다 크고 1보다 작은 소수이고, 상기 빈도계수는 0보다 크거나 같고 1과 같거나 작은 소수인 것;
   상기 비트계수를 촬영된 동영상의 비트레이트에 승산하여 전송 비트레이트를 설정하는 단계;
   상기 프레임계수를 촬영된 동영상의 프레임레이트에 승산하여 전송 프레임레이트를 설정하는 단계;
   상기 빈도계수를 근거로 B-프레임 전송 빈도를 설정하는 단계; 및
   상기 전송 비트레이트 및 상기 전송 프레임레이트를 근거로 상기 동영상의 I-프레임, P-프레임 및 B-프레임을 네트워크 전송하는 단계를 포함하되, 상기 B-프레임은 상기 설정된 빈도로 네트워크 전송되는 것을 특징으로 하는 실시간 동영상 전송 방법.
2. 제1항에 있어서, 상기 동영상 서버로부터 프레임 드롭에 따른 영상 전송 갱신이 요청됨에 따라, 상기 핑 메시지를 전송하는 단계로 피드백하는 단계를 더 포함하는 것을 특징으로 하는 실시간 동영상 전송 방법.
3. 제1항에 있어서, 상기 라운드 트립 타임을 근거로 네트워크 전송환경이 불량한 것으로 체크되면, 상기 B-프레임은 전송되지 않는 것을 특징으로 하는 실시간 동영상 전송 방법.
4. 영상을 촬영하는 영상촬영부;
   상기 영상촬영부에 의해 동영상이 촬영됨에 따라, 촬영된 동영상을 동영상 서버에 전송하기 위해 핑 메시지를 전송하는 핑 메시지 전송부;
   억세스포인트 및 게이트웨이를 포함하는 네트워크 전송환경을 체크하기 위해 수집된 핑메시지를 근거로 라운드 트립 타임을 연산하는 라운드 트립 타임 연산부;
   상기 라운드 트립 타임을 근거로 동영상의 비트레이트 조정을 위한 비트계수, 상기 동영상의 프레임레이트 조정을 위한 프레임계수 및 상기 동영상의 B-프레임의 전송 빈도 조정을 위한 빈도계수를 생성하는 계수생성부;
   상기 비트계수를 촬영된 동영상의 비트레이트에 승산하여 전송 비트레이트를 설정하고, 상기 프레임계수를 촬영된 동영상의 프레임레이트에 승산하여 전송 프레임레이트를 설정하며, 상기 빈도계수를 근거로 B-프레임 전송 빈도를 설정하는 전송 영상 조정부; 및
   상기 전송 비트레이트 및 상기 전송 프레임레이트를 근거로 상기 동영상의 I-프레임, P-프레임 및 B-프레임을 네트워크 전송하되, 상기 설정된 빈도로 상기 B-프레임을 네트워크 전송하는 영상 프레임 전송부를 포함하는 실시간 동영상 전송 장치.

Images