KR20160069429A - 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법 - Google Patents

메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법 Download PDF

Info

Publication number
KR20160069429A
KR20160069429A KR1020140175374A KR20140175374A KR20160069429A KR 20160069429 A KR20160069429 A KR 20160069429A KR 1020140175374 A KR1020140175374 A KR 1020140175374A KR 20140175374 A KR20140175374 A KR 20140175374A KR 20160069429 A KR20160069429 A KR 20160069429A
Authority
KR
South Korea
Prior art keywords
video data
data
transmission
frame
video
Prior art date
Application number
KR1020140175374A
Other languages
English (en)
Other versions
KR102268596B1 (ko
Inventor
조성봉
차일황
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140175374A priority Critical patent/KR102268596B1/ko
Publication of KR20160069429A publication Critical patent/KR20160069429A/ko
Application granted granted Critical
Publication of KR102268596B1 publication Critical patent/KR102268596B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법은, 전송될 비디오 데이터의 메타데이터에 따라서, 전송될 비디오 데이터의 종류나 화질 등을 변경하여 수신단에 전송함으로써, 네트워크 대역폭을 효율적으로 사용할 수 있고, 네트워크 대역폭의 효율적인 사용에 따른 네트워크 비용의 감소를 기대할 수 있다.

Description

메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법 {Apparatus for changing transmission condition of video data based on metedata and method thereof}
본 발명은 비디오 데이터의 전송조건 변경장치에 관한 것으로서, 보다 구체적으로는 카메라에서 단말기로 전송되는 비디오 데이터의 전송조건을 메타데이터를 기반으로 변경하는 장치 및 방법에 관한 것이다.
종래는 비디오 데이터를 유무선 네트워크를 통해 송수신할 때, 네트워크 대역폭을 감소시키기 위해서 H.264 및 H.265와 같은 비디오 코덱과 G.711 및 G.726와 같은 오디오 코덱을 이용하여 비디오 데이터를 인코딩(enconding)하여, 그 인코딩된 데이터를 송수신했다.
또한, 무선 환경의 모바일 단말기에서는 출력할 수 있는 비디오의 화질이나 해상도가 제한되기 때문에, 종래에는 비디오 데이터를 전송하는 측에서, 비디오 데이터를 수신할 모바일 단말기의 설정값을 확인하여, 해당 설정에 따른 저해상도, 낮은 프레임레이트(Framerate) 및 비트레이트(Bitrate)로, 원본 비디오 데이터를 인코딩하여 송신하는 방식을 이용했다.
이러한 방식은 모바일 단말기에 설정되어 있는 사용자 설정에 전적으로 의존하므로, 비디오 데이터의 전송단의 네트워크 대역폭의 사용량을, 전송하는 비디오 데이터의 속성에 따라 유동적으로 변경시킬 수 없어서 네트워크 비용의 불필요한 증가를 가져오는 한계가 있다.
미국공개특허 제2006-0256232호
본 발명이 이루고자 하는 기술적 과제는, 비디오 데이터를 전송하는 전송단에서 판단한 비디오 데이터에 포함된 내용 및 속성에 따라 비디오 데이터를 전송하는 조건을 변화시켜서, 네트워크 대역폭의 사용량을 유동적으로 변경할 수 있게 하는 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법을 제공하는 데에 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치는, 네트워크 카메라의 이미지 센서 정보 및 상기 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정하는 비디오 프로파일 결정부; 및 상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법은, 네트워크 카메라의 이미지 센서 정보 및 상기 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정하는 비디오 프로파일 결정 단계; 및 상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송 단계를 포함한다.
본 발명에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법에 의하면, 비디오 데이터를 전송하는 전송측에서 네트워크 대역폭을 효율적으로 사용할 수 있고, 네트워크 대역폭의 효율적인 사용에 따른 네트워크 비용의 절감을 기대할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치에 대한 블록도를 도시한 도면이다.
도 2는 본 발명의 다른 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법에 대한 흐름도를 도시한 도면이다.
도 3은 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치에 대한 블록도를 도시한 도면이다.
도 4는 원본 비디오 데이터로부터 비디오 서머리를 생성하는 방법을 도식적으로 나타낸 도면이다.
도 5는 아이-프레임 전송 방식에서 있어서, 참조 프레임과 피참조 프레임을 설명하기 위한 도면이다.
도 6은 피-프레임에 포함되는 데이터를 도식적으로 표현한 도면이다.
도 7a 내지 도 7d는 원본 비디오 데이터에서 배경 데이터와 이동물체 데이터를 추출하는 일련의 과정을 도시한 도면이다.
도 8은 데이터 추출부 및 데이터 분리 전송부에 의해 배경 데이터 및 이동물체 데이터가 단말기로 전송되는 과정을 흐름도로 나타낸 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법에 대한 흐름도를 도시한 도면이다.
이하 본 발명의 바람직한 실시 예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다.
본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대해 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하거나 간략하게 설명하는 것으로 한다.
한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
후술하는 "카메라"는 이미지 또는 비디오를 촬영할 수 있는 장치로서, 유선으로 데이터를 송수신할 수 있는 카메라뿐만 아니라, 무선 네트워크로 데이터를 송수신할 수 있는 네트워크 카메라를 포함한다.
후술하는 "입력 비디오 데이터"는 카메라의 렌즈를 통해 입력되는 빛에 포함된 데이터를 의미한다. 카메라의 렌즈를 통과한 빛은 이미지 센서 전면에 있는 컬러 필터를 거쳐 이미지 센서 표면의 픽셀에 닿게 되고, 픽셀에 입사되는 빛의 양에 따라 생성된 전자는 촬영 대상에 대한 전기신호를 발생시키게 된다.
후술하는 "원본 비디오 데이터"는 입력 비디오 데이터가 카메라의 이미지 센서를 거치면서 산출된 비디오 데이터로서, 미가공 데이터(Raw Data)이므로, 카메라가 촬영한 내용을 모두 압축하지 않고 포함하고 있다. 원본 비디오 데이터는 카메라의 저장 장치에서 차지하는 용량을 최소화하거나, 단말기로 전송할 때 네트워크 대역폭의 사용을 최소화하기 위해서 인코딩될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치에 대한 블록도를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치(100)는 비디오 프로파일 결정부(110)와 비디오 데이터 전송부(130)를 포함할 수 있다.
비디오 프로파일 결정부(110)는 네트워크 카메라의 이미지 센서 정보 및 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정한다. 후술하는 이미지 센서 정보 및 이동물체 움직임 정보는 원본 비디오 데이터의 내용 및 속성을 결정하는 데이터이므로, 원본 비디오 데이터의 메타데이터로 통칭할 수 있다.
네트워크 카메라의 이미지 센서는 CMOS(complementary metal-oxide semiconductor) 센서나 CCD(Charge-coupled device) 센서와 같이 센서에 도달된 빛을 전기신호로 변환할 수 있는 모든 종류의 센서를 포함한다. 이미지 센서 정보란, 이미지 센서가 센서에 도달된 빛을 전기신호로 변환할 때, 결과값인 전기신호에 영향을 줄 수 있는 이미지 센서 자체의 설정값 및 이미지 센서와 연결된 구성의 설정값을 모두 포함하는 의미이다. 예를 들어, 이미지 센서 정보에는 AGC(Auto Gain Control), 조도, 셔터 스피드 등이 있다.
이동물체 움직임 정보란, 원본 비디오 데이터에서 동물 또는 생물이 아니어도 동력장치를 구비하거나 중력에 의해 낙하운동을 하는 물체의 움직임에 대한 정보를 의미한다. 비디오 프로파일 결정부(110)는 원본 비디오 데이터에 모션 디텍션(Motion Detection)을 적용하여 원본 비디오 데이터에서 움직이고 있는 이동물체를 특정할 수 있다. 특정된 물체가 어떠한 움직임을 보이는지, 그 움직임이 얼마나 지속되는 지에 대한 정보는 모두 이동물체 움직임 정보에 포함될 수 있다.
단말기에 전송할 비디오 데이터의 재생 방식에는 일반 비디오 데이터 방식와 비디오 서머리(Video Summary)방식이 있다. 일반 비디오 데이터는 원본 비디오 데이터에서 사람의 눈으로 인식하기 어려운 부분이나 중복되는 부분을 제거하고, FPS(Frame Per Second), BPS(Bit Per Second), 해상도(Resolution)를 낮춰서 단말기에 전송하기 용이하도록 되어있는 비디오 데이터로 정의될 수 있다. 일반 비디오 데이터의 재생 방식은 각각의 고정된 이미지를 나타내는 프레임들을 1초당 수십, 수백 장을 연속적으로 연결하여 보여줌으로써, 사용자로 하여금 고정된 이미지가 아닌 움직임이 있는 비디오로 인식하도록 하는 방식이다.
일반 비디오 데이터의 재생 시간은 원본 비디오 데이터의 재생 시간과 동일하다. 예를 들어, 네트워크 카메라로 5분동안 촬영한 것이 원본 비디오 데이터로 처리되었다면, 원본 비디오 데이터의 재생 시간 및 일반 비디오 데이터의 재생 시간은 모두 5분이 된다. 일반 비디오 데이터는 원본 비디오 데이터를 전송하기에 알맞게 인코딩한 데이터이므로, 원본 비디오 데이터에 비해서 용량이 작고, 화질이 같거나 낮다.
비디오 서머리는 비디오 시놉시스(Video Synopsis)라고도 하며, 원본 비디오 데이터를 이동물체 움직임 정보에 따라 요약한 비디오 데이터이다. 비디오 서머리는 원본 비디오 데이터를 요약한 비디오 데이터이므로, 원본 비디오 데이터보다 짧은 재생시간을 갖게 되며, 원본 비디오 데이터에서 이동물체가 나타나지 않은 구간에 대한 정보를 일부만을 포함하거나 전혀 포함하지 않을 수 있다. 비디오 서머리의 생성 방법과 실시 예에 대해서는 도 4를 참조하여 후술하도록 한다.
비디오 프로파일 결정부(110)는 이미지 센서 정보 및 이동물체 움직임 정보에 따라서, 원본 비디오 데이터를 일반 비디오 데이터로 인코딩할지, 비디오 서머리로 인코딩할지 결정한다. 비디오 프로파일 결정부(110)는 원본 비디오 데이터를 어떻게 인코딩할지 결정하기 위해서 이미지 센서 정보 및 이동물체 움직임 정보를 기초로 원본 비디오 데이터의 중요도를 산출할 수 있다.
예를 들어, 조도가 높은 상태에서 촬영된 입력 비디오 데이터를 전기신호로 변환한 원본 비디오 데이터는 중요도가 높게 산출될 수 있다. 다른 예로서, 원본 비디오 데이터에 이동물체가 기설정된 숫자보다 적은 수가 검출되었다면 해당 원본 비디오 데이터는 중요도가 낮게 산출될 수 있다. 원본 비디오 데이터의 중요도가 높게 산출된 경우, 인코딩된 원본 비디오 데이터가 카메라에서 단말기로 전송되는 과정에서 발생할 수 있는 전송오류를 최소화하기 위해서, 원본 비디오 데이터는 일반 비디오 데이터로 인코딩될 수 있다. 반면, 원본 비디오 데이터의 중요도가 낮게 산출된 경우, 인코딩된 원본 비디오 데이터가 카메라에서 단말기로 전송되는 과정에서 발생할 수 있는 전송오류보다 네트워크 비용의 최소화가 더 우선시되어 원본 비디오 데이터는 비디오 서머리로 인코딩될 수 있다.
일반 비디오 데이터 및 비디오 서머리 중 어느 한 가지로 재생 방식이 결정된 원본 비디오 데이터는, 비디오 프로파일 결정부(110)에 의해 원본 비디오 데이터의 중요도에 따라 전송 방식이 결정된다.
단말기에 전송할 비디오 데이터의 전송 방식에는 풀-프레임(Full-Frame) 전송 방식과 아이-프레임(I-Frame) 전송 방식이 있다. 풀-프레임 전송 방식은 원본 비디오 데이터를 구성하는 각각의 프레임의 내용을 모두 단말기로 전송한다. 풀-프레임 전송 방식을 이용하더라도 전송되는 비디오 데이터의 용량을 최소화하기 위해서, 원본 비디오 데이터는 인코딩을 거쳐서 압축된다. 여기서, 압축된 데이터에는 원본 비디오 데이터의 모든 프레임에 대한 데이터가 포함되어 있으므로, 카메라에서 단말기로 압축된 데이터를 전송할 때, 전송오류가 발생하여 일부 프레임에 대한 데이터가 손실되어도, 압축된 데이터로부터 손실된 일부 프레임에 대한 데이터를 제외한 나머지 데이터를 복원해낼 수 있으므로, 단말기에서는 원본 비디오 데이터와 크게 다르지 않은 내용을 포함하는 비디오 데이터를 복원해낼 수 있다.
아이-프레임 전송 방식은 원본 데이터를 구성하는 각각의 프레임을, 다른 프레임의 데이터를 참조하는 참조 프레임과 참조 프레임으로부터 참조되는 피참조 프레임으로 구별하여 단말기로 전송하는 방식이다.
피참조 프레임은 참조 프레임으로부터 참조되는 프레임으로서, 원본 비디오 데이터에서 움직임이 감지되는 부분과 움직임이 감지되지 않는 부분에 대한 정보를 모두 포함한다. 참조 프레임은 피참조 프레임을 참조하는 프레임으로서, 원본 비디오 데이터에서 움직임이 감지되는 부분에 대한 정보만을 포함한다.
참조 프레임은 피참조 프레임에서 움직임이 감지되지 않는 부분에 대한 정보를 참조하고, 움직임이 감지되는 부분에 대한 정보만 포함하므로, 피참조 프레임보다 작은 크기의 데이터 용량을 갖는다. 피참조 프레임에 포함되는 움직임이 감지되지 않는 부분은, 시간과 관계없이 일정하게 변하지 않는 배경에 해당하는 부분이므로, 참조 프레임이 피참조 프레임을 제대로 참조할 수만 있다면, 피참조 프레임과 참조 프레임이 결합된 데이터는 피참조 프레임으로만 구성된 데이터에 비해 적은 용량을 가지고도 동일한 내용을 표현할 수 있는 비디오 데이터가 될 수 있다.
원본 비디오 데이터는 피참조 프레임과 참조 프레임의 집합으로 표현된 후, 데이터의 용량을 최소화하기 위해서, 풀-프레임 전송 방식과 마찬가지로 인코딩을 거쳐서 압축된 후 단말기로 전송된다. 단말기로 전송된 비디오 데이터는 압축이 해제된 후, 참조 프레임과 피참조 프레임과의 관계를 해석하여 비디오 데이터로 복원되며, 복원된 비디오 데이터는 전술한 일반 비디오 데이터 또는 비디오 서머리 중 어느 하나가 된다. 아이-프레임 전송 방식에 대한 도식적인 설명은 도 5 및 도 6을 통해 추가적으로 후술하기로 한다.
비디오 프로파일 결정부(110)는 이미지 센서 정보 및 이동물체 움직임 정보에 따라서, 일반 비디오 데이터 및 비디오 서머리 중 어느 하나로 결정된 재생 방식의 비디오 데이터를 단말기로 풀-프레임 전송 방식으로 보낼지, 아이-프레임 전송 방식으로 보낼지 여부를 결정한다. 비디오 프로파일 결정부(110)는 원본 비디오 데이터의 재생 방식을 결정할 때에 이용한 원본 비디오 데이터의 중요도를, 원본 비디오 데이터의 전송 방식을 결정하는 데에 이용할 수도 있다.
예를 들어, 비디오 프로파일 결정부(110)는 원본 비디오 데이터에 많은 이동물체의 움직임이 포함된 경우에는 중요도가 높은 것으로 판단하여, 전송 방식을 풀-프레임 전송 방식으로 결정할 수 있다. 다른 예로서, 비디오 프로파일 결정부(110)는 카메라의 설정에서 셔터 스피드가 느리게 설정된 상태에서 촬영된 입력 비디오 데이터로부터 산출된 원본 비디오 데이터는 중요도가 낮은 것으로 판단하여, 전송 방식을 아이-프레임 전송 방식으로 결정할 수 있다.
비디오 데이터 전송부(130)는 비디오 프로파일 결정부(110)가 결정한 재생 방식 및 전송 방식에 따라서 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 전송 비디오 데이터를 단말기로 전송한다.
비디오 데이터 전송부(130)에 의해 단말기로 전송되는 전송 비디오 데이터의 재생 방식은 일반 비디오 데이터 및 비디오 서머리 중 어느 하나 방식이고, 전송 방식은 풀-프레임 및 아이-프레임 중 어느 하나 방식에 따라 원본 비디오 데이터로부터 산출된 비디오 데이터이다.
도 2는 본 발명의 다른 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법에 대한 흐름도를 도시한 도면이다.
비디오 프로파일 결정부가 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정한다(S210). 보다 구체적으로는, 비디오 프로파일 결정부는 네트워크 카메라의 이미지 센서 정보 및 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정한다.
이미지 센서 정보에는 카메라의 AGC, 조도, 셔터 스피드와 같은 센서 정보가 포함되며, 이동물체 움직임 정보에는 원본 비디오 데이터에 모션 디텍션을 적용하여 산출된 정보가 포함될 수 있다. 단말기에 전송할 비디오 데이터의 재생 방식에는 일반 비디오 데이터 및 비디오 서머리가 포함될 수 있고, 단말기에 전송할 비디오 데이터의 전송 방식에는 풀-프레임 및 아이-프레임 방식이 포함될 수 있다.
비디오 데이터 전송부는 비디오 프로파일 결정부가 결정한 재생 방식 및 전송 방식에 따라 비디오 데이터를 단말기에 전송한다(S230). 비디오 데이터 전송부에 의해 단말기로 전송되는 전송 비디오 데이터의 재생 방식은 일반 비디오 데이터 및 비디오 서머리 중 어느 하나 방식이고, 비디오 데이터 전송부에 의해 단말기로 전송되는 전송 비디오 데이터의 전송 방식은 풀-프레임 및 아이-프레임 중 어느 하나 방식에 따라 원본 비디오 데이터로부터 산출된 비디오 데이터이다.
도 3은 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치에 대한 블록도를 도시한 도면이다.
도 3를 참조하면, 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치(300)는 비디오 프로파일 결정부(310)와 비디오 데이터 전송부(330)를 포함할 수 있다.
비디오 프로파일 결정부(310)는 네트워크 카메라의 이미지 센서 정보 및 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정하며, 이미지 센서 정보부(311), 비디오 분석부(312), 비디오 코덱 관리부(313), 센서 이벤트 관리부(314), 비디오 설정부(315), 비디오 프로파일 관리부(316), 및 네트워크 대역폭 측정부(317)를 포함할 수 있다.
이미지 센서 정보부(311)는 카메라의 사용자가 자동 또는 수동 중 어느 하나로 설정한 AGC(Auto Gain Control), 조도, 셔터 스피드(Shutter Speed) 등에 대한 정보를 비디오 프로파일 관리부(316)로 전달한다. 이미지 센서 정보부(311)는 카메라를 통해 실제로 입력되는 영상에 대해서 사전에 설정된 정보를 이용하여, 원본 비디오 데이터의 프로파일과 코덱을 결정할 수 있는 결과값을 산출한다.
비디오 분석부(312)는 원본 비디오 데이터를 어드밴스드 모션 디텍션(Advanced Motion Detection)정보, 사람계수(People Count)정보 , 라인 디텍션(Line Detection)정보, 오디오 디텍션(Audio Detection) 정보 등과 같은 다양한 이벤트 정보에 따라 분석하고, 분석 결과를 비디오 프로파일 관리부(316)에 전달하여, 비디오 프로파일 관리부(316)가 원본 비디오 데이터의 프로파일을 결정하기 위한 정보로 활용하도록 한다.
어드밴드스 모션 디텍션 정보는 원본 비디오 데이터로부터 움직임을 검출하여 사람, 동물, 자동차 등의 객체를 추출하고, 추출된 객체의 종류, 크기, 움직임 정도, 색상, 방향 등에 대한 모든 정보를 의미한다.
사람계수 정보는 원본 비디오 데이터에 포함되어 있는 사람을 추출하고, 사람의 숫자를 결과로 나타낸 정보이다. 비디오 분석부(312)가 원본 비디오 데이터로부터 사람의 수를 검출하는 방식의 일 예로서, 뎁스 카메라(Depth Camera)나 거리 센서 등으로 인체의 부위를 각각 특정하는 스켈레톤(Skeleton) 방식이 있으며, 비디오 분석부(312)는 원본 비디오 데이터에 포함된 사람의 수를 검출하는 데에 있어서 특정한 방법으로 한정하지 않는다.
라인 디텍션 정보는 원본 비디오 데이터의 특정 지점에 선을 배치하여, 그 선을 경계로 하여 이동물체의 움직임을 특정한 정보를 의미한다. 오디오 디텍션 정보는 사전에 저장되어 있는 오디오 데이터와 동일하거나 유사한 주파수를 갖는 오디오를 검출하는 방식으로 저장되는 정보이다.
비디오 코덱 관리부(313)는 원본 비디오 데이터를 인코딩할 때에 추출될 수 있는 정보를 관리하고, 해당 정보를 비디오 프로파일 관리부(316)에 전달한다. 비디오 코덱 관리부(313)는 원본 비디오 데이터를 H.264, MPEG-4 와 같은 비디오 코덱으로 인코딩할 때 생성되는 모션 벡터(Motion Vector) 정보로부터 원본 비디오 데이터에 포함된 이동물체의 이동 거리(픽셀), 크기, 방향 정보를 추출해내고, 추출된 정보를 비디오 프로파일 관리부(316)로 전달한다.
센서 이벤트 관리부(314)는 카메라에 장착되어 있는 센서 기기의 이벤트 정보를 비디오 프로파일 관리부(316)에 전달하여, 비디오 프로파일을 결정하는 데에 활용하도록 한다. 카메라에 장착될 수 있는 센서로서는 PIR(Passive Infrared Ray)센서나 근접 센서(Proximity Sensor) 등이 있으며, 이 센서는 카메라가 향하고 있는 방향에서 물체의 움직임을 감지하여 카메라의 영상 촬영 기능을 활성화하거나, 카메라의 영상 촬영 기능을 물체의 움직임을 촬영하는 데에 최적화하는 데에 활용할 수 있는 정보를 제공할 수 있으며, 센서 이벤트 관리부(314)는 센서 이벤트 정보를 종합하여 비디오 프로파일 관리부(316)에 전달하여, 비디오 프로파일을 결정하는 데에 활용할 수 있도록 한다.
비디오 설정부(315)는 원본 비디오 데이터 및 전송 비디오 데이터의 비디오 프로파일의 속성값을 저장한다. 비디오 설정부(315)는 원본 비디오 데이터 및 전송 비디오 프로파일의 속성값을 저장하고 있다가, 후술할 비디오 프로파일 관리부(316)로부터 속성변경 명령을 전달받아서, 저장되어 있던 비디오 프로파일의 속성값을 변경할 수 있다. 비디오 설정부(315)에 저장될 수 있는 비디오 프로파일의 속성값으로는, 프레임레이트(Framerate), 비트레이트(Bitrate), 해상도(Resolution), 및 GOV(Group Of Video) 등이 있다.
프레임레이트는 기준시간당 비디오 데이터에서 처리되는 프레임의 수를 의미하며, 단위로는 FPS(Frame Per Second)를 사용한다. 예를 들어, 60 FPS의 비디오 데이터는, 1초당 60장의 고정된 이미지(프레임)를 연결하는 방식으로 구성되어 있다. 비디오 설정부(315)는 FPS단위로 표현된 원본 비디오 데이터 및 전송 비디오 데이터의 프레임레이트를 각각 저장한다.
비트레이트는 기준시간당 비디오 데이터의 양을 의미하며, 단위로서 BPS(Bit Per Second)를 사용한다.
해상도는 비디오 데이터의 각 프레임을 구성하는 픽셀의 개수를 의미하며, 가로 픽셀 수와 세로 픽셀 수의 곱으로 표현된다. 예를 들어, 해상도 1920 * 1080 의 비디오 데이터의 각 프레임은, 가로가 1920개의 픽셀, 세로가 1080개의 픽셀로 구성된다.
전술한 프레임레이트, 비트레이트, 및 해상도는 비디오 데이터가 얼마나 세밀한 색감 및 움직임을 오류없이 표현할 수 있는지를 수치적으로 알려준다. 비디오 설정부(315)는 원본 비디오 데이터 및 전송 비디오 데이터의 해상도를 각각 저장한다.
GOV는 H.264와 같은 비디오 코덱에 있어서, 차등 코딩을 할 때에 산출될 수 있는 수치로, 한 그룹을 구성하는 참조 프레임과 피참조 프레임의 개수의 합을 의미한다. 예를 들어, 비디오 데이터로부터 30개의 프레임을 추출했을 때, 독립 프레임인 아이-프레임이 각각 첫 번째, 16번째에 있고, 각 아이-프레임을 참조하는 피-프레임이 각각 2~15번째, 17~30번째에 위치하는 비디오 데이터 A는, 독립 프레임인 아이-프레임이 첫 번째에 있고, 아이-프레임을 참조하는 피-프레임이 각각 2~30번째에 위치하는 비디오 데이터 B보다 GOV가 더 낮다.
GOV는 비디오 데이터에 포함된 아이-프레임의 개수와 반비례하게 되며, 비디오 데이터를 전송하는 데에 있어서, 비디오 데이터의 용량과 비디오 데이터의 전송 오류 발생 여부를 예측하는 데에 이용될 수 있다. 중요도가 높은 비디오 데이터는 GOV를 낮게 설정하여 전송함으로써, 해당 비디오 데이터의 전송 오류의 확률을 더 낮출 수 있다.
비디오 프로파일 관리부(316)는 이미지 센서 정보부(311), 비디오 분석부(312), 비디오 코덱 관리부(313), 및 센서 이벤트 관리부(314)로부터 원본 비디오 데이터에 대한 각종 정보를 수신하여, 원본 비디오 데이터의 중요도를 설정한다.
Figure pat00001
수학식 1은 비디오 프로파일 관리부(316)가 원본 비디오 데이터의 중요도를 설정하는 방법의 일 예를 나타낸 수식이다.
P는 원본 비디오 데이터의 중요도, x는 원본 비디오 데이터를 의미하고, fa(x)는 원본 비디오 데이터의 이미지 센서 정보, fb(x)는 원본 비디오 데이터의 비디오 분석 정보, fc(x)는 원본 비디오 데이터의 비디오 코덱 정보, fd(x)는 원본 비디오 데이터의 센서 이벤트 정보를 의미한다.
수학식 1을 참조하면, 원본 비디오 데이터의 중요도는 전술한 이미지 센서 정보, 비디오 분석 정보, 비디오 코덱 정보, 및 센서 이벤트 정보의 합에 의해 결정될 수 있다. 수학식 1의 해석에 따라, 원본 비디오 데이터의 중요도는 한 가지 정보에 의해 바로 결정되지 않고, 여러 가지 정보를 모두 종합하여 산출된다는 것을 이해할 수 있다. 예를 들어, 이미지 센서 정보 중 하나인 조도가 높을 때, 원본 비디오 데이터에 포함된 이동물체의 움직임이 없거나 극히 적었다면, fa(x)는 높지만, fb(x) 또는 fc(x)가 낮게 되어 종합했을 때, 원본 비디오 데이터의 중요도는 높지 않은 값으로 산출될 수 있다.
비디오 프로파일 관리부(316)는 수학식 1과 같이 여러 가지의 정보를 종합적으로 고려하여 원본 비디오 데이터의 중요도를 산출하게 되며, 원본 비디오 데이터의 중요도를 산출하기 위해 사용한 수학식 1은 일 예에 불과하므로, 다른 수식으로 원본 비디오 데이터의 이미지 센서 정보, 비디오 분석 정보, 비디오 코덱 정보, 및 센서 이벤트 정보로부터 원본 비디오 데이터의 중요도를 산출하는 것이 가능하다.
네트워크 대역폭 측정부(317)는 카메라와 단말기와의 네트워크 전송 대역폭을 측정한다. 네트워크 대역폭 측정부(317)에 의해 측정된 네트워크 전송 대역폭은, 원본 비디오 데이터의 중요도를 산출하는 데에 필요한 일 정보로 이용될 수도 있고, 원본 비디오 데이터의 중요도와 별개로 작용하여, 카메라로부터 단말기로 전송하는 비디오 데이터의 전송 조건을 변경할 수도 있다.
예를 들어, 네트워크 대역폭 측정부(317)에 의해 측정된 카메라와 단말기간의 네트워크 전송 대역폭이 원본 비디오 데이터를 풀-프레임 전송 방식으로 전송하기에 충분하고, 원본 비디오 데이터의 중요도가 높은 경우, 카메라는 단말기에 일반 비디오 데이터를 풀-프레임 전송 방식으로 전송할 수 있다.
다른 예로서, 네트워크 대역폭 측정부(317)에 의해 측정된 카메라와 단말기간의 네트워크 전송 대역폭이 원본 비디오 데이터의 풀-프레임을 전송하기에 충분하지 않고, 원본 비디오 데이터의 중요도가 높은 경우, 카메라는 단말기에 일반 비디오 데이터를 아이-프레임 전송 방식을 통해 전송하거나, 비디오 서머리를 풀-프레임 전송 방식을 통해 전송할 수 있다.
일반 비디오 데이터를 아이-프레임 전송 방식을 통해 전송하는 경우에는 전송 방식을 통해서 단말기로 전송하는 데이터양을 줄일 수 있고, 비디오 서머리를 풀-프레임 전송 방식을 통해 전송하는 경우에는 재생 방식을 통해서, 단말기로 전송하는 데이터양을 줄일 수 있으므로, 카메라와 단말기간의 충분하지 않은 네트워크 전송 대역폭을 통해서도, 원본 비디오 데이터의 중요 내용을 모두 포함하는 비디오 데이터를 단말기로 전송할 수 있게 된다.
비디오 데이터 전송부(330)는 비디오 프로파일 결정부(310)가 결정한 재생 방식 및 전송 방식에 따라서 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 전송 비디오 데이터를 단말기로 전송하며, 비디오 서머리 생성부(331), 아이-프레임 변환부(333), 데이터 추출부(335), 및 데이터 분리 전송부(337)를 포함할 수 있다.
비디오 서머리 생성부(331)는 비디오 프로파일 결정부(310)가 원본 비디오 데이터의 재생 방식을 비디오 서머리로 결정한 경우, 원본 비디오 데이터로부터 비디오 서머리를 생성한다.
도 4는 원본 비디오 데이터로부터 비디오 서머리를 생성하는 방법을 도식적으로 나타낸 도면이다.
원본 비디오 데이터는 원본 비디오 데이터 구간을 참조하면, t1에서 t3사이에서는 한 명의 사람이 움직이고 있으며, t4에서 t6사이에서는 한 마리의 새가 날고 있다. 설명의 편의를 위해서, t1와 t3 사이의 시간차이와 t4와 t6 사이의 시간차이는 같다고 가정한다.
비디오 서머리 생성부(331)는 원본 비디오 데이터로부터, 이동물체인 사람과 새가 있었던 t1, t2, t3, t4, t5, t6의 프레임에 대한 데이터를 추출하여 같은 시간대에서 출력되도록 구성한다.
비디오 서머리 생성부(331)는 비디오 서머리 구간을 참조했을 때, t'1에서 t'3 사이에 원본 비디오 데이터의 t1에서 t3사이의 프레임 데이터 및 t4에서 t6사이의 프레임 데이터를 모두 투사하여 출력할 수 있게 하는 비디오 서머리를 생성함으로써, 원본 비디오 데이터에서 각각 다른 시간대에 존재했던 사람과 새가 비디오 서머리에서는 동 시간대에 존재했던 것처럼 보여지도록 할 수 있다.
원본 비디오 데이터에서 사람과 새의 움직임을 모두 관찰하기 위해서는, 적어도 t1에서 t6 사이의 시간동안 원본 비디오 데이터를 재생해야 하는 반면, 비디오 서머리에서 사람과 새의 움직임을 모두 관찰하기 위해서 t'1에서 t'3 사이의 시간동안 비디오 서머리를 재생하기만 하면 되는 장점이 있다.
단말기는 비디오 서머리를 재생할 때, 사람과 새가 출현한 시점을 메타데이터로 저장했다가, 비디오 서머리의 재생할 때, 원본 비디오 데이터 기준으로 사람과 새가 출현한 시점(t1~t3, t4~r6)을 자막이나 PIP(Picture In Picture)형태로 출력할 수도 있다. 비디오 서머리가 재생될 때 같이 출력되는 이동물체(사람, 새)의 출현시점에 대한 정보는 비디오 서머리를 본 단말기의 사용자가, 비디오 서머리가 아닌 일반 비디오 데이터에서 이동물체가 출현한 부분을 직접 확인하려고 할 때, 각 시점을 찾는 데에 있어서 편의성을 제공할 수 있다.
도 4에서 전술한 것과 같이, 비디오 서머리 생성부(331)는 원본 비디오 데이터에서 이동물체의 움직임을 감지하여, 해당 이동물체가 포함된 프레임만을 추출한 후, 추출된 프레임에 새로운 구간정보(예를 들어 t'1, t'3 등)를 삽입하여 그 구간정보에 따라 재생될 수 있는 비디오 서머리를 생성할 수 있다.
아이-프레임 변환부(333)는 재생 방식이 결정된 원본 비디오 데이터를 구성하는 각 프레임을, 다른 프레임의 데이터를 참조하는 참조 프레임과 참조 프레임으로부터 참조되는 피참조 프레임으로 구별한다. 보다 상세하게는, 아이-프레임 변환부(333)는 원본 비디오 데이터의 재생 방식이 일반 비디오 데이터 또는 비디오 서머리 중 어느 하나로 결정되면, 그 결정된 비디오 데이터를 구성하는 모든 프레임을 참조 프레임 또는 피참조 프레임으로 구별하도록 한다.
도 5는 아이-프레임 전송 방식에서 있어서, 참조 프레임과 피참조 프레임을 설명하기 위한 도면이다.
아이-프레임은 인트라 픽쳐 프레임(Intra Picture Frame)의 약칭으로서, 다른 프레임에 포함된 이미지를 참조하지 않고 독립적으로 해독이 가능한 독립형 프레임을 의미한다. 각각의 아이-프레임은 다른 프레임에 포함된 이미지를 참조하지 않으므로, 이동물체의 움직임을 포함하지 않는 원본 비디오 데이터의 배경과, 이동물체의 움직임을 포함하는 원본 비디오 데이터의 이동물체에 대한 정보를 모두 포함한다. 카메라에서 단말기로 전송되는 비디오 데이터는 첫 번째 프레임은 항상 아이-프레임이다. 아이-프레임은 후술하는 피-프레임 또는 비-프레임에 의해서 참조되는 피참조 프레임이다.
피-프레임은 프레딕티브 프레임(Predictive Frame)의 약칭으로서, 이전의 아이-프레임 또는 피-프레임에 포함된 이미지를 참조하는 프레임의 한 종류이다. 피-프레임은 이전의 아이-프레임에 포함된 이미지를 참조하는 참조 프레임이면서, 동시에 이후의 피-프레임 또는 비-프레임에 의해 참조될 수도 있는 피참조 프레임의 특성을 갖고 있다. 피-프레임은 움직임을 수반하지 않는 배경에 대한 데이터는 아이-프레임을 참조하고, 움직임을 보이는 이동물체에 대한 데이터만 포함하게 되어 아이-프레임보다 적은 비트를 요구하는 특성을 갖는다.(더 작은 용량을 차지한다)
비-프레임은 바이 프레딕티브 인터프레임(Bi-predictive Inter Frame)의 약칭으로서, 이전, 이후의 모든 피참조 프레임에 포함된 이미지를 참조하는 프레임을 의미한다.
카메라에서 단말기로 전송되는 비디오 데이터는, 도 5에서와 같이 각각의 프레임으로 나뉜 후, 각 프레임은 비트 스트림(bit stream)으로 부호화(coding)되어 전송된다. 단말기로 전송된 비트 스트림은, 단말기에 내장된 비디오 디코더에 의해 각각의 프레임으로 복원되며, 복원은 항상 피참조 프레임인 아이-프레임에 대한 비트 스트림을 시작으로 한다.
아이-프레임 변환부(333)는 도 5에서 도시된 것과 같이 재생 방식이 결정된 원본 비디오 데이터를 구성하는 각 프레임을 참조 프레임과 피참조 프레임으로 구별한다. 여기서, 아이-프레임 변환부(333)는 지연을 막기 위해서, 이전과 이후의 프레임을 모두 참조하는 비-프레임은 배제하고, 아이-프레임과 피-프레임만으로 재생 방식이 결정된 원본 비디오 데이터를 구성하는 모든 프레임을 구별시킬 수도 있다.
도 6은 피-프레임에 포함되는 데이터를 도식적으로 표현한 도면이다.
피-프레임은 아이-프레임과 같이 이전의 피참조 프레임에 포함된 이미지 중 시간에 흐름에 따라 변화하는 부분에 대한 정보를 모션 벡터(Motion Vector)의 형태로 저장한다. 즉, 모션 벡터는 각 비디오 프레임에서 움직임을 보이는 이동물체의 이동거리(픽셀), 크기, 방향에 대한 정보를 포함할 수 있다.
피-프레임은 피참조 프레임에 포함된 복수개의 매크로 블록 중 피-프레임의 타겟 블록에 포함된 데이터와 가장 많이 일치하는 매칭 블록을 찾고, 피참조 프레임의 매칭 블록이 피-프레임의 타겟 블록으로 표현되기 위해 필요한 정보를 모션 벡터로 저장한다. 이때 피참조 프레임에서 매칭 블록을 효율적으로 찾기 위해서, 피참조 프레임의 포함된 매크로 블록 중 일부를 서치 윈도우(Search Window)로 묶고, 서치 윈도우 내의 매크로 블록에서 매칭 블록을 찾는 방식을 이용할 수도 있다.
데이터 추출부(335)는 비디오 프로파일 결정부(310)에 의해 결정된 재생 방식에 따른 비디오 데이터로부터, 배경 데이터와 이동물체 데이터를 각각 추출한다. 원본 비디오 데이터는 시간의 흐름에 따라 움직임이 없거나, 움직임이 적은 배경 데이터와 시간의 흐름에 따라 움직임이 많은 이동물체 데이터를 포함한다. 배경 데이터는 카메라의 촬영 방향, 배율에 따라서 달라질 수 있고, 이동물체 데이터는 사람을 포함한 움직임이 예정되어 있는 물체에 대한 데이터이므로, 시간의 흐름에 따라 계속 달라질 수 있다.
도 7a 내지 도 7d는 원본 비디오 데이터에서 배경 데이터와 이동물체 데이터를 추출하는 일련의 과정을 도시한 도면이다.
도 7a 내지 도 7d에 대한 설명을 용이하게 하기 위해서, 도 3에 도시된 데이터 추출부(335)를 참조하도록 한다.
도 7a는 원본 비디오 데이터가 재생되고 있는 화면을 도시한다. 도 7a를 참조하면, 원본 비디오 데이터는 여러 명의 사람이 각각 다른 방향으로 움직이는 모습에 대한 내용을 포함한다.
도 7b는 원본 비디오 데이터로부터 추출된 배경 데이터가 재생되고 있는 화면을 도시한다. 도 7b에 도시된 배경 데이터는, 데이터 추출부(335)에 의해 원본 비디오 데이터로부터 추출될 수 있다. 데이터 추출부(335)가 원본 비디오 데이터로부터 배경 데이터를 추출하는 방법은, 원본 비디오 데이터에서 이동물체(사람)가 출현하기 전의 프레임의 이미지를 참조하여 추출하는 방법과 전술한 비디오 서머리를 생성하는 과정에서 움직임을 보이는 이동물체만을 추출하는 방법이 있다.
도 7c는 원본 비디오 데이터에서 이동물체의 움직임을 감지하고, 원본 비디오 데이터로부터 이동물체 데이터를 추출하는 과정을 도시한다. 데이터 추출부(335)는 직전 프레임과 비교하여, 움직임이 감지된 부분을 원본 비디오 데이터로부터 특정할 수 있으며, 이동물체 데이터로 추출되는 부분은 여러 가지 크기의 모양이 될 수 있다. 도 7c를 참조하면, 원본 비디오 데이터에 3가지의 각각 다른 크기의 블록으로 각각 다른 그룹이 이동물체 데이터로서 특정된 것을 알 수 있다.
도 7d는 원본 비디오 데이터로부터 추출된 이동물체 데이터를 도시한다. 도 7d를 참조하면, 원본 비디오 데이터로부터 추출된 이동물체 데이터는 원본 비디오 데이터에서 이동물체(사람)가 있는 부분을 중심으로 사각형의 블록형태로 추출된다. 원본 비디오 데이터로부터 이동물체로 추출되는 부분은 사격형의 블록형태뿐만 아니라 다른 형태가 될 수도 있다.
데이터 분리 전송부(337)는 배경 데이터를 단말기로 전송 후, 카메라의 위치나 방향이 이동되어 배경 데이터에 변경이 있을 때까지 이동물체 데이터만 단말기로 전송한다. 데이터 분리 전송부(337)가 배경 데이터와 이동물체 데이터를 전송하는 것은 분리 전송 방식으로서, 원본 비디오 데이터의 전송 방식 중 하나이다.
데이터 분리 전송부(337)는 데이터 추출부(335)에 의해 원본 비디오 데이터로부터 추출된 배경 데이터를 압축하고 단말기로 전송한다. 데이터 분리 전송부(337)는 배경 데이터를 단말기로 전송한 후에는, 이동물체 데이터를 압축하여 단말기로 전송한다. 데이터 분리 전송부(337)가 이동물체 데이터를 단말기로 전송하는 것은 카메라의 위치나 방향이 이동되어, 배경 데이터에 변경이 있을 때까지 계속 되며, 데이터 추출부(335)에서 배경 데이터가 변경되었다고 판단하여, 배경 데이터를 추출하면, 데이터 분리 전송부(337)는 이동물체 데이터를 단말기로 전송하는 것을 멈추고, 변경된 배경 데이터를 압축하여 단말기로 전송한다.
데이터 추출부(335)에서 배경 데이터가 변경되었다고 판단하는 방법의 일 예로서, 카메라가 PTZ(Pan Tilt Zoom)카메라이고, PTZ 정보 중 어느 하나의 정보라도 바뀌면 데이터 추출부(335)는 배경 데이터가 변경된 것으로 판단할 수 있다.
단말기로 전송된 이동물체 데이터는, 해당 이동물체 데이터보다 먼저 전송된 배경 데이터 위에 투사되는 방식으로 원본 비디오 데이터를 복원할 수 있게 되며, 단말기에서 복원된 원본 비디오 데이터는 전술한 일반 비디오 데이터 또는 비디오 서머리 중 어느 하나가 될 수 있다. 즉, 이동물체 데이터는 이동물체에 대한 정보만을 포함하고, 중복되는 배경에 대해서는 배경 데이터로부터 참조한다는 점에서 전술한 아이-프레임 전송방식과 유사한 부분도 있으나, 배경 데이터 및 이동물체 데이터가 원본 비디오 데이터로부터 산출되는 부분 데이터인 특성상, 원본 비디오 데이터보다 데이터 크기가 작으므로, 이와 같은 전송 방식에 의하면 네트워크의 비용을 최소화하면서도 원본 비디오 데이터를 카메라에서 단말기로 전송할 수 있게 된다.
선택적 실시 예로서, 데이터 분리 전송부(337)는 배경 데이터와 이동물체 데이터를 차등 압축하여 단말기에 전송함으로써, 전송 네트워크 대역폭의 효율적인 사용이 가능하다. 예를 들어, 배경 데이터가 파란색 하늘과 초록색 동산만을 표현한다면, 배경 데이터를 구성하는 색깔이 한정적인 특성에 따라 압축률이 높은 손실압축을 하고, 이동물체 데이터는 압축률이 낮은 무손실압축을 하여 단말기에 각각 전송할 수 있다. 이 경우, 원본 비디오 데이터에서 중요한 내용을 포함하는 이동물체 데이터의 전송오류를 최소화하면서도 네트워크 대역폭을 보다 효율적으로 사용할 수 있다.
도 8은 데이터 추출부 및 데이터 분리 전송부에 의해 배경 데이터 및 이동물체 데이터가 단말기로 전송되는 과정을 흐름도로 나타낸 도면이다.
도 8에 대한 설명을 용이하게 하기 위해서, 도 3에 도시된 데이터 추출부(335) 및 데이터 분리 전송부(337)를 참조하도록 한다.
데이터 추출부(335)는 원본 비디오 데이터에서 이동물체가 있는 프레임을 추출하고, 이동물체를 특정한다(S810). 원본 비디오 데이터에서 이동물체를 특정하는 방법은 모션 디텍션(Motion Detection), 어드밴스드 모션 디텍션(Advanced Motion Detection)정보, 사람계수(People Count)정보 , 라인 디텍션(Line Detection)정보 중 어느 하나를 이용할 수 있으며, 이동물체의 위치는 좌표형태로 데이터 추출부(335)에 의해 특정될 수 있다.
데이터 추출부(335)는 원본 비디오 데이터로부터 배경 데이터 및 이동물체 데이터를 각각 추출한다(S830). 데이터 분리 전송부(337)는 배경 데이터 및 이동물체 데이터를 각각 압축한다(S850). 단계 850에서, 배경 데이터 및 이동물체 데이터의 압축은 배경 데이터만 손실압축을 하는 차등 압축 방식이 적용될 수 있다. 데이터 분리 전송부(337)는 압축된 배경 데이터를 먼저 단말기에 전송 후 배경 데이터가 바뀔 때까지, 이미 전송한 배경 데이터를 참조하는 이동물체 데이터를 압축시켜 전송한다(S870).
도 9는 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법에 대한 흐름도를 도시한 도면이다.
명세서의 간명화를 위해서, 도 2와 중복되는 단계에 대한 설명은 생략하기로 한다.
비디오 프로파일 결정부는 단말기에 전송할 비디오 데이터의 재생 방식을 결정한다(S910). 비디오 프로파일 결정부는 단말기에 전송할 비디오 데이터의 재생 방식으로서, 일반 비디오 데이터 및 비디오 서머리 중 어느 하나를 결정할 수 있다.
비디오 프로파일 결정부는 일반 비디오 데이터 및 비디오 서머리 중 어느 하나인 비디오 데이터를 풀-프레임 전송 방식, 아이-프레임 전송 방식, 및 분리 전송 방식 중 어느 하나의 방식으로 전송할지 결정한다(S930)
비디오 데이터 전송부는 일반 비디오 데이터 및 비디오 서머리 중 어느 하나인 비디오 데이터로부터 배경 데이터와 이동물체 데이터를 추출한다(S950).
비디오 데이터 전송부는 일반 비디오 데이터 및 비디오 서머리 중 어느 하나인 비디오 데이터로부터 추출된 배경 데이터와 이동물체 데이터를 분리하여 전송한다(S970). 비디오 데이터 전송부는 배경 데이터와 이동물체 데이터를 동시에 전송하지 않으며, 비디오 데이터 전송부는 배경 데이터가 먼저 단말기로 전송한 후, 배경 데이터에 변경이 있을 때까지 이동물체 데이터만 단말기로 전송한다. 단말기는 배경 데이터 및 이동물체 데이터를 수신하여 비디오 프로파일 결정부가 결정한 비디오 데이터의 재생 방식에 따른 비디오 데이터를 복원할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니하고, 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
100 : 메타데이터 기반 비디오 데이터의 전송조건 변경장치
110 : 비디오 프로파일 결정부
130 : 비디오 데이터 전송부

Claims (6)

  1. 네트워크 카메라의 이미지 센서 정보 및 상기 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정하는 비디오 프로파일 결정부; 및
    상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송부를 포함하는 메타데이터 기반 비디오 데이터의 전송조건 변경장치.
  2. 제1항에 있어서, 상기 재생 방식에 따른 비디오 데이터는,
    상기 원본 비디오 데이터와 동일한 재생 시간을 가지는 일반 비디오 데이터 및 상기 원본 비디오 데이터를 상기 이동물체 움직임 정보에 따라 요약한 비디오 서머리(Video Summary) 중 어느 하나이고,
    상기 전송 방식은,
    상기 재생 방식에 따른 비디오 데이터를 구성하는 모든 프레임을 전송하는 풀-프레임(Full-Frame) 전송 방식 및 다른 프레임의 데이터를 참조하는 참조 프레임과 상기 참조 프레임으로부터 참조되는 피참조 프레임으로 구별하여 전송하는 아이-프레임(I-Frame) 전송 방식 중 어느 하나인 것을 특징으로 하는 메타데이터 기반 비디오 데이터의 전송조건 변경장치.
  3. 제1항에 있어서, 상기 전송 방식은,
    상기 재생 방식에 따른 비디오 데이터를 배경 데이터와 이동물체 데이터로 나누어 전송하는 분리 전송 방식이고,
    상기 비디오 데이터 전송부는,
    상기 재생 방식에 따른 비디오 데이터로부터 배경 데이터와 이동물체 데이터를 각각 추출하는 데이터 추출부; 및
    상기 배경 데이터를 상기 단말기로 전송 후, 상기 네트워크 카메라의 위치나 방향이 이동되어 상기 배경 데이터에 변경이 있을 때까지 상기 이동물체 데이터만 상기 단말기로 전송하는 데이터 분리 전송부를 포함하는 메타데이터 기반 비디오 데이터의 전송조건 변경장치.
  4. 네트워크 카메라의 이미지 센서 정보 및 상기 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정하는 비디오 프로파일 결정 단계; 및
    상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송 단계를 포함하는 메타데이터 기반 비디오 데이터의 전송조건 변경방법.
  5. 제4항에 있어서, 상기 재생 방식에 따른 비디오 데이터는,
    상기 원본 비디오 데이터와 동일한 재생 시간을 가지는 일반 비디오 데이터 및 상기 원본 비디오 데이터를 상기 이동물체 움직임 정보에 따라 요약한 비디오 서머리(Video Summary) 중 어느 하나이고,
    상기 전송 방식은,
    상기 재생 방식에 따른 비디오 데이터를 구성하는 모든 프레임을 전송하는 풀-프레임(Full-Frame) 전송 방식 및 다른 프레임의 데이터를 참조하는 참조 프레임과 상기 참조 프레임으로부터 참조되는 피참조 프레임으로 구별하여 전송하는 아이-프레임(I-Frame) 전송 방식 중 어느 하나인 것을 특징으로 하는 메타데이터 기반 비디오 데이터의 전송조건 변경방법.
  6. 제4항에 있어서, 상기 전송 방식은,
    상기 재생 방식에 따른 비디오 데이터를 배경 데이터와 이동물체 데이터로 나누어 전송하는 분리 전송 방식이고,
    상기 비디오 데이터 전송 단계는,
    상기 재생 방식에 따른 비디오 데이터로부터 배경 데이터와 이동물체 데이터를 각각 추출하는 데이터 추출 단계; 및
    상기 배경 데이터를 상기 단말기로 전송 후, 상기 네트워크 카메라의 위치나 방향이 이동되어 상기 배경 데이터에 변경이 있을 때까지 상기 이동물체 데이터만 상기 단말기로 전송하는 데이터 분리 전송 단계를 포함하는 메타데이터 기반 비디오 데이터의 전송조건 변경방법.
KR1020140175374A 2014-12-08 2014-12-08 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법 KR102268596B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140175374A KR102268596B1 (ko) 2014-12-08 2014-12-08 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140175374A KR102268596B1 (ko) 2014-12-08 2014-12-08 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160069429A true KR20160069429A (ko) 2016-06-16
KR102268596B1 KR102268596B1 (ko) 2021-06-23

Family

ID=56354922

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140175374A KR102268596B1 (ko) 2014-12-08 2014-12-08 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법

Country Status (1)

Country Link
KR (1) KR102268596B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213932A1 (en) * 2019-04-15 2020-10-22 Samsung Electronics Co., Ltd. Method and system for encoding, decoding and playback of video content in client-server architecture

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612083B1 (ko) * 2004-05-12 2006-08-14 (주) 멀티비아 이동통신 단말기를 이용한 영상 모니터링 시스템 및 방법
US20060256232A1 (en) 2005-05-12 2006-11-16 Fuji Photo Film Co., Ltd Moving picture communication system
KR20080035891A (ko) * 2006-10-20 2008-04-24 포스데이타 주식회사 움직임의 스마트 서치를 지원하는 영상 재생 장치 및 방법
KR20080082963A (ko) * 2005-11-15 2008-09-12 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘 비디오 시놉시스 생성 방법 및 시스템
KR101391370B1 (ko) * 2013-12-31 2014-05-02 (주)진명아이앤씨 영상수집 및 분배 서버를 이용한 영상 다중전송시스템 및 그 방법
US20140161367A1 (en) * 2012-12-12 2014-06-12 Apple Inc. Lossless Image Compression using Differential Transfer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612083B1 (ko) * 2004-05-12 2006-08-14 (주) 멀티비아 이동통신 단말기를 이용한 영상 모니터링 시스템 및 방법
US20060256232A1 (en) 2005-05-12 2006-11-16 Fuji Photo Film Co., Ltd Moving picture communication system
KR20080082963A (ko) * 2005-11-15 2008-09-12 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘 비디오 시놉시스 생성 방법 및 시스템
KR20080035891A (ko) * 2006-10-20 2008-04-24 포스데이타 주식회사 움직임의 스마트 서치를 지원하는 영상 재생 장치 및 방법
US20140161367A1 (en) * 2012-12-12 2014-06-12 Apple Inc. Lossless Image Compression using Differential Transfer
KR101391370B1 (ko) * 2013-12-31 2014-05-02 (주)진명아이앤씨 영상수집 및 분배 서버를 이용한 영상 다중전송시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213932A1 (en) * 2019-04-15 2020-10-22 Samsung Electronics Co., Ltd. Method and system for encoding, decoding and playback of video content in client-server architecture

Also Published As

Publication number Publication date
KR102268596B1 (ko) 2021-06-23

Similar Documents

Publication Publication Date Title
US7082210B2 (en) Moving object detector and image monitoring system
KR101960006B1 (ko) 비디오 인코딩 방법 및 비디오 인코더 시스템
US10986338B2 (en) Thermal-image based video compression systems and methods
JP5570176B2 (ja) 画像処理システム及び情報処理方法
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
KR102343700B1 (ko) 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신
US20130265452A1 (en) Image capture apparatus and remote control thereof
KR100741721B1 (ko) 정지영상을 함께 출력하는 보안감시시스템
US10735724B2 (en) Method and device for compressing image on basis of photography information
US20170374283A1 (en) Video transmission based on independently encoded background updates
KR101585022B1 (ko) 영상 감시 시스템에 있어서 움직임 감지를 위한 스트리밍 정보 분석 시스템 및 움직임 감지를 위한 스트리밍 정보 분석 방법
JP2007194928A (ja) 遠隔監視装置及び遠隔監視方法
WO2013011671A1 (ja) 送信装置および送信方法
KR101932539B1 (ko) 동영상 데이터를 기록하는 방법, 및 이 방법을 채용한 촬영 장치
KR102268596B1 (ko) 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법
KR101921070B1 (ko) 비트스트림 기반의 움직임 검출 장치 및 방법
JP2009100259A (ja) 監視カメラおよび画像監視システム
CN114422798A (zh) 用于对视频图像序列编码的图像处理装置、照相机和方法
JP4157661B2 (ja) 動画像内の移動物体検出方法および装置
JP2007019759A (ja) 監視カメラ
JP2008124626A (ja) 画像記録制御装置および画像記録制御方法
KR101585951B1 (ko) 영상 감시 시스템 및 영상 감시 시스템에서의 영상저장구간 결정방법
JP5906430B2 (ja) 動画伝送端末及び動画伝送システム
JP2011205683A (ja) 画像符号化装置
KR101324229B1 (ko) 감시 시스템

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant