KR102065092B1 - 영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법 - Google Patents

영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법 Download PDF

Info

Publication number
KR102065092B1
KR102065092B1 KR1020160109530A KR20160109530A KR102065092B1 KR 102065092 B1 KR102065092 B1 KR 102065092B1 KR 1020160109530 A KR1020160109530 A KR 1020160109530A KR 20160109530 A KR20160109530 A KR 20160109530A KR 102065092 B1 KR102065092 B1 KR 102065092B1
Authority
KR
South Korea
Prior art keywords
data
time
image
image data
lost
Prior art date
Application number
KR1020160109530A
Other languages
English (en)
Other versions
KR20180023724A (ko
Inventor
윤사무엘
김대영
박태헌
이미숙
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020160109530A priority Critical patent/KR102065092B1/ko
Publication of KR20180023724A publication Critical patent/KR20180023724A/ko
Application granted granted Critical
Publication of KR102065092B1 publication Critical patent/KR102065092B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/6473—Monitoring network processes errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64776—Control signals issued by the network directed to the server or the client directed to the server for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

관제 서버가 영상 데이터를 복원하는 방법으로서, 영상 수집 장치로부터 수신한 데이터를 저장하는 단계, 상기 데이터로부터 손실 데이터를 검출하는 단계, 상기 손실 데이터를 검출하는 단계, 상기 손실 데이터가 있는 경우, 상기 손실 데이터의 발생 시각을 검출하는 단계, 그리고 상기 영상 수집 장치로부터 수신한 상기 백업 영상 데이터를 이용하여 상기 손실 데이터를 복구하는 단계를 포함한다.

Description

영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법{SYSTEM FOR RESTORATION OF IMAGE DATA AND METHOD THEREOF}
본 발명은 영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법에 관한 것이다.
일반적으로 관제란 관리하여 통제하는 행위를 말하며 관제를 목적으로 하는 시스템을 의미한다. 특정 공간에 설치되어 있는 IP 카메라 등의 영상 수집 장치는 관제 지점을 촬영하고 촬영한 영상 정보를 폐쇄적인 유선 또는 무선 전송로를 통하여 관제 서버에 저장하도록 한다. 그리고 관제 서버는 특정의 목적으로 활용하고자 하는 특정 사용자에게만 전달한다.
이러한 관제 시스템은 은행의 도난 방지용으로 주로 사용되었으나 점차 범죄와 테러 위협이 증가하여 사람들의 사생활 보호 및 안전 보장을 위하여 최근에는 사용 범위가 가정, 어린이집, 학교, 회사, 및 정부 기관 등으로 확대되었으며 의료, 군사, 항공 분야 등 특수 분야에서도 그 수요가 확대되고 있다.
특히, 실생활에서 영상 수집 장치는 사람들의 안전 보장을 목적으로 아파트의 현관, 주택가의 취약 지점, 엘리베이터, 상가 등에 설치되어 시간 별 상황에 대한 모니터링 및 기록을 수행하고 있으며, 실제로 수집한 영상 정보는 사건 사고가 발생하는 경우 사건 사고 해결을 위한 핵심적인 단서를 제공해 주고 있다.
한편, 영상 수집 장치와 관제 서버 간의 연결에는 다양한 형태의 네트워크가 사용될 수 있다. 일시적인 네트워크 장애나 네트워크 대역폭 부족 등으로 인해 정상적인 영상 전송이 불가능한 상황이 발생하고, 영상이 전송되더라도 일부 패킷 전송이 누락되거나 전송 시 손실되어 품질이 낮은 영상이 전송되어, 이를 보완하기 위한 연구가 지속되고 있다.
본 발명이 해결하고자 하는 과제는 관제 시스템에 관한 것으로서, 특히 영상 데이터의 끊김이 없는 고화질의 영상을 제공하는 복원 시스템 및 이를 이용한 복원 방법을 제공하는 것이다.
본 발명의 한 실시예에 따른 관제 서버가 영상 데이터를 복원하는 방법으로서, 영상 수집 장치로부터 수신한 데이터를 저장하는 단계, 상기 데이터로부터 손실 데이터를 검출하는 단계, 상기 손실 데이터가 있는 경우, 상기 손실 데이터의 발생 시각을 검출하는 단계, 그리고 상기 영상 수집 장치로부터 수신한 백업 영상 데이터를 이용하여 상기 손실 데이터를 복구하는 단계를 포함한다.
상기 손실 데이터를 검출하는 단계는 상기 저장한 데이터 중에서 패킷 손실 비율 또는 패킷 에러가 기준 값 이상인 데이터를 상기 손실 데이터로 검출할 수 있다.
상기 손실 데이터의 발생 시각을 확인하는 단계는 상기 손실 데이터의 패킷 내에 포함된 타임스탬프를 이용하여 상기 손실 데이터의 발생 시각을 확인할 수 있다.
상기 손실 데이터의 발생 시각을 확인하는 단계 이후에, 상기 손실 데이터의 발생 시각을 포함하는 일정시간 동안 촬영된 백업 영상 데이터를 요청하는 단계를 더 포함할 수 있다.
상기 손실 데이터를 검출하는 단계는 상기 저장한 데이터 중에서 일정 시간 이후 미저장된 데이터를 상기 손실 데이터로 검출할 수 있다.
상기 손실 데이터의 발생 시각을 확인하는 단계는 상기 미저장된 데이터의 이전에 저장된 마지막 데이터 패킷 내에 포함된 타임스탬프를 이용하여 상기 손실 데이터의 발생 시각을 확인할 수 있다.
상기 손실 데이터의 발생 시각을 확인하는 단계 이후에, 상기 손실 데이터의 발생 시각을 포함하는 일정시간 동안 촬영된 백업 영상 데이터를 요청하는 단계를 더 포함할 수 있다.
상기 손실 데이터의 발생 시각을 확인하는 단계는 상기 데이터의 저장 시작 시각, 상기 데이터의 초당 프레임 수, 그리고 상기 데이터의 프레임당 패킷 수를 포함하는 데이터 정보를 이용하여 상기 손실 데이터의 발생 시각을 확인할 수 있다.
상기 손실 데이터를 복구하는 단계는 상기 손실 데이터의 발생 시각부터 일정 시간 길이의 상기 백업 영상 데이터를 복원 영상으로 추출하여 상기 손실 데이터를 복원할 수 있다.
본 발명의 한 실시예에 따른 관제 서버는 영상 수집 장치로부터 수신한 데이터를 저장하는 저장부, 상기 저장한 데이터를 검사하여 손실 데이터가 존재하는지 판단하고, 상기 손실 데이터의 발생 시각을 확인하는 검출부, 그리고 상기 영상 수집 장치로부터 수신한 백업 영상 데이터를 이용하여 상기 손실 데이터를 복구하는 복원부를 포함하고, 상기 백업 영상 데이터는 상기 손실 데이터의 발생 시각에 생성된 영상 데이터를 포함한다.
상기 검출부는 상기 저장부에 저장된 데이터 중에서 패킷 손실 비율 또는 패킷 에러가 기준 값 이상인 데이터를 상기 손실 데이터로 검출할 수 있다.
상기 검출부는 상기 손실 데이터의 패킷 내에 포함된 타임스탬프를 이용하여 상기 손실 데이터의 발생 시각을 확인할 수 있다.
상기 검출부에서 상기 손실 데이터를 검출하면 상기 손실 데이터 발생 시각 정보를 포함하는 백업 영상 데이터 요청 메시지를 상기 영상 수집 장치로 전송하고, 상기 영상 수집 장치로부터 상기 백업 영상 데이터를 수신하는 송수신부를 더 포함할 수 있다.
상기 검출부는 상기 저장부에 저장된 데이터 중에서 일정 시간 이후 미저장된 데이터를 상기 손실 데이터로 검출할 수 있다.
상기 검출부는 상기 미저장된 데이터의 이전에 저장된 마지막 데이터 패킷 내에 포함된 타임스탬프를 이용하여 상기 손실 데이터의 발생 시각을 확인할 수 있다.
상기 관제 서버는 상기 검출부에서 상기 손실 데이터를 검출하면 상기 손실 데이터 발생 시각 정보를 포함하는 백업 영상 데이터 요청 메시지를 상기 영상 수집 장치로 전송하고, 상기 영상 수집 장치로부터 상기 백업 영상 데이터를 수신하는 송수신부를 더 포함할 수 있다.
상기 검출부는 상기 데이터의 저장 시작 시각, 상기 데이터의 초당 프레임 수, 그리고 상기 데이터의 프레임당 패킷 수를 포함하는 데이터 정보를 이용하여 상기 손실 데이터의 발생 시각을 확인할 수 있다.
상기 복원부는 상기 손실 데이터의 발생 시각부터 일정 시간 길이의 상기 백업 영상 데이터를 복원 영상으로 추출하여 상기 손실 데이터를 복원할 수 있다.
본 발명의 실시예에 따르면 관제 영상의 유실을 방지하고 고화질의 영상을 확보함으로써 신뢰성 높은 관제 서비스를 제공할 수 있다.
도 1은 본 발명의 한 실시예에 따른 관제 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 한 실시예에 따른 영상 수집 장치를 나타내는 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 관제 시스템이 적용된 환경의 예시도이다.
도 4는 본 발명의 다른 실시예에 따른 영상 수집 장치를 나타내는 블록도이다.
도 5는 본 발명의 한 실시예에 따른 관제 서버를 나타내는 블록도이다.
도 6은 본 발명의 한 실시예에 따른 관제 시스템에서 네트워크 장애 및 장애 복구시에 영상 수집 장치가 영상 데이터를 관제 서버로 전송하는 방법의 예시를 설명하기 위한 흐름도이다.
도 7은 본 발명의 한 실시예에 따른 관제 시스템에서 네트워크 장애 및 장애 복구시에 관제 서버가 영상 데이터를 수신하는 방법의 예시를 설명하기 위한 흐름도이다.
도 8은 본 발명의 한 실시예에 따른 관제 시스템에서 영상 데이터를 복구하는 방법의 예시를 설명하기 위한 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 관제 시스템에서 네트워크 장애 및 장애 복구시에 관제 서버가 영상 데이터를 수신하는 방법의 예시를 설명하기 위한 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 복구 시스템에서 영상 데이터를 복구하는 방법의 예시를 설명하기 위한 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 복구 시스템에서 백업 영상 데이터를 가공하는 방법을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 한 실시예에 따른 관제 시스템이 적용된 환경의 예시도이다.
도 1을 참고하면, 본 발명의 한 실시예에 따른 관제 시스템(10)는 영상 데이터를 수집하는 영상 수집 장치(100), 그리고 영상 수집 장치(100)로부터 수집한 영상 데이터를 네트워크를 통해 전송받는 관제 서버(200)를 포함한다.
영상 수집 장치(100)는 개인의 영상 정보 또는 관제하고자 하는 관제 지점을 촬영하고, 촬영한 영상 정보를 관제 서버(200)로 전송할 수 있다.
관제 서버(200)는 적어도 하나 이상의 영상 수집 장치(100)로부터 전송된 관제 지점의 촬영 영상 정보를 내부의 메모리에 저장하거나, 저장 기능을 수행하는 별도의 물리장치 또는 가상화 자원에 설치된 저장 장치(DB)에 저장한다. 그리고 관제 서버(200)는 사용자의 요청에 따라 영상 수집 장치(100) 또는 제3의 장치와 연동하여 저장한 관제 지점의 영상 정보를 송신 및 수신할 수 있다.
영상 수집 장치(100)와 관제 서버(200) 간의 연결에는 다양한 형태의 네트워크가 사용될 수 있다. 이때, 네트워크를 구성하는 각종 네트워크 장치들의 일시적인 하드웨어, 소프트웨어의 문제 또는 네트워크 대역폭 부족 등의 네트워크 장애로 인하여 정상적인 영상 전송이 불가능한 상황이 발생한다.
본 발명에 따른 한 실시예에서 영상 수집 장치(100)는 관제 지점을 촬영하는 동안, 또는 관제 서버(200)와의 네트워크 장애 구간 동안 내부의 메모리나 외장 메모리(SD card)에 영상 데이터를 저장할 수 있다. 이하에서는 영상 수집 장치(100)가 네트워크 장애 구간 동안 메모리에 저장하는 영상 데이터를 백업 영상 데이터라 한다.
그리고 네트워크 장애가 복구되면 영상 수집 장치(100)는 기록한 백업 영상 데이터를 관제 서버(200)로 전송한다.
관제 서버(200)는 백업 영상 데이터를 영상 수집 장치(100)로부터 수신하고, 백업 영상 데이터를 이용하여 손실된 데이터를 복구할 수 있다. 이러한 환경에서, 데이터 유실 구간을 최소화하고, 고 품질의 영상 데이터를 저장하기 위한 본 발명의 한 실시예에 따른 영상 데이터 저장 시스템이 적용된 영상 수집 장치(100) 및 관제 서버(200)에 대해 이하에서 설명한다.
도 2는 본 발명의 한 실시예에 따른 영상 수집 장치를 나타내는 블록도이다.
도 2를 참고하면, 본 발명의 한 실시예에 따른 영상 수집 장치(100)는 촬영부(101), 인코더(102), 버퍼(103), 실시간 영상 스트리머(104), 이벤트 감지부(105), 이벤트 제어부(106), 백업 영상 저장부(107), 백업 영상 스트리머(108), 그리고 서버 접속부(109)를 포함할 수 있다.
촬영부(101)는 적어도 하나 이상의 카메라 모듈을 포함하고, 관제하고자 하는 관제 지점을 촬영하여 영상 신호를 획득할 수 있다.
인코더(102)는 촬영부(101)에서 촬영한 영상 신호를 코덱을 이용하여 하나 이상의 영상 정보 파일로 변환할 수 있다. 인코더(102)는 다양한 동영상 압축 규격코덱을 이용하여 영상 데이터를 생성할 수 있는데, 본 실시예에서는 H.264 코덱을 이용할 수 있다.
버퍼(103)는 영상 데이터의 실시간 스트리밍을 위하여 인코더(102)에서 인코딩된 영상 데이터를 일시적으로 저장할 수 있다.
실시간 영상 스트리머(104)는 관제 서버(200)로 실시간 촬영한 영상 데이터를 전송할 수 있다. 실시간 영상 스트리머(104)는 영상 수집 장치(100)의 특성에 따라 다양한 통신 규약을 이용하여 관제 서버(200)로 영상 데이터를 전송 할 수 있다. 예컨대, RTSP, RTP, RTMP, HLS 등의 통신 규약을 이용할 수 있다.
이벤트 감지부(105)는 영상 수집 장치(100)에서 발생한 다양한 이벤트를 감지하는 기능을 제공할 수 있다. 예컨대, 본 실시예에서는 영상 수집 장치(100)와 관제 서버(200) 간의 네트워크 장애 및 장애 복구 이벤트를 감지할 수 있다. 그러나 반드시 이에 한정되는 것은 아니며, 관제 점 및 영상 수집 장치에서 발생하는 다양한 이벤트를 감지할 수 있다.
이벤트 감지부(105)는 영상 수집 장치(100)의 네트워크 인터페이스 카드(NIC)의 오류를 감지하거나, 관제 서버(200)와의 실시간 전송 프로토콜 규약에 따라 수신하는 데이터 패킷의 세션 절단을 감지함으로써, 네트워크 장애 이벤트를 감지할 수 있다.
그리고 이벤트 감지부(105)는 영상 수집 장치(100)의 네트워크 인터페이스 카드(NIC) 기능의 복구를 감지하거나, 실시간 전송 프로토콜 규약에 따라 송수신하는 장치와의 재연결을 감지함으로써, 네트워크 장애 복구 이벤트를 감지할 수 있다.
이벤트 제어부(106)는 이벤트 감지부(105)에서 감지한 이벤트를 처리하는 기능을 제공할 수 있다. 예컨대, 본 실시예에서는 영상 수집 장치(100)와 관제 서버(200)간의 네트워크 장애 이벤트를 감지한 경우 네트워크 장애시 관제 서버(200)에 저장되는 데이터의 유실 구간의 영상 데이터를 복구하기 위하여 백업 영상 데이터 생성을 시작하도록 제어하고, 네트워크 장애 복구 이벤트를 감지한 경우 백업 영상 데이터 생성을 종료하도록 제어할 수 있다. 그러나 반드시 이에 한정되는 것은 아니며, 이벤트 감지부(105)에서 감지한 다양한 이벤트를 처리할 수 있다.
백업 영상 저장부(107)는 네트워크 장애 구간 동안 관제 서버(200)로 실시간 영상 데이터를 전송이 절체 되어 유실되거나, 손상된 데이터를 복구하기 위한 백업 영상 데이터를 저장할 수 있다. 백업 영상 저장부(107)는 영상 수집 장치(100) 내부의 메모리, 또는 SD 카드 등의 외장 메모리로 구성될 수 있다.
본 실시예에서 백업 영상 저장부(107)는 관제 지점을 촬영한 모든 영상 데이터를 저장할 수도 있고, 또는 이벤트 감지부(105)에서 관제 서버(200)와의 네트워크 장애를 감지하면 백업 영상 데이터를 저장할 수도 있다. 이때, 데이터 유실을 방지하기 위하여 버퍼(103)에 저장된 영상 데이터로부터 네트워크 장애가 시작된 시각 이전의 일정 시각부터의 영상 데이터를 저장할 수 있다.
즉, 백업 영상 저장부(107)는 네트워크 장애 이벤트 감지 시각 이전에 촬영된 소정의 여분 영상 데이터를 포함하는 백업 영상 데이터를 저장할 수 있다.
이때, 소정의 일정 시각은 사용자가 미리 설정한 시간으로 설정될 수도 있고, 영상 데이터의 종류, 관제 점에서 발생하는 다양한 이벤트 종류, 네트워크 장애의 종류, 영상 촬영 시각 및 장소 등에 따라 제어될 수 있다.
백업 영상 스트리머(108)는 네트워크 장애가 복구되면 관제 서버(200)의 요청에 따라 백업 영상 저장부(107)에 저장되어 있는 백업 영상 데이터를 전송할 수 있다. 백업 영상 스트리머(108)는 영상 수집 장치(100)의 특성에 따라 다양한 통신 규약을 이용하여 관제 서버(200)로 영상 데이터를 전송할 수 있다. 예컨대, RTSP, RTP, RTMP, HLS 등의 통신 규약을 이용할 수 있다.
서버 접속부(109)는 네트워크 장애 복구시 관제 서버(200)의 백업 영상 데이터 전송 요청에 응답하여 백업 영상 저장부(107)에 저장되어 있는 백업 영상 데이터를 백업 영상 스트리머(108)를 통하여 관제 서버(200)로 전송하도록 제어할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 관제 시스템이 적용된 환경의 예시도이다.
도 3을 참고하면, 본 발명의 다른 실시예에 따른 관제 시스템(10')은 관제 지점을 촬영하는 카메라 장치(300), 카메라 장치(300)로부터 촬영된 영상 데이터를 수집하는 영상 수집 장치(100), 그리고 영상 수집 장치(100)로부터 수집한 영상 데이터를 네트워크를 통해 전송받는 관제 서버(200)를 포함한다.
즉, 본 발명의 다른 실시예에 따른 관제 시스템(10')은 영상 수집 장치(100)가 촬영 모듈을 포함하지 않고, 관제 지점을 촬영하는 별도의 카메라 장치(300)로부터 촬영된 영상 데이터를 수집하며, 수집한 영상 데이터를 관제 서버(200)로 전송하기 위한 프록시 장치, 즉 릴레이 장치일 수 있다.
본 실시예에서 영상 수집 장치(100)는 고객 댁내에 위치할 수 있고, 고객 댁내에 위치하는 적어도 하나 이상의 촬영 장치와 접속하여 촬영 장치가 촬영한 영상 데이터를 전송받을 수 있다.
이때, 영상 수집 장치(100)는 카메라 장치(300)로부터 수신한 영상 데이터를
내부의 메모리에 저장하거나, 저장 기능을 수행하는 별도의 물리 장치 또는 가상화 자원에 설치된 저장 장치(DB)에 저장할 수 있다.
관제 서버(200)는 적어도 하나 이상의 영상 수집 장치(100)로부터 전송된 영상 데이터를 내부의 메모리에 저장하거나, 저장 기능을 수행하는 별도의 물리 장치 또는 가상화 자원에 설치된 저장 장치(DB)에 저장한다. 그리고 관제 서버(200)는 사용자의 요청에 따라 영상 수집 장치(100) 또는 제3의 장치와 연동하여 내부에 저장한 개인의 영상 정보를 송신 및 수신할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 영상 수집 장치를 나타내는 블록도이다.
도 4를 참고하면, 본 발명의 다른 실시예에 따른 영상 수집 장치(100)는 촬영부 접속부(110), 촬영 영상 수신부(120), 버퍼(130), 실시간 영상 스트리머(140), 이벤트 감지부(150), 이벤트 제어부(160), 백업 영상 저장부(170), 백업 영상 스트리머(180), 그리고 서버 접속부(190)를 포함할 수 있다.
촬영부 접속부(110)는 고객 댁내의 촬영 장치와의 접속, 설정, 제어, 이벤트 전달 등의 기능을 수행하는 통신 인터페이스일 수 있다.
촬영 영상 수신부(120)는 적어도 하나 이상의 촬영 장치와 연결되고, 촬영 장치로부터 촬영 장치에서 촬영 및 인코딩을 완료한 실시간 영상 데이터를 수신할 수 있다.
버퍼(130)는 실시간 영상 데이터를 관제 서버(200)로 재송출 하기 위하여 실시간 영상 데이터를 일시적으로 기록하는 메모리 영역일 수 있다.
이외에 실시간 영상 스트리머(140), 이벤트 감지부(150), 이벤트 제어부(160), 백업 영상 저장부(170), 백업 영상 스트리머(180), 그리고 서버 접속부(190)를 포함하는 각 구성 요소는 도 2에서 설명한 구성 요소와 유사한 기능을 수행할 수 있으며 자세한 설명은 생략하기로 한다.
도 5는 본 발명의 한 실시예에 따른 관제 서버를 나타내는 블록도이다.
도 5를 참고하면, 본 발명의 한 실시예에 따른 관제 서버(200)는 실시간 영상 수신부(201), 실시간 영상 변환부(202), 실시간 영상 저장부(203), 저장 장치(204), 이벤트 감지부(205), 이벤트 제어부(206), 이벤트 기록부(207), 단말 접속부(208), 백업 영상 수신부(209), 백업 영상 변환부(210), 백업 영상 저장부(211), 그리고 영상 복원부(212)를 포함할 수 있다.
실시간 영상 수신부(201)는 영상 수집 장치(100)로부터 실시간으로 영상 데이터를 수신할 수 있다.
실시간 영상 변환부(202)는 실시간 영상 수신부(201)에서 수신한 영상 데이터를 관제 서버(200)에서 관리하기 위한 영상 규격 즉, 컨테이너 규격에 맞게 변환할 수 있다. 이때, 실시간 영상 변환부(202)는 ASF, MP4, AVI, DAT, FLV, F4V, F4A, F4B, F4P, MKV, PS등과 같이 다양한 영상 규격에 맞게 영상 데이터를 변환할 수 있다.
실시간 영상 저장부(203)는 실시간 영상 변환부(202)에서 변환한 영상 데이터를 일시적으로 저장할 수 있다.
저장 장치(204)는 영상 데이터를 저장하기 위한 스토리지의 기능을 제공할 수 있다. 본 실시예에서는 저장 장치(204)가 관제 서버(200)의 내부에 포함된 메모리로 설명하였으나, 본 발명은 반드시 이에 한하는 것은 아니다. 즉, 저장 장치(204)는 도 1에 도시한 바와 같이 관제 서버(200)와 별도로 설치된 물리 장치 또는 가상화 자원에 형성된 저장 공간일 수 있다.
이벤트 감지부(205)는 관제 서버(200)에서 발생한 다양한 이벤트를 감지하는 기능을 제공할 수 있다. 예컨대 본 실시예에서는 영상 수집 장치(100)와 관제 서버(200) 간의 네트워크 장애 및 장애 복구 이벤트를 감지할 수 있다. 이벤트 감지부(205)는 관제 서버(200) 자체에서 네트워크 장애 및 네트워크 장애 복구 이벤트를 감지할 수도 있고, 영상 수집 장치(100)에서 수신된 메시지를 기초로 네트워크 장애 및 네트워크 장애 복구 이벤트를 감지할 수도 있다.
이벤트 제어부(206)는 이벤트 감지부(205)에서 감지한 이벤트를 처리하는 기능을 제공할 수 있다.
예컨대, 본 발명의 한 실시예에서 이벤트 감지부(205)가 영상 수집 장치(100)와 관제 서버(200)간의 네트워크 장애 발생 이벤트를 감지하면, 네트워크 장애 이벤트 발생, 네트워크 장애가 발생한 영상 수집 장치(100) 식별 정보(ID), 네트워크 장애 발생 전 촬영 영상 데이터의 저장 위치, 영상 복구 유무 정보를 포함하는 이벤트 정보를 이벤트 기록부(207)에 저장할 수 있다. 이벤트 정보는 추후 네트워크 장애가 복구되어 백업 영상 데이터를 기초로 영상 데이터를 복원할 때 사용될 수 있다.
그리고 이벤트 제어부(206)는 이벤트 감지부(205)가 영상 수집 장치(100)와 관제 서버(200)간의 네트워크 복구 이벤트를 감지하면, 이벤트 기록부(207)에 저장된 영상 수집 장치(100)의 식별 정보(ID)를 기초로 영상 수집 장치(100)에 저장된 백업 영상 데이터를 요청하는 메시지를 생성할 수 있다.
그리고 이벤트 제어부(206)는 생성한 백업 영상 데이터 요청 메시지를 단말 접속부(208)로 전송할 수 있다.
단말 접속부(208)는 영상 수집 장치(100)와의 접속, 설정, 제어, 그리고 이벤트 전달 등의 기능을 수행할 수 있다. 본 실시예에서 단말 접속부(208)는 네트워크 장애가 복구된 경우, 이벤트 제어부(206)에서 생성된 백업 영상 데이터 요청 메시지를 영상 수집 장치(100)로 전송할 수 있다.
백업 영상 수신부(209)는 영상 수집 장치(100)가 백업 영상 데이터 요청 메시지에 응답하여 전송한 백업 영상 데이터를 수신할 수 있다. 도면에서는 설명의 편의를 위하여 실시간 영상 데이터를 수신하는 실시간 영상 수신부(201)와 백업 영상 데이터를 수신하는 백업 영상 수신부(209)를 별도로 도시하였으나, 반드시 이에 한하는 것은 아니며 하나의 통신 인터페이스를 이용하여 실시간 영상 데이터 및 백업 영상 데이터를 수신할 수도 있다.
백업 영상 변환부(210)는 백업 영상 수신부(209)에서 수신한 백업 영상 데이터를 관제 서버(200)에서 관리하기 위한 영상 규격 즉, 컨테이너 규격에 맞게 변환할 수 있다. 이때, 백업 영상 변환부(210)는 ASF, MP4, AVI, DAT, FLV, F4V, F4A, F4B, F4P, MKV, PS등과 같이 다양한 영상 규격에 맞게 백업 영상 데이터를 변환할 수 있다.
백업 영상 저장부(211)는 백업 영상 변환부(210)에서 변환 및 분할한 백업 영상 데이터를 저장할 수 있다.
영상 복원부(212)는 백업 영상 저장부(211)에 저장된 백업 영상 데이터로부터 네트워크 장애로 인해 저장 장치(204)에 저장된 데이터의 유실 구간의 복원 영상을 추출할 수 있다.
본 실시예에 따른 영상 복원부(212)는 검출부, 그리고 복원부를 포함할 수 있다.
검출부는 저장 장치(204)에 저장한 데이터로부터 손실 데이터를 검출하고, 손실 데이터의 생성 시각 정보를 확인한다.
이때, 검출부는 주기적 또는 비주기적으로 상기 손실 데이터를 검출하거나, 이벤트 감지부(205)에서 영상 수집 장치(100)와 관제 서버(200) 간의 네트워크 장애를 감지하면 저장 장치(204)에 저장한 데이터로부터 손실 데이터를 검출할 수 있다.
본 실시예에서 손실 데이터는 네트워크의 장애로 인하여 영상 수집 장치(100)로부터 데이터 전송이 절체된 구간의 데이터를 의미할 수도 있고, 또는 네트워크 대역폭 부족 등으로 인한 비정상적인 전송 환경으로 인하여 데이터 패킷 전송이 누락되어 품질이 낮은 구간의 데이터를 의미할 수도 있다.
검출부는 저장 장치(204)에 저장한 데이터로부터 데이터 패킷의 손실 비율을 계산하거나, 저장한 영상 데이터의 패킷 에러 검출을 통하여 손실 데이터를 검출할 수 있다.
본 실시예에 따른 검출부는 저장 데이터 헤더(Header)에 포함된 시퀀스 번호(sequence number)를 이용하여 패킷 손실 발생 여부를 판단할 수 있고, 저장 데이터 헤더(Header)에 포함된 해시 기반 메시지 인증 코드(Hash-based Message Authentication Code, HMAC) 정보를 사용하여 해시 기반 인증을 통해 전송시 발생한 패킷의 오류를 검출할 수 있다.
그러나 본 발명은 반드시 이에 한하는 것은 아니며, 검출부는 CRC 코드 또는 FCS(Frame Check Sequence)를 이용하여 패킷 에러를 검출하거나, 저장 데이터 페이로드(payload)의 PLR(Packet Loss Recovery) 패킷을 이용하여 데이터 전송 시 발생한 패킷의 오류를 검출할 수 있다.
검출부는 패킷 손실 비율 또는 패킷 에러가 기준 값 이상인 데이터를 손실 데이터로 검출할 수 있다. 즉, 패킷이 손실 되어 영상 품질이 낮은 데이터를 손실 데이터로 검출할 수 있다.
그리고 검출부는 저장한 데이터 중에서 일정 시간 이후 미저장된 데이터를 손실 데이터로 검출할 수 있다. 즉, 네트워크 절체로 인하여 패킷이 미전송된 데이터 구간을 손실 데이터로 검출할 수 있다.
검출부는 데이터 헤더에 포함된 타임스탬프(Timestamp)정보를 이용하여 손실 데이터의 생성 시각을 확인할 수 있다. 이때, 패킷 전송시 오류가 발생하여 패킷이 손상된 경우, 검출부는 손상된 데이터 패킷의 헤더에 포함된 타임스탬프 정보를 이용하여 손실 데이터 생성 시각을 확인할 수 있다. 한편, 패킷 전송시 네트워크 장애로 인하여 패킷이 전송되지 않고 유실된 경우, 검출부는 유실되기 이전 전송된 데이터 패킷의 시퀀스 번호(sequence number)를 갖는 데이터 패킷의 타임스탬프 정보를 이용하여 손실 데이터의 생성 시각 정보를 확인할 수 있다.
그리고 검출부는 손실 데이터의 생성 시각을 이벤트 제어부(206)로 전송한다. 이벤트 제어부(206)는 손실 데이터의 생성 시각에 생성된 영상 데이터를 포함하는 백업 영상 데이터를 요청하도록 할 수 있다.
복원부는 백업 영상 저장부(211)에 저장된 백업 영상 데이터를 이용하여 검출부(206)에서 검출한 손실 데이터를 복원하는 기능을 제공할 수 있다.
또한, 복원부는 손실 데이터를 복원하면 이벤트 기록부(207)에 저장된 영상을 복구한 것으로 변경함으로써 데이터 정보를 수정할 수 있다.
한편, 본 발명의 다른 실시예에서 각 데이터 스트림에 타임스탬프 정보가 포함되어 있지 않을 수 있다. 이때 영상 복원부(212) 는 영상 데이터의 저장 시작 시각, 데이터의 초당 프레임 수, 그리고 데이터의 프레임당 패킷 수를 포함하는 데이터 정보를 이용하여 데이터 절체 시각을 계산할 수 있다. 본 발명의 다른 실시예에 따른 영상 복원부(212)가 데이터 절체 시각을 계산하는 방법은 도 11에서 보다 상세히 설명하도록 한다.
도 6은 본 발명의 한 실시예에 따른 관제 시스템에서 네트워크 장애 및 장애 복구시에 영상 수집 장치가 영상 데이터를 관제 서버로 전송하는 방법의 예시를 설명하기 위한 흐름도이다.
먼저, 영상 수집 장치(100)는 자체적으로 촬영부(101)를 포함하여 관제 지점을 촬영하거나 별도의 외부 장치로부터 수신한 영상 데이터를 실시간으로 관제 서버(200)로 전송한다(S110). 이때, 영상 수집 장치(100)는 다양한 통신 규약을 이용하여 관제 서버(200)로 영상 데이터를 전송할 수 있다. 예컨대, RTSP, RTP, RTMP, HLS 등의 통신 규약을 이용할 수 있다.
영상 수집 장치(100)와 관제 서버(200)간 네트워크 장애가 발생하면, 영상 수집 장치(100)는 네트워크 장애 이벤트를 감지(S120)하고, 백업 영상 데이터를 생성한다(S130).
영상 수집 장치(100)는 관제 지점을 촬영한 모든 영상 데이터를 내부 저장 장치에 저장할 수 있고, 내부 저장 공간이 한정적인 경우 관제 서버(200)와의 네트워크 장애를 감지한 시각부터 네트워크 장애 복구를 감지한 시각까지의 영상 데이터를 백업 영상 데이터로 저장할 수 있다.
이때, 영상 수집 장치(100)는 데이터 유실을 방지하기 위하여 네트워크 장애 이벤트를 감지한 시각 이전의 일정 시각부터 저장된 소정의 여분 영상 데이터를 포함하는 백업 영상 데이터를 저장할 수 있다.
다음, 영상 수집 장치(100)와 관제 서버(200)간 네트워크 장애가 복구되면 영상 수집 장치(100)는 네트워크 장애 복구 이벤트를 감지한다(S140).
영상 수집 장치(100)는 네트워크 장애 복구 이벤트를 감지하면 백업 영상 데이터 생성을 종료하고, 실시간으로 수집한 영상 데이터 전송을 재개한다(S150).
이때, 영상 수집 장치(100)는 데이터 유실을 방지하기 위하여 네트워크 복구 이벤트를 감지한 시각 이후의 일정 시각까지 저장된 소정의 여분 영상 데이터를 포함하는 백업 영상 데이터를 저장할 수 있다.
그리고 영상 수집 장치(100)는 관제 서버(200)로부터 전송된 백업 영상 데이터 전송 요청에 응답하여 백업 영상 데이터를 전송할 수 있다(S160).
도 7은 본 발명의 한 실시예에 따른 관제 시스템에서 네트워크 장애 및 장애 복구시에 관제 서버가 영상 데이터를 수신하는 방법의 예시를 설명하기 위한 흐름도이다.
관제 서버(200)는 영상 수집 장치(100)로부터 관제 지점을 촬영한 영상 데이터를 실시간으로 수신한다(S210).
영상 데이터는 실시간 전송 프로토콜 (Real-time Transport Protocol (RTP) 규격에 맞게 변환될 수 있으며, NAL(Network Abstraction Layer) 단위로 저장될 수 있다. NAL 헤더는 샘플링 시각을 기록한 타임스탬프를 포함할 수 있고, 하나의 프레임 내에서는 동일한 타임스탬프를 이용할 수 있다.
관제 서버(200)는 영상 수집 장치(100)로부터 전송된 영상 데이터를 내부 저장 장치에 저장(S220)하고, 저장한 영상 데이터로부터 손실된 데이터를 검출한다(S230).
관제 서버(200)는 주기적 또는 비주기적으로 저장된 영상 데이터로부터 손실된 데이터를 검출하거나, 영상 수집 장치(100)와의 네트워크 장애 발생 및 복구를 감지하면 손실된 데이터를 검출할 수도 있고, 영상 수집 장치(100)로부터 관제 영상 전송이 종료된 다음 손실된 데이터를 검출할 수도 있다.
관제 서버(200)는 저장된 영상 데이터로부터 데이터 패킷의 손실 비율을 계산하거나, 저장된 영상의 패킷 에러 검출을 통하여 손실 데이터를 검출할 수 있는데, 저장 데이터 헤더(Header)에 포함된 시퀀스 번호(sequence number)를 이용하여 패킷 손실 발생 여부를 판단할 수 있고, 저장 데이터 페이로드(payload)의 PLR(Packet Loss Recovery) 패킷을 이용하여 데이터 전송 시 발생한 패킷의 오류를 검출할 수 있다.
그리고 관제 서버(200)는 손실 데이터의 생성 시각 정보를 확인한다(S240).
관제 서버(200)는 손실 데이터 헤더에 포함된 타임스탬프(Timestamp)정보를 이용하여 손실 데이터의 생성 시각을 확인할 수 있다.
관제 서버(200)는 패킷 전송시 오류가 발생하여 패킷이 손상된 경우, 손상된 데이터 패킷의 헤더에 포함된 타임스탬프 정보를 이용하여 손실 데이터 생성 시각을 확인할 수 있다. 그리고 관제 서버(200)는 패킷 전송시 네트워크 장애로 인하여 패킷이 전송되지 않고 유실된 경우, 유실되기 이전 전송된 데이터 패킷의 시퀀스 번호(sequence number)를 갖는 데이터 패킷의 타임스탬프 정보를 이용하여 손실 데이터의 생성 시각 정보를 확인할 수 있다.
그리고 관제 서버(200)는 손실 데이터의 생성 시각에 생성된 영상 데이터를 포함하는 백업 영상 데이터 요청 메시지를 영상 수집 장치(100)로 전송하고, 영상 수집 장치(100)로부터 백업 영상 데이터를 수신한다(S250).
백업 영상 데이터는 영상 수집 장치(100)가 관제 지점을 촬영한 모든 영상 데이터를 저장할 수도 있고, 영상 수집 장치(100)와 관제 서버(200) 간 네트워크 장애가 발생하면 네트워크 장애를 감지한 시각 이전의 일정 시각부터 네트워크 복구를 감지한 시각 이후의 일정 시각까지의 영상 데이터를 포함할 수도 있다.
마지막으로 관제 서버(200)는 백업 영상 데이터를 이용하여 손실 데이터를 복구한다(S260).
도 8은 본 발명의 한 실시예에 따른 관제 시스템에서 영상 데이터를 복구하는 방법의 예시를 설명하기 위한 흐름도이다.
도 8을 참고하면, 영상 수집 장치(100)는 자체적으로 촬영하거나, 제3의 장치로부터 수신한 관제 지점의 영상 데이터를 실시간으로 관제 서버(200)로 전송한다(S310). 영상 수집 장치(100)는 다양한 통신 규약을 이용하여 관제 서버(200)로 영상 데이터를 전송할 수 있다. 예컨대, RTSP, RTP, RTMP, HLS 등의 통신 규약을 이용할 수 있다.
관제 서버(200)는 영상 수집 장치(100)로부터 전송된 영상 데이터를 실시간으로 수신하고, 수신한 영상 데이터를 저장한다(S311).
영상 데이터는 실시간 전송 프로토콜 (Real-time Transport Protocol (RTP) 규격에 맞게 변환될 수 있으며, NAL(Network Abstraction Layer) 단위로 저장될 수 있다. NAL 헤더는 샘플링 시각을 기록한 타임스탬프를 포함할 수 있고, 하나의 프레임 내에서는 동일한 타임스탬프를 이용할 수 있다.
관제 서버(200)는 영상 수집 장치(100)로부터 실시간 전송받은 영상 데이터를 저장(S331)하고, 저장한 영상 데이터의 손실 데이터를 검출한다(S332).
이때, 관제 서버(200)는 저장된 영상 데이터의 데이터 패킷의 손실 비율을 계산하거나, 저장한 영상 데이터의 패킷 에러 검출을 통하여 손실 데이터를 검출할 수 있다.
이때, 관제 서버(200)는 저장 데이터 헤더(Header)에 포함된 시퀀스 번호(sequence number)를 이용하여 패킷 손이 발생 여부를 판단할 수 있고, 저장 데이터 헤더(Header)에 포함된 해시 기반 메시지 인증 코드(Hash-based Message Authentication Code, HMAC) 정보를 사용하여 해시 기반 인증을 통해 전송시 발생한 패킷의 오류를 검출할 수 있다.
그러나 본 발명은 반드시 이에 한하는 것은 아니며, 관제 서버(200)는 CRC 코드 또는 FCS(Frame Check Sequence)를 이용하여 패킷 에러를 검출하거나, 저장 데이터 페이로드(payload)의 PLR(Packet Loss Recovery) 패킷을 이용하여 데이터 전송 시 발생한 패킷의 오류를 검출할 수 있다.
관제 서버(200)는 손실 데이터의 생성 시각 정보를 확인한다(S333).
관제 서버(200)는 손실 데이터 헤더에 포함된 타임스탬프(Timestamp)정보를 이용하여 손실 데이터의 생성 시각을 확인할 수 있는데, 패킷 전송시 오류가 발생하여 패킷이 손상된 경우, 손상된 데이터 패킷의 헤더에 포함된 타임스탬프 정보를 이용하여 손실 데이터 생성 시각을 확인할 수 있다.
한편, 관제 서버(200)는 패킷 전송시 네트워크 장애로 인하여 패킷이 전송되지 않고 유실된 경우, 유실되기 이전 전송된 데이터 패킷의 시퀀스 번호(sequence number)를 갖는 데이터 패킷의 타임스탬프 정보를 이용하여 손실 데이터의 생성 시각 정보를 확인할 수 있다.
관제 서버(200)는 영상 수집 장치(100)로 백업 영상 데이터 전송을 요청한다(S340). 관제 서버(200)는 손실 데이터의 생성 시각 정보를 포함하는 백업 데이터 전송 요청 메시지를 생성하고, 백업 데이터 전송 요청 메시지를 영상 수집 장치(100)로 전송할 수 있다.
영상 수집 장치(100)는 관제 서버의 백업 데이터 요청에 응답하여 내부 저장 장치에 저장된 백업 영상 데이터를 전송한다(S350). 이때, 백업 영상 데이터는 손실 데이터의 생성 시각에 생성된 영상 데이터를 포함할 수 있다.
관제 서버(200)는 백업 영상 데이터를 이용하여 손실 데이터를 복원한다(S360).
도 9는 본 발명의 또 다른 실시예에 따른 관제 시스템에서 네트워크 장애 및 장애 복구시에 관제 서버가 영상 데이터를 수신하는 방법의 예시를 설명하기 위한 흐름도이다.
그리고 관제 서버(200)와 영상 수집 장치(100)간 네트워크 장애가 발생하면, 관제 서버(200)는 네트워크 장애 이벤트를 감지하고, 장애 이벤트를 기록한다(S420).
이때, 장애 이벤트 기록 내용은 영상 수집 장치(100)의 식별 정보, 네트워크 장애 발생 전 저장된 영상 데이터의 위치, 파일명, 영상 복구 유무 정보 중 어느 하나 이상을 포함하는 이벤트 정보를 기록하고, 이벤트 정보를 내부 메모리에 저장할 수 있다.
이후, 관제 서버(200)와 영상 수집 장치(100)간 네트워크 장애가 복구되면, 관제 서버(200)는 네트워크 장애 복구 이벤트를 감지(S430)하고, 영상 수집 장치(100)로부터 실시간 영상 데이터 수신 및 저장을 재개한다(S440).
그리고 관제 서버(200)는 영상 수집 장치(100)로 백업 영상 데이터 전송을 요청하는 백업 데이터 전송 요청 메시지를 전송하고, 이에 응답하여 영상 수집 장치(100)로부터 전송된 백업 영상 데이터를 수신한다(S450).
백업 영상 데이터는 데이터 유실을 방지하기 위하여 네트워크 장애 이벤트를 감지한 시각 이전의 일정 시각부터 저장된 소정의 여분 영상 데이터와 네트워크 복구 이벤트를 감지한 시각 이후의 일정 시각까지 저장된 소정의 여분 영상 데이터를 포함할 수 있다.
관제 서버(200)는 저장된 영상 데이터를 이용하여 손실 데이터를 검출하고, 손실 데이터의 생성 시각 정보를 확인한다(S460).
이때, 관제 서버(200)는 저장된 영상 데이터의 데이터 패킷의 손실 비율을 계산하거나, 저장한 영상 데이터의 패킷 에러 검출을 통하여 손실 데이터를 검출할 수 있다.
관제 서버(200)는 저장된 영상 데이터로부터 데이터 패킷의 손실 비율을 계산하거나, 저장된 영상의 패킷 에러 검출을 통하여 손실 데이터를 검출할 수 있는데, 저장 데이터 헤더(Header)에 포함된 시퀀스 번호(sequence number)를 이용하여 패킷 손실 발생 여부를 판단할 수 있고, 저장 데이터 페이로드(payload)의 PLR(Packet Loss Recovery) 패킷을 이용하여 데이터 전송 시 발생한 패킷의 오류를 검출할 수 있다.
그리고 관제 서버(200)는 손실 데이터 헤더에 포함된 스탬프(Timestamp)정보를 이용하여 손실 데이터의 생성 시각을 확인할 수 있는데, 패킷 전송시 오류가 발생하여 패킷이 손상된 경우, 손상된 데이터 패킷의 헤더에 포함된 타임 스탬프 정보를 이용하여 손실 데이터 생성 시각을 확인할 수 있다.
한편, 관제 서버(200)는 패킷 전송시 네트워크 장애로 인하여 패킷이 전송되지 않고 유실된 경우, 유실되기 이전 전송된 데이터 패킷의 시퀀스 번호(sequence number)를 갖는 데이터 패킷의 타임스탬프 정보를 이용하여 손실 데이터의 생성 시각 정보를 확인할 수 있다.
그리고 관제 서버(200)는 손실 데이터의 생성 시각 정보를 이용하여 백업 영상 데이터로부터 복원 영상을 추출(S470)하고, 복구 이벤트 정보를 기록한다(S480).
도 10은 본 발명의 또 다른 실시예에 따른 복구 시스템에서 영상 데이터를 복구하는 방법의 예시를 설명하기 위한 흐름도이다.
도 10을 참고하면, 영상 수집 장치(100)는 자체적으로 촬영하거나, 제3의 장치로부터 수신한 관제 지점의 영상 데이터를 실시간으로 관제 서버(200)로 전송한다(S510). 영상 수집 장치(100)는 다양한 통신 규약을 이용하여 관제 서버(200)로 영상 데이터를 전송할 수 있다. 예컨대, RTSP, RTP, RTMP, HLS 등의 통신 규약을 이용할 수 있다.
관제 서버(200)는 영상 수집 장치(100)로부터 전송된 영상 데이터를 실시간으로 수신하고, 수신한 영상 데이터를 저장한다(S511).
영상 수집 장치(100)와 관제 서버(200) 간 네트워크의 장애가 발생(S520)하면, 영상 수집 장치(100)는 네트워크 장애 이벤트를 감지(S521)하고, 백업 영상 데이터를 생성을 시작한다(S522).
이때, 영상 수집 장치(100)는 데이터 유실을 방지하기 위하여 네트워크 장애 이벤트를 감지한 시각 이전의 일정 시각부터 저장된 소정의 여분 영상 데이터를 포함하는 백업 영상 데이터를 저장할 수 있다.
한편, 관제 서버(200) 역시 네트워크 장애 이벤트를 감지하고, 장애 이벤트를 기록한다(S523).
이때, 관제 서버(200)는 자체적으로 네트워크 장애 이벤트를 감지하거나, 외부 장치로부터 수신한 정보를 기초로 네트워크 장애 이벤트를 감지하고, 이벤트정보를 기록할 수 있다.
이벤트 정보는 영상 수집 장치(100)의 식별 정보, 네트워크 장애 발생 전 저장된 영상 데이터의 위치, 파일명, 영상 복구 유무 정보 중 어느 하나 이상을 포함할 수 있다.
그리고 영상 수집 장치(100)와 관제 서버(200)간의 네트워크 장애가 복구 (S530)되면, 영상 수집 장치(100)는 네트워크 장애 복구 이벤트를 감지(S531)하고, 백업 영상 데이터 생성을 종료(S532)한다.
이때, 영상 수집 장치(100)는 데이터 유실을 방지하기 위하여 네트워크 복구 이벤트를 감지한 시각 이후의 일정 시각까지 저장된 소정의 여분 영상 데이터를 포함하는 백업 영상 데이터를 저장할 수 있다.
한편, 영상 수집 장치(100)는 관제 서버(200)로의 실시간 영상 데이터 전송을 재개(S533)하고, 관제 서버(200)는 영상 수집 장치(100)로부터 전송된 실시간 영상 데이터 수신 및 저장을 재개한다(S534).
관제 서버(200)는 저장된 이벤트 정보를 이용하여 네트워크 장애 발생 전 촬영된 관제 지점의 영상 데이터가 저장된 위치에 네트워크 장애 발생 후 촬영된 관제 점의 실시간 영상 데이터를 후속하여 저장할 수 있다.
그리고 관제 서버(200)는 저장된 이벤트 정보를 이용하여 영상 수집 장치(100)로 백업 영상 데이터 전송을 요청하는 백업 데이터 전송 요청 메시지를 전송(S535)하고, 영상 수집 장치(100)는 백업 데이터 전송 요청 메시지에 응답하여 백업 영상 데이터를 전송한다(S536).
그리고 관제 서버(200)는 저장된 영상 데이터를 이용하여 손실 데이터를 검출하고, 손실 데이터의 생성 시각 정보를 확인한다(S537).
이때, 관제 서버(200)는 저장된 영상 데이터의 데이터 패킷의 손실 비율을 계산하거나, 저장한 영상 데이터의 패킷 에러 검출을 통하여 손실 데이터를 검출할 수 있다.
관제 서버(200)는 저장된 영상 데이터로부터 데이터 패킷의 손실 비율을 계산하거나, 저장된 영상의 패킷 에러 검출을 통하여 손실 데이터를 검출할 수 있는데, 저장 데이터 헤더(Header)에 포함된 시퀀스 번호(sequence number)를 이용하여 패킷 손실 발생 여부를 판단할 수 있고, 저장 데이터 페이로드(payload)의 PLR(Packet Loss Recovery) 패킷을 이용하여 데이터 전송 시 발생한 패킷의 오류를 검출할 수 있다.
그리고 관제 서버(200)는 손실 데이터 헤더에 포함된 타임스탬프(Timestamp)정보를 이용하여 손실 데이터의 생성 시각을 확인할 수 있는데, 패킷 전송시 오류가 발생하여 패킷이 손상된 경우, 손상된 데이터 패킷의 헤더에 포함된 타임스탬프 정보를 이용하여 손실 데이터 생성 시각을 확인할 수 있다.
한편, 관제 서버(200)는 패킷 전송시 네트워크 장애로 인하여 패킷이 전송되지 않고 유실된 경우, 유실되기 이전 전송된 데이터 패킷의 시퀀스 번호(sequence number)를 갖는 데이터 패킷의 타임스탬프 정보를 이용하여 손실 데이터의 생성 시각 정보를 확인할 수 있다.
관제 서버(200)는 백업 영상 데이터로부터 복원 영상을 추출한다(S538).
이때, 관제 서버(200)는 손실 데이터의 생성 시각 정보를 이용하여 백업 영상 데이터로부터 손실 데이터를 복원하기 위한 복원 영상을 추출할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 복구 시스템에서 백업 영상 데이터를 가공하는 방법을 설명하기 위한 도면이다.
본 실시예에서 관제 서버(200)는 실시간으로 수집한 영상 데이터를 소정의 단위 시간을 기준으로 청크 파일로 나누어 저장할 수 있다. 예컨대 단위 시간은 1분으로 설정될 수 있다. 그리고 관제 서버(200)는 단위 시간을 기준으로 분할한 각 청크 파일 이름을 저장을 시작한 시각으로 설정할 수 있다. 도 11을 참고하면, 관제 서버(200)는 07:04:43을 시작으로 1분 단위로 분할된 070443, 070543, 070643, 그리고 070743 이름을 갖는 청크 파일을 저장할 수 있다.
이때, 본 실시예에서는 영상 수집 장치(100)와의 네트워크 장애로 인해 관제 서버(200)내에 저장된 실시간 영상 데이터는 일부 구간이 유실될 수 있다.
예컨대, 영상 수집 장치(100)와의 네트워크 장애가 발생하여 관제 서버(200) 내에 저장된 영상 데이터는 07:08:20부터 07:11:16까지 데이터 절체 구간을 포함할 수 있다.
관제 서버(200)는 영상 수집 장치(100)로부터 제공된 백업 영상 데이터로부터 데이터 절체 구간의 복원 영상을 추출하여, 유실 구간을 포함하는 영상 데이터를 복구할 수 있다.
이때, 백업 영상 데이터는 영상 수집 장치(100)가 네트워크 장애 발생을 감지한 시각과 관제 서버(200)에서 실제 네트워크 장애 발생으로 인해 데이터 절체가 시작한 시각과의 차이로 인한 데이터 유실을 방지하기 위하여 네트워크 장애 이벤트를 감지한 시각 이전의 일정 시각부터 저장된 소정의 여분 영상 데이터와 네트워크 복구 이벤트를 감지한 시각 이후의 일정 시각까지 저장된 소정의 여분 영상 데이터를 포함할 수 있다.
예컨대, 관제 서버(200)가 저장한 영상 데이터의 절체 구간이 시작된 시각은 07:08:20 일수 있고, 영상 수집 장치(100)가 네트워크 장애 발생을 감지한 시각은 07:08:55일 수 있다. 이때, 영상 수집 장치(100)는 데이터 유실을 방지하기 위하여 네트워크 장애 발생 감지 시각보다 1분 전인 07:07:55부터 저장되어 여분 영상 데이터를 포함할 수 있다.
관제 서버(200)는 백업 영상 데이터 중에서 이미 저장되어 있는 데이터와 중복되는 구간의 데이터를 제거하고, 실제 데이터 절체 구간 동안의 복원 영상 데이터를 추출할 수 있다.
이때, 관제 서버(200)는 저장된 영상 데이터를 이용하여 데이터 절체 시작 시각을 계산한다.
먼저, 관제 서버(200)는 데이터 절체 시작 전에 마지막으로 저장된 청크 파일의 패킷 수를 카운트하고, 영상 데이터의 초당 프레임 수, 그리고 프레임당 패킷 수 정보를 이용하여 마지막으로 저장된 청크 파일의 재생 시간(37초)을 계산할 수 있다. 그리고 마지막 청크 파일 명(070743)에 계산한 재생 시간 정보(37)를 더하여 데이터 절체 시작 시각(07:08:20)을 계산할 수 있다.
그 다음 관제 서버(200)는 백업 영상 데이터의 시작 시각인 07:07:55부터 데이터 절체 시작 시각인 07:08:20까지 영상 데이터를 제거한다. 이때, 관제 서버(200)는 백업 영상 데이터에 중복하여 저장된 25초(07:07:55부터 07:08:20까지)의 영상 데이터를 잘라낼 수 있다.
이와 마찬가지로 관제 서버(200)는 데이터 절체 종료 시각인 07:11:16부터 백업 영상 데이터의 종료 시각인 07:11:55까지의 영상 데이터를 제거한다.
데이터 절체가 종료된 시점은 저장이 재개된 시각과 같기 때문에, 관제 서버(200)는 데이터 절체 종료 시점으로 영상 데이터 저장이 재개된 시점의 데이터 청크 파일 명(071116)을 이용할 수 있다.
이와 같이 본 발명의 실시예에 따르면 네트워크 장애가 복구되어 영상 데이터를 복원할 때 유실 데이터 및 중복 데이터를 최소화할 수 있어 신뢰성 높은 관제 서비스를 제공할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 관제 서버가 영상 데이터를 복원하는 방법으로서,
    영상 수집 장치로부터 실시간 영상 데이터를 수신하는 단계,
    상기 실시간 영상 데이터의 손실 데이터를 검출하는 단계,
    상기 손실 데이터가 있는 경우, 상기 손실 데이터의 발생 시각을 확인하는 단계,
    상기 손실 데이터의 발생 시각을 포함한 백업 영상 데이터 요청 메시지를 상기 영상 수집 장치로 전송하는 단계, 그리고
    상기 영상 수집 장치로부터 수신한 백업 영상 데이터에서 상기 실시간 영상 데이터와 중복되는 중복 데이터를 제거하고, 상기 백업 영상 데이터에서 상기 중복 데이터를 제거하고 남은 데이터를 이용하여 상기 손실 데이터를 복구하는 단계를 포함하고,
    상기 백업 영상 데이터는
    상기 손실 데이터의 발생 시각 이전의 일정 시각부터 상기 영상 수집 장치에서 수집된 데이터를 포함하는, 영상 복원 방법.
  2. 삭제
  3. 제1항에서,
    상기 손실 데이터의 발생 시각을 확인하는 단계는
    상기 손실 데이터의 패킷 내에 포함된 타임스탬프를 이용하여 상기 손실 데이터의 발생 시각을 확인하는 영상 복원 방법.
  4. 삭제
  5. 삭제
  6. 제1항에서,
    상기 손실 데이터의 발생 시각을 확인하는 단계는
    상기 손실 데이터의 발생 전에 저장된 마지막 데이터 패킷 내에 포함된 타임스탬프를 이용하여 상기 손실 데이터의 발생 시각을 확인하는 영상 복원 방법.
  7. 제6항에서,
    상기 손실 데이터의 발생 시각을 확인하는 단계 이후에,
    상기 손실 데이터의 발생 시각 이전의 일정 시각부터 상기 영상 수집 장치에 저장된 상기 백업 영상 데이터를 요청하는 단계를 더 포함하는 영상 복원 방법.
  8. 제1항에서,
    상기 손실 데이터의 발생 시각을 확인하는 단계는
    상기 실시간 영상 데이터의 저장 시작 시각, 상기 실시간 영상 데이터의 초당 프레임 수, 그리고 상기 실시간 영상 데이터의 프레임당 패킷 수를 포함하는 데이터 정보를 이용하여 상기 손실 데이터의 발생 시각을 확인하는 영상 복원 방법.
  9. 제8항에서,
    상기 손실 데이터를 복구하는 단계는
    상기 손실 데이터의 발생 시각부터 일정 시간 길이의 상기 백업 영상 데이터를 복원 영상으로 추출하여 상기 손실 데이터를 복원하는 영상 복원 방법.
  10. 영상 수집 장치로부터 수신한 실시간 영상 데이터를 저장하는 저장부,
    상기 실시간 영상 데이터를 검사하여 손실 데이터가 존재하는지 판단하고, 상기 손실 데이터의 발생 시각을 확인하는 검출부,
    상기 검출부에서 상기 손실 데이터를 검출하면 상기 손실 데이터 발생 시각 정보를 포함하는 백업 영상 데이터 요청 메시지를 상기 영상 수집 장치로 전송하고, 상기 영상 수집 장치로부터 백업 영상 데이터를 수신하는 송수신부, 그리고
    상기 백업 영상 데이터에서 상기 실시간 영상 데이터와 중복되는 중복 데이터를 제거하고, 상기 백업 영상 데이터에서 상기 중복 데이터를 제거하고 남은 데이터를 이용하여 상기 손실 데이터를 복구하는 복원부를 포함하고,
    상기 백업 영상 데이터는
    상기 손실 데이터의 발생 시각 이전의 일정 시각부터 상기 영상 수집 장치에서 수집된 데이터를 포함하는, 관제 서버.
  11. 삭제
  12. 제10항에서,
    상기 검출부는
    상기 손실 데이터의 패킷 내에 포함된 타임스탬프를 이용하여 상기 손실 데이터의 발생 시각을 확인하는 관제 서버.
  13. 삭제
  14. 삭제
  15. 제10항에서,
    상기 검출부는
    상기 손실 데이터의 발생 전에 저장된 마지막 데이터 패킷 내에 포함된 타임스탬프를 이용하여 상기 손실 데이터의 발생 시각을 확인하는 관제 서버.
  16. 삭제
  17. 제10항에서,
    상기 검출부는
    상기 실시간 영상 데이터의 저장 시작 시각, 상기 실시간 영상 데이터의 초당 프레임 수, 그리고 상기 실시간 영상 데이터의 프레임당 패킷 수를 포함하는 데이터 정보를 이용하여 상기 손실 데이터의 발생 시각을 확인하는 관제 서버.
  18. 제17항에서,
    상기 복원부는
    상기 손실 데이터의 발생 시각부터 일정 시간 길이의 상기 백업 영상 데이터를 복원 영상으로 추출하여 상기 손실 데이터를 복원하는 관제 서버.
KR1020160109530A 2016-08-26 2016-08-26 영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법 KR102065092B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160109530A KR102065092B1 (ko) 2016-08-26 2016-08-26 영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160109530A KR102065092B1 (ko) 2016-08-26 2016-08-26 영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법

Publications (2)

Publication Number Publication Date
KR20180023724A KR20180023724A (ko) 2018-03-07
KR102065092B1 true KR102065092B1 (ko) 2020-01-10

Family

ID=61689148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160109530A KR102065092B1 (ko) 2016-08-26 2016-08-26 영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법

Country Status (1)

Country Link
KR (1) KR102065092B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102244504B1 (ko) * 2019-05-28 2021-04-26 국민대학교산학협력단 캐시 파일을 이용한 삭제 메시지 복구 장치 및 방법
WO2023234432A1 (ko) * 2022-05-30 2023-12-07 엘지전자 주식회사 미라캐스트 제공 방법 및 미라캐스트 제공 시스템
KR102634802B1 (ko) * 2023-06-14 2024-02-07 유한회사 유엔에스테크 실시간 영상 관리, 영상 저장 누락 감시를 위한 시스템 및 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100812206B1 (ko) * 2007-01-04 2008-03-13 삼성전자주식회사 무선 디스플레이 장치의 방송 수신 감도를 테스트하기 위한시스템 및 방법
JP2015095705A (ja) * 2013-11-11 2015-05-18 株式会社 日立産業制御ソリューションズ 映像監視システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100812206B1 (ko) * 2007-01-04 2008-03-13 삼성전자주식회사 무선 디스플레이 장치의 방송 수신 감도를 테스트하기 위한시스템 및 방법
JP2015095705A (ja) * 2013-11-11 2015-05-18 株式会社 日立産業制御ソリューションズ 映像監視システム

Also Published As

Publication number Publication date
KR20180023724A (ko) 2018-03-07

Similar Documents

Publication Publication Date Title
US9472069B2 (en) Detecting, recording, encrypting and uploading representations of events of interest via a single point of recordation terminal (port)
US9503674B2 (en) Video recording failover
EP3468179B1 (en) Moving image splitting device and monitoring method
KR102065092B1 (ko) 영상 데이터를 복원하는 복원 시스템 및 이를 이용한 복원 방법
CN101488967A (zh) 一种视频传输方法、嵌入式监控终端及监控平台服务器
US9411690B2 (en) Security surveillance apparatus with networking and video recording functions and failure detecting and repairing method for storage device thereof
KR20140118014A (ko) 클라이언트 인증 방법
CN110620889B (zh) 视频监控系统、网络硬盘录像机及数据传送方法
JP2014216663A (ja) 映像データ送信装置及び映像データ管理システム
JP2013251588A (ja) ネットワークカメラシステム
WO2015037304A1 (ja) 画像監視システムおよび画像送信方法
KR101466007B1 (ko) 멀티플 듀플렉스 네트워크 비디오 리코더 및 그 리코딩 방법
KR20130065069A (ko) 네트워크 카메라의 데이터 전송 장치 및 방법
CN106603977B (zh) 基于Linux多核环境的视频采集方法及装置
JP2015095705A (ja) 映像監視システム
JP6357188B2 (ja) 監視カメラシステム及び監視カメラデータ保存方法
KR102101507B1 (ko) 무손실 네트워크 영상 전송 방법 및 장치
CN111162967A (zh) 一种离线开庭处理方法、装置、终端、服务器及存储介质
KR102282461B1 (ko) 객체 상황 정보를 제공하는 감시 시스템
JP6216138B2 (ja) 画像管理システム及びセンタ装置
KR101040530B1 (ko) 폐쇄회로 텔레비젼의 영상처리 시스템 및 그 방법
JP5392140B2 (ja) 映像データ収集システム
CN112037467A (zh) 告警方法及告警系统
KR20220166489A (ko) 에지 스토리지 시스템의 긴급상황에서의 데이터 긴급 백업장치 및 이를 이용한 긴급백업방법
KR20240079798A (ko) 이중화 녹취 시스템 및 녹취파일의 복원 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant