KR20070013079A - 객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및그 시스템 - Google Patents

객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및그 시스템 Download PDF

Info

Publication number
KR20070013079A
KR20070013079A KR1020050067437A KR20050067437A KR20070013079A KR 20070013079 A KR20070013079 A KR 20070013079A KR 1020050067437 A KR1020050067437 A KR 1020050067437A KR 20050067437 A KR20050067437 A KR 20050067437A KR 20070013079 A KR20070013079 A KR 20070013079A
Authority
KR
South Korea
Prior art keywords
data
background
encoded
image
decoded
Prior art date
Application number
KR1020050067437A
Other languages
English (en)
Other versions
KR100731581B1 (ko
Inventor
김승호
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020050067437A priority Critical patent/KR100731581B1/ko
Publication of KR20070013079A publication Critical patent/KR20070013079A/ko
Application granted granted Critical
Publication of KR100731581B1 publication Critical patent/KR100731581B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6338—Control signals issued by server directed to the network components or client directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

본 발명은, 영상데이터 전송시 전송되는 데이터 양을 획기적으로 감소시킬 수 있는 영상데이터 송수신 방법 및 그 시스템에 관한 것이다.
이를 위해, 본 발명은, 입력되는 영상데이터를 객체데이터와 배경데이터로 분리하여 추출하는 단계와, 상기 분리추출된 객체데이터와 배경데이터에 대하여 각각 다른 방법으로 부호화시키는 단계와, 상기 부호화 데이터에 대해 각각 다른 주기로 수신 측에 전송하는 단계를 포함하는 영상데이터 송수신 방법 및 그 시스템을 제공한다.

Description

객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및 그 시스템{Transmitting and receiving method of remote surveillant images through object recognition and system at the same of}
도 1은 본 발명에 따른 원격감시 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 원격감시 시스템에서 관리서버와 무선단말기 간의 영상데이터 전송과정을 나타낸 도면이다.
도 3은 본 발명에 따른 원격감시 시스템에서 객체인식을 통한 원격감시 영상데이터의 생성 및 전송 과정을 나타낸 순서도이다.
도 4는 도 3에서 도시된 영상데이터 전송 과정을 따라 전송된 부호화된 영상데이터를 무선단말기 등에서 재생하는 과정을 나타낸 순서도이다.
도 5는 도 3에서 설명한 영상데이터의 초기 배경 모델링과, 배경 업데이트 과정을 보여주는 도면이다.
도 6은 도 3에서 설명한 배경데이터의 H.263 데이터 부호화 방법을 나타낸 도면이다.
도 7은 도 3에서 설명한 객체데이터 패킷 형식을 나타낸 도면이다.
본 발명은 데이터 송수신 방법 및 그 시스템에 관한 것으로, 상세하게는 입력 영상을 배경과 객체로 분리하고, 각각 다른 방법으로 데이터 부호화하여, 비주기적으로 전송함으로써, 전송되는 데이터 양을 획기적으로 감소시킬 수 있는 영상데이터 송수신 방법 및 그 시스템에 관한 것이다.
일반적으로 원격 감시 시스템은 원거리에서도 특정 지역을 감시할 수 있도록 카메라를 설치하여 타지역에서 그 영상을 확인할 수 있도록 만든 시스템이다.
이러한 원격 감시 시스템은 카메라로부터 입력받은 영상을 네트워크를 거쳐 관리서버나 클라이언트로 상기 영상을 전송한다. 이때, 원거리로 상기 영상을 데이터 송·수신함에 있어, 카메라로부터 입력된 영상 전체를 데이터 부호화하여 관리 서버나 클라이언트로 데이터 송·수신을 한다.
그러나, 입력된 영상 전체를 데이터 부호화하여 송수신하는 방법은 무선 이동통신망을 통해서 실시간 감시영상 데이터를 전송하는데 있어, 많은 데이터 양을 필요로 하는 문제점이 있다.
또한, 이러한 많은 양의 데이터 전송은 기존의 시스템에 있어서 과중한 과금발생의 문제가 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 감시 카메라에서 입력되는 영상을 객체영상과 배경영상으로 추출하여 각각 다른 방법으로 부호화하고, 부호화된 데이터를 각각 다른 주기로 전송함으로써, 고화질의 감시 영상 을 적은 양의 데이터로 실시간 유지시킬 수 있는 영상데이터 송수신 방법 및 그 시스템을 제공하는 것을 목적으로 한다.
이를 통해, 무선 이동통신망에서 감시 영상 관련 서비스를 효율적으로 제공하고 운용 관리할 수 있는 효과가 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일측면에 따르면,
데이터 송수신 방법에 있어서,
(a) 입력되는 영상데이터를 객체데이터와 배경데이터로 분리하여 추출하는 단계와,
(b) 상기 (a) 단계에서 분리추출된 객체데이터와 배경데이터에 대하여 각각 다른 방법으로 부호화시키는 단계와,
(c) 상기 (b) 단계에서 부호화 데이터에 대해 각각 다른 주기로 수신 측에 전송하는 단계를 포함하는 영상데이터 송수신 방법을 제공한다.
또한, 상기 (b) 단계에서, 상기 객체데이터는 JPEG 방법으로 부호화시키고, 상기 배경데이터는 H.263 방법으로 부호화시키는 것을 특징으로 한다.
또한, 상기 (c) 단계에서, 상기 부호화된 객체데이터는 매 영상데이터 입력 때마다 전송하고, 상기 부호화된 배경데이터는 배경 업데이트 된 때만 전송하는 것을 특징으로 한다.
또한, (d) 상기 (c)단계에서 전송된 부호화 데이터에 대해, 상기 객체데이터와 배경데이터 각각에 부호화시킨 방식에 대응하는 복호화 방식에 따라 복호화시키 는 단계와, (e) 상기 (d)단계에서 복호화된 객체데이터를 상기 복호화된 배경데이터의 해당 객체위치에 삽입시켜 상기 (a)단계의 영상데이터를 재생하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 (d)단계에서 상기 객체데이터는 JPEG 방법으로 복호화시키고, 상기 배경데이터는 H.263 방법으로 복호화시키는 것을 특징으로 한다.
다른 바람직한 실시예는, 데이터 송수신 방법에 있어서,
(a) 입력되는 영상데이터에서 배경데이터를 초기화하는 단계와,
(b) 상기 (a)단계에서 상기 입력되는 영상데이터에서 객체데이터를 추출하는 단계와,
(c) 상기 (b)단계에서 추출된 객체데이터에 대해 제1방법으로 부호화하는 단계와,
(d) 상기 (a)단계에서 상기 배경데이터에 대해 배경 업데이트 수행 여부를 판단하는 단계와,
(e) 상기 (d)단계에서, 상기 배경 업데이트가 있는 경우에는 상기 업데이트된 배경데이터를 제2방법으로 부호화시켜 상기 부호화된 객체데이터와 업데이트된 배경데이터를 수신 측으로 전송하고, 그렇지 않으면 부호화된 객체데이터를 수신 측으로 전송하는 단계를 포함하는 영상데이터 송수신 방법을 제공한다.
또한, 상기 (a)단계에서, 소정의 배경 초기화 기간을 설정하고, 상기 기간 내에 설정된 배경데이터를 초기 배경데이터로 설정하는 것을 특징으로 한다.
또한, 상기 (b)단계에서, 상기 영상데이터에 대해 배경차감법에 따라 노이즈 가 포함된 배경데이터를 추출하고, 추출된 상기 배경데이터에서 노이즈를 제거하여 필요한 객체데이터를 추출하고, 바운딩 박스로 추출된 상기 객체데이터를 사각형화 하는 것을 특징으로 한다.
또한, 상기 (d)단계에서, 상기 (a)단계에서 초기화하는 배경모델링 시점부터 배경 업데이트 검사시점까지 임계치(TH)를 생성하고, 매 업데이트 검사시점마다 상기 배경데이터와 상기 입력되는 영상데이터 간의 MSE 값을 이용해서, MSE > TH이면 배경 업데이트를 수행하는 것을 특징으로 한다.
또한, 상기 배경 업데이트를 수행한다면, MSE 값 비교를 위한 임계치를 새로 생성하는 것을 특징으로 한다.
또한, 상기 (e)단계에서, 상기 (a) 단계의 배경데이터 초기화 단계에서 설정된 배경 모델링 영상은 I 프레임으로 데이터 부호화하고, 배경 업데이트 수행마다 만들어지는 배경 업데이트 영상은 P 프레임으로 데이터 부호화하는 것을 특징으로 한다.
또한, (f) 상기 (e)단계에서 전송된 부호화 데이터가 상기 배경데이터를 포함하는지 여부를 결정하는 단계와, (g) 상기 (f)단계에서 판단결과, 상기 객체데이터만 전송되었다면 상기 객체데이터를 상기 제1방법으로 복호화시키고, 이전에 복호화된 배경데이터의 객체 위치에 복호화된 객체데이터를 삽입하는 단계와, (h) 상기 (f)단계에서 판단결과, 상기 배경데이터를 포함하고 있으면 상기 배경데이터를 제2방법으로 복호화시키고, 상기 객체데이터를 제1방법으로 복호화시켜, 상기 복호화된 배경데이터의 객체 위치에 상기 복호화된 객체데이터를 삽입하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 제1방법은 JPEG 방법이고, 상기 제2방법은 H.263 방법인 것을 특징으로 한다.
또한, 상기 객체데이터 패킷은 객체 개수 필드와, 객체 한 개에 대한 정보로 구성되고, 상기 객체 한 개에 대한 정보는 전체 영상데이터에서 객체데이터의 위치를 나타내는 객체 좌표 필드, 상기 객체데이터의 크기를 나타내는 객체 데이터 크기 필드, 및 객체데이터에 대한 부호화된 데이터가 들어가는 영역인 객체데이터 필드로 구성되는 것을 특징으로 한다.
본 발명의 다른 측면은,
원격감시 카메라로부터 수신받은 영상데이터를 부호화하여 전송하는 관리서버와, 상기 부호화된 영상데이터를 수신받는 휴대단말기가 네트워크로 연결된 시스템에 있어서,
상기 관리서버는,
상기 원격감시 카메라로부터 상기 영상데이터를 수신받거나 부호화 데이터를 상기 휴대단말기에 전송하는 제1 데이터송수신부와,
상기 제1 데이터송수신부로부터 수신받은 상기 영상데이터를 객체데이터와 배경데이터로 분리 추출하는 제1 데이터처리부와,
상기 객체데이터를 제1방법에 따라 부호화하는 제1복호화부와,
상기 배경데이터를 제2방법에 따라 부호화하는 제2복호화부를 포함하는 영상데이터 송수신 시스템을 제공한다.
또한, 상기 제1 데이터처리부는 수신된 배경데이터에 변화가 있는지 여부를 판단하여 변화가 있는 경우에는 배경 업데이트를 행하는 것을 특징으로 한다.
또한, 상기 제1 데이터처리부는, 상기 배경데이터에 변화가 없는 경우에는 매 입력 영상마다 부호화된 객체데이터를 상기 제1 데이터송수신부를 통해 상기 휴대단말기에 전송하고, 상기 배경 업데이트가 있는 경우에는 배경 업데이트 된 때마다 부호화된 업데이트 배경데이터를 상기 제1 데이터송수신부를 통해 상기 휴대단말기에 전송하는 것을 특징으로 한다.
또한, 상기 휴대단말기는,
상기 관리서버로부터 이동통신망을 통해 상호 다른 주기로 전송된 부호화 데이터를 수신하는 제2 데이터송수신부와,
상기 제2 데이터송수신부를 통해 수신된 상기 부호화 데이터 중에서 객체데이터를 상기 제1방법에 따라 복호화하는 제1복호화부와,
상기 제2 데이터송수신부를 통해 수신된 상기 부호화 데이터 중에서 배경데이터를 상기 제2방법에 따라 복호화하는 제2복호화부와,
상기 제1 복호화부를 통해 복호화된 객체데이터를 상기 제2복호화부를 통해 복호화된 배경데이터의 해당 객체위치에 삽입시켜 재생시키는 제2 데이터처리부를 포함하는 것을 특징으로 한다.
또한, 상기 제1방법은 JPEG 방법이고, 상기 제2방법은 H.263 방법인 것을 특징으로 한다.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시예가 상세히 설명 되는데, 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명에 따른 원격감시 시스템(100)의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 원격감시 시스템(100)은, 원격감시 카메라(미도시)로부터 입력되는 영상데이터를 수신받아 상기 영상데이터를 부호화하여 전송하는 관리서버(110)와, 상기 관리서버에서 전송된 부호화 데이터를 수신받아 이를 복호화하여 재생하는 무선단말기(120)로 구성될 수 있다.
여기서, 관리서버(110)와 무선단말기(120) 간의 통신은 기지국을 이용한 이동통신망(130)을 통해 이루어지는데, 상기 유선망서버에서 상기 기지국간의 데이터통신은 인터넷망 등의 네트워크 망을 통한 유선통신이고, 기지국으로부터 무선단말기의 데이터통신은 무선통신을 통해 이루어질 수 있다.
또한, 원격감시 카메라로부터 수신받은 영상데이터를 부호화하여 수신측으로 전송하는 관리서버(110)는, 제1 데이터송수신부(111), 제1 데이터처리부(112), 제1부호화부(113), 및 제2부호화부(114)로 구성될 수 있다.
제1 데이터송수신부(111)는 상기 원격감시 카메라로부터 영상데이터를 수신받아 상기 제1 데이터처리부로 전송한다.
또한, 제1 데이터처리부(112)는 수신받은 상기 영상데이터를 객체데이터와 배경데이터로 분리 추출하여, 상기 객체데이터는 상기 제1부호화부로 전송하고, 상기 배경데이터는 상기 제2부호화부로 전송한다.
또한, 제1부호화부(113)는 상기 객체데이터를 JPEG(Joint Photographic coding Experts Group) 방법에 따라 부호화하고, 제2부호화부(114)는 상기 배경데이터를 H.263 방법에 따라 부호화한다.
또한, 상기 제1부호화부에 의해 부호화된 객체데이터와, 상기 제2부호화부에 의해 부호화된 배경데이터(이하, 부호화 데이터)는 제1 데이터처리부로 전송된다.
또한, 제1 데이터처리부(112)는, 부호화 데이터를 제1 데이터송수신부(111)를 통해 수신측으로 전송한다.
또한, 제1 데이터처리부(112)는 수신된 배경데이터에 변화가 있는지 여부를 판단하여 변화가 있는 경우에는 배경 업데이트를 행한다.
이때, 상기 배경데이터에 변화가 없는 경우에는 매 입력 영상마다 부호화된 객체데이터를 제1 데이터송수신부(111)를 통해 수신측으로 전송한다.
반면, 배경 업데이트가 있는 경우에는 배경 업데이트 된 때마다 부호화된 업데이트 배경데이터를 제1 데이터송수신부(111)를 통해 수신측으로 전송한다.
이를 통해, 부호화된 객체데이터의 전송주기와 부호화된 배경데이터의 전송주기가 달라지게 된다.
상기 부호화 데이터의 수신측으로서 무선단말기(120)는 제2 데이터송수신부(121)와, 제1복호화부(122), 제2복호화부(123), 및 제2 데이터처리부(124)로 구성될 수 있다.
여기서, 제2 데이터송수신부(121)는 관리서버(110)로부터 이동통신망(130)을 통해 상호 다른 주기로 전송된 부호화 데이터를 수신한다.
또한, 제1복호화부(122)는 상기 부호화 데이터 중에서 객체데이터를 JPEG 방법에 따라 복호화하고, 제2복호화부(123)는 배경데이터를 H.263 방법에 따라 복호화한다.
또한, 제2 데이터처리부(124)는 상기 제1 복호화부(122)를 통해 복호화된 객체데이터를 상기 제2복호화부(123)를 통해 복호화된 배경데이터의 해당 객체위치에 삽입시켜 재생시킨다.
한편, 관리서버(110)와 무선단말기(120)의 구성에 대한 설명에 있어, 본 발명에 필요한 구성요소에 대해 설명하고, 그외 일반적으로 사용될 수 있는 데이터 입출력을 위한 키입력부, 디스플레이부 등의 사용자인터페이스부, 데이터 저장을 위한 메모리 등에 대한 설명은 생략한다.
또한, 무선단말기에 대해 설명하였으나, 이에 한정되지 않으며, 유무선 노트북, PDA, 휴대폰, PMP, MP3 플레이어 등의 휴대용 단말기, PC, 네트워크 장비, 통신 가능한 가전기기 등 다양한 형태의 전자기기에 적용할 수 있다.
도 2는 본 발명에 따른 원격감시 시스템에서, 유선망서버(110)와 무선단말기(120) 간의 영상데이터 전송과정을 나타낸 도면이다.
먼저, 관리서버(110)는, 원격감시 카메라에서 입력되는 영상데이터를 각각 객체데이터와 배경데이터로 분리하여 추출한다(S201).
이후, 분리추출된 객체데이터와 배경데이터 각각에 대하여 상호 다른 방법으 로 부호화시킨다. 즉, 객체데이터는 JPEG 방법으로 부호화시키고, 배경데이터는 H.263 방법으로 부호화시킨다(S202).
이와 같이, 각기 다른 방법으로 부호화된 데이터를 각각 다른 주기로 무선 단말기(120)에 전송한다.
즉, 부호화된 객체데이터는 매 영상데이터 입력 때마다 전송하고, 배경데이터는 배경 업데이트 된 때만 전송하는 방식으로 부호화 데이터의 전송주기를 결정한다(S203).
이후, 기지국 등의 무선통신망을 통해 각각 다른 주기로 전송된 부호화 데이터에 대해, 객체데이터는 JPEG 방법으로 복호화시키고, 배경데이터는 H.263 방법으로 복호화시킨다(S204).
이후, 복호화된 객체데이터를 복호화된 배경데이터의 해당 객체위치에 삽입시켜 원격감시 카메라를 통해 입력된 영상데이터를 재생한다(S205).
이와 같이, 객체데이터와 배경데이터의 분리 전송을 통해 무선단말기에 데이터 전송시, 무선단말기(120)와 관리서버(110) 상호간에 송수신되는 데이터양을 감소시킬 수 있다.
또한, 이동통신망에서 감시영상 관련 서비스를 효율적으로 제공하고 운용 관리할 수 있게 한다.
도 3은 본 발명에 따른 원격감시 시스템에서 객체인식을 통한 원격감시 영상데이터의 생성 및 전송 과정을 나타낸 순서도이다.
도 3을 참조하여 본 발명에 따른 객체인식을 통한 원격감시 영상데이터의 생 성 및 전송과정을 살펴보면 다음과 같다.
먼저, 원격카메라로부터 수신받은 영상데이터를 관리하는 관리서버가 상기 영상데이터를 객체데이터와 배경데이터로 나누는 과정을 살펴본다.
입력되는 영상데이터에서 배경 초기화 과정을 통해서 초기 배경 모델을 만든다. 여기서, 소정의 배경 초기화 기간을 설정하고(S301), 그 기간 내에 설정된 배경영상을 초기 배경데이터로 한다(S302).
배경 초기화 과정 이후, 입력되는 영상데이터에 대해 설정된 배경데이터와의 배경차감법에 따라 노이즈가 포함된 배경데이터를 추출하고(S303), 추출된 배경데이터에서 노이즈를 제거하여 필요한 객체데이터를 추출한다(S304). 그러나, 여기서 추출한 객체데이터는 입력 영상데이터 중에서 객체에 대한 완전한 영상 정보를 포함하지 않을 수도 있다. 따라서, 바운딩 박스로 추출된 객체데이터를 사각형화하여 객체데이터에 대한 영역을 확장한다(S305).
이후, 관리서버는 상기 추출된 객체데이터에 대해서는 JPEG 방법을 사용하여 객체데이터를 부호화한다(S306).
여기서, 배경 업데이트 검사 시점에 배경 업데이트 수행여부를 결정하여, 배경을 업데이트 해서 현재의 영상데이터 변화를 반영할 수 있도록 한다.
가령, 배경 업데이트 검사시점을 설정하고(S308), 상기 배경 업데이트 검사시점에 입력 영상데이터와 배경데이터 사이의 MSE(Mean Square Error) 값을 이용하여 배경 업데이트 수행여부를 결정한다. 즉, 배경 업데이트 검사시점에서 입력영상 데이터와 배경데이터의 MSE 차이가 임계치(TH)보다 큰지 여부를 판단하고(S309), 임계치보다 크면 현재 영상데이터의 변화가 있는 것으로 보아 배경 업데이트를 수행하고(S310), 임계치보다 크지 않으면 현재 영상데이터의 변화가 없는 것으로 본다.
따라서, 배경 업데이트 검사시점이 아니거나 임계치보다 크지 않아 현재 영상데이터의 변화가 없는 것으로 볼 경우에는 부호화된 객체데이터만을 전송한다(S307).
그러나, MSE 차이가 임계치보다 커서 배경데이터의 업데이트가 있는 경우에는 업데이트된 배경데이터를 H.263 방법에 따라 부호화시킨다(S311).
이후, 부호화된 객체데이터와 업데이트된 배경데이터를 함께 전송한다(S312).
여기서, 데이터 전송 주기에 있어서도, 객체데이터는 매 입력 영상마다 전송하나, 배경 업데이트 수행은 배경 업데이트 검사시점에서 변화가 있는 경우에만 배경데이터를 부호화하여 전송시키므로, 객체와 배경데이터의 전송주기에 있어서도 차이가 있다.
도 4는 도 3에서 도시된 영상데이터 전송 과정을 따라 전송된 부호화된 영상데이터를 무선단말기 등에서 재생하는 과정을 나타낸 순서도이다.
도 4를 참조하여, 무선단말기 등에서 개별적으로 부호화된 영상데이터의 재생과정을 살펴보면 다음과 같다.
먼저, 무선 단말기 등에서 수신받은 영상데이터가 배경데이터를 포함하는지 여부를 결정하여(S401), 배경데이터를 포함하지 않고 객체데이터만 전송되었다면, 객체데이터를 JPEG 방법으로 복호화시킨다(S403).
이후, 수신받은 객체데이터 패킷(도 7참조)의 객체 위치정보를 이용하여, 이전에 복호화된 배경데이터의 객체 위치에 복호화된 객체데이터를 삽입한다(S404).
그러나, 배경데이터를 포함하고 있으면, 배경데이터를 H.263 방법으로 복호화시키고(S402), 객체데이터를 JPEG 방법으로 복호화시킨다(S403).
이와 같이, 수신받은 영상데이터가 배경데이터를 포함하고 있다면, 배경데이터를 H.263 방법으로 복호화하여, 각기 다른 방법으로 복호화된 배경데이터의 객체 위치에 객체데이터를 삽입한다(S404).
따라서, 객체데이터가 삽입된 배경데이터를 재생함으로써(S405), 감시영상 데이터의 재생이 종료된다.
도 5는 도 3에서 설명한 영상데이터의 초기 배경 모델링과, 배경 업데이트 과정을 보여주는 도면이다.
도 5를 참조하여, 입력 영상에 따른 배경 모델링, 배경 업데이트, 및 임계치 생성 방법을 살펴본다.
입력 영상에 대하여 처음 영상(초기영상)으로부터 N 프레임까지를 배경 초기화 기간으로 설정하는 배경 모델링을 행한다. 이후, N 프레임(배경모델링시점)부터 K 프레임(업데이트 검사시점)까지 임계치(TH)를 생성하고, 매 업데이트 검사시점마다 배경데이터와 입력 영상 사이의 MSE(Mean Square Error) 값을 이용해서 배경 업데이트 수행여부를 결정한다.
즉, MSE > TH이면 배경 업데이트를 수행하고, 그렇지 아니하면 배경 변화가 없는 것으로 본다.
또한, 배경 업데이트를 수행한다면, MSE(Mean Square Error) 값 비교를 위한 임계치를 새로 생성한다.
도 6은 도 3에서 설명한 배경데이터의 H.263 데이터 부호화 방법을 나타낸 도면이다.
도 6에 도시된 바와 같이, 배경데이터의 종류에는 배경 초기화 기간에 설정된 처음 배경 모델로서 배경 모델링 영상과, 매 업데이트 검사시점에서의 업데이트 수행여부에 따라 업데이트 된 배경 업데이트 영상이 있다.
상기 배경 데이터는 H.263 방법에 따라 부호화하는데, 처음 배경 모델로 설정한 배경 모델링 영상은 I 프레임으로 데이터 부호화하여 전송한다.
또한, 그 이후의 배경 업데이트 수행마다 만들어지는 배경 업데이트 영상은 P 프레임으로 데이터 부호화하여 전송한다.
도 7은 도 3에서 설명한 객체데이터 패킷 형식을 나타낸 도면이다.
도 7에 도시된 바와 같이, 객체데이터 패킷의 데이터구조는 객체개수, 객체한개에 대한 정보로 구성된다.
여기서, 객체 개수 필드는 관리 서버에서 인식하여 전송하는 객체의 수를 나타낸다.
또한, 객체 한 개에 대한 정보는 객체 좌표 필드, 객체 데이터 크기 필드, 객체데이터 필드로 구성된다. 이때, 객체 좌표 필드는 전체 영상데이터에서 객체데이터의 위치를 나타내고, 객체 데이터 크기 필드는 상기 객체 데이터의 크기를 나타내며, 객체 데이터 필드는 객체데이터에 대한 부호화된 데이터가 들어가는 영역을 나타낸다.
따라서, 객체 개수 필드 다음의 객체 한 개에 대한 정보는 객체의 개수에 따라 추가된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 소정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어 져서는 안 될 것이다.
이상에서, 본 발명은 감시 카메라에서 입력되는 영상을 객체영상과 배경영상으로 추출하여 각각 다른 방법으로 부호화하고, 부호화된 데이터를 각각 다른 주기로 전송함으로써, 고화질의 감시 영상 정보를 적은 양의 데이터로 실시간 유지시킬 수 있다.
또한, 데이터를 전송할 때마다 필요한 객체 정보를 보내고, 배경 영상이 업데이트 되었을 때에만 배경 정보를 전송하여, 망에서 원격 감시 영상을 전송하는데 있어서, 저전송으로 영상데이터를 전송할 수 있게 한다.
이를 통해, 망의 성능을 향상시키며, 이를 상용화함에 따라, 사용자의 과금 부담을 감소시킬 수 있다.

Claims (19)

  1. 데이터 송수신 방법에 있어서,
    (a) 입력되는 영상데이터를 객체데이터와 배경데이터로 분리하여 추출하는 단계와,
    (b) 상기 (a) 단계에서 분리추출된 객체데이터와 배경데이터에 대하여 각각 다른 방법으로 부호화시키는 단계와,
    (c) 상기 (b) 단계에서 부호화 데이터에 대해 각각 다른 주기로 수신 측에 전송하는 단계를 포함하는 것을 특징으로 하는 영상데이터 송수신 방법.
  2. 제1항에 있어서,
    상기 (b) 단계에서, 상기 객체데이터는 JPEG 방법으로 부호화시키고, 상기 배경데이터는 H.263 방법으로 부호화시키는 것을 특징으로 하는 영상데이터 송수신 방법.
  3. 제1항에 있어서,
    상기 (c) 단계에서, 상기 부호화된 객체데이터는 매 영상데이터 입력 때마다 전송하고, 상기 부호화된 배경데이터는 배경 업데이트 된 때만 전송하는 것을 특징으로 하는 영상데이터 송수신 방법.
  4. 제1항에 있어서,
    (d) 상기 (c)단계에서 전송된 부호화 데이터에 대해, 상기 객체데이터와 배경데이터 각각에 부호화시킨 방식에 대응하는 복호화 방식에 따라 복호화시키는 단계와,
    (e) 상기 (d)단계에서 복호화된 객체데이터를 상기 복호화된 배경데이터의 해당 객체위치에 삽입시켜 상기 (a)단계의 영상데이터를 재생하는 단계를 더 포함하는 것을 특징으로 하는 영상데이터 송수신 방법.
  5. 제4항에 있어서,
    상기 (d)단계에서 상기 객체데이터는 JPEG 방법으로 복호화시키고, 상기 배경데이터는 H.263 방법으로 복호화시키는 것을 특징으로 하는 영상데이터 송수신 방법.
  6. 데이터 송수신 방법에 있어서,
    (a) 입력되는 영상데이터에서 배경데이터를 초기화하는 단계와,
    (b) 상기 (a)단계에서 상기 입력되는 영상데이터에서 객체데이터를 추출하는 단계와,
    (c) 상기 (b)단계에서 추출된 객체데이터에 대해 제1방법으로 부호화하는 단계와,
    (d) 상기 (a)단계에서 상기 배경데이터에 대해 배경 업데이트 수행 여부를 판단하는 단계와,
    (e) 상기 (d)단계에서, 상기 배경 업데이트가 있는 경우에는 상기 업데이트된 배경데이터를 제2방법으로 부호화시켜 상기 부호화된 객체데이터와 업데이트된 배경데이터를 수신 측으로 전송하고, 그렇지 않으면 부호화된 객체데이터를 수신 측으로 전송하는 단계를 포함하는 것을 특징으로 하는 영상데이터 송수신 방법.
  7. 제6항에 있어서,
    상기 (a)단계에서, 소정의 배경 초기화 기간을 설정하고, 상기 기간 내에 설정된 배경데이터를 초기 배경데이터로 설정하는 것을 특징으로 하는 영상데이터 송수신 방법.
  8. 제6항에 있어서,
    상기 (b)단계에서, 상기 영상데이터에 대해 배경차감법에 따라 노이즈가 포함된 배경데이터를 추출하고, 추출된 상기 배경데이터에서 노이즈를 제거하여 필요한 객체데이터를 추출하고, 바운딩 박스로 추출된 상기 객체데이터를 사각형화 하는 것을 특징으로 하는 영상데이터 송수신 방법.
  9. 제6항에 있어서,
    상기 (d)단계에서, 상기 (a)단계에서 초기화하는 배경모델링 시점부터 배경 업데이트 검사시점까지 임계치(TH)를 생성하고, 매 업데이트 검사시점마다 상기 배 경데이터와 상기 입력되는 영상데이터 간의 MSE 값을 이용해서, MSE > TH이면 배경 업데이트를 수행하는 것을 특징으로 하는 영상데이터 송수신 방법.
  10. 제9항에 있어서,
    상기 배경 업데이트를 수행한다면, MSE 값 비교를 위한 임계치를 새로 생성하는 것을 특징으로 하는 영상데이터 송수신 방법.
  11. 제6항에 있어서,
    상기 (e)단계에서, 상기 (a) 단계의 배경데이터 초기화 단계에서 설정된 배경 모델링 영상은 I 프레임으로 데이터 부호화하고, 배경 업데이트 수행마다 만들어지는 배경 업데이트 영상은 P 프레임으로 데이터 부호화하는 것을 특징으로 영상데이터 송수신 방법.
  12. 제6항에 있어서,
    (f) 상기 (e)단계에서 전송된 부호화 데이터가 상기 배경데이터를 포함하는지 여부를 결정하는 단계와,
    (g) 상기 (f)단계에서 판단결과, 상기 객체데이터만 전송되었다면 상기 객체데이터를 상기 제1방법으로 복호화시키고, 이전에 복호화된 배경데이터의 객체 위치에 복호화된 객체데이터를 삽입하는 단계와,
    (h) 상기 (f)단계에서 판단결과, 상기 배경데이터를 포함하고 있으면 상기 배경데이터를 제2방법으로 복호화시키고, 상기 객체데이터를 제1방법으로 복호화시켜, 상기 복호화된 배경데이터의 객체 위치에 상기 복호화된 객체데이터를 삽입하는 단계를 더 포함하는 것을 특징으로 하는 영상데이터 송수신 방법.
  13. 제6항 또는 제12항에 있어서,
    상기 제1방법은 JPEG 방법이고, 상기 제2방법은 H.263 방법인 것을 특징으로 하는 영상데이터 송수신 방법.
  14. 제6항에 있어서,
    상기 객체데이터 패킷은 객체 개수 필드와, 객체 한 개에 대한 정보로 구성되고, 상기 객체 한 개에 대한 정보는 전체 영상데이터에서 객체데이터의 위치를 나타내는 객체 좌표 필드, 상기 객체데이터의 크기를 나타내는 객체 데이터 크기 필드, 및 객체데이터에 대한 부호화된 데이터가 들어가는 영역인 객체데이터 필드로 구성되는 것을 특징으로 하는 영상데이터 송수신 방법.
  15. 원격감시 카메라로부터 수신받은 영상데이터를 부호화하여 전송하는 관리서버와, 상기 부호화된 영상데이터를 수신받는 휴대단말기가 네트워크로 연결된 시스템에 있어서,
    상기 관리서버는,
    상기 원격감시 카메라로부터 상기 영상데이터를 수신받거나 부호화 데이터를 상기 휴대단말기에 전송하는 제1 데이터송수신부와,
    상기 제1 데이터송수신부로부터 수신받은 상기 영상데이터를 객체데이터와 배경데이터로 분리 추출하는 제1 데이터처리부와,
    상기 객체데이터를 제1방법에 따라 부호화하는 제1복호화부와,
    상기 배경데이터를 제2방법에 따라 부호화하는 제2복호화부를 포함하는 것을 특징으로 하는 영상데이터 송수신 시스템.
  16. 제15항에 있어서,
    상기 제1 데이터처리부는 수신된 배경데이터에 변화가 있는지 여부를 판단하여 변화가 있는 경우에는 배경 업데이트를 행하는 것을 특징으로 하는 영상데이터 송수신 시스템.
  17. 제16항에 있어서,
    상기 제1 데이터처리부는,
    상기 배경데이터에 변화가 없는 경우에는 매 입력 영상마다 부호화된 객체데이터를 상기 제1 데이터송수신부를 통해 상기 휴대단말기에 전송하고,
    상기 배경 업데이트가 있는 경우에는 배경 업데이트 된 때마다 부호화된 업데이트 배경데이터를 상기 제1 데이터송수신부를 통해 상기 휴대단말기에 전송하는 것을 특징으로 하는 영상데이터 송수신 시스템.
  18. 제15항에 있어서,
    상기 휴대단말기는,
    상기 관리서버로부터 이동통신망을 통해 상호 다른 주기로 전송된 부호화 데이터를 수신하는 제2 데이터송수신부와,
    상기 제2 데이터송수신부를 통해 수신된 상기 부호화 데이터 중에서 객체데이터를 상기 제1방법에 따라 복호화하는 제1복호화부와,
    상기 제2 데이터송수신부를 통해 수신된 상기 부호화 데이터 중에서 배경데이터를 상기 제2방법에 따라 복호화하는 제2복호화부와,
    상기 제1 복호화부를 통해 복호화된 객체데이터를 상기 제2복호화부를 통해 복호화된 배경데이터의 해당 객체위치에 삽입시켜 재생시키는 제2 데이터처리부를 포함하는 것을 특징으로 하는 영상데이터 송수신 시스템.
  19. 제15항 또는 제18항에 있어서,
    상기 제1방법은 JPEG 방법이고, 상기 제2방법은 H.263 방법인 것을 특징으로 하는 영상데이터 송수신 시스템.
KR1020050067437A 2005-07-25 2005-07-25 객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및그 시스템 KR100731581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050067437A KR100731581B1 (ko) 2005-07-25 2005-07-25 객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050067437A KR100731581B1 (ko) 2005-07-25 2005-07-25 객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및그 시스템

Publications (2)

Publication Number Publication Date
KR20070013079A true KR20070013079A (ko) 2007-01-30
KR100731581B1 KR100731581B1 (ko) 2007-06-22

Family

ID=38012957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050067437A KR100731581B1 (ko) 2005-07-25 2005-07-25 객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및그 시스템

Country Status (1)

Country Link
KR (1) KR100731581B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230069342A (ko) * 2021-11-12 2023-05-19 주식회사 핀텔 동적프레임이 존재하는 구간의 검출방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101589490B1 (ko) * 2008-11-18 2016-01-28 삼성전자주식회사 디지털 영상 처리기에서 이미지 압축 및 해제 장치 및 방법
KR100967718B1 (ko) * 2009-06-02 2010-07-07 주식회사 비스타씨엔씨 물체인식 정보를 이용한 영상 보안시스템
KR101516996B1 (ko) 2013-10-18 2015-05-04 주식회사 엘지유플러스 단말기에서 디스플레이장치로 영상데이터를 송신하는 영상송신방법 및 상기 영상송신방법에 의해 송신된 영상데이터를 수신 및 재생하는 영상수신 및 재생방법
CN105681764A (zh) * 2016-03-15 2016-06-15 崇州市隆兴孔学梅家庭农场 基于水果避雨种植技术培育水果的智能化种植棚

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100420620B1 (ko) * 2001-02-16 2004-03-02 주식회사 이스턴정보통신 객체기반 영상 감시시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230069342A (ko) * 2021-11-12 2023-05-19 주식회사 핀텔 동적프레임이 존재하는 구간의 검출방법

Also Published As

Publication number Publication date
KR100731581B1 (ko) 2007-06-22

Similar Documents

Publication Publication Date Title
CN109479143B (zh) 一种帧间预测的图像编解码方法和装置
CN109691098A (zh) 视频编码方法、解码方法及终端
CN104702976A (zh) 一种视频播放方法及设备
WO2018141116A1 (zh) 编解码方法及装置
MX2014012452A (es) Metodo y aparato para determinar imagenes de referencia para inter-prediccion.
WO2014142358A1 (en) Distribution control system, distribution control method, and computer-readable storage medium
CN111417985A (zh) 用于编码/解码表示3d对象的点云的几何形状的方法和设备
CN102257831B (zh) 一种视频质量评估的方法和网络节点
KR20140006102A (ko) 후속 적용들을 용이하게 하기 위해 비디오 이미지 파라미터들을 동적으로 적응시키기 위한 방법
KR100731581B1 (ko) 객체 인식을 통한 원격감시 영상데이터의 송수신 방법 및그 시스템
US20200259880A1 (en) Data processing method and apparatus
WO2014142342A1 (en) Distribution control system, distribution control method, and computer-readable storage medium
CN104320669A (zh) 视频传输方法及装置
CN109922340B (zh) 图像编解码方法、装置、系统及存储介质
CN105122818A (zh) 计算机系统、分发控制系统、分发控制方法和计算机可读存储介质
JP2021100243A (ja) 画像保存サービス提供方法、コンピュータプログラム、及びコンピューティング装置
US20130223525A1 (en) Pixel patch collection for prediction in video coding system
WO2019233423A1 (zh) 获取运动矢量的方法和装置
CN113342811A (zh) HBase表格数据处理方法及装置
US11281422B2 (en) Video data display method and device
US20230415036A1 (en) Display control in cloud gaming applications
CN113674387B (zh) 非自然场景视频的视频处理方法、装置
US9519955B2 (en) Method of embedding of an image with a color transform
CN109246434B (zh) 视频编码、解码方法及电子设备
CN113160342B (zh) 基于反馈的编码方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20120530

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20120806

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee