KR101235280B1 - 동영상 모니터링 시스템 - Google Patents

동영상 모니터링 시스템 Download PDF

Info

Publication number
KR101235280B1
KR101235280B1 KR1020100076552A KR20100076552A KR101235280B1 KR 101235280 B1 KR101235280 B1 KR 101235280B1 KR 1020100076552 A KR1020100076552 A KR 1020100076552A KR 20100076552 A KR20100076552 A KR 20100076552A KR 101235280 B1 KR101235280 B1 KR 101235280B1
Authority
KR
South Korea
Prior art keywords
image
video
target
pixel
search
Prior art date
Application number
KR1020100076552A
Other languages
English (en)
Other versions
KR20120014463A (ko
Inventor
이정무
Original Assignee
이정무
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이정무 filed Critical 이정무
Priority to KR1020100076552A priority Critical patent/KR101235280B1/ko
Publication of KR20120014463A publication Critical patent/KR20120014463A/ko
Application granted granted Critical
Publication of KR101235280B1 publication Critical patent/KR101235280B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 동영상 모니터링 시스템에 관한 것으로서, 보다 상세하게는 영상 검색엔진을 통해 녹화된 동영상이나 실시간으로 전송되는 동영상에서 기준영상과 비교하여 이미지의 변화가 기준치 이상 있는 대상영상만을 검색 추출하고, 추출된 대상영상을 통해 다양한 편리 기능을 제공하는 동영상 모니터링 시스템에 관한 것으로서, 실시간으로 전송되는 동영상에서 이미지의 변화가 있는 부분을 놓치지 않고 모니터링 할 수 있고, 녹화된 동영상에서는 모니터링 시간을 획기적으로 단축시킬 수 있으며, 그에 따라 모니터링 인력도 줄일 수 있고, 실시간 모니터링 시에 이상 상황이 발생되면 즉시 관계자의 단말기로 이를 알려 신속한 대처가 가능하고, 모니터링한 영상을 주고 받을 때 이미지 변화가 있는 부분 적은 양의 필요한 정보만을 주고 받을 수 있어 효율적이고, 특히 영상 검색엔진은 이미지의 표준화와 데이터의 수치화를 통해 기준영상과 대상영상의 비교 검색의 정확성과 신뢰성 및 검색속도 뛰어나 모니터링 품질이 우수한 동영상 모니터링 시스템에 관한 것이다.
본 발명에 따른 동영상 모니터링 시스템은 동영상이 저장되는 동영상 저장수단; 검색의 기준 및 대상이 되는 기준영상과 대상영상의 영상 프레임을 픽셀 단위로 재구성하고, 각 픽셀을 대표 색상으로 일원화하여 표준영상을 취득하는 이미지 표준화모듈과, 상기 표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 인덱스영상을 취득하는 이미지 데이터 변환모듈과, 상기 이미지 데이터 변환모듈에서 취득한 인덱스영상으로서 기준영상과 대상영상의 매칭되는 픽셀 간의 수치 데이터를 비교하여, 상기 기준영상과 대상영상의 유사도를 판단하는 이미지 비교모듈을 포함하는 영상 검색엔진을 포함하는 운영서버; 사용자의 조작신호를 입력받는 입력부와, 상기 저장수단에 저장된 영상이 디스플레이되는 모니터를 포함하되, 상기 모니터는 상기 운영서버를 통해서 전송되는 동영상의 검색 대상영상은 재생화면에 재생시키고, 검색영상들은 잔류화면에 파노라마식으로 표시하되, 잔류화면에 표시된 검색영상들 중 어느 하나가 선택되면, 재생화면에 선택된 검색영상 이후의 영상을 재생시키는 모니터링수단;을 포함하여 이루어지는 영상 모니터링 시스템에 있어서, 상기 운영서버는 상기 저장수단에 저장되어 있는 영상들 중에서, 상기 이미지 비교모듈의 비교결과 유사도가 기준치를 벗어나, 기준영상과 대비하여 이미지의 변화가 발생되었다고 판단되는 대상영상을 추출하여 상기 모니터링수단으로 전송하는 것을 특징으로 한다.

Description

동영상 모니터링 시스템{Monitoring system of images}
본 발명은 동영상 모니터링 시스템에 관한 것으로서, 보다 상세하게는 영상 검색엔진을 통해 녹화된 동영상이나 실시간으로 전송되는 동영상에서 기준영상과 비교하여 이미지의 변화가 기준치 이상 있는 대상영상만을 검색 추출하고, 추출된 대상영상을 통해 다양한 편리 기능을 제공하는 동영상 모니터링 시스템에 관한 것으로서, 실시간으로 전송되는 동영상에서 이미지의 변화가 있는 부분을 놓치지 않고 모니터링 할 수 있고, 녹화된 동영상에서는 모니터링 시간을 획기적으로 단축시킬 수 있으며, 그에 따라 모니터링 인력도 줄일 수 있고, 실시간 모니터링 시에 이상 상황이 발생되면 즉시 관계자의 단말기로 이를 알려 신속한 대처가 가능하고, 모니터링한 영상을 주고 받을 때 이미지 변화가 있는 부분 적은 양의 필요한 정보만을 주고 받을 수 있어 효율적이고, 특히 영상 검색엔진은 이미지의 표준화와 데이터의 수치화를 통해 기준영상과 대상영상의 비교 검색의 정확성과 신뢰성 및 검색속도 뛰어나 모니터링 품질이 우수한 동영상 모니터링 시스템에 관한 것이다.
범죄예방, 교통상황 확인, 사고상황 확인, 용의자 확인 및 검거 등의 목적으로 전국적으로 이미 2만개 가까이 CCTV 인프라가 설치되어 있고, CCTV가 촬영한 동영상은 범인검거와 사고발생 책임소재 확인 등에서 효과를 톡톡히 발휘하면서 사생활 침해 논란에도 불구하고 보다 많은 CCTV의 설치 요구가 강하다.
이처럼 CCTV가 촬영한 동영상은 범죄예방, 범인검거, 사고발생 책임소재 확인 등에서 큰 효과를 발휘하지만,
녹화 저장된 동영상에서 사고발생 당시의 상황이 촬영된 부분을 찾아내는 것은 쉬운 일이 아니고,
한명의 모니터링 요원이 실시간으로 여러대의 CCTV에서 전송되는 동영상들 모두를 놓치지 않고 모니터링하는 것은 어렵다.
실시간 모니터링은 중요시설물이나 사고 다발지역에 대해 이루어지는 것이 일반적이고, 이러한 장소에 대한 실시간 동영상은 끊김 없이 지속적으로 모니터링되어야 한다.
그러나 모니터링 요원이 계속해서 모니터만 주시하는 것은 현실적으로 불가능하다. 화장실 용무 등으로 잠시 잠시 자리를 비울 수밖에 없다. 그리고 한 명의 모니터링 요원이 여러 대의 CCTV에서 전송되는 다수의 동영상들을 모두 놓치지 않고 확인한다는 것 또한 현실적으로 불가능에 가깝다.
따라서 실시간 동영상의 모니터링에서는 이미지의 변화가 있는 경우 이를 별도로 추출하고, 이를 알려줄 필요가 있고, 특히 화재발생이나 무단 침입과 같은 특정 상황이 발생한 때에는 모니터링 요원뿐만 아니라 다른 관계자에게 이를 알려 신속한 후속 조치가 이루어지도록 할 필요가 잇다.
그런데 종래기술에서는 특정 상황이 발생한 경우에 이를 자동으로 관계자에게 알리는 수단이 별도로 구비되어 있지 않다.
그리고 녹화 저장된 동영상을 모니터링하는 경우에는 사고발생 시간과 장소를 정확히 알지 못하면 녹화된 동영상 파일 전체를 재생시켜 사고발생 당시의 상황이 촬영되었는지 확인하여야 한다.
하루 24시간 분량의 동영상 파일을 확인하려면 24시간이 소요되고, 빠른 재생으로 확인하더라도 5시간 이상이 소요된다.
그리고 동영상은 보통 초당 30 프레임(정지영상) 정도로 구성되어 있어서, 1분의 영상을 모니터링 하려고 해도 1800(30*60) 개의 영상 프레임을 모니터링 해야 하기 때문에 모니터링 해야 할 대상 이미지가 너무 많기 때문에 모니터링 속도가 현저히 떨어진다.
그런데 많은 CCTV가 골목길이나 주차장 등과 같이 배경의 변화가 별로 없는 지역에 설치되고, 그에 따라 CCTV가 촬영하는 동영상 전체에서 사람이나 사물이 출몰하여 모니터링이 필요한 부분은 많지 않다는 것이다.
다시 말해 24시간 분량의 동영상 파일에서 모니터링이 필요한 부분은 1,2시간 정도에 지나지 않는 것이다.
따라서 동영상 파일 전체에 대해 모니터링하는 것은 비효율적이고 불필요한 인력의 낭비가 되는 것이다.
이러한 문제를 해결하기 위해 등록특허 제0452097호 "영상데이터의 변화값 추출을 이용한 영상데이터 저장방법", 등록특허 제0873445호 "영상차이 인식 시스템 및 영상 시스템을 이용한 영상차이 인식방법" 등에서는 전체 동영상에서 이미지의 변화가 있는 부분만을 추출하여 디스플레이시킴으로써 모니터링 시간을 단축하는 동영상 모니터링 시스템에 관한 기술을 개시하고 있다.
동영상 모니터링 시스템에서는 동영상을 구성하는 연속된 정지영상들 중에서 이미지의 변화가 발생하여 모니터링 대상이 되는 정지영상을 검색 추출하고, 정지영상들 중에서 특정 객체(사람, 사물)가 포함되어 있는 정지영상을 검색하는 영상 검색엔진이 무엇보다 중요하다.
검색엔진이 모니터링 대상이 되는 대상영상을 얼마나 빠르게, 그리고 얼마나 정확하게 검색 추출하는지가 동영상 모니터링 시스템의 전체 품질을 좌우한다고 할 수 있다.
영상 검색엔진은 검색의 기준이 되는 기준영상과 검색 대상이 되는 대상영상을 상호 비교하여 두 영상의 유사도를 판단함으로써 대상영상을 검색 추출한다.
종래기술로서 상기 두 등록특허의 영상 검색엔진은 기준영상과 대상영상의 영상 프레임을 n×m의 픽셀 단위로 나누고, 기준영상의 영상 프레임과 대상영상의 영상 프레임에서 동일 위치의 두 셀의 밝기(즉, 그레이 스케일) 또는 색상을 상호 비교하여 영상 프레임의 전체 픽셀 중 동일한 픽셀의 개수로 유사도를 검색하는 방법을 사용한다.
종래기술의 검색엔진은 기준영상과 대상영상에서 동일위치 두 픽셀의 밝기나 색상을 직접 비교하는 방식으로 비교 시간이 오래 소요되는 문제가 있다.
또한, 종래기술의 검색엔진은 기준영상과 대상영상의 배경 이미지가 동일함을 전제로 하고 있다. 즉, 대상영상에 새로운 물체가 출몰했는지 여부를 검색하는 것을 주된 목적으로 하고 있다.
다시 말해, 종래기술은 카메라가 엘리베이터 안이나, 주차장 등을 고정된 위치에서 고정된 앵글과 초점 등의 조건으로 촬영한 동영상의 영상 프레임들 중에서 기준영상과 대상영상을 선택하여 상호 비교 검색을 하게 되므로,
기준영상과 대상영상은 초점과 해상도 등이 동일할 뿐만 아니라 배경 이미지는 위치, 색상, 크기 등도 동일하고, 단지 영상에 새롭게 나타난 객체 이미지의 유무만이 다를 뿐이다.
따라서 종래기술에서는 기준영상과 대상영상에 동일한 검색객체 이미지가 존재하더라도, 기준영상과 대상영상의 검색객체 이미지의 크기가 다르거나, 색상이 다르거나, 위치가 다르거나, 색상이 다른 경우, 배경 이미지가 다른 경우 등에서는
검색엔진의 비교 결과 기준영상과 대상영상의 유사도 낮게 나오게 되어, 실제적으로 영상에서 객체의 출몰이 없어 이미지의 변화가 없음에서 영상의 이미지 변화가 있는 것으로 판단하여 대상영상을 추출하거나, 대상영상에 찾고자하는 객체가 포함되어 있음에도 유사도가 낮게 나온 결과 대상영상에 객체가 포함되어 있지 않은 것으로 판단하여 대상영상을 추출해내지 못하는 문제가 발생한다.
본 발명은 위와 같이 종래기술에 따른 동영상 모니터링 시스템의 문제점을 해결하기 위해 안출된 발명으로서, 동영상 전체에 대한 모니터링 시간과 인력을 획기적으로 줄이고, 특히 이미지 검색엔진이 대상영상의 유사도를 검색하는 시간을 단축하고, 이미지 검색의 정확성과 신뢰성을 높여 동영상 모니터링 시스템의 효율성을 높이고, 또한, 이상 상황이 발생한 경우 이를 즉시 관계자에게 알려 신속한 후속조치가 가능하도록 한 동영상 모니터링 시스템을 제공함을 목적으로 한다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 동영상 모니터링 시스템은
동영상이 저장되는 동영상 저장수단;
검색의 기준 및 대상이 되는 기준영상과 대상영상의 영상 프레임을 픽셀 단위로 재구성하고, 각 픽셀을 대표 색상으로 일원화하여 표준영상을 취득하는 이미지 표준화모듈과,
상기 표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 인덱스영상을 취득하는 이미지 데이터 변환모듈과,
상기 이미지 데이터 변환모듈에서 취득한 인덱스영상으로서 기준영상과 대상영상의 매칭되는 픽셀 간의 수치 데이터를 비교하여, 상기 기준영상과 대상영상의 유사도를 판단하는 이미지 비교모듈을 포함하는 영상 검색엔진을 포함하는 운영서버;
사용자의 조작신호를 입력받는 입력부와, 상기 저장수단에 저장된 영상이 디스플레이되는 모니터를 포함하되,
상기 모니터는 상기 운영서버를 통해서 전송되는 동영상의 검색 대상영상은 재생화면에 재생시키고, 검색영상들은 잔류화면에 파노라마식으로 표시하되, 잔류화면에 표시된 검색영상들 중 어느 하나가 선택되면, 재생화면에 선택된 검색영상 이후의 영상을 재생시키는 모니터링수단;을 포함하여 이루어지는 영상 모니터링 시스템에 있어서,
상기 운영서버는 상기 저장수단에 저장되어 있는 영상들 중에서, 상기 이미지 비교모듈의 비교결과 유사도가 기준치를 벗어나, 기준영상과 대비하여 이미지의 변화가 발생되었다고 판단되는 대상영상을 추출하여 상기 모니터링수단으로 전송하는 것을 특징으로 한다.
그리고 상기 영상 검색엔진은
상기 표준영상에서 특정 객체에 해당하는 어느 한 픽셀을 기준 픽셀로 선택하고, 선택된 기준 픽셀과 인접하는 주변 픽셀의 색상을 비교하여 주변 픽셀들 중 상기 특정 객체를 구성하는 구성 픽셀을 선택하고, 다시 선택된 구성 픽셀과 인접하는 주변 픽셀의 색상을 비교하는 방식으로, 표준영상에서 특정 객체에 대한 영역을 추출하는 객체 영역추출모듈을 더 포함하여 이루어지고,
상기 이미지 데이터 변환모듈은 상기 객체 영역추출모듈이 추출한 특정 객체들(예; 사람, 사물) 각각에 대한 영역을 각각 새로운 대상영상으로 하여 인덱스영상을 생성하고,
상기 이미지 비교모듈은 기준영상과 상기 이미지 데이터 변환모듈이 추출한 특정 객체에 대한 대상영상을 비교하여 유사도를 판단하고,
상기 운영서버는 상기 이미지 비교모듈의 비교결과 유사도가 기준치를 벗어나, 상기 기준영상에 포함되어 있는 객체와 동종의 객체가 포함되어 있는 것으로 판단되는 대상영상 및 이 대상영상의 촬영시각을 추출하여 상기 모니터링수단으로 전송하는 것을 특징으로 하고,
상기 운영서버는
상기 영상 검색엔진이 추출한 대상영상들을 분석하여 기설정된 특정상황에 해당되는 대상영상이 존재하는 경우, 기등록된 관계자의 단말기로 특정상황의 발생사실을 알리는 경보부를 더 포함하는 것을 특징으로 하고,
상기 영상 검색엔진은
상기 이미지 표준화모듈에서 취득한 표준영상으로서 기준 표준영상과 대상 표준영상의 매칭되는 픽셀을 상호 비교하고, 일치하는 픽셀을 투명화 처리하여 대상 표준영상에서 투명처리영상을 취득하는 투명화모듈을 더 포함하고,
상기 이미지 데이터 변환모듈은
표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 초기 인덱스영상을 취득하는 데이터 변환부와,
상기 초기 인덱스영상에서 각 픽셀의 수치 데이터를 바탕으로 검색객체에 해당하지 않는 영역의 행과 열을 제거하여 조정 인덱스영상을 취득하는 행열제거부를 포함하여 이루어지는 것을 특징으로 한다.
위와 같은 구성을 갖는 본 발명에 따른 동영상 모니터링 시스템은 동영상 전체에서 이미지의 변화가 있어 모니터링이 필요한 대상영상들만을 추출하여 제공하므로 녹화된 동영상이나 실시간 동영상의 모니터링 작업이 간편하며 신속하고, 모니터링 인력도 줄일 수 있으며, 실시간으로 제공되는 동영상들을 모니터링 하는 때에는 객체의 출몰로 이미지의 변화가 발생한 부분을 놓치지 않고 모니터링 할 수 있다.
그리고 실시간 모니터링 중에 화재발생이나 무단침입과 같은 특정 상황이 발생되면 이를 감지함과 동시에 해당 화면과 함께 관계자에게 휴대폰, 이메일 또는 경보음 등으로 즉시 자동으로 알려 신속한 후속 조치가 이루어질 수 있도록 한다.
그리고 동영상에 출목하는 객체의 종류(사람, 동물, 자동차, 오토바이 등)를 인식하고, 특정 종류의 객체가 나타나는 부분의 동영상을 추출하여 제공하여, 특정 종류의 객체가 나타나는 부분만을 모니터링 할 수 있다.
그리고 동영상의 배경이 복잡한 경우에 배경 이미지를 투명화 처리하고, 배경 이외에 이미지만으로 변화를 감지하여 모니터링의 효율성을 높일 수 있다.
그리고 이미지가 변화된 부분만을 추출 및 저장하고, 이 부분의 영상만을 관계기관에 전송을 할 수 있으므로, 적은 양의 동영상 그리고 필용한 부분의 동영상만을 빠르게 전송할 수 있다.
또한, 영상 검색엔진은 이미지 검색 속도가 빠르고, 이미지 검색의 정확성 및 신뢰성이 높아 동영상 모니터링 시스템의 전체적인 효율도 한차원 업그레이드 시킨다.
도 1 은 본 발명에 따른 동영상 모니터링 시스템의 블록 구성도.
도 2 는 모니터링수단 모니터의 디스플레이 일례도.
도 3 은 본 발명의 이미지 검색엔진의 블록 구성도.
도 4 는 이미지 검색엔진에서 표준화 처리를 통해 표준영상을 생성취득하는 방법을 설명하기 위한 도면.
도 5 a,b 는 이미지 검색엔진에서 각각 초기 인덱스영상을 생성 취득하는 방법과, 조정 인덱스영상을 생성 취득하는 방법을 설명하기 위한 도면.
도 6 은 이미지 검색엔진에서 전체 표준영상에서 특정 객체에 대한 영역을 추출하여 객체 표준영상을 생성 취득하는 방법을 설명하기 위한 도면.
도 7 은 이미지 검색엔진에서 기준영상에 대하여 대상영상을 투명화처리하여 투명처리영상을 생성 취득하고, 투명처리영상에서 객체 표준용상을 생성 취득하는 방법을 설명하기 위한 도면.
도 8 은 이미지 검색엔진에서 기준영상과 대상영상의 영상 프레임에서 비교 대상이되는 기준영상과 대상영상의 표준영상들에 대한 일례를 도시한 도면.
이하, 도1 내지 도8을 참조하여 본 발명에 따른 동영상 모니터링 시스템 및 영상 검색엔진에 대하여 상세히 설명한다.
도1에서 보는 바와 같이 본 발명에 따른 동영상 모니터링 시스템은 동영상 저장수단(300), 모니터링수단(200), 검색엔진(120)을 포함하는 운영서버(100)를 포함하여 이루어진다.
상기 저장수단(300)에는 동영상들이 저장된다. 상기 동영상은 CCTV 카메라(CM)가 촬영한 동영상뿐만 아니라 일반 카메라가 촬영한 동영상을 포함한다.
그리고 CCTV 카메라나 일반 카메라가 촬영하는 동영상이 인코딩되어 실시간으로 직접 저장될 수도 있고, 기 촬영된 동영상이 다운로드 방식으로 추후에 저장될 수도 있다.
그리고 저장수단(300)에는 동영상뿐만 아니라 각각의 동영상에 대하여 추출한 대상영상과, 대상영상의 추출 기준이 되는 기준영상도 저장될 수 있다.
또한, 동영상과, 이에 매칭되는 대상영상과 기준영상은 저장수단(300)에서 다른 동영상들과 구분되어 특정 장소에 저장될 수 있다. 다시 말해 저장수단(300)으로는 데이터베이스가 사용될 수 있다.
상기 모니터링수단(200)은 사용자, 즉, 모니터링 요원이 저장수단(300)에 저장된 동영상을 불러와 모니터링 작업을 하거나, 실시간으로 전송되는 동영상을 모니터링하기 위한 장비로서,
사용자의 조작신호를 입력받는 입력부(230)와, 사용자의 조작을 위한 화면과 동영상의 디스플레이를 위한 화면을 제공하는 모니터(250)를 포함하여 이루어진다.
그리고 상기 운영서버(100)에서 전송되는 동영상과 대상영상들이 저장되는 메모리(220)와, 모니터링수단을 전체적으로 제어하는 CPU(210) 등을 더 포함한다.
상기 모니터링수단(200)은 상기 운영서버(100)와 유선 또는 무선 통신하여, 사용자가 입력하는 조작신호, 사용자가 설정하는 기준영상, 운영서버 경보부의 구동여부 등에 대한 데이터를 운영서버(100)로 송출하고, 운영서버(100)가 송출하는 동영상과 추출한 대상영상 데이터를 수신한다.
도2에는 상기 모니터링수단(200) 모니터(250)의 디스플레이 상태 일례가 도시되어 있다.
도2를 참고하면, 모니터(250)의 상부와 양측에는 모니터링 방식이나 조건, 기준영상 설정 등의 조작을 위한 메뉴가 디스플레이되어 있고, 상부에 치우친 중앙에는 동영상이 재생되는 재생화면이 있고, 하부에는 검색엔진이 추출한 대상영상들이 파노라마식으로 표시되는 잔류화면이 있다.
사용자가 마우스와 같은 입력부(230)를 이용해 잔류화면에서 특정 대상영상을 선택하면, 선택된 대상영상과 그 이후의 동영상이 상기 재생화면을 통해 재생된다.
참고로, 앞에서 그리고 이후로 상기 저장수단(300)에 저장되어 있는 동영상을 가지고 모니터링을 수행하는 것을 설명하나, 저장수단에 저장되기 이전의 운영서버에 입력되는 동영상을 실시간으로 직접 모니터링수단(200)에 디스플레이하여 모니터링수행하는 것도 가능하고, 이를 본 발명의 권리범위에서 제외하는 것이 아님을 밝혀두는 바이다.
상기 운영서버(100)는 상기 모니터링수단(200)과 저장수단(300)을 연결하여 저장수단(300)의 동영상을 독출하여 모니터링수단(200)으로 전송한다.
또한, 운영서버(100)는 CCTV 카메라, 일반 카메라, 동영상 녹화 필름 등으로부터 동영상을 입력받아 상기 저장수단(300)에 저장시키고,
영상 검색엔진(120)을 통해 저장수단에 저장되어 있는 동영상 또는 운영서버(100)에 실시간으로 입력되는 동영상을 검색하여 대상영상을 추출하고, 추출된 대상영상을 모니터링수단으로 전송한다.
상기 운영서버(100)는 도1에서 보는 바와 같이
카메라(CM) 등으로부터 동영상을 입력받는 입력인터페이스(130)와,
상기 모니터링수단(200)과 데이터 통신을 하는 전송부(141) 및 수신부(143)를 포함하는 통신부(140)와,
동영상을 검색하여 대상영상을 추출하는 영상 검색엔진(120)과,
영상 검색엔진(120)에서 추출되는 대상영상들 중에 기 설정된 특정 상황에 해당하는 대상영상이 존재하는 경우, 관계자에게 특정상황의 발생사실을 알리는 경보부(150)와,
운영서버(100)를 전체적으로 제어하는 제어부(110)를 포함하여 이루어진다.
상기 입력인터페이스(130)에는 입력되는 동영상을 인코딩하여 압축하는 인코더가 연결될 수 있고, 상기 전송부(141)에는 상기 모니터링수단(200)으로 전송되는 동영상 및 대상영상을 디코딩하는 디코더가 연결될 수 있다.
상기 경보부(150)는 기 설정된 특정 상황에 해당되는 대상영상이 추출되는 경우, 상기 제어부(110)의 제어에 의해 기 등록된 관계자의 단말기로 특정 상황의 발생사실을 알린다.
여기서, 관계자의 단말기로는 휴대폰, PDA, e메일 등이 사용될 수 있다. 그리고 특정 상황의 발생사실은 문자 이외에 특정 상황에 대한 대상영상을 첨부하여 알릴 수 있고, 대상영상을 첨부하여 보낼 때에는 무제되는 영역을 표시하여 즉각 인지할 수 있도록 하는 것이 바람직하다.
상기 제어부(110)는 상기 입력인터페이스(130)에서 입력되는 동영상을 상기 저장수단에 저장시키고, 상기 수신부(143)를 통해 상기 모니터링수단(200)에서 입력되는 조작신호를 처리하고, 특정 상황 발생시에 경보부(150)를 구동시켜 관계자에게 알리고, 저장수단(300)에 저장된 동영상을 독출하여 검색엔진(120)과 전송부(141)를 통해 모니터링수단(200)에 전달하고, 검색엔진(120)이 추출한 대상영상을 전송부(141)를 통해 모니터링수단(200)으로 전달하는 등 운영서버(100)를 전체적으로 운영 제어한다.
상기 영상 검색엔진(120)은 상기 저장수단(300)에서 전송되는 동영상 또는 제어부(110)를 통해 실시간으로 입력되는 동영상을 기설정된 기준영상과 비교하여 동영상을 구성하는 각각의 대상영상들에 대한 유사도를 판단하고, 유사도가 기준치를 벗어나는 대상영상들은 추출하여 제어부(110) 및 전송부(141)를 통해 모니터링수단(200)으로 전송한다.
참고로, 상기 기준영상은 상기 모니터링수단(200)을 통해 사용자가 직접 설정할 수 있고, 검색엔진(120)이 자체적으로 설정할 수도 있다.
기준영상은 동영상을 구성하는 대상영상들 중 첫 번째 대상영상이 기준영상으로 설정되거나, 기준영상과 비교 대상이 된 대상영상이 다음번 비교 대상이 되는 대상영상에 대한 기준영상으로 설정되거나, 일정시간 이상 이미지에 아무런 변화가 없는 대상영상이 기준영상으로 설정되는 등 기준영상의 설정은 모니터링 목적에 맞게 다양한 방식으로 설정될 수 있다.
이하 도3 내지 도8을 참조하여 상기 영상 검색엔진(120)에 대하여 보다 구체적으로 설명한다.
참고로, 영상에는 정지영상과, 정지영상들이 연속되어 구성되는 동영상이 있는데, 본 발명에 따른 영상 검색엔진을 통한 검색의 대상이 되는 영상은 CCTV가 촬영한 동영상뿐만 아니라, 디지털 카메라가 촬영한 동영상이나 정지영상, 다양한 형식의 코덱으로 저장된 동영상 또는 정지영상, 사진이나 영화 등을 파일화한 정지영상 또는 동영상 등을 포함한다.
즉, 파일화되어 메모리에 저장될 수 있는 영상들은 모두 본 발명의 검색엔진을 통한 비교 검색의 기준영상과 대상영상이 될 수 있다.
그리고 영상 검색엔진에서 상호 비교가 되는 두 영상 중 기준이 되는 영상을 '기준영상'이라 하고, 대상이 되는 영상을 '대상영상'이라고 칭한다.
그리고 이하에서 '영상'은 통상 동영상을 구성하는 연속된 정지영상들 중 어느 하나를 의미하나, 정지영상이 아닌 동영상을 의미할 수도 있고, 연속된 정지영상들 중 어느 한 정지영상이 아닌 개별적인 정지영상일 수도 있다.
도3에서 보는 바와 같이 본 발명에 따른 영상 검색엔진(120)은 메모리(20), 마이컴(10), 이미지 표준화모듈(30), 이미지 데이터 변환모듈(40), 이미지 비교모듈(70), 객체 영역추출모듈(50), 투명화모듈(60)을 포함하여 이루어진다.
상기 메모리(20)에는 검색하고자하는 영상들이 저장되고, 각 모듈(30,40,50,60)에서 취득되는 표준영상, 인덱스영상, 객체별 영상, 투명처리영상 등이 저장된다.
상기 마이컴(10)은 상기 메모리(20)와 모듈들(30,40,50,60,70)을 연결하고 검색엔진을 전체적으로 제어한다.
상기 이미지 표준화모듈(30)은 메모리(20)에 저장되어 있는 영상 프레임들을 표준화하여 표준영상을 생성 취득하고, 이를 상기 메모리(20)에 저장시킨다.
여기서, 표준화는 기준영상과 대상영상을 상호 비교 검색하기 위해 크기, 해상도 등의 여러 이미지 요소를 일치시키는(즉, 표준화하는) 것을 의미한다.
그리고 표준화는 하나의 정지영상 전체에 대한 표준화와, 정지영상에 포함되어 있는 각각의 객체에 대한 표준화가 있다.
상기 이미지 표준화모듈(30)은
영상을 n×m 크기의 픽셀 단위로 재구성하는 픽셀구성부(31)와,
재구성된 영상 프레임의 각 픽셀을 대표 색상으로 일원화하여 표준영상을 생성 취득하는 색상부여부(33)를 포함하여 이루어진다.
상기 이미지 표준화모듈(30)에서 표준화되는 영상 프레임은 아무런 가공이 되지 않은 초기의 영상 프레임뿐만 아니라, 상기 객체 영역추출모듈(50)에서 추출된 특정 객체에 대한 객체 표준영상을 포함할 수 있다.
정지영상에서 특정 객체에 대하여 추출한 객체 표준영상을 다시 표준화하는 것은 비교되는 객체 표준영상 간의 크기를 맞추기 위함이다.
상기 픽셀구성부(31)가 재구성하는 영상 프레임의 전체 픽셀수는 영상 프레임의 크기에 따라 적절히 선택할 것이다. 픽셀의 수가 많으면 보다 정확한 비교가 가능할 것이나, 그만큼 더 많은 비교 시간을 요구하게 된다.
상기 색상부여부(33)는 각 픽셀을 대표 색으로 일원화한다. 즉, 해당 픽셀의 색상이 여러 가지 혼재되어 있을 때에는 가장 많은 영역을 차지하고 있는 색상으로 일원화 한다.
경우에 따라서는 여러 가지 색상의 비율이 동일할 수도 있는데, 이때에는 색상에 우선순위를 부여하거나 주변 픽셀에 유사한 색상이 대표 색상이 되도록 한다.
그리고 상기 색상부여부(33)는 각 픽셀을 컬러의 대표 색상으로 일원화하고, 또한 각 픽셀을 흰색계열과 검은색계열의 두 가지 색 중 어느 하나로 일원화한다.
즉, 픽셀 단위로 재구성된 영상에 포함되어 있는 각 객체의 이미지들을 음영처리하여 음영 표준영상을 생성 취득한다.
음영 표준영상은 각 픽셀이 흰색계열 또는 검은색계열로 표시되므로, 추후에 기준영상과 대상영상으로 비교 시에 색상을 제외한 각 이미지의 전체적인 모양의 유사도를 판단하는데 활용된다.
도4에는 상기 이미지 표준화모듈(30)에서 생성 취득되는 표준영상의 일례가 도시되어 있다.
상기 이미지 데이터 변환모듈(40)은 표준영상 각 픽셀의 색상 데이터를 수치 데이터로 변환하여, 기준영상과 대상영상의 비교 시에 비교 시간을 단축시킨다.
즉, 영상 프레임의 이미지 데이터를 그대로 비교 처리하거나 다른 변형 후 비교 처리할 경우 많은 제약과 처리 시간을 요하게 되므로, 각 픽셀의 색상 데이터를 상호 비교가 가장 효율적이고 신속한 수치 데이터로 변환하는 것이다.
그리고 이미지 데이터 변환모듈(40)이 영상의 이미지 데이터를 수치 데이터로 변환하여 인덱스 영상을 생성 취득할 때에는 변환된 인덱스 영상에 대한 추가 적인 정보들도 별도로 인덱싱 처리하여 매칭되도록 취득하는 것이 바람직하다.
매칭되어 취득되는 정보에는 전체 동영상에서의 플레이 위치, 동영상의 전체 플레이 시간, 영상의 종류, 코덱 종류 등이 있을 수 있다.
상기 이미지 데이터 변환모듈(40)이 표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 생성 취득되는 영상이 인덱스영상이다.
상기 이미지 데이터 변환모듈(40)은 데이터 변환부(41)와, 행열제거부(43)를 포함하여 이루어진다.
상기 데이터 변환부(41)는 표준영상 각 픽셀의 색상을 약속된 수치 데이터로 변환하여 초기 인덱스영상을 생성 취득한다.
예를 들어, 흰색에서 검정색까지 유사한 순으로 색을 배치하여 수치를 부여하면 빨간색은 1, 노란색은 2, 파란색은 3, 흰색은 0, 검정색은 4, 녹색은 5로 변환될 수 있고, 도5a에는 이러한 기준으로 표준영상을 초기 인덱스영상으로 변환한 일례가 도시되어 있다.
위의 색상과 숫자의 변환 일례는 이해를 쉽도록 하기 위한 일례로서, 또한 숫자가 다르면 색상도 다름을 의미하고 있을 뿐이다.
표준영상의 각 픽셀이 갖는 색상은 몇 가지 색상으로 한정되지 않고, 색상 간에도 유사한 정도가 있다.
따라서 각 픽셀의 색상을 수치 데이터로 변환할 때, 수치 데이터의 다름이 색상의 다름을 의미하면서 동시에 그 다름의 정도까지 표현할 수 있는 것이 바람직하다.
이에 본 발명에서는 각 색상을 수치로 표현함에 있어 색의 3원색의 비율로서 표현하였다.
모든 색상은 색의 3원색인 빨강(보다 정확하게는 자홍 ; Magenta), 파랑(보다 정확하게는 청록 ; Cyan), 노랑(Yellow)의 혼합으로 구현될 수 있다.
각 원색의 비중을 100(0~99)으로 하고, 각 원색의 순서를 빨강, 파랑, 노랑 순으로 하는 경우에, 색상을 수치 데이터려 변환한 숫자 990000은 빨강, 009900은 파랑, 000099는 노랑, 999999는 검정색, 000000은 흰색을 의미한다.
상기 행열제거부(43)는 비교 대상이 되는 기준영상과 대상영상에서 검색 대상이 되는 검색객체의 위치가 달라 비교 결과인 유사도가 차이 나는 것을 방지하기 위해 초기 인덱스영상에서 검색객체에 해당하지 않는 영역을 제거하여 조정 인덱스영상을 생성 취득한다.
도5b는 도5a에 도시된 검색객체(숫자 4와 5로 표시되는 픽셀들)가 위치를 달리하는 두 초기 인덱스영상에서 검색객체에 해당하지 않은 영역의 행과 열의 픽셀들을 제거하여 동일한 조정 인덱스영상을 생성 취득하는 일례를 도시하고 있다.
도5b에서 왼쪽에 있는 두 초기 인덱스영상을 보면 검색객체의 수치 데이터가 동일하나 위치가 상이하다. 그래서 두 초기 인덱스영상을 비교하면 동일 픽셋의 수치가 상이하여 유사도가 낮게 나온다. 그러나 두 초기 인덱스영상을 조정 인덱스영상으로 변환하면 중앙에 도시된 것과 같이 동일하게 되어 유사도가 높게(일치하게) 나온다.
행열제거부(43)는 초기 인덱스영상에서 검색객체에 해당하는 수치(도면에서는 4와 5)가 하나도 없는 행과 열은 당연히 제거하고, 행과 열에서 검색객체에 해당하는 수치가 있긴 하나 수치가 있는 픽셀의 수가 그 행과 열의 전체 픽셀 수와 비교하여 현저히 적을 때는 그 행과 열을 제거할 수 있다.
상기 객체 영역추출모듈(50)은 표준영상 전체에 포함되어 있는 이미지를 객체별로 분리한다.
상기 이미지 표준화모듈(30)에서 영상 프레임을 표준화한 표준 영상을 전체 표준영상이라 하고, 상기 객체 영역추출모듈(50)에서 추출된 각 객체에 대한 표준영상을 객체 표준영상이라고 정의할 수 있다.
상기 객체 영역 추출모듈은 상기 전체 표준영상에서 특정 객체에 해당하는 어느 한 픽셀을 기준 픽셀로 선택하고, 선택된 기준 픽셀과 인접하는 주변 픽셀의 색상을 비교하여 주변 픽셀들 중 상기 특정 객체를 구성하는 구성 픽셀을 선택하고, 다시 선택된 구성 픽셀과 인접하는 주변 픽셀의 색상을 비교하는 방식으로, 전체 표준영상에서 특정 객체에 대한 영역을 추출하여 객체 표준영상을 생성 취득한다.
도6에는 전체 표준영상에서 객체 표준영상을 추출하는 방법이 개략적으로 도시되어 있다.
일반적으로 1행 1열에서 행의 방향이나 열의 방향으로 순차적으로 진행하여 각 픽셀이 기준 픽셀 또는 구성 픽셀에 해당되는지를 선택하게 된다.
1행 1열에서 진행을 하다 보면 어느 한 픽셀이 특정 객체에 해당하는 기준 픽셀로 선택된다. 기준 픽셀이 되는지 여부는 해당 픽셀의 색상으로 결정된다.
기준 픽셀이 선택되면 기준 픽셀의 인접 주변 8개의 픽셀들이 특정 객체에 해당하는지 여부를 판단하여 구성 픽셀을 선택하고, 다시 선택된 주변 구성 픽셀을 기준 픽셀로 하여 다시 주변의 구성 픽셀을 선택한다. 구성 픽셀의 선택 여부는 기준 픽셀의 색상과 비교하여 결정된다.
일반적으로 전체 표준영상에는 다수개의 객체가 추출될 것인데, 구성 픽셀의 수가 일정 개수 이상인 객체에 대하여만 객체 표준영상으로 추출한다. 일정 개수 이하의 객체는 영상 오류일 가능성도 있고, 유사도 판단에 미치는 영향이 적어 무시해도 무방하다.
전체 표준영상에서 다수의 개체를 추출한 후에는 상기 행렬제거부와 같은 방식으로 각 객체에 대하여 해당하지 않는 행과 열을 제거하여 객체별 객체 표준영상을 추출한다.
그리고 객체 표준영상은 도면과 같이 외부에 배치되는 구성 픽셀이 속하는 행과 열을 연결하여 사각형 형상의 표준영상이 되도록 하고, 외부 픽셀의 내부에 배치되지만 구성 픽셀이 아닌 픽셀도 객체 표준영상을 구성하는 픽셀로 추출한다.
또한, 상기 객체 영역추출모듈(50)은 각 픽셀에 대표 색상이 부여되어 있는 전체 표준영상으로부터 객체 표준영상을 추출하는 것을 설명하였지만,
각 픽셀에 수치 데이터가 부여된 전체 인덱스영상으로부터 객체 인덱스영상을 추출할 수도 있다.
그 방식은 표준영상을 이용하는 방식과 동일하고, 다만 색상 데이터가 수치 데이터로 바뀌었을 뿐이다.
상기 투명화모듈(60)은 비교대상이 되는 기준영상과 대상영상의 배경 이미지가 동일한 경우에, 대상영상에서 동일한 배경 이미지를 투명화 처리하여 객체의 추출과 유사도 판단이 간편하도록 한다.
상기 투명화모듈(60)은 상기 이미지 표준화모듈(30)에서 취득한 표준영상들 중에서 기준 표준영상과 대상 표준영상을 선택하고, 선택된 두 기준 표준영상과 대상 표준영상의 매칭되는 픽셀을 상호 비교하고, 일치하는 픽셀을 투명화 처리하여 대상 표준영상에서 투명처리영상을 취득한다.
도7에는 대상 표준영상을 투명화처리하여 생성 취득한 투명처리영상과, 투명처리영상에서 추출한 객체 표준영상의 일례가 도시되어 있다.
참고로, 투명화모듈(60) 역시 객체 영역추출모듈(50) 처럼 표준영상뿐만 아니라 인덱스영상을 이용하여 투명처리영상을 생성 취득할 수 있다.
상기 이미지 비교모듈(70)은 각 픽셀이 수치 데이터로 변환된 인덱스 영상들 중에서 어느 하나를 기준영상으로 선택하고, 또 다른 하나를 대상영상으로 선택한 후에, 선택된 두 기준영상과 대상영상의 매칭되는 픽셀 간의 수치 데이터를 비교하여, 기준영상과 대상영상의 유사도를 판단한다.
예를 들면, 인덱스영상이 각 픽셀의 색상을 3원색의 혼합으로 하여 표시한 수치 데이터인 경우에,
기준영상과 대상영상의 각 픽셀에서 수치 데이터를 추출하고,
기준영상과 대상영상의 동일위치의 픽셀(즉, 매치되는 픽셀)에서 각 원색(빨강, 파랑, 노랑)에 대한 수치데이터의 차이 값을 계산하고, 해당 픽셀의 3원색 수치 데이터의 차이 평균을 구하여 해당 픽셀의 유사도를 계산하고,
모든 픽셀에 대하여 유사도를 계산한 후에, 이들의 평균으로 기준영상과 대상영상 전체에 대한 유사도를 판단한다.
도8은 외쪽의 기준영상에 해당하는 영상 프레임과, 오른쪽의 대상영상에 해당하는 영상 프레임을 각각 표준화 처리, 음영처리 및 객체별 영역추출하여, 중앙의 비교 대상이 되는 기준영상과 대상영상의 일례를 표준영상의 형태로 도시한 것이다.
비교 대상이 되는 기준영상과 대상영상에는 중앙 좌우에 도시된 바와 같이, 대표 색상으로 표준화 처리된 맨 위의 전체 표준영상과, 음영으로 표준화 처리된 위에서 두 번째의 전체 표준영상과, 그 아래의 객체별로 영역을 추출한 객체 표준영상들로서 대표 색상으로 표현한 것과 음영으로 표준화 처리된 것이 있다.
각 객체별 객체 표준영상들은 상호 간에 픽셀들이 일대일로 매칭 되도록 행과 열이 재조정 된다. 다시 말해 각 객체에 대한 영역을 추출한 후에는 표준화처리를 통해 추출된 영역을 픽셀 단위로 재구성 및 재구성된 각 픽셀의 색상을 일원화하는 과정을 거친다.
이상에서는 본 발명의 구성을 위주로 설명하였는데, 이하에서는 본 발명의 동영상 모니터링 시스템을 활용하는 경우 기대할 수 있는 기능과 효과를 이하에서 간략히 정리한다.
우선, 본 발명을 이용하여 녹화된 CCTV영상을 모니터링 하는 경우에, CCTV 영상에 어떤 내용이 들어 있는지를 쉽고 빠르게 확인하기 위해서 이미지가 변화된 정지영상들만을 추출하여 보여주는 기능이 있다.
그리고 이때는 영상 검색엔진이 이미지가 변화된 정지영상들만을 별도로 인덱스영상(인덱스 데이터)으로 생성 취득하여 활용한다.
또한, 실시간으로 전송되는 CCTV 영상을 모니터링하는 경우에, 여러 CCTV에서 전송되는 동영상들을 모니터링 요원이 계속 놓치지 않고 모니터링하는 것은 현실적으로 불가능에 가깝기 때문에 실시간 영상에서 이미지가 변화된 부분을 추출한 후에 별도로 보여 줌으로 여러 CCTV 영상을 동시에 놓치지 않고 확인할 수 있도록해 준다.
그리고 이때에도 영상 검색엔진이 이미지가 변화된 정지영상들만을 별도로 인덱스영상(인덱스 데이터)으로 생성 취득하여 활용한다.
또한, 실시간으로 CCTV 영상을 모니터링하는 중에 화재 발생이나 침입자 발생과 같은 특정 상황이 감지되는 경우에, 이 사실을 해당 영상과 함께 관계자에게 휴대폰, 이메일 또는 경보 사이렌 등으로 즉각 알려주는 기능을 구비하여, 신속한 대처로 피해를 최소화할 수 있다.
그리고 이때에는 영상 검색엔진이 CCTV 영상에서 특정 영역을 추출하여 추출된 특정 영역에 특정 상황이 발생하였는지 검색하는 기능을 활용할 수 있다.
또한, 본 발명의 모니터링 시스템은 녹화된 CCTV 영상이나 실시간으로 전송되는 CCTV 영상에서 이미지 변화가 있는 모든 정지영상들을 추출하는 것이 아니라, 특정 종류의 객체가 출몰하여 이미지 변화가 있는 정지영상들만을 별도로 추출하는 기능도 구비된다.
예를 들어, 출몰하는 사람에 대한 모니터링이 중요한 때에는 영상 검색엔진이 동영상에서 사람으로 인식되는 정지영상들만을 추출하고, 특정 사물(예; 자동차, 오토바이 등)에 대한 모니터링이 중요한 때에는 영상 검색엔진이 동영상에서 특정 사물로 인식되는 정지영상들만을 추출하고, 물품의 도난사고와 같이 사고가 발생한 특정 장소에 대한 모니터링이 중요한 때에는 동영상에서 특정 장송에 해당하는 영역에 이미지 변화가 있는 정지영상들만을 추출하는 것이 그 일례이다.
또한, 동영상에서 배경 이미지가 너무나 복잡하여 영상에서 이미지의 변화 유무를 검색하는 것이 어렵거나, 이미지의 변화가 있는 것은 검색하였으나 변화된 이미지가 어떤 것인지 확인하기 어려운 경우에 있어서는, 영상 검색엔진이 배경 이미지를 투명화 처리한 후에 기준영상과 대상영상을 비교하도록 하여 이미지 변화 감지와 변화된 이미지의 내용 파악이 신속 간편하게 행해지는 기능을 기대할 수 있다.
또한, CCTV 24시간 영상을 필요에 의해서 주고받거나 또는 실시간 영상 자료를 받을 경우 영상 데이터 전체를 그대로 주고받게 되면 많은 영상 데이터 양으로 인하여 빠른 시간 안에 여러 곳에서 CCTV 영상 정보를 주고받는 것은 현실적으로 어려움이 있다. 이를 위해서 본 발명의 모니터링 시스템은 녹화된 영상이나 실시간 영상 데이터를 그대로 주고받는 것이 아니라 이미지의 변화가 있는 정지영상들만을 별도로 구성하여 이를 주고받을 경우 아주 작은 데이터 양으로 꼭 필요한 정보(영상)만을 주고받을 수 있게 된다.
그리하여 CCTV 영상 데이터의 정보 교환이나 통합 등에 활용에 매우 유리한다.
이상에서 본 발명을 설명함에 있어 첨부된 도면을 참조하여 특정 구성을 갖는 동영상 모니터링 시스템에 대해 설명하였으나 본 발명은 당업자에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 보호범위에 속하는 것으로 해석되어야 한다.
10 : 마이컴 20 : 메모리
30 : 이미지 표준화모듈 40 : 이미지 데이터 변환모듈
50 : 객체 영역추출모듈 60 : 투명화모듈
70 : 이미지 비교모듈 CM : 케메라
100 : 운영서버 110 : 제어부
120 : 이미지 검색엔진 150 : 경보부
200 : 모니터링수단 210 : CPU
230 : 입력부 250 : 모니터
300 : 동영상 저장수단

Claims (4)

  1. 동영상이 저장되는 동영상 저장수단;

    검색의 기준 및 대상이 되는 기준영상과 대상영상의 영상 프레임을 픽셀 단위로 재구성하고, 각 픽셀을 대표 색상으로 일원화하여 표준영상을 취득하는 이미지 표준화모듈과,
    상기 표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 인덱스영상을 취득하는 이미지 데이터 변환모듈과,
    상기 이미지 데이터 변환모듈에서 취득한 인덱스영상으로서 기준영상과 대상영상의 매칭되는 픽셀 간의 수치 데이터를 비교하여, 상기 기준영상과 대상영상의 유사도를 판단하는 이미지 비교모듈을 포함하는 영상 검색엔진을 포함하는 운영서버;

    사용자의 조작신호를 입력받는 입력부와, 상기 저장수단에 저장된 영상이 디스플레이되는 모니터를 포함하되,
    상기 모니터는 상기 운영서버를 통해서 전송되는 동영상의 검색 대상영상은 재생화면에 재생시키고, 검색영상들은 잔류화면에 파노라마식으로 표시하되, 잔류화면에 표시된 검색영상들 중 어느 하나가 선택되면, 재생화면에 선택된 검색영상 이후의 영상을 재생시키는 모니터링수단;을 포함하여 이루어지는 영상 모니터링 시스템에 있어서,

    상기 운영서버는 상기 저장수단에 저장되어 있는 영상들 중에서, 상기 이미지 비교모듈의 비교결과 유사도가 기준치를 벗어나, 기준영상과 대비하여 이미지의 변화가 발생되었다고 판단되는 대상영상을 추출하여 상기 모니터링수단으로 전송하는 것을 특징으로 하고,

    상기 영상 검색엔진은
    상기 표준영상에서 특정 객체에 해당하는 어느 한 픽셀을 기준 픽셀로 선택하고, 선택된 기준 픽셀과 인접하는 주변 픽셀의 색상을 비교하여 주변 픽셀들 중 상기 특정 객체를 구성하는 구성 픽셀을 선택하고, 다시 선택된 구성 픽셀과 인접하는 주변 픽셀의 색상을 비교하는 방식으로, 표준영상에서 특정 객체에 대한 영역을 추출하는 객체 영역추출모듈을 더 포함하여 이루어지고,

    상기 이미지 데이터 변환모듈은 상기 객체 영역추출모듈이 추출한 특정 객체들(예; 사람, 사물) 각각에 대한 영역을 각각 새로운 대상영상으로 하여 인덱스영상을 생성하고,
    상기 이미지 비교모듈은 기준영상과 상기 이미지 데이터 변환모듈이 추출한 특정 객체에 대한 대상영상을 비교하여 유사도를 판단하고,

    상기 운영서버는 상기 이미지 비교모듈의 비교결과 유사도가 기준치를 벗어나, 상기 기준영상에 포함되어 있는 객체와 동종의 객체가 포함되어 있는 것으로 판단되는 대상영상 및 이 대상영상의 촬영시각을 추출하여 상기 모니터링수단으로 전송하는 것을 특징으로 하는 동영상 모니터링 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 운영서버는
    상기 이미지 검색엔진이 추출한 대상영상들을 분석하여 기설정된 특정상황에 해당되는 대상영상이 존재하는 경우, 기등록된 관계자의 단말기로 특정상황의 발생사실을 알리는 경보부를 더 포함하는 것을 특징으로 하는 동영상 모니터링 시스템.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 영상 검색엔진은
    상기 이미지 표준화모듈에서 취득한 표준영상으로서 기준 표준영상과 대상 표준영상의 매칭되는 픽셀을 상호 비교하고, 일치하는 픽셀을 투명화 처리하여 대상 표준영상에서 투명처리영상을 취득하는 투명화모듈을 더 포함하고,

    상기 이미지 데이터 변환모듈은
    표준영상의 각 픽셀 색상을 수치 데이터로 변환하여 초기 인덱스영상을 취득하는 데이터 변환부와,
    상기 초기 인덱스영상에서 각 픽셀의 수치 데이터를 바탕으로 검색객체에 해당하지 않는 영역의 행과 열을 제거하여 조정 인덱스영상을 취득하는 행열제거부를 포함하여 이루어지는 것을 특징으로 하는 동영상 모니터링 시스템.
KR1020100076552A 2010-08-09 2010-08-09 동영상 모니터링 시스템 KR101235280B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100076552A KR101235280B1 (ko) 2010-08-09 2010-08-09 동영상 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100076552A KR101235280B1 (ko) 2010-08-09 2010-08-09 동영상 모니터링 시스템

Publications (2)

Publication Number Publication Date
KR20120014463A KR20120014463A (ko) 2012-02-17
KR101235280B1 true KR101235280B1 (ko) 2013-02-21

Family

ID=45837521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100076552A KR101235280B1 (ko) 2010-08-09 2010-08-09 동영상 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR101235280B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990815B1 (ko) 2019-04-02 2019-06-19 주식회사 케이피엔 원격 모니터링 시스템, 모니터링 방법 및 프로그램

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858651B1 (ko) 2014-12-05 2018-05-16 한화테크윈 주식회사 스마트검색을 지원하는 영상저장장치 및 영상저장장치에서 스마트 검색 방법
CN116582693B (zh) * 2023-05-15 2024-02-02 广州劲源科技发展股份有限公司 一种基于视频资源池的摄像头调用管控方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070095747A (ko) * 2006-03-21 2007-10-01 (주)하미소프트 인물 이미지 유사도 비교 시스템과 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070095747A (ko) * 2006-03-21 2007-10-01 (주)하미소프트 인물 이미지 유사도 비교 시스템과 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990815B1 (ko) 2019-04-02 2019-06-19 주식회사 케이피엔 원격 모니터링 시스템, 모니터링 방법 및 프로그램

Also Published As

Publication number Publication date
KR20120014463A (ko) 2012-02-17

Similar Documents

Publication Publication Date Title
KR101074850B1 (ko) 영상 검색 시스템
US6774905B2 (en) Image data processing
US20180027260A1 (en) Video analytics with pre-processing at the source end
US6700487B2 (en) Method and apparatus to select the best video frame to transmit to a remote station for CCTV based residential security monitoring
KR101116789B1 (ko) 감시 카메라 장치 및 영상 데이터 처리 방법
CN105677694B (zh) 支持智能搜索的视频记录设备及智能搜索方法
KR102159786B1 (ko) 지능형 영상 분석에 의한 실영상 및 녹화영상 검색 시스템
KR101149651B1 (ko) 어안카메라의 다면영상분석을 통한 주차가능면 실시간 감지시스템 및 그 감지방법
US20160295157A1 (en) Image processing apparatus and method
US6690414B2 (en) Method and apparatus to reduce false alarms in exit/entrance situations for residential security monitoring
CN108376246A (zh) 一种多人脸识别及跟踪系统及方法
US20150125130A1 (en) Method for network video recorder to accelerate history playback and event locking
US20230093631A1 (en) Video search device and network surveillance camera system including same
JP2008092279A (ja) 監視システム及び監視方法
KR101235280B1 (ko) 동영상 모니터링 시스템
EP1266525B1 (en) Image data processing
KR102127276B1 (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
CN1808516A (zh) 车辆监视方法、特定字符图案识别装置以及车辆监视系统
CN101494770B (zh) 用于控制监控照相机的屏蔽的颜色的装置和方法
CN110267011B (zh) 图像处理方法、装置、服务器及存储介质
KR20030042528A (ko) 원격지 백업기능을 갖는 디브이알 시스템
US10440310B1 (en) Systems and methods for increasing the persistence of forensically relevant video information on space limited storage media
KR20100050759A (ko) 다중 카메라를 이용하는 차량용 블랙박스 장치
KR100393408B1 (ko) 다분할 영상 감시 녹화 시스템
CN100515036C (zh) 智能型图像处理闭路电视摄像机装置及其物体追踪方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160205

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170309

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180122

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 8