KR20160003997A - 지능형 영상 분석 시스템 및 방법 - Google Patents

지능형 영상 분석 시스템 및 방법 Download PDF

Info

Publication number
KR20160003997A
KR20160003997A KR1020140082085A KR20140082085A KR20160003997A KR 20160003997 A KR20160003997 A KR 20160003997A KR 1020140082085 A KR1020140082085 A KR 1020140082085A KR 20140082085 A KR20140082085 A KR 20140082085A KR 20160003997 A KR20160003997 A KR 20160003997A
Authority
KR
South Korea
Prior art keywords
camera
information
metadata
image analysis
intelligent image
Prior art date
Application number
KR1020140082085A
Other languages
English (en)
Other versions
KR101650924B1 (ko
Inventor
박동욱
Original Assignee
주식회사 아이티엑스시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티엑스시큐리티 filed Critical 주식회사 아이티엑스시큐리티
Priority to KR1020140082085A priority Critical patent/KR101650924B1/ko
Priority to US14/753,531 priority patent/US9412026B2/en
Publication of KR20160003997A publication Critical patent/KR20160003997A/ko
Application granted granted Critical
Publication of KR101650924B1 publication Critical patent/KR101650924B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

지능형 영상 분석 시스템 및 방법으로, 더 자세히는 카메라와 스마트 장치로부터 획득한 데이터를 분석하여 이벤트를 제공한다. 카메라와 스마트 장치로부터 수신한 정보를 시˙공간적으로 매칭시켜 선별하고, 선별된 정보를 통해 보안 이벤트 관련 조건의 만족여부를 판단하고 CRM 정보를 생성한다. 선별된 정보로부터 생성된 보안 이벤트 및 CRM 정보를 출력한다.

Description

지능형 영상 분석 시스템 및 방법{System for intelligently analyzing video data and method thereof}
지능형 영상 분석 시스템 및 방법, 더 자세히는 카메라와 스마트 장치로부터 획득한 데이터를 분석 및 제공하는 시스템 및 방법이 개시된다.
보안 수요의 증가로 인해 카메라가 광범위하게 설치되고 있다. 단위 지역에 설치되는 카메라 대수가 늘어나면서 이를 모니터링 하는데 많은 인적 자원이 소요되고 관제 부담이 증가하고 있다.
문 열림, 창문 깨짐, 사람의 출입 등을 감지하는 보안 센서로부터 이벤트를 발생하여 이벤트 발생 시점에 영상을 관리하는 방안이 사용되고 있다. 센서로 감지할 수 있는 이벤트는 제한적이어서 여전히 관제 요원의 모니터링은 요구된다.
영상 분석은 카메라 등이 촬영한 영상을 분석하여 상황을 파악하고자 하는 시도로, 영상 처리 기술의 발전에 따라 보안 분야에 도입되고 있다. 예를 들어 카메라를 통해 획득된 영상을 분석하여 움직임을 검출하거나, 검출영역에서 사람 또는 차량의 존재 혹은 움직임 관련 정보를 추출하고 분석하여 관제 부담을 덜고자 시도한다. 그러나 군중이나 도심을 촬영한 영상의 복잡도나, 조명과 같은 촬영조건의 제한으로 인해 영상 분석도 한계가 있다.
제안된 발명은 카메라로부터 얻은 영상 정보 및 스마트 장치로부터 얻은 정보를 결합하여 자동적인 영상 분석의 신뢰성을 높임을 목적으로 한다.
제안된 발명은 카메라로부터 얻은 영상 정보 및 스마트 장치로부터 얻은 정보를 결합하여 영상 분석 중 기 설정된 조건 만족 시에 사용자에게 알려 관제 부담과 비용을 덜고 긴급 상황에 신속하게 대처함을 또 다른 목적으로 한다.
제안된 발명은 카메라로부터 얻은 영상 정보 및 스마트 장치로부터 얻은 정보를 결합하여 인구사회학적 데이터를 생성하고 기업의 효율적인 운용을 도모함을 또 다른 목적으로 한다.
전술한 목적을 달성하기 위한 일 양상에 있어서, 지능형 영상 분석 시스템은 카메라와 스마트 장치로부터 수신한 제 1 메타데이터 및 제 2 메타데이터를 시공간적으로 매칭시켜 영상 분석 정보로 제공한다.
또다른 양상에 따르면, 지능형 영상 분석 시스템은 카메라와 스마트 장치로부터 수신한 정보를 시˙공간적으로 매칭시켜 선별하고, 선별된 정보를 통해 보안 이벤트 관련 조건의 만족여부를 판단할 수 있다.
또다른 양상에 따르면, 지능형 영상 분석 시스템은 카메라와 스마트 장치로부터 수신한 정보를 시˙공간적으로 매칭시켜 선별하고, 선별된 정보를 통해 인구사회학적 데이터를 생성할 수 있다.
또다른 양상에 따르면, 지능형 영상 분석 시스템은 보안 이벤트 및 인구사회학적 데이터를 출력 할 수 있다.
또다른 양상에 따르면, 카메라와 스마트 장치로부터 수신한 제 1 메타데이터 및 제 2 메타데이터를 시공간적으로 매칭시켜 영상 분석 정보로 제공할 수 있다.
또다른 양상에 따르면, 지능형 영상 분석 방법은 카메라와 스마트 장치로부터 수신한 정보를 시˙공간적으로 매칭시켜 선별하고, 선별된 정보를 통해 보안 이벤트 관련 조건의 만족여부를 판단하고 인구사회학적 데이터를 생성할 수 있다.
또다른 양상에 따르면, 지능형 영상 분석 방법은 보안 이벤트 및 인구사회학적 데이터를 출력 할 수 있다.
제안된 발명은 자동적인 영상 분석의 신뢰성을 높인다. 또 제안된 발명은 관제 부담과 비용을 덜고 긴급 상황에 신속하게 대처한다. 제안된 발명은 감시 정보로부터 인구사회학적 데이터를 생성하고 기업의 상업적 활용을 도모 한다.
도 1은 일 실시예에 따른 지능형 영상 분석 시스템이 채용된 감시 시스템의 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 지능형 영상 분석 시스템의 블록도이다.
도 3은 다른 실시예에 따른 지능형 영상 분석 시스템의 블록도이다.
도 4는 또 다른 실시예에 따른 지능형 영상 분석 시스템의 블록도이다.
도 5는 일 실시예에 따른 지능형 영상 분석 방법을 설명하는 흐름도이다.
도 6은 일 실시예에 따른 지능형 영상 분석 방법 중 선별단계, 보안 이벤트 분석단계 및 CRM 정보 분석 단계를 설명하는 흐름도이다.
도 7은 일 실시예에 따른 지능형 분석 방법 중 출력단계를 설명하는 흐름도이다.
도 8는 지능형 영상 분석 시스템이 군중에서 특정 객체를 추출하는 장면을 도시한 도면이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 다양한 조합이 가능한 것으로 이해된다.
도 1은 일 실시예에 따른 지능형 영상 분석 시스템(100)이 채용된 감시 시스템의 구성을 도시한 블록도이다. 일 양상에 따르면, 지능형 영상 분석 시스템(100)은 카메라(300)가 촬영한 영상으로부터 추출된 제 1 메타데이터와 카메라(300)가 설치된 영역에 존재하는 스마트 장치(200)가 생성한 제 2 메타데이터를 시˙공간적으로 매칭시켜 카메라 촬영 영상의 분석 정보로 제공할 수 있다.
도시된 실시예에 있어서, 카메라(300)는 영상을 촬영한다. 일 예로, 카메라(300)는 IP 감시 카메라(300), CCTV 카메라일 수 있다.
도시된 실시예에 있어서, 분석처리부(310)는 주어진 영상의 구조를 분석해서 제1 메타 데이터를 생성한다. 메타데이터는 데이터(data)에 대한 데이터이다. 어떤 데이터 즉 구조화된 정보를 분석, 분류하고 부가적 정보를 추가하기 위해 그 데이터와 함께 관리되는 정보를 말한다. 여기서는 촬영된 영상에 관련된, 부가정보를 제공한다. 예를 들어, 분석 처리부는 IP 카메라와 인터넷 회선을 통해 연결된 서버에 구현될 수 있다. 또다른 예로 분석 처리부는 아날로그 CCTV 카메라와 동축 케이블로 연결되고, 수신한 아날로그 영상을 디지털로 변환하여 분석할 수 있다.
일 예에 따르면, 분석처리부(310)는 촬영된 영상의 필요 부분과 불필요 부분을 구분한다. 불필요 부분은 배경 영역으로, 이전 영상과 현재 영상의 밝기 차이를 계산하여 분리하거나, 배경 영역에 대한 특성 정보를 가우시안 등을 사용하여 모델링 하여 분리하기도 한다. 분리 후에 필요부분에서 움직임의 주체가 사람, 동물, 기계 등 중에서 무엇인지, 주체가 사람이라면 뛰고 있는지 걷고 있는지의 정보를 제공할 수 있다. 주체의 움직임을 판단하려면, 그 주체의 이동 경로를 추적해야 한다. 이동경로를 추적하는 칼만 필터, 파티클 필터 등의 알고리즘이 알려져 있다. 분석처리부는 예를 들어 객체의 색깔, 크기, 속도, 움직임 경로 등의 제 1 메타 데이터를 생성하여 지능형 영상 분석 시스템(100)으로 송신한다.
일 예로, 분석 처리부(310)은 에지 기반의 방법에 기초한다. 에지 기반의 방법은 카메라 또는 카메라와 연결된 영상 인코더에서 영상을 분석한다. 영상 전송을 위해 압축하는 과정에서 발생할 수 있는 신호 왜곡 없이 영상 분석이 가능하다. 다른 예로, 지능형 영상 분석 시스템(100)은 서버 기반의 방법에 기초한다. 서버 기반의 방법은 카메라로부터 영상을 전송 받아 영상 분석을 한다. 카메라에 대한 의존성이 없기 때문에 기존 시스템에 적용하기 용이하다. 또 다른 예로, 지능형 영상 분석 시스템은 하이브리드 기반의 방법에 기초한다. 서버 기반의 방법과 에지 기반의 방법을 취합한 방법이다.
도시된 실시예에 있어서, 스마트 장치(200)는 네트워크를 통해 통신이 가능하고 지능적으로 정보를 수집, 가공 처리 등을 할 수 있는 생활 속 사물이다. 자동차, 책 및 선풍기 등의 사물이 인간 및 서비스라는 분산된 환경 요소와 협력적으로 센싱, 네트워킹, 정보 처리 등 지능적 관계를 형성하는 것이다. 스마트 장치(200)는 그 장치 자체에 대한 정보 예를 들면, 시계, 자동차 유모차 등 그 자체에 대한 정보를 생성할 수 있다. 스마트 장치(200)는 그 장치가 만들어내는 정보 예를 들면, 시계가 감지한 사람의 심박수 등과 같은 객체 자체를 추측하는 정보를 생성할 수 있다. 스마트 장치(200)는 그 장치 자체 또는 그 장치가 만들어내는 정보인 제 2 메타데이터를 생성하여 출력한다. 스마트 장치(200)의 기술은 센싱기술, 유무선 통신 및 네트워크 인프라 기술 및 서비스 인터페이스 기술을 포함한다. 센싱기술은 전통적인 온도, 습도, 열, 가스, 조도, 초음파 센서 등에서부터 원격감지, SAR 등 유형 사물과 주위 환경으로부터 정보를 얻을 수 있는 물리적 센서를 포함할 수 있다. 유무선 통신 및 네트워크 인프라 기술은 기존의 WPAN, ZigBee, Wi??Fi, 3G/4G/LTE, Bluetooth, Ethernet 등 인간과 사물 서비스를 연결시킬 수 있는 유무선 네트워크를 포함한다.
도시된 실시예에 있어서, 감시 녹화 제어부(320)는 예를 들어, DVR(Digital Video Recoder), NVR(Network Video Recorder)과 같은 감시 영상 녹화 장치이다. DVR은 아날로그 영상 감시 장비인 CCTV를 대체하는 디지털 방식의 영상 감시 장비이다. NVR은 영상감시를 위해 인터넷 프로토콜을 사용하여 감시지역의 영상을 전송, 저장 및 모니터링 할 수 있는 영상보안시스템을 말한다. 감시 녹화 제어부(320)는 지능형 영상 분석 시스템(100)에서 설정된 이벤트관련 정보를 수신하고, 카메라(300)로부터 수신한 영상 중 이벤트 발생과 관련된 부분을 녹화하여, 효율적으로 영상정보를 확인 및 관리가 가능하다.
일 양상에 따르면, 지능형 영상 분석 시스템(100)은 제 1 메타 데이터와 제2 메타 데이터를 시공간적으로 매칭한다. 영상이 촬영된 위치 근방에서, 촬영된 시각 즈음에 획득된 제2 메타 데이터가 대응되는 제 1 메타 데이터와 함께 고려되어 분석된다.
예를 들어, 카메라(300)로 휠체어를 탄 사람을 촬영했을 때, 카메라(300)로부터 얻은 영상 정보로는 불특정 사물의 높이, 폭, 움직이는 방향 등의 물리적인 정보를 얻는다. 제안된 발명은 카메라(300) 촬영 범위에 있는 스마트 장치(200), 예를 들어 휠체어로부터, 카메라로 포착한 사물이 휠체어를 타고 있는 사람이라는 정보, 휠체어를 탄 사람이 어떤 장애를 가지고 있는지 등의 정보도 얻는다. 다른 실시예에 의하면, 카메라(300)가 얻은 영상을 인식(Recognition)알고리즘을 통해 불특정 사물이 휠체어를 탄 사람이라는 영상 정보도 얻는다. 제안된 발명은 카메라(300) 촬영 범위에 있는 스마트 장치(200), 예를 들어 휠체어로부터, 휠체어를 탄 사람이 어떤 장애를 가지고 있는지, 휠체어를 탄 사람이 얼마나 휠체어를 타고 있었는지 등의 정보도 얻는다.
또 다른 실시예에 의하면, 카메라(300)가 얻은 영상을 인식 알고리즘을 통해 사람이 쓰러졌다라는 정보를 얻는다. 제안된 발명은 쓰러진 사람이 차고 있는 심장 박동 측정 스마트 장치를 통해 쓰러진 사람이 예를 들어, 심근경색으로 쓰러 졌다 라는 정보를를 얻는다. 제안된 발명은 통신부를 더 포함할 수 있다. 통신부를 통해 심근경색으로 사람이 쓰러졌다는 정보를 관제 센터에 송신하여 빠른 구급 조치를 취할 수 있다. 통신부는 외부 단물과 유무선 통신 기능을 수행한다. 통신부는 무선 통신을 위한 기술 또는 근거리 통신을 위한 모듈을 포함할 수 있다. 무선 통신을 위한 기술은 무선랜, 와이브로, 와이 파이, 와이맥스 등이 포함될 수 있다. 근거리 통신 기술로는 불루투스, 지그비, UWB(Ultra Wideband), RFID(Radio Frequency identification), 적외선 통신등이 포함될 수 있다.
지능형 영상 분석 시스템(100)은 소비자(500)가 원하는 정보를 구체적으로 분석하여 제공하기 때문에 영상 분석의 신뢰성을 높인다. 지능형 영상 분석 시스템은 카메라와 네트워크로 연결된 서버에 프로그램으로 구현할 수도 있고, 카메라 내부에 프로세서에 의해 실행되는 프로그램 또는 제어기의 형태로 구현될 수 도 있다.
도 2는 또다른 실시예에 따른 지능형 영상 분석 시스템(100)의 블록도이다. 일 양상에 따르면, 지능형 영상 분석 시스템(100)은 선별부(110) 및 보안 이벤트 분석부(120)를 포함한다. 일 실시예에 있어서 선별부(110)는 카메라의 영상 획득 시점 및 카메라의 영상 획득 위치와 매칭되는 시각과 위치에 관계된 제 1 메타데이터와 제 2 메타데이터를 선별한다. 예를 들어 카메라(300)가 설치된 지역은 설치 시 시스템에 입력되어 관리되거나, 카메라의 위치를 관리하는 서버로부터 수신하거나, 측위 센서를 구비한 경우 카메라(300)로부터 수신하여 획득할 수 있다. 스마트 장치(200)의 위치는 측위 센서를 구비한 경우 스마트 장치(200)로부터 수신하거나, 고정된 위치에 설치된 경우 설치 시 입력되어 관리되거나, 혹은 그 위치를 관리하는 서버로부터 수신할 수 있다. 예를 들어, 스마트 장치(200)의 IP(Internet Protocol address)주소, User Agent Profile을 이용한 기지국 위치 정보, Paging Request를 이용한 기지국 위치 정보, 위경도 좌표 및 Paging Request를 이용한 GPS(Global Positioning System) 위치 정보, Zigbee를 이용한 위치 정보, Wi??Fi를 이용한 위치 정보 또는 Usim 기반의 위치 정보를 통해 스마트 장치(200)의 위치를 확인할 수 있다. 카메라(300)와 스마트 장치(200)는 시간 정보를 제안된 발명에 송신하기 때문에, 카메라(300)의 촬영 시점과 스마트 장치(200)의 정보 생성 시점이 동일한 데이터들만 매칭할 수 있다. 예를 들어 MPEG 계열 표준에서 영상 프레임 중 I??프레임은 타임 스탬프(time stamp)로 시각이 관리된다. 메타 데이터들은 데이터마다 촬영된 시각의 타임 스탬프가 함께 기록된다. 선별부(110)는 카메라(300)의 시간 정보와 위치 정보 및 스마트 장치(200)의 시간 정보와 위치 정보를 각각 대응시키고, 스마트 장치(200)가 생성한 제 2 메타데이터 중 제 1 메타데이터와 매칭되는 제 2 메타데이터를 선별한다.
일 실시예에 있어서, 보안 이벤트 분석부(120)는 선별된 카메라(300)가 촬영한 영상 및 카메라(300)가 촬영한 영상이 가공된 제 1 메타데이터와 스마트 장치(200)가 생성한 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단한다. 보안 관련 조건은 사용자가 필요로 하는 환경에 적합한 조건으로 설정 될 수 있다. 예를 들면, 사용자가 설정한 경로와 방향을 영상에 출현한 객체의 경로와 방향과 비교하여 동일한지, 유리의 깨짐, 갑작스런 객체의 출현 또는 사라짐, 특정 객체의 색깔의 변화, 원래 일정한 방향으로 움직이는 객체의 다른 움직임, 동반되지 않은 짐, 정차되어 있는 자동차 등이 있다. 객체의 위치, 크기에 나아가 폭력, 납치 등과 같은 이상 행위를 감지하는 것도 가능하다.
도 8는 지능형 영상 분석 시스템이 군중에서 특정 객체를 추출하는 장면을 도시한 도면이다. 예를 들어 분석 처리부(310)는 카메라(300)에서 입력된 영상을 분석하되, X, Y 시간축으로 구성된 3차원 공간을 큐브로 분할한 후, 각 큐브에 대해서 움직임 변화와 같은 특징 정보를 모델링하고 큐브의 연관관계에 대해서 통계적 분석을 통하여 특정 객체를 추출한다.
일 실시예에 따른 지능형 영상 분석 시스템은 스마트 장치로부터 제 2 메타데이터를 수신하기 때문에 용이하게 객체 추출이 가능하다. 도 8에서 카메라와 가까운 사람의 스마트 신발 및 카메라와 멀리 있는 사람의 스마트 시계가 각각 다른 메타데이터를 송신한다. 각각의 메타데이터를 통해 두 사람이 겹쳐진 영상이 카메라에 잡히더라도, 겹쳐진 객체가 두 사람이라는 것을 알 수 있고 기 설정된 조건을 만족하는 개인을 포착하는 것도 가능하다. 카메라(300)의 영상, 제 1 메타데이터 및 제 2 메타데이터를 종합하여 분석하기 때문에, 기 설정된 보안 관련 조건의 충족 여부를 정밀하게 판단한다.
도 3은 일 실시예에 따른 지능형 영상 분석 시스템(100)의 블록도이다. 일 양상에 있어서, 지능형 영상 분석 시스템(100)은 CRM(Customer Relationship Management) 정보 분석부를 더 포함할 수 있다. 일 실시예에 있어서, CRM 정보 분석부(130)는 카메라(300)가 촬영한 영상으로부터 획득되는 제 1 메타데이터와 스마트 장치(200)가 생성한 제 2 메타데이터를 분석하여 외부의 요구에 따라 인구사회학적 데이터를 생성한다. 일 실시예에 있어서, 제안된 발명은 스마트 장치(200) 예를 들어, 스마트 폰으로부터 제 2 메타데이터와 카메라 영상으로부터 획득한 제 1 메타데이터 예를 들어, 옷을 색깔 정보를 얻는다. 제안된 발명은 고가의 스마트폰을 소지하고 있는 사람이 어떤 색깔의 옷을 주로입는지의 정보를 얻는다. CRM은 소비자(500)들을 자신의 고객으로 만들고, 이를 장기간 유지하고자 하는 경영 방식이다. 인구 사회학적 데이터는 예를 들어, 소비자(500)의 이동 패턴, 이동 시간, 체류 시간, 특정 구역의 인구밀도, 유동인구, 소득수준, 공간 점유율 등과 같은 특정 집단의 동향을 파악할 수 있는 정보이다. 카메라(300)의 영상, 제 1 메타데이터 및 제 2 메타데이터를 종합하여 분석하며 오랜 시간 분석 및 생성한 데이터를 DB(400)에 축적하기 때문에, 카메라(300) 영상만으로는 도출할 수 없었던 기업에 유용한 구체적 정보 생성이 가능하다.
일 예에 있어서, DB(400)(Data Base)는 스마트 장치(200)가 생성한 제 2 메타데이터, 카메라(300) 영상, 분석처리부가 생성한 제 1 메타데이터 및 지능형 영상 분석 시스템(100)이 생성한 제 3 메타데이터를 통합하여 관리한다. 지능형 영상 분석 시스템(100)은 일정 기간 동안 분석되어 축적된 정보를 통계학적으로 제공할 필요도 있기 때문에, DB(400)에서 데이터를 저장한다.
도 4는 일 실시예에 따른 지능형 영상 분석 시스템(100)의 블록도이다. 일 양상에 있어서, 지능형 영상 분석 시스템(100)은 출력부(140)를 더 포함할 수 있다. 일 실시예에 있어서, 출력부(140)는 보안 이벤트 분석부(120)에서 보안 관련 조건의 만족여부를 표시하고 CRM 정보 분석부(130)에서 생성한 인구사회학적 데이터를 카테고리 별로 맵(MAP)상에서 매핑하여 표시한다. 인구사회학적 데이터는 나이, 시간, 성별 등 카테고리 별로 다양하게 분류가 가능하기 때문에, 특정한 요구에 맞추어 그래프 등으로 도식적으로 제공된다. 출력부(140)는 모니터, 프린트 등 중 어느 하나이다.
도 5는 일 실시예에 따른 지능형 영상 분석 방법을 설명하는 흐름도이다. 일 양상에 있어서, 지능형 영상 분석 방법은 카메라(300)가 촬영한 영상으로부터 획득되는 제 1 메타데이터와 카메라(300)가 촬영한 영역에 존재하는 스마트 장치(200)가 생성한 제 2 메타데이터를 시공간적으로 매칭시켜 기 설정된 이벤트를 분석 및 제공한다.
도 5에서 지능형 영상 분석 시스템(100)은 카메라(300), 분석 처리부(310) 및 스마트 장치(200)에서 데이터를 수신한다. 제 1 메타데이터 예를 들어, 카메라(300)로 휠체어를 탄 사람을 촬영했을 때, 카메라(300)로부터 얻은 영상 정보로는 불특정 사물의 높이, 폭, 움직이는 방향 등의 물리적인 정보를 얻는다. 제안된 발명은 카메라(300) 촬영 범위에 있는 스마트 장치(200), 예를 들어 휠체어로부터, 카메라로 포착한 사물이 휠체어를 타고 있는 사람이라는 정보, 휠체어를 탄 사람이 어떤 장애를 가지고 있는지 등의 정보도 얻는다. 다른 실시예에 의하면, 카메라(300)가 얻은 영상을 인식(Recognition)알고리즘을 통해 불특정 사물이 휠체어를 탄 사람이라는 영상 정보도 얻는다. 제안된 발명은 카메라(300) 촬영 범위에 있는 스마트 장치(200), 예를 들어 휠체어로부터, 휠체어를 탄 사람이 어떤 장애를 가지고 있는지, 휠체어를 탄 사람이 얼마나 휠체어를 타고 있었는지 등의 정보도 얻는다.
또 다른 실시예에 의하면, 카메라(300)가 얻은 영상을 인식 알고리즘을 통해 사람이 쓰러졌다라는 정보를 얻는다. 제안된 발명은 쓰러진 사람이 차고 있는 심장 박동 측정 스마트 장치를 통해 쓰러진 사람이 예를 들어, 심근경색으로 쓰러 졌다 라는 정보를를 얻는다. 제안된 발명은 통신부를 더 포함할 수 있다. 통신부를 통해 심근경색으로 사람이 쓰러졌다는 정보를 관제 센터에 송신하여 빠른 구급 조치를 취할 수 있다. 지능형 영상 분석 방법은 소비자(500)가 원하는 정보를 구체적으로 분석하여 제공하기 때문에 영상 분석의 신뢰성을 높인다.
도 6은 일 실시예에 따른 지능형 영상 분석 방법 중 선별단계(610), 보안 이벤트 분석 단계 및 CRM 정보 분석단계(630)를 설명하는 흐름도이다. 일 양상에 있어서, 지능형 영상 분석 방법은 선별단계(610), 분석단계 및 CRM 정보 분석 단계를 포함한다.
일 실시예에 있어서, 선별단계(610)에서 카메라의 영상 획득 시점 및 카메라의 영상 획득 위치와 매칭되는 시각과 위치에 관계된 제 1 메타데이터와 제 2 메타데이터를 선별한다. 예를 들어 카메라(300)가 설치된 지역은 설치 시 시스템에 입력되어 관리되거나, 카메라의 위치를 관리하는 서버로부터 수신하거나, 측위 센서를 구비한 경우 카메라(300)로부터 수신하여 획득할 수 있다. 스마트 장치(200)의 위치는 측위 센서를 구비한 경우 스마트 장치(200)로부터 수신하거나, 고정된 위치에 설치된 경우 설치 시 입력되어 관리되거나, 혹은 그 위치를 관리하는 서버로부터 수신할 수 있다. 예를 들어, 스마트 장치(200)의 IP(Internet Protocol address)주소, User Agent Profile을 이용한 기지국 위치 정보, Paging Request를 이용한 기지국 위치 정보, 위경도 좌표 및 Paging Request를 이용한 GPS(Global Positioning System) 위치 정보, Zigbee를 이용한 위치 정보, Wi??Fi를 이용한 위치 정보 또는 Usim 기반의 위치 정보를 통해 스마트 장치(200)의 위치를 확인할 수 있다.
카메라(300)와 스마트 장치(200)는 시간 정보를 제안된 발명에 송신하기 때문에, 카메라(300)의 촬영 시점과 스마트 장치(200)의 정보 생성 시점이 동일한 데이터들만 매칭할 수 있다. 예를 들어 MPEG 계열 표준에서 영상 프레임 중 I??프레임은 타임 스탬프(time stamp)로 시각이 관리된다. 메타 데이터들은 데이터마다 촬영된 시각의 타임 스탬프가 함께 기록된다. 선별단계(610)는 카메라(300)의 시간 정보와 위치 정보 및 스마트 장치(200)의 시간 정보와 위치 정보를 각각 대응시키고, 스마트 장치(200)가 생성한 제 2 메타데이터 중 제 1 메타데이터와 매칭되는 제 2 메타데이터를 선별한다.
일 실시예에 있어서, 보안 이벤트 분석단계(620)는 선별 단계에서 선별된 카메라(300)가 촬영한 영상 및 카메라(300)가 촬영한 영상이 가공된 제 1 메타데이터 중 적어도 하나와 스마트 장치(200)가 생성한 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단한다. 보안 관련 조건은 사용자가 필요로 하는 환경에 적합한 조건으로 설정 될 수 있다. 예를 들면, 사용자가 설정한 경로와 방향을 영상에 출현한 객체의 경로와 방향과 비교하여 동일한지, 유리의 깨짐, 갑작스런 객체의 출현 또는 사라짐, 특정 객체의 색깔의 변화 원래 일정한 방향으로 움직이는 객체의 다른 움직임, 동반되지 않은 짐, 정차되어 있는 자동차 등이 있다. 객체의 위치, 크기에 나아가 폭력, 납치 등과 같은 이상 행위를 감지하는 것도 가능하다.
도 8는 지능형 영상 분석 방법으로 군중에서 특정 객체를 추출하는 장면을 도시한 도면이다. 예를 들어 분석 처리 단계는 카메라(300)에서 입력된 영상을 분석하되, X, Y 시간축으로 구성된 3차원 공간을 큐브로 분할한 후, 각 큐브에 대해서 움직임 변화와 같은 특징 정보를 모델링하고 큐브의 연관관계에 대해서 통계적 분석을 통하여 특정 객체를 추출한다.
일 실시예에 따른 지능형 영상 분석 방법은 스마트 장치로부터 제 2 메타데이터를 수신하기 때문에 용이하게 객체 추출이 가능하다. 도 8에서 카메라와 가까운 사람의 스마트 신발 및 카메라와 멀리 있는 사람의 스마트 시계가 각각 다른 메타데이터를 송신한다. 각각의 메타데이터를 통해 두 사람이 겹쳐진 영상이 카메라에 잡히더라도, 겹쳐진 객체가 두 사람이라는 것을 알 수 있고 기 설정된 조건을 만족하는 개인을 포착하는 것도 가능하다. 카메라(300)의 영상, 제 1 메타데이터 및 제 2 메타데이터를 종합하여 분석하기 때문에, 기 설정된 보안 관련 조건의 충족 여부를 정밀하게 판단한다.
일 실시예에 따르면, CRM 정보 분석단계(630)는 선별된 영상 또는 제 1 메타데이터 중 적어도 하나와 제 2 메타데이터를 분석하여 외부의 요구에 따라 인구사회학적 데이터를 생성한다. 일 실시예에 있어서, 제안된 발명은 스마트 장치(200) 예를 들어, 스마트 폰으로부터 제 2 메타데이터와 카메라 영상으로부터 획득한 제 1 메타데이터 예를 들어, 옷을 색깔 정보를 얻는다. 제안된 발명은 고가의 스마트폰을 소지하고 있는 사람이 어떤 색깔의 옷을 주로입는지의 정보를 얻는다. CRM은 소비자(500)들을 자신의 고객으로 만들고, 이를 장기간 유지하고자 하는 경영 방식이다. 인구 사회학적 데이터는 예를 들어, 소비자(500)의 이동 패턴, 이동 시간, 체류 시간, 특정 구역의 인구밀도, 유동인구, 소득수준, 공간 점유율 등과 같은 특정 집단의 동향을 파악할 수 있는 정보이다. 카메라(300)의 영상, 제 1 메타데이터 및 제 2 메타데이터를 종합하여 분석하며 오랜 시간 분석 및 생성한 데이터를 DB(400)에 축적하기 때문에, 카메라(300) 영상만으로는 도출할 수 없었던 기업에 유용한 구체적 정보 생성이 가능하다.
도 7은 일 실시예에 따른 지능형 분석 방법 중 출력단계(640)를 설명하는 흐름도이다. 일 양상에 있어서, 지능형 영상 분석 방법은 출력단계(640)를 더 포함한다. 일 실시예에 있어서, 출력단계(640)에서 보안 이벤트 분석단계(620)에서 보안 관련 조건의 만족 여부를 표시하고 CRM 정보 분석단계에서 생성한 인구사회학적 데이터를 카테고리 별로 맵상에서 매핑하여 표시한다. 인구사회학적 데이터는 나이, 시간, 성별 등 카테고리 별로 다양하게 분류가 가능하기 때문에, 특정한 요구에 맞추어 그래프 등으로 도식적으로 제공된다. 출력은 모니터, 프린트 등을 통해 이루어진다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
100: 지능형 영상 분석 시스템
110: 선별부
120: 보안 이벤트 분석부
130: CRM 정보 분석부
140: 출력부
200: 스마트 장치
210: 스마트 시계
220: 스마트 신발
300: 카메라
310: 분석 처리부
320: 감시 녹화 제어부
400: DB
500: 소비자
610: 선별단계
620: 보안 이벤트 분석단계
630: CRM 정보 분석단계
640: 출력단계

Claims (7)

  1. 카메라가 촬영한 영상으로부터 획득되는 제 1 메타데이터와 카메라가 설치된 영역 근처에 존재하는 스마트 장치가 생성한 제 2 메타데이터를 시공간적으로 매칭시켜 카메라 촬영 영상의 분석 정보를 제공하는 지능형 영상 분석 시스템.
  2. 제 1 항에 있어서, 지능형 영상 분석 시스템은
    카메라의 영상 획득 시점 및 카메라의 영상 획득 위치와 매칭되는 제 2 메타데이터를 선별하는 선별부; 및
    제 1 메타데이터와, 선별된 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단하는 보안 이벤트 분석부; 를
    포함하는 지능형 영상 분석 시스템.
  3. 제 2 항에 있어서, 지능형 영상 분석 시스템은
    제 1 메타데이터와 선별된 제 2 메타데이터를 분석하여 외부의 요구에 따라 인구사회학적 데이터를 생성하는 CRM 정보 분석부; 를
    더 포함하는 지능형 영상 분석 시스템.
  4. 제 3 항에 있어서, 지능형 영상 분석 시스템은
    보안 이벤트 분석부에서 판단한 보안 관련 조건의 만족 여부를 표시하고 CRM 정보 분석부에서 생성한 인구사회학적 데이터를 카테고리 별로 맵상에서 매핑하여 표시하는 출력부; 를
    더 포함하는 지능형 영상 분석 시스템.
  5. 카메라가 촬영한 영상으로부터 획득된 제 1 메타데이터와 카메라가 설치된 영역 근처에 존재하는 스마트 장치가 생성한 제 2 메타데이터를 시공간적으로 매칭시켜 카메라 촬영 영상의 분석 정보를 제공하는 지능형 영상 분석 방법.
  6. 제 5 항에 있어서, 지능형 영상 분석 방법은
    카메라의 영상 획득 시점 및 카메라의 영상 획득 위치와 매칭되는 제 2 메타데이터를 선별하는 선별단계;
    제 1 메타데이터와, 선별된 제 2 메타데이터를 분석하여 기 설정된 보안 관련 조건이 만족되는지를 판단하는 보안 이벤트 분석단계; 및
    제 1 메타데이터와 선별된 제 2 메타데이터를 분석하여 외부의 요구에 따라 인구사회학적 데이터를 생성하는 CRM 정보 분석단계; 를
    더 포함하는 지능형 영상 분석 방법.
  7. 제 6 항에 있어서, 지능형 영상 분석 방법은
    보안 이벤트 분석단계에서 판단한 보안 관련 조건의 만족 여부를 표시하고 CRM 정보 분석단계에서 생성한 인구사회학적 데이터를 카테고리 별로 맵상에서 매핑하여 표시하는 출력단계; 를
    더 포함하는 지능형 영상 분석 방법.
KR1020140082085A 2014-07-01 2014-07-01 지능형 영상 분석 시스템 및 방법 KR101650924B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140082085A KR101650924B1 (ko) 2014-07-01 2014-07-01 지능형 영상 분석 시스템 및 방법
US14/753,531 US9412026B2 (en) 2014-07-01 2015-06-29 Intelligent video analysis system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140082085A KR101650924B1 (ko) 2014-07-01 2014-07-01 지능형 영상 분석 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160003997A true KR20160003997A (ko) 2016-01-12
KR101650924B1 KR101650924B1 (ko) 2016-08-24

Family

ID=55017211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140082085A KR101650924B1 (ko) 2014-07-01 2014-07-01 지능형 영상 분석 시스템 및 방법

Country Status (2)

Country Link
US (1) US9412026B2 (ko)
KR (1) KR101650924B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143486A1 (ko) * 2017-01-31 2018-08-09 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006210A (ko) * 2015-07-07 2017-01-17 한화테크윈 주식회사 감시 방법
IL244746B (en) * 2016-03-24 2021-03-25 Pulsenmore Ltd A complete system for linking sensors to smart devices
US20170330442A1 (en) * 2016-05-13 2017-11-16 Amaryllo International B.V. Emergency reporting device and system thereof
RU2632473C1 (ru) * 2016-09-30 2017-10-05 ООО "Ай Ти Ви групп" Способ обмена данными между ip видеокамерой и сервером (варианты)
EP3554094B1 (en) * 2016-12-12 2022-07-20 Optim Corporation Remote control system, remote control method, and program
CN106851224A (zh) * 2017-03-29 2017-06-13 宁夏凯速德科技有限公司 智能型基于用户行为识别的视频监控方法及系统
US10936655B2 (en) * 2017-06-07 2021-03-02 Amazon Technologies, Inc. Security video searching systems and associated methods
US10674318B2 (en) * 2018-02-26 2020-06-02 Exponential Innovative Technology & Gaming Company, Llc Systems and methods for location tracking and monitoring within a secured area
RU2673956C1 (ru) * 2018-03-16 2018-12-03 ООО "Ай Ти Ви групп" Система и способ управления элементами графического пользовательского интерфейса
CN110826398B (zh) * 2019-09-23 2021-04-02 上海意略明数字科技股份有限公司 一种智能图像识别进行大数据采集分析系统及应用方法
US11482049B1 (en) 2020-04-14 2022-10-25 Bank Of America Corporation Media verification system
US20230304821A1 (en) * 2021-01-12 2023-09-28 Lg Electronics Inc. Digital signage platform providing device, operating method thereof, and system including digital signage platform providing device
US11527106B1 (en) 2021-02-17 2022-12-13 Bank Of America Corporation Automated video verification
US11790694B1 (en) 2021-02-17 2023-10-17 Bank Of America Corporation Video player for secured video stream
US11928187B1 (en) 2021-02-17 2024-03-12 Bank Of America Corporation Media hosting system employing a secured video stream
US11594032B1 (en) 2021-02-17 2023-02-28 Bank Of America Corporation Media player and video verification system
US11941051B1 (en) 2021-06-24 2024-03-26 Bank Of America Corporation System for performing programmatic operations using an image-based query language
US11526548B1 (en) 2021-06-24 2022-12-13 Bank Of America Corporation Image-based query language system for performing database operations on images and videos
US11784975B1 (en) 2021-07-06 2023-10-10 Bank Of America Corporation Image-based firewall system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118534A (ja) * 2002-09-26 2004-04-15 Takara Belmont Co Ltd 撮影画像による顧客管理装置
KR20120065817A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 지능형 출입 감시 방법 및 시스템, 지능형 출입 감시를 위한 출입 감시 장치, 지능형 출입 감시를 위한 프로그램이 기록된 기록매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8438175B2 (en) * 2010-03-17 2013-05-07 Lighthaus Logic Inc. Systems, methods and articles for video analysis reporting
US8955022B2 (en) * 2010-09-15 2015-02-10 Comcast Cable Communications, Llc Securing property
US20140009384A1 (en) * 2012-07-04 2014-01-09 3Divi Methods and systems for determining location of handheld device within 3d environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118534A (ja) * 2002-09-26 2004-04-15 Takara Belmont Co Ltd 撮影画像による顧客管理装置
KR20120065817A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 지능형 출입 감시 방법 및 시스템, 지능형 출입 감시를 위한 출입 감시 장치, 지능형 출입 감시를 위한 프로그램이 기록된 기록매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143486A1 (ko) * 2017-01-31 2018-08-09 (주)한국플랫폼서비스기술 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법

Also Published As

Publication number Publication date
US20160004914A1 (en) 2016-01-07
US9412026B2 (en) 2016-08-09
KR101650924B1 (ko) 2016-08-24

Similar Documents

Publication Publication Date Title
KR101650924B1 (ko) 지능형 영상 분석 시스템 및 방법
US11546557B2 (en) Video identification and analytical recognition system
US11972036B2 (en) Scene-based sensor networks
US10812761B2 (en) Complex hardware-based system for video surveillance tracking
US10432897B2 (en) Video identification and analytical recognition system
US11743431B2 (en) Video identification and analytical recognition system
EP2795600B1 (en) Cloud-based video surveillance management system
KR101526499B1 (ko) 객체검출 기능을 이용한 보안용 네트워크 방범 감시 시스템 및 이를 이용한 지능형 영상 분석 방법
EP2903261B1 (en) Apparatus and method for detecting event from plurality of photographed images
US7660439B1 (en) Method and system for flow detection and motion analysis
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
RU2720947C2 (ru) Аналитическая система распознавания и видеоидентификации
KR101514061B1 (ko) 노인 관리용 무선 카메라 장치 및 이를 통한 노인 관리 시스템
CN111010547A (zh) 目标对象的追踪方法及装置、存储介质、电子装置
CN112381853A (zh) 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法
EP1266525B1 (en) Image data processing
KR101736431B1 (ko) 다중영상을 이용한 교통정보 스마트 모니터링 시스템 및 방법
WO2024067950A1 (en) Methods and apparatuses for event detection
KR20220064472A (ko) 캡션 데이터 기반 보안 감시 서비스 제공 프로그램 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191021

Year of fee payment: 4