KR102139524B1 - 상황 인식 기반 지능형 선별 관제 시스템 - Google Patents

상황 인식 기반 지능형 선별 관제 시스템 Download PDF

Info

Publication number
KR102139524B1
KR102139524B1 KR1020190039431A KR20190039431A KR102139524B1 KR 102139524 B1 KR102139524 B1 KR 102139524B1 KR 1020190039431 A KR1020190039431 A KR 1020190039431A KR 20190039431 A KR20190039431 A KR 20190039431A KR 102139524 B1 KR102139524 B1 KR 102139524B1
Authority
KR
South Korea
Prior art keywords
situation
scene
control server
user terminal
image data
Prior art date
Application number
KR1020190039431A
Other languages
English (en)
Inventor
이재기
김상수
Original Assignee
주식회사 언빈
김상수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 언빈, 김상수 filed Critical 주식회사 언빈
Priority to KR1020190039431A priority Critical patent/KR102139524B1/ko
Application granted granted Critical
Publication of KR102139524B1 publication Critical patent/KR102139524B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06K9/00718—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06K2009/00738—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 상황 인식 기반 지능형 선별 관제 시스템은 사용자 단말 및 카메라, CCTV 관제 영상, 웹캠(webcam) 또는 동영상을 포함하는 영상 소스로부터 입력되는 다수의 영상 데이터에서 장면을 인식하고, 인식된 장면에서 상황을 추론하여 인식하고, 인식된 상황을 기반으로 상기 사용자 단말의 요청에 따른 영상 데이터를 선별하여 상기 사용자 단말에 표출하도록 하는 관제 서버를 포함한다.
본 발명에 의하면, 입력되는 영상 데이터에서 상황을 추론하여 인식하는 방식으로 영상을 선별함으로써, 영상 분류나 관제에 있어서 보다 정확한 영상 선별이 가능하고, 영상을 검색하는 사용자의 편의에 기여하는 효과가 있다.

Description

상황 인식 기반 지능형 선별 관제 시스템 {Intelligent selection monitoring system based on recogniting situation}
본 발명은 관제 시스템에 관한 것으로서, 더욱 상세하게는 상황 인식을 기반으로 하는 지능형 선별 관제 시스템에 관한 것이다.
현재 CCTV 등 영상을 바탕으로 한 감시나 검색 장면을 추출하기 위해서는 객체(사람, 자동차 등)를 감지(Object detection)하거나 인식(Object recognition)하는 것에 기초하여 추적하거나, 추적한 행동의 패턴을 머신 러닝 기법에 기초하여 학습시킴으로써, 위험상황이나 특이 상황을 인지하는 방법이 일반적으로 사용되고 있다.
상기와 같은 방법은 훈련되어 있지 않은 패턴이거나, 훈련되어 있다 할지라도 상황에 대한 판단이 아니라 경로에 대한 판단으로 인지함으로써, 사람이 상황을 인지하는 것과 달리 모니터링 및 추출 대상이 과도하게 많이 발생하거나 잘못 인지되는 경우가 많다는 문제점이 있다.
따라서, 객체 및 객체 추적에 의한 관제 및 인지 방법은 몇 개의 특정 훈련된 패턴으로 한정되며, 예를 들어, 일반적인 군집, 배회, 출현, 출입, 쓰러짐 등의 특이 상황만을 알 수 있으며, 알 수 없는 상황의 변화, 정의되지 않은 상황 변화에 대해서는 인지할 수가 없다.
대한민국 등록특허 10-1404153
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 장면에 나타나는 장소의 특정화, 날씨 및 환경 등의 변수, 그리고 출현 객체와의 연관성 등을 종합 판단하여, 상황을 인식하고, 이를 추출하거나 관제하는 시스템을 제공하는데 그 목적이 있다.
이를 위하여 기존 논문 등에서 공개된 데이터 베이스와 카테고리를 바탕으로 장소, 이와 연관된 상황 및 상황의 변환에 따른 객체의 변화량 출현을 정량화하여 추론하고 상황을 인식하는 방법을 제안한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 상황 인식 기반 지능형 선별 관제 시스템은 사용자 단말 및 카메라, CCTV 관제 영상, 웹캠(webcam) 또는 동영상을 포함하는 영상 소스로부터 입력되는 다수의 영상 데이터에서 장면을 인식하고, 인식된 장면에서 상황을 추론하여 인식하고, 인식된 상황을 기반으로 상기 사용자 단말의 요청에 따른 영상 데이터를 선별하여 상기 사용자 단말에 표출하도록 하는 관제 서버를 포함한다.
상기 관제 서버는 장면에서 나타나는 장소, 환경 및 객체의 행동을 추론하여 상황을 인식할 수 있다.
상기 관제 서버는 입력된 영상 데이터에서 객체를 추출하고, 추출된 객체로부터 장면을 인식하고, 인식된 장면에서 객체의 행동을 추론하고, 장면과 객체의 행동을 이용하여 상황을 추론하여 인식할 수 있다.
상기 사용자 단말을 통해 상황 정보가 입력되면, 상기 관제 서버는 입력된 상황 정보를 포함하는 영상 데이터를 검색하여, 해당 영상 데이터를 선별하여 상기 사용자 단말에 표출할 수 있다.
상기 사용자 단말을 통해 둘 이상의 상황 정보가 입력되면, 상기 관제 서버는 입력된 상황 정보를 포함하는 영상 데이터를 검색하여, 해당 영상 데이터를 입력된 상황 정보 별로 분류하여 상기 사용자 단말에 표출할 수 있다.
본 발명에 의하면, 입력되는 영상 데이터에서 상황을 추론하여 인식하는 방식으로 영상을 선별함으로써, 영상 분류나 관제에 있어서 보다 정확한 영상 선별이 가능하고, 영상을 검색하는 사용자의 편의에 기여하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 상황 인식 기반 지능형 선별 관제 시스템의 구성을 보여주는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 상황 인식 기반 지능형 선별 관제 시스템에서 영상을 추출하는 과정을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 지능형 선별 관제 시스템에서의 관제 방법을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 정상 상황 학습 방법을 보여주는 흐름도이다.
도 5 및 도 6는 본 발명의 일 실시예에 따른 장소 인지 과정을 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 특정 행동을 정의하는 학습을 위한 도표를 예시한 것이다.
도 9은 본 발명의 일 실시예에 따른 행동을 분류 인식시키기 위한 카테고리화 과정을 도시한 것이다.
도 10는 본 발명의 일 실시예에 따른 분류된 인식 장소 및 객체를 예시한 것이다.
도 11은 본 발명의 일 실시예에 따른 분류된 상황을 예시한 것이다.
도 12은 본 발명의 일 실시예에 따른 장면과 활동을 정의하여 상황을 정의하고, 정의된 상황에 해당하는 이미지 검색이나 분류를 요청하기 위한 사용자 단말의 화면예이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 상황(situation) 인식 기반 지능형 선별 관제 시스템에 대한 것이다. 본 발명은 기존 객체 및 장소 인식 기술을 이용하여 장면 및 상황을 추론하고, 훈련된 특이상황과 비 훈련된 특이 상황과 사용자가 지정한 검색 상황을 추출하여 분리하거나, 관제 모니터링에 표출하기 위하여, 설정하고 관리하는 방법 및 기술을 제안하고자 한다.
도 1은 본 발명의 일 실시예에 따른 상황 인식 기반 지능형 선별 관제 시스템의 구성을 보여주는 개념도이다.
도 1을 참조하면, 본 발명의 상황 인식 기반 지능형 선별 관제 시스템은 사용자 단말(100) 및 관제 서버(200)를 포함한다.
사용자 단말(100)은 사용자가 사용하는 단말로서, 유무선 통신망을 통해 관제 서버(200)와 통신하며, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 PC 등을 포함하는 개념이다.
관제 서버(200)는 카메라, CCTV 관제 영상, 웹캠(webcam) 또는 동영상을 포함하는 영상 소스(source)(10)로부터 입력되는 다수의 영상 데이터에서 장면을 인식하고, 인식된 장면에서 상황을 추론하여 인식하고, 인식된 상황을 기반으로 사용자 단말(100)의 요청에 따른 영상 데이터를 선별하여 사용자 단말(100)에 표출하도록 한다.
관제 서버(200)는 장면에서 나타나는 장소, 환경 및 객체의 행동을 추론하여 상황을 인식할 수 있다. 본 발명에서, 관제 서버(200)는 입력된 영상 데이터에서 객체를 추출하고, 추출된 객체로부터 장면을 인식하고, 인식된 장면에서 객체의 행동을 추론하고, 장면과 객체의 행동을 이용하여 상황을 추론하여 인식할 수 있다.
본 발명의 일 실시예에서 사용자 단말(100)을 통해 상황 정보가 입력되면, 관제 서버(200)는 입력된 상황 정보를 포함하는 영상 데이터를 검색하여, 해당 영상 데이터를 선별하여 사용자 단말(100)에 표출할 수 있다.
본 발명의 다른 실시예에서 사용자 단말(100)을 통해 둘 이상의 상황 정보가 입력되면, 관제 서버(200)는 입력된 상황 정보를 포함하는 영상 데이터를 검색하여, 해당 영상 데이터를 입력된 상황 정보 별로 분류하여 사용자 단말(100)에 표출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 상황 인식 기반 지능형 선별 관제 시스템에서 영상을 추출하는 과정을 예시한 도면이다.
도 2를 참조하면, 관제 서버(200)는 카메라, CCTV, 동영상, 이미지 등이 영상소스로부터 입력되는 다수의 영상 데이터에서 물체, 구성, 재질 스트림(STUFF)과, 객체 스트림을 추출하고, 대상 매칭과 매핑을 통해 장면 분할 분석을 수행한다. 또한 영역(part) 스트림을 통해 영역 행동 분할을 수행한다.
그리고, 사용자 단말(100)을 통한 관제나 검색 옵션 설정에 의해 영상 데이터를 검색한다. 예를 들어, “도로에서 사람이 횡단보도를 건넘”이라는 검색 옵션이 설정된 경우, 도로라는 장소와, 사람이라는 객체와, 횡단보도 건넘이라는 행동을 모두 고려하여 영상 데이터를 매칭하고, 이를 통해 영상 데이터를 추출하여 사용자 단말(100)에 표출하도록 한다.
도 3은 본 발명의 일 실시예에 따른 지능형 선별 관제 시스템에서의 관제 방법을 보여주는 흐름도이다.
도 3을 참조하면, 관제 서버(200)는 영상 데이터가 입력되면(S201), 영상 상황을 분석하고(S203), 상황 분석 결과를 출력한다(S205).
그리고, 상황 분석 결과, 상황 이벤트가 발생하면(S207), 해당 영상이 사용자 단말(100)에 표출되도록 한다(S209).
사용자 단말(100)에 표출된 영상을 모니터링한 결과, 실제 상황이 발생한 것으로 판단되면(S211), 사용자는 해당 시간과 카메라를 북마크하고(S217), 해당 카메라를 통해 발생한 상황을 해당기관에 보고하고 관계기관에 협조를 요청한다(S227). 그리고, 보고 서류를 작성한다(S229).
한편, 실제 상황이 발생한 경우, 해당 이미지 영상을 출력하고(S219), 이미지 영상 학습을 수행하고(S221), 이에 따른 학습 데이터를 관제 서버(200)에 입력한다(S223).
그리고, 실제 상황이 발생한 것이 아니면(S211), 상황을 해지하고(S213), 일정시간 동안(예를 들어, 5분간) 이벤트가 표출되는 것을 정지한다(S215).
본 발명은 기존의 객체인식 기술을 바탕으로 객체의 위치나 종류들을 판단하는 객체 스트림(Object Stream) 처리 기술과, 장면(scene), 영역(part), 재질(material), 구성(texture, structure), 색깔(color)를 조합하여 장소 및 장면 인식을 판단한다. 이때, 본 발명에서는 객체를 출현(Frequent)으로 판단하지 않고, 장소를 인지하기 위한 정보용 객체로 사용한다.
도 4는 본 발명의 일 실시예에 따른 정상 상황 학습 방법을 보여주는 흐름도이다.
본 발명에서 정상 상황 학습이란 CCTV , 카메라, 웹캠 등으로부터 입력된 영상 데이터에서 고유한 장소, 장면의 기본 상황값을 도출하기 위해, 일정 기간동안 상황을 분석하는 학습 과정을 의미한다.
CCTV, 카메라, 웹캠 등으로부터 입력되는 영상 데이터에 대하여 일정 기간동안 상황 분석을 실시하여, 장소 또는 장면을 인지 시키고, 인지한 장면의 상황을 이상 상황이 없음의 정상 상황으로 정의하여, 실제 영상분석을 분석할 때 도출된 상황과 비교하고, 그 결과 정상 상황 확률이 일정 수치 이하로 낮아지게 되면, 이상 상황 감지로 판단하여 관제 화면에 표시하거나 이벤트를 표출한다.
이때, 정상 상황 확률의 값을 등급 또는 백분율로 분류하고, 분류된 정상 상황 확률 값에서, 이상 상황값을 판단하는 기준이 되는 기준치를 조절할 수 있도록 함으로써, 이벤트 표출 감도를 조절할 수 있다.
도 4를 참조하면, 관제 서버(200)는 CCTV, 카메라, 웹캠 등으로부터 영상 데이터가 입력되면(S401), 입력된 영상 데이터에서 기초 상황을 분석한다(S403).
그리고, 기초 상황 분석 결과, 기초상황 데이터를 출력한다(S405).
그리고, 기초상황 데이터를 분석하여 기초 상황에 대한 통계를 산출한다(S407).
상기 방식으로, 미리 정해진 기간동안 정상 상황 학습을 진행한다(S409).
도 5 및 도 6는 본 발명의 일 실시예에 따른 장소 인지 과정을 설명하기 위한 예시도이다.
도 5에서 (a)는 식당(dining room) 인지 과정을 예시한 도면이고, (b)는 욕실(bathroom) 인지 과정을 예시한 도면이다.
도 5에서 예시된 각 영상에서 자주 출현하는 객체(Frequent object)와 정보성 객체(Informative object)를 수치화하여 산출한 것을 확인할 수 있다.
도 5에서 보는 바와 같이, 식당(Dining room) 인지 여부를 판단하기 위해서 인지 객체는 안에 존재하는 객체의 판단 확률을 추론하여 표기한다면, 정보 객체의 판단은 각 객체 간에 같이 존재할 가능성 및 배치를 보고 개수나 자세한 종류와 상관없이 객체의 연관성정도를 추론하여 표시하고, 대상 물체에 함께 존재할 수 있는 공간을 도출한다.
이럴 경우 기존의 객체인식에서 해상도나 픽셀의 크기가 중요했지만, 본 발명의 장면 인식에서는 객체의 인식 정확도보다 연관성에 기초하여 장소를 추론하므로, 아주 낮은 해상도, 혹은 조명이나 주/야간의 구분 없이 결론을 도출할 수 있다.
본 발명에서 사용되는 또 하나의 기술은 영역대상 물체(part)의 분별 기술이다. 이는 장면인식을 위한 하위 기술로 여러 대상 물체가 결합되어 있을 경우 대상 영역 물체를 파악하는 것이다. 즉, 기존에 객체 인식을 보면 사람과 오토바이가 있을 경우 오토바이와 사람이라고 분리된 객체로 인식하지만, 본 발명에서 사용되는 기술은 오토바이를 탄 사람이라고 인식하는 것이다. 이는 또한 재질이나 구성, 색깔들과 결합하여 종합객체 및 상황판단의 데이터로 활용된다.
이러한 방식으로 영상 데이터를 물질, 대상, 색깔, 재질 스트리밍과 객체 스트리밍으로 추출한 후, 객체 데이터 베이스에서 인식 정도를 추론하고, 대상 물체와 결합하여 기본 장면을 추론한다. 도 2에서 보는 바와 같이, 객체의 경우, 다시 이차 결합을 통하여 종합 혹은 영역객체(part)를 추론한다. 이 과정에서 훈련이나 테스트 과정으로 딥 러닝(deep learning)에서 많이 사용되는 CNN(Convolution Neutral network) 방법으로 계속 발견되는 영역을 합산하여 CAM(Class activation Mapping)을 만들어 낸다.
각각의 객체를 W1… Wn 이라고 할 때, 장면 객체의 총합을 Wx=W1+W2+W3+……+Wn이라고 할 수 있다. 여기서 영역 객체가 Q1...Qn이라면, 각 Qx는 Qx=W1+…Wn으로 표시되고, 장소를 특징짓는 Mx의 값은 Mx=W1+W2+….+Q1+…Qn으로 표시될 수 있다.
여기에 배치된 각각의 객체와 영역객체가 차지하고 있는 좌표의 합 F(x,y)=Fx...+Fn 으로 표시될 수 있다.
여기서, 장소값과 객체값 등을 다시 CNN 추출 방법으로 훈련된 장소 값으로 다시 추출하여 가능성 있는 장소 및 장면을 추출한다.
예를 들어, 과정을 단순화하기 위하여 각각의 카데고리를 내부(indoor), 자연적인 외부(outdoor natural), 인공적인 외부(outdoor man-made)의 영역으로 분리한 후, 훈련된 데이터를 배치한다.
이렇게 정의된 장소 카테고리에 추가로 발생할 수 있는 상황을, 같은 방법으로 매핑(mapping)한다.
본 발명에서 상황은 환경과 행동으로 나누어지며, 환경은 장소 카테고리에 종합(영역)객체의 추론을 바탕으로 날씨(눈,비, 구름), 조명(인공, 자연조명), 시간(주간, 야간) 등을 별도로 추론하여 매핑한다. 예를 들어, 레벨1에서 외부의 영역이고 종합객체로 인식한 영역에 전등 빛 등이 영상데이터로 인식되면 인공 조명 및 야간이라고 추론 순위를 높게 잡는다.
그리고, 행동은 기본 행동을 카테고리화 하는데, 예를 들어, 장소가 카페라고 정해지고 객체 및 종합객체로 사람과 커피잔, 테이블이 명기된다면, '커피를 마시고 있는 사람', 혹은 '커피를 마시다'라는 기본 행동이 추론된다. 이처럼, 장소에 따라 인식된 행동이 나열된다.
이와는 별도로 특정 행동을 훈련시켜 매핑할 수도 있다. 이 경우 행동이 장소와 환경에 특징되지 않을 수 있는데, 관제 및 영상 추출에서는 설정에 모든 환경과 모든 장면에서의 특정 등으로 지정되어 처리 될 수 있다.
본 발명에서 장면, 상황, 객체와 별도로 행동은 따로 훈련될 필요가 있다. 즉, 전술한 장소, 장면에서 가능한 행동을 추론할 수 있지만, 특별한 행동은 별도로 어떤 행동인지를 훈련시키면 행동에 대한 카테고리가 별도로 설정될 수 있다.
이렇게 해서 인지된 장소, 장면에 가능한 상황을 추론하고, 특정 행동에 대한 데이터 카테고리를 포함하여 종합 상황을 인지한다. 이때, 특정 행동을 인지함에 있어서, 종합 객체화하여 행동을 추출한다. 특정행동에 대해 정의하는 학습도표는 일례로 다음과 같다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 특정 행동을 정의하는 학습을 위한 도표를 예시한 것이다.
도 7은 고속도로에서 사고 상황을 정의하기 위한 학습도표이고, 도 8은 엘리베이터에서 쓰러진 사람을 정의하기 위한 학습도표이다.
도 7 및 도 8에서 보는 바와 같이, 장면, 상황, 객체를 종합적으로 고려하여 특정 행동을 학습할 수 있다.
본 발명에서는 행동을 분류 인식시키기 위하여 다음과 같은 카테고리화 과정을 수행한다.
도 9은 본 발명의 일 실시예에 따른 행동을 분류 인식시키기 위한 카테고리화 과정을 도시한 것이다.
도 9은 '쓰러짐' 행동을 인식시키기 위한 카테고리화 과정을 예시한 것이다.
도 9을 참조하면, 먼저 인도어(indoor)와 아웃도어(outdoor)를 구분하고, 인도어의 경우, 침실, 사무실, 복도, 엘리베이터의 장면이 예시되고, 아웃도어의 경우, 엘리베이터, 인공구조물, 자연적인의 장면이 예시된다.
침실의 경우 침대라는 객체가 있으면 수면중이거나, 누워있는 행동으로 카테고리화하고, 쇼파라는 객체가 있으면 수면중이거나 누워있는 행동으로 카테고리화할 수 있다.
이런식으로 본 발명에서는 행동을 분류 인식하여 카테고리화하는 과정을 수행한다.
이렇게 정의된 분류 데이터는 상황 정의로 활용되어 관제 및 추출에 사용된다.
관제에 있어서 특정되어 있지 않은 이상 상황을 처리하기 위해서 해당 영상 소스에 대한 상황 학습을 진행할 수 있다.
[표 1]
Figure 112019034628816-pat00001
예를 들어, 관제에 사용되는 카메라에 장면 및 상황 판단을 한 결과, 표 1과 같이 인지가 되었다면, 이러한 데이터를 24시간 혹은 지정된 시간동안 축적한 다음, 날씨, 조명, 장소, 객체의 출현 빈도 등을 각각 장면 레이어, 상황 레이어, 객체 레이어에 넣어 학습을 시켜서, 출현 확률과 패턴을 추론한다.
본 발명에서 장면 레이어, 상황 레이어, 객체 레이어를 매트릭스로 구성할 수 있고, 각 레이어에 데이터를 입력하여 학습을 수행시키고, 인지 장면, 상황, 객체과 조합될 확률을 추론하여 모델 데이터베이스에 보관한다.
예를 들어, 학습을 수행한 결과, 추론된 출현 확률과 패턴을 예시하면 다음과 같다.
Figure 112019034628816-pat00002
예를 들어, 실제 관제에서, 놀이터+눈, 바람,군집+자동차, 개, 사람의 가능성을 추론하였더니 추론 확률이 0.2으로 산출되고, 이런 영상이 지정된 시간(30초, 혹은 1분 등)으로 반복하여 나온다면, 이상 상황이라고 판단하여 관제 화면에 표시하거나 경보음을 표출하는 것이다.
이를 위하여, 본 발명에서는 각 연결된 영상소스별로 장소, 환경, 객체, 행동 등을 별도 훈련시키는 것이 가능하다. 예를 들어, 하나의 cctv에서 지속적으로 현재 환경을 '정상환경'으로 훈련한다. 이 과정에서 인식장소, 상황, 객체 들이 출현 빈도와 이것이 조합된 경우에 대하여 시간대를 고려하여 통계를 산출한다.
그리고, 이 데이터를 바탕으로 정상 상황의 경우, 각각의 인자(상황, 객체, 장소, 행동 등)을 각 레이어에 넣고 훈련을 수행한다.
이렇게 해서 추출된 정상 케이스 데이터를 모델화하여 카메라 별로 적용하게 되면, 정상상황이 아닌 특이한 상황이 발생할 경우, 이를 인지하여 영상을 관제 화면에 표출하게 되는 것이다. 만약, 훈련이 잘못되거나 인지를 잘못한 오류로 인하여 정상적인 상황이 화면에 표출된 경우, 사용자는 이를 정상 상황으로 인지하여 정상임을 확인하는 소정의 버튼을 클릭한다. 이 경우, 관제 서버(200)는 이를 오류 폴더에 넣고 다음 훈련시에 활용하여 오류를 최소화 하게 된다. 마찬가지로 인지를 못한 이상 상황이 발생할 경우, 사용자가 이를 이상상황이라고 선택하면, 관제 서버(200)는 훈련시 이를 참조하여 정확한 인지가 가능하도록 한다.
도 10는 본 발명의 일 실시예에 따른 분류된 인식 장소 및 객체를 예시한 것이다.
도 10를 참조하면, 어떤 영상 데이터에 대하여 경주로가 977회, 내부의 주차장이 932회, 플랫폼 있는 기차역이 912회, 플랫폼 있는 지하철역이 835회, 조립선이 341회 등으로 장소 인식이 된 것으로 나타났다.
도 11은 본 발명의 일 실시예에 따른 분류된 상황을 예시한 것이다.
도 11을 참조하면, 장면, 상황행동, 인식 객체에 따라 분류된 상황이 예시되어 있다.
도 12은 본 발명의 일 실시예에 따른 장면과 활동을 정의하여 상황을 정의하고, 정의된 상황에 해당하는 이미지 검색이나 분류를 요청하기 위한 사용자 단말의 화면예이다.
도 12을 참조하면, 사용자는 장면 카테고리, 환경 및 활동 카테고리, 인식 객체 카테고리를 각각 설정하여 원하는 장면이 포함된 영상 데이터를 관제 서버(200)로부터 제공받을 수 있다. 예를 들어, “도로 내 사람 무단횡단”이라는 상황을 입력하면, 해당 상항이 포함된 영상 데이터를 관제 서버(200)로부터 제공받을 수 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 사용자 단말 200 관제 서버

Claims (5)

  1. 사용자 단말; 및
    카메라, CCTV 관제 영상, 웹캠(webcam) 또는 동영상을 포함하는 영상 소스로부터 입력되는 다수의 영상 데이터에서 장면을 인식하고, 인식된 장면에서 상황을 추론하여 인식하고, 인식된 상황을 기반으로 상기 사용자 단말의 요청에 따른 영상 데이터를 선별하여 상기 사용자 단말에 표출하도록 하는 관제 서버를 포함하며,
    상기 관제 서버는 장면에서 나타나는 장소, 환경 및 객체의 행동을 추론하여 상황을 인식하고,
    상기 관제 서버는 입력된 영상 데이터에서 객체를 추출하고, 추출된 객체로부터 장면을 인식하고, 인식된 장면에서 객체의 행동을 추론하고, 장면과 객체의 행동을 이용하여 상황을 추론하여 인식하며,
    상기 관제 서버는 카메라, CCTV 관제 영상, 웹캠(webcam) 또는 동영상을 포함하는 영상 소스로부터 입력되는 다수의 영상 데이터에서 특정 장소 및 장면의 기본 상황값을 도출하기 위해, 일정 기간동안 상황을 분석하는 학습 과정인 정상 상황 학습을 수행하고,
    상기 관제 서버는 상기 정상 상황 학습을 수행함에 있어서, 카메라, CCTV 관제 영상, 웹캠(webcam) 또는 동영상을 포함하는 영상 소스로부터 입력되는 다수의 영상 데이터에 대하여 일정 기간동안 상황 분석을 실시하여, 장소 또는 장면을 인지하고, 인지한 장면의 상황을 이상 상황이 없음을 나타내는 정상 상황으로 정의하는 방식으로 정상 상황 학습을 수행하고,
    상기 관제 서버는 영상분석을 실시하여 도출된 분석 상황과 정상 상황을 비교 분석하여 분석 상황이 정상 상황으로 판단되는 확률인 정상 상황 확률을 산출하고, 산출된 정상 상황 확률을 미리 정해진 기준치와 비교하여, 기준치 이하이면 이상 상황을 감지한 것으로 판단하여 상기 사용자 단말에 이벤트를 표출하고,
    상기 관제 서버는 CNN(Convolution Neutral network) 방법으로 상기 정상 상황 학습을 수행하고,
    상기 관제 서버는 매트릭스로 구성된 장면 레이어, 상황 레이어, 객체 레이어를 포함하는 데이터베이스를 구비하고,
    상기 관제 서버는 분석된 상황에서 날씨, 조명, 장소, 객체의 출현 빈도를 상기 장면 레이어, 상황 레이어, 객체 레이어에 입력하여 학습을 수행하는 방식으로 출현 확률과 패턴을 추론하고,
    상기 관제 서버는 분석된 상황에서 추론된 출현 확률이 임계값 이하이면서 미리 정해진 시간동안 반복하여 나오면, 해당 상황을 이상 상황이라고 판단하여 상기 사용자 단말에 이벤트를 표출하는 것을 특징으로 하는 상황 인식 기반 지능형 선별 관제 시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 사용자 단말을 통해 상황 정보가 입력되면, 상기 관제 서버는 입력된 상황 정보를 포함하는 영상 데이터를 검색하여, 해당 영상 데이터를 선별하여 상기 사용자 단말에 표출하는 것을 특징으로 하는 상황 인식 기반 지능형 선별 간제 시스템.
  5. 청구항 1에 있어서,
    상기 사용자 단말을 통해 둘 이상의 상황 정보가 입력되면, 상기 관제 서버는 입력된 상황 정보를 포함하는 영상 데이터를 검색하여, 해당 영상 데이터를 입력된 상황 정보 별로 분류하여 상기 사용자 단말에 표출하는 것을 특징으로 하는 상황 인식 기반 지능형 선별 간제 시스템.
KR1020190039431A 2019-04-04 2019-04-04 상황 인식 기반 지능형 선별 관제 시스템 KR102139524B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190039431A KR102139524B1 (ko) 2019-04-04 2019-04-04 상황 인식 기반 지능형 선별 관제 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190039431A KR102139524B1 (ko) 2019-04-04 2019-04-04 상황 인식 기반 지능형 선별 관제 시스템

Publications (1)

Publication Number Publication Date
KR102139524B1 true KR102139524B1 (ko) 2020-07-29

Family

ID=71893473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190039431A KR102139524B1 (ko) 2019-04-04 2019-04-04 상황 인식 기반 지능형 선별 관제 시스템

Country Status (1)

Country Link
KR (1) KR102139524B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102275567B1 (ko) * 2020-09-25 2021-07-09 한국산업기술시험원 공공 데이터 활용 및 데이터 증식을 통한 이상치 탐색이 가능한 딥러닝 기반 공공장소 관제 및 방재 시스템
WO2022131739A1 (ko) * 2020-12-18 2022-06-23 삼성전자 주식회사 영상 처리 방법 및 이를 지원하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064668A (ko) * 2003-06-07 2003-08-02 나병호 객체식별이 가능한 영상처리 디지탈녹화시스템
KR101394242B1 (ko) * 2011-09-23 2014-05-27 광주과학기술원 영상 감시 장치 및 영상 감시 방법
KR101404153B1 (ko) 2014-01-07 2014-06-09 주식회사 다이나맥스 지능형 cctv 통합관제시스템
KR20160093293A (ko) * 2015-01-29 2016-08-08 한국전자통신연구원 영상에서 장면 단위 컨텍스트 정보를 이용한 객체 검출 장치 및 방법
KR101848367B1 (ko) * 2017-08-14 2018-04-12 주식회사 네트로 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030064668A (ko) * 2003-06-07 2003-08-02 나병호 객체식별이 가능한 영상처리 디지탈녹화시스템
KR101394242B1 (ko) * 2011-09-23 2014-05-27 광주과학기술원 영상 감시 장치 및 영상 감시 방법
KR101404153B1 (ko) 2014-01-07 2014-06-09 주식회사 다이나맥스 지능형 cctv 통합관제시스템
KR20160093293A (ko) * 2015-01-29 2016-08-08 한국전자통신연구원 영상에서 장면 단위 컨텍스트 정보를 이용한 객체 검출 장치 및 방법
KR101848367B1 (ko) * 2017-08-14 2018-04-12 주식회사 네트로 모션벡터와 dct 계수를 이용한 메타데이터 기반 의심영상 구분식별 방식의 영상 관제 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102275567B1 (ko) * 2020-09-25 2021-07-09 한국산업기술시험원 공공 데이터 활용 및 데이터 증식을 통한 이상치 탐색이 가능한 딥러닝 기반 공공장소 관제 및 방재 시스템
WO2022131739A1 (ko) * 2020-12-18 2022-06-23 삼성전자 주식회사 영상 처리 방법 및 이를 지원하는 전자 장치

Similar Documents

Publication Publication Date Title
CN109154976B (zh) 通过机器学习训练对象分类器的系统和方法
US11151383B2 (en) Generating visual event detectors
WO2021088300A1 (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
Qin et al. Applying the convolutional neural network deep learning technology to behavioural recognition in intelligent video
CN101799876B (zh) 一种视音频智能分析管控系统
CN103004188A (zh) 设备、系统和方法
CN109558810B (zh) 基于部位分割与融合目标人物识别方法
CN111212303B (zh) 视频推荐方法、服务器和计算机可读存储介质
CN111626188B (zh) 一种室内不可控明火监测方法及系统
US20180150695A1 (en) System and method for selective usage of inference models based on visual content
CN107944359A (zh) 基于视频的火焰检测方法
CN101859436B (zh) 一种大幅规律运动背景智能分析管控系统
CN107229894A (zh) 基于计算机视觉分析技术的智能视频监控方法及系统
KR102139524B1 (ko) 상황 인식 기반 지능형 선별 관제 시스템
CN105261030B (zh) 从红外视频中检测火焰的方法及装置
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
US20210295039A1 (en) Methods and electronic devices for automated waste management
CN103996045A (zh) 一种基于视频的多种特征融合的烟雾识别方法
CN116416281A (zh) 一种粮库ai视频监管分析方法及系统
CN103049748A (zh) 行为监测方法及装置
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
Zeng et al. Finger-vein image quality assessment based on light-cnn
AU2021102961A4 (en) AN IoT BASED SYSTEM FOR TRACING AND RECOGNIZING AN OBJECT
KR102342495B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
JP2023168733A (ja) 侵入者検知システム及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant