KR101911604B1

KR101911604B1 - 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법

Info

Publication number: KR101911604B1
Application number: KR1020160137950A
Authority: KR
Inventors: 한동수; 신진우; 이벽산; 양진영
Original assignee: 한국과학기술원; 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date: 2016-10-21
Filing date: 2016-10-21
Publication date: 2018-10-25
Also published as: US20180114095A1; KR20180044169A; US10650277B2

Abstract

본 발명은 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법에 관한 것으로, 사용자로부터 입력된 이벤트관련키워드를 수집하는 이벤트관련키워드수집부와 이벤트관련키워드를 단어 데이터 베이스에 전달하여 단어 데이터 베이스로부터 하나 이상의 연관키워드를 수집하는 연관키워드수집부와 이벤트관련키워드 및 연관키워드에 대한 하나 이상의 검색식을 생성하는 검색식 생성부와 검색식을 이미지 데이터 베이스에 전달하여 이미지 데이터 베이스로부터 검색식과 연관 있는 하나 이상의 이벤트관련이미지를 수집하는 이벤트 관련 이미지 수집부와 이벤트 관련 이미지를 트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 트레이닝하는 트레이닝부를 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치 및 그 방법을 제공한다. 이에 따라, 학습형 시스템 트레이닝장치의 감지 대상이 되는 특정 이벤트를 시스템의 설치 후에도 사용자가 설정할 수 있으며, 특정 이벤트에 대한 학습형 시스템의 지속적이고 충분한 트레이닝이 가능하고, 트레이닝에 있어 높은 정확도를 구현할 수 있다.

Description

이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법{Apparatus and method for training a learning system to detect event}

본 발명은 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법에 관한 것으로, 보다 자세하게는 사용자에 의해 선택되고 특정 이벤트와 관련된 키워드를 이용하여, 일련의 방법으로 이미지를 수집하고 수집한 이미지를 이용하여 학습형 시스템을 트레이닝 시키는 것을 특징으로 하는 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법에 관한 것이다. 또한, 본 발명은 상기 트레이닝 된 학습형 시스템을 사용자에 의해 선택된 이미지를 이용하여 이미지 수준에서 학습형 시스템을 리트레이닝 시키는 것을 특징으로 하는 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법에 관한 것이다.

실생활에서는 많은 이벤트가 발생하는데, 이러한 이벤트들 중에는 이벤트의 내용을 파악하여 이를 관련된 특정인에게 알릴 필요가 있는 경우가 존재한다. 특정 구간 내 동적 정보를 수집하는 시스템으로서 CCTV, 차량용 블랙박스 등이 이용되고 있고 이는 이벤트의 내용을 파악하기 위한 전 단계에 해당한다.

특히, CCTV나 차량용 블랙박스와 같이 카메라 모듈이 장착된 디바이스가 널리 이용되고 있는데, CCTV의 경우 보안이 필요한 은행이나 골목길 등과 같은 우범지대에서 범죄나 사고 발생여부를 감시하기 위한 용도로 사용되고 있거나 개인용 주택에서 침입이나 화재발생 여부를 감시하기 위한 용도로 사용되는 경우가 많다. 차량용 블랙박스의 경우 주로 차량 내부에 설치되어 자동차 충돌 전후의 상황을 기록해 사고 정황 파악에 필요한 정보를 제공할 목적으로 운전자의 가속 페달, 제동 페달 등의 조작과 엔진 상태, 속도, 전방 상황 등을 실시간으로 기록한다.

이와 관련하여 촬영되는 영상 내에서 이벤트가 발생하는 경우 단순히 동적 상황 발생을 감지하여 이를 촬영하고 특정인에게 알리는 기술은 존재하지만(한국등록특허공보 제10-0422798), 이 경우 영상 내에서 발생한 이벤트의 구체적인 내용을 시스템이 정확하게 특정할 수 없고, 이벤트 검출에 대한 신뢰도를 향상시키기 위해 시스템이 스스로 트레이닝 할 수 없으며, 시스템이 설치된 후 새로운 이벤트를 감지하기 위한 설정이 어렵다는 한계가 있었다.

한국 등록특허 제10-0422798호

이에 본 발명은 사용자에 의해 선택되고 특정 이벤트와 관련된 키워드를 이용하여, 일련의 방법으로 상기 이벤트에 대한 이미지를 수집하고, 수집한 이미지를 이용하여 학습형 시스템을 트레이닝 시키는 것을 특징으로 하는 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법의 제공을 목적으로 한다. 또한, 본 발명의 다른 목적은 상기 트레이닝 된 학습형 시스템을 사용자에 의해 선택된 이미지를 이용하여 이미지 수준에서 학습형 시스템을 리트레이닝 시키는 것을 특징으로 하는 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법의 제공을 목적으로 한다.

본 발명의 실시예에 따르면, 사용자로부터 입력된 이벤트관련키워드를 수집하는 이벤트관련키워드수집부; 상기 이벤트관련키워드를 단어 데이터 베이스에 전달하여 단어 데이터 베이스로부터 하나 이상의 연관키워드를 수집하는 연관키워드수집부; 상기 이벤트관련키워드 및 연관키워드에 대한 하나 이상의 검색식을 생성하는 검색식 생성부; 상기 검색식을 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 검색식과 연관 있는 하나 이상의 이벤트관련이미지를 수집하는 이벤트 관련 이미지 수집부; 및 상기 이벤트 관련 이미지를 트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 트레이닝하는 트레이닝부; 를 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치가 제공될 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 학습형 시스템 트레이닝장치 제공방법은, 이벤트관련키워드수집부가 사용자로부터 입력된 이벤트관련키워드를 수집하는 단계; 연관키워드수집부가 상기 이벤트관련키워드를 단어 데이터 베이스에 전달하여 단어 데이터 베이스로부터 하나 이상의 연관키워드를 수집하는 단계; 검색식 생성부가 상기 이벤트관련키워드 및 연관키워드에 대한 하나 이상의 검색식을 생성하는 단계; 이벤트 관련 이미지 수집부가 상기 검색식을 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 검색식과 연관 있는 하나 이상의 이벤트관련이미지를 수집하는 단계; 및 트레이닝부가 상기 이벤트 관련 이미지를 트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 트레이닝하는 단계를 포함할 수 있다.

학습형 시스템 트레이닝장치 제공방법은, 테스트 이미지 수집부가 사용자로부터 입력된 하나 이상의 테스트 이미지를 수집하는 제6단계; 학습형 시스템 테스트부가 상기 테스트 이미지로 상기 트레이닝 된 학습형 시스템을 테스트하는 제7단계; 오류이미지수집부가 상기 학습형 시스템으로부터 하나 이상의 긍정오류이미지와 하나 이상의 부정오류이미지를 수집하는 제8단계; 연관오류이미지수집부가 상기 긍정오류이미지 및 부정오류이미지를 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 긍정오류이미지와 연관 있는 하나 이상의 긍정오류연관이미지 및 상기 부정오류이미지와 연관 있는 하나 이상의 부정오류연관이미지를 수집하는 제9단계; 라벨링부가 상기 긍정오류연관이미지를 이벤트발생이미지로 라벨링하고, 상기 부정오류연관이미지를 이벤트미발생이미지로 라벨링하는 제10단계; 및 제1리트레이닝부가 상기 이벤트발생이미지 및 이벤트미발생이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝하는 제11단계;를 더 포함한다.

학습형 시스템 트레이닝장치 제공방법은, 신뢰도측정이미지수집부가 사용자로부터 입력된 하나 이상의 신뢰도측정이미지를 수집하는 제12단계; 신뢰도측정부가 상기 신뢰도측정이미지로 상기 리트레이닝 된 학습형 시스템의 신뢰도를 측정하는 제13단계; 상기 신뢰도가 임계값미만인 경우 신뢰도결과수집부가 상기 학습형 시스템으로부터 신뢰도측정이미지를 수집하는 제14단계; 신뢰도측정연관이미지수집부가 상기 신뢰도측정이미지를 상기 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 신뢰도측정이미지와 연관 있는 하나 이상의 신뢰도측정이미지연관이미지를 수집하는 제15단계; 및 제3리트레이닝부가 상기 신뢰도측정이미지연관이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝 하는 제16단계;를 더 포함한다.

학습형 시스템 트레이닝장치 제공방법은, 상기 제6단계 내지 제11단계 및 제12단계 내지 제16단계가 적어도 2회 이상 반복된다.

본 발명에 따른 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법을 제공함으로써, 영상 내에서 발생한 이벤트의 구체적인 내용을 정확하게 특정하여 특정인에게 알릴 수 있다는 이점이 있다.

또한, 본 발명은 학습 알고리즘에 기반하여 학습형 시스템을 트레이닝하는바, 이벤트 검출에 대한 신뢰도를 향상시키기 위해 학습형 시스템을 지속적이고 충분하게 트레이닝 시킬수 있는 이점이 있다.

또한, 본 발명은 시스템의 설치 후에도 사용자가 새로운 이벤트를 감지하기 위한 설정이 가능한 이점이 있다.

도 1은 학습형 시스템 트레이닝장치와 주변 구성요소간의 연결을 나타내는 도면.
도 2는 본 발명의 실시예에 따른 학습형 시스템 트레이닝장치의 구성을 설명하는 설명도.
도 3은 본 발명의 실시예에 따른 트레이닝 시스템부의 구성을 나타내는 설명도.
도 4는 본 발명의 실시예에 따른 제1리트레이닝 시스템부의 구성을 설명하는 설명도.
도 5는 본 발명의 실시예에 따른 제2 리트레이닝 시스템부의 구성을 설명하는 설명도.
도 6은 본 발명의 실시예에 따른 제3리트레이닝 시스템부의 구성을 설명하는 설명도.
도 7은 본 발명의 실시예에 따른 트레이닝 시스템부의 흐름도.
도 8은 본 발명의 실시예에 따른 제1리트레이닝 시스템부의 흐름도.
도 9는 본 발명의 실시예에 따른 제2 리트레이닝 시스템부의 흐름도.
도 10은 본 발명의 실시예에 따른 제3리트레이닝 시스템부의 흐름도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도 1은 학습형 시스템 트레이닝장치(200)와 주변 구성요소간의 연결을 나타내는 도면이고, 도 2는 본 발명의 실시예에 따른 학습형 시스템 트레이닝장치(200)의 구성을 설명하는 설명도이다.

도 1을 참조하면, 학습형 시스템 트레이닝장치(200)의 주변 구성요소는 사용자(100), 단어 데이터 베이스(400), 비문 데이터 베이스(500), 이미지 데이터 베이스(600) 및 학습형 시스템(300)을 포함할 수 있으며, 주변 구성요소는 학습형 시스템 트레이닝장치(200)와 연결될 수 있다.

학습형 시스템 트레이닝장치(200)는 사용자(100)를 통해 입력된 특정 이벤트와 관련된 키워드 또는 테스트 이미지를 수집한다. 구체적으로 사용자는 학습형 시스템 트레이닝장치와 통신 가능한 사용자 단말 장치를 통해 특정 이벤트와 관련된 키워드, 테스트 이미지 및 신뢰도측정이미지를 학습형 시스템 훈련장치에 입력할 수 있다. 사용자(100)를 통해 입력된 특정 이벤트와 관련된 키워드 또는 테스트 이미지를 수집하는 과정은 사용자에 의해 수동으로 행해질 수 있으며 사용자가 직접 테스트 이미지에 대응하여 키워드 및 검색식을 입력하는 등의 방법으로 제공될 수 있다. 키워드로부터 또 다른 연관키워드를 생성하여 입력하는 과정도 사용자에 의해서 입력될 수 있다.

본 발명의 일실시예로 상기 사용자 단말 장치는 사용자가 통합 인터페이스 수단을 이용하여 키워드를 입력할 수 있는 디지털 기기라면 얼마든지 본 발명에 따른 사용자 단말 장치로서 채택될 수 있다. 예를 들어 본 발명의 사용자 단말 장치는 개인용 컴퓨터(데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드 등이 될 수 있다.

또한, 본 발명의 일실시예로 학습형 시스템 트레이닝장치와 사용자 단말 장치의 통신은 유선 및 무선과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN;Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network), 월드와이드웹(WWW; World Wide Web) 등 다양한 통신망으로 구성될 수 있다.

학습형 시스템 트레이닝장치(200)는 단어 데이터 베이스(400), 비문 데이터 베이스(500) 및 이미지 데이터 베이스(600)와 연결되며, 사용자(100)에 의해 선택된 특정 이벤트와 관련된 키워드 및 테스트 이미지를 입력으로 하여 일련의 방법으로 이미지를 수집하고, 수집된 이미지를 이용하여 학습형 시스템(300)을 트레이닝 및 리트레이닝 하는 기능을 한다.

본 발명의 일실시예로 학습형 시스템(300)은 인공지능(Artificial Intelligence, AI) 방식으로 학습 알고리즘 또는 방법을 사용하여 입력데이터 혹은 기존데이터를 트레이닝 데이터 및 리트레이닝 데이터로 하여 판단기준을 설정하고 지속적으로 업데이트할 수 있는 모든 시스템을 의미한다. 상기 학습 알고리즘 또는 방법은 통계학적 학습 알고리즘인 인공신경망(ANN: artificial neural network), 결정 트리(decision tree), K-평균, 패턴 인식 중 K-최근접 이웃, 패턴 인식·자료 분석을 위한 지도 학습 모델인 서포트 벡터 머신(support vector machine, SVM), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering)등을 모두 포함할 수 있다.

본 발명의 다른 실시예로 학습형 시스템(300)은 바람직하게는 딥 러닝 알고리즘(Deep Learning algorithm)을 이용한 학습형 시스템일 수 있다. 딥 러닝 알고리즘이라 함은, 컴퓨터가 여러 데이터를 이용하여 마치 사람처럼 스스로 트레이닝 할 수 있게 하기 위해 인공 신경망을 기반으로 하는 기계 학습 기술에 대한 알고리즘을 의미한다. 따라서 컴퓨터가 특정 업무를 수행할 때 정형화된 데이터를 입력받지 않고 스스로 필요한 데이터를 수집 · 분석하게 하여 고속으로 처리할 수 있도록 한다. 이는 미리 데이터를 투입하는 전처리 과정(Pre-training)을 거치면 투입된 데이터를 비교하고 데이터 간 특징을 찾아 분류하여 스스로 학습하는 비지도 학습(Unsupervised Learning)의 방식을 취한다.

본 발명의 일실시예로 상기 단어 데이터 베이스(400)는 단어에 대한 정보로서 서로 관련성을 가지며 중복이 없는 데이터의 집합을 의미한다.

본 발명의 일실시예로 상기 비문 데이터 베이스(500)는 비문 또는 동음이의어에 대한 정보로서 서로 관련성을 가지며 중복이 없는 데이터의 집합을 의미한다.

본 발명의 일실시예로 상기 이미지 데이터 베이스(600)는 이미지 또는 영상에 대한 정보로서 서로 관련성을 가지며 중복이 없는 데이터의 집합을 의미한다.

도 2를 참조하면, 본 발명의 실시예에 따른 학습형 시스템 트레이닝장치(200)는 트레이닝 시스템부(210), 제1리트레이닝 시스템부(220), 제2 리트레이닝 시스템부(230) 및 제3리트레이닝 시스템부(240)를 포함할 수 있으며, 트레이닝 시스템부(210)는 단어 데이터 베이스(400), 비문 데이터 베이스(500), 이미지 데이터 베이스(600), 학습형 시스템(300)과 연결될 수 있고, 제1리트레이닝 시스템부(220) 내지 제3리트레이닝 시스템부(240)는 이미지 데이터 베이스(600) 및 학습형 시스템(300)과 연결될 수 있다.

본 발명의 일실시예로 상기 트레이닝 시스템부(210)는 단어 데이터 베이스(400), 비문 데이터 베이스(500) 및 이미지 데이터 베이스(600)와 연결되어, 사용자(100)에 의해 선택된 특정 이벤트와 관련된 키워드를 이용하여 일련의 방법으로 이미지를 수집하고 수집한 이미지를 이용하여 학습형 시스템(300)을 트레이닝할 수 있다. 키워드의 입력은 사용자에 의한 수동 입력에 의해 이루어질 수 있다.

본 발명의 일실시예로 상기 제1리트레이닝 시스템부(220)는 이미지 데이터 베이스(600)와 연결되어, 사용자(100)에 의해 선택된 테스트 이미지를 이용하여 일련의 방법으로 이미지를 수집하고 수집한 이미지를 이용하여 상기 트레이닝 된 학습형 시스템(300)을 리트레이닝할 수 있다.

본 발명의 일실시예로 상기 제2 리트레이닝 시스템부(230)는 이미지 데이터 베이스(600)와 연결되어, 카메라를 통해 수집된 카메라이미지를 이용하여 일련의 방법으로 이미지를 수집하고 수집된 이미지를 이용하여 상기 트레이닝 된 학습형 시스템(300)을 리트레이닝할 수 있다.

본 발명의 일실시예로 상기 제3리트레이닝 시스템부(240)는 이미지 데이터 베이스(600)와 연결되어, 사용자(100)에 의해 선택된 신뢰도측정이미지 및 리트레이닝 된 학습형 시스템(300)의 신뢰도를 이용하여 일련의 방법으로 이미지를 수집하고 수집된 이미지를 이용하여 상기 리트레이닝 된 학습형 시스템(300)을 리트레이닝할 수 있다.

도 3은 본 발명의 실시예에 따른 트레이닝 시스템부(210)의 구성을 나타내는 설명도이다.

도 3을 참조하면, 본 발명의 실시예에 따른 트레이닝 시스템부(210)는 이벤트관련키워드수집부(211), 연관키워드수집부(212), 검색식 생성부(213), 이벤트 관련 이미지 수집부(215) 및 트레이닝부(216)를 포함할 수 있다.

본 발명의 일실시예로 상기 이벤트관련키워드수집부(211)는 사용자(100)로부터 특정 이벤트와 관련된 하나 이상의 키워드를 입력받아 이를 이벤트관련키워드로 하고 이를 연관키워드수집부(212) 및 검색식 생성부(213)에 전달할 수 있다.

예를 들어, 학습형 시스템 트레이닝장치(200)의 감시 대상인 특정 이벤트가 화재라면, 사용자(100)로부터 ‘화재’라는 키워드를 입력받아 ‘화재’를 이벤트관련키워드로 하여 연관키워드수집부(212) 및 검색식 생성부(213)에 전달한다.

위에서는 실시예를 참조하여 설명하였지만 상기 실시예는 본 발명의 일실시예로, 해당 기술 분야의 숙련된 당업자는 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 물론이다.

본 발명의 일실시예로 상기 연관키워드수집부(212)는 수집된 이벤트관련키워드를 단어 데이터 베이스(400)에 전달하여 단어 데이터 베이스(400)로부터 하나 이상의 연관키워드를 수집하고 상기 연관키워드를 검색식 생성부(213)에 전달할 수 있다.

상기 연관키워드는 이벤트관련키워드의 유의어, 유사어, 동의어, 연관어, 외래어 등으로서, 하나 이상의 단어를 포함할 수 있다.

상기 연관어는 이벤트관련키워드의 의미를 한정 혹은 특정하거나 구체화한 연관 단어를 포함할 수 있다.

예를 들어, 상기 이벤트관련키워드가 화재라면, 연관키워드는 ‘화마’, ‘불’, ‘화염’, ‘건물 화재’, ‘터널 화재’, ‘fire’, ‘conflagration’ 등을 포함할 수 있다.

본 발명의 일실시예로 상기 단어 데이터 베이스(400)는 연관키워드수집부(212)와 연결되어 이벤트관련키워드의 유의어, 유사어, 동의어, 외래어 등을 연관키워드수집부에 제공할 수 있으며, 유의어 사전 데이터베이스, 유사어 사전 데이터베이스, 동의어 사전 데이터베이스, 외래어 사전 데이터베이스 등을 포함할 수 있다.

본 발명의 일실시예로 상기 검색식 생성부(213)는 상기 이벤트관련키워드 및 연관키워드수집부(212)를 통해 수집된 연관키워드에 대한 하나 이상의 검색식을 생성하여 생성된 검색식을 이벤트 관련 이미지 수집부(215)에 전달할 수 있다.

상기 검색식은 하나 이상의 단어로 구성되며 이벤트관련키워드 또는 연관키워드를 포함할 수 있다. 예를 들어, 연관키워드 ‘fire’에 대한 검색식은 ‘fire on building’, ‘fire on house’등일 수 있다. 연관 키워드에 대한 검색식은 사용자에 의해 수동으로 입력되거나, 상기 검색식 생성부(213)에 의해 자동으로 생성될 수 있다.

상기 검색식 생성부(213)는 오류검출부(214)를 더 포함할 수 있고, 오류검출부(214)는 비문 데이터 베이스(500)와 연결되어 비문검출알고리즘을 기반으로 상기 검색식의 비문여부 혹은 상기 이벤트관련키워드 또는 연관키워드의 동음이의어에 의한 상기 검색식의 오류여부를 검출할 수 있다.

본 발명의 일실시예로 상기 비문 데이터 베이스(500)는 비문 사전 데이터베이스, 동음이의어 사전 데이터베이스 등을 포함할 수 있다.

본 발명의 일실시예로 상기 이벤트 관련 이미지 수집부(215)는 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 검색식과 연관 있는 하나 이상의 사건관련이미지를 수집할 수 있다. 구체적으로, 이벤트 관련 이미지 수집부(215)는 상기 하나 이상의 검색식을 통해 이미지 데이터 베이스(600)에 요청하여 해당 검색식 각각에 대한 검색 결과인 하나 이상의 이벤트관련이미지를 수집하고, 상기 이벤트관련이미지를 트레이닝부(216)에 전달할 수 있다. 이미지 데이터 베이스(600)는 이미지 검색엔진 등을 포함할 수 있다.

본 발명의 일실시예로 상기 트레이닝부(216)는 상기 이벤트관련이미지를 트레이닝 데이터로 하고 학습형 시스템(300)과 통신하여 학습형 시스템(300)을 트레이닝할 수 있다. 구체적으로, 트레이닝부(216)는 이벤트 관련 이미지 수집부(215)로부터 상기 이벤트관련이미지를 전달받고 이벤트관련이미지를 학습형 시스템(300)에 전달할 수 있다.

상기 이벤트관련이미지를 전달받은 학습형 시스템(300)은 상기 이벤트관련이미지를 트레이닝 데이터로 하여 트레이닝하며, 특정 이벤트와 연관 있는 이미지에 대한 판단기준을 설정하고 지속적으로 업데이트할 수 있다.

예를 들어 이벤트관련이미지가 검색식 ‘fire on building’에 대한 검색 결과인 하나 이상의 이미지인 경우, 학습형 시스템(300)은 이벤트관련이미지를 바탕으로 일정한 패턴을 발견해 특징 지도(Feature Map)를 형성할 수 있다. 학습형 시스템(300)은 검색식 ‘fire on building’에 대한 이벤트관련이미지를 분석하고 가공하여 트레이닝하여 빌딩에 화재이벤트가 발생된 이미지와 발생되지 않은 이미지로 분류하며, 상기 분류과정에서 설정된 판단기준은 학습형 시스템(300)이 이벤트관련이미지를 분류함에 있어 특징 지도의 각 단계에서 추출된 특징들을 포함할 수 있다.

본 발명의 일실시예로 상기 트레이닝 시스템부(210)는 사용자(100)로부터 특정 이벤트와 관련된 하나 이상의 키워드가 새롭게 입력되는 경우 상기 과정을 반복할 수 있다. 이를 통해 학습형 시스템 트레이닝장치(200)가 구현된 비디오 감시 시스템의 감시대상이 되는 특정 이벤트를 비디오 감시 시스템의 설치 후에도 사용자(100)가 설정할 수 있다.

도 4는 본 발명의 실시예에 따른 제1리트레이닝 시스템부(220)의 구성을 설명하는 설명도이다.

도 4를 참조하면, 본 발명의 실시예에 따른 제1리트레이닝 시스템부(220)는 테스트 이미지 수집부(221), 학습형 시스템 테스트부(222), 오류이미지수집부(223), 연관오류이미지수집부(224), 라벨링부(225) 및 제1리트레이닝부(227)를 포함할 수 있다.

본 발명의 일실시예로 상기 테스트 이미지 수집부(221)는 사용자(100)로부터 입력된 하나 이상의 테스트 이미지를 수집하고, 상기 테스트 이미지를 학습형 시스템 테스트부(222)에 전달할 수 있다. 상기 테스트 이미지는 ground truth data(영상인식이나 영상추적 알고리즘의 성능을 평가하기 위한 검증자료)로서, 테스트 이미지 내 이벤트의 발생여부에 따라 이벤트긍정 혹은 이벤트부정으로 label 되어 있는 이미지를 포함할 수 있다.

예를 들어, 학습형 시스템(300)이 검색식 ‘fire on building’에 대한 이벤트관련이미지로 트레이닝 된 경우, 상기 학습형 시스템(300)을 테스트하기 위해 사용자(100)는 테스트 이미지 내 화재가 발생된 이미지와 화재가 발생되지 않은 이미지를 테스트 이미지로서 학습형 시스템(300)에 입력할 수 있다. 이 경우 테스트 이미지 내 화재가 발생된 이미지는 화재긍정으로, 화재가 발생되지 않은 이미지는 화재부정으로 라벨(label)되어 있다.

본 발명의 일실시예로 상기 학습형 시스템 테스트부(222)는 상기 테스트 이미지를 이용하여 상기 트레이닝 된 학습형 시스템(300)을 테스트할 수 있다. 상기 트레이닝 된 학습형 시스템(300)은 상기 테스트 이미지 내 이벤트가 특정 이벤트일 확률이 사용자(100)가 기 설정한 확률값 이상인 경우 테스트 이미지는 특정 이벤트가 발생한 이미지로 판단할 수 있다.

본 발명의 일실시예로 상기 기 설정한 확률값은 사용자(100)가 임의로 설정할 수 있으나, 80%인 경우가 바람직하다.

또한, 상기 학습형 시스템 테스트부(222)가 트레이닝 된 학습형 시스템(300)을 테스트한 결과는 true positive, false positive, false negative 및 true negative 중 하나 이상을 포함할 수 있다. true positive는 이벤트긍정으로 라벨(label)되어 있는 테스트 이미지에 대하여 학습형 시스템(300)이 테스트 이미지 내 이벤트가 발생했다고 판단한 경우이며, false positive는 이벤트부정으로 label 되어 있는 테스트 이미지에 대하여 학습형 시스템(300)이 테스트 이미지 내 이벤트가 발생했다고 판단한 경우이며, false negative는 이벤트긍정으로 label 되어 있는 테스트 이미지에 대하여 학습형 시스템(300)이 테스트 이미지 내 이벤트가 미발생했다고 판단한 경우이며, true negative는 이벤트부정으로 label 되어 있는 테스트 이미지에 대하여 학습형 시스템(300)이 테스트 이미지 내 이벤트가 미발생했다고 판단한 경우이다. 특히, false positive는 긍정오류로, false negative는 부정오류로 정의할 수 있다.

예를 들어, 학습형 시스템(300)이 검색식 ‘fire on building’에 대한 이벤트관련이미지로 트레이닝되었고, 상기 학습형 시스템(300)을 테스트하기 위해 사용자(100)가 테스트 이미지로 화재긍정으로 label된 이미지와 화재부정으로 label된 이미지를 학습형 시스템(300)에 입력한 경우 상기 학습형 시스템(300)은 상기 테스트 이미지 내 이벤트가 화재일 확률이 사용자(100)가 기 설정한 확률값 이상인 경우 상기 테스트 이미지는 화재와 관련된 이미지라고 판단하며, 상기 학습형 시스템(300)이 상기 화재긍정으로 label된 이미지를 판단한 결과 화재와 관련된 이미지로 판단한 경우 true positive, 상기 학습형 시스템(300)이 상기 화재부정으로 label된 이미지를 판단한 결과 화재와 관련된 이미지로 판단한 경우 false positive, 상기 학습형 시스템(300)이 상기 화재긍정으로 label된 테스트 이미지를 판단한 결과 화재와 관련되지 않은 이미지로 판단한 경우 false negative, 상기 학습형 시스템(300)이 상기 화재부정으로 label된 테스트 이미지를 판단한 결과 화재와 관련되지 않은 이미지로 판단한 경우 true negative에 해당한다.

본 발명의 일실시예로 상기 오류이미지수집부(223)는 상기 학습형 시스템 테스트부(222)가 트레이닝된 학습형 시스템(300)을 테스트한 결과 중 긍정오류이미지 또는 부정오류이미지를 오류이미지로 수집할 수 있다.

상기 긍정오류이미지는 이벤트부정으로 label된 테스트 이미지 중 학습형 시스템(300)이 이벤트와 관련된 이미지로 판단한 이미지이며, 상기 부정오류이미지는 이벤트긍정으로 label된 테스트 이미지 중 학습형 시스템(300)이 이벤트와 관련되지 않은 이미지로 판단한 이미지이다.

예를 들어 학습형 시스템(300)이 검색식 ‘fire on building’에 대한 이벤트관련이미지로 트레이닝되었고, 상기 학습형 시스템(300)을 테스트하기 위해 사용자(100)가 테스트 이미지로 화재긍정으로 label된 이미지와 화재부정으로 label된 이미지를 학습형 시스템(300)에 입력한 경우, 상기 학습형 시스템 테스트부(222)가 트레이닝된 학습형 시스템(300)을 테스트한 결과 화재부정으로 label된 테스트 이미지 중 상기 학습형 시스템(300)이 화재와 관련된 이미지로 판단한 이미지가 긍정오류이미지이고 화재긍정으로 label된 테스트 이미지 중 상기 학습형 시스템(300)이 화재와 관련되지 않은 이미지로 판단한 이미지가 부정오류이미지이다.

본 발명의 일실시예로 상기 연관오류이미지수집부(224)는 상기 긍정오류이미지 및 부정오류이미지를 이미지 데이터 베이스(600)에 전달하여 상기 이미지 데이터 베이스(600)로부터 상기 긍정오류이미지와 연관 있는 하나 이상의 긍정오류연관이미지 및 상기 부정오류이미지와 연관 있는 하나 이상의 부정오류연관이미지를 수집할 수 있다.

본 발명의 일실시예로 상기 이미지 데이터 베이스(600)는 이미지 검색엔진 등을 포함할 수 있다.

본 발명의 일실시예로 상기 라벨링부(225)는 상기 긍정오류연관이미지를 이벤트미발생이미지로 라벨링하고, 상기 부정오류연관이미지를 이벤트발생이미지로 라벨링할 수 있다.

본 발명의 일실시예로 상기 라벨링부(225)는 상기 이벤트미발생이미지와 상기 이벤트발생이미지의 이벤트발생 부분을 합성하여 이벤트발생이미지로 라벨링하는 이미지합성부(226)를 더 포함 할 수 있다.

예를 들어, 라벨링부(225)는 화재와 관련된 긍정오류연관이미지를 화재미발생이미지로 라벨링하고 화재와 관련된 부정오류연관이미지를 화재발생이미지로 라벨링한다. 또한, 이미지합성부(226)는 상기 화재발생이미지 중 화재와 관련된 부분을 화재미발생이미지에 합성하여 상기 합성된 이미지를 화재발생이미지로 라벨링한다.

또한, 본 발명의 일실시예로 상기 라벨링부(225)는 상기 이벤트미발생이미지와 이벤트발생이미지를 제1리트레이닝부(227)에 전달하고, 이미지합성부(226)는 상기 이벤트발생이미지를 제1리트레이닝부(227)에 전달할 수 있다.

본 발명의 일실시예로 상기 제1리트레이닝부(227)는 상기 이벤트발생이미지 및 이벤트미발생이미지를 전달받고 상기 이벤트발생이미지 및 이벤트미발생이미지를 학습형 시스템(300)에 전달할 수 있다.

본 발명의 일실시예로 상기 이벤트관련이미지를 전달받은 상기 학습형 시스템(300)은 이벤트관련이미지를 트레이닝 데이터로 하여 트레이닝하며, 특정 이벤트와 연관 있는 이미지에 대한 판단기준을 설정하고 지속적으로 업데이트할 수 있다.

상기 이벤트발생이미지 및 이벤트미발생이미지를 전달받은 학습형 시스템(300)은 상기 이벤트발생이미지 및 이벤트미발생이미지를 리트레이닝 데이터로 하여 트레이닝하며, 특정 이벤트와 연관 있는 이미지에 대한 판단기준을 재설정하고 지속적으로 업데이트할 수 있다. 이 경우 이벤트발생이미지 및 이벤트미발생이미지로부터 특정이벤트와 관련된 판단기준을 보완하는 과정을 포함할 수 있다.

예를 들어, 검색식 ‘fire on building’에 대한 이벤트관련이미지로 트레이닝 된 학습형 시스템(300)은 화재발생이미지 및 화재미발생이미지를 바탕으로 일정한 패턴을 발견해 특징 지도를 형성하고, 상기 각 단계에서 추출된 특징을 이용하여 판단기준을 보완할 수 있다.

본 발명의 일실시예로 상기 제1리트레이닝 시스템부(220)는 사용자(100)로부터 테스트 이미지가 새롭게 입력되는 경우 상기 과정을 반복할 수 있다. 이 과정을 통해 사용자(100)는 학습형 시스템(300)을 지속적으로 테스트하고 리트레이닝함으로써 학습형 시스템(300)에 대한 신뢰도를 높일 수 있다.

도 5는 본 발명의 실시예에 따른 제2 리트레이닝 시스템부(230)의 구성을 설명하는 설명도이다.

도 5를 참조하면, 본 발명의 실시예에 따른 제2 리트레이닝 시스템부(230)는 카메라이미지수집부(231), 판단기준정보수신부(232), 부적합 이미지 선택부(233), 부적합연관이미지수집부(234) 및 제2 리트레이닝부(235)를 포함할 수 있다.

본 발명의 일실시예로 상기 카메라이미지수집부(231)는 카메라를 통해 하나 이상의 카메라이미지를 수집하고, 부적합 이미지 선택부(233)에 전달할 수 있다.

본 발명의 일실시예로 상기 카메라는 학습형 시스템 트레이닝장치(200) 혹은 학습형 시스템 트레이닝장치(200)가 구현된 비디오 감시 시스템에 구비된 카메라를 포함할 수 있다.

또한, 본 발명의 일실시예로 상기 카메라이미지는 이미지 또는 영상을 표현하며, 학습형 시스템 트레이닝장치(200)가 구현된 디바이스의 감시 이벤트와 관련된 이미지 또는 영상만을 의미하는 것이 아니고, 상기 카메라를 통해 촬영되는 모든 이미지 또는 영상을 포함한다.

예를 들어, 학습형 시스템 트레이닝장치(200)가 구현된 비디오 감시 시스템이 CCTV인 경우 상기 CCTV에 구비된 카메라를 통해 하나 이상의 카메라이미지를 수집한다.

또한, 본 발명의 일실시예로 상기 카메라는 RGB+IR 센서를 구비한 것으로 구현될 수 있으며, 이 경우 IR 센서만이 구비된 카메라 대비 야간에 컬러정보로 카메라이미지를 수집하여 특정이벤트 검출에 신뢰성을 높이는 효과를 기대할 수 있다.

본 발명의 일실시예로 상기 판단기준정보수신부(232)는 상기 트레이닝 시스템부(210)에 의해 트레이닝 된 학습형 시스템(300) 또는 상기 제1리트레이닝 시스템부(220)에 의해 리트레이닝 된 학습형 시스템(300)과 통신하여, 학습형 시스템(300)으로부터 학습형 시스템(300)의 트레이닝 데이터에 대한 하나 이상의 판단기준을 수신하고, 부적합 이미지 선택부(233)에 전달할 수 있다.

본 발명의 일실시예로 상기 부적합 이미지 선택부(233)는 상기 카메라이미지 중 상기 판단기준을 기준으로 이벤트 미발생으로 판단된 하나 이상의 부적합이미지를 선택하고, 상기 부적합이미지를 부적합연관이미지수집부(234)에 전달할 수 있다.

예를 들어, CCTV에 구비된 카메라를 통해 하나 이상의 카메라이미지가 수집되고, 화재와 관련된 판단기준을 수신한 경우, 부적합 이미지 선택부(233)는 상기 카메라이미지를 상기 판단기준으로 판단하여, 상기 카메라이미지 중 화재와 관련되지 않은 이미지를 부적합이미지로 선택하고 상기 부적합이미지를 부적합연관이미지수집부(234)에 전달한다.

본 발명의 일실시예로 상기 부적합연관이미지수집부(234)는 상기 부적합이미지를 이미지 데이터 베이스(600)에 전달하여 이미지 데이터 베이스(600)로부터 부적합이미지와 연관 있는 부적합연관이미지를 수집한 후 상기 부적합연관이미지를 제2 리트레이닝부(235)에 전달할 수 있다.

본 발명의 일실시예로 상기 이미지 데이터 베이스(600)는 이미지 검색엔진 등을 포함할 수 있다. 본 발명의 일실시예로 상기 제2 리트레이닝부(235)는 부적합연관이미지수집부(234)로부터 상기 부적합연관이미지를 전달받고, 부적합연관이미지를 이용하여 학습형 시스템(300)을 리트레이닝 할 수 있다. 상기 부적합연관이미지를 전달받은 학습형 시스템(300)은 상기 부적합연관이미지를 리트레이닝 데이터로 하여 트레이닝하며, 특정 이벤트와 연관 있는 이미지에 대한 판단기준을 재설정하고 지속적으로 업데이트할 수 있다. 이 경우 부적합연관이미지로부터 특정이벤트와 관련된 판단기준정보를 보완하는 과정을 포함할 수 있다.

예를 들어, 검색식 ‘fire on building’에 대한 이벤트관련이미지로 트레이닝 된 학습형 시스템(300)은 화재부적합연관이미지를 바탕으로 일정한 패턴을 발견해 특징 지도를 형성하고, 상기 각 단계에서 추출된 특징을 이용하여 판단기준을 보완할 수 있다.

제2 리트레이닝 시스템부(230)는 카메라를 통해 새로운 카메라이미지가 수집되는 경우 상기 과정을 반복할 수 있다. 이 과정을 통해 학습형 시스템(300)을 지속적으로 테스트하고 리트레이닝함으로써 학습형 시스템(300)에 대한 신뢰도를 높일 수 있다.

도 6은 본 발명의 실시예에 따른 제3리트레이닝 시스템부(240)의 구성을 설명하는 설명도이다.

도 6을 참조하면, 본 발명의 실시예에 따른 제3리트레이닝 시스템부(240)는 신뢰도측정이미지수집부(241), 신뢰도측정부(242), 미발생이벤트판단부(243), 미발생이벤트연관이미지수집부(244) 및 제3리트레이닝부(245)를 포함할 수 있다.

본 발명의 일실시예로 상기 신뢰도측정이미지수집부(241)는 사용자(100)로부터 입력된 하나 이상의 신뢰도측정이미지를 수집하고, 상기 신뢰도측정이미지를 신뢰도측정부(242)에 전달할 수 있다. 상기 신뢰도측정이미지는 사용자(100) 임의의 이미지 또는 영상을 포함할 수 있다.

본 발명의 일실시예로 상기 신뢰도측정부(242)는 상기 신뢰도측정이미지를 이용하여 상기 제1리트레이닝부(227) 또는 제2 리트레이닝부(235)에 의해 리트레이닝 된 학습형 시스템(300)의 신뢰도를 측정할 수 있다. 구체적으로 신뢰도측정이미지를 학습형 시스템(300)에 전달하고, 상기 신뢰도측정이미지에 대한 학습형 시스템(300)의 판단을 수신할 수있다.

본 발명의 일실시예로 상기 판단은 상기 리트레이닝 된 학습형 시스템(300)의 상기 신뢰도측정이미지의 특정이벤트와 관련된 확률을 포함할 수 있다.

또한, 본 발명의 일실시예로 상기 리트레이닝 된 학습형 시스템(300)은 상기 신뢰도가 임계값미만인 경우 내부적으로 신뢰도측정이미지의 이벤트를 특정하여 이에 대한 확률을 제시할 수 있다.

본 발명의 일실시예로 상기 신뢰도결과수집부(243)는 상기 신뢰도가 임계값미만인 경우 상기 리트레이닝 된 학습형 시스템(300)으로부터 신뢰도측정이미지를 수집할 수 있다.

예를 들어, 학습형 시스템(300)이 검색식 ‘fire on building’에 대한 이벤트관련이미지로 트레이닝 및 테스트 이미지로 리트레이닝되었고, ‘전구’와 관련된 신뢰도측정이미지로 상기 학습형 시스템(300)의 신뢰도를 측정한 결과 신뢰도가 임계값미만인 경우 신뢰도결과수집부(243)는 상기 신뢰도측정이미지를 수집한다.

본 발명의 일실시예로 상기 신뢰도측정연관이미지수집부(244)는 상기 신뢰도측정이미지를 이미지 데이터 베이스(600)에 전달하여 이미지 데이터 베이스(600)로부터 신뢰도측정이미지와 연관 있는 신뢰도측정연관이미지를 수집한 후 상기 신뢰도측정연관이미지를 제3리트레이닝부(245)에 전달할 수 있다. 이미지 데이터 베이스(600)는 이미지 검색엔진 등을 포함할 수 있다.

본 발명의 일실시예로 상기 제3리트레이닝부(245)는 상기 신뢰도측정연관이미지를 리트레닝 데이터로 하고 학습형 시스템(300)과 통신하여 학습형 시스템(300)을 리트레이닝 할 수 있다.

신뢰도측정연관이미지를 전달받은 상기 학습형 시스템(300)은 신뢰도측정연관이미지를 리트레이닝 데이터로 하여 트레이닝하며, 특정 이벤트와 연관 있는 이미지에 대한 판단기준을 재설정하고 지속적으로 업데이트 할 수 있다. 이 경우 신뢰도측정연관이미지로부터 특정이벤트와 관련된 판단기준정보를 보완하는 과정을 포함할 수 있다.

예를 들어, ‘전구’와 관련된 신뢰도측정연관이미지로 리트레이닝 된 학습형 시스템(300)은 전구와 관련된 신뢰도측정연관이미지를 바탕으로 일정한 패턴을 발견해 특징 지도를 형성하고, 상기 각 단계에서 추출된 특징을 이용하여 판단기준을 보완할 수 있다.

본 발명의 일실시예로 상기 제3리트레이닝 시스템부(240)는 사용자(100)로부터 신뢰도측정이미지가 새롭게 입력되는 경우 상기 과정을 반복할 수 있다. 이 과정을 통해 사용자(100)는 학습형 시스템(300)을 지속적으로 테스트하고 리트레이닝함으로서 학습형 시스템(300)에 대한 신뢰도를 높일 수 있다.

도 7은 본 발명의 실시예에 따른 트레이닝 시스템부(210)의 흐름도이다. 도 7을 참조하면, 본 발명의 실시예에 따른 학습형 시스템 트레이닝장치(200)는 이벤트관련키워드수집부(211)가 사용자(100)로부터 이벤트관련키워드를 수집하는 단계(S100), 연관키워드수집부(212)가 단어 데이터 베이스(400)를 이용하여 상기 이벤트관련키워드와 연관 있는 연관키워드를 수집하는 단계(S110), 검색식 생성부(213)가 상기 이벤트관련키워드 및 연관키워드의 검색식을 생성하고 상기 검색식의 오류를 검출하는 단계(S120), 이벤트 관련 이미지 수집부(215)가 이미지 데이터 베이스(600)를 이용하여 상기 검색식과 연관 있는 이벤트관련이미지를 수집하는 단계(S130), 트레이닝 시스템부가 상기 이벤트관련이미지를 트레이닝 데이터로하여 학습형 시스템(300)을 트레이닝하는 단계(S140)를 포함할 수 있다. 또한, 상기 S100 내지 S140의 단계는 사용자(100)로부터 특정 이벤트와 관련된 하나 이상의 키워드가 새롭게 입력되는 경우 반복될 수 있다.

도 8은 본 발명의 실시예에 따른 제1리트레이닝 시스템부(220)의 흐름도이다. 도 8을 참조하면, 본 발명의 실시예에 따른 학습형 트레이닝장치는 테스트 이미지 수집부(221)가 사용자(100)로부터 테스트 이미지를 수집하는 단계(S200), 학습형 시스템 테스트부(222)가 상기 테스트 이미지로 상기 도 7의 흐름도에 의해 트레이닝 된 학습형 시스템(300)을 테스트하는 단계(S210), 오류이미지수집부(223)가 상기 테스트된 학습형 시스템(300)으로부터 긍정오류이미지와 부정오류이미지를 수집하는 단계(S220), 연관오류이미지수집부(224)가 이미지 데이터 베이스(600)를 이용하여 상기 긍정오류이미지 및 부정오류이미지와 연관 있는 긍정오류연관이미지 및 부정오류연관이미지를 수집하는 단계(S230), 라벨링부(225)가 상기 긍정오류연관이미지를 이벤트발생이미지로 라벨링하고, 상기 부정오류연관이미지를 이벤트미발생이미지로 라벨링하며, 이미지합성부(226)가 상기 이벤트미발생이미지와 상기 이벤트발생이미지의 이벤트발생 부분을 합성하여 이벤트발생이미지로 라벨링하는 단계(S240), 제1리트레이닝부(227)가 이벤트발생이미지 및 이벤트미발생이미지를 리트레이닝 데이터로 하여 상기 학습형 시스템(300)을 리트레이닝하는 단계(S250)를 포함할 수 있다. 또한, 상기 S200 내지 S250의 단계는 사용자(100)로부터 입력된 테스트 이미지가 변경되는 경우 반복될 수 있다.

도 9는 본 발명의 실시예에 따른 제2 리트레이닝 시스템부(230)의 흐름도이다. 도 9를 참조하면, 본 발명의 실시예에 따른 학습형 트레이닝장치는 카메라이미지수집부(231)가 학습형 시스템 트레이닝장치(200)가 구현된 비디오 감시 시스템에 구비된 카메라를 통해 얻은 카메라이미지를 수집하는 단계(S300), 판단기준정보수신부(232)가 상기 도 7의 흐름도에 의해 트레이닝 된 학습형 시스템(300) 또는 상기 도 8의 흐름도에 의해 리트레이닝 된 학습형 시스템(300)으로부터 판단기준정보를 수신하는 단계(S310), 부적합 이미지 선택부(233)가 상기 카메라이미지 중 상기 판단기준정보에 의해 판단시 이벤트 미발생으로 판단된 부적합이미지를 선택하는 단계(S320), 부적합연관이미지수집부(234)가 이미지 데이터 베이스(600)를 이용하여 상기 부적합이미지와 연관 있는 부적합연관이미지를 수집하는 단계(S330), 제2 리트레이닝부(235)가 상기 부적합연관이미지를 리트레이닝 데이터로 하여 상기 학습형 시스템(300)을 리트레이닝하는 단계(S340)를 포함할 수 있다. 또한, 상기 S300 내지 S340의 단계는 카메라를 통해 새로운 카메라이미지가 수집되는 경우 반복될 수 있다.

도 10은 본 발명의 실시예에 따른 제3리트레이닝 시스템부(240)의 흐름도이다. 도 10을 참조하면, 본 발명의 실시예에 따른 학습형 트레이닝장치는 신뢰도측정이미지수집부(241)가 사용자(100)로부터 신뢰도측정이미지를 수집하는 단계(S400), 신뢰도측정부(242)가 상기 신뢰도측정이미지로 상기 도 8 또는 도 9의 흐름도에 의해 리트레이닝 된 학습형 시스템(300)의 신뢰도를 측정하는 단계(S410), 상기 신뢰도가 임계값미만인 경우 신뢰도결과수집부(243)가 상기 학습형 시스템(300)으로부터 상기 신뢰도측정이미지를 수집하는 단계(S420), 신뢰도측정연관이미지수집부(244)가 이미지 데이터 베이스(600)를 이용하여 상기 신뢰도측정이미지와 연관 있는 신뢰도측정연관이미지를 수집하는 단계(S430), 제3리트레이닝부(245)가 상기 신뢰도측정연관이미지를 리트레이닝 데이터로 하여 상기 학습형 시스템(300)을 리트레이닝하는 단계(S440)를 포함할 수 있다. 또한, 상기 S400 내지 S440의 단계는 사용자(100)로부터 신뢰도측정이미지가 새롭게 입력되는 경우 반복될 수 있다.

상술한 실시예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다.

따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 이상에서 실시예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

100: 사용자
200: 학습형 시스템 트레이닝장치
300: 학습형 시스템
400: 단어 데이터 베이스
500: 비문 데이터 베이스
600: 이미지 데이터 베이스
210: 트레이닝 시스템부
211: 이벤트관련키워드수집부
212: 연관키워드수집부
213: 검색식 생성부
214: 오류검출부
215: 이벤트 관련 이미지 수집부
216: 트레이닝부
220: 제1리트레이닝 시스템부
221: 테스트 이미지 수집부
222: 학습형 시스템 테스트부
223: 오류이미지수집부
224: 연관오류이미지수집부
225: 라벨링부
226: 이미지합성부
227: 제1리트레이닝부
230: 제2 리트레이닝 시스템부
231: 카메라이미지수집부
232: 판단기준정보수집부
233: 부적합 이미지 선택부
234: 부적합연관이미지수집부
235: 제2 리트레이닝부
240: 제3리트레이닝 시스템부
241: 신뢰도측정이미지수집부
242: 신뢰도측정부
243: 신뢰도결과수집부
244: 신뢰도측정연관이미지수집부
245: 제3리트레이닝부

Claims

사용자로부터 입력된 이벤트관련키워드를 수집하는 이벤트관련키워드수집부;
상기 이벤트관련키워드를 단어 데이터 베이스에 전달하여 단어 데이터 베이스로부터 하나 이상의 연관키워드를 수집하는 연관키워드수집부;
상기 이벤트관련키워드 및 연관키워드에 대한 하나 이상의 검색식을 생성하는 검색식 생성부;
상기 검색식을 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 검색식과 연관 있는 하나 이상의 이벤트관련이미지를 수집하는 이벤트 관련 이미지 수집부; 및
상기 이벤트 관련 이미지를 트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 트레이닝하는 트레이닝부를 포함하고
사용자로부터 입력된 하나 이상의 테스트 이미지를 수집하는 테스트 이미지 수집부;
상기 테스트 이미지로 상기 트레이닝 된 학습형 시스템을 테스트하는 학습형 시스템 테스트부;
상기 학습형 시스템으로부터 하나 이상의 긍정오류이미지와 하나 이상의 부정오류이미지를 수집하는 오류이미지수집부;
상기 긍정오류이미지 및 부정오류이미지를 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 긍정오류이미지와 연관 있는 하나 이상의 긍정오류연관이미지 및 상기 부정오류이미지와 연관 있는 하나 이상의 부정오류연관이미지를 수집하는 연관오류이미지수집부;
상기 긍정오류연관이미지를 이벤트발생이미지로 라벨링하고, 상기 부정오류연관이미지를 이벤트미발생이미지로 라벨링하는 라벨링부; 및
상기 이벤트발생이미지 및 이벤트미발생이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝하는 제1리트레이닝부;를 더 포함하며
상기 라벨링부는 상기 이벤트미발생이미지와 상기 이벤트발생이미지의 이벤트발생 부분을 합성하여 이벤트발생이미지로 라벨링하는 이미지합성부;를 더 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치.
제1항에 있어서,
상기 검색식 생성부는,
상기 검색식을 비문 데이터 베이스에 전달하여 상기 검색식에 대한 오류를 검출하고, 오류가 있는 검색식을 배제하는 오류검출부; 를 더 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치.
삭제
삭제
제1항에 있어서,
상기 학습형 시스템 트레이닝장치는,
사용자로부터 입력된 하나 이상의 신뢰도측정이미지를 수집하는 신뢰도측정이미지수집부;
상기 신뢰도측정이미지로 상기 리트레이닝 된 학습형 시스템의 신뢰도를 측정하는 신뢰도측정부;
상기 신뢰도가 임계값미만인 경우 상기 학습형 시스템으로부터 상기 신뢰도측정이미지를 수집하는 신뢰도결과수집부;
상기 신뢰도측정이미지를 상기 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 신뢰도측정이미지와 연관 있는 하나 이상의 신뢰도측정연관이미지를 수집하는 신뢰도측정연관이미지수집부; 및
상기 신뢰도측정연관이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝 하는 제3리트레이닝부; 를 더 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치.
사용자로부터 입력된 이벤트관련키워드를 수집하는 이벤트관련키워드수집부;
상기 이벤트관련키워드를 단어 데이터 베이스에 전달하여 단어 데이터 베이스로부터 하나 이상의 연관키워드를 수집하는 연관키워드수집부;
상기 이벤트관련키워드 및 연관키워드에 대한 하나 이상의 검색식을 생성하는 검색식 생성부;
상기 검색식을 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 검색식과 연관 있는 하나 이상의 이벤트관련이미지를 수집하는 이벤트 관련 이미지 수집부; 및
상기 이벤트 관련 이미지를 트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 트레이닝하는 트레이닝부를 포함하고
카메라를 통해 얻은 하나 이상의 카메라이미지를 수집하는 카메라이미지수집부;
상기 트레이닝 된 학습형 시스템과 통신하여 학습형 시스템으로부터 상기 트레이닝 데이터에 대한 하나 이상의 판단기준정보를 수신하는 판단기준정보수신부;
상기 카메라이미지 중 상기 판단기준정보에 의해 판단시 이벤트 미발생으로 판단된 하나 이상의 부적합이미지를 선택하는 부적합 이미지 선택부;
상기 부적합이미지를 상기 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 부적합이미지와 연관 있는 하나 이상의 부적합연관이미지를 수집하는 부적합연관이미지수집부; 및
상기 부적합연관이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝 하는 제2 리트레이닝부; 를 더 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치.
제6항에 있어서,
상기 카메라는 RGB-IR센서를 구비한 것을 특징으로 하는 학습형 시스템 트레이닝장치.
제6항에 있어서,
상기 학습형 시스템 트레이닝장치는,
사용자로부터 입력된 하나 이상의 신뢰도측정이미지를 수집하는 신뢰도측정이미지수집부;
상기 신뢰도측정이미지로 상기 리트레이닝 된 학습형 시스템의 신뢰도를 측정하는 신뢰도측정부;
상기 신뢰도가 임계값미만인 경우 상기 학습형 시스템으로부터 상기 신뢰도측정이미지를 수집하는 신뢰도결과수집부;
상기 신뢰도측정이미지를 상기 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 신뢰도측정이미지와 연관 있는 하나 이상의 신뢰도측정연관이미지를 수집하는 신뢰도측정연관이미지수집부; 및
상기 신뢰도측정연관이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝 하는 제3리트레이닝부; 를 더 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치.
이벤트관련키워드수집부가 사용자로부터 입력된 이벤트관련키워드를 수집하는 제1단계;
연관키워드수집부가 상기 이벤트관련키워드를 단어 데이터 베이스에 전달하여 단어 데이터 베이스로부터 하나 이상의 연관키워드를 수집하는 제2 단계;
검색식 생성부가 상기 이벤트관련키워드 및 연관키워드에 대한 하나 이상의 검색식을 생성하는 제3단계;
이벤트 관련 이미지 수집부가 상기 검색식을 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 검색식과 연관 있는 하나 이상의 이벤트관련이미지를 수집하는 제4단계;
트레이닝부가 상기 이벤트 관련 이미지를 트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 트레이닝하는 제5단계;
테스트 이미지 수집부가 사용자로부터 입력된 하나 이상의 테스트 이미지를 수집하는 제6단계;
학습형 시스템 테스트부가 상기 테스트 이미지로 상기 트레이닝 된 학습형 시스템을 테스트하는 제7단계;
오류이미지수집부가 상기 학습형 시스템으로부터 하나 이상의 긍정오류이미지와 하나 이상의 부정오류이미지를 수집하는 제8단계;
연관오류이미지수집부가 상기 긍정오류이미지 및 부정오류이미지를 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 긍정오류이미지와 연관 있는 하나 이상의 긍정오류연관이미지 및 상기 부정오류이미지와 연관 있는 하나 이상의 부정오류연관이미지를 수집하는 제9단계;
라벨링부가 상기 긍정오류연관이미지를 이벤트발생이미지로 라벨링 하고, 상기 부정오류연관이미지를 이벤트미발생이미지로 라벨링하고, 상기 이벤트미발생이미지와 상기 이벤트발생이미지의 이벤트발생 부분을 합성하여 이벤트발생이미지로 라벨링하는 제10 단계; 및
제1리트레이닝부가 상기 이벤트발생이미지 및 이벤트미발생이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝하는 제11단계를 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치 제공방법.
삭제
제9항에 있어서,
상기 학습형 시스템 트레이닝장치 제공방법은,
신뢰도측정이미지수집부가 사용자로부터 입력된 하나 이상의 신뢰도측정이미지를 수집하는 제12단계;
신뢰도측정부가 상기 신뢰도측정이미지로 상기 리트레이닝 된 학습형 시스템의 신뢰도를 측정하는 제13단계;
상기 신뢰도가 임계값미만인 경우 신뢰도결과수집부가 상기 학습형 시스템으로부터 신뢰도측정이미지를 수집하는 제14단계;
신뢰도측정연관이미지수집부가 상기 신뢰도측정이미지를 상기 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 신뢰도측정이미지와 연관 있는 하나 이상의 신뢰도측정이미지연관이미지를 수집하는 제15단계; 및
제3리트레이닝부가 상기 신뢰도측정이미지연관이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝 하는 제16단계; 를 더 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치 제공방법.
제11항에 있어서,
상기 학습형 시스템 트레이닝장치 제공방법은,
상기 제6단계 내지 제11단계 및 제12단계 내지 제16단계가 적어도 2회이상 반복되는 것을 특징으로 하는 학습형 시스템 트레이닝장치 제공방법.
이벤트관련키워드수집부가 사용자로부터 입력된 이벤트관련키워드를 수집하는 제1단계;
연관키워드수집부가 상기 이벤트관련키워드를 단어 데이터 베이스에 전달하여 단어 데이터 베이스로부터 하나 이상의 연관키워드를 수집하는 제2 단계;
검색식 생성부가 상기 이벤트관련키워드 및 연관키워드에 대한 하나 이상의 검색식을 생성하는 제3단계;
이벤트 관련 이미지 수집부가 상기 검색식을 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 검색식과 연관 있는 하나 이상의 이벤트관련이미지를 수집하는 제4단계;
트레이닝부가 상기 이벤트 관련 이미지를 트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 트레이닝하는 제5단계;
카메라이미지수집부가 카메라를 통해 얻은 하나 이상의 카메라이미지를 수집하는 제6단계;
판단기준정보수신부가 상기 트레이닝 된 학습형 시스템과 통신하여 학습형 시스템으로부터 상기 트레이닝 데이터에 대한 하나 이상의 판단기준정보를 수신하는 제7단계;
부적합 이미지 선택부가 상기 카메라이미지 중 상기 판단기준정보에 의해 판단시 이벤트 미발생으로 판단된 하나 이상의 부적합이미지를 선택하는 제8단계;
부적합연관이미지수집부가 상기 부적합이미지를 상기 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 부적합이미지와 연관 있는 하나 이상의 부적합연관이미지를 수집하는 제9단계; 및
제2 리트레이닝부가 상기 부적합연관이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝 하는 제10단계;를 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치 제공방법.
제13항에 있어서,
상기 학습형 시스템 트레이닝장치 제공방법은,
신뢰도측정이미지수집부가 사용자로부터 입력된 하나 이상의 신뢰도측정이미지를 수집하는 제11단계;
신뢰도측정부가 상기 신뢰도측정이미지로 상기 리트레이닝 된 학습형 시스템의 신뢰도를 측정하는 제12단계;
상기 신뢰도가 임계값미만인 경우 신뢰도결과수집부가 상기 학습형 시스템으로부터 신뢰도측정이미지를 수집하는 제13단계;
신뢰도측정연관이미지수집부가 상기 신뢰도측정이미지를 상기 이미지 데이터 베이스에 전달하여 상기 이미지 데이터 베이스로부터 상기 신뢰도측정이미지와 연관 있는 하나 이상의 신뢰도측정이미지연관이미지를 수집하는 제14단계; 및
제3리트레이닝부가 상기 신뢰도측정이미지연관이미지를 리트레이닝 데이터로 하고 학습형 시스템과 통신하여 학습형 시스템을 리트레이닝 하는 제15단계; 를 더 포함하는 것을 특징으로 하는 학습형 시스템 트레이닝장치 제공방법.
제14항에 있어서,
상기 학습형 시스템 트레이닝장치 제공방법은,
상기 제6단계 내지 제10단계 및 제11단계 내지 제15단계가 적어도 2회이상 반복되는 것을 특징으로 하는 학습형 시스템 트레이닝장치 제공방법.