KR102174784B1 - 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법 - Google Patents
딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법 Download PDFInfo
- Publication number
- KR102174784B1 KR102174784B1 KR1020180089161A KR20180089161A KR102174784B1 KR 102174784 B1 KR102174784 B1 KR 102174784B1 KR 1020180089161 A KR1020180089161 A KR 1020180089161A KR 20180089161 A KR20180089161 A KR 20180089161A KR 102174784 B1 KR102174784 B1 KR 102174784B1
- Authority
- KR
- South Korea
- Prior art keywords
- agent
- history information
- information
- characteristic information
- characteristic
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000010276 construction Methods 0.000 claims abstract description 6
- 230000006399 behavior Effects 0.000 claims description 8
- 230000003542 behavioural effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G06K9/00664—
-
- G06K9/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법에 관한 것으로서, 더욱 상세하게는 딥 러닝 및 컴퓨터 비전 방법을 통해 수신된 이미지 내 식별된 개체를 태깅하여 각각의 에이전트를 생성하며 각 에이전트의 특성정보의 파악 및 변화량 분석함으로써 에이전트들의 상황을 인식하는 대규모 개체 식별 및 추적 방법에 관한 것이다.
본 발명은 객체 이력정보를 분석하기 위해 분석환경 데이터베이스를 구축하는 분석환경데이터베이스 구축 단계; 영상 이미지를 수신하는 이미지 수신 단계; 수신된 상기 영상 이미지에서 개별 객체를 식별하며, 식별된 상기 객체를 각각 태깅하여 에이전트로 생성하는 에이전트 생성 단계; 생성된 상기 에이전트의 특성 값을 추출하여 특성정보를 설정하는 특성정보 설정 단계; 분석환경 데이터베이스 내 에이전트의 기존 이력정보 존재 여부를 확인하는 이력정보 확인 단계; 상기 기존 이력정보와 상기 특성정보를 비교하여 상기 특성정보의 변화량을 산출하며, 상기 에이전트의 특성정보 변화량을 이용하여 에이전트의 이력정보를 생성하며 축적하는 이력정보 생성 단계; 및 축적된 상기 에이전트의 이력정보를 기반으로 상황을 추론하여 인식하는 상황 인식 단계;를 포함하는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법을 제공할 수 있다.
본 발명은 객체 이력정보를 분석하기 위해 분석환경 데이터베이스를 구축하는 분석환경데이터베이스 구축 단계; 영상 이미지를 수신하는 이미지 수신 단계; 수신된 상기 영상 이미지에서 개별 객체를 식별하며, 식별된 상기 객체를 각각 태깅하여 에이전트로 생성하는 에이전트 생성 단계; 생성된 상기 에이전트의 특성 값을 추출하여 특성정보를 설정하는 특성정보 설정 단계; 분석환경 데이터베이스 내 에이전트의 기존 이력정보 존재 여부를 확인하는 이력정보 확인 단계; 상기 기존 이력정보와 상기 특성정보를 비교하여 상기 특성정보의 변화량을 산출하며, 상기 에이전트의 특성정보 변화량을 이용하여 에이전트의 이력정보를 생성하며 축적하는 이력정보 생성 단계; 및 축적된 상기 에이전트의 이력정보를 기반으로 상황을 추론하여 인식하는 상황 인식 단계;를 포함하는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법을 제공할 수 있다.
Description
본 발명은 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법에 관한 것으로서, 더욱 상세하게는 딥 러닝 및 컴퓨터 비전 방법을 통해 영상이미지 내 식별된 개체를 태깅하여 각각의 에이전트를 생성하며 각 에이전트의 특성정보의 파악 및 변화량 분석함으로써 에이전트들의 상황을 인식 및 예측하는 대규모 개체 식별 및 추적 방법에 관한 것이다.
CCTV(CCTV: closed-circuit television, 폐쇄 회로 텔레비전) 특정 건축물이나 시설물에서 특정 수신자를 대상으로 유선 또는 특수 무선 전송로를 이용해 화상을 전송하는 시스템으로 산업용, 교육용, 의료용, 교통 관제용 감시, 방재용 및 사내의 화상정보 전달용 등 용도가 다양해짐에 따라, 공공기관과 민간의 구분없이 그 도입과 활용이 증가하고 있다.
특히, CCTV가 범죄 예방 및 해결에 결정적인 역할을 하는 긍정적인 면을 적극적으로 활용되고 있으며, 이런 현황을 반영하듯 지금까지 공공목적의 CCTV는 연평균 457%의 비율로 증가하고 있다.
또한, 정부는 공공기관마다 관리하고 있던 CCTV를 한 곳에서 통합 관리하는 통합관제센터를 구축해서 운영하기로 하고, 통합관제센터의 운영을 통해 다양한 목적으로 설치된 CCTV 관제기능을 하나로 통합·연계하여 각종 범죄예방과 치안유지, 생활안전 업무 등에 필요한 모든 상황조치를 합동으로 대응할 수 있게 된다.
일반적으로 CCTV 감시카메라 감시대상 지역이 넓은 경우, 복수의 감시카메라를 감시대상 지역의 특정 위치마다 설치하고 하나의 모니터 화면에 영역을 분할하여 표시하는 CCTV 관제시스템이 사용되고 있다.
종래의 CCTV 관제시스템은 하나의 모니터 화면에 동시에 표시할 수 있는 것보다 많은 채널의 감시카메라가 연결된 경우에는 주기적으로 화면에 표시되는 감시카메라의 영상을 변경하거나 화면에 표시되는 감시카메라를 관제자가 선택하면서 감시 관제하는 방식을 채택하고 있으며, 관제자가 모니터링 화면에서 특정 객체(사람 또는 차량 등)를 육안으로 확인하고 직관적으로 동일인이라고 추정하면서 추적해야하므로 화면을 분할하여 다수의 감시카메라 영상이 함께 표시될 경우, 특정 감시카메라의 촬영 영역에서 모니터링 대상 객체가 다른 감시카메라 촬영 영역으로 이동하는 경우, 관제자가 바로 인식하기 어려운 문제점이 있었다.
종래의 CCTV 관제시스템에 대한 문제점을 해결하기 위하여, PTZ(Pan/Tilt/Zoom) 카메라를 사용하여 카메라 자체로 감시 추적하는 방식의 감시 시스템이 개발되고 있으며, 해당 기술 대부분이 카메라가 위험요소를 가진 객체를 발견 시, 관제자에게 알람을 제공하며, 관제자가 PTZ 카메라를 수동으로 조작하여 위험요소 객체를 직접 분석 및 파악하는 방식을 사용하고 있으나, 관제자가 알람을 실시간으로 인지하지 못할 경우에는 위험요소 객체를 제대로 추적 및 확인할 수 없는 한계를 가지고 있다.
상기한 문제점을 해결하기 위하여 한국등록특허 제10-1002712호는 촬영된 영상으로부터 객체를 추출하여 추출된 객체가 사람인지 여부를 식별하고, 상기 객체가 사람으로 식별되면 사람의 얼굴을 검출하고, 상기 객체가 이동하면 이동하는 상기 객체의 이동을 추적하여 상기 객체를 연속으로 촬영하는 카메라, 상기 카메라로부터 객체 정보와 객체의 이동 정보를 수신하여 상기 객체의 동선 지도를 생성하고, 제1 카메라에서 추적하던 객체가 상기 제1 카메라의 촬영 영역을 벗어나면, 상기 객체의 예상 이동 경로에 배치된 제2 카메라가 상기 객체를 연속으로 촬영할 수 있도록 각 카메라를 제어하는 중앙 제어부를 포함하는 지능형 카메라 보안 시스템에 관한 기술을 공지한 바 있으나, 객체인식 및 추적감시는 가능하다 하더라도 침입의 경우에만 국한되는 문제점이 있었으며, 군집, 배회, 유기, 침입, 쓰러짐, 역주행 등의 다양한 이상상황 발생에는 대응하기 불가능한 문제점이 있다.
이러한 문제점을 해결하기 위하여 한국등록특허 제10-1808587호는 설정된 알고리즘에 따른 이상 상황 감지 시, 객체 인식기술을 이용하여 카메라에 촬영된 이상 상황 객체를 실시간으로 식별 및 추적함으로써 다양한 방범분야의 감시 정확도를 증대시키고, 불필요한 감시 및 추적으로 인하여 감시 관제 사각지대가 발생하지 않도록 하기 위한 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시 관제시스템에 관한 기술을 공지한 바 있으나, 객체의 추적 및 이상상황 발생 여부 인지에만 기술이 국한되어 있어 객체의 이상상황 발생 예측을 통한 사전 조치 및 대응책 마련이 불가능한 문제점이 있다.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 딥 러닝 방식을 활용하여 영상이미지 내 객체들을 개별적으로 식별하여 각 객체의 이동을 추적하며, 개별 객체에 대한 에이전트를 각각 생성함으로써 객체 개별 활동 정보 및 객체들 간의 그룹 행동 정보 등을 기반으로 객체의 상황을 인식할 수 있는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법을 제공하는 것이다.
또한, 객체 식별 및 태깅, 에이전트 생성 및 이력정보 생성의 일련의 과정을 지속적으로 반복 수행하여 누적된 영상 이미지 내 객체의 컬러, 형상 및 특성 정보 등 식별 가능한 정보를 기반으로 데이터의 계층화가 가능하여, 객체 식별 정보를 활용하여 객체별 이동 추적 및 상황 인식을 포함한 계층적 의미 추론을 통한 고도의 분석을 수행할 수 있는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법을 제공하는 것이다.
또한, 본 발명은 현실세계의 실제 환경과 유사하게 구현된 가상의 환경에서 객체의 상황을 시뮬레이션하여 추적 객체의 이상상황 발생 가능성을 사전에 예측할 수 있는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법을 제공할 수 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명의 기술분야에서 통상의 지식을 지닌 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기의 목적을 달성하기 위해서, 객체 이력정보를 분석하기 위해 분석환경 데이터베이스를 구축하는 분석환경데이터베이스 구축 단계; 영상 이미지를 수신하는 이미지 수신 단계; 수신된 상기 영상 이미지에서 개별 객체를 식별하며, 식별된 상기 객체를 각각 태깅하여 에이전트로 생성하는 에이전트 생성 단계; 생성된 상기 에이전트의 특성 값을 추출하여 특성정보를 설정하는 특성정보 설정 단계; 분석환경 데이터베이스 내 에이전트의 기존 이력정보 존재 여부를 확인하는 이력정보 확인 단계; 상기 기존 이력정보와 상기 특성정보를 비교하여 상기 특성정보의 변화량을 산출하며, 상기 에이전트의 특성정보 변화량을 이용하여 에이전트의 이력정보를 생성하며 축적하는 이력정보 생성 단계; 및 축적된 상기 에이전트의 이력정보를 기반으로 상황을 추론하여 인식하는 상황 인식 단계;를 포함하는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법을 제공할 수 있다.
이때, 상기 이력정보 확인 단계에서, 상기 분석환경 데이터베이스 내 에이전트의 기존 이력정보가 존재가 확인되지 않을 시에는 에이전트의 기존 이력정보가 확인될 때까지 이미지 수신 단계 내지 특성정보 설정 단계를 반복 수행하는 것을 특징으로 한다.
또한, 상기 특성정보 설정 단계에서의 상기 에이전트의 특성 값은 객체들 간의 상대적인 거리 추정치에 기초하여 추출된 객체 위치 좌표 값과 객체의 각 관절의 위치 좌표 값인 것을 특징으로 한다.
이와 더불어, 상기 상황 인식 단계는 상기 이력정보 생성 단계에서 축적된 상기 에이전트의 이력정보를 통해 객체별 이동 경로를 추적하고 동시에 행동 양상을 분석하여 개별 활동 정보를 생성하며, 상기 에이전트들 간의 이력정보를 상호 공유하고 객체들 간의 행동 연계성을 분석하여 그룹 행동 정보를 생성하여 상황을 인식하는 것을 특징으로 한다.
반면, 상기 이력정보 생성 단계에서 축적된 상기 에이전트의 이력정보를 활용하여 상기 에이전트의 특성정보 변화량을 예측하며, 실제 환경과 같이 구현된 가상의 환경에서 시뮬레이션하는 상황 예측 단계;를 추가로 포함하는 것을 특징으로 한다.
본 발명은 딥 러닝 방식을 활용하여 영상이미지 내 객체들을 개별적으로 식별하여 각 객체의 이동을 추적하며, 개별 객체에 대한 에이전트를 각각 생성함으로써 객체 개별 활동 정보 및 객체들 간의 그룹 행동 정보 등을 기반으로 객체의 상황을 인식할 수 있어 위급상황 발생 시, 빠른 대응책을 마련할 수 있다.
또한, 본 발명은 객체 식별 및 태깅, 에이전트 생성 및 이력정보 생성의 일련의 과정을 지속적으로 반복 수행하여 누적된 영상 이미지 내 객체의 컬러, 형상 및 특성 정보 등 식별 가능한 정보를 기반으로 데이터의 계층화가 가능하여, 객체 식별 정보를 활용하여 객체별 이동 추적 및 상황 인식을 포함한 계층적 의미 추론을 통한 고도의 분석을 수행할 수 있다.
또한, 본 발명은 현실세계의 실제 환경과 유사하게 구현된 가상의 환경에서 객체의 상황을 시뮬레이션하여 추적 객체의 이상상황 발생 가능성을 사전에 예측할 수 있으므로 미래의 발생 가능한 위급상황에 대한 사전 예방책 확보에 기여할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 딥 러닝과 멀티 에이전트를 활용한 대규모 객체 식별 및 추적 시스템의 블록도.
도 2는 본 발명의 바람직한 실시예에 따른 딥 러닝과 멀티 에이전트를 활용한 대규모 객체 식별 및 추적 방법의 흐름도.
도 3은 본 발명의 바람직한 실시예에 따른 분석환경 데이터베이스의 구성도.
도 4는 본 발명의 바람직한 실시예에 따른 에이전트 생성 단계의 상세흐름도.
도 5는 본 발명의 바람직한 실시예에 따른 이력정보 생성 단계의 상세흐름도.
도 2는 본 발명의 바람직한 실시예에 따른 딥 러닝과 멀티 에이전트를 활용한 대규모 객체 식별 및 추적 방법의 흐름도.
도 3은 본 발명의 바람직한 실시예에 따른 분석환경 데이터베이스의 구성도.
도 4는 본 발명의 바람직한 실시예에 따른 에이전트 생성 단계의 상세흐름도.
도 5는 본 발명의 바람직한 실시예에 따른 이력정보 생성 단계의 상세흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
아래 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 상세히 설명한다. 도면에 관계없이 동일한 부재번호는 동일한 구성요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 실시예에 따른 딥 러닝과 멀티 에이전트를 활용한 대규모 객체 식별 및 추적 시스템의 블록도이며, 도 2는 본 발명의 바람직한 실시예에 따른 딥 러닝과 멀티 에이전트를 활용한 대규모 객체 식별 및 추적 방법의 흐름도이다.
본 발명의 바람직한 실시예는 멀티 에이전트 시스템(Multi-Agent System)을 활용하여 다수의 객체에 대한 에이전트를 생성하고 상기 에이전트들의 이력정보를 분석하여 상황을 인식하거나 예측한 것으로, 본 발명에서 활용되는 멀티 에이전트 시스템(Multi-Agent System)은 많은 지능적 에이전트들이 상호 작용하도록 하는 시스템으로서 다중 에이전트 시스템으로도 불리며, 자율적인 개체(autonomous entities)로 간주되는 각 에이전트들이 분산환경에서 상호 협업을 통해 주어진 문제를 해결하고 작업을 수행할 수 있는 것이 특징이다.
도 2에 도시된 바와 같이, 객체 식별 및 추적을 위하여 에이전트 이력정보 분석을 위한 분산환경 정보데이터베이스(DB)의 구축이 우선시되어야 한다.
다시 말해, 상기 객체로 하여금 생성되는 에이전트를 통해 상황 인식 혹은 예측 시, 상기 에이전트 자신이 갖고 있는 환경모델(Enviroment Model)을 기반으로 분석이 이루어짐으로 계속적인 변화에 대한 환경모델 및 환경모델을 구성하는 요소들의 값에 대한 데이터베이스인 상기 분석환경 데이터베이스(10)의 구축 과정은 객체의 이력정보 분석 이전에 반드시 선행되어야 한다.
따라서, 딥 러닝과 멀티 에이전트를 활용한 대규모 객체 식별 및 추적을 위한 준비단계로서 분석환경 데이터베이스 구축 단계(S10)를 통해, 도 1에 도시된 바와 같이, 분석환경 데이터베이스(10)가 마련된다.
이때, 상기 분석환경 데이터베이스(10)는 도 3에 도시된 바와 같이, 분산 동작 정보 데이터베이스, 분산 행동 정보 데이터베이스, 사람과 서비스 데이터베이스, 사람과 사물의 상호작용 데이터베이스, 사람과 사람의 상호작용 데이터베이스 및 고수준 상황인지 행동 데이터베이스 등을 포함한다.
한편, 분석환경 데이터베이스(10) 구축이 완료되면 수신부(20)를 통해 영상 이미지를 수신하는 이미지 수신 단계(S20)를 수행한다.
상기 영상 이미지는 CCTV, 카메라 등에 의해 촬영된 영상 이미지로서, 상기 수신부(20)를 통해 수신된 이후 이미지 전처리 단계(미도시)를 통해 배경 추출, 노이즈 제거 및 기타 보정 작업 등이 수행되며, 상기 이미지 전처리 단계(미도시)는 영상 이미지 내 객체 영역을 명확하게 하기 위한 것으로, 영상 이미지 내 상기 객체 식별을 용이하게 한다.
상기 수신부를 통해 수신된 상기 영상 이미지는 전처리 이후, 상기 객체의 식별 및 상기 에이전트 생성을 위해 에이전트 생성 단계(S30)를 거치게 된다.
상기 에이전트 생성 단계(S30)에서는 객체식별부(30)에 의해 딥 러닝(Deep learning) 알고리즘을 이용하여 영상 이미지 내에 확인되는 상기 객체를 식별하고 태깅하여 상기 객체별 에이전트를 생성한다.
상기 에이전트 생성 단계(S30)에서 생성된 상기 객체별 에이전트는 특성정보 설정 단계(S40)에서 에이전트 생성부(40)의 특성 값 추출 모듈(42) 및 특성정보 설정 모듈(44)을 통해 특성정보가 설정되며, 보다 상세하게는, 상기 특성 값 추출 모듈(42)에 의해 상기 에이전트의 특성 값을 추출되고 추출된 상기 에이전트의 특성 값을 기반으로 상기 특성정보 설정 모듈(44)에 의해 특성정보가 설정되는 것이다.
이때, 상기 에이전트의 특성 값으로는 객체들 간의 상대적인 거리 추정치에 기초하여 추출된 객체 위치 좌표 값과 객체의 각 관절의 위치 좌표 값 혹은 객체의 색상 표현 값 등이 있다.
상기 에이전트의 특성정보는 이력정보 확인 단계(S50)를 통해 상기 분석환경 데이터베이스(10) 내에 기존 이력정보 존재 유무를 확인하여 동일한 상기 에이전트에 대한 기존 이력정보 존재 시, 이력정보 생성 단계(S60)를 통해 이력정보 생성부(50)에서 상기 기존 이력정보와 상기 특성정보를 비교하여 상기 특성정보의 변화량을 산출하며, 상기 에이전트의 특성정보 변화량을 이용하여 에이전트의 이력정보를 생성 및 축적시킨다.
반면, 상기 이력정보 확인 단계(S50)에서 상기 분석환경 데이터베이스(10) 내 에이전트의 기존 이력정보가 존재가 확인되지 않을 시에는 에이전트의 기존 이력정보가 확인될 때까지 이미지 수신 단계(S20) 내지 특성정보 설정 단계(S40)를 반복 수행한다.
상기 이력정보 생성 단계(S60)를 통해 축적된 상기 에이전트의 이력정보는 상황 인식 단계(S70)에서 상황을 추론하여 판단 및 인식하기 위한 데이터로 이용되며, 일반적으로 상황인식 혹은 인지(Context-Awareness System)는 현실세계의 다양한 상황정보(Context Information)들을 수집하고 가공하여 사용자의 상황에 맞는 정보를 제공하는 것이므로 본 발명의 바람직한 실시예에 따른 상기 상황 인식 단계(S60)에서 계층적 의미 추론을 통한 데이터 분석을 수행하여 객체의 행동 의도를 파악하고 그에 따른 적합한 상황정보를 추론할 수 있다.
즉, 본 발명의 바람직한 실시예를 통해, 영상 이미지 내 객체들의 컬러, 형상 및 기타 특성 정보 등을 기반으로 객체별 식별 및 태깅이 가능하며, 태깅된 상기 객체들에 대한 개별 에이전트를 생성하여 객체 식별 정보를 바탕으로 한 특성 값을 추출하여 상기 에이전트의 특성정보 및 이력정보를 설정함으로써, 데이터의 계층화가 가능할 뿐만 아니라, 상기 에이전트의 특성정보 및 이력정보를 활용하여 상기 객체의 추척, 의도 파악 및 상황 인식 등 상기 계층적 의미 추론을 통해 상기 에이전트 즉, 상기 객체의 이동 정보 및 상황 정보를 확보함으로써 고도의 분석이 가능하다.
반면, 상기 상황 인식 단계(S70)는 상황인식부(60)의 이동 경로 추적 모듈(62)에 의해 상기 객체별 이동 경로를 추적함과 동시에 추론 엔진 모듈(64)에 의해 상기 객체의 개별 활동 정보 혹은 그룹 행동 정보를 생성함으로써 상기 객체의 상황을 인식할 수 있으며, 상기 개별 활동 정보의 경우, 단일 에이전트의 이력정보 즉, 객체의 개별 행동 양상을 분석함으로써 획득할 수 있는 반면, 그룹 행동 정보의 경우에는 다수의 에이전트들 간의 이력정보를 상호 공유하고 객체들 간의 행동 연계성을 분석하여 얻을 수 있다.
한편, 상기 이력정보 생성 단계(S60)에서 축적된 상기 에이전트의 이력정보를 활용하여 상황예측부(70)의 변화량 예측 모듈(72)을 통해 상기 에이전트의 특성정보 변화량을 예측하며, 상기 특성정보 변화량 예측 결과를 바탕으로 상황예측부(70)의 시뮬레이션 엔진 모듈(72)에 의해 실제 환경과 같이 구현된 가상의 환경에서 시뮬레이션을 하는 상황 예측 단계(S80);를 추가로 포함할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 에이전트 생성 단계의 상세흐름도이다.
도 4에 도시된 바와 같이, 상기 에이전트 생성 단계(S30)은 상기 객체식별부(30)의 객체 인식 모듈(32)에 의해 상기 영상 이미지 내 상기 객체의 식별이 이루어지며(S32), 이때, 머신러닝에 의해 특정 관절에 대한 특징점을 추출함으로써 개별 객체에 대한 식별이 수행된다.
이후, 식별된 개별 객체는 객체 태깅 모듈(34)에 의해 상기 특징점에서 RGB값을 조합하여 개별 객체마다 고유의 값을 갖도록 해쉬(Hash) 코드를 생성하여 태깅하여(S34), 태깅된 객체별 에이전트를 생성하게 된다(S36).
다시 말해, 에이전트는 카메라 등의 수단으로부터 수신된 영상 이미지 내 객체의 컬러, 형상 및 기타 특성 정보 등 객체의 식별 가능한 정보를 가지며, 이러한 정보를 기반으로 객체 식별 및 태깅을 통해 에이전트가 생성되는 것이다.
도 5는 본 발명의 바람직한 실시예에 따른 이력정보 생성 단계의 상세흐름도이다.
도 5에 도시된 바와 같이, 이력정보 생성 단계(S60)는 상술한 바와 같이, 이력정보 생성부(50)에서 수행되며, 상기 변화량 산출 모듈(52)에 의해 상기 에이전트의 특성정보와 기존 이력정보를 비교(S62)하여 상기 에이전트의 특성정보의 변화량이 산출된다(S64).
이력정보 설정 모듈(54)에 의해 산출된 상기 변화량을 기반으로 상기 에이전트의 신규 이력정보가 생성되며(S66), 생성된 상기 신규 이력정보는 분석환경 데이터베이스(10) 내 축적되어(S68) 이후 상황 인식 단계(S70) 혹은 상황 예측 단계(S80)에서 활용될 뿐만 아니라 신규로 수신되는 영상 이미지에 대한 객체 식별 및 추적시 기존 이력정보로서 활용될 수 있다.
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야 한다.
10 : 분석환경 데이터베이스
20 : 수신부
30 : 객체식별부
40 : 에이전트 생성부
50 : 이력정부 생성부
60 : 상황인식부
70 : 상황예측부
20 : 수신부
30 : 객체식별부
40 : 에이전트 생성부
50 : 이력정부 생성부
60 : 상황인식부
70 : 상황예측부
Claims (5)
- 객체 이력정보를 분석하기 위해 분석환경 데이터베이스를 구축하는 분석환경데이터베이스 구축 단계(S10);
영상 이미지를 수신하는 이미지 수신 단계(S20);
수신된 상기 영상 이미지에서 개별 객체를 식별하며, 식별된 상기 객체를 각각 태깅하여 에이전트로 생성하는 에이전트 생성 단계(S30);
생성된 상기 에이전트의 특성 값을 추출하여 특성정보를 설정하는 특성정보 설정 단계(S40);
분석환경 데이터베이스 내 에이전트의 기존 이력정보 존재 여부를 확인하는 이력정보 확인 단계(S50);
상기 기존 이력정보와 상기 특성정보를 비교하여 상기 특성정보의 변화량을 산출하며, 상기 에이전트의 특성정보 변화량을 이용하여 에이전트의 이력정보를 생성하며 축적하는 이력정보 생성 단계(S60); 및
축적된 상기 에이전트의 이력정보를 기반으로 상황을 추론하여 인식하는 상황 인식 단계(S70);를 포함하되,
상기 특성정보 설정 단계(S40)에서의 상기 에이전트의 특성 값은 객체들 간의 상대적인 거리 추정치에 기초하여 추출된 객체 위치 좌표 값과 객체의 각 관절의 위치 좌표 값이고,
상기 상황 인식 단계(S70)는 상기 이력정보 생성 단계(S60)에서 축적된 상기 에이전트의 이력정보를 통해 객체별 이동 경로를 추적하고 동시에 행동 양상을 분석하여 개별 활동 정보를 생성하며, 상기 에이전트들 간의 이력정보를 상호 공유하고 객체들 간의 행동 연계성을 분석하여 그룹 행동 정보를 생성하여 상황을 인식하는 것을 특징으로 하는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법. - 제 1 항에 있어서,
상기 이력정보 확인 단계(S50)에서,
상기 분석환경 데이터베이스 내 에이전트의 기존 이력정보가 존재가 확인되지 않을 시에는 에이전트의 기존 이력정보가 확인될 때까지 이미지 수신 단계(S20) 내지 특성정보 설정 단계(S40)를 반복 수행하는 것을 특징으로 하는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 이력정보 생성 단계(S60)에서 축적된 상기 에이전트의 이력정보를 활용하여 상기 에이전트의 특성정보 변화량을 예측하며, 실제 환경과 같이 구현된 가상의 환경에서 시뮬레이션하는 상황 예측 단계(S80);를 추가로 포함하는 것을 특징으로 하는 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180089161A KR102174784B1 (ko) | 2018-07-31 | 2018-07-31 | 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180089161A KR102174784B1 (ko) | 2018-07-31 | 2018-07-31 | 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200017594A KR20200017594A (ko) | 2020-02-19 |
| KR102174784B1 true KR102174784B1 (ko) | 2020-11-05 |
Family
ID=69670315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180089161A KR102174784B1 (ko) | 2018-07-31 | 2018-07-31 | 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102174784B1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210326646A1 (en) * | 2020-04-20 | 2021-10-21 | Chooch Intelligence Technologies Co. | Automated generation of training data for contextually generated perceptions |
| KR102194409B1 (ko) | 2020-06-05 | 2020-12-24 | 주식회사 컴트루테크놀로지 | 멀티포커싱 ai신경망을 이용한 안면검출 및 안면식별 시스템 |
| KR102586773B1 (ko) * | 2021-03-10 | 2023-10-10 | 주식회사 넥스트도어 | Ai 기반의 모니터링 시스템 및 그의 동작 방법 |
| KR102343049B1 (ko) * | 2021-06-17 | 2021-12-24 | 주식회사 인피닉 | 인공지능 학습을 위한 이미지 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
| KR102356907B1 (ko) * | 2021-06-17 | 2022-02-08 | 주식회사 인피닉 | 인공지능 학습용 데이터의 메타데이터 입력 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101472077B1 (ko) * | 2014-04-01 | 2014-12-16 | 주식회사 베스트디지탈 | 누적된 객체 특징을 기반으로 하는 감시 시스템 및 방법 |
| KR101808587B1 (ko) * | 2017-08-03 | 2017-12-13 | 주식회사 두원전자통신 | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101002712B1 (ko) * | 2009-01-20 | 2010-12-21 | 주식회사 레이스전자 | 지능형 카메라 보안 시스템 |
-
2018
- 2018-07-31 KR KR1020180089161A patent/KR102174784B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101472077B1 (ko) * | 2014-04-01 | 2014-12-16 | 주식회사 베스트디지탈 | 누적된 객체 특징을 기반으로 하는 감시 시스템 및 방법 |
| KR101808587B1 (ko) * | 2017-08-03 | 2017-12-13 | 주식회사 두원전자통신 | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200017594A (ko) | 2020-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102174784B1 (ko) | 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법 | |
| JP5560397B2 (ja) | 自律型防犯警戒システム及び自律型防犯警戒方法 | |
| JP6474107B2 (ja) | 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム | |
| CN110348348B (zh) | 一种参建人员进场身份快速识别方法及预警系统 | |
| US20160019427A1 (en) | Video surveillence system for detecting firearms | |
| KR102398841B1 (ko) | 영상 분석에 기반하여 건설 현장의 위험을 판단하기 위한 방법 및 시스템 | |
| KR101541272B1 (ko) | 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법 | |
| CN111079722B (zh) | 一种吊装过程人员安全监测方法及系统 | |
| KR102470131B1 (ko) | 레일로봇장치가 구비된 딥러닝 기반의 건물 관리 시스템 | |
| KR20100050226A (ko) | 다중단계 감시영역 설정에 의한 영상검지시스템 | |
| JP2015070401A (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
| CN109492548B (zh) | 基于视频分析的区域mask图片的获得方法 | |
| CN114359976B (zh) | 一种基于人物识别的智能安防方法与装置 | |
| KR102423414B1 (ko) | 경비 로봇 관제 시스템 및 방법 | |
| CN110956769B (zh) | 一种基于目标位置的周界防入侵系统的监控方法 | |
| KR102142315B1 (ko) | 영상 분석 기반의 금융자동화기기 보안 시스템 및 그 방법 | |
| KR101394270B1 (ko) | 영상 감지 시스템 및 방법 | |
| CN115311735A (zh) | 一种异常行为智能识别预警方法 | |
| KR102263512B1 (ko) | 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 | |
| KR20230094768A (ko) | 안전 보호구 착용 상태 모니터링 방법 및 그 방법을 제공하는 서버 | |
| CN110533889B (zh) | 一种敏感区域电子设备监测定位装置与方法 | |
| CN112330742A (zh) | 公共区域重点人员活动路线记录方法及装置 | |
| CN115346303A (zh) | 一种基于物联网节点与gis的可视化校园管理系统 | |
| CN114281656A (zh) | 一种智能中控系统 | |
| KR20230097854A (ko) | 발전소내 작업자의 위험행동 인지방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |