KR102600339B1 - 딥러닝 기반의 다중 객체 인식 시스템 - Google Patents

딥러닝 기반의 다중 객체 인식 시스템 Download PDF

Info

Publication number
KR102600339B1
KR102600339B1 KR1020210137622A KR20210137622A KR102600339B1 KR 102600339 B1 KR102600339 B1 KR 102600339B1 KR 1020210137622 A KR1020210137622 A KR 1020210137622A KR 20210137622 A KR20210137622 A KR 20210137622A KR 102600339 B1 KR102600339 B1 KR 102600339B1
Authority
KR
South Korea
Prior art keywords
situation
deep learning
objects
motion vector
unit
Prior art date
Application number
KR1020210137622A
Other languages
English (en)
Other versions
KR20230054055A (ko
Inventor
김지현
김동현
Original Assignee
한국딥러닝 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국딥러닝 주식회사 filed Critical 한국딥러닝 주식회사
Priority to KR1020210137622A priority Critical patent/KR102600339B1/ko
Publication of KR20230054055A publication Critical patent/KR20230054055A/ko
Application granted granted Critical
Publication of KR102600339B1 publication Critical patent/KR102600339B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 딥러닝 기반의 다중 객체 인식 시스템에 관한 것으로, 해결하고자 하는 과제는 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체의 모션을 추적해 해당 객체 간의 사고 위험을 예측하여 이를 알리는데 있다.
일례로, 미리 정의된 검출 딥러닝 알고리즘을 이용하여 적어도 하나의 감시 카메라 영상으로부터 적어도 하나의 객체를 검출하는 다중 객체 검출부; 미리 정의된 인식 딥러닝 알고리즘을 이용하여 상기 다중 객체 검출부를 통해 검출된 각각의 객체를 식별하여 인식하는 다중 객체 식별부; 및 미리 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 식별부를 통해 인식된 각각의 객체를 추적하며 해당 객체에 대한 모션 벡터를 검출하는 모션 벡터 검출부를 포함하는 딥러닝 기반의 다중 객체 인식 시스템을 개시한다.

Description

딥러닝 기반의 다중 객체 인식 시스템{SYSTEM FOR RECOGNIZING MULTI-OBJECT BASED ON DEEP LEARNING}
본 발명의 실시예는 딥러닝 기반의 다중 객체 인식 시스템에 관한 것이다.
다양한 사고 및 범죄를 예방하기 위해 CCTV 감시(surveillance)가 활성화 되고 있으며, 스마트 폰과 연동하는 감시 시스템이 개발되는 등 일상 생활 공간으로 적용이 확대되고 있다. CCTV 감시의 적용범위가 확대됨에 따라 하나의 감시 시스템에서도 엄청난 양의 비디오 데이터가 생산되고 있다. 따라서, 방대한 양의 비디오 데이터를 한 관리자의 모니터링에 의해 위험을 탐지하고 상황 분석을 하는 것은 불가능하게 되고 있다. 현재 시장에서는 4세대 CCTV 핵심인 스마트 감시 기능이 최신 기술로 적용되고 있다.
CCTV의 스마트 기능으로서 사람 검출 및 차량 검출과 같은 영상인식 기술이 CCTV에 접목되고 있으나 방대한 영상 데이터 분석은 한계가 있다. 따라서 인간과 같은 판단능력을 가지고 방대한 CCTV 감시 영상을 지능적으로 분석할 수 있는 고도화된 영상 인식 기술 기반 영상 감시 방법이 요구되고 있다.
최근, 펜데믹 사태로 인해 각종 배달 수요가 급증하고 있으며, 이러한 배달 업무는 주로 오토바이와 같은 이륜차가 담당하고 있는데, 현재 도로 상에서 다양한 이유로 이륜차의 사고가 급증하고 있는 실정이다. 특히, 덤프 트럭과 같이 운전자의 위치가 상당히 높은 차량과 같은 경우에는 이륜차가 트럭에 근접하여 정차 또는 주행하는 경우 트럭의 운전자의 시야에서 이륜차를 발견하기 어려운 상황이며 각각의 운전자의 부주의나 실수로 인해 인명 사고로 까지 이어지고 있다.
이에 따라, 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체 간의 사고 위험을 사전에 인지하여 대처할 수 있는 시스템 개발이 요구된다.
공개특허공보 제10-2018-0107930호(공개일자: 2018년10월04일) 등록특허공보 제10-0248373호(공개일자: 1999년12월17일)
본 발명의 실시예는, 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체의 모션을 추적해 해당 객체 간의 사고 위험을 예측하여 이를 알릴 수 있는 딥러닝 기반의 다중 객체 인식 시스템을 제공한다.
본 발명의 실시예에 따른 딥러닝 기반의 다중 객체 인식 시스템은, 미리 정의된 검출 딥러닝 알고리즘을 이용하여 적어도 하나의 감시 카메라 영상으로부터 적어도 하나의 객체를 검출하는 다중 객체 검출부; 미리 정의된 인식 딥러닝 알고리즘을 이용하여 상기 다중 객체 검출부를 통해 검출된 각각의 객체를 식별하여 인식하는 다중 객체 식별부; 및 미리 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 식별부를 통해 인식된 각각의 객체를 추적하며 해당 객체에 대한 모션 벡터를 검출하는 모션 벡터 검출부를 포함한다.
또한, 상기 다중 객체 검출부는, 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 히트 맵(heat map) 생성 방법을 포함한 영역 제안 추출(region proposal extraction)을 이용하는 방법, 객체의 속성정보를 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법을 기초로 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행하는 방법, 및 감시 카메라 영상에 대해 영역 제안 추출(region proposal extraction)을 수행하고, 추출된 영역 제안들로부터 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 특성 추출을 통해 해당 영역 제안들 각각의 특성들을 추출하는 방법 중 적어도 하나의 방법을 이용하여 객체를 검출할 수 있다.
또한, 상기 다중 객체 식별부는 차량, 사람, 동물 및 도로 관련 사물을 포함하는 상위 객체를 인식하고, 상기 차량에 대한 객체는, 대형트럭, 이륜차 및 그 외의 차량으로 분류되고, 상기 도로 관련 사물은 차선, 횡단보도, 신호등, 볼라드, 및 전신주로 분류될 수 있다.
또한, 상기 모션 벡터 검출부는, 상기 다중 객체 식별부를 통해 인식된 볼라드, 전신주 및 펜스 중 적어도 하나를 마커(maker)로 설정하는 마커 설정부; 및 상기 마커를 기준으로 상기 다중 객체 식별부를 통해 인식된 차량, 사람 및 동물의 움직임을 추적하며 해당 객체에 대한 이동방향과 이동속도를 각각 산출하는 모션 벡터 산출부를 포함할 수 있다.
또한, 상기 다중 객체 인식 시스템은, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 상기 다중 객체 식별부를 통해 인식된 객체 식별 정보와 상기 모션 벡터 검출부를 통해 검출된 모션 벡터에 따른 객체 간에 일어날 상황을 예측하는 객체 상황 예측부를 더 포함할 수 있다.
또한, 상기 객체 상황 예측부는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 서로 다른 종류의 객체에 대한 모션 벡터에 따라 해당 객체 간이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 객체 주의 상황으로 판단할 수 있다.
또한, 상기 객체 상황 예측부는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 차량의 모션 벡터와 사람 및 동물 중 적어도 하나의 모션 벡터에 따라 차량과 사람 또는 차량과 동물이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 객체 주의 상황으로 판단할 수 있다.
또한, 상기 객체 상황 예측부는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 상기 도로 상에 대형 트럭과 이륜차가 미리 설정된 거리 이내로 상호 근접하며 정지상태인 것으로 인식되면 제2 객체 주의 상황으로 판단하고, 상기 제2 객체 주의 상황에서 대형 트럭과 이륜차가 정지상태에서 이륜차가 대형 트럭과 미리 설정된 거리 이내로 근접 상태로 이동하는 경우 객체 경고 상황으로 판단할 수 있다.
또한, 상기 다중 객체 인식 시스템은, 상기 객체 상황 예측부를 통해 판단되는 객체 주의 상황 및 객체 경고 상황에 따라 청각적 알림 방식 및 시각적 알림 방식 중 적어도 하나의 방식을 통해 주의 신호 및 경고 신호 중 적어도 하나를 해당 객체로 전달하는 주의 및 경고 신호 출력부를 더 포함할 수 있다.
본 발명에 따르면, 도로 위 CCTV의 스마트 기능을 활용해 다양한 객체를 검출하고, 검출된 객체의 모션을 추적해 해당 객체 간의 사고 위험을 예측하여 이를 알릴 수 있는 딥러닝 기반의 다중 객체 인식 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반의 다중 객체 인식 시스템의 전체 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 감시 카메라 영상의 예시를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 다중 객체 검출부와 다중 객체 식별부에 적용되는 컨볼루션 신경망(Convolution Neural Network, CNN)의 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 모션 벡터 검출부의 구성을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 다중 객체 검출부, 다중 객체 식별부 및 모션 벡터 검출부의 동작 실행 결과에 대한 예시를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 객체 상황 예측부를 통한 판단 결과로 제1 객체 주의 상황을 설명하기 위해 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 객체 상황 예측부를 통한 판단 결과로 제2 객체 주의 상황을 설명하기 위해 나타낸 도면이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 객체 상황 예측부를 통한 판단 결과로 객체 경고 상황을 설명하기 위해 나타낸 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반의 다중 객체 인식 시스템의 전체 구성을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 감시 카메라 영상의 예시를 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 다중 객체 검출부와 다중 객체 식별부에 적용되는 컨볼루션 신경망(Convolution Neural Network, CNN)의 구성을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 모션 벡터 검출부의 구성을 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 다중 객체 검출부, 다중 객체 식별부 및 모션 벡터 검출부의 동작 실행 결과에 대한 예시를 나타낸 도면이고, 도 6은 본 발명의 실시예에 따른 객체 상황 예측부를 통한 판단 결과로 제1 객체 주의 상황을 설명하기 위해 나타낸 도면이고, 도 7은 본 발명의 실시예에 따른 객체 상황 예측부를 통한 판단 결과로 제2 객체 주의 상황을 설명하기 위해 나타낸 도면이며, 도 8 내지 도 10은 본 발명의 실시예에 따른 객체 상황 예측부를 통한 판단 결과로 객체 경고 상황을 설명하기 위해 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반의 다중 객체 인식 시스템(1000)은 다중 객체 검출부(100), 다중 객체 식별부(200), 모션 벡터 검출부(300), 객체 상황 예측부(400) 및 주의 및 경고 신호 출력부(500) 중 적어도 하나를 포함할 수 있다.
상기 다중 객체 검출부(100)는, 미리 정의된 검출 딥러닝 알고리즘을 이용하여 적어도 하나의 감시 카메라 영상으로부터 적어도 하나의 객체를 검출할 수 있으며, 본 실시예에 따른 다중 객체는 차량, 사람, 동물 및 도로 관련 사물을 포함하는 상위 객체를 포함할 수 있으며, 이러한 상위 객체 중 차량에 대한 객체는, 대형트럭, 이륜차 및 그 외의 차량으로 분류되고, 도로 관련 사물은 차선, 횡단보도, 신호등, 볼라드, 및 전신주로 분류될 수 있으나, 이에 한정되는 것이 아니라 더 다양하고 디테일한 객체의 검출이 가능하다.
상기 다중 객체 검출부(100)는, 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 히트 맵(heat map) 생성 방법을 포함한 영역 제안 추출(region proposal extraction)을 이용하는 방법을 통해 다중 객체를 검출할 수 있다. 이러한 CNN 기반의 히트 맵 생성 방법은 CNN 기반의 네트워크를 통해 객체 후보영역에 대한 확률 값을 나타내는 2차원 맵을 의미하는 히트 맵을 생성하고, 이를 이용하여 영역 제안을 추출할 수 있다. 영역 제안 네트워크는 도 3에 도시된 바와 같이 총 5개의 컨볼루션 레이어로 구성된 영역 제안 네트워크로, 첫 번째와 두 번째 컨볼루션 레이어에는 풀링 레이어(pooling layer)와 도시되지 않았으나 정규화 레이어(normalization layer)가 연결될 수 있다. 이때, 다섯 번째 컨볼루션 레이어에서 얻은 확률분포 맵을 얻게 되고, 이를 이용하여 높은 확률 값을 갖는 영 역들을 추출하여 최종적으로 가장 오른쪽에 영역 제안을 획득할 수 있다. 여기서, 확률분포 맵에서 파란색으로 표시된 부분은 확률 값 '0'을 나타내고, 빨간색으로 갈수록 '1'에 가까운 높은 확률 값을 나타내는 것을 의미할 수 있다.
또한, 다중 객체 검출부(100)는, 객체의 속성정보를 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법을 기초로 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행하는 방법을 통해 다중 객체를 검출할 수 있다.이러한 멀티 태스킹 러닝 방법은 추출된 영역 제안들로부터 실제 CNN 기반의 네트워크(CNN-based feature extraction)를 통해 특성을 추출하고 최종 검출을 수행하는 단계로, CNN 기반의 네트워크는 사람 검출과 관련된 여러 가지 태스크들 예를 들어, 보행자 크기, 보행자 포즈 등을 공통적으로 만족하는 방향으로 학습하여 좀 더 효과적인 특성을 학습할 수 있다.
또한, 다중 객체 검출부(100)는, 감시 카메라 영상에 대해 영역 제안 추출(region proposal extraction)을 수행하고, 추출된 영역 제안들로부터 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 특성 추출을 통해 해당 영역 제안들 각각의 특성들을 추출하는 방법으로 다중 객체를 검출할 수도 있다.
상기 다중 객체 식별부(200)는, 미리 정의된 인식 딥러닝 알고리즘을 이용하여 다중 객체 검출부(100)를 통해 검출된 각각의 객체를 식별하여 인식할 수 있다. 예를 들어, 다중 객체 식별부(200)는 차량, 사람, 동물 및 도로 관련 사물을 포함하는 상위 객체를 인식하고, 차량 객체에 대해서는 대형트럭, 이륜차 및 그 외의 차량으로 분류하고, 도로 관련 사물은 차선, 횡단보도, 신호등, 볼라드, 및 전신주로 분류할 수 있다. 이러한 다중 객체 식별부(200)는 다중 객체 검출부(100)를 통해 검출된 다양한 객체가 미리 정의된 객체인지를 분류하기 위한 수단으로 특히 도로 위의 사고 위험 예측과 방지를 위해 선행되어야 할 객체가 포함되어 있는지를 확인할 수 있으며, 다중 객체 검출부(100)와 연동하여 다중 객체의 검출과 함께 식별 동작을 수행할 수 있다.
상기 모션 벡터 검출부(300)는, 미리 정의된 모션 벡터 알고리즘을 이용하여 다중 객체 식별부(200)를 통해 인식된 각각의 객체를 추적하며 해당 객체에 대한 모션 벡터를 검출할 수 있다.
이를 위해, 모션 벡터 검출부(300)는 도 4에 도시된 바와 같이 마커 설정부(310) 및 모션 벡터 산출부(300) 중 적어도 하나를 포함할 수 있다.
상기 마커 설정부(310)는 다중 객체 식별부(200)를 통해 인식된 볼라드, 전신주 및 펜스 중 적어도 하나를 마커(maker)로 설정할 수 있다. 감시 카메라 영상 즉 CCTV 영상은 특정된 장소(사고 위험 다발 구역)에서 특정한 각도에 대한 촬영을 지속적으로 수행하기 때문에 해당 영상 내에는 변하지 않고 고정된 객체가 존재할 수 있다. 따라서, 마커 설정부(310)는 CCTV 영상에서 위치적으로 고정 불변한 객체를 마커로 설정하고, 설정된 마커 객체에 대한 위치 좌표를 영상 내에서 확정함으로써 CCTV 영상 내에서 움직이는 객체들이 해당 마커들을 기준으로 어느 방향으로 이동하는지, 얼마나 이동했는지를 쉽게 파악할 수 있다. 예를 들어, 도 5에 도시된 바와 같이 8개의 볼라드에 대한 객체를 마커로 설정하고, 해당 마커를 기준으로 후술하는 모션 벡터 산출부(300)를 통해 마커로 정의된 객체 이외의 객체들에 대한 모션 벡터를 검출할 수 있도록 한다.
상기 모션 벡터 산출부(300)는 마커를 기준으로 다중 객체 식별부(200)를 통해 인식된 차량, 사람 및 동물과 같은 동적 객체에 대한 움직임을 추적하며 해당 객체에 대한 이동방향과 이동속도를 각각 산출할 수 있다.
감시 카메라 영상을 구성하는 다수의 영상 프레임들 내에 검출된 각각의 객체가 이동한 거리를 영상 프레임 수로 나누는 방식으로 각 객체들에 대한 이동속도를 산출할 수 있다. 예를 들어, 영상 프레임 1개당 1/60sec을 대상으로 특정 객체의 이동속도를 계산할 경우, 해당 객체가 포함된 영상 프레임 300개(총 5sec)를 추출한 후 해당 객체가 이동한 거리(5m)를 산출한 후, 해당 이동거리(5m)를 영상 프레임들의 총 시간(5sec)으로 나누어 해당 객체가 대략 1m/s의 속도로 이동하고 있음을 알 수 있다. 이때, 객체 이동 거리는 비교 대상인 마커와 또 다른 마커 간의 미리 정의된 거리를 이용하여 산출하거나, 영상 내에 미리 정의된 좌표 간격 별 거리 값을 이용하여 산출하는 등 다양한 방식으로 객체의 이동 거리를 계산할 수 있다.
또한, 인식된 객체에 대하여 바운딩 박스를 처리하고, 각각의 바운딩 박스가 이동한 궤적을 따라 이동하고 있는 방향에 대한 정보를 획득할 수 있다. 이 뿐만 아니라, 영상 내 객체의 이동방향을 검출하는 다른 어떠한 방식을 적용하여도 무방하다.
상기 객체 상황 예측부(400)는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 다중 객체 식별부(300)를 통해 인식된 객체 식별 정보와 모션 벡터 검출부(300)를 통해 검출된 모션 벡터에 따른 객체 간에 일어날 상황을 예측할 수 있다.
우선, 객체 상황 예측부(400)는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 서로 다른 종류(사람-자동차, 자동차-자동차)의 객체에 대한 모션 벡터(이동방향, 이동속도)에 따라 해당 객체 간이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 객체 주의 상황으로 판단할 수 있다.
좀 더 구체적으로, 객체 상황 예측부(400)는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 차량의 모션 벡터와 사람 및 동물 중 적어도 하나의 모션 벡터에 따라 차량과 사람 또는 차량과 동물이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 객체 주의 상황으로 판단할 수 있다.
예를 들어 도 8에 도시된 바와 같이, Id_0001의 사람 객체가 영상 내에서 동쪽을 향해 1.1m/s의 속도로 걷고 있으며, Id_003의 일반 차량 객체가 남서 방향으로 주행 중이며, 더욱 구체적인 상황으로, 다중 객체 식별부(200)를 통해 해당 객체의 상황 즉, 정면을 주시하지 않고 걷고 있는 상태이고, 신호등이 녹색 상태인 경우 사람과 차량 객체가 모션을 멈추지 않고 그대로 진행한다면 대략 2초 충돌 위험이 있으므로, 이에 따른 제1 주의 상황 경보를 생성할 수 있다.
여기서, 제1 주의 상황 경보로는 디스플레이 출력정보나 음성출력정보를 포함할 수 있으며, 디스플레이 출력정보는 현장의 신호등에 설치되는 전광판을 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 텍스트 메시지를 포함할 수 있으며, 또한 현장 주변에 설치되는 스피커를 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 음성 메시지를 포함할 수 있다.
상기 객체 상황 예측부(400)는, 미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 도로 상에 대형 트럭과 이륜차가 미리 설정된 거리 이내로 상호 근접하며 정지상태인 것으로 인식되면 제2 객체 주의 상황으로 판단하고, 제2 객체 주의 상황에서 대형 트럭과 이륜차가 정지상태에서 이륜차가 대형 트럭과 미리 설정된 거리 이내로 근접 상태로 이동하는 경우 객체 경고 상황으로 판단할 수 있다.
예를 들어 도 7에 도시된 바와 같이, Id_002의 이륜차 객체와 Id_003의 대형 트럭 객체가 각각 도로 상에서 정지한 상태로 나란히 근접(대략 1m 이내)한 것으로 인식되는 경우, 제2 객체 주의 상황으로 판단하여 이에 따른 제2 주의 상황 경보를 생성할 수 있다. 대부분 덤프 트럭의 경우 해당 트럭 옆에 인접한 오토바이 등이 운전자 시야에 들어오지 않는다는 문제가 있기 때문에, 덤프 트럭 옆에 오토바이가 인접하게 위치하는 상황만으로도 향후 위험 발생 소지가 있기 때문에 그에 따른 제2 주의 상황 경보를 생성할 수 있다.
여기서, 제2 주의 상황 경보로는 디스플레이 출력정보나 음성출력정보를 포함할 수 있으며, 디스플레이 출력정보는 현장의 신호등에 설치되는 전광판을 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 텍스트 메시지를 포함할 수 있으며, 또한 현장 주변에 설치되는 스피커를 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 음성 메시지를 포함할 수 있다.
또한, Id_002의 이륜차 객체와 Id_003의 대형 트럭 객체가 각각 도로 상에서 정지한 상태로 나란히 근접(대략 1m 이내)하여 제2 객체 주의 상황으로 판단된 상태에서, 도 8에 도시된 바와 같이 이륜차가 먼저 이동함을 인지하거나, 도 9에 도시된 바와 같이 대형 트럭이 먼저 이동함을 인지하는 경우, 또는 도시하지 않았으나 이륜차와 대형 트럭이 약간의 시차를 두더라도 동시에 이동하는 경우 모두 이륜차가 대형 트럭 운전자의 시야에서 벗어난 상황에서 향후 대형 트럭이 이륜차와 추돌할 가능성이 농후하다고 판단하여 객체 경고 상황으로 판단하여 그에 따른 객체 경고 경보를 생성할 수 있다.
여기서, 객체 경고 경보로는 디스플레이 출력정보나 음성출력정보를 포함할 수 있으며, 디스플레이 출력정보는 현장의 신호등에 설치되는 전광판을 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 텍스트 메시지를 포함할 수 있으며, 또한 현장 주변에 설치되는 스피커를 통해 위험 상황을 현장의 사람들이 인지할 수 있도록 안내하기 위한 음성 메시지를 포함할 수 있는데, 상술한 객체 주의 경보와의 차이점은 시각적, 청각적 메시지의 전달 내용과 알림 강도에 있으며, 상황에 따라서는 상대적으로 가장 안전한 대형 트럭의 운전자에게 정지할 것을 강하게 어필하는 메시지를 전달함으로써 추돌 사고 위험성을 줄일 수 있다.
또한, Id_002의 이륜차 객체와 Id_003의 대형 트럭 객체가 각각 도로 상에서 정지한 상태로 나란히 근접(대략 1m 이내)해 있고, Id_005의 일반 차량이 대략 20km/h로 주행하여 제2 객체 주의 상황으로 판단된 상태에서, 도 10에 도시된 바와 같이 이륜차와 일반 차량의 모션 벡터를 분석할 결과, 대형 트럭에 의해 해당 객체 간의 시야가 막힌 지점에서 향후 4초 이후 추돌 가능성이 있다고 판단되면, 객체 경고 상황으로 판단하여 그에 따른 객체 경고 경보를 생성할 수도 있다.
본 실시예에 따른 객체 상황 예측부(400)의 상황 예측 딥러닝 알고리즘은 상술한 바와 같이 서로 다른 객체 예를 들어, 사람과 차량, 차량으로 분류된 객체 중 이륜차와 대형 트럭, 그리고 시야가 확보되지 않은 상황에서 각 객체의 모션 벡터에 대한 데이터를 기반으로 미리 학습된 상황 예측 딥러닝 알고리즘을 바탕으로 향후 사고 발생 형태와 위험 가능성을 판단하여 그에 따른 주의 또는 경보 신호를 생성할 수 있다. 여기서, 위험 가능성은 해당 카메라 감시 지역에서 각 객체들이 동일한 상황에서 반복적으로 또는 유사하게 사고가 일어났는지 일어나지 않는지에 대한 통계 정보도 반영될 수 있으며, 이러한 통계 정보와 사고 유형, 다양한 사고 시뮬레이션을 바탕으로 여러 상황에 대한 상황을 예측함으로써 얻은 결과일 수 있다.
상기 주의 및 경고 신호 출력부(500)는, 객체 상황 예측부(400)를 통해 판단되는 객체 주의 상황 및 객체 경고 상황에 따라 청각적 알림 방식 및 시각적 알림 방식 중 적어도 하나의 방식을 통해 주의 신호 및 경고 신호 중 적어도 하나를 해당 객체로 전달할 수 있다. 상술한 바와 같이, 주의 및 경고 신호 출력부(500)는 디스플레이와 스피커 중 적어도 하나를 포함할 수 있으며, 신호등이나 도로 주변에 운전자 및 보행자의 시야에 쉽게 들어오는 위치에 설치되어 해당 장치로부터 출력되는 정보를 쉽게 인지할 수 있도록 한다.
이상에서 설명한 것은 본 발명에 의한 딥러닝 기반의 다중 객체 인식 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
1000: 딥러닝 기반의 다중 객체 인식 시스템
100: 다중 객체 검출부
200: 다중 객체 식별부
300: 모션 벡터 검출부
310: 마커 설정부
320: 모션 벡터 산출부
400: 객체 상황 예측부
500: 주의 및 경고 신호 출력부

Claims (7)

  1. 미리 정의된 검출 딥러닝 알고리즘을 이용하여 적어도 하나의 감시 카메라 영상으로부터 적어도 하나의 객체를 검출하는 다중 객체 검출부;
    미리 정의된 인식 딥러닝 알고리즘을 이용하여 상기 다중 객체 검출부를 통해 검출된 각각의 객체를 식별하여 인식하는 다중 객체 식별부;
    미리 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 식별부를 통해 인식된 각각의 객체를 추적하며 해당 객체에 대한 모션 벡터를 검출하는 모션 벡터 검출부;
    미리 정의된 상황 예측 딥러닝 알고리즘을 이용하여 상기 다중 객체 식별부를 통해 인식된 객체 식별 정보와 상기 모션 벡터 검출부를 통해 검출된 모션 벡터에 따라 객체 간에 일어날 상황을 예측하되, 차량의 모션 벡터와 사람 및 동물 중 적어도 하나의 모션 벡터에 따라 차량과 사람 또는 차량과 동물이 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제1 객체 주의 상황으로 판단하고, 도로 상에 트럭과 이륜차가 미리 설정된 거리 이내로 상호 근접하며 정지상태인 것으로 인식되면 제2 객체 주의 상황으로 판단하고, 상기 제2 객체 주의 상황으로 판단된 상태에서 트럭과 이륜차가 정지상태에서 이륜차가 트럭과 미리 설정된 거리 이내로 근접 상태로 이동하는 경우 제1 객체 경고 상황으로 판단하고, 상기 제2 객체 주의 상황으로 판단된 상태에서 트럭에 의해 이륜차와 일반 차량 간의 시야가 서로 확보되지 않은 경우 이륜차와 일반 차량의 모션 벡터를 분석한 결과 미리 설정된 시간 이내에 접촉할 것으로 예측되면, 제2 객체 경고 상황으로 판단하는 객체 상황 예측부; 및
    상기 객체 상황 예측부를 통해 판단되는 객체 주의 상황 및 객체 경고 상황에 따라 청각적 알림 방식 및 시각적 알림 방식 중 적어도 하나의 방식을 통해 주의 신호 및 경고 신호 중 적어도 하나를 해당 객체로 전달하는 주의 및 경고 신호 출력부를 포함하는 것을 특징으로 하는 딥러닝 기반의 다중 객체 인식 시스템.
  2. 제1 항에 있어서,
    상기 다중 객체 검출부는,
    컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 히트 맵(heat map) 생성 방법을 포함한 영역 제안 추출(region proposal extraction)을 이용하는 방법, 객체의 속성정보를 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법을 기초로 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행하는 방법, 및 감시 카메라 영상에 대해 영역 제안 추출(region proposal extraction)을 수행하고, 추출된 영역 제안들로부터 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 특성 추출을 통해 해당 영역 제안들 각각의 특성들을 추출하는 방법 중 적어도 하나의 방법을 이용하여 객체를 검출하는 것을 특징으로 하는 딥러닝 기반의 다중 객체 인식 시스템.
  3. 제1 항에 있어서,
    상기 다중 객체 식별부는 차량, 사람, 동물 및 도로 관련 사물을 포함하는 상위 객체를 인식하고,
    상기 차량에 대한 객체는, 대형트럭, 이륜차 및 그 외의 차량으로 분류되고,
    상기 도로 관련 사물은 차선, 횡단보도, 신호등, 볼라드, 및 전신주로 분류되는 것을 특징으로 하는 딥러닝 기반의 다중 객체 인식 시스템.
  4. 제3 항에 있어서,
    상기 모션 벡터 검출부는,
    상기 다중 객체 식별부를 통해 인식된 볼라드, 전신주 및 펜스 중 적어도 하나를 마커(maker)로 설정하는 마커 설정부; 및
    상기 마커를 기준으로 상기 다중 객체 식별부를 통해 인식된 차량, 사람 및 동물의 움직임을 추적하며 해당 객체에 대한 이동방향과 이동속도를 각각 산출하는 모션 벡터 산출부를 포함하는 것을 특징으로 하는 딥러닝 기반의 다중 객체 인식 시스템
  5. 삭제
  6. 삭제
  7. 삭제
KR1020210137622A 2021-10-15 2021-10-15 딥러닝 기반의 다중 객체 인식 시스템 KR102600339B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210137622A KR102600339B1 (ko) 2021-10-15 2021-10-15 딥러닝 기반의 다중 객체 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210137622A KR102600339B1 (ko) 2021-10-15 2021-10-15 딥러닝 기반의 다중 객체 인식 시스템

Publications (2)

Publication Number Publication Date
KR20230054055A KR20230054055A (ko) 2023-04-24
KR102600339B1 true KR102600339B1 (ko) 2023-11-10

Family

ID=86141710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210137622A KR102600339B1 (ko) 2021-10-15 2021-10-15 딥러닝 기반의 다중 객체 인식 시스템

Country Status (1)

Country Link
KR (1) KR102600339B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101117235B1 (ko) * 2010-12-21 2012-03-16 연세대학교 산학협력단 교통사고 인식 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100248373B1 (ko) 1997-09-29 2000-03-15 정선종 모션 벡터 알고리즘을 이용한 동화상 내의 객체 추적 방법
KR101995107B1 (ko) 2017-03-23 2019-07-01 한국과학기술원 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
KR102463175B1 (ko) * 2017-09-04 2022-11-04 삼성전자주식회사 객체 인식 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101117235B1 (ko) * 2010-12-21 2012-03-16 연세대학교 산학협력단 교통사고 인식 장치 및 방법

Also Published As

Publication number Publication date
KR20230054055A (ko) 2023-04-24

Similar Documents

Publication Publication Date Title
Gandhi et al. Pedestrian protection systems: Issues, survey, and challenges
Bonnin et al. Pedestrian crossing prediction using multiple context-based models
CN103987577B (zh) 用于监视和信号化车辆的周围环境中的交通情况的方法
Zhang et al. Prediction of pedestrian-vehicle conflicts at signalized intersections based on long short-term memory neural network
US20040246114A1 (en) Image processing system for a vehicle
KR102020340B1 (ko) 라이다를 이용한 교차로 운행 및 보행 안전 모니터링 시스템
US20160012301A1 (en) Method and device for recognizing non-motorized road users
US20130282268A1 (en) Orientation sensitive traffic collision warning system
CN113442917B (zh) 用于宿主机动车辆的警告系统
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN104134360A (zh) 基于短程通信的路口行人识别安全控制系统及方法
CN113676702A (zh) 基于视频流的目标追踪监测方法、系统、装置及存储介质
WO2023101717A9 (en) Devices and methods for assisting operation of vehicles based on situational assessment fusing expoential risks (safer)
KR102565227B1 (ko) 위험도 예측 안내를 제공하는 교통 안전 장치 및 이를 포함하는 교통 안전 시스템
Marayatr et al. Motorcyclist's Helmet Wearing Detection Using Image Processing
CN113936465A (zh) 交通事件检测方法及装置
KR20190090221A (ko) 지능형 안전 장치
KR20230052444A (ko) 스마트 반사경 장치
KR102499340B1 (ko) 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법
KR102600339B1 (ko) 딥러닝 기반의 다중 객체 인식 시스템
Fujimura et al. Vehicle infrastructure integration system using vision sensors to prevent accidents in traffic flow
KR102278172B1 (ko) 카메라모듈을 이용한 횡단보도의 무단횡단 방지방법
CN113869126A (zh) 评估方法、预警设备、电子设备以及可读存储介质
CN113255540A (zh) 一种基于毫米波雷达和摄像头融合的礼让行人系统及方法
KR20220021125A (ko) 인공지능 기반 충돌 인지 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant