KR102336258B1 - 사고 발생 판별을 통한 사고 처리를 위한 ｙｏｌｏ 기반 모니터링 시스템 - Google Patents
사고 발생 판별을 통한 사고 처리를 위한 ｙｏｌｏ 기반 모니터링 시스템 Download PDFInfo
- Publication number
- KR102336258B1 KR102336258B1 KR1020200136460A KR20200136460A KR102336258B1 KR 102336258 B1 KR102336258 B1 KR 102336258B1 KR 1020200136460 A KR1020200136460 A KR 1020200136460A KR 20200136460 A KR20200136460 A KR 20200136460A KR 102336258 B1 KR102336258 B1 KR 102336258B1
- Authority
- KR
- South Korea
- Prior art keywords
- accident
- yolo
- warning
- unit
- monitoring
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
Abstract
본 발명은 위험 감시 영역에 대한 영상을 획득하는 카메라; 상기 카메라부터 제공받은 이미지로부터 위험 예측과 경고를 위한 제어를 수행하는 MCU(Micro Controller Unit); 상기 이미지로부터 딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 이용하여 감시대상을 감지하여 인식하고, 인식된 감시대상에 대한 변화를 추적하며, 상기 감시대상의 변화를 분석하여 위험을 예측하도록 하는 ASIC(Application Specific Integrated Circuit)로 구현되는 YOLO 가속기; 및 상기 YOLO 가속기를 통해서 예측되는 위험에 따라 경고를 발생시키는 경고부;를 포함하도록 한 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템에 관한 것이다.
본 발명에 따르면, 인공지능 YOLO 알고리즘이 구현된 가속기(accelerator) 기반의 사물인식 및 추적이 가능한 스마트 카메라를 제공함으로써, 고속 사물 인식 및 추적과 사고 발생 판단을 가능하도록 하고, 사용에 대한 제약을 최소화할 수 있으며, 경제적인 시스템의 구축을 가능하도록 하고, 사고 발생의 판별에 대한 신뢰성을 높여서 사고 발생의 후속 처리를 신속하게 이루어지도록 할 수 있으며, 이로 인해 인명과 재산상 손실을 최소화하는 효과를 가진다.
본 발명에 따르면, 인공지능 YOLO 알고리즘이 구현된 가속기(accelerator) 기반의 사물인식 및 추적이 가능한 스마트 카메라를 제공함으로써, 고속 사물 인식 및 추적과 사고 발생 판단을 가능하도록 하고, 사용에 대한 제약을 최소화할 수 있으며, 경제적인 시스템의 구축을 가능하도록 하고, 사고 발생의 판별에 대한 신뢰성을 높여서 사고 발생의 후속 처리를 신속하게 이루어지도록 할 수 있으며, 이로 인해 인명과 재산상 손실을 최소화하는 효과를 가진다.
Description
본 발명은 위험 예측 스마트 카메라 시스템에 관한 것으로서, 보다 상세하게는 인공지능 YOLO 알고리즘이 구현된 가속기(accelerator) 기반에 의해 사물인식 및 추적과 사고 발생 판별이 가능한 스마트 카메라를 제공함으로써, 고속 사물 인식 및 추적과 사고 발생 판별을 동작 판단을 가능하도록 하고, 사용에 대한 제약을 최소화하는 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템에 관한 것이다.
최근 인공지능 기술은 하드웨어 발달로 딥러닝과 같은 빅데이터 학습이 가능해졌다. 이에 인공지능 딥러닝 기반의 개인화된 위치 정보 데이터를 학습하여 이동 위험을 예측해줄 수 있는 수단의 필요성이 절실한 실정이다.
이러한 인공지능 기술을 이용한 위험 예측 기술은 기존의 사물 인터넷(IoT)을 이용한 위치기반의 위험감시 시스템에서 영역의 설정이 많아지거나, 복잡할 경우, 사용성이 저하되는 문제점을 크게 개선시킬 것으로 예측하고 있다.
종래 인공지능 기술을 이용한 위험 예측에 대한 기술로서, 한국공개특허 제10-2019-0063489호의 "딥러닝 학습을 통한 위치정보 기반 개인 맞춤형 위험 예측 시스템 및 그 동작 방법"이 제시된 바 있는데, 이는 딥러닝 학습이 가능한 위험 예측 서버가 딥러닝 학습을 통한 위치정보 기반 개인 맞춤형 위험을 예측하는 방법으로서, 미리 설정된 주기마다 사용자의 위치 정보를 수집하는 사용자 위치정보 수집 과정; 수집되는 사용자의 위치정보를 이용하여 사용자 이동패턴을 산출하는 사용자 이동패턴 산출 과정; 산출된 사용자 이동패턴을 딥러닝의 학습 데이터로 입력하여 사용자 맞춤형 인공신경망 모델을 생성하는 인공신경망 모델 생성 과정; 상기 사용자 맞춤형 인공신경망 모델을 이용하여 사용자 이동경로를 예측하는 사용자 이동경로 예측 과정; 예측되는 사용자 이동경로를 이용하여 사용자의 위험 여부를 모니터링하는 사용자 위험 여부 모니터링 과정; 및 모니터링 결과를 사용자 단말기와 보호자 단말기에 통보하는 위험 모니터링 결과 통보 과정;을 포함한다.
그러나, 이러한 종래 기술 뿐만 아니라, 기존의 인공지능 딥러닝 기술은 상용 GPU(Graphic Processing Unit) 기반으로 산업 전반에 보편화되고 있으나, 여전히 서버기반 서비스가 대부분이며, 최근 대중화되고 있는 음성인식 기반 개인비서 서비스도 서버 기반으로 동작하고 있다.
이와 같은 서버기반 객체인식은 동작속도 저하나, 네트워크가 가능해야 하는 환경적인 제약과, 네트워크 보안 취약성과 같은 문제를 야기시킨다. 한편, 주요 GPU 공급사인 엔비디아(nVIDIA)는 임베디드용 GPU 보드 솔루션을 제시하고 있지만, 성능과 가격 측면에서 걸림돌이 있는 실정이다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 인공지능 YOLO 알고리즘이 구현된 가속기(accelerator) 기반의 사물인식 및 추적이 가능한 스마트 카메라를 제공함으로써, 고속 사물 인식 및 추적과 사고 발생 판단을 가능하도록 하고, 사용에 대한 제약을 최소화하며, 경제적인 시스템의 구축을 가능하도록 하고, 사고 발생의 판별에 대한 신뢰성을 높여서 사고 발생의 후속 처리를 신속하게 이루어지도록 하며, 이로 인해 인명과 재산상 손실을 최소화하는데 목적이 있다.
본 발명의 다른 목적들은 이하의 실시례에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일측면에 따르면, 위험 감시 영역에 대한 영상을 획득하는 카메라; 상기 카메라로부터 제공받은 이미지로부터 사고 발생 판별과 사고 발생 통보를 위한 제어를 수행하는 MCU(Micro Controller Unit); 상기 이미지로부터 딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 이용하여 감시대상을 감지하여 인식하고, 인식된 감시대상에 대한 변화를 추적하며, 상기 감시대상의 변화를 분석하여 사고 발생을 판별하도록 하는 ASIC(Application Specific Integrated Circuit)로 구현되는 YOLO 가속기; 및 사고 발생시 수습을 위한 기관의 단말기와 통신을 수행하기 위한 통신부;를 포함하고, 상기 MCU는, 상기 YOLO 가속기에 의해 사고 발생을 판별시, 상기 통신부를 통해서 상기 단말기에 상기 위험 감시 영역의 위치 및 사고 발생 사실을 통보하도록 하는, 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템이 제공된다.
위험 감시 영역에서 확인 가능하도록 경고 문구를 외부로 디스플레이하는 경고디스플레이부, 상기 위험 감시 영역을 향하여 경고 음성이나 경고음을 출력하는 경고스피커, 상기 위험 감시 영역의 바닥을 향하여 레이저광의 출력에 의해, 경고 문구나 경고 도안을 나타내도록 하는 레이저경고부 및 상기 위험 감시 영역의 바닥에 외부로 노출되도록 매립되어 점등 또는 점멸하는 지면경고부 중 일부를 포함하는 경고부를 더 포함하고, 상기 YOLO 가속기는, 상기 사고 발생의 판별 외에도, 상기 이미지로부터 YOLO 알고리즘을 이용하여 감시대상을 인식하고, 인식한 감시대상의 이동방향과 이동속도를 통해서, 감시대상끼리 충돌을 예측하며, 상기 충돌이 예측되면, 상기 경고부를 동작시키기 위한 제어신호를 출력할 수 있다.
상기 YOLO 가속기는, 상기 이미지로부터 각 감시대상에 대한 이미지 분류 작업을 위하여, 상기 이미지 전체에서 각 감시대상이 차지하는 사각 영역을 추출하고, 모든 사각 영역에 대하여 YOLO 알고리즘의 CNN을 통과시켜서 특징을 획득하도록 하고, 상기 사각 영역의 특징들을 분류기(Support Vector Machine: SVM)에 통과시켜 각 영역의 감시대상이 무엇인지를 인식하는 감지인식부; 상기 감지인식부에 의해 인식된 감시대상의 이동방향과 이동속도를 산출하는 움직임추적부; 및 상기 움직임추적부에 의해 산출되는 감시대상의 이동방향과 이동속도를 통해서, 감시대상끼리 설정시간 내에 충돌할지를 판단하고, 상기 감시대상끼리 정해진 시간 내에서 충돌할 것으로 판단되면, 상기 경고부에 의해 경고를 발생시키기 위한 제어신호를 출력하고, 상기 감시대상끼리 충돌하면, 사고 발생으로 판단하여 상기 MCU에 사고 발생 사실의 통보를 위한 신호를 제공하는 행동분석부;를 포함할 수 있다.
상기 감지인식부는, 감시대상이 사람인 것으로 인식되면, 상기 사람의 상단과 하단의 특징점을 YOLO 알고리즘의 CNN을 통과시켜서 획득하도록 하고, 상기 상단과 하단의 특징점 픽셀을 이미지의 색상 경계로부터 각각 찾아내어 서로의 직선 길이를 산출하여 실제 키로서 환산하며, 환산된 키가 만 11세 평균키에 해당하는 150cmm 이하인지를 판단하고, 상기 행동분석부는, 상기 감지인식부의 판단에 의해 감시대상이 150cm 이하의 키를 가진 사람인 경우, 상기 설정시간을 50~100% 증가시켜서 보상하고, 보상된 설정시간으로 상기 충돌을 판단하도록 할 수 있다.
상기 행동분석부는, 위험의 예측이 교통사고에 대한 것일 경우, 교통사고분석시스템으로부터 매년 요일별 교통사고 건수의 통계자료를 제공받아, 일평균 교통사고 건수에 대한 요일별 교통사건 건수에 대한 증감율을 산출하고, 산출된 증감율 만큼 상기 설정시간을 증감시켜서 보상하고, 보상된 설정시간으로 상기 충돌을 판단하도록 할 수 있다.
본 발명에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템에 의하면, 인공지능 YOLO 알고리즘이 구현된 가속기(accelerator) 기반의 사물인식 및 추적이 가능한 스마트 카메라를 제공함으로써, 고속 사물 인식 및 추적과 사고 발생 판단을 가능하도록 하고, 사용에 대한 제약을 최소화할 수 있으며, 경제적인 시스템의 구축을 가능하도록 하고, 사고 발생의 판별에 대한 신뢰성을 높여서 사고 발생의 후속 처리를 신속하게 이루어지도록 할 수 있으며, 이로 인해 인명과 재산상 손실을 최소화하는 효과를 가진다.
도 1은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 적용예로서 교차로의 교통사고 위험 예측에 적용하는 경우를 나타낸다.
도 2는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 구성도이다.
도 3은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 YOLO 가속기를 도시한 구성도이다.
도 4는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 적용 예시를 나타낸 이미지이다.
도 5는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 다른 적용 예시를 나타낸 이미지이다.
도 6은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템에서 YOLO 가속기에 적용되는 시공간 잡음 제거 시스템을 도시한 구성도이다.
도 7은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 YOLO 가속기의 동작을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 감지인식부에 의한 감시대상이 차지하는 사각 영역의 추출을 설명하기 위한 이미지이다.
도 9는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 감지인식부의 이미지 처리과정을 나타낸다.
도 10은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 감지인식부에서 YOLO 구현에 기본 연산자인 matrix 연산기 설계를 설명하기 위한 이미지로서, (가)는 행렬 곱 연산의 기초가 될 곱-누적 연산기(MAC)구조이고, (나)는 곱-누적 연산기가 격자 모양으로 연결된 Systolic-Array 구조이다.
도 2는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 구성도이다.
도 3은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 YOLO 가속기를 도시한 구성도이다.
도 4는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 적용 예시를 나타낸 이미지이다.
도 5는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 다른 적용 예시를 나타낸 이미지이다.
도 6은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템에서 YOLO 가속기에 적용되는 시공간 잡음 제거 시스템을 도시한 구성도이다.
도 7은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 YOLO 가속기의 동작을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 감지인식부에 의한 감시대상이 차지하는 사각 영역의 추출을 설명하기 위한 이미지이다.
도 9는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 감지인식부의 이미지 처리과정을 나타낸다.
도 10은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 감지인식부에서 YOLO 구현에 기본 연산자인 matrix 연산기 설계를 설명하기 위한 이미지로서, (가)는 행렬 곱 연산의 기초가 될 곱-누적 연산기(MAC)구조이고, (나)는 곱-누적 연산기가 격자 모양으로 연결된 Systolic-Array 구조이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고, 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니고, 본 발명의 기술 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 식으로 이해되어야 하고, 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시례에 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시례를 상세히 설명하며, 도면 부호에 관계없이 동일하거나 대응하는 구성요소에 대해서는 동일한 참조 번호를 부여하고, 이에 대해 중복되는 설명을 생략하기로 한다.
도 1은 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 적용예로서 교차로의 교통사고 위험 예측에 적용하는 경우를 나타내고, 도 2는 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템의 구성도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시례에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템(100)은 카메라(110), MCU(Micro Controller Unit; 120), YOLO(You Only Look Once) 가속기(130) 및 통신부(180)를 포함할 수 있다.
카메라(110)는 위험 감시 영역에 대한 영상을 획득하도록 한다. 카메라(110)는 교차로 차량 전용 감지 카메라를 활용할 수 있는데, 이 경우, 야간 및 저조도 환경에서의 사용이 가능하도록 구성될 수 있다. 여기서 위험 감시 영역은 도 4에서와 같이, 교차로나 횡단보도 부근의 교통사고 위험을 예측하기 위한 장소에 해당할 수 있고, 이 경우, 카메라(110)는 신호등에 설치되거나, 교통표지용 포스트를 비롯하여, 지상으로부터 이격되도록 각종 구조물에 설치될 수 있으며, 이에 반드시 한하는 것은 아니고, 도 5에서와 같이, 송전탑이나 변전소 등을 비롯하여 위험 예측이 필요한 다양한 장소에서도 위험 예측에 활용할 수 있음은 물론이다.
MCU(120)는 카메라(110)로부터 제공받은 이미지로부터 사고 발생 판별과 사고 발생 통보를 위한 제어를 수행하고, 나아가서, 위험 예측과 경고를 위한 제어를 수행하도록 할 수 있다. 또한, MCU(120)는 리모컨이나 단말기 또는 특정 장소에 설치되는 조작패널 등과 같은 조작부(150)의 조작에 의한 조작신호를 유선 또는 무선으로 수신받아, 동작의 온(on)이나 오프(off) 또는 정해진 기능 선택 등과 같은 조작신호에 상응하는 동작을 수행하도록 제어할 수 있다.
MCU(120)는 YOLO 가속기(130)에 의해 사고 발생을 판별시, 통신부(180)를 통해서 단말기(1,2)에 위험 감시 영역의 위치 및 사고 발생 사실을 통보하도록 할 수 있다. 여기서, 감시 영역의 위치는 MCU(120)가 미리 식별부호 등을 나타내는 데이터로서 저장하고 있을 수 있다.
YOLO 가속기(130)는 카메라(110)로부터 획득되는 이미지로부터 딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 이용하여 감시대상을 감지하여 인식하고, 인식된 감시대상에 대한 변화를 추적하며, 감시대상의 변화를 분석하여 사고 발생을 판별하도록 하고, 도 3에서와 같은 ASIC(Application Specific Integrated Circuit)로 구현될 수 있으며, 이로 인해 처리 속도 증가와 함께 동작을 위해 네트워크를 반드시 필요로 하지 않을 수 있고, 그럼에도 불구하고, 사고 발생 판별에 대한 신뢰성, 그리고 나아가서 위험 예측에 대한 신뢰성 향상에 기여할 수 있다. 감시대상에 대한 변화의 추적은 예컨대 감시대상의 충돌일 수 있고, 감시대상에서의 불꽃 발생 또는 케이블의 이탈 또는 구조물에서 프레임의 기울기 변화 등일 수 있다.
YOLO 가속기(130)는 도 6에 도시된 바와 같은 시공간 잡음 제거 시스템이 마련될 수 있는데, 이는 CMOS Image Sensor(CIS)의 고정된 패턴의 잡음 제거가 가능하도록 하고, 움직임 검출 기반 시공간 잡음 제거 필터로서 구성되며, 색 공간 변환을 이용한 명암 복원을 가능하도록 할 수 있다. 또한 YOLO 가속기(130)는 사고 발생의 판별 외에도, 카메라(110)로부터 제공되는 이미지로부터 YOLO 알고리즘을 이용하여 감시대상을 인식하고, 인식한 감시대상의 이동방향과 이동속도를 통해서, 감시대상끼리 충돌을 예측하며, 충돌이 예측되면, 후술하게 될 경고부(170)를 동작시키기 위한 제어신호를 출력할 수 있다. YOLO 가속기(130)는 감시대상끼리의 충돌 등과 같은 위험의 예측을 위하여, 도 7에서와 같은 물체 감지 및 인식, 물체 움직임 추적, 그리고 행동분석을 통한 시각, 청각 알림 등을 수행하도록 구성될 수 있고, 이러한 위험 감지에는 신호위반 및 과속 등이 포함될 수 있음은 물론이다. YOLO 가속기(130)는 이러한 동작의 구현을 위해, 일례로 감지인식부(131), 움직임추적부(132) 및 행동분석부(133)를 포함할 수 있다.
감지인식부(131)는 카메라(110)로부터 제공받은 이미지로부터 각 감시대상에 대한 이미지 분류 작업을 위하여, 도 8에서와 같이 이미지 전체에서 각 감시대상이 차지하는 사각 영역을 추출하고, 모든 사각 영역에 대하여 YOLO 알고리즘의 CNN을 통과시켜서 특징을 획득하도록 하고, 사각 영역의 특징들을 분류기(Support Vector Machine: SVM)에 통과시켜 각 영역의 감시대상이 무엇인지를 인식하도록 한다. 이때, 감지인식부(131)는 하나의 이미지가 여러 개의 물체로 구성되어 있는 경우, 각 물체에 대하여 별도의 이미지 분류 작업을 거쳐 연산할 수 있고, YOLO 알고리즘 중에서 가장 핵심이 되는 CNN 연산을 전용 하드웨어로 처리하여 속도를 높이도록 할 수 있다. 도 9는 감지인식부(131)에 의한 이미지 처리 과정을 나타내는데, 24 convolutional layers와 2 fully connected layer의 사용을 나타낸다.
감지인식부(131)는 예컨대, 감시대상이 사람인 것으로 인식되면, 사람의 상단과 하단의 특징점을 YOLO 알고리즘의 CNN을 통과시켜서 획득하도록 하고, 상단과 하단의 특징점 픽셀을 이미지의 색상 경계로부터 각각 찾아내어 서로의 직선 길이를 산출하여 실제 키로서 환산하며, 환산된 키가 만 11세 평균키에 해당하는 150cmm 이하인지를 판단하도록 한다. 감지인식부(131)에 의한 신체치수 산출 방식은 상기한 방식 외에도 공지된 방식을 이용할 수 있음은 물론이다.
감지인식부(131)에서, YOLO 구현에 기본 연산자인 매트릭스(matrix) 연산기 설계를 위하여, YOLO 알고리즘의 기본 연산자인 매트릭스 곱셈누적기(Multiplier-Accumulator, MAC)를 도 10의 (가)에서와 같이 구현할 수 있고, MAC를 도 10의 (나)에서와 같이 격자 모양으로 연결하여 Systolic Array를 구현할 수 있다. 이 때, 매트릭스 연산의 피연산자인 Activation과 Weight를 메모리 버퍼를 통해 공급받을 수 있고, MAC 연산기에 피연산자를 타이밍(Timing)에 맞게 제공해주는 스케줄러를 구현할 수 있다.
움직임추적부(132)는 감지인식부(131)에 의해 인식된 감시대상의 이동방향과 이동속도를 산출하도록 한다. 이러한 감시대상의 이동방향과 이동속도 산출은 알려진 기술이 사용될 수 있음은 물론이다.
행동분석부(133)는 움직임추적부(132)에 의해 산출되는 감시대상의 이동방향과 이동속도를 통해서, 감시대상끼리 설정시간 내에 충돌할지를 판단하고, 감시대상끼리 정해진 시간 내에서 충돌할 것으로 판단되면, 경고부(170)에 의해 경고를 발생시키기 위한 제어신호를 출력하고, 감시대상끼리 충돌하면, 사고 발생으로 판단하여 MCU(120)에 사고 발생 사실의 통보를 위한 신호를 제공하도록 할 수 있다. 따라서, MCU(120)는 행동분석부(133)의 신호를 수신받으면, 수신받은 신호에 해당하는 경보를 통신부(180)에 의한 통신을 통해서 단말기(1,2)에 제공할 수 있다. 여기서, 설정시간은 충돌 예방 등을 고려하여, 3~10초의 범위일 수 있다. 충돌의 판단은 감시대상의 이동경로로부터 연장되는 직선의 교차에 의해 판단될 수 있고, 충돌 예정시간은 감시대상의 이동속도로부터 산출되도록 구성될 수 있는데, 이 역시 공지된 기술이 사용될 수 있음은 물론이다. 한편, 이동경로의 교차 여부는 이동경로의 폭을 적절히 증가시킨 상태에서 판단할 수 있는데, 이는 감지대상의 실제 폭과 방향전환을 고려하기 위함이다. 이러한 이동경로의 폭은 감지대상의 실제 폭이 사용될 수 있고, 이에 한하지 않고, 감지대상이 방향전환을 빈번하게 하거나 신속하게 한다고 판단되는 경우, 그 폭을 실제폭에 대해서 100~300% 범위 내에서 적절히 증가시킬 수 있다.
행동분석부(133)는 감지인식부(131)의 판단에 의해 감시대상이 150cm 이하의 키를 가진 사람인 경우, 설정시간을 50~100% 증가시켜서 보상하고, 보상된 설정시간으로 충돌을 판단하도록 할 수 있다. 이와 같이, 감시대상이 150cm 이하의 키를 가진 경우, 만 11세 이하의 어린이로 판단하고, 판단력이 결핍된 어린이에 대한 위험 예측에 대한 범위를 당기면서 확장시키도록 할 수 있으며, 이로 인해 어린이의 보호에 보다 만전을 기할 수 있도록 한다.
행동분석부(133)는 위험의 예측이 교통사고에 대한 것일 경우, 교통사고분석시스템(TAAS; Traffic Accident Analysis System)으로부터 매년 요일별 교통사고 건수의 통계자료를 제공받아, 일평균 교통사고 건수에 대한 요일별 교통사건 건수에 대한 증감율을 산출하고, 산출된 증감율 만큼 설정시간을 증감시켜서 보상하고, 보상된 설정시간으로 충돌을 판단하도록 할 수 있다. 따라서, 요일별 위험 예측에 대해서 사고발생율의 통계를 적용함으로써, 요일별 특성에 따른 사고 예측을 가능하도록 할 수 있다. 아래의 표 1은 교통사고분석시스템으로부터 제공받은 2019년 교통사고건수를 나타내는데, 이로부터 일별 평균 교통사고건수를 산출하고, 산출된 일별 평균 교통사고건수 대비, 해당 요일의 교통사건건수의 증감율을 아래의 수학식 1에서와 같이, 구한 다음, 이렇게 구한 증감율에 1을 더하여, 설정시간에 곱하게 됨으로써, 설정시간을 보상하도록 한다.
| 요일 | 해당 요일의 교통사고건수 | 일별 평균 교통사고건수 | 일평균 대비 증감율 |
| 일 | 25,658 | 32,800 | 22% |
| 월 | 33,340 | 32,800 | -2% |
| 화 | 34,133 | 32,800 | -4% |
| 수 | 33,615 | 32,800 | -2% |
| 목 | 33,241 | 32,800 | -1% |
| 금 | 36,422 | 32,800 | -11% |
| 토 | 33,191 | 32,800 | -1% |
통신부(180)는 사고 발생시 수습을 위한 기관의 단말기(1,2)와의 통신을 수행하기 위한 것으로서, 이를 위해, Wi-Fi, 블루투스(Bluetooth), 지그비(Zigbee), RFID, UWB, WiHD, 3G, LTE, 5G 또는 Wibro(Wireless Broadband) 등과 같은 다양한 통신방식이 사용될 수 있다. 여기서, 사고 수습을 위한 기관으로서는 소방서, 응급구조대, 응급병원, 경찰서 등을 비롯하여 사고 유형에 따른 적합한 처리 기관일 수 있다. 또한, 단말기(1,2)는 스마트폰(2)이나 태블릿 PC 뿐만 아니라, 노트북이나 데스크탑(1) 등과 같이, 프로그램이나 어플리케이션 등의 구동에 의해 필요한 정보 처리를 수행하고, 무선 통신을 수행하도록 하는 다양한 정보처리 및 통신기기가 사용될 수 있다. 또한 단말기(1,2)는 본 발명에서 제공하는 서비스를 제공받기 위하여, 별도로 제공하는 어플리케이션이나 프로그램 등이 설치될 수 있다.
경고부(170)는 YOLO 가속기(130)를 통해서 예측되는 위험에 따라 경고를 발생시키도록 하는데, YOLO 가속기(130)를 통해서 위험한 것으로 예측되면, 경보를 발생시킴으로써, 감시대상에 대한 주의를 통해 사고 발생을 예방하도록 할 수 있다.
경고부(170)는 예컨대, 본 실시례에서처럼, 위험 감시 영역에서 확인 가능하도록 경고 문구를 외부로 디스플레이하는 경고디스플레이부(171), 위험 감시 영역을 향하여 경고 음성이나 경고음을 출력하는 경고스피커(172), 위험 감시 영역의 바닥을 향하여 레이저광의 출력에 의해, 경고 문구나 경고 도안을 나타내도록 하는 레이저경고부(173) 및 위험 감시 영역의 바닥에 외부로 노출되도록 매립되어 점등 또는 점멸하는 지면경고부(174) 중 일부를 포함할 수 있다. 여기서, 경고디스플레이부(171)는 LCD 디스플레이패널 등이 사용될 수 있다. 또한 지면경고부(174)는 횡단보도의 표시나 그 밖에 다양한 형태로 지면에 매립되어 투명커버에 의해 보호되는 LED 등의 발광소자로 이루어질 수 있다.
경고부(170)를 구성하는 경고디스플레이부(171), 경고스피커(172), 레이저경고부(173) 또는 지면경고부(174)는 외부로부터 공급되는 한전용 전원이나 태양광 전지로부터 생성되는 전원을 배터리에 저장하여 공급받도록 구성될 수 있으며. 이 밖에도 다양한 방식에 의해 동작에 필요한 전원을 공급받도록 구성될 수 있다. 또한, 각각은 유선으로 제어신호를 MCU(120) 등으로부터 제공받거나, 다양한 무선통신방식을 통해 무선으로 제어신호를 MCU(120) 등으로부터 제공받도록 구성될 수 있다.
본 발명에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템(100)은 결함 추출에 의한 결과, 동작 상태, 처리 과정 또는 위험 예측을 위해 사용되는 이미지 등을 디스플레이하기 위하여, 디스플레이부(140)가 마련될 수 있고, 동작에 필요한 각종 데이터 및 프로그램을 저장하여 제공할 수 있도록 메모리부(160)가 마련될 수 있으며, 동작에 필요한 전원의 공급을 위하여 전원공급부가 구성될 수 있다.
이와 같은 본 발명에 따른 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템에 따르면, 인공지능 YOLO 알고리즘이 구현된 가속기(accelerator) 기반의 사물인식 및 추적이 가능한 스마트 카메라를 제공함으로써, 고속 사물 인식 및 추적과 사고 발생 판단을 가능하도록 한다.
또한 본 발명에 따르면, 사용에 대한 제약을 최소화할 수 있으며, 경제적인 시스템의 구축을 가능하도록 한다.
또한 본 발명에 따르면, 사고 발생의 판별에 대한 신뢰성을 높여서 사고 발생의 후속 처리를 신속하게 이루어지도록 할 수 있으며, 이로 인해 인명과 재산상 손실을 최소화할 수 있다.
이와 같이 본 발명에 대해서 첨부된 도면을 참조하여 설명하였으나, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시례에 한정되어서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이러한 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110 : 카메라 120 : MCU
130 : YOLO 가속기 131 : 감지인식부
132 : 움직임추적부 133 : 행동분석부
140 : 디스플레이부 150 : 조작부
160 : 메모리부 170 : 경고부
171 : 경고디스플레이부 172 : 경고스피커
173 : 레이저경고부 174 : 지면경고부
180 : 통신부
130 : YOLO 가속기 131 : 감지인식부
132 : 움직임추적부 133 : 행동분석부
140 : 디스플레이부 150 : 조작부
160 : 메모리부 170 : 경고부
171 : 경고디스플레이부 172 : 경고스피커
173 : 레이저경고부 174 : 지면경고부
180 : 통신부
Claims (5)
- 위험 감시 영역에 대한 영상을 획득하는 카메라;
상기 카메라로부터 제공받은 이미지로부터 사고 발생 판별과 사고 발생 통보를 위한 제어를 수행하는 MCU(Micro Controller Unit);
상기 이미지로부터 딥러닝 기반의 YOLO(You Only Look Once) 알고리즘을 이용하여 감시대상을 감지하여 인식하고, 인식된 감시대상에 대한 변화를 추적하며, 상기 감시대상의 변화를 분석하여 사고 발생을 판별하도록 하는 ASIC(Application Specific Integrated Circuit)로 구현되는 YOLO 가속기;
사고 발생시 수습을 위한 기관의 단말기와 통신을 수행하기 위한 통신부;
위험 감시 영역에서 확인 가능하도록 경고 문구를 외부로 디스플레이하는 경고디스플레이부, 상기 위험 감시 영역을 향하여 경고 음성이나 경고음을 출력하는 경고스피커, 상기 위험 감시 영역의 바닥을 향하여 레이저광의 출력에 의해, 경고 문구나 경고 도안을 나타내도록 하는 레이저경고부 및 상기 위험 감시 영역의 바닥에 외부로 노출되도록 매립되어 점등 또는 점멸하는 지면경고부 중 일부를 포함하는 경고부;
를 포함하고,
상기 MCU는,
상기 YOLO 가속기에 의해 사고 발생을 판별시, 상기 통신부를 통해서 상기 단말기에 상기 위험 감시 영역의 위치 및 사고 발생 사실을 통보하도록 하고,
상기 YOLO 가속기는,
상기 사고 발생의 판별 외에도, 상기 이미지로부터 YOLO 알고리즘을 이용하여 감시대상을 인식하고, 인식한 감시대상의 이동방향과 이동속도를 통해서, 감시대상끼리 충돌을 예측하며, 상기 충돌이 예측되면, 상기 경고부를 동작시키기 위한 제어신호를 출력하고,
상기 YOLO 가속기는,
상기 이미지로부터 각 감시대상에 대한 이미지 분류 작업을 위하여, 상기 이미지 전체에서 각 감시대상이 차지하는 사각 영역을 추출하고, 모든 사각 영역에 대하여 YOLO 알고리즘의 CNN을 통과시켜서 특징을 획득하도록 하고, 상기 사각 영역의 특징들을 분류기(Support Vector Machine: SVM)에 통과시켜 각 영역의 감시대상이 무엇인지를 인식하는 감지인식부;
상기 감지인식부에 의해 인식된 감시대상의 이동방향과 이동속도를 산출하는 움직임추적부; 및
상기 움직임추적부에 의해 산출되는 감시대상의 이동방향과 이동속도를 통해서, 감시대상끼리 설정시간 내에 충돌할지를 판단하고, 상기 감시대상끼리 정해진 시간 내에서 충돌할 것으로 판단되면, 상기 경고부에 의해 경고를 발생시키기 위한 제어신호를 출력하고, 상기 감시대상끼리 충돌하면, 사고 발생으로 판단하여 상기 MCU에 사고 발생 사실의 통보를 위한 신호를 제공하는 행동분석부;
를 포함하고,
상기 감지인식부는,
감시대상이 사람인 것으로 인식되면, 상기 사람의 상단과 하단의 특징점을 YOLO 알고리즘의 CNN을 통과시켜서 획득하도록 하고, 상기 상단과 하단의 특징점 픽셀을 이미지의 색상 경계로부터 각각 찾아내어 서로의 직선 길이를 산출하여 실제 키로서 환산하며, 환산된 키가 만 11세 평균키에 해당하는 150cmm 이하인지를 판단하고,
상기 행동분석부는,
상기 감지인식부의 판단에 의해 감시대상이 150cm 이하의 키를 가진 사람인 경우, 상기 설정시간을 50~100% 증가시켜서 보상하고, 보상된 설정시간으로 상기 충돌을 판단하도록 하는, 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템. - 삭제
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 행동분석부는,
위험의 예측이 교통사고에 대한 것일 경우, 교통사고분석시스템으로부터 매년 요일별 교통사고 건수의 통계자료를 제공받아, 일평균 교통사고 건수에 대한 요일별 교통사건 건수에 대한 증감율을 산출하고, 산출된 증감율 만큼 상기 설정시간을 증감시켜서 보상하고, 보상된 설정시간으로 상기 충돌을 판단하도록 하는, 사고 발생 판별을 통한 사고 처리를 위한 YOLO 기반 모니터링 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200136460A KR102336258B1 (ko) | 2020-10-21 | 2020-10-21 | 사고 발생 판별을 통한 사고 처리를 위한 ｙｏｌｏ 기반 모니터링 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200136460A KR102336258B1 (ko) | 2020-10-21 | 2020-10-21 | 사고 발생 판별을 통한 사고 처리를 위한 ｙｏｌｏ 기반 모니터링 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102336258B1 true KR102336258B1 (ko) | 2021-12-09 |
Family
ID=78866105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200136460A KR102336258B1 (ko) | 2020-10-21 | 2020-10-21 | 사고 발생 판별을 통한 사고 처리를 위한 ｙｏｌｏ 기반 모니터링 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102336258B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935652A (zh) * | 2023-09-14 | 2023-10-24 | 四川国消云科技有限公司 | 一种智慧交通用信息系统集成平台数据管理系统 |
| KR102608705B1 (ko) * | 2022-08-24 | 2023-12-04 | 주식회사 노타 | 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101472300B1 (ko) * | 2014-07-18 | 2014-12-12 | 주식회사 시큐인포 | 다중 영상을 이용한 사건/사고 예방 방법 및 시스템 |
| KR20190089336A (ko) * | 2018-01-22 | 2019-07-31 | 숭실대학교산학협력단 | 영상 내 물체의 이동 속도 측정 장치 및 측정 방법, 상기 방법을 수행하기 위한 기록 매체 |
| KR102051592B1 (ko) * | 2019-06-18 | 2019-12-05 | 포항공과대학교 산학협력단 | 차량 간 통신을 이용한 보행자 보호 방법 및 이를 위한 블랙박스 장치 |
-
2020
- 2020-10-21 KR KR1020200136460A patent/KR102336258B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101472300B1 (ko) * | 2014-07-18 | 2014-12-12 | 주식회사 시큐인포 | 다중 영상을 이용한 사건/사고 예방 방법 및 시스템 |
| KR20190089336A (ko) * | 2018-01-22 | 2019-07-31 | 숭실대학교산학협력단 | 영상 내 물체의 이동 속도 측정 장치 및 측정 방법, 상기 방법을 수행하기 위한 기록 매체 |
| KR102051592B1 (ko) * | 2019-06-18 | 2019-12-05 | 포항공과대학교 산학협력단 | 차량 간 통신을 이용한 보행자 보호 방법 및 이를 위한 블랙박스 장치 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102608705B1 (ko) * | 2022-08-24 | 2023-12-04 | 주식회사 노타 | 도로의 사고 발생 위험을 알리는 안전제어 신호를 생성하는 방법 및 장치 |
| CN116935652A (zh) * | 2023-09-14 | 2023-10-24 | 四川国消云科技有限公司 | 一种智慧交通用信息系统集成平台数据管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11282389B2 (en) | Pedestrian detection for vehicle driving assistance | |
| KR102336258B1 (ko) | 사고 발생 판별을 통한 사고 처리를 위한 ｙｏｌｏ 기반 모니터링 시스템 | |
| US20140307076A1 (en) | Systems and methods for monitoring personal protection equipment and promoting worker safety | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN117902441A (zh) | 乘客运输装置的监测系统、乘客运输装置及其监测方法 | |
| KR101339736B1 (ko) | 교통 안전 경고 시스템 | |
| KR101877294B1 (ko) | 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템 | |
| JP2023502816A (ja) | 現場監視方法及び装置、電子機器、記憶媒体並びにプログラム | |
| CN101388145A (zh) | 道路交通安全自动警示方法及装置 | |
| KR100956978B1 (ko) | 교통사고 유의지역 통합관리 시스템 | |
| KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
| KR102174556B1 (ko) | 차량번호 인식과 인공지능을 이용해 교통정보를 관제하는 영상감시장치 | |
| EP3553461A1 (en) | Classification device, classification method, and program | |
| US11776383B1 (en) | System and method for oncoming vehicle detection and alerts for a waste collection vehicle | |
| KR102043922B1 (ko) | Cctv 분할 운영시스템 및 그 운영방법 | |
| KR102362304B1 (ko) | 사고 감지 및 2차 사고 방지를 위한 교통사고 알림 시스템 | |
| KR20190090221A (ko) | 지능형 안전 장치 | |
| CN114170272A (zh) | 一种云端环境下基于感知传感器的事故报告、储存方法 | |
| KR102336261B1 (ko) | Ｙｏｌｏ 기반 위험 예측 스마트 카메라 시스템 | |
| Thevendran et al. | Deep Learning & Computer Vision for IoT based Intelligent Driver Assistant System | |
| CN113643508B (zh) | 防灾紧急通道监控方法、系统、设备及存储介质 | |
| CN113561982A (zh) | 一种驾驶员昏迷处理方法、装置及可读存储介质 | |
| KR102538548B1 (ko) | 딥러닝 기반의 객체 인식 및 모니터링 시스템 | |
| KR101867869B1 (ko) | 가로등 기반 재난 대응 시스템 | |
| KR102518530B1 (ko) | 도로 상황 안내 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |