KR102541212B1 - 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 - Google Patents
인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 Download PDFInfo
- Publication number
- KR102541212B1 KR102541212B1 KR1020220147778A KR20220147778A KR102541212B1 KR 102541212 B1 KR102541212 B1 KR 102541212B1 KR 1020220147778 A KR1020220147778 A KR 1020220147778A KR 20220147778 A KR20220147778 A KR 20220147778A KR 102541212 B1 KR102541212 B1 KR 102541212B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- image recognition
- learning
- image
- recognition
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims abstract description 26
- 238000010276 construction Methods 0.000 claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 17
- 230000002159 abnormal effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 206010000372 Accident at work Diseases 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000034994 death Effects 0.000 description 4
- 231100000517 death Toxicity 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0269—System arrangements wherein the object is to detect the exact location of child or item using a navigation satellite system, e.g. GPS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Emergency Management (AREA)
- Child & Adolescent Psychology (AREA)
- Image Analysis (AREA)
- Radar, Positioning & Navigation (AREA)
Abstract
본 발명은 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼에 관한 것으로, 보다 상세하게는, 카메라 모듈로부터 건설 또는 산업현장 주변 영상촬영 데이터를 수신하는 영상데이터수신부와; 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하여 탐지하는 CNN기반 객체인식부 및 상기 CNN기반 객체인식부로부터 탐지된 사람객체가 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 노출되는 경우 경광등 또는 경고알람을 발생하는 이벤트정보발생부를 포함하는 영상인식시스템과; 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하는 오탐·미탐분류부, 상기 오탐·미탐분류부로부터 수신된 오탐 또는 미탐 분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습시키는 재학습부, 상기 재학습부로부터 생성된 재학습 데이터 셋을 온라인 실시간으로 상기 CNN기반 객체인식부로 업로드시키는 학습모델업데이트부 및 상기 영상인식시스템과 외부 서버 또는 관리자단말기를 포함하는 외부장치와의 통신을 위한 LTE통신부를 포함하는 AI영상인식플랫폼으로 구성되는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼에 관한 것이다.
Description
본 발명은 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼에 관한 것으로, 보다 상세하게는, 카메라 모듈로부터 건설 또는 산업현장 주변 영상촬영 데이터를 수신하는 영상데이터수신부와; 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하여 탐지하는 CNN기반 객체인식부 및 상기 CNN기반 객체인식부로부터 탐지된 사람객체가 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 노출되는 경우 경광등 또는 경고알람을 발생하는 이벤트정보발생부를 포함하는 영상인식시스템과; 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하는 오탐·미탐분류부, 상기 오탐·미탐분류부로부터 수신된 오탐 또는 미탐 분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습시키는 재학습부, 상기 재학습부로부터 생성된 재학습 데이터 셋을 온라인 실시간으로 상기 CNN기반 객체인식부로 업로드시키는 학습모델업데이트부 및 상기 영상인식시스템과 외부 서버 또는 관리자단말기를 포함하는 외부장치와의 통신을 위한 LTE통신부를 포함하는 AI영상인식플랫폼으로 구성되는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼에 관한 것이다.
한국건설산업연구원이 2020년 9월에 발간한 OECD 국가 산재 사망사고 실태 비교·분석보고서에 따르면 2017년 기준 한국의 노동자 10만명에 3.61명 꼴로 산재 사망자가 발생하고 있는 것으로 나타났다.
특히, OECD 회원국 평균 산재사망률은 10만명 기준 2.43명으로 한국(3.61)은 캐나다(5.84), 터키(5.17, 2016년기준), 칠레(4.04), 룩셈부르크(3.69)에 이어 다섯 번째로 높을 뿐만 아니라, 인구 5천만명 이상이면서 1인당 국민소득이 3만 달러를 넘는 ‘3050클럽’의 산업재해 사고 사망자 수는 한국(3.61)은 일본(1.50), 미국(3.36), 영국(0.88), 프랑스(2.18), 독일(1.03), 이탈리아(2.10)으로 한국이 1위를 차지하고 있으며, 전체적으로 산재사망률은 감소하는 추세이지만 한국은 타 국가에 비해 산재사망률은 높은편인 실정이다.
<OECD 회원국 전체 산업근로자 10만명당 사고사망자 수>
<한국건설산업연구원(2020)>
또한, 2020년 고용노동부에서 발표한 산업재해 발생현황에 따르면 발생건수는 92,383건으로 나타났으며, 업종별 재해자를 살펴보면 기타의 사업을 제외하고 건설업이 24,617건(전체의 26.6%)으로 가장 높은 것으로 나타났고, 제조업이 23,127건(전체의 25.0%)으로 전체 산업현장에서 51.6% 를 차지하고 있다.
< 업종별 재해자 현황 >
사망자는 건설업(567명, 27.5%), 제조업(469명, 22.7%)에서 가장 많이 발생하였으며, 특히, 5~49인 제조업(249명)과 건설사업장(225명)에서 가장 많이 발생하고 있는 것으로 나타났다.
< 업종별 사망자 현황 >
또한, 상기와 같은 전체 산업재해 중 51% 이상이 재래형 재해(떨어짐/넘어짐/끼임)로 기본적인 안전수칙 및 안전작업방법 미준수에 의해 발생하고 있는 것으로 나타났다.
< 재해 유형별 사망사고 발생현황 >
참고로 상기 재해 유형별 사망사고 발생현황 중, 산업현장 건설기계 충돌 및 협착 사고 사례는 [도 1] 내지 [도 2]에 나타난 바와 같이, 굴삭기, 덤프트럭, 지개차, 컨테이너 등의 중장비와의 충돌 및 협착이 대표적이다.
아울러, 상기와 같은 산업재해로 인한 직접손실액(산재보상금 지급액)은 2021년 기준 5,996,819백만원으로 전년대비 8.45% 증가하여, 직간접손실을 포함한 경제적 손실 추정액은 29,984,095백만원으로 전년대비 8.45%가 증가하였는데, 이는 2021년도 경기도 전체예산(28조 7,925억원) 보다 높은 수준으로 국가 GDP의 1.5% 수준에 달하고 있다.
상기와 같이, 지속적으로 발생되는 산업재해 안전사고를 예방하기 위하여 정부에서도 다양한 정책을 시행하고 있는데, ‘위험의 외주화’ 방지를 비롯해 산업 현장의 안전규제를 대폭 강화한 산업안전보건법(산안법) 개정법이 2022년 1월 27일 시행되고 있고, 근로자가 사망하거나 사고를 당했을 때 경영진을 징역형에 처하도록 하고, 징벌적 손해배상제도도 도입하여, 사업주와 법인 등이 고의 또는 중대한 과실로 안전 및 보건 확보의무를 위반하여 중대재해 발생 및 손해를 입힌 경우 손해액의 5배까지 배상책임을 지도록 하는 중대재해처벌법이 2022 01. 27.시행되고 있다.
그러나, 건설 및 산업현장에서는 각종 건설기계가 많이 사용되기 때문에 도처에 재해 발생 요소가 잠재되어 있고, 건설현장은 수많은 공정이 서로 연계되어 진행되므로 전 단계의 공정이 부실하면 다음 공정에 즉각적인 영향을 미치게 되므로 잠재적인 위험요소들이 복합되어 대규모의 재해가 일시에 일어나게 되는 특징을 가지고 있어 건설현장의 산업재해 감소는 매우 어려운 실정이다.
특히, 산업현장에서는 자재의 이동, 굴착 등 작업의 용이성과 생산성 향상을 위해 다양한 건설기계들, 즉, 지게차, 굴삭기, 덤프트럭 등이 다양한 산업현장과 건설현장에 사용되고 있는데, 이들 건설장비는 작업자들과 함께 운용되는 협력 작업이 많기 때문에 장비운용 미숙, 부주의 또는 사각지대 미인지로 인한 인명사고가 빈번하게 발생하므로 건설기계 장비의 안전시스템 개발로 사고방지를 위한 기술개발이 필요하다.
이에 따라, 현재 국내 산업현장에는 [도 3]과 같이, 건설장비에 후방카메라 및 충돌방지봉을 부착하고, 신호수를 배치하여 충돌 및 협착사고를 예방하도록 노력하고 있으나, 중장비 주변에는 작업자와 신호수가 동시작업하기 때문에 항상 위험에 노출되어 있고, 대부분 신호수나 측량원이 충돌이나 협착 사고가 여전히 발생하고 있다.
따라서, 최근에는 산업현장에서의 중장비로 인한 작업자의 충돌 안전사고 위험을 방지하기 위한 다양한 접근 경보장치가 개발되어 사용되고 있는데, 이들은 각종 센서를 이용하는 태그 기반과 비태그 기반의 기술로 크게 구분되며 다양한 기술이 반영된 제품이 개발 상용화 판매되고 있다.
상기 태그 기반기술은 중장비와 작업자 간의 거리 측정을 위하여 차량과 작업자가 직접 전파 송수신이 가능한 센서 태그를 보유하는 방식으로 태그의 전파 송수신 방식에 따라 단방향 태그 및 양방향 태그 방식으로 구분되고, 양방향 태그방식으로 주로 사용되는 센서는 대표적으로 RF, UWB 둥이 있으며, 센서에 수신되는 전파세기(RSSI) 및 전파 도달시간(TOA)을 측정하여 거리로 환산하는 방식이 사용되고 있는데, 주로 RF 방식의 접근경보 제품이 주류를 이루고 있으나, 측정 거리 정확도, 균일도 면에서 보다 성능이 우수한 UWB 방식의 제품이 개발되어 상용화되고 있다.
또한, 상기 단방향 태그방식에는 RFID 태그를 이용하는 PASSIVE 방식의 제품이 있는데, 차량측에는 RFID READER를 설치하고, 보행자용 태그는 지향성의 PASSIVE형 RFID 태그를 소지하는 방식으로 이 방식의 제품은 양방향 태그 방식에 비하여 거리인식 오차 커서 제품위 신뢰성이 떨어지는 문제점이 있었다.
이에 비하여, 상기 비태그 기반 접근경보는 비태그 기반의 카메라, 초음파와 같은 단순한 센서가 사용되고 있고, 비태그 기반의 센서 자체 특성과 운용면에서 제한적 기능의 한계로 무선전파 신호를 이용하는 레이다와 광학기술을 이용한 라이다 제품이 개발되고 있으며, 최근에는 AI 기술의 발전으로 카메라를 이용한 객체 영상인식 제품도 개발되고 있다.
특히, 상기 AI 영상인식 시스템을 기반으로 건설장비와 작업자의 위험상황을 관리하고 제어하기 위한 종래 기술들을 살펴 보면, 한국등록특허 10-1808587(등록일자 2017년12월07일)에 360도 회전가능하고 상, 하, 좌, 우 및 줌 기능이 내장된 PTZ(Pan/Tilt/Zoom) 카메라 또는 고정형 카메라를 포함하여 구성되는 영상입력부와, 상기 영상입력부로부터 촬영된 영상이 미리 설정된 이상상황 알고리즘에 따라 침입, 군집, 배회, 유기, 출현, 출입, 월담. 피플카운트, 쓰러짐, 역주행, 번호인식으로부터 선택되는 하나의 이상상황에 해당하는지 여부를 감지하는 이상상황감지부와, 상기 이상상황감지부로부터 이상상황으로 감지되는 경우 영상전처리과정, 객체추출영상생성과정, 객체분석과정을 통하여 객체인식을 수행하되, 상기 객체분석과정은 상기 객체추출영상생성과정에서 추출된 객체에 대하여 이상상황에 따라 Haar 알고리즘, HOG 알고리즘 또는 SURF 알고리즘을 이용하여 엣지패턴추출을 수행하고, 딥러닝 알고리즘을 통해 누적 저장되는 학습된 데이터와의 패턴 매칭을 통해 객체인식판별을 수행하는 객체인식부와, 상기 객체인식부로부터 객체인식된 객체의 좌표의 변화를 분석하여 상기 촬영된 영상내에 해당 객체의 이동경로 또는 이동방향을 예측하거나, 해당 객체가 상기 촬영된 영상의 센터에 위치되도록 추적을 수행하는 객체추적부와, 상기 영상입력부로부터 촬영된 영상을 디스플레이 및 모니터링함과 동시에 상기 영상입력부, 이상상황감지부, 객체인식부와 및 객체추적부를 설정하고 제어하는 통합관제부를 포함하여 구성되는 것을 특징으로 하는 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템이 개발된바 있다.
또한, 한국등록특허 10-2185859(등록일자 2020년11월26일)에는 영상 데이터로부터 사람 객체를 인식하고, 해당 사람 객체를 프레임 단위로 추적하는 딥러닝을 통한 객체 추적장치에 있어서, 카메라 모듈로부터 상기 영상 데이터를 수신하는 영상 데이터 수신부; 수신된 상기 영상 데이터를 리사이징하고, 빛의 영향을 감소시키는 전처리부; 딥러닝 기반의 객체인식 학습을 통해서 전처리가 완료된 영상 데이터에서 사람 객체를 인식하고, 인식된 사람객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하는 객체 인식부; 영상 데이터에서 제1 프레임 부분에서 박스화된 사람 객체와 상기 제1 프레임에 후속하는 제2 프레임 부분에서 박스화된 사람 객체의 데이터 일치 여부를 연산하여, 설정 일치도 이상의 일치도를 보이는 박스를 동일한 사람객체로 인식하는 연산부; 상기 연산부에서 동일한 사람 객체로 인식된 박스의 상기 제1 프레임에서의 위치와 상기 제2 프레임의 위치를 근거로 하여, 해당 박스의 사람 객체의 이동 방향을 측정하는 이동 방향 측정부; 상기 이동 방향 측정부로부터 측정된 사람 객체의 이동 방향을 누적 수집하여, 해당 사람 객체의 이동 경로를 추출하고, 추출된 이동 경로를 통해서 길의 형상에 대한 좌표 정보를 저장하는 좌표 정보 생성부; 관리자 단말로부터 이동 인구를 측정하고자 하는 좌표 정보를 수신하는 좌표 정보 수신부; 및 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되지 않는 경우 이동 인구를 0으로 산출하고, 상기 좌표 정보 수신부로부터 수신된 좌표 정보가 상기 길에 대한 좌표 정보에 포함되는 경우 해당 좌표를 지나고, 해당 좌표에서의 상기 길의 연장 방향과 수직한 직선을 설정하여 설정된 직선을 지나는 박스들을 근거로 이동 인구를 산출하는 이동 인구 산출부를 포함하고, 상기 딥러닝 기반의 객체인식 학습은 YOLO(You Only Look Once)를 통해서 실시간으로 수행되는 것을 특징으로 하는 객체 추적 장치가 개발되어 있다.
또한, 한국등록특허 10-2206662(등록일자 2021년01월18일)에는 항만 컨테이너 터미널에서 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 각 지역에 설치된 다수의 카메라; 및 상기 다수의 카메라 영상 데이터를 입력받아 딥러닝 모듈에 의해 학습 데이터에 따라 카메라 영상내 객체들을 검출하고 문자를 인식하며, 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code) 문자 인식, 컨테이너 데미지인식, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자, 역주행 차량, Yard 작업자 안전보호구/안전조끼 착용 여부 검출, 양·적하 장비 위치를 검출하고, 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 미들웨어로 전송하는 FPGA 기반 임베디드 비전 시스템(TLEM)을 포함하며, 상기 FPGA 기반 임베디드 비전 시스템(TLEM)은 Non-GPU 기반의 영상의 객체들을 검출하고 차량 번호와 컨테이너번호(ISO code)의 문자를 인식하는 딥러닝 모듈을 구비하는, 항만 컨테이너 터미널에서 차량 출입 관리와 객체를 인식하는 비전 카메라 시스템이 개발되어 있다.
또한, 한국등록특허 10-2263512(등록일자 2021년06월04일)에는 영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서, 적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부; 적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부; 상기 영상 데이터를 분석하는 영상 데이터 처리부; 상기 비영상 데이터를 분석하는 비영상 데이터 처리부; 상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되, 상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하며, 상기 비영상 데이터 처리부는 상기 비영상 데이터를 분석함에 있어서, 상기 비영상 데이터의 측정값이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트 수를 고려하여, 비정상 상황을 판단하고, 상기 영상 데이터 처리부는 상기 취득된 영상 데이터로부터 객체를 인식하는 기능을 처리하는 객체 처리부; 사용자로 하여금 영상 데이터의 머신러닝에 관련된 기능을 제공하는 사용자 학습설정부를 더 포함하고, 상기 객체 처리부는 상기 영상 데이터로부터 객체를 추출하되, 위조 여부를 판단하는 객체 진위 식별부; 상기 영상 데이터로부터 객체의 상태를 추정하는 객체 상태 인식부; 상기 영상 데이터로부터 객체의 행위 이벤트를 추정하는 객체 행위 인식부를 더 포함하며, 상기 객체 진위 식별부는 상기 영상 데이터로부터 이미지를 추출하고, 상기 추출된 이미지를 구성하는 픽셀들의 색상을 분석하고, 상기 분석된 색상들로부터 원하는 색상을 추출한 뒤, 진품 판단 알고리즘을 통해, 상기 객체가 진품일 확률을 도출하되, K-mean Clustering 알고리즘을 통한 색상 비율을 추출하기 위해 데이터간 유사도 기반 군집화(clustering) 알고리즘으로 군집(cluster)간 분산을 최소화하고, 군집화된 색상에서 품목 내 색상 비율을 식별하고, OpenCV를 통해 색상 비율을 추출할 수 있고, 진품에 대한 색상 배율을 학습시키고, 그 결과로 추출된 색상 비율에 따라 진품과 가품 이미지의 차이를 구분할 수 있으며, DCGAN(Deep Convolution Generative Adversarial Network) 알고리즘을 이용하여 복제품 이미지를 생성하고, 표면 재질 차이를 이용하여 진품모델과 가품모델의 상호간 피드백 및 학습을 통해 진품판독을 위한 학습 모델에 해당하는 불법복제품 판독 알고리즘을 적용함으로써, 객체가 진품일 확률을 도출하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합지능형 영상분석 플랫폼 시스템이 개발되어 있다.
그러나, 상기한 종래의 기술들은 영상 데이터로부터 객체인식 및 추적을 통하여 차량 출입 관리 및 작업자 안전관리 측면에서는 긍정적이기는 하지만, 산업현장 특성상 다양한 물체(기둥)에 의한 오인식 문제, 건설현장의 특성상 척박한 외부환경 요인으로 인한 객체에 대한 미탐 또는 오탐 발생, 다양한 환경에서의 자동 학습데이터셋 수집 및 업데이트의 어려움 등의 문제로 객체탐지 정확도가 부족한 치명적인 문제점이 있었다.
이에 따라, 본 발명자들은 기존 영상인식 접근경보시스템(Proximity Warning System)이 가지고 있는 한계를 극복하고, 건설장비 조종원의 가시성을 향상시켜 장비 주변의 사각지대를 실시간으로 정확히 모니터링 할 수 있도록 산업현장에 적합한 내구성 확보하고 실시간성과 정확성을 확보하면서 전방위 탐지가 가능한 인공지능기반 영상객체탐지, 위험상황 및 장비 Fleet 관리가 가능한 통신, 인공지능 학습데이터셋 구축이 가능한 인공지능 기반의 영상인식 플랫폼을 개발하고 본 발명을 완성하였다.
본 발명은 상기 종래 문제점들을 해결하고자 하는 것으로, 카메라 모듈로부터 건설 또는 산업현장 주변 영상촬영 데이터를 수신하는 영상데이터수신부와; 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하여 탐지하는 CNN기반 객체인식부 및 상기 CNN기반 객체인식부로부터 탐지된 사람객체가 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 노출되는 경우 경광등 또는 경고알람을 발생하는 이벤트정보발생부를 포함하는 영상인식시스템과; 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하는 오탐·미탐분류부, 상기 오탐·미탐분류부로부터 수신된 오탐 또는 미탐 분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습시키는 재학습부, 상기 재학습부로부터 생성된 재학습 데이터 셋을 온라인 실시간으로 상기 CNN기반 객체인식부로 업로드시키는 학습모델업데이트부 및 상기 영상인식시스템과 외부 서버 또는 관리자단말기를 포함하는 외부장치와의 통신을 위한 LTE통신부를 포함하는 AI영상인식플랫폼으로 구성되는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼을 제공하는 것을 해결하고자 하는 과제로 한다.
본 발명은 상기 과제를 해결하기 위하여, 카메라 모듈로부터 건설 또는 산업현장 주변 영상촬영 데이터를 수신하는 영상데이터수신부와; 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하여 탐지하는 CNN기반 객체인식부 및 상기 CNN기반 객체인식부로부터 탐지된 사람객체가 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 노출되는 경우 경광등 또는 경고알람을 발생하는 이벤트정보발생부를 포함하는 영상인식시스템과; 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하는 오탐·미탐분류부, 상기 오탐·미탐분류부로부터 수신된 오탐 또는 미탐 분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습시키는 재학습부, 상기 재학습부로부터 생성된 재학습 데이터 셋을 온라인 실시간으로 상기 CNN기반 객체인식부로 업로드시키는 학습모델업데이트부 및 상기 영상인식시스템과 외부 서버 또는 관리자단말기를 포함하는 외부장치와의 통신을 위한 LTE통신부를 포함하는 AI영상인식플랫폼으로 구성되는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼을 과제의 해결수단으로 한다.
상기 CNN기반 객체인식부에서 상기 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황은 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에 가상경계선 또는 가상구역을 설정하여 상기 가상경계선 또는 가상구역 내에서 출현, 출입, 쓰러짐을 포함하는 것을 과제의 해결수단으로 한다.
상기 재학습 데이터 셋은 상기 오탐 또는 미탐 분류별로 영상촬영 데이터에 오토라벨링툴(Auto -Labeling Tool)로 라벨링 후, 해당 영상촬영 데이터와 함께 저장되고 온라인 실시간으로 업로드되는 것을 과제의 해결수단으로 한다.
상기 LTE통신부와 통신되는 외부장치에는 장비가동시간, 이동위치 Tracking, 장비 Down-Time을 포함하는 장비 Fleet 관리시스템이 더 포함되어 장비 Fleet 관리시스템이 상기 CNN기반 객체인식부와 연동되어 상기 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 업데이트 반영되는 것을 과제의 해결수단으로 한다.
상기 LTE통신부와 통신되는 외부장치에는 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수집하여 위험 Zone을 지도에 표시하는 현장위험지도 디스플레이부가 더 포함되는 것을 과제의 해결수단으로 한다.
상기 LTE통신부와 통신되는 외부장치에는 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 바탕으로 장비작업경로 및 작업자 동선을 추적하기 위한 장비별 및 작업자별 위험 이벤트 모니터링 디스플레이부가 더 포함되는 것을 과제의 해결수단으로 한다.
상기 LTE통신부는 장비 또는 작업자 위치파악 및 추적을 위하여 GPS가 부착되는 것을 과제의 해결수단으로 한다.
상기 외부 서버 또는 관리자단말기는 상기 CNN기반 객체인식부로부터 탐지된 위험반경 내 근로자 접근시 이벤트 이미지 또는 클립영상을 포함하는 이벤트정보를 실시간 수신받아 업로드 되는 것을 과제의 해결수단으로 한다.
상기 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼은, 객체 탐지 정확도 88%(사람, F1 Score 기준), 최대인식거리 11m, 탐지범위 180도, 고온신뢰성 60℃, 위험요인 인식 속도 0.5s인 것을 과제의 해결수단으로 한다.
본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼은, 카메라 모듈로부터 건설 또는 산업현장 주변 영상촬영 데이터를 수신하는 영상데이터수신부와; 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하여 탐지하는 CNN기반 객체인식부 및 상기 CNN기반 객체인식부로부터 탐지된 사람객체가 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 노출되는 경우 경광등 또는 경고알람을 발생하는 이벤트정보발생부를 포함하는 영상인식시스템과; 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하는 오탐·미탐분류부, 상기 오탐·미탐분류부로부터 수신된 오탐 또는 미탐 분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습시키는 재학습부, 상기 재학습부로부터 생성된 재학습 데이터 셋을 온라인 실시간으로 상기 CNN기반 객체인식부로 업로드시키는 학습모델업데이트부 및 상기 영상인식시스템과 외부 서버 또는 관리자단말기를 포함하는 외부장치와의 통신을 위한 LTE통신부를 포함하는 AI영상인식플랫폼으로 구성되어, 산업 또는 건설현장의 다양한 환경에서 객체인식 정확도 확보, 위험상황 이벤트 신뢰성향상 및 지속가능 학습데이터 수집 및 재학습을 통하여 충돌 및 협착 사고 예방에 획기적인 효과가 있다.
도 1은 굴삭기, 덤프트럭, 지개차, 컨테이너 중장비와의 충돌 및 협착사례
도 2는 굴삭기, 덤프트럭, 지개차, 컨테이너 중장비와의 충돌 및 협착사례
도 3은 건설장비 충돌 및 협착사고를 예방 사례
도 4는 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 전체 모식도
도 5는 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 전체 모식 상세도
도 6은 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 전체 흐름도
도 7은 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 재학습부 프로세스도
도 8은 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 재학습부 구성도
도 9은 본 발명의 정탐, 오탐 또는 미탐 분류 사례도
도 10은 영상촬영 데이터 오토라벨링툴(Auto -Labeling Tool)에 의한 재학습 데이터셋 사례도
도 11은 본 발명에 추가되는 장비 Fleet 관리시스템 사례도
도 12는 본 발명에 추가되는 현장위험지도 디스플레이부 사례도
도 13은 장비별 및 작업자별 위험 이벤트 모니터링 사례도
도 14은 본 발명의 영상인식 안전통합관제 플랫폼 테스트 및 성능규격도
도 2는 굴삭기, 덤프트럭, 지개차, 컨테이너 중장비와의 충돌 및 협착사례
도 3은 건설장비 충돌 및 협착사고를 예방 사례
도 4는 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 전체 모식도
도 5는 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 전체 모식 상세도
도 6은 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 전체 흐름도
도 7은 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 재학습부 프로세스도
도 8은 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 재학습부 구성도
도 9은 본 발명의 정탐, 오탐 또는 미탐 분류 사례도
도 10은 영상촬영 데이터 오토라벨링툴(Auto -Labeling Tool)에 의한 재학습 데이터셋 사례도
도 11은 본 발명에 추가되는 장비 Fleet 관리시스템 사례도
도 12는 본 발명에 추가되는 현장위험지도 디스플레이부 사례도
도 13은 장비별 및 작업자별 위험 이벤트 모니터링 사례도
도 14은 본 발명의 영상인식 안전통합관제 플랫폼 테스트 및 성능규격도
이하에서는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예 및/또는 도면을 통하여 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예 및/또는 도면에 한정되지 않는다.
먼저, [도 4] 내지 [도 5]에 도시된 바와 같이, 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼은, 카메라 모듈로부터 건설 또는 산업현장 주변 영상촬영 데이터를 수신하는 영상데이터수신부(101)와; 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하여 탐지하는 CNN기반 객체인식부 및 상기 CNN기반 객체인식부로부터 탐지된 사람객체가 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 노출되는 경우 경광등 또는 경고알람을 발생하는 이벤트정보발생부를 포함하는 영상인식시스템(102)과; 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하는 오탐·미탐분류부, 상기 오탐·미탐분류부로부터 수신된 오탐 또는 미탐 분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습시키는 재학습부, 상기 재학습부로부터 생성된 재학습 데이터 셋을 온라인 실시간으로 상기 CNN기반 객체인식부로 업로드시키는 학습모델업데이트부 및 상기 영상인식시스템과 외부 서버 또는 관리자단말기를 포함하는 외부장치와의 통신을 위한 LTE통신부를 포함하는 AI영상인식플랫폼(103)으로 구성된다.
이때, 상기 CNN기반 객체인식부에서 상기 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황은 상기 영상데이터수신부(101)로부터 수신된 영상촬영 데이터에 가상경계선 또는 가상구역을 설정하여 상기 가상경계선 또는 가상구역 내에서 출현, 출입, 쓰러짐을 포함할 수 있으며, 상기 가상경계선 또는 가상구역의 설정은 상기 CNN기반 객체인식부에서 수시로 변경하거나 설정할 수 있다.
보다 구체적으로, 본 발명의 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼의 작동 흐름도를 보면, [도 6]에 도시한 바와 같이, ① 상기 영상데이터수신부(101)로부터 수신된 영상촬영 데이터에서 ② CNN기반 객체인식부에 의하여 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하여 탐지하고, ③ 탐지된 사람객체가 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 노출되는 경우 경광등 또는 경고알람을 발생하는 이벤트정보발생부를 포함하는 영상인식시스템(102)에 추가하여, 경광등 또는 경고알람을 발생하기 전에, 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하고, 상기 오탐·미탐분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습하여 상기 이벤트정보발생부로 송신하여 보다 정확한 영상인식에 의한 이벤트정보를 탐지할 수 있게 된다.
특히, 상기 YOLO(You Only Look Once)를 통해 실시간으로 재학습하는 프로세스는 [도 7] 내지 [도 8]에 도시한 바와 같이, 상기 영상데이터수신부(101)로부터 수신된 영상촬영 데이터를 이미지 리사이징하여 전처리하는 단계(S11)와; 상기 전처리단계(S11)에서 리사이징된 이미지를 YOLO4 및 TensorRT에 의하여 개체인식하고 Bbox생성하여 추적하는 객체탐지단계(S12); 상기 객체탐지단계(S12)에서 탐지된 객체가 위험상황에 해당하는지 추론하는 1차객체인식단계(S13)와; 상기 1차객체인식단계(S13)에서 추론된 객체가 위험상황에 해당하는 경우 이벤트정보발생부에서 이벤트정보발생시키는 단계(S14)와; 상기 1차객체인식단계(S13)에서 추론된 객체가 위험상황에 해당하지 않는 경우 이벤트정보가 아닌 것으로 추론하는 2차객체인식단계(S15)를 거쳐 재학습하게 된다.
한편, 상기 재학습 데이터 셋은 상기 오탐 또는 미탐 분류별로 영상촬영 데이터에 오토라벨링툴(Auto -Labeling Tool)로 라벨링 후, 해당 영상촬영 데이터와 함께 저장되고 온라인 실시간으로 업로드된다.
즉, [도 8] 내지 [도 9]에 도시된 바와 같이, 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하는 오탐·미탐분류부, 상기 오탐·미탐분류부로부터 수신된 오탐 또는 미탐 분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습시키는 재학습부, 상기 재학습부로부터 생성된 재학습 데이터 셋을 상기 오탐 또는 미탐 분류별로 영상촬영 데이터에 오토라벨링툴(Auto -Labeling Tool)로 라벨링 후, 해당 영상촬영 데이터와 함께 저장되고 온라인 실시간으로 업로드한다.
여기서, YOLO는 객체 검출(Object Detection)을 위한 딥러닝 기반의 지도학습인 알고리즘 중 하나이다. You Only Look Once의 줄임말로 말 그대로 단 한 번만 본다는 의미를 지니며 이미지를 단일 회귀로 물체의 분류와 위치를 판단한다. YOLO는 CNN 구조를 기반으로 하며 네트워크 구조(networkarchitecture)는 GoogLeNet 모델을 기반으로 하며 24개의 Convolutional layers와 2개의 Fully Connected layers로 구성되어 있다.
다음의 그림은 YOLO의 구조를 나타낸 것이다. YOLO로 이미지를 처리하는 방법은 입력 이미지의 크기를 조정하고, 이미지에서 컨볼루션 네트워크를 실행하고, 모델의 신뢰도에 따라 결과 탐지를 임계값화 한다. 바운딩 박스는 x, y, w, h 및 Confidence Score까지 5개의 요소로 구성된다. (x, y)는 그리드 셀의 경계를 기준으로 바운딩 박스의 중심 좌표이다. (w, h)는 바운딩 박스의 너비와 높이를 뜻한다. Confidence Score 은 예측한 바운딩 박스와 모든 정답 바운딩 박스 간의 IOU를 나타낸다. 각 그리드 셀은 또한 C 조건부 클래스 확률, Pr(Classi|Object)을 예측한다. 이러한 확률은 객체가 포함된그리드 셀에서 조건화된다. 바운딩 박스 B의 수와 관계없이 그리드 셀당 클래스 확률의 한 세트만 예측한다. 테스트 시간에는 각 상자에 대한 클래스별 신뢰 점수를 제공하는 조건부 클래스 확률을 곱한다. Confidence Score은 (1)의 식으로 나타낸다
이 점수는 해당 클래스가 상자에 나타날 확률과 예측 상자가 개체에 얼마나 잘 적합한지 인코딩한다. YOLO의 시스템은 탐지를 회귀 문제로 모델링한다. 이미지를 S × S 그리드로 나누고 각 그리드 셀에 대해 B 경계 상자, 해당 상자에 대한 신뢰도 및 C 클래스 확률을 예측한다. 이러한 예측은 S ×S × (B ≤ 5 + C) 텐서로 인코딩된다.
본 발명에서는 YOLO의 네번째 버전인 YOLOv4를 이용하는데, 이는 속도가 빠르고 실시간 검출가능하며 정확도가 많이 개선되어 성능 또한 준수한 장점이 있다.
아울러, 상기 LTE통신부와 통신되는 외부장치에는 [도 10]에 도시한 바와 같이, 장비가동시간, 이동위치 Tracking, 장비 Down-Time을 포함하는 장비 Fleet 관리시스템이 더 포함되어 장비 Fleet 관리시스템이 상기 CNN기반 객체인식부와 연동되어 상기 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 업데이트 반영될 수 있다.
또한, 상기 LTE통신부와 통신되는 외부장치에는 [도 11]에 도시한 바와 같이, 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수집하여 위험 Zone을 지도에 표시하는 현장위험지도 디스플레이부가 더 포함된다.
또한, 상기 LTE통신부와 통신되는 외부장치에는 [도 12]에 도시한 바와 같이, 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 바탕으로 장비작업경로 및 작업자 동선을 추적하기 위한 장비별 및 작업자별 위험 이벤트 모니터링 디스플레이부가 더 포함될 수 있다.
뿐만 아니라, 상기 LTE통신부는 장비 또는 작업자 위치파악 및 추적을 위하여 GPS가 부착된다.
또한, 상기 외부 서버 또는 관리자단말기는 상기 CNN기반 객체인식부로부터 탐지된 위험반경 내 근로자 접근시 이벤트 이미지 또는 클립영상을 포함하는 이벤트정보를 실시간 수신받아 업로드되도록 구성할 수도 있다.
특히, 본 발명에 따른 상기 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼은, [도 14]에 도시한 바와 같이, 객체 탐지 정확도 88%(사람, F1 Score 기준), 최대인식거리 11m, 탐지범위 180도, 고온신뢰성 60℃, 위험요인 인식 속도 0.5s이다
101 : 영상데이터수신부
102 : 영상인식시스템
103 : AI영상인식플랫폼
102 : 영상인식시스템
103 : AI영상인식플랫폼
Claims (9)
- 카메라 모듈로부터 건설 또는 산업현장 주변 영상촬영 데이터를 수신하는 영상데이터수신부와; 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에서 사람 객체를 인식하고, 인식된 사람 객체의 데이터에 대응하여 해당 인식된 사람의 객체를 박스화하여 탐지하는 CNN기반 객체인식부 및 상기 CNN기반 객체인식부로부터 탐지된 사람객체가 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 노출되는 경우 경광등 또는 경고알람을 발생하는 이벤트정보발생부를 포함하는 영상인식시스템과; 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수신하여 정탐, 오탐 또는 미탐으로 분류하는 오탐·미탐분류부, 상기 오탐·미탐분류부로부터 수신된 오탐 또는 미탐 분류를 딥러닝 기반의 객체인식학습 알고리즘인 YOLO(You Only Look Once)를 통해 실시간으로 재학습시키는 재학습부, 상기 재학습부로부터 생성된 재학습 데이터 셋을 온라인 실시간으로 상기 CNN기반 객체인식부로 업로드시키는 학습모델업데이트부 및 상기 영상인식시스템과 외부 서버 또는 관리자단말기를 포함하는 외부장치와의 통신을 위한 LTE통신부를 포함하는 AI영상인식플랫폼으로 구성되는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼으로서,
상기 재학습부는, 상기 영상데이터수신부로부터 수신된 영상촬영 데이터를 이미지 리사이징하여 전처리하는 단계와; 상기 전처리단계에서 리사이징된 이미지를 YOLO4 및 TensorRT에 의하여 개체인식하고 Bbox생성하여 추적하는 객체탐지단계; 상기 객체탐지단계에서 탐지된 객체가 위험상황에 해당하는지 추론하는 1차객체인식단계와; 상기 1차객체인식단계에서 추론된 객체가 위험상황에 해당하는 경우 이벤트정보발생부에서 이벤트정보발생시키는 단계와; 상기 1차객체인식단계에서 추론된 객체가 위험상황에 해당하지 않는 경우 이벤트정보가 아닌 것으로 추론하는 2차객체인식단계를 거쳐 재학습하고,
상기 재학습 데이터 셋은 상기 오탐 또는 미탐 분류별로 영상촬영 데이터에 오토라벨링툴(Auto -Labeling Tool)로 라벨링 후, 해당 영상촬영 데이터와 함께 저장되고 온라인 실시간으로 업로드되며,
객체 탐지 정확도 88%(사람, F1 Score 기준), 최대인식거리 11m, 탐지범위 180도, 고온신뢰성 60℃, 위험요인 인식 속도 0.5s인 것을 특징으로 하는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
- 제1항에 있어서,
상기 CNN기반 객체인식부에서 상기 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황은 상기 영상데이터수신부로부터 수신된 영상촬영 데이터에 가상경계선 또는 가상구역을 설정하여 상기 가상경계선 또는 가상구역 내에서 출현, 출입, 쓰러짐을 포함하는 것을 특징으로 하는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
- 삭제
- 제1항에 있어서,
상기 LTE통신부와 통신되는 외부장치에는 장비가동시간, 이동위치 Tracking, 장비 Down-Time을 포함하는 장비 Fleet 관리시스템이 더 포함되어 장비 Fleet 관리시스템이 상기 CNN기반 객체인식부와 연동되어 상기 중장비 주변을 포함하는 미리 설정된 위험반경 및 상황에 업데이트 반영되는 것을 특징으로 하는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
- 제1항에 있어서,
상기 LTE통신부와 통신되는 외부장치에는 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 수집하여 위험 Zone을 지도에 표시하는 현장위험지도 디스플레이부가 더 포함되는 것을 특징으로 하는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
- 제1항에 있어서,
상기 LTE통신부와 통신되는 외부장치에는 상기 CNN기반 객체인식부로부터 탐지된 이벤트정보를 바탕으로 장비작업경로 및 작업자 동선을 추적하기 위한 장비별 및 작업자별 위험 이벤트 모니터링 디스플레이부가 더 포함되는 것을 특징으로 하는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
- 제1항에 있어서,
상기 LTE통신부는 장비 또는 작업자 위치파악 및 추적을 위하여 GPS가 부착되는 것을 특징으로 하는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
- 제1항에 있어서,
상기 외부 서버 또는 관리자단말기는 상기 CNN기반 객체인식부로부터 탐지된 위험반경 내 근로자 접근시 이벤트 이미지 또는 클립영상을 포함하는 이벤트정보를 실시간 수신받아 업로드 되는 것을 특징으로 하는 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
- 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220147778A KR102541212B1 (ko) | 2022-11-08 | 2022-11-08 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
| PCT/KR2023/016700 WO2024101726A1 (ko) | 2022-11-08 | 2023-10-26 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220147778A KR102541212B1 (ko) | 2022-11-08 | 2022-11-08 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102541212B1 true KR102541212B1 (ko) | 2023-06-13 |
Family
ID=86762411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220147778A KR102541212B1 (ko) | 2022-11-08 | 2022-11-08 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102541212B1 (ko) |
| WO (1) | WO2024101726A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024101726A1 (ko) * | 2022-11-08 | 2024-05-16 | 주식회사 영신 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101808587B1 (ko) | 2017-08-03 | 2017-12-13 | 주식회사 두원전자통신 | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 |
| KR102185859B1 (ko) | 2020-03-31 | 2020-12-02 | (주)케이넷 이엔지 | 객체 추적 장치 및 방법 |
| KR102206662B1 (ko) | 2020-08-14 | 2021-01-22 | 아이티플래닛 주식회사 | 항만 컨테이너 터미널에서 차량 출입 관리와 객체를 인식하는 비전 카메라 시스템 및 방법 |
| KR102263512B1 (ko) | 2020-09-14 | 2021-06-10 | 가온플랫폼 주식회사 | 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 |
| KR102296274B1 (ko) * | 2020-10-26 | 2021-09-01 | 주식회사 보고넷 | 사용자 학습 기반 딥러닝 객체 인식 서비스 제공 방법 |
| KR102333143B1 (ko) * | 2021-03-15 | 2021-12-02 | 다인스 주식회사 | 무인 계수 서비스 제공 시스템 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101910542B1 (ko) * | 2017-06-21 | 2018-10-22 | 에스케이 텔레콤주식회사 | 객체 검출을 위한 영상분석 서버장치 및 방법 |
| KR102541212B1 (ko) * | 2022-11-08 | 2023-06-13 | 주식회사 영신 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
-
2022
- 2022-11-08 KR KR1020220147778A patent/KR102541212B1/ko active IP Right Grant
-
2023
- 2023-10-26 WO PCT/KR2023/016700 patent/WO2024101726A1/ko unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101808587B1 (ko) | 2017-08-03 | 2017-12-13 | 주식회사 두원전자통신 | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 |
| KR102185859B1 (ko) | 2020-03-31 | 2020-12-02 | (주)케이넷 이엔지 | 객체 추적 장치 및 방법 |
| KR102206662B1 (ko) | 2020-08-14 | 2021-01-22 | 아이티플래닛 주식회사 | 항만 컨테이너 터미널에서 차량 출입 관리와 객체를 인식하는 비전 카메라 시스템 및 방법 |
| KR102263512B1 (ko) | 2020-09-14 | 2021-06-10 | 가온플랫폼 주식회사 | 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 |
| KR102296274B1 (ko) * | 2020-10-26 | 2021-09-01 | 주식회사 보고넷 | 사용자 학습 기반 딥러닝 객체 인식 서비스 제공 방법 |
| KR102333143B1 (ko) * | 2021-03-15 | 2021-12-02 | 다인스 주식회사 | 무인 계수 서비스 제공 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024101726A1 (ko) * | 2022-11-08 | 2024-05-16 | 주식회사 영신 | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024101726A1 (ko) | 2024-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108053427B (zh) | 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置 | |
| KR102095685B1 (ko) | 차량 식별 방법 및 장치 | |
| KR101808587B1 (ko) | 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템 | |
| CN110419048B (zh) | 用于标识所定义的对象的系统 | |
| Seo et al. | Computer vision techniques for construction safety and health monitoring | |
| Park et al. | Construction worker detection in video frames for initializing vision trackers | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN110602449A (zh) | 一种基于视觉的大场景下施工安全智能监控系统方法 | |
| KR101877294B1 (ko) | 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템 | |
| CN107662872A (zh) | 乘客运输机的监测系统及其监测方法 | |
| CN112861631B (zh) | 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法 | |
| KR102541212B1 (ko) | 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼 | |
| KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
| KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
| US7295106B1 (en) | Systems and methods for classifying objects within a monitored zone using multiple surveillance devices | |
| KR102263512B1 (ko) | 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 | |
| CN111223260A (zh) | 在仓储管理中智能监控货物防盗损的方法和系统 | |
| Bang et al. | Proactive proximity monitoring with instance segmentation and unmanned aerial vehicle‐acquired video‐frame prediction | |
| Chian et al. | Dynamic identification of crane load fall zone: A computer vision approach | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN116704411A (zh) | 一种基于物联网的安防管控方法、系统及存储介质 | |
| KR102113489B1 (ko) | 카메라 입력 영상을 딥러닝 활용한 행동 감지 시스템 및 방법 | |
| KR101989376B1 (ko) | 궤도 회로 통합 감시 장치 | |
| CN110135470A (zh) | 一种基于多模态车辆特征识别的车辆特征融合系统 | |
| KR20210158037A (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |