KR20220014477A - 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템 - Google Patents

인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템 Download PDF

Info

Publication number
KR20220014477A
KR20220014477A KR1020200094089A KR20200094089A KR20220014477A KR 20220014477 A KR20220014477 A KR 20220014477A KR 1020200094089 A KR1020200094089 A KR 1020200094089A KR 20200094089 A KR20200094089 A KR 20200094089A KR 20220014477 A KR20220014477 A KR 20220014477A
Authority
KR
South Korea
Prior art keywords
construction equipment
artificial intelligence
sensor
vibration
camera
Prior art date
Application number
KR1020200094089A
Other languages
English (en)
Other versions
KR102476268B9 (ko
KR102476268B1 (ko
Inventor
장태화
이종근
Original Assignee
현대엠시스템즈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠시스템즈 주식회사 filed Critical 현대엠시스템즈 주식회사
Priority to KR1020200094089A priority Critical patent/KR102476268B1/ko
Publication of KR20220014477A publication Critical patent/KR20220014477A/ko
Application granted granted Critical
Publication of KR102476268B1 publication Critical patent/KR102476268B1/ko
Publication of KR102476268B9 publication Critical patent/KR102476268B9/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/17—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Abstract

본 발명은 건설 중장비(굴착기, 휠로더, 지게차 등)에서 장비 주변의 물체를 검출하는 장치 및 그 제어 방법이 개시된다. 본 발명의 장비에서의 주변 물체 검출 장치는, 영상을 이용하여 접근 물체를 감지하는 카메라; 전자기파를 송신하여 물체를 감지하는 레이더(Radar); 광파를 송신하여 물체를 감지하는 라이더(LiDAR); 건설 장비의 위치를 파악하는 GPS; 건설 장비 주변의 온도/습도를 측정하는 환경 센서; 건설 장비의 속도, 선회 동작 및 기울기를 측정하는 가속도 및 지자기 센서; 센서별 데이터를 수집하여 물체 인식을 위한 인식 모델의 학습 데이터를 저장하는 학습 데이터 저장부; 영상과 레이더/라이더 및 각종 환경 센서, GPS 데이터 등을 결합하여 센서 퓨전 알고리즘을 실행하는 인공지능 프로세서부;를 포함하는 것을 특징으로 한다.

본 특허는 국토교통부/국토교통과학기술진흥원의 지원으로 수행되었음
(과제번호 20SMIP-A157130-01).
This Patent is supported by the Korea Agency for Infrastructure Technology Advancement (KAIA) grant funded by the Ministry of Land, Infrastructure and Transport
(Grant 20SMIP-A157130-01).

Description

인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템 {Construction Equipment Safety System using AI Algorithm and Detection Sensors and environment sensors}
본 발명은 건설 장비의 접근 물체 검출 및 판별 장치/방법에 관한 것으로, 상세하게는 건설 장비 주변에 위치한 접근 물체를 검출하고 접근하는 물체가 어떠한 종류인지에 대한 판별을 수행하는 것에 관한 것이다.
즉, 본 발명은 건설 장비의 카메라와 센서(레이더/라이더 등)을 이용하여 접근하는 물체를 탐지하고 인공지능 기법에 의해서 접근하는 물체의 종류를 구분하며, 건설 장비의 진동 및 주행 동작에 따라 접근 물체의 검출 정확도를 높이고 오류를 최소화할 수 있는 건설 장비의 접근 물체 검출 장치 및 방법에 관한 것이다.
추가적으로는 인공지능 기법이 갖는 환경적인 영향에 의한 오동작을 최소화하기 위하여, 환경 센서를 이용하여 건설 장비가 위치한 지역의 환경 조건을 반영하여 건설 장비 주변의 물체를 탐지하고 구분하는 정확도를 개선하는 방법에 관한 것이다.
최근 이동 차량은 차량에 탑승하는 운전자의 편의성을 향상시키기 위한 운전자 보조 시스템들이 차량에 적용되고 있으며, 그 종류는 날이 갈수록 광범위해지고 있다.
이러한 운전자 보조 시스템들에는 장애물을 감지하기 위해 카메라, 초음파, 레이더, 라이더 등이 사용되고 있으며, 이에 대한 복합적인 기술이 발전되고 있다.
그 일례로, 대한민국 특허공개공보 제10-2019-0040550호에서는 카메라의 촬영 영상으로부터 장애물을 감지하고, 레이더 전자기파를 송신하여 장애물을 감지하여, 인공 지능 학습 모델을 기반으로 카메라와 레이더를 퓨전한 데이터를 이용하여 탐지된 물체에 대한 최종 인식 결과를 선정한다.
자동차에서 사용되는 자동긴급제동(AEB; Autonomous Emergency Braking) 시스템은 주행 중인 차량의 충돌 발생을 자동으로 예측하고, 예측 상황 시 해당 차량의 브레이크 시스템을 긴급하게 작동시킴으로써 충돌을 회피하거나 충돌시의 피해를 경감시키는 시스템이다. 이러한 자동긴급제동 시스템은 차량에 구비된 카메라 센서와 레이더(또는 라이더)를 통하여 전방의 장애물을 인식하여 충돌 발생을 사전 설정된 알고리즘에 의하여 예측하고, 충돌상황 예측 시 운전자가 브레이크 페달을 밟지 않거나 늦게 밟더라도 최대한의 제동 성능이 발휘되도록 제동계통의 압력을 높이고, 브레이크 패드와 디스크의 간격을 좁히는 등의 사전 준비를 하거나, 또는 자동긴급제동 시스템이 직접 개입하여 스스로 브레이크를 작동함으로써, 사고를 미연에 방지하는 기술이다.
이와 같이 센서 퓨전 기술을 응용하는 각종 시스템은 차량에 구비된 카메라 센서와 레이더를 이용하여 차량의 현재 상황을 판단하기 때문에, 카메라 센서와 레이더로부터 수신되는 정보의 신뢰도가 대단히 중요한 요소로서 작용한다. 특히, 센서 퓨전 기술을 응용하는 시스템들은 차량 구동 시에 자동 제어를 수반하기 때문에, 자칫 오작동이 발생하면 큰 사고를 유발할 가능성이 있다.
예를 들어, 차량 주행 시 발생할 수 있는 환경적인 요소(날씨, 기온 등), 또는 운전 시 차량의 주행 조건(속도, 지형, 도로의 노면 상태 등)에 의하여 판단 기준의 신뢰도가 하락할 수 있으며, 이러한 문제는 운전자의 편의성 향상을 위하여 구비된 시스템들이 오히려 운전자의 안전성을 해칠 수 있는 문제를 유발할 수 있다. 따라서 센서 퓨전 기술을 위하여 차량에 구비되는 카메라 센서와 레이더로부터 수신되는 정보의 신뢰성을 향상시키기 위한 기술의 개발이 요구되고 있다.
상기 특허의 주요한 내용을 살펴보면,
1) 카메라와 레이더 등의 센서를 이용하여 자동차 주변의 물체를 탐지
2) 차량 속도, 조향각, 요레이트 등 차량의 다른 상태 정보를 활용
3) 심층 신경망 (Deep Neural Network) 기법을 이용한 인공지능 학습
4) 카메라+레이더+차량의 다른 상태 정보를 종합하여 차량 주변 장애물 검출
상기 특허는 일반적인 승용차를 대상으로 하는 경우이며, 건설 장비는 운용되는 환경이 상이하여 차별화된 방식이 요구된다. 일예로, 일반적인 승용차는 주로 도로를 주행하는 환경이지만, 건설 장비는 토목/건설 현장 등에서 사용되므로 진동이 심각하며 경사가 심한 지형에서 운용된다.
또한, 자동차의 경우는 일반적인 도로 환경에서 주행이 이루어지지만 건설 장비의 경우는 도심, 산악지형, 정글, 사막, 설원 등 다양한 환경에서 사용되므로 자동차 보다 더 많은 환경적인 변수를 고려하여야 한다.
대한민국 특허공개공보 제10-2019-0040550호(2019.04.19.)
해당없음
본 발명의 첫 번째 목적은 인공 지능 기법을 이용하여 카메라 영상 신호와 탐지 센서(레이더 또는 라이더) 신호를 결합하여 건설 장비에 접근하는 물체를 탐지하고 판단하는 과정에서 발생할 수 있는 오류의 원인인 건설 장비의 진동/경사도 등을 확인하여, 건설 장비의 진동/경사도 정보를 인공 지능 기법에 결합하여 판단 오류를 개선하는 방법에 관한 것이다.
카메라 영상을 확인하는 주체가 사람이라면 건설 장비가 진동 상황에 있으므로 입력되는 후방의 영상이 흔들릴 수 있다고 판단할 수 있겠지만, 인공 지능을 이용한 경우에는 카메라 영상이 흔들려서 입력되는 현상을 진동에 의한 것이라 판단하지 못하고 영상이 깨지거나 흐릿하게 들어온다고 판단할 수 있다.
통상적으로 일반적인 승용차나 화물차와 같이 도로를 주행하는 차량은 최대 4G 정도의 진동에 대해서 설계가 이루어지지만, 건설 장비는 최대 8G의 진동을 고려하여 설계가 이루어지고 있으므로 많은 차이가 있다.
또한 건설 장비가 경사가 심한 지형에서 작업하는 경우 후방 카메라의 영상은 평탄한 지형에서의 영상과는 다른 형태로 입력되지만, 인공지능의 경우는 이러한 영상에 대해서 완전하게 학습이 되어 있지 못하므로 정상적인 판단을 하기 어려운 상황이 발생한다.
일예를 들어, 건설 장비가 경사가 심한 지형에서 작업을 한다면 카메라도 기울어진 상태에서 영상을 촬영하게 된다. 이러한 경우 일반적인 사람의 형상이 아니라 머리 부분만 비정상적으로 크게 보이거나, 반대로 머리 부분이 비정상적으로 작게 촬영되는 경우가 발생한다. 이러한 영상이 그대로 인공 지능 프로세서로 전달하므로 인공 지능 프로세서에서는 사람이 아닌 형상이라고 판단 오류를 발생할 가능성이 높아진다.
또 다른 예를 들어, 건설 장비가 운용되고 있는 환경이 심각한 안개가 있거나 강우/강설 등으로 인하여 고온다습한 지역이라면 카메라 렌즈에 물기가 맺혀 화질이 떨어지게 된다. 인공 지능 프로세서는 렌즈에 물기가 있어 화질이 저하되었다고 인식할 수 없으므로 장애물의 접근 유무를 판단할 수 없는 판단 불능 상황에 놓일 수 있다.
이와 같이 건설 장비에서 심각하게 발생하는 진동이나, 건설 장비가 심한 경사도에서 작업하는 경우 카메라에 입력되는 영상은 정상적인 영상과 비교하여 많은 왜곡이 되어 있으며 이러한 왜곡 상태를 확인하기 위하여 가속도 및 지자기 센서를 이용하여 건설 장비가 진동 상황이나 기울어진 상황에 있다는 정보를 인공지능 프로세서에게 전달하여 판단 오류를 개선하는데 목적이 있다.
본 발명의 두 번째 목적은 인공 지능 기법을 이용하여 카메라 영상 신호와 탐지 센서(레이더 또는 라이더) 신호를 결합하여 건설 장비에 접근하는 물체를 탐지하고 판단하는 과정에서 발생할 수 있는 오류의 원인인 지역적/환경적인 영향에 의한 오류를 최소화 하는 것이다.
[도7]은 숲속에서 건설 장비와 작업자들이 같이 작업을 하는 사진이다. 이때 작업자들의 작업복은 숲의 나무 색상과 비슷한 녹색의 옷을 착용하고 있다. 카메라와 인공지능을 이용한 판단 과정에서 녹색 배경에 녹색 옷을 착용한 경우에는 사람과 마찬가지로 인식의 오류가 발생할 가능성이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은 “영상 신호(카메라)”+“ 탐지 센서 신호(물체의 거리를 탐지하는 레이더 또는 라이더 등)” + “인공지능 프로세서”+ “환경센서 신호(가속도/지자기/온습도 센서/GPS)”를 결합하여 판단하는 시스템으로서,
상기 영상 신호, 탐지 센서 신호, 환경센서 신호를 저장하는 학습 데이터 저장부(130); 영상 신호(카메라)와 탐지 센서 신호(레이더 또는 라이더)가 결합되어 건설 장비에 접근하는 물체를 탐지하고 거리를 파악하고 영상을 통하여 물체가 어떠한 종류인지 판단하는 인공 지능 프로세서부(140); 및 가속도/지자기 센서/온습도 센서/GPS를 이용하여 장비의 진동/경사도/온습도/위치 정보를 측정하여 해당 정보를 인공 지능 프로세서부로 전달하는 환경 감지부(200)로 구성된다.
본 발명에서 영상 정보의 취득은 카메라를 포함하는 것을 특징으로 한다.
본 발명에서 물체의 접근 유무에 대한 정보 취득은 레이더 또는 라이더를 이용한 것을 특징으로 한다.
본 발명에서 학습 알고리즘은 심층 학습(Deep Learning) 알고리즘인 것을 특징으로 한다.
본 발명에서 건설 장비의 동작 정보는 지자기 센서 및 가속도 센서를 이용하여 장비의 속도, 선회각, 선회 속도, 기울기 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 건설 장비의 동작 조건에 맞춰 접근 물체를 인식하고 판단하는 방식을 차등적으로 제어하는 것을 특징으로 한다.
본 발명에서 건설 장비의 환경 정보는 온습도 센서 및 GPS를 이용하여, 건설 장비가 위치한 지역의 온도/습도/위치 정도 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 건설 장비의 환경 조건 및 위치에 따라 접근 물체를 인식하고 판단하는 기준을 차등적으로 설정하는 것을 특징으로 한다.
본 발명에서는 먼저 (1) 건설 장비가 최초로 시동을 걸고 작업을 시작하면서 이때 카메라 영상 데이터와 탐지 센서의 데이터를 저장한다. 이때 환경감지부에서 측정된 진동/경사도/온습도/GPS 데이터와 결합한 데이터를 생성한다.
(2) 건설 장비가 운용하면서 진동 조건이 변화하거나 기울기 조건이 변화하거나, 온습도 조건, GPS 위치정보가 변화되는 상황에 대해서 상황별 데이터를 생성하여 학습 데이터 저장부(130)의 메모리에 저장한다.
(3) 건설 장비의 운용 시간이 늘어나고, 작업 환경이 다양하게 변화되면 좀 더 많은 상황별 데이터가 누적되고 인공지능 프로세서부(140)에서는 지속적으로 누적된 상황별 데이터에 대해서 학습을 시작한다.
(4) 바람직한 실시 예에 있어서, 일정 기간의 학습이 완료된 이후 건설 장비가 정지된 자세에서 진동이 매우 심한 작업을 하고 있다면 인공 지능 프로세서부에서는 지금 입력되는 영상 신호나 탐지 센서의 신호가 진동에 의해서 왜곡되었다고 판단하고 경고를 발생하는 확률을 낮춘다. 만일, 이러한 과정이 없다면 인공 지능 프로세서에서는 건설장비가 정지되어 진동이 심한 작업을 하고 있다고 판단하지 못하고 어떠한 물체가 근접하여 충돌한 것이라고 판단하여 경고를 오류 발생하게 된다.
(5) 바람직한 실시 예에 있어서, 건설 장비가 심각한 경사가 있는 지형에서 작업하고 있는 경우 후방에 사람이 접근한다면 인공 지능 프로세서부에서는 현재 건설 장비가 기울어진 상태이므로 기울어진 상황에서 학습된 영상(예를 들어, 사람의 머리 부분만 크게 보이는 영상)을 토대로 사람의 접근 여부를 판단하고 경고를 발생한다. 만일 이러한 과정이 없다면 인공지능 프로세서에서는 비정상적으로 머리 부분만 큰 물체이므로 사람이라고 판단하기 어려운 판단 오류를 발생하게 된다.
(6) 바람직한 실시 예에 있어서, 건설 장비가 정지된 상태에서 작업하고 있고 경사도가 평탄하며 진동도 거의 없는 상황인데 카메라 영상에 왜곡이 있다면 온도/습도를 확인하여 온도/습도가 카메라 화질에 영향을 주는 범위에 있다면 카메라 영상 왜곡을 판단하여 운전자에게 카메라 렌즈 청소를 알려줄 수 있다. 이러한 과정이 없다면 인공지능 프로세서는 온습도에 의한 영상 왜곡이 아닌 다른 원인으로 판단하거나 비정상적인 판단을 수행할 가능성이 높다.
(7) 바람직한 실시 예에 있어서, 건설 장비가 작업하는 위치가 GPS 데이터를 이용하여 판단한 결과 정글 지역이나 산림 지역이라면 인공지능 프로세서부에서는 영상의 배경이 녹색이 강하다는 판단 하에 녹색 작업복을 착용한 사람에 대한 판단 능력을 향상하도록 동작한다.
인공지능을 이용하여 자율주행 자동차를 구현하고자 하는 연구개발은 매우 활발하게 진행되고 있다. 반면에 인공지능을 이용하여 건설 현장의 안전 시스템을 개발하는 연구 개발은 상대적으로 부진하며 예외적인 상황이 빈번하게 발생하는 자율주행 자동차 기술에 비해서 상대적으로 난이도가 낮다는 인식이 대부분이다.
건설 현장은 일반적인 도로에 비해서는 예외 상황이 덜 발생하지만, 경사 및 진동, 고온다습한 지역 등 승용차의 주행 환경과는 상이한 환경이다. 따라서 그러한 환경 변화를 고려한 인공 지능 기반의 학습이 이루어져야만 효율적인 안전 시스템을 구현할 수 있다.
환경 변화를 고려하지 않은 인공지능 기반의 건설 장비 안전 시스템은 빈번한 판단 오류로 인하여 사용자로부터 외면 받을 가능성이 높다. 접근하는 장애물이 없는 상황인데도 계속 물체가 접근한다고 경고를 발생하면 운전자는 인공 지능 기반의 안전 시스템에 대한 불신을 하게 되어 오히려 역효과가 발생하고, 정말 중요한 위험 상황에서 인지를 못하여 사고가 발생하는 현상이 발생할 수 있다.
본 발명은 진동/경사도/온습도/위치를 측정할 수 있는 환경 센서를 결합하여, 건설 장비가 위치한 환경과 작업 환경 데이터를 인공 지능 프로세서에 전달하여 판단 오류를 최소하여 건설 장비 주변의 안전도를 개선하는 효과가 있다.
도1은 종래의 카메라/탐지 센서 기반의 건설 장비 안전 시스템에 설명을 하기 위한 도면
도2는 진동으로 인한 영상의 흔들림을 설명하기 위한 도면
도3은 경사도로 인한 영상의 왜곡을 설명하기 위한 도면이며, 경사도로 인하여 사람의 형상이 왜곡되는 상황을 설명하는 도면
도4는 본 발명의 일실시예에 따른 인공지능 기법과 탐지 센서, 환경 센서를 이용한 건설 안전 시스템을 설명하기 위한 도면
도5는 일반적인 인공 지능 기반 건설 안전 장비의 동작을 설명하기 위한 도면
도6은 본 발명의 실시 예에 따른 인공지능/탐지센서/환경센서를 결합한 건설 안전 장비의 동작을 설명하기 위한 도면
도7은 건설장비가 위치한 지역에 따라 배경색과 물체의 색상이 유사한 경우 오동작을 유발할 수 있는 상황을 설명하는 도면
도8은 본 발명의 실시 예에 따른 인공지능/환경센서를 결합하여 건설 장비의 위치에 따른 판단 기준 설정을 설명하기 위한 도면
하기의 설명에서 본 발명의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있는데, 이들 특성 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도4 내지 도6을 참조하여 상세히 설명하되, 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 설명한다.
[도1]은 종래의 일반적인 인공지능 기반의 건설 안전 시스템(100)에 대한 내용을 설명하기 위한 도면이다. 도1에서 정상적인 형태의 사람이 건설 장비 후방에 위치하면 탐지 센서(120)에서는 접근하는 물체를 탐지하여 거리에 대한 정보를 학습 데이터 저장부(140)에 전달한다. 카메라(110)에서는 후방의 영상을 촬영하여 학습 데이터 저장부(130)에 전달한다. 학습 데이터 저장부(130)은 취합된 영상 및 센서 데이터를 매핑하여 인공지능 프로세서부(140)에 전달한다.
인공 지능 프로세서부(140)에서는 전달되어온 영상과 거리 정보를 토대로 후방에 있는 물체가 “6m 지점에 사람이 있다고 판단”한다. 인공 지능 프로세서부(140)이 카메라(110)이 보내준 영상을 이용하여 “사람”이라고 판단하는 방식은 종래의 인공지능 기술에서는 보편적으로 사용되는 기술이다.
[도2]는 건설 장비가 땅파기 작업 등을 수행하면서 심각한 진동 상황에 있는 경우 영상(이미지)가 흔들리는 경우를 설명하는 도면이다. 도2에서 보는 바와 같이 진동에 의해서 사람의 정상적인 이미지가 흔들리게 된다. 이 영상을 판단하는 주체가 “사람”이라면 장비가 흔들리고 있으니 영상이 흔들리고 있다고 판단하고, 흔들리는 이미지가 사람이라고 쉽게 판단한다. 그러나 인공지능의 경우는 카메라가 진동에 의해 흔들리고 있다는 판단을 하지 못하므로, 이미지를 판단하는데 있어 판단의 오류가 발생하는 경우가 발생할 수 있다.
[도3]은 건설 장비가 경사가 있는 환경에서 작업하는 상황에 대한 설명이다. 경사가 있는 환경에서 카메라(110)에 입력되는 영상은 마치 위에서 내려다 보는 것과 유사한 영상으로 왜곡되며 사람(10)의 이미지는 상체 및 머리 부분만 크게 확대되어 보이게 된다. 이 영상을 판단하는 주체가 사람이라면 누구나 쉽게 도3의 사람 이미지를 보고 “사람”이라고 판단하지만, 인공지능의 경우는 “사람”이라고 쉽게 판단하지 못하는 오류에 빠질 가능성이 높다.
[도4]는 본 발명에 대한 대표적인 설명이며, 환경 감지부(200)와 인공지능 프로세서부(140)을 상호 연동 시켜 보다 정확한 판단을 수행할 수 있는 실시 형태를 설명하기 위한 도면이다.
환경 감지부(200)을 구성하고 있는 지자기 센서(210)과 가속도 센서(220)은 진동과 기울기를 측정하는 대표적인 센서이다. 통상적으로 기울기와 진동을 측정하기 위해서 6축의 가속도 센서를 이용하는 것이 일반적이며 지자기 센서는 센서 자체의 기준 좌표를 확보하기 위하여 일반적으로 이용되고 있다.
지자기 센서(210)과 가속도 센서(220)에서 측정된 건설 장비의 진동 및 기울기 정보는 실시간으로 학습 데이터 저장부(130)에 전달되어, 카메라(110)에서 전달되어온 영상 정도 및 탐지 센서(120)에서 전달되어온 물체의 거리 정보와 결합된다.
인공지능 프로세서부(140)에서는 전달되어온 진동/기울기 정보와 영상/탐지 거리 정보를 기반으로 현 시점에서 건설 장비가 어떠한 진동 상황에서 어떠한 작업을 하고 있는지를 판단하여 영상으로 들어온 물체의 판단을 수행한다.
온습도 센서(230)과 GPS(240)에서는 건설 장비 주변의 온도와 습도, 위치 정도를 취득하여 학습 데이터 저장부(130)에 전달한다. 이러한 센서 신호는 인공지능 프로세서부(140)에서 인공 알고리즘을 처리할 때 기본 파라미터로 활용된다.
[도5]는 본 발명의 실시예에 따른 진동 상황에서의 인공 지능 프로세서부의 판단 알고리즘을 설명하기 위한 도면이다. 건설 장비가 동작을 개시하고 탐지 센서(120)에서 물체를 탐지하고 영상 신호가 카메라(110)에서 입력되면 들어온 영상에 대해서 인공 지능 프로세서부(140)은 가장 먼저 입력된 영상에 대해서 판단을 할 수 있는지 확인하는 과정을 수행한다(S110).
S110 과정에서 정상적으로 사람이라고 판단되면, 판단 동작을 종료한다. 그러나 만일 정상적으로 판단하기 어려운 상황이라고 판단되어 결정을 내릴 수 없다면 장비가 진동 상황에 있는지 여부를 확인한다(S120). 장비가 진동 상황에 있지 않은 정상적인 상황이라면 영상 자체에 문제가 있는 것이므로 카메라의 불량 여부를 판단하는 과정을 수행한다(S160).
만일 운전자가 확인해서 카메라(110)에 이물질이 붙어 있는 불량 상황이라면 판단은 운전자가 하도록 하고 판단 과정을 포기한다(S200).
운전자가 확인해서 카메라(110)이 정상이라면 조건은 “카메라 정상/진동 없음/장비 이동 중”인 상황이므로 인공지능 프로세서부(140)에서 판단할 수 없는 미확인 물체가 접근하는 상황이므로 긴급 경고를 발생한다(S190).
장비가 진동 상황에 있고, 장비가 정지된 상황이라면 S130 과정을 통하여 최종적으로 진동에 의한 영상 왜곡이 발생한 상황이고, 이때 장비는 정지된 상태이므로 안전한 상태라고 판단하고 판단을 종료한다(S210).
이러한 일련의 과정을 통하여 무조건적인 경고를 발생하지 않고, 상황 조건에 따라 경고를 발생함으로서 보다 신뢰성 있는 건설 안전 시스템의 구현이 가능하게 된다.
[도6]은 본 발명의 실시예에 따른 기울기 상황에서의 인공 지능 프로세서부의 판단 알고리즘을 설명하기 위한 도면이다. 전체적인 동작의 흐름은 [도5]의 진동 상황에서의 판단 과정과 동일하다.
[도7]은 건설 장비가 작업하는 장소가 숲속이거나 정글과 같은 지역에 대한 내용이다. 만일, 건설 장비 주변의 작업자가 녹색 작업복을 착용하고 있다면 인공지능이 아닌 일반적인 사람도 녹색 작업복을 입고 있는 작업자를 찾아 내기 어려워진다. 이와 같은 상황에서는 녹색 작업복을 착용한 사람은 위장복을 입고 있는 것과 유사한 상황이므로, 건설 장비 운전자가 순간적으로 사람의 존재를 인지하지 못할 수 있다. 마찬가지로 인공지능 역시 배경색이 녹색이고, 작업자가 녹색 작업복이므로 순간적으로 판단을 실수할 가능성이 높아진다.
사람이라면 녹색 배경에서 녹색 작업복을 입은 사람을 찾아 내기 위해서, 주의를 기울여야 할 것이다. 마찬가지로, 인공지능 역시 녹색 배경에서 녹색 작업복을 입은 사람을 찾아내기 위해서는 녹색 배경에 대한 학습 능력을 강화하여 녹색 작업복을 입고 있는 사람을 집중적으로 탐색하도록 알고리즘이 동작하여야 한다.
건설 현장에서 사용되는 건설 장비의 안전은 매우 중요한 요소이다. 선진국이라는 미국에서도 2018년 기준으로 년간 20,000명이 건설 현장에서 충돌 사고로 사망 또는 상해를 입고 있다. 우리나라의 경우도 2018년 기준으로 년간 500명이 건설 장비와 충돌로 사망하였으며, 4천명 이상이 부상을 당하고 있는 실정이다.
본 발명에서는 건설 현장의 충돌 사고를 획기적으로 절감할 수 있는 기술로 인식되고 있는 인공지능 기반의 안전 장비에 있어서, 인공지능이 판단할 수 없는 오류의 발생 가능성을 최소화하기 위하여 보조 센서를 이용하는 방안을 강구하였으며, 이를 통하여 다양한 건설 장비의 안전 시스템에 적용할 수 있다.
100 : 카메라
120 : 탐지 센서
130 : 학습 데이터 저장부
140 : 인공지능 프로세서부
200 : 환경 감지부
210 : 지자기 센서
220 : 가속도 센서
230 : 온습도 센서
240 : GPS

Claims (7)

  1. 촬영 영상으로부터 접근 물체를 감지하는 카메라;
    전자기파를 송신하여 접근 물체를 감지하는 레이더;
    광원을 송신하여 접근 물체를 감지하는 라이더;
    지자기 센서/가속도 센서/온습도 센서/GPS로 구성된 환경 센서;
    센서 데이터를 저장하는 학습 데이터 저장부;
    인공지능 알고리즘으로 물체를 판단하는 인공지능 프로세서부;를 포함하는 것을 특징으로 하는 건설 장비에서의 안전 시스템.
  2. 제1항에 있어서, 건설 장비의 상태 정보 취득을 위하여 가속도/지자기 센서를 이용하여 건설 중장비의 진동과 기울기를 측정하는 부분으로서, 상기 가속도/지자기 센서를 이용하여 건설 중장비가 움직임이 없는 정지 상태에서 경사로에 있는 경우 인공 지능 프로세서의 위험도 판단 정확도를 개선하는 방법
  3. 제1항에 있어서, 건설 중장비의 속도, 기울기, 선회각, 진동 중 어느 하나 이상을 포함하는 것을 특징으로 하는 건설 중장비에서 접근 물체 탐지 및 판단을 수행하는 안전 시스템
  4. 가속도/지자기 센서를 이용하여 건설 중장비의 진동과 기울기를 측정하는 부분으로서, 상기 가속도/지자기 센서를 이용하여 건설 중장비가 움직임이 없는 정지 상태에서 진동 조건에 있는 경우 인공 지능 프로세서의 위험도 판단 정확도를 개선하는 방법
  5. 온습도 센서를 이용하여 건설 중장비의 외부 환경을 측정하여 위험도 판단을 지원하는 부분으로서, 온습도가 적정 범위를 벗어나 카메라 렌즈에 물기가 서린 경우 인공 지능 프로세서의 위험도 판단 정확도를 개선하는 방법
  6. 제 1항에 있어서, 상기 학습 알고리즘은 심층 학습(Deep Learning)알고리즘인 것을 특징으로 하는 건설 장비에서의 접근 물체 탐지 및 판단을 수행하는 안전 시스템
  7. 제 1항에 있어서, GPS를 이용한 위치 정보를 이용하여 건설 장비가 위치한 지역의 특성에 맞춰 인공 지능 학습의 방향 및 수준/최종 판단결정을 조정하는 안전 시스템

KR1020200094089A 2020-07-28 2020-07-28 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템 KR102476268B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200094089A KR102476268B1 (ko) 2020-07-28 2020-07-28 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200094089A KR102476268B1 (ko) 2020-07-28 2020-07-28 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템

Publications (3)

Publication Number Publication Date
KR20220014477A true KR20220014477A (ko) 2022-02-07
KR102476268B1 KR102476268B1 (ko) 2022-12-14
KR102476268B9 KR102476268B9 (ko) 2023-03-23

Family

ID=80253230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200094089A KR102476268B1 (ko) 2020-07-28 2020-07-28 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템

Country Status (1)

Country Link
KR (1) KR102476268B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11746501B1 (en) 2022-08-29 2023-09-05 RIM Intelligent Machines, Inc. Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems
US11898324B1 (en) 2022-12-19 2024-02-13 AIM Intelligent Machines, Inc. Adaptive control system for autonomous control of powered earth-moving vehicles

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2006037662A (ja) * 2004-07-30 2006-02-09 Hitachi Constr Mach Co Ltd 建設機械の監視カメラシステム
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
KR101322201B1 (ko) * 2013-03-28 2013-10-28 (주)영신디엔씨 건설용 중장비 접근 감시 시스템
KR20170022709A (ko) * 2015-08-21 2017-03-02 현대자동차주식회사 차량 정보 기반 센서퓨전 시스템
KR20190040550A (ko) 2017-10-11 2019-04-19 현대모비스 주식회사 차량에서의 장애물 검출장치 및 그 제어방법
WO2020091002A1 (ja) * 2018-10-31 2020-05-07 住友建機株式会社 ショベル、ショベル支援システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1072851A (ja) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd 侵入移動体検出装置
JP2006037662A (ja) * 2004-07-30 2006-02-09 Hitachi Constr Mach Co Ltd 建設機械の監視カメラシステム
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
KR101322201B1 (ko) * 2013-03-28 2013-10-28 (주)영신디엔씨 건설용 중장비 접근 감시 시스템
KR20170022709A (ko) * 2015-08-21 2017-03-02 현대자동차주식회사 차량 정보 기반 센서퓨전 시스템
KR20190040550A (ko) 2017-10-11 2019-04-19 현대모비스 주식회사 차량에서의 장애물 검출장치 및 그 제어방법
WO2020091002A1 (ja) * 2018-10-31 2020-05-07 住友建機株式会社 ショベル、ショベル支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
해당없음

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11746501B1 (en) 2022-08-29 2023-09-05 RIM Intelligent Machines, Inc. Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems
US11898324B1 (en) 2022-12-19 2024-02-13 AIM Intelligent Machines, Inc. Adaptive control system for autonomous control of powered earth-moving vehicles

Also Published As

Publication number Publication date
KR102476268B9 (ko) 2023-03-23
KR102476268B1 (ko) 2022-12-14

Similar Documents

Publication Publication Date Title
KR102554746B1 (ko) 이동중인 1차 물체의 궤적과 교차할 수 있는 2차 물체들의 고속 검출
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US8301344B2 (en) Device for classifying at least one object in the surrounding field of a vehicle
US8379924B2 (en) Real time environment model generation system
US9815462B2 (en) Path determination for automated vehicles
EP2302412B1 (en) System and method for evaluation of an automotive vehicle forward collision threat
US7102496B1 (en) Multi-sensor integration for a vehicle
CN110775028B (zh) 一种汽车挡风玻璃遮挡物检测及辅助驾驶系统和方法
US20140176714A1 (en) Collision prevention warning method and device capable of tracking moving object
US20110133917A1 (en) Cross traffic collision alert system
US20030021445A1 (en) Method for optically monitoring the environment of a moving vehicle to determine an inclination angle
JP2003099899A (ja) 運転行動危険度演算装置
JP6962604B2 (ja) 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置
US8140226B2 (en) Security system and a method to derive a security signal
KR102476268B1 (ko) 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템
JP2005309797A (ja) 歩行者警報装置
KR102420289B1 (ko) 자동차 상에 존재하는 적어도 하나의 오브젝트를 검출하기 위한 방법, 제어 장치 및 자동차
US11673586B2 (en) Failure detection in an autonomous vehicle
JP4116643B2 (ja) 車両周囲の少なくとも１つの物体を分類する装置
CN107627983A (zh) 用于操控车辆的人员保护系统的方法和控制装置
CN112721806A (zh) 用于坡度路段的盲区辅助的方法和装置
CN112793507A (zh) 基于惯性器件感知车辆右转运动特性的盲区预警制动系统
EP1854666B1 (en) System for the detection of objects located in an external front-end zone of a vehicle, which is suitable for industrial vehicles
CN113788016B (zh) 防误触发的自动紧急制动控制方法、系统、服务器及存储介质
US20230034560A1 (en) Method for tracking a remote target vehicle in an area surrounding a motor vehicle by means of a collision detection device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]