KR20210074803A - 인공지능을 이용하는 중장비용 충돌 예방 장치 - Google Patents
인공지능을 이용하는 중장비용 충돌 예방 장치 Download PDFInfo
- Publication number
- KR20210074803A KR20210074803A KR1020190165868A KR20190165868A KR20210074803A KR 20210074803 A KR20210074803 A KR 20210074803A KR 1020190165868 A KR1020190165868 A KR 1020190165868A KR 20190165868 A KR20190165868 A KR 20190165868A KR 20210074803 A KR20210074803 A KR 20210074803A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- heavy equipment
- unit
- artificial intelligence
- warning
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/07504—Accessories, e.g. for towing, charging, locking
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Structural Engineering (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Civil Engineering (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 지게차 등과 같은 중장비의 전방과 후방 영상을 촬영하도록 구성되고, 촬영되는 영상을 인공지능을 통해 실시간으로 분석하도록 구성되며, 영상에 나타난 작업자가 인식되는 즉시 운전자에게 경고하도록 구성되어 중장비와 작업자의 충돌을 효과적으로 예방할 수 있도록 하는 장치에 관한 것이다.
본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치는 중장비의 후방 영상을 촬영하는 하나 이상의 후방 카메라로 구성되는 촬영부, 중장비의 후진기어로의 변속을 감지하여 변속 신호를 생성하는 감지부, 후진기어로의 변속이 감지되면, 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하는 영상 처리부 및, 경고 신호가 생성되면, 중장비의 운전자가 인지 가능한 음량의 경고음을 출력하는 경고부를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치는 중장비의 후방 영상을 촬영하는 하나 이상의 후방 카메라로 구성되는 촬영부, 중장비의 후진기어로의 변속을 감지하여 변속 신호를 생성하는 감지부, 후진기어로의 변속이 감지되면, 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하는 영상 처리부 및, 경고 신호가 생성되면, 중장비의 운전자가 인지 가능한 음량의 경고음을 출력하는 경고부를 포함하여 구성되는 것을 특징으로 한다.
Description
본 발명은 인공지능에 의한 영상분석을 이용하여 중장비와 작업자의 충돌을 예방하는 장치에 관한 것으로써, 보다 상세하게는 지게차 등과 같은 중장비의 전방과 후방 영상을 촬영하도록 구성되고, 촬영되는 영상을 인공지능을 통해 실시간으로 분석하도록 구성되며, 영상에 나타난 작업자가 인식되는 즉시 운전자에게 경고하도록 구성되어 중장비와 작업자의 충돌을 효과적으로 예방할 수 있도록 하는 장치에 관한 것이다.
일반적으로, 공장이나 건설현장 등에서 층층이 쌓인 팰릿 등 상당한 무게의 화물을 이송하기 위한 용도로 사용되는 지게차, 땅을 파거나 깍기 위한 용도로 사용되는 굴착기 등 다양한 종류의 차량을 통칭하여 중장비라 한다.
이러한 중장비는 승용차 등의 일반차량과 비교하여 운전석의 높이가 높게 형성되고, 사용 상태에 따른 시야 방해 또는 부주의 등 다양한 원인으로 인해 운전자가 전방 또는 후방에 위치한 작업자를 인지하지 못하는 경우가 발생할 수 있으며, 이와 같은 이유로 공장이나 건설현장 등에서는 중장비와 작업자의 충돌에 의한 인명 사고가 빈번하게 발생하고 있는 실정이다.
이러한 문제를 해결하기 위한 방안에 관한 발명으로는 대한민국 공개특허공보 제10-2012-0084868호의 “감지센서를 구비한 지게차” 및 대한민국 공개특허공보 제10-2012-0108517호의 “지게차 충돌 방지 장치” 그리고 대한민국 등록특허공보 제10-1774200호의 “무선 통신을 이용한 지게차 근접 경고 및 충돌 방지 장치”가 제안되어 공개된 바 있다.
상기 대한민국 공개특허공보 제10-2012-0084868호의 “감지센서를 구비한 지게차”에는 열감지 센서 또는 초음파 센서로 구성되는 감지센서로 지게차의 후방 및 후방 측면에 위치한 작업자를 감지할 수 있도록 구성되어, 충돌에 의한 인명사고를 미연에 방지할 수 있는 장치에 관한 발명이 제안되었고, 상기 대한민국 공개특허공보 제10-2012-0108517호의 “지게차 충돌 방지 장치”에는 주행 방향으로 에너지를 방사하는 에너지 방사 수단을 지게차에 구비하고, 작업자에게 충돌 경고 장치를 부착하여, 충돌 사고를 미연에 방지할 수 있는 장치에 관한 발명이 제안되었다.
또한, 상기 대한민국 등록특허공보 제10-1774200호의 “무선 통신을 이용한 지게차 근접 경고 및 충돌 방지 장치”에는 지게차의 근접을 경고하는 작업자 단말기를 작업자에게 제공하고, 작업자 또는 다른 지게차의 근접을 경고하는 경고유닛을 지게차에 설치하며, 상황에 따라 지게차의 주행을 정지시키는 제어유닛을 지게차에 설치하여, 충돌 사고를 방지할 수 있는 장치에 관한 발명이 제안되었다.
그러나 상기와 같은 종래 발명들은 주변 환경, 센서 간의 간섭 등 다양한 원인으로 인해 장치에 오작동이 발생할 수 있고, 작업자가 장치를 항상 휴대하여야 하는 등의 불편함이 발생하며, 이러한 이유들로 인해 장치의 기능이 제대로 발휘되지 못하여 인명 사고의 발생을 예방하지 못할 가능성이 잠재되어 있다.
따라서, 상기와 같은 종래 발명들의 문제점들을 모두 해결하여, 지게차 등의 중장비와 작업자의 충돌에 의한 인명 사고를 예방할 수 있는 장치에 관한 발명이 요구되는 실정이다.
본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치는 상기와 같은 문제점들을 해결하기 위해 제안된 기술로써,
공장이나 건설현장 등에서 지게차, 굴착기 등의 중장비와 작업자의 충돌에 의한 인명 사고가 빈번하게 발생하는 문제가 있었고,
이를 해결하기 위한 종래 발명들이 제시하는 장치들은 주변 환경, 센서 간의 간섭 등 다양한 원인으로 인해 오작동이 발생할 수 있고, 작업자가 항상 휴대하여야 하는 등의 불편함이 발생하며, 이러한 이유들로 인해 장치의 기능이 제대로 발휘되지 못하여 인명 사고의 발생을 예방하지 못할 가능성이 잠재되어 있기 때문에, 이에 대한 해결책을 제시하는 것을 그 목적으로 한다.
본 발명은 상기와 같은 목적을 실현하고자,
중장비의 후방 영상을 촬영하는 하나 이상의 후방 카메라로 구성되는 촬영부; 중장비의 후진기어로의 변속을 감지하여 변속 신호를 생성하는 감지부; 후진기어로의 변속이 감지되면, 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하는 영상 처리부; 및, 경고 신호가 생성되면, 중장비의 운전자가 인지 가능한 음량의 경고음을 출력하는 경고부; 를 포함하여 구성되는 것을 특징으로 하는 인공지능을 이용하는 중장비용 충돌 예방 장치를 제시한다.
또한, 본 발명은 중장비의 전방 영상을 촬영하는 하나 이상의 전방 카메라와 후방 영상을 촬영하는 하나 이상의 후방 카메라로 구성되는 촬영부; 중장비의 전진기어로의 변속을 감지하고, 후진기어로의 변속을 감지하여 기어의 상태에 따라 서로 다른 변속 신호를 생성하는 감지부; 전진기어로의 변속이 감지되면, 촬영되는 전방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하며, 후진기어로의 변속이 감지되면, 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하는 영상 처리부; 및, 경고 신호가 생성되면, 중장비의 운전자가 인지 가능한 음량의 경고음을 출력하는 경고부; 를 포함하여 구성될 수 있다.
본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치는,
중장비의 전방과 후방 영상을 촬영하도록 구성되고, 촬영되는 영상을 인공지능을 통해 실시간으로 분석하도록 구성되며, 영상에 나타난 작업자가 인식되는 즉시 운전자에게 경고하도록 구성되어,
센서 간의 간섭 등 다양한 원인으로 인한 장치의 오작동, 작업자의 휴대가 요구되는 불편함 등의 문제 발생없이 중장비와 작업자의 충돌에 의한 인명 사고를 예방할 수 있는 효과가 발생한다.
도 1은 지게차 등의 중장비와 작업자의 충돌이 발생 가능한 상황을 나타낸 예시도.
도 2는 본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치의 기본 구성도.
도 3은 본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치에 영상 표시부가 부가된 상태를 나타낸 구성도.
도 4는 본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치에 소음 측정부와 음량 조절부가 부가된 상태를 나타낸 구성도.
도 5는 영상 표시부의 세부 구성도.
도 6은 본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치에 영상 저장부가 부가된 상태를 나타낸 구성도.
도 2는 본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치의 기본 구성도.
도 3은 본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치에 영상 표시부가 부가된 상태를 나타낸 구성도.
도 4는 본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치에 소음 측정부와 음량 조절부가 부가된 상태를 나타낸 구성도.
도 5는 영상 표시부의 세부 구성도.
도 6은 본 발명에 의한 인공지능을 이용하는 중장비용 충돌 예방 장치에 영상 저장부가 부가된 상태를 나타낸 구성도.
본 발명은 인공지능에 의한 영상분석을 이용하여 도 1에 도시된 바와 같은 상황에서의 지게차 등의 중장비와(A)과 작업자(B)의 충돌을 예방하는 장치에 관한 것으로써,
도 2에 도시된 바와 같이,
중장비의 후방 영상을 촬영하는 하나 이상의 후방 카메라로 구성되는 촬영부(100); 중장비의 후진기어로의 변속을 감지하여 변속 신호를 생성하는 감지부(110); 후진기어로의 변속이 감지되면, 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하는 영상 처리부(120); 및, 경고 신호가 생성되면, 중장비의 운전자가 인지 가능한 음량의 경고음을 출력하는 경고부(130); 를 포함하여 구성되는 것을 특징으로 하는 인공지능을 이용하는 중장비용 충돌 예방 장치에 관한 것이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예들을 상세하게 설명하고자 한다.
우선, 상기 촬영부(100)는 중장비의 후방 측에 하나 이상이 구비되어, 그 중장비의 후방 영상을 촬영하는 카메라로써, 중장비 운전자의 육안에 의한 후방 상황의 인식과 인공지능에 의한 후방 상황의 인식률을 좋게 하기 위해, FULL HD 급 이상의 영상을 촬영 가능한 고화질 카메라로 구성됨이 바람직하다.
즉, 상기 촬영부(100)를 통해 촬영되는 중장비의 후방 영상은 중장비의 운전자가 직접 확인 가능하도록 구성되고, 이와 동시에 인공지능에 의한 영상분석에 활용되도록 구성되며, 이는 곧, 본 발명이 인공지능에 의한 영상분석에만 의존하지 아니하고, 운전자와 인공지능이 서로의 불완전함을 보완할 수 있도록 구성됨을 의미한다.
다시 말해, 본 발명은 중장비의 운전자가 육안으로 인지하지 못한 중장비 후방의 작업자를 인공지능에 의한 영상분석으로 발견하여 중장비와 작업자의 충돌에 의한 인명 사고를 방지할 수 있도록 하는 효과가 발생하고, 인공지능이 인지하지 못한 중장비 후방의 작업자를 중장비의 운전자가 영상을 통해 육안으로 인지하여 중장비와 작업자의 충돌에 의한 인명 사고를 방지할 수 있도록 하는 효과가 발생한다.
따라서, 중장비의 운전자석 측에는 상기 촬영부(100)에서 촬영되는 중장비의 후방 영상을 7인치 이상의 화면에 표시하는 영상 표시부(140)가 구비되며, 상기 영상 표시부(140)의 화면에는 운행 중인 중장비의 후방 영상이 항상 표시되거나, 중장비의 기어 상태에 따라 후방 영상이 선택적으로 표시될 수 있다.(도 3 참고)
이때, 상기 촬영부(100)는 운행 중인 중장비의 후방을 항상 촬영하도록 구성될 수 있으나, 중장비의 기어 상태에 따라 후방 영상을 선택적으로 촬영하도록 구성되는 것이 보다 바람직하며, 이러한 촬영 방식의 차이에 따라 상기 영상 처리부(120)에 의한 영상분석 또한 후방 영상에 대하여 항상 실시되도록 구성되거나 후방 영상이 촬영될 때에만 실시되도록 구성될 수 있다.
또한, 상기 감지부(110)는 중장비의 내부에 구비되어 기어의 변속을 감지하는 감지 센서 또는 감지 장치로써, 중장비의 후진기어로의 변속을 감지하고, 감지된 기어의 상태에 따라 변속 신호를 생성하도록 구성된다.
이때, 상기 감지부(110)에서 생성되는 변속 신호는 상기 영상 표시부(140)와 상기 영상 처리부(120) 각각의 구동을 위한 신호로 활용되어, 영상 표시부(140)의 화면에 후방 영상이 표시되도록 할 수 있고, 영상 처리부(120)가 후방 영상에 대한 영상분석을 실시하도록 할 수 있다.
또한, 상기 영상 처리부(120)는 상기 촬영부(100)를 통해 촬영되는 후방 영상에 대한 영상분석을 실시하여 영상에 나타난 사람의 형상을 인식하는 분석 장치로써, 영상분석의 실시에 인공지능을 이용하는 것을 특징으로 한다.
이러한 인공지능의 구현에는 구글의 텐서 플로(Tensor flow) 등 다양한 오픈 소스 중 어느 하나를 이용할 수 있으나, 반드시 이에 한정되는 것은 아니며, 자체 개발이 가능하다면 그 소스를 이용하여도 무방하다.
구체적으로, 상기 영상 처리부(120)는 상기 감지부(110)를 통해 후진기어로의 변속이 감지되어, 변속 신호가 생성되면, 상기 촬영부(100)를 통해 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성할 수 있도록 구성된다.
이때, 상기 영상 처리부(120)가 상기 촬영부(100)를 통해 실시간으로 촬영되는 후방 영상의 이미지를 분석하는 방식으로는, 이미지 인식에 주로 사용되는 기술 중의 하나인 CNN(Convolutional Neural Network)을 이용할 수 있으며, 상기한 바와 같이, 이는 공지의 기술이므로, 이에 대한 상세한 설명은 생략하기로 한다.
또한, 상기 영상 처리부(120)가 영상에 나타난 사람의 전부 또는 일부 형상을 인식 가능한 거리 및 범위는 중장비로부터 7 내지 10m 이내의 거리임이 바람직하고, 160°이내의 범위임이 바람직하므로, 상기 촬영부(100)를 구성하는 카메라의 종류를 선택함에 있어 이러한 조건들이 고려되어야 한다.
다만, 상기한 범위는 중장비가 정지한 상태의 범위를 기준으로 하는 것이며, 중장비가 후진하거나 아래와 같이 전진하는 경우에는 상기 영상 처리부(120)가 영상에 나타난 사람의 전부 또는 일부 형상을 인식 가능한 거리 및 범위가 확장됨이 바람직하다.
따라서, 본 발명은 중장비가 정지한 상태 또는 시속 10km 미만의 속도에서는 상기 영상 처리부(120)가 영상에 나타난 사람의 전부 또는 일부 형상을 인식 가능한 거리 및 범위가 중장비로부터 7 내지 10m 이내로 형성되고, 160°이내의 범위로 형성되는 것을 특징으로 하되, 시속 10 내지 20km의 속도에서는 영상에 나타난 사람의 전부 또는 일부 형상을 인식 가능한 거리 및 범위가 중장비로부터 10 내지 15m 이내로 확장 형성되고, 170°이내의 범위로 확장 형성되는 것을 특징으로 하며, 시속 20km 이상의 속도에서는 그 거리 및 범위가 15 내지 20m 이내로 확장 형성되고, 180°이내의 범위로 확장 형성되는 것을 특징으로 한다.
이때, 이러한 기능의 실현을 위해 상기 촬영부(100)는 한 쌍 이상이 구비됨이 바람직하다.
또한, 상기 경고부(130)는 스피커, 사이렌 등 음향의 출력이 가능한 다양한 종류의 장치 중 어느 하나로 구성될 수 있는 출력 장치로써, 상기 영상 처리부(120)의 영상분석에 따른 경고 신호가 생성되는 경우에만 중장비의 운전자가 인지 가능한 음량의 경고음을 출력하도록 구성된다.
따라서, 상기 경고부(130)로부터 출력되는 경고음의 음량은 공장 또는 건설현장의 주변 소음을 감안하여 140 내지 150dB으로 설정될 수 있으나, 공장 또는 건설현장의 주변 소음을 실시간으로 반영하여 그 음량이 자동으로 조절되도록 구성될 수도 있다.
즉, 도 4에 도시된 바와 같이, 본 발명은 중장비 주변의 소음을 측정하는 소음 측정부(150) 및 측정된 소음을 기준으로 하여 상기 경고부(130)로부터 출력되는 경고음의 음량을 그 이상으로 조절하는 음량 조절부(160)를 포함하여 구성될 수 있으며, 이와 같은 상기 소음 측정부(150) 및 상기 음량 조절부(160)의 기능에 의해 본 발명은 필요 이상의 소음 발생을 억제할 수 있는 효과가 발생한다.
또한, 상기한 바와 같이, 본 발명은 중장비의 후방 영상만을 촬영하고, 그 후방 영상을 인공지능을 통해 실시간으로 분석하여, 영상에 나타난 작업자가 인식되는 즉시 중장비의 운전자에게 경고하도록 구성될 수 있으나, 후방 영상에 더하여 전방 영상을 촬영하고, 촬영된 전방 영상과 후방 영상을 인공지능을 통해 실시간으로 분석하여, 영상에 나타난 작업자가 인식되는 즉시 중장비의 운전자에게 경고하도록 구성될 수 있다.
구체적으로, 본 발명은 중장비의 전방 영상을 촬영하는 하나 이상의 전방 카메라와 후방 영상을 촬영하는 하나 이상의 후방 카메라로 구성되는 촬영부(100) 및 중장비의 전진기어로의 변속을 감지하고, 후진기어로의 변속을 감지하여 기어의 상태에 따라 서로 다른 변속 신호를 생성하는 감지부(110), 전진기어로의 변속이 감지되면, 촬영되는 전방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하며, 후진기어로의 변속이 감지되면, 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하는 영상 처리부(120) 및 경고 신호가 생성되면, 중장비의 운전자가 인지 가능한 음량의 경고음을 출력하는 경고부(130)를 포함하여 구성될 수 있다.
이때, 상기 촬영부(100)는 중장비 운전자에 의한 전방 또는 후방 상황의 인식과 인공지능에 의한 전방 또는 후방 상황의 인식률을 좋게 하기 위해, 상기 전방 카메라와 상기 후방 카메라 모두 FULL HD 급 이상의 영상을 촬영 가능한 고화질 카메라로 구성됨이 바람직하고, 중장비의 운전자석 측에 구비되는 영상 표시부(140)에는 중장비의 기어 상태에 따라 전방 영상 또는 후방 영상 중 어느 하나가 표시될 수 있다.
또한, 상기 영상 표시부(140)에는 동일한 면적으로 분할된 양쪽 화면에 전방 영상과 후방 영상이 각각 동시에 표시될 수 있으며, 중장비의 기어 상태에 따라 전방 영상 또는 후방 영상 중 어느 하나의 영상을 주화면으로 하고, 다른 영상을 주화면의 상단 일측에 표시되는 보조화면으로 하는 방식 등으로 동시에 표시될 수 있다.
따라서, 상기 촬영부(100)는 중장비의 기어 상태에 따라 중장비의 전방 또는 후방 중 어느 하나의 방향만을 촬영하도록 구성될 수 있으나, 전방과 후방을 동시에 촬영하도록 구성될 수 있으며, 이러한 촬영 방식의 차이에 따라 상기 영상 처리부(120)에 의한 영상분석 또한 전방 영상 또는 후방 영상 중 어느 하나에만 선택적으로 실시되도록 구성되거나 전방 영상과 후방 영상 전부에 대해 동시에 실시되도록 구성될 수 있다.
또한, 상기 감지부(110)는 중장비의 후진기어로의 변속이 감지되는 경우에 변속 신호를 생성할 수 있고, 전진기어로의 변속이 감지되는 경우에도 변속 신호를 생성하도록 구성될 수 있으며, 이러한 방식으로 생성되는 각각의 변속 신호는 서로 다른 종류의 것이다.
이하에서는 설명의 편의를 위하여, 중장비의 전진기어로의 변속이 감지되는 경우에 생성되는 변속 신호를 제1 변속 신호라 지칭하고, 중장비의 후진기어로의 변속이 감지되는 경우에 생성되는 변속 신호를 제2 변속 신호라 지칭하기로 한다.
또한, 상기 영상 처리부(120)는 상기 감지부(110)를 통해 전진기어로의 변속이 감지되고, 이에 따라 제1 변속 신호가 생성되면, 상기 촬영부(100)를 통해 촬영되는 전방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성할 수 있다.
또한, 상기한 바와 같이, 상기 영상 처리부(120)는 상기 감지부(110)를 통해 후진기어로의 변속이 감지되고, 이에 따라 제2 변속 신호가 생성되면, 상기 촬영부(100)를 통해 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성할 수 있다.
즉, 상기 영상 처리부(120)는 중장비가 전진하거나 전진 가능한 상태로 기어가 설정되는 경우에는 전방에 위치한 작업자와 중장비의 충돌을 방지하기 위한 목적으로 전방 영상에 대한 분석을 실시하나, 중장비가 후진하거나 후진 가능한 상태로 기어가 설정되는 경우에는 후방에 위치한 작업자와 중장비의 충돌을 방지하기 위한 목적으로 후방 영상에 대한 분석을 실시하며, 중장비의 전진 또는 후진에 관한 판단은 상기 제1 변속 신호 또는 상기 제2 변속 신호의 생성에 따른다.
이때, 상기 영상 처리부(120)가 전방 영상에 대해 영상분석을 실시하는 방식은 후방 영상에 대해 영상분석을 실시하는 방식과 동일하고, 영상분석에 대한 결과로 경고 신호가 생성됨에 따라 상기 경고부(130)로부터 경고음이 출력되는 것 또한 동일하며, 상기 소음 측정부(150)와 상기 음량 조절부(160)가 적용되는 것 또한 동일하다.
또한, 상기 영상 처리부(120)가 영상에 나타난 사람의 전부 또는 일부 형상을 인식 가능한 거리 및 범위 등 상기한 구체적인 특징 및 세부 사항들 또한 모두 동일하다 할 것이다.
또한, 도 5에 도시된 바와 같이, 본 발명은 상기 촬영부(100)를 통해 촬영되는 영상을 표시하기 위한 용도로 중장비의 운전자석 측에 구비되는 영상 표시부(140)에 하나 이상의 점멸부(141)와 신호부(142)가 각각 구비되는 것을 특징으로 한다.
이때, 상기 하나 이상의 점멸부(141)와 상기 신호부(142)는 각각 상기 영상 처리부(120)에서 경고 신호가 생성되는 경우에만 점멸하도록 구성되고, 신호음을 출력하도록 구성되어, 중장비의 운전자가 전방 또는 후방에 위치한 작업자를 인지할 수 있도록 한다.
이에 더하여, 도 6에 도시된 바와 같이, 본 발명은 촬영되는 영상을 저장하되, 저장된 영상 중 사람의 전부 또는 일부 형상이 인식된 영상을 별도로 추출하여 저장하는 영상 저장부(170)를 포함하여 구성되는 것을 특징으로 한다.
즉, 상기 영상 저장부(170)는 사고 발생시 증거 영상을 확보하기 위한 수단으로 차량에 설치되는 공지의 블랙박스들과 동일하게, 촬영되는 영상을 메모리에 저장하도록 구성되며, 상기 메모리에 저장되는 영상은 필요에 따라 재생될 수 있고, 삭제될 수 있으며, 복사될 수 있다.
이때, 공지의 블랙박스들에는 차량에 충격이 발생한 당시의 영상을 별도로 추출하여 저장하는 기능이 구비되어 있으며, 상기 영상 저장부(170)는 이와 같은 기능을 응용하여, 저장된 영상 중 사람의 전부 또는 일부 형상이 인식된 영상을 별도로 추출하여 저장하도록 구성될 수 있다.
이와 같은 구성에 의하여, 상기 영상 처리부(120)는 영상에 나타난 사람의 전부 또는 일부 형상이 인식되는 즉시 경고 신호를 생성할 수 있으나, 사람의 전부 또는 일부 형상이 인식된 영상이 추출되어 저장됨에 따라 경고 신호를 생성할 수도 있으며, 추출되어 저장된 영상은 필요에 따라 재생될 수 있고, 삭제될 수 있으며, 복사될 수 있다.
이하에서는 설명의 편의를 위하여, 상기 촬영부(100)에 의하여 촬영되는 모든 영상을 제1 영상이라 지칭하고, 일반 영상 중 추출되어 별도로 저장된 영상을 제2 영상이라 지칭하기로 하며, 상기 제2 영상은 사용자에 의한 선택적인 삭제가 용이하도록 일정한 기준에 의해 분할되며 저장됨이 바람직하다.
또한, 본 발명은 상기 영상 저장부(170)에 저장된 영상 중 사람의 전부 또는 일부 형상이 인식된 영상, 즉, 제2 영상을 이용하여 상기 영상 처리부(120)가 사람의 전부 또는 일부 형상을 재학습하도록 구성되는 것을 특징으로 한다.
이때, 본 발명의 사용자는 별도로 추출된 제2 영상을 확인하여 작업자가 촬영되지 않은 제2 영상을 선택적으로 삭제함으로써, 상기 영상 처리부(120)가 올바른 제2 영상을 대상으로 재학습하도록 할 수 있으며, 사용자에 의해 삭제된 영상 또한 영상 처리부(120)의 인식률을 높이기 위한 샘플로써 재학습에 활용될 수 있다.
따라서, 제2 영상 중 사용자에 의해 삭제된 영상은 재학습에 활용되기 위해 상기 영상 저장부(170)에 별도로 저장 또는 임시로 저장될 수 있으며, 재학습에 활용된 후에는 삭제될 수 있다.
위에서 소개된 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상이 충분히 전달될 수 있도록 하기 위해, 예로써 제공되는 것이며, 본 발명은 위에서 설명된 실시예들에 한정되지 않고, 다른 형태로 구체화 될 수도 있다.
본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장 또는 축소되어 표현될 수 있다.
또한, 명세서 전체에 걸쳐서 동일한 참조 번호들은 동일한 구성요소들을 나타낸다.
100 : 촬영부 110 : 감지부
120 : 영상 처리부 130 : 경고부
140 : 영상 표시부 141 : 점멸부
142 : 신호부 150 : 소음 측정부
160 : 음량 조절부 170 : 영상 저장부
120 : 영상 처리부 130 : 경고부
140 : 영상 표시부 141 : 점멸부
142 : 신호부 150 : 소음 측정부
160 : 음량 조절부 170 : 영상 저장부
Claims (6)
- 중장비의 후방 영상을 촬영하는 하나 이상의 후방 카메라로 구성되는 촬영부(100);
중장비의 후진기어로의 변속을 감지하여 변속 신호를 생성하는 감지부(110);
후진기어로의 변속이 감지되면, 촬영되는 후방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하는 영상 처리부(120); 및,
경고 신호가 생성되면, 중장비의 운전자가 인지 가능한 음량의 경고음을 출력하는 경고부(130); 를 포함하여 구성되는 것을 특징으로 하는 인공지능을 이용하는 중장비용 충돌 예방 장치.
- 제1항에 있어서,
상기 촬영부(100)는,
중장비의 전방 영상을 촬영하는 하나 이상의 전방 카메라를 더 포함하여 구성되는 것을 특징으로 하고,
상기 감지부(110)는,
상기 구성에 더하여, 중장비의 전진기어로의 변속을 감지하여 다른 변속 신호를 생성하도록 구성되는 것을 특징으로 하며,
상기 영상 처리부(120)는,
상기 구성에 더하여, 전진기어로의 변속이 감지되면, 촬영되는 전방 영상을 딥 러닝 방식을 통해 실시간으로 분석하여 영상에 나타난 사람의 전부 또는 일부 형상을 인식하고, 인식에 따른 경고 신호를 생성하도록 구성되는 것을 특징으로 하는 인공지능을 이용하는 중장비용 충돌 예방 장치.
- 제1항 또는 제2항에 있어서,
상기 인공지능을 이용하는 중장비용 충돌 예방 장치는,
기어 변속에 따라 촬영되는 영상을 화면에 표시하도록 구성되되,
경고 신호가 생성되면 점멸하는 하나 이상의 점멸부(141)가 구비되고,
경고 신호가 생성되면 신호음을 출력하는 신호부(142)가 구비되는 영상 표시부(140)를 포함하여 구성되는 것을 특징으로 하는 인공지능을 이용하는 중장비용 충돌 예방 장치.
- 제1항 또는 제2항에 있어서,
상기 인공지능을 이용하는 중장비용 충돌 예방 장치는,
중장비 주변의 소음을 측정하는 소음 측정부(150); 및,
측정된 소음을 기준으로 하여, 상기 경고부(130)로부터 출력되는 경고음의 음량을 그 이상으로 조절하는 음량 조절부(160); 를 포함하여 구성되는 것을 특징으로 하는 인공지능을 이용하는 중장비용 충돌 예방 장치.
- 제1항 또는 제2항에 있어서,
상기 인공지능을 이용하는 중장비용 충돌 예방 장치는,
촬영되는 영상을 저장하되,
저장된 영상 중 사람의 전부 또는 일부 형상이 인식된 영상을 별도로 저장하는 영상 저장부(170)를 포함하여 구성되는 것을 특징으로 하는 인공지능을 이용하는 중장비용 충돌 예방 장치.
- 제5항에 있어서,
상기 인공지능을 이용하는 중장비용 충돌 예방 장치는,
상기 영상 저장부(170)에 저장된 영상 중 사람의 전부 또는 일부 형상이 인식된 영상을 이용하여 영상 처리부(120)가 사람의 전부 또는 일부 형상을 재학습하도록 구성되는 것을 특징으로 하는 인공지능을 이용하는 중장비용 충돌 예방 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190165868A KR102306942B1 (ko) | 2019-12-12 | 2019-12-12 | 인공지능을 이용하는 중장비용 충돌 예방 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190165868A KR102306942B1 (ko) | 2019-12-12 | 2019-12-12 | 인공지능을 이용하는 중장비용 충돌 예방 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210074803A true KR20210074803A (ko) | 2021-06-22 |
| KR102306942B1 KR102306942B1 (ko) | 2021-09-30 |
Family
ID=76600843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190165868A KR102306942B1 (ko) | 2019-12-12 | 2019-12-12 | 인공지능을 이용하는 중장비용 충돌 예방 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102306942B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230016421A (ko) * | 2021-07-26 | 2023-02-02 | 금오공과대학교 산학협력단 | 지능형 위험인지 기능을 갖춘 산업용 스마트 안전 조명 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102461814B1 (ko) | 2022-07-14 | 2022-11-01 | 에이치씨엠 주식회사 | 전동 핸드 팔레트 트럭 장착형 안전보호장치 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980040877U (ko) * | 1996-12-23 | 1998-09-15 | 김영귀 | 자동차용 경음기의 음량 조절 시스템 |
| CN201251627Y (zh) * | 2008-04-11 | 2009-06-03 | 上海海镭激光科技有限公司 | 一种集装箱叉车倒车报警图像显示装置 |
| KR20120084868A (ko) | 2011-01-21 | 2012-07-31 | 현대중공업 주식회사 | 감지센서를 구비한 지게차 |
| KR20120108517A (ko) | 2011-03-24 | 2012-10-05 | 김문형 | 지게차 충돌 방지 장치 |
| JP2013216427A (ja) * | 2012-04-06 | 2013-10-24 | Toshiba Elevator Co Ltd | エレベータ報知音量制御装置 |
| CN107031629A (zh) * | 2017-03-10 | 2017-08-11 | 上海大学 | 一种3d机器视觉叉车行驶辅助安全系统及方法 |
| KR101774200B1 (ko) | 2017-07-13 | 2017-09-01 | 최기성 | 무선 통신을 이용한 지게차 근접 경고 및 충돌 방지 장치 |
| KR20180047149A (ko) * | 2016-10-31 | 2018-05-10 | 고려대학교 산학협력단 | 충돌 위험 경고 장치 및 방법 |
| KR20190101926A (ko) * | 2019-06-04 | 2019-09-02 | 엘지전자 주식회사 | 자율 주행 차량과 그 제어 방법 |
-
2019
- 2019-12-12 KR KR1020190165868A patent/KR102306942B1/ko active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980040877U (ko) * | 1996-12-23 | 1998-09-15 | 김영귀 | 자동차용 경음기의 음량 조절 시스템 |
| CN201251627Y (zh) * | 2008-04-11 | 2009-06-03 | 上海海镭激光科技有限公司 | 一种集装箱叉车倒车报警图像显示装置 |
| KR20120084868A (ko) | 2011-01-21 | 2012-07-31 | 현대중공업 주식회사 | 감지센서를 구비한 지게차 |
| KR20120108517A (ko) | 2011-03-24 | 2012-10-05 | 김문형 | 지게차 충돌 방지 장치 |
| JP2013216427A (ja) * | 2012-04-06 | 2013-10-24 | Toshiba Elevator Co Ltd | エレベータ報知音量制御装置 |
| KR20180047149A (ko) * | 2016-10-31 | 2018-05-10 | 고려대학교 산학협력단 | 충돌 위험 경고 장치 및 방법 |
| CN107031629A (zh) * | 2017-03-10 | 2017-08-11 | 上海大学 | 一种3d机器视觉叉车行驶辅助安全系统及方法 |
| KR101774200B1 (ko) | 2017-07-13 | 2017-09-01 | 최기성 | 무선 통신을 이용한 지게차 근접 경고 및 충돌 방지 장치 |
| KR20190101926A (ko) * | 2019-06-04 | 2019-09-02 | 엘지전자 주식회사 | 자율 주행 차량과 그 제어 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230016421A (ko) * | 2021-07-26 | 2023-02-02 | 금오공과대학교 산학협력단 | 지능형 위험인지 기능을 갖춘 산업용 스마트 안전 조명 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102306942B1 (ko) | 2021-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6888950B2 (ja) | 画像処理装置、外界認識装置 | |
| KR101083885B1 (ko) | 지능형 운전 보조 시스템들 | |
| US8379924B2 (en) | Real time environment model generation system | |
| CN109478324B (zh) | 图像处理装置、外界识别装置 | |
| US8798867B2 (en) | Method for operating a pedestrian protection system and a motor vehicle | |
| KR102306942B1 (ko) | 인공지능을 이용하는 중장비용 충돌 예방 장치 | |
| KR102300899B1 (ko) | 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트한, 자동차간 통신 기반의 협조적인 블라인드 스팟 경보 방법 및 장치 | |
| CN103139595B (zh) | 基于车辆的成像系统的功能诊断和验证 | |
| US8140226B2 (en) | Security system and a method to derive a security signal | |
| CN109263557B (zh) | 车辆盲区侦测方法 | |
| KR20170079096A (ko) | 지능형 차량용 블랙박스 | |
| KR101660254B1 (ko) | 주차차단기의 번호인식시스템 | |
| US20200128165A1 (en) | Method for Predictable Exposure Control of at Least One First Vehicle Camera | |
| US20130107049A1 (en) | Accident avoiding system and method | |
| KR101427889B1 (ko) | 차량 도어 충돌 방지 시스템 및 방법 | |
| WO2017150136A1 (ja) | 外乱除去装置 | |
| KR102471006B1 (ko) | 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법 | |
| KR101738025B1 (ko) | 블랙박스를 이용한 사고판단시스템 및 그 구동방법 | |
| KR100908076B1 (ko) | 차량용 측, 후방 감지 장치 | |
| KR102155771B1 (ko) | 차량 측면 설치용 카메라 및 그 카메라를 이용한 영상 기록 시스템 | |
| CN109941218A (zh) | 一种报警方法、报警装置和车辆 | |
| KR102197196B1 (ko) | 차량용 블랙박스의 초점 제어 장치 및 그 방법 | |
| KR102597267B1 (ko) | 통학 차량용 안전운전 제공 장치 및 방법 | |
| KR100794625B1 (ko) | 룸미러 일체형 교통사고 자동녹화 시스템 | |
| US20190188500A1 (en) | Apparatus for monitoring object in low light environment and monitoring method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |