KR102565359B1 - Obstacle detection device and obstacle detection system for detecting obstacle in front of fork of fork lift - Google Patents

Obstacle detection device and obstacle detection system for detecting obstacle in front of fork of fork lift Download PDF

Info

Publication number
KR102565359B1
KR102565359B1 KR1020210076889A KR20210076889A KR102565359B1 KR 102565359 B1 KR102565359 B1 KR 102565359B1 KR 1020210076889 A KR1020210076889 A KR 1020210076889A KR 20210076889 A KR20210076889 A KR 20210076889A KR 102565359 B1 KR102565359 B1 KR 102565359B1
Authority
KR
South Korea
Prior art keywords
obstacle
laser
forklift
image
fork
Prior art date
Application number
KR1020210076889A
Other languages
Korean (ko)
Other versions
KR20220167648A (en
Inventor
이정표
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to KR1020210076889A priority Critical patent/KR102565359B1/en
Publication of KR20220167648A publication Critical patent/KR20220167648A/en
Application granted granted Critical
Publication of KR102565359B1 publication Critical patent/KR102565359B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Structural Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Civil Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

지게차의 포크 전방에 위치한 장애물을 감지하기 위한 장애물 감지 장치가 개시된다. 장애물 감지 장치는 지게차에 설치된 카메라로부터 지게차의 전방을 나타내는 전방 영상을 수신하고, 장애물 감지 장치는 프로세서 및 복수의 명령어들을 포함하는 메모리를 포함하고, 프로세서는 복수의 명령어들의 실행에 따라, 전방 영상으로부터 지게차의 포크에 설치된 레이저 출력부로부터 출력된 빔에 의해 장애물에 표시되는 레이저 이미지를 인식하고, 레이저 이미지의 인식 결과에 따라, 지게차의 포크 전방에 위치한 장애물을 검출한다.An obstacle detection device for detecting an obstacle located in front of a fork of a forklift is disclosed. The obstacle sensing device receives a front image representing the front of the forklift from a camera installed on the forklift, the obstacle sensing device includes a processor and a memory including a plurality of instructions, and the processor, according to execution of the plurality of instructions, outputs a forward image from the front image. The laser image displayed on the obstacle is recognized by the beam output from the laser output unit installed on the fork of the forklift, and the obstacle located in front of the fork of the forklift is detected according to the recognition result of the laser image.

Description

지게차 포크 전방의 장애물을 감지하기 위한 장애물 감지 장치 및 장애물 감지 시스템{OBSTACLE DETECTION DEVICE AND OBSTACLE DETECTION SYSTEM FOR DETECTING OBSTACLE IN FRONT OF FORK OF FORK LIFT}Obstacle detection device and obstacle detection system for detecting obstacles in front of forklift fork

본 발명은 지게차 포크 전방의 장애물을 감지하기 위한 장애물 감지 장치 및 장애물 감지 시스템에 관한 것이다.The present invention relates to an obstacle detection device and an obstacle detection system for detecting an obstacle in front of a fork of a forklift.

지게차(fork lift)는 건설현장 또는 산업현장에서 고중량의 화물을 들어올리거나 내리고, 또는 원하는 위치로 운반하는데 이용되는 장비이다. 지게차의 운전자는 지게차의 전방에 설치된 포크(또는 지게발(fork)) 상에 화물을 위치시키고, 포크를 상하로 움직임으로써 화물을 원하는 위치로 운반할 수 있다.A fork lift is a device used to lift or lower a heavy load at a construction site or industrial site, or transport it to a desired location. The driver of the forklift can move the cargo to a desired location by placing the cargo on a fork (or fork) installed in front of the forklift and moving the fork up and down.

한편, 포크가 지게차의 전방에 설치되어 있기 때문에, 작업 중 포크가 상승하게 되는 경우 운전자의 시야 확보가 어려운 문제가 있다. On the other hand, since the fork is installed in front of the forklift, it is difficult to secure the driver's field of view when the fork is raised during work.

이러한 문제를 해결하기 위해, 지게차 전방에 카메라를 설치하고, 카메라를 이용하여 포크 하부 영역을 촬영함으로써 운전자에게 전방 영상을 제공할 수 있다. 그러나, 이렇게 얻어진 전방 영상에는 포크의 일부분만 나타나므로 운전자는 포크의 위치를 파악하기 어려워 지게차 포크 전방의 장애물(또는 보행자)과의 충돌이 발생할 수 있다. 특히, 지게차의 포크는 전방으로 돌출된 형태이므로, 돌출된 포크 주변의 장애물을 감지 또는 검출하는 것이 요구된다.In order to solve this problem, a camera may be installed in front of the forklift, and a front image may be provided to the driver by capturing an area under the fork using the camera. However, since only a part of the fork appears in the front image obtained in this way, it is difficult for the driver to determine the location of the fork, and a collision with an obstacle (or pedestrian) in front of the fork of the forklift may occur. In particular, since the fork of the forklift protrudes forward, it is required to sense or detect an obstacle around the protruding fork.

본 발명이 해결하고자 하는 과제는 지게차 포크 전방의 장애물을 감지하기 위한 장애물 감지 장치 및 장애물 감지 시스템을 제공하는 것에 있다.An object of the present invention is to provide an obstacle detection device and an obstacle detection system for detecting an obstacle in front of a fork of a forklift.

본 발명이 해결하고자 하는 과제는 지게차 포크 전방에 맺힌 레이저 이미지를 인식하고, 인식된 레이저 이미지의 형상과 관련된 이미지 정보를 결정하고, 결정된 이미지 정보를 이용하여 포크 전방의 장애물을 감지하고, 감지된 장애물까지의 거리를 결정할 수 있는 장애물 감지 장치 및 장애물 감지 시스템을 제공하는 것에 있다.The problem to be solved by the present invention is to recognize a laser image formed in front of the fork of a forklift, determine image information related to the shape of the recognized laser image, detect an obstacle in front of the fork using the determined image information, and detect the obstacle It is an object of the present invention to provide an obstacle detecting device and an obstacle detecting system capable of determining a distance to an object.

본 발명의 실시 예들에 따른 지게차의 포크 전방에 위치한 장애물을 감지하기 위한 장애물 감지 장치는, 장애물 감지 장치는 지게차에 설치된 카메라로부터 지게차의 전방을 나타내는 전방 영상을 수신하고, 장애물 감지 장치는 프로세서 및 복수의 명령어들을 포함하는 메모리를 포함하고, 프로세서는 복수의 명령어들의 실행에 따라, 전방 영상으로부터 지게차의 포크에 설치된 레이저 출력부로부터 출력된 빔에 의해 장애물에 표시되는 레이저 이미지를 인식하고, 레이저 이미지의 인식 결과에 따라, 지게차의 포크 전방에 위치한 장애물을 검출한다.In the obstacle detection device for detecting an obstacle located in front of a fork of a forklift according to embodiments of the present invention, the obstacle detection device receives a front image indicating the front of the forklift from a camera installed on the forklift, and the obstacle detection device includes a processor and a plurality of A memory including instructions of, and the processor recognizes a laser image displayed on an obstacle by a beam output from a laser output unit installed on a fork of a forklift from a front image according to execution of a plurality of instructions, and According to the recognition result, an obstacle located in front of the fork of the forklift is detected.

본 발명의 실시 예들에 따른 지게차의 포크 전방에 위치한 장애물을 감지하기 위한 장애물 감지 시스템은, 지게차의 전방에 설치되어 전방 영상을 생성하도록 구성되는 카메라, 지게차의 전방에 설치되고, 지게차의 전방으로 빔을 출력하도록 구성되는 레이저 출력부 및 전방 영상으로부터 빔에 의해 장애물에 표시되는 레이저 이미지를 인식하여, 장애물을 감지하도록 구성되는 장애물 감지 장치를 포함하고, 장애물 감지 장치는 프로세서 및 복수의 명령어들을 포함하는 메모리를 포함하고, 프로세서는 복수의 명령어들의 실행에 따라, 전방 영상에 나타난 레이저 이미지를 인식하고, 전방 영상으로부터 지게차의 포크에 설치된 레이저 출력부로부터 출력된 빔에 의해 장애물에 표시되는 레이저 이미지를 인식하고, 레이저 이미지의 인식 결과에 따라, 지게차의 포크 전방에 위치한 장애물을 검출한다.An obstacle detection system for detecting an obstacle located in front of a fork of a forklift according to embodiments of the present invention includes a camera installed in front of the forklift and configured to generate a front image, a camera installed in front of the forklift, and a beam forward of the forklift It includes a laser output unit configured to output and an obstacle detecting device configured to detect an obstacle by recognizing a laser image displayed on an obstacle by a beam from a front image, wherein the obstacle detecting device includes a processor and a plurality of instructions. It includes a memory, and the processor recognizes the laser image displayed in the front image according to the execution of a plurality of instructions, and recognizes the laser image displayed on the obstacle by the beam output from the laser output unit installed on the fork of the forklift from the front image. and detects an obstacle located in front of the fork of the forklift according to the recognition result of the laser image.

본 발명의 실시 예들에 따르면 본 발명이 해결하고자 하는 과제는 지게차의 전방의 장애물에 표시된 마커를 인식하고, 마커의 형상과 관련된 마커 정보를 결정하고, 결정된 마커 정보를 이용하여 장애물까지의 거리를 결정할 수 있어, 지게차의 작업자는 전방의 장애물를 미리 감지하여 안전사고를 방지할 수 있는 효과가 있다.According to embodiments of the present invention, the problem to be solved by the present invention is to recognize a marker displayed on an obstacle in front of a forklift, determine marker information related to the shape of the marker, and determine a distance to the obstacle using the determined marker information. Therefore, the operator of the forklift can detect obstacles in front in advance to prevent safety accidents.

도 1은 본 발명의 실시 예들에 따른 지게차(fork lift)를 나타낸다.
도 2는 본 발명의 실시 예들에 따른 장애물 감지를 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예들에 따른 장애물 감지 장치 및 장애물 감지 시스템을 나타낸다.
도 4는 본 발명의 실시 예들에 따른 레이저 출력부를 나타낸다.
도 5는 본 발명의 실시 예들에 따른 레이저 출력부를 나타낸다.
도 6은 본 발명의 실시 예들에 따른 장애물 감지 장치에 의한 장애물까지의 거리를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예들에 따른 장애물 감지 장치에 의한 장애물까지의 거리를 결정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시 예들에 따른 장애물 감지 장치에 의한 장애물까지의 거리를 결정하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예들에 따른 장애물 감지 장치가 마커를 인식하는 것을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예들에 따른 장애물 감지 방법을 나타내는 플로우 차트이다.
도 11은 본 발명의 실시 예들에 따른 장애물 감지 장치의 작동을 나타내는 플로우 차트이다.1 shows a fork lift according to embodiments of the present invention.
2 is a diagram for explaining obstacle detection according to embodiments of the present invention.
3 shows an obstacle detection device and an obstacle detection system according to embodiments of the present invention.
4 shows a laser output unit according to embodiments of the present invention.
5 shows a laser output unit according to embodiments of the present invention.
6 is a diagram for explaining a method of determining a distance to an obstacle by an obstacle detecting device according to embodiments of the present invention.
7 is a diagram for explaining a method of determining a distance to an obstacle by an obstacle detecting device according to embodiments of the present invention.
8 is a diagram for explaining a method of determining a distance to an obstacle by an obstacle detecting device according to embodiments of the present disclosure.
9 is a diagram for explaining that an obstacle detecting apparatus according to embodiments of the present invention recognizes a marker.
10 is a flowchart illustrating an obstacle detection method according to example embodiments.
11 is a flowchart illustrating the operation of an obstacle detection device according to embodiments of the present invention.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.Although not defined differently, all terms including technical terms and scientific terms used herein have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms defined in commonly used dictionaries are additionally interpreted as having meanings consistent with related technical literature and currently disclosed content, and are not interpreted in ideal or very formal meanings unless defined.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein.

도 1은 본 발명의 실시 예들에 따른 지게차(fork lift)를 나타낸다. 도 1을 참조하면, 지게차(100)는 건설현장 또는 산업현장에서 고중량의 화물을 들어올리거나 내리고, 또는 원하는 위치로 운반할 수 있다.1 shows a fork lift according to embodiments of the present invention. Referring to FIG. 1 , a forklift 100 can lift or lower a heavy load at a construction site or industrial site, or transport it to a desired location.

지게차(100)는 바디(110), 마스트(mast; 120), 핑거보드(finger board; 130), 포크(fork; 140)를 포함할 수 있다.The forklift 100 may include a body 110, a mast 120, a finger board 130, and a fork 140.

바디(110)는 지게차(100)의 몸체 부분으로서, 지게차(100)의 이동을 지원하는 부분일 수 있다. 실시 예들에 따라, 바디(110)는 운전석, 모터와 같은 구동원, 지게차(100)를 제어하기 위한 제어부를 포함할 수 있다. 또한, 바디(110)에는 바퀴가 결합될 수 있고, 바디(110)에 의해 생성된 구동력에 따라 바퀴가 회전함으로써 지게차(100)가 이동할 수 있다.The body 110 is a body part of the forklift 100, and may be a part that supports movement of the forklift 100. According to embodiments, the body 110 may include a driver's seat, a driving source such as a motor, and a control unit for controlling the forklift 100 . In addition, wheels may be coupled to the body 110, and the forklift 100 may move as the wheels rotate according to the driving force generated by the body 110.

마스트(120)는 바디(110) 전방에 결합될 수 있다. 마스트(120)는 지면과 수직하게 설치된 레일(또는 체인)을 포함할 수 있다. 실시 예들에 따라, 마스트(120)의 레일은 지면에 수직한 방향을 따라 이동할 수 있다.The mast 120 may be coupled to the front of the body 110. The mast 120 may include a rail (or chain) installed perpendicularly to the ground. According to embodiments, the rail of the mast 120 may move along a direction perpendicular to the ground.

핑거보드(130)는 마스트(120)에 결합될 수 있다. 실시 예들에 따라, 핑거보드(130)는 마스트(120)의 레일과 결합되어, 마스트(120)의 레일의 운동에 따라 상하로 움직일 수 있다. 예컨대, 핑거보드(130)는 지게차(100)의 바디(110)의 제어에 따라 지면과 수직한 방향을 따라 이동할 수 있다.The fingerboard 130 may be coupled to the mast 120 . According to embodiments, the fingerboard 130 is coupled to the rail of the mast 120 and can move up and down according to the movement of the rail of the mast 120 . For example, the fingerboard 130 may move in a direction perpendicular to the ground under the control of the body 110 of the forklift 100 .

포크(140)는 화물이 안착되는 부분으로서, 지게차(100)의 전방에 설치될 수 있다. 포크(140)는 지면과 평행하며 화물이 안착되는 안착면을 포함할 수 있고, 안착면은 지게차(100 전방으로 돌출될 수 있다.The fork 140 is a part on which cargo is seated, and may be installed in front of the forklift 100. The fork 140 is parallel to the ground and may include a seating surface on which cargo is seated, and the seating surface may protrude forward of the forklift 100 .

실시 예들에 따라, 포크(140)는 핑거보드(130)에 결합될 수 있고, 핑거보드(130)의 수직 이동에 따라 포크(140)의 수직 위치도 이동될 수 있다. 또한, 실시 예들에 따라, 포크(140)는 한 쌍일 수 있고, 한 쌍의 포크들(140)은 핑거보드(130)에 결합된 상태에서 수평 이동될 수 있다. 예컨대, 핑거보드(130)는 포크들(140) 각각을 좌우로 이동시킬 수 있는 포크 이동 수단을 구비할 수 있다. 이에 따라, 한 쌍의 포크들(140) 사이의 간격이 조절될 수 있다.According to embodiments, the fork 140 may be coupled to the fingerboard 130, and the vertical position of the fork 140 may also be moved according to the vertical movement of the fingerboard 130. Also, according to embodiments, the forks 140 may be a pair, and the pair of forks 140 may move horizontally while being coupled to the fingerboard 130 . For example, the fingerboard 130 may include a fork moving means capable of moving each of the forks 140 left and right. Accordingly, the distance between the pair of forks 140 may be adjusted.

카메라(150)는 지게차(100)의 전방에 설치되어, 지게차(100)의 전방을 촬영하고 전방을 나타내는 영상을 생성할 수 있다. 실시 예들에 따라, 카메라(150)는 핑거보드(130)에 결합되어 지게차(100)의 전방을 촬영하고, 전방 영상(IMG)을 생성할 수 있다.The camera 150 may be installed in front of the forklift 100 to photograph the front of the forklift 100 and generate an image representing the front. According to embodiments, the camera 150 may be coupled to the fingerboard 130 to photograph the front of the forklift 100 and generate a front image IMG.

핑거보드(130)는 지게차(100)의 작동에 따라 상승하는 경우, 핑거보드(130)와 결합된 포크(140) 및 카메라(150)도 함께 상승할 수 있다. 지게차(100)가 화물을 적재장소에 내려놓을 때 포크(140)가 상승되고, 이에 따라, 운전자의 시야가 화물에 의해 가려지게 되어 안전사고가 발생할 수 있다. 특히, 포크(140)의 상승에 따라 생성된 포크(140) 하부의 공간에 장애물이 존재하는 경우, 안전사고가 발생할 수 있다.When the fingerboard 130 rises according to the operation of the forklift 100, the fork 140 and the camera 150 coupled with the fingerboard 130 may also rise together. When the forklift 100 puts the cargo down on the loading site, the fork 140 is raised, and accordingly, the driver's field of view is obstructed by the cargo, which may cause a safety accident. In particular, when an obstacle exists in the space under the fork 140 created as the fork 140 rises, a safety accident may occur.

본 발명의 실시 예들에 따르면, 포크(140)와 함께 핑거보드(130)에 결합된 카메라(150)는 포크(140)의 상승과 함께 상승될 수 있고, 이에 따라, 지게차(100)의 전방(특히, 포크(140) 하부)을 나타내는 전방 영상(IMG)을 생성하므로, 운전자는 전방 영상(IMG)을 통해 지게차(100) 전방에 장애물을 인식할 수 있어 안전사고가 방지될 수 있는 효과가 있다. According to embodiments of the present invention, the camera 150 coupled to the fingerboard 130 together with the fork 140 can be raised together with the fork 140, and thus, the front of the forklift 100 ( In particular, since the front image IMG representing the lower part of the fork 140 is generated, the driver can recognize an obstacle in front of the forklift 100 through the front image IMG, thereby preventing safety accidents. .

레이저 출력부(160)는 지게차(100)의 전방에 설치되어, 지게차(100)의 전방으로 빔을 방출함으로써 지게차(100)의 전방의 장애물에 레이저 이미지를 표시할 수 있다. 실시 예들에 따라, 레이저 출력부(160)는 레이저(laser) 또는 LED(light emitting diode)와 같은 광원을 포함하고, 해당 광원으로부터 출력되는 빛을 빔의 형태로 전방으로 출력할 수 있다.The laser output unit 160 is installed in front of the forklift 100 and emits a beam forward of the forklift 100 to display a laser image on an obstacle in front of the forklift 100 . According to embodiments, the laser output unit 160 may include a light source such as a laser or a light emitting diode (LED), and output light output from the light source forward in the form of a beam.

실시 예들에 따라, 레이저 출력부(160)는 주기적으로 빔을 방출할 수 있다. 예컨대, 레이저 출력부(160)는 미리 설정된 방출 주기마다 빔을 방출할 수 있다.According to embodiments, the laser output unit 160 may periodically emit beams. For example, the laser output unit 160 may emit a beam at each preset emission period.

실시 예들에 따라, 레이저 출력부(160)는 지게차(100)의 포크(140)에 설치될 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.According to embodiments, the laser output unit 160 may be installed on the fork 140 of the forklift 100, but embodiments of the present invention are not limited thereto.

도 2는 본 발명의 실시 예들에 따른 장애물 감지를 설명하기 위한 도면이다. 도 2를 참조하면, 지게차(100)의 포크(140) 및 포크(140)의 전방에 위치한 장애물(OBS)이 나타나 있다.2 is a diagram for explaining obstacle detection according to embodiments of the present invention. Referring to FIG. 2 , a fork 140 of the forklift 100 and an obstacle OBS located in front of the fork 140 are shown.

도 1을 참조하여 설명한 바와 같이, 지게차(100)의 포크(140)는 지게차(100)의 전방으로 돌출된 형상을 가지고 있고, 지게차(100)의 작업자는 이렇게 돌출된 포크(140)를 이용하여 물체를 운반한다. 예를 들어, 팔레트(pallet)와 같은 거치대는 지게차(100)의 포크(140)가 삽입될 수 있는 공간을 구비하고 있고, 작업자는 거치대에 마련된 공간에 포크(140)를 삽입시켜 거치대를 포크(140)위에 안착시킨 후, 거치대 상면에 물체를 안착시켜 물체를 운반한다.As described with reference to FIG. 1, the fork 140 of the forklift 100 has a shape protruding forward of the forklift 100, and the operator of the forklift 100 uses the protruding fork 140 transport an object For example, a cradle such as a pallet has a space into which the fork 140 of the forklift 100 can be inserted, and the operator inserts the fork 140 into the space provided in the cradle to move the cradle to the fork ( 140), and then transport the object by seating the object on the upper surface of the cradle.

포크(140)가 지게차(100)의 전방으로 돌출된 형상을 가지고 있으므로, 포크(140)의 끝단 전방 영역에 장애물이 있는지 여부를 검출하는 것이 필요하다. Since the fork 140 has a shape protruding forward of the forklift 100, it is necessary to detect whether or not there is an obstacle in an area in front of the tip of the fork 140.

도 2의 (a)와 (b)는 모두 지게차(100)의 전방에 장애물(OBS)이 위치하는 것을 나타낸다. 도 2의 (a)에 도시된 바와 같이, 장애물(OBS)이 포크(140)의 끝단 전방에 위치하지 않는 경우에는 충돌 가능성이 낮으므로 포크(140)는 전방으로 진행할 수 있다. 반면, 도 2의 (b)에 도시된 바와 같이, 장애물(OBS)이 포크(140)의 끝단 전방에 위치하는 경우에는 충돌 가능성이 높으므로, 포크(140)는 전방으로 진행하지 말아야 한다. 즉, 지게차(100)의 전방에 장애물(OBS)이 동일하게 위치하지만, 포크(140)의 끝단 전방에 장애물이 위치하는지 여부에 따라 충돌 가능성이 달라지므로, 포크(140)의 끝단 전방에 있는 장애물의 검출이 필요하다.Both (a) and (b) of FIG. 2 show that the obstacle OBS is located in front of the forklift 100. As shown in (a) of FIG. 2 , when the obstacle OBS is not located in front of the end of the fork 140, the fork 140 may move forward because the possibility of collision is low. On the other hand, as shown in (b) of FIG. 2, when the obstacle OBS is located in front of the end of the fork 140, the fork 140 should not move forward because the possibility of collision is high. That is, although the obstacle OBS is equally located in front of the forklift 100, the possibility of collision varies depending on whether the obstacle is located in front of the tip of the fork 140, so the obstacle in front of the tip of the fork 140 detection is required.

도 3은 본 발명의 실시 예들에 따른 장애물 감지 장치 및 장애물 감지 시스템을 나타낸다. 도 3을 참조하면, 장애물 감지 시스템(200)은 카메라(210), 레이저 출력부(220) 및 장애물 감지 장치(230)를 포함할 수 있다.3 shows an obstacle detection device and an obstacle detection system according to embodiments of the present invention. Referring to FIG. 3 , the obstacle detection system 200 may include a camera 210 , a laser output unit 220 and an obstacle detection device 230 .

카메라(210) 및 레이저 출력부(220)는 지게차(100) 상에 설치되고, 장애물 감지 장치(230)와 데이터를 주고받을 수 있다.The camera 210 and the laser output unit 220 are installed on the forklift 100 and may exchange data with the obstacle detection device 230 .

도 3에 도시된 카메라(210)는 도 1에 도시된 카메라(150)를 나타낼 수 있고, 도 3에 도시된 레이저 출력부(220)는 도 1에 도시된 레이저 출력부(160)를 나타낼 수 있다. 따라서, 카메라(210) 및 레이저 출력부(220)에 대한 설명은 생략하도록 한다.The camera 210 shown in FIG. 3 may represent the camera 150 shown in FIG. 1, and the laser output unit 220 shown in FIG. 3 may represent the laser output unit 160 shown in FIG. there is. Therefore, descriptions of the camera 210 and the laser output unit 220 will be omitted.

장애물 감지 장치(230)는 지게차(100)에 설치된 카메라(150)로부터 촬영된 전방 영상(IMG)을 수신하고, 전방 영상(IMG)에 나타난 레이저 이미지를 인식하고, 인식된 레이저 이미지의 형상과 관련된 레이저 이미지 정보를 결정하고, 결정된 레이저 이미지 정보에 기초하여 지게차(100)의 전방에 위치한 장애물까지의 거리를 계산할 수 있다.The obstacle detecting device 230 receives the front image IMG taken from the camera 150 installed on the forklift 100, recognizes the laser image displayed in the front image IMG, and generates information related to the shape of the recognized laser image. Laser image information may be determined, and a distance to an obstacle located in front of the forklift 100 may be calculated based on the determined laser image information.

장애물 감지 장치(230)는 계산된 장애물까지의 거리에 기초하여, 지게차(100)의 충돌을 경고하는 경고 신호를 생성할 수 있다. 실시 예들에 다라, 장애물 감지 장치(230)는 소정의 안전 거리와 장애물까지의 거리를 비교하고, 장애물까지의 거리가 안전 거리 미만일 때, 충돌을 경고하는 경고 신호를 생성하고, 생성된 경고 신호를 지게차(100)로 전송할 수 있다. 지게차(100)는 경고 신호에 응답하여, 시각적, 청각적 또는 촉각적 방식으로 알림을 표시할 수 있다.The obstacle detecting device 230 may generate a warning signal warning of collision of the forklift 100 based on the calculated distance to the obstacle. According to embodiments, the obstacle sensing device 230 compares a predetermined safety distance with a distance to an obstacle, generates a warning signal warning of a collision when the distance to the obstacle is less than the safety distance, and generates a warning signal. It can be transmitted to the forklift 100. The forklift 100 may display a notification in a visual, auditory, or tactile manner in response to the warning signal.

장애물 감지 장치(230)는 계산된 장애물까지의 거리에 따라, 지게차(100)의 활동 기록을 저장할 수 있다. 예컨대, 장애물 감지 장치(230)는 계산된 장애물까지의 거리가 소정의 안전 거리 미만일 때, 지게차(100)의 속도 및 장애물까지의 거리를 포함하는 활동 기록을 생성하고, 생성된 활동 기록을 저장할 수 있다.The obstacle detecting device 230 may store an activity record of the forklift 100 according to the calculated distance to the obstacle. For example, when the calculated distance to the obstacle is less than a predetermined safety distance, the obstacle detecting device 230 may generate an activity record including the speed of the forklift 100 and the distance to the obstacle, and store the generated activity record. there is.

실시 예들에 따라, 장애물 감지 장치(230)는 계산된 장애물까지의 거리를 나타내는 거리 정보를 지게차(100)로 출력할 수 있고, 지게차(100)는 지게차(100)에 포함된 디스플레이를 이용하여 계산된 장애물까지의 거리를 시각적으로 표시할 수 있다.According to embodiments, the obstacle detecting device 230 may output distance information indicating the calculated distance to the obstacle to the forklift 100, and the forklift 100 may calculate the calculated distance using a display included in the forklift 100. The distance to an obstacle can be visually displayed.

장애물 감지 장치(230)는 프로세서(231), 메모리(233) 및 통신부(235)를 포함할 수 있다.The obstacle detecting device 230 may include a processor 231 , a memory 233 and a communication unit 235 .

프로세서(231)는 장애물 감지 장치(230)의 전반적인 작동을 제어할 수 있다. 실시 예들에 따라, 프로세서(231)는 장애물 감지 장치(230)를 제어하기 위한 일련의 연산들 또는 판단들을 수행할 수 있는 장치를 의미할 수 있다. 예컨대, 프로세서(231)는 장애물 감지 장치(230)를 제어하기 위한 프로그램이 실행되는 프로세서일 수 있다. 예컨대, 프로세서(231)는 CPU(central processing unit), ECU(electronic controller unit), MCU(micro controller unit), DSP(digital signal processor) 또는 ASIC(application specified integrated circuit) 등일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The processor 231 may control the overall operation of the obstacle detecting device 230 . According to embodiments, the processor 231 may refer to a device capable of performing a series of operations or decisions for controlling the obstacle sensing device 230 . For example, the processor 231 may be a processor in which a program for controlling the obstacle detecting device 230 is executed. For example, the processor 231 may be a central processing unit (CPU), an electronic controller unit (ECU), a micro controller unit (MCU), a digital signal processor (DSP), or an application specified integrated circuit (ASIC). Examples are not limited thereto.

즉, 본 명세서에서 설명되는 장애물 감지 장치(230)의 동작은 프로세서(231)의 제어에 따라 수행되는 것일 수 있다.That is, the operation of the obstacle detecting device 230 described herein may be performed under the control of the processor 231 .

메모리(233)는 장애물 감지 장치(230)의 작동에 필요한 데이터를 저장할 수 있다. 실시 예들에 따라, 메모리(233)는 카메라(150)로부터 수신된 전방 영상(IMG)을 저장할 수 있다. 또한, 메모리(233)는 인식된 레이저 이미지(RI)의 형상과 관련된 레이저 이미지 정보를 저장할 수 있다. 또한, 메모리(233)는 지게차(100)의 각 부분들에 대한 치수들(예컨대, 포크의 길이, 레이저 출력부(220)의 설치 위치 등)을 저장할 수 있다.The memory 233 may store data necessary for the operation of the obstacle detecting device 230 . According to example embodiments, the memory 233 may store the front image IMG received from the camera 150 . Also, the memory 233 may store laser image information related to the shape of the recognized laser image RI. Also, the memory 233 may store dimensions of each part of the forklift 100 (eg, length of a fork, installation position of the laser output unit 220, etc.).

예컨대, 메모리(233)는 비휘발성 메모리 및 휘발성 메모리 중 적어도 하나를 포함할 수 있다.For example, the memory 233 may include at least one of non-volatile memory and volatile memory.

통신부(235)는 장애물 감지 장치(230)와 지게차(100) 사이의 통신을 수행할 수 있다. 실시 예들에 따라, 통신부(235)는 지게차(100)로 데이터를 전송하거나, 또는, 지게차(100)로부터 데이터를 수신할 수 있다. 예컨대, 통신부(235)는 지게차(100)로부터 전방 영상(IMG)을 수신하거나, 또는, 가상 포크(VF) 또는 합성 영상(CIMG)을 지게차(100)로 전송할 수 있다.The communication unit 235 may perform communication between the obstacle detecting device 230 and the forklift 100 . According to embodiments, the communication unit 235 may transmit data to the forklift 100 or receive data from the forklift 100 . For example, the communication unit 235 may receive a front image IMG from the forklift 100 or may transmit a virtual fork VF or a composite image CIMG to the forklift 100 .

예컨대, 통신부(235)는 무선 통신 프로토콜 또는 유선 통신 프로토콜을 이용하여 데이터를 전송하거나 수신할 수 있다. 예컨대, 상기 무선 통신 프로토콜은 무선랜(Wireless LAN (WLAN)), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband (Wibro)), 와이맥스(World Interoperability for Microwave Access (Wimax)), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution (LTE)), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service (WMBS)), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication (NFC)), 초음파 통신(Ultra Sound Communication (USC)), 가시광 통신 (Visible Light Communication (VLC)), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등을 포함할 수 있다. 또한, 유선 통신 프로토콜은 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication (PLC)), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 통신 등을 포함할 수 있으며, 이제 제한되는 것이 아닌, 다른 장치와의 통신 환경을 제공할 수 있는 프로토콜은 모두 포함될 수 있다.For example, the communication unit 235 may transmit or receive data using a wireless communication protocol or a wired communication protocol. For example, the wireless communication protocol is Wireless LAN (WLAN), Digital Living Network Alliance (DLNA), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), Global System (GSM) for mobile communication), CDMA (Code Division Multi Access), CDMA2000 (Code Division Multi Access 2000), EV-DO (Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink) Packet Access), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service ( WMBS)), Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, Near Field Communication (NFC), It may include Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and the like. In addition, wired communication protocols include wired LAN (Local Area Network), wired WAN (Wide Area Network), power line communication (PLC), USB communication, Ethernet, serial communication, optical/ It may include coaxial cable communication and the like, and any protocol capable of providing a communication environment with other devices may be included, which is not now limited.

도 4는 본 발명의 실시 예들에 따른 레이저 출력부를 나타낸다. 도 4를 참조하면, 레이저 출력부(160)는 제1빔 출력부(161a) 및 제2빔 출력부(161b)를 포함할 수 있다.4 shows a laser output unit according to embodiments of the present invention. Referring to FIG. 4 , the laser output unit 160 may include a first beam output unit 161a and a second beam output unit 161b.

빔 출력부들(161a, 161b)은 지게차(100)의 포크(140a, 140b)에 설치되어, 지게차(100)의 전방으로 빔(BEAM)을 방출할 수 있다. 실시 예들에 따라, 제1빔 출력부(161a)는 제1포크(140a)의 측면에 부착될 수 있고, 제2빔 출력부(161b)는 제2포크(140b)의 측면에 부착될 수 있다. 예컨대, 빔 출력부들(161a, 161b)와 지게차(100)의 주변 환경과의 충돌을 방지하기 위해, 빔 출력부들(161a, 161b)는 포크(140a, 140b)의 내측면에 부착될 수 있으나 이에 한정되는 것은 아니다.The beam output units 161a and 161b are installed on the forks 140a and 140b of the forklift 100 to emit a beam BEAM forward of the forklift 100 . According to embodiments, the first beam output unit 161a may be attached to the side of the first fork 140a, and the second beam output unit 161b may be attached to the side of the second fork 140b. . For example, in order to prevent a collision between the beam output units 161a and 161b and the surrounding environment of the forklift 100, the beam output units 161a and 161b may be attached to the inner surfaces of the forks 140a and 140b. It is not limited.

본 발명의 실시 예들에 따르면, 빔 출력부들(161a, 161b)이 포크들(140a, 140b)의 측면에 부착되므로, 빔(BEAM)은 포크들(140a, 140b)의 측면을 따라 방출되어 포크들(140a, 140b)의 전방의 장애물에 맺히게 된다. 따라서, 빔(BEAM)에 의해 포크들(140a, 140b)의 전방의 장애물(OBS)의 표면 상에 맺히는 레이저 이미지(RI)를 검출함으로써, 포크들(140a, 140b) 전방의 장애물를 검출할 수 있다.According to embodiments of the present invention, since the beam output units 161a and 161b are attached to the side surfaces of the forks 140a and 140b, the beam BEAM is emitted along the side surfaces of the forks 140a and 140b and (140a, 140b) is formed on the front obstacle. Accordingly, the obstacle in front of the forks 140a and 140b may be detected by detecting the laser image RI formed on the surface of the obstacle OBS in front of the forks 140a and 140b by the beam BEAM. .

빔 출력부들(161a, 161b)은 빛을 생성하기 위한 광원, 상기 광원에 전력을 공급하도록 구성되는 전원부 및 상기 광원에서 생성된 빛을 집광하여 빔(BEAM)을 출력하도록 구성되는 렌즈부를 포함할 수 있다. 실시 예들에 따라, 빔 출력부들(161a, 161b)의 전원부는 지게차(100)로부터 공급되는 전력을 이용하여 상기 광원에 전력을 공급할 수 있다.The beam output units 161a and 161b may include a light source for generating light, a power supply unit configured to supply power to the light source, and a lens unit configured to output a beam BEAM by condensing the light generated by the light source. there is. According to embodiments, power supply units of the beam output units 161a and 161b may supply power to the light source using power supplied from the forklift 100 .

도 5는 본 발명의 실시 예들에 따른 레이저 출력부를 나타낸다. 도 5를 참조하면, 레이저 출력부(160)는 빔 출력부(163), 제1반사부(165a) 및 제2반사부(165b)를 포함할 수 있다.5 shows a laser output unit according to embodiments of the present invention. Referring to FIG. 5 , the laser output unit 160 may include a beam output unit 163, a first reflector 165a, and a second reflector 165b.

빔 출력부(163)의 동작은 도 4를 참조하여 설명된 빔 출력부들(161a, 161b)의 동작과 실질적으로 동일하므로, 다른 부분만 설명하도록 한다. Since the operation of the beam output unit 163 is substantially the same as that of the beam output units 161a and 161b described with reference to FIG. 4 , only other parts will be described.

도 4의 빔 출력부들(161a, 161b)과 달리, 도 5의 빔 출력부(163)는 지게차(100)의 전방이 아닌 지게차(100)의 측면으로 빔(BEAM)을 출력할 수 있다. 실시 예들에 따라, 빔 출력부(163)는 지게차(100)의 전방과 수직하는 방향으로 빔(BEAM)을 출력할 수 있다.Unlike the beam output units 161a and 161b of FIG. 4 , the beam output unit 163 of FIG. 5 may output a beam BEAM toward the side of the forklift 100 instead of the front of the forklift 100 . According to embodiments, the beam output unit 163 may output a beam BEAM in a direction perpendicular to the front of the forklift 100 .

실시 예들에 따라, 빔 출력부(163)는 지게차(100)의 전방과 수직하는 양 방향으로 빔(BEAM)을 출력할 수 있다. 예컨대, 빔 출력부(163)는 지게차(100)의 제1포크(140a) 및 제2포크(140b)의 측면을 향해 빔(BEAM)을 출력할 수 있다. According to embodiments, the beam output unit 163 may output the beam BEAM in both directions perpendicular to the front of the forklift 100 . For example, the beam output unit 163 may output the beam BEAM toward the side surfaces of the first fork 140a and the second fork 140b of the forklift 100 .

실시 예들에 따라, 빔 출력부(163)는 지게차(100)의 포크들(140a, 140b) 각각의 측면을 향해 형성된 2개의 개구부들을 포함하는 하우징, 상기 2개의 개구부들 각각의 내측에 배치된 2개의 렌즈부들 및 적어도 하나의 광원을 포함할 수 있다. 적어도 하나의 광원으로부터 출력된 빛은 2개의 렌즈부들 각각을 통과하여, 2개의 개구부들을 통해 빔(BEAM)의 형태로 포크들(140a, 140b) 각각의 측면으로 출력될 수 있다.According to the embodiments, the beam output unit 163 includes a housing including two openings formed toward each side of the forks 140a and 140b of the forklift 100, and two openings disposed inside each of the two openings. It may include two lens units and at least one light source. Light output from at least one light source may pass through each of the two lens units and be output to each side of the forks 140a and 140b in the form of a beam BEAM through the two openings.

실시 예들에 따라, 빔 출력부(163)는 카메라(150)와 일체로 형성될 수 있다. 이 경우, 빔 출력부(163)의 하우징은 지게차(100)의 전방을 향해 형성된 추가적인 개구를 더 포함하고, 상기 개구 내측에는 이미지 센서가 배치될 수 있다.According to embodiments, the beam output unit 163 may be integrally formed with the camera 150 . In this case, the housing of the beam output unit 163 may further include an additional opening formed toward the front of the forklift 100, and an image sensor may be disposed inside the opening.

반사부들(165a, 165b)은 포크들(140a, 140b) 각각의 측면에 배치되어, 빔 출력부(163)로부터 출력된 빔(BEAM)을 지게차(100)의 전방으로 반사시킬 수 있다.The reflectors 165a and 165b are disposed on each side of the forks 140a and 140b to reflect the beam BEAM output from the beam output unit 163 toward the front of the forklift 100 .

실시 예들에 따라, 반사부들(165a, 165b)은 포크들(140a, 140b) 각각의 측면에 결합되도록 형성되는 바디 및 상기 바디의 표면에 형성되어 빔(BEAM)을 반사하도록 구성되는 반사부을 포함할 수 있다. 예컨대, 반사면은 입사되는 광선을 전반사시킬 수 있는 반사물질이 도포된 면을 포함할 수 있다.According to embodiments, the reflectors 165a and 165b may include a body formed to be coupled to each side of the forks 140a and 140b and a reflector formed on a surface of the body to reflect the beam BEAM. can For example, the reflective surface may include a surface coated with a reflective material capable of totally reflecting incident light rays.

본 발명의 실시 예들에 따르면, 반사부들(165a, 165b)이 포크들(140a, 140b)의 측면에 부착되므로, 빔(BEAM)은 포크들(140a, 140b)의 측면을 따라 방출되어 포크들(140a, 140b)의 전방의 장애물에 맺히게 된다. 따라서, 빔(BEAM)에 의해 포크들(140a, 140b)의 전방의 장애물(OBS)의 표면 상에 맺히는 레이저 이미지(RI)를 검출함으로써, 포크들(140a, 140b) 전방의 장애물를 검출할 수 있다.According to the embodiments of the present invention, since the reflectors 165a and 165b are attached to the side surfaces of the forks 140a and 140b, the beam BEAM is emitted along the side surfaces of the forks 140a and 140b and the forks ( 140a, 140b) are formed on obstacles in front. Accordingly, the obstacle in front of the forks 140a and 140b may be detected by detecting the laser image RI formed on the surface of the obstacle OBS in front of the forks 140a and 140b by the beam BEAM. .

도 6은 본 발명의 실시 예들에 따른 장애물 감지 장치를 이용하여 포크 전방의 장애물을 검출하는 것을 설명하기 위한 도면이다. 도 6을 참조하면, 장애물 감지 장치(230)는 카메라(150)로부터 전방 영상(IMG)을 수신할 수 있다. 전방 영상(IMG)에는 지게차(100)의 포크(140) 및 장애물(OBS)이 나타날 수 있다. 6 is a diagram for explaining detection of an obstacle in front of a fork using an obstacle detecting device according to embodiments of the present invention. Referring to FIG. 6 , the obstacle detection device 230 may receive a front image IMG from the camera 150 . The fork 140 of the forklift 100 and the obstacle OBS may appear on the front image IMG.

장애물 감지 장치(230)는 전방 영상(IMG)에 나타난 레이저 이미지(RI)를 인식하여 장애물(OBS)을 감지할 수 있다. 포크(140)의 전방에 장애물(OBS)이 위치한다면, 포크(140)의 측면을 따라 방출된 빔(BEAM)에 의해 장애물(OBS) 상에 레이저 이미지(RI)가 맺히게 된다. 반면, 포크(140) 전방에 장애물(OBS)이 위치하지 않는 경우(또는 멀리 위치하는 경우)에는 레이저 이미지(RI)가 맺히지 않게(혹은, 인식이 불가능)된다. The obstacle detecting device 230 may detect the obstacle OBS by recognizing the laser image RI appearing on the front image IMG. If the obstacle OBS is located in front of the fork 140, the laser image RI is formed on the obstacle OBS by the beam BEAM emitted along the side of the fork 140. On the other hand, when the obstacle OBS is not located in front of the fork 140 (or is located far away), the laser image RI is not formed (or cannot be recognized).

이를 통해, 장애물 감지 장치(230)는 전방 영상(IMG)에 나타난 레이저 이미지(RI)를 인식하여 장애물(OBS)을 감지할 수 있다.Through this, the obstacle detecting device 230 may detect the obstacle OBS by recognizing the laser image RI displayed on the front image IMG.

장애물 감지 장치(230)는 전방 영상(IMG) 내에 표시된 레이저 이미지(RI)를 인식하고, 레이저 이미지(RI)의 형상과 관련된 레이저 이미지 정보를 결정할 수 있다. 실시 예들에 따라, 장애물 감지 장치(230)는 다양한 이미지 처리 기법을 이용하여, 전방 영상(IMG)에 나타난 레이저 이미지(RI)를 인식할 수 있다. 예컨대, 장애물 감지 장치(230)는 전방 영상(IMG) 상에서의 레이저 이미지(RI)의 좌표를 계산할 수 있다.The obstacle detecting device 230 may recognize the laser image RI displayed in the front image IMG and determine laser image information related to the shape of the laser image RI. According to example embodiments, the obstacle sensing device 230 may recognize the laser image RI displayed on the front image IMG by using various image processing techniques. For example, the obstacle detecting device 230 may calculate coordinates of the laser image RI on the front image IMG.

레이저 이미지 정보는 레이저 이미지(RI)의 크기(즉, 직경) 또는 레이저 이미지들(RI) 사이의 이격 거리(DM)를 나타낼 수 있다.The laser image information may indicate a size (ie, diameter) of the laser images RI or a separation distance DM between the laser images RI.

실시 예들에 따라, 장애물 감지 장치(230)는 전방 영상(IMG)에 나타난 레이저 이미지의 직경(R)을 결정할 수 있다. 예컨대, 장애물 감지 장치(230)는 전방 영상(IMG) 상에서의 레이저 이미지(RI)의 좌표를 이용하여, 레이저 이미지의 직경(R)을 결정할 수 있다. According to example embodiments, the obstacle detecting device 230 may determine the diameter R of the laser image displayed on the front image IMG. For example, the obstacle sensing device 230 may determine the diameter R of the laser image RI using coordinates of the laser image RI on the front image IMG.

또한, 실시 예들에 따라, 장애물 감지 장치(230)는 전방 영상(IMG)에 나타난 레이저 이미지들(RI) 사이의 이격 거리(DM)를 결정할 수 있다. 예컨대, 장애물 감지 장치(230)는 전방 영상(IMG) 상에서의 레이저 이미지들(RI)의 좌표를 이용하여, 레이저 이미지들(RI) 사이의 이격 거리(DM)를 결정할 수 있다.Also, according to embodiments, the obstacle detecting device 230 may determine a separation distance DM between the laser images RI displayed on the front image IMG. For example, the obstacle detecting device 230 may determine the separation distance DM between the laser images RI using coordinates of the laser images RI on the front image IMG.

장애물 감지 장치(230)는 결정된 레이저 이미지 정보에 기초하여, 지게차(100)의 전방의 장애물(OBS) 까지의 거리(DO)를 계산(또는 결정)할 수 있다. 실시 예들에 따라, 장애물 감지 장치(230)는 레이저 이미지(RI)의 직경(R) 또는 레이저 이미지들(RI) 사이의 이격 거리(DM)를 이용하여 장애물(OBS) 까지의 거리(DO)를 계산(또는 결정)할 수 있다.The obstacle detection device 230 may calculate (or determine) the distance DO to the obstacle OBS in front of the forklift 100 based on the determined laser image information. According to embodiments, the obstacle detecting device 230 determines the distance DO to the obstacle OBS by using the diameter R of the laser image RI or the separation distance DM between the laser images RI. can be calculated (or determined).

예컨대, 지게차(100)의 전방의 장애물(OBS)까지의 거리(DO)가 멀어지면, 카메라(150)와 장애물(OBS) 사이의 거리도 멀어지게 되므로, 카메라(150)에 의해 생성된 전방 영상(IMG)에서의 레이저 이미지(RI)의 크기가 작아지며 그리고 레이저 이미지들(RI) 사이의 거리가 짧아지게 된다(원근법). 따라서, 이러한 관계를 이용하여 장애물(OBS) 까지의 거리(DO)를 계산할 수 있다.For example, if the distance DO to the obstacle OBS in front of the forklift 100 increases, the distance between the camera 150 and the obstacle OBS also increases, so the front image generated by the camera 150 The size of the laser image RI in (IMG) becomes smaller and the distance between the laser images RI becomes shorter (perspective). Therefore, the distance DO to the obstacle OBS can be calculated using this relationship.

실시 예들에 따라, 장애물 감지 장치(230)는 메모리(230)에 저장되며, 레이저 이미지 정보를 입력(독립 변수)으로 하고, 거리(DO)를 출력(종속 변수)으로 하는 알고리즘(또는 함수)를 이용하여, 레이저 이미지(RI)의 레이저 이미지 정보로부터 장애물(OBS) 까지의 거리(DO)를 계산할 수 있다. 또한, 실시 예들에 따라, 장애물 감지 장치(230)는 메모리(230)에 저장되며, 레이저 이미지 정보와 거리(D0)가 매칭되어 저장된 룩업 테이블을 참조하여, 레이저 이미지(RI)의 레이저 이미지 정보로부터 장애물(OBS) 까지의 거리(DO)를 계산할 수 있다.According to embodiments, the obstacle detecting device 230 is stored in the memory 230, and uses an algorithm (or function) having laser image information as an input (independent variable) and a distance DO as an output (dependent variable). The distance DO to the obstacle OBS can be calculated from the laser image information of the laser image RI. In addition, according to embodiments, the obstacle detecting device 230 is stored in the memory 230 and refers to a lookup table in which the laser image information and the distance D0 are matched and stored, from the laser image information of the laser image RI. The distance (DO) to the obstacle (OBS) can be calculated.

도 7은 본 발명의 실시 예들에 따른 장애물 감지 장치의 장애물 까지의 거리를 결정하는 것을 설명하기 위한 도면이다. 도 7을 참조하면, 장애물 감지 장치(230)는 레이저 이미지들(RI) 사이의 이격 거리(DM) 및 포크들(140) 사이의 간격(DP)에 기초하여, 장애물(OBS)까지의 거리(DO)를 계산할 수 있다.7 is a diagram for explaining determining a distance to an obstacle by an obstacle detecting device according to embodiments of the present disclosure. Referring to FIG. 7 , the obstacle detecting device 230 is based on the separation distance DM between the laser images RI and the distance DP between the forks 140, the distance to the obstacle OBS ( DO) can be calculated.

도 4 및 도 5를 참조하여 설명한 바와 같이, 레이저 출력부(160)에 의해 출력된 빔(BEAM)은 포크들(140a, 140b)의 측면을 따라 포크들(140a, 140b)의 전방으로 출력될 수 있다. 포크들(140a, 140b) 사이의 간격(DP)이 증가한다면 장애물(OBS)에 맺힌 레이저 이미지들(RI) 사이의 이격 거리(DM) 또한 증가할 수 있다. 달리 말하면, 레이저 이미지들(RI) 사이의 이격 거리(DM)가 동일하더라도 포크들(140) 사이의 간격(DP)이 상대적으로 더 긴 경우, 장애물(OBS) 까지의 거리(DO)가 더 길게 된다.As described with reference to FIGS. 4 and 5 , the beam BEAM output by the laser output unit 160 is output to the front of the forks 140a and 140b along the side surfaces of the forks 140a and 140b. can If the distance DP between the forks 140a and 140b increases, the separation distance DM between the laser images RI focused on the obstacle OBS may also increase. In other words, even if the distance DM between the laser images RI is the same, when the distance DP between the forks 140 is relatively longer, the distance DO to the obstacle OBS is longer. do.

따라서, 장애물 감지 장치(230)는 레이저 이미지들(RI) 사이의 이격 거리(DM) 및 포크들(140) 사이의 간격(DP) 모두에 기초하여 장애물(OBS)까지의 거리(DO)를 계산할 수 있다.Therefore, the obstacle detecting device 230 may calculate the distance DO to the obstacle OBS based on both the distance DM between the laser images RI and the distance DP between the forks 140. can

실시 예들에 따라, 장애물 감지 장치(230)는 전방 영상(IMG)으로부터 포크들(140) 사이의 간격(DP)을 결정할 수 있다. 예컨대, 포크들(140)의 하면에는 마커(MK)가 부착될 수 있고, 장애물 감지 장치(230)는 전방 영상(IMG) 상의 마커(MK)들 사이의 거리를 결정함으로써 포크들(140) 사이의 간격(DP)을 결정할 수 있다. 예컨대, 장애물 감지 장치(230)는 전방 영상(IMG) 상에서 나타난 마커들(MK)의 전방 영상(IMG) 상에서의 좌표를 결정하고, 결정된 좌표를 기초로 포크들(140) 사이의 간격(DP)을 결정할 수 있다.According to example embodiments, the obstacle detecting device 230 may determine the distance DP between the forks 140 from the front image IMG. For example, markers MK may be attached to the lower surfaces of the forks 140, and the obstacle detecting device 230 determines the distance between the markers MK on the front image IMG to determine the distance between the forks 140. The interval (DP) of can be determined. For example, the obstacle detecting device 230 determines the coordinates of the markers MK appearing on the front image IMG on the front image IMG, and determines the distance DP between the forks 140 based on the determined coordinates. can determine

도 8은 본 발명의 실시 예들에 따른 장애물 감지 장치에 의한 전방 물체까지의 거리를 결정하는 방법을 설명하기 위한 도면이다. 도 8을 참조하면, 장애물 감지 장치(230)의 메모리(233)는 룩업 테이블(LUT)을 저장할 수 있다. 룩업 테이블(LUT)은 전방 영상(IMG) 상에서의 레이저 이미지들(RI) 사이의 이격 거리(DM), 전방 영상(IMG) 상에서의 포크들(140) 사이의 간격(DP), 그리고 이격 거리(DM)와 간격(DP)에 대응하는 장애물(OBS) 까지의 거리(DO)를 포함할 수 있다.8 is a diagram for explaining a method of determining a distance to a front object by an obstacle detecting device according to embodiments of the present disclosure. Referring to FIG. 8 , the memory 233 of the obstacle detection device 230 may store a lookup table (LUT). The lookup table (LUT) is a separation distance (DM) between the laser images (RI) on the front image (IMG), a distance (DP) between the forks 140 on the front image (IMG), and a separation distance ( DM) and the distance DO to the obstacle OBS corresponding to the distance DP.

룩업 테이블(LUT)은 미리 생성되어 저장된 것일 수 있다.The look-up table (LUT) may be pre-generated and stored.

장애물 감지 장치(230)는 전방 영상(IMG)으로부터 이격 거리(DM) 및 간격(DP)을 결정하고, 메모리(223)에 저장된 룩업 테이블(LUT)을 참조하여 이격 거리(DM)와 간격(DP)에 대응하는 장애물(OBS) 까지의 거리(DO)를 결정할 수 있다.The obstacle detecting device 230 determines the distance DM and the distance DP from the front image IMG, and refers to the lookup table LUT stored in the memory 223 to determine the distance DM and the distance DP. ), it is possible to determine the distance DO to the obstacle OBS.

도 9는 본 발명의 실시 예들에 따른 장애물 감지 장치가 레이저 이미지를 인식하는 것을 설명하기 위한 도면이다. 도 9를 참조하면, 장애물 감지 장치(230)는 일정한 시간 동안 생성된 복수의 전방 영상들을 이용하여, 레이저 이미지(RI)를 인식할 수 있다. 실시 예들에 따라, 장애물 감지 장치(230)는 순차적으로 생성된 복수의 전방 영상들(IMG1 및 IMG2)을 상호 비교하여 레이저 이미지(RI)를 인식할 수 있다.9 is a diagram for explaining that an obstacle detecting device according to embodiments of the present invention recognizes a laser image. Referring to FIG. 9 , the obstacle detecting device 230 may recognize a laser image RI using a plurality of front images generated for a predetermined period of time. According to example embodiments, the obstacle detecting device 230 may recognize the laser image RI by comparing a plurality of sequentially generated forward images IMG1 and IMG2 with each other.

레이저 출력부(160)에 의해 빔(BEAM)이 출력되는 동안에만 레이저 이미지(RI)가 전방에 표시되므로, 장애물 감지 장치(230)는 빔(BEAM)이 출력되는 동안에 촬영된 제1전방 영상(IMG1) 및 빔(BEAM)이 출력되지 않는 동안에 촬영된 제2전방 영상(IMG2)을 비교함으로써 레이저 이미지(RI)를 인식하고, 레이저 이미지(RI)의 좌표를 결정할 수 있다.Since the laser image RI is displayed in the front only while the beam BEAM is output by the laser output unit 160, the obstacle detecting device 230 has a first front image captured while the beam BEAM is output ( The laser image RI can be recognized and coordinates of the laser image RI can be determined by comparing IMG1) and the second front image IMG2 captured while the beam BEAM is not output.

예컨대, 제1전방 영상(IMG1)에는 레이저 이미지(RI)가 표시되고, 제2전방 영상(IMG2)에는 레이저 이미지(RI)가 표시되지 않을 수 있다. 레이저 이미지(RI)를 제외한 전방 영상들(IMG1, IMG2) 상의 나머지 좌표에서의 픽셀 값들은 실질적으로 동일하므로, 장애물 감지 장치(230)는 제1전방 영상(IMG1)과 제2전방 영상(IMG2) 상의 각 좌표의 픽셀 값들의 차이를 계산함으로써 레이저 이미지(RI)의 좌표를 결정할 수 있다. 예컨대, 장애물 감지 장치(230)는 제1전방 영상(IMG1)과 제2전방 영상(IMG2) 상의 각 좌표 상에서의 픽셀 값들의 차이가 기준 값을 초과하는 좌표들을 레이저 이미지(RI)의 좌표로서 결정할 수 있다.For example, the laser image RI may be displayed on the first front image IMG1, and the laser image RI may not be displayed on the second front image IMG2. Since the pixel values of the remaining coordinates on the front images IMG1 and IMG2 excluding the laser image RI are substantially the same, the obstacle sensing device 230 generates the first front image IMG1 and the second front image IMG2. Coordinates of the laser image RI may be determined by calculating a difference between pixel values of respective coordinates of the image. For example, the obstacle detecting device 230 determines, as coordinates of the laser image RI, coordinates in which a difference between pixel values on each coordinate of the first front image IMG1 and the second front image IMG2 exceeds a reference value. can

실시 예들에 따라, 장애물 감지 장치(230)는 빔(BEAM)이 출력되는 동안 촬영된 전방 영상들(예컨대, 제1전방 영상(IMG1))과, 빔(BEAM)이 출력되지 않는 동안 촬영된 전방 영상들(예컨대, 제2전방 영상(IMG2))을 구별하여 메모리(230)에 저장하고, 레이저 이미지(RI) 인식 시 이들 각각을 리드할 수 있다. 예컨대, 장애물 감지 장치(230)는 레이저 출력부(160)의 빔(BEAM) 출력 여부를 모니터링함으로써, 카메라(150)로부터 전송되는 전방 영상(IMG)이 빔(BEAM)이 출력되는 동안 촬영된 것인지, 빔(BEAM)이 출력되지 않는 동안 촬영된 것인지를 판단할 수 있다.According to embodiments, the obstacle detecting device 230 may include front images (eg, first front image IMG1) captured while the beam BEAM is output, and front images captured while the beam BEAM is not output. Images (eg, the second front image IMG2) are distinguished and stored in the memory 230, and each of them can be read when recognizing the laser image RI. For example, the obstacle detecting device 230 monitors whether or not the beam BEAM is output from the laser output unit 160 to determine whether the front image IMG transmitted from the camera 150 is captured while the beam BEAM is being output. , it can be determined whether the image was taken while the beam (BEAM) is not output.

또한, 장애물 감지 장치(230)는 소정의 구간 동안 촬영된 전방 영상들(IMG)을 이용하여 레이저 이미지(RI)를 인식할 수도 있다. 소정의 구간은 레이저 출력부(160)의 빔(BEAM) 출력 주기 이상일 수 있다.Also, the obstacle detecting device 230 may recognize the laser image RI using front images IMG captured during a predetermined section. The predetermined period may be longer than the BEAM output period of the laser output unit 160 .

실시 예들에 따라, 빔(BEAM)은 특정 패턴의 주파수에 따라 방출될 수 있고, 이에 따라 장애물(OBS)에 맺힌 레이저 이미지(RI)는 소정의 시간 동안 특정 패턴으로 점멸될 수 있다. 따라서, 장애물 감지 장치(230)는 소정의 구간 동안 촬영된 전방 영상들(IMG)을 이용하여 레이저 이미지(RI)의 점멸 패턴을 판단하고, 판단된 점멸 패턴이 미리 설정된 레이저 출력부(160)의 점멸 패턴과 동일한지 여부를 판단함으로써 장애물(OBS)에 맺힌 레이저 이미지(RI)를 인식할 수 있다. 이를 통해, 외부 환경의 영향을 최대한 저감시키면서 레이저 이미지(RI)를 전방 영상(IMG)으로부터 인식할 수 있는 효과가 있다.According to embodiments, the beam BEAM may be emitted according to a frequency of a specific pattern, and accordingly, the laser image RI focused on the obstacle OBS may blink in a specific pattern for a predetermined time. Therefore, the obstacle detecting device 230 determines the flickering pattern of the laser image RI using the front images IMG captured during a predetermined period, and the determined flickering pattern of the preset laser output unit 160. The laser image RI formed on the obstacle OBS can be recognized by determining whether it is the same as the flickering pattern. Through this, there is an effect of recognizing the laser image RI from the front image IMG while maximally reducing the influence of the external environment.

도 10은 본 발명의 실시 예들에 따른 장애물 감지 장치의 작동 방법을 나타내는 플로우 차트이다. 도 10을 참조하여 설명되는 작동 방법은 장애물 감지 장치(230) 또는 장애물 감지 장치(230)의 프로세서(231)에 의해 수행될 수 있다. 또한, 도 10을 참조하여 설명되는 작동 방법은 컴퓨팅 장치에 의해 판독가능한 비일시적인 저장 매체에 저장된 프로그램의 형태로 구현될 수 있다.10 is a flowchart illustrating a method of operating an obstacle detection device according to example embodiments. The operation method described with reference to FIG. 10 may be performed by the obstacle detecting device 230 or the processor 231 of the obstacle detecting device 230 . In addition, the operating method described with reference to FIG. 10 may be implemented in the form of a program stored in a non-transitory storage medium readable by a computing device.

도 10을 참조하면, 장애물 감지 장치(230)는 지게차(100)의 전방 영상을 수신할 수 있다(S110). 실시 예들에 따라, 장애물 감지 장치(230)는 지게차(100)에 설치된 카메라(150)로부터 지게차(100)의 전방을 촬영하여 생성된 전방 영상(IMG)을 수신할 수 있다.Referring to FIG. 10 , the obstacle detection device 230 may receive a front image of the forklift 100 (S110). According to embodiments, the obstacle detecting device 230 may receive a front image IMG generated by photographing the front of the forklift 100 from the camera 150 installed on the forklift 100 .

장애물 감지 장치(230)는 전방 영상(IMG)에 나타난 레이저 이미지(RI)를 인식할 수 있다(S120). 실시 예들에 따라, 장애물 감지 장치(230)는 전방 영상(IMG)을 이미징 분석하여 전방 영상(IMG)에 나타난 레이저 이미지(RI)를 인식하고, 레이저 이미지(RI)의 좌표를 계산할 수 있다.The obstacle detecting device 230 may recognize the laser image RI appearing on the front image IMG (S120). According to example embodiments, the obstacle detecting device 230 may image-analyze the front image IMG, recognize the laser image RI displayed in the front image IMG, and calculate coordinates of the laser image RI.

장애물 감지 장치(230)는 인식된 레이저 이미지(RI)의 형상과 연관된 레이저 이미지 정보를 결정할 수 있다(S130). 실시 예들에 따라, 장애물 감지 장치(230)는 전방 영상(IMG) 내에서 인식된 레이저 이미지(RI)의 직경 또는 레이저 이미지들(RI) 사이의 이격 거리와 관련된 레이저 이미지 정보를 결정할 수 있다.The obstacle detecting device 230 may determine laser image information related to the shape of the recognized laser image RI (S130). According to example embodiments, the obstacle detecting device 230 may determine laser image information related to a diameter of the laser image RI recognized in the front image IMG or a separation distance between the laser images RI.

장애물 감지 장치(230)는 레이저 이미지 정보를 이용하여 지게차(100)의 전방의 장애물(OBS)까지의 거리를 결정할 수 있다(S150). 실시 예들에 따라, 장애물 감지 장치(230)는 인식된 레이저 이미지(RI)의 직경 또는 레이저 이미지들(RI) 사이의 거리에 기초하여 장애물(OBS) 까지의 거리(DO)를 계산할 수 있다.The obstacle detecting device 230 may determine the distance to the obstacle OBS in front of the forklift 100 by using the laser image information (S150). According to example embodiments, the obstacle detecting device 230 may calculate the distance DO to the obstacle OBS based on the diameter of the recognized laser image RI or the distance between the laser images RI.

도 11은 본 발명의 실시 예들에 따른 장애물 감지 장치의 작동을 나타내는 플로우 차트이다. 도 11을 참조하여 설명되는 작동 방법은 장애물 감지 장치(230) 또는 장애물 감지 장치(230)의 프로세서(231)에 의해 수행될 수 있다. 또한, 도 11을 참조하여 설명되는 작동 방법은 컴퓨팅 장치에 의해 판독가능한 비일시적인 저장 매체에 저장된 프로그램의 형태로 구현될 수 있다.11 is a flowchart illustrating the operation of an obstacle detection device according to embodiments of the present invention. The operation method described with reference to FIG. 11 may be performed by the obstacle detecting device 230 or the processor 231 of the obstacle detecting device 230 . In addition, the operating method described with reference to FIG. 11 may be implemented in the form of a program stored in a non-transitory storage medium readable by a computing device.

도 11을 참조하면, 장애물 감지 장치(230)는 레이저 출력부(160)를 턴-온 하기 위한 턴-온 신호를 출력할 수 있다(S210). 실시 예들에 따라, 장애물 감지 장치(230)는 레이저 출력부(160)로부터 빔(BEAM)이 출력되도록, 레이저 출력부(160)를 턴-온 시키기 위한 턴-온 신호를 레이저 출력부(160)로 출력할 수 있다. 예컨대, 턴-온 신호는 레이저 출력부(160)로의 전원 공급을 지시하는 신호일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.Referring to FIG. 11 , the obstacle detection device 230 may output a turn-on signal for turning on the laser output unit 160 (S210). According to embodiments, the obstacle detecting device 230 transmits a turn-on signal for turning on the laser output unit 160 to the laser output unit 160 so that the beam BEAM is output from the laser output unit 160. can be output as For example, the turn-on signal may be a signal instructing supply of power to the laser output unit 160, but embodiments of the present invention are not limited thereto.

장애물 감지 장치(230)는 턴-온 신호 이후 생성된 전방 영상(IMG)을 제1전방 영상으로서 저장할 수 있다(S210). 상술한 바와 같이, 레이저 출력부(160)에 의해 빔(BEAM)이 출력되는 동안 촬영된 전방 영상(IMG)에는 레이저 이미지(RI)가 나타나 있을 수 있다. 실시 예들에 따라, 장애물 감지 장치(230)는 턴-온 신호 이후 카메라(150)로부터 수신된 전방 영상(IMG)을 제1전방 영상으로서 저장할 수 있다.The obstacle sensing device 230 may store the front image IMG generated after the turn-on signal as a first front image (S210). As described above, the laser image RI may appear in the front image IMG captured while the beam BEAM is output by the laser output unit 160 . According to example embodiments, the obstacle detecting device 230 may store the front image IMG received from the camera 150 after a turn-on signal as a first front image.

장애물 감지 장치(230)는 레이저 출력부(160)를 턴-오프 하기 위한 턴-오프 신호를 출력할 수 있다(S230). 실시 예들에 따라, 장애물 감지 장치(230)는 레이저 출력부(160)로부터 빔(BEAM)이 출력되지 않도록, 레이저 출력부(160)를 턴-오프 시키기 위한 턴-오프 신호를 레이저 출력부(160)로 출력할 수 있다. 예컨대, 턴-오프 신호는 레이저 출력부(160)로의 전원 공급 차단을 지시하는 신호일 수 있으나, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.The obstacle detecting device 230 may output a turn-off signal for turning off the laser output unit 160 (S230). According to embodiments, the obstacle detecting device 230 transmits a turn-off signal for turning off the laser output unit 160 so that the beam BEAM is not output from the laser output unit 160. ) can be output. For example, the turn-off signal may be a signal instructing to cut off the supply of power to the laser output unit 160, but embodiments of the present invention are not limited thereto.

장애물 감지 장치(230)는 턴-오프 신호 이후 생성된 전방 영상(IMG)을 제2전방 영상으로서 저장할 수 있다(S240). 상술한 바와 같이, 레이저 출력부(160)에 의해 빔(BEAM)이 출력되지 않는 동안 촬영된 전방 영상(IMG)에는 레이저 이미지(RI)가 나타날 수 없다. 실시 예들에 따라, 장애물 감지 장치(230)는 턴-오프 신호 이후 카메라(150)로부터 수신된 전방 영상(IMG)을 제2전방 영상으로서 저장할 수 있다.The obstacle detecting device 230 may store the forward image IMG generated after the turn-off signal as a second forward image (S240). As described above, the laser image RI cannot appear in the front image IMG captured while the beam BEAM is not output by the laser output unit 160 . According to example embodiments, the obstacle detecting device 230 may store the forward image IMG received from the camera 150 after the turn-off signal as a second forward image.

장애물 감지 장치(230)는 제1전방 영상과 제2전방 영상을 비교하여, 레이저 이미지를 인식할 수 있다(S250).The obstacle detecting device 230 may recognize a laser image by comparing the first front image with the second front image (S250).

실시 예들에 따라, 장애물 감지 장치(230)는 제1전방 영상과 제2전방 영상 상의 각 좌표의 픽셀 값들의 차이를 통해 레이저 이미지를 인식할 수 있으나, 이에 한정되는 것은 아니다.According to embodiments, the obstacle detecting device 230 may recognize a laser image through a difference between pixel values of coordinates on the first front image and the second front image, but is not limited thereto.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or the components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

100: 지게차 110: 바디
120: 마스트 130: 핑거보드
140: 포크 150: 카메라
160: 레이저 출력부 200: 장애물 감지 시스템
210: 카메라 220: 레이저 출력부
230: 장애물 감지 장치100: forklift 110: body
120: mast 130: fingerboard
140: fork 150: camera
160: laser output unit 200: obstacle detection system
210: camera 220: laser output unit
230: obstacle sensing device

Claims (15)

지게차의 전방에 위치한 장애물을 감지하기 위한 장애물 감지 장치에 있어서,
상기 장애물 감지 장치는 상기 지게차에 설치된 카메라로부터 상기 지게차의 전방을 나타내는 전방 영상을 수신하고,
상기 장애물 감지 장치는 프로세서 및 복수의 명령어들을 포함하는 메모리를 포함하고,
상기 프로세서는 상기 복수의 명령어들의 실행에 따라,
상기 전방 영상으로부터 상기 지게차의 포크에 설치된 레이저 출력부로부터 출력된 빔에 의해 상기 장애물에 표시되는 레이저 이미지를 인식하고,
상기 레이저 이미지의 인식 결과에 따라, 상기 지게차의 포크 전방에 위치한 장애물을 검출하고,
상기 프로세서는,
상기 전방 영상에 표시된 상기 지게차의 2개의 포크들 및 2개의 레이저 이미지들을 인식하고, 상기 2개의 포크들 사이의 간격 및 상기 2개의 레이저 이미지들 사이의 이격 거리를 결정하고, 상기 2개의 포크들 사이의 간격 및 상기 2개의 레이저 이미지들 사이의 이격 거리에 기초하여, 상기 장애물까지의 거리를 결정하는,
장애물 감지 장치.An obstacle sensing device for detecting an obstacle located in front of a forklift,
The obstacle detection device receives a front image indicating the front of the forklift from a camera installed on the forklift,
The obstacle detection device includes a processor and a memory including a plurality of instructions,
According to the execution of the plurality of instructions, the processor,
Recognizing a laser image displayed on the obstacle by a beam output from a laser output unit installed on a fork of the forklift from the front image;
According to the recognition result of the laser image, an obstacle located in front of the fork of the forklift is detected,
the processor,
Recognize the two forks and two laser images of the forklift displayed in the front image, determine the distance between the two forks and the distance between the two laser images, and between the two forks Based on the spacing of and the separation distance between the two laser images, determining the distance to the obstacle,
Obstacle detection device. 제1항에 있어서, 상기 프로세서는,
상기 전방 영상 내에서의 상기 레이저 이미지의 형상과 연관된 레이저 이미지 정보를 결정하고,
결정된 레이저 이미지 정보를 이용하여 상기 장애물까지의 거리를 결정하고, 결정된 거리를 저장하는,
장애물 감지 장치.The method of claim 1, wherein the processor,
determining laser image information associated with a shape of the laser image in the forward image;
determining a distance to the obstacle using the determined laser image information and storing the determined distance;
obstacle detection device. 제2항에 있어서,
상기 레이저 이미지 정보는 상기 레이저 이미지의 크기 또는 레이저 이미지들 사이의 이격 거리를 나타내고,
상기 프로세서는,
상기 전방 영상 내에서의 레이저 이미지의 좌표를 결정하고,
결정된 좌표로부터 상기 레이저 이미지의 크기 또는 레이저 이미지들 사이의 이격 거리를 계산함으로써 상기 레이저 이미지 정보를 결정하고,
결정된 상기 레이저 이미지 정보에 기초하여, 상기 장애물까지의 거리를 결정하는,
장애물 감지 장치.According to claim 2,
The laser image information indicates the size of the laser image or the distance between laser images,
the processor,
Determining the coordinates of the laser image in the front image,
Determine the laser image information by calculating the size of the laser image or the separation distance between laser images from the determined coordinates;
Based on the determined laser image information, determining the distance to the obstacle,
obstacle detection device. 삭제delete 제2항에 있어서,
상기 장애물 감지 장치는 상기 카메라로부터 순차적으로 촬영된 복수의 전방 영상들을 수신하고,
상기 프로세서는 상기 복수의 전방 영상들을 상호 비교하여 상기 레이저 이미지를 인식하는,
장애물 감지 장치.According to claim 2,
The obstacle detection device receives a plurality of forward images sequentially taken from the camera,
The processor recognizes the laser image by comparing the plurality of front images with each other,
obstacle detection device. 제5항에 있어서, 상기 프로세서는,
상기 복수의 전방 영상들 중 상기 레이저 이미지가 표시된 제1전방 영상 및 상기 레이저 이미지가 표시되지 않은 제2전방 영상을 상호 비교하여 상기 레이저 이미지를 인식하는,
장애물 감지 장치.The method of claim 5, wherein the processor,
Recognizing the laser image by comparing a first front image on which the laser image is displayed and a second front image on which the laser image is not displayed among the plurality of front images,
obstacle detection device. 지게차의 포크 전방에 위치한 장애물을 감지하기 위한 장애물 감지 시스템에 있어서,
상기 지게차의 전방에 설치되어 전방 영상을 생성하도록 구성되는 카메라;
상기 지게차의 전방에 설치되고, 상기 지게차의 전방으로 빔을 출력하도록 구성되는 레이저 출력부; 및
상기 전방 영상으로부터 상기 빔에 의해 상기 장애물에 표시되는 레이저 이미지를 인식하여, 상기 장애물을 감지하도록 구성되는 장애물 감지 장치를 포함하고,
상기 장애물 감지 장치는 프로세서 및 복수의 명령어들을 포함하는 메모리를 포함하고, 상기 프로세서는 상기 복수의 명령어들의 실행에 따라,
상기 전방 영상으로부터 상기 지게차의 포크 전방의 장애물에 표시되는 레이저 이미지를 인식하고,
상기 레이저 이미지의 인식 결과에 따라, 상기 지게차의 포크 전방에 위치한 장애물을 검출하고,
상기 프로세서는,
상기 전방 영상에 표시된 상기 지게차의 2개의 포크들 및 2개의 레이저 이미지들을 인식하고, 상기 2개의 포크들 사이의 간격 및 상기 2개의 레이저 이미지들 사이의 이격 거리를 결정하고, 상기 2개의 포크들 사이의 간격 및 상기 2개의 레이저 이미지들 사이의 이격 거리에 기초하여, 상기 장애물까지의 거리를 결정하는,
장애물 감지 시스템.An obstacle detection system for detecting an obstacle located in front of a fork of a forklift,
a camera installed in front of the forklift and configured to generate a front image;
a laser output unit installed in front of the forklift and configured to output a beam to the front of the forklift; and
An obstacle detection device configured to detect the obstacle by recognizing a laser image displayed on the obstacle by the beam from the front image,
The obstacle detection device includes a processor and a memory including a plurality of instructions, and the processor according to execution of the plurality of instructions,
Recognize a laser image displayed on an obstacle in front of the fork of the forklift from the front image,
According to the recognition result of the laser image, an obstacle located in front of the fork of the forklift is detected,
the processor,
Recognize the two forks and two laser images of the forklift displayed in the front image, determine the distance between the two forks and the distance between the two laser images, and between the two forks Based on the spacing of and the separation distance between the two laser images, determining the distance to the obstacle,
obstacle detection system. 제7항에 있어서, 상기 프로세서는,
상기 전방 영상 내에서의 상기 레이저 이미지의 형상과 연관된 레이저 이미지 정보를 결정하고,
결정된 레이저 이미지 정보를 이용하여 상기 장애물까지의 거리를 결정하고, 결정된 거리를 저장하는,
장애물 감지 시스템.The method of claim 7, wherein the processor,
determining laser image information associated with a shape of the laser image in the forward image;
determining a distance to the obstacle using the determined laser image information and storing the determined distance;
obstacle detection system. 제8항에 있어서,
상기 레이저 이미지 정보는 상기 레이저 이미지의 크기 또는 레이저 이미지들 사이의 이격 거리를 나타내고,
상기 프로세서는,
상기 전방 영상 내에서의 레이저 이미지의 좌표를 결정하고,
결정된 좌표로부터 상기 레이저 이미지의 크기 또는 레이저 이미지들 사이의 이격 거리를 계산함으로써 상기 레이저 이미지 정보를 결정하고,
결정된 상기 레이저 이미지 정보에 기초하여, 상기 장애물까지의 거리를 결정하는,
장애물 감지 시스템.According to claim 8,
The laser image information indicates the size of the laser image or the distance between laser images,
the processor,
Determining the coordinates of the laser image in the front image,
Determine the laser image information by calculating the size of the laser image or the separation distance between laser images from the determined coordinates;
Based on the determined laser image information, determining the distance to the obstacle,
obstacle detection system. 삭제delete 제8항에 있어서, 상기 레이저 출력부는,
상기 지게차의 포크들 각각의 측면으로 빔을 출력하도록 구성되는 빔 출력부; 및
상기 빔 출력부에서 출력된 빔을 상기 지게차의 전방을 향해 반사시키도록 구성되는 제1반사부 및 제2반사부를 포함하고,
상기 제1반사부는 상기 지게차의 포크 중 제1포크의 측면에 결합되고,
상기 제2반사부는 상기 지게차의 포크 중 제1포크와 대향하여 배치되는 제2포크의 측면에 결합되는,
장애물 감지 시스템.The method of claim 8, wherein the laser output unit,
a beam output unit configured to output a beam to each side of each of the forks of the forklift; and
A first reflector and a second reflector configured to reflect the beam output from the beam output unit toward the front of the forklift,
The first reflector is coupled to a side surface of a first fork of the fork of the forklift,
The second reflector is coupled to a side surface of a second fork disposed facing the first fork of the fork of the forklift,
obstacle detection system. 제11항에 있어서, 상기 빔 출력부는,
상기 제1포크를 향해 형성된 제1개구부 및 상기 제2포크를 향해 형성된 제2개구부를 포함하는 하우징;
상기 하우징 내에 배치되어 빛을 방출하도록 구성되는 광원;
상기 제1개구부 내측에 배치되고, 상기 광원을 집광하여 상기 제1개구부를 향해 빔을 출력하도록 구성되는 제1렌즈부; 및
상기 제2개구부 내측에 배치되고, 상기 광원을 집광하여 상기 제2개구부를 향해 빔을 출력하도록 구성되는 제2렌즈부를 포함하는,
장애물 감지 시스템.The method of claim 11, wherein the beam output unit,
a housing including a first opening formed toward the first fork and a second opening formed toward the second fork;
a light source disposed within the housing and configured to emit light;
a first lens unit disposed inside the first opening and configured to condense the light source and output a beam toward the first opening; and
A second lens unit disposed inside the second opening and configured to condense the light source and output a beam toward the second opening,
obstacle detection system. 제11항에 있어서,
상기 제1반사부는 상기 제1포크의 측면에 결합되도록 구성되는 제1바디; 및
상기 제1바디의 표면에 형성되어 상기 빔을 상기 지게차의 전방으로 반사시키도록 구성되는 제1반사부를 포함하고,
상기 제2반사부는 상기 제2포크의 측면에 결합되도록 구성되는 제2바디; 및
상기 제2바디의 표면에 형성되어 상기 빔을 상기 지게차의 전방으로 반사시키도록 구성되는 제2반사부를 포함하는,
장애물 감지 시스템.According to claim 11,
a first body configured to be coupled to a side surface of the first fork; and
A first reflector formed on a surface of the first body and configured to reflect the beam forward of the forklift;
The second reflector may include a second body configured to be coupled to a side surface of the second fork; and
A second reflector formed on the surface of the second body and configured to reflect the beam forward of the forklift,
obstacle detection system. 제8항에 있어서,
상기 장애물 감지 장치는 상기 카메라로부터 순차적으로 촬영된 복수의 전방 영상들을 수신하고,
상기 프로세서는 상기 복수의 전방 영상들을 상호 비교하여 상기 레이저 이미지를 인식하는,
장애물 감지 시스템.According to claim 8,
The obstacle detection device receives a plurality of forward images sequentially taken from the camera,
The processor recognizes the laser image by comparing the plurality of front images with each other,
obstacle detection system. 제14항에 있어서, 상기 프로세서는,
상기 복수의 전방 영상들 중 상기 레이저 이미지가 표시된 제1전방 영상 및 상기 레이저 이미지가 표시되지 않은 제2전방 영상을 상호 비교하여 상기 레이저 이미지를 인식하는,
장애물 감지 시스템.
The method of claim 14, wherein the processor,
Recognizing the laser image by comparing a first front image on which the laser image is displayed and a second front image on which the laser image is not displayed among the plurality of front images,
obstacle detection system.
KR1020210076889A 2021-06-14 2021-06-14 Obstacle detection device and obstacle detection system for detecting obstacle in front of fork of fork lift KR102565359B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210076889A KR102565359B1 (en) 2021-06-14 2021-06-14 Obstacle detection device and obstacle detection system for detecting obstacle in front of fork of fork lift

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210076889A KR102565359B1 (en) 2021-06-14 2021-06-14 Obstacle detection device and obstacle detection system for detecting obstacle in front of fork of fork lift

Publications (2)

Publication Number Publication Date
KR20220167648A KR20220167648A (en) 2022-12-21
KR102565359B1 true KR102565359B1 (en) 2023-08-09

Family

ID=84536864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210076889A KR102565359B1 (en) 2021-06-14 2021-06-14 Obstacle detection device and obstacle detection system for detecting obstacle in front of fork of fork lift

Country Status (1)

Country Link
KR (1) KR102565359B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517660B1 (en) 2023-02-17 2023-04-06 주식회사 파트넷 Collision avoidance system for transport equipment
KR20240136251A (en) 2023-03-06 2024-09-13 이정무 Video provision system for safe operation of forklift truck

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001206685A (en) 2000-01-27 2001-07-31 Nippon Yusoki Co Ltd Floodlight
JP2007084162A (en) 2005-09-20 2007-04-05 Toyota Industries Corp Cargo handling supporting device of fork lift
JP2019156641A (en) * 2018-03-08 2019-09-19 コニカミノルタ株式会社 Image processing device for fork lift and control program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213987B1 (en) * 2010-08-16 2012-12-20 주식회사 와이즈오토모티브 Apparatus for measurementing distance and method for controlling the same
KR101466953B1 (en) * 2012-07-19 2014-12-03 한국콘베어공업주식회사 Automatic control apparatus and method for forklift

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001206685A (en) 2000-01-27 2001-07-31 Nippon Yusoki Co Ltd Floodlight
JP2007084162A (en) 2005-09-20 2007-04-05 Toyota Industries Corp Cargo handling supporting device of fork lift
JP2019156641A (en) * 2018-03-08 2019-09-19 コニカミノルタ株式会社 Image processing device for fork lift and control program

Also Published As

Publication number Publication date
KR20220167648A (en) 2022-12-21

Similar Documents

Publication Publication Date Title
KR102565359B1 (en) Obstacle detection device and obstacle detection system for detecting obstacle in front of fork of fork lift
US11305650B2 (en) Systems and methods for warehouse environment speed zone management
US8970357B2 (en) Vehicle-mounted surrounding object recognizing apparatus and drive support apparatus using the same
US9374873B2 (en) Light component coordination
JP2019156641A (en) Image processing device for fork lift and control program
US20220267131A1 (en) Smart warehouse safety mechanisms
US20160144770A1 (en) Automotive lighting device and a vehicle having the same
JP7259835B2 (en) Image processor and control program for forklift
US9545875B2 (en) Method for controlling a light emission of a headlight of a vehicle
US20150081185A1 (en) Automobile with anti-collision function and anti-collision method
US20150253416A1 (en) System and method of detecting preceding vehicle by using sensor
KR20220086689A (en) industrial vehicle
KR102390021B1 (en) Forklift safety system using AI and radar
US9640076B2 (en) Communication device and communication method for a vehicle
US11260789B2 (en) Out-of-vehicle notification device
ES2713683T3 (en) Automatic guided vehicle
KR101354131B1 (en) Accident prevention indicating device, and automobile including the same
US20210195717A1 (en) Intelligent auxiliary lighting system, method, and movable platform
KR102666772B1 (en) The around monitoring apparatus ofo the image base
KR20150014802A (en) Alarm device for around forklift truck
KR20230041253A (en) Safety system for front driving of forklift
KR102565343B1 (en) Device for generating virtual fork corresponding to fork of fork lift and fork lift inicluding the same
US11337288B2 (en) Device for the interactive and location-dependent control of lighting properties
KR102484297B1 (en) Saafety driving system and method for forklift truck
JP7491238B2 (en) Obstacle Detection System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right