KR102332616B1 - Display device for construction equipment using LiDAR and AR - Google Patents

Display device for construction equipment using LiDAR and AR Download PDF

Info

Publication number
KR102332616B1
KR102332616B1 KR1020200053687A KR20200053687A KR102332616B1 KR 102332616 B1 KR102332616 B1 KR 102332616B1 KR 1020200053687 A KR1020200053687 A KR 1020200053687A KR 20200053687 A KR20200053687 A KR 20200053687A KR 102332616 B1 KR102332616 B1 KR 102332616B1
Authority
KR
South Korea
Prior art keywords
unit
construction equipment
lidar
arm
control unit
Prior art date
Application number
KR1020200053687A
Other languages
Korean (ko)
Other versions
KR20210136194A (en
Inventor
박경남
Original Assignee
이지스로직 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이지스로직 주식회사 filed Critical 이지스로직 주식회사
Priority to KR1020200053687A priority Critical patent/KR102332616B1/en
Publication of KR20210136194A publication Critical patent/KR20210136194A/en
Application granted granted Critical
Publication of KR102332616B1 publication Critical patent/KR102332616B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Abstract

본 발명은 건설장비에서 전방을 향하여 이미지를 획득하도록 설치되는 카메라; 상기 건설장비의 차량에 설치되고, 상기 차량의 주변에 위치하는 물체에 대하여, 레이저를 이용하여 거리 정보를 획득하기 위한 메인라이다센서; 상기 건설장비의 운전자에게 정보를 제공하기 위한 디스플레이부; 상기 카메라에 의해 획득되는 이미지를 상기 디스플레이부에 배경으로 제공하는 배경제공부; 상기 디스플레이부를 통해서 제공되는 이미지에 포함되는 물체 중에서 상기 메인라이다센서의 주변에서 설정감지거리 내에 해당하는 표시영역 내에 위치하는 감지대상의 명칭을 기준 데이터와의 비교에 의해 추출하고, 상기 차량으로부터 상기 감지대상과의 거리를 상기 라이다센서를 통해서 산출하는 제어부; 상기 디스플레이부를 통해서 제공되는 이미지에서 상기 감지대상을 마커(marker)에 의해 표시하고, 상기 마커에 각각 대응하여, 상기 제어부에 의해 추출한 명칭과 산출한 거리를 각각 나타내도록 상기 제어부에 의해 제어되는 가상이미지제공부; 및 상기 감지대상의 명칭 추출을 위한 기준 데이터를 저장하여 상기 제어부에 제공하는 메모리부;를 포함하도록 한 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에 관한 것이다. 본 발명에 따르면, 라이다와 AR 기술을 이용하여 근접 감지대상에 대한 정확한 정보를 디스플레이부를 통해서 제공함으로써, 작업의 효율 및 안전도를 높일 수 있다.The present invention is a camera that is installed to acquire an image toward the front in construction equipment; a main lidar sensor installed in a vehicle of the construction equipment and configured to obtain distance information using a laser with respect to an object located in the vicinity of the vehicle; a display unit for providing information to the driver of the construction equipment; a background providing unit providing the image acquired by the camera as a background to the display unit; Among the objects included in the image provided through the display unit, the name of the detection target located in the display area corresponding to the set detection distance in the vicinity of the main lidar sensor is extracted by comparison with reference data, and the name of the detection target is extracted from the vehicle. a control unit for calculating a distance to a sensing target through the lidar sensor; In the image provided through the display unit, the sensing target is displayed by a marker, and a virtual image controlled by the control unit to indicate the name extracted by the control unit and the calculated distance, respectively, corresponding to the markers, respectively. provider; And it relates to a display device for construction equipment using lidar and AR to include; a memory unit that stores reference data for extracting the name of the sensing target and provides it to the control unit. According to the present invention, by using the lidar and AR technology to provide accurate information on the proximity sensing target through the display unit, it is possible to increase the efficiency and safety of work.

Description

라이다와 ＡＲ을 이용한 건설 장비용 디스플레이 장치{Display device for construction equipment using LiDAR and AR}Display device for construction equipment using LiDAR and AR

본 발명은 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에 관한 것으로서, 보다 상세하게는 라이다와 AR 기술을 이용하여 근접 감지대상에 대한 정확한 정보를 디스플레이부를 통해서 제공함으로써, 작업의 효율 및 안전도를 높일 수 있고, 나아가서, 감지대상의 판단에 딥러닝 알고리즘을 사용함으로써, 판단의 정확도를 높이도록 하며, 위험을 알리는 가상의 안전 요원 이미지를 오버랩에 의해 디스플레이되도록 함으로써, 실제 안전요원의 위험하고 힘든 작업환경을 개선하는데 도움을 주는 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에 관한 것이다.The present invention relates to a display device for construction equipment using lidar and AR, and more particularly, by providing accurate information on a proximity sensing target using lidar and AR technology through a display unit, efficiency and safety of work can be improved. Furthermore, by using a deep learning algorithm to determine the detection target, the accuracy of the judgment is increased, and by displaying the virtual safety officer image informing the danger by overlap, the dangerous and difficult work of the real security personnel It relates to a display device for construction equipment using lidar and AR that helps to improve the environment.

최근에는 자율 주행 자동차 및 무인 자동차에 대한 관심과 함께, 주변의 거리 정보를 획득하는 장치로서, 라이다(LiDAR: Light Detection and Ranging)에 대한 관심이 늘어가고 있는 추세이다. Recently, along with interest in autonomous vehicles and unmanned vehicles, interest in LiDAR (Light Detection and Ranging) as a device for acquiring surrounding distance information is increasing.

이러한 라이다는 주변의 거리 정보를 획득하기 위하여, 레이저를 이용하는데, 정밀도 및 해상도가 뛰어나며, 사물을 입체로 파악할 수 있다는 장점 덕분에, 자동차뿐만 아니라, 드론, 항공기 등의 다양한 분야에 적용되고 있다.Such lidar uses a laser to acquire surrounding distance information, and thanks to its excellent precision and resolution, and the advantage of being able to grasp objects in three dimensions, it is applied not only to automobiles, but also to various fields such as drones and aircraft. .

광을 이용하여 대상체와의 거리를 측정하는 시스템의 경우, 다양한 알고리즘이 제안되고 있는데, 통상적으로 라이다를 이용한 거리 측정 시스템은 레이저가 발사되는 시점과 대상체로부터 반사되는 레이저가 수신되는 시점을 비교함으로써, 거리 정보를 획득할 수 있다. 즉, 라이다는 발사된 레이저의 비행시간을 측정함으로써 대상체의 거리 정보를 획득할 수 있다. 이 때, 수신되는 레이저로부터 리딩 엣지를 검출하고, 리딩 엣지가 검출된 시점을 레이저의 수신 시점으로 하여 대상체의 거리를 계산하는 것이 일반적이다.In the case of a system for measuring a distance to an object using light, various algorithms have been proposed. In general, a distance measuring system using a lidar compares a time when a laser is emitted and a time when a laser reflected from an object is received by comparing the , distance information can be obtained. That is, the lidar can acquire distance information of the object by measuring the flight time of the laser emitted. In this case, it is common to detect a leading edge from a received laser, and calculate the distance to the object by using a time point at which the leading edge is detected as a laser reception time point.

종래 라이다를 이용한 거리 측정 기술로는 한국공개특허 제10-2018-0012059호의 "라이다 장치 및 거리 측정 방법"이 제시된 바 있는데, 이는 레이저 펄스를 대상체에 조사하는 광원; 상기 대상체로부터 반사된 레이저 펄스를 수광하는 수광부; 상기 광원이 레이저 펄스를 조사할 때 제 1 주기파를 형성하고, 상기 수광부가 레이저 펄스를 수광할 때, 상기 제 1 주기파와 동일한 주파수의 제 2 주기파를 형성하는 제 1 주기파 생성부; 및 상기 제 1 주기파 생성부로부터 전달받은 상기 제 1 주기파와 상기 제 2 주기파의 위상을 서로 비교하는 제 1 비교부;를 포함하고, 상기 제 1 비교부에서 비교된 위상을 바탕으로 대상체까지의 거리를 도출한다.As a conventional distance measuring technique using lidar, "LiDAR device and distance measuring method" of Korean Patent Laid-Open No. 10-2018-0012059 has been proposed, which includes a light source irradiating a laser pulse to an object; a light receiving unit receiving the laser pulse reflected from the object; a first periodic wave generator configured to form a first periodic wave when the light source irradiates a laser pulse, and forms a second periodic wave having the same frequency as the first periodic wave when the light receiving unit receives the laser pulse; and a first comparison unit that compares the phases of the first and second periodic waves received from the first periodic wave generator with each other, and includes, up to an object based on the phases compared by the first comparison unit. to derive the distance of

그러나, 이와 같은 라이다를 이용한 거리 측정 시스템은, 획득한 측정 데이터를 거리 측정용으로만 사용하게 됨으로써, 그 효용성을 확대하는데 한계를 가진다. 따라서, 라이다를 거리 측정에만 한정하여 사용하지 않고, 라이다의 특성을 고려하여, 아암 등을 가진 건설장비에서의 작업자 안전을 높이도록 하는 기능의 구현을 고려할 필요가 있었다.However, the distance measuring system using such a lidar has a limit in expanding its effectiveness because the acquired measurement data is used only for distance measurement. Therefore, it was necessary to consider the implementation of a function to increase worker safety in construction equipment having an arm, etc., in consideration of the characteristics of the lidar, rather than limiting the use of the lidar to only measuring the distance.

상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 라이다와 AR 기술을 이용하여 근접 감지대상에 대한 정확한 정보를 디스플레이부를 통해서 제공함으로써, 작업의 효율 및 안전도를 높일 수 있고, 나아가서, 감지대상의 판단에 딥러닝 알고리즘을 사용함으로써, 판단의 정확도를 높이도록 하며, 위험을 알리는 가상의 안전 요원 이미지를 오버랩에 의해 디스플레이되도록 함으로써, 실제 안전요원의 위험하고 힘든 작업환경을 개선하는데 도움을 주고, 건설장비의 운전자에게 직관적인 작업 가이드를 제공받도록 하는데 목적이 있다.In order to solve the problems of the prior art as described above, the present invention can increase the efficiency and safety of work by providing accurate information on the proximity sensing target through the display unit using lidar and AR technology, and further, By using a deep learning algorithm to determine the detection target, the accuracy of the judgment is increased, and the virtual safety officer image notifying the danger is displayed by the overlap, which helps to improve the dangerous and difficult working environment of the real safety personnel. It aims to provide an intuitive work guide to the operator of construction equipment.

본 발명의 다른 목적들은 이하의 실시례에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention will be easily understood through the description of the following embodiments.

상기한 바와 같은 목적을 달성하기 위해, 본 발명의 일측면에 따르면, 건설장비에서 전방을 향하여 이미지를 획득하도록 설치되는 카메라; 상기 건설장비의 차량에 설치되고, 상기 차량의 주변에 위치하는 물체에 대하여, 레이저를 이용하여 거리 정보를 획득하기 위한 메인라이다센서; 상기 건설장비의 운전자에게 정보를 제공하기 위한 디스플레이부; 상기 카메라에 의해 획득되는 이미지를 상기 디스플레이부에 배경으로 제공하는 배경제공부; 상기 디스플레이부를 통해서 제공되는 이미지에 포함되는 물체 중에서 상기 메인라이다센서의 주변에서 설정감지거리 내에 해당하는 표시영역 내에 위치하는 감지대상의 명칭을 기준 데이터와의 비교에 의해 추출하고, 상기 차량으로부터 상기 감지대상과의 거리를 상기 라이다센서를 통해서 산출하는 제어부; 상기 디스플레이부를 통해서 제공되는 이미지에서 상기 감지대상을 마커(marker)에 의해 표시하고, 상기 마커에 각각 대응하여, 상기 제어부에 의해 추출한 명칭과 산출한 거리를 각각 나타내도록 상기 제어부에 의해 제어되는 가상이미지제공부; 및 상기 감지대상의 명칭 추출을 위한 기준 데이터를 저장하여 상기 제어부에 제공하는 메모리부;를 포함하는, 라이다와 AR을 이용한 건설 장비용 디스플레이 장치가 제공된다.In order to achieve the above object, according to one aspect of the present invention, a camera installed to acquire an image toward the front in the construction equipment; a main lidar sensor installed in a vehicle of the construction equipment and configured to obtain distance information using a laser with respect to an object located in the vicinity of the vehicle; a display unit for providing information to a driver of the construction equipment; a background providing unit providing the image acquired by the camera as a background to the display unit; Among the objects included in the image provided through the display unit, the name of the detection target located in the display area corresponding to the set detection distance in the vicinity of the main lidar sensor is extracted by comparison with reference data, and the name of the detection target is extracted from the vehicle. a control unit for calculating a distance to a sensing target through the lidar sensor; In the image provided through the display unit, the sensing target is displayed by a marker, and a virtual image controlled by the control unit to indicate the name extracted by the control unit and the calculated distance, respectively, corresponding to the markers, respectively. provider; and a memory unit for storing reference data for extracting the name of the sensing target and providing the data to the control unit; a display device for construction equipment using lidar and AR is provided, including.

상기 건설장비의 아암에 설치되고, 상기 아암 주변의 물체에 대한 거리 측정에 사용되는 셔틀라이다센서를 더 포함하고, 상기 제어부는, 상기 메인라이다센서와 상기 셔틀라이다센서를 통해서, 상기 메인라이다센서의 주변에서 상기 표시영역의 기준인 설정감지거리 보다 짧은 제 1 설정안전거리 내에 해당하는 메인감시영역과 상기 셔틀라이다센서의 주변에서 상기 표시영역의 기준인 설정감지거리 보다 짧은 상기 제 2 설정안전거리 내에 해당하는 가변감시영역의 교집합에 해당하는 영역 내에 물체가 존재하는 것으로 판단시, 상기 디스플레이부를 통해서 주의를 제공하도록 제어함으로써, 상기 운전자에게 전방 뿐만 아니라, 사각지대에 대해서 상기 차량 뿐만 아니라 상기 아암에 의한 물체와의 충돌을 예방하도록 할 수 있다.and a shuttle lidar sensor installed on the arm of the construction equipment and used to measure a distance to an object around the arm, wherein the control unit includes the main lidar sensor and the shuttle lidar sensor through the main lidar sensor and the shuttle lidar sensor. In the vicinity of the lidar sensor, the main monitoring area that is within a first set safe distance that is shorter than the set detection distance that is the standard of the display area, and the second that is shorter than the set detection distance that is the standard of the display area in the vicinity of the shuttle lidar sensor 2 When it is determined that an object exists within the area corresponding to the intersection of the variable monitoring areas corresponding to the set safety distance, by controlling to provide attention through the display unit, the vehicle is not only in front of the driver but also in the blind spot. Rather, it is possible to prevent a collision with an object by the arm.

상기 차량에서 상기 아암의 회전방향을 감지하는 아암회전방향감지부; 및 상기 디스플레이부를 통해서 제공되는 이미지에 가상의 안전요원 이미지를 나타내고, 상기 가상의 안전요원이 모션에 의해 상기 주의를 제공하는 가상안전요원제공부;를 더 포함하고, 상기 제어부는, 상기 아암회전방향감지부의 감지신호를 수신받아, 상기 교집합에 해당하는 영역 내에서 상기 아암의 회전하는 방향으로 상기 물체가 존재하는 것으로 판단시, 상기 디스플레이부의 이미지에서 상기 아암이 회전하는 방향의 측단에 상기 가상의 안전요원 이미지가 나타나서 상기 모션을 수행하도록 상기 가상안전요원제공부를 제어할 수 있다.an arm rotation direction sensing unit for sensing a rotation direction of the arm in the vehicle; and a virtual safety agent providing unit that displays a virtual safety personnel image on the image provided through the display unit, and provides the attention by the virtual security personnel motion; wherein the control unit includes: the arm rotation direction detection unit When it is determined that the object exists in the rotational direction of the arm within the area corresponding to the intersection by receiving a detection signal of An image may appear and control the virtual safety personnel providing unit to perform the motion.

경보음의 발생이나 경보등의 발광 또는 점멸에 의해, 경보를 발생시키는 경보발생부를 더 포함하고, 상기 제어부는, 상기 감지대상의 명칭을 기준 데이터와의 비교에 의해 추출시 딥러닝 알고리즘을 이용하고, 상기 교집합에 해당하는 영역 내에서 상기 물체가 존재시, 상기 경보발생부가 경보를 발생시키도록 제어할 수 있다.Further comprising an alarm generating unit that generates an alarm by the generation of an alarm sound or light emission or flashing of an alarm, wherein the control unit uses a deep learning algorithm when extracting the name of the detection target by comparison with reference data, When the object exists within the area corresponding to the intersection, the alarm generating unit may be controlled to generate an alarm.

상기 제어부는, 상기 차량의 이동을 고려하더라도, 상기 아암의 회전 동작 과정 중에 상기 물체와의 충돌이 예상되는 경우, 상기 아암의 회전 동작을 정지시키도록 상기 건설장비의 동작을 제어할 수 있다.The controller may control the operation of the construction equipment to stop the rotational operation of the arm when a collision with the object is expected during the course of the rotational operation of the arm, even in consideration of the movement of the vehicle.

본 발명에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에 의하면, 라이다와 AR 기술을 이용하여 근접 감지대상에 대한 정확한 정보를 디스플레이부를 통해서 제공함으로써, 작업의 효율 및 안전도를 높일 수 있고, 나아가서, 감지대상의 판단에 딥러닝 알고리즘을 사용함으로써, 판단의 정확도를 높일 수 있으며, 위험을 알리는 가상의 안전 요원 이미지를 오버랩에 의해 디스플레이되도록 함으로써, 실제 안전요원의 위험하고 힘든 작업환경을 개선하는데 도움을 줄 수 있고, 건설장비의 운전자에게 직관적인 작업 가이드를 제공받도록 하는 효과를 가진다.According to the display device for construction equipment using lidar and AR according to the present invention, it is possible to increase the efficiency and safety of work by providing accurate information on the proximity sensing target through the display unit using lidar and AR technology, Furthermore, by using a deep learning algorithm to determine the detection target, it is possible to increase the accuracy of the judgment, and by displaying the virtual safety personnel image informing the danger by overlap, it is possible to improve the dangerous and difficult working environment of the actual safety personnel. It can help and has the effect of allowing the operator of construction equipment to receive an intuitive work guide.

도 1은 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치를 도시한 구성도이다.
도 2는 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치가 적용되는 건설장비의 일례를 도시한 측면도이다.
도 3은 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서 디스플레이되는 이미지를 예시적으로 나타낸 것이다.
도 4는 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서 라이다센서의 송신부와 수신부의 일례를 나타낸 이미지이다.
도 5는 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서 표시영역과 감지영역을 설명하기 위한 개략도로서 아암이 좌회전(a)하는 경우를 나타낸다.
도 6은 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서 표시영역과 감지영역을 설명하기 위한 개략도로서 아암이 우회전(b)하는 경우를 나타낸다.
도 7은 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서, 제어부의 CNN 하드웨어 가속기의 블록도이다.
도 8은 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서, 제어부의 Convolution Layer 모듈의 블록도이다.
도 9는 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서, 제어부의 Max Pooling Layer 모듈의 블록도이다.
도 10은 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서, 제어부의의 Fully Connected Layer 모듈의 블록도이다.
도 11은 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에서, 제어부의 Layer별 입력 행렬과 필터 및 Pooling 구조의 블록도이다.1 is a block diagram illustrating a display device for construction equipment using lidar and AR according to an embodiment of the present invention.
2 is a side view illustrating an example of construction equipment to which a display device for construction equipment using lidar and AR according to an embodiment of the present invention is applied.
3 exemplarily shows an image displayed on a display device for construction equipment using lidar and AR according to an embodiment of the present invention.
4 is an image illustrating an example of a transmitter and a receiver of a lidar sensor in a display device for construction equipment using lidar and AR according to an embodiment of the present invention.
5 is a schematic diagram for explaining a display area and a detection area in a display device for construction equipment using lidar and AR according to an embodiment of the present invention, and shows a case in which the arm rotates to the left (a).
6 is a schematic diagram for explaining a display area and a detection area in a display device for construction equipment using lidar and AR according to an embodiment of the present invention, and shows a case in which the arm rotates right (b).
7 is a block diagram of a CNN hardware accelerator of a control unit in a display device for construction equipment using lidar and AR according to an embodiment of the present invention.
8 is a block diagram of a Convolution Layer module of a control unit in a display device for construction equipment using lidar and AR according to an embodiment of the present invention.
9 is a block diagram of a Max Pooling Layer module of a control unit in a display device for construction equipment using lidar and AR according to an embodiment of the present invention.
10 is a block diagram of a Fully Connected Layer module of a control unit in a display device for construction equipment using lidar and AR according to an embodiment of the present invention.
11 is a block diagram of an input matrix for each layer of a control unit, a filter, and a pooling structure in a display device for construction equipment using lidar and AR according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고, 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니고, 본 발명의 기술 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 식으로 이해되어야 하고, 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시례에 한정되는 것은 아니다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to a specific embodiment, it should be understood as including all changes, equivalents or substitutes included in the spirit and scope of the present invention, and may be modified in various other forms. and the scope of the present invention is not limited to the following examples.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시례를 상세히 설명하며, 도면 부호에 관계없이 동일하거나 대응하는 구성요소에 대해서는 동일한 참조 번호를 부여하고, 이에 대해 중복되는 설명을 생략하기로 한다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings, and the same reference numerals are assigned to the same or corresponding components regardless of reference numerals, and redundant description thereof will be omitted.

도 1은 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치를 도시한 구성도이고, 도 2는 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치가 적용되는 건설장비의 일례를 도시한 측면도이다.1 is a block diagram illustrating a display device for construction equipment using lidar and AR according to an embodiment of the present invention, and FIG. 2 is a display for construction equipment using lidar and AR according to an embodiment of the present invention. It is a side view showing an example of construction equipment to which the device is applied.

도 1 및 도 2를 참조하면, 본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치(10)는 카메라(11), 메인라이다센서(12), 디스플레이부(14), 배경제공부(15), 제어부(16), 가상이미지제공부(17) 및 메모리부(18)를 포함할 수 있다.1 and 2 , the display device 10 for construction equipment using lidar and AR according to an embodiment of the present invention includes a camera 11 , a main lidar sensor 12 , and a display unit 14 . , a background providing unit 15 , a control unit 16 , a virtual image providing unit 17 , and a memory unit 18 .

카메라(11)는 건설장비(1)에서 전방을 향하여 이미지를 획득하도록 설치되는데, 필요에 따라 고해상도 촬영장치가 사용될 수 있다.The camera 11 is installed to acquire an image toward the front in the construction equipment 1, and a high-resolution photographing device may be used if necessary.

메인라이다센서(12)는 건설장비(1)의 차량(2)에 설치되고, 차량(2)의 주변에 위치하는 물체에 대하여, 레이저를 이용하여 거리 정보를 획득하도록 한다. 메인라이다센서(12)의 구체적인 구조에 대해서는 후술하는 셔틀라이다센서(13)와 함께 예시적으로 설명하기로 한다.The main lidar sensor 12 is installed in the vehicle 2 of the construction equipment 1 and uses a laser to obtain distance information for an object located in the vicinity of the vehicle 2 . The specific structure of the main lidar sensor 12 will be described as an example together with the shuttle lidar sensor 13 to be described later.

디스플레이부(14)는 건설장비(1)의 운전자에게 정보를 제공하도록 하는데, 이를 위해 건설장비(1)의 운전석에 설치될 수 있다. The display unit 14 provides information to the driver of the construction equipment 1 , and for this purpose, it may be installed in the driver's seat of the construction equipment 1 .

배경제공부(15)는 카메라(11)에 의해 획득되는 이미지를 디스플레이부(14)에 배경으로 제공하도록 하는데, 후술하게 될 제어부(16)의 제어에 의해 카메라(11)에 의해 실시간으로 촬영되는 이미지가 디스플레이부(14)에 그대로 디스플레이되도록 한다.The background providing unit 15 provides an image acquired by the camera 11 as a background to the display unit 14, which is captured in real time by the camera 11 under the control of the control unit 16, which will be described later. The image is displayed on the display unit 14 as it is.

제어부(16)는 디스플레이부(14)를 통해서 제공되는 이미지에 포함되는 물체 중에서 메인라이다센서(12)의 주변에서 설정감지거리 내에 해당하는 표시영역(A1; 도 5 및 도 6에 도시) 내에 위치하는 감지대상의 명칭을 기준 데이터와의 비교에 의해 추출하고, 차량(2)으로부터 감지대상과의 거리를 메인라이다센서(12)를 통해서 산출하도록 한다. 여기서, 물체는 도로 외에 운전자가 운전이나 작업에 식별이 필요한 각종 구조물, 차량, 식물 또는 사람 등을 비롯하여 다양한 객체를 포함할 수 있다. 또한 감지대상은 상기한 물체 중에서, 건설장비(1)의 운행이나 동작시 확인이 필요한 물체로서, 표시영역(A1; 도 5 및 도 6에 도시), 예컨대, 반경 10~100m 이내의 영역에 해당하는 영역에 존재하는 물체일 수 있다.The control unit 16 is within the display area A1 (shown in FIGS. 5 and 6) corresponding to a set detection distance from the periphery of the main lidar sensor 12 among objects included in the image provided through the display unit 14. The name of the located detection target is extracted by comparison with reference data, and the distance from the vehicle 2 to the detection target is calculated through the main lidar sensor 12 . Here, the object may include various objects, such as various structures, vehicles, plants, or people, in which the driver needs to be identified for driving or working in addition to the road. In addition, the sensing target is an object that needs to be checked during operation or operation of the construction equipment 1 among the above objects, and corresponds to the display area A1 (shown in FIGS. 5 and 6), for example, within a radius of 10 to 100 m. It may be an object that exists in the

도 3에서와 같이, 가상이미지제공부(17)는 디스플레이부(14)를 통해서 제공되는 이미지에서 감지대상을 마커(marker; M)에 의해 표시하고, 마커(M)에 각각 대응하여, 제어부(16)에 의해 추출한 명칭(N)과 산출한 거리(D)를 각각 나타내도록 제어부(16)에 의해 제어된다. 가상이미지제공부(17)는 AR(Augmented Reality; 증강현실) 기법에 의해, 디스플레이부(14)를 통해서 제공되는 이미지에 메모리부(18)에 저장된 AR 정보로부터 생성되는 마커(M)를 오버랩시킴과 아울러, 마커(M)의 정해진 위치에 명칭(N)과 거리(D)를 오버랩시키게 된다. 여기서, 거리(D)는 제어부(16)에 의해 실시간으로 산출되는 수치와 단위에 해당된다.As shown in FIG. 3 , the virtual image providing unit 17 displays a detection target in the image provided through the display unit 14 by a marker (M), and corresponding to each of the markers (M), the control unit ( 16) is controlled by the control unit 16 to indicate the extracted name N and the calculated distance D, respectively. The virtual image providing unit 17 overlaps the marker M generated from AR information stored in the memory unit 18 on the image provided through the display unit 14 by AR (Augmented Reality) technique. In addition, the name (N) and the distance (D) are overlapped at a predetermined position of the marker (M). Here, the distance D corresponds to a numerical value and a unit calculated in real time by the control unit 16 .

메모리부(18)는 상기의 감지대상의 명칭 추출을 위한 기준 데이터를 저장하여, 제어부(16)에 제공할 수 있는데, 이러한 기준 데이터는 감지대상의 이미지 프로세싱에 의해 얻어지는 이미지 데이터 각각에 매칭되는 명칭으로서, 건설현장에서 포착될 수 있는 다양한 물체의 이미지 데이터 각각에 대한 명칭 데이터를 저장하게 된다. 이때, 메모리부(18)는 명칭 데이터 각각에 대해서 여러 변형된 이미지 데이터를 포함할 수 있음은 물론이다. The memory unit 18 may store the reference data for extracting the name of the sensing target and provide it to the control unit 16, wherein the reference data is a name matching each image data obtained by image processing of the sensing target. As such, name data for each image data of various objects that can be captured at the construction site is stored. In this case, of course, the memory unit 18 may include various modified image data for each of the name data.

본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치(10)는 건설장비(1)에 적용됨으로써, 일반적인 차량에 비하여, 이동이 가능한 차량(2)에 붐(5)으로 연결됨과 아울러 바스켓(4)이 설치된 아암(3)이 회동 가능하게 설치됨으로써, 아암(3)의 회전반경에 따른 안전상의 문제가 야기되는 점에서 아암(3)에 셔틀라이다센서(13)가 부가적으로 마련될 수 있다. 한편, 본 발명에서 건설장비(1)는 포크레인을 예로 들었으나, 이에 한하지 않고, 다양한 작업에서 요구되는 아암이나 이에 유사한 구조물을 가지는 각종 건설용 장비가 포함될 수 있음은 물론이다.The display device 10 for construction equipment using lidar and AR according to an embodiment of the present invention is applied to the construction equipment 1, and as compared to a general vehicle, a boom 5 is used in the vehicle 2 that is movable. The shuttle lidar sensor 13 is installed on the arm 3 in that the arm 3 on which the basket 4 is installed is rotatably installed as well as connected, thereby causing a safety problem according to the rotation radius of the arm 3 . It may be provided additionally. Meanwhile, in the present invention, the construction equipment 1 is a fork crane as an example, but it is not limited thereto, and various construction equipment having an arm required for various operations or a structure similar thereto may be included.

셔틀라이다센서(13)는 건설장비(1)의 아암(3)에 설치되고, 아암(3) 주변의 물체에 대한 거리 측정에 사용되도록 한다.The shuttle lidar sensor 13 is installed on the arm 3 of the construction equipment 1 and is used to measure a distance to an object around the arm 3 .

셔틀라이다센서(13)는 전술한 메인라이다센서(12)와 마찬가지로, 레이저가 발사되는 시점과 물체로부터 반사되는 레이저가 수신되는 시점을 비교함으로써, 거리 정보를 획득할 수 있도록 하는데, 발사된 레이저의 비행시간을 측정함으로써 물체의 거리 정보를 획득할 수 있다. 이 때, 수신되는 레이저로부터 리딩 엣지를 검출하고, 리딩 엣지가 검출된 시점을 레이저의 수신 시점으로 하여 대상체의 거리를 계산하도록 구성될 수 있다.The shuttle lidar sensor 13, like the above-described main lidar sensor 12, compares the timing at which the laser is emitted and the timing at which the laser reflected from the object is received, thereby obtaining distance information. Distance information of an object can be obtained by measuring the flight time of the laser. In this case, it may be configured to detect a leading edge from a received laser, and calculate a distance to the object by using a time when the leading edge is detected as a reception time of the laser.

메인라이다센서(12) 및 셔틀라이다센서(13)는 2차원 및 3차원 레이저 스캐너, 3차원 플래시 라이다로 구분될 수 있다. 2차원 레이저 스캐너는 일반적으로 회전 방식을 이용하여 레이저 빔의 진행 방향을 포함하는 특정 평면에서의 영상 정보를 수집한다. 2차원 레이저 스캐너 시스템의 구성은 레이저 거리측정기와 같이 단일 레이저와 단일 수신소자로 구성될 수 있으며, 회전을 위한 모터가 추가될 수 있다. 3차원 레이저 스캐너는 다수의 레이저 및 수신 소자를 이용하여 특정 방향의 시야각에 대하여 동시 측정이 가능하도록 하고, 회전 스캐닝을 통해 3차원 영상 수집이 가능하도록 한다. 3차원 레이저 스캐너는 넓은 시야각의 확보를 위하여 많은 수의 레이저 및 수신소자들이 필요하고, 비교적 고난이도의 패키징 기술이 요구되지만 현재 상용화된 소자들을 활용하여 구현할 수 있다는 장점이 있다. 이러한 라이다센서는 일례로, 도 4에서와 같이, 송신부의 경우, 레이저 빔이 렌즈를 통해 조사되면, 반사거울과 회전거울을 통해서 반사되어 주변으로 조사되도록 구성할 수 있고, 수신부의 경우, 회전거울에 의해 반사되는 레이저 빔을 렌즈의 투과에 의해 디텍터가 수신하도록 구성될 수 있다. The main lidar sensor 12 and the shuttle lidar sensor 13 may be divided into two-dimensional and three-dimensional laser scanners and three-dimensional flash lidar. A two-dimensional laser scanner generally collects image information on a specific plane including a traveling direction of a laser beam by using a rotation method. The configuration of the two-dimensional laser scanner system may be composed of a single laser and a single receiving element like a laser rangefinder, and a motor for rotation may be added. The 3D laser scanner enables simultaneous measurement of a viewing angle in a specific direction using a plurality of lasers and a receiving element, and enables 3D image collection through rotational scanning. The 3D laser scanner requires a large number of lasers and receiving elements to secure a wide viewing angle, and requires relatively high-level packaging technology, but has the advantage that it can be implemented using currently commercialized elements. Such a lidar sensor, for example, as shown in FIG. 4, in the case of the transmitter, when the laser beam is irradiated through the lens, it can be configured to be reflected through the reflective mirror and the rotating mirror to be irradiated to the surroundings, and in the case of the receiver, it is rotated The detector may be configured to receive the laser beam reflected by the mirror by transmission of the lens.

도 5 및 도 6을 참조하면, 제어부(16)는 메인라이다센서(12)와 셔틀라이다센서(13)를 통해서, 메인라이다센서(12)의 주변에서 표시영역(A1)의 기준인 설정감지거리 보다 짧은 제 1 설정안전거리 내에 해당하는 메인감시영역(A2)과 셔틀라이다센서(13)의 주변에서 표시영역(A1)의 기준인 설정감지거리 보다 짧은 제 2 설정안전거리 내에 해당하는 가변감시영역(A3)의 교집합(A2+A3)에 해당하는 영역 내에 물체가 존재하는 것으로 판단시, 디스플레이부(14)를 통해서 주의를 제공하도록 제어함으로써, 운전자에게 전방 뿐만 아니라, 사각지대에 대해서 차량(2) 뿐만 아니라, 아암(3)에 의한 물체와의 충돌을 예방하도록 할 수 있다. 여기서, 제 1 및 제 2 설정안전거리 각각은 메인라이다센서(12) 및 셔틀라이다센서(13) 각각을 중심으로 하는 반경으로서, 차량(2)의 이동 및 아암(3)의 동작으로 인한 충돌 가능성을 고려하여 정해지는데, 예컨대 2~10m의 범위 내에서 작업의 성격, 지형의 특성, 아암(3) 및 차량(2)의 작업시 속도 등을 고려하여 정해질 수 있다. 5 and 6 , the control unit 16 controls the display area A1 in the vicinity of the main lidar sensor 12 through the main lidar sensor 12 and the shuttle lidar sensor 13 . In the vicinity of the main monitoring area (A2) and the shuttle lidar sensor (13) that is within the first set safe distance that is shorter than the set detection distance, it falls within the second set safe distance that is shorter than the set detection distance that is the standard of the display area (A1) When it is determined that an object exists within the area corresponding to the intersection (A2+A3) of the variable monitoring area A3, by controlling to provide attention through the display unit 14, the driver is not only in the front, but also in the blind spot. It is possible to prevent not only the vehicle 2 but also the arm 3 from colliding with an object. Here, each of the first and second set safety distances is a radius centered on each of the main lidar sensor 12 and the shuttle lidar sensor 13, and is caused by the movement of the vehicle 2 and the operation of the arm 3 . It is determined in consideration of the possibility of collision, for example, within the range of 2 to 10 m, it may be determined in consideration of the nature of the work, the characteristics of the terrain, and the working speed of the arm 3 and the vehicle 2 .

본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치(10)는 아암회전방향감지부(19) 및 가상안전요원제공부(20)를 더 포함할 수 있다.The display device 10 for construction equipment using lidar and AR according to an embodiment of the present invention may further include an arm rotation direction detecting unit 19 and a virtual safety personnel providing unit 20 .

아암회전방향감지부(19)는 차량(2)에서 아암(3)의 회전방향을 감지하도록 하는데, 이를 위해, 운전자의 아암(3) 조작부의 신호를 수신받아 이로부터 아암(3)의 회전방향을 감지하도록 하거나, 아암(3)에 설치되는 각속도센서나 자이로센서 또는 광이나 접촉 등에 의해 아암(3)의 회전방향을 감지하도록 각종 센서의 감지신호를 수신받아 아암(3)의 회전방향을 감지하도록 할 수 있다.The arm rotation direction detection unit 19 detects the rotation direction of the arm 3 in the vehicle 2 . To this end, it receives a signal from the driver's arm 3 manipulation unit and detects the rotation direction of the arm 3 therefrom. In order to detect the rotation direction of the arm 3 by receiving detection signals from various sensors to detect, or to detect the rotation direction of the arm 3 by an angular velocity sensor or a gyro sensor installed on the arm 3, or by light or contact, etc. can do.

가상안전요원제공부(20)는 디스플레이부(14)를 통해서 제공되는 이미지에 가상의 안전요원 이미지(S; 도 3에 도시)를 나타내고, 가상의 안전요원이 모션에 의해 상기한 주의를 제공할 수 있다. 여기서 모션은 예컨대 적색깃발을 흔드는 동작이거나, 손을 흔드는 동작을 비롯하여, 미리 위험을 나타내는 동작을 수행하도록 구현될 수 있다. 가상안전요원제공부(20)는 AR(Augmented Reality; 증강현실) 기법에 의해, 디스플레이부(14)를 통해서 제공되는 이미지에 메모리부(18)에 저장된 AR 정보로부터 생성되는 가상의 안전요원 이미지(S)를 정해진 위치에 오버랩시킴과 아울러, 가상의 안전요원 이미지(S)가 주의를 나타낼 경우, 미리 정해진 동작을 표현하도록 하게 된다. The virtual safety personnel providing unit 20 represents a virtual safety personnel image (S; shown in FIG. 3) on the image provided through the display unit 14, and the virtual safety personnel can provide the above-mentioned attention by motion. have. Here, the motion may be, for example, a motion of waving a red flag or a motion of waving a hand, and may be implemented to perform an action indicating danger in advance. The virtual safety personnel providing unit 20 is a virtual safety personnel image (S) generated from AR information stored in the memory unit 18 in the image provided through the display unit 14 by AR (Augmented Reality) technique. ) is overlapped at a predetermined position, and when the virtual safety personnel image (S) shows attention, it is to express a predetermined motion.

도 5 및 도 6에 나타낸 바와 같이, 제어부(16)는 아암회전방향감지부(19)의 감지신호를 수신받아, 상기의 교집합에 해당하는 영역(A2+A3) 내에서 아암(3)의 회전하는 방향으로 물체가 존재하는 것으로 판단시, 디스플레이부(14)의 이미지에서 아암(3)이 회전하는 방향의 측단에 가상의 안전요원 이미지(S; 도 3에 도시)가 나타나서 상기의 모션을 수행하도록 가상안전요원제공부(20)를 제어할 수 있다. 여기서, 아암(3)이 회전하는 방향의 측단은 아암(3)이 좌회전(a)하는 경우, 디스플레이부(14)의 이미지에서 좌측을 의미할 수 있고, 아암(3)이 우회전(b)하는 경우, 디스플레이부(14)의 이미지에서 우측을 의미할 수 있다. 따라서, 가상안전요원제공부(20)에 의한 가상의 안전요원 이미지(S) 제공에 의해 현장의 위험 여부를 알리도록 함으로써, 실제 안전요원을 필요로 하지 않을 뿐만 아니라, 작업 환경에서의 안전요원에 대한 위험성을 해소하도록 할 수 있다. 5 and 6, the control unit 16 receives the detection signal from the arm rotation direction detection unit 19, and rotates the arm 3 within the area A2+A3 corresponding to the intersection. When it is determined that there is an object in the direction, a virtual safety officer image (S; shown in FIG. 3) appears at the side end in the direction in which the arm 3 rotates in the image of the display unit 14 to perform the above motion. It is possible to control the virtual safety personnel providing unit (20). Here, the side end in the direction in which the arm 3 rotates may mean a left side in the image of the display unit 14 when the arm 3 rotates left (a), and the arm 3 rotates right (b). In this case, it may mean the right side in the image of the display unit 14 . Therefore, by providing a virtual safety personnel image (S) by the virtual safety personnel providing unit 20 to inform whether there is a danger on the site, not only does not require actual safety personnel, but also for safety personnel in the work environment risk can be mitigated.

본 발명의 일 실시례에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치(10)는 경보음의 발생이나 경보등의 발광 또는 점멸에 의해, 경보를 발생시키는 경보발생부(21)가 마련될 수 있고, 운전자가 명령이나 데이터의 입력을 위한 입력부(22)가 마련될 수 있다. 제어부(16)는 감지대상의 명칭을 기준 데이터와의 비교에 의해 추출시 딥러닝 알고리즘을 이용할 수 있고, 교집합에 해당하는 영역 내에서 물체가 존재시, 경보발생부(21)가 경보를 발생시키도록 제어할 수 있다. The display device 10 for construction equipment using lidar and AR according to an embodiment of the present invention may be provided with an alarm generating unit 21 that generates an alarm by the generation of an alarm sound or light emission or flashing of an alarm lamp. In addition, the input unit 22 for the driver to input a command or data may be provided. The control unit 16 can use a deep learning algorithm when extracting the name of the detection target by comparison with reference data, and when an object exists within the area corresponding to the intersection, the alarm generating unit 21 generates an alarm. can be controlled to

제어부(16)는 딥러닝 알고리즘의 구현을 위해, 일례로, 도 7에서와 같은 CNN 하드웨어 가속기를 가지는데, 이러한 CNN 하드웨어 가속기는 Verilog 기반 PL(Programmable Logic) 하드웨어로 구현될 수 있고, 데이터 전송은 AMBA AXI4 버스를 이용할 수 있으며, 임베디드 환경에서 CNN의 실시간 처리를 위하여 Convolution 연산 및 기타 연산들을 병렬로 처리하여 CNN의 속도를 향상시키는 하드웨어 구조로서 구현될 수 있고, 도 8 내지 도 11에서와 같이, Convolution 모듈, Max Pooling 모듈, Fully Connected 모듈로 구성될 수 있다. 이들의 동작 과정은 Bus Interface를 통해서 CNN 연산에 필요한 weight와 bias, 입력 영상을 Block Memory(weight memory, bias memory, Input image)에 저장하고, Convolution1 모듈부터 순차적으로 동작을 구현하는데, Max Pooling은 모든 feature map에 대해 동시에 수행되고, 각 모듈의 연산 결과는 Block Memory에 저장된다. 여기서 하드웨어 구조는 Convolution Layer의 수행 시간을 최대한 줄이기 위해서 곱셈기를 사용할 수 있고, Convolution 연산이 1 clk에 수행되게 하며, 더블 버퍼를 이용하여 연속적으로 계산이 이루어지도록 구현 처리될 수 있다.The control unit 16 has, for example, a CNN hardware accelerator as in FIG. 7 for the implementation of the deep learning algorithm, this CNN hardware accelerator may be implemented with Verilog-based PL (Programmable Logic) hardware, and the data transmission is AMBA AXI4 bus can be used, and for real-time processing of CNN in an embedded environment, it can be implemented as a hardware structure to improve the speed of CNN by processing convolution operations and other operations in parallel, as in FIGS. 8 to 11, It can consist of Convolution module, Max Pooling module, and Fully Connected module. Their operation process stores the weights, biases, and input images necessary for CNN operation in the block memory (weight memory, bias memory, and input image) through the bus interface, and implements the operation sequentially from the Convolution1 module. It is performed on the feature map at the same time, and the operation result of each module is stored in the block memory. Here, the hardware structure can be implemented so that a multiplier can be used to reduce the execution time of the convolution layer as much as possible, the convolution operation is performed in 1 clk, and the calculation is continuously performed using a double buffer.

제어부(16)는 차량(2)의 이동을 고려하더라도, 아암(3)의 회전 동작 과정 중에 물체와의 충돌이 예상되는 경우, 아암(3)의 회전 동작을 정지시키도록 건설장비(1)의 동작을 제어하도록 하는데, 예컨대, 차량(2)의 이동속도를 고려하여, 아암(3)이 회전 과정에서 주변 물체와의 충돌을 야기할 것으로 예상되거나, 위험 영역 내에 물체가 존재할 경우, 제어부(16)는 아암(3)의 동작에 대한 콘트롤러에 정지신호를 출력함으로써, 아암(3)의 동작이 멈추도록 구성할 수 있다. Even if the movement of the vehicle 2 is considered, the control unit 16 controls the construction equipment 1 to stop the rotational operation of the arm 3 when a collision with an object is expected during the rotational operation of the arm 3 . In order to control the operation, for example, in consideration of the moving speed of the vehicle 2, when the arm 3 is expected to cause a collision with a surrounding object in the course of rotation or an object exists in the danger area, the control unit 16 ) can be configured to stop the operation of the arm 3 by outputting a stop signal to the controller for the operation of the arm 3 .

이와 같은 본 발명에 따른 라이다와 AR을 이용한 건설 장비용 디스플레이 장치에 따르면, 라이다와 AR 기술을 이용하여 근접 감지대상에 대한 정확한 정보를 디스플레이부를 통해서 제공함으로써, 작업의 효율 및 안전도를 높일 수 있고, 나아가서, 감지대상의 판단에 딥러닝 알고리즘을 사용함으로써, 판단의 정확도를 높일 수 있으며, 위험을 알리는 가상의 안전 요원 이미지를 오버랩에 의해 디스플레이되도록 함으로써, 위험하고 힘든 작업환경에서의 실제 안전요원의 근무를 최소화할 수 있고, 건설장비의 운전자에게 직관적인 작업 가이드를 제공받도록 하는 효과를 가진다.According to the display device for construction equipment using lidar and AR according to the present invention, it is possible to increase the efficiency and safety of work by providing accurate information on the proximity sensing target through the display unit using lidar and AR technology. Furthermore, by using a deep learning algorithm to determine the detection target, it is possible to increase the accuracy of the judgment, and by displaying the virtual safety officer image informing the danger by the overlap, the actual safety personnel in a dangerous and difficult work environment It is possible to minimize the work of construction equipment and has the effect of providing an intuitive work guide to the operator of construction equipment.

이와 같이 본 발명에 대해서 첨부된 도면을 참조하여 설명하였으나, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시례에 한정되어서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이러한 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, the present invention has been described with reference to the accompanying drawings, but it goes without saying that various modifications and variations may be made within the scope without departing from the spirit of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims as well as the claims and equivalents.

1 : 건설장비 2 : 차량
3 : 아암 4 : 바스켓
5 : 붐 11 : 카메라
12 : 메인라이다센서 13 : 셔틀라이다센서
14 : 디스플레이부 15 : 배경제공부
16 : 제어부 17 : 가상이미지제공부
18 : 메모리부 19 : 아암회전방향감지부
20 : 가상안전요원제공부 21 : 경보발생부
22 : 입력부 A1 : 표시영역
A2 : 메인감지영역 A3 : 가변감지영역
M : 마커 N : 명칭
D : 거리 S : 가상안전요원1: construction equipment 2: vehicle
3: arm 4: basket
5: boom 11: camera
12: main lidar sensor 13: shuttle lidar sensor
14: display unit 15: background providing unit
16: control unit 17: virtual image providing unit
18: memory unit 19: arm rotation direction sensing unit
20: virtual safety personnel providing unit 21: alarm generating unit
22: input unit A1: display area
A2 : Main detection area A3 : Variable detection area
M: Marker N: Name
D : Distance S : Virtual Security Personnel

Claims (5)

건설장비에서 전방을 향하여 이미지를 획득하도록 설치되는 카메라;
상기 건설장비의 차량에 설치되고, 상기 차량의 주변에 위치하는 물체에 대하여, 레이저를 이용하여 거리 정보를 획득하기 위한 메인라이다센서;
상기 건설장비의 운전자에게 정보를 제공하기 위한 디스플레이부;
상기 카메라에 의해 획득되는 이미지를 상기 디스플레이부에 배경으로 제공하는 배경제공부;
상기 디스플레이부를 통해서 제공되는 이미지에 포함되는 물체 중에서 상기 메인라이다센서의 주변에서 설정감지거리 내에 해당하는 표시영역 내에 위치하는 감지대상의 명칭을 기준 데이터와의 비교에 의해 추출하고, 상기 차량으로부터 상기 감지대상과의 거리를 상기 라이다센서를 통해서 산출하는 제어부;
상기 디스플레이부를 통해서 제공되는 이미지에서 상기 감지대상을 마커(marker)에 의해 표시하고, 상기 마커에 각각 대응하여, 상기 제어부에 의해 추출한 명칭과 산출한 거리를 각각 나타내도록 상기 제어부에 의해 제어되는 가상이미지제공부;
상기 감지대상의 명칭 추출을 위한 기준 데이터를 저장하여 상기 제어부에 제공하는 메모리부;
상기 건설장비의 아암에 설치되고, 상기 아암 주변의 물체에 대한 거리 측정에 사용되는 셔틀라이다센서;
를 포함하고,
상기 제어부는,
상기 메인라이다센서와 상기 셔틀라이다센서를 통해서, 상기 메인라이다센서의 주변에서 상기 표시영역의 기준인 설정감지거리 보다 짧은 제 1 설정안전거리 내에 해당하는 메인감시영역과 상기 셔틀라이다센서의 주변에서 상기 표시영역의 기준인 설정감지거리 보다 짧은 제 2 설정안전거리 내에 해당하는 가변감시영역의 교집합에 해당하는 영역 내에 물체가 존재하는 것으로 판단시, 상기 디스플레이부를 통해서 주의를 제공하도록 제어함으로써, 상기 운전자에게 전방 뿐만 아니라, 사각지대에 대해서 상기 차량 뿐만 아니라 상기 아암에 의한 물체와의 충돌을 예방하도록 하는, 라이다와 AR을 이용한 건설 장비용 디스플레이 장치.A camera that is installed to acquire an image toward the front of the construction equipment;
a main lidar sensor installed in a vehicle of the construction equipment and configured to obtain distance information using a laser with respect to an object located in the vicinity of the vehicle;
a display unit for providing information to a driver of the construction equipment;
a background providing unit providing the image acquired by the camera as a background to the display unit;
Among the objects included in the image provided through the display unit, the name of the detection target located in the display area corresponding to the set detection distance in the vicinity of the main lidar sensor is extracted by comparison with reference data, and the name of the detection target is extracted from the vehicle. a control unit for calculating a distance to a sensing target through the lidar sensor;
In the image provided through the display unit, the sensing target is displayed by a marker, and a virtual image controlled by the control unit to indicate the name extracted by the control unit and the calculated distance, respectively, corresponding to the markers, respectively. provider;
a memory unit for storing reference data for extracting the name of the sensing target and providing it to the control unit;
a shuttle lidar sensor installed on the arm of the construction equipment and used to measure a distance to an object around the arm;
including,
The control unit is
Through the main lidar sensor and the shuttle lidar sensor, in the vicinity of the main lidar sensor, the main monitoring area and the shuttle lidar sensor that are within a first set safe distance shorter than the set detection distance that is the standard of the display area and the shuttle lidar sensor When it is determined that an object exists in the area corresponding to the intersection of the variable monitoring areas within the second set safe distance that is shorter than the set detection distance, which is the standard of the display area, in the vicinity of , A display device for construction equipment using lidar and AR to prevent a collision with an object by the arm as well as the vehicle not only in front of the driver but also in the blind spot. 삭제delete 청구항 1에 있어서,
상기 차량에서 상기 아암의 회전방향을 감지하는 아암회전방향감지부; 및
상기 디스플레이부를 통해서 제공되는 이미지에 가상의 안전요원 이미지를 나타내고, 상기 가상의 안전요원이 모션에 의해 상기 주의를 제공하는 가상안전요원제공부;를 더 포함하고,
상기 제어부는,
상기 아암회전방향감지부의 감지신호를 수신받아, 상기 교집합에 해당하는 영역 내에서 상기 아암의 회전하는 방향으로 상기 물체가 존재하는 것으로 판단시, 상기 디스플레이부의 이미지에서 상기 아암이 회전하는 방향의 측단에 상기 가상의 안전요원 이미지가 나타나서 상기 모션을 수행하도록 상기 가상안전요원제공부를 제어하는, 라이다와 AR을 이용한 건설 장비용 디스플레이 장치..The method according to claim 1,
an arm rotation direction sensing unit for sensing a rotation direction of the arm in the vehicle; and
A virtual safety agent providing unit that displays a virtual safety personnel image on the image provided through the display unit, and provides the caution by the virtual safety personnel motion; further comprising,
The control unit is
Upon receiving the detection signal of the arm rotation direction detecting unit and determining that the object exists in the rotation direction of the arm within the area corresponding to the intersection, the image of the display unit is located at the side end in the direction in which the arm rotates. A display device for construction equipment using lidar and AR that controls the virtual safety agent providing unit so that the virtual safety personnel image appears and performs the motion. 청구항 1 또는 청구항 3에 있어서,
경보음의 발생이나 경보등의 발광 또는 점멸에 의해, 경보를 발생시키는 경보발생부를 더 포함하고,
상기 제어부는,
상기 감지대상의 명칭을 기준 데이터와의 비교에 의해 추출시 딥러닝 알고리즘을 이용하고, 상기 교집합에 해당하는 영역 내에서 상기 물체가 존재시, 상기 경보발생부가 경보를 발생시키도록 제어하는, 라이다와 AR을 이용한 건설 장비용 디스플레이 장치.4. The method according to claim 1 or 3,
Further comprising an alarm generating unit for generating an alarm by the generation of an alarm sound or light emission or flashing of an alarm lamp,
The control unit is
When the name of the detection target is extracted by comparison with reference data, a deep learning algorithm is used, and when the object exists within the area corresponding to the intersection, the alarm generator controls the alarm to generate an alarm, Lidar and a display device for construction equipment using AR. 청구항 1 에 있어서,
상기 제어부는,
상기 차량의 이동을 고려하더라도, 상기 아암의 회전 동작 과정 중에 상기 물체와의 충돌이 예상되는 경우, 상기 아암의 회전 동작을 정지시키도록 상기 건설장비의 동작을 제어하는, 라이다와 AR을 이용한 건설 장비용 디스플레이 장치.The method according to claim 1,
The control unit is
Construction using lidar and AR, which controls the operation of the construction equipment to stop the rotational operation of the arm when a collision with the object is expected during the course of the rotational operation of the arm, even in consideration of the movement of the vehicle Display device for equipment.
KR1020200053687A 2020-05-06 2020-05-06 Display device for construction equipment using LiDAR and AR KR102332616B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200053687A KR102332616B1 (en) 2020-05-06 2020-05-06 Display device for construction equipment using LiDAR and AR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200053687A KR102332616B1 (en) 2020-05-06 2020-05-06 Display device for construction equipment using LiDAR and AR

Publications (2)

Publication Number Publication Date
KR20210136194A KR20210136194A (en) 2021-11-17
KR102332616B1 true KR102332616B1 (en) 2021-12-01

Family

ID=78702695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200053687A KR102332616B1 (en) 2020-05-06 2020-05-06 Display device for construction equipment using LiDAR and AR

Country Status (1)

Country Link
KR (1) KR102332616B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095939A1 (en) * 2021-11-24 2023-06-01 심용수 Safety enhancement method for industrial equipment, and device thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101638839B1 (en) 2014-08-19 2016-07-12 주식회사 영신 Approach and shutdown control system for heavy equipment
JP2017078315A (en) * 2015-10-22 2017-04-27 株式会社神戸製鋼所 Interference prevention device for construction machine
KR101797261B1 (en) 2010-06-18 2017-11-13 히다찌 겐끼 가부시키가이샤 Device for monitoring area around work machine
JP2019194751A (en) 2018-05-01 2019-11-07 住友電気工業株式会社 Lane information processing device, lane identification system, lane information processing method and lane information processing program
KR102065702B1 (en) 2018-01-26 2020-01-13 (주)태성에스엔아이 Vitual Construction Simulation Method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101967049B1 (en) * 2017-06-28 2019-04-09 경성대학교 산학협력단 Apparatus for providing object information for heavy machinery using lidar and camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101797261B1 (en) 2010-06-18 2017-11-13 히다찌 겐끼 가부시키가이샤 Device for monitoring area around work machine
KR101638839B1 (en) 2014-08-19 2016-07-12 주식회사 영신 Approach and shutdown control system for heavy equipment
JP2017078315A (en) * 2015-10-22 2017-04-27 株式会社神戸製鋼所 Interference prevention device for construction machine
KR102065702B1 (en) 2018-01-26 2020-01-13 (주)태성에스엔아이 Vitual Construction Simulation Method
JP2019194751A (en) 2018-05-01 2019-11-07 住友電気工業株式会社 Lane information processing device, lane identification system, lane information processing method and lane information processing program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VINCENT, Thomas. Handheld augmented reality interaction: spatial relations. PhD Thesis. Grenoble University. 2014.*

Also Published As

Publication number Publication date
KR20210136194A (en) 2021-11-17

Similar Documents

Publication Publication Date Title
US11292700B2 (en) Driver assistance system and a method
EP3164769B1 (en) Machine safety dome
EP3742200B1 (en) Detection apparatus and parameter adjustment method thereof
US9080866B1 (en) Methods and systems for detection of reflective markers at long range
JP3374193B2 (en) Method and means for avoiding collisions between vehicles and obstacles
CN110249235A (en) For moving the variable field of view and direction sensor of machine vision applications
US10452930B2 (en) Information display device mounted in vehicle including detector
JP6959179B2 (en) Work platform
CN109643495B (en) Periphery monitoring device and periphery monitoring method
US10885353B2 (en) Information processing apparatus, moving object, information processing method, and computer program product
CN103455144A (en) Vehicle-mounted man-machine interaction system and method
JP5841235B2 (en) Navigation system
US11619722B2 (en) Vehicle lidar polarization
JP5898539B2 (en) Vehicle driving support system
JP5429986B2 (en) Mobile robot remote environment recognition apparatus and method
WO2019180021A1 (en) Methods and systems for identifying material composition of moving objects
KR102017958B1 (en) Augmented reality head up display system for railway train
KR102332616B1 (en) Display device for construction equipment using LiDAR and AR
KR101417431B1 (en) System for producing 3d space information using lidar sensor
CN115485582A (en) Method and device for detecting halos in lidar measurements
JP3954053B2 (en) Vehicle periphery monitoring device
CN217801729U (en) Outdoor robot
EP3687937B1 (en) Operator assistance system and a method in relation to the system
JP2019206318A (en) Monitoring device
JP2022086686A (en) Target detection device and vehicle equipped with the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right