KR101967049B1 - Apparatus for providing object information for heavy machinery using lidar and camera - Google Patents

Apparatus for providing object information for heavy machinery using lidar and camera Download PDF

Info

Publication number
KR101967049B1
KR101967049B1 KR1020170081705A KR20170081705A KR101967049B1 KR 101967049 B1 KR101967049 B1 KR 101967049B1 KR 1020170081705 A KR1020170081705 A KR 1020170081705A KR 20170081705 A KR20170081705 A KR 20170081705A KR 101967049 B1 KR101967049 B1 KR 101967049B1
Authority
KR
South Korea
Prior art keywords
heavy equipment
unit
camera
information
object information
Prior art date
Application number
KR1020170081705A
Other languages
Korean (ko)
Other versions
KR20190001723A (en
Inventor
권중장
이종근
Original Assignee
경성대학교 산학협력단
(주)천일전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경성대학교 산학협력단, (주)천일전자 filed Critical 경성대학교 산학협력단
Priority to KR1020170081705A priority Critical patent/KR101967049B1/en
Publication of KR20190001723A publication Critical patent/KR20190001723A/en
Application granted granted Critical
Publication of KR101967049B1 publication Critical patent/KR101967049B1/en

Links

Images

Classifications

    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S17/936—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치에 관한 것으로, 더욱 상세하게는 본 발명의 일면에 따른 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치는, 카메라와, 레이저를 조사하고 수광함에 따라 반사체까지의 거리를 측정하는 라이다와, 라이다의 방향을 변경하거나 회전 가능하도록 하는 라이다구동부를 구비한 탐지부와, 카메라로부터 획득된 영상으로부터 영상처리기법을 통해 식별가능한 객체를 인식하는 객체인식부와, 객체인식부를 통해 인식되는 객체를 중장비 관련 객체, 작업대상 객체, 중장비 관련 객체 또는 작업대상 객체에 속하지 않는 이상 객체 중 어느 하나로 분류함에 따른 객체정보를 생성하는 객체정보생성부와, 객체정보생성부에서 생성된 객체정보를 표시하는 디스플레이부를 포함한다.The present invention relates to a device for providing heavy object information using a lidar and a camera, and more particularly to an apparatus for providing heavy object information using a lidar and a camera according to the present invention, A detector for measuring the distance to the reflector according to the light received, a detector having a Lada driver for changing or rotating the direction of the Lada, and an object recognizable through the image processing technique from the image obtained from the camera And an object information generating unit for generating object information by classifying the object recognized through the object recognizing unit into one of the heavy equipment related object, the operation object object, the heavy equipment related object, or the abnormal object not belonging to the operation object, And a display unit for displaying the object information generated by the object information generating unit.

Description

라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치{APPARATUS FOR PROVIDING OBJECT INFORMATION FOR HEAVY MACHINERY USING LIDAR AND CAMERA}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an object information providing apparatus,

본 발명은 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치에 관한 것으로서, 더욱 상세하게는, 라이다(Light Detection and Ranging, LIDAR)와 카메라를 함께 이용하여 중장비의 작업 환경에 적합한 객체 정보를 제공할 수 있도록 하는 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치에 관한 것이다.[0001] The present invention relates to an apparatus for providing heavy object information using a camera and a method of providing object information suitable for a working environment of a heavy equipment using LIDAR and a camera And an object information providing apparatus for heavy equipment using a camera.

중장비를 운용하는 환경에 있어서 중장비와 다른 객체와의 충돌에 따른 사고는 막대한 재산상 손실과 인명 피해를 야기한다. 중장비로 분류되는 장비의 종류는 다양할 것이나, 중장비를 이용하는 목적이 작업대상이 되는 물체를 들거나 옮기거나, 작업대상 물체에 외력을 가하는 등에 있으며, 중장비 자체의 운용 또는 이동시 일정한 범위의 작업반경을 가지는 특징이 있다. In an environment where heavy equipment is operated, accidents caused by collision between heavy equipment and other objects cause great property damage and loss of life. There are various types of equipment classified as heavy equipment, but the purpose of using heavy equipment is to lift or move the object to be worked on, to apply an external force to the object to be worked on, etc., and to have a certain range of working radius Feature.

종래기술에 따른 라이다 관련 기술은 주변 환경에 대한 거리측정 또는 탐색을 하기 위한 기능 구성에 초점을 둔 것이 대부분이며, 중장비 운영 환경에 있어서의 작업반경이나 작업대상 객체에 대한 고려를 전혀 하고 있지 않아 중장비 운영 환경에서 그대로 적용하기에는 한계가 있었다.The related art technology of the related art is mainly focused on the function configuration for distance measurement or searching for the surrounding environment and does not consider the working radius in the heavy equipment operating environment or the object to be operated at all It has been limited to apply it in the heavy equipment operating environment.

또한, 카메라를 이용한 객체 인식을 통해서 주변 환경을 탐지할 수 있으나, 카메라를 통한 객체 인식에 의해서는 객체까지의 거리 측정이 복잡하며, 영상처리에 필요한 시간이 요구되어 빠른 응답속도를 보이기는 어렵다는 한계가 있었다.In addition, although it is possible to detect the surrounding environment through object recognition using a camera, it is difficult to measure the distance to the object by the object recognition through the camera, .

USUS 2016-03060412016-0306041 A1A1 KRKR 10-163216810-1632168 B1B1 USUS 2010-01572802010-0157280 A1A1

본 발명의 목적은, 라이다와 카메라를 이용하여, 중장비 관련 객체, 작업대상 객체, 중장비 관련 객체 또는 작업대상 객체에 속하지 않는 이상 객체 중 어느 하나로 분류함에 따른 객체정보를 제공할 수 있는 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치를 제공하는데 있다. An object of the present invention is to provide an image processing apparatus and method capable of providing object information according to classification into any one of a heavy equipment related object, a work object, a heavy equipment related object, Cost object information providing apparatus using a camera.

본 발명의 다른 목적은 중장비 작업 환경에 있어서 객체정보에 따라 라이다의 구동범위를 제한 할 수 있는 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치를 제공하는데 있다.It is another object of the present invention to provide an apparatus for providing heavy object information using a camera and a camera which can limit the driving range of the lidar according to object information in a heavy equipment work environment.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood from the following description.

전술한 목적을 달성하기 위한, 본 발명의 일면에 따른 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치는 카메라와, 레이저를 조사하고 수광함에 따라 반사체까지의 거리를 측정하는 라이다와, 라이다의 방향을 변경하거나 회전 가능하도록 하는 라이다구동부를 구비한 탐지부와, 카메라로부터 획득된 영상으로부터 영상처리기법을 통해 식별가능한 객체를 인식하는 객체인식부와, 객체인식부를 통해 인식되는 객체를 중장비 관련 객체, 작업대상 객체, 중장비 관련 객체 또는 작업대상 객체에 속하지 않는 이상 객체 중 어느 하나로 분류함에 따른 객체정보를 생성하는 객체정보생성부와, 객체정보생성부에서 생성된 객체정보를 표시하는 디스플레이부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for providing heavy object information using a camera and a camera. The apparatus includes a camera and a light source for irradiating the laser and measuring the distance to the reflector upon receiving the light. An object recognition unit for recognizing an object identifiable through an image processing technique from the image acquired from the camera, and an object recognizing unit for recognizing the object recognized through the object recognition unit as a heavy equipment An object information generating unit for generating object information according to classification into one of a related object, an operation object object, a heavy equipment related object, and an abnormal object not belonging to the operation object, and a display unit for displaying the object information generated by the object information generating unit .

본 발명에 따르면 라이다와 카메라를 함께 이용하여 중장비 관련 객체와, 작업대상 객체, 이상 객체를 구분함에 따른 객체정보를 제공할 수 있다는 이점이 있다. According to the present invention, it is possible to provide object information according to the division of the heavy equipment-related object, the operation object object, and the ideal object by using the camera and the lidar together.

본 발명에 따르면 라이다와 카메라를 함께 이용하여 중장비 관련 객체와, 작업대상 객체, 이상 객체를 구분함에 따른 안전거리 설정 및 알람신호 생성이 가능하다는 이점이 있다. According to the present invention, there is an advantage that a safety distance can be set and an alarm signal can be generated by dividing a heavy equipment related object, a work object, and an ideal object by using a camera and a lidar together.

본 발명에 따르면 라이다 구동범위 제한신호를 이용하여 제한적인 범위내에서 라이다를 구동하는 경우 라이다 구동에 따른 측정 속도를 높일 수 있으면서도 중장비의 운용과 무관한 범위에서의 오작동 및 불필요한 측정데이터 생성을 방지할 수 있어 라이다를 보다 효율적으로 이용할 수 있다는 이점이 있다.According to the present invention, it is the case that the driver is driven within a limited range by using the LIDAR drive range limit signal. Although the measurement speed of the drive can be increased, the malfunction in the range not related to the operation of the heavy equipment and the generation of unnecessary measurement data It is advantageous in that it can be used more efficiently.

도 1은 본 발명의 일실시예에 따른 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치를 나타내는 도면.
도 2는 본 발명의 일실시예에 따른 라이다와 카메라를 구비한 탐지부를 도시한 도면.
도 3은 본 발명에 따른 중장비 관련 객체, 작업대상 객체, 이상 객체를 구분하여 나타낸 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of an apparatus for providing heavy object information using a camera and a camera according to an embodiment of the present invention; FIG.
FIG. 2 illustrates a detection unit having a camera and a camera according to an embodiment of the present invention. FIG.
3 is a view showing the heavy equipment related object, the work object, and the ideal object according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described below, but may be embodied in various different forms, and these embodiments are not intended to be exhaustive or to limit the scope of the present invention to the precise form disclosed, It is provided to inform the person completely of the scope of the invention. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

이하, 도 1을 참조하여 본 발명의 일면에 따른 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치를 설명한다.Hereinafter, an apparatus for providing heavy object information using a camera and a camera according to an embodiment of the present invention will be described with reference to FIG.

라이다(Light Detection and Ranging, LIDAR)는 펄스 레이저의 반사체 또는 산란체를 이용하여 거리 등을 측정하는데 사용되는 레이더이다. 라이다의 방향을 전환시키면서 복수의 측정데이터를 누적하는 경우 라이다를 중심으로 주변에 위치한 반사체 정보를 얻을 수 있다. 더욱 상세하게는, 라이다를 통해 획득되는 측정데이터들은 라이다의 위치를 중심으로 한 반사체까지의 거리 또는 속도에 관한 데이터들이며, 이들 데이터들을 가공하여 라이다 주변의 반사체 정보를 얻을 수 있다.Light Detection and Ranging (LIDAR) is a radar used to measure distances using a pulse laser reflector or scatterer. The reflector information located at the periphery can be obtained with a focus on the case of accumulating a plurality of measurement data while changing the direction of the reflector. More specifically, the measurement data obtained through the ladder are data on the distance or speed to the reflector centered on the position of the ladder, and the reflector information around the ladder can be obtained by processing these data.

본 발명의 일면에 따른 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치(10)는 중장비를 이용한 작업환경에 있어서 중장비 운전에 따른 안전을 확보하기 위하여 라이다와 영상인식을 위한 카메라를 복합적으로 이용하여 객체정보를 생성하고 생성된 객체정보에 기초하여 라이다 구동 범위를 제한하거나 사용자에게 안전 거리 확보여부에 따른 알람신호를 제공할 수 있도록 하는 것을 특징으로 한다.In accordance with one aspect of the present invention, an apparatus 10 for providing heavy object information using a lidar and a camera uses a combination of a camera for image recognition and a camera for image recognition in order to ensure safety in heavy equipment operation in a work environment using heavy equipment Thereby generating object information, limiting the range of driving based on the generated object information, or providing an alarm signal according to whether the safety distance is secured to the user.

본 발명의 일면에 따른 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치(10)는 탐지부(100)와, 전처리부(200)와, 객체정보생성부(300)와, 안전거리설정부(400)와, 알람신호생성부(500)와, 디스플레이부(600)와, 라이다 구동범위 제한부(700)를 포함한다.The apparatus for providing heavy object information 10 using a camera and a camera according to an embodiment of the present invention includes a detection unit 100, a preprocessing unit 200, an object information generation unit 300, a safety distance setting unit 400, an alarm signal generator 500, a display 600, and a Raider drive range limiter 700.

탐지부(100)는 카메라(110)와, 레이저를 조사하고 수광함에 따라 반사체까지의 거리를 측정하는 라이다(120)와, 라이다(120)의 방향을 변경하거나 회전 가능하도록 하며 라이다 구동범위 제한신호에 따라 라이다(120)를 구동하는 라이다구동부(130)를 포함한다.The detection unit 100 includes a camera 110 and a light source 120 for measuring a distance to a reflector by irradiating and receiving a laser, And a Lade driver 130 for driving the ladder 120 according to the range limit signal.

탐지부(100)는 도 2에 도시된 바와 같이, 중장비에 고정되기 위한 연결부(101)를 구비할 수 있으며, 적어도 한 쌍의 발광부(121)와 수광부(123)를 구비하며 회전가능하거나 상하좌우의 방향이 변경가능하도록 형성되는 라이다(120)를 포함할 수 있고, 카메라(110)와 카메라(110) 고정을 위한 브라켓(110)과 카메라(110)의 보호를 위한 하우징(113)을 구비하는 것일 수 있으나, 이러한 구성에 한정되는 것은 아니다.2, the detection unit 100 may include a connection unit 101 to be fixed to a heavy equipment. The detection unit 100 may include at least a pair of light emitting units 121 and a light receiving unit 123, And a bracket 110 for fixing the camera 110 and the camera 110 and a housing 113 for protecting the camera 110. The bracket 110 is fixed to the camera 110, However, the present invention is not limited to such a configuration.

전처리부(200)는 객체인식부(210)와, 타이머(220)와, 라이다 데이터 처리부(230)와, 객체벡터연산부(240)와, 크기계산부(250)를 포함한다.The preprocessing unit 200 includes an object recognition unit 210, a timer 220, a Lada data processing unit 230, an object vector calculation unit 240, and a size calculation unit 250.

객체인식부(210)는 카메라(110)로부터 획득된 영상으로부터 영상처리기법을 통해 식별가능한 객체를 인식한다. 객체인식을 위한 영상처리기법으로는 특징점 추출 기법, 마스킹 기법, 에지 검출기법, 패턴인식기법, 차분법 등이 있을 수 있으나 이에 한정되는 것은 아니다.The object recognition unit 210 recognizes an object identifiable through an image processing technique from the image obtained from the camera 110. [ Image processing techniques for object recognition may include, but are not limited to, feature extraction, masking, edge detection, pattern recognition, and difference.

객체인식부(210)는 카메라(110)로부터 획득된 영상을 통해 식별가능한 객체를 중장비 또는 중장비와 일체로 형성되는 물체로서의 중장비 관련 객체와, 중장비를 이용한 작업대상이 되는 작업대상 객체와, 중장비 관련 객체 또는 작업대상 객체에 속하지 않는 객체인 이상 객체로 분류하여 인식하는 것일 수 있다.The object recognizing unit 210 recognizes an object identifiable through the image obtained from the camera 110 as a heavy object related object as an object formed integrally with a heavy equipment or a heavy equipment, a working object as a work target using a heavy equipment, It may be classified as an object that is an object that does not belong to an object or an object to be operated and is recognized.

라이다 데이터 처리부(230)는 라이다(120)를 이용하여 측정되는 데이터를 처리하기 위한 것으로서, 라이다(120)에서 조사되는 레이저광의 속도와 라이다(120)를 통해 레이저가 조사된 이후 수광될 때까지의 시간에 기초하여 라이다(120)에서 조사되는 레이저가 반사되는 반사체까지의 거리를 계산함에 따른 반사체 거리 데이터를 생성하고, 거리 계산 시점을 전후로 한 라이다(120)의 반사체에 대한 방향 또는 측정방향을 기록하여 반사체 방향 데이터를 생성한다.The laser data processing unit 230 processes the data measured using the laser 120. The laser 120 irradiates the laser 120 with laser light through the laser 120, The reflector 120 generates reflector distance data by calculating the distance to the reflector to be reflected by the laser 120 and calculates the reflector distance data based on the distance calculation time Direction or measurement direction is recorded to generate reflector direction data.

객체벡터연산부(240)는 객체인식부(210)를 통해 인식되는 객체로서, 중장비 관련 객체, 작업대상 객체, 이상 객체 중 어느 하나에 대한 복수 시점에 있어서의 반사체 거리 데이터와 반사체 방향 데이터에 기초하여 카메라(110)로부터 획득된 영상에 있어서의 중장비 관련 객체, 작업대상 객체, 이상 객체 중 어느 하나에 대한 벡터를 산출한다.The object vector computing unit 240 is an object recognized through the object recognizing unit 210. The object vector computing unit 240 computes, based on the reflector distance data and the reflector direction data at a plurality of viewpoints of any one of the heavy equipment related object, A vector corresponding to one of the heavy equipment related object, the operation object object, and the abnormal object in the image obtained from the camera 110 is calculated.

벡터는 적어도 2개의 지점에 대한 좌표상의 차이를 계산하여 거리와 방향을 산출함에 따라 구할 수 있으므로, 객체벡터연산부(240)는 카메라(110)로부터 획득된 영상을 이루는 적어도 2이상의 프레임들에 있어서 인식되는 단일한 객체에 대한 픽셀 좌표값들의 차이를 계산하여 객체에 대한 벡터를 산출하는 것일 수 있다.Since the vector can be obtained by calculating the distance and the direction by calculating the difference on the coordinates of at least two points, the object vector calculator 240 can recognize (calculate) the at least two frames constituting the image obtained from the camera 110 And calculating a vector for the object by calculating the difference of the pixel coordinate values for the single object.

또한, 객체벡터연산부(240)는 카메라(110)로부터 획득된 영상을 이루는 적어도 2이상의 프레임들에 있어서 인식되는 단일한 객체에 대한 라이다(120)를 기준으로 형성한 구좌표계 또는 원통좌표계상의 좌표값들의 차이를 계산하여 객체에 대한 벡터를 산출하는 것일 수 있다.In addition, the object vector computing unit 240 computes coordinates of a spherical coordinate system formed on the basis of a line 120 for a single object recognized in at least two or more frames constituting the image obtained from the camera 110, Calculating the difference between the values and calculating the vector for the object.

또한, 객체벡터연산부(240)는 카메라(110)로부터 획득된 영상을 이루는 적어도 2이상의 프레임들에 있어서 인식되는 동일하거나 매칭되는 단일한 객체에 대한 지리적 좌표에 대응되는 좌표값들의 차이를 계산하여 객체에 대한 벡터를 산출하는 것일 수 있다.In addition, the object vector computing unit 240 calculates a difference between coordinate values corresponding to geographical coordinates of a single identical or matched object recognized in at least two frames constituting an image obtained from the camera 110, Lt; / RTI >

크기계산부(250)는 객체인식부(210)를 통해 인식되는 객체에 속하는 적어도 3개 이상의 좌표값들에 기초하여 객체의 크기를 계산한다. 여기서의 좌표값은 단일한 객체로서의 중장비 관련 객체, 작업대상 객체, 이상 객체 중 어느 하나에 속하는 픽셀 좌표값, 라이다(120)를 기준으로 형성한 구좌표계 또는 원통좌표계상의 좌표값, 지리적 좌표에 대응되는 좌표값 중 어느 하나일 수 있다.The size calculator 250 calculates an object size based on at least three coordinate values belonging to an object recognized through the object recognition unit 210. [ Here, the coordinate value is a pixel coordinate value belonging to one of a heavy object related object, a work object, and an ideal object as a single object, a coordinate value on a spherical coordinate system or a cylindrical coordinate system formed on the basis of (120) And may be any one of the corresponding coordinate values.

객체정보생성부(300)는 중장비 관련 객체정보 생성부(310)와, 작업대상 객체정보 생성부(320)와, 이상 객체생성부(330)를 포함하며, 객체인식부(210)를 통해 인식되는 객체를 중장비 관련 객체, 작업대상 객체, 이상 객체 중 어느 하나로 분류하고 객체벡터연산부(240)에서 산출된 벡터와 크기계산부(250)를 통해 계산된 객체에 대한 크기를 분류된 객체와 매칭함에 따른 객체정보를 생성한다. 객체정보생성부(300)에서 생성되는 객체정보는 중장비 관련 객체, 작업대상 객체, 이상 객체의 분류에 따라 각각 생성되는 중장비 관련 객체정보, 작업대상 객체정보, 이상 객체정보로 구분될 수 있다.The object information generation unit 300 includes a heavy equipment related object information generation unit 310, a work object information generation unit 320 and an ideal object generation unit 330. The object information generation unit 300 includes an object recognition unit 210, The object calculated by the size calculator 250 and the vector calculated by the object vector calculator 240 are matched with the classified object, And generates object information based on the object information. The object information generated by the object information generation unit 300 may be divided into heavy equipment related object information, work object information, and anomaly object information generated according to the classification of the heavy equipment related object, the operation object object, and the ideal object.

객체정보생성부(300)의 중장비 관련 객체정보 생성부(310)는 객체인식부(210)를 통해 인식되는 객체를 객체벡터연산부(240)에서 산출된 객체에 대한 벡터와, 크기계산부(250)를 통해 계산된 객체의 크기와 중장비 정보 DB(311)에 저장된 중장비 정보에 기초하여 중장비 관련 객체로 분류하고, 중장비 관련 객체와 객체벡터연산부(240)에서 산출된 벡터로서 중장비 관련 객체에 대응되는 벡터와, 크기계산부(250)를 통해 계산된 크기로서 중장비 관련 객체에 대응되는 크기를 서로 매칭하여 저장함에 따른 중장비 관련 객체정보를 생성한다.The heavy equipment related object information generation unit 310 of the object information generation unit 300 generates an object to be recognized through the object recognition unit 210 by using a vector for the object calculated by the object vector operation unit 240, Related object based on the size of the object calculated through the input / output unit 311 and the heavy equipment information stored in the heavy equipment information DB 311, and classifies the heavy equipment as the heavy equipment related object and the vector calculated by the object vector calculating unit 240 And the size corresponding to the heavy equipment related object as the size calculated through the size calculating unit 250 are matched with each other to generate the heavy equipment related object information according to the storing.

중장비 정보 DB(311)는 객체인식부(210)를 통해 인식되는 객체가 중장비 관련 객체로 분류될 수 있도록 하는 중장비 관련 정보를 저장하는 데이터베이스로서, 중장비의 특징점, 특징점간의 길이, 중장비의 색상, 중장비의 운전 속도 범위, 중장비의 운전 가능한 방향, 중장비의 운전 반경 등에 관한 정보를 저장할 수 있다.The heavy equipment information DB 311 is a database for storing heavy equipment related information that enables an object recognized by the object recognizing unit 210 to be classified as a heavy equipment related object. The database stores the characteristic points of the heavy equipment, the length between the minutiae points, The operating speed range of the heavy equipment, the operable direction of the heavy equipment, the driving radius of the heavy equipment, and the like.

중장비 관련 객체정보 생성부(310)는 중장비 정보 DB(311)의 중장비 관련 정보에 포함된 중장비의 특징점, 특징점간의 길이, 중장비의 색상과, 객체인식부(210)를 통해 인식되는 객체의 특징점, 객체에 속하는 특징점간의 길이, 객체의 색상 중 적어도 하나를 비교하여 비교값이 일치되거나 기설정된 범위 이내에 포함되는지 여부에 따라 객체인식부(210)를 통해 인식되는 객체를 중장비 관련 객체로 분류하는 것일 수 있다. The heavy equipment related object information generation unit 310 generates the heavy equipment related object information 310 based on the feature points of the heavy equipment included in the heavy equipment related information of the heavy equipment information DB 311, the length of the feature points, the color of the heavy equipment, A length between feature points belonging to the object, and a color of the object, and classifies the object recognized through the object recognition unit 210 as a heavy equipment related object according to whether the comparison values are matched or included within a predetermined range have.

또한, 중장비 관련 객체정보 생성부(310)는 중장비 정보 DB(311)의 중장비 관련 정보에 포함된 중장비의 운전 속도 범위, 중장비의 운전 가능한 방향, 중장비의 운전 반경 중 어느 하나와, 객체벡터연산부(240)에서 산출된 객체에 대한 벡터에 기초하여 객체인식부(210)를 통해 인식되는 객체를 중장비 관련 객체로 분류하는 것일 수 있다. In addition, the heavy equipment related object information generating unit 310 may generate the object information using one of the operation speed range of the heavy equipment, the operable direction of the heavy equipment, and the driving radius of the heavy equipment included in the heavy equipment related information of the heavy equipment information DB 311, 240 may classify the object recognized through the object recognition unit 210 as a heavy equipment related object based on the vector of the object.

또한, 중장비 관련 객체정보 생성부(310)는 크기계산부(250)를 통해 계산된 객체의 크기가 기설정된 제1 크기 범위에 속하는 경우 중장비 관련 객체로 분류하는 것일 수 있다.In addition, the heavy equipment related object information generating unit 310 may classify the heavy equipment related object information into the heavy equipment related objects when the size of the object calculated through the size calculating unit 250 belongs to the predetermined first size range.

객체정보생성부(300)의 작업대상 객체정보 생성부(320)는 객체인식부(210)를 통해 인식되는 객체를 객체벡터연산부(240)에서 산출된 객체에 대한 벡터와, 크기계산부(250)를 통해 계산된 객체의 크기와 작업대상 객체정보DB(321)에 저장된 작업대상 객체정보에 기초하여 작업대상 객체로 분류하고, 작업대상 객체와 객체벡터연산부(240)에서 산출된 벡터로서 작업대상 객체에 대응되는 벡터와, 크기계산부(250)를 통해 계산된 크기로서 작업대상 객체에 대응되는 크기를 서로 매칭하여 저장함에 따른 작업대상 객체정보를 생성한다.The object information generating unit 320 of the object information generating unit 300 generates an object to be recognized by the object recognizing unit 210 based on the vector of the object calculated by the object vector calculating unit 240 and the size of the object calculated by the size calculating unit 250 ) And the operation object object information stored in the operation object object information DB 321, and classifies the operation object as the operation object and the vector calculated by the object vector operation unit 240 The object corresponding to the vector corresponding to the object and the size corresponding to the object to be operated as the size calculated through the size calculator 250 are stored.

작업대상 객체정보DB(321)는 작업대상 객체정보 생성부(320)에서 객체인식부(210)를 통해 인식되는 객체가 작업대상 객체로 분류될 수 있도록 하는 작업대상 객체정보를 저장하는 데이터베이스로서, 작업대상 객체의 특징점, 특징점간의 길이, 작업대상 객체의 색상, 작업대상 객체의 위치 변경 가능 범위, 작업대상 객체의 위치 변경 가능한 방향, 작업대상 객체의 자체 이동 가능한 반경 등에 관한 정보를 저장한 것일 수 있다.The work object information DB 321 is a database for storing work object information for allowing an object recognized by the object recognition unit 210 to be classified as a work object by the work object information generator 320, Information about the minutiae of the target object, the length between the minutiae points, the color of the target object, the changeable range of the target object, the changeable direction of the target object, and the self-movable radius of the target object have.

작업대상 객체정보 생성부(320)는 작업대상 객체정보DB(321)의 작업대상 객체정보에 포함된 작업대상 객체의 특징점, 특징점간의 길이, 작업대상 객체의 색상과, 객체인식부(210)를 통해 인식되는 객체의 특징점, 객체에 속하는 특징점간의 길이, 객체의 색상 중 적어도 하나를 비교하여 비교값이 일치되거나 기설정된 범위 이내에 포함되는지 여부에 따라 객체인식부(210)를 통해 인식되는 객체를 작업대상 객체로 분류하는 것일 수 있다. The operation object object information generation unit 320 generates the operation object object information including the minutiae point of the operation object object, the length between the minutia points, the color of the operation object object included in the object information of the operation target object information DB 321, The object recognition unit 210 determines at least one of the feature points of the object recognized through the object recognition unit 210, the length between the feature points belonging to the object, and the color of the object, It can be classified as a target object.

작업대상 객체정보 생성부(320)는 작업대상 객체정보DB(321)의 작업대상 객체정보에 포함된 작업대상 객체의 위치 변경 가능 범위, 작업대상 객체의 위치 변경 가능한 방향, 작업대상 객체의 자체 이동 가능한 반경 중 어느 하나와, 객체벡터연산부(240)에서 산출된 객체에 대한 벡터에 기초하여 객체인식부(210)를 통해 인식되는 객체를 작업대상 객체로 분류하는 것일 수 있다. The object-object-information generating unit 320 generates an object-object-information-information-object-information-object-information-object-information-object- And classifying the object recognized through the object recognition unit 210 as an object to be operated on the basis of the vector of the object calculated by the object vector computing unit 240. [

작업대상 객체정보 생성부(320)는 크기계산부(250)를 통해 계산된 객체의 크기가 기설정된 제2 크기 범위에 속하는 경우 작업대상 객체로 분류하는 것일 수 있다.The object-object-information generating unit 320 may classify the object-object-information generating unit 320 as a task-object object when the size of the object calculated through the size-calculating unit 250 falls within a predetermined second size range.

이상 객체정보 생성부(330)는 객체인식부(210)를 통해 인식된 객체가 중장비 관련 객체정보 생성부(310) 또는 작업대상 객체정보 생성부(320)에서 중장비 관련 객체 또는 작업대상 객체로 분류되지 못하여 객체정보가 생성되지 못한 경우 상기 객체를 이상 객체로 분류하여 이상 객체와 객체벡터연산부(240)에서 산출된 벡터로서 이상 객체에 대응되는 벡터와, 크기계산부(250)를 통해 계산된 크기로서 이상 객체에 대응되는 크기를 서로 매칭하여 저장함에 따른 이상 객체정보를 생성한다.The abnormal object information generating unit 330 classifies the object recognized by the object recognizing unit 210 as a heavy equipment related object or a work object in the heavy equipment related object information generating unit 310 or the operation object information generating unit 320 If the object information is not generated and the object is not generated, the object is classified as an anomaly object, and the vector corresponding to the anomaly object as the vector calculated by the anomaly object and object vector operation unit 240 and the vector calculated by the size calculation unit 250 And generates the ideal object information by matching and storing sizes corresponding to the ideal objects.

안전거리설정부(400)는 이상 객체와 중장비 관련 객체 또는 작업대상 객체간에 유지되어야 하는 안전거리를 설정하도록 한다. The safety distance setting unit 400 sets a safety distance to be maintained between the abnormal object, the heavy equipment related object or the object to be operated.

여기서, 안전거리는 이상 객체와 중장비 관련 객체간 안전거리, 이상 객체와 작업대상 객체간 안전거리, 중장비 관련 객체와 작업대상 객체간 안전거리, 복수개의 중장비 관련 객체간의 안전거리, 복수개의 작업대상 객체간의 안전거리가 있을 수 있으며, 안전거리설정부(400)는 이상 객체와 중장비 관련 객체간 안전거리, 이상 객체와 작업대상 객체간 안전거리, 중장비 관련 객체와 작업대상 객체간 안전거리, 복수개의 중장비 관련 객체간의 안전거리, 복수개의 작업대상 객체간의 안전거리를 사용자의 입력에 따라 각각 설정하도록 하는 것일 수 있다. Here, the safety distance includes a safety distance between an anomaly object and a heavy equipment related object, a safety distance between an anomaly object and a work object, a safe distance between a heavy equipment related object and an object to be operated, a safety distance between a plurality of heavy equipment related objects, The safety distance setting unit 400 may set the safety distance between the ideal object and the heavy equipment related object, the safety distance between the ideal object and the operation target object, the safe distance between the heavy equipment related object and the object to be operated, A safety distance between objects, and a safety distance between a plurality of objects to be operated may be set according to a user's input, respectively.

안전거리설정부(400)는 안전거리 설정을 위해 별도의 사용자 입력을 위한 인터페이스를 구비하는 것일 수 있으며, 사용자의 입력에 따라 안전거리를 설정하는 것일 수 있다. 한편, 안전거리설정부(400)의 안전거리는 기설정된 것일 수 있다. The safety distance setting unit 400 may include an interface for a separate user input for setting the safety distance, and may set the safety distance according to a user's input. On the other hand, the safety distance of the safety distance setting unit 400 may be predetermined.

알람신호생성부(500)는 중장비 관련 객체정보 생성부(310)에서 생성된 중장비 관련 객체정보에 속한 벡터와, 작업대상 객체정보 생성부(320)에서 생성된 작업대상 객체정보에 속한 벡터와, 이상 객체정보 생성부(330)에서 생성된 이상 객체정보에 속한 벡터와 안전거리설정부(400)에서 설정된 안전거리에 기초하여 이상 객체와 중장비 관련 객체간 안전거리, 이상 객체와 작업대상 객체간 안전거리, 중장비 관련 객체와 작업대상 객체간 안전거리, 복수개의 중장비 관련 객체간의 안전거리, 복수개의 작업대상 객체간의 안전거리 중 어느 하나의 안전거리가 확보되지 않는 경우 알람신호를 생성한다.The alarm signal generation unit 500 generates the alarm signal based on the vector belonging to the heavy equipment related object information generated by the heavy equipment related object information generation unit 310 and the vector belonging to the operation target object information generated by the operation object object information generation unit 320, The safety distance between the ideal object and the heavy object related object, the safety distance between the ideal object and the object to be operated based on the vector belonging to the ideal object information generated by the ideal object information generator 330 and the safety distance set in the safety distance setting unit 400. [ An alarm signal is generated when any of the safety distances between the distance, the safety distance between the heavy equipment related object and the operation object, the safety distance between the plurality of heavy equipment related objects, and the safety distance between the plurality of operation object objects is not secured.

디스플레이부(600)는 중장비 관련 객체정보 생성부(310)에서 생성된 중장비 관련 객체정보, 작업대상 객체정보 생성부(320)에서 생성된 작업대상 객체정보, 이상 객체정보 생성부(330)에서 생성된 이상 객체정보, 알람신호생성부(500)에서 생성된 알람신호 중 적어도 하나를 표시한다.The display unit 600 displays the heavy equipment related object information generated by the heavy equipment related object information generating unit 310, the operation object information generated by the operation object information generating unit 320, And the alarm signal generated by the alarm signal generation unit 500. The alarm signal generated by the alarm signal generation unit 500 may be an alarm signal,

또한, 디스플레이부(600)는 카메라(110)를 통해 획득된 영상에 있어서 객체인식부(210)를 통해 인식된 객체의 영역을 표시하고 표시된 객체의 영역 또는 표시된 객체의 영역 주변에 객체에 대응되는 벡터 또는 크기계산부(250)를 통해 계산된 객체의 크기를 표시하는 것일 수 있다.In addition, the display unit 600 displays an area of the object recognized through the object recognition unit 210 in the image obtained through the camera 110, and displays the area of the displayed object, Or to display the size of the object calculated through the vector or size calculator 250.

라이다 구동범위 제한부(700)는 객체정보생성부(300)에서 객체인식부(210)를 통해 인식되는 객체를 중장비 관련 객체, 작업대상 객체, 이상 객체 중 어느 하나로 분류하고 벡터와 객체에 대한 크기를 분류된 객체와 매칭함에 따른 객체정보가 생성되는 경우, 인식된 객체와 객체 주변 영역만을 라이다(120)로 측정하기 위하여 라이다(120)의 구동범위를 제한하도록 라이다 구동부(130)를 제어하기 위한 라이다 구동범위 제한신호를 생성한다. 이 때, 라이다 구동부(130)는 라이다 구동범위 제한신호에 따라 라이다 구동범위를 제한하여 라이다(120)를 구동할 수 있다. The RIARI driving range limiting unit 700 classifies the object recognized by the object recognition unit 210 in the object information generation unit 300 into one of the heavy equipment related object, the operation object object and the ideal object, When the object information is generated by matching the size with the classified object, the LADIA driver 130 may limit the driving range of the LADA 120 in order to measure only the recognized object and the object peripheral area using the LADA 120, Lt; RTI ID = 0.0 > a < / RTI > At this time, the RL driver 130 can drive the RL driver 120 by limiting the RL drive range according to the RL driver limited range signal.

라이다(120)의 경우 펄스 레이저를 조사하고 반사체에서 반사된 광을 수광하는 형태로 주변 환경을 측정을 하게 되므로 라이다 구동범위 제한신호를 이용하여 제한적인 범위내에서 라이다(120)를 구동하는 경우 라이다(120) 구동에 따른 측정 속도를 높일 수 있으면서도 중장비의 운용과 무관한 범위에서의 오작동 및 불필요한 측정데이터 생성을 방지할 수 있어 라이다(120)를 보다 효율적으로 이용할 수 있게된다. In the case of the laser 120, the laser is irradiated and the ambient light is measured in the form of receiving the light reflected from the reflector, so that the laser 120 is driven within a limited range using the laser range limit signal. It is possible to increase the measurement speed according to the driving of the LR 120 and to prevent the malfunction in the range not related to the operation of the heavy equipment and the generation of unnecessary measurement data.

본 발명의 일면에 따른 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치(10)는 전술한 구성에 따라서 라이다와 카메라를 함께 이용하여 중장비 관련 객체와, 작업대상 객체, 이상 객체를 구분함에 따른 객체정보 제공이 가능하며, 객체정보에 기초한 안전거리 설정 및 알람신호 생성이 가능하다는 이점이 있다. According to one aspect of the present invention, an apparatus 10 for providing heavy object information using a camera and a camera according to the above-described configuration is characterized in that, by using a camera and a lidar together to distinguish a heavy equipment related object, It is possible to provide object information, and it is possible to set a safety distance and generate an alarm signal based on object information.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents should be construed as being included in the scope of the present invention.

10 : 중장비용 객체 정보 제공 장치,
100: 탐지부, 110: 카메라, 111: 브라켓, 113: 하우징,
120: 라이다, 121: 발광부, 123: 수광부,
130: 라이다구동부,
200: 전처리부, 210: 객체인식부, 220: 타이머, 230: 라이다 데이터 처리부,
240: 객체벡터연산부, 250: 크기계산부,
300: 객체정보생성부, 310: 중장비 관련 객체정보 생성부,
311: 중장비 정보 DB, 321: 작업대상 객체정보 DB
320: 작업대상 객체정보 생성부, 330: 이상 객체생성부,
400: 안전거리설정부,
500: 알람신호생성부,
600: 디스플레이부,
700: 라이다 구동범위 제한부,
901: 중장비 관련 객체, 903: 작업대상 객체, 905: 이상 객체.10: object information providing device for heavy equipment,
100: detecting unit, 110: camera, 111: bracket, 113: housing,
120: light emitting diode, 121: light emitting portion, 123: light receiving portion,
130:
200: preprocessing unit, 210: object recognition unit, 220: timer, 230:
240: object vector operation unit, 250: size calculation unit,
300: object information generating unit, 310: heavy equipment related object information generating unit,
311: Heavy Equipment Information DB, 321: Work Object Information DB
320: work object information generating unit, 330: abnormal object generating unit,
400: Safety distance setting unit,
500: an alarm signal generating unit,
600: a display unit,
700: Raida drive range limitation portion,
901: Heavy equipment related object, 903: Operation target object, 905: Abnormal object.

Claims (9)

중장비에 고정되기 위한 연결부와, 적어도 한 쌍의 발광부와 수광부를 구비하며 회전가능하거나 상하좌우의 방향이 변경가능하도록 형성되되 레이저를 조사하고 수광함에 따라 반사체까지의 거리를 측정하는 라이다와, 상기 라이다의 방향을 변경하거나 회전 가능하도록 하는 라이다구동부와, 카메라와, 상기 카메라 고정을 위한 브라켓을 구비한 탐지부;
상기 카메라로부터 획득된 영상으로부터 영상처리기법을 통해 식별가능한 객체를 인식하되, 상기 카메라로부터 획득된 영상을 통해 식별가능한 객체를 중장비 또는 중장비와 일체로 형성되는 물체로서의 중장비 관련 객체와, 중장비를 이용한 작업대상이 되는 작업대상 객체와, 중장비 관련 객체 또는 작업대상 객체에 속하지 않는 객체인 이상 객체로 분류하여 인식하는 객체인식부;
상기 객체인식부를 통해 인식되는 상기 객체를 중장비 관련 객체, 작업대상 객체, 상기 중장비 관련 객체 또는 상기 작업대상 객체에 속하지 않는 이상 객체 중 어느 하나로 분류함에 따른 객체정보를 생성하는 객체정보생성부; 및
상기 객체정보생성부에서 생성된 상기 객체정보를 표시하는 디스플레이부;를 포함하고,
상기 객체정보생성부는,
상기 라이다에서 조사되는 레이저가 반사되는 반사체까지의 거리와 상기 라이다의 반사체에 대한 방향과 상기 객체인식부를 통해 인식되는 객체에 기초하여 산출되는 상기 객체에 대응되는 벡터와, 상기 객체의 크기와 중장비 정보 DB에 저장된 중장비 정보에 기초하여 중장비 관련 객체로 분류하여 중장비 관련 객체정보를 생성하는 중장비 관련 객체정보 생성부; 및
상기 객체인식부를 통해 인식되는 객체를 상기 객체에 대응되는 벡터와, 상기 객체의 크기와 작업대상 객체정보DB에 저장된 작업대상 객체정보에 기초하여 작업대상 객체로 분류하여 작업대상 객체정보를 생성하는 작업대상 객체정보 생성부;를 포함하는 것
인 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치.And a light receiving part for receiving the laser beam and measuring the distance to the reflector when the laser beam is received and received, A Lada driver for changing or rotating the direction of the lidar, a camera, and a bracket for fixing the camera;
And an object recognizable through an image processing technique from the image obtained from the camera, wherein the object identifiable through the image obtained from the camera is classified into a heavy equipment related object as an object integrally formed with a heavy equipment or a heavy equipment, An object recognition unit for classifying and recognizing an object to be processed as a target and an ideal object which is an object not belonging to a heavy equipment related object or a work object;
An object information generation unit for generating object information by classifying the object recognized through the object recognition unit into one of a heavy equipment related object, an operation object object, the heavy equipment related object, or an abnormal object not belonging to the operation object; And
And a display unit for displaying the object information generated by the object information generating unit,
Wherein the object information generating unit comprises:
The distance to the reflector to which the laser is reflected, the direction to the reflector of the ladder, the vector corresponding to the object calculated based on the object recognized through the object recognition unit, the size of the object, A heavy equipment related object information generation unit for generating heavy equipment related object information by classifying the heavy equipment related object based on the heavy equipment information stored in the heavy equipment information DB; And
An object recognized by the object recognition unit is classified into a vector corresponding to the object and an operation object object based on the size of the object and the operation object information stored in the operation object object information DB A target object information generating unit
An apparatus for providing object information for heavy equipment using an inline camera. 삭제delete 제1항에 있어서, 상기 객체정보생성부는,
상기 객체인식부를 통해 인식된 객체가 상기 중장비 관련 객체정보 생성부 또는 상기 작업대상 객체정보 생성부에서 중장비 관련 객체 또는 작업대상 객체로 분류되지 못한 경우 상기 객체를 이상 객체로 분류하여 이상 객체정보를 생성하는 이상 객체정보 생성부;를 더 포함하는 것
인 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치.The apparatus of claim 1,
If the object recognized through the object recognition unit fails to be classified as a heavy equipment related object or a work object by the heavy equipment related object information generating unit or the working object information generating unit, the object is classified as an abnormal object to generate abnormal object information And an abnormal object information generating unit
An apparatus for providing object information for heavy equipment using an inline camera. 제3항에 있어서,
상기 이상 객체와 상기 중장비 관련 객체 또는 상기 작업대상 객체간에 유지되어야 하는 안전거리를 사용자의 입력에 따라 설정하도록 하는 안전거리설정부; 및
상기 중장비 관련 객체정보 생성부, 상기 작업대상 객체정보 생성부 및 상기 이상 객체정보 생성부 중 어느 하나로부터의 출력과 상기 안전거리설정부에서 설정된 안전거리에 기초하여 알람신호를 생성하는 알람신호 생성부
를 더 포함하는 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치.The method of claim 3,
A safety distance setting unit for setting a safety distance to be maintained between the ideal object and the heavy equipment related object or the object to be operated according to an input of a user; And
An alarm signal generation unit for generating an alarm signal based on an output from the heavy equipment related object information generation unit, the operation object object information generation unit, and the abnormal object information generation unit and a safety distance set by the safety distance setting unit,
And an object information providing device for heavy equipment using a camera. 제1항에 있어서,
상기 라이다에서 조사되는 레이저가 반사되는 반사체까지의 거리를 계산함에 따른 반사체 거리 데이터를 생성하고, 거리 계산 시점을 전후로 한 상기 라이다의 반사체에 대한 방향 또는 측정방향을 기록하여 반사체 방향 데이터를 생성하는 라이다 데이터 처리부;
상기 라이다 데이터 처리부의 반사체 거리 데이터와 반사체 방향 데이터에 기초하여 상기 객체인식부를 통해 인식되는 상기 객체에 대응되는 벡터를 산출하는 객체벡터연산부; 및
상기 객체인식부를 통해 인식되는 상기 객체에 대한 좌표값들에 기초하여 상기 객체의 크기를 계산하는 크기계산부;
를 더 포함하는 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치.The method according to claim 1,
The reflector distance data is generated by calculating the distance to the reflector to which the laser is irradiated, and the reflector direction data is generated by recording the direction or the measurement direction of the reflector of the ladder before and after the distance calculation time A ladder data processing unit for performing ladder data processing;
An object vector computing unit for computing a vector corresponding to the object recognized through the object recognition unit based on the reflector distance data and the reflector direction data of the LIDAR data processing unit; And
A size calculation unit for calculating a size of the object based on coordinate values of the object recognized through the object recognition unit;
And an object information providing device for heavy equipment using a camera. 제5항에 있어서,
상기 디스플레이부는,
상기 카메라를 통해 획득된 영상에 있어서 상기 객체인식부를 통해 인식된 객체의 영역과 상기 객체에 대응되는 벡터를 더 표시하는 것
인 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치.6. The method of claim 5,
The display unit includes:
And further displaying an area of the object recognized through the object recognition unit and a vector corresponding to the object in the image obtained through the camera
An apparatus for providing object information for heavy equipment using an inline camera. 제5항에 있어서, 상기 객체벡터연산부는,
상기 카메라로부터 획득된 영상을 이루는 적어도 2이상의 프레임들에 있어서 인식되는 단일한 객체에 대한 픽셀 좌표값들의 차이를 계산하여 객체에 대응되는 벡터를 산출하는 것
인 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치.6. The apparatus of claim 5,
Calculating a difference between pixel coordinate values of a single object recognized in at least two frames constituting an image obtained from the camera and calculating a vector corresponding to the object
An apparatus for providing object information for heavy equipment using an inline camera. 제5항에 있어서, 상기 객체벡터연산부는,
상기 카메라로부터 획득된 영상을 이루는 적어도 2이상의 프레임들에 있어서 인식되는 단일한 객체에 대한 지리적 좌표에 대응되는 좌표값들의 차이를 계산하여 객체에 대응되는 벡터를 산출하는 것
인 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치.6. The apparatus of claim 5,
Calculating a vector corresponding to an object by calculating a difference between coordinate values corresponding to geographical coordinates of a single object recognized in at least two frames constituting an image obtained from the camera
An apparatus for providing object information for heavy equipment using an inline camera. 중장비에 고정되기 위한 연결부와, 적어도 한 쌍의 발광부와 수광부를 구비하며 회전가능하거나 상하좌우의 방향이 변경가능하도록 형성되되 레이저를 조사하고 수광함에 따라 반사체까지의 거리를 측정하는 라이다와, 상기 라이다의 방향을 변경하거나 회전 가능하도록 하는 라이다구동부와, 카메라와, 상기 카메라 고정을 위한 브라켓을 구비한 탐지부;
상기 카메라로부터 획득된 영상으로부터 영상처리기법을 통해 식별가능한 객체를 인식하되, 상기 카메라로부터 획득된 영상을 통해 식별가능한 객체를 중장비 또는 중장비와 일체로 형성되는 물체로서의 중장비 관련 객체와, 중장비를 이용한 작업대상이 되는 작업대상 객체와, 중장비 관련 객체 또는 작업대상 객체에 속하지 않는 객체인 이상 객체로 분류하여 인식하는 객체인식부;
상기 객체인식부를 통해 인식되는 상기 객체를 중장비 관련 객체, 작업대상 객체, 상기 중장비 관련 객체 또는 상기 작업대상 객체에 속하지 않는 이상 객체 중 어느 하나로 분류함에 따른 객체정보를 생성하는 객체정보생성부;
상기 객체정보생성부에서 생성된 상기 객체정보를 표시하는 디스플레이부; 및
상기 객체정보생성부에서 상기 객체정보가 생성되면 상기 라이다의 구동범위를 상기 객체인식부를 통해 인식된 객체와 상기 객체의 주변 영역으로 제한하도록 라이다 구동부를 제어하기 위한 라이다 구동범위 제한신호를 생성하는 라이다 구동범위 제한부;를 포함하고
상기 객체정보생성부는,
상기 라이다에서 조사되는 레이저가 반사되는 반사체까지의 거리와 상기 라이다의 반사체에 대한 방향과 상기 객체인식부를 통해 인식되는 객체에 기초하여 산출되는 상기 객체에 대응되는 벡터와, 상기 객체의 크기와 중장비 정보 DB에 저장된 중장비 정보에 기초하여 중장비 관련 객체로 분류하여 중장비 관련 객체정보를 생성하는 중장비 관련 객체정보 생성부; 및
상기 객체인식부를 통해 인식되는 객체를 상기 객체에 대응되는 벡터와, 상기 객체의 크기와 작업대상 객체정보DB에 저장된 작업대상 객체정보에 기초하여 작업대상 객체로 분류하여 작업대상 객체정보를 생성하는 작업대상 객체정보 생성부;를 포함하는 것
인 라이다와 카메라를 이용한 중장비용 객체 정보 제공 장치.And a light receiving part for receiving the laser beam and measuring the distance to the reflector when the laser beam is received and received, A Lada driver for changing or rotating the direction of the lidar, a camera, and a bracket for fixing the camera;
And an object recognizable through an image processing technique from the image obtained from the camera, wherein the object identifiable through the image obtained from the camera is classified into a heavy equipment related object as an object integrally formed with a heavy equipment or a heavy equipment, An object recognition unit for classifying and recognizing an object to be processed as a target and an ideal object which is an object not belonging to a heavy equipment related object or a work object;
An object information generation unit for generating object information by classifying the object recognized through the object recognition unit into one of a heavy equipment related object, an operation object object, the heavy equipment related object, or an abnormal object not belonging to the operation object;
A display unit for displaying the object information generated by the object information generation unit; And
When the object information is generated in the object information generation unit, a driving range limit signal for controlling the Lada driving unit to limit the driving range of the Lada to an object recognized through the object recognition unit and a peripheral area of the object, And a Ladia drive range limiting unit
Wherein the object information generating unit comprises:
The distance to the reflector to which the laser is reflected, the direction to the reflector of the ladder, the vector corresponding to the object calculated based on the object recognized through the object recognition unit, the size of the object, A heavy equipment related object information generation unit for generating heavy equipment related object information by classifying the heavy equipment related object based on the heavy equipment information stored in the heavy equipment information DB; And
An object recognized by the object recognition unit is classified into a vector corresponding to the object and an operation object object based on the size of the object and the operation object information stored in the operation object object information DB A target object information generating unit
An apparatus for providing object information for heavy equipment using an inline camera.
KR1020170081705A 2017-06-28 2017-06-28 Apparatus for providing object information for heavy machinery using lidar and camera KR101967049B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170081705A KR101967049B1 (en) 2017-06-28 2017-06-28 Apparatus for providing object information for heavy machinery using lidar and camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170081705A KR101967049B1 (en) 2017-06-28 2017-06-28 Apparatus for providing object information for heavy machinery using lidar and camera

Publications (2)

Publication Number Publication Date
KR20190001723A KR20190001723A (en) 2019-01-07
KR101967049B1 true KR101967049B1 (en) 2019-04-09

Family

ID=65016984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170081705A KR101967049B1 (en) 2017-06-28 2017-06-28 Apparatus for providing object information for heavy machinery using lidar and camera

Country Status (1)

Country Link
KR (1) KR101967049B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102196171B1 (en) * 2019-02-15 2020-12-29 주식회사 스프링클라우드 Apparatus and method for visualizing sensor data
KR102332616B1 (en) * 2020-05-06 2021-12-01 이지스로직 주식회사 Display device for construction equipment using LiDAR and AR
KR102459173B1 (en) * 2020-08-21 2022-10-26 (주)유미테크 Apparatus for managing safety of mobile equipment
KR102357499B1 (en) * 2020-11-26 2022-02-07 (주)중앙티씨렌탈 Tower crane autonomous operation system and autonomous operation method thereof
KR102519875B1 (en) * 2020-12-14 2023-04-11 소프트온넷(주) Collision warning system for industrial site

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004529343A (en) * 2001-04-04 2004-09-24 インストロ プレシジョン リミテッド Image analysis device
JP2011530712A (en) * 2008-08-12 2011-12-22 ジェイケイ ヴィジョン アーエス A system for detecting and imaging objects on the ship's route.
JP2016529475A (en) * 2013-06-14 2016-09-23 ウーバー テクノロジーズ，インコーポレイテッド Classification of object movement based on lidar

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101188584B1 (en) * 2007-08-28 2012-10-05 주식회사 만도 Apparatus for Discriminating Forward Objects of Vehicle by Using Camera And Laser Scanner
KR100894192B1 (en) * 2007-09-20 2009-04-22 고려대학교 산학협력단 Robot for Support Unmanned Excavator
US8027029B2 (en) 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
US20100157280A1 (en) 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
KR20130127822A (en) * 2012-05-15 2013-11-25 한국전자통신연구원 Apparatus and method of processing heterogeneous sensor fusion for classifying and positioning object on road
KR20150047215A (en) * 2013-10-24 2015-05-04 현대모비스 주식회사 Apparatus for sensing target vehicle using a rotational lidar sensor, and the rotational lidar sensor
KR20150091779A (en) * 2014-02-04 2015-08-12 한국전자통신연구원 Image processing system using multiple sensor
KR101788225B1 (en) * 2015-03-13 2017-10-19 서울대학교산학협력단 Method and System for Recognition/Tracking Construction Equipment and Workers Using Construction-Site-Customized Image Processing
KR20160130332A (en) * 2015-04-30 2016-11-11 (주)영신디엔씨 Approach monitoring and operation retardation and stop control system for heavy equipment of industry and construction
KR101632168B1 (en) 2016-02-03 2016-06-22 주식회사 싸인텔레콤 The apparatus of smart camera with lidar senser module

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004529343A (en) * 2001-04-04 2004-09-24 インストロ プレシジョン リミテッド Image analysis device
JP2011530712A (en) * 2008-08-12 2011-12-22 ジェイケイ ヴィジョン アーエス A system for detecting and imaging objects on the ship's route.
JP2016529475A (en) * 2013-06-14 2016-09-23 ウーバー テクノロジーズ，インコーポレイテッド Classification of object movement based on lidar

Also Published As

Publication number Publication date
KR20190001723A (en) 2019-01-07

Similar Documents

Publication Publication Date Title
KR101967049B1 (en) Apparatus for providing object information for heavy machinery using lidar and camera
KR102065975B1 (en) Safety Management System Using a Lidar for Heavy Machine
CN102540193B (en) Laser radar monitoring system
JP5297078B2 (en) Method for detecting moving object in blind spot of vehicle, and blind spot detection device
US9747802B2 (en) Collision avoidance system and method for an underground mine environment
WO2021023106A1 (en) Target recognition method and apparatus, and camera
US9524643B2 (en) Orientation sensitive traffic collision warning system
CN110865393A (en) Positioning method and system based on laser radar, storage medium and processor
CN108263279A (en) The pedestrian detection and pedestrian impact avoiding device and method integrated based on sensor
US20180273030A1 (en) Autonomous Vehicle having Pedestrian Protection Subsystem
RU2017120288A (en) BLIND AREA SYSTEMS AND METHODS
KR102044193B1 (en) System and Method for alarming collision of vehicle with support vector machine
JP2014029604A (en) Moving object recognition system, moving object recognition program, and moving object recognition method
CN111324143A (en) Unmanned aerial vehicle autonomous patrol obstacle avoidance system, method and computer equipment
CN202025084U (en) Laser radar monitoring system
CN111136648B (en) Mobile robot positioning method and device and mobile robot
KR101671993B1 (en) Safety system for vehicle
KR101427032B1 (en) Apparatus and method for recognizing pedestrian in vehicle, and apparatus and method for warning and preventing collision with pedestrian in vehicle using thereof
US20240034605A1 (en) Safety device for self-propelled industrial vehicles
US20240077586A1 (en) Method for generating intensity information having extended expression range by reflecting geometric characteristic of object, and lidar apparatus performing same method
CN114730192A (en) Object moving system
JP7036329B1 (en) Worksite management system, worksite management method, and worksite management program
JP2020042446A (en) Information processing system, information processing method, and information processing program
Vorapatratorn et al. Fast obstacle detection system for the blind using depth image and machine learning.
US11835620B2 (en) More reliable classification of radar data from dynamic settings

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant