WO2023101218A1 - 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치 및 방법 - Google Patents

온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치 및 방법 Download PDF

Info

Publication number
WO2023101218A1
WO2023101218A1 PCT/KR2022/016270 KR2022016270W WO2023101218A1 WO 2023101218 A1 WO2023101218 A1 WO 2023101218A1 KR 2022016270 W KR2022016270 W KR 2022016270W WO 2023101218 A1 WO2023101218 A1 WO 2023101218A1
Authority
WO
WIPO (PCT)
Prior art keywords
rail
mobile robot
greenhouse environment
point cloud
autonomous driving
Prior art date
Application number
PCT/KR2022/016270
Other languages
English (en)
French (fr)
Inventor
안수용
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of WO2023101218A1 publication Critical patent/WO2023101218A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to rail detection and rail docking motion control for safe driving conversion of a mobile robot in a flat area ⁇ rail area and rail area ⁇ flat area in a greenhouse (tomato, paprika growing greenhouse, etc.) where rails for pipe heating exist. will be.
  • the services provided by mobile robots applied to greenhouses are based on unmanned self-driving functions.
  • the greenhouse environment for growing tomatoes and paprika unlike general indoor environments, has rails for heating.
  • these rails are used as facilities for movement such as lift cars for work and mobile carts for transporting crops.
  • Self-driving based mobile robots should also use this rail to be able to drive in all areas of the greenhouse.
  • mobile robots require a safe driving transition between the flat area and the rail area. To this end, the mobile robot must detect the exact position of the rail to be docked, and motion control of the mobile robot for safe rail docking is required.
  • the object of the present invention is to propose a rail detection and mobile robot motion control device and method that enable a mobile robot to safely switch between flat and rail regions in a greenhouse (tomato, paprika growing greenhouse, etc.) where pipe heating rails exist. is to do
  • the present invention uses a 3D sensor (using a tilting laser scanner for more accurate rail detection) to obtain precise 3D Point Cloud data, and analyzes this data to determine the position of the rail and control the motion of the mobile robot for rail docking.
  • a 3D sensor using a tilting laser scanner for more accurate rail detection
  • a rail detection device for autonomous driving of a mobile robot in a greenhouse environment where rails are installed on the ground comprising: a sensor mounted on the mobile robot; And a rail detection unit for obtaining 3D point cloud data using the sensor and detecting the position of the rail using the 3D point cloud data, a rail detection device for autonomous driving of a mobile robot in a greenhouse environment is provided do.
  • the rail detection device may further include a rail docking motion control unit for controlling docking motion of the mobile robot with respect to the rail whose position is detected by the rail detection unit.
  • 3D Point Cloud data is obtained using a sensor mounted on the mobile robot, and the 3D Point Cloud data
  • a rail detection method for autonomous driving of a mobile robot in a greenhouse environment including a rail detection step of detecting the position of the rail using
  • the rail detecting method may further include a rail docking motion control step of controlling a docking motion of the mobile robot with respect to the rail whose position is detected by the rail detecting step.
  • the present invention it is possible to acquire a precise 3D point cloud through a tilting laser scanner, and to extract an accurate rail position through rail detection based on this 3D point cloud, and to control the driving motion of a mobile robot for safe rail docking.
  • FIG. 1 illustrates a plan view of a greenhouse environment in which pipe heating rails are installed.
  • FIG. 2 shows a tilting laser scanner 70 used in the present invention.
  • FIG. 3 shows 3D Point Cloud data acquired from the greenhouse environment illustrated in FIG. 1A using the tilting laser scanner 70.
  • FIG. 4 is a procedure flow diagram of a method for detecting rails in 3D Point Cloud data according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram of an extracted ROI Point Cloud.
  • FIG. 6 is an exemplary view of 3D Point Cloud data after plane removal.
  • FIG 7 illustrates that rail candidate clusters 1 to 6 are generated from 3D Point Cloud data.
  • FIG. 8 is an exemplary diagram of major lines ML1 to ML5 extracted for each cluster of FIG. 7 .
  • FIG. 9 exemplifies the results of rail verification, and indicates that all major lines ML1 to 3 and 5 are verification failures, and ML4 is verification success.
  • FIG. 10 is an exemplary diagram illustrating a detected rail position.
  • FIG. 11 is a flowchart of a method for controlling motion of a mobile robot for rail docking according to an embodiment of the present invention.
  • FIG. 12 is a plan view of an environment in a greenhouse for explaining how to select a position of a docking rail when detecting a plurality of rails.
  • the functions of mobile robots applied to greenhouses include automatic pest control, crop transfer, crop harvesting, and crop image acquisition.
  • the mobile robot must be able to drive in all areas of the greenhouse.
  • pipe heating rails connected to hot water supply tubes are installed on the ground for heating, so safe driving transitions between the flat area and the rail area must be accompanied.
  • 1 is a plan view for detailed explanation of a greenhouse environment in which a pipe heating rail 10 is installed.
  • the environment in the greenhouse largely consists of a rail area 20 where pipe heating rails 10 are gathered and a flat area 30 other than the rail area 20 .
  • Each pipe heating rail 10 gathered in the rail area 20 is connected to the hot water supply tube 40 to receive hot water and transfer heat over a wide area.
  • the self-driving mobile robot 60 that performs pest control, crop transport and harvesting, image acquisition, etc. performs missions while moving around the greenhouse, and the mobile robot 60 moves across the flat area 30 and the rail area 20. do. Therefore, the motion at the time of docking the rail must be controlled so that the driving of the mobile robot 60 can be safely switched between the flat area 30 and the rail area 20, and the rail detection must be performed prior to the rail docking.
  • rail detection can be performed using an onboard sensor mounted on the mobile robot 60 .
  • an on-board sensor for rail detection vision sensors (rail detection through video, use of artificial landmarks such as QR-code), RFID, and 3D LiDAR sensors can be used.
  • a tilting laser scanner can be used.
  • this data is analyzed to detect the position of the pipe heating rail 10 and to control the motion of the mobile robot 60 for rail docking. Suggest.
  • the pipe heating rail 10 will simply be referred to as a 'rail'.
  • a 3D Point Cloud refers to a set of points spread over a 3D space collected through sensors.
  • a sensor sends a light or other signal to an object and detects the return time, the object's distance is calculated and a point is created.
  • 3D Point Cloud data is created by imaging the created points.
  • a 3D LiDAR sensor or a 3D depth camera can be used to acquire a 3D point cloud.
  • 3D LiDAR sensors are difficult to use for rail detection of mobile robots due to their narrow vertical scanning range and high price.
  • a 3D depth camera using stereo vision it is difficult to acquire a precise 3D point cloud, and a LiDAR-based 3D depth camera is a sensor for indoor environments. extraction is not possible.
  • the present invention proposes a method of obtaining a high-density and high-precision 3D Point Cloud by constructing a tilting laser scanner device capable of adjusting the vertical scan range using a 2D laser scanner and a servo motor. .
  • FIG. 2 shows a tilting laser scanner 70 used in the present invention.
  • the 2D laser scanner 72 UST-20LX, a laser scan distance meter manufactured by Hokuyo, was used, and as the servo motor 74, an actuator for robotics manufactured by Dynamixel, AX-18A, was used.
  • FIG. 3 shows 3D Point Cloud data acquired from the greenhouse environment illustrated in FIG. 1 using the tilting laser scanner 70. It is possible to adjust the scan step, vertical scanning range, etc. of the tilting laser scanner 70 according to the purpose of 3D Point Cloud acquisition.
  • FIG. 4 describes a rail location detection method in the form of a procedure flow chart
  • a rail detection device may also be easily implemented through the procedure flow chart of FIG. 4 .
  • ROI (Region of Interest) setting
  • greenhouse rails are installed in contact with the ground or floor.
  • a region of interest (ROI) is set by excluding points not included (FIG. 5).
  • FIG. 5 is an exemplary diagram of an extracted ROI Point Cloud. Compared to the 3D Point Cloud of FIG. 3, it can be seen that the Ponit Cloud image with most of the height components excluded is extracted.
  • FIG. 6 is an exemplary view of 3D Point Cloud data after plane removal.
  • N rail candidate clusters can be separated by clustering points that are close to each other (FIG. 7). However, if the number of points constituting a cluster is less than a predetermined number (N c ), the corresponding cluster is excluded. In certain embodiments, N c may be about 100.
  • FIG 7 illustrates that rail candidate clusters 1 to 6 are generated from 3D Point Cloud data.
  • the minimum unit of the rail can be characterized as two long segments and one short segment connecting them (equal to the width of the rail).
  • two major lines having a length greater than or equal to a predetermined length (l t ) are extracted for each of the generated rail candidate clusters, and the angle and length of each line are recorded (see FIG. 8).
  • FIG. 8 is an exemplary diagram of major lines ML1 to ML5 extracted for each cluster of FIG. 7 .
  • FIG. 9 exemplifies the results of rail candidate verification, showing that verification failed for rail candidates with major lines ML1 to 3 and 5 and verification succeeded for a rail candidate with ML4.
  • a rail model in the form of a 3D point cloud can be built in advance.
  • iterative closest point (ICP) matching is performed on the 3D point cloud of the verified rail candidate to detect the position of the rail (FIG. 10).
  • FIG. 10 is an exemplary view showing that the rail position is detected.
  • FIG. 11 describes a motion control procedure in the form of a procedure flow chart
  • a motion control apparatus according to another aspect of the present invention can also be easily implemented through the procedure flow chart of FIG. 11. will be.
  • the mobile robot When the rail is detected (214), it is determined again whether the number of detection rails is one or two or more (220). When there is only one detected rail (222), the mobile robot may be moved to the corresponding position to dock on the rail (230). However, when there are more than one detected rail (224), a docking rail is selected (225) and then the mobile robot is moved to the position of the selected rail (230). After moving the mobile robot to the position of the docking rail (230), it recognizes the angle with the rail and controls to perform a rotational motion to align the mobile robot direction parallel to the rail direction according to this angle (240). . After direction alignment with the rail is completed, it is controlled to travel straight (250). Accordingly, the mobile robot can be docked to the rail (260).
  • the location of the docking rail is selected as the location of the closest rail from the current location of the mobile robot.

Abstract

파이프 난방을 위한 레일이 존재하는 온실환경(greenhouse environment)에서 자율주행(autonomous driving)하는 이동로봇(mobile robot)이 평지영역(flat area)-레일영역(rail area) 간에 안전한 주행 전환을 할 수 있도록 하는 레일 탐지(rail detection) 및 이동로봇 모션 제어에 관한 발명이다. 본 발명에서는 보다 정확한 레일 탐지를 위해서 이동로봇에 탑재된 센서 또는 레이저스캐너를 이용하여 정밀 3D Point Cloud 데이터를 얻고, 이 데이터를 분석하여 레일의 위치를 탐지하고 레일 도킹을 위한 이동로봇 모션을 제어한다.

Description

온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치 및 방법
본 발명은 파이프 난방을 위한 레일이 존재하는 온실(토마토, 파프리카 재배온실 등)에서 이동로봇의 평지영역→레일영역 및 레일영역→평지영역의 안전한 주행 전환을 위한 레일 탐지 및 레일도킹모션 제어에 관한 것이다.
온실에 적용되는 이동로봇이 제공하는 서비스(자동 방제, 작물 이송, 작물 수확, 작물영상 취득 등의 작업)는 무인 자율주행 기능을 기반으로 한다. 또한 토마토, 파프리카 등의 재배를 위한 온실환경은 일반적인 실내환경과는 달리 난방을 위한 레일이 존재하는데, 이 레일은 난방을 위한 목적 외에도 작업용 리프트카, 작물 이송용 이동 대차 등의 이동을 위한 시설물로도 활용된다. 자율주행 기반 이동로봇도 이 레일을 아용하여 온실의 전영역에서의 주행이 가능해야 한다.
따라서 이동로봇은 평지영역-레일영역 간의 안전한 주행 전환을 필요로 한다. 이를 위해 이동로봇이 도킹해야 하는 레일의 정확한 위치를 탐지해야 하며 안전한 레일도킹을 위한 이동로봇의 모션 제어가 필요하다.
본 발명의 목적은 파이프 난방 레일이 존재하는 온실(토마토, 파프리카 재배온실 등)에서 이동로봇이 평지영역-레일영역 간에 안전한 주행 전환을 할 수 있도록 하는 레일 탐지 및 이동로봇 모션 제어 장치 및 방법을 제안하는 것이다.
상기 목적을 달성하기 위하여, 본 발명에서는 3D 센서를 이용하여(보다 정확한 레일 탐지를 위해서는 틸팅 레이저스캐너(tilting laser scanner)를 이용하여) 정밀 3D Point Cloud 데이터를 얻고, 이 데이터를 분석하여 레일의 위치를 탐지하고 레일 도킹을 위한 이동로봇 모션을 제어한다.
구체적으로, 본 발명의 한 측면에 따르면, 레일이 지면에 설치된 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치로, 이동로봇에 탑재된 센서; 및 상기 센서를 이용하여 3D Point Cloud 데이터를 얻고, 이 3D Point Cloud 데이터를 이용하여 상기 레일의 위치를 검출하는 레일 탐지 유닛을 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치가 제공된다.
특정 실시예에서, 상기 레일 탐지 장치는, 상기 레일탐지 유닛에 의해 위치가 검출된 레일에 대한 이동로봇의 도킹 모션을 제어하는 레일도킹모션 제어 유닛을 추가로 포함할 수 있다.
또한 본 발명의 다른 측면에 따르면, 레일이 지면에 설치된 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지방법으로, 이동로봇에 탑재된 센서를 이용하여 3D Point Cloud 데이터를 얻고, 이 3D Point Cloud 데이터를 이용하여 상기 레일의 위치를 검출하는 레일 탐지 단계를 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법이 제공된다.
특정 실시예에서, 상기 레일 탐지 방법은, 상기 레일탐지 단계에 의해 위치가 검출된 레일에 대한 이동로봇의 도킹 모션을 제어하는 레일도킹모션 제어 단계를 추가로 포함할 수 있다.
이상에서 소개한 본 발명의 구성 및 작용은 이후에 도면과 함께 설명하는 구체적인 실시예를 통하여 더욱 명확해질 것이다.
본 발명에 따르면, 틸팅 레이저스캐너를 통한 정밀한 3D Point Cloud 취득이 가능하고 이 3D Point Cloud에 기반한 레일 탐지를 통한 정확한 레일 위치의 추출 및 안전한 레일 도킹을 위한 이동로봇의 주행 모션을 제어할 수 있다.
도 1은 파이프 난방 레일이 설치된 온실환경의 평면도를 예시한다.
도 2는 본 발명에 사용된 틸팅 레이저스캐너(70)를 나타낸다.
도 3은 틸팅 레이저스캐너(70)를 이용하여 도 1a에 예시된 온실환경으로부터 취득된 3D Point Cloud 데이터를 나타낸다.
도 4는 본 발명의 실시예에 따른, 3D Point Cloud 데이터에서 레일을 탐지하기 위한 방법의 절차 흐름도이다.
도 5는 추출된 ROI Point Cloud의 예시도이다.
도 6은 평면 제거 후의 3D Point Cloud 데이터의 예시도이다.
도 7은 3D Point Cloud 데이터에서 레일 후보 클러스터 1~6이 생성된 것을 예시한다.
도 8은 도 7의 클러스터별로 추출된 메이저라인 ML1~ML5의 예시도이다.
도 9는 레일 검증의 결과를 예시하는 것으로, 메이저라인 ML1~3, 5에 대해서 모두 검증실패이고, ML4에 대해서 검증성공인 것을 나타낸다.
도 10은 탐지된 레일 위치를 나타내는 예시도이다.
도 11은 본 발명의 실시예에 따른 레일 도킹을 위한 이동로봇 모션의 제어 방법의 절차 흐름도이다.
도 12는 다수의 레일 탐지시 도킹 레일의 위치를 선정하는 것을 설명하기 위한 온실 내 환경의 평면도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작, 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작, 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
1. 개요
온실에 적용되는 이동로봇의 기능으로, 자동 방제, 작물 이송, 작물 수확, 작물영상 취득 등이 있다. 이러한 기능을 위해서 이동로봇은 온실의 전영역 주행이 가능해야 한다. 그러나 토마토, 파프리카 온실의 경우에는 일반적인 실내 환경과는 달리 난방을 위해 온수공급 튜브에 연결된 파이프 난방 레일이 지면에 설치되므로, 평지영역과 레일영역 간의 안전한 주행 전환이 수반되어야 한다. 도 1은 파이프 난방 레일(10)이 설치된 온실환경의 구체적 설명을 위한 평면도이다.
온실 내 환경은 크게, 파이프 난방 레일(10)이 모여 있는 레일영역(20)과 이 레일영역(20) 이외의 평지영역(30)으로 이루어진다. 레일영역(20) 내에 모여있는 각 파이프 난방 레일(10)은 온수공급 튜브(40)에 연결되어 온수를 공급받아 넓은 영역에 걸쳐 열을 전달한다. 각 레일(10) 사이에는 작물베드(50)가 있다. 방제, 작물 이송 및 수확, 영상 취득 등을 수행하는 자율주행 이동로봇(60)이 온실을 이동하면서 임무를 수행하는데, 이동로봇(60)은 평지영역(30)과 레일영역(20)을 넘나들며 이동한다. 따라서 평지영역(30)과 레일영역(20) 간에 안전하게 이동로봇(60)의 주행 전환을 할 수 있도록 레일 도킹시의 모션을 제어해야 하며, 레일 도킹에 선행하여 레일 탐지를 우선적으로 수행해야 한다.
따라서 레일 탐지는 이동로봇(60)에 탑재된 온보드(onboard) 센서를 이용하여 수행할 수 있다. 이러한 레일 탐지를 위한 온보드 센서로, 비젼센서(영상을 통한 레일탐지, QR-code와 같은 인공랜드마크 이용), RFID, 3D LiDAR 센서 등을 사용할 수 있다. 보다 정확한 레일 탐지를 위해서는 틸팅 레이저스캐너를 이용할 수 있다. 본 발명에서는 이들 센서를 이용하여 정밀 3D Point Cloud 데이터를 얻은 후에 이 data를 분석하여 파이프 난방 레일(10)의 위치를 검출하고 이동로봇(60)의 레일 도킹을 위한 모션을 제어하는 장치와 방법을 제안한다.
이하의 설명에서는, 파이프 난방 레일(10)을 단순하게 '레일'이라 부르기로 한다.
3D Point Cloud는 센서를 통해 수집되는 3차원 공간상에 퍼져 있는 여러 점의 집합을 의미한다. 센서가 물체에 빛 또는 다른 신호를 보내고 돌아오는 시간을 검출하면, 물체의 거리가 계산되고 점을 생성한다. 생성된 여러 점들을 영상화하여 3D Point Cloud 데이터가 만들어진다.
2. 온실환경 3D 스캐닝 장치
기본적으로 3D Point Cloud를 취득하기 위하여 3D LiDAR 센서 또는 3D 뎁스(depth) 카메라(예를 들어, Intel RealSense L515, D435i)를 이용할 수 있다. 하지만 3D LiDAR 센서는 협소한 수직 스캔범위(vertical scanning range)와 높은 가격 때문에 이동로봇의 레일 탐지용으로는 사용하기 힘들다. 또한 스테레오 비젼을 이용한 3D depth 카메라의 경우에는 정밀한 3D Point Cloud를 취득하기 힘들고, LiDAR 기반 3D depth 카메라는 실내환경용 센서로서 온실과 같은 실외환경의 특성을 갖는 환경에서는 성능이 저하되어 정밀한 3D Point Cloud 추출이 불가능하다.
이에 본 발명에서는 2D 레이저스캐너와 서보모터를 이용하여 수직 스캔범위의 조절이 가능한 틸팅 레이저스캐너 장치를 구성하여, 높은 밀도의 정확한(high-density and high-precision) 3D Point Cloud를 얻는 방법을 제안한다.
도 2는 본 발명에 사용된 틸팅 레이저스캐너(70)를 나타낸다. 2D 레이저스캐너(72)로는 Hokuyo사의 레이저스캔 거리측정기인 UST-20LX를 이용하고, 서보모터(74)로는 Dynamixel사의 로보틱스용 액추에이터인 AX-18A를 이용하였다.
도 3은 상기 틸팅 레이저스캐너(70)를 이용하여 도 1에 예시된 온실환경으로부터 취득된 3D Point Cloud 데이터를 나타낸다. 3D Point Cloud 취득의 목적에 맞게 틸팅 레이저스캐너(70)의 스캔 간격(scan step), 수직 스캔범위(vertical scanning range) 등을 조절하는 것이 가능하다.
이하, 이러한 3D Point Cloud 데이터에서 레일을 탐지(레일 위치의 검출)하는 방법에 대해 설명한다.
3. 3D Point Cloud를 이용한 레일(10)의 탐지
틸팅 레이저스캐너로부터 취득한 3D Point Cloud 데이터에서 레일을 탐지하기 위한 방법의 절차 흐름은 도 4에 나타낸 것과 같다. 도 4는 절차 순서도의 형식으로 레일 위치 탐지 방법을 설명하고 있지만, 본 발명의 다른 측면에 따른 레일 탐지 장치도 또한 도 4의 절차 순서도를 통해 용이하게 구현할 수 있을 것이다.
이하, 도 4를 참조하여 본 발명에 따른 레일 탐지 방법 및 장치에 대해 설명한다.
110: ROI(Region of Interest, 관심영역)의 설정
일반적으로 온실의 레일은 지면이나 바닥면에 접하여 설치되어 있다. 이와 같이 '레일은 바닥에 근접 설치되어 있다'는 레일 위치의 사전지식(prior knowledge)을 이용하여, 입력된 3D Point Cloud 데이터에서 z축이 [-0.1m, 0.1m](m=미터)에 포함되지 않는 포인트를 제외하여 관심영역(ROI)을 설정한다(도 5).
도 5는 추출된 ROI Point Cloud의 예시도이다. 도 3의 3D Point Cloud에 비해 높이 성분의 대부분이 제외된 Ponit Cloud 이미지가 추출된 것을 볼 수 있다.
120: 평면 제거(Plane removal)
단계 110에서 추출된 ROI에 속하는 포인트의 다수는 바닥 평면 또는 옆면에 존재한다. 따라서 평면에 속하는 포인트들을 제거하여 레일의 후보군 포인트를 추출한다(도 6). 도 6은 평면 제거 후의 3D Point Cloud 데이터의 예시도이다.
130: 레일 후보 클러스터 추출(Clustering)
평면 제거(120) 후 남아있는 포인트들에 대해 'Conditional Euclidean Clustering'을 수행하면 서로 가까운 포인트들을 군집화하여 N개의 레일 후보 클러스터를 분리해낼 수 있다(도 7). 단, 클러스터를 이루는 포인트의 수가 소정 개수(Nc) 이하이면 해당 클러스터는 제외시킨다. 특정 실시예에서 Nc 는 약 100개일 수 있다.
도 7은 3D Point Cloud 데이터에서 레일 후보 클러스터 1~6이 생성된 것을 예시한다.
이하의 절차에서는 각 클러스터별로 수행된다.
140: 클러스터별 메이저라인(Major line) 추출
레일은 도 1에 도시한 것과 같은 형상으로 설치되기 때문에, 레일의 최소 단위는 2개의 긴 선분과 이를 연결하는 1개의 짧은 선분(레일의 폭과 동일)으로 특징지을 수 있다. 이러한 사실을 이용하여, 상기 생성된 각 레일 후보 클러스터별로 길이가 소정 길이(lt) 이상인 2개의 메이저라인(major line)을 추출하고 각 라인의 각도와 길이를 기록한다(도 8 참조).
도 8은 도 7의 클러스터별로 추출된 메이저라인 ML1~ML5의 예시도이다.
150: 레일 후보 검증(Validation)
'파이프 난방 레일의 경우에, 이 레일을 이루는 두 선분은 서로 평행하고 선분간의 폭은 0.6m로 표준화되어 있다'는 사전지식과 앞의 단계 140에서 추출한 각 2개의 메이저라인의 속성을 이용하여 레일의 조건 만족 여부를 검증한다. 구체적으로, 2개의 메이저라인의 각도가 실질적 평행 조건을 벗어나 예를 들어 10° 이상 어긋나거나 상호 거리가 0.5~0.7m 내에 있지 않으면 레일 후보군에서 제외한다(도 9 참조).
도 9는 이러한 레일 후보 검증의 결과를 예시하는데, 메이저라인 ML1~3, 5를 갖는 레일 후보에 대해서는 검증실패이고 ML4를 갖는 레일 후보에 대해서는 검증성공의 결과가 나온 것을 나타낸다.
160, 170: ICP 매칭(matching)에 의한 레일 위치 검출
앞에서 언급한 것과 같이 레일의 폭이 표준화되어 있으므로, 3D Point Cloud 형태의 레일 모델을 사전에 구축할 수 있다. 이 사전 구축된 레일 모델을 이용하여, 상기 검증된 레일 후보의 3D Point Cloud에 대해 Iterative Closest Point(ICP) matching을 수행하여 레일의 위치를 검출한다(도 10).
도 10은 레일 위치가 검출된 것을 나타내는 예시도이다.
4. 레일 도킹 모션 제어
이상에서와 같이 레일 위치가 검출된 후에 이동로봇의 레일 도킹을 위한 모션을 제어한다. 레일 도킹을 위한 이동로봇 모션 제어의 절차는 도 11에 나타낸 것과 같다. 도 4에 대해서 언급한 것과 마찬가지로, 도 11은 절차 순서도의 형식으로 모션 제어 절차 방법을 설명하고 있지만, 본 발명의 다른 측면에 따른 모션 제어 장치도 또한 도 11의 절차 순서도를 통해 용이하게 구현할 수 있을 것이다.
이하, 도 11을 참조하여 본 발명에 따른 레일 도킹 모션제어 방법 및 장치에 대해 설명한다.
먼저, 앞에서 설명한 레일 탐지 과정(100~170)을 진행하여 3D Point Cloud 기반의 레일 탐지를 수행한다. 그 결과로 탐지된 레일이 있는지(개수>0) 없는지(개수=0) 판단한다(210). 탐지된 레일의 개수가 0이면(212) 도 4의 과정으로 돌아가 3D 스캐닝을 통한 3D Point Cloud 데이터 획득 단계(100) 및 이 3D Point Cloud 기반 레일 탐지 단계(110~170)를 수행해서 레일을 탐지한다.
레일이 탐지된 경우에는(214), 다시, 탐지 레일의 개수가 1개인지 2개 이상인지 판단한다(220). 탐지된 레일이 1개일 때에는(222) 그 레일에 도킹하기 위하여 해당 위치로 이동로봇을 이동시키면 된다(230). 그러나 탐지된 레일이 1개가 아니라 그 이상일 때에는(224) 도킹 레일을 선정(225)한 다음에 이동로봇을 그 선정된 레일의 위치로 이동시킨다(230). 이동로봇을 도킹 레일 위치로 이동(230)시킨 후에, 레일과의 각도를 인식하고 이 각도에 따라 이동로봇 방향을 레일 방향과 평행하도록 정렬(align)시키기 위한 회전 모션을 수행하도록 제어한다(240). 레일과의 방향 정렬이 완료된 후에 직진 주행하도록 제어한다(250). 이에 이동로봇은 레일에 도킹할 수 있게 된다(260).
여러 개의 레일이 탐지되었을 경우에 도킹 레일의 위치는 현재 이동로봇의 위치로부터 가장 가까운 레일의 위치로 선정한다.
도 12를 참조하여 구체적으로 설명하면, 여러 개의 레일이 탐지되었을 경우(11, 12, 13)에 이동로봇(60)의 중심점(61. 이 지점은 레일 탐지를 위한 3D 스캐닝 지점임)과 탐지된 레일(11, 12, 13) 사이의 직선거리 d1~d3 중에서 d2가 가장 짧다. 따라서 이들 탐지된 레일 중 가운데 레일(12)을 도킹 레일로 선정한다. 이와 같이 레일(12)을 선정한 후, 이동로봇(60)은 '62'로 표시된 레일 도킹을 위한 이동 지점으로 이동한 후 해당 레일(12)의 방향과 같은 직선 방향으로 로봇 방향(heading angle)을 정렬(alignment)하고, 직진 주행하여 레일(12)에 도킹한다.
이상에서 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (18)

  1. 레일이 지면에 설치된 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치로,
    이동로봇에 탑재된 센서; 및
    상기 센서를 이용하여 3D Point Cloud 데이터를 얻고, 이 3D Point Cloud 데이터를 이용하여 상기 레일의 위치를 검출하는 레일 탐지 유닛을 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치.
  2. 제1항에 있어서, 상기 센서는 틸팅 레이저스캐너를 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치.
  3. 제1항에 있어서, 상기 레일 탐지 유닛은
    상기 3D Point Cloud 데이터에서 사전 설정된 z축 범위 내에 포함되지 않은 포인트를 제외하여 관심영역(ROI)을 설정하고;
    상기 추출된 ROI에 속하는 포인트들 중 평면에 속하는 포인트들을 제거하여 레일 후보군 포인트를 추출하고;
    상기 평면 제거 후 남아있는 포인트들에 대해 복수의 레일 후보 클러스터를 추출하고;
    상기 추출된 각 레일 후보 클러스터별로, 사전 설정된 길이 이상인 2개의 메이저라인(major line)을 추출하고;
    상기 2개의 메이저라인을 이루는 라인의 각도와 상호 거리로부터 레일 후보를 검증하고;
    상기 검증에 성공한 레일 후보와 상기 3D Point Cloud를 매칭하여 레일의 위치를 추출하도록 구성되는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치.
  4. 제3항에 있어서, 상기 레일 탐지 유닛은
    상기 관심영역 설정을 위해, 사전 설정된 z축 범위 [-0.1m, 0.1m](m=미터)를 이용하는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치.
  5. 제3항에 있어서, 상기 레일 탐지 유닛은
    상기 레일 후보 클러스터 추출을 위해 'Conditional Euclidean Clustering'을 수행하는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 장치.
  6. 제3항에 있어서, 상기 레일 탐지 유닛은
    상기 레일 후보 검증을 위하여, 상기 메이저라인을 이루는 라인의 각도는 10° 미만, 상호 거리는 0.5 내지 0.7m일 때에 검증 성공을 판정하는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치.
  7. 제3항에 있어서, 상기 레일 탐지 유닛은
    상기 검증에 성공한 레일 후보와 상기 3D Point Cloud의 매칭을 위해, 사전에 구축된 3D Point Cloud 형태의 레일 모델을 이용하여 Iterative Closest Point(ICP) matching을 수행하는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치.
  8. 제3항에 있어서, 상기 레일탐지 유닛에 의해 위치가 검출된 레일에 대한 이동로봇의 도킹 모션을 제어하는 레일도킹모션 제어 유닛을 추가로 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치.
  9. 제8항에 있어서, 상기 레일도킹모션 제어 유닛은
    상기 레일 탐지 유닛에 의해 수행된 3D Point Cloud 기반의 레일 탐지의 결과로 탐지된 레일이 있는 경우에, 탐지 레일의 개수가 1개인지 2개 이상인지 판단하고;
    탐지된 레일이 1개일 때에는 그 레일에 도킹하기 위하여 해당 위치로 이동로봇을 이동시키고, 탐지된 레일이 2개 이상인 때에는 도킹 레일을 선정한 다음에 이동로봇을 이 선정된 레일의 위치로 이동시키고;
    이동로봇을 상기 도킹 레일의 위치로 이동시킨 후에, 레일과의 각도를 인식하고;
    상기 인식된 각도에 따라 이동로봇의 방향을 레일과 정렬시키고;
    레일과의 방향 정렬이 완료된 후에 이동로봇을 직진 주행시키도록 구성되는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치.
  10. 레일이 지면에 설치된 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지방법으로,
    이동로봇에 탑재된 센서를 이용하여 3D Point Cloud 데이터를 얻고, 이 3D Point Cloud 데이터를 이용하여 상기 레일의 위치를 검출하는 레일 탐지 단계를 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
  11. 제10항에 있어서, 상기 센서는 틸팅 레이저스캐너를 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
  12. 제10항에 있어서, 상기 레일 탐지 단계는
    상기 3D Point Cloud 데이터에서 사전 설정된 z축 범위 내에 포함되지 않은 포인트를 제외하여 관심영역(ROI)을 설정하고;
    상기 추출된 ROI에 속하는 포인트들 중 평면에 속하는 포인트들을 제거하여 레일 후보군 포인트를 추출하고;
    상기 평면 제거 후 남아있는 포인트들에 대해 복수의 레일 후보 클러스터를 추출하고;
    상기 추출된 각 레일 후보 클러스터별로, 사전 설정된 길이 이상인 2개의 메이저라인(major line)을 추출하고;
    상기 2개의 메이저라인을 이루는 라인의 각도와 상호 거리로부터 레일 후보를 검증하고;
    상기 검증에 성공한 레일 후보와 상기 3D Point Cloud를 매칭하여 레일의 위치를 추출하는 것을 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
  13. 제12항에 있어서, 상기 레일 탐지 단계는
    상기 관심영역 설정을 위해, 사전 설정된 z축 범위 [-0.1m, 0.1m](m=미터)를 이용하는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
  14. 제12항에 있어서, 상기 레일 탐지 단계는
    상기 레일 후보 클러스터 추출을 위해 Conditional Euclidean Clustering을 수행하는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
  15. 제12항에 있어서, 상기 레일 탐지 단계는
    상기 레일 후보 검증을 위하여, 상기 메이저라인을 이루는 라인의 각도는 10° 미만, 상호 거리는 0.5 내지 0.7m일 때에 검증 성공을 판정하는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
  16. 제12항에 있어서, 상기 레일 탐지 단계는
    상기 검증에 성공한 레일 후보와 상기 3D Point Cloud의 매칭을 위해, 사전에 구축된 3D Point Cloud 형태의 레일 모델을 이용하여 Iterative Closest Point(ICP) matching을 수행하는 것을 특징으로 하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
  17. 제12항에 있어서, 상기 레일탐지 단계에 의해 위치가 검출된 레일에 대한 이동로봇의 도킹 모션을 제어하는 레일도킹모션 제어 단계를 추가로 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
  18. 제17항에 있어서, 상기 레일도킹모션 제어 단계는
    상기 레일 탐지 단계에서 수행된 3D Point Cloud 기반의 레일 탐지의 결과로 탐지된 레일이 있는 경우에, 탐지 레일의 개수가 1개인지 2개 이상인지 판단하고;
    탐지된 레일이 1개일 때에는 그 레일에 도킹하기 위하여 해당 위치로 이동로봇을 이동시키고, 탐지된 레일이 2개 이상인 때에는 도킹 레일을 선정한 다음에 이동로봇을 이 선정된 레일의 위치로 이동시키고;
    이동로봇을 상기 도킹 레일의 위치로 이동시킨 후에, 레일과의 각도를 인식하고;
    상기 인식된 각도에 따라 이동로봇의 방향을 레일과 정렬시키고;
    레일과의 방향 정렬이 완료된 후에 이동로봇을 직진 주행시키는 것을 포함하는, 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 방법.
PCT/KR2022/016270 2021-11-30 2022-10-24 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치 및 방법 WO2023101218A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0169132 2021-11-30
KR1020210169132A KR20230081247A (ko) 2021-11-30 2021-11-30 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023101218A1 true WO2023101218A1 (ko) 2023-06-08

Family

ID=86612636

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016270 WO2023101218A1 (ko) 2021-11-30 2022-10-24 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230081247A (ko)
WO (1) WO2023101218A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102616776B1 (ko) * 2023-08-21 2023-12-21 주식회사 랑데뷰 자율주행 가능한 대차 로봇

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784830B1 (ko) * 2006-06-19 2007-12-17 대한민국 벤치 재배형 딸기 수확 로봇 시스템
KR20180116832A (ko) * 2017-04-18 2018-10-26 한국원자력연구원 파이프 위치 및 자세 탐지 장치와 이를 이용한 파이프 위치 및 자세 탐지 방법
KR20200071763A (ko) * 2017-11-17 2020-06-19 오카도 이노베이션 리미티드 대상물의 위치를 결정하고 각각의 대상물에 대한 적절한 파지점을 계산하기 위한 로봇 시스템용 제어 디바이스 및 방법
KR20210058976A (ko) * 2018-10-30 2021-05-24 엠제이엔엔 엘엘씨 통제된 환경 농업 시스템용 재배 타워 프로세싱
DE102020204272B3 (de) * 2020-04-01 2021-07-22 Kuka Deutschland Gmbh Logistiksystem

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784830B1 (ko) * 2006-06-19 2007-12-17 대한민국 벤치 재배형 딸기 수확 로봇 시스템
KR20180116832A (ko) * 2017-04-18 2018-10-26 한국원자력연구원 파이프 위치 및 자세 탐지 장치와 이를 이용한 파이프 위치 및 자세 탐지 방법
KR20200071763A (ko) * 2017-11-17 2020-06-19 오카도 이노베이션 리미티드 대상물의 위치를 결정하고 각각의 대상물에 대한 적절한 파지점을 계산하기 위한 로봇 시스템용 제어 디바이스 및 방법
KR20210058976A (ko) * 2018-10-30 2021-05-24 엠제이엔엔 엘엘씨 통제된 환경 농업 시스템용 재배 타워 프로세싱
DE102020204272B3 (de) * 2020-04-01 2021-07-22 Kuka Deutschland Gmbh Logistiksystem

Also Published As

Publication number Publication date
KR20230081247A (ko) 2023-06-07

Similar Documents

Publication Publication Date Title
Katrasnik et al. New robot for power line inspection
EP3818337B1 (en) Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath
US6362875B1 (en) Machine vision system and method for inspection, homing, guidance and docking with respect to remote objects
EP3407088A1 (en) Systems and methods for tracking location of movable target object
CN111496770A (zh) 基于3d视觉与深度学习的智能搬运机械臂系统及使用方法
WO2017050893A1 (en) Autonomous inspection of elongated structures using unmanned aerial vehicles
WO2023101218A1 (ko) 온실환경에서 이동로봇의 자율주행을 위한 레일 탐지 장치 및 방법
EP3510562A1 (en) Method and system for calibrating multiple cameras
CN102756808A (zh) 起飞和着陆目标仪器以及自动起飞和着陆系统
CN111624994A (zh) 一种基于5g通信的机器人巡检方法
WO2000004765A1 (en) A device for automatically attaching a teatcup onto a teat of an animal
Hui et al. A novel autonomous navigation approach for UAV power line inspection
US11048250B2 (en) Mobile transportation means for transporting data collectors, data collection system and data collection method
Nigro et al. Peg-in-hole using 3D workpiece reconstruction and CNN-based hole detection
CN111452045B (zh) 一种基于立体视觉的钢筋识别标记系统和方法
CN107256034B (zh) 一种基于无人机的变配电室多点环境数据采集系统
CN108931982A (zh) 用于移动机器人设备的视觉导航系统和方法
CN111923005A (zh) 无人搬运机器人系统
Kim et al. P-AgBot: In-Row & Under-Canopy Agricultural Robot for Monitoring and Physical Sampling
EP3597538B1 (en) Ground vehicle for transporting a vtol aircraft
WO2023158075A1 (ko) 장애물의 회피 이동이 가능한 자율 주행 로봇
Lee et al. Cyber Physical Autonomous Mobile Robot (CPAMR) framework in the context of industry 4.0
KR20210070690A (ko) 이동 로봇 시스템 및 자동 충전을 위한 이동 로봇의 귀소 방법
CN114434123B (zh) 一种空中线夹的机械臂定位拆卸方法、装置及存储介质
Yuan et al. Visual steering of UAV in unknown environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22901577

Country of ref document: EP

Kind code of ref document: A1