KR20230013891A - 자율주행 트랙터의 장애물 인식 장치 및 방법 - Google Patents

자율주행 트랙터의 장애물 인식 장치 및 방법 Download PDF

Info

Publication number
KR20230013891A
KR20230013891A KR1020210094932A KR20210094932A KR20230013891A KR 20230013891 A KR20230013891 A KR 20230013891A KR 1020210094932 A KR1020210094932 A KR 1020210094932A KR 20210094932 A KR20210094932 A KR 20210094932A KR 20230013891 A KR20230013891 A KR 20230013891A
Authority
KR
South Korea
Prior art keywords
obstacle
image
detected object
detected
exclusion
Prior art date
Application number
KR1020210094932A
Other languages
English (en)
Inventor
김경표
Original Assignee
(주)컨트롤웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)컨트롤웍스 filed Critical (주)컨트롤웍스
Priority to KR1020210094932A priority Critical patent/KR20230013891A/ko
Publication of KR20230013891A publication Critical patent/KR20230013891A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/15—Agricultural vehicles
    • B60W2300/152—Tractors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/22—Agricultural vehicles
    • B60Y2200/221—Tractors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S180/00—Motor vehicles
    • Y10S180/90—Argicultural-type tractors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

장애물 검출을 위한 자율주행 트랙터의 장애물 인식 장치 및 방법에 관한 것으로, 자율주행 트랙터에 장착되어 상기 자율주행 트랙터의 주변을 센싱하여 3차원 영상을 획득하는 센서부, 상기 자율주행 트랙터에 장착되어 상기 자율주행 트랙터의 주변을 촬영하여 2차원 영상을 획득하는 카메라부, 그리고 상기 센서부로부터 획득한 3차원 영상과 상기 카메라부로부터 획득한 2차원 영상을 융합하여 장애물을 판정하는 장애물 판정부를 포함하고, 상기 장애물 판정부는, 상기 카메라부로부터 획득한 2차원 영상 내에서 객체 영역을 추출하고, 상기 추출한 객체 영역을 상기 센서부로부터 획득한 3차원 영상에 투영하여 객체를 검출하며, 상기 검출된 객체가 장애물 배제 객체인지를 판단하고, 상기 검출된 객체가 장애물 배제 객체이면 상기 검출된 객체를 비장애물(non-obstacle)로 판정하며, 상기 검출된 객체가 장애물 배제 객체가 아니면 상기 검출된 객체를 장애물로 판정할 수 있다.

Description

자율주행 트랙터의 장애물 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING OBSTACLE OF AUTONOMOUS DRIVING TRACTOR}
본 발명은, 장애물 인식 장치에 관한 것으로, 보다 상세하게는 장애물 검출을 위한 자율주행 트랙터의 장애물 인식 장치 및 방법에 관한 것이다.
일반적으로, 트랙터는, 갈수록 줄어드는 농업인구와 농업인의 노령화 문제로 농업인구가 줄어드는 현시대에서, 1인당 농사작업 효율을 증대시키기 위해서 없어서는 안 될 필수장비이다.
트랙터는, 견인력을 이용해서 농업 분야에서 각종 작업을 하는 작업용 자동차로써, 현재 농업용 트랙터는 전방에 전방 로더를 설치하여 그 로더에 각종 작업용 어태치먼트를 장착하여 운반, 내리기, 싣기 등의 각종 작업을 수행하고, 후방부에는 후방 링크를 통해 로터베이터 등을 장착하여 경운 등의 작업을 수행하는 것이 일반적이다.
농작업용 트랙터는, 드넓은 농지에서 작동하는 장비로써, 농민들에게 필수적인 장비이지만, 단순하고 느리게 이동하면서 반복적인 작업을 수행하는 단점으로 인하여, 농민들이 트랙터 위에서 많은 시간과 에너지를 소모하고, 1인당 농사작업 효율성이 떨어지며, 생산량 또한 떨어지는 문제점이 있었다
최근에는, 이러한 문제점을 해결하기 위하여 자율적으로 주행하여 작업효율을 향상시킬 수 있는 자율주행 트랙터가 개발되고 있지만, 장애물 인지 성능이 낮아서 안전성 문제가 발생하고 있다.
자율주행 트랙터의 장애물 인지 기술은, 일반 자율주행 차량의 장애물 인지 기술과는 달리 농지 및 농업 환경에서 발생할 수 있는 농작물 및 트랙터에 다양하게 장착되는 작업 도구 등을 정밀하게 인지할 수 있는 기술 개발이 필요하다.
또한, 자율주행 트랙터를 상용화하기 위해서는, 고가의 센서 및 컴퓨팅 장치 등을 포함하는 고가의 장애물 인지 장치를 적용하기 어려운 문제도 있었다.
따라서, 향후, 저렴한 비용으로, 작물 및 작업 도구 등의 장애물을 정확하게 인지하여 다양한 작업 시에도 장애물 오검출을 제거할 수 있는 자율주행 트랙터의 장애물 인식 장치의 개발이 요구되고 있다.
대한민국 등록특허공보 10-1339750호(2013. 12. 04 공개)
본 발명의 일실시예가 이루고자 하는 기술적 과제는, 3차원 영상과 2차원 영상을 융합하여 장애물 배제 객체를 판별함으로써, 작물 및 작업 도구 등을 제외한 장애물만을 정확하게 인지하여 장애물 오검출을 제거하고 안전성을 높일 수 있는 자율주행 트랙터의 장애물 인식 장치 및 방법을 제공하고자 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일실시예에 의한 자율주행 트랙터의 장애물 인식 장치는, 자율주행 트랙터에 장착되어 상기 자율주행 트랙터의 주변을 센싱하여 3차원 영상을 획득하는 센서부, 상기 자율주행 트랙터에 장착되어 상기 자율주행 트랙터의 주변을 촬영하여 2차원 영상을 획득하는 카메라부, 그리고 상기 센서부로부터 획득한 3차원 영상과 상기 카메라부로부터 획득한 2차원 영상을 융합하여 장애물을 판정하는 장애물 판정부를 포함하고, 상기 장애물 판정부는, 상기 카메라부로부터 획득한 2차원 영상 내에서 객체 영역을 추출하고, 상기 추출한 객체 영역을 상기 센서부로부터 획득한 3차원 영상에 투영하여 객체를 검출하며, 상기 검출된 객체가 장애물 배제 객체인지를 판단하고, 상기 검출된 객체가 장애물 배제 객체이면 상기 검출된 객체를 비장애물(non-obstacle)로 판정하며, 상기 검출된 객체가 장애물 배제 객체가 아니면 상기 검출된 객체를 장애물로 판정할 수 있다.
자율주행 트랙터의 장애물 인식 장치의 대안적인 실시예에서, 상기 장애물 판정부는, 상기 2차원 영상 내에서 객체 영역을 추출할 때, 상기 카메라부로부터 2차원 영상을 획득하면 상기 2차원 영상을 처리하여 상기 2차원 영상 내의 객체 영역을 분류하고, 상기 분류된 객체 영역을 추출할 수 있다.
자율주행 트랙터의 장애물 인식 장치의 대안적인 실시예에서, 상기 장애물 판정부는, 상기 2차원 영상 내의 객체 영역을 분류할 때, 미리 학습된 뉴럴 네트워크 모델을 기반으로 상기 2차원 영상 내의 객체 영역을 분류할 수 있다.
자율주행 트랙터의 장애물 인식 장치의 대안적인 실시예에서, 상기 장애물 판정부는, 상기 객체를 검출할 때, 상기 2차원 영상에서 추출한 객체 영역에 대한 2차원 좌표 정보를 상기 3차원 영상의 3차원 좌표 정보로 변환하고, 상기 변환된 좌표 정보를 갖는 객체 영역을 상기 3차원 영상에 매칭시켜 상기 객체 영역으로부터 특정 객체를 검출할 수 있다.
자율주행 트랙터의 장애물 인식 장치의 대안적인 실시예에서, 상기 장애물 판정부는, 상기 검출된 객체가 장애물 배제 객체인지를 판단할 때, 미리 학습된 뉴럴 네트워크 모델을 기반으로 상기 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
자율주행 트랙터의 장애물 인식 장치의 대안적인 실시예에서, 상기 장애물 판정부는, 상기 검출된 객체가 장애물 배제 객체인지를 판단할 때, 상기 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별하고, 상기 검출된 객체가 작물 및 작업 도구 중 어느 하나이면 상기 검출된 객체를 상기 장애물 배제 객체로 판단할 수 있다.
자율주행 트랙터의 장애물 인식 장치의 대안적인 실시예에서, 상기 장애물 판정부는, 상기 검출된 객체가 장애물 배제 객체인지를 판단할 때, 상기 검출된 객체의 높이 및 폭을 기반으로 상기 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
자율주행 트랙터의 장애물 인식 장치의 대안적인 실시예에서, 상기 장애물 판정부는, 상기 검출된 객체가 장애물 배제 객체인지를 판단할 때, 상기 검출된 객체의 높이 및 폭을 산출하고, 상기 산출된 객체의 높이 및 폭이 미리 설정된 기준값 이상이면 상기 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
자율주행 트랙터의 장애물 인식 장치의 대안적인 실시예에서, 상기 장애물 판정부는, 상기 산출된 객체의 높이 및 폭이 미리 설정된 기준값 미만이면 상기 검출된 객체를 상기 검출된 객체가 장애물 배제 객체인지를 판단하지 않고 바로 비장애물(non-obstacle)로 판정할 수 있다.
한편, 본 발명의 일실시예에 의한 자율주행 트랙터의 장애물 인식 방법은, 센서부, 카메라부 및 장애물 판정부를 포함하는 자율주행 트랙터용 장애물 인식 장치의 장애물 인식 방법으로서, 상기 장애물 판정부가 상기 센서부로부터 3차원 영상을 획득하고, 상기 카메라부로부터 2차원 영상을 획득하는 단계, 상기 장애물 판정부가 상기 2차원 영상 내에서 객체 영역을 추출하는 단계, 상기 장애물 판정부가 상기 추출한 객체 영역을 상기 3차원 영상에 투영하여 객체를 검출하는 단계, 상기 장애물 판정부가 상기 검출된 객체가 장애물 배제 객체인지를 판단하는 단계, 및 상기 장애물 판정부가 상기 검출된 객체가 장애물 배제 객체이면 상기 검출된 객체를 비장애물(non-obstacle)로 판정하고, 상기 검출된 객체가 장애물 배제 객체가 아니면 상기 검출된 객체를 장애물로 판정하는 단계를 포함할 수 있다.
본 발명에 따른 자율주행 트랙터의 장애물 인식 장치 및 방법의 효과에 대해 설명하면 다음과 같다.
본 발명은, 3차원 영상과 2차원 영상을 융합하여 장애물 배제 객체를 판별함으로써, 작물 및 작업 도구 등을 제외한 장애물만을 정확하게 인지하여 장애물 오검출을 제거하고 안전성을 높일 수 있다.
또한, 본 발명은, 농지 및 농업 환경에서 농작물 및 트랙터에 다양하게 장착되는 작업 도구 등을 정밀하게 인지할 수 있고, 저가의 센서 및 연산량이 적은 알고리즘을 이용하여 저렴한 비용으로 장애물 오검출을 제거할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은, 본 발명에 따른 자율주행 트랙터의 장애물 인식 장치를 설명하기 위한 블록 구성도이다.
도 2 내지 도 4는, 도 1의 센서부 및 카메라부의 배치를 설명하기 위한 도면이다.
도 5는, 2차원 영상과 3차원 영상의 캘리브레이션 과정을 설명하기 위한 도면이다.
도 6은, 3차원 영상에 투영된 객체에 대한 장애물 배제 객체 판단 과정을 설명하기 위한 도면이다.
도 7은, 본 발명에 따른 자율주행 트랙터의 장애물 인식 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은, 본 발명에 따른 자율주행 트랙터의 장애물 인식 장치를 설명하기 위한 블록 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 장애물 인식 장치(10)는, 자율주행 트랙터에 장착되어 자율주행 트랙터의 주변을 센싱하여 3차원 영상을 획득하는 센서부(100), 자율주행 트랙터에 장착되어 자율주행 트랙터의 주변을 촬영하여 2차원 영상을 획득하는 카메라부(200), 그리고 센서부(100)로부터 획득한 3차원 영상과 카메라부(200)로부터 획득한 2차원 영상을 융합하여 장애물을 판정하는 장애물 판정부(300)를 포함할 수 있다.
여기서, 센서부(100)는, 적어도 하나의 라이다 센서를 포함할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
일 예로, 센서부(100)는, 자율주행 트랙터의 전방에 배치되는 전방 라이다 센서를 포함할 수 있다.
다른 일 예로, 센서부(100)는, 자율주행 트랙터의 전방에 배치되는 적어도 하나의 전방 라이다 센서와, 자율주행 트랙터의 후방에 배치되는 적어도 하나의 후방 라이다 센서를 포함할 수도 있다.
경우에 따라, 센서부(100)는, 적어도 하나의 라이다 센서와 적어도 하나의 초음파 센서를 포함할 수도 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
일 예로, 초음파 센서는, 자율주행 트랙터의 전방 및 측방 중 적어도 어느 한 곳에 배치될 수 있다.
다른 일 예로, 초음파 센서는, 라이다 센서와 서로 다른 위치에 소정 간격으로 이격되어 배치될 수도 있다.
여기서, 초음파 센서의 개수는, 라이다 센서의 개수보다 더 많을 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
이때, 초음파 센서는, 라이다 센서의 센싱 영역이 미치지 않는 사각 영역을 센싱할 수 있는 위치에 배치될 수 있다.
또한, 카메라부(200)는, 자율주행 트랙터의 전방에 배치될 수 있다.
일 예로, 카메라부(200)는, 자율주행 트랙터의 전방에 위치하여 자율주행 트랙터의 전방 영역을 촬영하는 하나의 카메라를 포함할 수 있다.
다른 일 예로, 카메라는, 자율주행 트랙터의 전방에 위치하는 센서부(100)의 라이다 센서가 1개일 때, 라이다 센서와 동일한 위치에 배치될 수 있다.
경우에 따라, 카메라는, 자율주행 트랙터의 전방에 위치하는 센서부(100)의 라이다 센서가 2개일 때, 2개의 라이다 센서들 사이에 배치될 수도 있다.
다음, 장애물 판정부(300)는, 카메라부(200)로부터 획득한 2차원 영상 내에서 객체 영역을 추출하고, 추출한 객체 영역을 센서부(100)로부터 획득한 3차원 영상에 투영하여 객체를 검출하며, 검출된 객체가 장애물 배제 객체인지를 판단하고, 검출된 객체가 장애물 배제 객체이면 검출된 객체를 비장애물(non-obstacle)로 판정하며, 검출된 객체가 장애물 배제 객체가 아니면 검출된 객체를 장애물로 판정할 수 있다.
여기서, 장애물 판정부(300)는, 2차원 영상 내에서 객체 영역을 추출할 때, 카메라부(200)로부터 2차원 영상을 획득하면 2차원 영상을 처리하여 2차원 영상 내의 객체 영역을 분류하고, 분류된 객체 영역을 추출할 수 있다.
일 예로, 장애물 판정부(300)는, 2차원 영상 내의 객체 영역을 분류할 때, 세만틱 세그멘테이션 알고리즘(semantic segmentation algorithm)을 기반으로 2차원 영상 내의 객체 영역을 분류할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
경우에 따라, 장애물 판정부(300)는, 2차원 영상 내의 객체 영역을 분류할 때, 미리 학습된 뉴럴 네트워크 모델을 기반으로 2차원 영상 내의 객체 영역을 분류할 수도 있다.
일 예로, 본 발명에서 사용되는 뉴럴 네트워크 모델은, 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)를 포함할 수 있는데, 딥 뉴럴 네트워크는, 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크, 적대적 생성 네트워크(GAN: Generative Adversarial Network) 등을 포함할 수 있다. 전술한 딥 뉴럴 네트워크의 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다.
다음, 장애물 판정부(300)는, 객체를 검출할 때, 2차원 영상에서 추출한 객체 영역에 대한 2차원 좌표 정보를 3차원 영상의 3차원 좌표 정보로 변환하고, 변환된 좌표 정보를 갖는 객체 영역을 3차원 영상에 매칭시켜 객체 영역으로부터 특정 객체를 검출할 수 있다.
여기서, 장애물 판정부(300)는, 객체를 검출할 때, 카메라부(200)에서 촬영된 2차원 좌표계의 카메라 영상과 센싱부(100)에서 센싱한 3차원 좌표계의 라이다 영상을 캘리브레이션(calibration)하여 특정 객체를 검출할 수 있다.
일 예로, 장애물 판정부(300)는, 캘리브레이션을 수행할 때, 인트린직/익스트린직(intrinsic/extrinsic) 파라미터를 이용하여 2차원 좌표계의 카메라 영상을 3차원 좌표계의 라이다 영상으로 위치 이동하기 위한 캘리브레이션을 수행할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
이어, 장애물 판정부(300)는, 검출된 객체가 장애물 배제 객체인지를 판단할 때, 미리 학습된 뉴럴 네트워크 모델을 기반으로 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
예를 들면, 장애물 판정부(300)는, 검출된 객체가 장애물 배제 객체인지를 판단할 때, 모바일넷(MobileNet) 모델을 기반으로 검출된 객체가 장애물 배제 객체인지를 판단할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
다음, 장애물 판정부(300)는, 검출된 객체가 장애물 배제 객체인지를 판단할 때, 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별하고, 검출된 객체가 작물 및 작업 도구 중 어느 하나이면 검출된 객체를 장애물 배제 객체로 판단할 수 있다.
예를 들면, 작물은, 자율주행 트랙터가 작업할 수 있는 작물 목록에 포함될 수 있고, 작업 도구는, 자율주행 트랙터에 연결되어 작업을 수행할 수 있는 작업 도구 목록에 포함될 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
또한, 장애물 판정부(300)는, 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별할 때, 검출된 객체의 높이 및 폭을 기반으로 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별할 수 있다.
즉, 장애물 판정부(300)는, 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별할 때, 검출된 객체의 높이 및 폭을 산출하고, 산출된 객체의 높이 및 폭이 미리 설정된 기준값 이상이면 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별할 수 있다.
여기서, 장애물 판정부(300)는, 산출된 객체의 높이 및 폭이 미리 설정된 기준값 미만이면 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별하지 않고, 검출된 객체를 비장애물(non-obstacle)로 판정할 수 있다.
일 예로, 미리 설정된 기준값은, 장애물의 최소 높이 및 최소 폭을 기반으로 결정될 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
다음, 장애물 판정부(300)는, 검출된 객체가 장애물 배제 객체인지를 판단할 때, 검출된 객체의 높이 및 폭을 기반으로 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
여기서, 장애물 판정부(300)는, 검출된 객체가 장애물 배제 객체인지를 판단할 때, 검출된 객체의 높이 및 폭을 산출하고, 산출된 객체의 높이 및 폭이 미리 설정된 기준값 이상이면 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
그리고, 장애물 판정부(300)는, 산출된 객체의 높이 및 폭이 미리 설정된 기준값 미만이면 검출된 객체를 검출된 객체가 장애물 배제 객체인지를 판단하지 않고 바로 비장애물(non-obstacle)로 판정할 수 있다.
이때, 미리 설정된 기준값은, 장애물의 최소 높이 및 최소 폭을 기반으로 결정될 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
이와 같이, 본 발명은, 3차원 영상과 2차원 영상을 융합하여 장애물 배제 객체를 판별함으로써, 작물 및 작업 도구 등을 제외한 장애물만을 정확하게 인지하여 장애물 오검출을 제거하고 안전성을 높일 수 있다.
또한, 본 발명은, 농지 및 농업 환경에서 농작물 및 트랙터에 다양하게 장착되는 작업 도구 등을 정밀하게 인지할 수 있고, 저가의 센서 및 연산량이 적은 알고리즘을 이용하여 저렴한 비용으로 장애물 오검출을 제거할 수 있다.
도 2 내지 도 4는, 도 1의 센서부 및 카메라부의 배치를 설명하기 위한 도면이다.
도 2 내지 도 4에 도시된 바와 같이, 본 발명은, 자율주행 트랙터(1)에 장착되어 자율주행 트랙터(1)의 주변을 센싱하여 3차원 영상을 획득하는 센서부와, 자율주행 트랙터(1)에 장착되어 자율주행 트랙터(1)의 주변을 촬영하여 2차원 영상을 획득하는 카메라부를 포함할 수 있다.
센서부는, 적어도 하나의 라이다 센서(110, 120)를 포함할 수 있고, 경우에 따라 초음파 센서(130)를 더 포함할 수도 있다.
그리고, 카메라부는, 자율주행 트랙터(1)의 전방에 위치하여 자율주행 트랙터(1)의 전방 영역을 촬영하는 하나의 카메라(210)를 포함할 수 있다.
일 예로, 도 2와 같이, 센서부는, 자율주행 트랙터(1) 전방에 배치되는 전방 라이다 센서(210)를 포함할 수 있다.
여기서, 카메라부는, 자율주행 트랙터(1) 전방에 배치될 수 있는데, 전방 라이다 센서(110)와 동일한 위치에 배치될 수도 있다.
그 이유는, 카메라와 라이다의 센서 융합 영역이 넓어지므로, 장애물 센싱 성능 효율이 증가될 수 있기 때문이다.
다른 일 예로, 도 3과 같이, 센서부는, 자율주행 트랙터(1)의 전방에 배치되는 적어도 하나의 전방 라이다 센서(110)와, 자율주행 트랙터의 후방에 배치되는 적어도 하나의 후방 라이다 센서(120)를 포함할 수도 있다.
여기서, 전방 라이다 센서(110)는, 자율주행 트랙터(1)의 전방 일측에 배치되는 제1 전방 라이다 센서(112)와 자율주행 트랙터(1)의 전방 타측에 배치되는 제2 전방 라이다 센서(114)를 포함할 수도 있다.
그리고, 카메라부는, 자율주행 트랙터(1) 전방에 배치될 수 있는데, 자율주행 트랙터(1)의 전방 일측에 배치되는 제1 전방 라이다 센서(112)와 자율주행 트랙터(1)의 전방 타측에 배치되는 제2 전방 라이다 센서(114) 사이에 배치될 수도 있다.
그 이유는, 카메라와 라이다의 센서 융합 영역이 넓어지므로, 장애물 센싱 성능 효율이 증가될 수 있기 때문이다.
또 다른 일예로, 도 4와 같이, 센서부는, 적어도 하나의 라이다 센서(110, 120)와 적어도 하나의 초음파 센서(130)를 포함할 수도 있다.
초음파 센서(130)는, 자율주행 트랙터(1)의 전방 및 측방 중 적어도 어느 한 곳에 배치될 수 있다.
또한, 초음파 센서(130)는, 라이다 센서(110, 120)와 서로 다른 위치에 소정 간격으로 이격되어 배치될 수도 있다.
여기서, 초음파 센서(130)의 개수는, 라이다 센서(110, 120)의 개수보다 더 많을 수 있다.
그 이유는, 저가의 초음파 센서(130)를 라이다 센서(110, 120)의 센싱 영역이 미치지 않는 사각 영역을 센싱할 수 있도록 다수의 위치에 배치할 수 있기 때문이다.
이와 같이, 본 발명은, 카메라와 다수의 라이다 센서를 배치함으로써, 자율주행 트랙터(1) 주변에 라이다 검출 영역, 카메라 검출 영역 및 카메라와 라이다의 센서 융합 영역이 형성될 수 있다.
또한, 본 발명은, 카메라 검출 영역으로부터 객체 영역을 추출하고, 카메라 검출 영역의 객체 영역을 라이다 검출 영역에 투영함으로써, 카메라 라이다 센서 융합 영역 내에 위치한 객체를 검출하여 검출된 객체가 장애물 배제 객체인지를 판정할 수 있다.
도 5는, 2차원 영상과 3차원 영상의 캘리브레이션 과정을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 본 발명은, 2차원 영상에서 추출한 객체 영역에 대한 2차원 좌표 정보를 3차원 영상의 3차원 좌표 정보로 변환하고, 변환된 좌표 정보를 갖는 객체 영역을 3차원 영상에 매칭시켜 객체 영역으로부터 특정 객체를 검출할 수 있다.
즉, 본 발명은, 카메라에서 촬영된 2차원 좌표계의 카메라 영상과 라이다 센서에서 센싱한 3차원 좌표계의 라이다 영상을 캘리브레이션(calibration)하여 특정 객체를 검출할 수 있다.
일 예로, 본 발명은, 캘리브레이션을 수행할 때, 인트린직/익스트린직(intrinsic/extrinsic) 파라미터를 이용하여 2차원 좌표계의 카메라 영상을 3차원 좌표계의 라이다 영상으로 위치 이동하기 위한 캘리브레이션을 수행할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
도 6은, 3차원 영상에 투영된 객체에 대한 장애물 배제 객체 판단 과정을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 본 발명은, 카메라(210)로부터 획득한 2차원 영상의 객체 영역을 전방 라이다 센서(110)로부터 획득한 3차원 영상에 투영하여 객체를 검출한 다음, 미리 학습된 뉴럴 네트워크 모델을 기반으로 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
예를 들어, 본 발명은, 2차원 영상에서 객체 영역을 3차원 영상에 투영하여 라이다와 카메라 센서 융합 영역 내의 객체를 검출한 다음, 미리 학습된 뉴럴 네트워크 모델을 기반으로 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
여기서, 본 발명은, 모바일넷(MobileNet) 모델을 기반으로 검출된 객체가 장애물 배제 객체인지를 판단할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
그리고, 본 발명은, 검출된 객체가 장애물 배제 객체인지를 판단할 때, 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별하고, 검출된 객체가 작물 및 작업 도구 중 어느 하나이면 검출된 객체를 장애물 배제 객체로 판단할 수 있다.
예를 들면, 도 6과 같이, 검출된 객체가 작물일 경우, 본 발명은, 검출된 작물을 장애물 배제 객체로 판단하여 작물에 대해 장애물로 판단하지 않도록 하여 자율주행 트랙터가 작업을 수행할 수 있도록 한다.
여기서, 작물은, 자율주행 트랙터가 작업할 수 있는 다양한 작물들 중에 어느 하나로서, 본 발명은, 다양한 작물들이 포함되는 작물 목록을 기초로 장애물 배제 객체를 판단할 수 있다.
경우에 따라, 검출된 객체가 자율주행 트랙터의 작업 도구일 경우, 본 발명은, 검출된 작업 도구를 장애물 배제 객체로 판단하여 작업 도구에 대해 장애물로 판단하지 않도록 하여 자율주행 트랙터가 작업을 수행할 수 있도록 한다.
여기서, 작업 도구는, 자율주행 트랙터가 작업할 수 있는 다양한 작업 도구들 중에 어느 하나로서, 본 발명은, 다양한 작업 도구들이 포함되는 작업 도구 목록을 기초로 장애물 배제 객체를 판단할 수 있다.
또한, 본 발명은, 검출된 객체의 높이 및 폭을 기반으로 검출된 객체가 장애물 배제 객체인지를 판별할 수 있다.
즉, 본 발명은, 검출된 객체의 높이 및 폭을 산출하고, 산출된 객체의 높이 및 폭이 미리 설정된 기준값 이상이면 검출된 객체가 장애물 배제 객체인지를 판별할 수 있다.
여기서, 본 발명은, 산출된 객체의 높이 및 폭이 미리 설정된 기준값 미만이면 검출된 객체가 장애물 배제 객체인지를 판별하지 않고, 검출된 객체를 비장애물(non-obstacle)로 판정할 수 있다.
일 예로, 미리 설정된 기준값은, 장애물의 최소 높이 및 최소 폭을 기반으로 결정될 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
도 7은, 본 발명에 따른 자율주행 트랙터의 장애물 인식 방법을 설명하기 위한 흐름도이다.
도 7에 도시된 바와 같이, 본 발명은, 라이다 센서로부터 3차원 영상을 획득하고, 카메라로부터 2차원 영상을 획득할 수 있다(S10).
이어, 본 발명은, 2차원 영상 내에서 객체 영역을 추출할 수 있다(S20).
여기서, 본 발명은, 카메라로부터 2차원 영상을 획득하면 2차원 영상을 처리하여 2차원 영상 내의 객체 영역을 분류하고, 분류된 객체 영역을 추출할 수 있다.
일 예로, 본 발명은, 세만틱 세그멘테이션 알고리즘(semantic segmentation algorithm)을 기반으로 2차원 영상 내의 객체 영역을 분류할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
그리고, 본 발명은, 추출한 객체 영역을 3차원 영상에 투영하여 객체를 검출할 수 있다(S30).
여기서, 본 발명은, 2차원 영상에서 추출한 객체 영역에 대한 2차원 좌표 정보를 3차원 영상의 3차원 좌표 정보로 변환하고, 변환된 좌표 정보를 갖는 객체 영역을 3차원 영상에 매칭시켜 객체 영역으로부터 특정 객체를 검출할 수 있다.
일 예로, 본 발명은, 카메라에서 촬영된 2차원 좌표계의 카메라 영상과 라이다 센서에서 센싱한 3차원 좌표계의 라이다 영상을 캘리브레이션(calibration)하여 특정 객체를 검출할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
다음, 본 발명은, 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다(S40).
여기서, 본 발명은, 미리 학습된 뉴럴 네트워크 모델을 기반으로 검출된 객체가 장애물 배제 객체인지를 판단할 수 있다.
예를 들면, 본 발명은, 모바일넷(MobileNet) 모델을 기반으로 검출된 객체가 장애물 배제 객체인지를 판단할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
또한, 본 발명은, 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별하고, 검출된 객체가 작물 및 작업 도구 중 어느 하나이면 검출된 객체를 장애물 배제 객체로 판단할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
또한, 본 발명은, 검출된 객체의 높이 및 폭을 기반으로 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별할 수 있는데, 이는 일 실시예일 뿐, 이에 한정되지는 않는다.
이어, 본 발명은, 검출된 객체가 장애물 배제 객체이면 검출된 객체를 비장애물(non-obstacle)로 판정할 수 있다(S50).
또한, 본 발명은, 검출된 객체가 장애물 배제 객체가 아니면 검출된 객체를 장애물로 판정할 수 있다(S60).
그리고, 본 발명은, 장애물 감지 종료를 요청하는 사용자 신호가 입력되면(S70) 장애물 감지 과정을 종료할 수 있다.
이와 같이, 본 발명은, 3차원 영상과 2차원 영상을 융합하여 장애물 배제 객체를 판별함으로써, 작물 및 작업 도구 등을 제외한 장애물만을 정확하게 인지하여 장애물 오검출을 제거하고 안전성을 높일 수 있다.
또한, 본 발명은, 농지 및 농업 환경에서 농작물 및 트랙터에 다양하게 장착되는 작업 도구 등을 정밀하게 인지할 수 있고, 저가의 센서 및 연산량이 적은 알고리즘을 이용하여 저렴한 비용으로 장애물 오검출을 제거할 수 있다.
이상에서 본 발명들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
1: 자율주행 트랙터
10: 장애물 인식 장치
100: 센서부
200: 카메라부
300: 장애물 판정부

Claims (10)

  1. 자율주행 트랙터에 장착되어 상기 자율주행 트랙터의 주변을 센싱하여 3차원 영상을 획득하는 센서부;
    상기 자율주행 트랙터에 장착되어 상기 자율주행 트랙터의 주변을 촬영하여 2차원 영상을 획득하는 카메라부; 그리고,
    상기 센서부로부터 획득한 3차원 영상과 상기 카메라부로부터 획득한 2차원 영상을 융합하여 장애물을 판정하는 장애물 판정부를 포함하고,
    상기 장애물 판정부는,
    상기 카메라부로부터 획득한 2차원 영상 내에서 객체 영역을 추출하고, 상기 추출한 객체 영역을 상기 센서부로부터 획득한 3차원 영상에 투영하여 객체를 검출하며, 상기 검출된 객체가 장애물 배제 객체인지를 판단하고, 상기 검출된 객체가 장애물 배제 객체이면 상기 검출된 객체를 비장애물(non-obstacle)로 판정하며, 상기 검출된 객체가 장애물 배제 객체가 아니면 상기 검출된 객체를 장애물로 판정하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  2. 제1 항에 있어서,
    상기 장애물 판정부는,
    상기 2차원 영상 내에서 객체 영역을 추출할 때, 상기 카메라부로부터 2차원 영상을 획득하면 상기 2차원 영상을 처리하여 상기 2차원 영상 내의 객체 영역을 분류하고, 상기 분류된 객체 영역을 추출하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  3. 제2 항에 있어서,
    상기 장애물 판정부는,
    상기 2차원 영상 내의 객체 영역을 분류할 때, 미리 학습된 뉴럴 네트워크 모델을 기반으로 상기 2차원 영상 내의 객체 영역을 분류하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  4. 제1 항에 있어서,
    상기 장애물 판정부는,
    상기 객체를 검출할 때, 상기 2차원 영상에서 추출한 객체 영역에 대한 2차원 좌표 정보를 상기 3차원 영상의 3차원 좌표 정보로 변환하고, 상기 변환된 좌표 정보를 갖는 객체 영역을 상기 3차원 영상에 매칭시켜 상기 객체 영역으로부터 특정 객체를 검출하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  5. 제1 항에 있어서,
    상기 장애물 판정부는,
    상기 검출된 객체가 장애물 배제 객체인지를 판단할 때, 미리 학습된 뉴럴 네트워크 모델을 기반으로 상기 검출된 객체가 장애물 배제 객체인지를 판단하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  6. 제1 항에 있어서,
    상기 장애물 판정부는,
    상기 검출된 객체가 장애물 배제 객체인지를 판단할 때, 상기 검출된 객체가 작물 및 작업 도구 중 어느 하나인지를 판별하고, 상기 검출된 객체가 작물 및 작업 도구 중 어느 하나이면 상기 검출된 객체를 상기 장애물 배제 객체로 판단하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  7. 제1 항에 있어서,
    상기 장애물 판정부는,
    상기 검출된 객체가 장애물 배제 객체인지를 판단할 때, 상기 검출된 객체의 높이 및 폭을 기반으로 상기 검출된 객체가 장애물 배제 객체인지를 판단하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  8. 제7 항에 있어서,
    상기 장애물 판정부는,
    상기 검출된 객체가 장애물 배제 객체인지를 판단할 때, 상기 검출된 객체의 높이 및 폭을 산출하고, 상기 산출된 객체의 높이 및 폭이 미리 설정된 기준값 이상이면 상기 검출된 객체가 장애물 배제 객체인지를 판단하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  9. 제8 항에 있어서,
    상기 장애물 판정부는,
    상기 산출된 객체의 높이 및 폭이 미리 설정된 기준값 미만이면 상기 검출된 객체를 상기 검출된 객체가 장애물 배제 객체인지를 판단하지 않고 바로 비장애물(non-obstacle)로 판정하는 것을 특징으로 하는 자율주행 트랙터의 장애물 인식 장치.
  10. 센서부, 카메라부 및 장애물 판정부를 포함하는 자율주행 트랙터용 장애물 인식 장치의 장애물 인식 방법에 있어서,
    상기 장애물 판정부가, 상기 센서부로부터 3차원 영상을 획득하고, 상기 카메라부로부터 2차원 영상을 획득하는 단계;
    상기 장애물 판정부가, 상기 2차원 영상 내에서 객체 영역을 추출하는 단계;
    상기 장애물 판정부가, 상기 추출한 객체 영역을 상기 3차원 영상에 투영하여 객체를 검출하는 단계;
    상기 장애물 판정부가, 상기 검출된 객체가 장애물 배제 객체인지를 판단하는 단계; 및
    상기 장애물 판정부가, 상기 검출된 객체가 장애물 배제 객체이면 상기 검출된 객체를 비장애물(non-obstacle)로 판정하고, 상기 검출된 객체가 장애물 배제 객체가 아니면 상기 검출된 객체를 장애물로 판정하는 단계를 포함하는 것을 특징으로 하는 장애물 인식 방법.
KR1020210094932A 2021-07-20 2021-07-20 자율주행 트랙터의 장애물 인식 장치 및 방법 KR20230013891A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210094932A KR20230013891A (ko) 2021-07-20 2021-07-20 자율주행 트랙터의 장애물 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210094932A KR20230013891A (ko) 2021-07-20 2021-07-20 자율주행 트랙터의 장애물 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230013891A true KR20230013891A (ko) 2023-01-27

Family

ID=85101719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210094932A KR20230013891A (ko) 2021-07-20 2021-07-20 자율주행 트랙터의 장애물 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230013891A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690122A (zh) * 2024-02-02 2024-03-12 中科数创(临沂)数字科技有限公司 一种档案库房用通道障碍检测系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339750B1 (ko) 2012-06-13 2013-12-10 동양물산기업 주식회사 자율주행 트랙터

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339750B1 (ko) 2012-06-13 2013-12-10 동양물산기업 주식회사 자율주행 트랙터

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690122A (zh) * 2024-02-02 2024-03-12 中科数创(临沂)数字科技有限公司 一种档案库房用通道障碍检测系统
CN117690122B (zh) * 2024-02-02 2024-04-26 中科数创(临沂)数字科技有限公司 一种档案库房用通道障碍检测系统

Similar Documents

Publication Publication Date Title
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US9521317B2 (en) Method and apparatus for detecting obstacle based on monocular camera
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
US11220259B2 (en) Multi-sensor probabilistic object detection and automated braking
JP2016081525A (ja) 車両用画像認識システム、及び対応法
CN109270524B (zh) 基于无人驾驶的多数据融合障碍物检测装置及其检测方法
US11954918B2 (en) Object detection device, object detection method, and storage medium
Kang et al. Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation
WO2020196513A1 (ja) 物体検出装置
US11636612B2 (en) Automated guided vehicle navigation device and method thereof
CN113792707A (zh) 基于双目立体相机的地形环境检测方法、系统和智能终端
KR20230013891A (ko) 자율주행 트랙터의 장애물 인식 장치 및 방법
JP2020513627A (ja) インテリジェント盲導方法および装置
CN110866428A (zh) 目标跟踪方法、装置、电子设备及存储介质
JP4005679B2 (ja) 自律走行車の周囲環境認識装置
JP2020042446A (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
JP7117566B2 (ja) 情報処理システムおよび情報処理方法
CN110689556A (zh) 跟踪方法、装置及智能设备
da Miranda Neto Pearson's correlation coefficient: A more realistic threshold for applications on autonomous robotics
CN112816995B (zh) 目标检测方法及装置、融合处理单元、计算机可读介质
JPWO2017090097A1 (ja) 車両用外界認識装置
EP3992906A1 (en) Information processing method and information processing system
Hegde et al. A recursive planar feature extraction method for 3D range data segmentation
CN114821131A (zh) 目标检测方法、装置和无人车
CN114092899A (zh) 从输入数据中识别对象的方法和设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application