KR102582504B1 - 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템 - Google Patents

휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템 Download PDF

Info

Publication number
KR102582504B1
KR102582504B1 KR1020210124512A KR20210124512A KR102582504B1 KR 102582504 B1 KR102582504 B1 KR 102582504B1 KR 1020210124512 A KR1020210124512 A KR 1020210124512A KR 20210124512 A KR20210124512 A KR 20210124512A KR 102582504 B1 KR102582504 B1 KR 102582504B1
Authority
KR
South Korea
Prior art keywords
information
farmland
mechanical tractor
mechanical
tractor
Prior art date
Application number
KR1020210124512A
Other languages
English (en)
Other versions
KR20230042158A (ko
Inventor
김진형
Original Assignee
주식회사 크래블
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크래블 filed Critical 주식회사 크래블
Priority to KR1020210124512A priority Critical patent/KR102582504B1/ko
Publication of KR20230042158A publication Critical patent/KR20230042158A/ko
Application granted granted Critical
Publication of KR102582504B1 publication Critical patent/KR102582504B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B60K2370/11—
    • B60K2370/175—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/15—Agricultural vehicles
    • B60W2300/152—Tractors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/20—Off-Road Vehicles
    • B60Y2200/22—Agricultural vehicles
    • B60Y2200/221—Tractors

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템에 있어서 HMI(human machine interface) 디스플레이가 상기 기계식 트랙터의 일 영역에 위치한 연결 단자와 연결된 상태에서, 상기 기계식 트랙터가 작업을 시작하는 경우, 상기 HMI 디스플레이를 통해 상기 기계식 트랙터의 엔진 정보 및 히치 정보를 수신하는 수신하는 동력 정보 수신부; 상기 기계식 트랙터와 상기 HMI 디스플레이가 연결된 상태에서, 상기 기계식 트랙터가 작업을 시작하는 경우, 상기 HMI 디스플레이를 통해 상기 기계식 트랙터가 위치한 농지의 농지 정보를 수신하는 농지 정보 수신부; 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보의 수신이 완료되는 경우, 기 저장된 알고리즘을 기반으로, 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 분석하여, 상기 기계식 트랙터의 작업 패턴 데이터를 생성해 상기 HMI 디스플레이에 전송하는 작업 데이터 생성부; 및 상기 HMI 디스플레이가 상기 작업 패턴 데이터를 수신하는 경우, 상기 HMI 디스플레이로 하여금 상기 수신된 작업 패턴 데이터를 통해 상기 기계식 트랙터를 제어하도록 요청하여, 상기 HMI 디스플레이에 의해 상기 기계식 트랙터가 자율 주행되도록 하는 작업 진행부;를 포함하는 것을 특징으로 한다. 이 외에도 본 문서를 통해 파악되는 다양한 실시예들이 가능하다.

Description

휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템{A SYSTEM THAT ASSISTS IN AUTONOMOUS DRIVING OF MECHANICAL TRACTORS VIA HUMAN MACHINE INTERFACE}
본 발명은 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템에 관한 것으로서, 구체적으로는 HMI(human machine interface) 디스플레이가 기계식 트랙터과 연결되는 경우, HMI 디스플레이로부터 기계식 트랙터의 엔진 정보, 히치(hitch) 정보 및 농지 정보를 수신하고, 수신된 엔진 정보, 히치(hitch) 정보 및 농지 정보를 기 저장된 알고리즘을 기반으로 분석해 기계식 트랙터의 작업 패턴 데이터를 생성하고, HMI 디스플레이로 하여금 생성된 작업 패턴 데이터를 기반으로, 기계식 트랙터를 자율 주행하도록 하여 농지에서 경작물을 수확하도록 하는 기술에 관한 것이다.
트랙터(tractor)는 무거운 짐이나 농기계를 끄는 특수 자동차를 지칭하는 단어이다. 트랙터는 다양한 산업 분야에서 사용되고 있는데, 대표적으로 농업 분야에서 주로 사용되고 있다. 그러나, 최근 농촌 사회의 고령화로 인한 인력 감소, 기후 변화에 따른 수확량이 감소되면서 트랙터의 판매율이 급감하고 있다. 이에 따라, 농기계 업계에서는 트랙터의 판매율을 개선하기 위하여 가성비를 높인 경제형 트랙터를 대거 출시하고 있다. 다만, 경제형 트랙터의 경우, 사용자에게 편의를 제공하는 기능이 제외되어, 작업자에게 불편함을 초래하는 문제점을 가지고 있다. 이에 따라, 농기계 업계에서는 트랙터에 사용자의 편의를 보장하는"하이테크"기술을 접목한 다양한 기술들을 개발하고 있다.
일 예로서, 한국등록특허 10-1339750(자율주행 트랙터)에는 트랙터의 자율 주행 경로를 생성하고, 트랙터의 위치를 실시간으로 확인하여 트랙터가 자율 주행 경로에 따라 주행하도록 하는 기술이 개시되어 있다.
그러나, 상술한 선행기술에서는 단순하게 이미 만들어진 자율 주행 경로에 따라 트랙터를 주행하도록 하는 기술만이 개시되어 있을 뿐, 기 저장된 알고리즘을 기반으로 트랙터로부터 수신되는 다양한 정보를 머신 러닝하여, 트랙터가 위치한 농지의 환경, 예를 들어, 지면의 경사도, 농지의 기후 변화와 같은 요소를 고려하여 트랙터를 자율 주행시키는 기술이 개시되어 있지 않아, 이를 해결할 수 있는 기술의 필요성이 대두되고 있다.
이에 본 발명은, HMI(human machine interface) 디스플레이가 기계식 트랙터과 연결되는 경우, HMI 디스플레이로부터 기계식 트랙터의 엔진 정보, 히치(hitch) 정보 및 농지 정보를 수신하고, 수신된 엔진 정보, 히치(hitch) 정보 및 농지 정보를 기 저장된 알고리즘을 기반으로 분석해 기계식 트랙터의 작업 패턴 데이터를 생성하고, HMI 디스플레이가 생성된 작업 패턴 데이터를 기반으로, 기계식 트랙터가 농지의 환경을 고려해 자율 주행하도록 제어함으로써, 기계식 트랙터가 자율적으로 농지의 환경에 적합한 작업을 수행해 작업자에게 작업 편의성을 제공하는 것에 그 목적이 있다.
본 발명의 일 실시예에 따른 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템에 있어서, HMI(human machine interface) 디스플레이가 상기 기계식 트랙터의 일 영역에 위치한 연결 단자와 연결된 상태에서, 상기 기계식 트랙터가 작업을 시작하는 경우, 상기 HMI 디스플레이를 통해 상기 기계식 트랙터의 엔진 정보 및 히치 정보를 수신하는 수신하는 동력 정보 수신부; 상기 기계식 트랙터와 상기 HMI 디스플레이가 연결된 상태에서, 상기 기계식 트랙터가 작업을 시작하는 경우, 상기 HMI 디스플레이를 통해 상기 기계식 트랙터가 위치한 농지의 농지 정보를 수신하는 농지 정보 수신부; 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보의 수신이 완료되는 경우, 기 저장된 알고리즘을 기반으로, 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 분석하여, 상기 기계식 트랙터의 작업 패턴 데이터를 생성해 상기 HMI 디스플레이에 전송하는 작업 데이터 생성부; 및 상기 HMI 디스플레이가 상기 작업 패턴 데이터를 수신하는 경우, 상기 HMI 디스플레이로 하여금 상기 수신된 작업 패턴 데이터를 통해 상기 기계식 트랙터를 제어하도록 요청하여, 상기 HMI 디스플레이에 의해 상기 기계식 트랙터가 자율 주행되도록 하는 작업 진행부;를 포함하는 것을 특징으로 한다.
상기 엔진 정보는, 상기 기계식 트랙터가 주행을 시작함에 따라, 상기 기계식 트랙터의 계기판에 출력되는 정보와 대응되는 정보로써, 상기 기계식 트랙터의 엔진 회전 수 정보, 기어 상태 정보, 미션 오일 온도 정보, 냉각수 온도 정보 및 배터리 전압 정보 중 적어도 하나를 포함하되, 상기 히치 정보는, 상기 기계식 트랙터가 주행을 시작함에 따라, 상기 기계식 트랙터의 히치(hitch) 센서에 의해 측정되는 정보로써, 상기 기계식 트랙터의 히치에 가해지는 압력에 대한 압력 정보, 상기 히치의 유량에 대한 유량 정보, 상기 히치의 위치에 대한 히치 위치 정보, 상기 히치의 수평도에 대한 히치 수평도 정보 중 적어도 하나를 포함하는 것이 바람직하다.
상기 시스템은, 상기 기계식 트랙터와 상기 HMI 디스플레이 간 CAN(controller area network) 통신을 진행하며, 상기 HMI 디스플레이 및 상기 기계식 트랙터를 관리하는 관리 서버와 상기 HMI 디스플레이 간 셀룰러(cellular) 통신을 진행하되, 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보의 수신이 완료되면, 상기 관리 서버의 데이터 베이스에 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 저장하는 것이 바람직하다.
상기 농지 정보 수신부는, 상기 HMI 디스플레이로부터 상기 농지 정보를 수신하는 경우, 상기 수신된 농지 정보를 기반으로, 상기 기계식 트랙터가 위치한 농지의 위치를 확인하는 위치 확인부; 및 상기 위치 확인부에 의해 상기 기계식 트랙터가 위치한 농지의 위치 확인이 완료되면, 상기 확인된 위치에 대응되는 기후 정보를 기상청 서버로부터 수신하여, 상기 농지의 강수량 값, 기온 값 및 풍량 값을 확인하는 기후 확인부;를 포함하되, 상기 농지 정보는, 상기 기계식 트랙터가 위치한 농지의 위치 정보 및 상기 농지에서 경작 중인 경작물에 대한 경작물 정보를 포함하는 것이 바람직하다.
상기 작업 데이터 생성부는, 상기 엔진 정보의 수신이 완료되면, 상기 수신된 엔진 정보를 기반으로, 지정된 시간 범위 중 제1 시간에서의 상기 엔진 회전 수 정보, 상기 기어 상태 정보, 상기 미션 오일 온도 정보, 상기 냉각수 온도 정보 및 상기 배터리 전압 정보를 분석하여, 상기 기계식 트랙터의 주행 상태를 판단하는 주행 상태 판단부; 상기 히치 정보의 수신이 완료되면, 상기 수신된 히치 정보를 기반으로, 상기 지정된 시간 범위 중 제1 시간에서의 상기 압력 정보, 상기 유량 정보, 상기 히치 위치 정보, 상기 히치 수평도 정보를 분석하여, 상기 기계식 트랙터의 작업 상태를 판단하는 작업 상태 판단부; 상기 농지 정보의 수신이 완료되면, 상기 지정된 시간 범위 중 제1 시간에서의 상기 농지 위치 정보, 상기 기후 정보 및 상기 경작물 정보를 분석하여, 상기 기계식 트랙터의 작업 중 기후 상태를 판단하는 기후 상태 판단부; 및 상기 제1 시간에서의 상기 주행 상태, 상기 작업 상태 및 상기 기후 상태의 판단이 완료되면, 상기 기 저장된 알고리즘을 기반으로, 상기 제1 시간에서의 상기 기계식 트랙터에 대한 제1 조작 정보를 획득하는 조작 정보 획득부;를 포함하는 것이 가능하다.
상기 조작 정보 획득부는, 상기 주행 상태 판단부, 상기 작업 상태 판단부 및 상기 기후 상태 판단부의 기능 수행으로 인해 상기 지정된 시간 범위에 포함되는 복수 개의 시간 각각에 대한 조작 정보의 획득이 완료되는 경우, 상기 복수 개의 시간 각각에 대한 조작 정보를 기반으로, 상기 기계식 트랙터의 조작에 대한 작업 패턴 데이터를 생성하는 것이 가능하다.
상기 기 저장된 알고리즘은, 상기 작업 패턴 데이터를 생성하기 위한 알고리즘이면서, 상기 생성된 작업 패턴 데이터를 머신 러닝(machine learning)하여, 다른 주행 상태, 다른 작업 상태 및 다른 기후 상태에 대한 다른 작업 패턴 데이터를 생성하도록 업데이트되는 것이 가능하다.
상기 HMI 디스플레이는, 상기 작업 진행부로부터 상기 작업 패턴 데이터를 수신하는 경우, 상기 수신된 작업 패턴 데이터를 기반으로, 상기 연결 단자를 통해 연결된 기계식 트랙터가 자율 주행하도록 제어하여 농지의 경작물을 수확하도록 하는 운행 시작부;를 포함하되, 상기 운행 시작부가 상기 기계식 트랙터를 제어하여 상기 기계식 트랙터를 주행됨에 따라 획득되는 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 실시간으로 상기 관리 서버에 전송하는 것이 가능하다.
본 발명인 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템은, 기계식 트랙터를 탑승하는 탑승자의 트랙터 조작 방법을 머신 러닝을 통해 학습하여 작업 패턴 데이터를 생성하고, HMI 디스플레이가 생성된 작업 패턴 데이터를 기반으로, 기계식 트랙터를 제어하여 무인으로 기계식 트랙터를 자율 주행시킬 수 있다.
이에 따라, 본 발명인 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템은, 기계식 트랙터로 하여금 대리 경작이 가능하므로 농촌 고령화로 인한 일손 부족 및 기업농 인건비 문제를 해결할 수 있다.
또한, 작업 패턴 데이터를 생성하기 위한 기 저장된 알고리즘이 자동으로 업데이트됨으로써, 다양한 농지 환경 및 기후 환경에 적합한 기계식 트랙터의 새로운 작업 패턴 데이터를 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 동력 정보 수신부를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 농지 정보 수신부를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 작업 진행부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 조작 정보 획득부를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 작업 진행부를 설명하기 위한 다른 도면이다.
도 7은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 설명하기 위한 도면이다.
이하에서는, 다양한 실시 예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
본 명세서에서 사용되는 "실시 예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 개념도이다.
도 1을 참조하면, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템(100)(이하, 보조 시스템으로 칭함)은 관리 서버(101), HMI 디스플레이(103) 및 기계식 트랙터(105)를 포함할 수 있다.
일 실시예에 따르면, 상기 관리 서버(101)는 상기 HMI 디스플레이(103)를 관리하는 구성으로써, 상기 HMI 디스플레이(103)를 제어하여 상기 HMI 디스플레이로 하여금 상기 기계식 트랙터(105)를 제어하도록 할 수 있다.
일 실시예에 따르면, 상기 HMI 디스플레이(103)는 휴먼 머신 인터페이스 기능을 제공하는 디스플레이(103)일 수 있다. 상기 휴먼 머신 인터페이스는 사용자에게 산업 및 제조 공정과 기계, 컴퓨터 프로그램 또는 시스템과의 통신을 가능하게 하도록 하는 인터페이스일 수 있다. 즉, 상기 HMI 디스플레이는, 사용자가 자동화 현장에서 기계를 조작하기 위해 사용하는 터치스크린일 수 있다.
일 실시예에 따르면, 상기 기계식 트랙터(105)는 견인력을 이용해서 각종 작업을 수행하는 차량으로, 다양한 작업기를 탈부착함으로써, 다양한 작업을 수행하는 차량일 수 있다. 즉, 본 발명인 상기 보조 시스템(100)은 상기 HMI 디스플레이(103)를 상기 기계식 트랙터(105)와 연결한 상태에서, 상기 관리 서버(101)로 하여금 상기 기계식 트랙터(105)를 자율 주행하도록 제어하는 발명일 수 있다.
일 실시예에 따르면, 상기 관리 서버(101)는 동력 정보 수신부(101a), 농지 정보 수신부(101b), 작업 데이터 생성부(101c) 및 작업 진행부(101d)를 포함할 수 있다.
일 실시예에 따르면, 상기 동력 정보 수신부(101a)는 상기 HMI 디스플레이(103)가 상기 기계식 트랙터(105)의 일 영역에 위치한 연결 단자와 연결된 상태에서, 상기 기계식 트랙터(105)가 작업을 시작하는 경우, 상기 HMI 디스플레이(103)를 통해 상기 기계식 트랙터(105)의 엔진 정보 및 히치 정보를 수신할 수 있다. 상기 기계식 트랙터(105)가 작업을 시작하는 의미는 상기 기계식 트랙터(105)가 주행과 경작물의 수확을 동시에 수행하는 것을 의미할 수 있다.
일 실시예에 따르면, 상기 HMI 디스플레이(103)는 상기 연결 단자를 통해 상기 기계식 트랙터(105)와 연결되는 경우, CAN(controller area network) 통신을 수행할 수 있다. 또한, 상기 관리 서버(101)는 상기 HMI 디스플레이(103)와 셀룰러(cellular) 통신을 수행할 수 있다.
일 실시예에 따르면, 상기 HMI 디스플레이(103)는 상기 기계식 트랙터(105)의 연결 단자를 통해 상기 기계식 트랙터(105)와 연결되는 경우, 상기 기계식 트랙터(105) 내에 설치된 ECU(electronic control unit)와 연동될 수 있다. 상기 HMI 디스플레이(103)는 상기 ECU로부터 상기 엔진 정보를 수신할 수 있다. 상기 ECU는 상기 기계식 트랙터(105) 내에 설치된 다양한 센서(예: 온도 센서, 오일 센서, 엔진 센서, 히치 센서 등)로부터 입력 값을 수신받고, 수신된 입력 값을 기계식 트랙터(105)의 계기판에 출력할 수 있다. 즉, 상기 HMI 디스플레이(103)는 상기 기계식 트랙터(105)와 연결되는 경우, 휴먼 머신 인터페이스를 통해 상기 기계식 트랙터(105)의 제어 장치들(예: 엔진 제어 장치, ECU 및 히치 제어 장치 등)을 제어할 수 있다.
일 실시예에 따르면, 상기 엔진 정보는 상기 기계식 트랙터(105)가 주행을 시작함에 따라, 상기 기계식 트랙터(105)의 계기판에 출력되는 정보와 대응되는 정보로써, 상기 기계식 트랙터 내에 위치한 엔진의 엔진 회전수 정보, 기어 상태 정보, 미션 오일 온도 정보, 냉각수 온도 정보 및 배터리 전압 정보 중 적어도 하나를 포함하는 정보일 수 있다.
즉, 상기 동력 정보 수신부(101a)는, 상기 HMI 디스플레이(103)가 CAN 통신을 통해 상기 기계식 트랙터(105)로부터 상기 엔진 정보를 수신 완료하는 경우, 상기 HMI 디스플레이(103)와 셀룰러 통신을 수행하여, 상기 HMI 디스플레이(103)로부터 상기 엔진 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 히치 정보는 상기 기계식 트랙터(105)가 주행을 시작함에 따라, 상기 기계식 트랙터(105)의 히치(hitch) 센서에 의해 측정되는 정보로써, 상기 기계식 트랙터(105)의 히치(hitch)에 가해지는 압력에 대한 압력 정보, 상기 히치의 유량에 대한 유량 정보, 상기 히치의 위치에 대한 위치 정보, 상기 히치의 수평도에 대한 히치 수평도 정보 중 적어도 하나를 포함할 수 있다. 상기 히치는, 기계식 트랙터(105)에 장착되는 작업기가 실질적으로 결합되는 구성일 수 있다.
일 실시예에 따르면, 상기 기계식 트랙터(105)의 ECU는 상기 히치 센서로부터 입력 값을 수신할 수 있다. 이에 따라, 상기 기계식 트랙터(105)의 ECU는 계기판에 상기 히치와 관련된 다양한 값을 출력할 수 있다. 즉, 상기 계기판에 출력되는 히치와 관련된 다양한 값은 상기 히치 정보에 포함될 수 있다.
일 실시예에 따르면, 상기 동력 정보 수신부(101a)는 상기 HMI 디스플레이(103)로부터 상기 엔진 정보를 수신하는 것과 동일하게 상기 히치 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 농지 정보 수신부(101b)는 상기 기계식 트랙터(105)와 상기 HMI 디스플레이(103)가 연결된 상태에서, 상기 기계식 트랙터(105)가 작업을 시작하는 경우, 상기 HMI 디스플레이(103)를 통해 상기 기계식 트랙터(105)가 위치한 농지의 농지 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 농지 정보 수신부(101b)는, 상기 동력 정보 수신부(101a)가 상기 엔진 정보 및 상기 히치 정보를 수신하는 것과 동일한 방식으로, 상기 HMI 디스플레이(103)로부터 상기 농지 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 농지 정보 수신부(101b)는 위치 확인부(미도시) 및 기후 확인부(미도시)를 포함할 수 있다.
일 실시예에 따르면, 상기 위치 확인부는 상기 HMI 디스플레이(103)로부터 상기 농지 정보를 수신하는 경우, 상기 수신된 농지 정보를 기반으로, 상기 기계식 트랙터(105)가 위치한 농지의 위치를 확인할 수 있다.
일 실시예에 따르면, 상기 농지 정보는 상기 기계식 트랙터(105)가 위치한 위치 정보 및 상기 농지에서 경작 중인 경작물에 대한 경작물 정보를 포함할 수 있다. 상기 위치 정보는 상기 HMI 디스플레이(103) 및 기계식 트랙터(105) 중 적어도 하나에 포함된 위치 추적 모듈을 통해 획득되는 정보일 수 있다.
다른 실시예에 따르면, 상기 경작물에 대한 경작물 정보는 경작물의 명칭, 경작물의 수확 방법, 경작물의 성장에 필요한 적정 온도, 경작물의 성장에 필요한 적정 강수량, 경작물의 적정 성장 기간 등을 포함할 수 있다. 더불어, 상기 농지 정보는 다른 전자 장치를 통해 획득할 수 있다. 예를 들어, 상기 다른 전자 장치는 스마트 폰, 데스크 탑을 포함할 수 있으며, 무인 드론과 같은 비행체를 통해 획득할 수 있다. 즉, 상기 관리 서버(101) 또는 HMI 디스플레이(103)가 다른 전자 장치를 통해 경작물에 대한 이미지 또는 영상 정보를 획득하는 경우, 상기 획득된 경작물에 대한 이미지 또는 영상 정보를 분석하고, 경작물 데이터 베이스에서 분석 결과에 기반한 경작물에 대한 경작물 정보를 획득할 수 있다.
다른 실시예에 따르면, 상기 HMI 디스플레이(103)는 별도의 카메라 모듈을 더 포함할 수 있다. 상기 HMI 디스플레이(103)는 상기 위치 확인부에게 실시간으로 상기 위치 정보를 제공함과 동시에 상기 카메라 모듈을 통해 수신되는 농지에 대한 영상 정보를 함께 제공할 수 있다. 이에 따라, 상기 위치 확인부는 상기 수신된 영상 정보를 통해 트랙터가 작업 중인 농지에 대한 정보(예: 농지의 경사도, 농지의 면적, 경작물의 생장 상태 등)을 파악할 수 있다.
일 실시예에 따르면, 상기 경작물 정보는 상기 HMI 디스플레이(103)에 기 입력된 경작물에 대한 정보로써, 경작물의 명칭, 품종, 수확 시기 등을 포함하는 정보일 수 있다. 이 때, 상기 경작물 정보는 상기 HMI 디스플레이(103)의 카메라 모듈을 통해 수신되는 경작물에 대한 영상 정보를 함께 포함할 수 있다.
즉, 상기 위치 확인부는 외부(예: 공공기관 서버, 사기업 서버(구글 어스 서버, 네이버 맵 서버))에서 상기 농지에 대한 맵 데이터를 수신하고, 상기 맵 데이터 상에 상기 위치 정보를 매핑하여 상기 기계식 트랙터(105)의 정확한 위치를 실시간으로 확인할 수 있다. 이 때, 상기 맵 데이터를 제공해준 외부는 상기 관리 서버(101)와 협약된 외부일 수 있다.
다른 실시예에 따르면, 상기 위치 확인부는 상기 HMI 디스플레이(103)를 통해 수신되는 영상 내에 위치한 지형이 상기 외부에서 맵 데이터 내 지형과 상이한 경우, 상기 영상에 대응되는 영상 데이터를 상기 맵 데이터를 제공해 준 외부에 제공할 수 있다.
일 실시예에 따르면, 상기 기후 확인부는 상기 위치 확인부에 의해 상기 기계식 트랙터(105)가 위치한 농지의 위치 확인이 완료되면, 상기 확인된 위치에 대응되는 기후 정보를 기상청 서버로부터 수신하여, 농지의 강수량 값, 기온 값 및 풍량 값을 확인할 수 있다.
예를 들어, 상기 기후 확인부는 상기 위치 확인부에 의해 확인된 농지의 위치가 "전라남도 강진군 작천면 내에 위치한 4번 농지"인 경우, 상기 기상청 서버로부터 "전라남도 강진군 작천면"에 대한 기후 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 작업 데이터 생성부(101c)는 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보의 수신이 완료되는 경우, 기 저장된 알고리즘을 기반으로, 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 분석하여, 상기 기계식 트랙터(105)의 작업 패턴 데이터를 생성해 상기 HMI 디스플레이(103)에 전송할 수 있다.
일 실시예에 따르면, 상기 작업 패턴 데이터는, 상기 HMI 디스플레이(103)가 상기 기계식 트랙터(105)를 자율 주행시켜, 농지의 경작물을 수확하도록 하기 위한 데이터일 수 있다. 즉, 작업 패턴 데이터는 농지의 기후, 상황(예: 경사도)에 따라 변경되는 상기 기계식 트랙터(105)를 조작하기 위한 정보일 수 있다. 상기 작업 데이터 생성부(101c)와 관련된 자세한 설명은 도 4에서 설명하도록 한다.
일 실시예에 따르면, 상기 작업 진행부(101d)는 상기 HMI 디스플레이(103)가 상기 작업 패턴 데이터를 수신하는 경우, 상기 HMI 디스플레이(103)로 하여금 상기 수신된 작업 패턴 데이터를 통해 상기 기계식 트랙터(105)를 제어하도록 요청할 수 있다.
일 실시예에 따르면, 상기 작업 진행부(101d)는 상기 HMI 디스플레이(103)에게 상기 기계식 트랙터(105)를 제어하도록 요청함으로써, 상기 HMI 디스플레이(103)에 의해 상기 기계식 트랙터(105)가 자율 주행되도록 할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 동력 정보 수신부를 설명하기 위한 도면이다.
도 2를 참조하면, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템(100)(이하, 보조 시스템으로 칭함)은 관리 서버(예: 도 1의 관리 서버(101)), HMI 디스플레이(203)(예: 도 1의 HMI 디스플레이(103)) 및 기계식 트랙터(예: 도 1의 기계식 트랙터(105))를 포함할 수 있다.
일 실시예에 따르면, 상기 관리 서버는 동력 정보 수신부(201)(예: 도 1의 동력 정보 수신부(101a))를 포함할 수 있다.
일 실시예에 따르면, 상기 동력 정보 수신부(201)는 상기 HMI 디스플레이(203)를 통해 엔진 정보 및 히치 정보를 수신할 수 있다. 상기 엔진 정보와 상기 히치 정보와 관련된 자세한 설명은 도 1을 참고하도록 한다.
일 실시예에 따르면, 상기 동력 정보 수신부(201)는 상기 HMI 디스플레이(203)가 상기 기계식 트랙터의 일 영역에 위치한 연결 단자와 연결된 상태에서, 상기 기계식 트랙터가 작업을 시작하는 경우, 상기 HMI 디스플레이(203)를 통해 상기 기계식 트랙터의 엔진 정보 및 히치 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 동력 정보 수신부(201)는, 상기 HMI 디스플레이(203)가 상기 기계식 트랙터와 CAN(controller area network) 통신을 수행하여, 엔진 정보 및 히치 정보를 수신하는 경우, 상기 HMI 디스플레이와 셀룰러 통신을 수행하여 상기 HMI 디스플레이로부터 상기 엔진 정보 및 상기 히치 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 HMI 디스플레이(203)는 상기 기계식 트랙터의 연결 단자를 통해 상기 기계식 트랙터와 연결되는 경우, 상기 기계식 트랙터 내에 설치된 ECU(electronic control unit)(205)와 연동될 수 있다.
상기 ECU(205)는 상기 기계식 트랙터 내에 설치된 다양한 센서(예: 온도 센서(205a), 오일 센서(205b), 엔진 센서(205c), 히치 센서(205d), 기어 포지션 센서 등)로부터 입력 값을 수신받고, 수신된 입력 값을 기계식 트랙터의 계기판에 출력할 수 있다. 또한, 상기 ECU(205)는 상기 기계식 트랙터 내에 위치한 엔진 제어 장치(EMS ECU: Engine Management System Electronic　Control Unit)로부터 엔진과 관련된 다양한 입력 값(예: 엔진 회전 수)을 수신할 수 있다.
일 실시예에 따르면, 상기 ECU(205)는 상기 히치 센서(205d)로부터 기계식 트랙터의 히치(hitch)에 가해지는 압력에 대한 압력 값, 상기 히치의 유량에 대한 유량 값, 상기 히치의 위치에 대한 위치 값, 상기 히치의 수평도에 대한 히치 수평도 값 중 적어도 하나를 포함하는 히치 값을 수신할 수 있다.
즉, 상기 HMI 디스플레이(203)는 상기 ECU(205)에 입력된 다양한 입력 값을 기반으로 하는 엔진 정보 및 히치 정보를 생성하여, 상기 동력 정보 수신부(201)에게 제공할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 농지 정보 수신부를 설명하기 위한 도면이다.
도 3을 참조하면, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템(100)(이하, 보조 시스템으로 칭함)은 관리 서버(예: 도 1의 관리 서버(101)), 및 기계식 트랙터(303)(예: 도 1의 기계식 트랙터(105))를 포함할 수 있다.
일 실시예에 따르면, 상기 기계식 트랙터(303)는 연결 단자를 통해 HMI 디스플레이(예: 도 1의 HMI 디스플레이(103))와 연결될 수 있다.
일 실시예에 따르면, 상기 농지 정보 수신부(301)는 상기 기계식 트랙터(303)와 상기 HMI 디스플레이가 연결된 상태에서, 상기 기계식 트랙터(303)가 작업을 시작하는 경우, 상기 HMI 디스플레이를 통해 상기 기계식 트랙터(303)가 위치한 농지의 농지 정보를 수신할 수 있다.
일 실시예에 따르면, 상기 농지 정보 수신부(301)는 위치 확인부(미도시) 및 기후 확인부(미도시)를 포함할 수 있다.
일 실시예에 따르면, 상기 위치 확인부는 상기 HMI 디스플레이로부터 상기 농지 정보를 수신하는 경우, 상기 수신된 농지 정보를 기반으로, 상기 기계식 트랙터(303)가 위치한 농지의 위치를 확인할 수 있다.
일 실시예에 따르면, 상기 농지 정보는 상기 기계식 트랙터(303)가 위치한 위치 정보 및 상기 농지에서 경작 중인 경작물에 대한 경작물 정보를 포함할 수 있다. 상기 위치 정보는 기계식 트랙터(303)에 포함된 위치 추적 모듈(303a)을 통해 획득되는 정보일 수 있다. 다른 예를 들어, 상기 위치 정보는 상기 HMI 디스플레이에 포함된 위치 추적 모듈을 통해 획득되는 정보일 수 있다.
즉, 상기 위치 확인부는 상기 수신된 위치 정보를 기반으로, 상기 기계식 트랙터(303)가 위치한 농지의 위치를 확인할 수 있으며, 보다 정확하게 상기 기계식 트랙터(303)의 위치를 확인할 수 있다.
일 실시예에 따르면, 상기 경작물 정보는 상기 HMI 디스플레이에 기 입력된 경작물에 대한 정보로써, 경작물의 명칭, 품종, 수확 시기 등을 포함하는 정보일 수 있다. 이 때, 상기 위치 확인부는 외부(예: 공공기관 서버, 사기업 서버(구글 어스 서버, 네이버 맵 서버))에서 상기 농지에 대한 맵 데이터를 수신하고, 상기 맵 데이터 상에 상기 위치 정보를 매핑하여 상기 기계식 트랙터(303)의 정확한 위치를 실시간으로 확인할 수 있다.
일 실시예에 따르면, 상기 기후 확인부는 상기 위치 확인부에 의해 상기 기계식 트랙터(303)가 위치한 농지의 위치 확인이 완료되면, 상기 확인된 위치에 대응되는 기후 정보(305a)를 기상청 서버(305)로부터 수신하여, 농지의 강수량 값, 기온 값 및 풍량 값을 확인할 수 있다.
예를 들어, 상기 기후 확인부는 상기 위치 확인부에 의해 확인된 농지의 위치가 "전라남도 강진군 작천면 내에 위치한 4번 농지"인 경우, 상기 기상청 서버로부터 "전라남도 강진군 작천면"에 대한 기후 정보(305a)를 수신할 수 있다.
다른 실시예에 따르면, 농지 정보 수신부(301)는 상기 기후 정보(305a)의 수신이 완료되면, 상기 수신된 기후 정보(305a)를 기반으로, 상기 농지 환경에 적합한 기계식 트랙터(303)의 조작 방법 정보를 기 저장된 조작 테이블에서 추출할 수 있다. 일반적으로, 상기 기계식 트랙터(303)는 사용자가 탑승한 상태에서 일정 시간 동안 직접 운용을 해야되는데, 이 때, 사용자에게 기후의 영향을 받는 농지에 적합한 기계식 트랙터의 조작 방법 정보를 상기 기 저장된 조작 테이블에서 추출하여, 상기 HMI 디스플레이를 통해 출력할 수 있다. 이 때, 상기 조작 방법 정보는 기 저장된 알고리즘이 머신 러닝을 수행함에 따라 생성되는 정보일 수 있다.
도 4는 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 작업 진행부를 설명하기 위한 도면이다.
도 4를 참조하면, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템(100)(이하, 보조 시스템으로 칭함)은 관리 서버(예: 도 1의 관리 서버(101)), 를 포함할 수 있다. 상기 관리 서버는 작업 진행부(400)(예: 도 1의 작업 진행부(101d))를 포함할 수 있다. 상기 작업 진행부(400)와 관련된 대략적인 설명은 도 1을 참고하도록 한다.
일 실시예에 따르면, 상기 작업 진행부(400)는 주행 상태 판단부(401), 작업 상태 판단부(403), 기후 상태 판단부(405) 및 조작 정보 획득부(407)를 포함할 수 있다.
일 실시예에 따르면, 상기 주행 상태 판단부(401)는 동력 정보 수신부(예: 도 1의 동력 정보 수신부(101a))에 의해 엔진 정보의 수신이 완료되면, 상기 수신된 엔진 정보를 기반으로, 지정된 시간 범위 중 제1 시간에서의 엔진 회전 수 정보, 기어 상태 정보, 미션 오일 온도 정보, 냉각수 온도 정보 및 배터리 전압 정보를 분석할 수 있다. 상기 엔진 정보와 관련된 자세한 설명은 도 1을 참고하도록 한다.
일 실시예에 따르면, 상기 주행 상태 판단부(401)는 상기 엔진 회전 수 정보, 상기 기어 상태 정보, 상기 미션 오일 온도 정보, 상기 냉각수 온도 정보 및 배터리 전압 정보를 분석한 결과를 기반으로, 기계식 트랙터(예: 도 1의 기계식 트랙터(105))의 주행 상태를 판단할 수 있다.
일 실시예에 따르면, 상기 주행 상태는, 기계식 트랙터가 제1 시간에서 주행 중일 때, 기계식 트랙터에 탑승한 사용자에 의해 조작되는 기어, 브레이크 및 악셀의 상태와 사용자에 의해 조작되는 기어, 브레이크 및 악셀의 상태에 따른 미션 상태, 냉각수 상태 및 배터리 상태를 모두 포함하는 정보일 수 있다.
일 실시예에 따르면, 상기 작업 상태 판단부(403)는 상기 동력 정보 수신부에 의해 히치 정보의 수신이 완료되면, 상기 수신된 히치 정보를 기반으로, 상기 지정된 시간 범위 중 제1 시간에서의 압력 정보, 유량 정보, 히치 위치 정보 및 히치 수평도 정보를 분석할 수 있다. 상기 히치 정보와 관련된 자세한 설명은 도 1을 참고하도록 한다.
일 실시예에 따르면, 상기 작업 상태 확인부(403)는 상기 압력 정보, 상기 유량 정보, 상기 히치 위치 정보 및 히치 수평도 정보를 분석한 결과를 기반으로, 기계식 트랙터의 작업 상태를 판단할 수 있다.
상기 히치는 기계식 트랙터에 장착되는 작업기와 실질적으로 연결되는 구성으로, 상기 동력 정보 수신부가 상기 히치에 부하되는 외력을 히치 센서를 통해 히치 정보를 수신하도록 할 수 있다.
일 실시예에 따르면, 상기 작업 상태는, 기계식 트랙터가 제1 시간에서 작업 중일 때, 기계식 트랙터에 탑승한 사용자에 의해 기계식 트랙터가 조작됨에 따라 상기 히치와 연결된 작업기가 움직이게 되는데 이 때, 히치에 부하되는 압력, 히치의 유량, 히치의 위치, 히치의 수평도에 대한 상태를 모두 포함하는 정보일 수 있다. 즉, 상기 작업 상태는 상기 히치 정보를 기반으로, 작업기의 상태를 판단 가능한 정보일 수 있다. 예를 들어, 히치의 수평도가 수평하지 않고 일정 각도를 형성하고 있는 것으로 확인되는 경우, 기계식 트랙터가 현재 경사진 영역 상에서 작업 중인 것을 확인할 수 있다. 또 다른 예를 들어, 히치의 압력이 지정된 압력 수치를 초과하는 경우, 기계식 트랙터의 작업기가 장애물에 걸린 것으로 확인할 수 있다.
일 실시예에 따르면, 상기 기후 상태 판단부(405)는 농지 정보 수신부(예: 도 1의 농지 정보 수신부(101b))에 의해 농지 정보의 수신이 완료되면, 상기 지정된 시간 범위 중 제1 시간에서의 농지 위치 정보, 기후 정보 및 경작물 정보를 분석할 수 있다. 상기 농지 정보와 관련된 자세한 설명은 도 1을 참고하도록 한다. 상기 기후 상태 판단부(405)는 상기 분석 결과를 기반으로, 기계식 트랙터의 작업 중 기후 상태를 확인할 수 있다.
일 실시예에 따르면, 상기 기후 상태는 기계식 트랙터의 주행 또는 작업 시, 상기 기계식 트랙터가 위치한 지역에 대한 기후를 확인하는 정보일 수 있다.
일 실시예에 따르면, 상기 조작 정보 획득부(407)는 제1 시간에서의 상기 주행 상태, 상기 작업 상태 및 상기 기후 상태의 판단이 완료되면, 기 저장된 알고리즘을 기반으로, 제1 시간에서의 기계식 트랙터에 대한 제1 조작 정보를 획득할 수 있다. 상기 기 저장된 알고리즘은 HMI 디스플레이(예: 도 1의 HMI 디스플레이(103))로 하여금 상기 기계식 트랙터를 제어하여, 상기 기계식 트랙터가 자율 주행하기 위해 필요한 정보인 조작 정보를 획득하기 위한 알고리즘일 수 있다.
일 실시예에 따르면, 상기 조작 정보 획득부(407)는 상기 기 저장된 알고리즘을 통해 상기 제1 조작 정보 생성 시, 상기 주행 상태, 작업 상태 및 기후 상태뿐만 아니라, HMI디스플레이에 입력된 경작물 정보 및 기계식 트랙터의 작업 영상 정보를 분석하여, 농지의 환경에 따른 기계식 트랙터의 자율 주행에 적합한 조작 정보를 생성할 수 있다.
예를 들어, 상기 조작 정보 획득부(407)는 상기 주행 상태를 확인하여, 상기 기계식 트랙터의 악셀과 브레이크가 현재 교차되면서 작동되되, 악셀이 누름 정도가 점차적으로 증가하고 있는 상태인 것을 확인할 수 있다. 또한, 상기 조작 정보 획득부(407)는 상기 주행 상태를 확인하여, 상기 기계식 트랙터의 기어 상태가 "드라이브 모드"인 것을 확인할 수 있다. 상기 조작 정보 획득부(407)는 상기 작업 상태를 확인하여, 상기 기계식 트랙터의 히치가 우측 방향으로 40P의 압력이 작용하는 것을 확인할 수 있다. 또한, 상기 조작 정보 획득부(407)는 상기 작업 상태를 확인하여, 히치의 수평도가 아래로 형성되어 있는 것을 확인할 수 있다. 상기 조작 정보 획득부(407)는 상기 기후 상태를 확인하여, 상기 기계식 트랙터가 위치한 농지에 비가 내리고 있는 것을 확인할 수 있다.
이에 따라, 상기 조작 정보 획득부(407)는 기 저장된 알고리즘을 통해상기 판단이 완료된 주행 상태, 작업 상태 및 기후 상태에 기반한 제1 조작 정보를 생성할 수 있다. 상기 조작 정보 획득부(407)는 상기 기 저장된 알고리즘을 통해 현재 농지에 비가 오고 있기 때문에 지면이 튼튼하지 않아 작업기의 일부가 지면에 박힌 상태(수평이 아래로 내려가 있는 상태)임을 확인할 수 있고, 기계식 트랙터에 탑승한 탑승자가 작업기에 접촉되는 지면 및 경작물에 의한 압력을 극복하기 위해 브레이크와 악셀을 교차로 작동시켜, 점차적으로 악셀을 세게 밟아 엔진의 출력을 증가시키는 것을 판단할 수 있다.
즉, 상기 조작 정보 획득부(407)는 상기 판단 내용을 고려하여, 상기 기 저장된 알고리즘을 기반으로, 우천 시, 기계식 트랙터에 탑승한 탑승자의 트랙터 조작 방법에 기반한 제1 조작 정보를 생성할 수 있다.
이 때, 상기 조작 정보 획득부(407)는 기 저장된 알고리즘을 기반으로, HMI디스플레이에 입력된 경작물 정보 및 기계식 트랙터의 작업 영상 정보를 분석하여, 분석 내용이 반영된 제1 조작 정보를 생성할 수 있다. 상기 제1 조작 정보는 제1 시간에서의 기계식 트랙터가 조작된 정보(작업 및 주행을 수행하기 위해 작동된 구성들의 상태에 대한 정보)를 포함할 수 있다. 즉, 상기 제1 조작 정보는 제1 시간에서의 농지의 상황에 적합한 기계식 트랙터의 조작 정보를 의미할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 조작 정보 획득부를 설명하기 위한 도면이다.
도 5를 참조하면, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템(100)(이하, 보조 시스템으로 칭함)은 조작 정보 획득부(501)(예: 도 4의 조작 정보 획득부(407))를 포함할 수 있다.
일 실시예에 따르면, 상기 조작 정보 획득부(501)는 주행 상태 판단부(예: 도 4의 주행 상태 판단부(401)), 작업 상태 판단부(예: 도 4의 작업 상태 판단부(403)) 및 기후 상태 판단부(예: 도 4의 기후 상태 판단부(405))의 기능 수행으로 인해 지정된 시간 범위(503)에 포함되는 복수 개의 시간(503a, 503b, 503c) 각각에 대한 조작 정보의 획득이 완료되는 경우, 상기 복수 개의 시간(503a, 503b, 503c) 각각에 대한 조작 정보를 기반으로, 상기 기계식 트랙터의 조작에 대한 작업 패턴 데이터를 생성할 수 있다.
일 실시예에 따르면, 상기 조작 정보 획득부(501)는 상기 지정된 시간 범위(503) 중 제1 시간에서의 제1 조작 정보(503a)를 획득할 수 있다. 상기 조작 정보와 관련된 자세한 설명은 도4를 참고하도록 한다. 상기 조작 정보 획득부(501)는 상기 제1 조작 정보(503a)의 획득이 완료되면, 상기 지정된 시간 범위(503) 중 제2 시간에서의 제2 조작 정보(503b)를 획득할 수 있다. 또한, 상기 조작 정보 획득부(501)는 상기 제2 조작 정보(503b)의 획득이 완료되면, 상기 지정된 시간 범위(503) 중 제3 시간에서의 제3 조작 정보(503c)를 획득할 수 있다.
일 실시예에 따르면, 상기 조작 정보 획득부(501)는 상기 제1 조작 정보(501a), 상기 제2 조작 정보(501b) 및 상기 제3 조작 정보(501c)를 시간 순서로 나열하여, 지정된 시간 동안 주행 및 작업을 진행한 기계식 트랙터의 작업 패턴 데이터를 생성할 수 있다. 상기 작업 패턴 데이터는 HMI 디스플레이(예: 도 1의 HMI 디스플레이(103))로 하여금, 상기 기계식 트랙터를 제어하여 자율 주행하도록 하는데 필요한 자율 주행 및 자율 작업 데이터일 수 있다.
일 실시예에 따르면, 상기 조작 정보 획득부(501)는 상기 획득한 작업 패턴 데이터를 카테고리 테이블에 저장할 수 있다. 상기 카테고리 테이블은, 상기 작업 패턴 데이터가 작업 과정 별로 구분되어 저장되는 데이터 테이블일 수 있다. 예를 들어, 상기 카테고리 테이블은 복수 개의 카테고리를 포함할 수 잇다. 상기 복수 개의 카테고리 각각은 서로 다른 작업 과정에 대한 카테고리일 수 있다. 상기 복수 개의 카테고리 중 제1 카테고리는 우천 시 획득된 작업 패턴 데이터가 저장되는 카테고리일 수 있다. 제2 카테고리는 폭염 시 획득된 작업 패턴 데이터가 저장되는 카테고리일 수 있다. 제3 카테고리는 다수의 자갈을 포함하는 농지에서 획득된 작업 패턴 데이터가 저장되는 카테고리일 수 있다.
일 실시예에 따르면, 상기 기 저장된 알고리즘은 상기 생성된 작업 패턴 데이터를 머신 러닝(machine learning)할 수 있다. 상기 기 저장된 알고리즘은 상기 생성된 작업 패턴 데이터를 머신 러닝함으로써, 다른 주행 상태, 다른 작업 상태 및 다른 기후 상태에 대한 다른 작업 패턴 데이터를 생성하도록 업데이트될 수 있다. 보다 자세하게, 상기 기 저장된 알고리즘은 상기 제1 카테고리에 저장되어 있는 작업 패턴 데이터와 상기 제2 카테고리에 저장되어 있는 작업 패턴 데이터를 머신 러닝함으로써, 새로운 내용을 포함하는 주행 상태, 작업 상태 및 기후 상태에 대한 새로운 작업 패턴 데이터를 생성할 수 있다.
예를 들어, 상기 기 저장된 알고리즘은 제1 카테고리에 저장되어 있는 우천 시 획득된 작업 패턴 데이터에 기반한 악셀 조작과 제4 카테고리에 저장되어 있는 강풍 시 획득된 작업 패턴 데이터에 기반한 악셀 조작을 머신러닝함으로써, 호우주의보 또는 태풍 상황에서의 악셀 조작 방법(새로운 내용을 포함하는 주행 상태)을 포함하는 새로운 작업 패턴 데이터를 생성할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템의 작업 진행부를 설명하기 위한 다른 도면이다.
도 6을 참조하면, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템(100)(이하, 보조 시스템으로 칭함)은 작업 진행부(601)(예: 도 1의 작업 진행부(101d))를 포함할 수 있다.
일 실시예에 따르면, 상기 작업 진행부(601)는 생성된 작업 패턴 데이터(601a)를 HMI 디스플레이(603)(예: 도 1의 HMI 디스플레이(103))로 전송하여, 상기 HMI 디스플레이(603)로 하여금 농지 내에서 기계식 트랙터(605)를 자율 주행하도록 요청할 수 있다.
일 실시예에 따르면, 상기 HMI 디스플레이(603)는 운행 시작부(미도시)를 포함할 수 있다. 상기 운행 시작부는 상기 작업 진행부(601)로부터 상기 작업 패턴 데이터(601a)를 수신하는 경우, 상기 수신된 작업 패턴 데이터(601a)를 기반으로, 상기 기계식 트랙터(605)를 제어할 수 있다. 즉, 상기 HMI 디스플레이(603)는 상기 작업 패턴 데이터(601a)를 통해 상기 기계식 트랙터(605)를 자율 주행시킴으로써, 농지 내에서 작업을 수행하도록 할 수 있다.
일 실시예에 따르면, 상기 HMI 디스플레이(603)는, 상기 운행 시작부가 상기 기계식 트랙터(605)를 제어하는 경우, 상기 기계식 트랙터(605)가 운행됨에 따라 획득되는 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 실시간으로 관리 서버(예: 도 1의 관리 서버)에 전송할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하였으며, 이하의 설명에 있어서, 상술한 도 1 내지 6에 대한 설명과 중복되는 불필요한 실시 예에 대한 설명은 생략하기로 한다.
도 7에 도시한 바와 같이, 컴퓨팅 장치(10000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(10000)은 촉각 인터페이스 장치에 연결된 유저 단말이기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(10000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(10000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(10000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 7의 실시 예는, 컴퓨팅 장치(10000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 7에 도시된 일부 컴포넌트가 생략되거나, 도 7에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 7에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(10000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시 예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 하나 이상의 메모리를 포함하는 컴퓨팅 장치로 구현되는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템에 있어서,
    HMI(human machine interface) 디스플레이가 상기 기계식 트랙터의 일 영역에 위치한 연결 단자와 연결된 상태에서, 상기 기계식 트랙터가 작업을 시작하는 경우, 상기 HMI 디스플레이를 통해 상기 기계식 트랙터의 엔진 정보 및 히치 정보를 수신하는 수신하는 동력 정보 수신부;
    상기 기계식 트랙터와 상기 HMI 디스플레이가 연결된 상태에서, 상기 기계식 트랙터가 작업을 시작하는 경우, 상기 HMI 디스플레이를 통해 상기 기계식 트랙터가 위치한 농지의 농지 정보를 수신하는 농지 정보 수신부;
    상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보의 수신이 완료되는 경우, 기 저장된 알고리즘을 기반으로, 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 분석하여, 상기 기계식 트랙터의 작업 패턴 데이터를 생성해 상기 HMI 디스플레이에 전송하는 작업 데이터 생성부; 및
    상기 HMI 디스플레이가 상기 작업 패턴 데이터를 수신하는 경우, 상기 HMI 디스플레이로 하여금 상기 수신된 작업 패턴 데이터를 통해 상기 기계식 트랙터를 제어하도록 요청하여, 상기 HMI 디스플레이에 의해 상기 기계식 트랙터가 자율 주행되도록 하는 작업 진행부;를 포함하되,
    상기 엔진 정보는,
    상기 기계식 트랙터가 주행을 시작함에 따라, 상기 기계식 트랙터의 계기판에 출력되는 정보와 대응되는 정보로써, 상기 기계식 트랙터의 엔진 회전 수 정보, 기어 상태 정보, 미션 오일 온도 정보, 냉각수 온도 정보 및 배터리 전압 정보 중 적어도 하나를 포함하되,
    상기 히치 정보는,
    상기 기계식 트랙터가 주행을 시작함에 따라, 상기 기계식 트랙터의 히치(hitch) 센서에 의해 측정되는 정보로써, 상기 기계식 트랙터의 히치에 가해지는 압력에 대한 압력 정보, 상기 히치의 유량에 대한 유량 정보, 상기 히치의 위치에 대한 히치 위치 정보, 상기 히치의 수평도에 대한 히치 수평도 정보 중 적어도 하나를 포함하되,
    상기 시스템은,
    상기 기계식 트랙터와 상기 HMI 디스플레이 간 CAN(controller area network) 통신을 진행하며, 상기 HMI 디스플레이 및 상기 기계식 트랙터를 관리하는 관리 서버와 상기 HMI 디스플레이 간 셀룰러(cellular) 통신을 진행하되,
    상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보의 수신이 완료되면, 상기 관리 서버의 데이터 베이스에 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 저장하되,
    상기 농지 정보 수신부는,
    상기 HMI 디스플레이로부터 상기 농지 정보를 수신하는 경우, 상기 수신된 농지 정보를 기반으로, 상기 기계식 트랙터가 위치한 농지의 위치를 확인하는 위치 확인부; 및
    상기 위치 확인부에 의해 상기 기계식 트랙터가 위치한 농지의 위치 확인이 완료되면, 상기 확인된 위치에 대응되는 기후 정보를 기상청 서버로부터 수신하여, 상기 농지의 강수량 값, 기온 값 및 풍량 값을 확인하는 기후 확인부;를 포함하되,
    상기 농지 정보는,
    상기 기계식 트랙터가 위치한 농지의 위치 정보 및 상기 농지에서 경작 중인 경작물에 대한 경작물 정보를 포함하되,
    상기 작업 데이터 생성부는,
    상기 엔진 정보의 수신이 완료되면, 상기 수신된 엔진 정보를 기반으로, 지정된 시간 범위 중 제1 시간에서의 상기 엔진 회전 수 정보, 상기 기어 상태 정보, 상기 미션 오일 온도 정보, 상기 냉각수 온도 정보 및 상기 배터리 전압 정보를 분석하여, 상기 기계식 트랙터의 주행 상태를 판단하는 주행 상태 판단부;
    상기 히치 정보의 수신이 완료되면, 상기 수신된 히치 정보를 기반으로, 상기 지정된 시간 범위 중 제1 시간에서의 상기 압력 정보, 상기 유량 정보, 상기 히치 위치 정보, 상기 히치 수평도 정보를 분석하여, 상기 기계식 트랙터의 작업 상태를 판단하는 작업 상태 판단부;
    상기 농지 정보의 수신이 완료되면, 상기 지정된 시간 범위 중 제1 시간에서의 상기 농지 위치 정보, 상기 기후 정보 및 상기 경작물 정보를 분석하여, 상기 기계식 트랙터의 작업 중 기후 상태를 판단하는 기후 상태 판단부; 및
    상기 제1 시간에서의 상기 주행 상태, 상기 작업 상태 및 상기 기후 상태의 판단이 완료되면, 상기 기 저장된 알고리즘을 기반으로, 상기 제1 시간에서의 상기 기계식 트랙터에 대한 제1 조작 정보를 획득하는 조작 정보 획득부;를 포함하는 것을 특징으로 하는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 조작 정보 획득부는,
    상기 주행 상태 판단부, 상기 작업 상태 판단부 및 상기 기후 상태 판단부의 기능 수행으로 인해 상기 지정된 시간 범위에 포함되는 복수 개의 시간 각각에 대한 조작 정보의 획득이 완료되는 경우, 상기 복수 개의 시간 각각에 대한 조작 정보를 기반으로, 상기 기계식 트랙터의 조작에 대한 작업 패턴 데이터를 생성하는 것을 특징으로 하는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템.
  7. 제6항에 있어서,
    상기 기 저장된 알고리즘은,
    상기 작업 패턴 데이터를 생성하기 위한 알고리즘이면서, 상기 생성된 작업 패턴 데이터를 머신 러닝(machine learning)하여, 다른 주행 상태, 다른 작업 상태 및 다른 기후 상태에 대한 다른 작업 패턴 데이터를 생성하도록 업데이트되는 것을 특징으로 하는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템.
  8. 제7항에 있어서,
    상기 HMI 디스플레이는,
    상기 작업 진행부로부터 상기 작업 패턴 데이터를 수신하는 경우, 상기 수신된 작업 패턴 데이터를 기반으로, 상기 연결 단자를 통해 연결된 기계식 트랙터가 자율 주행하도록 제어하여 농지의 경작물을 수확하도록 하는 운행 시작부;를 포함하되,
    상기 운행 시작부가 상기 기계식 트랙터를 제어하여 상기 기계식 트랙터를 주행됨에 따라 획득되는 상기 엔진 정보, 상기 히치 정보 및 상기 농지 정보를 실시간으로 상기 관리 서버에 전송하는 것을 특징으로 하는 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템.
KR1020210124512A 2021-09-17 2021-09-17 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템 KR102582504B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210124512A KR102582504B1 (ko) 2021-09-17 2021-09-17 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210124512A KR102582504B1 (ko) 2021-09-17 2021-09-17 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템

Publications (2)

Publication Number Publication Date
KR20230042158A KR20230042158A (ko) 2023-03-28
KR102582504B1 true KR102582504B1 (ko) 2023-09-27

Family

ID=85800196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210124512A KR102582504B1 (ko) 2021-09-17 2021-09-17 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템

Country Status (1)

Country Link
KR (1) KR102582504B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002181566A (ja) * 2000-12-19 2002-06-26 Yanmar Agricult Equip Co Ltd 農業用作業車
JP2002209421A (ja) * 2001-01-17 2002-07-30 Yanmar Agricult Equip Co Ltd 農業用作業車
WO2013013917A1 (en) 2011-07-22 2013-01-31 Agco International Gmbh Tractor control system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3090887B1 (en) * 2015-05-07 2019-09-25 Toyota Material Handling Manufacturing Sweden AB A towing hitch assembly and a towing system
KR102087836B1 (ko) * 2017-04-07 2020-03-11 엘에스엠트론 주식회사 농작업차량
KR102514455B1 (ko) * 2017-07-26 2023-03-28 엘에스엠트론 주식회사 농업용작업차량, 농업용작업차량의 상태 모니터링 시스템 및 모니터링 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002181566A (ja) * 2000-12-19 2002-06-26 Yanmar Agricult Equip Co Ltd 農業用作業車
JP2002209421A (ja) * 2001-01-17 2002-07-30 Yanmar Agricult Equip Co Ltd 農業用作業車
WO2013013917A1 (en) 2011-07-22 2013-01-31 Agco International Gmbh Tractor control system

Also Published As

Publication number Publication date
KR20230042158A (ko) 2023-03-28

Similar Documents

Publication Publication Date Title
US11852618B2 (en) Detecting infection of plant diseases by classifying plant photos
CN112889089B (zh) 用于标识卫星影像中的云和云影的机器学习技术
US20200226374A1 (en) Generating pixel maps from non-image data and difference metrics for pixel maps
CA3120202C (en) Integrated platform and common software structural architecture for autonomous agricultural vehicle and machinery operation.
BR112021010122A2 (pt) Previsão de produção a nível de campo durante estação
CN113228047A (zh) 利用多阶段、多尺度深度学习的植物病害检测
US10684612B2 (en) Agricultural management recommendations based on blended model
US11568467B2 (en) Leveraging feature engineering to boost placement predictability for seed product selection and recommendation by field
EP3598319A1 (en) Methods for generating soil maps and application prescriptions
US10956780B2 (en) Detecting infection of plant diseases with improved machine learning
CN113038823A (zh) 自动化样本采集和跟踪系统
CN113874829B (zh) 话音集成农业系统
Yan et al. The agrirover: a reinvented mechatronic platform from space robotics for precision farming
US11635418B2 (en) Methods and systems for characterizing clay
Chen et al. Design and implementation of an artificial intelligence of things-based autonomous mobile robot system for pitaya harvesting
KR102582504B1 (ko) 휴먼 머신 인터페이스를 통한 기계식 트랙터의 자율 주행을 보조하는 시스템
Roshanianfard et al. Autonomous agricultural vehicles: Concepts, principles, components, and development guidelines
US11864488B1 (en) Computer-implemented recommendation of side-by-side planting in agricultural fields
Katikaridis et al. A software tool for efficient agricultural logistics
Morimoto What is cyber-physical system driven agriculture?-Redesign of big data for outstanding farmer management
US11930733B1 (en) Nitrogen loss prediction and mitigation methods and systems
Guo et al. Research on autonomous navigation system of greenhouse electric crawler tractor based on LiDAR
Minn et al. Low-Cost Automatic Machinery Development to Increase Timeliness and Efficiency of Operation for Small-Scale Farmers to Achieve SDGs
Leydig Vision Controlled Autonomous Stakebot for Driving Stakes and Its Digital-Twin
Marçal de Queiroz et al. Control and Automation Systems in Agricultural Machinery

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant