KR20230107811A - 농업 객체의 지도 기반 타겟팅을 이용한 자율 농업 처리 시스템 - Google Patents

농업 객체의 지도 기반 타겟팅을 이용한 자율 농업 처리 시스템 Download PDF

Info

Publication number
KR20230107811A
KR20230107811A KR1020237016176A KR20237016176A KR20230107811A KR 20230107811 A KR20230107811 A KR 20230107811A KR 1020237016176 A KR1020237016176 A KR 1020237016176A KR 20237016176 A KR20237016176 A KR 20237016176A KR 20230107811 A KR20230107811 A KR 20230107811A
Authority
KR
South Korea
Prior art keywords
agricultural
image
images
processing system
key frame
Prior art date
Application number
KR1020237016176A
Other languages
English (en)
Inventor
가브리엘 설스톤 시블리
로렌조 이바리아
커티스 데일 가너
패터릭 크리스토퍼 러거
안드레 로버트 다니엘 미세린
존 필립 헐리만 더 세컨드
위시트 지라티갈로쵸테
하산 타피쉬
Original Assignee
버던트 로보틱스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 버던트 로보틱스, 인코포레이티드 filed Critical 버던트 로보틱스, 인코포레이티드
Publication of KR20230107811A publication Critical patent/KR20230107811A/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00—Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A01M21/04—Apparatus for destruction by steam, chemicals, burning, or electricity
    • A01M21/043—Apparatus for destruction by steam, chemicals, burning, or electricity by chemicals
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C21/00—Methods of fertilising, sowing or planting
    • A01C21/007—Determining fertilization requirements
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C23/00—Distributing devices specially adapted for liquid manure or other fertilising liquid, including ammonia, e.g. transport tanks or sprinkling wagons
    • A01C23/008—Tanks, chassis or related parts
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0003—Atomisers or mist blowers
    • A01M7/0014—Field atomisers, e.g. orchard atomisers, self-propelled, drawn or tractor-mounted
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0025—Mechanical sprayers
    • A01M7/0032—Pressure sprayers
    • A01M7/0042—Field sprayers, e.g. self-propelled, drawn or tractor-mounted
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0082—Undercarriages, frames, mountings, couplings, tanks
    • A01M7/0085—Tanks
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • A01M7/0092—Adding active material
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M9/00—Special adaptations or arrangements of powder-spraying apparatus for purposes covered by this subclass
    • A01M9/0084—Undercarriages, frames, couplings, tanks
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M9/00—Special adaptations or arrangements of powder-spraying apparatus for purposes covered by this subclass
    • A01M9/0092—Regulating or controlling systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C23/00—Distributing devices specially adapted for liquid manure or other fertilising liquid, including ammonia, e.g. transport tanks or sprinkling wagons
    • A01C23/007—Metering or regulating systems
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C23/00—Distributing devices specially adapted for liquid manure or other fertilising liquid, including ammonia, e.g. transport tanks or sprinkling wagons
    • A01C23/02—Special arrangements for delivering the liquid directly into the soil
    • A01C23/023—Special arrangements for delivering the liquid directly into the soil for liquid or gas fertilisers
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01C—PLANTING; SOWING; FERTILISING
    • A01C23/00—Distributing devices specially adapted for liquid manure or other fertilising liquid, including ammonia, e.g. transport tanks or sprinkling wagons
    • A01C23/04—Distributing under pressure; Distributing mud; Adaptation of watering systems for fertilising-liquids
    • A01C23/047—Spraying of liquid fertilisers
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • A01G7/06—Treatment of growing trees or plants, e.g. for preventing decay of wood, for tingeing flowers or wood, for prolonging the life of plants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40585—Chemical, biological sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Insects & Arthropods (AREA)
  • Pest Control & Pesticides (AREA)
  • Zoology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Soil Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Water Supply & Treatment (AREA)
  • Evolutionary Computation (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Botany (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Toxicology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

본 명세서에 기술된 장치, 방법, 시스템 및 컴퓨터 프로그램 제품의 다양한 실시예는 농업 관찰 및 처리 시스템 및 작동 방법에 관한 것이다. 농업 처리 시스템은 처리 시스템의 제1 실제 지리 공간적 위치를 결정할 수 있다. 시스템은 지리적 장면의 실제 농업 대상물을 묘사하는 캡처된 이미지를 수신할 수 있다. 시스템은 캡처된 이미지를 결정된 처리 시스템의 지리 공간적 위치와 연관시킬 수 있다. 처리 시스템은 매핑되고 인덱싱된 이미지 그룹으로부터 제1 실제 지리 공간 위치에 근접한 제2 실제 지리 공간 위치를 갖는 이미지를 식별할 수 있다. 처리 시스템은 식별된 이미지의 적어도 일부를 캡처된 이미지의 적어도 일부와 비교할 수 있다. 처리 시스템은 타겟 대상물을 결정하고 처리 장치를 사용하여 타겟 대상물에 유체 발사체를 방출할 수 있다.

Description

농업 객체의 지도 기반 타겟팅을 이용한 자율 농업 처리 시스템
관련 출원에 대한 상호 참조
본 출원은 2020년 10월 16일에 출원된 미국 출원 번호 17/073,236의 우선권을 주장하며, 이는 전체 내용이 참조로 여기에 포함된다.
세계 인구 증가는 향후 40년 이내에 100억 명 이상에 도달할 것으로 예상되는 속도로 확장되고 있으며, 이에 따라 식품 생산자에 대한 수요도 동시에 증가할 것이다. 이러한 인구 증가를 지원하기 위해, 예를 들어 농장과 과수원에서의 식량 생산은 전체 인류가 태초부터 그 시점까지 소비한 양과 동일한 양의 식량을 집단적으로 생산해야 한다. 그러나 지속 가능한 방식으로 미래 세대를 먹여 살리기 위해서는 많은 장애물과 장애물을 극복하거나 해결해야 할 것이다.
이러한 수요 증가를 뒷받침하기 위해 보다 효과적이고 효율적으로 농작물을 재배하고, 가축을 사육하고, 토지를 경작하는 농업 기술이 구현되었다. 과거에 그러한 기술은 노동력을 보다 효과적이고 효율적으로 사용하고, 도구와 기계를 사용하고, 식물과 경작지에 사용되는 화학 물질의 양을 줄이는 데 도움이 되었다.
그러나 현재 농작물을 생산하고 수확하는 데 사용되는 많은 기술은 이전 기술의 증분 단계에 불과하다. 토지, 화학 물질, 시간, 노동의 양 및 기타 산업 비용은 여전히 문제이다. 농업 서비스를 수행하는 새롭고 개선된 시스템과 방법이 필요하다.
본 명세서에 기술된 장치, 방법, 시스템 및 컴퓨터 프로그램 제품의 다양한 실시예는 농업 관찰 및 처리 시스템에 관한 것이다. 농업 관찰 및 처리 시스템은 지리적 장면의 농업 대상물의 이미지를 얻기 위한 하나 이상의 카메라 및 발광 장치를 포함할 수 있다. 처리 장치는 짐블에 장착될 수 있고 획득된 이미지에서 식별된 결정된 타겟 대상물에서 유체 발사체를 방출하도록 구성될 수 있다. 시스템은 하나 이상의 탱크와 하나 이상의 탱크 및 처리 장치에 유체 연결되는 전자 제어식 펌프를 포함할 수 있다. 시스템은 하드웨어를 포함하는 온보드 전자 회로, 메카트로닉 구성 요소, 센서, 프로세서, 메모리 및 비일시적 컴퓨터 판독 가능 저장 매체를 포함할 수 있다. 전자 회로 및 프로세서는 센서, 카메라, 발광 장치의 작동을 제어하고 타겟 대상물에 유체 발사체를 방출하기 위한 전자 제어식 펌프의 작동을 제어하도록 구성될 수 있다.
농업 관찰 및 처리 시스템은 처리 시스템의 제1 실제 지리 공간적 위치를 결정할 수 있다. 시스템은 지리적 장면의 실제 농업 대상물을 묘사하는 캡처된 이미지를 수신할 수 있다. 시스템은 캡처된 이미지를 처리 시스템의 결정된 지리 공간적 위치와 연관시킬 수 있다. 시스템은 저장된 이미지 그룹으로부터 제1 실제 지리 공간적 위치에 근접한 제2 실제 지리 공간적 위치를 갖는 이미지를 식별할 수 있다. 시스템은 식별된 이미지의 적어도 일부를 캡처된 이미지와 비교할 수 있다. 시스템은 캡처된 이미지와 식별된 이미지의 일부의 비교에 기초하여 타겟 대상물을 결정할 수 있다. 시스템은 타겟 대상물에 발사체를 방출하거나 광선 처리를 포함하는 처리를 수행할 수 있다.
농업 관찰 및 처리 시스템은 온보드 처리 유닛을 사용하여 농업 대상물 또는 농작물의 식별, 분류, 위치 추정 및 처리를 위해 대상물 결정 및 대상물 처리 엔진을 활용할 수 있다. 대상물 결정 및 대상물 분무 엔진은 인공 지능 및 컴퓨터 비전 기술을 활용하여 이미지에 묘사된 농작물의 특성을 식별한다. 이미지(들)는 원하는 또는 타겟 농업 대상물의 현재 물리적 위치에 근접한 경로를 따라 이동하는 차량에 장착된 이미지 센서에 의해 실시간으로 캡처될 수 있다. 인공 지능 기술은 농업 대상물을 감지할 뿐만 아니라 화학 성분의 액체로 처리를 필요로 하는 농작물의 일부분을 레이블링하고 분무되어서는 안 되는 다른 부분을 레이블링하는 것과 같이 농업 대상물의 특정 성장 단계를 묘사할 수 있는 농작물의 이미지로 묘사된 농업 대상물을 레이블링 하도록 구성될 수 있다.
대상물 결정 및 대상물 분무 엔진은 캡처된 이미지에서 잠재적인 농작물일 수 있는 농업 대상물의 꽃의 묘사를 나타내는 "꽃" 식별자와 같은 각각의 식별자 또는 레이블로 레이블된 캡처된 이미지에 묘사된 대상물을 포함하는 레이블된 이미지를 수신한다. 대상물 결정 및 대상물 분무 엔진은 레이블된 이미지에서 레이블된 꽃의 픽셀 위치 및 차량에서 농업 관찰 및 처리 시스템의 센서에 의해 생성된 차량 위치 데이터를 기반으로 꽃의 현재 물리적 위치를 결정한다. 대상물 결정 및 대상물 처리 엔진은 액체 발사체가 차량에 장착된 노즐의 현재 위치로부터 농업 대상물의 현재 물리적 위치를 향해 이동하는 궤적 및 처리 혼합물의 선택을 포함하는 처리 매개변수를 결정할 수 있다. 대상물 결정 및 대상물 처리 엔진은 예시적인 꽃 표면의 정확한 위치에 도달하기 위해 궤적을 따라 노즐로부터 일정량의 유체 화학 발사체를 보냄으로써 꽃에 화학 처리를 방출하는 개시를 트리거할 수 있다.
다양한 실시예에 따르면, 농업 처리 시스템은 차량으로부터 하나 이상의 대상물 식별자에 대한 요청을 보낼 수 있다. 요청은 차량에 장착된 적어도 하나의 카메라에 의해 캡처된 하나 이상의 이미지와 연관될 수 있다. 각각의 캡처된 이미지는 농업 처리 시스템에 의해 결정된 대상물의 물리적 위치에 대응할 수 있고 결정된 물리적 위치를 캡처된 이미지와 연관시킬 수 있다. 대상물 결정 및 대상물 분무 엔진은 하나 이상의 레이블된 이미지를 받는다. 각각의 레이블된 이미지는 대상물의 물리적 위치 및 식별자와 일치한다. 대상물 결정 및 대상물 분무 엔진은 각각의 레이블된 이미지를 기반으로 위치 데이터를 생성한다. 위치 데이터는 대상물의 물리적 위치를 향해 차량에 장착된 노즐로부터 이동하는 발사체에 대한 궤적과 연관될 수 있다. 대상물 결정 및 대상물 분무 엔진은 궤적에 따라 노즐로부터 대상물의 물리적 위치를 향해 발사체를 보낸다.
본 발명의 적용 가능성의 추가 영역은 상세한 설명, 특허청구범위 및 도면으로부터 명백해질 것이다. 상세한 설명 및 구체적인 예는 단지 설명을 위한 것이며 본 발명의 범위를 제한하려는 것은 아니다.
본 발명은 상세한 설명 및 도면으로부터 더 잘 이해될 것이다:
도 1은 일부 예에 따른 예시적인 환경을 도시하는 도면이다.
도 2는 일부 예에 따른 예시적인 환경을 도시하는 도면이다.
도 3은 일부 예에 따른 이미지 획득 및 지리적 경계의 디지털화를 나타내는 도면이다.
도 4는 일부 예에 따른 예시적인 농업 관찰 및 처리 시스템을 예시하는 도면이다.
도 5는 일부 예에 따른 예시적인 농업 관찰 및 처리 시스템의 구성요소를 도시하는 도면이다.
도 6은 일부 예에 따른 추가적인 예시의 농업 관찰 및 처리 시스템을 예시하는 도면이다.
도 7은 일부 예에 따른 추가적인 예시의 농업 관찰 및 처리 시스템을 예시하는 도면이다.
도 8은 일부 예에 따른 추가적인 예시의 농업 관찰 및 처리 시스템을 예시하는 도면이다.
도 9는 일부 예에 따른 처리 시스템에 의해 수행될 수 있는 예시적인 방법을 도시하는 블록도이다.
도 10은 일부 예에 따른 예시적인 환경을 나타내는 도면이다.
도 11은 일부 예에 따른 예시적인 처리 유닛을 도시하는 도면이다.
도 12a는 일부 예에 따른 처리 시스템에 의해 수행될 수 있는 예시적인 방법을 도시하는 블록도이다.
도 12b는 일부 예에 따른 처리 시스템에 의해 수행될 수 있는 예시적인 방법을 도시하는 블록도이다.
도 13a는 일부 예에 따른 농업 관찰 및 처리 시스템에 의해 수행될 수 있는 예시적인 방법을 도시하는 블록도이다.
도 13b는 일부 예에 따른 도 13a에 도시된 방법과 함께 수행될 수 있는 예시적인 방법을 도시하는 블록도이다.
도 14a는 일부 예에 따른 예시적인 레이블된 이미지를 나타내는 도면이다.
도 14b는 일부 예에 따른 예시적인 레이블된 이미지를 나타내는 도면이다.
도 15는 일부 예에 따른 농업 관찰 및 처리 시스템에 의해 수행될 수 있는 예시적인 방법을 도시하는 블록도이다.
도 16은 일부 예에 따른 지리적 경계에서 수행하는 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면이다.
도 17a는 일부 예에 따른 지리적 경계에서 수행하는 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면이다.
도 17b는 일부 예에 따른 지리적 경계에서 수행하는 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면이다.
도 18은 일부 예에 따른 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면이다.
도 19는 일부 예에 따른 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면이다.
도 20은 일부 예에 따른 관찰 및 처리 시스템의 구성요소들 및 차량의 이동축, 회전 및 자유도를 예시하는 도면이다.
도 21은 일부 예에 따른 지리적 경계에서 수행하는 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면이다.
도 22는 일부 예에 따른 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면이다.
도 23은 일부 예에 따른 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면이다.
도 24는 일부 예에 따른 지리적 경계에서 수행하는 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 예시하는 도면이다.
본 명세서에서, 본 발명의 특정 실시예에 대해 상세히 참조된다. 일부 실시예 또는 그 측면이 도면에 예시되어 있다.
설명의 명확성을 위해, 본 발명은 특정 실시예를 참조하여 설명되었지만, 본 발명은 설명된 실시예에 제한되지 않는다는 것을 이해해야 한다. 반대로, 본 발명은 임의의 특허 청구범위에 의해 정의된 범위 내에 포함될 수 있는 대안, 수정 및 등가물을 포함한다. 본 발명의 하기 실시예는 청구된 본 발명에 대한 일반성의 손실 없이 그리고 제한 없이 설명된다. 이하의 설명에서, 본 발명의 완전한 이해를 제공하기 위해 특정 세부사항이 제시된다. 본 발명은 이들 특정 세부사항의 일부 또는 전부 없이 실시될 수 있다. 또한, 본 발명을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 특징은 상세하게 설명되지 않을 수 있다.
또한, 이 예시적인 특허에 설명된 예시적인 방법의 단계는 본 명세서에 제시된 순서와 다른 순서로 수행될 수 있음을 이해해야 한다. 또한, 예시적인 방법의 일부 단계는 순차적으로 수행되지 않고 병렬로 수행될 수 있다. 또한, 예시적인 방법의 단계는 네트워크 환경에서 수행될 수 있는데, 여기서 일부 단계는 네트워크 환경에 있는 다른 컴퓨터에 의해 수행된다.
일부 실시예는 컴퓨터 시스템에 의해 구현된다. 컴퓨터 시스템은 프로세서, 메모리 및 비일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 메모리 및 비일시적 매체는 여기에 설명된 방법 및 단계를 수행하기 위한 명령을 저장할 수 있다. 아래에 설명된 다양한 실시예 및 실시예는 일반적으로 로봇 공학, 자율 주행 시스템 및 자율 농업 관찰 및 처리 시스템과 같은 자율 농업 응용 시스템과 관련되며, 컴퓨터 소프트웨어 및 시스템, 컴퓨터 비전 및 자동화를 활용하여 농작물 또는 기타 식물 또는 식물의 일부, 장면 또는 지리적 경계의 특성 및 대상물, 환경 특성 또는 이들의 조합을 포함하여 식별된 농업 대상물의 모든 고유 성장 단계를 포함하는 농업 대상물을 자율적으로 식별한다.
또한, 시스템, 로봇, 컴퓨터 소프트웨어 및 시스템, 컴퓨터 비전 및 자동화를 사용하는 애플리케이션, 또는 이들의 조합은 잠재적인 농작물로 식별된 농업 대상물을 재배하는 하나 이상의 식물을 갖는 지리적 경계를 관찰하고, 각 개별 식물 및 식물의 일부에 대한 특정 농업 대상물을 감지하고, 실제 지리적 경계에 있는 하나 이상의 특정 개별 농업 대상물이 이전 관찰 및 처리로부터의 성장 단계 및 처리 이력을 기반으로 처리가 필요한지 결정하고, 또한 다른 대상물 중에서 각각의 원하는 농업 대상물에 특정 처리를 제공하도록 구성될 수 있다. 일반적으로 컴퓨터 시스템은 입체 디지털 카메라를 사용하여 컴퓨터 비전 기능을 제공하고 대상물 감지 및 분류를 수행하고 통합된 온보드 관찰 및 처리 시스템을 통해 잠재적 농작물인 타겟 대상물에 화학 처리를 적용한다. 이 시스템은 시스템이 농작물 근처의 경로를 따라 이동하는 동안 과수원의 나무나 농장의 식물 열과 같은 농업 현장의 3D 이미지를 포함하여 디지털 이미지를 얻기 위해 입체 카메라를 포함한 하나 이상의 이미지 센서를 활용한다. 농작물의 이미지가 이미지 센서에 의해 획득되는 동안 농작물의 일정한 수준의 조명을 제공하기 위해 LED와 같은 온보드 광원이 시스템에 의해 사용될 수 있다. 그런 다음 시스템은 이미지에서 다양한 유형의 대상물을 식별하고 인식할 수 있다. 디지털 이미지에서 감지된 유형의 대상물 또는 시간상 일 순간에서 시간상 다른 순간까지 성장 단계 또는 다른 라벨을 이전에 식별되고 이전 성장 단계에 위치한 고유한 개별 농업 대상물과 연관시키는 시스템 외에도 온 시스템에 의해 인식되고 관찰되고 식별될 수 있는 상이한 성장 단계들을 체험하는 동일 대상물을 기초로, 시스템은 처리를 적용할 수 있다, 예를 들면 하나 이상의 액체 탱크로부터 펌핑된 화학 물질로 실제 대상물에 농업 대상물의 표면에 분무할 수 있다. 시스템은 선택적으로 하나 이상의 추가 이미지 센서를 사용하여 시스템에서 시스템에 근접한 농업 대상물에 적용될 때 발사체로서 처리를 기록할 수 있다.
이제 도 1을 참조하면, 예시적인 시스템 및 장치가 동작할 수 있는 예시적인 네트워크 환경의 도면이 도시되어 있다. 예시적인 환경(140)에서, 2개의 클라이언트(141, 142)는 네트워크(145)를 통해 로컬 스토리지(151)를 갖는 서버(150)에 연결된다. 이 환경에서 클라이언트 및 서버는 컴퓨터일 수 있다. 서버(150)는 클라이언트로부터의 요청을 처리하도록 구성될 수 있다. 서버(150)는 단일 개체로 도시되어 있지만 네트워크화된 다수의 서버 장치로 구현될 수 있다. 기지국과 하나 이상의 차량 사이, 또는 서버(150)를 지원하도록 구성된 다른 지상 이동성 유닛 사이, 및 기지국과 본 명세서에 기술된 하나 이상의 제어 센터 사이의 통신 및 송신은 클라이언트(141, 142) 요청과 유사하게 실행될 수 있다.
예시적인 환경(140)은 단순화를 위해 단지 2개의 클라이언트와 1개의 서버로 예시되지만, 실제로는 더 많거나 더 적은 클라이언트 및 서버가 있을 수 있다. 클라이언트가 서버의 역할을 할 수도 있고 서버가 클라이언트의 역할을 할 수도 있지만 컴퓨터는 클라이언트와 서버로 불린다. 일부 예에서, 클라이언트(141 및 142)는 서버뿐만 아니라 서로 통신할 수 있다. 또한, 서버(150)는 다른 서버와 통신할 수 있다.
네트워크(145)는 예를 들어, LAN(local area network), WAN(wide area network), 5G 무선 표준 기술을 이용하는 네트워크, 전화 네트워크, 무선 네트워크, 인트라넷, 인터넷 또는 네트워크의 조합일 수 있다. 서버(150)는 버스, 크로스바, 네트워크, 무선 통신 인터페이스 또는 다른 상호 연결일 수 있는 연결 매체를 통해 스토리지(152)에 연결될 수 있다. 스토리지(152)는 단일 엔티티로 도시되어 있지만 다수의 스토리지의 네트워크로 구현될 수 있다. 스토리지(152)는 파일 시스템, 디스크, 데이터베이스 또는 기타 스토리지일 수 있다.
일 예에서, 클라이언트(141)는 여기서 하나 이상의 방법을 수행할 수 있고, 그 결과 스토리지(152)에 파일을 저장할 수 있다. 이것은 클라이언트(141)와 서버(150) 사이의 네트워크(145)를 통한 통신을 통해 달성될 수 있다. 예를 들어, 클라이언트는 스토리지(152)에 지정된 이름을 가진 파일을 저장하기 위해 서버(150)에 요청을 전달할 수 있다. 서버(150)는 요청에 응답하고 지정된 이름을 가진 파일을 스토리지(152)에 저장할 수 있다. 저장될 파일은 클라이언트(141)에 존재할 수 있거나 또는 서버의 로컬 스토리지(151)에 이미 존재할 수도 있다.
다른 실시예에서, 클라이언트(141)는 차량 센서 데이터를 전송하는 차량 또는 차량이 지원하는 시스템 또는 장치일 수 있다. 이것은 클라이언트(141)와 서버(150) 사이의 네트워크(145)를 통한 통신을 통해 달성될 수 있다. 예를 들어, 클라이언트는 스토리지(151)에 지정된 파일 이름을 가진 파일을 저장하기 위해 서버(150)에 요청을 전달할 수 있다. 서버(150)는 응답할 수 있고, 지정된 이름을 갖는 파일을 스토리지(151)에 저장할 수 있다. 저장될 파일은 클라이언트(141)에 존재할 수 있거나 스토리지(152)와 같은 네트워크를 통해 액세스 가능한 다른 스토리지에 존재할 수 있거나 심지어 클라이언트(142)의 스토리지(예를 들어, 피어-투-피어 시스템에서)에도 존재할 수 있다. 일 예에서, 차량은 전기, 가솔린, 수소 또는 하이브리드 동력 차량(전 지형 차량, 트럭, 트랙터, 보기 로커 시스템을 갖춘 소형 로버, 비전 구성 요소, 화학 퇴적 구성 요소 및 컴퓨팅 구성 요소를 포함한 치료 시스템을 지원할 수 있는 드론 또는 소형 무인 항공 시스템과 같은 항공 차량)일 수 있다.
위의 논의에 따르면, 실시예는 디스크 또는 솔리드 스테이트 드라이브와 같은 로컬 스토리지 또는 플래시 드라이브와 같은 이동식 매체에 파일을 저장하는 데 사용될 수 있다. 또한, 실시예는 버스, 크로스바, 네트워크, 무선 통신 인터페이스 또는 기타 상호 연결과 같은 연결 매체를 통해 컴퓨터에 연결된 외부 스토리지에 파일을 저장하는 데 사용될 수 있다. 또한, 실시예는 원격 서버 또는 원격 서버에 액세스할 수 있는 스토리지 장치에 파일을 저장하는 데 사용될 수 있다.
또한, 클라우드 컴퓨팅 및 에지 컴퓨팅은 파일이 종종 원격 서버 또는 원격 스토리지 시스템에 저장되는 또 다른 예이다. 클라우드 컴퓨팅은 쉽게 확장할 수 있도록 신속하게 프로비저닝할 수 있는 풀링된 네트워크 리소스를 말한다. 클라우드 컴퓨팅을 사용하여 서비스로서의 소프트웨어, 서비스로서의 플랫폼, 서비스로서의 인프라 및 이와 유사한 기능을 제공할 수 있다. 클라우드 컴퓨팅 환경에서 사용자는 "클라우드"에 파일을 저장할 수 있다 즉, 파일을 저장하는 실제 하드웨어는 사용자에게 불투명(opaque)할 수 있지만 파일은 원격 네트워크 리소스에 저장된다. 에지 컴퓨팅은 데이터의 대부분 또는 원하는 부분이 프로세싱, 저장, 및 중앙 허브를 포함하는 다른 서버로/로부터 전송될 수 있는 보다 로컬인 원격 서버에서의 또는 데이터가 캡처, 프로세싱, 저장, 전송 및 수신되는 지리적 경계에서의 데이터의 프로세싱, 저장, 전송 및 수신을 활용한다.
도 2는 현실 세계의 지리적 경계, 예를 들어 농장 또는 과수원을 관찰하고, 농업 대상물을 포함하는 지리적 경계 내의 임의의 및 모든 대상물의 대상 감지, 분류, 식별을 수행하고, 특히 시스템(100)에 의한 관찰 시점에서의 농업 대상물의 성장 단계, 이전에 적용된 처리 및 기타 관찰된 특성에 기초하여 농업 처리를 필요로 할 수 있는 임의의 개별 농업 대상물을 결정하고, 또한 농업 대상물에 특정 처리를 적용하도록 구성된 예시적인 시스템(100)의 블록도(200)를 도시한다. 시스템(100)은 이미지 캡처 모듈(104), 요청 모듈(106), 위치, 위치 추정, 포즈, 속도와 관련된 센서 데이터 및 기타 위치 관련 신호를 캡처, 융합 및 시스템(100)의 나머지에 전송하기 위한 위치 데이터 모듈(108), 차량 모듈(110), 처리가 필요한 것으로 감지되고 결정된 각각의 개별 대상물에 액체 또는 광 처리를 적용하기 위한 퇴적 모듈(112), 센서 데이터 및 차량이 이동하는 동안 현실 세계의 캡처된 이미지에서의 대상물 감지를 기초로 식별된 대상물을 타겟팅 및 추적하기 위한 타겟팅 모듈(114), 및 사용자 인터페이스(UI) 모듈(116)을 포함하는 대상물 관찰 및 처리 엔진을 포함할 수 있다. 시스템(100)은 애플리케이션 엔진(142)에 의해 생성된 사용자 인터페이스(144)를 통해 출력을 표시하기 위해 사용자 장치(140)와 통신할 수 있다.
시스템(100)은 또한 시스템(100)을 지원하는 차량에 탑재되거나, 시스템(100)의 일부이거나, 시스템(100)에 내장되거나, 시스템(100)을 지원하는 차량으로부터 원격인 하나 이상의 서버 또는 컴퓨팅 장치에 의해 지원되는 이미지 프로세싱 모듈(130)을 포함할 수 있다. 이미지 프로세싱 모듈(130)은 특징 추출, 대상물 식별, 감지 및 분류, 동일한 위치에서 동시에 또는 이전에 수신된 다른 이미지와 이미지 매칭, 비교 및 대응, 각각의 이미지의 고유한 특징을 레이블링 또는 이들의 조합을 포함하여 시스템(100)에 의해 캡처된 임의의 및 모든 이미지 또는 기타 센서 데이터를 프로세싱하도록 구성될 수 있다.
추가로, 시스템(100)의 이미지 캡처 모듈(104)은 아래에 설명되고 도 4, 5, 6, 8, 9, 12, 13, 14, 15에 도시된 기능과 유사한 기능을 수행할 수 있다.
시스템(100)의 요청 모듈(106)은 아래에서 설명되고 도 4, 5, 6, 8, 9, 12, 13, 14, 15에 도시된 기능과 유사한 기능을 수행할 수 있다. 요청 모듈(106)은 원격 이미지 프로세싱 모듈(또는 시스템(들))(130)로부터 하나 이상의 레이블된 이미지에 대한 요청을 전송하고 수신할 수 있다.
시스템(100)의 위치 데이터 모듈(108)은 아래에서 설명되고 도 4, 5, 6, 8, 9, 12, 13, 14, 15에 도시된 기능과 유사한 기능을 수행할 수 있다.
시스템(100)의 차량 모듈(110)은 아래에서 설명되고 도 4, 5, 6, 8, 9, 12, 13, 14, 15에 도시된 기능과 유사한 기능을 수행할 수 있다.
시스템(100)의 퇴적 모듈(112)은 아래에서 설명되고 도 4, 5, 6, 8, 9, 12, 13, 14, 15에 도시된 기능과 유사한 기능을 수행할 수 있다.
시스템(100)의 타겟팅 모듈(114)은 아래에 기술되고 도 4, 5, 6, 8, 9, 12, 13, 14, 15에 도시된 기능과 유사한 기능을 수행할 수 있다.
시스템(100)의 사용자 인터페이스 모듈(116)은 도 4, 5, 6, 8, 9, 12, 13, 14, 15에 도시된 바와 같은 기능에 기초하여 정보를 디스플레이할 수 있다.
데이터베이스(120, 122 및 124)가 개별적으로 표시되는 동안, 데이터베이스 및 데이터베이스에 유지되는 정보는 검색 및 저장 효율성 및/또는 데이터 보안을 촉진하는 방식으로 함께 결합되거나 더 분리될 수 있다.
도 3은 농업 현장의 이미지를 획득하고 농업 대상물을 살포하고, 또한 도형(300)에 도시된 가상 지리적 경계를 구축하는 농업 관찰 및 처리 시스템, 농업 처리 시스템(400) 또는 처리 시스템을 갖는 차량(310)에 의해 생성된 가상 및 디지털화된 지리적 경계의 일부를 묘사하는 도형(300)을 예시한다. 일반적으로, 농업 관찰 및 농업 처리 시스템(400)이 외부 환경의 이미지를 획득하는 동안 차량(310)은 경로를 따라 이동한다. 경로를 따라 있는 각 점들은 외부 농업 대상물(예: 식물, 농작물, 나무 등)을 나타낸다.
이 예에서, 차량(310)은 온보드 대상물 결정 및 대상물 처리 엔진을 가질 수 있다. 차량(310)은 지리적 장면의 외부 농업 대상물에 근접한 경로를 따라 이동할 수 있다. 대상물 결정 및 대상물 처리 엔진은 온보드 카메라를 통해 농업 대상물의 이미지를 캡처한다. 예를 들어, 차량(310)이 특정 농업 대상물을 지나갈 때, 대상물 결정 및 대상물 처리 엔진은 이미지(들)를 캡처한다. 아래에서 추가로 설명되는 바와 같이, 농업 관찰 및 농업 처리 시스템(400)은 농업 대상물의 캡처된 이미지를 사용할 수 있고 어떤 농업 대상물이 유체 발사체와 함께 방출될 것인지 결정할 수 있다. 농업 처리 시스템(400)은 유체가 대상 농업 대상물의 특정 부분과 접촉하도록 궤적을 따라 일정량의 유체를 방출할 수 있다. 도형(300)은 시스템(400)에 의해 획득되었을 수 있는 복수의 매핑된 이미지(320) 또는 이미지 패치를 나타낸다. 각각의 이미지(320)는 지리적 경계 뷰에 대한, 이미지 센서 또는 처리 엔진을 포함하는 농업 처리 시스템(400)의 물리적 구성요소에 대한, 또는 다른 농업 대상물에 대한 위치 데이터, 방향 및 포즈 추정을 포함하여 이미지와 연관된 관련 지리적 데이터를 가질 수 있다. 일 예에서, 각각의 이미지(320)는 농업 처리 시스템에서 하나 이상의 카메라에 의해 캡처된 풀 프레임 이미지를 포함할 수 있다. 풀 프레임은 하나 이상의 카메라에 의해 직접 캡처되고/되거나 농업 처리 시스템(400)에 의해 렌더링된 이미지를 보여주는 2D 또는 3D 이미지일 수 있다. 이미지는 지리적 경계에 있는 농업 대상물의 물리적 표면 및 위치로부터 수 미터 벗어나 캡처된 이미지를 포함할 수 있으며, 이 이미지는 잠재적으로는 농작물 외에도 대상물 또는 풍경을 포함하는 랜드마크(landmark) 또는 보정 대상 및 마커 또는 기타 농업 장비, 장치, 구조물 또는 일반적으로 농장에서 볼 수 있는 기계인 복수의 개별 농업 대상물의 이미지를 포함할 수 있다. 이미지(320)는 또한 캡처된 풀 프레임 이미지 내의 특정 패치를 포함할 수 있다. 농업 시스템(400)이 전체 이미지 프레임의 특정 부분을 감지, 분류, 식별 및 농업 대상물 및 농업 대상물의 성장의 특정 단계를 레이블링하는 것을 포함하는 레이블링함으로써 패치는 식별될 수 있다. 이미지를 패치로 추출할 수 있으므로 지리적 경계에 있는 각각의 개별 및 고유한 농업 대상물의 각각의 개별 이미지 또는 시각적 표현은 위치 데이터, 특정 표시되고 식별된 농업 대상물에 대한 있을 수 있는 처리 이력, 및 캡처된 이미지, 캡처된 위치, 적용된 처리 또는 이들의 조합과 관련된 타임스탬프와 함께 식별 및 인덱스될 수 있다.
일 예에서, 시스템은 이미지(320)의 포인트를 보여주는 사용자 인터페이스를 제시할 수 있고, 사용자 인터페이스는 이미지 포인트(320)의 사용자 선택을 제공할 수 있다. 이미지 포인트(320)를 선택하면, 사용자 인터페이스는 선택된 점과 관련된 이미지를 위치 정보(localization information)와 함께 픽셀화된 2차원 또는 3차원 이미지로 표시한다. 일 예에서, 선택된 포인트는 또한 캡처된 이미지, 캡처된 위치, 적용된 처리, 또는 이들의 조합과 관련된 타임스탬프뿐만 아니라 특정 표시되고 식별된 농업 대상물에 대한 처리 이력을 포함할 수 있다. 시스템(400)의 구성 및 이미지 획득, 타겟 대상물 결정 및 타겟 대상물 분무를 위한 프로세스가 본 명세서에서 추가로 설명된다.
일 예에서, 농업 처리 시스템(400) 또는 유사한 시스템(100)은 실제 지리적 경계에서 감지된 각각의 대상물의 이미지 및 위치 데이터를 기초로 각각의 개별 이미지 캡처 예를 들면 공간에서 감지된 각각의 농업 대상물을 갖는 시뮬레이트된 가상 농장 또는 과수원을 기초로 하나 이상의 그래픽 시각화를 구축하고 가상 지리적 경계의 애니메이션을 구축할 수 있으며, 각각의 농업 대상물 또는 지리적 경계에 있는 다른 대상물은 시뮬레이트된 가상 지리적 경계에서 애니메이트되고 부과된다.
이 예에서, 사용자는 시스템(100)에 탑재된 사용자 인터페이스(116) 또는 사용자 장치(140)의 사용자 인터페이스(144)를 통해 가상 지리적 경계에 액세스하고 가상 지리적 경계 내의 각각의 개별 농업 대상물을 볼 수 있다. 각각의 애니메이션된 농업 대상물 또는 농업 대상물의 표현은 실제 지리적 경계 내의 실제 위치와 연관된 좌표로 가상 지리적 경계에 위치될 수 있다. 각각의 애니메이션화된 농업 대상물, 또는 농업 대상물의 표현은 현실 세계에서 농업 대상물의 이미지 센서에 의해 캡처된 적어도 하나의 이미지를 나타내는 데이터, 지리적 경계 자체에 대한 농업 대상물의 위치, 개별 농업 대상물의 이미지를 캡처한 시스템(100)에 대한 농업 대상물의 위치, 또는 농업 대상물과 연관된 위치 데이터와 함께 다른 농업 대상물에 대한 그것의 위치를 나타내는 위치 추정 데이터(localization data), 이미지 및 위치가 획득된 시간의 타임스탬프를 포함할 수 있다.
일 예에서, 현실 세계에서 감지된 하나 이상의 농업 대상물은 특성을 변경할 것이므로, 시스템(100)은 농업 대상물의 새로운 특징을 감지하고 지리적 경계에서 감지된 동일한 또는 유사한 위치를 갖는 동일한 농업 대상물에 이전에 할당된 상이한 레이블 또는 식별자를 갖는 농업 대상물에 레이블 또는 식별자를 할당할 수 있다. 이것은 식물에서 자라는 잠재적인 농작물의 일부분 예를 들면 곁가지(lateral)로 인한 것으로, 특성 변화는 식물의 성장 단계로 인한 것이다. 단순화된 예로서, 열매를 맺는 나무(fruiting tree)는 꽃으로 변할 수 있는 나무의 곁가지(lateral)에 꽃봉오리(bud)를 가질 수 있고, 결국에는 작은 열매(fruitlet)가 되고 다음으로 열매(fruit)가 된다. 이들 각각의 특징은 시스템(100)에 의해 감지되고 레이블될 수 있다. 또한, 이들 각각의 특징은 특히 실제 세계에서 감지된 동일한 위치를 갖는 농업 대상물의 레이블된 특징 또는 시스템(100)이 특정 농업 대상물의 이미지를 캡처할 때의 이전 트라이얼(trial)로부터의 유사한 이미지 특징 또는 이들의 조합에 대해 서로 연관될 수 있다.
일 예에서, 농업 대상물의 표현이 있는 가상 세계에서의 각각의 위치에서 시뮬레이트된 지리적 경계는 상이한 각도, 위치, 또는 방향, 상이한 포즈로 복수의 이미지를 캡처하는 시스템(100)을 기초하여 동일한 농업 대상물의 복수의 이미지를 가질 수 있는데, 이는 시스템(100)이 지리적 경계를 가로질러 스캔하고 이미지를 다른 것으로 캡처하는 하나의 트라이얼로부터 농업 대상물의 이미지를 캡처하기 때문이다. 또 다른 예에서, 감지된 하나 이상의 농업 대상물 중 일부는 특정 농업 대상물의 일부에 대한 농작물 또는 다른 단계로 성장할 것이므로, 각각이 시스템(100)에 의해 감지, 식별, 및 라벨 할당되고, 시뮬레이트된 지리적 경계에서 표현되는 각각의 농업 대상물의 가시적 또는 다른 표현은 동일 위치의 이미지 또는 진행 기간에서 취해진 동일한 농업 대상물의 이미지를 가질 수 있어서, 동일 장소에서 (동일 트라이얼로 이동하는 차량의 공간에 의한 것 대신에)시간으로 역행되는 일련의 이미지는 사용자가 한 이미지에서 동일한 농업 대상물의 저장된 다음 이미지로 이동함에 따라 특성이 변하는 동일한 농업 대상물의 것일 것이다.
한 예에서, 이미지 캡처 모듈(104)의 입체 비전 시스템은 공간에서 대상물의 이미지를 촬영하고 대상물의 3D 모델을 중첩할 수 있다. 일 예에서, 레이블된 성장 단계 각각에서 농업 대상물을 포함하여 감지된 대상물의 생성된 3D 모델은 사용자가 사용자 인터페이스(144)를 통한 시야를 통해 스캔할 수 있도록 가상 지리적 경계에 위치할 수 있다.
사용자가 사용자 장치(140)에 표시된 가상 지리적 경계 내에서 또는 각각이 농업 대상물과 관련된 좌표 위치, 타임스탬프 및 처리 이력을 가지는 서로 다른 성장 단계의 레이블을 갖는 농업 대상물을 표현하는 이미지 데이터에 의해 인덱싱되는 디지털화된 지리적 경계의 표현을 표시하는 애플리케이션 내에서 사용자 인터페이스에서 개별 농업 대상물을 선택함에 따라, 사용자는 시각화, 이미지 데이터, 지리적 경계에서 감지된 개별 농업 대상물의 위치 데이터, 처리 이력 및 데이터 획득 시간의 하나 이상의 이미지, 2d 모델, 3D 모델 또는 이들의 조합을 볼 수 있다.
예를 들어, 사용자는 과일 나무의 농업 대상물의 이미지 또는 다른 시각적 표현 또는 다른 유형의 표현을 갖는 가상 지리적 경계 내의 위치를 선택할 수 있다. 선택을 통해 사용자는 실제 세계에서 감지된 고유한 농업 대상물의 촬영된 임의의 및 모든 이미지를 볼 수 있다. 일 예에서, 사용자 장치(140) 또는 시스템(100)은 사용자 장치(140) 상의 농업 대상물의 선택으로부터, 인덱싱된 농업 대상물을 나열하는 애플리케이션에서 또는 사용자 인터페이스(144) 상에 디스플레이되는 시뮬레이션된 가상 지리적 경계에서 시각적으로 디스플레이할 수 있다. 시스템(100)은 현실 세계에서 특정 농업 대상물에 대해 촬영된 각각의 이미지를 표시하고 촬영된 시간 순서대로 이미지를 표시할 수 있다. 이것은 경우에 따라 휴면기에서 완전히 성장한 농작물에 이르기까지 농업 대상물의 성장 순서를 표시하는 효과를 줄 것이다. 시스템(100)이 지리적 경계 내의 각각의 개별 농업 대상물의 각 성장 단계에 대한 이미지 캡처 데이터를 취하고 수신하였을 것이기 때문에, 사용자는 나무의 곁가지에서 형성되는 꽃봉오리에서 수확을 위해 열매를 맺기까지와 같이 형성에서 성장하는 농업 대상물의 사용자 장치(140) 상에 디스플레이되는 시간 경과를 볼 수 있다. 이 예에서, 시스템(100)은 크기, 색상, 밀도, 성장 궤적, 건강, 질병 뿐만 아니라 지리적 경계에 대한 각각의 개별 농작물의 전체 수명 주기 동안 각각의 개별 농업 대상물 또는 농작물에 대한 임의의 유체 발사체 처리를 위한 유형, 부피, 농도를 포함하는 처리 매개변수를 결정할 수 있다. 이것은 또한 시스템(100)이 잠재적으로 농작물로 변할 수 있는 모든 개별 농업 대상물에 대한 수확량 및 농작물 수를 계산하고 설명하는 것에 기초하여 수확의 수확량 추정을 생성하도록 허용할 것이다.
또한, 이미지 및 위치 데이터를 캡처하고 처리 이력을 연관시키고 각각의 개별 농업 대상물의 농작물 특성을 확인하기 위해 각 이미지 캡처 또는 수행된 처리 또는 둘 모두의 시간을 기록하는 것은 재배, 성장, 및 소비를 위한 농작물 수확을 최적화하도록 구성될 수 있다. 일 예에서, 하나 이상의 다른 농업 대상물과 동일한 나무에서 동일한 유형의, 시스템(100)에 의해 감지된, 하나 이상의 농업 대상물이 다른 농업 대상물보다 느리게 성장할 수 있다. 이 예에서, 시스템(100)은 지리적 경계에서 각각의 개별 농작물 단위의 상이한 성장 단계를 설명할 수 있고 개별 농업 대상물의 특정 개별 처리를 위해 최적화된 처리 매개변수의 고유한 프로파일을 적용할 수 있다. 이렇게 하면 일부 대상물의 성장 속도를 효과적으로 높이거나 다른 대상물의 성장 속도를 늦추어 농작물이 수확할 수 있는 상태에 있을 때 농작물을 최적화하고 보다 효율적으로 수확할 수 있다. 또 다른 예에서, 시스템(100)은 시스템(100)에 의해 보여지고 식별된 현재 특성으로 인해 감지된 일부 농업 대상물이 미래에 수확을 위해 처리할 가치가 없을 수 있다고 결정할 수 있다. 시스템(100)은 처리 매개변수를 조정하고 대상물을 제거하거나 대상물의 성장을 멈추기 위한 처리를 수행하거나, 또는 동일한 지리적 경계 또는 동일한 식물에서 다른 농작물을 보다 효율적이고 효과적으로 재배하고 최적화하기 위하여 시스템(100)이 향후 트라이얼에서 공간에서 대상물을 감지하더라도 시스템(100)이 처리 적용을 자제할 수 있도록 처리를 포기할 수 있다.
일 예에서, 시스템(100)은 지리적 경계의 위치 추정 및 위치 좌표 및 이미지 및 위치 데이터와 연관된 타임스탬프가 부착되고, 사용자 인터페이스(144)를 통해 보기 위하여 사용자에 의해 선택되거나 또는 이미지 프로세싱 모듈(130) 또는 요청 모듈(106), 프로세싱하기 위한 퇴적 모듈(112)를 포함하는 시스템(100)의 구성 요소에 의해 선택된 캡처 및 레이블된 이미지 데이터를 저장할 수 있다.
농업 대상물은 농업 처리 시스템에 의해 이미지에서 감지되는 임의 수의 대상물 및 특징일 수 있으며, 여기에는 다양한 종류의 식물, 다양한 종류의 식물의 다양한 단계, 농작물로 변할 식물을 처리하거나 식물을 처리하는 것을 포함하여 처리할 타겟 식물, 식물 제거나 식물의 성장 속도를 중단 또는 제어하기 위한 식물 또는 농작물로 간주되고 상이한 처리 매개별수로 처리될 수 있는 식물을 포함할 수 있다. 처리 시스템에 의해 감지되고 관찰되는 다른 대상물은 나무를 포함하는 장면의 랜드마크, 잔가지(spurs), 줄기, 싹(shoots), 곁가지를 포함하는 나무의 부분들, 흙(dirt), 토양(soil), 물, 진흙 등을 포함하는 지질(terrain)의 특정 부분, 격자(trellises), 철사, 농업에 사용되는 다른 농자제를 포함할 수 있다. 이 예에서 관심 있는 농업 대상물은 수확 가능한 농작물로 성장하기 위한 타겟 식물이 될 수 있다. 한 예에서, 관심 있는 농업 대상물은 잡초의 식물 또는 농작물이 아닌 식물과 같이 제거할 타겟 식물일 수 있다. 한 예에서, 농업 대상물은 경작 프로세스의 적어도 일부가 토양을 하나 이상의 유체 화학적 처리로 처리하도록 관찰하고 경작할 관심 토양의 일부일 수 있다. 농업 대상물은 시스템(100)과 유사한 자동 처리 시스템 또는 각각이 위치 데이터, 이미지 촬영 시점의 타임스탬프, 감지되고 인덱싱된 각 개별 농업 대상물의 처리 이력을 갖는 동일하거나 유사한 농업 대상물과 관련된 이미지의 레이블된 특징을 포함하는 이미지의 인덱싱된 저장소(repository)를 갖는 농업 처리 시스템(400)(아래에서 자세히 설명됨)에 내장된 머신 비전 시스템 및 알고리즘으로 감지될 수 있다.
도 4는 농업 관찰 및 처리 시스템, 또는 농업 처리 시스템(400) 또는 처리 시스템의 시스템 구조를 도시한다. 농업 처리 시스템(400)은 식물, 토양, 농업 환경을 관찰하거나 식물의 성장, 수정, 수분, 그 건강 보호 및 치료, 간벌(thinning), 수확 또는 원치 않는 식물 또는 유기체 제거 또는 특정 식별된 식물 또는 식물의 일부에서 성장 중지 또는 이들의 조합을 위한 식물의 처리와 같은 식물, 토양, 농업 환경 또는 그 조합을 처리하도록 구성된 복수의 컴퓨팅, 제어, 센싱, 네비게이션, 프로세스, 파워 및 네트워크 모듈을 갖는 로봇을 포함할 수 있다.
시스템, 로봇, 컴퓨터 소프트웨어 및 시스템, 컴퓨터 비전 및 자동화를 사용하는 응용 프로그램 또는 이들의 조합은 기계 학습, 컨볼루션 신경망("CNN"), 심층 신경망("DNN") 및 컴퓨터 기반 인공 지능의 기타 분야를 포함한 딥 러닝 뿐만 아니라 2D 및 3D 이미지를 포함하여 하나 이상의 이미지의 특징 또는 부분을 비교하고 일치시키고, 개별 농업 대상물의 감지, 식별, 분류 및 처리를 용이하게 하고, 동시적 위치 추정 및 매핑(SLAM) 시스템 및 알고리즘, 입체 시각적 오도메트리(odometry) 또는 그 조합을 포함하는 시각적 오도메트리 시스템 및 알고리즘을 이용하는 농업 대상물 또는 로봇 시스템 및/또는 네비게이션 응용의 가시화, 매핑, 포즈를 수행 및 구현하고, 카메라, 깊이 감지 카메라 또는 기타 깊이 센서, 흑백 카메라, RGB 카메라를 포함한 컬러 카메라, RGB-D 카메라, 적외선 카메라, 라인 스캔 카메라, 영역 스캔 카메라, 롤링 셔터 및 글로벌 셔터 카메라, 광전 센서, 광 센서, 빛 감지 및 거리 측정 센서(LiDar) 포함 회전식 LiDar, 플래시 LiDar, 정적 LiDar 등, 레이저, 레이더 센서, 소나 센서, 무선 센서, 초음파 센서 및 거리 측정기, 기타 범위 센서, 광전 센서, GPS(Global Positioning System), 자이로스코프를 포함한 관성 측정 장치(IMU), 가속도계 및 자력계 또는 이들의 조합, 속도계, 휠 오도메트리 센서 및 인코더, 바람 센서, 스테레오 비전 시스템 및 다중 카메라 시스템, 전방향 비전 시스템을 포함한 감지 장치, 유무선 통신 시스템 및 5G 무선 통신을 포함한 네트워크 통신 시스템, 온보드 컴퓨팅, 모바일 컴퓨팅, 에지 컴퓨팅, 클라우드 및 클라우드 컴퓨팅, 포그 컴퓨팅 및 기타 중앙 집중식 및 분산식 컴퓨팅 시스템 및 방법을 포함한 컴퓨팅 시스템과 관련 기계, 전기 및 전자 하드웨어를 포함한 차량 및 자율 차량 기술로 인식, 내비게이션, 매핑, 시각화, 이동성, 추적, 타겟팅을 제공하기 위해 감지 기술과 센서 데이터를 수신 및 융합하는 컴퓨터 비전 기술을 사용하여 구현될 수 있다. 위에서 설명한 시스템, 로봇, 컴퓨터 소프트웨어 및 시스템, 컴퓨터 비전 및 자동화를 사용하는 애플리케이션 또는 이들의 조합은 예를 들어 관찰, 식별, 타임스탬프 및 이력으로 인덱스, 및/또는 실제 지리적 경계에서의 위치, 성장 단계, 및 임의의 및 모든 처리 이력을 기초로 식별된 농업 대상물에 예를 들면 농업 처리를 적용하기 위하여 예를 들면 지리적 경계에 있는 대상물들에 대해 적용될 수 있다.
이 예에서, 농업 처리 시스템(400)은 온보드 컴퓨팅 유닛(420)을 포함할 수 있으며, 이러한 컴퓨팅 유닛(420)은 시스템 온 칩에 내장된다. 온보드 컴퓨팅 유닛은 이미지를 프로세싱하고, 농업 처리 시스템(400)을 지원하는 차량에 탑재된 다양한 구성요소와 명령을 송수신하도록 구성된 컴퓨팅 모듈(424)을 포함할 수 있다. 컴퓨팅 유닛은 또한 엔진 제어 유닛(422), 시스템 사용자 인터페이스, 시스템 UI(428) 및 통신 모듈(426)을 포함할 수 있다.
ECU(422)는 농업 처리 시스템(400)이 조종할 센싱 및 환경과 관련된 다양한 전기적 구성요소, 농업 처리 시스템(400)의 물리적 구성요소의 방향 설정 및 농업 처리 시스템(400)을 이동시키는 것과 관련된 전기적 구성요소, 및 전력 관리 및 처리 시스템의 전기 구성요소의 활성화와 관련된 기타 신호를 제어, 관리 및 조절하도록 구성될 수 있다. ECU(422)는 또한 조명 모듈(460)의 활성화 및 비활성화와 같은 농업 처리 시스템(400)의 특정 구성요소의 활성화 및 비활성화를 동기화하고 조명 모듈(460)을 카메라 모듈(450)의 하나 이상의 카메라 또는 농업 대상물의 관찰 및 처리를 위한 농업 현장을 감지하기 위한 감지 모듈(451)의 하나 이상의 다른 센서들로 동기화하도록 구성될 수 있다.
컴퓨팅 모듈(424)은 이미지 센서 또는 다른 구성요소로부터 이미지 데이터를 수신하고 프로세싱하도록 구성된 컴퓨팅 장치 및 구성요소를 포함할 수 있다. 이 예에서, 컴퓨팅 모듈(424)은 이미지를 프로세싱하고, 이미지를 비교하고, 농업 대상물, 랜드마크 또는 장면과 같은 대상물의 분류를 포함하여 이미지의 특징을 식별, 위치 지정 및 분류할 수 있을 뿐만 아니라 이미지 및 이미지 데이터와 융합된 다른 센서 데이터에 대해 컴퓨팅 모듈(424)에 의해 생성된 계산 및 결정에 기초하여 실제의 대상물의 위치, 자세 추정 또는 둘 모두를 식별할 수 있다. 통신 모듈(426) 및 컴퓨팅 유닛에 대한 임의의 원격 측정 모듈(telemetry modules)은 감지 신호, 렌더링된 이미지, 인덱스된 이미지, 이미지 내의 대상물의 분류, 내비게이션 및 위치 관련 데이터, 비디오, 작물 수확량 추정, 작물 건강, 클러스터 수, 필요한 수분량, 작물 상태, 크기, 색상, 밀도 등을 포함하는 농업 데이터를 수신 및 전송하도록 구성될 수 있으며, 컴퓨팅 모듈(424)을 위한 하나 이상의 컴퓨팅 장치 또는 구성요소와 같이 차량에 탑재된 컴퓨터 또는 컴퓨팅 장치에서 프로세싱되거나, 차량에 탑재된 장치에 가까운 원격 장치 또는 농업 처리 시스템(400)이 기동하는 농업 현장 또는 환경으로부터 더 먼 거리에 있는 원격 장치에서 원격으로 처리될 수 있다.
예를 들어, 통신 모듈(426)은 유선 네트워크, 무선 네트워크, 블루투스 네트워크, 5G 무선 표준 기술 하의 무선 네트워크, 라디오, 셀룰러 등과 같은 네트워크(1520)를 통해 모바일 장치(1540), 원격 컴퓨팅(1530)을 포함하는 데이터의 원격 컴퓨팅 장치, 경작지 저장소(1570)와 같은 농작물의 이미지 및 기타 센서 데이터를 저장하는 데이터베이스, 또는 농업 대상물, 장면, 환경, 농업 대상물 및 지형과 관련된 이미지 및 비디오, 기계 학습 알고리즘을 위한 트레이닝 데이터, 이미지 캡처 장치 또는 다른 감지 장치에 의해 캡처되는 원시 데이터(raw data), 농업 대상물의 인덱싱된 이미지의 저장소와 같은 프로세싱된 데이터와 관련된 정보를 저장하는 다른 데이터베이스를 포함하는 에지 및 클라우드 컴퓨팅 장치에 신호를 전달할 수 있다. 이 예에서, 모바일 장치(1540)는 통신 모듈(426)을 통해 농업 처리 시스템(400)을 제어할 수 있을 뿐만 아니라 원격 측정 모듈(366)로부터 감지 신호를 수신할 수 있다. 모바일 장치(1540)는 또한 이미지를 프로세싱하고 프로세싱된 이미지를 데이터베이스(1560)에, 또는 경작지 저장소(1570)에 또는 농업 처리 시스템(400)의 온보드 컴퓨팅 시스템으로 다시 저장할 수 있다. 일 예에서, 원격 컴퓨팅(1530) 구성 요소는 이미지 및 감지 신호를 프로세싱하고 이들을 저장하며, 프로세싱된 정보를 데이터베이스(1560)에 또는 네트워크(1520)를 통해 농업 처리 시스템(400)의 온보드 컴퓨팅 장치에 다시 전송하는 전용의 하나 이상의 컴퓨팅 장치일 수 있다.
일 예에서, 농업 처리 시스템(400)은 센서(432)를 갖는 내비게이션 유닛(430)을 포함한다. 내비게이션 유닛(430)은 농업 처리 시스템(400)의 계획된 방향 및 이동 속도를 실시간으로 결정하는 것을 포함하여 농업 처리 시스템(400)의 자세 및 위치를 식별하도록 구성될 수 있다. 내비게이션 유닛(430)은 센서(432)로부터 센싱 신호를 수신할 수 있다. 이 예에서 센싱 신호는 카메라 또는 라이다(LiDars)로부터 수신한 이미지를 포함할 수 있다. 수신된 이미지는 기하학적 SLAM 및 공간 SLAM 기술, 시각적 오도메트리 또는 둘 다를 포함하는 SLAM(Simultaneous Visualization and Mapping)을 기반으로 지형, 지상 장면, 농장과 같은 농업 환경 등의 2D 또는 3D 그리드 맵을 생성하는 데 사용할 수 있다. 센서(432)로부터의 감지 신호는 또한 RGB-D 카메라 또는 적외선 카메라를 포함하는 깊이 감지 카메라로부터의 깊이 신호 또는 스테레오 비전 카메라와 같은 스테레오 비전 장착 센서로 계산된 깊이 신호 및 레이더로부터의 다른 신호, GPS(global positioning system) 유닛, 휠 오도메트리용 인코더, IMU's, 속도계 등으로부터 라디오, 소나 신호, 광전 및 광신호, 위치 감지 신호를 포함할 수 있다. 내비게이션 유닛(430)의 시스템 온 칩 또는 다른 컴퓨팅 장치와 같은 컴퓨팅 구성요소를 갖는 컴퓨팅 모듈(434) 또는 컴퓨팅 유닛(420)의 컴퓨팅 모듈(424), 또는 둘 모두는 센서(432)에 의해 수신된 감지 신호를 융합하고, 가속, 감속, 옆으로 이동, 회전, 로커 방향 및 서스펜션 변경, 이동, 정지 또는 이들의 조합과 같은 동작 계획 또는 처리 유닛(470)을 지면에, 특히 지면 상의 타겟 식물과 같은 관심 대상물에 정렬하기 위한 다른 위치, 자세 및 방향 기반 계산 및 적용을 결정할 수 있다. 일례에서, 내비게이션 유닛(430)은 또한 감지 신호를 수신하고 농업 처리 시스템(400)을 자율적으로 네비게이트할 수 있다. 예를 들어, 자율 주행 시스템(440)은 모터를 갖는 드라이브 유닛(444), 스티어링 구성요소 및 차량을 구동하기 위한 다른 구성요소를 포함하는 모션 구성요소 뿐만 아니라 구동 유닛을 제어하고 차량을 자율적으로 한 위치 및 방향에서 원하는 위치 및 방향으로 이동하기 위하여 컴퓨팅 모듈(424)로부터 명령을 수신하기 위한 모션 컨트롤(442) 또는 컴퓨팅 모듈(424) 또는 둘다를 포함할 수 있다.
일 예에서, 내비게이션 유닛(430)은 컴퓨팅 유닛(420)과 같은 농업 처리 시스템(400)의 다른 구성요소로부터 신호를 송수신하거나 다른 컴퓨팅 장치 및 네트워크(1520)를 통한 원격 컴퓨팅 장치를 포함하는 차량 외부의 다른 컴퓨팅 장치 및 데이터베이스로부터 신호를 송수신하기 위한 통신 모듈(436)을 포함할 수 있다.
다른 예에서, 내비게이션 유닛(430)은 하나 이상의 카메라, Lidar, GPS, IMU, VO 카메라, 카메라 및 LiDar와 같은 SLAM 감지 장치, 레이저, 거리 측정기, 소나, 등을 포함하는 복수개의 센서 및 장면을 감지 및 식별하고, 농업 처리 시스템(400) 및 처리 유닛(470)을 현장에 위치시키고, 수신되고 융합되고 내비게이션 유닛(430)에 의해 프로세싱되거나 컴퓨팅 모듈(424) 및/또는 처리 시스템(900)의 다른 온보드 컴퓨팅 장치에 의해 프로세싱되도록 내비게이션 유닛(430)에 의해 전송된 신호에 기초하여 처리 유닛(470)과 현실 세계 농업 대상물 사이의 거리를 계산 및 결정하기 위한 다른 센서들로부터 감지 신호를 수신할 수 있다. 수신된 이미지는 지형, 지상 장면, 농장과 같은 농업 환경 등의 SLAM, 기하학 기반 또는 학습 기반 시각적 오도메트리를 포함한 시각적 오도메트리를 기반으로 2D 또는 3D 지도를 생성하는 데 사용할 수 있다. 감지 신호에는 농장 또는 지정된 경계를 갖는 다른 경작지와 같은 지역 농업 환경, 세계 환경 또는 이들의 조합 뿐만 아니라 지역 환경에서 관심 대상물에 대한 RGB-D 카메라 또는 적외선 카메라를 포함하는 깊이 감지 카메라로부터의 깊이 신호, 레이더, 라디오, 수중 음파 신호, 광전자 및 광신호 외에도 GPS, 휠 오도메트리용 인코더, IMU, 속도계, 및 농업 처리 시스템(400)의 위치 추정, 매핑 및 위치를 결정하기 위한 기타 센서로부터의 위치 감지 신호를 포함할 수 있다. 내비게이션 유닛(430)은 센서에 의해 수신된 감지 신호를 융합할 수 있고, 가속, 감속, 측면 이동, 회전, 이동, 정지, 롤 변경, 피치 및/또는 요 방향(yaw orientation) 또는 이들의 조합과 같은 동작 계획 또는 기타 위치, 위치 추정, 자세 및 방향 기반 계산 및 응용 프로그램을 결정할 수 있다.
일 예에서, 내비게이션 유닛(430)은 센서, 컴퓨터 구성요소 및 회로를 활용하도록 구성된 지형 모듈을 포함할 수 있으며, 지형 모듈은 지형의 평면 또는 장면 상의 고르지 않은 표면을 감지하도록 구성되며, 이는 지형 모듈이 처리 시스템의 나머지 구성요소와 통신하여 이를 예측, 조정, 회피, 보상 및 다른 조치를 하도록 하여, 농업 처리 시스템(400)이 지형에서 감지된 고르지 않은 표면을 인지하고, 식별하고, 지형에서 고유한 고르지 않은 표면을 식별하고 매핑하여, 내비게이션 유닛(430)을 지원하는 차량을 로컬라니즈한다.
일 예에서, 농업 처리 시스템(400)은 예를 들어 꽃, 과일, 과실, 꽃봉오리, 가지, 식물 꽃잎 및 잎, 식물 암술 및 암술머리, 식물 뿌리 또는 식물의 기타 하위 구성요소와 같은 농업 대상물 및 처리 유닛(470), 카메라 모듈(450) 또는 둘 다에 대한 농업 대상물의 위치, 위치 및 자세 및 지면 또는 지형에서의 위치를 식별하기 위하여 지면, 지형, 과수원, 농작물, 나무, 식물 또는 이들의 조합의 이미지 데이터 또는 다른 감지 데이터를 수신하기 위해 하나 이상의 카메라를 갖는 카메라 모듈(450), 다른 감지 장치를 갖는 감지 모듈(451), 또는 둘 모두를 포함한다. 카메라는 한 쌍의 컬러 또는 흑백 카메라가 지면을 향하도록 배치하는 것과 같은 스테레오 비전을 갖도록 배향될 수 있다. 감지 모듈(451)의 다른 센서는 카메라 모듈(450)의 카메라와 병렬로 지형 또는 농장에서 농업 대상물을 식별, 분석 및 위치 파악하기 위해 과수원의 땅 또는 나무를 가리킬 수 있으며 깊이 감지 카메라, LiDars, 레이더, 전기 광학 센서, 레이저 등을 포함할 수 있다.
일 예에서, 농업 처리 시스템(400)은 처리 헤드(472)를 갖는 처리 유닛(470)을 포함할 수 있다. 이 예에서, 처리 유닛(470)은 처리 유닛(470)에 대한 지상 지형 상의 타겟 위치 및 위치를 처리하기 위해 처리 헤드(472)를 통해 레이저를 가리키고 비추라는 명령을 수신하도록 구성될 수 있다.
농업 처리 시스템(400)은 또한 농업 처리 시스템(400)을 관심 있는 농작물 및 기타 식물이 있는 지형 또는 과수원을 통과하여 이동 및 조작하도록 구성된 농업 처리 시스템(400)을 지원하는 차량의 메카트로닉스 및 전자 부품을 제어하도록 구성된 하나 이상의 컴퓨팅 장치, 구성요소, 회로 및 제어기를 포함하는 동작 제어(442)를 포함할 수 있어서, 농업용 처리 시스템(400)이 지형을 통해 기동할 때, 카메라(350)는 지형을 통해 스캐닝하고 이미지를 캡처하고 처리 유닛은 카메라 모듈(450) 및 감지 모듈(451)로부터의 다른 센서로부터 캡처된 이미지에서 식별된 원하지 않는 식물을 처리한다. 일례에서, 원하지 않는 식물은 타겟 농작물 또는 관심 농작물과 같은 바람직한 식물 옆에 또는 그 근처에서 자라는 데 바람직하지 않은 잡초일 수 있다. 한 예에서, 원하지 않는 식물은 특정 식물 또는 나무에서 자라는 각각의 농작물이 제어될 수 있고 식물로부터 끌어온 영양분이 제어된 방식으로 나머지 농작물에 분배될 수 있도록 의도적으로 제거 또는 성장 차단을 목표로 하는 농작물일 수 있다.
농업 처리 시스템(400)은 또한 농업 처리 시스템(400)의 전자 구성요소에 전력을 공급하도록 구성되는 하나 이상의 배터리(490)를 포함할 수 있으며, 배터리(490)로부터 원하는 전력을 배터리로 직접 전원을 공급받는 각각의 전자 부품에 인가하기 위한 DC-DC 변환기를 포함한다.
일례에서, 조명 모듈(460)은 LED 조명과 같은 조명의 하나 이상의 광 어레이를 포함할 수 있다. 하나 이상의 광 어레이는 밝은 이미지를 캡처하기 위한 인공 조명을 제공하기 위해 카메라 모듈(450) 및 센서 모듈(451)의 하나 이상의 카메라 또는 센서 근처에 위치될 수 있다. 광 어레이는 차량 측면에서 방사형으로 지면과 평행하게 가리키고 위쪽으로 자라는 나무나 기타 식물을 비추도록 배치할 수 있다. 광 어레이는 줄뿌림 농작물(row crops)이나 다른 식물 또는 토양 자체와 같은 지상의 식물을 비추기 위해 바닥을 향하도록 배치할 수도 있다. 광 어레이는 ECU 422에 의해 제어될 수 있으며 ECU 422에 내장된 동기화 모듈 또는 별도의 전자 부품이나 모듈에 의해 제어될 수 있어서, 조명은 카메라 모듈(450)의 카메라의 1 프레임의 길이 동안 일치하는 셔터 속도로 최대 전력 및 광도(luminosity)까지만 깜박인다. 일 예에서, 조명은 카메라 셔터 속도의 배수 시간 길이 동안 최대 전력으로 깜박이도록 ECU(422)에 의해 구성될 수 있다. 일 예에서, 광 어레이의 조명은 광 어레이의 LED를 활성화하라는 지시와 카메라를 켜고 이미지를 캡처하라는 지시가 설정된 시간, 미리 결정된 시간, 또는 컴퓨팅 유닛(420)에 의해 감지된 오류 및 오프셋에 기초하여 자동으로 계산된 시간 만큼 오프셋되도록 시간 오프셋으로 카메라에 동기화될 수 있어서, ECU가 광 어레이를 활성화하기 위한 신호를 전송하는 순간 이후의 순간이 될 LED가 실제로 최대 전력 또는 원하는 광도로 활성화될 때, 카메라도 동시에 활성화되고 제1 이미지를 캡처한 다음 조명과 카메라가 모두 동기화되어 동일한 주파수에서 실행된다. 일 예에서, 활성화된 빛의 최대 전력의 시간 길이는 카메라의 캡처된 각각의 프레임의 노출 시간 또는 노출 시간의 배수와 일치되고 동기화된다.
예를 들어, 광 어레이의 조명은 켜진 상태에서 깜박이고 최대 전력에 도달하며 30에서 1000Hz의 속도로 꺼질 수 있다. 일 예에서, 조명은 240Hz의 롤링 셔터 속도, 글로벌 셔터 속도 또는 둘 다를 갖는 하나 이상의 카메라와 일치하도록 240Hz에서 깜박일 수 있다. 일 예에서, 30Hz 또는 60Hz의 롤링 셔터 속도, 글로벌 셔터 속도 또는 둘 다를 갖는 하나 이상의 카메라와 일치하도록 조명이 240Hz로 깜박일 수 있다. 일 예에서, 조명은 10% 미만의 듀티 사이클로 250마이크로초 동안 지속된 최대 전력 ON으로 2.0M 루멘의 최대 전력에 도달할 수 있다. 일 예에서, 광(170)의 색온도는 차갑고, 따뜻하며, 중성, 흐림 등을 포함하는 백색광의 전체 스펙트럼을 포함할 수 있다. 일 예에서, 광의 색온도는 태양의 색온도를 반사하고 인위적으로 모방하기 위해 약 5000K nm일 수 있다.
일 예에서, 농업 처리 시스템(400)은 처리 헤드(472)를 갖는 처리 유닛(470)을 포함할 수 있다. 이 예에서, 처리 유닛(470)은 처리 유닛(470)에 근접한 실제 대상물의 표면을 처리하기 위해 처리 헤드(472)를 가리키도록 된 명령을 수신하도록 구성된 예를 들어 하나 이상의 마이크로컨트롤러, 전자 제어 유닛, FPGA, ASIC, 시스템 온 칩, 또는 다른 컴퓨팅 장치와 같은 터릿(turret) 및 회로, 전자 부품 및 컴퓨팅 장치를 포함할 수 있다. 예를 들어, 처리 유닛(470)은 캡처된 이미지에서 농업 대상물을 감지하고 처리 유닛(470)에 대해 현실 세계에서 그 위치를 결정하는 것에 기초하여 현실 세계에서 농업 대상물 위로 처리 화학 물질의 유체 발사체를 방출할 수 있다.
처리 유닛(470)은 짐벌 조립체를 포함할 수 있어서, 처리 헤드(472)는 짐벌 조립체에 매립되거나 짐벌 조립체에 의해 지지될 수 있어, 처리 헤드(472)가 효과적으로 스스로 회전하고 하나 이상의 회전축 주위로 스스로 배향되게 한다. 예를 들어, 짐벌 조립체는 제1 짐벌 축 및 제2 짐벌 축을 가질 수 있는데, 제1 짐벌 축은 짐벌이 요우잉 축(yaw axis)을 중심으로 회전하도록 허용하고 제2 짐벌 축은 짐벌이 피치 축을 중심으로 회전하도록 허용한다. 이 예에서, 처리 유닛의 제어 모듈은 짐벌 조립체를 제어하여 제1 짐벌 축, 제2 짐벌 축, 또는 둘 다를 중심으로 짐벌 조립체의 회전을 변경할 수 있다. 컴퓨팅 모듈(424)은 지상 장면 상의 위치, 지형 또는 과수원의 나무 또는 기타 농업 환경을 결정하고, 처리 유닛(470)의 제어 모듈에 처리 유닛(470)의 짐벌 조립체를 회전 및 배향하도록 지시할 수 있다. 일 예에서, 컴퓨팅 모듈(424)은 처리 헤드(472)를 실시간으로 배치 및 배향하기 위하여 짐벌 조립체에 대한 위치 및 방향을 결정하고 농업 처리 시스템(400)이 지상에 고정된 위치에 있거나 이동 중인 지상의 임의의 타겟 식물 또는 관심 있는 농업 대상물에 대해 이동함에 따라 처리 헤드(472)의 위치 및 방향을 조정할 수 있다. 농업 처리 시스템(400)은 처리 유닛(470)의 제어 모듈에 의해 수신된 지시 및 수행된 제어를 통해 처리 유닛(470)을 처리 헤드(472)에서 타겟 식물 또는 다른 관심 농업 대상물에 잠금하여, 짐벌 조립체를 이동시키거나 또는 처리 헤드(472)의 시선을 타겟 식물에 실시간으로 유지 및 조정할 수 있다.
일 예에서, 농업 처리 시스템(400)의 화학 물질 선택 모듈 또는 화학 물질 선택(480)은 컴퓨팅 모듈(424) 및 처리 유닛(470)에 연결될 수 있다. 화학 물질 선택 모듈은 지시를 수신하여 타겟 식물 또는 다른 대상물을 처리하기 위해 화학적 유체 또는 가스를 처리 유닛(470)으로 전송하도록 구성될 수 있다. 이 예에서, 화학 물질 선택 모듈은 하나 이상의 화학 탱크(482), 하나 이상의 화학 탱크(484)에 작동 가능한 하나 이상의 화학 물질 조절기(484)를 포함할 수 있어 탱크에 대한 하나의 화학 물질 조절기, 각각의 탱크에 대한 펌프, 및 화학 물질 혼합기(488)에 의해 선택된 각각의 화학 탱크로부터 수신된 화학 물질 혼합물을 실시간으로 혼합할 수 있는 화학 물질 혼합기(488)가 있다. 일 예에서, 화학 물질 선택 모듈(480)을 포함하는 농업 처리 시스템(400)을 지원하는 차량은, 일련의 하나의 화학 탱크(482), 화학 펌프, 화학 물질 조절기(486), 화학 물질 및 화학 물질 축적기를 지원하여, 대상물의 표면에 퇴적을 위하여 원하는 화학 물질 또는 액체가 탱크의 저장된 상태에서 처리 장치(470)로 이동할 수 있는 경로를 연결한다. 화학 물질 조절기(484)는 유체가 펌프에서 처리 유닛으로 이동할 때 유체의 흐름과 압력을 조절하는 데 사용될 수 있다. 조절기(484)는 사용자에 의해 수동으로 설정되어 차량 상에 조절기를 물리적으로 구성하거나 컴퓨팅 모듈(424) 또는 ECU(422)에서 컴퓨팅 유닛(420)에 의해 제어될 수 있다. 설정되거나, 계산되거나, 희망되거나 또는 이들의 조합의 처리 매개변수에 따라 펌프로부터 처리 유닛(470)까지의 유체의 흐름 및 압력을 자동으로 조정할 수 있다. 한 예에서, 펌프는 유체를 저장 탱크에서 화학 탱크(482)에서 처리 유닛(470)까지의 일련의 구성 요소에서 다음 모듈인 구성 요소로 이동시키도록 설정될 수 있다. 펌프는 차량 및 농업용 처리 시스템(400)이 현재 식물 또는 토양 처리를 위한 트라이얼 운전 중일 때 항상 가압되는 일정한 압력으로 설정될 수 있다. 압력은 조절기 및 축적기(487)의 일정한 압력으로부터 제어되도록 조절될 수 있으므로, 컴퓨터가 실시간으로 펌프 압력을 변경할 필요가 없다. 조절기와 축적기를 사용하면 펌프의 전압이나 전력을 제어하는 대신 유체 발사체의 분무 또는 방출에 필요한 압력을 정밀하게 제어하도록 할 수 있다. 일 예에서, 농업 처리 시스템(400)은 실시간으로 캡처된 이미지에서 식별된 타겟 식물의 이미지 분석을 기반으로 현실 세계에서 분무할 타겟 식물을 식별할 것이다. 컴퓨팅 유닛(420)은 처리 유닛(470)의 방향, 방향, 및 가압을 계산할 수 있어서, 처리 유닛(470)이 활성화되고 가압된 액체가 화학 물질 선택 모듈(480)로부터 처리 유닛(470)으로 통과하도록 밸브를 개방할 때, 압력으로부터 원하는 방향, 방향 및 크기의 유체 발사체는 처리 헤드(472)에서 처리 유닛(470)으로부터 방출될 것이다. 펌프는 흐름이 있든 없든 화학 탱크(482)로부터 처리 유닛(470)까지의 액체 스트림을 일정한 압력으로 유지할 것이다. 일련의 구성요소의 화학 물질 조절기(484)는 트라이얼 전에 수동으로 제어되거나, 트라이얼 전에 컴퓨팅 유닛(420)에 의해 제어되거나, 트라이얼 동안 사용자로부터의 원격 명령으로 또는 컴퓨팅 모듈(424)에 의한 자동 계산으로 컴퓨팅 유닛(420)에 의해 실시간으로 제어 및 변경되어 압력을 원하는 압력으로 조정하고 낮출 것이다. 축적기(487)는 처리 유닛(470)이 가압 유체를 방출 및 배출(releases and emit)한 후에도 화학 물질 조절기(484)에 의해 조정되고 제어되는 원하는 압력으로 일련의 가압된 액체 스트림을 유지하여, 펌프로부터 처리 유닛(470)으로의 유체 흐름이 가압 유체의 방출로 인한 압력 강하 없이 항상 원하는 압력으로 유지될 것이다.
한 예에서, 화학 물질은 식물 또는 토양을 처리하기 위한 다양한 화학 혼합물의 용액일 수 있다. 화학 물질은 살충제, 제초제, 살진균제(fungicides), 살곤충제, 살진균제, 보조제(adjuvants), 성장 촉진제, 제제, 인공 수분 등 또는 이들의 조합으로서 혼합되거나 미리 혼합되거나 구성되고 사용될 수 있다. 한 예에서 물 또는 증기는 위에서 설명한 유체 또는 화학적 선택을 대체할 수 있다. 일 예에서, 농업 처리 시스템(400)은 분말 스프레이 또는 발사체 뿐만 아니라 포말, 겔, 코팅, 또는 화학적 분무 장치로부터 방출될 수 있는 다른 물리적 물질을 적용할 수 있다.
도 5는 분무용 화학 혼합물을 선택하고 생성하기 위한 시스템(402)을 예시한다. 일 예에서, 시스템(402)은 농업 처리 시스템(400)과 결합되고 차량에 장착되거나 부착된 서브시스템일 수 있다. 일 예에서, 시스템(402)은 농업 처리 시스템(400)의 방출기(470)가 목표물을 지정하고 분무하라는 명령을 수신할 수 있고 화학 물질 선택기(488a)가 원하는 화학 물질 혼합물을 실시간으로 제공할 수 있도록 실시간으로 구현될 수 있다. 예를 들어, 복수의 일련의 화학 물질 선택 구성요소는 각각의 일련의 화학 물질 선택 구성요소를 병렬로 실행하여 화학 물질 혼합기(488a)가 유체, 액체, 가스, 분말, 물, 증기 등의 형태로 화학 물질을 실시간으로 혼합하고, 원하는 혼합 화학 물질을 함량, 비례, 농도 및 부피 모두에서 처리 유닛 또는 이미터(470)로 전송하여 발사체, 에어로졸, 안개 또는 분말 또는 액체 방울로서 대상물의 표면에 방출되도록 구성될 수 있다. 일 예에서, 화학 물질 선택을 위한 제1 일련의 구성요소는 화학 탱크(482a), 화학 펌프(485a), 조절기(486a), 축적기(487a), 및 각각의 화학 탱크(482a), 화학 펌프(485a), 조절기(486a) 및 축적기(487a)를 직렬로 화학 물질 혼합기(488a)에 연결되도록 링크하기 위한 하기 위한 하나 이상의 분무 튜브 및 전위 회로를 포함할 수 있다. 화학 탱크(482a)는 원하는 화학 물질을 저장할 수 있으며, 이는 미리 혼합된 화학 물질이나 다른 화학 물질의 세트일 수 있다. 예를 들어, 화학 탱크(482a)는 화학 물질-1을 저장할 수 있다. 일련의 화학 물질 선택 구성 요소(482a, 485a, 486a, 및 487a)와 병렬로, 화학 탱크(482b), 화학 펌프(485b), 조절기(486b) 및 축적기(487b)를 포함하는 제2 일련의 화학 물질 선택 구성 요소가 있다. 구성요소(482b, 485b, 486b 및 487b)는 하나 이상의 스프레이 튜브와 직렬로 연결될 수 있고 화학 물질 혼합기(488a)에 연결된다. 화학 탱크(482b)는 화학 물질-1과 다른 화학 물질 혼합물 또는 농도일 수 있는 화학 물질-2를 저장할 수 있다. 이러한 구성에서, 화학 물질 혼합기(488a)는 관찰 및 분무 트라이얼 동안 차량에서 실시간으로 화학 물질-1, 화학 물질-2 또는 다양한 농도와 부피를 갖는 이 둘의 조합을 선택하고 추출할 수 있다. 화학 물질 혼합기(488a)는 화학 물질-1과 화학 물질-2의 혼합물 또는 화학 물질의 임의의 원하는 혼합물, 또는 단지 단일 채널로부터의 화학 물질을 이미터(470)로 전송하여 타겟 대상물에서 혼합된 화학 발사체, 액적, 에어로졸 등을 방출할 수 있다. 또한, 화학 물질 혼합기(488a)가 화학 물질 혼합물을 추출하고 대상물을 처리하기 위한 새로운 화학 물질 혼합물을 생성할 수 있도록 임의의 수의 상이한 화학 물질 혼합물이 차량 온보드에 저장될 수 있다. 예를 들어, 화학 물질-3을 저장하도록 구성된 화학 탱크(482c), 화학 펌프(485c), 조절기(486c), 축적기(487c)를 포함하는 제3 일련의 화학 물질 선택 구성요소는 다른 두 일련의 화학 물질 선택 구성요소와 병렬로 구성될 수 있어서, 화학 물질 선택기는 화학 물질-1, 화학 물질-2 또는 화학 물질-3의 세 가지 다른 화학 물질 중에서 선택할 수 있다. 또한, 저장되는 화학 탱크의 개수는 분무 튜브에 의해 직렬로 연결되고 화학 물질 혼합기(488a)에 연결된 화학 탱크(482n), 화학 펌프(485n), 조절기(486n) 및 축적기(487n)와 같은 n번째 일련의 화학 약품 선택 구성요소를 포함하여 농업 처리 시스템(400)을 갖는 차량이 지원할 수 있는 수량으로만 제한된다. 화학 물질 혼합기(488a)는 방출기(470)로 전송될 화학 물질-1, 화학 물질-2, 화학 물질-3 등의 부피에서 상이한 조합을 선택하고 수신하고 대상물의 표면에 가압된 발사체, 에어로졸, 미스트 또는 가루 또는 액체 방울을 방출하도록 구성된다. 일 예에서, 화학 탱크 중 하나는 물 또는 증기를 저장할 수 있어서 물이 있는 화학 탱크의 선택이 혼합된 화학 물질의 용액을 희석하는 데 사용된다.
일 예에서, 방출기(470)는 발사체, 액체, 가스, 에어로졸, 스프레이, 연무, 안개 또는 다른 유형의 유체 액적 유도 스프레이를 방출하여 복수의 상이한 식물을 실시간으로 처리할 수 있다. 농업 현장에는 다양한 농작물이 심어진 줄뿌림 농작물 농장이나 과수원이 포함될 수 있다. 이 예에서, 식물의 각 열은 재배 및 처리에 의해 상이한 유형의 식물을 포함할 수 있어서 방출기(470)는 화학 물질 혼합기(488a)에 의해 혼합되어 방출기(470)로 전송되는 화학 물질 혼합물-1과 같은 한 유형의 처리로 하나의 열을 처리하고, 화학 물질 혼합물-2와 같은 다른 농작물 또는 식물에 대한 또 다른 유형의 처리로 하른 열을 처리한다. 이것은 화학 물질을 지원하는 차량과 이미터(470)가 있는 처리 시스템에 의해 하나의 시운전에서 수행될 수 있다. 다른 예에서, 줄뿌림 농작물 농장 또는 과수원에서 각 열 자체는 복수의 다른 유형의 농작물을 가질 수 있다. 예를 들어, 제1 열은 제1 식물 및 제2 식물을 포함할 수 있어, 제1 열의 전체 열에 대해 제1 식물 및 제2 식물이 제1 식물, 제2 식물, 제1 식물, 제2 식물 등의 교대 패턴으로 심어진다. 이 예에서, 화학 물질 선택기(488a) 및 방출기(470)는 실시간으로 정밀 처리를 위해 제1 화학 혼합물 발사체를 제1 식물에 퇴적시키고, 정밀 처리를 위해 제2 화학 혼합물 발사체를 제2 식물에 퇴적시킬 수 있고, 제1 화학 발사체를 농작물 열의 제3 식물에 퇴적하는 것으로 돌아가서 제3 식물은 제1 식물과 동일한 식물 유형이다. 일 예에서, 2개 이상의 유형 또는 종의 복수의 식물이 경작된 토양에 심을 수 있고, 시스템(402)을 갖는 농업 처리 시스템(400)으로 줄뿌림 농작물에서 재배되고 처리될 수 있다.
일 예에서, 농업 처리 시스템(400)의 처리 유닛은 농업 대상물의 표면 또는 다른 부분에서 감지된 임의의 바람직하지 않은 대상물을 씻어내기 위해 하나 이상의 농업 대상물에 물 또는 공기 또는 수증기를 분무할 수 있다. 바람직하지 않은 대상물은 농업 대상물에 더 이상 남기를 원하지 않는 이전에 적용된 화학 물질뿐만 아니라 농업 대상물의 원치 않는 벌레 또는 파편일 수 있다. 한 예에서 처리 유닛은 이전에 물이나 공기로 세척한 농업 대상물을 새로운 화학적 처리로 다시 코팅할 수 있다.
도 6은 일례에 따른 시스템(100) 또는 농업 처리 시스템(400)과 유사한 시스템(600)과 함께 이용될 수 있는 구성요소의 예시적인 개략 블록도를 도시한다. 시스템(600)은 하나 이상의 조명 유닛(610)의 동작과 이미지 센서(606, 608)의 동작의 동기화를 위해 ECU(604)에 데이터를 전송하는 CPU(602)를 포함할 수 있다. ECU(604)는 이미지 센서(606)의 하나 이상의 카메라 및/또는 이미지 센서(608)의 하나 이상의 카메라, 및 각각이 이미지 센서(606 및 608) 및 조명 유닛(610)을 활성화하기 위하여 ECU(604)에 의한 명령을 포함하는 LED의 라이트 바를 포함하는 하나 이상의 조명 유닛(610)에 데이터를 전송/수신한다. CPU(602)는 위치, 속도, 가속도, GPS, 포즈, 방향, 위치 추정 및 매핑 데이터를 수신하도록 구성된 하나 이상의 구성요소 및 모듈을 갖는 내비게이션 유닛으로부터 데이터를 송수신할 수 있다. 일 예에서, 내비게이션 유닛은 휠 오도메트리 또는 시각적 오도메트리를 수행하고 이미지 및 차량 움직임을 프로세싱하여 시스템(600)을 지원하는 차량의 위치 및 방향을 계산하고 결정하기 위한 인코더 및 이미지 센서를 갖춘 차량 오도메트리 모듈(620)을 포함할 수 있다. 내비게이션 유닛은 또한 IMU 데이터를 결정하기 위해 가속도계, 자이로스코프, 자력계, 나침반, 및 MEM을 포함하는 하나 이상의 IMU 센서 및 NEM 센서를 갖는 IMU 모듈(622)을 포함할 수 있다. 내비게이션 유닛은 예를 들어 센티미터 정확도까지 GPS 위치 데이터를 수신하기 위한 GPS 모듈(624)을 또한 포함할 수 있다. 내비게이션 유닛은 또한 농장, 과수원 또는 온실과 같은 농업 지리적 경계를 포함하는 환경을 매핑하고 시스템(600), 지리적 경계에 대한 시스템(600)의 구성요소를 지원하는 차량의 위치 추정 및 방향 만이 아니라 시스템(600)에 의해 감지되는 농업 대상물 및 장면의 위치 추정 및 방향을 결정하기 위한 동시적 위치 추정 및 매핑 알고리즘 및 애플리케이션을 수행하기 위한 SLAM 모듈(625)을 포함할 수 있다. SLAM 모듈(625)은 스테레오 비전 카메라, 전방향성 카메라, 차량에 대해 움직이는 카메라, 또는 LiDar 센서를 포함하는 다른 센서(626)를 포함하는 하나 이상의 카메라로부터 센서 데이터를 취할 수 있다. LiDar 센서는 플래시 LiDar 센서 또는 정적 LiDar 센서, 회전식 LiDar 센서, 기타 거리 측정기 및 위에서 설명한 기타 센서일 수 있다.
CPU(602)는 (하나 이상의 모터를 제어할 수 있는) 마이크로컨트롤러(612)로/로부터 데이터를 송수신할 수 있고, 마이크로컨트롤러는 터릿(618)의 노즐 헤드의 축 방향(614, 616)을 변경하기 위한 하나 이상의 모터 명령을 전송하는 것을 기초하여 터릿(618)을 갖는 처리 유닛의 방향을 변경하기 위한 명령 및 전력 신호를 수신한다. 처리 유닛은 축 방향(614 및 616)을 변경할 수 있는 하나 이상의 모터와 함께 노즐을 지지하는 처리 헤드를 배향하고 지향할 수 있는 터릿(618)을 포함할 수 있고, 타겟 대상물 예를 들어 처리를 위한 농업 대상물에 직접 처리 헤드를 향하게 하고 실제 세계에서 농업 대상물의 표면을 처리하기 위해 화학적 혼합물 또는 물을 갖는 유체 발사체를 방출한다.
CPU(602)는 원격 장치뿐만 아니라 시스템(600)의 다른 구성요소로 명령을 송수신하기 위해 구성요소와 통신한다. 화학 물질 선택 유닛(630)은 하나 이상의 화학 탱크(634)로부터 가압되지 않은 액체를 받도록 구성되고 터릿(618)에 있는 처리 유닛에 대해 작동 가능한 하나 이상의 화학 펌프(들)를 포함할 수 있다. 하나 이상의 화학 탱크(632)는 다른 유형을 가질 수 있다. 화학 펌프는 하나 이상의 화학 탱크(들)(632)로부터 하나 이상의 조절기(634)로 저장된 액체 또는 가스를 보낼 수 있으며, 이는 가압 액체가 터릿(618)에 도달함에 따라 가압 액체를 직렬의 하나 이상의 다른 구성요소로 더 보낼 것이다. 화학 물질 선택 유닛(630)의 다른 일련의 구성요소는 축적기 및 화학 물질 혼합기(636)를 포함할 수 있다. 축적기(626)는 가압된 액체를 노즐(618)로 보낼 수 있고 유체가 노즐에서 환경으로 방출됨에 따라 처리 유닛에 의한 유체의 임의의 방출로부터의 압력이 떨어질 때 액체를 원하는 압력으로 직렬로 유지할 수 있다. 처리 유닛은 액체가 대상물과 특정 물리적 위치에 접촉하기 위해 특정 궤적에서 액체를 방출할 수 있다. 차량 배터리(638)는 하나 이상의 조명 유닛(610), 화학 물질 선택 유닛(630)의 하나 이상의 구성요소, 처리 유닛, 다른 전자 구성요소를 포함하는 시스템(600)의 다른 구성요소뿐만 아니라 CPU(602)에 전력을 보낼 수 있고, 변환기로 조절될 수 있다.
도 7은 여기에 설명된 바와 같은 시스템(600)으로 구성된 예시적인 차량(700)을 도시한다. 이 예에서, 하나 이상의 LED(예를 들어, 조명 모듈(460))를 갖는 라이트 바를 포함하는 다수의 조명 유닛(610)은 시스템(600)을 하우징하고 지지하는 프레임(611) 주위의 다수의 위치에 위치된다. 예를 들어, 3개의 유닛(610)이 프레임의 상부 부분에 배치되고, 3개의 유닛(610)은 프레임의 바닥 부분에 배치되고, 하나의 유닛(610)은 프레임의 좌우측에 배치되어 이미지 센싱 유닛은 지리적 환경을 조명하는 빛에 의해 둘러싸일 수 있다. 이미지 센서(606 및 608)는 프레임(611)에 장착된다. 처리 헤드 및 노즐을 지지하는 터릿(618)을 갖는 처리 유닛은 화학 물질 선택 유닛(630)에 유동적으로 연결된 파이프와 함께 프레임(611)에 장착될 수 있다. CPU(602)와 같은 전자 장치, ECU(604) 등은 프레임(611)에 장착된 컨테이너(601)에 둘러싸일 수 있다.
도 8은 일 실시예에 따른 농업 처리 시스템(400), 시스템(100) 및 시스템(600)과 유사한 시스템(800)과 함께 이용될 수 있는 구성요소의 예시적인 개략 블록도를 도시한다. 시스템(800)은 하나 이상의 퍼치(perches) 또는 처리 모듈(804)과 통신하는 서브시스템(802)을 포함할 수 있다. 처리 모듈(804)은 하나 이상의 처리 장치의 모듈식 시스템의 구성요소일 수 있다. 각각의 처리 모듈(804)에서, 처리 모듈(804)은 하나 이상의 이미지 센서(820 및 822) 및 하나 이상의 조명 유닛(824)을 포함할 수 있다. 처리 모듈(804)은 CPU 또는 시스템 온 칩을 포함할 수 있는 컴퓨팅 유닛(806)을 포함할 수 있으며, 이는 하나 이상의 조명 장치(824)의 작동과 이미지 센서(820 및 822)의 작동을 동기화하기 위해 ECU(818) 또는 도터보드 ECU에 데이터 및 명령을 전송한다. ECU(818)는 이미지의 하나 이상의 카메라에 데이터를 전송/수신할 수 있다. ECU(818)는 이미지 센서(820)의 하나 이상의 카메라 및/또는 이미지 센서(822)의 하나 이상의 카메라, 및 각각이 라이트 바를 포함하는 하나 이상의 조명 유닛(824)에 이미지 센서(820 및 822) 및 조명 유닛(824)을 활성화하기 위한 ECU(828)에 의해 의한 명령을 포함하는 데이터를 송수신할 수 있다.
시스템(800)은 또한 각각의 처리 모듈(804)과 인터페이스하도록 구성된 내비게이션 유닛(802)을 포함할 수 있다. 내비게이션 유닛(802)은 위치, 속도, 가속도, GPS, 포즈, 방향, 위치 추정 및 매핑 데이터를 수신하도록 구성된 하나 이상의 구성요소 및 모듈을 포함할 수 있다. 한 예에서, 내비게이션 유닛(802)은 인코더 및 이미지 센서를 갖춘 차량 오도메트리 모듈(808)을 포함하여 휠 오도메트리 또는 시각적 오도메트리를 수행하고 이미지 및 차량 움직임을 프로세싱하여 시스템(800)을 지원하는 차량의 위치 및 방향을 계산하고 결정할 수 있다. 내비게이션 유닛은 또한 IMU 데이터를 결정하기 위하여 가속도계, 자이로스코프, 자력계, 나침반 및 MEM을 포함하는 하나 이상의 IMU 센서 및 NEM 센서를 갖는 IMU 모듈(810)을 포함할 수 있다. 내비게이션 유닛(802)은 또한 예를 들어, 센티미터 정확도까지의 GPS 위치 데이터를 수신하기 위하여 GPS 모듈(811)을 포함할 수 있다. 내비게이션 유닛은 또한 농장, 과수원 또는 온실과 같은 농업 지리적 경계를 포함하는 환경을 매핑하고 시스템(800)을 지원하는 차량, 지리적 경계에 대한 시스템(800)의 구성요소의 위치 및 방향만이 아니라 시스템(800)에 의해 감지된 농업 대상물 및 장면의 위치 및 방향을 결정하기 위하여 동시적 위치 추정 및 매핑 알고리즘 및 애플리케이션을 수행하기 위한 SLAM 모듈(812)을 포함할 수 있다. SLAM 모듈(812)은 스테레오 비전 카메라, 전방향성 카메라, 차량에 대해 이동하는 카메라 또는 LiDar 센서를 포함하는 다른 센서(813)를 포함하는 하나 이상의 카메라로부터 센서 데이터를 가져올 수 있다. LiDar 센서는 플래시 LiDar 센서 또는 정적 LiDar 센서, 회전식 LiDar 센서, 기타 거리 측정기 및 위에서 설명한 기타 센서일 수 있다. 내비게이션(802)이 위치 추정 및 매핑과 관련된 감지 데이터를 수신함에 따라, 내비게이션 유닛(802)의 cpu 또는 시스템 온 칩을 포함하는 컴퓨팅 유닛(806)은 감지 신호를 융합하고 데이터를 각각의 처리 모듈(804) 또는 통신 모듈(840)을 통한 원격 컴퓨팅 유닛 또는 서버에 전송할 수 있다. 내비게이션 유닛(802)의 감지 구성요소는 ECU(814)에 의해 활성화 및 제어될 수 있다. ECU(814)는 또한 활성화 및 전력 조절을 포함하여 각 처리 모듈(804)와 인터페이스하도록 구성될 수 있다.
처리 모듈(804)은 또한 처리 유닛(828)으로부터 방출될 임의의 유체 발사체의 처리 궤적 및 처리 매개변수를 포함하는 명령을 ecu(818) 및 컴퓨팅 유닛으로부터 수신하도록 구성된 처리 유닛(828)을 포함할 수 있다. CPU(602)는 원격 장치뿐만 아니라 시스템(600)의 다른 구성요소로 명령을 송수신하기 위해 구성요소와 통신한다. 화학 물질 선택 유닛(826)은 하나 이상의 화학 탱크(832)로부터 가압되지 않은 액체를 받도록 구성되고 각각의 처리 모듈(804)의 각각의 처리 유닛 또는 각각의 처리 모듈(804)의 다수의 처리 유닛(828)에 대해 작동 가능한 하나 이상의 화학 펌프(들)를 포함할 수 있다. 하나 이상의 화학 탱크(832)는 다른 유형의 화학 물질을 가질 수 있다. 화학 펌프는 하나 이상의 화학 탱크(들)(832)로부터 하나 이상의 조절기(834)로 저장된 액체 또는 가스를 보낼 수 있으며, 이는 가압 액체가 시스템(800)의 하나 이상의 처리 유닛(828)에 도달할 때 직렬인 하나 이상의 다른 구성 요소에 가압 액체를 더 보낼 것이다. 일련의 화학 물질 선택 유닛(826)의 다른 구성요소는 축적기 및 화학적 혼합기(836)(본 개시의 이전 섹션에서 설명됨)를 포함할 수 있다. 처리 유닛은 유체 발사체가 대상물과 특정 물리적 위치에 접촉하기 위해 특정 궤적에서 액체를 방출할 수 있다.
일 예에서, 차량이 지리적 경계에서 트라이얼을 수행할 때, 각각의 처리 모듈(804)은 서로 독립적으로 동작을 수행할 수 있다. 각 처리 모듈(804)은 자체 이미지 획득을 수신하고 처리를 위하여 이미지를 프로세싱할 수 있다. 처리 매개변수는 각 처리 모듈(804)에서 로컬로 결정될 수 있으며, 여기에는 대상물 감지 및 장면에서 농업 대상물의 분류는 물론 감지된 대상물 및 특징에 기초한 처리 매개변수 결정이 포함된다. 프로세싱은 각각의 처리 모듈(804)의 각각의 연산 유닛(806)에 의해 수행될 수 있다. 각각의 처리 모듈(804)이 동일한 차량에 의해 지원될 것이므로, 각각의 처리 모듈(804)은 감지되고, 융합되고, 내비게이션에 의해 프로세싱된, 동일한 데이터인 내비게이션 유닛(802)으로부터의 차량 방향 및 위치 데이터를 수신할 수 있다. 일 예에서, 각각의 처리 모듈(804)은 동일한 화학적 선택 구성요소(826)를 공유할 수 있다. 일 예에서, 다수의 화학 물질 선택 유닛(826)은 각각의 처리 모듈(804)과 연결 및 인터페이스하도록 구성될 수 있으며, 여기서 하나의 처리 모듈(804)은 하나의 화학 물질 선택 유닛(826)로 구성될 수 있다.
도 9는 시스템(100), 농업 처리 시스템(400), 시스템(600) 및 시스템(800)을 포함하는 전술한 일부 예시적인 시스템에 의해 수행될 수 있는 예시적인 방법(900)을 도시한다. 예를 들면, 단계(910)에서, 농업 처리 시스템(400)은 농업 처리 시스템(400)의 제1 실제 지리 공간적 위치를 결정할 수 있다. 단계(920)에서, 농업 처리 시스템(400)은 지리적 장면의 실제 농업 대상물을 묘사하는 하나 이상의 캡처된 이미지를 수신할 수 있다. 단계(930)에서, 농업 처리 시스템(400)은 하나 이상의 캡처된 이미지를 농업 처리 시스템의 결정된 지리 공간적 위치와 연관시킬 수 있다. 단계(940)에서, 농업 처리 시스템(400)은 인덱싱된 이미지, 매핑된 이미지, 이전에 할당된 이미지, 또는 적어도 부분적으로 이미지 데이터 및 위치 데이터, 또는 이들의 조합을 포함하는 농업 대상물의 표현의 그룹으로부터, 하나 또는 제1 실제 지리 공간 위치에 근접한 제2 실제 지리 공간 위치를 갖는 더 많은 이미지를 식별할 수 있다. 단계(950)에서, 농업 처리 시스템(400)은 식별된 이미지의 적어도 일부를 하나 이상의 캡처된 이미지와 비교할 수 있다. 단계(960)에서, 농업 처리 시스템(400)은 하나 이상의 식별된 이미지의 적어도 일부를 하나 이상의 캡처된 이미지의 적어도 일부와 비교하는 것에 기초하여 타겟 대상물을 결정할 수 있다. 단계(970)에서, 농업 처리 시스템(400)은 처리 장치를 사용하여 현실 세계의 타겟 대상물에 유체 발사체를 방출할 수 있다. 타겟 대상물은 유체 발사체를 분무하도록 의도된 실제 개체이다.
농업 처리 시스템(400)은 온보드 데이터 저장 유닛 또는 원격 저장 유닛에 이미지 그룹을 저장할 수 있다. 이미지 그룹은 키 프레임 이미지 및 서브 키 프레임 이미지를 포함할 수 있다. 키 프레임 이미지는 지리적 장면의 농업 대상물을 묘사할 수 있고, 서브 키 프레임 이미지는 키 프레임 이미지의 일부를 나타낼 수 있으며, 예를 들어 키 프레임 이미지의 일부는 농업 대상물 또는 농업 대상물의 클러스터의 이미지일 수 있다. 키 프레임 이미지는 시스템(400)의 이미지 센서에 의해 이전에 획득된 이미지일 수 있다. 캡처된 디지털 이미지는 키 프레임 이미지가 촬영된 이후에 시스템(400)의 동일한 카메라에 의해 획득될 수 있다. 예를 들어, 하나의 시운전에서, 농업 처리 시스템 또는 유사한 시스템(100, 600 및 800)은 이미지 센서에 의해 캡처된 임의의 및 모든 농업 대상물을 감지하고 인덱싱하는 것을 포함하는 지리적 경계의 관찰을 수행할 수 있고, 농장이나 과수원과 같은 지리적 경계에서 감지된 농업 대상물에 대한 하나 이상의 정밀 처리를 수행할 수 있다. 농업 처리 시스템(400)은 농업 대상물 또는 농작물의 이미지를 캡처하도록 구성된 하나 이상의 이미지 센서를 포함하는 온보드 비전 시스템에 의해 캡처된 각 이미지를 인덱싱하거나 또는 지리적 경계의 물리적 위치 근처 또는 상이한 원격 위치의 원격 컴퓨팅 위치에서 오프라인으로 인덱싱할 수 있어서, 원격 컴퓨팅 유닛이 농업 처리 시스템(400)과 통신할 수 있다. 이미지 센서에 의해 캡처된 인덱싱된 일련의 이미지는 추가로 인덱싱될 수 있으며, 여기에서 하나 이상의 캡처된 이미지는 고유한 키프레임 마커를 포함하는 키프레임으로 할당될 수 있다. 각 키프레임은 하나 이상의 고유한 농업 대상물 또는 실제 세계에서 관심 있는 랜드마크를 포함하는 이미지를 나타낼 수 있다. 농업 처리 시스템(400)의 내비게이션 유닛으로 인해 키프레임은 위치 데이터와 타임스탬프를 포함할 수 있다. 예를 들어, 농업 처리 시스템(400)은 트라이얼에서 차량이 지리적 경계의 경로를 따라 이동할 때 일련의 캡처된 이미지를 캡처할 수 있다. 일련의 캡처된 이미지는 토양에서 직접 자란 줄뿌림 농작물 또는 나무에서 자라는 농작물을 포함하여 일 열의 식물을 촬영한 이미지일 수 있다. 캡처된 일련의 이미지 중 하나 이상의 이미지는 농업 대상물이 농업 대상물에 대한 처리를 선택하는 것이 바람직한 단계로 성장할 수 있는 관찰 또는 처리를 위한 관심 농업 대상물을 포함할 수 있다. 농업 처리 시스템(400)은 식별된 개별 농업 대상물을 갖는 특정 이미지를 키프레임으로 할당할 수 있다. 농업 처리 시스템(400)에 의해 캡처된 키프레임 또는 임의의 다른 이미지는 처리 시스템의 컴퓨팅 유닛에 의해 수행된 이미지 분석에 기초한 위치를 포함할 수 있다. 예를 들어, 스테레오 비전 시스템은 에피폴라(epipolar) 기하학을 사용하여 이미지 캡처 장치의 위치에 대한 이미지에서 식별된 대상물의 위치를 삼각 측량할 수 있다.
추가적으로, 농업 대상물을 포함하는 이미지의 각 부분은 레이블될 수 있고 데이터베이스에서 인덱싱될 고유 식별자가 할당될 수 있다. 인덱싱된 데이터는 이미지에 첨부된 장소 및 위치 데이터와 이미지가 촬영된 타임스탬프가 있는 농업 대상물의 2d 또는 3d 구성된 이미지일 수 있다. 농업 처리 시스템(400)에 의해 구성된 미래의 트라이얼에서, 농업 처리 시스템(400)은 지리적 경계 내의 동일하거나 유사한 위치에서 동일한 농업 대상물의 이미지를 캡처할 수 있다. 동일한 위치에서의 캡처된 농업 대상물의 이미지는 이전에 캡처되 농업 대상물로부터 미래 시간에 획득된 것이므로, 농업 대상물은 다른 특징을 갖도록 성장했을 수 있다. 일 예에서, 농업 처리 시스템은 위치 및 위치 데이터를 갖는 농업 대상물의 획득된 이미지가 이전에 획득되고, 레이블되고, 할당되고, 인덱싱된 이미지 또는 현재 감지된 개체와 동일한 농업 대상물의 다른 인덱스된 표현의 이미지와 연관되어 있는지 결정할 수 있다. 2개의 이미지를 위치 및 타임스탬프 데이터와 연관시키면, 농업 처리 시스템(400)은 처리 매개변수를 결정할 수 있는데, 이는 주어진 시간 또는 트라이얼에서 처리를 수행할지 여부를 결정하는 것, 처리의 혼합물, 화학물질 유형, 부피, 농도 등과 농업 대상물의 표면 상에 퇴적될 처리를 위한 정확한 궤적을 결정하는 것을 포함한다. 일 예에서, 사용자는 애플리케이션에서 인덱싱된 농업 대상물을 선택할 수 있고, 농업 처리 대상물의 사용자 인터페이스는 농업 처리 시스템(400)이 다수의 트라이얼을 수행하고 이전 캡처된 이미지와 동일하거나 동일 장소 주위의 이미지를 캡처함에 따라 시간상 상이한 지점에서 취해진 복수의 이미지 외에도 동일한 농업 대상물의 상이한 관점을 캡처하기 위하여 이미지 캡처 장치의 방향에 따라 상이한 장소에서 취해진 복수의 이미지를 포함하는 농업 대상물의 취히진 이미지를 포함하는 농업 대상물에 관련된 정보를 디스플레이할 수 있다.
위의 예는 농업 처리 시스템이 동일한 농업 대상에 대해 서로 다른 시간(예: 하루 간격)에 캡처한 두 세트의 이미지로 두 번의 트라이얼을 수행하고 이미지 분석 및 컴퓨터 비전 기술에서 이미지 간에 공통적인 감지된 이미지 특징, 위치, 깊이, 위치 추정, 포즈 관련 정보 및 농업 처리 시스템의 내비게이션 유닛에서 캡처한 유사한 위치 데이터를 기반으로 농업 대상의 이미지를 서로 연관시키는 것을 보여준다. 더 많은 트라이얼이 수행되고 동일한 농업 대상물의 더 많은 이미지가 촬영되고, 농업 대상물의 현재 성장 단계를 캡처하고, 각각의 캡처된 농업 대상물을 동일한 농업 대상물의 이전에 캡처된 하나 이상의 이미지와 연관시키면, 처리 시스템(400)은 각 성장 단계와 관련된 이미지, 각 개별 농업 대상물에 대한 모든 처리 이력을 포함하여 지리적 경계에 매핑된 각각의 고유하고 개별적인 농업 대상물의 고유한 프로필을 구축할 수 있다. 이를 통해 사용자 또는 처리 시스템은 질병, 크기, 수, 성장 예측, 수확량 예측 및 농장이나 과수원에서 재배된 농작물의 추정을 포함하여 농작물의 건강을 결정할 수 있도록 하고, 사용자는 지리적 경계에서 감지된 각 개별 농작물의 성장률을 관찰하고 제어하여 농장에서 농작물 재배를 최적화할 수 있도록 한다.
일례에서, 분무할 타겟 대상물을 식별하기 위해, 시스템(400)은 서브 키 프레임 이미지를 캡처된 이미지 중 하나의 일부와 비교함으로써 식별된 이미지의 적어도 일부를 비교할 수 있다. 즉, 농업 처리 시스템(400)은 농업 대상물의 이전에 인덱싱된 이미지의 하나 이상의 패치 또는 레이블된 부분을 현재 캡처된 이미지의 적어도 일부와 비교할 수 있다. 이 예에서 패치는 하나 이상의 관심 특징이 있는 더 큰 이미지에서 잘라낸 이미지이다. 이미지 센서에 의해 캡처된 더 큰 이미지에서 관심 있는 특징에는 농업 대상물, 랜드마크, 장면 또는 식별, 레이블 지정 및 인덱스할 고유 식별자 또는 마커가 할당된 기타 관심 대상물이 포함될 수 있다. 예를 들어, 지리적 경계의 디지털화된 지도를 구축하기 위해, 한 트라이얼 동안 캡처된 대상물을 다른 트라이얼에서 캡처된 동일한 대상물과 연관시키기 위해, 또는 이들의 조합을 위해 이미지의 경계 상자 또는 다른 형상은 이미지의 일부 주위에 그려지고, 잘라내어지고, 농업 처리 시스템(400)에 의해 별도로 인덱싱되고, 미래에 촬영된 캡처된 이미지와 비교하기 위한 패치로 저장될 수 있다. 시스템(400)은 서브 키 프레임 이미지가 캡처된 이미지의 일부와 일치하는지 여부의 신뢰 수준을 결정한다. 시스템은 결정된 신뢰 수준이 미리 결정된 신뢰 수준 임계값을 충족하거나 초과하는 일치 항목을 식별한다. 일 예에서, 다양한 컴퓨터 비전 기술을 적용하여 이미지를 비교 및 대응시키고 매칭을 위한 유사한 특징을 결정할 수 있다. 여기에는 이미지의 일부를 다른 이미지의 관심 영역과 비교하기 위한 템플릿 매칭, 정규화된 교차 상관, RANSAC(Random Sample Consensus), SIFT(Scale-Invariant Feature Transform), 에지 방향 히스토그램, 방향 기울기의 히스토그램, 기울기 위치 및 방향 히스토그램(GLOH), 능선(ridge) 및 에지 감지, 코머 감지, 얼룩 감지, 광학 흐름, Lucas-Kanade 방법, 의미론적 분할, 대응 일치 및 기타 컴퓨터 비전 및 일치 기술을 포함할 수 있다. 시스템(400)은 농업 대상물의 감지된 특징에 기초하여, 처리 이력에 기초하여 또는 이들의 조합에 기초하여 캡처된 이미지가 처리될 타겟 대상물 또는 이미 분무되었고 현재 처리가 필요하지 않은 대상 대상물을 포함함을 식별할 수 있다. 농업 처리 시스템(400)의 이미지 센서의 위치, 획득된 이미지에서 타겟 대상물의 위치를 결정하는 것에 기초하여, 시스템은 유체 발사체가 방출될 때 궤적을 따라 분무되어 실제 농업용 대상물에 유체를 방출하도록 처리 유닛을 구성, 방향, 및 준비할 수 있다.
다른 예에서, 시스템(400)은 분무될 타겟 대상물의 위치를 결정하기 위해 랜드마크 특징 또는 대상물을 사용할 수 있다. 랜드마크 개체는 타겟 대상물의 위치를 결정하는 데 도움이 되는 실제 개체이다. 시스템(400)은 캡처된 이미지에서 랜드마크 개체를 식별하고 캡처 이미지에서 랜드마크 개체의 일부가 이미지 그룹의 이미지 일부와 일치하는지 결정할 수 있다. 전체 목록이 아니더라도 랜드마크 개체의 예에는 인공 대상물, 울타리, 기둥, 구조물, 식물 구조물의 일부, 나무 구조물의 일부, 잎 형성물 또는 잎사귀가 포함될 수 있으며, 지리적 경계의 특정 위치를 표시하거나 특정 키프레임을 구별하여 키프레임 부분에 고유한 랜드마크를 할당하는 데 사용할 수 있다.
또 다른 예에서, 하나의 동작 모드에서, 농업 환경을 따른 경로를 따른 제1 통로에서, 농업 처리 시스템(400)은 시스템(400)이 경로를 따라 이동하는 동안 다수의 이미지의 제1 세트를 획득한다. 예를 들어, 농업 처리 시스템(400)은 온보드 카메라를 사용하고 농업 대상물(예를 들어, 식물, 나무, 농작물 등)의 다중 디지털 이미지를 얻는다. 농업 대상물의 다중 이미지를 획득하는 동안, 농업 처리 시스템(400)은 위치 및 센서 정보를 기록하고 획득된 각각의 이미지에 대해 이 정보를 연관시킨다. 이 정보 중 일부는 지리 공간적 위치 데이터(예: GPS 좌표), 온도 데이터, 시간, 습도 데이터 등을 포함할 수 있다. 농업 처리 시스템(400) 또는 외부 시스템(예: 클라우드 기반 서비스)은 추가로 획득한 이미지를 프로세싱하여 이미지에서 발견된 개체를 식별하고 분류한다. 프로세싱된 이미지는 농업 처리 시스템(400)의 로컬 데이터 스토리지 장치에 저장될 수 있다.
농업 환경을 따른 제2 경로에서, 온보드 카메라를 사용하는 농업 처리 시스템(400)은 이전에 제1 통로를 따라 취했던 경로를 따라 제2 다중 디지털 이미지 세트를 얻는다. 예를 들어, 농업 처리 시스템(400)은 제1 일에 다수의 이미지의 제1 세트를 획득할 수 있으며, 이미지는 사과나무 그룹에서 꽃을 캡처한다. 사과나무를 묘사한 디지털 이미지는 디지털 이미지에 묘사된 꽃 종류의 대상물 분류를 위해 프로세싱될 수 있다. 농업 처리 시스템(400)은 대상물 및 분류된 유형을 식별하는 프로세싱된 이미지 및 관련 데이터를 검색할 수 있다. 제2 일에, 농업 처리 시스템(400)은 다시 원래의 경로를 따를 수 있고 사과나무의 새로운 이미지를 얻을 수 있다. 농업 처리 시스템(400)은 그 후 분무될 타겟 농업 대상물을 식별하기 위해 수신된 프로세싱된 이미지와 비교하여 획득된 이미지의 제2 세트를 사용할 수 있고, 그런 다음 농업 대상물에 분무할 수 있다. 그 다음 시스템(400)은 시스템(400)이 타겟 대상물의 위치를 결정하는 것을 돕기 위해 랜드마크 개체를 매칭할 수 있다. 즉, 시스템(400)은 이전 이미지가 캡처된 이미지와 유사하다는 것을 결정하기 위해 이미지 내의 대상물의 특징 매칭을 사용할 수 있다.
예를 들어, 처리(400) 시스템에 의해 수신된 프로세싱된 이미지는 연관된 위치 정보를 가질 수 있다. 농업 처리 시스템(400)이 제2 통로에서의 경로를 따라 이동함에 따라, 농업 처리 시스템(400)은 프로세싱된 이미지와 연관된 위치 정보 및 처리 시스템의 현재 위치 또는 장소에 기초하여 프로세싱된 이미지의 서브세트 또는 그룹화를 비교할 수 있다. 농업 처리 시스템(400)은 새로운 이미지와 프로세싱된 이미지를 비교하여 이미지 또는 이미지의 일부가 유사한지를 판단한다. 농업 처리 시스템(400)은 프로세싱된 이미지에서 타겟 대상물의 가능성 있는 위치에 기초하여 분무할 위치를 식별할 수 있다.
전술한 바와 같이, 농업 처리 시스템(400)은 카메라(들)에 의해 캡처된 이미지를 농업 대상물의 이미지가 획득된 실제 물리적 위치와 연관시킬 수 있다. 예를 들어, 농업 처리 시스템(400)이 장착된 차량이 경로를 따라 이동하는 동안, 농업 처리 시스템(400)의 전자 제어 유닛(422)은 카메라 데이터 신호 및 광 데이터 신호를 생성하여 농업 처리 시스템(400)의 조명 장치로부터 조명을 동기화하고 디지털 이미지의 캡처를 동기화할 수 있다. ECU(422)는 대상물(들)의 물리적 위치에 대응하는 각각의 캡처된 이미지(들)의 생성을 위해 대상물(들)의 물리적 위치의 조명을 차량에 장착된 하나 이상의 라이트에 의해 동기화할 수 있다. 대상물 결정 및 대상물 분무 엔진은 카메라 데이터 신호 및 광 데이터 신호를 ECU(422)로 전송한다. 대상물 판단 및 대상물 분무 엔진은 농업 대상물(들)의 물리적 위치(들) 및 이동 차량의 현재 경로에 대한 차량의 위치 및 방향에 해당하는 위치 정보를 생성한다. 위치 정보는 농업 대상물(들)의 물리적 위치(들)에 대응하는 각각의 캡처된 이미지(들)와 추가로 연관될 수 있다.
도 10은 예시적인 모듈식 처리 모듈 또는 퍼치(1000)를 도시한다. 일례에서, 모듈식 퍼치(1000)는 프레임(1002, 1003)에 장착된 다수의 조명 유닛(1010)(예를 들어, 조명 모듈(460))으로 구성될 수 있다. 다양한 예에 따른 퍼치는 LED 조명의 다중 조명 유닛(1010)을 포함한다. 조명 유닛(1010)은 LED 광 어레이를 포함하는 하나 또는 다수의 LED 조명을 포함할 수 있다. 퍼치(1000)는 하나 이상의 카메라 또는 다른 이미지 감지 장치를 포함하는 카메라 뱅크(1004)를 포함할 수 있다. 예를 들어, 내부 2개의 카메라는 농업 대상물의 디지털 이미지를 획득하기 위한 식별 카메라일 수 있고, 외부 2개의 카메라는 분무되는 농업 대상물의 이미지를 획득하기 위해 사용되는 카메라일 수 있다. 각 LED 표시등은 식별 카메라가 이미지를 캡처할 때 켜지고 꺼지도록 동기화될 수 있다.
추가로, 하우징(1003)은 처리 유닛(828)과 유사한 처리 유닛(1100)을 수용할 수 있다. 각각의 처리 유닛(1100)은 유체를 분무하기 위한 하나 이상의 노즐을 가질 수 있다.
도 11은 농업 처리 시스템의 처리 유닛(1100)과 같은 예시적인 농업 처리 유닛을 도시한다. 이 예에서 농업 처리 시스템은 처리 유닛(1100)과 유사한 처리 유닛(470)을 갖는 농업 처리 시스템(400)의 것과 유사할 수 있다. 이 예에서, 처리 유닛(1100)은 처리 헤드(1120)를 갖는 터릿 조립체를 포함할 수 있고, 하나 이상의 마이크로컨트롤러, 전자 제어 유닛, FPGA, ASIC, 시스템 온 칩과 같은 처리 유닛(1100)에 근접한 실제 대상물의 표면을 처리하기 위해 처리 헤드(1120)를 가리키고 배향하라는 명령을 수신하도록 구성된 회로, 전자 부품 및 컴퓨팅 장치를 포함할 수 있다. 예를 들어, 처리 유닛(1100)은 캡처된 이미지에서 농업 대상물을 감지하고 처리 유닛(1100)에 대한 현실 세계에서의 그 위치를 결정하는 것에 기초하여 현실 세계의 농업 대상물에 처리 화학 물질의 유체 발사체를 방출할 수 있다.
처리 유닛(1100)은 짐벌 조립체를 포함할 수 있어서, 처리 헤드(1120)는 짐벌 조립체에 매립되거나 짐벌 조립체에 의해 지지될 수 있어, 효과적으로 처리 헤드(1120)가 스스로 회전하고 하나 이상의 회전축 주위로 스스로 배향하게 한다. 예를 들어, 짐벌 조립체는 제1 짐벌 축 및 제2 짐벌 축을 가질 수 있는데, 제1 짐벌 축은 짐벌이 요우 축을 중심으로 회전하도록 허용하고, 제2 짐벌 축은 짐벌이 피치 축을 중심으로 회전하도록 허용한다. 일 예에서, 짐벌 조립체는 처리 유닛의 롤링을 허용하는 제3 짐벌 축을 가질 수 있어, 처리 유닛(1100)의 처리 헤드(120)에 처리 유닛(1100)에 대해 총 3 자유도를 제공한다. 이 예에서, 처리 유닛의 제어 모듈은 제1 짐벌 축, 제2 짐벌 축, 또는 둘 다를 중심으로 짐벌 조립체의 회전을 변경하는 짐벌 조립체를 제어할 수 있다. 컴퓨팅 모듈은 지상 장면, 지형, 과수원의 나무, 또는 다른 농업 환경에서 위치를 결정할 수 있고, 처리 유닛(1100)의 제어 모듈에 처리 유닛(1100)의 짐벌 조립체를 회전시키고 배향하도록 지시할 수 있다.
일 실시예에서, 컴퓨팅 모듈은 짐벌 조립체가 실시간으로 처리 헤드(1120)를 위치 지정 및 배향하기 위한 위치 및 방향을 결정할 수 있고, 처리 유닛(1100)이 지상의 고정된 위치에 있거나 또는 이동하는 지상의 관심있는 농업 대상물 또는 임의의 타겟 식물에 대해 이동함에 따라 처리 헤드(1120)의 위치 및 방향을 조정할 수 있다. 처리 시스템은 처리 헤드(1120)에서 처리 유닛(1100)을 처리 유닛(1100)의 제어 모듈에 의해 수행된 제어 및 수신된 명령을 통해 타겟 식물에 대한 처리 헤드(1120)의 시선을 실시간으로 이동시키거나 유지 및 조정하도록 짐벌 조립체를 조정하여 처리 유닛(1100)을 타겟 식물 또는 관심 있는 다른 농업 대상물에 고정시킬 수 있다.
일 예에서, 처리 유닛(1100)은 먼지, 물, 습기, 햇빛, 및 처리 유닛(1100)의 구성요소를 손상시킬 수 있는 다른 입자로부터 처리 유닛(1100)을 보호할 뿐만 아니라 처리 헤드(1120)의 소망된 방향을 방해할 수 있는 바람 또는 다른 힘으로부터 처리 헤드(1120)를 보호하기 위한 인클로저(70)와 같은 보호 구성요소를 포함할 수 있다. 처리 유닛(1100)은 또한 처리 유닛(1100)을 지지하는 인클로저(70)를 처리 시스템 또는 처리 시스템을 지지하는 차량의 다른 구성요소에 실장하기 위하여 하나 이상의 장착 브라켓(72)을 포함할 수 있다.
일 예에서, 하나 이상의 브러시리스 모터는 처리 유닛의 처리 헤드의 하나의 축을 변경하도록 구성될 수 있다. 솔레노이드 밸브는 밸브를 열거나 닫도록 구성할 수 있는데, 여기서 펌프로부터의 일정 가압된 유체는 솔레노이드 밸브로 유체를 펌핑한다. 처리 유닛은 밸브가 닫힌 위치에서 열린 위치로 이동하는 양과 시간만큼 발사체를 방출할 수 있다.
일 예에서, 처리 유닛(1100)에 내장되거나 처리 유닛에 의해 지지되는 고출력 레이저 유닛 또는 레이저 칩을 갖는 처리 유닛(1100)은 일반적으로 지상에서 몇 인치 또는 피트만 자라는 식물 보다 더 큰 식물의 일부를 처치하도록 구성될 수 있다. 이러한 식물에는 나무, 과수원 나무 또는 하나 이상의 줄기가 있는 기타 식물, 관목, 덤불 또는 격자(trellises) 또는 기타 사람이 만든 메커니즘에서 자란 기타 식물이 포함될 수 있어서, 수평 또는 상부 장착 처리 유닛(1100)이 회전 자유도를 가지고 실질적으로 지면을 가리키는 처리 유닛 보다 더 실용적이다.
도 12a-b는 시스템(100), 농업 처리 시스템(400), 시스템(600) 및 시스템(800)을 포함하는 위에서 설명된 일부 예시적인 시스템에 의해 수행될 수 있는 방법(1200)의 예시적인 구현을 도시한다. 예를 들면, 단계(1210)에서의 일 모드의 동작에서, 농업 처리 시스템(400)은 하나 이상의 센서로부터 하나 이상의 농업 대상물을 포함하는 이미지 데이터를 수신할 수 있다. 하나 이상의 농업 대상물은 이미지 데이터로부터 하나 이상의 타겟 식물로 식별될 수 있다. 단계(1220)에서, 농업 처리 시스템(400)은 상이한 농작물 및 타겟 식물을 포함하는 농업 대상물을 나타내는 농업 데이터를 수신할 수 있다. 단계(1240)에서, 농업 처리 시스템(400)은 타겟 식물의 위치를 식별할 수 있다. 단계(1250)에서, 농업 처리 시스템(400)은 타겟 식물의 처리 매개변수를 결정할 수 있다. 단계(1260)에서, 농업 처리 시스템(400)은 타겟 식물을 처리하기 위한 차량 구성 및 처리 유닛 구성을 계산할 수 있다. 단계(1270)에서, 농업 처리 시스템(400)은 처리 유닛을 현실 세계의 타겟 식물에 고정시킬 수 있다. 단계(1280)에서, 농업 처리 시스템(400)은 처리 유닛을 활성화할 수 있고 처리 화학 물질의 유체 발사체를 타겟 식물 상으로 방출할 수 있다.
또한, 농업 처리 시스템(400)은 지리적 경계에서 위치, 위치 추정 및 포즈 관련 신호를 수신, 융합, 계산, 보상 및 결정할 수 있다. 단계(1212)에서, 농업 처리 시스템(400)은 농업 환경의 차량에 있는 하나 이상의 센서로부터 센서 데이터를 수신할 수 있다. 농업 환경은 토지를 경작하고 농작물을 재배 및 수확하기 위해 농장 또는 과수원에서 전형적으로 발견되는 복수의 대상물을 갖는 지리적 경계의 환경일 수 있다. 단계(1214)에서, 농업 처리 시스템은 차량 위치, 차량에 근접한 하나 이상의 농업 대상물을 식별할 수 있고, 농업 대상물에 대한 차량의 거리를 결정할 수 있다. 단계(1216)에서, 농업 처리 시스템(400)은 지리적 경계의 중앙 또는 알려진 지점에 대한 차량의 자세 추정, 농업 처리 시스템을 지원하는 차량에 대한 농업 처리 시스템(400)의 구성요소 또는 차량에 대한 공간에서 감지된 농업 대상물의 자세 추정을 계산하는 것을 포함하여 차량을 교정할 수 있다. 농업 처리 시스템(400)이 물리적 교정 타겟을 식별하고 교정 타겟에 대한 차량의 위치를 계산할 때, 농업 처리 시스템(400)이 지리적 경계에서 차량의 위치를 결정하거나 이전의 부정확한 결정을 수정할 수 있도록, 매핑된 지리적 경계 전체에 퍼져 있는 하나 이상의 교정 타겟을 위치지정함으로써 차량을 교정할 수 있다.
도 13a-b는 시스템(100), 농업 처리 시스템(400), 시스템(600) 및 시스템(800)을 포함하는 전술한 일부 예시적인 시스템에 의해 수행될 수 있는 방법(1300)의 예시적인 구현을 도시한다. 예를 들면, 단계(1310)에서의 일 모드의 동작에서, 농업 처리 시스템(400)은 차량에서 경로를 따라 하나 이상의 농업 대상물을 묘사하는 다수의 이미지의 제1 세트를 얻을 수 있다. 단계(1320)에서, 농업 처리 시스템(400)은 차량의 위치 추정, 속도 및 가속도 데이터를 수신할 수 있다. 추가로, 단계(1380)에서, 농업 처리 시스템(400)은 지리적 경계에서 차량, 차량에 대해 차량에 의해 지원되는 농업 처리 시스템(400), 또는 지리적 경계에서 감지된 농업 대상물 또는 다른 대상물의 자세 추정을 생성할 수 있다. 단계(1330)에서, 농업 처리 시스템(400)은 이미지 내의 대상물을 분류하기 위해 다수의 이미지 세트를 프로세싱할 수 있다. 분류는 차량 내 농업 처리 시스템(400)에서 수행될 수 있다. 또한, 이미지는 컴퓨터 비전 기술, 이미지 분석 및 특징 추출, 대상물 분류, 대상물 감지, 그리고 대상물 추적을 포함하는 기계 학습 알고리즘으로 프로세스될 수 있다. 단계(1340)에서, 농업 처리 시스템(400)은 분류된 하나 이상의 농업 대상물의 위치를 식별할 수 있다. 단계(1350)에서, 농업 처리 시스템(400)은 농업 대상물을 처리하기 위한 하나 이상의 처리 매개변수를 결정할 수 있다.
추가적으로, 농업 처리 시스템(400)은 제1 세트의 복수 의미지에서 식별되고 분류된 동일한 농업 대상물을 갖는 하나 이상의 이미지를 포함하는 하나 이상의 이미지의 이전에 식별되고 인덱싱된 정보에 기초하여 처리 매개변수를 감지, 표적화, 추적 및 결정할 수 있다. 예를 들어, 단계(1342)에서, 농업 처리 시스템(400)은 하나 이상의 위치 추정된 농업 대상물을 묘사하고, 각각의 매핑된 이미지의 캡처된 이미지와 관련된 타임스탬프 및 각각의 위치 추정된 농업 대상물과 관련된 처리 이력을 갖는 제2 세트의 매핑된 이미지를 수신할 수 있다. 단계(1344)에서, 농업 처리 시스템(400)은 분류된 농업 대상물을 하나 이상의 위치 추정된 농업 대상물과 비교하고 대응시킬 수 있다. 농업 처리 시스템(400)은 이어서 처리 유닛을 활성화하고 농업 대상물인 타겟 식물 위로 유체 발사체를 방출할 수 있다.
도 14A-B는 농업 처리 시스템(400)에 의해 획득되고 획득된 이미지에서 대상물을 결정하고 레이블링하기 위해 프로세싱된 예시적인 이미지를 도시한다. 도 14a에서 도형 1400에 도시된 바와 같이, 농업 처리 시스템(400)에 의해 수신된 레이블된 이미지는 캡처된 이미지에 묘사된 상이한 유형의 대상물(1402, 1404, 1406)의 다수의 식별자를 포함할 수 있다. 예를 들어, 식별자(1405)는 농업 대상물의 물리적 랜드마크를 묘사하는 캡처된 이미지의 일부를 식별할 수 있다. 식별자(1406)는 또한 대상물의 시각적 특성에 기초할 수 있다.
도 14b는 농업 처리 시스템(400)에 의해 획득된 이미지의 예시적인 부분 또는 서브 이미지를 도시한다. 사과 나무의 캡처된 이미지에 의해 묘사된 사과 꽃 인스턴스의 시각적 특성에 기초하여, 레이블된 이미지는 사과 꽃 인스턴스에 대한 식별자(1502)를 포함할 수 있다. 식별자(1502)는 사과 나무의 캡처된 이미지에 묘사된 것처럼 사과 꽃 인스턴스의 물리적 위치에 대응하는 제1 픽셀 위치에서 레이블된 이미지(1500)에 위치할 수 있다. 사과 나무의 캡처된 이미지에 의해 묘사된 것처럼 사과 과일 인스턴스의 시각적 특성에 기초하여, 레이블된 이미지(1500)는 사과 과일 인스턴스에 대한 식별자(1510)를 포함할 수 있다. 식별자(1510)는 사과 나무의 캡처된 이미지에 묘사된 것처럼 사과 과실 인스턴스의 물리적 위치에 대응하는 제2 픽셀 위치에서 레이블된 이미지(1500)에 위치할 수 있다. 사과 나무의 캡처된 이미지가 나타내는 랜드마크 인스턴스의 시각적 특성에 기초하여, 레이블된 이미지(1500)는 랜드마크 인스턴스에 대한 식별자(1508)를 포함할 수 있다. 식별자(1508)는 사과 나무의 캡처된 이미지에 묘사된 것처럼 랜드마크 인스턴스의 물리적 위치에 대응하는 제3 픽셀 위치에서 레이블된 이미지(1500)에 위치할 수 있다.
일 예에서, 대상물 결정 및 대상물 분무 엔진은: (i) 레이블된 이미지(및/또는 캡처된 이미지)의 특정 성장 단계에서 과일 인스턴스를 묘사하는 픽셀 위치, (ii) 이동하는 차량의 위치 정보 및/또는 (iii) 과일 인스턴스의 이전 캡처된 이미지(들) 및 과일 인스턴스의 물리적 위치와 연관된 이전에 생성된 위치 정보에 부분적으로 기초하여 캡처된 이미지에 묘사되는 특정 성장 단계에서 과일의 인스턴스에 대한 위치 데이터를 생성한다. 이전에 생성된 위치 정보는 차량이 하루 중 이전 시간, 이전 날짜, 주 및/또는 달과 같은 이전 시간 동안 유사한 경로를 여행했을 때 과일의 동일한 인스턴스를 묘사하는 캡처 및 레이블된 이미지와 연관될 수 있다. 농업 처리 시스템(400)은 특정 성장 단계의 과실 인스턴스에 대한 위치 데이터를 기초로 차량의 농업 처리 시스템(400)의 동기화 ECU를 위한 노즐 신호를 생성할 수 있다. 예를 들어, 노즐 신호는 액체에 대한 궤적을 생성하기 위한 노즐의 물리적 방향을 나타낼 수 있다. 노즐 신호는 노즐의 하나 이상의 축방향 조정에 기초한 노즐의 현재 방향의 변화를 나타낼 수 있다.
대상물 결정 및 대상물 분무 엔진은 궤적에 따라 대상물의 물리적 위치를 향해 노즐로부터 발사체를 전송한다. 예를 들어, 대상물 결정 및 대상물 분무 엔진은 노즐 신호에 따라 노즐의 현재 방향을 조정하고 과일 인스턴스의 물리적 위치를 향해 액체를 분무하도록 노즐을 트리거한다.
모든 식물이 특정 식물의 성장 단계에 기초한 처리의 예를 들어 유형, 부피, 빈도 또는 이들의 조합에 의해 동일한 양을 필요로 하지 않기 때문에, 농업 처리 시스템(400)은 농작물의 행을 스캔하여 식물 또는 식물의 일부인 각 개별 농작물 또는 농업 대상물의 성장 단계를 식별하고, 식별된 농작물 또는 농업 대상물이 특정 시험 운행, 또는 특정 날짜, 또는 농업 처리 시스템(400)이 장착된 차량이 현장에 있고 개별 농업 대상물을 감지한 특정 시점에 처리가 필요한지 여부를 결정한다. 예를 들어, 같은 종류의 식물이라도 일 열의 농작물에는 복수의 농업 대상물과 농업 대상물의 서브-농업 대상물을 가질 수 있고, 여기서 농업 대상물은 모양, 크기, 색상, 밀도 등과 같은 서로 다른 물리적 속성을 나타낼 수 있다.
예를 들어, 특정 유형의 과일을 재배하는 식물은 한 번의 농업 주기에서 하나 이상의 개별 작물 단위(예: 과일 나무)를 생산할 수 있으며, 각 작물의 성장 단계에 따라 제1 유형의 꽃봉오리, 제2 유형의 꽃봉오리, 꽃, 꽃송이, 열매, 최종적으로 과일의 형태를 취한다. 이 예에서, 농업 처리 시스템(400)은 특정 모양, 크기, 색상, 밀도 및 농작물로의 성장을 나타내는 기타 요인을 포함하여 성장 단계에서 대상물이 변화함에 따라, 농업 처리 시스템(400)은 상이한 농업 대상물 또는 서브 농업 대상물로서 과일 나무 상의 특정 개별 꽃봉오리까지의 동일한 식별된 대상물 또는 농작물의 각각의 단계를 레이블할 수 있다. 실제 공간에서 동일한 대상물과 연관되어 감지되고 레이블된 서로 다른 농업 대상물은 서로 연관될 수 있다.
예를 들어, 감지된 꽃봉오리는 고유한 식별자 또는 레이블을 사용하여 고유한 농업 대상물으로 레이블될 수 있다. 계절에 따라 시간이 지남에 따라, 농장에 매핑된 고유하게 레이블된 꽃봉오리는 수분을 위한 꽃으로 또는 꽃에서 열매로 등의 형태로 바뀔 수 있다. 이와 같이, 농업 처리 시스템(400)은 꽃을 식별하여 꽃을 고유한 농업 대상물로 레이블하고, 꽃인 농업 대상물을 이전에 식별된 꽃봉오리인 농업 대상물과 연관시킬 수 있으며, 식별된 두 농업 대상물을 현실 세계에서 동일한 대상물로서 논리적으로 연결하는데, 여기서 식별된 한 대상물은 다른 대상물로 성장한다. 또 다른 예에서, 지리적 경계에 있는 복수의 꽃과 다른 대상물 중에서 감지된 고유한 실제 세계 꽃은 꽃으로 레이블될 수 있지만 다른 농업 대상물로 간주되지 않고 대신 이전에 꽃봉오리로서 레이블된 동일한 농업 대상물과 연관될 수 있다. 이 예에서 잠재적인 농작물로 간주될 수 있는 감지된 각 대상물은 농업 대상물이 모양, 크기, 밀도, 해부 구조 등을 변경하더라도 동일한 농업 대상물로 매핑될 수 있다. 동일한 공간의 다른 시간에서 감지된 동일한 농업 대상물은 성장 단계와 관련하여 다른 레이블과 식별자를 가질 수 있다. 예를 들어, 농업 처리 시스템(400)에 의해 감지된 공간 내의 제1 농업 대상물은 농업 처리 시스템(400)이 하나 이상의 이미지를 캡처한 날짜 및 연도의 시간과 관련된 타임스탬프 또는 농업 대상물(#40)의 다른 감지 신호를 갖는 실제 농업 대상물(#40)로 식별 및 인덱싱될 수 있다. 식별의 순간에, 농업 대상물(#40)은 제1 레이블을 가질 수 있으며 농업 대상물(#40)에 제1 레이블을 할당할 수 있다. 제1 레이블은 농장이나 과수원과 같은 지리적 경계에서 감지되는 다른 많은 꽃봉오리가 있을 수 있으므로 꽃봉오리 또는 꽃봉오리(#40)로 레이블될 수 있다. 동일한 농업 대상물(#40)의 지리적 경계에서 일정 기간 동안 여러 번의 트라이얼이 수행됨에 따라, 농업 대상물(#40)은 휴면 꽃봉오리과 같은 제1 유형의 꽃봉오리에서 제2 유형의 꽃봉오리로 변하거나 꽃봉오리 및 꽃(bud and bloom)에서 꽃(flower)으로 변하거나 또는 수확 및 소비를 위해 재배되는 원하는 농업 식물의 성장 단계에서 많은 다른 변화가 발생할 수 있다. 이 예에서, 주어진 시간에 꽃봉오리로 감지된 농업 대상물(#40)은 농업 대상물(#40)을 꽃봉오리(#40)의 제1 레이블로서 레이블될 수 있다. 계절에 따라 시간이 지남에 따라 꽃봉오리(#40)과 같은 농업 대상물(#40)을 포함하여 농장이나 과수원의 농업 대상물은 자연스럽게 꽃으로 변할 수 있다. 이때 농업 대상물(#40)이 꽃으로 변하면, 농업 처리 시스템(400)은 농업 대상물(#40)을 꽃(#40)으로 레이블하고, 꽃봉오리(#40)를 꽃(#40)과 연관시켜, 꽃봉오리(#40) 및 꽃(#40)은 실제 세계에서 동일한 농업 대상물(#40)이다. 동일한 식물에서 감지된 모든 농업 대상물이 동일한 성장 단계를 경험하거나 계속 성장하는 것은 아니다. 일부 농업 대상물은 예를 들어 간벌(thinning)을 통해 제거될 수도 있다. 예를 들어, 단일 나무 또는 줄기에서 자라는 하나 이상의 농업 대상물을 제거하거나 다음 성장 단계가 발생하지 않도록 처리할 수 있도록 일부 식물을 솎아낼 수 있다. 이 경우, 농업 처리 시스템(400)은 고유하게 식별된 현실 세계 농업 대상물이 고유 대상물 레이블에 대한 고유한 물리적 특징을 갖는 특정 성장 단계에 도달하지 않았거나 중지됨을 감지할 수 있거나 또는 이전에 감지된 농업 대상물이 이제는 사라졌으며 인접한 농업 대상물이 원하는 대로 계속 성장할 수 있도록 농업 대상물을 제거하는 다른 방법 또는 간벌로 인해 농업 처리 시스템(400)에 의해 감지될 수 없다.
꽃봉오리, 꽃(blooms), 꽃(flowers), 과실 및 기타 농업 대상물의 설명 및 논의된 그러한 농업 대상물의 성장 단계는 단지 과일 나무에서 과일의 성장 단계와 관련된 과일 및 대상물을 감지하는 농업 처리 시스템(400)과 같은 처리 시스템에 의해 감지될 수 있는 일련의 대상물을 예시하기 위한 것일 뿐으로, 위에서 설명한 특정 예에만 제한되지 않는다.
예를 들어, 도 14a 및 14b에 도시된 바와 같이. 이미지는 하나 이상의 잔가지, 하나 이상의 가지 및 줄기, 하나 이상의 곁가지, 및 하나 이상의 곁가지에서 자라는 하나 이상의 잠재 농작물을 갖는 과일 나무를 포함하는 농업 환경을 묘사한다. 농업 처리 시스템(400)이 농업 대상물을 검출하고 그 성장 단계를 레이블링하고, 잎, 가지의 구성을 포함하여 성장하는 나무의 일부의 방향을 포함하는 랜드마크를 검출하고 라벨링하고, 이미지에서 검출될 수 있는 물리적 인공 물질 또는 잠재적 작물이 아닌 이미지에서 관심 있는 다른 대상물 및 광경을 포함하여 이미지의 각 식별 가능한 특징을 관찰하고 레이블링하는 순간, 농업 처리 시스템(400)은 이미지에서 모든 식별된 대상물이 동일한 성장 단계의 농업 대상물을 포함하지 않는다는 것을 감지할 수 있다. 예를 들어 감지된 일부 농업 대상물은 꽃봉오리, 일부는 꽃, 일부는 열매로 표시된다. 이러한 각 레이블은 관찰하고 잠재적으로 처리할 관심 대상인 농업 대상물이지만, 성장 단계에 따라 반드시 동일한 방식으로 처리되는 것은 아니다. 그러면 농업 처리 시스템(400)은 처리 매개변수를 실시간으로 결정하여 각각의 개별적으로 레이블된 농업 대상물을 상이한 처리 매개변수로 처리하거나 농업 대상물을 처리하지 않도록 할 수 있다. 예를 들어, 제1 레이블된 성장 단계가 처리될 필요가 없고, 제2 성장 단계는 적어도 한번 처리될 필요가 있고, 제3 성장 단계가 처리될 필요가 없다면, 농업 처리 시스템(400)은 경로를 통해 스캔하고, 이미지(1400)에 묘사된 것과 같은 이미지를 캡처하고, 제2 레이블된 성장 단계만 처리할 수 있다. 이 구체적인 예에서 꽃은 인공 꽃가루로 처리할 수 있다. 농업 처리 시스템(400)은 아직 꽃이 피지 않은 꽃봉오리와 개화 후 이미 자란 과실이 있음을 감지할 수 있으므로, 농업 처리 시스템(400)은 농업용 개체(1402)를 처리하지 않고 농업 대상물(1410)의 것과 동일한 레이블이 레이블된 농업 대상물만을 처리할 것이다. 하나의 예에서, 농업 처리 시스템(400)은 상이한 처리 혼합물을 선택하고 부피, 농도, 혼합물 유형뿐만 아니라 단일 스프레이 발사체, 농업 대상물의 표면을 향해 이동하는 넓은 표면적을 가진 스프레이 발사체 또는 안개 또는 안개 유형 스프레이 처리가 될 수 있는 방출 유형에 따라 상이한 처리 발사체를 방출할 수 있다. 이 예에서 서로 다른 성장 단계에 있는 여러 식별된 농업 대상물은 서로 다른 매개변수로 처리해야 할 수 있다. 특정 트라이얼에 대해 원하는 성장 단계를 갖는 다른 농업 대상물을 처리하는 동안, 특정 성장 단계에서 한 유형의 농업 대상물을 처리하는 대신에, 농업 처리 시스템(400)은 실시간 처리를 위해 원하는 화학 혼합물을 선택하고 수신함으로써 동일한 나무에서 성장하는 농업 대상물의 여러 유형의 성장 단계를 동시에 처리할 수 있다.
농업 처리 시스템(400)은 하나의 트라이얼이 한번에 농장 또는 과수원의 농작물의 각각의 열을 따라 센서 데이터를 캡처하고, 처리제를 퇴적하는 순서 또는 그 조합인 복수의 트라이얼을 실행함으로써 관찰할 수 있고, 센서 데이터를 캡처하고 각각의 농작물 또는 감지된 농업 대상물에 대한 처리제를 퇴적할 기회를 갖는다. 예를 들어, 농업 처리 시스템(400)이 하나의 주기로 하나 이상의 줄뿌림 농작물의 농장을 스캔하는 시운전은 달력 날짜로 하루에 한 번 또는 하루에 두 번, 낮에 한 번, 밤에 한 번 수행될 수 있다. 예를 들어, 농업 처리 시스템(400)은 특히 식물의 성장 순서가 한 계절이 더 빠르거나 다른 계절에 걸쳐 일련의 날이 더 빠른 경우, 하루에 농장이나 과수원에서 여러 번의 트라이얼 또는 실행을 수행할 수 있어서, 농업 처리 시스템(400)은 원하는 농업 대상물의 표면에 더 자주 처리제를 퇴적할 뿐만 아니라 더 많은 트라이얼을 수행함으로써 성장 단계에서 더 많은 변화를 포착할 수 있다.
추가로, 농작물의 각 열은, 각 열이 동일한 식물을 포함하든지 예를 들어 교대로 심어지는 상이한 식물 유형을 포함하든지 간에, 하나 이상의 꽃봉오리가 노출된 복수의 식물, 노출된 하나 이상의 꽃이 노출된 복수의 식물, 하나 이상의 과실이 처리를 위해 노출된 복수의 식물, 또는 한 열에 동시에 노출된 꽃봉오리, 꽃, 과실 등의 조합을 갖는 식물의 조합을 포함할 수 있다. 이 예에서 서로 다른 단계의 서로 다른 농업 대상물은 서로 다른 양과 빈도로 서로 다른 처리가 필요하다. 농업 처리 시스템(400)은 복수의 농업 대상물의 열에 매핑된 각각의 고유하게 식별된 농업 대상물의 성장의 특정 단계를 식별할 수 있고, 그 상이하고 고유한 성장 단계에 기초하여 각각의 농업 대상물에 레이블 또는 식별자를 부여할 수 있다.
농업 처리 시스템(400)은 처리 화학 혼합물, 밀도 및 농도를 포함하는 적절하거나 원하는 처리 매개변수를 식별할 수 있어서, 특정 농업 대상물이 이미 처리 퇴적(treatment deposition)으로 이미 이전에 처리되어 감지된 성장 단계에 따라 지리적 경계에 있는 동일한 고유 농작물에 동일한 처리를 다시 적용하기에는 주어진 트라이얼에서 또 다른 처리는 시간적으로 너무 가까울 수 있음을 식별할 수 있다면 특정 트라이얼에 대해 처리가 필요한지 여부를 식별할 수 있다.
농업 처리 시스템(400)은 농장 또는 과수원과 같은 지리적 경계 내부의 식물 열에서 복수의 농업 대상물 중 제1 농업 대상물을 감지할 수 있다. 농업 처리 시스템(400)은 제1 농업 대상물이 복수의 다른 농업 대상물과 종류별로 상이하거나 감지된 제1 농업 대상물이 제1의 것과 동일한 종류의 복수의 농업 대상물 중 하나라고 판단할 수 있고, 동일한 농업 대상물 유형의 실세계의 각각의 유닛 또는 대상물이 지리적 경계에서 인덱스되고 위치할 수 있도록 실제 세계에서 특정 개체를 식별하는 고유한 식별자에 의해 인덱스될 수 있다. 예를 들어, 동일한 나무 또는 뿌리의 동일한 식물 유형의 복수의 농업 대상물 중 제1 농업 대상물은 과수원 또는 줄농장에서 식별될 수 있다. 제1 농업 대상물은 농작물 유형과 같은 대상물 유형을 식별하는 고유 식별자와 지리적 경계에서의 위치 및 식별자가 제1 농업 대상물에 할당된 시간을 사용하여 농업 대상물(#400)로 할당 및 인덱스될 수 있다. 농업 처리 시스템(400)은 또한 크기, 모양, 색상, 질감 등에 기초하여 제1 농업 대상물의 레이블을 제1 레이블, 예를 들어 감지된 제1 대상물이 농작물의 과실인 경우 과실(#400)을 할당할 수 있다. 동일한 원하는 식물 또는 농작물의 상이한 성장 단계는 상이한 유형, 빈도, 부피 또는 이들의 조합의 처리를 요구할 수 있기 때문에, 농업 처리 시스템(400)은 공간에서의 제1 농업 대상물을 감지하고 실시간으로 결정되거나 이전 트라이얼에서 감지된 성장 단계에 기초하여 결정된 제1 농업 대상물의 성장 단계를 감지할 때 실시간으로 처리 매개변수를 결정할 수 있다. 예를 들어, 특정 시간에 감지된 제1 농업 대상물이 꽃 또는 꽃송이인 경우, 농업 처리 시스템(400)은 하나 이상의 이미지에서 감지된 꽃을 꽃으로 레이블링하고 꽃에 대한 처리 매개변수를 결정할 수 있다. 농업 처리 시스템(400)은 동일한 식물 열을 따라 동일한 성장 단계에서 감지된 각각의 동일한 농업 대상물 유형에 대해 동일한 유형, 혼합물, 양 및 빈도의 처리를 적용할 수 있다. 농업 처리 시스템(400)은 동일한 식물 열을 따라 상이한 성장 단계에서 감지된 각각의 동일한 농업 대상물 유형에 대해 상이한 유형, 혼합물, 양 및 빈도의 처리를 적용할 수 있다. 한 예에서, 식물 또는 식물 일부의 상이한 성장 단계는 계절의 한 부분에서 일 또는 시간으로 변할 수 있고 계절의 다른 부분에서 주 또는 달로 변할 수 있다.
예를 들어, 동일한 농작물을 산출하는 동일한 유형의 식물의 열에 있는 복수의 나무의 나무는 나무의 일부, 예를 들어 싹, 잔가지, 줄기, 곁가지 또는 노드가 있는 가지, 송이, 꽃봉오리 또는 서로 다른 단계에서 자라는 농작물을 위한 다른 대상물을 가질 수 있다. 잠재적인 농작물에 대한 꽃봉오리는 나무의 한 부분 또는 곁가지에 형성될 수 있지만 나무의 다른 부분에는 꽃봉오리가 없다. 이 단계에서 농업 처리 시스템(400)은 꽃봉오리가 있는 나무의 부분을 식별하고 특정 식물의 꽃봉오리를 처리하는 데 적절한 화학적 처리 또는 광 처리(예: 레이저)를 포함하는 임의의 처리를 수행할 수 있다. 또 다른 예에서, 나무는 꽃이 있는 일부 곁가지와 꽃봉오리만 있는 일부 곁가지를 가질 수 있다. 이 예에서, 꽃은 특정 처리로 처리될 수 있고, 꽃봉오리는 꽃에 대한 처리와 다른 유형의 처리로 처리될 수 있다. 농업 처리 시스템(400)은 성장 단계에 기초하여 서로 다른 레이블을 갖는 공간 내의 다양한 농업 대상물을 식별하고 구별할 수 있으며 현실 세계에서 식별되고 위치된 각각의 고유한 농업 대상물에 적절한 처리를 적용할 수 있다.
농업 처리 시스템(400)은 또한 지리적 경계의 공간에서 식별된 각각의 고유한 농업 대상물에 대한 처리 이력을 식별하고 인덱싱할 수 있다. 예를 들어, 나무의 곁가지에서 감지된 하나 이상의 꽃봉오리는 특정 유형의 화학적 또는 광 처리로 처리될 수 있다. 이 시점에서 특정 곁가지에는 아직 꽃봉오리를 형성하지 않은 곁가지가 있다. 시간이 흐르고 농업 처리 시스템(400)이 처리를 위해 농작물 열과 맞물리면 아직 꽃봉오리를 형성하지 않은 곁가지가 이제 꽃봉오리를 가질 수 있다. 또한, 이전에 발견된 처리된 꽃봉오리는 아직 꽃으로 바뀌지 않았거나 추가 처리 또는 다른 유형의 처리가 필요할 수 있는 꽃봉오리의 추가 단계이다. 이 예에서, 농업 처리 시스템(400)은 시간에 따른 레이블, 농업 대상물이 감지된 각각의 시간에 대한 타임스탬프 및 그 특정 성장 단계 및 레이블된 성장 단계의 이미지를 사용하여 성장 단계에 의해 감지된 각 농업 대상물을 인덱싱했기 때문에, 농업 처리 시스템(400)은 열의 어떤 농업 대상물이 처리를 필요로 하고 열의 어떤 농업 대상물이 처리를 필요로 하지 않는지를 결정할 수 있는데, 이는 그것이 이전 트라이얼에서 이미 처리되었고 매 트라이얼마다 처리가 필요하지 않거나 또는 다른 유형, 빈도, 혼합 등의 처리가 필요할 것으로 감지된 후기 성장 단계에 도달하지 않았기 때문이다.
이전 예에서와 같이, 대상물(#400)과 관련된 하나 이상의 이미지, 위치 및 대상물 유형을 가지며 레이블된 성장 단계, 예를 들어 레이블(#400)을 기반으로 하는 제1 실제 농업 대상물(#400)은 특정 처리 혼합물, 유형, 부피, 농도 등과 발사체 방출 강도를 갖는 제1 처리가 필요할 수 있다. 농업 대상물(#400)에 근접하며 예를 들어 농업 대상물(#400)과 동일한 나무의 수확을 위한 잠재적인 대상물이며 제2 농업 대상물(#401)과 관련된 하나 이상의 이미지, 위치 및 대상물 유형을 가지며 레이블(#401)을 기반으로 하는 제2 농업 대상물(#401)은 특정 처리 혼합물, 유형, 부피, 농도 등과 발사체 방출 강도를 갖는 제2 처리가 필요할 수 있다. 혼합물, 유형, 부피, 농도, 방출된 발사체의 강도, 또는 이들의 조합과 같은 처리 매개변수의 차이 또는 농업 처리 시스템(400)에 의해 수행된 특정 시운전에 대한 처리를 전혀 퇴적하지 않는 것은 농업 대상물이 동일한 유형이더라도 감지된 상이한 성장 단계를 기반으로 할 수 있다. 한 예에서, 상이한 처리 매개변수가 동일한 유형의 식물을 갖는 농작물 열에 적용될 수 있지만 다양한 곁가지와 같은 식물의 일부는 상이한 단계에서 곁가지에서 성장하는 농업 대상물을 가질 수 있고 상이한 처리를 필요로 할 수 있다. 열에서 상이한 식물이 있는 예를 들면 농작물이 교호하는 일 열의 농작물에 상이한 처리 매개변수가 적용될 수 있다. 일 예에서, 동일한 처리 매개변수를 갖는 동일한 처리가 동일하거나 유사한 성장 단계를 갖는 각각의 농업 대상물의 동일한 농작물 열에 적용될 수 있다. 한 예에서, 상이한 성장 단계에서 상이한 식물의 동일한 식물의 농작물 열에 상이한 농도 또는 빈도의 퇴적된 처리가 적용될 수 있다. 예를 들어, 곁가지의 제1 꽃은 특정 혼합물, 농도, 부피 등의 화학 물질-#1의 일 퇴적을 요구할 수 있다. 나무 또는 다른 곁가지의 다른 부분은 아직 꽃봉오리에서 개화를 경험하지 않았을 수 있어서, 제1 개화는 화학 물질-#l 처리를 받게 된다. 나중에, 더 구체적으로, 농업 처리 시스템(400)에 의해 수행되는 나중 트라이얼에서, 다른 곁가지는 제2 개화와 같은 개화를 경험할 것이다. 한 예에서, 제2 개화가 화학 물질-#1의 단일 처리를 받는 것이 바람직할 것이다. 제1 개화는 이미 화학 물질-#1의 처리를 받았고 이 특정 식물 유형의 이 특정한 예시적인 성장 단계에 대해, 이 예시적인 제1 개화는 단지 한 번의 화학 물질-#1 처리를 필요로 하기 때문에, 농업 처리 시스템(400)은 제2 개화의 농업 대상물이 특정 부피, 농도, 발사체 강도의 화학 물질-#1의 처리를 필요로 한다는 것을 감지할 수 있고, 화학 물질-#1의 처리를 적용하고, 제1 개화의 농업 대상물이 이 트라이얼에 대해 처리를 필요로 하지 않는다는 것을 감지할 수 있다.
도 15는 시스템(100), 농업 처리 시스템(400), 시스템(600) 및 시스템(800)을 포함하는 전술한 일부 예시적인 시스템에 의해 수행될 수 있는 예시적인 방법(1200)을 도시한다. 예를 들면, 단계(1510)에서의 일 모드의 동작에서, 농업 처리 시스템(400)은 하나 이상의 이미지 캡처 장치에서 실제 농업 현장의 이미지 데이터를 수신할 수 있다. 단계(1520)에서 농업 처리 시스템(400)은 이미지 데이터의 제1 이미지에서 하나 이상의 농업 대상물을 감지할 수 있다. 단계(1530)에서, 농업 처리 시스템(400)은 제1 농업 대상물과 관련된 성장 단계를 식별할 수 있다. 단계(1540)에서, 농업 처리 시스템(400)은 제1 농업 대상물의 성장 단계의 레이블을 할당할 수 있다. 추가로, 단계(1542)에서, 농업 처리 시스템(400)은 레이블과 연관되어 취해진 제1 이미지의 타임스탬프와 함께 레이블된 농업 대상물이 있는 제1 이미지를 인덱싱하고 저장할 수 있다. 단계(1550)에서, 농업 처리 시스템(400)은 제1 농업 대상물의 성장 단계의 할당된 레이블에 기초하여 하나 이상의 처리 매개변수를 결정할 수 있다. 단계(1560)에서, 농업 처리 시스템(400)은 화학적 선택기로부터 유체 혼합물을 수신하여 처리를 준비하기 위해 농업 처리 시스템의 처리 유닛에 대한 명령을 수신할 수 있다. 단계(1570)에서, 농업 처리 시스템(400)은 실제 농업 현장에서 제1 농업 대상물을 타겟으로 하도록 처리 유닛을 배향하고 제1 농업 대상물의 표면에서 유체 발사체를 방출하도록 처리 유닛을 활성화할 수 있다.
일례에서, 농업 처리 시스템(400)은 한 줄의 식물에서 동일한 식물의 상이한 성장 단계에 대해 화학적 혼합물의 상이한 화학적 농도가 요구된다는 것을 결정할 수 있다. 일 예에서, 농업 처리 시스템(400)은 화학 혼합물의 상이한 화학 농도가 농장 또는 과수원의 동일한 줄에 심어진 상이한 식물의 상이한 성장 단계에 대해 요구되는 것을 결정할 수 있다. 또 다른 예에서, 농업 처리 시스템(400)은 농업 대상물의 특정 성장 단계만이 특정 처리의 퇴적을 필요로 하고, 감지된 다른 농업 대상물은 현실 세계에서 감지된 특정 농업 대상물의 성장 단계 및 처리 이력에 따라 다른 처리의 침착 또는 무처리를 필요로 한다고 결정할 수 있다. 한 예에서, 식물 열은 다른 농업 대상물, 또는 다른 성장 단계 및 다른 처리 이력을 가진 동일한 농업 대상물을 지지하는 곁가지를 가질 수 있어, 열의 각각의 고유한 농업 대상물에 대해 다른 처리가 요구된다. 화학 물질 선택 유닛은 농업 처리 시스템(400)에 대해 실시간으로 다양한 처리 혼합물 및 농도를 혼합하여 특정 식물 열에서 트라이얼을 수행하는 동안 실시간으로 다양한 처리 요구 사항을 수용할 수 있다. 추가로, 농업 처리 시스템(400)은 농작물의 단일 열 또는 다른 구성에서 상이한 식물의 상이한 농업 대상물에 상이한 처리의 적용을 수용할 수 있다.
따라서, 농업 처리 시스템(400)은 실시간으로 농업 대상물과 그 성장 단계 및 열의 실제 위치를 센서로 스캔하고, 감지된 성장 단계 및 특정 농업 대상물의 처리 이력에 기초하여 특정 처리를 적용할지 여부를 결정할 수 있다.
도 16 내지 도 24는 농업 관찰을 수행하고, 지리적 경계를 디지털화하고, 각각의 개별 농업 대상물 또는 감지된 농작물의 지도를 구축하고, 농업 대상물의 캡처된 이미지를 한 순간에서 다른 순간으로 연관시켜 감지된 각각의 농업 대상물의 이미지 이력 및 위치로 농장을 디지탈화 및 매핑하고, 감지된 각각의 개별 농업 대상물을 처리한다.
꽃봉오리, 꽃(blooms), 꽃, 과실 및 기타 농업 대상물의 설명 및 논의된 이러한 농업 대상물의 성장 단계는 과실 나무의 과실의 성장 단계와 연관된 과실 및 대상물을 감지하는 농업 처리 시스템(400)과 같은 처리 시스템에 의해 감지될 수 있는 일련의 대상물의 예시일 뿐임을 의미하고, 위에서 설명한 특정 예에만 제한되지 않는다. 예를 들어, 농작 대상물에는 잔가지, 싹, 줄기, 곁가지, 기타 노드, 결실 송이, 잎 또는 나무의 다른 부분을 포함하여 분무를 위해 감지, 분류 및 레이블링할 수 있는 농작물 지원의 일부인 나무의 일부 또는 더 큰 대상물이 포함될 수 있다. 농작물을 위한 일반 식물, 과일, 채소, 견과, 꽃, 허브, 잎(foliage) 등을 포함하는 특수 농작물을 포함하는 상이한 유형의 식물이 처리 시스템에 의해 처리될 수 있다. 농업 처리 시스템(400)은 농작물의 관찰, 처리, 수확 또는 그 조합을 위한 로봇 비전 및 처리 퇴적 시스템에 일반적으로 적합한 농장, 과수원, 온실, 종묘장 또는 농경학 및 농업, 원예, 화훼 재배, 수경재배(hydroculture), 수경재배(hydroponics), 아쿠아포닉스(aquaponics), 에어로포닉스(aeroponics), 토양 과학 및 토양 농업 경제학(agronomy), 토양학(pedology) 등을 위한 기타 지역적 및 지형학적 경계와 같은 지리적 경계에서 수행될 수 있다.
도 16은 일부 예에 따라 지리적 경계에서 수행하는 예시적인 관찰 및 처리 시스템을 지원하는 예시적인 차량을 도시하는 도면(1600)이다. 이 예에서, 차량(1610)은 하나 이상의 처리 시스템(1652)을 지지할 수 있다. 처리 시스템(1652)은 전술한 시스템(100), 농업 처리 시스템(400), 시스템(600) 및 시스템(800)과 유사할 수 있다. 차량(1610)은 농장이나 과수원과 같은 지리적 경계에서 작동할 수 있다. 도 16에 도시된 지리적 경계의 일부는 하나 이상의 나무(1634)를 갖는다. 이 예에서 차량(1610)은 처리 시스템(1652)이 관찰하고 처리할 여러 줄의 나무 또는 다른 식물이 있는 과수원에서 작동할 수 있다. 일 예에서, 차량은 차량 양쪽에 늘어선 나무와 농작물의 열을 따라 직선으로 이동할 수 있다.
하나 이상의 처리 시스템(1652)은 처리 시스템(1652)이 한 줄의 농작물 또는 차량(1610)이 이동하는 동안 일렬로 늘어서 있는 식물 또는 기타 농업 현장을 스캔하도록 구성되고 배향될 수 있다.
차량(1610)은 전기 모터 또는 내연 기관에 의해 구동되는 것을 포함하여 임의의 동력 차량의 기능 및/또는 구조를 포함할 수 있다. 예를 들어, 차량(1610)은 픽업 트럭(또는 임의의 다른 트럭), 전지형 차량("ATV"), 다용도 작업 차량("UTV")과 같은 트럭 또는 트랙터 등을 포함하는 다목적 오프로드 차량을 포함하는 모든 농업용 차량의 기능 및/또는 구조를 포함할 수 있다. 처리 시스템(1652)은 차량에 의해 별도로 동력을 공급받거나 당겨질 수 있으며, 지리적 경계에서 경로 부분을 수동으로 또는 자율적으로 탐색할 수 있다.
일 예에서, 지리적 경계는 차량이 통과할 단일 차선의 각 측면에 두 줄의 식물을 갖도록 구성될 수 있다. 차량의 양쪽에는 나무와 같은 수직으로 자라는 식물이 있다. 처리 시스템(1652)은 처리 시스템(1652)의 이미지 센서가 차량의 각각의 2개의 좌측 및 우측에 있는 나무를 직접 가리키는 방식으로 차량에 장착될 수 있다. 차량이 과수원의 차선이나 경로를 따라 작동할 때 처리 시스템(1652)은 식물 열의 한쪽에서 다른 쪽으로 일련의 이미지를 캡처할 수 있을 뿐만 아니라 각 농업 대상물을 정밀하게 처리할 수 있다.
도 17a 및 도 17b는 각각 도 16에 도시된 도면의 측면도 및 정면도이다. 차량은 전술한 바와 같이 차량 및 대상물의 위치를 파악하기 위한 센서(1640)를 포함하는 공간 및 내비게이션 센서를 포함할 수 있다. 센서(1640)는 다양한 유형의 카메라, 거리 측정기 및 LiDar를 포함하는 시각적 오도메트리 센서, 다양한 유형의 카메라, 거리 측정기 및 Lidar 등을 포함하는 동시 위치 추정 및 매핑 센서일 수 있다. 차량(1610)에 의해 지지되는 각각의 처리 시스템은 관심 농업 대상물을 포함하는 처리 타겟(1660) 상으로 처리 발사체 또는 액적을 방출하기 위한 처리 유닛(1653)을 포함할 수 있다.
도 18은 대체 방향으로 처리 시스템(1652)을 지지하는 차량(1610)을 예시하는 도면이다.
도 19는 도 21의 논의에서 추가로 논의되는 V자형 격자에서 성장하거나 "V"자형으로 성장하는 식물을 갖는 지리적 환경에 대해 구성 및 최적화된 하나 이상의 처리 시스템(1652)을 지지하거나 견인하는 차량을 도시한다.
도 20은 X축에 대한 롤, Y축에 대한 피치 및 Z축에 대한 요를 포함하는 회전 운동과 관련된 좌표뿐만 아니라 지리적 경계에서의 X, Y 및 Z 위치를 포함하는 측면 이동과 관련된 병진 좌표를 갖는 차량을 도시한다. 도 20에 도시된 차량(1610)은 적어도 6 자유도를 가지고 이동할 수 있다. 추가적으로, 처리 시스템(1652)의 처리 유닛(163)은 X축에 대한 롤, Y축에 대한 피치 및 Z축에 대한 요를 포함하는 회전 운동과 관련된 좌표뿐만 아니라 지리적 경계에서의 X, Y 및 Z 위치를 포함하는 측면 이동과 관련된 병진 좌표를 가질 수 있다. 이는 처리 유닛(1653)의 노즐 또는 헤드가 표적에 위치하도록 처리 유닛(1653)을 구성 및 배향하거나 발사체를 방출하기 위해 표적을 향해 시야를 정렬할 때 처리 유닛(1653)의 짐벌 조립체를 원하는 피치 각도(2002) 및 원하는 요 각도(2004)로 회전 및 이동시키는 것을 포함할 수 있다.
도 21은 V자형 격자에서 성장하는 식물을 갖는 지리적 환경에 대해 구성되고 최적화된 하나 이상의 처리 시스템(1652)을 지지하거나 견인하는 차량을 도시한다. 식물(1670)은 V자형 격자에서 자라는 식물이거나 자연적으로 "V"자 모양으로 자라는 식물이다. 추가로, 차량(1610)에 의해 지지되는 처리 시스템(1652)의 다른 구성은 이미지 획득 및 처리를 위해 최적화하기 위해 사용될 수 있다. 한 예에서, 나무는 감지된 일부 농업 대상물이 다른 농업 대상물과 달리 차량으로부터 더 깊은, 나뭇가지와 잎의 크라운(crown)이 있는 다른 나무와 달리 각 감지된 농업 대상물이 차량에서 대략 같은 거리에 있도록 도움을 받아 수직으로 자랄 수 있다.
도 22는 하나 이상의 센서(1640) 및 다른 전자 장치를 갖고 하나 이상의 처리 시스템(1652)을 지지하고 견인하는 차량(1720)을 포함하는 도형(1700)을 도시한다. 도 22에 도시된 바와 같이, 차량(1720)은 복수의 처리 시스템(1652)을 견인하는 트랙터일 수 있다.
도 23은 차량(1720)에 의해 견인되는 처리 시스템(1652)의 다른 방향을 갖는 도형(1700)을 예시한다.
도 24에 추가로 도시된 바와 같이, 트랙터와 같은 차량(1720)은 차량(1720)을 위한 다중 차선 및 견인 지지대를 갖고 지리적 경계에서 작동하는 차량 트랙(1680)을 따라 하나 이상의 처리 시스템(1652)을 견인하도록 구성된다. 각 차량 트랙(1680) 사이에는 각 처리 시스템(1652)에 대한 식물의 하나 이상의 열이 있어 각 행을 가로질러 스캔하여 지면에서 자라는 각 개별 식물을 관찰하고 처리한다.
처리 시스템(1652)은 식물, 토양, 농업 환경을 관찰하고, 식물, 토양, 농업 환경 또는 이들의 조합을 성장을 위한 식물 처리, 수정, 수분, 건강 보호 및 처리, 간벌, 수확 또는 원치 않는 식물 또는 유기체 제거를 위한 식물 처리, 특정 확인된 식물 또는 식물 일부 또는 이들의 조합에 대한 성장 중지와 같이 처리하도록 구성될 수 있다.
일 예에서, 처리 시스템(1652)은 토양 샘플링 및 토양의 특징 및 화학적 조성의 매핑을 위해 토양을 관찰하고 처리하도록 지리적 경계에서 구성될 수 있다. 표적화 및 처리를 위한 상술한 농업 대상물은 식별될 수 있고 특징 및 분류가 처리 시스템(1652) 또는 농업 처리 시스템(400)의 비전에 의해 레이블되는 토양의 특정 패치일 수 있다. 처리 시스템(1652)에 의해 감지된 토양의 각 패치 또는 영역은 패치 또는 영역이 감지된 순간과 관련된 타임스탬프 및 토양의 각 패치 또는 영역에 적용되는 각 처리를 상세히 설명하는 처리 이력으로 인덱싱되고 매핑될 수 있다.
본 명세서에서 사용된 용어는 단지 특정 측면을 설명하기 위한 것이며 본 발명을 제한하려는 의도가 아니다. 본 명세서에서 사용된 바와 같이, 단수형 "a", "an" 및 "the"는 문맥상 명백하게 달리 나타내지 않는 한 복수형도 포함하는 것으로 의도된다. 본 명세서에서 사용된 용어 "포함하다", "포함하는" 또는 이들의 조합은 명시된 특징, 정수, 단계, 동작, 요소 및/또는 구성요소의 존재를 지정하지만, 하나 이상의 다른 기능, 정수, 단계, 동작, 요소, 구성 요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않은 것으로 이해될 것이다.
본 개시내용은 특정 예를 참조하여 구체적으로 도시되고 설명되었지만, 개시된 예의 형태 및 세부사항의 변경이 본 개시내용의 범위를 벗어나지 않고 이루어질 수 있음을 이해해야 한다. 본 발명의 다양한 이점, 양태 및 목적이 다양한 예를 참조하여 본 명세서에서 논의되었지만, 본 개시의 범위는 그러한 이점, 양태 및 목적을 참조하여 제한되어서는 안된다는 것이 이해될 것이다. 오히려, 본 발명의 범위는 청구범위를 참조하여 결정되어야 한다.
앞선 상세한 설명의 일부는 컴퓨터 메모리 내의 데이터 비트에 대한 연산의 기호 표현 및 알고리즘의 관점에서 제시되었다. 이러한 알고리즘 설명 및 표현은 데이터 처리 분야의 숙련자가 작업의 내용을 다른 당업자에게 가장 효과적으로 전달하기 위해 사용하는 방식이다. 여기에서 알고리즘은 일반적으로 원하는 결과를 가져오는 자체 일관성 있는 작업 시퀀스로 간주된다. 연산은 물리량의 물리적 조작이 필요한 작업이다. 반드시 그런 것은 아니지만 일반적으로 이러한 양은 저장, 결합, 비교 및 조작할 수 있는 전기 또는 자기 신호의 형태를 취한다. 이러한 신호를 비트, 값, 요소, 기호, 문자, 용어, 숫자 등으로 참조하는 것이 주로 일반적인 사용상의 이유로 때때로 편리한 것으로 입증되었다.
그러나, 이들 및 유사한 용어 모두는 적절한 물리량과 연관되어야 하며 이러한 양에 적용되는 단지 편리한 레이블이라는 점을 염두에 두어야 한다. 위의 논의에서 명백히 달리 구체적으로 언급되지 않는 한, 설명 전반에 걸쳐 "식별하는" 또는 "결정하는" 또는 "실행하는" 또는 "수행하는" 또는 "수집하는" 또는 "생성하는" 또는 "보내는"과 같은 용어를 사용하는 논의가 컴퓨터 시스템의 레지스터 및 메모리 내에서 물리적(전자적) 양으로 표현된 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 그러한 정보 스토리지 내부에서 물리적 양으로 유사하게 표현된 다른 데이터로 조작하고 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치의 작업 및 프로세스를 나타낸다는 것을 이해해야 한다.
본 발명은 또한 본 명세서에서의 동작을 수행하기 위한 장치에 관한 것이다. 이 장치는 의도된 목적을 위해 특별히 구성되거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 임의의 유형의 디스크, 광 디스크, CD-ROM 및 자기 광 디스크, ROM(read-only memory), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 또는 광학 카드, 솔리드 스테이트 드라이브, 플래시 드라이브, SATA 드라이브, NAND 및 3D NAND 플래시 드라이브, 또는 각각 컴퓨터 시스템 버스에 연결된 전자 명령을 저장하는 데 적합한 모든 유형의 미디어와 같은 컴퓨터 판독 가능 저장 매체에 저장될 수 있지만 이에 제한되지는 않는다.
다양한 범용 시스템이 본 명세서의 교시에 따른 프로그램과 함께 사용될 수 있거나, 방법을 수행하기 위해 보다 특수화된 장치를 구성하는 것이 편리할 수 있다. 이러한 시스템의 다양한 구조는 위의 설명에 설명된 대로 나타난다. 또한, 본 발명은 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 본 명세서에 기술된 바와 같이 본 발명의 교시를 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있음을 이해할 것이다.
본 발명은 본 개시에 따른 프로세스를 수행하기 위해 컴퓨터 시스템(또는 다른 전자 장치)을 프로그래밍하는 데 사용될 수 있는 명령이 저장된 기계 판독 가능 매체를 포함할 수 있는 컴퓨터 프로그램 제품 또는 소프트웨어로 제공될 수 있다. 기계 판독 가능 매체는 기계(예: 컴퓨터)에 의해 판독 가능한 형식으로 정보를 저장하기 위한 모든 메커니즘을 포함한다. 예를 들어, 기계 판독 가능(예를 들어, 컴퓨터 판독 가능) 매체는 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 장치 등와 같은 기계(예를 들어, 컴퓨터) 판독 가능 저장 매체를 포함한다.
전술한 개시에서, 개시의 구현은 그것의 구체적인 예의 구현을 참조하여 설명되었다. 다음의 특허청구범위에 기재된 바와 같이 본 개시내용의 보다 넓은 사상 및 구현 범위를 벗어나지 않고 다양한 수정이 이루어질 수 있음이 명백할 것이다. 따라서 개시 및 도면은 제한적인 의미가 아닌 예시적인 의미로 간주되어야 한다.

Claims (20)

  1. 하드웨어를 포함하는 하나 이상의 프로세서, 하나 이상의 이미지 센서 및 처리 유닛을 포함하는 농업 처리 시스템에 의해 수행되는 방법으로서, 하나 이상의 프로세서는:
    농업 처리 시스템의 제1 실제 지리 공간적 위치를 결정하는 단계;
    지리적 장면의 실제 농업 대상물을 묘사하는 하나 이상의 캡처된 이미지를 수신하는 단계;
    하나 이상의 캡처된 이미지를 농업 처리 시스템의 결정된 지리 공간적 위치와 연관시키는 단계;
    이미지 그룹으로부터, 제1 실제 지리 공간적 위치에 근접한 제2 실제 지리 공간적 위치를 갖는 하나 이상의 이미지를 식별하는 단계;
    식별된 이미지의 적어도 일부를 하나 이상의 캡처된 이미지와 비교하는 단계;
    하나 이상의 캡처된 이미지를 하나 이상의 식별된 이미지의 상기 일부와 비교하는 것에 기초하여 타겟 대상물을 결정하는 단계; 및
    처리 유닛을 사용하여 타겟 대상물에 유체 발사체를 방출하는 단계
    를 포함하는 동작들을 수행하도록 구성되는 방법.
  2. 청구항 1에 있어서, 상기 이미지 그룹은 키 프레임 이미지 및 서브 키 프레임 이미지를 포함하고, 상기 키 프레임 이미지는 지리적 장면의 농업 대상물을 묘사하고, 상기 서브 키 프레임 이미지는 키 프레임 이미지의 일부를 묘사하는, 방법.
  3. 청구항 1 또는 청구항 2에 있어서, 식별된 이미지의 적어도 일부를 비교하는 단계는,
    상기 서브 키 프레임 이미지의 픽셀을 캡처된 이미지 중 하나의 일부와 비교하는 단계;
    상기 서브 키 프레임 이미지가 캡처된 이미지의 일부와 일치하는지 여부의 신뢰 수준을 결정하는 단계; 및
    결정된 신뢰 수준이 임계값을 충족하거나 초과하는 일치함(match)을 식별하는 단계를 포함하는, 방법.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 키 프레임 이미지는 농업 처리 시스템의 하나 이상의 이미지 센서에 의해 이전에 획득되었고, 상기 캡처된 이미지는 상기 키 프레임 이미지가 취해진 다음 시점에 동일한 하나 이상의 이미지 센서에 의해 획득되는, 방법.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서, 상기 식별된 이미지의 적어도 일부를 비교하는 단계는,
    캡처된 이미지에서 랜드마크 개체를 식별하는 단계; 및
    상기 캡처 이미지에서의 랜드마크 개체의 일부가 이미지 그룹으로부터의 이미지의 일부와 일치함을 결정하는 단계를 포함하는, 방법.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서, 상기 타겟 대상물은 유체 발사체로 처리되도록 의도된 실제 대상물이고, 상기 랜드마크 개체는 타겟 대상물의 위치를 결정하는 데 도움이 되는 실제 대상물인, 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서, 하나 이상의 캡처된 이미지는 하나 이상의 이미지 센서에 의해 획득되고 실제 농업 대상물은 이미지를 캡처하는 카메라로부터 0.5피트 내지 100피트의 거리 내에 위치하는, 방법.
  8. 컴퓨터 저장 매체로서, 농업 처리 시스템에 포함된 하나 이상의 프로세스에 의해 실행될 때 농업 처리 시스템이:
    농업 처리 시스템의 제1 실제 지리 공간적 위치를 결정하고;
    지리적 장면의 실제 농업 대상물을 묘사하는 하나 이상의 캡처된 이미지를 수신하고;
    하나 이상의 캡처된 이미지를 농업 처리 시스템의 결정된 지리 공간적 위치와 연관시키고;
    이미지 그룹으로부터, 제1 실제 지리 공간적 위치에 근접한 제2 실제 지리 공간적 위치를 갖는 하나 이상의 이미지를 식별하고;
    식별된 이미지의 적어도 일부를 하나 이상의 캡처된 이미지와 비교하고;
    하나 이상의 캡처된 이미지를 하나 이상의 식별된 이미지의 상기 일부와 비교하는 것에 기초하여 타겟 대상물을 결정하고; 그리고
    농업 처리 시스템의 처리 유닛을 사용하여 타겟 대상물에 유체 발사체를 방출하는 것
    을 포함하는 동작들을 수행하게 하는 명령을 포함하는 컴퓨터 저장 매체.
  9. 청구항 8에 있어서, 상기 이미지 그룹은 키 프레임 이미지 및 서브 키 프레임 이미지를 포함하고, 상기 키 프레임 이미지는 지리적 장면의 농업 대상물을 묘사하고, 상기 서브 키 프레임 이미지는 키 프레임 이미지의 일부를 묘사하는, 컴퓨터 저장 매체.
  10. 청구항 8 또는 청구항 9에 있어서, 상기 식별된 이미지의 적어도 일부를 비교하는 것은:
    상기 서브 키 프레임 이미지의 픽셀을 캡처된 이미지 중 하나의 일부와 비교하고;
    상기 서브 키 프레임 이미지가 캡처된 이미지의 일부와 일치하는지 여부의 신뢰 수준을 결정하고; 그리고
    결정된 신뢰 수준이 미리 결정된 신뢰 수준 임계값을 충족하거나 초과하는 일치함을 식별하는 것을 포함하는, 컴퓨터 저장 매체.
  11. 청구항 8 내지 청구항 10 중 어느 한 항에 있어서, 상기 키 프레임 이미지는 농업 처리 시스템의 하나 이상의 이미지 센서에 의해 이전에 획득되었고, 상기 캡처된 이미지는 상기 키 프레임 이미지가 취해진 다음 시점에 동일한 하나 이상의 이미지 센서에 의해 획득되는, 컴퓨터 저장 매체.
  12. 청구항 8 내지 청구항 11 중 어느 한 항에 있어서, 식별된 이미지의 적어도 일부를 비교하는 것은:
    캡처된 이미지에서 랜드마크 개체를 식별하고; 그리고
    캡처 이미지에서의 랜드마크 개체의 일부가 이미지 그룹으로부터의 이미지의 일부와 일치함을 결정하는 것을 포함하는, 컴퓨터 저장 매체.
  13. 청구항 8 내지 청구항 12 중 어느 한 항에 있어서, 상기 타겟 대상물은 유체 발사체로 처리되도록 의도된 실제 대상물이고, 상기 랜드마크 개체는 타겟 대상물의 위치를 결정하는 데 도움이 되는 실제 대상물인, 컴퓨터 저장 매체.
  14. 청구항 8에 있어서, 상기 하나 이상의 캡처된 이미지는 하나 이상의 이미지 센서에 의해 획득되고 상기 실제 농업 대상물은 이미지를 캡처하는 카메라로부터 0.5피트 내지 100피트의 거리 내에 위치하는, 컴퓨터 저장 매체.
  15. 농업 처리 시스템으로서, 상기 시스템은:
    이미지를 획득하기 위한 하나 이상의 이미지 센서;
    짐블에 장착되어 유체 발사체를 방출하도록 구성된 처리 유닛;
    유체용 용기를 제공하는 하나 이상의 탱크;
    하나 이상의 탱크 및 상기 처리 유닛에 유체적으로 연결된 전자 제어 펌프; 및
    하드웨어를 포함하는 하나 이상의 프로세서, 메모리 및 비일시적 컴퓨터 판독 가능 저장 매체 - 하나 이상의 프로세서는 상기 처리 유닛의 동작을 제어하고 상기 처리 유닛을 통해 유체 발사체를 방출하기 위하여 상기 전자 제어 펌프의 작동 및 처리 유닛의 방향을 제어하도록 구성됨 - 을 포함하되, 여기서 하나 이상의 프로세서는:
    농업 처리 시스템의 제1 실제 지리 공간적 위치를 결정하고;
    지리적 장면의 실제 농업 대상물을 묘사하는 하나 이상의 캡처된 이미지를 수신하고;
    하나 이상의 캡처된 이미지를 농업 처리 시스템의 결정된 지리 공간적 위치와 연관시키고;
    이미지 그룹으로부터, 제1 실제 지리 공간적 위치에 근접한 제2 실제 지리 공간적 위치를 갖는 하나 이상의 이미지를 식별하고;
    식별된 이미지의 적어도 일부를 하나 이상의 캡처된 이미지와 비교하고;
    하나 이상의 캡처된 이미지를 하나 이상의 식별된 이미지의 상기 일부와 비교하는 것에 기초하여 대상 대상물을 결정하고; 및
    처리 유닛을 사용하여 타겟 대상물에 유체 발사체를 방출하는 것
    을 포함하는 동작들을 수행하도록 구성되는 농업 처리 시스템.
  16. 청구항 15에 있어서, 상기 이미지 그룹은 키 프레임 이미지 및 서브 키 프레임 이미지를 포함하고, 상기 키 프레임 이미지는 지리적 장면의 농업 대상물을 묘사하고, 상기 서브 키 프레임 이미지는 키 프레임 이미지의 일부를 묘사하는, 농업 처리 시스템.
  17. 청구항 15 또는 청구항 16에 있어서, 식별된 이미지의 적어도 일부를 비교하는 것은,
    상기 서브 키 프레임 이미지의 픽셀을 캡처된 이미지 중 하나의 일부와 비교하고;
    상기 서브 키 프레임 이미지가 캡처된 이미지의 일부와 일치하는지 여부의 신뢰 수준을 결정하고; 및
    결정된 신뢰 수준이 미리 결정된 신뢰 수준 임계값을 충족하거나 초과하는 일치함을 식별하는 것을 포함하는, 농업 처리 시스템.
  18. 청구항 15 내지 청구항 17 중 어느 한 항에 있어서, 상기 키 프레임 이미지는 농업 처리 시스템의 하나 이상의 이미지 센서에 의해 이전에 획득되었고, 상기 캡처된 이미지는 상기 키 프레임 이미지가 취해진 다음 시점에 동일한 하나 이상의 이미지 센서에 의해 획득되는, 농업 처리 시스템.
  19. 청구항 15에 있어서, 상기 식별된 이미지의 적어도 일부를 비교하는 것은,
    캡처된 이미지에서 랜드마크 개체를 식별하고; 그리고
    상기 캡처 이미지에서의 랜드마크 개체의 일부가 이미지 그룹으로부터의 이미지의 일부와 일치함을 결정하는 것을 포함하는, 농업 처리 시스템.
  20. 청구항 15에 있어서, 하나 이상의 캡처된 이미지는 하나 이상의 이미지 센서에 의해 획득되고 실제 농업 대상물은 이미지를 캡처하는 카메라로부터 0.5피트 내지 100피트의 거리 내에 위치하는, 농업 처리 시스템.
KR1020237016176A 2020-10-16 2020-11-20 농업 객체의 지도 기반 타겟팅을 이용한 자율 농업 처리 시스템 KR20230107811A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/073,236 US11076589B1 (en) 2020-10-16 2020-10-16 Autonomous agricultural treatment system using map based targeting of agricultural objects
US17/073,236 2020-10-16
PCT/US2020/061684 WO2022081180A1 (en) 2020-10-16 2020-11-20 Autonomous agricultural treatment system using map based targetting of agricultural objects

Publications (1)

Publication Number Publication Date
KR20230107811A true KR20230107811A (ko) 2023-07-18

Family

ID=77063174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237016176A KR20230107811A (ko) 2020-10-16 2020-11-20 농업 객체의 지도 기반 타겟팅을 이용한 자율 농업 처리 시스템

Country Status (7)

Country Link
US (5) US11076589B1 (ko)
EP (1) EP4228413A1 (ko)
KR (1) KR20230107811A (ko)
AU (1) AU2020472581A1 (ko)
CA (1) CA3195285A1 (ko)
CL (1) CL2023001059A1 (ko)
WO (1) WO2022081180A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT3605063T (pt) * 2017-03-23 2023-06-02 Nec Corp Dispositivo e método de cálculo do índice de vegetação, e programa de computador
US11212954B2 (en) * 2019-05-08 2022-01-04 Deere & Company Apparatus and methods for field operations based on historical field operation data
US11308323B2 (en) * 2019-12-21 2022-04-19 Verdant Robotics, Inc. Micro-precision application of multiple treatments to agricultural objects
US20220117209A1 (en) * 2020-10-16 2022-04-21 Verdant Robotics, Inc. Precision fluid delivery system
US11763271B2 (en) * 2020-10-30 2023-09-19 Cibo Technologies, Inc. Method and system for carbon footprint determination based on regenerative practice implementation
US11861625B2 (en) 2020-10-30 2024-01-02 Cibo Technologies, Inc. Method and system for carbon footprint monitoring based on regenerative practice implementation
US11775906B2 (en) * 2020-10-30 2023-10-03 Cibo Technologies, Inc. Method and system for verification of carbon footprint in agricultural parcels
US20220400637A1 (en) * 2021-03-08 2022-12-22 Monsanto Technology Llc Systems and methods for liquid-mediated delivery of pollen
CN113761239A (zh) * 2021-09-08 2021-12-07 武汉工程大学 基于海量地理位置信息的索引库建立及检索方法
CA3234573A1 (en) * 2021-10-11 2023-04-20 Carvin Guenther SCHEEL Sprayer performance modification by hmi
WO2023069841A1 (en) * 2021-10-20 2023-04-27 Verdant Robotics, Inc. Autonomous detection and control of vegetation
US11399531B1 (en) * 2021-10-20 2022-08-02 Verdant Robotics, Inc. Precision detection and control of vegetation with real time pose estimation
WO2023081135A1 (en) * 2021-11-02 2023-05-11 Carbon Autonomous Robotic Systems Inc. High intensity illumination systems and methods of use thereof
WO2023170673A1 (en) * 2022-03-10 2023-09-14 Mata Agritech, Ltd. System and method for controlling plant reproductive structures thinning
WO2023180774A1 (en) * 2022-03-25 2023-09-28 Micropply Limited A system and method for the preparation of ground surface treatments for autonomous agricultural spraying machines
CN115251024B (zh) * 2022-08-29 2023-11-21 北京大学现代农业研究院 除草方式的确定方法、装置、电子设备及除草系统
WO2024052317A1 (en) * 2022-09-05 2024-03-14 Basf Se A modular agricultural treatment system and a method for operating a modular agricultural treatment system
WO2024052316A1 (en) * 2022-09-05 2024-03-14 Basf Se A modular agricultural treatment system and a method for operating said modular agricultural treatment system

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236907B1 (en) 1995-05-30 2001-05-22 Ag-Chem Equipment Co., Inc. System and method for creating agricultural decision and application maps for automated agricultural machines
TWI290660B (en) * 2005-10-26 2007-12-01 Asia Optical Co Inc Image retriever with GPS functions, and image processing method thereof
US8417534B2 (en) 2006-12-29 2013-04-09 Pioneer Hi-Bred International, Inc. Automated location-based information recall
US20130129142A1 (en) * 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
US9064173B2 (en) * 2012-03-07 2015-06-23 Blue River Technology, Inc. Method and apparatus for automated plant necrosis
US10151839B2 (en) 2012-06-01 2018-12-11 Agerpoint, Inc. Systems and methods for determining crop yields with high resolution geo-referenced sensors
DE112015002189T5 (de) * 2014-05-09 2017-02-09 Raven Industries, Inc. Bildfilter auf der Grundlage von Reihenidentifizierung
US10568316B2 (en) * 2014-08-15 2020-02-25 Monsanto Technology Llc Apparatus and methods for in-field data collection and sampling
US9638678B2 (en) * 2015-01-30 2017-05-02 AgriSight, Inc. System and method for crop health monitoring
US10823591B2 (en) * 2015-02-20 2020-11-03 Deere & Company Control system for application of liquid or solid material
EP3264892B1 (en) * 2015-03-06 2020-10-07 Blue River Technology Inc. Modular precision agriculture system
US9745060B2 (en) 2015-07-17 2017-08-29 Topcon Positioning Systems, Inc. Agricultural crop analysis drone
US10241097B2 (en) 2015-07-30 2019-03-26 Ecoation Innovative Solutions Inc. Multi-sensor platform for crop health monitoring
US10491879B2 (en) * 2016-01-15 2019-11-26 Blue River Technology Inc. Plant feature detection using captured images
US10713697B2 (en) * 2016-03-24 2020-07-14 Avante International Technology, Inc. Farm product exchange system and method suitable for multiple small producers
US9877470B2 (en) 2016-05-10 2018-01-30 Crinklaw Farm Services, Inc. Robotic agricultural system and method
US10054445B2 (en) * 2016-05-16 2018-08-21 Northrop Grumman Systems Corporation Vision-aided aerial navigation
US10664702B2 (en) * 2016-12-30 2020-05-26 International Business Machines Corporation Method and system for crop recognition and boundary delineation
US10721859B2 (en) 2017-01-08 2020-07-28 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement
WO2018208710A1 (en) * 2017-05-08 2018-11-15 PlantSnap, Inc. Systems and methods for electronically identifying plant species
US10803311B2 (en) * 2017-05-09 2020-10-13 Blue River Technology Inc. Automatic camera parameter adjustment on a plant treatment system
US20180330435A1 (en) * 2017-05-11 2018-11-15 Harvesting Inc. Method for monitoring and supporting agricultural entities
US10970832B2 (en) * 2017-07-31 2021-04-06 Rachio, Inc. Image data for improving and diagnosing sprinkler controller performance
CN111246735B (zh) * 2017-10-27 2022-11-01 巴斯夫欧洲公司 用于植物管理的设备
US10885331B2 (en) * 2018-01-23 2021-01-05 X Development Llc Crop boundary detection in images
US10929664B2 (en) * 2018-03-30 2021-02-23 Iunu, Inc. Visual observer of unmanned aerial vehicle for monitoring horticultural grow operations
US10713484B2 (en) * 2018-05-24 2020-07-14 Blue River Technology Inc. Semantic segmentation to identify and treat plants in a field and verify the plant treatments
US10891482B2 (en) * 2018-07-10 2021-01-12 Adroit Robotics Systems, devices, and methods for in-field diagnosis of growth stage and crop yield estimation in a plant area
US11277956B2 (en) * 2018-07-26 2022-03-22 Bear Flag Robotics, Inc. Vehicle controllers for agricultural and industrial applications
US11071293B2 (en) * 2018-10-08 2021-07-27 Blue River Technology Inc. Nozzles with interchangeable inserts for precision application of crop protectant
US11120552B2 (en) * 2019-02-27 2021-09-14 International Business Machines Corporation Crop grading via deep learning
WO2020201163A1 (en) * 2019-03-29 2020-10-08 Basf Agro Trademarks Gmbh Method for plantation treatment of a plantation field with a variable application rate
CA3135259A1 (en) * 2019-03-29 2020-10-08 Basf Agro Trademarks Gmbh Method for plantation treatment of a plantation field
US20200359550A1 (en) * 2019-05-13 2020-11-19 Bao Tran Farm ecosystem
US10957036B2 (en) 2019-05-17 2021-03-23 Ceres Imaging, Inc. Methods and systems for crop pest management utilizing geospatial images and microclimate data
US11367207B2 (en) * 2019-09-25 2022-06-21 Blue River Technology Inc. Identifying and treating plants using depth information in a single image
US11238283B2 (en) * 2019-10-04 2022-02-01 The Climate Corporation Hybrid vision system for crop land navigation
US11410301B2 (en) * 2020-02-28 2022-08-09 Cnh Industrial America Llc System and method for determining residue coverage within a field based on pre-harvest image data
US11816874B2 (en) * 2020-08-07 2023-11-14 Blue River Technology Inc. Plant identification using heterogenous multi-spectral stereo imaging
CN112036265A (zh) 2020-08-13 2020-12-04 江河水利水电咨询中心 道路施工进度跟踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
AU2020472581A1 (en) 2023-06-22
EP4228413A1 (en) 2023-08-23
US11751558B2 (en) 2023-09-12
CL2023001059A1 (es) 2023-09-08
CA3195285A1 (en) 2022-04-21
US20220121848A1 (en) 2022-04-21
US20230413798A1 (en) 2023-12-28
US11076589B1 (en) 2021-08-03
WO2022081180A1 (en) 2022-04-21
US20220117216A1 (en) 2022-04-21
US20220117213A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
US11751558B2 (en) Autonomous agricultural treatment system using map based targeting of agricultural objects
US11694434B2 (en) Precision agricultural treatment based on growth stage in real time
US11623305B2 (en) Autonomous laser treatment system for agricultural objects
US11785873B2 (en) Detecting multiple objects of interest in an agricultural environment
US11517008B1 (en) Targeting objects of interest in an agricultural environment
US11844343B2 (en) Real time control of precision fluid delivery
US11406097B2 (en) Autonomous detection and treatment of agricultural objects via precision treatment delivery system
US20220117211A1 (en) Autonomous agricultural observation and precision treatment system
US20230126714A1 (en) Method of spraying small objects
US20230166283A1 (en) Fluid spraying system for targeting small objects
US20240130349A1 (en) Calibration of a spraying system by using spray detections

Legal Events

Date Code Title Description
A201 Request for examination