KR20220062090A

KR20220062090A - 자율주행 레이저 잡초 제거

Info

Publication number: KR20220062090A
Application number: KR1020227012262A
Authority: KR
Inventors: 폴 마이크셀; 조나단 메이; 코리 가브리엘센
Original assignee: 카본 오토노머스 로보틱 시스템즈 인코포레이티드
Priority date: 2019-09-17
Filing date: 2020-09-16
Publication date: 2022-05-13
Also published as: CA3152982A1; EP4031832A1; CN114641666A; US20230292736A1; WO2021055485A1; AU2020351150A1; EP4031832A4; US20210076662A1; US11602143B2; US20240041018A1; IL290967A; JP2022548645A

Abstract

자동화된 잡초 식별, 방제 및 제거를 위해 사용될 수 있는 방법, 장치, 모듈 및 시스템이 여기에 개시된다. 이러한 방법, 장치, 모듈 및 시스템은 손 재배 또는 화학 제초제에 대한 대안을 제공한다. 여기에 개시된 장치는 잡초를 태우거나 조광할 수 있는 레이저 빔과 같은 빔을 사용하여 잡초를 위치확인, 식별하고, 자율적으로 타겟팅하도록 구성될 수 있다. 방법, 장치, 모듈 및 시스템은 농작물 관리 또는 가정에서의 잡초 방제에 사용될 수 있다.

Description

자율주행 레이저 잡초 제거

(상호 참조)

본 출원은 2019년 9월 17일자로 출원된 미국 가출원 번호 62/901,641의 효익을 주장하며, 이 출원은 그 전체가 참고로 여기에 포함된다.

(기술분야)

본 발명은 자율주행 레이저 잡초 제거에 관한 것이다.

농업 생산량은 전 세계적으로 연간 수조 달러로 평가된다. 농업은 식량 생산의 필수 구성 요소이며 가축과 식물의 재배 모두를 포함한다. 인구 증가와 기후 변화로 인한 작물 수확량 감소는 세계 식량 안보를 위협하고 있다.

작물 수확량을 개선하고 노동 효율성을 높여 농업 생산량을 늘리는 방법은 식량 부족을 완화하는 데 도움이 될 수 있다.

본 개시는 식물의 자동화된 식별, 유지, 방제 또는 타겟팅에 사용될 수 있는 다양한 방법, 장치, 모듈 및 시스템을 제공한다. 예를 들어, 본원에 개시된 상기 방법, 장치, 모듈 및 시스템을 사용하여 농작물 필드 내에 위치한 잡초를 자율적으로 식별하고 제거할 수 있다. 상기 방법, 장치, 모듈 및 시스템은 손 재배 또는 화학 제초제의 대안으로 사용될 수 있다. 예를 들어, 상기 방법, 장치, 모듈 및 시스템은 농작물 관리 또는 가정에서 잡초 방제에 사용될 수 있다.

다양한 양태에서, 본 개시내용은: 표면 상의 타겟 위치를 향해 광학 경로를 따라 빔을 방출하도록 구성된 이미터로서, 상기 타겟 위치는 상기 표면 상의 타겟을 자율적으로 위치확인함으로써 판정되는 상기 이미터; 상기 광학 경로와 교차하고 상기 빔을 편향시키도록 위치된 제1 반사 엘리먼트; 상기 제1 반사 엘리먼트에 연결되고, 상기 제1 반사 엘리먼트를 회전시키고 상기 타겟 위치를 향해 상기 빔을 편향시키도록 구성된 제1 타겟팅 액추에이터; 및 상기 이미터와 상기 제1 반사 엘리먼트 사이의 상기 광학 경로에 위치되고, 상기 빔과 반대 방향으로 상기 광학 경로를 따라 이동하는 상기 타겟 위치로부터의 산란광과 상기 빔을 차동적으로 편향시키도록 구성된 결합 엘리먼트;를 포함하는 광학 제어 시스템을 제공한다.

일부 양태에서, 상기 광학 제어 시스템은 상기 결합 엘리먼트에 광학적으로 연결되고, 상기 제1 반사 엘리먼트로부터 반사된 상기 산란광을 수신하고 상기 타겟 위치를 포함하는 타겟팅 시야를 이미지화하도록 구성된 타겟팅 카메라를 더 포함한다. 일부 양태에서, 상기 광학 제어 시스템은 상기 광학 제어 시스템이 상기 표면에 대해 이동하는 동안 상기 타겟 위치를 향해 상기 빔을 지향시키도록 구성된다. 일부 양태에서, 상기 광학 제어 시스템은 상기 타겟 위치에 대한 상기 타겟팅 시야의 픽셀 움직임을 검출하고 상기 타겟팅 시야의 상기 픽셀 움직임을 상기 제1 반사 엘리먼트의 회전으로 변환하도록 구성된 타겟팅 시스템 컴퓨터를 더 포함한다.

일부 양태에서, 상기 픽셀 움직임으로부터 상기 제1 반사 엘리먼트의 회전으로의 변환은 교정 함수를 참조하는 것을 포함한다. 일부 양태에서, 상기 교정 함수는 교정 표면 상의 기준 마커의 위치를 카메라 픽셀 움직임과 상관시킴으로써 획득된다.

일부 양태에서, 상기 광학 제어 시스템은 상기 광학 제어 시스템에 결합된 관성 측정 유닛을 더 포함하고, 여기서 상기 관성 측정 유닛은 상기 광학 제어 시스템의 가속도, 상기 표면에 대한 상기 광학 제어 시스템의 회전, 또는 이들의 조합을 측정하도록 구성된다. 일부 양태에서, 상기 타겟팅 시스템 컴퓨터는 이미지화 이후의 시간의 크기, 상기 광학 제어 시스템의 상기 가속도, 상기 표면에 대한 상기 광학 제어 시스템의 상기 회전, 또는 이들의 조합에 기초하여 상기 타겟 위치를 조정하도록 구성된다.

일부 양태에서, 상기 광학 제어 시스템은 인클로저에 둘러싸여 있고, 상기 인클로저는 상기 방출 및 가시광선을 투과할 수 있고 상기 제1 반사 엘리먼트와 상기 표면 사이의 상기 광학 경로에 위치된 탈출 창을 포함한다. 일부 양태에서, 상기 광학 제어 시스템은 상기 인클로저에 완전히 둘러싸여 있다. 일부 양태에서, 상기 광학 제어 시스템은 공기 흐름을 지향시키도록 구성된 공기 소스를 더 포함한다. 일부 양태에서, 상기 광학 제어 시스템은 상기 공기 흐름의 방향을 제어하고 상기 빔을 방해하지 않으면서 난류를 감소시키도록 구성된 개구 반대편의 벽을 더 포함한다.

일부 양태에서, 상기 제1 반사 엘리먼트는 미러이다. 일부 양태에서, 상기 결합 엘리먼트는 상기 빔을 투과시키고 상기 가시광선을 반사시킨다. 일부 양태에서, 상기 이미터는 레이저 이미터이다. 일부 양태에서, 상기 레이저 이미터는 적외선 레이저, 자외선 레이저, 및 가시광 레이저로 이루어진 그룹으로부터 선택된다. 일부 양태에서, 상기 광학 제어 시스템은 상기 제1 반사 엘리먼트에 연결되고, 상기 제1 반사 엘리먼트를 회전시키고 상기 타겟 위치를 향해 상기 빔을 편향시키도록 구성된 제2 타겟팅 액추에이터를 더 포함한다. 일부 양태에서, 상기 광학 제어 시스템은 상기 광학 경로를 교차하고 상기 제1 반사 엘리먼트에 의해 편향된 상기 빔을 편향시키도록 위치된 제2 반사 엘리먼트, 및 상기 제2 반사 엘리먼트에 연결되고, 상기 제2 반사 엘리먼트를 회전시키고 상기 타겟 위치를 향해 상기 빔을 편향시키도록 구성된 제2 타겟팅 액추에이터를 더 포함한다. 일부 양태에서, 상기 제1 타겟팅 액추에이터는 제1 축을 따라 상기 빔을 편향시키고 상기 제2 타겟팅 액추에이터는 제2 축을 따라 상기 빔을 편향시키며, 여기서 상기 제1 축과 제2 축은 직교한다. 일부 양태에서, 상기 결합 엘리먼트는 상기 이미터 뒤에 위치되고, 상기 제1 반사 엘리먼트는 상기 결합 엘리먼트 뒤에 위치되며, 상기 제2 반사 엘리먼트는 상기 빔의 방향에 대해 상기 제1 반사 엘리먼트 뒤에 위치된다. 일부 양태에서, 잡초는 상기 타겟 위치에 위치된다.

다양한 양태에서, 본 개시물은 예측 카메라로 예측 시야의 이미지를 캡처하는 단계; 상기 예측 시야에서의 타겟을 위치확인하는 단계; 상기 타겟의 위치와 중첩하는 타겟팅 시야를 갖는 타겟팅 카메라를 포함하는 복수의 타겟팅 모듈 중 하나에 상기 타겟을 할당하는 단계; 상기 타겟팅 카메라로 상기 타겟팅 시야의 이미지를 캡처하는 단계; 상기 타겟팅 시야에서 상기 타겟을 위치확인하는 단계; 및 상기 타겟의 위치를 향해 빔을 지향시키는 단계;를 포함하는 잡초 제거 방법을 제공한다.

일부 양태에서, 상기 예측 시야에서 상기 타겟을 위치확인 하는 단계는 상기 예측 시야에서 상기 타겟의 위치를 식별하는 단계를 더 포함한다. 일부 양태에서, 상기 잡초 제거 방법은 상기 타겟을 포함하는 영역을 식별하는 단계를 더 포함하고, 여기서 상기 영역은 다각형에 의해 정의된다. 일부 양태에서, 상기 잡초 제거 방법은 상기 위치를 예측된 표면 위치로 변환하는 단계를 더 포함한다. 일부 양태에서, 상기 잡초 제거 방법은 상기 타겟팅 시야에서 원하는 움직임을 판정하는 단계를 더 포함한다. 일부 양태에서, 상기 잡초 제거 방법은 상기 원하는 움직임을 액추에이터 위치 변경으로 변환하는 단계를 더 포함한다. 일부 양태에서, 상기 타겟을 위치확인하는 단계는 훈련된 신경망을 사용하여 타겟을 식별하는 단계를 포함한다. 일부 양태에서, 상기 훈련된 신경망은 상기 타겟 주위에 바운딩 박스, 다각형 마스크, 또는 이들의 조합을 제공할 수 있다. 일부 양태에서, 상기 훈련된 신경망은 필드 이미지로 훈련된다.

일부 양태에서, 상기 타겟팅 시야에서 상기 타겟을 위치확인하는 단계는 교정 표면 상의 기준 마커의 위치를 카메라 픽셀 좌표와 상관시킴으로써 획득된 교정 함수를 참조하는 단계 및 상기 타겟의 위치를 보정하는 단계를 더 포함한다. 일부 양태에서, 상기 복수의 타겟팅 모듈 중 하나에 상기 타겟을 할당하는 단계는 상기 타겟의 위치를 상기 복수의 타겟팅 모듈 중 하나에 제공하는 단계를 포함한다. 일부 양태에서, 상기 타겟의 위치를 향해 빔을 지향시키는 단계는 교정 표면 상의 기준 마커의 픽셀 움직임을 액추에이터 틸트 값과 상관시킴으로써 획득된 교정 함수를 참조하는 단계 및 상기 액추에이터 틸트 값을 보정하는 단계를 더 포함한다. 일부 양태에서, 상기 잡초 제거 방법은 상기 타겟이 손상되거나 사멸되면 상기 빔을 비활성화하는 단계를 더 포함한다.

일부 양태에서, 상기 타겟팅 카메라로 상기 타겟팅 시야의 이미지를 캡처하는 단계, 상기 타겟팅 시야에서 상기 타겟을 위치확인하는 단계, 및 상기 타겟의 위치를 향해 빔을 지향시키는 단계는 높은 정확도로 수행된다. 일부 양태에서, 상기 타겟은 잡초이다.

일부 양태에서, 상기 잡초 제거 방법은 상기 잡초를 손상시키거나 사멸시키는 단계를 추가로 포함한다. 일부 양태에서, 상기 잡초를 손상시키거나 사멸시키는 단계는 상기 잡초를 조광하는 단계를 포함한다. 일부 양태에서, 상기 잡초를 손상시키거나 사멸시키는 단계는 상기 잡초를 태우는 단계를 포함한다. 일부 양태에서, 상기 타겟을 위치확인하는 단계는 상기 잡초와 원하는 식물을 구별하는 단계를 포함한다.

다양한 양태에서, 본 개시내용은 예측 모듈, 타겟팅 모듈, 및 광학 제어 모듈을 포함하는 타겟팅 시스템을 제공하고; 상기 예측 모듈은: 표면 상의 예측 시야를 이미지화하고 상기 예측 시야에서 타겟을 위치확인하도록 구성된 예측 카메라, 및 상기 예측 시야에서 상기 타겟의 위치를 상기 표면 상의 예측 위치로 변환하고 상기 타겟을 상기 타겟팅 모듈로 할당하도록 구성된 예측 모듈 컨트롤러를 구비하고; 상기 타겟팅 모듈은: 상기 예측된 위치를 타겟팅 액추에이터의 위치로 변환하도록 구성된 타겟팅 모듈 컨트롤러를 포함하고; 및 상기 광학 제어 모듈은: 상기 타겟을 향하여 광학 경로를 따라 빔을 방출하도록 구성된 이미터, 및 상기 타겟팅 모듈 컨트롤러로부터 위치 정보를 수신하고 상기 타겟을 향해 상기 빔을 편향시키도록 구성된 상기 타겟팅 액추에이터를 포함한다.

일부 양태에서, 상기 타겟팅 시스템은 상기 표면 상의 타겟팅 시야를 이미지화하고 상기 타겟팅 시야에 상기 타겟을 위치확인하도록 구성된 타겟팅 카메라를 더 포함한다. 일부 양태에서, 상기 광학 제어 모듈은: 상기 타겟팅 액추에이터에 의해 제어되고 상기 광학 경로를 교차하고 상기 빔을 편향시키도록 위치된 제1 반사 엘리먼트, 및 상기 이미터와 상기 제1 반사 엘리먼트 사이의 상기 광학 경로에 위치되고 상기 빔과 상기 빔의 반대 방향으로 상기 광학 경로를 따라 이동하는 상기 타겟팅 시야로부터의 산란광을 차등적으로 편향시키도록 구성된 결합 엘리먼트를 포함한다.

일부 양태에서, 상기 광학 제어 모듈은 상기 타겟팅 시스템이 상기 표면에 대해 이동하는 동안 상기 타겟을 향해 상기 빔을 지향시키도록 구성된다. 일부 양태에서, 상기 타겟팅 모듈은 상기 타겟에 대한 상기 타겟팅 시야의 픽셀 움직임을 검출하고 상기 타겟팅 시야의 상기 픽셀 움직임으로부터 상기 타겟팅 액추에이터의 모션으로 변환하도록 구성된다.

일부 양태에서, 상기 타겟팅 시스템은 상기 타겟팅 시스템의 가속도 및 상기 표면에 대한 상기 타겟팅 시스템의 회전을 측정하도록 구성된 관성 측정 유닛을 더 포함한다. 일부 양태에서, 상기 타겟팅 모듈은 이미지화 이후의 시간의 크기, 상기 타겟팅 시스템의 가속도, 상기 표면에 대한 상기 타겟팅 시스템의 회전, 또는 이들의 조합에 기초하여 예측된 위치를 조정하도록 구성된다. 일부 양태에서, 상기 타겟팅 시스템은: 상기 표면 상의 제2 타겟팅 시야를 이미지화하고 상기 제2 타겟팅 시야에 상기 타겟을 위치확인하도록 구성된 제2 타겟팅 카메라, 및 상기 제2 타겟팅 시야에서의 상기 타겟의 위치를 제2 타겟팅 액추에이터의 위치로 변환하도록 구성된 타겟팅 모듈 컨트롤러를 포함하는 제2 타겟팅 모듈을 더 포함한다. 일부 양태에서, 상기 예측 시야는 상기 타겟팅 시야를 포함한다.

일부 양태에서, 상기 타겟팅 시스템은 상기 예측 카메라 및 상기 광학 제어 모듈을 이송하는 차량을 더 포함한다. 일부 양태에서, 상기 차량은 자율주행 차량이다. 일부 양태에서, 상기 차량은 복수의 휠을 포함한다.

일부 양태에서, 상기 광학 제어 모듈은 인클로저에 둘러싸여 있고, 상기 인클로저는 상기 방출 및 가시광을 투과할 수 있고 상기 제1 반사 엘리먼트와 상기 표면 사이의 상기 광학 경로에 위치된 탈출 창을 포함한다. 일부 양태에서, 상기 광학 제어 모듈은 상기 인클로저에 완전히 둘러싸여 있다. 일부 양태에서, 상기 타겟팅 시스템은 상기 인클로저의 외부 표면에 있는 개구로부터 상기 탈출 창의 외부 표면을 향해 공기 흐름을 지향시키도록 구성된 공기 소스를 더 포함한다. 일부 양태에서, 상기 인클로저는 상기 공기 흐름의 방향을 제어하고 상기 빔을 방해하지 않으면서 난류를 감소시키도록 구성된 상기 개구 반대편의 벽을 더 포함한다.

일부 양태에서, 상기 제1 반사 엘리먼트는 미러이다. 일부 양태에서, 상기 결합 엘리먼트는 상기 빔을 투과하고 상기 가시광을 반사한다. 일부 양태에서, 상기 이미터는 레이저 이미터이다. 일부 양태에서, 상기 레이저 이미터는 적외선 레이저, 자외선 레이저, 및 가시광선 레이저로 구성된 그룹으로부터 선택된다. 일부 양태에서, 상기 광학 제어 모듈은 상기 제1 반사 엘리먼트에 연결되고, 상기 제1 반사 엘리먼트를 회전시키고 상기 빔을 상기 타겟을 향해 편향시키도록 구성된 제2 타겟팅 액추에이터를 더 포함한다. 일부 양태에서, 상기 광학 제어 모듈은 상기 광학 경로를 교차하고 상기 제1 반사 엘리먼트에 의해 편향된 상기 빔을 편향시키도룩 위치된 제2 반사 엘리먼트, 및 상기 제2 반사 엘리먼트에 연결되고, 상기 제2 반사 엘리먼트를 회전시키고 상기 빔을 상기 타겟을 향해 편향시키도록 구성된 제2 타겟팅 액추에이터를 더 포함한다. 일부 양태에서, 상기 제1 타겟팅 액추에이터는 제1 축을 따라서 상기 빔을 편향시키고, 상기 제2 타겟팅 액추에이터는 제2 축을 따라서 상기 빔을 편향시키고, 여기서 상기 제1 축 및 제2 축은 직교한다. 일부 양태에서, 상기 결합 엘리먼트는 상기 이미터 후에 위치되고, 상기 제1 반사 엘리먼트는 상기 결합 엘리먼트 후에 위치되고, 상기 제2 반사 엘리먼트는 상기 빔의 상기 방향에 대해 상기 제1 반사 엘리먼트 후에 위치된다.

본 개시의 추가적인 양태 및 이점은 본 개시의 예시적인 실시예만이 도시되고 설명되는 다음의 상세한 설명으로부터 당업자에게 용이하게 명백해질 것이다. 인식되는 바와 같이, 본 개시는 기타 및 상이한 실시예가 가능하고, 그 다수의 세부사항은 그 모두가 본 개시로부터 벗어나지 않으면서 다양한 명백한 측면에서 수정될 수 있다. 따라서, 도면 및 설명은 본질적으로 예시적인 것으로 간주되어야 하며 제한적인 것으로 간주되어서는 안 된다.

(참조에 의한 통합)

본 명세서에 언급된 모든 간행물, 특허 및 특허 출원은 각각의 개별 간행물, 특허 또는 특허 출원이 참조로 포함되는 것으로 구체적이고 개별적으로 표시된 것처럼 동일한 정도로 참조로 여기에 포함된다.

본 개시물의 신규 특징은 첨부된 청구범위에서 구체적으로 설명된다. 본 발명의 특징 및 이점에 대한 더 나은 이해는 본 발명의 원리가 활용되는 예시적인 실시 예를 설명하는 다음의 상세한 설명 및 첨부 도면을 참조하여 얻어질 것이다.
도 1a는 본원의 하나 이상의 실시예에 따른 레이저 타겟팅 시스템의 등각도를 예시한다.
도 1b는 본원의 하나 이상의 실시예에 따라 표시된 레이저 경로 및 가시광선 경로를 갖는 레이저 타겟팅 시스템의 등각도를 예시한다.
도 2는 본원의 하나 이상의 실시예에 따라 표시된 레이저 경로 및 가시광선 경로를 갖는 레이저 타겟팅 시스템의 평면도를 예시한다.
도 3a는 본원의 하나 이상의 실시예에 따른 레이저 타겟팅 시스템의 측면도를 예시한다.
도 3b는 본원의 하나 이상의 실시예에 따른 청정 공기 경로가 표시된 레이저 타겟팅 시스템의 측면 절개도를 도시한다.
도 4는 본원의 하나 이상의 실시예에 따른, 타겟팅 레이저 및 타겟팅 레이저의 타겟팅 커버리지 영역을 예시한다.
도 4a는 본원의 하나 이상의 실시예에 따른, 타겟팅 레이저 및 타겟팅 레이저의 타겟팅 커버리지 영역의 측면도를 예시한다.
도 4b는 본원의 하나 이상의 실시예에 따른, 타겟팅 레이저 및 타겟팅 레이저의 타겟팅 커버리지 영역의 정면도를 예시한다.
도 5는 본원의 하나 이상의 실시예에 따른, 예측 카메라, 다중 타겟팅 레이저, 예측 카메라의 예측 시야 영역, 및 타겟팅 레이저의 타겟팅 커버리지 영역의 등각도를 예시한다.
도 6은 본원의 하나 이상의 실시예에 따른 자율주행 레이저 잡초 제거 로봇, 예측 카메라, 및 다중 타겟팅 레이저의 커버리지 영역의 정면도를 예시한다.
도 7은 본원의 하나 이상의 실시예에 따른 자율주행 레이저 잡초 제거 로봇, 예측 카메라, 및 다중 타겟팅 레이저의 커버리지 영역의 등각도를 예시한다.
도 8은 본원의 하나 이상의 실시예에 따른 타겟을 식별, 할당 및 타겟팅하는 방법을 도시한다.
도 9는 본원의 하나 이상의 실시예에 따라 밭에서 잡초를 식별, 할당, 타겟팅 및 제거하는 방법을 도시한다.

작물 재배는 식품 및 직물 생산에 필수적이다. 작물 관리의 한 가지 중요한 구성 요소는 일반적으로 잡초라고 하는 바람직하지 않은 식물 종의 방제 또는 제거이다. 잡초는 물, 양분, 햇빛, 공간을 포함한 원하는 식물의 자원을 박탈함으로써 작물 수확량을 감소시킬 수 있다. 잡초는 원하는 식물을 손상시키는 해충이나 기생충을 은닉함으로써 작물 성장을 더욱 방해할 수 있다. 전통적인 잡초 방제 및 제거 방법에는 손 재배 또는 화학 제초제가 포함된다. 손 재배는 노동 집약적이어서 작물 생산 비용이 증가하고 식품 및 섬유 가격이 높아진다. 화학 제초제의 사용은 지하수 오염, 급성 독성 또는 암과 같은 장기적인 건강 영향을 포함하여 환경에 부정적인 영향을 미칠 수 있다.

친환경적이며 저렴한 잡초 방제 및 제거 방법의 개발은 작물 수확량을 높이고, 식품 가격을 낮추며, 장기적인 환경 안정성을 위해 중요하다. 제초제의 필요성을 줄이거나 없애면 독성 유출 및 지하수 오염을 포함하여 작물 생산의 많은 부정적인 환경 부작용을 줄일 수 있다. 육체 노동의 필요성을 줄이면 농업 비용을 크게 낮추고 노동 기준을 개선할 수 있다.

본 개시내용은 식물의 자동화된 식별, 유지, 방제 또는 타겟팅에 사용될 수 있는 다양한 방법, 장치, 모듈 및 시스템을 제공한다. 일부 실시 예에서, 본원에 개시된 방법, 장치, 모듈 및 시스템을 사용하여 농작물 필드 내에 위치한 잡초를 자율적으로 식별하고 제거할 수 있다. 예를 들어, 전자기 방사선을 포함하는 빔으로 물체, 예를 들어 잡초를 자율적으로 위치확인하고, 식별하고, 타겟팅하기 위한 특정 방법이 여기에 개시되어 있다. 또한 빔으로 물체를 위치확인하고 식별하고 자율적으로 타겟팅하도록 구성된 장치가 여기에 개시된다. 장치는 예를 들어 잡초를 방제하거나 제거하는 데 사용될 수 있다. 예를 들어, 장치를 사용하여 잡초를 태우거나 조광할 수 있다. 여기에 개시된 모듈은 예를 들어 잡초를 위치확인하고, 식별하고, 타겟팅하고, 방제하거나 제거하기 위해 여기에 개시된 방법을 구현하기 위해 여기에 개시된 장치 및 시스템의 자율 제어에 사용될 수 있다. 본원에 개시된 시스템은 물체, 예를 들어 잡초를 방출로 물체를 위치확인하고, 식별하고, 및 타겟팅함으로써 자율주행으로 방제하거나 제거하도록 구성된 장치, 모듈 및 방법을 포함할 수 있다. 때로는 방법, 장치, 모듈 및 시스템이 농작물 관리 또는 가정에서 잡초 방제에 사용될 수 있다. 방법, 장치, 모듈 및 시스템은 손 재배 또는 화학 제초제의 대안으로 사용될 수 있다.

(광학 제어 시스템)

표면 상의 타겟 위치를 향해 빔, 예를 들어 광 빔을 지향시키기 위한 광학 제어 시스템이 여기에서 기술된다. 도 1a는 본원에 개시된 바와 같은 광학 제어 시스템(100)의 실시예의 등각도를 예시한다. 이미터(101)는 광학 경로(102)를 따라 빔을 지향시키도록 구성된다. 일부 실시 예에서, 빔은 전자기 방사선, 예를 들어 광, 라디오 파, 마이크로파, 또는 x-선을 포함한다. 일부 실시 예에서, 광은 가시광, 적외선 또는 자외선이다. 빔은 간섭성이 있을 수 있다. 바람직한 실시 예에서, 이미터는 적외선 레이저와 같은 레이저이다. 일부 실시 예에서, 이미터는 약 1m, 약 100 mm, 약 10 mm, 약 1 mm, 약 100 ㎛, 약 10 ㎛, 약 1.5 ㎛, 약 1 ㎛, 약 900 nm, 약 800 nm, 약 700 nm, 약 600 nm, 약 500 nm, 약 400 nm, 약 300 nm, 약 100 nm, 약 10 nm, 또는 약 1 nm의 파장을 갖는 빔을 방출한다. 일부 실시 예에서, 이미터는 약 1 m 내지 약 100 mm, 약 100 mm 내지 약 10 mm, 약 10 mm 내지 약 1 mm, 약 1 mm 내지 약 100 ㎛, 약 100 ㎛ 내지 약 10 ㎛, 약 10 ㎛ 내지 약 1.5 ㎛, 약 1.5 ㎛ 내지 약 1 ㎛, 약 1 ㎛ 내지 약 900 nm, 약 900 nm 내지 약 800 nm, 약 800 nm 내지 약 700 nm, 약 700 nm 내지 약 600 nm, 약 600 nm 내지 약 500 nm, 약 500 nm 내지 약 400 nm, 약 400 nm 내지 약 300 nm, 약 300 nm 내지 약 100 nm, 약 100 nm 내지 약 10 nm, 또는 약 10 nm 내지 약 1 nm의 파장을 갖는 빔을 방출한다. 일부 실시 예에서, 이미터는 최대 10mW, 최대 100mW, 최대 1W, 최대 10W, 최대 100W, 최대 1kW, 또는 최대 10kW의 전자기 복사를 방출할 수 있다. 일부 실시 예에서, 이미터는 10 mW 내지 100 mW, 100 mW 내지 1 W, 1 W 내지 10 W, 10 W 내지 100 W, 100 W 내지 1 kW, 또는 1 kW 내지 10kW의 전자기 방사선을 방출할 수 있다.

도 1b는 도 1a에 도시된 광학 제어 장치(100)의 실시 예의 등각도를 도시하고, 빔 경로(102)의 위치 및 방향을 더 도시한다. 도 1a 및 도 1b 사이에는 참조 번호가 일치한다. 하나 이상의 광학 엘리먼트가 빔의 경로에 위치할 수 있다. 상기 광학 엘리먼트는 빔 결합기(103), 제1 반사 엘리먼트(105), 및 제2 반사 엘리먼트(106) 중 하나 이상을 포함할 수 있다. 엘리먼트는 빔 경로의 방향으로 빔 결합기(103), 그에 후속하여 제1 반사 엘리먼트(105), 그에 후속하여 제2 반사 엘리먼트(106)의 순서로 구성될 수 있다. 다른 예에서, 제1 반사 엘리먼트 또는 제2 반사 엘리먼트 중 하나 또는 둘 모두는 빔 경로의 방향에서 순서대로 빔 결합기보다 먼저 구성될 수 있다. 다른 예에서, 광학 엘리먼트들은 빔 경로의 방향에서 순서대로 빔 결합기(103), 그 다음에 제1 반사 엘리먼트(105)가 구성될 수 있다. 다른 예에서, 제1 반사 엘리먼트 또는 제2 반사 엘리먼트 중 하나 또는 둘 모두는 빔 경로의 방향으로 빔 결합기 전에 구성될 수 있다. 임의의 수의 추가 반사 엘리먼트가 빔 경로에 배치될 수 있다.

빔 결합기는 또한 빔 결합 엘리먼트로 지칭될 수 있다. 일부 실시 예에서, 빔 결합기(103)는 아연 셀렌화물(ZnSe), 아연 황화물(ZnS), 또는 게르마늄(Ge) 빔 결합기일 수 있다. 예를 들어, 빔 결합기는 적외선 광을 투과시키고 가시광을 반사하도록 구성될 수 있다. 일부 실시 예에서, 빔 결합기(103)는 이색성일 수 있다. 일부 실시 예에서, 빔 결합기는 컷오프 파장보다 긴 파장을 갖는 전자기 방사선을 통과시키고 컷오프 파장보다 짧은 파장을 갖는 전자기 방사선을 반사하도록 구성될 수 있다. 일부 실시 예에서, 빔 결합기는 컷오프 파장보다 짧은 파장을 갖는 전자기 방사선을 통과시키고 컷오프 파장보다 긴 파장을 갖는 전자기 방사선을 반사하도록 구성될 수 있다. 일부 실시 예에서, 컷오프 파장은 약 1 m, 약 100 mm, 약 10 mm, 약 1 mm, 약 100 ㎛, 약 10 ㎛, 약 1.5 ㎛, 약 1 ㎛, 약 900 nm, 약 800 nm, 약 700 nm, 약 600 nm, 약 500 nm, 약 400 nm, 약 300 nm, 약 100 nm, 약 10 nm, 또는 약 1 nm일 수 있다. 일부 실시 예에서, 컷오프 파장은 약 1 m 내지 약 100 mm, 약 100 mm 내지 약 10 mm, 약 10 mm 내지 약 1 mm, 약 1 mm 내지 약 100 ㎛, 약 100 ㎛ 내지 약 10 ㎛, 약 10 ㎛ 내지 약 1.5 ㎛, 약 1.5 ㎛ 내지 약 1 ㎛, 약 1 ㎛ 내지 약 900 nm, 약 900 nm 내지 약 800 nm, 약 800 nm 내지 약 700 nm, 약 700 nm 내지 약 600 nm, 약 600 nm 내지 약 500 nm, 약 500 nm 내지 약 400 nm, 약 400 nm 내지 약 300 nm, 약 300 nm 내지 약 100 nm, 약 100 nm 내지 약 10 nm, 또는 약 10 nm 내지 약 1 nm일 수 있다. 다른 실시 예에서, 빔 결합기는 편광 빔 스플리터, 롱패스 필터, 쇼트패스 필터, 또는 대역 통과 필터일 수 있다.

제1 반사 엘리먼트(105) 및 제2 반사 엘리먼트(106) 중 하나 또는 둘 모두의 위치 및 배향은 액추에이터에 의해 제어될 수 있다. 일부 실시 예에서, 액추에이터는 모터, 솔레노이드, 검류계, 또는 서보일 수 있다. 예를 들어, 제1 반사 엘리먼트의 위치는 제1 액추에이터에 의해 제어될 수 있고, 제2 반사 엘리먼트의 위치 및 배향은 제2 액추에이터에 의해 제어될 수 있다. 일부 실시 예에서, 단일 반사 엘리먼트는 복수의 액추에이터에 의해 제어될 수 있다. 예를 들어, 제1 반사 엘리먼트는 제1 축을 따라서 제1 액추에이터 및 제2 축을 따라서 제2 액추에이터에 의해 제어될 수 있다. 일부 실시 예에서, 단일 액추에이터는 복수의 축을 따라 반사 엘리먼트를 제어할 수 있다. 액추에이터는 반사 엘리먼트를 회전시켜 반사 엘리먼트의 위치를 변경할 수 있으며, 이에 따라 반사 엘리먼트와 마주하는 빔의 입사각을 변경할 수 있다. 입사각을 변경하면 빔이 표면과 만나는 위치가 변환될 수 있다. 일부 실시 예에서, 입사각은 광학 시스템이 표면에 대해 이동하는 동안 빔이 표면과 만나는 위치가 유지되도록 조정될 수 있다. 일부 실시 예에서, 제1 액추에이터는 제1 회전축을 중심으로 제1 반사 엘리먼트를 회전시키고, 이에 의해 빔이 제1 변환 축을 따라 표면과 만나는 위치를 변환시키고, 제2 액추에이터는 제2 회전축을 중심으로 제2 반사 엘리먼트를 회전시키고, 이에 의해 빔이 제2 변환 축을 따라 표면과 만나는 위치를 변환시킨다. 일부 실시 예에서, 제1 액추에이터 및 제2 액추에이터는 제1 회전축 및 제2 회전축을 중심으로 제1 반사 엘리먼트를 회전시키고, 이에 의해 빔이 제1 변환 축 및 제2 변환 축을 따라 제1 반사 엘리먼트의 표면과 만나는 위치를 변환시킨다. 예를 들어, 단일 반사 엘리먼트는 2개의 액추에이터에 의해 제어되는 단일 반사 엘리먼트로 제1 변환 축 및 제2 변환 축을 따라 빔이 표면과 만나는 위치의 변환을 제공하는 제1 액추에이터 및 제2 액추에이터에 의해 제어될 수 있다. 제1 변환 축과 제2 변환 축은 직교할 수 있다. 표면 상의 커버리지 영역은 제1 변환 축을 따른 최대 변환 및 제2 변환 축을 따른 최대 변환에 의해 정의될 수 있다. 제1 액추에이터 및 제2 액추에이터 중 하나 또는 둘 모두는 서보 제어, 압전 작동, 압전 관성 작동, 스테퍼 모터 제어, 검류계 구동, 선형 액추에이터 제어, 또는 이들의 임의의 조합일 수 있다. 제1 반사 엘리먼트 및 제2 반사 엘리먼트 중 하나 또는 둘 모두는 미러일 수 있고; 예를 들어, 이색성 미러 또는 유전체 미러; 프리즘; 빔 스플리터; 또는 이들의 임의의 조합일 수 있다. 일부 실시 예에서, 제1 반사 엘리먼트 및 제2 반사 엘리먼트 중 하나 또는 둘 모두는 빔을 편향시킬 수 있는 임의의 엘리먼트일 수 있다.

도 2는 도 1a 및 1b에 도시된 광학 제어 시스템(100)의 실시 예의 평면도를 도시한다. 도 1a, 도 1a 및 도 2 사이에서 참조 번호는 일치한다. 타겟팅 카메라(104)는 빔 경로(151)의 반대 방향으로 광학 경로를 따라 이동하는 빛(152), 예를 들어 가시광을 캡처하도록 위치될 수 있다. 광은 타겟을 포함하는 표면과 같은 표면에 의해 산란될 수 있다. 일부 실시 예에서, 타겟팅 카메라는 빔 결합기(103)로부터 반사된 광을 캡처하도록 위치된다. 다른 실시 예에서, 타겟팅 카메라는 빔 결합기를 통해 투과된 광을 캡처하도록 위치된다. 타겟팅 카메라는 표면 상의 타겟팅 시야를 이미지화하도록 구성될 수 있다. 타겟팅 카메라는 빔 결합기에 결합될 수 있거나, 타겟팅 카메라는 빔 결합기를 지지하는 지지 구조에 결합될 수 있다. 바람직한 실시 예에서, 타겟팅 카메라는 빔 결합기에 대해 이동하지 않는다.

도 3a 및 도 3b는 본원에 개시된 광학 제어 장치의 실시예의 측면도를 도시한다. 참조 번호는 도 1 내지 3에서 일치한다. 도 3b는 도 1-3에 도시된 광학 제어 장치의 광학 엘리먼트에 먼지 및 부스러기가 축적되는 것을 방지하기 위한 메커니즘을 도시한다. 일부 실시 예에서, 광학 엘리먼트는 빔이 표면의 미리 정의된 경계 외부에 있는 광학 제어 장치의 영역에 충돌하는 것을 방지하기 위해 미러에 하드 스톱(351)을 포함할 수 있다. 광학 엘리먼트, 예를 들어 빔 결합 엘리먼트 및 반사 엘리먼트 중 하나 또는 둘 모두는 인클로저에 의해 보호될 수 있다. 광학 엘리먼트는 인클로저로 둘러싸여 있을 수 있다. 일부 실시 예에서, 인클로저는 먼지, 부스러기, 물, 또는 이들의 임의의 조합이 광학 엘리먼트와 접촉하는 것을 방지하도록 밀봉된다. 인클로저는 도 3b에 도시된 바와 같이 레이저 탈출 창(107)을 포함할 수 있다. 일부 실시 예에서, 레이저 탈출 창은 빔 경로의 제2 반사 엘리먼트 이후에 빔을 교차하도록 위치되거나, 레이저 탈출 창은 빔 경로의 제1 반사 엘리먼트 이후의 빔을 교차하도록 위치된다. 일부 실시 예에서, 레이저 탈출 창은 빔 경로의 마지막 엘리먼트이다. 레이저 탈출 창은 먼지, 부스러기, 물 또는 이들의 조합이 광학 엘리먼트에 도달하는 것을 방지할 수 있다. 일부 실시 예에서, 레이저 탈출 창은 빛과 같은 전자기 복사에 대해 실질적으로 투명한 재료를 포함한다. 예를 들어, 레이저 탈출 창은 유리, 석영, 용융 실리카, 아연 셀렌화물, 투명 중합체 또는 이들의 조합을 포함할 수 있다.

인클로저는 레이저 탈출창의 표면에 먼지 또는 부스러기가 축적되는 것을 방지하거나 레이저 탈출창의 표면에 축적된 먼지 또는 부스러기를 제거하도록 구성된 자가 세척 장치를 더 포함할 수 있다. 일부 실시 예에서, 자가 세척 장치는 깨끗한 공기(353)를 배출하도록 구성된 인클로저의 외부 표면에 개구(352)를 포함한다. 깨끗한 공기는 부스러기가 레이저 탈출 창을 손상시키는 것을 방지할 수 있다. 일부 실시 예에서, 깨끗한 공기는 여과될 수 있다. 개구는 공기 흐름을 탈출창의 외부 표면을 향해 지향시키도록 구성될 수 있다. 개구는 깨끗한 공기가 레이저 탈출 창의 표면을 가로질러 지향되도록 구성될 수 있다. 일부 실시 예에서, 인클로저는 빔(102)을 방해하지 않고 깨끗한 공기를 안내하도록 구성된다. 예를 들어, 인클로저는 빔이 방해받지 않고 통과할 수 있도록 간극을 갖는 빔 경로의 레이저 탈출 창 뒤에 구멍(354)을 포함할 수 있다. 일부 실시 예에서, 구멍은 개구 반대편의 벽을 포함한다. 벽은 공기 흐름의 방향을 제어하고 빔을 방해하지 않고 난류를 감소시키도록 구성될 수 있다. 구멍은 레이저 탈출창과 빔 경로를 둘러싸고 있으며, 빔 경로 방향에서 레이저 탈출창에 가까울수록 구멍이 좁고 레이저 탈출창에서 멀어질수록 넓어지도록 구성될 수 있다. 일부 실시 예에서, 구멍은 난류를 방지하면서 깨끗한 공기의 통과를 허용하도록 매끄러운 모서리(355)를 갖는다.

광학 제어 시스템을 빠져나온 후, 빔(102)은 도 4a 및 4b에 도시된 바와 같이 표면을 향해 지향될 수 있다. 일부 실시 예에서, 표면은 타겟, 예를 들어 잡초를 포함한다. 도 2에 도시된 바와 같이, 반사 엘리먼트(105, 106) 중 하나 또는 둘 모두의 회전 운동은 각각 도 4a 및 4b의 도면(400 및 450)에 도시된 바와 같이, 제1 변환 축(401)을 따른 레이저 스위프 및 제2 변환 축(402)을 따른 레이저 스위프를 생성할 수 있다. 반사 엘리먼트 중 하나 또는 둘 모두의 회전 운동은 빔이 표면과 만나는 위치를 제어할 수 있다. 예를 들어, 반사 엘리먼트 중 하나 또는 둘 모두의 회전 운동은 빔이 표면과 만나는 위치를 표면 상의 타겟 위치로 이동할 수 있다. 일부 실시 예에서, 빔은 타겟을 손상시키도록 구성된다. 예를 들어, 빔은 전자기 방사선을 포함할 수 있고, 빔은 타겟을 조광할 수 있다. 다른 예에서, 빔은 적외선 광을 포함할 수 있고, 빔은 타겟을 태울 수 있다. 일부 실시 예에서, 반사 엘리먼트 중 하나 또는 둘 모두는 빔이 타겟을 둘러싸고 포함하는 영역을 스캔하도록 회전될 수 있다.

(복합 시스템)

일부 실시예에서, 표면 상의 커버리지 영역을 증가시키기 위해 복수의 광학 제어 시스템이 결합될 수 있다. 도 5는 복수의 광학 제어 시스템(100)을 포함하는 복합 시스템(500)을 예시한다. 복수의 광학 제어 시스템은 각각의 광학 제어 시스템의 변환 축(402)을 따른 레이저 스위프가 이웃하는 광학 제어 시스템의 변환 축을 따른 레이저 스위프와 중첩되도록 구성된다. 결합된 레이저 스위프는 복수의 광학 제어 시스템으로부터의 복수의 빔 중 적어도 하나의 빔에 의해 도달될 수 있는 커버리지 영역(503)을 정의한다. 예측 카메라(501)는 예측 카메라 시야(502)가 커버리지 영역(503)을 완전히 둘러싸도록 위치될 수 있다.

복수의 광학 제어 시스템은 도 6의 도면(600) 및 도 7의 도면(700)에 도시된 바와 같이 차량(601) 상에 구성될 수 있다. 예를 들어, 차량은 자율주행 차량일 수 있다. 자율주행차량은 로봇일 수 있다. 일부 실시 예에서 차량은 사람에 의해 제어될 수 있다. 예를 들어, 차량은 인간 운전자에 의해 운전될 수 있다. 일부 실시 예에서, 차량은 인간 운전자에 의해 구동되는 제2 차량에 결합될 수 있으며, 예를 들어 제2 차량 뒤에 견인되거나 그에 의해 밀릴 수 있다. 차량은 예를 들어 원격 제어에 의해 원격으로 인간에 의해 제어될 수 있다. 일부 실시 예에서, 차량은 장파 신호, 광학 신호, 위성 또는 기타 원격 통신 방법을 통해 원격으로 제어될 수 있다. 복수의 광학 제어 시스템은 커버리지 영역이 차량 아래, 뒤, 앞, 또는 차량을 둘러싸는 표면과 겹치도록 차량에 구성될 수 있다. 차량은 복수의 타겟을 포함하는 표면, 예를 들어 복수의 잡초를 포함하는 경작지를 탐색하도록 구성될 수 있다. 차량은 복수의 바퀴, 전원, 모터, 예측 카메라(501), 또는 이들의 임의의 조합 중 하나 이상을 포함할 수 있다. 일부 실시 예에서, 차량은 식물을 손상시키지 않으면서 식물, 예를 들어 작물을 지나갈 수 있도록 표면 위에 충분한 간극을 갖는다. 일부 실시 예에서, 좌측 바퀴의 내부 에지와 우측 바퀴의 내부 에지 사이의 공간은 식물을 손상시키지 않고 식물의 열을 통과하기에 충분히 넓다. 일부 실시 예에서, 좌측 바퀴의 외부 에지와 우측 바퀴의 외부 에지 사이의 거리는 차량이 식물을 손상시키지 않으면서 두 줄의 식물, 예를 들어 두 줄의 작물 사이를 통과할 수 있도록 충분히 좁다. 바람직한 실시 예에서, 복수의 바퀴, 복수의 광학 제어 시스템, 및 예측 카메라를 포함하는 차량은 농작물의 열을 탐색하고 복수의 빔의 빔을 타겟, 예를 들어 잡초를 향해 방출하여, 잡초를 연소 또는 조광한다.

(예측 모듈)

표면 상의 타겟의 위치확인을 위해 구성된 예측 모듈이 여기에 개시된다. 도 8은 타겟을 식별, 할당 및 타겟팅하도록 구성된 예측 모듈(810)을 예시한다. 일부 실시 예에서, 타겟 예측 시스템(811)은 예측 카메라(501)를 사용하여 표면을 포함하는 예측 시야의 이미지를 캡처하고, 이미지에서 타겟을 식별하고, 예측 시야에서 타겟을 위치확인하도록 구성된다. 변환(translation) 시스템(812)을 제어하기 위한 카메라는 예측 시야에서 타겟의 위치를 표면 상의 위치로 변환하도록 구성될 수 있다. 예를 들어, 변환 시스템을 제어하는 카메라는 예측 시야의 위치로부터 도1-3에 도시된 바와 같이, 하나 이상의 반사 엘리먼트(105 및 106)를 제어하는 하나 이상의 액추에이터의 하나 이상의 액추에이터 위치, 예를 들어 팬 및 틸트 위치로의 변환을 제공하는 다중 보간 기능을 구축할 수 있다.

도 8에 도시된 예측 모듈(810)은 포즈 및 모션 보정 시스템(813)을 더 포함할 수 있다. 포즈 및 모션 보정 시스템은 포지셔닝 시스템, 예를 들어 관성 측정 유닛(IMU), GPS(Global Positioning System), 또는 INS(Internal Navigation System)를 포함할 수 있다. 포즈 및 모션 보정 시스템은 예측 카메라에 직접 또는 간접적으로 연결될 수 있는 IMU(관성 측정 장치)를 사용할 수 있다. 예를 들어, 예측 카메라와 IMU는 차량에 탑재될 수 있다. IMU는 IMU의 동작 판독값과 예측 카메라와 같이 IMU에 직간접적으로 연결된 모든 것을 수집할 수 있다. 예를 들어, IMU는 3차원 가속도 및 3차원 회전 정보를 포함하는 판독값을 수집할 수 있으며, 이는 경과 시간에 걸쳐 모션의 크기 및 방향을 판정하는 데 사용될 수 있다. 포즈 및 모션 보정 시스템은 GPS(Global Positioning System)를 포함할 수 있다. GPS는 타겟팅 카메라에 직간접적으로 연결될 수 있다. 예를 들어, GPS는 제1 시간에 타겟팅 카메라의 제1 위치 및 제2 시간에 타겟팅 카메라의 제2 위치를 측정하기 위해 위성 기반 무선 항법 시스템과 통신할 수 있다. 포즈 및 모션 보정 시스템은 내부 항법 시스템(INS)을 포함할 수 있다. INS는 타겟팅 카메라에 직간접적으로 결합될 수 있다. 예를 들어, INS는 타겟팅 카메라의 위치, 방향 및 속도를 측정하기 위해 모션 센서, 예를 들어 가속도계 및 회전 센서, 예를 들어 자이로스코프를 포함할 수 있다. 포즈 및 모션 보정 시스템은 타겟팅 카메라의 위치 변경을 판정하기 위해 외부 참조를 사용하거나 사용하지 않을 수 있다. 포즈 및 모션 보정 시스템은 제1 위치 및 제2 위치로부터 타겟팅 카메라의 위치 변화를 판정할 수 있다. 일부 실시 예에서, 타겟 예측 시스템이 이미지에서 타겟을 위치확인한 후, 포즈 및 모션 보정 시스템은 이미지가 캡처된 이후 경과된 시간의 크기와 경과 시간 동안 발생한 예측 카메라의 모션의 크기 및 방향을 판정한다. 포즈 및 모션 보정 시스템은 타겟 위치, 경과 시간, 모션의 크기 및 방향을 통합하여 표면 상의 타겟의 보정된 위치를 판정할 수 있다.

예측 모듈은 이미지 검출 모듈을 더 포함할 수 있다. 이미지 검출 모듈은 이미지에서 타겟을 위치확인하고 식별하도록 구성될 수 있다. 예를 들어, 이미지 검출 모듈은 작물과 잡초 사이와 같이 두 식물을 구별하도록 구성될 수 있다. 일부 실시 예에서, 이미지 검출 모듈은 컨볼루션 신경망을 사용하는 것을 포함한다. 신경망은 타겟이 있거나 없는 표면의 예측 카메라 또는 타겟팅 카메라의 이미지와 같은 다수의 이미지로 훈련될 수 있다. 예를 들어, 신경망은 잡초가 있거나 없는 필드의 이미지로 훈련될 수 있다. 일단 훈련되면, 신경망은 타겟을 포함하는 이미지의 영역을 식별하도록 구성될 수 있다. 영역은 다각형, 예를 들어 직사각형으로 정의될 수 있다. 일부 실시 예에서, 영역은 바운딩 박스이다. 일부 실시 예에서, 영역은 식별된 영역을 덮는 다각형 마스크이다.

타겟의 위치에 기초하여, 타겟 할당 시스템(814)은 복수의 타겟팅 모듈의 타겟팅 모듈(820)에 타겟을 할당할 수 있다. 타겟의 위치는 경과된 시간 동안의 모션의 크기와 방향을 기반으로 보정될 수 있으며, 또는 위치는 다각형으로 정의된 영역 내에 있거나 둘 다일 수 있다. 미래 타겟 위치는 미래 기간 동안 예측된 모션의 크기 및 방향에 기초하여 판정될 수 있다. 타겟 할당 모듈은 타겟 위치, 보정된 타겟 위치 또는 미래 타겟 위치와 중첩되는 커버리지 영역을 갖는 타겟팅 모듈에 타겟을 할당할 수 있다.

예측 모듈은 시스템 컨트롤러, 예를 들어 스토리지, 랜덤 액세스 메모리(RAM), 중앙 처리 장치(CPU), 및 그래픽 처리 장치(GPU)를 갖는 시스템 컴퓨터를 포함할 수 있다. 시스템 컴퓨터는 텐서 처리 장치(TPU)를 포함할 수 있다. 시스템 컴퓨터는 타겟을 검출하고 식별하는 작업을 수행하기에 충분한 RAM, 저장 공간, CPU 파워 및 GPU 파워로 구성되어야 한다. 예측 카메라는 타겟을 검출하고 식별하는 작업을 수행하기에 충분한 해상도의 이미지를 제공해야 한다.

(타겟팅 모듈)

표면 상의 타겟 위치를 향해 빔을 지향시키도록 구성된 타겟팅 모듈이 여기에 개시된다. 도 8은 타겟의 위치를 예측하고 빔을 타겟 위치를 향해 지향시키도록 하나 이상의 광학 엘리먼트를 이동시키도록 구성된 타겟팅 모듈(820)을 예시한다. 복수의 타겟팅 모듈은 예측 모듈(810)과 통신할 수 있다. 타겟팅 모듈은 본원에 기술된 바와 같은 광학 제어 시스템을 포함한다. 예를 들어, 도 1-3에 도시된 바와 같이, 타겟팅 모듈은 광학 경로에 배치된, 광학 경로를 따라 빔(102)을 방출하는 이미터(101), 및 빔 결합 엘리먼트(103), 선택적으로 타겟팅 카메라(104), 제1 액추에이터에 의해 제어되는 빔을 편향시키도록 구성된 제1 반사 엘리먼트(105), 및 선택적으로, 제2 액추에이터에 의해 제어되는 빔을 편향시키도록 구성된 제2 반사 엘리먼트(106)를 포함한다. 액추에이터 중 하나 또는 둘 모두는 제1 회전 축, 및 선택적으로 제2 회전 축을 중심으로 반사 엘리먼트 중 하나 또는 둘 모두를 회전시키도록 구성될 수 있으며, 이에 의해 빔 경로의 편향을 변경하고 빔이 제1 변환 축을 따라서, 그리고 선택적으로 제2 변환 축을 따라서 표면을 만나는 위치를 변환시킨다. 일부 실시 예에서, 제1 액추에이터 및 제2 액추에이터는 제1 회전 축 및 제2 회전 축을 중심으로 단일 반사 엘리먼트를 회전시켜 빔이 제1 변환 축과 제2 변환 축을 따라 표면을 만나는 지점의 위치의 변환을 제공할 수 있다. 예측 카메라는 빔 경로의 커버리지 영역을 이미지화하기에 충분히 넓은 시야를 가져야 한다.

도 8에 도시된 바와 같이, 타겟 예측 시스템(821)은 표면 상의 영역의 이미지를 캡처한다. 예측 모듈(810)에 의해 예측된 바와 같이, 영역은 타겟을 포함하는 것으로 예측될 수 있다. 타겟 예측 시스템은 이미지에서 타겟의 픽셀 위치를 식별할 수 있다. 변환 시스템(822)을 제어하기 위한 카메라는 타겟 이미지의 픽셀 위치를 제1 반사 엘리먼트의 위치, 그리고 선택적으로 제2 반사 엘리먼트의 위치로 변환할 수 있다. 반사 엘리먼트들의 위치는 본원에 설명된 바와 같이 액추에이터에 의해 제어될 수 있다. 예를 들어, 변환 시스템을 제어하기 위한 카메라는 타겟의 픽셀 위치를 타겟 위치로 빔을 편향시키도록 예측된 미러 위치에 대응하는 하나 또는 두 액추에이터의 팬 또는 틸트 값으로 변환할 수 있다.

일부 실시 예에서, 타겟 예측 시스템은 이미지 검출 모듈을 더 포함한다. 이미지 검출 모듈은 이미지에서 타겟을 위치확인하고 식별하도록 구성될 수 있다. 예를 들어, 이미지 검출 모듈은 작물과 잡초 사이와 같이 두 식물을 구별하도록 구성될 수 있다. 일부 실시 예에서, 이미지 검출 모듈은 컨볼루션 신경망을 사용하는 것을 포함한다. 신경망은 타겟이 있거나 없는 표면의 예측 카메라 또는 타겟팅 카메라의 이미지와 같은 다수의 이미지로 훈련될 수 있다. 예를 들어, 신경망은 잡초가 있거나 없는 필드의 이미지로 훈련될 수 있다. 일단 훈련되면, 신경망은 타겟을 포함하는 이미지의 영역을 식별하도록 구성될 수 있다. 영역은 다각형, 예를 들어 직사각형으로 정의될 수 있다. 일부 실시 예에서, 영역은 바운딩 박스이다. 일부 실시 예에서, 영역은 식별된 영역을 덮는 다각형 마스크이다.

타겟 위치는 포즈 및 모션 보정 시스템(823)을 사용하여 추가로 보정될 수 있다. 포즈 및 모션 보정 시스템은 포지셔닝 시스템, 예를 들어 IMU, GPS 또는 INS를 사용하여 타겟팅 카메라의 모션의 크기 및 방향을 판정할 수 있다. 일부 실시 예에서, 타겟팅 카메라에 직접 또는 간접적으로 결합된 IMU로부터의 가속도 및 회전 판독값은 모션의 크기 및 방향을 판정하는 데 사용된다. 예를 들어, 예측 카메라와 IMU는 차량에 탑재될 수 있다. IMU는 IMU의 모션 판독값과 타겟팅 카메라와 같이 IMU에 직간접적으로 연결된 모든 것을 수집할 수 있다. 예를 들어, IMU는 3차원 가속도 및 3차원 회전 정보를 포함하는 판독값을 수집할 수 있으며, 이는 경과 시간에 걸쳐 모션의 크기 및 방향을 판정하는 데 사용될 수 있다. 일부 실시 예에서, 포즈 및 모션 보정 시스템은 타겟팅 카메라의 모션의 크기 및 방향을 판정하기 위해 GPS를 사용할 수 있다. 예를 들어, GPS는 차량에 장착될 수 있다. GPS는 제1 시간에 타겟팅 카메라의 제1 위치를 측정하고 제2 시간에 타겟팅 카메라의 제2 위치를 측정하기 위해 위성 기반 무선 항법 시스템과 통신할 수 있다. 일부 실시 예에서, 포즈 및 모션 보정 시스템은 INS를 사용하여 타겟팅 카메라의 모션의 크기 및 방향을 판정할 수 있다. 예를 들어, INS는 타겟팅 카메라의 위치, 배향 및 속도를 측정할 수 있다. 일부 실시 예에서, 타겟 예측 시스템(821)이 이미지에서 타겟을 위치확인한 후, 포즈 및 모션 보정 시스템은 이미지가 캡처된 이후 경과된 시간의 크기와 경과 시간 동안 발생한 타겟팅 카메라의 모션의 크기 및 방향을 판정한다. 포즈 및 모션 보정 시스템은 타겟 위치, 경과 시간, 모션의 크기 및 방향을 통합하여 표면 상의 타겟의 보정된 위치를 판정할 수 있다. 일부 실시 예에서, 타겟 모듈(823)의 포즈 및 모션 보정 시스템에 의해 사용되는 포지셔닝 시스템과 예측 모듈(813)의 포즈 및 모션 보정 시스템에 의해 사용되는 포지셔닝 시스템은 동일하다. 미래 타겟 위치는 미래 기간 동안 예측된 모션의 크기 및 방향에 기초하여 판정될 수 있다. 일부 실시 예에서, 타겟팅 모듈의 포즈 및 모션 보정 시스템에 의해 사용되는 포지셔닝 시스템과 예측 모듈의 포즈 및 모션 보정 시스템에 의해 사용되는 포지셔닝 시스템은 상이하다.

액추에이터 제어 시스템(824)은 신호를 제1 액추에이터 및 선택적으로 제2 액추에이터에 제공하여 제1 반사 엘리먼트 및 선택적으로 제2 반사 엘리먼트를 제어할 수 있는 소프트웨어 구동 전기 구성 요소를 포함한다. 예를 들어, 액추에이터 제어 시스템은 액추에이터 팬 틸트 값을 포함하는 신호를 제1 액추에이터 및 제2 액추에이터에 전송한다. 액추에이터는 신호를 받은 팬 틸트 위치를 채택하고 빔이 타겟 위치, 보정된 타겟 위치 또는 미래 타겟 위치로 편향되도록 하는 위치로 제1 회전축과 제2 회전축 주위에서 제1 반사 엘리먼트와 제2 반사 엘리먼트를 이동시킨다.

레이저 제어 시스템(825)은 이미터의 활성화 및 비활성화를 제어할 수 있는 소프트웨어 구동 전기 구성 요소를 포함한다. 활성화 또는 비활성화는 타겟팅 카메라(104)에 의해 검출된 타겟의 존재 또는 부재에 따를 수 있다. 활성화 또는 비활성화는 타겟 위치에 대해 표면을 향하는 빔 경로의 위치에 따를 수 있다. 일부 실시 예에서, 레이저 제어 시스템은 타겟이 타겟 예측 시스템에 의해 식별될 때 이미터를 활성화할 수 있다. 일부 실시 예에서, 레이저 제어 시스템은 빔 경로가 타겟 위치와 중첩되도록 위치될 때 이미터를 활성화할 수 있다. 일부 실시 예에서, 레이저 제어 시스템은 빔 경로가 다각형, 예를 들어 식별된 영역을 덮는 바운딩 박스 또는 다각형 마스크에 의해 정의된 타겟을 포함하는 표면의 영역 내에 있을 때 이미터를 발사할 수 있다. 레이저 제어 시스템은 타겟이 제거된 경우, 타겟을 포함하는 영역이 빔으로 스캔된 경우, 타겟이 타겟 예측 모듈에 의해 더 이상 식별되지 않는 경우, 지정된 시간이 경과한 경우, 또는 이들의 임의의 조합의 경우에 이미터를 비활성화할 수 있다. 예를 들어, 레이저 제어 시스템은 일단 잡초를 포함하는 표면의 영역이 빔에 의해 스캔되거나 잡초가 조광되거나 연소되면 이미터를 비활성화할 수 있다.

본원에 기술된 예측 모듈 및 타겟팅 모듈은 빔으로 타겟을 위치확인하고, 식별하고, 타겟팅하기 위해 조합하여 사용될 수 있다. 타겟 제어 모듈은 본원에 기술 바와 같은 광학 제어 시스템을 포함할 수 있다. 예측 모듈 및 타겟팅 모듈은 통신, 예를 들어 전기 또는 디지털 통신에 있을 수 있다. 일부 실시 예에서, 예측 모듈 및 타겟팅 모듈은 직접적으로 또는 간접적으로 연결된다. 예를 들어, 예측 모듈 및 타겟팅 모듈은 지지 구조에 연결될 수 있다. 일부 실시 예에서, 예측 모듈 및 타겟팅 모듈은 도 6 및 7에 도시된 바와 같이 차량, 예를 들어 차량(601) 상에 구성된다.

타겟팅 모듈은 시스템 컨트롤러, 예를 들어 스토리지, 랜덤 액세스 메모리(RAM), 중앙 처리 장치(CPU), 및 그래픽 처리 장치(GPU)를 갖는 시스템 컴퓨터를 포함할 수 있다. 시스템 컴퓨터는 텐서 처리 장치(TPU)를 포함할 수 있다. 시스템 컴퓨터는 타겟을 검출하고 식별하는 작업을 수행하기에 충분한 RAM, 저장 공간, CPU 파워 및 GPU 파워를 구비해야 한다. 타겟팅 카메라는 타겟을 검출하고 식별하는 작업을 수행하기에 충분한 해상도의 이미지를 제공해야 한다.

(교정 방법)

본원에 개시된 예측 모듈은 교정 단계를 더 포함할 수 있다. 일부 실시 예에서, 예측 모듈(812)의 변환 시스템을 제어하기 위한 카메라가 교정된다. 일부 실시 예에서, 교정 표면은 예측 카메라의 시야 내에 위치된다. 교정 표면은 알려진 위치의 알려진 표시를 구비한다. 예측 카메라는 교정 표면에 대해 서로 다른 위치에서 교정 표면의 복수의 이미지를 수집할 수 있다. 그 다음 예측 모듈은 알려진 마크의 픽셀 위치를 표면 상의 알려진 위치와 상관시킬 수 있다. 보간 함수는 복수의 상관된 픽셀 위치 및 알려진 표면 위치로부터 구축될 수 있다. 일부 실시 예에서, 보간 함수는 하드 드라이브에 저장되고 예측 모듈에 의해 하드 드라이브로부터 로드될 수 있다.

본원에 개시된 타겟팅 모듈은 교정 단계를 더 포함할 수 있다. 일부 실시 예에서, 타겟팅 모듈(812)의 변환 시스템을 제어하기 위한 카메라가 교정된다. 일부 실시 예에서, 교정 표면은 타겟팅 카메라의 시야 내에 위치된다. 교정 표면은 알려진 위치에 알려진 마크를 구비한다. 타겟팅 모듈은 복수의 이미지가 상이한 시야를 포함하도록 복수의 액추에이터 위치 및 교정 표면의 복수의 이미지를 수집할 수 있다. 예를 들어, 타겟팅 모듈은 제1 액추에이터 및 제2 액추에이터의 랜덤하게 선택된 복수의 팬 틸트 값에서 복수의 이미지를 수집할 수 있다. 교정 맵은 복수의 샘플 포인트로부터 구축될 수 있다. 각각의 샘플 포인트는 알려진 액추에이터 위치에서 수집된 이미지에서 알려진 마크의 픽셀 위치를 식별하고, 알려진 위치를 액추에이터 위치 및 픽셀 위치와 상관시킴으로써 수집될 수 있다. 일부 실시 예에서, 맵은 샘플 포인트 사이의 위치의 정확한 추정을 허용하도록 부드러운 곡선을 구축하기 위해 스플라인 평활화 알고리즘에 피팅된다. 일부 실시 예에서, 스플라인 평활화 알고리즘은 하드 드라이브에 저장되고 타겟팅 모듈에 의해 하드 드라이브로부터 로드될 수 있다.

(잡초제거 시스템)

도 9는 본원에 개시된 장치 및 방법의 실시 예에 대한 프로세스(900)를 예시한다. 다음 예는 예시적이며 여기에 설명된 장치, 시스템 및 방법의 범위를 한정하지 않는다. 이 프로세스는 필드에서 잡초를 식별, 할당, 타겟팅 및 제거하는 것을 구비한다. 이 예에서, 잡초 제거 시스템은 복수의 타겟팅 모듈(820)과 통신하는 예측 모듈(810)을 포함한다. 예측 모듈 및 타겟팅 모듈은 시스템 컨트롤러, 예를 들어 스토리지, RAM, CPU 및 GPU를 포함하는 컴퓨터에 의해 제어된다. 각각의 타겟팅 모듈은 도 1-3에 도시된 바와 같이 광학 제어 시스템(100)을 포함한다. 예측 모듈과 타겟팅 모듈은 견고한 지지물에 연결된다. 견고한 지지물은 도 6 및 7에 도시된 바와 같이 차량(601)에 위치된다.

도 9에 도시된 바와 같이, 동작(920, 930, 940, 950, 960)은 관심 필드가 완전히 스캔될 때까지 반복된다(910). 먼저, 예측 모듈은 동작(920)을 실행한다. 예측 카메라는 주변 영역에서 또는 차량 앞에서 필드 표면의 이미지를 수집한다. 시스템 컨트롤러는 이미지를 처리하고 이미지에서 잡초를 식별한다. 단계(921)에서, 예측 모델은 이미지에서 식별된 하나 이상의 잡초의 위치를 예측한다. 시스템을 제어하기 위해 카메라는 단계(922)에서 이미지의 잡초의 픽셀 좌표를 지상 위치로 변환한다. 시스템 컨트롤러는 922에서 IMU에 의해 측정된 차량의 모션을 기반으로 위치 및 속도를 조정하도록(923) 차량에 지시한다. 하나 이상의 잡초 중 각각은 잡초의 지상 위치 및 타겟팅 모듈의 커버리지 영역에 기초하여 타겟팅 모듈(924)에 할당된다.

동작(930, 940, 950, 및 960)은 각각의 타겟팅 모듈(925)에 대해 반복된다. 동작(940, 950 및 960)은 각 잡초에 대해 반복된다. 복수의 타겟팅 모듈 중 타겟팅 모듈은 동작(940)을 실행한다. 타겟팅 카메라는 필드의 타겟 이미지를 캡처하고, 시스템 컨트롤러는 타겟 이미지(941)에서 잡초를 식별한다. 시스템 컨트롤러는 타겟 이미지(941)에서의 잡초를 식별한다. 시스템 컨트롤러는 타겟 이미지에서의 잡초의 픽셀 위치를 타겟팅 모듈에 의해 제어되는 광학 제어 시스템의 각 반사 엘리먼트를 제어하는 각 액추에이터에 대한 팬 및 틸트 값으로 변환한다(942). 시스템 컨트롤러는 943에서 IMU에 의해 측정된 차량의 모션을 기반으로 액추에이터 팬 및 틸트 값에 포즈 및 모션 보정을 적용하고, 액추에이터 팬 및 틸트 위치에 의해 제어되는 방출된 빔 경로에 대한 경로를 계획한다(944). 액추에이터가 판정된 위치에 도달하면 이미터가 활성화된다(945).

계획된 경로가 구현되는 동안 동작(950)이 반복된다(946). 타겟팅 카메라에 의해 수집된 이미지에서 잡초가 식별되고, 잡초의 관찰된 위치를 기반으로 경로 계획이 업데이트된다(952). 시스템 컨트롤러는 953에서 IMU에 의해 측정된 차량의 모션을 기반으로 하는 액추에이터 팬 및 틸트 값에 대한 포즈 및 모션 보정을 적용한다. 액추에이터는 업데이트된 경로 계획에 따라 위치로 이동된다(954). 계획된 경로가 완료되면 이미터가 비활성화된다(960).

본 개시내용의 바람직한 실시 예가 여기에 도시되고 설명되었지만, 그러한 실시 예는 단지 예로서 제공된다는 것이 당업자에게 명백할 것이다. 다수의 변형, 변경 및 대체가 이제 본 개시내용을 벗어나지 않고 당업자에게 발생할 것이다. 본원에 기술된 본 발명의 실시 예에 대한 다양한 대안이 본 발명을 실시하는데 이용될 수 있음을 이해해야 한다. 하기의 청구범위는 본 개시내용의 범위를 정의하고 이러한 청구범위 및 그 균등물의 범위 내의 방법 및 구조가 이에 의해 포함되도록 의도된다.

Claims

표면 상의 타겟 위치를 향해 광학 경로를 따라 빔을 방출하도록 구성된 이미터로서, 상기 타겟 위치는 상기 표면 상의 타겟을 자율적으로 위치확인(locating)함으로써 판정되는 상기 이미터;
상기 광 경로와 교차하고 상기 빔을 편향시키도록 위치된 제1 반사 엘리먼트;
상기 제1 반사 엘리먼트에 연결되고 상기 제1 반사 엘리먼트를 회전시키고 상기 타겟 위치를 향해 상기 빔을 편향시키도록 구성된 제1 타겟팅 액추에이터; 및
상기 이미터와 상기 제1 반사 엘리먼트 사이의 상기 광학 경로에 위치되고 상기 빔의 반대 방향으로 상기 광학 경로를 따라 이동하는 상기 타겟 위치로부터의 산란광과 상기 빔을 차등적으로 편향시키도록 구성된 결합 엘리먼트;
를 포함하는 것을 특징으로 하는 광학 제어 시스템.
제1 항에 있어서, 상기 결합 엘리먼트에 광학적으로 연결되고 상기 제1 반사 엘리먼트로부터 반사된 상기 산란광을 수신하고 상기 타겟 위치를 포함하는 타겟팅 시야를 이미지화하도록 구성된 타겟팅 카메라를 더 포함하는 것을 특징으로 하는 광학 제어 시스템.
제1 항 또는 제2 항에 있어서, 상기 광학 제어 시스템은 상기 광학 제어 시스템이 상기 표면에 대해 이동하는 동안 상기 타겟 위치를 향해 상기 빔을 지향시키도록 구성되는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제3 항 중 어느 한 항에 있어서, 상기 타겟 위치에 대한 상기 타겟팅 시야의 픽셀 움직임을 검출하고 상기 타겟팅 시야의 상기 픽셀 움직임으로부터 상기 제1 반사 엘리먼트의 회전으로 변환하도록 구성된 타겟팅 시스템 컴퓨터를 더 포함하는 것을 특징으로 하는 광학 제어 시스템.
제4 항에 있어서, 상기 픽셀 움직임으로부터 상기 제1 반사 엘리먼트의 회전으로의 변환은 교정 함수를 참조하는 것을 포함하는 것을 특징으로 하는 광학 제어 시스템.
제5 항에 있어서, 상기 교정 함수는 교정 표면 상의 기준 마커의 위치를 카메라 픽셀 움직임과 상관시킴으로써 획득되는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제6 항 중 어느 한 항에 있어서, 상기 광학 제어 시스템에 결합된 관성 측정 유닛을 더 포함하고, 상기 관성 측정 유닛은 상기 광학 제어 시스템의 가속도, 상기 표면에 대한 상기 광학 제어 시스템의 회전, 또는 그의 조합을 측정하도록 구성되는 것을 특징으로 하는 광학 제어 시스템.
제7 항에 있어서, 상기 타겟팅 시스템 컴퓨터는 이미지화 이후의 시간의 크기, 상기 광학 제어 시스템의 가속도, 상기 표면에 대한 상기 광학 제어 시스템의 회전, 또는 이들의 조합에 기초하여 상기 타겟 위치를 조정하도록 구성되는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제8 항 중 어느 한 항에 있어서, 상기 광학 제어 시스템은 인클로저에 둘러싸여 있고, 상기 인클로저는 방출 및 가시광선을 투과할 수 있고 상기 제1 반사 엘리먼트와 상기 표면 사이의 상기 광학 경로에 배치된 탈출 창을 포함하는 것을 특징으로 하는 광학 제어 시스템.
제9 항에 있어서, 상기 광학 제어 시스템은 상기 인클로저에 완전히 둘러싸인 것을 특징으로 하는 광학 제어 시스템.
제9 항 또는 제10 항에 있어서, 상기 인클로저의 외부 표면에 있는 개구로부터 상기 탈출 창의 외부 표면을 향해 공기 흐름을 지향시키도록 구성된 공기 소스를 더 포함하는 것을 특징으로 하는 광학 제어 시스템.
제9 항 내지 제11 항 중 어느 한 항에 있어서, 상기 인클로저는 상기 공기 흐름의 방향을 제어하고 상기 빔을 방해하지 않으면서 난류를 감소시키도록 구성된 상기 개구의 반대편의 벽을 더 포함하는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제12 항 중 어느 한 항에 있어서, 상기 제1 반사 엘리먼트는 미러인 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제13 항 중 어느 한 항에 있어서, 상기 결합 엘리먼트는 상기 빔을 투과하고 상기 가시광을 반사하는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제14 항 중 어느 한 항에 있어서, 상기 이미터는 레이저 이미터인 것을 특징으로 하는 광학 제어 시스템.
제15 항에 있어서, 상기 레이저 이미터는 적외선 레이저, 자외선 레이저 및 가시광선 레이저로 이루어진 그룹으로부터 선택되는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제16 항 중 어느 한 항에 있어서, 상기 제1 반사 엘리먼트에 연결되고 상기 제1 반사 엘리먼트를 회전시키고 상기 타겟 위치를 향해 상기 빔을 편향시키도록 구성된 제2 타겟팅 액추에이터를 더 포함하는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제16 항 중 어느 한 항에 있어서, 상기 광학 경로를 교차하고 상기 제1 반사 엘리먼트에 의해 편향된 상기 빔을 편향시키도록 위치된 제2 반사 엘리먼트, 및 상기 제2 반사 엘리먼트에 연결되고 상기 제2 반사 엘리먼트를 회전시키고 상기 타겟 위치를 향해 상기 빔을 편향시키도록 구성된 제2 타겟팅 액추에이터를 더 포함하는 것을 특징으로 하는 광학 제어 시스템.
제17 항 또는 제18 항에 있어서, 상기 제1 타겟팅 액추에이터는 제1 축을 따라 상기 빔을 편향시키고, 상기 제2 타겟팅 액추에이터는 제2 축을 따라 상기 빔을 편향시키며, 상기 제1 축 및 상기 제2 축은 직교하는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제19 항 중 어느 한 항에 있어서, 상기 결합 엘리먼트는 상기 이미터 뒤에 위치되고, 상기 제1 반사 엘리먼트는 상기 결합 엘리먼트 뒤에 위치되며, 상기 제2 반사 엘리먼트는 상기 빔의 상기 방향에 대해 상기 제1 반사 엘리먼트 뒤에 위치되는 것을 특징으로 하는 광학 제어 시스템.
제1 항 내지 제20 항 중 어느 한 항에 있어서, 잡초가 상기 타겟 위치에 위치되는 것을 특징으로 하는 광학 제어 시스템.
예측 카메라로 예측 시야의 이미지를 캡처하는 단계;
상기 예측 시야에서 타겟을 위치확인하는 단계;
상기 타겟의 위치와 중첩하는 타겟팅 시야를 갖는 타겟팅 카메라를 구비하는 복수의 타겟팅 모듈 중 하나에 상기 타겟을 할당하는 단계;
상기 타겟팅 카메라로 상기 타겟팅 시야의 이미지를 캡처하는 단계;
상기 타겟팅 시야에서 상기 타겟을 위치확인하는 단계; 및
상기 타겟의 위치를 향해 빔을 지향시키는 단계;
를 포함하는 것을 특징으로 하는 잡초 제거 방법.
제22 항에 있어서, 상기 예측 시야에서 상기 타겟을 위치확인하는 단계는 상기 예측 시야에서 상기 타겟의 위치를 식별하는 단계를 더 포함하는 것을 특징으로 하는 잡초 제거 방법.
제22 항 또는 제23 항에 있어서, 상기 타겟이 포함된 영역을 식별하는 단계를 더 포함하고, 상기 영역은 다각형으로 정의되는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제24 항 중 어느 한 항에 있어서, 상기 위치를 예측된 표면 위치로 변환하는 단계를 더 포함하는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제25 항 중 어느 한 항에 있어서, 상기 타겟팅 시야에서 원하는 움직임을 판정하는 단계를 더 포함하는 것을 특징으로 하는 잡초 제거 방법.
제26 항에 있어서, 상기 원하는 움직임을 액추에이터 위치 변경으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제27 항 중 어느 한 항에 있어서, 상기 타겟을 위치확인하는 단계는 훈련된 신경망을 이용하여 타겟을 식별하는 단계를 포함하는 것을 특징으로 하는 잡초 제거 방법.
제28 항에 있어서, 상기 훈련된 신경망은 바운딩 박스, 다각형 마스크, 또는 이들의 조합을 상기 타겟 주위에 제공할 수 있는 것을 특징으로 하는 잡초 제거 방법.
제28 항 또는 제29 항에 있어서, 상기 훈련된 신경망은 필드의 이미지로 훈련되는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제30 항 중 어느 한 항에 있어서, 상기 타겟팅 시야에서 상기 타겟을 위치확인하는 단계는 교정면 상의 기준 마커의 위치를 카메라 픽셀 좌표와 상관시켜 획득된 교정 함수를 참조하는 단계 및 상기 타겟의 상기 위치를 보정하는 단계를 더 포함하는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제31 항 중 어느 한 항에 있어서, 상기 복수의 타겟팅 모듈 중 하나에 상기 타겟을 할당하는 단계는, 상기 타겟의 위치를 상기 복수의 타겟팅 모듈 중 하나에 제공하는 단계를 포함하는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제32 항 중 어느 한 항에 있어서, 빔을 상기 타겟의 위치로 지향시키는 단계는 교정 표면 상의 기준 마커의 픽셀 움직임을 액추에이터 틸트 값과 상관시켜 획득된 교정 함수를 참조하는 단계 및 상기 액추에이터 틸트 값을 보정하는 단계를 더 포함하는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제33 항 중 어느 한 항에 있어서, 상기 타겟이 손상되거나 사멸되면 상기 빔을 비활성화하는 단계를 더 포함하는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제34 항 중 어느 한 항에 있어서, 상기 타겟팅 카메라로 상기 타겟팅 시야의 이미지를 캡처하는 단계, 상기 타겟팅 시야에 상기 타겟을 위치확인하는 단계, 및 상기 타겟의 위치를 향해 빔을 지향시키는 단계는 높은 정확도로 수행되는 것을 특징으로 하는 잡초 제거 방법.
제22 항 내지 제35 항 중 어느 한 항에 있어서, 상기 타겟은 잡초인 것을 특징으로 하는 잡초 제거 방법.
제36 항에 있어서, 상기 잡초를 손상시키거나 사멸시키는 단계를 더 포함하는 것을 특징으로 하는 잡초 제거 방법.
제37 항에 있어서, 상기 잡초를 손상시키거나 사멸시키는 단계는 상기 잡초에 조광하는 단계를 포함하는 것을 특징으로 하는 잡초 제거 방법.
제36 항에 있어서, 상기 잡초를 손상시키거나 사멸시키는 단계는 상기 잡초를 태우는 단계를 포함하는 것을 특징으로 하는 잡초 제거 방법.
제36 항 내지 제39 항 중 어느 한 항에 있어서, 상기 타겟을 위치확인하는 단계는 상기 잡초와 원하는 식물을 구별하는 단계를 포함하는 것을 특징으로 하는 잡초 제거 방법.
예측 모듈, 타겟팅 모듈, 및 광학 제어 모듈을 포함하는 타겟팅 시스템으로서;
상기 예측 모듈은:
표면 상의 예측 시야를 이미지화하고 상기 예측 시야에서 타겟을 위치확인하도록 구성된 예측 카메라; 및
상기 예측 시야 내의 상기 타겟의 위치를 상기 표면 상의 예측된 위치로 변환하고 상기 타겟을 상기 타겟화팅 모듈에 할당하도록 구성된 예측 모듈 컨트롤러;
를 포함하고,
상기 타겟팅 모듈은:
상기 예측된 위치를 타겟팅 액추에이터의 위치로 변환하도록 구성된 타겟팅 모듈 컨트롤러;
를 포함하고, 및
상기 광학 제어 모듈은:
상기 타겟을 향한 광학 경로를 따라 빔을 방출하도록 구성된 이미터; 및
상기 타겟팅 모듈 컨트롤러로부터의 위치 정보를 수신하고 상기 빔을 상기 타겟을 향해 편향시키도록 구성된 상기 타겟팅 액추에이터;
를 포함하는 것을 특징으로 하는 타겟팅 시스템.
제41 항에 있어서, 상기 타겟팅 시스템은 상기 표면 상의 타겟팅 시야를 이미지화하고 상기 타겟팅 시야에서 상기 타겟을 위치확인하도록 구성된 타겟팅 카메라를 더 포함하는 것을 특징으로 하는 타겟팅 시스템.
제41 항 또는 제42 항에 있어서, 상기 광학 제어 모듈은:
상기 타겟팅 액추에이터에 의해 제어되고 상기 광학 경로를 교차하고 상기 빔을 편향시키도록 위치된 제1 반사 엘리먼트; 및
상기 이미터와 상기 제1 반사 엘리먼트 사이의 상기 광학 경로에 위치되고 상기 빔의 반대 방향으로 상기 광학 경로를 따라 이동하는 상기 타겟팅 시야로부터의 산란광과 상기 빔을 차등적으로 편향시키도록 구성된 결합 엘리먼트;
를 더 포함하는 것을 특징으로 하는 타겟팅 시스템.
제41 항 내지 제43 항 중 어느 한 항에 있어서, 상기 광학 제어 모듈은 상기 타겟팅 시스템이 상기 표면에 대해 이동하는 동안 상기 타겟을 향해 상기 빔을 지향시키도록 구성되는 것을 특징으로 하는 타겟팅 시스템.
제41 항 내지 제44 항 중 어느 한 항에 있어서, 상기 타겟팅 모듈은 상기 타겟에 대한 상기 타겟팅 시야의 픽셀 움직임을 검출하고 상기 타겟팅 시야의 상기 픽셀 움직임을 상기 타겟팅 액추에이터의 모션으로 변환하도록 구성되는 것을 특징으로 하는 타겟팅 시스템.
제41 항 내지 제45 항 중 어느 한 항에 있어서, 상기 표면에 대한 상기 타겟팅 시스템의 가속도 및 상기 타겟팅 시스템의 회전을 측정하도록 구성된 관성 측정 유닛을 더 포함하는 것을 특징으로 하는 타겟팅 시스템.
제41 항 내지 제46 항 중 어느 한 항에 있어서, 상기 타겟팅 모듈은 이미지화 이후의 시간의 크기, 상기 타겟팅 시스템의 가속도, 상기 표면에 대한 상기 타겟팅 시스템의 회전, 또는 이들의 조합에 기초하여 상기 예측된 위치를 조정하도록 구성되는 것을 특징으로 하는 타겟팅 시스템.
제41 항 내지 제47 항 중 어느 한 항에 있어서, 제2 타겟팅 모듈을 더 포함하고,
상기 제2 타겟팅 모듈은:
상기 표면 상의 제2 타겟팅 시야를 이미지화하고 상기 제2 타겟팅 시야에서 상기 타겟을 위치확인하도록 구성된 제2 타겟팅 카메라; 및
상기 제2 타겟팅 시야에서 상기 타겟의 위치를 제2 타겟팅 액추에이터의 위치로 변환하도록 구성된 타겟팅 모듈 컨트롤러;
를 포함하는 것을 특징으로 하는 타겟팅 시스템.
제41 항 내지 제48 항 중 어느 한 항에 있어서, 상기 예측 시야는 상기 타겟팅 시야를 포함하는 것을 특징으로 하는 타겟팅 시스템.
제41 항 내지 제49 항 중 어느 한 항에 있어서, 상기 예측 카메라 및 상기 광학 제어 모듈을 운반하는 차량을 더 포함하는 것을 특징으로 하는 타겟팅 시스템.
제50 항에 있어서, 상기 차량은 자율주행 차량인 것을 특징으로 하는 타겟팅 시스템.
제50 항 또는 제51 항에 있어서, 상기 차량은 복수의 바퀴를 포함하는 것을 특징으로 하는 타겟팅 시스템.
제52 항에 있어서, 상기 광학 제어 모듈은 인클로저에 둘러싸여 있고, 상기 인클로저는 상기 방출 및 가시광을 투과할 수 있고 상기 제1 반사 엘리먼트와 상기 표면 사이의 상기 광학 경로에 위치된 탈출 창을 포함하는 것을 특징으로 하는 타겟팅 시스템.
제53 항에 있어서, 상기 광학 제어 모듈은 상기 인클로저에 완전히 둘러싸인 것을 특징으로 하는 타겟팅 시스템.
제53 항 또는 제54 항에 있어서, 상기 인클로저의 외부 표면에 있는 개구로부터 상기 탈출 창의 외부 표면을 향해 공기 흐름을 지향시키도록 구성된 공기 소스를 추가로 포함하는 것을 특징으로 하는 타겟팅 시스템.
제53 항 내지 제55 항 중 어느 한 항에 있어서, 상기 인클로저는 상기 공기 흐름의 방향을 제어하고 상기 빔을 방해하지 않으면서 난류를 감소시키도록 구성된 상기 개구 반대편에 있는 벽을 더 포함하는 것을 특징으로 하는 타겟팅 시스템.
제43 항 내지 제56 항 중 어느 한 항에 있어서, 상기 제1 반사 엘리먼트는 미러인 것을 특징으로 하는 타겟팅 시스템.
제43 항 내지 제57 항 중 어느 한 항에 있어서, 상기 결합 엘리먼트는 상기 빔을 전송하고 상기 가시광을 반사하는 것을 특징으로 하는 타겟팅 시스템.
제41 항 내지 제58 항 중 어느 한 항에 있어서, 상기 이미터는 레이저 이미터인 것을 특징으로 하는 타겟팅 시스템.
제59 항에 있어서, 상기 레이저 이미터는 적외선 레이저, 자외선 레이저, 및 가시광선 레이저로 이루어진 그룹으로부터 선택되는 것을 특징으로 하는 타겟팅 시스템.
제43 항 내지 제60 항 중 어느 한 항에 있어서, 상기 광학 제어 모듈은 상기 제1 반사 엘리먼트에 연결되고, 상기 제1 반사 엘리먼트를 회전시키고 상기 타겟을 향해 상기 빔을 편향시키도록 구성된 상기 제2 타겟팅 액추에이터를 더 포함하는 것을 특징으로 하는 타겟팅 시스템.
제43 항 내지 제61 항 중 어느 한 항에 있어서, 상기 광학 제어 모듈은 상기 광학 경로를 교차하고 상기 제1 반사 엘리먼트에 의해 편향된 상기 빔을 편향시키도록 위치된 제2 반사 엘리먼트, 및 상기 제2 반사 엘리먼트에 연결되고, 상기 제2 반사 엘리먼트를 회전시키고 상기 빔을 상기 타겟을 향해 편향시키도록 구성된 제2 타겟팅 액추에이터를 더 포함하는 것을 특징으로 하는 타겟팅 시스템.
제61 항 또는 제62 항에 있어서, 상기 제1 타겟팅 액추에이터는 제1 축을 따라 상기 빔을 편향시키고 상기 제2 타겟팅 액추에이터는 제2 축을 따라 상기 빔을 편향시키며, 상기 제1 축과 제2 축은 직교하는 것을 특징으로 하는 타겟팅 시스템.
제62 항 또는 제63 항에 있어서, 상기 결합 엘리먼트는 상기 이미터 뒤에 위치되고, 상기 제1 반사 엘리먼트는 상기 결합 엘리먼트 뒤에 위치되며, 상기 제2 반사 엘리먼트는 상기 빔의 상기 방향에 대해 상기 제1 반사 엘리먼트 뒤에 위치되는 것을 특징으로 하는 타겟팅 시스템.