KR20210035252A - 곤충의 위치를 파악하고 제거하기 위한 시스템 및 방법 - Google Patents

Abstract

공간에서 곤충의 위치를 파악하고 상기 곤충의 위치를 사용자에게 지시하고/하거나 상기 곤충을 제거하기 위한 시스템 및 방법이 제공된다. 상기 시스템은 상기 공간의 이미지를 획득하기 위한 카메라; 및 상기 공간의 적어도 2개의 이미지를 비교함으로써 물체를 검출하고, 상기 공간의 이미지에서 상기 물체의 특성에 기초하여 상기 물체가 곤충이라고 결정하는 프로세서를 포함한다. 일부 실시형태에서, 독립적으로 이동하는 디바이스를 제어하여 상기 공간에서 상기 곤충의 위치에 있는 상기 곤충을 제거할 수 있다.

Description

곤충의 위치를 파악하고 제거하기 위한 시스템 및 방법

본 발명은 해충 방제 분야에 관한 것으로, 보다 상세하게는 컴퓨터 비전을 사용하여 날아다니는 곤충과 같은 해충을 검출, 위치 파악 및 제거하는 분야에 관한 것이다.

가정 및 기타 도시 공간에서 사람과 환경을 공유하는 날아다니는 곤충과 같은 해충은 질병을 퍼뜨리고 식품을 망치며 일반적으로 불쾌감을 야기한다. 이러한 해충의 방제는 일반적으로 배척, 격퇴, 물리적 제거 또는 화학적 수단을 통해 시도된다.

확대 렌즈가 있는 이미지 센서를 사용하는 시스템은 일반적으로 농업 환경에서 해충을 검출하는 데 사용되며, 여기서는 넓은 지역을 감시하기 위해 이미지 센서가 이동하거나 이미지 센서의 시야에서 물품이 이동한다.

이동하는 카메라를 요구하는 이러한 시스템은 생활 및/또는 작업 공간에서 끊임없이 이동하는 카메라에는 사람들이 관심이 없기 때문에 실내 사용에는 적합하지 않다.

이미지 센서를 사용하는 다른 시스템은 카메라 및 이 카메라로부터 이격된 재귀 반사 표면으로 정해진 관심 영역에서 날아다니는 곤충을 추적한다. 카메라에 더하여 재귀 반사 표면을 사용해야 하는 것으로 인해 이 시스템이 눈에 거슬리고 번거롭기 때문에 가정, 사무실 및 기타 도시 공간에 널리 설치될 가능성은 낮다.

본 발명의 실시형태는 일반적으로 밀폐된 환경에서 해충을 쉽고 정확히 조치하기 위해, 일반적으로 실내 환경에서 날아다니는 곤충과 같은 해충을 검출하고 위치를 파악하는 시스템 및 방법을 제공한다.

본 발명의 실시형태에 따른 시스템은 카메라 및 상기 카메라에 의해 획득된 이미지로부터 해충을 검출하고 위치를 파악하기 위한 프로세서를 포함한다. 상기 시스템은 상기 카메라를 포함하는 단일 하우징으로부터 동작할 수 있고, 해충의 위치를 파악하기 위해 상기 단일 하우징과는 별도의 추가 요소를 요구하지 않는다. 추가적으로, 사용 가능한 이미지를 캡처하기 위해 상기 시스템의 카메라를 이동 가능한 플랫폼에 부착하거나 내장할 필요가 없다. 따라서, 상기 시스템은 가정이나 사무실의 방과 같은 공간, 또는 극장, 박물관 등과 같은 공공 장소에 쉽게 설치되고 눈에 띄지 않게 위치될 수 있다.

본 발명의 실시형태는 잡음 및/또는 곤충이 아닌 물체와 곤충 간을 구별할 수 있다.

일 실시형태에서, 상기 시스템은 추가 조치를 위해 방에서 곤충의 위치를 나타내는 시각적 마크(visible mark)를 사람에게 제공할 수 있다.

본 발명의 실시형태는 공간의 이미지로부터 검출되고 위치 파악된 해충을 조치하기 위한 다양한 유형의 해결책을 제공한다.

본 발명은 이제 본 발명을 보다 완전히 이해할 수 있도록 하기 위해 하기의 예시적인 도면을 참조하여 특정 실시예 및 실시형태와 관련하여 설명될 것이다.
도 1a는 본 발명의 일 실시형태에 따라 공간에서 곤충의 위치를 파악하기 위한 시스템의 개략도이다.
도 1b는 본 발명의 일 실시형태에 따라 공간에서 곤충을 검출하고 위치를 파악하는 방법의 개략도이다.
도 2a 및 도 2b는 본 발명의 다른 실시형태에 따라 공간에서 곤충의 위치를 파악하기 위한 시스템의 개략도이다.
도 2c는 본 발명의 다른 실시형태에 따라 공간에서 곤충을 검출하고 위치를 파악하는 방법의 개략도이다.
도 3은 본 발명의 일 실시형태에 따라 시각적 마크의 프로젝터를 포함하는 시스템의 개략도이다.
도 4a 및 도 4b는 본 발명의 실시형태에 따라 곤충을 처치(handling)하기 위한 보조 디바이스를 포함하는 시스템의 개략도이다.
도 4c는 본 발명의 일 실시형태에 따라 곤충을 처치하기 위한 보조 디바이스를 제어하기 위한 방법의 개략도이다.
도 5는 본 발명의 일 실시형태에 따라 곤충을 처치하기 위한 보조 디바이스의 개략도이다.
도 6은 본 발명의 일 실시형태에 따라 공간의 이미지에서 곤충을 검출하는 방법의 개략도이다.
도 7은 본 발명의 일 실시형태에 따라 이미지 내 물체가 곤충인지를 결정하는 방법의 개략도이다.
도 8은 본 발명의 일 실시형태에 따라 이미지 내 물체가 이전의 이미지에 기초하여 곤충인지 여부를 결정하는 방법의 개략도이다.

본 발명의 실시형태는 방과 같은 밀폐된 공간에서 하나 이상의 곤충의 위치를 검출하고 공간에서 곤충의 검출된 위치를 지시하기 위한 시스템 및 방법을 제공한다.

본 명세서에 설명된 예는 주로 해충, 특히 모기와 같은 날아다니는 곤충을 지칭하지만, 본 발명의 실시형태는 다른 해충의 위치를 파악하는 데에도 사용될 수 있다.

이하의 설명에서, 본 발명의 다양한 양태가 설명될 것이다. 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 특정 구성 및 세부 사항이 제시된다. 그러나, 또한 본 발명은 본 명세서에 제시된 특정 세부 사항 없이도 실시될 수 있다는 것은 이 기술 분야에 통상의 지식을 가진 자에게는 명백할 것이다. 나아가, 잘 알려진 특징은 본 발명을 모호하게 하지 않기 위해 생략되거나 단순화될 수 있다.

달리 구체적으로 언급되지 않는 한, 다음 논의에서 명백한 바와 같이, 본 명세서 전체에 걸쳐 "분석", "처리", "컴퓨팅", "계산", "결정", "검출", "식별", "추정", "이해" 등과 같은 용어를 사용하는 논의는 컴퓨팅 시스템의 레지스터 및/또는 메모리의 물리적인 양, 예를 들어, 전자적인 양으로 표현된 데이터를 컴퓨팅 시스템의 메모리, 레지스터 또는 기타 이러한 정보 저장, 전송 또는 디스플레이 디바이스의 물리적 양으로 유사하게 표현된 다른 데이터로 조작 및/또는 변환하는 컴퓨터 또는 컴퓨팅 시스템 또는 유사한 전자 컴퓨팅 디바이스의 조치 및/또는 처리를 지칭하는 것을 이해된다.

도 1a에 개략적으로 도시된 일 실시형태에서, 곤충을 검출하고 위치를 파악하기 위한 시스템(100)은 방(104) 또는 방(104)의 일부와 같은 공간의 이미지를 획득하기 위한 카메라(103)를 포함한다. 하나 이상의 모기와 같은 곤충(105)이 방(104)에 있을 수 있다.

이미지 센서 및 적절한 광학 기기를 포함하는 카메라(103)는 프로세서(102)와 통신한다. 프로세서(102)는 카메라(103)에 의해 획득된 방 또는 방(104)의 일부의 이미지를 수신하고, 방의 이미지에서 곤충(105)의 위치를 검출한다. 이미지에서 곤충(105)의 위치에 기초하여, 프로세서(102)는 방(104)에서 곤충(105)의 위치를 나타내기 위해 사람의 눈으로 볼 수 있는 위치 지시자(location indicator)를 생성할 수 있는 신호를 생성한다.

프로세서(102)는 공간의 이미지에 기초하여 공간(예를 들어, 방(104))에서 곤충(105)의 위치를 결정할 수 있고, 프로젝터 디바이스를 제어하여 광원을 지향시켜 공간에서 곤충의 위치 부근에서 사람의 눈에 보이는 지시를 생성할 수 있다.

도 1a에 예시된 예에서, 위치 지시자는 방(104)에서 곤충(105)의 위치에 있는 시각적 마크(115)이다. 시각적 마크(115)는 일 실시형태에서 프로젝터(108)를 통해 생성되고, 프로젝터는 레이저 또는 다른 빔을 방(104)의 곤충(105) 부근으로 투사하여 방에 있는 곤충의 위치 부근에 시각적 마크(115)를 형성한다.

시스템(100)의 구성 요소 중 일부 또는 전부는 하우징(101)에 부착되거나 하우징 내에 둘러싸인다. 따라서, 예를 들어, 카메라(103) 및 프로세서(102)는 모두 단일 하우징(101) 내에 포함될 수 있다. 다른 실시형태에서 시스템의 구성 요소 중 일부(예를 들어, 프로세서(102))는 원격에 위치된다.

플라스틱 및/또는 금속과 같이 실용적이고 사용하기에 안전한 물질로 만들어질 수 있는 하우징(101)은 하우징(101)의 다양한 움직임을 허용하는, 힌지, 회전 가능한 조인트 또는 볼 조인트와 같은 하나 이상의 선회 요소를 포함할 수 있다. 예를 들어, 하우징(101)은 방(104)의 하나의 위치에 배치될 수 있지만, 하우징(101)을 회전 및/또는 회동시킴으로써 하우징(101) 내에 포함된 카메라(103)에 여러 시야(field of view: FOV)를 제공할 수 있다. 그러나, 하우징(101)은 일반적으로 이미지를 획득하는 동안 카메라가 이동하지 않도록 카메라(103)에 안정성을 제공한다.

일부 실시형태에서, 카메라(103)는 초점면이 방(104)의 표면과 평행하도록 위치된다. 예를 들어, 방의 표면은 방의 바닥이나 천장을 포함하거나 또는 방의 벽이나 가구의 표면 등을 포함할 수 있다.

일 실시형태에서 프로세서(102)는 방의 표면(예를 들어, 방의 벽, 천장, 가구의 표면 등)의 이미지에서 곤충(105)의 위치를 검출하고, 표면에 있는 곤충(105)의 위치에 시각적 마크(115)를 생성할 수 있는 신호를 생성한다.

일부 실시형태에서, 프로세서(102)는 방의 이미지에서 정지된 (예를 들어, 날지 않는) 곤충을 검출하고, 시각적 마크(115)를 정지된 곤충의 위치에 형성하거나 지향시킨다.

일부 실시형태에서, 프로세서(102)는 착지하는 곤충을 검출하고, 예를 들어, 프로세서는 곤충이 날아간 다음 착지하는 것을 검출한다. 그런 다음, 프로세서(102)는 착지 후, 예를 들어, 앉은 후 곤충의 위치를 검출하고, 시각적 마크(115)를 착지 후 곤충의 위치에 형성하거나 지향시킨다.

카메라(103)는 이미지 센서, 예를 들어, CCD 또는 CMOS 칩과 같은 적절한 칩을 포함할 수 있고, 2D 또는 3D 카메라일 수 있다. 카메라(103)는 방(또는 방의 일부)(104)의 이미지를 획득할 수 있기 위해 렌즈 및/또는 다른 광학 기기를 포함할 수 있다.

일부 실시형태에서 카메라(103)는 적외선(IR) 감지 센서를 포함하고/하거나 특수 조명 조건에서 방(104)의 이미지를 획득할 수 있기 위해 잡음을 제거하기 위해 다른 파장을 필터링하는 렌즈 및/또는 필터를 포함할 수 있다. 예를 들어, 시스템(100)은 IR 조명원(106)을 포함할 수 있다. IR 조명원(106)은 약 750㎚ 내지 950㎚ 범위에서 방출하는 LED 또는 다른 조명원을 포함할 수 있다. 일 실시예에서 조명원(106)은 약 850㎚에서 조명한다. IR 조명원(106)은 사람의 눈에 보이지 않고/않거나 사람의 눈에 자극을 주지 않지만 카메라(103)가 암실의 의미 있는 이미지를 획득할 수 있게 하는 조명을 제공함으로써 암실에서도 시스템(100)을 사용할 수 있게 한다.

프로세서(102)는 예를 들어 하나 이상의 프로세서를 포함할 수 있고, 중앙 처리 유닛(CPU), 디지털 신호 프로세서(DSP), 마이크로프로세서, 제어기, 칩, 마이크로 칩, 집적 회로(IC), 또는 임의의 다른 적합한 다목적 또는 특정 프로세서 또는 제어기일 수 있다.

일부 실시형태에서 시스템(100)은 경고 디바이스, 예를 들어, 소리 방출 디바이스, 및/또는 전용 LED와 같은 광원을 포함할 수 있으며, 프로세서(102)는 곤충의 위치를 검출한 것에 기초하여 소리 또는 광을 방출하는 것과 같은 경고 신호를 생성할 수 있다.

일부 실시형태에서, 프로세서(102)는 하나 이상의 메모리 유닛(들)(112)과 통신한다. 메모리 유닛(들)(112)은 예를 들어 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 플래시 메모리, 휘발성 메모리, 비-휘발성 메모리, 캐시 메모리, 버퍼, 단기 메모리 유닛, 장기 메모리 유닛, 또는 다른 적절한 메모리 유닛 또는 저장 유닛을 포함할 수 있다.

시스템(100)의 구성 요소는 예를 들어 적절한 네트워크 허브를 통해 또는 적절한 케이블, 또는 USB와 같은 적절한 포트를 통해 무선으로 서로 연결될 수 있다.

일부 실시형태에 따르면, 카메라(103)에 의해 획득된 이미지의 적어도 일부는 메모리(112)에 저장된다. 메모리(112)는 프로세서(102)에 의해 실행될 때 본 명세서에 설명된 방법을 수행하는 실행 가능한 명령어를 더 저장할 수 있다.

프로세서(102)에 의해 수행되는 일부 단계를 포함하는 방법의 일례가 도 1b에 개략적으로 도시되어 있다. 밀폐된 공간에서 곤충을 검출하고 위치를 파악하는 방법은 공간, 예를 들어, 방(104)의 이미지를 획득하는 단계(1001); 및 이미지에서 곤충의 위치를 검출하는 단계(1003)를 포함한다. 이미지에서 곤충의 위치는 실제 세계의 좌표로 변환되고(1005), 실제 세계의 좌표를 나타내기 위해 위치 지시자가 생성된다(1007).

일부 실시형태에서, 곤충의 위치가 검출되면 사용자에게 알리기 위해 신호가 생성된다. 신호는 사용자의 이동 디바이스(예를 들어, 사용자의 휴대폰 또는 전용 디바이스)로 (예를 들어, 블루투스, 무선 등을 통해) 전송될 수 있다.

일 실시형태에서, 방법은 공간의 이미지에서 정지된 곤충(예를 들어, 날지 않는 곤충 및/또는 공간에서 위치 변화가 없는 곤충)을 검출하는 단계; 및 정지된 곤충의 위치를 검출하는 단계를 포함한다. 정지된 곤충의 실제 세계의 좌표를 나타내기 위해 위치 지시자가 생성된다.

다른 실시형태에서, 방법은 공간의 이미지에서 착지하는 곤충을 검출하는 단계; 및 착지 후 곤충의 위치를 검출하는 단계를 포함한다. 착지 후 곤충의 실제 세계의 좌표를 나타내기 위해 위치 지시자가 생성된다.

일 실시형태에서, 방법은 가시적 마크가 공간에서 위치에 생성되도록 공간에서 실제 세계의 좌표의 위치에 위치 지시자(예를 들어, 가시광 레이저 빔과 같이 사람의 눈으로 볼 수 있는 광 빔)를 투사하는 단계(1009)를 포함한다. 예를 들어, 곤충(예를 들어, 정지된 곤충 및/또는 착지 후 곤충)이 공간에서 표면의 한 위치에서 검출되면, 광 빔을 표면의 위치로 지향시켜 표면에서 원형 형상(또는 다른 형상)의 광이 곤충의 위치를 표시한다.

이미지에서 곤충의 위치는, 예를 들어, 이미지를 획득하는 카메라의 초점면이 곤충이 위치된 공간의 표면과 평행한 경우, 투사 형상을 사용하여 실제 세계의 좌표로 변환될 수 있다(단계(1005)).

다른 실시형태에서, 이미저(imager)(예를 들어, 카메라(103)) 및 프로젝터(예를 들어, 프로젝터(108))를 포함하는 시스템은 미리 교정될 수 있다. 예를 들어, 프로젝터는 카메라에 매우 근접하게(예를 들어, 아래 도 3을 참조하여 설명된 거리(D) 참조) 위치될 수 있다. 교정하는 동안 카메라에 보이는 광선은 프로젝터로부터 공간 내의 여러 위치로 투사될 수 있으며, 이들 위치에서 카메라에 의해 이미지화될 수 있다. 이러한 방식으로 보간을 사용함으로써 이미지의 각 위치(예를 들어, 각 픽셀 또는 픽셀 그룹)를 공간의 x, y 좌표와 실시간으로 상관시켜 프로젝터를 이미지에서 검출된 위치에 기초하여 공간의 위치로 지향시킬 수 있다. 대안적으로 또는 추가적으로, 카메라에 보이는 광선을 사용하면 눈에 보이는 지시에 기초하여 실시간으로 프로젝터의 방향을 수정할 수 있다.

일 실시형태에서, 프로젝터는 여러 다른 각도로 위치 지시자를 투사할 수 있게 하는 하나 이상의 회전자를 포함한다. 이 경우에, 이미지의 각각의 위치는 사전 교정에 기초하여 회전자의 α, β 좌표와 상관될 수 있다.

일 실시예에서, 회전자는 각 스텝마다 각도 변화가 알려져 있는 스텝 모터(step motor)를 포함할 수 있다. 제한된 움직임으로 회전자의 각도를 알 수 있게 하는 하나 이상의 물리적 정지부(stop)가 사용될 수 있다. 알려진 카메라의 광학 기기의 경우 각 픽셀은 알려진 각도와 상관될 수 있다. 따라서, 각각의 각도로 회전자를 지향하는 데 필요한 스텝의 수를 계산할 수 있다. 프로젝터는 일반적으로 카메라와 같은 위치에 있지 않기 때문에 계산 시 프로젝터와 카메라 사이의 거리를 조정하는 것이 필요할 수 있다.

이미지에서 곤충의 위치를 실제 세계의 위치로 변환하기 위해 다른 방법이 사용될 수 있다.

도 2a에 개략적으로 도시된 다른 실시형태에서, 시스템(200)은 예를 들어 본 명세서에 설명된 바와 같이 곤충을 검출하고, 방의 이미지에서 볼 수 있는 위치 지시자를 생성한다. 이 실시형태에서, 프로세서(202)는 방의 이미지(223)에서 곤충(205)의 위치를 파악하고, 곤충의 위치에서 이미지(223)에 위치 지시자(225)를 생성하기 위한 신호를 생성한다. 일 실시예에서, 방의 이미지(223)는 이미지(223)에 중첩된 아이콘 또는 다른 그래픽 지시일 수 있는 위치 지시자(225)와 함께 디스플레이된다.

방의 이미지(223)의 일례가 도 2b에 도시되어 있다. 방의 일부를 포함하는 이미지(223)는 곤충의 위치가 파악된 방의 표면, 즉 천장(226)을 보여준다. 천장(226)에서 곤충의 위치를 사용자가 보는 이미지(223)에 나타내기 위해 위치 지시자(225)는 이미지(223)에 중첩된다.

일 실시형태에서, 카메라(203)에 의해 획득된 이미지는 로컬에 (예를 들어, 메모리 유닛(212)에) 저장될 수 있고/있거나 원격으로 저장될 수 있다(예를 들어, 이미지는 인터넷을 통해 또는 다른 적절한 무선 통신을 사용하여, 예를 들어, 클라우드 상의 원격 저장 매체로 전송될 수 있다). 그런 다음 이미지는 개인용 및/또는 이동 디바이스(예를 들어, 스마트폰, 태블릿 등)와 같은 디바이스(209) 또는 전용, 일반적으로 이동하는 디바이스에서 검색 및 디스플레이될 수 있다.

일 실시형태에서, 방의 이미지(223)는 실시간으로 방의 이미지이고, 위치 지시자(225)는 곤충(205)의 위치가 검출된 것과 동일한 이미지에 중첩된다.

일부 실시형태에서, 방의 이미지(223)는 특정 세부 사항(예를 들어, 개인 정보, 사적 정보 및/또는 기밀 정보 등)이 이미지에서 가려지거나 제거되도록 조작된다. 따라서, 실시간 이미지(곤충(205)이 검출된 것과 동일한 이미지)가 프라이버시 및/또는 기밀성을 손상시키지 않고 디스플레이될 수 있다. 이미지(223)는 프로세서(202) 또는 다른 프로세서(예를 들어, 디바이스(209)의 프로세서)에 의해 프라이버시 및/또는 기밀성을 보호하도록 조작될 수 있다.

다른 실시형태에서, 방의 이미지 세트는 카메라(203)에 의해 획득된다. 카메라(203)는 모든 이미지가 동일한 시야를 캡처하도록 이미지 세트를 획득하는 동안 이동되지 않고 재위치되지 않는다. 제1 이미지는 점유자가 없는 방(204)만의 이미지일 수 있는 반면, 방(204)의 제2 이미지는 곤충(205)이 검출된 (점유자가 있을 수 있는) 방의 실시간 이미지일 수 있다. 일부 실시형태에서, 점유자의 프라이버시를 보호하기 위해, 제1 이미지만이 디스플레이될 디바이스(209)로 전송되고, 제2 이미지에서 곤충(205)의 위치는 제1 이미지 상에서 지시되고 디스플레이되고, 이 이미지가 사용자에게 디스플레이되는 이미지이다.

일부 실시형태에서, 제1 이미지(일반적으로 개인 정보를 포함하지 않는 이미지)는 방의 이미지 세트로부터 사용자에 의해 선택된 이미지일 수 있다. 다른 실시형태에서, 제1 이미지는 이미지 내의 개인 정보를 수정하여 개인 정보가 가려진 방의 수정된 또는 조작된 이미지일 수 있다.

일부 실시형태에서, 제1 이미지는 사용자가 이미지화되는 공간의 레이아웃을 이해할 수 있게 하지만 반드시 공간의 실제 이미지일 필요는 없는 대표 이미지일 수 있다. 예를 들어, 대표 이미지는 일반적으로 카메라(203)에 의해 획득되는 공간의 여러 이미지의 조합으로부터 생성될 수 있다. 예를 들어, 대표 이미지는 공간의 이미지 세트로부터 여러 이미지의 평균일 수 있다. 다른 예에서, 대표 이미지는 공간의 그래픽 표현을 포함할 수 있지만 공간의 실제 이미지화된 구성 요소를 포함하지는 않을 수 있다. 개인 정보를 보호하는 데 유용한 것에 더하여, 평균 이미지(또는 기타 대표 이미지)를 제1 이미지로 사용하면, 카메라(예를 들어, 카메라(203))가 이미지들 사이에 재위치되어 이미지가 모두 정확히 동일한 시야를 갖는 것이 아닌 경우에 유용할 수 있다.

일 실시형태에서, 프로세서(202)에 의해 수행되는, 곤충을 검출하고 위치를 파악하는 방법은 공간의 이미지에서 공간에서 곤충의 위치를 시각적으로 표시하는 단계를 포함한다. 도 2c에 개략적으로 도시된 예시적인 방법은 공간의 제1 이미지를 획득하는 단계(2001); 및 제1 이미지를 저장하는 단계(2003)를 포함한다. 일반적으로, 제1 이미지는 점유자가 없고/없거나 개인 정보가 가려진 공간을 포함한다.

공간의 제2 이미지가 획득된다(2005). 제2 이미지는 제1 이미지와 거의 동일한 시야를 갖지만 제1 이미지보다 나중에 획득된다. 제2 이미지는 공간에 곤충을 포함한다. 제2 이미지에서 곤충의 위치가 결정되고(2007), 공간의 이미지에서 이 위치를 표시하기 위해 위치 지시자(예를 들어, 그래픽 마크)가 생성된다(2009).

일 실시형태에서, 위치 지시자는 곤충이 검출된 것과 동일한 이미지에서 위치를 표시한다. 다른 실시형태에서, 위치 지시자는 방의 다른 이미지에서 위치를 표시한다. 방의 다른 이미지는 이전에 캡처된 이미지, 예를 들어, 방의 제1 이미지일 수 있다.

일부 실시형태에서, 방법은 사용자로부터 입력을 수용하는 단계; 및 사용자로부터의 입력에 기초하여 제1 이미지로 사용할 이미지(즉, 위치 지시자와 함께 디스플레이할 이미지)를 결정하는 단계를 포함한다. 따라서, 사용자는 사용자가 개인 정보 또는 사적 정보로 간주하는 정보를 포함하지 않는 이미지를 선택하여 저장 매체 및/또는 디스플레이로 보낼 수 있다.

다른 또는 추가 실시형태에서, 방법은 공간의 대표 이미지(예를 들어, 평균 이미지)를 생성하는 단계; 및 대표 이미지를 제1 이미지로 사용하는 단계를 포함한다.

일부 실시형태에서, 제1 이미지는 저장 매체로부터 검색된 후 제2 이미지에서와 동일한 위치에서 제1 이미지에 중첩된 위치 지시자와 함께, 사용자, 예를 들어, 사용자의 개인용 이동 디바이스 또는 전용 디바이스에 디스플레이된다(2011).

따라서, 예를 들어, 동일한 시야(또는 거의 동일한 시야)를 갖는 공간의 모든 이미지에 격자(grid)를 사용하여, 하나의 이미지에서 곤충의 위치에 격자의 x, y 좌표가 주어질 수 있고, 이 격자의 x, y 좌표는 동일한 시야를 갖는 다른 모든 이미지에서와 동일한 x, y 좌표이다.

위에서 논의되고 도 3에 더 예시된 바와 같이, 프로젝터(308)는 실제 세계의 공간, 예를 들어, 방(104)에서 곤충의 위치로 위치 지시자를 투사하거나 지향시키도록 프로세서(302)에 의해 제어될 수 있다.

일 실시형태에서, 프로젝터(308)와 카메라(303)는 하우징(301) 내에 근접하게 배열된다. 프로젝터(308)는 레이저(316)와 같은 지시자 공급원, 예를 들어, 광원, 및 이 광원으로부터 광을 원하는 방향 또는 각도로 지향시키기 위해 렌즈 및/또는 미러 또는 다른 광학 구성 요소를 포함하는 광학 시스템과 같은 지시자 지향 디바이스(312)를 포함한다. 일 실시형태에서, 지시자 지향 디바이스(312)는 단일 축을 중심으로 선회하도록 배열된 미러 베어링 짐벌(mirror-bearing gimbal)과 같은 회전 광학 요소를 포함한다. 레이저(316)의 광이 임의의 원하는 피치(pitch), 롤(roll) 및 요우(yaw) 방향으로 지향되도록 하나의 짐벌이 다른 짐벌에 선회 축이 직교한 상태로 장착된 2개 또는 3개의 짐벌 세트가 사용될 수 있다.

카메라(303)에 의해 획득된 이미지에서 곤충(305)의 검출된 위치에 기초하여, 프로세서(302)는 지시자, 예를 들어, 레이저(316)가 곤충의 실제 세계의 위치로 지향되도록 지시자 지향 디바이스(312)를 제어한다. 예를 들어, 지시자 지향 디바이스(312)의 짐벌의 요우와 피치를 제어하면 레이저(316)와 같은 지시자를 실제 세계의 위치로 지향시킬 수 있다.

일반적으로, 카메라(303)는 지시자를 정확히 조준하기 위해 프로젝터(308)로부터 (또는 레이저 및/또는 지시자 지향 디바이스와 같은 프로젝터의 구성 요소로부터) 최소 거리(D)에 위치된다. 일례에서, 카메라(303)와 레이저(316) 또는 지시자 지향 디바이스(312)는 서로 20cm 미만으로 위치된다. 다른 예에서, 카메라(303)와 레이저(316) 또는 지시자 지향 디바이스(312)는 서로 10cm 미만으로 위치된다.

레이저(316)는 곤충이 검출된 위치에서 레이저에 의해 생성된 마크가 볼 수 있고 카메라(303)에 의해 이미지화되고 예를 들어 디바이스(209)에서 사용자에게 디스플레이될 수 있도록 가시광을 포함할 수 있다. 따라서, 일 실시형태에서, 사용자는 방의 이미지에서 레이저(316)에 의해 생성된 곤충의 위치의 시각적 지시와 함께 방의 이미지를 수신할 수 있다.

일 실시형태에서, 프로젝터(308)는 곤충(305)을 제거하거나 무력화시키도록 구성된다. 예를 들어, 레이저(316)는, 방의 표면에 있는 곤충(305)이나 정지된 곤충 또는 착지 후 곤충을 향할 때 곤충(305)을 비활성화 및/또는 죽일 수 있을 만큼 충분히 높은 전력의 UV 또는 IR 또는 다른 광일 수 있다.

일부 실시형태에서, 프로세서에 의해 제어되는, 예를 들어, 레이저(316)와 같은 지시자 공급원, 예를 들어, 광원 및 지시자 지향 디바이스(312)를 포함하는 프로젝터(308)는 해충 방제 이외의 분야에서도 사용될 수 있다. 예를 들어, 프로젝터(308)는 애니메이션과 같은 시각 효과를 생성하는 데 사용될 수 있다. 예를 들어, 프로젝터(308)는 장난감의 일부일 수 있다. 일부 실시형태에서, 지향 디바이스를 제어하는 프로세서는 이미지 센서로부터 및/또는 이미지 처리에 기초하여 입력을 수신하고, 가상 현실 게임 또는 다른 응용에서 사용될 수 있다.

다른 실시형태에서, 프로젝터(308)는 예를 들어 폐쇄된 공간 또는 다른 공간의 특정 지점으로 사용자를 안내하기 위한 지향 디바이스로서 사용될 수 있다. 일부 예로는,

- 보안 카메라에 의해 식별된 위치로 보안군을 안내하는 것;

- 아카이브, 상점 또는 창고와 같은 넓은 공간에서 원하는 위치로 사용자를 안내하는 것;

- 시공 또는 유지 보수 직원을 문제가 검출된 (가능하게는 이미지 처리를 통해 문제가 검출된) 특정 부위로 안내하는 것; 및

- 이미지 처리에 기초하여 레이저 절단 기계를 동작시키는 것을 포함한다.

본 발명의 일부 실시형태는 곤충을 제거하거나 무력화시키는 것과 같이 곤충을 처치하기 위한 디바이스를 제공한다. 이러한 디바이스는 또한 이미지에서 곤충을 확인하는 것, 예를 들어, 곤충의 존재 및/또는 유형을 확인하는 것을 보조하기 위해 추가 카메라 및/또는 조명원과 같은 장치를 포함할 수 있다. 일반적으로 이동 가능한 디바이스는 밀폐된 공간과 같은 공간에서 곤충의 위치에 접근하여 근접한 거리에서 곤충을 처치함으로써 주변 공간에 위협을 줄 수 있는 영향을 미치는 것을 제한하도록 제어된다.

이하에서 설명되는 곤충을 처치하기 위한 디바이스의 일부 예는 본 발명의 실시형태에 따른 곤충의 위치를 파악하기 위한 시스템에 의해 제어되는 디바이스이지만, 일부 실시형태에서 곤충을 처치하기 위한 디바이스는 다른 시스템에 의해 제어될 수 있다.

전술한 바와 같은 시스템은 일부 실시형태에서 본 발명의 실시형태에 따라 이미지에서 검출된 곤충을 제거 및/또는 처치하기 위해 본 명세서에 설명된 시스템과 함께 사용되는 보조 디바이스를 포함할 수 있다.

도 4a 및 도 4b에 개략적으로 도시된 예시적인 실시형태에서, 방에서 곤충의 위치를 검출하기 위한 시스템은 공간(예를 들어, 집안의 방, 사무실 공간 및 기타 공공 또는 사적 실내 공간)의 이미지를 획득하는 데 사용되는 카메라(403)를 둘러싸는 하우징(401)을 포함한다. 카메라(403)는 예를 들어 전술한 바와 같이 프로세서(402) 및 메모리(412)와 통신한다. 시스템은 프로세서(402)와 통신하는 보조 디바이스를 더 포함한다.

도 4a에서, 보조 디바이스는 도 5에 추가로 설명된 바와 같이 곤충을 제거하거나, 또는 곤충을 제거, 포획 또는 분석하는 것과 같은 다른 목적을 위해 사용될 수 있는 독립적으로 이동하는 디바이스(415)이다.

도 4a에 설명된 시스템은 또한 독립적으로 이동하는 디바이스(415)에 전력을 공급하고/하거나 이동 디바이스를 적재하기 위한 도킹 스테이션(docking station) 또는 다른 터미널과 같은 포트(413)를 일반적으로 하우징(401) 상에 포함할 수 있다.

일 실시형태에서, 독립적으로 이동하는 디바이스(415)는 드론과 같은 비행 디바이스이다.

독립적으로 이동하는 디바이스(415)는 프로세서(402)에 의해 원격으로 제어될 수 있다. 예를 들어, 독립적으로 이동하는 디바이스(415)는 프로세서(402)와 (예를 들어, 블루투스, 무선 등을 통해) 무선 통신될 수 있다.

도 4a에 개략적으로 도시된 시스템은 공간의 이미지를 획득하기 위한 카메라(403), 및 카메라(403)와는 별개로 이동하는 이동 디바이스(415)를 포함한다. 프로세서(402)는 카메라(403)에 의해 획득된 공간 이미지 중 적어도 하나에서 곤충을 검출하고, 공간 이미지를 분석한 것에 기초하여 디바이스(415)를 제어하여 곤충 부근으로 이동시킬 수 있다.

일 실시형태에서, 프로세서(402)는 단일 프레임 내에 곤충 및 이동 디바이스(415)를 갖는 공간 이미지를 분석한 것에 기초하여 이동 디바이스(415)를 제어하여 곤충 부근으로 이동시킨다. 프로세서(402)는 이동 디바이스(415)를 제어하여 디바이스를 카메라(403)로부터 곤충 방향으로 직접 경로로 이동시킬 수 있으며, 곤충 방향은 프레임 내 곤충의 이미지의 위치로부터 추정될 수 있다. 곤충과 이동 디바이스(415)가 동일한 프레임 내에 있으면, 프로세서(402)는 이동 디바이스(415)의 움직임을 추가로 제어하여, 카메라로부터 곤충을 향해 이동 디바이스를 안내하며 이동 디바이스를 이미지 내 곤충 부근에 머물게 한다. 예를 들어, 프로세서(402)는 프레임 내 곤충으로부터 이동 디바이스(415)까지의 각도 거리를 주기적으로 결정할 수 있으며, 이 거리는 프레임 내 두 물체 사이의 거리(픽셀 단위)를 사용하여 추정될 수 있다. 결정된 각도 거리가 미리 결정된 값을 초과하는 경우, 프로세서(402)는 이동 디바이스(415)를 곤충으로부터 미리 결정된 각도 거리 내로 가져오기 위해 이동 디바이스(415)를 이동시키는 데 필요한 거리 및 방향을 계산할 수 있으며, 이동 디바이스(415)가 계산된 방향으로 계산된 거리를 이동하게 할 수 있다.

이 처리는 이동 디바이스(415)가 곤충으로부터 미리 결정된 거리, 예를 들어, 제거 거리 내에 있을 때까지 반복될 수 있다. 예를 들어, 제거 거리는 디바이스가 곤충을 효과적으로 처치할 수 있는 거리, 예를 들어, 살충제가 곤충에 효과적으로 살포될 수 있는 거리일 수 있다. 미리 결정된 거리(예를 들어, 제거 거리)에 도달하면, 디바이스(415) 및/또는 부재(426)(후술됨)는 예를 들어 화학적, 기계적 또는 전기적 방법을 사용하여 곤충을 제거하도록 제어될 수 있다.

따라서, 프로세서(402)는 카메라(403)로부터 곤충 방향을 추정하고, 디바이스를 제어하여 디바이스를 대략 이 방향으로 이동시킨다.

일 실시형태에서, 제거 거리에 도달했는지 여부를 결정하는 것은 곤충의 이미지를 획득하기 위해 이동 디바이스(415) 상의 추가 카메라를 이용함으로써 수행될 수 있다. 곤충의 이미지는 (예를 들어, 이미지의 크기를 원하는 거리에서 이 유형의 곤충의 예상된 크기와 비교함으로써) 분석될 수 있다. 다른 실시형태에서, 프로세서(예를 들어, 이동 디바이스(415)에 부착될 수 있는 프로세서(402) 또는 다른 프로세서)는 (이동 디바이스(415)에 부착되거나 또는 시스템 내의 다른 위치에 부착될 수 있는) 거리계 또는 유사한 시스템과 통신하며 이 거리계로부터의 입력에 기초하여 제거 거리에 도달했는지 여부를 결정할 수 있다. 또 다른 실시형태에서, 제거 거리에 도달했는지 여부를 결정하는 것은 이동 디바이스(415)가 (예를 들어, 레이저 포인터 또는 기타 프로젝터를 사용하여) 알려진 방향으로 광을 방출하여 광점(point of light)을 획득하고 카메라(403)로부터 이미지에서 광점(예를 들어, 레이저 포인터에 의해 생성된 벽이나 천장 상의 지점)의 위치를 분석함으로써 수행될 수 있다. 카메라(403)에 대한 이동 디바이스(415)의 위치는 (본 명세서에 설명된 바와 같이) 알려진다. 따라서 이동 디바이스(415)로부터 광점의 위치까지의 각도가 알려진다. 카메라(403)로부터 광점의 위치까지의 각도는 이미지에서 이 지점의 픽셀(또는 픽셀 그룹)을 검출함으로써 계산될 수 있다. 광점까지의 거리는 삼각 측량될 수 있으며, 곤충은 종종 광점과 동일한 표면에 있기 때문에 이 삼각 측량으로부터 이동 디바이스(415)에서 곤충까지의 거리를 추정할 수 있다.

일부 실시형태에서, 이동 디바이스(415)는 에너지 형태의 빔을 곤충 부근으로 투사하고, 광점을 생성하고/하거나 곤충을 처치하기 위해 프로젝터를 포함할 수 있다. 추가적으로, 이동 디바이스(415)는 추가 카메라(예를 들어, 도 5의 카메라(503))를 포함할 수 있다. 곤충으로부터 이동 디바이스(415)까지의 방향 및/또는 거리는 이동 디바이스(415)의 프로젝터 및/또는 추가 카메라를 사용하여 (예를 들어, 전술한 바와 같이) 계산될 수 있다.

일단 미리 결정된 거리 내에 있으면, 이동 디바이스(415)는 아래에 설명된 바와 같이 디바이스로부터 곤충 부근까지 연장 가능한 부재를 사용하여, 예를 들어, 곤충을 처치할 수 있다.

도 4b에서, 보조 디바이스는 부착점(411)에서 하우징(401)에 부착되고, 부착점(411)을 통해 하우징(401) 내 전력원 및/또는 저장소와 통신할 수 있다. 보조 디바이스는 텔레스코픽 아암(telescopic arm)과 같이 이동 가능하고 일반적으로 연장 가능한 부재(426)와 같은 처치 도구를 포함할 수 있다. 부재(426)는 프로세서(402)에 의해 제어되며, 하우징(401)으로부터 연장되고 곤충의 위치로 이동하여 이 위치에서 곤충을 처치할 수 있고, 예를 들어, 후술된 바와 같이 곤충을 포획하거나 죽일 수 있다.

일부 실시형태에서 부재(426)는, 프로세서(402)로부터의 신호에 따라 곤충의 위치에서 곤충과 상호 작용하기 위해 일반적으로 접혀지거나 감겨진 형태이고 연장 및 이동될 수 있는, 예를 들어, 형상 기억 물질로 만들어진 텔레스코픽 및/또는 변형 가능한 아암 또는 스프링이다.

곤충을 처치하는 것은 기계적 및/또는 화학적 방법을 사용하는 것을 포함할 수 있다. 일부 경우에는 곤충을 처치하는 데 기계적 및 화학적 수단 또는 방법이 모두 사용된다.

일부 실시형태에서, 부재(426)는 곤충을 처치하는 데 사용되는 기기 또는 제제를 위한 도관 역할을 한다. 예를 들어, 부재(426)는 화학 물질종의 효과를 곤충 자체로 제한하고 주변 공간에는 영향을 미치지 않게 할 수 있는 비교적 가까운 거리에서 곤충으로 살포 또는 떨어뜨릴 수 있는 화학 물질종(예를 들어, 기체, 액체 또는 분말 형태)을 포함하는 챔버를 포함하거나 챔버와 연통할 수 있다. 일례에서, 챔버는 살충제를 포함할 수 있다. 다른 예에서, 챔버는 식물성 방충제인 시트로넬라 오일(citronella oil)과 같은 방충제를 포함할 수 있다.

일부 실시형태에서, 하우징(401)은 화학 물질종의 저장소를 포함한다. 다른 실시형태에서 하우징(401)은 부재(426)에 적재될 수 있는 화학 물질종의 캡슐(또는 다른 용기)을 저장한다.

일 실시형태에서, 부재(426)는 부재(426)의 원위 단부(427)에 부착된 노즐을 포함할 수 있다. 노즐을 구비하는 부재(426)는 곤충의 위치로 지향될 수 있고, (예를 들어, 위에서 설명한 바와 같이) 화학 물질종의 펄스 또는 살포는 노즐을 통해 가까운 거리에서 곤충을 향할 수 있다.

일 실시형태에서, 부재(426)는 곤충을 끌어들이고 포획하기 (및/또는 죽이기) 위해 흡입 챔버를 포함하거나 흡입 챔버와 연통할 수 있다.

다른 실시형태에서, 부재(426)는 곤충을 감전시키기 위한 감전 요소를 포함할 수 있다. 다른 실시형태에서, 부재(426)는 곤충을 포획하는 (및/또는 죽이는) 접착 요소를 포함할 수 있다.

다른 전기적 및/또는 기계적 및/또는 화학적 용액이 부재(426)를 통해 사용될 수 있다.

부재(426)는 사람 또는 다른 포식자 특성을 갖지 않아서, 일반적으로 (예를 들어, 모기와 같은) 곤충이 부재를 사람 또는 포식자로 식별하지 않아서, 곤충에 겁을 주지 않고 곤충에 접근하여 곤충의 근접한 거리까지 갈 수 있다.

일부 실시형태에서, 보조 디바이스는, 예를 들어, 곤충에게 해롭거나 치명적인 임의의 형태의 에너지 빔을 곤충의 위치에 투사할 수 있는 프로젝터를 (예를 들어, 프로젝터(108)에 추가하여) 포함할 수 있다. 일부 실시형태에서 단일 프로젝터(예를 들어, 프로젝터(108))는 곤충의 위치를 지시하고 빔을 투사하여 곤충을 처치(예를 들어, 무력화)하는 데 사용될 수 있다. 따라서, 프로젝터는 프로세서(102)로부터 생성된 신호에 의해 제어되며 광, 열 등과 같은 에너지 형태의 빔을 곤충의 위치에 투사하여 곤충을 처치할 수 있다.

일부 실시형태에서, 컨볼루션 신경망, 또는 다른 컴퓨터 비전 소프트웨어 및 알고리즘과 같은 신경망은 위치의 이미지 또는 복수의 이미지로부터 곤충의 세부 사항을 검출하고 식별하는 데 사용된다. 예를 들어, 형상 및/또는 움직임 및/또는 색상 검출 알고리즘을 사용하면 곤충의 형상 및/또는 색상 및/또는 움직임 패턴 및/또는 기타 세부 사항을 결정할 수 있다. 움직임 패턴은 예를 들어 움직임 방향, 움직임 크기, 움직임 속도 등을 포함할 수 있다. 곤충의 이러한 세부 사항을 사용하면 이미지화되는 곤충의 유형을 결정하고/하거나, 다른 곤충 간을 구별하고/하거나, 곤충과 곤충이 아닌 물체, 예를 들어, 이미지화될 수 있는 먼지 입자 또는 기타 잡음 간을 구별할 수 있다.

일부 실시형태에서, 프로세서(102)는 곤충의 유형을 결정한 것에 기초하여 보조 디바이스를 제어한다. 예를 들어, 곤충이 특정 유형의 곤충인 경우에만 곤충을 처치하도록 프로젝터를 제어할 수 있다.

다른 실시형태에서, 보조 디바이스는 예를 들어 곤충의 위치에서 방의 이미지를 향상시키는 도구를 포함할 수 있다. 예를 들어, 시스템(예를 들어, 100)은 예를 들어, 곤충의 위치를 향상시켜, 위치의 확대된 이미지에 기초하여 위치에서 곤충의 존재 및/또는 유형을 확인할 수 있는 광학 기기를 갖는 카메라를 (예를 들어, 카메라(103)에 추가하여) 포함할 수 있다.

일 실시형태에서, 긴 초점 렌즈(예를 들어, 망원 렌즈)를 사용하면 곤충의 위치를 확대하여 곤충의 형상 또는 기타 세부 사항을 보다 자세히 보고 초점을 맞출 수 있다.

일 실시형태에서, 카메라(103)가 의심되는 곤충의 위치를 검출하면, 예를 들어 곤충의 존재 및/또는 유형을 확인하기 위해 추가 카메라를 의심되는 곤충의 위치로 지향시키거나 이동시킬 수 있다. 일 실시형태에서, 긴 초점 렌즈(또는 다른 확대 광학 기기)를 가진 카메라는 지시자 지향 디바이스(312), 예를 들어, 짐벌에 부착되거나 위치되어, 확대 광학 기기를 지시자 지향 디바이스와 평행하게 이동시켜 광학 기기를 의심되는 곤충의 위치로 자동으로 지향시킬 수 있다.

일 실시형태에서, 차등 분석은 의심되는 곤충을 확인하고/하거나 곤충을 검출하기 위해 사용될 수 있다. 예를 들어, 의심되는 곤충을 검출하기 위해 영역을 저해상도로 스캔할 수 있고, 그런 다음, 의심되는 곤충의 영역을 예를 들어 곤충의 존재 및/또는 유형을 확인하기 위해 고해상도로 분석할 수 있다. 이미지를 차등 분석하면 처리량을 줄일 수 있어서 비용 효율적인 해결책을 제공할 수 있다.

따라서, 일 실시형태에서, 카메라(103)는 방의 넓은 FOV 이미지를 획득할 수 있고, 확대 기능이 있는 추가 카메라와 같은 보조 디바이스는 방의 일부에 대한 상세한 이미지를 획득할 수 있다. 프로세서(102)는 방의 넓은 FOV 이미지에서 의심되는 곤충의 위치를 검출하고, (예를 들어, 짐벌의 움직임을 제어하여) 추가 카메라를 의심되는 곤충의 위치로 지향시켜, 방의 일부(의심되는 곤충의 위치)의 상세한 이미지에서 곤충을 확인(예를 들어, 곤충의 존재 및/또는 유형을 확인)할 수 있다.

일 실시형태에서, 시스템(100)과 같은 곤충을 처치하기 위한 시스템은 의심되는 곤충의 위치에 대한 고해상도 이미지화를 허용하고 곤충을 확인하는 것을 돕기 위해 보조 조명원을 포함할 수 있다. 선택적으로, 또한 짐벌에 부착되어 지시자 지향 디바이스와 평행하게 이동될 수 있는 조명원은 예를 들어 더 밝은 이미지를 얻기 위해 사용될 수 있다. 조명원은 회절 한계를 줄이고 의심되는 곤충의 고해상도 이미지화를 허용하기 위해 상대적으로 짧은 파장(예를 들어, 청색광)을 가질 수 있다. 일부 실시형태에서, 조명원 및 위치 지시자는 동일한 요소이다.

의심되는 곤충이 확인되면, 프로세서(102)는 프로젝터(108)를 제어하여 확인된 곤충의 위치를 지시할 수 있고, 다른 보조 디바이스를 제어하여 확인된 곤충을 제거하거나 처치할 수 있다.

추가 카메라 및/또는 추가 조명원과 같은 보조 디바이스를 사용하면 광학 기기 및/또는 조명을 통해 향상된 이미지를 얻을 수 있고, 전력을 소비하는 컴퓨터 비전 알고리즘에 덜 의존할 수 있다. 따라서, 덜 강력한 CPU를 카메라(103)와 함께 사용하여 비용 효율적인 해결책을 제공할 수 있다.

일부 실시형태에서는 단일 카메라(예를 들어, 카메라(103))를 사용해서 곤충 또는 의심되는 곤충의 위치를 검출하고 검출된 위치에서 이미지를 확대하거나 다른 방식으로 향상시키기 위한 이미지를 제공할 수 있다. 예를 들어, 하나의 광학 요소는 넓은 영역(예를 들어, 방)을 이미지화하는 데 사용될 수 있고, 다른 광학 요소는 큰 영역 내의 작은 영역(예를 들어, 방 내의 검출된 위치)을 이미지화하는 데 사용될 수 있다. 대안적으로 또는 추가적으로, 예를 들어 곤충을 식별하는 것을 돕기 위해 차동 분석을 사용하여 큰 영역의 이미지 내의 영역을 국부적으로 향상시킬 수 있다. 곤충의 위치에서 방의 이미지를 향상시키는 도구는 프로세서(102)에 의해 제어될 수 있다.

도 4c에 개략적으로 예시된 일 실시형태에서, 곤충을 제거, 무력화 또는 처치하기 위해 프로세서(402)에 의해 수행될 수 있는 일부 단계를 포함하는 방법은 공간의 이미지를 획득하는 단계(4001); 및 이미지에서 곤충의 위치를 검출하는 단계(4003)를 포함한다. 이미지에서 곤충의 위치는 실제 세계의 좌표로 변환된다(4005). 그런 다음 프로세서(402)(또는 다른 프로세서)는 실제 세계의 좌표에 기초하여 보조 디바이스(예를 들어, 독립적으로 이동하는 디바이스(415) 또는 부재(426))를 제어한다. 예를 들어, 보조 디바이스는 실제 세계의 좌표로 지향될 수 있다(4007).

일부 실시형태에서, 보조 디바이스는 보조 디바이스의 작용에 의해 해를 입을 수 있는 다른 민감한 물체가 없다고 결정되는 경우에만 곤충을 제거하거나 다른 방식으로 처치하는 데 사용된다. 예를 들어, 민감한 물체는 생물(예를 들어, 사람, 애완동물 등)을 포함하거나 및/또는 종이나 천과 같은 기타 물체 또는 물질, 또는 보조 디바이스의 작용에 의해 해를 입을 수 있는 물질을 포함하는 물체를 포함할 수 있다.

따라서, 곤충을 제거하는 방법은 곤충의 위치 부근에 생물(또는 보조 디바이스의 작용으로 인해 해를 입을 수 있는 물체 또는 물질)이 있는지 결정하는 단계; 및 곤충 부근에서 생물(또는 물체 또는 물질)이 검출되지 않는 경우에만 보조 디바이스를 단계(4005)에서 검출된 실제 세계의 좌표로 지향시키는 단계를 포함할 수 있다. 곤충의 위치 부근에 생물이 존재한다는 것은 예를 들어 공간에서 움직임이 있는 것을 결정함으로써 결정될 수 있다. 미리 정해진 크기를 넘는 움직임은 공간에서 사람이나 다른 생물이 있다는 것을 나타낼 수 있다. 일 실시형태에서 움직임 또는 움직임의 크기는 공간의 이미지에서 시간에 따른 변화를 검출함으로써 결정된다.

다른 실시형태에서, 공간에 사람 또는 다른 생물(또는 특정 물체 또는 물질)이 존재한다는 것은 컴퓨터 비전 기술을 사용하여, 예를 들어, 이미지(예를 들어, 카메라(103) 또는 추가 카메라로 얻어진 이미지)로부터 사람 또는 물체 또는 물질의 형상, 색상 또는 기타 속성을 검출함으로써 결정될 수 있다.

따라서, 일부 실시형태에서, 방에서 곤충을 제거하기 위한 시스템은 방의 이미지를 획득하기 위한 카메라, 및 방의 이미지에서 곤충의 위치를 검출하기 위한 프로세서를 포함한다. 예를 들어, 프로세서는 방의 이미지로부터 착지 후 곤충 및/또는 공간의 표면에 있는 곤충을 검출한다. 프로세서는 이미지에서 곤충(예를 들어, 착지 후 곤충)의 위치를 실제 세계의 좌표로 변환하고, 실제 세계의 좌표에 기초하여 보조 디바이스를 제어하여 곤충을 제거하거나 처치할 수 있다.

대안적으로 또는 추가적으로, 프로세서는 곤충 부근에 사람(또는 다른 생물) 또는 특정 민감한 물체 또는 물질이 있는지 여부를 결정할 수 있으며, 이 결정에 기초하여 보조 디바이스를 제어하여 곤충을 제거하거나 처치할 수 있다.

대안적으로 또는 추가적으로, 프로세서는 이 위치에서 곤충의 존재 및/또는 유형을 확인할 수 있으며, 이 위치에서 곤충의 존재 및/또는 유형을 확인한 것에 기초하여 보조 디바이스를 제어하여 곤충을 제거하거나 처치할 수 있다. 일례에서, 프로세서는 카메라 또는 추가 카메라를 제어하여 곤충의 확대된 또는 보다 상세한 이미지를 획득함으로써 이 위치에서 곤충의 존재 및/또는 유형을 확인할 수 있다.

무선 통신을 통해 이루어질 수 있는 보조 디바이스의 제어는 예를 들어 보조 디바이스의 추진 기구의 제어 및/또는 보조 디바이스의 처치 도구의 제어일 수 있다.

독립적으로 이동하는 보조 디바이스의 일례가 도 5에 개략적으로 도시되어 있다.

일 실시형태에서, 디바이스(515)는, 도움 없이 디바이스를 이동시키는 추진 기구(525) 및 곤충 처치 도구(526)를 포함하고, 또는 대안적으로 또는 추가적으로, 디바이스(515)에 처치 도구를 해제 가능하게 수용하고 고정하도록 구성된 부착점을 포함하는 비행 디바이스(예를 들어, 드론)이다.

처치 도구(526)는 곤충을 처치하기 위한 기계적 및/또는 화학적 및/또는 전기적 방법을 적용할 수 있다. 일부 실시형태에서, 처치 도구(526)는 곤충을 처치하기 위한 기계적 및 화학적 수단 또는 방법을 모두 적용한다.

일 실시형태에서 처치 도구(526)는 곤충을 끌어들이고 포획하기 (및/또는 죽이기) 위한 흡입 챔버를 포함할 수 있다. 다른 실시형태에서, 처치 도구(526)는 곤충을 감전시키는 감전 요소를 포함할 수 있다. 다른 실시형태에서, 처치 도구(526)는 곤충을 포획하는 (및/또는 죽이는) 접착 요소를 포함할 수 있다. 다른 전기적 및/또는 기계적 해결책이 처치 도구(526)에 의해 사용될 수 있다.

일 실시형태에서, 처치 도구(526)는, 예를 들어, 디바이스(515)가 이동 중일 때 접히거나 감겨질 수 있고, 프로세서(402)로부터의 신호에 따라 곤충과 상호 작용하도록 연장될 수 있는 형상 기억 물질로 만들어진 텔레스코픽 아암 또는 변형 가능한 아암 또는 스프링을 포함할 수 있다.

다른 실시형태에서, 처치 도구(526)는 비교적 가까운 거리에서 곤충에 살포되거나 떨어질 수 있는 (예를 들어, 전술한 바와 같이) 화학 물질종을 포함하는 챔버를 포함할 수 있으며, 이에 의해 화학 물질종의 효과를 곤충 자체로 제한하고 주변 공간에 영향을 미치지 않게 할 수 있다.

일부 실시형태에서, 포트(413)는, 디바이스(515)가 포트에 도킹하고, 처치 도구(526)를 화학 물질종으로 재충전 및 비축할 수 있도록 화학 물질종의 저장소를 포함한다. 다른 실시형태에서 포트(413)는 화학 물질종의 캡슐(또는 다른 용기)을 저장한다. 캡슐은 디바이스(515)가 포트(413)에 도킹하는 동안 처치 도구(526)에 적재될 수 있다. 캡슐은 고갈되기 전에 곤충을 처치하는 여러 이벤트를 지속할 수 있으며, 고갈되면 포트(413)에서 교체될 수 있다.

일부 실시형태에서, 디바이스(515)는 상이한 처치 도구의 조합을 포함할 수 있고, 곤충을 처치하기 위한 (예를 들어, 화학적 및/또는 기계적) 방법의 조합을 사용할 수 있다.

디바이스(515)는 사람 또는 다른 포식자 특성을 갖지 않아서, 일반적으로 (예를 들어, 모기와 같은) 곤충이 디바이스를 사람 또는 포식자로 식별하지 않아서, 곤충에 겁을 주지 않고 곤충에 접근하여 곤충의 가까운 거리까지 갈 수 있다.

도 5의 예에서, 디바이스(515)는 공중 드론이고, 추진 기구(525)는 공중 비행에 적합한 프로펠러 기구를 포함한다. 서로 다른 유형의 독립적으로 이동하는 디바이스는 서로 다른 유형의 추진 기구 또는 다수의 유형의 추진 기구를 가질 수 있다. 예를 들어, 지상 드론은 모터, 변속기 및 바퀴를 포함하는 추진 기구를 가질 수 있다.

디바이스(515)는 일반적으로 프로세서(예를 들어, 프로세서(402))와 통신하는 제어 회로(도시되지 않음)를 포함하고, 곤충의 위치에 관한 입력을 수신하도록 구성된다.

일부 실시형태에서, 디바이스(515)(및/또는 부재(426))는 이미지 센서(예를 들어, 카메라(503)) 및/또는 거리 센서(예를 들어, 거리계)와 같은 하나 이상의 센서를 더 포함할 수 있다.

일 실시형태에서 디바이스(515)(및/또는 부재(426))는 정지된 곤충 또는 착지 후 곤충(예를 들어, 공간의 표면에 있는 곤충)을 처치하도록 제어된다. 디바이스(515) 또는 부재(426)는 정지된 곤충의 검출된 위치에 기초하여 프로세서(402)로부터 방향 정보(예를 들어, 벡터)를 수신하고, 수신된 정보에 따라 추진된다. 디바이스(515)(또는 부재(426))의 거리 센서는 곤충으로부터 (및/또는 표면으로부터) 디바이스(515)(또는 부재(426))까지의 거리를 검출하고, 곤충으로부터 미리 결정된 거리에서 추진을 중지할 수 있다.

일 실시형태에서, 디바이스(515)(및/또는 부재(426))는 프로세서(402)에 의해 수신 및 분석될 수 있는 신호를 방출하기 위한 신호 공급원(예를 들어, 광원 또는 오디오 송신기)을 포함할 수 있으며, 곤충으로부터 (및/또는 표면으로부터) 디바이스(515) 또는 부재(426)까지의 거리를 추정하거나 계산하는데 사용될 수 있다. 예를 들어, 디바이스(515)는 곤충 부근에 가시적 마크를 투사하는 프로젝터를 포함할 수 있다. 프로세서(402)는 계산된 거리에 기초하여 (예를 들어, 처치 도구(526)를 제어하기 위해) 디바이스(515) 또는 부재(426)를 제어할 수 있다.

일부 실시형태에서 하우징(401)에 부착되거나 하우징(401) 내에 부착된 전용 이미지 센서를 사용하여 곤충(및 디바이스(515)의 프로젝터로부터 투사되었을 수 있는 가시적 마크)의 이미지를 캡처할 수 있으며, 이는 디바이스(515) 또는 부재(426)를 곤충으로 향하게 하는 데 사용될 수 있다. 시각적 마크는 카메라(403) 또는 전용 카메라 및 디바이스(515) 또는 부재(426)에 의해 획득된 이미지로부터 검출될 수 있고, 따라서 이미지화된 시각적 마크의 위치로 향할 수 있다.

본 발명의 실시형태에 따라 이미지 내 곤충의 위치에 기초하여 프로세서에 의해 제어되는 디바이스 및/또는 연장 가능한 부재를 사용하면 날아다니는 곤충과 같은 해충을 없애거나 제거하기 위한 정확하고 환경 친화적인 조치를 할 수 있다.

전술한 바와 같이, 본 발명의 실시형태는 이미지 센서에 대한 전자 잡음 및/또는 주위 잡음, 예를 들어, 공간 내 먼지 입자, 주위 조명의 변화, 반사 등과 같은 잡음과 곤충 간을 구별할 수 있다. 추가적으로, 특정 곤충 유형(예를 들어, 모기)은 다른 곤충 유형(예를 들어, 파리)과 구별될 수 있다.

일 실시형태에서, 공간의 이미지로부터 표적 곤충과 비-표적 곤충 물체 간을 구별하는 방법이 제공된다. 예를 들어, 표적 곤충은 곤충이 아닌 물체(예를 들어, 잡음 또는 다른 물체)와 다른 곤충이고/이거나, 다른 유형의 곤충과 다른 특정 유형의 곤충일 수 있다.

시스템(100)과 같은 시스템에 의해 수행될 수 있는 방법은 이미지 내 물체가 표적 곤충인지 여부를 결정하기 위해 다수의 이미지를 사용하는 단계를 포함한다.

일 실시형태에서, 프로세서(102)는 공간의 2개의 (또는 더 많은 수의) 이미지를 비교함으로써 물체를 검출할 수 있고, 공간의 이미지에서 물체의 특성에 기초하여 물체가 표적 곤충인지를 결정할 수 있다. 일부 실시형태에서, 물체가 미리 결정된 기준을 충족하면 물체가 검출된다.

일 실시형태에서, 카메라(103)는 이미지("현재 이미지"라고도 함)를 캡처할 수 있고, 이 이미지로부터 곤충이 공간에 존재하는지 여부를 결정하는 것이 바람직하다. 프로세서(102)는 공간의 다른 제2 이미지로부터 공간의 현재 이미지를 감산함으로써 감산 이미지를 획득할 수 있다. 감산 이미지는 이미지들 사이에서 변경되지 않은 (예를 들어, 이동하지 않았거나 위치가 변경되지 않은) 물체는 일반적으로 감산 이미지에 나타나지 않기 때문에 공간의 변화를 드러낸다.

프로세서(102)는 감산 이미지에서 미리 결정된 기준을 갖는 물체를 검출하고, 이 물체가 표적 곤충인지를 결정할 수 있다.

전술한 바와 같이, 물체가 표적 곤충이라는 결정에 기초하여 디바이스가 제어될 수 있다.

본 발명의 일 실시형태에서, 미리 결정된 기준을 충족하는 물체를 검출하기 위해 공간의 2개 이상의 이미지가 비교된다. 예를 들어, 현재 이미지는 이전에 캡처된 제2 이미지와 비교되어, 현재 이미지에는 있지만 이전 이미지에는 없는 물체를 검출할 수 있다. 일부 실시형태에서, 제2 이미지는 공간의 복수의 이미지의 표현을 포함할 수 있다. 예를 들어, 제2 이미지는 공간의 다수의 이미지의 평균(또는 다른 적절한 통계적 표현)일 수 있다. 다른 예에서, 제2 이미지는, 공간의 이미지에서 일정하고 일시적인 요소를 이해하고, 일정한 요소(예를 들어, 벽과 가구, 그러나, 사람과 애완동물은 제외)의 이미지를 구성하여 시간에 따라 캡처된 공간의 이미지를 사용하여 구성된 배경 이미지를 포함할 수 있다.

이 실시형태의 일례가 도 6에 개략적으로 도시되어 있다. 공간의 2개의 이미지가 획득된다(단계(602)). 일례에서, 이미지는 감산에 의해 비교되고, 예를 들어, 현재 이미지는 감산 이미지를 획득하기 위해 공간의 다른 이미지로부터 감산된다(단계(604)).

단계(606)에서, 미리 결정된 기준을 충족하는 물체가 감산 이미지에서 검출된다. 미리 결정된 기준은 물체의 하나 이상의 특성과 관련될 수 있다. 예를 들어, 물체의 특성은 감산 이미지에서 크기, 형상, 위치, 감산 이미지에서 물체의 색상, 투명도 및 다른 속성을 포함할 수 있다. 따라서, 미리 결정된 기준은 예를 들어, 크기 범위(예를 들어, 픽셀 단위), 특정 형상(예를 들어, 감산 이미지에 적용된 형상 검출 알고리즘에 의해 결정됨), 감산 이미지 내 물체의 특정 위치 또는 위치 범위, 특정 색상(예를 들어, 감산 이미지에 색상 검출 알고리즘을 적용하여 결정됨) 등일 수 있다.

프로세서(102)는 미리 결정된 기준을 충족하는 물체가 표적 곤충인지 여부를 결정한다. 예를 들어, 물체의 하나 이상의 특성(예를 들어, 움직임 패턴, 형상, 색상 또는 투명도)이 결정될 수 있고, 결정된 특성에 기초하여 물체가 표적 곤충인 것으로 결정될 수 있다. 예를 들어, 모기는 일부 다른 일반적인 곤충보다 더 투명하고 더 밝은 색상이고, 따라서 일례에서, 표적 곤충이 모기인 경우, 물체와 연관된 픽셀의 색상이 모기의 전형적인 색상인 경우, 물체는 모기인 것으로 결정된다. 다른 실시형태에서, 물체가 특정 레벨의 투명도를 가지고 있거나 미리 결정된 패턴의 투명 영역을 가지고 있다고 결정되면, 물체는 모기인 것으로 결정될 수 있다. 물체의 투명도는 예를 들어 공간의 배경의 알려진 색상에 기초하여 결정될 수 있다. 물체가 배경 색상을 갖는 것으로 결정된 경우(예를 들어, 배경색이 표적 곤충의 전형적인 색상이 아닌 경우), 물체는 부분적으로 투명한 것으로 결정될 수 있다. 다른 예에서, 서로 다른 곤충은 서로 다른 형상을 가져서, 감산 이미지의 형상에 기초하여 표적 곤충이 결정될 수 있다.

일부 실시형태에서, 물체는 복수의 이미지로부터 검출될 수 있는 반면, 물체가 미리 결정된 기준을 충족하는지 여부를 검출하고, 물체가 표적 곤충인지를 결정하는 것은 단일 이미지로부터 수행된다. 일 실시형태에서, 물체의 동일한 특성은, 제1 이미지에서 미리 결정된 기준을 충족하는 물체를 검출하고, 물체가 동일한 이미지에서 또는 제2 이미지에서 표적 곤충인지 여부를 결정하는 데 사용될 수 있다. 다른 실시형태에서, 상이한 특성은, 제1 이미지에서 미리 결정된 기준을 충족하는 물체를 검출하고, 물체가 동일한 이미지 또는 제2 이미지에서 표적 곤충인지 여부를 결정하는 데 사용된다.

예를 들어, 감산 이미지는 여러 개의 물체를 포함할 수 있지만 미리 결정된 크기 범위 내에 있는 것은 단 2개만 있을 수 있다. 따라서, 감산 이미지에서 2개의 물체가 검출된다. 2개의 물체에 대해 크기 이외의 하나 이상의 특성(들)이 결정될 수 있고, 예를 들어, 2개의 물체의 색상 및/또는 투명도 및/또는 움직임 패턴이 결정될 수 있고, 물체는 색상 및/또는 투명도 및/또는 움직임 패턴에 기초하여 표적 곤충인 것으로 또는 표적 곤충이 아닌 것으로 결정될 수 있다.

일부 실시형태에서, 물체의 고해상도 이미지가 얻어질 수 있고, 물체는 고해상도 이미지에 기초하여 표적 곤충인 것으로 결정될 수 있다. 예를 들어, 물체는 가능하게는 크기 또는 다른 특성에 기초하여 제1 이미지, 예를 들어, 감산 이미지에서 검출될 수 있고, 그런 다음 제1 이미지보다 해상도가 더 높은 제2 이미지로부터 표적 곤충인 것으로 (또는 표적 곤충이 아닌 것으로) 결정될 수 있다.

일부 실시형태에서, 색상 및/또는 움직임과 같은 특성은 공간적으로 상관될 수 있다. 예를 들어, 서로 가까이 있는 다수의 픽셀이 표적 곤충을 나타내는 속성을 갖는 경우, 이들 픽셀에는, 표적 곤충의 존재를 결정할 때, 동일한 특성을 갖지만 가까이 그룹화되지 않은 다수의 픽셀보다 더 높은 가중치가 부여될 수 있다. 다른 예에서, 이미지의 여러 위치에서 검출된 동일한 움직임 패턴 및/또는 조명의 변화와 같은 여러 상관된 특성 또는 픽셀 속성은 더 큰 물체의 움직임 및/또는 반사를 가리킬 수 있고, 표적 곤충의 존재를 결정할 때 단일 특성 및 비-상관된 특성보다 더 낮은 가중치가 할당될 수 있다.

복수의 이미지에서 특성의 거동에 기초하여 특성(또는 이러한 특성을 나타내는 픽셀)에 다른 가중치가 할당될 수 있다. 예를 들어, 시간에 따라 지속되는 특성은 잡음일 가능성이 적으므로 더 높은 가중치가 할당될 수 있다.

물체 검출 알고리즘, 분할 등과 같은 머신 비전 기술을 사용하면 공간의 이미지(예를 들어, 감산 이미지)에서 물체를 검출하고, 물체와 연관된 픽셀을 결정할 수 있다. 일부 실시형태에서, 학습 모델을 공간의 이미지에 적용하여 물체가 표적 곤충인지를 결정할 수 있다. 학습 모델을, 예를 들어, 감산 이미지에 적용하여 미리 결정된 기준을 갖는 물체를 검출하고/하거나, 현재 이미지에 적용하여 물체가 표적 곤충인지를 결정할 수 있다. 학습 모델은 물체가 표적 곤충인지 여부를 결정하는 단일 결정 속에 다양한 입력(색상, 투명도, 크기, 움직임 패턴 등)을 통합하는 것과 같은 다른 단계에서도 또한 적용될 수 있다.

물체가 표적 곤충인 것으로 결정되면(단계(608)), 프로세서(102)는 디바이스를 제어하기 위한 신호를 생성한다(단계(610)). 물체가 표적 곤충인 것으로 결정되지 않은 경우, 다른 현재 이미지가 획득되어 처리된다.

물체가 표적 곤충이라는 결정에 기초하여 제어되는 디바이스는 예를 들어 전술한 바와 같은 보조 디바이스를 포함할 수 있다. 일례에서, 디바이스(예를 들어, 광원의 프로젝터)는 사람의 눈으로 볼 수 있는 위치 지시자(예를 들어, 시각적 마크(115))를 생성할 수 있다. 따라서, 방법은 공간의 이미지로부터 표적 곤충의 실제 세계의 위치를 결정하는 단계; 및 디바이스를 제어하여 사람의 눈에 보이고 표적 곤충의 실제 세계의 위치를 나타내는 위치 지시자를 생성하는 단계를 포함할 수 있다.

또 다른 실시형태에서, 디바이스는 표적 곤충을 제거 및/또는 처치하는데 사용될 수 있다. 따라서, 방법은 공간의 이미지로부터 표적 곤충의 실제 세계의 위치를 결정하는 단계; 및 디바이스를 제어하여 실제 세계의 위치에서 표적 곤충을 제거(또는 처치)하는 단계를 포함할 수 있다. 디바이스는 예를 들어, 전술한 바와 같이 곤충을 처치하기 위한 보조 디바이스를 포함할 수 있다. 예를 들어, 디바이스는 소정 형태의 에너지를 표적 곤충의 실제 세계의 위치로 투사하는 프로젝터를 포함할 수 있다. 대안적으로 또는 추가적으로, 디바이스는 원격으로 제어되는 독립적으로 이동하는 디바이스 및/또는 텔레스코픽 아암 및/또는 노즐을 포함할 수 있다.

일 실시형태에서, 물체(예를 들어, 감산 이미지에서 검출된 물체)는 공간의 다수의 이미지에서 공간의 다수의 위치로 추적되고, 물체는 추적에 기초하여 표적 곤충인 것으로 (또는 표적 곤충이 아닌 것으로) 결정될 수 있다.

도 7에 개략적으로 도시된 일 실시형태에서, 물체의 움직임 패턴이 검출되고, 물체는 움직임 패턴에 기초하여 표적 곤충인 것으로 (또는 표적 곤충이 아닌 것으로) 결정된다.

공간의 이미지에서 물체가 검출되고(단계(702)), 물체의 움직임 패턴이 결정된다(단계(704)). 움직임 패턴이 미리 결정된 패턴과 유사하면(단계(706)), 물체는 표적 곤충인 것으로 결정된다(단계(708)). 움직임 패턴이 미리 결정된 움직임 패턴과 유사하지 않으면(단계(706)), 물체는 표적 곤충이 아닌 것으로 결정된다(단계(710)).

일반적으로, 미리 결정된 움직임 패턴은 표적 곤충으로부터 예상되는 패턴과 일치하는 패턴이다. 예를 들어, 미리 결정된 움직임 패턴은 모기의 전형적인 착지 패턴(예를 들어, 날아다닌 후 내려앉는 패턴)을 포함할 수 있다. 다른 예에서, 미리 결정된 움직임 패턴은 주로 반복하지 않는 움직임을 포함할 수 있는 데, 그 이유는 주로 반복하는 움직임은 의도치 않은 움직임(예를 들어, 팬의 움직임, 바람에 날리는 물체 및/또는 전자 잡음)의 특성이기 때문이다. 또 다른 예에서, 움직임 패턴은 방향의 변화를 포함할 수 있고, 미리 결정된 움직임은 특정 각도 또는 각도 범위에서 방향의 변화를 포함한다. 예를 들어, 모기는 종종 파리보다 덜 날카로운 각도로 방향을 바꾼다. 따라서, 미리 결정된 움직임 패턴은 미리 결정된 범위의 각도로 방향의 변화를 포함할 수 있다. 또 다른 예에서, 모기는 파리보다 더 느리게 이동하므로, 미리 결정된 움직임 패턴은 특정 속도(또는 속도 범위)를 포함할 수 있다.

추가적으로, 색상 및 투명도와 같은 물체의 특성을 결정하는 정밀도는 다수의 이미지를 사용하고/하거나 시간에 따라 이미지를 비교할 때 더 높을 수 있다. 일부 경우에 시간에 따라 이동하는 물체(예를 들어, 곤충)가 서로 다른 배경 위를 통과하면, (위에서 설명한 바와 같이) 물체의 색상 및/또는 투명도를 결정하는 데 도움이 될 수 있다. 예를 들어, 완전히 불투명한 물체는 다른 배경 위를 통과할 때 색상이나 강도가 변하지 않지만 반투명 물체는 변할 수 있다.

일부 실시형태에서, 이력 데이터는 물체가 표적 곤충인지 여부를 결정하는 데 사용될 수 있다. 예를 들어, 나중에 캡처된 이미지의 물체가 표적 곤충인지 여부를 결정하는 것은 이전에 캡처된 이미지의 픽셀에 할당된 가중치에 기초할 수 있다.

도 8에 개략적으로 도시된 일례에서, 물체는 공간의 제1 이미지(예를 들어, 제1 현재 이미지)의 위치에서 검출된다(단계(802)). 물체가 표적 곤충이 아니라고 결정되면(단계(804)), 제1 가중치가 이 위치의 픽셀에 할당된다(단계(806)). 물체가 표적 곤충이라고 결정되면(단계(804)), 제2 가중치가 이 위치의 픽셀에 할당된다(단계(808)).

물체가 제2 이미지(예를 들어, 제2 현재 이미지)의 위치에서 검출되고(단계(810)), 단계(806 및 808)로부터 가중치는 제2 이미지의 위치에 기초하여 제2 이미지의 픽셀에 할당된다. 그런 다음, 제2 이미지의 물체는 제2 이미지의 물체와 연관된 가중치 부여된 픽셀에 기초하여 표적 곤충인 것으로 (또는 표적 곤충이 아닌 것으로) 결정될 수 있다(단계(812)).

예를 들어, 공간(예를 들어, 방)의 이미지는 창문, TV 화면, 팬, 반사 등을 포함할 수 있으며, 이는 이미지에서 "잡음" 영역을 생성할 수 있다. 이러한 잡음은 예를 들어 시간에 따른 픽셀 값의 높은 변동, 많은 오검출(예를 들어, 잘못 검출된 표적 곤충)에 의해 검출되거나, 또는 잡음(예를 들어, 창문, TV 등)을 생성할 가능성이 있는 물체를 식별하는 물체 검출 알고리즘을 적용함으로써 검출될 수 있다. 일부 실시형태에서, 이미지의 상대적으로 "잡음이 많은" 영역에서 검출된 물체(또는 이러한 특성을 나타내는 픽셀)의 특성에는 이미지의 다른 영역에서 검출된 물체의 특성(또는 픽셀)보다 더 적은 가중치가 할당될 수 있다. 다른 예에서, 과거 사례에서 표적 곤충이 잘못 결정된 이미지 영역에서 검출된 물체의 특성(또는 픽셀)에는 이미지의 다른 영역에서 검출된 특성(또는 픽셀)보다 더 적은 가중치가 할당될 수 있다.

Claims (37)

1. 공간에서 표적 곤충을 검출하는 방법으로서,
   상기 공간의 적어도 2개의 이미지를 비교하여 물체를 검출하는 단계;
   상기 공간의 이미지에서 상기 물체의 특성에 기초하여 상기 물체가 표적 곤충인지를 결정하는 단계; 및
   상기 물체가 표적 곤충이라는 결정에 기초하여 디바이스를 제어하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
2. 제1항에 있어서, 상기 물체는 미리 결정된 기준을 충족하는, 공간에서 표적 곤충을 검출하는 방법.
3. 제1항에 있어서, 상기 적어도 2개의 이미지 중 하나는 상기 공간의 복수의 이미지의 표현을 포함하는, 공간에서 표적 곤충을 검출하는 방법.
4. 제1항에 있어서, 상기 공간의 상기 적어도 2개의 이미지를 비교하는 단계는 상기 공간의 제2 이미지로부터 상기 공간의 현재 이미지를 감산함으로써 감산 이미지를 획득하는 단계를 포함하고;
   미리 결정된 기준을 충족하는 물체를 상기 감산 이미지에서 검출하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
5. 제4항에 있어서, 상기 제2 이미지는 상기 현재 이미지 이전에 캡처된 상기 공간의 이미지를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
6. 제2항에 있어서, 상기 미리 결정된 기준은 상기 물체의 하나 이상의 특성과 관련되고, 상기 특성은 이미지에서 크기, 형상, 위치, 색상 및 투명도 중 하나를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
7. 제1항에 있어서,
   상기 물체의 하나 이상의 특성을 결정하는 단계로서, 상기 특성은 움직임 패턴, 형상, 색상 및 투명도 중 하나를 포함하는, 상기 물체의 하나 이상의 특성을 결정하는 단계; 및
   결정된 특성에 기초하여 상기 물체가 표적 곤충인지를 결정하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
8. 제1항에 있어서,
   상기 공간의 이미지에서 상기 물체를 추적하는 단계; 및
   상기 추적에 기초하여 상기 물체가 표적 곤충인지를 결정하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
9. 제8항에 있어서,
   상기 물체의 추적에 기초하여 상기 물체의 움직임 패턴을 검출하는 단계; 및
   상기 움직임 패턴이 미리 결정된 움직임 패턴과 유사한 경우 상기 물체가 표적 곤충이라고 결정하는 단계를 포함하는, 단계공간에서 표적 곤충을 검출하는 방법.
10. 제9항에 있어서, 상기 미리 결정된 움직임 패턴은 착지 패턴, 주로 반복하지 않는 움직임, 및 미리 결정된 범위에서 각도 방향의 변화 중 하나 이상을 포함하는, 공간에서 표적 곤충을 검출하는 방법.
11. 제1항에 있어서,
    상기 물체의 고해상도 이미지를 얻는 단계; 및
    상기 고해상도 이미지에 기초하여 상기 물체가 표적 곤충인지를 결정하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
12. 제1항에 있어서,
    상기 물체의 공간적으로 상관된 특성을 검출하는 단계; 및
    상기 공간적으로 상관된 특성에 기초하여 상기 물체가 표적 곤충인지 여부를 결정하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
13. 제1항에 있어서,
    상기 물체가 표적 곤충이라는 결정에 기초하여 상기 공간의 제1 이미지에서 상기 물체의 위치에 있는 픽셀에 가중치를 할당하는 단계; 및
    상기 제2 이미지에서 상기 물체의 위치에 있는 픽셀에 상기 가중치를 할당함으로써 상기 공간의 제2 이미지에 있는 물체가 표적 곤충이라고 결정하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
14. 제1항에 있어서,
    상기 공간의 이미지로부터 상기 표적 곤충의 실제 세계의 위치를 결정하는 단계; 및
    상기 디바이스를 제어하여 사람의 눈에 보이고 상기 표적 곤충의 실제 세계의 위치를 나타내는 위치 지시자를 생성하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
15. 제14항에 있어서, 상기 디바이스는 광원의 프로젝터를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
16. 제1항에 있어서,
    상기 공간의 이미지로부터 상기 표적 곤충의 실제 세계의 위치를 결정하는 단계; 및
    디바이스를 제어하여 상기 실제 세계의 위치에 있는 상기 표적 곤충을 제거하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
17. 제16항에 있어서, 상기 디바이스는 소정 형태의 에너지를 상기 표적 곤충의 상기 실제 세계의 위치로 투사하는 프로젝터를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
18. 제16항에 있어서, 상기 디바이스는 원격으로 제어되는 독립적으로 이동하는 디바이스를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
19. 제16항에 있어서, 상기 디바이스는 텔레스코픽 아암(telescopic arm)을 포함하는, 공간에서 표적 곤충을 검출하는 방법.
20. 제16항에 있어서, 상기 디바이스는 노즐을 포함하는, 공간에서 표적 곤충을 검출하는 방법.
21. 제16항에 있어서,
    상기 공간의 이미지로부터 상기 표적 곤충 부근에 생물이 있는지 여부를 결정하는 단계; 및
    상기 표적 곤충 부근에 생물이 있다는 결정에 기초하여 상기 디바이스를 제어하여 상기 표적 곤충의 실제 세계의 위치에 있는 상기 표적 곤충을 제거하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
22. 제1항에 있어서, 상기 디바이스는 자율적으로 이동하는 디바이스이고, 상기 방법은,
    상기 공간의 이미지로부터 상기 표적 곤충의 실제 세계의 위치를 결정하는 단계; 및
    상기 디바이스를 제어하여 상기 디바이스를 상기 표적 곤충의 실제 세계의 위치 부근으로 이동시키는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
23. 제1항에 있어서, 상기 공간의 이미지에 학습 모델을 적용하여 상기 물체가 표적 곤충인지를 결정하는 단계를 포함하는, 공간에서 표적 곤충을 검출하는 방법.
24. 공간에서 표적 곤충을 검출하기 위한 시스템으로서,
    상기 공간의 이미지를 얻기 위한 카메라; 및
    상기 카메라와 통신하는 프로세서를 포함하고, 상기 프로세서는,
    상기 공간의 이미지 중 적어도 2개를 비교하여 물체를 검출하고;
    상기 공간의 이미지에서 상기 물체의 특성에 기초하여 상기 물체가 표적 곤충인지를 결정하는, 공간에서 표적 곤충을 검출하기 위한 시스템.
25. 공간에서 곤충을 처치하기 위한 시스템으로서,
    상기 공간의 이미지를 얻기 위한 카메라;
    상기 카메라와는 별개로 이동하는 디바이스; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 공간의 이미지 중 적어도 하나에서 상기 곤충을 검출하고,
    상기 공간의 이미지를 분석한 것에 기초하여 상기 디바이스를 제어하여 상기 디바이스를 상기 곤충 부근으로 이동시키는, 공간에서 곤충을 처치하기 위한 시스템.
26. 제25항에 있어서, 상기 프로세서는 동일한 프레임 내에 상기 곤충과 상기 디바이스를 갖는 상기 공간의 이미지를 분석한 것에 기초하여 상기 디바이스를 제어하여 상기 디바이스를 상기 곤충 부근으로 이동시키는, 공간에서 곤충을 처치하기 위한 시스템.
27. 제26항에 있어서, 상기 프로세서는 상기 카메라로부터 상기 곤충의 방향을 추정하고, 상기 프로세서는 상기 디바이스를 제어하여 상기 디바이스를 대략 상기 방향으로 이동시키는, 공간에서 곤충을 처치하기 위한 시스템.
28. 제27항에 있어서, 상기 프로세서는 상기 곤충으로부터 상기 디바이스까지의 거리를 추정하고, 상기 프로세서는 상기 디바이스를 제어하여 상기 디바이스를 상기 곤충으로부터 미리 결정된 거리까지 이동시키는, 공간에서 곤충을 처치하기 위한 시스템.
29. 제28항에 있어서, 상기 프로세서와 통신하며 상기 곤충으로부터 상기 디바이스까지의 거리를 추정하는 거리계를 포함하는, 공간에서 곤충을 처치하기 위한 시스템.
30. 제28항에 있어서, 상기 프로세서는 상기 공간의 이미지로부터 상기 곤충의 크기를 상기 곤충의 예상된 크기와 비교함으로써 상기 곤충으로부터 상기 디바이스까지의 거리를 추정하는, 공간에서 곤충을 처치하기 위한 시스템.
31. 제28항에 있어서, 상기 프로세서는 상기 프레임 내 광점의 위치를 분석함으로써 상기 곤충으로부터 상기 디바이스까지의 거리를 추정하고, 상기 광점은 상기 디바이스로부터 투사되는, 공간에서 곤충을 처치하기 위한 시스템.
32. 제28항에 있어서, 상기 프로세서는 상기 디바이스가 상기 곤충으로부터 미리 결정된 거리에 있을 때 상기 디바이스를 제어하여 상기 곤충을 제거하는, 공간에서 곤충을 처치하기 위한 시스템.
33. 제32항에 있어서, 상기 디바이스는 상기 디바이스로부터 연장 가능한 부재를 포함하고, 상기 프로세서는 상기 디바이스를 제어하여 상기 부재를 통해 상기 곤충을 제거하는, 공간에서 곤충을 처치하기 위한 시스템.
34. 제25항에 있어서, 상기 디바이스는 상기 곤충의 이미지를 획득하기 위한 추가 카메라를 포함하는, 공간에서 곤충을 처치하기 위한 시스템.
35. 제25항에 있어서, 상기 디바이스는 소정 형태의 에너지 빔을 상기 곤충 부근으로 투사하는 프로젝터를 포함하는, 공간에서 곤충을 처치하기 위한 시스템.
36. 제25항에 있어서, 상기 디바이스에 전력을 공급하고/하거나 상기 디바이스를 적재하기 위한 도킹 스테이션(docking station)을 포함하는, 공간에서 곤충을 처치하기 위한 시스템.
37. 제25항에 있어서, 상기 디바이스는 전기적으로, 기계적으로 또는 화학적으로 상기 곤충을 제거하도록 구성된, 공간에서 곤충을 처치하기 위한 시스템.

Images