KR101900176B1

KR101900176B1 - 물체 검출 장치, 물체 검출 방법, 및 물체 검출 시스템

Info

Publication number: KR101900176B1
Application number: KR1020167034216A
Authority: KR
Inventors: 히로유끼 구메노; 유이찌 무라이; 야스시 다께다
Original assignee: 닛본 덴끼 가부시끼가이샤; 국립대학법인 홋가이도 다이가쿠; 유겐가이샤 플로우비즈 리서치
Priority date: 2014-05-07
Filing date: 2015-04-30
Publication date: 2018-09-18
Also published as: US10157468B2; TWI604415B; JP6379343B2; EP3142072A4; US20170186175A1; KR20170007353A; WO2015170776A1; TW201612855A; EP3142072A1; JPWO2015170776A1; CA2947138A1; CN106462978A

Abstract

본 발명의 목적은 이동체의 종류를 정확하게 판별 가능한 물체 검출 장치를 제공하는 것이다. 물체 검출 시스템(1)의 물체 검출 장치(5)는 이동체를 촬상한 화상으로부터 이동체가 특정한 검출 대상(여기서는, 새)인지의 여부를 판정하는 새 후보 판정부(17)와, 새 후보 판정부(17)에 의해 새라고 판정된 이동체의 윤곽과, 특정한 검출 대상의 각각의 종류(여기서는, 새의 종류)에 대해 준비된 윤곽들의 윤곽 형상 정보를 포함하는 WFM 라이브러리(9)에 기초하여, 이동체의 특정한 검출 대상의 종류를 추정하는 새 종류/자세 추정부(19)를 포함하는 물체 검출 판정부(7)를 갖는다.

Description

물체 검출 장치, 물체 검출 방법, 및 물체 검출 시스템{OBJECT DETECTION DEVICE, OBJECT DETECTION METHOD, AND OBJECT DETECTION SYSTEM}

본 발명은 물체 검출 장치, 물체 검출 방법, 및 물체 검출 시스템에 관한 것이다.

최근, 이동체, 예를 들어 새가 공항, 풍력 발전 설비, 등이 설치된 영역에 침입하고, 공항에 이착륙중의 항공기나, 또는 풍력 발전 설비의 풍차에 충돌하는, 소위 “버드 스트라이크(Bird strike)” 문제가 되고 있다.

그로 인해, 그러한 영역에의 새의 침입을 검출하기 위한 검출 장치가 요망되고 있다.

새를 검출하는 장치로서는, 비상체를 미소 시간 간격들로 촬상하고, 휘도 패턴 분포로부터 비상체의 비행 패턴을 해석하고, 해당 비행 패턴들을 데이터베이스화해서, 비상체가 새 인지의 여부를 검출하기 위한 장치가 알려져 있다(특허문헌 1).

또한, 비상체와 카메라 간의 거리와 방위 데이터를 기초로 해서 비상체의 3차원 좌표들을 연산하고, 비상 궤적으로부터 새를 검출하기 위한 장치도 알려져 있다(특허문헌 2).

또한, 비상체와 고정 물체를 동일 화상에서 촬상하여, 비상체의 고도를 구하기 위한 장치가 알려져 있다(특허문헌3).

또한, 비상체의 속도에 기초하여 비상체가 새 인지의 여부를 판정하기 위한 장치도 알려져 있다(특허문헌 4).

WO-A-2009/102001 JP-A-2011-95112 JP-A-2010-223752 JP-A-2010-193768

이 경우, 버드 스트라이크(Bird strike)에 의해 야기된 항공기들이나 풍차들의 피해를 저감한다고 하는 관점에서는, 상기 영역의 주변들을 새들이 혐오하는 환경으로 유지하여, 새들 자체의 출현 빈도를 저감시키는 것이 상당한 성과를 초래하므로, 중요하다. 한편, 새들이 혐오하는 환경은 새 종류에 따라 크게 상이하기 때문에, 상기 영역들의 주변들에서 새 종류를 판별하는 것은 매우 중요하다.

그러나, 특허문헌들 1 내지 4에 개시된 장치들이 비상체가 새 인지의 여부는 판별할 수 있지만, 그러한 장치들이 새의 종류를 정확하게 판별하는 것은 곤란하다.

본 발명은, 상기 문제점의 관점에서 이루어진 것이며, 따라서 이동체의 종류를 정확하게 판별 가능한 물체 검출 장치를 제공하는 것을 목적으로 한다.

상기의 문제점을 해결하기 위해서, 본 발명의 제1 양태로서는, 물체 검출 장치가 제공되는데, 이 장치는, 이동체를 촬상하여 취득한 화상으로부터, 상기 이동체가 특정한 검출 대상인지의 여부를 판정하기 위한 1차 판정부; 및 상기 1차 판정부에 의해 특정한 검출 대상이라고 판정된 상기 이동체의 윤곽과, 상기 특정한 검출 대상의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보에 기초하여, 상기 특정한 검출 대상의 종류들 중에서 이동체의 종류를 추정하기 위한 물체 검출 판정부를 포함한다.

본 발명의 제2 양태로서는, 컴퓨터로 하여금 물체 검출 장치로서 동작시키게 하기 위한 프로그램이 제공되는데, 상기 물체 검출 장치는, 이동체를 촬상하여 취득한 화상으로부터, 상기 이동체가 특정한 검출 대상인지의 여부를 판정하기 위한 1차 판정부; 및 상기 1차 판정부에 의해 특정한 검출 대상이라고 판정된 상기 이동체의 윤곽과, 상기 특정한 검출 대상의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보에 기초하여, 상기 특정한 검출 대상의 종류들 중에서 이동체의 종류를 추정하기 위한 물체 검출 판정부를 포함한다.

본 발명의 제3 양태로서는, 물체 검출 방법이 제공되는데, 이 방법은, (a) 이동체를 촬상해서 화상을 취득하고; (b) 상기 화상으로부터, 상기 이동체가 특정한 검출 대상인지의 여부를 1차 판정하고; (c) 상기 1차 판정에 의해 특정한 검출 대상이라고 판정된 상기 이동체의 윤곽과, 상기 특정한 검출 대상의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보에 기초하여, 상기 특정한 검출 대상의 종류들 중에서 상기 이동체의 종류를 추정하는 것을 포함한다.

본 발명의 제4 양태로서는, 물체 검출 시스템이 제공되는데, 이 시스템은, 이동체를 촬상해서 화상을 취득하기 위한 촬상 장치; 상기 화상으로부터, 상기 이동체가 특정한 검출 대상인지의 여부를 판정하기 위한 1차 판정부; 및 상기 1차 판정부에 의해 특정한 검출 대상이라고 판정된 상기 이동체의 윤곽과, 상기 특정한 검출 대상의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보에 기초하여, 상기 특정한 검출 대상의 종류들 중에서 상기 이동체의 종류를 추정하기 위한 물체 검출 판정부를 포함한다.

본 발명에 따르면, 이동체의 종류를 정확하게 판별 가능한 물체 검출 장치를 제공할 수 있다.

도 1은 본 발명의 실시예에 관한 물체 검출 시스템(1)의 개략을 도시하는 블록도이다.
도 2는 도 1의 물체 검출 장치(5)를 도시하는 블록도이다.
도 3은 물체 검출 시스템(1)의 상세를 도시하는 블록도이다.
도 4는 물체 검출 시스템(1)을 사용하여 새의 검출, 및 새 종류/비행 자세 추정의 방법을 나타내는 흐름도이다.
도 5는 도 4의 S11 및 S12의 상세를 나타내는 흐름도이다.
도 6은 새의 외형 정보의 차원을 2차원에서 1차원으로 낮추는 방법을 설명하기 위한 도면이다.
도 7은 새의 외형 정보의 차원을 2차원에서 1차원으로 낮추는 방법을 설명하기 위한 도면이다.

이하, 도면들을 참조하여 본 발명의 적합한 실시예를 상세하게 설명한다.

먼저, 도 1 및 도 2를 참조하여 본 실시예에 관한 물체 검출 장치(5)를 구비한 물체 검출 시스템(1)의 구성에 대해서 설명한다.

다음에서, 물체 검출 시스템(1)(물체 검출 장치(5))의 예로서, 화상으로부터 새의 종류를 추정하기 위한 버드 스트라이크(bird strike) 방지 장치가 예시되고 있다.

도 1 및 도 2에 도시한 바와 같이, 물체 검출 시스템(1)은, 이동체를 촬상해서 화상을 취득하기 위한 촬상 장치(3)를 포함한다. 물체 검출 시스템(1)은, 또한, 물체 검출 판정부(7)를 포함하는 물체 검출 장치(5)를 포함한다. 물체 검출 판정부(7)는, 이동체를 촬상해서 취득한 화상으로부터 이동체가 특정한 검출 대상(이 경우에는 새) 인지의 여부를 판정하기 위한 1차 판정부로서의 역할을 하는 새 후보 판정부(17), 및 새 후보 판정부(17)에 의해 새로서 판정된 이동체의 윤곽과, 특정한 검출 대상의 종류들(이 경우에는 새의 종류들)에 대해 준비된 윤곽인 윤곽 형상 정보를 저장하는 와이어 프레임 모형 라이브러리(이하, WFM 라이브러리(9)이라고 칭함)에 기초하여, 특정한 검출 대상의 종류들 중에서 이동체의 종류(이 경우에는 새의 종류)를 추정하기 위한 새 종류/자세 추정부(19)를 포함한다.

이 경우, 촬상 장치(3)는 단일 모니터링 카메라이다. 감시 카메라는 고정대에 설치되어, 일정한 방위에서 정점 모니터링을 실행하거나 선회에 의해 전체 둘레 또는 일정 범위를 선회 모니터링함으로써 화상을 촬상하도록 구성된다. 또한, 촬상 장치(3)는 촬상한 화상을 유선 또는 무선 방식으로 물체 검출 장치(5)에 전송한다.

본 실시예에 따르면, 물체 검출 장치(5)는 버드 스트라이크(Bird strike) 방지 장치에 사용되기 때문에, 촬상 장치(3)는 공항 활주로의 끝에 또는 풍력 발전소의 시설 내에 설치된다.

또한, 본 실시예에 따르면, 새가 특정한 검출 대상으로 검출되지만, 새들 및 개들의 종류와 비행기들 및 헬리콥터들의 종류 또한 특정한 검출 대상으로서 예시된다.

또한, 본 실시예에 따르면, 새의 종류는 특정한 검출 대상의 종류들 중의 종류로서 추정된다. 여기에서 사용된 바와 같이, 특정한 검출 대상의 종류들 중에서의 종류는 특정한 검출 대상이 새라면 까마귀나 비둘기와 같은 종류를 지칭한다.

물체 검출 장치(5)는 촬상 장치(3)가 촬상한 화상으로부터 이동체의 외형(여기서는 윤곽)을 추출하고, 추출한 윤곽으로부터 새의 종류를 추정하도록 구성된다. 또한, 후술하는 바와 같이, 본 실시예에 따르면, 물체 검출 장치(5)는 새의 자세를 추정하는 기능, 새의 종류 및 자세로부터 비행 경로를 추정하는 기능, 비행 경로, 새의 종류 및 자세로부터 상기 이동체가 새 인지의 여부를 최종 판정하는 기능, 및 버드 스트라이크(Bird strike)의 가능성이 있을 경우에 경보를 발하는 기능을 추가로 갖는다.

전자 컴퓨터, 예를 들면 퍼스널 컴퓨터는 물체 검출 장치(5)로서 이용되지만, 물체 검출 장치(5)가 후술하는 처리를 행하는 기능을 구비한 장치라면, 물체 검출 장치(5)는 특별히 특정한 장치로서 한정되는 것은 아니다.

도 3을 참조하여, 물체 검출 시스템(1)의 구성에 대해서, 특히 물체 검출 장치(5)의 구성에 대해서 상세하게 설명한다.

도 3에 도시한 바와 같이, 물체 검출 장치(5)는 촬상 장치(3)가 촬상한 화상의 데이터를 입력하기 위한 화상 데이터 입력 처리부(13), 화상으로부터 이동체의 윤곽선을 추출해서 이동체 정보(6)를 생성하기 위한 새 후보 화상 추출부(15), 새 후보 화상 추출부(15)가 추출한 이동체 정보(6)를 바탕으로 새의 부재/존재, 종류, 및 자세를 추정하기 위한 물체 검출 판정부(7), 물체 검출 판정부(7)의 검출 결과에 기초하여 새가 중점 모니터링 영역에 침입할 가능성이 있을 경우에 경보를 발하기 위한 경보 통지부(25), 및 물체 검출 장치(5)를 동작시키기 위한 동작 프로그램(22), 및 후술하는 각종 정보 및 라이브러리들을 저장하기 위한 저장부(2)를 포함한다.

물체 검출 판정부(7)는, 이동체 정보(6)로부터, 해당 이동체가 새 인지의 여부에 관한 1차 판정을 실행하기 위한 새 후보 판정부(17), 이동체 정보(6)로부터 새의 종류 및 자세를 추정하기 위한 새 종류/자세 추정부(19), 각각의 새 후보들(이동체들)의 비행 경로를 추정하기 위한 비행 경로 추정부(21), 및 각각의 새 후보들(이동체들)이 새로서 인식되어야 할지의 여부를 최종적으로 판정하기 위한 새 검출 최종 판정부(23)를 포함한다.

보다 상세하게는, 화상 데이터 입력 처리부(13)는 촬상 장치(3)로부터 전송된 촬상 화상을 수신하고, 내부의 일시 기록용 메모리에 선입 선출 방식으로 3개의 프레임들에 해당하는 화상 데이터를 항상 기록하도록 구성된다. 화상 데이터 입력 처리부(13)에 일시 저장된 화상의 롤링 셔터 현상 및 카메라 플랫폼의 동작 오차에 기인하는 영상의 혼란이 보정된 후, 화상은 순서대로 새 후보 화상 추출부(15)에 출력된다.

새 후보 화상 추출부(15)는 연속한 3개의 프레임들의 화상에 대한 차분 정보로부터 이동체의 윤곽선을 추출하도록 구성된다. 또한, 카메라에 대한 이동체의 촬영 시각 및 상대 방위, 화상 상에서의 물체 전체의 좌표에서의 휘도 정보, 및 휘도 구배 히스토그램(histogram-of-oriented-gradients)(HOG) 특징량의 조합인 정보는 이동체 정보(6)로서 저장부(2)에 저장된다.

새 후보 판정부(17)는 이동체 정보(6)의 HOG 특징량을 바탕으로 저장부(2)의 새 판별 라이브러리(24)를 참조하여, 서포트 벡터 머신(SVM), 신경망, 등의 원리에 기초하는 2진 판별기에 의해 해당 이동체가 새 인지의 여부에 관한 판정(1차 판정)을 행하도록 구성된다.

새 판별 라이브러리(24)는 2진 판별기의 판별 기준을 생성하기 위한 데이터베이스이다. SVM을 채택하는 경우, 새 판별 라이브러리(24)는 새에 대한 화상 정보 및 비교 대상들로서 새 이외의 물체들에 대한 화상 정보에 의해 구성된다.

새 종류/자세 추정부(19)는 저장부(2)에 제공된 WFM 라이브러리(9)로부터 선택된 새의 윤곽 정보와, 이동체 정보(6)를 연속적으로 서로 비교하여, 가장 유사성이 높은 새의 종류 및 자세를 추출(2차 판정)하도록 구성된다. 또한, 새 종류/자세 추정부(19)는 상기 추정된 새 종류, 자세, 및 새에 대한 촬상 장치로부터의 거리 또는 지도 상의 위치 정보를 이동체 정보(6)에 추가하여 취득한 정보를 새 후보 정보(10)로서 저장부(2)에 저장하도록 구성된다.

WFM 라이브러리(9)는, 중점 모니터링 영역의 주변에서 관측된 각각의 새 종류들에 대한 표준 체형과 날개 퍼덕임을 와이어 프레임 모형으로서 모의한 정보를 보유한다. 또한, WFM 라이브러리(9)는, 각각의 새들에 대해 일정한 비율로 3개의 축에 관한 회전 각도들, 날개 퍼덕임의 각도가 각각 변화되는 경우들의 평면 투사 윤곽 형상 정보를 보유한다.

이러한 실시예에 따르면, 이러한 방식으로 와이어 프레임 모형이 사용되어 평면 투사 윤곽 형상 정보를 생성한다. 이것은 이하의 이유들에 의한 것이다.

(1) 사전에 준비한 새들의 화상들로부터 평면 투사 윤곽 형상 정보를 생성하기 위해서는, 적어도 수천 개의 화상 정보의 예가 필요하다.

(2) 표준적인 체형과 날개 퍼덕임을 모의한 정보(즉, 기준 모형)가 와이어 프레임 모형으로서 생성되면, 골격 표본의 치수 재기의 결과, 및 해당하는 새 종류의 특징적인 자세들 및 일부 형상들의 화상들로부터, 새 종류들에 대한 모형이 비교적 용이하게 생성될 수 있다. 또한, 사전에 준비한 새들의 화상들로부터 평면 투사 윤곽 형상 정보를 생성하는 경우와 비교하여, 3개의 축에 관한 자세 변경 후의 윤곽이 단기간에 생성될 수 있다.

비행 경로 추정부(21)는 새 후보 정보(10)로부터 개개의 새의 비행 경로를 추정하고, 비행 경로를 비행 경로 추적 정보(18)로서 저장부(2)에 연속적으로 저장하도록 구성된다.

새 검출 최종 판정부(23)는 비행 경로 추적 정보(18)와, 저장부(2)의 새 종류 특성 라이브러리(14)에 기록된 각각의 새들의 특성 정보를 서로 비교하여, 각각의 새 후보들이 새로서 인식되어야 할지의 여부를 최종 판정하도록 구성된다.

새 종류 특성 라이브러리(14)는, 시설 주변에서 관측된 각각의 새 종류들에 대해서, 표준적인 체장, 체중, 비행 속도, 날개 퍼덕임 횟수, 및 월 및 시간대를 기준으로서 고려할 때 출현 사전 확률을 기록하기 위한 라이브러리이다.

경보 통지부(25)는, 비행 경로 추적 정보(18)를 바탕으로, 각각의 새 후보들(이동체들)에 대해 저장부(2)에 저장된 중점 모니터링 영역 정보(16)에 의해 지정된 시설의 영역에 새가 침입하는 위험성을 평가하고, 일정 레벨 이상의 위험이 있는 경우, 즉, 버드 스트라이크(Bird strike)가 생성할 가능성이 있는 경우에 경보를 생성하도록 구성된다.

중점 모니터링 영역 정보(16)는, 시설 내에서 새의 침입을 모니터링해야 할 필요가 있는 영역들을 정의하는 정보이며, 예를 들어 공항이나 풍력 발전 설비가 존재하는 영역들에 대한 정보이다.

도 3에서, 이동체 정보(6), 새 판별 라이브러리(24), WFM 라이브러리(9), 새 후보 정보(10), 비행 경로 추적 정보(18), 새 종류 특성 라이브러리(14), 중점 모니터링 영역 정보(16), 및 동작 프로그램(22)은, 물체 검출 장치(5) 내에 제공된 저장부(2)에 저장되지만, 외부 저장 장치에 의해 치환될 수 있고 또는 네트워크, 예를 들어, WWW(World Wide Web)을 통해 접속된 외부 정보일 수 있다.

이어서, 물체 검출 시스템(1)의 동작, 여기에서는 버드 스트라이크(Bird strike)의 방지를 위한 동작에 대해서, 도 4 내지 도 6을 참조하여 설명한다.

최초에, 물체 검출 장치(5)의 동작 프로그램(22)이 기동한다.

이어서, 촬상 장치(3)는 일정한 방위에서 정점 모니터링을 실행하거나 선회에 의해 전체 둘레 또는 일정 범위를 선회 모니터링해서, 중점 모니터링 영역 정보(16)에 의해 정의된 중점 모니터링 영역 또는 그 주위의 화상들을 촬상한다. 모니터링 장치(3)는 촬상한 화상을 예를 들어, 초당 60 프레임으로 물체 검출 장치(5)의 화상 데이터 입력 처리부(13)에 연속적으로 송신하고, 화상 데이터 입력 처리부(13)는 화상을 수신한다(도 4의 S1). 중점 모니터링 영역이 공항인 경우에는, 촬상 장치(3)는 활주로의 방향을 포함하는 각각의 방향들로 화상을 취득하여, 공항이나 공항 주변의 화상을 촬상한다.

화상 데이터 입력 처리부(13)는, 수신된 화상의 카메라 플랫폼의 롤링 셔터 현상 및 동작 오차에 기인하는 화상의 혼란을 보정한 다음, 보정된 화상을 순차적으로, 새 후보 화상 추출부(15)에 출력한다.

새 후보 화상 추출부(15)는, 수신된 화상으로부터, 연속적으로 또는 시계열적으로 일정 간격으로 추출된 3개의 화상들(각각 프레임 n-1, n, 및 n+1로 지칭함)을, 휘도의 관점에서, 2진화한 다음, 각각 차분 화상들 m=n-(n-1) 및 m+1=(n+1)-n을 생성한다. 또한, 새 후보인 이동체는, m과 m+1의 AND 화상 D=m*(m+1)을 생성함으로써, 3개의 원 화상들로부터 추출된다. D 상에서 추출된 이동체의 D 상에서의 무게 중심 위치, 형상, 및 크기는 미리 설정된 기준 값들에 대해 정규화되고, HOG 특징량이 계산된다. 그 다음, “이동체 정보(6)”는 촬영 시각과 촬영 시각에서의 촬상 장치의 광학 축 방위를 HOG 특징량에 가산하여 생성되고, 이동체 정보(6)는 저장부(2)에 저장된다(도 4의 S2).

새 후보 판정부(17)는 이동체 정보(6)의 HOG 특징량을 바탕으로, 각각의 이동체 정보(6)에 대하여, 새 판별 라이브러리(24)의 데이터베이스로부터 생성된 임계치를 기준으로서 사용하여 2진 판별을 적용함으로써, 해당 새 후보(이동체)가 새 인지의 여부에 관한 1차 판정을 실행한다(도 4의 S3).

이동체가 1차 판정을 통해서 새 이외의 물체로서 판정된 경우에는, 해당 이동체의 이동체 정보(6)가 삭제되고, 동작은 S1로 복귀된다(도 4의 S4).

1차 판정에 의해 새라고 판정된 이동체에 대해서는, 새 후보 화상 추출부(15)는 이동체 정보(6)의 형상 정보를 미리 설정된 사이즈로, 예를 들어 100×100 px로의 확대 또는 축소의 정규화를 실행해서, 윤곽 정보를 추출한다(도 4의 S5).

이어서, 새 종류/자세 추정부(19)는 저장부(2)에 저장된 WFM 라이브러리(9)의 와이어 프레임 모형을 통해 2차원 평면에 투사된 새들의 윤곽 화상들 중에서 샘플 화상을 1개 선택한다(도 4의 S6).

샘플 화상은, 새 종류, 3축 자세 및 날개 퍼덕임 각도인 파라미터들로서 각각 10° 내지 20° 정도 각각의 각도들을 변경함으로써 취득된 화상이다. 샘플 데이터가 10 종류의 새들에 대해 준비되는 반면, 3개 축들 및 날개 퍼덕임 각도는 10°씩 증가하여 변경된다.

이어서, 새 종류/자세 추정부(19)는 선택된 샘플 화상과 정규화된 새 후보 화상 윤곽으로부터 상호 상관을 계산하고, 그 결과가 각각의 새 종류들에 대해 설정된 임계치를 초과하는지의 여부를 판정한다(도 4의 S7).

결과가 임계치를 초과한 경우, 그 상태에서 비교가 종료되고, 새 후보(이동체)의 새 종류, 자세, 및 날개 퍼덕임 각도가 샘플 화상의 값들로 추정된다. 즉, 이동체는 대응하는 새 종류로 추정된다. 결과가 임계치 미만인 경우, 새로운 샘플이 선택되고, 동일한 비교가 반복된다. 이때, 새 종류/자세 추정부(19)는 미리 결정된 최대 시행 수에 도달했는지를 판정한다(도 4의 S8). 최대 회수 시행 이후 임계치 이상의 상관이 보이지 않으면, 비교가 종료되고, 이동체는 전체 시행 중 최대 상관을 나타내는 샘플로 추정된다.

이와 같이, 물체 검출 시스템(1)은 새의 윤곽을 해석해서 새의 종류를 추정하므로, 예를 들어, 새 종류를 직접 추정하는데 사용하기 어려운, 비행 패턴, 비행 궤적, 비행 고도, 및 비행 속도와 같은, 파라미터들을 사용하는 관련 기술 해석과 비교하여, 새의 종류를 정확하게 추정할 수 있다.

즉, 물체 검출 시스템(1)은 새 종류, 자세, 및 날개 퍼덕임 각도를 파라미터들로서 갖는 2차원 윤곽 형상 샘플과의 일치성인 단일 척도를 근거로 새 종류의 판별을 규정함으로써, 새 종류의 판별에 관한 우도를 일률적으로 규정 가능하고, 관련 기술 장치보다 고정밀도로 종류를 판별할 수 있다.

그런데, 상기 처리는 새 종류, 3축 자세, 날개 퍼덕임 각도인 5차원에서의 서치 문제이며, 샘플 화상의 선택에 있어서 WFM 라이브러리(9)의 샘플들 간의 차이는 소위 “샌드스톰(sandstorm)” 분포를 나타내므로, 어디에서도 미분 가능하지 않고, 뉴턴-라프슨 방법 등에 의해 다음 후보를 예측할 수 없다. 따라서, 최적 해를 얻기 위해서는 일반적으로는 전수 서치가 필요하다. 그러나, 전술한 바와 같이, 비교해야 할 샘플 수는 약 800만개에 달하고, 전수 서치의 실행에는 매우 시간이 걸린다.

따라서, 본 실시예에 따르면, 새 종류/자세 추정부(19)는, 촬상 장치(3)와 새의 생태에 관한 일반적 특징을 사전 정보로서 채택하고, 새 후보 화상과의 상관 확률에 대해 내림차순으로, 새 후보 화상과 샘플을 비교해서, 비교적 적은 수의 반복 계산 회수 후에 최적의 샘플을 찾으려고 시도한다.

본 실시예에 따르면, 사전 정보로서 이하의 4개의 항목을 채택한다.

사전 정보(1): 새는 피치 방향으로 큰 각도(약 ±20° 이상)로 비행하는 것은 적다.

사전 정보(2): 새의 체형은 좌우 대칭이고, 날개 퍼덕임 이외의 외형 변화의 요인들의 수는 적다.

사전 정보(3): 계절 및 시간에 따라 검출되는 새의 종류는 한정된다.

사전 정보(4): 촬상 장치(3)의 필드의 각도는 통상 최대 ±20° 정도이다.

이상 4개의 항목의 사전 정보를 채택하는 경우, 새 후보(이동체)의 자세에 대해서 비교적 높은 확률에서 이하의 항목들을 가정할 수 있다.

(i) 새는 외관 상 피치 각 0° 및 롤 각 0°에 가까운 자세로 비행한다.

(ii) 수직 방향의 중앙값이 무게 중심 값과 가까운 경우에는, 날개 퍼덕임 각도가 90° 부근이다.

(iii) 검증되는 새 종류들은 계절 및 시간에 따라 우선 순위를 결정할 수 있다.

(i) 내지 (iii)의 가정들에 기초하여, 샘플 서치는 이하의 순서로 실시된다.

S101: 새 종류/자세 추정부(19)는, 5종의 파라미터들의 초기값들로서, (새 종류= 계절/시간으로 가장 출현 사전 확률이 높은 종류, 3축=0°, 날개 퍼덕임 각도=90°)을 설정하고, 그 초기값들을 새 후보(이동체)의 윤곽과 비교한다.

S102: 새 종류/자세 추정부(19)는, 각각의 파라미터들을 한번에 하나씩 순차적으로 변경해서 샘플을 선택한다. 본 구성예에서는, S101의 샘플로부터 날개 퍼덕임 각도를 20° 변화시킨 샘플은 새 후보(이동체)와의 비교를 위해 2번째 샘플로서 사용된다. 날개 퍼덕임 각도에서의 모든 변동들이 확인된 후, 요우 축(yaw axis), 롤 축, 및 피치 축에서 순차적으로 각도가 변경되는 샘플이 사용된다. 이후, 새 종류의 출현 빈도에 대해 내림차순으로 단계들 S102 및 S103이 순차적으로 반복된다.

그런데, 상호 상관의 비교에서는 도 6 에 도시하는 바와 같이 새 후보 화상과 샘플 화상의 2차원 형상들을 다루기 때문에, 계산량은 비교적 커진다. 따라서, 이러한 계산의 간소화 및 고속화는 장치의 실시간 성능 및 장치의 저비용화를 실현하는 데 매우 중요하다.

도 6의 2진화 화상에서의 상호 상관 C는, 새 후보 또는 샘플 화상의 2차원 형상을 표현하는 함수를 φ로 표시하고 φ의 평균을 ξ로 표시하는 일례로서 이하의 식(1)과 같이 표현할 수 있다.

한편, 본 실시예에 따르면, 상기 2차원 형상을 표현하는 함수 φ 및 ξ을, 윤곽선 상에서의 기준점으로부터의 거리 s를 파라미터로서 갖는 벡터Φ 및 Ξ으로 변환하고, 새 후보(이동체)와 샘플 간의 상호 상관을 C로 변경하여, 일례로서 식(3)에 나타내는 벡터들의 상호 상관 V로서 취급할 수 있게함으로써, 도 7에 도시한 바와 같이, 새의 외형 정보를 차원 수를 2차원으로부터 1차원으로 낮추어, 계산량을 줄인다.

새 종류/자세 추정부(19)는, 상호 상관 V를 이용한 평가를 통해 정보들이 추정되는 새 후보(이동체)에 대한 이동체 정보(6)에 새 종류, 3축 자세, 및 날개 퍼덕임 각도를 첨가해서, “새 후보 정보(10)”를 생성하고, 이 새 후보 정보(10)를 저장부(2)에 저장한다(도 4의 S9).

이어서, 비행 경로 추정부(21)는 이하의 절차를 통해 새 후보(이동체)의 비행 경로를 추정하고, 비행 경로 추적 정보(18)를 새로 생성하거나 갱신한다(도 4의 S10).

먼저, 비행 경로 추정부(21)는 새 종류/자세 추정부(19)에 의해 추정된 새 종류로부터 해당 새의 실제 체장을 추정한다. 이어서, 자세 추정값을 바탕으로, 새 후보의 화상 상에서의 체장을 계산하고, 이 체장 추정값, 화상 상에서의 사이즈, 및 촬상 장치(3)의 초점 거리를 바탕으로, 간단한 비율을 통해 촬상 장치(3)로부터 새까지의 거리도 계산한다. 촬상 장치(3)의 설치 위치 및 촬상 시의 배향 방위는 알려져 있으므로, 설치 위치 및 배향 방위에 기초하여 지도 상에서의 새의 위치를 산출한다.

이어서, 비행 경로 추정부(21)는 새 후보(이동체)의 산출한 종류와 지도 상에서의 위치를, 현재 시각 이전의 비행 경로 추적 정보(18)와 비교함으로써, 새 후보 정보(10)을 비행 경로 추적 정보(18)와 연관시킨다. 비행 경로 추적 정보(18)와 연관될 수 있는 정보가 없는 경우에는, 신규로 정보를 추가한다.

이어서, 최종 판정으로서, 새 검출 최종 판정부(23)는, 비행 경로 추적 정보(18)를 새 종류 특성 라이브러리(14)에 기록된 새 종류에 고유한 생태 특징과 비교해서(도 4의 S11), 새로서 명백하게 문제가 있는 새 후보(이동체)를 제외한다(도 4의 S12).

구체적으로는, 새 검출 최종 판정부(23)는, 이동체의 자세와 비행 방향 간의 일치성을 확인한다(도 5의 S21).

즉, 새 검출 최종 판정부(23)는, 새로서 1차 판정된 이동체가 예를 들어, 후방이나 배후 방향과 같은 보통은 불가능한 방향인 방향을 향해 비행하고 있는지의 여부를 확인한다.

이어서, 새 검출 최종 판정부(23)는, 새로서 1차 판정된 이동체가, 새 종류에 고유한 비행 속도 및 날개 퍼덕임 횟수의 범위들로부터 일탈한 운동을 하고 있는지의 여부를 확인한다(도 5의 S22).

이러한 확인들에 기초하여 그리고 시계열적으로 각각의 새들의 자세 및 날개 퍼덕임을 관측하여 취득된 정보로부터, 새 검출 최종 판정부(23)는, 이동체가 새 인지의 여부를 최종적으로 판정한다(도 5의 S23).

최종 판정의 결과로서 이동체가 새인 것으로 판정된 경우는, 해당 이동체에 관한 비행 경로 추적 정보(18)를 추가 또는 갱신한다(도 5의 S24). 이동체가 새가 아닌 것으로 판정된 경우는, 해당 이동체에 대한 비행 경로 추적 정보(18)를 삭제한다(도 5의 S25 및 도 4의 S12).

이와 같이, 물체 검출 시스템(1)에서, 새 검출 최종 판정부(23)는, 이동체가 새 인지의 여부를, 형상 정보뿐만 아니라, 각각의 새 종류의 특성들, 예를 들어 비행 자세, 비행 속도, 및 날개 퍼덕임 횟수에 기초하여 판별하도록 구성된다.

따라서, 이동체가 새 인지의 여부가 보다 정확하게 판별될 수 있다.

마지막으로, 경보 통지부(25)는 비행 경로 추적 정보(18)와 중점 모니터링 영역 정보(16)을 서로 비교함으로써, 새가 중점 모니터링 영역에 침입할 가능성이 있는지의 여부를 판정한다. 새가 해당 영역에 침입할 가능성이 있다고 판정되는 경우에, 경보 통지부(25)는 중점 모니터링 영역을 모니터링하는 시스템 또는 감시 책임자에게 경보를 발행한다(도 4의 S13).

구체적으로 경보로서 발행될 내용은, 경보가 경고 대상인 시스템 또는 감시 책임자가 경보를 인식할 수 있게 하는 것이라면, 특별히 한정되는 것은 아니고, 그 예들은 시스템 또는 감시 책임자에의 경보 정보의 송신, 물리적인 음성, 광, 등을 발하는 것을 포함할 수 있다. 또한, 새의 비행 궤적은, 경보 대신에, 디스플레이 등에 항상 표시될 수 있다.

물체 검출 시스템(1)의 동작에 대해서 설명된다.

본 실시예에 따르면, 물체 검출 시스템(1)은, 이동체를 촬상해서 화상을 취득하는 촬상 장치(3), 및 물체 검출 판정부(7)를 포함하는 물체 검출 장치(5)를 포함한다. 물체 검출 판정부(7)는 이동체를 촬상하여 취득한 화상으로부터, 이동체가 새 인지의 여부를 판정하는 새 후보 판정부(17), 및 새 후보 판정부(17)에 의해 새라고 판정된 이동체의 윤곽과, 새의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보를 저장하는 WFM 라이브러리(9)에 기초하여, 이동체의 새 종류를 추정하는 새 종류/자세 추정부(19)를 포함한다.

그로 인해, 물체 검출 시스템(1)은 이동체의 종류를 정확하게 판별 가능하다.

이상, 실시예 및 예에 기초하여 본 발명을 설명했지만, 이들 실시예 및 예는 단지 예를 들어서 발명을 설명하기 위한 것으로서, 본 발명의 범위를 이들에 한정하려는 것을 의미하는 것이 아니다. 본 기술 분야의 숙련자라면 상기 설명에 기초하여 각종 변형 예들 및 개량 예들에 상도하고, 이들 변형 예들 및 개량 예들도 본 발명의 범위에 포함되는 것이라고 이해된다.

예를 들어, 상기한 실시예에서는, 본 발명을 공항 또는 풍력 발전 설비(풍차)에서의 버드 스트라이크(Bird strike) 방지 장치에 적용한 경우에 대해서 설명했지만, 본 발명은 전혀 이것에 한정되지 않는다. 본 발명은 새들의 비행 및 도착을 감시하기 위해 필요한 임의의 장치, 예를 들어 새들 또는 동물들에 의해 야기된 농장에서의 먹이 손상 방지를 위한 장치에 적용 가능하다.

또한, 상기 실시예에 따르면, 이동체의 외형으로부터 새 종류를 추정하고 있지만, 본 실시예의 적용 대상은 새 종류의 추정에 한정되는 것이 아니라, 이동체의 종류가 외형으로부터 식별될 수 있는 한, 검출 대상은 새 이외의 임의의 동물, 예컨대 인간 또는 포유 동물, 또는 사용자에 의해 설정된 임의의 물체일 수 있다.

또한, 상기한 실시예에 따르면, 물체 검출 시스템(1)은 하나의 촬상 장치(3)와 하나의 물체 검출 장치(5)를 갖고 있지만, 촬상 장치(3)의 수와 물체 검출 장치(5)의 수는 1대에 한하지 않고, 각각의 장치들은 복수 개 동시에 연결될 수 있다. 이 경우, 각각의 촬상 장치(3)의 출력 화상 정보들은 모든 물체 검출 장치(5)들에 병렬로 출력되고, 물체 검출 장치(5)는 유저의 조작을 통해 입력이 처리되는 촬상 장치(3)들 중 하나를 선택할 수 있다.

상기 물체 검출 장치(5)의 각각의 부는, 하드웨어와 소프트웨어의 조합을 사용해서 실현될 수 있다. 하드웨어와 소프트웨어가 조합되어 사용되는 모드에서는, 컴퓨터를 물체 검출 장치(5)로서 동작시키기 위한 프로그램이 RAM 상에서 전개되고, 프로그램에 기초하여 하드웨어 컴포넌트, 예를 들면 제어부(CPU)가 동작됨으로써, 각각의 부를 각종 컴포넌트들로서 동작시키게 한다. 또한, 상기 프로그램은, 기억 매체에 기록되어서 배포될 수 있다. 해당 기록 매체에 기록된 프로그램은, 유선 또는 무선 또는 기록 매체 자체를 통해, 메모리에 판독되어, 제어부 등을 동작시킨다. 기록 매체의 예들은 광 디스크, 자기 디스크, 반도체 메모리 장치, 및 하드 디스크를 포함한다.

이 출원은, 2014년 5월 7일에 출원된 일본 특허 출원 제2014-095815호를 기초로 하는 우선권을 주장하고, 그 개시의 전체 내용을 여기에 도입한다.

1: 물체 검출 시스템
2: 저장부
3: 촬상 장치
5: 물체 검출 장치
6: 이동체 정보
7: 물체 검출 판정부
9: WFM 라이브러리
10: 새 후보 정보
13: 화상 데이터 입력 처리부
14: 새 종류 특성 라이브러리
15: 새 후보 화상 추출부
16: 중점 모니터링 영역 정보
17: 새 후보 판정부
18: 비행 경로 추적 정보
19: 새 종류/자세 추정부
21: 비행 경로 추정부
22: 동작 프로그램
23: 새 검출 최종 판정부
24: 새 판별 라이브러리
25: 경보 통지부

Claims

물체 검출 장치로서,
이동체를 촬상하여 취득한 화상으로부터, 상기 이동체가 특정한 검출 대상인지의 여부를 판정하는 1차 판정부; 및
상기 1차 판정부에 의해 상기 특정한 검출 대상이라고 판정된 상기 이동체의 윤곽과, 상기 특정한 검출 대상의 각각의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보에 기초하여, 상기 특정한 검출 대상의 종류들 중 상기 이동체의 종류를 추정하는 물체 검출 판정부
를 포함하고,
상기 특정한 검출 대상은 새를 포함하고;
상기 물체 검출 장치는 상기 화상으로부터 상기 새의 윤곽을 추출하는 새 화상 후보 추출부를 추가로 포함하고;
상기 물체 검출 판정부는 상기 윤곽으로부터 상기 새의 종류를 추정하는 새 검출 판정부를 포함하는, 물체 검출 장치.
삭제
제1항에 있어서,
상기 새 화상 후보 추출부는 상기 화상으로부터 추출한 상기 새의 윤곽선을 포함하는 정보를 이동체 정보로서 저장하도록 구성되고;
상기 새 검출 판정부는,
상기 새의 각각의 종류들에 대한 표준적인 체형과 날개 퍼덕임(wing flap)을 모의하는 와이어 프레임 상의 정보와, 상기 새의 각각의 종류들에 대한 3축에 관한 회전 각도들 및 날개 퍼덕임의 각도를 각각 일정한 비율로 변경한 경우의 평면 투사 윤곽 형상 정보를 저장하는 와이어 프레임 모형 라이브러리; 및
상기 이동체 정보와 상기 와이어 프레임 모형 라이브러리를 비교해서 상기 새의 종류 및 자세를 추정하는 새 종류/자세 추정부
를 포함하는, 물체 검출 장치.
제3항에 있어서,
상기 이동체 정보 및 상기 평면 투사 윤곽 형상 정보는 기준점으로부터 상기 윤곽까지의 거리를 파라미터로서 갖는 벡터를 포함하고;
상기 새 검출 판정부는 상기 벡터의 상호 상관이 상기 새 종류들 각각에 대해 설정된 임계치를 초과한 경우에 상기 이동체를 대응하는 새 종류로서 추정하도록 구성되는, 물체 검출 장치.
제3항 또는 제4항에 있어서,
상기 새 종류/자세 추정부는, 상기 이동체 정보와 상기 와이어 프레임 모형 라이브러리를 서로 비교할 때, 상기 이동체를 촬상하는 촬상 장치 및 상기 이동체에 관한 일반적 특징들을 사전 정보로서 채택하고, 상기 사전 정보를 바탕으로, 상기 이동체의 상기 윤곽과의 상관 확률에 대해 내림차순으로 상기 평면 투사 윤곽 형상 정보를 상기 이동체 정보와 비교함으로써, 상기 새의 종류를 추정하도록 구성되는, 물체 검출 장치.
제3항 또는 제4항에 있어서,
상기 새 종류/자세 추정부에 의해 추정된 상기 새의 상기 종류 및 상기 자세로부터 상기 새의 비행 경로를 추정하는 비행 경로 추정부를 추가로 포함하는, 물체 검출 장치.
제6항에 있어서,
상기 새 종류/자세 추정부에 의해 추정된 상기 새의 상기 종류 및 상기 자세와 상기 비행 경로 추정부에 의해 추정된 상기 비행 경로로부터, 상기 이동체의 상기 자세와 비행 방향과의 일치성, 및 상기 새 종류에 고유한 비행 속도와 날개 퍼덕임 횟수(wing flap frequency)와의 일치성을 확인하여, 상기 이동체가 새 인지의 여부를 최종 판정하는 새 검출 최종 판정부를 추가로 포함하는, 물체 검출 장치.
제6항에 있어서,
상기 비행 경로로부터, 상기 새가 미리 설정된 영역에 침입할 가능성이 있는지의 여부를 판정하고, 상기 가능성이 있는 경우에는 경보를 생성하는 경보 통지부를 추가로 포함하는, 물체 검출 장치.
컴퓨터를 물체 검출 장치로서 동작시키기 위한 프로그램을 갖는 컴퓨터 판독가능한 기록 매체로서,
상기 물체 검출 장치가,
이동체를 촬상하여 취득한 화상으로부터, 상기 이동체가 특정한 검출 대상인지의 여부를 판정하는 1차 판정부; 및
상기 1차 판정부에 의해 상기 특정한 검출 대상이라고 판정된 상기 이동체의 윤곽과, 상기 특정한 검출 대상의 각각의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보에 기초하여, 상기 특정한 검출 대상의 상기 종류들 중 상기 이동체의 종류를 추정하는 물체 검출 판정부
를 포함하고,
상기 특정한 검출 대상은 새를 포함하고;
상기 물체 검출 장치는 상기 화상으로부터 상기 새의 윤곽을 추출하는 새 화상 후보 추출부를 추가로 포함하고;
상기 물체 검출 판정부는 상기 윤곽으로부터 상기 새의 종류를 추정하는 새 검출 판정부를 포함하는, 컴퓨터 판독가능한 기록 매체.
물체 검출 방법으로서,
(a) 이동체를 촬상해서 화상을 취득하는 단계;
(b) 상기 화상으로부터, 상기 이동체가 특정한 검출 대상인지의 여부를 1차 판정하는 단계; 및
(c) 상기 1차 판정에 의해 상기 특정한 검출 대상이라고 판정된 상기 이동체의 윤곽과, 상기 특정한 검출 대상의 각각의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보에 기초하여, 상기 특정한 검출 대상의 상기 종류들 중 상기 이동체의 종류를 추정하는 단계
를 포함하고,
상기 특정한 검출 대상은 새를 포함하고;
상기 물체 검출 방법은 상기 화상으로부터 상기 새의 윤곽을 추출하는 단계를 추가로 포함하고;
상기 이동체의 종류를 추정하는 단계는 상기 윤곽으로부터 상기 새의 종류를 추정하는 단계를 포함하는, 물체 검출 방법.
물체 검출 시스템으로서,
이동체를 촬상해서 화상을 취득하는 촬상 장치;
상기 화상으로부터, 상기 이동체가 특정한 검출 대상인지의 여부를 판정하는 1차 판정부; 및
상기 1차 판정부에 의해 상기 특정한 검출 대상이라고 판정된 상기 이동체의 윤곽과, 상기 특정한 검출 대상의 각각의 종류들에 대해 준비된 윤곽인 윤곽 형상 정보에 기초하여, 상기 특정한 검출 대상의 상기 종류들 중 상기 이동체의 종류를 추정하는 물체 검출 판정부
를 포함하고,
상기 특정한 검출 대상은 새를 포함하고;
상기 물체 검출 시스템은 상기 화상으로부터 상기 새의 윤곽을 추출하는 새 화상 후보 추출부를 추가로 포함하고;
상기 물체 검출 판정부는 상기 윤곽으로부터 상기 새의 종류를 추정하는 새 검출 판정부를 포함하는, 물체 검출 시스템.
제11항에 있어서,
상기 촬상 장치는, 단일 모니터링 카메라를 포함하는, 물체 검출 시스템.