KR20160143543A

KR20160143543A - 차량의 충돌 회피 지원 장치

Info

Publication number: KR20160143543A
Application number: KR1020160068152A
Authority: KR
Inventors: 에드가루요시오 모라레스데라오카; 신 다나카; 요시타카 오이카와
Original assignee: 도요타지도샤가부시키가이샤
Priority date: 2015-06-05
Filing date: 2016-06-01
Publication date: 2016-12-14
Also published as: CN106240560B; RU2016121640A; JP6481520B2; BR102016012783A2; MY186583A; RU2666071C2; KR101824803B1; CA2932089C; CN106240560A; EP3101641B1; CA2932089A1; US20160355181A1; JP2017004106A; EP3101641A1; US9849876B2; BR102016012783B1

Abstract

차량의 충돌 회피 지원 장치이며,
상기 차량의 주변 화상을 취득하도록 구성되어 있는 촬상부와;
상기 화상에 있어서 동물의 상의 유무를 검출하도록 구성되어 있는 동물상 검출부와;
상기 화상에 있어서 동물의 상이 검출된 경우에 상기 동물의 종류를 판별하도록 구성되어 있는 동물 종류 판별부와;
상기 판별된 동물의 종류의 행동 특징을 나타내는 행동 특징 지표값에 기초하여 장래의 상기 동물의 존재 영역의 예측을 실행하도록 구성되어 있는 동물 존재 영역 예측부와;
상기 장래의 상기 동물의 존재 영역의 예측 결과에 기초하여 상기 차량에 대한 상기 동물의 충돌 가능성을 판정하도록 구성되어 있는 충돌 가능성 판정부; 및
상기 차량에 대한 상기 동물의 충돌 가능성이 있다고 판정되었을 때에 충돌 회피를 위한 지원 처리를 실행하도록 구성되어 있는 지원 처리 실행부를 포함한다.

Description

차량의 충돌 회피 지원 장치 {COLLISION AVOIDANCE ASSISTANCE DEVICE FOR A VEHICLE}

본 발명은 자동차 등의 차량의 충돌 회피 지원 기술에 관한 것이고, 보다 상세하게는, 주행 중인 차량의 동물에 대한 충돌을 회피하기 위한 장치에 관한 것이다.

자동차 등의 차량의 운전 지원 기술의 분야에 있어서, 주행 중인 차량의 전방을 차량 탑재의 비디오 카메라나 레이더 센서를 사용하여 감시하고, 다른 차, 사람, 동물 등의 대상물이 검출된 경우에, 그들 대상물과의 충돌 가능성의 유무를 예지하고, 대상물과의 충돌을 회피하기 위한 지원을 행하는 시스템의 구성이 다앙하게 제안되어 있다. 예를 들어, 일본 특허 공개 제2010-020401, 일본 특허 공개 제2010-108507에 있어서는, 차량 탑재 카메라의 화상에 있어서 검출된 대상물이 사람인지 4족 동물인지를 판정하고, 4족 동물이었을 때에는, 4족 동물이 그 헤드부의 방향으로 이동할 가능성이 높은 것을 고려하여 그 4족 동물의 이동 후의 존재 영역을 추정하고, 추정된 4족 동물의 존재 영역과 차량의 장래의 존재 영역이 겹치는지 여부를 판정함으로써 충돌 가능성을 검출하는 구성이 개시되어 있다.

일본 특허 공개 제2009-301283에서는 대상물과의 충돌 가능성이 있을 때, 대상물이 사람이었던 경우와 4족 동물이었던 경우에, 충돌 가능성의 통보의 빈도와 타이밍을 변경하는 것이 제안되어 있다. 또한, 촬영된 화상에서 검출된 대상물이 4족 동물인지 여부의 인식 방법에 관하여, 일본 특허 공개 제2010-113550, 일본 특허 공개 제2010-092429, 일본 특허 공개 제2010-009372에 있어서는, 대상물의 상의 자세를 나타내는 벡터의 각도가 주기적으로 변화하고 있는지 여부에 의해(일본 특허 공개 제2010-113550), 대상물의 상의 하방의 구성에 있어서 발의 운동에 상당하는 상 요소의 변화가 있는지 여부에 의하거나(일본 특허 공개 제2010-092429), 또는, 대상물의 상에 4족 동물의 척추와 4족에 상당하는 상 요소가 있는지 여부에 의해(일본 특허 공개 제2010-009372), 대상물이 4족 동물인지 여부를 판정하는 구성이 제안되어 있다.

그런데, 일반적으로, 차량의 주행로에 진입해 오는 동물, 예를 들어 말, 소, 양 등의 가축, 사슴, 영양, 곰, 캥거루 등의 야생 동물은 각각, 그 종류에 따라, 행동의 패턴 또는 행동의 특징이 다르다. 예를 들어, 차량이 접근했을 때의 동물의 행동에 있어서는, 그 종류에 따라, 차량으로부터 떨어지는(도망치는) 경우, 그 자리에 내내 서 있는 경우, 차량에 접근하는 경우, 또는, 주행로에 뛰어들어 오는 경우 등이 있고, 또한 그 이동 속도나 이동 방향도, 동물의 종류에 따라 다르다. 따라서, 차량의 진행 방향의 주행로 또는 그 주변의 화상에 있어서 동물이 발견된 경우, 그 종류를 특정하지 않으면, 동물이, 그 후, 어느 부근으로 이동할지, 즉, 장래에 있어서의 동물이 존재하는 위치 또는 존재할 확률이 높은 영역을 추정하는 것은 곤란하고, 차량과 동물의 충돌 가능성을 고정밀도로 판정하는 것도 곤란해질 수 있다. 이 점에 관하여, 대상물이 동물인 경우에, 종류가 특정되지 않고, 행동의 경향을 예측할 수 없는 상황 하에 있어서는, 촬영 화상 위의 동물의 상이, 어느 방향으로 어느 정도의 속도로 이동할지를 알 수 없으므로, 그 동물의 장래의 존재 영역의 예측에 있어서, 동물의 행동 경향의 파악 또는 동물의 상의 추적을 위해 화상 위의 비교적 넓은 영역에서 화상 해석이 필요해질 수 있다. 그러나, 화상 정보는 이차원의 좌표값과 휘도와 시간을 갖는 사차원의 정보이고, 화상 영역의 해석 범위가 넓어지면, 연산 부하 및 처리 시간이 대폭으로 증대되므로, 신속한 충돌 가능성의 판단과 충돌 회피를 위한 지원을 달성하기 위해, 보다 고성능의 연산 처리 장치와 메모리가 필요해져, 비용이 증대화되게 된다.

또한, 동물의 행동 특징이 다른 경우에는, 충돌 회피를 위한 유효한 지원도 달라지게 된다. 차량의 전방에 발견된 동물에 대해, 소리나 빛에 의한 경보를 부여한 경우, 동물의 종류에 따라, 경보에 민감하게 반응하여 차량으로부터 떨어지는 경우나 경보에 완전히 반응하지 않고, 거의 행동을 바꾸지 않고 주행로에 진입된 경우가 있다. 특히, 전자의 경우에는, 소리 또는 빛의 경보를 발하는 등 하여 차량의 제동ㆍ조타를 실행하지 않고, 충돌의 회피가 가능하지만, 후자의 경우에는, 차량의 제동 또는 조타를 실행함으로써 충돌의 회피가 가능해진다. 반대로, 경보만으로 충돌의 회피가 가능한 경우의 차량의 제동ㆍ조타에 의한 운전 지원, 또는 차량의 제동ㆍ조타에 의해 충돌의 회피가 가능한 경우의 경보 발생은, 각각, 무용의 지원이 된다. 따라서, 차량의 진행 방향의 주행로 또는 그 주변의 화상에 대상물로서 동물이 발견된 경우에는, 동물의 종류에 따라, 보다 적절한 형태로 충돌 회피를 위한 지원을 제공할 수 있는 것이 바람직하다.

본 발명은 차량의 충돌 회피 지원 장치에 있어서, 차량의 주행로 또는 그 주변에 있어서 동물이 발견된 경우에, 그 동물의 종류를 특정한다. 그리고, 그 종류의 행동 특징에 기초하여, 보다 높은 확실도로, 동물의 장래의 존재 영역을 추정하고, 충돌 가능성의 판정을 행한다.

본 발명의 제1 형태는, 차량의 충돌 회피 지원 장치이며,

상기 차량의 주변 화상을 취득하도록 구성되어 있는 촬상부와;

상기 화상에 있어서 동물의 상의 유무를 검출하도록 구성되어 있는 동물상 검출부와;

상기 화상에 있어서 동물의 상이 검출된 경우에 상기 동물의 종류를 판별하도록 구성되어 있는 동물 종류 판별부와;

상기 판별된 동물의 종류의 행동 특징을 나타내는 행동 특징 지표값에 기초하여 장래의 상기 동물의 존재 영역의 예측을 실행하도록 구성되어 있는 동물 존재 영역 예측부와;

상기 장래의 상기 동물의 존재 영역의 예측 결과에 기초하여 상기 차량에 대한 상기 동물의 충돌 가능성을 판정하도록 구성되어 있는 충돌 가능성 판정부; 및

상기 차량에 대한 상기 동물의 충돌 가능성이 있다고 판정되었을 때에 충돌 회피를 위한 지원 처리를 실행하도록 구성되어 있는 지원 처리 실행부를 포함한다.

상기의 구성에 있어서, 「동물」의 종류는, 말, 소, 양, 사슴, 영양, 곰, 캥거루, 그 밖의 4족 보행 동물이어도 된다. 「판별된 종류의 동물의 행동 특징」이라 함은, 차량이 동물에 접근했을 때의, 그 동물의 다양한 행동 패턴(또는 행동의 형태), 예를 들어 차량으로부터 떨어지고(도망침), 그 자리에 머물고(내내 서 있음), 주행로에 뛰어들어 오는 것 등이 발생할 가능성이 있는 행동 패턴의 특징(판별된 종류의 동물의 행동 패턴을 취하기 쉬움, 또는 다양한 행동 패턴을 취할 확률 등)이어도 된다. 「행동 특징 지표값」이라 함은, 동물의 종류마다의 「행동의 특징」을 나타내는 값이어도 된다. 「행동 특징 지표값」으로서는, 미리 조사를 통해 얻어진 개개의 동물의 종류에 있어서 발생할 수 있는 행동 특징의 정보의 각각에 부여된 플래그값이어도 된다. 보다 구체적으로는, 후술하는 바와 같이, 미리 조사를 통해 얻어진 개개의 동물의 종류에 있어서 발생할 수 있는 행동의 형태에 대한 발생 확률을 나타내는 값, 발생할 수 있는 행동의 형태에 있어서의 이동 속도 및/또는 방향을 나타내는 값 등이어도 된다. 그리고, 이 「행동 특징 지표값」을 사용하여 이루어지는 「장래의 동물의 존재 영역의 예측」은, 구체적으로는, 동물이 장래에 있어서 존재하는 경계의 획정된 영역, 또는 장래의 이동 경로가 예측되어도 된다. 이후에 상세하게 설명하는 바와 같이, 차량 주변의 평면 영역에 있어서의 동물의 장래의 존재 확률의 분포가 결정되어도 된다. 실시 형태에 있어서는, 동물 존재 영역 예측부에 있어서, 차량의 주행로에 진입할 수 있다고 상정되는 종류의 동물의 「행동 특징 지표값」의 데이터의 군을 미리 기억한 행동 특징 지표값 기억부가 설치되고, 판별된 동물의 종류의 행동 특징 지표값이 행동 특징 지표값 기억부에 기억된 데이터의 군에서 선택되도록 되어 있어도 된다. 또한, 상기의 촬상부는 차량의 주변을 촬영하여 화상을 생성하는 차량 탑재 카메라 등이어도 된다. 동물상 검출부 및 동물 종류 판별부는 임의의 형태로, 예를 들어 에지 추출법이나 패턴 매칭법 등의 임의의 화상 처리법에 의해, 촬영된 화상에 있어서의 동물의 상의 검출, 동물의 종류의 판별을 하는 부에 의해 실현되어도 된다.

상기의 구성에 의하면, 차량의 주행 중에 있어서, 차량 탑재 카메라 등의 촬상부에 의해 취득된 차량의 주변 화상에 있어서, 동물의 상이 검출되면, 먼저, 그 동물의 종류의 판별이 이루어지고, 그 판별된 종류의 동물의 「행동의 특징」의 정보를 사용하여, 동물의 존재 영역의 예측이 실행된다. 이 경우, 예측되는 동물의 존재 영역의 정보에 있어서는, 발견된 동물의 종류의 행동 특징이 반영되게 된다. 따라서, 그 예측 결과는 종전보다도 고정밀도 또는 고확실도인 것이 기대된다. 또한, 이에 의해, 차량의 주변 화상에 있어서 발견된 동물이 차량에 대해 충돌할지 여부의 가능성도, 보다 고정밀도 또는 고확실도로 판정 가능해진다.

또한, 상기 형태에 있어서, 판별된 동물의 종류에 기초하여 충돌 회피를 위한 지원 처리의 형태를 선택하도록 구성되어 있는 지원 처리 선택부를 더 포함해도 된다. 그리고, 지원 처리 실행부가, 선택된 형태의 지원 처리를 실행하도록 구성되어 있어도 된다. 이미 설명한 바와 같이, 차량이 접근했을 때의 동물의 행동 특징이 종류에 따라 다르다. 따라서, 충돌 회피를 위해 효과적인 지원도 동물의 종류에 따라 달라지게 된다. 예를 들어, 소리나 빛에 반응하여 차량으로부터 떨어지는 종류의 동물에 대해서는, 경보의 발생이 유효하다. 동물이 경보에 반응하지 않고 주행로에 진입된 종류의 동물에 대해서는, 동물의 존재 영역으로의 차량의 진입을 회피하기 위해 차량의 제동ㆍ조타에 의한 지원이 유효하다. 즉, 판별된 동물의 종류에 따라, 유효한 지원 처리의 형태도 다르다. 따라서, 차량의 주변에 동물이 발견되고, 그 동물이 차량에 대해 충돌할 가능성이 있다고 판정된 경우에는, 또한, 지원 처리의 형태를, 그 동물의 종류에 따라, 선택할 수 있도록 되어 있어도 된다. 이 형태에 의해, 보다 적절한 충돌 회피를 위한 운전 지원을 제공할 수 있다. 또한, 이것에 의해, 불필요한 지원 처리를 실행하는 것에 의한, 주변 또는 운전자 또는 탑승원의 불쾌감이나 위화감을 억제하는 것도 가능해진다.

상기 형태에 있어서, 동물 존재 영역 예측부에 있어서 실행되는 장래의 존재 영역의 예측에 관하여, 보다 상세하게는, 예측 결과는 다양한 형태로 표현될 수 있다. 예를 들어, 하나의 형태로서, 차량 주변의 평면 영역에 있어서의 화상에 있어서 동물이 검출된 위치로부터의 궤적으로서 표현되어도 된다. 또한, 장래에 있어서, 예를 들어 화상에 있어서 검출된 시간으로부터 임의의 시간 후에, 동물이 존재할 수 있는 영역이 획정되어도 된다. 또한, 후술하는 실시 형태의 란에 있어서 설명되어 있는 바와 같이, 차량 주변의 평면 영역에 있어서의 동물의 장래의 존재 확률의 분포로서 표현되어도 된다. 이들 동물의 장래의 존재 영역의 예측은 화상으로부터 얻어지는 동물의 현재의 방향, 위치 및 이동 속도와, 동물의 판별된 종류의 행동 특징 지표값(예를 들어, 상기와 같이, 동물의 판별된 종류에 있어서, 발생할 수 있는 행동의 형태에 대한 발생 확률을 나타내는 값, 발생할 수 있는 행동의 형태에 있어서의 이동 속도 및/또는 방향을 나타내는 값)을 사용하여 실행된다. 따라서, 동물의 장래의 존재 영역의 예측 결과에 있어서는, 동물의 판별된 종류의 행동 특징이 반영되어 있으므로, 그 결과의 정밀도 또는 확실도가 보다 향상되는 것이 기대된다. 또한, 충돌 가능성의 판정에 있어서, 주목해야 할 영역 또는 해석해야 할 영역을 좁힐 수 있다. 이에 의해, 연산 부하와 처리 시간의 저감을 도모하는 것이 가능해진다. 또한, 상기 형태에 있어서, 동물 존재 영역 예측부가, 동물의 판별된 종류의 행동 특징 지표값과 동물의 현재의 방향, 위치 및 이동 속도를 사용하여, 장래의 상기 동물의 존재 영역의 예측 결과로서, 차량 주변의 평면 영역에 있어서의 동물의 장래의 존재 확률의 분포를 생성하도록 구성되어 있어도 된다. 또한, 동물의 판별된 종류의 행동 특징 지표값은, 판별된 동물의 종류에 있어서 예상될 수 있는 행동 패턴에 있어서 발생할 수 있는 동물의 이동 방향 및 이동 속도와 그 행동 패턴의 발생 확률을 포함하고 있어도 된다.

또한, 동물의 종류에 따라, 동물이 단독으로 존재할 때와, 복수로 이루어지는 군을 형성하고 있을 때에, 행동의 형태 또는 패턴이 다른 경우가 있다. 따라서, 상기 형태에 있어서, 동물 종류 판별부가 화상에 있어서 검출된 상의 동물이 군을 형성하고 있는지 여부를 판별하여, 판별된 종류의 동물이 군을 형성하고 있는 경우와 개체로 존재하고 있는 경우에 행동의 특징이 다를 때에는, 상의 동물이 군을 형성하고 있다고 판별되었을 때와 판별되지 않았을 때에 있어서, 다른 행동 특징 지표값을 사용하여 장래의 동물의 존재 영역의 예측을 실행하도록 구성되어 있어도 된다. 이에 의해, 동물이 군을 형성하고 있는 경우의 장래의 동물의 존재 영역의 예측 결과의 확실도의 가일층의 향상이 기대된다.

상기 형태에 있어서의 차량에 대한 동물의 충돌 가능성의 판정에 있어서는, 단적으로 설명하면, 상기와 같이 동물의 종류의 행동 특징을 고려하여 얻어진 장래의 동물의 존재 영역의 예측 결과를 참조하여, 동물이 차량의 진행 경로 또는 장래의 존재 영역에 진입할 수 있는지 여부에 의해, 차량에 대한 동물의 충돌 가능성이 있는지 여부가 판정되게 된다. 이 처리에 있어서, 보다 고정밀도로, 충돌 가능성을 판정하기 위해, 상기 형태에 있어서, 차량의 장래의 존재 영역의 예측을 실행하는 차량 존재 영역 예측부가 설치되고, 충돌 가능성 판정부가, 장래의 동물의 존재 영역의 예측 결과와 차량의 장래의 존재 영역의 예측 결과에 기초하여 차량에 대한 동물의 충돌 가능성이 있는지 여부를 판정하도록 구성되어 있어도 된다. 차량의 장래의 존재 영역의 예측에 있어서, 그 예측 결과는 차량의 현재의 위치로부터 차속 등의 운동 상태에 기초하여 결정되는 장래 궤적으로서 표현되어도 되고, 장래에 있어서, 예를 들어 화상에 있어서 동물이 검출된 시간으로부터 임의의 시간 후에, 차량이 존재할 수 있는 영역이 획정되어도 된다. 또한, 후술하는 실시 형태의 란에 있어서 설명되어 있는 바와 같이, 차량 주변의 평면 영역에 있어서의 차량의 장래의 존재 확률의 분포로서 표현되어도 된다. 그 경우, 충돌 가능성 판정부는 동물의 장래의 존재 확률의 분포와 차량의 장래의 존재 확률의 분포에 기초하여 차량에 대한 동물의 충돌 가능성을 판정하도록 구성되어 있어도 된다. 구체적으로는, 예를 들어 후술하는 바와 같이 소정의 거리의 범위 내에 동물이 존재할 확률이 높은 영역 또는 위치와 차량이 존재할 확률이 높은 영역 또는 위치가 존재할 때, 또는, 차량 주변의 평면 영역에 있어서, 동물과 차량이 동시에 존재할 확률이 높은 영역이 존재할 때에, 충돌 가능성이 있다고 판정되어도 된다.

주행 중인 차량의 주변에 동물이 존재하는지 여부를 검출하여 충돌 가능성을 판단하고, 충돌 회피를 위한 지원 처리를 실행하는 장치가 다양하게 제안되어 있었다. 그러나, 이들 장치에 있어서는, 동물의 종류를 판별하는 처리는 실행되어 있지 않고, 따라서, 동물의 종류에 의한 행동 특징의 차이를 고려하여 동물의 행동을 예측하는 등의 것은 이루어져 있지 않았다. 그 경우, 차량의 주행 중, 그 주변에 동물의 존재가 검출되어도, 그 검출된 동물의 이동 방향이나 이동 속도 등의 행동이 실질적으로 불확정이 되므로, 장래의 존재 영역을 고정밀도로 예측하는 것이 곤란하게 되어 있었다.

한편, 상기 형태에 있어서는, 주행 중인 차량의 주변에 동물이 검출된 경우에는, 상기와 같이, 먼저, 그 동물의 종류의 판별이 이루어지고, 그 종류의 동물의 행동 특징이 참조되고, 동물이, 차량 주변에 있어서, 그 후에 어떻게 이동하는지를, 동물의 종류마다 예측할 수 있게 된다. 그렇게 하면, 상기와 같이, 동물의 존재 영역 또는 그 가능성이 높은 영역을, 보다 고정밀도로 추정할 수 있고, 차량에 대한 동물의 충돌 가능성의 유무도 보다 고정밀도로 예측할 수 있게 되므로, 정확하게 충돌 회피를 위한 지원을 실행할지 여부를 결정할 수 있게 된다. 또한, 이미 언급한 바와 같이, 검출된 동물의 종류에 따라 예측되는 장래의 행동 경향이 파악됨으로써, 차량의 주변 영역에 있어서 충돌 회피를 위한 지원에 관련한 처리의 실행 대상 영역이 좁혀지(좁아지게 되)므로, 연산 부하와 처리 시간이 저감되어, 충돌 가능성 유무의 판정, 지원 처리 필요성의 판정, 지원 처리의 제공이 신속히 달성 가능해지는 것이 기대된다. 또한, 동물의 종류에 따라 지원 처리의 형태를 결정하는 구성의 경우에는, 검출된 동물에 대해 보다 유효한 지원을 실행하는 것이 가능해지고, 불필요한 지원의 실행을 피할 수 있는 점에서 유리하다.

본 발명의 제2 형태는, 차량의 충돌 회피 지원 장치이며,

상기 차량의 주변 화상을 취득하는 화상 취득 장치와;

전자 제어 장치를 포함하고,

상기 전자 제어 장치는,

상기 화상에 있어서 동물의 상의 유무를 검출하도록 구성되어 있는 동물상 검출부와,

상기 화상에 있어서 동물의 상이 검출된 경우에 상기 동물의 종류를 판별하도록 구성되어 있는 동물 종류 판별부와,

상기 판별된 동물의 종류의 행동 특징을 나타내는 행동 특징 지표값에 기초하여 장래의 상기 동물의 존재 영역의 예측을 실행하도록 구성되어 있는 동물 존재 영역 예측부와,

상기 장래의 상기 동물의 존재 영역의 예측 결과에 기초하여 상기 차량에 대한 상기 동물의 충돌 가능성을 판정하도록 구성되어 있는 충돌 가능성 판정부, 및

상기 차량에 대한 상기 동물의 충돌 가능성이 있다고 판정되었을 때에 충돌 회피를 위한 지원 처리를 실행하도록 구성되어 있는 지원 처리 실행부의

기능을 실행한다.

본 발명의 예시적인 실시예의 특징, 이점 및 기술적 및 산업적 의의는 동등한 요소들을 동등한 도면 부호로 나타낸 첨부 도면을 참조로 하여 이하에 설명된다.

도 1a는 본 발명의 형태에 의한 충돌 회피 지원 장치의 실시 형태가 탑재되는 차량의 모식적인 평면도.
도 1b는 본 발명의 형태에 의한 충돌 회피 지원 장치의 실시 형태의 구성을 블록도의 형식으로 도시한 도면.
도 2a는 본 발명의 형태에 의한 충돌 회피 지원 장치의 인식 ECU에 있어서의 처리 작동의 실시 형태를 흐름도의 형식으로 나타낸 도면.
도 2b는 도 2a의 처리 작동에 있어서의 동물 종류 판별 처리의 실시 형태를 흐름도의 형식으로 나타낸 도면.
도 3은 본 발명의 형태에 의한 충돌 회피 지원 장치의 지원 제어 ECU에 있어서의 처리 작동의 실시 형태를 흐름도의 형식으로 나타낸 도면.
도 4a는 차량 탑재 카메라의 화상에 있어서, 동물의 상을 검출하는 에지 추출 처리를 설명하는 도면.
도 4b는 화상에 있어서의 4족 보행 동물, 보행자(2족 보행 대상물), 차량 등의 상이 추출된 에지상의 모식도.
도 5a는 차량 탑재 카메라의 화상에 있어서 검출된 동물의 상에 대해 패턴 매칭에 의해 동물의 종류를 판별하는 처리를 설명하는 도면.
도 5b는 패턴 매칭에 있어서 사용되는 동물상의 패턴의 예를 모식적으로 도시한 도면.
도 5c는 복수의 동물이 군을 형성하고 있는 경우의 차량 탑재 카메라의 화상에 있어서의 동물의 상을 모식적으로 나타낸 도면이고, 도면 중의 동물 개체에 대해, 인덱스가 부여되는 모습을 도시하고 있는 도면.
도 6a는 본 발명의 형태에 있어서의 동물의 장래의 존재 영역의 예측에 이용되는 동물의 이동 모델에 있어서의 동물이 취할 수 있는 행동 패턴과 그 발생 확률을 설명하는 도면.
도 6b는 동물의 이동 모델에 있어서의 단위 시간당의 동물의 위치의 이동 거리와 방향을 설명하는 도면.
도 6c는 동물의 이동 모델에 있어서의 동물의 이동 방향을 설명하는 도면.
도 6d는 동물의 이동 모델에 있어서 동물의 행동 특징 지표값의 하나로서 부여되는 이동 방향 θik의 각도 폭 Δθik에 있어서의 발생 확률 pθ의 분포를 모식적으로 나타낸 그래프도.
도 6e는 도 6d의 이동 방향 θik의 각도 폭 Δθik에 있어서의 발생 확률 pθ의 분포를 반경 r의 원호 방향의 거리로 환산하여 나타낸 그래프도.
도 6f는 동물의 이동 모델에 있어서 동물의 행동 특징 지표값의 하나로서 부여되는 속도 저크 J의 발생 확률 pj의 분포를 모식적으로 나타낸 그래프도.
도 6g는 동물의 이동 모델에 있어서 동물의 행동 특징 지표값의 하나로서 부여되는 동물의 발생 가능한 최대 속도 Vmax의 발생 확률 pma의 분포를 모식적으로 나타낸 그래프도.
도 6h는 동물의 이동 모델에 따라 얻어지는 동물의 장래의 존재 위치의 분포를 모식적으로 나타낸 도면.
도 7a는 본 발명의 형태에 있어서의 동물의 장래의 존재 영역의 예측에 이용되는 동물의 이동 모델을 사용하여, 행동 패턴마다, 가장 존재 확률이 높은 위치의 시간 변화를 모식적으로 나타낸 도면(제1 형태).
도 7b는 행동 특징 지표값으로서 난수를 사용한 동물의 이동 모델에 따라 연산된 어떤 시각 t에 있어서의 차량 주변의 평면 영역 내의 동물의 장래의 예측 위치의 플롯 분포의 예를 모식적으로 나타낸 도면(제2 형태).
도 7c는 도 7b의 예측 위치의 플롯으로부터 산출되는 장래의 존재 확률 p의 분포를 모식적으로 나타낸 도면.
도 7d는 어떤 시각 t에 있어서의 동물의 장래의 존재 확률 Pa의 분포를 모식적으로 나타낸 도면.
도 7e는 동물의 장래의 존재 확률의 분포(일점 쇄선은 어떤 확률의 등고선)가 시간의 경과와 함께 변화되는 모습을 모식적으로 나타낸 도면.
도 8은 동물의 장래의 존재 영역의 예측에 사용되는 종류별의 동물의 행동 특징 지표값의 리스트의 예를 도시하는 도면.
도 9a는 동물의 장래의 존재 영역의 예측으로서, 행동 패턴마다, 가장 존재 확률이 높은 위치를 시간마다 추정하는 형태(제1 형태)에 있어서, 차량과 동물의 충돌 가능성의 유무를 판정하는 처리를 설명하는 도면.
도 9b는 동물의 장래의 존재 영역의 예측으로서, 차량 주변 영역의 동물의 존재 확률 분포를 생성하는 형태(제2 형태)에 있어서, 차량과 동물의 충돌 가능성의 유무를 판정하는 처리를 설명하는 도면.
도 9c는 동물의 장래의 존재 확률의 분포가 시간의 경과와 함께 변화되는 동안에 차량의 장래의 존재 확률이 높은 영역과 중복되는 것을 모식적으로 도시한 도면.
도 10a는 도 9b와 동일한 도면이며, 동물의 종류에 따라, 동물의 장래의 존재 확률의 분포가 다른 예를 모식적으로 도시한 도면.
도 10b는 도 9b와 동일한 도면이며, 동물의 종류에 따라, 동물의 장래의 존재 확률의 분포가 다른 예를 모식적으로 도시한 도면.
도 10c는 도 9b와 동일한 도면이며, 동물의 종류에 따라, 동물의 장래의 존재 확률의 분포가 다른 예를 모식적으로 도시한 도면.
도 10d는 도 9b와 동일한 도면이며, 어떤 종류의 동물이 개체로 존재하고 있는 경우를 모식적으로 도시한 도면.
도 10e는 도 9b와 동일한 도면이며, 동일한 종류의 동물이 군으로 존재하고 있는 경우를 모식적으로 도시한 도면.

이하에 첨부의 도면을 참조하면서, 본 발명의 실시 형태에 대해 상세하게 설명한다. 도면 중, 동일한 부호는 동일한 부위를 나타낸다.

본 발명의 형태에 의한 충돌 회피 지원 장치의 바람직한 실시 형태는, 도 1a에 모식적으로 도시되어 있는 바와 같이, 통상의 자동차 등의 차량(10)에 탑재되어도 된다. 좌우 전륜(12FL, 12FR)과, 좌우 후륜(12RL, 12RR)을 갖는 차량(10)에는, 통상의 형태로, 각 바퀴에 제구동력을 발생하는 구동계 장치(일부만 도시), 각 바퀴에 제동력을 발생하는 제동계 장치(40), 조타계 장치(30)가 탑재된다. 제동계 장치(40)에 있어서는, 통상 시는, 운전자에 의해 브레이크 페달(44)의 답입에 응답하여 작동되는 마스터 실린더(45)에 연통한 유압 회로(46)에 의해, 각 바퀴에 장비된 휠 실린더(42i)(i=FL, FR, RL, RR 이하 마찬가지임) 내의 브레이크압, 즉, 각 바퀴에 있어서의 제동력이 조절되는바, 본 발명의 충돌 회피 지원 장치에 의한 충돌 회피 지원으로서 차량의 제동이 실행되는 경우에는, 전자 제어 장치(60)의 명령에 기초하여 각 바퀴의 휠 실린더 내의 브레이크압이 증대되고, 각 바퀴에 제동력이 발생된다. 또한, 제동계 장치(40)는 공기압식 또는 전자식으로 각 바퀴에 제동력을 부여하는 형식 또는 그 밖의 당업자에게 있어서 임의의 형식의 것이어도 된다. 조타계 장치는, 통상 시는, 운전자에 의해 작동되는 스티어링 휠(32)의 회전을, 배력 장치(34)에 의해 회전력을 배력하면서, 타이로드(36L, R)로 전달하여 전륜(12FL, 12FR)을 전타하는 파워 스티어링 장치여도 되고, 본 발명의 형태의 충돌 회피 지원 장치에 의한 충돌 회피 지원으로서 차량의 조타가 실행되는 경우에는, 전자 제어 장치(60)의 명령에 기초하여 배력 장치(34)가 작동되고, 전륜(12FL, 12FR)이 전타되게 된다.

또한, 본 발명의 형태에 의한 충돌 회피 지원 장치가 탑재되는 차량(10)에 있어서는, 차량의 진행 방향 및 그 주변의 상황을 촬상하기 위한 카메라(70)가 탑재되고, 촬상된 화상 정보 s1이 전자 제어 장치(60)로 송신된다. 카메라(70)는 이 분야에서 통상 사용되는 비디오 카메라여도 되고, 컬러 또는 흑백으로 촬상하고, 그 촬상된 화상을 컴퓨터로 처리할 수 있는 형태의 신호로 변환하고 전자 제어 장치(60)로 송신하는 기능을 갖는 것이 채용된다. 또한, 충돌 회피 지원으로서 음성 및/또는 빛에 의한 경보 w1을 실행하기 위한 스피커(74) 및 라이트(72)(차량에 통상적으로 장비되는 헤드라이트여도 됨)가 탑재되어 있어도 된다.

상기의 본 발명의 형태에 의한 충돌 회피 지원 장치의 작동은 전자 제어 장치(60)에 의해 실행된다. 전자 제어 장치(60)는 통상의 형식의, 쌍방향 코먼ㆍ버스에 의해 서로 연결된 CPU, ROM, RAM 및 입출력 포트 장치를 갖는 마이크로 컴퓨터 및 구동 회로를 포함하고 있어도 된다. 나중에 설명되는 본 발명의 형태 충돌 회피 지원 장치의 각 부의 구성 및 작동은, 각각, 프로그램에 따른 전자 제어 장치(컴퓨터)(60)의 작동에 의해 실현되어도 된다. 전자 제어 장치(60)에는 상기한 카메라(70)의 화상 정보 s1 외에, 차량의 장래의 존재 영역의 예측을 위해, 차량의 차속 검출을 위한 차륜속 센서(14)로부터의 차륜속값 VwFL, FR, RL, RR, 요각의 계측을 위해, 요 레이트 센서(자이로 센서 등)(62)로부터의 요 레이트 γ, 배력 장치(34)로부터의 타각 δ 등이 입력된다. 또한, 도시하고 있지 않지만, 본 실시 형태의 차량에 있어서 실행되어야 할 각종 제어에 필요한 다양한 파라미터, 예를 들어 전후 G 센서값 등이 입력되고, 각종 제어 명령이 대응하는 장치로 출력되어도 된다.

전자 제어 장치(60)에 있어서 실현되는 본 발명의 형태에 의한 충돌 회피 지원 장치의 구체적인 구성에 있어서는, 도 1b를 참조하여, 인식 ECU와 지원 제어 ECU가 설치된다. 인식 ECU에 있어서는, 차량 탑재 카메라(70)의 화상에 있어서 대상물(차량의 충돌 가능성이 발생할 수 있는 동물, 보행자, 차량 등의 대상물)의 상의 유무 검출을 행하는 대상물 상 검출부, 대상물의 상이 발견된 경우에, 그 대상물이 동물인지 여부를 식별하는 동물 후보 식별부, 대상물이 동물이었을 때에 그 동물의 종류를 판별하는 동물 종류 판별부 및 동물의 위치 정보(차량으로부터 본 위치ㆍ속도ㆍ방향)를 검출하는 동물 위치 정보 검출부가 설치된다. 한편, 지원 제어 ECU에 있어서는, 차량의 주행로에 진입할 수 있다고 상정되는 종류의 동물의 행동 특징을 나타내는 「행동 특징 지표값」의 데이터의 군을 미리 기억한 메모리부와, 그 메모리부로부터 화상에 있어서 검출된 동물의 판별된 종류의 행동 특징을 나타내는 행동 특징 지표값과 동물의 위치 정보를 사용하여 동물의 장래의 존재 영역의 예측을 실행하는 동물 존재 영역 예측부와, 차량의 운동 상태 정보, 즉, 속도, 타각 또는 요 레이트 등의 현재의 운동 상태를 나타내는 지표값을 사용하여 차량의 장래의 존재 영역의 예측을 실행하는 차량 존재 영역 예측부와, 동물의 장래의 존재 영역의 예측 결과와 차량의 장래의 존재 영역의 예측 결과를 사용하여 차량에 대한 동물의 충돌 가능성의 유무를 판정하는 충돌 가능성 판정부와, 충돌 가능성이 있다고 판정되었을 때에 충돌 회피를 위한 지원을 동물의 종류에 따라 선택하는 지원 선택부가 설치된다. 그리고, 지원의 실행 시에는, 선택된 지원의 형태에 따라, 표시부, 스피커, 라이트 등이 작동되고, 필요에 따라 제동 제어ㆍ조타 제어를 실행하기 위해, 각각 대응하는 제어 장치로 제어 명령이 송신된다. 또한, 이미 언급한 바와 같이, 상기의 각 부의 구성과 작동은 컴퓨터[전자 제어 장치(60)]에 있어서, 프로그램을 실행함으로써 실현되는 것은 이해되어야 한다. 이하, 충돌 회피 지원을 위한 인식 ECU에서 실행되는 화상에 있어서의 동물상의 인식과 동물의 종류의 판별 처리와, 지원 제어 ECU에서 실행되는 충돌 가능성의 유무 판정과 충돌 회피의 지원 실행의 처리에 대해, 상세하게 설명한다.

본 발명의 형태에 의한 충돌 회피 지원 장치에 있어서는, 「발명의 내용」의 란에 있어서 설명한 바와 같이, 단적으로 설명하면, 주행 중의 차량의 진행 방향 및 그 주변의 상황을 촬영한 화상에 있어서, 동물의 상이 검출된 경우에, 그 동물의 장래의 존재 영역의 예측을 실행하고, 동물이 차량에 충돌할 가능성의 유무를 판정하여, 충돌 가능성이 있는 경우에는, 충돌 회피를 위한 지원이 실행된다. 이러한 구성에 있어서, 이미 설명한 바와 같이, 동물의 행동 패턴 또는 행동의 형태는 그 종류에 따라 다르므로, 종류가 특정되어 있지 않은 상황에서는, 동물이 어떤 방향으로 어느 정도의 속도로 이동할지를 알 수 없고(예를 들어, 종류에 따라서는, 발견되었을 때의 동물 방향과는 다른 방향으로 이동하는 경향이 높은 경우도 있을 수 있음), 동물의 장래의 존재 영역의 예측을 고정밀도로 실행하는 것은 곤란해진다. 그리고, 만약 그와 같은 종류가 특정되어 있지 않는 상황에서 동물의 장래의 존재 영역의 예측의 확실도를 올리려고 하는 경우에는, 화상에 있어서 동물의 상을 어느 정도의 기간에 걸쳐서 추적하고, 행동의 형태를 끝까지 확인할 필요가 있는바, 동물이 움직이는 방향이나 속도가 불확정하므로, 화상에 있어서 검색하는 영역을 넓게 할 수밖에 없어, 연산 부하 및 처리 시간이 대폭으로 증대될 수 있게 된다. 또한, 충돌 회피의 지원을 실행하는 단계에 있어서, 충돌 회피를 위한 유효한 지원의 형태는 동물의 종류에 따라 다르다. 소리나 빛에 의한 경보를 부여하는 것만으로 차량으로부터 떨어지는 종류의 동물에 대해서는, 지원으로서는, 소리나 빛에 의한 경보가 유효하지만, 소리나 빛에 의한 경보를 부여해도 반응하지 않고 차량의 주행로에 진입하게 될 가능성이 높은 종류에 대해서는, 제동ㆍ조타를 통해 차량에 동물을 회피시키는 것이 유효한 지원의 형태가 된다.

따라서, 본 발명의 형태에 있어서는, 이미 설명한 바와 같이, 동물의 상이 검출된 경우에는, 먼저, 그 동물의 종류의 판별을 실행하고, 동물의 장래의 존재 영역의 예측은, 그 판별된 종류의 동물의 행동 특징, 즉 발생하기 쉬운 행동 패턴 또는 행동의 형태를 고려하여 실행된다. 이 경우, 검출된 동물의 종류의 행동 특징을 참조함으로써, 검출된 동물의 장래의 존재 영역의 예측 결과의 확실도가 높아짐과 함께, 이동하기 쉬운 방향과 속도를 파악할 수 없는 경우에 비해, 화상 위에서의 동물의 상의 추적을 행하는 등의 시간의 단축이 이루어져, 연산 부하의 경감과 처리 시간의 단축이 기대되게 된다. 또한, 동물의 종류가 특정됨으로써, 충돌 회피의 지원의 실행 시에, 충돌 회피 지원으로서 유효한 형태를 동물의 종류에 따라 선택 또는 결정하는 것이 가능해지고, 적절한 충돌 회피 지원을 제공할 수 있게 된다. 또한, 본 발명의 형태에 의한 충돌 회피 지원 장치의 주요한 구성은, 화상에 있어서 동물의 상이 검출된 경우의 충돌 회피 지원에 관한 구성인바, 화상에 있어서 동물 이외의 상이 검출된 경우에 대해서는, 별도의 형태로 충돌 회피 지원에 관한 처리가 실행되어도 된다. 따라서, 본 발명의 형태에 의한 충돌 회피 지원 장치는 차량의 범용적인 충돌 회피 지원 장치의 일부로서 실현되어도 된다. 이하, 각 처리에 대해 설명한다.

도 2a를 참조하여, 먼저, 본 발명의 형태의 장치에 있어서의 인식 ECU에서 실행되는 화상에 있어서의 동물상의 검출과 동물의 종류의 판별 처리에 있어서는, 차량 탑재 카메라(70)가 촬영한 화상 데이터의 취득이 이루어진 후(스텝 10), 화상에 있어서 차량의 충돌 가능성이 발생할 수 있는 동물, 보행자, 차량 등의 대상물의 상의 유무 검출이 실행된다(스텝 12). 차량 탑재 카메라(70)가 촬영하는 화상은, 도 4a의 상단에 모식적으로 도시되어 있는 바와 같이, 이 분야에 있어서 통상 이용되고 있는 사양의 화상이어도 되고, 화상의 화각은, 전형적으로는 주행 중인 차량의 전방에서, 주행로 R과 그 주변이 포함되도록 조정된다. 대상물의 상의 유무 검출 처리는 임의의 화상 처리의 방법에 의해 달성되어도 된다. 하나의 형태에 있어서는, 먼저, 도 4a의 상단에 모식적으로 예시되어 있는 바와 같이, 시간에 있어서 연속하는 화상에 있어서 화소마다 휘도의 차분이 연산된다. 그렇게 하면, 배경상이나 정지물의 상에 있어서는, 차분이 실질적으로 제로가 되는 것에 비해, 동물 등이 움직이는 대상물의 상 d에 있어서는, 연속하는 화상 사이에서 위치의 어긋남이 발생하고, 도 4a의 하단에 도시되어 있는 바와 같이 연속 화상의 차분을 나타내는 화상 Δt1, Δt2에 있어서, 상 d의 에지가 휘도값의 차분상 S로서 발생한다. 따라서, 이러한 휘도값의 차분인 에지상 S를 추출함으로써, 움직이는 대상물의 상 d의 유무가 검출되게 된다. 이러한 휘도값의 차분상 S의 검출, 즉, 움직이는 대상물의 상 d의 에지 추출에 있어서는, 구체적으로는, 차분 화상 Δt1, Δt2 위에서 소정의 역치를 초과하는 휘도값의 영역을 추출함으로써, 에지상 S, 즉, 움직이는 대상물의 상 d의 존재 영역이 검출되게 된다(또한, 연속 화상의 차분의 연산에 있어서는, 차량의 진행에 수반하는 배경의 어긋남, 촬상 노이즈 등은 차분 화상 Δt1, Δt2에 있어서, 휘도값의 차분상 S의 추출 시의 역치의 설정 등에 따라 무시하는 것이 가능하다. 또한, 차속 정보를 사용하여, 연속 화상 사이의 배경의 어긋남을 보정하고 나서, 연속 화상 사이의 차분 화상을 연산해도 됨).

이렇게 하여, 카메라(70)가 촬영한 화상 위에 있어서, 대상물상이 검출된 경우에는, 그 상이 동물인지 여부가 판정된다(스텝 14). 검출된 대상물의 후보상이 동물인지 여부의 판정 처리도 임의의 화상 처리의 방법에 의해 달성되어도 된다. 하나의 형태에 있어서, 상기의 차분 화상 Δt1, Δt2 위에 있어서의 에지상 S의 구성에 기초하여 판정이 이루어져도 된다. 구체적으로는, 도 4b에 모식적으로 예시되어 있는 바와 같이, 대상물이 보행자(2족 보행 대상물)인 경우(중앙도), 그 에지상에 있어서는, 2개의 다리부를 나타내는 에지상 a, b가 검출되고, 대상물이 차량 등인 경우(우측 도면)에는, 그 윤곽을 나타내는 에지상 a가 검출되는 것에 비해, 4족 보행 동물의 경우(좌측 도면)에는, 4개의 다리부와 헤드부의 에지상 a, b, c, d, e가 검출되게 된다. 따라서, 차분 화상의 에지상 S에 있어서, 4개의 다리부와 헤드부의 에지상 a, b, c, d, e가 존재하는지 여부를 판정함으로써, 움직이는 대상물의 상 d가 4족 보행의 동물인지 여부를 판정할 수 있게 된다.

상기의 판정 처리에 있어서, 움직이는 대상물의 상이 없는 경우에는, 다음의 사이클이 개시되고, 움직이는 대상물의 상 d가 보행자(2족 보행 대상물) 또는 차량 등이었던 경우는, 본 발명의 형태 처리와는 다른 임의의 처리가 실행되어도 된다. 움직이는 대상물의 상 d가 4족 보행 동물이었을 때에는, 동물의 종류의 판별 처리(스텝 16)가 실행된다. 동물의 종류의 판별 처리는, 전형적으로는, 도 5b에 모식적으로 도시되어 있는 바와 같이, 차량의 주행로에 진입할 수 있는 것이 상정되는 다양한 동물의 상의 미리 준비된 패턴을 사용하여, 차량 탑재 카메라(70)에 의해 얻어진 화상에 대해 패턴 매칭을 실행함으로써 이루어져도 된다. 그때, 어떤 화상 내의 동물의 상에 매칭시키는 패턴의 후보수를 저감하기 위해, 패턴 매칭에 앞서, 동물을 그 크기에 따라, 예를 들어 대형, 중형, 소형으로 분류하고, 매칭시키는 패턴은 분류된 크기를 갖는 동물의 종류의 패턴으로부터 선택되도록 되어 있어도 된다.

구체적으로는, 도 2b를 참조하여, 먼저, 차량 탑재 카메라(70)에 의해 얻어진 화상에 있어서, 도 5a에 예시되어 있는 바와 같이, 패턴 매칭의 해석 영역이 획정된다(스텝 30). 해석 영역은 상기의 화상에 있어서의 대상물의 상의 존재 영역이 이미 검출되어 있으므로, 그 존재 영역에 기초하여 설정되어도 된다. 계속해서, 상기와 같이, 대상물의 상의 크기로부터 추정되는 동물의 크기에 따라, 검출된 동물이 크기에 따라 분류된다(스텝 32). 여기에 있어서, 카메라 화상 전체의 화각을 알고 있고, 차량은 실질적으로 평면 위를 주행하고 있는 것이 가정되어 있으므로, 상의 동물의 크기는 화상에 있어서의 대상물의 상의 크기(화각)와 화상 위에서의 위치로부터 추정하는 것이 가능하다.

상의 동물이 그 크기에 따라 분류되면, 그 분류된 크기의 동물 패턴의 하나가 선택되고(스텝 34), 화상 위의 동물의 상의 방향과 패턴의 방향의 정합이 이루어지고(스텝 36), 패턴 매칭(스텝 38)이 실행된다. 패턴의 선택에 있어서는, 예를 들어 화상 위의 상의 동물의 크기가 중형으로 분류되어 있을 때에는, 도 5b에 예시되어 있는 패턴 중, 중형 동물의 패턴 중 1개가 선택된다. 동물의 상의 방향과 패턴의 방향의 정합에 있어서는, 동물의 상의 방향은 상기의 에지상에 있어서, 다리부의 에지상에 대한 헤드부의 에지상의 배치를 알고 있으므로, 선택된 패턴의 방향이, 동물상의 다리부와 헤드부의 위치 관계에 정합하도록 결정되어도 된다. 패턴 매칭은 임의의 화상 처리의 방법을 사용하여 실행되어도 된다. 예를 들어, 화상의 해석 영역 내의 휘도값과 패턴의 상호 상관 함수값을 연산하고, 상호 상관 함수값이 소정의 값을 초과했을 때에, 동물상과 패턴이 적합했다고 판정되도록 되어 있어도 된다. 또한, 패턴 매칭은 수매 정도의 화상 내의 동물의 상에 대해 실행되어도 된다.

이렇게 하여, 패턴 매칭에 있어서, 동물상이, 선택된 패턴에 합치하였는지 여부가 판정되고(스텝 40), 동물상과 패턴이 합치하였다고 판정되면, 그 동물의 종류가, 합치한 패턴의 종류라고 결정된다(스텝 44). 한편, 동물상과 패턴이 합치하지 않았다고 판정되었을 때에는, 동물상의 분류된 크기의 동물 패턴의 다른 하나가 선택되고, 상기와 동일한 처리가 반복되어, 합치하는 패턴을 찾을 때까지, 상의 동물의 종류의 탐색이 실행된다. 또한, 동물상이 미리 준비된 동물의 패턴 중 어느 것에도 합치하지 않을 때에는, 지원 대상 외의 동물로서 판정된다(스텝 46). 그 경우에는, 다음의 사이클이 개시된다(스텝 18)[4족 보행 동물이라도, 도 5b의 소형 동물보다도 더욱 소형의 소동물(개, 고양이 등)은 본 발명의 형태 충돌 회피 지원의 대상 외가 됨. 또한, 통상 충돌 회피 지원의 실시가 바람직한 크기의 동물 중, 상정되지 않는 동물이 주행로에 진입하는 경우는 매우 드물다고 생각됨].

그런데, 화상에 있어서, 도 5c에 모식적으로 예시되어 있는 바와 같이, 복수로 군을 형성하고 있는 동물이 검출되는 경우가 일어날 수 있다. 그 경우에는 개개의 동물의 상에 대해, 상기와 동일한 종류의 판별 처리가 실행되어도 된다. 그리고, 종류의 판별 후에, 각각의 동물의 상에 대해, 도시된 바와 같이, 개체 번호의 부여가 이루어진다(스텝 20). 동물이 개체로 존재하고 있을 때에는, 그 개체에만 개체 번호가 부여되어도 된다.

상기와 같이, 화상 내의 상의 동물의 종류가 판별되면, 동물의 위치 정보, 즉, 차량으로부터 본 위치, 속도가 검출된다. 이미 언급한 바와 같이, 동물의 위치는, 화상 내에서의 상의 위치로부터 추정 가능하고, 동물의 방향은 에지상 S의 다리부와 헤드부의 위치 관계로부터 특정 가능하다. 동물의 속도(현재의 속도)는 수매 정도의 연속 화상 내에서의 상의 위치의 변화로부터 검출 가능하다(속도의 변화의 경향을 검출할 필요가 없고, 상의 위치를 알고 있으므로, 화상 처리량은 커지지 않음).

이렇게 하여, 차량 탑재 카메라(70)의 화상에 있어서, 동물의 상이 검출된 경우에, 그 종류의 판별과 위치 정보의 검출이 이루어지면, 이들 정보는, 지원 제어 ECU에 있어서 참조되고, 도 3의 흐름도로 나타나 있는 바와 같이, (1) 동물의 장래의 존재 영역의 예측, (2) 차량의 장래의 존재 영역의 예측 및 (3) 차량에 대한 동물의 충돌 가능성 유무의 판정이 실행된다.

(1) 동물의 장래의 존재 영역의 예측: 동물의 장래의 존재 영역의 예측에 있어서는, 단적으로 설명하면, 카메라(70)의 화상에서 검출된 동물의 현재의 위치, 속도, 방향과, 그 동물의 종류의 행동 특징을 나타내는 「행동 특징 지표값」에 기초하고, 그 후의 동물의 이동 방향과 속도를 추정하고, 장래에 있어서, 동물이 존재하는 차량 주변의 평면 영역에 있어서의 위치 또는 범위가 예측된다. 이 점에 관하여, 동물의 장래의 존재 영역의 예측 결과의 표현은, 다양한 형태로 이루어져도 된다. 예를 들어, 예측 결과는 동물의 현재의 위치로부터 장래의 임의의 시간에 걸치는 동물의 이동 경로로 하거나, 또는 장래의 임의의 시간에 있어서의 동물의 존재 위치 또는 범위로 하여 표현되어도 된다.

또한, 일반적으로, 동물의 그 후의 행동에 있어서는, 다양한 행동 패턴의 각각이, 그 동물의 종류의 행동 특징에 대응한 각 패턴의 발생 확률로 발생할 수 있게 되고, 동물은 그들의 다양한 행동 패턴의 각각의 발생 확률에 기초하여 차량 주변의 평면 영역의 다양한 위치 또는 범위에 존재할 수 있게 된다. 예를 들어, 어떤 동물은, 어떤 확률로, 어떤 방향으로, 어떤 속도로 이동한다고 생각되므로, 그들의 확률, 방향, 속도를 사용하여, 그 동물이 어떤 시각에 어떤 위치에 존재할 확률이 산출 가능하다. 그리고, 차량 주변의 평면 영역 내의 다양한 위치(전체 영역이 아니어도 됨)에 있어서의 확률을 수집함으로써, 차량 주변의 평면 영역 위에 있어서의 동물의 장래의 존재 확률의 분포가 결정 가능하다. 따라서, 본 실시 형태에 있어서는, 동물의 장래의 존재 영역의 예측으로서, 동물의 현재의 위치, 속도, 방향과, 발생할 수 있는 다양한 행동 패턴에 있어서의 방향 및 속도와, 각각의 행동 패턴의 발생 확률을 사용하여, 차량 주변의 평면 영역 위에 있어서의 동물의 장래의 존재 위치와 그 위치에서의 존재 확률의 산출 또는 그 분포의 생성이 실행된다. 이러한 처리에 있어서는, 구체적으로는, 동물의 발견된 위치로부터의 이동의 형태를 가정한 동물의 이동 모델을 사용하여, 시간마다, 차량 주변의 평면 영역 위에 있어서의 동물의 장래 위치와 그 위치에 존재하는 확률의 산출 또는 차량 주변의 평면 영역 위에 동물의 존재 확률의 분포가 산출된다. 이하, 본 실시 형태에 있어서 가정되는 동물의 이동 모델과, 그 모델을 사용한 차량 주변의 평면 영역 위에 있어서의 동물의 장래의 존재 위치 및 확률의 산출 또는 그 분포의 생성에 대해 설명한다.

(i) 동물의 이동 모델: 동물의 이동 모델에 있어서는, 먼저, 도 6a에 모식적으로 도시되어 있는 바와 같이, 어떤 종류의 동물은 차량이 접근한 경우에, 예를 들어 멈추고, 전방으로 도망치고, 후방으로 도망치고, (차량의 접근에 의하지 않고)전진하는 등의 행동 패턴 중 어느 하나의 행동 패턴을, 발생 확률 "Pik"로 취하는 것이라고 가정된다. 여기서, i는 동물의 종류, 예를 들어 말, 소, 양, 사슴, 영양, 곰, 캥거루 등을 나타내는 부호이고, k는, 예를 들어 멈추고, 전방으로 도망치고, 후방으로 도망치고, (차량의 접근에 의하지 않고)전진하는 등의 행동 패턴의 각각을 나타내는 부호이다. 그리고, 행동 패턴 k를 취한 경우에, 동물은, 도 6b에 모식적으로 도시되어 있는 바와 같이, 하기의 점화식에 따라 이동한다고 가정된다.

<식 1>

x_ik(t_n+1)=x_ik(t_n)+v_ik(t_n+1)ㆍcos(θo+θ_ik)ㆍΔ_t

<식 2>

y_ik(t_n+1)=y_ik(t_n)+v_ik(t_n+1)ㆍsin(θo+θ_ik)ㆍΔ_t

여기에 있어서, x_ik(t_n), y_ik(t_n), v_ik(t_n)는 동물 i가 행동 패턴 k를 취한 경우의 시각 tn에 있어서의 존재 위치(차량의 현재 위치를 원점으로 하고, 차량의 진행 방향을 x방향으로 한 좌표계에 있어서의 좌표값)와 속도이다. 상기의 점화식에 있어서의 x_ik, y_ik, v_ik의 초기값은, 각각, 화상에 있어서의 현재의 동물의 위치 x(0), y(0), 화상 내에서의 동물의 방향 θo로의 속도 v(0)이다. 따라서, 동물은 화상 내에서 발견된 위치로부터, 도 6b와 같이, 단위 시간 Δt당[t_n+1 내지 t_n]에 차량의 진행 방향에서 본 각도 θo+θ_ik의 방향으로 v_ikΔt씩 차차 이동하는 것이라고 가정된다.

상기의 모델에 있어서, 동물의 이동 시의 진행 방향 θo+θ_ik는, 보다 상세하게는, 도 6c에 모식적으로 도시되어 있는 바와 같이, 행동 패턴 k를 취한 경우에, 화상 내의 동물의 방향 θo로부터 θ_ik만큼 변위된 방향이 되는 것으로 가정된다. θ_ik의 값은, 구체적으로는, 도 6d에 모식적으로 도시되어 있는 바와 같이 조종 형상의 프로파일 분포(중심값 θc)에 따르는 발생 확률 pθ로, 도 6c에 예시한 바와 같이 각도 폭 Δθ_ik의 범위 내의 값이 되는 것이라고 가정된다(확률 분포의 폭은 동물의 종류와 행동 패턴에 따라 다름). 따라서, 동물의 각도 방향의 존재 위치는, 도 6c에 모식적으로 도시되어 있는 바와 같이 발생 확률 pθ에 기초하는 존재 확률 qθ의 분포에 따라 분포하게 된다. 또한, 동물의 이동 방향 θo+θ_ik는 모델의 간단화의 목적으로, 최초에 결정된 값이 그대로 유지되는 것이라고 가정되어도 된다. 또한, 각도 폭 Δθ_ik에 대응하는 실제의 거리 폭(원호의 길이)은 동물의 이동 거리가 길어짐과 함께 길어지므로, 발생 확률 pθ는 실제의 거리로 환산한 경우, 도 6e에 모식적으로 예시되어 있는 바와 같이, 동물의 현재 위치로부터의 거리의 증대(r1→r2→r3→r4)와 함께 크기가 저감되게 된다(적분값은 일정). 즉, 동물의 이동 거리가 길어질수록, 각 위치의 존재 확률이 저감되게 된다.

또한, 상기의 모델에 있어서, 동물의 속도는 다음의 점화식에 따르는 것으로 가정된다.

<식 3>

v_ik(t_n+1)=min{v_ik(t_n)+J_ik, Vmaik}

여기에 있어서, Jik, Vmaik는, 각각, 동물 i가 행동 패턴 k를 취한 경우의 동물의 이동 속도의 단위 시간당의 변화분(속도 저크)과 최고 속도이다. 따라서, 상기의 점화식에 의하면, 동물의 이동 속도는 단위 시간당에 속도 저크 Jik씩 변화되는바, v_ik(t_n)+J_ik가 최고 속도 Vmaik를 초과한 경우에는, 이동 속도가 최고 속도 Vmaik가 되도록, 즉, 현실적인 값을 초과하지 않도록 가정된다. 여기서, 속도 저크 Jik의 값은, 보다 상세하게는, 도 6f에 모식적으로 도시되어 있는 바와 같이 조종 형상의 프로파일의 분포(중심값 Jc)에 따르는 발생 확률 pj로 어떤 값이 되는 것이라고 가정된다(확률 분포의 폭은 동물의 종류와 행동 패턴에 따라 다름). 또한, 최고 속도 Vmaik의 값도 마찬가지로, 도 6g에 모식적으로 도시되어 있는 바와 같이 조종 형상의 프로파일의 분포(최대 확률값을 부여하는 중심값 Vmac가 속도가 높은 측으로 어긋난 분포)에 따르는 발생 확률 pMa로 어떤 값이 되는 것이라고 가정되어도 된다(확률 분포의 폭은 동물의 종류와 행동 패턴에 따라 다름). 즉, 동물의 속도 v_ik(t)의 값은 발생 확률 pj 또는 pMa로 발생하는 값이라고 가정된다. 따라서, 도 6b를 다시 참조하여, 단위 시간당의 동물의 이동 후의 위치는 도면 중, 중심값 Jc 또는 Vmac에 대응한 흑색점 전후의 어느 정도의 범위(도면 중 백색 원으로 나타난 범위)에 걸쳐서, 발생 확률 pj 또는 pMa에 기초하는 존재 확률 qr에 따라 분포하게 된다.

도 6h는 상기의 점화식 (1) 내지 (3)의 모델에 따라 동물 i가 이동한다고 가정한 경우의 차량 주변의 평면 영역에 있어서의 동물의 위치 이동과 확률의 예를 모식적으로 나타낸 도면이다. 도 6h를 참조하여, 상기의 모델에 의하면, 예를 들어 먼저, 동물은 복수의 취할 수 있는 행동 패턴의 각각에 대응하고, 도면 중, II, III, IV로 부여된 부채 형상 영역에, 각각, Pi2, Pi3, Pi4의 발생 확률로 이동한다는 예측이 이루어진다. 그리고, 상세하게는 각각의 부채 형상 영역 II, III, IV에 있어서, 도 6d, 도 6e, 도 6f, 도 6g의 발생 확률 분포를 갖는 (Ji2, Vmai2, θi2), (Ji3, Vmai3, θi3), (Ji4, Vmai4, θi4)를 사용하여 상기의 점화식 (1) 내지 (3)에 따라서 동물 i의 위치 및 속도의 연산을 반복하면, 예를 들어 동물의 위치는, 예를 들어 시각 t1에 있어서, 도면 중, (Jik, Vmaik, θik)의 중심값 Jc, Vmac, θc(가장 발생 확률이 높은 값)를 사용하여 산출된 위치(흑색점)로부터 주변을 향해 저감할 확률 qi2(t), qi3(t), qi4(t)(도면 중, 흑색점의 주위의 점선원은 확률의 등고선임)로 분포하고, 시각이 t1→t2→t3으로 변화하는 것에 따라, 그 존재 위치의 분포가 이동한다는 예측이 이루어지게 된다.

상기의 모델에 있어서는, 본 모델에 있어서는, 4개의 파라미터(Jik, Vmaik, θik, Pik)가 동물의 행동 특징을 나타내는 행동 특징 지표값이다. 이들 행동 특징 지표값(Jik, Vmaik, θik, Pik)은 동물의 종류에 따라 다른 값의 조가 사용되므로, 동물의 존재 위치의 분포와 그 시간의 경과에 수반하는 추이의 형태는, 동물의 종류에 따라 달라지게 된다(도 10 참조). 또한, 도시된 바와 같이, 통상, 시간의 경과와 함께 동물이 존재할 수 있는 영역의 크기가 넓어지므로, 각 위치에 있어서의 존재 확률은 저감되게 된다.

(ii) 동물의 장래의 존재 확률의 산출 또는 그 분포의 생성: 상기의 동물의 이동 모델에 따르면, 어떤 시각의 어떤 위치의 동물의 장래의 존재 확률은, Pik×pθ(θik)×pj(Jik)[또는 ×pma(Vmaik)]에 의해 부여되게 된다. 그러나, 차량 주변의 평면 영역의 전체 영역에 걸쳐서, 각 위치의 존재 확률을 해석적으로 산출하는 것은, 연산량이 방대해져 곤란하다. 따라서, 예측 결과의 제1 형태로서, 동물의 장래의 위치와 그 위치에 존재하는 확률의 대표값으로서, 행동 패턴마다, (Jik, Vmaik, θik)의 중심값 Jc, Vmac, θc를 사용하여, 상기의 점화식 (1) 내지 (3)에 의해, 가장 존재 확률이 높은 위치와 그 위치에서의 존재 확률이 산출되어도 된다. 존재 위치는, 도 7a에 모식적으로 예시되어 있는 바와 같이 시각(t1, t2, t3…)마다, 점화식을 순차적으로 연산함으로써 산출되고, 각 존재 위치에서의 존재 확률은, Pik×pθ(θik=θc)×pj(Jik=Jc)[또는 ×pma(Vmaik=Vma)]에 의해 부여된다. 이 경우, 산출 결과에 있어서는, 동물의 장래의 존재 위치는 시간과 함께, 도 6h 중의 흑색점을 연결한 선을 따라 이동하고, 상기에 언급한 바와 같이, 시간과 함께 최초의 위치로부터의 거리가 길어질수록, pθ가 저감하므로, 각 존재 위치에서의 존재 확률이 저감되게 된다.

또 하나의 예측 결과의 형태(제2 형태)에 있어서는, 상기의 점화식 (1) 내지 (3)에 있어서 (Jik, Vmaik, θik)의 각각의 발생 확률에 따른 난수를 대입하고, 시각마다, 다수의 동물의 장래의 존재 위치를 산출한 후, 차량 주변의 평면 영역 내에서 동물의 존재 빈도를 집계하여 얻어지는 존재 확률의 분포가 예측 결과로서 생성되어도 된다. 구체적으로는, 먼저, 상기와 같이, (Jik, Vmaik, θik)의 값으로서, 각각의 발생 확률에 따른 난수가 생성되고, 그 난수를 상기의 점화식 (1) 내지 (3)에 대입하고, 시각마다, 동물의 장래의 존재 위치가 산출된다. 그렇게 하면, 도 7b에 모식적으로 예시되어 있는 바와 같이, 차량 주변의 평면 영역 내에 있어서, 어떤 시각 t에 있어서의 동물의 다수의 존재 위치를 플롯할 수 있으므로, 차량 주변의 평면 영역 내를 소정 폭으로 구분하여 얻어지는 소영역마다 존재 빈도(플롯수)가 계수된다. 그리고, 소영역마다의 존재 빈도를 존재 빈도의 총수로 나눔으로써, 도 7c에 모식적으로 예시되어 있는 바와 같이, 각 소영역의 존재 확률 p가 산출되고, 또한 그들의 존재 확률에, (Jik, Vmaik, θik)가 선택될 확률, 즉 행동 패턴 k의 발생 확률 Pik를 곱함으로써, 시각 t에 있어서의 동물의 존재 확률 분포가 생성된다. 이 경우, 차량 주변의 평면 영역의 소영역마다의 동물 존재 확률이 부여되고, 도 7d에 모식적으로 예시되어 있는 바와 같이, 동물의 주위에 있어서, 시일마다의 장래의 존재 확률의 분포가 생성되게 된다(도면 중, 일점 쇄선은, 존재 확률의 등고선임). 또한, 시계열로, 상기의 장래의 존재 확률의 분포를 생성함으로써, 도 7e에 예시되어 있는 바와 같이, 장래의 존재 확률의 분포의 시간 경과에 수반하는 추이가 예측되게 된다(일점 쇄선은 어떤 확률의 등고선).

(iii) 처리 과정: 다시, 도 3의 흐름도를 참조하여, 실제의 처리에 있어서는, 먼저, 판별된 동물의 종류에 따라, 상기의 행동 특징 지표값(Jik, Vmaik, θik, Pik)이 메모리부에 미리 기억된 차량의 주행로에 진입할 수 있다고 상정되는 종류의 동물의 행동 특징을 나타내는 행동 특징 지표값의 데이터군 중에서 선택된다(도 3-스텝 50). 도 8은 메모리부에 보존되는 속도 저크, 최고 속도, 각도 변위 및 발생 확률의 데이터군을 표 형식으로 나타내고 있다. 도 8로부터 이해되는 바와 같이, 행동 특징 지표값의 데이터군은 다양한 동물의 종류마다, 발생할 수 있는 행동의 형태의 각각에 대해, 속도 저크 Jik, 최고 속도 Vmaik, 각도 변위 θik, 발생 확률 Pik를 갖고, 화상에서 검출된 동물의 종류가 특정되면, 그 종류의 행동 특징 지표값의 조의 전부가 선택된다. 예를 들어, 동물의 종류가 「사슴」인 경우에는, 사슴 데이터군의 전부가 선택된다. 이 점에 관하여, 예측 결과로서, 시일마다의 가장 존재 확률이 높은 위치와 그 위치에서의 존재 확률의 산출(제1 형태)을 실행하는 구성의 경우에는, 속도 저크 Jik, 최고 속도 Vmaik, 각도 변위 θik는, 각각의 중심값이 선택된다(따라서, 제1 형태의 예측만 실행하는 구성에 있어서는, 메모리부에 보존되는 데이터군은 각각의 중심값뿐이어도 됨). 또한, 시일마다의 존재 확률 분포의 생성(제2 형태)을 실행하는 구성의 경우에는, 속도 저크 Jik, 최고 속도 Vmaik, 각도 변위 θik는 각각의 발생 확률에 따라 부여되는 난수값이 선택된다. 또한, 메모리부에 보존되는 속도 저크, 최고 속도, 각도 변위 및 발생 확률의 데이터군은, 미리, 다양한 동물의 관찰 실험에 의해 수집된 데이터여도 된다.

그 후, 선택된 행동 패턴의 각각에 대해, 상기의 점화식 (1) 내지 (3)을 사용하여, 시일마다의 가장 존재 확률이 높은 위치와 그 위치에서의 존재 확률의 산출(제1 형태) 또는 시일마다의 존재 확률 분포의 생성(제2 형태)이 실행된다(스텝 52). 예측 결과로서, 상기가 제1 형태와 제2 형태 중 어느 것을 산출 또는 생성할지는, 장치의 설계자에 의해 적절히 선택되어도 된다. 또한, 어떤 형태를 선택할지에 따라, 후술하는 충돌 가능성의 유무 판정의 처리가 달라지게 된다. 예측을 행하는 시간 범위(예측의 실행되는 최종 시각)은 임의로 설정되어도 된다.

그런데, 도 5c에 예시되어 있는 바와 같이, 차량 주변에 복수의 동물이 발견된 경우에는, 각각의 동물에 대해 따로따로 제1 또는 제2 형태의 예측 결과가 산출 또는 생성되어도 된다. 그 경우, 이미 언급한 바와 같이, 복수의 동물의 각각에는 인덱스가 부여되어 있으므로, 인덱스마다, 시일마다의 가장 존재 확률이 높은 위치와 그 위치에서의 존재 확률의 산출(제1 형태) 또는 시일마다의 존재 확률 분포의 생성(제2 형태)이 실행되게 된다. 이 점에 관하여, 어떤 종의 동물에 있어서는, 단독으로 행동하고 있을 때와 군을 이루고 행동하고 있을 때의 사이에서, 행동 패턴 또는 행동의 특징이 다른 경우가 있다(도 10d, 도 10e 참조). 따라서, 상기의 점화식 (1) 내지 (3)을 사용하여 동물의 장래의 존재 확률의 산출 또는 그 분포의 생성을 행할 때, 동물이 군을 형성하고 있을 때에는, 행동 특징 지표값의 조는, 특히 도 8의 하단에 도시되어 있는 바와 같이, 각각의 동물의 종류에 대해 군을 이루고 있는 경우의 값이 선택된다.

(2) 차량의 장래의 존재 영역의 예측: 이렇게 하여, 동물의 장래의 존재 영역의 예측이 이루어지면, 차량의 장래의 존재 영역의 예측이 실행된다(도 3-스텝 54). 차량의 장래의 존재 위치는, 전형적으로는, 차량의 현재의 차속, 가속도, 타각 또는 요 레이트 등의 차량의 운동 상태를 나타내는 지표값을 사용하여 적절히 추정되어도 된다. 예측 결과로서는, 가장 단순하게는, 시일마다의 차량의 위치 또는 궤적이 차량의 운동 상태를 나타내는 지표값으로부터 연산되어도 된다. 그러나, 실제로는, 운전자가 가감속 조작 또는 조타 조작을 실행할 가능성이 있으므로, 상기의 점화식 (1) 내지 (3)과 동일한 하기의 점화식 (4) 내지 (6)을 사용하여, 차량의 장래의 존재 위치와 그 존재 확률의 산출 또는 그 분포의 생성이 실행되어도 된다.

<식 4>

Xv(t_n+1)=Xv(t_n)+Vv(t_n+1)ㆍcosθvㆍΔt

<식 5>

Yv(t_n+1)=Yv(t_n)+Vv(t_n+1)ㆍsinθvㆍΔt

<식 6>

Vv(t_n+1)=min{Vv(t_n)+Jv, Vmav}

상기의 식에 있어서, Xv(t_n), Yv(t_n), Vv(t_n)는 각각, 시각 tn에 있어서의 차량의 존재 위치(차량의 현재 위치를 원점으로 하고, 차량의 진행 방향을 x방향으로 한 좌표계에 있어서의 좌표값) 및 속도이다. θv는 장래의 차량의 진행 방향이고, 그 값은 현재의 타각으로부터 산출되는 차량의 진행 방향을 중심값으로 한 도 6d에 예시되어 있는 바와 같이 조종 형상의 분포 발생 확률로 발생한다고 가정되어도 된다(분포의 폭은, 동물의 경우와 다름). 속도 저크 Jv는 운전자(또는 임의의 운전 제어 시스템)에 의한 가감속 제어가 실행된 경우의 속도 변화분이고, 그 값은 현재의 가감 속도값으로부터 산출되는 단위 시간당 속도의 증가분을 중심값으로 한, 도 6f에 예시되어 있는 바와 같이 조종 형상의 분포 발생 확률로 발생한다고 가정되어도 된다. Vmav는 차량의 최고 속도이다.

차량의 장래의 존재 영역의 예측 결과로서는, 제1 형태로서, 동물의 경우와 마찬가지로, 도 9a에 모식적으로 도시되어 있는 바와 같이, 차량의 장래의 위치와 그 위치에 존재하는 확률의 대표값으로서, Jv, θv의 중심값을 사용하고, 상기의 점화식 (4) 내지 (6)에 의해, 시각(t1, t2, …)마다 가장 존재 확률이 높은 위치와 그 위치에서의 존재 확률이 산출되어도 된다. 또한, 제2 형태로서, 동물의 경우와 마찬가지로, Jv, θv로 하고, 각각의 발생 확률에 따른 난수가 생성되고, 그 난수를 상기의 점화식 (4) 내지 (6)에 대입하고, 시각마다, 차량의 장래의 존재 위치가 산출되고, 그 후, 차량 주변의 평면 영역 내를 소정 폭으로 구분하여 얻어지는 소영역마다의 존재 빈도(플롯수)의 계수, 각 소영역의 존재 확률 p의 산출이 실행되고, 도 9b에 예시되어 있는 바와 같이, 장래의 존재 확률(Pv1, Pv2, …)의 분포가, 시간마다 생성되고, 이에 의해, 도 9c에 예시되어 있는 바와 같이, 장래의 존재 확률의 분포의 추이(t1, t2, t3…)가 얻어지게 된다. 예측을 행하는 시간 범위(예측이 실행되는 최종 시각)는 임의로 설정되어도 된다.

(3) 차량에 대한 동물의 충돌 가능성 유무의 판정: 이렇게 하여, 동물과 차량의 장래의 존재 영역의 예측이 이루어지면, 그들의 예측 결과를 사용하여, 차량에 대한 동물의 충돌 가능성 유무의 판정이 실행된다(도 3-스텝 56).

동물과 차량의 장래의 존재 영역의 예측 결과가 제1 형태로 얻어지고 있는 경우, 즉, 동물과 차량의 각각의 시일마다의 가장 존재 확률이 높은 위치와 그 위치에서의 존재 확률이 산출되어 있는 경우에는, 도 9a에 모식적으로 예시되어 있는 바와 같이, 시간마다, 동물의 예측 존재 위치(각 행동 패턴에 있어서 가장 존재 확률이 높은 위치)와 차량의 예측 존재 위치(가장 존재 확률이 높은 위치)가 소정의 거리 L의 범위 내에 있는지 여부가 판정된다. 그리고, 소정의 거리 L의 범위 내에 동물의 예측 존재 위치와 차량의 예측 존재 위치가 존재하는 경우에는, 충돌 가능성의 확률 Pc가, 동물의 예측 존재 위치의 존재 확률 Pa와 차량의 예측 존재 위치의 존재 확률 Pv를 사용하여,

<식 7>

Pc=Pa×Pv

가 산출되고, 충돌 가능성의 확률 Pc가 소정값 Pco를 초과하고 있을 때, 즉,

<식 8>

Pc>Pco

를 만족시킬 때, 동물과 차량이 동시에 존재할 확률이 높은 것으로 하고, 동물과 차량의 충돌 가능성이 있다고 판정되어도 된다. 여기서, 소정의 거리 L, 소정값 Pco는, 실험적으로 또는 이론적으로 적절히 설정되어도 된다. 도 9a의 예의 경우이면, 시각 t1일 때에는, 차량의 예측 존재 위치의 반경 L의 원 내에 동물의 예측 존재 위치가 존재하지 않으므로, 충돌 가능성 없음으로 판정된다. 한편, 시각 t2일 때에는, 차량의 예측 존재 위치의 반경 L의 원 내에 동물의 예측 존재 위치가 존재하므로, 각각의 위치의 존재 확률 Pa, Pv를 참조하여, 식 7에 의해, 충돌 가능성의 확률 Pc가 연산되고, 식 8이 만족되었을 때에, 충돌 가능성 있음으로 판정된다. 또한, 상기의 존재 확률의 결정 방법의 설명으로부터 이해되는 바와 같이, 현재 위치와 예측 존재 위치 사이의 거리가 길어질수록, 존재 확률 Pa, Pv는 저감되므로, 현재 위치에서 가까운 곳에서, 차량의 예측 존재 위치의 반경 L의 원 내에 동물의 예측 존재 위치가 존재할 때에는, 충돌 가능성 있음의 판정이 되기 쉽고, 현재 위치에서 먼 곳에서, 차량의 예측 존재 위치의 반경 L의 원 내에 동물의 예측 존재 위치가 존재할 때에는, 충돌 가능성 있음의 판정이 되기 어려워진다.

동물과 차량의 장래의 존재 영역의 예측 결과가 제2 형태에서 얻어지고 있는 경우, 즉, 동물과 차량의 시일마다의 존재 확률의 분포, 즉, 차량 주변의 평면 영역 내를 소정 폭으로 구분하여 얻어지는 소영역마다의 존재 확률 pa(x, y), pv(x, y)가 얻어지고 있는 경우에는, 시간마다, 각 소영역에 대해, 동물과 차량이 공존할 확률 pc가, 동물의 존재 확률 pa(x, y)와 차량의 존재 확률 pv(x, y)의 승산, 즉,

<식 9>

pc(x, y)=pa(x, y)×pv(x, y)

에 의해, 산출되고, 또한 충돌 가능성의 확률 Pc가, 각 소영역에서 동물과 차량이 공존할 확률 pc의 적산값, 즉,

<식 10>

Pc=Σpc(x, y)

에 의해 산출된다. 그리고, 상기의 식 8과 마찬가지로, 충돌 가능성의 확률 Pc가 소정값 Pco를 초과하고 있을 때, 충돌 가능성 있음으로 판정되어도 된다. 또한, 이러한 연산은 동물과 차량의 양쪽의 존재 확률의 값이 유의한 영역에서만 실행되도록 되어 있어도 된다(이에 의해, 해석이 필요한 영역이 한정되고, 전체 영역을 해석 대상으로 하는 경우에 비해, 연산량이 대폭으로 저감됨). 도 9b, 도 9c는 제2 형태에 따라 얻어진 동물과 차량의 시일마다의 존재 확률의 분포의 예를 모식적으로 나타낸 도면이다. 먼저, 도 9b를 참조하여, 어떤 시각 t에 있어서, 충돌 가능성의 확률 Pc는, 실질적으로는, 동물의 존재 확률과 차량의 존재 확률이 유의한 값인 영역이 중복된 부분(사선 영역)의 동물의 존재 확률 pa(x, y)와 차량의 존재 확률 pv(x, y)의 승산값의 적분값이 된다. 그리고, 어떤 시각 t에 있어서, 사선 영역의 충돌 가능성의 확률 Pc가 소정값 Pco를 초과하고 있지 않으면, 시각 t에서는, 충돌 가능성 없음으로 판정되지만, 도 9c와 같이, 동물의 존재 확률과 차량의 존재 확률이 높은 부분(일점 쇄선)이 각각 외측으로 진행되고, 예를 들어 시각 t3일 때에, 상기의 식 9, 식 10으로부터 연산되는 충돌 가능성의 확률 Pc가 소정값 Pco를 초과하면, 충돌 가능성 있음으로 판정되게 된다.

상기의 구성에 있어서는, 이미 언급한 바와 같이, 동물의 장래의 존재 영역의 예측에 있어서, 동물의 종류에 따라 다른 행동 특징 지표값이 사용되고 있으므로, 도 10a, 도 10b, 도 10c, 도 10d에 모식적으로 예시되어 있는 바와 같이, 동물의 종류마다 다른, 동물의 장래의 예측되는 존재 영역(존재 확률의 분포)이 얻어지게 된다. 따라서, 동물의 종류에 따라, 동물과 차량이 공존할 확률이 높은 영역의 유무 또는 그 확률이 높은 영역의 넓이, 시각을 예측하는 것이 가능해지고, 종전에 비해 보다 정확하게 충돌 가능성의 유무를 판정할 수 있게 된다. 또한, 이미 설명한 바와 같이, 상기의 구성에 있어서는, 동물이 단독으로 행동하고 있는지, 군을 형성하고 있는지에 따라, 각각의 행동 특징 지표값이 사용되고, 이에 의해, 동물이 단독인 경우와 군인 경우에 따라, 동물과 차량이 공존할 확률이 높은 영역의 유무 또는 그 확률이 높은 영역의 넓이, 시각이 예측된다. 그렇게 하면, 도 10d, 도 10e에 모식적으로 예시되어 있는 바와 같이, 단독으로 행동하고 있을 때와, 군을 형성하고 있을 때에, 행동의 특징이 다른 종류의 동물에 대해서는, 그 상황에 따라, 보다 정확하게 동물의 장래의 존재 영역의 예측이 이루어지고, 따라서, 보다 정확하게 충돌 가능성의 유무를 판정할 수 있게 된다. 예를 들어, 도 10d, 도 10e의 예와 같이, 단독으로 있을 때에는, 빠르게 차량으로부터 이격되지만, 군을 형성하고 있는 경우에는, 거의 이동하지 않는 종류의 동물인 경우에는, 그와 같은 행동의 특징을 고려하여 동물의 장래의 존재 영역의 예측이 이루어지고, 동물이 단독으로 행동하고 있을 때와 군을 형성하고 있을 때에, 동일한 종류의 동물이라도, 다른 충돌 가능성의 유무의 판정 결과가 발생하는 경우가 있게 된다.

상기의 일련의 처리에 의해, 현재의 시각으로부터 예측이 이루어진 시간 범위의 전체 영역에 걸쳐서 충돌 가능성 없음으로 판정된 경우에는, 충돌 가능성 없음으로 판정된다(스텝 58). 한편, 현재의 시각으로부터 예측이 이루어진 시간 범위의 어떤 시각에서, 충돌 가능성 있음의 판정이 이루어진 경우에는, 하기에 설명되는 충돌 회피를 위한 지원이 실행되게 된다(스텝 58).

상기의 일련의 처리에 있어서, 화상에 있어서 검출된 동물이 차량에 충돌할 가능성이 있다고 판정된 경우에는, 충돌 회피를 위한 지원 처리가 실행된다. 그 경우, 이미 설명한 바와 같이, 동물의 종류에 따라 유효한 지원의 형태가 다르므로, 검출된 동물의 종류에 따라, 실행되는 지원 형태의 선택이 실행된다(도 3-스텝 60). 구체적으로 실시하는 지원의 구체적인 동작으로서는, (i) (소리 및/빛에 의한) 경보의 발생, (ii) 차량의 제동에 의한 감속 또는 정지, (iii) 차량의 조타에 의한 동물의 회피가 실행되어도 되고, 지원 형태의 선택에 있어서는, 동물의 종류에 따라, 이들의 동작을 조합한 형태가 선택되어도 된다.

구체적으로는, 하기와 같이 지원 형태의 선택이 실행되어도 된다. (a) 동물이 대형 동물이고, 이동 속도가 느리거나 또는 정지하는 경우 (i) 경보 발생-실시 (ii) 차량 제동-제동력을 최대한으로 하여 실시 (iii) 차량 조타-실시, (b) 동물이 대형 동물이고, 이동 속도가 빠른 경우 (i) 경보 발생-실시 (ii) 차량 제동-제동력을 중 정도로 하여 실시 (iii) 차량 조타-실시하지 않고, (c) 동물이 소형 동물이고, 차량으로부터 떨어지는 경우 (i) 경보 발생-실시 (ii) 차량 제동-제동력을 저 정도로 하여 실시 (iii) 차량 조타-실시하지 않고, 또한, 상기의 차량 제동을 실시하는 경우에 있어서의 「중 정도」 또는 「저 정도」의 제동력의 크기는, 실험적으로 적절히 설정되어도 된다. 상기한 예의 다른 지원 동작의 조합도, 동물의 행동 특징을 고려하여 적절히 채용되어도 되고, 그와 같은 경우도 본 발명의 형태 범위에 속하는 것은 이해되어야 한다.

이렇게 하여, 동물의 종류에 따른 지원의 형태가 선택되면, 그 선택된 형태의 지원이 실행된다(스텝 62).

이상의 설명은 본 발명의 형태에 관련하여 이루어져 있지만, 당업자에게 있어서 많은 수정 및 변경이 용이하게 가능하고, 본 발명의 형태는 상기에 예시된 실시 형태만으로 한정되는 것은 아니다.

예를 들어, 동물의 장래의 존재 영역의 예측은 동물의 종류에 의한 행동의 특징이 반영되는 다른 임의의 방법에 의해 실행되어도 된다. 예측 결과의 표현의 형태도, 본 실시 형태에서 설명된 형태 이외의 것이어도 된다. 중요한 것은, 동물의 종류의 판별이 이루어지고, 그 종류의 동물의 행동 특징이 참조되고, 동물이, 차량 주변에 있어서, 그 후에 어떻게 이동하는지를, 동물의 종류마다 예측되고, 이에 의해, 동물의 존재 영역 또는 그 가능성이 높은 영역을, 보다 고정밀도로 추정할 수 있다는 점이다. 또한, 충돌 회피의 지원 형태는 예시된 형태 이외의 형태여도 된다. 중요한 점은, 동물의 종류가 판별됨으로써, 종류에 따른 정확한 충돌 회피의 지원 제공이 가능해진다는 점이다.

Claims

차량의 충돌 회피 지원 장치이며,
상기 차량의 주변 화상을 취득하도록 구성되어 있는 촬상부(70)와;
상기 화상에 있어서 동물의 상의 유무를 검출하도록 구성되어 있는 동물상 검출부와;
상기 화상에 있어서 동물의 상이 검출된 경우에 상기 동물의 종류를 판별하도록 구성되어 있는 동물 종류 판별부와;
상기 판별된 동물의 종류의 행동 특징을 나타내는 행동 특징 지표값에 기초하여 장래의 상기 동물의 존재 영역의 예측을 실행하도록 구성되어 있는 동물 존재 영역 예측부와;
상기 장래의 상기 동물의 존재 영역의 예측 결과에 기초하여 상기 차량에 대한 상기 동물의 충돌 가능성을 판정하도록 구성되어 있는 충돌 가능성 판정부; 및
상기 차량에 대한 상기 동물의 충돌 가능성이 있다고 판정되었을 때에 충돌 회피를 위한 지원 처리를 실행하도록 구성되어 있는 지원 처리 실행부를 포함하는, 차량의 충돌 회피 지원 장치.
제1항에 있어서, 상기 동물이 4족 보행 동물인, 차량의 충돌 회피 지원 장치.
제1항 또는 제2항에 있어서, 상기 판별된 동물의 종류에 기초하여 상기 충돌 회피를 위한 지원 처리의 형태를 선택하도록 구성되어 있는 지원 처리 선택부를 더 포함하고,
상기 지원 처리 실행부가 상기 선택된 형태의 지원 처리를 실행하도록 구성되어 있는, 차량의 충돌 회피 지원 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 동물 존재 영역 예측부가, 상기 장래의 상기 동물의 존재 영역의 예측으로서, 상기 동물의 판별된 종류의 상기 행동 특징 지표값과 상기 동물의 현재의 방향, 위치 및 이동 속도를 사용하여, 상기 차량 주변의 평면 영역에 있어서의 상기 동물의 장래의 존재 확률의 분포를 생성하도록 구성되어 있는, 차량의 충돌 회피 지원 장치.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 동물 존재 영역 예측부가, 상기 차량의 주행로에 진입할 수 있다고 상정되는 종류의 동물의 행동 특징 지표값의 데이터군을 미리 기억한 행동 특징 지표값 기억부를 포함하고,
상기 판별된 동물의 종류의 행동 특징 지표값이, 상기 행동 특징 지표값 기억부에 기억된 데이터의 군에서 선택되도록 구성되어 있는, 차량의 충돌 회피 지원 장치.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 동물의 판별된 종류의 상기 행동 특징 지표값이 상기 판별된 동물의 종류에 있어서 예상될 수 있는 행동 패턴에 있어서 발생할 수 있는 상기 동물의 이동 방향 및 이동 속도와 그 행동 패턴의 발생 확률을 포함하는, 차량의 충돌 회피 지원 장치.
제1항 내지 제3항 또는 제5항 중 어느 한 항에 있어서, 상기 차량의 장래의 존재 영역의 예측을 실행하도록 구성되어 있는 차량 존재 영역 예측부를 더 포함하고,
상기 충돌 가능성 판정부가, 상기 장래의 상기 동물의 존재 영역의 예측 결과와 상기 차량의 장래의 존재 영역의 예측 결과에 기초하여 상기 차량에 대한 상기 동물의 충돌 가능성이 있는지 여부를 판정하도록 구성되어 있는, 차량의 충돌 회피 지원 장치.
제4항에 있어서, 상기 차량의 장래의 존재 영역의 예측을 실행하도록 구성되어 있는 차량 존재 영역 예측부를 더 포함하고,
상기 충돌 가능성부가, 상기 장래의 상기 동물의 존재 영역의 예측 결과와 상기 차량의 장래의 존재 영역의 예측 결과에 기초하여 상기 차량에 대한 상기 동물의 충돌 가능성이 있는지 여부를 판정하도록 구성되어 있는, 차량의 충돌 회피 지원 장치.
제8항에 있어서, 상기 차량 존재 영역 예측부가 상기 차량의 장래의 존재 영역의 예측 결과로서 상기 차량 주변의 평면 영역에 있어서의 상기 차량의 장래의 존재 확률의 분포를 생성하도록 구성되어 있고,
상기 충돌 가능성 판정부가, 상기 동물의 장래의 존재 확률의 분포와 상기 차량의 장래의 존재 확률의 분포에 기초하여 상기 차량에 대한 상기 동물의 충돌 가능성을 판정하도록 구성되어 있는, 차량의 충돌 회피 지원 장치.
제1항 내지 제9항 중 어느 한 항에 있어서, 상기 동물 종류 판별부가 상기 화상에 있어서 검출된 상의 동물이 군을 형성하고 있는지 여부를 판별하여, 상기 판별된 종류의 동물이 군을 형성하고 있는 경우와 개체로 존재하고 있는 경우에 행동의 특징이 다를 때에는, 상기 동물 존재 영역 예측부가, 상기 상의 동물이 군을 형성하고 있다고 판별되었을 때와 판별되지 않았을 때에 있어서, 다른 행동 특징 지표값을 사용하여 상기 장래의 동물의 존재 영역의 예측을 실행하도록 구성되어 있는, 차량의 충돌 회피 지원 장치.