KR101369866B1

KR101369866B1 - 다기능 카메라 시스템

Info

Publication number: KR101369866B1
Application number: KR1020127014779A
Authority: KR
Inventors: 히로시 이시구로; 유이치 무라카미; 코이치 히로타
Original assignee: 아이신세이끼가부시끼가이샤
Priority date: 2009-11-13
Filing date: 2010-10-20
Publication date: 2014-03-05
Also published as: CN102596656A; EP2500218A4; CN102596656B; JP5360491B2; JP2011105058A; US20120217764A1; KR20120091330A; EP2500218B1; WO2011058856A1; EP2500218A1

Abstract

본 발명에 따른 다기능 카메라 시스템은 차량의 측면에서 차량 부품에 고정되어 상기 차량의 측방을 촬영하는 카메라와; 복수의 기능부의 실행 조건을 판정하는 조건 판정부와; 상기 조건 판정부의 판정 결과에 근거하여 실행되고, 상기 카메라의 촬영 화상에 근거하여 상기 차량의 주변에 존재하거나 상기 차량에 접근하는 장애물을 화상 인식에 의해 검출하는 상기 기능부로서의 장애물 검출부; 및 상기 조건 판정부의 판정 결과에 근거하여 실행되고, 상기 카메라의 촬영 화상에 근거하여 상기 차량에 도달한 인물이 상기 차량에 미리 등록된 이용자인지 아닌지를 화상 인식에 의해 인증하는 상기 기능부로서의 개인 인증부를 포함한다.

Description

다기능 카메라 시스템{MULTI-FUNCTION CAMERA SYSTEM}

본 발명은 차량용 카메라를 복수의 용도로 적용하는 다기능 카메라 시스템에 관한 것이다.

CCD(charge coupled device)나 CIS(CMOS image sensor)등의 촬상 소자의 보급에 따라, 차량에 카메라가 탑재되는 사례가 증가하고 있다. 일본공개특허공보 제2006-168553호(특허 문헌 1)에는 차내에서 운전석 도어의 외측에 서있는 사람의 얼굴을 촬영하여, 그 얼굴을 생체 인증하는 인증 시스템이 개시된다. 일본공개특허공보 제2007-153193호(특허 문헌 2)에는 사이드 미러에 설치된 카메라에 의해 촬영된 화상에 근거하여, 프런트 도어를 열 때의 장애물이 차량 주변에 존재하는지 아닌지 혹은 차량 후방으로부터 장애물이 접근하고 있는지 아닌지를 검출하는 기술이 개시된다. 또한, 일본공개특허공보 제2005-88759호 공보(특허 문헌 3), 일본공개특허공보 제2006-182234호(특허 문헌 4)에는 도어 미러에 카메라를 설치하여, 장면에 따라 상이한 용도로 상기 카메라를 이용하는 기술이 개시된다. 특허 문헌 3에서는 옆으로 붙이기시의 측방 확인과 탑승자의 얼굴을 촬영하는 용도로 이용된다. 이 카메라는 차량 주행중에는 도어 미러로부터 하부를 촬영하고, 차량이 정차하여 도어 미러가 닫혀졌을 때에는, 카메라의 촬영 방향을 새로 바꾸어 차내부를 촬영한다. 특허 문헌 4의 카메라는 차량의 사용시에는 운전자의 사각(blind spot)이 되는 차량의 전측방의 정경을 촬영하여 사이드 블라인드용 카메라로서 기능함과 동시에, 차량의 미사용시에는 도어 미러의 케이스내에서 180도 회전되어 차내부의 정경을 촬영하여 차내부감시용 카메라로서 기능한다.

특허 문헌 1 : 일본공개특허공보 제 2006-168553호 (제23, 31~33 단락 등) 특허 문헌 2 : 일본공개특허공보 제 2007-153193호 (제9, 15 단락 등) 특허 문헌 3 : 일본공개특허공보 제 2005-88759호 (제21, 24~28 단락 등) 특허 문헌 4 : 일본공개특허공보 제 2006-182234호 (제11~14, 17 단락 등)

카메라를 이용함으로써 여러 가지의 기능이 차량에 탑재되는 것이 기대되지만, 많은 기능을 탑재하기 위해서는 카메라를 많이 설치하지 않으면 안 된다. 많은 카메라를 설치하면 제품 원가가 비싸지고 또한, 차량 중량의 증가에 의해 연료 소비율이나 운동 성능을 저하시킬 가능성도 있다. 따라서, 가능한 한 적은 수의 카메라에 의해 많은 기능을 실현하는 것이 바람직하다. 상술한 특허 문헌 3이나 특허 문헌 4의 카메라는 2개의 용도로 이용되고 있어 카메라의 총수를 억제하는데 있어서 바람직한 형태이다. 그러나, 1개의 카메라를복수의 용도로 이용하기 위해서 카메라의 촬영 방향을 변경할 필요가 있고, 촬영 방향을 변경하기 위한 별도의 기구를 필요로 한다. 이 때문에, 카메라의 수를 억제할 수 있지만, 별도의 기구를 탑재하기 위한 비용이 필요하고 그 기구만큼 차량 중량도 증가할 가능성이 있다.

따라서, 차량 중량을 증가시키는 기구를 구비하지 않고도 저비용으로 차량용 카메라를 복수의 용도로 적용할 수 있는 기술이 요구된다.

상기 과제를 해결하기 위한 본 발명에 따른 다기능 카메라 시스템의 특징 구성은 차량의 측면서 차량 부품에 고정되어 상기 차량의 측방을 촬영하는 카메라와; 복수의 기능부의 실행 조건을 판정하는 조건 판정부와; 상기 조건 판정부의 판정 결과에 근거하여 실행되고 상기 카메라의 촬영 화상에 근거하여, 상기 차량의 주변에 존재하거나 상기 차량에 접근하는 장애물을 화상 인식에 의해 검출하는 상기 기능부로서의 장애물 검출부; 및 상기 조건 판정부의 판정 결과에 근거하여 실행되고, 상기 카메라의 촬영 화상에 근거하여, 상기 차량에 도달한 인물이 상기 차량에 미리 등록된 이용자인지 아닌지를 화상 인식에 의해 인증하는 상기 기능부로서의 개인 인증부를 포함하는 것이다.

이 특징 구성에 의하면, 카메라는 차량 부품에 고정되어 있으므로, 카메라의 촬영 방향을 변경하기 위한 별도의 기구는 필요없다. 따라서, 다른 기구를 탑재하기 위한 비용이 필요없고, 또한 그 기구만큼 차량 중량이 증가하지 않는다. 다기능 카메라 시스템은 장애물 검출부와 개인 인증부의 복수의 기능부를 구비하고 있지만, 각각의 기능부는 항상 실행되는 것이 아니고, 조건 판정부에 의한 실행 조건의 판정 결과에 근거하여 적절히 실행된다. 따라서, 복수의 기능부를 가지고 있어도 연산 부하의 증대는 억제되어 고기능의 연산 장치를 이용할 필요없이 저비용으로 다기능 카메라 시스템을 구축할 수 있다. 더욱이, 당연히 실행 조건에 따라 복수의 기능부가 같은 시기에 실행되는 것을 방해하는 것은 아니다.

또한, 본 발명에 따른 다기능 카메라 시스템의 상기 조건 판정부는 상기 차량이 일시 정차를 포함한 주행 또는 잠기지 않고(unlock) 정차하고 있는 경우, 상기 장애물 검출부의 실행 조건이 성립한다고 판정하고, 상기 차량이 상기 주행중이 아니고, 잠겨져 정차하고 있는 경우 상기 개인 인증부의 실행 조건이 성립한다고 판정하면 바람직하다. 차량의 사용상태에 따른 적절한 실행 조건에 의해 각 기능부를 유효하게 실행시킬 수 있게 된다.

또한, 본 발명에 따른 다기능 카메라 시스템은 더욱이 상기 조건 판정부의 판정 결과에 근거하여 실행되어상기 차량의 운전자로부터의 사각(blind spot)의 정경을 포함한, 상기 카메라에 의해 촬영된 촬영 화상을 차내부의 표시장치로 출력하는 상기 기능부로서의 블라인드 모니터부를 구비하고, 상기 조건 판정부는 상기 운전자를 포함한 상기 차량의 탑승자에 의해 상기 촬영 화상의 표시를 지시받는 경우, 또는 상기 장애물 검출부에 의해 장애물이 인식되는 경우에 상기 블라인드모니터부의 실행 조건이 성립한다고 판정하면 매우 바람직하다. 다기능 카메라 시스템이 한층 더 많은 기능부를갖추고 있더라도, 각각의 기능부는 조건 판정부에 의한 차량의 사용 상태에 따른 적절한 실행 조건의 판정 결과에 근거하여 적절히 실행된다. 편리성이 높은 블라인드 모니터부를 가지고 있어도, 연산 부하의 증대는 억제되어 고기능의 연산 장치를 이용하는 일 없이 저비용으로 다기능 카메라 시스템을 구축할 수 있다. 또한, 당연히 실행 조건에 따라 블라인드 모니터부와 다른 기능부가 같은 시기에 실행될 수도 있다.

또한, 본 발명에 따른 다기능 카메라 시스템은 상기 조건 판정부가 상기 차량의 전방측의 측방에 대한 화상 인식과 후방측의 측방에 대한 화상 인식 중 어느 것을 우선적으로 실행할지의 우선 조건을 판정하고, 상기 장애물 검출부는 상기 조건 판정부의 판정 결과에 근거하여 전방측과 후방측 중 어느 것에 대한 화상 인식을 우선적으로 실행하면 매우 바람직하다. 차량탑재 카메라를 복수의 용도로 적용하기 위해서는 상기 카메라는 운전자로부터의 사각이 촬영 범위에 포함되는 광각 카메라인 것이 바람직하다. 당연히, 광각 카메라의 촬영 화상은 넓은 영역을 촬영 대상으로 하고 있다. 따라서, 촬영 화상의 전체에 걸쳐 화상 인식을 실시해 장애물을 검출하는 것보다는 영역을 좁혀 화상 인식을 실시하는 것이 시간적으로도 연산 부하적으로도 효율적이다. 상기 구성에 의하면, 광역의 촬영 화상을 차량의 전방측과 후방측과의 2개의 영역으로 나누어 화상 인식을 우선적으로 실행시키는 영역이 설정되므로, 효율적인 장애물 검출을 실행할 수 있다.

또한, 상기 차량이 상기 차량의 전방측을 지점으로 회동하는 스윙 도어를 구비한 경우, 본 발명에 따른 다기능 카메라 시스템에서 상기 조건 판정부는 상기 스윙 도어의 열림 정도에 따라 상기 우선 조건을 판정하며, 상기 스윙 도어의 열림 정도가 소정의 열림 정도보다 작을 경우에는 전방측의 화상 인식을 우선시키고, 상기 스윙 도어의 열림 정도가 소정의 열림 정도 이상인 경우에는 후방측의 화상 인식을 우선시킨다고 판정하면 매우 바람직하다. 전방측을 지점으로 회동하는 스윙 도어가 열릴 때, 도어의 단부는 전방측으로 이동한다. 열림 시작 등 스윙 도어의 열림 정도가 소정의 열림 정도보다 작은 경우에 전방측의 화상 인식이 우선되면, 도어의 단부에 접촉할 가능성이 있는 장애물이 확실하고 또한 조기에 검출될 가능성이 높아진다. 이러한 장애물은 연석 등 낮은 위치에 있고, 탑승자의 사각이 되고 있기도 하므로 화상 인식에 의해 검출되면 매우 바람직하다. 한편, 스윙 도어가 소정의 열림 정도 이상 열렸을 경우에는, 차량의 후방으로부터 접근하여 차량의 측방을 통과하려고 하는 이동체(장애물)가 차량의 측방으로 돌출하는 스윙 도어에 접촉하는 것을 방지할 필요가 있다. 탑승자는 전방을 향하고 있기 때문에, 전방에서 접근하는 이동체에 비해 후방으로부터 접근하는 이동체는 인식하기 어렵다. 따라서, 화상 인식에 의해 이동체의 접근이 검출되면 바람직하다.

또한, 본 발명에 따른 다기능 카메라 시스템은 상기 카메라의 촬영 화상에 근거하여 상기 스윙 도어의 열림 정도를 연산하는 열림 정도 연산부를 구비하고, 상기 카메라는 상기 스윙 도어 또는 상기 스윙 도어에 설치되는 차량 부품에 설치되면 바람직하다. 이 구성에 의하면, 카메라는 스윙 도어와 함께 움직이게 된다. 한편, 차체는 움직이지 않기 때문에, 스윙 도어와는 다른 차량 부품이나 차체 등의 위치는 촬영 화상 중에서 이동(변화)하게 된다. 이 이동량(변화량)에 의해 스윙 도어의 열림 정도를 연산할 수 있다. 따라서, 스윙 도어에 별도 센서 등을 설치할 필요 없고 고정밀도로 스윙 도어의 열림 정도를 취득하는 것이 가능해진다.

또한, 본 발명에 따른 다기능 카메라 시스템의 상기 카메라, 상기 조건 판정부, 상기 복수의 기능부는 상기 차량의 주전원이 투입되고 있는 경우에 기능하는 것이며, 상기 다기능 카메라 시스템은 또한 상기 차량의 주전원이 투입되고 있는지 아닌지에 관계없이 기능하고, 상기 차량의 주전원이 투입되어 있지 않은 경우라도 상기 차량의 도어에 대한 조작에 따라, 상기 카메라, 상기 조건 판정부, 상기 각 기능부 중 적어도 1개를 기능시키는 전원 제어부를 구비하면 바람직하다. 다기능 카메라 시스템은 차량의 주전원이 투입되어 있지 않은 경우, 예를 들면 주차된 차량에 승차할 때나, 주전원을 끊은 후, 예를 들면 차량을 주차해 하차할 때에도 실행시키고 싶은 기능부를 구비한다. 그러나, 주차중을 포함하여 항상 모든 기능부에 전력을 공급해 두면, 차량의 배터리를 소모하여 바람직하지 않다. 상기 구성에 의하면, 차량의 주전원이 투입되어 있지 않은 경우에는 전원 제어부가 기능하여 차량의 도어에 대한 조작에 따라 필요한 기능부로 전력을 공급하게 된다. 따라서, 전력 절약으로 편리성이 높은 다기능 카메라 시스템이 구축된다.

여기서, 상기 차량의 도어의 조작은 상기 차량에 도달한 인물이 상기 차량의 차외부에 설치된 도어 핸들에 접한 것으로 할 수 있다. 또한, 상기 차량의 도어의 조작은 상기 차량의 운전자를 포함한 상기 차량의 탑승자가 상기 차량의 차내부에 설치된 도어 핸들에 접한 것으로 할 수 있다. 도어 핸들에의 접촉을 검출함으로써 보다 빨리 차량의 도어에 대한 조작을 검출할 수 있어 전원 제어부를 통하여, 카메라나 조건 판정부를 포함한 각 기능부로 조기에 전력의 공급을 개시하고 그것들을 실행시키는 것이 가능해진다.

차량 중량을 증가시키는 기구를 구비할 필요 없이, 저비용으로 차량용 카메라를 복수의 용도로 적용할 수 있다.

도 1은 다기능 카메라 시스템의 일실시예를 개략적으로 도시한 블럭도이다.
도 2는 카메라의 설치 위치의 일실시예를 도시한 사시도이다.
도 3은 카메라의 촬영 범위의 일실시예를 도시한 설명도이다.
도 4는 승차시의 다기능 카메라 시스템의 동작예를 도시한 플로우 차트(flow chart)이다.
도 5는 블라인드 모니터부의 동작예를 도시한 플로우 차트(flow chart)이다.
도 6은 장애물 검출부의 동작예를 도시한 플로우 차트(flow chart)이다.
도 7은 하차시의 다기능 카메라 시스템의 동작예를 도시한 플로우 차트(flow chart)이다.
도 8은 다기능 카메라 시스템의 동작과 촬영 범위와의 관계를 도시한 설명도이다.
도 9는 다기능 카메라 시스템의 동작과 촬영 범위의 관계를 도시한 설명도이다.

이하, 본 발명의 실시예를 도면에 근거하여 설명한다. 다기능 카메라 시스템(10)은 도 1, 도 2, 도 3에 도시된 바와 같이, 차량(100)의 측면에서 도어 핸들(61)에 고정되어 차량(100)의 측방을 촬영하는 카메라(1)를 구비한다. 본 실시예에서는 카메라(1)이 고정되는 차량 부품은 도어 핸들(61)이지만, 당연히 다른 부품일 수도 있다. 예를 들면, 상기 차량 부품은 도어(60)의 도어 패널일 수 있고, 사이드 미러나 펜더일 수도 있다. 또한, 카메라(1)가 도어 핸들(61)에 고정되는 경우에도 핸들 본체(61a)에 설치될 수도 있고, 핸들 캡(61b)에 설치될 수도 있다.

본 실시예에서는, 차량(100)은 측면에 4개의 도어(60)를 구비한다. 구체적으로는 차량(100)은 운전석 도어(60A), 조수석 도어(60B), 운전석측 후부 도어(60C), 조수석측 후부 도어(60D)를 구비한다. 각 도어(60)의 형태는 본 실시예로 한정되는 것은 아니지만, 본 실시예에서는 운전석 도어(60A)와 조수석 도어(60B)는 차량(100)의 전방측을 지점으로 회동하는 스윙 도어이다. 한편, 운전석측 후부 도어(60C)와 조수석측 후부 도어(60D)는 슬라이드 도어이다.

카메라(1)는 운전석 도어(60A)와 조수석 도어(60B)에 1개씩 설치된다. 당연히, 2개로 한정되는 것은 아니며, 후부 도어(60C 및 60D)에도 설치되고, 합계 3개 이상의 카메라가 차량(100)에 설치될 수도 있다. 본 실시예에서는, 카메라(1A)는 운전석 도어(60A)의 도어 핸들(61A)에 광축(optical axis)을 고정해 설치되고, 카메라(1B)는 조수석 도어(60B)의 도어 핸들(61B)에 광축을 고정하여 설치된다. 카메라(1)은 시야각(view angle)이 대략 180도의 광각 카메라이며, 5~10도 정도의 부각(angle of depression)을 가지도록 설치되면 바람직하다. 카메라(1)는 부각을 가지고 있더라도, 도어(60)의 근방에 있어서 지상으로부터 2m정도의 높이까지를 촬영 범위에 포함하고, 도어(60)의 옆에 서있는 사람의 머리 부분을 촬영할 수 있다. 또한, 카메라(1)는 1초간에 15~60 프레임의 동화상을 디지털 촬영할 수 있는 디지탈카메라이다. 도 3에 도시된 바와 같이, 카메라(1)의 촬영 범위 E는 차량(100)의 측면, 측면측의 전단 및 후단을 포함한다. 자세한 것은 후술 하지만, 촬영 범위 E중 전방측을F, 후방측을 R이라고 한다. 카메라(1A 및 1B)의 촬영 범위 E를 구별하는 경우, 카메라(1A)의 촬영 범위를 E1, E1의 전방측을 F1, E1의 후방측을 R1라고 표기한다. 한편, 카메라(1B)의 촬영 범위를 E2, E2의 전방측을 F2, E2의 후방측을 R2라고 표기한다.

도 1에 도시된 바와 같이, 다기능 카메라 시스템(10)은 조건 판정부(3), 블라인드 모니터부(4), 장애물 검출부(5), 개인 인증부(6) 등의 복수의 기능부를 구비한다. 본 발명의 기능부는 다기능 카메라 시스템(10)을 구성하는 각 부분이며, 광의로는 카메라(1)도 포함한다. 블라인드 모니터부(4)와 장애물 검출부(5)와 개인 인증부(6)는 카메라(1)을 복수의 용도로 적용할 때의 「각 용도」를 실현하는 기능부이며, 특히, 구별하는 경우에는 용도 기능부라고 칭한다. 본 실시예에 있어서는 블라인드 모니터부(4)와 장애물 검출부(5)와 개인 인증부(6)를 예시하고 있지만, 당연히 다른 용도를 실현하는 용도 기능부가 다기능 카메라 시스템(10)에 포함될 수 있다. 예를 들면, 차량(100)의 주차시에 운전자를 안내하는 주차 지원부가 다기능 카메라 시스템(10)에 포함될 수 있다. 반대로, 카메라(1)를 복수의 용도로 적용하는 다기능 카메라 시스템(10)에는 적어도 2개의 용도 기능부가 포함될 수 있다. 예를 들면, 용도 기능부로서 장애물 검출부(5) 및 개인 인증부(6)만을 구비한 시스템일 수 있다.

블라인드 모니터부(4)는 카메라(1)에 의해 촬영된 촬영범위 E의 정경을 포함한 촬영 화상을 차내부의 표시장치(20)로 출력하는 기능부이다. 이 촬영 화상에는 차량(100)의 운전자로부터의 사각의 정경이 포함된다. 운전자로부터의 사각이란 펜더의 옆이나 펜더나 도어(60)의 하부 등이다. 또한, 표시장치(20)는 차내부에 설치된 액정 디스플레이 등의 모니터 장치이다. 표시장치(20)은 블라인드 모니터부(4) 전용이 설치될 수 있지만, 오디오 장치의 정보 표시부 또는 네비게이션 시스템의 표시부가 겸용될 수 있다.

장애물 검출부(5)는 촬영 화상에 근거하여 차량(100)의 주변에 존재하는 물체 또는 차량(100)에 접근하는 이동체를 화상 인식에 의해 장애물로 검출하는 기능부이다. 여기서, 물체는 예를 들면, 연석이나 폴 등이고, 이동체란 예를 들면 보행자나 자전거, 오토바이, 자동차 등이다. 정지 물체 및 이동체의 화상 인식은 공지의 화상 처리 방법에 의해 실행된다.

개인 인증부(6)는 촬영 화상에 근거하는 화상 인식에 의해 차량(100)에 도달한 인물이 차량(100)에 미리 등록된 이용자인지 아닌지를 인증하는 기능부이다. 이 인증은 얼굴 인식, 눈의 홍채 인식, 지문 인식, 정맥 인식 등의 공지의 방법에 의해 실행된다.

블라인드 모니터부(4), 장애물 검출부(5) 및 개인 인증부(6)는 기능부 마다의 실행 조건을 판정하는 조건 판정부(3)의 판정 결과에 근거하여 각각의 기능을 실행한다. 조건 판정부(3)은 운전자를 포함한 차량(100)의 탑승자에 의해 촬영 화상의 표시를 지시받은 경우에, 블라인드 모니터부(4)의 실행 조건이 성립한다고 판정한다. 여기서, 탑승자에 의한 지시란 예를 들면, 차내부에 설치된 표시 스위치(21)(도 1 참조)를 조작하는 것이다. 표시 스위치(21)는 전용의 스위치일 수 있으며, 표시장치(20)가 터치 패널을 구비할 경우 상기 터치 패널로 설정될 수 있다. 표시 스위치(21)를 통한 지시에는 카메라(1A) 또는 카메라(1B)의 촬영 화상의 어느 쪽인지를 선택하는 지시, 쌍방을 표시시키는 지시, 또한, 부분 확대 등의 지시도 포함한다.

또한, 조건 판정부(3)는 장애물 검출부(5)에 의해 장애물이 인식된 경우에 블라인드 모니터부(4)의 실행 조건이 성립한다고 판정한다. 장애물 검출부(5)는 장애물을 검출하면 촬영 화상의 표시 요구를 생성한다. 조건 판정부(3)는 이 표시 요구에 근거하여 블라인드 모니터부(4)의 실행 조건이 성립한다고 판정한다. 운전자는 촬영 화상을 봄으로써, 장애물 검출부(5)의 검출 결과를 그 진위도 포함하여 조기에 확인할 수 있다.

또한, 조건 판정부(3)는 차량(100)이 일시 정차를 포함한 주행중일 경우, 장애물 검출부(5)의 실행 조건이 성립한다고 판정한다. 구체적으로 이그니션 스위치가 온 상태에 있는 등, 차량(100)의 주전원이 투입(즉, 주전원이 접속되어 있는)되고 있는 경우, 조건 판정부(3)는 이그니션 신호 등에 기초하여, 장애물 검출부(5)의 실행 조건이 성립한다고 판정한다. 내연기관과 모터를 구동원으로 하는 하이브리드 자동차 또는 모터를 구동원으로 하는 상기 자동차에서는 이른바, 내연기관을 시동시키기 위한 이그니션 스위치가 없는 경우가 있다. 그러나, 이러한 차량에 있어서도 차량의 구동원을 유효하게 하기 위해서 주전원(메인 스위치)은 존재한다. 따라서, 주전원이 투입되어 액셀의 조작, 브레이크의 해제 등에 의해서 차량(100)이 주행 가능한 상태인 경우, 조건 판정부(3)는 차량(100)이 일시 정차를 포함한 주행 중이라고 하여, 장애물 검출부(5)의 실행 조건이 성립한다고 판정한다. 또한, 조건 판정부(3)는 주전원이 끊어져 차량(100)이 주행 가능한 상태가 아닌 때에도, 차량(100)이 잠기지 않고 정차하고 있는 경우에는 장애물 검출부(5)의 실행 조건이 성립한다고 판정한다. 이것은, 예를 들면, 주전원을 끊고, 탑승자가 하차하려고 하는 경우 등에 상당한다.

또한, 조건 판정부(3)는 차량(100)이 주행중이 아니고, 잠겨져 정차하고 있는 경우 개인 인증부(6)의 실행 조건이 성립한다고 판정한다. 차량(100)이 주행중이 아닌 경우에는 상술한 것처럼, 주전원이 투입되지 않고, 액셀의 조작, 브레이크의 해제 등에 의해서 차량(100)을 주행할 수 없는 상태이다. 이 상태에 있어서, 차량(100)이 잠겨져 정차하고 있는 경우, 즉, 주차되고 있는 경우 개인 인증부(6)의 실행 조건이 성립한다고 판정한다.

더욱이, 조건 판정부(3)는 차량(100)의 촬영 범위 F에 상당하는 전방측의 측방에 대한 화상 인식과 촬영 범위 R에 상당하는 후방측의 측방에 대한 화상 인식과의 어느 것을 우선적으로 실행할지의 우선 조건을 판정한다. 자세한 것은 후술하지만, 장애물 검출부(5)는 조건 판정부(3)에 의한 우선 조건의 판정 결과에 기초하고 전방측(F)과 후방측(R)중 어느 것에 대한 화상 인식을 우선적으로 실행한다. 상술한 바와 같이, 본 실시예에 있어서는 차량(100)은 차량(100)의 전방측을 지점으로 회동하는 스윙 도어(60A, 60B)를 구비한다. 조건 판정부(3)는 스윙 도어(60A, 60B)의 열림 정도에 따라 우선 조건을 판정한다. 구체적으로는, 스윙 도어(60A, 60B)의 열림 정도가 소정의 열림 정도(우선 임계값)보다 적을 경우에는 전방측(F)의 화상 인식을 우선시키는 판정을 실시한다. 스윙 도어(60A, 60B)의 열림 정도가 소정의 열림 정도(우선 임계값) 이상일 경우에는 후방측(R)의 화상 인식을 우선시키는 판정을 실시한다.

상술한 바와 같이, 카메라(1A 및 1B)는 각각 스윙 도어(60A 및 60B)에 설치된다. 구체적으로는 스윙 도어(60A 및 60B)에 설치되는 차량 부품인 도어 핸들(61A 및 61B)에 설치된다. 따라서, 광축을 고정하여 설치되는 카메라(1)(1A 및 1B)도 스윙 도어(60)(60A 및 60B)의 회동에 따라 이동하게 되고, 촬영 화상도 그에 따라 변화한다. 한편, 차체는 움직이지 않기 때문에 스윙 도어(60) 또는 도어 핸들(61)(61A 및 61B)과는 다른 차량 부품이나 차체 등의 위치는 촬영 화상 내에서 이동하게 된다. 거기서, 본 실시예에서는 다기능 카메라 시스템(10)은 더욱이 촬영 화상에 기초하고, 화상 처리에 의해서 스윙 도어(60)의 열림 정도를 연산하는 열림 정도 연산부(7)을 구비한다.

열림 정도 연산부(7)는 도어(60)나 도어 핸들(61)과는 다른, 카메라(1)의 이동에 의해서 촬영 화상 중에서 이동하는 차량 부품이나 차체 등의 위치의 상대적인 이동량(변화량)에 의하여 스윙 도어의 열림 정도를 연산한다. 여기서, 다른 차량 부품이나 차체 등에는 예를 들면, 범퍼, 타이어, 휠, 차체 외판의 틈새나 단부 등이 해당한다. 물론, 스윙 도어(60)에 별도 센서 등을 설치하여 열림 정도를 검출할 수 있다. 그러나, 열림 정도 연산부(7)은 화상 처리에 의해서 스윙 도어(60)의 열림 정도를 연산하므로, 상기 센서를 설치할 필요가 없고 생산 비용을 저감할 수 있다.

상술한 다기능 카메라 시스템(10)의 각 기능부, 구체적으로, 카메라(1), 조건 판정부(3), 블라인드 모니터부(4), 장애물 검출부(5), 개인 인증부(6), 열림 정도 연산부(7)는 차량(100)의 주전원이 투입되고 있을 경우에 전력의 공급을 받아 기능하는 것이다. 그러나, 예를 들면, 개인 인증부(6)는 차량(100)이 주행중이 아니고, 잠겨져 정차하고 있는 경우에 실행 조건이 성립하지만, 주전원이 미투입(즉, 접속되지 않음)되면 전력의 공급을 받을 수 없고, 그 기능을 실행할 수 없게 된다. 또한, 장애물 검출부(5)는 주전원이 끊어져 차량(100)이 주행 가능한 상태는 아닌 경우에도, 차량(100)이 잠기지 않고 정차하고 있을 경우 실행 조건이 성립하지만, 전력 공급을 받지 못하고 그 기능을 실행할 수 없게 된다. 또한, 실행 조건을 판정하는 조건 판정부(3)도 주전원이 미투입되면 전력 공급을 받을 수 없어 판정을 할 수 없게 된다.

거기서, 다기능 카메라 시스템(10)은 더욱이 차량(100)의 주전원이 투입되지 않는 경우에도 소정의 조건 하에 소정의 기능부로 전력을 공급하는 전원 제어부(8)을 구비하고 있다. 전원 제어부(8)는 차량(100)의 주전원이 투입되고 있는지 아닌지에 관계없이 기능한다. 그리고, 전원 제어부(8)는 차량(100)의 주전원이 투입되어 있지 않을 때에도 도어(60)에 대한 조작에 따라, 각 기능부 중 적어도 1개를 기능시킨다. 구체적으로는, 전원 제어부(8)은 카메라(1), 조건 판정부(3) 및 각 용도 기능부 중 적어도 1개를 기능시킨다. 본 실시예에서 전원 제어부(8)은 카메라(1), 조건 판정부(3), 블라인드 모니터부(4), 장애물 검출부(5), 개인 인증부(6)중 적어도 1개를 기능시킨다. 여기서 「도어(60)로의 조작」은 차량(100)에 도달한 인물이 차외부에 설치된 도어 핸들(61)에 접촉한 것으로 할 수 있다. 또한,「도어(60)에 대한 조작」은 차량(100)의 운전자를 포함한 탑승자가 차내부에 설치된 도어 핸들에 접촉한 것으로 할 수 있다. 이들 「도어(60)로의 조작」에 있어서는 구체적인 예를 이용하여 후술한다.

그런데, 다기능 카메라 시스템(10)의 각 기능부 특히, 용도 기능부인 블라인드 모니터부(4), 장애물 검출부(5), 개인 인증부(6)는 개별의 장치로서 구성될 수 있지만, 본 실시예에서는 마이크로 컴퓨터(CPU)(12c)를 구비한 ECU(electronic control unit)(12)를 핵심으로 구성된다. 즉, 각 기능부는 마이크로 컴퓨터(CPU)(12c)를 핵심으로 하는 하드웨어와 프로그램 메모리(12p)에 저장된 소프트웨어의 협동에 의해 실현된다. 카메라(1)에 의해 촬영된 촬영 화상은 화상 인터페이스 유닛(11)을 통하여 ECU(12)로 입력된다. ECU(12)는 워크메모리(12w)를 구비하고 있어 적절히, 촬영 화상이나 그 외의 일시 데이터를 기억하여 화상 처리 등의 연산 처리를 실시한다. 또한, CPU(12c), 프로그램 메모리(12p) 및 워크메모리(12w)는 당연히 1개의 프로세서로서 집적될 수 있다. ECU(12)는 버저 등의 경보 장치(30) 또는 표시장치(20)와도 접속한다.

또한, ECU(12)는 CAN(controller area network) 등의 차내 네트워크(50)에 의해 다른 ECU와도 연결된다. 본 실시예에 있어서 ECU(12)는 차내 네트워크(50)을 통하여 4개의 각 도어(60)을 제어하는 도어 제어 시스템(40)으로 연결하고 있다. 4개의 도어 제어 시스템(40)은 각각 운전석 도어 제어 시스템(40A), 조수석 도어 제어 시스템(40B), 운전석측 후부 도어 제어 시스템(40C), 조수석측 후부 도어 제어 시스템(40D)이다. 4개의 도어 제어 시스템(40)은 각각 시스템의 핵심이 되는 도어 ECU(41)(41A, 41B, 41C, 41D), 도어가 열려 있는지 등의 상태를 검출하는 도어 센서(42)(42A, 42B, 42C, 42D)), 전동에 의해 도어의 잠금 및 잠금해제를 실시하는 잠금 액츄에이터(43)(43A, 43B, 43C, 43D), 전동에 의해 도어의 개폐를 실시하는 개폐 액츄에이터(44)(44A, 44B, 44C, 44D)를 구비하고 있다. 본 실시예에서는 차내 네트워크(50)을 통하여 ECU(12)와 도어 제어 시스템(40)이 연결하는 실시예를 도시했지만, 당연히 ECU(12)와 도어 제어 시스템(40)이 전용선으로 접속될 수 있다.

도어 ECU(41)는 다기능 카메라 시스템(10)의 ECU(12)와 마찬가지로 마이크로 컴퓨터 등을 핵심으로 구성된다. 도어 센서(42)는 단순하게 도어(60)가 차체에 체결된 상태인지 체결이 해제된 상태인지를 검출하는 도어 스위치일 수 있다. 또한, 스윙 도어(60A 또는 60B)의 열림 정도를 검출하는 센서일 수 있으며 또한, 차내부에 설치된 도어 핸들(도어 손잡이)에 대한 조작의 유무를 검출하는 센서일 수도 있다. 잠금 액츄에이터(43)는 예를 들면, 솔레노이드이며, 도어 ECU(41)의 제어에 의해 도어(60)를 잠금 및 잠금해제한다. 개폐 액츄에이터(44)는, 예를 들면, 모터이다. 후부 도어인 도어(60C 및 60D)가 슬라이드 도어인 경우에는 개폐 액츄에이터(44)는 도어 ECU(41)의 제어에 의해 도어(60C 및 60D)를 완전 열림으로부터 완전 닫힘의 사이에서 개폐한다. 운전석 도어(60A), 조수석 도어(60B)와 같은 스윙 도어인 경우에는 개폐 액츄에이터(44)는 완전 열림으로부터 완전 닫힘의 사이에서 도어(60)를 개폐시키지 않고, 완전 닫힘으로부터 조금 열릴 때까지의 사이 등 한정된 범위를 개폐하는 것일 수 있다. 또한, 자동적으로 개폐시키는 것에 한정되는 것은 아니고, 개폐 액츄에이터(44)는 수동에 의한 개폐를 억제하기 위해서 이용될 수 있다.

운전석 도어 제어 시스템(40A) 및 조수석 도어 제어 시스템(40B)는 더욱이 차 밖에 터치 센서(45)(45A, 45B)를 구비하도록 구성된다. 터치 센서(45)는, 예를 들면, 정전 용량 센서이며, 도 2에 도시된 바와 같이, 도어 핸들(61)의 도어(60)와 대면하는 측에 내장된다. 도 2는 운전석 도어(60A)를 예시하고 있지만, 조수석 도어(60B)도 마찬가지이다. 터치 센서(45)는 도어(60)를 열기 위해서 도어 핸들(61)을 조작하려고 하는 이용자의 손이 도어 핸들(61)에 접촉한 것을 검출한다. 터치 센서(45)에는 차량(100)의 주전원이 투입되고 있는지 아닌지에 관계없이 상시, 미약한 전력을 공급하거나, 간헐적으로 전력을 공급하면 바람직하다. 터치 센서(45)는 본 실시예로 한정되는 것은 아니며, 도어 핸들(61)이 도어(60)와 대면하는 측과는 반대 측에 스위치를 설치하여 이용자가 이 스위치를 조작하는 것을 검출할 수 있다.

다기능 카메라 시스템(10)은 상술한 바와 같은 차량(100)의 각 장비와 연결되고, 여러 가지의 장면에 대해 여러 가지의 기능을 발휘한다. 이하, 도 4 내지 도 7에 도시한 플로우 차트(flow chart), 도 8 및 도 9에 도시한 설명도를 이용하여, 각 장면에 있어서의 다기능 카메라 시스템(10)의 동작을 설명한다.

　처음에, 도 4를 이용하여 승차시의 다기능 카메라 시스템(10)의 동작예를 설명한다. 차량(100)은 주행중이 아니고, 잠겨져 정차하고 있는 것으로 한다. 상술한 것처럼, 터치 센서(45)에는 상시, 미약한 전력이 공급되거나 간헐적으로 전력이 공급된다. 그 때문에, 차량(100)의 주전원이 투입되고 있는지 아닌지에 관계없이 이용자에 의한 도어 핸들(61)로의 조작을 검출할 수 있다. 터치 센서(45)의 검출 결과는 차내 네트워크(50)을 통하여 ECU(12)에 전달된다.

여기서, ECU(12)의 CPU(12c)는 터치 센서(45)의 검출 결과를 인터럽트로서 받아들이면 바람직하다. CPU(12c)는 전력 절약 모드 등에서 휴지하고 있더라도, 터치 센서(45)의 검출 결과를 받아들임으로써, 재기동(wake up)된다. 이러한 인터럽트의 접수나 CPU(12c)의 재기동은 전원 제어부(8)가 주체가 되어 실행한다. 전원 제어부(8)는 터치 센서(45)에 의한 검출이 있었다고 판정하면 카메라(1), 조건 판정부(3), 개인 인증부(6)에 일정기간의 실행을 지시한다(＃11,＃12). 전원 제어부(8)는 운전석 도어(60A)의 터치 센서(45A)로부터 검출 결과를 받았을 경우에는 카메라(1A)만을 기동하고, 조수석 도어(60 B)의 터치 센서(45B)로부터 검출 결과를 받았을 경우에는 카메라(1B)만을 기동하면 전력 절약이 된다. 또한, 터치 센서(45)가 이용자의 조작을 검출하지 않는 측에서 개인 인증을 실행하지 않음으로써, 잘못하여 인증이 성립하는 것을 억제할 수 있으므로, 보안상으로도 바람직하다.

기동된 조건 판정부(3)는 차량(100)이 주행중이 아니고, 잠겨져 정차하고 있는 것으로, 개인 인증부(6)의 실행 조건이 성립한다고 판정한다. 개인 인증부(6)는 실행 조건이 성립한 것에 의해 촬영 화상을 화상 인식하여 촬영 화상중의 인물이 미리 상기 차량(100)에 등록된 이용자인지 아닌지를 인증한다. 인증 결과가 합격인 경우에는 ECU(12)로부터 도어 제어 시스템(40)(40A, 40D)에 잠금 해제 지시가 전달된다(＃13, ＃14). ECU(12)는 잠금 해제 지시를 전달하면 처리를 종료한다. 도어 제어 시스템(40)의 각 도어 ECU(41)(41 A41D)에 의해 각 잠금 액츄에이터(43)(43 A43D)가 제어되어 차량(100)이 잠금해제된다. 인증 결과가 불합격이었을 경우에는, ECU(12)는 처리를 종료한다.

카메라(1), 조건 판정부(3), 개인 인증부(6)는 전원 제어부(8)에 의해 일정기간 실행하여, 일정기간을 경과하면 다시 전력 절약 모드 등에서 휴지 상태가 된다. 개인 인증이 불합격인 경우에, 카메라(1) 등에 전력을 공급하면 전력이 소용없게 될 수 있다. 또한, 개인 인증이 성공하여, 도어(60)를 열어 이용자가 승차했을 경우에도, 곧바로 주전원을 투입하여 차량(100)을 발진시킨다고는 할 수 없다. 따라서, 합격·불합격에 의하지 않고 개인 인증이 끝난 다음에는 다시 전력 절약 모드 등에서 휴지 상태가 되면 바람직하다. 또한, 본 실시예에서는 「일정기간」이라고 했지만, 이것으로 한정되는 것은 아니다. 그대로 통상 동작을 하게 하여, 개인 인증이 불합격이 되었을 경우나, 개인 인증이 성공하여 도어(60)가 열렸을 경우 등의 다른 사상을 트리거(trigger)로 하여 휴지 상태로 복귀할 수 있다.

다음으로, 도 5를 이용하여 블라인드 모니터부(4)의 동작예를 설명한다. 여기에서는 차량(100)의 주전원이 투입되는 것으로 설명한다. 즉, 차량(100)이 일시 정차를 포함한 주행중인 것으로서 설명한다. 카메라(1), ECU(12) 등 다기능 카메라 시스템(10)의 각부는 휴지상태는 아니고 통상 실행상태이다. 조건 판정부(3)는 표시 요구가 있는지 아닌지를 판정하여(＃21), 표시 요구가 있는 경우에는 블라인드 모니터부(4)에 촬영 화상의 표시를 지시한다(＃22). 블라인드 모니터부(4)는 화상 인터페이스 유닛(11)및 표시장치(20)로 촬영 화상 표시의 지시를 내려, 표시장치(20)에 촬영 화상이 표시된다. 또한, 촬영 화상 표시의 지시는 카메라(1A) 또는 카메라(1B)의 촬영 화상 중 어느 것인지를 선택하는 지시나 쌍방을 표시시키는 지시 또한, 부분 확대 등의 지시도 포함한다.

조건 판정부(3)는 장애물 검출부(5)에 의해 장애물이 인식되었을 경우에 블라인드 모니터부(4)의 실행 조건이 성립한다고 판정한다. 또한, 조건 판정부(3)는 운전자를 포함한 차량(100)의 탑승자에 의해 표시 스위치(21)가 조작되었다는 등 촬영 화상의 표시를 지시받았을 경우에, 블라인드 모니터부(4)의 실행 조건이 성립한다고 판정한다. 예를 들면, 표시 스위치(21)가 조작되었을 경우에, 전원 제어부(8)가 ECU(12)를 재기동하도록 구성되어 있으면, 도 4에 나타낸 순서와 같이, 차량(100)에 주전원이 투입되어 있지 않을 때라도 블라인드 모니터부(4)를 실행시킬 수 있다.

다음으로, 도 6을 이용하여 장애물 검출부(5)의 동작예를 설명한다. 여기에서는, 차량(100)의 주전원이 투입되고 있는 것으로 또는 상술한 것처럼 주전원이 미투입되고 일정기간 전력의 공급을 받아 동작하고 있는 것으로 설명한다. 조건 판정부(3)는 차량(100)이 일시 정차를 포함한 주행중일 경우, 장애물 검출부(5)의 실행 조건이 성립한다고 판정한다. 장애물 검출부(5)는 각 프레임(촬영 화상) 간의 차분이나, 하나의 프레임내의 패턴 매칭 등의 공지의 화상 인식 기술에 의해 촬영 화상중의 장애물의 유무나 접근을 검출한다. 장애물 검출부(5)는 장애물을 검출하면, 버저등의 경보 장치(30)도 경보의 발신을 지시한다(＃32). 또한, 블라인드 모니터부(4)에 대하여 촬영 화상의 표시 요구를 실시한다(＃33). 이 경우, 검출된 장애물의 위치에 따라, 전방측 F 또는 후방측 R를 확대하는 지시를 부가할 수 있다. 블라인드 모니터부(4)는 화상 인터페이스 유닛(11)으로 연결하여 확대된 촬영 화상을 표시장치(20)에 표시할 수 있다. 촬영 화상의 표시 요구를 받은 블라인드 모니터부(4)의 동작에 있어서는, 도 5에 기초해 상술한 바와 같다.

　또한, 상술한 바와 같이 조건 판정부(3)은 주전원이 미투입되어 차량(100)이 주행 가능한 상태가 아닌 경우에도, 차량(100)이 잠기지 않고 정차하고 있을 경우에는 장애물 검출부(5)의 실행 조건이 성립한다고 판정한다. 이것은 예를 들면, 주전원을 끊고, 탑승자가 하차하려고 할 때 등에 대응한다. 이하, 도 7을 이용하여, 하차시의 다기능 카메라 시스템의 동작예에 대해 설명한다.

처음에, 도어 센서(42)의 검출이 있는지 아닌지는 전원 제어부(8)에 의해 판정된다(＃41). 상술한 바와 같이, 도어 센서(42)는 단순하게 도어(60)이 차체에 체결된 상태나 체결이 해제된 상태인지를 검출하는 도어 스위치일 수도 있고, 차내부에 설치된 도어 핸들(도어 손잡이)에의 조작의 유무를 검출하는 센서일 수도 있다. 예를 들면, 조작의 유무의 검출은 운전자를 포함한 탑승자가 실내에 설치된 도어 핸들에 접촉한 것을 검출할 수 있다.

즉, 도어 센서(42)는 탑승자가 차 밖으로 나오려 하고 있는 것을, 바람직하게는 도어(60)가 열리기 시작하기 전에 검출 가능한 검출 수단일 수 있다. 도어 센서(42)에 의해 탑승자가 하차하려고 하고 있는 것의 검출이 있었을 경우에는, 다음으로 전원 제어부(8)는 주전원이 투입되고 있는지 아닌지를 판정한다(＃42). 그리고, 주전원이 투입되어 있지 않은 경우에는 적어도 카메라(1), 조건 판정부(3), 블라인드 모니터부(4), 장애물 검출부(5)에 대해서 일정기간의 실행을 지시한다(＃43). 즉, 개인 인증부(6)에 대해 설명한 것과 같이, 휴지 상태의 CPU(12c)를 기동시킨다. 이 일정기간은 개인 인증부(6)가 기능할 때와 같은 기간일 수도 있고, 다른 기간일 수도 있다. 또한, 본 실시예에서는 「일정기간」이라고 했지만, 이에 한정되는 것은 아니다. CPU(12c)가 기동된 후, 그대로 통상 동작을 하게 하여, 도어(60)의 닫힘, 도어(60)의 잠김 등의 다른 사상을 트리거로 하여 휴지상태로 복귀할 수 있다.

또한, 탑승자가 하차하려고 하고 있는 것을 검출한 도어 센서(42)가 배치되어 있는 측의 카메라를 휴지 상태로부터 기동하도록 구성하면, 전력을 낭비하지 않게 되어 바람직하다. 예를 들면, 운전석 도어(60A)의 도어 센서(42A), 또는 운전석 측후부 도어(60C)의 도어 센서(42C)에 의해 검출되었을 경우에는, 운전석 도어(60A)에 설치된 카메라(1A)가 기동된다. 조수석 도어(60B)의 도어 센서(42B) 또는 조수석 측후부 도어(60D)의 도어 센서(42D)에 의해 검출되었을 경우에는 조수석 도어(60B)에 설치된 카메라(1B)가 기동된다.

상기에서는 주전원을 끊고, 탑승자가 하차하려고 하고 있을 경우를 상정하여 설명했지만, 주전원이 투입 상태로 즉, 차량(100)이 일시 정차하고 있을 때에 탑승자가 일시적으로 하차하기도 한다. 이 경우에는, 도어 센서(42)의 검출이 있을지 없는지의 판정(＃41)을 전원 제어부(8)이 아니고, 조건 판정부(3)이나 장애물 검출부(5)가 실행할 수 있다. 주전원이 투입되고 있을 때, 조건 판정부(3)는 장애물 검출부(5)의 실행 조건이 성립한다고 판정하므로, 이미 조건 판정부(3)나 장애물 검출부(5)도 동작하고 있기 때문이다. 실질적으로, CPU(12c)가 가지는 인터럽트의 접수 기능이 도어 센서(42)의 검출 결과를 받아들이면 충분하므로, 엄밀하게 판정 처리(＃41)을 실행하는 기능부를 어느 쪽이나 1개의 기능부로 한정할 필요는 없다. 프로그램의 진행에 따라, 적절히 복수의 기능부에 의해 실행 가능하게 구성될 수 있다.

여기에서는, 탑승자가 하차하려고 하고 있는 도어(60)가 스윙 도어인 운전석 도어(60A) 또는 조수석 도어(60B)이라고 하여 이하 설명을 계속한다. 조건 판정부(3)은 도어(60)의 열림 정도가 우선 임계값 미만인가 아닌가를 판정한다(＃44). 즉, 도어(60A 또는 60B)의 열림 정도가 소정의 열림 정도인 우선 임계값보다 작은지 아닌지를 판정한다. 도어(60A)의 열림 정도가 적을 때에는 탑승자가 하차하기 위해서, 도어(60A)는 도 8에서 화살표 Y의 방향으로 한층 더 열려 진다. 이 때, 도어(60A)의 근방에 연석 등의 장애물이 존재하면 도어(60A)가 이 장애물에 접촉할 가능성이 있다. 따라서, 촬영 범위 E중, 전방측 F의 화상 인식을 우선시키도록, 조건 판정부(3)는 도어(60A 또는 60B)의 열림 정도에 따라 우선 조건을 판정한다(＃44, ＃46).

한편, 도어(60A 또는60B)의 열림 정도가 소정의 열림 정도인 우선 임계값 이상인 경우에는, 조건 판정부(3)는 촬영 범위 E중, 후방측 R의 화상 인식을 우선시키도록, 도어(60A 또는 60B)의 열림 정도에 따라 우선 조건을 판정한다(＃44, ＃47). 이 때에, 도 8에서 화살표 Z의 방향(차량(100)의 후방)에서 접근하는 보행자나 자전거, 다른 차량 등의 이동체가 열린 도어(60A, 60B)에 접촉할 가능성이 있어, 이러한 이동체를 검출할 필요가 있기 때문이다. 또한, 도어(60A, 60B)의 열림 정도가 소정의 열림 임계값 이상이 되면, 도 9에 도시된 바와 같이 장애물 검출의 의의가 저하한다. 즉, 차량(100)의 후방으로부터 접근하는 이동체는 촬영 범위 E에 들어가지 않고, 촬영 범위 E의 전방측 F는 차량(100)을 촬영하게 된다. 따라서, 도어(60A, 60B)의 열림 정도가 소정의 개방 임계값 이상이 되면 장애물 검출 처리가 종료된다(＃45).

장애물 검출부(5)는 장애물을 검출하면 도어 제어 시스템(40)에 대해서 도어 개방 억제 지시를 생성한다(＃48, ＃49). 도어 ECU(41)는 개폐 액츄에이터(44)를 제어하고, 도어(60)의 개폐를 억제한다. 더욱이 장애물 검출부(5)는 도 6에 기초해 상술한 것처럼, 버저등의 경보 장치(30)에 경보를 생성하도록 지시하여(＃50), 블라인드 모니터부(4)에 대해서 촬영 화상의 표시 요구를 출력한다(＃51). 또한, 탑승자는 하차의 경우에, 차량(100)의 측방으로 도랑 등이 존재하는지 아닌지를 확인하기 위해서, 도 5에 기초해 상술한 바와 같이, 자발적으로 블라인드 모니터부(4)에 대해서 표시장치(20)에의 촬영 화상의 표시를 지시할 수도 있다.

상기 설명에 있어서는, 탑승자가 스윙 도어인 운전석 도어(60A) 및 조수석 도어(60B)로부터 하차하는 예를 이용했지만, 탑승자가 슬라이드 도어인 후부 도어(60C 및 60D)로부터 하차할 경우에도 장애물 검출부(5)가 장애물을 검출하면 바람직하다. 단, 후부 도어(60C 및 60D)의 가동부 및 승강구는 카메라(1)보다 후방에 존재하므로 도어의 열림 정도에 의한 판정은 필요없고, 촬영 범위 E의 전체를 검출 범위일 수 있다. 또는, 처리(＃44)를 실행하는 필요없이, 처리(＃45, ＃47)로 진행되어, 후방측 R를 우선할 수 있다. 대상이 되는 도어(60)가 어느 것인지에 있어서는, 검출 결과를 출력한 도어 센서(42)에 의해 분명하기 때문에, 도어(60)에 따라 장애물 검출이 가능하다.

상술한 실시예에서는, 다기능 카메라 시스템(10)의 구성과 그 효용을 이해하기 쉽게 카메라(1)가 도어 핸들(61)에 설치되었을 경우를 예로서 설명했다. 당업자라면 그 실시예를 참고하여, 카메라(1)를 도어 미러에 설치해 같은 다기능 카메라 시스템(10)을 구축하는 것이 가능할 수 있겠지만, 그러한 수정도 본 발명의 기술적 범위에 속하는 것이다. 사이드 미러에 카메라(1)가 설치되는 경우에는 사이드 미러가 사용 상태에 있을 경우와 격납 상태에 있을 경우에 의해서, 촬영 범위 E가 다르게 된다. 그러나, 사이드 미러 상태를 검출해, 사이드 미러 상태에 따른 촬영 화상을 이용하여 화상 처리를 실행하는 것으로 복수의 기능을 발휘하는 다기능 카메라 시스템(10)이 구성될 수 있다. 사이드 미러 상태의 검출은 열림 정도 연산부(7)와 마찬가지로 촬영 화상중에 있어서의 차량(100)의 부위의 존재 위치를 화상 처리에 의해 인식함으로써 행해질 수 있다.

예를 들면, 사용상태의 사이드 미러의 가장 측방 측에 카메라(1)가 설치되어 시야각이 180~190도 정도인 경우, 도어 핸들(61)에 카메라(1)이 설치되었을 경우와 거의 동등의 촬영 범위 E가 확보된다. 또한, 사이드 미러가 격납 상태에 있어서도, 사이드 미러보다 차량(100)의 후방 측에 대해서는, 도어 핸들(61)에 카메라(1)가 설치되었을 경우와 거의 동등의 촬영 범위 E(후방측 R)가 확보된다. 따라서, 도어 미러의 자세에 의해서 상기에 대해 설명한 실시예의 일부 기능이 한정되지만, 차량 부품에 고정되고, 카메라 자체가 자세 변경하지 않는 카메라(1)을 이용한 다기능 카메라 시스템(10)은 충분히 실현 가능하다.

이상 설명한 바와 같이, 본 발명에 의하면 차량 중량을 증가시키는 기구를 구비할 필요 없이, 저비용으로 차량용 카메라를 복수의 용도로 적용할 수 있는 기술이 실현된다.

본 발명은 차량에 탑재된 카메라를 복수의 용도로 사용할 수 있는 다기능 카메라 시스템에 이용할 수 있다.

1, 1A, 1B：카메라
3：조건 판정부
4：블라인드 모니터부
5：장애물 검출부
6：개인 인증부
7：열림 정도 연산부
8：전원 제어부
10：다기능 카메라 시스템
20：표시장치
60, 60A, 60B, 60C, 60D：도어(차량 부품)
60A, 60B：스윙 도어
61：도어 핸들(차량 부품)
100：차량
E, E1, E2：촬영 범위
F, F1, F2：전방측
R, R1, R2：후방측

Claims

차량의 측면에서 차량 부품에 고정되어 상기 차량의 측방을 촬영하는 카메라와;
복수의 기능부의 실행 조건을 판정하는 조건 판정부와;
상기 조건 판정부의 판정 결과에 근거하여 실행되고, 상기 카메라의 촬영 화상에 근거하여 상기 차량의 주변에 존재하거나 상기 차량에 접근하는 장애물을 화상 인식에 의해 검출하는 상기 기능부로서의 장애물 검출부; 및
상기 조건 판정부의 판정 결과에 근거하여 실행되고, 상기 카메라의 촬영 화상에 근거하여 상기 차량에 도달한 인물이 상기 차량에 미리 등록된 이용자인지 아닌지를 화상 인식에 의해 인증하는 상기 기능부로서의 개인 인증부를 포함하고
상기 조건 판정부는 상기 차량의 전방측의 측방에 대한 화상 인식과 후방측의 측방에 대한 화상 인식 중 어느 것을 우선적으로 실행할지의 우선 조건을 판정하고,
상기 장애물 검출부는 상기 조건 판정부의 판정 결과에 근거하여, 전방측과 후방측 중 어느 것에 대한 화상 인식을 우선적으로 실행하는 다기능 카메라 시스템.
청구항 1에 있어서,
상기 조건 판정부는 상기 차량이 일시 정차를 포함한 주행중 또는 잠기지 않고 정차하고 있는 경우 상기 장애물 검출부의 실행 조건이 성립한다고 판정하고,
상기 차량이 상기 주행중이 아니고, 잠겨져 정차하고 있는 경우 상기 개인 인증부의 실행 조건이 성립한다고 판정하는 다기능 카메라 시스템.
청구항 1 또는 2에 있어서,
상기 조건 판정부의 판정 결과에 근거하여 실행되고, 상기 차량의 운전자로부터의 사각의 정경을 포함한, 상기 카메라에 의해 촬영된 촬영 화상을 차내부의 표시장치로 출력하는 상기 기능부로서의 블라인드 모니터부를 포함하고,
상기 조건 판정부는 상기 운전자를 포함한 상기 차량의 탑승자에 의해 상기 촬영 화상의 표시를 지시받은 경우 또는 상기 장애물 검출부에 의해 장애물이 인식되는 경우에 상기 블라인드 모니터부의 실행 조건이 성립한다고 판정하는 다기능 카메라 시스템.
삭제
청구항 1에 있어서,
상기 차량은 상기 차량의 전방측을 지점으로 회동하는 스윙 도어를 포함하고,
상기 조건 판정부는 상기 스윙 도어의 열림 정도에 따라 상기 우선 조건을 판정하는 것이며, 상기 스윙 도어의 열림 정도가 소정의 열림 정도보다 작은 경우에는 전방측의 화상 인식을 우선시키고, 상기 스윙 도어의 열림 정도가 소정의 열림 정도 이상일 경우에는 후방측의 화상 인식을 우선시킨다고 판정하는 다기능 카메라 시스템.
청구항 5에 있어서,
상기 카메라의 촬영 화상에 근거하여 상기 스윙 도어의 열림 정도를 연산하는 열림 정도 연산부를 포함하고,
상기 카메라는 상기 스윙 도어 또는 상기 스윙 도어에 설치되는 차량 부품에 설치되는 다기능 카메라 시스템.
청구항 1 또는 청구항 2에 있어서,
상기 카메라, 상기 조건 판정부, 상기 복수의 기능부는 상기 차량의 주전원이 투입되고 있는 경우에 기능하는 것이며,
상기 다기능 카메라 시스템은 상기 차량의 주전원이 투입되고 있는지 아닌지에 관계없이 기능하고, 상기 차량의 주전원이 투입되어 있지 않는 경우에도 상기 차량의 도어에 대한 조작에 따라, 상기 카메라, 상기 조건 판정부, 상기 각 기능부 중 적어도 1개를 기능시키는 전원 제어부를 포함하는 다기능 카메라 시스템.
청구항 7에 있어서,
상기 차량의 도어에 대한 조작은 상기 차량에 도달한 인물이 상기 차량의 차외부에 설치된 도어 핸들에 접촉한 것인 다기능 카메라 시스템.
청구항 7에 있어서,
상기 차량의 도어의 조작은 상기 차량의 운전자를 포함한 상기 차량의 탑승자가 상기 차량의 차내부에 설치된 도어 핸들에 접촉한 것인 다기능 카메라 시스템.