KR20130086066A

KR20130086066A - 화상 입력 장치 및 화상 처리 장치

Info

Publication number: KR20130086066A
Application number: KR1020137015192A
Authority: KR
Inventors: 슈지 이치타니; 세이 고오
Original assignee: 코니카 미놀타 가부시키가이샤
Priority date: 2010-11-16
Filing date: 2011-11-11
Publication date: 2013-07-30
Also published as: US20130229513A1; US9200895B2; JPWO2012067028A1; WO2012067028A1

Abstract

야간 촬영에 있어서도 적절한 휘도 신호나 색도 신호를 얻을 수 있는 화상 입력 장치를 제공한다. 또한, 저휘도 환경 하에서도, 피사체를 시인 가능한 화상을 형성할 수 있는 화상 처리 장치를 제공한다. 색 공간 변환부가 상기 위치 정보 취득부가 취득한 위치 정보에 기초해서 상기 가시광 성분과 상기 적외광 성분의 가중치 부여를 행하여, 상기 원화상 데이터를 휘도 신호와 색도 신호를 포함하는 색 공간으로 변환하므로, 피사체의 높이나 피사체까지의 거리에 따라서, 적절한 색 공간을 얻을 수 있다.

Description

화상 입력 장치 및 화상 처리 장치{IMAGE INPUT DEVICE AND IMAGE PROCESSING DEVICE}

본 발명은 촬상 소자에 의해 촬상된 원화상 데이터를 화상 처리하는 화상 입력 장치에 관한 것이고, 또한 촬상 소자를 구비한 화상 처리 장치에 관한 것이며, 특히 피사체의 휘도가 낮은 경우에도, 소정의 피사체에 대해서는 강조한 화상을 형성할 수 있는 화상 처리 장치에 관한 것이다.

야간 촬영이 가능한 차량 탑재 카메라, 감시 카메라의 화상에 있어서, 가시광과 적외광을 투광하여, 가시 영역에 감도를 갖는 가시 센서와, 적외 영역에 감도를 갖는 적외 센서로 촬상하고, 야간에 있어서도, 물체를 드러나게 해서 컬러 표시하는 기술이 알려져 있다. 예를 들어, 특허문헌 1에는, 가시광 투과형 롱 패스 필터와, 적외광 투과형 롱 패스 필터의 적외광 영역에 있어서의 투과율 데이터를 적용하여 가시광 투과형 롱 패스 필터를 통하는 신호에 포함되는 적외광 성분을 거의 0으로 하는 파라미터를 산출하고, 산출 파라미터를 적용하여 가시광 투과형 롱 패스 필터를 통하는 신호에 포함되는 적외광 성분을 제거하여 고품질의 가시광(RGB) 화상을 생성할 수 있는 화상 신호 처리 장치가 개시되어 있다.

한편, 특허문헌 2에는, 분광 감도가 다른 적어도 3종류의 화소가 배열되고, 적어도 3종류의 원화상 성분을 포함하는 원화상 데이터를 촬상하는 촬상 소자와, 상기 원화상 데이터를 휘도 신호와 색도 신호를 포함하는 색 공간으로 변환하는 색 공간 변환부를 구비하고, 촬상 소자로부터 얻어진 가시광 성분과 적외광 성분을 사용하여, 야간에서도 클리어한 컬러 화상을 얻을 수 있는 화상 입력 장치가 개시되어 있다.

또한, 후진하는 차량의 운전을 지원하기 위해, 차량 후방을 촬영할 수 있는 소위 백뷰 카메라가 알려져 있다. 백뷰 카메라로 촬영한 화상은, 운전석 근방의 표시 장치에 표시되고, 운전자 등에 시인시킴으로써 안전 확보가 행해진다. 여기서, 낮 등의 비교적 휘도가 높은 환경 하에 있어서는, 인물이나 동물 등의 장해물도 가시광 화상으로서 용이하게 시인할 수 있다. 그러나, 야간 등의 저휘도 환경 하에 있어서는, 인물이나 동물 등의 장해물의 가시광 화상의 휘도가 낮아, 용이하게 시인할 수 없다는 문제가 있다. 또한, 이러한 문제는, 감시 카메라 등에 있어서도 발생한다.

이러한 문제에 대해서, 차량에 탑재된 적외 LED로 자동차 후방에 적외광을 조사하고, 또한 근적외 카메라를 사용하여 차량 후방을 촬영하고, 촬영된 화상을 화상 처리함으로써, 저휘도 환경 하에서도 시인성을 높인 화상을 표시 장치에 표시하는 기술도 개발되어 있다. 그런데, 표시 장치에 표시된 적외광 화상에 있어서, 콘크리트 벽이나 아스팔트 포장의 지면으로부터의 적외광의 반사가 강하므로, 이것을 배경으로 인물이나 동물 등의 장해물을 함께 촬영하면, 그 적외광 화상이 벽이나 지면의 적외광 화상과 겹쳐 버려, 화이트 아웃이 생겨서, 장해물을 시인하기 어려워진다고 하는 문제가 있다.

이에 반해 특허문헌 3에는, 적외광을 조사하면서 촬영을 행하는 적외 촬영 모드와, 적외광을 조사하지 않고 촬영을 행하는 통상 촬영 모드를 전환 가능하게 구성한 촬영 장치에 있어서, 기준으로 하는 색의 휘도를 기준색 휘도로 하는 동시에, 참조로 하는 색의 휘도를 참조 색 휘도로 하고, 기준색 휘도와 참조 색 휘도의 비가 미리 설정한 범위를 초과한 경우에는, 적외 촬영 모드로부터 통상 촬영 모드로 전환하는 구성이 개시되어 있다.

한편, 특허문헌 4에는, 후방 시계 표시 장치에 있어서, 가시광 영상과 근적외광 영상을 별도로 촬상하고, 헤드라이트의 ON/OF 정보에 의해 헤드라이트가 점등하고 있는 것을 검지한 경우에, 자동으로 근적외광에 의한 영상으로 전환하고, 그 이외의 경우에는 가시광 영상을 표시하는 기술이 개시되어 있다.

일본 특허 공개 제2008-288629호 공보 일본 특허 공개 제2010-63065호 공보 일본 특허 공개 제2004-146873호 공보 일본 특허 공개 제2003-104121호 공보

특허문헌 1, 2의 기술을 사용함으로써, 종래 사람의 눈으로는, 인식하기 어려운 부분에 농담의 변화(휘도 변화)를 더하여, 또한 약간의 색도 정보를 휘도 변화에 따라서 강조하고, 컬러화한 화상을 얻을 수 있으므로, 눈으로 보는 것이 곤란한 차량 전방의 장해물 등을, 재빨리 모니터에 표시하는 것 등이 가능해진다.

그러나, 종래의 기술에서는 해결할 수 없는 문제가 있다. 예를 들어, 충분한 가시 정보를 얻을 수 있는 근거리에 있어서, 적외 센서가 적외 정보를 취득하기 위해서, 휘도가 너무 높아져서 촬상 소자의 화소의 일부가 포화되어 버리는 경우가 있고, 그에 따라 색 정보가 상실되어 버린다. 또한, 거의 가시 정보를 얻지 못하는 먼 쪽의 피사체에 있어서, 약간의 색 정보를 강조함에 수반하여 색도 노이즈가 증대되어 버려, 화소마다 색이 극단적으로 변할 우려가 있다. 또한, 신호등이나 가로등 등의 자발광하는 물체는, 발광광 중에 적외광 성분을 많이 포함하고 있는 것이 있으므로, 적외 센서가 그것을 취득함으로써 휘도 신호가 증대하고, 적·청·황 신호가 새하얗게 표시된다(화이트 아웃이라고 함)고 하는 문제도 있다. 즉, 종래 기술에 의해 육안으로 보기 어려운 부분을 컬러화한 화상을 작성할 수는 없지만, 그 휘도 재현, 색도 재현의 부정확함, 노이즈가 많다는 것에 결점이 존재한다고 할 수 있다. 한편, 예를 들어 차량의 운전 지원 등을 행하는 경우, 피사체에 따라서는 명료하게 식별하지 않아도 되는 경우도 있다. 표 1에, 종래 기술의 과제를 정리하여 나타낸다.

본 발명의 목적은, 야간 촬영에 있어서도 적절한 휘도 신호나 색도 신호를 얻을 수 있는 화상 입력 장치를 제공하는 것이다.

특허문헌 3의 종래 기술에 따르면, 휘도비가 임계값 부근인 경우에는, 적외 촬영 모드와 통상 촬영 모드 사이에서 화면이 빈번하게 전환되게 되어, 전후 프레임 영상간의 휘도의 정합이 잡히지 못하므로, 화상을 시인하는 관찰자에게 위화감이 생긴다는 문제가 있다.

또한, 특허문헌 4의 종래 기술에 의하면, 근적외광에 의한 영상으로 전환되었을 때, 적외광으로의 반사가 강한 물체가 많은 경우에는, 화면의 대부분이 화이트 아웃되어 버리게 되어, 오히려 시인하기 어려워진다고 하는 문제가 있다.

본 발명은 전술한 문제를 감안하여 이루어진 것으로, 저휘도 환경 하에서도, 피사체를 시인 가능한 화상을 형성할 수 있는 화상 처리 장치를 제공하는 것을 목적으로 한다.

본 발명의 화상 입력 장치는,

피사체의 높이 및 피사체까지의 거리 중 적어도 한쪽을 포함하는 위치 정보를 취득하는 위치 정보 취득부와,

분광 감도가 다른 적어도 3종류의 화소가 배열되어, 입사한 피사체상을, 가시광 성분과 적외광 성분을 포함하는 적어도 3종류의 원화상 성분을 갖는 원화상 데이터로 변환하는 촬상 수단과,

상기 위치 정보 취득부가 취득한 위치 정보에 기초하여, 상기 가시광 성분과 상기 적외광 성분의 가중치 부여를 행하여, 상기 원화상 데이터를, 가중치 부여된 상기 가시광 성분과 상기 적외광 성분에 기초해서 조정된 휘도 신호와 색도 신호를 포함하는 색 공간으로 변환하는 색 공간 변환부를 갖는 것을 특징으로 한다.

본 발명에 따르면, 상기 색 공간 변환부가 상기 위치 정보 취득부가 취득한 위치 정보에 기초해서 상기 가시광 성분과 상기 적외광 성분의 가중치 부여를 행하여, 상기 원화상 데이터를 휘도 신호와 색도 신호를 포함하는 색 공간으로 변환하므로, 피사체의 높이나 피사체까지의 거리에 따라서, 적절한 색 공간을 얻을 수 있어, 휘도·색도의 재현성이 양호하며 노이즈가 적고, 보기 어려운 피사체를 보기 쉽게 하고, 또한 자연스럽게 재현할 수 있는 공간 특성을 얻을 수 있다. 또한, 휘도 신호와 색도 신호 중 적어도 한쪽이 조정되면 충분하다.

또한, 본 발명의 일 형태로서는, 상기 색 공간 변환부는, 상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 높다고 판단했을 때는, 상기 휘도 신호에 있어서의 상기 적외광 성분의 가중치 부여를 감소시키면 바람직하다. 피사체의 높이가 높은 경우, 신호등 등일 가능성이 높아, 화이트 아웃을 억제하여 램프 본래의 색을 재현해야 하기 때문이다.

또한, 본 발명의 일 형태로서는, 상기 색 공간 변환부는, 상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 가깝다고 판단했을 때는, 상기 휘도 신호에 있어서의 상기 적외광 성분의 가중치 부여를 감소시키면 바람직하다. 피사체까지의 거리가 가까우면, 야간 촬영에서도 가시 정보가 유효해지기 때문이며, 따라서 적외광 성분은 억제하는 것이 좋다고 할 수 있다.

또한, 본 발명의 일 형태로서는, 상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 낮다고 판단했을 때는, 상기 휘도 신호에 에지 강조 처리를 행하면 바람직하다. 피사체의 높이가 낮은 경우, 인물 등일 가능성이 높으므로, 명료하게 시인할 수 있도록 하는 것이 좋다고 할 수 있다.

또한, 본 발명의 일 형태로서는, 상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 높다고 판단했을 때는, 상기 휘도 신호를 저역 통과 필터에 통과시키면 바람직하다. 피사체의 높이가 높은 경우, 수목 등일 가능성이 높으므로 명료함은 불필요하기 때문이며, 샤프화한 인물 등을 돋보이게 하는 효과가 있다. 또한, 높은 피사체가 신호등이었다고 해도, 램프의 색을 식별할 수 있으면 형상 자체는 불명료해도 충분하기 때문이다.

또한, 본 발명의 일 형태로서는, 상기 색 공간 변환부는, 상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 높다고 판단했을 때는, 상기 색도 신호에 있어서의 상기 가시광 성분의 가중치 부여를 증대시키면 바람직하다. 피사체의 높이가 높은 경우, 신호등 등일 가능성이 높아, 램프 본래의 색을 재현하는 것이 좋다고 할 수 있다.

또한, 본 발명의 일 형태로서는, 상기 색 공간 변환부는, 상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 가깝다고 판단했을 때는, 상기 색도 신호에 있어서의 상기 가시광 성분의 가중치 부여를 감소시키면 바람직하다. 피사체의 높이가 낮은 경우, 인물 등일 가능성이 높으므로, 의복의 색 재현보다도 시인성을 높이는 것이 좋다고 할 수 있다.

또한, 본 발명의 일 형태로서는, 상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 가깝다고 판단했을 때는, 상기 색도 신호에 에지 강조 처리를 행하면 바람직하다. 피사체까지의 거리가 가까우면, 야간 촬영에서도 가시 정보가 유효해지기 때문이다.

또한, 본 발명의 일 형태로서는, 상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 멀다고 판단했을 때는, 상기 색도 신호를 저역 통과 필터에 통과시키면 바람직하다. 이에 의해 색도 노이즈를 저감할 수 있다. 또한, 피사체까지의 거리가 멀면, 가시 정보보다도 적외 정보가 유효해지기 때문에, 색의 정보를 유효하게 이용할 수 있다.

또한, 본 발명의 일 형태로서는, 상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 높다고 판단했을 때는, 상기 색도 신호에 강조 처리를 실시하면 바람직하다. 피사체의 높이가 높은 경우, 신호등 등일 가능성이 높아, 램프 본래의 색을 재현해야 하기 때문이다.

또한, 본 발명의 일 형태로서는, 상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 낮다고 판단했을 때는, 상기 색도 신호에 억압 처리를 실시하면 바람직하다. 이에 의해 색도 노이즈를 저감할 수 있다. 또한, 피사체의 높이가 낮은 경우, 인물 등일 가능성이 높으므로, 의복의 색 재현보다도 시인성을 높여야 하기 때문이다.

또한, 본 발명의 일 형태로서는, 상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 멀다고 판단했을 때는, 상기 색도 신호에 억압 처리를 실시하면 바람직하다. 이에 의해 색도 노이즈를 저감할 수 있다. 또한, 피사체까지의 거리가 멀면, 가시 정보보다도 적외 정보가 유효해지기 때문이다.

또한, 본 발명의 일 형태로서는, 상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 가깝다고 판단했을 때는, 상기 색도 신호에 강조 처리를 실시하면 바람직하다. 피사체까지의 거리가 가까우면, 야간 촬영에서도 가시 정보가 유효해지기 때문에, 색의 정보를 유효하게 이용할 수 있다.

또한, 본 발명의 일 형태로서는, 가시광과 적외광을 조사하는 발광 수단과, 상기 발광 수단으로부터의 조사광이 닿는 조사 범위를 산출하는 조사 범위 산출 수단을 갖고, 상기 색 공간 변환부는, 상기 조사 범위 산출 수단이 산출한 조사 범위에 기초하여, 상기 가시광 성분과 상기 적외광 성분의 가중치 부여를 행하면 바람직하다. 예를 들어 야간 주행 시에 차량의 헤드 램프로 전방을 조사한 경우, 상기 조사 범위 산출 수단이, 조사되는 범위를 산출하면, 그 조사 범위 내에서는 가시 정보를 우선하고, 조사 범위 외에서는 적외 정보를 우선하는 것이 가능해진다. 이에 의해, 위치 정보를 고정밀도로 얻을 수 있어, 피사체 화상을 적절하게 표시할 수 있다.

또한, 본 발명의 일 형태로서는, 상기 색 공간 변환부는, 가시광 성분에 의존하는 휘도 신호와, 적외광 성분에 의존하는 휘도 신호를, 가중치 부여 가산하여 새로운 휘도 신호를 구하면 바람직하다. 이에 의해 휘도의 색도의 밸런스가 유지된다.

본 발명의 화상 처리 장치는,

피사체로부터의 가시광 성분과 적외광 성분을 취득하여, 가시광 화상 데이터와 적외광 화상 데이터를 형성하는 촬상 수단과,

복수 종류의 피사체의 휘도 정보를 기억하는 기억 수단과,

상기 기억 수단에 기억된 휘도 정보에 기초하여, 상기 적외광 화상 데이터로부터 대응하는 피사체의 적외광 화상 데이터를 추출하는 추출 수단과,

상기 추출 수단에 의해 추출된 피사체의 적외광 화상 데이터를, 상기 가시광 화상 데이터에 기초하는 가시광 화상에 붙이도록 합성하는 합성 수단을 갖는 것을 특징으로 한다.

본 발명에 따르면, 상기 추출 수단이, 상기 기억 수단에 기억된 휘도 정보에 기초하여, 상기 적외광 화상 데이터로부터 대응하는 피사체의 적외광 화상 데이터를 추출하고, 상기 합성 수단이, 상기 추출 수단에 의해 추출된 피사체의 적외광 화상 데이터를, 상기 가시광 화상 데이터에 기초하는 가시광 화상에 붙이도록 합성하므로, 합성된 화상을 표시함으로써, 상기 휘도 정보가 기억된 피사체의 적외광 화상을, 예를 들어 저휘도의 가시광 화상에 붙임으로써 강조하여 표시할 수 있기 때문에, 시인성이 높아진다.

본 발명의 별도의 형태에 따르면, 상기 합성 수단에 의한 합성은, 합성 전의 상기 가시광 화상 중에 있어서의 평균 휘도가 소정값보다 낮은 경우에 행하는 것을 특징으로 한다. 이에 의해, 특히 시인성이 낮아지는 야간 촬영 시 등에 유효해진다.

본 발명의 별도의 형태에 따르면, 상기 합성 수단에 의해 합성된 화상을 표시하는 표시 수단을 갖는 것을 특징으로 한다. 이에 의해, 화상의 표시가 가능해진다.

본 발명의 별도의 형태에 따르면, 상기 표시 수단은, 합성 전의 상기 가시광 화상 중에 있어서의 평균 휘도가 소정값 이상인 경우에는, 상기 가시광 화상 데이터에 기초하는 가시광 화상을 표시하는 것을 특징으로 한다. 이러한 평균 휘도가 소정값 이상인 경우에는, 가시광이 지배적으로 되기 때문에 적외광 화상을 사용하지 않아도 충분히 시인할 수 있다.

본 발명의 별도의 형태에 따르면, 상기 표시 수단은, 합성 전의 상기 가시광 화상 중에 있어서의 평균 휘도가 소정값보다 낮고, 또한 상기 휘도 정보에 기초해서 대응하는 피사체가 상기 적외광 화상에 존재하지 않는 경우, 상기 적외광 화상 데이터에 기초하는 적외광 화상을 표시하는 것을 특징으로 한다. 이러한 평균 휘도가 소정값보다 낮아도, 휘도 정보가 기억된 피사체가 존재하지 않는 경우에는, 강조하는 대상이 존재하지 않기 때문이다.

본 발명의 별도의 형태에 따르면, 상기 기억 수단에 기억된 피사체의 휘도 정보는, 가시광 화상에 있어서의 동일한 피사체의 휘도 정보로부터 결정되는 것을 특징으로 한다. 동일한 피사체의 휘도 정보는, 가시광 화상에 있어서도 적외광 화상에 있어서도 근사하고 있으므로, 예를 들어 가시광 화상의 휘도 정보를 이용하여, 적외광 화상 중 동일한 피사체를 특정할 수 있다.

본 발명의 별도의 형태에 따르면, 피사체까지의 거리를 검출하는 측거 수단을 갖고, 상기 휘도 정보에 기초해서 대응하는 피사체가 상기 적외광 화상에 복수 존재하는 경우, 상기 합성 수단은 가장 가까운 피사체의 적외광 화상을 상기 가시광 화상에 붙이도록 합성하는 것을 특징으로 한다. 이에 의해, 예를 들어 차량의 백뷰 카메라 등으로부터 취득한 화상에 본 발명을 적용한 경우, 후진 시에 가장 주목해야 할 최근접 피사체를 강조하여 표시할 수 있으므로 바람직하다.

본 발명의 별도의 형태에 따르면, 피사체까지의 거리를 검출하는 측거 수단을 갖고, 상기 휘도 정보에 기초해서 대응하는 피사체가 상기 적외광 화상에 복수 존재하는 경우, 상기 합성 수단은, 피사체의 거리에 따라서 휘도를 다르게 한 적외광 화상을, 상기 가시광 화상에 붙이도록 합성하는 것을 특징으로 한다. 이에 의해, 예를 들어 차량의 백뷰 카메라 등으로부터 취득한 화상에 본 발명을 적용한 경우, 후진 시에 가장 주목해야 할 최근접 피사체로부터 차례로 강조하여 표시할 수 있으므로 바람직하다.

「피사체의 휘도 정보」에 대해서는, 예를 들어 피사체가 인물인 경우, 가시광 화상으로부터 에지 히스토그램을 사용한 인물을 검출하는 방법으로 구할 수 있다(N.Dalal.et.al.:Histogram of oriented gradient for human detection.CVPR2005). 이는 일정 영역에 대해 구배 히스토그램을 계산하는 것이다. 구체적인 계산 방법으로서는, 이하의 스텝에 의한다.

스텝 1 : 각 픽셀(화소)로부터 휘도의 구배 강도, 방향을 구한다.

스텝 2 : N×N 픽셀을 1셀, 0°-180°를 20°씩 9 방향으로 분할하고, 1셀마다 휘도 구배 히스토그램을 작성한다.

스텝 3 : 각 셀에 있어서 작성한 히스토그램을 3×3셀을 1 블록으로 해서 정규화를 행한다. 정규화는 블록을 1셀씩 비켜 놓으면서 전체 영역에 대해 행한다.

이상에 의해 특징량을 얻을 수 있다. 혹은, 일본 특허 공개 제2007-264887호 공보에 기재된 기술을 사용하여, 가시광 화상 중 에지 강도로부터 인물을 판정해도 된다. 또한, 피사체란, 인물, 동물, 또는 비생물 중 어느 것이든 상관없다.

본 발명의 화상 입력 장치에 따르면, 야간 촬영에 있어서도 적절한 휘도 신호나 색도 신호를 얻을 수 있다.

본 발명의 화상 처리 장치에 따르면, 가시광에서는 특정한 피사체를 인식할 수 없는 경우에, 이러한 피사체를 적외광 화상으로 표시함으로써, 화이트 아웃이 발생하지 않는 동시에, 시인성이 양호한 화면 표시가 얻어져서, 시인성을 높일 수 있다.

도 1은 제1 실시 형태에 따른 화상 입력 장치(1)의 블록도를 도시하는 도면.
도 2는 촬상 소자(3A, 3B)의 화소의 배열을 도시하는 도면.
도 3은 Ye, R, IR 필터의 분광 투과 특성을 도시한 도면으로, 종축은 투과율(감도)을 나타내고, 횡축은 파장(㎚)을 나타내는 도면.
도 4는 메인 카메라 MC와 서브 카메라 SC로 피사체까지의 거리 정보를 측정하는 원리를 도시하는 도면.
도 5는 카메라로 위치 정보를 취득하는 상태를 도시하는 도면.
도 6은 화상 처리부(4)의 상세한 구성을 도시하는 블록도.
도 7은 비교예의 동작을 나타내는 플로우차트.
도 8은 실시예의 동작을 나타내는 플로우차트.
도 9는 적외광 성분의 가중치 부여의 예를 나타내는 도면.
도 10은 가시광 성분의 가중치 부여의 예를 나타내는 도면.
도 11은 피사체의 거리와 높이로 4 영역으로 나눈 상태를 도시하는 도면.
도 12는 신호등이나 인물 등의 높이를 비교한 도면.
도 13은 차량의 헤드라이트의 조사 범위를 도시하는 도면.
도 14는 피사체의 높이에 따라서, 에지 강조와 바림의 가중치 부여를 변경하는 함수의 예를 나타내는 도면.
도 15는 피사체까지의 거리에 따라서, 에지 강조와 바림의 가중치 부여를 변경하는 함수의 예를 나타내는 도면.
도 16은 제2 실시 형태에 따른 화상 처리 장치(100)의 블록도.
도 17은 본 실시 형태의 화상 처리 장치(100)에 의해 촬영된 화상을, 표시 장치(110)에 표시한 상태를 도시하는 도면으로, (a)는 낮의 가시광 화상이며, (b)는 야간의 가시광 화상이며, (c)는 야간의 적외광 화상이며, (b), (c) 중 점선은 실제로는 보이지 않는다.
도 18은 본 실시 형태에 따른 화상 처리 장치(100)의 동작을 나타내는 플로우차트.
도 19는 본 실시 형태에 따른 화상 처리 장치(100)에 의해 행해지는 처리 내용을 설명하기 위한 도면으로, (a)은 가시광 화상을 표시하는 예이며, (b)는 합성 화상을 표시하는 예이며, (c)는 적외광 화상을 표시하는 예이다.
도 20은 제3 실시 형태에 따른 화상 처리 장치(100')의 블록도.
도 21은 본 실시 형태의 화상 처리 장치(100')에 의해 합성 처리된 화상을, 표시 장치(110)에 표시한 상태를 도시하는 도면.
도 22는 함수 f(d)의 일례를 나타내는 도면.

(제1 실시 형태)

이하, 본 발명의 제1 실시 형태에 따른 화상 입력 장치(1)에 대해 설명한다. 도 1은 본 실시 형태에 따른 화상 입력 장치(1)의 블록도이다. 도 1에 도시한 바와 같이 화상 입력 장치(1)는, 촬상 수단으로서의 메인 카메라 MC, 서브 카메라 SC, 화상 처리부(4) 및 제어부(5), 발광 수단으로서의 적외광 및 가시광의 발광부(6), 발광부의 조사 범위를 검출하는 조사 범위 검출부(조사 범위 산출 수단)(7), 위치 정보 검출부(위치 정보 취득부)(8)를 구비하고 있다. 메인 카메라 MC는, 렌즈(2A), 촬상 소자(3A)를 갖고, 서브 카메라 SC는, 렌즈(2B), 촬상 소자(3B)를 갖는다. 여기서, 화상 입력 장치(1)는, 예를 들어 차량에 탑재되어, 차량 주위의 피사체를 촬상하는 용도로 사용된다.

서브 카메라 SC는 메인 카메라 MC와 동일한 것이어도 되고, 다른 구성의 카메라를 사용해도 상관없다. 동일한 카메라 쪽이, 위치가 어긋나지 않으므로, 위치 정밀도를 떨어뜨리지 않기 위해서는 좋다. 2개의 카메라를 사용한 스테레오 매칭뿐만 아니라, 다른 수단이라도 위치 정보가 구해지는 것이면 무엇이든지 상관없다.

렌즈(2A, 2B)는 피사체의 광상을 취득하고, 각각 촬상 소자(3A, 3B)로 유도하는 광학 렌즈계로 구성된다. 광학 렌즈계로서는, 피사체의 광상의 광축을 따라 직렬적으로 배치되는, 예를 들어 줌 렌즈나 포커스 렌즈, 그 밖의 고정 렌즈 블록 등을 채용할 수 있다. 또한, 렌즈(2A, 2B)는 투과광량을 조절하기 위한 조리개(도시 생략), 셔터(도시 생략) 등을 구비하고, 제어부(5)의 제어 하에서, 조리개 및 셔터의 구동이 제어된다.

촬상 소자(3A, 3B)는 PD(포토 다이오드)로 이루어지는 수광부와, 수광부에 의해 광전 변환된 신호를 출력하는 출력 회로와, 촬상 소자(3A, 3B)를 구동하는 구동 회로를 포함하고, 광량에 따른 레벨을 갖는 원화상 데이터를 생성한다. 여기서, 촬상 소자(3)로서는, CMOS 이미지 센서, VMIS 이미지 센서 및 CCD 이미지 센서 등의 다양한 촬상 센서를 채용할 수 있다.

본 실시 형태에 있어서, 촬상 소자(3A, 3B)는 피사체의 광상을 입사하여, 컬러 필터를 구비하는 화소에 의해 가시 컬러 화상 성분을 변환 출력하고, 적외 필터를 구비하는 화소에 의해 적외 화상 성분을 변환 출력하고, 필터를 구비하지 않는 화소에 의해 가시 휘도 화상 성분과 적외 화상 성분을 포함하는 휘도 화상 성분을 변환 출력하도록 되어 있다.

화상 처리부(4)는 연산 회로 및 연산 회로의 작업 영역으로서 사용되는 메모리 등을 포함하고, 촬상 소자(3A, 3B)로부터 출력된 원화상 데이터를 A/D 변환하여 디지털 신호로 변환하고, 후술하는 화상 처리를 실행한 후, 예를 들어 도시 생략된 메모리나 표시 장치에 출력한다. 또한, 메인 카메라 MC의 화상 신호가 화상 처리에 사용되고, 메인 카메라 MC의 화상 신호 및 서브 카메라 SC의 화상 신호는, 피사체의 거리 정보를 검출하기 위해 사용된다.

제어부(5)는 CPU 및 CPU가 실행하는 프로그램을 저장하는 메모리 등을 포함하여, 외부로부터의 제어 신호에 응답하고, 화상 입력 장치(1)의 전체 제어를 담당한다. 발광부(6)는 예를 들어 차량의 헤드 램프로서, 로빔과 하이빔으로 전환 가능하며, 조사 범위 검출부(7)는 빔 전환 스위치(도시하지 않음) 등에 따라서 발광부(6)의 조사 범위를 검출할 수 있게 되어 있다. 위치 정보 검출부(8)는 후술하는 바와 같이 피사체의 위치 정보를 검출한다.

도 2는 촬상 소자(3A, 3B)의 화소의 배열을 도시하는 도면이다. 도 2에 도시한 바와 같이 촬상 소자(3A, 3B)에는, 가시 파장 영역과 적외 파장 영역을 유감도 파장 대역으로 하는 Ye 화소(제1 화소), R 화소(제2 화소), IR 화소(제3 화소) 및 W 화소(제4 화소)를 포함하는 단위 화소부(31)가 매트릭스 형상으로 배열되어 있다. 또한, 예를 들어 「Ye」 화소란, 「Ye」 필터를 갖는 화소의 의미이며, 이하 마찬가지로 한다.

도 2의 경우, 단위 화소부(31)에 있어서, 제1행 제1열에 R 화소가 배열되고, 제2행 제1열에 IR 화소가 배열되고, 제1행 제2열에 W 화소가 배열되고, 제2행 제2열에 Ye 화소가 배열되는 등, R 화소, IR 화소, W 화소, 및 Ye 화소는 지그재그 형상으로 배열되어 있다. 단, 이것은 일례이며, 다른 패턴으로 R 화소, IR 화소, W 화소 및 Ye 화소를 지그재그 형상으로 배열해도 된다.

Ye 화소는 Ye 필터(제1 컬러 필터)를 구비하고 있기 때문에, Ye의 가시 컬러 화상 성분인 화상 성분 Ye(원화상 성분) 및 적외 화상 성분을 출력한다. R 화소는 R 필터(제2 컬러 필터)를 구비하고 있기 때문에, R의 가시 컬러 화상 성분인 화상 성분 R(원화상 성분) 및 적외 화상 성분을 출력한다. IR 화소는 IR 필터(적외 필터)를 구비하고 있기 때문에, 적외 화상 성분인 화상 성분 IR(원화상 성분)을 출력한다. W 화소는 필터를 구비하고 있지 않기 때문에, 가시 휘도 화상 성분과 화상 성분 IR을 포함하는 휘도 화상 성분인 화상 성분 W(원화상 성분)를 출력한다.

도 3은 Ye, R, IR 필터의 분광 투과 특성을 도시한 도면이며, 종축은 투과율(감도)을 나타내고, 횡축은 파장(㎚)을 나타내고 있다. 또한, 점선으로 나타내는 그래프는 필터가 떼어내어진 상태에 있어서의 화소의 분광 감도 특성을 나타내고 있다. 이 분광 감도 특성은, 600㎚ 부근에서 피크를 갖고, 위로 볼록한 곡선을 그려서 변화하고 있는 것을 알 수 있다. 또한, 도 3에서는, 400㎚ ~ 700㎚가 가시 파장 영역으로 되고, 700㎚ ~ 1100㎚가 적외 파장 영역으로 되고, 400㎚ ~ 1100㎚가 유감도 파장 대역으로 되어 있다.

도 3에 도시한 바와 같이, Ye 필터는, 가시 파장 영역의 청색 영역을 제외한 상기 유감도 파장 대역의 광을 투과하는 특성을 갖는다. 따라서, Ye 필터는 주로 옐로우의 광과 적외광을 투과한다.

R 필터는 가시 파장 영역의 청색 영역 및 녹색 영역을 제외한 유감도 파장 대역의 광을 투과하는 특성을 갖는다. 따라서, R 필터는 주로 적색 광과 적외광을 투과한다.

IR 필터는 가시 파장 영역을 제외한 유감도 파장 대역, 즉 적외 파장 대역의 광을 투과하는 특성을 갖는다. W는 필터를 구비하지 않고 있는 경우를 나타내며, 화소의 유감도 파장 대역의 광이 전부 투과된다.

그 외에 유사한 특성을 실현하기 위해서는, Ye, R, IR 대신에 Ye, M(마젠타)+IR, C(시안)+IR(단, M+IR은 그린만을 차폐하고, C+IR은 레드만을 차폐함)이어도 실현 가능하다. 단, R 화소, IR 화소, Ye 화소는, 분광 투과 특성을 급준하게 할 수 있으며, 예를 들어 M+IR 필터나 C+IR 필터에 비해, 분광 투과 특성이 양호하다. 즉, M+IR 필터 및 C+IR 필터는, 각각 유감도 파장 대역 중, 중앙의 일부 영역인 녹색 영역 및 적색 영역만을 차폐하는 특성을 갖고 있으며, 이러한 필터에, R 필터, IR 필터, Ye 필터와 같은 급준한 분광 투과 특성을 갖게 하는 것은 곤란하다. 그 때문에, M+IR 필터 및 C+IR 필터는, 각각 연산해도 RGB 화상 성분을 고정밀도로 추출할 수 없다. 따라서, R 화소, IR 화소, Ye 화소, W 화소로 촬상 소자(3)를 구성함으로써, 촬상 소자(3)의 고성능화를 도모할 수 있다.

도 4는 메인 카메라 MC와 서브 카메라 SC로 피사체까지의 거리 정보를 측정하는 원리를 도시하는 도면이다. 도 4에 있어서, 한 쌍의 촬상 소자를 구비한 메인 카메라 MC와 서브 카메라 SC를, 미리 정하는 기선 간격 L만큼 이격하고, 또한 광축이 서로 평행해지도록 배치한다. 메인 카메라 MC와 서브 카메라 SC로 촬상된 피사체의 촬상 화상은, 예를 들어 대응점 탐색 방법인 SAD(Sum of Absolute Difference)법을 사용하여 화소 단위로 대응점 탐색을 행하여, 메인 카메라 MC와 서브 카메라 SC간의 좌우 방향에 있어서의 대상물에 대한 시차를 구하고, 구해진 시차에 기초하여, 이하의 수학식 1에 기초해서 피사체까지의 거리 Z를 구할 수 있다. 단, 전술하는 W, Ye, R, IR 필터를 갖는 카메라를 사용하는 경우에는, 거리 정보를 구하기 위해서는, 각각의 화상을 휘도(그레이 스케일) 화상으로 한다. 그레이 스케일화에는, 지금까지와 마찬가지로 하기 수학식 1을 사용하면 된다.

도 4에 있어서, 적어도 초점 거리(f), 촬상 소자(CCD)의 화소수, 1 화소의 크기(μ)가 상호와 똑같은 2대의 메인 카메라 MC와 서브 카메라 SC를 사용해서, 소정의 기선 길이(L)만큼 상기 좌우로 이격시켜서 광축(1X, 2X)을 평행하게 배치하여 피사체 OB를 촬영한다. 이때, 도 4의 예에서는, 메인 카메라 MC의 촬상면 MCa 상에서 피사체 OB의 단부의 화소 번호(좌측 단부 또는 우측 단부로부터 세는 것으로 함)가 x1, 서브 카메라 SC에 있어서의 촬상면 SCa 위에서 동일한 피사체 OB의 단부의 화소 번호가 x2였다고 하면(y는 동등하다고 가정), 촬상면 MCa, SCa 상의 시차(어긋남 화소수)는 d(=x1-x2)이며, 피사체 OB까지의 거리(Z)는, 사선을 그어서 나타내는 삼각형이 서로 유사하다. 따라서, 위치 정보 검출부(8)는,

의 관계로부터,

로 구할 수 있다. 또한, 예를 들어 일본 특허 공개 제2009-239485호 공보에 기재된 기술에 의해, 메인 카메라 MC와 서브 카메라 SC의 화상 정보로부터 피사체의 높이 H도 알 수 있다(도 5 참조).

도 6은 화상 처리부(4)의 상세한 구성을 도시하는 블록도이다. 화상 처리부(4)는 색 보간부(41), 색 신호 생성부(42), 색 공간 변환부(43) 및 RGB색 신호 생성부(44)를 구비하고 있다.

(비교예)

여기서, 도 7의 플로우차트를 참조해서, 비교예의 화상 처리에 대해서 설명한다. 도 7의 스텝 S101에서, 색 보간부(41)는 촬상 소자(3A)로부터 출력된 화상 성분 Ye, 화상 성분 R, 화상 성분 IR 및 화상 성분 W 각각에 결락 화소 데이터를 보간하기 위한 보간 처리를 실시하고, 화상 성분 R, 화상 성분 IR, 화상 성분 W 및 화상 성분 Ye 각각을 촬상 소자(3A)의 화소수와 동일한 화소수를 포함하여 이루어지는 화상 데이터로 한다. 또한, 화상 성분 Ye, R, IR, W에 결락 화소 데이터가 발생하는 것은 R 화소, IR 화소, W 화소 및 Ye 화소가 지그재그 형상으로 배열되어 있기 때문이다. 또한, 보간 처리로서는, 예를 들어 선형 보간 처리를 채용하면 된다.

스텝 S102에서, 색 공간 변환부(43)는, 수학식 4에 나타낸 바와 같이, 화상 성분 Ye, R, IR, W를 가산함으로써 얻어지는 휘도 신호 Y1을, 변환 대상으로 되는 색 공간의 휘도 신호로서 산출한다.

여기서, 휘도 신호 Y1은, 가산 처리에 의해 산출되어 있기 때문에, 감산 처리에 의해 휘도 신호를 산출한 경우에 비해 노이즈 성분을 낮게 할 수 있다.

스텝 S103에서, 색 공간 변환부(43)는 휘도 공간 처리를 행한다. 보다 구체적으로는, 휘도 신호 Y1을, 바림하기 위한 저역 통과 필터에 통과시키거나, 첨예화하기 위한 에지 강조 처리를 행한다. 이에 의해 얻어진 휘도 신호를 Y2라 한다.

이상으로 병행하여, 스텝 S104에서, 색 신호 생성부(42)는, 색 보간부(41)에 의해 보간 처리가 실시된 화상 성분 Ye와, 화상 성분 R과, 화상 성분 IR과, 화상 성분 W를 하기 수학식 5에 의해 합성하여, 색 신호 dR, dG, dB(RGB 색 신호)를 생성한다.

스텝 S105에서, 색 공간 변환부(43)는, 수학식 6에 나타낸 바와 같이, 색 신호 dR, dG, dB를, 휘도 신호 Y3과 색차 신호 Cb1, Cr1을 포함하는 색 공간으로 변환한다. 여기서, 색차 신호 Cb1은 파란색 색차 신호를 나타내고, 색차 신호 Cr1은 빨간색 색차 신호를 나타낸다.

스텝 S106에서, 색 공간 변환부(43)는 색도 공간 처리를 행한다. 보다 구체적으로는, 색차 신호 Cb1, Cr1을, 바림하기 위한 저역 통과 필터를 통과시키거나, 첨예화하기 위한 에지 강조 처리를 행하여, 각각 색차 신호 Cb2, Cr2라 한다. 색도는 사람의 감도가 휘도에 비해 낮기 때문에, 에지 강조는 행하지 않고, 색도 노이즈 저감을 위해 저역 통과 필터를 행하는 경우가 많다. 그러나, 모든 색도 정보가 바림되기 때문에, 신호등의 램프의 색이 번지거나, 운전 지원에 있어서 중요한 도로의 흰선이나 황색선이 흐려져 버려, 황색선이 흰선으로 인식되는 등, 색도가 떨어져 버리는 경우가 있다.

스텝 S107에서, 색 공간 변환부(43)는 색도 강조 억압 처리를 행한다. 보다 구체적으로는, 색도의 값을 하기 수학식 7에 의해 강조 억압한다.

여기서, 색도 노이즈를 저감하기 위해서, k를 1 이하로 해서 억압하는 경우가 많다. 그러나, k가 1 이하이면 색도 노이즈의 저감에는 좋지만, 색도 정보가 상실되어 버린다고 하는 문제가 있다.

스텝 S108에서, 색 공간 변환부(43)는 색도 산출 처리를 행한다. 휘도 신호 Y1(또는 Y2)이 Y3과 달리, 가시광 성분과 적외광 성분을 가산하고 있기 때문에, 휘도와의 값의 밸런스(비율)를 유지하기 위해서, 비율에 따라 색도를 조정한다. 이와 같이 함으로써 휘도의 색도의 밸런스가 유지된다

또한, RGB색 신호 생성부(44)는, 수학식 6을 역변환함으로써, 휘도 신호 Y2와, 색차 신호 Cr4, Cb4로부터 색 신호 dR', dG', dB'를 산출한다. 이와 같이 해서 얻어진 색 신호 dR', dG', dB'를 외부의 모니터에 출력함으로써, 컬러 화상을 얻을 수 있다. 단, 전술한 바와 같이, 조정은 가능하지만 결점이 존재한다.

(실시예)

여기서, 실시예에 대해 설명한다. 도 8은 실시예의 플로우차트이다. 우선, 도 8의 스텝 S201에서 메인 카메라 MC로 피사체의 촬영을 행하고, 동시에 스텝 S202에서 서브 카메라 SC로 동일한 피사체의 촬영을 행한다. 스텝 S203에서, 위치 정보 검출부(8)가, 전술한 바와 같이 위치 정보(피사체의 거리 Z와 높이 H)를 구한다.

스텝 S204에 있어서, 색 보간부(41)는 촬상 소자(3A)로부터 출력된 화상 성분 Ye, 화상 성분 R, 화상 성분 IR 및 화상 성분 W 각각에 결락 화소 데이터를 보간하기 위한 보간 처리를 실시하여, 화상 성분 R, 화상 성분 IR, 화상 성분 W 및 화상 성분 Ye 각각을 촬상 소자(3A)의 화소수와 동일한 화소수를 포함하여 이루어지는 화상 데이터로 한다. 또한, 화상 성분 Ye, R, IR, W에 결락 화소 데이터가 발생하는 것은, R 화소, IR 화소, W 화소 및 Ye 화소가 지그재그 형상으로 배열되어 있기 때문이다. 또한, 보간 처리로서는, 예를 들어 선형 보간 처리를 채용하면 된다.

스텝 S205에서, 색 공간 변환부(43)는, 수학식 9에 나타낸 바와 같이, 화상 성분 Ye, R, IR, W를 가산함으로써 얻어지는 휘도 신호 Y1을, 변환 대상으로 되는 색 공간의 휘도 신호로서 산출하는데, 이때, 스텝 S203에서 검출된 위치 정보에 기초해서 휘도 신호 Y1을 조정할 수 있다.

수학식 9에서, a, b, c, d는 가중 계수이며, 통상은 각각 1로 하지만, 최소의 가중치는 0이고, 1이상으로 하면 보다 강조되는 것을 의미한다. 여기에서는, 적외광 성분의 가산량을 제어하려고 하므로, 가시광 성분에 관해서 a=b=c로 해도 된다. 또는 각 센서의 분광 감도에 포함되는 적외 감도에 대응시켜서, a를 가장 가시광에 가까운 가중치, d를 가장 적외광에 가까운 가중치로 해도 된다. 계수의 값이 커지면, 그 센서의 정보가 크게 반영된다.

휘도 신호 산출 처리에서는, 후술하는 표 2와 같은 처리를 하게 하려고 하므로, 거리와 높이에 따라서, a(=b, c), d를, 도 9, 도 10에 나타내는 그래프와 같이 가중치 부여하면 바람직하다. 즉, 도 9에 도시한 바와 같이, 피사체까지의 거리가 멀어질수록 d의 가중치를 감소시키고, 또한 피사체의 높이가 높아질수록 d의 가중치를 감소시킨다(0에 근접한다). 한편, 도 10에 도시한 바와 같이, 피사체까지의 거리가 멀어질수록 a의 가중치를 증대시키고, 또한 피사체의 높이가 높아질수록 a의 가중치를 증대시키는(2에 근접시키는) 것이다.

가중치 a, b, c, d 모두, d=func(거리, 높이)와 같은, 거리와 높이를 파라미터에 갖는 함수로 해 두면, 서서히 파라미터를 변화시킴으로써, 매끄럽게 재현이 변화하여 시인성이 높아진다. 함수의 내용은 수식이든 룩업 테이블이든 상관없다. 간편하게는, 도 11과 같이 피사체가 존재하는 영역을, 피사체까지의 거리가 임계값 TL보다 작고 피사체의 높이가 임계값 TH보다 낮은 영역 A, 피사체까지의 거리가 임계값 TL보다 작고 피사체의 높이가 임계값 TH 이상인 영역 B, 피사체까지의 거리가 임계값 TL 이상이며 피사체의 높이가 임계값 TH보다 낮은 영역 C, 피사체까지의 거리가 임계값 TL 이상이며 피사체의 높이가 임계값 TH 이상인 영역 D라고 하는 바와 같이, 4 분할하여, 각 영역마다 가중치 부여를 바꾸어도 된다.

이상의 처리의 효과에 대해 설명한다. 예를 들어 도 12에 도시한 바와 같이, 규격에 의해 신호등의 램프의 위치는 높이 2.5m ~ 5m 이상이며, 도로 표지는 1.8m 전후이며, 사람의 신장은 대개 1.8m 이하이다. 즉, 높이 2m 이상에서는 자발광의 피사체가 많은 동시에, 특별히 색을 식별할 필요가 있다. 한편, 2m 미만에서는 색보다도 피사체를 명료하게 식별할 필요가 있다.

도 13에 도시한 바와 같이, 또한, 발광부(6)로서의 차의 헤드라이트에서는, 약 40m 앞까지 비추는 로빔의 광원에 가시광을 사용하고, 약 100m 앞까지 비추는 하이빔에는, 가시광을 포함하지 않는 적외광만의 광원을 사용하는 일이 행해진다. 따라서, 피사체까지의 거리가 40m까지는 충분히 가시광 정보가 있고, 반대로 피사체까지의 거리가 40m보다 먼 쪽은 가시광 정보가 적어, 적외광 정보에 의지할 필요가 있다. 따라서, 차량을 운전하는 운전수가 로빔을 선택하고 있는 경우, 피사체까지의 거리의 임계값으로서 40m를 사용해서, 처리를 변경하고, 하이빔을 선택하고 있는 경우, 피사체까지의 거리의 임계값으로서 100m를 사용해서, 가중치 부여를 바꾸는 것이 바람직하다. 이와 같이 함으로써, 적외광 성분이 있는 것으로 피사체 화상이 너무 밝아지는 것을 방지할 수 있다. 로빔인지 하이빔인지의 선택은, 조사 범위 검출부(7)가 검출할 수 있다.

스텝 S206에서, 색 공간 변환부(43)는 휘도 공간 처리를 행한다. 보다 구체적으로는, 휘도 신호 Y1을, 바림하기 위한 저역 통과 필터에 통과시키거나, 첨예화하기 위한 에지 강조 처리를 행한다. 이에 의해 얻어진 휘도 신호를 Y2라 한다. 이때, 스텝 S203에서 검출된 위치 정보에 기초해서 휘도 신호 Y2를 조정할 수 있다.

휘도 신호 산출 처리에서는, 후술하는 표 4과 같은 처리를 하게 하려 하므로, 휘도 신호 Y1에 대해서, 피사체의 높이가 높은 경우, 적외광 성분의 노이즈를 저감시키기 위해, 저역 통과 필터에 통과시킨다. 한편, 피사체의 높이가 낮은 경우, 피사체를 샤프화하여 시인성을 높이기 위해서, 에지 강조 처리를 행한다. 이와 같이 해서 휘도 신호 Y2를 조정한다.

보다 구체적으로는, 운전 지원을 위해 해상도가 필요한 것은 피사체의 고저이며, 예를 들어 신호등 등은 램프의 색을 알 수 있으면 되므로, 해상도는 그다지 필요하지 않다. 따라서, 임계값보다 높은 피사체의 휘도 신호에는, 적외광 성분이 포함되는 것에 의한 노이즈를 저감시키도록 저역 통과 필터를 걸고, 임계값보다 낮은 피사체의 휘도 신호는, 에지 강조하는 것이 좋다. 이는 도 14에 도시한 바와 같은 함수에 따라서 가중치 부여하면 되고, 신호등의 높이인 2m 전후에서 전환하는 것이 좋다. 휘도 산출과 마찬가지로, 거리에 의한 전환을 해도 상관없다. 예를 들어, 먼 곳을 에지 강조하면 노이즈가 악화되므로, 높이가 낮아도 먼 경우에는 에지 강조하지 않을 수 있다. 바림하는 방법, 즉 저역 통과 필터를 통과시키는 경우에는, 3×3 화소의 윈도우 내의 화소값을 평균하는 처리를 반복한다. 또는 윈도우의 크기를 5×5 화소, 7×7 화소로 크게 한다. 에지 강조 처리는, 소벨 필터 등의 에지 검출 필터로 에지를 검출하고, 그에 계수를 곱해서 가산한다.

스텝 S207에서, 색 공간 변환부(43)는, 후술하는 스텝 S209에서 얻어진 휘도 신호 Y3을 사용해서, 이하의 수학식 10에서, 휘도 신호 Y4를 산출한다. 비교예에서는 휘도 신호 Y2를 그대로 사용했지만, 적외광 정보에 의존하는 휘도 신호 Y2와, RGB 산출에서 적외광 성분을 감산하고 있으므로 가시광 정보에 의존하는 휘도 신호 Y3을 가중치 부여로 계산함으로써, 후술하는 표 2의 휘도 신호 산출 처리와 마찬가지의 효과가 얻어진다. 이러한 처리는, 2개의 처리 블록으로 행해도 되고, 한쪽이어도 된다. 휘도 신호 Y3의 정보는, 적외광 성분을 완전히 감산하고 있으므로, 휘도 신호 Y3의 가중치를 많게 함으로써, 표 2의 휘도 신호 산출 처리보다 한층 효과가 높다. α는 표 2의 휘도 신호 산출 처리와 마찬가지로, 피사체의 거리와 높이로부터 결정한다.

이상과 병행하여, 스텝 S208에서, 색 신호 생성부(42)는 색 보간부(41)에 의해 보간 처리가 실시된 화상 성분 Ye와, 화상 성분 R과, 화상 성분 IR과, 화상 성분 W를 하기 수학식 5에 의해 합성하고, 색 신호 dR, dG, dB(RGB색 신호)를 생성한다.

[수학식 5]

스텝 S209에서, 색 공간 변환부(43)는, 수학식 6에 나타낸 바와 같이, 색 신호 dR, dG, dB를, 휘도 신호 Y3과 색차 신호 Cb1, Cr1을 포함하는 색 공간으로 변환한다. 여기서, 색차 신호 Cb1은 파란색 색차 신호를 나타내고, 색차 신호 Cr1은 빨간색 색차 신호를 나타낸다.

[수학식 6]

스텝 S210에서, 색 공간 변환부(43)는 색도 공간 처리를 행한다. 여기서, 스텝 S203에서 검출된 위치 정보에 기초해서 색도 신호 Cb2, Cr2를 조정할 수 있다. 보다 구체적으로는, 색차 신호 Cb1, Cr1을, 바림하기 위한 저역 통과 필터를 통과시키거나, 첨예화하기 위한 에지 강조 처리를 행하여, 각각 색차 신호 Cb2, Cr2라 한다.

색도 공간 처리에서는, 후술하는 표 5와 같은 처리를 하게 하고자 하므로, 색차 신호 Cb1, Cr1에 대해, 피사체까지의 거리가 임계값보다 먼 경우, 적외광 성분의 노이즈를 저감시키기 위해, 저역 통과 필터에 통과시킨다. 한편, 피사체까지의 거리가 임계값보다 가까운 경우, 피사체를 샤프화하여 시인성을 높이기 위해서, 에지 강조 처리를 행한다.

특히, 피사체까지의 거리가 먼 경우, 가시광 정보가 거의 존재하지 않으므로, 색도 노이즈가 발생하기 쉽다. 따라서, 먼 피사체는 바림하는 것이 좋다. 반대로 가까운 피사체는, 보다 장해물을 식별할 수 있도록 에지 강조하는 것이 좋다. 예를 들어 로빔의 선택 시 등에는, 이는 도 15에 도시하는 바와 같은 함수를 따라서 가중치 부여하면 되고, 로빔의 조사 한계인 40m 전후에서 전환하는 것이 좋다. 전술한 비교예에서는, 노이즈 저감을 위해 모든 영역을 바림해 버리기 때문에, 신호등의 램프가 번지거나, 도로의 황색선의 색이 무채색이 되어 버리는 경우가 있었지만, 본 실시예에 따르면 피사체까지의 거리에 따라서 강조도 할 수 있으므로, 이러한 문제를 개선할 수 있다.

스텝 S211에서, 색 공간 변환부(43)는 색도 강조 억압 처리를 행한다. 보다 구체적으로는, 색도의 값을 하기 수학식 7에 의해 강조 억압한다. 이때, 스텝 S203에서 검출된 위치 정보에 기초해서 색도 신호 Cb3, Cr3을 조정할 수 있다.

[수학식 7]

여기서, 후술하는 표 3과 같이, 임계값보다 높은 피사체인 신호등 등은 적외광 정보를 포함하고, 화이트 아웃되기 쉬운 것에서의 색도를 강조한다. 단, 멀리 있는 신호등도, 가능한 한 램프의 색을 분별하고자 하므로, 거리에 의존시키지 않는 것이 바람직하다. 이에 반해, 임계값보다 낮은 피사체는, 소정 거리보다 멀리 있는 경우, 색도 노이즈를 억제하게 색도를 억압하는(k를 0에 근접시키는) 것이 바람직하다. 한편, 소정 거리보다 가까운 피사체는 충분히 가시 정보가 존재하므로, 억압하지 않는 것이 좋다(k를 1 이상으로 함). 경우에 따라서는 색도를 강조한다. 따라서, 계수 k는 휘도 신호 산출 처리와 마찬가지로, 높이와 거리의 함수에 의해 결정하면 된다. 도시하지 않지만, 도 9, 도 10과 마찬가지 그래프를 수식이나, 임계값, 룩업 테이블을 사용하여 계수 k를 결정하면 된다.

스텝 S212에서, 색 공간 변환부(43)는 색도 산출 처리를 행한다. 휘도 신호 Y1(또는 Y2)이 Y3과 달리, 가시광 성분과 적외광 성분을 가산하고 있기 때문에, 휘도와의 값의 밸런스(비율)를 유지하기 위해서, 비율에 따라 색도를 조정한다. 이와 같이 함으로써 휘도의 색도의 밸런스가 유지된다.

[수학식 8]

또한, RGB색 신호 생성부(44)는, 수학식 6을 역변환함으로써, 휘도 신호 Y2와, 색차 신호 Cr4, Cb4로부터 색 신호 dR', dG', dB'를 산출한다. 이와 같이 해서 얻어진 색 신호 dR', dG', dB'를 외부의 모니터에 출력함으로써, 컬러 화상을 얻을 수 있다.

(제2 실시 형태)

이하, 도면을 참조하여 본 발명의 실시 형태를 상세하게 설명한다. 도 16은 제2 실시 형태에 따른 화상 처리 장치(100)의 블록도이다. 이러한 화상 처리 장치(100)는 차량 탑재의 백뷰 카메라에 적용할 수 있지만, 용도는 그에 한정되지 않고, 예를 들어 감시 카메라여도 된다. 화상 처리 장치(100)는 피사체를 향해서 근적외광을 투광하는 근적외 광원(101)과, 근적외 광원(101)을 구동하는 구동부(102)와, 피사체로부터의 가시광 성분을 수광하여 화상 신호로 변환하는 가시광 수신부(103)와, 피사체로부터의 근적외광 성분을 수광하여 화상 신호로 변환하는 적외광 수신부(104)와, 가시광 수신부(103)와 적외광 수신부(104)로부터의 화상 신호를 입력하여 A/D 변환하고, 가시광 화상 데이터와 적외광 화상 데이터를 생성하는 화상 데이터 생성부(105)와, 생성된 적외광의 화상 데이터로부터 피사체의 휘도 정보를 계산하는 휘도 정보 계산부(106)와, 휘도 정보가 기억된 복수 종류의 피사체의 적외광 화상에 있어서의 휘도 정보를 기억하는 메모리(기억 수단)(107)와, 메모리(107)에 기억된 휘도 정보에 기초하여, 대응하는 피사체의 적외광 화상을 추출하는 추출부(추출 수단)(108)와, 추출된 피사체의 적외광 화상을 가시광 화상에 붙이도록 화상 처리하는 합성부(합성 수단)(109)와, 가시광 화상 데이터에 기초하는 가시광 화상, 적외광 화상 데이터에 기초하는 적외광 화상, 합성된 화상 데이터에 기초하는 화상 등을 표시하는 표시부(표시 수단)(110)를 갖는다. 또한, 가시광 수신부(103), 적외광 수신부(104), 화상 데이터 생성부(105)가 촬상 수단을 구성한다.

도 17은 본 실시 형태의 화상 처리 장치(100)에 의해 촬영된 화상을, 표시 장치(110)에 표시한 상태를 도시하는 도면이다. 우선, 화상 데이터 생성부(105)에서 얻어진 가시광 화상 데이터에 의해, 가시광에 있어서의 평균 휘도를 구했을 때에, 낮 등은 소정값 이상으로 된다. 이러한 경우, 가시광 화상 데이터에 의해 얻어지는 가시광 화상은, 태양광만으로 충분히 명료해지기 때문에, 도 17의 (a)에 도시한 바와 같이, 인물 HM, 벽 WL, 지면 ET가 명료하게 구별되게 되어, 특별히 화상을 합성할 필요는 없다.

그런데, 야간 등에 있어서는, 가시광에 있어서의 평균 휘도가 비교적 낮아지기 때문에, 가시광 화상은, 도 17의 (b)에 도시한 바와 같이 저계조이며 시인성이 저하된다. 그 때문에, 인물 HM, 벽 WL, 지면 ET가 명료하게 구별되지 않아, 이러한 가시광 화상을 의지하여 차량을 후진시키는 것은 곤란하다. 이에 반해, 화상 데이터 생성부(105)에서 얻어진 적외광 화상 데이터에 기초해서 얻어지는 적외광 화상을 표시하면, 도 17의 (c)에 도시한 바와 같이, 인물 HM, 벽 WL, 지면 ET 모두가 밝게 표시되어 버려, 이러한 적외광 화상을 의지하여 차량을 후진시키는 것은 마찬가지로 곤란하다. 본 실시 형태는 이러한 문제를 이하와 같이 해서 해소하고 있다.

도 18은 본 실시 형태에 따른 화상 처리 장치(100)의 동작을 나타내는 플로우차트이다. 도 19는 본 실시 형태에 따른 화상 처리 장치(100)에 의해 행해지는 처리 내용을 설명하기 위한 도면이다.

여기서 전공정으로서, 화상 처리 장치(100)는, 메모리(107)에 피사체(여기서는 인물로 함)의 휘도 정보를 기억한다. 그 일례로서는, 예를 들어 인물이나 동물 등의 복수 종류의 피사체당, 다양한 자세 형상을 데이터화하여, 적외광의 휘도 정보로서 미리 기억할 수 있다. 또는 표시부(110)가 터치 패널식 또는 클릭 가능한 모니터를 갖는 경우, 실제로 모니터에 투영해낸 피사체의 가시광 화상을 터치 또는 클릭함으로써, 그 휘도 정보를 기억하도록 해도 된다. 이러한 조작에 의해 판독된 피사체의 휘도 정보는 가시광의 휘도 정보이지만, 적외광의 휘도 정보와도 일정한 상관 관계가 있기 때문에, 가시광의 휘도 정보에 적당한 계수를 승산하여, 근사한 적외광의 휘도 정보로서 기억하면, 이를 이용하여, 실제의 적외광 화상 데이터에 대해 패턴 매칭 등을 행하여, 피사체의 적외광 화상 데이터를 추출할 수도 있다. 또한, 이동하는 피사체를 검지하는 공지된 수단을 설치하여, 적외광 화상 데이터로부터 이동하는 피사체가 검지되었을 때는, 이동하는 피사체의 휘도 정보를 추출하여, 가시광 화상에 붙이도록 해도 된다.

우선, 도 18의 스텝 S301에서, 화상 데이터 생성부(105)가, 가시광 수신부(103)과 적외광 수신부(104)로부터의 화상 신호를 입력하여 A/D 변환하여, 가시광 화상 데이터와 적외광 화상 데이터를 생성한다. 계속해서, 스텝 S302에서, 추출부(108)는, 메모리(107)에 기억된, 미리 기억된 피사체의 휘도 정보를 판독한다.

또한, 스텝 S303에서, 휘도 정보 계산부(106)가, 가시광 화상 데이터에 기초해서 평균 휘도를 계산하고, 이것이 소정값 이상인지 여부를 판단한다. 평균 휘도가 소정 이상이라 판단한 경우, 추출부(108)는 적외광 화상 데이터의 추출을 행하지 않는다. 따라서, 합성부(109)는 화상 합성을 행하지 않고, 스텝 S304에서, 표시 장치(110)는 가시 화상 데이터에 기초해서 가시광 화상을 표시한다(도 19의 (a) 참조).

한편, 휘도 정보 계산부(106)가, 평균 휘도는 소정값 미만이라 판단한 경우, 스텝 S305에서, 추출부(108)는 메모리(107)로부터 판독한 피사체의 휘도 정보를 사용하여 적외광 화상 데이터를 패턴 매칭하여, 미리 휘도 정보가 기억된 피사체가 존재하는지 여부를 판단한다. 여기서, 미리 휘도 정보가 기억된 피사체가 존재하지 않는다고 판단한 경우, 적외광 화상 데이터의 추출을 행하지 않고, 또한 화상 합성부(109)는 화상 합성을 행하지 않고, 스텝 S306에서, 표시 장치(110)는 적외광 화상 데이터에 기초해서 적외광 화상을 표시한다(도 19의 (c) 참조). 이러한 경우, 표시된 화면을 본 운전자는, 인물 등이 없는 것을 확인할 수 있기 때문에, 통상의 주의로 차량을 조작할 수 있다.

한편, 추출부(108)가, 미리 휘도 정보가 기억된 피사체가 존재한다고 판단한 경우, 오리지날 적외광 화상 데이터로부터, 그 피사체에 대응하는 적외광 화상 데이터를 추출하고, 스텝 S307에서, 화상 합성부(109)가 추출된 피사체에 대응하는 적외광 화상 데이터를, 가시광 화상 데이터에 있어서의 대응하는 피사체의 화상 데이터와 치환하도록 합성 처리한다(도 19의 (b) 참조). 이에 의해, 인물 등의 미리 휘도 정보가 기억된 피사체의 화상이, 어두운 배경 상에 붙여짐으로써 밝게 강조되어 표시되므로, 운전자의 주의를 환기할 수 있다. 이러한 경우, 피사체의 얼굴 등의 표정은 보이지 않지만, 운전자의 주의를 환기하면 충분하기 때문에 특히 문제 없다. 스텝 S308에서 종료라고 판단되지 않으면, 스텝 S301로 되돌아가서, 마찬가지의 스텝이 반복된다.

이상의 시츄에이션과 화상 처리를 정리하면, 표 6에 나타낸 바와 같이 된다.

(제3 실시 형태)

도 20은 제3 실시 형태에 따른 화상 처리 장치(100')의 블록도이다. 본 실시 형태가, 도 16에 도시하는 실시 형태와 다른 점은, 피사체까지의 거리를 측정하는 측거부(측거 수단)(111)를 구비하고 있는 점이다. 측거부(111)로서는, 적외선 등을 투사하여 그 반사광으로부터 피사체까지의 거리를 측정하는 것이나, 2대의 촬상 수단을 사용하여 스테레오 카메라의 원리에 의해 피사체까지의 거리를 측정하는 것 등, 다양한 수단을 사용할 수 있다. 구체적으로는, 도 1, 도 4에 도시하는 스테레오 카메라에 의한 화상 입력 장치(1)를 사용할 수 있다.

본 실시 형태에 있어서는, 측거부(111)가 피사체까지의 거리를 구하고, 미리 휘도 정보가 기억된 피사체가 존재한 경우, 그 피사체까지의 거리에 따라서, 가시광 화상 데이터의 일부와 치환하는 적외광 화상 데이터의 강조 정도를 변화시키는(휘도값을 상대적으로 증감하는) 것이다.

이에 의해, 도 21에 도시한 바와 같이, 인물 등의 미리 휘도 정보가 기억된 피사체가 복수 존재하는 경우에는, 가장 가까운 피사체를 가장 밝게 강조하여 표시할 수 있다. 휘도값의 증대 정도는, 피사체까지의 거리가 가까워짐에 따라 리니어로 증대시켜도 되지만, 이하의 식에 따라 휘도값을 임의로 증대시킬 수도 있다. 이에 의해 가까운 위치의 피사체 화상은 밝고, 먼 위치의 피사체 화상은 어둡게 표시할 수 있다. 또한, 가장 가까운 피사체가 가장 중요하므로, 가장 가까운 피사체만 적외광 화상으로 치환해도 된다.

Y : 합성된 피사체의 휘도값

f(d) : 도 22에 일례를 나타내는 함수이며, 피사체 거리 d(m)에 따라서 변화한다

Ir : 오리지날 피사체의 휘도값

또한, 본 발명은 본 명세서에 기재된 실시 형태에 한정되는 것은 아니고, 다른 실시 형태나 변형예를 포함하는 것은, 본 명세서에 기재된 실시 형태나 기술적 사상으로부터 본 분야의 당업자에 있어서 명백하다.

본 발명의 화상 입력 장치는, 차량 탑재 카메라나 감시 카메라 등에 적용 가능하지만, 용도는 그에 한정되지 않는다. 또한, 본 발명에서는, RGB의 필터를 갖는 가시광용 촬상 소자와, 적외선을 검출하는 촬상 소자를 조합해서 1개의 촬상 수단으로 해도 된다.

본 발명의 화상 처리 장치는, 차량 탑재 카메라나 감시 카메라 등에 적용 가능하지만, 용도는 그에 한정되지 않는다.

1 : 화상 입력 장치
2 : 렌즈
3 : 촬상 소자
4 : 화상 처리부
5 : 제어부
6 : 발광부
7 : 조사 범위 검출부
8 : 위치 정보 검출부
41 : 색 보간부
42 : 색 신호 생성부
43 : 색 공간 변환부
44 : RGB 신호 생성부
100, 100' : 화상 처리 장치
101 : 근적외 광원
102 : 구동부
103 : 가시광 수신부
104 : 적외광 수신부
105 : 화상 데이터 생성부
106 : 휘도 정보 계산부
107 : 메모리
108 : 추출부
109 : 합성부
110 : 표시부
111 : 측거부
ET : 지면
HM : 인물
WL : 벽

Claims

피사체의 높이 및 피사체까지의 거리 중 적어도 한쪽을 포함하는 위치 정보를 취득하는 위치 정보 취득부와,
분광 감도가 다른 적어도 3종류의 화소가 배열되어, 입사한 피사체상을, 가시광 성분과 적외광 성분을 포함하는 적어도 3종류의 원화상 성분을 갖는 원화상 데이터로 변환하는 촬상 수단과,
상기 위치 정보 취득부가 취득한 위치 정보에 기초하여, 상기 가시광 성분과 상기 적외광 성분의 가중치 부여를 행하고, 상기 원화상 데이터를, 가중치 부여된 상기 가시광 성분과 상기 적외광 성분에 기초해서 조정된 휘도 신호와 색도 신호를 포함하는 색 공간으로 변환하는 색 공간 변환부를 갖는 것을 특징으로 하는 화상 입력 장치.
제1항에 있어서,
상기 색 공간 변환부는, 상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 높다고 판단했을 때는, 상기 휘도 신호에 있어서의 상기 적외광 성분의 가중치 부여를 감소시키는 것을 특징으로 하는 화상 입력 장치.
제1항 또는 제2항에 있어서,
상기 색 공간 변환부는, 상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 가깝다고 판단했을 때는, 상기 휘도 신호에 있어서의 상기 적외광 성분의 가중치 부여를 감소시키는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 낮다고 판단했을 때는, 상기 휘도 신호에 에지 강조 처리를 행하는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 높다고 판단했을 때는, 상기 휘도 신호를 저역 통과 필터에 통과시키는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 색 공간 변환부는, 상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 높다고 판단했을 때는, 상기 색도 신호에 있어서의 상기 가시광 성분의 가중치 부여를 증대시키는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 색 공간 변환부는, 상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 가깝다고 판단했을 때는, 상기 색도 신호에 있어서의 상기 가시광 성분의 가중치 부여를 감소시키는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 가깝다고 판단했을 때는, 상기 색도 신호에 에지 강조 처리를 행하는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 멀다고 판단했을 때는, 상기 색도 신호를 저역 통과 필터에 통과시키는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 높다고 판단했을 때는, 상기 색도 신호에 강조 처리를 실시하는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 위치 정보에 의해 상기 피사체의 높이가 소정값보다 낮다고 판단했을 때는, 상기 색도 신호에 억압 처리를 실시하는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 멀다고 판단했을 때는, 상기 색도 신호에 억압 처리를 실시하는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 위치 정보에 의해 상기 피사체까지의 거리가 소정값보다 가깝다고 판단했을 때는, 상기 색도 신호에 강조 처리를 실시하는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제13항 중 어느 한 항에 있어서,
가시광과 적외광을 조사하는 발광 수단과,
상기 발광 수단으로부터의 조사광이 닿는 조사 범위를 산출하는 조사 범위 산출 수단을 갖고,
상기 색 공간 변환부는, 상기 조사 범위 산출 수단이 산출한 조사 범위에 기초하여, 상기 가시광 성분과 상기 적외광 성분의 가중치 부여를 행하는 것을 특징으로 하는 화상 입력 장치.
제1항 내지 제14항 중 어느 한 항에 있어서,
상기 색 공간 변환부는, 가시광 성분에 의존하는 휘도 신호와, 적외광 성분에 의존하는 휘도 신호를, 가중치 부여 가산하여 새로운 휘도 신호를 구하는 것을 특징으로 하는 화상 입력 장치.
피사체로부터의 가시광 성분과 적외광 성분을 취득하여, 가시광 화상 데이터와 적외광 화상 데이터를 형성하는 촬상 수단과,
복수 종류의 피사체의 휘도 정보를 기억하는 기억 수단과,
상기 기억 수단에 기억된 휘도 정보에 기초하여, 상기 적외광 화상 데이터로부터 대응하는 피사체의 적외광 화상 데이터를 추출하는 추출 수단과,
상기 추출 수단에 의해 추출된 피사체의 적외광 화상 데이터를, 상기 가시광 화상 데이터에 기초하는 가시광 화상에 붙이도록 합성하는 합성 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
제16항에 있어서,
상기 합성 수단에 의한 합성은, 합성 전의 상기 가시광 화상 중에 있어서의 평균 휘도가 소정값보다 낮은 경우에 행하는 것을 특징으로 하는 화상 처리 장치.
제16항 또는 제17항에 있어서,
상기 합성 수단에 의해 합성된 화상을 표시하는 표시 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
제18항에 있어서,
상기 표시 수단은, 합성 전의 상기 가시광 화상 중에 있어서의 평균 휘도가 소정값 이상인 경우에는, 상기 가시광 화상 데이터에 기초하는 가시광 화상을 표시하는 것을 특징으로 하는 화상 처리 장치.
제18항 또는 제19항에 있어서,
상기 표시 수단은, 합성 전의 상기 가시광 화상 중에 있어서의 평균 휘도가 소정값보다 낮고, 또한 상기 휘도 정보에 기초해서 대응하는 피사체가 상기 적외광 화상에 존재하지 않는 경우, 상기 적외광 화상 데이터에 기초하는 적외광 화상을 표시하는 것을 특징으로 하는 화상 처리 장치.
제16항 내지 제20항 중 어느 한 항에 있어서,
상기 기억 수단에 기억된 피사체의 휘도 정보는, 가시광 화상에 있어서의 동일한 피사체의 휘도 정보로부터 결정되는 것을 특징으로 하는 화상 처리 장치.
제16항 내지 제21항 중 어느 한 항에 있어서,
피사체까지의 거리를 검출하는 측거 수단을 갖고, 상기 휘도 정보에 기초해서 대응하는 피사체가 상기 적외광 화상에 복수 존재하는 경우, 상기 합성 수단은, 가장 가까운 피사체의 적외광 화상을 상기 가시광 화상에 붙이도록 합성하는 것을 특징으로 하는 화상 처리 장치.
제16항 내지 제21항 중 어느 한 항에 있어서,
피사체까지의 거리를 검출하는 측거 수단을 갖고, 상기 휘도 정보에 기초해서 대응하는 피사체가 상기 적외광 화상에 복수 존재하는 경우, 상기 합성 수단은, 피사체의 거리에 따라서 휘도를 다르게 한 적외광 화상을, 상기 가시광 화상에 붙이도록 합성하는 것을 특징으로 하는 화상 처리 장치.