KR101650266B1

KR101650266B1 - 노면 경사 인식 장치, 노면 경사 인식 방법, 및 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램

Info

Publication number: KR101650266B1
Application number: KR1020147036482A
Authority: KR
Inventors: 웨이 종
Original assignee: 가부시키가이샤 리코
Priority date: 2012-05-31
Filing date: 2013-05-16
Publication date: 2016-08-22
Also published as: KR20150017365A; WO2013179993A1; EP2856423A4; CN104380337A; JP2014006882A; US20150049913A1; EP2856423A1

Abstract

시차 정보는 복수의 촬상 수단에 의해 촬상된 복수의 촬상 이미지로부터 생성된다. 복수의 촬상 이미지를 수직 방향으로 복수 분할하여 얻어지는 각 행의 시차 값의 빈도 분포를 나타내는 시차 히스토그램 정보가 생성된다. 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택한다. 선택된 그룹의 시차 값 또는 시차 값 범위에 따라, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식한다.

Description

노면 경사 인식 장치, 노면 경사 인식 방법, 및 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램 {ROAD SURFACE SLOPE-IDENTIFYING DEVICE, METHOD OF IDENTIFYING ROAD SURFACE SLOPE, AND COMPUTER PROGRAM FOR CAUSING COMPUTER TO EXECUTE ROAD SURFACE SLOPE IDENTIFICATION}

본 발명은 복수의 촬상 수단에 의해 촬상한 자기 차량 전방 영역의 복수의 촬상 이미지에 기초하여, 자기 차량이 주행하고 있는 노면의 경사 상황을 인식하기 위한 노면 경사 인식 장치, 노면 경사 인식 방법 및 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램에 관한 것이다.

종래에, 자기 차량 전방 영역의 촬상 이미지에 기초하여 인식 대상물을 인식하는 인식 장치는, 예를 들어, 차량의 운전자의 부하를 경감시키기 위한 ACC(Adaptive Cruise Control) 등의 운전자 지원 시스템 등에 이용되고 있다. 운전자 지원 시스템은 자기 차량이 장애물 등에 충돌하는 것을 방지하고, 충돌시의 충격을 경감하는 자동 브레이크 기능과 경보 기능, 선행 차량과의 거리를 유지하는 자기 차량 속도 조정 기능, 자기 차량이 주행하는 차선으로부터의 이탈 방지를 지원하는 지원 기능 등의 다양한 기능을 수행한다.

이러한 기능을 제대로 실현하기 위해서, 자기 차량 전방 영역의 촬상 이미지로부터, 자기 차량 주위에 존재하는 다양한 인식 대상물(예를 들어, 다른 차량, 보행자, 차선 경계선이나 맨홀 뚜껑 등의 노면 구성물, 전주, 난간, 연석, 중앙 분리대 등 노면 구성물 등)을 비추는 이미지 부분을 정밀하게 인식하고, 자기 차량의 주행 가능 영역을 파악하고, 충돌을 피하기 위해서 물체를 정밀하게 파악하는 것이 중요하다. 또한, 자동 브레이크 기능, 자기 차량 속도 조절 기능 등의 기능을 제대로 실현하기 위해서, 자기 차량의 주행 방향에서의 노면의 경사 상황을 인식하는 것이 유용하다.

일본 특허 출원 공개 번호 제2002-150302호는 촬상 수단에 의해 촬상하여 얻은 자기 차량 전방 영역의 밝기 이미지와 거리 이미지(시차 이미지 정보)에 기초하여, 노면상의 백선(차선 경계선)의 입체 형상을 계산하고, 그 백선의 입체 형상으로부터, 자기 차량이 주행하고 있는 노면의 입체 형상(자기 차량의 주행 방향에서의 노면의 요철 정보)을 특정하는 노면 인식 장치가 개시되어 있다. 이 노면 인식 장치의 이용으로, 자기 차량의 주행 방향에서의 노면이 평탄한지, 오르막 경사인지, 또는 내리막 경사인지와 같은 간단한 경사 상황뿐만 아니라, 예를 들어, 어떤 거리까지는 오르막 경사이지만, 그런 다음 내리막 경사가 이어지고, 거기에서 또 오르막 경사로 되어 있는 것과 같은 주행 방향에 따른 노면 요철 정보(경사 상황)도 파악할 수 있다.

그런데, 상기 일본 특허 출원 공개 번호 제2002-150302호에 기재된 노면 인식 장치에서는, 거리 이미지(시차 이미지 정보)로부터 자기 차량이 주행하고 있는 차선의 양쪽에 존재하는 2개의 백선의 입체 형상을 계산한 뒤에, 2개의 백선 사이의 영역이 매끈하게 연속하도록 보간 처리를 수행하는 것에 의해, 2개의 백선 사이에 존재하는 자기 차량이 주행하고 있는 차선의 노면 요철 정보(입체 노면 형상)을 추정하는 복잡하고 고부하 처리를 수행한다. 따라서, 주행 방향의 노면 요철 정보를 얻기 위한 처리 시간을 단축하는 것이 어렵고, 예를 들어, 30 FPS(Frames Per Second)의 동영상에 대한 실시간 처리 등에 적용할 수 없는 등의 문제가 있다.

본 발명의 실시예의 목적은 자기 차량의 주행 방향에서의 노면의 경사 상황을 새로운 인식 처리에 의해 인식하는 노면 경사 인식 장치, 노면 경사 인식 방법 및 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램을 제공하는 것이다.

상기 목적을 달성하기 위해서, 본 발명의 실시예는 복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻어지는 복수의 촬상 이미지에 기초하여 시차 정보를 생성하는 시차 정보 생성 수단을 갖고, 시차 정보 생성 수단이 생성한 시차 정보에 기초하여, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 노면 경사 인식 장치를 제공하고, 이러한 노면 경사 인식 장치는 시차 정보 생성 수단이 생성한 시차 정보에 기초하여 촬상 이미지를 수직 방향으로 복수 분할하여 얻어지는 각 행 영역 내의 시차 값의 빈도 분포를 나타내는 시차 히스토그램 정보를 생성하는 시차 히스토그램 정보 생성 수단; 및 시차 히스토그램 정보에 기초하여 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고 선택한 그룹의 시차 값 또는 시차 값 범위에 따라, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 경사 상황 인식 처리를 수행하는 경사 상황 인식 수단을 포함한다.

본 발명의 실시예에서, 시차 정보에 기초하여 각 행 영역 내의 시차 값의 빈도 분포를 도시하는 시차 히스토그램 정보를 생성하고, 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하는 처리가 수행된다. 후술하는 바와 같이, 이러한 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위에 대응하는 화소는 자기 차량 전방의 노면을 비추는 노면 이미지 영역을 구성하는 것이라고 높은 정확도로 추정될 수 있다. 따라서, 선택된 그룹의 시차 값 또는 시차 값 범위는 촬상 이미지의 노면 이미지 영역에 대응한 각 행 영역의 시차 값과 동일하다고 말할 수 있다.

여기서, 자기 차량이 주행하고 있는 노면 부분(자기 차량의 바로 아래에 위치하는 노면 부분)에 대한 자기 차량 전방의 노면의 경사 상황(상대적인 경사 상황)이 오르막 경사인 경우, 촬상 이미지에 있는 특정 행 영역에 비추어지는 노면 부분은 상대적인 경사 상황이 평탄한 경우보다 가까운 영역이다. 따라서, 상대적인 경사 상황이 오르막 경사인 경우, 촬상 이미지의 노면 이미지 영역에 대응하는 특정 행 영역의 시차 값은 상대적인 경사 상황이 평탄한 경우보다 큰 것이 된다. 반대로, 자기 차량 전방의 노면의 상대적인 경사 상황이 내리막 경사인 경우, 촬상 이미지의 특정 행 영역에 비추어지는 노면 부분은 상대적인 경사 상황이 평탄한 경우보다 먼 영역이다. 따라서, 상대적인 경사 상황이 내리막 경사인 경우, 촬상 이미지에서 노면 이미지 영역에 대응하는 특정 행 영역의 시차 값은 상대적인 경사 상황이 평탄한 경우보다 작은 것이 된다. 따라서, 촬상 이미지의 노면 이미지 영역의 각 행 영역에 비추어지는 노면 부분의 상대적인 경사 상황을 행 영역의 시차 값으로 얻을 수 있다.

상술한 바와 같이, 선택된 그룹의 시차 값 또는 시차 값 범위는 촬상 이미지의 노면 이미지 영역의 각 행 영역의 시차 값이기 때문에, 선택된 그룹의 시차 값 또는 시차 값 범위로부터, 자기 차량 전방의 노면의 상대적인 경사 상황을 얻을 수 있다.

여기서 용어 "상대적인 경사 상황"을 보면, 자기 차량이 주행하고 있는 노면 부분과 평행한 면을 자기 차량 전방 영역 쪽으로 연장하여 얻어지는 가상의 연장 면에 대해 각 행 영역에 대응하는 노면 부분이 위쪽에 위치하는 경우는 해당 행 영역에 대응하는 노면 부분의 상대적인 경사 상황이 오르막 경사인 경우라고 하고, 각 영역에 대응하는 노면 부분이 아래쪽에 위치하는 경우는 해당 행 영역에 대응하는 노면 부분의 상대적인 경사 상황이 내리막 경사인 경우라고 한다.

도 1은 본 실시예에의 차량내 장치 제어 시스템의 개략적인 구성을 나타내는 개략도이다.
도 2는 차량내 장치 제어 시스템을 구성하는 촬상 유닛 및 이미지 분석 유닛의 개략적인 구성을 나타내는 개략도이다.
도 3은 촬상 유닛의 촬상부에서 광학 필터와 이미지 센서를 광 전송 방향에 직교하는 방향으로 보았을 때의 확대된 개략도이다.
도 4는 광학 필터의 영역 분할 패턴을 나타내는 설명도이다.
도 5는 본 실시예의 노면 경사 인식 처리에 관한 기능 블록도이다.
도 6a는 시차 이미지의 시차 값 분포의 일례를 나타내는 설명도이다.
도 6b는 도 6a의 시차 이미지의 각 행의 시차 값 빈도 분포를 나타내는 행 시차 분포 맵(V-시차 맵)을 나타내는 설명도이다.
도 7a는 촬상부에서 촬상된 촬상 이미지(밝기 이미지)의 일례를 개략적으로 나타낸 이미지 예이다.
도 7b는 시차 히스토그램 계산부에 의해 계산된 행 시차 분포 맵(V-시차 맵)을 직선 근사치 계산한 그래프이다.
도 8a는 자기 차량이 주행하고 있는 노면 부분이 평탄하고, 자기 차량 전방의 노면이 또한 평탄한 경우 자기 차량을 측면 방향에서 보았을 때의 자기 차량의 개략도이다.
도 8b는 도 8a와 동일한 상황에서 촬상 이미지(밝기 이미지)에서 노면 영역의 이미지 예이다.
도 8c는 도 8b에 대응하는 행 시차 분포 맵(V-시차 맵)을 나타내는 설명도이다.
도 9a는 자기 차량이 주행하고 있는 노면 부분이 평탄하고, 자기 차량 전방의 노면이 오르막 경사인 경우, 자기 차량을 측면 방향에서 보았을 때의 개략도이다.
도 9b는 도 9a와 동일한 상황에서 촬상 이미지(밝기 이미지)에서 노면 영역의 이미지 예이다.
도 9c는 도 9b에 대응하는 행 시차 분포 맵(V-시차 맵)을 나타내는 설명도이다.
도 10a는 자기 차량이 주행하고 있는 노면 부분이 평탄하고, 자기 차량 전방의 노면이 내리막 경사인 경우, 자기 차량을 측면 방향에서 보았을 때의 개략도이다.
도 10b는 도 10a와 동일한 상황에서 촬상 이미지(밝기 이미지)에서 노면 영역의 이미지 예이다.
도 10c는 도 10b에 대응하는 행 시차 분포 맵(V-시차 맵)을 나타내는 설명도이다.
도 11은 근사치 직선을 그린 행 시차 분포 맵(V-시차 맵)에 경사 기준 정보로서, 두 가지 임계 값(S1, S2)을 나타낸 설명도이다.

이하, 본 발명의 실시예에 따라 차량 시스템으로서 차량내 장치 제어 시스템에 이용되는 노면 경사 인식 장치가 설명될 것이다.

또한, 노면 경사 인식 장치는 차량내 장치 제어 시스템뿐만 아니라, 예를 들어, 촬상 이미지에 기초하여 물체 검출하는 물체 검출 장치를 탑재한 기타 시스템에도 적용할 수 있다.

도 1은 본 실시예에의 차량내 장치 제어 시스템의 개략적인 구성을 나타내는 개략도이다. 차량내 장치 제어 시스템은 자동차 등의 자기 차량(100)에 포함된 촬상 유닛으로 촬상한 자기 차량(100)의 주행 방향의 전방 영역(촬상 영역)의 촬상 이미지 데이터를 이용하여 얻어진 인식 대상물의 인식 결과에 따라 각종 차량내 장치를 제어한다.

차량내 장치 제어 시스템은 주행하는 자기 차량(100)의 주행 방향의 전방 영역을 촬상 영역으로서 촬상하는 촬상 유닛(101)을 포함한다. 이 촬상 유닛(101)은, 예를 들어, 자기 차량(100)의 전면 유리(105)의 룸 미러(도시되지 않음) 부근에 설치된다. 촬상 유닛(101)의 촬상에 의해 얻어지는 촬상 이미지 데이터 등의 각종 데이터는 이미지 처리 수단으로서의 이미지 분석 유닛(102)에 입력된다. 이미지 분석 유닛(102)은 촬상 유닛(101)으로부터 전송된 데이터를 분석하여, 자기 차량(100) 전방의 다른 차량의 위치, 방향, 거리를 계산하고, 자기 차량(100)이 주행하고 있는 노면 부분(자기 차량(100)의 바로 아래에 위치하는 노면 부분)에 대한 자기 차량(100) 전방의 노면의 경사 상황(이하 상대적인 경사 상황으로 언급됨)을 검출한다. 다른 차량의 검출에서, 다른 차량의 후미등을 식별하여 자기 차량과 같은 방향으로 주행하는 선행 차량을 검출하고, 다른 차량의 헤드라이트를 식별하여 자기 차량과 반대 방향으로 주행하는 대향 차량이 검출된다.

이미지 분석 유닛(102)의 계산 결과는 헤드라이트 제어 유닛(103)에 보내진다.

헤드라이트 제어 유닛(103)은, 예를 들어, 이미지 분석 유닛(102)이 계산한 다른 차량의 거리 데이터로부터, 자기 차량(100)의 차량내 장치로서 헤드라이트(104)를 제어하는 제어 신호를 생성한다. 구체적으로, 예를 들어, 선행 차량이나 대향 차량의 운전자의 눈에 자기 차량(100)의 헤드라이트(104)의 강한 빛이 입사하는 것을 피하고, 다른 차량의 운전사의 눈부심 방지를 수행하면서, 자기 차량(100) 운전자의 시야 확보를 보장할 수 있도록 헤드라이트(104)의 하이 빔 또는 루우 빔의 전환을 제어하고, 헤드라이트(104)의 부분적인 차광 제어를 수행한다.

이미지 분석 유닛(102)의 계산 결과는 또한 차량 주행 제어 유닛(108)에 보내진다. 차량 주행 제어 유닛(108)은 이미지 분석 유닛(102)이 검출한 노면 영역(주행 가능 영역)의 인식 결과에 기초하여, 주행 가능 영역에서 자기 차량(100)이 벗어나는 경우 등에, 자기 차량(100)의 운전사에게 경고를 통지하고, 자기 차량(100)의 핸들 또는 브레이크를 제어하는 등의 주행 지원 제어를 수행한다. 차량 주행 제어 유닛(108)은 이미지 분석 유닛(102)이 검출한 노면의 상대적인 경사 상황의 인식 결과에 기초하여, 노면의 경사에 의해 자기 차량(100)이 감속하거나 가속하는 경우 등에, 자기 차량(100)의 운전사에게 경고를 통지하고, 자기 차량(100)의 가속 및 브레이크를 제어하는 등의 주행 지원 제어를 수행한다.

도 2는 촬상 유닛(101) 및 이미지 분석 유닛(102)의 개략적인 구성을 나타내는 개략도이다.

촬상 유닛(101)은 촬상 수단으로서의 2개의 촬상부(110A, 110B)를 갖춘 스테레오 카메라이며, 2개의 촬상부(110A, 110B)는 동일한 구성을 갖는다. 도 2에 예시된 바와 같이, 촬상부(110A, 110B)는 각각 촬상 렌즈(111A, 111B), 광학 필터(112A, 112B), 촬상 소자가 2 차원적으로 배치된 이미지 센서(113A, 113B)를 포함한 센서 기판(114A, 114B), 및 신호 처리부(115A, 115B)를 포함한다. 센서 기판(114A, 114B)은 아날로그 전기 신호(이미지 센서(113A, 113B)의 각 수광 소자가 수광한 수광량)를 출력한다. 신호 처리부(115A, 115B)는 센서 기판(114A, 114B)으로부터 출력된 아날로그 전기 신호를 디지털 전기 신호로 변환하여 출력한 촬상 이미지 데이터를 생성한다. 본 실시예의 촬상 유닛(101)으로부터, 적색 이미지 데이터, 밝기 이미지 데이터, 및 시차 이미지 데이터가 출력된다.

촬상 유닛(101)은 FPGA(Field-Programmable Gate Array) 등으로 이루어지는 처리 하드웨어부(120)를 포함한다. 이 처리 하드웨어부(120)는 촬상부(110A, 110B) 각각으로부터 출력되는 밝기 이미지 데이터에서 시차 이미지를 얻기 위해서, 촬상부(110A, 110B) 각각이 촬상한 촬상 이미지 사이의 대응하는 미리 정해진 이미지 부분의 시차 값을 계산하는 시차 정보 생성 수단으로서 시차 계산부(121)를 포함한다. 여기서, 용어 "시차 값"은 다음과 같다. 촬상부(110A, 110B)에서 각각 촬상한 촬상 이미지 중 하나를 기준 이미지로 하고, 이들 중 다른 하나는 비교 이미지로 한다. 촬상 영역의 특정 지점을 포함하는 기준 이미지의 미리 정해진 이미지 영역과 촬상 영역의 대응하는 특정 지점을 포함하는 비교 이미지의 미리 정해진 이미지 영역 간의 위치 시프트양(shift amount)을 미리 정해진 이미지 영역의 시차 값으로 계산한다. 삼각 측량의 원리를 이용하여, 이 시차 값으로부터, 미리 정해진 이미지 영역에 대응하는 촬상 영역의 특정 지점까지의 거리가 계산된다.

이미지 분석 유닛(102)은 메모리(130) 및 MPU(Micro Processing Unit)(140)를 구비한다. 메모리(130)는 촬상 유닛(101)으로부터 출력되는 적색 이미지 데이터, 밝기 이미지 데이터, 및 시차 이미지 데이터를 저장한다. MPU(140)는 식별 대상물의 인식 처리, 시차 계산 제어 등을 수행하는 소프트웨어를 포함한다. MPU(140)는 메모리(130)에 저장된 적색 이미지 데이터, 밝기 이미지 데이터, 및 시차 이미지 데이터를 이용하여 각종 인식 처리를 수행한다.

도 3은 광학 필터(112A, 112B) 및 이미지 센서(113A, 113B)를 광 전송 방향에 직교하는 방향으로 보았을 때의 확대된 개략도이다.

이미지 센서(113A, 113B) 각각은 CCD(Charge Coupled Device)와 CMOS(Complementary Metal Oxide Semiconductor) 등을 이용한 이미지 센서이며, 그 촬상 소자(수광 소자)로서 포토다이오드(113a)를 이용한다. 포토다이오드(113a)는 촬상 화소마다 배열 방식으로 2 차원적으로 배치된다. 포토다이오드(113a)의 집광 효율을 높이기 위해서, 각 포토다이오드(113a)의 입사 측에 마이크로 렌즈(113b)가 제공된다. 이미지 센서(113A, 113B) 각각은 와이어 본딩 등의 방법에 의해 PWB(printed wiring board)에 본딩되어, 센서 기판(114A, 114B) 각각이 형성된다.

각각의 이미지 센서(113A, 113B)의 마이크로 렌즈(113b) 측의 표면에, 광학 필터(112A, 112B)가 각각 근접 배치된다. 도 3에 예시된 바와 같이, 광학 필터(112A, 112B) 각각은 투명한 필터 기판(112a)에 분광 필터 층(112b)을 형성한 것으로 형성되지만, 분광 필터에 대신에, 또는 분광 필터 이외에, 편광 필터 등의 다른 광학 필터가 제공될 수 있다. 분광 필터층(112b)은 이미지 센서(113A, 113B) 상의 각각의 포토다이오드(113a)에 대응하도록 영역 분할된다.

광학 필터(112A, 112B)와 이미지 센서(113A, 113B) 사이에 각각 공극이 있을 수 있지만, 광학 필터(112A, 112B)를 이미지 센서(113A, 113B)에 밀착시키면, 광학 필터(112A, 112B)의 각 필터 영역의 경계를 이미지 센서(113A, 113B) 상의 포토다이오드(113a) 간의 경계에 일치시키는 것이 용이해진다. 광학 필터(112A, 112B)와 이미지 센서(113A, 113B)는 UV 접착제에 의해 본딩될 수 있고, 촬상에 이용되는 유효 화소 범위 밖의 스페이서에 의해 지지되는 상태에서는, 유효 화소 밖의 사방 영역을 UV 본딩하거나 열압착 본딩할 수 있다.

도 4는 광학 필터(112A, 112B)의 영역 분할 패턴을 나타내는 설명도이다.

광학 필터(112A, 112B)는 제 1 영역 및 제 2 영역의 두 가지 유형의 영역을 포함하고, 이 두 가지 유형의 영역은 이미지 센서(113A, 113B) 상의 각각의 포토다이오드(113a)에 각각 배치된다. 이에 따라, 이미지 센서(113A, 113B) 상의 각각의 포토다이오드(113a)의 수광량은, 수광하는 빛이 투과하는 분광 필터층(112b)의 영역의 유형에 기초하여 분광 정보로서 얻을 수 있다.

광학 필터(112A, 112B) 각각에서, 제 1 영역은 적색 파장 범위의 빛만을 선택하여 투과시키는 적색 분광 영역(112r)이며, 제 2 영역은 파장 선택을 수행하지 않고 빛을 투과시키는 비분광 영역(112c)이다. 도 4에 예시된 바와 같은, 광학 필터(112A, 112B)에서, 제 1 영역(112r) 및 제 2 영역(112c)은 바둑판 방식으로 배치된 것을 이용한다. 따라서, 본 실시예에서, 제 1 영역(112r)에 대응하는 촬상 화소의 출력 신호로부터 적색 밝기 이미지를 얻을 수 있고, 제 2 영역(112c)에 대응하는 촬상 화소의 출력 신호로부터 비분광 밝기 이미지를 얻을 수 있다. 따라서, 본 실시예에 따르면, 한번의 촬상 처리에 의해, 적색 밝기 이미지와 비분광 밝기 이미지에 대응하는 두 가지 유형의 촬상 이미지 데이터를 얻을 수 있다. 이러한 촬상 이미지 데이터에서, 그 이미지 화소 수가 촬상 화소 수보다 작지만, 더 높은 해상도의 이미지를 얻기 위해서, 일반적으로 알려진 이미지 보간 처리를 이용할 수 있다.

이렇게 해서 얻어진 적색 밝기 이미지 데이터는, 예를 들어, 적색으로 발광하는 후미등의 검출에 이용된다. 그리고, 비분광 밝기 이미지 데이터는, 예를 들어, 차선 경계선인 백선, 또는 대향 차량의 헤드라이트의 검출에 이용된다.

다음으로, 본 발명의 특징인 노면 경사 인식 처리를 설명할 것이다.

도 5는 본 실시예에 따라 노면 경사 인식 처리에 관한 기능 블록도이다.

시차 계산부(121)는 기준 이미지로서의 촬상부(110A)의 촬상 이미지, 및 비교 이미지로서의 촬상부(110B)의 촬상 이미지를 이용한다. 시차 계산부(121)는 이들 간의 시차를 계산하고, 시차 이미지를 생성하여, 이를 출력한다. 그리고, 기준 이미지의 복수의 이미지 영역에 대해, 계산된 시차 값에 기초하여 화소 값이 계산된다. 각각 계산된 이미지 영역의 화소 값에 기초하여 표현된 이미지가 시차 이미지이다.

구체적으로는, 복수의 행이 수직 방향으로 분할된 기준 이미지의 특정 행에 대하여, 시차 계산부(121)는 대상 화소를 중심으로 하는 복수의 화소(예를 들어, 16 화소 × 1 화소)로 구성된 블록을 정의한다. 기준 이미지의 특정 행에 대응하는 비교 이미지의 행에서, 정의된 기준 이미지의 블록과 같은 크기의 블록을 1 화소씩 수평 행의 방향으로(X 방향으로) 시프트한다. 그리고, 기준 이미지에 정의된 블록의 화소 값의 특징을 나타내는 특징량과 비교 이미지의 각 블록의 화소 값의 특징을 나타내는 특징량과의 상관 관계를 나타내는 상관 값이 계산된다. 계산된 상관 값에 기초하여, 비교 이미지의 각 블록에서 기준 이미지의 블록과 가장 상관이 있는 비교 이미지의 블록을 선정하는 매칭 처리를 수행한다. 그 후, 기준 이미지의 블록에서의 대상 화소와 매칭 처리에 의해 선정된 비교 이미지의 블록에서의 대상 화소에 대응하는 화소 간의 위치 시프트양이 시차 값으로 계산된다. 이러한 시차 값을 계산하는 처리를, 기준 이미지의 전체 영역 또는 특정한 영역에 대해 수행함으로써, 시차 이미지를 얻을 수 있다. 이렇게 해서 얻어진 시차 이미지는 시차 이미지 데이터로서, 시차 히스토그램 정보 생성 수단인 시차 히스토그램 계산부(141)에 보내진다.

매칭 처리에 이용된 블록의 특징량으로서, 예를 들어, 블록의 각 화소 값(밝기 값)이 이용된다. 상관 값으로서, 예를 들어, 기준 이미지의 블록의 각 화소 값(밝기 값)과, 기준 이미지의 블록의 각 화소에 대응하는 비교 이미지의 블록의 각 화소 값(밝기 값) 간의 차이의 절대 값의 합이 이용된다. 이 경우, 총합이 가장 작은 블록이 가장 상관이 있다고 말할 수 있다.

시차 이미지 데이터를 얻은 시차 히스토그램 계산부(141)는 시차 이미지 데이터의 각 행에 대해 시차 값 빈도 분포를 계산한다. 구체적으로, 도 6a에 예시된 바와 같은 시차 값 빈도 분포를 가진 시차 이미지 데이터가 입력될 때, 시차 히스토그램 계산부(141)는 도 6b에 예시된 바와 같이 행마다 시차 값 빈도 분포를 계산하여 출력한다. 이렇게 하여 얻은 행마다의 시차 값 빈도 분포의 정보로부터, 예를 들어, 시차 이미지의 세로 방향에서의 위치 및 시차 값이 세로 방향 및 가로 방향으로 각각 설정되는 2차원 평면으로, 시차 이미지 상의 각각의 화소를 분포시킨 행 시차 분포 맵(V-시차 맵)을 얻을 수 있다.

도 7a는 촬상부(110A)에서 촬상된 촬상 이미지(밝기 이미지)의 일례를 개략적으로 나타낸 이미지 예이다. 도 7b는 시차 히스토그램 계산부(141)에 의해 계산된 각 행의 시차 값 빈도 분포로부터, 행 시차 분포맵(V-시차 맵) 상의 화소 분포를 선형적으로 근사치 계산한 그래프이다.

도 7a에 나타난 이미지 예에서, 중앙 분리대가 있는 편도 2 차선의 직선 도로에서 자기 차량(100)이 좌측 차선을 주행하고 있는 상황을 촬상한 것이다. 참조 부호(CL)는 중앙 분리대를 비추는 중앙 분리대 이미지 부분이고, 참조 부호(WL)는 차선 경계선인 백선을 비추는 백선 이미지 부분(차선 경계선 이미지 부분)이며, 참조 부호(EL)는 길가에 있는 연석 등의 단차를 비추는 길가 단차 이미지 부분이다. 이하, 길가 단차 이미지 부분(EL) 및 중앙 분리대 이미지 부분(CL)은 함께 단차 이미지 부분으로서 표시된다. 또한, 점선으로 둘러싸인 영역(RS)은 중앙 분리대와 길가에 있는 단차에 의해 구획되는 차량 주행이 가능한 노면 영역이다.

본 실시예에서, 노면 이미지 영역 인식 수단으로서의 노면 영역 인식부(142)에서, 시차 히스토그램 계산부(141)로부터 출력되는 각 행의 시차 값 빈도 분포 정보로부터, 노면 영역(RS)을 인식한다. 구체적으로, 노면 영역 인식부(142)는 먼저 시차 히스토그램 계산부(141)로부터 각 행의 시차 값 빈도 분포 정보를 얻고, 그 정보에 의해 특정되는 행 시차 분포 맵 상의 화소 분포를 최소 제곱법, 또는 허프 변환 처리(Hough transform) 등에 의해 직선 근사치 계산되는 처리를 수행한다. 이로 인해 얻을 수 있는 도 7b에 예시된 근사치 직선은, 시차 이미지(의 하단)에 대응하는 행 시차 분포 맵(의 하단)에서, 촬상 이미지의 위쪽으로 갈수록 시차 값이 작아지는 것 같은 경사를 가진 직선이 된다. 즉, 이 근사치 직선 상에 또는 그 부근에 분포하는 화소(시차 이미지 상의 화소)는 시차 이미지에서 각 행에서 거의 동일한 거리에 존재하고, 가장 점유율이 높으며, 촬상 이미지의 위쪽으로 갈수록 거리가 연속적으로 멀어지는 물체를 비춘 화소이다.

여기서, 촬상부(110A)는 자기 차량 전방 영역을 촬상하기 때문에, 그 시차 이미지의 내용은, 도 7a에 예시된 바와 같이, 촬상 이미지의 하단에서 노면 영역(RS)의 점유율이 가장 높고, 촬상 이미지의 위쪽으로 갈수록 노면 영역(RS)의 시차 값은 작아진다. 또한, 같은 행(가로 행)에서, 노면 영역(RS)을 구성하는 화소는 거의 동일한 시차 값을 갖는다. 따라서, 시차 히스토그램 계산부(141)로부터 출력되는 각 행의 시차 값 빈도 분포 정보에서 특정되고, 상술한 행 시차 분포 맵(V-시차 맵)에서 근사치 직선 상에 또는 그 부근에 분포하는 화소는, 노면 영역(RS)을 구성하는 화소가 갖는 특징에 일치한다. 따라서, 도 7b에 예시된 근사치 직성 상에 또는 그 부근에 분포하는 화소는, 높은 정밀도로, 노면 영역(RS)을 구성하는 화소인 것으로 추정된다.

이와 같이, 본 실시예의 노면 영역 인식부(142)는 시차 히스토그램 계산부(141)로부터 얻은 각 행의 시차 값 빈도 분포 정보에 기초하여 계산된 행 시차 분포 맵(V-시차 맵)에서 직선 근사치 계산을 수행하고, 그 근사치 직선 상에 또는 그 부근에 분포하는 화소를 노면을 비추는 화소로 특정하고, 특정된 화소에 의해 점유되는 이미지 영역을 노면 영역(RS)으로 인식한다.

또한, 노면 상에, 도 7a에 예시된 바와 같이 백선도 존재하지만, 노면 영역 인식부(142)는 백선 이미지 부분(WL)을 포함하여 노면 영역(RS)을 인식한다.

노면 영역 인식부(142)의 인식 결과는 후속 처리부에 보내져 다양한 처리에 이용된다. 예를 들어, 촬상 유닛(101)으로 촬상한 자기 차량 전방 영역의 촬상 이미지를 자기 차량 실내의 이미지 표시 장치에 표시하는 경우, 노면 영역 인식부(142)의 인식 결과에 기초하여, 그 표시된 이미지 상의 대응하는 노면 영역(RS)을 강조하는 등과 같이, 노면 영역(RS)을 용이하게 가시적으로 인식할 수 있도록 표시 처리를 수행한다.

한편, 시차 히스토그램 계산부(141)로부터 출력되는 각 행의 시차 값 빈도 분포 정보는 경사 상황 인식 수단으로서의 경사 상황 인식부(143)에 보내진다. 경사 상황 인식부(143)는 시차 히스토그램 계산부(141)로부터 출력되는 각 행의 시차 값 빈도 분포 정보로부터 먼저 노면 영역(RS)을 비추는 화소의 특징에 일치하는 그룹의 시차 값을 선택한다. 구체적으로, 시차 값 빈도 분포 정보에 기초하여, 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서, 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택한다. 이러한 특징을 갖는 시차 값은 도 7b에 나타낸 근사치 직선에 대응하는 시차 값이다. 따라서, 경사 상황 인식부(143)는 행 시차 분포 맵(V-시차 맵) 상의 화소 분포를 최소 제곱법이나, 허프 변환 처리 등에 의해 직선 근사치 계산을 수행하고, 근사치 직선 상에 또는 그 부근에 분포하는 화소의 시차 값 또는 시차 값 범위를 선택한다.

그런 다음, 경사 상황 인식부(143)는 선택된 시차 값 또는 시차 값 범위 중에서 촬상 이미지 최상부에 위치하는 특정 시차 값 또는 시차 값 범위를 추출하고, 추출한 특정 시차 값 또는 시차 값 범위가 속하는 행을 특정한다. 이렇게 하여 특정되는 행은 도 7b에 나타낸 근사치 직선의 상단부(T)가 존재하는 행이다. 이 행은, 도 7a에 나타난 바와 같이, 촬상 이미지의 노면 영역(RS)의 상부의 촬상 이미지의 수직 방향의 위치(촬상 이미지의 높이)를 나타내는 것이다.

여기서, 도 8a에 나타난 바와 같이, 자기 차량(100)이 주행하고 있는 노면 부분(자기 차량(100)의 바로 아래에 위치하는 노면 부분)에 대한 자기 차량(100) 전방의 노면의 경사 상황(상대적인 경사 상황)이 평탄한 경우, 촬상 이미지의 노면 영역(RS)의 상부(촬상 이미지에 비추어지는 노면 중 가장 먼 위치에 대응한 노면 부분)의 촬상 이미지의 높이가 그림 8b에 나타난 바와 같이, H1으로 된다. 도 9a에 나타난 바와 같이, 상대적인 경사 상황이 오르막 경사인 경우, 촬상 이미지의 노면 영역(RS)의 상부의 촬상 이미지의 높이(H2)는 도 9b에 나타난 바와 같이, 상대적인 경사 상황이 평탄한 경우의 높이(H1)보다 촬상 이미지의 위쪽에 위치한다. 도 10a에 나타난 바와 같이 상대적인 경사 상황이 내리막 경사인 경우, 촬상 이미지의 노면 영역(RS)의 상부의 촬상 이미지의 높이(H3)는 도 10b에 나타난 바와 같이, 상대적인 경사 상황이 평탄한 경우의 높이(H1)보다 촬상 이미지의 아래쪽에 위치한다. 따라서, 촬상 이미지의 노면 영역(RS)의 상부의 촬상 이미지의 높이에 따라 자기 차량 전방의 노면의 상대적인 경사 상황을 얻을 수 있다.

상술한 바와 같이, 추출한 특정 시차 값 또는 시차 값 범위가 속한 행, 즉, 도 8c, 도 9c, 및 도 10c에 나타낸 행 시차 분포 맵(V-시차 맵)에서 근사치 직선의 상단부(T1, T2, T3)의 높이는, 촬상 이미지의 노면 영역(RS)의 상부의 촬상 이미지의 높이(HI, H2, H3)에 대응한다. 따라서, 경사 상황 인식부(143)는 얻어진 근사치 직선의 상단부(T1, T2, T3)의 높이(행)를 특정하고, 그 근사치 직선의 상단부(T1, T2, T3)의 높이(행)로부터 상대적인 경사 상황을 인식하는 처리를 수행한다.

본 실시예에서, 근사치 직선의 상단부(T1, T2, T3)의 높이와 경사 기준 정보 저장 장치로서의 경사 기준 정보 저장부(144)에 미리 저장된 경사 기준 정보가 나타내는 2개의 임계 값과 각각 비교함으로써, 상대적인 경사 상황에 대해, 평탄, 오르막 경사, 및 내리막 경사의 3가지 종류의 인식이 수행되어, 그 인식 결과에 따라서, 상대적인 경사 상황을 인식한다.

도 11은 근사치 직선을 나타내는 행 시차 분포 맵(V-시차 맵)에 2개의 임계 값(S1, S2)을 나타낸 설명도이다.

근사치 직선의 상단부(T)의 높이가 조건 S1 ≤ T < S2을 만족하는 경우, 상대적인 경사 상황은 평탄하다고 인식된다. 근사치 직선의 상단부(T)의 높이가 조건 S2 ≤ T을 만족하는 경우, 상대적인 경사 상황은 오르막 경사인 것으로 인식된다. 근사치 직선의 상단부(T)의 높이가 조건 S1 > T을 만족하는 경우, 상대적인 경사 상황은 내리막 경사인 것으로 인식된다.

이렇게 상대적인 경사 상황을 인식하는 경사 상황 인식부(143)의 인식 결과는 후속 처리부에 보내져 다양한 처리에 이용된다. 예를 들어, 경사 상황 인식부(143)의 인식 결과를 차량 주행 제어 유닛(108)에 보내고, 상대적인 경사 상황에 따라서, 자기 차량(100)의 가속 또는 감속을 수행하거나, 자기 차량(100)의 운전사에게 경고를 통지하는 등의 주행 지원 제어를 수행한다.

본 실시예에서, 상대적인 경사 상황을 인식하는데 필요한 정보는 근사치 직선의 상단부(T)의 높이에 대한 정보이다. 따라서, 전체 이미지에 대해 근사치 직선을 얻을 필요는 없고, 근사치 직선의 상단부(T)가 존재할 수 있는 제한 범위(촬상 이미지의 수직 방향의 범위)에 대해, 근사치 직선의 상단부(T)의 높이만 얻으면 된다. 예를 들어, 상대적인 경사 상황이 평탄한 경우, 자기 차량이 주행하는 노면을 비추는 노면 영역(RS)의 상부를 포함하는 미리 정해진 높이의 범위에 대해서만 근사치 직선을 구하고, 그 상단부(T)를 특정한다. 구체적으로, 상술한 임계 값(S1 및 S2) 사이의 범위에 대해서만 근사치 직선을 구한다. 그리고, 구해진 근사치 직선의 상단부(T)의 높이가 조건 S1 ≤ T < S2을 만족하는 경우, 상대적인 경사 상황은 평탄하다고 인식된다. 구해진 근사치 직선의 상단부(T)가 임계 값(S2)과 일치하는 경우, 상대적인 경사 상황은 오르막 경사인 것으로 인식된다. 근사치 직선을 구할 수 없는 경우에는 상대적인 경사 상황은 내리막 경사인 것으로 인식된다.

촬상부(110A)에서 촬상한 밝기 이미지 데이터는 밝기 이미지 에지 추출부(145)에 보내진다. 밝기 이미지 에지 추출부(145)는 그 밝기 이미지의 화소 값(밝기)이 규정 값 이상 변화하는 부분을 에지 부분으로서 추출하고, 추출 결과로부터, 밝기 에지 이미지 데이터를 생성한다. 이 밝기 에지 이미지 데이터는 에지 부분과 비에지 부분을 이진값으로 표현한 이미지 데이터이다. 에지 추출 방법으로서, 임의의 공지된 에지 추출 방법이 이용된다. 밝기 이미지 에지 추출부(145)가 생성한 밝기 에지 이미지 데이터는 백선 인식 처리부(149)에 보내진다.

백선 인식 처리부(149)는 밝기 에지 이미지 데이터에 기초하여 노면 상의 백선을 비추는 백선 이미지 부분(WL)을 인식하는 처리를 수행한다. 많은 도로에서, 거무스름한 노면 상에 백선이 형성되고, 밝기 이미지에서, 백선 이미지 부분(WL)의 밝기는 노면 상의 다른 부분보다 충분히 크다. 따라서, 밝기 이미지에서 미리 정해진 값 이상의 밝기 차이를 갖는 에지 부분은 백선의 에지 부분일 가능성이 높다. 또한, 노면 상의 백선을 비추는 백선 이미지 부분(WL)은 촬상 이미지에서 라인 방식으로 비추어지므로, 라인 방식으로 배열된 에지 부분을 특정함으로써, 백선의 에지 부분을 정밀하게 인식할 수 있다. 따라서, 백선 인식 처리부(149)는 밝기 이미지 에지 추출부(145)로부터 얻은 밝기 에지 이미지 데이터에 대해 최소 제곱법이나, 허프 변환 처리 등에 의한 직선 근사치 계산을 수행하여, 얻어진 근사치 직선을 백선의 에지 부분(노면 상의 백선을 비추는 백선 이미지 부분(WL))으로 인식한다.

이렇게 인식된 백선 인식 결과는 후속 처리부에 보내져 다양한 처리에 이용된다. 예를 들어, 자기 차량(100)은 자기 차량(100)이 주행하고 있는 차선에서 벗어난 경우 등에, 자기 차량(100)의 운전사에게 경고를 통지하거나, 자기 차량(100)의 핸들 또는 브레이크를 제어하는 등의 주행 지원 제어를 수행할 수 있다.

또한, 백선 인식 처리에서, 상술한 노면 영역 인식부(142)에서 인식된 노면 영역(RS)의 인식 결과를 이용하고, 노면 영역(RS)의 밝기 에지 부분에 대해 백선 이미지 부분(WL)의 인식 처리를 수행함으로써, 인식 처리의 부하를 경감시키고, 인식 정확도를 향상시키는 것이 가능하다.

노면 경사 정보를 적합하게 이용할 수 있는 자동 브레이크 기능, 자기 차량 속도 조절 기능 등에 있어서, 많은 경우, 상기 일본 특허 출원 공개 번호 제2002-150302호 기재된 노면 인식 장치가 인식 가능한 노면 요철 정보와 같은 상세한 경사 정보가 필요하지 않고, 자기 차량이 주행하고 있는 방향의 노면이 평탄한지, 오르막 경사인지, 또는 내리막 경사인지와 같은 간단한 경사 상황을 나타내는 정보로 충분하다. 따라서, 본 실시예에서, 이러한 간단한 경사 상황을 인식하는 처리를 수행하지만, 보다 상세한 경사 정보를 인식할 수 있다.

예를 들어, 경사 기준 정보로서, 3개 이상의 임계 값, 예를 들어, 4개의 임계 값이 설정되면, 평탄, 완만한 오르막 경사, 가파른 오르막 경사, 완만한 내리막 경사, 및 가파른 내리막 경사와 같은 5개의 경사 상황을 인식할 수 있다.

또한, 예를 들어, 행 시차 분포 맵(V-시차 맵) 상의 근사치 직선의 상단부(T)의 높이(행)뿐만 아니라, 행 시차 분포 맵(V-시차 맵) 상의 근사치 직선의 복수의 부분(복수의 시차 값)의 높이(행)를 특정하면, 그 복수의 부분의 상대적인 경사 상황을 인식 할 수 있다. 다시 말해서, 두 부분을 연결하는 행 시차 분포 맵(V-시차 맵) 상의 근사치 직선의 기울기가 상대적인 경사 상황이 평탄한 경우의 기울기보다 크거나 작으면, 해당 두 부분 사이의 부분에 대응하는 노면 부분의 상대적인 경사 상황은 오르막 경사, 또는 내리막 경사인 것으로 각각 인식하는 것이 가능하다. 또한, 이 경우에, 행 시차 분포 맵(V-시차 맵)의 직선 근사치 계산을 수행하는 경우, 행 시차 분포 맵(V-시차 맵)은, 예를 들어, 실제 거리 10m마다 분할되어, 각 분할에 대해 개별적으로 직선 근사치 계산 처리를 수행한다.

또한, 본 실시예는 자기 차량(100)이 주행하고 있는 노면 부분(자기 차량의 바로 아래에 위치하는 노면 부분)에 대한 자기 차량(100) 전방의 노면의 경사 상황, 즉, 상대적인 경사 상황을 인식하는 예이다. 하지만, 주행 방향에 대한 자기 차량의 기울어진 상태(자기 차량의 기울어진 상태가 평평한 상태인지, 앞쪽으로 기운 상태인지, 뒤쪽으로 기운 상태인지 등)을 파악하는 장치가 제공되면 자기 차량 전방의 노면의 절대적인 경사 상황을 얻을 수 있다.

상기 언급한 것은 일례이며, 본 발명은 다음의 양태들마다 특유의 효과를 갖는다.

(양태 A)

2개의 촬상부(110A, 110B)와 같은 복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻어지는 복수의 촬상 이미지에 기초하여 시차 정보를 생성하는 시차 계산부(121)와 같은 시차 정보 생성 수단을 갖고, 시차 정보 생성 수단이 생성한 시차 정보에 기초하여 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황(상대적인 경사 상황)을 인식하는 노면 경사 인식 장치는, 시차 정보 생성 수단이 생성한 시차 정보에 기초하여 촬상 이미지를 수직 방향으로 복수 분할하여 얻어지는 각 행 영역 내의 시차 값의 빈도 분포를 나타내는 시차 히스토그램 정보를 생성하는 시차 히스토그램 계산부(141)와 같은 시차 히스토그램 정보 생성 수단; 및 시차 히스토그램 정보에 기초하여 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 선택한 그룹의 시차 값 또는 시차 값 범위에 따라, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 경사 상황 인식 처리를 수행하는 경사 상황 인식부(143)와 같은 경사 상황 인식 수단을 포함한다.

이에 따르면, 낮은 부하의 처리에 의해 상대적인 경사 상황을 인식할 수 있기 때문에, 상대적인 경사 상황의 인식 처리를 단시간에 수행할 수 있고, 예를 들어, 30 FPS(초 당 프레임수)의 동영상에 대한 실시간 처리도 다룰 수 있다.

(양태 B)

양태 A에 따른 노면 경사 인식 장치에서, 경사 상황 인식 수단은 선택된 그룹의 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 최상부에 위치하는 특정 시차 값 또는 시차 값 범위를 추출하고, 추출한 특정 시차 값 또는 시차 값 범위가 속하는 행 영역에 따라서 경사 상황을 인식하는 경사 상황 인식 처리를 수행한다.

이에 따르면, 더욱 낮은 작업 부하로, 평탄한지, 오르막 경사인지, 내리막 경사인지에 대한 것과 같은 간단한 상대적인 경사 상황을 인식할 수 있다.

(양태 C)

양태 A 또는 양태 B에 따른 노면 경사 인식 장치는, 촬상 이미지 내에서 자기 차량 전방의 노면을 비추는 노면 이미지의 상부가 위치하는 촬상 이미지의 수직 방향의 위치를 나타내는 적어도 2개의 경사 상황에 대응하는 복수의 경사 기준 정보를 저장하는 경사 기준 정보 저장 장치를 더 포함하고, 경사 상황 인식 수단은 상기 특정 시차 값 또는 시차 값 범위가 속한 행 영역의 촬상 이미지의 수직 방향의 위치를, 경사 기준 정보 저장 장치에 저장된 경사 기준 정보를 나타내는 촬상 이미지의 수직 방향의 위치와 비교하여, 그 비교 결과를 이용하여 경사 상황을 인식하는 경사 상황 인식 처리를 수행한다.

이에 따르면, 더 낮은 부하 처리에 의해 상대적인 경사 상황을 인식 할 수 있다.

(양태 D)

양태 B 또는 양태 C에 따른 노면 경사 인식 장치에 있어서, 경사 상황 인식 수단은 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황이 평탄한 경우, 자기 차량 전방의 노면을 비추는 노면 이미지의 상부에서의 촬상 이미지의 수직 방향의 위치에 대응하는 행 영역을 포함한 제한 범위 내의 행 영역에 대한 시차 값 또는 시차 값 범위에 대해서만 경사 상황 인식 처리를 수행한다.

이에 따르면, 전체 이미지의 시차 값 또는 시차 값 범위를 대상으로 경사 상황 인식 처리를 수행하는 경우에 비교하여, 처리 부하를 줄일 수 있으며, 부가적으로 사용하는 메모리 영역도 줄일 수 있기 때문에, 메모리 절약도 달성할 수 있다.

(양태 E)

양태 A 내지 양태 D 중 임의의 하나에 따른 노면 경사 인식 장치는, 시차 히스토그램 정보에 기초하여 미리 정해진 규정 값을 초과하는 빈도를 가진 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 선택된 그룹의 시차 값 또는 시차 값 범위에 대응하는 촬상 이미지의 화소가 속하는 이미지 영역을 노면을 비추는 노면 이미지 영역으로 인식하는 노면 이미지 영역 인식 수단을 더 포함한다.

이에 따르면, 자기 차량이 주행하는 노면의 상대적인 경사 상황뿐만 아니라 자기 차량이 주행하는 주행 가능한 범위도 인식할 수 있기 때문에, 상대적인 경사 상황 및 주행 가능한 범위의 정보에 기초하여, 더욱 높은 차량내 장치 제어를 수행할 수 있다.

(양태 F)

양태 A 내지 양태 E 중 임의의 하나에 따른 노면 경사 인식 장치에 있어서, 시차 정보 생성 수단은 복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻은 복수의 촬상 이미지들 간에 서로 대응하는 이미지 부분을 검출하고, 검출된 이미지 부분 간의 위치 시프트양을 시차 값으로 하는 시차 정보를 생성한다.

이에 따르면, 매우 정확한 시차 정보를 얻을 수 있다.

(양태 G)

양태 A 내지 양태 F 중 임의의 하나에 따른 노면 경사 인식 장치는, 복수의 촬상 수단을 더 포함한다.

이에 따르면, 노면 경사 인식 장치를 차량에 설치하고, 그 차량을 위한 적용으로서 이를 이용할 수 있다.

(양태 H)

양태 G에 따른 노면 경사 인식 장치에 있어서, 복수의 촬상 수단은 자기 차량 전방 영역을 연속해서 촬상하는 동영상 촬상 수단이다.

이에 따르면, 동영상에 대한 실시간 처리로 상대적인 경사 상황을 인식 할 수있다.

(양태 I)

복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻어지는 복수의 촬상 이미지에 기초하여 시차 정보를 생성하는 단계를 갖고, 시차 정보를 생성하는 단계에서 생성한 시차 정보에 기초하여 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 노면 경사를 인식하는 방법은, 시차 정보를 생성하는 단계에서 생성한 시차 정보에 기초하여 촬상 이미지를 수직 방향으로 복수 분할하여 얻어지는 각 행 영역 내의 시차 값의 빈도 분포를 나타내는 시차 히스토그램 정보를 생성하는 단계; 및 시차 히스토그램 정보에 기초하여 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 선택한 그룹의 시차 값 또는 시차 값 범위에 따라, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 경사 상황 인식 처리를 수행하는 경사 상황을 인식하는 단계를 포함한다.

이에 따르면, 낮은 부하의 처리에 의해 상대적인 경사 상황을 인식 할 수 있기 때문에, 상대적인 경사 상황의 인식 처리를 단시간에 수행할 수 있고, 예를 들어, 30 FPS의 동영상에 대한 실시간 처리도 다룰 수 있다.

(양태 J)

복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻어지는 복수의 촬상 이미지에 기초하여 시차 정보를 생성하는 단계를 갖고, 시차 정보를 생성하는 단계에서 생성한 시차 정보에 기초하여 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 노면 경사 인식을 컴퓨터가 실행하기 위한 컴퓨터 프로그램에 있어서, 상기 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램은, 시차 정보를 생성하는 단계에서 생성한 시차 정보에 기초하여 촬상 이미지를 수직 방향으로 복수 분할하여 얻어지는 각 행 영역 내의 시차 값의 빈도 분포를 나타내는 시차 히스토그램 정보를 생성하는 단계; 및 시차 히스토그램 정보에 기초하여 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 선택한 그룹의 시차 값 또는 시차 값 범위에 따라, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 경사 상황 인식 처리를 수행하는 경사 상황을 인식하는 단계를 포함한다.

또한, 이 컴퓨터 프로그램은 CD-ROM 등의 저장 매체에 저장된 상태로 배포하거나 입수 할 수 있다. 이 컴퓨터 프로그램을 운반하고 미리 정해진 송신 장치에 의해 송신된 신호를 공중 전화선이나, 전용선, 다른 통신망 등의 전송 매체를 통해 배포하거나 수신함으로써, 배포 및 입수가 가능하다. 배포 시에, 전송 매체에서, 컴퓨터 프로그램의 적어도 일부가 전송될 수 있다. 즉, 컴퓨터 프로그램을 구성하는 모든 데이터는 한 번에 전송 매체에 존재할 필요는 없다. 이 컴퓨터 프로그램을 운반하는 신호는 컴퓨터 프로그램을 포함한 미리 정해진 반송파에 포함된 컴퓨터 데이터 신호이다. 또한, 미리 정해진 송신 장치로부터 컴퓨터 프로그램을 전송하는 방법은 컴퓨터 프로그램을 구성하는 데이터를 연속적으로 전송하는 경우, 간헐적으로 전송하는 경우도 포함한다.

본 발명의 실시예에 따라, 일본 특허 출원 공개 번호 제2002-150302호에 기재된 노면 인식 장치에 의해 이용되는 처리를 이용하지 않고, 새로운 인식 처리에 의해 자기 차량의 주행 방향에 있는 노면의 경사 상황을 인식할 수 있다.

본 발명은 예시적인 실시예에 관하여 설명되었지만, 이것으로 한정되는 것은 아니다. 다음의 특허 청구 범위에 의해 정의된 본 발명의 범위를 벗어나지 않고 당업자에 의해 설명된 실시예가 변경될 수 있다는 것을 이해해야 한다.

Claims

복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻어지는 복수의 촬상 이미지에 기초하여 시차 정보를 생성하는 시차 정보 생성 수단을 갖고, 상기 시차 정보 생성 수단이 생성한 시차 정보에 기초하여, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 노면 경사 인식 장치에 있어서,
상기 시차 정보 생성 수단이 생성한 시차 정보에 기초하여, 촬상 이미지를 수직 방향으로 복수 분할하여 얻어지는 각 행 영역 내의 시차 값의 빈도 분포를 나타내는 시차 히스토그램 정보를 생성하는 시차 히스토그램 정보 생성 수단; 및
상기 시차 히스토그램 정보에 기초하여, 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 상기 선택한 그룹의 시차 값 또는 시차 값 범위에 따라, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 경사 상황 인식 처리를 수행하는 경사 상황 인식 수단
을 포함하고,
상기 경사 상황 인식 수단은 노면 영역을 비추는 화소의 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 선택한 시차 값 또는 시차 값 범위 중에서 화면 최상부에 위치하는 특정의 시차 값을 추출하고, 추출된 시차 값이 속하는 행과 기억된 임계 값을 비교하는 것에 의해, 상대 경사 상황을 인식하는 것인 노면 경사 인식 장치.
삭제
제 1 항에 있어서,
상기 촬상 이미지 내에서 자기 차량 전방의 노면을 비추는 노면 이미지의 상부가 위치하는 촬상 이미지의 수직 방향의 위치를 나타내는 적어도 2개의 경사 상황에 대응하는 복수의 경사 기준 정보를 저장하는 경사 기준 정보 저장 장치를 더 포함하고,
상기 경사 상황 인식 수단은 상기 특정 시차 값 또는 시차 값 범위가 속한 행 영역의 촬상 이미지의 수직 방향의 위치를, 상기 경사 기준 정보 저장 장치에 저장된 경사 기준 정보를 나타내는 촬상 이미지의 수직 방향의 위치와 비교하여, 그 비교 결과를 이용하여 경사 상황을 인식하는 경사 상황 인식 처리를 수행하는 것인, 노면 경사 인식 장치.
제 1 항에 있어서, 상기 경사 상황 인식 수단은 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황이 평탄한 경우, 자기 차량 전방의 노면을 비추는 노면 이미지의 상부에서의 촬상 이미지의 수직 방향의 위치에 대응하는 행 영역을 포함한 제한 범위 내의 행 영역에 대한 시차 값 또는 시차 값 범위에 대해서만 경사 상황 인식 처리를 수행하는 것인, 노면 경사 인식 장치.
제 3 항에 있어서, 상기 경사 상황 인식 수단은 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황이 평탄한 경우, 자기 차량 전방의 노면을 비추는 노면 이미지의 상부에서의 촬상 이미지의 수직 방향의 위치에 대응하는 행 영역을 포함한 제한 범위 내의 행 영역에 대한 시차 값 또는 시차 값 범위에 대해서만 경사 상황 인식 처리를 수행하는 것인, 노면 경사 인식 장치.
제 1 항 또는 제3항 내지 제 5 항 중 어느 한 항에 있어서,
상기 시차 히스토그램 정보에 기초하여, 미리 정해진 규정 값을 초과하는 빈도를 가진 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 상기 선택된 그룹의 시차 값 및 시차 값 범위에 대응하는 촬상 이미지의 화소가 속하는 이미지 영역을 노면을 비추는 노면 이미지 영역으로 인식하는 노면 이미지 영역 인식 수단을 더 포함하는 노면 경사 인식 장치.
제 1 항에 있어서, 상기 시차 정보 생성 수단은 복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻은 복수의 촬상 이미지들 간에 서로 대응하는 이미지 부분을 검출하고, 상기 검출된 이미지 부분 간의 위치 시프트양을 시차 값으로 하는 시차 정보를 생성하는 것인, 노면 경사 인식 장치.
제 1 항에 있어서,
복수의 촬상 수단을 더 포함하는 노면 경사 인식 장치.
제 8 항에 있어서, 상기 복수의 촬상 수단은 자기 차량 전방 영역을 연속해서 촬상하는 동영상 촬상 수단인 것인, 노면 경사 인식 장치.
복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻어지는 복수의 촬상 이미지에 기초하여 시차 정보를 생성하는 단계를 갖고, 상기 시차 정보를 생성하는 단계에서 생성한 시차 정보에 기초하여, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는, 노면 경사를 인식하는 방법에 있어서,
상기 시차 정보를 생성하는 단계에서 생성한 시차 정보에 기초하여, 촬상 이미지를 수직 방향으로 복수 분할하여 얻어지는 각 행 영역 내의 시차 값의 빈도 분포를 나타내는 시차 히스토그램 정보를 생성하는 단계; 및
상기 시차 히스토그램 정보에 기초하여, 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 상기 선택한 그룹의 시차 값 또는 시차 값 범위에 따라, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 경사 상황 인식 처리를 수행하는 경사 상황을 인식하는 단계
를 포함하고,
상기 경사 상황을 인식하는 단계는 노면 영역을 비추는 화소의 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 선택한 시차 값 또는 시차 값 범위 중에서 화면 최상부에 위치하는 특정의 시차 값을 추출하고, 추출된 시차 값이 속하는 행과 기억된 임계 값을 비교하는 것에 의해, 상대 경사 상황을 인식하는 단계를 포함하는 것인 노면 경사를 인식하는 방법.
복수의 촬상 수단에 의해 자기 차량 전방 영역을 촬상하여 얻어지는 복수의 촬상 이미지에 기초하여 시차 정보를 생성하는 단계를 갖고, 상기 시차 정보를 생성하는 단계에서 생성한 시차 정보에 기초하여, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 노면 경사 인식을 컴퓨터가 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 있어서,
상기 컴퓨터가 노면 경사 인식을 실행하기 위한 컴퓨터 프로그램은,
상기 시차 정보를 생성하는 단계에서 생성한 시차 정보에 기초하여, 촬상 이미지를 수직 방향으로 복수 분할하여 얻어지는 각 행 영역 내의 시차 값의 빈도 분포를 나타내는 시차 히스토그램 정보를 생성하는 단계; 및
상기 시차 히스토그램 정보에 기초하여, 미리 정해진 규정 값을 초과하는 빈도를 갖는 시차 값 또는 시차 값 범위 중에서 촬상 이미지의 위쪽으로 갈수록 시차 값이 낮아지는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 상기 선택한 그룹의 시차 값 또는 시차 값 범위에 따라, 자기 차량이 주행하고 있는 노면 부분에 대한 자기 차량 전방의 노면의 경사 상황을 인식하는 경사 상황 인식 처리를 수행하는 경사 상황을 인식하는 단계
를 포함하고,
상기 경사 상황을 인식하는 단계는 노면 영역을 비추는 화소의 특징에 일치하는 그룹의 시차 값 또는 시차 값 범위를 선택하고, 선택한 시차 값 또는 시차 값 범위 중에서 화면 최상부에 위치하는 특정의 시차 값을 추출하고, 추출된 시차 값이 속하는 행과 기억된 임계 값을 비교하는 것에 의해, 상대 경사 상황을 인식하는 단계를 포함하는 것인, 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.