KR100317789B1

KR100317789B1 - 국지적위치파악장치및그방법

Info

Publication number: KR100317789B1
Application number: KR1019970042224A
Authority: KR
Inventors: 노부히코 야스이; 아쓰시 이이사카; 마모루 가네코
Original assignee: 모리시타 요이찌; 마쯔시다덴기산교 가부시키가이샤
Priority date: 1996-08-28
Filing date: 1997-08-28
Publication date: 2002-04-24
Also published as: EP0827127B1; EP1383100A2; EP1383100A3; KR19980019123A; DE69736764T2; US6091833A; US20020031242A1; EP0827127A1; US6493458B2; DE69736764D1; KR100317790B1

Abstract

노면상태 변동 혹은 기후, 시간대, 고정조명, 가동조명의 촬상조건 변동의 영향을 받지 않고, 차선의 바른 위치 정보를 얻음에 따라 차량의 차선에서의 위치를 바르게 파악한다.

진행방향의 국지적 지역(Vi)을 나타내는 디지털 화상신호(Si)로부터 공간주파수가 높은 주파수 성분의 에지신호(SH)와 저주파수 성분의 휘도신호(SL)를 추출한다. 에지신호(SH)에 따라서, 차선윤곽(Sre)을 추출하고, 휘도신호(SL)에 따라서 차선영역(Srr)을 추출하여, 차선윤곽(Sre)이 차선영역(Srr), 상기 차선윤곽 데이터(Sre), 및 상기 차선영역 데이터(Srr)에 기초하여, 상기 차선의 위치(Sre)를 고정밀도로 검출한다.

Description

국지적 위치 파악장치 및 그 방법

본 발명은 대상물의 전경을 촬상하여 얻어지는 화상에 의거하여 국지적 영역에서의 대상물의 위치, 속도 및 자세에 관하여, 국지적 위치파악 데이터를 제공하고, 특히 자동차의 노상에 있어서의 정지 또는 주행 중 상태의 검출에 특히 적합한 국지적 위치파악 시스템에 사용하는 국제적 위치파악장치에 관한 것이다. 더욱 상세하게는, 노면상태 변동 또는 기후, 시간대, 고정조명, 가동조명에 대한 촬상조건의 변동의 영향을 받지 않고, 대상물의 국지적 지역 내에서의 위치를 바르게 검출할 수 있는 국지적 위치파악장치에 관한 것이다.

도 25에 자동차에 사용되는 종래의 국지적 위치파악장치를 도시하였다. 이 종래의 국지적 위치파악장치(LPP)는 에지(edge)추출기(1P), 한계값 설정기(3P), 윤곽추출(5P), 매칭검출기(9P), 차선윤곽 검출기(11P), 영역한정기(13P), 현위치 검출기(15P), 곡률검출기(17P) 및 요오각(yaw angle) 검출기(19P)를 가진다.

에지추출기(IP)는 디지털 촬상장치(도 1)에 접속되어 있다. 디지털 촬상기는 자동차(AM)(도 4)에 탑재되어 자동차의 진행방향 전방의 풍경의 사시화상(Vi)을 디지털 화상신호(Si)로서 생성한다. 이 화상(Vi)에는 도로 및 그 위에 설치된 현재 주행 중의 차선(Lm) 및 차선(Lm)의 양쪽을 규제하는 백선(Lm1 및 Lm2) 등이 촬영되어 있다(도 5). 또한, 이웃 차선의 백선(Lm3)도 촬영되어 있다, 에지추출기(1P)는디지털 화상신호(Si)로부터 이들 차선(Lm1, Lm2 및 Lm3)에 대응하는 에지화소를 추출하여 추출에지 화소신호(Sx')를 생성한다. 이 추출에지 화소신호(Sx')는 추출된 에지화소만을 포함한 추출에지화상(Vx')을 표시한다.

한계값 설정기(3P)는 공지의 방법으로, 표시한 각각의 차선(Lm)의 선을 추출하기 위하여 신호(Sx')를 주사하여 에지화소 데이터신호(Sx')로부터 차선표시의 윤곽을 나타내는 화소를 추출하기 위한 한계값(Eth')을 결정한다. 그리고, 차선표시의 윤곽선을 나타내는 윤곽화소를 추출한 신호(Sc')를 생성한다.

매칭검출기(9P)는 이와 같이 윤곽을 추출한 윤곽추출신호(Sc')에 포함되는 윤곽선에 매칭되는 직선 또는 원호를 구하여, 이들 직선 또는 원호를 매칭한 선 모두를 포함한 매칭데이터(Sm')를 생성한다. 또한, 차선윤곽 추출부(11P)는 이들 매칭데이터를 미리 기억하고 있는 차선의 치수적 특징과 비교하여 이 치수적 특징을 만족시키는 매칭선을 차선의 윤곽선으로서 채용하여, 차선추출신호(Smc')를 생성한다.

영역한정기(13P)는 차선추출신호(Smc')에 의거하여 추출된 차선의 둘레에 영역을 설정함과 동시에, 이 영역을 규정하는 영역신호(Sr')를 생성한다. 에지추출기(1P)는 사시화상(Vi)에서의 영역을 이 영역신호(Sr')에 규정되는 영역에 한정한다. 현위치 검출기(15P)는 자동차(AM)가 현재 위치하고 있는 도로상의 위치를 검출한다. 곡률검출기(17P)는 주행 중의 차선의 곡률을 검출한다. 요오각 검출기(19P)는 자동차의 차선에 대한 경사각도를 검출한다.

그러나, 모든 처리는 촬상장치(100)에 의하여 얻어지는 차량 전방의 사시화상(Vi)에 의거하여 행하여진다. 말할 것도 없이, 사시도에서는 3차원적 공간이 2차원 평면상에 표현되므로, 사시화상(Vi)으로부터는 대상물인 차선의 바른 치수정보를 얻을 수 없다. 사시화상(Vi)에 있어서는 촬상장치(100)로부터 멀어짐에 따라 형상이 변형되어 표시된다. 바꾸어 말하면, 멀리 있는 대상물은 가까운 대상물 보다 작게 표현된다, 그러므로, 도로 또는 차선의 에지부의 사시화상(Vi)도 선명하지 않게 되어 에지부의 검출이 곤란해진다.

또, 노면의 상태는 항상 일정하지는 않으므로, 더욱 에지부의 검출은 곤란하다. 예를 들면, 초목이나 토사 등에 의하여 도로의 단부 또는 차선의 백선이 가려져 있는 경우, 에지검출에 의한 도로 또는 차도의 윤곽의 인식은 실질적으로 불가능하다. 또한, 차선의 백선 자체가 오염이나 손상에 의하여 부분적으로 또는 전면적으로 식별이 곤란한 경우에도 에지검출은 실제로 불가능하다.

그리고, 노면상의 밝기 정도도 기후의 변화, 터널의 내외, 주야의 구별에 따라 상태가 다르다. 또한, 터널 내나 차도에 부착된 조명 등이 차도를 부분적으로 비추므로, 같은 도로표면이라도 스폿(Spot)처럼 화상의 밝기에 현저한 차이가 생긴다. 또한, 특히 야간주행 중에는 자기차 또는 다른 많은 차의 라이트(light)에 의해서 차례로 변화하는 조명의 영향이 중첩된다. 이와 같이, 주행장소, 주행시간대나 기후의 차이, 그리고 그러한 장소, 시간대 및 기후가 동일하더라도 고정조명이나 가동조명에 의하여 사시화상(Vi) 각 부분에서 조도가 동적으로 변화하는 환경에 있어서, 상기 에지검출용 한계값(Eth')을 정확히 설정하는 것은 불가능하다.

즉, 이러한 부정확한 한계값(Eth')에 의거하여 생성된 윤곽추출신호(Sc')로부터 대상물의 바른 치수의 정보를 얻는 것은 불가능하다. 또한, 이러한 신뢰할 수 없는 부정확한 왜곡된 치수의 정보에 의거하여 차량의 국지적 위치파악 및 잘못 파악한 국지위치정보에 의거하여 도로의 곡률, 차량에 작용하는 요오각 검출 등의 처리를 하는 것이 매우 위험하다는 것은 명백하다.

도 1은 본 발명의 제1 실시형태의 국지적 위치 파악장치의 구조를 도시한 블록도.

도 2는 도 1에 도시한 국지적 위치 파악장치의 요부의 상세한 구조를 도시한 블록도.

도 3은 본 발명의 사시화상의 좌표계를 도시한 설명도.

도 4는 본 발명의 조감(鳥瞰)화상간의 좌표계를 도시한 설명도.

도 5는 본 발명의 전경(前景) 사시화상을 도시한 설명도.

도 6은 도 5에 도시한 전경 사시화상으로부터 추출된 에지(edge)화상을 도시한 설명도.

도 7은 도 5에 도시한 에지화상으로부터 윤곽을 추출하는 방법을 도시한 설명도.

도 8은 도 5에 도시한 에지화상으로부터 추출된 윤곽을 도시한 설명도.

도 9는 도 2에 도시한 영역설정기에 의한 사시화상의 영역을 한정하는 방법을 도시한 설명도.

도 10은 도 9에 도시한 방법으로 영역이 한정된 사시화상을 도시한 설명도.

도 11은 도 5에 도시한 전경 사시화상으로부터 추출된 휘도(輝度)화상을 도시한 설명도.

도 12는 도 11에 도시한 휘도화상 중 화소에 대한 휘도값과 그 휘도값을 가진 화소수와의 관계를 도시한 설명도.

도 13은 휘도화상 중 노면(路面)만을 표시하는 화소의 휘도값과, 각 화소가 대응하는 노면의 촬상(撮像) 거리와의 관계의 실험값을 도시한 도면.

도 14는 도 2에 도시한 노면휘도 설정기에 의한 노면휘도 설정방법을 도시한 설명도.

도 15는 도 2에 도시한 노면화상 추출기에 의한 노면추출 방법을 도시한 설명도.

도 16은 도 15에 도시한 노면추출시에 얻어지는 영역화소에 의거하여 노면영역 단부를 구하는 방법의 일례를 도시한 설명도.

도 17은 도 16에 예시한 방법으로 직선으로 근사된 노면화상을 도시한 설명도.

도 18은 도 2에 노면영역 설정기에 의한 노면영역 설정을 도시한 설명도.

도 19는 도 2에 도시한 좌표변환기에 의하여 노면윤곽 신호를 좌표변환하여 얻어진 조감화상을 도시한 설명도.

도 20은 도 19에 도시한 조감화상 데이터(Scc)를 하프변환하여 얻어지는 곡선 패턴의 일례를 도시한 설명도.

도 21은 도 19에 도시한 조감화상 데이터(Scc)를 하프변환하여 얻어지는 곡선의 패턴으로서, 도 20에 도시한 것과는 다른 예를 도시한 설명도.

도 22는 도 19에 도시한 조감화상 데이터(Scc)를 하프변환하여 얻어지는 곡선의 패턴으로서, 다시 도 20 및 도 21에 도시한 예와는 다른 예를 도시한 설명도.

도 23은 도 2에 도시한 차선내 위치검출기에 의한 차선내 위치검출을 도시한 설명도.

도 24는 도 1에 도시한 국지적 위치 파악장치의 동작을 도시한 흐름도.

도 25는 종래의 국지적 위치 파악장치의 구조를 도시한 블록도.

도 26은 본 발명의 제2 실시형태에 있어서의 제1 실시예의 도로영역 추출장치를 도시한 블록도.

도 27은 도 26에 도시한 휘도 히스토그램 작성수단에 의한 도로면상의 휘도 히스토그램의 일례를 도시한 설명도.

도 28은 도 26에 도시한 도로영역 추출장치의 동작을 도시한 흐름도.

도 29는 도 26에 도시한 도로영역 추출장치에 의한 추출 도로영역으로부터 도로단을 검출하는 방법을 도시한 설명도.

도 30은 본 발명의 제2 실시형태에 있어서의 제2 실시예의 도로영역 추출장치를 도시한 블록도,

도 31은 도 30에 도시한 도로영역 추출장치에 의하여 얻어진 휘도 히스토그램에 있어서, 도로영역이 차지하는 영역의 일례를 도시한 설명도.

도 32는 도 30에 도시한 노면휘도 패턴 도로영역 분할수단에 의하여 도로화상을 분할하여 얻어진 휘도분포와 자기차 위치 도로휘도패턴 계측수단으로 얻어진 휘도분포패턴을 도시한 설명도.

도 33은 도 30에 도시한 도로영역 추출장치의 동작을 도시한 흐름도.

도 34는 본 발명의 제2 실시형태에 있어서의 제3 실시예의 도로영역 추출장치를 도시한 블록도.

도 35는 도 34에 도시한 휘도 히스토그램 작성수단에 의한 도로화상의 휘도 히스토그램의 일례를 도시한 설명도.

도 36은 도 34에 도시한 도로영역 추출장치의 동작을 도시한 흐름도.

도 37은 본 발명의 제2 실시형태에 있어서의 제4 실시예의 도로영역 추출장치를 도시한 블록도.

도 38은 도 37에 도시한 휘도 히스토그램 작성수단에 의한 도로화상의 휘도 히스토그램의 일례를 도시한 설명도.

도 39는 도 37에 도시한 화상분할수단(43)에 의한 도로화상의 분할을 도시한 설명도.

도 40은 도 37에 도시한 도로영역 추출장치의 동작을 도시한 흐름도의 전반부.

도 41은 도 37에 도시한 도로영역 추출장치의 동작을 도시한 흐름도의 후반부.

도 42는 본 발명의 제2 실시형태에 있어서의 제5 실시예의 도로영역 추출장치를 도시한 블록도.

도 43은 도 42에 도시한 도로영역 추출장치에 의하여 얻어진 추출도로 영역과, 소실선과 도로단이 이루는 3각형과의 관계의 일례를 도시한 설명도.

도 44는 도 42에 도시한 도로영역 추출장치의 동작을 도시한 흐름도.

*도면의 주요부분에 대한 부호의 설명

11, 21, 31, 41, 51 : 도로화상 촬영수단

12, 32, 42, 52 : 휘도 히스토그램 작성수단

13 : 도로휘도 분리수단

14 : 도로다각형 검출수단

22 : 자기차 위치 도로휘도패턴 계측수단

23 : 노면 휘도패턴 도로영역 분할수단

33 : 화소수 도로영역 추출수단

43 : 화상분할수단 44 : 도로영역 병합수단

45, 55 : 도로폭 검출수단 56 : 도로영역 상관값 검출수단

57 : 도로방향 검출수단 100 : 디지털 촬상장치

200 : 공간주파수 분리기 202 : 저주파 추출기

204 : 고주파 추출기 300 : 도로면 검출기

302 : 노면휘도 설정기 304 : 노면화상 설정기

306 : 노면영역 설정기 400 : 도로윤곽 검출기

402 : 한계값 설정기 404 : 윤곽추출기

406 : 영역한정기 500 : 도로검출기

600 : 노사위치 검출장치 602 : 좌표변환기

604 : 매칭검출기 606 : 차선윤곽 추출기

608 : 차선내 위치검출기 700 : ECU

이러한 과제를 해결하기 위하여 본 발명에 따른, 대상물의 진행방향의 국지적 지역을 나타내는 디지털 화상신호에 의하여 그 국지적 지역상의 차선에 관한 방향으로 진행할 수 있는 대상물의 국지적 위치를 검출하는 국지적 위치파악장치는, 그 디지털 화상신호로부터 공간 주파수가 높은 주파수 성분을 추출하여 에지신호를 생성하는 제1 화상신호 생성수단과, 그 에지신호에 의거하여 그 차선의 윤곽을 추출하여 차선윤곽 데이터를 생성하는 윤곽추출수단과, 그 디지털 화상신호로부터 공간주파수가 낮은 주파수 성분을 추출하여 휘도신호를 생성하는 제2 화상신호 생성수단과, 그 휘도신호에 의거하여 그 차선의 영역을 추출하여 차선영역 데이터를 생성하는 차선영역 추출수단과, 그 차선윤곽 데이터와 그 차선영역 데이터에 의거하여 그 차선의 위치를 검출하여 차선검출신호를 생성하는 차선검출수단을 가지는 것을 특징으로 한다.

(실시의 형태)

도 1에 본 발명의 국지적 위치파악장치(LP)의 구정을 도시하였다. 이 국지적 위치파악장치(LP)는, 예를 들면 자동차(AM)(도시하지 않음) 등의 자유궤도 주행차량에 탑재된다. 국지적 위치파악장치(LP)는 디지털 촬상장치(100), 공간주파수 분리기(200), 도로면 검출기(300), 도로윤곽 검출기(400), 도로검출기(500) 및 ECU(전기제어 유니트)(700)를 포함한다. ECU(700)는 차량의 주행속도 및 조타상태로 대표되는 차량의 상태를 검출하여, 속도신호(Sv) 및 조타신호(Ss)를 포함한 차량상태신호(Sc)를 생성함과 동시에, 차량의 전기장치의 각종 제어를 하는 자동차 산업계에서 널리 알려진 장치이다.

디지털 촬상장치(100)는 촬상소자로 이루어지며, Ph × PV 화소행렬에 의하여, 대상물의 화상을 연속적으로 얻을 수 있다. Ph와 PV는 각각 수평방향과 수직방향으로 배치되는 화소의 수를 나타내고 있다. 그러므로, 화소수(Ph와 PV)를 늘이면 화상의 해상도를 올릴 수 있으므로, 본 발명의 위치파악 등의 동작의 정밀도를 올릴 수 있다. 한편, 제조비가 증가한다는 문제점이 있으므로, 이들의 수(Ph와 PV)는 필요로 하는 분해능과 제조비에 따라 결정되어야 할 것이다. 일례로서 Ph 및 PV는 각각 428 및 268로 되어 있으나, 이에 한정되는 것은 아니다.

디지털 촬상장치(100)는 자동차(AM)의 전단부 가까이에 설치되어, 자동차(AM)의 진행방향의 풍경화상(Vi)을 연속적으로 촬영하여 디지털 화상신호(Si)를 생성한다. 이 화상(Vi)은 자동차(AM) 안에서 본 앞쪽의 사시도이다. 이 화상(Vi)은 정지화상 및 동화상의 어느 것이라도 좋다. 공간 주파수 분리기(200)는 디지털 촬상장치(100)에 접속되어 디지털 화상신호(Si)의 입력을 얻는다. 공간 주파수 분리기(200)는 디지털 화상신호(Si)로부터 저주파성분을 추출하여 공간 저주파수 신호(SL)를 생성함과 동시에 고주파 성분을 추출하여 공간 고주파수 신호(SH)를 생성한다.

도로면 검출기(300)은 공간 주파수 분리기(200)에 접속되어, 공간 저주파수신호(SL)의 입력을 얻는다. 공간 저주파수 신호(SL)에 의거하여 도로면 검출기(300)는 전경화상(Vi)으로부터 도로면을 검출하여 노면영역신호(Srr)를 생성한다.

마찬가지로 도로윤곽 검출기(400)는 공간 주파수 분리기(200)에 접속되어, 공간 고주파수 신호(SH)에 의거하여 전경화상(Vi)으로부터 도로의 윤곽을 검출하여 노면윤곽신호(Sre)를 생성한다. 사시화상(Vi)에 있어서의 윤곽검출의 주사영역을 검출된 윤곽의 주위에 한정하여 처리부하를 감소시키기 위하여 윤곽검출 주사영역을 한정하는 영역한정신호(Sr)를 생성하여 공간 주파수 분리기(200)에 입력한다.

공간 주파수 분리기(200)는 디지털 화상신호(Si)에 있어서, 영역한정신호(Sr)로 지정된 부분에서만 공간 고주파수 신호(SH)를 추출한다.

도로검출기(500)는 도로면 검출기(300) 및 도로윤곽 검출기(400)에 접속되어 노면영역신호(Srr) 및 노면윤곽신호(Sre)의 입력을 얻는다. 도로검출기(500)는 노면영역신호(Srr)에 의거하여 노면윤곽신호(Sre)를 표시하여 노면윤곽이 바른가의 여부를 판정하여 판정결과를 표시하는 노면판정신호(Sj)를 생성하여, 도로윤곽 검출기(400)에 피드백 한다. 또한, 도로검출기(500)는 노면윤곽신호(Sre)가 표시하는 노면윤곽이 바르다고 판정한 경우에만 노면윤곽신호(Sre)를 그대로 출력한다. 그리고, 도로윤곽 검출기(400)는 노면판정신호(Sj)에 의거하여 노면윤곽신호(Sre)를 갱신하여 도로검출기(500)에 출력한다. 도로검출기(500)는 노면윤곽신호(Sre)가 바른노면윤곽을 표시하고 있다고 판단될 때까지 노면판정신호(Si)에 의하여 도로윤곽검출기(400)에 노면윤곽신호(Sre)의 갱신을 계속시켜 바른 노면윤곽을 표시하고 있다고 판단된 시점에서 노면윤곽신호(Sre)를 외부에 출력한다.

노상위치 검출장치(600)는 도로검출기(500)에 접속되어 노면윤곽신호(Sre)의 입력을 얻음과 동시에, ECU(700)에 접속되어 차량상태신호(Sc)의 입력을 얻는다. 노상위치 검출장치(600)는 바른 노면윤곽을 표시하는 노면윤곽신호(Sre)와 차량의 주행상태를 표시하는 차량상태신호(Sc)에 의거하여 자동차(AM)의 이동 중 또는 정지위치를 검출하여, 노상위치 검출신호(Sp)를 생성한다. 그리고, 이 노상위치 검출신호(Sp)에 의거하여 차량의 운전상태를 제어하는 ECU제어신호의 생성이나, 네비게이션 장치용의 네비게이션 신호 등의 여러 가지 제어신호를 생성방법 및 장치에 관하여는 본원과 동일출원인에 의한 일본국 출원번호 특원 평8-102892호(1996년 4월 24일 출원) 및 대응 미국출원번호 08/637,417(1996년 4월 25일 출원)에 상세히 개시되어 있다.

도 4에 디지털 촬상장치(100)를 탑재한 자동차(AM)의 측면을 대략 도시하였다. 디지털 촬상장치(100)의 광축(Ax)은 자동차(AM)가 도로상을 이동하는 방향(Z)과 일치하고 있으나, 수평면에 대하여 소정의 각도(θ)만큼 하향으로 되도록 설정되어 있다. 이 경우, 자동차(AM)의 전단부의 바로 아래의 노면의 화상(Vi)을 얻기에 충분히 큰 디지털 촬상장치(100)가 사용된다.

도 5에 디지털 촬상장치(100)에 의하여 얻어진 디지털 화상신호(Si)에 표시되는 자동차(AM)로부터 진행방향 전방을 본 사시화상(Vi)을 도시하였다.자동차(AM)는 2차선 도로의 왼쪽차선을 주행하고 있다. 이 2차선 도로는 3개의 차선분리선(Lm1, Lm2 및 Lm3)에 의하여 2차선으로 나누어져 있다. 즉, 우측차선은 분리선(Lm3 및 Lm2)에 의하여, 좌측차선은 분리선(Lm1 및 Lm2)에 의하여 안내되고 있다.

통상, 이들 차선분리선은 노면 상에 백색 페인트로 표시되어 있다. 상기 도면에 있어서, 사시도(Vi)의 저변부는 자동차(AM)의 전단부의 바로 아래의 도로의 화상이다. 또한, 작도상의 제한에 의하여 전경이 선으로 그려져 있어서, 마치 윤곽만으로 표현된 화상과 같이 보이나, 통상의 비디오 카메라로 촬상된 화상과 같이 대상물을 각각 휘도, 농도 및 색채가 다른 화소로 표시된 화상인 것은 말할 것도 없다.

(실시형태 1)

도 2에 도 1에 도시한 공간 주파수 분리기(200), 도로면 검출기(300), 도로윤곽 검출기(400), 도로 검출기(500) 및 노상위치 검출장치(600)의 상세한 구성을 도시하였다. 공간주파수 분리기(200)는 디지털 화상신호(Si)에 의거하여 공간 저주파수 신호(SL)를 생성하는 저주파 추출기(202)와, 공간 고주파신호(SH)를 생성하는 고주파 추출기(204)를 가진다. 저주파 추출기(202)는 디지털 화상신호(Si) 중의 휘도데이터를 사용하여 공간 주파수가 낮은 성분만의 화상(VL)을 생성하는 것이며, 2차원 저역통과 필터(LPF)에 의하여 구성되는 것이 바람직하다. 한편, 고주파 추출 기(204)는 디지털 화상신호(Si) 중의 휘도 데이터를 사용하여 공간 주파수가 높은 성분만의 화상(VH)을 생성하는 것이며, 2차원 고역통과 필터(HPF)에 의하여 구성되는 것이 바람직하다. 즉, 저주파 추출기(202)와 고주파 추출기(204)로 디지털 촬상장치(100)에 의하여 촬상된 화상(Vi)을 선택하는 주파수가 겹쳐지지 않도록 저주파화상(VL)과 고주파 화상(VH)을 분리하고 있다.

도로면 검출기(300)는 노면휘도 설정기(302), 노면화상 추출기(304) 및 노면 영역 설정기(306)를 가진다. 노면휘도 설정기(302)는 공간 주파수 분리기(200)의 저주파 추출기(202)에 접속되어 공간 저주파수 신호(SL)의 입력을 얻음과 동시에, ECU(700)에 접속되어 차량상태신호(Sc)의 입력을 얻는다. 노면휘도 설정기(302)는 차량상태신호(Sc) 중의 속도신호(Sv)에 의거하여 공간 저주파수 신호(SL)에 있어서 도로를 표시하는 화소의 휘도를 표시하는 노면휘도(Bmin, Bmax)를 설정하여, 그 한계값 휘도를 표시하는 노면휘도신호(SBr)를 공간 저주파수 신호(SL)와 함께 출력한다.

노면화상 추출기(304)는 노면휘도 설정기(302)에 접속되어, 공간 저주파수신호(SL) 및 노면휘도신호(SBr)(Bmax)에 의거하여 공간 저주파수 신호(SL) 중에서 노면영역을 추출하여 노면추출신호(Srs)를 생성하여, 공간 저주파수 신호(SL) 및 노면휘도신호(SBr)와 함께 출력한다. 노면영역 설정기(306)는 노면화상 추출기(304)에 접속되어, 공간 저주파수 신호(SL), 노면휘도신호(SBr) 및 노면추출신호(Srs)의 입력을 얻는다. 노면영역 설정기(306)는 노면추출신호(Srs)에 의거하여 공간 저주파수 신호(SL) 중에서 노면영역을 설정하여 노면영역신호(Srr)를 생성한다.

도로윤곽 검출기(400)는 한계값 설정기(402), 윤곽추출기(404) 및 영역한정기(406)를 가진다. 한계값 설정기(402)는 공간 주파수 분리기(200)의 고주파 추출기(204)에 접속되어, 공간 고주파 신호(SH)에 있어서 도로를 표시하는 화상의 윤곽점을 에지처리로 추출하는 한계값(Eth)을 설정하여, 그 한계값을 표시하는 윤곽 한계값 신호(Sth)를 공간 고주파 신호(SH)와 함께 출력한다. 한계값 신호(Sth)를 생성하여, 공간 고주파 신호(SH)와 함께 출력한다. 윤곽추출기(404)는 한계값 설정기(402)에 접속되어, 윤곽 한계값 신호(Sth)에 의거하여 공간 고주파 신호(SH)에 있어서 노면을 표시하는 화상의 윤곽을 추출하여 노면윤곽신호(Sre)를 생성하여 상기의 도로검출기(500)에 출력한다.

영역한정기(406)는 윤곽추출기(404)에 접속되어, 노면윤곽신호(Sre)에 의거하여 공간 고주파신호(SH) 중에서 노면윤곽을 추출할 영역을 한정하는 영역한정신호(Sr)를 생성하여 공간주파수 분리기(200)의 고주파 추출기(204)에 출력한다. 고주파 추출기(204)는 디지털 화상신호(Si) 중의 영역 한정신호(Sr)로 한정된 영역으로부터 고주파 성분을 추출하여 공간 고주파 신호(SH)를 생성한다. 윤곽추출기(404)는 다시 도로검출기(500)에 접속되어 노면판정신호(Sj)의 피드백을 얻어서, 노면윤곽신호(Sre)가 바른 노면의 윤곽을 추출하고 있지 않은 경우에는 현재 노면윤곽하여 추출하고 있는 윤곽에 인접한 윤곽 에지를 노면윤곽으로서 채용하도록 노면윤곽신호(Sre)를 갱신하여, 도로검출기(500)에 출력한다.

도로검출기(500)는 전술한 바와 같이, 노면영역신호(Srr)에 의거하여 노면윤곽신호(Sre)가 바른 노면윤곽 에지를 추출하고 있느냐의 여부를 판단하여 노면판정신호(Sj)를 생성한다. 노면판정신호(Sj)는 노면윤곽신호(Sre)가 바른 노면윤곽 에지를 추출하고 있는 경우에는 하이(high)로, 그렇지 않은 경우에는 로우(low)로 되는 2값 신호인 것이 바람직하다. 즉, 노면판정신호(Sj)가 로우인 경우에는 도로검출기(500)는 노면윤곽신호(Sre)를 차단하여, 윤곽추출기(404)의 노면윤곽신호(Sre)를 갱신시킨다. 그리고, 노면판정신호(Sj)가 하이(high)인 경우에만 노면윤곽신호(Sre)를 노상위치 검출장치(600)에 출력한다.

즉, 윤곽추출기(404)는 고주파 추출기(204)로부터 출력되는 고주파 화상데이터(SH)를 사용하여 도로의 백선에 상당하는 백선후보가 되는 추정윤곽점(노면윤곽신호(Sre))을 검출하는 것이다. 도로검출기(500)는 노면화상 추출기(304)로 검출한 도로영역 데이터(노면영역신호(Srr))와, 윤곽검출기(404)로 검출한 추정윤곽점(노면윤곽신호(Sre))을 사용하여, 도로백선의 윤곽점을 검출하는 것이다.

노상위치 검출장치(600)는 좌표변환기(602), 매칭검출기(604), 차선윤곽 추출기(606) 및 차선내 위치검출기(608)를 가진다. 좌표변환기(602)는 노면윤곽신호(Sre)에 사시전경화상(Vi)을 조감화상(Vcc)으로 변환하는 좌표변환을 하여, 조감윤곽신호(Scc)를 생성한다. 매칭검출기(604)는 좌표변환기(602)에 접속되어, 조감윤곽신호(Scc)에 의거하여 윤곽을 검출한 노면이 직선로인지 곡선로인지의 여부를 검출하여, 매칭한 노면형상을 표시한 매칭신호(Sm)를 생성한다. 차선윤곽 추출기(606)는 매칭검출기(604)에 접속되어, 매칭신호(Sm)에 의거하여, 현재 주행 중의 차선의 윤곽을 추출하여, 차선윤곽신호(Sic)를 생성한다. 차선내 위치검출기(608)는 차선윤곽 추출기(606)에 접속되어, 차선윤곽신호(S1c)에 의거하여 동차선 내에 있어서의 자신의 위치를 검출하여 위치신호(Sp)를 생성하여 ECU에 출력한다. 전술한 바와 같이, 노상위치 검출장치(600)는 ECU(700)에 접속되어, 차량상태신호(Sc)에 의거하여 위치신호(Sp)를 생성하나, 본 명세서에 있어서는 일례로서 차량상태신호(Sc) 중의 조타신호(SsT)에 의거한 매칭검출기(604)에 의한 차선윤곽 매칭처리에 대하여, 후에 도 20, 도 21 및 도 22를 참조하여 설명한다.

다음으로, 첨부한 도 5 내지 도 25를 참조하여 본 발명의 국지적 위치파악장치(LP)의 각 요부의 동작에 대하여 설명한다. 디지털 촬상장치(100)에 대해서는 도 5를 참조하여 이미 설명하였으므로, 먼저 도 5 및 도 6을 참조하여 공간 주파수 분리기(200)의 고주파 추출기(204)에 의하여 에지추출에 대하여 설명한다.

고주파 추출기(204)는 디지털 화상신호(Si)로부터 고주파 성분을 추출하여 에지화상(Vh)을 나타내는 공간 고주파 신호(SH)를 생성한다. 고주파 추출기(204)는 일례로서 디지털 화상신호(Si)에 소벨(sobel)필터 등의 필터처리를 하여, 화상농도가 급격히 변화하는 에지화소를 추출한다. 이때, 처리부하를 경감하기 위하여, 이하에 기술하는 바와 같이 사시화상(Vi) 데이터 전역이 아니라 소정의 영역에만 필터처리를 하여 사시에지화상(Vh) 데이터(공간 고주파 신호(SH))를 생성한다.

즉, 1개의 수평선(Ls)에 의하여 사시화상(Vi)(도 5)은 상부영역(St)과 하부영역(Sb)의 두 부분으로 나누어진다. 그리고, 수평선(Ls)은 화상(Vi)의 바닥부로부터 수직방향으로 상단부를 향하여 세어서 A번째의 수평위치에 배치된 화소에 일치한다. 상단부영역(St)은 Ph × (PV-A) 화소면적을 가지며, 하부영역(Sb)은 Ph × A 화소면적을 가진다. 이 A번째의 수직위치는 자동차(AM)가 평탄로를 주행 중에 전경의 소멸점이 화상(Vi)에 나오는 수직화소의 위치와 일치하도록 결정하는 것이 좋다. 본 발명의 실시형태에 있어서는 A는 디지털 촬상장치(100)에 의하여 직접 자동차(AM)의 진행방향을 촬상하였을 때에 자동차(AM)로부터 약 50미터 떨어진 장소의 상을 촬영하는 화소의 수직위치에 설정된다.

본 발명에 의한 국지적 위치파악 동작의 개시직후에는 고주파 추출기(204)는 하부영역(Sb)에만 공간 고주파 성분추출(필터링)처리를 하여, 에지화소를 추출하여 공간 고주파 신호(SH)를 생성한다. 즉, 공간 고주파 신호(SH)에는 Sb부(Ph × A)로부터 추출된 에지화소만을 포함하고 있다.

도 6에 공간 고주파 신호(SH)에 의하여 표시되는 추출에지화상(Vh)을 도시하였다. 화상(Vi)(도 5)의 하부영역(Sb)으로부터는 주로 차선표시(Lm1, Lm2 및 Lm3)와, 그 주변의 화소가 에지화소로서 추출되고 있다. 도시되어 있지 않으나, 이들 차선표시에 관계없는 부분으로부터도 에지화소가 추출되고 있는 것은 말할 것도 없다. 한계값 설정기(402)는 저주파 추출기(202)에 접속되어 추출에지 화소로 된 공간 고주파 신호(SH)를 받고 있다. 한계간 설정기(402)는 공간 고주파 신호(SH)로부터 차선표시(Lm)의 윤곽부분의 에지화소를 효과적으로 추출하기 위한 한계값(Eth)을 다음 식에 의거하여 한계값(Eth)을 결정한다.

Eth = C ·Emax + (1-C)·Emean .......... (1)

식(1)에 있어서, Emax 및 Emean은 사시화상(Vi)의 하부영역(Sb)에 있어서의 소정의 수평선상의 화소가 가진 최대 농도와 평균농도를 표시한다. 또한, C는 0보다 크고 1보다 작은 소정의 정수이다.

다음에 도 7 및 도 8을 참조하여 윤곽추출기(404)에 의한 윤곽추출에 대하여 설명한다.

도 7에 윤곽 추출기(404)가 윤곽선을 추출하고 있는 에지화상(Vh)(SH)을 도시하였다. 윤곽추출기(404)는 공간고주파 신호(SH)의 하부영역(Sb)의 화소를 한계 값(Eth)에 의거하여 주사하여, 차선표시의 윤곽선을 추출한다. 추출에지화상(Vh)의 하부영역(Sb)은 다시 수직중심선(Lc)에 의하여 좌우의 하부영역(SbL과 SbR)으로 세분화 된다. 이 중심선(Lc)은 추출에지화상(Vh)의 바닥부의 중심위치(Ph/2)에 위치하는 화소로부터 수직으로 뻗어 있다. 그러나, 이 수직선(Lc)은 중심위치(Ph/2)에 한정되는 것은 아니다. 윤곽추출기(404)는 먼저 수평선(Ls)을 따라 중심선(Lc)으로부터 좌우의 수평방향의 수평선(LhL 및 LhR)을 따라 주사하며, 도중의 화소의 농도를 한계값(Eth)을 비교하여, 한계값(Eth)이상의 농도를 가진 화소를 윤곽화소로서 추출한다. 그리고, 이 중심선(Lc)을 따라 바닥부를 향하여 소정의 화소수만큼 이동한 후, 그 위치로부터 또 좌우의 수평방향으로 주사하여, 윤곽화소를 구해간다. 실제로는 좌우의 하부영역의 한쪽을 먼저 주사하여 윤곽화소를 구하고 있다. 예를 들면, 수평라인(Lh)의 좌반부분(LhL)을 이 중심선(Lc)을 따라 소정의 간격(PLh)으로 상부(A위치)로부터 하부를 향하여 차례로 이동시켜, 좌하부 영역(Sb)내의 윤곽화소를 구한다. 그 후, 마찬가지로 우하부영역(Sb)의 윤곽화소를 구하여 노면윤곽신호(Src)를 생성한다.

수평주사위치를 소정간격(PLh)으로 건너뛰어감으로써 Pv/PLh의 절대값에 상당하는 정수(K)개의 수평선(Lh)으로 추출하게 되어, 계산부하를 감소시킴과 동시에, 화소 추출처리의 신속화를 가능하게 하고 있다. 말할 것도 없이, PLh를 1화소 단위로 설정할 수 있다.

이와 같이 하여, 좌우의 하부영역(SbL 및 SbR)의 윤곽화소를 구해가는 중에, 각 수직위치에 있어서, 각 좌우의 선(LhL 및 LhR)에 관하여, 최초에 소정 농도를 가진 화소가 발견되면, 그 화소(Pe)를 윤곽화소로 정하여, 그 수평선에 관하여는 윤곽화소의 주사는 하지 않고, 다음의 수직위치에서의 수평선에 이동하여 그 수직위치에서의 윤곽화소를 구한다.

즉, 수평선(Ls)으로부터 세어서, 최초의 수평선(Lh)에 관하여 좌우의 차선표시(Lm1및 Lm2)의 안쪽 에지부에서 윤곽화소가 검출된다. 그러나, 3번째, 4번째의 선에 관하여 말하면, 이 수직위치에서는 오른쪽의 차선표시(Lm2)가 분할되어 있기 때문에, 수평선은 오른쪽 차선표시(Lm2)를 지나서 이웃차선의 표시(Lm3)의 안쪽에 지를 윤곽화소로서 검출해 버린다. 또한, 도 7에는 도시1되어 있지 않으나, 수직선(Lc)으로부터 각 차선표시까지의 사이에 상처나 오염 등이 있으면, 이들 에지도 윤곽점으로서 검출된다. 이들 윤곽화소는 현재 주행 중의 차선에 대응하는 것은 아니므로, 본 발명의 위치파악 동작에 대한 일종의 노이즈 성분이 된다. 이들 노이즈성분은 후술하는 도로검출기(500)에 의한 노면판정에 의하여 제거된다.

도 8에 이렇게 하여 얻어진 노면윤곽신호(Sre)에 의하여 표시되고 있는 추출윤곽 화상(Vre)을 도시하였다, 차선표시(Lm1, Lm2 및 Lm3)에 대응하는 검출된 윤곽화소가 각각 점선으로 표시되어 있는 ScL, ScR 및 ScR' 에 대응한다. 여기서, ScR'는 전술한 노이즈 데이터이다, 또한, 차선윤곽(SeL)의 근방에 표시되어 있는 점선(ScL')은 노면 상의 오염, 상처, 그림자 등의 원인으로 추출된 노이즈 데이터이다.

도 9 및 도 10을 참조하여 영역 한정기(406)에 의한 영역설정을 설명한다. 도 9에 도시한 바와 같이, 영역한정기(406)는 노면윤곽선호(Sre)에 의거하여 추출된 윤곽(ScL 및 ScR)의 각각을 중심으로 좌우에 소정의 수평길이(Wr)로 규정되는 한정영역(RsL 및 RsR)을 설정한다. 그리고, 설정된 한정영역(RsL 및 RsR)을 도시한 영역한정신호(Sr)를 공간 주파수 분리기(200)의 고주파 추출기(204)에 출력한다. 단, 윤곽추출기(404)가 차선윤곽을 추출할 수 없어서, 노면윤곽신호(Sre)의 대신에 에러신호(See)(도시하지 않음)를 출력한 경우에는, 상술한 영역한정을 하지 않는다.

한정영역의 폭(WR)은 자동차(AM)의 가로방향 이동에 따르는 화상 중의 차선표시(백선)가 X방향으로 이동하는 양을 고려하여 미리 설정해 둔다. WR은 사시화상(Vi)으로 Lm1을 표시하는 차선이라고 하면, 본 발명 장치의 1 시스템 사이클(CS), 예를 들면 33mS의 사이로 이동할 가능성이 있는 거리에 상당하는 양이다. 따라서, 이 한정폭은 화상저변에 가까워짐에 따라 커지도록 설정되어 있다.

도 10에 도시한 바와 같이, 고주파 추출기(204)는 영역신호(Sr)에 의거하여 사시화상(Vi)의 하부영역(Sb) 내의 에지추출 처리의 대상부분을 한정영역(RsR 및 RsL) 내에 한정한다. 이와 같이, 사시화상(Vi)의 데이터 처리량을 적게 하여 처리의 신속화를 꾀함과 동시에, 대상으로 하는 차선윤곽 이외의 노이즈성분의 영향을 억제하여, 차선에 대한 추종성을 향상시킬 수 있다, 노이즈 성분이 전술한 대향차선(Lm3)의 윤곽선(ScR')과 같이 한정영역(RsL, RsR)으로부터 충분히 떨어져 있는 경우에는, 영역설정기(406)에 의한 영역한정으로 제거할 수 있다. 그러나,점선(ScL')과 같은 윤곽 노이즈가 본래의 차선윤곽(RcR)의 근방에 있는 경우에는, 한정영역(RsR) 내에 포함되어 버리는 경우가 있다. 이러한 경우, 영역설정기(406)에 영역한정으로는 이와 같은 윤곽 노이즈의 제거는 불가능하다. 이들 노이즈성분에 대해서는 후술하는 도로검출기(500)에 의한 노면판정에 의하여 제거된다.

도 11을 참조하여 공간 주파수 분리기(200)의 저주파 추출기(202)에 의한 저주파 화상생성을 간단히 설명한다. 저주파 추출기(202)는 디지털 화상신호(Si)에 로우패스 필터핑(lowpass filtering)을 하여 공간 저주파수 신호(SL)를 생성한다.

도 11에 도시한 바와 같이, 공간 저주파수 신호(SL)가 나타내는 저주파 화상(VL)에 있어서는 전경화상(Vi) 중의 대상물은 각각 휘도가 다른 화소 집합에 의하여 흐려진 상태로 표현된다. 즉, 공간 저주파수 신호(SL)가 나타내는 저주파 화상(VL)은 휘도화상이다. 공간 저주파수 신호(SL)의 생성에 있어서도 처리부하를 경감시키기 위하여 공간 고주파 신호(SH) 생성의 경우와 똑같이, 사시화상(Vi) 데이터 전역에서는 아니고, Sb부(Ph × A)로부터 추출된 휘도 화소만을 추출한다.

이렇게 하여, 얻어진 전경사시 휘도화상(VL)에 있어서 노면을 나타내는 화소의 휘도는 자동차(AM), 즉 디지털 촬상장치(100)로부터 먼 쪽의 노면에 대응하는 화소일수록 휘도가 높은 경향이 있다. 노견, 노홈 및 측벽 등의 대상부에 있어서도 똑같이 먼 쪽을 표시하는 화소일수록 휘도가 높다. 도 11에 있어서는 A위치에 있어서의 화소, 즉 수평선(Ls) 상의 화소가 각각 속하는 대상물을 나타내는 화소 중에서 가장 높은 휘도를 가지며, 최하부의 화소가 가장 낮은 휘도를 가진다.

그러나, 똑같은 원거리에 있는 다른 대상물의 화소 사이의 각각의 휘도는 동일한 것은 아니고, 재질의 차이에 따른 반사율 또는 광원으로부터 빛을 받는 각도의 차이에 따라 휘도가 다르기 때문이다. 그러나, 먼 쪽을 나타내는 화소일수록 휘도가 높다는 관계는 유지된다. 전술한 바와 같이, 휘도화상(VL)은 디지털 촬상장치(100)에 의하여 전경노면을 중점적으로 촬상하여 얻은 사시화상(Vi)의 하부(Sb)에서만 생성하고 있다. 그런 까닭에 휘도화상(VL)의 화소의 대부분은 노면을 나타내고 있으므로, 휘도화상(VL) 중의 전 화소에 대해서도 이러한 경향이 대개 적용될 수 있다. 그래서, 디지털 촬상장치(100)에서 보아 가장 먼 쪽 부분에 있는 수평선(Ls)상의 화소 중에서 노면을 나타내는 화소를 노면최원(路面最遠)화소(Pf)로 하고, 그 휘도값을 노면의 최고휘도(Bmax)로 한다. 그리고, 최하부 화소 중에서 노면을 나타내는 화소를 노면최근화소(Pn)로 하고, 그 휘도값을 노면최저 휘도값(Bmin)으로 한다. 그리고 노면최원화소(PF) 및 노면최근화소(Pn)는 필요에 따라 임의의 위치에 설정하여도 좋은 것은 말할 것도 없다.

도 12에 휘도 화상(VL) 중의 전체화소에 대하여 가로축에 휘도값을 취하고, 세로축에 각 휘도값을 가진 화소수를 취하여 작성한 히스토그램을 도시하였다. 상기 도면에 도시한 바와 같이, 휘도화상(VL) 중의 화소의 대부분이 노면최저휘도값(Bmin)과 노면최고휘도(Bmax)의 휘도를 가진 노면을 나타내는 화소임을 알 수 있다. 이 때문에, 노면최저휘도값(Bmin)과 노면최고휘도(Bmax) 사이의 휘도를 노면휘도(Br)라고 부르며, 또한 이들 화소를 노면표시화소(Pr)라고 부른다.

그리고, 도 4를 참조하여 설명한 바와 같이, 디지털 촬상장치(100)가 자동차(AM)의 앞쪽의 대략 중앙에 부착되어 있는 경우에는 노면최원화소(Pf)와 노면최근화소(Pn)를 도 7에서 도시한 수직중심선(Lc) 상의 적당한 위치(Vpf 및 Vpn)에 각각 설정하면, 두 점(Vpf 및 Vpn)사이의 거리에 포함되는 노면은 노면표시화소(Pr)로 표시된다. 이러한 의미에서, 위치 Vpf은 노면검출 최원거리이고, 위치 VPn은 노면검출 최근거리이다. 디지털 촬상장치(100)의 AM에 있어서의 부착위치에 따라, 노면 최원화소(Pf)는 노면검출 최원거리(Vpf)상의 임의의 위치에 설정하고, 마찬가지로 노면최근화소(Pn)는 노면검출 최근거리(Vpn)상의 임의의 위치에 설정하면 된다. 노면검출 최원거리(Vpf) 및 노면검출 최근거리(VPn)도 차속이나 국지적 위치파악장치(LP)의 처리능력에 따라, 임의의 위치에 설정하면 좋으나, 이에 대하여는 뒤에 상세히 설명한다.

도 13에 휘도화상(VL) 중의 노면만을 표시하는 화소의 휘도값과 각 화소가 대응하는 노면의 촬상거리와의 관계의 일례를 도시하였다. 이 도면은 자동차(AM)의 전부에 디지털 촬상장치(100)를 탑재하여, 맑은 날에 고속도로의 직선차선 상을 주행하는 중에 얻어진 휘도화상(VL) 내의 노면표시화소에 관하여 얻어진 실험값이다. 상기 도면에 있어서 가로축은 휘도화상(VL)에서의, 수평주사위치(Pv), 즉 화소마다의 대응거리(D)를, 세로축에 그 거리에 있어서의 휘도(B)이다. 상기 도면에서 명백한 바와 같이, 상기의 거리와 휘도값의 관계가 명백하게 인정된다. 거리-휘도값의 관계가 직선은 아니며, 오른쪽으로 올라가는 파형으로 되어 있는 것은 동일 노면에 있어서도 백선이나 오염 등, 더욱이 노면표면의 기복 등에 의한 난반사에 의하여 부분적으로 색이나 휘도에 얼룩이 있기 때문이다. 또한, 이미 설명한 바와 같이, 수평주사 원위치(遠位置)가 높을수록 1화소가 나타내는 범위가 넓기 때문에, 휘도값의 변동도 크게 된다. 그러나, 이와 같은 촬상거리와 화소휘도값의 관계는 다음 식(2)으로 나타낼 수 있다.

B=A·D + C .......... (2)

또한, 고속도로의 직선차선에서는 A=0.4128, D=108.56이란 값이 시험결과로서 얻어지고 있다. 또, 이 제2식에 나타낸 직선의 상하는

B=A·D + C' .......... (3)

B=A·D + C"..........(4)

단, C' 및 C"(C'>C>C")를 바르게 설정함으로써 제3식 및 제4식으로 나타낸 2개의 평행선을 구하여, 각 주사위치를 나타낸 화소의 휘도값의 범위를 구할 수가 있다.

도 14를 참조하여, 노면휘도 설정기(302)에 의한 노면휘도 설정에 대하여 설명한다. 도 11, 도 12 및 도 13을 사용하여 설명한 촬상거리와 화소휘도값의 관계에 의거하여, 공간 저주파수 신호(SL)에 대하여, 위치파악 처리대상으로 하는 노면의 영역을 규정하는 거리에 따른 화소위치에 노면최원화소(Pf) 및 노면최근화소(Pn)에 각각 설정한다. 그리고, 노면최원화소(Pf)에 있어서의 화소휘도를 노면최고 휘도(Bmax)로 하고, 노면최근화소(Pn)에 있어서의 화소휘도를 노면최저 휘도값(Bmin)으로 해서 입력하여, 노면휘도신호(SBr)를 생성한다. 또한, 필요에 따라, 노면휘도신호(SBr)에는 상기의 제3식 및 제4식으로 나타낸 범위의 휘도값 폭을 가지도록 설정된다. 그리고, 이 노면최원화소(Pf) 및 노면최근화소(Pn)의 휘도화상(VL)상의 위치를 도 3에 도시한 사시화상 좌표에 의거하여 Pf(xPf, yPf)와Pn(xPn, yPn)로 각각 표시한다.

또한, 노면최고휘도(Bmax)를 검출하는 노면최원화소(Pf)의 위치는 자동차(AM)의 이동속도 및 국지적 위치파악장치(LP)의 처리속도(Tp)에 따른 적정한 위치에 설정함으로써, 국지적 위치파악장치(LP)의 설치된 자동차(AM)의 주행조건에 따른 정밀도가 높은 차선영역검출이 실현될 수 있다. 예컨대, 자동차(AM)의 주행속도(Sv)에 따라, 노면최원화소(Pf)를 휘도화상(VL) 중의 수직방향으로 이동시킴으로써, 자동차(AM)가 고속주행하고 있는 경우에는 자동차(AM)보다 원거리 지점에 있어서의 측정정밀도를 확보한다. 마찬가지로, 자동차(AM)가 저속주행하고 있는 경우에는 보다 근거리 지점에서의 차선검출의 정밀도를 향상시킬 수 있다. 자동차(AM)가 고속주행시에는 근거리 위치를 검출하고 있을 사이에 자동차(AM)는 그 지점을 통과해 버리기 때문에, 국제적 위치파악장치의 처리속도와 주행속도(Sv)에 따른 적절한 거리의 지점에서 노면최고휘도(Bmax)를 검출하는 것이 합리적이다.

또, 자동차(AM)가 직진로를 진행 중에는 노면최원화소(Pf)는 휘도화상(VL)의 수직중심선(Lc)상에 설정하면 충분하다. 그러나, 자동차(AM)가 굴곡도로를 주행할 때에는, 노면최원화소(Pf)는 휘도화상(VL) 중의 옆벽 등의 노면 이외의 화상에서 노면최고휘도(Bmax)를 추출해 버릴 염려가 있다. 이러한 때에는 자동차(AM)의 조타 각도에 의거하여 차선의 곡률을 추정함으로써, 항상 휘도화상(VL) 중의 노면영역의 화상만을 노면최고위도(Bmax) 추출대상으로 할 수가 있다. 즉, 조타신호(Ss)에 따라, 노면최원화소(Pf)를 휘도화상(VL) 중의 수평방향으로 이동시킴으로써, 노면최원화소(Pf)를 노면화상 중에 설정할 수 있다.

상기의 속도신호(Sv) 및 조타신호(Ss)에 의거하여, 노면최원화소(Pf)를 휘도화상(VL) 중의 수평수직으로 자유로이 움직임으로써 노면표시 화소를 노면최원화소(Pf)로 할 수가 있다. 또한, 속도신호(Sv)의 대신에 운전자가 임의의 대상거리(수직방향위치)를 입력해도 좋다. 또한, 조타신호(Ss) 대신에, 네비게이션 시스템 등에 사용되고 있는 지도 데이터에서 차선의 직진 또는 곡선 진행에 관한 정보를 얻어도 무방함은 말할 것도 없다. 요컨대 필요에 따라 적당한 수단에 의하여 노면최원화소(Pf) 및 노면최근화소(Pn)를 휘도화상(VL) 중의 임의의 방향으로 이동 혹은 고정되도록 제어함으로써, 검출대상물 화상을 보다 확실히 보충할 수가 있다.

도 15, 도 16 및 도 17을 참조하여 노면화상추출기(304)에 의한 노면화상 추출에 대하여 설명한다. 노면화상 추출기(304)는 공간 저주파수 신호(SL)의 하부영역(Sb)의 화소를 도 13에 도시한 주사위치에 대한 화소휘도값의 관계(제2식, 제3식및 제4식)에 의거하여 주사하고 노면화상 내의 화소를 추출한다. 노면화상 추출기(304)에 있어서의 노면화상 추출은 도 12를 참조하여 설명한 윤곽추출기(404)의 차선표시의 윤곽선과 유사하다. 그러나, 윤곽추출기(404)는 윤곽 한계값 신호(Sth)에 의거하여 한계값 이상의 휘도 에지를 가지는 화소에서 차선윤곽을 추출함에 대하여, 노면화상 추출기(304)에서는 각 수평주사위치(Pv)에 있어서, 상기 제2식, 제3식, 혹은 제4식을 만족시키는 노면최고휘도(Bmax) 이하, 또한 그리고 최저휘도값(Bmin) 이상의 화소를 추출하여 노면화상으로 한다.

또한, 백선부(Lm1, Lln2 및 Lm3)의 최내주부에 있어서, 도 13에 있어서의 윤곽화소(ScL, ScR 및 ScR')에 각각 상당하는 영역화소의 집합(E1m, Erm 및 Erm')이 얻어진다. 또한, 필요에 따라 이들에 상당하는 영역화소 집합(E1m, Erm 및 Erm')에 의거하여 최소 제곱법이나, 뒤에서 도 20, 도 21 및 도 22를 참조하여 설명하는 Hough변환 등의 적당한 수법을 사용하여, 백선부(Lm1, Lm2 및 Lm3)의 내단부를 나타내는 직선을 구하여도 좋다. 도 16에 화소집합(E1m)의 Hough변환 등의 예를 도시하였다. 또한 도 17에 직선으로 근사된 노면화상을 도시하였다. 이와 같이, 직선근사의 결과 대항차선의 백선(Lm3)의 백선 내단부(Erm')가 제거된다.

도 18을 참조하여, 노면영역 설정기(306)에 의한 노면영역 설정에 대하여 설명한다. 노면영역 설정기(306)는 노면추출신호(Srs)에 의거하여 추출된 백선 내의 단부(Elm 및 Erm) 각각을 중심으로 좌우에 소정의 수평길이(Wa)로 규정되는 노면단영역(AeL 및 AeR)을 설정한다. 그리고, 설정된 노면영역(AeL 및 AeR)을 나타내는 노면영역신호(Srr)를 도로검출기(500)에 출력한다. 단, 노면영역 설정기(306)가 노면영역을 추출할 수 없어서, 노면추출신호(Srs)의 대신에 에러신호(See)(도시생략)를 출력했을 경우에는, 상기의 영역한정을 실행하지 않는다. 노면화상 추출기(304)에 있어서의 노면영역설정은 영역한정기(406)에 있어서의 윤곽추출 영역한정과 유사하나, 설정영역폭(Wa)은 상기의 제2식, 제3식, 및 제4식에서 표시된 C, C' 및 C"에 의거하여 적절히 정할 수 있는 값이다.

이와 같이, 노면화상추출기(304)는 저주파추출기(202)로부터의 저주파수 화상 데이터로 이루어지는 공간 저주파수 신호(SL)를 사용하여, 휘도의 분포에서 소정의 관계에 있는 화소로 이루어지는 영역마다 일괄적으로 휘도화상(VL)을 분할하고, 또한 분할된 영역을 도로에 관한 지식을 사용하여 그 영역을 병합하여 노면영역을 검출하는 것이다. 여기서 도로에 관한 지식이란, 디지털 촬상장치(100)에 의하여 촬영된 영상(Vi)의 노면최원화소(Pf) 및 노면최근화소(Pn)를 포함한 영역을 도로라고 한다는 것이다. 이에 덧붙여서, 좌우의 백선이 교차하는 소실점이 시간적으로 급격히 변화하지 않는 것이나, 도로의 화소에 차지하는 크기가 거의 일정한 것 등을 포함할 수도 있다. 따라서, 적어도 노면최근화소(Pn)를 포함한 영역으로 하고, 또는 이것에 인접하는 영역을 더하여 도로로 한다.

다음으로, 도로검출기(500)의 작동에 대하여 설명한다. 도로검출기(500)는 도로윤곽 검출기(400)에서 공급된 노면 윤곽신호(Sre)가 나타내는 윤곽선(ScR 및 ScL)(도 8)을 노면영역신호(Srr)로 표시되는 노면단 영역(AeR 및 AeL)에 각각 포함할 것인지 아닌지를 판단한다. 즉, 동일 수평주사선위치(거리)에 있어서, ScR의 값이 AeR ± Wa 내인 경우에는, 노면윤곽신호(Sre)는 바른 노면윤곽을 나타내고 있다고 간주하여, 노면판정신호(Sj)를 로우(low)로 함과 동시에 노면 윤곽신호(Sre)를 노상위치검출장치(600)에 출력한다. ScR의 값이 AeR ± Wa외일 때에는 노면윤곽신호(Sre)는 노면윤곽을 나타내고 있지 않는, 즉 노면 내의 잡음윤곽을 나타내고 있다고 간주하여, 노면판정신호(Sj)를 하이(high)로 하고, 노면윤곽신호(Sre)를 외부에 출력하지 않는다.

이상과 같이 같은 휘도화상 데이터로부터 공간주파수적으로 겹침이 없는 저주파 화상과 고주파 화상을 작성하여 각각의 화상에서 독립적으로 도로영역과 도로백선 후보윤곽점을 검출함으로써, 정밀도 높은 도로백선 검출을 실현할 수 있다.

도 3 및 도 4를 참조하여 좌표변환기(602)에 의한 추출윤곽 화상(Vre)의 좌표변환의 개념을 간단히 설명한다. 좌표변환기(602)는 노면윤곽신호(Sre)의 좌표계를 변환하여, 그 신호의 나타내는 사시화상(Vre)으로부터 조감도화상(Vcc)으로 변환한다. 추출윤곽화상(Vre)에 있어서는 대상이 사시된 상태로 표현되어 있으므로, 디지털 촬상장치(100)에서의 거리가 멀어질수록 대상물의 형상은 비뚤어진다. 다시말하면, 같은 크기의 2개의 대상물일지라도, 가까이에 있는 대상물보다 먼 곳에 있는 물체 쪽이 작게 표현된다. 대상물의 모양은 촬영장치(100)나 자동차(AM)에서 거리가 멀어짐에 따라서 비뚤어짐이 커진다.

도 3에 사시화상(Vi, Vh및 Vre)의 좌표계를 도시하였다. 도 4도 자동차(AM)를 기준으로 한 조감좌표계를 도시하였다. 화상좌표계(x, y)의 x축은 조감도의 좌표계의 x축에 평행으로 동방향, 디지털 촬상장치(100)의 광축(Ax)이 수평면에 대하여 각도(θ)가 경사지고 있으므로, y축도 Y축에 대하여 각도(θ)만큼 경사지고 있다. 이와 같이, x축과 z축에서 자동차(AM)의 주행면인 노면에 대하여 실질적으로 평행한 수평면(Pd)을 규정한다. x축과 y축은 심(芯)이 합치고 있다. Y축은 도 4의 면에 대하여 수직이다. 원점(0)은 추출윤곽화상(Vre)의 좌표계원점과 동일함과 동시에, 디지털 촬상장치(100)의 광축이 통과하고 있다.

그리고, 다음 방정식을 이용함으로써, 사시화상(Vre)의 좌표를 조감화상(Vcc)의 좌표로 변환할 수 있다.

X = (x/F)(Zcosθ- Ysinθ) .......... (5)

Z = Y(Fcosθ+ Ysinθ) ...........(6)

Y = -H ..........(7)

F는 디지털 촬상장치(100)의 광학렌즈의 초점거리, θ는 Z축(수평방향축)과 광학렌즈의 광축(Ax)이 형성하는 각도, H는 노면에서 광축렌즈의 원점까지의 거리이다. θ 및 H도 도 5를 참조하여 설명한 바와 같은 자동차(AM)의 진행방향 전방의 사시화상(Vi)을 얻을 수 있도록 설정되는 것이 바람직하다. 예컨대 θ는 6도로, H는 1.2미터로 설정된다.

상기한 식(5) (6), 및 (7)에 의거하여, 추출윤곽화상(Vre) 중의 거리를 변환함으로써, 노면윤곽신호(Sre)를 좌표변환한 조감화상신호(Scc)가 얻어진다. 이 신호(Scc)에 있어서는 수평방향의 거리는 디지털 촬상장치(100)에서 Z축방향으로 거리가 떨어져도 관계없이 정확하게 표시된다. 엄밀히 말하면 좌표변환된 화상(Vcc)은 조감도화상은 아니고, 항상 노면과 평행한 면으로 노면을 찍은, 예컨대 노면의 평면도이다. 그러므로, 예컨대 노면이 작은 언덕과 같이 부풀어오르거나, 더욱이 기복을 형성하고 있어도 화상(Vcc)은 노면을 항상 평탄한 표면으로서 표시한다. 그러나, 이러한 오차는 본 발명의 국지적 위치파악의 정밀도를 손상하는 것은 아니다. 왜냐하면 국지적 위치파악은 상기한 바와 같이 50미터 앞이라는 비교적 근거리를 제어대상의 더 먼 지점으로 하고 있으므로, 노면의 기복이라는 변동을 무시할수 있다.

그러나, 노면의 완전한 조감도 화상, 즉, 수직선에 수직인 수평면에 수직으로 투영한 노면의 평면도 화상이 필요하면, 디지털 촬상장치(100)의 광축(Ax)을 자동차(AM)에 고정시키지 않고, 자이로 등의 기존의 자동 자세제어 장치를 이용함으로써, 항상 수평면에 대하여 일정한 자세로 화상(Vi)을 얻도록 하면 된다.

그리고, 이하의 (8)식 및 (9)식에 의거하여 조감좌표에서 사시좌표로 역변환할 수 있다.

x = FX/(Zcosθ+ Hsinθ) .......... (8)

z = F(Hcosθ+ Zsinθ)/(Zcosθ- Hsinθ) .......... (9)

도 19에 좌표변환된 조감화상신호(Scc)가 나타내는 윤곽화상(Vcc)을 도시하였다. 차선표시(Lm1, Lm2, 및 Lm3)가 각각에 대응하는 에지윤곽선(ScL, ScR 및 ScR')에 의하여 표현되어 있다. 도 8에 도시한 추출윤곽화상(Vre)과 비교하면 알수 있는 바와 같이, 도 19에 있어서는 윤곽선(ScL, ScR 및 ScR)이 서로 평행으로 실제의 도로상의 차선과 같이 도시되어 있다. 즉, 좌표변환조감 화상신호(Scc)는 대상물의 바른 평면치수의 정보를 포함한다.

도 2에 도시한 바와 같이, 매칭검출기(9)는 좌표변환기(602)에 접속되어서, 조감화상신호(Scc)에 의거하여 각각의 윤곽(ScL, ScR 및 ScR')에 적합한 직선 혹은 원호의 식을 이하와 같이 구한다. 우선 조감화상신호(Scc)에 포함되는 각 차선표시의 안쪽의 윤곽선(ScL, ScR 및 ScR')의 각 화소데이터를 대응 윤곽선마다 별개로 이하의 제10식에 의거하여 하프(hough transformation)변환한다.

p = XcosΨ+ ZsinΨ .......... (10)

p 는 Z-X좌표계에 있어서의 원점(0)과 화소간의 거리이고, Ψ는 원점(0)과 화소를 연결하는 선과 X축과의 사이에서 형성하는 각도이다. 그리고 (10)식에서 이하의 식을 얻을 수 있다.

X = (ρ- ZsinΨ)/cosΨ .......... (11)

조감화상신호(Scc)를 주사하여 윤곽선 데이터를 하프(hough)변환에 의거하여 파라메터 공간상으로 변환하면, 각 윤곽선마다 1군의 곡선이 얻어진다. 이 일군의 곡선에 의거하여, 윤곽선이 직선인지 혹은 원호인지를 판단하는 것을 도 20 내지 도 22를 참조하면서 설명한다. 우선, 도 20에는 하프 변환된 선데이터가 직선일 경우의 전형적인 패턴이 도시되고 있다, 즉, 일군의 곡선이 일점(Cp)에서 교차한다. 그러나, 현실적인 문제로서 차선표시(Lm) 및 윤곽선 자체가 완전한 직선은 아니므로, 도 20과 같이 완전히 한 점에서만 교차한다고 하는 것은 매우 곤란하다. 대개 한 점에서 교차하려고 하므로 파라메터 공간상의 각(화소)점에서 각 곡선이 교차하는 빈도(Fc)를 조사하여, 그 빈도가 소정의 한계값(Eth)보다 큰 점이 있으면, 그 점을 유일한 교점(Cp)으로 한다. 그리고, 윤곽선은 직선으로 간주하고, 적합한 직선식을 구한다.

도 21 및 도 22에는 하프 변환된 선데이터가 원호일 경우의 전형적인 패턴이 표시되어 있다. 즉, 이 때에 도 21에 도시된 바와 같이 전연 교차하지 않거나, 도 22에 도시된 바와 같이 일군의 곡선은 서로 Cp1, Cp2, Cp3, Cp4, Cp5 및 Cp6(Cpn)라는 복수의 교점에서 교차한다. n은 정수이다. 마찬가지로, 각 점에서의 교차빈도(Fc)를 구하고, 새로이 설정한계값(Fth')보다 높은 빈도를 가지는 점이 없으면, 일군의 곡선은 교차하고 있지 않는 것으로 하고, 윤곽선은 원호로 간주하고, 적합한 원호의 식을 구한다. 즉, 이들 식에서 자동차(AM)가 현재 주행 중 혹은 정지 중의 차선, 즉 도로의 치수적 특징을 알 수 있다.

도 2에서 도시한 바와 같이, 차선윤곽 추출기(606)는 매칭검출기(9)에 접속되어서, 매칭신호(Sm)를 받는다. 매칭신호(Sm)에는 상기한 바와 같이, 잡음성분인 윤곽선 데이터(ScR')도 포함되어 있다.

그리하여 차선윤곽 추출기(11)가 매칭신호(Sm)에 포함되어 있는 치수의 특징데이터를 자동차의 폭, 차선폭, 차선분리선(Lm2)의 분할패턴 등의 사전의 주요점 데이터와 비교하여, 목적차선에 적합하지 않는 윤곽데이터(ScR')는 제외되고 현재의 차선에 대응하는 윤곽선 ScR 및 ScL의 데이터만 매칭신호(Sm)로서 출력된다. 만일 매칭신호(Sm)중에 차선에 해당하는 데이터가 없는 경우에는 에러신호(See)(도시생략)가 출력된다.

도 19를 참조하여, 차선윤곽 추출기(606)에 의한 필터작동을 설명한다, 조감도화상(Vcc)에 지금 3개의 윤곽선(ScL, ScR 및 ScR')이 포함되어 있다. 위에서 세워서 2화소째 까지는 좌측의 2개 윤곽선(ScL 및 ScR)이 한 개의 차선표시(Lm)를 규정하는 쌍으로 된다. 그러나, 제3∼5번째까지의 화소에 관해서는 우측의 차선표는 분할타입이므로, 조감화상신호(Scc)는 오른쪽 옆차선의 윤곽선(ScR')을 추출하고 있다. 이 경우에, 명백하게 2개의 윤곽선(ScL과 ScR')의 간격은 차선표시로서는 너무 넓다. 그러나, 이 시점에서는 ScL과 ScR'의 어느 쪽의 윤곽선이 이상인지는 알수 없다.

제6번째부터 11번째의 화소에 관하여, 명백히 윤곽선(ScL, ScR)은 쌍이다. 또, 윤곽선(ScL)은 매칭검출기(9)에 의하여, 한 개의 원호(ScLm)를 매칭하고 있으므로, 제3∼5번째의 화소에 대하여도 차선표시(Lm1)에 대응한다고 간주된다. 그 결과 옆차선의 ScR'의 3화소는 오류라고 간주되어 무시된다. 그리고, 올바른 쌍인 윤곽선(ScL, ScR)의 2개만 추출되어서 각각 매칭한 윤곽선(ScLm, ScRm)이 선택되고, 그 정보와 함께 차선윤곽신호(Slc)로서 출력된다. 상기의 도로검출기(500)에 의한노면판정에 더하여 차선윤곽 추출기(606)에 의한 처리의 결과 1개의 차선을 규정하지 않은 것 같은 잡음성분, 예컨대 노상의 손상이나 더러움에 기인하는 것도 차선 윤곽신호(S1c)에서 제외되어 있는 것은 명백하다. 도 23에 상기의 차선윤곽 추출기(606)에 의한 윤곽선 잡음이 제거된 차선추출신호(S1e)에 의하여 표시되는 추출차선 윤곽화상(V1e)을 도시하였다.

다음에, 도 23을 참조하여, 차선내 위치검출기(608)의 작용을 설명한다. 차선윤곽 추출기(606)로부터의 차선윤곽신호(Slc)를 받아서, 차선내 위치검출기(608)는 좌우의 차선윤곽에 맞추어 원 또는 직선의 관계식(ScLm 및 ScRm)과 Z=0의 직선의 교점(HL 과 HR)을 구한다. 다음에 차선의 중앙의 좌표, 즉 HL과 HR의 중점 좌표(HC, 0)를 구한다. 여기서 카메라의 위치는 (0, 0)이므로 디지털 촬상장치(100)를 자동차(AM)의 중앙에 부착하고 있는 경우에는, 자동차(AM)의 위치는 차선의 중앙으로부터의 가로변이량을 -HC로서 얻을 수 있다.

이하에 도 24에 도시한 순서도를 참조하여 본 실시형태의 국지적 위치파악장치(LP)의 작동을 설명한다.

블록(#1)에 있어서, 디지털 촬상장치(100)에서 전경을 촬영하여 생성한 화상데이터 (Si)를 입력한다.

블록(#3)에 있어서, 공간주파수 분리기(200)가 디지털 화상신호(Si)에서 공간 저주파수 신호(SL) 및 공간 고주파 신호(SH)를 생성한다.

블록(#5)에 있어서, 한계값 설정치(402)가 공간 고주파 신호(SH) 중의 에지 화소 농도에 의거하여 한계값(Eth)을 결정함과 동시에 윤곽한계값 신호(Sth)를 생출신호(Srs)에 의거하여, 차선존재 가능영역(AeR, AeL)을 나타내는 노면영역신호(Srr)를 생성한다.

블록(#19)에 있어서, 노면영역신호(Srr)의 대신으로 에러신호(See)가 출력되어 있지 않는지가 판단된다. 노면영역이 검출되어 있지 않은 경우에는 YES로 판단되어서, 블록(#1)으로 되돌아간다. NO의 경우에는 다음의 블록(#21)으로 나아간다.

블록(#21)에 있어서, 도로검출기(500)는 노면영역신호(Srr)에 의거하여 노면윤곽신호(Sre)가 나타내고 있는 추출윤곽이 바른 것인지를 판단한다. 바르지 않을 때에는 노면판정신호(Sj)에 의하여 윤곽추출기(404)를 구동하여 노면윤곽신호(Sre)를 갱신하고, 바를 경우에만 노면윤곽신호(Sre)를 노상위치 검출장치(600)에 출력한다.

블록(#23)에 있어서, 좌표변환기(602)에 의하여 노면윤곽신호(Sre)의 추출윤곽화상(Vre)을 조감화상(Vcc)에 좌표변환하여 조감화상신호(Scc)를 생성한다.

블록(#25)에 있어서, 매칭검출기(604)에 의하여, 하프변환을 이용하여 조감화상신호(Scc)중의 내측윤곽선을 나타내는 식을 직선 혹은 원호로 매칭한다. 또한, 매칭검출기(604)는 매칭한 직선 혹은 원호를 나타내는 매칭신호(Sm)를 생성한다.

블록(#27)에 있어서, 매칭신호(Sm)의 대신에 에러신호(See)가 출력되고 있지 않는지가 판단된다. 매칭하는 직선 혹은 원호가 없을 경우에는 YES로 판단되어서블록(#1)으로 되돌아간다. NO의 경우에는 다음의 블록(#29)으로 나아간다.

블록(#29)에 있어서, 차선윤곽 추출기(606)는 매칭신호(3m)에 나타내는 매칭한 윤곽선의 치수적 특징을 차선의 치수적 특징과 비교한다. 차선윤곽 추출기(606)는 현재 위치하고 있는 차선을 규정하는 1조의 차선윤곽선을 추출하여, 차선윤곽신호(S1c)를 생성한다.

블록(#31)에 있어서, 차선내 위치검출기(608)가 차선윤곽신호(S1c)에 의거하여 현위치를 검출하여, 신호위치(Sp)를 생성한다.

또한, 블록(#9, #19, 및 #27)에 있어서, 에러신호(See)가 생성되어 있으면, 블록(#1)에 처리를 되돌리고 있는 것은 동일 시각에 추출된 공간 고주파신호(SH) 및 공간 저주파수신호(SL)에 의거하여, 각 블록에 있어서의 처리를 행함으로써, 정도가 높은 차선검출 및 위치검출을 행하기 위함이다. 그러나, 필요한 검출정밀도에 의하여 블록(#9, #19, 및 #27)을 폐지해도 실용상 지장이 없다.

(실시형태 2)

이하, 본 발명의 제2의 실시형태에 대하여, 도 26 내지 도 44를 사용하여 설명한다. 도 26은 본 실시형태에 관한 도로영역 추출장치의 제1 실시예를 나타내는 블록도이다. 이 도로영역 추출장치는 도로화상 촬영수단(11), 휘도 히스토그램 작성수단(12), 도로휘도 분리수단(13), 도로다각형 검출수단(14)을 포함하여 구성되어 있다.

우선 도로화상 촬영수단(11)은 차량전방의 도로화상을 입력하는 것으로서, TV카메라가 사용된다. 이 TV카메라를 차량전방의 거의 중앙부에 배치해 두는 것으로 하면, 도로화상 촬영수단(11)에서 얻어지는 화상의 저면중앙부(R)는 후술하는 바와 같이 도로를 포함하는 것으로 된다. 휘도 히스토그램 작성수단(12)은 그 입력한 도로화상 데이터에서 도 27에 도시한 바와 같이 휘도의 히스토그램을 작성함과 성한다.

블록(#7)에 있어서, 윤곽추출기(404)가 윤곽한계값신호(Sth)에 의거하여, 공간 고주파신호(SH)에서 한계값(Eth)에 의거하여 차선표시의 윤곽을 추출하여 노면윤곽신호(Sre)를 생성한다.

블록(#9)에 있어서, 노면윤곽신호(Sre)신호의 대신으로 에러신호(See)가 출력되어 있지 않는가가 판단된다. 에러신호(See)가 출력되고 있는 경우에는 윤곽이 추출되어 있지 않음을 의미하므로 YES로 판단되어서, 블록(#1)으로 되돌아간다. NO인 경우에는 다음의 블록(#11)으로 나아간다.

블록(#11)에 있어서, 영역한정기(406)는 노면윤곽신호(Sre)에 의거하여 공간 고주파 신호(SH) 중에 윤곽을 추출해야 할 영역을 설정하여, 영역한정신호(Sr)를 생성함과 동시에, 고주파 추출기(204)에 출력한다. 이 다음의 블록(#3)에 있어서, 고주파 추출기(204)는 디지털 화상신호(Si) 내에서 영역한정신호(Sr)에 의하여 설정된 영역 내의 고주파 성분을 추출하여 공간 고주파신호(SH)를 생성한다.

블록(#13)에 있어서, 노면휘도 설정기(302)는 블록(#3)에서 생성된 공간 저주파 신호(SL)에 대하여, 노면위도범위(Bmax, Bmin)를 설정하여, 노면휘도신호(SBr)를 생성한다.

블록(#15)에 있어서, 노면화상 추출기(304)는 노면휘도신호(SBr)에 의거하여공간저주파수 신호(SL)에서 도로면 화상을 추출하여 노면추출신호(Srs)를 생성한다.

블록(#17)에 있어서, 노면영역 설정기(306)는 노면휘도신호(SBr) 및 노면추동시에 화상에서의 차량위치 즉 화상저부의 중앙위치의 휘도를 검출하는 것이다.

도로휘도 분리수단(13)은 히스토그램에서의 화상에서의 차량위치에서의 휘도값을 중심으로 좌우에 도수(度數)의 변화를 조사하고, 도수의 골(trough)을 검출함으로써 도로에 상당하는 휘도범위를 구하여 화상 위에서 그 범위 내의 화소를 도로영역 후보로서 추출하는 것이다. 도로다각형 검출수단(14)은 도로후보 영역으로서 추출한 영역에서 화상저부 주사선의 중앙으로부터 좌우로 그 영역의 끝을 검출하고, 검출된 끝의 위치에서 중점(中点)을 발견하여, 위쪽의 주사선에서 똑같이 끝을 찾아내어서 다각형으로서 도로영역을 검출하는 것이다.

다음에 상기한 처리의 흐름을 구체적으로 도 28의 순서도를 이용하여 설명한다. 우선 단계(S1)에 있어서, 도로화상 촬영수단(11)에서의 휘도데이터를 사용하여 휘도의 히스토그램을 작성한다.

단계(S2)에서, 화상저부의 중앙의 위치에서의 휘도(b₀)를 사용하여 상기한 휘도 히스토그램에 있어서의 차량 바로 밑의 위치를 구한다. 또, 좌측의 골을 검출한다.

단계(S3)에 있어서, b를 휘도값 파라메터, b₁을 어떤 일정 휘도값으로 하고 다음의 서로 겹치는 범위 b₀-b₁≤b < b₀및 b₀-3b₁/2 ≤b < b₀-b₁/2에서의 각각의 휘도의 평균 b_mean1, b_mean2를 구한다.

단계(S4)에 있어서, b_meana = b_mean2 - b_mean1의 연산을 행하여, 단계(S5)에 있어서, b_meana의 부호판정을 실행한다. 부호가 -로부터 +로 변하면 골이 존재한다고 판정한다. 만약 부호가 -에서 +로 변하지 않았으면 단계(S6)에서 b₀= b₀-b₁/2로 하여 단계(S3)로 되돌아간다. 이와 같이, 동일한 처리를 반복함으로써 휘도 히스토그램 상에서 좌측의 골을 검출할 수 있다.

다음으로, 우측의 골을 검출한다. 우선 단계(S7)에 있어서, 동일하게 b₀을 단계(S2)의 초기값으로 하고, b0 < b ≤b₀＋b₁및 b₀＋b₁/2 < b ≤b₀＋3b₁/2의 범위의 각각의 휘도의 평균 b_mean3, b_mean4를 구한다. 다음에 단계(S8)에서 b_meanb = b_mean4-b_mean3을 구한다.

단계(S9)에서 b_meanb의 부호판정을 행하여서, 부호가 -에서 +로 변하면 골이 존재한다고 판정한다. 만일 부호가 -에서 +로 변하지 않았으면, 단계(S10)에서, b₀= b₀+b₁/2로 하여, 단계(S7)를 반복한다. 이와 같이, 동일한 처리를 반복함으로써, 휘도 히스토그램 상에서 우측의 골을 검출할 수 있다.

그리고, 단계(S11)에서 골에 둘러싸여 있는 휘도범위를 사용하여, 화상에서 그 휘도범위에 들어있는 화소를 도로 후보영역으로서 추출한다.

단계(S12)에서는 도 29에 도시한 바와 같이, 화상저부 주사선의 중앙에서 좌우로 그 영역의 끝을 검출하고, 검출한 끝의 위치에서 중점을 찾아내어 그 위치에서 일정폭 위쪽 방향 주사선의 좌우에서 똑같이 끝을 차례로 찾아낸다. 이와 같이 얻은 주위의 각 점을 도시하는 바와 같이 연결하여 다각형으로 하여 도로영역을 검출한다.

이상과 같이 휘도 히스토그램에서의 차량 바로 밑의 휘도값이 포함되는 영역을 검출한다. 더욱이, 그에 대응한 화상에서의 영역을 사용하여 차량 바로 밑에 대응하는 화상저변 중앙에서 도로영역의 끝을 검출함으로써, 입력화상마다 정확한 도로영역의 추출이 가능하다.

도 30은 본 실시형태에 관한 도로영역 추출장치의 제2 실시예를 도시한 것이도로영역 추출장치는 도로화상 촬영수단(21), 자기차위치 도로휘도패턴 계측수단(22), 노면휘도패턴 도로영역 분할수단(23)을 포함하여 구성되어 있다. 도로화상 촬영수단(21)은 차량전방의 도로화상을 입력하는 것으로서, TV카메라가 사용된다. 이 TV카메라를 차량전방의 거의 중앙부에 배치해 두는 것으로 하면, 도로화상 촬영수단(21)에서 얻어지는 화상의 저면중앙부(R)는 후기하는 바와 같이 도로를 포함하는 것으로 된다.

자기차위치 도로휘도패턴 계측수단(22)은 그 입력한 도로화상 데이터에서 도 31에 도시한 바와 같이, 화상저변의 중앙에서 일정의 영역(S₀)을 취하여 그 범위내의 휘도분포(a)를 계측하는 것이다. 노면휘도패턴 도로영역 분할수단(23)은 도로화상을 분할하여 도 32에 도시한 바와 같이, 그 개개의 휘도분포(b)와 자기차위치 도로휘도패턴 계측수단(22)으로 구한 휘도분포 패턴(a)을 비교함으로써, 패턴이 유사하면 도로라고 판단한다.

이상과 같이 구성된 도로영역 추출장치의 동작에 대하여 도 33의 순서도를 사용하여 설명한다. 우선 단계(S1)에서 도로화상 촬영수단(21)에서의 휘도데이터를 사용하여 화상저변 중앙에서 일정 범위 영역(S₀)의 휘도의 평균(μ)이나 분산(σ 2) 등의 휘도분포 패턴을 구하여, S₀내의 데이터 수를 n으로하여 최대 대수공산(對數公算)을 다음과 같이 구한다.

1(μ, σ 2)=-(N/2) log2π σ 2-n/2 .......... (12)

단계(S2)에 있어서, 도로화상을 N ×N(여기의 영역의 데이터 수 n)으로 분할하고 영역(S₀)과 다른 Si의 휘도의 평균(μ i)이나 분산(σ i2) 등의 휘도분포 패턴을 구하여 최대 대수 공산(1i)을 계산한다. 단계(S3)에 있어서, 최대 대수 공산(1i)이 1-α≤1i ≤1+α (α 는 +의 정수)이면 단계(S4)에서 도로로 판정한다. 예컨대 도 32의 패턴(a, b)은 휘도값이 다르나, 분포패턴이 유사하기 때문에, 영역(S₁)은 도로라고 판단한다. 만약 위의 식을 만족시키지 못할 때에는 단계(S5)에서 도로가 아니라고 판단한다. 단계(S6)에 있어서, I ≥N ×N이면 종료되고, 그렇지 않으면 단계(7)에서 I = i+1로서 단계(S2)로 되돌아가서 동일한 처리를 반복한다.

이상과 같이 본 실시형태에서는 차량 바로 밑 근방 영역의 휘도패턴과 마찬가지 패턴을 가진 영역을 검출함으로써, 정확하게 도로영역을 추출할 수 있다. 또,휘도패턴의 S₀와의 공산(likelihood)으로부터 화상전체를 분할할 수도 있다.

도 34는 본 실시형태의 도로영역 추출장치의 제3 실시예를 도시한 것이다. 이 도로영역 추출장치는 도로화상 촬영수단(31), 휘도 히스토그램 작성수단(32), 화소수 도로영역 추출수단(33)을 포함하여 구성되어 있다. 먼저 도로화상 촬영수단(31)은 차량전방의 도로화상을 입력하는 것이며, TV카메라가 사용된다. 이 TV카메라를 차량전방의 대략 중앙부에 배치하여 두는 것으로 하면, 도로화상 촬영수단(31)으로부터 얻을 수 있는 화상의 밑면 중앙부는 도로를 포함하는 것이 된다.

휘도 히스토그램 작성수단(32)은 그 입력한 도로화상 데이터로부터 도 35에 도시한 바와 같이, 휘도의 히스토그램을 작성하여, 차량위치 즉 화상저부의 중앙위치의 휘도를 검출한다. 본 실시예에서는 휘도 히스토그램에 있어서는 차량위치에서 의 휘도보다 휘도값이 크고, 또한 카메라의 높이나 화각이나 복각(伏角)에 의하여 화상 위에서의 도로에 대응하는 화소수가 대략 일정값으로 결정되는 것을 이용하고 있으며, 이 화소수를 g라고 한다. 화소수 도로영역 추출수단(33)은 도로의 화소수에 대응하는 도수를 포함하는 휘도범위까지를 도로화소에 의한 도수라 판단하는 것이다. 휘도 히스토그램의 도로영역이라고 판정한 영역의 휘도범위에 들어가 있는 도로화상의 화소를 추출하여, 도로영역으로 한다. 이상과 같이 구성된 도로영역 추출장치의 동작에 대하여 도 36의 순서도를 사용하여 설명한다.

먼저 단계(S1)에 있어서, 도로화상 촬영수단으로부터의 휘도 데이터를 사용하여 휘도의 히스토그램을 작성한다.

도 35는 이 휘도 히스토그램의 일례를 도시하고 있다.

단계(S2)에서, 화상저부의 중앙위치에서의 휘도(b₀)를 사용하여, 도수의 합(S)을 0으로 한다.

단계(S3)에서, b₀보다 큰 각 휘도에서의 도수(a)를 사용하여 도수의 합(S)을 구한다.

단계(S4)에서, s가 미리 구한 도로영역에 대응하는 화소수(g)를 초과하였다면 도로영역을 추출하였다고 판단한다. 만일 g보다 작다면 단계(S5, S3)로 되돌아가서 다음의 휘도값(b₀+△b)의 휘도의 도수(ai)를 가산한다, s가 g를 초과하였다면 단계(S5, S6)로 진행하여 초과하였을 때의 휘도값(b₁)과 차량위치에서의 원래의 휘도(b₀)를 사용하여 b₀≤br ≤b₁의 휘도(br)의 화소를 추출한다. 그리고, 단계(S7)에 있어서, 이것들의 화소를 도로화상 위에서 발견하여, 도로영역으로 한다.

이상과 같이, 도로의 휘도값은 차량 바로 밑의 휘도값보다 연속적으로 밝아지는 성질을 사용하고 있다. 그 때문에, 휘도 히스토그램에서 차량 바로 밑의 휘도를 구하고, 그 값으로부터 미리 구하여 둔 화상 위에서의 도로의 화소수만큼의 도수를 포함하는 휘도값을 구하여 이 휘도범위에 들어가는 화소를 도로이라고 판단함으로써, 정확하게 도로영역을 추출할 수 있다.

도 37에 본 실시형태의 도로영역 추출장치의 제4 실시예를 도시하였다. 이 도로영역 추출장치는 도로화상 촬영수단(41), 휘도 히스토그램 작성수단(42), 화상분할수단(43), 도로영역 병합수단(44), 도로폭 검출수단(45)을 포함하여 구성되고 있다. 먼저, 도로화상 촬영수단(41)은 차량전방의 도로화상을 입력하는 것이며, TV 카메라가 사용된다. 이 TV카메라를 차량전방의 대략 중앙부에 배치하여두는 것으로하면, 촬영수단(11)으로부터 얻을 수 있는 화상의 저면 중앙부(R)는 나중에 설명하는 바와 같이 도로를 포함하게 된다.

휘도 히스토그램 작성수단(42)은 입력된 도로화상 데이터로부터 도 38에 도시한 바와 같이 휘도 히스토그램을 작성함과 동시에, 화상 위에서의 차량위치, 즉 화상저부의 중앙위치의 휘도를 검출한다. 다음으로 화상분할수단(43)은 휘도의 분포로부터 모든 골(trough)을 검출하여 도 39와 같이 도로화상을 분할한다. 도로영역 병합수단(44)은 나중에 설명하는 도로폭 검출수단(45)으로부터의 도로폭 정보를 기초로, 차량 바로 밑의 분할영역을 최초로 가로방향의 영역을 병합하고, 이어 세로방향의 분할영역을 병합하여 간다. 도로폭 검출수단(45)은 도로영역 병합수단(44)으로부터 구한 도로영역에서 화면 상의 각 높이로부터 도로의 폭을 구한다.

이상과 같이 구성된 도로영역 추출장치의 동작에 대하여 도 40 및 도 41의 순서도를 사용하여 설명한다. 먼저 단계(S1)에 있어서, 도로화상 촬영수단으로부터의 휘도 데이터를 사용하여, 도 38에 도시한 바와 같이 휘도의 히스토그램을 작성한다. 단계(S2)에서, 화상저부의 중앙위치에서의 휘도(b₀)를 사용하여 조금 전의 휘도 히스토그램에 있어서의 차량 바로 밑의 위치를 구한다. 먼저, 왼쪽의 골을 검출한다. 단계(S3)에 있어서, (b)를 휘도값 파라메터, (b₁)을 어떤 일정한 휘도값으로 하고, 다음의 서로 겹치는 범위 b₀-b₁≤b < b₀및 b₀-3b₁/2 ≤b < b₀-b₁/2에서의 각각의 휘도의 평균 b_mean1, b_mean2를 구한다.

단계(S4)에 있어서, b_meana = b_mean2-b_mean1을 구한다.

단계(S5)에 있어서, b_meana의 부호판정을 한다. 부호가 음에서 양으로 바뀌었다면 골이 존재한다고 판정한다.

만일, 부호가 음에서 양으로 바뀌고 있지 않다면, 단계(S6)에서 b₀= b₀-b₁/2로서 단계(S3)로 되돌아간다. 이렇게 하여, 똑같은 처리를 반복함으로써 휘도 히스토그램 상에서 좌측의 골을 검출할 수 있다. 이 처리를 휘도 히스토그램 좌단까지실행하여(단계 S7), 단계 S8로 전진한다.

다음에, 우측의 골을 검출한다. 먼저, 단계(S8)에 있어서, 마찬가지로 b₀을 단계(S2)의 초기값으로 하여, b₀< b ≤b₀＋b₁및 b₀＋b_1/2 < b ≤b₀＋3b₁/2범위의 각각의 휘도의 범위의 각각의 휘도의 평균 b_mean3, b_mean4를 구한다.

다음에, 단계(S9)에서 b_meanb = b_mean4-b_mean3을 구한다.

다음에, 도 41에 도시한 단계(S10)에서, b_meanb의 부호판정을 하여, 부호가 음에서 양으로 바뀌었다면 골이 존재한다고 판정한다. 만일, 부호가 음에서 양으로바뀌지 않았다면, 단계(S11)에서, b₀= b₀+b₁/2로 하여, 단계(S7)를 반복한다. 이렇게 똑같은 처리를 반복함으로써, 휘도 히스토그램 상에서 우측의 골을 검출할 수 있다, 단계(S12)에서, 골의 판정이 히스토그램상의 우단까지 하였는지 어떤지를 판정한다. 만일 우단까지 하고 있지 않았다면 단계(S11, S8)를 반복한다. 만일 우단까지 하고 있었다면, 단계(S13)에서 골에 둘러싸인 영역을 발견하여, 화상에서 대응하는 영역을 추출한다. 도 39는 이와 같이 하여, 입력화상을 골에 둘러싸인 영역으로 분할한 것이다.

다음으로 단계(S14)에서, 자기차량 바로 밑에 대응하는 영역을 검출하여, 이것을 주목영역으로 한다. 도 39에서는 영역(S₀)이 주목영역으로 된다. 그리고 단계(S15)에서, 주목영역(S₀)의 가로로 접하는 영역(S₁)을 병합한다. 단계(S16)에서 전회에서 구한 도로폭 wf(h)를 참조하여 가로폭 w(h)를 계산한다. 단계(S17)에서 wf(h)> w(h)라면 단계(S15)로 복귀한다. 만일, wf ≥w라면, 단계(S14)에서 병합영역의 높이(h)가 소정의 높이(h₀)보다 크면 처리를 종료한다. 여기서, h₀은 도로소실선의 높이이며, 도로가 수평이면 도로화상 촬영수단(41)의 부착위치에 의하여 일정한 높이로 된다. 만일, h < h₀이라면 단계(15)에서 병합영역의 위쪽에 접하고, 아래 영역의 상부의 폭보다 좁은 영역, 도 39에서는 S₂및 S₃을 병합한다. 그리고, 높이가 h₀에 도달하면 종료한다.

이상과 같이, 도로폭에 따라서 분할영역을 구하고, 또한 화상 위에서의 도로구성의 성질을 사용하여 도로영역을 추출하므로 정확한 도로영역 추출을 할 수 있다. 더욱이, 화상은 휘도패턴의 비교로 분할하여, 상기 방법으로 병합하여 도로영역을 추출할 수도 있다.

도 42는 본 실시형태의 도로방향 검출장치의 제5 실시예를 도시한 것이다. 이 도로방향 검출장치는 도로화상 촬영수단(51), 휘도 히스토그램 작성수단(52), 화상분할수단(53), 도로영역 병합수단(54), 도로폭 검출수단(55), 도로영역 상관값 검출수단(56), 도로방향 검출수단(57)을 포함한다.

먼저, 도로화상 촬영수단(51)은 차량전방의 도로화상을 입력하는 것으로, TV 카메라가 사용된다. 이 TV카메라를 차량전방의 대략 중앙부에 배치하여두는 것으로 하면, 촬영수단(51)에서 얻을 수 있는 화상의 저면중앙부는 나중에 설명하는 바와 같이 도로를 포함하는 것이 된다. 휘도 히스토그램 작성수단(52)은 입력된 도로화상 데이터에서 도 38에 도시한 바와 같이, 휘도 히스토그램을 작성함과 동시에, 화상 위에서의 차량위치, 즉 화상저부의 중앙위치의 휘도를 검출한다.

다음에 화상분할수단(53)은, 휘도의 분포로부터 골을 검출하여 도로화상을 분할한다. 도로영역 병합수단(54)은 나중에 설명하는 도로폭 검출수단(55)으로부터의 도로폭 정보를 기초로, 차량 바로 밑의 분할영역을 최초에 가로방향의 영역을 병합 및 세로방향의 분할영역을 병합한다. 도로폭 검출수단(55)은 도로영역 병합수단(54)으로부터 구한 도로영역에서 도로의 폭을 구한다. 도로영역 상관값 검출수단(56)에 있어서, 도 43에 도시한 바와 같이, 도로폭 검출수단(55)으로부터의 화상저부에 있어서의 2개의 도로단 위치와 소정의 소실선 위의 임의의 점에서만드는 3각형과 도로영역 병합수단(54)으로부터 구한 도로영역과의 상관값을 구한다. 도로방향 검출수단(57)은, 상관값의 가장 클 때의 소실선 상의 점의 위치로부터 차량에 대한 도로의 방향을 검출한다.

도 44에 도시한 순서도를 참조하여, 이상과 같이 구성된 도로방향 검출장치의 동작에 대하여 설명한다. 먼저 단계(S1)에서 제5 실시예와 똑같은 방법으로 도로영역을 추출한다.

단계(S2)에 있어서, 소정의 소실선상의 좌단의 점 r=0으로 한다, 단계(S3)에서 점(r)과 도로단부가 만드는 3각형과 추출한 도로영역의 상관, 즉 일치하는 화소수를 산출한다. 단계(S4)에서 r=r+1로서 소실선상의 점을 오른쪽으로 1화소 이동시킨다. 단계(S5)에서, 만일 우단(r_h)을 초과하지 않는다면, 단계(S3)로 복귀하여 같은 처리를 반복하고, 만일 r이 우단(r_h)을 초과한다면 단계(S6)로 전진한다. 단계(S6)에서, 상관값의 가장 큰 값을 채택하는 r을 검출한다. 그리고, 이 값(r)이 화상의 옆의 화소수의 r_h/2보다도 크면 도로는 차량에 대하여 오른쪽 방향에 있다고 판단한다. 만일, r < r_h/2라면 왼쪽방향에 있다고 판단한다.

이상과 같이, 도로 단부와 소실점이 만드는 3각형과 추출도로 영역과의 상관을 채택함에 따라서, 최대상관값으로부터 차량을 기준으로 한 도로의 방향을 용이하게 구할 수 있다.

이상 상세히 설명한 바와 같이, 본 발명의 제1 실시형태에 있어서는 공간주파수적으로 중복이 없는 저주파 화상과 고주파 화상으로부터 독립하여 도로영역과 도로백선 후보의 윤곽점을 검출하고 있다. 그 때문에, 고주파 화상만으로부터 윤곽점을 검출하는 종래 예에 비하여 잡음의 영향을 받기 어렵고, 백선을 고정밀도로 검출할 수 있는 효과를 얻을 수 있다.

또한, 제2 실시형태에 있어서는 화상데이터로부터 도로영역을 검출하고, 그리고 차량 바로 밑에 대응하는 화상저변 중앙으로부터 도로영역의 다각형을 검출함으로써, 입력화상마다 정확한 도로영역의 추출을 할 수 있다. 또한, 휘도 히스토그램에서의 차량 바로 밑의 휘도값이 포함되는 영역을 검출하여, 그에 대응한 화상 위에서의 영역을 사용하여, 차량 바로 밑에 대응하는 화상저변 중앙으로부터 도로영역의 에지를 검출함으로써, 입력화상마다 정확한 도로영역의 추출을 할 수 있다. 또한, 차량 바로 밑 근방의 영역과 똑같은 패턴을 검출함으로써 도로영역의 추출을 하고 있기 때문에 정확하게 도로영역을 추출할 수 있다. 그리고, 휘도 히스토그램으로 차량 바로 밑의 휘도를 구하고, 그 값으로부터 미리 구하여둔 화상 위에서의 도로의 화소수만큼의 도수를 포함하는 휘도값을 구하여 이 휘도범위에 들어가는 화소를 도로라고 판단함으로써, 정확하게 도로영역을 추출할 수 있다. 또한, 도로폭이나 휘도패턴의 비교에 의하여 분할영역을 구하며, 또한 화상 위에서의 도로구성의 성질을 사용하여 도로영역을 추출하므로 정확하게 도로영역을 추출할 수 있다.

Claims

대상물(AM)의 진행방향의 국지적 지역(Vi)을 나타내는 디지털 화상신호(Si)에 의거하여, 상기 국지적 지역 상의 차선에 관한 방향으로 진행할 수 있는 대상물(AM)의 국지적 위치를 검출하는 국지적 위치파악장치(LP)에 있어서,

상기 디지털 화상신호(Si)로부터 공간주파수의 높은 주파수 성분을 추출하여 공간 고주파 신호(SH)를 생성하는 고주파 추출기(204)와,

상기 공간 고주파 신호(SH)에 의거하여 상기 차선의 윤곽을 추출하여 노면윤곽 신호(Sre)를 생성하는 도로윤곽 검출기(400)와,

상기 디지털 화상신호(Si)로부터 공간주파수의 낮은 주파수 성분을 추출하여 공간 저주파 신호(SL)를 생성하는 저주파 추출기(202)와,

상기 공간 저주파 신호(SL)에 의거하여 상기 노면의 영역을 추출하여 노면영역 신호(Srr)를 생성하는 도로면 검출기(300)와,

상기 노면윤곽 신호(Sre)와 상기 노면영역 신호(Srr)에 의거하여, 상기 차선의 위치를 검출하여 차선검출 신호(Sde)를 생성하는 도로검출기(500)를 포함하는 것을 특징으로 하는 국지적 위치파악장치(LP).
제1항에 있어서, 상기 도로면 검출기(300)는, 노면영역 신호(Srr)에 소정의 허용범위(Wa)를 붙여서, 상기 차선영역이 존재할 수 있는 노면단 영역(AeR, AeL)을 나타내는 제2 노면영역 신호(Srr)를 생성하는 노면영역 설정기(306)를 포함하고,

상기 도로검출기(500)는, 상기 노면윤곽 신호(Sre)와 상기 제2 노면영역 신호(Srr)를 비교하여, 상기 노면윤곽 신호(Sre)와 상기 노면단 영역(AeR, AeL)과의 대소관계를 검출하는 것을 특징으로 하는 국지적 위치파악장치(LP).
제2항에 있어서, 상기 도로검출기(500)는

상기 노면윤곽 신호(Sre)가 상기 노면단 영역(AeR, AeL) 내에 있는 경우에는, 상기 노면윤곽 신호(Sre)를 차선검출신호(Sde)로 하는 것을 특징으로 하는 국지적 위치파악장치 (LP) .
제3항에 있어서, 상기 도로검출기(500)는, 상기 노면윤곽 신호(Sre)가 상기 노면단 영역(AeR, AeL) 내에 없는 경우에는, 도로윤곽 검출기(400)에 새로운 윤곽을 추출하도록 하는 것을 특징으로 하는 국지적 위치파악장치(LP).
제1항에 있어서, 상기 차선검출신호(Sdc)에 의거하여, 대상물(AM)의 차선 상의 위치를 검출하는 노상위치 검출장치(600)를 더 포함하는 것을 특징으로 하는 국지적 위치파악장치 (LP).
제1항에 있어서, 상기 도로면 검출기(300)는, 상기 공간 저주파 신호(SL)로부터 소정의 노면휘도 범위(Bmin-Bmax)의 화소를 추출하여 상기 노면영역 신호(Srr)를 생성하는 것을 특징으로 하는 국지적 위치파악장치(LP).
제6항에 있어서, 상기 도로면 검출기(300)는

제1 소청거리(yPf)만큼 떨어진 지점의 화상을 나타내는 화소(pf)로부터 제1 휘도(Bmax)를 추출하는 제1 노면휘도 설정기(302)를 포함함과 동시에,

상기 제1 휘도(Bmax) 이하의 휘도를 지닌 화소를 추출하여 상기 노면영역 신호(Srr)를 생성하는 것을 특징으로 하는 국지적 위치파악장치(LP).
제7항에 있어서, 상기 도로면 검출기(300)는

제2 소정거리(yPn)보다 가까운 지점의 화상을 나타내는 화소(Pn)로부터 제2 휘도(Bmin)를 추출하는 제2 노면휘도 설정기(303)를 더 포함함과 동시에,

상기 제1 휘도(Bmax)와 제2 휘도(Bmin)의 범위 내의 휘도를 지닌 화소를 추출하여 상기 노면영역 신호(Srr)를 생성하는 것을 특징으로 하는 국지적 위치파악장치(LP).
제7항에 있어서, 상기 제1 소정거리(yPf)는 상기 대상물(AM)의 이동속도(Sv)에 따라 임의로 정할 수 있는 것을 특징으로 하는 국지적 위치파악장치(LP).
제7항에 있어서, 제1 노면휘도 설정기(302)는, 제1 소정거리(yPf)만큼 떨어진 지점을 지나는 수평선상의 일정한 수평위치(xPf) 지점의 화상을 나타내는 화소(Pf)로부터, 상기 제1 휘도(Bmax)를 추출하는 것을 특징으로 하는 국지적 위치파악장치(LP).
제10항에 있어서, 상기 일정한 수평위치는 상기 대상물(AM)의 조타신호(Ss)에 따라서 임의로 정할 수 있는 것을 특징으로 하는 국지적 위치파악장치(LP).
대상물(AM)의 진행방향의 국지적 지역(Vi)을 나타내는 디지털 화상신호(Si)에 의거하여, 상기 국지적 지역 상의 차선에 관한 방향으로 진행할 수 있는 대상물(AM)의 국지적 위치를 검출하는 국지적 위치파악방법에 있어서,

상기 디지털 화상신호(Si)로부터 공간주파수의 높은 주파수 성분을 추출하여 공간 고주파 신호(SH)를 생성하는 고주파 추출단계와,

상기 공간 고주파 신호(SH)에 따라서, 상기 차선의 윤곽을 추출하여, 노면윤곽 신호(Sre)를 생성하는 도로윤곽 검출단계와,

상기 디지털 화상신호(Si)로부터 공간주파수의 낮은 주파수 성분을 추출하여 공간 저주파 신호(SL)를 생성하는 저주파 추출단계와,

상기 공간 저주파 신호(SL)에 따라서 상기 노면의 영역을 추출하여, 노면영역 신호(Srr)를 생성하는 도로면 검출단계와,

상기 노면윤곽 신호(Sre)와 상기 노면영역 신호(Srr)에 따라서, 상기 차선의 위치를 검출하여 차선검출 신호(Sde)를 생성하는 도로검출 단계를 포함하는 것을 특징으로 하는 국지적 위치파악방법.