KR20070026542A

KR20070026542A - 선도형화 처리 장치

Info

Publication number: KR20070026542A
Application number: KR1020067024990A
Authority: KR
Inventors: 마코토 니시다; 아키히로 와타나베
Original assignee: 도요다 지도샤 가부시끼가이샤
Priority date: 2004-06-02
Filing date: 2005-05-25
Publication date: 2007-03-08
Also published as: JP4703136B2; KR100886605B1; WO2005119594A2; US20090010482A1; JP2005346385A; WO2005119594A3; CN101006464A; EP1759352A2

Abstract

노면의 촬영된 이미지로부터 노면상의 차선 (4) 의 경계선 또는 표시선 (5L, 5R) 의 경계선 중 2 이상의 선을 검출하는 차선 검출용 선도형화 처리 장치 (20) 는, 이미지에서 서로 교차하는 다수의 선 (L₀, La, Lb) 으로 구성된 제 1 선 그룹으로부터 제 1 경계선으로서 가장 긴 선 (L₀) 을 선택하는 제 1 경계선 추출 유닛, 및 이미지에서 서로 교차하는 다수의 선 (L₁₀, Lc, Ld) 으로 구성된 제 2 선 그룹으로부터 제 2 경계선으로서 가장 긴 선 (L₁₀) 을 선택하는 제 2 경계선 추출 유닛을 포함한다.

Description

선도형화 처리 장치{DIAGRAMMATIZING APPARATUS}

본 발명은 선도형화 처리 장치로서, 더 구체적으로는 차선 검출용 선도형화 처리 장치에 관한 것이다.

종래에 공지된 차선 검출용 선도형화 처리 장치는 차량이 주행하는 노면상에 그려진 표시선 또는 차선의 경계선을 검출한다. 선도형화 처리 장치에 의해 검출된 표시선 또는 차선의 경계선은, 표시선 또는 차선의 경계선에 기초한 차량의 차선 유지 작동을 실행하는 운전 지원 시스템에 의해, 또는 표시선 또는 차선의 경계선에 기초한 차량의 가로 방향의 이동을 검출하는 이탈 경고 시스템에 의해 채택될 수 있으며, 차량이 검출의 결과로서 차선으로부터 이탈이 생기기 쉬운 것으로 판정되면 알람을 울린다. 여기서, 표시선은 각 차선을 구분하는 선과 같은 차선의 경계 위치 및 백색선 또는 황색선과 같은 구획선, 승무원의 주의를 주기 위해서 제공된 차량 안내 점선을 포함한다.

예를 들면, 그러한 종래의 선도형화 처리 장치가 일본특허 공개공보 제 H8-320997 호 및 제 2001-14595 호에 개시되어 있다.

종래의 차선 검출용 선도형화 처리 장치는 카메라에 의해 촬영된 이미지로부터 각 픽셀 위치와 관련된 휘도 데이터를 추출하고, 추출된 휘도 데이터로부터 에 지점(edge point)으로서 한계값보다 높은 휘도를 갖는 픽셀 위치를 추출하며, 허프 변환(Hough transform)과 같은 선도형화 기술을 이용하여 추출된 에지점으로부터 표시선 또는 차선의 후보 경계선으로서 에지선(edge line ; 직선)을 검출한다.

제 1 선 및 제 2 선이, 예를 들어, 차량이 주행하는 노면상에 그려진 표시선 또는 차선의 경계선의 이미지와 같은 이미지에서 서로 교차하지 않고 최대 거리를 가지면, 제 1 선 및 제 2 선 이외의 선의 추출의 억제가 바람직하다.

종래의 차선 검출용 선도형화 처리 장치가 이미지를 처리하여 점들을 추출할 때, 점들은 노이즈를 포함하는 경향이 있으며, 종종 차량용 표시선 또는 차선의 경계선 이외의 이미지를 나타낸다(예를 들어, 차량의 그림자 또는 커브). 따라서 추출의 본래의 목표가 되는 표시선 또는 차선의 후보 경계선 이외의 선이 선도형화 기술에 의해 점들로부터 선 추출의 결과로 추출되어, 처리 비용이 증가한다. 따라서, 그러한 기술은 차량용 표시선 또는 차선의 경계선 검출용으로 불리하다.

전술한 관점에서, 본 발명의 목적은, 제 1 선 및 제 2 선 이외의 선의 추출을 억제하면서, 이미지에서 서로 교차하지 않고 최대 거리를 갖는 제 1 선 및 제 2 선을 이미지로부터 추출 가능한 선도형화 처리 장치를 제공하는 것이다.

본 발명의 또 다른 목적은, 표시선 또는 차선의 경계선 이외의 선의 추출을 억제하면서, 차량이 주행하는 노면상에 그려진 표시선 또는 차선의 경계선의 추출시에 노면의 이미지로부터 표시선 또는 차선의 경계선 추출이 가능한 차선 검출용 선도형화 처리 장치를 제공하는 것이다.

서로 교차하지 않고 이미지로부터 최대 거리를 가지는 제 1 선 및 제 2 선을 추출하는 선도형화 처리 장치는, 상기 이미지에서 서로 교차하는 다수의 선으로 구성된 제 1 선 그룹으로부터 상기 제 1 선으로서 가장 긴 선을 선택하는 제 1 선 추출 유닛, 및 상기 이미지에서 서로 교차하는 다수의 선으로 구성된 제 2 선 그룹으로부터 상기 제 2 선으로서 가장 긴 선을 선택하는 제 2 선 추출 유닛을 포함한다.

노면의 이미지로부터 노면상에서 2 이상의 차선의 경계선 또는 표시선의 경계선을 검출하는 본 발명에 따른 차선 검출용 선도형화 처리 장치는, 이미지에서 서로 교차하는 다수의 선으로 구성된 제 1 선 그룹으로부터 제 1 경계선으로서 가장 긴 선을 선택하는 제 1 경계선 추출 유닛, 및 이미지에서 서로 교차하는 다수의 선으로 구성된 제 2 선 그룹으로부터 제 2 경계선으로서 가장 긴 선을 선택하는 제 2 경계선을 포함한다.

본 발명에 따른 선도형화 처리 장치에서, 그 선은 점들의 선으로 형성되고, 선의 거리는 점들의 선을 구성하는 다수의 점들 사이에서 서로 가장 멀리 위치한 2 개의 점 사이의 거리에 기초로 하여 얻어진다.

본 발명에 따른 선도형화 처리 장치에서, 그 선은 점들의 선으로 형성되고, 선의 거리는 점들의 선을 구성하는 다수의 점들에 기초로 하여 얻어진다.

본 발명에 따른 선도형화 처리 장치에서, 그 선은 점들의 선으로 형성되고, 선의 거리는 점들의 선을 구성하는 다수의 점들 사이에서 서로 가장 멀리 위치한 2 개의 점들 사이의 거리 및 점들의 선을 구성하는 다수의 점에 기초로 하여 얻어진다.

본 발명에 따른 선도형화 처리 장치에서, 점들의 선으로 형성된 선은 허프 변환을 통해서 이미지에서의 점들로부터 추출된다.

본 발명에 따른 선도형화 처리 장치에서, 각각의 제 1 선 그룹 및 제 2 그룹은 허프 변환의 파라미터 공간을 사용하지 않고 또는 다수의 선이 서로 교차하는지 여부의 판정에 따라 검출된다.

본 발명에 따른 선도형화 처리 장치에서, 제 1 선 그룹으로부터 가장 긴 선 및 제 2 선 그룹으로부터 가장 긴 선의 선택은, 허프 변환의 파라미터 공간에서 투표된 투표값 및 파라미터 공간에 투표된 점들에 대응하는 좌표값 중 하나 이상을 이용하여 실행된다.

본 발명에서, 제 1 선 및 제 2 선 이외의 선의 추출은 억제되면서, 이미지에서 서로 교차하지 않고 최대 거리를 갖는 제 1 선 및 제 2 선이 이미지로부터 추출될 수 있다.

도 1a 는 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 의한 작동의 일부를 나타내는 플로우차트이다.

도 1b 는 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 의한 작동의 다른 일부를 나타내는 플로우차트이다.

도 2 는 본 발명의 실시형태에 따른 차선을 검출하기 위한 선도형화 처리 장치에 의한 작동의 다른 일부를 나타내는 플로우차트이다.

도 3 은 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 의한 작동의 다른 일부를 나타내는 플로우차트이다.

도 4 는 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 의해서, 기하학적으로 변환되어서 구분된 상하부 영역에 배열되는 에지점을 나타내는 개략도이다.

도 5a 는 mc 공간의 허프 변환을 설명하기 위해서 도시된 xy 공간을 나타내는 선도이다.

도 5b 는 m-c 공간의 허프 변환을 설명하기 위해서 도시된 mc 공간으로의 맵핑을 나타내는 선도이다.

도 6a 는 ρθ 공간의 허프 변환을 설명하기 위해서 도시된 파라미터 ρ 및 θ 을 나타내는 선도이다.

도 6b 는 ρθ 공간의 허프 변환을 설명하기 위해서 도시된 ρθ 공간으로의 맵핑을 나타내는 선도이다.

도 7 은 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 의해서 기하학적으로 변환되어서 상하부 영역으로 나누어지는 이미지로의 허프 변환의 적용을 설명해주는 선도이다.

도 8 은 도 7 의 허프 변환의 파라미터 공간의 개략도이다.

도 9 는 선이 도 7 의 허프 변환의 파라미터 공간에서 서로 교차하는 영역의 개략도이다.

도 10 은 도 7 의 이미지에 나타난 에지점으로 형성된 다수의 에지선 사이의 위치 관계의 예의 개략도이다.

도 11 은 본 발명의 실시형태에 따른 차선의 검출용 선도형화 처리 장치에 의한 에지선 추출의 개요를 설명하는 선도이다.

도 12 는 본 발명의 실시형태에 따른 차선의 검출용 선도형화 처리 장치가 적용되는 일 실시형태에 따른 운전 지원 시스템의 구성을 나타내는 블럭선도이다.

도 13 은 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 의해서 처리되는 차량과 표시선을 나타내는 개략도이다.

도 14 는 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 카메라가 장착되어 적용되는 차량의 개략도이다.

도 15 는 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치의 카메라에 의해 촬영된 이미지의 개략도이다.

도 16 은 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 의해 처리될 미리 정해진 수평선을 따른 각 픽셀의 위치에 대응하는 휘도 데이터의 예를 나타내는 그래프이다.

도 17 은 본 발명의 실시형태에 따른 차선 검출용 선도형화 처리 장치에 의해 처리될 미리 정해진 수평선에 따른 각 픽셀의 위치에 대응하는 휘도 미분값의 데이터의 예를 나타내는 그래프이다.

도 18 은 종래의 차선 검출용 선도형화 처리 장치의 표시선의 경계를 검출하는 방법을 설명하기 위해서 도시된 선도이다.

이하에서, 표시선 검출기는 첨부된 도면을 참조하여 본 발명의 차선 검출용 선도형화 처리 장치의 실시형태로서 상세하게 설명된다. 실시형태에 따른 표시선 검출기는 차선 유지 작동을 실행하는 운전 지원 시스템에 적용된다.

도 13 은 실시형태에 따른 표시선 검출기가 적용되는 차량 (1) 의 평면도이다. 도 14 는 차량 (1) 의 측면도이다. 도 13 및 도 14 에 도시된 바와 같이, 전하 결합 소자(CCD) 카메라 (11) 가 차량 (1) 의 전방부에서, 예컨대 차량 (1) 의 내부의 중심(룸 미러 주위)에서 이미지 촬영에 제공된다. CCD 카메라 (11) 는, 도 14 에 도시된 바와 같이 CCD 카메라 (11) 가 수평방향에 대하여 각도 (φ) 를 형성하도록 배치된다.

CCD 카메라 (11) 는 도 15 에 도시된 방법으로 차량 (1) 의 전방 노면의 이미지(비디오)를 포착한다. CCD 카메라 (11) 는, 이미지 촬영 범위가 차량 (1) 이 주행하는 차선 (4) 의 경계선, 즉 차선 표시에 의해 정해진 경계의 위치를 나타내는, 좌백선 (5L) 및 우백선 (5R) 의 영역을 커버하도록 배열된다.

도 12 는 실시형태에 따른 표시선 검출기 (20) 가 적용되는 운전 지원 시스템 (10) 의 구성을 나타내는 개략도이다. 도 12 에 도시된 바와 같이, 운전 지원 시스템 (10) 은, CCD 카메라 (11), 메인 스위치 (12), 표시선 검출기 (20), 차선 유지 전자 제어 유닛 ECU (30), 차량 속도 센서 (38), 표시장치 (40), 버저 (41), 스티어링 토크 제어 ECU (31 ; 주행 회로), 스티어링 휠 (32) 에 연결된 스티어링 샤프트 (33) 에 배치된 스티어링 각도 센서 (34) 와 토크 센서 (35), 및 기어 기구 (36) 를 통해서 스티어링 샤프트 (33) 에 연결된 모터 (37) 를 포함한다.

CCD 카메라 (11) 는 포착된 이미지를 아날로그 비디오 신호로서 표시선 검출 기 (20) 에 출력한다. 메인 스위치는 사용자에 의해 시스템을 시동/정지하기 위해서 조작되는 작동 스위치이고, 조종에 대응하는 신호를 출력한다. 메인 스위치 (12) 가 OFF 상태에서 ON 상태로 전환되면, 차선 유지 제어 ECU (30) 는 운전 지원 시스템 (10) 이 시동이 되도록, 작동 상태를 나타내는 신호를 표시선 검출기 (20) 로 출력한다.

표시장치 (40) 는 차량 (1) 의 내부에 있는 지시 패널상에 제공되고, 차선 유지 제어 ECU (30) 에 의해 발광되어서 사용자가 시스템의 작동을 확인하게 한다. 예를 들면, 표시선 (5L 및 5R) 이 차량 (1) 의 각 면상에서 검출되면, 차선 유지 제어 ECU (30) 는 표시장치 (40) 를 구동하여 발광한다. 차량이 차선으로부터 이탈하는 것으로 판정되면, 버저 (41) 가 구동되어서 차선 유지 제어 ECU (30) 에 의해 소리를 낸다.

표시선 검출기 (20) 는 제어기 (21), 휘도 신호 추출 회로 (22), RAM (23), 및 과거 이력 버퍼 (24) 를 포함한다.

휘도 신호 추출 회로 (22) 는 CCD 카메라 (11) 로 부터 비디오 신호를 수신하고, 휘도 신호를 추출하며, 이 신호를 제어기 (22) 로 출력한다.

휘도 신호 추출 신호 (22) 로부터 수신된 신호에 기초로 하여, 제어기 (21) 는 도 13 에 도시된 표시선 (5L 및 5R) 의 검출, 도로 파라미터(후술)의 계산, 차선 (4) 의 곡률 (R), 요우 각도 (yaw angle ; θ1), 및 오프셋의 검출과 같은 처리를 실행한다. 하지만, 제어기 (21) 는 처리와 관련된 다양한 데이터를 RAM (23) 에 임시로 저장한다. 제어기 (21) 는 검출된 표시선 (5L 및 5R) 의 폭, 및 계산된 도로 파라미터를 과거 이력 버퍼 (24) 에 저장한다.

여기서, 요우 각도 (θ1) 는 차량 (1) 이 주행하는 방향과 차선 (4) 의 연장선 방향 사이의 차이에 대응하는 각도이다. 오프셋은 차량 (1) 의 중심 위치와 차선 (4) 의 폭(차선폭)의 중심 위치 사이의 가로방향 차이의 양이다. 표시선 검출기 (20) 는 표시선 (5L 및 5R) 의 위치를 나타내는 정보, 및 곡률 (R), 요우 각도 (θ1), 및 오프셋을 나타내는 정보를 차선 유지 제어 ECU (30) 에 출력한다.

표시선 검출기 (20) 로부터 공급된 도로 파라미터, 표시선 위치 (5L 및 5R), 곡률 (R), 요우 각도 (θ1), 및 오프셋의 위치, 및 차량 속도 센서 (38) 로부터 공급된 차량의 속도에 기초로 하여, 차선 유지 제어 ECU (30) 는, 차량 (1) 이 커브를 통과하는데 필요한 스티어링 토크를 계산하고, 차선 (4) 에서 이탈의 검출과 같은 처리를 실행한다. 차선 유지 제어 ECU (30) 는 운전 지원을 위해서 계산된 필수 스티어링 토크를 나타내는 신호를 스티어링 토크 제어 ECU (31) 로 출력한다. 스티어링 토크 제어 ECU (31) 는 수신된 스티어링 토크에 대응하는 명령 신호를 모터 (37) 로 출력한다. 추가적으로, 차선 유지 제어 ECU (30) 는, 차선 이탈의 검출 결과에 따라 운전 신호를 버저 (41) 로 출력하여 버저 (41) 을 구동하고 소리를 낸다.

스티어링 각도 센서 (34) 는 스티어링 휠 (32) 의 스티어링 각도 (θ2) 에 대응하는 신호를 차선 유지 제어 ECU (30) 로 출력한다. 스티어링 각도 센서 (34) 로부터 공급된 신호에 기초한 차선 유지 제어 ECU (30) 는 스티어링 각도 (θ2) 를 검출한다. 토크 센서 (35) 는 스티어링 휠 (32) 에 전달된 스티어링 토 크 (T) 에 대응하는 신호를 차선 유지 제어 ECU (30) 로 출력한다. 토크 센서 (35) 로부터 공급된 신호에 기초한 차선 유지 제어 ECU (30) 는 스티어링 토크 (T) 를 검출한다. 기어 기구 (36) 는 모터 (37) 에 의해 생성된 토크를 스티어링 샤프트 (33) 에 전달한다. 모터 (37) 는 스티어링 토크 제어 ECU (31) 로부터 공급된 명령 신호에 대응하는 토크를 생성한다.

다음으로 도 18 을 참조하여, 표시선 검출기 (20) 가 CCD 카메라 (11) 에 의해 촬영된 이미지로부터 표시선을 검출하는 기본적인 방법이 설명된다. 예를 들면, 1 개의 선, 예컨대 표시선 (5L) 또는 표시선 (5R) 이 검출되는 경우에, 표시선의 폭이 도 18 에 도시된 방법에 따라 얻어지면, 표시선의 폭과 위치가 검출된다. 도 18 에 도시된 바와 같이, 표시선의 폭은, 노면 이미지에서 차량 주행 방향(표시선의 연장선 방향, 즉 도 18 에 도시된 수직 방향)과 실질적으로 직각인 수평방향 (X) 으로 주행선에 배치된 다수의 픽셀의 각각의 휘도값 등락(rising and falling)에 기초로 하여 얻어진다. 대안으로, 도 18 에 도시된 바와 같이, 수평방향의 선 (X) 에서 서로 인접한 픽셀 휘도값의 편차는 휘도 미분값으로 계산되고, 표시선의 폭은 상승 정점과 하강 정점에 의해 얻어진다.

도 1a 내지 3 은 실시형태에 따른 차선 검출의 플로우차트이다. 그 처리는 메인 스위치 (12) 가 ON 임을 전제로 소정 시간의 중단으로서 미리 정해진 시간 주기로 매번 반복된다. 처리가 이 루틴에 이르면, 제어기 (21) 는 다양한 데이터의 입력 처리를 실행한다.

다음으로, 단계 S101 에서 제어기 (21) 는 카메라 (11) 에 의해 촬영된 비디 오의 입력 처리를 실행한다. 구체적으로, 제어기 (21) 는 CCD 카메라 (11) 의 비디오 신호로부터 추출된 휘도 신호를 수신하고 아날로그/디지털(A/D)을 매 픽셀마다 동일하게 변환하고, 픽셀 위치와 관련된 휘도 데이터의 결과를 RAM (23) 에 일시적으로 저장한다. 픽셀 위치는 CCD 카메라 (11) 의 이미지 촬영 범위에 따라 정해진다(도 15 참조).

휘도 데이터는 대응하는 휘도가 더 가벼우면(백색이면) 높은 값을 취하고, 대응하는 휘도가 더 어두우면(흑색이면) 낮은 값을 취한다. 예를 들면, 휘도 데이터는 8 비트(0 내지 255)로 표현될 수 있으며, 밝은 휘도는 값 "255" 에 더 근접하지만, 더 어두운 휘도는 값 "0" 에 더 근접한다.

다음으로, 제어기 (21) 는 단계 S102 로 이동하여 에지점 추출(후보 백색의 차선점 검출)을 실행한다. 구체적으로, 제어기 (21) 는 RAM (23) 에 임시로 저장된 각 픽셀의 휘도 데이터를 각 수평선에 대해 순차적으로 판독한다(탐색한다). 즉, 제어기 (21) 는 픽셀 위치가 RAM (23) 으로부터 수평방향에 배열되어 있는 픽셀의 휘도 데이터를 선택적으로 판독한다. 도 16 은 수평방향으로의 미리 정해진 선상의 각 픽셀 위치에 대응하는 휘도 데이터의 예을 나타낸 그래프이다.

도 16 에 도시된 바와 같이, 수평방향을 따라서 배치된 각 픽셀의 휘도 데이터는 휘도가 차선 (4) 의 좌백선 (5L) 및 우백선 (5R) 에 대응하는 위치에서 더 밝은 정점을 나타낸다(도 18 의 휘도값과 유사). 그리고 나서, 제어기 (21) 는 각 수평선의 휘도 데이터와 에지점 검출 한계값을 비교하여 표시선(에지점, 백색선 후보점)에 대응하는 후보 픽셀 위치를 추출한다. 제어기 (21) 는 미리 정해진 수의(또는 모두) 수평선에서 에지점을 추출한다. 제어기 (21) 는 추출된 에지점(픽셀 위치) 모두를 RAM (23) 에 임시로 저장한다.

휘도가 "어두움" 으로부터 "밝음" 으로 변하는 에지점은 선단점 (Pu) 으로, 휘도가 "밝음" 으로부터 "어두움" 으로 변하는 에지점은 후단점 (Pd) 으로 나타낸다. 한 쌍의 선단점 (Pu) 과 후단점 (Pd) 검출은 1 개의 표시선의 검출을 완성한다. 쌍으로 된 선단점 (Pu) 과 후단점 (Pd) 사이의 거리는 1 개의 표시선의 폭(도 15 에서 도면 부호 (d1) 로 기재)에 대응한다. 도 15 및 16 에 도시된 바와 같이, 두 쌍의 선단점 (Pu) 과 후단점 (Pd) 이 단일의 수평선에 존재하는 경우에, 각 쌍은 차선 (4) 의 좌백선 (5L) 및 우백선 (5R) 에 대응한다. 하지만, 실제의 검출에서는, 노이즈 및 차량, 건물 등의 그림자로 인해서, 좌백선 (5L) 및 우백선 (5R) 에 대응하는 에지점 이외의 에지점(도시되지 않음)이 종종 검출된다.

다음으로, 제어기 (21) 는 단계 S103 로 넘어가고, 단계 S102 의 처리 후에 이미지가 상부 절반의 영역(차량 (1) 으로부터 원거리 영역으로 나타남)과 하부 절반의 영역(차량 (1) 의 근거리 영역으로 나타남)으로 나누어진다. 기하학적 변환이 각 상부 절반의 영역과 하부 절반의 영역에서 실행되어서, 상부 절반의 영역 (100) 과 하부 절반의 영역 (200) 을 갖는 노면 이미지를 도 4 에 도시된 형식으로 생성한다. 여기서 사용시, 기하학적 변환은 카메라 (11) 에 의해 촬영된 이미지의 해석, 및 도로가 수직으로 상방의 위치(노면의 평면도)로부터 보이는 것처럼 노면을 나타내는 노면 이미지의 생성을 의미한다.

다음으로, 제어기 (21) 는 도 2 의 에지선 추출(후보 백색 직선)이 실행되는 단계 S200 의 서브루틴으로 넘어간다. 먼저, 에지선 추출을 위한 기술적 전제가 설명된다.

제어기 (21) 는 RAM (23) 에 일시적으로 저장된 에지점을 판독하고, 점들의 그룹을 직선에 적용한다(즉, 에지점으로부터 선을 유도). 예를 들어, 점들을 선에 적용하는 기술로서, 허프 변환은 타카시 마츠야마(Takashi Matsuyama) 등의 "컴퓨터 비젼 ; 1999 년 149/165 신-기주츠 커뮤니케이션즈 (Computer Vision, 149/165 Shin-Gijutsu Communications : 1999)" 및 피.브.씨. 허프(P.v.c.Hough)의 "1962년의 미국특허 제 3069654 호의 복잡한 패턴을 인식하는 방법과 수단"에 의해 공지되었다.

허프 변환은 파라미터로 표현될 수 있는 선도(예를 들면, 직선, 원, 타원, 나선형)의 추출을 하는 대표적인 기술이다. 그 기술은 다수의 선이 추출될 수 있고, 노이즈에 대한 내성이 매우 높은 탁월한 특징을 갖는다.

예로서, 직선의 검출이 설명된다. 직선은 파라미터로서 y 축 성분 (c) 과 구배 (m) 를 사용하여 하기의 식 (1),

y = mx + c (1)

또는 원점으로부터 직선에 이르는 수선의 길이 (ρ), 및 파라미터로서 수선과 x 축에 의해 형성된 각도 (θ) 를 이용하여 하기의 식 (2) 으로 표현될 수 있다.

ρ = xcosθ + ysinθ (2).

먼저, 식 (1) 을 사용하는 기술이 설명된다.

직선상의 점 (x₀, y₀) 이 식 (1) 을 만족하고, 하기의 식 (3) 이 정해진다.

y₀ = mx₀ + c (3)

여기서, (m, c) 는 변수로 가정하고, mc 평면상의 직선은 식 (3) 으로부터 유도될 수 있다. 하나의 선상에 모든 픽셀에 대해 동일한 처리가 실행된다면, mc 평면상에 유도된 직선의 그룹은 하나의 점 (m₀, c₀) 으로 수렴한다. 이러한 교점은 검색된 파라미터의 값을 나타낸다. 도 5a 및 도 5b 는 mc 공간에서 허프 변환을 설명하기 위해서 도시되어 있다. 도 5a 는 xy 공간을 나타내고, 도 5b 는 mc 공간으로 맵핑하는 것을 나타낸다. 도 5a 및 도 5b 에 도시된 바와 같이, 점 (A, B 및 C) 을 지나는 직선 그룹은 mc 평면의 직선 (A, B 및 C) 에 의해 나타나며, 그 교점의 좌표는 (m₀, c₀) 로 나타난다.

전술한 것은 허프 변환으로 직선을 검출하기 위한 기본적인 기술이다. 구체적으로, 교점이 이하와 같이 얻어진다. mc 공간에 대응하는 2 차원 배치가 준비된다. mc 공간에서 직선을 그리는 조작은 직선이 지나는 배열 소자에 하나를 추가하는 조작으로 대체되었다. 조작이 모든 에지점에서 실행된 후에, 크게 점증하는 주파수를 가진 배열 소자가 검출되고 교점의 좌표가 얻어진다.

다음으로, 식 (2) 을 사용하는 기술이 설명된다.

직선상의 좌표 (x₀, y₀) 가 하기의 식 (4) 을 만족한다.

ρ = x₀cosθ + y₀sinθ (4)

여기서, 도 6a 에 도시된 바와 같이, 도면 부호 (ρ) 는 원점으로부터 직선에 이르는 수선의 길이를 나타내고, (θ) 는 수선과 x 축에 의해 형성된 각도를 나타낸다. 식에 의해, x-y 평면상의 한 점을 지나는 직선 그룹은 ρθ 평면에서 사인파 곡선을 형성하고, 도 6a 의 점 (A, B 및 C) 을 지나는 직선 그룹은 도 6b 에 도시된 바와 같이 나타난다. 여기서, 직선은 또한 한 점에서 교차한다. xy 좌표의 점 그룹이 i = 1 - n 인 p_i (x_i, y_i) 로 표현된다면, 점 (p_i) 은 파라미터 (ρ, θ) 공간의 곡선으로 변환될 수 있다.

ρ = xcosθ + ysinθ (5)

각 점에 대한 파라미터 공간의 점을 통과하는 곡선의 횟수(frequency)를 나타내는 함수 p (ρ,θ) 가 정의되면, 식 (5) 을 만족하는 (ρ, θ) 에 대하여 p (ρ, θ) 에 1 이 추가된다. 이는 파라미터 공간(투표 공간)에의 투표라고 한다. x-y 좌표에서 직선을 구성하는 다수의 점은 파라미터 공간에서 직선을 나타내는 점 (θ₀, ρ₀) 을 지나는 곡선을 형성한다. 따라서 p (θ₀, ρ₀) 는 교점에서 정점을 가진다. 따라서, 정점을 검출함으로써, 직선이 추출될 수 있다. 통상적으로, n₀ 는 미리 정해진 한계값이며, 한 점이 관계 p (θ, ρ) n₀ 를 만족하면 이 점이 정점이 되도록 정해진다.

단계 S200 에서는, 단계 S102 에서 추출된 에지점상의 허프 변환에 의해서 에지선이 추출된다. 여기서, 1 개의 에지선(직선)은 다수의 선단점들(Pu ; 즉, 후단점 (Pd) 은 제외)로만 구성되어 있다. 다수의 선단점들 (Pu) 로만 구성된 에지선은 선단선으로 나타내고, 다수의 후단점들 (Pd) 로만 구성된 에지선은 후단선으로 나타낸다. S102 단계의 결과로서, 좌백선 (5L) 및 우백선 (5R) 의 에지점 이외의 에지점(도시되지 않음)이 종종 검출된다. 따라서, 허프 변환의 결과, 좌백선 (5L) 및 우백선 (5R) 에 대응하는 에지선 이외의 에지선(도시되지 않음)이 상부 절반의 영역 (100) 또는 하부 절반의 영역 (200) 에서 종종 검출된다.

본 실시형태의 목적은 에지선 추출의 단계(단계 S200)에서 좌백선 (5L) 및 우백선 (5R) 에 대응하는 에지선 이외의 에지선(노이즈 또는 그림자에 의해 형성된 에지선을 포함)의 추출을 억제하는 것이다.

도 11 을 참조하여, 단계 S200 에서 에지선 추출의 개요가 설명된다.

종래의 표시선 검출기에서는, 파라미터 공간의 투표값이 국부적 최대인 점은, 후보 차선 경계선인 에지선의 추출을 위한 허프 변환을 통해서 후보 에지선으로 추출된다. 하지만, 실제의 이미지가 처리되는 경우에, 가끔 잘못된 국부 최대값이 노이즈로 추출된다. 실시형태에서는, 에지선 특성의 사용으로, 즉 차선 경계선에 대응하는 에지선은 적어도 에지선 추출의 범위에서는 서로 교차하지 않는다. 따라서, 그러한 불필요한 에지선의 추출이 억제되고, 표시선의 신뢰할만한 검출 및 처리 비용의 절감이 실현된다.

다음으로, 도 2 및 도 4 를 참조하여 단계 S200 이 상세하게 설명된다.

제어기 (21) 는 에지선 추출을 시작한다(단계 S201). 여기서, 에지선 추출은 선단점 (Pu) 에서만 실행되고 후단점 (Pd) 에서는 실행되지 않는다. 하지만, 에지선 추출은 또한 이하에서 설명된 동일한 방법으로 후단점에서도 가능하다. 추가적으로, 여기서 에지선 추출을 위한 검색 영역은 상부 절반의 영역 (100) 이고 하부 절반의 영역 (200) 은 포함하지 않는다. 검색 영역으로서 하부 절반의 영역 (200) 상에서 에지선 추출은 이하에서 설명된 동일한 방법으로 개별적으로 실행될 수 있다.

다음으로, 제어기 (21) 는 단계 S202 로 넘어가고, 제어기 (21) 가 각 에지점에 대한 파라미터 공간상에서 투표를 실행한다. 단계 S202 에서의 특수 처리가 도 7 및 도 8 을 참조하여 이하에서 설명된다. 도 7 에 도시된 에지점은 단계 S201 에서 판정된 검색 영역인 도 4 의 상부 절반의 영역 (100) 의 선단점 (Pu) 이다.

여기서, 직선은 구배 (m) 와 x 축의 절편 (c) 이 파라미터로 사용되는 식 (x = my + c) 에 의해 표시된다. 도 7 에 도시된 바와 같이, x-y 좌표에서 다수의 에지점 (p_i(x_i, y_i)) 사이의 각 에지점을 지나도록 고려된다(여기서 i = 1 - n). 예를 들면, 에지점 p₀ (x₀, y₀) 을 지나는 직선 (L₀₁, L₀₂,…) 은 구배 (m₀₁, m₀₂, … (=M₀₁, M₀₂, …/L)) 및 x 축 절편 (c₀₁, c₀₂, …) 으로 정해진다. 에지점 p₁ (x₁, y₁) 을 지나는 직선 (L₁₁, L₁₂,…) 은 구배 (m₁₁, m₁₂, … (=M₁₁, M₁₂, …/L)) 및 x 축 절편 (c₁₁, c₁₂, …) 으로 정해진다. 에지점 p₀ (x₀, y₀) 및 다른 에지점 p₁ (x₁, y₁) 을 모두 지나는 직선 (L₀) 은 구배 (m₀ (=M₀/L)) 및 x 축 절편 (c₀) 으로 정해진다.

단계 S202 에서, 제어기 (21) 는, 도 8 에 도시된 바와 같이 mc 공간(파라미터 공간)에 투표 및 상부 절반의 영역 (100) 의 x-y 좌표에서 다수의 에지점 사이의 각 에지점(실시형태에서 선단점 (Pu))에 대한 에지점을 지나는 모든 직선에 대해, 구배 (m) 및 x 축 절편 (c) 을 얻는다. 도 8 에서, (z) 는 에지점의 수에 대응하는 투표값을 나타낸다.

도 7 에 도시된 예에서, 4 개의 에지점 (p₀ 내지 p₃) 의 적어도 모두는 구배 및 x 축 절편이 (m₀) 및 (c₀) 로 정해지는 직선 (L₀) 상에 있다. 따라서, 4 개 이상의 투표는 도 8 의 파라미터 공간에서 (m0, c0) 이다. 따라서, 파라미터 공간에서의 투표가 모든 에지점에 대한 에지점을 지나는 모든 직선에서 이루어질 때, 다수의 정점(국부 최대값)은 도 8 에 도시된 바와 같이 파라미터 공간에 형성된다.

다음으로, 제어기 (21) 는 단계 S203 로 넘어가고, 도 8 의 파라미터 공간에서 정점(국부 최대값)을 탐색한다(단계 S201 에서 설정된 탐색 영역 ; 이하, 상부 절반의 영역 (100) 이라고 함). 도 8 에 도시된 바와 같이, 다수의 정점이 파라미터 공간에 형성되어 있다.

도 8 의 파라미터 공간에서 생성된 다수의 각 정점은 상부 절반의 영역 (100) 의 x-y 좌표의 에지점으로부터 추출된 에지선에 대응한다. 정점의 z 값은 x-y 좌표에서 추출된 에지선상에 있는 에지점의 수에 대응한다.

단계 S203 에서, 한계값은 투표값 (z) 에 대하여 설정된다. 미리 정해진 한계값보다 큰 투표가 되는 정점만이 선택된다. 예를 들면, 여기서 2 개가 z 의 한계값으로 설정되면, 3 개의 점 ((m₀, c₀), (m₁, c₁), 및 (m₂, c₂)) 은 한계값보다 높은 투표값 (z) 을 갖는 정점으로서, 파라미터 공간에서 다수의 정점로부터 선택된다.

다음으로, 제어기 (21) 는 단계 S204 로 넘어가며, 제어기 (21) 가 국부 최대값에 대한 에지선 사이의 교차 판정 및 에지선의 선택을 실행한다. 단계 S204 에서, 서로 교차하는 에지선은 파라미터 공간(단계 S201 에서 설정된 탐색 영역)의 단계 S203 에서 설정된 한계값보다 높은 투표값 (z) 을 가지는 에지선 사이에서 탐색된다.

파라미터 공간에서, 서로 교차하는 직선은 특이한 기하학적 특성을 갖는다. 도 9 에 도시된 파라미터 공간에서의 음영(교차 영역을 나타내는 부분)은, 직선이 x-y 좌표의 처리 영역에서 (m₀, c₀) (상기 언급된 기하학적 특성에 의해 명시된 영역) 에 의해 형성된 직선과 교차하는 영역이다. 도 9 의 음영은 수학적으로 쉽게 얻어지기 때문에, 그에 대한 상세한 설명은 생략한다.

단계 S204 에서, 단계 S203 에서 탐색되고 한계값보다 큰 국부 최대값을 가지는 다수의 정점이 있으면, 제어기는 각 정점에 대한 도 9 의 음영을 찾고, 단계 S203 에서 탐색된 다른 정점이 음영에 속하는지 여부를 판정(에지선의 교차 판정)한다.

동시에, 제어기 (21) 는 음영(에지선의 선택)에서 음영이 설정된 정점(도 9 에서 정점(m₀, c₀))보다 더 작은 투표값 (z) 을 가지는 정점을 삭제한다. 도 9 의 예에서, 정점 (m₁, c₁) 및 (m₂, c₂) 은 투표값 (z) 보다 작기 때문에, (m₁, c₁) 및 (m₂, c₂) 는 삭제되고, (m₀, c₀) 만 남는다.

도 10 에 도시된 x-y 좌표에서, 직선 (L₀, La 및 Lb) 은 서로 교차한다(도 7 참조). 여기서, 직선 (L₀) 은 (m₀, c₀) 에 대응하며, 도 7 내지 도 9 에서 z = 7 이다(도 7 및 도 10 의 직선 (L₀) 상에서 에지점의 수는 7개). 직선 (La) 은 (m₁, c₁) 에 대응하며, 도 8 및 도 9 에서 z = 4 이다(즉, 도 10 의 직선 (La) 상에서 에지점의 수는 4 개). 직선 (Lb) 은 (m₂, c₂) 에 대응하며, 도 8 및 도 9 에서 z = 3 이다(즉, 도 10 의 직선 (Lb) 상에서 에지점의 수는 3 개).

즉, 도 9 의 (m₀, c₀) 로 설정된 음영에서 각각 (m₁, c₁) 및 (m₂, c₂) 에 대응하는 직선 (La 및 Lb) 은 도 10 에서 직선 (L₀) 과 교차한다. 도 9 에서, 서로 교차하는 직선 (L₀, La 및 Lb) 중에서 가장 큰 투표값 (z) 을 갖는 L₀ 가 선택되며, 즉 표시선 또는 차선의 경계를 나타내는 에지선에 가장 근접한 직선이 도 9 에서 선택된다. 그 후에, 표시선 또는 차선의 경계에 대응하지 않는 에지선이 삭제된다.

상기 설명된 바와 같이 실시형태에서, 에지선 쌍의 특성은, 차선(도 4, 도 13 및 도 15 에서 도면 부호 (4) 로 표시)의 경계에 대응하는 에지선 쌍 또는 표시 선(즉, 선단선 및 후단선)에 대응하는 에지선 쌍이 평행한 에지선을 포함하도록 사용된다. 여기서, "평행한" 은 선이 처리 영역(예에서, 상부 절반의 영역 (100) 및 하부 절반의 영역 (200))에서 서로 교차하지 않는 것을 의미한다. 즉, 동일한 에지점은 표시선을 구성하는 다수의 직선(에지선)을 포함하지 않는다.

도 10 에 도시된 바와 같이, 다수의 에지선 (L₀, La 및 Lb) 이 처리 영역 (100) 에서 서로 교차할 때, 서로 교차하는 에지선 (L₀, La 및 Lb) 의 그룹 중에서 선 (L₀) 이외의 적어도 다른 에지선 (La 및 Lb) 은 표시선 또는 차선의 경계를 구성하는 에지선이 아니다. 따라서, 이러한 선은 노이즈 또는 차량의 그림자와 같은 물체에 의해 유발된 검출 오류의 결과로 인해서 발생된다.

게다가, 에지선 (L₀) 은 표시선 또는 차선의 경계를 구성하기 때문에, 서로 교차하는 에지선 (L₀, La 및 Lb) 의 그룹 중에서 표시선 또는 차선의 경계를 구성하는 에지선 (L₀) 이 가장 길다. 에지선 (L₀, La 및 Lb) 의 그룹이 검출되고 가장 긴 에지선 (L₀) 이 상기 설명된 특성에 기초로 하여 선택되면, 표시선 또는 차선의 경계를 가장 잘 구성하는 에지선이 선택될 수 있다.

상기 설명된 처리를 명확히 하기 위해서, 다른 예가 설명된다. 차선 또는 표시선의 경계를 구성하는 에지선이 가장 잘 되는 에지선 (L₁₀) 은, 첫 번째로 서로 교차하는 에지선 (L₁₀, Lc 및 Ld) 의 그룹의 검출, 및 두 번째로 검출된 그룹 의 선들 사이에서 가장 긴 에지선의 선택의 결과로 검출된다.

여기서, 상기 언급된 처리는 단계 S202 에서 설정된 탐색 영역에 대해서 실행되기 때문에, 상부 절반의 영역 (100) 에서 표시선을 구성하는 에지선 (L₀) 및 하부 절반의 영역 (200) 에서 에지선 (L₀) 과 동일한 직선상에 위치되는 에지선 (L₂₀) 은 구분된 처리에서 다른 직선으로 검출된다.

실시형태에서, 단계 S201 에서의 에지선 추출의 대상은 선단점 (Pu) 만이다. 하지만, 차선 경계는 주행 차선 및 표시선의 경계선이기 때문에, 선단점 (Pu ; 선단선) 은 노면 이미지의 우측 절반의 처리에 의해서 얻어지고, 후단점 (Pd ; 후단선) 은 노면 이미지의 좌측 절반의 처리에 의해서 서로 교차하지 않는 제 1 및 제 2 에지선(점들의 선)으로 각각 얻어진다.

상기에서, 단계 S204 에서 투표값 (z) 에 초점을 맞추는 기술은 서로 교차하는 에지선의 그룹 중에서 가장 긴 에지선을 선택하기 위한 기술로 설명된다. 그 기술은 더 긴 에지선이 그 위의 더 많은 에지점을 가지는 에지선의 특성에 기초로 한다. 하지만, 서로 교차하는 에지선의 그룹 중에서 가장 긴 에지선을 선택하는 기술은 단계 S204 에서 투표값 (z) 에 초점을 맞추는 상기 설명된 기술에 국한되지 않는다. 예를 들면, 이하의 기술이 채택될 수 있다.

제어기 (21) 는 도 9 의 음영이 설정된 선(도 9 에서 (m₀, c₀))에 투표된 7 개의 각 에지점의 x-y 좌표상에서의 좌표값을 참조하여, 7 개의 에지점 중에서 서로 가장 멀리 위치한 2 개의 에지점 사이의 거리를 얻는다. 그 거리는, 도 10 에 도시된 에지선 (L₀) 상의 7 개의 에지점 중에서 서로 가장 멀리 위치한 2 개의 에지점 사이의 거리, 즉 에지선 (L₀) 의 길이에 대응한다. 다음으로, 제어기 (21) 는 도 9 의 음영에서 (m₁, c₁) 의 4 개의 에지점 중에서 서로 가장 멀리 위치한 2 개의 에지점 사이의 거리를 얻는다. 그 거리는, 도 10 에 도시된 에지선 (La) 상의 4 개의 에지점 중에서 서로 가장 멀리 위치한 2 개의 에지점 사이의 거리, 즉 즉 에지선 (La) 의 길이에 대응한다. 유사하게, 제어기 (21) 는 도 9 의 음영에서 (m₂, c₂) 에 대응하는 에지선 (Lb) 의 거리를 얻는다. 다음으로, 제어기 (21) 는 에지선 (L₀, La 및 Lb) 의 거리를 비교하여 가장 긴 에지선 (L₀) 을 선택한다.

게다가, 서로 교차하는 에지선의 그룹 중에서 가장 긴 에지선을 선택하는 기술로서, 효과적인 기술은, 대상 선상의 에지점 중에서 서로 가장 멀리 위치한 2 개의 에지점 사이의 거리가 길고, 대상 에지선상의 에지점 수(투표값 (z))가 큰 에지선을 선택한다. 물리적 거리가 크고 다수의 에지점에서 밝음 및 어두움의 차이를 나타내는 에지선은 표시선 또는 차선의 경계선으로 가장 잘 되기 때문이다. 따라서, 에지선은 에지선과 투표값 (z) 사이의 물리적 거리의 평가 함수에 기초로 하여 선택될 수 있다.

상기 설명된 단계 S200 의 에지선 추출에서, 다수의 에지선은 허프 변환을 통해서 이미지로부터 추출된 에지점 그룹으로부터 추출된다. 그 후, 서로 교차 하는 에지점 그룹은 추출된 다수의 에지선으로부터 선택되고, 그룹에서 가장 긴 에지선이 표시선 또는 차선의 경계를 구성하는 에지선으로 선택된다. 여기서, 선도형화는 단계 S200 에서 채택된 허프 변환 이외의 기술에 의해 실행될 수 있다.

예를 들어, 허프 변환 대신에, 최소 제곱법(least square method)의 기술이 에지점 그룹을 직선에 적용하도록 채택될 수 있다. 그 방법에 따르면, 다수의 에지선이 추출되고, 추출된 다수의 에지선 중에서 서로 교차하는 에지선 그룹이 검출되고, 그룹에서 가장 긴 에지선이 표시선 또는 차선의 경계선을 구성하는 에지선으로 선택된다.

대안으로, 허프 변환 대신에, 특징 추출과 같은 고유 벡터를 사용하는 기술을 포함하는 다양한 기술이 채택되어, 에지선 그룹을 직선에 적용하고, 다수의 에지선을 추출하고, 추출된 다수의 에지선 중에서 서로 교차하는 에지선 그룹을 추출하며, 또한 표시선 또는 차선의 경계선을 구성하는 에지선으로서 가장 긴 에지선을 선택한다.

본 실시형태의 에지선 추출에 따르면, 불필요한 후보 에지선의 추출이 억제된다. 따라서, 처리 비용이 감소 되어서, 실시형태는 표시선 또는 차선의 신뢰할만한 검출을 하는데 유리하다. 종래에는, 실시형태에서와 같은 에지선 처리(특히, 단계 S204 에서의 처리)는 실행되지 않고, 불필요한 후보 에지선이 잘 추출된다. 따라서, 차후의 차선 선택에서, 에지선의 쌍을 이루는 것이 불필요한 후보 에지선과 같이 실행되고, 가장 신뢰할만한 쌍은 이러한 쌍들 사이로부터 선택된다. 따라서 처리 비용이 높아진다.

상기에서, 단계 S200 는 표시선 검출기 (20) 에 의해 표시선의 에지선을 추출하는 기술로 설명되었다. 단계 S200 를 참조하여 설명된 선 추출 기술은 표시선 이외의 선을 추출하는데 적용될 수 있다. 즉, 단계 S200 의 선 추출 기술은, 선이 이미지로부터 추출되는 경우에, 특히 선에 배열된 에지점과 같은 점이 추출되는 경우에, 추출의 대상이 되는 특징 파라미터가 "서로 교차하지 않고 큰 거리를 가지는 다수의 선" 인 경우에는 적용될 수 있다.

다음으로, 제어기 (21) 는 S104 로 넘어가고, 제어기 (21) 는 표시선(에지선 쌍) 추출을 실행한다. 구체적으로, 단계 S200 에서 서로 교차하지 않는 에지선만이 추출되고, 또한 제어기 (21) 는 추출된 다수의 에지선으로부터 선단선 및 후단선의 쌍(에지선 쌍)을 추출한다. 단계 S200 에서, 서로 교차하지 않는 평행한 에지선만이 추출된다. 하지만, 좌백선 (5L) 및 우백선 (5R) 에 대응하는 에지선 이외의 에지선(도시되지 않음)이 자주 검출되기 때문에, 선단선과 후단선 쌍의 하나 이상의 결합이 있다.

단계 S104 에서, 제어기 (21) 는 표시선의 허용가능 폭을 나타내고, 에지선 쌍을 구성하는 선단선과 후단선 사이의 거리(도 15 의 도면 부호 (d1))가, 좌백선 (5L) 과 우백선 (5R) 에 대응하는 에지선 쌍 이외의 에지선 쌍을 포함하는 다수의 에지선 쌍 사이로부터 표시선의 허용가능 폭(도시되지 않음)의 범위 내에 있는 에지선 쌍을 추출한다.

예를 들면, 표시선의 허용가능 폭 (ds) 이 0 내지 30 cm 로 설정되면, 선단선과 후단선 사이의 거리는 50 cm 이고, 그 쌍은 표시선의 허용가능 폭의 범위 내 에 있지 않아서, 그 쌍은 에지선 쌍으로 추출되지 않는다(즉, 폭 치수에 대한 후보 표시선으로부터 제외). 다른 한편, 선단선과 후단선 사이의 거리 (dl) 가 20 cm 이면, 표시선의 허용가능 폭 이내에 있게 되고, 그 쌍은 에지선 쌍으로 추출된다(즉, 폭 치수에 대한 후보 표시선으로 선택).

다음으로, 제어기 (21) 는 단계 S105 로 넘어가고, 제어기 (21) 는 단계 S104 에서 추출된 다수의 에지선(직선)으로부터 선택된 후보 표시선으로부터 표시선이 가장 되기 쉬운 2 개의 에지선 쌍을 선택한다. 1 개의 에지선 쌍은 차량 (1) 의 측부에 대응하는 각 픽셀 위치에 대해 선택된다. 예를 들어, 에지선 쌍의 선택에서, 차량 (1) 의 피치 각도, 롤 각도, 요우 각도, 및 이전의 검출로부터 얻어진 가로방향의 이동 거리가 고려된다. 즉, 차량 (1) 이 미리 정해진 시간 동안 이동 가능한 범위가 고려된다. 단계 S105 에서 선택된 에지선 쌍이 이전에 검출된 결과와의 일치성의 면에서,즉 이전의 검출 결과를 반영하도록 후보 표시선으로서 선택된다. 제어기 (21) 는 픽셀 위치에 상응하는 표시선(에지선 쌍)의 선택된 쌍을 RAM (23) 에 임시로 저장한다.

다음으로, 제어기 (21) 는 단계 S106 로 넘어가고 도로 파라미터(곡률, 피치 각도 및 차선 폭)를 계산한다. 여기서, 후보로 가장 근접하는, 단계 S105 에서 추출되는 2 개의 직선 에지선의 데이터에 기초로 하여, 제어기 (21) 는 상응하는 에지점 데이터를 유도한다. 그 후에, 유도된 에지점 데이터에 기초로 하여, 제어기는 도로 파라미터(곡률, 피치 각도 및 차선 폭)를 계산한다.

다음으로, 제어기 (21) 는 S300 의 서브루틴으로 넘어가서 도 3 에 도시된 도로 파라미터의 이상 판정을 실행한다. 제어기 (21) 는, 도로 파라미터의 이상 판정이 개시된 후에, 과거 도로 파라미터(피치 각도, 곡률 및 차선 폭)를 과거 이력 버퍼 (24) 에 저장한다(단계 S302).

그 후에, 제어기 (21) 는 단계 S303 로 넘어가고, 제어기 (21) 는 다수의 도로 파라미터(피치 각도, 곡률 및 차선 폭)를 판독하고, 다수의 도로 파라미터의 판독에 기초로 하여 피치 각도, 곡률, 및 차선 폭의 각각의 기준값을 얻는다. 피치 각도, 곡률, 및 차선 폭의 기준값은 다수의 피치 각도, 곡률, 및 차선 폭의 평균값일 수 있다.

그리고 나서 제어기는 단계 S304 로 넘어가서 이하의 작동을 실행한다. 제어기는, 단계 S106 에서 얻어진 피치 각도와 단계 S303 에서 얻어진 피치 각도의 기준값 (1) 사이의 차이의 절대값을 얻고, 절대값이 한계값 (1) 보다 큰 값인지를 판정한다. 제어기 (21) 는 또한 단계 S106 에서 얻은 곡률과 단계 S303 에서 얻어진 곡률의 기준값 (2) 사이의 차이의 절대값을 얻고, 절대값이 한계값 (2) 보다 큰 값인지를 판정한다. 게다가, 제어기 (21) 는 또한 단계 S106 에서 얻어진 차선 폭과 단계 S303 에서 얻어진 차선 폭의 기준값 (3) 사이의 차이의 절대값을 얻고, 절대값이 한계값 (3) 보다 큰 값인지를 판정한다(단계 S304).

단계 S304 의 판정 결과로서, 하나 이상의 조건이 충족되면, 즉 절대값이 하나 이상의 도로 파라미터에 대한 한계값보다 더 크면, 제어기 (21) 는 단계 S305 로 넘어가고 도로 파라미터가 이상이라는 판정을 한다.

그리고 나서, 제어기 (21) 는 단계 S306 로 이동하여, 제어기 (21) 는 검출 플래그 (F1) 를 OFF 로 설정하고, 단계 S300 의 도로 파라미터의 이상 판정의 서브루틴을 종료한다. 다른 한편, 단계 S304 에서 판정의 결과로서 3 개의 조건중 어느 하나가 충족되지 않으면, 제어기 (21) 는 단계 S305 및 S306 로 넘어가지 않고 단계 S300 의 도로 파라미터의 이상 판정의 서브루틴을 종료한다.

제어기 (21) 는 도 1b 의 단계 S107 로 넘어가서 단계 S105 에서 선택될 에지선 또는 단계 S105 에서 선택된 에지선이 존재하는지 여부를 판정한다. 예를 들어, 도로가 더러우면, 표시선이 먼지 등에 의해 덮여서 보이지 않을 수 있거나, 표시선의 경계선 또는 차선이 희미해져서 표시선 또는 차선의 경계선의 검출을 방해할 수 있다. 그러한 경우에, 대응하는 에지선이 추출되지 않을 수 있으며, 제어기 (21) 는 단계 S107 에서 에지선이 존재하지 않는 것으로 판정한다. 단계 S107 에서, 검출 플래그 (F1) 가 OFF 이면(단계 S306, 이하 설명될 단계 S113 에서), 제어기 (21) 는 에지선이 존재하지 않는 것으로 판정한다. 단계 S107 에서는 또한 에지선의 "유실(lost)" 검출을 한다.

단계 S107 의 결과로서, 제어기 (21) 가 에지선이 존재하는 것으로 판정하면, 에지선의 연속적인 존재의 시간을 나타내는 에지선 존재 시간 (T1) 이 추가된다(단계 S108). 다른 한편, 단계 S107 에서의 판정의 결과로서 제어기 (21) 가 에지선이 존재하지 않는 것으로 판정하면, 에지선 존재 시간 (T1) 은 0 으로 설정된다(단계 S109).

그리고 나서, 제어기 (21) 는 단계 S110 로 넘어가고, 도로 파라미터가 정상인지 여부를 판정한다. 그 판정은 상기 설명된 단계 S300 에서의 도로 파라미 터의 이상 판정에 기초로 하여 이루어진다. 제어기 (21) 가 단계 S110 에서의 판정의 결과로서 도로 파라미터가 정상인 것으로 판정하면, 제어기는 단계 S111 로 이동하고, 그렇지 않으면 단계 S114 로 이동한다.

단계 S111 에서, 제어기 (21) 는 에지선 존재 시간 (T1) 이 요구되는 검출 시간 (T2) 보다 긴 시간인지 여부를 판정한다. 즉, 에지선이 단계 S105 에서 선택될 에지선 또는 단계 S105 에서 선택된 에지선이 연속적으로 존재("유실 안됨(not lost)" 포함)하는 시간을 나타내는 에지선 존재 시간 (T1) 이 필요한 검출 시간 (T2) 보다 긴 시간인지 여부를 판정하는 것이다. 에지선 존재 시간 (T1) 이 단계 S111 에서 판정된 결과로서 요구되는 검출 시간 (T2) 보다 길다면, 제어기 (21) 는 단계 S112 로 이동하고, 그렇지 않으면 단계 S113 로 이동한다.

단계 S112 에서, 제어기 (21) 는 2 개의 표시선을 나타내는 에지선이 정상적으로 검출되는 것으로 판정하고, 검출 플래그 (F1) 를 ON 으로 설정한다. 단계 S112 이후에, 제어기 (21) 는 단계 S114 로 넘어간다.

단계 S113 에서, 제어기 (21) 는 2 개의 표시선을 나타내는 에지선이 정상적으로 검출되지 않는 것으로 판정하고, 검출 플래그 (F2) 를 OFF 로 설정한다. 단계 S113 이후에, 제어기 (21) 는 단계 S114 로 넘어간다.

단계 S114 에서, 제어기 (21) 는 도로 파라미터를 검출 플래그 (F1) 의 값과 함께 차선 유지 제어 ECU (30) 로 출력한다. 차선 유지 제어 ECU (30) 는 검출 플래그 (F1) 를 나타낸다. 검출 플래그 (F1) 가 ON 이면, 차선 유지 제어 ECU (30) 는 작동의 대상이 되는 도로 파라미터를 포함하고, 검출 플래그 (F1) 가 OFF 이면, 작동의 대상으로부터 도로 파라미터를 제외한다. 단계 S114 이후에, 제어기 (21) 는 도 1a 의 단계 S101 로 돌아간다.

본 발명의 실시형태는 상기 설명된 것에 국한되지 않으며 이하와 같이 변형될 수 있다.

상기 설명된 실시형태에서는, 수평방향의 각 픽셀의 휘도 데이터 및 에지점 검출 한계값은 에지점의 검출시에 비교된다(단계 S102 및 도 16 참조). 대안으로, 인접한 픽셀로부터 수평방향의 각 픽셀의 휘도 데이터의 이탈은 휘도 미분값으로 계산될 수 있다. 선단 및 후단의 미분값의 크기(절대값)는 에지점(선단점 (Pu) 및 후단점 (Pd))의 검출을 위해서 에지점 검출 한계값과 비교될 수 있다.

상기 실시형태에서, CCD 카메라 (11) 의 비디오 신호로부터 추출된 휘도 신호는 에지점의 검출시에 에지점 검출 한계값과 비교하는 휘도 데이터로 디지털화된다. 대안으로, CCD 카메라 (11) 의 비디오 신호로부터 추출된 휘도 신호는 아날로그 형식으로 에지점 검출 한계값에 대응하는 아날로그 값과 비교될 수 있다. 유사하게, 휘도 신호는 아날로그 형식으로 미분될 수 있으며, 미분된 신호의 크기(절대값)는 상기 설명된 것과 유사한 에지점 한계값(도 17 참조)에 대응하는 아날로그 값과 비교될 수 있다.

상기 실시형태에서, 휘도 신호는 CCD 카메라 (11) 의 비디오 신호로부터 추출되고, 표시선 검출은 그에 기초로 하여 휘도 데이터와 함께 실행된다. 대안으로, 카메라 (11) 가 컬러형 카메라이면, 색상(색채) 데이터는 비디오 신호로부터 추출될 수 있으며, 또한 표시선 검출이 그에 기초로 하여 실행될 수 있다.

상기 실시형태에서, CCD 카메라 (11) 는 차량 (1) 의 전방 이미지를 포착한다. 표시선 (5L 및 5R) 은 포착된 이미지의 이미지 인식에 의해 검출되고, 차선 유지 제어 또는 이탈 판정을 하는데 사용될 수 있다. 대안으로, CCD 카메라 (11) 는 차량 (1) 의 측부 또는 후방에 부착될 수 있다. 그리고, 차량 (1) 의 측부 또는 후방의 이미지가 포착될 수 있다. 표시선 (5L 및 5R) 은 포착된 이미지의 인식을 통해서 검출되어서 차선 (4) 에 대한 이탈 판정 또는 차선 유지 제어를 하는데 사용될 수 있다. 그러한 변형은 상기 실시형태와 동일한 효과를 제공한다.

상기 실시형태에서, 차량 (1) 에 장착된 CCD 카메라 (11) 는 차량 (1) 의 전방 이미지를 촬영하고, 표시선 (5L 및 5R) 은 차선 유지 제어 또는 이탈 판정을 위해서 촬영된 이미지의 인식에 기초로 하여 검출된다. 대안으로, 비디오는 도로에 배치된 카메라에 의해 촬영될 수 있다. 그러한 비디오의 이미지 인식에 기초로 하여, 표시선 (5L 및 5R) 은 차선 (4) 에 대한 이탈 판정 또는 차선 유지 제어를 위해서 검출된다. 그러한 변형은 또한 상기 실시형태와 동일한 효과를 제공한다. 대안으로, 차량 (1) 에 장착된 네비게이션 시스템은 차선 (4) 에 대한 이탈 판정 또는 차선 유지 제어를 위해서 차선 (4) 과 차량 (1) 사이의 상대적 위치 관계를 검출할 수 있다.

상기 실시형태에서, CCD 카메라 (11) 는 차량 (1) 의 전방 이미지를 촬영하고 차선 (4) 에 대한 이탈 판정 또는 차선 유지 제어를 위해서 촬영된 이미지의 인식을 통해서 표시선 (5L 및 5R) 을 검출한다. 대안으로, 자기 표시기(marker) 와 같은 전자기파 소스가 표시선 (5L 및 5R) 을 따라서 도로 인프라스트럭쳐로서 배치된다. 차량 (1) 에 장착된 수신기는 전자기파 소스의 위치를 식별할 수 있다. 그리고나서, 표시선 (5L 및 5R) 은 차선 (4) 의 이탈 판정 또는 차선 유지 제어를 위해서 전자기 소스의 식별된 위치에 기초로 하여 검출된다. 대안으로, 전자기파 소스의 전송기가 전자 표시기 대신에 배치될 수 있다. 그러한 변형은 또한 상기 실시형태와 동일한 효과를 제공한다.

CCD 카메라 (11) 는 상기 실시형태에서 이미지 촬영용으로 사용되었지만, 적외선 카메라 또는 CMOS(complementary metal oxide semiconductor) 카메라와 같은 다른 종류의 카메라가 사용될 수 있다.

본 발명에 따른 선도형화 처리 장치는, 자동 차량 주행을 가능하게 하는 차량 시스템에 사용될 수 있고, 즉 에지선 (La) 의 자동 안내 차량, 로봇, 순환 버스, 또는 자동 창고에 사용될 수 있다. 선도형화 처리 장치는 전자파를 이용하는 원격 제어를 통한 자동 차량 주행을 가능하게 하는 차량 시스템에 사용될 수 있다.

Claims

서로 교차하지 않고 이미지로부터 최대 거리를 가지는 제 1 선 및 제 2 선을 추출하는 선도형화 처리 장치로서,

상기 이미지에서 서로 교차하는 다수의 선으로 구성된 제 1 선 그룹으로부터 상기 제 1 선으로서 가장 긴 선을 선택하는 제 1 선 추출 유닛, 및

상기 이미지에서 서로 교차하는 다수의 선으로 구성된 제 2 선 그룹으로부터 상기 제 2 선으로서 가장 긴 선을 선택하는 제 2 선 추출 유닛을 포함하는 선도형화 처리 장치.
상기 노면의 이미지로부터 노면상의 차선의 경계선 또는 표시선의 경계선 중 2 이상의 선을 검출하는 차선 검출용 선도형화 처리 장치로서,

상기 이미지에서 서로 교차하는 다수의 선으로 구성된 제 1 선 그룹으로부터 상기 제 1 경계선으로서 가장 긴 선을 선택하는 제 1 경계선 추출 유닛, 및

상기 이미지에서 서로 교차하는 다수의 선으로 구성된 제 2 선 그룹으로부터 상기 제 2 경계선으로서 가장 긴 선을 선택하는 제 2 경계선 추출 유닛을 포함하는 선도형화 처리 장치.
제 1 항 또는 제 2 항에 있어서,

각 선은 점들의 선으로 형성되고, 또한

상기 선의 상기 거리는 또한 상기 점들의 선을 구성하는 다수의 점들 사이에서 서로 가장 멀리 위치한 2 개의 점 사이의 거리에 기초로 하여 얻어지는 것을 특징으로 하는 선도형화 처리 장치.
제 1 항 또는 제 2 항에 있어서,

각 선은 점들의 선으로 형성되고, 또한

상기 선의 상기 거리는 상기 점들의 선을 구성하는 다수의 점들에 기초로 하여 얻어지는 것을 특징으로 하는 선도형화 처리 장치.
제 1 항 또는 제 2 항에 있어서,

각 선은 점들의 선으로 형성되고, 또한

상기 선의 상기 거리는, 상기 점들의 선을 구성하는 다수의 점 및 상기 점들의 선을 구성하는 다수의 점 사이에서 서로 가장 멀리 위치한 2 개의 점 사이의 거리의 함수에 기초로 하여 얻어지는 것을 특징으로 하는 선도형화 처리 장치.
제 3 항 내지 제 5 항의 어느 한 항에 있어서, 상기 점들의 선으로 형성되는 상기 선이 허프 변환을 통하여 이미지의 상기 점들로부터 추출되는 것을 특징으로 하는 선도형화 처리 장치.
제 6 항에 있어서, 상기 각 제 1 선 그룹 및 상기 제 2 선 그룹은 허프 변환 의 파라미터 공간을 사용하여, 상기 다수의 선이 서로 교차하는지 여부의 판정의 결과로서 검출되는 것을 특징으로 하는 선도형화 처리 장치.
제 6 항 또는 제 7 항에 있어서, 상기 제 1 선 그룹으로부터 상기 가장 긴 선의 선택 및 상기 제 2 선 그룹으로부터 상기 가장 긴 선의 선택은 상기 허프 변환의 파라미터 공간에서 하나 이상의 투표값, 및 상기 파라미터 공간에서 투표된 점에 대응하는 좌표값으로 실행되는 것을 특징으로 하는 선도형화 처리 장치.