KR100784307B1

KR100784307B1 - 노면주행레인 검출장치

Info

Publication number: KR100784307B1
Application number: KR1020067004529A
Authority: KR
Inventors: 도시아키 가키나미; 다카시 히라마키; 도키히코 아키타
Original assignee: 아이신세이끼가부시끼가이샤
Priority date: 2003-09-24
Filing date: 2004-09-22
Publication date: 2007-12-13
Also published as: CN1836266A; JP2005100000A; JP3956926B2; EP1667085A1; EP1667085A4; WO2005029440A1; CN100452093C; KR20060057004A; US20070084655A1

Abstract

본 발명은 주행레인의 경계선의 위치를 안정적으로 특정하여 획득할 수 있는 노면주행레인 검출장치를 제공한다. 에지점 검출수단(ED)으로 화상 중의 윤곽선으로부터 복수의 에지점을 검출하고, 세그먼트 군 작성수단(SD)으로 각 에지점 간의 거리와 방위의 연속성에 기초하여 라인 세그먼트를 작성하며 소정 관계에 있는 복수의 라인 세그먼트를 그룹화하여 세그먼트 군을 작성한다. 또한 곡선검출수단(CD)으로 이 세그먼트 군에 적합한 곡선을 검출한다. 그리고 레인경계선 위치특정수단(LD)으로 주행레인 중심에 가장 근접한 곡선을 구성하는 세그먼트 군이 소정의 길이 및 반복주기를 가질 때에 최내측 표시선으로서 특정하고, 그 외측에 인접하는 곡선의 위치를 주행레인의 경계선 위치로서 특정한다.

에지점 검출수단, 세그먼트군 작성수단, 곡선검출수단, 레인경계선 위치특정수단

Description

노면주행레인 검출장치{DEVICE FOR DETECTING ROAD TRAVELING LANE}

본 발명은 노면 상의 주행레인 검출장치에 관한 것으로, 특히 차량 전방의 노면을 연속해서 촬상한 화상으로부터 주행레인을 검출하는 노면주행레인 검출장치에 관한 것이다.

차량의 자동제어나 운전자의 운전지원 등에 있어서, 카메라로 촬상한 화상으로부터 노면상의 주행레인을 적절하고 안정적으로 검출하는 것은 중요하다. 보통 노면 상에는 주행레인(차선)의 경계를 식별하는 레인 경계선을 비롯하여 여러 목적에 따라 표시선이 도장되어 있으며, 실선 또는 파선 또는 블록형상과 같이 다른 형태의 표시선이나, 백색 또는 황색과 같이 다른 색채의 표시선이 혼재하며, 또한 이들의 표시선이 복합되어 이루어진 것도 존재한다.

예를 들면 도3은 터널 입구 근처의 2차선의 노면에 있어서의 표시선을 포함하는 화상(DS)의 일례인데, 주행레인(DL)의 좌측의 경계를 나타내는 레인경계선(LB)으로서 백색 또는 황색으로 실선의 표시선이 이용되고, 그 내측에 도장된 백색의 블록형상(block-like) 표시선이 주행 유도선(LG)으로 이용되고 있다. 또한 주행 레인(DL)의 우측의 경계를 나타내는 레인경계선(RB)으로서는, 백색 또는 황색의 파선 표시선이 이용되고, 그 내측에 도장된 백색의 블록형상 표시선이 주행유도선(RG)으로서 이용되고 있다. 보통 이러한 표시선의 폭은 20㎝로 설정되며, 파선의 표시선은 도장부의 길이가 8m, 도장부 간의 공백부분의 길이가 12m로 설정되어 있다. 또한 블록형상의 표시선의 폭은 30㎝로 설정되고, 도장부의 길이는 2m 내지 3m이며, 도장부간의 공백 부분의 길이는 2m 내지 3m로 설정되어 있다. 또한 본원에 있어서, 레인경계선 또는 주행유도선은 기능면에서 본 표시선을 의미하고, 노면 상의 백색선 또는 황색선 자체를 가리킬 때에는 레인마크라 한다.

상술한 바와 같이 여러 표시선에 의해 식별된 노면 상의 주행레인을 검출하는 장치에 대해서는 종래부터 여러 가지가 제안되어 있으며, 예를 들면 일본특허공개 제2003－168198호 공보(특허문헌1)에 개시되어 있다. 상기 문헌에서는, 차량용 주행로 판정장치 및 차량제어장치에 관한 것으로, 검출된 서로 인접하는 복수의 표시선으로부터 차량에서의 소정의 기준선을 적절히 설정하는 것을 목적으로 하며 다음과 같이 구성되어 있다. 즉 카메라에 의한 촬상 화상으로부터 도로의 노면 상에 그려진 표시선을 검출하고, 그 중에서 주행레인을 구획하는 한 쌍의 백색선으로 이루어질 표시선을 추출한다. 그리고 백색선으로서 추출된 한 쌍의 표시선의 간격을 검출한다. 백색선으로서 추출된 한 쌍의 표시선의 간격이 검출되어 있는 상황하에 있어서, 카메라에 의한 촬상 화상으로부터 도로의 적어도 일방측에서 서로 인접하는 복수의 표시선이 검출된 경우, 그 시점에서 검출되어 있는 백색선으로서의 한 쌍의 표시선의 간격에 기초하여 그 간격에 가장 합치하는 한 쌍의 표시선을 백색선 으로서 추출하는 취지가 기재되어 있다.

일본특허공개 제2003－187227호 공보(특허문헌2)에는, 차선 경계를 안정되게 검출하는 것을 목적으로 하며, 이하와 같이 구성된 차선경계 검출장치가 제안되어 있다. 즉 화상데이터의 공간적인 농도변화에 대한 감도가 비교적 높게 설정되고, 화상데이터로부터 제1윤곽선 정보를 추출하는 제1윤곽정보 검출수단; 화상데이터의 공간적인 농도변화에 대한 감도가 비교적 낮게 설정되고, 화상데이터로부터 제2윤곽선 정보를 추출하는 제2윤곽정보 검출수단; 제1 및 제2윤곽선 정보로부터 백색선군의 가장 바깥 윤곽정보를 추출하는 윤곽추출수단이 구비되며, 이 가장 바깥 윤곽 정보에 기초해서 차선경계위치가 설정된다. 따라서 농도변화에 대한 감도가 높게 설정됨으로써 한쪽에는 흰색선 사이의 간극에 대응하는 에지 정보가 포함되고, 다른 쪽에는 그것이 포함되지 않기 때문에 그 간극에 대응하는 에지 정보의 삭제가 용이해진다는 취지가 기재되어 있다.

또한 일본특허공개 제2003－187252호 공보(특허문헌3)에도 상기와 동일한 목적으로 이하와 같이 구성된 차선경계 검출장치가 제안되어 있다. 즉 가장 바깥 윤곽 추출부(특허문헌3에서의 부호 15. 이하 동일)는 프레임 버퍼부(13)에 기억된 오리지널 화상데이터와 에지 검출부(14)로 검출된 에지의 위치정보를 포함하는 윤곽 데이터에 기초해서 백색선 군의 가장 바깥 윤곽정보를 추출한다. 가장 바깥 윤곽 추출부(15)는 오리지널 화상데이터로부터 추출된 에지의 위치정보를 포함하는 윤곽 데이터에 기초하여 상기 에지가 백색선 군을 구성하는 백색선 사이에 발생한 간극에 대응하는지 여부를 판정하고, 이 간극에 대응하는 에지를 윤곽데이터로부터 삭 제하는 취지가 기재되어 있다.

그리고 일본특허공개 제2003－178399호 공보(특허문헌 4)에도 상기와 동일한 목적으로 이하와 같이 구성된 차선경계 검출장치가 제안되어 있다. 즉 촬상수단에 의해 소정영역의 차선을 포함하는 이동체의 주행레인을 촬상해서 화상데이터를 얻는다. 이 얻어진 화상데이터에 기초해서 농도 히스토그램을 작성하고 히스토그램의 집합을 검출해서 그룹화를 실행한다. 그리고 그룹화된 히스토그램 중에서 개개의 히스토그램의 중앙으로 되는 제1중앙위치를 검출하고, 제1중앙위치에 기초해서 그룹화된 히스토그램의 집합 중에서 중앙으로 되는 제2중앙위치를 검출한다. 또한 다른 그룹의 히스토그램 간의 제2중앙위치에 기초하여 레인마크 또는 레인마크가 복수 존재하는 레인마크 군의 중앙을 검출하고, 레인마크 경계위치를 결정하도록 하기 때문에, 화상데이터에 기초하는 히스토그램의 작성에 의해 안정된 레인마크 경계위치의 검출을 실행할 수 있는 취지가 기재되어 있다.

한편 화상처리기술에 관하여, 직선검출방법으로서 허프(Hough)변환이 널리 알려져 있고, 예를 들면 비특허문헌1(다무라 히데유키(감수) "컴퓨터 화상처리입문", 소우켄 출판, 쇼와 60년 3월 10일 제1판 제1쇄 발행, 127페이지 및 128페이지)에 해설되어 있다. 이와 같은 허프변환은 노이즈에 대한 로버스트(robust) 직선검출방법으로서 알려져 있고, (x, y)좌표계의 점을 (ρ,θ)극 좌표계상의 곡선으로 변환하는 과정에서 (x, y)좌표계에서 동일한 직선상에 있던 특징점에 의한 (ρ,θ)좌표계상의 곡선은 단일 지점에서 교차하는 것을 특징으로 하고 있다. 또한 최근 컴퓨터 비전에 있어서 로버스트법의 일종인 랜덤 샘플 컨센서스(RANSAC: Random Sample Consensus)가 주목받고 있으며, 비특허문헌2(Martin A. Fischero 및 Robert C. Bolles저 "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Graphics and Image Processing, vol. 24(6)의 페이지 381∼395, 1981년 발행)에 상세하게 해설되어 있다. 또한 비특허문헌3(Richard Hartley 및 Andrew Zisserman저 "Multiple View Geometry in Computer Vision", Cambridge University Press. 2000년 8월 발행, 101페이지 내지 107페이지)에도 RANSAC가 해설되어 있다.

특허문헌1: 일본특허공개 제2003－168198호 공보

특허문헌2: 일본특허공개 제2003－187227호 공보

특허문헌3: 일본특허공개 제2003－187252호 공보

특허문헌4: 일본특허공개 제2003－178399호 공보

비특허문헌1: 다무라 히데유키(감수) "컴퓨터 화상처리입문", 소우켄 출판, 쇼와 60년 3월 10일 제1판 제1쇄 발행, 127페이지 및 128페이지

비특허문헌2: Martin A. Fischero 및 Robert C. Bolles저 "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Graphics and Image Processing, vol. 24(6)의 페이지 381∼395, 1981년 발행

비특허문헌3: Richard Hartley 및 Andrew Zisserman저 "Multiple View Geometry in Computer Vision", Cambridge University Press. 2000년 8월 발행, 101페이지 내지 107페이지

앞서 제시한 특허문헌1에는, 도로의 레인경계선으로 적어도 일방측에서 서로 인접하는 복수의 표시선이 검출되었을 때에 그 시점에서 검출되어 있는 한 쌍의 표시선의 간격에 기초하여 그 간격에 가장 합치하는 한 쌍의 표시선을 백색선으로 추출한다고 기재되어 있으며, 양측의 레인경계선의 간격이 일정한 것을 전제로 하고 있다. 복수의 표시선 중에서 기준선을 특정하는 것은 용이하지 않고 추가 개량이 요망된다.

또한 앞서 제시한 특허문헌 2에서는, 공간적인 농도변화에 대한 감도의 다른 2종류의 윤곽검출방법에 의하여 복수 표시선의 간극에서는 감도를 낮게 하여 가장 바깥 윤곽위치를 특정하는 것으로 되어 있으며, 조명조건 등에 기인해서 표시선과 간극의 콘트라스트가 불충분하거나 포화되어 화상이 찌그러져도 안정적으로 가장 바깥 윤곽의 위치를 특정하는 것은 가능하지만, 본래의 레인경계선의 위치에 있는 표시선을 검출하는 것은 매우 어렵다.

또한 특허문헌3에 기재된 장치에 있어서는, 에지의 간격이 좁고, 또한 두 에지 위치의 농도 차가 작은 경우 복수의 표시선의 간극이라 받아들이고, 그 데이터를 채용하지 않고 가장 바깥윤곽위치를 추출하는 것으로 하고 있으며, 상기와 마찬가지로 안정적으로 가장 바깥 윤곽의 위치를 특정하는 것은 가능하지만, 이것도 본래의 레인경계선의 위치에 있는 표시선을 검출하는 것은 극히 어렵다.

그리고 특허문헌4에 기재된 장치에 있어서는, 화상을 미분해서 얻어지는 에지의 히스토그램을 작성해서 그룹화하고, 개개의 표시선의 중앙위치나 그룹으로서의 중앙위치를 검출하고, 표시선의 수 등에 의해 중앙위치나 가장 내측위치를 기준 선으로 채용하도록 하고 있지만, 레인경계선의 위치를 안정적으로 특정한다는 요구에 충분히 대응하기에는 어려움이 있다. 특히 도3에 나타내는 블록형상의 표시선은 폭이 30㎝로 넓기 때문에 만일 이 블록형상의 표시선이 주행레인의 양측에서 레인경계선으로서 인식되면 블록형상의 표시선과 실제 레인경계선의 간격도 포함시켜 레인 폭(차선 폭)이 실제의 레인 폭에 비해 1m 조금 안되게 좁아지게 되고, 경우에 따라서는 원활한 주행제어 등이 어려워진다. 따라서 블록형상의 표시선을 주행레인의 경계선에 대해 확실하게 구별할 수 있는 요구된다.

따라서 본 발명은 차량 전방의 노면을 연속해서 촬상한 화상으로부터 주행레인을 검출하는 노면 주행레인 검출 장치로서, 주행레인의 경계선의 위치를 안정적으로 특정할 수 있는 노면주행레인 검출장치를 제공하는데 그 목적이 있다.

상기한 과제를 달성하기 위해 본 발명은 촬상수단에 의해 노면을 연속해서 촬상한 화상으로부터 주행레인을 검출하는 노면주행레인 검출장치로서, 화상 중의 윤곽선으로부터 복수의 에지점을 검출하는 에지점 검출수단; 상기 에지점 검출수단에서 검출한 복수의 에지점에 대하여 각 에지점 간의 거리와 방위의 연속성에 기초하여 라인 세그먼트를 작성하고, 소정 관계에 있는 복수의 라인 세그먼트를 그룹화하여 세그먼트 군을 작성하는 세그먼트 군 작성수단; 상기 세그먼트 군 작성수단이 작성한 세그먼트 군에 적합한 곡선을 검출하는 곡선검출수단; 및 상기 곡선검출수단에서 검출한 곡선 내 좌우의 레인경계 근방에 분포하는 복수의 곡선과 상기 세그먼트 군 작성수단이 작성한 세그먼트 군을 조합하여 상기 주행레인 중심에 가장 근접한 곡선을 구성하는 세그먼트 군이 소정의 길이 및 반복주기를 가질 때에 최내측 표시선으로서 특정하고, 상기 주행레인의 중심에 대하여 상기 최내측 표시선의 외측에 인접하는 곡선의 위치를 상기 주행레인의 경계선의 위치로 하여 특정하는 레인경계선 위치특정수단을 포함하는 장치이다. 또한 상기의 곡선에는 복수의 직선에 의하여 실질적으로 곡선으로 되는 것을 포함한다. 소정 관계에 있는 복수의 라인 세그먼트로서는 소정 라인 세그먼트에 대하여 예를 들면 소정 거리와 방위의 범위 내에 존재하는 라인 세그먼트를 순차적으로 선택하여 얻은 것을 말한다.

그리고 상기 노면주행레인 검출장치에서 상기 세그먼트 군 작성수단은 상기 복수의 세그먼트 중에서 소정의 라인 세그먼트에 대하여 소정 거리와 방위의 범위내에 존재하는 다른 라인 세그먼트를 하나의 그룹으로서 상기 세그먼트 군을 작성하도록 구성될 수 있다. 또는 상기 세그먼트 군 작성수단은 상기 에지점 검출수단에서 검출한 복수의 에지점에 기초한 에지점 군에 대하여 각 에지점 간의 거리와 방위의 연속성에 기초하여 상기 라인 세그먼트를 작성하도록 구성될 수 있다. 또한 상기 세그먼트 군 작성수단은 상기 복수의 라인 세그먼트에 기초하여 라인 세그먼트 군 중에서, 소정의 라인 세그먼트에 대하여 설정된 소정의 거리와 방위의 범위 내에 다른 선분이 존재하는 경우에 소정 관계에 있는 것으로 판정하고, 동일한 그룹에 속하는 것으로서 처리하도록 구성될 수도 있다.

또한 본 발명은 촬상수단에 의해 노면을 연속해서 촬상한 화상으로부터 주행레인을 검출하는 노면주행레인 검출장치로서, 화상 중의 윤곽선으로부터 복수의 에지점을 검출하는 에지점 검출수단; 상기 에지점 검출수단에서 검출한 복수의 에지점에 적합한 에지점 군의 곡선을 검출하는 곡선검출수단; 상기 곡선검출수단에서 검출한 곡선의 구성에 기여하는 에지점 군을 그룹화하여 세그먼트 군을 작성하는 세그먼트 군 작성수단; 및 상기 곡선검출수단에서 검출한 곡선 내 좌우의 레인경계 근방에 분포하는 복수의 곡선과 상기 세그먼트 군 작성수단이 작성한 세그먼트 군을 조합하여 상기 주행레인의 중심에 가장 근접한 곡선을 구성하는 세그먼트 군이 소정의 길이 및 반복주기를 가질 때에 최내측 표시선으로서 특정하고, 상기 주행레인의 중심에 대하여 상기 최내측 표시선의 외측에 인접하는 곡선의 위치를 상기 주행레인의 경계선의 위치로서 특정하는 레인경계선 위치특성수단을 포함하여 이루어질 수 있다.

그리고 상기 세그먼트 군 작성수단은 상기 곡선검출수단에서 검출한 곡선의 구성에 기여하는 에지점 군에 대하여 에지 히스토그램을 작성하고, 히스토그램에 기여하는 에지점 군을 그룹화하여 상기 세그먼트 군을 작성하도록 구성될 수 있다. 또한 에지점 히스토그램은 상기 에지점 군의 수직성분에 대하여 수평방향으로 작성하는 수평방향 에지 히스토그램으로 하는 것이 바람직하다.

본 발명은 상술한 바와 같이 구성되어 있기 때문에 이하의 효과를 갖는다. 즉 주행레인이 중심에 가장 근접한 곡선을 구성하는 세그먼트 군이 소정의 길이 및 반복주기를 가질 때에 최내측 표시선으로서 특정되고, 주행레인의 중심에 대하여 최내측 표시선의 외측에 인접하는 곡선의 위치가 주행레인의 경계선의 위치로서 특정되기 때문에, 세그먼트 군이 소정 길이 및 반복주기를 갖는 블록형상의 표시선은 주행레인의 경계선과는 명확히 구별되어 확실하게 제외된다. 따라서 주행레인의 경계선의 위치를 안정적으로 특정할 수 있다.

상기 세그먼트 군 작성수단은 상기한 바와 같이 구성함으로써 적절히 세그먼트 군을 작성할 수 있다. 또한 상기 에지점 검출수단은 상기한 바와 같이 구성함으로써 복수의 에지점의 검출 및 처리를 적절하게 실행할 수 있다.

도1은 본 발명의 일 실시형태에 따른 노면주행레인장치의 주요 구성을 나타내는 블록도.

도2는 본 발명의 일 실시형태에 따른 노면주행레인장치의 하드웨어 구성을 나타내는 블록도.

도3은 본 발명의 일 실시형태에 있어서 촬상된 화상의 일례를 나타내는 정면도.

도4는 본 발명의 일 실시형태에 있어서 노면좌표에 투영된 복수의 에지점을 나타내는 평면도.

도5는 본 발명의 일 실시형태에 있어서 노면좌표에 투영된 라인 세그먼트를 나타내는 평면도.

도6은 본 발명의 일 실시형태에 있어서 라인 세그먼트의 그룹화의 일예를 나타내는 평면도.

도7은 본 발명의 다른 실시형태에 있어서 노면좌표에 투영된 레인마크의 평 면도, 및 그에 대응하는 수평방향 히스토그램을 나타내는 그래프.

*도면의 주요 부분에 대한 부호의 설명*

VD: 촬상수단 ED: 에지점 검출수단

SD: 세그먼트 군 작성수단 CD: 곡선검출수단

LD: 레인경계선 위치특정수단 CM: 카메라

VB: 비디오입력 버퍼회로 SY: 동기분리회로

FM: 프레임 메모리 VC: 화상 처리부

VP: 화상데이터 제어부 EP: 에지점 검출부

CP: 곡선검출부 SP: 세그먼트 군 작성부

LP: 레인경계선 위치특정부

본 발명의 노면주행레인 검출장치의 구체적인 일 형태에 대해서 이하에 도면을 참조해서 설명한다. 도1은 노면주행레인 검출장치의 일 실시형태를 나타내는 것으로, 촬상수단(VD)에 의해 노면을 연속해서 촬상하고, 촬상한 화상으로부터 주행레인을 검출하도록 구성된다. 본 실시형태에서는 화상 중의 윤곽선으로부터 복수의 에지점을 검출하는 에지점 검출수단(ED); 이 에지점 검출수단(ED)에서 검출한 복수의 에지점에 대해서 각 에지점 간의 거리와 방위의 연속성에 기초하여 라인 세그먼트(line segment)를 작성하고, 소정 관계에 있는 복수의 라인 세그먼트를 그룹화하 여 세그먼트 군(群)을 작성하는 세그먼트 군 작성수단(SD); 및 이 세그먼트 군 작성수단(SD)이 작성한 세그먼트 군에 적합한 곡선을 검출하는 곡선검출수단(CD)을 포함한다. 그리고 레인경계선 위치특정수단(LD)으로 곡선검출수단(CD)에서 검출한 곡선 내 좌우 레인경계 부근에 분포하는 복수의 곡선과 세그먼트 군 작성수단(SD)이 작성한 세그먼트 군을 조합하고, 주행레인 중심에 가장 근접한 곡선을 구성하는 세그먼트 군이 소정 길이 및 반복주기를 가질 때에 최내측 표시선으로서 특정하고, 그 주행레인 중심에 대하여 최내측 표시선의 외측에 인접하는 곡선 위치를 주행레인의 경계선의 위치로서 특정하도록 구성되어 있다.

상기 도1의 노면주행레인 검출장치는 도2에 나타내는 하드웨어 구성을 갖는다. 즉 미도시의 차량의 전방에 촬상수단(VD)으로서 예를 들면 CCD 카메라(이하 간단히 "카메라"라 함)(CM)가 장착되며, 노면을 포함하는 차량 전방의 시계가 연속해서 촬상된다. 카메라(CM)의 영상신호는 비디오 입력버퍼회로(VB), 동기분리회로(SY)를 거쳐 A/D변환되어 프레임 메모리(FM)에 저장된다. 이 프레임 메모리(FM)에 저장된 화상데이터는 화상처리부(VC)에서 처리된다. 화상처리부(VC)는 화상데이터 제어부(VP), 에지점 검출부(EP), 세그먼트 군 작성부(SP). 곡선검출부(CP) 및 레인경계선 위치특정부(LP)로 구성된다. 또한 에지점 검출부(EP), 세그먼트 군 작성부(SP), 곡선검출부(CP) 및 레인경계선 위치특정부(LP)는 각각 도1의 에지점 검출수단(ED), 세그먼트 군 작성수단(SD), 곡선검출수단(CD) 및 레인경계선 위치특정부(LD)에 대응한다.

화상처리부(VC)에 있어서는, 프레임 메모리(FM) 내의 화상데이터로부터 화상 데이터 제어부(VP)에서 어드레스 지정된 데이터가 호출되어 에지점 검출부(EP)로 보내지고, 여기에서 복수의 에지점이 검출된다. 이와 같이 검출된 에지점 데이터에 대해서 본 실시형태에서는 세그먼트 군 작성수단(SD)에 있어서, 각 에지점 간의 거리와 방위의 연속성에 기초하여 라인 세그먼트가 작성되고, 소정 관계에 있는 복수의 라인 세그먼트가 그룹화되어 세그먼트 군이 작성된다. 또한 이 세그먼트 군 작성수단(SD)에서 작성된 세그먼트 군에 적합한 곡선이 곡선검출수단(CD)으로 검출된다. 그리고 레인경계선 위치특정부(LP)에서는, 전술한 바와 같이 곡선검출부(CP)에서 검출된 곡선테이터 중에서 좌우 레인경계 부근에 분포하는 복수의 곡선이 선택되고, 이들 복수의 곡선과 라인 세그먼트 군 작성부(SP)에서 작성된 세그먼트 군이 조합되어, 주행레인 중심에 가장 근접한 곡선을 구성하는 세그먼트 군이 소정의 길이 및 반복주기를 가질 때에 최내측 표시선으로서 특정된다. 따라서 이 주행레인 중심에 대하여 최내측 표시선의 외측에 인접하는 곡선의 위치가 주행레인의 경계선의 위치로서 특정된다.

이와 같이 특정된 주행레인의 경계선의 위치는 추가 필요에 대응하여 주행레인의 폭, 도로의 곡률, 자기 차와의 위치, 자세각 등의 검출결과와 함께 시스템 제어부(SC)(컴퓨터)에 공급되고, 출력 인터페이스 회로(OU)를 통하여 외부의 시스템 기기(미도시)로 출력된다. 또한 도2에 있어서의 CL, PW, IN은 각각 블록회로, 전원 회로 및 입력 인터페이스 회로이다.

이하 상기 에지점 검출부(EP), 세그먼트 군 작성부(SP), 곡선검출부(CP) 및 레인경계선 위치특정부(LP)의 각 부에 있어서의 처리를 설명한다. 우선 에지점 검 출부(EP)에 있어서는 도3에 나타내는 바와 같이, 카메라(CM)에 의해 촬상된 화상(DS)으로부터 복수의 에지점이 검출되고, 복수의 에지점의 화상면(미도시)으로부터 3차원 노면좌표로의 역투영이 실행된다. 즉 화상면 상에서 검출된 복수의 에지점 및 카메라(CM)의 파라미터에 기초하여 이들 복수의 에지점의 좌표값이 도4에 나타내는 바와 같이 3차원 노면좌표의 점군(点群)으로서 역투영된다(도4의 세그먼트는 에지점 군을 나타냄). 또한 레인마크로서의 백색선(도3의 LB, LG, RB, RG)이 옅거나 카메라(CM)의 성능 등에 기인하여 화상 상의 백색선이 인접하는 부분에서 연결되는 것으로 되는 경우가 있기 때문에, 도4의 상방향에 나타낸 바와 같이, 하방 부분과 다른 에지점 군으로 되는 경우가 있지만, 후술의 처리에 의하여 오차를 발생시키지 않고 적절히 판정된다.

곡선검출부(CP)에 있어서는, 노면 상에 역투영된 복수의 에지점(도4에 대표로 EGP로 나타냄)에 대하여, 예를 들면 전술의 랜덤 샘플 컨센서스(RANSAC: Random Sample Consensus)에 의하여 복수의 직선을 포함하는 곡선이 적용되어 곡선 피팅이 실행된다. 이 곡선의 적용(곡선 피팅)에 대해서는, 전술의 호프변환을 이용하여도 좋고, 예를 들면 최소제곱법을 적용할 수도 있다. 또한 에지점 군(EGP)에 대해서 소정의 속성에 기초하여 그룹화함에 있어서 곡선 피팅을 실행하는 것으로 할 수도 있다.

또한 도5에 나타낸 바와 같이, 세그먼트 군 작성부(SP)로 상기 에지점군(EGP)에 대하여 각 에지점 간의 거리와 방위의 연속성에 기초하여 라인 세그먼트(LS)가 작성된다. 다음으로 라인 세그먼트 군 중에서 어느 라인 세그먼트(LS)에 대 하여 설정된 거리와 방위의 범위 내에서 다른 라인 세그먼트(LS)가 존재할 경우, 그 라인 세그먼트(LS, LS)은 동일한 그룹에 속한 것으로 처리하고, 이 처리가 반복되는 것에 의하여 도6에 나타낸 바와 같이 복수의 그룹이 작성된다(레인중심에 대하여 내측 그룹을 SGI, 외측 그룹을 SGO로 함). 또한 도6에서는 프러스 에지(백색선의 좌측으로 도5에서 LS(+)로 나타냄)가 선택되어 그룹화되어 있지만, 마이너스 에지(백색선의 우측으로 도5에서 LS(-)로 나타냄)에 대해서도 동일하게 그룹화된다.

그리고 그룹화된 라인 세그먼트(LS)에 대하여 곡선 피팅(곡선 적용)이 실행된다. 이 때에도 소정의 속성에 기초하여 그룹화하여 실행하여도 좋다. 이 라인 세그먼트를 이용하여 곡선검출부(CP)로 검출된 곡선이 어떠한 속성의 에지점에 의하여 구성되어 있는가가 검증된다. 예를 들면 도6의 그룹화(SGI)의 곡선이 복수의 주기적인 짧은 선분에 의하여 구성되어 있을 경우, 그 곡선은 블록형상 등 비교적 짧은 표시선에 적용된 것으로 판정될 수 있다. 그리고 이와 같이 라인 세그먼트가 횡방향 또는 종방향으로 소정의 길이 및 주기를 갖게 되고, 레인경계선 위치측정부(LP)에 있어서, 블록형상의 표시선으로 판정될 때에는, 그 곡선(예를 들면 도3의 RG)은 레인경계선 후보로부터 제외되고, 레인중심에 대하여 블록형상의 표시선(도3의 RG)의 외측 곡선(도3의 RB)이 주행레인의 경계선으로 판정된다.

상기 실시형태에 있어서는, 우선 라인 세그먼트(LS)를 구하고, 이를 그룹화하여 곡선 피팅을 실행하는 것으로 하고 있지만, 도1에 파선의 화살표로 나타낸 바와 같이 구성하고, 복수의 에지점에 적합한 곡선을 검출하며, 이 곡선의 구성에 기 여하는 에지점 군을 그룹화하여 세그먼트 군을 작성하는 실시형태로 할 수 있다. 즉 도2의 화상처리부(VC)에 있어서는, 곡선검출부(CP)로 복수의 에지점에 적합한 곡선이 검출되고, 세그먼트 군 작성부(SP)로 이 곡선의 구성에 기여하는 에지점군의 수직성분에 대하여 수평방향 에지점 히스토그램이 작성되고, 히스토그램 피크에 기여하는 에지점 군이 그룹화되어 세그먼트 군이 작성된다.

구체적으로 2차원 노면좌표의 노면 상에 역투영된 복수의 에지점에 대하여 도7에 HG로 나타낸 바와 같이, 수평방향의 에지 히스토그램이 작성된다. 이 실시형태에 의하면, 도7에 나타낸 바와 같이 복수의 피크(PK)가 출현되지만, 각각의 피크위치에는 수직성분이 많이 포함되어 있기 때문에, 각 히스토그램 피크에 기여하는 에지점군을 하나의 그룹으로 할 수 있다. 따라서 히스토그램 피크가 종방향(또는 횡방향)에 소정의 길이 및 주기를 갖게 되고, 레인경계선 위치특정부(LP)에 있어서 블록형상의 표시선으로 판정될 때에는 그 표시선(RG)은 레인경계선 후보로부터 제외되어 레인중심에 대하여 블록형상의 표시선(RG)의 외측의 표시선(RB)이 레인 경계선으로 된다.

이상과 같이 주행노면 상에 설치된 차선 경계를 나타내는 표시선에는 단순한 실선이나 파선 외에, 그 단순한 표시선과 블록형상의 표시선의 조합에 의한 복수선이 존재하기 때문에 종래장치에 있어서는 레인경계로서 검출하고자 하는 표시선(레인 경계선)의 위치를 안정적으로 특정하는 것이 어려웠지만, 본원의 상기 어떠한 실시형태에서도 레인 경계선의 위치를 안정적으로 특정할 수 있다. 그리고 경보 시스템이나 제어 시스템으로부터 기대되는 높은 신뢰성을 충족하는 경계선 인식이 가 능해진다.

본 발명에 따른 노면주행레인 검출장치는 상기와 같이 주행레인의 경계선의 위치를 안정적으로 특정할 수 있기 때문에 예를 들면 차량 등에 있어서의 여러 경보 시스템이나 제어 시스템에 적용할 수 있다.

Claims

촬상수단에 의해 노면을 연속해서 촬상한 화상으로부터 주행레인을 검출하는 노면주행레인 검출장치로서,

화상 중의 윤곽선으로부터 복수의 에지점을 검출하는 에지점 검출수단;

상기 에지점 검출수단에서 검출한 복수의 에지점에 대하여 각 에지점 간의 거리와 방위의 연속성에 기초하여 라인 세그먼트를 작성하고, 어느 라인 세그먼트에 대하여 설정된 거리와 방위의 범위 내에서 다른 라인 세그먼트가 존재할 경우, 이 복수의 라인 세그먼트를 그룹화하여 세그먼트 군을 작성하는 세그먼트 군 작성수단;

상기 세그먼트 군 작성수단이 작성한 세그먼트 군에 대하여 곡선 피팅을 실행하여 곡선을 검출하는 곡선검출수단; 및

상기 곡선검출수단에서 검출한 곡선 내 좌우의 레인경계 근방에 분포하는 복수의 곡선과 상기 세그먼트 군 작성수단이 작성한 세그먼트 군을 조합하여 상기 주행레인 중심에 가장 근접한 곡선을 구성하는 세그먼트 군이 소정의 길이 및 반복주기를 가질 때에 최내측 표시선으로서 특정하고, 상기 주행레인의 중심에 대하여 상기 최내측 표시선의 외측에 인접하는 곡선의 위치를 상기 주행레인의 경계선의 위치로 하여 특정하는 레인경계선 위치특정수단

을 포함하는 노면주행레인 검출장치.
제1항에 있어서,

상기 세그먼트 군 작성수단은

상기 복수의 라인 세그먼트 중에서 소정의 라인 세그먼트에 대하여 소정 거리와 방위의 범위내에 존재하는 다른 라인 세그먼트를 하나의 그룹으로서 상기 세그먼트 군을 작성하도록 구성되는

노면주행레인 검출장치.
제1항에 있어서,

상기 세그먼트 군 작성수단은

상기 에지점 검출수단에서 검출한 복수의 에지점으로 구성된 에지점 군에 대하여 각 에지점 간의 거리와 방위의 연속성에 기초하여 상기 라인 세그먼트를 작성하도록 구성되는

노면주행레인 검출장치.
제1항에 있어서,

상기 세그먼트 군 작성수단은

상기 복수의 라인 세그먼트에 기초하여 라인 세그먼트 군 중에서, 소정의 라인 세그먼트에 대하여 설정된 소정의 거리와 방위 범위 내에 다른 라인 세그먼트가 존재하는 경우에 소정 관계에 있는 것으로 판정하고, 동일한 그룹에 속하는 것으로 처리하도록 구성되는

노면주행레인 검출장치.
삭제
제1항에 있어서,

상기 레인경계선 위치특정수단은

상기 라인 세그먼트가 종방향 또는 횡방향으로 소정의 길이 및 주기를 갖는 블록형상의 표시선인 것으로 판단될 때에는 상기 블록형상의 표시선을 레인경계선 후보에서 제외하고, 상기 주행레인의 중심에 대하여 상기 블록형상의 외측의 곡선을 상기 주행레인 경계선으로 판정하도록 구성되는

노면주행레인 검출장치.
제1항에 있어서,

상기 에지점 검출수단은

상기 촬상수단에 의하여 촬상된 화상 상에서 상기 복수의 에지점을 검출한 후, 상기 복수의 에지점의 좌표치를 3차원 노면좌표로 역투영하여 상기 복수의 에지점으로서 출력하도록 구성되는

노면주행레인 검출장치.
촬상수단에 의해 노면을 연속해서 촬상한 화상으로부터 주행레인을 검출하는 노면주행레인 검출장치로서,

화상 중의 윤곽선으로부터 복수의 에지점을 검출하는 에지점 검출수단;

상기 에지점 검출수단에서 검출한 복수의 에지점에 대하여 곡선 피팅을 실행하여 에지점 군의 곡선을 검출하는 곡선검출수단;

상기 곡선검출수단에서 검출한 곡선의 구성에 기여하는 에지점 군을 그룹화하여 세그먼트 군을 작성하는 세그먼트 군 작성수단; 및

상기 곡선검출수단에서 검출한 곡선 내 좌우의 레인경계 근방에 분포하는 복수의 곡선과 상기 세그먼트 군 작성수단이 작성한 세그먼트 군을 조합하여 상기 주행레인의 중심에 가장 근접한 곡선을 구성하는 세그먼트 군이 소정의 길이 및 반복주기를 가질 때에 최내측 표시선으로서 특정하여 상기 주행레인의 경계선의 위치로서 특정하는 레인경계선 위치특성수단

을 포함하는 노면주행레인 검출장치.
제8항에 있어서,

상기 세그먼트 군 작성수단은

상기 곡선검출수단에서 검출한 곡선의 구성에 기여하는 에지점 군에 대하여 에지 히스토그램을 작성하고, 히스토그램에 기여하는 에지점 군을 그룹화하여 상기 세그먼트 군을 작성하도록 구성되는

노면주행레인 검출장치.
제9항에 있어서,

상기 레인경계선 위치특정수단은

상기 히스토그램이 종방향 또는 횡방향으로 소정의 길이 및 주기를 갖는 블록형상의 표시선인 것으로 판정된 때에는 상기 블록형상의 표시선을 레인경계선 후보로부터 제외하고, 상기 주행레인의 중심에 대하여 상기 블록형상의 표시선의 외측의 곡선을 상기 주행레인의 경계선으로 판정하도록 구성되는

노면주행레인 검출장치.
제8항에 있어서,

상기 에지점 검출수단은

상기 촬상수단에 의해 촬상된 화상 상에서 상기 복수의 에지점을 검출한 후, 상기 복수의 에지점의 좌표값을 3차원 노면좌표에 역투영하여 상기 복수의 에지점으로서 출력하도록 구성되는

노면주행레인 검출장치.