KR20200070702A - 더 정확한 차선 인식 시스템을 위한 차선 인식 검증 방법 - Google Patents

Abstract

본 발명은 차선 유지 시스템에서 차선 인식의 정확성을 자동으로 판단할 수 있는 방법론에 관합니다.
주행 중인 차량의 이어지는 도로 영상에서 제1위치에서의 코너점 좌표와 제2위치에서의 코너점 좌표를 잇고 매칭하여 카메라에서 차선 좌우 측까지의 실제 거리를 얻을 수 있습니다. 소정의 캘리브레이션 행렬로 연산을 거쳐 정확한 값을 얻을 수 있습니다. 또한 GPS 장치와의 통신을 통해서 구간별 도로의 실제 폭을 얻을 수 있습니다. 이 두 개의 데이터를 비교함으로써 차선 인식의 정확성을 자동으로 판단할 수 있습니다.

Description

더 정확한 차선 인식 시스템을 위한 차선 인식 검증 방법{METHOD OF VERIFYING LANE DETECTION IN MORE IMPROVED LANE DETECTION SYSTEM}

본 발명은 주행중인 자동차의 차선 인식 시스템에 관한다.

LSS(Lane Support System: 차로 유지 시스템), LKA(Lane Keeping Assist: 차로 이탈방지 보조), LDW(Lane Departure Warning: 차선 이탈 경고) 등의 개념과 차량에서의 기본적인 구현은 공지되어 있다. 이들 개념과 기술을 차량에 구현함에 있어 카메라 캘리브레이션(calibration) 기법이 범용적으로 사용되고 있다.

차량에 설치된 차로 유지 시스템은 내장된 카메라 모듈을 통해 입수되는 차선 이미지 데이터를 처리하면서 실시간으로 차선을 인식하고, 그 인식을 검증한다. 차로 유지 시스템이 사용하는 하드웨어/소프트웨어 장비를 이용해서 차선 인식을 완벽하게 판단하기 위한 다양한 노력이 행해지고 있다. 결국은 차선 인식의 정확성 여부가 관건이 된다. 그러나 실제 주행 중에는 정확성 판단이 모호한 경우가 자주 발생한다. 예컨대 도로의 합류 구간을 주행하는 경우, 눈 덮인 도로 상황 때문에 실제 차선의 위치를 판단하기 모호한 경우 등에서는 차로 유지 시스템의 검증 프로세스에서 True detection을 내렸지만 실제로는 False이거나 거꾸로 검증 프로세스에서 False detection을 내렸지만 실제로는 True인 경우가 발생한다.

이처럼 기존 차로 유지 시스템에서는 도로 사정 등 다양한 환경 요소로 말미암아 최종 인식률 정확도 산출에 오차가 발생하고 만다. 또한 이런 문제 때문에 사용자의 직관에 의한 감각적인 판단이 필요하게 되고, 추가적인 시간을 소모할 수밖에 없다.

본 발명의 발명자는 이러한 문제를 날카롭고 적정하게 해결하기 위하여 연구한 끝에 본 발명을 완성하기에 이르렀다.

본 발명의 목적은 주행 중인 차량의 차선을 정확하게 파악해서 차선 유지 시스템(LSS)이 수행하는 차선 인식에 관한 검증 프로세스에서 오차가 발생하는 비중을 줄이도록 함에 있다. 그리하여 자율주행 중 차선이 유지되도록 하고, 운전자에게 차로 이탈을 경고하는 등 더욱 신뢰성 있는 LSS를 구현하는 것이다.

또한, 본 발명의 다른 목적은 차선 유지 시스템에서 가능한 한 사용자의 직관에 의한 감각적인 판단의 필요성을 낮추는 것에 있다.

한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론 할 수 있는 범위 내에서 추가적으로 고려될 것이다.

본 발명은 차선 유지 시스템에서 차선 인식의 정확성을 자동으로 판단하는 방법으로서:

주행 중인 차량의 차선 인식 장치는 차량에 설치된 센서와 통신하여 캘리브레이션에 필요한 차량의 상태정보를 얻고 카메라 모듈과 통신하여 도로 영상을 입수하는 단계와,

주행 중인 차량의 주행 제1위치에서 입수된 도로 영상의 차선이 시작되는 좌우 코너를 찾아 각각 (x₁, y₁), (x₂, y₂)를 정의한 다음, 차량의 주행 제2위치에서 입수된 도로 영상의 차선이 시작되는 좌우 코너를 찾아 각각 (x₃, y₃), (x₄, y₄)를 정의한 후, (x₁, y₁)과 (x₃, y₃)을 매칭하고, (x₂, y₂)와 (x₄, y₄)를 매칭하며, 좌우 각각의 좌표를 선으로 연결한 후 연결된 좌표를 캘리브레이션 알고리즘을 통해 영상에서의 좌표값을 실제 좌표값으로 변환하여, 카메라에서 좌측 차선까지의 실제 거리(A) 및 카메라에서 우측 차선까지의 실제 거리(B)를 산출하는 단계와,

차량의 GPS 장치와 통신하여 GPS로 측정된 구간별 도로 실제 폭(G) 데이터를 얻은 다음, 상기 차선 인식 장치가 GPS로 측정된 구간별 도로 실제 폭과, 카메라에서 좌측 차선까지의 실제 거리(A)와, 카메라에서 우측 차선까지의 실제 거리(B)를 비교하는 단계를 포함하며,

f(G - (A+B)) = 0 (or < Tolerance) : 조건 2

상기 차선 인식 장치는 상기 조건 2을 만족하는 경우에만 차선 인식이 정확하다고 판단하는 것을 특징으로 한다.

위와 같은 본 발명의 과제해결수단을 통해서 본 발명은 차선 유지 시스템 혹은 차선 인식 시스템에서 차선 인식의 정확성 여부를 자동으로 판단할 수 있다는 장점이 있다.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

도 1은 본 발명의 차선 유지 시스템의 전자적 구성 예를 개략적으로 나타내는 도면이다.
도 2는 본 발명의 원리를 주행 중인 차량(1)에 적용하여 나타내는 도면이다.
도 3은 캘리브레이션 행렬식을 예시한 도면이다.
도 4는 본 발명의 전체 프로세스를 개략적으로 나타내는 블록도이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.

이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다. 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 1은 본 발명의 바람직한 어느 실시예에 따른 차선 유지 시스템의 전자적 구성을 개략적으로 나타냈다. 차선 유지 시스템 컴퓨터(110)가 카메라(100), 센서들(105), GPS 장치(109)와 통신해서 필요한 데이터를 얻는다. 또한 ECU(103)와 데이터를 주고받을 수 있으며, 디스플레이(120)를 통해 시스템 상황을 통보할 수 있다. 도시되어 있지만, 필요에 따라 여러 전자장치들이 추가될 수 있다.

차선 유지 시스템 컴퓨터(110)에는 차량의 내부에 별도로 설치되며, 데이터를 저장하는 스토리지를 포함한다. 또한 차선 유지 시스템 컴퓨터(110)에는 차선 유지 시스템의 미리 정해진 프로세스와 기능을 구현하는 하나 이상의 소프트웨어가 설치된다. 바람직하게는 후술하는 차선 인식 장치가 소프트웨어 장비로 차선 유지 시스템 컴퓨터(110)에 설치된다. 또한 차량의 상황을 디스플레이하고 사용자 제어를 위한 애플리케이션 소프트웨어도 포함된다.

1개 이상의 카메라를 포함하는 카메라 모듈(100)은 주행 중에 도로 영상을 촬영하여 실시간으로 차선 유지 시스템 컴퓨터(110)에 전송한다. 바람직하게는 차량의 앞 유리(윈드실드) 상단 중앙에 설치하는 것이 좋다.

바람직하게는, 센서들(105)은 차량 상태에 대한 정보를 실시간으로 파악해서 차선 유지 시스템 컴퓨터(110)로 전송한다. 차량의 상태에 대한 정보로는 차량 방향 정보, 차량 위치 정보, 차량 속도 정보, 차량 가속도 정보, 차량 각도 정보, 차량 기울기 정보 등을 포함할 수 있다. 관성 센서, 가속도 센서, 자이로 센서 등이 포함될 수 있다. 또한, 센서들(105)의 감지 값은 ECU(130)에도 전송되므로 ECU(130)로부터 차량 상태에 대한 정보를 얻을 수도 있다.

GPS 장치는 차량의 위치정보를 수신하여 차선 유지 시스템 컴퓨터(109)로 전송한다. 이를 통해 차선 유지 시스템 컴퓨터(110)는 GPS 기반으로 구간별 도로의 실제 폭을 얻을 수 있다.

차량에 설치되어 있는 ECU(130)는 상기 차선 유지 시스템 컴퓨터(110)와 데이터통신을 하며, 차량에 관한 각종 정보를 차선 유지 시스템 컴퓨터(110)에 전송한다.

디스플레이(120)를 통해 차선 유지 시스템이 관리하는 주행 상황이 표시될 수 있으며, 사용자 인터페이스 기능을 포함함으로써 이 디스플레이(120)를 통해 사용자로부터 제어 명령을 받을 수 있다.

도 2는 본 발명의 기본적인 원리를 개략적으로 나타낸다. 본 발명에서는 카메라를 이용해서 입력받은 도로 영상을 하나의 프레임으로 캘리브레이션하는 게 아니라, 말하자면 두 개의 영상 프레임을 이용해서 캘리브레이션을 수행한다.

도시되어 있는 것처럼, 차량(1)은 주행 중에 있다. 그러면 차량 전면 중앙에 설치된 카메라(10)가 실시간으로 도로 영상을 촬영해서 차선 유지 시스템으로 전송한다. 좌측 및 우측 그림의 중앙의 점선 화살표가 차량(1)의 주행 방향을 가리킨다. 도면은 편의적으로 나타낸 것인데, 좌측의 상태에서 차량이 주행하여 우측의 상태에 있다고 생각하면 이해하기 쉬울 것이다. 좌측의 상태를 차량의 주행 제1위치라고 정의하고, 우측의 상태를 차량의 주행 제2위치라고 정의하자.

먼저, 좌측 그림의 주행 제1위치에서 입력받은 도로 영상에서 좌우 차선(2, 3)의 시작점 코너 2개를 찾는다. 그리고 각 코너의 local descriptor를 정의한다. 차선 유지 시스템 컴퓨터(110)에 미리 설치되어 있는 소프트웨어를 이용하여 이미지 스트럭쳐 매칭 기법으로 코너 검출 알고리즘을 통해 차선(2, 3)의 시작점 코너를 검출한다. 바람직하게는 차선 안쪽의 코너가 되겠다. 좌우 코너점의 좌표를 각각 (x₁, y₁) 및 (x₂, y₂)로 표시할 수 있다.

그다음 우측 그림의 주행 제2위치에서 입수된 도로 영상의 차선(4, 5)이 시작되는 좌우 코너를 찾아 마찬가지로 그 코너점들의 위치 좌표를 각각 (x₃, y₃), (x₄, y₄)로 표시한다. 주행 제1위치에서 주행 제2위치로 실제 이동한 거리는 (x', y')로 측정될 수 있다.

본 발명의 차선 인식 장치는 주행 제1위치 및 주행 제2위치의 좌우 각각의 좌표를 선분으로 연결하여 코너 매칭을 한다. 그렇게 해서 연결된 선위에 있는 좌표를 카메라부터의 실제 거리로 환산한다. 그런 다음 카메라 캘리브레이션(calibration)을 한다. 차량에 장착된 인식 카메라에서 오브젝트를 탐지한 후 실제 거리정보 및 이를 바탕으로 한 충돌 경보음을 내기 위해서는 차량에 설치된 카메라가 어느 위치, 어느 방향으로 장착되어 있는지를 미리 정확하게 계산할 필요가 있다. 이러한 계산과정을 카메라의 캘리브레이션이라고 한다. 실제 카메라의 회전(heading, roll, pitch) 및 위치(x, y, z)를 이용해서 장착된 카메라와 인식된 오브젝트 사이의 실제 상대 거리 측정이 가능하다. 위와 같은 카메라 캘리브레이션은 결국 영상 좌표축(image axis)에서 실제 좌표축(world axis)로 변환하면서 일련의 카메라 내외 파라미터를 이용하게 되는데, 그 자체의 기술은 공지되어 있으며 다양한 기법이 본 발명에서 이용될 수 있다.

한편, 도 3은 캘리브레이션 과정의 행렬 연산의 예를 나타낸다. 행렬 [1]은 영상에서의 좌표값이며, 행렬 [2]는 최종 산출값이다. [3]은 [1]과 [2]를 연산하여 얻은 실제 이동 거리이다.

위와 같은 과정을 거쳐서 차량의 카메라에서 좌우 차선의 측면까지의 거리를 산출하여 비교할 수 있다. 그런 다음 GPS로 측정된 구간별 도로 폭 데이터를 이용한다. 즉, 도로의 실제 폭을 앞에서 계산한 카메라에서부터 좌우 차선의 실제 거리를 비교함으로써, 실제 도로 폭을 기반으로 한 차선 인식의 정확성 여부를 자동적으로 판단할 수 있다. 다음 조건 1의 함수를 만족한다면, 차선을 정확히 인식된 것이다.

조건 1: f(GPS로 측정된 구간별 도로의 실제 폭 - (((|Front camera center - Real left lane lateral position|) ) + ((|Front camera center - Real right lane lateral position|)))) → 0 or tolerance

조건 1은 다음의 조건 2로 바꿔서 이해하는 것도 가능하다. 앞에서 설명한 원링 의해 카메라에서 좌측 차선까지의 실제 거리를 A라고 하고, 카메라에서 우측 차선까지의 실제 거리를 B라고 하자. 차선 인식 장치가 차량의 GPS 장치와 통신하여 얻은 GPS정보를 이용하여 얻은 구간별 도로의 실제 폭인 차선 폭을 G라고 한다면, 조건 1은 조건 2와 같이 추상화될 수 있다.

조건 2: f(G - (A+B)) = 0 (or < Tolerance)

도 4는 이상에서 설명한 본 발명의 프로세스를 다시 한번 정리해서 나타내었다. 차량은 주행 중에 있다. 그러므로 카메라는 주행 중 도로 영상을 실시간으로 입수한다(S100). 다음으로 주행 제1위치에서 입수한 도로 영상에서 차선 시작 지점의 좌우 코너를 찾아 그 좌표를 각각 (x₁, y₁) 및 (x₂, y₂)로 정의한다(S110). 이어서 주행 제2위치의 도로 영상에서 차선 시작 지점의 좌우 코너를 찾아 그 좌표를 각각 (x₃, y₃), (x₄, y₄)로 정의한다(S120). S110 단계와 S120 단계에서 각각 얻은 코너쌍을 서로 연결하여 매칭하고 연결된 선위에 있는 있는 좌표를 카메라로부터의 실제 거리로 변환한다(S130).

그런 다음 캘리브레이션 행렬을 계산한다(S140). 이를 통해 차량의 카메라에서 좌우 차선의 측면까지의 거리를 산출할 수 있다.

한편, 차량의 GPS 장치와 차선 인식 장치와의 통신을 통해 측정된 차량의 위치정보를 이용해서 구간별 도로의 실제 폭 값을 얻을 수 있다(S200). 바람직하게는 GPS 장치는 차량의 위치정보를 차선 인식 장치에 전송하고, 이를 이용해서 차선 유지 시스템에 미리 저장되어 있는 위치정보로 식별되어 있는 구간별 도로 정보를 추출할 수 있다.

그런 다음 S140 단계를 통해 얻은 거리와 S200 단계를 통해 얻은 거리를 전술한 조건에 따라 비교한다(S150).

위와 같은 조건을 만족한다면 차선을 정확히 인식했다고 검증 판단을 행한다(S160). 따라서 차선 인식한 결과에 따라 차량은 후행하는 절차를 속행한다(S160). 디스플레이에 차량상태를 정상으로 표시하고 미리 설정되어 있는 바에 따라 주행을 지속한다. 반면 위와 같은 조건을 만족하지 못한다면 차선 인식 결과를 false로 판단하고, 그 검증 결과에 따라 후속하는 프로세스를 실행한다(S165). 예컨대 차선 인식이 잘못되었으므로 운전자의 감각적인 판단을 행하도록 경보할 수 있다.

참고로, 본 발명의 일 실시예에 따른 차선 유지 시스템에서 차선 인식의 정확성을 자동으로 판단하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능매체에 기록될 수 있다. 상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독가능매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체, 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (1)

1. 차선 유지 시스템에서 차선 인식의 정확성을 자동으로 판단하는 방법으로서:
   주행 중인 차량의 차선 인식 장치는 차량에 설치된 센서와 통신하여 캘리브레이션에 필요한 차량의 상태정보를 얻고 카메라 모듈과 통신하여 도로 영상을 입수하는 단계와,
   주행 중인 차량의 주행 제1위치에서 입수된 도로 영상의 차선이 시작되는 좌우 코너를 찾아 각각 (x₁, y₁), (x₂, y₂)를 정의한 다음, 차량의 주행 제2위치에서 입수된 도로 영상의 차선이 시작되는 좌우 코너를 찾아 각각 (x₃, y₃), (x₄, y₄)를 정의한 후, (x₁, y₁)과 (x₃, y₃)을 매칭하고, (x₂, y₂)와 (x₄, y₄)를 매칭하며, 좌우 각각의 좌표를 선으로 연결한 후 연결된 좌표를 캘리브레이션 알고리즘을 통해 영상에서의 좌표값을 실제 좌표값으로 변환하여, 카메라에서 좌측 차선까지의 실제 거리(A) 및 카메라에서 우측 차선까지의 실제 거리(B)를 산출하는 단계와,
   차량의 GPS 장치와 통신하여 GPS로 측정된 구간별 도로 실제 폭(G) 데이터를 얻은 다음, 상기 차선 인식 장치가 GPS로 측정된 구간별 도로 실제 폭과, 카메라에서 좌측 차선까지의 실제 거리(A)와, 카메라에서 우측 차선까지의 실제 거리(B)를 비교하는 단계를 포함하며,
   f(G - (A+B)) = 0 (or < Tolerance) : 조건 2
   상기 차선 인식 장치는 상기 조건 2을 만족하는 경우에만 차선 인식이 정확하다고 판단하는 것을 특징으로 하는 차선 유지 시스템에서 차선 인식의 정확성을 자동으로 판단하는 방법.
   

Images