KR20140132210A - 차선 인식 방법 및 그 시스템 - Google Patents

차선 인식 방법 및 그 시스템 Download PDF

Info

Publication number
KR20140132210A
KR20140132210A KR20130051445A KR20130051445A KR20140132210A KR 20140132210 A KR20140132210 A KR 20140132210A KR 20130051445 A KR20130051445 A KR 20130051445A KR 20130051445 A KR20130051445 A KR 20130051445A KR 20140132210 A KR20140132210 A KR 20140132210A
Authority
KR
South Korea
Prior art keywords
interest
roi
lane
image
region
Prior art date
Application number
KR20130051445A
Other languages
English (en)
Other versions
KR101478258B1 (ko
Inventor
이찬호
정대균
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020130051445A priority Critical patent/KR101478258B1/ko
Publication of KR20140132210A publication Critical patent/KR20140132210A/ko
Application granted granted Critical
Publication of KR101478258B1 publication Critical patent/KR101478258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

입력된 영상에서 차선 경계선을 인식한 뒤 ROI를 경계선 주변으로 제한하여 연산량을 줄이는 차선 인식 방법 및 그 시스템을 제공한다.
차선 인식 시스템은 차선 경계선을 포함하는 영상 프레임을 획득하는 영상정보 획득장치와, 차선 경계선의 기울기 정보에 따라 상기 차선 경계선을 인식하기 위한 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 관심영역 설정부 및 Λ-ROI 영역 내에서 차선을 인식하는 차선 인식부를 포함하므로, 차선 인식을 위한 연산량을 줄일 수 있다.

Description

차선 인식 방법 및 그 시스템{Lane detection method and system}
본 발명은 차량의 위치와 방향을 추정할 수 있도록 차선 경계선을 인식하는 차선 인식 방법 및 그 시스템에 관한 것이다.
자동차에 IT 기술이 접목되어 지능형 자동차 개발이 활성화되고 있고, 이에 따라 자동차의 편의성과 안정성이 크게 개선되고 있다. 이러한 연구는 자동차 주행과 관련하여 성능 및 안전성을 개선하는 연구와 차량의 상태 및 주변 환경 등의 정보를 제공하는 편의성과 안전성을 높이는 분야로 나누어지는데 후자의 경우 카메라를 통한 영상을 분석하여 주변 상황을 인식하는 연구가 중요한 부분을 차지한다.
이러한 연구 중의 하나인 차선 인식은 차선에서 차량의 위치와 방향을 추정하는데 이용 가능하다. 이를 이용하여 자동차 전용도로 등에서 차량의 차선 이탈을 감지하여 운전자에게 알려주고 모든 주행 상황에서 차선을 인식하고, 자동 운전 시스템에서 차량이 차선을 이탈하지 않고 주행하기 위한 정보를 제공한다. 또한, 다른 차량의 위치와 장애물에 대한 정보를 제공하여 장애물 회피 시스템에서도 이용될 수 있다. 차선 인식을 위해, 카메라, 선 인식 센서, 레이저 탐지, GPS 등의 다양한 센서를 이용한 방법이 연구되었는데, 이 중에서 카메라를 이용한 방식이 가장 광범위하게 특정 조건에 구애받지 않고 사용 가능하다. 카메라를 이용한 영상 인식 방법은 선 인식이나 레이저 탐지 방식처럼 차량 외부 또는 도로에 별도의 장치를 필요로 하지 않고 GPS 신호를 이용하는 방식이 요구하는 축적된 지도 정보 등이 없어도 정확한 위치 정보를 제공할 수 있다.
한편, 영상 인식을 기반으로 한 차선 인식 알고리즘에서 입력된 영상으로부터 차선 경계선 추출은 가장 핵심적인 동작으로 차량이 차선 안에서 좌우로 조금씩 움직이고 차선도 항상 직선을 유지하는 않아 하나의 특징 추출로는 인식이 어렵다. 따라서, 적절한 임계치 설정, 가장자리 탐지와 선 탐지 등의 방법을 통해 실시간으로 이루어진다. 패턴의 가장자리를 인식하는 방법은 차선 경계선처럼 두꺼운 분할선 인식에 적합하고 야간 주행을 돕기 위한 반사판에 의한 영향을 보상하는데도 이용 가능하다.
한편, 고속도로의 중간 차선은 매우 환경이 좋은 편이지만 가장자리 차선이나 도심의 시가지 등 도로 환경이 복잡한 경우에는 관심 영역(Region Of Interest, ROI)의 선택이 차선 인식에 중요한 요소로 작용한다. ROI의 선택은 인식율과 인식 성능 모두에 중요한 영향을 미친다.
본 발명의 일측면은 입력된 영상에서 차선 경계선을 인식한 뒤 ROI를 차선 경계선 주변으로 제한하여 연산량을 줄이는 차선 인식 방법 및 그 시스템을 제공한다.
이를 위한 본 발명의 일측면에 의한 차선 인식 시스템은 차선 경계선을 포함하는 영상 프레임을 획득하는 영상정보 획득장치; 와, 상기 영상 프레임 내에 적응적 직사각형 관심영역을 설정하고, 상기 적응적 직사각형 관심영역에 존재하는 상기 차선 경계선의 기울기 정보에 따라 상기 차선 경계선을 인식하기 위한 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 관심영역 설정부; 및 상기 Λ-ROI 영역 내에서 차선을 인식하는 차선 인식부를 포함할 수 있다.
상기 관심영역 설정부가 상기 차선 경계선의 기울기 정보에 따라 상기 차선 경계선을 인식하기 위한 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은, 상기 영상 프레임의 이전 프레임에서 미리 추출한 차선 경계선의 기울기 정보에 따라 차선 경계선을 인식하는 것을 포함할 수 있다.
상기 관심영역 설정부가 상기 차선 경계선의 기울기 정보에 따라 상기 차선 경계선을 인식하기 위한 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은, 상기 영상 프레임에 직사각형의 관심영역을 설정하고, 상기 직사각형의 관심영역에 대한 영상을 무채색으로 전처리하고, 상기 전처리된 영상을 이진화된 영상으로 변환하여 상기 차선 경계선의 기울기 정보를 추출하는 것을 포함할 수 있다.
상기 관심영역 설정부는 상기 직사각형 관심영역을 통해 차선 경계선을 탐지하여 기울기 k를 구하고, 상기 기울기 k를 미리 정해진 범위내로 변화시켜 상기 Λ-ROI(Λ-shape Region Of Interest)의 범위를 설정할 수 있다.
상기 영상 프레임에 직사각형의 관심영역을 설정하는 것은, 전체 영상 프레임 영역에서 미리 정해진 부분 영역을 상기 직사각형의 관심 영역으로 설정하거나, 상기 영상 프레임의 그레이 스케일의 이미지에서 산출되는 밀도값에 따라 적응적으로 상기 직사각형의 관심 영역을 설정할 수 있다.
그리고, 본 발명의 일실시예에 의한 차선 인식 시스템의 제어방법은 영상 프레임을 획득하고, 상기 영상 프레임에 포함되는 차선 경계선의 기울기에 따라 Λ-ROI(Λ-shape Region Of Interest)를 설정하며, 상기 Λ-ROI 영역 내에 위치하는 차선을 인식할 수 있다.
상기 차선 경계선의 기울기에 따라 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은, 상기 영상 프레임에 포함되는 차선 경계선의 기울기 k를 산출하고, 상기 기울기 k의 범위를 소정의 범위로 변화시켜 상기 Λ-ROI(Λ-shape Region Of Interest) 영역을 설정하는 것을 포함할 수 있다.
상기 차선 경계선의 기울기에 따라 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은, 상기 영상 프레임의 이전 프레임에 포함되는 차선 경계선의 기울기 정보에 따라 상기 영상 프레임의 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것을 포함할 수 있다.
상기 영상 프레임에 포함되는 차선 경계선의 기울기에 따라 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은, 상기 영상 프레임에 직사각형의 관심영역을 설정하고, 상기 직사각형의 관심영역에 대한 영상을 무채색으로 전처리하고, 상기 전처리된 영상을 이진화된 영상으로 변환하여 상기 차선 경계선의 기울기 정보를 추출하는 것을 포함할 수 있다.
상기 영상 프레임에 직사각형의 관심영역을 설정하는 것은, 전체 영상 프레임 영역에서 미리 정해진 부분 영역을 상기 직사각형의 관심 영역으로 설정하거나, 상기 영상 프레임의 그레이 스케일의 이미지에서 산출되는 밀도값에 따라 적응적으로 상기 직사각형의 관심 영역을 설정할 수 있다.
상기 영상 프레임의 그레이 스케일의 이미지에서 산출되는 밀도값에 따라 적응적으로 상기 직사각형의 관심 영역을 설정하는 것은, 상기 영상 프레임의 이미지 전처리(image preprocessing), 적정 라인 필터링(proper line filtering), 레이어 세그멘테이션(layer segmentation), ROI 결정(ROI determination) 순으로 작업을 수행하여 상기 직사각형의 관심 영역을 설정할 수 있다.
상기 영상 프레임의 그레이 스케일의 이미지에서 산출되는 밀도값에 따라 적응적으로 상기 직사각형의 관심 영역을 설정하는 것은, 상기 영상 프레임을 입력받는 동작 초기에 적응적으로 직사각형 관심 영역을 설정하고, 상기 차선 경계선의 간격과 기울기가 미리 정해진 범위 이상으로 변하면 상기 직사각형의 관심 영역을 재설정할 수 있다.
상기 차선 경계선에 대한 정보에 따라 상기 차선의 가운데를 지나는 가상의 중앙선을 설정하고, 상기 가상의 중앙선과 차량의 위치에 따라 상기 차량이 차선을 이탈하는지 여부를 확인하는 것을 더 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 일측면에 의하면 Λ-ROI를 이용하여 차선을 인식하므로 연산량을 줄이면서 고해상도 영상에서도 성능이 저하되지 않는 차선 인식 시스템을 구축할 수 있다.
도 1은 본 발명의 일실시예에 의한 차선 인식 시스템에 대한 개략적인 블록도
도 2는 도 1에 도시된 제어부의 세부블록도이며
도 3a 내지 도 3e는 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 관심영역 설정부의 동작을 설명하기 위한 도면
도 4는 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 관심영역 설정부에 의해 설정된 관심영역을 나타내는 도면
도 5는 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 차선 인식부에 의해 차선을 검출하는 과정을 설명하기 위한 도면
도 6은 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 차선 인식부에서 사용되는 허프 변환에 대한 개념을 설명하기 위한 도면
도 7 내지 도 9는 본 발명의 일실시예에 의한 차선 인식 시스템의 관심영역 설정부가 Λ-ROI 설정 전에 직사각형 ROI 지정 시 사용되는 적응적 ROI 설정 방법을 설명하기 위한 도면
도 10은 본 발명의 일실시예에 의한 차선 인식 시스템의 제어흐름도
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 사용하기로 한다.
도 1은 본 발명의 일실시예에 의한 차선 인식 시스템에 대한 개략적인 블록도이다.
차선 인식 시스템(100)은 영상정보 획득장치(110), 제어부(120), 데이터베이스(130) 및 출력장치(140)를 포함할 수 있다.
영상정보 획득장치(110)는 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위, 후방위 및 측방위를 촬영할 수 있는 카메라를 포함할 수 있다. 회전체 반사경 형상으로는 쌍곡면이나 구면, 원추형, 복합형 등 다양하다. 영상정보 획득장치(110)는 차선 인식 시스템(100)의 동일면의 동일 중심축 상에 수평 간격으로 설치되는 적어도 한 쌍의 카메라 또는 단일 카메라를 포함할 수 있다. 수평 간격은 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있으며, 차선 인식 시스템(100)을 구성할 때 설정할 수 있다. 영상정보 획득장치(110)는 영상 촬상이 가능한 임의의 모든 카메라 모듈을 포함할 수 있다.
제어부(120)는 차선 인식 시스템(100)의 전반적인 동작을 제어할 수 있다. 차선 인식 시스템(100)이 주행하기 위한 각종 동력 구동부의 제어를 수행할 수 있다. 제어부(120)는 영상정보 획득장치(110)로부터 수신한 영상의 처리, 차선 인식 및 기타 연산에 관한 처리를 수행할 수 있다.
데이터베이스(130)는 제어부(120)의 동작을 위한 데이터와 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수 있다. 데이터베이스(130)는 플래시 메모리 타입, 하드 디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리, 램 등과 같은 저장매체를 포함할 수 있다.
출력장치(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있으며, 디스플레이부(133) 및 음향 출력 모듈(136)을 포함할 수 있다.
디스플레이부(133)는 차선 인식 시스템(100)에서 처리되는 정보를 출력할 수 있다. 예를 들어, 주행과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다. 디스플레이부(133)는 차선 인식 시스템(100)의 영상정보 획득장치(110)을 통해 획득된 영상 또는 제어부(120)를 통해 인식된 차선과 관련된 정보를 표시할 수 있다. 디스플레이부(133)는 영상과 인식된 차선에 대한 정보를 동시에 표시하되, 상하 또는 좌우측으로 분할하여 표시하거나, 영상에 인식된 차선에 관한 정보를 오버랩하여 표시할 수 있다.
음향 출력 모듈(136)은 녹음 모드, 음성 인식 모드에서 데이터베이스(130)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(136)은 차선 인식 시스템(100)에서 수행되는 차선 인식 결과(예를 들어, 차선 이탈 경고, 자동 차선 유지 알림 등)와 관련된 음향 신호를 출력할 수 있다. 음향 출력 모듈(136)은 리시버(Receiver), 스피커(Speaker), 버저(Buzzer) 등이 포함될 수 있다.
도 2는 도 1에 도시된 제어부의 세부 블록도이며, 도 3a 내지 도 3e는 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 관심영역 설정부의 동작을 설명하기 위한 도면이며, 도 4는 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 관심영역 설정부에 의해 설정된 관심영역을 나타내는 도면이며, 도 5는 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 차선 인식부에 의해 차선을 검출하는 과정을 설명하기 위한 도면이며, 도 6은 본 발명의 일실시예에 의한 차선 인식 시스템에 포함되는 차선 인식부에서 사용되는 허프 변환에 대한 개념을 설명하기 위한 도면이다.
도 2를 참조하면, 제어부(120)는 관심영역 설정부(123) 및 차선 인식부(126)를 포함할 수 있다.
관심영역 설정부(123)는 영상정보 획득장치(110)를 통해 입력되는 첫 번째 영상 프레임에 포함되는 차선 경계선의 기울기를 추출할 수 있다. 관심영역 설정부(123)는 직사각형 관심영역(ROI, Region Of Interest)을 지정하여 차선 경계선의 기울기를 추출할 수 있다. 관심영역 설정부(123)는 획득된 영상에서 현재의 차선의 도로 영역을 포함하는 직사각형 관심영역을 설정할 수 있다. 관심영역 설정부(123)는 전체 영상의 부분 영역(예를 들면, 1/2)에 해당하는 고정적인 영역을 관심영역으로 설정하고 전처리 과정을 거친 뒤, 관심영역을 좌우로 나누어 좌우의 차선 경계선에 대해 차선 인식을 실행할 수 있다. 도 3(a) 및 도 3(b)를 참조하면, 영상정보 획득장치(110)을 통해 획득된 영상의 세로축을 기준으로, 위에서 1/3 지점부터 아래의 1/2의 영역을 관심영역으로 설정할 수 있다. 관심영역 설정부(123)는 상술한 방법 외에 적응적 ROI 셋팅 방법을 사용하여 직사각형 ROI를 설정할 수 있다. 관심영역 설정부(123)는 이미지 전처리(image preprocessing), 적정 라인 필터링(proper line filtering), 레이어 세그멘테이션(layer segmentation), ROI 결정(ROI determination) 순으로 작업을 수행하여 ROI를 셋팅할 수 있으며, 구체적인 방법은 후술하기로 한다.
관심영역 설정부(123)는 고정 관심영역을 설정한 후 또는 적응적으로 관심 영역을 설정하는 과정에서, 해당 영역을 그레이 영상으로 변환하여 전처리할 수 있다. 도 3(c)를 참조하면, 관심 영역이 그레이 영역으로 변환된 것을 확인할 수 있으며, 이는 차선 경계선을 찾을 경우 배경보다 밝은 색을 인식하여 처리하므로 불필요한 색채를 제거하기 위해 수행하는 작업이다. 도 3(d)를 참조하면, 관심영역 설정부(123)는 무채색으로 처리한 영상을 이진화 영상으로 변환할 수 있다. 관심영역 설정부(123)는 임계값을 날씨, 도로상태, 시간대 등에 따라 조정하여 이진화 영상 변환 시, 영상의 상태에 따른 영향을 최소화할 수 있다.
한편, 관심영역 설정부(123)는 적응적 직사각형 관심영역 설정 시, 수신된 입력 영상을 그레이 이미지로 변환한 후, Canny 알고리즘을 이용하여 가장자리 선을 탐지하여 가장자리선의 강도를 조절하고, 탐지된 가장자리선에서 기울기, 길이, 강도 등을 고려하여 미리 정해진 조건에 맞지 않는 가장자리선을 필터링함으로써, 차선 경계선과 평행한 조건을 만족하면서 실제 라인으로 인식되는 부분만 남길 수 있다. 이 경우, 관심영역 설정부(123)는 라인의 밀도값을 구하고, 밀도값이 미리 정해진 기준값을 넘는 영역을 직사각형 ROI로 설정하여 고정된 ROI가 아닌 적응적 ROI를 구현할 수 있다.
한편, 관심영역 설정부(123)는 영상정보 획득장치(110)의 위치와 각도가 고정되어 있는 경우 동작 초기에만 적응적 직사각형 관심영역을 설정하고, 이후 입력 영상이 크게 바뀔 때에만 추가로 적응적 직사각형 관심영역을 재설정할 수 있다. 관심영역 설정부(123)는 차선 경계선의 간격과 기울기를 측정하여, 이 값들이 크게 변하면 도로 환경이 변하여 직사각형 ROI 영역이 크게 바뀌었을 가능성이 크므로 직사각형 관심영역을 재설정할 수 있다.
관심영역 설정부(123)는 이진화된 영상에 Canny 가장 자리 탐지 방법을 이용하여 가장자리 선을 탐지할 수 있다. Canny 가장 자리 탐지 방법 이용 시, 한 픽셀의 두께를 갖는 가장자리 선을 생성할 수 있다. 도 3(e)을 참조하면, 최종 영상은 좌우 두 경계선에 대해 새로운 두 개의 ROI를 설정하고, 왼쪽의 ROI와 오른쪽의 ROI에 대해 적절한 각도를 갖는 선을 찾아 차선 경계선으로 설정하고, 나머지 선들은 모두 제거할 수 있다. 차선의 위치는 허프 변환을 이용하여 차선 경계선을 직선에 맞추어 결정할 수 있다. 허프변환은 직교좌표계 (x,y)를 다음과 같은 수식 1로 표현되는 원통좌표계(ρ,θ)로 변환 및 재구성하여 영상정보 내의 직선성분을 추출하는 변환기법이며, 영상에 존재하는 다항식으로 모델링 가능한 물체를 찾아내는 방법이다. 허프 변환은 파라미터 공간에서 에지와 같은 영상의 특징점을 지나는 곡선들의 궤적을 계산하는 것으로, 실수값의 파라미터 공간은 양자화에 의해 셀로 구분되고, 각 셀에 대응되는 특징점의 수를 헤아리기 위한 누산기(Accumulator)의 메모리를 할당해서 처리할 수 있다.
따라서, 일반적인 허프 변환에서 파라미터 공간의 각 파라미터들을 양자화과정을 거쳐 적당한 크기의 값을 갖는 영역으로 분할하고, 이산화된 각 파라미터 공간에 대응되는 영상의 특징점의 수를 누적시켜, 가장 큰 값을 갖는 영역의 파라미터 값으로부터 영상공간에서의 형상에 관한 정보를 추출할 수 있다.
차선 경계선의 직선의 식은 다음과 같은 수식 1에 의해 결정되고, θ와 ρ는 직선 모델에 맞도록 결정될 수 있다.
수식 1
x cosθ + y sinθ = ρ
상술한 수식 1에서, (x, y)평면의 동일 직선상의 점들은 (ρ, θ)평면에서 하나의 점에 대응한다. 도 6을 참조하면, 도 6(a)에서 동일 직선상에 있는 6개의 점들이 허프 변환에 의해 (ρ, θ)평면에서 하나의 점에 대응하고 있는 것을 알 수 있다.
허프 변환에서는 영상의 모든 특징점을 대상으로 각 셀에 대응하는 특징점의 수를 누적시켜 최대값을 갖는 셀의 대표값을 구하여 영상의 선분을 추출할 수 있다.
관심영역 설정부(123)는 Λ-ROI 방식을 적용하여 관심영역을 설정할 수 있다. 관심영역 설정부(123)는 차선 경계선에 대한 수식 1을 다음과 같은 수식 2로 수정하여 ROI를 설정하는데 이용할 수 있다.
수식 2
y - y0 = k (x - x0)
여기서, (x0, y0)는 오른쪽 차선 경계선과 왼쪽 차선 경계선의 직선식이 만나는 소실점의 좌표이고, k는 수식 1의 θ로부터 얻어지는 기울기이다. 여기서, k값을 소정의 크기(예를 들면, ±0.2)만큼 변화시켜 도 4와 같은 Λ자 모양의 ROI의 범위를 정할 수 있다. k의 크기 변화량은 정상적인 주행 상태에서 차선이 움직이는 최대 범위를 경험적으로 정하여 설계될 수 있는 범위이다. k의 크기 변화량은 도로 상황에 따라 변경하는 것도 가능하며, 설계 시 미리 정해질 수도 있다.
관심영역 설정부(123)는 직사각형 ROI를 통해 차선 경계선을 탐지하여 그 기울기 k를 구하고, 그 이후에는 Λ-ROI 영역에서 k값을 갱신할 수 있다. 관심영역 설정부(123)는 Λ-ROI를 설정함으로써 연산 및 성능 효율을 높일 수 있다.
관심영역 설정부(123)는 도로에서 정상 주행을 하는 경우 차량이 대체적으로 차선 가운데를 주행하므로, ROI 변화가 크지 않다는 사실을 이용하여 이전 프레임의 차선 경계선 위치로부터 상술한 방법에 따라 Λ-ROI 영역을 구할 수 있다.
차선 인식부(126)는 Λ-ROI 영역 내의 이미지를 이진화하여 도 5 (a)와 같은 결과를 얻을 수 있다. 차선 인식부(126)는 Λ-ROI 영역이 차선 경계선 부분의 일부 영역만 포함하므로, 잡음이나 가로 성분의 선 또는 잘못된 선이 포함될 가능성이 낮다는 점에 따라 차선 경계선의 형태를 왜곡할 수 있는 오프닝 처리 대신에 메디안 필터를 이용하여 그림 5 (b)와 같은 스무딩(smoothing)결과를 얻을 수 있다.
차선 인식부(126)는 Canny 가장자리 탐지와 허프 변환을 이용하여 도 5(c)에 도시한 바와 같이, 윤곽선을 구할 수 있으며, 도 5(d)에 도시한 것처럼 차선을 최종적으로 인식할 수 있다.
한편, Λ-ROI 방식에 따라 관심 영역 설정 시, 이전 프레임에서 차선의 기울기에 대한 정보를 얻어오므로 차선 내에서 차량이 좌우로 조금 움직이는 경우에는 Λ-ROI 영역 내에 차선 경계선이 남아 있어 차선 인식에 영향을 주지 않고 매 프레임마다 차선 경계선의 기울기가 갱신되어 적응적으로 Λ-ROI가 설정될 수 있다.
한편, 제어부(120)는 좌우 차선의 기울기를 통해 차량이 차선의 중앙에서 좌우로 얼마나 벗어났는지를 알 수 있고, 복수 개의 영상 프레임에 걸친 데이터와 차량의 속도를 이용하면 차량이 차선을 벗어날지 여부를 예측하여 미리 경고를 보낼 수 있다. 제어부(120)는 차선과 차량의 위치 관계를 파악하면 차선의 폭이 달라지거나 좌우 어느 한쪽의 차선 경계선이 인식되지 않더라도 차량이 차선을 벗어나는지를 예측할 수 있다.
제어부(120)는 상술한 차량의 차선 이탈 여부 판단 시, 차선의 가운데를 지나는 가상의 중앙선을 이용할 수 있다. 제어부(120)는 좌우 차선 경계선의 평균값으로 가상의 중앙선을 구할 수 있고, 이 선이 ROI의 아래쪽 x축과 만나는 점의 위치를 추적함으로써 쉽게 계산할 수 있다. 곡선 차선의 경우 차량이 차선을 벗어나는지를 알기가 직선 차선보다 어려운데 ROI 아래 x축과 만나는 중앙선에 대한 정보를 활용하면 정확성을 높일 수 있다.
도 7 내지 도 9는 본 발명의 일실시예에 의한 차선 인식 시스템의 관심영역 설정부가 Λ-ROI 설정 전에 직사각형 ROI 지정 시 사용되는 적응적 ROI 설정 방법을 설명하기 위한 도면이다.
관심영역 설정부(123)는 이미지 전처리, 라인 필터링, 레이어 세그멘테이션, ROI 결정과 같은 4가지 단계를 통해 ROI에 포함되는 차선 경계선의 기울기를 산출할 수 있다.
관심영역 설정부(123)는 도 7a와 같은 입력 영상을 수신하고, 입력 영상을 도 7b에 나타낸 것처럼 그레이 이미지로 전환할 수 있다. 관심영역 설정부(123)는 Canny 알고리즘을 이용하여 가장자리 선을 탐지할 수 있으며, 그 결과는 도 7c에 도시한 바와 같다. 관심영역 설정부(123)는 파라미터 조절을 통해 탐지되는 가장자리선의 강도를 조절할 수 있다.
관심영역 설정부(123)는 도 8(a)를 참조하면, 허프 변환으로 차선 경계선을 직선에 맞추어 결정할 수 있다. 관심영역 설정부(123)는 도 8(b)를 참조하면, 탐지된 가장자리 선에서 기울기, 길이, 강도 등을 고려하여 미리 정해진 조건에 맞지 않는 가장자리 선을 필터링하여, 차선 경계선과 평행한 조건을 만족하면서 실제 라인으로 인식되는 부분만 남길 수 있다.
관심영역 설정부(123)는 도 9(a)를 참조하면, 실제 라인으로 남은 영역만 그레이 스케일로 변환한다. 이 경우, 차선부분은 밝고 두꺼운 라인이 되고, 차량이나 도로 가장자리, 가드레일 등에 의한 선분은 회색의 가느다란 라인이 되며, 라인이 아닌 부분은 검은색이 되므로 영상으로 좌우로 나누어 픽셀의 가로줄을 따라 라인의 밀도값을 평균하여 표시하면 선분이 많을수록 밝은색을 띄게 된다.
관심영역 설정부(123)는 도 9(a)에 도시된 영역에서, 밀도값이 기준값을 넘게 되면 직사각형 ROI에 포함시킬 수 있다. 관심영역 설정부(123)는 대칭 좌우의 이미지 중 한쪽이 기준값을 넘고 다른 쪽이 기준값을 넘지 않는 경우에도 한쪽의 결과가 확실하면 다른 쪽도 ROI에 포함시킬 수 있으며, 선택된 ROI의 결과 화면은 도 9(b)에 도시한 바와 같다.
도 10은 본 발명의 일실시예에 의한 차선 인식 시스템의 제어흐름도이다.
영상정보 획득장치(110)는 영상을 촬영하여 도로 영상 프레임을 획득할 수 있다.(200)
관심영역 설정부(123)는 획득된 영상 프레임의 이전 프레임에서 미리 획득된 차선 경계선의 기울기 정보가 있는지 확인한다.(210)
관심영역 설정부(123)는 이전 프레임에서 차선 경계선의 기울기 정보가 있으면, 차선 경계선의 기울기를 갱신하여 적응적으로 Λ-ROI를 설정할 수 있다.(220)
차선 인식부(126)는 Canny 가장자리 탐지와 허프 변환을 이용하여 윤곽선을 구하고, 차선을 최종적으로 인식할 수 있다.(230)
한편, 관심영역 설정부(123)는 210단계에서 차선 경계선의 기울기 정보가 없으면 기울기 정보의 부재가 정해진 프레임의 수 이상인지 확인한다. 관심영역 설정부(123)는 정해진 수 이상의 이전 프레임의 차선 경계선의 기울기 정보가 연속해서 없으면 Λ-ROI 초기화 작업을 수행한다. 한 두 프레임 정도는 차선 경계선의 형태나 도로 상태, 기타의 원인에 의해 차선 경계선이 인식되지 않을 수가 있으나 차량이 정상적으로 주행하고 있다면 다시 차선 경계선이 인식될 것이므로 연산량이 증가하는 Λ-ROI 초기화 작업을 수행하기 전에 정해진 몇 프레임은 차선 경계선이 인식되지 않아도 이전 기울기 정보를 이용하여 계속 차선 인식 작업을 수행한다. 관심영역 설정부(123)는 입력 영상에 직사각형 ROI를 설정하고 해당 영상을 무채색 영상으로 변환하여 전처리한다. 무채색 영상 전처리는 차선 인식 시 불필요한 색채를 제거하기 위해 수행하는 작업이다. 한편, 관심영역 설정부(123)는 Λ-ROI 초기화 작업 시 적응적 직사각형 관심영역 설정방법을 사용할 수 있다. 적응적 직사각형 관심영역 설정방법은 이미지 전처리(image preprocessing), 적정 라인 필터링(proper line filtering), 레이어 세그멘테이션(layer segmentation), ROI 결정(ROI determination) 순으로 작업을 수행하여 ROI를 셋팅하는 방법이다. 적응적 직사각형 관심영역 설정방법은 이미지 영상에서 추출되는 라인의 밀도값을 구하고, 해당 밀도값이 미리 정해진 기준값을 넘는 영역을 ROI 영역으로 설정하는 방법이다.(240,250,260)
차선 인식부(126)는 무채색으로 전처리된 입력 영상을 이진화 영상으로 변환한다. 이진화 영상 변환 시 사용되는 임계값은 날씨, 도로상태, 시간대 등에 따라 조정될 수 있다.(270)
차선 인식부(126)는 이진화된 영상에 Canny 가장 자리 탐지 방법을 이용하여 가장자리 선을 탐지하고, Canny 가장자리 탐지와 허프 변환을 이용하여 윤곽선을 구하여 차선을 최종적으로 인식할 수 있다.(280,290)
한편, 240 단계에서 관심영역 설정부(123)는 기울기 정보의 부재가 정해진 프레임의 수 미만이면 이전 기울기 정보를 이용하여 Λ-ROI를 설정하고 차선을 최종적으로 인식할 수 있다.
비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허청구범위의 범위에 속함은 자명하다.

Claims (13)

  1. 차선 경계선을 포함하는 영상 프레임을 획득하는 영상정보 획득장치;
    상기 영상 프레임 내에 직사각형 관심영역을 설정하고, 상기 직사각형 관심영역에 존재하는 상기 차선 경계선의 기울기 정보에 따라 상기 차선 경계선을 인식하기 위한 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 관심영역 설정부; 및
    상기 Λ-ROI 영역 내에서 차선을 인식하는 차선 인식부를 포함하는 차선 인식 시스템.
  2. 제 1 항에 있어서,
    상기 관심영역 설정부가 상기 차선 경계선의 기울기 정보에 따라 상기 차선 경계선을 인식하기 위한 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은,
    상기 영상 프레임의 이전 프레임에서 미리 추출한 차선 경계선의 기울기 정보에 따라 차선 경계선을 인식하는 것을 포함하는 차선 인식 시스템.
  3. 제 1 항에 있어서,
    상기 관심영역 설정부가 상기 차선 경계선의 기울기 정보에 따라 상기 차선 경계선을 인식하기 위한 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은,
    상기 영상 프레임에 직사각형의 관심영역을 설정하고, 상기 직사각형의 관심영역에 대한 영상을 무채색으로 전처리하고, 상기 전처리된 영상을 이진화된 영상으로 변환하여 상기 차선 경계선의 기울기 정보를 추출하는 것을 포함하는 차선 인식 시스템.
  4. 제 3 항에 있어서,
    상기 관심영역 설정부는 상기 직사각형 관심영역을 통해 차선 경계선을 탐지하여 기울기 k를 구하고, 상기 기울기 k를 미리 정해진 범위 내로 변화시켜 상기 Λ-ROI(Λ-shape Region Of Interest)의 범위를 설정하는 차선 인식 시스템.
  5. 제 3 항에 있어서,
    상기 영상 프레임에 직사각형의 관심영역을 설정하는 것은,
    전체 영상 프레임 영역에서 미리 정해진 부분 영역을 상기 직사각형의 관심 영역으로 설정하거나, 상기 영상 프레임의 그레이 스케일의 이미지에서 산출되는 밀도값에 따라 적응적으로 상기 직사각형의 관심 영역을 설정하는 것인 차선 인식 시스템.
  6. 영상 프레임을 획득하고,
    상기 영상 프레임에 포함되는 차선 경계선의 기울기에 따라 Λ-ROI(Λ-shape Region Of Interest)를 설정하며,
    상기 Λ-ROI 영역 내에 위치하는 차선을 인식하는 차선 인식 시스템의 제어방법.
  7. 제 6 항에 있어서,
    상기 차선 경계선의 기울기에 따라 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은,
    상기 영상 프레임에 포함되는 차선 경계선의 기울기 k를 산출하고, 상기 기울기 k의 범위를 소정의 범위로 변화시켜 상기 Λ-ROI(Λ-shape Region Of Interest) 영역을 설정하는 것을 포함하는 차선 인식 시스템의 제어 방법.
  8. 제 6 항에 있어서,
    상기 차선 경계선의 기울기에 따라 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은,
    상기 영상 프레임의 이전 프레임에 포함되는 차선 경계선의 기울기 정보에 따라 상기 영상 프레임의 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것을 포함하는 차선 인식 시스템의 제어방법.
  9. 제 6 항에 있어서,
    상기 영상 프레임에 포함되는 차선 경계선의 기울기에 따라 Λ-ROI(Λ-shape Region Of Interest)를 설정하는 것은,
    상기 영상 프레임에 직사각형의 관심영역을 설정하고, 상기 직사각형의 관심영역에 대한 영상을 무채색으로 전처리하고, 상기 전처리된 영상을 이진화된 영상으로 변환하여 상기 차선 경계선의 기울기 정보를 추출하는 것을 포함하는 차선 인식 시스템의 제어방법.
  10. 제 9 항에 있어서,
    상기 영상 프레임에 직사각형의 관심영역을 설정하는 것은,
    전체 영상 프레임 영역에서 미리 정해진 부분 영역을 상기 직사각형의 관심 영역으로 설정하거나, 상기 영상 프레임의 그레이 스케일의 이미지에서 산출되는 밀도값에 따라 적응적으로 상기 직사각형의 관심 영역을 설정하는 것인 차선 인식 시스템의 제어방법.
  11. 제 10 항에 있어서,
    상기 영상 프레임의 그레이 스케일의 이미지에서 산출되는 밀도값에 따라 적응적으로 상기 직사각형의 관심 영역을 설정하는 것은,
    상기 영상 프레임의 이미지 전처리(image preprocessing), 적정 라인 필터링(proper line filtering), 레이어 세그멘테이션(layer segmentation), ROI 결정(ROI determination) 순으로 작업을 수행하여 상기 직사각형의 관심 영역을 설정하는 것인 차선 인식 시스템의 제어방법.
  12. 제 10 항에 있어서,
    상기 영상 프레임의 그레이 스케일의 이미지에서 산출되는 밀도값에 따라 적응적으로 상기 직사각형의 관심 영역을 설정하는 것은,
    상기 영상 프레임을 입력받는 동작 초기에 적응적으로 직사각형 관심 영역을 설정하고, 상기 차선 경계선의 간격과 기울기가 미리 정해진 범위 이상으로 변하면 상기 직사각형의 관심 영역을 재설정하는 차선 인식 시스템의 제어방법.
  13. 제 6 항에 있어서,
    상기 차선 경계선에 대한 정보에 따라 상기 차선의 가운데를 지나는 가상의 중앙선을 설정하고, 상기 가상의 중앙선과 차량의 위치에 따라 상기 차량이 차선을 이탈하는지 여부를 확인하는 것을 더 포함하는 차선 인식 시스템의 제어방법.
KR1020130051445A 2013-05-07 2013-05-07 차선 인식 방법 및 그 시스템 KR101478258B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130051445A KR101478258B1 (ko) 2013-05-07 2013-05-07 차선 인식 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130051445A KR101478258B1 (ko) 2013-05-07 2013-05-07 차선 인식 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20140132210A true KR20140132210A (ko) 2014-11-17
KR101478258B1 KR101478258B1 (ko) 2014-12-31

Family

ID=52453300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130051445A KR101478258B1 (ko) 2013-05-07 2013-05-07 차선 인식 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101478258B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832674A (zh) * 2017-10-16 2018-03-23 西安电子科技大学 一种车道线检测方法
KR20180048985A (ko) * 2015-11-25 2018-05-10 폭스바겐 악티엔 게젤샤프트 주변 환경에서 자동차를 정밀 위치 추적하기 위한 방법, 디바이스, 맵 관리 장치 및 시스템
KR20180078773A (ko) * 2016-12-30 2018-07-10 주식회사 유라코퍼레이션 차선 보정 시스템 및 그 보정 방법
KR101951683B1 (ko) * 2017-09-08 2019-02-26 충북대학교 산학협력단 자율주행 자동차를 위한 차선 인식 시스템 및 방법
KR20190025267A (ko) * 2017-09-01 2019-03-11 숭실대학교산학협력단 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법
KR20190088647A (ko) * 2018-01-19 2019-07-29 한국해양대학교 산학협력단 무인 차량을 이용한 자동화 차선 도색 시스템
US10521676B2 (en) 2017-01-11 2019-12-31 Foundation Of Soongsil University Industry Cooperation Lane detection device, lane departure determination device, lane detection method and lane departure determination method
CN112446293A (zh) * 2020-10-30 2021-03-05 华设设计集团股份有限公司 一种公路路面车辙污染事件视频检测方法
KR102371849B1 (ko) * 2020-10-29 2022-03-11 주식회사 드림티엔에스 차선추출 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101974602B1 (ko) * 2016-08-18 2019-05-03 동국대학교 산학협력단 도로의 차선을 재도색하는 장치 및 방법
KR102468675B1 (ko) 2022-07-29 2022-11-21 주식회사 에이모 영상에서 검수 대상 이미지 프레임을 선택하는 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101094752B1 (ko) * 2009-06-30 2011-12-16 호서대학교 산학협력단 에이치에스아이 색정보의 통계적 모델을 이용한 차선 분류방법
KR101236223B1 (ko) * 2011-02-28 2013-02-22 주식회사 와이즈오토모티브 차선 검출 방법
KR101240499B1 (ko) * 2011-10-28 2013-03-11 인하대학교 산학협력단 실시간 차선 인식 및 차량 검출 장치 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180048985A (ko) * 2015-11-25 2018-05-10 폭스바겐 악티엔 게젤샤프트 주변 환경에서 자동차를 정밀 위치 추적하기 위한 방법, 디바이스, 맵 관리 장치 및 시스템
KR20180078773A (ko) * 2016-12-30 2018-07-10 주식회사 유라코퍼레이션 차선 보정 시스템 및 그 보정 방법
US10521676B2 (en) 2017-01-11 2019-12-31 Foundation Of Soongsil University Industry Cooperation Lane detection device, lane departure determination device, lane detection method and lane departure determination method
KR20190025267A (ko) * 2017-09-01 2019-03-11 숭실대학교산학협력단 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법
KR101951683B1 (ko) * 2017-09-08 2019-02-26 충북대학교 산학협력단 자율주행 자동차를 위한 차선 인식 시스템 및 방법
CN107832674A (zh) * 2017-10-16 2018-03-23 西安电子科技大学 一种车道线检测方法
CN107832674B (zh) * 2017-10-16 2021-07-09 西安电子科技大学 一种车道线检测方法
KR20190088647A (ko) * 2018-01-19 2019-07-29 한국해양대학교 산학협력단 무인 차량을 이용한 자동화 차선 도색 시스템
KR102371849B1 (ko) * 2020-10-29 2022-03-11 주식회사 드림티엔에스 차선추출 방법
CN112446293A (zh) * 2020-10-30 2021-03-05 华设设计集团股份有限公司 一种公路路面车辙污染事件视频检测方法
CN112446293B (zh) * 2020-10-30 2023-06-23 华设设计集团股份有限公司 一种公路路面车辙污染事件视频检测方法

Also Published As

Publication number Publication date
KR101478258B1 (ko) 2014-12-31

Similar Documents

Publication Publication Date Title
KR101478258B1 (ko) 차선 인식 방법 및 그 시스템
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
KR101472787B1 (ko) 차선 인식 시스템 및 그 방법
KR101864066B1 (ko) 차선 인식 장치, 차선 이탈 판단 장치, 차선 인식 방법 및 차선 이탈 판단 방법
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
JP4871909B2 (ja) 物体認識装置、および物体認識方法
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
US11236991B2 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
Haloi et al. A robust lane detection and departure warning system
KR101240499B1 (ko) 실시간 차선 인식 및 차량 검출 장치 및 방법
CN108162858B (zh) 车载监控装置及其方法
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
US20120212615A1 (en) Far-infrared pedestrian detection device
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
WO2017159056A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
KR101406316B1 (ko) 차선 인식 장치 및 그 방법
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
JP2017207874A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2009301495A (ja) 画像処理装置及び画像処理方法
CN115546738A (zh) 一种铁轨异物检测方法
KR20150145685A (ko) 위치정보를 이용한 제동대상 인식 장치 및 그 방법
Taubel et al. A lane departure warning system based on the integration of the optical flow and Hough transform methods
KR101032660B1 (ko) 장애물체 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181022

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191112

Year of fee payment: 6