KR101878490B1 - 차선 인식 시스템 및 방법 - Google Patents

차선 인식 시스템 및 방법 Download PDF

Info

Publication number
KR101878490B1
KR101878490B1 KR1020170030480A KR20170030480A KR101878490B1 KR 101878490 B1 KR101878490 B1 KR 101878490B1 KR 1020170030480 A KR1020170030480 A KR 1020170030480A KR 20170030480 A KR20170030480 A KR 20170030480A KR 101878490 B1 KR101878490 B1 KR 101878490B1
Authority
KR
South Korea
Prior art keywords
lane
vector
neurons
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170030480A
Other languages
English (en)
Inventor
김신욱
Original Assignee
만도헬라일렉트로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 만도헬라일렉트로닉스(주) filed Critical 만도헬라일렉트로닉스(주)
Priority to KR1020170030480A priority Critical patent/KR101878490B1/ko
Priority to US15/659,575 priority patent/US10460179B2/en
Priority to DE102017214300.2A priority patent/DE102017214300A1/de
Application granted granted Critical
Publication of KR101878490B1 publication Critical patent/KR101878490B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G06K9/4652—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

차선 인식 시스템 및 방법이 개시된다. 본 발명의 일실시예에 따른 차선 인식 시스템은 차선을 포함하는 이미지를 촬영하는 이미지 센서와, 차선 정보와 관련된 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 시스템 및 이미지 센서로부터 입력된 이미지 프레임의 관심영역을 대상으로 일정 크기의 윈도우를 [1×N] 크기의 벡터를 생성하고, 생성된 벡터를 뉴로 모픽 시스템에 입력하고, 뉴로모픽 시스템에 저장된 복수의 뉴런 중에서 입력된 벡터와 가장 유사한 패턴 벡터를 가진 뉴런의 차선정보를 근거로 입력된 이미지에서 차선을 인식하는 차선 인식부를 포함한다.

Description

차선 인식 시스템 및 방법{SYSTEM AND METHOD FOR RECOGNIZING A LANE}
본 발명은 차선 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 카메라를 통해 촬영한 도로 영상을 분석하여 차선을 인식하는 차선 인식 시스템 및 방법에 관한 것이다.
일반적으로, 차선에 대한 정확한 인식은 첨단 운전자 보조 시스템(ADAS) 구현 및 자율주행 차량의 실현을 위한 필수 요소이다. 대부분의 경우 비전 센서 기반의 카메라를 차량 전방에 장착하여 도로의 영상을 획득하고 영상 처리 과정을 거쳐 차선을 검출한다. 차선에 대한 인식 결과는 차선 이탈 경보, 자동 차선 유지 등에 사용될 수 있다.
이러한 중요한 정보를 제공하는 차선의 정확하고 강인한 인식을 위한 많은 연구가 이어져 왔다. 차선 검출을 위한 가장 대표적인 방법은 입력 영상의 에지를 추출한 뒤, 이를 허프 변환을 수행함으로써 영상 내 일정 길이 이상의 직선 성분을 추출하는 방법이다.
그러나 허프 변환의 경우 연산량 부담이 크기 때문에 연산 대상 영역을 최대한 줄이기 위한 다양한 시도들이 제시되었다. 즉, 차선 영역의 밝기 특성을 활용하거나 차선의 색상 정보를 분석하여, 관심영역(ROI)으로 설정하고 한정된 범위를 탐색함으로써 연산 속도의 향상을 제안하기도 했다.
이렇게 차선으로 인식된 결과들은 스플라인(Spline)의 응용방법이나 최소자승법(Least Square 알고리즘), 혹은 RANSAC(RANdom SAmple Consensus) 등을 활용한 방법을 통해 3차 이상의 함수로 차선 방정식을 도출하게 된다.
하지만, 기존의 수많은 연구를 통한 연산량 저감 및 실시간 처리를 위한 노력에도 불구하고 이미지 센서가 갖고 있는 환경 및 조명 변화에 의한 민감성 때문에 추가적인 후처리알고리즘들이 필요하게 되었고, 이는 임베디드 환경에서 차선 인식의 실시간적 처리를 더욱 어렵게 하고 있다.
대한민국 등록특허공보 제10-1584907호 2015 IEEE Symposium Series on Computational Intelligence, Neuromorphic Hardware Accelerated Adaptive Authentication System, Manan Suri, Vivek Parmar, Akshay Singla, Rishabh Malviya, Surag Nair
본 발명의 실시예는 뉴로모픽 시스템(Neuromorphic System)을 이용하여 카메라를 통해 촬영된 도로 영상에서 차선을 보다 효과적으로 인식하는 차선 인식 시스템 및 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 차선을 포함하는 이미지를 촬영하는 이미지 센서; 차선 색상과 차선 형태를 포함하는 차선 정보와 관련된 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 시스템; 및 상기 이미지 센서로부터 입력된 이미지에서 차선 정보를 인식하는 차선 인식부를 포함하고, 상기 차선 인식부는, 상기 이미지 센서로부터 입력된 이미지 프레임의 절반 아랫부분을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 일정 크기의 윈도우를 미리 설정된 픽셀씩 중첩시키면서 정규화하고, 상기 정규화된 윈도우를 벡터화한 입력 벡터를 생성하고, 상기 생성된 입력 벡터를 상기 뉴로모픽 시스템에 입력하고, 상기 뉴로모픽 시스템에 저장된 복수의 뉴런 중에서 상기 입력된 입력 벡터와 가장 유사한 패턴 벡터를 가진 뉴런의 차선 정보를 근거로 상기 입력된 이미지에서 차선 색상과 차선 형태를 인식하고, 상기 뉴로모픽 시스템은, 상기 입력된 입력 벡터를 내부의 복수의 뉴런에 상기 병렬 버스를 통해 동시에 전파시키고, 상기 입력된 입력 벡터와 상기 복수의 뉴런에 저장된 패턴 벡터를 비교하여 상대 거리값이 가장 작은 뉴런을 선정하고, 상기 선정된 뉴런의 차선 정보를 상기 차선 인식부로 출력하는 차선 인식 시스템이 제공될 수 있다.
삭제
삭제
본 발명의 다른 측면에 따르면, 차선을 포함하는 이미지를 촬영하는 이미지 센서와, 차선 색상과 차선 형태를 포함하는 차선 정보와 관련된 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 시스템 및 상기 이미지 센서로부터 입력된 이미지에서 차선 정보를 인식하는 차선 인식부를 포함하는 차선 인식 시스템의 차선 인식 방법에 있어서, 상기 차선 인식부에 의해, 상기 이미지 센서로부터 입력된 이미지 프레임의 절반 아랫부분을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 일정 크기의 윈도우를 미리 설정된 픽셀씩 중첩시키면서 정규화하고, 상기 정규화된 윈도우를 벡터화한 입력 벡터를 생성하고, 상기 생성된 입력 벡터를 상기 뉴로모픽 시스템에 입력하고, 상기 뉴로모픽 시스템에 저장된 복수의 뉴런 중에서 상기 입력된 입력 벡터와 가장 유사한 패턴 벡터를 가진 뉴런의 차선 정보를 근거로 상기 입력된 이미지에서 차선 색상과 차선 형태를 인식하고, 상기 뉴로모픽 시스템에 의해, 상기 입력된 입력 벡터를 내부의 복수의 뉴런에 상기 병렬 버스를 통해 동시에 전파시키고, 상기 입력된 입력 벡터와 상기 복수의 뉴런에 저장된 패턴 벡터를 비교하여 상대 거리값이 가장 작은 뉴런을 선정하고, 상기 선정된 뉴런의 차선 정보를 상기 차선 인식부로 출력하는 차선 인식 시스템의 차선 인식 방법이 제공될 수 있다.
삭제
본 발명의 실시예는 차선의 다양한 색상 및 형태 등이 패턴 형식으로 저장된 뉴로모픽 시스템을 이용하여 차선의 색상 및 형태를 인식하기 때문에 보다 효과적으로 차선을 인식할 수 있다.
본 발명의 실시예는 기존방식보다 CPU 연산량을 줄일 수 있고, 실선/점선 등의 차선 형태, 황색/흰색 등의 차선 색상까지 인식할 수 있으며, 추가적인 구조 변경이나 알고리즘 변경 없이 차선의 형태나 색상을 추가 적용할 수 있다.
도 1은 본 발명의 일실시예에 따른 차선 인식 시스템의 제어블록도이다.
도 2 내지 도 3은 본 발명의 일실시예에 따른 차선 인식 시스템에서 뉴런들이 학습할 차선 패턴을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 차선 인식 시스템에서 차선 인식 결과를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 차선 인식 시스템에서 차선 방정식을 사용한 차선 표시 결과를 나타낸 도면이다.
이하에서는 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달할 수 있도록 하기 위해 예로서 제공하는 것이다. 본 발명은 이하 설명되는 실시예들에 한정하지 않고 다른 형태로 구체화할 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장하여 표현할 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
본 발명의 실시에에서는 뉴로모픽 하드웨어 기반의 차선 인식 시스템을 제안한다. 제안된 시스템에서 뉴로모픽 하드웨어는 인간의 뇌를 구성하고 인식을 담당하는 뉴런들을 하드웨어 형태로 구현 및 집적하여 차선의 형태를 학습 및 인식할 수 있도록 하고, 이를 비전 센서와 결합하여 실시간으로 입력되는 이미지 신호에서 사전에 학습된 차선 패턴을 인식하여 분류한다.
주간과 야간, 터널 내부 및 역광, 눈 또는 비가 내리는 상황과 같이 실제경험할 수 있는 다양한 주행 환경에서 획득된 이미지를 사용하여 오프라인 환경에서 사전에 차선 패턴을 추출하고, 이를 뉴런 내부의 메모리 영역에 학습시켜 인식의 과정을 통해 차선 패턴을 입력 이미지에서 분류해낼 수 있게 된다.
또한, 학습 방법에 따라 차선의 색상 및 형태 등을 구분하여 학습시킬 경우 흰색 차선 및 황색 차선, 실선 차선 및 점선 차선 등의 차선 정보도 구분하여 인식할 수 있다는 장점이 있다.
본 발명의 실시예에서는 입력 이미지의 획득을 위해 차량 전방에 1024×768 해상도의 RGB 컬러 센서를 장착하여 황색 차선 및 흰색 차선을 구분하여 인식할 수 있도록 차선 패턴을 학습시킨다. 이미지 프레임의 하위 60% 영역을 관심영역(ROI)로 지정하여 아무런 이미지 처리를 가하지 않고 입력 이미지 스트림을 차선 인식 시스템에 입력하였을 때 황색 차선점들과 흰색 차선점들을 얻을 수 있으며, 이 인식 결과로 획득된 좌표들을 RANSAC 알고리즘을 통해 이상점(Outlier)들을 제거한 후 차선을 황색 차선과 흰색 차선으로 서로 구분되게 나타낼 수 있다.
도 1은 본 발명의 일실시예에 따른 차선 인식 시스템의 제어블록도이다.
도 1을 참조하면, 차선 인식 시스템은 차선 인식부(10)와 뉴로모픽 시스템(20)을 포함할 수 있다.
차선 인식부(10)는 마이크로컨트롤러유닛(Micro Controller Unit ; MCU)을 포함할 수 있다.
차선 인식부(10)는 뉴로모픽 시스템(20)에 입력하기 위한 입력 벡터를 생성하는 역할을 수행한다.
뉴로모픽 시스템(20)은 차선 인식부(10)로부터 입력 벡터를 수신한다.
뉴로모픽 시스템(20)은 수신된 입력 벡터와 지식(Knowledge)에 저장된 기준 패턴을 비교하여 가장 유사한 패턴을 보유한 뉴런의 카테고리 값을 리턴 값으로 차선 인식부(10)로 전송한다. 지식(Knowledge)는 뉴런 별로 저장된 패턴들이 데이터베이스화된 데이터베이스일 수 있다.
차선 인식부(10)는 차선으로 인식된 각 패턴들을 조합하여 최종적으로 차선을 인식한다.
보다 구체적으로 설명하면, 차선 인식부(10)는 먼저, 이미지 센서(30)로부터 출력되는 연속된 이미지 프레임들을 수신한다.
차선 인식부(10)는 수신된 각각의 이미지 프레임에는 관심영역(Region of Interest ; ROI)를 설정한다. 차선은 일반적으로 임의의 위치에 존재하지 않고 이미지에서 보여지는 소실점의 아랫부분에 존재하기 때문에, 관심영역(ROI)을 이미지 높이의 절반 아랫부분으로 지정한다.
차선 인식부(10)는 일정 크기의 윈도우가 중첩된 값을 갖고 슬라이딩을 하며 이미지 픽셀 값들을 읽는다. 예를 들어, 16×16 사이즈의 윈도우가 8픽셀씩 50% 중첩된 값으로 X, Y축 방향으로 슬라이딩을 반복하며 픽셀 값을 읽어들인다.
차선 인식부(10)는 각 윈도우가 밝기의 변화나 색상의 변화에 강인성을 가지도록 평활화(Equalization) 과정을 수행한다. 이 과정에서는 히스토그램 평활화나 혹은 최소-최대 평활화(Min-Max Equalization) 방법 등을 사용한 정규화 과정을 거칠 수 있다. 정규화된 윈도우는 [1×N] 크기의 벡터 형태로 변환이 된다.
차선 인식부(10)는 위의 과정에서 생성된 벡터를 뉴로모픽 시스템(20)에 입력한다.
뉴로모픽 시스템(20)은 차선 인식부(10)에 의해 입력된 벡터를 뉴로모픽 시스템 내부를 구성하는 수천 개의 뉴런에 병렬 버스를 통해 동시에 전파시킨다.
뉴로모픽 시스템(20)에서 뉴로모픽 시스템 내부의 각 뉴런들은 입력 벡터가 입력되기 시작하면 뉴런 내부에 저장된 패턴 벡터와 입력 벡터 사이의 상대 거리를 측정하기 시작하고 입력 벡터의 입력이 끝날 때까지 거리값을 계속 갱신한다.
뉴로모픽 시스템(20)은 입력 벡터와 저장된 패턴 사이의 거리 계산이 종료되면 수천여개의 뉴런 가운데 상대 거리값이 가장 작은 뉴런을 선정하고, 지식(Knowledge)를 기반으로 하여 가장 작은 거리값을 가진 뉴런의 카테고리(Category) 값을 출력한다.
뉴로모픽 시스템(20)은 출력된 카테고리 값들을 다시 차선 인식부(10)로 전송한다.
차선 인식부(10)는 이 분류된 결과를 종합하여 최종적으로 차선을 인식한다. 차선 인식부(10)는 인식된 차선을 표시부(40)에 표시시킨다. 차선 인식부(10)는 이 과정에서 RANSAC이나 Spline 등의 기법 등을 활용하여 차선을 표시부(40)에 그린다.
이하에서는 뉴로모픽 시스템(20)을 활용한 차선 인식 방법을 상세히 설명한다.
뉴로모픽 시스템(20)은 저전력으로 동작하는 인간의 뇌 구조를 모방하여 개발된 기술로서, 인간의 생물학적 뉴런의 정보 처리 과정을 모델링하여 하드웨어로 구현한 기술이다(상술한 특허문헌 2 참조).
뉴로모픽 시스템(20)은 수천 개의 하드웨어로 구현된 뉴런들이 집적된 형태로 구성되어 있다.
뉴로모픽 시스템(20)을 구성하는 각각의 뉴런들은 병렬 버스에 전부 연결되어 있어 입력 벡터를 동시에 수신한다.
각 뉴런들에는 로컬 메모리가 존재하며, 이 메모리에 각각의 패턴을 저장하게 된다.
뉴런들의 로컬 메모리에 저장될 패턴은 오프라인상에서 별도의 프로그램을 통해 획득된다.
입력 벡터가 뉴로모픽 시스템(20)에 입력되면, 뉴로모픽 시스템(20)의 모든 뉴런은 해당 입력 벡터를 동시에 수신한다. 이와 동시에 각 뉴런이 보유한 패턴과 입력 벡터 사이의 상대 거리를 계산한다.
이때, 상대 거리가 가장 작은 뉴런이 최종적으로 선정된다. 선정된 뉴런의 카테고리 값이 차선 인식부(10)로 전송된다. 차선 인식부(10)는 수신된 카테고리 값들을 근거로 하여 차선을 인식한다.
예를 들면, 흰색 차선은 카테고리 1(category 1), 황색 차선은 카테고리 2(category 2), 그 외 배경은 카테고리 3(category 3)으로 학습된 지식(Knowledge)의 경우, 입력 벡터로 흰색 차선의 일부분이 입력되면 category 1이 출력되며, 황색 차선이 입력되면 category 2가 출력된다.
도 2 내지 도 3은 본 발명의 일실시예에 따른 차선 인식 시스템에서 뉴런들이 학습할 차선 패턴을 나타낸 도면이다.
주간과 야간, 터널 내부 및 역광, 눈 또는 비가 내리는 상황과 같이 실제 경험할 수 있는 다양한 주행 환경에서 획득된 이미지 프레임을 사용하여 오프라인 환경에서 사전에 흰색 차선과 황색 차선의 차선 패턴을 추출한다.
이미지 프레임에서 사각박스는 흰색 차선과 황색 차선에 대하여 뉴런이 학습할 차선 패턴을 나타낸다.
뉴런이 학습한 차선 패턴들은 뉴런 내부의 분산 메모리 영역에 저장된다.
도 4는 본 발명의 일실시예에 따른 차선 인식 시스템에서 차선 인식 결과를 나타낸 도면이고, 도 5는 본 발명의 일실시예에 따른 차선 인식 시스템에서 차선 방정식을 사용한 차선 표시 결과를 나타낸 도면이다.
도 4에 도시된 바와 같이, 흰색 차선과 황색 차선이 포함된 이미지 프레임이 입력되면, 뉴로모픽 시스템(20)을 이용하여 뉴런에서 흰색차선으로 인식한 패턴과 황색차선으로 인식한 패턴을 인식한다.
도 5에 도시된 바와 같이, 이미지 프레임에서 뉴런에서 흰색차선으로 인식한 패턴과 황색차선으로 인식한 패턴들의 좌표들을 RANSAC 알고리즘을 이용하여 이상점(Outlier)들을 제거하고 도출한 차선 방정식을 사용하여 최종 인식된 차선인 흰색 차선 표시와 황색 차선 표시를 원본 이미지상에 나타낸다.
이상과 같이, 기존에는 이미지 프로세싱 알고리즘들을 사용하여 많은 연산량이 필요하거나, 차선 자체에 대한 검출만이 가능하여 자율 주행 차량을 위한 의미 있는 정보 제공이 어려웠고, 추가적인 차선의 형태나 색상을 추가에 어려움이 있었지만, 본 발명의 실시예에서는 기존방식의 단점들을 보완하고 임베디드 환경에서도 실시간적으로 차선을 인식할 수 있도록 하는 차선 인식 시스템을 제안한다. 즉, 본 발명의 실시예는 기존의 이미지 처리 알고리즘의 사용 없이도 보다 빠르고 정확하게 차선 인식이 가능한 차선 인식 시스템을 구현한다. 많은 연산량이 소모되는 기존의 이미지 프로세싱 알고리즘을 사용하지 않기 때문에 연산량을 저감할 수 있어 실시간 처리가 가능하고, 고가의 CPU 혹은 DSP(Digital Signal Processor)를 장착할 필요가 없이 제조비용을 낮출 수 있다.
또한, 본 발명의 실시예는 차선 자체에 대한 인식뿐만 아니라 차선의 색깔 혹은 형태를 구분하여 인식할 수 있다. 이는 각 차선이 갖고 있는 고유의 의미를 파악할 수 있으며 이 정보를 자율 주행 차량에 전달함으로써 자율 주행 과정에서의 이동 경로 계획에 사용될 수 있다. 차선 자체에 대한 검출뿐만 아니라 실선이나 점선 등의 차선 형태, 황색/흰색 등의 차선 색상까지 인식할 수 있어 의미 있는 정보를 자율 주행 차량에 전달 가능하다.
또한, 본 발명의 실시예는 새로운 형태의 차선 추가, 혹은 새로운 색상의 차선을 추가하기 위해 별도의 알고리즘을 추가하거나 모듈을 추가할 필요 없이, 오프라인에서 해당 차선의 패턴 형태를 학습시킴으로써 즉각적으로 시스템이 차선을 인식할 수 있도록 할 수 있다. 추가적인 구조 변경이나 알고리즘 변경 없이 국가별/도시별/기능별로 차선의 형태나 색상을 추가 적용 가능하다.
10 : 차선 인식부 20 : 뉴로모픽 시스템
30 : 이미지 센서 40 : 표시부

Claims (5)

  1. 차선을 포함하는 이미지를 촬영하는 이미지 센서;
    차선 색상과 차선 형태를 포함하는 차선 정보와 관련된 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 시스템; 및
    상기 이미지 센서로부터 입력된 이미지에서 차선 정보를 인식하는 차선 인식부를 포함하고,
    상기 차선 인식부는, 상기 이미지 센서로부터 입력된 이미지 프레임의 절반 아랫부분을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 일정 크기의 윈도우를 미리 설정된 픽셀씩 중첩시키면서 정규화하고, 상기 정규화된 윈도우를 벡터화한 입력 벡터를 생성하고, 상기 생성된 입력 벡터를 상기 뉴로모픽 시스템에 입력하고, 상기 뉴로모픽 시스템에 저장된 복수의 뉴런 중에서 상기 입력된 입력 벡터와 가장 유사한 패턴 벡터를 가진 뉴런의 차선 정보를 근거로 상기 입력된 이미지에서 차선 색상과 차선 형태를 인식하고,
    상기 뉴로모픽 시스템은, 상기 입력된 입력 벡터를 내부의 복수의 뉴런에 상기 병렬 버스를 통해 동시에 전파시키고, 상기 입력된 입력 벡터와 상기 복수의 뉴런에 저장된 패턴 벡터를 비교하여 상대 거리값이 가장 작은 뉴런을 선정하고, 상기 선정된 뉴런의 차선 정보를 상기 차선 인식부로 출력하는 차선 인식 시스템.
  2. 삭제
  3. 삭제
  4. 차선을 포함하는 이미지를 촬영하는 이미지 센서와, 차선 색상과 차선 형태를 포함하는 차선 정보와 관련된 패턴 벡터가 저장된 복수의 뉴런이 병렬 버스로 연결된 뉴로모픽 시스템 및 상기 이미지 센서로부터 입력된 이미지에서 차선 정보를 인식하는 차선 인식부를 포함하는 차선 인식 시스템의 차선 인식 방법에 있어서,
    상기 차선 인식부에 의해, 상기 이미지 센서로부터 입력된 이미지 프레임의 절반 아랫부분을 기준으로 일정영역을 관심영역으로 설정하고, 상기 설정된 관심영역을 대상으로 일정 크기의 윈도우를 미리 설정된 픽셀씩 중첩시키면서 정규화하고, 상기 정규화된 윈도우를 벡터화한 입력 벡터를 생성하고, 상기 생성된 입력 벡터를 상기 뉴로모픽 시스템에 입력하고, 상기 뉴로모픽 시스템에 저장된 복수의 뉴런 중에서 상기 입력된 입력 벡터와 가장 유사한 패턴 벡터를 가진 뉴런의 차선 정보를 근거로 상기 입력된 이미지에서 차선 색상과 차선 형태를 인식하고,
    상기 뉴로모픽 시스템에 의해, 상기 입력된 입력 벡터를 내부의 복수의 뉴런에 상기 병렬 버스를 통해 동시에 전파시키고, 상기 입력된 입력 벡터와 상기 복수의 뉴런에 저장된 패턴 벡터를 비교하여 상대 거리값이 가장 작은 뉴런을 선정하고, 상기 선정된 뉴런의 차선 정보를 상기 차선 인식부로 출력하는 차선 인식 시스템의 차선 인식 방법.
  5. 삭제
KR1020170030480A 2017-03-10 2017-03-10 차선 인식 시스템 및 방법 Active KR101878490B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170030480A KR101878490B1 (ko) 2017-03-10 2017-03-10 차선 인식 시스템 및 방법
US15/659,575 US10460179B2 (en) 2017-03-10 2017-07-25 System and method for recognizing a lane
DE102017214300.2A DE102017214300A1 (de) 2017-03-10 2017-08-16 System und Verfahren zum Erkennen einer Fahrspur

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170030480A KR101878490B1 (ko) 2017-03-10 2017-03-10 차선 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101878490B1 true KR101878490B1 (ko) 2018-07-13

Family

ID=62913634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170030480A Active KR101878490B1 (ko) 2017-03-10 2017-03-10 차선 인식 시스템 및 방법

Country Status (3)

Country Link
US (1) US10460179B2 (ko)
KR (1) KR101878490B1 (ko)
DE (1) DE102017214300A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075556A (ko) * 2018-12-18 2020-06-26 전자부품연구원 졸음인식 시스템
CN112869829A (zh) * 2021-02-25 2021-06-01 北京积水潭医院 一种智能镜下腕管切割器
KR20240079755A (ko) * 2022-11-29 2024-06-05 한국기술교육대학교 산학협력단 차선 인식 시스템 및 차선 인식 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6697522B2 (ja) * 2018-09-28 2020-05-20 株式会社Ｓｕｂａｒｕ 区画線認識装置
US11403592B2 (en) * 2019-06-27 2022-08-02 Hitachi, Ltd. Inventory count method and asset management system
JP7709321B2 (ja) * 2021-07-07 2025-07-16 株式会社Subaru 車両の運転支援装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020088124A (ko) * 2001-05-17 2002-11-27 삼성전자 주식회사 신경망을 이용한 영상 인식 장치 및 그 방법
KR101178507B1 (ko) * 2010-08-16 2012-09-07 포항공과대학교 산학협력단 도로 표식 인식 시스템 및 방법
KR101225626B1 (ko) * 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675489A (en) * 1995-07-06 1997-10-07 Carnegie Mellon University System and method for estimating lateral position
JP4637618B2 (ja) * 2005-03-18 2011-02-23 株式会社ホンダエレシス 車線認識装置
FR2902909A1 (fr) * 2006-06-23 2007-12-28 Nodbox Sarl Procede de determination de limites de roulage d'un vehicule
US8311965B2 (en) 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
US8825350B1 (en) * 2011-11-22 2014-09-02 Kurt B. Robinson Systems and methods involving features of adaptive and/or autonomous traffic control
JP6141788B2 (ja) 2014-04-14 2017-06-07 本田技研工業株式会社 レーンマーク認識装置
KR101584907B1 (ko) 2014-07-29 2016-01-22 울산대학교 산학협력단 관심 영역을 이용한 차선 인식 방법 및 그 장치
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
US9786036B2 (en) * 2015-04-28 2017-10-10 Qualcomm Incorporated Reducing image resolution in deep convolutional networks
US10515304B2 (en) * 2015-04-28 2019-12-24 Qualcomm Incorporated Filter specificity as training criterion for neural networks
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10083378B2 (en) * 2015-12-28 2018-09-25 Qualcomm Incorporated Automatic detection of objects in video images
JP7052174B2 (ja) * 2016-01-05 2022-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 将来経路を推定するシステム及び方法
US10124730B2 (en) * 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
US9672734B1 (en) * 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
US20170300763A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Road feature detection using a vehicle camera system
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
KR102819289B1 (ko) * 2016-12-14 2025-06-11 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10235565B2 (en) * 2016-12-21 2019-03-19 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020088124A (ko) * 2001-05-17 2002-11-27 삼성전자 주식회사 신경망을 이용한 영상 인식 장치 및 그 방법
KR101225626B1 (ko) * 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
KR101178507B1 (ko) * 2010-08-16 2012-09-07 포항공과대학교 산학협력단 도로 표식 인식 시스템 및 방법
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075556A (ko) * 2018-12-18 2020-06-26 전자부품연구원 졸음인식 시스템
KR102165300B1 (ko) * 2018-12-18 2020-10-14 한국전자기술연구원 졸음인식 시스템
CN112869829A (zh) * 2021-02-25 2021-06-01 北京积水潭医院 一种智能镜下腕管切割器
CN112869829B (zh) * 2021-02-25 2022-10-21 北京积水潭医院 一种智能镜下腕管切割器
KR20240079755A (ko) * 2022-11-29 2024-06-05 한국기술교육대학교 산학협력단 차선 인식 시스템 및 차선 인식 방법
KR102915086B1 (ko) 2022-11-29 2026-01-19 한국기술교육대학교 산학협력단 차선 인식 시스템 및 차선 인식 방법

Also Published As

Publication number Publication date
US20180260634A1 (en) 2018-09-13
DE102017214300A1 (de) 2018-09-13
US10460179B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
KR101878490B1 (ko) 차선 인식 시스템 및 방법
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
JP4677046B2 (ja) 多次元ブースト回帰を経た外観及び動作を使用する高速人間姿勢推定
KR101834778B1 (ko) 교통 표지판 인식장치 및 방법
Son et al. Real-time illumination invariant lane detection for lane departure warning system
Dong et al. Infrared image colorization using a s-shape network
US9811742B2 (en) Vehicle-surroundings recognition device
US12131485B2 (en) Object tracking device and object tracking method
EP3506169A2 (en) Driver assistance system and method for object detection and notification
Nayar et al. Computing reflectance ratios from an image
CN105335955A (zh) 对象检测方法和对象检测装置
WO2008020598A1 (en) Subject number detecting device and subject number detecting method
Hinz et al. Car detection in aerial thermal images by local and global evidence accumulation
Zhao et al. Infrared pedestrian detection with converted temperature map
US12062242B2 (en) Method and system for real-time continuous lane mapping and classification
Hong et al. Geodesic regression on the Grassmannian
CN113537397A (zh) 基于多尺度特征融合的目标检测与图像清晰联合学习方法
Suto Real-time lane line tracking algorithm to mini vehicles
Harbaš et al. Motion estimation aided detection of roadside vegetation
CN114842539B (zh) 基于注意力机制和一维卷积滑窗的微表情发现方法及系统
EP4070278B1 (en) Method to determine the depth from images by self-adaptive learning of a neural network and system thereof
CN113348463B (zh) 一种信息处理方法及装置
Doshi et al. ROI based real time straight lane line detection using Canny Edge Detector and masked bitwise operator
Han et al. A robust object detection algorithm based on background difference and LK optical flow
Shinwook et al. Neuromorphic hardware accelerated lane detection system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170310

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171220

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180703

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180709

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180710

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210616

Start annual number: 4

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240624

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20250623

Start annual number: 8

End annual number: 8