KR102446433B1 - 차선분류장치 및 차선분류방법 - Google Patents

차선분류장치 및 차선분류방법 Download PDF

Info

Publication number
KR102446433B1
KR102446433B1 KR1020200066689A KR20200066689A KR102446433B1 KR 102446433 B1 KR102446433 B1 KR 102446433B1 KR 1020200066689 A KR1020200066689 A KR 1020200066689A KR 20200066689 A KR20200066689 A KR 20200066689A KR 102446433 B1 KR102446433 B1 KR 102446433B1
Authority
KR
South Korea
Prior art keywords
lane
aerial image
semantic map
location information
classification
Prior art date
Application number
KR1020200066689A
Other languages
English (en)
Other versions
KR20210149531A (ko
Inventor
이시영
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020200066689A priority Critical patent/KR102446433B1/ko
Publication of KR20210149531A publication Critical patent/KR20210149531A/ko
Application granted granted Critical
Publication of KR102446433B1 publication Critical patent/KR102446433B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Ecology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Traffic Control Systems (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)
  • Image Analysis (AREA)

Abstract

본 출원은 차선분류장치 및 차선분류방법에 관한 것으로서, 본 발명의 일 실시예에 의한 차선분류방법은, 심층신경망(Deep Neural Network)을 이용하여, 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하는 단계; 및 상기 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 상기 의미지도에서 상기 차선위치정보에 대응하는 화소들을 추출하고, 상기 추출된 화소들을 상기 차선으로 설정하는 단계를 포함할 수 있다.

Description

차선분류장치 및 차선분류방법 {Apparatus and method for classifying traffic lane}
본 출원은 차선분류장치 및 차선분류방법에 관한 것으로, 특히 항공영상으로부터 다양한 종류의 차선들을 정확하게 분류하고, 차선들의 위치정보를 정밀하게 생성할 수 있는, 차선분류장치 및 차선분류방법에 관한 것이다.
최근 자율주행에 대한 관심이 많아지면서 자율주행자동차를 위한 고정밀 지도(High Definition Map)의 필요성이 대두되고 있다. 고정밀 지도에는 자율 주행자동차의 주행시 필요한 차선, 노면 기호 등이 포함될 수 있으며, 이때 각각의 차선이나 노면 기호 등의 위치정보에 대해 매우 높은 정확도가 요구된다. 즉, 자율주행자동차는 주행시 고정밀 지도가 제공하는 차선을 자율주행자동차의 주행 위치를 특정하는데 사용할 수 있으므로, 고정밀 지도는 차선에 대한 정확한 지리좌표값을 제공할 수 있어야 한다.
종래에는 고정밀지도의 정확성을 높이기 위하여, 항공영상으로부터 사람이 직접 도로의 노면 기호와, 차선에 대한 주석작업을 수행하여 고정밀지도를 생성하였다. 항공영상 내에 포함된 노면 기호와, 차선 등의 위치와 분류를 정확하게 하기 위해서는 숙련된 작업자가 필요하며, 대단위의 지역에 대한 고정밀지도를 작성하기 위해서는, 다수의 작업자가 업무를 수행할 필요가 있다.
최근 주석작업의 효율성을 높이기 위하여, 다양한 영상처리기법을 활용한 차선 분류가 시도되고 있다. 다만, 차선의 경우 영상 전반에 얇게 늘어져 위치하므로, 영상처리를 통하여 차선의 정확한 위치를 특정하기가 어렵고, 검출하는 대상이 동일한 패턴임에도 불구하고 도로 상의 위치에 따라 분류가 달라지는 등 분류상의 어려움이 존재한다. 또한, 종래에는 차량의 주행영상에 영상처리를 수행하여, 차선의 위치를 자동적으로 추출하도록 하였으나, 이 경우 고정밀지도에서 요구하는 차선의 위치에 대한 높은 신뢰도를 확보하기 어려운 문제점도 존재한다.
본 출원은 입력되는 항공영상 내에 포함된 다양한 종류의 차선을 신속하게 분류하는 동시에, 차선들의 위치정보를 정밀하게 제공할 수 있는 차선분류장치 및 차선분류방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 차선분류방법은, 차선분류장치를 이용하는 것으로, 심층신경망(Deep Neural Network)을 이용하여, 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하는 단계; 및 상기 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 상기 의미지도에서 상기 차선위치정보에 대응하는 화소들을 추출하고, 상기 추출된 화소들을 상기 차선으로 설정하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 의한 차선분류방법은, 차선분류장치를 이용하는 것으로, 작업자의 입력에 따라, 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 생성하는 단계; 및 상기 항공영상으로부터 생성한 의미지도에 상기 차선위치정보를 적용하여 차선을 추출하고, 상기 추출된 차선에 대응하는 특징벡터를 분류모델에 입력하여 상기 차선의 종류를 자동으로 분류하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 의한 차선분류장치는, 심층신경망(Deep Neural Network)을 이용하여, 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하는 의미지도 생성부; 및 상기 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 상기 의미지도에서 상기 차선위치정보에 대응하는 화소들을 추출하고, 상기 추출된 화소들을 상기 차선으로 설정하는 결합부를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 차선분류장치 및 차선분류방법에 의하면, 항공영상 내에 포함된 다양한 종류의 차선을 신속하게 분류할 수 있으며, 동시에 차선들에 대한 위치정보를 정밀하게 제공하는 것이 가능하다.
다만, 본 발명의 실시예들에 따른 차선분류장치 및 차선분류방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도1 및 도2는 본 발명의 일 실시예에 의한 차선분류장치를 나타내는 블록도이다.
도3은 본 발명의 다른 실시예에 의한 차선분류장치를 나타내는 블록도이다.
도4는 본 발명의 일 실시예에 의한 차선분류장치의 동작을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 차선분류방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도1 및 도2는 본 발명의 일 실시예에 의한 차선분류장치를 나타내는 블록도이다.
도1 및 도2를 참조하면, 본 발명의 일 실시예에 의한 차선분류장치는 차선위치지도생성부(110), 의미지도생성부(120), 결합부(130) 및 분류부(140)를 포함할 수 있다.
이하, 도1 및 도2를 참조하여 본 발명의 일 실시예에 의한 차선분류장치를 설명한다.
차선위치설정부(110)는 작업자의 입력에 따라, 항공영상(A) 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보(P)를 생성할 수 있다. 즉, 차선분류장치(100)는 차선위치설정부(110)를 포함하여, 작업자가 차선위치지도(P)를 생성하도록 하는 인터페이스를 제공할 수 있다. 예를들어, 도4에 도시한 바와 같이, 차선위치설정부(110)는 입력받은 항공영상(A)을 작업자에게 디스플레이할 수 있으며, 작업자는 항공영상(A) 내에 포함된 차선들을 육안으로 확인한 후, 항공영상(A) 내에 나타난 해당 차선들의 위치를 특정하여, 차선위치정보(P)를 생성할 수 있다.
구체적으로, 차선위치설정부(110)는 작업자의 입력에 따라,
{l1 = [(x1, y1), ... , (xm, ym)], ... , ln = [(x1, y1), ... , (xk, yk)]}으로 표시되는 점들의 집합으로 각각의 차선들을 표시할 수 있다. 여기서 l1 내지 ln은 각각의 차선, (x, y)는 차선에 포함되는 점들의 좌표값일 수 있다(n, m, k는 각각 자연수). 각각의 점들의 좌표값은, 실제 지리좌표계의 좌표값 또는 항공영상(A) 내의 영상좌표계에 따른 좌표값일 수 있다. 다만, 실제 지리좌표계의 좌표값으로 표시된 경우에는 좌표변환을 이용하여 영상좌표계에 따른 좌표값으로 일치시킬 수 있다.
여기서, 차선위치정보(P)는 각각의 점들의 집합으로 나타낼 수 있으나, 실시예에 따라서는 항공영상(A)과 동일한 해상도를 가지는 마스크(mask)로 구현하는 것도 가능하다. 즉, 항공영상(A) 내에 포함된 각각의 차선들을 추출할 수 있는 마스크의 형태로 차선위치정보(P)를 생성할 수 있다. 여기서, 차선위치정보의 데이터 형태는 위 예시에 한정되는 것은 아니며, 항공영상 등 영상 내에서 차선의 위치를 특정할 수 있는 형태라면 어떠한 것도 사용가능하다.
한편, 실시예에 따라서는, 차선위치설정부(110)의 구성을 생략하는 것도 가능하다. 이 경우, 작업자는 차선분류장치(100)와는 별도로 해당 항공영상(A)에 대한 차선위치정보(P)를 생성할 수 있으며, 이후 차선분류장치(100)는, 도1에 도시한 바와 같이, 외부로부터 해당 항공영상(A) 내에 대한 차선위치정보(P)를 수신할 수 있다.
의미지도생성부(120)는, 심층신경망(Deep Neural Network)을 이용하여 항공영상(A) 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류할 수 있으며, 도4에 도시한 바와 같이, 각각의 도로객체들을 포함하는 의미지도(M)를 생성할 수 있다. 여기서, 도로객체에는 배경, 도로, 차선, 노면 기호 등이 포함될 수 있으며, 이외에도 항공영상(A) 내에 포함될 수 있는 다양한 객체들이 도로객체에 포함될 수 있다.
구체적으로, 의미지도 생성부(110)는 화소들이 각각의 도로객체에 해당할 확률을 계산하여 화소별로 특징벡터를 생성할 수 있다. 이후, 의미지도 생성부(110)는 특징벡터를 이용하여 각각의 화소들을 대응하는 도로객체로 분류할 수 있다.
이때, 심층신경망은 입력되는 항공영상(A)에 대응하여, 의미지도(M)를 생성하도록 미리 학습되어 있을 수 있다. 구체적으로, 심층신경망은 샘플 항공영상이 입력되면 그에 대응하는 의사(psedo) 의미지도를 출력할 수 있으며, 심층신경망은 의사 의미지도와 참조(ground truth) 의미지도 사이의 오차를 줄이도록 학습될 수 있다. 여기서, 학습을 위한 손실함수(loss function)로는 크로스 엔트로피(cross-entropy) 또는 포칼 로스(focal loss) 등을 활용할 수 있다. 따라서, 심층신경망은 입력된 항공영상(A) 내에 포함된 각각의 화소들을 분류하여, 각각의 화소를 배경, 도로, 차선, 노면 기호 등으로 각각의 의미를 부여할 수 있다.
결합부(130)는 항공영상(A) 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보(P)를 입력받으면, 도4에 도시한 바와 같이, 의미지도(M)에서 차선위치정보(P)에 대응하는 화소들을 추출할 수 있으며, 추출된 화소들을 차선으로 설정할 수 있다. 즉, 의미지도(M) 내에서 차선으로 분류된 화소들에 대한 위치정보의 신뢰도가 낮으므로, 작업자가 입력한 차선위치정보(P)를 활용하여 의미지도(M) 내에서 차선의 위치를 특정하도록 할 수 있다.
여기서, 차선위치정보(P)가 점들의 집합으로 제공되는 경우에는, 차선위치정보(P)를 마스크 형태로 변환할 수 있으며, 의미지도(M)에 마스크를 적용하는 방식으로, 각각의 차선에 대응하는 화소들의 집합을 추출할 수 있다.
이후 결합부(130)는, 추출된 화소들의 특징벡터들을 샘플링하여 각각의 차선에 대응하는 차선특징벡터를 생성할 수 있다. 즉, 차선특징벡터를 이용하여, 의미지도(M) 내에 차선에 해당하는 화소들의 집합을 특정할 수 있다. 여기서, 결합부(130)는 추출된 화소들의 특징벡터의 평균 또는 이들에 대한 다양한 샘플링 기법을 적용하여 차선특징벡터를 생성할 수 있다.
실시예에 따라서는, 심층신경망에서 사용된 특징지도 중에서, 의미지도(M)와 동일한 해상도를 가지는 특징지도를 이용하여 차선특징벡터를 생성하는 것도 가능하다. 예를들어, 의미지도(M)와 동일한 해상도를 가지는 특징지도로부터 차선위치정보(P)에 대응하는 화소들을 추출하고, 추출한 화소들의 특징벡터의 평균이나 각각의 특징벡터에 다양한 샘플링 기법을 적용하여, 차선특징벡터를 생성할 수 있다.
여기서, 차선특징벡터는 항공영상(A) 내에 포함된 차선의 개수에 대응하여 생성되므로, 작업자가 n개의 차선에 대한 차선위치정보(P)를 생성한 경우에는, 총 n개의 차선특징벡터가 생성될 수 있다.
분류부(140)는 차선특징벡터를 이용하여, 의미지도(M) 내에 포함된 각각의 차선들의 종류를 구별할 수 있다. 여기서, 차선의 종류는 중앙선, 정지선, 진로변경 제한선 등으로 다양하게 분류할 수 있으며, 분류부(140)는 차선특징벡터에 대응하는 각각의 차선들이 어느 분류에 해당하는지 판별할 수 있다. 이때, 차선의 종류는 도로교통법 등의 법령이나 규칙에 의하여 미리 설정되어 있을 수 있다.
한편, 실시예에 따라서는, 분류부(140)에 n개의 차선특징벡터가 입력될 수 있다. 예를들어, 항공영상(A) 내에 n개의 차선이 존재하는 경우, 차선특징벡터는 n개 생성될 수 있으며, 이 경우, 분류부(140)는 출력으로 n개의 차선특징벡터에 대하여, 각각의 차선분류에 해당할 수 있는 확률분포를 포함하는 확률벡터를 출력할 수 있다. 즉, 중앙선에 해당할 확률, 정지선에 해당할 확률, 진로변경 제한선에 해당할 확률 등을 각각 포함하는 확률벡터를 출력할 수 있다.
여기서, 분류부(140)는 신경망(neural network)로 구현될 수 있으며, 차선 분류를 위해 미리 학습된 것일 수 있다. 즉, 분류부(140)는 샘플 차선특징벡터들이 입력되면 대응하는 의사(pseudo) 확률벡터를 출력할 수 있으며, 각각의 샘플 차선특징벡터에 대응하는 참조(ground truth) 확률벡터와 의사 확률벡터 사이의 오차를 줄이도록 학습될 수 있다. 따라서, 분류부(140)는 차선특징벡터가 입력되면, 대응하는 확률벡터를 출력할 수 있으며, 확률벡터 내에 포함되는 각각의 분류에 해당할 확률 중에서 가장 확률값이 높은 분류를, 해당 차선에 대한 최종 분류로 선택할 수 있다.
한편, 본 발명의 일 실시예에 의한 차선분류장치(100)는, 도3에 도시한 바와 같이, 프로세서(10), 메모리(40) 등의 물리적인 구성을 포함하는 것일 수 있으며, 메모리(40) 내에는 프로세서(10)에 의하여 실행되도록 구성되는 하나 이상의 모듈이 포함될 수 있다. 구체적으로, 하나 이상의 모듈에는, 차선위치설정모듈, 의미지도생성모듈, 결합모듈, 분류모듈 등이 포함될 수 있다.
프로세서(10)는, 다양한 소프트웨어 프로그램과, 메모리(40)에 저장되어 있는 명령어 집합을 실행하여 여러 기능을 수행하고 데이터를 처리하는 기능을 수행할 수 있다. 주변인터페이스부(30)는, 컴퓨터 장치의 입출력 주변 장치를 프로세서(10), 메모리(40)에 연결할 수 있으며, 메모리 제어부(20)는 프로세서(10)나 컴퓨터 장치의 구성요소가 메모리(40)에 접근하는 경우에, 메모리 액세스를 제어하는 기능을 수행할 수 있다. 실시예에 따라서는, 프로세서(10), 메모리 제어부(20) 및 주변인터페이스부(30)를 단일 칩 상에 구현하거나, 별개의 칩으로 구현할 수 있다.
메모리(40)는 고속 랜덤 액세스 메모리, 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리 등을 포함할 수 있다. 또한, 메모리(40)는 프로세서(10)로부터 떨어져 위치하는 저장장치나, 인터넷 등의 통신 네트워크를 통하여 엑세스되는 네트워크 부착형 저장장치 등을 더 포함할 수 있다.
도3을 참조하면, 본 발명의 일 실시예에 의한 차선분류장치(100)는, 메모리(40)에 운영체제를 비롯하여, 응용프로그램에 해당하는 차선위치설정모듈, 위치지도 생성모듈, 결합모듈 및 분류모듈 등을 포함할 수 있다. 여기서, 각각의 모듈들은 상술한 기능을 수행하기 위한 명령어의 집합으로, 메모리(40)에 저장될 수 있다.
따라서, 본 발명의 일 실시예에 의한 차선분류장치(100)는, 프로세서(10)가 메모리(40)에 액세스하여 각각의 모듈에 대응하는 명령어를 실행할 수 있다. 다만, 차선위치설정모듈, 위치지도 생성모듈, 결합모듈 및 분류모듈 등은, 앞서 설명한 차선위치설정부, 위치지도 생성부, 결합부 및 분류부에 각각 대응하므로 여기서는 자세한 설명을 생략한다.
도5는 본 발명의 일 실시예에 의한 차선분류방법을 나타내는 순서도이다. 여기서, 차선분류방법은 상술한 차선분류장치에 의하여 수행될 수 있다.
구체적으로, 도5를 참조하면, 본 발명의 일 실시예에 의한 차선분류방법은, 작업자의 입력에 따라, 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 생성할 수 있다(S10). 즉, 차선분류장치는 작업자가 차선위치지도를 생성할수 있는 인터페이스를 제공할 수 있다. 예를들어, 항공영상을 작업자에게 디스플레이한 후, 작업자가 항공영상 내에 포함된 차선들을 육안으로 확인하여, 항공영상 내에서 해당 차선들의 위치를 특정하여, 차선위치정보로 나타내도록 할 수 있다.
구체적으로, 작업자는 각각의 차선을 {l1 = [(x1, y1), ... , (xm, ym)], ... , ln = [(x1, y1), ... , (xk, yk)]}으로 표시되는 점들의 집합으로 표시할 수 있다. 여기서 l1 내지 ln은 각각의 차선, (x, y)는 차선에 포함되는 점들의 좌표값일 수 있다(n, m, k는 각각 자연수). 여기서, 차선위치정보는 각각의 점들의 집합으로 나타낼 수 있으나, 실시예에 따라서는 항공영상과 동일한 해상도를 가지는 마스크(mask)로 구현하는 것도 가능하다. 즉, 항공영상 내에 포함된 각각의 차선들을 추출할 수 있는 마스크의 형태로 차선위치정보를 생성할 수 있다. 여기서, 차선위치정보의 데이터 형태는 위 예시에 한정되는 것은 아니며, 항공영상 등 영상 내에서 차선의 위치를 특정할 수 있는 형태라면 어떠한 것도 사용가능하다.
한편, 실시예에 따라서는, 차선위치정보를 생성하는 단계(S10)를 생략하는 것도 가능하다. 이 경우, 작업자는 차선분류장치와는 별도로 해당 항공영상에 대한 차선위치정보를 생성할 수 있으며, 이후 차선분류장치는 외부로부터 해당 항공영상에 대한 차선위치정보를 수신할 수 있다.
이후, 차선분류장치는, 심층신경망(Deep Neural Network)을 이용하여, 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류할 수 있으며, 분류한 각각의 도로객체들을 포함하는 의미지도를 생성할 수 있다(S20). 여기서, 도로객체에는 배경, 도로, 차선, 노면 기호 등이 포함될 수 있다. 구체적으로, 차선분류장치는 심층신경망(Deep Neural Network)을 이용할 수 있으며, 항공영상 내의 화소들이 각각의 도로객체에 해당할 확률을 계산하여 화소별로 특징벡터를 생성할 수 있다. 이후, 차선분류장치는 특징벡터를 이용하여 각각의 화소들을 대응하는 도로객체로 분류할 수 있다.
심층신경망은 입력되는 항공영상에 대응하여, 의미지도를 생성하도록 미리 학습되어 있을 수 있다. 따라서, 심층신경망은 입력된 항공영상 내에 포함된 각각의 화소들을 분류하여, 각각의 화소를 배경, 도로, 차선, 노면 기호 등으로 각각의 의미를 부여할 수 있다.
항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 차선분류장치는 의미지도에서 차선위치정보에 대응하는 화소들을 추출하고, 추출된 화소들을 차선으로 설정할 수 있다(S30). 즉, 의미지도 내에서 차선으로 분류된 화소들에 대한 위치정보의 신뢰도가 낮으므로, 작업자가 입력한 차선위치정보를 활용하여 의미지도 내의 차선의 위치를 특정하도록 할 수 있다.
여기서, 차선위치정보가 점들의 집합으로 제공되는 경우에는, 차선위치정보를 마스크 형태로 변환할 수 있으며, 의미지도에 마스크를 적용하여 각각의 차선에 대응하는 화소들의 집합을 추출할 수 있다.
이후 차선분류장치는, 추출된 화소들의 특징벡터들을 샘플링하여 각각의 차선에 대응하는 차선특징벡터를 생성할 수 있다. 즉, 차선특징벡터를 이용하여 차선에 해당하는 화소들의 집합을 특정할 수 있다. 여기서, 차선분류장치는 추출된 화소들의 특징 벡터의 평균 또는 이들에 대한 다양한 샘플링 기법을 적용하여 차선특징벡터를 생성할 수 있다.
차선분류장치는, 차선특징벡터를 이용하여 의미지도 내에 포함된 각각의 차선들의 종류를 구별할 수 있다(S40). 여기서, 차선의 종류는 중앙선, 정지선, 진로변경 제한선 등 다양하게 분류가능하며, 차선분류장치는 차선특징벡터에 대응하는 각각의 차선들이 어느 분류에 해당하는지 판별할 수 있다. 여기서, 차선의 종류는 도로교통법 등의 법령이나 규칙에 의하여 미리 설정되어 있다.
항공영상 내에 n개의 차선이 존재하는 경우, n개의 차선특징벡터가 생성될 수 있으며, 차선분류장치는 n개의 차선특징벡터에 대하여, 각각의 차선분류에 해당할 수 있는 확률분포를 포함하는 확률벡터를 출력할 수 있다. 즉, 중앙선에 해당할 확률, 정지선에 해당할 확률, 진로변경 제한선에 해당할 확률 등을 각각 포함하는 확률벡터를 생성할 수 있다.
여기서, 차선분류장치는 신경망(neural network)을 이용하여 차선분류를 수행할 수 있으며, 해당 신경망은 차선 분류를 위해 학습된 것일 수 있다. 즉, 샘플 차선특징벡터들이 입력되면 대응하는 의사 확률벡터를 출력할 수 있으며, 각각의 샘플 차선특징벡터에 대응하는 참조(ground truth) 확률벡터와 의사 확률벡터 사이의 오차를 줄이도록 학습된 것일 수 있다.
따라서, 차선분류장치는 입력된 차선특징벡터에 대응하는 확률벡터를 출력할 수 있으며, 확률벡터 내에 포함되는 각각의 분류에 해당할 확률 중에서 가장 확률값이 높은 분류를 해당 차선의 최종 분류로 선택할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 차선분류장치 110: 차선위치설정부
120: 의미지도생성부 130: 결합부
140: 분류부

Claims (10)

  1. 차선분류장치를 이용하는 차선분류방법에 있어서,
    심층신경망(Deep Neural Network)을 이용하여, 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하는 단계;
    작업자의 입력에 따라, 상기 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 생성하는 단계; 및
    상기 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 상기 의미지도에서 상기 차선위치정보에 대응하는 화소들을 추출하고, 상기 추출된 화소들을 상기 차선으로 설정하는 단계를 포함하는 차선분류방법.
  2. 삭제
  3. 차선분류장치를 이용하는 차선분류방법에 있어서,
    심층신경망(Deep Neural Network)을 이용하여, 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하는 단계; 및
    상기 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 상기 의미지도에서 상기 차선위치정보에 대응하는 화소들을 추출하고, 상기 추출된 화소들을 상기 차선으로 설정하는 단계를 포함하고,
    상기 차선으로 설정하는 단계는
    {l1 = [(x1, y1), ... , (xm, ym)], ... , ln = [(x1, y1), ... , (xk, yk)]}으로 표시되는 점들의 집합을 상기 차선위치정보로 생성하는 것으로,
    상기 l1 내지 ln은 각각의 차선, 상기 (x, y)는 상기 차선에 포함되는 점들의 좌표값인 것을 특징으로 하는 차선분류방법.
  4. 제1항에 있어서, 상기 의미지도를 생성하는 단계는
    상기 화소들이 각각의 도로객체에 해당할 확률을 계산하여 특징벡터를 생성하고, 상기 특징벡터를 이용하여 각각의 화소들을 대응하는 도로객체로 분류하는 것을 특징으로 하는 차선분류방법.
  5. 제1항에 있어서, 상기 도로객체는
    배경, 도로, 차선 및 노면기호 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 차선분류방법.
  6. 제4항에 있어서, 상기 차선으로 설정하는 단계는
    상기 추출된 화소들의 특징벡터들을 샘플링하여, 각각의 차선에 대응하는 차선특징벡터를 생성하는 것을 특징으로 하는 차선분류방법.
  7. 제6항에 있어서,
    상기 차선특징벡터를 이용하여, 상기 의미지도 내에 포함된 각각의 차선들의 종류를 구별하는 단계를 더 포함하는 것을 특징으로 하는 차선분류방법.
  8. 차선분류장치를 이용하는 차선분류방법에 있어서,
    작업자의 입력에 따라, 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 생성하는 단계; 및
    상기 항공영상으로부터 생성한 의미지도에 상기 차선위치정보를 적용하여 차선을 추출하고, 상기 추출된 차선에 대응하는 특징벡터를 분류모델에 입력하여 상기 차선의 종류를 자동으로 분류하는 단계를 포함하는 차선분류방법.
  9. 하드웨어와 결합되어 제1항, 제3항 내지 제8항 중 어느 한 항의 차선분류방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  10. 심층신경망(Deep Neural Network)을 이용하여, 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하는 의미지도 생성부;
    작업자의 입력에 따라, 상기 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 생성하는 차선위치설정부; 및
    상기 항공영상 내에 포함된 각각의 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 상기 의미지도에서 상기 차선위치정보에 대응하는 화소들을 추출하고, 상기 추출된 화소들을 상기 차선으로 설정하는 결합부를 포함하는 차선분류장치.
KR1020200066689A 2020-06-02 2020-06-02 차선분류장치 및 차선분류방법 KR102446433B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200066689A KR102446433B1 (ko) 2020-06-02 2020-06-02 차선분류장치 및 차선분류방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200066689A KR102446433B1 (ko) 2020-06-02 2020-06-02 차선분류장치 및 차선분류방법

Publications (2)

Publication Number Publication Date
KR20210149531A KR20210149531A (ko) 2021-12-09
KR102446433B1 true KR102446433B1 (ko) 2022-09-23

Family

ID=78866439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200066689A KR102446433B1 (ko) 2020-06-02 2020-06-02 차선분류장치 및 차선분류방법

Country Status (1)

Country Link
KR (1) KR102446433B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033931A (ja) 2005-07-27 2007-02-08 Hitachi Software Eng Co Ltd 衛星画像等を用いた地図作成のための道路認識システム
JP2018173762A (ja) 2017-03-31 2018-11-08 パイオニア株式会社 車線情報生成装置及び車線情報生成方法並びに車線情報生成用プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102053659B1 (ko) * 2017-09-13 2019-12-09 (주)다비오 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007033931A (ja) 2005-07-27 2007-02-08 Hitachi Software Eng Co Ltd 衛星画像等を用いた地図作成のための道路認識システム
JP2018173762A (ja) 2017-03-31 2018-11-08 パイオニア株式会社 車線情報生成装置及び車線情報生成方法並びに車線情報生成用プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Seyed Majid Azimi 등, Aerial LaneNet: Lane Marking Semantic Segmentation in Aerial Imagery using Wavelet-Enhanced... , arXiv:1803.06904v2.(2018.11.01.)
Seyed Majid Azimi 등, SkyScapes - Fin-Grained Semantic Understanding of Aerial Scenes, ICCV19.(2019.10.27.)*
이근왕, 자율주행 지원을 위한 고해상도 무인항공 영상처리 기반의 도로정보 추출, 한국산학기술학회논문지.(2017.08.)

Also Published As

Publication number Publication date
KR20210149531A (ko) 2021-12-09

Similar Documents

Publication Publication Date Title
US11580755B2 (en) Method, apparatus, and system for determining polyline homogeneity
Martinez et al. Beyond grand theft auto V for training, testing and enhancing deep learning in self driving cars
CN108416808B (zh) 车辆重定位的方法及装置
US20210209395A1 (en) Method, electronic device, and storage medium for recognizing license plate
CN110879950A (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
KR20200027889A (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102480972B1 (ko) 고정밀지도생성장치 및 고정밀지도생성방법
US11255678B2 (en) Classifying entities in digital maps using discrete non-trace positioning data
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
US20220219700A1 (en) Apparatus, method, and computer program for generating map
CN116529784A (zh) 用于增加激光雷达数据的方法和系统
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
CN114509060A (zh) 地图生成装置、地图生成方法以及地图生成用计算机程序
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
KR102446433B1 (ko) 차선분류장치 및 차선분류방법
WO2021189420A1 (zh) 一种数据处理方法及装置
CN113808142B (zh) 一种地面标识的识别方法、装置、电子设备
US11835359B2 (en) Apparatus, method and computer program for generating map
CN113807315B (zh) 一种构建待识别对象识别模型的方法、装置、设备及介质
Marques et al. YOLOv3: Traffic Signs & Lights Detection and Recognition for Autonomous Driving.
US20230215144A1 (en) Training apparatus, control method, and non-transitory computer-readable storage medium
CN111507154B (zh) 使用横向滤波器掩膜来检测车道线元素的方法和装置
Chincholkar et al. TRAFFIC SIGN BOARD DETECTION AND RECOGNITION FOR AUTONOMOUS VEHICLES AND DRIVER ASSISTANCE SYSTEMS.
EP4064126B1 (en) Methods for training and testing perception network by using images obtained from multiple imaging devices having diverse specifications and learning device and testing device using the same
EP3944137A1 (en) Positioning method and positioning apparatus

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right