KR102399519B1 - 차선과 차량 위치 인식 장치 및 제어 방법 - Google Patents

차선과 차량 위치 인식 장치 및 제어 방법 Download PDF

Info

Publication number
KR102399519B1
KR102399519B1 KR1020200012260A KR20200012260A KR102399519B1 KR 102399519 B1 KR102399519 B1 KR 102399519B1 KR 1020200012260 A KR1020200012260 A KR 1020200012260A KR 20200012260 A KR20200012260 A KR 20200012260A KR 102399519 B1 KR102399519 B1 KR 102399519B1
Authority
KR
South Korea
Prior art keywords
lane
image
vehicle
data
ground area
Prior art date
Application number
KR1020200012260A
Other languages
English (en)
Other versions
KR20210098272A (ko
Inventor
김민영
이규호
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020200012260A priority Critical patent/KR102399519B1/ko
Publication of KR20210098272A publication Critical patent/KR20210098272A/ko
Application granted granted Critical
Publication of KR102399519B1 publication Critical patent/KR102399519B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

차선과 차량 위치 인식 장치 및 제어 방법이 개시된다. 차량에 배치된 차선과 차량 위치 인식 장치는 2D 이미지를 획득하는 영상 카메라, 3D 데이터를 획득하는 라이다 센서 및 2D 이미지와 3D 데이터의 좌표계를 매칭시키는 프로세서를 포함하며, 프로세서는 3D 데이터를 2D 이미지에 투영시켜 2D 이미지로부터 지면 영역을 추출하고, 추출된 지면 영역 및 3D 데이터에 기초하여 전체 차선을 추출하며, 추출된 전체 차선으로부터 중앙선 및 차량의 인접한 차선을 식별하고, 식별된 중앙선 및 차량의 인접한 차선에 기초하여 현재 차량의 위치를 인식할 수 있다.

Description

차선과 차량 위치 인식 장치 및 제어 방법{DEVICE FOR RECOGNIZING LANE AND VEHICLE POSITION INFORMATION AND CONTROLLING MMTHOD THEREOF}
본 발명은 차선과 차량 위치 인식 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 복수의 센서를 이용하여 차선을 식별하고 차량의 위치를 인식하는 차선과 차량 위치 인식 장치 및 제어 방법에 관한 것이다.
최근 자율 주행 자동차에 대한 관심이 높아지면서 멀티 센서를 이용한 비전 분야의 연구가 활발히 진행되고 있다. 예를 들어, 멀티 센서는 라이다 센서, 영상 센서를 포함한다. 라이다 센서는 물체에 대한 3D 위치 정보와 깊이 정보를 제공할 수 있다. 영상 센서는 컬러 특징 정보를 제공할 수 있다.
한편, 자율 주행 자동차를 구현하기 위해 주행 중인 차량이 차선을 식별하고 식별된 차선을 기초로 주행 중인 차량의 위치를 정확하게 인지하는 것이 매우 중요하다. 차선을 식별하기 위한 다양한 연구가 진행되고 있지만, 차량이 주행 중인 방향의 모든 차선을 식별하고 식별된 모든 차선 중 현재 차량의 위치를 인지하는 기술에 대한 연구는 부족한 실정이다.
따라서, 식별된 차선을 기초로 현재 주행 중인 차량의 위치를 정확하게 인지하는 기술에 대한 필요성이 존재한다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 복수의 센서를 이용하여 전체 차선을 정확하게 식별하고 식별된 차선에 기초하여 현재 주행 중인 차량의 위치를 인식할 수 있는 차선과 차량 위치 인식 장치 및 제어 방법을 제공하는 것이다.
이상과 같은 목적을 달성하기 위한 일 실시 예에 따르면, 차량에 배치된 차선과 차량 위치 인식 장치는 2D 이미지를 획득하는 영상 카메라, 3D 데이터를 획득하는 라이다 센서 및 상기 2D 이미지와 상기 3D 데이터의 좌표계를 매칭시키는 프로세서를 포함하며, 상기 프로세서는 상기 3D 데이터를 상기 2D 이미지에 투영시켜 상기 2D 이미지로부터 지면 영역을 추출하고, 상기 추출된 지면 영역 및 상기 3D 데이터에 기초하여 전체 차선을 추출하며, 상기 추출된 전체 차선으로부터 중앙선 및 상기 차량의 인접한 차선을 식별하고, 상기 식별된 중앙선 및 상기 차량의 인접한 차선에 기초하여 현재 차량의 위치를 인식할 수 있다.
그리고, 상기 프로세서는 상기 추출된 지면 영역에서 상기 제1 전체 차선을 식별하고, 상기 3D 데이터에서 제2 전체 차선을 식별하며, 상기 식별된 제1 전체 차선과 상기 식별된 제2 전체 차선을 매칭시켜 상기 전체 차선을 추출할 수 있다.
또한, 상기 프로세서는 상기 2D 이미지에서 상기 지면 영역의 추출이 불가한 경우, 상기 영상 카메라의 밝기를 제어하여 상기 2D 이미지를 획득하거나 상기 획득된 2D 이미지의 임계값을 제어하여 상기 지면 영역을 추출할 수 있다.
또는, 상기 프로세서는 상기 제1 전체 차선의 식별이 불가한 경우, 상기 획득된 2D 이미지의 임계값 또는 밝기를 제어하여 상기 제1 전체 차선을 식별할 수 있다.
이상과 같은 목적을 달성하기 위한 일 실시 예에 따르면, 차량에 배치된 차선과 차량 위치 인식 장치의 제어 방법은 2D 이미지를 획득하는 단계, 3D 데이터를 획득하는 단계, 상기 2D 이미지와 상기 3D 데이터의 좌표계를 매칭시키는 단계, 상기 3D 데이터를 상기 2D 이미지에 투영시켜 상기 2D 이미지로부터 지면 영역을 추출하는 단계, 상기 추출된 지면 영역 및 상기 3D 데이터에 기초하여 전체 차선을 추출하는 단계, 상기 추출된 전체 차선으로부터 중앙선 및 상기 차량의 인접한 차선을 식별하는 단계 및 상기 식별된 중앙선 및 상기 차량의 인접한 차선에 기초하여 현재 차량의 위치를 인식하는 단계를 포함할 수 있다.
본 개시의 다양한 실시 예에 따르면, 차선과 차량 위치 인식 장치 및 제어 방법은 복수의 센서를 이용하여 전체 차선을 정확하게 식별할 수 있다.
그리고, 차선과 차량 위치 인식 장치 및 제어 방법은 식별된 차선에 기초하여 현재 주행 중인 차량의 위치를 인식할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 차선과 차량 위치 인식 장치를 설명하는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 차선과 차량 위치 인식 장치의 블록도이다.
도 3은 라이다 센서로 감지된 3D 데이터에 기초하여 차선을 검출하는 일 실시 예를 설명하는 도면이다.
도 4는 영상 카메라로 촬영된 2D 이미지에 기초하여 차선을 검출하는 일 실시 예이다.
도 5는 라이다 센서의 3D 데이터 및 영상 카메라의 2D 이미지의 좌표계를 매칭시켜 검출된 차선의 일 실시 예이다.
도 6은 본 발명의 일 실시 예에 따른 차선과 차량 위치 인식 장치 제어 방법의 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 차선과 차량 위치 인식 장치가 차량의 위치를 인식하는 과정을 설명하는 도면이다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 발명의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서 수행되는 정보(데이터) 전송 과정은 필요에 따라서 암호화/복호화가 적용될 수 있으며, 본 명세서 및 특허청구범위에서 정보(데이터) 전송 과정을 설명하는 표현은 별도로 언급되지 않더라도 모두 암호화/복호화하는 경우도 포함하는 것으로 해석되어야 한다. 본 명세서에서 "A로부터 B로 전송(전달)" 또는 "A가 B로부터 수신"과 같은 형태의 표현은 중간에 다른 매개체가 포함되어 전송(전달) 또는 수신되는 것도 포함하며, 반드시 A로부터 B까지 직접 전송(전달) 또는 수신되는 것만을 표현하는 것은 아니다.
본 명세서에서는 본 발명의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 발명의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
도 1은 본 발명의 일 실시 예에 따른 차선과 차량 위치 인식 장치를 설명하는 도면이다.
도 1을 참조하면, 차량(1)에 배치된 차선과 차량 위치 인식 장치의 각 구성이 도시되어 있다. 차선과 차량 위치 인식 장치는 영상 카메라(110), 라이다(LIDAR) 센서(120) 및 프로세서를 포함할 수 있다. 영상 카메라(110)는 RGB 값을 포함하는 2D 이미지를 촬영하는 카메라일 수 있다. 일 실시 예로서, 영상 카메라(110)는 차량의 전면부에 배치될 수 있다. 영상 카메라(110)가 차량의 전면부에 배치되는 경우, 영상 카메라(110)는 광각 카메라일 수 있다. 또는, 복수 개의 영상 카메라(110)가 차량에 배치될 수도 있다. 영상 카메라(110)가 차량에 복수 개 배치되는 경우, 영상 카메라(110)는 차량의 전면부, 좌우측 또는 후면부에 배치될 수 있다. 차량의 전면부에 배치된 영상 카메라(110)는 차량 전면부에 위치하는 물체 및 배경을 2D 이미지로 촬영할 수 있다.
한편, 차선과 차량 위치 인식 장치는 열화상 카메라(미도시)를 더 포함할 수도 있다. 열화상 카메라는 2D 열화상 이미지를 촬영하는 카메라일 수 있다. 예를 들어, 열화상 카메라는 IR 카메라를 포함할 수 있다. 일 실시 예로서, 열화상 카메라는 영상 카메라(110)와 인접하는 위치에 배치될 수 있다.
라이다 센서(120)는 차량 주변의 물체를 스캔하고 3D 데이터를 획득할 수 있다. 라이다 센서(120)는 주변에 빛(또는, 레이저)을 조사하고 물체에 반사되는 신호를 포착함으로써 차량 주변의 물체에 대한 3D 데이터를 획득할 수 있다. 또한, 라이다 센서(120)는 지면 영역에 대한 반사 신호를 수신하여 지면 영역에 대한 3D 데이터를 획득할 수도 있다. 일 실시 예로서, 라이다 센서(120)는 차량의 루프에 배치되고 360도 모든 방향에 위치하는 물체 및 지면 영역에 대한 3D 데이터를 획득할 수 있다.
영상 카메라(110) 및 라이다 센서(120)에서 획득된 데이터는 프로세서로 전달될 수 있다. 프로세서는 차량 내부에 위치할 수 있고, 영상 카메라(110) 및 라이다 센서(120)로부터 전달받은 2D 이미지와 3D 데이터의 좌표계를 매칭시킬 수 있다.
한편, 차선과 차량 위치 인식 장치가 열화상 카메라를 포함하는 경우, 영상 카메라(110)에서 획득된 2D 이미지와 열화상 카메라에서 획득된 2D 열화상 이미지의 좌표계를 통합할 수 있다. 영상 카메라(110)에서 촬영된 이미지와 열화상 카메라에서 촬영된 이미지는 모두 2D이고, 거의 유사한 물체 및 지면을 포함한다. 따라서, 일 실시 예로서, 프로세서는 영상 카메라(110)에서 촬영된 2D 이미지를 기준으로 열화상 카메라에서 촬영된 2D 열화상 이미지의 좌표를 쉬프트시키는 방식으로 2D 이미지의 좌표와 2D 열화상 이미지의 좌표를 동일한 좌표계로 통합할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 차선과 차량 위치 인식 장치의 블록도이다.
도 2를 참조하면, 차선과 차량 위치 인식 장치(100)는 영상 카메라(110), 라이다 센서(120) 및 프로세서(130)를 포함한다.
영상 카메라(110)는 2D 이미지를 획득할 수 있다. 영상 카메라(110)에서 획득된 2D 이미지에는 차량 전방의 물체 및 지면 영역이 포함될 수 있다. 라이다 센서(120)는 3D 데이터를 획득할 수 있다. 라이다 센서(120)는 주변에 빛을 조사하고 물체에 반사되는 신호를 포착함으로써 3D 데이터를 획득할 수 있다. 예를 들어, 라이다 센서(120)와 가까운 곳의 물체에 반사된 빛은 상대적으로 빠르게 강한 강도로 라이다 센서(120)에서 획득되고, 먼 곳의 물체에 반사된 빛은 상대적으로 느리게 약한 강도로 라이다 센서(120)에서 획득될 수 있다. 라이다 센서(120)는 해상도에 따라 주변의 각 지점으로부터 반사된 빛이 도달하는 시간 및 강도에 기초하여 복수의 점군으로 형성되는 3D 데이터를 획득할 수 있다. 3D 데이터에도 차량 전방의 물체 및 지면 영역에 대응되는 점군을 포함할 수 있고, 3D 좌표 및 강도(intensity)의 정보를 포함할 수 있다.
프로세서(130)는 2D 이미지와 3D 데이터의 좌표계를 매칭시킬 수 있다. 그리고, 프로세서(130)는 3D 데이터를 2D 이미지에 투영시킨 후, 2D 이미지로부터 지면 영역을 추출할 수 있다. 프로세서(130)는 추출된 지면 영역 및 3D 데이터에 기초하여 전체 차선을 추출하고, 추출된 전체 차선으로부터 중앙선 및 차량과 인접한 차선을 식별할 수 있다. 프로세서(130)는 식별된 중앙선 및 차량과 인접한 차선에 기초하여 차량의 위치를 인식할 수 있다. 구체적으로, 프로세서(130)는 2D 이미지에서 추출된 지면 영역으로부터 제1 전체 차선을 식별할 수 있다. 그리고, 프로세서(130)는 3D 데이터로부터 제2 전체 차선을 식별할 수 있다. 제1 전체 차선은 2D 이미지에서 식별된 주행 방향의 모든 차선을 의미하고, 제2 전체 차선은 3D 데이터에서 식별된 주행 방향의 모든 차선을 의미한다. 프로세서(130)는 식별된 제1 전체 차선과 제2 차선을 매칭시켜 최종적인 전체 차선을 추출할 수 있다.
한편, 프로세서(130)는 2D 이미지로부터 지면 영역 추출을 할 수 없거나 제1 전체 차선의 식별이 어려울 수 있다. 예를 들어, 날씨가 좋지 않거나 비가 내리는 경우, 프로세서(130)는 2D 이미지로부터 제1 전체 차선의 식별이 어려울 수 있다. 또는, 2D 이미지가 야간에 촬영된 경우, 프로세서(130)는 2D 이미지로부터 지면 영역 추출을 할 수 없을 수 있다. 따라서, 프로세서(130)는 2D 이미지로부터 지면 영역의 추출이 불가한 경우, 촬영 밝기를 밝게 제어하여 2D 이미지를 획득하도록 영상 카메라를 제어할 수 있다. 또는, 프로세서(130)는 획득된 2D 이미지 내의 경계선이 명확해지도록 임계값(또는, 선예도(sharpness))을 제어할 수 있다. 또는, 프로세서(130)는 제1 전체 차선의 식별이 불가한 경우, 획득된 2D 이미지의 밝기 또는 임계값을 제어하여 제1 차선을 식별할 수 있다.
지금까지 차선과 차량 위치 인식 장치의 구성에 대해 설명하였다. 아래에서는 차선을 식별하고 차량의 위치를 인식하는 구체적인 과정을 설명한다.
도 3은 라이다 센서로 감지된 3D 데이터에 기초하여 차선을 검출하는 일 실시 예를 설명하는 도면이다. 도 3(a)를 참조하면, 영상 카메라에서 획득된 2D 이미지가 도시되어 있고, 도 3(b)를 참조하면, 라이다 센서에서 획득된 3D 데이터가 도시되어 있으며, 도 3(c)를 참조하면, 3D 데이터에서 검출된 제2 전체 차선이 도시되어 있다. 도 3(a) 내지 도 3(c)를 참조하여 3D 데이터에서 차선을 검출하는 과정을 설명한다. 도 3(a)과 같은 영역의 주변에 대해 3D 데이터는 도 3(b)에 도시된 바와 같이 획득될 수 있다. 상술한 바와 같이, 라이다 센서는 레이저(또는, 빛)을 조사하고 물체 또는 지면에 반사된 신호를 수신하여 3D 데이터를 획득할 수 있다. 3D 데이터의 각 포인트는 물체 또는 지면의 표면, 거리 등에 따라 서로 다른 반사율을 가질 수 있다. 그리고, 반사율의 정도는 색상으로 표현될 수 있다. 예를 들어, 3D 데이터의 각 포인트는 반사율이 낮은 경우 붉은 색으로 표시되고 반사율이 높은 경우 녹색으로 표시될 수 있다. 차선과 차량 위치 인식 장치는 2D 이미지와 3D 데이터의 좌표계를 매칭시키기 때문에 3D 데이터로부터 지면 영역을 식별할 수 있다. 그리고, 3D 데이터의 지면 영역에는 아스팔트와 차선만이 존재하고, 아스팔트의 반사율과 차선의 반사율은 서로 다르다. 따라서, 차선과 차량 위치 인식 장치는 반사율의 임계값에 기초하여 지면 영역 중 차선의 3D 포인트를 추출할 수 있다. 그리고, 차선과 차량 위치 인식 장치는 추출된 3D 포인트를 차선으로 식별할 수 있다. 라이다 센서는 360도 전방향에 대해 3D 데이터를 획득할 수 있으므로 차량이 주행하는 방향의 전체 차선에 대한 3D 포인트를 추출할 수 있고, 추출된 3D 포인트에 기초하여 제2 전체 차선을 식별할 수 있다.
도 4는 영상 카메라로 촬영된 2D 이미지에 기초하여 차선을 검출하는 일 실시 예이다. 도 4(a)를 참조하면, 도 3(a)와 동일한 영상 카메라에서 획득된 2D 이미지가 도시되어 있고, 도 4(b)를 참조하면, 2D 이미지에서 지면 영역이 추출된 이미지가 도시되어 있으며, 도 4(c)를 참조하면, 2D 이미지에서 검출된 제1 전체 차선이 도시되어 있다. 도 4(a) 내지 도 4(c)를 참조하여 2D 이미지에서 차선을 검출하는 과정을 설명한다.
도 4(a)와 같이 차량 전방에 대한 2D 이미지가 획득되면, 차선과 차량 위치 인식 장치는 지면 영역을 추출할 수 있다. 예를 들어, 차선과 차량 위치 인식 장치는 3D 데이터로부터 지면 영역을 추출할 수 있다. 3D 데이터로부터 추출된 지면 영역은 포인트 그룹을 포함할 수 있다. 상술한 바와 같이, 차선과 차량 위치 인식 장치는 2D 이미지와 3D 데이터의 좌표계를 매칭시켰으므로 3D 데이터에서 추출된 지면 영역의 포인트 그룹은 2D 이미지에 투영시킬 수 있다. 차선과 차량 위치 인식 장치는 2D 이미지에 투영된 지면 영역의 포인트 그룹의 영역을 지면 영역으로 추출할 수 있다. 또는, 지면 영역은 영상 카메라의 위치에 따라 일정 범위 아래에 위치할 수 있고 지면 영역에는 아스팔트와 차선만이 포함되어 있다. 따라서, 차선과 차량 위치 인식 장치는 2D 이미지의 영역 및 픽셀 값 등에 기초하여 도 4(b)에 도시된 바와 같이 지면 영역을 추출할 수 있다.
차선과 차량 위치 인식 장치는 추출된 지면 영역에서 픽셀 값 등에 기초하여 도 4(c)에 도시된 바와 같이 차선을 검출할 수 있다. 예를 들어, 아스팔트 영역의 픽셀 값은 어두운 색 계열의 값이고, 차선의 픽셀 값은 흰색 또는 주황색 등의 값을 가질 수 있다. 따라서, 차선과 차량 위치 인식 장치는 추출된 지면 영역에서 픽셀 값에 기초하여 차선을 검출할 수 있다.
또한, 도 4에서는 일반적인 영상 카메라 1개로 획득된 2D 이미지의 예가 도시되어 있으나, 영상 카메라는 광각 카메라 또는 전후방 모서리 영역 등에 복수 개 배치될 수 있다. 따라서, 차선과 차량 위치 인식 장치는 차량이 주행하는 방향의 전체 차선을 검출할 수 있고, 검출된 전체 차선을 제1 전체 차선으로 식별할 수 있다.
도 5는 라이다 센서의 3D 데이터 및 영상 카메라의 2D 이미지의 좌표계를 매칭시켜 검출된 차선의 일 실시 예이다.
상술한 바와 같이, 차선과 차량 위치 인식 장치는 2D 이미지와 3D 데이터의 좌표를 매칭시킬 수 있다. 그리고, 차선과 차량 위치 인식 장치는 2D 이미지에서 식별된 제1 전체 차선과 3D 데이터에서 식별된 제2 전체 차선을 매칭시켜 전체 차선을 추출할 수 있다. 따라서, 차선과 차량 위치 인식 장치는 영상 카메라와 라이다 센서를 모두 이용하여 전체 차선을 식별함으로써 전체 차선을 추출하는 정확도를 높일 수 있다.
한편, 상술한 바와 같이, 차선과 차량 위치 인식 장치는 2D 이미지로부터 지면 영역 추출을 할 수 없거나 제1 전체 차선의 식별이 어려울 수 있다. 따라서, 차선과 차량 위치 인식 장치는 촬영 밝기 제어, 임계값 제어, 획득된 2D 이미지의 밝기 제어 등을 통해 2D 이미지로부터 제1 전체 차선을 식별할 수 있다.
차선과 차량 위치 인식 장치는 전체 차선을 추출하고, 추출된 전체 차선 중 중앙선과 차량에 인접한 차선을 식별할 수 있다. 차선과 차량 위치 인식 장치는 식별된 중앙선과 차량에 인접한 차선에 기초하여 현재 차량의 위치를 인식할 수 있다. 예를 들어, 차선과 차량 위치 인식 장치는 차량의 제일 왼쪽에 중앙선이 위치하고, 중앙선을 기준으로 좌측 방향에 3개의 차선이 위치하며, 중앙선을 기준으로 첫번째 차선과 두번째 차선이 차량과 인접한 차선이라고 식별할 수 있다. 따라서, 차선과 차량 위치 인식 장치는 편도 4차선 도로이고, 현재 차량은 2차선으로 주행중이라는 것을 인식할 수 있다.
지금까지 차선과 차량 위치 인식 장치의 다양한 실시 예를 설명하였다. 아래에서는 차선과 차량 위치 인식 장치의 제어 방법을 설명한다.
도 6은 본 발명의 일 실시 예에 따른 차선과 차량 위치 인식 장치 제어 방법의 흐름도이다.
차선과 차량 위치 인식 장치는 2D 이미지를 획득하고(S610), 3D 데이터를 획득한다(S620). 2D 이미지는 각 픽셀의 좌표 정보 및 RGB 값을 포함할 수 있다. 그리고, 3D 데이터는 각 포인트의 3D 좌표 정보 및 반사율의 강도 정보를 포함할 수 있다.
차선과 차량 위치 인식 장치는 2D 이미지와 3D 데이터의 좌표계를 매칭시킨다(S630). 차선과 차량 위치 인식 장치는 2D 이미지의 픽셀의 좌표와 3D 데이터의 3D 좌표에 기초하여 변환 행렬을 산출하고, 변환 행렬에 기초하여 2D 픽셀의 좌표와 대응되는 3D 포인트의 좌표를 매칭시켜 매칭 쌍을 추출할 수 있다.
차선과 차량 위치 인식 장치는 3D 데이터를 2D 이미지에 투영시켜 2D 이미지로부터 지면 영역을 추출한다(S640). 차선과 차량 위치 인식 장치는 추출된 지면 영역 및 3D 데이터에 기초하여 전체 차선을 추출한다(S650). 차선과 차량 위치 인식 장치는 추출된 지면 영역에서 제1 전체 차선을 식별하고, 3D 데이터에서 제2 전체 차선을 식별할 수 있다. 그리고, 차선과 차량 위치 인식 장치는 식별된 제1 전체 차선과 식별된 제2 전체 차선을 매칭시켜 전체 차선을 추출할 수 있다.
한편, 차선과 차량 위치 인식 장치는 2D 이미지에서 지면 영역의 추출이 불가한 경우, 영상 카메라의 밝기를 제어하여 2D 이미지를 획득하거나 획득된 2D 이미지의 임계값을 제어하여 지면 영역을 추출할 수 있다. 또는, 차선과 차량 위치 인식 장치는 제1 전체 차선의 식별이 불가한 경우, 획득된 2D 이미지의 임계값 또는 밝기를 제어하여 제1 전체 차선을 식별할 수도 있다.
차선과 차량 위치 인식 장치는 추출된 전체 차선으로부터 중앙선 및 차량의 인접한 차선을 식별하고(S660), 식별된 중앙선 및 차량의 인접한 차선에 기초하여 현재 차량의 위치를 인식한다(S670).
도 7은 본 발명의 일 실시 예에 따른 차선과 차량 위치 인식 장치가 차량의 위치를 인식하는 과정을 설명하는 도면이다.
도 7을 참조하면, 차선과 차량 위치 인식 장치는 영상 카메라로부터 2D 이미지를 획득하고(S710), 라이다 센서로부터 3D 데이터를 획득할 수 있다(S720). 차선과 차량 위치 인식 장치는 획득된 2D 이미지와 3D 데이터의 좌표계를 매칭시키는 캘리브레이션 과정을 수행할 수 있다(S730).
한편, 차선과 차량 위치 인식 장치는 획득된 3D 데이터로부터 지면 포인트를 추출할 수 있다(S740). 차선과 차량 위치 인식 장치는 추출된 지면 포인트를 2D 이미지에 투영시켜 2D 이미지로부터 지면 픽셀을 추출할 수 있다. 지면 포인트를 추출하는 과정 및 2D 이미지로부터 지면 픽셀을 추출하는 과정은 상술하였으므로 구체적인 설명은 생략한다.
차선과 차량 위치 인식 장치는 추출된 지면 영역에서 차선의 위치를 추출할 수 있다(S760). 차선은 3D 데이터의 반사율 강도 및 2D 이미지의 픽셀 값에 기초하여 추출될 수 있다. 차선과 차량 위치 인식 장치는 2D 이미지를 기초로 식별된 제1 전체 차선과 3D 데이터를 기초로 제2 전체 차선을 매칭시켜 차량이 주행하는 방향의 전체 차선을 추출할 수 있다. 그리고, 차선과 차량 위치 인식 장치는 중앙선 및 차량이 인접한 차선을 식별함으로써 현재 차량의 위치를 인식할 수 있다.
상술한 다양한 실시 예에 따른 차선과 차량 위치 인식 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 차선과 차량 위치 인식 장치 110: 영상 카메라
120: 라이다 센서 130: 프로세서

Claims (5)

  1. 차량에 배치된 차선과 차량 위치 인식 장치에 있어서,
    2D 이미지를 획득하는 영상 카메라;
    3D 데이터를 획득하는 라이다 센서; 및
    상기 2D 이미지와 상기 3D 데이터의 좌표계를 매칭시키는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 3D 데이터를 상기 2D 이미지에 투영시켜 상기 2D 이미지로부터 지면 영역을 추출하고, 상기 추출된 지면 영역 및 상기 3D 데이터에 기초하여 전체 차선을 추출하며, 상기 추출된 전체 차선으로부터 중앙선 및 상기 차량의 인접한 차선을 식별하고, 상기 식별된 중앙선 및 상기 차량의 인접한 차선에 기초하여 현재 차량의 위치를 인식하며,
    상기 2D 이미지에서 상기 지면 영역의 추출이 불가한 경우, 상기 영상 카메라의 밝기를 제어하여 상기 2D 이미지를 획득하고, 상기 획득된 2D 이미지의 임계값을 제어하여 상기 지면 영역을 추출하고,
    상기 추출된 지면 영역에서 제1 전체 차선을 식별하고, 상기 3D 데이터에서 제2 전체 차선을 식별하며, 상기 식별된 제1 전체 차선과 상기 식별된 제2 전체 차선을 매칭시켜 상기 전체 차선을 추출하며,
    상기 제1 전체 차선의 식별이 불가한 경우, 상기 획득된 2D 이미지의 임계값 또는 밝기를 제어하여 상기 제1 전체 차선을 식별하는, 차선과 차량 위치 인식 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 차량에 배치된 차선과 차량 위치 인식 장치의 제어 방법에 있어서,
    2D 이미지를 획득하는 단계;
    3D 데이터를 획득하는 단계;
    상기 2D 이미지와 상기 3D 데이터의 좌표계를 매칭시키는 단계;
    상기 3D 데이터를 상기 2D 이미지에 투영시켜 상기 2D 이미지로부터 지면 영역을 추출하는 단계;
    상기 추출된 지면 영역 및 상기 3D 데이터에 기초하여 전체 차선을 추출하는 단계;
    상기 추출된 전체 차선으로부터 중앙선 및 상기 차량의 인접한 차선을 식별하는 단계; 및
    상기 식별된 중앙선 및 상기 차량의 인접한 차선에 기초하여 현재 차량의 위치를 인식하는 단계;를 포함하고,
    상기 지면 영역을 추출하는 단계는,
    상기 2D 이미지에서 상기 지면 영역의 추출이 불가한 경우, 영상 카메라의 밝기를 제어하여 상기 2D 이미지를 획득하고, 상기 획득된 2D 이미지의 임계값을 제어하여 상기 지면 영역을 추출하며,
    상기 전체 차선을 추출하는 단계는,
    상기 추출된 지면 영역에서 제1 전체 차선을 식별하고, 상기 3D 데이터에서 제2 전체 차선을 식별하며, 상기 식별된 제1 전체 차선과 상기 식별된 제2 전체 차선을 매칭시켜 상기 전체 차선을 추출하고,
    상기 제1 전체 차선의 식별이 불가한 경우, 상기 획득된 2D 이미지의 임계값 또는 밝기를 제어하여 상기 제1 전체 차선을 식별하는, 차선과 차량 위치 인식 장치의 제어 방법.
KR1020200012260A 2020-01-31 2020-01-31 차선과 차량 위치 인식 장치 및 제어 방법 KR102399519B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200012260A KR102399519B1 (ko) 2020-01-31 2020-01-31 차선과 차량 위치 인식 장치 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200012260A KR102399519B1 (ko) 2020-01-31 2020-01-31 차선과 차량 위치 인식 장치 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20210098272A KR20210098272A (ko) 2021-08-10
KR102399519B1 true KR102399519B1 (ko) 2022-05-19

Family

ID=77316260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200012260A KR102399519B1 (ko) 2020-01-31 2020-01-31 차선과 차량 위치 인식 장치 및 제어 방법

Country Status (1)

Country Link
KR (1) KR102399519B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019194751A (ja) * 2018-05-01 2019-11-07 住友電気工業株式会社 車線情報処理装置、車線識別システム、車線情報処理方法および車線情報処理プログラム
KR102043089B1 (ko) * 2018-02-12 2019-11-11 경북대학교 산학협력단 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101049901B1 (ko) * 2009-11-27 2011-07-15 김영운 센서정보를 이용한 지능형 주행안전 예방 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043089B1 (ko) * 2018-02-12 2019-11-11 경북대학교 산학협력단 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체
JP2019194751A (ja) * 2018-05-01 2019-11-07 住友電気工業株式会社 車線情報処理装置、車線識別システム、車線情報処理方法および車線情報処理プログラム

Also Published As

Publication number Publication date
KR20210098272A (ko) 2021-08-10

Similar Documents

Publication Publication Date Title
US11756230B2 (en) Vehicular trailer hitching assist system with determination of location of hitch
US10078789B2 (en) Vehicle parking assist system with vision-based parking space detection
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
JP5846872B2 (ja) 画像処理装置
US20180239970A1 (en) Adaptive lane marker detection for a vehicular vision system
US10719699B2 (en) Pedestrian detection method and system in vehicle
US11648877B2 (en) Method for detecting an object via a vehicular vision system
CN107273788B (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
US10040481B2 (en) Vehicle trailer angle detection system using ultrasonic sensors
US11912199B2 (en) Trailer hitching assist system with trailer coupler detection
US11532233B2 (en) Vehicle vision system with cross traffic detection
US11455710B2 (en) Device and method of object detection
US20210034903A1 (en) Trailer hitching assist system with trailer coupler detection
US20210241492A1 (en) Vehicular vision system with camera calibration using calibration target
KR20210098276A (ko) 노면 상태 식별 장치 및 제어 방법
JP2008174028A (ja) 対象物検出システム、及び対象物検出方法
KR102371749B1 (ko) 차량 위치 정보 획득 장치 및 제어 방법
JP4706693B2 (ja) 車色判定装置、車色判定システム及び車色判定方法
KR102399519B1 (ko) 차선과 차량 위치 인식 장치 및 제어 방법
US20230169678A1 (en) Apparatus and method for processing an image of a vehicle
KR102707925B1 (ko) 융합 센서의 자동 이미지 정합 시스템
JP6825299B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2005242914A (ja) 人間認識システム及び画像処理装置
WO2021124657A1 (ja) カメラシステム
JP5056931B2 (ja) 車色判定装置、車色判定システム及び車色判定方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right