KR102593014B1 - 격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템 - Google Patents

격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템 Download PDF

Info

Publication number
KR102593014B1
KR102593014B1 KR1020230017072A KR20230017072A KR102593014B1 KR 102593014 B1 KR102593014 B1 KR 102593014B1 KR 1020230017072 A KR1020230017072 A KR 1020230017072A KR 20230017072 A KR20230017072 A KR 20230017072A KR 102593014 B1 KR102593014 B1 KR 102593014B1
Authority
KR
South Korea
Prior art keywords
grid
route
lane
color
lanes
Prior art date
Application number
KR1020230017072A
Other languages
English (en)
Other versions
KR102593014B9 (ko
Inventor
김정주
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Priority to KR1020230017072A priority Critical patent/KR102593014B1/ko
Application granted granted Critical
Publication of KR102593014B1 publication Critical patent/KR102593014B1/ko
Publication of KR102593014B9 publication Critical patent/KR102593014B9/ko

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/10Buses
    • B60W2420/42
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/10Road Vehicles
    • B60Y2200/14Trucks; Load vehicles, Busses
    • B60Y2200/143Busses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/90Vehicles comprising electric prime movers
    • B60Y2200/91Electric vehicles
    • B60Y2200/912Electric vehicles with power supply external to vehicle, e.g. trolley buses or trams

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 도로에 도색된 격자 차선의 노선별 고유 색상을 따라 미리 정해진 노선을 주행하고, 복수개의 노선이 하나로 합쳐진 중첩 노선의 분기점에서 격자 차선의 색상 선별을 통해 미리 정해진 하나의 노선 경로를 선택하여 분기하는 자율주행 노면 전차의 주행 시스템에 관한 것이다.

Description

격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템{Driving system for an autonomous vehicles tracking grid patterns}
본 발명은 격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템에 관한 것으로, 보다 상세하게는 도로에 도색된 격자 차선의 노선별 고유 색상을 따라 미리 정해진 노선을 주행하고, 복수개의 노선이 하나로 합쳐진 중첩 노선의 분기점에서 격자 차선의 색상 선별을 통해 미리 정해진 하나의 노선 경로를 선택하여 분기하는 자율주행 노면 전차의 주행시스템에 관한 것이다.
정보통신 기술, 로봇 기술, 자율주행 기술, 컴퓨터 기술 등이 발달 하게 되면서, 가정에서 사용되는 청소 로봇, 식당이나 병원 등에서 사용되는 서비스 로봇, 산업 현장 등에서 물류의 이송을 위해 사용되는 이동로봇 등 다양한 자율 주행 로봇이 개발되고 상용화되고 있다. 또한, 자동차 분야에서는 머지않은 시간 내에 완전 자율주행 자동차가 등장할 것으로 예상되고 있을 정도이고, 항공 분야에 서도 무인 드론의 개발이 매우 활발하게 이루어지고 있는 실정이다.
이와 같은 다양한 형태의 자율주행 로봇이나 자동차에는 위치를 인식하거나 속도를 제어하기기 위한 각종의 센서들이 탑재된다. 이를 위해, 자율주행 로봇에 탑재되는 센서로는 GPS 센서, 초음파 센서, 적외선 센서, 레이저 센서, LiDAR 센서, 카메라 센서 등이 있다. 이와 같이 로봇의 이동 환경에 대한 정보는 주로 로봇에 부착된 거리 센서 (LiDAR, laser, 초음파, 적외선 등)를 이용하여 획득하는 방법과 카메라 등의 비전 센서를 이용하여 영상 처리 과정을 통하여 정보를 획득하는 방법이 적용되고 있다. 또한, 자율주행 자동차는 주로 모터의 엔코더(encoder), 적외선 및 초음파 센서 등을 장착하여 오도메타(odometer) 정보에 의존해 로봇의 자기 위치를 인식하고, 장애물의 존재 여부를 인식하도록 구성되고 있다.
하지만, 자율주행에서는 위치 인식의 오차범위가 일정 기준 이상이 발생할 수 있으며, 고가의 인식(센서) 장치들을 탑재해야 하고, 또한, 도로와 GPS 등 자율주행 자동차를 위한 인프라가 구축되어야 하는 기술적, 경제적 문제와 AI로 처리하기 어려운 자율주행 자동차의 윤리적 문제 등으로 인해 완전 자율주행이 실현되기 위해서는 오랜 시간이 걸릴 것으로 예상된다.
본 발명은 완전 자율주행 전의 과도기에 적용할 수 있는 노면전차의 자율주행 시스템을 제공하는 것이다.
본 발명은 완전 자율주행의 불확실성을 제거하기 위한 새로운 자율주행 유도 시스템을 제공하는 것이다.
본 발명은
노선별 고유 색상으로 도로에 도색된 복수 개의 단일 노선 격자 차선 ;
고유 색상으로 도로에 도색되고, 상기 두 개 이상의 단일 노선 격자 차선이 소정 일부 구간에서 하나로 합쳐진 후 상기 단일 노선 격자 차선들로 분기되는 중첩 격자 차선 ; 및
상기 단일 노선 격자 차선과 중첩 격자 차선을 따라 주행하는 자율 주행 자동차를 구비하고,
(미리 정해진) 어느 하나의 단일 노선 격자 차선에서 상기 중첩 격자 차선으로 진입 후 다시 상기 단일 노선 격자 차선으로 분기하는 경우,
상기 자율주행 자동차가 촬영된 원본 영상 이미지로부터 단일 격자 차선의 색과 중첩 격자 차선의 색을 포함하는 분기점 격자 차선을 추출하여 주행하는 자율주행 노면 전차의 주행 시스템에 관련된다.
본 발명의 자율주행 노면 전차의 주행 시스템은 자동차가 노선별 고유 색상으로 도색된 단일 노선 격자 차선과 이들이 소정 일부 구간에서 하나로 합쳐진 후 분기되는 중첩 격자 차선을 따라 주행하는 방식이다. 특히, 본 발명의 자율 주행 시스템은 주행 도로 바닥 상에 특정색으로 도색된 차선을 카메라로 촬영하여 격자 차선을 추출하고, 이를 토대로 차량 위치 및 주행 방향을 제어할 수 있다.
본 발명의 자율주행 노면 전차의 주행 시스템은 자동차에 부착된 카메라와 도로에 미리 도색된 격자 차선을 통해 누적 오차 없이 안정적으로 주행할 수 있으므로 약속된 주행 경로를 운행하는 버스, 트램(무가선 트램, 수소 전기트램) 또는 전동차 등에 적용될 수 있다.
본 발명의 자율주행 노면 전차의 주행 시스템은 격자 차선의 색을 이용하여 (중첩 격자 차선의) 분기점에서 경로 선택을 오차없이 제공할 수 있고, 가로선을 계수하여 정확한 위치 인식이 가능하므로 고가 장치의 탑재 없이도 현 시점에서 도입가능한 경제적이면서도 현실적인 자율주행 시스템을 제공한다.
도 1은 본 발명의 자율주행 노면 전차의 주행 시스템에서 단일격자 차선과 이를 주행하는 자동차(100)의 예를 보여주고, 도 2는 본 발명의 자율 시스템에서 단일 격자 차선(A)과 중첩 격자 차선(B)의 예를 보여준다.
도 3은 본 발명의 일 실시예에 따른 노면전차(자율주행 자동차)(100)의 구성을 설명하기 위한 블록도이다.
도 4와 도 5는 본 발명에 따른 노면전차(자율주행 자동차)의 위치 인식 및 조향제어 방법을 설명하기 위한 순서도이다.
도 6은 분기점 격자 차선에서의 경로 선택 알고리즘의 예이다.
도 7은 이 발명이 적용되는 노면전차(자율주행 자동차)의 주행 제어를 위한 PID 제어 시스템의 블록도이다.
도 8은 조향제어를 설명하기 위한 도면이다.
이하에서는 본 발명의 실시예에 따른 자율주행 노면 전차의 주행 시스템에 대하여 첨부된 도면을 참고하면서 보다 구체적으로 설명한다.
본 발명의 실시예를 설명하기 위한 도면에서 이 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙이기로 한다. 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.
도 1은 본 발명의 자율주행 노면 전차의 주행 시스템에서 단일격자 차선과 이를 주행하는 자동차(100)의 예를 보여주고, 도 2는 본 발명의 자율 시스템에서 단일 격자 차선(A)과 중첩 격자 차선(B)의 예를 보여준다. 도 3은 본 발명의 일 실시예에 따른 자율주행 자동차(100)의 구성을 설명하기 위한 블록도이고, 도 4와 도 5는 본 발명에 따른 자율주행 자동차의 위치 인식 및 조향제어 방법을 설명하기 위한 순서도이다. 도 6은 색상형 격자 차선을 이용한 경로 선택 알고리즘의 예이다.
도 1과 도 2를 참고하면, 본 발명의 자율주행 시스템은 단일 노선 격자 차선(A), 중첩 격자 차선(B), 분기점 격자차선(C) 및 이를 주행하는 자율주행 자동차(100)를 포함한다.
도 1과 도 2를 참고하면, 상기 단일 노선 격자 차선(A)는 노선별 고유 색상으로 도로에 도색된 격자 무늬 모양의 차선(이하, 격자 차선)이다. 단일 노선이라는 표현은 출발점에서 도착점까지를 하나의 경로로 운행하는 노선을 의미하고, 하나의 노선(단일 노선)일지라도 차선은 복수개 병렬 설치될 수 있다.
다중 노선은 상기 단일 노선이 복수개인 노선을 나타낼 수 있다. 예를 들면, 다중 노선은 출발점에서 도착점까지를 복수개의 경로(서로 다른 경로)로 운행하는 노선일 수 있고, 앞의 경로들과 출발점이나 도착점이 다른 장소를 운행하는 노선일 수 있다.
본 발명의 상기 격자 차선은 노선별로 고유 색상으로 도로에 도색될 수 있다. 도 1을 참고하면, 본 발명의 격자 차선은 차선을 구성하는 외곽선(가로선과 세로선)의 색이 고유 색상으로 도색될 수 있고, 도 2와 같이, 본 발명의 격자 차선은 차선을 구성하는 외곽선(가로선과 세로선)과 격자 내부 전부(또는 일부)의 색이 고유 색상으로 도색될 수 있다.
예를 들면, 본 발명의 자율 주행 시스템은 노선이 1~N개인 경우 상기 단일 격자 차선은 각 노선별로 서로 다른 색(1~N개의 색)으로 도색될 수 있다.
도 2를 참고하면, 상기 중첩 격자 차선은 고유 색상으로 도로에 도색되고, 상기 두 개 이상의 단일 노선 격자 차선이 소정 일부 구간에서 하나로 합쳐진 후 다시 상기 단일 노선 격자 차선들로 분기된다.
상기 중첩 격자 차선은 상기 두 개 이상의 단일 노선 격자 차선이 소정 일부 구간에서 하나로 합쳐진 노선 구간이다, 예를 들면, 도 2와 같이, 두 개의 서로 다른 (단일 노선 격자) 차선이 합쳐진 중첩 격자 차선에서는 서로 다른 두 개의 노선이 모두 경유하는 차선이다.
상기 중첩 격자 차선은 고유 색상으로 도색되며, 여기서 고유 색상은 상기 단일 격자 차선과는 다른 색으로 도색된 차선을 의미한다.
예를 들면, 제 1 노선의 단일 격자 차선은 파란색, 제 2 노선의 단일 노선 격자 차선은 적색, 제 3 노선의 단일 노선 격자 차선은 녹색, 제 4 노선의 단일 노선 격자 차선은 오렌지색으로 지정되는 경우, 제 1 노선과 제 2 노선이 중첩되는 중첩격자 차선은 노란색으로 지정되고, 제 2 노선과 제 3 노선이 중첩되는 경우의 중첩 격자 차선의 색은 자주색으로 지정될 수 있고, 제 3 노선과 제 4 노선이 중첩되는 경우의 중첩 격자 차선의 색은 보라색으로 지정될 수 있다. 상기 제 1 노선과 제 2 노선이 경로 중간에 여러번 중첩되는 경우에도 중첩 구간에서의 색은 노란색으로 동일하게 지정될 수 있다.
상기 분기점 격자 차선은 중첩 격자 차선에서 단일 노선 격자 차선으로 차선이 분리되는 차선 구간이다. 상기 분기점 격자 차선은 상기 단일 노선 격자 차선이나 중첩 격자 차선과 달리 두 개 이상의 색이 포함된 차선 구간이다.
본 발명의 도색된 색상은 소정 범위의 RGB 값을 가질 수 있다.
도 1 내지 도 3을 참고하면, 본 발명의 자율주행 노면전차(자동차)(100)는 상기 단일 노선 격자 차선과 중첩 격자 차선을 따라 주행한다.
도 3을 참고하면, 본 발명의 자율주행 노면전차(자동차)(100)는 구동을 위한 2개의 구동 모터(110)가 본체에 탑재되고, 본체의 전면 상단에는 바닥면의 촬영을 위한 카메라(120)가 탑재된다. 전술한 구동 모터(110)는 BLDC 모터로 구성되고, 전술한 카메라(120)는 CMOS 카메라로 구성될 수 있다. 구동 모터(110)는 본체 하부에 설치된 구동 바퀴를 구동시켜 노면전차(100)를 전후좌우 방향으로 이동하게 구성될 수 있으며, 자율주행 노면전차(100)의 주행 속도가 제어될 수 있다.
또한, 자율주행 노면전차(자동차)(100)의 이동 중에 장애물을 감지하기 위한 복 수의 초음파 센서를 포함한 가이드 센서(130)가 설치되고, 비상 상황이 발생할 경우 비상정지를 위한 비상 스위치(140) 및 다양한 인디케이터들이 본체의 일측에 설치될 수 있다.
본 발명의 자율주행 노면전차(자동차)(100)에는 전술한 카메라 (120)에서 촬영된 영상에 기초하여 노면전차(자동차)(100)의 위치를 인식하고, 주행을 제어하는 컨트롤러(150)가 탑재된다. 컨트롤러(150)는 Microchip사의 PIC16F884 기반 임베디드 보드가 사용될 수 있다.
또한, 카메라(120)를 통한 영상의 촬영과 컴퓨터 비전 알고리즘의 처리, 주행 제어 등을 위해는 자율주행 자동차(100)에 탑재되는 컨트롤러(150) 이외에도 원격 설치되는 컴퓨터 수단 및 통신 수단 등이 적용될 수 있다.
도 1을 참고하면, 본 발명의 시스템에서, 자율주행 노면전차(자동차)는 상기 카메라(12)로 주행 도로 바닥에 도색된 격자 차선을 연속적으로 촬영하여 격자 차선을 추출하고, 추출된 격자 차선을 따라 주행할 수 있다. 즉, 발명의 자율 주행 시스템은 도색된 격자 차선을 카메라로 촬영하고, 컨트롤러에서 이를 분석하여 차선을 추출하고, 상기 차선으로부터 현재 위치, 조향 방향 등을 추출하여 주행하므로, 노면에 레일이 형성된 기존의 전차, 트램 등에 비해 경제적이며, 유지관리도 쉽다.
도 4를 참고하면, 상기 자율주행 노면전차(자동차)(100)가 단일 노선 격자 차선과 중첩 격자 차선을 주행하는 경우의 위치 인식 및 조향 제어 프로세스를 보여준다.
도 4를 참고하면, 상기 자율주행 노면전차(자동차)(100)는 원본 영상 획득, 단일 노선 또는 중첩 노선의 색이 포함된 색상 영역 추출, 에지 검출, 단일 노선 또는 중첩 차선 추출 및 수직 가이드라인(세로선)과 수평 가이드라인(가로선)을 추출할 수 있다.
좀 더 구체적으로, 상기 자율주행 노면전차(자동차)(100)는 원본 영상 획득, 노이즈 제거, 색상 영역 추출, 색상 영역을 HSV로 전환, 에지 추출, 단일 노선 또는 중첩 격자 차선 추출 및 수직 가이드라인(세로선)과 수평 가이드라인(가로선)을 추출할 수 있다.
원본 영상 획득은 자율주행 노면전차(자동차)(100)에 탑재된 카메라(120)에서 도로 바닥 상에 표시된 격자무늬 차선을 카메라로 촬영하여 획득한다.
상기 노이즈 제거는 원본 영상에 흐림 효과(blurring) 및 모폴리지(morphology) 연산을 적용하여 노이즈가 최소화되도록 한다. 즉, 카메라를 통해 획득된 원본 영상에 가우시안 흐림 효과 (Gaussian blur)와 히트미스 모폴로지(Hit-or-miss morphology) 연산을 적용하여 노이즈를 제거할 수 있다.
색상 영역 추출은 노이즈 제거된 (미리 정해진) 단일 노선 또는 중첩 격자 차선의 색, 예를 들면, 파란색의 RGB 영역대의 범위에 포함되는 상기 원본 영상 이미지의 화소 영역을 불러와 표시할 수 있다. 즉, 상기 자율주행 자동차의 컨트롤러는 미리 정해진 RGB 영역대에 해당하는 (원본 영상) 이미지 중의 색상 영역을 추출할 수 있다.
상기 자율주행 노면전차(자동차)(100)는 공지된 방법을 이용하여 추출된 RGB 색상을 HSV 색상으로 전환할 수 있다. ,
상기 자율주행 노면전차(자동차)(100)는 색상 영역 추출 후 노이즈를 제거할 수 있다.
상기 자율주행 노면전차(자동차)(100)는 이진화를 추가로 처리할 수 있다. 이진화는 노이즈를 축소한 이미지를 그레이 스케일로 변환한 후 처리 속도 향상과 잔여 노이즈 제거하는 방법이다. 예를 들면, 상기 이진화는 가중평균 적응형 임계값 이진화 알고리즘을 이용하여 노이즈 제거 영상을 그레이 스케일로 변환한다.
상기 자율주행 노면전차(자동차)(100)는 원근 오류 제거를 추가로 수행할 수 있다. 상기 자율주행 노면전차(자동차)(100)는 이진화된 이미지(프레임)에서 아핀 원근 변환 알고리즘을 적용하여 원근 오류 요소를 제거할 수 있다. 즉, 카메라(120)를 통해 획득한 영상 이미지에는 촬영된 각도에 따라 일정한 원근 성분이 포함되며, 이는 원근 오류 요소로 작용될 수 있으므로 투시 변환(Perspective transform) 등을 적용하게 된다. 예를 들면, 투시 변환은 9개의 원소를 갖는 3 × 3 행렬이 사용된다. 투시변환은 공지된 알고리즘이 사용될 수 있다.
상기 자율 주행 노면전차(자동차)의 에지 추출은 공지된 방법, 예를 들면, 케니 엣지 검출 알고리즘(Canny edge detection algorithms)이 사용될 수 있다.
상기 케니 엣지 검출 알고리즘(Canny edge detection algorithms)은 다른 엣지 검출 알고리즘에 비해 에러율이 낮고 엣지 추출이 정확하다.
상기 자율 주행자동차는 공지된 표준 허프 변환을 이용하여 격자 차선을 형성하는 직선을 추출할 수 있다.
표준 허프 변환(Standard Hough transform)은 2차원 xy 좌표에서 직 선의 방정식을 파라미터 공간으로 변환하여 직선을 찾는 알고리즘이다. 허프 변환을 이용하여 직선을 찾으려면 xy 공간에서 엣지로 판별된 모든 점을 이용하여 파라 미터 공간에 곡선을 표현하고, 축적 배열을 이용하여 곡선이 많이 교차되는 점을 찾을 수 있다.
상기 단일 노선 격자 차선 또는 중첩 격자 차선의 추출은 상기 직선 중에서 가로차선과 세로차선을 추출하고, 상기 격자 차선은 가로차선과 세로차선의 조합을 통해 추출될 수 있다.
예를 들면, 추출된 다수의 직선들 중에서 이미지의 중심을 2차원 평 면의 원점으로 가정할 때, 직선의 기울기를 a라 하면, a의 크기가 -1≤a≤ 1인 선과 그 외의 선들로 분리될 수 있다. 기울기에 따라 두 종류로 분류된 각각의 선들에 대하여 선의 기울기와 유사도를 비교하여 기울기가 유사한 선 중 가장 길이가 긴 두 종류의 선을 추출할 수 있다.
상기 자율주행 노면전차(자동차)는 상기 격자 차선을 통해 가이드라인을 추출할 수 있다.
상기 자율주행 노면전차(자동차)의 컨트롤러는 상기 가로차선의 중앙선을 가로선으로, 세로차선의 중앙선을 세로선으로 정의할 수 있다.
상기 자율주행 노면전차(자동차)의 컨트롤러는 해당 이미지의 중앙을 원점으로 가로선과 세로선에 해당하는 직선의 방정식을 산출할 수 있다.
상기 자율주행 자동차가 상기 중첩 격자 차선으로 진입 후 다시 상기 단일 노선 격자 차선으로 분기하는 경우, 원본 영상 이미지로부터 단일 격자 차선의 색과 중첩 격자 차선의 색을 포함하는 분기점 격자 차선을 추출할 수 있다.
도 5를 참고하면, 상기 자율주행 노면전차(자동차)(100)는 원본 영상 획득, 복합 색상 영역 추출, 에지 검출, 분기점 격자 차선 추출 및 수직 가이드라인(세로선)과 수평 가이드라인(가로선)을 추출할 수 있다.
도 6을 참고하면, 상기 자율주행 노면전차(자동차)(100)는 원본 영상 획득, 노이즈 제거, 색상 영역을 RGB에서 HSV로 전환, 복합 색상 영역 추출과 경로 선택, 에지 추출, 분기점 격자 차선 추출 및 수직 가이드라인(세로선)과 수평 가이드라인(가로선)을 추출할 수 있다.
예를 들면, 제 1 노선(파랑색 차선)의 단일 격자 차선을 운행하는 제 1 자율 주행차와 제 2 노선(적색)의 단일 격자 차선을 운행하는 제 2 자율주행차가 중첩 격자 차선(노란색)에 각각 진입 후 분기하는 경우에,
상기 제 1 자율주행 노면전차(자동차)는 주행에 따라 연속적으로 촬영된 원본 영상 이미지에서 노이즈를 제거하고, RGB 영역대를 HSV로 전환할 수 있고,
상기 제 1 자율주행 자동차는 제 1 노선의 색(파랑색)과 중첩격자 차선의 색(노란색)을 가지는 영역을 선택하고(나머지 색 영역은 제거), 이를 분기점 격자 차선의 색 영역(이하, 복합 색상 영역)으로 선정할 수 있다. 결과적으로, 제 1 자율주행 자동차는 제 2 노선의 색(적색)과 중첩격자 차선의 색(노란색)을 가지는 색 영역을 제거하고, 제 1 노선인 좌측방향으로 경로를 선택할 수 있다.
마찬가지로, 제 2 자율주행 노면전차(자동차)는 제 1 노선의 색(파랑색)과 중첩격자 차선의 색(노란색)을 가지는 색 영역을 제거하고, 제 2 노선인 우측방향으로 경로를 선택할 수 있다.
도 6을 참고하면, 상기 자율주행 자동차는 분기점 격자 차선의 색 영역으로부터 에지를 검출하여 분기점 격자 차선을 추출할 수 있다.
상기 자율주행 자동차는 상기 분기점 격자 차선으로부터 가로선(가로 가이드라인)과 세로선(세로 가이드라인)을 추출할 수 있다.
상기 자율주행 자동차는 상기 가로선의 중앙을 주행선으로 선정하여 주행할 수 있다.
이하에서는 전술한 과정에서 추출된 가로선과 세로선을 활용한 자율주행 자동차의 조향 제어에 대해 설명한다.
도 7은 이 발명이 적용되는 자율주행 노면전차(자동차)의 주행 제어를 위한 PID 제어 시스템의 블록도이다.
도 7에 개시된 PID 제어 시스템의 블록도에서, 조작량 u(t)는 연속 신호로서 수학식 1과 같다. u(t)는 목표값과 측정값 사이의 에러 e(t)에 대한 비례항, 적분항, 미분항의 합으로 이루어진다. 각 항에는 비례상수(Kp), 적분상수(Ki), 미분상수(Kd)를 사용한다.
[수학식 1]
한편, 수학식 1을 불연속 신호로 변경하면 수학식 2와 같다. 수학식 2의 조작량 u[n]은 n번째 측정값으로, 계산된 목표값과 측정값 사이의 에러 e[n]을 사용하여 만든 제어 신호다. Δt는 에러값을 측정하고 조작량을 인가하는 주기르 나타낸다. 각 항의 계수 Kp, Ki, Kd는 경험치로 구한 것이다.
[수학식 2]
상기 자율주행 노면전차(자동차)는 목표 주행선과 현재 주행선을 비교하여 두 선이 일치되도록 조향모터를 제어할 수 있다.
도 8을 참고하면, 상기 목표 주행선은 상기 이미지의 중심점 O를 지나는 수직선이다.
상기 현재 주행선은 해당 이미지에서 추출한 가로선들의 중앙점을 연결한 선이다.
도 8에서, 목표 주행선과 현재 주행선이 이루는 각도를 θ, 원점 O를 지나는 수평선과 현재 주행선이 만나는 점을 x라고 할 때, 원점으로부터 x까지의 거리를 d(t)라고 하면, 자율주행 자동차의 목표 주행선과 현재 주행선의 차이 e(t)를 아래의 수학식 3으로 나타낼 수 있다,
수학식 3에서 가중값은 경험치로 구해질 수 있다.
[수학식 3]
자율주행 노면전차(자동차)의 조향제어는 하기 수학식 5의 조건식으로 구할 수 있다.
수학식 4는 상기 수학식 3을 이미지의 특정 프레임에 대해 계산하기 위해 이산식으로 변형한 식이다.
[수학식 4]
[수학식 5]
자율주행 노면전차(자동차)(100)의 초기 구동시 좌우 모터를 구동하기 위한 PWM(Pulse Width Modulation) 듀티 비(Duty ratio)가 동일하다.
수학식 5를 참고하면, 자율주행 노면전차(자동차)(100)가 직선 주행을 하기 위해서는 e[n]이 0보다 크면 좌측 모터의 RPM을 고정하고 PID 제어 알고리즘에 따라 우측 모터를 제어하도록 설정된다. 그리고 e[n]이 0보다 작으면 반대로 제어하도록 설정된다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기 술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변 경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능 점을 이해할 수 있을 것이 다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적으 로 이해해서는 안 된다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산 되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합이 된 형태로 실시될 수 있다.
100 : 자율주행 노면전차(자동차) 110 : 구동 모터
120 : 카메라 130 : 가이드 센서
140 : 비상 스위치 150 : 컨트롤러

Claims (2)

  1. 노선별 고유 색상으로 도로에 도색된 복수 개의 단일노선 격자 차선 ;
    고유 색상으로 도로에 도색되고, 상기 두 개 이상의 단일 노선 격자 차선이 소정 일부 구간에서 하나로 합쳐진 후 상기 단일노선 격자 차선들로 분기되는 중첩 격자 차선 ; 및
    상기 단일노선 격자 차선과 중첩 격자 차선을 따라 주행하는 자율 주행 노면 전차를 구비하고,
    각각의 상기 단일 노선 격자 차선과 상기 중첩 격자 차선은 미리 정해진 노선별 고유색상을 가지고,
    상기 자율 주행 노면 전차가 상기 단일 노선 격자 차선에서 상기 중첩 격자 차선으로 진입 후 다시 상기 단일 노선 격자 차선으로 분기하는 경우,
    상기 자율주행 노면 전차는
    주행에 따라 연속적으로 촬영된 원본 영상 이미지에서 노이즈를 제거하고, 상기 이미지로부터 상기 단일 노선 격자 차선의 색과 상기 중첩 격자 차선의색을 모두 가지는 복합 색상 영역을 선택하되, 상기 단일 노선 격자 차선의 색과 상기 중첩 격자 차선의 색 이외의 색 영역은 삭제하고,
    상기 복합 색상 영역으로부터 에지를 검출하여 분기점 격자 차선을 추출하고,
    상기 분기점 격자 차선으로부터 가로선(가로 가이드라인)과 세로선(세로 가이드라인)을 추출하고,
    상기 가로선의 중앙을 주행선으로 선정하여 주행하는 것을 특징으로 하는 자율주행 노면 전차의 주행 시스템.
  2. 삭제
KR1020230017072A 2023-02-08 2023-02-08 격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템 KR102593014B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230017072A KR102593014B1 (ko) 2023-02-08 2023-02-08 격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230017072A KR102593014B1 (ko) 2023-02-08 2023-02-08 격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템

Publications (2)

Publication Number Publication Date
KR102593014B1 true KR102593014B1 (ko) 2023-10-25
KR102593014B9 KR102593014B9 (ko) 2023-12-08

Family

ID=88515473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230017072A KR102593014B1 (ko) 2023-02-08 2023-02-08 격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템

Country Status (1)

Country Link
KR (1) KR102593014B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000104230A (ja) * 1998-09-30 2000-04-11 Nichireki Co Ltd 道路標示方法
KR101318560B1 (ko) * 2012-02-29 2013-10-16 부산대학교 산학협력단 유도라인 추적 agv의 유연한 주행 제어를 위한 영상 기반 유도라인 해석 방법
KR20150093991A (ko) * 2014-02-10 2015-08-19 한국철도기술연구원 노면전차 노선에 설치되는 바닥 매립형 신호등
KR101946334B1 (ko) * 2016-12-07 2019-05-10 주식회사 만도 차량의 정상 경로 주행 장치 및 방법
KR102092507B1 (ko) * 2019-08-06 2020-03-23 주식회사 세한이노테크 로고 라이트를 이용한 안전운전 시스템
KR102396868B1 (ko) * 2018-11-27 2022-05-12 주식회사 블루인텔리전스 주차장 내 자율 주행 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000104230A (ja) * 1998-09-30 2000-04-11 Nichireki Co Ltd 道路標示方法
KR101318560B1 (ko) * 2012-02-29 2013-10-16 부산대학교 산학협력단 유도라인 추적 agv의 유연한 주행 제어를 위한 영상 기반 유도라인 해석 방법
KR20150093991A (ko) * 2014-02-10 2015-08-19 한국철도기술연구원 노면전차 노선에 설치되는 바닥 매립형 신호등
KR101946334B1 (ko) * 2016-12-07 2019-05-10 주식회사 만도 차량의 정상 경로 주행 장치 및 방법
KR102396868B1 (ko) * 2018-11-27 2022-05-12 주식회사 블루인텔리전스 주차장 내 자율 주행 방법 및 시스템
KR102092507B1 (ko) * 2019-08-06 2020-03-23 주식회사 세한이노테크 로고 라이트를 이용한 안전운전 시스템

Also Published As

Publication number Publication date
KR102593014B9 (ko) 2023-12-08

Similar Documents

Publication Publication Date Title
US11104327B2 (en) Method for automated parking of a vehicle
CN106335509B (zh) 车辆的驾驶辅助装置
Wijesoma et al. Road-boundary detection and tracking using ladar sensing
Chong et al. Autonomous personal vehicle for the first-and last-mile transportation services
US20190235520A1 (en) Cognitive mapping for vehicles
CN102789233B (zh) 基于视觉的组合导航机器人及导航方法
CN105103210B (zh) 用于引导在对象的周围环境中的车辆的方法和设备
US20150371095A1 (en) Method and Apparatus for Determining a Road Condition
JP6129167B2 (ja) カメラを用いた走行レーン認識の方法
Kaleli et al. Vision-based railroad track extraction using dynamic programming
Fernández et al. Free space and speed humps detection using lidar and vision for urban autonomous navigation
Zhang et al. 3d lidar-based intersection recognition and road boundary detection method for unmanned ground vehicle
US9767370B1 (en) Construction object detection
JP6800166B2 (ja) 車両が走行できる空間を割り出すための装置、それに基づいた走行、並びに、車両
CN111273673A (zh) 一种无人车的自动驾驶跟随方法、系统及无人车
CN110673595B (zh) 车辆自动驾驶时避障的方法、系统及车辆
US11718290B2 (en) Methods and systems for safe out-of-lane driving
Fries et al. Autonomous convoy driving by night: The vehicle tracking system
Jun et al. Autonomous driving system design for formula student driverless racecar
Ismail et al. Vision-based system for line following mobile robot
Kemsaram et al. An integrated framework for autonomous driving: object detection, lane detection, and free space detection
KR101510745B1 (ko) 차량의 무인 자율주행 시스템
EP4326589A1 (en) Methods and systems for inferring unpainted stop lines for autonomous vehicles
KR102593014B1 (ko) 격자무늬 차선을 포함하는 자율주행 노면 전차의 주행 시스템
JP3227247B2 (ja) 走行路検出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]