KR102592628B1 - 분기점 판별 장치 및 그 방법 - Google Patents
분기점 판별 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102592628B1 KR102592628B1 KR1020200093396A KR20200093396A KR102592628B1 KR 102592628 B1 KR102592628 B1 KR 102592628B1 KR 1020200093396 A KR1020200093396 A KR 1020200093396A KR 20200093396 A KR20200093396 A KR 20200093396A KR 102592628 B1 KR102592628 B1 KR 102592628B1
- Authority
- KR
- South Korea
- Prior art keywords
- junction
- information
- driving
- branch point
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 30
- 230000033001 locomotion Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000012850 discrimination method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2201/00—Application
- G05D2201/02—Control of position of land vehicles
- G05D2201/0217—Anthropomorphic or bipedal robot
Abstract
본 발명은 분기점 판별 장치 및 그 방법에 관한 것으로, 구체적으로는 로봇 주행을 위한 분기점 판별 장치 및 그 방법에 관한 것이다.
본 발명에 따른 분기점 판별 장치는 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부와, 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 분기점을 판별한 결과 및 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하는 것을 특징으로 한다.
본 발명에 따른 분기점 판별 장치는 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부와, 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 분기점을 판별한 결과 및 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하는 것을 특징으로 한다.
Description
본 발명은 분기점 판별 장치 및 그 방법에 관한 것으로, 구체적으로는 로봇 주행을 위한 분기점 판별 장치 및 그 방법에 관한 것이다.
종래 기술에 따른 로봇 자율 주행은 이미 구축된 정밀 지도 기반으로 주행하는 SLAM기술을 활용하거나, 새로운 환경에서 로봇이 무작위로 돌아다니며 스스로 정밀 지도를 구축하고 이를 기반으로 주행하는 SLAM 기술을 활용한다.
종래 기술에 따르면, 지도상의 변화 발생, 정밀 지도 구축 시간 부족, 부정확한 위치 인식의 경우 사용에 제약이 있는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 길의 토폴로지(topology) 정보를 이용하고, 분기점(교차로)을 인식하여 주행을 수행하는 분기점 판별 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 분기점 판별 장치는 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부와, 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 분기점을 판별한 결과 및 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하는 것을 특징으로 한다.
토폴로지 경로 정보는 분기점 정보 및 블록 정보를 포함한다.
프로세서는 현재 위치가 분기점인지 여부를 판단하고, 분기점에서 토폴로지 경로에 따른 다음 블록을 결정한다.
프로세서는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시킨다.
프로세서는 분기점의 종류를 기설정된 개수의 클래스로 정의한다.
프로세서는 로드 뷰 정보에 분기점 종류에 대한 파라미터가 포함되는 경우, 파라미터를 이용하여 분기점 영상을 획득한다.
프로세서는 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하여 분기점 영상을 획득한다.
프로세서는 도로 주행 영상에서 추출한 모션 벡터의 변화를 고려하여 분기점 영상을 획득한다.
프로세서는 획득된 분기점 영상에 대한 회전 및 스케일 변화를 수행한다.
본 발명에 따른 분기점 판별 방법은 (a) 분기점 판별을 위한 학습을 수행하는 단계와, (b) (a) 단계에서의 학습 결과를 이용하여, 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 이용한 주행 시, 분기점을 판별하는 단계 및 및 (c) 분기점에서 주행 방향을 결정하고, 주행 관련 명령을 전송하는 단계를 포함한다.
(a) 단계는 로드 뷰 정보에 포함되는 교차로 종류와 관련되는 파라미터를 이용하거나, 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하거나, 도로 주행 영상에서 추출한 모션 벡터의 변화를 이용하여, 분기점 영상을 획득한다.
(a) 단계는 분기점 영상에 대해 회전 및 스케일 변화를 수행한다.
(b) 단계는 분기점 정보와 블록 정보를 포함하는 토폴로지 경로 정보를 이용한 주행 시, 주기적으로 분기점인지 여부를 확인한다.
(b) 단계는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시킨다.
(c) 단계는 현재 위치가 분기점에 해당하는 경우, 토폴로지 경로 정보를 이용하여 다음 블록을 결정한다.
본 발명에 따르면, 정밀 지도를 생성하기 어려운 환경(예: 골목길, 구도심 등과 같이 차량이 지나다니지 못하는 환경) 또는 자기 위치 인식(localization)이 어려운 환경(예: GPS 신호가 부정확한 대도시 환경)에서 자율 주행이 가능하며, 자율 주행 차량뿐 아니라, 도로가 아닌 인도(사람이 다니는 길)를 통행하는 로봇에 적용할 수 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 분기점 판별 장치를 도시한다.
도 2는 본 발명의 실시예에 따른 토폴리지 수준의 길 찾기의 예를 도시한다.
도 3a 및 도 3b는 교차로의 종류 및 교차로 클래스를 도시한다.
도 4a 및 도 4b는 정면뷰 및 헤드다운(head down) 뷰의 화살표 개수를 도시한다.
도 5는 본 발명의 실시예에 따른 분기점 판별 방법을 도시한다.
도 6은 본 발명의 실시예에 따른 분기점 판별 방법의 학습 및 테스트 과정을 도시한다.
도 2는 본 발명의 실시예에 따른 토폴리지 수준의 길 찾기의 예를 도시한다.
도 3a 및 도 3b는 교차로의 종류 및 교차로 클래스를 도시한다.
도 4a 및 도 4b는 정면뷰 및 헤드다운(head down) 뷰의 화살표 개수를 도시한다.
도 5는 본 발명의 실시예에 따른 분기점 판별 방법을 도시한다.
도 6은 본 발명의 실시예에 따른 분기점 판별 방법의 학습 및 테스트 과정을 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
이하에서는 당업자의 이해를 돕기 위하여, 본 발명이 제안된 배경에 대하여 먼저 설명하고, 본 발명의 실시예에 대해 상세히 설명하기로 한다.
종래 기술에 따른 로봇 자율 주행은 지도 상의 특정 지점에 단순 장해물의 수준을 뛰어넘는 변화가 발생하거나, 정밀 지도 구축을 위한 시간이 부족한 경우에는 사용하기 어려운 제약이 있다.
또한, 정밀 지도가 구비된 상황이라고 하더라도 현재의 위치 인식(localization)이 부정확한 경우, 사용에 제약이 있다.
또한, 정밀하지 않은 토폴로지(topology) 수준의 저해상도 지도 정보만이 제공되는 경우, 사용에 제약이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 길의 토폴로지 정보만으로 주행을 수행하는 것이 가능한 분기점 판별 장치 및 그 방법을 제공한다.
본 발명의 실시예에 따르면, 토폴로지 수준으로 경로를 계획하고, 분기점(교차로, intersection) 인식을 통해 토폴로지 시나리오 만으로 목적지 직전 노드까지 도달하는 것이 가능하다.
본 발명의 실시예에 따르면, 분기점 인식을 위한 학습 데이터를 구축하고, 분기점 인식을 위한 딥러닝 학습 및 적용을 수행한다.
본 발명의 실시예에 따르면, 정밀 지도 없이 길의 토폴로지와 현재의 초기 위치 정보를 이용하여, 분기점 인식을 통해 최종 목적지 근처까지 주행을 수행한다.
이동 구간은 블록 단위로 분리되고, 다음 교차로 나오는 블록까지 직진을 수행하며, 다음 교차로까지의 길 모양에 따라 이동을 수행한다.
일정한 주기로 교차로를 검출하여, 다음 블록에 도달하였는지 여부를 확인한다.
다음 블록에 도달한 것을 확인하면, 토폴로지 상의 경로에 의해 그 다음 블록을 결정하고, 해당 방향으로 턴(turn) 또는 직진을 수행하고, 전술한 블록 단위 이동 구간 분리, 다음 교차로가 나오는 블록까지 직진을 수행하는 과정을 반복한다.
본 발명의 실시예에 따르면 분기점의 종류를 직진, 3방향, 4방향, 5방향으로 정의하고, 3방향 및 5방향 분기점의 경우, 진입 방향에 따라 각각 별도의 클래스로 분류한다.
본 발명의 실시예에 따르면, 수집된 영상을 기초로 회전 및 스케일 변화를 통해, 증대(augmentation) 과정을 수행하여 영상의 대표성을 향상시킨다.
이 때, 이동체의 교차로 진입 각도에 따라 다양한 씬(scene)이 관측 될 수 있으므로, 회전 관련 증대 시 회전 각도를 세분화하여 증대를 수행한다.
도 1은 본 발명의 실시예에 따른 분기점 판별 장치를 도시한다.
본 발명에 따른 분기점 판별 장치는 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부(110)와, 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 분기점을 판별한 결과 및 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하는 것을 특징으로 한다.
토폴로지 경로 정보는 분기점 정보 및 블록 정보를 포함한다.
프로세서(130)는 현재 위치가 분기점인지 여부를 판단하고, 분기점에서 토폴로지 경로에 따른 다음 블록을 결정한다.
프로세서(130)는 분기점의 종류를 기설정된 개수의 클래스로 정의한다.
프로세서(130)는 로드 뷰 정보에 분기점 종류에 대한 파라미터가 포함되는 경우, 파라미터를 이용하여 분기점 영상을 획득한다.
프로세서(130)는 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하여 분기점 영상을 획득한다.
프로세서(130)는 도로 주행 영상에서 추출한 모션 벡터의 변화를 고려하여 분기점 영상을 획득한다.
프로세서(130)는 획득된 분기점 영상에 대한 회전 및 스케일 변화를 수행한다.
프로세서(130)는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시킨다.
이동 정보는 로봇의 현재 분기점을 지난 후의 이동 거리, 이동 속도, 이동 궤적 등을 포함한다.
프로세서(130)는 분기점 검출을 수행함에 있어서, 분기점 간의 거리 정보 및 이동체의 주행 거리 정보(위치 정보)를 고려하여, 분기점 검출을 수행한다.
예컨대, 잔여 거리가 100미터일 때 분기점 검출을 시작하는 것으로 설정된 경우, 현재 분기점에서 다음 분기점까지의 거리가 500미터이면, 현재 분기점으로부터 이동체의 주행 거리가 400미터일 때, 분기점 검출을 시작한다.
프로세서(130)는 주기적으로 분기점 체크를 하되, 토폴로지 지도 상에서 다음 분기점까지의 거리와 현재 로봇의 이동 속도를 감안하여, 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시킨다.
구체적으로, 다음 분기점 판별을 위한 측정 시간은 "
"로 정의되며, 이 때 t0는 실험에 의한 시간상의 여유 버퍼(stand-by time)이다.
프로세서(130)는 분기점 검출을 수행함에 있어서, 분기점 간의 거리 정보, 이동체의 주행 거리 정보 및 이동 궤적 정보를 이용하여, 분기점 검출을 수행한다.
이동체의 이동 궤적 정보 및 주행 거리 정보를 이용하여, 기설정된 분기점 검출 시작 지점까지의 잔여 거리를 계산하고, 이동체가 분기점 검출 시작 지점에 도달하면, 분기점 검출을 수행한다.
이를 통해, 이동체 로봇의 배터리 소모를 최소화하는 것이 가능하다.
도 2는 본 발명의 실시예에 따른 토폴리지 수준의 길 찾기의 예를 도시한다.
입력부(110)는 길찾기 서비스 제공회사(구글, 네이버, 다음 등) 또는 자체적으로 개발한 길찾기 서비스로부터, 현재 위치에서 원하는 목적지로 가는 경로 정보를 수신한다.
이 때, 경로 정보는 분기점(intersection) 및 블록(block) 수준으로 제공되며, 도 2 를 참조하면, "현 위치(①)에서 한 블록 직진 후(②) 우회전하여 한 블록 직진 후(③) 좌회전 하여 한 블록 이동하고(④), 우회전 후 한 블록 이동하고(⑤), 그리고 마지막으로 좌회전 하여 목적지 부근인 ending point(⑥)를 만날 때까지 직진하도록 경로가 형성된다.
프로세서(130)는 입력부(110)를 통해 획득한 토폴로지 경로를 이용하고, 분기점과 일반 직진 도로를 구분하며, 분기점을 찾으면서 시작점에서 목적지까지 이동하도록 주행과 관련한 명령 신호를 전송한다.
프로세서(130)는 획득된 이미지를 이용하여 분기점의 종류를 판단하고, 토폴로지 경로와 동일한지 여부에 대해 주기적으로 검사함으로써, 주행 안정성을 확보한다.
도 3a 및 도 3b는 교차로의 종류 및 교차로 클래스를 도시한다.
도 3a는 분기점의 종류를 도시하며, 도 3b는 데이터 획득의 용이성 및 분류 성능 향상을 위해, 분기점을 7개의 클래스(class)로 정의함에 대해 도시한다.
데이터 획득 과정 및 학습 과정을 포함하는 개발 시간을 단축시키고, 성능을 향상시키기 위하여, 클래스를 7개보다 적은 개수로 구분할 수 있다.
본 발명의 실시예에 따르면, 분기점에서의 진행 방향 정보를 고려하여, 분기점의 종류를 7개의 클래스로 정의한다.
도 4a 및 도 4b는 정면뷰 및 헤드다운(head down) 뷰의 화살표 개수를 도시한다.
분기점에 대한 인식 및 분류를 위해서는, 뉴럴 네트워크 학습을 위해 데이터 수집 과정에 많은 자원이 필요하다.
일반적으로 학습되어야 할 네트워크의 내부 파라미터(weight) 양보다 상대적으로 적은 양의 데이터로 학습을 할 경우, 오버피팅(overfitting)되거나, 낮은 분류 정확도를 가지게 되기 때문이다.
따라서, 가능한 많은 양의 학습 데이터가 필요한데, 직진 도로의 영상보다 분기점(교차로) 영상의 획득을 중점적으로 수행한다.
로드 뷰(Road view)를 활용함에 있어서, 교차로 종류를 알려주는 파라미터가 제공될 경우, 교차로 종류를 현재 뷰의 영상에 대한 진리값(ground truth)로 사용한다.
이 때, 교차로 종류를 알려주는 파라미터에는 위도, 경도, 뷰 각도, 교차로 여부 정보가 포함된다.
로드 뷰(Road view)를 활용함에 있어서, 교차로 종류를 알려주는 파라미터가 제공되지 않고, 뷰 영상 위에 오버레이(overlay)로 로드 뷰의 진행 방향(예: 화살표)이 표시되는 경우, 방향 표시의 개수 및 방향을 확인하여 진리값으로 사용한다.
예컨대, 헤드 다운(head down) 뷰로 설정하면, 도 4b에 도시한 바와 같이 로드뷰의 진행 방향을 표시하는 화살표 아이콘이 생성되며, 이는 직진 경로일 경우 전후방 각 1개씩 총 2개가 표시되고, 3거리 일 경우 3개, 4거리일 경우 4개가 표시된다.
이 화살표의 개수를 SURF등의 특징 검출(feature detection) 기법을 이용하여 검출하고, 도 4a에 도시한 바와 같은 정면 뷰 영상의 교차로의 클래스에 대한 진리값으로 사용한다.
길찾기 서비스 제공회사의 지도 서비스에는 이와 유사한 표시 기능들이 포함되는데, 교차로 정보에 대한 메타 데이터(meta data)의 획득이 어려울 경우, 전술한 방식으로 표시 아이콘을 활용한다.
로드 뷰(Road view)를 활용함에 있어서, 교차로 종류를 알려주는 파라미터가 제공되지 않고, 뷰 영상 위에 진행 방향 정보 또한 표시되지 않는 경우, 관리자의 확인 또는 영상 처리를 통해 진리값을 생성한다.
본 발명의 실시예에 따른 교차로 영상을 획득함에 있어서, 도로 주행 영상을 활용할 수 있다.
동영상의 경우 많은 프레임(frame)을 획득할 수 있는데, 차량 또는 로봇의 정상 주행에 대한 동영상을 확보한다.
동영상에서 주요 주행 방향의 모션 벡터(motion vector)를 추출하고, 이 값이 변화하여 0에 가깝게 될 경우, 촬영된 프레임에 대해 교차로 영상인 것으로 판단한다.
데이터 수집 과정이 완료되면, 분기점 분류기 네트워크의 학습이 필요하다.
본 발명의 실시예에 따르면, 뉴럴 네트워크 또는 성능 향상 및 연산량 감소를 위해 구성된 네트워크(vggnet, AlexNet, LeNet)를 이용하여 분기점 분류기 학습을 수행한다.
4거리 교차로, 3거리 교차로, 직진 도로 등의 영상 및 진리값을 활용하여, 선택된 네트워크를 학습한다.
실제 로봇이 촬영하는 영상이 교차로의 방향과 일치하지 않을 수 있으므로, 본 발명의 실시예에 따르면 수집된 영상에 대해 회전(rotation) 및 스케일(scale) 변화를 통해, 증대(augmentation) 과정을 수행하여 영상의 대표성을 향상시킨다.
이 때, 길에 주차된 차량, 행인, 주야간 밝기, 계절에 따른 날씨 변화 등에 강인하도록, 다양한 상황에서의 영상을 수집한다.
도 5는 본 발명의 실시예에 따른 분기점 판별 방법을 도시한다.
S510 단계는 로드 토폴로지 생성 단계로서, 현재 위치에서 원하는 목적지까지의 경로 정보를 수신하며, 이 때 경로 정보는 분기점 정보 및 블록 정보를 포함한다.
S520 단계는 주기적으로 교차로를 검출하며, 교차로를 만날 때까지 다음 노드로 이동을 수행한다.
S520 단계에서, 이동 구간은 블록 단위로 분리되며, 다음 교차로가 나오는 블록까지 길 모양에 따라 주행을 수행한다.
S530 단계에서, 현재 도달한 노드가 엔딩 노드인지 여부를 확인한다.
S530 단계에서의 확인 결과, 엔딩 노드가 아닌 것으로 확인되면, S520 단계로 회귀하고, S530 단계에서의 확인 결과, 엔딩 노드인 것으로 확인되면, 엔딩 포인트로 이동을 수행한다(S540).
전술한 도 5의 S520 단계는 다음 목적지의 분기점이 검출될 때까지 주행을 수행하는 것으로, 분기점이 검출되면 해당 분기점으로 진입하고, 다음 분기점을 계산(process for next node)하는 과정을 통해, 다음 분기점으로 계속하여 주행을 수행한다.
도 6은 본 발명의 실시예에 따른 분기점 판별 방법의 학습 및 테스트 과정을 도시한다.
S521 단계는 데이터를 획득하고, 학습 데이터 셋(train dataset)을 로드(load)한다.
학습이 시작되면, S522 단계는 획득된 데이터를 이용하여 뉴럴 네트워크 학습을 수행한다.
S523 단계는 검증 데이터셋(validation dataset)을 이용하여 학습 네트워크(trained network)의 정확도(accuracy)를 계산하고 검증한다(calculate and validate).
S524 단계는 산출된 정확도가 기설정값보다 큰 지 여부를 확인하고, S524 단계에서 정확도가 기설정값 이하인 경우, S522 단계로 회귀한다.
S524 단계에서 정확도가 기설정값보다 큰 것으로 확인되면, 학습이 종료된다(train finished, S525).
테스트가 시작되면, S526 단계는 이미지 데이터(image data)를 획득한다.
S527 단계는 S522 단계에서 학습된 뉴럴 네트워크를 이용하여, 교차로를 검출한다.
S527 단계에서 교차로가 아닌 것으로 확인되면, 기존의 주행을 계속한다.
S527 단계에서 교차로인 것으로 확인되면, 해당 교차로로 진입하여 토폴로지에 따라 주행 방향을 설정하고, 계산된 다음 분기점으로 계속 주행을 수행한다.
한편, 본 발명의 실시예에 따른 분기점 판별 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 분기점 판별 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 분기점 판별 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 분기점 판별 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 분기점 판별 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
Claims (15)
- 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부;
상기 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 분기점을 판별한 결과 및 상기 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하고,
상기 프로세서는 로드 뷰 정보에 분기점 종류에 대한 파라미터가 포함되는 경우, 상기 파라미터를 이용하여 분기점 영상을 획득하고, 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하여 분기점 영상을 획득하는 것
을 특징으로 하는 분기점 판별 장치.
- 제1항에 있어서,
상기 토폴로지 경로 정보는 분기점 정보 및 블록 정보를 포함하는 것
인 분기점 판별 장치.
- 제1항에 있어서,
상기 프로세서는 현재 위치가 분기점인지 여부를 판단하고, 상기 분기점에서 상기 토폴로지 경로에 따른 다음 블록을 결정하는 것
인 분기점 판별 장치.
- 제3항에 있어서,
상기 프로세서는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시키는 것
인 분기점 판별 장치.
- 제1항에 있어서,
상기 프로세서는 분기점의 종류를 기설정된 개수의 클래스로 정의하는 것
인 분기점 판별 장치.
- 삭제
- 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부;
상기 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 분기점을 판별한 결과 및 상기 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하고,
상기 프로세서는 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하여 분기점 영상을 획득하는 것
인 분기점 판별 장치.
- 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 수신하는 입력부;
상기 토폴로지 경로 정보를 이용한 주행 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 분기점을 판별한 결과 및 상기 토폴로지 경로 정보를 이용하여 주행 관련 명령을 전송하고,
상기 프로세서는 도로 주행 영상에서 추출한 모션 벡터의 변화를 고려하여 분기점 영상을 획득하는 것
인 분기점 판별 장치.
- 제1항에 있어서,
상기 프로세서는 획득된 분기점 영상에 대한 회전 및 스케일 변화를 수행하는 것
인 분기점 판별 장치.
- (a) 분기점 판별을 위한 학습을 수행하는 단계;
(b) 상기 (a) 단계에서의 학습 결과를 이용하여, 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 이용한 주행 시, 분기점을 판별하는 단계; 및
(c) 상기 분기점에서 주행 방향을 결정하고, 주행 관련 명령을 전송하는 단계를 포함하고,
상기 (a) 단계는 로드 뷰 정보에 포함되는 교차로 종류와 관련되는 파라미터를 이용하거나, 로드 뷰 정보에 포함되는 진행 방향 표시 정보를 이용하거나, 도로 주행 영상에서 추출한 모션 벡터의 변화를 이용하여, 분기점 영상을 획득하는 것
인 분기점 판별 방법.
- 삭제
- 제10항에 있어서,
상기 (a) 단계는 상기 분기점 영상에 대해 회전 및 스케일 변화를 수행하는 것
인 분기점 판별 방법.
- (a) 분기점 판별을 위한 학습을 수행하는 단계;
(b) 상기 (a) 단계에서의 학습 결과를 이용하여, 현재 위치로부터 목적지까지의 토폴로지 경로 정보를 이용한 주행 시, 분기점을 판별하는 단계; 및
(c) 상기 분기점에서 주행 방향을 결정하고, 주행 관련 명령을 전송하는 단계를 포함하고,
상기 (b) 단계는 분기점 정보와 블록 정보를 포함하는 상기 토폴로지 경로 정보를 이용한 주행 시, 주기적으로 분기점인지 여부를 확인하고,
상기 (b) 단계는 이동 정보를 고려하여, 다음 분기점 근처에 도달했을 것으로 예상되는 시점부터 분기점 판별 로직을 작동시키는 것
인 분기점 판별 방법.
- 삭제
- 제13항에 있어서,
상기 (c) 단계는 현재 위치가 상기 분기점에 해당하는 경우, 상기 토폴로지 경로 정보를 이용하여 다음 블록을 결정하는 것
인 분기점 판별 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/993,047 US20210048819A1 (en) | 2019-08-14 | 2020-08-13 | Apparatus and method for determining junction |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190099932 | 2019-08-14 | ||
| KR1020190099932 | 2019-08-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210020778A KR20210020778A (ko) | 2021-02-24 |
| KR102592628B1 true KR102592628B1 (ko) | 2023-10-23 |
Family
ID=74689313
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200093396A KR102592628B1 (ko) | 2019-08-14 | 2020-07-27 | 분기점 판별 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102592628B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014106147A (ja) * | 2012-11-28 | 2014-06-09 | Fujitsu Ltd | 交差点検出方法および交差点検出システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040091788A (ko) * | 2003-04-22 | 2004-11-02 | 현대자동차주식회사 | 고속도로 자율주행 시스템 및 그의 제어방법 |
| KR100748245B1 (ko) * | 2005-12-09 | 2007-08-10 | 한국전자통신연구원 | 인공표식과 지역좌표계를 이용한 이동로봇의 환경지도 작성방법 및 이동 방법 |
-
2020
- 2020-07-27 KR KR1020200093396A patent/KR102592628B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014106147A (ja) * | 2012-11-28 | 2014-06-09 | Fujitsu Ltd | 交差点検出方法および交差点検出システム |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210020778A (ko) | 2021-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102070527B1 (ko) | 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크 | |
| CN110400490B (zh) | 轨迹预测方法和装置 | |
| CN103853155B (zh) | 智能车路口通行方法及系统 | |
| CN112212874B (zh) | 车辆轨迹预测方法、装置、电子设备及计算机可读介质 | |
| CN110377025A (zh) | 用于自动驾驶车辆的传感器聚合框架 | |
| CN109491375A (zh) | 用于自动驾驶车辆的基于驾驶场景的路径规划 | |
| CN108073168A (zh) | 对自主驾驶车辆进行决策的评估体系 | |
| CN109429518A (zh) | 基于地图图像的自动驾驶交通预测 | |
| JP2021515178A (ja) | 自動運転車両においてｒｎｎとｌｓｔｍを用いて時間平滑化を行うｌｉｄａｒ測位 | |
| US20210403001A1 (en) | Systems and methods for generating lane data using vehicle trajectory sampling | |
| CN110119138A (zh) | 用于自动驾驶车辆的自定位方法、系统和机器可读介质 | |
| WO2022021982A1 (zh) | 可行驶区域判定的方法、智能驾驶系统和智能汽车 | |
| CN104875740B (zh) | 用于管理跟随空间的方法、主车辆以及跟随空间管理单元 | |
| US11875680B2 (en) | Systems and methods for augmenting perception data with supplemental information | |
| CN113511204B (zh) | 一种车辆换道行为识别方法及相关设备 | |
| US11238735B2 (en) | Parking lot information management system, parking lot guidance system, parking lot information management program, and parking lot guidance program | |
| US20210048819A1 (en) | Apparatus and method for determining junction | |
| WO2022160900A1 (zh) | 一种测试场景构建方法及装置 | |
| WO2022178858A1 (zh) | 一种车辆行驶意图预测方法、装置、终端及存储介质 | |
| US20230394694A1 (en) | Methods and apparatus for depth estimation using stereo cameras in a vehicle system | |
| KR102592628B1 (ko) | 분기점 판별 장치 및 그 방법 | |
| JP2022517454A (ja) | ナビゲーション中に難しい操縦についての追加の命令を提供すること | |
| US10532750B2 (en) | Method, device and system for wrong-way driver detection | |
| Chipka et al. | Estimation and navigation methods with limited information for autonomous urban driving | |
| CN112923948B (zh) | 车辆导航播报方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |