KR102387920B1 - 지능형 모빌리티 및 그의 자율주행 방법 - Google Patents

지능형 모빌리티 및 그의 자율주행 방법 Download PDF

Info

Publication number
KR102387920B1
KR102387920B1 KR1020210045929A KR20210045929A KR102387920B1 KR 102387920 B1 KR102387920 B1 KR 102387920B1 KR 1020210045929 A KR1020210045929 A KR 1020210045929A KR 20210045929 A KR20210045929 A KR 20210045929A KR 102387920 B1 KR102387920 B1 KR 102387920B1
Authority
KR
South Korea
Prior art keywords
driving
intelligent mobility
autonomous driving
intelligent
mobility
Prior art date
Application number
KR1020210045929A
Other languages
English (en)
Inventor
조병우
Original Assignee
조병우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조병우 filed Critical 조병우
Priority to KR1020210045929A priority Critical patent/KR102387920B1/ko
Application granted granted Critical
Publication of KR102387920B1 publication Critical patent/KR102387920B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K1/00—Arrangement or mounting of electrical propulsion units
    • B60K1/02—Arrangement or mounting of electrical propulsion units comprising more than one electric motor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K7/00—Disposition of motor in, or adjacent to, traction wheel
    • B60K7/0007—Disposition of motor in, or adjacent to, traction wheel the motor being electric
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/08—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of electric propulsion units, e.g. motors or generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/24—Conjoint control of vehicle sub-units of different type or different function including control of energy storage means
    • B60W10/26—Conjoint control of vehicle sub-units of different type or different function including control of energy storage means for electrical energy, e.g. batteries or capacitors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 지능형 모빌리티 및 그의 자율주행 방법에 관한 것으로, 본 발명의 일 실시예에 따른 지능형 모빌리티는, 소정의 너비를 갖는 베이스; 상기 베이스의 양측에 배치된 제1 주행바퀴 및 제2 주행바퀴; 상기 제1 및 제2 주행바퀴를 각각 구동시키기 위한 각각 모터를 포함하는 제1 구동부 및 제2 구동부; 상기 제1 구동부 및 제2 구동부의 구동을 제어하는 제어부; 및 상기 제1 및 제2 구동부 및 상기 제어 드라이브에 전원을 공급하는 배터리를 포함하고, 상기 제어부는, 충돌 객체를 검출하여 검출된 충돌 객체를 회피하여 동작할 수 있도록 상기 제1 및 제2 구동부를 제어할 수 있다.

Description

지능형 모빌리티 및 그의 자율주행 방법{MOBILITY AND AUTONOMOUS DRIVING METHOD THEREOF}
본 발명은 지능형 모빌리티 및 그의 자율주행 방법에 관한 것으로, 더욱 상세하게는 한 명이나 두 명의 사용자가 이용할 수 있는 이동체계로, 자율주행을 할 수 있는 지능형 모빌리티 및 그의 자율주행 방법에 관한 것이다.
모빌리티는, 기차, 자동차, 비행기, 모바일 기기 등과 같은 기술을 기반으로 사람이나 사물 또는 정보를 이동할 수 있는 포괄적인 기술이다. 이러한 모빌리티는, 단지 이동을 위한 물리적 수단만이 아닌, 보다 유기적인 이동체계이며, 하드웨어 제조와 더불어 소프트웨어(또는 서비스)를 제공하는 기술이다.
특히, 개인이 이용할 수 있는 퍼스널 모빌리티는 도시 과밀화, 1인 가구 증가 등과 같은 다양한 이유로 야기된 교통난이 해결될 수 있는 솔루션으로 대두되고 있다.
또한, 발전하는 ICT기술과 서비스가 융합됨에 따라 퍼스널 모빌리티는 스마트 모빌리티로 빠르게 전환되고 있고, 이는 기존 교통 인프라 보다 효율적 이용을 위한 새로운 가능성을 제공한다. 그리고 전동 휠이나 전동 킥보드와 같은 1인용 이동도구들이 스마트 모빌리티의 주요 대상으로 다양한 형태의 제품 개발이 시도되는 중이다.
상기와 같은 퍼스널 모빌리티 중 전동 휠의 경우, 외발이나 좌우로 배치된 휠 구조로 인해 사용자가 탑승할 때 중심을 잡는 것이 어렵고, 전동 킥보드도 안정적인 주행이 어려운 문제가 있다. 또한, 이러한 퍼스널 모빌리티에 사용자 1명 이외에 추가적으로 짐을 적재하는 등의 사용이 쉽지 않은 문제가 있다.
대한민국 등록특허 제10-2181423호 (2020.11.16.)
본 발명이 해결하고자 하는 과제는, 사용목적에 따라 다양하게 변형할 수 있으며, 자율주행 기능을 포함하는 지능형 모빌리티 및 그의 자율주행 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 지능형 모빌리티는, 소정의 너비를 갖는 베이스; 상기 베이스의 양측에 배치된 제1 주행바퀴 및 제2 주행바퀴; 상기 제1 및 제2 주행바퀴를 각각 구동시키기 위한 각각 모터를 포함하는 제1 구동부 및 제2 구동부; 상기 제1 구동부 및 제2 구동부의 구동을 제어하는 제어부; 및 상기 제1 및 제2 구동부 및 상기 제어 드라이브에 전원을 공급하는 배터리를 포함하고, 상기 제어부는, 충돌 객체를 검출하여 검출된 충돌 객체를 회피하여 동작할 수 있도록 상기 제1 및 제2 구동부를 제어할 수 있다.
상기 제어부는, 상기 베이스가 진행하는 방향의 영상을 촬영하는 영상 카메라; 상기 제1 및 제2 구동부를 제어하는 제어 드라이브; 및 상기 영상 카메라에서 촬영된 영상을 기초로 하여 충돌 객체를 검출하고, 검출된 충돌 객체를 회피하여 주행할 수 있는 회피 경로를 생성하는 자율주행부를 포함할 수 있다.
상기 자율주행 모듈은, 상기 영상 카메라에서 촬영된 영상을 처리하여 충돌 객체를 검출하기 위해 MobileNet CNN(convolutional neural network) 모델을 이용할 수 있다.
상기 자율주행 모듈은, 상기 영상 카메라에서 촬영된 영상에서 충돌 객체가 있는 이미지를 블록(blocked) 이미지로 구분하고, 충돌 객체가 없는 이미지를 프리(free) 이미지로 구분하여 학습할 수 있다.
상기 제어부는, 상기 베이스에 설치되고, 상기 영상 카메라와 함께 삼각변위 측정을 위한 제1 안테나 및 제2 안테나를 더 포함할 수 있다.
상기 자율주행 모듈은, A* 알고리즘을 기초로, 시간 복잡성(time complexity)을 고려하여 pure pursuit control 알고리즘을 사용하여 회피 경로를 생성할 수 있다.
한편, 본 발명의 일 실시예에 따른 지능형 모빌리티의 자율주행 방법은, 지능형 모빌리티가 충돌 객체를 회피하여 주행할 수 있도록 상기 지능형 모빌리티의 주행 방향에 대해 영상 카메라로 촬영된 영상 및 충돌할 수 있는 객체에 대한 학습을 수행한 것을 기초로 하여 지능형 모빌리티의 경로 추적을 위한 트래킹을 진행하는 단계; 상기 트래킹의 진행을 통해 검출된 상기 객체에 대한 회피 알고리즘을 이용하여 회피 경로를 생성하는 단계; 및 상기 생성된 회피 경로를 통해 상기 지능형 모빌리티가 상기 검출된 객체와 충돌하지 않고 주행하도록 충돌방지 알고리즘이 수행되는 단계를 포함하고, 상기 충돌방지 알고리즘은, 상기 검출된 객체를 대상으로 생성된 블록 계수를 이용하여 상기 지능형 모빌리티가 주행할 수 있도록 회피 경로를 설정할 수 있다.
상기 충돌할 수 있는 객체에 대한 학습은, 지능형 모빌리티가 충돌 객체를 회피하여 주행할 수 있도록 상기 지능형 모빌리티가 주행하는 방향에 대해 카메라로 촬영된 영상을 처리하는 단계; 상기 촬영된 영상에 대한 학습 데이터를 생성하는 단계; 생성된 상기 학습 데이터에 대한 영상처리 모델의 예측 성능을 측정하는 방식을 설정하는 단계; 및 상기 영상처리 모델의 손실 값 및 정확도를 측정하는 단계를 포함할 수 있다.
영상처리 모델의 예측 성능을 측정하는 방식은, mAP(Mean Average Precision) 값 및 IOU(Intersection Over Union)을 통해, 최소 인식조건(IOU Threshold)을 설정할 수 있다.
본 발명에 의하면, 사용목적에 따라 모빌리티의 외장을 교체할 수 있어 근거리 이동, 물류 및 사회적 약자를 위한 목적으로 다양하게 변형할 수 있다.
또한, 카메라를 통해 얻어지는 이미지 데이터를 이용하여, 충돌 가능성이 있는 데이터를 구분함으로써, 충돌 가능성을 최소화하도록 회피기동 경로를 생성하여 자율주행이 이루어지도록 할 수 있어, 사물과의 충돌없이 자연스러운 주행을 할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 지능형 모빌리티를 도시한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 지능형 모빌리티의 세부 구성을 도시한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 지능형 모빌리티의 자율주행을 위한 기능을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 지능형 모빌리티의 자율주행 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 MobileNet CNN을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 mAP & IOU Metric을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 최소 인식조건을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 Categorical Cross Entropy를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 훈련 손실(train loss) 값과 검증 손실(validation loss) 값을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 mAP을 나타낸 그래프이다.
도 11은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 거리에서 검출된 객체를 나타낸 이미지이다.
도 12는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 삼변측량법을 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 거리 및 평균 RSSI를 나타낸 그래프이다.
도 14는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 후보군 선택 방법을 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 pure pursuit control 알고리즘을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 블록(blocked) 및 프리(free) 이미지를 예시적으로 도시한 도면이다.
도 17은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 블록 및 프리 이미지를 추가하는 것을 예시적으로 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 지능형 모빌리티의 자율주행 학습 결과를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 지능형 모빌리티의 블록 계수를 산정하여 회피경로를 설정하는 것을 예시적으로 도시한 도면이다.
도 20은 본 발명의 일 실시예에 따른 지능형 모빌리티의 충돌회피 경로를 설정하는 것을 예시적으로 도시한 도면이다.
이하에서는 본 발명을 구현하기 위한 구체적인 실시예에 대하여 도면을 참조하여 상세히 설명하도록 한다.
아울러 본 발명을 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 어떤 구성요소가 다른 구성요소에 '연결', '지지', '접속', '공급', '전달', '접촉'된다고 언급된 때에는 그 다른 구성요소에 직접적으로 연결, 지지, 접속, 공급, 전달, 접촉될 수도 있지만 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도로 사용된 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다.
또한, 본 명세서에서 상측, 하측, 측면 등의 표현은 도면에 도시를 기준으로 설명한 것이며 해당 대상의 방향이 변경되면 다르게 표현될 수 있음을 미리 밝혀둔다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 지능형 모빌리티를 도시한 개략도이고, 도 2는 본 발명의 일 실시예에 따른 지능형 모빌리티의 세부 구성을 도시한 개략도이다.
도 1 및 도 2를 참조하여, 본 발명의 일 실시예에 따른 지능형 모빌리티(100)에 대해 설명한다. 본 실시예에 따른 지능형 모빌리티(100)는, 베이스(110), 제1 주행바퀴(120), 제2 주행바퀴(130), 보조바퀴(140), 제1 구동부(150), 제2 구동부(160), 구동 기어(170), 제어부(180) 및 배터리(190)를 포함한다.
베이스(110)는, 지능형 모빌리티(100)를 지지하고, 상부에 사용자가 탑승하거나 물건을 실을 수 있도록 소정의 너비를 가질 수 있다. 이러한 베이스(110)는, 도 1에 도시된 바와 같이, 소정의 너비를 가지는 플레이트 형상을 가지며, 보조바퀴(140)가 배치된 위치가 다소 단차지게 형성될 수 있다.
또한, 베이스(110)의 상면에는, 도시되지 않았지만, 각종 모듈이 장착될 수 있도록 장착 모듈 등이 배치될 수 있다. 예컨대, 베이스(110)의 상면에 사용자가 지능형 모빌리티(100)의 제1 주행바퀴(120) 및 제2 주행바퀴(130)의 방향을 조정할 수 있는 손잡이 또는 사용자가 앉을 수 있는 의자를 설치할 수 있다. 또한, 베이스(110)의 상면에 짐을 넣을 수 있는 포트를 설치할 수 있다. 이렇게 베이스(110)에는, 각종 장치를 모듈화하여 설치할 수 있는 장착 모듈이 배치될 수 있다.
따라서 베이스(110)에 어떤 모듈이 설치되느냐에 따라 지능형 모빌리티(100)를 변형할 수 있다. 예컨대, 지능형 모빌리티(100)는, 극소형 자율주행 포트, 근거리 배송용 자율주행 포트, 전동 휠체어 및 레저용 자율주행 포트, 특수 목적을 가지는 지능형 로봇 등으로 활용될 수 있다.
제1 주행바퀴(120) 및 제2 주행바퀴(130)는, 베이스(110)의 양 측면에 각각 배치되고, 제1 구동부(150) 및 제2 구동부(160)의 구동에 의해 구동되어 회전될 수 있다. 또한, 제1 주행바퀴(120) 및 제2 주행바퀴(130)는, 제1 구동부(150) 및 제2 구동부(160)의 각 구동 속도에 의해 회전되어 지능형 모빌리티(100)의 주행 방향으로 회전될 수 있다. 예컨대, 제1 구동부(150)가 제2 구동부(160) 보다 빠르게 구동되면, 제1 주행바퀴(120)가 제2 주행바퀴(130)보다 빠르게 회전되어 지능형 모빌리티(100)는 우측 방향으로 회전되어 주행될 수 있다.
보조바퀴(140)는 제1 주행바퀴(120) 및 제2 주행바퀴(130)가 베이스(110)의 길이 방향 일 측에 배치되는 경우, 베이스(110)의 길이 방향 타 측에 배치된다. 이러한 보조바퀴(140)는, 도시된 바와 같이, 하나가 설치될 수 있지만, 이에 한정되는 것은 아니며, 두 개가 설치될 수 있다.
제1 구동부(150) 및 제2 구동부(160)는 각각 제1 주행바퀴(120) 및 제2 주행바퀴(130) 내에 설치될 수 있다. 제1 구동부(150) 및 제2 구동부(160)는 제어부(180)에 의해 제어되어 구동될 수 있으며, 각각 모터를 포함할 수 있다. 따라서 제1 구동부(150) 및 제2 구동부(160)는 각각 제어부(180)에 의해 구동 속도가 제어될 수 있다. 본 실시예에서, 제1 구동부(150) 및 제2 구동부(160)가 각각 제1 주행바퀴(120) 및 제2 주행바퀴(130)에 설치되는 것으로 도시하였지만, 필요에 따라 제1 구동부(150) 및 제2 구동부(160)는 베이스(110)에 설치될 수 있으며, 제1 구동부(150)는 제1 주행바퀴(120)의 구동축에 연결되고, 제2 구동부(160)는 제2 주행바퀴(130)의 구동축에 연결될 수 있다.
제1 구동부(150) 및 제2 구동부(160)는 각각 모터 및 모터의 구동을 위한 인쇄회로기판을 포함할 수 있다.
여기서, 제1 구동부(150) 및 제2 구동부(160)는 제어부(180)에 의해 각각 구동 속도가 제어될 수 있다. 예컨대, 도 2를 기준으로 설명하면, 제1 구동부(150)가 제2 구동부(160)보다 상대적으로 빠르게 구동되면, 제1 주행바퀴(120)가 제2 주행바퀴(130)보다 빠르게 회전되어 지능형 모빌리티(100)는 우측 방향으로 회전되어 주행될 수 있다. 그리고 제1 구동부(150)가 제2 구동부(160)보다 상대적으로 느리게 구동되면, 제1 주행바퀴(120)가 제2 주행바퀴(130)보다 느리게 회전되어 지능형 모빌리티(100)는 좌측 방향으로 회전되어 주행될 수 있다.
구동 기어(170)는, 제1 구동부(150) 및 제2 구동부(160)와 연결되며, 제1 구동부(150) 및 제2 구동부(160)를 제어 드라이브(185)에 의한 구동력을 제1 구동부(150) 및 제2 구동부(160)에 전달할 수 있다.
구동 기어(170)는, 제1 구동부(150) 및 제2 구동부(160)와 각각 연결될 수 있으며, 그에 따라 제1 구동부(150) 및 제2 구동부(160)에 구동력을 각각 전달할 수 있다.
제어부(180)는, 제1 구동부(150) 및 제2 구동부(160)의 구동을 제어한다. 이러한 제어부(180)는 사용자의 조작에 의해 수신된 신호를 기초로 하여 제1 구동부(150) 및 제2 구동부(160)의 구동 속도를 제어할 수 있다. 또한, 제어부(180)는, 자율주행 모듈(183)에서 설정되는 자율주행 설정으로 연산된 결과를 기초로 하여 제1 구동부(150) 및 제2 구동부(160)의 구동 속도를 제어할 수 있다.
그리고 제어부(180)는, 자율주행 설정으로 연산된 결과를 기초로 하여 지능형 모빌리티(100)의 방향을 제어할 수 있다.
필요에 따라, 별도의 조향장치가 구비되어 사용자가 조향 손잡이로 지능형 모빌리티(100)의 조향장치를 조작하는 동안 진행하는 전방에 충돌할 수 있는 장애물이 있는 것으로 자율주행 설정으로 연산된 결과가 나오는 경우, 제어부(180)는, 제1 구동부(150) 및 제2 구동부(160)의 구동 속도를 조절하거나 조향장치(170)의 조향을 제어할 수 있다. 또한, 제어부(180)는, 제1 주행바퀴(120), 제2 주행바퀴(130) 및 보조바퀴(140) 중 어느 하나 이상에 설치된 브레이크를 작동시킬 수 있다.
이러한 제어부(180)는, 도 3에 도시된 바와 같이, 영상 카메라(181), 제1 안테나(181a), 제2 안테나(181b), 자율주행 모듈(183) 및 제어 드라이브(185)를 포함한다.
영상 카메라(181)는 제어부(180)에 설치될 수 있고, 지능형 모빌리티(100)의 진행방향에 대한 영상을 촬영할 수 있다. 이때, 영상 카메라(181)는 제어부(180)의 상면이나 하면에 결합되어 배치될 수 있다.
제1 안테나(181a) 및 제2 안테나(181b)는 베이스(110)에 각각 설치되며, 도 1에 도시된 바와 같이, 베이스(110)의 양 측단에 인접한 위치에 각각 배치될 수 있다. 예커대, 제1 안테나(181a)는 제1 주행바퀴(120)에 인접한 위치에 배치되고, 제2 안테나(181b)는 제2 주행바퀴(130)에 인접한 위치에 배치될 수 있다. 제1 안테나(181a) 및 제2 안테나(181b)는 각각 영상 카메라(181)에서 측정된 정보와 함께 삼각변위 측정을 위한 블루투스 비콘 안테나일 수 있다.
자율주행 모듈(183)은, 영상 카메라(181)에서 촬영된 영상을 기반으로 지능형 모빌리티(100)가 진행하는 방향에 충돌할 수 있는 장애물의 유무를 판단한다. 예컨대, 자율주행 모듈(183)은, 영상 카메라(181)에서 촬영된 영상 및 제1 안테나(181a) 및 제2 안테나(181b)에서 측정된 정보를 기초로 하여 진행 방향에 충돌 가능성이 있는 객체가 있으면 해당 객체를 Blocked로 설정하고, 반대 상황이면 Free로 설정하여 딥러닝을 통해 학습하여 지능형 모빌리티(100)의 진행 경로를 설정할 수 있다. 따라서 자율주행 모듈(183)는 이렇게 지능형 모빌리티(100)의 설정된 진행 경로를 따라 회피기동 경로를 생성하여 지능형 모빌리티(100)가 이동하는 것을 제어할 수 있다. 이러한 자율주행 모듈(183)에 대한 상세한 설명은 후술한다.
제어 드라이브(185)는, 제1 구동부(150), 제2 구동부(160)및 브레이크를 제어한다. 제어부(185)는 사용자의 조작에 의해 발생된 신호를 이용하여 제1 구동부(150), 제2 구동부(160) 및 브레이크를 제어하며, 또한, 자율주행 모듈(183)에서 전송된 신호에 의해 제1 구동부(150), 제2 구동부(160) 및 브레이크를 제어할 수 있다.
배터리(190)는 베이스(110)의 하면에 장착될 수 있으며, 제어부(180), 제1 구동부(150) 및 제2 구동부(160)에 전원을 공급할 수 있다. 이러한 배터리(190)는, 외부의 상용전원 등과 전기적으로 연결되어 충전될 수 있다.
도 4는 본 발명의 일 실시예에 따른 지능형 모빌리티의 자율주행 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 MobileNet CNN을 도시한 도면이다. 도 6은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 mAP & IOU Metric을 도시한 도면이다. 도 7은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 최소 인식조건을 나타낸 도면이다. 도 8은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 Categorical Cross Entropy를 나타낸 도면이다. 도 9는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 훈련 손실(train loss) 값과 검증 손실(validation loss) 값을 나타낸 도면이다. 도 10은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 mAP을 나타낸 그래프이다. 도 11은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 거리에서 검출된 객체를 나타낸 이미지이다. 도 12는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 삼변측량법을 도시한 도면이다. 도 13은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 거리 및 평균 RSSI를 나타낸 그래프이다. 도 14는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 후보군 선택 방법을 도시한 도면이다. 도 15는 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 pure pursuit control 알고리즘을 나타낸 도면이다. 도 16은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 블록(blocked) 및 프리(free) 이미지를 예시적으로 도시한 도면이다. 도 17은 본 발명의 일 실시예에 따른 지능형 모빌리티에서 이용되는 블록 및 프리 이미지를 추가하는 것을 예시적으로 나타낸 도면이다. 도 18은 본 발명의 일 실시예에 따른 지능형 모빌리티의 자율주행 학습 결과를 나타낸 도면이다. 도 19는 본 발명의 일 실시예에 따른 지능형 모빌리티의 블록 계수를 산정하여 회피경로를 설정하는 것을 예시적으로 도시한 도면이다. 도 20은 본 발명의 일 실시예에 따른 지능형 모빌리티의 충돌회피 경로를 설정하는 것을 예시적으로 도시한 도면이다.
도 4를 참조하여, 본 발명의 일 실시예에 따른 지능형 모빌리티(100)의 자율주행 방법에 대해 설명한다. 또한 도 5 내지 도 20에 도시된 도면을 참조하여 설명한다. 본 실시예에 따른 지능형 모빌리티의 자율 주행 방법은, 자율주행 모듈(183)이 영상 카메라(181), 제1 안테나(181a) 및 제2 안테나(181b)를 통해 수집된 정보를 기반으로 지능형 모빌리티(100)를 제어하는 방법이다.
본 실시예에서, 지능형 모빌리티(100)는 자율주행으로 주행할 수 있으며, 이렇게 자율주행을 이해 딥러닝 모델을 이용하여 자율주행이 수행될 수 있다. 이때, 자율주행을 위한 연산은 지능형 모빌리티(100)의 자율주행 모듈(183)에서 수행될 수 있다.
자율주행을 위해 카메라부(181)에서 촬영된 영상을 이용하여 실시간으로 영상 이미지를 처리할 때, 실시간 영상인식(real time object detection) 모델을 구축한다. 이렇게 실시간 영상인식 모델을 구축할 때, 연산량이 많은 CNN(convolutional neural network)을 이용하는 것이 쉽지 않다. 그에 따라 본 실시예에서, 자율주행 모듈(183)는, 실시간 영상인식 모델을 구축을 위해 도 5에 도시된 바와 같은, 제한된 하드웨어 리소스를 사용하여 빠르게 딥러닝을 수행할 수 있는 MobileNet CNN을 이용할 수 있다.
먼저, 실시간 영상인식 모델을 구축하기 위해 카메라부(181)에서 촬영된 영상을 영상처리한다(S101).
영상처리 결과(Output)는, Output = S * S * (B *5 +C)로 처리될 수 있다. 여기서, S는 전체 이미지를 S * S개로 나누었을 때의 그리드 개수이고, B는 바운딩 박스(bounding box)의 개수이며, C는 검출할 Class의 개수이다. 그리고 5는 각 그리드 셀 안의 x, y, w, h, c 값을 의미하며, x, y는 중심좌표이고, w, h는 바운딩 박스의 너비 및 높이 정보이며, c는 신뢰값(confidence score)로 물체가 있을 확률과 실제로 물체가 현재의 바운딩 박스와 얼마나 겹치는지를 계산한 값이다.
상기와 같이, 영상에 대한 영상처리가 수행되면, 훈련 및 테스트(train & test)를 위한 학습 데이터를 생성한다(S102).
학습 데이터는 지능형 모빌리티(100)가 주로 사용될 환경에 맞춰 구성되며, 영상 인식을 통해 실시간으로 지능형 모빌리티(100)가 충돌할 수 있는 객체를 검출할 수 있도록 구성한다. 예컨대, 표 1에 도시된 바와 같이, 거리(street) 및 마트(mart)에서 영상 내에서 확인하고자 하는 장애물을 사전에 확인하여 학습 데이터를 생성할 수 있다.
Street Mart
Number of Feature 11 12
Main Feature top3 person, car, truck human, cart, box
학습 데이터가 생성되면, 영상처리 모델 예측 성능의 측정 방식을 설정한다(S103).
먼저, 예측 테스트(inference test)를 수행하며, mAP(Mean Average Precision) 값을 산정한다. Precision은 모델의 출력이 얼마나 정확한지를 나타내는 값이며, mAP 값이 클수록 정확하고, 작을수록 부정확함을 나타낸다.
IOU(Intersection Over Union)를 통해 2개 영역 사이의 중첩되는 정도를 측정한다. 이는 물체가 검출된 것이 실제와 예측 결과가 얼마나 정확하게 겹치는 지를 계산하여 예측이 얼마나 잘되는지를 측정한다. 이에 대해 도 6에 도시된다.
그리고 최소 인식조건(IOU Threshold)을 설정한다. 최소 인식 조건의 설정을 위한 예측 박스(Prediction box)의 최소 인식 조건을 설정하는데, 인공지능 모델 구조상 연산량이 많아지면 실행 시간(Execution time)이 길어져 연산 속도가 낮아지며, 실행 시간이 길어지면 연산량이 많아져 서로의 관계를 잘 조절할 필요가 있다. 예컨대, 최소 0.7 최소인식 조건을 유지하며, 최고 실행 시간으로 설정할 수 있다. 이렇게 도 7에 도시된 바와 같이, 최소 인식 조건을 설정한다.
상기와 같이, 영상처리 모델 예측 성능의 측정 방식을 설정이 완료되면, 영상처리 모델의 손실 값을 측정한다(S104).
영상처리 모델의 오차율을 분석하기 위해, 손실은 모델을 훈련시킬 때 손실 함수가 최소가 되도록 가중치를 찾는다. 이러한 손실함수 중 해당 모델을 위해 사용되는 함수는 RMSE(root mean squared error) 및 Categorical Cross Entropy가 있다. 이러한 함수를 통해 도 8에 도시된 바와 같이, Multi-label classification을 해결할 수 있다.
예컨대, 약 1만 4천 번의 학습(epoch)을 진행한 결과, 0.1 미만의 손실 값을 도출하였으며, 도 9에 도시된 바와 같이, 훈련 손실(train loss) 값과 검증 손실(validation loss) 값이 0.01 미만의 오차가 나타나는 것을 확인할 수 있다. 이 결과에 따라 검출 오차가 0.05 미만인 것으로 예상할 수 있다.
그리고 영상처리 모델의 정확도를 측정한다(S105).
실시간 영상처리 모델을 통해 상기에서 언급한 두 개의 지표(mAP, 10U)를 사용하여 도 10에 도시된 바와 같이, 영상처리 모델에 대한 학습 과정을 통해 1만 번의 학습 중 87%의 mAP를 가지는 것을 확인하여, 해당 영상처리 모델의 객체 검출 정확도는 87%인 것으로 확인된다.
상기와 같이, 영상처리 모델을 통해 카메라부(181)에서 촬영된 영상을 처리한 결과, 도 11에 도시된 도면과 같이, car, truck 및 person에 대한 객체를 인식하고, 해당 객체에 대한 높은 정확도가 나타나는 것을 확인할 수 있다.
이렇게 영상처리 모델을 통해 객체를 인식한 것을 바탕으로, 지능형 모빌리티(100)의 진행하는 경로를 추적하기 위해 트래킹(tracking)을 진행한다(S106).
트래킹을 진행하기 위해 도 12에 도시된 바와 같은, 삼변측량법을 사용하며, 삼변측량은, 삼각측량과 마찬가지로 삼각형 기하학을 사용하여 물체의 상대 위치를 구할 수 있는 방법이다. 이러한 삼변측량은, 목표의 위치를 알기 위해 두 개 이상의 기준점과 물체의 각 기준점과의 거리를 이용한다. 이러한 삼변측량은, 삼변측량만으로 2차원 면에서 상대위치를 정확하고 유일하게 결정하기 위해 최소 3개의 기준점을 필요로 한다.
비콘(beacon)에서 거리(D) 측정에 사용되는 지표는 RSSI(received sigmal strength indicator)가 이용된다. 거리(D)는 하기와 같이, 표현될 수 있다.
RSSI = -10n * log * D + TXpower
D = 10^((TXpower-RSSI)/(10&n))
정확한 오차 지표를 위해 ??70dBm(decibel milliwatte) 이상의 RSSI 신호 세기 값이 필요하고, 오차 보정을 위한 (Kalman Filter) 적용을 통해 도 13에 도시된 그래프를 도출할 수 있다. 여기서, -70dBm 이상의 값은 1m 이하의 거리에서 위치 측정이 가능하며, 1m 이하의 거리에서 지능형 모빌리티(100)는 유연한 트래킹을 할 수 있다.
이렇게 경로 추적을 위한 트래킹이 진행되면, 검출된 객체에 대한 회피 알고리즘을 이용하여 회피 경로를 생성한다(S107).
회피 경로는 A* 알고리즘을 이용하여 최적의 회피 경로를 생성하고, 복수 개의 후보군을 생성하여 도 14에 도시된 바와 같이, 생성된 후보군 중 안전한 경로를 선택한다. 회피 경로는, 경로에 대한 후보군을 설정한 상태에서, 장애물이 존재하는 경우, 후보군 경로에서 제외하는 방식으로 진행될 수 있다. 여기서, 복수 개의 후보군 중 최적의 비용으로 지능형 모빌리티(100)를 트래킹할 수 있는 경우, 해당 경로를 최선의 경로로 선정할 수 있다.
시간 복잡성(time complexity)을 고려하여 pure pursuit control 알고리즘을 사용한다. A* 알고리즘의 경우, 모든 후보군에 대한 연산을 수행하기 때문에 오버헤드(overhead)가 발생할 수 있으나, 이를 보정하고 다음 움직임을 고려하여 후보 경로를 줄이기 위해 도 15에 도시된 바와 같은, pure pursuit control 알고리즘을 통해 더욱 최적화되고 안전한 회피 경로를 생성할 수 있다.
상기와 같이, 회피 경로를 생성하면 충돌방지(collision avoidance) 알고리즘을 수행한다(S108).
충돌방지 알고리즘은 데이터를 수집하고, 수집된 데이터를 딥러닝을 통해 학습을 수행한 다음, 실행 및 테스트를 진행한다.
데이터의 수집은, 객체를 블록(blocked) 및 프리(free)로 구분하여 수집될 수 있다. 예컨대, 도 16에 도시된 바와 같이, 블록 이미지와 프리 이미지를 구분하여 수집할 수 있으며, 이러한 블록 이미지 및 프리 이미지는, 사용자에 의해 추가될 수 있다. 이렇게 추가되는 이미지는, 사용자가 블록 이미지와 프리 이미지를 구분하여, 도 17에 도시된 바와 같이, 데이터를 추가할 수 있다.
그리고 수집된 데이터를 딥러닝을 통해 학습을 수행할 수 있으며, 학습은 MobileNet Deep Neural Network 모델을 활용하여 학습이 수행될 수 있다. 이렇게 MobileNet Deep Neural Network 모델을 이용하여 학습이 수행된 결과, 약 90% 이상의 정확도가 나타나는 것으로 도 18을 통해 확인할 수 있다.
상기와 같이 학습된 결과를 바탕으로, 검출된 객체를 대상으로 블록 계수를 판단하고, 블록 계수가 0.1 이상으로 판단되는 경우, pursuit control 알고리즘을 활용하여 회피 경로를 생성하여 지능형 모빌리티(100)가 주행하도록 설정될 수 있다. 도 19에 도시된 그림에서 블록 계수가 0.16으로 판단되어 회피 경로를 통해 지능형 모빌리티(100)가 주행하는 것을 확인할 수 있다. 그리고 지능형 모빌리티(100)는 블록 계수가 0.1 미만으로 떨어질 때까지 회피 경로로 주행될 수 있다.
본 실시예에서, 지능형 모빌리티(100)의 자율주행 모듈(183)는, 상기와 같이, 충돌방지 알고리즘을 약 0.001초 마다 수행하도록 조정할 수 있고, 충돌율이 높아지는 경우, 도 20에 도시된 바와 같이, 기존 경로 주행에서 회피 경로를 설정하여 충돌 확률이 낮고 회전각이 작은 경로를 설정할 수 있다.
여기서, 객체의 트랙킹 플래폼의 경우, 객체를 향해 이동하고자 할 때, 좌표정보 및 이미지 정보를 활용할 수 있다. 즉, 객체의 좌표를 정확하게 추정하기 위해 객체의 RSSI 값 및 GPS정보를 이용하여 정확한 위치를 추정하고, 이를 통해 AI 모델을 사용하여 실시간 객체 트래킹을 할 수 있다.
객체의 정확한 좌표는, 실시간 트래킹이 이루어질 때, 최소 1m 이내의 좌표 오차범위가 필요하고, 오차 범위가 작을수록 유연한 트래킹이 가능하다. 따라서 본 실시예에서, 객체를 검출하고, 회피경로를 설정하는 자율주행 모듈(183)는, 모듈로 제작될 수 있으며, 임베디드 보드 내에 설치될 수 있다.
따라서 자율주행 모듈(183)는, 객체의 GPS정보, RSSI 값을 딥러닝 학습 모델의 입력 값으로 반영하고, 도출되는 지능형 모빌리티(100)와 객체와의 거리를 매순간 예측하여 유연하게 트래킹을 수행할 수 있다. 그에 따라 객체의 좌표를 정확하게 구할 수 있고, 추론 시간이 빠르므로 유연하게 객체 트래킹을 할 수 있고, 또한, 고가의 GPS 장비를 이용하지 않을 수 있다.
또한, 상기와 같이, 자율주행 모듈(183)를 임베디드 보드에 설치함에 따라 메인 보드와 학습 및 인터페이스 엑셀레이터를 제공하는 하드웨어 또는 소프트웨어에 인터페이스를 구축하고, 학습 및 인터페이스 엑셀레이터에 자율주행 모듈(183)가 포함될 수 있다. 따라서 메인보드는 자율주행 모듈(183)에 데이터를 제공할 수 있고, 자율주행 모듈(183)에서 추론된 결과 값이 메인보드로 직접 전송될 수 있다.
객체의 좌표에 대한 정보는 외부에서 메인보드로 전송될 수 있으며, 메인보드에 설치된 블루투스 모듈을 통해 메인보드로 전송될 수 있다. 여기서, RSSI 값은 블루투스 모듈을 통해 메인보드로 전송되고, GPS 값은 메인보드로 직접 전송될 수 있다.
여기서, 자율주행 모듈(183)는 RSSI 값 및 GPS 값을 이용하여, 객체의 2D 좌표에 대한, x 값 및 y 값을 추론할 수 있다. x 값은, 메인보드와 객체 사이의 거리이고, y 값은 메인보드와 객체 사이의 각도이다.
위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이므로, 본 발명이 상기 실시예에만 국한되는 것으로 이해돼서는 안 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어야 할 것이다.
100: 지능형 모빌리티
110: 베이스
120: 제1 주행바퀴
130: 제2 주행바퀴
140: 보조바퀴
150: 제1 구동부
160: 제2 구동부
170: 구동 기어
180: 제어부
181: 영상 카메라
181a: 제1 안테나
181b: 제2 안테나
183: 자율주행 모듈
185: 제어 드라이브
190: 배터리

Claims (6)

  1. 소정의 너비를 갖는 베이스;
    상기 베이스의 양측에 배치된 제1 주행바퀴 및 제2 주행바퀴;
    상기 제1 및 제2 주행바퀴를 각각 구동시키기 위한 각각 모터를 포함하는 제1 구동부 및 제2 구동부;
    상기 제1 구동부 및 제2 구동부의 구동을 제어하는 제어부;
    상기 제1 및 제2 구동부 및 제어 드라이브에 전원을 공급하는 배터리; 및
    상기 베이스에 각종 장치를 모듈화하여 설치할 수 있도록 배치되어 형성되는 장착 모듈;을 포함하고,
    상기 제어부는, 충돌 객체를 검출하여 검출된 충돌 객체를 회피하여 동작할 수 있도록 상기 제1 및 제2 구동부를 제어하며,
    상기 제어부는,
    상기 베이스가 진행하는 방향의 영상을 촬영하는 영상 카메라; 상기 제1 및 제2 구동부를 제어하는 제어 드라이브; 상기 영상 카메라에서 촬영된 영상을 기초로 하여 충돌 객체를 검출하고, 검출된 충돌 객체를 회피하여 주행할 수 있는 회피 경로를 생성하는 자율주행 모듈; 및 상기 영상 카메라와 함께 삼각변위 측정을 위한 제1 안테나 및 제2 안테나;를 포함하며,
    상기 자율주행 모듈은,
    상기 영상 카메라에서 촬영된 영상 및 상기 제1 안테나 및 제2 안테나에서 측정된 삼각변위 정보를 기초로 하여 진행 방향에 충돌 가능성이 있는 객체가 있으면 해당 객체를 Blocked로 설정하고, 반대 상황이면 Free로 설정하여 딥러닝을 통해 학습하여 진행 경로를 설정하며,
    별도의 조향장치를 더 포함하며, 상기 조향장치를 조작하는 동안 진행하는 전방에 충돌할 수 있는 장애물이 있는 것으로 자율주행 설정으로 연산된 결과가 나오는 경우, 상기 제어부는 제1 구동부 및 제2 구동부의 구동 속도를 조절하거나 조향장치의 조향을 제어하며,
    상기 자율주행 모듈은 상기 영상 카메라에서 촬영된 영상을 처리하여 충돌 객체를 검출하기 위해 MobileNet CNN(convolutional neural network) 모델을 이용하며,
    상기 자율주행 모듈은 객체의 GPS정보, RSSI 값을 딥러닝 학습 모델의 입력 값으로 반영하는 것을 특징으로 하는 지능형 모빌리티.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 자율주행모듈은, A* 알고리즘을 기초로, 시간 복잡성(time complexity)을 고려하여 pure pursuit control 알고리즘을 사용하여 회피 경로를 생성하는,
    지능형 모빌리티.
  5. 청구항 1 또는 청구항 4 중 어느 한 항에 따른 지능형 모빌리티의 자율주행 방법으로서,
    지능형 모빌리티가 충돌 객체를 회피하여 주행할 수 있도록 상기 지능형 모빌리티의 주행 방향에 대해 영상 카메라로 촬영된 영상 및 충돌할 수 있는 객체에 대한 학습을 수행한 것을 기초로 하여 지능형 모빌리티의 경로 추적을 위한 트래킹을 진행하는 단계;
    상기 트래킹의 진행을 통해 검출된 상기 객체에 대한 회피 알고리즘을 이용하여 회피 경로를 생성하는 단계; 및
    상기 생성된 회피 경로를 통해 상기 지능형 모빌리티가 상기 검출된 객체와 충돌하지 않고 주행하도록 충돌방지 알고리즘이 수행되는 단계를 포함하고,
    상기 충돌방지 알고리즘은, 상기 검출된 객체를 대상으로 생성된 블록 계수를 이용하여 상기 지능형 모빌리티가 주행할 수 있도록 회피 경로를 설정하는,
    지능형 모빌리티의 자율주행 방법.
  6. 청구항 5에 있어서,
    상기 충돌할 수 있는 객체에 대한 학습은,
    지능형 모빌리티가 충돌 객체를 회피하여 주행할 수 있도록 상기 지능형 모빌리티가 주행하는 방향에 대해 카메라로 촬영된 영상을 처리하는 단계;
    상기 촬영된 영상에 대한 학습 데이터를 생성하는 단계;
    생성된 상기 학습 데이터에 대한 영상처리 모델의 예측 성능을 측정하는 방식을 설정하는 단계; 및
    상기 영상처리 모델의 손실 값 및 정확도를 측정하는 단계를 포함하는,
    지능형 모빌리티의 자율주행 방법.
KR1020210045929A 2021-04-08 2021-04-08 지능형 모빌리티 및 그의 자율주행 방법 KR102387920B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210045929A KR102387920B1 (ko) 2021-04-08 2021-04-08 지능형 모빌리티 및 그의 자율주행 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210045929A KR102387920B1 (ko) 2021-04-08 2021-04-08 지능형 모빌리티 및 그의 자율주행 방법

Publications (1)

Publication Number Publication Date
KR102387920B1 true KR102387920B1 (ko) 2022-04-20

Family

ID=81395530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210045929A KR102387920B1 (ko) 2021-04-08 2021-04-08 지능형 모빌리티 및 그의 자율주행 방법

Country Status (1)

Country Link
KR (1) KR102387920B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017147487A (ja) * 2016-02-15 2017-08-24 マツダ株式会社 レーダ装置を備えた車両
KR20200027871A (ko) * 2018-09-04 2020-03-13 씨드로닉스(주) 장애물 지도를 이용한 경로 생성 방법
KR20200072578A (ko) * 2018-11-29 2020-06-23 배동권 전동 모빌리티
KR20200087690A (ko) * 2017-12-11 2020-07-21 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
KR102181423B1 (ko) 2020-04-16 2020-11-23 (주) 신신사 LiDAR를 이용한 자율주행 AMR 모빌리티
KR20200139056A (ko) * 2019-06-03 2020-12-11 현대자동차주식회사 차량 및 그 제어방법
JP2021039525A (ja) * 2019-09-03 2021-03-11 廣美 畑中 Ａｉ活用のガイロボによる案内や不審者への応対及び対応方法。

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017147487A (ja) * 2016-02-15 2017-08-24 マツダ株式会社 レーダ装置を備えた車両
KR20200087690A (ko) * 2017-12-11 2020-07-21 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
KR20200027871A (ko) * 2018-09-04 2020-03-13 씨드로닉스(주) 장애물 지도를 이용한 경로 생성 방법
KR20200072578A (ko) * 2018-11-29 2020-06-23 배동권 전동 모빌리티
KR20200139056A (ko) * 2019-06-03 2020-12-11 현대자동차주식회사 차량 및 그 제어방법
JP2021039525A (ja) * 2019-09-03 2021-03-11 廣美 畑中 Ａｉ活用のガイロボによる案内や不審者への応対及び対応方法。
KR102181423B1 (ko) 2020-04-16 2020-11-23 (주) 신신사 LiDAR를 이용한 자율주행 AMR 모빌리티

Similar Documents

Publication Publication Date Title
US11112259B2 (en) Localization determination for vehicle operation
US10937178B1 (en) Image-based depth data and bounding boxes
US11748909B2 (en) Image-based depth data and localization
US10984543B1 (en) Image-based depth data and relative depth data
Laugier et al. Probabilistic analysis of dynamic scenes and collision risks assessment to improve driving safety
US9116521B2 (en) Autonomous moving device and control method thereof
Fernandes et al. CaRINA intelligent robotic car: architectural design and applications
Chong et al. Autonomous personal vehicle for the first-and last-mile transportation services
CN112166304A (zh) 传感器数据的误差检测
CN114384920A (zh) 一种基于局部栅格地图实时构建的动态避障方法
US11623494B1 (en) Sensor calibration and verification using induced motion
US20210318122A1 (en) Positioning apparatus capable of measuring position of moving body using image capturing apparatus
US11537140B2 (en) Mobile body, location estimation device, and computer program
US20200073382A1 (en) Autonomous Vehicle Operational Management With Visual Saliency Perception Control
US11874120B2 (en) Shared autonomous vehicle operational management
US11899454B2 (en) Objective-based reasoning in autonomous vehicle decision-making
CN113242998A (zh) 路径决定方法
WO2022016901A1 (zh) 一种规划车辆行驶路线的方法以及智能汽车
CN112611374A (zh) 基于激光雷达和深度相机的路径规划及避障的方法及系统
WO2023173076A1 (en) End-to-end systems and methods for streaming 3d detection and forecasting from lidar point clouds
US20230202470A1 (en) Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario
KR102387920B1 (ko) 지능형 모빌리티 및 그의 자율주행 방법
US11467592B2 (en) Route determination method
Sato et al. Self-driving system for electric wheelchair using smartphone to estimate travelable areas
CN112002032A (zh) 引导车辆驾驶的方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
GRNT Written decision to grant