KR102523056B1 - 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법 - Google Patents

멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법 Download PDF

Info

Publication number
KR102523056B1
KR102523056B1 KR1020210034692A KR20210034692A KR102523056B1 KR 102523056 B1 KR102523056 B1 KR 102523056B1 KR 1020210034692 A KR1020210034692 A KR 1020210034692A KR 20210034692 A KR20210034692 A KR 20210034692A KR 102523056 B1 KR102523056 B1 KR 102523056B1
Authority
KR
South Korea
Prior art keywords
drone
taxi
information
passenger
drone taxi
Prior art date
Application number
KR1020210034692A
Other languages
English (en)
Other versions
KR20220129849A (ko
Inventor
김중헌
윤원준
김재현
정소이
Original Assignee
고려대학교 산학협력단
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단, 아주대학교산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020210034692A priority Critical patent/KR102523056B1/ko
Priority to US17/690,231 priority patent/US20220300870A1/en
Publication of KR20220129849A publication Critical patent/KR20220129849A/ko
Application granted granted Critical
Publication of KR102523056B1 publication Critical patent/KR102523056B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G06Q50/30—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G06Q20/145—Payments according to the detected use or quantity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B64U2101/61—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for transporting passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법에 관한 것으로, 본 발명에 따르면, 멀티에이전트 강화학습을 활용한 드론 택시 시스템에 있어서, 일정 범위 내 존재하는 승객 단말로부터 출발지 정보 및 도착지 정보를 포함하는 호출 정보를 수신받는 다수의 드론 택시 및 각 드론 택시로부터 승객의 호출 정보를 수신받아 승객 유무에 따라 후보 승객을 선택하고, 멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여 상기 드론 택시에 전송하는 제어 서버를 포함하는 드론 택시 시스템을 제공할 수 있다.
또한 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 이용한 드론 택시 운용 방법에 있어서, 드론 택시가 일정 범위 내 존재하는 승객을 검색하여, 승객 단말로부터 출발지 정보 및 도착지 정보를 포함하는 호출 정보를 수신받는 승객검색단계; 제어 서버가 상기 드론 택시로부터 승객의 호출 정보를 수신받아 승객 유무에 따라 후보 승객을 선택하는 승객선택단계 및 상기 제어 서버가 멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여, 상기 드론 택시에 전송하는 경로설정단계를 포함하는 드론 택시 운용 방법을 제공할 수 있다.

Description

멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법{Drone taxi system using multi-agent reinforcement learning and drone taxi operation method using the same}
본 발명은 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법에 관한 것으로, 멀티에이전트 강화학습을 통해 다수의 드론 택시들의 경로를 최적화하여, 드론 택시의 이윤을 최대화할 수 있는 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법에 관한 것이다.
운송(運送)이란 사람이나 물건을 소정의 목적지까지 보내는 것을 말하는 것을 말한다.
현대사회는 인구가 증가함에 따라 사람들의 이동과 물류의 이송이 급격하게 증가하고 있는 추세이며, 이에 따라 다양한 운송서비스들이 등장하고 있다.
이러한 운송서비스는 경로의 관점에서 정해진 구간을 이동하는 구간 운송과, 개별적인 이용자의 요청에 따라 설정된 목적지까지 이동하는 자율 운송으로 구분될 수 있다. 전자의 경우는 대표적으로, 여객기, 여객선, 기차 또는 버스와 같은 운송서비스를 들 수 있으며, 후자의 경우는 택시나 렌탈차량과 같은 경우를 들 수 있다.
한편, 대중적으로 많이 활용되고 있는 자율 운송서비스로서 택시의 경우 이용자의 요청에 의하여 즉답하여 목적지까지 가변적인 경로로 운행이 가능하므로 신속하고 환경에 유연하게 대응할 수 있는 장점을 가진다.
근래에는 이용의 편리성을 위하여 소정의 콜센터를 통하여 탑승자가 택시의 이동을 요청하고 승차하는 방식인 콜택시 서비스 방식이 많이 사용되고 있으며, 최근 급격한 기술개발이 진행되고 있는 드론을 이용한 운송 서비스에 관한 기술개발에 관심이 쏠리고 있는 추세이다.
그러나, 드론을 이용한 운송 기술의 경우, 그의 기술이 아직 발전단계에 있으며, 콜 택시와 같은 시스템을 사용하여 운용하기에는, 공중 운송 수단인 드론과, 지상 운송 수단을 이용하여 수행되는 운송 시스템을 이용하여 수행되는 운송 방법에는 큰 차이점이 존재하여, 적용이 쉽지 않은 문제점이 있었다.
이에 따라, 드론의 특성에 적합하게 설정된 드론 택시 시스템에 있어서, 드론 택시를 이용하는 승객이 쉽게 이용 가능하며, 최적의 경로를 도출하여 승객을 운송할 수 있는 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법에 관한 기술개발이 절실한 실정이다.
종래 기술로 한국등록특허 제10-2032067호(강화학습 기반 무인 항공기 원격 제어 방법 및 장치)가 공개되어 있으나, 단일 에이전트 강화학습을 기반으로 하고 있어 협력적인 행동을 기대하기 어려운 한계가 있다.
상기와 같은 문제를 해결하고자, 본 발명은 멀티에이전트 강화학습을 통해 다수의 드론 택시들의 경로를 최적화하여, 드론 택시의 이윤을 최대화할 수 있는 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법을 제공하는데 목적이 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템은 일정 범위 내 존재하는 승객 단말로부터 출발지 정보 및 도착지 정보를 포함하는 호출 정보를 수신받는 다수의 드론 택시 및 각 드론 택시로부터 승객의 호출 정보를 수신받아 승객 유무에 따라 후보 승객을 선택하고, 멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여 상기 드론 택시에 전송하는 제어 서버를 포함하는 드론 택시 시스템을 제공할 수 있다.
여기서, 상기 제어 서버는 기 드론 택시로부터 승객의 호출 정보를 수신받아, 탑승 승객 유무에 따라 후보 승객을 선택하는 승객선택부 및 멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여 상기 드론 택시에 전송하는 경로최적화부를 포함하고, 상기 드론 상태 정보는 현재 위치 정보, 탑승 승객 정보, 후보 승객 정보 및 빈 좌석 정보 중 하나 이상을 포함하는 것을 특징으로 한다.
또한 상기 승객선택부는 상기 드론 택시에 승객이 없을 경우, 상기 드론 택시의 현재 위치 정보와 해당 드론 택시로부터 수신받은 호출 정보를 통해 거리를 비교하여, 상기 드론 택시의 현재 위치로부터 가장 가깝고 장거리 운행이 가능한 호출 정보를 선정하여 후보 승객을 선택하는 것을 특징으로 한다.
또한 상기 승객선택부는 상기 드론 택시에 승객이 없을 경우, 상기 드론 택시의 현재 위치 정보와 해당 드론 택시로부터 수신받은 호출 정보를 이용하여, 하기 수학식 1을 통해 호출 정보를 선정하여, 후보 승객을 선택하는 것을 특징으로 한다.
[수학식 1]
Figure 112021031419713-pat00001
(여기서,
Figure 112021031419713-pat00002
은 n번째 드론 택시의 현재 위치에서 m번째 승객의 출발지까지의 거리값,
Figure 112021031419713-pat00003
은 m번째 승객의 출발지에서, 도착치까지의 거리값)
또한 상기 승객선택부는 상기 드론 택시에 승객이 있을 경우, 상기 승객이 카풀 가능 승객이면, 상기 드론 택시의 이동 경로 정보에 따른 이동 방향과 수신받은 호출 정보의 출발지와 도착지에 따른 이동 방향에 대한 코사인 유사도를 분석하여, 코사인 유사도가 가장 높은 호출 정보를 후보 승객으로 선택하는 것을 특징으로 한다.
또한 상기 경로최적화부는 다수의 드론 택시의 드론 상태 정보를 이용하여 상기 드론 택시간의 관계를 그래프 구조로 정의하는 그래프정의부; 상기 그래프 구조를 처리하여 관계없는 간선을 제거하고, 가중치를 부여하는 어텐션부 및 처리된 그래프 구조를 기반으로 각 드론 택시의 이동 경로 정보를 생성하고, 상기 드론 택시에 전송하는 경로생성부를 포함할 수 있다.
또한 상기 제어 서버는 상기 드론 택시로부터 도착지 도착 정보가 수신되면, 탑승 승객 정보의 탑승 시간에 따라 요금이 결제되도록 하는 보상부를 더 포함할 수 있다.
또한 상기 보상부는 탑승 승객 정보의 탑승 시간을 상기 드론 택시의 상기 이동 경로 정보와 비교하여 차이에 따라 패널티를 설정하고, 설정된 패널티가 반영된 요금으로 결재가 이루어지도록 하는 것을 특징으로 한다.
또한 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 이용한 드론 택시 운용 방법은 드론 택시가 일정 범위 내 존재하는 승객을 검색하여, 승객 단말로부터 출발지 정보 및 도착지 정보를 포함하는 호출 정보를 수신받는 승객검색단계; 제어 서버가 상기 드론 택시로부터 승객의 호출 정보를 수신받아 승객 유무에 따라 후보 승객을 선택하는 승객선택단계 및 상기 제어 서버가 멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여, 상기 드론 택시에 전송하는 경로설정단계를 포함하는 드론 택시 운용 방법을 제공할 수 있다.
또한 상기 승객선택단계는, 상기 드론 택시에 승객이 없을 경우, 상기 드론 상태 정보와 해당 드론 택시로부터 수신받은 호출 정보를 통해 거리를 비교하여, 상기 드론 택시의 현재 위치로부터 가장 가깝고 장거리 운행이 가능한 호출 정보를 선정하여 후보 승객을 선택하는 것을 특징으로 한다.
또한 상기 승객선택단계는, 상기 드론 택시에 승객이 있을 경우, 상기 승객이 카풀 가능 승객이면, 상기 드론 택시의 이동 경로 정보에 따른 이동 방향과 수신받은 호출 정보의 출발지와 도착지에 따른 이동 방향에 대한 코사인 유사도를 분석하여, 코사인 유사도가 가장 높은 호출 정보를 후보 승객으로 선택하는 것을 특징으로 한다.
상기와 같은 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법은 멀티에이전트 강화학습을 통해 다수의 드론 택시들의 경로를 최적화하여, 드론 택시의 이윤을 최대화할 수 있다.
또한 승객의 이동에 소모되는 시간과 비용을 절약하도록 할 수 있다.
또한 드론 택시가 예상 시간을 초과하였을 경우, 요금을 감액시켜줄 수 있어 승객의 시간적 손실을 보상할 수 있다.
도 1은 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 나타낸 구성도.
도 2는 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템의 제어 서버를 나타낸 블록도.
도 3은 도 2의 경로최적화부의 구조를 나타낸 도면.
도 4는 도 2의 경로최적화부를 통해 생성되는 그래프 구조의 노드(드론 택시)에 매핑되는 상태 매트릭스를 나타낸 예시도.
도 5는 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 이용한 드론 택시 운용 방법을 개략적으로 나타낸 흐름도.
도 6은 도 5의 경로설정단계를 순차적으로 나타낸 흐름도.
도 7의 (a) 및 (b)는 본 발명의 실시예 및 비교예를 통한 드론 택시 경로를 나타낸 그래프.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법을 상세히 살펴보기로 한다.
도 1은 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 나타낸 구성도이고, 도 2는 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템의 제어 서버를 나타낸 블록도이고, 도 3은 도 2의 경로최적화부의 구조를 나타낸 도면이며, 도 4는 도 2의 경로최적화부를 통해 생성되는 그래프 구조의 노드(드론 택시)에 매핑되는 상태 매트릭스를 나타낸 예시도이다.
본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템(이하 '드론 택시 시스템'이라 함)은 멀티에이전트 강화학습 중 그래프 신경망(G2ANet)을 통해 다수의 드론 택시들의 경로를 최적화하고 협력적 행동을 취하도록 하여, 드론 택시의 이윤을 극대화할 수 있도록 한다.
즉, 협력적으로 경로가 최적화됨으로써, 미래 스마트 시티에서 교통 체증을 해결할 수 있으며, 효율적인 운행과 카풀 등의 적용이 가능하여 드론 택시의 수익을 극대화할 수 있다.
도 1을 참조하면, 드론 택시 시스템은 승객 단말(미도시), 드론 택시(1) 및 제어 서버(2)를 포함할 수 있다.
승객 단말은 드론 택시(1)를 이용하고자 하는 사람, 즉 승객이 소지하고 있는 모바일 단말기일 수 있으며, 드론 택시 시스템을 이용할 수 있는 애플리케이션을 포함하여 승객으로부터 호출 정보를 입력 받아 드론 택시(1)로부터 탐지되도록 할 수 있다. 탐지된 승객 단말은 드론 택시(1)에 호출 정보를 전송할 수 있다.
여기서, 호출 정보는 출발지 정보, 도착지 정보 및 카풀 가능 여부를 포함할 수 있으나, 이에 한정되지 않고, 승객 번호 등 다양한 정보들을 더 포함할 수 있다.
상기 애플리케이션은 승객이 본 발명의 드론 택시 시스템을 이용할 수 있도록 하는 것으로, 안드로이드, iOS 기반의 일반 애플리케이션을 의미하나, 단말 또는 유무선 서비스 형태에 따라 웹 서비스 기반의 애플리케이션으로 제공될 수도 있다. 제공 방법으로는 단말을 통해 서버에 접속하여 다운로드 받거나 또는 온라인 어플 마켓(예컨대, 안드로이드 마켓, 애플 스토어, 통신사의 온라인마켓 등)을 통해 다운로드 받아 설치할 수 있다.
또한 승객 단말은 드론 택시(1)로부터 배정 정보를 수신 받을 수 있다. 배정 정보는 배정된 드론 택시의 번호, 현재 위치 정보, 출발지 도착 시간 정보 등을 포함할 수 있으나, 이에 한정되지 않으며, 카풀이 이루어질 경우 경유지 정보 등을 포함할 수도 있다.
드론 택시(1)는 승객을 태울 수 있는 드론을 말하며, PAV(Personal Aerial Vehicle) 또는 eVTOL(electric Vertical TakeOff and Landing)이 적용될 수 있으나, 이에 한정되지 않는다.
이러한 드론 택시(1)는 통신부를 통해 일정 범위 내에 존재하는 승객 단말을 탐지하여, 탐지된 승객 단말로부터 호출 정보를 수신받아 제어 서버(2)로 전송할 수 있다.
또한 드론 택시(1)는 GPS를 포함하여, 실시간으로 현재 위치 정보를 제어 서버(2)로 전송하 수 있다.
또한 드론 택시(1)는 제어 서버(2)로부터 이동 경로 정보를 수신받아, 제어부를 통해 이동 경로 정보에 따라 제어되어 이동할 수 있다.
또한 드론 택시(1)는 제어 서버(2)로부터 이동 경로 정보가 수신되면, 후보 승객으로 선택된 승객 단말로 배정 정보를 전송할 수 있다.
또한 드론 택시(1)는 승객이 탑승함에 따라 탑승 정보(탑승 시간, 탑승 위치 등)를 제어 서버(2)로 전송할 수 있다.
또한 드론 택시(1)는 도착지에 도착함에 따라 도착지 도착 정보를 제어 서버(2)로 전송할 수 있고, 이에 요금에 대한 결제가 진행될 수 있는데, 결제를 수행할 수 있도록 결제 단말을 포함할 수 있다.
제어 서버(2)는 각 드론 택시(1)에 탑승할 승객을 선택하고, 최적의 경로를 설계하여 각 드론 택시(1)의 이동을 제어할 수 있다.
즉, 제어 서버(2)는 각 드론 택시(1)로부터 승객의 호출 정보를 수신받아 탑승 승객 유무에 따라 후보 승객을 선택하고, 멀티에이전트 강화학습을 통해 다수의 드론 택시(1)의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여 드론 택시(1)를 제어할 수 있다.
도 2를 참조하면, 제어 서버(2)는 승객선택부(20), 경로최적화부(21), 관리부(22) 및 보상부(23)를 포함할 수 있다.
승객선택부(20)는 드론 택시(1)로부터 승객의 호출 정보를 수신받아, 승객 유무에 따라 후보 승객을 선택할 수 있다. 여기서 승객은 후보 승객 또는 탑승 승객일 수 있다.
탑승 승객은 드론 택시(1)에 탑승하고 있는 승객을 말할 수 있으며, 이에 대한 판단은 드론 택시의 드론 상태 정보를 이용하여 이루어질 수 있다. 이때 드론 택시(1)가 배정되지 않은 승객 단말의 호출 정보만이 이용될 수 있다.
드론 택시(1)의 드론 상태 정보는 현재 위치 정보, 탑승 승객 정보, 후보 승객 정보 및 빈 좌석 정보 중 하나 이상을 포함할 수 있다.
즉, 승객선택부(20)는 드론 택시(1)에 승객이 없는 경우, 승객이 있으나 빈 좌석이 있는 경우, 빈 좌석이 없는 경우로 3 가지 경우를 고려하여 후보 승객을 선택할 수 있다.
먼저 드론 택시(1)에 승객이 없는 경우, 승객선택부(20)는 드론 택시(1)의 현재 위치 정보와 해당 드론 택시(1)로부터 수신받은 호출 정보를 통해 거리를 비교하여, 드론 택시(1)의 현재 위치로부터 가장 가깝고 장거리 운행이 가능한 호출 정보를 선정하여 후보 승객을 선택할 수 있다.
보다 구체적으로, 승객선택부(20)는 하기 수학식 1을 통해 최대값을 가지는 호출 정보를 선정하여, 후보 승객으로 선택할 수 있다.
[수학식 1]
Figure 112021031419713-pat00004
여기서,
Figure 112021031419713-pat00005
은 n번째 드론 택시의 현재 위치에서 m번째 승객의 출발지까지의 거리값,
Figure 112021031419713-pat00006
은 m번째 승객의 출발지에서, 도착치까지의 거리값이다.
이와 같은 과정으로 드론 택시(1)의 첫번째 승객이 선택될 수 있다.
한편, 드론 택시(1)는 좌석의 개수가 정해져 있어, 탈 수 있는 승객의 수가 제한적일 수 있다.
이에 따라, 승객선택부(20)는 승객이 있으나 빈 좌석이 있는 경우 추가적으로 후보 승객을 선택할 수 있으며, 남은 빈 좌석이 없는 경우 후보 승객을 선택하는 것을 중단할 수 있다.
또한 승객은 드론 택시(1)를 호출할 시 카풀 가능 여부를 선택할 수 있는데, 승객선택부(20)는 첫 번째로 선택된 승객이 카풀 가능 승객일 경우 추가적으로 후보 승객을 선택할 수 있으며, 카풀 불가능 승객일 경우 남은 빈 좌석이 있더라도 후보 승객을 선택하는 것을 중단할 수 있다.
드론 택시(1)에 승객(후보 승객 또는 탑승 승객)이 있으나 빈 좌석이 있고, 승객이 카풀 가능 승객일 경우, 승객선택부(20)는 드론 택시(1)의 이동 경로 정보에 따른 이동 방향과 수신받은 호출 정보의 출발지와 도착지에 따른 이동 방향에 대한 코사인 유사도를 분석하여, 코사인 유사도가 가장 높은 호출 정보를 후보 승객으로 선택할 수 있다.
즉, 현재 드론 택시(1)가 이동하는 방향과 유사 방향의 승객을 후보 승객으로 선택하도록 하여 보다 효율적으로 카풀 운행이 이루어지도록 할 수 있다.
상기 이동 경로 정보에 따른 이동 방향은 승객이 존재함에 따라 경로최적화부(21)에 의해 이동 경로 정보가 설정되어 현재 드론 택시(1)가 이동하는 방향일 수 있다.
승객선택부(20)는 드론 택시(1)에 빈 좌석이 없을 때까지 상기 과정을 반복할 수 있다.
경로최적화부(21)는 멀티에이전트 강화학습 중 그래프 기반 뉴럴네트워크인 G2ANet을 통해 다수의 드론 택시(1)의 드론 상태 정보로부터 각 드론 택시(1)의 이동 경로 정보를 생성하여, 각 드론 택시(1)에 이동 경로 정보를 전송할 수 있다.
도 3을 참조하면, 경로최적화부(21)는 그래프정의부(210), 어텐션부(211) 및 경로생성부(212)를 포함할 수 있다.
그래프정의부(210)는 다수의 드론 택시(1)의 드론 상태 정보를 이용하여 드론 택시(1)간의 관계를 그래프 구조로 정의할 수 있다.
예를 들어, 드론 택시(1)가 4대(h1, h2, h3, h4)가 있다고 가정하면, 도 3과 같이 그래프 구조에서 드론 택시(1)가 노드로 표현될 수 있으며, 드론 택시(1)간의 관계가 간선으로 표현될 수 있다. 즉, 그래프 구조는 드론 택시(1)인 노드와 드론 택시(1)간의 관계를 나타내는 간선의 집합으로 구성될 수 있다.
또한, 그래프정의부(210)는 각 드론 택시(1)에 대해 드론 상태 정보에 따른 상태 매트릭스를 생성할 수 있다. 이러한 상태 매트릭스는 그래프 구조에서 각 드론 택시(노드)에 매핑될 수 있다.
상태 매트릭스는 드론 택시(1)의 드론 상태 정보에 따라 설정되는 변수를 포함하는 행동값이 나열되는 것으로, 이에 대하여 도 4를 참조하여 보다 구체적으로 설명하기로 한다.
행동값의 변수는 방향벡터[POSx, POSy], 거리[d] 및 패널티[p] 중 하나 이상을 포함할 수 있고, 모두 포함하는 것이 바람직하나, 이에 한정되지는 않는다.
도 4를 참조하면, 드론 택시(1)의 좌석 수 4개, 즉 최대 수용 승객 수가 4명이고, 드론 택시(1)는 한 명의 탑승 승객과 두명의 후보 승객을 가지는 것으로 가정하면, 드론 택시(1)가 취할 수 있는 행동값은 4개(C1, C2, C3, C4)로 설정될 수 있다.
이때, 드론 택시(1)의 드론 상태 정보는 2개의 탑승 승객 정보, 1개의 후보 승객 정보 및 빈 좌석 정보(빈 좌석 1)를 포함한다고 가정한다.
이에 따라, 후보 승객 정보에 따른 행동값일 경우, [C1]과 같이 방향벡터[POSx, POSy] 와 거리[d]가 후보 승객 정보의 출발지 정보에 따라 설정될 수 있다. 이때, 후보 승객 정보에 대한 탑승 시간은 '0'으로 설정될 수 있다. 이는 아직 승객이 드론 택시(1)에 탑승하지 않은 상태이기 때문이다.
이에 탑승시간에 대한 변화가 없어 패널티[p] 적용이 이루어지지 않으므로 패널티[p]는'1'로 설정될 수 있다.
또한 탑승 승객 정보에 따른 행동값일 경우, [C2], [C3]와 같이 방향벡터[POSx, POSy] 와 거리[d]가 탑승 승객 정보의 도착지 정보에 따라 설정될 수 있다. 이때, 후보 승객 정보에 대한 탑승 시간은 현재 시간으로 설정될 수 있다. 이는 승객이 탑승한 상태로 시간이 지나고 있는 상태이기 때문에 탑승 승객이 내릴 때까지 현재 시간에 따라 변화되어 패널티[p]가 반영될 수 있다. 패널티[p]를 구하는 방법에 대한 설명은 하기 보상부(23)에서 보다 자세하게 설명하기로 한다.
한편, 탑승 시간에 따라 계산된 패널티[p]가 양수 값을 가질 경우 [C2]와 같이 '1'로 설정될 수 있으며, 음수 값을 가질 경우 [C3]과 같이 '0'으로 설정될 수 있다.
또한 빈 좌석 정보에 따른 행동값일 경우, [C4]과 같이 방향벡터[POSx, POSy] 와 거리[d]가 '0'의 값으로 설정될 수 있다.
이는 후보 승객의 경우 아직 드론 택시(1)에 탑승하지 않은 상태이기 때문에 승객이 위치하고 있는 출발지가 중요하고, 탑승 승객의 경우 이미 드론 택시(1)에 탑승한 상태이기 때문에 승객이 가고자 하는 도착지가 중요하기 때문이다.
어텐션부(211)는 그래프정의부(210)로부터 정의된 그래프 구조를 처리하여 관계없는 간선을 제거하고, 가중치를 부여할 수 있다.
보다 구체적으로, 어텐션부(211)는 하드 어텐션(Hard Attention) 및 소프트 어텐션(Soft Attention)를 포함할 수 있다.
하드 어텐션은 그래프정의부(210)로부터 정의된 그래프 구조를 처리하여 관계없는 드론 택시(1)간의 간섭을 제거할 수 있다. 이에 드론 택시(1)간의 관계가 간소하게 정리될 수 있다.
소프트 어텐션 그래프정의부(210)로부터 정의된 그래프 구조를 처리하여 드론 택시(1)간의 관계도에 따라 가중치(WS)를 부여할 수 있다. 관계도가 높을 수록 드론 택시(1)간의 간선에 높은 가중치(WS)가 부여될 수 있다.
경로생성부(212)는 어텐션부(211)를 통해 처리된 그래프 구조를 기반으로 각 드론 택시의 이동 경로 정보를 생성할 수 있다.
즉, 경로생성부(212)는 하드 어텐션(Hard Attention)와 소프트 어텐션(Soft Attention)으로부터 각각 얻어지는 간섭이 처리된 그래프 구조와 가중치가 부여된 그래프 구조를 결합하여 하나의 그래프 구조를 획득하고, 그래프 구조를 기반으로 각 드론 택시(1)의 상태 매트릭스의 행동값을 이용하여 이동 경로 정보를 설계할 수 있다.
이와 같이 생성된 이동 경로 정보를 각 드론 택시(1)에 전송하여, 이동 경로 정보에 따라 드론 택시(1)의 이동이 제어되도록 할 수 있다.
이러한 경로최적화부(21)는 드론 택시(1)의 드론 상태 정보가 업데이트될 때마다 이동 경로 정보를 생성하는 과정이 진행될 수 있으나, 이에 한정되지는 않는다.
관리부(22)는 드론 택시(1)의 드론 상태 정보를 실시간으로 업데이트하여 관리할 수 있다.
드론 택시(1)의 드론 상태 정보는 현재 위치 정보, 탑승 승객 정보, 후보 승객 정보 및 빈 좌석 정보 중 하나 이상을 포함할 수 있다.
여기서 탑승 승객 정보는 출발지 정보, 도착지 정보 및 탑승 시간을 포함할 수 있으며, 여기서 탑승 시간은 탑승한 후 지난 시간을 의미할 수 있다.
또한 후보 승객 정보는 출발지 정보, 도착지 정보 정보 및 탑승 시간을 포함할 수 있는데, 후보 승객 정보의 탑승 시간은 아직 탑승하지 않았으므로 '0'으로 표현될 수 있다.
또한 관리부(22)는 승객선택부(20)에서 후보 승객이 선택됨에 따라, 드론 택시(1)로부터 현재 위치 정보, 탑승 정보, 도착지 도착 정보 등이 수신됨에 따라 드론 상태 정보를 업데이트 시킬 수 있다.
보상부(23)는 드론 택시(1)로부터 도착지 도착 정보가 수신되면, 탑승 승객 정보의 탑승 시간(승객이 실제 탑승한 시간- 탑승 시작 시간 및 탑승 종료 시간)에 따라 요금이 결제되도록 할 수 있다.
이는 드론 택시(1)가 이동 경로 정보에 따른 최적 이동 시간보다 오래 걸렸을 경우, 승객에게 이에 대한 패널티를 부여함으로써 승객의 시간적 손실을 보상할 수 있도록 하는 것이다.
보다 구체적으로, 보상부(23)는 드론 택시(1)로부터 도착지 도착 정보가 수신되면, 탑승 승객 정보의 탑승 시간과 최적 이동 시간을 비교하여, 그 차이에 따라 패널티를 설정할 수 있다.
이때 보상부(23)는 패널티(p)를 하기 수학식 2를 통해 도출할 수 있다.
[수학식 2]
Figure 112021031419713-pat00007
여기서, p는 패널티이고, topt는 최적 이동 시간이고, tarr은 탑승 종료 시간이고, tdep는 탑승 시작 시간이다. (tarr - tdep)는 승객이 실제 탑승한 시간인 탑승 시간을 나타낸다.
상기와 같은 수학식 2를 통해 최적 이동 시간 대비 실제 탑승한 시간을 비율로 관찰하여 패널티를 부여함으로써, 승객과 드론 택시(1)에 보상을 줄 수 있다.
예를 들어, 탑승 승객 정보의 탑승 시간과 최적 이동 시간을 비교할 시, 최적 이동 시간 보다 탑승 시간이 오래 걸렸을 경우, 보상부(23)를 통해 생성된 패널티(p)는 음수 값을 가질 수 있다. 이러한 패널티를 요금에 반영함으로써, 요금이 감액되도록 할 수 있다.
이를 통해 승객은 시간적 손실을 보상받을 수 있다.
반대로, 탑승 승객 정보의 탑승 시간과 최적 이동 시간을 비교할 시, 최적 이동 시간 보다 탑승 시간이 짧게 걸렸을 경우, 보상부(23)를 통해 생성된 패널티(p)는 양수 값을 가질 수 있다. 이러한 패널티를 요금에 반영하는 것으로, 요금이 증액되도록 할 수 있다.
이에 드론 택시(1)는 승객의 시간적 이득을 확보함에 따라 추가적인 이득을 얻을 수 있다.
이러한 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 이용한 드론 택시 운용 방법에 대하여 하기에서 구체적으로 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 이용한 드론 택시 운용 방법을 개략적으로 나타낸 흐름도이며, 도 6은 도 5의 경로설정단계를 순차적으로 나타낸 흐름도이다.
도 5를 참조하면, 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 이용한 드론 택시 운용 방법은 승객검색단계(S1), 승객선택단계(S2), 경로설정단계(S3) 및 결제단계(S4)를 포함할 수 있다.
먼저, 승객검색단계(S1)는 드론 택시(1)가 일정 범위 내 존재하는 승객을 검색하여, 일정 범위 내 존재하는 승객 단말로부터 출발지 정보 및 도착지 정보를 포함하는 호출 정보를 수신받을 수 있다.
또한 S1 단계는 드론 택시(1)가 수신받은 호출 정보와 현재 위치 정보를 제어 서버(2)로 전송할 수 있다.
승객선택단계(S2)는 제어 서버(2)가 드론 택시(1)로부터 승객의 호출 정보를 수신받아 승객 유무에 따라 후보 승객을 선택할 수 있다.
이러한 S2 단계는 드론 택시(1)에 승객이 없는 경우, 승객이 있으나 빈 좌석이 있는 경우, 빈 좌석이 없는 경우로 3 가지 경우를 고려하여 후보 승객을 선택할 수 있다. 이에 대한 설명은 상기 시스템에서 설명하였으므로, 자세한 설명은 생략하기로 한다.
경로설정단계(S3)는 제어 서버(2)가 멀티에이전트 강화학습을 통해 다수의 드론 택시(1)의 드론 상태 정보로부터 각 드론 택시(1)의 이동 경로 정보를 생성하여, 각각의 드론 택시(1)에 전송할 수 있다.
S3 단계는 그래프정의단계(S30), 그래프처리단계(S31) 및 경로생성단계(S32)를 포함할 수 있다.
그래프정의단계(S30)는 제어 서버(2)가 다수의 드론 택시(1)의 드론 상태 정보를 이용하여 드론 택시(1)간의 관계를 그래프 구조로 정의할 수 있다.
그래프처리단계(S31)는 S30 단계에서 정의된 그래프 구조를 처리하여 관계없는 간선을 제거하고, 가중치를 부여할 수 있다.
경로생성단계(S32)는 S31단계에서 처리된 그래프 구조를 기반으로 각 드론 택시의 이동 경로 정보를 생성할 수 있다.
이에 대한 보다 자세한 설명은 상기 시스템에서 설명하였으므로 생략하기로 한다.
결제단계(S4)는 드론 택시(1)로부터 도착지 도착 정보가 수신되면, 제어 서버(2)가 탑승 승객 정보의 탑승 시간에 따라 요금이 결제되도록 할 수 있다. 자세한 설명은 생략하기로 한다.
상기에서 설명한 바와 같이, 본 발명의 실시예에 따른 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법은 멀티에이전트 강화학습을 통해 다수의 드론 택시들의 경로를 최적화하여, 드론 택시의 이윤을 최대화할 수 있다.
또한 승객의 이동에 소모되는 시간과 비용을 절약하도록 할 수 있다.
또한 드론 택시가 예상 시간을 초과하였을 경우, 요금을 감액시켜줄 수 있어 승객의 시간적 손실을 보상할 수 있다.
이하, 상기에서 설명한 본 발명에 대해 실험예 및 실시예를 들어 더욱 구체적으로 설명하기로 한다. 그러나 본 발명이 반드시 이들 실험예 및 실시예에 한정되는 것은 아니다.
[실험예 1] 드론 택시 경로 비교
본 발명의 실시예에 따른 드론 택시 시스템을 평가하기 위하여, 본 발명의 실시예와 비교예를 적용한 시스템의 드론 택시 경로를 분석하였다.
25km x 25km의 2D 벡터 공간에서 드론 택시 4대를 에이전트로 사용하고, 승객을 20명으로 가정하여 실시하였다. 비교예는 랜덤 액션 알고리즘을 적용한 것이다.
그 결과는 도 7과 같다.
도 7의 (a) 및 (b)는 본 발명의 실시예 및 비교예를 통한 드론 택시 경로를 나타낸 그래프이다.
도 7에 나타난 바와 같이, 본 발명의 실시예가 비교예보다 최적의 경로로 운용되어 보다 넓은 범위로 보다 많은 승객에 대해 서비스를 제공할 수 있는 것을 확인할 수 있었다.
이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
1: 드론 택시
2: 제어 서버
20: 승객선택부
21: 경로최적화부
210: 그래프정의부
211: 어텐션부
212: 경로생성부
22: 관리부
23: 보상부

Claims (10)

  1. 멀티에이전트 강화학습을 활용한 드론 택시 시스템에 있어서,
    일정 범위 내 존재하는 승객 단말로부터 출발지 정보 및 도착지 정보를 포함하는 호출 정보를 수신받는 다수의 드론 택시 및
    각 드론 택시로부터 승객의 호출 정보를 수신받아 승객 유무에 따라 후보 승객을 선택하고, 멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여 상기 드론 택시에 전송하는 제어 서버를 포함하되,
    상기 제어 서버는,
    상기 드론 택시로부터 승객의 호출 정보를 수신받아, 승객 유무에 따라 후보 승객을 선택하는 승객선택부 및
    멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여 상기 드론 택시에 전송하는 경로최적화부를 포함하고,
    상기 드론 상태 정보는,
    현재 위치 정보, 탑승 승객 정보, 후보 승객 정보 및 빈 좌석 정보 중 하나 이상을 포함하고,
    상기 경로최적화부는,
    다수의 드론 택시의 드론 상태 정보를 이용하여 상기 드론 택시간의 관계를 그래프 구조로 정의하는 그래프정의부;
    상기 그래프 구조를 처리하여 관계없는 간선을 제거하고, 가중치를 부여하는 어텐션부 및
    처리된 그래프 구조를 기반으로 각 드론 택시의 이동 경로 정보를 생성하고, 상기 드론 택시에 전송하는 경로생성부를 포함하고,
    상기 그래프 구조는
    각 드론 택시인 노드와 상기 드론 택시 간의 관계를 간선의 집합으로 구성되며,
    상기 그래프 정의부는,
    각 드론택시에 대해 상기 드론 상태 정보에 따른 상태 매트릭스를 생성하고, 상기 상태 매트릭스를 각 드론 택시의 노드에 매핑되며,
    상기 상태 매트릭스는 상기 드론 상태 정보에 따라 설정되는 행동값의 변수가 나열되는 것으로서, 상기 행동값의 변수는 방향벡터[POSx,POSy], 거리[d], 페널티[p] 중 하나 이상을 포함하는 드론 택시 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 승객선택부는,
    상기 드론 택시에 승객이 없을 경우,
    상기 드론 택시의 현재 위치 정보와 해당 드론 택시로부터 수신받은 호출 정보를 통해 거리를 비교하여, 상기 드론 택시의 현재 위치로부터 가장 가깝고 장거리 운행이 가능한 호출 정보를 선정하여 후보 승객을 선택하는 것을 특징으로 하는 드론 택시 시스템.
  4. 제1항에 있어서,
    상기 승객선택부는,
    상기 드론 택시에 승객이 있을 경우, 상기 승객이 카풀 가능 승객이면,
    상기 드론 택시의 이동 경로 정보에 따른 이동 방향과 수신받은 호출 정보의 출발지와 도착지에 따른 이동 방향에 대한 코사인 유사도를 분석하여, 코사인 유사도가 가장 높은 호출 정보를 후보 승객으로 선택하는 것을 특징으로 하는 드론 택시 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 제어 서버는,
    상기 드론 택시로부터 도착 정보가 수신되면, 탑승 승객 정보의 탑승 시간에 따라 요금이 결제되도록 하는 보상부를 더 포함하는 드론 택시 시스템.
  7. 제6항에 있어서,
    상기 보상부는,
    상기 탑승 승객 정보의 탑승 시간을 상기 드론 택시의 상기 이동 경로 정보와 비교하여 차이에 따라 패널티를 설정하고, 설정된 패널티가 반영된 요금으로 결재가 이루어지도록 하는 것을 특징으로 하는 드론 택시 시스템.
  8. 멀티에이전트 강화학습을 활용한 드론 택시 시스템을 이용한 드론 택시 운용 방법에 있어서,
    드론 택시가 일정 범위 내 존재하는 승객을 검색하여, 승객 단말로부터 출발지 정보 및 도착지 정보를 포함하는 호출 정보를 수신받는 승객검색단계;
    제어 서버가 상기 드론 택시로부터 승객의 호출 정보를 수신받아 승객 유무에 따라 후보 승객을 선택하는 승객선택단계 및
    상기 제어 서버가 멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여, 상기 드론 택시에 전송하는 경로설정단계를 포함하되,
    상기 제어 서버는,
    상기 드론 택시로부터 승객의 호출 정보를 수신받아, 승객 유무에 따라 후보 승객을 선택하는 승객선택부 및
    멀티에이전트 강화학습을 통해 다수의 드론 택시의 드론 상태 정보로부터 각 드론 택시의 이동 경로 정보를 생성하여 상기 드론 택시에 전송하는 경로최적화부를 포함하고,
    상기 드론 상태 정보는,
    현재 위치 정보, 탑승 승객 정보, 후보 승객 정보 및 빈 좌석 정보 중 하나 이상을 포함하고,
    상기 경로최적화부는,
    다수의 드론 택시의 드론 상태 정보를 이용하여 상기 드론 택시간의 관계를 그래프 구조로 정의하는 그래프정의부;
    상기 그래프 구조를 처리하여 관계없는 간선을 제거하고, 가중치를 부여하는 어텐션부 및
    처리된 그래프 구조를 기반으로 각 드론 택시의 이동 경로 정보를 생성하고, 상기 드론 택시에 전송하는 경로생성부를 포함하고,
    상기 그래프 구조는
    각 드론 택시인 노드와 상기 드론 택시 간의 관계를 간선의 집합으로 구성되며,
    상기 그래프 정의부는,
    각 드론택시에 대해 상기 드론 상태 정보에 따른 상태 매트릭스를 생성하고, 상기 상태 매트릭스를 각 드론 택시의 노드에 매핑되며,
    상기 상태 매트릭스는 상기 드론 상태 정보에 따라 설정되는 행동값의 변수가 나열되는 것으로서, 상기 행동값의 변수는 방향벡터[POSx,POSy], 거리[d], 페널티[p] 중 하나 이상을 포함하는 드론 택시 운용 방법.
  9. 제8항에 있어서,
    상기 승객선택단계는,
    상기 드론 택시에 승객이 없을 경우,
    상기 드론 상태 정보와 해당 드론 택시로부터 수신받은 호출 정보를 통해 거리를 비교하여, 상기 드론 택시의 현재 위치로부터 가장 가깝고 장거리 운행이 가능한 호출 정보를 선정하여 후보 승객을 선택하는 것을 특징으로 하는 드론 택시 운용 방법.
  10. 제8항에 있어서,
    상기 승객선택단계는,
    상기 드론 택시에 승객이 있을 경우, 상기 승객이 카풀 가능 승객이면,
    상기 드론 택시의 이동 경로 정보에 따른 이동 방향과 수신받은 호출 정보의 출발지와 도착지에 따른 이동 방향에 대한 코사인 유사도를 분석하여, 코사인 유사도가 가장 높은 호출 정보를 후보 승객으로 선택하는 것을 특징으로 하는 드론 택시 운용 방법.
KR1020210034692A 2021-03-17 2021-03-17 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법 KR102523056B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210034692A KR102523056B1 (ko) 2021-03-17 2021-03-17 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법
US17/690,231 US20220300870A1 (en) 2021-03-17 2022-03-09 Drone taxi system based on multi-agent reinforcement learning and drone taxi operation using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210034692A KR102523056B1 (ko) 2021-03-17 2021-03-17 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법

Publications (2)

Publication Number Publication Date
KR20220129849A KR20220129849A (ko) 2022-09-26
KR102523056B1 true KR102523056B1 (ko) 2023-04-17

Family

ID=83283658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210034692A KR102523056B1 (ko) 2021-03-17 2021-03-17 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법

Country Status (2)

Country Link
US (1) US20220300870A1 (ko)
KR (1) KR102523056B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102609314B1 (ko) 2022-10-26 2023-12-05 주식회사 메트로에어 통합 도심항공 시스템과 그 시스템의 운영방법 및 도심 대중교통 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073763A (ja) * 2010-09-28 2012-04-12 Sharp Corp 運行料金計算方法、運行料金計算装置、運行料金計算システム、プログラムおよび記録媒体。
KR101681293B1 (ko) 2016-06-13 2016-12-12 주식회사 더불어 교통수단 동승 서비스 제공 시스템

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697730B2 (en) * 2000-04-04 2004-02-24 Georgia Tech Research Corp. Communications and computing based urban transit system
US20080270019A1 (en) * 2006-12-29 2008-10-30 High Regard Software, Inc. Systems and methods for enhancing private transportation
WO2009029913A2 (en) * 2007-08-31 2009-03-05 Van Buskirk Peter C Selectively negotiated ridershare system comprising riders, drivers, and vehicles
FI20115464A0 (fi) * 2011-05-13 2011-05-13 Raeisaenen Sami Järjestely ja menetelmä yhteiskuljetusta varten
US9679258B2 (en) * 2013-10-08 2017-06-13 Google Inc. Methods and apparatus for reinforcement learning
EP3080774A4 (en) * 2013-12-11 2017-06-07 Uber Technologies Inc. Optimizing selection of drivers for transport requests
WO2016034209A1 (en) * 2014-09-02 2016-03-10 Telecom Italia S.P.A. Method and system for providing a dynamic ride sharing service
US10438137B2 (en) * 2014-10-06 2019-10-08 Massachusetts Institute Of Technology System for real-time optimal matching of ride sharing requests
US9562785B1 (en) * 2015-07-20 2017-02-07 Via Transportation, Inc. Continuously updatable computer-generated routes with continuously configurable virtual bus stops for passenger ride-sharing of a fleet of ride-sharing vehicles and computer transportation systems and computer-implemented methods for use thereof
US11441916B1 (en) * 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US11599833B2 (en) * 2016-08-03 2023-03-07 Ford Global Technologies, Llc Vehicle ride sharing system and method using smart modules
US20180114170A1 (en) * 2016-10-20 2018-04-26 Passur Aerospace, Inc. Managing Transportation Capacity
US10522043B2 (en) * 2017-01-09 2019-12-31 Satori Worldwide, Llc Systems and methods for managing assets in a geographical location
US11507894B2 (en) * 2017-09-08 2022-11-22 Beijing Didi Infinity Technology And Development Co., Ltd. System and method for ride order dispatching
WO2019136341A1 (en) * 2018-01-08 2019-07-11 Via Transportation, Inc. Systems and methods for managing and scheduling ridesharing vehicles
US11474519B2 (en) * 2018-02-26 2022-10-18 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
US11168995B2 (en) * 2018-03-15 2021-11-09 Waymo Llc Managing a fleet of vehicles
US11620592B2 (en) * 2018-04-09 2023-04-04 Via Transportation, Inc. Systems and methods for planning transportation routes
US20190339087A1 (en) * 2018-05-03 2019-11-07 Didi Research America, Llc Deep reinforcement learning for optimizing carpooling policies
CN111033535B (zh) * 2018-06-05 2024-03-26 北京嘀嘀无限科技发展有限公司 用于乘车订单调度的系统和方法
US11455578B2 (en) * 2018-09-04 2022-09-27 Beijing Didi Infinity Technology And Development Co., Ltd. System and method for ride order dispatching and vehicle repositioning
CN111159317B (zh) * 2018-11-07 2022-09-13 北京嘀嘀无限科技发展有限公司 用于确定路径拓扑关系的系统和方法
US11466998B1 (en) * 2019-02-15 2022-10-11 State Farm Mutual Automobile Insurance Company Systems and methods for dynamically generating optimal routes for management of multiple vehicles
US11393341B2 (en) * 2019-02-26 2022-07-19 Beijing Didi Infinity Technology And Development Co., Ltd. Joint order dispatching and fleet management for online ride-sharing platforms
US20200286199A1 (en) * 2019-03-07 2020-09-10 Citrix Systems, Inc. Automatic generation of rides for ridesharing for employees of an organization based on their home and work address, user preferences
US20220036411A1 (en) * 2020-07-31 2022-02-03 Beijing Didi Infinity Technology And Development Co., Ltd. Method and system for joint optimization of pricing and coupons in ride-hailing platforms
US20220260376A1 (en) * 2021-02-17 2022-08-18 Turing Research Inc. System and method for rideshare matching based on locality sensitive hashing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073763A (ja) * 2010-09-28 2012-04-12 Sharp Corp 運行料金計算方法、運行料金計算装置、運行料金計算システム、プログラムおよび記録媒体。
KR101681293B1 (ko) 2016-06-13 2016-12-12 주식회사 더불어 교통수단 동승 서비스 제공 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The Thirty-Fourth AAAI Conference on Artificial Intelligence (AAAI-20). Yong Liu ET AL. Multi-Agent Game Abstraction via Graph Attention Neural Network(2020.04.03). 1부.*
Transportation Research Part E: Logistics and Transportation Review Volume 143. Suchithra Rajendran ET AL. Air Taxi Service for Urban Mobility: A Critical Review of Recent Developments, Future Challenges, and Opportunities(2020.10.05). 1부.*

Also Published As

Publication number Publication date
US20220300870A1 (en) 2022-09-22
KR20220129849A (ko) 2022-09-26

Similar Documents

Publication Publication Date Title
Wallar et al. Vehicle rebalancing for mobility-on-demand systems with ride-sharing
US11288603B2 (en) System for real-time optimal matching of ride sharing requests
JP7166222B2 (ja) 乗客に通勤用車両を割り当てるシステム
Wang et al. Exploring the Performance of Different On‐Demand Transit Services Provided by a Fleet of Shared Automated Vehicles: An Agent‐Based Model
US20190114595A1 (en) Systems and Methods for Joint Control of Multi-Modal Transportation Networks
JP2018163578A (ja) アクティブ迎車システムにおける迎車制御サーバ、車載端末、制御方法及び制御プログラム
JP6931446B2 (ja) プログラム、情報処理方法及び情報処理装置
CN110431574A (zh) 用于基于可共享网络的最佳的车辆车队规模制定、搭乘共享和实时调度的数据驱动系统
US11270232B2 (en) Method for transporting a plurality of objects between object-specific locations
KR20210155209A (ko) 승차 수요 이력 데이터에 대한 클러스터링 기법을 통한 승객 탑승 예상 지역 결정 방법, 이에 사용되는 관리 장치 및 승차 수요 이력 데이터에 대한 클러스터링 기법을 통한 승객 탑승 예상 지역 결정 방법을 실행시키는 프로그램이 기록된 기록 매체
KR20210088957A (ko) 전기차에 충전기를 할당하는 방법 및 장치
Ivaschenko Multi-agent solution for business processes management of 5PL transportation provider
KR102523056B1 (ko) 멀티에이전트 강화학습을 활용한 드론 택시 시스템 및 이를 이용한 드론 택시 운용 방법
KR20230114229A (ko) Drt 요청정보 클러스터링 배차 방법 및 예측 고도화 시스템
KR20210041280A (ko) 사용자의 개인 정보를 보호하기 위한 운송 서비스 제공 방법
Qu et al. Optimizing bus services with variable directional and temporal demand using genetic algorithm
US11733051B2 (en) Communications server apparatus, method and communications system for managing request for transport-related services
Delazeri et al. Fast Heuristics for Traveling Salesman Problems with Multiple Flying Sidekicks
Yuan Split Delivery Application in Vehicle Routing Problem with Drones
JP7488215B2 (ja) 予約受付システムおよび予約受付方法
KR102677869B1 (ko) 개인정보 관리를 통한 선호 산출 시스템 및 방법
JP6977192B1 (ja) 情報処理装置及びプログラム
Perera et al. Genetic Algorithm based EV Scheduling for On-Demand Public Transit System
JP7079368B1 (ja) 情報処理装置及びプログラム
KR102119493B1 (ko) 다인승 교통수단 관제 장치 및 관제 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant