KR102302977B1 - 복수의 무인 이동체 통합 제어 시스템 - Google Patents

복수의 무인 이동체 통합 제어 시스템 Download PDF

Info

Publication number
KR102302977B1
KR102302977B1 KR1020200136676A KR20200136676A KR102302977B1 KR 102302977 B1 KR102302977 B1 KR 102302977B1 KR 1020200136676 A KR1020200136676 A KR 1020200136676A KR 20200136676 A KR20200136676 A KR 20200136676A KR 102302977 B1 KR102302977 B1 KR 102302977B1
Authority
KR
South Korea
Prior art keywords
module
moving object
unmanned moving
obstacle
map
Prior art date
Application number
KR1020200136676A
Other languages
English (en)
Inventor
서경덕
Original Assignee
서경덕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서경덕 filed Critical 서경덕
Priority to KR1020200136676A priority Critical patent/KR102302977B1/ko
Application granted granted Critical
Publication of KR102302977B1 publication Critical patent/KR102302977B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/31—Acquisition or tracking of other signals for positioning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

복수의 무인 이동체 통합 제어 시스템이 개시된다. 지상, 공중 또는 수중에서 자율 주행을 수행하는 무인 이동체; 상기 무인 이동체의 자율 주행에 따른 각 무인 이동체의 실제 이동 경로를 이용하여 자율 주행을 위한 통합 맵을 생성하고, 생성된 통합 맵을 상기 무인 이동체로 각각 실시간 제공하는 통합 제어 서버를 구성한다. 상술한 복수의 무인 이동체 통합 제어 시스템에 의하면, 각 무인 이동체의 위치에 기반한 정보에 의해 맵을 통합 생성하고 실시간으로 갱신하여 자율 주행을 하도록 구성됨으로써, 보다 넓은 영역과 보다 많은 정보에 기반한 맵을 활용할 수 있으며 자율 주행의 효율성을 높일 수 있는 효과가 있다. 클라우드 서버에 의한 통합 맵과 최적 경로 산출에 의해 동일한 커버리지 무인 이동체를 전체적으로 모니터링하고 제어할 수 있기 때문에 전체적인 운행 효율성과 사고 방지 등에 탁월한 효과가 있다.

Description

복수의 무인 이동체 통합 제어 시스템{INTEGRATED CONTROL SYSTEM FOR MULTIPLE UNMANNED VEHICLES}
본 발명은 통합 제어 시스템에 관한 것으로서, 구체적으로는 복수의 무인 이동체 통합 제어 시스템에 관한 것이다.
드론이나 자율주행 차량과 같은 무인 이동체는 각종 센서를 이용하여 직접 맵을 생성하고 이를 기반으로 자율 주행을 수행한다.
그런데, 이러한 경우 무인 이동체 자체의 연산 부하가 증가하고 적절한 경로 산출에 애를 먹는 경우가 많다.
물론 무인 이동체의 단가가 상승하고, 센싱할 수 있는 데이터에 한계가 있어서 보다 많은 정보를 활용한 경로 산출이나 자율 주행에도 불리한 점이 많다.
특히, 드론이나 무인 차량, 무인 잠수정, 서비스 로봇 등의 무인 이동체의 수가 많아짐에 따라 이들의 원활한 자율 주행을 지원하고 사고를 방지할 필요성이 점점 대두되고 있다.
아울러 무인 이동체 간의 협업과 자율 주행을 할 수 있는 수단이 요구되며, 이러한 기능을 수행하기 위한 보다 최적화된 방안이 요구되고 있는 실정이다.
공개특허공보 10-2020-0071792 공개특허공보 10-2020-0039853
본 발명의 목적은 복수의 무인 이동체 통합 제어 시스템을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 복수의 무인 이동체 통합 제어 시스템은, 지상, 공중 또는 수중에서 자율 주행을 수행하는 무인 이동체; 상기 무인 이동체의 자율 주행에 따른 각 무인 이동체의 실제 이동 경로를 이용하여 자율 주행을 위한 통합 맵을 생성하고, 생성된 통합 맵을 상기 무인 이동체로 각각 실시간 제공하는 통합 제어 서버를 포함하도록 구성될 수 있다.
여기서, 상기 무인 이동체는, GPS 신호를 수신하는 GPS 모듈; 와이파이 신호를 수신하는 와이파이 모듈; 상기 무인 이동체의 가속도 정보를 획득하는 가속도 센서 모듈; 상기 GPS 모듈에서 수신된 GPS 신호, 상기 와이파이 모듈에서 수신된 와이파이 신호 및 상기 가속도 센서 모듈에 의해 획득된 가속도 정보를 이용하여 상기 무인 이동체의 실시간 위치 정보를 산출하는 무인 이동체 실시간 위치 정보 산출 모듈; 상기 무인 이동체 실시간 위치 정보 산출 모듈에 의해 산출된 실시간 위치 정보를 실시간 송신하는 무인 이동체 정보 송신 모듈; 상기 무인 이동체의 주변을 촬영하여 영상을 생성하는 카메라 모듈; 상기 무인 이동체의 주변의 물체를 감지하는 라이다(lidar) 모듈; 상기 카메라 모듈에 의해 생성된 영상 및 상기 라이다 모듈에 의해 감지된 물체를 이용하여 장애물을 인식하는 장애물 인식 모듈; 상기 장애물 인식 모듈에 의해 인식된 장애물의 위치를 확인하는 장애물 위치 확인 모듈; 상기 무인 이동체 실시간 위치 정보 산출 모듈에서 산출된 상기 무인 이동체의 실시간 위치 정보와, 상기 실시간 위치 정보를 중심으로 상기 카메라 모듈에 의해 생성된 영상 및 상기 라이다 모듈에 의해 감지된 물체를 이용하여 상기 장애물 인식 모듈이 장애물을 인식하고 상기 장애물 위치 확인 모듈이 장애물 위치를 확인하도록 제어하는 장애물 확인 제어 모듈; 상기 무인 이동체 실시간 위치 정보 산출 모듈에 의해 산출된 실시간 위치 정보 및 상기 장애물 위치 확인 모듈에 의해 확인된 장애물 위치를 이용하여 상기 무인 이동체를 구동 제어하고 자율 주행을 수행하는 무인 이동체 구동 제어 모듈을 포함하도록 구성될 수 있다.
그리고 상기 무인 이동체는, 상기 장애물 인식 모듈에 의해 인식된 장애물 및 상기 장애물 위치 확인 모듈에 의해 확인된 장애물 위치를 이용하여 고정 장애물을 분류하는 고정 장애물 분류 모듈; 상기 고정 장애물 분류 모듈에 의해 분류된 고정 장애물의 장애물 정보를 송신하는 장애물 정보 송신 모듈; 상기 통합 제어 서버로부터 맵을 실시간 수신하는 맵 실시간 수신 모듈; 상기 맵 실시간 수신 모듈에서 실시간 수신된 맵이 갱신 저장되는 맵 저장 모듈을 더 포함하도록 구성될 수 있다.
이때, 상기 무인 이동체 구동 제어 모듈는, 상기 맵 저장 모듈에 갱신 저장된 맵을 이용하여 상기 무인 이동체를 구동하고 자율 주행을 수행하도록 구성될 수 있다.
그리고 상기 무인 이동체 구동 제어 모듈는, 상기 맵 저장 모듈에 갱신 저장된 맵을 이용하여 자율 주행을 수행하되, 상기 장애물 위치 확인 모듈에 의해 확인된 장애물 위치에 따라 실제 경로를 우선적으로 변경할 수 있도록 구성될 수 있다.
그리고 상기 카메라 모듈에 의해 생성된 영상을 실시간 송신하는 영상 실시간 송신 모듈을 더 포함하도록 구성될 수 있다.
한편, 상기 통합 제어 서버는, 상기 무인 이동체의 무인 이동체 정보 송신 모듈로부터 실시간 위치 정보를 수신하는 무인 이동체 정보 수신 모듈; 상기 무인 이동체의 장애물 정보 송신 모듈로부터 고정 장애물의 장애물 정보를 실시간 수신하는 장애물 정보 수신 모듈; 상기 무인 이동체 정보 수신 모듈 및 장애물 정보 수신 모듈에서 실시간 수신되는 실시간 위치 정보 및 장애물 정보를 이용하여 맵을 생성하는 맵 생성 모듈; 상기 맵 생성 모듈에서 생성되는 각 무인 이동체에 대한 맵을 통합하여 연결하는 맵 통합 연결 모듈; 상기 맵 통합 연결 모듈에 의해 통합되어 연결되는 맵이 저장되는 맵 데이터베이스; 상기 무인 이동체의 실시간 위치 정보를 중심으로 상기 맵 데이터베이스에 저장된 맵을 추출하는 무인 이동체 정보 기반 맵 추출 모듈; 상기 무인 이동체 정보 기반 맵 추출 모듈에서 추출된 맵을 해당 무인 이동체로 각각 실시간 송신하는 맵 실시간 송신 모듈; 상기 무인 이동체 정보 기반 맵 추출 모듈에서 추출된 맵을 이용하여 해당 무인 이동체의 목적지까지의 최적 경로를 산출하는 최적 경로 산출 모듈; 상기 무인 이동체의 무인 이동체 구동 제어 모듈가 자율 주행을 할 수 있도록 하기 위해 상기 최적 경로 산출 모듈에서 산출된 최적 경로를 해당 무인 이동체의 무인 이동체 구동 제어 모듈로 실시간 송신하는 최적 경로 송신 모듈을 포함하도록 구성될 수 있다.
그리고 상기 통합 제어 서버는, 상기 무인 이동체의 영상 실시간 송신 모듈로부터 영상을 실시간 수신하는 영상 실시간 수신 모듈; 상기 영상 실시간 수신 모듈에서 실시간 수신된 영상을 이용하여 딥러닝 영상 학습을 수행하는 딥러닝 영상 학습 모듈; 상기 딥러닝 영상 학습 모듈에 의해 수행된 딥러닝 영상 학습 결과에 따라 이상 상황을 확인하는 이상 상황 확인 모듈; 상기 이상 상황 확인 모듈에서 확인된 이상 상황을 상기 최적 경로 산출 모듈의 최적 경로 산출에 실시간 적용시키는 이상 상황 실시간 적용 모듈을 더 포함하도록 구성될 수 있다.
상술한 복수의 무인 이동체 통합 제어 시스템에 의하면, 각 무인 이동체의 위치에 기반한 정보에 의해 맵을 통합 생성하고 실시간으로 갱신하여 자율 주행을 하도록 구성됨으로써, 보다 넓은 영역과 보다 많은 정보에 기반한 맵을 활용할 수 있으며 자율 주행의 효율성을 높일 수 있는 효과가 있다.
클라우드 서버에 의한 통합 맵과 최적 경로 산출에 의해 동일한 커버리지 무인 이동체를 전체적으로 모니터링하고 제어할 수 있기 때문에 전체적인 운행 효율성과 사고 방지 등에 탁월한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 무인 이동체 통합 제어 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 랜드마크 및 각 무인 이동체의 위치 정보를 나타내는 도면의 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 복수의 무인 이동체 통합 제어 시스템의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 복수의 무인 이동체 통합 제어 시스템(100)은 무인 이동체(100), 통합 제어 서버(200)를 포함하도록 구성될 수 있다.
이하, 세부적인 구성에 대하여 설명한다.
무인 이동체(100)는 지상, 공중 또는 수중에서 자율 주행을 수행하도록 구성될 수 있다. 무인 이동체(100)에는 차량, 비행기, 드론, 잠수정, 보트, 서비스 로봇 등 그 제한이 없다.
무인 이동체(100)는 GPS 모듈(101), 와이파이 모듈(102), 가속도 센서 모듈(103), 무인 이동체 실시간 위치 정보 산출 모듈(104), 무인 이동체 정보 송신 모듈(105), 카메라 모듈(106), 라이다 모듈(107), 장애물 인식 모듈(108), 장애물 위치 확인 모듈(109), 장애물 확인 제어 모듈(110), 무인 이동체 구동 제어 모듈(111), 고정 장애물 분류 모듈(112), 장애물 정보 송신 모듈(113), 맵 실시간 수신 모듈(114), 맵 저장 모듈(115), 영상 실시간 송신 모듈(116)을 포함하도록 구성될 수 있다.
이하, 세부적인 구성에 대하여 설명한다.
GPS 모듈(101)은 GPS 신호를 수신하도록 구성될 수 있다.
와이파이 모듈(102)은 와이파이 신호를 수신하도록 구성될 수 있다.
가속도 센서 모듈(103)은 무인 이동체(100)의 가속도 정보를 획득하도록 구성될 수 있다.
무인 이동체 실시간 위치 정보 산출 모듈(104)은 GPS 모듈(101)에서 수신된 GPS 신호, 와이파이 모듈(102)에서 수신된 와이파이 신호 및 가속도 센서 모듈(103)에 의해 획득된 가속도 정보를 이용하여 무인 이동체(100)의 실시간 위치 정보를 산출하도록 구성될 수 있다.
무인 이동체 정보 송신 모듈(105)은 무인 이동체 실시간 위치 정보 산출 모듈(104)에 의해 산출된 실시간 위치 정보를 실시간 송신하도록 구성될 수 있다.
카메라 모듈(106)은 무인 이동체(100)의 주변을 촬영하여 영상을 생성하도록 구성될 수 있다.
라이다 모듈(107)은 무인 이동체(100)의 주변의 물체를 감지하도록 구성될 수 있다.
장애물 인식 모듈(108)은 카메라 모듈(106)에 의해 생성된 영상 및 라이다 모듈(107)에 의해 감지된 물체를 이용하여 장애물을 인식하도록 구성될 수 있다.
장애물 위치 확인 모듈(109)은 장애물 인식 모듈(108)에 의해 인식된 장애물의 위치를 확인하도록 구성될 수 있다.
장애물 확인 제어 모듈(110)은 무인 이동체 실시간 위치 정보 산출 모듈(104)에서 산출된 무인 이동체(100)의 실시간 위치 정보와, 실시간 위치 정보를 중심으로 카메라 모듈(106)에 의해 생성된 영상 및 라이다 모듈(107)에 의해 감지된 물체를 이용하여 장애물 인식 모듈(108)이 장애물을 인식하고 장애물 위치 확인 모듈(109)이 장애물 위치를 확인하도록 제어하도록 구성될 수 있다.
무인 이동체 구동 제어 모듈(111)은 무인 이동체 실시간 위치 정보 산출 모듈(104)에 의해 산출된 실시간 위치 정보 및 장애물 위치 확인 모듈(109)에 의해 확인된 장애물 위치를 이용하여 무인 이동체(100)를 구동 제어하고 자율 주행을 수행하도록 구성될 수 있다.
그리고 무인 이동체 구동 제어 모듈(111)은 맵 저장 모듈(115)에 갱신 저장된 맵을 이용하여 무인 이동체(100)를 구동하고 자율 주행을 수행하도록 구성될 수 있다.
여기서, 무인 이동체 구동 제어 모듈(111)은 맵 저장 모듈(115)에 갱신 저장된 맵을 이용하여 자율 주행을 수행하되, 장애물 위치 확인 모듈(109)에 의해 확인된 장애물 위치에 따라 실제 경로를 우선적으로 변경할 수 있도록 구성될 수 있다.
고정 장애물 분류 모듈(112)은 장애물 인식 모듈(108)에 의해 인식된 장애물 및 장애물 위치 확인 모듈(109)에 의해 확인된 장애물 위치를 이용하여 고정 장애물을 분류하도록 구성될 수 있다.
장애물 정보 송신 모듈(113)은 고정 장애물 분류 모듈(112)에 의해 분류된 고정 장애물의 장애물 정보를 송신하도록 구성될 수 있다.
맵 실시간 수신 모듈(114)은 통합 제어 서버(200)로부터 맵을 실시간 수신하도록 구성될 수 있다.
맵 저장 모듈(115)은 맵 실시간 수신 모듈(114)에서 실시간 수신된 맵이 갱신 저장되도록 구성될 수 있다.
영상 실시간 송신 모듈(116)은 카메라 모듈(106)에 의해 생성된 영상을 실시간 송신하도록 구성될 수 있다.
통합 제어 서버(200)는 무인 이동체(100)의 자율 주행에 따른 각 무인 이동체(100)의 실제 이동 경로를 이용하여 자율 주행을 위한 통합 맵을 생성하고, 생성된 통합 맵을 무인 이동체(100)로 각각 실시간 제공하도록 구성될 수 있다.
통합 제어 서버(200)는 무인 이동체 정보 수신 모듈(201), 장애물 정보 수신 모듈(202), 맵 생성 모듈(203), 맵 통합 연결 모듈(204), 맵 데이터베이스(205), 무인 이동체 정보 기반 맵 추출 모듈(206), 맵 실시간 송신 모듈(207), 최적 경로 산출 모듈(208), 최적 경로 송신 모듈(209), 영상 실시간 수신 모듈(210), 딥러닝 영상 학습 모듈(211), 이상 상황 확인 모듈(212), 이상 상황 실시간 적용 모듈(213)을 포함하도록 구성될 수 있다.
이하, 세부적인 구성에 대하여 설명한다.
무인 이동체 정보 수신 모듈(201)은 무인 이동체(100)의 무인 이동체 정보 송신 모듈(105)로부터 실시간 위치 정보를 수신하도록 구성될 수 있다.
장애물 정보 수신 모듈(202)은 무인 이동체(100)의 장애물 정보 송신 모듈(113)로부터 고정 장애물의 장애물 정보를 실시간 수신하도록 구성될 수 있다.
맵 생성 모듈(203)은 무인 이동체 정보 수신 모듈(201) 및 장애물 정보 수신 모듈(202)에서 실시간 수신되는 실시간 위치 정보 및 장애물 정보를 이용하여 맵을 생성하도록 구성될 수 있다.
맵 통합 연결 모듈(204)은 맵 생성 모듈(203)에서 생성되는 각 무인 이동체(100)에 대한 맵을 통합하여 연결하도록 구성될 수 있다.
맵 데이터베이스(205)는 맵 통합 연결 모듈(204)에 의해 통합되어 연결되는 맵이 저장되도록 구성될 수 있다.
무인 이동체 정보 기반 맵 추출 모듈(206)은 무인 이동체(100)의 실시간 위치 정보를 중심으로 맵 데이터베이스(205)에 저장된 맵을 추출하도록 구성될 수 있다.
맵 실시간 송신 모듈(207)은 무인 이동체 정보 기반 맵 추출 모듈(206)에서 추출된 맵을 해당 무인 이동체(100)로 각각 실시간 송신하도록 구성될 수 있다.
최적 경로 산출 모듈(208)은 무인 이동체 정보 기반 맵 추출 모듈(206)에서 추출된 맵을 이용하여 해당 무인 이동체(100)의 목적지까지의 최적 경로를 산출하도록 구성될 수 있다.
도 2는 랜드마크와 무인 이동체(100)의 실제 이동 경로를 표시하고 있다. 여기서, 최적 경로 산출 모듈(208)은 무인 이동체(100)의 실제 이동 경로와 그 속도를 분석하여 실제 이동 경로 중 효율이 높은 이동 경로들을 최적 경로에 반영하도록 구성될 수 있다. 즉, 각종 입력값을 알고리즘에 적용하여 최적 경로를 산출할 수 있지만, 실제 이동 경로의 효율성과 시간 등을 피드백하여 최적 경로 산출에 반영할 수 있다.
최적 경로 송신 모듈(209)은 무인 이동체(100)의 무인 이동체 구동 제어 모듈(111)가 자율 주행을 할 수 있도록 하기 위해 최적 경로 산출 모듈(208)에서 산출된 최적 경로를 해당 무인 이동체의 무인 이동체 구동 제어 모듈(111)로 실시간 송신하도록 구성될 수 있다.
이때, 무인 이동체 구동 제어 모듈(111)은 최적 경로를 수신한 경우에는 최적 경로를 최우선적으로 적용하여 자율 주행을 수행할 수 있으며, 최적 경로를 수신하지 못하는 경우에는 맵에 기반하여 자율 주행을 수행할 수 있다. 그리고 최적 경로나 맵에 기반하여 자율 주행을 하더라도 장애물을 인식한 경우에는 장애물을 피하여 경로를 실시간으로 변경할 수 있다.
영상 실시간 수신 모듈(210)은 무인 이동체(100)의 영상 실시간 송신 모듈(116)로부터 영상을 실시간 수신하도록 구성될 수 있다.
딥러닝 영상 학습 모듈(211)은 영상 실시간 수신 모듈(210)에서 실시간 수신된 영상을 이용하여 딥러닝 영상 학습을 수행하도록 구성될 수 있다.
이상 상황 확인 모듈(212)은 딥러닝 영상 학습 모듈(211)에 의해 수행된 딥러닝 영상 학습 결과에 따라 이상 상황을 확인하도록 구성될 수 있다.
여기서, 이상 상황이란 교통 사고, 화재, 교통 적체, 공사 상황, 태풍이나 번개와 같은 이상 기상 상황 등이 있을 수 있다. 이상 상황은 미리 지정되어 있지 않고 여러 무인 이동체(100)의 영상을 취합하여 딥러닝에 의한 이상 상황을 판단할 수 있다.
이상 상황 실시간 적용 모듈(213)은 이상 상황 확인 모듈(212)에서 확인된 이상 상황을 최적 경로 산출 모듈(208)의 최적 경로 산출에 실시간 적용시키도록 구성될 수 있다.
여기서, 무인 이동체(100)가 차량인지 드론인지 아니면 특정 주행 성능을 갖는 운반체인지에 따라 이상 상황은 다르게 적용될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 무인 이동체 101: GPS 모듈
102: 와이파이 모듈 103: 가속도 센서 모듈
104: 무인 이동체 실시간 위치 정보 산출 모듈
105: 무인 이동체 정보 송신 모듈
106: 카메라 모듈 107: 라이다 모듈
108: 장애물 인식 모듈 109: 장애물 위치 확인 모듈
110: 장애물 확인 제어 모듈
111: 무인 이동체 구동 제어 모듈
112: 고정 장애물 분류 모듈
113: 장애물 정보 송신 모듈
114: 맵 실시간 수신 모듈 115: 맵 저장 모듈
116: 영상 실시간 송신 모듈
200: 통합 제어 서버 201: 무인 이동체 정보 수신 모듈
202: 장애물 정보 수신 모듈
203: 맵 생성 모듈 204: 맵 통합 연결 모듈
205: 맵 데이터베이스 206: 무인 이동체 정보 기반 맵 추출 모듈
207: 맵 실시간 송신 모듈 208: 최적 경로 산출 모듈
209: 최적 경로 송신 모듈 210: 영상 실시간 수신 모듈
211: 딥러닝 영상 학습 모듈
212: 이상 상황 확인 모듈
213: 이상 상황 실시간 적용 모듈

Claims (8)

  1. 지상, 공중 또는 수중에서 자율 주행을 수행하는 무인 이동체(100);
    상기 무인 이동체(100)의 자율 주행에 따른 각 무인 이동체(100)의 실제 이동 경로를 이용하여 자율 주행을 위한 통합 맵을 생성하고, 생성된 통합 맵을 상기 무인 이동체(100)로 각각 실시간 제공하는 통합 제어 서버(200)를 포함하고,
    상기 무인 이동체(100)는,
    GPS 신호를 수신하는 GPS 모듈(101),
    와이파이 신호를 수신하는 와이파이 모듈(102),
    상기 무인 이동체(100)의 가속도 정보를 획득하는 가속도 센서 모듈(103),
    상기 GPS 모듈(101)에서 수신된 GPS 신호 상기 와이파이 모듈(102)에서 수신된 와이파이 신호 및 상기 가속도 센서 모듈(103)에 의해 획득된 가속도 정보를 이용하여 상기 무인 이동체(100)의 실시간 위치 정보를 산출하는 무인 이동체 실시간 위치 정보 산출 모듈(104),
    상기 무인 이동체 실시간 위치 정보 산출 모듈(104)에 의해 산출된 실시간 위치 정보를 실시간 송신하는 무인 이동체 정보 송신 모듈(105),
    상기 무인 이동체(100)의 주변을 촬영하여 영상을 생성하는 카메라 모듈(106),
    상기 무인 이동체(100)의 주변의 물체를 감지하는 라이다(lidar) 모듈(107),
    상기 카메라 모듈(106)에 의해 생성된 영상 및 상기 라이다 모듈(107)에 의해 감지된 물체를 이용하여 장애물을 인식하는 장애물 인식 모듈(108),
    상기 장애물 인식 모듈(108)에 의해 인식된 장애물의 위치를 확인하는 장애물 위치 확인 모듈(109),
    상기 무인 이동체 실시간 위치 정보 산출 모듈(104)에서 산출된 상기 무인 이동체(100)의 실시간 위치 정보와 상기 실시간 위치 정보를 중심으로 상기 카메라 모듈(106)에 의해 생성된 영상 및 상기 라이다 모듈(107)에 의해 감지된 물체를 이용하여 상기 장애물 인식 모듈(108)이 장애물을 인식하고 상기 장애물 위치 확인 모듈(109)이 장애물 위치를 확인하도록 제어하는 장애물 확인 제어 모듈(110),
    상기 무인 이동체 실시간 위치 정보 산출 모듈(104)에 의해 산출된 실시간 위치 정보 및 상기 장애물 위치 확인 모듈(109)에 의해 확인된 장애물 위치를 이용하여 상기 무인 이동체(100)를 구동 제어하고 자율 주행을 수행하는 무인 이동체 구동 제어 모듈(111)을 포함하며,
    상기 통합 제어 서버(200)는,
    상기 무인 이동체(100)의 무인 이동체 정보 송신 모듈(105)로부터 실시간 위치 정보를 수신하는 무인 이동체 정보 수신 모듈(201),
    상기 무인 이동체(100)의 장애물 정보 송신 모듈(113)로부터 고정 장애물의 장애물 정보를 실시간 수신하는 장애물 정보 수신 모듈(202),
    상기 무인 이동체 정보 수신 모듈(201) 및 장애물 정보 수신 모듈(202)에서 실시간 수신되는 실시간 위치 정보 및 장애물 정보를 이용하여 맵을 생성하는 맵 생성 모듈(203),
    상기 맵 생성 모듈(203)에서 생성되는 각 무인 이동체(100)에 대한 맵을 통합하여 연결하는 맵 통합 연결 모듈(204),
    상기 맵 통합 연결 모듈(204)에 의해 통합되어 연결되는 맵이 저장되는 맵 데이터베이스(205),
    상기 무인 이동체(100)의 실시간 위치 정보를 중심으로 상기 맵 데이터베이스(205)에 저장된 맵을 추출하는 무인 이동체 정보 기반 맵 추출 모듈(206),
    상기 무인 이동체 정보 기반 맵 추출 모듈(206)에서 추출된 맵을 해당 무인 이동체(100)로 각각 실시간 송신하는 맵 실시간 송신 모듈(207),
    상기 무인 이동체 정보 기반 맵 추출 모듈(206)에서 추출된 맵을 이용하여 해당 무인 이동체(100)의 목적지까지의 최적 경로를 산출하는 최적 경로 산출 모듈(208),
    상기 무인 이동체(100)의 무인 이동체 구동 제어 모듈(111)가 자율 주행을 할 수 있도록 하기 위해 상기 최적 경로 산출 모듈(208)에서 산출된 최적 경로를 해당 무인 이동체의 무인 이동체 구동 제어 모듈(111)로 실시간 송신하는 최적 경로 송신 모듈(209)을 포함하도록 구성되는 것을 특징으로 하는 복수의 무인 이동체 통합 제어 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 무인 이동체(100)는,
    장애물 인식 모듈(108)에 의해 인식된 장애물 및 장애물 위치 확인 모듈(109)에 의해 확인된 장애물 위치를 이용하여 고정 장애물을 분류하는 고정 장애물 분류 모듈(112);
    상기 고정 장애물 분류 모듈(112)에 의해 분류된 고정 장애물의 장애물 정보를 송신하는 장애물 정보 송신 모듈(113);
    상기 통합 제어 서버(200)로부터 맵을 실시간 수신하는 맵 실시간 수신 모듈(114);
    상기 맵 실시간 수신 모듈(114)에서 실시간 수신된 맵이 갱신 저장되는 맵 저장 모듈(115)을 더 포함하도록 구성되는 것을 특징으로 하는 복수의 무인 이동체 통합 제어 시스템.
  4. 제1항에 있어서, 상기 무인 이동체 구동 제어 모듈(111)은,
    맵 저장 모듈(115)에 갱신 저장된 맵을 이용하여 상기 무인 이동체(100)를 구동하고 자율 주행을 수행하도록 구성되는 것을 특징으로 하는 복수의 무인 이동체 통합 제어 시스템.
  5. 제4항에 있어서, 상기 무인 이동체 구동 제어 모듈(111)은,
    상기 맵 저장 모듈(115)에 갱신 저장된 맵을 이용하여 자율 주행을 수행하되, 상기 장애물 위치 확인 모듈(109)에 의해 확인된 장애물 위치에 따라 실제 경로를 우선적으로 변경할 수 있도록 구성되는 것을 특징으로 하는 복수의 무인 이동체 통합 제어 시스템.
  6. 제1항에 있어서,
    상기 카메라 모듈(106)에 의해 생성된 영상을 실시간 송신하는 영상 실시간 송신 모듈(116)을 더 포함하도록 구성되는 것을 특징으로 하는 복수의 무인 이동체 통합 제어 시스템.
  7. 삭제
  8. 삭제
KR1020200136676A 2020-10-21 2020-10-21 복수의 무인 이동체 통합 제어 시스템 KR102302977B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200136676A KR102302977B1 (ko) 2020-10-21 2020-10-21 복수의 무인 이동체 통합 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200136676A KR102302977B1 (ko) 2020-10-21 2020-10-21 복수의 무인 이동체 통합 제어 시스템

Publications (1)

Publication Number Publication Date
KR102302977B1 true KR102302977B1 (ko) 2021-09-16

Family

ID=77926661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200136676A KR102302977B1 (ko) 2020-10-21 2020-10-21 복수의 무인 이동체 통합 제어 시스템

Country Status (1)

Country Link
KR (1) KR102302977B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102635887B1 (ko) * 2023-04-05 2024-02-13 소니드로보틱스 주식회사 자율 주행 로봇을 이용한 둔치 공원 감시 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128389A (ja) * 2017-02-09 2018-08-16 トヨタ自動車株式会社 画像処理システム及び画像処理方法
JP2019167091A (ja) * 2018-03-10 2019-10-03 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
KR20200034529A (ko) * 2018-09-21 2020-03-31 삼성전자주식회사 전자 장치 및 전자 장치의 차량 제어 방법, 서버 및 서버의 정밀 지도 데이터 제공 방법
KR20200039853A (ko) 2018-09-28 2020-04-17 전자부품연구원 벡터맵과 카메라를 이용한 자율주행 차량이 위치한 차선 추정 방법
KR20200071792A (ko) 2018-11-29 2020-06-22 한국전자통신연구원 로드뷰 또는 항공뷰 맵 정보를 이용한 자율주행 방법 및 그 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128389A (ja) * 2017-02-09 2018-08-16 トヨタ自動車株式会社 画像処理システム及び画像処理方法
JP2019167091A (ja) * 2018-03-10 2019-10-03 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
KR20200034529A (ko) * 2018-09-21 2020-03-31 삼성전자주식회사 전자 장치 및 전자 장치의 차량 제어 방법, 서버 및 서버의 정밀 지도 데이터 제공 방법
KR20200039853A (ko) 2018-09-28 2020-04-17 전자부품연구원 벡터맵과 카메라를 이용한 자율주행 차량이 위치한 차선 추정 방법
KR20200071792A (ko) 2018-11-29 2020-06-22 한국전자통신연구원 로드뷰 또는 항공뷰 맵 정보를 이용한 자율주행 방법 및 그 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102635887B1 (ko) * 2023-04-05 2024-02-13 소니드로보틱스 주식회사 자율 주행 로봇을 이용한 둔치 공원 감시 시스템 및 방법
WO2024210627A1 (ko) * 2023-04-05 2024-10-10 소니드로보틱스 주식회사 자율 주행 로봇을 이용한 둔치 공원 감시 시스템 및 방법

Similar Documents

Publication Publication Date Title
US10962975B2 (en) Multi-perspective system and method for behavioral policy selection by an autonomous agent
US10829154B2 (en) Method and device for operating a vehicle
CN109478068B (zh) 动态地控制运载工具的方法、装置和存储介质
KR101539270B1 (ko) 충돌회피 및 자율주행을 위한 센서융합 기반 하이브리드 반응 경로 계획 방법, 이를 수행하기 위한 기록 매체 및 이동로봇
US20180096541A1 (en) System and Methods for Drone-Based Vehicle Status Determination
US20180259964A1 (en) Autonomous Vehicle Re-Tasking During Performance of a Programmed Task based on Detection of a Task Interruption Scenario
US8380382B2 (en) Unmanned transport apparatus and operating method thereof
US20220207883A1 (en) Information processing apparatus, information processing method, and program
US11822341B2 (en) Control device, control method, and mobile object to estimate the mobile object's self-position
US20220182498A1 (en) System making decision based on data communication
US20180050694A1 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
JP7259274B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111950952A (zh) 用于自动化多模式投递的系统和方法
KR20220031846A (ko) 생산공장 무인이송 시스템 및 그 방법
US20200278208A1 (en) Information processing apparatus, movable apparatus, information processing method, movable-apparatus control method, and programs
US11380103B2 (en) Coverage device, moving body, control device, and moving body distributed control program
US20220214692A1 (en) VIsion-Based Robot Navigation By Coupling Deep Reinforcement Learning And A Path Planning Algorithm
US11499833B2 (en) Inferring lane boundaries via high speed vehicle telemetry
CN111247391A (zh) 信息处理装置、信息处理方法、程序和移动体
JP2020126634A (ja) 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
US20200191975A1 (en) Information processing apparatus, self-position estimation method, and program
CN114489112A (zh) 一种智能车-无人机的协同感知系统及方法
KR102302977B1 (ko) 복수의 무인 이동체 통합 제어 시스템
JP6890612B2 (ja) 特に選択されてバックエンドサーバから伝送されたランドマークを用いて、少なくとも部分自動運転を行う車両の姿勢を特定する方法
US20190370571A1 (en) Method of checking surrounding condition of vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant