KR102572832B1 - 무인 이동체, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법 및 프로그램 - Google Patents
무인 이동체, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법 및 프로그램 Download PDFInfo
- Publication number
- KR102572832B1 KR102572832B1 KR1020220101340A KR20220101340A KR102572832B1 KR 102572832 B1 KR102572832 B1 KR 102572832B1 KR 1020220101340 A KR1020220101340 A KR 1020220101340A KR 20220101340 A KR20220101340 A KR 20220101340A KR 102572832 B1 KR102572832 B1 KR 102572832B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- location
- space
- point
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 8
- 238000003032 molecular docking Methods 0.000 claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1438—Restarting or rejuvenating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
본 개시는 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법에 있어서, 무인 이동체의 비정상적인 재부팅의 발생 여부를 감지하는 단계; 감지된 결과를 기반으로 비정상적인 재부팅이 발생된 경우, 도킹 스테이션의 충전 신호가 수신된 것인지를 판단하는 단계; 충전 신호가 미수신이면, 공간 내 위치를 찾는 키드냅 리커버리(kidnap recovery) 모드를 수행하는 단계; 무인 이동체가 공간 내 위치를 찾도록, 기 설정된 제1 지점에서 제2 지점까지 기 설정된 지그재그 패턴의 주행으로 영상 데이터와 라이다 데이터를 추론 모델을 만들기 위하여 수집하는 단계; 수집된 영상 데이터를 영상 추출 모델에 입력하여 영상 내의 공간 데이터를 추출하는 단계; 및 영상 내의 공간 데이터 및 라이다 데이터를 위치 추적 모델에 입력하여 무인 이동체의 공간 내 예상 위치 데이터를 출력하는 단계; 를 포함할 수 있다.
Description
본 개시는 무인 이동체에 관한 것이다. 보다 상세하게는, 본 개시는 무인 이동체, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법 및 프로그램에 관한 것이다.
4차 산업혁명 시대를 맞이하여 병원, 공항, mall 등 다양한 공간에서 서비스 무인 이동체의 도입이 증가하는 추세이다.
종래, 무인 이동체는 자율 주행으로 이동하다가 전원이 부족하거나, 시스템 오류 등으로 인해 전원을 재부팅하는 경우가 존재한다.
이때, 무인 이동체의 전원이 꺼지고, 다시 무인 이동체의 전원이 켜지면, 무인 이동체는 자신의 공간 내 현재 위치가 어디인지 파악하는데에 어려움이 있었다.
따라서, 최근에는 비정상적인 재부팅이 발생된 경우에도, 자신의 공간 내 현재 위치를 빠르고 정확하게 찾을 수 있는 무인 이동체의 연구가 지속적으로 행해져 오고 있다.
본 개시에 개시된 실시예는, 자신의 공간 내 현재 위치를 빠르고 정확하게 찾을 수 있는 것을 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시의 일 측면에 따른 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법은, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법에 있어서, 상기 무인 이동체의 비정상적인 재부팅의 발생 여부를 감지하는 단계; 상기 감지된 결과를 기반으로 상기 비정상적인 재부팅이 발생된 경우, 도킹 스테이션의 충전 신호가 수신된 것인지를 판단하는 단계; 상기 충전 신호가 미수신이면, 공간 내 위치를 찾는 키드냅 리커버리(kidnap recovery) 모드를 수행하는 단계; 상기 무인 이동체가 상기 공간 내 위치를 찾도록, 기 설정된 제1 지점에서 제2 지점까지 기 설정된 지그재그 패턴의 주행으로 영상 데이터와 라이다 데이터를 추론 모델을 만들기 위하여 수집하는 단계; 상기 수집된 영상 데이터를 영상 추출 모델에 입력하여 영상 내의 공간 데이터를 추출하는 단계; 및 상기 영상 내의 공간 데이터 및 상기 라이다 데이터를 위치 추적 모델에 입력하여 상기 무인 이동체의 공간 내 예상 위치 데이터를 출력하는 단계; 를 포함할 수 있다.
또한, 상기 수집 단계는, 상기 제1 지점 및 상기 제2 지점 내의 복수의 지점마다 360도 회전하여 회전 각도 별 단위 개수의 영상 데이터와 라이다 데이터를 더 수집하는 것을 특징으로 할 수 있다.
또한, 상기 예상 위치 데이터는, 상기 무인 이동체의 위치 좌표, 상기 무인 이동체가 전방과 측방 및 후방 중 적어도 하나를 바라보는 회전각을 포함할 수 있다.
또한, 상기 출력 단계는, 상기 예상 위치 데이터를 군집간 클러스터링(Clustering)하고, 상기 클러스터링된 군집 중 예상 위치 데이터의 개수가 기 설정된 개수보다 많은 군집을 선택하며, 상기 클러스터링된 군집 중 동일한 개수의 군집이 있으면, 분산이 낮은 군집을 선택하는 것을 특징으로 할 수 있다.
또한, 상기 출력 단계는, 상기 예상 위치 데이터가 기 설정된 오차값을 벗어나면, 상기 라이다 데이터를 ICP(Iterative Closet Point) 알고리즘에 입력하여, 보정된 예상 위치 데이터를 더 출력하는 것을 특징으로 할 수 있다.
또한, 본 개시의 다른 측면에 따른 무인 이동체는, 도킹 스테이션과 통신하는 통신부; 및 공간 내 위치를 찾는 동작을 제어하는 프로세서를 포함하고, 상기 프로세서는, 비정상적인 재부팅의 발생 여부를 감지하며, 상기 감지된 결과를 기반으로 상기 비정상적인 재부팅이 발생된 경우, 상기 통신부를 통해 상기 도킹 스테이션의 충전 신호가 수신된 것인지를 판단하고, 상기 충전 신호가 미수신이면, 상기 공간 내 위치를 찾는 키드냅 리커버리(kidnap recovery) 모드를 수행하며, 상기 공간 내 위치를 찾도록, 기 설정된 제1 지점에서 제2 지점까지 기 설정된 지그재그 패턴의 주행으로 영상 데이터와 라이다 데이터를 추론 모델을 만들기 위하여 수집하고, 상기 수집된 영상 데이터를 영상 추출 모델에 입력하여 영상 내의 공간 데이터를 추출하며, 상기 영상 내의 공간 데이터 및 상기 라이다 데이터를 위치 추적 모델에 입력하여 상기 공간 내 예상 위치 데이터를 출력하는 것을 특징으로 할 수 있다.
또한, 상기 프로세서는, 상기 제1 지점 및 상기 제2 지점 내의 복수의 지점마다 360도 회전하여 회전 각도 별 단위 개수의 영상 데이터와 라이다 데이터를 더 수집하는 것을 특징으로 할 수 있다.
또한, 상기 프로세서는, 상기 예상 위치 데이터를 군집간 클러스터링(Clustering)하고, 상기 클러스터링된 군집 중 예상 위치 데이터의 개수가 기 설정된 개수보다 많은 군집을 선택하며, 상기 클러스터링된 군집 중 동일한 개수의 군집이 있으면, 분산이 낮은 군집을 선택하는 것을 특징으로 할 수 있다.
또한, 상기 프로세서는, 상기 예상 위치 데이터가 기 설정된 오차값을 벗어나면, 상기 라이다 데이터를 ICP(Iterative Closet Point) 알고리즘에 입력하여, 보정된 예상 위치 데이터를 더 출력하는 것을 특징으로 할 수 있다.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 자신의 공간 내 현재 위치를 빠르고 정확하게 찾을 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 따른 무인 이동체의 구성을 나타낸 도면이다.
도 2는 도 1의 메모리에 저장된 공간 상의 지도 정보를 일 예로 나타낸 도면이다.
도 3 내지 도 5는 본 개시에 따른 무인 이동체의 공간 내 위치를 찾는 방법을 나타낸 순서도이다.
도 6은 도 1의 프로세서를 통해 무인 이동체가 공간 내 위치를 찾는 과정을 일 예로 나타낸 도면이다.
도 7은 도 1의 메모리에 예상 위치 데이터와 보정된 예상 위치 데이터를 저장하는 과정을 일 예로 나타낸 도면이다.
도 8은 도 1의 프로세서를 통해 예상 위치 데이터를 군집간 클러스터링하고, 최적의 군집을 선택하는 과정을 일 예로 나타낸 도면이다.
도 2는 도 1의 메모리에 저장된 공간 상의 지도 정보를 일 예로 나타낸 도면이다.
도 3 내지 도 5는 본 개시에 따른 무인 이동체의 공간 내 위치를 찾는 방법을 나타낸 순서도이다.
도 6은 도 1의 프로세서를 통해 무인 이동체가 공간 내 위치를 찾는 과정을 일 예로 나타낸 도면이다.
도 7은 도 1의 메모리에 예상 위치 데이터와 보정된 예상 위치 데이터를 저장하는 과정을 일 예로 나타낸 도면이다.
도 8은 도 1의 프로세서를 통해 예상 위치 데이터를 군집간 클러스터링하고, 최적의 군집을 선택하는 과정을 일 예로 나타낸 도면이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 본 개시에 따른 무인 이동체의 제어부는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 제어부는, 컴퓨터, 서버를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC, 싱글보드 컴퓨터 등을 포함할 수 있다.
서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 개시에 따른 무인 이동체는 무인 이동체의 비정상적인 재부팅의 발생 여부를 감지하고, 감지된 결과를 기반으로 비정상적인 재부팅이 발생된 경우, 도킹 스테이션의 충전 신호가 수신된 것인지를 판단하며, 충전 신호가 미수신이면, 공간 내 위치를 찾는 키드냅 리커버리(kidnap recovery) 모드를 수행하고, 무인 이동체가 공간 내 위치를 찾도록, 기 설정된 제1 지점에서 제2 지점까지 기 설정된 지그재그 패턴의 주행으로 영상 데이터와 라이다 데이터를 수집하며, 수집된 영상 데이터를 영상 추출 모델에 입력하여 영상 내의 공간 데이터를 추출하고, 영상 내의 공간 데이터 및 라이다 데이터를 위치 추적 모델에 입력하여 무인 이동체의 공간 내 예상 위치 데이터를 출력하도록 제공될 수 있다.
이러한, 무인 이동체는 자신의 공간 내 현재 위치를 빠르고 정확하게 찾을 수 있다.
무인 이동체가 목적지를 이동하기 위해서는, 현재 자신이 어디에 있는지 알아야 목적지로 이동할 수 있다. 라이다 기반으로 위치를 추정하는 기법인 MCL은 격자 지도에서 시작점을 알아야 무인 이동체가 얼마만큼 움직였을 때 어디에 있는지를 추정할 수 있다. 즉, 무인 이동체는 시작점을 알아야 그 이후부터 쉽게 공간 상의 위치를 추정할 수 있다. 이러한 이유로 무인 이동체는 도킹 스테이션을 시작점으로 설정할 수 있다.
그런데, 무인 이동체는 도킹 스테이션이 아닌 곳에서 전원이 부족하여 꺼지거나, 시스템 오류 등으로 전원을 재부팅하는 경우가 존재할 수 있다. 이때, 도킹 스테이션의 충전 신호로 무인 이동체는 도킹 스테이션의 앞에 있는지를 확인할 수 있다. 만약, 충전 신호가 들어온다면 무인 이동체는 도킹 스테이션의 앞에 존재하며, 무인 이동체는 현재 시작점에 있다라는 것을 알 수 있다. 반대로, 충전 신호가 없다면 무인 이동체는 도킹 스테이션의 앞에 없고, 현재 자신이 시작점과 다른 위치에 있는 것으로 판단할 수도 있다.
또한, 무인 이동체가 자신의 위치를 성공적으로 추정하는 도중에 누군가에 의해 로봇이 옮겨지는 경우가 발생할 수 있다. 무인 이동체는 자신의 위치가 바뀌었다는 것을 모르기 때문에 옮겨지기 이전의 위치로부터 계속적으로 자신의 위치를 추정할 수밖에 없다. 이러한 문제를 kidnapped robot problem이라고 한다. 이러한 문제가 어려운 이유는, 무인 이동체가 스스로 위치 인식에 실패했다는 것을 알기가 쉽지 않기 때문이다. 따라서, 무인 이동체의 위치 인식이 성공적으로 수행되고 있는지 또는 kidnap 되었는지의 여부를 판단할 수 있는 위치 인식 성능 척도(quality measure)가 필요하다.
이하에서는, 무인 이동체를 자세하게 살펴보기로 한다.
도 1은 본 개시에 따른 무인 이동체의 구성을 나타낸 도면이다. 도 2는 도 1의 메모리에 저장된 공간 상의 지도 정보를 일 예로 나타낸 도면이다.
도 1을 참조하면, 무인 이동체(100)는 사람의 도움없이 스스로 외부 환경을 인식해 상황을 판단하고 임무를 수행하는 이동체일 수 있다. 예를 들어, 무인 이동체(100)는 이동 로봇일 수 있다. 무인 이동체(100)는 통신부(110), 제어부(120), 구동부(130)를 포함할 수 있다.
통신부(110)는 제어부(120)와 전기적으로 연결될 수 있고, 충전을 위한 도킹 스테이션(10)과 통신을 수행할 수 있다. 통신부(110)는 도킹 스테이션(10)의 충전 신호를 수신받을 수 있다. 이때, 통신부(110)는 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
제어부(120)는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(121), 및 메모리(121)에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(122)로 구현될 수 있다. 여기에서, 메모리(121)와 프로세서(122)는 각각 별개의 칩으로 구현될 수 있다. 또한, 메모리(121)와 프로세서(122)는 단일 칩으로 구현될 수도 있다.
메모리(121)는 본 장치의 다양한 기능을 지원하는 데이터와, 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들을 저장할 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(121)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(211)는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
메모리(121)는 도착지 별로 전역 경로가 저장되어 있을 수 있다. 도착지 별 전역 경로는 병원, 공항, mall 등과 같은 공간에서 무인 이동체(100)가 특정 목적지까지 도착하기 위한 경로일 수 있다.
메모리(121)는 지도 정보(A)가 저장되어 있을 수 있다. 이때, 도 2에 도시된 바와 같이, 지도 정보(A)는 격자 지도일 수 있다. 격자 지도는 무인 이동체(100)의 센싱을 통해 또는 사전에 여러가지 SLAM(Simutaneous Localization And Mapping) 기법을 이용하여 2D 또는 3D 자율 주행을 위한 형태로 생성될 수 있다. 예를 들어, 격자 지도는 png, pgm 등의 이미지 파일의 형태의 2D 지도로 생성되거나, 3축 공간 정보가 포함된 포인트 클라우드 데이터(Poing cloud data) 등을 통해 3D 지도로 생성될 수 있다. 이때, 지도 정보(A)의 제1 지점(B)은 공간 내 위치를 찾기 위한 시작점일 수 있고, 제2 지점(C)은 공간 내 위치를 찾기 위한 끝지점일 수 있다.
프로세서(122)는 공간 내 위치를 찾는 동작을 제어할 수 있다.
프로세서(122)는 비정상적인 재부팅의 발생 여부를 감지할 수 있다. 프로세서(122)는 감지된 결과를 기반으로 비정상적인 재부팅이 발생된 경우, 통신부(150)를 통해 도킹 스테이션(10)의 충전 신호가 수신된 것인지를 판단할 수 있다.
프로세서(122)는 충전 신호가 미수신이면, 공간 내 위치를 찾는 키드냅 리커버리(kidnap recovery) 모드를 수행할 수 있다. 프로세서(122)는 공간 내 위치를 찾기 위해, 기 설정된 제1 지점에서 제2 지점까지 기 설정된 지그재그 패턴의 주행으로 지도 정보 기반의 영상 데이터와 라이다 데이터를 추론 모델을 만들기 위하여 수집할 수 있다. 이때, 프로세서(122)는 제1 지점 및 제2 지점 내의 복수의 지점마다 360도 회전하여 회전 각도 별 단위 개수의 영상 데이터와 라이다 데이터를 더 수집할 수 있다.
프로세서(122)는 수집된 영상 데이터를 영상 추출 모델에 입력하여 영상 내의 공간 데이터를 추출할 수 있다. 프로세서(122)는 영상 내의 공간 데이터 및 라이다 데이터를 위치 추적 모델에 입력하여 무인 이동체의 공간 내 예상 위치 데이터를 출력할 수 있다. 여기에서, 공간 데이터는 특징 데이터일 수 있다. 이때, 프로세서(122)는 예상 위치 데이터를 군집간 클러스터링(Clustering)하고, 클러스터링된 군집 중 예상 위치 데이터의 개수가 기 설정된 개수보다 많은 군집을 선택하며, 클러스터링된 군집 중 동일한 개수의 군집이 있으면, 분산이 낮은 군집을 선택할 수 있다. 또한, 프로세서(122)는 예상 위치 데이터가 기 설정된 오차값을 벗어나면, 라이다 데이터를 ICP(Iterative Closet Point) 알고리즘에 입력하여, 보정된 예상 위치 데이터를 더 출력할 수 있다.
구동부(130)는 프로세서(122)를 통해 출력되는 지그재그 패턴 주행, 360도 회전 주행 등을 포함하는 주행 정보를 기반으로, 공간 내의 위치를 찾기 위해 제1 지점에서 제2 지점까지 주행하도록 무인 이동체(100)를 구동할 수 있다. 예를 들어, 구동부(130)는 무인 이동체(100)의 주행에 필요한 동력을 제공하기 위해, 배터리 및 배터리로부터 전원을 공급받는 전자적인 부품, 배터리 및 배터리로부터 전원을 공급받아 구동하는 바퀴 또는 구동벨트 등의 기계적인 구동 부품을 포함할 수 있다.
도 3 내지 도 5는 본 개시에 따른 무인 이동체의 공간 내 위치를 찾는 방법을 나타낸 순서도이다. 도 6은 도 1의 프로세서를 통해 무인 이동체가 공간 내 위치를 찾는 과정을 일 예로 나타낸 도면이다.
도 7은 도 1의 메모리에 예상 위치 데이터와 보정된 예상 위치 데이터를 저장하는 과정을 일 예로 나타낸 도면이다. 도 8은 도 1의 프로세서를 통해 예상 위치 데이터를 군집간 클러스터링하고, 최적의 군집을 선택하는 과정을 일 예로 나타낸 도면이다.
도 3 내지 도 8을 참조하면, 무인 이동체의 공간 내 위치를 찾는 방법은, 감지 단계(S310), 판단 단계(S320), 모드 수행 단계(S330), 수집 단계(S340), 추출 단계(S350), 출력 단계(S360)를 포함할 수 있다.
감지 단계는, 프로세서(122)를 통해, 무인 이동체(100)의 비정상적인 재부팅의 발생 여부를 감지할 수 있다(S310). 예를 들어, 비정상적인 재부팅은 전원이 부족하여 스스로 꺼지는 상태, 시스템 오류 등으로 스스로 켜지는 상태 중 적어도 하나를 포함할 수 있다. 즉, 프로세서(122)는 사용자의 전원 입력 신호 기반의 재부팅 명령이 아니면, 비정상적인 재부팅으로 판단할 수 있다.
판단 단계는, 프로세서(122)를 통해, 감지된 결과를 기반으로 비정상적인 재부팅이 발생된 경우, 도킹 스테이션(10)의 충전 신호가 수신된 것인지를 판단할 수 있다(S320). 이때, 도킹 스테이션(10)의 충전 신호로 프로세서(122)는 도킹 스테이션(10)의 앞에 있는지를 확인할 수 있다. 즉, 프로세서(122)는 충전 신호를 수신받으면, 도킹 스테이션(10)의 앞에 존재하는 것으로 판단하고, 현재 시작점에 있는 것으로 인식할 수 있다. 프로세서(122)는 충전 신호를 수신받지 않으면, 도킹 스테이션(10)의 앞에 존재하지 않는 것으로 판단하고, 현재 시작점과 다른 위치에 있는 것으로 인식할 수 있다.
모드 수행 단계는, 프로세서(122)를 통해, 충전 신호가 미수신이면(S320), 공간 내 위치를 찾는 키드냅 리커버리(kidnap recovery) 모드를 수행할 수 있다(S330). 여기에서, 키드냅 상태는 무인 이동체가 어느 위치로 이동되었는지 알 수 없는 다른 위치로 이동된 상태로, 누군가에 의해 무인 이동체가 옮겨진 상태, 예상치 못한 물체와의 충돌 등으로 인하여 무인 이동체의 방향이나 위치가 변경된 상태, 무인 이동체가 미리 지정한 위치를 파악하지 못하는 상태 중 적어도 하나를 포함할 수 있다. 따라서, 모드 수행 단계에서는, 상기 키드냅 상태일 때에도 무인 이동체가 공간 내 위치를 찾을 수 있도록, 키드냅 리커버리 모드를 수행할 수 있다.
도 6에 도시된 바와 같이, 수집 단계는 프로세서(122)를 통해, 무인 이동체(100)가 공간 내 위치를 찾도록, 기 설정된 제1 지점(B)에서 제2 지점(C)까지 기 설정된 지그재그 패턴(P)의 주행으로 영상 데이터와 라이다 데이터를 추론 모델을 만들기 위하여 수집할 수 있다(S340). 프로세서(122)는 카메라(140)와 센서부(150)로부터 획득한 영상 데이터와 라이다 데이터를 수집할 수 있다. 프로세서(122)는 제1 지점(B)에서 제2 지점(C)까지 복수의 지점(P1 내지 P11, …)마다 지그재그 패턴(P)의 주행으로 영상 데이터와 라이다 데이터를 수집할 수 있다. 이때, 제1 지점(B)은 공간 내 위치를 찾기 위한 시작점일 수 있고, 제2 지점(C)은 공간 내 위치를 찾기 위한 끝지점일 수 있다. 여기에서, 영상 데이터는 무인 이동체의 위치 좌표를 포함할 수 있고, 라이다 데이터는 주변 물체의 거리값을무인 이동체 포함할 수 있다.
또한, 수집 단계는, 프로세서(122)를 통해, 제1 지점(B) 및 제2 지점(C) 내의 복수의 지점(P1 내지 P11, …)마다 360도 회전하여 회전 각도 별 단위 개수의 영상 데이터와 라이다 데이터를 더 수집할 수 있다(S340). 예를 들어, 프로세서(122)는 복수의 지점(P1 내지 P11, …)마다 10도 회전당 36개의 영상 데이터와 라이다 데이터를 수집할 수 있다. 프로세서(122)는 제1 지점(B) 및 제2 지점(C)까지 복수의 지점(P1 내지 P11, …)마다 360도 회전과 지그재그 패턴(P)의 주행으로 영상 데이터와 라이다 데이터를 수집할 수 있다. 예를 들어, 프로세서(122)는 무인 이동체가 360도 회전을 완료하기전까지는 P1 지점에서 10도 회전당 36개의 영상 데이터와 라이다 데이터를 수집하고(제1 과정), P1 지점에서 무인 이동체가 360도 회전을 완료하면 P2 지점까지 기 설정된 지그재그 패턴(P)의 주행으로 영상 데이터와 라이다 데이터를 수집할 수 있다(제2 과정). 이러한, 무인 이동체는 제1 지점(B)에서 제2 지점(C)까지 복수의 지점(P1 내지 P11, …)마다 지그재그 패턴(P)의 주행과, 360도 회전으로 영상 데이터와 라이다 데이터를 수집할 수 있다.
여기에서, 카메라(140)는 이미지 센서를 이용하는 영상 카메라로 제공될 수 있다. 카메라(140)는 이미지 센서를 통해 획득한 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 한편, 카메라(140)가 복수개일 경우, 매트릭스 구조를 이루도록 배치될 수 있다. 이러한 매트릭스 구조를 이루는 영상 카메라들을 통해 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 영상 카메라들은 3차원의 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다. 또한, 카메라(140)는 AI 카메라로 제공될 수도 있다. AI 카메라는 인간의 망막을 모방하여 만들어진 광각센서를 통해 인식된 이미지를, 뇌신경망 알고리즘으로 미세하게 조정할 수 있다. AI 카메라는 셔터 속도, 광노출, 포화도, 색 농도, 동적 범위, 대비 등을 조절할 수 있다. 또한, AI 카메라는 촬영된 영상을 양질의 영상으로 출력할 수 있다. 센서부(150)는 초음파 센서, 레이더 센서, 라이다 센서 중 적어도 하나를 포함할 수 있다. 센서부(150)는 라이다 센서를 통해 라이다 데이터를 획득할 수 있다.
도 7에 도시된 바와 같이, 추출 단계는 프로세서(122)를 통해, 수집된 영상 데이터(ID1)를 영상 추출 모델(M1)에 입력하여 영상 내의 특징 데이터(OD1)를 추출할 수 있다(S350). 이때, 영상 추출 모델(M1)은 강인하게 영상을 인식하고 추출할 수 있는 모델일 수 있다.
출력 단계는 프로세서(122)를 통해, 영상 내의 특징 데이터(OD1) 및 라이다 데이터(ID2)를 위치 추적 모델(M2)에 입력하여 무인 이동체의 공간 내 예상 위치 데이터(OD2)를 출력할 수 있다(S360). 이때, 예상 위치 데이터는, 무인 이동체의 위치 좌표(x, y), 무인 이동체가 전방과 측방 및 후방 중 적어도 하나를 바라보는 회전각(θ)을 포함할 수 있다. 예를 들어, 무인 이동체의 위치 좌표(x, y)는 36개의 x좌표 및 y좌표를 포함할 수 있고, 회전각(θ)은 무인 이동체가 1시 방향 내지 12시 방향 중 적어도 하나의 방향으로 바라보는 각도일 수 있다.
여기에서, 제어부(120)와 전기적으로 연결된 서버(20)는 메타데이터인 영상 내의 특징 데이터(OD1)와 라이다 데이터(ID2)의 입력값을 위치 추적 모델(M2)을 기반으로 학습하여 추천된 무인 이동체의 공간 내 예상 위치 데이터(OD2)의 결과값을 출력할 수 있다. 이때, 영상 내의 특징 데이터(OD1)는 무인 이동체의 공간 좌표를 포함할 수 있고, 라이다 데이터(ID2)는 주변 물체의 거리값을무인 이동체포함할 수 있다. 또한, 위치 추적 모델(M2)은 입력 데이터에 포함된 영상 내의 특징 데이터(OD1)와 라이다 데이터(ID2)를 상관 관계를 통해 학습하도록 구축될 수 있다. 위치 추적 모델(M2)은 영상 내의 특징 데이터(OD1)와 라이다 데이터(ID2)를 DNN 알고리즘을 이용하여 학습데이터 셋으로 구축 및 강화 학습시킬 수 있다.
서버(20)는 영상 내의 특징 데이터(OD1)와 라이다 데이터(ID2)를 기반으로 판단한 무인 이동체의 공간 내 예상 위치 데이터(OD2)를 제어부(120)의 메모리(121)에 전송할 수 있다. 메모리(121)는 수신된 무인 이동체의 공간 내 예상 위치 데이터(OD2)를 저장할 수 있다. 이때, 메모리(211)는 공간 내 예상 위치 데이터(OD2) 내의 36개의 x좌표 및 y좌표를 갖는 무인 이동체의 위치 좌표(x, y)가 저장될 수 있고, 무인 이동체가 1시 방향 내지 12시 방향 중 적어도 하나의 방향 또는 36개의 방향으로 바라보는 회전각(θ)이 저장될 수 있다.
프로세서(122)는 카메라(140) 및 센서부(150)로부터 획득한 현재 공간 내 위치에 해당하는 영상 데이터와 라이다 데이터가 수신된 경우, 인공지능을 기반으로 무인 이동체의 공간 내 예상 위치 데이터를 추출할 수 있다.
도 8에 도시된 바와 같이, 출력 단계는 프로세서(122)를 통해, 예상 위치 데이터를 군집(A, B, C)간 클러스터링(Clustering)할 수 있다(S371). 출력 단계는 프로세서(122)를 통해, 클러스터링된 군집(A, B, C) 중 동일한 개수의 군집이 있으면(S372), 분산이 낮은 군집을 선택할 수 있다(S373). 출력 단계는 프로세서(122)를 통해, 클러스터링된 군집(A, B, C) 중 동일한 개수의 군집이 없으면(S372), 예상 위치 데이터의 개수가 기 설정된 개수보다 많은 군집을 선택할 수 있다(S374).
여기에서, 군집(A, B, C)의 포인트 클라우드들은 예상 위치 데이터에 해당하는 것으로, 36개의 x좌표 및 y좌표를 갖는 무인 이동체의 위치 좌표(x, y)를 포함할 수 있고, 무인 이동체가 1시 방향 내지 12시 방향 중 적어도 하나의 방향으로 바라보는 회전각(θ)을 포함할 수 있으며, 회전각을 산출할 수도 있다. 예를 들어, 프로세서(122)는 동일한 개수의 A 군집과 B 군집이 있으면, 분산이 낮은 B 군집을 선택할 수 있다. 다른 예를 들어, 프로세서(122)는 동일한 개수의 군집이 없으면, 예상 위치 데이터의 개수가 기 설정된 개수보다 많은 C 군집을 선택할 수 있다. 이러한, 프로세서(122)는 예상 위치 데이터의 정확성을 높이기 위해, 예상 위치 데이터를 군집(A, B, C)간 클러스터링하고, 군집(A, B, C)의 포인트 클라우드들에서 분산이 낮은 군집 또는 예상 위치 데이터의 개수가 많은 군집을 선택할 수 있다.
한편, 출력 단계는 프로세서(122)를 통해, 예상 위치 데이터가 기 설정된 오차값을 벗어나면(S375), 라이다 데이터(ID2)를 ICP(Iterative Closet Point) 알고리즘(M3)에 입력하여, 보정된 예상 위치 데이터(OD3)를 더 출력할 수 있다. 프로세서(122)는 예상 위치 데이터에 해당하는 36개의 x좌표 및 y좌표를 갖는 무인 이동체의 위치 좌표(x, y)와, 무인 이동체가 1시 방향 내지 12시 방향 중 적어도 하나의 방향으로 바라보는 회전각(θ)이 기 설정된 오차값을 벗어나는지를 판단할 수 있다. ICP 알고리즘(M3)은 서로 다른 두 개의 포인트 클라우드를 정합(registration)시키는 알고리즘을 이용하여 예상 위치 데이터를 더욱 정밀하게 분석할 수 있다. ICP 알고리즘(M3)은 예상 위치 데이터들의 가장 가까운 점을 이용하여 연관성을 찾고, 찾은 연관성을 기반으로 현재 데이터를 이동 및 회전을시켜 기존의 데이터셋에 추가할 수 있다. 이러한, ICP 알고리즘(M3)을 이용한 프로세서(122)는 한개의 영상을 처리하는데에 0.1초가 소요되므로, 36개의 영상을 처리하는데에 3.6초가 소요되어, 약 4초 이내에 키드냅 리커버리 모드를 수행할 수 있다.
무인 이동체(100)는 상기와 같은 예상 위치 데이터 또는 보정된 예상 위치 데이터를 기반으로 공간 내의 위치를 찾으면, 기 설정된 도착지 또는 충전을 위한 도킹 스테이션(10)까지 정확한 이동 경로로 주행할 수 있다.
100: 무인 이동체 110: 통신부
120: 제어부 121: 메모리
122: 프로세서 130: 구동부
140: 카메라 150: 센서부
120: 제어부 121: 메모리
122: 프로세서 130: 구동부
140: 카메라 150: 센서부
Claims (10)
- 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법에 있어서,
상기 무인 이동체의 비정상적인 재부팅의 발생 여부를 감지하는 단계;
상기 감지된 결과를 기반으로 상기 비정상적인 재부팅이 발생된 경우, 도킹 스테이션의 충전 신호가 수신된 것인지를 판단하는 단계;
상기 충전 신호가 미수신이면, 공간 내 위치를 찾는 키드냅 리커버리(kidnap recovery) 모드를 수행하는 단계;
상기 무인 이동체가 상기 공간 내 위치를 찾도록, 기 설정된 제1 지점에서 제2 지점까지 기 설정된 지그재그 패턴의 주행으로 영상 데이터와 라이다 데이터를 추론 모델을 만들기 위하여 수집하는 단계;
상기 수집된 영상 데이터를 영상 추출 모델에 입력하여 영상 내의 공간 데이터를 추출하는 단계; 및
상기 영상 내의 공간 데이터 및 상기 라이다 데이터를 위치 추적 모델에 입력하여 상기 무인 이동체의 공간 내 예상 위치 데이터를 출력하는 단계; 를 포함하고,
상기 수집 단계는,
상기 제1 지점 및 상기 제2 지점 내의 복수의 지점마다 360도 회전하여 회전 각도 별 단위 개수의 영상 데이터와 라이다 데이터를 더 수집하는 것을 특징으로 하는, 방법. - 삭제
- 제1항에 있어서,
상기 예상 위치 데이터는,
상기 무인 이동체의 위치 좌표, 상기 무인 이동체가 전방과 측방 및 후방 중 적어도 하나를 바라보는 회전각을 포함하는, 방법. - 제3항에 있어서,
상기 출력 단계는,
상기 예상 위치 데이터를 군집간 클러스터링(Clustering)하고,
상기 클러스터링된 군집 중 예상 위치 데이터의 개수가 기 설정된 개수보다 많은 군집을 선택하며,
상기 클러스터링된 군집 중 동일한 개수의 군집이 있으면, 분산이 낮은 군집을 선택하는 것을 특징으로 하는, 방법. - 제4항에 있어서,
상기 출력 단계는,
상기 예상 위치 데이터가 기 설정된 오차값을 벗어나면,
상기 라이다 데이터를 ICP(Iterative Closet Point) 알고리즘에 입력하여, 보정된 예상 위치 데이터를 더 출력하는 것을 특징으로 하는, 방법. - 하드웨어인 컴퓨터와 결합되어, 제1항, 제3항 내지 제5항 중 어느 한 항의 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된, 프로그램.
- 도킹 스테이션과 통신하는 통신부; 및
공간 내 위치를 찾는 동작을 제어하는 프로세서를 포함하고,
상기 프로세서는,
비정상적인 재부팅의 발생 여부를 감지하며,
상기 감지된 결과를 기반으로 상기 비정상적인 재부팅이 발생된 경우, 상기 통신부를 통해 상기 도킹 스테이션의 충전 신호가 수신된 것인지를 판단하고,
상기 충전 신호가 미수신이면, 상기 공간 내 위치를 찾는 키드냅 리커버리(kidnap recovery) 모드를 수행하며,
상기 공간 내 위치를 찾도록, 기 설정된 제1 지점에서 제2 지점까지 기 설정된 지그재그 패턴의 주행으로 영상 데이터와 라이다 데이터를 추론 모델을 만들기 위하여 수집하고,
상기 수집된 영상 데이터를 영상 추출 모델에 입력하여 영상 내의 공간 데이터를 추출하며,
상기 영상 내의 공간 데이터 및 상기 라이다 데이터를 위치 추적 모델에 입력하여 상기 공간 내 예상 위치 데이터를 출력하되,
상기 제1 지점 및 상기 제2 지점 내의 복수의 지점마다 360도 회전하여 회전 각도 별 단위 개수의 영상 데이터와 라이다 데이터를 더 수집하는 것을 특징으로 하는, 무인 이동체. - 삭제
- 제7항에 있어서,
상기 프로세서는,
상기 예상 위치 데이터를 군집간 클러스터링(Clustering)하고,
상기 클러스터링된 군집 중 예상 위치 데이터의 개수가 기 설정된 개수보다 많은 군집을 선택하며,
상기 클러스터링된 군집 중 동일한 개수의 군집이 있으면, 분산이 낮은 군집을 선택하는 것을 특징으로 하는, 무인 이동체. - 제9항에 있어서,
상기 프로세서는,
상기 예상 위치 데이터가 기 설정된 오차값을 벗어나면,
상기 라이다 데이터를 ICP(Iterative Closet Point) 알고리즘에 입력하여, 보정된 예상 위치 데이터를 더 출력하는 것을 특징으로 하는, 무인 이동체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220101340A KR102572832B1 (ko) | 2022-08-12 | 2022-08-12 | 무인 이동체, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법 및 프로그램 |
| KR1020230111909A KR20240023008A (ko) | 2022-08-12 | 2023-08-25 | 이동 로봇, 위치 추적 모델을 활용한 이동 로봇의 공간 내 예상 위치 데이터 출력 방법 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220101340A KR102572832B1 (ko) | 2022-08-12 | 2022-08-12 | 무인 이동체, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법 및 프로그램 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230111909A Division KR20240023008A (ko) | 2022-08-12 | 2023-08-25 | 이동 로봇, 위치 추적 모델을 활용한 이동 로봇의 공간 내 예상 위치 데이터 출력 방법 및 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102572832B1 true KR102572832B1 (ko) | 2023-08-30 |
| KR102572832B9 KR102572832B9 (ko) | 2024-04-08 |
Family
ID=87846187
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220101340A KR102572832B1 (ko) | 2022-08-12 | 2022-08-12 | 무인 이동체, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법 및 프로그램 |
| KR1020230111909A KR20240023008A (ko) | 2022-08-12 | 2023-08-25 | 이동 로봇, 위치 추적 모델을 활용한 이동 로봇의 공간 내 예상 위치 데이터 출력 방법 및 프로그램 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230111909A KR20240023008A (ko) | 2022-08-12 | 2023-08-25 | 이동 로봇, 위치 추적 모델을 활용한 이동 로봇의 공간 내 예상 위치 데이터 출력 방법 및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102572832B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140141265A (ko) | 2013-05-31 | 2014-12-10 | 전남대학교산학협력단 | 능·수동형 ｒｆｉｄ 신호세기를 이용한 위치 추적과 객체를 찾기 위한 모바일 로봇 |
| KR101618030B1 (ko) * | 2009-07-28 | 2016-05-09 | 주식회사 유진로봇 | 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇 |
| KR101982780B1 (ko) * | 2016-10-20 | 2019-05-27 | 엘지전자 주식회사 | 이동 로봇 및 이동 로봇의 제어방법 |
| KR20220029824A (ko) * | 2020-08-28 | 2022-03-10 | 삼성전자주식회사 | 청소 로봇 및 그 제어 방법 |
-
2022
- 2022-08-12 KR KR1020220101340A patent/KR102572832B1/ko active IP Right Grant
-
2023
- 2023-08-25 KR KR1020230111909A patent/KR20240023008A/ko unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101618030B1 (ko) * | 2009-07-28 | 2016-05-09 | 주식회사 유진로봇 | 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇 |
| KR20140141265A (ko) | 2013-05-31 | 2014-12-10 | 전남대학교산학협력단 | 능·수동형 ｒｆｉｄ 신호세기를 이용한 위치 추적과 객체를 찾기 위한 모바일 로봇 |
| KR101982780B1 (ko) * | 2016-10-20 | 2019-05-27 | 엘지전자 주식회사 | 이동 로봇 및 이동 로봇의 제어방법 |
| KR20220029824A (ko) * | 2020-08-28 | 2022-03-10 | 삼성전자주식회사 | 청소 로봇 및 그 제어 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 이정석, 외 4명, 표식 지도를 이용한 이동로봇의 광역 위치인식 및 kidnap recovery, 로봇공학회 논문지 제2권 제1호 (2007.3) * |
| 이정우, 외 4명, 카메라 및 LiDAR 센서 기반의 심층 신경망을 이용한 실내 환경에서의 위치 추정에 관한 기본 연구, 동력시스템공학회지 23(4) 2019.8 49-54(6pages) * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240023008A (ko) | 2024-02-20 |
| KR102572832B9 (ko) | 2024-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11585662B2 (en) | Laser scanner with real-time, online ego-motion estimation | |
| Cvišić et al. | SOFT‐SLAM: Computationally efficient stereo visual simultaneous localization and mapping for autonomous unmanned aerial vehicles | |
| JP7433227B2 (ja) | センサーデータセグメンテーション | |
| US11302011B2 (en) | Perspective conversion for multi-dimensional data analysis | |
| US9990736B2 (en) | Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms | |
| US10509947B1 (en) | Converting multi-dimensional data for image analysis | |
| US10748061B2 (en) | Simultaneous localization and mapping with reinforcement learning | |
| US10725472B2 (en) | Object tracking using depth information | |
| CN111797657A (zh) | 车辆周边障碍检测方法、装置、存储介质及电子设备 | |
| WO2018068771A1 (zh) | 目标跟踪方法、系统、电子设备和计算机存储介质 | |
| US11703334B2 (en) | Mobile robots to generate reference maps for localization | |
| CN112179330A (zh) | 移动设备的位姿确定方法及装置 | |
| CN111292352B (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
| US11379995B2 (en) | System and method for 3D object detection and tracking with monocular surveillance cameras | |
| US11079240B2 (en) | Method, system and apparatus for adaptive particle filter localization | |
| CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
| López et al. | Vehicle pose estimation via regression of semantic points of interest | |
| KR102572832B1 (ko) | 무인 이동체, 인공 지능 기반의 무인 이동체의 공간 내 위치를 찾는 방법 및 프로그램 | |
| CN113033439A (zh) | 用于数据处理的方法、装置和电子设备 | |
| WO2023129856A1 (en) | Boundary estimation apparatus and method | |
| US20230215190A1 (en) | Boundary estimation | |
| Asante et al. | Segmentation-based angular position estimation algorithm for dynamic path planning by a person-following robot | |
| Xia et al. | YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM | |
| KR102559299B1 (ko) | 무인 이동체, 마커를 활용한 무인 이동체의 도킹 제어 방법 및 프로그램 | |
| Lindgren | Target Recognition and Following in Small Scale UAVs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |