KR102495890B1 - Ir 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 - Google Patents
Ir 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 Download PDFInfo
- Publication number
- KR102495890B1 KR102495890B1 KR1020220137059A KR20220137059A KR102495890B1 KR 102495890 B1 KR102495890 B1 KR 102495890B1 KR 1020220137059 A KR1020220137059 A KR 1020220137059A KR 20220137059 A KR20220137059 A KR 20220137059A KR 102495890 B1 KR102495890 B1 KR 102495890B1
- Authority
- KR
- South Korea
- Prior art keywords
- external device
- landing
- drone
- location
- movement
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 38
- 230000033001 locomotion Effects 0.000 claims abstract description 45
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 43
- 239000003550 marker Substances 0.000 claims abstract description 30
- 238000004891 communication Methods 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/12—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using a selected wavelength, e.g. to sense red marks and ignore blue marks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
일 실시예에 따른 전자 장치는 메모리, 프로세서 및 통신 회로를 포함할 수 있다.
프로세서는 통신 회로를 이용하여 외부 장치와 통신 연결을 수립하고, 상기 외부 장치로부터 IR카메라로 촬영된 착륙 위치 정보를 수신하고, 외부 장치의 위치, 상기 외부 장치에 포함된 IR(infrared) 카메라의 중심점의 위치 및 착륙 위치에 기반하여 상기 외부 장치를 기준으로 착륙 위치까지 방향과 거리를 계산하고, 계산된 방향 및 거리 값에 기반하여 상기 외부 장치의 움직임을 지시하는 정보를 생성하고 상기 외부 장치의 비행 제어부(flight control computer, FC) 상으로 송신하고, 외부 장치의 움직임 및 상기 외부 장치를 기준으로 착륙 위치까지의 방향과 거리 변화를 감지하고 상기 외부 장치의 움직임을 지시하는 정보를 수정하여 재송신할 수 있다.
외부 장치의 움직임을 지시하는 정보는 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치 값을 포함하고, RC(radio control) 수신기(receiver)의 출력 신호의 형태로 변환되어 비행 제어부(FC)로 전송되며, RC 수신기의 출력 신호의 형태는SBUS(serial BUS) 신호를 포함할 수 있다. 착륙 위치 정보는 착륙 지점의 IR(infrared) 마커의 위치 정보를 포함할 수 있다.
프로세서는 통신 회로를 이용하여 외부 장치와 통신 연결을 수립하고, 상기 외부 장치로부터 IR카메라로 촬영된 착륙 위치 정보를 수신하고, 외부 장치의 위치, 상기 외부 장치에 포함된 IR(infrared) 카메라의 중심점의 위치 및 착륙 위치에 기반하여 상기 외부 장치를 기준으로 착륙 위치까지 방향과 거리를 계산하고, 계산된 방향 및 거리 값에 기반하여 상기 외부 장치의 움직임을 지시하는 정보를 생성하고 상기 외부 장치의 비행 제어부(flight control computer, FC) 상으로 송신하고, 외부 장치의 움직임 및 상기 외부 장치를 기준으로 착륙 위치까지의 방향과 거리 변화를 감지하고 상기 외부 장치의 움직임을 지시하는 정보를 수정하여 재송신할 수 있다.
외부 장치의 움직임을 지시하는 정보는 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치 값을 포함하고, RC(radio control) 수신기(receiver)의 출력 신호의 형태로 변환되어 비행 제어부(FC)로 전송되며, RC 수신기의 출력 신호의 형태는SBUS(serial BUS) 신호를 포함할 수 있다. 착륙 위치 정보는 착륙 지점의 IR(infrared) 마커의 위치 정보를 포함할 수 있다.
Description
아래 실시예들은 IR(infrafed) 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 에 관한 것이다.
무인비행기(UAV: Unmanned Aerial Vehicle)는 조종사가 탑승하지 않고 원격조종에 의해서 또는 자율비행제어 장치에 의해서 비행을 하여 정찰, 폭격, 화물 수송, 산불 감시, 방사능 감시 등 사람이 직접 수행하기가 힘들거나 직접 수행하기 위험한 임무를 대신 수행하는 비행기를 의미할 수 있다.
무인 비행기 또는 드론의 비행 제어부(flight control computer, FC)는IR 카메라를 이용하여 촬영된 IR 마커에 대한 정보를 이용하여 드론이 착륙 위치에 정렬할 수 있도록 드론이 움직일 방향과 거리를 계산할 수 있다. 비행 제어부는 내부에 기 설치된 자동 착륙 유도 알고리즘에 의해 드론이 움직일 방향과 거리를 계산할 수 있다. 이후 비행 제어부는 드론이 움직일 방향과 거리에 대한 정보를 모터, 변속기 및 액추에이터로 전송하여 드론의 움직임을 제어할 수 있다.
IR 마커는 드론과 신호를 주고 받는 형태로 작동하기 때문에 낮이 아닌 밤에도 사용할 수 있다. 그러나 동시에 복수의 드론들이 하나의 지점 또는 밀집 지역에 착륙을 시도하는 경우, 제 1 드론의 착률을 유도하는 IR마커를 제 1 드론이 아닌 제 2 드론이 인식하여 혼선이 발생할 수 있다.
또한, 비행 제어부(flight control computer, FC)의 내부 알고리즘에 의해 동작하는 비행 제어 방식은 비행 제어부의 내부 알고리즘에서 자동 착륙을 지원하지 않는 드론의 경우 자동 착륙 기능, 비행 제어 기능을 사용하기 어려운 한계가 있다. 또한, 비행 제어부의 내부 알고리즘이 스스로 작동하기 때문에 문제가 생겨도 외부에서 제어하기 어려울 수 있으며, 비행 제어부는 드론 내부에 포함되어 있기 때문에 외부 환경 변화에 따라 신호 세기가 변하면서 안정적인 비행 제어가 어려운 한계가 있다. 또한, 드론 내부의 비행 제어부 상의 로직을 이용하기 때문에 상대적으로 많은 리소스가 소모될 수 있다.
일 실시예에 따른 전자 장치는 메모리, 프로세서 및 통신 회로를 포함할 수 있다.
프로세서는 통신 회로를 이용하여 외부 장치와 통신 연결을 수립하고, 상기 외부 장치로부터 IR카메라로 촬영된 착륙 위치 정보를 수신하고, 외부 장치의 위치, 상기 외부 장치에 포함된 IR(infrared) 카메라의 중심점의 위치 및 착륙 위치에 기반하여 상기 외부 장치를 기준으로 착륙 위치까지 방향과 거리를 계산하고, 계산된 방향 및 거리 값에 기반하여 상기 외부 장치의 움직임을 지시하는 정보를 생성하고 상기 외부 장치의 비행 제어부(flight control computer, FC) 상으로 송신하고, 외부 장치의 움직임 및 상기 외부 장치를 기준으로 착륙 위치까지의 방향과 거리 변화를 감지하고 상기 외부 장치의 움직임을 지시하는 정보를 수정하여 재송신할 수 있다. 외부 장치의 움직임을 지시하는 정보는 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치 값을 포함하고, RC(radio control) 수신기(receiver)의 출력 신호의 형태로 변환되어 비행 제어부(FC)로 전송되며, RC 수신기의 출력 신호의 형태는SBUS(serial BUS) 신호를 포함할 수 있다. 착륙 위치 정보는 착륙 지점의 IR(infrared) 마커의 위치 정보를 포함할 수 있다.
일실시예에 따른 전자 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.
일 실시예에 따른 드론 제어 방법은 비행 제어부(flight control computer, FC) 내에서 드론의 움직임을 계산하는 것이 아니라 드론의 외부의 특정 장치에서 드론의 움직임을 계산하고, 움직임을 제어하기 때문에 드론 내부의 비행 제어부(flight control computer, FC)가 자동 착륙을 지원하지 않는 모델이라도 자동 착륙을 안정적으로 수행할 수 있다.
또한, 드론의 외부 환경 변화에 상관없이, 드론의 움직임을 안정적으로 계산할 수 있으며, 드론 내부에서 계산을 수행하는 것이 아니기 때문에 드론의 리소스를 절약할 수 있다.
일 실시예에 따른 드론 제어 방법은 외부 장치(예: 드론)의 고유 ID에 기반하여 착륙 지점의 IR마커의 패턴을 변경하여 의도한 외부 장치만 해당 지점에 착륙할 수 있도록 제어할 수 있다. 이 경우 의도하지 않은 다른 외부 장치가 잘못 목표 지점을 인식하고 착륙을 시도하여 발생할 수 있는 혼선을 줄일 수 있다.
도 1은 일실시예에 따른 전자 장치의 구성의 예시도이다.
도 2는 드론 정밀 자동 착륙을 위한 드론의 구조 및 착륙 지점을 나타낸 것이다.
도 3은 비교 실시예에 따른 드론(drone)의 구성을 블록도로 나타낸 것이다.
도 4은 도 3의 비교 실시예에 따른 한계점을 극복하기 위한 본 발명의 구성을 나타낸 것이다.
도 5은 일 실시예에 따른 드론 제어 방법의 순서도를 나타낸 것이다.
도 2는 드론 정밀 자동 착륙을 위한 드론의 구조 및 착륙 지점을 나타낸 것이다.
도 3은 비교 실시예에 따른 드론(drone)의 구성을 블록도로 나타낸 것이다.
도 4은 도 3의 비교 실시예에 따른 한계점을 극복하기 위한 본 발명의 구성을 나타낸 것이다.
도 5은 일 실시예에 따른 드론 제어 방법의 순서도를 나타낸 것이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은점차 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행),조작 제어(행동 제어) 등을 포함한다.
일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.
본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있 다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이 다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인 지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시 각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.
기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신 경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과 정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경 망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학 습할 수도 있다.
인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워 크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서 로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이 어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스 트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사 용될 수 있다.
이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루 어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조 의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능 한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고 리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이 터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기 를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신 경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.
도 1은 일실시예에 따른 전자 장치의 구성의 예시도이다.
일 실시예에 따른 전자 장치(100)는 프로세서(120), 메모리(130) 및 통신 회로(140)를 포함할 수 있으며, 도시된 구성 중 일부가 생략 또는 치환 될 수도 있다. 일 실시예에 따른 전자 장치(100)는 서버 또는 단말일 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(100)의 각 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 하나 이상의 프로세서들로 구성될 수 있다. 메모리(130)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(130)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(130)는 다양한 파일 데이터들을 저장할 수 있으며, 프로세서(120)의 동작에 따라 저장된 파일 데이터들은 업데이트 될 수 있다.
일 실시예에 따르면, 프로세서(120)는 프로그램을 실행하고, 장치(100)를 제어할 수 있다. 프로세서(120)에 의하여 실행되는 프로그램의 코드는 메모리(130)에 저장될 수 있다. 프로세서(120)의 동작들은 메모리(130)에 저장된 인스트럭션들을 로딩(loading)함으로써 수행될 수 있다. 전자 장치(100)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
일 실시예에 따르면, 통신 회로(140)는 프로세서(120)의 제어에 따라 무선 네트워크를 통해 외부 장치와 통신할 수 있다. 통신 회로(140)는 셀룰러 네트워크(예: LTE(long term evolution) 네트워크, 5G 네트워크, NR(new radio) 네트워크) 및 근거리 네트워크(예: Wi-Fi, bluetooth)로부터 데이터를 송수신 하기 위한 하드웨어 및 소프트웨어 모듈들을 포함할 수 있다.
일 실시예에 따르면, 프로세서(120)가 전자 장치 상에서 구현할 수 있는 연산 및 데이터 처리 기능에는 한정됨이 없을 것이나, 이하에서는 IR(infrared) 마커(marker)를 활용하여 외부 장치(예: 드론)의 착륙을 돕는 기능에 대해 설명될 것이다.
도 2는 드론 정밀 자동 착륙을 위한 드론의 구조 및 착륙 지점을 나타낸 것이다.
도 2에 따르면, 외부 장치(예: 도 1의 외부 장치(102))는 무인 비행기를 포함할 수 있다. 무인비행기(UAV: Unmanned Aerial Vehicle)는 조종사가 탑승하지 않고 원격조종에 의해서 또는 자율비행제어 장치에 의해서 비행을 하여 정찰, 폭격, 화물 수송, 산불 감시, 방사능 감시 등 사람이 직접 수행하기가 힘들거나 직접 수행하기 위험한 임무를 대신 수행하는 비행기를 의미할 수 있다. 외부 장치(102)는 예를 들어 드론(drone)을 포함할 수 있다. 드론(drone)은 적외선(IR)을 감지하는 카메라(201)를 포함할 수 있다. 드론(drone)은 적외선(IR) 카메라(201)를 이용하여 착륙 지점에 표시된 IR 마커(203)를 감지할 수 있다.
본 문서에 따른 드론 제어 방법은 착륙 지점에 위치한 IR 마커(203)에서 패턴을 형성하는 신호를 송출하여 착륙 지점에ID를 부여할 수 있다. IR 마커(203)는 드론과 신호를 주고 받는 형태로 작동하기 때문에 낮이 아닌 밤에도 사용할 수 있다. 그러나 동시에 복수의 드론들이 하나의 지점 또는 밀집 지역에 착륙을 시도하는 경우, 제 1 드론의 착률을 유도하는 IR마커를 제 1 드론이 아닌 제 2 드론이 인식하여 혼선이 발생할 수 있다.
이런 문제 해결을 위해 본 문서에 따른 드론 제어 방법은 착륙 지점을 표시하는 IR 마커(203) 상에 ID를 부여하여 제 1 드론이 인식할 IR마커와 제 2 드론이 인식할 IR마커를 구별하여 제공할 수 있다. 본 문서에 따른 드론 제어 방법은 목표로 하는 드론의 자동착륙 감지 카메라가 인식할 수 있는 고유의 패턴을 사전에 등록하고, 착륙지점의 IR 마커(203)의 패턴을 변경하여 의도한 드론만 IR 마커(203)를 인식하고, 착륙이 가능하도록 유도할 수 있다.
도 3은 비교 실시예에 따른 드론(drone)의 구성을 블록도로 나타낸 것이다.
도 3에 따르면, 드론(drone)은 IR 카메라를 포함하는 각종 센서들(310), 비행 제어부(flight control computer, FC)(320), 모터(motor), 변속기(ESC, electronic speed controller)(330), 액추에이터(actuator)(340) 및 RC(radio control) 리시버(receiver)(350)를 포함할 수 있다.
비교 실시예에 따른 드론은 IR 카메라를 포함하는 각종 센서들(310)을 이용하여 IR 마커(예: 도 2 의 IR 마커(203))를 감지할 수 있다. 드론은 IR 카메라를 이용하여 촬영된 IR 마커(203)에 대한 정보를 비행 제어부(flight control computer, FC)(320)로 전송할 수 있다. 비행 제어부(320)는IR 카메라를 이용하여 촬영된 IR 마커(203)에 대한 정보를 이용하여 드론이 착륙 위치에 정렬할 수 있도록 드론이 움직일 방향과 거리를 계산할 수 있다. 비행 제어부(320)는 내부에 기 설치된 자동 착륙 유도 알고리즘(325)에 의해 드론이 움직일 방향과 거리를 계산할 수 있다. 이후 비행 제어부(320)는 드론이 움직일 방향과 거리에 대한 정보를 모터, 변속기(330) 및 액추에이터(340)로 전송하여 드론의 움직임을 제어할 수 있다.
다만, 이런 제어 방식은 비행 제어부(320)의 내부 알고리즘(325)에 의해 동작하기 때문에 해당 파라미터를 조절해야만 드론의 움직임을 제어할 수 있으며, 비행 제어부(320)의 내부 알고리즘(325)에서 자동 착륙을 지원하지 않는 드론의 경우 자동 착륙 기능, 비행 제어 기능을 사용하기 어려운 한계가 있다. 또한, 비행 제어부(320)의 내부 알고리즘이 스스로 작동하기 때문에 문제가 생겨도 외부에서 제어하기 어려울 수 있으며, 비행 제어부(320)는 드론 내부에 포함되어 있기 때문에 외부 환경 변화에 따라 신호 세기가 변하면서 안정적인 비행 제어가 어려운 한계가 있다. 또한, 드론 내부의 비행 제어부(320) 상의 로직을 이용하기 때문에 상대적으로 많은 리소스가 소모될 수 있다.
도 4은 도 3의 비교 실시예에 따른 한계점을 극복하기 위한 본 발명의 구성을 나타낸 것이다.
도 4에 따르면, 본 문서의 일 실시예에 따른 드론(drone)은 IR 카메라를 포함하는 각종 센서들(410), 비행 제어부(flight control computer, FC)(420), 모터(motor), 변속기(ESC, electronic speed controller)(430), 액추에이터(actuator)(440) 및 RC(radio control) 리시버(receiver)(450)를 포함할 수 있다.
도 4의 드론은 비행 제어부 내의 알고리즘(예: 도 3의 알고리즘(325))에 의해서 자동착륙에 대한 움직임을 계산하는 것이 아니라, RC(radio control) 리시버(receiver)(450)를 통해 드론의 움직임을 지시하는 정보를 수신하고, 드론의 움직임을 지시하는 정보를 비행 제어부(420)상으로 전송하여 드론의 움직임을 제어할 수 있다.
전자 장치(예: 도 1의 전자 장치(100))는 드론의 위치 및 착륙 위치에 기반하여 드론을 기준으로 한 착륙 위치까지의 방향과 거리를 계산하고, 계산된 방향과 거리에 기반하여 드론의 움직임을 지시하는 정보를 생성할 수 있다. 전자 장치(100)는 통신 회로(예: 도 1의 통신 회로(140))를 이용하여 드론의 움직임을 지시하는 정보를 드론(또는 외부 장치)의 RC(radio control) 리시버(receiver)(450)로 전송할 수 있다.
도 4의 드론은 도 3과 달리 비행 제어부(flight control computer, FC)(420) 내에서 드론의 움직임을 계산하는 것이 아니라 드론의 외부에서 드론의 움직임을 계산하기 때문에 드론 내부의 비행 제어부(flight control computer, FC)가 자동 착륙을 지원하지 않는 모델이라도 자동 착륙을 안정적으로 수행할 수 있다. 또한, 드론의 외부 환경 변화에 상관없이, 드론의 움직임을 안정적으로 계산할 수 있으며, 드론 내부에서 계산을 수행하는 것이 아니기 때문에 드론의 리소스를 절약할 수 있다.
도 5은 일 실시예에 따른 드론 제어 방법의 순서도를 나타낸 것이다.
도 5의 순서도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동하도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행 될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러 한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스 가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람 직하다는 것을 의미하지 않는다.
동작 510에서, 프로세서(예: 도 1의 프로세서(120))는 통신 회로(예: 도 1의 통신 회로(140))를 이용하여 외부 장치(예: 도 1의 외부 장치(102))와 통신 연결을 수립하고, 외부 장치(102)로부터 IR카메라(예: 도 4의 IR카메라(425))로 촬영된 착륙 위치 정보를 수신할 수 있다.
동작 520에서, 프로세서(120)는 외부 장치(102)를 기준으로 착륙 위치까지 방향과 거리를 계산할 수 있다. 프로세서(120)는 외부 장치(102)의 위치, 외부 장치(102)에 포함된 IR(infrared) 카메라의 중심점의 위치 및 착륙 위치에 기반하여 외부 장치(102)를 기준으로 착륙 위치까지 방향과 거리를 계산할 수 있다.
동작 530에서, 프로세서(120)는 외부 장치(102)의 움직임을 지시하는 정보를 외부 장치의 비행 제어부(flight control computer, FC)(예: 도 4의 비행 제어부(420)) 상으로 송신할 수 있다. 프로세서(120)는 계산된 방향 및 거리 값에 기반하여 외부 장치(102)의 움직임을 지시하는 정보를 생성할 수 있다.
동작 540에서, 프로세서(120)는 착륙 위치까지의 방향과 거리 변화를 감지하고 외부 장치(102)의 움직임을 지시하는 정보를 수정하여 재송신할 수 있다. 프로세서(120)는 외부 장치(102)의 움직임 및 외부 장치(102)를 기준으로 착륙 위치까지의 방향과 거리 변화를 감지할 수 있다. 프로세서(120)는 외부 장치(102)의 방향과 거리 변화에 기반하여 외부 장치(102)의 움직임을 지시하는 정보를 수정할 수 있다.
외부 장치의 움직임을 지시하는 정보는 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치 값을 포함하고, 착륙 위치 정보는 착륙 지점의 IR(infrared) 마커의 위치 정보를 포함할 수 있다.
일 실시예에 따르면, 프로세서(120)는 통신 회로를 이용하여 상기 외부 장치의 고유 식별 정보(ID)를 수신하고, 외부 장치의 고유 식별 정보(ID)에 기반하여 착륙 지점의 IR 마커의 출력 패턴을 변경하고, 외부 장치의 비행 제어부(flight control computer, FC) 상으로 착륙 지점의 IR 마커의 출력 패턴이 변경되었음을 지시하는 정보를 송신하고, 출력 패턴이 변경된 IR 마커의 위치를 기준으로 상기 외부 장치와 착륙 지점 사이의 방향과 거리를 계산하고, 상기 외부 장치의 움직임을 지시하는 정보를 송신할 수 있다.
외부 장치(102)의 움직임을 지시하는 정보는 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치 값을 포함하고, RC(radio control) 수신기(receiver)(450)의 출력 신호의 형태로 변환되어 비행 제어부(FC)(420)로 전송되며, RC 수신기(450)의 출력 신호의 형태는SBUS(serial BUS) 신호를 포함할 수 있다.
외부 장치의 움직임을 지시하는 정보에 대한 신호 형태는 RC(radio control) 수신기(receiver)(450)의 출력 신호의 형태로 변환되면, 사용자가 컨트롤러를 이용하여 외부 장치를 조종할 때 생성되는 신호의 형태와 동일할 수 있다. 즉, 본 문서에 따른 전자 장치(100)는 사용자가 직접 외부 장치(예: 드론)를 조종할 때와 마찬가지의 신호 형태로 신호를 변환하여 전송하기 때문에 외부 장치(예: 드론)의 종류에 상관없이 통신 및 제어가 가능한 장점이 있다.일 실시예에 따르면, 프로세서(120)는 IR 마커의 중심점과 상기 외부 장치에 포함된 IR(infrared) 카메라의 중심점의 위치를 좌표 상에 표시하고, 좌표 상의 중심점들의 위치 차이를 기반으로 상기 외부 장치의 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치를 변경하고, 외부 장치의 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치를 확인하고, 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw) 중 적어도 어느 하나가 변경된 수치와 비교하여 지정된 수준을 초과하여 차이가 발생함에 기반하여 상기 외부 장치의 비행 제어부(flight control computer, FC) 상으로 상기 외부 장치의 방향 및 위치가 잘못되었음을 지시하는 정보를 송신할 수 있다.
일 실시예에 따르면, 프로세서(120)는 외부 장치의 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치를 확인하고, 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw) 중 적어도 어느 하나가 변경된 수치와 비교하여 지정된 수준을 초과하여 차이가 발생함에 기반하여 상기 외부 장치의 방향 및 위치가 잘못되었음을 지시하는 정보를 사용자에게 표시하고, 사용자가 직접 상기 외부 장치를 제어할 것인지 묻는 가이드를 표시하고, 사용자 선택에 기반하여 상기 외부 장치의 비행 제어부(flight control computer, FC)를 제어할 수 있는 권한을 부여할 수 있다.
일 실시예에 따르면, 프로세서(120)는 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw) 중 적어도 어느 하나가 변경된 수치와 비교하여 지정된 수준을 초과하여 차이가 발생함에 기반하여 상기 외부 장치의 비행 제어부(flight control computer, FC) 상으로 상기 외부 장치의 방향 및 위치가 잘못되었음을 지시하는 정보를 송신하고, 지정된 시간 이후 다시 상기 외부 장치의 움직임, 위치 및 방향을 확인하고, 앞서 변경된 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw) 수치와 비교하여 현재 상기 외부 장치의 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw) 수치가 지정된 수준 내에서 일치하는 지 결정하고, 지정된 시간 이후에도 상기 외부 장치의 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw) 중 적어도 어느 하나의 수치가 지정된 수준을 초과하여 벗어나는 경우, 해당 요소를 인공지능 학습모델을 이용하여 학습시킬 수 있다.
인공지능 학습모델은 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw) 중에서 어떤 요소가 기준에서 벗어났는지, 이상이 발생한 지점의 위치 , 이상이 발생한 순간의 풍속, 온도, 상기 외부 장치의 자세, 상기 외부 장치의 속도 또는 상기 외부 장치의 기체 떨림 중 적어도 어느 하나를 인풋으로 하여 학습을 수행하고, 외부 장치의 비행 중 이상이 발생한 지점의 위치 , 이상이 발생한 순간의 풍속, 온도, 상기 외부 장치의 자세, 상기 외부 장치의 속도 또는 상기 외부 장치의 기체 떨림 중 적어도 어느 하나가 일치함에 기반하여 상기 외부 장치가 목표 지점에서 이탈할 수 있으며 주의가 필요함을 지시하는 가이드를 제공할 수 있다.
일 실시예에 따르면, 프로세서(120)는 제 1외부 장치의 착륙 지점에서 지정된 거리 내의 일 지점을 착륙 지점으로 하는 제 2 외부 장치를 감지함에 기반하여 제 2외부 장치의 존재를 지시하는 정보를 사용자에게 표시하고, 제 2 외부 장치와 구분되는 상기 제 1외부 장치의 고유 식별 정보(ID)에 기반하여 착륙 지점의 IR 마커의 출력 패턴을 변경하고, 착륙 지점이 비슷한 제 1 외부 장치의 존재를 지시하는 정보를 상기 제 2 외부 장치의 통신 회로 상으로 전송할 수 있다.
일 실시예에 따르면, 프로세서(120)는 통신 회로(140)를 이용하여 제 1 외부 장치와 통신 연결을 수립함에 기반하여 서버 상에서 동 시간대에 상기 제 1 외부 장치의 착륙 지점에서 지정된 거리 이내의 지점에 착륙을 시도하는 적어도 하나의 다른 외부 장치의 정보를 수신하고, 다른 외부 장치의 수가 지정된 수준을 초과함에 기반하여 제 1 외부 장치의 착륙 시간을 조정할 필요가 있음을 지시하는 정보를 사용자에게 제공하고, 사용자 입력에 기반하여 상기 제 1 외부 장치의 속도를 기존에 비해 상대적으로 더 빠르게 제어하거나 또는 기존에 비해 상대적으로 더 느리게 제어할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
Claims (3)
- 전자 장치에 있어서,
통신 회로;
메모리;및
프로세서를 포함하고,
상기 프로세서는
통신 회로를 이용하여 외부 장치와 통신 연결을 수립하고, 상기 외부 장치로부터 IR카메라로 촬영된 착륙 위치 정보를 수신하고,
상기 외부 장치의 위치, 상기 외부 장치에 포함된 IR(infrared) 카메라의 중심점의 위치 및 착륙 위치에 기반하여 상기 외부 장치를 기준으로 착륙 위치까지 방향과 거리를 계산하고,
계산된 방향 및 거리 값에 기반하여 상기 외부 장치의 움직임을 지시하는 정보를 생성하고 상기 외부 장치의 비행 제어부(flight control computer, FC) 상으로 송신하고,
상기 외부 장치의 움직임 및 상기 외부 장치를 기준으로 착륙 위치까지의 방향과 거리 변화를 감지하고 상기 외부 장치의 움직임을 지시하는 정보를 수정하여 재송신하며,
상기 외부 장치의 움직임을 지시하는 정보는
롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치 값을 포함하고, RC(radio control) 수신기(receiver)의 출력 신호의 형태로 변환되어 상기 비행 제어부(FC)로 전송되며,
상기 RC 수신기의 출력 신호의 형태는
SBUS(serial BUS) 신호를 포함하고,
상기 착륙 위치 정보는
착륙 지점의 IR(infrared) 마커의 위치 정보를 포함하는 전자 장치.
- 제 1항에 있어서,
상기 프로세서는
통신 회로를 이용하여 상기 외부 장치의 고유 식별 정보(ID)를 수신하고,
상기 외부 장치의 고유 식별 정보(ID)에 기반하여 착륙 지점의 IR 마커의 출력 패턴을 변경하고,
상기 외부 장치의 비행 제어부(flight control computer, FC) 상으로 착륙 지점의 IR 마커의 출력 패턴이 변경되었음을 지시하는 정보를 송신하고,
출력 패턴이 변경된 IR 마커의 위치를 기준으로 상기 외부 장치와 착륙 지점 사이의 방향과 거리를 계산하고, 상기 외부 장치의 움직임을 지시하는 정보를 송신하는 전자 장치.
- 제 1항에 있어서,
상기 프로세서는
상기 IR 마커의 중심점과 상기 외부 장치에 포함된 IR(infrared) 카메라의 중심점의 위치를 좌표 상에 표시하고,
좌표 상의 중심점들의 위치 차이를 기반으로 상기 외부 장치의 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치를 변경하고,
상기 외부 장치의 롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw)에 대한 수치를 확인하고,
롤(roll), 피치(pitch), 스로틀(throttle) 및 요(yaw) 중 적어도 어느 하나가 변경된 수치와 비교하여 지정된 수준을 초과하여 차이가 발생함에 기반하여 상기 외부 장치의 비행 제어부(flight control computer, FC) 상으로 상기 외부 장치의 방향 및 위치가 잘못되었음을 지시하는 정보를 송신하고,
사용자가 직접 상기 외부 장치를 제어할 것인지 묻는 가이드를 표시하고,
사용자 선택에 기반하여 상기 외부 장치의 비행 제어부(flight control computer, FC)를 제어할 수 있는 권한을 부여하는 전자 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220137059A KR102495890B1 (ko) | 2022-10-24 | 2022-10-24 | Ir 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220137059A KR102495890B1 (ko) | 2022-10-24 | 2022-10-24 | Ir 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102495890B1 true KR102495890B1 (ko) | 2023-02-06 |
Family
ID=85224079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220137059A KR102495890B1 (ko) | 2022-10-24 | 2022-10-24 | Ir 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102495890B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190105540A (ko) * | 2019-07-23 | 2019-09-17 | 엘지전자 주식회사 | 무인 항공 시스템에서 스테이션 인식을 통한 무인 항공 로봇 착륙 방법 및 이를 지원하기 위한 장치 |
| KR102035013B1 (ko) * | 2018-11-16 | 2019-10-22 | 주식회사 어썸텍 | 무인비행장치의 장애물 회피용 제어신호 발생기 |
| JP2020201832A (ja) * | 2019-06-12 | 2020-12-17 | ソフトバンク株式会社 | 管理装置、プログラム、システム及び管理方法 |
| KR20220068606A (ko) | 2020-11-19 | 2022-05-26 | 한서대학교 산학협력단 | 부분 영상을 고려한 드론의 자동 착륙 알고리즘 |
| KR102448233B1 (ko) | 2021-12-13 | 2022-10-04 | 주식회사 유시스 | 정밀 착륙을 위한 드론 제어 방법 |
-
2022
- 2022-10-24 KR KR1020220137059A patent/KR102495890B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102035013B1 (ko) * | 2018-11-16 | 2019-10-22 | 주식회사 어썸텍 | 무인비행장치의 장애물 회피용 제어신호 발생기 |
| JP2020201832A (ja) * | 2019-06-12 | 2020-12-17 | ソフトバンク株式会社 | 管理装置、プログラム、システム及び管理方法 |
| KR20190105540A (ko) * | 2019-07-23 | 2019-09-17 | 엘지전자 주식회사 | 무인 항공 시스템에서 스테이션 인식을 통한 무인 항공 로봇 착륙 방법 및 이를 지원하기 위한 장치 |
| KR20220068606A (ko) | 2020-11-19 | 2022-05-26 | 한서대학교 산학협력단 | 부분 영상을 고려한 드론의 자동 착륙 알고리즘 |
| KR102448233B1 (ko) | 2021-12-13 | 2022-10-04 | 주식회사 유시스 | 정밀 착륙을 위한 드론 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Choi et al. | Unmanned aerial vehicles using machine learning for autonomous flight; state-of-the-art | |
| Yan et al. | Fixed-Wing UAVs flocking in continuous spaces: A deep reinforcement learning approach | |
| US20200050894A1 (en) | Artificial intelligence apparatus and method for providing location information of vehicle | |
| Maravall et al. | Vision-based anticipatory controller for the autonomous navigation of an UAV using artificial neural networks | |
| CN113848984B (zh) | 一种无人机集群控制方法及系统 | |
| Pinto et al. | Arcog: An aerial robotics cognitive architecture | |
| Koutras et al. | Autonomous and cooperative design of the monitor positions for a team of uavs to maximize the quantity and quality of detected objects | |
| CN111857184A (zh) | 基于深度强化学习的固定翼无人机群集控制避碰方法及装置 | |
| Rezaei et al. | Mobile robot monocular vision-based obstacle avoidance algorithm using a deep neural network | |
| Zhang et al. | Tactical conflict resolution in urban airspace for unmanned aerial vehicles operations using attention-based deep reinforcement learning | |
| Hoang et al. | An adaptive weighting mechanism for Reynolds rules-based flocking control scheme | |
| Xu et al. | Avoidance of manual labeling in robotic autonomous navigation through multi-sensory semi-supervised learning | |
| KR102495890B1 (ko) | Ir 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 | |
| Khamis et al. | Deep learning for unmanned autonomous vehicles: A comprehensive review | |
| KR20210042537A (ko) | 대면적의 공간에서 로컬 영역별로 위치를 추정하는 방법 및 이를 구현하는 로봇과 클라우드 서버 | |
| Gavrilov et al. | Mobile robot navigation using reinforcement learning based on neural network with short term memory | |
| Chronis et al. | Dynamic navigation in unconstrained environments using reinforcement learning algorithms | |
| Mandloi et al. | Machine learning approach for drone perception and control | |
| Duc Bui et al. | Autonomous unmanned aerial vehicle flight control using multi-task deep neural network for exploring indoor environments | |
| Wang et al. | Intention recognition of UAV swarm with data-driven methods | |
| Xia et al. | Intelligent Method for UAV Navigation and De-confliction--Powered by Multi-Agent Reinforcement Learning | |
| Obaid et al. | Obstacle avoidance in unmanned aerial vehicles using image segmentation and deep learning | |
| Pradhan et al. | Artificial intelligence empowered models for UAV communications | |
| KR102635526B1 (ko) | 횡단보도 신호등 연계 기반 바닥 신호등 제어 시스템 | |
| KR102653905B1 (ko) | 인공지능 모델 기반 it 인프라 장비의 상태 모니터링 및 유지 보수 정보 알람 서비스 제공 방법, 장치 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |