KR101959366B1 - 무인기와 무선단말기 간의 상호 인식 방법 - Google Patents

무인기와 무선단말기 간의 상호 인식 방법 Download PDF

Info

Publication number
KR101959366B1
KR101959366B1 KR1020180041726A KR20180041726A KR101959366B1 KR 101959366 B1 KR101959366 B1 KR 101959366B1 KR 1020180041726 A KR1020180041726 A KR 1020180041726A KR 20180041726 A KR20180041726 A KR 20180041726A KR 101959366 B1 KR101959366 B1 KR 101959366B1
Authority
KR
South Korea
Prior art keywords
wireless terminal
uav
image
information
user
Prior art date
Application number
KR1020180041726A
Other languages
English (en)
Inventor
정승호
박재홍
Original Assignee
주식회사 아르고스다인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아르고스다인 filed Critical 주식회사 아르고스다인
Priority to KR1020180041726A priority Critical patent/KR101959366B1/ko
Priority to PCT/KR2018/005519 priority patent/WO2019198868A1/ko
Priority to US16/960,877 priority patent/US11815913B2/en
Priority to KR1020180106871A priority patent/KR102334509B1/ko
Application granted granted Critical
Publication of KR101959366B1 publication Critical patent/KR101959366B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0202Control of position or course in two dimensions specially adapted to aircraft
    • G06K9/2081
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/16Flying platforms with five or more distinct rotor axes, e.g. octocopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)

Abstract

무인기와 무선단말기 간의 상호 인식 방법이 개시된다. 본 발명의 일 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신하는 단계를 포함하는 무인기와 무선단말기 간의 상호 인식 방법이 제공될 수 있다.

Description

무인기와 무선단말기 간의 상호 인식 방법 {Mutual recognition method between UAV and wireless device}
본 발명은 무인기와 무선단말기 간의 상호 인식 방법에 관한 것이다.
현재 무인비행체인 드론 시장이 활발하게 되면서 드론을 이용한 물품배송, 픽업 서비스, 구호응급물품 제공 등 관련 산업이 확장되고 있다.
여러 관련 기술들이 개발되고 있으나 현재 GPS 위치 오차나 주변 구조물 등의 장애에 의하여 드론 서비스를 요청한 서비스 사용자를 정확히 인증하고 인식하는데 기술적 문제가 존재한다.
좀 더 구체적으로, 수취인(사용자) 위치정보가 입력되면 드론은 해당 위치를 목적지로 하는 자율 비행을 통해 수취인을 향해 날아가게 된다. 다만, 현재 GPS 기술로는 10~50m의 오차가 발생하며, 특히 드론의 시야를 방해하는 장애물이 존재(예:나무가 우거진 숲)하거나 목적지에 수취인을 포함하는 불특정 여러 사람이 위치하는 경우(예:공원 등)에는 드론의 수취인 특정이 어려운 문제가 있다.
또한, 드론, 서버, 수취인이 연결되어 인증한다는 것은 근처에 수취인이 존재하는 것을 드론과 서버가 인지한다는 의미일 뿐, 드론이 수취인을 인식하고 있는 것을 의미하지는 않는다.
따라서, 수취인과 드론이 상호 확인하는 동작(authentication) 후에, 수취인을 인식(recognition)하기 위한 특정(detect & marking) 동작이 이루어져야하며, 이를 위해 드론이 잘 보이는 곳 또는 장애물이 없는 오픈 공간으로 드론을 이동시켜야할 필요가 있다.
국내의 사고 정보 제공 서비스와 관련된 특허를 검토하면 '무인배송로봇의 사용자 식별을 통한 배송 방법(제10-2017-0110341호, 공개일자 2017.10.11)'이 존재한다. 본 공개특허에는 무인배송로봇이 배송지 사용자 위치 근방의 위치까지 오면 위치인식이 부정확한 경우에도 로봇과 접촉하지 않고도 사용자를 식별하여 원활하고 효과적인 배송 서비스가 가능하도록 하겠다는 개념이 개시되어 있다.
선행 사용자 식별 방법은 드론이 원거리에서 사용자를 확인하는 기술에 관한 것으로, 드론과 사용자가 상호 인증 후에 드론이 사용자를 특정하는 방법에 대해서는 명확히 개시하지 않고 있다.
대한민국 공개특허공보 제10-2017-0110341호(2017.10.11)
본 발명은 무인기(드론) 서비스를 요청한 서비스 사용자의 근처 상공까지 이동한 무인기가 사용자의 무선단말기(스마트기기)와의 통신으로 상호 인증하고, 인증 후에 무인기가 사용자를 정확히 인식하여 사용자를 특정할 수 있도록 하는 무인기와 무선단말기 간의 상호 인식 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 일 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 오리엔테이션(orientations)에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 수신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무인기가 서버 또는 무선단말기로부터 상기 무선단말기의 상태정보를 수신하는 단계 및 상기 무인기가 상기 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟(target)의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅(tilting)하도록 제어하는 단계를 포함하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 무인기가 서버로부터 무선단말기의 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 수신하는 단계 및 상기 무인기가 상기 신호를 바탕으로 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 상기 상태정보는 상기 무선단말기의 외부 자기장에 관한 정보 또는 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 것임을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법이 제공된다.
또한, 상기 서버가 상기 무인기로 제1 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 송신하는 단계를 더 포함할 수 있다.
또한, 상기 무인기가 상기 무선단말기를 가지고 있는 타겟을 촬영하는 단계 및 상기 무인기가 상기 촬영된 영상을 상기 서버 또는 상기 무선단말기에 송신하는 단계를 더 포함할 수 있다.
또한, 상기 무선단말기가, 상기 무인기 또는 상기 서버로부터 상기 무인기가 촬영한 상기 무선단말기를 가지고 있는 타겟의 영상을 수신하는 단계, 상기 무선단말기가 상기 단말기 내 출력부에 상기 영상을 출력하는 단계, 상기 무선단말기가 상기 영상 내 존재하는 특정 타겟에 대한 영상 부분을 선택 입력받는 단계 및 상기 무선단말기가 상기 영상 부분을 상기 서버 또는 무인기로 송신하는 단계를 포함할 수 있다.
또한, 상기 제1 상태정보는 무선단말기의 방위각 정보를 포함할 수 있다. 방위각 정보는 구면좌표계에서 측정되는 각도를 뜻하며, 원점에 있는 관측자로부터 대상까지의 벡터를 기준 평면에 수직으로 투영하여, 그것이 기준 평면 위에 있는 기준 벡터와 이루는 각으로 계산된다. 기준벡터는 진북, 도북, 자북 등이 될 수 있다.
또한, 상기 무인기가 상기 영상을 바탕으로 식별된 타겟을 따라 비행하도록 제어하는 단계를 더 포함할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 상기 방법에 포함된 단계를 무선단말기에서 실행시키는 기록매체에 저장된 어플리케이션을 제공할 수 있다.
본 발명에 따르면 무인기와 무선단말기 간의 상호 인식 방법을 제공할 수 있다.
본 발명에 따르면 무인기 서비스를 요청한 서비스 사용자의 근처 상공까지 이동한 무인기가 사용자의 무선단말기와의 통신으로 상호 인증하고, 인증 후에 무인기가 사용자를 정확히 인식하여 사용자를 특정할 수 있도록 하는 무인기와 무선단말기 간의 상호 인식 방법을 제공할 수 있다.
도 1은 본 발명에 따른 서버와 무인기와 무선단말기 간의 통신 연결 관계도이다.
도 2는 서버의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다.
도 3은 무선단말기의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다.
도 4 내지 5는 무인기의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다.
도 6 내지 8은 본 발명의 실시예에 따른 무인기와 무선단말기 간의 상호 인식 방법을 나타내는 설명도이다.
도 9는 본 발명의 실시예에 따른 특정 타겟에 대한 영상부분을 선택하는 디스플레이 화면 예시도이다.
도 10은 본 발명이 적용된 애플리케이션에서 서버, 무인기, 사용자 무선단말기 간의 동작을 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명에 따른 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 이하 사용되는 제1, 제2 등과 같은 용어는 동일 또는 상응하는 구성 요소들을 구별하기 위한 식별 기호에 불과하며, 동일 또는 상응하는 구성 요소들이 제1, 제2 등의 용어에 의하여 한정되는 것은 아니다.
또한, 결합이라 함은, 각 구성 요소 간의 접촉 관계에 있어, 각 구성 요소 간에 물리적으로 직접 접촉되는 경우만을 뜻하는 것이 아니라, 다른 구성이 각 구성 요소 사이에 개재되어, 그 다른 구성에 구성 요소가 각각 접촉되어 있는 경우까지 포괄하는 개념으로 사용하도록 한다.
또한, 컴퓨터 프로그램과 관련하여, 구성요소에 대한 접미사 "모듈" 및/또는 "부"는 컴퓨터를 특정 기능의 수단으로 기능시키기 위한 컴퓨터 프로그램의 일부이거나, 컴퓨터에서 특정 기능을 실현시키기 위한 컴퓨터 프로그램의 일부일 수 있다. 예를 들어, 모듈 A는 컴퓨터를 수단 A로 기능시키기 위한 컴퓨터 프로그램 또는 컴퓨터에 기능 A를 실현시키기 위한 컴퓨터 프로그램으로 해석될 수 있다. 방법으로서 "단계"는 컴퓨터에 컴퓨터 프로그램으로 구현되어 실행될 수 있다. 또한, "모듈" 및/또는 "부"가 모여 "군"을 이룰 수 있다.
한편, 애플리케이션(Application)이란 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램의 집합을 가리키는 것으로, 응용프로그램이라고도 한다. 사용자는 본 발명의 실시예에 따른 애플리케이션을 자신의 전자기기에 인스톨하는 것으로 관련 기능을 추가할 수 있다.
애플리케이션이 인스톨되는 사용자의 전자기기란 컴퓨터, 태블릿PC, 스마트폰과 같이 CPU, RAM, ROM, 저장장치 등으로 구성되고, Windows, ios, 안드로이드, 리눅스 등의 그래픽 운영체제로 전체 시스템이 제어되는 환경인 것이 바람직하며, 특히 등록된 연락처로 전화 및 문자를 주고받거나, 카메라를 구비하여 영상을 촬영할 수 있고, 촬영된 영상을 전송할 수 있는 스마트폰에 특화되었다.
또한, 본 명세서에 첨부된 도면의 순서도는 발명을 설명하기 위한 순서도에 불과하며, 컴퓨터 상에 버그 없이 완벽히 구현되기 위한 순서도일 필요는 없다.
또한, 본 명세서에서 언급된 단말기는 일반적인 사용자 단말기로서 스마트폰, 퍼스널 컴퓨터, 태블릿 PC 등이 될 수 있다.

도 1은 본 발명에 따른 서버와 무인기와 무선단말기 간의 통신 연결 관계를 도식화한 것이다.
도 1을 참조하여 설명하면, 무인기(10)와 사용자 무선단말기(20)와 서버(30)가 데이터를 주고받을 수 있다. 일반적으로 무인기는 사람이 탑승하지 않는 무인비행체를 일컬으나 본 발명의 실시효과는 사용자의 정확한 위치와 인식을 필요로 하는 모든 비행 이동체에 적용 가능하므로, 본 발명에 따른 무인기는 촬영수단(예: 카메라 등), 지자기 센서, 3축 가속도 센서, GPS(GNSS) 등의 센서가 내장되어 위치좌표, 방위각 등의 정보를 갖는 이동수단을 통칭할 수 있다.
본 발명에 따른 사용자는 무인기에 의한 물품배송의 수취인, 다른 곳으로 물품을 배달시키기 위하여 무인기 서비스를 요청한 픽업서비스 사용자, 드론 온 디맨드 촬영 서비스를 요청한 사용자 등 무인기에 의한 서비스를 받는 모든 사용자가 될 수 있다.
일반적으로 무선 통신을 통하여 서버는 무인기 및 사용자 무선단말기와 데이터를 주고 받을 수 있으나, 반드시 무선 통신에 한정되는 것은 아니며 유선 통신을 통해 데이터를 주고 받아도 무방하다. 본 명세서에서는 데이터를 주고 받는 것에 관한 기술에 대해서 그 설명을 생략한다.
서버는 무인기가 무선단말기를 가지고 있는 사용자에 물품 배송 등의 무인기 활용 서비스를 제공하기 위한 소정의 목적을 가지고 서로 접근하는 경우, 무인기 및/또는 사용자 무선단말기에서 송신되는 정보를 수신한다. 여기서 사용자 무선단말기에서 송신되는 정보란 무인기의 비행 관련 정보, 상태정보, 사용자 정보, 위치 정보 등이 될 수 있다.
좀 더 구체적으로, 서버는 사용자의 위치 정보를 포함하는 상태정보를 기반으로 무인기의 동작(예: 출동, 인증, 가이드, 귀환 등)에 필요한 명령을 무인기로 전송한다. 또한, 서버는 무인기의 이상유무, 비행경로 파악, 사용자의 상태 등에 따른 상황을 지속적으로 모니터링하며, 무인기와 사용자의 인증 시 사용자와 무인기의 상대적 위치 정보, 고도 정보, 방위각 정보 등을 기준으로 착륙 및 가이드에 필요한 무인기의 경로조정 데이터를 계산할 수 있다. 또한, 서버는 착륙 시 사용자의 위치 정보, 방위각 정보 등을 기준으로 무인기의 착륙지점 위치를 계산하여 무인기로 전송할 수 있다.
한편, 무인기는 위치, 속도, 고도, 방위각, 배터리 상태 등을 포함하는 기체의 모든 상태 정보 및 비행 관련 정보를 지속적으로 서버에 전송한다. 또한, 무인기는 사용자와의 인증 시점에서의 고도, 방위각, 사용자와의 상대각 정보 등을 서버에 전송할 수 있다.
한편, 사용자 무선단말기는 무선단말기의 위치정보, 각도, 방위각 정보 등의 데이터 및 명령을 서버로 전송한다. 또한, 사용자 무선단말기는 서버로부터 전송된 무인기 정보 및 상황을 디스플레이할 수 있다.
도 2는 서버의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다. 도 2를 참조하면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신하는 단계(S210); 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 수신하는 단계(S220); 및 상기 서버가 상기 무인기로 제1 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 송신하는 단계(S230)로 이루어진다. 상기 S210 단계와 S220 단계는 순차적일 필요는 없으며 선후가 바뀌거나 동시에 수행되어도 무방하다. 또한, 상기 S210 단계와 S220 단계 중 어느 하나의 단계만 존재하여도 무방하다.
여기서, 무선단말기는 일반 사용자가 손으로 파지할 수 있는 일반적인 스마트폰이 될 수 있다. 또한, 이미지센서란 렌즈에 의해 맺힌 광학적 이미지를 전기적 신호로 변환하는 것으로, 이미지센서는 CCD(charge coupled device, 전하 결합 소자), MOS(metal oxide semi-conductor, 금속 산화막 반도체), CMOS(complementary metal-oxide semiconductor, 상보성 금속 산화막 반도체) 등으로 구성될 수 있다. 다만, 이미지센서의 종류가 이에 제한되는 것은 아니다. 또한, 이미지는 광신호가 변환된 디지털 신호는 물론, 이러한 디지털 신호가 디스플레이 장치를 통해 가시화된 광으로 출력된 결과물까지 포함하는 광의의 개념일 수 있다.
또한, 촬상면이란 필름이나 디지털 카메라의 CCD, CMOS 센서와 같이 사진기의 집광부에서 빛을 받아들이는 역할을 하는 소자의 면적을 말하는 것으로, 이미지센서 내에 피사체의 이미지가 맺히는 장소를 뜻한다. 또한, 소정의 구획이란 촬상면의 특정 부분을 뜻하는 것으로서 일반적으로 촬상면의 중앙부 정도가 될 수 있다. 다만, 소정의 구획은 반드시 중앙에 한정되는 것은 아니다. 또한, 촬상면의 소정의 구획에 무인기의 상이 위치하는지 여부는 사용자 무선단말기 내 디스플레이 화면 상에 무인기가 위치하는지 여부와 일치할 수 있으나, 본 발명이 이에 국한되는 것은 아니다. 다시 말해, 디스플레이 화면이 구비되지 않은 단말기(예: 블랙박스 등)의 경우에도 무인기가 단말기를 정면으로 마주보고 있는지 여부를 판단할 수 있다면 본 발명의 권리범위 내에 포함된다고 볼 수 있다. 본 발명은 무인기를 기준으로 사용자 단말기가 어디에 위치하고 있는지를 파악하는 것이 핵심이며, 본 발명의 일 실시예로서 무선단말기 내 이미지센서의 촬상면에 무인기의 상이 맺히는 시점에서 무인기와 사용자 단말기가 정면으로 마주보고 있다고 판단할 수 있다고 명시할 뿐이다.
또한, 무인기와 사용자 단말기가 정면으로 마주보고 있다고 판단되는 시점에서 무인기와 사용자 단말기의 상대적인 위치 또는 방향이 계산될 수 있다.
다음으로, 제1 상태정보는 무선단말기의 외부 자기장 정보를 포함할 수 있다. 외부 자기장에 관한 정보란 지구 자기장이 될 수 있다. 더욱 상세하게, 무선단말기 외부에 형성된 자기장에 관한 정보(예: 크기 및 방향 등)를 포함하는 일반 물리학상의 자기장에 관한 어떠한 속성의 정보도 포함한다. 또한, 본 명세서상의 단말기가 외부의 자기장을 측정할 때 자기장이 급격히 변하는 것도 외부 자기장 정보에 포함되는 개념이다. 예를 들어 외부 자기장이 급격히 세졌다 약해지는 것은 자기장 크기의 변화에 관한 개념이며, 이는 외부 자기장 정보에 포함되는 것이다. 또한, 자기장의 방향이 급속하게 변하는 것도 외부 자기장 정보에 포함되는 개념이다. 다시 말해, 외부 자기장에 관한 정보는 외부 자기장의 변화 개념을 포함하는 것으로 시간에 대한 자기장의 크기 또는 방향 변화를 포함하는 것이다. 또한, 제1 상태정보는 방위각 정보를 포함하는 것으로, 일반적으로 2차원 평면에 관한 정보를 제공할 수 있다. 또한, 제1 상태정보를 활용하는 경우에는 무인기 내 장착된 카메라가 하방으로 이미 틸팅된 경우에 효과적으로 활용될 수 있다.
다음으로, 제2 상태정보는 무선단말기의 오리엔테이션 정보를 포함할 수 있다. 오리엔테이션 정보란 단말기의 방향 위치 정보를 의미하며, 방위, 기울기, 회전 중 적어도 하나를 의미할 수 있다. 본 발명의 오리엔테이션 정보는 3차원 공간상의 방향성 정보를 나타낼 수 있으며, 물체의 방향을 나타내는 어떠한 속성의 값도 무방하다. 무선단말기의 오리엔테이션 정보는 광학식 자이로센서, MEMS 자이로센서 등을 통해 획득될 수 있는데, 이에 한정된 것은 아니다. 또한, 제2 상태정보는 방향성 정보를 포함하는 것으로, 일반적으로 3차원 평면에 관한 정보를 제공할 수 있다.
상기 내용을 더욱 상세하게 설명하면, 서버는 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때에 상기 무선단말기로부터 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 수신할 수 있다.
다른 말로, 서버는 스마트폰과 같은 무선단말기의 카메라에 드론과 같은 무인기가 포착되는 순간, 서버는 스마트폰에게 외부 자기장, 즉, 방위각 정보를 측정하라고 제어할 수 있다. 이를 통해, 무선단말기가 무인기를 정면으로 응시하는 순간의 무선단말기의 방위(예: 동서남북)를 측정할 수 있다.
한편, 서버는 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때에 상기 무선단말기로부터 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 수신할 수 있다.
다른 말로, 서버는 스마트폰과 같은 무선단말기의 카메라에 드론과 같은 무인기가 포착되는 순간, 서버는 스마트폰에게 오리엔테이션, 즉, 무인기의 기준위치에 대한 무선단말기 본체의 상대적인 방향 정보를 측정하라고 제어할 수 있다. 이를 통해, 무선단말기가 무인기를 정면으로 응시하는 순간의 무인기와 사용자 무선단말기 간의 상대적인 방향을 측정할 수 있다.
다음으로, 제1 또는 제2 상태정보를 수신한 서버는 상기 제1 또는 제2 상태정보를 바탕으로 무인기 또는 무인기 내 카메라를 제어할 수 있다. 더욱 상세하게, 무인기를 최초 기설정된 방향으로 호버링(hovering)할 수 있다. 예를 들어, 최초 무인기가 배송지점에 도달했을 때, 기설정된 방향(예: 정북방향)을 향하여 호버링할 수 있다. 이후 제1 또는 제2 상태정보가 서버를 통하여 무인기에 수신되거나 무선단말기로부터 직접 무인기에 수신되면, 무인기는 상기 제1 또는 제2 상태정보를 활용하여 무선단말기가 어느 방향에서 무인기를 응시하고 있는지 연산할 수 있다. 이후 상기 연산 결과를 바탕으로 무인기 내 카메라가 무선단말기를 응시할 수 있도록 카메라를 회전시키거나 혹은 무인기가 회전하도록 제어할 수 있다. 이를 통하여 무인기의 카메라가 무선단말기를 정면으로 응시할 수 있다.
도 3은 무선단말기의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다. 도3을 참조하여 설명한다. 단, 앞선 설명과 중복되는 부분은 생략하도록 한다. 도 3을 참조하면, 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 송신하는 단계(S310); 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 송신하는 단계(S320); 상기 무선단말기가, 상기 무인기 또는 상기 서버로부터 상기 무인기가 촬영한 상기 무선단말기를 가지고 있는 타겟의 영상을 수신하는 단계(S330); 상기 무선단말기가 상기 단말기 내 출력부에 상기 영상을 출력하는 단계(S340); 상기 무선단말기가 상기 영상 내 존재하는 특정 타겟에 대한 영상 부분을 선택 입력받는 단계(S350); 및 상기 무선단말기가 상기 영상 부분을 상기 서버 또는 무인기로 송신하는 단계(S360)로 이루어진다. 상기 S310 단계와 S320 단계는 순차적일 필요는 없으며 선후가 바뀌거나 동시에 수행되어도 무방하다. 또한, 상기 S310 단계와 S320 단계 중 어느 하나만 존재하여도 무방하다.
상기 내용을 더욱 상세하게 설명하면, 무선단말기는 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 외부 자기장에 관한 정보에 기초한 상기 무선단말기의 제1 상태정보를 송신할 수 있다.
한편, 무선단말기는 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 송신할 수 있다.
다음으로, 무선단말기는 상기 무인기 또는 상기 서버로부터 상기 무인기가 촬영한 상기 무선단말기를 가지고 있는 타겟의 영상을 수신하고, 상기 단말기 내 출력부에 상기 영상을 출력할 수 있다.
다른 말로, 사용자가 소지하고 있는 스마트폰이 외부 자기장에 관한 정보 또는 오리엔테이션에 관한 정보를 무인기 또는 서버로 전송함에 따라, 무인기는 사용자의 대략적인 위치 및 방향을 알 수 있게 된다. 이후 무인기가 사용자의 상공에 도달하게 되면 무인기는 사용자를 포함하는 소정의 범위를 촬영하게 되며, 사용자는 스마트폰을 통해 무인기로부터 촬영된 자신의 영상을 수신할 수 있다.
무인기로부터 수신된 촬영 영상은 사용자가 소지하고 있는 무선단말기 내 디스플레이 화면을 통해 출력될 수 있다. 다만, 출력된 영상에는 사용자뿐만 아니라, 다른 객체 또는 장애물이 존재할 수 있다. 예를 들어, 공원 같이 사람이 붐비는 장소의 경우, 불특정 여러 사람이 영상에 포함될 수 있다. 또는, 숲과 같이 나무가 우거져있거나, 도심 시가지와 같이 높은 빌딩이 다수 존재하는 경우, 나무 또는 빌딩과 같은 장애물 요인이 영상에 포함될 수 있다. 이러한 경우, 무인기는 영상을 통해 누가 사용자인지 식별하고 인식하는데 어려움이 존재할 수 있다. 따라서, 사용자가 무선단말기를 이용하여 특정 타겟(사용자)에 대한 영상 부분을 선택하여 무인기에게 알려주는 과정이 필요하다. 이를 위해 사용자는 무선단말기 내 디스플레이 화면에 출력되는 영상 중에서 특정 타켓에 대한 영상부분을 선택할 수 있다. 이러한 선택 입력은 화면 터치, 마킹 등의 사용자 조작을 통해 이루어질 수 있다. 무선단말기는 선택된 특정 타겟에 대한 영상을 서버 또는 무인기로 송신할 수 있으며, 이를 통해 무인기는 사용자 무선단말기로부터 특정된 사용자를 인식할 수 있다.
도 4 내지 5는 무인기의 관점에서 본 발명에 따른 방법을 도시한 흐름도이다. 도 4를 참조하여 설명한다. 단, 앞선 설명과 중복되는 부분은 생략하도록 한다. 도 4를 참조하면, 무인기는 무선단말기의 상태정보로부터 무인기 비행, 카메라 회전 또는 틸팅 등의 제어를 직접 수행할 수 있다. 구체적으로 무인기가 서버 또는 무선단말기로부터 상기 무선단말기의 상태정보를 수신하는 단계(S410); 상기 무인기가 상기 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟(target)의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅(tilting)하도록 제어하는 단계(S420); 상기 무인기가 상기 무선단말기를 가지고 있는 타겟을 촬영하는 단계(S430); 상기 무인기가 상기 촬영된 영상을 상기 서버 또는 상기 무선단말기에 송신하는 단계(S440); 및 상기 무인기가 상기 영상을 바탕으로 식별된 타겟을 따라 비행하도록 제어하는 단계(S450)로 이루어진다.
도 5를 참조하면, 무인기가 무선단말기의 상태정보로부터 서버가 산출한 무인기 비행, 카메라 회전 또는 틸팅 등의 제어 신호를 수신하여 서버의 명령에 따른 제어를 수행할 수 있다. 구체적으로 무인기가 서버로부터 무선단말기의 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 수신하는 단계(S510); 상기 무인기가 상기 신호를 바탕으로 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 단계(S520); 상기 무인기가 상기 무선단말기를 가지고 있는 타겟을 촬영하는 단계(S530); 상기 무인기가 상기 촬영된 영상을 상기 서버 또는 상기 무선단말기에 송신하는 단계(S540); 및 상기 무인기가 상기 영상을 바탕으로 식별된 타겟을 따라 비행하도록 제어하는 단계(S550)로 이루어진다.
다시 말해, 무인기는 무선단말기의 상태정보를 직접 수신하거나, 서버를 통해 수신할 수 있다.
또한, 무인기는 수신된 무선단말기의 상태정보를 바탕으로 무인기 내 카메라의 촬상면에 무선단말기를 가지고 있는 사용자의 상이 위치하도록 무인기의 비행을 직접 제어하거나, 서버로부터 제어 신호를 수신하여 서버의 명령에 따라 무인기의 비행을 제어할 수 있다.
또한, 무인기는 수신된 무선단말기의 상태정보를 바탕으로 무인기 내 카메라의 촬상면에 무선단말기를 가지고 있는 사용자의 상이 위치하도록 무인기의 카메라를 회전 또는 틸팅하도록 제어하거나, 서버로부터 제어 신호를 수신하여 서버의 명령에 따라 무인기의 카메라를 회전 또는 틸팅하도록 제어할 수 있다.
무인기의 비행을 제어하거나, 무인기의 카메라를 회전 또는 틸팅하도록 제어함으로써, 무인기내 촬상면에 무선단말기를 가지고 있는 사용자의 상이 위치하게 되면, 무인기는 무선단말기를 가지고 있는 사용자를 타겟으로 하여 사용자가 포함되는 소정의 범위의 영상을 촬영할 수 있다. 다음으로, 무인기는 촬영된 영상을 서버 또는 무선 단말기에 송신할 수 있다.
또한, 무인기는 촬영된 영상을 바탕으로 식별된 타겟을 따라 비행할 수 있다. 이를 통해 사용자는 무인기로부터 물품 배송 등의 서비스를 제공받기 위해 무인기의 착륙이 용이한 장소로 무인기를 유도할 수 있다.
도 6 내지 8은 본 발명의 실시예에 따른 무인기와 사용자 무선단말기 간의 상호 인식 방법을 나타내는 설명도이다. 도 6을 참조하여 설명하면, 무인기는 사용자 무선단말기의 상태정보를 바탕으로 사용자의 근접 상공까지 이동할 수 있다. 이 때, 무인기는 사용자 위치로 이동하는 과정에서 일정한 방향성을 갖게 되는데, 무인기는 사용자 근접 상공에 도착한 이후, 기설정된 방향(예: 도착 직전의 비행 방향)을 유지하며 호버링할 수 있다. 다만, 사용자 근접 상공 도착 직후의 무인기는 대략적인 사용자 위치 범위를 인지할 뿐, 무인기가 무인기와 사용자 무선단말기 간의 상대적인 위치 및 방향은 알지 못한다. 무인기와 사용자가 서로를 정확히 인식하기 위해 무인기는 무선단말기가 어느 방향에서 무인기를 응시하고 있는지를 인식할 필요가 있다.
도 7 내지 8을 참조하여 무인기가 무인기와 사용자 무선단말기 간의 상대적인 방향을 인식하는 과정을 후술한다. 사용자가 위치하는 상공에 무인기가 도착하면, 사용자는 자신이 파지하고 있는 무선단말기를 이용하여 상공에서 호버링 중인 무인기를 촬영할 수 있다. 바람직하게는 사용자가 장애물이 없는 오픈된 공간으로 이동한 후, 무인기 촬영 동작을 수행할 수 있다.
더욱 구체적으로, 사용자는 무선단말기 내 이미지센서의 촬상면 또는 무선단말기 화면의 소정의 구획(예: 정중앙)에 무인기의 상이 위치할 때, 촬영 버튼을 클릭하는 등의 입력을 통해 무인기를 촬영할 수 있다. 다만, 사용자가 촬영 버튼을 클릭하는 등의 동작을 수행하는 과정에서 촬영 오차(예: 손 떨림)가 발생될 수 있으므로, 바람직하게는 촬상면 또는 촬영화면 내 특정 위치(예: 정중앙)에 무인기 화상이 맺히는 순간, 애플리케이션 자체에서 촬영 동작이 자동적으로 수행될 수 있다. 이러한 촬영 동작을 통해 사용자 무선단말기의 제1 상태정보 및 제2 상태정보가 서버 또는 무인기로 전송될 수 있다. 여기서 사용자 무선단말기의 상태정보는 사용자 무선단말기의 거수 높이, 기울기 각도, 촬영방위각도 등을 포함할 수 있다.
서버 또는 무인기는 전송된 무선단말기의 상태정보를 바탕으로 전송된 사용자 무선단말기의 상태정보와 도착 시점에서의 무인기의 위치 및 방위각 정보 비교를 통해, 무인기 대비 사용자 무선단말기의 상대 방위를 산출할 수 있다.
더욱 구체적으로, 사용자 무선단말기의 촬상면(또는 디스플레이 화면)에 무인기의 상이 맺히는 시점에서, 무인기의 호버링 방위각(헤딩포인트각)과 사용자 무선단말기의 촬영각 및 촬영방위정보 등을 비교하여 무인기의 헤딩포인트각 대비 사용자의 상대방위각 위치를 연산할 수 있다. 이를 통해 서버 또는 무인기는 무인기를 중심점으로 하였을 때, 사용자가 어느 방향에 있는지를 인식할 수 있다. 다시 말해, 해당 무인기 서비스를 제공받고자 하는 사용자의 위치 및 방향이 특정됨으로써, 무인기와 사용자 무선단말기는 서로를 상호 인식할 수 있다.
이후, 서버 또는 무인기는 무인기가 호버링하는 동안 무인기 비행(예: 호버링 방향)을 제어하거나 무인기 내 카메라의 회전 또는 틸팅을 제어할 수 있다. 이러한 제어를 통해 무인기 또는 무인기 내 카메라와 사용자 무선단말기는 서로를 정면으로 응시할 수 있으며, 이는 무인기가 무인기 내 카메라 촬상면 안에 사용자를 포함하는 소정의 범위의 영상을 위치시킬 수 있다는 것을 의미한다. 다만, 정확한 무인기 서비스가 제공되기 위해서는 무인기와 사용자를 일대일 매칭하기 위한 동작이 추가적으로 수행될 필요가 있다.
이를 위해 무인기는 사용자 무선단말기와 무인기가 서로 마주하게 되는 시점에서 사용자를 포함하는 소정의 범위를 촬영할 수 있다. 이후, 무인기는 촬영된 영상을 사용자 무선단말기로 전송할 수 있다. 전송된 영상은 사용자 무선단말기 내 디스플레이 화면에 출력될 수 있으며, 사용자는 무선단말기 내 디스플레이 화면에 출력되는 영상 중에서 특정 타켓에 대한 영상부분을 선택할 수 있다.
도 9는 본 발명의 실시예에 따른 특정 타겟에 대한 영상부분을 선택하는 디스플레이 화면 예시도이다. 도 9를 참조하면, 사용자 무선단말기는 무인기가 촬영한 사용자를 포함하는 소정의 범위에 관한 촬영 영상을 수신할 수 있다. 또한, 무선단말기 상의 디스플레이 화면에 이를 표시할 수 있다. 사용자는 무선단말기 내 디스플레이 화면에 출력되는 영상 중에서 특정 타켓에 대한 영상부분을 선택할 수 있으며, 이러한 선택 입력은 화면 터치, 마킹 등의 사용자 조작을 통해 이루어질 수 있다. 이후, 무선단말기는 선택된 특정 타겟에 대한 영상을 서버 또는 무인기로 송신할 수 있고, 이를 통해 무인기와 사용자는 일대일로 매칭될 수 있다.
또한, 무인기는 촬영된 영상을 바탕으로 식별된 타겟을 따라 비행할 수 있다. 이를 통해 사용자는 무인기로부터 물품 배송 등의 서비스를 제공받기 위해 무인기의 착륙이 용이한 장소로 무인기를 유도할 수 있다.
도 10은 본 발명이 적용된 애플리케이션에서 서버, 사용자 무선단말기, 무인기 간의 동작을 나타내는 도면이다. 도 10을 참조하면, 사용자로부터 서비스 요청을 받고 물품 또는 서비스를 탑재한 무인기가 사용자 근처 상공에 도착하면, 무인기는 서버로 사용자 근접 상공에 도착했다는 알림을 전송할 수 있다. 다음으로, 서버는 사용자 단말기에 무인기의 도착을 알림과 동시에 애플리케이션 실행을 명령할 수 있다. 애플리케이션 실행 명령은 텍스트 알림, 음성 알림, 또는 일반적인 전화 형태 등 사용자 무선단말기에서 수행할 수 있는 다양한 기능들을 기반으로 하여 사용자에게 안내될 수 있다. 다음으로, 사용자가 알림을 수락하는 특정 동작(예: 터치 등)을 통해 애플리케이션을 실행하게 되면, 사용자 단말기, 서버 및 무인기 3자간의 네트워크 연결이 승인될 수 있다. 네트워크 연결 승인이 완료되면, 서버는 사용자 단말기에 무인기 위치 확인 및 무인기 촬영을 요청할 수 있다. 다음으로, 사용자 단말기가 무인기를 촬영하여 촬영된 영상을 서버로 전송하면, 서버는 촬영된 영상에 포함된 단말기 상태정보를 이용하여, 무인기와 사용자 무선단말기 간의 상대방위각 정보를 연산할 수 있다. 또한, 서버는 연산된 상대방위각 정보에 따라, 사용자 근접 상공에서 호버링 중인 무인기의 방향 또는 무인기 내 카메라의 회전/틸팅 제어신호를 무인기로 전송할 수 있다. 무인기는 서버의 제어신호에 따라, 사용자 단말기와 정면으로 마주볼 수 있도록 회전하는 동작을 수행할 수 있다. 다음으로, 서버는 무인기에 사용자 단말기의 위치 확인 및 사용자를 포함하는 소정의 범위를 촬영하도록 요청할 수 있다. 다음으로, 무인기가 사용자를 포함하는 소정의 범위를 촬영하여 촬영된 영상을 서버로 전송하면, 서버는 이를 사용자 단말기에 전송함과 동시에, 전송된 사용자 촬영 영상 내 특정 타켓을 선택(타게팅)할 것을 요청할 수 있다. 다음으로, 사용자는 화면 터치, 마킹 등의 조작을 통해 수신된 사용자 촬영 영상 내 특정 타켓(예: 사용자 본인)에 대한 영상부분을 선택하고, 이를 서버로 재전송할 수 있다. 다음으로, 서버는 타겟이 특정된 영상을 무인기에 전송하며, 이후 특정된 타겟을 추적하도록 무인기에 명령할 수 있다.
본 명세서에서는 본 발명의 일실시예로서, 사용자 단말기, 서버 및 무인기 3자간의 동작 과정을 도시하였으나, 바람직하게는 사용자 무선단말기와 무인기 양자간의 네트워크 만으로 무인기 서비스 전 과정이 진행될 수 있다. 이 또한 본 발명의 권리범위 내에 포함된다고 볼 수 있음은 물론이다.
상술된 방법 및 처리는, 예를 들어, 프로세서, 컨트롤러, 또는 다른 처리 디바이스에 의한 실행을 위한 명령들로서, 인코딩되거나, 컴팩트 디스크 판독 전용 메모리 (CDROM), 자기 또는 광학 디스크, 플래시 메모리, 랜덤 액세스 메모리 (RAM) 또는 판독 전용 메모리 (ROM), 소거가능 프로그램가능 판독 전용 메모리(EPROM) 또는 다른 머신-판독가능 매체와 같은 머신 판독가능 또는 컴퓨터 판독가능 매체에 저장될 수도 있다.
이러한 매체는, 명령 실행가능 시스템, 장치 또는 디바이스에 의해 또는 이와 연결하여 사용하기 위한 실행가능한 명령들을 포함, 저장, 통신, 전파 또는 이동시키는 임의의 디바이스로서 구현될 수도 있다. 대안으로 또는 추가적으로, 하나 이상의 집적 회로, 또는 하나 이상의 프로세서 실행 명령들과 같은 하드웨어를 이용하여 아날로그 또는 디지털 로직으로서; 또는 API (application programming interface) 또는 DLL (Dynamic Link Library), 로컬 또는 원격 절차 호출로서 정의된 또는 공유 메모리에서 이용가능한 기능들의 소프트웨어로; 또는 하드웨어 및 소프트웨어의 조합으로서 구현될 수도 있다.
다른 구현에서, 방법은 신호 또는 전파-신호 매체로 나타내어질 수도 있다. 예를 들어, 임의의 소정의 프로그램의 로직을 구현하는 명령들은 전기, 자기, 광학, 전자기, 적외선 또는 다른 타입의 신호의 형태를 취할 수도 있다. 상술된 시스템은 광섬유 인터페이스, 안테나, 또는 다른 아날로그 또는 디지털 신호 인터페이스와 같은 통신 인터페이스에서 이러한 신호를 수신하고, 그 신호로부터 명령들을 복원하고, 이들을 머신 판독 가능 메모리에 저장하고, 그리고/또는 프로세서를 이용하여 이들을 실행시킬 수도 있다.
또한, 상기 본 발명은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 상기 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 실시예들은 여기에 설명된 방법들 중 하나가 실행되는 프로그램가능 컴퓨터 시스템으로 운영될 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 캐리어 웨이브를 포함할 수 있다. 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램이 컴퓨터 상에서 구동될 때 방법들 중 하나를 실행하기 위하여 운영된다. 프로그램 코드는 예를 들면 기계 판독가능 캐리어 상에 저장될 수 있다. 본 발명의 일 실시예는 컴퓨터 프로그램이 컴퓨터 상에 구동될 때, 여기에 설명된 방법들 중 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램일 수 있다. 본 발명은 위에서 설명한 방법들 중 하나를 실행하기 위한 컴퓨터, 또는 프로그램가능 논리 장치를 포함할 수 있다. 위에서 설명한 방법들의 일부 또는 모든 기능을 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이, 상보성 금속 산화물 반도체 기반 논리 회로)가 사용될 수 있다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
10 : 무인기
20 : 사용자 무선단말기
30 : 서버

Claims (13)

  1. 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 외부 자기장의 방향에 관한 정보를 포함한 상기 무선단말기의 제1 상태정보를 수신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  2. 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 서버가 상기 무선단말기로부터 상기 무선단말기의 방위, 기울기 또는 회전 중 어느 하나 이상의 정보를 포함하는 오리엔테이션(orientations)에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 수신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  3. 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 외부 자기장의 방향에 관한 정보를 포함한 상기 무선단말기의 제1 상태정보를 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  4. 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때, 상기 무선단말기가 서버 또는 무인기로 상기 무선단말기의 방위, 기울기 또는 회전 중 어느 하나 이상의 정보를 포함하는 오리엔테이션에 관한 정보에 기초한 상기 무선단말기의 제2 상태정보를 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  5. 무인기가 서버 또는 무선단말기로부터 상기 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때의 상기 무선단말기의 상태정보를 수신하는 단계; 및
    상기 무인기가 상기 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟(target)의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅(tilting)하도록 제어하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  6. 무인기가 서버로부터 무선단말기 내 이미지센서의 촬상면의 소정의 구획에 무인기의 상이 위치할 때의 상기 무선단말기의 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 수신하는 단계; 및 상기 무인기가 상기 신호를 바탕으로 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  7. 제5 항 또는 제6 항에 있어서,
    상기 상태정보는 상기 무선단말기의 외부 자기장의 방향에 관한 정보 또는 상기 무선단말기의 방위, 기울기 또는 회전 중 어느 하나 이상의 정보를 포함하는 오리엔테이션에 관한 정보에 기초한 것임을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  8. 제1 항에 있어서,
    상기 서버가 상기 무인기로 제1 상태정보를 바탕으로 상기 무인기 내 카메라의 촬상면에 상기 무선단말기를 가지고 있는 타겟의 상이 위치하도록 무인기를 비행제어하거나 상기 카메라를 회전 또는 틸팅하도록 제어하는 신호를 송신하는 단계를 더 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  9. 제5 항 또는 제6 항에 있어서,
    상기 무인기가 상기 무선단말기를 가지고 있는 타겟을 촬영하는 단계; 및
    상기 무인기가 상기 촬영된 영상을 상기 서버 또는 상기 무선단말기에 송신하는 단계를 더 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  10. 제3 항 또는 제4 항에 있어서,
    상기 무선단말기가, 상기 무인기 또는 상기 서버로부터 상기 무인기가 촬영한 상기 무선단말기를 가지고 있는 타겟의 영상을 수신하는 단계;
    상기 무선단말기가 상기 무선단말기 내 출력부에 상기 영상을 출력하는 단계;
    상기 무선단말기가 상기 영상 내 존재하는 특정 타겟에 대한 영상 부분을 선택 입력받는 단계; 및
    상기 무선단말기가 상기 영상 부분을 상기 서버 또는 무인기로 송신하는 단계를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  11. 제1 항 또는 제3 항에 있어서,
    상기 제1 상태정보는 무선단말기의 방위각 정보를 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  12. 제9 항에 있어서,
    상기 무인기가 상기 영상을 바탕으로 식별된 타겟을 따라 비행하도록 제어하는 단계를 더 포함하는 것을 특징으로 하는 무인기와 무선단말기 간의 상호 인식 방법.
  13. 제3 항 또는 제4 항의 방법에 포함된 단계를 무선단말기에서 실행시키는 기록매체에 저장된 어플리케이션.
KR1020180041726A 2018-04-10 2018-04-10 무인기와 무선단말기 간의 상호 인식 방법 KR101959366B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180041726A KR101959366B1 (ko) 2018-04-10 2018-04-10 무인기와 무선단말기 간의 상호 인식 방법
PCT/KR2018/005519 WO2019198868A1 (ko) 2018-04-10 2018-05-15 무인기와 무선단말기 간의 상호 인식 방법
US16/960,877 US11815913B2 (en) 2018-04-10 2018-05-15 Mutual recognition method between unmanned aerial vehicle and wireless terminal
KR1020180106871A KR102334509B1 (ko) 2018-04-10 2018-09-07 무인기와 무선단말기 간의 상호 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180041726A KR101959366B1 (ko) 2018-04-10 2018-04-10 무인기와 무선단말기 간의 상호 인식 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106871A Division KR102334509B1 (ko) 2018-04-10 2018-09-07 무인기와 무선단말기 간의 상호 인식 방법

Publications (1)

Publication Number Publication Date
KR101959366B1 true KR101959366B1 (ko) 2019-03-21

Family

ID=66036895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180041726A KR101959366B1 (ko) 2018-04-10 2018-04-10 무인기와 무선단말기 간의 상호 인식 방법

Country Status (3)

Country Link
US (1) US11815913B2 (ko)
KR (1) KR101959366B1 (ko)
WO (1) WO2019198868A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111314B (zh) * 2014-11-07 2021-10-08 索尼公司 控制系统、控制方法以及存储介质
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
KR20210114647A (ko) * 2020-03-11 2021-09-24 엘지전자 주식회사 무인비행체를 제어하기 위한 장치, 시스템 및 방법
CN111709385B (zh) * 2020-06-22 2023-07-25 电子科技大学 一种低小慢飞行器目标探测系统及其身份识别方法
SE2050738A1 (en) 2020-06-22 2021-12-23 Sony Group Corp System and method for image content recording of a moving user

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160119990A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20170070627A (ko) * 2015-12-14 2017-06-22 주식회사 하우앳 공중 추적 영상촬영을 위한 카메라 짐벌이 구비된 무선비행체 제어시스템
KR20170110341A (ko) 2016-03-23 2017-10-11 한국전자통신연구원 무인배송로봇의 사용자 식별을 통한 배송 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496654B1 (ko) * 2007-06-27 2015-02-27 브룩스 오토메이션 인코퍼레이티드 리프트 능력 및 감소된 코깅 특성들을 가지는 전동기 고정자
US10095942B2 (en) * 2014-12-15 2018-10-09 Reflex Robotics, Inc Vision based real-time object tracking system for robotic gimbal control
EP3034400B1 (en) * 2014-12-16 2017-06-07 Sabine Hassan Zureikat Drone for taking pictures or videos
KR20160142017A (ko) * 2015-06-02 2016-12-12 엘지전자 주식회사 드론을 이용한 물품배송 시 인증 방법
DE102015013104A1 (de) * 2015-08-22 2017-02-23 Dania Lieselotte Reuter Verfahren zur Zielanflungsteuerung von unbemannten Flugobjekten, insbesondere Lieferdrohen
CN107438227B (zh) * 2016-05-25 2021-06-25 中兴通讯股份有限公司 一种无人机投递方法
US10082802B2 (en) * 2016-08-11 2018-09-25 International Business Machines Corporation Method and system for continued navigation of unmanned aerial vehicles beyond restricted airspace boundaries
US20190250601A1 (en) * 2018-02-13 2019-08-15 Skydio, Inc. Aircraft flight user interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160119990A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20170070627A (ko) * 2015-12-14 2017-06-22 주식회사 하우앳 공중 추적 영상촬영을 위한 카메라 짐벌이 구비된 무선비행체 제어시스템
KR20170110341A (ko) 2016-03-23 2017-10-11 한국전자통신연구원 무인배송로봇의 사용자 식별을 통한 배송 방법

Also Published As

Publication number Publication date
WO2019198868A1 (ko) 2019-10-17
US11815913B2 (en) 2023-11-14
US20210055746A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
KR101959366B1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
US11573562B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
US9977434B2 (en) Automatic tracking mode for controlling an unmanned aerial vehicle
US9586682B2 (en) Unmanned aerial vehicle control apparatus and method
KR101758093B1 (ko) 무인항공기 제어 시스템 및 방법
KR20180064253A (ko) 비행 제어 방법 및 이를 지원하는 전자 장치
US10321065B2 (en) Remote communication method, remote communication system, and autonomous movement device
WO2019051832A1 (zh) 可移动物体控制方法、设备及系统
WO2021127888A1 (zh) 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
KR102235589B1 (ko) 무인기 착륙 시스템
KR102132945B1 (ko) 무인기 착륙 유도 방법
KR102334509B1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
KR101358064B1 (ko) 사용자 이미지를 이용한 원격 제어 방법 및 시스템
KR102367392B1 (ko) 무인기 착륙 유도 방법
WO2021212499A1 (zh) 目标标定方法、装置和系统及可移动平台的遥控终端
WO2022109860A1 (zh) 跟踪目标对象的方法和云台
JP6382772B2 (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム
WO2021043333A1 (zh) 一种拍摄控制方法、装置、飞行器及飞行系统
JP7081198B2 (ja) 撮影システム及び撮影制御装置
KR20180106178A (ko) 무인 비행체, 전자 장치 및 그에 대한 제어 방법
KR20220068606A (ko) 부분 영상을 고려한 드론의 자동 착륙 알고리즘
KR20190050073A (ko) 드론을 이용한 서비스 시 서비스 사용자 인식 방법
TWI738315B (zh) 基於光標籤的自動追蹤拍攝系統
KR20190053018A (ko) 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치

Legal Events

Date Code Title Description
GRNT Written decision to grant