KR20180051996A - 무인 비행 장치 및 이를 이용한 피사체 촬영 방법 - Google Patents

무인 비행 장치 및 이를 이용한 피사체 촬영 방법 Download PDF

Info

Publication number
KR20180051996A
KR20180051996A KR1020160149016A KR20160149016A KR20180051996A KR 20180051996 A KR20180051996 A KR 20180051996A KR 1020160149016 A KR1020160149016 A KR 1020160149016A KR 20160149016 A KR20160149016 A KR 20160149016A KR 20180051996 A KR20180051996 A KR 20180051996A
Authority
KR
South Korea
Prior art keywords
camera
user
flight
target point
photographing
Prior art date
Application number
KR1020160149016A
Other languages
English (en)
Inventor
이우성
김태균
이영배
이정재
김승년
허창룡
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160149016A priority Critical patent/KR20180051996A/ko
Priority to EP17200930.0A priority patent/EP3336644A1/en
Priority to US15/808,000 priority patent/US20180129212A1/en
Priority to CN201711098544.6A priority patent/CN108062106A/zh
Publication of KR20180051996A publication Critical patent/KR20180051996A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • B64C27/08Helicopters with two or more rotors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • B64C27/12Rotor drives
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/10Launching, take-off or landing arrangements for releasing or capturing UAVs by hand
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/042Control of altitude or depth specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B64C2201/024
    • B64C2201/042
    • B64C2201/108
    • B64C2201/127
    • B64C2201/146
    • B64C2201/165
    • B64D2700/62184
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 다양한 실시예들에 따른 전자 장치 또는 무인 비행 장치는 비행 몸체와, 상기 비행 몸체에 장착된 카메라; 상기 비행 몸체 내부에 실장되며, 주변 환경 정보를 센싱하는 센서 모듈과, 상기 비행 몸체 내부에 실장되며, 다른 통신 장치와 무선 통신하는 무선 통신 모듈과, 상기 비행 몸체 내부에 설치되며, 상기 카메라, 센서모듈 및 무선 통신 모듈과 전기적으로 연결된 적어도 하나 이상의 프로세서, 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는,무인 비행 장치의 비행 시에, 상기 프로세서가 상기 무인 비행 장치를 이용한 사용자의 던지는 제스처를 인식하고, 던지는 제스처에 의해 발생된 제1 이동 벡터에 기반하여 사용자 방향을 결정하고, 상기 던지는 제스처에 기반하여 목표 지점인 정지 위치에서의 카메라 방향을 예측하고, 상기 무인 비행 장치의 목표 지점인 정지 위치에서 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 인스트럭션들을 저장할 수 있다.
그 외에도 다양한 실시 예들이 가능하다.

Description

무인 비행 장치 및 이를 이용한 피사체 촬영 방법{AN UNMANNED AERIALVEHICLES AND METHOD FOR PTHOTOGRAPHING A SUBJECT USING THE SAME}
본 발명은 무인 비행 장치 및 이를 이용한 피사체 촬영 방법에 관한 것이다.
최근 들어 소프트웨어를 이용한 항공 제어기술 및 통신 기술의 급격한 발전에 따라 항공촬영 및 탐사, 정찰 등을 목적으로 하는 무인 비행 장치가 다양한 분야에서 활용되고 있다. 무인 비행 장치는 무선 전파의 유도에 의해 비행 및 조종이 가능한 장치이다. 최근 무인 비행 장치를 이용한 촬영 기술에 대한 관심이 높아지면서 다양한 형태의 무인 비행 장치가 개발되고 있는 추세이다.
사용자는 무인 비행 장치를 조종하거나 원하는 위치를 설정하여 무인 비행 장치를 이동시킬 수 있다.
그러나, 무인 비행 장치가 원하는 위치에 호버링된 경우, 무인 비행 장치의 카메라 방향은 임의의 방향으로 향할 수 있기 때문에, 원하는 피사체를 찾기 위해 사용자가 무인 비행 장치의 카메라 방향을 재조정해야 하는 번거로움이 존재할 수 있다.
본 발명에 따른 다양한 실시예들은, 무인 비행 장치가 사용자의 방향을 인식하고, 목표 지점에 도달하여 호버링된 경우 카메라 방향이 사용자를 바라보도록 무인 비행 장치의 카메라 위치를 자동적으로 조정하고, 피사체를 자동으로 촬영할 수 있는 무인 비행 장치 및 이를 이용한 피사체 촬영 방법을 제공할 수 있다.
본 발명의 다양한 실시예들에 따른 무인 비행 장치는, 비행 몸체와, 상기 비행 몸체에 장착된 카메라와, 상기 비행 몸체 내부에 실장되며, 주변 환경 정보를 센싱하는 센서 모듈과, 상기 비행 몸체 내부에 실장되며, 다른 통신 장치와 무선 통신하는 무선 통신 모듈과, 상기 비행 몸체 내부에 설치되며, 상기 카메라, 센서모듈 및 무선 통신 모듈과 전기적으로 연결된 적어도 하나 이상의 프로세서, 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 무인 비행 장치의 비행 시에, 상기 프로세서가 상기 무인 비행 장치를 이용한 사용자의 던지는 제스처를 인식하고, 던지는 제스처에 의해 발생된 제1 이동 벡터에 기반하여 사용자 방향을 결정하고, 상기 던지는 제스처에 기반하여 목표 지점인 정지 위치에서의 카메라 방향을 예측하고, 상기 무인 비행 장치의 목표 지점인 정지 위치에서 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예들에 따른 무인 비행 장치의 피사체 촬영 방법은, 무인 비행 장치를 이용한 사용자의 던지는 제스처를 인식하는 동작과, 상기 던지는 제스처에 의해 발생된 제1 이동 벡터에 기반하여 사용자 방향을 결정하는 동작과, 상기 던지는 제스처에 기반하여 목표 지점인 정지 위치에서의 카메라 방향을 예측하는 동작과, 상기 무인 비행 장치의 목표 지점인 정지 위치에서 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 동작과 그리고 상기 목표 지점에 도달 시 카메라 촬영 기능을 실행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에 따른, 무인 비행 장치는 비행 시점이 발생된 비행 시작 포인트를 기점으로 이동 벡터를 인식하여 사용자 방향을 인지하고, 무인 비행 장치가 목표 지점에 도달하여 호버링 시 사용자가 원하는 방향으로 카메라 위치를 자동적으로 조정될 수 있다.
본 발명의 다양한 실시예들에 따른, 무인 비행 장치는 사용자가 무인 비행 장치를 던지는 동작을 기반으로, 호버링된 위치에서 사용자를 바라보게 카메라 위치를 조정하여 사용자에 대한 촬영(예, selfie)을 가능하게 할 수 있다.
본 발명의 다양한 실시예들에 따른, 무인 비행 장치는 던지는 시점의 정확한 위치 추정을 통해 사용자 중심의 다양한 서비스를 구현할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 무인 비행 장치의 구성을 도시한다.
도 2는 다양한 실시예에 따른 무인 비행 장치의 프로그램 모듈(플랫폼 구조)를 도시하는 도면이다.
도 3은 본 발명의 다양한 실시예에 따른 무인 비행 장치를 이용한 피사체 촬영 방법을 설명하는 도면이다.
도 4는 본 발명은 실시예에 따른 무인 비행 장치의 촬영 동작의 상황도를 도시한다.
도 5는 본 발명의 다양한 실시예에 따른 무인 비행 장치의 촬영 방법을 도시한다.
도 6은 본 발명의 일 실시예에 따른 무인 비행 장치의 동작 알고리즘을 설명하는 도면이다.
도 7은 일 실시에에 다른 무인 비행 장치의 수평 회전 제어를 위한 예시도이다.
도 8은 일 실시예에 따른 무인 비행 장치의 수평 회전 각도 및 방향 설정 방법을 위한 예시도이다.
도 9는 일 실시예에 따른 무인 비행 장치의 카메라 각도 설정 방법을 위한 예시도이다.
도 10은 일 실시예에 따른 무인 비행 장치의 위치 조정 방법을 위한 예시도이다.
도 11은 일 실시예에 따른 무인 비행 장치의 멀티 포인트에 대한 멀티 촬영 방법을 위한 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
다양한 실시예에 무인 비행 전자장치(UAV, unmanned aerial vehicle)/ 드론(drone)에 관련된 것으로 이하 무인 비행 장치 또는 전자 장치로 기술될 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 무인 비행 장치의 구성을 도시한다.
도 1을 참조하면, 무인 비행 장치(100) 또는 전자 장치는 하나 이상의 프로세서(예: AP) (110), 통신 모듈(120), 인터페이스(150), 입력 장치(160), 센서 모듈(140), 메모리(130), 오디오 모듈(155), 인디케이터(196), 전력 관리 모듈(198), 배터리(197), 카메라 모듈(180), 이동제어 모듈(170) 포함할 수 있으며, 짐벌 모듈(190)을 더 포함할 수 있다.
필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 프로세서(110)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서는 운영 체제 또는 응용 프로그램을 구동하여 전자 장치의 비행 커멘드를 생성할 수 있다. 예를 들면, 프로세서(110)는 카메라 모듈(180) 또는 센서 모듈(140), 통신 모듈(120)로부터 수신한 데이트를 이용하여 이동 커멘드를 생성할 수 있다.
프로세서(110)는, 획득한 피사체의 상대적인 거리를 계산하여 이동 커맨드를 생성할 수 있으며, 피사체의 수직 좌표로 무인 촬영 장치의 고도 이동 커맨드를 생성할 수 있고, 피사체의 수평 좌표로 무인 촬영 장치의 수평 및 방위각 커맨드를 생성할 수 있다.
통신 모듈(120)은, 예를 들면, 셀룰러 모듈(121), WiFi 모듈(122), 블루투스 모듈(123), GNSS 모듈(124), NFC 모듈(125) 및 RF 모듈(127)을 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 통신 모듈(120)은 전자 장치의 제어 신호 수신 및 무인 비행 장치 상태 정보, 영상 데이터 정보를 다른 무인 비행 장치와 전송할 수 있다. RF 모듈(127)은 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(127)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 있다. GNSS 모듈(124)은 무인 비행 장치의 이동 중 위도, 경도, 고도, 속도, heading 정보 등의 위치 정보(longitude, latitude, altitude, GPS speed, GPS heading)를 출력할 수 있다. 위치 정보는 GNSS모듈(124)을 통해 정확한 시간과 거리를 측정하여 위치를 계산할 수 있다. GNSS 모듈(124)은 위도, 경도, 고도의 위치뿐만 아니라 3차원의 속도 정보와 함께 정확한 시간까지 획득할 수 있다. 일 실시 예에 따른 무인 비행 장치는 통신 모듈을 통해 무인 촬영 장치의 실시간 이동 상태를 확인하기 위한 정보를 무인 비행 장치로 전송할 수 있다.
인터페이스(150)는, 다른 무인 비행 장치와 데이터의 입출력을 위한 장치이다. 예를 들어 USB(151) 또는 광인터페이스(152), RS-232(153), RJ45(154)를 이용하여, 다른 외부 기기로부터 입력된 명령 또는 데이터를 무인 비행 장치의 다른 구성요소(들)에 전달하거나, 또는 무인 비행 장치의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
입력 장치(160)는, 예를 들어 터치 패널(161), 키(162), 초음파 입력 장치(163)를 포함할 수 있다. 터치 패널(161)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(161)은 제어 회로를 더 포함할 수도 있다. 키(162)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(163)는 마이크를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다. 무인 비행 장치는 입력 장치(160)를 통하여 무인 비행 장치의 제어 입력을 수신할 수 있다. 예를 들어, 물리 전원 키가 눌러지면, 무인 비행 장치의 전원을 차단 할 수 있다.
센서 모듈(140)은 피사체의 모션 및/또는 제스처를 감지할 수 있는 제스처 센서(gesture sensor) (140A), 비행하는 무인 촬영 장치의 각속도를 측정할 수 있는 자이로 센서(gyro sensor) (140B), 대기의 압력 변화 및/또는 기압을 측정할 수 있는 기압 센서(barometer) (140C), 지구 자기장을 측정할 수 있는 마그네틱 센서(지자기 센서,terrestrial magnetism sensor, compass sensor) (140D), 비행하는 무인 비행 장치의 가속도를 측정하는 가속도 센서(acceleration sensor) (140E), 그립 센서(140F), 물체의 근접 상태, 거리를 측정하는 근접센서(140G) (초음파를 출력하여 물체에서 반사되는 신호를 측정하여 거리를 측정할 수 있는 초음파 센서(ultrasonic sensor)를 포함), RGB 센서(140H), 바닥 지형이나 무늬를 인지하여 위치를 산출할 수 있는 광학 센서(OFS, 옵티컬 플로(optical flow)), 사용자의 인증을 위한 생체 센서(140I), 온도 및 습도를 측정할 수 있는 온/습도 센서(temperature-humidity sensor) (140J), 조도를 측정할 수 있는 조도 센서(140K), 자외선을 측정할 수 있는 UV(ultra violet) 센서(140M)들의 일부 또는 전부를 포함할 수 있다. 다양한 실시예에 따른 센서 모듈(140)은 무인 비행 장치의 자세를 계산할 수 있다. 무인 비행 장치의 자세 정보를 이동 모듈 제어에 공유 할 수 있다.
메모리(130)은 내장 메모리 및 외장 메모리를 포함할 수 있다. 무인 비행 장치의 적어도 하나의 다른 구성요소에 관계된 명령(command) 또는 데이터(data)를 저장할 수 있다. 메모리(130)는 소프트웨어(software) 및/또는 프로그램(program)을 저장할 수 있다. 프로그램은 커널(kernel), 미들웨어(middleware), 어플리케이션 프로그래밍 인터페이스(application programming interface(API)) 및/또는 어플리케이션 프로그램 (또는 "어플리케이션") 등을 포함할 수 있다.
오디오 모듈(155)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 스피커, 마이크를 포함할 수 있으며, 입력 또는 출력되는 소리 정보를 처리할 수 있다.
인디케이터(196)는 무인 비행 장치또는 그 일부(예: 프로세서)의 특정 상태, 예를 들면, 동작 상태, 또는 충전 상태 등을 표시할 수 있다. 또는 무인 비행 장치의 비행 상태, 동작 모드를 표시할 수 있다.
전력 관리 모듈(198)은, 예를 들면, 무인 비행 장치의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(198)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리(197) 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다.
배터리(197)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
카메라 모듈(180)은 무인 비행 장치에 구성되거나 무인 비행 장치가 짐벌을 포함할 경우 짐벌 모듈(190)에 구성 될 수 있다. 카메라 모듈(180)은 렌즈, 이미지 센서, 이미지 처리부, 카메라 제어부를 포함할 수 있다. 카메라 제어부는 프로세서(110)에서 출력되는 구도정보 및/또는 카메라 제어정보에 기반하여 카메라 렌즈의 상하좌우 각도를 조절하여 피사체와의 구도 및/또는 카메라 앵글(촬영 각도)을 조절할 수 있다. 이미지 센서는 로우 드라이버, 픽셀 어레이 및 컬럼 드라이버 등을 포함할 수 있다. 이미지 처리부는 이미지 전처리부, 이미지 후처리부, 정지 영상 코덱, 동영상 코덱 등을 포함할 수 있다. 이미지 처리부는 프로세서에 포함될 수도 있다. 카메라 제어부는 포커싱 및 트래킹 등을 제어할 수 있다.
카메라 모듈(180)은 촬영 모드에서 촬영 동작을 수행할 수 있다. 카메라 모듈(180)은 무인 비행 장치의 움직임에 영향을 받을 수 있다. 무인 비행 장치의 움직임에 따른 카메라 모듈(180)의 촬영 변화를 최소화 하기 위하여 짐벌 모듈(190)에 위치할 수 있다.
이동제어 모듈(170)은 무인 비행 장치의 위치 및 자세 정보들을 이용하여 무인 비행 장치의 자세 및 이동을 제어할 수 있다. 이동제어 모듈(170)은 획득되는 위치 및 자세정보에 따라 무인 비행 장치의 롤(roll), 피치(pitch), 요(yaw), 트로틀(throttle) 등을 제어할 수 있다. 이동 제어 모듈(170)은 호버링 비행 동작 및 프로세서에 제공되는 자율 비행 커맨드(거리 이동, 고도 이동 수평 및 방위각 커맨드 등)에 기반하여 자율 비행 동작 제어, 수신된 사용자 입력 커맨드에 따른 비행 동작 제어를 할 수 있다. 예를 들어, 이동 모듈이 쿼드콥터인 경우 일 수 있으며, 복수의 이동 제어 모듈(MPU, microprocessor unit) (174), 모터 구동 모듈(173), 모터 모듈(172) 및 프로펠러(171)를 포함할 수 있다. 복수의 이동 제어 모듈(MPU) (174)은 비행 동작 제어에 대응하여 프로펠러(171)를 회전시키기 위한 제어 데이터를 출력할 수 있다. 모터 구동 모듈(173)은 이동 제어 모듈의 출력에 대응되는 모터 제어 데이터를 구동 신호로 변환하여 출력할 수 있다. 모터는 각각 대응되는 모터 구동 모듈(173)의 구동 신호에 기반하여 대응되는 프로펠러(171) 회전을 제어할 수 있다.
짐벌 모듈(190)은, 예를 들어 짐벌 모듈(190)은 짐벌 제어모듈(195), 센서(193,192), 모터 구동 모듈(191), 모터(196)를 포함할 수 있다. 카메라 모듈(180)을 짐벌 모듈(190)에 포함할 수 있다.
짐벌 모듈(190)은 무인 비행 장치의 움직임에 따른 보상 데이터를 생성할 수 있다. 보상 데이터는 카메라 모듈(180)의 피치 또는 롤의 적어도 일부를 제어하기 위한 데이터일 수 있다. 예를 들어, 롤 모터 및 피치 모터는 무인 비행 장치의 움직임에 따라 카메라 모듈(180)의 롤 및 피치를 보상할 수 있다. 카메라 모듈은 짐벌 모듈(190)에 장착되어, 무인 비행 장치(예를 들면, 멀티콥터)의 회전(예를 들면, 피치 및 롤)에 의한 움직임을 상쇄시켜 카메라 모듈(180)의 정립 상태로 안정화시킬 수 있다. 짐벌 모듈(190)은 무인 비행 장치의 움직임에 관계없이 카메라 모듈(180)을 일정한 기울기를 유지할 수 있도록 하여 안정적인 이미지를 촬영할 수 있다. 짐벌 제어 모듈(195)은 자이로 센서(193) 및 가속도 센서(192)를 포함하는 센서 모듈을 포함 할 수 있다. 짐벌 제어 모듈(195)은 자이로 센서(193) 및 가속도 센서(192)를 포함하는 센서의 측정 값을 분석하여 짐벌 모터 구동 모듈(191)의 제어 신호를 생성하고, 짐벌 모듈(190)의 모터를 구동할 수 있다.
도 2는 다양한 실시예에 따른 무인 비행 장치의 프로그램 모듈(플랫폼 구조)를 도시하는 도면이다.
도 2를 참조하면, 무인 비행 장치(200)는 어플리케이션 플랫폼(application platform)(210) 및 플라이트 플랫폼(flight platform)(220)을 포함할 수 있다. 무인 비행 장치(200)는 무선으로 연동하여 제어 신호를 받아 무인 비행 장치의 구동 및 서비스 제공을 하기 위한 어플리케이션 플랫폼(210)과 항법 알고리즘에 따라 비행을 제어하기 위한 플라이트 플랫폼(220) 등을 적어도 하나 이상 포함할 수 있다. 여기서, 무인 비행 장치(200)의 도 1의 무인 비행 장치(100)일 수 있다.
어플리케이션 플랫폼(210)은 무인 비행 장치의 구성 요소들의 통신 제어(connectivity), 영상 제어, 센서 제어, 충전 제어, 또는 사용자 어플리케이션에 따른 동작 변경 등을 수행할 수 있다. 어플리케이션 플랫폼(210)은 프로세서에서 실행할 수 있다. 플라이트 플랫폼(220)은 무인 비행 장치의 비행, 자세 제어 및 항법 알고리즘을 실행할 수 있다. 플라이트 플랫폼(220)은 프로세서 또는 이동 제어 모듈에서 실행될 수 있다.
어플리케이션 플랫폼(210)에서 통신, 영상, 센서, 또는 충전 제어를 등을 수행하면서 플라이트 플랫폼(220)에 조종 신호를 전달할 수 있다.
다양한 실시 예에 따르면, 프로세서(도 1의 110)는 카메라 모듈(도 1의 180)을 통하여 촬영된 피사체를 이미지를 획득할 수 있다. 프로세서(110)는 획득한 이미지를 분석하여 무인 비행 장치(100)를 비행 조종하기 위한 커맨드를 생성할 수 있다. 예를 들어, 프로세서(110)는 획득되는 피사체의 크기 정보, 이동 상태, 촬영 장치와 피사체 간의 상대적인 거리 및 고도, 방위각 정보를 생성할 수 있다. 프로세서(110)는 산출된 정보를 이용하여, 무인 비행 장치의 추적 비행(Follow) 조종 신호를 생성할 수 있다. 플라이트 플랫폼(220)은 수신한 조종 신호를 토대로 이동 제어 모듈을 제어하여 무인 비행 장치를 비행(무인 비행 장치의 자세 및 이동 제어)을 할 수 있다.
다양한 실시 예에 따르면, 프로세서(110)는 GPS 모듈(예: GPS 모듈(124)), 센서 모듈(예: 센서 모듈(140))을 통해 무인 비행 장치의 위치, 비행 자세, 자세 각속도 및 가속도 등을 측정할 수 있다. GPS 모듈 및 센서 모듈의 출력 정보는 비행 시 생성될 수 있으며, 무인 비행 장치의 항법/자동 조종을 위한 조종 신호의 기본 정보가 될 수 있다. 무인 비행 장치의 비행에 따른 기압 차를 통해 고도를 측정할 수 있는 기압 센서, 저고도에서 정밀한 고도 측정을 수행하는 초음파 센서들의 정보도 기본 정보로 활용될 수 있다. 그 외에도 원격 컨트롤러에서 수신한 조종 데이터 신호, 무인 비행 장치의 배터리 상태정보 등도 조종 신호의 기본 정보로 활용될 수 있다.
무인 비행 장치는 예를 들어, 복수의 프로펠러들을 이용하여 비행할 수 있다. 프로펠러는 모터의 회전력을 추진력을 변경할 수 있다. 무인 비행 장치는 로터(rotor)의 수(프로펠러의 수)에 따라, 4개이면 쿼드콥터, 6개이면 헥사콥터, 8개이면 옥토콥터라 칭할 수 있다.
무인 비행 장치는 수신한 조종 신호를 토대로 프로펠러를 제어할 수 있다. 무인 비행 장치는 리프트/토크(lift/torque)의 두 가지 원리로 비행할 수 있다. 무인 비행 장치는 회전을 위해 멀티 프로펠러의 반은 시계 방향(clockwise; CW )으로 회전시키고 반은 반시계 방향(counter clockwise; CCW )로 회전 시킬 수 있다. 무인 비행 장치의 비행에 따른 3차원 좌표는 pitch(Y)/roll(X)/yaw(Z)에 결정될 수 있다. 무인 비행 장치는 전후/좌우로 기울임(tilting)으로써 비행할 수 있다. 무인 비행 장치를 기울이면 프로펠러 모듈(로터)에서 생성된 공기의 흐름의 방향이 바뀌게 될 수 있다. 예를 들면, 무인 비행 장치가 앞으로 숙이면 공기가 위아래로 흐를 뿐 아니라 약간 뒤 쪽으로 나가게 될 수 있다. 이로 인해 무인 비행 장치는 공기 층이 뒤로 밀리는 만큼 작용/반작용의 법칙에 따라 기체가 앞으로 전진할 수 있다. 무인 비행 장치는 기울이는 방법은 해당 방향의 앞쪽은 속도를 줄이고 뒤쪽의 속도를 높여주면 될 수 있다. 이런 방법은 모든 방향에 대하여 공통이기 때문에 모터 모듈(로터)의 속도 조절만으로 무인 비행 장치를 기울여 이동시킬 수 있다.
무인 비행 장치는 어플리케이션 플랫폼(210)에서 생성된 조종 신호를 플라이트 플랫폼(220)에서 수신하여, 모터 모듈을 제어함으로써 무인 비행 장치의 pitch(Y)/roll(X)/yaw(Z)을 자세 제어 및 이동 경로에 따른 비행 제어를 할 수 있다.
본 발명의 일 실시예에 따른 무인 비행 장치(200)는, 사람이 타지 않고 무선 신호에 의해 비행 및 조종이 가능한 장치로서, 타겟 촬영, 항공 감시, 정찰 등과 같이 개인 촬영 용도, 공공 업무 용도 등 다양한 목적 및 용도로 활용될 수 있다.
일 실시예에 따르면, 카메라 모듈(180)은 프로세서(110)의 제어 하에, 촬영 대상(예, 타겟(target))에 대한 영상을 촬영할 수 있다. 촬영 대상은, 예를 들어, 사람, 동물, 차량 등과 같이 이동성을 갖는 대상일 수 있으나, 이에 한정하는 것은 아니다. 카메라 모듈(180)로부터 획득한 촬영 영상은 프로세서(110)로 전달될 수 있다.
본 발명의 실시예에 따른 프로세서(110)는, 무인 비행 장치 구동 시 사용자 방향 측정 알고리즘을 실행하도록 제어할 수 있다. 무인 비행 장치가 턴 온(turn on)된 후, 프로세서(110)는, 무인 비행 장치를 던지는 제스처(throwing gesture)를 인식하고, 사용자의 던지는 제스처에 응답하여 던지는 제스처 방향에 대향하는 사용자 방향을 측정할 수 있다. 예컨대, 던지는 제스처는 무인 비행 장치의 자유 비행 이전까지 사용자가 무인 비행 장치를 들고 무인 비행 장치를 던지기 위한 준비 동작일 수 있다. 사용자가 무인 비행 장치를 던지기 위해, 던지는 제스처를 수행하는 동안, 무인 비행 장치는 센서 정보를 기반으로 던지는 제스처의 최초 시작 지점부터 자유 비행 시작 지점까지 이동하는 방향으로의 제1 이동 벡터를 산출하고, 산출된 제1 이동 벡터와 대향하는 방향인 사용자 방향을 인지할 수 있다. 여기서, 사용자 방향은 제1 이동 벡터와 대향하는 방향일 수 있으나, 설정에 따라 제1 이동 벡터와 일치하는 방향 또는 제1 이동 벡터를 기분으로 일정 각도를 갖는 회전 방향일 수 있다.
일 실시예에 따른 프로세서(110)는, 중력 가속도의 변화 정보를 기반으로 무인 비행 장치가 사용자의 손에서부터 떨어지는 시점을 자유 비행 시점으로 인식할 수 있다. 예컨대, 프로세서(110)는, 사용자의 손으로부터 무인 비행 장치가 떨어지는 시점의 벡터 정보, 손에서 떨어지는 시점부터 기 설정된 시간 동안의 벡터 정보 중 적어도 하나를 기반으로 초기 방향 정보를 추출할 수도 있다. 일 예를 들면, 프로세서(110)은, 초기 방향 정보를 무인 비행 장치의 자유 비행 방향과 대응하도록 설정할 수 있으나, 이에 한정하는 것은 아니다.
일 실시예에 따른 무인 비행 장치는, 비행 시작 전, 옵션 설정에 따라 사용자 자신에 대한 셀프 카메라(selfie) 방향, 사용자가 원하는 임의의 방향(예, 정북 방향, 셀프 카메라 방향을 기준으로 오른쪽 90 도 방향), 사용자 자신에 대향하는 반대 방향의 촬영을 선택할 수 있는 기능을 지원할 수 있다. 또는, 무인 비행 장치는, 비행 시작 전 옵션 설정에 따라 단일 촬영 또는 멀티 촬영 기능 여부를 선택할 수 있는 기능을 지원할 수 있다.
일 실시예에 따른 프로세서(120)는, 무인 비행 장치의 자유 비행 시 사용자 방향이 어느 위치에 있는지를 확인하고, 무인 비행 장치의 카메라 위치, 무인 비행 장치의 고도, 회전방향 (예, Roll(Φ), Pitch(θ), Yaw(Ψ)값) 및 자세 중 적어도 하나를 제어할 수 있다.
일 실시예에 따른 프로세서(110)은 자유 비행 시작 시점을 인식하고, 자유 비행 시작 시점부터 무인 비행 장치가 자유 비행하는 동안 측정되는 제2 이동 벡터를 산출할 수 있다.
일 실시예에 따른 프로세서(110)는, 사용자 방향 이외에 사용자 방향을 기준으로 설정된 임의의 방향이 설정된 경우, 제1 이동 벡터에 대응하여 산출된 임의의 방향과 자유 비행 시 산출되는 제2 이동 벡터 사이의 오차가 발생된 경우, 무인 비행 장치의 비행 경로, 회전각 및 가속도를 계산하여 설정된 임의의 방향으로 카메라 위치, 무인 비행 장치의 고도, 회전방향 (예, Roll(Φ), Pitch(θ), Yaw(Ψ)값) 및 자세 중 적어도 하나를 제어할 수 있다. 이로 인해, 본 발명의 실시예에 따른 무인 비행 장치는 자유 비행 시 또는 목표 지점 도달 후, 무인 비행 장치의 비행 몸체를 사용자가 설정한 위치를 바라보도록 조절될 수 있다.
일 실시예에 따르면, 프로세서(110)는, 무인 비행 장치가 목표 지점 도달까지의 예측 경로를 통해 목표 지점 호버링 시의 위치 및 자세를 예측하고, 예측 정보를 통해 카메라 위치를 조정하기 위한 조정값을 산출할 수 있다.
일 실시예에 따르면, 프로세서(110)는, 카메라 위치가 사용자 방향을 바라보는 경우, 사용자의 입력 정보 또는 센서 정보를 이용하여 무인 비행 장치의 고도에 따라 카메라의 피치 각도를 조절하거나, 무인 비행 장치의 고도를 제어하기 위한 조정값을 산출할 수도 있다.
일 실시예에 따르면, 프로세서(110)는, 비행 도중에 카메라 위치를 조정하기 위한 조정값을 산출하여, 최종적으로 목표 지점 도달 시점에 카메라 위치가 사용자가 정한 방향(예, 셀피 방향 또는 임의의 방향)에 조정된 상태로 호버링 되도록 제어할 수 있다.
일 실시예에 따르면, 프로세서(110)는, 목표 지점 도달 후, 카메라 위치를 조정하기 위한 조정값을 산출하여, 목표 지점 도달 후에 무인 비행 장치의 비행을 제어하여 사용자가 정한 방향으로 카메라의 위치가 변경되도록 제어할 수 있다.
이 실시예에 따르면, 프로세서(110)는, 던지는 제스처 인식 시점의 카메라 위치를 판단하고, 카메라 위치가 사용자를 바라보고 있는 경우, 셀피 환경임을 인지하고, 목표 지점 도달 후, 카메라의 위치가 사용자를 바라보고 있도록 카메라 위치의 조정값을 산출하여 제어할 수 있다. 또는 프로세서(110)는, 카메라 위치가 사용자방향과 반대 방향인 경우, 외부 촬영 환경임을 인지하고, 목표 지점 도달 후, 카메라의 위치가 사용자 방향이 아닌 반대 방향을 바라보도록 카메라 위치의 조정값을 산출하여 제어할 수 있다.
일 실시예에 따르면, 센서 모듈(140)은 무인 비행 장치의 위치, 속도, 가속도, 기울기, 흔들림, 비행 거리 등의 정보를 측정하기 위한 정보를 수집할 수 있다. 센서 모듈(140)은, 예를 들면, 물리량을 계측하거나 무인 비행 장치의 구동, 동작 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다.
본 발명의 실시예에 따른 무인 비행 장치는, 무인 비행 장치에 있어서, 비행 몸체와, 상기 비행 몸체에 장착된 카메라와, 상기 비행 몸체 내부에 실장되며, 주변 환경 정보를 센싱하는 센서 모듈와, 상기 비행 몸체 내부에 실장되며, 다른 통신 장치와 무선 통신하는 무선 통신 모듈과, 상기 비행 몸체 내부에 설치되며, 상기 카메라, 센서모듈 및 무선 통신 모듈과 전기적으로 연결된 적어도 하나 이상의 프로세서 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하고, 상기 메모리는,무인 비행 장치의 비행 시에, 상기 프로세서가 상기 무인 비행 장치를 이용한 사용자의 던지는 제스처를 인식하고, 던지는 제스처에 의해 발생된 제1 이동 벡터에 기반하여 사용자 방향을 결정하고, 상기 던지는 제스처에 기반하여 목표 지점인 정지 위치에서의 카메라 방향을 예측하고, 상기 무인 비행 장치의 목표 지점인 정지 위치에서 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 인스트럭션들을 저장할 수 있다.
일 실시예에 따른 무인 비행 장치는, 회전력에 의해 상기 비행 몸체를 구동하는 모터, 모터 구동 모듈, 프로펠러 중 적어도 하나를 포함하는 이동 제어 모듈을 더 포함하고, 상기 인스트럭션들은, 상기 프로세서는, 상기 무인 비행 장치의 자유 비행 방향, 비행 경로, 비행 회전력, 비행 속도를 결정하고, 자유 비행의 목표 지점 및 목표 지점에서의 비행 자세를 예측하고, 예측된 목표 지점에서의 비행 자세에 의한 카메라 촬영 방향을 산출하고, 상기 목표 지점에서의 카메라 촬영 방향이 사용자 방향과 상이한 경우, 카메라 촬영 방향을 조정하기 위한 조정 각도 및 회전 방향을 산출하고, 상기 이동 제어 모듈을 제어하여 상기 결정된 조정 각도 및 회전 방향에 따라 카메라 촬영 방향을 변경하도록 제어할 수 있다.
일 실시예에 따른 상기 인스트럭션들은, 상기 프로세서가, 사용자 제스처 이후 자유 비행 시점을 인지하고, 자유 비행 시점부터 상기 목표 지점 도달까지의 제2 이동 벡터를 계산하고, 상기 제1 이동 벡터와 상기 제2 이동 벡터를 비교하여 사용자 방향이 변경되는지 여부를 결정하고, 제2 이동 벡터와 제1 이동 벡터가 일치하지 않는 경우, 상기 정지 위치 도달 시 제2 이동 벡터에 의한 카메라 촬영 방향이 사용자 방향과 일치되도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출할 수 있다.
일 실시예에 따른 상기 사용자 방향은, 상기 제1 이동 벡터에 대향하는 방향, 상기 제1 이동 벡터를 기준으로 일정 각도를 갖도록 회전된 방향, 상기 제1 이동 벡터와 일치하는 방향 중 적어도 하나일 수 있다.
일 실시예에 따른 상기 인스트럭션들은, 상기 프로세서가, 자유 비행 시작 시의 제1 위치 지점 에서 상기 카메라의 촬영 방향을 판단하고, 자유 비행 시작 시의 카메라의 촬영 방향이 사용자를 바라보고 있는 경우, 목표 지점의 제2 위치 지점에서 상기 카메라의 촬영 방향이 사용자를 바라보는 제1 방향으로 위치하도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출하고, 자유 비행 시작 시의 카메라의 촬영 방향이 사용자 방향과 반대 방향인 경우, 상기 제2 위치 지점에서 카메라의 촬영 방향이 상기 제1 방향과 대향되는 제2 방향 방향을 바라보도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출할 수 있다.
일 실시예에 따른 상기 인스트럭션들은, 상기 프로세서가, 상기 자유 비행 거리 및 자유 비행 시작 시점의 카메라 각도 정보를 이용하여 정지 위치에서 카메라가 사용자를 바라볼 수 있도록 카메라의 각도 조정값을 산출하고, 상기 목표 지점에서 상기 카메라의 각도를 조절할 수 있다.
일 실시예에 따른 상기 인스트럭션들은, 상기 프로세서가 상기 무인 비행 장치의 목표 지점 도달 시 상기 사용자의 눈 높이와, 상기 무인 비행 장치가 호버링된 고도 정보를 비교하고, 상기 사용자의 눈 높이에 일정 거리를 유지하도록 상기 무인 비행 장치의 고도를 조정할 수 있다.
일 실시예에 따른 상기 인스트럭션들은, 상기 프로세서가, 상기 무인 비행 장치의 자유 비행 시작 시간을 기준으로 기 설정된 시간이 경과되거나, 기 설정된 고도 높이에 도달한 경우 목표 지점에 도달했다고 결정하여 자유 비행을 중단하고 호버링하도록 제어할 수 있다.
일 실시예에 따른 상기 인스트럭션들은, 상기 프로세서가, 상기 무인 비행 장치가 목표 지점 도달 시에 자동으로 또는 기 설정된 시간 경과 후에 상기 상기 카메라를 이용해 영상을 촬영하도록 제어할 수 있다.
일 실시예에 따른 상기 인스트럭션들은, 상기 프로세서가, 상기 무인 비행 장치의 촬영 기능이 멀티 촬영으로 설정된 경우, 목표 지점 도달 시, 상기 정지 위치에서 기 설정된 멀티 포인트로 이동하기 위한 각각의 이동 경로, 회전 각도 및 회전 방향을 결정할 수 있다.
일 실시예에 따른 상기 인스트럭션들은, 상기 프로세서가, 상기 멀티 촬영 시 목표 지점 도달 후, 기 설정된 시간 경과한 후, 멀티 포인트인 제1 위치에서 제1 영상을 촬영하고, 상기 결정된 이동 경로, 회전 각도 및 방향에 따라 기 설정된 제2 위치로 상기 비행 장치를 이동하도록 제어하고, 상기 이동된 제2 위치에서 제2 영상을 촬영하고, 상기 이동 및 촬영 동작을 반복하도록 제어할 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 무인 비행 장치를 이용한 피사체 촬영 방법을 설명하는 도면이다.
도 3을 참조하면 일 실시예에 따르면, 310 동작에서, 사용자의 요청에 따라 무인 비행 장치가 구동될 수 있다. 이하, 무인 비행 장치의 동작은, 도 1의 프로세서(110)에 의해 제어될 수 있으며, 설명의 편의를 위하여 무인 비행 장치의 동작으로 설명하기로 한다.
일 실시예에 따른 무인 비행 장치는, 사용자 방향 인식을 위한 설정 옵션을 지원할 수 있다. 예컨대, 사용자는 자유 비행 시작 시 사용자 방향을 인식하도록 무인 비행 장치를 설정할 수 있다. 여기서, 설명의 편의를 위하여, 사용자 방향으로 설정된 경우를 예를 들어 설명하나, 사용자는 사용자 방향 이외에 임의의 다른 방향(예를 들어, 사용자 방향의 반대 방향, 사용자를 기준으로 하는 임의의 각도를 갖는 방향)으로 설정이 가능할 수 있다.
320 동작에서, 무인 비행 장치는, 센서 모듈로부터 수집된 센서 정보를 기반으로 사용자의 던지는 제스처를 인식하고, 330 동작에서, 무인 비행 장치는 던지는 제스처 방향에 대향하는 사용자 방향을 결정할 수 있다.
예컨대, 던지는 제스처는 무인 비행 장치의 자유 비행 이전까지 사용자가 무인 비행 장치를 들고 무인 비행 장치를 던지기 위한 준비 동작일 수 있다. 사용자가 무인 비행 장치를 던지기 위해 무인 비행 장치를 손에 들고 던지는 제스처를 수행하는 동안, 무인 비행 장치는 자이로, 지자계 센서 등의 센서 정보를 기반으로 던지는 제스처의 최초 시작 지점부터 자유 비행 시작 지점까지 이동하는 방향으로의 제1 이동 벡터를 산출하고, 산출된 제1 이동 벡터를 기준으로 대향하는 방향인 사용자 방향을 결정할 수 있다.
무인 비행 장치는 던지는 제스처에 의해 발생된 힘, 방향 및 속도 중 적어도 하나에 기반하여 무인 비행 장치의 자유 비행 방향, 비행 경로, 비행 회전력, 또는 비행 속도를 결정하고, 자유 비행의 정지 위치(즉, 목표 지점) 및 목표 지점에서의 비행 자세를 예측할 수 있다. 무인 비행 장치는 예측된 목표 지점에서의 비행 자세에 의한 카메라의 촬영 방향을 확인할 수 있다.
무인 비행 장치는, 목표 지점에서의 예측된 카메라의 촬영 방향(즉, 비행 장치의 카메라가 향하는 방향)이 사용자 방향(예컨대, 이동벡터 방향에 대향하는 방향)과 일치하는 방향인지를 판단하고, 목표 지점에서의 예측된 카메라의 촬영 방향이 사용자 방향과 일치하지 않는 경우, 목표 지점에서의 예측된 카메라의 촬영 방향과 일치하도록 무인 비행 장치의 자유 비행 방향, 비행 경로, 비행 회전력 및 비행 속도를 변경할 수 있다.
일 실시예에 따르면, 무인 비행 장치는 사용자의 던지는 제스처의 유형을 판단하고, 던지는 제스처의 유형에 대응하여 설정된 카메라 기능으로 다르게 촬영할 수 있다. 예를 들어, 던지는 제스처가 직진 방향으로 던져지는 제1 유형인 경우, 무인 비행 장치는 셀프 촬영 기능으로 설정되며, 목표 지점 도착 후, 사용자를 셀프 촬영할 수 있다. 또 다른 예를 들어, 던지는 제스처가 오른쪽 방향의 회전을 가지면서 던져지는 제2 유형인 경우, 무인 비행 장치는 오른쪽 방향으로 회전하면서 촬영하는 파노라마 촬영 기능으로 설정되며, 목표 지점 도착 후 오른쪽 방향으로 회전하면서 파노라마 영상을 촬영할 수 있다. 또 다른 예를 들어, 던지는 제스처가 왼쪽 방향의 회전을 가지면서 던져지는 제3 유형인 경우, 무인 비행 장치는 왼쪽 방향으로 회전하면서 촬영하는 파노라마 촬영 기능으로 설정되며, 목표 지점 도착 후 왼쪽 방향으로 회전하면서 파노라마 영상을 촬영할 수 있다.
340 동작에서, 무인 비행 장치는 사용자의 손으로부터 떨어져 자유 비행을 시작할 수 있다. 무인 비행 장치는 중력 가속도 변화량을 기반으로 사용자의 손으로부터 떨어져 자유 비행하는 시점을 인지하고, 자유 비행을 시작할 수 있다.
350 동작 에서, 무인 비행 장치는, 자유 비행 시작 시점의 위치 포인트를 기준으로 비행 이동 벡터를 측정할 수 있다. 여기서, 비행 이동 벡터는 사용자가 던지는 제스처 시에 발생되는 제1 이동 벡터와 구분되는 제2 이동 벡터일 수 있다. 제2 이동 벡터는 3차원 좌표 예컨대, Roll(Φ), Pitch(θ), Yaw(Ψ) 값일 수 있다. 여기서, Roll 값은 X축(비행 장치의 전/후 방향)을 기준으로 회전하는 정도를 의미하며, Pitch값은 Y축(비행 장치의 좌/우 방향)을 기준으로 회전하는 정도를 의미하며, Yaw값은 Z축(비행 장치의 수직 방향)을 기준으로 회전하는 정도를 의미할 수 있다.
360 동작에서, 무인 비행 장치는, 자유 비행하여 정지를 위한 목표 지점으로 이동될 수 있다. 일 실시예에 따르면, 무인 비행 장치는, 기 설정된 고도까지 비행하여 호버링되거나, 자유 비행 시작 후, 기 설정된 시간이 경과되는 시점을 목표 지점에 도달한 것으로 결정할 수 있다.
일 실시예에 따르면 무인 비행 장치는 사용자 방향 정보, 사용자의 손에서부터 떨어진 시점에서의 벡터 정보 및 사용자의 손에서부터 떨어진 시점부터 기 설정된 시간 동안의 초기 벡터 정보 중 적어도 하나를 기반으로 목표 지점을 결정할 수 있다.
370 동작에서, 무인 비행 장치는, 목표 지점에 도달 시 카메라의 촬영 방향이 사용자 방향과 일치되어 사용자를 바라볼 수 있도록 조정할 수 있다. 일 실시예에 따르면, 무인 비행 장치는, 목표 지점 및 목표 지점에서의 비행 자세를 기반으로 카메라의 촬영 방향(즉, 비행 장치의 카메라가 향하는 방향)이 카메라 방향으로 바라볼 수 있도록 조정하는 조정값을 산출하고, 이를 적용할 수 있다. 예컨대, 조정값은 무인 비행 몸체에서 카메라가 장착된 방향인 기준 방향이 사용자 방향과 일치하는 각도로 움직이는 회전각도, 회전 방향 또는 비행 고도에 따른 카메라의 pitch각도를 조절하는 제어각도 중 적어도 하나를 포함할 수 있다.
구체적인 내용은 도 6 내지 8에서 설명하기로 한다. 여기서, 370 동작은 360 동작 이전에 선행이 가능할 수 있으며, 이에 한정하는 것은 아니다. 다른 실시예에 따르면, 무인 비행 장치는 자유 비행 시작 시점부터 정지 위치(즉, 목표 지점)까지 비행 중 측정되는 제2 이동 벡터와, 던지는 제스처 시에 측정된 제1 이동 벡터를 비교하여 자유 비행하는 동안 사용자 방향이 변경되는지를 결정할 수 있다. 일 실시예에 따르면, 무인 비행 장치는 자유 비행 중에 외부 환경(예, 바람, 장애물 등)에 의해 결정된 비행 루트가 변경되는 경우, 목표 지점에서의 예측된 카메라의 촬영 방향(즉, 비행 장치의 카메라가 향하는 방향)이 사용자 방향(예컨대, 이동벡터 방향에 대향하는 방향)과 일치하도록 무인 비행 장치의 자유 비행 방향, 비행 경로, 비행 회전력 및 비행 속도를 변경할 수 있다.
380 동작에서, 무인 비행 장치는 피사체를 촬영할 수 있다. 무인 비행 장치는 카메라 방향의 위치 및 자세 조정에 따라 사용자 방향으로 바라보도록 조정되었으므로, 피사체 즉, 사용자를 촬영할 수 있다. 일 예를 들어, 무인 비행 장치는, 목표 지점 도달 후 기 설정된 시간이 초과된 경우, 사용자를 촬영할 수 있다.
본 발명의 실시예에 따르면, 무인 비행 장치의 피사체 촬영 방법에 있어서,무인 비행 장치를 이용한 사용자의 던지는 제스처를 인식하는 동작과, 상기 던지는 제스처에 의해 발생된 제1 이동 벡터에 기반하여 사용자 방향을 결정하는 동작과, 상기 던지는 제스처에 기반하여 목표 지점인 정지 위치에서의 카메라 방향을 예측하는 동작과, 상기 무인 비행 장치의 목표 지점인 정지 위치에서 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 동작과, 상기 목표 지점에 도달 시 카메라 촬영 기능을 실행하는 동작을 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 동작은, 상기 무인 비행 장치의 자유 비행 방향, 비행 경로, 비행 회전력, 및 비행 속도를 결정하는 동작과, 상기 자유 비행의 목표 지점 및 목표 지점에서의 비행 자세를 예측하는 동작과, 상기 예측된 목표 지점에서의 비행 자세에 의한 카메라 촬영 방향을 산출하는 동작과, 상기 목표 지점에서의 카메라 촬영 방향이 사용자 방향과 상이한 경우, 상기 카메라 촬영 방향을 조정하기 위한 조정 각도 및 회전 방향을 산출하는 동작과 그리고 상기 무인 비행 장치가 자유 비행 하는 동안 상기 결정된 조정 각도 및 방향에 따라 카메라 촬영 방향을 변경하도록 제어하는 동작을 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 동작은, 상기 사용자 제스처 이후 중력 가속도 정보를 기반으로 자유 비행 시점을 인지하는 동작과, 상기 자유 비행 시점부터 상기 목표 지점 도달까지의 제2 이동 벡터를 계산하는 동작과, 상기 제1 이동 벡터와 상기 제2 이동 벡터를 비교하여 사용자 방향이 변경되는지 여부를 결정하는 동작과 상기 제2 이동 벡터와 제1 이동 벡터가 일치하지 않는 경우, 제2 이동 벡터에 의한 상기 카메라 촬영 방향이 사용자 방향과 일치되도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조절하도록 제어할 수 있다.
본 발명의 실시예에 따르면, 상기 카메라 촬영 방향을 제어하는 동작은, 자유 비행 시작 시의 제1 위치 에서의 상기 카메라의 촬영 방향을 판단하는 동작과, 상기 자유 비행 시작 시의 카메라 촬영 방향이 사용자를 바라보고 있는 경우, 목표 지점 시에 상기 카메라의 촬영 위치가 사용자를 바라보는 제1 방향을 바라보도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출하는 동작과, 상기 자유 비행 시작 시의 카메라의 촬영 방향이 사용자를 바라보지 않는 경우, 목표 지점 도달 시에 카메라의 촬영 방향이 상기 제1 방향과 대향되는 제2 방향을 바라보도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출하는 동작을 더 포함하고, 상기 산출된 조장값에 의해 카메라 촬영 방향을 조정할 수 있다.
본 발명의 실시예에 따르면, 상기 카메라 촬영 방향을 제어하는 동작은, 상기 무인 비행 장치의 자유 비행 장치의 비행 거리 및 자유 비행 시작 시점의 카메라 각도 정보를 이용하여 정지 위치에서 카메라가 사용자를 바라볼 수 있도록 카메라의 각도 조정값을 산출하는 동작과, 상기 목표 지점 도달 시에 상기 카메라의 각도를 조절하는 동작을 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 카메라 촬영 방향을 제어하는 동작은, 상기 무인 비행 장치의 목표 지점 도달 시 사용자의 눈 높이와, 상기 무인 비행 장치가 호버링된 고도 정보를 비교하는 동작과, 상기 사용자의 눈 높이에 일정 거리를 유지하도록 상기 무인 비행 장치의 고도를 조정하는 동작을 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 카메라 촬영 기능을 실행하는 동작은, 상기 무인 비행 장치가 목표 지점 도달 시에 자동으로 또는 기 설정된 시간 경과 후에 카메라를 이용해 영상을 자동 촬영할 수 있다.
본 발명의 실시예에 따르면, 상기 카메라 촬영 기능을 실행하는 동작은, 멀티 촬영이 설정된 경우, 멀티 촬영을 위해 목표 지점을 기준으로 기 설정된 멀티 포인트로 이동하기 위한 각각의 비행 경로, 회전 각도 및 회전 방향을 결정하는 동작을 더 포함하고, 상기 비행 장치의 목표 지점 도달 시, 상기 결정된 멀티 포인트로의 이동 및 촬영 동작을 반복할 수 있다.
본 발명의 실시예에 따르면, 상기 사용자 제스처를 인식하는 동작은, 상기 사용자 제스처의 유형을 판단하는 동작을 더 포함하고, 상기 카메라 기능을 실행하는데 있어서, 상기 사용자 제스처의 유형에 따라 서로 다른 옵션의 카메라 촬영 기능으로 촬영하도록 제어할 수 있다.
도 4는 본 발명은 실시예에 따른 무인 비행 장치의 촬영 동작의 상황도를 도시한다.
도 4를 참조하면, 사용자(401)는 무인 비행 장치(400)를 제1 위치 (430)에서 구동시키고, 일정 방향을 향하여 목표 지점에 도달하도록 던지는 제스처를 수행하고, 무인 비행 장치(400)를 던질 수 있다. 무인 비행 장치(400)는 던지는 제스처에 의해 이동하고, 사용자(401)의 손으로부터 떨어져 자유 비행하는 동안, 센서 정보를 이용하여 움직임에 따른 이동 벡터를 측정할 수 있다.
먼저, 무인 비행 장치(400)는 사용자가 무인 비행 장치를 손에 들고 있는 상태로 수행되는 던지는 제스처를 인식하고, 제1 위치(430)에서 사용자의 손으로부터 떨어져 자유 비행을 시작하는 제2 위치(435)까지의 제1 이동 벡터(440)를 측정할 수 있다. 무인 비행 장치(400)는 제1 이동 벡터(440)에 대향하는 사용자 방향(415)을 결정하고, 제2 위치(435)에서부터 자유 비행을 시작할 수 있다.
다음에, 무인 비행 장치(400)는 제2 위치(435)에서 사용자의 손으로부터 떨어져 자유 비행을 시작하는 시점부터 자유 비행하는 동안 움직임에 따른 제2 이동 벡터(445)를 측정할 수 있다.
한편, 무인 비행 장치(400)는 관성 측정 알고리즘을 통해 비행 장치의 자유 비행 시의 가속 방향, 가속량, 회전 방향 및 회전량을 계측할 수 있다. 또한, 무인 비행 장치(400)는 제2 이동 벡터(445)와 제1 이동 벡터(440)를 비교하여 목표 지점 도달 시에 카메라의 촬영 방향을 사용자 방향(415)을 향하도록 목표 지점 도달까지의 가속/감속 방향을 산출하고, 자세 조정을 위한 회전 각도를 산출할 수 있다.
무인 비행 장치(400)는 최종적으로 정지하기 위해 도달하는 목표 지점을 결정할 수 있으며, 목표 지점에 도달하여 호버링될 수 있다. 일 실시예에 따른 무인 비행 장치(400)는 무인 비행 장치의 높이가 기 설정된 높이에 도달하거나, 또는 무인 비행 장치가 비행 시작 후 일정 시간이 경과된 시점을 목표 지점으로 설정될 수 있으나, 이에 한정하는 것은 아니다.
본 발명에 따른 실시예에 따른 무인 비행 장치(400)는, 목표 지점에 도달 시 카메라(410)의 촬영 방향이 사용자를 바라보는 자세로 호버링되며, 피사체 즉, 사용자를 별도의 조작없이 촬영할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 무인 비행 장치의 촬영 방법을 도시한다.
도 5를 참조하면, 510 동작에서, 무인 비행 장치는 사용자의 던지는 제스처를 인식할 수 있다. 사용자는 특정 위치에서 무인 비행 장치를 특정 방향을 향하도록 던지기 위한 준비 동작을 수행할 수 있으며, 사용자가 무인 비행 장치를 손에 들고 던지는 제스처를 수행할 수 있다.
520 동작에서 무인 비행 장치는, 비행 제어를 위해 관성 측정 유닛(IMU, inertial measurement unit)을 이용하여 사용자가 손에 들고 있는 상태로 움직이는 던지는 제스처에 의해 무인 비행 장치의 가속 방향 및 가속력을 산출할 수 있다. 무인 비행 장치는 던지는 제스처에 의한 제1 이동 벡터를 결정할 수 있다.
530 동작에서, 무인 비행 장치는 가속 방향 및 가속력을 기반으로 목표 지점까지의 이동거리, 이동 고도, 이동 각도 및 사용자 방향을 결정할 수 있다.
이때, 선택적으로 무인 비행 장치는, 자유 비행 시작 이전에, 제1 이동 벡터에 대향하는 방향을 갖는 사용자 방향을 결정할 수 있다. 예를 들어, 무인 비행 장치는 장치 몸체에 설치된 카메라의 촬영 방향을 기준 방향으로 설정하고, 목표 지점 도달 시의 기준 방향이 사용자 방향과 일치하는 방향으로 호버링되도록 자세 조정을 위한 회전 각도를 산출할 수 있다.
일 실시예에 따른 무인 비행 장치는, 비행 시작 시에 카메라의 위치가 사용자를 바라본 자세에서 비행이 시작된 경우, 사용자의 촬영 용도임을 인지하고, 목표 지점 도달 후 사용자 방향을 바라도록 설정할 수 있다. 또는 비행 시작 시에 카메라의 위치가 사용자의 반대 방향을 바라본 자세에서 비행이 시작된 경우, 사용자가 외부 촬영 용도임을 인지하고 목표 지점 도달 후 사용자 방향과 반대 방향을 바라보도록 설정할 수 있다.
540 동작에서, 무인 비행 장치는 사용자의 손으로부터 떨어져 자유 비행을 수행할 수 있다. 이 경우, 무인 비행 장치는 사용자의 손으로부터 떨어져 자유 비행을 시작하는 시점을 인지하고, 자유 비행 시작 시점을 기준으로 자유 비행 이동에 따른 제2 이동 벡터를 측정할 수 있다.
선택적으로, 550 동작에서, 무인 비행 장치는 무인 비행 장치가 자유 비행 (또는 회전) 중에 사용자 방향 또는 임의의 방향으로 카메라의 촬영 방향으로 위치하도록 설정되어 있는지 여부를 판단할 수 있다. 이때, 550 동작은 생략이 가능하다. 예컨대, 무인 비행 장치는 목표 도달 시의 비행 자세를 예측하고, 예측된 목표 지점에서의 비행 자세에 의한 카메라의 촬영 방향을 확인할 수 있다. 무인 비행 장치는 제1 이동 벡터와 제2 이동 벡터를 비교하여 자유 비행하는 동안, 지속적으로 목표 지점 도달 시의 카메라의 촬영 방향이 사용자 방향과 일치하는지를 산출할 수 있다.
일 실시예에서, 무인 비행 장치가 자유 비행하는 동안 정지 위치 즉, 목표 지점 도달 시 카메라의 촬영 방향이 사용자 방향과 일치하지 않는 경우, 580 동작으로 진행하여 자유 비행 하는 동안 센서 정보를 수집할 수 있다. 예를 들어, 무인 비행 장치는, 가속도 자이로, 지자계, 초음파, 기압계 및 OFS 센서 중 적어도 하나를 이용하여 센서 정보를 수집할 수 있다.
다음에, 581 동작에서, 무인 비행 장치는 자유 비행의 이동량 및 회전량을 산출하고, 582 동작에서 yaw방향의 회전량과, 카메라 pitch 방향 회전량을 산출할 수 있다. 583 동작에서, 무인 비행 장치는, 산출된 값을 기반으로 목표 도달 시의 카메라의 촬영 방향이 사용자 방향과 일치하도록 비행 장치의 yaw 방향으로의 회전과, 카메라의 pitch를 제어할 수 있다.
다시 말해, 본 발명에 따른 무인 비행 장치는, 1차적으로 센서 정보를 이용해 사용자의 던지는 제스처를 인식하고, 제1 이동 벡터에 대향하는 사용자 방향을 결정하고, 사용자 방향과, 무인 비행 장치 내에 설치된 카메라의 촬영 방향(예, 기준 방향)이 일치되도록 자유 비행 방향, 비행 경로, 비행 회전력 및 비행 속도를 결정할 수 있다. 또한, 무인 비행 장치는 자유 비행 시에 2차적으로 센서 정보를 획득하고, 자유 비행 시점을 기준으로 제2 이동 벡터를 측정할 수 있다. 무인 비행 장치는 제1 이동 벡터와 제2 이동 벡터의 비교하여, 예측된 자유 비행 경로가 어긋나는지를 판단하고, 비행 경로가 변경된 경우, 조정값을 계산하여 카메라 촬영 방향의 위치가 사용자를 바라보도록 조정할 수 있다.
한편, 560 동작에서, 무인 비행 장치는 목표 지점에 도달했는지 여부를 판단하고, 목표 지점에 도달한 경우, 570 동작에서 카메라의 촬영 방향이 사용자 방향을 바라보고 있는지 여부를 판단하고 사용자 방향을 바라보고 있으면, 590 동작으로 진행하여 사용자 즉, 피사체를 촬영할 수 있다.
일 실시예에 따르면, 무인 비행 장치는, 목표 지점 도달 후, 기 설정된 조건을 만족하는 경우, 자동적으로 촬영을 실행하는 기능을 지원할 수 있다.
일 실시예에 따른 무인 비행 장치는, 멀티 포인트에 대한 촬영을 지원할 수도 있다. 예를 들어, 사용자는 목표 지점 도달 후, 사용자를 중심으로 90도 각도씩 이동하면서 4포인트에서 사용자를 촬영하길 원할 수 있다. 사용자는 무인 비행 장치를 비행 하기 이전에 멀티 포인트 및 각도를 사전에 설정할 수 있으며, 무인 비행 장치는 설정 정보에 따라 멀티 포인트로 이동하면서 사용자를 촬영할 수도 있다.
한편, 570 동작에서, 목표 지점에 도달하였으나, 사용자를 바라보지 않는 경우, 580 동작으로 진행하여 카메라의 방향이 사용자를 바라보도록 위치를 조절할 수 있도록 센서 정보를 수집하고, 581 동작, 582 동작 및 583 동작을 수행하여 카메라의 위치가 사용자를 바라보도록 제어한 다음에, 촬영을 시작하도록 제어할 수 있다. 한편, 도 5의 실시예는 설명의 편의의 위하여 사용자 방향으로 지정하여 설명하였을 뿐, 카메라의 촬영 방향이 사용자가 설정한 임의의 방향일 경우, 상술한 동작으로 실현 가능함은 당연하다.
일 실시예에 따른 본원 발명의 무인 비행 장치는, 던지는 제스처를 인식하고 던지는 제스처에 의해 발생된 이동 벡터 및 사용자 방향 정보를 기반으로 목표 지점의 위치에서 사용자를 바라볼 수 있도록 무인 비행 장치의 자세, 고도 및 방향 중 적어도 하나를 제어하도록 계산하여 설정하고, 사용자의 손으로부터 떨어지는 시점부터 자유 비행하여 목표 지점에 도달하도록 제어할 수 있다.
다른 실시예에 따른 본원 발명의 무인 비행 장치는, 던지는 제스처를 인식하고 전지는 제스처에 의해 발생된 이동 벡터 및 사용자 방향 정보를 결정하고, 사용자가 던지는 힘에 의해 속도 및 방향 정보를 기반으로 포물선 비행을 수행하는 동안, 자유 비행 시 획득하는 센서 정보를 기반으로 목표 지점의 위치에서 사용자를 바라볼 수 있도록 자유 비행 하는 동안 비행 방향을 보정하여 무인 비행 장치의 자세, 고도 및 방향 중 적어도 하나를 변경하도록 제어할 수 있다.
도 6은 본 발명의 일 실시예에 따른 무인 비행 장치의 동작 알고리즘을 설명하는 도면이다.
도 6을 참조하면, 일 실시예에 따른 무인 비행 장치는 자유 비행 중 또는 목표 지점 도달 후 센서 정보를 이용하여 최초 무인 비행 장치의 예측 경로를 기준으로 카메라의 촬영 방향을 사용자 방향으로 바라보도록 비행 회전 및 각도를 조절할 수 있다. 이를 위해, 무인 비행 장치는, IMU (inertial measurement unit(예, 가속도 센서, 자이로 센서 지자계 센서 등 센서 모듈)(610)를 이용하여 비행의 회전량 및 가속도에 따른 센서 정보를 산출할 수 있다. IMU (610)은 센서 정보를 이용해 무인 비행 장치의 비행 시작부터 목표 지점에 도달하여 호버링 될 때까지 장치의 가속 방향, 가속량, 회전 방향, 및 회전량을 산출할 수 있다.
일 실시 예에 따른, 무인 비행 장치는 자세 알고리즘(620)을 적용하여 비행의 가속 또는 감속 방향을 산출하고, 회전방향 및 회전에 따른 각도 예를 들어, 카메라 방향 및 진행 방향을 산출할 수 있다. 이 경우, 무인 비행 장치의 회전 방향 및 회전량은 센서 정보 예를 들어, 지자계 센서로부터 획득한 정보와 연동하여 계측 정확도를 향상시킬 수 있다.
예컨대, 무인 비행 장치는 자세 알고리즘(620)을 적용하여 무인 비행 장치가 목표 지점 도달까지의 예측 경로를 통해 목표 지점 호버링 시의 위치 및 자세를 예측하고, 예측 정보를 통해 카메라 위치를 조정하기 위한 조정값을 산출할 수 있다.
일 실시 예에 따른, 무인 비행 장치는 비행 제어 알고리즘(630)을 적용하여 기준점(예: 무인 비행 장치 내에서 설치된 카메라의 촬영 방향 )이 사용자 방향과 일치하도록 회전각도를 결정하고, 기준점을 기반으로 카메라의 수직 각도를 결정하여 장치의 몸체 회전 및 카메라의 pitch 각도를 변경할 수 있다.
상술한 바와 같이, 본원 발명의 다양한 실시예에 따른 무인 비행 장치는 별도의 하드웨어 구성 추가 없이, 무인 비행 장치에 내장된 센서 및 알고리즘을 이용해 기준점이 사용자의 방향을 향하도록 즉, 사용자 방향과 카메라의 촬영 방향이 일직선상에 위치하도록 조정하여 목표 도달 시의 카메라의 촬영 방향이 사용자를 바라볼 수 있도록 함으로써, 별도의 조작 없이 사용자를 촬영하도록 제어하거나, 사용자가 원하는 임의의 방향을 촬영하도록 제어할 수 있다.
도 7은 일 실시에에 다른 무인 비행 장치의 수평 회전 제어를 위한 예시도이다.
도 7을 참조하면, 무인 비행 장치(720)는, IMU (inertial measurement unit)이라는 자이로센서와 가속도센서로 구성된 모듈을 사용하여 몸체 회전의 변화와 직선 움직임의 변화를 계측하여 장치의 자세를 제어할 수 있다.
일 예를 들어. 사용자(710)는 [a] 위치에서 무인 비행 장치(710)를 손에 들고 던지는 제스처를 수행할 수 있다. 그러면, 무인 비행 장치는 센서 정보를 통해 던지는 제스처를 인식하고, [a] 위치에서 사용자의 손으로부터 떨어져 자유 비행을 시작하는 [b] 위치까지 발생되는 제1 이동 벡터(730)을 측정할 수 있다. 무인 비행 장치는 제1 이동 벡터(730)에 대향하는 방향으로의 사용자 방향(715)을 산출할 수 있다.
이때, 무인 비행 장치(720)는, 던지는 제스처로부터 발생된 센서 정보를 기반으로 무인 비행 장치의 자유 비행 방향, 비행 경로, 비행 회전력, 비행 속도를 결정하고, 자유 비행의 정지 위치(즉, 목표 지점) 및 목표 지점에서의 비행 자세를 예측할 수 있다.
사용자(710)가 무인 비행 장치(720)를 던지면, 사용자가 던지는 제스처로부터 발생된 센서 정보 및 사용자가 던지는 힘 중 적어도 하나를 기반으로 자유 비행의 가속 크기와 가속 방향을 결정하고 자유 비행 중, IMU를 이용하여 장치의 이동방향과 회전 방향을 계산할 수 있다.
이때, 무인 비행 장치는 사용자의 손으로부터 떨어지는 자유 비행 시작 시점을 인식하고, 자유 비행 시작 위치 (b) 지점에서부터 목표 지점 즉, 정지 위치 (c-1)까지의 제2 이동 벡터(735)를 측정할 수 있다. 또한, 무인 비행 장치(720)는 무인 비행 장치(720)가 정지하는 시점에서 감속되므로 무인 비행 장치(720)의 감속 방향을 측정할 수 있다. 무인 비행 장치(720)는, 감속 방향을 기반으로 무인 비행 장치(720)가 정지되는 위치에서 카메라의 촬영 방향(721)이 사용자 방향(715)(또는 사용자가 설정한 임의의 방향)과 일치하도록 조정할 수 있다.
예를 들어, 무인 비행 장치(720)가 정지 위치에서 (c-1)과 같은 비행 자세로 정지된 경우, 정지 위치에서 카메라(721)의 촬영 방향(740)은 사용자를 바라보지 않는 자세일 수 있다.
무인 비행 장치(720)는, 정지 위치에서의 카메라의 촬영 방향, 자유 비행 방향 (가속 방향과 감속 방향으로 결정)과 IMU에서 계측한 장치의 회전 방향과 회전량을 이용하여 정지 위치에서의 카메라의 촬영 방향을 확인할 수 있으며, 카메라 촬영 방향을 사용자 방향으로 조정하기 위한 조정값을 산출할 수 있다. 무인 비행 장치(720)는, 카메라 위치의 조정값을 기반으로 (c-2)의 정지 위치(c-1과 c-2의 위치는 무인 비행 장치(720)의 무게 중심을 기준으로 대체적으로 동일)에서와 같이, 사용자 방향(715)과 카메라의 촬영 방향(740)이 일치하도록 무인 비행 장치(720)를 회전하도록 제어할 수 있다.
여기서, 무인 비행 장치(720)의 몸체의 회전은 정지 위치 즉, 목표 지점 도달 후 몸체를 회전하여 사용자 방향으로 카메라의 위치를 변경할 수 있으나, 여기서, 무인 비행 장치(720)의 몸체의 회전은 정지 위치 즉, 목표 지점 도달 후 몸체를 회전하여 사용자 방향으로 카메라의 위치를 변경할 수 있으나, 무인 비행 장치(720)는, 비행 도중에도 실시간으로 카메라 방향을 조절하기 위한 조정값을 산출하여 정치 위치 즉, (c-2)와 같이, 카메라의 촬영 방향(740)을 사용자 방향(715)과 일치시켜 카메라가 사용자를 바라보도록 구현할 수도 있다.
도 8은 일 실시예에 따른 무인 비행 장치의 수평 회전 각도 및 방향 설정 방법을 위한 예시도이다.
도 8을 참조하면, 무인 비행 장치(800) 비행의 회전 방향 및 카메라 촬영방향을 기반으로 사용자(810)가 설정한 임의의 방향 예컨대, 사용자 방향(835)으로 카메라 촬영 방향을 조정하기 위한 무인 비행 장치(800) 몸체의 회전 방향을 설정할 수 있다. 무인 비행 장치(800)는 사용자(810)가 손에 들고 던지는 시작 위치부터 사용자(810)의 손으로부터 무인 비행 장치(800)가 떨어지는 시점 즉, 자유 비행 시작 위치 까지는 이동 벡터(830)를 측정하고, 이동 벡터에 대향하는 방향의 사용자 방향(835)를 결정할 수 있다. 시작 위치에서 사용자(810)가 무인 비행 장치(800)를 던진 경우, 무인 비행 장치(800)는 사용자(810)의 손으로부터 떨어져 나와 자유 비행을 시작할 수 있다.
예를 들어, 무인 비행 장치(800)는 비행 방향과 카메라의 촬영 방향이 일치한 경우, 비행 방향과 가속 방향을 θ1이라고 하고, 자유 비행 중, 무인 비행 장치(800)가 회전한 회전 각을 Φ1이라고 할 수 있다. 이후에, 무인 비행 장치(800)가 목표 지점에 도달하여 정지 위치에 있을 때, 무인 비행 장치(800)의 카메라 촬영 방향과 가속 방향의 각을 θ2라고 가정해보자. 무인 비행 장치(800)는 IMU를 이용하여 무인 비행 장치(800)의 카메라 촬영 방향을 기준으로 가속 각도 θ1과 감속 각도 θ2를 계측하며, 장치의 회전 량 Φ1를 계측할 수 있다.따라서, θ2는 θ1과 Φ1의 합이 되고, 사용자 방향으로 회전하기 위한 회전 각은 θ2 - 180°가 될 수 있다. θ2 - 180°가 0°보다 클 경우 시계 방향으로 회전하게 되며, θ2 - 180°가 0°보다 작은 경우 반시계 방향으로 회전하게 되어 무인 비행 장치(800)는 사용자 방향으로 최소 각도로 회전을 할 수 있게 된다. 상술한 방법을 이용하여 무인 비행 장치(800)는, 목표 지점에 도달 후 수평 회전 시의 각도를 설정할 수 있으며, 회전을 위한 방향을 결정할 수 있다.
도 9는 일 실시예에 따른 무인 비행 장치의 카메라 각도 설정 방법을 위한 예시도이다.
도 9를 참조하면, 무인 비행 장치(900)는 무인 비행 장치(900)의 카메라가 사용자(910)를 바라볼 수 있도록 카메라 각도를 조정할 수 있다.
일 실시예에 따르면, 무인 비행 장치(900)는 카메라 각도 조정을 위하여 장치의 비행 거리를 이용하거나, 비행 시작 시점의 각도를 이용하여 카메라 각도를 조정할 수 있다.
일 예를 들면, 무인 비행 장치(900)의 정지 위치는 사용자(910)가 던지는 힘의 크기(가속력)와 던지는 방향으로 설정될 수 있다. 무인 비행 장치(900)가 정지 위치까지 비행할 경우 수평방향 이동 거리 x 는 OFS(optical flow sensor)를 이용하여 산출할 수 있으며, 수직 방향 이동 거리 y 는 기압 센서와 초음파 센서를 연동하여 산출할 수 있다.
무인 비행 장치(900)는 정지 시점에서의 카메라 Pitch 제어 각도 θb는 각각 산출된 수평/수직이동거리 x, y 와 다음과 같은 삼각함수를 이용하여 산출할 수 있다.
θb = tan-1 (x/y)
무인 비행 장치(900)는 산출한 조정값을 이용하여 목표 지점 도달 시 카메라가 사용자를 촬영할 수 있도록 카메라의 pitch각도를 산출하고 산출된 각도에 따라 카메라의 각도를 조정할 수 있다.
다른 예에 따르면 무인 비행 장치(900)는 사용자에 의해 비행 시작 시 IMU를 이용하여 중력 방향을 기준으로 드론의 이동 각도와 가속 크기를 산출할 수 있다. 예컨대, 무인 비행 장치(900)는 산출된 중력 방향 벡터와 초기 장치의 이동 방향 벡터 Vo를 기반으로 장치의 이동 위치(즉, 목표 지점) 설정할 수 있다 이때, 무인 비행 장치(900)는, 초기 장치의 가속 방향 벡터 Vo로부터 초기 이동 각도 θa를 계산하고, 아래와 같은 계산식을 이용하여 목표 지점에 도달 시에 카메라 Pitch 제어각도 θb를 산출할 수 있다.
θb = 180 - a
무인 비행 장치(900)는 상술한 계산식을 이용하여, 카메라의 pitch각도를 산출하고 산출된 각도에 따라 목표 지점 도달 시 카메라가 사용자를 촬영할 수 있도록. 카메라의 각도를 조정할 수 있다.
도 10은 일 실시예에 따른 무인 비행 장치의 위치 조정 방법을 위한 예시도이다.
도 10을 참조하면, 무인 비행 장치(1020)는 던지는 제스처 인식하는 동안, 카메라의 촬영 위치가 사용자 방향을 바라보는 경우, 사용자의 키 정보 또는 센서 정보를 이용하여 무인 비행 장치의 고도에 따라, 사용자의 눈 높이에 대응하여 무인 비행 장치의 고도 정보를 조정할 수 있다. 예를 들어, 사용자(1010)가 장치를 구동하고 던지는 제스처 시작 위치로부터 무인 비행 장치(1020)를 던질 수 있다. 무인 비행 장치(1020)는 사용자의 손으로부터 떨어지는 시점 즉, 자유 비행 시작 위치에서부터 자유 비행을 시작할 수 있다.
이때, 자유 비행 시작 후, 자유 비행하는 동안 무인 비행 장치(1020)는 사용자의 눈 높이보다 높은 위치에서 호버링 될 수 있다. 예를 들어, 무인 비행 장치(1020)가 정지 시점에서 카메라(1021)의 촬영 방향이 사용자를 바라보고 있는 상태에서 사용자보다 높게 호버링된 경우, 사용자의 눈 높이에 맞춰 무인 비행 장치(1020)의 고도를 조정하고 사용자의 촬영을 시작할 수 있다.
일 예에서, 무인 비행 장치(1020)는 카메라를 통해 수집된 사용자 얼굴의 크기 정보 등을 기반으로 고도를 제어하거나, 또는 사용자가 기 입력한 사용자의 키 정보를 이용하여 고도값을 계산하여 고도를 조정할 수 있다.
도 11은 일 실시예에 따른 무인 비행 장치의 멀티 포인트에 대한 멀티 촬영 방법을 위한 예시도이다.
도 11을 참조하면, 무인 비행 장치(1120)는, 비행 시작 전, 옵션 설정에 따라 사용자 자신에 대한 셀프 카메라(selfie) 방향, 사용자가 원하는 임의의 방향(예, 정북 방향, 셀프 카메라 방향을 기준으로 오른쪽 90 도 방향), 사용자 자신에 대한 반대 방향에 대한 촬영을 선택할 수 있는 기능을 지원할 수 있다. 또는, 무인 비행 장치는, 비행 시작 전 옵션 설정에 따라 단일 촬영 또는 멀티 촬영 기능 여부를 선택할 수 있는 기능을 지원할 수 있다.
예를 들어, 사용자(1110)는 사용자 자신을 기준으로 4 포인트에서의 멀티 촬영을 선택한 후, 무인 비행 장치(1120)를 던질 수 있다. 무인 비행 장치는 비행하여 목표 지점에 도달되면, 카메라(1121)의 위치가 사용자를 바라보도록 조정할 수 있다. 예컨대, (a)위치가 최초 목표 지점이라고 가정할 경우, 무인 비행 장치는, 사용자(1110)를 기준으로 기설정된 조건에 따라 (a)위치에서 사용자를 촬영할 수 있다. 다음에, 무인 비행 장치(1120)는, 기설정된 조건에 따라 (b)위치로 이동하고, (b)위치에서 카메라(1110)의 위치가 사용자를 바라보도록 조정한 다음에, 사용자를 촬영할 수 있으며, (c)위치 및 (d)위치로 무인 비행 장치(1120)를 이동시킨 후, 사용자를 연속적으로 촬영할 수 있다. 이에 따라, 사용자는 별도의 조작 없이, 무인 비행 장치(1120)를 이용해 멀티 촬영을 용이하게 이용할 수 있다. 일 실시예에서는 사용자의 셀피 촬영을 예시로 하고 있으나, 카메라의 방향을 사용자 방향의 반대 방향(예, 풍경 사진을 찍기 위한 방향)일 경우, 사용자를 중심으로 상, 하, 좌, 우 방향의 풍경 촬영을 할 수 있는 효과가 가능할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예:메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
110: 프로세서 120: 통신 모듈
130: 오디오 모듈 140: 센서 모듈
150: 인터페이스 160: 입력 장치
170: 이동 제어 모듈 180: 카메라 모듈
190: 짐벌 모듈

Claims (20)

  1. 무인 비행 장치에 있어서,
    비행 몸체;
    상기 비행 몸체에 장착된 카메라;
    상기 비행 몸체 내부에 실장되며, 주변 환경 정보를 센싱하는 센서 모듈;
    상기 비행 몸체 내부에 실장되며, 다른 통신 장치와 무선 통신하는 무선 통신 모듈;
    상기 비행 몸체 내부에 설치되며, 상기 카메라, 센서모듈 및 무선 통신 모듈과 전기적으로 연결된 적어도 하나 이상의 프로세서 및
    상기 프로세서와 전기적으로 연결된 메모리를 포함하고,
    상기 메모리는, 무인 비행 장치의 비행 시에, 상기 프로세서가
    상기 무인 비행 장치를 이용한 사용자의 던지는 제스처를 인식하고, 던지는 제스처에 의해 발생된 제1 이동 벡터에 기반하여 사용자 방향을 결정하고, 상기 던지는 제스처에 기반하여 목표 지점인 정지 위치에서의 카메라 방향을 예측하고, 상기 무인 비행 장치의 목표 지점인 정지 위치에서 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 인스트럭션들을 저장하는 것을 특징으로 하는 장치.
  2. 제1항에 있어서,
    회전력에 의해 상기 비행 몸체를 구동하는 모터, 모터 구동 모듈, 프로펠러 중 적어도 하나를 포함하는 이동 제어 모듈을 더 포함하고,
    상기 인스트럭션들은, 상기 프로세서는,
    상기 무인 비행 장치의 자유 비행 방향, 비행 경로, 비행 회전력, 비행 속도를 결정하고, 자유 비행의 목표 지점 및 목표 지점에서의 비행 자세를 예측하고, 예측된 목표 지점에서의 비행 자세에 의한 카메라 촬영 방향을 산출하고, 상기 목표 지점에서의 카메라 촬영 방향이 사용자 방향과 상이한 경우, 카메라 촬영 방향을 조정하기 위한 조정 각도 및 회전 방향을 산출하고, 상기 이동 제어 모듈을 제어하여 상기 결정된 조정 각도 및 회전 방향에 따라 카메라 촬영 방향을 변경하도록 제어하는 것을 것을 특징으로 하는 장치.
  3. 제1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    사용자 제스처 이후 자유 비행 시점을 인지하고, 자유 비행 시점부터 상기 목표 지점 도달까지의 제2 이동 벡터를 계산하고, 상기 제1 이동 벡터와 상기 제2 이동 벡터를 비교하여 사용자 방향이 변경되는지 여부를 결정하고, 제2 이동 벡터와 제1 이동 벡터가 일치하지 않는 경우, 상기 정지 위치 도달 시 제2 이동 벡터에 의한 카메라 촬영 방향이 사용자 방향과 일치되도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출하는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    상기 사용자 방향은,
    상기 제1 이동 벡터에 대향하는 방향, 상기 제1 이동 벡터를 기준으로 일정 각도를 갖도록 회전된 방향, 상기 제1 이동 벡터와 일치하는 방향 중 적어도 하나인 것을 특징으로 하는 장치,
  5. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    자유 비행 시작 시의 제1 위치 지점 에서 상기 카메라의 촬영 방향을 판단하고, 자유 비행 시작 시의 카메라의 촬영 방향이 사용자를 바라보고 있는 경우, 목표 지점의 제2 위치 지점에서 상기 카메라의 촬영 방향이 사용자를 바라보는 제1 방향으로 위치하도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출하고,
    자유 비행 시작 시의 카메라의 촬영 방향이 사용자 방향과 반대 방향인 경우, 상기 제2 위치 지점에서 카메라의 촬영 방향이 상기 제1 방향과 대향되는 제2 방향 방향을 바라보도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출하는 것을 특징으로 하는 장치.
  6. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 자유 비행 거리 및 자유 비행 시작 시점의 카메라 각도 정보를 이용하여 정지 위치에서 카메라가 사용자를 바라볼 수 있도록 카메라의 각도 조정값을 산출하고, 상기 목표 지점에서 상기 카메라의 각도를 조절하는 것을 특징으로 하는 장치.
  7. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 무인 비행 장치의 목표 지점 도달 시
    상기 사용자의 눈 높이와, 상기 무인 비행 장치가 호버링된 고도 정보를 비교하고, 상기 사용자의 눈 높이에 일정 거리를 유지하도록 상기 무인 비행 장치의 고도를 조정하는 것을 특징으로 하는 장치.
  8. 제1항에 있어서
    상기 인스트럭션들은, 상기 프로세서가,
    상기 무인 비행 장치의 자유 비행 시작 시간을 기준으로 기 설정된 시간이 경과되거나, 기 설정된 고도 높이에 도달한 경우 목표 지점에 도달했다고 결정하여 자유 비행을 중단하고 호버링하도록 제어하는 것을 특징으로 하는 장치.
  9. 제8항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 무인 비행 장치가 목표 지점 도달 시에 자동으로 또는 기 설정된 시간 경과 후에 상기 카메라를 이용해 영상을 촬영하도록 제어하는 것을 특징으로 하는 장치.
  10. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 무인 비행 장치의 촬영 기능이 멀티 촬영으로 설정된 경우, 목표 지점 도달 시, 상기 정지 위치에서 기 설정된 멀티 포인트로 이동하기 위한 각각의 이동 경로, 회전 각도 및 회전 방향을 결정하는 것을 특징으로 하는 장치.
  11. 제10항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 멀티 촬영 시 목표 지점 도달 후, 기 설정된 시간 경과한 후, 멀티 포인트인 제1 위치에서 제1 영상을 촬영하고, 상기 결정된 이동 경로, 회전 각도 및 방향에 따라 기 설정된 제2 위치로 상기 비행 장치를 이동하도록 제어하고, 상기 이동된 제2 위치에서 제2 영상을 촬영하고, 상기 이동 및 촬영 동작을 반복하도록 제어하는 것을 특징으로 하는 장치.
  12. 무인 비행 장치의 피사체 촬영 방법에 있어서,
    무인 비행 장치를 이용한 사용자의 던지는 제스처를 인식하는 동작;
    상기 던지는 제스처에 의해 발생된 제1 이동 벡터에 기반하여 사용자 방향을 결정하는 동작;
    상기 던지는 제스처에 기반하여 목표 지점인 정지 위치에서의 카메라 방향을 예측하는 동작;
    상기 무인 비행 장치의 목표 지점인 정지 위치에서 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 동작; 및
    상기 목표 지점에 도달 시 카메라 촬영 기능을 실행하는 동작을 포함하는 방법.
  13. 제12항에 있어서,
    상기 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 동작은,
    상기 무인 비행 장치의 자유 비행 방향, 비행 경로, 비행 회전력, 및 비행 속도를 결정하는 동작;
    상기 자유 비행의 목표 지점 및 목표 지점에서의 비행 자세를 예측하는 동작;
    상기 예측된 목표 지점에서의 비행 자세에 의한 카메라 촬영 방향을 산출하는 동작;
    상기 목표 지점에서의 카메라 촬영 방향이 사용자 방향과 상이한 경우, 상기 카메라 촬영 방향을 조정하기 위한 조정 각도 및 회전 방향을 산출하는 동작; 및
    상기 무인 비행 장치가 자유 비행 하는 동안 상기 결정된 조정 각도 및 방향에 따라 카메라 촬영 방향을 변경하도록 제어하는 동작을 포함하는 방법.
  14. 제12항에 있어서,
    상기 카메라의 촬영 방향이 상기 사용자 방향과 일직선상에 위치하도록 제어하는 동작은,
    상기 사용자 제스처 이후 중력 가속도 정보를 기반으로 자유 비행 시점을 인지하는 동작;
    상기 자유 비행 시점부터 상기 목표 지점 도달까지의 제2 이동 벡터를 계산하는 동작;
    상기 제1 이동 벡터와 상기 제2 이동 벡터를 비교하여 사용자 방향이 변경되는지 여부를 결정하는 동작; 및
    상기 제2 이동 벡터와 제1 이동 벡터가 일치하지 않는 경우, 제2 이동 벡터에 의한 상기 카메라 촬영 방향이 사용자 방향과 일치되도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조절하도록 제어하는 동작을 포함하는 방법.
  15. 제12항에 있어서,
    상기 카메라 촬영 방향을 제어하는 동작은,
    자유 비행 시작 시의 제1 위치에서의 상기 카메라의 촬영 방향을 판단하는 동작;
    상기 자유 비행 시작 시의 카메라 촬영 방향이 사용자를 바라보고 있는 경우, 목표 지점 시에 상기 카메라의 촬영 위치가 사용자를 바라보는 제1 방향을 바라보도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출하는 동작; 및
    상기 자유 비행 시작 시의 카메라의 촬영 방향이 사용자를 바라보지 않는 경우, 목표 지점 도달 시에 카메라의 촬영 방향이 상기 제1 방향과 대향되는 제2 방향을 바라보도록 자유 비행 경로 및 비행 몸체의 회전 각도 및 회전 방향 중 적어도 하나를 조정하는 조정값을 산출하는 동작을 더 포함하고,
    상기 산출된 조장값에 의해 카메라 촬영 방향을 조정하는 방법.
  16. 제12항에 있어서,
    상기 카메라 촬영 방향을 제어하는 동작은,
    상기 무인 비행 장치의 자유 비행 장치의 비행 거리 및 자유 비행 시작 시점의 카메라 각도 정보를 이용하여 정지 위치에서 카메라가 사용자를 바라볼 수 있도록 카메라의 각도 조정값을 산출하는 동작; 및
    상기 목표 지점 도달 시에 상기 카메라의 각도를 조절하는 동작을 더 포함하는 방법.
  17. 제12항에 있어서,
    상기 카메라 촬영 방향을 제어하는 동작은,
    상기 무인 비행 장치의 목표 지점 도달 시 사용자의 눈 높이와, 상기 무인 비행 장치가 호버링된 고도 정보를 비교하는 동작; 및
    상기 사용자의 눈 높이에 일정 거리를 유지하도록 상기 무인 비행 장치의 고도를 조정하는 동작을 더 포함하는 방법.
  18. 제12항에 있어서,
    상기 카메라 촬영 기능을 실행하는 동작은,
    상기 무인 비행 장치가 목표 지점 도달 시에 자동으로 또는 기 설정된 시간 경과 후에 카메라를 이용해 영상을 자동 촬영하는 방법
  19. 제12 항에 있어서,
    상기 카메라 촬영 기능을 실행하는 동작은,
    멀티 촬영이 설정된 경우, 멀티 촬영을 위해 목표 지점을 기준으로 기 설정된 멀티 포인트로 이동하기 위한 각각의 비행 경로, 회전 각도 및 회전 방향을 결정하는 동작을 더 포함하고,
    상기 비행 장치의 목표 지점 도달 시, 상기 결정된 멀티 포인트로의 이동 및 촬영 동작을 반복하는 것을 특징으로 하는 방법.
  20. 제12항에 있어서,
    상기 사용자 제스처를 인식하는 동작은,
    상기 사용자 제스처의 유형을 판단하는 동작을 더 포함하고,
    상기 카메라 기능을 실행하는데 있어서, 상기 사용자 제스처의 유형에 따라 서로 다른 옵션의 카메라 촬영 기능으로 촬영하도록 제어하는 것을 특징으로 하는 방법.
KR1020160149016A 2016-11-09 2016-11-09 무인 비행 장치 및 이를 이용한 피사체 촬영 방법 KR20180051996A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160149016A KR20180051996A (ko) 2016-11-09 2016-11-09 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
EP17200930.0A EP3336644A1 (en) 2016-11-09 2017-11-09 Unmanned aerial vehicle and method for photographing operator using same
US15/808,000 US20180129212A1 (en) 2016-11-09 2017-11-09 Unmanned aerial vehicle and method for photographing subject using the same
CN201711098544.6A CN108062106A (zh) 2016-11-09 2017-11-09 无人驾驶飞行器和用于使用无人驾驶飞行器拍摄被摄物的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160149016A KR20180051996A (ko) 2016-11-09 2016-11-09 무인 비행 장치 및 이를 이용한 피사체 촬영 방법

Publications (1)

Publication Number Publication Date
KR20180051996A true KR20180051996A (ko) 2018-05-17

Family

ID=60452374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160149016A KR20180051996A (ko) 2016-11-09 2016-11-09 무인 비행 장치 및 이를 이용한 피사체 촬영 방법

Country Status (4)

Country Link
US (1) US20180129212A1 (ko)
EP (1) EP3336644A1 (ko)
KR (1) KR20180051996A (ko)
CN (1) CN108062106A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083174A (zh) * 2019-04-12 2019-08-02 上海歌尔泰克机器人有限公司 无人机控制方法、装置及系统
CN110291482A (zh) * 2018-07-31 2019-09-27 深圳市大疆创新科技有限公司 返航控制方法、装置及设备
KR102259920B1 (ko) * 2020-12-09 2021-06-01 세종대학교산학협력단 실내 환경에서 운행하는 무인 비행체의 방위각의 추정

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6408832B2 (ja) * 2014-08-27 2018-10-17 ルネサスエレクトロニクス株式会社 制御システム、中継装置、及び制御方法
CN107209854A (zh) 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
WO2017071143A1 (en) 2015-10-30 2017-05-04 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
WO2018105576A1 (ja) * 2016-12-05 2018-06-14 Kddi株式会社 飛行装置、制御装置、通信制御方法、及び制御方法
CN206537523U (zh) * 2016-12-30 2017-10-03 昊翔电能运动科技(昆山)有限公司 用于无人机的云台减震装置
CN110891862B (zh) * 2017-08-10 2023-07-11 深圳零零无限科技有限公司 飞行系统中用于避障的系统和方法
CN109074168B (zh) * 2018-01-23 2022-06-17 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
US11822346B1 (en) * 2018-03-06 2023-11-21 Snap Inc. Systems and methods for estimating user intent to launch autonomous aerial vehicle
JP2021144260A (ja) * 2018-06-15 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP2020003428A (ja) * 2018-06-29 2020-01-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
JP7017998B2 (ja) * 2018-09-13 2022-02-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体
CN111045209A (zh) * 2018-10-11 2020-04-21 光宝电子(广州)有限公司 使用无人机的旅游系统与方法
CN109947096B (zh) * 2019-02-25 2022-06-21 广州极飞科技股份有限公司 受控对象的控制方法及装置、无人驾驶系统
WO2020220190A1 (zh) * 2019-04-29 2020-11-05 深圳市大疆创新科技有限公司 一种无人机的控制方法及相关设备
WO2020243278A1 (en) * 2019-05-28 2020-12-03 AirSelfie, Inc. Selfie aerial camera device
CN110650287A (zh) * 2019-09-05 2020-01-03 深圳市道通智能航空技术有限公司 一种拍摄控制方法、装置、飞行器及飞行系统
US10860115B1 (en) * 2019-09-19 2020-12-08 Bao Tran Air transportation systems and methods
CN112154395B (zh) * 2019-10-18 2024-05-28 深圳市大疆创新科技有限公司 飞行控制方法、系统、无人飞行器及存储介质
CN111272148B (zh) * 2020-01-20 2021-08-31 江苏方天电力技术有限公司 输电线路无人机自主巡检自适应成像质量优化方法
CN111891356A (zh) * 2020-08-17 2020-11-06 成都市玄上科技有限公司 一种无人机无头自旋飞行倾斜摄影航拍方法
CN111924101B (zh) * 2020-08-31 2024-04-09 金陵科技学院 一种无人机双云台相机及其工作方法
CN112532833A (zh) * 2020-11-24 2021-03-19 重庆长安汽车股份有限公司 智能拍录系统
CN116745720A (zh) * 2021-03-15 2023-09-12 深圳市大疆创新科技有限公司 无人机的控制方法、装置及无人机
US11858121B2 (en) 2021-07-07 2024-01-02 MFE Enterprises, Inc. Robots for gas leak inspection
US11917337B2 (en) * 2021-08-31 2024-02-27 Xerox Corporation System and method for selective image capture on sensor floating on the open sea
CN114348303B (zh) * 2021-11-22 2023-05-26 中国科学院西安光学精密机械研究所 一种飞行器可重复使用稳定自拍装置及方法
CN114089777A (zh) * 2021-11-22 2022-02-25 广州市华科尔科技股份有限公司 一种抛飞无人机的控制方法及装置
CN114842056A (zh) * 2022-04-19 2022-08-02 深圳鳍源科技有限公司 多机位第一机器视角追随方法、系统、装置及设备
WO2024000189A1 (zh) * 2022-06-28 2024-01-04 深圳市大疆创新科技有限公司 控制方法、头戴式显示设备、控制系统及存储介质
CN115240475B (zh) * 2022-09-23 2022-12-13 四川大学 融合飞行数据和雷达图像的航空器进近规划方法及装置
WO2024069789A1 (ja) * 2022-09-28 2024-04-04 株式会社RedDotDroneJapan 空中撮影システム、空中撮影方法および空中撮影プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9599992B2 (en) * 2014-06-23 2017-03-21 Nixie Labs, Inc. Launch-controlled unmanned aerial vehicles, and associated systems and methods

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110291482A (zh) * 2018-07-31 2019-09-27 深圳市大疆创新科技有限公司 返航控制方法、装置及设备
CN110083174A (zh) * 2019-04-12 2019-08-02 上海歌尔泰克机器人有限公司 无人机控制方法、装置及系统
KR102259920B1 (ko) * 2020-12-09 2021-06-01 세종대학교산학협력단 실내 환경에서 운행하는 무인 비행체의 방위각의 추정

Also Published As

Publication number Publication date
EP3336644A1 (en) 2018-06-20
US20180129212A1 (en) 2018-05-10
CN108062106A (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
KR20180051996A (ko) 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
US10435176B2 (en) Perimeter structure for unmanned aerial vehicle
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US11573562B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
US11022969B2 (en) Systems and methods for controlling an unmanned aerial vehicle
KR102663615B1 (ko) 무인 비행 장치 및 전자 장치를 이용한 무인 비행 장치의 지오 펜스 영역의 재설정 방법
EP3373098B1 (en) Method for controlling unmanned aerial vehicle and unmanned aerial vehicle supporting the same
CN111596649B (zh) 用于空中系统的单手远程控制设备
KR102670994B1 (ko) 무인 비행체 및 그 제어 방법
WO2020042159A1 (zh) 一种云台的转动控制方法、装置及控制设备、移动平台
KR20210034266A (ko) 비행 실시 전 진단 비행을 수행하는 무인 비행 장치 및 방법
US20230280742A1 (en) Magic Wand Interface And Other User Interaction Paradigms For A Flying Digital Assistant
US20230296793A1 (en) Motion-Based Calibration Of An Aerial Device