KR102236965B1 - Remote travel support device using drone - Google Patents

Remote travel support device using drone Download PDF

Info

Publication number
KR102236965B1
KR102236965B1 KR1020200061415A KR20200061415A KR102236965B1 KR 102236965 B1 KR102236965 B1 KR 102236965B1 KR 1020200061415 A KR1020200061415 A KR 1020200061415A KR 20200061415 A KR20200061415 A KR 20200061415A KR 102236965 B1 KR102236965 B1 KR 102236965B1
Authority
KR
South Korea
Prior art keywords
drone
travel
traveler
unit
terminal
Prior art date
Application number
KR1020200061415A
Other languages
Korean (ko)
Inventor
김성
Original Assignee
김성
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김성 filed Critical 김성
Priority to KR1020200061415A priority Critical patent/KR102236965B1/en
Application granted granted Critical
Publication of KR102236965B1 publication Critical patent/KR102236965B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/14Travel agencies
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • B64C2201/022
    • B64C2201/066
    • B64C2201/101
    • B64C2201/127
    • B64C2201/146
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00Aeronautics or air transport
    • Y02T50/50On board measures aiming to increase energy efficiency

Abstract

The present invention relates to a remote travel support device using a drone, and more particularly, relates to a remote travel support device using a drone that provides a travel course in a specific country desired by a user, and remotely controls the movement of the drone through a body motion interface using artificial intelligence deep learning technology to allow a user to appreciate the surrounding travel scenery photographed by the drone. Through the present invention, a more realistic travel is provided because the traveler (user) instead of the drone operator operates the drone at a remote location using a body motion. The remote travel support device includes a travel course management server, a drone,, a drone controller, a traveler terminal, and a rover.

Description

드론을 이용한 원격 여행 지원장치{Remote travel support device using drone}Remote travel support device using drone}

본 발명은 드론을 이용한 원격 여행 지원장치에 관한 것으로, 더욱 상세하게는 사용자가 원하는 특정 나라의 여행 코스를 제공하고, 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 드론의 이동을 원격지에서 제어하여 사용자가 드론에 의해 촬영된 주변 여행 풍경을 감상할 수 있도록 하는 드론을 이용한 원격 여행 지원장치에 관한 것이다.The present invention relates to a remote travel support device using a drone, and more particularly, provides a travel course for a specific country desired by a user, and controls the movement of a drone through a body motion interface using artificial intelligence deep learning technology. Thus, it relates to a remote travel support device using a drone that enables a user to enjoy the surrounding travel landscape photographed by a drone.

가상현실 및 게임 등에 동작 인식 기반의 상호 작용 기술이 상용화되기 시작하여, TV 등 다양한 상품 분야로 확산되고 있다. Motion recognition-based interaction technologies have begun to be commercialized in virtual reality and games, and are spreading to various product fields such as TV.

그리고, 3D 기술의 대중화와 더불어 가정용 엔터테인먼트 산업에 상호 작용이 가능한 다양한 체험 기술로 응용되고 있다.In addition, with the popularization of 3D technology, it is being applied as a variety of interactive experience technologies in the home entertainment industry.

3D 컨텐츠를 실제와 동일하게 시청할 수 있는 입체 영상과 상호 작용 기술을 융합하여 살아 움직이는 생동감과 사실감을 극대화시킬 수 있는 동작 체험형 컨텐츠 역시 개발되고 있다. Motion-experience-type contents that can maximize the sense of life and realism are also being developed by fusion of 3D images and interaction technologies that allow users to view 3D contents in the same way as they are in the real world.

즉, 사용자가 직접 가상 객체와 상호 작용할 수 있는 움직임 추적 기반의 3차원 또는 360도 시청이 가능한 인터페이스를 이용하여 레포츠, 게임, 엔터테인먼트, 교육 등의 분야에 체험형 컨텐츠에 대한 개발이 진행되고 있다.In other words, the development of experience-type content in fields such as sports, games, entertainment, and education is underway using a motion tracking-based three-dimensional or 360-degree viewing interface through which a user can directly interact with a virtual object.

그러나, 사용자의 움직임 추적이 컨텐츠 내에 반영되도록 하는 데에만 기술 개발이 집중되고 있으며, 보다 다양한 스포츠 환경에서의 서비스를 제공하기 위한 개발이 부족하다.However, technology development is focused only on allowing the user's motion tracking to be reflected in the content, and development for providing services in a more diverse sports environment is lacking.

한편, 사람들은 삶의 휴식 또는 새로운 지역을 경험하기 위한 기대감으로 여행을 준비한다.On the other hand, people prepare for a trip with the anticipation of a break in life or to experience a new area.

특히, 경제발전 및 생활수준의 향상에 따라 경제적 여유가 증대되었고, 국내 또는 해외로의 여행 빈도는 매년 증가하고 있으며, 여행지역의 범위는 점진적으로 확대되는 추세이다.In particular, economic margins have increased with the improvement of economic development and living standards, the frequency of travel to domestic or overseas is increasing every year, and the range of travel areas is gradually expanding.

여행자는 새로운 곳으로 여행을 떠나기 위해 적당한 시간과 방문하고자 하는 여행지를 결정하여야 하나, 바쁜 일상생활 속에서 현재 장소와 먼 거리에 떨어져 있는 여행지를 선택하는 것은 시간 여건상 쉬운 일이 아니다.Travelers have to decide the appropriate time and destination to visit in order to travel to a new place, but choosing a destination far away from the current place in busy daily life is not an easy task due to time conditions.

특히, 방문하고자 하는 여행지가 절경이나 험준한 지리의 산과 같이 위험한 지역이라면, 시간 여건이 허락되어 직접 방문했다 하더라도 위험요소에 의해 멀리서 일부 구역만을 바라볼 수밖에 없다.In particular, if the destination you want to visit is a dangerous area such as a superb view or a rugged mountain of geography, even if time conditions allow and you visit in person, you will have to look at only some areas from a distance due to the risk factors.

또한, 여행하고자 하는 장소가 한정된 구역의 널리 알려진 명소, 일 예로서 미술관 같은 제한된 공간이라면 공개특허공보 제10-2016-0096281호에 개시된 가상 여행 서비스를 이용할 수도 있겠으나, 이는 시스템에서 제공하는 정해진 코스만을 일방적으로 관람하는 수준에 머물러 있다.In addition, if the place to travel is a well-known attraction in a limited area, for example, a limited space such as an art gallery, the virtual travel service disclosed in Korean Patent Application Publication No. 10-2016-0096281 may be used, but this is a fixed course provided by the system. It stays at the level of unilateral viewing of the bay.

뿐만 아니라, 현재 인터넷으로 서비스 중인 구글 지도 등은 단순한 지도 데이터 외에도 여행자들이 업로드한 특정 건물, 명소들의 사진 및 영상 등의 데이터도 같이 제공하고 있어, 어느 정도는 여행자들의 요구를 충족시킬수 있으나, 방대한 데이터 양에 따라 화면 갱신 속도가 현저히 느리며, 제공하는 영상의 시점에 제약이 있을 뿐만 아니라, 원하는 여행지를 자유롭게 이동하여 실제 여행을 떠나는 기분을 느끼기에는 한계가 있다.In addition, Google Maps, which are currently being serviced on the Internet, provides data such as photos and videos of specific buildings and attractions uploaded by travelers in addition to simple map data, which can meet the needs of travelers to some extent, but vast amounts of data. Depending on the amount, the screen update speed is significantly slow, there is a limitation on the viewpoint of the video to be provided, and there is a limitation in feeling the feeling of leaving the actual travel by freely moving to the desired travel destination.

따라서, 드론을 통해 특정 국가에서 여행하고자 하는 국가의 특정 여행 코스를 여행하면서 실제 여행을 떠나는 기분을 느낄 수 있게 하며, 드론 제어를 조작하기 힘든 드론 제어기를 이용하지 않고, 사용자의 모션을 인식하여 이를 통해 손쉽게 드론을 제어하여 사용자가 원하는 여행 코스를 자유롭게 이동하면서 여행을 즐길 수 있는 기술을 제안하게 된 것이다.Therefore, it is possible to feel the feeling of going on an actual trip while traveling through a specific travel course of the country where you want to travel in a specific country through a drone, and without using a drone controller, which is difficult to manipulate the drone control, it recognizes the user's motion. Through this, a technology that allows users to enjoy travel while freely moving the desired travel course by controlling the drone was proposed.

대한민국 공개특허공보 제10-2016-0043705호(2016.04.22)Republic of Korea Patent Publication No. 10-2016-0043705 (2016.04.22) 대한민국 공개특허공보 제10-2016-0096281호(2016.08.16)Republic of Korea Patent Publication No. 10-2016-0096281 (2016.08.16)

따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 사용자가 원하는 특정 나라의 여행 코스를 제공하고, 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 드론의 이동을 원격지에서 제어하여 사용자가 드론에 의해 촬영된 주변 여행 풍경을 감상할 수 있도록 하는데 있다.Accordingly, the present invention has been proposed in consideration of the problems of the prior art as described above, and an object of the present invention is to provide a travel course for a specific country desired by the user, and use artificial intelligence deep learning technology to provide a drone through a body motion interface. The purpose is to control the movement from a remote location so that the user can enjoy the surrounding travel scene photographed by the drone.

본 발명의 다른 목적은 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 드론의 상하좌우 이동, 정지, 속도 등을 실시간으로 제어할 수 있도록 하는데 있다.Another object of the present invention is to enable real-time control of a drone's vertical movement, stop, and speed through a body motion interface using artificial intelligence deep learning technology.

본 발명의 또 다른 목적은 사용자가 기본적으로 제공된 여행코스를 수정하여 자유도를 부가하여 정해진 여행 코스에서 설정된 거리 범위 내에서 자유롭게 주변 경치를 볼 수 있도록 하는데 있다.Another object of the present invention is to allow a user to freely view the surrounding scenery within a set distance range in a predetermined travel course by adding a degree of freedom by modifying a travel course provided by default.

본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치는,In order to achieve the problem to be solved by the present invention, a remote travel support apparatus using a drone according to an embodiment of the present invention,

여행 코스 정보를 저장하고 있으며, 여행자단말기에 의해 선택된 여행 코스 정보를 여행자단말기로 제공하기 위한 여행코스관리서버(100)와,A travel course management server 100 for storing travel course information and providing travel course information selected by the traveler terminal to the traveler terminal,

여행 코스 주변을 촬영하여 여행자단말기로 전송하며, 드론컨트롤러의 제어에 따라 상하좌우 이동하는 드론(200)과,A drone 200 that photographs the travel course and transmits it to a traveler's terminal, and moves up, down, left and right under the control of a drone controller,

여행자단말기의 드론 제어 정보를 획득하여 드론을 원격 제어하기 위한 드론컨트롤러(300)와,A drone controller 300 for remotely controlling a drone by acquiring drone control information of a traveler's terminal,

카메라(410)를 통해 사용자 액션을 분석하여 이동, 정지, 속도 증감 정보를 포함하는 드론 제어 정보를 드론컨트롤러로 제공하며, 디스플레이패널(420)을 통해 드론 컨트롤 자막을 제공하고, 드론에서 제공된 여행 코스 주변 풍경 정보를 화면에 출력시키기 위한 여행자단말기(400)를 포함함으로써, 본 발명의 과제를 해결하게 된다.By analyzing user actions through the camera 410, drone control information including movement, stop, and speed increase/decrease information is provided to the drone controller, and drone control subtitles are provided through the display panel 420, and the travel course provided by the drone By including the traveler terminal 400 for outputting the surrounding landscape information on the screen, the problem of the present invention is solved.

이상의 구성 및 작용을 지니는 본 발명에 따른 드론을 이용한 원격 여행 지원장치는,A remote travel support device using a drone according to the present invention having the above configuration and action,

사용자가 원하는 특정 나라의 여행 코스를 제공하고, 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 드론의 이동을 원격지에서 제어하여 사용자가 드론에 의해 촬영된 주변 여행 풍경을 감상할 수 있는 드론 여행 서비스를 제공하게 된다.A drone tour that provides a travel course for a specific country that the user wants, and uses artificial intelligence deep learning technology to control the movement of the drone from a remote location through the body motion interface so that the user can enjoy the surrounding travel landscape photographed by the drone. Service will be provided.

즉, 드론 조작자가 조작하는 것이 아닌, 여행자(사용자)가 바디모션을 이용하여 드론을 원격지에서 조작하기 때문에 여행이 더욱 실감나는 효과를 제공하게 된다.That is, the traveler (user) operates the drone at a remote location using body motion, not by the drone operator, thereby providing a more realistic effect of the trip.

또한, 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 드론의 상하좌우 이동, 정지, 속도 등을 실시간으로 제어할 수 있도록 함으로써, 드론을 제어하기 위해 조작 버튼을 눌러야 하는 불편함을 제거하여 드론 여행 서비스를 즐기는 사용자의 움직임만으로 드론을 제어할 수 있는 편리성을 제공하게 된다.In addition, by using artificial intelligence deep learning technology, the drone's vertical movement, stop, and speed can be controlled in real time through the body motion interface, eliminating the inconvenience of pressing the operation button to control the drone. It provides the convenience of controlling the drone with only the movement of the user who enjoys the travel service.

구체적으로, 디지털 무선 통신 및 영상 기술의 발전과 인공지능의 비약적인 발전으로 카메라로 실시간으로 사용자의 제스처에 대하여 인공지능으로 서버의 컴퓨터 학습에 의한 서비스가 가능해짐에 따라서 사람이 직접 수행하는 리모트컨트롤 조작을 지양하고 인간의 몸 제스처 정보만으로 드론의 상하좌우 이동, 정지, 속도 등을 실시간으로 제어하는 효과를 제공하게 되는 것이다.Specifically, with the advancement of digital wireless communication and imaging technology and the rapid development of artificial intelligence, remote control operations performed by humans are made possible by computer learning of the server with artificial intelligence in real time with the camera for the user's gestures. This will provide the effect of controlling the movement, stop, and speed of the drone in real time with only the human body gesture information.

또한, 사용자가 기본적으로 제공된 여행코스를 수정하여 자유도를 부가하여 정해진 여행 코스에서 설정된 거리 범위 내에서 자유롭게 주변 경치를 볼 수 있는 효과를 제공하게 된다.In addition, the user can modify the basically provided travel course and add a degree of freedom to provide an effect of allowing the user to freely see the surrounding scenery within a set distance range in the determined travel course.

또한, 사용자가 여행 코스를 미리 설계하여 자신이 보고 싶은 장소만 선택하여 여행을 즐길 수 있는 효과를 제공하게 된다.In addition, a user can design a travel course in advance and select only a place he or she wants to see, thereby providing an effect of enjoying the travel.

도 1은 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치의 개략 구성도이다.
도 2는 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치의 여행 코스를 선택할 경우에 포인트를 설정하는 예시도이다.
도 3은 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치의 포인트에 따라 고도 설정, 위치 설정, 속도 설정된 예시도이다.
도 4는 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치의 여행자단말기에 여행 코스 화면이 출력된 예시도이다.
도 5는 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치의 사용자 포즈별 명령어 예시도이다.
도 6은 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치의 인체각부의 포인트를 나타낸 예시도이다.
도 7은 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치의 촬영된 영상 속에서 인공지능의 컴퓨터 비전 기술을 이용하여 얼굴, 몸, 손을 찾아내어 얼굴과 몸을 축으로 촬영된 사진을 좌표화한 예시도이다.
1 is a schematic configuration diagram of a remote travel support apparatus using a drone according to an embodiment of the present invention.
2 is an exemplary diagram of setting points when selecting a travel course of a remote travel support apparatus using a drone according to an embodiment of the present invention.
3 is an exemplary view in which altitude, location, and speed are set according to points of a remote travel support apparatus using a drone according to an embodiment of the present invention.
4 is an exemplary view in which a travel course screen is output to a traveler terminal of a remote travel support apparatus using a drone according to an embodiment of the present invention.
5 is an exemplary diagram illustrating commands for each user pose of a remote travel support apparatus using a drone according to an embodiment of the present invention.
6 is an exemplary view showing points of human body parts of a remote travel support apparatus using a drone according to an embodiment of the present invention.
7 is a photograph of a face, a body, and a hand by finding a face, a body, and a hand using computer vision technology of artificial intelligence in a captured image of a remote travel support device using a drone according to an embodiment of the present invention, It is an example diagram of coordinated.

이하, 본 발명은 다양한 변환을 가할 수 있고, 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. Hereinafter, since the present invention can apply various transformations and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all conversions, equivalents, and substitutes included in the spirit and scope of the present invention.

본 실시 예들은 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 상세하게 설명하기 위해서 제공되는 것이다. The present embodiments are provided to explain the present invention in more detail to those of ordinary skill in the art to which the present invention pertains.

따라서, 도면에 나타난 각 요소의 형상은 보다 분명한 설명을 강조하기 위하여 과장될 수 있으며, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.Therefore, the shape of each element shown in the drawings may be exaggerated in order to emphasize a more clear description, and in describing the present invention, when it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the Detailed description is omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. Terms such as first and second may be used to describe various components, but the components should not be limited by terms.

용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms are used only for the purpose of distinguishing one component from other components.

본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. The terms used in the present invention are used only to describe specific embodiments, and are not intended to limit the present invention.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present invention, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.

본 발명의 실시예에 따른 드론을 이용한 원격 여행 지원장치는,A remote travel support apparatus using a drone according to an embodiment of the present invention,

여행 코스 정보를 저장하고 있으며, 여행자단말기에 의해 선택된 여행 코스 정보를 여행자단말기로 제공하기 위한 여행코스관리서버(100)와,A travel course management server 100 for storing travel course information and providing travel course information selected by the traveler terminal to the traveler terminal,

여행 코스 주변을 촬영하여 여행자단말기로 전송하며, 드론컨트롤러의 제어에 따라 상하좌우 이동하는 드론(200)과,A drone 200 that photographs the travel course and transmits it to a traveler's terminal, and moves up, down, left and right under the control of a drone controller,

여행자단말기의 드론 제어 정보를 획득하여 드론을 원격 제어하기 위한 드론컨트롤러(300)와,A drone controller 300 for remotely controlling a drone by acquiring drone control information of a traveler's terminal,

카메라(410)를 통해 사용자 액션을 분석하여 이동, 정지, 속도 증감 정보를 포함하는 드론 제어 정보를 드론컨트롤러로 제공하며, 디스플레이패널(420)을 통해 드론 컨트롤 자막을 제공하고, 드론에서 제공된 여행 코스 주변 풍경 정보를 화면에 출력시키기 위한 여행자단말기(400)를 포함하여 구성되는 것을 특징으로 한다.By analyzing user actions through the camera 410, drone control information including movement, stop, and speed increase/decrease information is provided to the drone controller, and drone control subtitles are provided through the display panel 420, and the travel course provided by the drone It characterized in that it is configured to include a traveler terminal 400 for outputting the surrounding landscape information on the screen.

이때, 부가적인 양상에 따라, 헬륨 혹은 수소가스가 채워져 공중에 떠 있는 풍선형 드론으로서, 드론의 지피에스 위치 보정을 수행하고, 무선 충전 기능을 포함하여 드론이 비상시에 무선 충전을 수행할 수 있도록 하며, 드론이 통신 저하 지역에 위치할 경우에 드론의 통신을 수행하여 통신 불능을 해결하기 위한 로버(500)를 더 포함하여 구성되는 것을 특징으로 한다.At this time, according to an additional aspect, as a balloon-type drone filled with helium or hydrogen gas and floating in the air, it performs GPS position correction of the drone, and includes a wireless charging function so that the drone can perform wireless charging in an emergency. , When the drone is located in a communication degradation area, it is characterized in that it is configured to further include a rover 500 for resolving communication inability by performing communication of the drone.

이때, 다른 부가적인 양상에 따라, 코스 프로그램을 탑재하고 있으며, 코스 프로그램을 이용하여 여행 코스를 설정하되, 포인트 설정 페이지를 제공하여 포인트를 설정하되, 포인트에 따라 고도 설정, 위치 설정, 속도 설정을 수행하는 드론여행코스설계장치(600)을 더 포함하여 구성되는 것을 특징으로 한다.At this time, according to another additional aspect, the course program is mounted, and the travel course is set using the course program, but the point setting page is provided to set the point, and the altitude setting, location setting, and speed setting are set according to the point. It characterized in that it is configured to further include a drone travel course design device 600 to perform.

이하, 본 발명에 의한 드론을 이용한 원격 여행 지원장치의 실시예를 통해 상세히 설명하도록 한다.Hereinafter, it will be described in detail through an embodiment of a remote travel support device using a drone according to the present invention.

도 1은 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치의 개략 구성도이다.1 is a schematic configuration diagram of a remote travel support apparatus using a drone according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 드론을 이용한 원격 여행 지원장치는 여행코스관리서버(100), 드론(200), 드론컨트롤러(300), 여행자단말기(400)를 포함하여 구성되게 된다.As shown in Figure 1, the remote travel support device using a drone according to an embodiment of the present invention includes a travel course management server 100, a drone 200, a drone controller 300, a traveler terminal 400 It will be composed.

구체적으로 설명하자면, 상기 여행코스관리서버(100)는 여행 코스 정보를 저장하고 있으며, 여행자단말기에 의해 선택된 여행 코스 정보를 여행자단말기로 제공하기 위한 기능을 수행하게 된다.Specifically, the travel course management server 100 stores travel course information and performs a function of providing travel course information selected by the traveler terminal to the traveler terminal.

도 3에 도시한 바와 같이, 여행자가 미국에 존재하고, 여행하고자 하는 국가가 한국에 위치한 설악산일 경우에 설악산에 대한 여행 코스 정보를 저장하고 있다가 여행자가 설악산을 선택하게 되면 설악산 여행 코스를 여행자단말기에 출력하게 되는 것이다.As shown in FIG. 3, when a traveler exists in the United States and the country to travel to is located in Korea, the travel course information for Mt. Seorak is stored, and when the traveler selects Mt. Seorak, the traveler takes a tour of Mt. Seorak. It is printed on the terminal.

포인트별 여행 코스 정보에는 위도, 경도, 높이, 직각 여부, 속도 등의 파라메터 정보도 포함하여 구성하게 된다.The travel course information for each point includes parameter information such as latitude, longitude, height, right angle, and speed.

상기 드론(200)은 여행 코스 주변을 촬영하여 여행자단말기로 전송하며, 드론컨트롤러의 제어에 따라 상하좌우 이동하는 기능을 제공하게 된다.The drone 200 photographs the periphery of the travel course and transmits it to the traveler's terminal, and provides a function of moving up, down, left and right under the control of a drone controller.

상기와 같은 기능을 제공하기 위하여, 드론은,In order to provide the above functions, the drone,

여행 코스 내의 주변 풍경과 진행 방향의 피사체를 촬영하기 위한 카메라부;와A camera unit for photographing a subject in the direction of travel and the surrounding landscape in the travel course; And

상기 카메라부를 통해 촬영된 영상 정보를 여행자단말기로 송출하기 위한 무선통신부;와A wireless communication unit for transmitting image information captured through the camera unit to a traveler's terminal; and

배터리 전원을 감시하며, 설정 이하의 전원이 감지되면 해당 전원 부족 정보를 여행자단말기로 송출하기 위한 배터리전원감시부;와A battery power monitoring unit for monitoring battery power and transmitting information on a corresponding power shortage to the traveler's terminal when a power less than the set level is detected; And

주변 드론 간의 통신 혹은 로버와 통신을 수행하여 현재 위치 정보를 여행자단말기로 송출하기 위한 피어통신부;와A peer communication unit for transmitting current location information to a traveler terminal by performing communication between nearby drones or a rover; And

드론컨트롤러에서 제공된 여행 코스의 고도, 위치, 속도 파라미터와 로버의 위치 정보를 저장하고 있는 여행코스저장부;를 포함하여 구성되게 된다.It is configured to include a travel course storage unit that stores altitude, location, and speed parameters of the travel course provided by the drone controller and location information of the rover.

구체적으로 설명하자면, 카메라부를 통해 여행 코스 내의 주변 풍경과 진행 방향의 피사체를 촬영하게 되면, 촬영된 영상 정보를 무선통신부를 통해 여행자단말기로 송출하게 된다.Specifically, when a subject in the travel course and the surrounding landscape in the travel course is photographed through the camera unit, the photographed image information is transmitted to the traveler's terminal through the wireless communication unit.

따라서, 도 4에 도시한 바와 같이, 여행자단말기에서 드론에서 제공되는 여행 코스 내의 주변 풍경과 진행 방향의 피사체를 화면을 통해 확인할 수 있게 되는 것이다.Accordingly, as shown in FIG. 4, the traveler terminal can check the surrounding landscape and the subject in the travel direction within the travel course provided by the drone through the screen.

그리고, 배터리전원감시부는 배터리 전원을 감시하며, 설정 이하의 전원이 감지되면 해당 전원 부족 정보를 여행자단말기로 송출하게 된다.In addition, the battery power monitoring unit monitors the battery power, and when a power less than the set level is detected, the corresponding power shortage information is transmitted to the traveler's terminal.

즉, 설정 전원 임계치가 30%일 경우에 해당 잔여 전원이 30% 미만으로 떨어지게 되면 해당 전원 부족 정보를 여행자단말기로 송출하여 현재 드론의 전원 상태를 원격지에서 확인할 수 있도록 하는 것이다.That is, when the set power threshold is 30%, when the remaining power falls below 30%, the power shortage information is transmitted to the traveler's terminal so that the current state of the power of the drone can be checked at a remote location.

이때, 부가적인 양상에 따라, 본 발명인 드론을 이용한 원격 여행 지원장치는,At this time, according to an additional aspect, the remote travel support apparatus using a drone according to the present invention,

헬륨 혹은 수소가스가 채워져 공중에 떠 있는 풍선형 드론으로서, 드론의 지피에스 위치 보정을 수행하고, 무선 충전 기능을 포함하여 드론이 비상시에 무선 충전을 수행할 수 있도록 하며, 드론이 통신 저하 지역에 위치할 경우에 드론의 통신을 수행하여 통신 불능을 해결하기 위한 로버(500)를 더 포함하여 구성할 수 있다.As a balloon-type drone filled with helium or hydrogen gas and floating in the air, it performs the GPS position correction of the drone, and includes a wireless charging function to enable the drone to perform wireless charging in an emergency, and the drone is located in a communication degradation area. If so, it may be configured to further include a rover 500 for solving communication inability by performing communication of the drone.

따라서, 상기 드론의 전원이 이동하기 위한 여행 코스를 완주할 수 없을 경우에 여행자단말기에서 로버로의 충전 요청 신호를 송출하게 되고, 이를 드론에서 획득할 경우에 로버의 위치 정보를 여행코스저장부로부터 추출하여 해당 위치로 드론 제어를 수행하기 위한 로버위치확인부;를 더 포함하여 구성되게 된다.Therefore, when the power of the drone cannot complete the travel course for moving, the traveler terminal transmits a charging request signal to the rover, and when the drone obtains this, the location information of the rover is transmitted from the travel course storage unit. It is configured to further include a; rover location check unit for performing the drone control to the extracted location.

상기 로버위치확인부를 구성함으로써, 드론의 전원 부족 현상을 해결하여 여행 코스를 문제없이 완주할 수 있도록 하는 것이다.By configuring the rover location check unit, the power shortage phenomenon of the drone is solved so that the travel course can be completed without problems.

이때, 피어통신부는 주변 드론 간의 통신 혹은 로버와 통신을 수행하여 현재 위치 정보를 여행자단말기로 송출하게 된다.At this time, the peer communication unit transmits the current location information to the traveler's terminal by performing communication between the neighboring drones or the rover.

따라서, 드론에 구성된 로버위치확인부는 피어통신부를 통해 드론의 현재 위치와 로버의 위치를 분석하여 로버에 도달하기 위한 고도와 위치를 확보하여 드론 제어 신호를 드론컨트롤러로 송출하여 드론컨트롤러의 제어에 따라 해당 로버로 이동하게 되는 것이다.Therefore, the rover position check unit configured in the drone analyzes the current position of the drone and the position of the rover through the peer communication unit, secures the altitude and position to reach the rover, and transmits the drone control signal to the drone controller according to the control of the drone controller. You will be moved to the rover.

한편, 상기 로버(500)는 헬륨 혹은 수소가스가 채워져 공중에 떠 있는 풍선형 드론으로서, 드론의 지피에스 위치 보정을 수행하고, 무선 충전 기능을 포함하여 드론이 비상시에 무선 충전을 수행할 수 있도록 하며, 드론이 통신 저하 지역에 위치할 경우에 드론의 통신을 수행하여 통신 불능을 해결하기 위한 기능을 수행하게 된다.Meanwhile, the rover 500 is a balloon-type drone filled with helium or hydrogen gas and floating in the air, and performs GPS position correction of the drone, and includes a wireless charging function so that the drone can perform wireless charging in an emergency. If the drone is located in a communication deterioration area, it performs a function to solve the communication failure by performing communication of the drone.

즉, 드론의 위치 보정을 로버를 통해 수행함으로써, 드론의 현재 위치를 정확하게 판단할 수 있도록 하는 것이다.In other words, by performing the position correction of the drone through the rover, it is possible to accurately determine the current position of the drone.

또한, 무선 충전 기능을 제공하기 위하여 로버에는 일반적으로 도크가 형성되고, 도크의 하면에 무선 충전부를 구성하여 드론이 도크에 안착되게 되면 자동적으로 충전을 수행할 수 있도록 하는 것이다.In addition, in order to provide a wireless charging function, a dock is generally formed in the rover, and a wireless charging unit is configured on the lower surface of the dock to automatically perform charging when the drone is seated in the dock.

또한, 드론이 통신 저하 지역, 예를 들어, 숲이 우거진 여행 코스를 지나간다면 위성과의 통신이 불가능하므로 로버를 이용하여 통신 불능을 해결할 수 있도록 하는 것이다.In addition, if the drone passes through a communication-degraded area, for example, a forested travel course, communication with a satellite is impossible, so that communication failure can be resolved using a rover.

한편, 다른 부가적인 양상에 따라, 본 발명인 드론을 이용한 원격 여행 지원장치는,On the other hand, according to another additional aspect, the remote travel support apparatus using a drone of the present invention,

코스 프로그램을 탑재하고 있으며, 코스 프로그램을 이용하여 여행 코스를 설정하되, 포인트 설정 페이지를 제공하여 포인트를 설정하되, 포인트에 따라 고도 설정, 위치 설정, 속도 설정을 수행하는 드론여행코스설계장치(600)를 포함하여 구성할 수 있다.It is equipped with a course program, and a drone travel course design device (600) that sets a travel course using the course program, provides a point setting page to set points, and performs altitude setting, location setting, and speed setting according to the point. ) Can be included.

도 3에 도시한 바와 같이, 드론여행코스설계장치(600)에서는 탑재된 코스 프로그램을 이용하여 포인트 설정 페이지를 여행자단말기로 제공하게 되고, 포인트를 설정하게 되면 포인트에 따라 고도 설정, 위치 설정, 속도 설정을 수행하게 된다.As shown in Fig. 3, the drone travel course design device 600 provides a point setting page to the traveler terminal using the installed course program. When points are set, the altitude setting, location setting, and speed are set according to the point. You will be performing the setup.

이때, 상기 드론여행코스설계장치는,At this time, the drone travel course design device,

포인트 갯수를 설정하기 위한 설정 페이지를 제공하고, 설정된 포인트 갯수를 획득하기 위한 포인트갯수설정부;와Point number setting unit for providing a setting page for setting the number of points and obtaining the set number of points; And

상기 자유도 범위를 설정하기 위한 설정 페이지를 제공하고, 설정된 자유도 범위를 획득하기 위한 자유도설정부;와A degree of freedom setting unit for providing a setting page for setting the degree of freedom range and obtaining a set degree of freedom range; and

상기 설정된 포인트별 자유도에 따라 여행 고도 범위와 여행 위치 범위를 재설정하기 위한 포인트별여행범위설정부;를 포함하여 구성되게 된다.And a travel range setting unit for each point for resetting the travel altitude range and the travel location range according to the set degree of freedom for each point.

구체적으로 설명하자면, 도 3과 같이, 포인트갯수설정부를 통해 여행자가 설계한 포인트 갯수를 획득하여 여행자단말기 화면에 제공하게 된다.Specifically, as shown in FIG. 3, the number of points designed by the traveler is acquired through the point number setting unit and provided to the traveler's terminal screen.

이후, 자유도설정부를 통해 여행자가 설계한 자유도 범위를 획득하여 여행자단말기 화면에 제공하게 된다.Thereafter, the range of degrees of freedom designed by the traveler is acquired through the degree of freedom setting unit and provided to the traveler's terminal screen.

이후, 포인트별여행범위설정부를 통해 설정된 포인트별 자유도에 따라 여행 고도 범위와 여행 위치 범위를 재설정하게 되고, 이를 여행자단말기 화면에 제공하게 된다.Thereafter, the travel altitude range and the travel location range are reset according to the degree of freedom for each point set through the travel range setting unit for each point, and these are provided to the traveler's terminal screen.

따라서, 도 3과 같은 포인트별 고도 범위와 여행 위치 범위를 여행자에게 제공하게 되는 것이다.Accordingly, the altitude range for each point and the travel location range as shown in FIG. 3 are provided to the traveler.

상기와 같이, 구성하게 되면 사용자가 기본적으로 제공된 여행코스를 수정하여 자유도를 부가하여 정해진 여행 코스에서 설정된 거리 범위 내에서 자유롭게 주변 경치를 볼 수 있는 효과를 제공하게 되는 것이다.When configured as described above, the user can modify the basically provided travel course and add a degree of freedom to provide the effect of allowing the user to freely see the surrounding scenery within the set distance range in the specified travel course.

상기 드론컨트롤러(300)는 여행자단말기의 드론 제어 정보를 획득하여 드론을 원격 제어하기 위한 기능을 수행하게 된다.The drone controller 300 acquires drone control information of a traveler's terminal and performs a function of remotely controlling a drone.

본 발명의 특징은 여행 코스 내에 드론 조작자가 위치하는 것이 아니라, 여행자가 원격지에서 자신의 여행자단말기의 바디모션 인터페이스를 통해 드론의 이동을 제어하여 여행자가 드론에 의해 촬영된 주변 여행 풍경을 감상할 수 있는 드론 여행 서비스를 제공하게 된다.A feature of the present invention is that the drone operator is not located within the travel course, but the traveler controls the movement of the drone through the body motion interface of his traveler's terminal from a remote location, so that the traveler can enjoy the surrounding travel landscape photographed by the drone. It will provide a drone travel service.

상기 여행자단말기(400)는 카메라(410)와 디스플레이패널(420)을 구성하고 있는 것을 특징으로 한다.The traveler terminal 400 is characterized in that it comprises a camera 410 and a display panel 420.

따라서, 상기 카메라(410)를 통해 사용자 액션을 분석하여 이동, 정지, 속도 증감 정보를 포함하는 드론 제어 정보를 드론컨트롤러로 제공하며, 디스플레이패널(420)을 통해 드론 컨트롤 자막을 제공하고, 드론에서 제공된 여행 코스 주변 풍경 정보를 화면에 출력시키기 위한 기능을 수행하게 된다.Therefore, by analyzing user actions through the camera 410, drone control information including movement, stop, and speed increase/decrease information is provided to the drone controller, and drone control subtitles are provided through the display panel 420, and It performs a function of outputting information on the landscape surrounding the provided tour course on the screen.

구체적으로 설명하자면, 카메라(410)를 통해 사용자 액션을 분석하는 기술은 본 출원인이 출원하여 등록된 대한민국 특허등록번호 제10-2099123호인 '인공지능을 이용한 수상스포츠 장치 제어방법'에 구체적으로 설명하고 있어 이에 대한 설명은 생략하여도 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 드론의 이동을 원격지에서 제어하는 과정은 당업자들이라면 충분히 이해할 수 있을 것이다.Specifically, the technology for analyzing user actions through the camera 410 is described in detail in the Korean Patent Registration No. 10-2099123 registered by the applicant of the present application,'Water sports device control method using artificial intelligence'. Therefore, even if the description thereof is omitted, the process of controlling the movement of the drone from a remote location through the body motion interface using artificial intelligence deep learning technology will be sufficiently understood by those skilled in the art.

예를 들어, 사전에 사용자는 도 5에 도시한 바와 같이, 먼저 포즈를 정하여 여러가지 명령어와 대응되도록 설정할 수 있게 되는데, 예를 들어, 오른쪽, 약간 오른쪽, 아주 빨리 속도 증가, 멈춤 등의 명령어를 사용자의 포즈로 정의하게 되며, 상기 정의된 사용자 포즈별 명령어를 포즈명령어저장부에 저장 처리하게 된다.For example, as shown in FIG. 5, in advance, the user can first determine a pose and set it to correspond to various commands. For example, the user can command the right, slightly right, speed increase, stop, etc. Is defined as the pose of the user, and the defined user pose-specific command is stored and processed in the pose command storage unit.

이때, 상기 여행자단말기(400)는, At this time, the traveler terminal 400,

인공지능 딥러닝 알고리즘을 이용하여 바디모션 인터페이스를 통해 드론의 이동, 정지, 속도 증감을 제어하기 위한 인공지능바디모션제어수단;을 더 포함하여 구성하게 된다.It is configured to further include an artificial intelligent body motion control means for controlling movement, stop, and speed increase or decrease of the drone through the body motion interface using an artificial intelligence deep learning algorithm.

이때, 상기 인공지능바디모션제어수단은,At this time, the artificial intelligence body motion control means,

카메라로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득부;와A gesture acquisition unit that acquires an image according to the user's posture from the camera; and

카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출부;와An outline extracting unit for extracting an outline by camera image processing; And

인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지부;와Human body leg recognition unit for recognizing face, body, and hands using an artificial intelligence algorithm; and

상기 인지된 인체 각 부의 위치값을 획득하는 좌표값획득부;와A coordinate value acquisition unit for acquiring the recognized position value of each part of the human body; and

상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하는 추출부;와 An extracting unit for extracting a value having the most similar weight by comparing the coordinate value with a regularized database; and

상기 추출된 값과 포즈명령어저장부에 저장된 포즈별 명령어를 비교하여 명령어를 도출하기 위한 명령어도출부;와A command derivation unit for deriving a command by comparing the extracted value with the command for each pose stored in the pose command storage unit; and

사전에 정의된 사용자 포즈별 명령어를 포즈명령어저장부;와A pose command storage unit for pre-defined commands for each user pose; And

상기 도출된 명령어에 의한 드론을 제어하기 위하여 드론 제어 정보를 드론컨트롤러로 제공하는 드론제어부;를 포함하여 구성하게 된다.And a drone control unit that provides drone control information to a drone controller in order to control a drone according to the derived command.

구체적으로 설명하자면, 제스처획득부는 카메라부로부터 사용자의 자세에 따른 영상을 획득하게 된다.Specifically, the gesture acquisition unit acquires an image according to the user's posture from the camera unit.

이때, 상기 윤곽선추출부는 카메라 이미지 프로세싱에 의하여 사용자가 취하고 있는 제스처에 대한 윤곽선을 추출하게 된다.In this case, the outline extracting unit extracts the outline of the gesture that the user is taking through camera image processing.

이후, 상기 인체각부인지부는 인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하게 되는 것이다.Thereafter, the human body leg recognition unit recognizes a face, a body, and a hand using an artificial intelligence algorithm.

즉, 딥러닝에 의한 학습으로 얻어진 결과를 인체각부를 선별하고 각부의 현위치값을 도출한다는데에 의의가 있다. In other words, it is meaningful in that the result obtained by learning by deep learning is selected for the human body parts and the current position value of each part is derived.

구체적으로는 인체의 윤곽선을 추출하여 이를 인공지능 딥러닝에 의하여 인지하게 하여 인체의 각부를 구별하게 하는 학습을 신경망에 구축한다. Specifically, learning to distinguish each part of the human body by extracting the contour of the human body and making it recognized by artificial intelligence deep learning is built into a neural network.

결과값으로 인체의 각부를 선별하고 각부에 해당하는 좌표값을 추출하여 결과값으로 하는 것이 목적이다. The purpose is to select each part of the human body as a result value, and to extract the coordinate values corresponding to each part as a result value.

이후, 좌표값획득부는 상기 인지된 인체 각 부의 위치값을 획득하게 되고, 추출부는 상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하게 되는 것이다.Thereafter, the coordinate value acquisition unit acquires the recognized position value of each part of the human body, and the extraction unit extracts a value having the most similar weight by comparing the coordinate value with a regularized database.

예를 들면, 인체에 대한 윤곽선을 추출하게 되면 하기와 같이 포즈의 주요점들을 구별해내게 되는 것이다.For example, when the outline of the human body is extracted, the main points of the pose are identified as follows.

상기 각부의 포인트는 인공지능에 학습시키는 방법에 따라 다를 수 있다. The points of each part may be different depending on the method of learning by artificial intelligence.

7개의 쌍과 3개의 중앙점을 구별하고 각부마다, 연결선을 그리고 중앙점을 (x,y)좌표상 원점 (0,0)으로 하여 17개의 포인트를 좌표로 표현한다. Distinguish 7 pairs and 3 center points, draw a connecting line for each part, and express 17 points as coordinates with the center point as the origin (0,0) in the (x,y) coordinate.

즉, 도 6의 이미지를 보면, 3개의 중앙점은 위에서 아래로 각각, (8,0) (4,0) (0,0)이며 각각은 2쌍의 어레이로 구성된 7개의 어레이로 (6,-1) (6,1)과 (4, -2) (4,2), (1,-3) (1,3), 양손은 왼쪽 손이 (-1,-4) 오른쪽 손이 (-1,4)로 다음은 (-2.-1) (-2,1) 그리고 (-4,-1) (-4, 1) 및 (-6, -1) (-6, 1)로 표현될 수 있다. That is, looking at the image of Fig. 6, the three center points are (8,0) (4,0) (0,0), respectively, from top to bottom, and each is (6, -1) (6,1) and (4, -2) (4,2), (1,-3) (1,3), both hands are left hand (-1,-4) right hand (- 1,4) and the following is expressed as (-2.-1) (-2,1) and (-4,-1) (-4, 1) and (-6, -1) (-6, 1) Can be.

본 발명의 일실시예의 프로그래밍은 다음과 같다. Programming of an embodiment of the present invention is as follows.

import numpy as npclass DeepNeuralNetwork:import numpy as npclass DeepNeuralNetwork:

def __init__(self, input_layers, middle_layers, hidden_layers, output_layers):def __init__(self, input_layers, middle_layers, hidden_layers, output_layers):

self.inputs = input_layers-> body_motion_picture 입력층->몸동작사진self.inputs = input_layers-> body_motion_picture input layer-> body motion picture

self.middles=middle_layers->pose_dot_analysys 중간층->몸자세분석self.middles=middle_layers->pose_dot_analysys middle layer->body posture analysis

self.hiddens = hidden_layers 은닉층 (딥러닝에 의한 인식)self.hiddens = hidden_layers hidden layers (recognition by deep learning)

self.outputs = output_layers-> multiple_coordinates 출력층->17개의 좌표self.outputs = output_layers-> multiple_coordinates output layer->17 coordinates

self.test_data = big_body_motion_pictures (5000장 이상의 몸동작사진 데이터)self.test_data = big_body_motion_pictures (more than 5000 body motion picture data)

# 데이터베이스와 대조한다. # Contrast with the database.

call database_comparisoncall database_comparison

# 가중치를 계산한다. # Calculate the weight.

call self = weight_calculation call self = weight_calculation

passpass

# 현재 기계의 명령어를 출력한다.# Print the command of the current machine.

def print_accuracy(self): def print_accuracy(self):

passpass

로서, 파이썬으로 코딩된 것을 특징으로 한다.As, it is characterized by being coded in Python.

즉, 명령어도출부는 상기 추출된 값과 포즈명령어저장부에 저장된 포즈별 명령어를 비교하여 명령어를 도출하게 된다.That is, the command deriving unit derives a command by comparing the extracted value with the command for each pose stored in the pose command storage unit.

예를 들어, 사용자가 오른쪽 손을 들게 되면 포즈명령어저장부에 저장된 사용자 포즈별 명령어를 추출하게 되는데, 오른쪽 손을 들 경우에 드론 방향을 오른쪽으로 변경하는 명령어를 추출하게 되는 것이다.For example, when the user raises the right hand, the command for each user pose stored in the pose command storage unit is extracted. When the right hand is raised, the command for changing the drone direction to the right is extracted.

이후, 상기 드론제어부는 상기 도출된 명령어에 의한 드론을 제어하기 위하여 드론 제어 정보를 드론컨트롤러로 제공하게 된다.Thereafter, the drone control unit provides drone control information to the drone controller in order to control the drone according to the derived command.

예를 들어, 드론 이동 방향을 오른쪽으로 변경하는 신호를 드론으로 제공하게 되는 것이다.For example, a signal to change the direction of the drone movement to the right is provided to the drone.

요약하자면, 본 발명은 실제 카메라에 촬영된 손, 팔, 몸 동작들을 인공지능 알고리즘에 의하여 드론 이동, 정지, 속도 증감 등을 결정할 수 있게 되는 것이다.In summary, according to the present invention, it is possible to determine the movement, stop, speed increase or decrease of a drone using an artificial intelligence algorithm for hand, arm, and body movements actually captured by a camera.

구체적으로, 드론제어부는,Specifically, the drone control unit,

import numpy as npclass DeepNeuralNetwork:import numpy as npclass DeepNeuralNetwork:

def __init__(self, input_layers, middle_layers, hidden_layers, output_layers):def __init__(self, input_layers, middle_layers, hidden_layers, output_layers):

self.inputs = input_layers-> body_motion_picture 입력층->몸동작사진self.inputs = input_layers-> body_motion_picture input layer-> body motion picture

self.middles=middle_layers->pose_dot_analysys 중간층->몸자세분석self.middles=middle_layers->pose_dot_analysys middle layer->body posture analysis

self.hiddens = hidden_layers 은닉층 (딥러닝에 의한 인식)self.hiddens = hidden_layers hidden layers (recognition by deep learning)

self.outputs = output_layers-> machine_command 출력층->기계명령어self.outputs = output_layers-> machine_command output layer-> machine command

self.test_data = big_body_motion_pictures (5000장 이상의 몸동작사진 데이터)self.test_data = big_body_motion_pictures (more than 5000 body motion picture data)

# feed-forward를 진행한다.# Proceed feed-forward.

def predict(self, x): x는 드론에서의 명령어 (예)좌,우,정지,속도증감)def predict(self, x): x is a command from a drone (ex) left, right, stop, speed increase)

passpass

# training_data로 학습을 진행한다.# Proceed with training with training_data.

def train(self, training_data, lr=0.01, epoch=1): 몸동작자세 표상 학습def train(self, training_data, lr=0.01, epoch=1): Learning body movement posture representation

passpass

# 현재 기계의 명령어를 출력한다.# Print the command of the current machine.

def print_accuracy(self): def print_accuracy(self):

passpass

로서, 파이썬으로 코딩된 것을 특징으로 한다.As, it is characterized by being coded in Python.

본 발명에서는 학습시에 여러가지 제스처를 입력(X)하고, 입력에 대한 답(Y)에 대하여 인간이 가중치(W)를 주어서 보상(reward)한다. In the present invention, various gestures are input (X) at the time of learning, and a human gives a weight (W) to the answer (Y) to the input to compensate (reward).

여러가지 명령에 대하여 인공지능에게 학습을 시키는 방법의 예를 들면 다음과 같다. An example of how to make AI learn about various commands is as follows.

명령의 셋(command set)은 다음과 같다. The command set is as follows.

정지(S), 속도감속(D), 속도증가(I), 좌회전(L), 우회전(R), 무명령(N)을 예로 들 수 있다. Examples include stop (S), speed reduction (D), speed increase (I), left turn (L), right turn (R), and no command (N).

주시해야 할 것은 무명령(N)인데, 아무런 명령이 없는 상태도 중요한 요소라는 점이다. One thing to watch out for is that there is no command (N), and the state without any command is also an important factor.

인공지능에게 주어지는 보상(reinforcement)은 100점 척도로 주어진다. The reinforcement given to artificial intelligence is given on a scale of 100 points.

한편, 본 발명에서 적용하고 있는 기술은 사전에 손짓, 팔, 몸의 모양에 데이터를 먼저 정한 후에 다양한 손짓, 팔, 몸의 모양들의 인공지능 인식을 통하여 이미 정해진 데이터와 연결시킨 후에, 그 데이터 값을 다른 시스템 즉, 드론의 작동(컨트롤)에 변수로 사용하게 되며, 이를 BUI(Body Motions User interface)로 정의한다.On the other hand, the technology applied in the present invention is to first determine data on the shape of hand gestures, arms, and body in advance, and then connect it to the previously determined data through artificial intelligence recognition of various hand gestures, arms, and body shapes. Is used as a variable for the operation (control) of another system, that is, the drone, and this is defined as BUI (Body Motions User Interface).

도 7을 참조하여 설명하면, 촬영된 사진 속에서 인공지능의 컴퓨터 비전 기술을 이용하여 얼굴, 몸, 손을 찾아내게 되며, 얼굴과 몸을 축으로 촬영된 사진을 좌표화하게 된다.(예를 들어, f(a,b))Referring to FIG. 7, a face, body, and hands are found in a photographed photograph using computer vision technology of artificial intelligence, and a photograph taken with the face and body as an axis is coordinated. For, f(a,b))

이후, 손의 위치를 설정된 좌표값에 의해서 f(a,b)를 결정하게 된다.Thereafter, f(a,b) is determined based on the coordinate values set for the position of the hand.

이후, 손의 위치의 변화를 감지하고, 새로운 손의 위치값을 찾게 된다.(예를 들어, f(a1) -> f(a2))Thereafter, the change in the position of the hand is detected, and a new position value of the hand is found (for example, f(a1) -> f(a2)).

한편, x축의 값을 드론 방향 제어모터에, y축의 값을 추진력 모터에 연결후, f(a1) = f(-2 , -3) -> f(a2) = f(-2 , 3)의 경우에,Meanwhile, after connecting the x-axis value to the drone direction control motor and the y-axis value to the propulsion motor, f(a1) = f(-2, -3) -> f(a2) = f(-2, 3) If the,

여기에서 y축의 값이 (-3) -> (3)으로 변화된 것을 알게 된다.Here, you can see that the value of the y-axis has changed from (-3) -> (3).

이 변화값을 추진력 모터에 전달함으로써, 앞으로 △(6) 만큼의 속도를 올리게 된다.By transmitting this change value to the propulsion motor, the speed is increased by Δ(6) in the future.

그리고, 손의 위치 변화가 f(b1)에서 f(b2)일 경우에는, 예를 들어, f(b1) = (1 , -2) -> f(b2) = (4 , 2)로 변할 경우에 x축 값의 변화 △(3) 만큼 추진력모터를 전진 추진하게 된다.And, when the position change of the hand is f(b1) to f(b2), for example, f(b1) = (1, -2) -> f(b2) = (4, 2) In the x-axis value change △(3) to propel the propulsion motor forward.

이와 같이, 손의 위치가 다양한 위치로 변하는 것을 감지한 후에 x값, y값의 변화값을 방향 제어모터, 추진력 모터에 연결하여 드론의 이동 방향과 속도를 조절하게 되는 것이다.In this way, after sensing that the position of the hand changes to various positions, the change values of the x and y values are connected to the direction control motor and the propulsion motor to adjust the moving direction and speed of the drone.

본 발명의 구성 및 동작을 통해, 사용자가 원하는 특정 나라의 여행 코스를 제공하고, 인공지능 딥러닝 기술을 이용하여 바디모션 인터페이스를 통해 드론의 이동을 원격지에서 제어하여 사용자가 드론에 의해 촬영된 주변 여행 풍경을 감상할 수 있는 드론 여행 서비스를 제공하게 된다.Through the configuration and operation of the present invention, a travel course of a specific country desired by the user is provided, and the movement of the drone is controlled at a remote location through the body motion interface using artificial intelligence deep learning technology, It will provide a drone travel service that allows you to enjoy the travel scenery.

이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. Those skilled in the art to which the present invention with the above contents pertains will be able to understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. Therefore, the embodiments described above are exemplified in all respects and should be understood as non-limiting.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

100 : 여행코스관리서버
200 : 드론
300 : 드론컨트롤러
400 : 여행자단말기
100: travel course management server
200: drone
300: drone controller
400: traveler's terminal

Claims (3)

드론을 이용한 원격 여행 지원장치에 있어서,
여행 코스 정보를 저장하고 있으며, 여행자단말기에 의해 선택된 여행 코스 정보를 여행자단말기로 제공하기 위한 여행코스관리서버(100)와,
여행 코스 주변을 촬영하여 여행자단말기로 전송하며, 드론컨트롤러의 제어에 따라 상하좌우 이동하는 드론(200)과,
여행자단말기의 드론 제어 정보를 획득하여 드론을 원격 제어하기 위한 드론컨트롤러(300)와,
카메라(410)를 통해 사용자 액션을 분석하여 이동, 정지, 속도 증감 정보를 포함하는 드론 제어 정보를 드론컨트롤러로 제공하며, 디스플레이패널(420)을 통해 드론 컨트롤 자막을 제공하고, 드론에서 제공된 여행 코스 주변 풍경 정보를 화면에 출력시키기 위한 여행자단말기(400)와,
헬륨 혹은 수소가스가 채워져 공중에 떠 있는 풍선형 드론으로서, 드론의 지피에스 위치 보정을 수행하고, 무선 충전 기능을 포함하여 드론이 비상시에 무선 충전을 수행할 수 있도록 하며, 드론이 통신 저하 지역에 위치할 경우에 드론의 통신을 수행하여 통신 불능을 해결하기 위한 로버(500)를 포함하여 구성되되,
상기 드론은,
여행 코스 내의 주변 풍경과 진행 방향의 피사체를 촬영하기 위한 카메라부;와
상기 카메라부를 통해 촬영된 영상 정보를 여행자단말기로 송출하기 위한 무선통신부;와
배터리 전원을 감시하며, 설정 이하의 전원이 감지되면 해당 전원 부족 정보를 여행자단말기로 송출하기 위한 배터리전원감시부;와
주변 드론 간의 통신 혹은 로버와 통신을 수행하여 현재 위치 정보를 여행자단말기로 송출하기 위한 피어통신부;와
드론컨트롤러에서 제공된 여행 코스의 고도, 위치, 속도 파라미터와 로버의 위치 정보를 저장하고 있는 여행코스저장부;를 포함하여 구성되는 것을 특징으로 하며,
상기 여행자단말기(400)는,
인공지능 딥러닝 알고리즘을 이용하여 바디모션 인터페이스를 통해 드론의 이동, 정지, 속도 증감을 제어하기 위한 인공지능바디모션제어수단;을 포함하여 구성하되,
상기 인공지능바디모션제어수단은,
카메라로부터 사용자의 자세에 따른 영상을 획득하는 제스처획득부;와
카메라 이미지 프로세싱에 의한 윤곽선을 추출하는 윤곽선추출부;와
인공지능 알고리즘을 이용하여 얼굴, 몸, 손을 인지하기 위한 인체각부인지부;와
상기 인지된 인체 각 부의 위치값을 획득하는 좌표값획득부;와
상기 좌표값을 규칙화된 데이터베이스와 대조하여 가장 유사한 가중치를 가진 값을 추출하는 추출부;와
상기 추출된 값과 포즈명령어저장부에 저장된 포즈별 명령어를 비교하여 명령어를 도출하기 위한 명령어도출부;와
사전에 정의된 사용자 포즈별 명령어를 포즈명령어저장부;와
상기 도출된 명령어에 의한 드론을 제어하기 위하여 드론 제어 정보를 드론컨트롤러로 제공하는 드론제어부;를 포함하여 구성되는 것을 특징으로 하는 드론을 이용한 원격 여행 지원장치.
In the remote travel support device using a drone,
A travel course management server 100 for storing travel course information and providing travel course information selected by the traveler terminal to the traveler terminal,
A drone 200 that photographs the travel course and transmits it to a traveler's terminal, and moves up, down, left and right under the control of a drone controller,
A drone controller 300 for remotely controlling a drone by acquiring drone control information of a traveler's terminal,
By analyzing user actions through the camera 410, drone control information including movement, stop, and speed increase/decrease information is provided to the drone controller, and drone control subtitles are provided through the display panel 420, and the travel course provided by the drone A traveler's terminal 400 for outputting surrounding landscape information on a screen,
As a balloon-type drone filled with helium or hydrogen gas and floating in the air, it performs the GPS position correction of the drone, and includes a wireless charging function to enable the drone to perform wireless charging in an emergency, and the drone is located in a communication degradation area. It is configured to include a rover 500 for solving the communication inability by performing the communication of the drone,
The drone,
A camera unit for photographing a subject in the direction of travel and the surrounding landscape in the travel course; And
A wireless communication unit for transmitting image information captured through the camera unit to a traveler's terminal; and
A battery power monitoring unit for monitoring battery power and transmitting information on a corresponding power shortage to the traveler's terminal when a power less than a setting is detected;
A peer communication unit for transmitting current location information to a traveler terminal by performing communication between nearby drones or a rover; And
And a travel course storage unit that stores altitude, location, and speed parameters of the travel course provided by the drone controller and location information of the rover; and
The traveler terminal 400,
Consists of including; artificial intelligence body motion control means for controlling movement, stop, and speed increase or decrease of the drone through the body motion interface using an artificial intelligence deep learning algorithm,
The artificial intelligent body motion control means,
A gesture acquisition unit that acquires an image according to the user's posture from the camera; and
An outline extracting unit for extracting an outline by camera image processing; And
Human body leg recognition unit for recognizing face, body, and hands using an artificial intelligence algorithm; and
A coordinate value acquisition unit that acquires the recognized position value of each part of the human body; And
An extracting unit that compares the coordinate values with a regularized database and extracts a value having the most similar weight; and
A command derivation unit for deriving a command by comparing the extracted value with the command for each pose stored in the pose command storage unit; and
A pose command storage unit for pre-defined commands for each user pose; And
A remote travel support device using a drone, comprising: a drone control unit that provides drone control information to a drone controller to control a drone according to the derived command.
삭제delete 제 1항에 있어서,
코스 프로그램을 탑재하고 있으며, 코스 프로그램을 이용하여 여행 코스를 설정하되, 포인트 설정 페이지를 제공하여 포인트를 설정하되, 포인트에 따라 고도 설정, 위치 설정, 속도 설정을 수행하는 드론여행코스설계장치(600)를 더 포함하여 구성되는 것을 특징으로 하는 드론을 이용한 원격 여행 지원장치.
The method of claim 1,
It is equipped with a course program, and a drone travel course design device (600) that sets a travel course using the course program, provides a point setting page to set points, and performs altitude setting, location setting, and speed setting according to the point. ), a remote travel support device using a drone, characterized in that it is configured to include.
KR1020200061415A 2020-05-22 2020-05-22 Remote travel support device using drone KR102236965B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200061415A KR102236965B1 (en) 2020-05-22 2020-05-22 Remote travel support device using drone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200061415A KR102236965B1 (en) 2020-05-22 2020-05-22 Remote travel support device using drone

Publications (1)

Publication Number Publication Date
KR102236965B1 true KR102236965B1 (en) 2021-04-07

Family

ID=75469664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200061415A KR102236965B1 (en) 2020-05-22 2020-05-22 Remote travel support device using drone

Country Status (1)

Country Link
KR (1) KR102236965B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022656A (en) * 2022-05-24 2022-09-06 山东新一代信息产业技术研究院有限公司 Remote support method and equipment based on robot operating system
KR20220154527A (en) * 2021-05-13 2022-11-22 주식회사 날다 System for providing real-time travel service using drone

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160043705A (en) 2014-10-14 2016-04-22 (주)세이프텍리서치 Remote navigating simulation system for unmanned vehicle
KR20160096281A (en) 2015-02-04 2016-08-16 한국전자통신연구원 Apparatus and method for virtual tour service
KR20170027368A (en) * 2015-09-01 2017-03-10 (주)티엘씨테크놀로지 A mobile base station based on a drone for being used in a disaster and the method for operating the same
KR20180023258A (en) * 2016-08-25 2018-03-07 주식회사 얼리버드테크 Method and system of autonomous flight for drone
KR101858244B1 (en) * 2018-01-05 2018-05-16 주식회사 파워리퍼블릭 Wireless power transmission apparatus for drones in the air and wireless power transmission system including the same
KR20190048565A (en) * 2017-10-31 2019-05-09 용비에이티(주) Method for controlling dron and augmented reality sightseeing system therefor
KR20190092789A (en) * 2018-01-31 2019-08-08 주식회사 에디테크놀로지 Method for calculating position of drone and system for correcting position of drone using the method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160043705A (en) 2014-10-14 2016-04-22 (주)세이프텍리서치 Remote navigating simulation system for unmanned vehicle
KR20160096281A (en) 2015-02-04 2016-08-16 한국전자통신연구원 Apparatus and method for virtual tour service
KR20170027368A (en) * 2015-09-01 2017-03-10 (주)티엘씨테크놀로지 A mobile base station based on a drone for being used in a disaster and the method for operating the same
KR20180023258A (en) * 2016-08-25 2018-03-07 주식회사 얼리버드테크 Method and system of autonomous flight for drone
KR20190048565A (en) * 2017-10-31 2019-05-09 용비에이티(주) Method for controlling dron and augmented reality sightseeing system therefor
KR101858244B1 (en) * 2018-01-05 2018-05-16 주식회사 파워리퍼블릭 Wireless power transmission apparatus for drones in the air and wireless power transmission system including the same
KR20190092789A (en) * 2018-01-31 2019-08-08 주식회사 에디테크놀로지 Method for calculating position of drone and system for correcting position of drone using the method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220154527A (en) * 2021-05-13 2022-11-22 주식회사 날다 System for providing real-time travel service using drone
KR102475023B1 (en) * 2021-05-13 2022-12-08 주식회사 날다 System for providing real-time travel service using drone
CN115022656A (en) * 2022-05-24 2022-09-06 山东新一代信息产业技术研究院有限公司 Remote support method and equipment based on robot operating system
CN115022656B (en) * 2022-05-24 2024-02-06 山东新一代信息产业技术研究院有限公司 Remote support method and equipment based on robot operating system

Similar Documents

Publication Publication Date Title
US9947139B2 (en) Method and apparatus for providing hybrid reality environment
CN106157359B (en) Design method of virtual scene experience system
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
JP2021036449A (en) System and method for augmented and virtual reality
CN108139799A (en) The system and method for region of interest (ROI) processing image data based on user
US11132845B2 (en) Real-world object recognition for computing device
US9392248B2 (en) Dynamic POV composite 3D video system
JP6462059B1 (en) Information processing method, information processing program, information processing system, and information processing apparatus
EP3117290B1 (en) Interactive information display
JP2016522463A (en) Systems and methods for augmented and virtual reality
KR102236965B1 (en) Remote travel support device using drone
US11375559B2 (en) Communication connection method, terminal device and wireless communication system
CN107464291A (en) A kind of processing method and processing device of face image
US20210112194A1 (en) Method and device for taking group photo
CN113709543A (en) Video processing method and device based on virtual reality, electronic equipment and medium
Han et al. A compelling virtual tour of the dunhuang cave with an immersive head-mounted display
WO2024022070A1 (en) Picture display method and apparatus, and device and medium
JPH11259685A (en) Three-dimensional cg picture video merging device
CN114648624A (en) Display system, display device, and program
CN113941138A (en) AR interaction control system, device and application
WO2022023142A1 (en) Virtual window
GB2525304B (en) Interactive information display
CN113066189B (en) Augmented reality equipment and virtual and real object shielding display method
CN113841381A (en) Visual field determining method, visual field determining apparatus, visual field determining system, and medium
KR102099123B1 (en) Control method of water sports device using artificial intelligence

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant