KR101954926B1 - Method of providing enlarged region of image photographed by dron with high image quality and augmented reality sightseeing system therefor - Google Patents

Method of providing enlarged region of image photographed by dron with high image quality and augmented reality sightseeing system therefor Download PDF

Info

Publication number
KR101954926B1
KR101954926B1 KR1020170143625A KR20170143625A KR101954926B1 KR 101954926 B1 KR101954926 B1 KR 101954926B1 KR 1020170143625 A KR1020170143625 A KR 1020170143625A KR 20170143625 A KR20170143625 A KR 20170143625A KR 101954926 B1 KR101954926 B1 KR 101954926B1
Authority
KR
South Korea
Prior art keywords
image
user
dome
specific area
drones
Prior art date
Application number
KR1020170143625A
Other languages
Korean (ko)
Inventor
이길호
김성수
Original Assignee
용비에이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 용비에이티(주) filed Critical 용비에이티(주)
Priority to KR1020170143625A priority Critical patent/KR101954926B1/en
Application granted granted Critical
Publication of KR101954926B1 publication Critical patent/KR101954926B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/145Housing details, e.g. position adjustments thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a method for providing an enlarged region of an image photographed by a drone with a high quality image and an augmented reality sightseeing system therefor that is capable of allowing the enlarged region of the image photographed by a user′s drone to be provided with high resolution. According to the present invention, the augmented reality sightseeing system includes: a drone for photographing an image while flying and converting an original image into an image having lower resolution than the original image; a user interface unit for receiving at least one of command, selection and information of a user; a dome projector for displaying the image received from the drone as 360 degree image through a dome screen and transmitting coordinate information on a specific area if the specific area to be enlarged in the 360 degree image is selected through the user interface unit; and an experience control unit for requesting the drone to transmit the image corresponding to the coordinate information on the specific area if the coordinate information on the specific area is received from the dome projector, receiving the image corresponding to the coordinate information on the specific area extracted from the original image from the drone, and overlapping the image corresponding to the coordinate information on the specific area with the 360 degree image to display the enlarged image with high resolution onto the dome projector.

Description

드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법 및 이를 위한 증강현실 관광 시스템{METHOD OF PROVIDING ENLARGED REGION OF IMAGE PHOTOGRAPHED BY DRON WITH HIGH IMAGE QUALITY AND AUGMENTED REALITY SIGHTSEEING SYSTEM THEREFOR}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for providing an enlarged region of an image photographed by a drone at a high image quality and an augmented reality sightseeing system for the same,

본 발명은 고해상도의 영상 제공 방법에 관한 것으로, 더욱 상세하게는 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법 및 이를 위한 증강현실 관광 시스템에 관한 것이다.The present invention relates to a high-resolution image providing method, and more particularly, to a method for providing an enlarged region of an image photographed by a drone at a high image quality and an augmented reality sightseeing system therefor.

정보 통신 기술의 발달에 따라, 현재 출시되는 모바일 기기는 단순한 통화 기능뿐만 아니라 다양한 기능을 수행할 수 있도록 구성되고 있다. 그러한 다양한 기능들의 예로 웹 브라우징, 채팅, TV 시청, 네비게이션, 게임, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다.With the development of information and communication technologies, currently available mobile devices are configured to perform various functions as well as a simple call function. Examples of such various functions include web browsing, chatting, watching TV, navigating, playing games, shooting pictures or videos through cameras, audio storage, playing music files through a speaker system, and displaying images or video have.

이를 위해, 모바일 기기 제조 회사들은 보다 복잡하고 다양한 기능들을 제공하기 위해 하드웨어 및 소프트웨어 개발에 많은 노력을 기하고 있다.To this end, mobile device manufacturers are working hard to develop hardware and software to provide more complex and diverse functions.

또한, 최근 출시되고 있는 스마트폰에는 모바일 뱅킹, 모바일 쿠폰, 교통 카드, 게임, 보안 등의 다양하고 복잡한 응용 소프트웨어들이 탑재되고 있다.In addition, recently introduced smart phones are equipped with a variety of complex application software such as mobile banking, mobile coupons, transportation cards, games, and security.

또한, 현재 출시되고 있는 스마트폰은 고사양의 프로세서와 고해상도의 터치스크린 화면을 구비함으로써, 보다 다양한 멀티미디어 기능 및 어플리케이션의 이용을 가능하게 하고 있다.In addition, currently available smart phones are equipped with a high-performance processor and a high-resolution touch screen screen, thereby enabling use of various multimedia functions and applications.

특히, 최근에는 신체에 착용 가능한 웨어러블 디바이스에 대한 관심이 높아지고 있으며, 그에 따른 사용자의 요구도 다양해지고 있는 실정이다.Particularly, in recent years, interest in wearable devices that can be worn on the body has been increasing, and the demands of users have been diversified accordingly.

웨어러블 디바이스는 사용자의 신체에 착용 가능한 컴퓨팅 장치로써, 인체공학적 측면에서 착용감과 활동성을 제공함과 동시에 다양한 컴퓨팅 기술 및 센싱 기술을 제공하는 휴대용 정보 기기일 수 있다.The wearable device may be a portable information device that provides a variety of computing technologies and sensing technologies while providing comfort and activity in terms of ergonomics as a computing device wearable on the wearer's body.

일 예로, 최근에는 삼성전자에서 손목 시계 타입의 갤럭시 기어라는 제품이 출시되었으며, 해당 제품은 시계로서의 기능뿐만 아니라 이동 통신 단말기와 같은 통신 기능을 제공하고 있다.For example, in recent years, Samsung Electronics introduced a wristwatch-type Galaxy Gear, which provides not only a clock function but also a communication function like a mobile communication terminal.

드론(Drone)은 사전적으로, "낮게 웅웅대는 소리"라는 의미를 갖는다. 여기서, 다양한 뜻이 파생되어 "수벌" 또는 "악기가 내는 저음"등의 뜻으로도 사용되고 있다. 하지만 최근에는 소형 무인항공기(무인기)를 지칭하는 의미로 주로 사용되고 있다.The Drone has a pronounced "low-pitched sound". Here, a variety of meanings are derived and are used to mean, for example, "a bass" or "a bass produced by a musical instrument". In recent years, however, it has been mainly used to refer to a small unmanned aerial vehicle (UAV).

최근, 드론은 탑재된 복수의 초소형 프로펠러(로터:Rotor)를 이용하여 기체 균형을 유지하고, 카메라 등을 탑재하여 주변 상황을 촬영할 수 있는 기능이 탑재되고 있다.Recently, a dron has been equipped with a function to keep the balance of the gas using a plurality of small propellers (rotors) mounted and to photograph a surrounding situation by mounting a camera or the like.

종래의 드론은 주로 무인 정찰, 전투 지원 등 군사 용도로 활용되었으나, 최근에는 물품 배달 등과 같은 상업적인 용도로도 활용되고 있는 실정이다.Conventional drones have been mainly used for military purposes such as unmanned reconnaissance, combat support, and recently, they have also been used for commercial purposes such as delivery of goods.

그러나, 현재까지 드론의 용도는 단순 영상 획득에 치중되어 사용자가 드론을 통해 접할 수 있는 다양한 체험을 극히 한정적으로 제공하고 있으며, 이로 인해 무인 비행체의 활용 극대화가 여전히 이루어지지 못하고 있다.However, until now, the use of the drone has been focused on simple image acquisition, and the user has provided a very limited variety of experiences that can be encountered through the drones, so that the utilization of the unmanned aerial vehicle is not maximized.

따라서, 무인 비행체를 이용하여 사용자의 비행 체험을 극대화할 수 있는 시스템 개발이 요구되고 있다.Therefore, it is required to develop a system capable of maximizing the user's flight experience by using an unmanned aerial vehicle.

이에 따라 종래에는 등록특허 10-1569454호에 무인 비행체를 이용한 비행 체험 시스템 및 방법이 개시되어 있다.Accordingly, a conventional flight experience system and method using an unmanned aerial vehicle are disclosed in Japanese Patent No. 10-1569454.

그런데 이러한 종래의 무인 비행체를 이용한 비행 체험 시스템에서 체험 제어 장치는 영상 모뎀을 통해 최대 1080p 해상도의 영상밖에 수신할 수 없었다. 따라서, 사용자가 1080p 해상도의 영상을 확대할 경우, 영상의 해상도가 낮아서 지형이나 물체를 인식하기 어려웠다. 이에, 무인 비행체에 의해 촬영된 영상의 확대영역을 고해상도로 시청할 수 있는 방법이 요구되고 있다.However, in the conventional experience system using the unmanned aerial vehicle, the experience control device could only receive images with a resolution of up to 1080p through a video modem. Therefore, when the user enlarges the image of 1080p resolution, it is difficult to recognize the terrain or the object because the resolution of the image is low. Accordingly, there is a demand for a method of viewing an enlarged region of an image photographed by a unmanned aerial vehicle at high resolution.

본 명세서는 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 사용자가 드론에 의해 촬영된 영상의 특정 영역을 확대하고자 하는 경우, 특정 영역에 대한 확대 영상을 고해상도로 시청할 수 있는 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법 및 이를 위한 증강현실 관광 시스템을 제공하는 데 그 목적이 있다.The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide an image processing apparatus and method, in which when a user desires to enlarge a specific area of an image photographed by a dron, A method for providing an enlarged region of an image at a high image quality, and an augmented reality sightseeing system therefor.

이와 같은 목적을 달성하기 위한, 본 명세서의 실시예에 따르면, 본 명세서에 따른 드론을 이용한 증강현실 관광 시스템은, 비행 중에 영상을 촬영하고, 원본 영상을 상기 원본 영상보다 낮은 해상도를 갖는 영상으로 변환하여 전송하는 드론; 사용자의 명령, 선택, 및 정보 중에서 적어도 하나를 입력 받는 사용자 인터페이스 장치; 상기 드론으로부터 수신한 영상을 돔 스크린을 통해 360도 영상으로 표시하고, 사용자가 상기 사용자 인터페이스 장치를 통해 상기 360도 영상에서 확대하고자 하는 특정 영역을 선택하는 경우, 특정 영역의 좌표 정보를 전송하는 돔 프로젝터; 및 상기 돔 프로젝터로부터 상기 특정 영역의 좌표 정보를 수신하는 경우, 상기 드론으로 상기 특정 영역의 좌표 정보에 대응되는 영상을 요청하고, 상기 드론으로부터 상기 원본 영상으로부터 추출한 특정 영역의 좌표 정보에 대응되는 영상을 수신하며, 수신한 특정 영역의 좌표 정보에 대응되는 영상을 상기 360도 영상에 오버랩하여 고해상도의 확대 영상을 상기 돔 프로젝터를 통해 표시하도록 제어하는 체험 제어 장치를 포함한다.In order to achieve the above object, according to an embodiment of the present invention, the augmented reality sightseeing system using the drones according to the present invention can capture an image during flight, convert the original image into an image having a resolution lower than that of the original image A dron for transferring; A user interface device for receiving at least one of a user's command, selection, and information; A dome screen for displaying the received image from the drones in a 360-degree image, and a user selecting a specific area to be enlarged in the 360-degree image through the user interface device, Projector; And a control unit for requesting an image corresponding to coordinate information of the specific area with the drones when receiving the coordinate information of the specific area from the dome projector and displaying the image corresponding to the coordinate information of the specific area extracted from the original image And an experience control unit for controlling the display unit to display an enlarged image of a high resolution through the dome projector by overlapping an image corresponding to coordinate information of the received specific area with the 360 degree image.

바람직하게는, 상기 드론은 영상을 제1 영상과 제2 영상으로 분할하여 순차적으로 전송하고, 상기 체험 제어 장치는 상기 제1 영상과 상기 제2 영상을 재합성하여 상기 돔 프로젝터를 통해 표시하는 것을 특징으로 한다.Preferably, the drones divide the image into a first image and a second image sequentially, and the experience control device re-synthesizes the first image and the second image and displays the result through the dome projector .

바람직하게는, 사용자가 상기 특정 영역을 2배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상의 면적 비율을 1/2로 축소하여 상기 체험 제어 장치로 전송하고, 사용자가 상기 특정 영역을 3배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상의 면적 비율을 1/3로 축소하여 상기 체험 제어 장치로 전송하며, 사용자가 상기 특정 영역을 4배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상을 그대로 상기 체험 제어 장치로 전송하는 것을 특징으로 한다.Preferably, when the user desires to enlarge the specific area by a factor of two, the drone reduces the area ratio of the image cut out from the original image to 1/2 and transmits the reduced area ratio to the experience control device. If the user desires to enlarge the specific area by a factor of four, the drones reduce the area ratio of the image cut out from the original image to 1/3 and transmit it to the experience control device. And the image cut out from the original image is directly transferred to the experience control device.

바람직하게는, 상기 사용자 인터페이스 장치는 마우스인 것을 특징으로 한다.Preferably, the user interface device is a mouse.

바람직하게는, 상기 돔 프로젝터는 사용자가 상기 마우스의 휠을 클릭함에 따라 상기 360도 영상의 확대영역을 설정하는 것을 특징으로 한다.Preferably, the dome projector sets an enlarged area of the 360-degree image as the user clicks the wheel of the mouse.

바람직하게는, 상기 돔 프로젝터는 사용자가 상기 마우스의 휠을 스크롤함에 따라 상기 360도 영상의 확대영역의 배율을 조절하는 것을 특징으로 한다.Preferably, the dome projector adjusts magnification of the enlarged area of the 360-degree image as the user scrolls the wheel of the mouse.

바람직하게는, 상기 돔 프로젝터는 상기 드론에 의해 촬영된 영상을 좌/우 영상으로 분리하고, 분리된 좌/우 영상을 상기 돔 스크린의 곡률 특성에 맞게 와핑하며, 와핑된 좌/우 영상 간의 편광 성분을 서로 직교시켜 상기 돔 스크린에 각각 디스플레이하는 것을 특징으로 한다.Preferably, the dome projector divides an image photographed by the drones into left and right images, warps the separated left and right images according to curvature characteristics of the dome screen, Components are displayed orthogonally to each other on the dome screen.

본 명세서의 다른 실시예에 따르면, 본 명세서에 따른 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법은, 드론이 비행 중에 촬영된 원본 영상을 상기 원본 영상보다 낮은 해상도를 갖는 영상으로 변환하여 돔 프로젝터로 전송하는 단계; 상기 돔 프로젝터가 상기 드론으로부터 수신한 영상을 돔 스크린을 통해 360도 영상으로 표시하는 단계; 사용자가 상기 사용자 인터페이스 장치를 통해 상기 360도 영상에서 확대하고자 하는 특정 영역을 선택하는 경우, 상기 돔 프로젝터가 특정 영역의 좌표 정보를 체험 제어 장치로 전송하는 단계; 상기 체험 제어 장치가 상기 돔 프로젝터로부터 상기 특정 영역의 좌표 정보를 수신하는 경우, 상기 드론으로 상기 특정 영역의 좌표 정보에 대응되는 영상을 요청하여 상기 드론으로부터 상기 원본 영상으로부터 추출한 특정 영역의 좌표 정보에 대응되는 영상을 수신하는 단계; 및 상기 체험 제어 장치가 수신한 특정 영역의 좌표 정보에 대응되는 영상을 상기 360도 영상에 오버랩하여 고해상도의 확대 영상을 상기 돔 프로젝터로 제공하는 단계를 포함한다.According to another embodiment of the present invention, a method of providing an enlarged region of an image photographed by a drone in accordance with the present invention at a high image quality can be realized by converting a source image photographed by a dron during flight into an image having a resolution lower than that of the original image To a dome projector; Displaying the image received from the dome projector as a 360-degree image through a dome screen; When the user selects a specific area to be enlarged in the 360-degree image through the user interface device, the dome projector transmits coordinate information of a specific area to the experience control device; Wherein when the experience control apparatus receives coordinate information of the specific region from the dome projector, the experience control apparatus requests an image corresponding to the coordinate information of the specific region with the dragon and outputs coordinate information of the specific region extracted from the original image Receiving a corresponding image; And providing the high resolution enlarged image to the dome projector by overlapping the image corresponding to the coordinate information of the specific area received by the experience control device with the 360 degree image.

바람직하게는, 사용자가 상기 특정 영역을 2배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상의 면적 비율을 1/2로 축소하여 상기 체험 제어 장치로 전송하고, 사용자가 상기 특정 영역을 3배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상의 면적 비율을 1/3로 축소하여 상기 체험 제어 장치로 전송하며, 사용자가 상기 특정 영역을 4배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상을 그대로 상기 체험 제어 장치로 전송하는 것을 특징으로 한다.Preferably, when the user desires to enlarge the specific area by a factor of two, the drone reduces the area ratio of the image cut out from the original image to 1/2 and transmits the reduced area ratio to the experience control device. If the user desires to enlarge the specific area by a factor of four, the drones reduce the area ratio of the image cut out from the original image to 1/3 and transmit it to the experience control device. And the image cut out from the original image is directly transferred to the experience control device.

바람직하게는, 상기 360도 영상으로 표시하는 단계에서, 상기 돔 프로젝터는 상기 드론에 의해 촬영된 영상을 좌/우 영상으로 분리하고, 분리된 좌/우 영상을 상기 돔 스크린의 곡률 특성에 맞게 와핑하며, 와핑된 좌/우 영상 간의 편광 성분을 서로 직교시켜 상기 돔 스크린에 각각 디스플레이하는 것을 특징으로 한다.Preferably, in the step of displaying with the 360-degree image, the dome projector separates the image photographed by the drones into left and right images, and separates the separated left and right images according to curvature characteristics of the dome screen. And polarized light components between the wobbled left and right images are displayed on the dome screen, respectively.

이상에서 설명한 바와 같이 본 명세서에 의하면, 돔 스크린 상에서 사용자가 드론에 의해 촬영된 1080p 해상도의 영상의 특정 영역을 확대하고자 하는 경우, 확대 영상을 고화질로 제공함으로써, 사용자가 돔 스크린 상에서 1080p 해상도의 영상을 확대하더라도 지형이나 물체를 쉽게 인식할 수 있다.As described above, according to the present invention, when a user wants to enlarge a specific area of a 1080p resolution image taken by a drones on a dome screen, the enlarged image is provided in high image quality, The terrain and the object can be easily recognized.

도 1은 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템의 구성도,
도 2는 본 발명의 실시예에 따른 드론 내부의 개략적인 구성을 나타낸 블럭 구성도,
도 3은 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템의 동작 흐름도,
도 4는 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템에서 사용되는 사용자 제스처의 예를 나타낸 도면,
도 5는 본 발명의 실시예에 따른 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법을 나타낸 신호 흐름도,
도 6은 본 발명의 실시예에서 사용자가 확대영역을 설정하는 방법을 설명하기 위한 도면,
도 7은 본 발명의 실시예에서 마우스를 이용한 사용자의 확대 조작 및 영역 조작을 설명하기 위한 도면, 및
도 8 내지 도 10은 사용자의 이동과 버튼 입력의 조합에 의해 드론을 제어하는 방법을 설명하기 위한 도면이다.
1 is a block diagram of an augmented reality sightseeing system using a drone according to an embodiment of the present invention;
FIG. 2 is a block diagram showing a schematic configuration of a drones according to an embodiment of the present invention;
FIG. 3 is a flowchart illustrating an operation of the augmented reality sightseeing system using the drone according to the embodiment of the present invention,
4 is a diagram illustrating an example of a user gesture used in the augmented reality sightseeing system using a drone according to an embodiment of the present invention;
5 is a signal flow diagram illustrating a method of providing an enlarged region of an image photographed by a drone at a high image quality according to an embodiment of the present invention.
6 is a diagram for explaining a method of setting a magnified area by a user in the embodiment of the present invention,
7 is a diagram for explaining a user's enlargement operation and area operation using a mouse in the embodiment of the present invention, and Fig.
FIGS. 8 to 10 are diagrams for explaining a method of controlling the drone by combining a movement of a user and a button input.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. It is also to be understood that the technical terms used herein are to be interpreted in a sense generally understood by a person skilled in the art to which the present invention belongs, Should not be construed to mean, or be interpreted in an excessively reduced sense. Further, when a technical term used herein is an erroneous technical term that does not accurately express the spirit of the present invention, it should be understood that technical terms that can be understood by a person skilled in the art are replaced. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, the singular forms "as used herein include plural referents unless the context clearly dictates otherwise. In the present application, the term " comprising " or " comprising " or the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Further, the suffix " module " and " part " for components used in the present specification are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는 데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Furthermore, terms including ordinals such as first, second, etc. used in this specification can be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템에서, 드론은 체험 제어 장치의 영상 모뎀, 즉, 무선 통신부의 전송 용량을 고려하여 4K 해상도의 원본 영상을 1080p 해상도의 영상으로 변환하여 체험 제어 장치로 전송한다. 이하에서, "360도 영상"은 이 변환된 1080p 해상도의 영상을 의미한다.In the augmented reality sightseeing system using the drone according to the embodiment of the present invention, the dron converts the original image of 4K resolution into the image of 1080p resolution in consideration of the transmission capacity of the image modem of the experience control device, i.e., Lt; / RTI > In the following, " 360 degree image " means the converted 1080p resolution image.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템의 구성도이다.1 is a configuration diagram of an augmented reality sightseeing system using a drone according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 드론을 이용한 증강현실 관광 시스템은, 적어도 하나의 드론(300)과 네트워크망(200)을 통해 연결되는 드론을 이용한 증강현실 관광 시스템으로서, 곡면 디스플레이 장치(110), 사용자 인터페이스 장치(120), 돔 프로젝터(130), 체험 제어 장치(140), 및 저장 장치(150) 등을 포함할 수 있다.1, the augmented reality sightseeing system using a dron according to the present invention is an augmented reality sightseeing system using a dron connected to at least one dron 300 through a network 200. The augmented reality sightseeing system includes a curved display device 110 A user interface device 120, a dome projector 130, an experience control device 140, and a storage device 150, and the like.

곡면 디스플레이 장치(110)는 드론(300)으로부터 수신되는 영상과 비행 정보를 표시한다.The curved display device 110 displays images and flight information received from the drones 300.

사용자 인터페이스 장치(120)는 사용자의 제스처를 인식하여 원격으로 네트워크망(200)을 통해 드론(300)을 제어한다. 이를 위해, 사용자 인터페이스 장치(120)는 사용자의 명령, 선택, 정보 중에서 적어도 하나를 입력 받기 위한 장치로서, 특히 사용자의 제스처를 카메라 등으로 인식하여 출력하며, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다.The user interface device 120 recognizes the gesture of the user and remotely controls the drones 300 through the network 200. For this purpose, the user interface device 120 is a device for receiving at least one of a command, selection, and information of a user. In particular, the user interface device 120 recognizes and outputs a gesture of a user as a camera, And may include a plurality of input keys and function keys for setting.

예를 들면, 사용자 인터페이스 장치(120)는 카메라가 내장된 노트북, 태블릿 피씨, 조이스틱(joystick), 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(Mouse), 스타일러스 펜(Stylus Pen), 터치펜(Touch Pen) 등의 다양한 장치를 포함할 수 있다.For example, the user interface device 120 may be a notebook, a tablet PC, a joystick, a key pad, a dome switch, a touch pad (static / static), a touch screen A touch screen, a jog wheel, a jog switch, a jog shuttle, a mouse, a stylus pen, a touch pen, and the like.

또한, 사용자 인터페이스 장치(120)의 변형예로서, 사용자 인터페이스 장치(120)는 드론(300)에 의해 촬영된 영상을 화면에 표시하고, 사용자의 제스처를 인식하여 출력하는 주 조종장치와, 주 조종장치와 연동하여 더욱 세밀하게 드론(300)을 조종하기 위해 드론(300)의 이동 및 정지를 제어하기 위한 홀드 버튼, 사용자의 움직임과 드론(300)의 움직임을 동기화하기 위한 동기화 버튼, 드론(300)의 상승을 명령하기 위한 상승 버튼, 및 드론(300)의 하강을 명령하기 위한 하강 버튼 등을 포함하는 보조 조종장치로 구성될 수 있다. 여기서, 사용자의 움직임과 드론(300)의 움직임 사이에는 스케일 펙터(Scale Factor)가 적용되어 사용자의 작은 움직임에도 드론(300)에 큰 움직임을 반영할 수 있다. 스케일 펙터는 홀드 버튼의 더블 클릭을 통해 설정되고, 설정된 값은 주 조종장치의 화면에 표시될 수 있다. 물론, 드론(300)의 가속 및 감속한계가 설정되어 있어 급기동 조작을 미연에 방지할 수 있다.As a modification of the user interface device 120, the user interface device 120 may include a main control device for displaying an image photographed by the drones 300 on the screen, recognizing and outputting a gesture of the user, A hold button for controlling movement and stop of the drones 300 in order to control the drones 300 more finely in cooperation with the apparatus, a synchronization button for synchronizing the movement of the user with the movement of the drones 300, An ascending button for commanding the descent of the drones 300, and a descending button for instructing the descent of the drones 300. [ Here, a scale factor is applied between the movement of the user and the movement of the drones 300, so that a large movement of the drones 300 can be reflected even to a user's small movement. The scale factor is set by double-clicking the hold button, and the set value can be displayed on the screen of the main control unit. Of course, since the acceleration and deceleration limits of the drone 300 are set, rapid start-up operations can be prevented in advance.

또한, 주 조종장치에는 영상, GPS, 수치 지형 표고데이터(DTED; Digital Terrain Elevation Data) 등을 조합한 지형영상을 참조하여 스케일 펙터를 자동으로 설정하는 자동 스케일 펙터(Auto Scale Factor) 기능을 포함할 수 있다.The main control unit also includes an Auto Scale Factor function for automatically setting a scale factor by referring to a terrain image combined with image, GPS, Digital Terrain Elevation Data (DTED), etc. .

이에 더해, 주 조종장치는 사용자가 제한된 실내 공간에서 벽 등의 구획물에 근접하면 화면에 경고 알람(또는 미니맵)을 띄울 수도 있다.In addition, the main steering device may display a warning alarm (or mini-map) on the screen when the user approaches a compartment such as a wall in a limited indoor space.

주 조종장치는 이동물체의 속도와 방향, 중력, 가속도를 측정하는 장치로서, 가속도계, 각속도계, 지자기계, 및 고도계 등의 IMU(Inertial Measurement Unit) 센서가 내장된 웨어러블 디스플레이 장치 및 스마트폰을 포함할 수 있고, 보조 조종장치는 조이스틱(joystick), 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(Mouse), 스타일러스 펜(Stylus Pen), 터치펜(Touch Pen) 등의 다양한 장치를 포함할 수 있다. 여기서, 주 조종장치의 각 센서에는 임계값이 설정되어 있어 설정된 임계값 미만의 느린 속도에 대해서는 드론(300)이 정지하도록 하고, 설정된 임계값 이상의 속도에 대해서는 저역 통과 필터(LPF; Low-Pass Filter)를 적용하여 드론(300)의 급조작을 방지할 수 있다.The main steering device is a device for measuring the speed, direction, gravity, and acceleration of a moving object and includes a wearable display device and a smart phone having an IMU (Inertial Measurement Unit) sensor such as an accelerometer, a speedometer, a geomachine, and an altimeter The auxiliary steering device may be a joystick, a key pad, a dome switch, a touch pad (static / static), a touch screen, a jog wheel, a jog switch, A jog shuttle, a mouse, a stylus pen, a touch pen, and the like. Here, the threshold value is set for each sensor of the main control unit, so that the drone 300 is stopped for a slow speed lower than a set threshold value, and a low-pass filter (LPF) ) Can be applied to prevent the drill operation of the drone 300.

돔 프로젝터(130)는 드론(300)으로부터 수신되는 영상과 비행 정보를 돔 스크린을 통해 사용자에게 보여준다. 사용자는 사용자 인터페이스 장치(120), 예를 들면, 마우스(Mouse)를 이용하여 돔 스크린에 표시된 360도 영상의 특정 영역을 지정하고, 지정된 특정 영역을 확대할 수 있다. 이에, 돔 프로젝터(130)는 사용자가 확대하고자 하는 특정 영역의 좌표 정보(예를 들면, 화면 상의 위도, 경도, 배율, 및 확대영역크기 등)를 체험 제어 장치(140)로 전송할 수 있다.The dome projector 130 displays images and flight information received from the drones 300 to the user through a dome screen. The user can designate a specific area of the 360-degree image displayed on the dome screen using the user interface device 120, for example, a mouse, and enlarge the designated specific area. Accordingly, the dome projector 130 can transmit coordinate information (for example, latitude, longitude, magnification, enlargement area size, etc.) of a specific area to be enlarged by the user to the experience control device 140.

또한, 돔 프로젝터(130)는 드론(300)에 의해 촬영된 영상을 좌/우 영상으로 분리하고, 분리된 좌/우 영상을 돔 스크린의 곡률 특성에 맞게 와핑하며, 와핑된 좌/우 영상 간의 편광 성분을 서로 직교시켜 돔 스크린에 각각 디스플레이함으로써, 사용자에게 입체 영상을 제공할 수 있다.Also, the dome projector 130 separates the image photographed by the drones 300 into left and right images, warps the separated left and right images according to the curvature characteristics of the dome screen, By displaying the polarized light components orthogonally to each other on the dome screen, a stereoscopic image can be provided to the user.

체험 제어 장치(140)는 드론(300)으로부터 영상과 비행 정보를 수신하고, 수신한 영상과 비행 정보를 저장 장치(150)에 저장하거나, 곡면 디스플레이 장치(110) 및 돔 프로젝터(130) 각각에 적합하게 변환하여 곡면 디스플레이 장치(110) 또는 돔 프로젝터(130)를 통해 표시한다. 또한, 체험 제어 장치(140)는 사용자 인터페이스 장치(120)를 통해 입력되는 제스처에 대응되는 제어정보를 드론(300)으로 송신한다.The experience control device 140 receives the image and flight information from the drones 300 and stores the received image and flight information in the storage device 150 or transmits the received image and flight information to the curved display device 110 and the dome projector 130, And displays it through the curved display device 110 or the dome projector 130. [ The experience control device 140 transmits control information corresponding to the gesture input through the user interface device 120 to the drones 300.

한편, 본 발명에 따른 체험 제어 장치(140)는 돔 프로젝터(130)로부터 특정 영역의 좌표 정보를 수신하는 경우, 특정 영역의 좌표 정보에 대응되는 영상을 드론(300)으로 요청하고, 드론(300)으로부터 원본 영상으로부터 추출한 특정 영역의 좌표 정보에 대응되는 영상을 수신하며, 수신한 특정 영역의 좌표 정보에 대응되는 영상을 360도 영상에 오버랩하여 고해상도의 확대 영상을 돔 프로젝터(130)를 통해 표시할 수 있다.Meanwhile, when receiving coordinate information of a specific area from the dome projector 130, the experience control device 140 according to the present invention requests the image corresponding to the coordinate information of the specific area to the drones 300, The image corresponding to the coordinate information of the received specific region is overlapped with the 360-degree image to display a high-resolution enlarged image through the dome projector 130 can do.

또한, 체험 제어 장치(140)는 드론(300)에 의해 분할된 제1 영상과 제2 영상을 순차적으로 수신하고, 분할된 제1 영상과 제2 영상을 재합성하며, 재합성된 영상을 곡면 디스플레이 장치(110) 또는 돔 프로젝터(130)를 통해 표시할 수 있다.The experience control device 140 sequentially receives the first image and the second image divided by the drones 300, re-synthesizes the divided first and second images, And can be displayed through the display device 110 or the dome projector 130.

이를 위해, 체험 제어 장치(140)는 유무선 통신부(141), 영상 처리부(142), 및 드론 제어부(143) 등을 포함할 수 있다.For this purpose, the experience control device 140 may include a wired / wireless communication unit 141, an image processing unit 142, a drone control unit 143, and the like.

유무선 통신부(141)는 드론(300)으로부터 영상과 비행 정보를 수신하고, 수신한 영상과 비행 정보를 곡면 디스플레이 장치(110) 또는 돔 프로젝터(130)로 전송한다. 또한, 유무선 통신부(141)는 사용자 인터페이스 장치(120)로부터 수신한 제어정보를 드론(300)으로 전달할 수 있다.The wired and wireless communication unit 141 receives the image and the flight information from the drone 300 and transmits the received image and the flight information to the curved display device 110 or the dome projector 130. The wired / wireless communication unit 141 may transmit control information received from the user interface device 120 to the drones 300.

유무선 통신부(141)는 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.The wired / wireless communication unit 141 may include a wired / wireless communication module. Herein, the wireless Internet technology may be a wireless LAN (WLAN), a Wi-Fi, a wireless broadband (Wibro), a World Interoperability for Microwave Access (HSDPA), IEEE 802.16, Long Term Evolution (LTE), Wireless Mobile Broadband Service (WMBS), and the like. The Short Range Communication Technology may include Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like. The wired communication technology may include USB (Universal Serial Bus) communication, and the like.

영상 처리부(142)는 유무선 통신부(141)를 통해 드론(300)으로부터 수신한 영상를 곡면 디스플레이 장치(110) 및 돔 프로젝터(130) 각각에 적합한 영상으로 변환한다.The image processing unit 142 converts the image received from the drones 300 through the wired / wireless communication unit 141 into an image suitable for each of the curved display device 110 and the dome projector 130.

또한, 영상 처리부(142)는 드론(300)으로부터 수신한 특정 영역의 좌표 정보에 대응되는 영상을 360도 영상에 오버랩하여 고해상도의 확대 영상을 생성할 수 있다. 이에 더해, 영상 처리부(142)는 드론(300)으로부터 순차적으로 수신한 제1 영상과 제2 영상을 재합성할 수도 있다.In addition, the image processing unit 142 can generate a high-resolution enlarged image by overlapping the 360-degree image with the image corresponding to the coordinate information of the specific area received from the drones 300. In addition, the image processing unit 142 may re-synthesize the first image and the second image sequentially received from the drones 300.

드론 제어부(143)는 사용자 인터페이스 장치(120)를 통해 입력되는 제스처에 대응되는 제어정보를 드론(300)으로 송신한다.The drones control unit 143 transmits control information corresponding to the gesture inputted through the user interface device 120 to the drones 300. [

또한, 드론 제어부(143)는 수동 운용모드, 자동이착륙 기능, 자동 경로점비행, 수동 안정성 강화 비행, 및 비상귀환 등을 포함하는 다수의 기능을 가질 수 있다. 수동 운용모드는 관리자의 조종명령에 따라 비행되는 모드로서, 제한된 속도와 기울임 각 이내 기체 조작이 가능하고, 돌발 상황에서 긴급조치가 가능하다. 자동이착륙 기능은 수동 조작 없이 조종기 스위치나 GCS(Geographic Coordinate System) 화면 버튼만으로 자동 이착륙이 될 수 있다. 자동 경로점비행은, 다수의 경로점을 입력하여 관광시나리오를 다양하게 계획하고, 경로의 편집과 저장을 통해 동일한 관광시나리오를 제공하며, 관리자의 업무강도 감소, 수월한 운용관리가 가능하다. 수동 안정성 강화 비행은 관광객과 관리자의 비행성능 제한의 차별(이동속도와 자세 각 제한)이 가능하다. 비상귀환은 갑작스런 기능 이상과 배터리 저전압 상황 등의 비상모드에서 드론 제어부(143)의 판단 혹은 운용자의 판단에 의해 안전한 위치로 자동귀환하는 기능이다.In addition, the drones control unit 143 may have a number of functions including a manual operation mode, an automatic takeoff and landing function, an automatic route point flight, a manual stability enhancement flight, and an emergency return. The manual operation mode is a mode that is operated according to the supervisory command of the manager. The mode can be operated at a limited speed and a tilt angle, and urgent action is possible in an unexpected situation. The automatic takeoff and landing function can be automatic landing and landing with only the controller switch or GCS (Geographic Coordinate System) screen button without manual operation. In the automatic route point flight, it is possible to plan various scenarios by inputting a plurality of route points, to provide the same tourist scenarios by editing and storing the route, and to reduce the work intensity of the manager and to manage the operation smoothly. Manual Stability Enhancement The flight can differentiate between the flight performance limitations of tourists and managers (speed and attitude limitations). The emergency return is a function of automatically returning to a safe position based on the judgment of the dron controller 143 or the operator's judgment in an emergency mode such as a sudden malfunction or a battery low voltage situation.

추가로, 체험 제어 장치(140)는 영상과 함께 영상에 대응되는 위치의 관광정보 또는 쇼핑정보를 표시할 수 있다.In addition, the experience control device 140 can display tourist information or shopping information at a location corresponding to the image together with the image.

이에 더해, 체험 제어 장치(140)는 저장 장치(150)에 저장된 코스별 비행 범위가 설정된 지도정보 및 드론(300)의 위치 정보에 기초하여 선택된 코스의 비행 범위를 벗어나지 않도록 드론(300)을 제어할 수 있다. 그리고, 체험 제어 장치(140)는 지역정보 안내시 관광정보를 텍스쳐(Texture) 또는 음성으로 안내할 수 있다.In addition, the experience control device 140 controls the drones 300 so that the flight range for each course stored in the storage device 150 does not deviate from the flight range of the selected course based on the set map information and the location information of the drones 300 can do. Then, the experience control device 140 can guide the sightseeing information in textures or voices when the local information is displayed.

저장 장치(150)는 관광지의 코스별 경로정보, 관광지의 지도정보, 관광지의 지점별 관광정보, 드론정보, 제스처에 대응하는 드론 제어정보, 드론(300)에서 수신되는 영상정보 및 비행 정보를 저장한다.The storage device 150 stores route information for each course of a sightseeing spot, map information of a tourist spot, tourist information for each spot of a tourist spot, dron information, dron control information corresponding to a gesture, image information received from the drones 300, do.

이를 위해, 저장 장치(150)는 관광지의 코스별 경로 정보를 저장하는 경로정보 DB(151), 관광지의 지도정보를 저장하는 지도정보 DB(152), 관광지의 지점별 관광정보를 저장하는 관광정보 DB(153), 드론(300)의 식별정보를 포함한 정보를 저장하는 드론정보 DB(154), 특산물 또는 기념품을 파는 쇼핑몰의 정보를 저장하는 쇼핑정보 DB(155), 드론(300)으로부터 수신한 영상을 저장하는 영상정보 DB(156), 드론(300)으로부터 수신한 영상 및 비행 정보를 저장하는 비행정보 DB(157), 및 제스처에 대응되는 드론 제어정보를 저장하는 드론 제어정보 DB(158) 등을 포함할 수 있다. 여기서, 드론(300)이 촬영된 영상을 360도 전방위 카메라 내부의 메모리 카드에 저장하는 경우, 드론(300)으로부터 수신한 영상을 저장하는 영상정보 DB(156)는 생략될 수도 있다.To this end, the storage device 150 includes a route information DB 151 for storing route information for each course of sightseeing spots, a map information DB 152 for storing map information of tourist spots, tourist information A shopping information DB 155 for storing information of a shopping mall selling special products or souvenirs, a shopping mall DB 155 for storing information of shopping malls selling special products or souvenirs, An image information DB 156 for storing images, a flight information DB 157 for storing images and flight information received from the drone 300, and a drones control information DB 158 for storing dron control information corresponding to gestures, And the like. Here, when the image of the drones 300 is stored in the memory card of the 360-degree omnidirectional camera, the image information DB 156 storing the image received from the drones 300 may be omitted.

관제 서버(400)는 드론(300)이 위험한 지역에 가지 않도록 비행을 모니터링하되, 사용자의 조작 미숙에 따라 드론(300)의 이상 발생시 제어정보를 생성하여 드론(300)으로 전송할 수 있다. 이를 통해, 드론(300)은 관제 서버(400)의 제어정보에 기초하여 비행을 제어할 수도 있다. 이때, 관제 서버(400)는 드론(300)의 조작 전문가로부터 입력정보를 입력받을 수 있으며, 해당 입력정보에 기초하여 드론(300)을 조작하기 위한 제어정보를 생성할 수 있다.The control server 400 monitors the flight so that the drones 300 are not in a dangerous area and generates control information when the drones 300 are abnormally operated according to the user's operation and transmits them to the drones 300. Thus, the drones 300 may control the flight based on the control information of the control server 400. [ At this time, the control server 400 can receive input information from an operation expert of the drones 300, and can generate control information for operating the drones 300 based on the input information.

도 2는 본 발명의 실시예에 따른 드론 내부의 개략적인 구성을 나타낸 블럭 구성도이다.FIG. 2 is a block diagram showing a schematic configuration of a drones according to an embodiment of the present invention.

도 2를 참조하면, 드론(300)은 360도 전방위 카메라(310), 무선통신부(320), 제어부(330), 기동부(340), 위치 측정부(350), 및 자세 측정부(360) 등을 포함할 수 있다.2, the drone 300 includes a 360 degree omnidirectional camera 310, a wireless communication unit 320, a control unit 330, an activation unit 340, a position measurement unit 350, and an orientation measurement unit 360, And the like.

제어부(330)는 무선통신부(320)를 통해 체험 제어 장치(140)로부터 제어정보를 수신하며, 제어정보에 따라 드론(300)의 움직임을 조종하는 기동부(340)를 제어하여 드론(300)을 비행시킬 수 있다. 이때, 무선통신부(320)는 네트워크망(200)에 따른 통신방식을 지원할 수 있다.The control unit 330 receives the control information from the experience control device 140 through the wireless communication unit 320 and controls the activation unit 340 that controls the movement of the drones 300 according to the control information, Can fly. At this time, the wireless communication unit 320 may support a communication method according to the network 200. [

또한, 제어부(330)는 드론(300)의 비행시 360도 전방위 카메라(310)를 통해 촬영된 영상을 무선통신부(320)를 통해 체험 제어 장치(140)로 전송할 수 있다. 이때, 360도 전방위 카메라(310)는 하나의 카메라로 모든 방위의 영상 촬영이 가능하므로 간단하고, 각도조절도 필요 없다.The control unit 330 may transmit the image photographed through the 360 degree omnidirectional camera 310 to the experience control device 140 through the wireless communication unit 320 when the drones 300 are flying. At this time, the 360 degree omnidirectional camera 310 is simple because it can capture images of all directions with one camera, and angle adjustment is not necessary.

한편, 본 발명의 실시예에 따른 제어부(330)는 체험 제어 장치(140)가 특정 영역의 좌표 정보에 대응되는 영상을 요청하는 경우, 원본 영상으로부터 특정 영역의 좌표 정보에 대응되는 영상을 추출하고, 추출한 특정 영역의 좌표 정보에 대응되는 영상을 무선통신부(320)를 통해 체험 제어 장치(140)로 전송한다.Meanwhile, when the experience control device 140 requests an image corresponding to coordinate information of a specific region, the controller 330 extracts an image corresponding to the coordinate information of the specific region from the original image , And transmits the image corresponding to the coordinate information of the extracted specific area to the experience control device 140 through the wireless communication unit 320. [

또한, 제어부(330)는 360도 전방위 카메라(310)를 이용하여 촬영된 영상을 제1 영상과 제2 영상으로 분할하고, 제1 영상과 제2 영상을 무선통신부(320)를 통해 순차적으로 체험 제어 장치(140)로 전송할 수도 있다.In addition, the control unit 330 divides the photographed image into a first image and a second image using the 360 degree omnidirectional camera 310, sequentially experiences the first image and the second image through the wireless communication unit 320, To the control device 140. FIG.

또한, 제어부(330)는 자이로 센서, 가속도 센서 등을 포함하고, 제어정보에 따른 드론(300)의 비행시 자세를 측정하는 자세 측정부(360)를 통해 측정된 센싱값을 기초로 자세정보를 생성하여 무신통신부(320)를 통해 체험 제어 장치(140)로 전송할 수 있다.The control unit 330 includes a gyro sensor, an acceleration sensor, and the like. The control unit 330 determines attitude information based on the sensed values measured through the attitude measuring unit 360 that measures the attitude of the drones 300 according to the control information And transmits it to the experience control device 140 through the silent communication unit 320. [

추가로, 제어부(330)는 GPS(Global Positioning System)부를 포함하는 위치 측정부(350)를 통해 측정된 위치 측정값을 기초로 드론(300)의 현재 위치에 대한 위치정보를 생성하여 무선통신부(320)를 통해 체험 제어 장치(140)로 전송할 수 있다.Further, the controller 330 generates position information on the current position of the drones 300 based on the measured position values measured by the position measuring unit 350 including a Global Positioning System (GPS) unit, 320 to the experience control device 140.

도 3은 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템의 동작 흐름도이고, 도 4는 본 발명의 실시예에 따른 드론을 이용한 증강현실 관광 시스템에서 사용되는 사용자 제스처의 예를 나타낸 도면이다.3 is a flowchart illustrating an operation of an augmented reality sightseeing system using a drone according to an embodiment of the present invention, and Fig. 4 is a view illustrating an example of a user gesture used in a augmented reality sightseeing system using a drone according to an embodiment of the present invention .

도 3을 참조하면, 사용자는 사용자 인터페이스 장치(120)를 이용하여 자신이 비행하고자 하는 관광코스 중 하나를 선택한다. 그러면 사용자 인터페이스 장치(120)는 선택된 관광코스에 대한 정보를 체험 제어 장치(140)로 전송한다(S310). 이러한 관광코스는 경관이 수려하고 볼거리가 많은 안전지역 위주로 미리 설정되어 있다.Referring to FIG. 3, the user selects one of the tour courses he wishes to fly using the user interface device 120. Then, the user interface device 120 transmits information on the selected tour course to the experience control device 140 (S310). These scenic courses are pre-set in a safe area with a lot of scenery and lots of attractions.

체험 제어 장치(140)는 선택된 관광코스에 대응되는 미리 저장된 경로정보에 따라 원격으로 네트워크망(200)을 통해 드론(300)을 제어한다(S320). 이에, 드론(300)은 체험 제어 장치(140)의 드론 제어부(143)의 제어에 따라 정해진 관광코스를 따라 비행 이동하면서, 360도 전방위 카메라(310)를 통해 촬영되는 영상과 비행 정보를 체험 제어 장치(140)로 전송한다.The experience control device 140 remotely controls the drones 300 through the network 200 according to previously stored route information corresponding to the selected tour course (S320). The drones 300 are controlled by the drones control unit 143 of the experience control device 140 so that the images and the flight information photographed through the 360 degree omnidirectional camera 310 are controlled by the experience control To the device (140).

체험 제어 장치(140)는 드론(300)으로부터 360도 전방위 카메라(310)를 이용하여 촬영된 영상과 비행 정보를 수신하고, 수신한 영상과 비행 정보를 곡면 디스플레이 장치(110)를 통해 표시한다(S330). 그리고, 체험 제어 장치(140)는 필요에 따라 영상과 비행 정보를 영상정보 DB(156) 및 비행정보 DB(157)에 각각 저장할 수 있다.The experience control device 140 receives the image and the flight information from the dragon 300 using the 360 degree omnidirectional camera 310 and displays the received image and the flight information through the curved display device 110 S330). The experience control device 140 can store video and flight information in the video information DB 156 and the flight information DB 157, respectively, if necessary.

예를 들면, 곡면 디스플레이 장치(110)는 화면 상단 일부에 드론(300)의 360도 전방위 카메라(310)를 이용하여 촬영된 영상 외에 자세, 고도, 헤딩, 위도, 경도, 및 화면표시 방위각 등의 비행 정보를 추가로 표시할 수 있다.For example, the curved-surface display device 110 may include a 360-degree 360-degree omnidirectional camera 310 of the drones 300, such as attitude, altitude, heading, latitude, longitude, Additional flight information can be displayed.

또한, 곡면 디스플레이 장치(110)는 360도 전방위 카메라(310)를 이용하여 촬영된 원영상을 평활원통 형상 처리한 후, 화각 영역을 출력하고, MJPG 스트리머 실시간 영상을 MJPG 포맷의 영상으로 변환하여 이더넷 웹브라우저가 내장된 스마트 기기를 통해 출력할 수도 있다.In addition, the curved display device 110 processes the original image photographed using the 360-degree omnidirectional camera 310, and outputs a field angle area, converts the MJPG streamer real time image into an MJPG format image It can also be output via a smart device with built-in Ethernet web browser.

이외에도, 곡면 디스플레이 장치(110)를 위한 별도의 공간을 마련하여 사용자로 하여금 제대로 된 관광의 기분을 느낄 수 있도록 할 수 있다. 예를 들면, 동남아 관광에 대한 영상의 경우, 곡면 디스플레이 장치(110) 주위에 모형 야자수나 벤치 등으로 분위기를 연출할 수도 있다.In addition, it is possible to provide a separate space for the curved display device 110 so that the user can feel the feeling of proper sightseeing. For example, in the case of an image for Southeast Asia tourism, the atmosphere can be produced around the curved display device 110 by model palm trees, benches, and the like.

또한, 체험 제어 장치(140)는 드론(300)이 촬영한 지역의 지역정보를 노출하거나 해당 지역의 특산물 등을 구입할 수 있는 홈페이지의 하이퍼링크를 곡면 디스플레이 장치(110)의 화면에 표시할 수 있다. 여기서, 사용자가 원하는 하이퍼링크를 선택하면, 체험 제어 장치(140)의 영상 처리부(142)는 쇼핑정보 DB(155)를 참조하여 특산물 또는 기념품을 파는 쇼핑몰로 연결시키거나 관광정보 DB(153)에서 해당 지역을 설명하는 관광정보를 제공할 수 있다.In addition, the experience control device 140 can display a hyperlink of a homepage that can expose local information of the region photographed by the drones 300 or purchase special products of the area on the screen of the curved display device 110 . When the user selects a desired hyperlink, the image processing unit 142 of the experience control device 140 refers to the shopping information DB 155 and connects the shop to a shopping mall selling special products or souvenirs, Provide tourist information explaining the area.

또한, 단계 S330에서, 체험 제어 장치(140)는 드론(300)으로부터 360도 전방위 카메라(310)를 이용하여 촬영된 영상과 비행 정보를 곡면 디스플레이 장치(110)뿐만 아니라 돔 프로젝터(130)를 통해 표시할 수 있다. 사용자는 사용자 인터페이스 장치(120), 예를 들면, 마우스를 이용하여 돔 스크린에 표시된 360도 영상의 특정 영역을 지정하고, 지정된 특정 영역을 확대할 수 있다. 이에, 돔 프로젝터(130)는 사용자가 확대하고자 하는 특정 영역의 좌표 정보를 체험 제어 장치(140)로 전송할 수 있다.In step S330, the experience control device 140 transmits the image and the flight information photographed by the 360 degree omnidirectional camera 310 from the drones 300 to the dome projector 130 as well as the curved display device 110 Can be displayed. The user can designate a specific area of the 360-degree image displayed on the dome screen using the user interface device 120, for example, a mouse, and enlarge the designated specific area. Accordingly, the dome projector 130 can transmit coordinate information of a specific area to be enlarged by the user to the experience control device 140.

체험 제어 장치(140)는 돔 프로젝터(130)로부터 특정 영역의 좌표 정보를 수신하는 경우, 특정 영역의 좌표 정보에 대응되는 영상을 드론(300)으로 요청하고, 드론(300)으로부터 원본 영상으로부터 추출한 특정 영역의 좌표 정보에 대응되는 영상을 수신하며, 수신한 특정 영역의 좌표 정보에 대응되는 영상을 360도 영상에 오버랩하여 고해상도의 확대 영상을 돔 프로젝터(130)를 통해 표시할 수 있다.The experience control device 140 requests the image corresponding to the coordinate information of the specific region to the drones 300 when receiving the coordinate information of the specific region from the dome projector 130, The image corresponding to the coordinate information of the specific region is received and the image corresponding to the coordinate information of the received specific region is overlapped with the 360 degree image so that a high resolution enlarged image can be displayed through the dome projector 130. [

추가로, 체험 제어 장치(140)는 드론(300)에 의해 분할된 제1 영상과 제2 영상을 순차적으로 수신하고, 수신한 제1 영상과 제2 영상을 재합성하며, 재합성된 영상을 곡면 디스플레이 장치(110) 또는 돔 프로젝터(130)를 통해 표시할 수 있다.In addition, the experience control device 140 sequentially receives the first image and the second image, which are divided by the drones 300, and re-synthesizes the received first and second images, It can be displayed through the curved display device 110 or the dome projector 130.

이러한 상태에서 또는 단계 S320 및 단계 S330 이전에 사용자는 필요에 따라 드론(300)을 자신이 원하는 곳으로 이동 비행시킬 수 있다. 이를 위해, 사용자가 제스처를 취하게 되면, 사용자 인터페이스 장치(120)는 내장된 카메라를 이용하여 제스처를 인식하고, 인식된 제스처에 대한 정보를 체험 제어 장치(140)로 전송한다. 이처럼, 체험 제어 장치(140)는 사용자 인터페이스 장치(120)를 통해 사용자 제스처를 입력받는다(S340).In this state, or before step S320 and step S330, the user can move the drones 300 to his / her desired position according to need. To this end, when the user takes a gesture, the user interface device 120 recognizes the gesture using the built-in camera, and transmits the information about the recognized gesture to the experience control device 140. As described above, the experience control device 140 receives the user gesture through the user interface device 120 (S340).

이후, 체험 제어 장치(140)는 사용자 제스처에 따른 제어정보에 따라 원격으로 네트워크망(200)을 통해 드론(300)을 제어한다(S350). 이때, 제스처의 예를 도 4에 도시하였다.Thereafter, the experience control device 140 controls the drones 300 through the network 200 remotely according to the control information according to the user gesture (S350). An example of the gesture is shown in Fig.

도 4를 참조하면, 제스처는 360도 전방위 카메라(310)를 제어하는 제스처와 비행체인 드론(300)을 조종하는 제스처가 있다.Referring to FIG. 4, the gesture includes a gesture for controlling the 360-degree omnidirectional camera 310 and a gesture for controlling the dragon 300, which is a flying object.

360도 전방위 카메라(310)를 제어하는 제스처에는 카메라 영상을 확대, 축소, 시선회전, 및 선택하는 제스처가 존재하며, 이러한 제스처는 양손가락을 이용하여 가능하다. 예를 들면, 양손가락을 점점 이격하면 카메라 영상이 확대되고, 양손가락을 점점 가까이 하면 카메라 영상이 축소된다. 그리고 한 손을 좌우로 흔들면 360도 전방위 카메라(310)의 시선이 회전된다.In the gesture for controlling the 360 degree omnidirectional camera 310, there is a gesture for enlarging, reducing, rotating, and selecting the camera image. Such a gesture is possible using both fingers. For example, when the two fingers are separated from each other, the camera image is enlarged, and when both fingers are closer, the camera image is reduced. When one hand is shaken to the left and right, the line of sight of the 360 degree omnidirectional camera 310 is rotated.

비행체인 드론(300)을 조종하는 제스처에는 전/후진, 좌/우, 상승/하강, 정지 등의 제스처가 존재한다. 예를 들면, 한 손은 주먹을 쥐고, 다른 손은 위로 올리면 드론(300)이 전진하고, 한 손은 주먹을 쥐고, 다른 손은 아래로 흔들면 드론(300)이 후진한다.Gestures that manipulate the flying body drone (300) include gestures such as forward / backward, left / right, up / down, and stop. For example, if one hand holds a fist and the other hand is raised, the drones (300) move forward, one hand holds a fist, and the other hand shakes downward.

그리고 한 손은 주먹을 쥐고, 다른 손은 좌로 흔들면 드론(300)이 좌회전하고 한 손은 주먹을 쥐고, 다른 손은 우로 흔들면 드론(300)이 우회전한다. When one hand holds the fist and the other hand shakes to the left, the drone (300) turns to the left, the one hand holds the fist, and the other hand shakes to the right.

그리고 양손 엄지를 위로 올리면 드론(300)이 상승하고, 양손 엄지를 아래로 내리면 드론(300)이 하강한다.When the thumb of both hands is raised, the drones 300 are lifted, and when both hands are lowered, the drones 300 are lowered.

또한, 양손바닥을 위로 올리면 드론(300)이 정지한다.Further, when the both hands are raised, the drones 300 are stopped.

이러한 다양한 제스처는 필요에 따라 추가, 삭제, 및 수정 가능하다.These various gestures can be added, deleted, and modified as needed.

도 5는 본 발명의 실시예에 따른 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법을 나타낸 신호 흐름도이다.5 is a signal flow diagram illustrating a method of providing an enlarged region of an image photographed by a drone at a high image quality according to an embodiment of the present invention.

도 5를 참조하면, 돔 프로젝터(130)는 사용자로부터 사용자 인터페이스 장치(120)를 통해 돔 스크린에 표시된 360도 영상에서 확대하고자 하는 특정 영역에 대한 선택 입력이 있는지 여부를 판단하고(S510), 사용자가 사용자 인터페이스 장치(120)를 이용하여 돔 스크린에 표시된 360도 영상에서 확대하고자 하는 특정 영역을 선택하는 경우, 돔 프로젝터(130)는 사용자가 확대하고자 하는 특정 영역의 확대 포인트를 계산하며(S520), 사용자가 확대하고자 하는 특정 영역의 좌표 정보(예를 들면, 위도 및 경도 등)를 체험 제어 장치(140)로 전송한다(S530).Referring to FIG. 5, the dome projector 130 determines whether there is a selection input for a specific area to be enlarged in a 360-degree image displayed on the dome screen from the user through the user interface device 120 (S510) The dome projector 130 calculates an enlargement point of a specific area to be enlarged by the user in operation S520, (E.g., latitude and longitude) of a specific area to be enlarged by the user to the experience control device 140 (S530).

체험 제어 장치(140)는 돔 프로젝터(130)로부터 특정 영역의 좌표 정보를 수신하는 경우, 특정 영역의 좌표 정보에 대응되는 영상을 드론(300)으로 요청한다(S540).When receiving the coordinate information of the specific area from the dome projector 130, the experience control device 140 requests the drones 300 for the image corresponding to the coordinate information of the specific area (S540).

드론(300)은 체험 제어 장치(140)의 영상 요청에 따라 원본 영상으로부터 특정 영역의 좌표 정보에 대응되는 영상을 추출하고(S550), 추출한 특정 영역의 좌표 정보에 대응되는 영상을 체험 제어 장치(140)로 전송한다(S560). 즉, 드론(300)은 4k 해상도의 원본 영상에서 특정 영역의 좌표 정보에 대응되는 영상을 잘라내어 체험 제어 장치(140)로 전송한다. 예를 들면, 사용자가 특정 영역을 2배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 1/2로 축소하여 체험 제어 장치(140)로 전송하고, 사용자가 특정 영역을 4배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 그대로 체험 제어 장치(140)로 전송한다.The drone 300 extracts an image corresponding to the coordinate information of the specific area from the original image in response to the video request of the experience control device 140 at step S550 and displays the image corresponding to the coordinate information of the extracted specific area in the experience control device 140 (S560). That is, the drone 300 cuts out the image corresponding to the coordinate information of the specific region in the original image of 4k resolution and transmits it to the experience control device 140. For example, when the user desires to enlarge a specific area by 2 times, the drone 300 reduces the area ratio of the image cut out from the original image to 1/2 and transmits it to the experience control device 140, The drone 300 transmits the area ratio of the image cut out from the original image to the experience control device 140 as it is.

체험 제어 장치(140)는 드론(300)으로부터 수신한 특정 영역의 좌표 정보에 대응되는 영상을 360도 영상에 오버랩하여 고해상도의 확대 영상을 생성하고(S570), 생성된 고해상도의 확대 영상을 돔 프로젝터(130)로 전송한다(S580).The experience control device 140 generates an enlarged image of high resolution by overlapping the image corresponding to the coordinate information of the specific area received from the drones 300 with the 360 degrees image in step S570, (Step S580).

끝으로, 돔 프로젝터(130)는 체험 제어 장치(140)로부터 수신한 고해상도의 확대 영상을 표시한다(S590).Finally, the dome projector 130 displays an enlarged image of high resolution received from the experience control device 140 (S590).

도 6은 본 발명의 실시예에서 사용자가 확대영역을 설정하는 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a method of setting a magnified area by a user in an embodiment of the present invention.

도 6을 참조하면, 사용자는 마우스의 휠을 클릭함으로써 확대영역을 조절할 수 있다. 예를 들면, 사용자가 마우스의 휠을 1회 클릭하는 경우, 1단계 영역(610)이 설정된다. 사용자가 마우스의 휠을 2회 클릭하는 경우, 1단계 영역(610)보다 큰 2단계 영역(620)이 설정된다. 사용자가 마우스의 휠을 3회 클릭하는 경우, 2단계 영역(620)보다 큰 3단계 영역(630)이 설정된다. 사용자가 마우스의 휠을 4회 클릭하는 경우, 다시 1단계 영역(610)이 설정된다. 이처럼, 본 발명의 실시예에 따른 돔 프로젝터(130)는 사용자의 마우스의 휠의 클릭에 따른 영역 설정의 루프(Loop)를 가진다. 본 발명의 실시예에서는 설명의 편의상 단순히 3단계로 나누어 설명하고 있지만 이에 한정되는 것은 아니며, 영역 설정의 루프는 적어도 2단계 이상을 포함할 수 있다.Referring to FIG. 6, the user can adjust the enlarged area by clicking the wheel of the mouse. For example, if the user clicks the wheel of the mouse once, the first stage region 610 is set. When the user clicks the wheel of the mouse twice, a two-step area 620 is set which is larger than the first-step area 610. When the user clicks the wheel of the mouse three times, a three-step area 630 that is larger than the two-step area 620 is set. When the user clicks the wheel of the mouse four times, the first stage region 610 is set again. As described above, the dome projector 130 according to the embodiment of the present invention has a loop of area setting according to the click of the wheel of the user's mouse. Although the embodiment of the present invention has been described by merely dividing into three stages for convenience of explanation, the present invention is not limited thereto, and the loop of area setting may include at least two stages.

도 7은 본 발명의 실시예에서 마우스를 이용한 사용자의 확대 조작 및 영역 조작을 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining an enlarging operation and a region manipulation of a user using a mouse in the embodiment of the present invention. FIG.

도 7의 (a)를 참조하면, 사용자는 마우스의 휠을 스크롤함으로써, 최소 1배에서 최대 4배까지 확대영역의 배율을 조절할 수 있다. 사용자가 확대영역을 1배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상을 그대로 체험 제어 장치(140)로 전송하고, 사용자가 확대영역을 2배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 1/2로 축소하여 체험 제어 장치(140)로 전송하며, 사용자가 확대영역을 3배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 1/3로 축소하여 체험 제어 장치(140)로 전송하고, 사용자가 확대영역을 4배 확대하고자 하는 경우, 드론(300)은 원본 영상에서 잘라낸 영상의 면적 비율을 1/4로 축소하여 체험 제어 장치(140)로 전송한다. 다시 말해, 4K급의 카메라 원본영상이 리소스에 한계가 있는 유무선 통신부를 통해 전송되어 돔 프로젝터 등을 통해 최종적으로 제2 영상으로 사용자에게 보여질 때에 대한 설명이다. 이때 사용자가 원하여 제2 영상을 확대하는 경우, 실제로는 제2 영상의 확대된 부분은 더욱 선명하게 볼 수는 있지만, 확대되지 않는 부분은 볼 수 없게 되어, 제2 영상 중 전체적으로 볼 수 있는 면적은 그 만큼 줄어들게 된다. Referring to FIG. 7A, the user can adjust the magnification of the enlarged region by scrolling the wheel of the mouse from a minimum of 1 times to a maximum of 4 times. When the user intends to enlarge the enlarged area by one time, the dragon 300 transmits the image cut out from the original image directly to the experience control device 140. When the user intends to enlarge the enlarged area twice, If the user desires to enlarge the enlarged area by three times, the drones 300 can reduce the area of the image cut out from the original image, If the user wants to enlarge the enlarged area by 4 times, the drones 300 reduce the area ratio of the image cut out from the original image to 1/4 To the experience control device (140). In other words, a description is made as to when a 4K-level camera original image is transmitted through a wired / wireless communication unit having a limited resource and is finally displayed to a user as a second image through a dome projector or the like. At this time, when the user desires to enlarge the second image, actually, the enlarged portion of the second image can be seen more clearly, but the portion that is not enlarged can not be seen, Is reduced by that much.

도 7의 (b)를 참조하면, 사용자는 마우스의 휠을 클릭함으로써, 3단계로 영역을 지정할 수 있다. 예를 들면, 사용자가 마우스의 휠을 1회 클릭하는 경우, 1단계 영역(610)에 해당되는 영역지정1에 지정되고, 사용자가 마우스의 휠을 2회 클릭하는 경우, 1단계 영역(610)보다 큰 2단계 영역(620)에 해당되는 영역지정2가 지정되며, 사용자가 마우스의 휠을 3회 클릭하는 경우, 2단계 영역(620)보다 큰 3단계 영역(630)에 해당되는 영역지정3이 지정된다.Referring to FIG. 7 (b), the user can designate an area in three steps by clicking the mouse wheel. For example, when the user clicks the wheel of the mouse once, the area designation 1 corresponding to the first-stage area 610 is designated. When the user clicks the wheel of the mouse twice, When the user clicks the wheel of the mouse 3 times, the area designation 3 corresponding to the 3-step area 630 larger than the 2-step area 620 is designated .

도 8 내지 도 10은 사용자의 이동과 버튼 입력의 조합에 의해 드론을 제어하는 방법을 설명하기 위한 도면이다.FIGS. 8 to 10 are diagrams for explaining a method of controlling the drone by combining a movement of a user and a button input.

사용자가 홀드 버튼을 누른 채로 앉는 도중에 홀드 버튼으로부터 손을 떼고, 홀드 버튼을 연속 3회 누르며, 하강 버튼을 누르면, 드론(300)은 하강하게 된다. 이후, 사용자가 모든 동작을 멈춤 유지한 상태에서 홀드 버튼을 1회 누르면 드론(300)은 정지하게 된다.When the user depresses the hold button while holding down the hold button, depresses the hold button three times in succession, and depresses the down button, the drones 300 are lowered. Thereafter, the drones 300 are stopped by pressing the hold button once when the user stops all operations.

사용자가 홀드 버튼을 누른 채로 서는 도중에 홀드 버튼으로부터 손을 떼고, 홀드 버튼을 연속 2회 누르며, 상승 버튼을 누르면, 드론(300)은 상승하게 된다. 이후, 사용자가 모든 동작을 멈춤 유지한 상태에서 홀드 버튼을 1회 누르면 드론(300)은 정지하게 된다.When the user holds the hold button and releases the hold button halfway, the hold button is pressed twice continuously, and when the raise button is pressed, the drones 300 are raised. Thereafter, the drones 300 are stopped by pressing the hold button once when the user stops all operations.

사용자가 동기화 버튼을 누른 채로 보조 조종장치의 자세를 기울이면, 드론(300)의 정면 화면을 기준으로 드론(300)의 자세와 보조 조종장치의 자세가 동기화되어 전진, 후진, 좌우이동, 좌측턴, 및 우측턴을 명령할 수 있다.When the user tilts the posture of the auxiliary control device while holding the synchronization button, the attitude of the drones 300 and the posture of the assistant control device are synchronized with each other based on the front screen of the drones 300 to move forward, backward, , And a right turn.

구체적으로는, 도 8을 참조하면, 사용자가 홀드 버튼을 누르지 않은 채 대기 상태에 있으면, 드론(300)은 호버링(정지비행)을 한다(S810).More specifically, referring to FIG. 8, if the user is in a standby state without pressing the hold button, the drones 300 perform hovering (stop flight) (S810).

계속해서, 사용자가 홀드 버튼을 누르지 않은 채 이동하면, 드론(300)은 호버링 상태를 유지한다(S820),Subsequently, when the user moves without pressing the hold button, the drones 300 maintain the hovering state (S820)

계속해서, 사용자가 이동 중에 홀드 버튼을 누르면, 드론(300)은 이동한다(S830).Subsequently, when the user presses the hold button while moving, the drones 300 move (S830).

계속해서, 사용자가 이동 중에 홀드 버튼으로부터 손을 떼면, 드론(300)은 계속 이동한다(S840).Subsequently, when the user releases his or her hand from the hold button while moving, the drones 300 continue to move (S840).

계속해서, 사용자가 홀드 버튼을 누르지 않은 상태에서 정지하면, 드론(300)은 계속 이동한다(S850). 이때, 사용자는 자유롭게 이동 가능하며, 사용자의 움직임은 드론(300)의 움직임에 영향을 미치지 않는다.Subsequently, when the user stops in a state in which the hold button is not pressed, the drones 300 continue to move (S850). At this time, the user is freely movable, and the movement of the user does not affect the movement of the drones 300.

끝으로, 사용자가 정지 상태에서 홀드 버튼을 눌렀다가 떼면, 사용자의 마지막 상태가 정지였기 때문에 드론(300)은 정지한다(S860).Finally, when the user presses and releases the hold button in the stopped state, the drone 300 stops because the user's last state is stopped (S860).

또한, 도 9를 참조하면, 사용자가 홀드 버튼을 누른 상태에서 전진하면, 드론(300)은 사용자의 시선 방향으로 전진한다(S910).Referring to FIG. 9, when the user advances while holding the hold button, the drones 300 advance in the direction of the user's eyes (S910).

사용자가 홀드 버튼을 누른 상태에서 우로 이동하면, 드론(300)은 사용자의 시선 방향의 우로 이동한다(S920).When the user holds the hold button and moves to the right, the drones 300 move to the right of the user's sight line (S920).

사용자가 홀드 버튼을 누른 상태에서 뒤로 이동하면, 드론(300)은 사용자의 시선 방향의 뒤로 이동한다(S930).When the user moves backward while holding the hold button, the drones 300 move backward in the direction of the user's sight (S930).

또한, 도 10을 참조하면, 사용자가 동기화 버튼을 누른 상태로 보조 조종장치의 기체를 앞으로 기울이면, 드론(300)은 사용자의 시선 방향으로 전진한다(S1010).Referring to FIG. 10, when the user tilts the gas of the auxiliary control apparatus while pushing the synchronization button, the drones 300 advance in the direction of the user's sight (S1010).

사용자가 동기화 버튼을 누른 상태로 보조 조종장치의 기체를 오른쪽으로 기울이면, 드론(300)은 사용자의 시선 방향의 우로 이동한다(S1020).When the user tilts the gas of the auxiliary control device to the right while pressing the synchronization button, the drones 300 move to the right of the user's sight line (S1020).

사용자가 동기화 버튼을 누른 상태로 보조 조종장치의 기체를 왼쪽으로 기울이면, 드론(300)은 사용자의 시선 방향의 좌로 이동한다(S1030).When the user tilts the gas of the auxiliary control device to the left while pressing the synchronization button, the drones 300 move to the left in the direction of the user's eyes (S1030).

전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(Firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described method can be implemented by various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로컨트롤러 및 마이크로프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the method according to embodiments of the present invention may be implemented in one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, and microprocessors.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of an implementation by firmware or software, the method according to embodiments of the present invention may be implemented in the form of a module, a procedure or a function for performing the functions or operations described above. The software code can be stored in a memory unit and driven by the processor. The memory unit may be located inside or outside the processor, and may exchange data with the processor by various well-known means.

이처럼, 본 발명의 실시예에서는, 드론에 360도 영상 촬영이 가능한 360도 전방위 카메라를 적용하여 드론에서 카메라의 각도를 조절할 필요가 없어 드론의 무게를 줄일 수 있다.As described above, in the embodiment of the present invention, it is not necessary to adjust the angle of the camera in the dron by applying a 360 degree omnidirectional camera capable of shooting the 360 degree image to the dron, so that the weight of the dron can be reduced.

또한, 본 발명의 실시예에서는, 관광객이 간단한 제스처로 드론을 조종할 수 있다.Further, in the embodiment of the present invention, tourists can steer the drones with simple gestures.

또한, 본 발명의 실시예에서는, 관광객이 드론을 이용하면서 촬영한 영상을 제공받을 수 있다.In addition, in the embodiment of the present invention, tourists can receive images taken while using the drones.

또한, 본 발명의 실시예에서는, 관광객이 곡면 디스플레이 장치를 통해 고화질의 영상을 볼 수 있다.Further, in the embodiment of the present invention, a tourist can view a high-quality image through the curved display device.

또한, 본 발명의 실시예에서는, 다수의 관광객이 돔 프로젝터를 통해 실시간으로 사람이 갈 수 없는 관광지역을 볼수 있다.In addition, in the embodiment of the present invention, a plurality of tourists can see a sightseeing area where a person can not go in real time through a dome projector.

또한, 본 발명의 실시예에서는, 돔 프로젝터의 화면에서 확대하고자 하는 영역을 고화질로 시청할 수 있다.Further, in the embodiment of the present invention, the area to be enlarged on the screen of the dome projector can be viewed with high quality.

또한, 본 발명의 실시예에서는, 고글을 이용하여 실시간으로 개인별로 보고 싶은 곳을 머리를 돌려 볼 수 있다.In addition, in the embodiment of the present invention, it is possible to turn around the place where the individual wants to see in real time using the goggles.

또한, 본 발명의 실시예에서는, 녹화된 영상과 비행 정보를 함께 제공하여 영상뿐만 아니라 지리적 위치와 자세정보를 통해 확장된 서비스(예를 들면, 상태알림, 특산물쇼핑, 지형정보설명, 음성안내, 및 화면텍스트 표시 등)를 제공할 수 있다.In addition, in the embodiment of the present invention, it is also possible to provide the recorded image and the flight information together so that the extended service (for example, state notification, special product shopping, terrain information description, voice guidance, And screen text display, etc.).

이상에서 본 명세서에 개시된 실시예들을 첨부된 도면들을 참조로 설명하였다. 이와 같이 각 도면에 도시된 실시예들은 한정적으로 해석되면 아니되며, 본 명세서의 내용을 숙지한 당업자에 의해 서로 조합될 수 있고, 조합될 경우 일부 구성 요소들은 생략될 수도 있는 것으로 해석될 수 있다.The embodiments disclosed herein have been described with reference to the accompanying drawings. Thus, the embodiments shown in the drawings are not to be construed as limiting, and those skilled in the art will understand that the present invention can be combined with each other, and when combined, some of the components may be omitted.

여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 명세서에 개시된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Here, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings, but should be construed as meaning and concept consistent with the technical idea disclosed in the present specification.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 명세서에 개시된 실시예에 불과할 뿐이고, 본 명세서에 개시된 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the present specification and the drawings are only exemplary embodiments of the present invention, and are not intended to represent all of the technical ideas disclosed in the present specification, so that various equivalents It should be understood that water and variations may be present.

110: 곡면 디스플레이 장치 120: 사용자 인터페이스 장치
130: 돔 프로젝터 140: 체험 제어 장치
141: 유무선 통신부 142: 영상 처리부
143: 드론 제어부 150: 저장 장치
151: 경로정보 DB 152: 지도정보 DB
153: 관광정도 DB 154: 드론정보 DB
155: 쇼핑정보 DB 156: 영상정보 DB
157: 비행정보 DB 158: 드론 제어정보 DB
200: 네트워크망 300: 드론
400: 관제 서버
110: Surface display device 120: User interface device
130: Dome projector 140: Experience control device
141: wired / wireless communication unit 142:
143: Drone control unit 150: Storage device
151: Path information DB 152: Map information DB
153: sightseeing DB 154: drone information DB
155 shopping information DB 156 video information DB
157: flight information DB 158: drone control information DB
200: Network 300: Drones
400: control server

Claims (10)

비행 중에 영상을 촬영하고, 원본 영상을 상기 원본 영상보다 낮은 해상도를 갖는 영상으로 변환하여 전송하는 드론;
사용자의 명령, 선택, 및 정보 중에서 적어도 하나를 입력 받는 사용자 인터페이스 장치;
상기 드론으로부터 수신한 영상을 돔 스크린을 통해 360도 영상으로 표시하고, 사용자가 상기 사용자 인터페이스 장치를 통해 상기 360도 영상에서 확대하고자 하는 특정 영역을 선택하는 경우, 특정 영역의 좌표 정보를 전송하는 돔 프로젝터; 및
상기 돔 프로젝터로부터 상기 특정 영역의 좌표 정보를 수신하는 경우, 상기 드론으로 상기 특정 영역의 좌표 정보에 대응되는 영상을 요청하고, 상기 드론으로부터 상기 원본 영상으로부터 추출한 특정 영역의 좌표 정보에 대응되는 영상을 수신하며, 수신한 특정 영역의 좌표 정보에 대응되는 영상을 상기 360도 영상에 오버랩하여 고해상도의 확대 영상을 상기 돔 프로젝터를 통해 표시하도록 제어하는 체험 제어 장치;
를 포함하되,
상기 사용자 인터페이스 장치는 마우스이고,
상기 돔 프로젝터는 사용자가 상기 마우스의 휠을 클릭함에 따라 상기 360도 영상의 확대영역을 설정하는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
A dron for capturing an image in flight, converting the original image into an image having a resolution lower than that of the original image, and transmitting the image;
A user interface device for receiving at least one of a user's command, selection, and information;
A dome screen for displaying the received image from the drones in a 360-degree image, and a user selecting a specific area to be enlarged in the 360-degree image through the user interface device, Projector; And
Wherein when the coordinate information of the specific area is received from the dome projector, an image corresponding to coordinate information of the specific area is requested by the dragon, and a video corresponding to the coordinate information of the specific area extracted from the original image An experience control device which controls the dome projector to display an enlarged image of high resolution by overlapping an image corresponding to coordinate information of the received specific area with the 360 degree image;
, ≪ / RTI &
Wherein the user interface device is a mouse,
Wherein the dome projector sets an enlarged region of the 360-degree image as the user clicks the wheel of the mouse.
제1항에 있어서,
상기 드론은 영상을 제1 영상과 제2 영상으로 분할하여 순차적으로 전송하고,
상기 체험 제어 장치는 상기 제1 영상과 상기 제2 영상을 재합성하여 상기 돔 프로젝터를 통해 표시하는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
The method according to claim 1,
The drone divides an image into a first image and a second image, sequentially transmits the divided image,
Wherein the experience control apparatus re-synthesizes the first image and the second image and displays the re-synthesized image through the dome projector.
제1항에 있어서,
사용자가 상기 특정 영역을 2배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상의 면적 비율을 1/2로 축소하여 상기 체험 제어 장치로 전송하고,
사용자가 상기 특정 영역을 3배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상의 면적 비율을 1/3로 축소하여 상기 체험 제어 장치로 전송하며,
사용자가 상기 특정 영역을 4배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상을 그대로 상기 체험 제어 장치로 전송하는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
The method according to claim 1,
When the user desires to enlarge the specific area by 2 times, the drone reduces the area ratio of the image cut out from the original image to 1/2 and transmits the result to the experience control device,
When the user desires to enlarge the specific area by 3 times, the drone reduces the area ratio of the image cut out from the original image to 1/3 and transmits the reduced ratio to the experience control device,
Wherein when the user desires to enlarge the specific region by 4 times, the drone transmits the image cut out from the original image to the experience control apparatus as it is.
삭제delete 삭제delete 제1항에 있어서,
상기 돔 프로젝터는 사용자가 상기 마우스의 휠을 스크롤함에 따라 상기 360도 영상의 확대영역의 배율을 조절하는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
The method according to claim 1,
Wherein the dome projector adjusts the magnification of the enlarged area of the 360-degree image as the user scrolls the wheel of the mouse.
제1항에 있어서,
상기 돔 프로젝터는 상기 드론에 의해 촬영된 영상을 좌/우 영상으로 분리하고, 분리된 좌/우 영상을 상기 돔 스크린의 곡률 특성에 맞게 와핑하며, 와핑된 좌/우 영상 간의 편광 성분을 서로 직교시켜 상기 돔 스크린에 각각 디스플레이하는 것을 특징으로 하는 드론을 이용한 증강현실 관광 시스템.
The method according to claim 1,
The dome projector separates the image photographed by the drones into left and right images, warps the separated left and right images according to the curvature characteristics of the dome screen, And displays them on the dome screen, respectively.
드론이 비행 중에 촬영된 원본 영상을 상기 원본 영상보다 낮은 해상도를 갖는 영상으로 변환하여 돔 프로젝터로 전송하는 단계;
상기 돔 프로젝터가 상기 드론으로부터 수신한 영상을 돔 스크린을 통해 360도 영상으로 표시하는 단계;
사용자가 사용자 인터페이스 장치를 통해 상기 360도 영상에서 확대하고자 하는 특정 영역을 선택하는 경우, 상기 돔 프로젝터가 특정 영역의 좌표 정보를 체험 제어 장치로 전송하는 단계;
상기 체험 제어 장치가 상기 돔 프로젝터로부터 상기 특정 영역의 좌표 정보를 수신하는 경우, 상기 드론으로 상기 특정 영역의 좌표 정보에 대응되는 영상을 요청하여 상기 드론으로부터 상기 원본 영상으로부터 추출한 특정 영역의 좌표 정보에 대응되는 영상을 수신하는 단계; 및
상기 체험 제어 장치가 수신한 특정 영역의 좌표 정보에 대응되는 영상을 상기 360도 영상에 오버랩하여 고해상도의 확대 영상을 상기 돔 프로젝터로 제공하는 단계;
를 포함하는 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법.
Converting the original image photographed by the drones in flight into an image having a lower resolution than the original image and transmitting the converted image to the dome projector;
Displaying the image received from the dome projector as a 360-degree image through a dome screen;
When the user selects a specific area to be enlarged in the 360-degree image through the user interface device, the dome projector transmits coordinate information of the specific area to the experience control device;
Wherein when the experience control apparatus receives coordinate information of the specific region from the dome projector, the experience control apparatus requests an image corresponding to the coordinate information of the specific region with the dragon and outputs coordinate information of the specific region extracted from the original image Receiving a corresponding image; And
Providing an enlarged image of a high resolution to the dome projector by overlapping an image corresponding to coordinate information of a specific area received by the experience control device with the 360 degree image;
And providing the enlarged area of the image photographed by the drones at a high image quality.
제8항에 있어서,
사용자가 상기 특정 영역을 2배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상의 면적 비율을 1/2로 축소하여 상기 체험 제어 장치로 전송하고,
사용자가 상기 특정 영역을 3배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상의 면적 비율을 1/3로 축소하여 상기 체험 제어 장치로 전송하며,
사용자가 상기 특정 영역을 4배 확대하고자 하는 경우, 상기 드론은 상기 원본 영상에서 잘라낸 영상을 그대로 상기 체험 제어 장치로 전송하는 것을 특징으로 하는 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법.
9. The method of claim 8,
When the user desires to enlarge the specific area by 2 times, the drone reduces the area ratio of the image cut out from the original image to 1/2 and transmits the result to the experience control device,
When the user desires to enlarge the specific area by 3 times, the drone reduces the area ratio of the image cut out from the original image to 1/3 and transmits the reduced ratio to the experience control device,
Wherein when the user desires to enlarge the specific area by 4 times, the dragon transmits the image cut out from the original image to the experience control device as it is, and a method for providing the enlarged area of the image photographed by the dron with high quality .
제8항에 있어서, 상기 360도 영상으로 표시하는 단계에서,
상기 돔 프로젝터는 상기 드론에 의해 촬영된 영상을 좌/우 영상으로 분리하고, 분리된 좌/우 영상을 상기 돔 스크린의 곡률 특성에 맞게 와핑하며, 와핑된 좌/우 영상 간의 편광 성분을 서로 직교시켜 상기 돔 스크린에 각각 디스플레이하는 것을 특징으로 하는 드론에 의해 촬영된 영상의 확대영역을 고화질로 제공하는 방법.
9. The method of claim 8,
The dome projector separates the image photographed by the drones into left and right images, warps the separated left and right images according to the curvature characteristics of the dome screen, And displaying the dome image on the dome screen, respectively.
KR1020170143625A 2017-10-31 2017-10-31 Method of providing enlarged region of image photographed by dron with high image quality and augmented reality sightseeing system therefor KR101954926B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143625A KR101954926B1 (en) 2017-10-31 2017-10-31 Method of providing enlarged region of image photographed by dron with high image quality and augmented reality sightseeing system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143625A KR101954926B1 (en) 2017-10-31 2017-10-31 Method of providing enlarged region of image photographed by dron with high image quality and augmented reality sightseeing system therefor

Publications (1)

Publication Number Publication Date
KR101954926B1 true KR101954926B1 (en) 2019-03-06

Family

ID=65760887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143625A KR101954926B1 (en) 2017-10-31 2017-10-31 Method of providing enlarged region of image photographed by dron with high image quality and augmented reality sightseeing system therefor

Country Status (1)

Country Link
KR (1) KR101954926B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102079278B1 (en) * 2019-11-25 2020-02-19 (주)리얼메이커 Electronic device, method, and computer readable medium for displaying object for mixed reality
KR102258922B1 (en) * 2020-08-05 2021-05-31 한국해양과학기술원 Method and geodetic surveying system for using unmanned air vehicle
KR20220134694A (en) 2021-03-25 2022-10-05 주식회사 한강이앰피 Indirectness image traveling system using simulator and helicam
US11627257B2 (en) 2020-11-26 2023-04-11 Samsung Electronics Co., Ltd. Electronic device including image sensor having multi-crop function

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070103347A (en) * 2007-10-03 2007-10-23 이제성 Contents dispaly on large screen with 360 degrees panoramic camera
KR100787611B1 (en) * 2007-04-03 2007-12-21 재형 손 Image data output method in mobile terminal
KR20170014609A (en) * 2015-07-30 2017-02-08 엘지전자 주식회사 Mobile terminal and method of controlling the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100787611B1 (en) * 2007-04-03 2007-12-21 재형 손 Image data output method in mobile terminal
KR20070103347A (en) * 2007-10-03 2007-10-23 이제성 Contents dispaly on large screen with 360 degrees panoramic camera
KR20170014609A (en) * 2015-07-30 2017-02-08 엘지전자 주식회사 Mobile terminal and method of controlling the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102079278B1 (en) * 2019-11-25 2020-02-19 (주)리얼메이커 Electronic device, method, and computer readable medium for displaying object for mixed reality
KR102258922B1 (en) * 2020-08-05 2021-05-31 한국해양과학기술원 Method and geodetic surveying system for using unmanned air vehicle
US11627257B2 (en) 2020-11-26 2023-04-11 Samsung Electronics Co., Ltd. Electronic device including image sensor having multi-crop function
KR20220134694A (en) 2021-03-25 2022-10-05 주식회사 한강이앰피 Indirectness image traveling system using simulator and helicam

Similar Documents

Publication Publication Date Title
KR101987090B1 (en) Method for controlling dron and augmented reality sightseeing system therefor
US11691079B2 (en) Virtual vehicle control method in virtual scene, computer device, and storage medium
US10674062B2 (en) Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle
US11221726B2 (en) Marker point location display method, electronic device, and computer-readable storage medium
KR101790592B1 (en) Sightseeing tours augmented reality system using drones and a method thereof
KR101954926B1 (en) Method of providing enlarged region of image photographed by dron with high image quality and augmented reality sightseeing system therefor
KR102236339B1 (en) Systems and methods for controlling images captured by an imaging device
CN110618800B (en) Interface display method, device, equipment and storage medium
EP3065042B1 (en) Mobile terminal and method for controlling the same
KR102063895B1 (en) Master device, slave device and control method thereof
JP6369538B2 (en) Information processing apparatus, information processing method, computer-readable medium, and imaging system
EP4191385A1 (en) Surface aware lens
US11847302B2 (en) Spatial navigation and creation interface
CN209803579U (en) ground station for Unmanned Aerial Vehicle (UAV) and unmanned aerial vehicle system
JP2019530064A (en) Location globe in virtual reality
CN111246095B (en) Method, device and equipment for controlling lens movement and storage medium
WO2019142432A1 (en) Information processing device, information processing method, and recording medium
WO2021251441A1 (en) Method, system, and program
KR20200003291A (en) Master device, slave device and control method thereof
CN111666451B (en) Method, device, server, terminal and storage medium for displaying road book
JP2021012612A (en) Information processor, information processing system, and control method and program for same
CN113359851B (en) Method, device, equipment and storage medium for controlling navigation of aircraft
US20240323240A1 (en) Communication control server, communication system, and communication control method
WO2024057783A1 (en) Information processing device provided with 360-degree image viewpoint position identification unit
JP7545758B2 (en) Flight Control System

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant