KR102181809B1 - Apparatus and method for checking facility - Google Patents

Apparatus and method for checking facility Download PDF

Info

Publication number
KR102181809B1
KR102181809B1 KR1020190048329A KR20190048329A KR102181809B1 KR 102181809 B1 KR102181809 B1 KR 102181809B1 KR 1020190048329 A KR1020190048329 A KR 1020190048329A KR 20190048329 A KR20190048329 A KR 20190048329A KR 102181809 B1 KR102181809 B1 KR 102181809B1
Authority
KR
South Korea
Prior art keywords
image
location information
unit
information
specific point
Prior art date
Application number
KR1020190048329A
Other languages
Korean (ko)
Other versions
KR20200124899A (en
Inventor
박준연
송의석
변지숙
제보은
박지현
이건우
정창용
Original Assignee
주식회사 어플라이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 어플라이 filed Critical 주식회사 어플라이
Priority to KR1020190048329A priority Critical patent/KR102181809B1/en
Publication of KR20200124899A publication Critical patent/KR20200124899A/en
Application granted granted Critical
Publication of KR102181809B1 publication Critical patent/KR102181809B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/80—UAVs characterised by their small size, e.g. micro air vehicles [MAV]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Ecology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

드론을 이용하여 시설물을 점검하기 위한 장치 및 방법이 개시된다. 일 실시예에 따른 드론이 촬영한 영상을 이용하여 시설물을 점검하는 장치는 드론과 통신을 수행하는 통신부; 영상을 출력하는 디스플레이부; 사용자 입력을 수신하는 입력부; 데이터를 저장하는 저장부; 및 제어부를 포함하며, 제어부는 통신부를 통하여 드론으로부터 영상 위치 정보 및 드론 영상 데이터를 수신하며, 드론 영상 데이터를 기초로 디스플레이부에 영상을 출력하며, 입력부를 통하여 디스플레이부에 출력 중인 영상 상의 특정 지점을 선택하는 입력을 수신하며, 특정 지점이 선택된 영상에 대한 영상 위치 정보를 기초로 선택 위치 정보를 생성하며, 선택 위치 정보를 저장부에 저장할 수 있다.An apparatus and a method for inspecting a facility using a drone are disclosed. An apparatus for inspecting a facility using an image captured by a drone according to an embodiment includes: a communication unit performing communication with a drone; A display unit outputting an image; An input unit for receiving a user input; A storage unit for storing data; And a control unit, wherein the control unit receives image location information and drone image data from the drone through the communication unit, outputs an image to the display unit based on the drone image data, and a specific point on the image being output to the display unit through the input unit Receives an input for selecting a, generates selection location information based on image location information on an image in which a specific point is selected, and stores the selection location information in the storage unit.

Description

시설물 점검 장치 및 방법{APPARATUS AND METHOD FOR CHECKING FACILITY}Facility inspection device and method {APPARATUS AND METHOD FOR CHECKING FACILITY}

시설물 점검에 대한 기술로서 특히, 드론을 이용하여 시설물을 점검하기 위한 장치 및 방법에 관한 것이다.As a technology for facility inspection, in particular, it relates to an apparatus and method for inspecting facilities using a drone.

드론은 항법 및 제어, 사용 목적에 따라 다양한 센서들이 탑재되고 있다. 예를 들어, 드론은 항법을 위해 GPS, 지자기 센서, 관성항법장치 등을 탑재하고 있으며, Radar, LiDAR 및 카메라를 활용하여 근거리의 장애물 회피, 감시정찰 및 특정 대상에 대한 모니터링 등을 수행한다. Drones are equipped with various sensors depending on the purpose of navigation, control and use. For example, drones are equipped with GPS, geomagnetic sensors, and inertial navigation devices for navigation, and use radar, LiDAR, and cameras to avoid obstacles at close range, surveillance and reconnaissance, and monitoring of specific targets.

또한, 드론을 이용해 특정 대상을 등을 모니터링하기 위하여 드론에 대한 직접적인 조종 없이 자율적으로 주행할 수 있는 기술이 개발되고 있다.In addition, a technology that enables autonomous driving without direct control of a drone is being developed in order to monitor a specific target using a drone.

드론을 이용하여 시설물을 점검하기 위한 장치 및 방법을 제공하는데 목적이 있다.The purpose of this is to provide an apparatus and method for inspecting facilities using drones.

일 양상에 따르면, 드론이 촬영한 영상을 이용하여 시설물을 점검하는 장치는 드론과 통신을 수행하는 통신부; 영상을 출력하는 디스플레이부; 사용자 입력을 수신하는 입력부; 데이터를 저장하는 저장부; 및 제어부를 포함하며, 제어부는 통신부를 통하여 드론으로부터 영상 위치 정보 및 드론 영상 데이터를 수신하며, 드론 영상 데이터를 기초로 디스플레이부에 영상을 출력하며, 입력부를 통하여 디스플레이부에 출력 중인 영상 상의 특정 지점을 선택하는 입력을 수신하며, 특정 지점이 선택된 영상에 대한 영상 위치 정보를 기초로 선택 위치 정보를 생성하며, 선택 위치 정보를 저장부에 저장할 수 있다. According to an aspect, an apparatus for inspecting a facility using an image captured by a drone includes: a communication unit performing communication with a drone; A display unit outputting an image; An input unit for receiving a user input; A storage unit for storing data; And a control unit, wherein the control unit receives image location information and drone image data from the drone through the communication unit, outputs an image to the display unit based on the drone image data, and a specific point on the image being output to the display unit through the input unit Receives an input for selecting a, generates selection location information based on image location information on an image in which a specific point is selected, and stores the selection location information in the storage unit.

제어부는 영상 위치 정보 및 드론 영상 데이터를 동기화시키며, 동기화된 영상 위치 정보 및 드론 영상 데이터를 저장부에 저장할 수 있다.The controller synchronizes the image location information and the drone image data, and may store the synchronized image location information and the drone image data in the storage unit.

제어부는 디스플레이부를 제어하여 특정 지점이 선택된 영상 상에 사용자가 선택한 특정 지점을 표시하며, 특정 지점이 표시된 영상을 선택 위치 정보와 동기화하여 저장부에 저장할 수 있다. The controller may control the display unit to display a specific point selected by the user on the image in which the specific point is selected, and store the image in which the specific point is displayed in the storage unit by synchronizing the image with the selected location information.

제어부는 디스플레이부에 지도 영상을 출력하며, 선택 위치 정보가 지시하는 특정 지점을 지도 영상에 표시할 수 있다. The controller may output a map image to the display unit and display a specific point indicated by the selected location information on the map image.

제어부는 영상 위치 정보에 기초하여 현재 출력되는 영상에 대한 위치를 지도 영상에 출력할 수 있다. The controller may output the location of the currently output image on the map image based on the image location information.

시설물 점검 장치는 장치 위치 정보를 생성하는 센서부를 더 포함하며, 제어부는 센서부로부터 장치 위치 정보를 수신하며, 디스플레이부에 지도 영상을 출력하며, 지도 영상에 선택 위치 정보 및 장치 위치 정보가 각각 지시하는 지점을 표시할 수 있다. The facility inspection device further includes a sensor unit that generates device location information, and the control unit receives device location information from the sensor unit, outputs a map image to the display unit, and indicates selection location information and device location information on the map image, respectively. You can mark the point.

시설물 점검 장치는 장치 위치 정보를 생성하는 센서부를 더 포함하며, 제어부는 센서부로부터 장치 위치 정보를 수신하며, 장치 위치 정보가 지시하는 위치와 가장 가까운 위치를 지시하는 영상 위치 정보에 동기화된 영상 데이터에 기초하여 디스플레이부에 영상을 출력할 수 있다. The facility inspection device further includes a sensor unit that generates device location information, and the control unit receives device location information from the sensor unit, and image data synchronized with image location information indicating a location closest to a location indicated by the device location information An image may be output on the display unit based on the.

시설물 점검 장치는 장치 위치 정보를 생성하는 센서부를 더 포함하며, 제어부는 센서부로부터 장치 위치 정보를 수신하며, 장치 위치 정보가 지시하는 위치와 가장 가까운 특정 지점을 지시하는 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상을 출력할 수 있다. The facility inspection device further includes a sensor unit that generates device location information, and the control unit receives device location information from the sensor unit, and is synchronized with selected location information indicating a specific point closest to the location indicated by the device location information. An image in which the above points are displayed can be output.

시설물 점검 장치는 장치 위치 정보 및 장치 자세 정보를 생성하는 센서부 및 카메라부를 더 포함하며, 제어부는 장치 위치 정보와 선택 위치 정보를 기초로 시설물 점검 장치와 특정 지점 간의 장치 거리 정보 및 장치 방향 정보를 생성하며, 장치 자세 정보를 기초로 선택 위치 정보가 지시하는 특정 지점 대비 카메라부가 촬영하고 있는 방향에 대한 카메라 방향 정보를 생성하며, 장치 거리 정보, 장치 방향 정보 및 카메라 방향 정보 중 적어도 하나를 기초로 카메라부를 통하여 획득되는 현장 영상 데이터에 특정 지점을 지시하는 마커를 합성하고, 마커가 합성된 현장 영상 데이터를 기초로 디스플레이부에 현장 영상을 출력할 수 있다. The facility inspection device further includes a sensor unit and a camera unit that generate device location information and device attitude information, and the control unit provides device distance information and device direction information between the facility inspection device and a specific point based on the device location information and the selected location information. It generates, and generates camera direction information about the direction the camera is shooting against a specific point indicated by the selected location information based on device attitude information, and based on at least one of device distance information, device direction information, and camera direction information. A marker indicating a specific point may be synthesized with the field image data acquired through the camera unit, and the field image may be output to the display unit based on the field image data in which the marker was synthesized.

다른 양상에 따르면, 드론이 촬영한 영상을 이용하여 시설물을 점검하는 장치는 서버와 통신을 수행하는 통신부; 영상을 출력하는 디스플레이부; 사용자 입력을 수신하는 입력부; 데이터를 저장하는 저장부; 장치 위치 정보를 생성하는 센서부; 및 제어부를 포함하며, 제어부는 통신부를 통하여 서버로부터 사용자가 선택한 특정 지점에 대한 선택 위치 정보를 수신하며, 센서부로부터 장치 위치 정보를 수신하며, 디스플레이부에 지도 영상을 출력하며, 지도 영상에 선택 위치 정보 및 장치 위치 정보가 각각 지시하는 지점을 표시할 수 있다. According to another aspect, an apparatus for inspecting a facility using an image captured by a drone includes: a communication unit performing communication with a server; A display unit outputting an image; An input unit for receiving a user input; A storage unit for storing data; A sensor unit for generating device location information; And a control unit, wherein the control unit receives selection location information for a specific point selected by the user from the server through the communication unit, receives device location information from the sensor unit, outputs a map image to the display unit, and selects the map image. Points indicated by location information and device location information may be displayed.

제어부는 통신부를 통하여 서버로부터 영상 위치 정보에 동기화된 영상 데이터를 수신하며, 장치 위치 정보가 지시하는 위치와 가장 가까운 위치를 지시하는 영상 위치 정보에 동기화된 영상 데이터에 기초하여 디스플레이부에 영상을 출력할 수 있다. The control unit receives the image data synchronized with the image location information from the server through the communication unit, and outputs the image to the display unit based on the image data synchronized with the image location information indicating a location closest to the location indicated by the device location information. can do.

제어부는 통신부를 통하여 서버로부터 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상 데이터를 수신하며, 장치 위치 정보가 지시하는 위치와 가장 가까운 특정 지점을 지시하는 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상에 기초하여 디스플레이부에 영상을 출력할 수 있다. The control unit receives image data in which one or more points synchronized with the selected location information are displayed from the server through the communication unit, and one or more points synchronized with the selected location information indicating a specific point closest to the location indicated by the device location information are displayed. An image may be output on the display unit based on the image.

또 다른 양상에 따르면, 드론이 촬영한 영상을 이용하여 시설물을 점검하는 장치는 서버와 통신을 수행하는 통신부; 영상을 출력하는 디스플레이부; 사용자 입력을 수신하는 입력부; 데이터를 저장하는 저장부; 장치 위치 정보 및 장치 자세 정보를 생성하는 센서부; 카메라부; 및 제어부를 포함하며, 제어부는 통신부를 통하여 서버로부터 사용자가 선택한 특정 지점에 대한 선택 위치 정보를 수신하며, 센서부로부터 획득한 장치 위치 정보와 선택 위치 정보를 기초로 시설물 점검 장치와 선택 위치 정보가 지시하는 특정 지점과의 장치 거리 정보 및 장치 방향 정보를 생성하며, 장치 자세 정보를 기초로 선택 위치 정보가 지시하는 특정 지점 대비 카메라부가 촬영하고 있는 방향에 대한 카메라 방향 정보를 생성하며, 장치 거리 정보, 장치 방향 정보 및 카메라 방향 정보를 기초로 카메라부를 통하여 획득되는 현장 영상 데이터에 특정 지점을 지시하는 마커를 합성하고, 디스플레이부에 마커가 합성된 현장 영상 데이터를 기초로 현장 영상을 출력할 수 있다.According to another aspect, an apparatus for inspecting a facility using an image captured by a drone includes: a communication unit performing communication with a server; A display unit outputting an image; An input unit for receiving a user input; A storage unit for storing data; A sensor unit that generates device location information and device attitude information; Camera unit; And a control unit, wherein the control unit receives selection location information for a specific point selected by the user from the server through the communication unit, and based on the device location information and the selection location information obtained from the sensor unit, the facility inspection device and the selected location information are Generates device distance information and device direction information from a specific point indicated, and generates camera direction information about the direction the camera is shooting against a specific point indicated by the selected location information based on the device attitude information, and device distance information , Based on the device direction information and the camera direction information, a marker indicating a specific point may be synthesized with the site image data acquired through the camera unit, and the site image may be output based on the site image data synthesized with the marker on the display unit. .

드론을 통하여 시설물을 점검함으로써 점검 시간을 단축시킬 수 있으며, 해당 영상 정보를 저장하여 시설물에 대한 관리 이력을 관리할 수 있다. 또한, 위험 지역을 사람 대신 점검함으로써 안전 사고의 위험을 감소시킬 수 있다.The inspection time can be shortened by checking the facility through a drone, and the management history of the facility can be managed by storing the corresponding image information. In addition, it is possible to reduce the risk of a safety accident by inspecting the hazardous area instead of a person.

도 1은 일 실시예에 따른 드론을 이용한 시설물 점검 시스템을 설명하기 위한 예시도이다.
도 2는 일 실시예에 따른 시설물 점검 장치의 구성도이다.
도 3은 일 예에 따른 드론을 이용한 시설물 점검을 수행하는 방법을 설명하기 위한 예시도이다.
도 4는 일 예에 따른 사용자가 시설물 점검 장치를 이용하여 시설물을 점검하는 방법을 설명하기 위한 예시도이다.
도 5는 일 실시예에 따른 드론을 이용한 시설물 점검 시스템을 설명하기 위한 예시도이다.
도 6은 일 실시예에 따른 현장 점검 장치의 구성도이다.1 is an exemplary diagram for explaining a facility inspection system using a drone according to an embodiment.
2 is a configuration diagram of a facility inspection apparatus according to an embodiment.
3 is an exemplary view illustrating a method of performing facility inspection using a drone according to an example.
4 is an exemplary view illustrating a method for a user to check a facility using a facility inspection device according to an example.
5 is an exemplary diagram illustrating a facility inspection system using a drone according to an exemplary embodiment.
6 is a configuration diagram of an on-site inspection apparatus according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

이하, 시설물 점검 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명한다.Hereinafter, embodiments of a facility inspection apparatus and method will be described in detail with reference to the drawings.

도 1은 일 실시예에 따른 드론을 이용한 시설물 점검 시스템을 설명하기 위한 예시도이다.1 is an exemplary diagram for explaining a facility inspection system using a drone according to an embodiment.

도 1을 참조하면, 시설물 점검 시스템(100)은 드론(110) 및 시설물 점검 장치(120)를 포함할 수 있다. Referring to FIG. 1, the facility inspection system 100 may include a drone 110 and a facility inspection device 120.

일 예에 따르면, 드론(110)은 원격에서 무선 조정을 통하여 동작하는 무인 장치, 또는 자율 동작 시스템을 통하여 무인으로 지정된 임무를 수행하는 무인 장치를 의미한다. 또한, 드론(110)은 공중, 육상, 수상 및 수중에서 동작하는 무인 장치를 의미한다. 본 발명에서는 설명의 편의를 위하여 공중에서 비행하는 무인 장치를 기준으로 설명한다. 다만, 본 발명의 권리범위는 이에 한정되지 않는다.According to an example, the drone 110 refers to an unmanned device that operates remotely through wireless control, or an unmanned device that performs a designated mission unattended through an autonomous operation system. In addition, the drone 110 refers to an unmanned device operating in the air, land, water, and underwater. In the present invention, for convenience of explanation, it will be described based on an unmanned device flying in the air. However, the scope of the present invention is not limited thereto.

일 예에 따르면, 드론(110)은 영상 장치 및 통신 장치를 포함할 수 있다. 드론(110)은 통신 장치를 통하여 시설물 점검 장치(120)로부터 비행 정보를 수신할 수 있으며, 영상 장치로부터 획득한 데이터를 시설물 점검 장치(120)로 전송할 수 있다. According to an example, the drone 110 may include an imaging device and a communication device. The drone 110 may receive flight information from the facility inspection device 120 through a communication device, and may transmit data acquired from the imaging device to the facility inspection device 120.

일 예에 따르면, 시설물 점검 장치(120)는 드론(110)의 비행 정보를 가지고 있으며, 비행 정보를 드론(110)에 전송할 수 있다. 비행 정보는 적어도 하나 이상의 비행 경로를 포함할 수 있다. 시설물 점검 장치(120)는 사용자의 입력 정보를 수신하여 비행 정보를 생성할 수 있다. 또한, 시설물 점검 장치(120)는 사용자로부터 적어도 하나 이상의 비행 경로 중 어느 하나를 선택하는 입력을 수신할 수 있으며, 선택된 비행 경로에 대한 비행 정보를 드론(110)에 전송할 수 있다. According to an example, the facility inspection device 120 has flight information of the drone 110 and may transmit flight information to the drone 110. The flight information may include at least one flight path. The facility inspection device 120 may generate flight information by receiving user input information. In addition, the facility inspection device 120 may receive an input for selecting any one of at least one or more flight paths from the user, and may transmit flight information on the selected flight path to the drone 110.

일 예에 따르면, 시설물 점검 장치(120)는 드론(110)으로부터 영상 정보 및 위치 정보를 수신할 수 있으며, 해당 영상 정보 및 위치 정보를 이용하여 디스플레이에 출력할 수 있다. 또한, 시설물 점검 장치(120)는 사용자로부터 영상에 관련된 입력을 수신할 수 있으며, 입력 정보를 저장하거나 디스플레이상에 표시할 수 있다. 나아가, 시설물 점검 장치(120)는 카메라를 포함할 수 있으며, 카메라를 통해 획득한 영상 데이터와 사용자가 입력한 입력 정보에 기초하여 증강현실 영상을 생성 및 출력할 수 있다. According to an example, the facility inspection apparatus 120 may receive image information and location information from the drone 110, and may output the image information and location information to a display using the corresponding image information and location information. In addition, the facility inspection apparatus 120 may receive an input related to an image from a user, and may store input information or display it on a display. Furthermore, the facility inspection apparatus 120 may include a camera, and may generate and output an augmented reality image based on image data acquired through the camera and input information input by a user.

일 예에 따르면, 시설물 점검 장치(120)는 영상 모니터링을 수행하는 기능과 현장 점검을 수행하는 기능을 포함할 수 있다. 이때, 시설물 점검 장치(120)는 영상 모니터링을 수행하는 기능과 현장 점검을 수행하는 기능을 하나의 장치에서 수행하거나, 기능 별로 나뉘어 둘 이상의 장치에서 수행할 수 있다. According to an example, the facility inspection apparatus 120 may include a function of performing image monitoring and a function of performing field inspection. In this case, the facility inspection device 120 may perform a function for performing image monitoring and a function for performing field inspection in one device, or may be divided by function and performed in two or more devices.

도 2는 일 실시예에 따른 시설물 점검 장치의 구성도이다.2 is a configuration diagram of a facility inspection apparatus according to an embodiment.

도 2를 참조하면, 시설물 점검 장치(200)는 드론과 통신을 수행하는 통신부(210), 영상을 출력하는 디스플레이부(220), 사용자 입력을 수신하는 입력부(230), 데이터를 저장하는 저장부(240) 및 통신부, 디스플레이부, 입력부 및 저장부를 제어하는 제어부(250)를 포함할 수 있다. Referring to FIG. 2, the facility inspection apparatus 200 includes a communication unit 210 for performing communication with a drone, a display unit 220 for outputting an image, an input unit 230 for receiving user input, and a storage unit for storing data. And a controller 250 that controls a communication unit, a display unit, an input unit, and a storage unit.

일 예에 따르면, 제어부(250)는 통신부(210)를 통하여 드론으로부터 영상 위치 정보 및 드론 영상 데이터를 수신할 수 있다. 이 때, 영상 위치 정보 및 드론 영상 데이터는 서로 동기화될 수 있다. 일 예로, 동기화는 드론에서 수행 후 전송되거나, 제어부(250)가 각각 수신 후 동기화를 수행할 수 있다. 일 예로, 동기화는 드론 영상 데이터를 시간 단위, 프레임 단위, 파일 단위로 구분 후 관련된 영상 위치 정보가 지시하는 위치 또는 영상 위치 정보에 기초하여 추정된 위치와 매칭시킴으로써 수행될 수 있다.According to an example, the controller 250 may receive image location information and drone image data from a drone through the communication unit 210. In this case, the image location information and the drone image data may be synchronized with each other. For example, synchronization may be performed by a drone and then transmitted, or the controller 250 may perform synchronization after each reception. For example, synchronization may be performed by dividing drone image data into a time unit, a frame unit, and a file unit, and then matching it with a position indicated by related image position information or a position estimated based on image position information.

일 예로, 영상 위치 정보는 영상을 촬영한 드론의 위치 또는 촬영된 영상 상의 특정 지점의 위치에 대한 정보일 수 있다. 영상 위치 정보는 드론의 위치가 변경될 때, 드론의 위치가 소정 거리 이상 이동할 때, 또는 소정 주기로 전송될 수 있다. 영상 위치 정보는 GPS 정보일 수 있다. 이때, 소정 주기는 영상 위치 정보 및 드론 영상 데이터의 동기화를 수행하는 방법에 따라 결정될 수 있다.As an example, the image location information may be information on a location of a drone that has captured an image or a location of a specific point on the captured image. The image location information may be transmitted when the location of the drone changes, when the location of the drone moves more than a predetermined distance, or at a predetermined period. The image location information may be GPS information. In this case, the predetermined period may be determined according to a method of synchronizing image location information and drone image data.

일 예로, 드론 영상 데이터는 사진, 동영상, 적외선 영상 중 적어도 하나일 수 있다. 영상 데이터는 드론이 촬영하여 전송한 실시간 영상일 수 있다. 여기서, 실시간은 영상 데이터 생성, 가공, 전송 및 버퍼링 등의 지연 요소가 포함된 시간을 의미할 수 있다.As an example, the drone image data may be at least one of a photo, a video, and an infrared image. The image data may be a real-time image captured and transmitted by a drone. Here, the real-time may mean a time including delay factors such as image data generation, processing, transmission, and buffering.

일 예에 따르면, 제어부(250)는 드론 영상 데이터를 기초로 디스플레이부(220)에 영상을 출력할 수 있다. 이 때, 출력되는 영상은 드론으로부터 실시간으로 수신한 드론 영상 데이터 또는 드론으로부터 수신하여 저장부에 저장된 드론 영상 데이터일 수 있다. According to an example, the controller 250 may output an image to the display unit 220 based on the drone image data. In this case, the output image may be drone image data received from a drone in real time or drone image data received from a drone and stored in a storage unit.

일 예에 따르면, 제어부(250)는 입력부(230)를 통하여 디스플레이부(220)에 출력 중인 영상 상의 특정 지점을 선택하는 입력을 수신할 수 있다. 일 예로, 입력부(230)는 키보드, 마우스, 터치 패드, 터치 스크린과 같이 사용자의 입력을 받을 수 있는 장치들 중 어느 하나일 수 있다. 사용자는 입력부(230)를 통하여 현재 디스플레이부(220)상에 출력되고 있는 영상 상의 특정 지점을 선택할 수 있다. According to an example, the control unit 250 may receive an input for selecting a specific point on an image being output to the display unit 220 through the input unit 230. For example, the input unit 230 may be any one of devices capable of receiving user input, such as a keyboard, a mouse, a touch pad, and a touch screen. The user may select a specific point on the image currently being output on the display unit 220 through the input unit 230.

일 예에 따르면, 제어부(250)는 사용자가 선택한 특정 지점에 대한 선택 위치 정보를 저장부(240)에 저장할 수 있다. 예를 들어, 영상 위치 정보 및 드론 영상 데이터가 서로 동기화되어 있는 경우, 제어부(250)는 사용자가 선택한 지점을 포함하는 영상 데이터와 매칭되어 있는 영상 위치 정보를 알 수 있으며, 해당 영상 위치 정보를 저장부(240)에 저장할 수 있다. 이 때, 제어부(250)는 드론 영상 데이터의 시간 단위, 프레임 단위 또는 파일 단위 등의 드론 영상 데이터에 대한 특성 정보와 영상 위치 정보로부터 추정되는 드론의 이동 특성 정보에 기초하여 사용자가 선택한 지점의 위치를 계산하여 저장부(240)에 저장할 수 있다. According to an example, the controller 250 may store selection location information for a specific point selected by the user in the storage unit 240. For example, when the image location information and the drone image data are synchronized with each other, the controller 250 may know the image location information matched with the image data including the point selected by the user, and store the corresponding image location information. It can be stored in the unit 240. At this time, the control unit 250 is based on the characteristic information of the drone image data, such as a time unit, a frame unit, or a file unit of the drone image data, and the location of a point selected by the user based on the movement characteristic information of the drone estimated from the image location information. May be calculated and stored in the storage unit 240.

일 예에 따르면, 제어부(250)는 동기화된 영상 위치 정보 및 드론 영상 데이터를 저장부(240)에 저장할 수 있다.According to an example, the controller 250 may store synchronized image location information and drone image data in the storage unit 240.

일 예에 따르면, 제어부(250)는 디스플레이부(220)를 제어하여 출력 중인 영상 상에 사용자가 선택한 특정 지점을 표시할 수 있다. 예를 들어, 사용자가 입력부(230)를 통하여 소정 프레임의 영상 상에 특정 지점을 선택하는 경우, 선택된 위치에 마커를 생성하여 표시할 수 있다. 특정 지점을 표시하는 방법은 영상 편집에서 사용되는 기술들 중 어느 하나일 수 있다. According to an example, the controller 250 may control the display 220 to display a specific point selected by the user on the image being output. For example, when a user selects a specific point on an image of a predetermined frame through the input unit 230, a marker may be generated and displayed at the selected position. The method of displaying a specific point may be any one of techniques used in image editing.

도 3을 참조하면, 제 1 영상(310)은 드론으로부터 수신한 드론 영상 데이터를 기초로 디스플레이부에 출력한 영상이다. 제 1 영상(310)에서 나타나는 바와 같이, 해당 영상 상에 사용자가 특정 지점을 선택하는 경우, 해당 위치에 소정의 마커(예를 들어, 역삼각형 도형)를 표시할 수 있다.Referring to FIG. 3, a first image 310 is an image output to a display unit based on drone image data received from a drone. As shown in the first image 310, when the user selects a specific point on the corresponding image, a predetermined marker (eg, an inverted triangle figure) may be displayed at the corresponding position.

일 예에 따르면, 제어부(250)는 특정 지점이 표시된 영상을 선택 위치 정보와 동기화하여 저장부(240)에 저장할 수 있다. 예를 들어, 제어부(250)는 소정의 마커가 표시된 도 3의 제 1 영상(310)을 저장부(240)에 저장할 수 있다. 이 때, 제어부(250)는 위에서 설명한 선택 위치 정보를 제 1 영상(310)과 함께 저장할 수 있다.According to an example, the controller 250 may synchronize an image in which a specific point is displayed with the selected location information and store it in the storage unit 240. For example, the controller 250 may store the first image 310 of FIG. 3 on which a predetermined marker is displayed in the storage unit 240. In this case, the controller 250 may store the selection location information described above together with the first image 310.

일 예에 따르면, 제어부(250)는 디스플레이부(220)에 지도 영상을 출력할 수 있다. 예를 들어, 도 3의 제 2 영상(320)과 같이, 제어부(250)는 디스플레이부(220)에 드론이 비행하는 영역을 포함하는 지도 영상을 출력할 수 있다. 이 때, 지도 영상은 일반적인 지도 뿐만 아니라 항공 촬영 영상과 같이 지도의 기능을 포함하는 영상일 수 있다.According to an example, the controller 250 may output a map image on the display 220. For example, as in the second image 320 of FIG. 3, the controller 250 may output a map image including an area in which the drone flies on the display 220. In this case, the map image may be an image including a map function, such as an aerial image, as well as a general map.

일 예에 따르면, 제어부(250)는 선택 위치 정보가 지시하는 특정 지점을 지도 영상에 표시할 수 있다. 도 3의 제 2 영상(320)과 같이, 제어부(250)는 디스플레이부(220)에 사용자가 선택한 지점을 지도 영상 상에 표시할 수 있다. 예를 들어, 제어부(250)는 선택 위치 정보에 기초하여 해당 위치를 지도상에 소정의 마커(예를 들어, 역삼각형 도형)를 표시할 수 있다. According to an example, the controller 250 may display a specific point indicated by the selected location information on a map image. Like the second image 320 of FIG. 3, the controller 250 may display a point selected by the user on the display 220 on the map image. For example, the controller 250 may display a predetermined marker (eg, an inverted triangle figure) on a map of the corresponding location based on the selected location information.

일 예에 따르면, 제어부(250)는 지도 영상 상에 드론의 비행과 관련된 정보를 표시할 수 있다. 예를 들어, 제어부(250)는 드론의 출발 및 도착 지점, 비행 경로, 드론의 현재 위치 및 비행 방향 중 적어도 하나에 대한 정보를 지도 상에 표시할 수 있다. 다른 예를 들어, 제어부(250)는 영상 위치 정보 기초하여 현재 출력되는 영상에 대한 위치를 지도 영상에 출력할 수 있다. 이 때, 출력되는 영상에 대한 위치는 드론의 현재 위치일 수 있다. According to an example, the controller 250 may display information related to a drone flight on a map image. For example, the controller 250 may display information on at least one of a departure and arrival point of a drone, a flight path, a current location and a flight direction of the drone on a map. For another example, the controller 250 may output a location of a currently output image on a map image based on the image location information. In this case, the location of the output image may be the current location of the drone.

일 실시예에 따르면, 시설물 점검 장치(200)는 장치 위치 정보를 생성하는 센서부(미도시)를 더 포함할 수 있다. 일 예로, 제어부(250)는 센서부로부터 장치 위치 정보를 수신할 수 있다. 제어부(250)는 디스플레이부(220)를 제어하여 지도 영상을 출력할 수 있으며, 이때, 장치 위치 정보에 기초하여 지도 영상 상에 시설물 점검 장치(200)의 위치를 표시할 수 있다. 다른 예로, 제어부(250)는 지도 영상에 선택 위치 정보 및 장치 위치 정보가 지시하는 특정 지점을 표시할 수 있다. According to an embodiment, the facility inspection apparatus 200 may further include a sensor unit (not shown) that generates device location information. For example, the controller 250 may receive device location information from a sensor unit. The controller 250 may control the display 220 to output a map image, and in this case, may display the location of the facility inspection apparatus 200 on the map image based on the device location information. As another example, the controller 250 may display selection location information and a specific point indicated by device location information on a map image.

예를 들어, 도 4를 참조하면, 제어부(250)는 제 2 영상(420)과 같이 지도 영상에 선택 위치 정보가 지시하는 특정 지점을 표시(예를 들어, 역삼각형 도형) 및 장치 위치 정보가 지시하는 특정 지점(예를 들어, 화살표 도형)을 표시할 수 있다. 이를 통하여, 사용자는 현재 자신의 위치와 자신이 선택한 지점의 위치를 파악할 수 있다. For example, referring to FIG. 4, the controller 250 displays a specific point indicated by the selected location information on a map image, such as a second image 420 (eg, an inverted triangle figure) and device location information A specific point (for example, an arrow figure) to be indicated can be displayed. Through this, the user can grasp the current location of the user and the location of the point selected by the user.

일 예에 따르면, 제어부(250)는 센서부(미도시)로부터 장치 위치 정보를 수신하며, 장치 위치 정보와 가장 가까운 영상 위치 정보에 동기화된 영상 데이터에 기초하여 디스플레이부(220)에 영상을 출력할 수 있다. According to an example, the control unit 250 receives device location information from a sensor unit (not shown), and outputs an image to the display unit 220 based on image data synchronized with the image location information closest to the device location information. can do.

예를 들어, 위에서 설명한 바와 같이, 제어부(250)는 동기화된 영상 위치 정보 및 드론 영상 데이터를 저장부(240)에 저장할 수 있다. 사용자가 사용자 점검 장치(200)를 가지고 해당 위치로 이동하여 현장을 점검하는 경우, 사용자는 현재 위치에서 드론에 의해 촬영된 영상을 참조하여 시설물을 점검할 필요성이 있을 수 있다. 이 때, 제어부(250)는 센서부를 통하여 장치 위치 정보를 수신할 수 있으며, 현재 장치 위치 정보에 대응되는 영상 위치 정보를 결정할 수 있다. 이후, 제어부(250)는 결정된 영상 위치 정보에 매칭된 드론 영상 데이터를 저장부(240)에서 검색할 수 있으며, 검색된 드론 영상 데이터를 기초로 디스플레이부(220)에 영상을 출력할 수 있다. 이를 통하여, 사용자는 현재 위치에서 드론에 의해 촬영된 영상을 확인할 수 있다. For example, as described above, the controller 250 may store synchronized image location information and drone image data in the storage unit 240. When the user moves to a corresponding location with the user inspection device 200 and inspects the site, the user may need to check the facility by referring to the image captured by the drone at the current location. In this case, the controller 250 may receive device location information through the sensor unit, and may determine image location information corresponding to the current device location information. Thereafter, the controller 250 may search the drone image data matched with the determined image location information in the storage unit 240, and may output an image to the display unit 220 based on the retrieved drone image data. Through this, the user can check the image captured by the drone at the current location.

일 예에 따르면, 제어부(250)는 센서부(미도시)로부터 장치 위치 정보를 수신하며, 장치 위치 정보와 가장 가까운 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상을 출력할 수 있다. According to an example, the controller 250 may receive device location information from a sensor unit (not shown), and may output an image displaying one or more points synchronized with the selected location information closest to the device location information.

예를 들어, 위의 도 3을 참조하여 설명한 바와 같이, 제어부(250)는 소정의 마커가 표시된 제 1 영상(310)을 저장부(240)에 저장할 수 있다. 이 때, 소정의 마커가 표시된 제 1 영상(310)은 선택 위치 정보와 매칭되어 있는 바, 제어부(250)는 장치 위치 정보와 가장 가까운 선택 위치 정보를 결정할 수 있고, 해당 선택 위치 정보에 매칭되어 있는 소정의 마커가 표시된 제 1 영상(310)을 검색할 수 있다. 제어부(250)는 검색된 제 1 영상(310)을 디스플레이부(220)에 출력할 수 있다. For example, as described with reference to FIG. 3 above, the controller 250 may store the first image 310 on which a predetermined marker is displayed in the storage unit 240. At this time, since the first image 310 on which a predetermined marker is displayed is matched with the selected location information, the controller 250 can determine the selected location information closest to the device location information, and matched with the selected location information. The first image 310 in which a predetermined marker is displayed may be searched. The controller 250 may output the searched first image 310 to the display 220.

예를 들어, 도 4를 참조하면, 제 2 영상(420)에서 장치 위치 정보와 가까운 선택 위치 정보가 결정될 수 있으며, 해당 선택 위치 정보와 관련된 제 1 영상(410)이 출력될 수 있다. 제 1 영상(410)에서 나타나는 바와 같이, 사용자가 선택한 지점에 대한 마커(예를 들어, 역삼각형 도형)가 표시된 영상이 출력될 수 있다. 이 때, 영상이 출력 중인 선택 지점에 대한 마커는 영상이 출력되지 않고 있는 선택 지점에 대한 마커와 다르게 표시될 수 있다. 예를 들어, 제어부(250)는 영상이 출력 중인 선택 지점에 대한 마커의 색상, 모양, 크기 등을 다르게 표시하여 현재 영상이 출력 중인 선택 지점이 어디인지 여부를 사용자가 파악할 수 있도록 할 수 있다. For example, referring to FIG. 4, selection location information close to device location information may be determined in the second image 420, and a first image 410 related to the selected location information may be output. As shown in the first image 410, an image in which a marker (eg, an inverted triangle figure) for a point selected by the user is displayed may be output. In this case, the marker for the selected point in which the image is being output may be displayed differently from the marker for the selected point in which the image is not output. For example, the controller 250 may display a color, shape, size, etc. of a marker for a selection point in which an image is being output differently, so that a user can grasp where the selected point in which an image is currently being output is.

일 예에 따르면, 제어부(250)는 디스플레이부(220)를 제어하여 사용자가 선택한 하나 이상의 선택 지점에 대한 리스트를 출력할 수 있다. 제어부(250)는 입력부(230)를 통하여 사용자가 리스트 상에 어느 하나의 선택 지점을 선택하는 입력을 수신할 수 있다. 제어부(250)는 사용자의 입력에 따라 해당 선택 지점에 해당하는 제 1 영상(410)을 출력할 수 있다. According to an example, the controller 250 may control the display 220 to output a list of one or more selection points selected by the user. The control unit 250 may receive an input through the input unit 230 for a user to select one selection point on the list. The controller 250 may output a first image 410 corresponding to a corresponding selection point according to a user's input.

일 실시예에 따르면, 시설물 점검 장치(200)는 장치 위치 정보 및 장치 자세 정보를 생성하는 센서부(미도시) 및 카메라부(미도시)를 더 포함할 수 있다. 예를 들어, 시설물 점검 장치(200)는 센서부를 통하여 현재 시설물 점검 장치(200)의 위치, 기울기, 방향 정보 등을 알 수 있다. 예를 들어, 센서부는 GPS, 자이로스코프, 가속도계, 자력계 및 압력 센서 중 적어도 하나 이상을 포함할 수 있다.According to an embodiment, the facility inspection apparatus 200 may further include a sensor unit (not shown) and a camera unit (not shown) that generate device location information and device attitude information. For example, the facility inspection apparatus 200 may know the location, slope, and direction information of the current facility inspection apparatus 200 through a sensor unit. For example, the sensor unit may include at least one of a GPS, a gyroscope, an accelerometer, a magnetometer, and a pressure sensor.

일 예에 따르면, 제어부(250)는 장치 위치 정보와 선택 위치 정보를 기초로 시설물 점검 장치와 특정 지점과의 장치 거리 정보 및 장치 방향 정보를 생성할 수 있다. 예를 들어, 제어부(250)는 장치 위치 정보가 지시하는 위치의 좌표와 선택 위치 정보가 지시하는 좌표를 이용하여 두 지점 사이의 거리를 계산할 수 있으며, 이를 통하여 장치 거리 정보를 생성할 수 있다. 또한, 제어부(250)는 현재 시설물 점검 장치(200) 대비 선택 지점의 방향을 계산하여 장치 방향 정보를 생성할 수 있다. According to an example, the controller 250 may generate device distance information and device direction information between the facility inspection device and a specific point based on the device location information and the selected location information. For example, the controller 250 may calculate a distance between two points using coordinates of a location indicated by device location information and coordinates indicated by selected location information, and may generate device distance information through this. In addition, the controller 250 may generate device direction information by calculating a direction of a selected point compared to the current facility inspection device 200.

일 예에 따르면, 제어부(250)는 장치 자세 정보를 기초로 카메라부가 촬영하고 있는 카메라 방향 정보를 생성할 수 있다. 예를 들어, 센서부가 자력 센서를 포함하는 경우, 제어부(250)는 자력 센서를 통하여 현재 카메라가 바라보고 있는 방향을 알 수 있다. 다른 예를 들어, 제어부(250)는 센서부를 통하여 시설물 점검 장치(200)의 이동 방향을 알 수 있으며, 자이로스코프 등을 통하여 현재 이동 방향 축 대비 카메라가 바라보는 방향의 좌우 각도 차이를 계산할 수 있다. 또한, 제어부(250)는 자이로스코프 등을 통하여 카메라가 바라보는 상하 방향 각도를 계산할 수 있다.According to an example, the controller 250 may generate camera direction information that the camera is photographing based on the device attitude information. For example, when the sensor unit includes a magnetic sensor, the controller 250 may know the direction in which the camera is currently looking through the magnetic sensor. For another example, the control unit 250 may know the moving direction of the facility inspection device 200 through a sensor unit, and may calculate a difference in left and right angles in the direction the camera is looking at compared to the current moving direction axis through a gyroscope or the like. . In addition, the controller 250 may calculate an up-down angle viewed by the camera through a gyroscope or the like.

일 예에 따르면, 제어부(250)는 장치 거리 정보, 장치 방향 정보 및 카메라 방향 정보 중 적어도 하나를 기초로 카메라부를 통하여 획득되는 현장 영상 데이터에 특정 지점을 지시하는 마커를 합성할 수 있다. 예를 들어, 제어부(250)는 장치 거리 정보를 기초로 마커의 크기를 결정할 수 있다. 또한, 제어부(250)는 장치 방향 정보 및 카메라 방향 정보를 기초로 카메라라 바라보고 있는 특정 방향 대비 마커의 상하/좌우 방향의 각도를 결정할 수 있다. 제어부(250)는 결정된 정보를 기초로 마커를 생성하여 현재 카메라를 통해서 획득되고 있는 영상에 합성 할 수 있다. 이후, 제어부(250)는 마커가 합성된 현장 영상 데이터를 기초로 디스플레이부(220)에 현장 영상을 출력할 수 있다. According to an example, the controller 250 may synthesize a marker indicating a specific point in field image data acquired through the camera unit based on at least one of device distance information, device direction information, and camera direction information. For example, the controller 250 may determine the size of the marker based on device distance information. Also, the controller 250 may determine an angle in the vertical/left/right directions of the marker compared to a specific direction viewed by the camera based on the device direction information and the camera direction information. The controller 250 may generate a marker based on the determined information and synthesize it with an image currently acquired through the camera. Thereafter, the controller 250 may output the field image to the display unit 220 based on the field image data in which the marker is synthesized.

도 5는 일 실시예에 따른 드론을 이용한 시설물 점검 시스템을 설명하기 위한 예시도이다.5 is an exemplary diagram illustrating a facility inspection system using a drone according to an exemplary embodiment.

도 5를 참조하면, 드론을 이용한 시설물 점검 시스템은 드론(510), 영상 모니터링 장치(520) 및 현장 점검 장치(530)을 포함할 수 있다. Referring to FIG. 5, a facility inspection system using a drone may include a drone 510, an image monitoring device 520, and a field inspection device 530.

일 예에 따르면, 드론(510)은 영상 장치 및 통신 장치를 포함할 수 있다. 드론(510)은 영상 장치로부터 획득한 데이터를 영상 모니터링 장치(520)로 전송할 수 있다.According to an example, the drone 510 may include an imaging device and a communication device. The drone 510 may transmit data acquired from the imaging device to the image monitoring device 520.

일 실시예에 따르면, 영상 모니터링 장치(520) 및 현장 점검 장치(530)는 도 2 내지 도 4를 참조하여 설명한 시설물 점검 장치의 기능을 나누어 수행할 수 있다. According to an embodiment, the image monitoring device 520 and the on-site inspection device 530 may divide and perform the functions of the facility inspection device described with reference to FIGS. 2 to 4.

이하 영상 모니터링 장치(520) 및 현장 점검 장치(530)에 대한 설명 중 도 2 내지 도 4를 참조하여 설명한 내용과 중복되는 것은 생략하였다. Hereinafter, out of the description of the image monitoring device 520 and the field inspection device 530, overlapping contents described with reference to FIGS. 2 to 4 are omitted.

일 실시예에 따르면, 영상 모니터링 장치(520)는 드론 및 현장 점검 장치(530)와 통신을 수행하는 통신부, 영상을 출력하는 디스플레이부, 사용자 입력을 수신하는 입력부, 데이터를 저장하는 저장부 및 통신부, 디스플레이부, 입력부 및 저장부를 제어하는 제어부를 포함할 수 있다. According to an embodiment, the image monitoring device 520 includes a communication unit that communicates with the drone and the field inspection device 530, a display unit that outputs an image, an input unit that receives user input, a storage unit and a communication unit that stores data. , A display unit, an input unit, and a control unit for controlling the storage unit.

일 예에 따르면, 영상 모니터링 장치(520)는 통신부를 통하여 드론으로부터 영상 위치 정보 및 드론 영상 데이터를 수신할 수 있다. 또한, 영상 모니터링 장치(520)는 드론 영상 데이터를 기초로 디스플레이부에 영상을 출력할 수 있다. According to an example, the image monitoring device 520 may receive image location information and drone image data from a drone through a communication unit. Also, the image monitoring apparatus 520 may output an image to the display unit based on the drone image data.

일 예에 따르면, 영상 모니터링 장치(520)는 입력부를 통하여 디스플레이부에 출력 중인 영상 상의 특정 지점을 선택하는 입력을 수신할 수 있다. 일 예로, 입력부는 키보드, 마우스, 터치 패드, 터치 스크린과 같이 사용자의 입력을 받을 수 있는 장치들 중 어느 하나일 수 있다. According to an example, the image monitoring apparatus 520 may receive an input for selecting a specific point on an image being output to the display unit through an input unit. For example, the input unit may be any one of devices capable of receiving user input, such as a keyboard, a mouse, a touch pad, and a touch screen.

일 예에 따르면, 영상 모니터링 장치(520)는 사용자가 선택한 특정 지점에 대한 선택 위치 정보를 저장부에 저장할 수 있다. 또한, 영상 모니터링 장치(520)는 동기화된 영상 위치 정보 및 드론 영상 데이터를 저장부에 저장할 수 있다. According to an example, the image monitoring apparatus 520 may store selection location information for a specific point selected by the user in the storage unit. In addition, the image monitoring device 520 may store synchronized image location information and drone image data in a storage unit.

일 예에 따르면, 영상 모니터링 장치(520)는 디스플레이부를 제어하여 출력 중인 영상 상에 사용자가 선택한 특정 지점을 표시할 수 있다. 또한, 영상 모니터링 장치(520)는 특정 지점이 표시된 영상을 선택 위치 정보와 동기화하여 저장부(240)에 저장할 수 있다. According to an example, the image monitoring apparatus 520 may display a specific point selected by the user on the image being output by controlling the display unit. In addition, the image monitoring device 520 may synchronize the image in which a specific point is displayed with the selected location information and store it in the storage unit 240.

일 예에 따르면, 영상 모니터링 장치(520)는 디스플레이부에 지도 영상을 출력할 수 있다. 또한, 영상 모니터링 장치(520)는 선택 위치 정보가 지시하는 특정 지점을 지도 영상에 표시할 수 있다. 또한, 영상 모니터링 장치(520)는 지도 영상 상에 드론의 비행과 관련된 정보를 표시할 수 있다. According to an example, the image monitoring device 520 may output a map image to the display unit. Also, the image monitoring device 520 may display a specific point indicated by the selected location information on the map image. In addition, the image monitoring device 520 may display information related to the flight of the drone on the map image.

현장 점검 장치(530)는 도 6을 참조하여 설명한다.The field inspection device 530 will be described with reference to FIG. 6.

도 6은 일 실시예에 따른 현장 점검 장치의 구성도이다.6 is a configuration diagram of an on-site inspection apparatus according to an embodiment.

도 6을 참조하면, 현장 점검 장치(600)는 영상 모니터링 장치와 통신을 수행하는 통신부(610), 영상을 출력하는 디스플레이부(620), 사용자 입력을 수신하는 입력부(630), 데이터를 저장하는 저장부(640), 장치 위치 정보를 생성하는 센서부(650) 및 통신부, 디스플레이부, 입력부, 저장부 및 센서부를 제어하는 제어부(660)를 포함할 수 있다.6, the on-site inspection device 600 includes a communication unit 610 for performing communication with an image monitoring device, a display unit 620 for outputting an image, an input unit 630 for receiving a user input, and storing data. The storage unit 640 may include a sensor unit 650 for generating device location information, and a control unit 660 for controlling a communication unit, a display unit, an input unit, a storage unit, and a sensor unit.

아래에서 영상 모니터링 장치는 서버와 같은 기능을 수행할 수 있으며, 서버와 동일한 의미로 기재되었다. In the following, the video monitoring device can perform the same function as the server, and has the same meaning as the server.

일 예에 따르면, 제어부(660)는 통신부(610)를 통하여 영상 모니터링 장치로부터 영상 모니터링 장치의 저장부에 저장되어 있는 데이터를 수신할 수 있다. 예를 들어, 제어부(660)는 영상 모니터링 장치로부터 선택 위치 정보, 영상 위치 정보와 동기화된 드론 영상 데이터, 선택 위치 정보와 동기화된 특정 지점이 표시된 영상 중 적어도 하나를 수신할 수 있다. 제어부(660)는 영상 모니터링 장치로부터 데이터를 실시간으로 데이터를 수신하여 디스플레이부(620)에 출력하거나, 저장부(640)에 저장 후 디스플레이부(620)에 출력할 수 있다. According to an example, the controller 660 may receive data stored in a storage unit of the image monitoring device from the image monitoring device through the communication unit 610. For example, the controller 660 may receive at least one of selected location information, drone image data synchronized with the image location information, and an image displaying a specific point synchronized with the selected location information from the video monitoring device. The controller 660 may receive data from the image monitoring device in real time and output the data to the display unit 620 or store the data in the storage unit 640 and then output the data to the display unit 620.

일 예에 따르면, 제어부(660)는 센서부(650)로부터 현장 점검 장치(600)의 장치 위치 정보를 수신할 수 있다. 제어부(660)는 디스플레이부(620)를 제어하여 지도 영상을 출력할 수 있다. 이때, 제어부(660)는 장치 위치 정보에 기초하여 지도 영상 상에 현장 점검 장치(600)의 위치를 표시할 수 있다. 다른 예로, 제어부(660)는 영상 모니터링 장치에서 수신한 선택 위치 정보 및 센서부(650)로부터 획득한 장치 위치 정보가 지시하는 지점을 지도 영상에 표시할 수 있다. According to an example, the controller 660 may receive device location information of the on-site inspection device 600 from the sensor unit 650. The control unit 660 may control the display unit 620 to output a map image. In this case, the controller 660 may display the location of the on-site inspection device 600 on the map image based on the device location information. As another example, the controller 660 may display the selected location information received from the image monitoring device and a point indicated by the device location information obtained from the sensor unit 650 on the map image.

일 예에 따르면, 제어부(660)는 센서부(650)로부터 장치 위치 정보를 수신하며, 장치 위치 정보와 가장 가까운 영상 위치 정보에 동기화된 영상 데이터에 기초하여 디스플레이부(620)에 영상을 출력할 수 있다. 일 예로, 제어부(660)는 장치 위치 정보에 기초하여 영상 모니터링 장치에 영상 위치 정보에 동기화된 영상 데이터를 요청할 수 있으며, 영상 모니터링 장치로부터 실시간으로 수신하여 디스플레이부(620)에 영상을 출력할 수 있다. 다른 예로, 제어부(660)는 영상 모니터링 장치로부터 영상 위치 정보에 동기화된 영상 데이터를 미리 수신하여 저장부(640)에 저장할 수 있으며, 제어부(660)는 저장된 영상 위치 정보에 동기화된 영상 데이터를 기초로 디스플레이부(620)에 영상을 출력할 수 있다.According to an example, the controller 660 receives device location information from the sensor unit 650 and outputs an image to the display unit 620 based on image data synchronized with the image location information closest to the device location information. I can. As an example, the controller 660 may request the image data synchronized with the image location information from the image monitoring device based on the device location information, and may receive it from the image monitoring device in real time and output the image to the display unit 620. have. As another example, the controller 660 may receive image data synchronized to the image location information from the image monitoring device in advance and store it in the storage unit 640, and the controller 660 may be based on the image data synchronized to the stored image location information. An image may be output on the display unit 620.

일 예에 따르면, 제어부(660)는 센서부(620)로부터 장치 위치 정보를 수신하며, 디스플레이부(620)를 제어하여 장치 위치 정보와 가장 가까운 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상을 출력할 수 있다. 일 예로, 제어부(660)는 장치 위치 정보에 기초하여 영상 모니터링 장치에 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상 데이터를 요청할 수 있으며, 영상 모니터링 장치로부터 실시간으로 데이터를 수신하여 디스플레이부(620)에 영상을 출력할 수 있다. 다른 예로, 제어부(660)는 영상 모니터링 장치로부터 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상 데이터를 미리 수신하여 저장부(640)에 저장할 수 있으며, 제어부(660)는 저장된 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상 데이터를 기초로 디스플레이부(620)에 영상을 출력할 수 있다.According to an example, the controller 660 receives device location information from the sensor unit 620 and controls the display unit 620 to display an image in which one or more points synchronized with the selected location information closest to the device location information are displayed. Can be printed. As an example, the controller 660 may request image data on which one or more points synchronized with the selected location information are displayed from the image monitoring device based on the device location information, and receive data from the image monitoring device in real time to display the display unit 620 ) Can be displayed. As another example, the controller 660 may pre-receive image data in which one or more points synchronized with the selected location information are displayed from the video monitoring device and store it in the storage unit 640, and the controller 660 may synchronize the stored selected location information. An image may be output to the display unit 620 based on image data in which one or more points are displayed.

일 예에 따르면, 제어부(660)는 디스플레이부(620)를 제어하여 하나 이상의 선택 지점에 대한 리스트를 출력할 수 있다. 제어부(660)는 입력부(630)를 통하여 사용자가 리스트 상에 어느 하나의 선택 지점을 선택하는 입력을 수신할 수 있다. 제어부(660)는 디스플레이부(620)를 제어하여 사용자의 입력에 따라 해당 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상을 출력할 수 있다. According to an example, the controller 660 may control the display unit 620 to output a list of one or more selection points. The control unit 660 may receive an input through the input unit 630 for a user to select one selection point on the list. The control unit 660 may control the display unit 620 to output an image in which one or more points synchronized with the selected location information are displayed according to a user's input.

일 실시예에 따르면, 현장 점검 장치(600)는 카메라부(미도시)를 더 포함할 수 있으며, 센서부(650)는 장치 자세 정보를 더 생성할 수 있다. 예를 들어, 제어부(660)는 센서부(650)를 통하여 현재 현장 점검 장치(600)의 위치, 기울기, 방향 정보 등을 알 수 있다. 예를 들어, 센서부(650)는 GPS, 자이로스코프, 가속도계, 자력계 및 압력 센서 중 적어도 하나 이상을 포함할 수 있다.According to an embodiment, the on-site inspection device 600 may further include a camera unit (not shown), and the sensor unit 650 may further generate device attitude information. For example, the control unit 660 may know the location, inclination, direction information, etc. of the current site inspection device 600 through the sensor unit 650. For example, the sensor unit 650 may include at least one of a GPS, a gyroscope, an accelerometer, a magnetometer, and a pressure sensor.

일 예에 따르면, 제어부(660)는 장치 위치 정보와 선택 위치 정보를 기초로 현장 점검 장치(600)와 특정 지점과의 장치 거리 정보 및 장치 방향 정보를 생성할 수 있다. 예를 들어, 제어부(660)는 장치 위치 정보가 지시하는 위치의 좌표와 선택 위치 정보가 지시하는 좌표를 이용하여 두 지점 사이의 거리를 계산할 수 있으며, 이를 통하여 장치 거리 정보를 생성할 수 있다. 또한, 제어부(660)는 현재 현장 점검 장치(600) 대비 선택 지점의 방향을 계산하여 장치 방향 정보를 생성할 수 있다. According to an example, the controller 660 may generate device distance information and device direction information between the on-site inspection device 600 and a specific point based on the device location information and the selected location information. For example, the controller 660 may calculate a distance between two points using coordinates of a location indicated by device location information and coordinates indicated by selected location information, and may generate device distance information through this. In addition, the controller 660 may generate device direction information by calculating the direction of the selected point compared to the current on-site inspection device 600.

일 예에 따르면, 제어부(660)는 장치 자세 정보를 기초로 카메라부가 촬영하고 있는 카메라 방향 정보를 생성할 수 있다. 예를 들어, 센서부(650)가 자력 센서를 포함하는 경우, 제어부(660)는 자력 센서를 통하여 현재 카메라가 바라보고 있는 방향을 알 수 있다. 다른 예를 들어, 제어부(660)는 센서부(650)를 통하여 현장 점검 장치(600)의 이동 방향을 알 수 있으며, 자이로스코프 등을 통하여 현재 이동 방향 축 대비 카메라가 바라보는 방향의 좌우 각도 차이를 계산할 수 있다. 또한, 제어부(660)는 자이로스코프 등을 통하여 카메라가 바라보는 상하 방향 각도를 계산할 수 있다.According to an example, the controller 660 may generate camera direction information that the camera is photographing based on the device attitude information. For example, when the sensor unit 650 includes a magnetic sensor, the controller 660 may know the direction in which the camera is currently looking through the magnetic sensor. For another example, the control unit 660 may know the moving direction of the field inspection device 600 through the sensor unit 650, and the left and right angle difference in the direction the camera is looking at compared to the current moving direction axis through a gyroscope or the like. Can be calculated. In addition, the controller 660 may calculate an up-down angle viewed by the camera through a gyroscope or the like.

일 예에 따르면, 제어부(660)는 장치 거리 정보, 장치 방향 정보 및 카메라 방향 정보를 기초로 카메라부를 통하여 획득되는 현장 영상 데이터에 특정 지점을 지시하는 마커를 합성할 수 있다. 예를 들어, 제어부(660)는 장치 거리 정보를 기초로 마커의 크기를 결정할 수 있다. 또한, 제어부(660)는 장치 방향 정보 및 카메라 방향 정보를 기초로 카메라라 바라보고 있는 특정 방향 대비 마커의 상하/좌우 방향의 각도를 결정할 수 있다. 제어부(660)는 결정된 정보를 기초로 마커를 생성하여 현재 카메라를 통해서 획득되고 있는 영상에 합성 할 수 있다. 이후, 제어부(660)는 마커가 합성된 현장 영상 데이터를 기초로 디스플레이부(620)에 현장 영상을 출력할 수 있다.According to an example, the controller 660 may synthesize a marker indicating a specific point in field image data acquired through the camera unit based on device distance information, device direction information, and camera direction information. For example, the controller 660 may determine the size of the marker based on device distance information. Also, the controller 660 may determine an angle of the marker in the vertical/left/right directions compared to a specific direction viewed by the camera based on the device direction information and the camera direction information. The controller 660 may generate a marker based on the determined information and synthesize it with an image currently acquired through the camera. Thereafter, the controller 660 may output the field image to the display unit 620 based on the field image data in which the marker is synthesized.

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.An aspect of the present invention may be implemented as a computer-readable code on a computer-readable recording medium. Codes and code segments implementing the above program can be easily inferred by a computer programmer in the art. The computer-readable recording medium may include any type of recording device storing data that can be read by a computer system. Examples of computer-readable recording media may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. Further, the computer-readable recording medium can be distributed over a computer system connected by a network, and written and executed in computer-readable code in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.So far, the present invention has been looked at around its preferred embodiments. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Accordingly, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope equivalent to those described in the claims.

100: 시설물 점검 시스템 110: 드론
120: 시설물 점검 장치 200: 시설물 점검 장치
210: 통신부 220: 디스플레이부
230: 입력부 240: 저장부
250: 제어부 510: 드론
520: 영상 모니터링 장치 530: 현장 점검 장치
600: 현장 점검 장치 610: 통신부
620: 디스플레이부 630: 입력부
640: 저장부 650: 센서부
660: 제어부100: facility inspection system 110: drone
120: facility inspection device 200: facility inspection device
210: communication unit 220: display unit
230: input unit 240: storage unit
250: control unit 510: drone
520: video monitoring device 530: field inspection device
600: field inspection device 610: communication unit
620: display unit 630: input unit
640: storage unit 650: sensor unit
660: control unit

Claims (13)

드론이 촬영한 영상을 이용하여 시설물을 점검하는 장치에 있어서,
드론과 통신을 수행하는 통신부; 영상을 출력하는 디스플레이부; 사용자 입력을 수신하는 입력부; 데이터를 저장하는 저장부; 장치 위치 정보 및 장치 자세 정보를 생성하는 센서부; 영상을 촬영하는 카메라부 및 제어부를 포함하며,
상기 제어부는
상기 통신부를 통하여 드론으로부터 영상 위치 정보 및 드론 영상 데이터를 수신하며,
상기 드론 영상 데이터를 기초로 상기 디스플레이부에 영상을 출력하며,
상기 입력부를 통하여 디스플레이부에 출력 중인 영상 상의 특정 지점을 선택하는 입력을 수신하며,
상기 특정 지점이 선택된 영상에 대한 영상 위치 정보를 기초로 선택 위치 정보를 생성하며,
상기 선택 위치 정보를 상기 저장부에 저장하며,
상기 장치 위치 정보와 상기 선택 위치 정보를 기초로 상기 시설물을 점검하는 장치와 상기 특정 지점 간의 장치 거리 정보 및 장치 방향 정보를 생성하며,
상기 장치 자세 정보를 기초로 상기 선택 위치 정보가 지시하는 특정 지점 대비 상기 카메라부가 촬영하고 있는 방향에 대한 카메라 방향 정보를 생성하며,
상기 장치 거리 정보, 상기 장치 방향 정보 및 상기 카메라 방향 정보 중 적어도 하나를 기초로 상기 카메라부를 통하여 획득되는 현장 영상 데이터에 상기 특정 지점을 지시하는 마커를 합성하고,
상기 마커가 합성된 현장 영상 데이터를 기초로 디스플레이부에 현장 영상을 출력하는, 시설물 점검 장치.In a device that inspects facilities using images taken by drones,
A communication unit that communicates with the drone; A display unit outputting an image; An input unit for receiving a user input; A storage unit for storing data; A sensor unit that generates device location information and device attitude information; It includes a camera unit and a control unit for photographing an image,
The control unit
Receives image location information and drone image data from a drone through the communication unit,
An image is output to the display unit based on the drone image data,
Receives an input for selecting a specific point on the image being output to the display unit through the input unit,
Generates selection location information based on the video location information for the image in which the specific point is selected,
Storing the selected location information in the storage unit,
Generate device distance information and device direction information between the device for checking the facility and the specific point based on the device location information and the selected location information,
Generates camera direction information for a direction in which the camera unit is photographing relative to a specific point indicated by the selected location information based on the device attitude information,
Synthesizing a marker indicating the specific point to field image data obtained through the camera unit based on at least one of the device distance information, the device direction information, and the camera direction information,
A facility inspection apparatus for outputting a field image to a display unit based on the field image data synthesized with the marker. 제 1 항에 있어서,
상기 제어부는
상기 영상 위치 정보 및 드론 영상 데이터를 동기화시키며,
상기 동기화된 영상 위치 정보 및 드론 영상 데이터를 저장부에 저장하는, 시설물 점검 장치.The method of claim 1,
The control unit
Synchronize the image location information and drone image data,
A facility inspection device that stores the synchronized image location information and drone image data in a storage unit. 제 1 항에 있어서,
상기 제어부는
상기 디스플레이부를 제어하여 상기 특정 지점이 선택된 영상 상에 상기 사용자가 선택한 특정 지점을 표시하며,
상기 특정 지점이 표시된 영상을 상기 선택 위치 정보와 동기화하여 상기 저장부에 저장하는, 시설물 점검 장치.The method of claim 1,
The control unit
By controlling the display unit to display a specific point selected by the user on the image in which the specific point is selected,
The facility inspection apparatus for storing the image in which the specific point is displayed in the storage unit by synchronizing with the selected location information. 제 1 항에 있어서,
상기 제어부는
상기 디스플레이부에 지도 영상을 출력하며, 상기 선택 위치 정보가 지시하는 특정 지점을 상기 지도 영상에 표시하는, 시설물 점검 장치.The method of claim 1,
The control unit
A facility inspection apparatus for outputting a map image to the display unit and displaying a specific point indicated by the selected location information on the map image. 제 4 항에 있어서,
상기 제어부는
상기 영상 위치 정보에 기초하여 현재 출력되는 영상에 대한 위치를 상기 지도 영상에 출력하는, 시설물 점검 장치.The method of claim 4,
The control unit
A facility inspection apparatus for outputting a location of a currently output image on the map image based on the image location information. 제 1 항에 있어서,
상기 제어부는
상기 센서부로부터 상기 장치 위치 정보를 수신하며,
상기 디스플레이부에 지도 영상을 출력하며,
상기 지도 영상에 상기 선택 위치 정보 및 상기 장치 위치 정보가 각각 지시하는 지점을 표시하는, 시설물 점검 장치.The method of claim 1,
The control unit
Receiving the device location information from the sensor unit,
Outputting a map image to the display unit,
A facility inspection apparatus for displaying a point indicated by the selected location information and the device location information on the map image. 제 2 항에 있어서,
상기 제어부는
상기 센서부로부터 장치 위치 정보를 수신하며,
상기 장치 위치 정보가 지시하는 위치와 가장 가까운 위치를 지시하는 영상 위치 정보에 동기화된 영상 데이터에 기초하여 디스플레이부에 영상을 출력하는, 시설물 점검 장치.The method of claim 2,
The control unit
Receiving device location information from the sensor unit,
A facility inspection apparatus for outputting an image to a display unit based on image data synchronized with image position information indicating a position closest to a position indicated by the device position information. 제 3 항에 있어서,
상기 제어부는
상기 센서부로부터 장치 위치 정보를 수신하며,
상기 장치 위치 정보가 지시하는 위치와 가장 가까운 특정 지점을 지시하는 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상을 출력하는, 시설물 점검 장치.The method of claim 3,
The control unit
Receiving device location information from the sensor unit,
A facility inspection device for outputting an image in which one or more points synchronized with selected location information indicating a specific point closest to a location indicated by the device location information is displayed. 삭제delete 드론이 촬영한 영상을 이용하여 시설물을 점검하는 장치에 있어서,
서버와 통신을 수행하는 통신부; 영상을 출력하는 디스플레이부; 사용자 입력을 수신하는 입력부; 데이터를 저장하는 저장부; 장치 위치 정보 및 장치 자세 정보를 생성하는 센서부; 영상을 촬영하는 카메라부 및 제어부를 포함하며,
상기 제어부는
상기 통신부를 통하여 상기 서버로부터 사용자가 드론이 촬영한 영상 상의 특정 지점을 선택하여 특정된 영상 위치 정보를 기초로 생성된 선택 위치 정보를 수신하며,
상기 센서부로부터 상기 장치 위치 정보 및 상기 장치 자세 정보를 수신하며,
상기 장치 위치 정보와 상기 선택 위치 정보를 기초로 상기 시설물을 점검하는 장치와 상기 특정 지점 간의 장치 거리 정보 및 장치 방향 정보를 생성하며,
상기 장치 자세 정보를 기초로 상기 선택 위치 정보가 지시하는 특정 지점 대비 상기 카메라부가 촬영하고 있는 방향에 대한 카메라 방향 정보를 생성하며,
상기 장치 거리 정보, 상기 장치 방향 정보 및 상기 카메라 방향 정보 중 적어도 하나를 기초로 상기 카메라부를 통하여 획득되는 현장 영상 데이터에 상기 특정 지점을 지시하는 마커를 합성하여 현장 영상을 생성하고,
상기 디스플레이부에 상기 마커가 합성된 현장 영상 및 상기 선택 위치 정보 및 상기 장치 위치 정보가 각각 지시하는 지점이 표시된 지도 영상을 출력하는, 시설물 점검 장치.In a device that inspects facilities using images taken by drones,
A communication unit for communicating with the server; A display unit outputting an image; An input unit for receiving a user input; A storage unit for storing data; A sensor unit that generates device location information and device attitude information; It includes a camera unit and a control unit for photographing an image,
The control unit
The user selects a specific point on the image captured by the drone from the server through the communication unit and receives selection location information generated based on the specified image location information,
Receiving the device location information and the device attitude information from the sensor unit,
Generate device distance information and device direction information between the device for checking the facility and the specific point based on the device location information and the selected location information,
Generates camera direction information for a direction in which the camera unit is photographing relative to a specific point indicated by the selected location information based on the device attitude information,
A field image is generated by synthesizing a marker indicating the specific point with field image data acquired through the camera unit based on at least one of the device distance information, the device direction information, and the camera direction information,
A facility inspection apparatus for outputting a field image in which the marker is synthesized and a map image indicating points indicated by the selected location information and the device location information, respectively, on the display unit. 제 10 항에 있어서,
상기 제어부는
상기 통신부를 통하여 상기 서버로부터 영상 위치 정보에 동기화된 영상 데이터를 수신하며,
상기 장치 위치 정보가 지시하는 위치와 가장 가까운 위치를 지시하는 영상 위치 정보에 동기화된 영상 데이터에 기초하여 디스플레이부에 영상을 출력하는, 시설물 점검 장치.The method of claim 10,
The control unit
Receives video data synchronized with video location information from the server through the communication unit,
A facility inspection apparatus for outputting an image to a display unit based on image data synchronized with image position information indicating a position closest to a position indicated by the device position information. 제 10 항에 있어서,
상기 제어부는
상기 통신부를 통하여 상기 서버로부터 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상 데이터를 수신하며,
상기 장치 위치 정보가 지시하는 위치와 가장 가까운 특정 지점을 지시하는 선택 위치 정보에 동기화된 하나 이상의 지점이 표시된 영상에 기초하여 디스플레이부에 영상을 출력하는, 시설물 점검 장치.The method of claim 10,
The control unit
Receiving image data displaying one or more points synchronized with the selected location information from the server through the communication unit,
A facility inspection apparatus for outputting an image to a display unit based on an image in which at least one point synchronized with selected location information indicating a specific point closest to a location indicated by the device location information is displayed. 드론이 촬영한 영상을 이용하여 시설물을 점검하는 장치에 있어서,
서버와 통신을 수행하는 통신부; 영상을 출력하는 디스플레이부; 사용자 입력을 수신하는 입력부; 데이터를 저장하는 저장부; 장치 위치 정보 및 장치 자세 정보를 생성하는 센서부; 영상을 촬영하는 카메라부; 및 제어부를 포함하며,
상기 제어부는
상기 통신부를 통하여 상기 서버로부터 사용자가 드론이 촬영한 영상 상의 특정 지점을 선택하여 특정된 영상 위치 정보를 기초로 생성된 선택 위치 정보를 수신하며,
상기 센서부로부터 획득한 장치 위치 정보와 상기 선택 위치 정보를 기초로 시설물 점검 장치와 상기 선택 위치 정보가 지시하는 특정 지점과의 장치 거리 정보 및 장치 방향 정보를 생성하며,
상기 장치 자세 정보를 기초로 상기 선택 위치 정보가 지시하는 특정 지점 대비 상기 카메라부가 촬영하고 있는 방향에 대한 카메라 방향 정보를 생성하며,
상기 장치 거리 정보, 상기 장치 방향 정보 및 상기 카메라 방향 정보를 기초로 상기 카메라부를 통하여 획득되는 현장 영상 데이터에 상기 특정 지점을 지시하는 마커를 합성하고,
상기 디스플레이부에 상기 마커가 합성된 현장 영상 데이터를 기초로 현장 영상을 출력하는, 시설물 점검 장치.In a device that inspects facilities using images taken by drones,
A communication unit for communicating with the server; A display unit outputting an image; An input unit for receiving a user input; A storage unit for storing data; A sensor unit that generates device location information and device attitude information; A camera unit for photographing an image; And a control unit,
The control unit
The user selects a specific point on the image captured by the drone from the server through the communication unit and receives selection location information generated based on the specified image location information,
Generate device distance information and device direction information between a facility inspection device and a specific point indicated by the selected location information, based on the device location information acquired from the sensor unit and the selected location information,
Generates camera direction information for a direction in which the camera unit is photographing relative to a specific point indicated by the selected location information based on the device attitude information,
Synthesizing a marker indicating the specific point to field image data obtained through the camera unit based on the device distance information, the device direction information, and the camera direction information,
The facility inspection apparatus for outputting a field image based on the field image data in which the marker is synthesized on the display unit.
KR1020190048329A 2019-04-25 2019-04-25 Apparatus and method for checking facility KR102181809B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190048329A KR102181809B1 (en) 2019-04-25 2019-04-25 Apparatus and method for checking facility

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190048329A KR102181809B1 (en) 2019-04-25 2019-04-25 Apparatus and method for checking facility

Publications (2)

Publication Number Publication Date
KR20200124899A KR20200124899A (en) 2020-11-04
KR102181809B1 true KR102181809B1 (en) 2020-11-24

Family

ID=73571631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190048329A KR102181809B1 (en) 2019-04-25 2019-04-25 Apparatus and method for checking facility

Country Status (1)

Country Link
KR (1) KR102181809B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102505770B1 (en) * 2022-11-17 2023-03-07 (주)퓨쳐아이씨티 Method, device and system for diagnosing and monitoring abnormalities in water storage facilities based on iot sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101662071B1 (en) * 2016-03-29 2016-10-05 수자원기술 주식회사 Drinking Water Facilities Monitering System by Using Drone and Method thereof
KR101946416B1 (en) * 2018-05-21 2019-02-12 이종범 Method and device for matching a drone pilot and a job with drones

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056284A (en) * 2001-12-28 2003-07-04 한국전자통신연구원 Method and system for extraction a road institution body information using a vehicles
KR102246557B1 (en) * 2015-04-07 2021-04-30 엘지전자 주식회사 Mobile terminal and method for controlling the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101662071B1 (en) * 2016-03-29 2016-10-05 수자원기술 주식회사 Drinking Water Facilities Monitering System by Using Drone and Method thereof
KR101946416B1 (en) * 2018-05-21 2019-02-12 이종범 Method and device for matching a drone pilot and a job with drones

Also Published As

Publication number Publication date
KR20200124899A (en) 2020-11-04

Similar Documents

Publication Publication Date Title
US20210116943A1 (en) Systems and methods for uav interactive instructions and control
KR102680675B1 (en) Flight controlling method and electronic device supporting the same
KR101492271B1 (en) Method and system to control operation of a device using an integrated simulation with a time shift option
US20090087029A1 (en) 4D GIS based virtual reality for moving target prediction
JP6583840B1 (en) Inspection system
EP3629309A2 (en) Drone real-time interactive communications system
US10527423B1 (en) Fusion of vision and depth sensors for navigation in complex environments
US20200267323A1 (en) Autofocusing camera and systems
JPWO2018193574A1 (en) Flight path generation method, information processing apparatus, flight path generation system, program, and recording medium
WO2019051832A1 (en) Movable object control method, device and system
CN109656319B (en) Method and equipment for presenting ground action auxiliary information
KR101767648B1 (en) Aviation Survey data processing software system
CN114877872B (en) Unmanned aerial vehicle, operating system thereof, method, medium and equipment for generating map
EP2523062B1 (en) Time phased imagery for an artificial point of view
JP2011169658A (en) Device and method for pinpointing photographed position
KR102181809B1 (en) Apparatus and method for checking facility
JP6681101B2 (en) Inspection system
WO2020225979A1 (en) Information processing device, information processing method, program, and information processing system
Walter et al. Virtual UAV ground control station
JP2019211486A (en) Inspection system
WO2020105147A1 (en) Flight path guide system, flight path guide device, and flight path guide method
KR102402949B1 (en) Acquisition method of image information with improved precision
US20220166917A1 (en) Information processing apparatus, information processing method, and program
JP2019082837A (en) Information processing apparatus, flight control instruction method, program, and recording medium
JP6684012B1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant