KR102399839B1 - Platform and Method for IntegratingI and Controlling And Unmanned Aerial Vehicle - Google Patents
Platform and Method for IntegratingI and Controlling And Unmanned Aerial Vehicle Download PDFInfo
- Publication number
- KR102399839B1 KR102399839B1 KR1020200151914A KR20200151914A KR102399839B1 KR 102399839 B1 KR102399839 B1 KR 102399839B1 KR 1020200151914 A KR1020200151914 A KR 1020200151914A KR 20200151914 A KR20200151914 A KR 20200151914A KR 102399839 B1 KR102399839 B1 KR 102399839B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- flight measurement
- signal
- unmanned aerial
- aerial vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 238000002834 transmittance Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 239000000446 fuel Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
-
- B64C2201/127—
-
- B64C2201/146—
Abstract
Description
본 발명은 무인기 통합 제어 플랫폼에 관한 것으로서, 더욱 상세하게는 서로 다른 신호인 비행계측 신호와 카메라 영상 신호를 동시에 수신하여 하나의 디스플레이 장치에 시현하여 분산된 시현장치의 개수를 줄이고, 이로 인하여 사용자의 시선을 집중하도록 하여 임무의 효율성을 높이기 위한 무인기 통합 제어 플랫폼 및 방법에 관한 것이다. The present invention relates to an unmanned aerial vehicle integrated control platform, and more particularly, by simultaneously receiving a flight measurement signal and a camera image signal, which are different signals, and displaying it on one display device to reduce the number of distributed display devices, thereby reducing the user's It relates to an unmanned aerial vehicle integrated control platform and method for increasing mission efficiency by focusing attention.
일반적인 무인기 운영 시스템은 무인기를 하늘로 보내기 위한 발사대, 무인기의 자세, 통신, 임무 등 모든 제어를 담당하는 비행 제어 컴퓨터, 임무를 위한 카메라 및 기타 장비, 착륙을 위한 착륙장치 및 지상에서의 모니터링 및 제어를 위한 지상 장비로 구성된다.A typical UAV operating system includes a launch pad for sending the UAV into the sky, a flight control computer responsible for all controls such as the attitude, communication, and mission of the UAV, cameras and other equipment for mission, landing gear for landing, and monitoring and control on the ground It consists of ground equipment for
지상 통제 장비는 지상에서 무인기를 통제하기 위해 무인기로부터 무선의 정보를 안테나에 의해 수신하게 되고, 이러한 정보를 여러 대의 모니터에 시현하여 무인기의 상태를 확인하며, 지상 조종사의 제어 신호를 무인기로 다시 송신하기도 한다.The ground control equipment receives wireless information from the drone through the antenna to control the drone on the ground, and displays this information on multiple monitors to check the status of the drone, and transmits the control signal of the ground pilot back to the drone also do
지상의 안테나로 수신된 카메라 영상신호, 비행계측신호는 여러 대의 시현기(모니터 또는 전용 디스플레이)에 개별적으로 시현한다.The camera image signal and flight measurement signal received through the ground antenna are individually displayed on multiple displays (monitors or dedicated displays).
이와 같은 무인기는 실제 조종사가 비행체에 탑승하지 않고, 지상에서 비행 상태를 표시하는 계기들의 수치에만 의존하여 지상 통제 장비에서 무인기를 조정해야 하므로 실제 비행체의 정확한 비행 상태를 파악하는데 많은 어려움이 있다.Such an unmanned aerial vehicle has a lot of difficulties in understanding the exact flight state of the actual vehicle because the actual pilot does not board the vehicle, and the ground control equipment must adjust the drone by relying only on the numerical values of the instruments that display the flight status on the ground.
지상 통제 지휘관은 여러 대의 시현기를 이용하는 경우, 시선이 분산되어 고속으로 비행하는 무인기의 상태를 실시간으로 정확하게 확인하고 통제하기에 어려움이 있다.When using multiple display units, the ground control commander has difficulty in accurately checking and controlling the state of the unmanned aerial vehicle flying at high speed in real time due to the dispersed gaze.
이와 같은 문제점을 해결하기 위하여, 본 발명은 서로 다른 신호인 비행계측 신호와 카메라 영상 신호를 동시에 수신하여 하나의 디스플레이 장치에 시현하여 분산된 시현장치의 개수를 줄이고, 이로 인하여 사용자의 시선을 집중하도록 하여 임무의 효율성을 높이기 위한 무인기 통합 제어 플랫폼 및 방법을 제공하는데 그 목적이 있다.In order to solve this problem, the present invention receives different signals, a flight measurement signal and a camera image signal, at the same time and displays it on one display device to reduce the number of distributed display devices, thereby concentrating the user's gaze. The purpose of this is to provide an unmanned aerial vehicle integrated control platform and method to increase mission efficiency.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 무인기 통합 제어 플랫폼은,An unmanned aerial vehicle integrated control platform according to a feature of the present invention for achieving the above object,
무인기로부터 카메라 영상 신호를 수신하는 제1 수신 모듈;a first receiving module for receiving a camera image signal from the unmanned aerial vehicle;
무인기로부터 비행계측 신호를 수신하는 제2 수신모듈; 및a second receiving module for receiving a flight measurement signal from the unmanned aerial vehicle; and
수신한 비행계측 신호의 수치 정보를 영상화에 부합되도록 그래픽화된 비행계측 그래픽 데이터로 변환하는 그래픽 처리 모듈과, 카메라 영상 신호와 비행계측 그래픽 데이터를 합성하여 하나의 영상 정보인 최종 출력 영상을 생성하는 제어부를 구비한 영상제어보드를 포함한다.A graphic processing module that converts the numerical information of the received flight measurement signal into graphic flight measurement graphic data to match the imaging, and a final output image that is one image information by synthesizing the camera image signal and the flight measurement graphic data. and an image control board having a control unit.
본 발명의 특징에 따른 무인기 통합 제어 방법은,An unmanned aerial vehicle integrated control method according to a feature of the present invention,
무인기로부터 카메라 영상 신호와 비행계측 신호를 동시에 수신하는 단계;Simultaneously receiving a camera image signal and a flight measurement signal from the unmanned aerial vehicle;
수신한 비행계측 신호의 수치 정보를 영상화에 부합되도록 그래픽화된 비행계측 그래픽 데이터로 변환하는 그래픽 처리 단계; 및A graphic processing step of converting the numerical information of the received flight measurement signal into graphic flight measurement graphic data to match the imaging; and
카메라 영상 신호와 상기 비행계측 그래픽 데이터를 합성하여 하나의 영상 정보인 최종 출력 영상을 생성하는 단계를 포함한다.and generating a final output image as one image information by synthesizing the camera image signal and the flight measurement graphic data.
그래픽 처리 단계는 상기 무인기의 특성에 따라 비행계측 신호에 매칭되는 기저장된 그래픽 사용자 인터페이스를 추출하고, 그래픽 사용자 인터페이스에 수치 정보를 포함시켜 상기 비행계측 그래픽 데이터를 재생성하는 단계를 더 포함한다.The graphic processing step further includes extracting a pre-stored graphic user interface that matches the flight measurement signal according to the characteristics of the unmanned aerial vehicle, and regenerating the flight measurement graphic data by including numerical information in the graphic user interface.
전술한 구성에 의하여, 본 발명은 비행계측 신호와 카메라 영상 신호를 동시에 수신하여 하나의 디스플레이 장치에 시현하여 분산된 시현장치의 개수를 줄이고, 이로 인하여 사용자의 시선을 집중하도록 하여 임무의 효율성을 높이는 효과가 있다.According to the above configuration, the present invention receives a flight measurement signal and a camera image signal at the same time and displays it on one display device to reduce the number of distributed display devices, thereby increasing the efficiency of the mission by focusing the user's gaze It works.
도 1은 본 발명의 실시예에 따른 무인기 통합 제어 플랫폼의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 영상제어보드의 구성을 간략하게 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 프로세스의 내부 구성을 간략하게 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 비행계측 신호와 카메라 영상 신호의 영상 생성 및 합성 과정을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 디스플레이 장치의 일례를 나타낸 도면이다.1 is a diagram showing the configuration of an unmanned aerial vehicle integrated control platform according to an embodiment of the present invention.
2 is a block diagram schematically illustrating the configuration of an image control board according to an embodiment of the present invention.
3 is a block diagram schematically illustrating an internal configuration of a process according to an embodiment of the present invention.
4 is a diagram illustrating an image generation and synthesis process of a flight measurement signal and a camera image signal according to an embodiment of the present invention.
5 is a diagram illustrating an example of a display device according to an embodiment of the present invention.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.
본 발명의 영상제어보드는 무인기로부터 수신한 카메라 영상 신호와 비행계측 신호의 수치 정보를 통합하여 하나의 디스플레이 장치에 출력하여 시현 장치의 개수를 줄이고, 사용자의 시선을 집중하도록 만들어 임무의 효율성을 높인다.The image control board of the present invention integrates the numerical information of the camera image signal and the flight measurement signal received from the unmanned aerial vehicle and outputs it to one display device to reduce the number of display devices and to focus the user's gaze, thereby increasing the efficiency of the mission. .
도 1은 본 발명의 실시예에 따른 무인기 통합 제어 플랫폼의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 영상제어보드의 구성을 간략하게 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 프로세스의 내부 구성을 간략하게 나타낸 블록도이고, 도 4는 본 발명의 실시예에 따른 비행계측 신호와 카메라 영상 신호의 영상 생성 및 합성 과정을 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 디스플레이 장치의 일례를 나타낸 도면이다.1 is a diagram showing the configuration of an unmanned aerial vehicle integrated control platform according to an embodiment of the present invention, FIG. 2 is a block diagram schematically showing the configuration of an image control board according to an embodiment of the present invention, and FIG. It is a block diagram schematically showing the internal configuration of a process according to an embodiment, and FIG. 4 is a diagram showing an image generation and synthesis process of a flight measurement signal and a camera image signal according to an embodiment of the present invention, and FIG. It is a diagram illustrating an example of a display device according to an embodiment.
본 발명의 실시예에 따른 무인기 통합 제어 플랫폼(100)은 무인기(110)로부터 디지털 영상 신호와 비행계측 신호를 수신하고, 수신된 비행계측 신호를 수치화하거나 그래픽 처리한 후, 디지털 영상 신호와 합성하여 하나의 디스플레이 장치(140)에 출력하는 영상제어보드(120)를 구비한 지상 통제 장비(130)를 포함한다. 여기서, 비행계측 신호는 무인기(110)의 상태 정보로 자세, 고도, 속도, 온도, 출력, 연료 등을 포함할 수 있다.The unmanned aerial vehicle integrated
영상제어보드(120)는 서로 다른 신호(카메라 영상 신호와, 비행계측 신호)를 동시에 수신하여 하나의 디스플레이 장치(140)에 출력할 수 있다.The
영상제어보드(120)는 HDMI 수신모듈(121), RS-422 수신모듈(122), 프로세스(123), 입출력포트(124), SD 카드 메모리부(125), LVDS 수신 모듈(126), 컨버터(127), DC-DC 컨버터(128), eMMc(129a), PMIC(129b) 및 SLC NAND Flash(129c)를 포함한다.The
HDMI 수신모듈(121)은 무인기(110)로부터 카메라 영상 신호를 수신하여 CSI(Camera Serial Interface)나 I2C 통신을 통해 프로세스(123)로 전송한다.The
HDMI 수신모듈(121)에 입력되는 영상 신호는 HDMI(High-Definition Multimedia Interface) 형태의 디지털 영상 포맷으로 1280 × 1024 해상도의 60Hz 영상을 입력받은 후, HDMI 수신모듈(121)을 통해 영상을 실시간으로 캡처하여 프로세스(123)로 전송한다.The video signal input to the
RS-422 수신모듈(122)에 입력되는 비행계측 신호는 수치 데이터로 RS-422 형태의 시리얼 데이터 포맷으로 입출력된다.The flight measurement signal input to the RS-422
RS-422 수신모듈(122)은 무인기(110)로부터 비행계측 신호를 수신하여 UART(Universal Asynchronous Receiver/Transmitter) 통신으로 프로세스로 전송한다. UART 신호는 영상 신호를 제외한 데이터(비행계측 신호)를 의미한다.The RS-422
프로세스(123)는 주변 장치와 연결하는 전이중 동기식 직렬 인터페이스(SPI)를 통해 입출력포트(124)에 연결되어 있다.
SD 카드 메모리부(125)는 펌웨어가 내장되어 SD/MMC를 통해 프로세스(123)에 연결되어 있다.The SD
LVDS(Low Voltage Differential Signaling) 수신 모듈(126)은 프로세스(123)로부터 LVDS 신호를 수신하여 컨버터(127)로 전송한다. 컨버터(127)는 LVDS 신호를 HDMI 신호로 변환한 영상 신호를 외부로 출력한다.The LVDS (Low Voltage Differential Signaling) receiving
DC-DC 컨버터(128)는 외부 전원을 공급받아 프로세스(123)로 전송한다.The DC-
eMMc(129a)는 내장형 멀티미디어 카드로 데이터를 고속 처리하기 위해서 보조 데이터 저장 공간을 제공한다.The eMMc (129a) provides an auxiliary data storage space for high-speed data processing with a built-in multimedia card.
PMIC(129b)는 전력의 공급과 출력을 제어하도록 전압 제어, 배터리 관리, 충전 기능을 하나로 통합한 집적회로이다.The
SLC NAND Flash(129c)는 플래시 메모리로 데이터를 임시로 기록하고 삭제하는 공간을 제공한다.The SLC NAND Flash 129c provides a space for temporarily writing and erasing data to a flash memory.
프로세스(123)는 32 비트 듀얼 코어로 실시간 멀티 태스킹 방식을 적용하고, 그래픽 처리를 담당하는 그래픽 처리 모듈(123a), 제어부(123b), 외부로부터 영상 신호를 입력받는 영상 입력부(123c), 프로젝터(141) 및 LCD에 합성된 영상 정보를 출력하는 영상 출력부(123d), 비행계측 신호를 송수신하는 시리얼 통신부(123e) 및 내부 전원을 생성하는 전원부(123f)를 포함한다.The
영상 입력부(123c)는 HDMI 수신모듈(121)로부터 무인기(121)의 카메라 영상 신호를 입력받는다.The
영상 출력부(123d)는 제어부(123b)에서 생성된 최종 출력 정보를 출력한다.The
시리얼 통신부(123e)는 RS-422 수신모듈(122)로부터 무인기(121)의 비행계측 신호를 입력받f다.The
전원부(123f)는 DC-DC 컨버터(128)로부터 외부 전원을 공급받아 프로세스(123)의 내부 전원을 공급한다.The
그래픽 처리 모듈(123a)은 수신한 비행계측 신호를 영상화에 부합되도록 비행계측 그래픽 데이터로 변환한다. 다시 말해, 그래픽 처리 모듈(123a)은 리눅스 기반 내부 펌웨어를 이용하여 무인기의 특성에 따라 해당 비행계측 신호를 비행계측 그래픽 데이터로 변환하여 재생성한다.The
즉, 비행계측 신호의 수치 정보는 내부 펌웨어에 의해 그래픽화된 영상인 비행계측 그래픽 데이터로 재생성된다.That is, the numerical information of the flight measurement signal is reproduced as flight measurement graphic data, which is a graphic image by the internal firmware.
그래픽 처리 모듈(123a)은 무인기의 특성에 따라 각각의 비행계측 신호(자세, 고도, 속도, 온도, 출력, 연료 등)에 매칭되는 그래픽 사용자 인터페이스를 저장하고 있다. 비행계측 그래픽 데이터는 그래픽 사용자 인터페이스를 나타낼 수 있다.The
그래픽 처리 모듈(123a)은 무인기의 특성에 따라 해당 비행계측 신호에 매칭되는 기저장된 그래픽 사용자 인터페이스를 추출하고, 그래픽 사용자 인터페이스에 수치 정보를 포함시켜 비행계측 그래픽 데이터를 재생성한다.The
제어부(123b)는 리눅스 기반 내부 펌웨어를 이용하여 비행계측 신호의 수치 정보를 변환한 비행계측 그래픽 데이터에 HDMI 수신모듈에서 입력된 카메라 영상 신호를 합성하여 하나의 영상 정보인 최종 출력 영상을 생성한다.The
제어부(123b)는 서로 다른 영상 정보를 연결하기 위해 크기 및 해상도 등의 조정 처리 기능을 수행할 수 있다.The
제어부(123b)는 각각의 비행계측 신호(자세, 고도, 속도, 온도, 출력, 연료 등)에 매칭되는 영상 좌표값을 저장하고 있다. 영상 좌표값은 카메라 영상 신호에서 비행계측 그래픽 데이터가 표시될 기준점이 되는 좌표이다.The
즉, 비행계측 신호는 카메라 영상 신호인 하나의 영상에서 표시될 위치가 정해져 있다.That is, the position to be displayed in one image, which is a camera image signal, is determined for the flight measurement signal.
제어부(123b)는 수신한 비행계측 신호에 매칭되는 영상 좌표값을 추출하고, 비행계측 그래픽 데이터를 추출한 영상 좌표값을 기준으로 수신한 카메라 영상 신호에 표시하여 최종 출력 영상을 생성한다.The
제어부(123b)는 각각의 비행계측 신호(자세, 고도, 속도, 온도, 출력, 연료 등)에 매칭되는 영상 좌표값을 재설정하여 카메라 영상 신호에서 비행계측 그래픽 데이터의 표시 위치를 변경하도록 제어할 수 있다.The
제어부(123b)는 카메라 영상 신호의 영상에서 각각의 비행계측 신호의 수치 정보가 표시되는 위치를 좌측 상단, 우측 상단, 좌측 중간, 우측 중간, 좌측 하단, 우측 하단의 위치 좌표를 기준으로 설정할 수 있다.The
제어부(123b)는 카메라 영상 신호의 영상에서 동시에 표시되는 비행계측 신호의 수치 정보의 개수를 한계 설정하도록 제어할 수 있다.The
제어부(123b)는 비행계측 그래픽 데이터와 카메라 영상 신호의 합성 시 두 영상의 위치를 정렬하고, 일부 중첩된 영역의 투과도를 조절할 수 있다.The
제어부(123b)는 최종 출력 영상이 디스플레이 장치(140)에 표시되도록 해당 화면의 픽셀 위치 조정, 스케일 변환, 해상도 변환을 수행할 수 있다.The
SD 카드 메모리(125)는 리눅스 기반 내부 펌웨어가 저장되어 있으며, 펌웨어는 소프트웨어 및/또는 프로그램으로 그래픽 처리 모듈(123a)과 제어부(123b)에서 그래픽을 처리하고, 영상의 생성과 합성 기능을 수행하기 위해서 커널과 디바이스 드라이버를 저장하고 있다. 디바이스 드라이버는 HDMI 오디오 드라이버, HDMI 비디오 드라이버, 입출력 디스플레이 드라이버, LCD 드라이버, LDB 드라이버를 포함할 수 있다.The
커널은 예를 들면, 다른 프로그램들에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예를 들어, 버스, 프로세서, 메모리 등)을 제어 또는 관리할 수 있다. 또한, 커널은 프로세스의 개별 구성요소에 접근하여 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.The kernel may, for example, control or manage system resources (eg, bus, processor, memory, etc.) used to execute an operation or function implemented in other programs. In addition, the kernel may provide an interface for controlling or managing system resources by accessing individual components of the process.
커널은 그래픽 처리 기능과 오디오 처리 기능을 수행하기 위하여 드라이버, 개별 구성장치의 리소스를 제어 관리할 수 있다.The kernel can control and manage the resources of drivers and individual components to perform graphics processing functions and audio processing functions.
도 4에 도시된 바와 같이, 영상제어보드(120)는 무인기(110)로부터 카메라 영상 신호를 수신하는 제1 수신 모듈(121)과 무인기(110)로부터 비행계측 신호를 수신하는 제2 수신모듈(122)을 이용하여 비행계측 신호와 카메라 영상 신호를 동시에 수신하고, 그래픽 처리 모듈(123a)에 의해 수신한 비행계측 신호의 수치 정보를 영상화에 부합되도록 그래픽화된 비행계측 그래픽 데이터로 변환한다.As shown in FIG. 4 , the
영상제어보드(120)는 카메라 영상 신호와 비행계측 그래픽 데이터를 합성하여 하나의 영상 정보인 최종 출력 영상을 생성하고, 프로젝터(141)를 이용하여 디스플레이 장치(140)에 출력한다.The
디스플레이 장치(140)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이 등 다양한 장치를 이용할 수 있으나, 본 발명은 디스플레이 장치(140)는 사용자의 시선에 대한 분산이 최소화하도록 반구 형태의 몰입형 스크린을 적용할 수 있다.The
도 5의 (a) 및 도 5의 (b)와 같이, 몰입형 스크린은 기존 디스플레이 장치(140)와 비교하여 사용자에게 보다 넓은 화각의 영상을 제공하여 사용자로 하여금 영상에 몰입할 수 있도록 하는 장치이다.As shown in FIGS. 5A and 5B , the immersive screen provides an image of a wider angle of view to the user compared to the
몰입형 스크린은 반구 형태의 곡면을 갖고, 반구 상하단의 대향하는 일부가 각각 잘려진 형태를 갖는다. 그리고 다수의 프로젝터들(141)은 각각 하나의 영상을 형성하기 위한 단위 영상을 투사한다.The immersive screen has a hemispherical curved surface, and opposing portions of upper and lower hemispheres are cut off, respectively. In addition, each of the plurality of
다수의 프로젝터들(141)로부터 투사된 각각의 단위 영상들은 반구형 스크린의 후면의 일정한 위치에 투사되고, 이와 같이 투사된 단위 영상들은 타일드 디스플레이 기술을 이용하여 서로 연속적으로 연결됨으로써 반구형 스크린의 전면에 하나의 초대형 영상을 형성하게 된다.Each of the unit images projected from the plurality of
몰입형 스크린은 항공기와 자동차에 적용되는 HUD(Heed Up Display)와 같이, 조종사나 운전자가 전방만을 응시하고, 모든 상황 정보를 인지하여 집중할 수 있도록 한다.The immersive screen, like the Head Up Display (HUD) applied to aircraft and automobiles, allows the pilot or driver to only look ahead, recognize and focus on all situational information.
본 발명은 비행영상 정보와 비행계측 정보를 그래픽 또는 수치화하여 합성한 후, 지상 통제 장비에 적용된 하나의 몰입형 스크린을 통해 시현하여 지상에서의 임무 효과를 증대하고자 한다.The present invention aims to increase the mission effect on the ground by synthesizing flight image information and flight measurement information graphically or numerically, and then demonstrating it through one immersive screen applied to ground control equipment.
본 발명의 몰입형 스크린은 사용자의 시선에 대한 분산이 최소화되도록 반구 형태의 형상을 가지며, 넓은 대화면 스크린으로 제작되어 영상제어보드(120)를 적용하여 운용하는 경우, 단일 스크린 화면에 여러 정보를 동시에 시현할 수 있어 그 효과를 극대화할 수 있다.The immersive screen of the present invention has a hemispherical shape so that dispersion of the user's gaze is minimized. It can be realized and the effect can be maximized.
다른 실시예로서, 몰입형 스크린은 제1 표시 영역을 포함하는 제1 디스플레이부와 상기 제1 디스플레이부의 양쪽으로 형성되는 제2 표시 영역을 포함하는 제2 디스플레이부를 포함할 수 있다.As another embodiment, the immersive screen may include a first display unit including a first display area and a second display unit including a second display area formed on both sides of the first display unit.
제1 디스플레이부의 제1 표시 영역에는 메인뷰 영상(Main-View Video Image)이 표시되고, 좌측과 우측의 제2 디스플레이부의 제2 표시 영역에는 주변뷰 영상(Peripheral-View Image)이 표시될 수 있다.A Main-View Video Image may be displayed on a first display area of the first display unit, and a Peripheral-View Image may be displayed on a second display area of the second display unit on the left and right sides. .
제1 디스플레이부의 주변에는 복수의 제2 디스플레이부가 배치되고, 제1 디스플레이부와 제 2 디스플레이부는 사용자의 주변을 둘러싸는 형태로 배치될 수 있다.A plurality of second display units may be arranged around the first display unit, and the first display unit and the second display unit may be arranged to surround the user's periphery.
본 발명은 제1 디스플레이부의 주변에 두 개의 보조적인 제2 디스플레이부가 배치되는 경우를 설명하고 있지만, 이에 한정되지 않을 수 있다. 예를 들면, 제1 디스플레이부의 상, 하, 좌, 우에 각각 보조적인 디스플레이부를 배치하는 경우도 가능할 수 있다.Although the present invention describes a case in which two auxiliary second display units are disposed around the first display unit, the present invention may not be limited thereto. For example, it may be possible to dispose the auxiliary display unit above, below, left, and right of the first display unit, respectively.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.In the above, the embodiment of the present invention is not implemented only through the apparatus and/or method, and may be implemented through a program for realizing a function corresponding to the configuration of the embodiment of the present invention, a recording medium in which the program is recorded, etc. And, such an implementation can be easily implemented by an expert in the technical field to which the present invention belongs from the description of the above-described embodiment.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto. is within the scope of the right.
100: 무인기 통합 제어 플랫폼
110: 무인기
120: 영상제어보드
121: HDMI 수신모듈
122: RS-422 수신모듈
123: 프로세스
124: 입출력포트
125: SD 카드 메모리
126: LVDS 수신 모듈
127: 컨버터
128: DC-DC 컨버터
129a: eMMc
129b: PMIC
129c: SLC NAND Flas
130: 지상 통제 장비
140: 디스플레이 장치100: unmanned aerial vehicle integrated control platform
110: drone
120: video control board
121: HDMI receiving module
122: RS-422 receiving module
123: process
124: input/output port
125: SD card memory
126: LVDS receiving module
127: converter
128: DC-DC converter
129a: eMMc
129b: PMIC
129c: SLC NAND Flas
130: ground control equipment
140: display device
Claims (12)
상기 무인기로부터 비행계측 신호를 수신하는 제2 수신모듈; 및
상기 수신한 비행계측 신호의 수치 정보를 영상화에 부합되도록 그래픽화된 비행계측 그래픽 데이터로 변환하는 그래픽 처리 모듈과, 상기 카메라 영상 신호와 상기 비행계측 그래픽 데이터를 합성하여 하나의 영상 정보인 최종 출력 영상을 생성하는 제어부를 구비한 영상제어보드를 포함하고,
상기 그래픽 처리 모듈은 상기 무인기의 특성에 따라 상기 비행계측 신호에 매칭되는 기저장된 그래픽 사용자 인터페이스를 추출하고, 상기 그래픽 사용자 인터페이스에 수치 정보를 포함시켜 상기 비행계측 그래픽 데이터를 재생성하고,
상기 제어부는 상기 카메라 영상 신호의 영상에서 상기 각각의 비행계측 신호의 수치 정보가 표시되는 위치를 좌측 상단, 우측 상단, 좌측 중간, 우측 중간, 좌측 하단, 우측 하단의 위치 좌표를 기준으로 설정하고, 상기 카메라 영상 신호의 영상에서 동시에 표시되는 비행계측 신호의 수치 정보의 개수를 한계 설정하고,
상기 제어부는 서로 다른 신호인 상기 카메라 영상 신호와 상기 비행계측 신호를 동시에 수신하여 상기 최종 출력 영상을 반구 형태의 곡면을 가진 몰입형 디스플레이 장치에 출력하고,
상기 몰입형 디스플레이 장치는 반구 상하단의 대향하는 일부가 각각 잘려진 형태를 가지며, 다수의 프로젝터들은 각각 하나의 영상을 형성하기 위한 단위 영상을 투사하고,
상기 몰입형 디스플레이 장치는 상기 다수의 프로젝터로부터 투사된 영상이 반구형 스크린의 후면의 일정한 위치에 투사되고, 상기 투사된 영상이 상기 반구형 스크린의 전면에 하나의 초대형 영상을 형성하는 무인기 통합 제어 플랫폼.a first receiving module for receiving a camera image signal from the unmanned aerial vehicle;
a second receiving module for receiving a flight measurement signal from the unmanned aerial vehicle; and
A graphic processing module for converting the numerical information of the received flight measurement signal into graphic flight measurement graphic data to match the imaging, and a final output image as one image information by synthesizing the camera image signal and the flight measurement graphic data Including an image control board having a control unit for generating,
The graphic processing module extracts a pre-stored graphic user interface that matches the flight measurement signal according to the characteristics of the unmanned aerial vehicle, and regenerates the flight measurement graphic data by including numerical information in the graphic user interface,
The control unit sets the position where the numerical information of each flight measurement signal is displayed in the image of the camera image signal based on the position coordinates of the upper left, upper right, middle left, middle right, lower left, lower right, Set a limit on the number of numerical information of the flight measurement signal displayed simultaneously in the image of the camera image signal,
The control unit simultaneously receives the camera image signal and the flight measurement signal, which are different signals, and outputs the final output image to an immersive display device having a hemispherical curved surface,
The immersive display device has a shape in which opposing portions of upper and lower hemispheres are cut off, respectively, and a plurality of projectors each project a unit image to form one image,
In the immersive display device, the images projected from the plurality of projectors are projected to a predetermined position on the rear surface of the hemispherical screen, and the projected image forms one super-large image on the front surface of the hemispherical screen.
상기 제어부는 각각의 비행계측 신호에 매칭되는 영상 좌표값을 저장하고, 상기 수신된 비행계측 신호에 매칭되는 영상 좌표값을 추출하고, 상기 비행계측 그래픽 데이터를 상기 추출한 영상 좌표값을 기준으로 상기 수신한 카메라 영상 신호에 표시하여 상기 최종 출력 영상을 생성하는 무인기 통합 제어 플랫폼.According to claim 1,
The control unit stores an image coordinate value matching each flight measurement signal, extracts an image coordinate value matching the received flight measurement signal, and receives the flight measurement graphic data based on the extracted image coordinate value An unmanned aerial vehicle integrated control platform that generates the final output image by displaying it on one camera image signal.
상기 제어부는 상기 각각의 비행계측 신호에 매칭되는 영상 좌표값을 재설정하여 상기 카메라 영상 신호에서 상기 비행계측 그래픽 데이터의 표시 위치를 변경하도록 제어하는 무인기 통합 제어 플랫폼.According to claim 1,
The control unit is an unmanned aerial vehicle integrated control platform for controlling to change the display position of the flight measurement graphic data in the camera image signal by resetting the image coordinate values matching the respective flight measurement signals.
상기 제어부는 상기 비행계측 그래픽 데이터와 상기 카메라 영상 신호의 합성 시 두 영상의 위치를 정렬하고, 일부 중첩된 영역의 투과도를 조절하여 상기 최종 출력 영상이 디스플레이 장치에 표시되도록 픽셀 위치를 조정하는 무인기 통합 제어 플랫폼.According to claim 1,
The control unit aligns the positions of the two images when synthesizing the flight measurement graphic data and the camera image signal, and adjusts the transmittance of the partially overlapped area to adjust the pixel position so that the final output image is displayed on the display device. control platform.
상기 수신한 비행계측 신호의 수치 정보를 영상화에 부합되도록 그래픽화된 비행계측 그래픽 데이터로 변환하는 그래픽 처리 단계; 및
상기 카메라 영상 신호와 상기 비행계측 그래픽 데이터를 합성하여 하나의 영상 정보인 최종 출력 영상을 생성하는 단계를 포함하는 무인기 통합 제어 방법이고,
상기 그래픽 처리 단계는 상기 무인기의 특성에 따라 상기 비행계측 신호에 매칭되는 기저장된 그래픽 사용자 인터페이스를 추출하고, 상기 그래픽 사용자 인터페이스에 수치 정보를 포함시켜 상기 비행계측 그래픽 데이터를 재생성하는 단계를 더 포함하고,
상기 무인기 통합 제어 방법은 상기 카메라 영상 신호의 영상에서 상기 각각의 비행계측 신호의 수치 정보가 표시되는 위치를 좌측 상단, 우측 상단, 좌측 중간, 우측 중간, 좌측 하단, 우측 하단의 위치 좌표를 기준으로 설정하고, 상기 카메라 영상 신호의 영상에서 동시에 표시되는 비행계측 신호의 수치 정보의 개수를 한계 설정하는 단계를 더 포함하고,
상기 최종 출력 영상을 생성하는 단계는 서로 다른 신호인 상기 카메라 영상 신호와 상기 비행계측 신호를 동시에 수신하여 상기 최종 출력 영상을 반구 형태의 곡면을 가진 몰입형 디스플레이 장치에 출력하고,
상기 몰입형 디스플레이 장치는 반구 상하단의 대향하는 일부가 각각 잘려진 형태를 가지며, 다수의 프로젝터들은 각각 하나의 영상을 형성하기 위한 단위 영상을 투사하고,
상기 몰입형 디스플레이 장치는 상기 다수의 프로젝터로부터 투사된 영상이 반구형 스크린의 후면의 일정한 위치에 투사되고, 상기 투사된 영상이 상기 반구형 스크린의 전면에 하나의 초대형 영상을 형성하는 무인기 통합 제어 방법.Simultaneously receiving a camera image signal and a flight measurement signal from the unmanned aerial vehicle;
A graphic processing step of converting the numerical information of the received flight measurement signal into graphic flight measurement graphic data to match the imaging; and
It is an unmanned aerial vehicle integrated control method comprising the step of synthesizing the camera image signal and the flight measurement graphic data to generate a final output image that is one image information,
The graphic processing step further includes extracting a pre-stored graphic user interface matching the flight measurement signal according to the characteristics of the unmanned aerial vehicle, and regenerating the flight measurement graphic data by including numerical information in the graphic user interface, and ,
The unmanned aerial vehicle integrated control method determines the position at which the numerical information of each flight measurement signal is displayed in the image of the camera image signal based on the position coordinates of the upper left, upper right, left middle, right middle, lower left, and lower right Setting, further comprising the step of limiting the number of numerical information of the flight measurement signal displayed simultaneously in the image of the camera image signal,
The generating of the final output image includes simultaneously receiving the camera image signal and the flight measurement signal, which are different signals, and outputting the final output image to an immersive display device having a hemispherical curved surface,
The immersive display device has a shape in which opposing portions of upper and lower hemispheres are cut off, respectively, and a plurality of projectors each project a unit image to form one image,
In the immersive display device, the images projected from the plurality of projectors are projected to a predetermined position on the rear surface of the hemispherical screen, and the projected image forms one super-large image on the front surface of the hemispherical screen.
상기 최종 출력 영상을 생성하는 단계는,
상기 각각의 비행계측 신호에 매칭되는 영상 좌표값을 저장하고, 상기 수신된 비행계측 신호에 매칭되는 영상 좌표값을 추출하고, 상기 비행계측 그래픽 데이터를 상기 추출한 영상 좌표값을 기준으로 상기 수신한 카메라 영상 신호에 표시하여 상기 최종 출력 영상을 생성하는 단계를 더 포함하는 무인기 통합 제어 방법.9. The method of claim 8,
The step of generating the final output image comprises:
Storing an image coordinate value matching each flight measurement signal, extracting an image coordinate value matching the received flight measurement signal, and receiving the flight measurement graphic data based on the extracted image coordinate value. The unmanned aerial vehicle integrated control method further comprising generating the final output image by displaying the image signal.
상기 각각의 비행계측 신호에 매칭되는 영상 좌표값을 재설정하여 상기 카메라 영상 신호에서 상기 비행계측 그래픽 데이터의 표시 위치를 변경하도록 제어하는 단계를 더 포함하는 무인기 통합 제어 방법.9. The method of claim 8,
The unmanned aerial vehicle integrated control method further comprising the step of controlling to change the display position of the flight measurement graphic data in the camera image signal by resetting the image coordinate values matching the respective flight measurement signals.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200151914A KR102399839B1 (en) | 2020-11-13 | 2020-11-13 | Platform and Method for IntegratingI and Controlling And Unmanned Aerial Vehicle |
PCT/KR2021/010393 WO2022102915A1 (en) | 2020-11-13 | 2021-08-06 | Unmanned aircraft system integrated control platform and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200151914A KR102399839B1 (en) | 2020-11-13 | 2020-11-13 | Platform and Method for IntegratingI and Controlling And Unmanned Aerial Vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102399839B1 true KR102399839B1 (en) | 2022-05-19 |
Family
ID=81601441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200151914A KR102399839B1 (en) | 2020-11-13 | 2020-11-13 | Platform and Method for IntegratingI and Controlling And Unmanned Aerial Vehicle |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102399839B1 (en) |
WO (1) | WO2022102915A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101131093B1 (en) * | 2011-10-14 | 2012-04-03 | 주식회사 미래엔에스 | Four-dimension based interactive airship simulation system using geographic information and method for the same |
KR101408077B1 (en) * | 2014-01-29 | 2014-06-18 | 국방과학연구소 | An apparatus and method for controlling unmanned aerial vehicle using virtual image |
KR101472391B1 (en) | 2013-07-31 | 2014-12-15 | 한국항공우주산업 주식회사 | Device for Checking an Existence and Nonexistence of Strangeness of Communication Channel of GCS and GDT of UAV System and Checking Method for the same |
KR20160125591A (en) * | 2015-04-21 | 2016-11-01 | 경상대학교산학협력단 | Unmanned vehicle based real-time integral data revealing method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101787371B1 (en) * | 2016-02-17 | 2017-10-19 | 한국항공우주산업 주식회사 | Integrated helmet mounted display system for aircraft |
US20200106818A1 (en) * | 2018-09-28 | 2020-04-02 | Quoc Luong | Drone real-time interactive communications system |
-
2020
- 2020-11-13 KR KR1020200151914A patent/KR102399839B1/en active IP Right Grant
-
2021
- 2021-08-06 WO PCT/KR2021/010393 patent/WO2022102915A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101131093B1 (en) * | 2011-10-14 | 2012-04-03 | 주식회사 미래엔에스 | Four-dimension based interactive airship simulation system using geographic information and method for the same |
KR101472391B1 (en) | 2013-07-31 | 2014-12-15 | 한국항공우주산업 주식회사 | Device for Checking an Existence and Nonexistence of Strangeness of Communication Channel of GCS and GDT of UAV System and Checking Method for the same |
KR101408077B1 (en) * | 2014-01-29 | 2014-06-18 | 국방과학연구소 | An apparatus and method for controlling unmanned aerial vehicle using virtual image |
KR20160125591A (en) * | 2015-04-21 | 2016-11-01 | 경상대학교산학협력단 | Unmanned vehicle based real-time integral data revealing method |
Also Published As
Publication number | Publication date |
---|---|
WO2022102915A1 (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105359540B (en) | Head-mounted display apparatus and method for controlling such equipment | |
US11046429B2 (en) | Head mounted display and method for maneuvering vehicle | |
US10073262B2 (en) | Information distribution system, head mounted display, method for controlling head mounted display, and computer program | |
US20210250539A1 (en) | Image processing method and device for aerial camera, and unmanned aerial vehicle | |
US11025826B2 (en) | Display system, display device, and control method for display device | |
US10198367B2 (en) | Information processing device and method for controlling input/output devices via designated functions | |
US9939890B2 (en) | Image generation apparatus and image generation method of generating a wide viewing angle image | |
US11232602B2 (en) | Image processing method and computing device for augmented reality device, augmented reality system, augmented reality device as well as computer-readable storage medium | |
CN105143964B (en) | Many Laser Driven systems | |
US20180196425A1 (en) | Head-mounted display device, control method therefor, and computer program | |
US20160154748A1 (en) | Modular device, system, and method for reconfigurable data distribution | |
CN107316272A (en) | Method and its equipment for image procossing | |
CN104486567B (en) | MiniOSD video Overlapping display methods and circuit applied to small drone navigation | |
JP2006197068A (en) | Image display and display method | |
KR102399839B1 (en) | Platform and Method for IntegratingI and Controlling And Unmanned Aerial Vehicle | |
KR102512839B1 (en) | Electronic device and method obtaining image using cameras through adjustment of position of external device | |
WO2023226864A1 (en) | Automotive head unit, augmented reality and virtual reality realization method and storage medium | |
CN112874301A (en) | Information display method and device for automobile and computer storage medium | |
US11531508B2 (en) | Data processing device, display system, and data processing method that controls the output of data based on a connection state | |
US20210360136A1 (en) | Apparatus for stabilizing digital image, operating method thereof, and electronic device having the same | |
CN115586647A (en) | Image generation device, display equipment and vehicle | |
US20170285765A1 (en) | Input apparatus, input method, and computer program | |
US11009706B2 (en) | Head-mounted display apparatus and method for controlling head-mounted display apparatus for determining position of image to be displayed | |
TWM539192U (en) | Controller for simulating images and virtual displays | |
CN108133515B (en) | Display control separated enhanced composite visual computing platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |