KR20230036429A - Airport control System for monitoring aircraft on route - Google Patents

Airport control System for monitoring aircraft on route Download PDF

Info

Publication number
KR20230036429A
KR20230036429A KR1020210119271A KR20210119271A KR20230036429A KR 20230036429 A KR20230036429 A KR 20230036429A KR 1020210119271 A KR1020210119271 A KR 1020210119271A KR 20210119271 A KR20210119271 A KR 20210119271A KR 20230036429 A KR20230036429 A KR 20230036429A
Authority
KR
South Korea
Prior art keywords
aircraft
information
sensor
control system
airport
Prior art date
Application number
KR1020210119271A
Other languages
Korean (ko)
Other versions
KR102631327B1 (en
Inventor
박해용
최기현
차태영
김성준
배동한
Original Assignee
인천국제공항공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천국제공항공사 filed Critical 인천국제공항공사
Priority to KR1020210119271A priority Critical patent/KR102631327B1/en
Publication of KR20230036429A publication Critical patent/KR20230036429A/en
Application granted granted Critical
Publication of KR102631327B1 publication Critical patent/KR102631327B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0082Surveillance aids for monitoring traffic from a ground station
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H15/00Measuring mechanical or acoustic impedance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0003Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiant heat transfer of samples, e.g. emittance meter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30Transportation; Communications
    • G06Q50/40

Abstract

The present invention relates to a control system for monitoring and warning an aircraft on a final approach route, which includes a sensor system (120) which generates sensing information by sensing an aircraft (110) entering an altitude restriction area (520) on an extension line (530) extending from the center of a runway (510). The sensor system (120) includes a first sensor (120-1) which detects sound information generated from the aircraft (110) among the sensing information, a second sensor (120-1) which acquires image information about the aircraft (110) among the sensing information, and a third sensor (120-3) which acquires location information about the aircraft (110) from among the sensing information. The first sensor (120-1) and the second sensor (120-2) are disposed at a leading edge of the runway (510), and the third sensor (120-3) is an airport surveillance radar. The present invention prevents aircraft accidents and abnormal situations.

Description

최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템{Airport control System for monitoring aircraft on route}Air traffic control system for monitoring and warning aircraft on the final approach route {Airport control system for monitoring aircraft on route}

본 발명은 스마트 공항 관제 지원 기술에 관한 것으로서, 더 상세하게는 머신러닝 기반으로 통합분석을 통해 최종 접근경로 또는 출발경로상 항공기를 감시 및 경고하기 위한 공항관제시스템에 대한 것이다.The present invention relates to a smart airport control support technology, and more particularly, to an airport control system for monitoring and warning aircraft on a final approach route or departure route through integrated analysis based on machine learning.

항공기간의 충돌방지, 항공기와 장애물간의 충돌방지, 항공교통흐름의 촉진을 위해 관제탑(비행장관제업무), 접근 관제소(접근관제업무) 및 지역 관제소(지역관제업무)에 의해 행해지는 항공기간의 분리, 레이더유도, 항공교통 관제허가 발부 등의 항공교통관제업무가 수행되고 있다.Separation between aircraft by the control tower (flight control service), approach control center (approach control service), and regional control center (area control service) to prevent collisions between aircraft, between aircraft and obstacles, and to facilitate air traffic flow Air traffic control services such as , radar guidance, and issuance of air traffic control permits are being performed.

특히, 비행장 관제 업무 중 계류장 구역 내에서 이동하는 항공기에 제공되는 항공 교통관제 업무가 있다. 계류장을 관리하기 위해 계류장 관제탑이 구성되며, 계류장 내에서 항공기의 엔진 시동 및 후방견인허가, 항공기 이동허가, 주 관제탑에 관제권 이양, 제방빙 지원, 견인 통제 및 지원 등의 업무를 수행한다.In particular, among airfield control services, there is an air traffic control service provided to aircraft moving within the apron area. An apron control tower is organized to manage the apron, and within the apron, tasks such as engine startup and rear towing permission, aircraft movement permission, transfer of control authority to the main control tower, de-icing and anti-icing support, and towing control and support are performed.

그런데, 공항의 지속적인 확장으로 관제사 1인당 평균 감시구역은 축구장 약 180개 크기로 전 지역의 모든 항공기의 움직임을 실시간 감시하기에는 물리적인 어려움이 존재한다.However, due to the continuous expansion of the airport, the average surveillance area per controller is the size of about 180 soccer fields, which makes it difficult to monitor the movements of all aircraft in the entire area in real time.

또한, 항공기간의 충돌, 항공기와 차량간의 충돌, 항공기의 유도로 오진입 및 관제지시 위반 등과 같은 비정상 상황 발생 시 이를 자동으로 알려주는 경보 시스템이 구축되어 있지 않아 관제사의 육안 관측 및 조종사의 보고에만 의존하게됨으로써 비정상 상황의 알림 시스템이 미비하다는 문제점이 있다.In addition, there is no alarm system that automatically notifies abnormal situations such as collisions between aircraft, collisions between aircraft and vehicles, incorrect entry of taxiways and violation of control instructions, etc. Depending on it, there is a problem that the notification system for abnormal situations is insufficient.

또한, ICAO(International Civil Aviation Organization) 규정에 따라 항공기, 차량 및 인원과 공항 주변에서 비행 중인 항공기에 대하여 육안관측을 우선으로 감시하여야 하나 감시구역 전반에 걸쳐 건물 등에 의한 차폐구역이 발생하며 물리적인 거리에 따른 육안관측의 한계가 명확하다는 단점이 있다.In addition, according to ICAO (International Civil Aviation Organization) regulations, visual observation should be prioritized for aircraft, vehicles, personnel and aircraft flying near the airport, but shielded areas by buildings, etc. occur throughout the surveillance area, and physical distance The disadvantage is that the limitations of visual observation are clear.

또한, 관제사의 업무 수행 시 안개, 강우, 강설 및 미세먼지 등과 같은 여러 가지 기상현상으로 관제사의 육안관측에 어려움 발생한다는 단점이 있다.In addition, there is a disadvantage that the controller's visual observation is difficult due to various meteorological phenomena such as fog, rainfall, snowfall, and fine dust during the controller's performance of duties.

또한, 관제업무 수행에 필요한 다수의 데이터는 텍스트 또는 다양한 형태의 모양과 색상을 가지며, 이 데이터들은 다수의 디스플레이에 2차 평면상에 탑다운뷰(Top-Down View)로 표출되며 관제사의 주시 방위와 차이가 있는 방위로 표출된다. In addition, a plurality of data necessary for performing control tasks has text or various shapes and colors, and these data are displayed in a top-down view on a secondary plane on a plurality of displays, and the controller's gaze direction It is expressed in an orientation that is different from .

또한, 관제사의 관제탑 외부 시야는 3차원의 Bird's-Eye View로 시각적 정보를 수집하게 되며 이 두 View의 차이로 관제사는 지속적인 방위 및 차원 인지 부조화(Orientational Difference와 Dimensional Difference)상황하에서 관제업무를 수행해야 된다. 이는 관제사의 상황 인지력에 악영향을 미침과 동시에 관제사 워크로드 증가로 이어지게 되며 결국 관제업무 효율에 큰 영향을 미친다는 점이다.In addition, the external view of the control tower of the controller collects visual information with a 3-dimensional Bird's-Eye View, and due to the difference between these two views, the controller has to perform control tasks under continuous azimuth and dimensional cognitive incongruence (Orientational Difference and Dimensional Difference). do. This adversely affects the controller's situational awareness and at the same time leads to an increase in the controller's workload, which eventually has a great impact on the efficiency of the control task.

또한, 관제사의 관제업무 수행 시 비행 데이터 획득 및 항공기 이동 감시에 필요한 다양한 데이터는 평균 약 7개 이상의 디스플레이를 통해 제공되며, 이를 조작하기 위해 유사한 수의 입력장치(마우스 및 키보드)를 사용해야 한다. 따라서, 데이터 취득 및 조작 과정에서 장비의 설치 위치로 인해 헤드다운 타임(Head-Down Time) 발생은 필연적이며 이는 관제사의 육안감시능력에 영향을 미침과 동시에 주의력 분산을 야기한다.In addition, various data required for flight data acquisition and aircraft movement monitoring are provided through an average of 7 or more displays, and a similar number of input devices (mouse and keyboard) must be used to operate them. Therefore, in the course of acquiring and manipulating data, head-down time is inevitable due to the installation location of the equipment, which affects the visual surveillance ability of the controller and causes distraction at the same time.

또한, 기존의 관제 시스템의 경우, 키보드, 마우스로 제어, 입력 가능하나 이는 관제사의 헤드다운(Head-Down)을 유발하여 상황인식 저해 및 다수의 제어장치로 인한 인적 오류를 유발한다는 단점이 있다. In addition, in the case of the existing control system, it is possible to control and input with a keyboard and mouse, but this has the disadvantage of causing a head-down of the controller, impairing situational awareness and causing human errors due to multiple control devices.

또한, 비행장 관제 업무(관제탑)를 수행하는 관제사는 ICAO 및 항공안전법(항공교통업무기준)의 기준에 따라 활주로상의 지상이동 항공기, 최종접근경로/출발경로상의 공중 항공기, 공항 주변에서 비행 중인 항공기에 대하여 육안관측을 우선으로 감시해야 한다. 따라서, 감시구역 전반에 걸쳐 건물 등에 의한 차폐구역이 발생하며 물리적인 거리에 따른 육안관측의 한계와 안개, 강우, 강설 및 미세먼지 등과 같은 여러 가지 기상현상으로 관제사의 육안관측 제한이 있다는 단점이 있다.In addition, controllers performing airfield control tasks (control tower) are responsible for ground movement aircraft on the runway, airborne aircraft on the final approach/departure route, and aircraft in flight near the airport in accordance with the standards of ICAO and the Aviation Safety Act (Air Traffic Service Standards). Visual observation should be given priority. Therefore, there is a disadvantage in that a shielded area by buildings, etc. occurs throughout the surveillance area, and there are limitations in visual observation of the controller due to limitations in visual observation according to physical distance and various meteorological phenomena such as fog, rainfall, snowfall, and fine dust. .

또한, 기체결함 및 비행착각을 일으키는 단점이 있다. 부연하면, 최종접근경로 진입중인 항공기는 활주로 연장선 중심에 심을 따라 정상 강하각(평균 3도)과 강하율(평균 300FT/NM)을 준수하면서 착륙을 준비해야 하지만 기체 결함, 조류충돌(Bird strike), 조종사의 비행착각 및 인적 오류(관제지시 착각, 사용 활주로 착각)등으로 엔진화재, 최종접근경로 이탈, 미허가 활주로 접근, 적정 고도 미 준수 등 비정상 상황이 발생한다. 이는 Near-Miss, 준사고, 사고의 원인이 된다. In addition, there are disadvantages of causing aircraft defects and flight illusions. In other words, aircraft entering the final approach route should prepare for landing while observing the normal descent angle (average 3 degrees) and descent rate (average 300 FT/NM) along the center of the runway extension line, but aircraft defects, bird strikes, Abnormal situations such as engine fire, departure from the final approach route, unauthorized runway approach, and failure to observe the proper altitude occur due to flight misunderstanding and human errors (misunderstanding control instructions, misunderstanding of the runway in use) by pilots. This causes Near-Miss, quasi-accidents, and accidents.

이때 항공기 외부의 관제시스템 중 공항감시레이더(ASR-Airport Surveillance Radar)의 최저안전고도(ASR-MSAW) 경고 이외에는 추가적인 경고가 발부되지 않는다. 이는 고도정보에 제한된 경고로, 위치에 따른 경로 이탈, 다른 활주로 접근 상황을 즉각적으로 경고할 수 있는 시스템이 부재하다. 출발 항공기의 경우에도 동일하게 표준계기출발(SID) 절차상의 경로 및 고도의 허용범위를 이탈하는 경우 외에 미허가 이륙 등의 상황 발생시 경고 시스템이 부재하다.At this time, no additional warning is issued except for the minimum safe altitude (ASR-MSAW) warning of the airport surveillance radar (ASR-Airport Surveillance Radar) among the control systems outside the aircraft. This is a warning limited to altitude information, and there is no system that can immediately warn of route departure or approach to another runway depending on location. Even in the case of departing aircraft, there is no warning system in the event of an unauthorized take-off, other than the case of departing from the allowable range of the route and altitude of the standard instrument departure (SID) procedure.

유사 사고 사례를 들면, 美/샌프란시스코 공항에서 B777 항공기 착륙 접근 중 최저고도 미준수로 사고 발생하였다(2010.5.22). 이 사고의 경우, 조종사&관제사의 최저고도 미만 접근 미인지로 추정된다.As an example of a similar accident, an accident occurred due to non-observance of the minimum altitude during a B777 landing approach at the US/San Francisco Airport (May 22, 2010). In the case of this accident, it is presumed that the pilot & controller failed to recognize the approach below the minimum altitude.

또한, 日/니가타공항에서 B737 항공기 착륙 후 감속 조치 미흡으로 활주로 초과 정지 사고가 발생하였다(2013.8.5). 이 사고의 경우, 조종사 착륙후 활주로 잔여거리 착각으로 추정된다.In addition, an overrun accident occurred at Niigata Airport in Japan due to insufficient deceleration measures after landing of a B737 aircraft (August 5, 2013). In this case, it is assumed that the pilot misunderstood the remaining runway distance after landing.

또한, 최종 접근경로 감시 시스템이 미비한 상태이다. 부연하면, 활주로 중심 연장거리 평균 7NM 내외 최종 접근경로 및 이륙 대기 항공기 감시는 항공기사고 방지를 위해 아주 중요하다. 하지만, 현재의 관제시스템은(위치정보:ASR,ASDE(Airport Surface Detection Equipment),MLAT, 음성교신정보:VCCS(Voice Communication Control System), 운항스케줄정보:FOIS(Flight Operation and Information System), IIS(Integrated Information System)) 지상, 공중의 항공기 경로 이탈, 항공기간 분리간격, 다른 활주로 접근 등의 감시는 주로 위치정보에만 의존하고 있어 그 정밀성을 담보하기 어렵다는 단점이 있다. 또한, 비정상 상황을 자동으로 감시하고 알려주는 경보 시스템도 시스템 별 독립적이고, 제한적으로만 구축되어 대부분의 비정상 상황 발생의 최종인지는 관제사의 육안 관측 및 조종사의 보고에만 의존한다.In addition, the final access route monitoring system is incomplete. To elaborate, monitoring of the final approach route and aircraft waiting for take-off with an average extended distance from the center of the runway of around 7 NM is very important to prevent aircraft accidents. However, the current control system (location information: ASR, ASDE (Airport Surface Detection Equipment), MLAT, voice communication information: VCCS (Voice Communication Control System), flight schedule information: FOIS (Flight Operation and Information System), IIS ( Integrated Information System)) Monitoring of flight departures on the ground and in the air, separation intervals between aircrafts, and approaches to other runways mainly relies only on location information, making it difficult to ensure accuracy. In addition, an alarm system that automatically monitors and informs of abnormal situations is independent for each system and only limitedly built, so the final recognition of most abnormal situations depends only on the controller's visual observation and the pilot's report.

또한, 음향 탐지 시스템이 부재하다. 부연하면, 최종 접근경로상의 항공기는 접근 관제소의 도착관제사(Arrival Controller)에서 비행장관제업무를 수행하는 관제탑의 지역 관제사(Local Controller)에게 무선교신 이양되는데, 이때 조종사의 착각으로 관제탑 관제사와의 교신 및 허가 없이 최종접근을 진행하거나, 활주로 착륙 허가를 관제사가 발부하지 않았음에도 최종확인, 실패접근, 복행 등의 후속 대응 없이 착륙을 계속 진행하는 경우도 발생한다. Also, an acoustic detection system is absent. In other words, the aircraft on the final approach route is transferred from the Arrival Controller at the Approach Control Center to the Local Controller at the Control Tower, which performs air control duties. In some cases, the final approach is carried out without permission, or the landing is continued without follow-up measures such as final confirmation, failed approach, go-around, etc., even though the controller has not issued permission to land on the runway.

현재의 항공교통관제용 음성교신 시스템은 조종사와 관제사간의 교신내용을 감시, 검증, 경고등의 기능이 부재하다. 출발인 경우에도 관제의 음성교신 허가 없이 활주로에 진입하거나, 이륙을 시도하는 행위 등에도 관제사의 시각적(육안, ASDE모니터)감시 외에는 경고수단이 부재하다. 유사 사고 사례를 들면, 인천공항에서 A330 항공기 관제사의 이륙 허가 없이 무단 이륙하였다(2019.7.22). 이 사고의 경우, 조종사가 다른 항공기의 이륙허가 발부내용을 착각한 것으로 추정된다.The current voice communication system for air traffic control lacks the functions of monitoring, verifying, and warning the contents of communication between pilots and controllers. Even in the case of departure, there is no warning means other than the controller's visual (visual, ASDE monitor) monitoring for entering the runway or attempting to take off without permission for voice communication from the controller. As an example of a similar accident, an A330 aircraft took off without permission from the controller at Incheon International Airport (July 22, 2019). In this case, it is presumed that the pilot misunderstood the issuance of take-off clearance for another aircraft.

또한, 통합 감시 시스템이 미비하다. 부연하면, 관제사의 관제업무 수행 시 공항 감시 레이더로부터 항공기 위치정보, 운항 스케줄정보를 획득하고 지속적인 감시를 통해 최종 접근경로 정상 접근상황을 파악한다. 하지만 소수의 공항에서만 CCTV(Closed Circuit Television)로 획득한 항공기 최종접근 항공기의 단순 영상정보를 활용하고, 음향탐지 시스템 또는 기기는 부재하여 별도로 사용하지 않는다. 이에 다수의 관제탑에서는 관제사의 육안 관측, 감시를 보완하기 위해 감독 관제사 또는 보조 관제사의 인원을 추가 투입하는 방식의 제한적인 대응을 하고 있다.In addition, the integrated monitoring system is insufficient. In other words, when the controller performs control duties, the aircraft location information and flight schedule information are obtained from the airport surveillance radar, and the normal approach situation of the final approach route is identified through continuous monitoring. However, only a small number of airports utilize simple image information of aircraft final approach acquired by CCTV (Closed Circuit Television), and do not use sound detection systems or devices separately because they do not exist. In response, many control towers are taking a limited response by adding additional supervisory controllers or auxiliary controllers to supplement the controller's visual observation and monitoring.

결론적으로 종래의 관제탑에서 수행하는 비행장관제업무 중 최종접근경로 상의 도착 항공기 감시업무는 관제탑의 국지관제사(Local Controller)의 공항 감시 레이다(ASR-Airport Surveillance Radar)감시와 육안감시에만 의존하는 한계가 있다.In conclusion, the task of monitoring arriving aircraft on the final approach path among the air control tasks performed by the conventional control tower has a limitation in relying only on the ASR (Airport Surveillance Radar) and visual monitoring of the local controller of the control tower. .

1. 한국등록특허번호 제10-2063158호(등록일자: 2019년12월31일)1. Korea Patent Registration No. 10-2063158 (registration date: December 31, 2019)

본 발명은 위에서 제시된 과제를 달성하기 위해, 공항감시 레이더의 탐지 한계(저고도, 데이터 처리 속도에 따른 시간차) 및/또는 저고도 구름 및 안개 등 시야차폐로 인한 관제사의 육안감시 한계를 극복할 수 있는 경로상 항공기 감시를 위한 공항 관제 시스템을 제공하는데 그 목적이 있다.In order to achieve the object presented above, the present invention provides a route that can overcome the limits of detection of airport monitoring radar (time difference according to low altitude and data processing speed) and/or the limits of visual monitoring of controllers due to obstruction of vision such as low altitude clouds and fog. Its purpose is to provide an airport control system for monitoring the above aircraft.

또한, 본 발명은 지속적인 항공기 접근 및 교통량 과다로 인한 관제사 피로에 기인한 인적 오류를 방지할 수 있는 경로상 항공기 감시를 위한 공항 관제 시스템을 제공하는데 다른 목적이 있다.In addition, another object of the present invention is to provide an airport control system for monitoring aircraft on a route capable of preventing human error due to controller fatigue due to continuous aircraft approach and excessive traffic.

또한, 본 발명은 관제사에 의존한 레이더 감시, 육안 감시로 지속적인 업무수행 한계를 극복할 수 있는 경로상 항공기 감시를 위한 공항 관제 시스템을 제공하는데 또 다른 목적이 있다.In addition, another object of the present invention is to provide an airport control system for monitoring aircraft on a route that can overcome the limitations of continuous task performance by radar monitoring and visual monitoring dependent on a controller.

또한, 본 발명은 항공교통관제 및 사고예방에 필요한 정보(엔진의 가동 여부(온도, 연기, 화염), 착륙등 점등, 바퀴내림 정상, 항공기 접근 음향)의 추가 획득을 가능하게 하는 경로상 항공기 감시를 위한 공항 관제 시스템을 제공하는데 또 다른 목적이 있다.In addition, the present invention monitors aircraft on a route that enables additional acquisition of information necessary for air traffic control and accident prevention (engine operation status (temperature, smoke, flame), landing light on, wheel lowering normal, aircraft approaching sound) Another purpose is to provide an airport control system for

또한, 본 발명은 파노라마뷰(Panoramic View), 게이트뷰(Gate View) 및 어라운드뷰(Around View) 영상을 컴퓨터 비전 영상인식 기술 기반으로 분석 후 다양한 알고리즘을 적용하여 경고 시스템을 구축해 관제사 담당 구역 내 비정상상황에 대한 대응 능력 향상에 기여할 수 있는 공항 관제 시스템을 제공하는데 다른 목적이 있다.In addition, the present invention analyzes Panoramic View, Gate View, and Around View images based on computer vision image recognition technology, and then builds a warning system by applying various algorithms to build an abnormality in the controller's area. Another purpose is to provide an airport control system that can contribute to improving response capabilities to situations.

또한, 본 발명은 초고해상도 영상 촬영으로 확보한 데이터를 기반으로 컴퓨터비전 영상인식 기술을 활용해 항공기를 포함한 다수의 이동물체 인식, 추적하여 영상 기반으로 분석된 데이터를 다양한 표출 방식으로 관제사에게 제공할 수 있는 공항 관제 시스템을 제공하는데 또 다른 목적이 있다.In addition, the present invention recognizes and tracks a number of moving objects, including aircraft, by utilizing computer vision image recognition technology based on data obtained by ultra-high resolution image shooting, and provides the image-based analyzed data to the controller in various expression methods. Another purpose is to provide an airport control system that can

또한, 본 발명은 합성 가공된 게이트뷰(Gate View) 영상을 컴퓨터비전 영상인식 기술 기반으로 게이트 내의 다양한 (항공기, 견인트럭, 터그카, 달리, ULD(Unit Load Device), GPU(Ground Power Unit), 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및 존재 유무를 해당 항공편 운항 데이터와 결합하여 분석 및 학습함으로써 운항 상황을 예측하며 이를 A-CDM((Airport Collaborative Decision Making)과 연계하여 정시성 달성에 기여할 수 있는 공항 관제 시스템을 제공하는데 또 다른 목적이 있다.In addition, the present invention is based on computer vision image recognition technology to synthesize and process Gate View images into various (aircraft, tow trucks, tug cars, Dali, ULD (Unit Load Device), GPU (Ground Power Unit)) , cargo, water supply truck, sewage truck, catering truck, garbage truck, cargo loader, ladder, step car, etc.) is combined with the flight operation data to analyze and learn to predict the operation situation, and A-CDM Another purpose is to provide an airport control system that can contribute to achieving punctuality in connection with (Airport Collaborative Decision Making).

본 발명은 위에서 제시된 과제를 달성하기 위해, 공항감시 레이더의 탐지 한계(저고도, 데이터 처리 속도에 따른 시간차) 및/또는 저고도 구름 및 안개 등 시야차폐로 인한 관제사의 육안감시 한계를 극복할 수 있는 최종접근 경로의 항공기를 감시 및 경고하는 공항관제시스템을 제공한다.In order to achieve the object presented above, the present invention provides a final solution that can overcome the limits of detection of airport surveillance radar (time difference according to low altitude and data processing speed) and / or the limits of visual surveillance of controllers due to obstruction of vision such as low altitude clouds and fog. It provides an airport control system that monitors and warns aircraft on the approach route.

상기 공항관제시스템은, The airport control system,

활주로의 중심으로부터 연장되는 연장선상에 있는 고도 제한 구역으로 진입하는 항공기를 센싱하여 센싱 정보를 생성하는 센서계를 포함하며, 상기 제 1 센서 및 상기 제 2 센서는 상기 활주로의 선단에 배치되고, 상기 제 3 센서는 공항감시 레이더이다.and a sensor system for generating sensing information by sensing an aircraft entering a height restricted area on an extension line extending from the center of the runway, wherein the first sensor and the second sensor are disposed at the tip of the runway, The third sensor is an airport surveillance radar.

또한, 상기 센서계는, 상기 센싱 정보 중 상기 항공기에서 발생하는 음향 정보를 탐지하는 제 1 센서; 및 상기 센싱 정보 중 상기 항공기에 대한 영상 정보를 획득하는 제 2 센서;를 포함하는 것을 특징으로 한다.In addition, the sensor system may include: a first sensor for detecting acoustic information generated in the aircraft among the sensing information; and a second sensor for obtaining image information about the aircraft among the sensing information.

또한, 상기 센서계는, 상기 센싱 정보 중 상기 항공기에 대한 위치 정보를 획득하는 제 3 센서;를 포함하는 것을 특징으로 한다. 상기 제 3 센서는 공항감시 레이더인 것을 특징으로 한다.In addition, the sensor system is characterized in that it includes; a third sensor for acquiring the position information of the aircraft among the sensing information. The third sensor is characterized in that the airport monitoring radar.

또한, 상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보와 상기 고도 제한 구역은 영역이 동일하게 설정되는 것을 특징으로 한다.In addition, the image information, the sound information, and the location information are characterized in that the area is set to be the same as the height restriction zone.

또한, 상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보를 상기 항공기의 기준 정보와 비교하는 것을 특징으로 한다.In addition, it is characterized in that the image information, the sound information, and the location information are compared with the reference information of the aircraft.

또한, 상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보는 공항의 기상 정보, 주변 특이 소음 및 교통량을 포함하는 운영 환경 정보에 따라 미리 설정되는 가중치가 가감 적용되며, 도착-도착, 도착-출발, 출발-출발 항공기의 분리간격이 가감되는 것을 특징으로 한다.In addition, the image information, the sound information, and the location information are added or subtracted with preset weights according to operational environment information including airport weather information, ambient noise, and traffic volume, and arrival-arrival, arrival-departure, It is characterized in that the separation interval between departing and departing aircraft is increased or decreased.

또한, 상기 기준 정보는 과거 정상 착륙 항공기 정보, 표준 경로 정보, 고도 제한 구역 정보, 및 관제사 설정 정보를 포함하는 것을 특징으로 한다.In addition, the reference information is characterized in that it includes past normal landing aircraft information, standard route information, altitude restricted area information, and controller setting information.

본 발명에 따르면, 기존의 비행장관제업무 방식과 시스템을 개선하여 영상(열화상), 음향정보를 모두 활용하여 자동 비교감시, 경고를 지속적으로 제공하기 때문에 야간, 악기상 조건에 의한 시야차폐 등 육안감시 한계, 공항근접지역 및 장애물로 인할 레이더 탐지 한계, 지속적인 항공기 접근에 따른 업무피로와 이로 인한 인적 오류 발생을 경감하여 항공기 사고와 비정상 상황을 방지하고, 사고발생 시에도 관제사의 신속한 후속 대응이 가능하다.According to the present invention, by improving the existing air control control work method and system, using both video (thermal image) and sound information, automatic comparative monitoring and warnings are continuously provided, so that visual monitoring such as obstruction of vision due to nighttime and severe weather conditions Prevents aircraft accidents and abnormal situations by reducing radar detection limits due to limitations, airport proximity and obstacles, work fatigue due to continuous aircraft approach, and human errors caused by it, and enables controllers to respond promptly even in the event of an accident do.

또한, 본 발명의 다른 효과로서는 공항감시 레이더의 장애가 발생한 경우 빛(착륙등/Landing Light), 열(엔진, 연소가스), 소리(엔진소음, 착륙소음, 충돌소리), 영상(항공기 위치, 고도, 자세, 바퀴내림) 탐지를 통해 항공교통안전을 확보하고, 공항의 수용량(Capacity)을 유지 및 정상 운영을 담보할 수 있으며, 레이더 이외의 시스템 장애 발생 시에도 상호 보완하여 정상적인 감시가 가능하다는 점을 들 수 있다.In addition, other effects of the present invention include light (landing light/landing light), heat (engine, combustion gas), sound (engine noise, landing noise, collision sound), video (aircraft position, altitude) when an airport surveillance radar failure occurs , posture, wheel down) detection to secure air traffic safety, maintain airport capacity and guarantee normal operation, and ensure normal surveillance by complementing each other even in the event of a system failure other than radar. can be heard

또한, 본 발명의 또 다른 효과로서는 관제사의 레이더 및 육안감시로만 비행장 관제업무를 수행할 경우 감독관제사 또는 2명 이상의 관제사를 중복 배치하는 대신에 관제의 업무량 경감과 이에 따른 피로관리 및 근무시간 연장의 효과가 있을 뿐만 아니라, 공항의 중요 전문인력인 항공교통 관제사의 인력을 줄이거나 재배치하는 비용절감의 효과가 있다는 점을 들 수 있다.In addition, as another effect of the present invention, when the airfield control task is performed only by the controller's radar and visual monitoring, instead of redundantly deploying a supervisory controller or two or more controllers, the workload of the controller is reduced and consequently fatigue management and work hours are extended. In addition to being effective, it can be pointed out that there is an effect of cost reduction by reducing or redeploying the manpower of air traffic controllers, an important professional manpower at the airport.

또한, 본 발명의 또 다른 효과로서는 컴퓨터비전 영상인식 기술을 활용하여 관제사의 상황 인지력 향상시킴으로써 담당 관제구역의 통제력을 강화할 수 있고, 다양한 경고 및 알림 기능으로 인적 오류 예방, 비정상상황의 대응능력을 향상시킬 수 있고, 공항 대형화로 인해 빈번히 발생하는 항공기의 유도로 오진입을 예방할 수 있다.In addition, as another effect of the present invention, it is possible to strengthen the control of the control area in charge by improving the situation awareness of the controller by using computer vision image recognition technology, and to improve the ability to prevent human errors and respond to abnormal situations through various warning and notification functions. In addition, it is possible to prevent misentry by taxiing of aircraft, which frequently occurs due to the enlargement of the airport.

또한, 본 발명의 또 다른 효과로서는 음성인식 기술을 활용하여 관제지시 준수 여부 확인 및 경고 기능으로 비정상상황 인지 및 대응능력을 향상시킬 수 있다는 점을 들 수 있다.In addition, another effect of the present invention is that it is possible to improve the ability to recognize and respond to abnormal situations by using voice recognition technology to check compliance with control instructions and a warning function.

또한, 본 발명의 또 다른 효과로서는 해당 시스템 도입 시 증가된 관제사의 상황 인지력과 비정상 상황 대응능력은 1인당 관제 처리량 증가로 이어지며 이로 인해 종합적인 지연감소와 공항운영능력의 향상을 기대할 수 있다는 점을 들 수 있다.In addition, another effect of the present invention is that the controller's situational awareness and ability to respond to abnormal situations, which are increased when the system is introduced, lead to an increase in control throughput per person, and as a result, overall delay reduction and improved airport operation capability can be expected. can be heard

또한, 본 발명의 또 다른 효과로서는 비행장 전용 컴퓨터 비전 강화학습 및 알고리즘 확보를 통해 향후 표준으로 발전할 수 있는 규격 확보가 가능하다는 점을 들 수 있다.In addition, another effect of the present invention is that it is possible to secure specifications that can be developed into standards in the future through securing computer vision reinforcement learning and algorithms exclusively for airfields.

또한, 본 발명의 또 다른 효과로서는 기존의 제어장치와 더불어 영상인식기술을 활용한 모션제어, 음성제어 방식을 적용하여 관제사가 Head-up을 유지한 상태에서 특정 모션과 음성으로 주요 관제시스템의 기능을 입력, 수정, 제어하는 방식으로 개선한다는 점을 들 수 있다.In addition, as another effect of the present invention, motion control and voice control methods using image recognition technology are applied in addition to the existing control device, so that the controller maintains the head-up, and the main control system functions with specific motion and voice. It can be mentioned that it is improved by inputting, modifying, and controlling.

도 1은 본 발명의 일실시예에 따른 스마트 공항 관제 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 관리 서버의 세부 구성도이다.
도 3은 도 1에 도시된 관제탑 서버의 세부 구성도이다.
도 4는 도 3에 도시된 처리부의 세부 구성도이다.
도 5는 본 발명의 일실시예에 따른 접근경로의 측면 개념도이다.
도 6은 도 5에 도시된 접근경로의 평면 개념도이다.
도 7은 본 발명의 일실시예에 따른 경로상 항공기를 감시하는 과정을 보여주는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 경로상 항공기를 감시하는 화면예이다.
1 is a block diagram of a smart airport control system according to an embodiment of the present invention.
FIG. 2 is a detailed configuration diagram of the management server shown in FIG. 1 .
3 is a detailed configuration diagram of the control tower server shown in FIG. 1;
FIG. 4 is a detailed configuration diagram of a processing unit shown in FIG. 3 .
5 is a side conceptual diagram of an access path according to an embodiment of the present invention.
FIG. 6 is a plan conceptual view of the access route shown in FIG. 5 .
7 is a flowchart illustrating a process of monitoring an aircraft on a route according to an embodiment of the present invention.
8 is an example of a screen for monitoring an aircraft on a route according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 표시된 구성요소의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다.Advantages and features of the present invention, and methods for achieving them, will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only the present embodiments make the disclosure of the present invention complete, and those skilled in the art in the art to which the present invention belongs It is provided to fully inform the person of the scope of the invention, and the invention is only defined by the scope of the claims. The sizes and relative sizes of components shown in the drawings may be exaggerated for clarity of explanation.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.Like reference numbers designate like elements throughout the specification, and “and/or” includes each and every combination of one or more of the recited items.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다" 및/또는 "구성된다"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Terms used in this specification are for describing embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. The referenced components, steps, operations, and/or elements that “comprise” and/or “comprise” as used in the specification do not exclude the presence or addition of one or more other components, steps, operations, and/or elements. .

비록 제1, 제2 등의 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 대해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소와 구별하기 위하여 사용되는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Although used to describe various components such as first and second, these components are not limited to these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may also be the second component within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used in a meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 인식 기술을 이용한 공항 관제 시스템을 상세하게 설명하기로 한다.Hereinafter, an airport control system using recognition technology according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 스마트 공항 관제 시스템(100)의 구성 블럭도이다. 도 1을 참조하면, 스마트 공항 관제 시스템(100)은 센서계(120). 통신망(130), 관리 서버(140), 관제탑 서버(150) 등을 포함하여 구성될 수 있다.1 is a block diagram of a smart airport control system 100 according to an embodiment of the present invention. Referring to FIG. 1, the smart airport control system 100 is a sensor system 120. It may be configured to include a communication network 130, a management server 140, a control tower server 150, and the like.

센서계(120)는 제 1 내지 제 n 센서(120-1 내지 120-n)로 구성된다. 제1 내지 제 n 센서(120-1 내지 120-n)는 항공기(110) 그뿐만 아니라 게이트 내의 다양한 물체(항공기, 견인트럭, 터그카, 달리, ULD(Unit Load Device), GPU(Ground Power Unit), 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및/또는 존재 유무, 조종사의 복명복창 등을 감지하는 기능을 수행한다. The sensor system 120 is composed of first to nth sensors 120-1 to 120-n. The first to nth sensors 120-1 to 120-n may not only detect the aircraft 110 but also various objects (aircraft, tow truck, tug car, Dali, Unit Load Device (ULD), Ground Power Unit (GPU)) in the gate. ), cargo, water supply truck, sewage truck, catering truck, garbage truck, cargo loader, ladder, step car, etc.)

이를 위해 제 1 내지 제 n 센서(120-1 내지 120-n)는 디지털 카메라, CCTV(Closed Circuit Television), 음성 센서, 적외선 카메라, 열화상 센서, 위치 센서 등이 될 수 있다. CCTV(Closed Circuit Television)는 고정형 CCTV, 열화상 CCTV, 하이브리드 PTZ(Pan-Tilt-Zoom) 카메라등이 될 수 있다. 고정형 CCTV는 관제사 시야와 동일한 View 구성, 360° 파노라마 영상 구성, AR 통한 관제정보 제공, 주기장 감시 영상 제공 등을 위해 사용될 수 있다. 열화상 CCTV는 저시정 상황 시 시야 재현, 360° 파노라마 영상 구성, AR 통한 관제정보 제공 등을 위해 사용될 수 있다. 하이브리드 PTZ(Pan-Tilt-Zoom) 카메라는 대상 추적 영상 제공, 실화상 및 열화상 전환을 위해 사용될 수 있다.To this end, the first to nth sensors 120-1 to 120-n may be a digital camera, closed circuit television (CCTV), voice sensor, infrared camera, thermal image sensor, position sensor, or the like. CCTV (Closed Circuit Television) may be a fixed type CCTV, a thermal imaging CCTV, a hybrid PTZ (Pan-Tilt-Zoom) camera, and the like. Fixed CCTV can be used to configure the same view as the controller's field of view, configure 360° panoramic image, provide control information through AR, and provide parking lot monitoring images. Thermal imaging CCTV can be used for vision reproduction, 360° panoramic image composition, and control information provision through AR in low visibility situations. Hybrid PTZ (Pan-Tilt-Zoom) cameras can be used to provide target tracking images and convert between visible and thermal images.

물론, 제 1 내지 제 n 센서(120-1 내지 120-n)는 일부 블럭으로 구성될 수도 있다.Of course, the first to nth sensors 120-1 to 120-n may be composed of some blocks.

통신망(130)은 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다, The communication network 130 means a connection structure capable of exchanging information between each node, such as a plurality of terminals and servers, such as a public switched telephone network (PSTN), a public switched data network (PSDN), and an integrated information communication network (ISDN: Integrated Services Digital Networks), Broadband ISDN (BISDN), Local Area Network (LAN), Metropolitan Area Network (MAN), Wide LAN (WLAN), etc. there is,

그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망, 블루투쓰(bluetooth), NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.However, the present invention is not limited thereto, and wireless communication networks CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), Wibro (Wireless Broadband), WiFi (Wireless Fidelity), HSDPA (High Speed Downlink Packet Access) ) network, Bluetooth, NFC (Near Field Communication) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, and the like. Alternatively, it may be a combination of these wired communication networks and wireless communication networks.

관리 서버(140)는 통신망(130)에 연결되는 센서계(120), 단말, 서버들로부터 음성 정보, 영상 정보, 기상 정보, 운항 정보, 항공기 정보 등을 수집하여 데이터베이스(141)에 저장하고, 다수의 이동객체 인식, 분석 및 추적하며 이를 기반으로 데이터를 분석하여 분석 제공 정보를 생성하는 기능을 수행한다. The management server 140 collects voice information, video information, weather information, flight information, aircraft information, etc. from the sensor system 120, terminals, and servers connected to the communication network 130 and stores them in the database 141, It recognizes, analyzes, and tracks a number of moving objects, analyzes data based on this, and generates analysis-provided information.

여기서, 이동 객체는 물체뿐만 아니라 사람을 포함할 수 있는 개념이다. 또한, 운항 정보, 항공기 정보 등은 항공기(110) 자체의 정보, 항공기(110)의 동작, 이동 경로 등을 나타내는 비행 정보에 포함될 수 있다.Here, the moving object is a concept that may include not only an object but also a person. In addition, flight information, aircraft information, and the like may be included in flight information representing information about the aircraft 110 itself, operation of the aircraft 110, and a moving route.

특히, 관리 서버(140)는 기존의 감시장비(ASR(automatic speech recognition), ASDE(Airport Surface Detection Equipment), MLAT(multilateration), ADS-B(Automatic Dependent Surveillance-Broadcast))에서 비행 정보를 획득할 수도 있다.In particular, the management server 140 obtains flight information from existing monitoring equipment (automatic speech recognition (ASR), airport surface detection equipment (ASDE), multilateration (MLAT), automatic dependent surveillance-broadcast (ADS-B)). may be

물론, 도 1에서는 관리 서버(140)를 관제탑 서버(150)와 분리하여 구성하였으나, 관리 서버(140)를 관제탑 서버(150)에 병합하여 구성하는 것도 가능하다.Of course, in FIG. 1, the management server 140 is configured separately from the control tower server 150, but it is also possible to configure the management server 140 by merging with the control tower server 150.

관제탑 서버(150)는 계류장(Apron)내에서 항공기(110)의 엔진 시동, 후방견인 허가, 항공기 이동허가, 주 관제탑에 관제권 이양, 제방빙 지원, 견인 통제 및 지원 등의 업무를 수행하기 위한 뷰정보를 제공한다. 따라서, 관제탑 서버(150)는 각 계류장마다 설치될 수도 있고, 하나의 관제탑 서버(150)로 여러 개의 계류장을 관리할 수도 있다. 관제탑 서버(150)가 서버 이중화 구조로 이루어질 수 있다. 서버 이중화는 물리적 또는 논리적인 서버(또는 LAPR) 등을 구성하여 하나의 서비스에 장애가 발생하는 경우 다른 서버를 통해 서비스를 지속 가능하게 한다.The control tower server 150 is a view for performing tasks such as starting the engine of the aircraft 110 in the apron, permitting rear towing, permitting aircraft movement, transferring control authority to the main control tower, supporting deicing and anti-icing, and towing control and support. Provide information. Accordingly, the control tower server 150 may be installed for each apron, or multiple aprons may be managed with one control tower server 150. The control tower server 150 may have a server redundancy structure. Server redundancy configures a physical or logical server (or LAPR), etc., so that if a failure occurs in one service, the service can be continued through another server.

계류장은 공항내에서 여객 승하기, 화물, 우편물의 적재 및 적하, 급유, 주기, 제방빙(항공기 표면의 눈, 얼음 및 서리를 제거하고 생성을 방지하는 작업) 또는 정비 등의 목적으로 항공기가 이용할 수 있도록 설정된 구역을 말한다. 후방견인은 출발 항공기를 견인 차량으로 뒤로 밀어 유도로 상에 위치시키는 작업을 말한다.The apron is used by aircraft for the purpose of boarding and unloading passengers, loading and unloading cargo and mail, refueling, parking, de-icing (removing and preventing snow, ice and frost from forming on the surface of the aircraft) or maintenance. refers to an area that has been set up to be Rear towing refers to the operation of pushing an outgoing aircraft backward with a towing vehicle and positioning it on a taxiway.

관제탑 서버(150)는 관리 서버(140)로부터 전송되는 분석 제공 정보와 비행정보를 이용하여 생성된 운항 상황 정보에 기반한 뷰정보를 관제사에게 제공한다. 운항 상황 정보는 분석 제공 정보와 비행정보를 병합하여 항공기(110)의 위치, 이동 경로, 상태 등을 보여준다. The control tower server 150 provides the controller with view information based on flight condition information generated using flight information and analysis provided information transmitted from the management server 140 . The flight situation information shows the location, movement route, state, etc. of the aircraft 110 by merging analysis provided information and flight information.

이러한 운항 상황 정보를 합성 기술 활용해 파노라마뷰(Panoramic View), 게이트뷰(Gate View) 및 어라운드뷰(Around View)로 가공하여 다수의 패널로 구성된 울트라 와이드(Ultra Wide) 디스플레이에 출력한다. 따라서, 관제사로 하여금 관제업무수행시 담당 관제구역내 감시 능력의 강화로 상황 인지력을 극대화시킨다.This operational situation information is processed into a Panoramic View, Gate View, and Around View using synthesis technology, and then output to an ultra-wide display composed of multiple panels. Therefore, situational awareness is maximized by strengthening the monitoring capability in the control area in charge when the controller performs control duties.

도 2는 도 1에 도시된 관리 서버(140)의 세부 구성도이다. 도 2를 참조하면, 관리 서버(140)는 통신부(210), 수집부(220), 분석부(230), 분석 제공 정보 생성부(240), 출력부(250) 등을 포함하여 구성될 수 있다. 통신부(210)는 통신망(130)과 통신 연결을 수행하는 기능을 수행한다. 이를 위해, 통신부(210)는 랜카드, 모뎀 등을 포함하여 구성될 수 있다.FIG. 2 is a detailed configuration diagram of the management server 140 shown in FIG. 1 . Referring to FIG. 2 , the management server 140 may include a communication unit 210, a collection unit 220, an analysis unit 230, an analysis providing information generation unit 240, an output unit 250, and the like. there is. The communication unit 210 performs a function of performing a communication connection with the communication network 130 . To this end, the communication unit 210 may include a LAN card, a modem, and the like.

수집부(220)는 통신부(210)를 통해 통신망(130)과 연결되는 단말, 서버들로부터 데이터(즉 정보)를 수집하는 기능을 수행한다. 수집되는 데이터로는 음성 정보, 영상 정보, 기상 정보, 운항 정보, 항공기 정보, 비행정보 등이 될 수 있으며, 수집부(220)는 이러한 수집 데이터를 데이터베이스(141)에 저장한다. The collection unit 220 performs a function of collecting data (ie, information) from terminals and servers connected to the communication network 130 through the communication unit 210 . The collected data may include audio information, image information, weather information, flight information, aircraft information, and flight information, and the collection unit 220 stores such collected data in the database 141.

데이터베이스(141)는 관리 서버(140) 자체내에 구성될 수도 있고, 별도의 데이터베이스 서버로 구성될 수도 있다. 수집 데이터는 공항에서 생성, 수집되는 항공정보와 상호 연계된다. 이들 데이터로는 영상자료, 항적 데이터, 비행 및 공항 자원 데이터, AFL(AirField Lighting) 데이터, 기상 데이터, 음성 통신 데이터 등이 될 수 있다.The database 141 may be configured within the management server 140 itself or may be configured as a separate database server. Collected data is interconnected with aviation information generated and collected at the airport. These data may include image data, traffic data, flight and airport resource data, AFL (AirField Lighting) data, weather data, voice communication data, and the like.

- 영상자료 : 다수의 초고해상도 360도 광학 이미지 합성, 다기능 고배율 카메라 사용- Video data: Synthesis of multiple super-resolution 360-degree optical images, use of multifunctional high-magnification cameras

- 항적 데이터 : 계류장 관제 플랫폼, ASDE(Airport Surface Detection Equipment), ADS-B(Automatic Dependent Surveillance-Broadcast)), MLAT(multilateration), 레이저 거리측정기(LASER RANGE FINDER), ASDE-EFS(Electronic Flight Strip), ASDE-EFS는 항공기 운항 관제정보, 항공기 출발 도착 정보, 특정지점 항공기 시간정보 등을 포함한다.- Track data: Apron control platform, ASDE (Airport Surface Detection Equipment), ADS-B (Automatic Dependent Surveillance-Broadcast), MLAT (multilateration), LASER RANGE FINDER, ASDE-EFS (Electronic Flight Strip) , ASDE-EFS includes aircraft operation control information, aircraft departure and arrival information, and aircraft time information at a specific point.

- 비행 및 공항자원 데이터 : 계류장 관제 플랫폼, IIS(Integrated Information System), FDT(Flight Data Terminal), 항공고시보(NOTAM:Notice to Airman), ATFM(Air Traffic Flow Management and Airspace Management), IIS는 일일운항편, 출발/도착 램프 출입시간, 출발 및 도착편 운항, A-CDM(Airport Collaborative Decision Making) 정보, 활주로 마찰계수, 탑승구 ON/OFF, 이동지역 차량, 이동지역 작업계획, 운항 스케쥴 등을 들 수 있다.- Flight and airport resource data: Apron control platform, IIS (Integrated Information System), FDT (Flight Data Terminal), NOTAM (Notice to Airman), ATFM (Air Traffic Flow Management and Airspace Management), IIS Operational flight, departure/arrival ramp access time, departure and arrival flight operation, A-CDM (Airport Collaborative Decision Making) information, runway friction coefficient, boarding gate ON/OFF, moving area vehicle, moving area work plan, flight schedule, etc. there is.

- 항공등화(AFL: AirField Lighting) 데이터 : A-SMGCS(Advanced-Surface Movement Guidance and Control System)- Aviation lighting (AFL: AirField Lighting) data: A-SMGCS (Advanced-Surface Movement Guidance and Control System)

- 기상 데이터 : 공항 기상 관측 장비(Aerodrome Meteorological Observation System, AMOS), 저고도 윈드시어 경보시스템(Low Level Windshear Alert System, LLWAS, 공항기상 레이더(Terminal Doppler Weather Radar, TDWR)- Weather data: Aerodrome Meteorological Observation System (AMOS), Low Level Windshear Alert System (LLWAS), Terminal Doppler Weather Radar (TDWR)

- 음성통신 데이터: VCCS(Voice Communication Control System)- Voice communication data: VCCS (Voice Communication Control System)

분석부(230)는 수집된 수집 데이터를 분석하여 이동 물체의 종류, 움직임, 위치 등의 정보를 추출한다. 분석부(230)는 실시간으로 수집부(220)로부터 수집 데이터를 전송받을 수 있으며, 데이터베이스(141)로부터 해당 데이터를 검색하여 획득할 수도 있다.The analysis unit 230 analyzes the collected data and extracts information such as the type, motion, and location of the moving object. The analysis unit 230 may receive collected data from the collection unit 220 in real time, and may search for and obtain corresponding data from the database 141 .

분석 제공 정보 생성부(240)는 분석부(230)에 생성된 분석 정보를 바탕으로 관제탑 서버(150)에 제공할 분석 제공 정보를 생성한다. 즉, 이동 객체의 움직임 및 위치를 포함하는 분석 제공 정보를 생성한다.The analysis provided information generation unit 240 generates analysis provided information to be provided to the control tower server 150 based on the analysis information generated by the analysis unit 230 . That is, analysis providing information including the motion and position of the moving object is generated.

출력부(250)는 처리중인 정보를 표시하거나 설정 메뉴, 입력 메뉴 등을 나타내는 화면을 표시하는 기능을 수행한다. 이를 위해, 출력부(250)는 디스플레이, 사운드 시스템 등을 포함하여 구성될 수 있다. 디스플레이는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, PDP(Plasma Display Panel), OLED(Organic LED) 디스플레이, 터치 스크린, CRT(Cathode Ray Tube), 플렉시블 디스플레이, 마이크로 LED, 미니 LED 등이 될 수 있다. 이때, 터치 스크린의 경우, 입력 수단으로도 사용될 수 있다. The output unit 250 performs a function of displaying information being processed or displaying a screen indicating a setting menu, an input menu, and the like. To this end, the output unit 250 may include a display, a sound system, and the like. Displays include LCD (Liquid Crystal Display), LED (Light Emitting Diode) display, PDP (Plasma Display Panel), OLED (Organic LED) display, touch screen, CRT (Cathode Ray Tube), flexible display, micro LED, mini LED, etc. This can be. At this time, in the case of a touch screen, it can also be used as an input means.

도 2에 도시된 수집부, 분석부, 분석 제공 정보 생성부는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.The collection unit, the analysis unit, and the analysis providing information generation unit shown in FIG. 2 refer to units that process at least one function or operation, and may be implemented in software and/or hardware. In hardware implementation, ASIC (application specific integrated circuit), DSP (digital signal processing), PLD (programmable logic device), FPGA (field programmable gate array), processor, microprocessor, other It may be implemented as an electronic unit or a combination thereof. In software implementation, software component components (elements), object-oriented software component components, class component components and task component components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, data , databases, data structures, tables, arrays, and variables. Software, data, etc. may be stored in memory and executed by a processor. The memory or processor may employ various means well known to those skilled in the art.

도 3은 도 1에 도시된 관제탑 서버(150)의 세부 구성도이다. 도 3을 참조하면, 관제탑 서버(150)는, 입력부(310), 처리부(320), 뷰생성부(330), 저장부(340), 통신부(360) 등을 포함하여 구성될 수 있다.FIG. 3 is a detailed configuration diagram of the control tower server 150 shown in FIG. 1 . Referring to FIG. 3 , the control tower server 150 may include an input unit 310, a processing unit 320, a view generator 330, a storage unit 340, a communication unit 360, and the like.

입력부(310)는 관제사의 명령을 입력하는 기능을 수행한다. 따라서 입력부(310)는 마우스, 키보드, 마이크, 모션 센서 등이 될 수 있다. 따라서, 관제사는 마우스, 키보드 등을 이용하지 않고, 음성, 모션 등을 통해서도 명령을 입력할 수 있다. 일반적으로, 관제사는 헤드 다운, 헤드 업 등으로 모니터를 확인하고 마우스 클릭 및/또는 키보드 조작을 통해 결과를 확인하는 방식이었다. 이 경우, 관제사의 주시 방위와 차이가 있는 방위로 표출됨에 따라 관제사는 지속적인 방위 및 차원 인지 부조화(Orientational Difference와 Dimensional Difference)상황하에서 관제업무를 수행해야 한다. 이는 관제사의 상황 인지력에 악영향을 미침과 동시에 관제사 워크로드 증가로 이어지게 되며 결국 관제업무 효율에 큰 영향을 미친다.The input unit 310 performs a function of inputting a controller's command. Accordingly, the input unit 310 may be a mouse, keyboard, microphone, or motion sensor. Accordingly, the controller may input commands through voice or motion without using a mouse or keyboard. In general, the controller checks the monitor by head-down or head-up and checks the result through mouse click and/or keyboard operation. In this case, as it is expressed as a direction that is different from the controller's gaze direction, the controller must perform control tasks under the situation of continuous orientation and dimensional perception incongruity (Orientational Difference and Dimensional Difference). This adversely affects the controller's situational awareness and at the same time leads to an increase in the controller's workload, which eventually has a great impact on the efficiency of the control task.

본 발명의 일실시예에서는 마우스, 키보드 등을 사용하지 않고 관제사의 모션(제스처를 포함함), 음성 등을 통해 명령을 입력할 수 있다. 따라서, 관제사가 Head-up을 유지한 상태에서 특정 모션과 음성으로 주요 관제시스템의 기능을 입력, 수정, 제어할 수 있다.In one embodiment of the present invention, a command may be input through a controller's motion (including gestures) or voice without using a mouse or keyboard. Therefore, the controller can input, modify, and control the functions of the main control system with specific motion and voice while maintaining the head-up.

처리부(320)는 통신부(360)를 통해 전달된 분석 제공 정보와 비행정보를 이용하여 운항 상황을 예측하는 기능을 수행한다. The processing unit 320 performs a function of predicting flight conditions using the analysis provided information and flight information transmitted through the communication unit 360 .

뷰생성부(330)는 운항 상황을 그래픽(영상을 포함할 수 있음)으로 보여주는 뷰정보를 생성하는 기능을 수행한다. 뷰정보는 파노라마뷰(351), 주기장뷰(352), 어라운드뷰(353), 추적용 CCTV뷰(354) 등을 포함하여 구성될 수 있다. 뷰정보는 실제 촬영된 영상, 가상 영상 등을 이용한 가상 현실(VR: Virtual Reality), 증강 현실(AR: augmented reality), 가상현실과 증강현실을 혼합한 혼합 현실(MR: Mixed Reality)로 표현될 수 있다. 실제 촬영된 영상은 FHD(Full High Definition) 이상의 해상도를 보유한 다수의 실화상 카메라 및 열화상 카메라를 사용해 획득된 초고해상도 전방위 비디오 기반 감시(Video-Based Surveillance) 영상이될 수 있다.The view generator 330 performs a function of generating view information showing navigation conditions in graphics (which may include images). The view information may include a panoramic view 351, a parking lot view 352, an around view 353, a CCTV view 354 for tracking, and the like. View information can be expressed as Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR), which combines virtual reality and augmented reality. can The actual captured image may be an ultra-high resolution omnidirectional video-based surveillance image obtained using a plurality of visual and thermal imaging cameras having a resolution of FHD (Full High Definition) or higher.

이를 이용하여 다음과 같이 표출될 수 있다.Using this, it can be expressed as follows.

- 전방위 합성 영상 및 다양한 영상에 각종 데이터 오버레이 형식으로 표출- Display in omnidirectional composite video and various data overlay formats on various videos

- 항공기를 포함하여 움직이는 이동 객체의 탐지 및 트래킹- Detection and tracking of moving moving objects, including aircraft

- 실제 탐지 및 트래킹 데이터와 각종 데이터 연동해 실시간 표출- Real-time display by linking actual detection and tracking data with various data

- 기상 데이터(풍향 및 풍속, 활주로 가시거리(RVR: Runway Visual Range), 윈드시어, 마이크로버스트 경고 등) 표출- Display of weather data (wind direction and speed, runway visual range (RVR), wind shear, microburst warning, etc.)

- 시야제한 상황 발생시 열영상 활용 및 가상항적 표출- Utilization of thermal image and display of virtual track in case of restricted visibility situation

- 게이트 정보 및 A-CDM((Airport Collaborative Decision Making) (TTOT(Target Take Off Time), TSAT(Target Start Up Approval Time)) 관련 정보 표출- Gate information and A-CDM (Airport Collaborative Decision Making) (TTOT (Target Take Off Time), TSAT (Target Start Up Approval Time)) related information display

- 관제용 주파수 설정값 및 송출여부 표출- Frequency setting value for control and display of transmission status

- 개별 라우팅 정보(INDIVIDUAL ROUTING)를 포함하는 각종 등화 표출- Display of various lights including individual routing information (INDIVIDUAL ROUTING)

- CPDLC(Controller Pilot Data Link Communications) 데이터 표출- CPDLC (Controller Pilot Data Link Communications) data display

- 각 게이트별 CCTV 영상 표출- CCTV video display for each gate

또한, 뷰정보는 고해상도 CCTV에서 획득한 영상과 기존 관제 시스템을 통한 다양한 항공 정보를 AI(컴퓨터비전), AR 및 영상 합성 기술을 적용하여 통합 표출한다. 관제사뷰인 파노라마뷰(351)는 개별 카메라(즉 CCTV) 영상을 합성한 관제권역 전체의 단일뷰이며, 증강현실을 이용하여 가독성을 높일 수 있다. 주기장뷰(352)는 시야차폐 주기장에 대한 모니터링을 가능하게 하는 뷰이며, 항공기 상황별 필요 정보를 제공할 수 있으며, AI(Artificial Intelligence) 기술을 적용한 푸시백 상황 모니터링 및 알림이 가능하다.In addition, view information is integrated and expressed by applying AI (computer vision), AR, and image synthesis technology to various aerial information obtained from high-resolution CCTV and existing control systems. The panoramic view 351, which is the controller's view, is a single view of the entire control area in which individual camera (ie, CCTV) images are synthesized, and readability can be improved by using augmented reality. The apron view 352 is a view that enables monitoring of an apron where the field of view is blocked, can provide necessary information for each aircraft situation, and enables push-back situation monitoring and notification using AI (Artificial Intelligence) technology.

어라운드뷰인 계류장뷰(353)는 3D 가상공간을 이용하여 게이트 전체 항공기 표출 상태를 보여주는 뷰이며, 항공기의 이동경로를 표출하고, 게이트별 스케쥴 및 상태 정보를 보여줄 수 있다.The apron view 353, which is an around view, is a view that shows the aircraft display status of the entire gate using a 3D virtual space, and can display the aircraft's moving route and show schedule and status information for each gate.

추적용 CCTV뷰(354)는 입항중인 항공기를 자동으로 추적하여 보여주는 뷰이며, 상황인지 대상에 대한 영상 자동 추적을 보여주고, 관제사의 필요에 의한 계류장 영상을 보여줄 수 있다.The CCTV view 354 for tracking is a view that automatically tracks and shows an aircraft entering a port, and can show automatic image tracking for a situation-aware object and show an apron image according to the needs of a controller.

저장부(340)는 분석 제공 정보와 비행정보를 이용하여 운항 상황을 예측하는 알고리즘을 갖는 프로그램, 소프트웨어, 데이터 등을 저장하는 기능을 수행한다. The storage unit 340 performs a function of storing programs, software, data, etc. having an algorithm for predicting flight conditions using analysis provided information and flight information.

저장부(340)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage), 클라우드 서버와 관련되어 동작할 수도 있다.The storage unit 340 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD (Secure Digital) or XD (eXtreme Digital) memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read Only Memory), PROM (Programmable Read Only Memory) ), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium. In addition, it may operate in relation to a web storage and a cloud server that perform a storage function on the Internet.

도 3을 계속 참조하면, 통신부(360)는 통신망(130)과 통신 연결을 수행하는 기능을 수행한다. 이를 위해, 통신부(360)는 랜카드, 모뎀 등을 포함하여 구성될 수 있다.Still referring to FIG. 3 , the communication unit 360 performs a function of establishing a communication connection with the communication network 130 . To this end, the communication unit 360 may include a LAN card, a modem, and the like.

도 4는 도 3에 도시된 처리부(320)의 세부 구성도이다. 도 4를 참조하면, 처리부(320)는 데이터 인식 모듈(410), 데이터 분석 모듈(420), 운항 상황 정보 생성 모듈(430) 등을 포함하여 구성될 수 있다.FIG. 4 is a detailed configuration diagram of the processing unit 320 shown in FIG. 3 . Referring to FIG. 4 , the processing unit 320 may include a data recognition module 410 , a data analysis module 420 , a navigation condition information generation module 430 , and the like.

데이터 인식 모듈(410)은 관리 서버(140)로부터 전송된 데이터에 대해(분석 제공 정보, 비행정보 등을 들 수 있음)에 대해 음성 인식, 영상 인식, 상황 인지 등을 수행한다. 음성 인식으로는 VCCS 및 TRS 음성정보의 TEXT 정보 전환, 호출부호(Callsign) 식별을 통한 통신대상 식별, 관제지시와 복명복창의 일치여부 판독이 될 수 있다. 호출부호(Callsign)는 항공기와 관제소간에 교신을 할 때 그 항공기의 소속 항공사와 편명을 명확하게 알리기 위한 호출부호이다. 부연하면, 관제통신서버(VCCS)에서 실시간 교신 내용을 수집하여 잡음을 제거하고, 특징을 추출하고, 추출된 특징의 패턴을 비교하여 텍스트화한다. 또한, 관제 지시에 대한 구문을 분석한다. The data recognition module 410 performs voice recognition, image recognition, situational awareness, etc. on the data transmitted from the management server 140 (analysis provision information, flight information, etc.). Voice recognition can be used to convert VCCS and TRS voice information into TEXT information, identify communication targets through callsign identification, and read whether control instructions and recovery windows match. Callsign is a call sign to clearly inform the airline and flight number of the aircraft when communicating between the aircraft and the control center. In other words, the control communication server (VCCS) collects real-time communication contents, removes noise, extracts features, and compares patterns of the extracted features to convert them into text. In addition, it analyzes the syntax for control instructions.

복명복창의 일치여부는 관제사와 조종사간 리드백을 통해 이루어지며 다음과 같다.Whether or not the reports are consistent is made through read-back between the controller and the pilot, and is as follows.

Figure pat00001
Figure pat00001

음성 인식의 경우, 다음과 같은 절차가 수행된다.In the case of voice recognition, the following procedure is performed.

- 관제사 개인별 음성인식 및 식별 후 HMI(Human Machine Interface) 자동 로그인/아웃- Automatic log-in/out of HMI (Human Machine Interface) after voice recognition and identification of individual controllers

- 관제용어 음성인식 후 각종 항공기 정보 및 기타 운항정보 제공- Provides various aircraft information and other flight information after voice recognition of control terms

- 관제용어 음성인식의 경우 항공교통관제 용어와 절차를 분석 및 파악하여 텍스트로 변환작업을 거치고, 관제사와 조종사간의 교신 음성 내용을 분석 및 일치여부 확인- In the case of control terminology voice recognition, air traffic control terminology and procedures are analyzed and identified, converted into text, and the voice contents of communication between the controller and pilot are analyzed and matched.

- 관제 교신 중 복명복창(리드백(Read Back)) 절차를 거쳐 인식된 항공기 정보를 토대로 현재 교신 중인 항공기 정보를 AR 모니터에서 표출 가능- Aircraft information currently being communicated can be displayed on the AR monitor based on the aircraft information recognized through the Read Back procedure during control communication.

- AR 내에서 해당 3D 모델링 된 항공기 하단에 항공기 정보 표출- Aircraft information is displayed at the bottom of the 3D modeled aircraft in AR

영상 인식으로는 수신되는 영상에서 확인 가능한 항공기 및 차량에 대한 정보 식별, 계류장내 비정상 상황에 대한 인지 등이 될 수 있다. 상황 인지로는 충돌예측 인지 및 알림, 비정상 상황 인지 및 알림, 관제지시 불이행 인지 및 알림 등이 될 수 있다.Image recognition can be information identification of aircraft and vehicles that can be confirmed from received images, recognition of abnormal situations in the apron, and the like. Situational awareness may include collision prediction awareness and notification, abnormal situation awareness and notification, and control instruction non-compliance awareness and notification.

모션 인식은 손관절(Hand Tracking)을 통해 이루어질 수 있다. 즉, 주먹, 손가락 개수, 움직임이 될 수 있다. 따라서, 미리 정해진 손 모양으로 명령어를 전달한다. 예를 들면, 주먹을 쥐면 화면 이동 중단이 수행되고, 손가락 방향(검지)에 따라 AR 위치를 이동시킨다. 손바닥을 펴면 화면을 확대하고 모으면 축소된다. Motion recognition may be performed through hand tracking. That is, it can be a fist, number of fingers, or movement. Therefore, a command is transmitted in a predetermined hand shape. For example, when a fist is closed, screen movement is stopped, and the AR position is moved according to the direction of the finger (index finger). Open your palm to enlarge the screen and bring it together to zoom out.

데이터 분석 모듈(420)은 데이터 인식 모듈(410)에 의해 식별된 데이터를 이용하여 분석을 수행한다. 부연하면, 분석을 통해, 운항 상황 정보를 생성한다. 이 경우, 지도맵 정보와 운항 상황 정보를 합성한다.The data analysis module 420 performs analysis using the data identified by the data recognition module 410 . To elaborate, operational situation information is generated through analysis. In this case, map map information and navigation status information are synthesized.

또한, 데이터 분석 모듈(420)은 조종사-관제사간 음성 교신을 실시간으로 분석하여 비정상 상황 감지, 조종사의 복명복창 일치 여부 판별, 관제지시와 등화 점등 검증, 및 항공기 이동상황 검증 등을 수행한다.In addition, the data analysis module 420 analyzes the voice communication between the pilot and the controller in real time to detect an abnormal situation, determine whether the pilot's report is consistent, verify control instructions and lighting, and verify aircraft movement conditions.

또한, 데이터 분석 모듈(420)은 공항 건물 등과 같은 물리적인 장애물로 인한 LoS(Line of Sight) 시야 차폐, 기상현상(안개, 강우 및 강설 등)으로 인한 시야 차폐를 AI(Computer Vision)기술을 활용한 대상 인식 및 분석, AR(Augmented Reality)기술 및 디지털 트윈 기술을 활용한 가상 오브젝트(윤곽선 또는 오브젝트 3D 모델링 등)를 생성한다. 따라서, 관제사 시야차폐를 극복할 수 있다. In addition, the data analysis module 420 utilizes AI (Computer Vision) technology to block the line of sight (LoS) due to physical obstacles such as airport buildings and the shielding of the line of sight due to weather phenomena (fog, rain and snow, etc.) It creates virtual objects (contours or object 3D modeling, etc.) using one object recognition and analysis, AR (Augmented Reality) technology, and digital twin technology. Therefore, it is possible to overcome the obstruction of the controller's view.

디지털 트윈 기술은 컴퓨터에 현실속 사물의 쌍둥이를 만들고, 현실에서 발생할 수 있는 상황을 컴퓨터로 시뮬레이션함으로써 결과를 미리 예측하는 기술이다. Digital twin technology is a technology that predicts results in advance by creating twins of objects in the real world on a computer and simulating situations that can occur in reality with a computer.

또한, 데이터 분석 모듈(420)은 합성 가공된 Gate View 영상을 컴퓨터비전 영상인식 기술 기반으로 게이트 내의 다양한 물체(항공기, 견인트럭, 터그카, 달리, ULD, GPU. 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및 존재 유무를 해당 항공편 운항 데이터와 결합하여 분석 및 학습함으로써 운항 상황을 예측하며 이를 A-CDM과 연계한다. 학습은 일반적으로 딥러닝 기술을 이용하나, 이에 한정되는 것은 아니고 머신 러닝도 사용될 수 있다.In addition, the data analysis module 420 converts the synthesized Gate View image to various objects in the gate (aircraft, tow truck, tug car, Dali, ULD, GPU, cargo, water supply truck, sewage truck, Catering trucks, garbage trucks, cargo loaders, ladders, step cars, etc.) are combined with flight operation data to analyze and learn to predict the operation situation and link it with A-CDM. Learning generally uses deep learning technology, but is not limited thereto, and machine learning may also be used.

운항 상황 정보 생성 모듈(430)은 데이터 분석 모듈(420)에 의해 생성된 데이터를 이용하여 운항 상황 정보를 생성하는 기능을 수행한다. 부연하면, 관제사의 시야와 각종 시스템 데이터 간 차원 차이로 발생하는 인지 부조화, 다수의 독립된 장비와 개별 입력 장비조작에 따른 헤드다운(Head-Down)에 기인한 인적 오류, 공항 내 터미널 등 물리적인 구조물에 의한 시야차폐, 기상(안개, 강우, 강설)현상으로 인한 시야 제한 상황등을 극복하기 위해 공항 내의 주요 관제 시스템과 운항 정보 시스템의 정보를 통합한다. 통합된 정보는 AI, AR 기반 컴퓨터비전 영상인식 및 음성인식 기술을 융합하여 관제사의 전면 시야에 다중화면으로 구성된 텔레스코픽 디스플레이에 표시된다.The navigation situation information generating module 430 performs a function of generating navigation situation information using the data generated by the data analysis module 420 . To elaborate, cognitive dissonance caused by the dimensional difference between the controller's field of view and various system data, human error due to head-down due to the manipulation of multiple independent equipment and individual input equipment, and physical structures such as terminals in airports Information from the main control system and flight information system in the airport is integrated in order to overcome situations such as obstruction of vision and restricted visibility due to meteorological phenomena (fog, rain, snow). The integrated information is displayed on a multi-screen telescopic display in the controller's front field of view by converging AI, AR-based computer vision image recognition and voice recognition technologies.

따라서, 실시간 통합 정보화면 제공, 각종 알림, 경고 시스템 도입, 비접촉(Touch-less) 제어 방식 적용, 단순·직관적인 인터페이스등이 적용될 수 있다.Therefore, real-time integrated information screen provision, various notifications, warning system introduction, touch-less control method application, simple and intuitive interface, etc. can be applied.

도 4에 도시된 데이터 인식 모듈(410), 데이터 분석 모듈(420), 운항 상황 정보 생성 모듈(430)은 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.The data recognition module 410, the data analysis module 420, and the navigation situation information generation module 430 shown in FIG. 4 refer to units that process at least one function or operation, and are implemented in software and/or hardware. It can be. In hardware implementation, ASIC (application specific integrated circuit), DSP (digital signal processing), PLD (programmable logic device), FPGA (field programmable gate array), processor, microprocessor, other It may be implemented as an electronic unit or a combination thereof. In software implementation, software component components (elements), object-oriented software component components, class component components and task component components, processes, functions, properties, procedures, subroutines, segments of program code, drivers, firmware, microcode, data , databases, data structures, tables, arrays and variables. Software, data, etc. may be stored in memory and executed by a processor. The memory or processor may employ various means well known to those skilled in the art.

도 5는 본 발명의 일실시예에 따른 접근경로의 측면 개념도이다. 도 5를 참조하면, 활주로(510)의 시단에 센서계(120) 중 제 1 센서(120-1) 및 제 2 센서(120-2)가 배치된다. 활주로(510)의 선단에는 활주로(510) 중심으로부터 연장되는 연장선(530)이 지면상에 표시된다. 이 연장선(530)상에 일정한 각도로 비스듬하게 항공기(110)를 활공하게 하는 활공각을 갖는 고도 제한 구역(520)이 정해진다.5 is a side conceptual diagram of an access path according to an embodiment of the present invention. Referring to FIG. 5 , a first sensor 120-1 and a second sensor 120-2 of the sensor system 120 are disposed at the start of the runway 510. At the front end of the runway 510, an extension line 530 extending from the center of the runway 510 is displayed on the ground. An altitude restriction zone 520 having a glide angle that allows the aircraft 110 to glide obliquely at a certain angle on this extension line 530 is determined.

이 고도 제한 구역(520)에 최종 접근 경로(521)가 존재한다.A final access route 521 exists in this altitude restricted area 520.

제 1 센서(120-1)는 음향 센서이고, 제 2 센서(120-2)는 카메라가 될 수 있다. 카메라는 열화상, 영상인식 복합 기능의 지능형 CCTV가 될 수 있다. 물론, 스테레오 카메라를 이용하여 항공기(110)와 활주로(510)의 선단간 거리를 계산할 수도 있다. 부연하면, 두 카메라 축과 렌즈축이 같은 방향으로 정렬된 두 대의 카메라를 이용하여 동일 대상체를 촬영한 후, 두 영상의 영상 편차(Image disparity)를 이용하여 두 대의 카메라가 영상을 바라보는 각도를 구하고, 두 대의 카메라가 떨어진 위치와 이 각도 정보를 이용하여 카메라에서 대상체까지 거리를 계산한다. 물론, 간단하게 거리 센서를 CCTV와 함께 구성하여 항공기(110)와 활주로(510)의 선단간 거리를 계산할 수도 있다. The first sensor 120-1 may be a sound sensor, and the second sensor 120-2 may be a camera. The camera can be an intelligent CCTV with thermal imaging and image recognition complex functions. Of course, the distance between the tips of the aircraft 110 and the runway 510 may be calculated using a stereo camera. In other words, after taking pictures of the same object using two cameras whose axes of the two cameras and the axis of the lens are aligned in the same direction, the angle at which the two cameras view the image is determined using the image disparity of the two images. and calculate the distance from the camera to the object using the distance between the two cameras and this angle information. Of course, the distance between the tips of the aircraft 110 and the runway 510 may be calculated simply by configuring a distance sensor together with a CCTV.

거리 센서는 일반적으로 레이저 센서가 될 수 있으며, 이러한 레이저 센서로 항공기의 거리를 탐지할 수 있다. 또한, 이러한 지능형 CCTV 및/또는 레이저 센서를 이용함으로써 접근거리에 따른 항공기의 기종별 접근 상황을 탐지할 수 있다. The range sensor can generally be a laser sensor, and the distance of the aircraft can be detected with such a laser sensor. In addition, by using such an intelligent CCTV and / or laser sensor, it is possible to detect the approach situation of each type of aircraft according to the approach distance.

또한, 카메라를 이용하여, 활주로(510)로부터 약 5마일 이내 근거리 접근하는 항공기(110)의 착륙등(Landing Light)의 점등 여부를 탐지한다. 일반적으로 착륙등은 백색광으로 대형기에서는 대부분 주날개 전연(前緣) 또는 주날개 아래쪽에 붙어 있다.In addition, by using the camera, it is detected whether the landing light (Landing Light) of the aircraft 110 approaching within about 5 miles from the runway 510 is turned on. In general, landing lights are white light, and in large aircraft, most of them are attached to the leading edge of the main wing or the lower part of the main wing.

또한, 카메라를 이용하여, 활주로(510)로부터 약 5마일 이내 근거리 접근하는 항공기(110)의 엔진화재 등 비정상 고열, 빛 발생 여부를 탐지한다. 또한, 카메라를 이용하여, 활주로(510)로부터 약 3마일 이내 근거리 접근하는 항공기(110)의 착륙자세를 탐지하고, 활주로(510)로부터 약 3마일 이내 근거리 접근하는 항공기(110)의 바퀴내림을 탐지한다.In addition, by using the camera, abnormal high heat such as an engine fire of an aircraft 110 approaching a short distance within about 5 miles from the runway 510 and light generation are detected. In addition, the camera is used to detect the landing posture of the aircraft 110 approaching within about 3 miles from the runway 510 and to detect the wheel lowering of the aircraft 110 approaching within about 3 miles from the runway 510. detect

음향 센서는 항공기 이착륙 시 발생하는 엔진 출력소리, 비정상 상황 및 사고시 발생하는 특정소리를 탐지하는 기능을 수행한다. 또한, 음향 센서는 활주로(510)로부터 약 3마일 이내 근거리 접근하는 항공기(110)의 기종별 엔진소음을 탐지하며, 항공기 복행(Go Around), 실패접근(Missed Approach) 시 발생하는 엔진 출력 증가 등의 엔진 특이소음도 탐지할 수 있다. 또한, 항공기의 지상충돌, 항공기간 충돌 등 비정상 소음도 탐지하며, 출발항공기 이륙시 발생하는 엔진출력 증가 등의 소음을 탐지할 수 있다. The acoustic sensor performs a function of detecting engine output sounds generated during take-off and landing, and specific sounds generated during abnormal situations and accidents. In addition, the acoustic sensor detects engine noise for each type of aircraft 110 approaching within a short distance of about 3 miles from the runway 510, and increases engine output generated when the aircraft goes around or misses approach. It can also detect specific engine noise. In addition, it detects abnormal noise such as an aircraft's ground collision and an aircraft's collision, and detects noise such as an increase in engine power generated when a departing aircraft takes off.

도 6은 도 5에 도시된 접근경로의 평면 개념도이다. 도 6을 참조하면, 활주로(510)의 시단에 센서계(120) 중 제 1 센서(120-1) 및 제 2 센서(120-2)가 나란히 배치된다. 활주로(510)의 선단에는 활주로(510) 중심으로부터 연장되는 연장선(530)이 지면상에 표시된다. 연장선은 상기 활주로의 중심선을 따라 연장되고, 상기 고도제한구역 은 상기 연장선으로부터 일정각도로서 상기 활주로부터 멀어질수록 폭이 증가하도록 좌우 대칭선을 따라 형성된 영역이다.FIG. 6 is a plan conceptual view of the access path shown in FIG. 5 . Referring to FIG. 6 , a first sensor 120-1 and a second sensor 120-2 of the sensor system 120 are disposed side by side at the start of the runway 510. At the front end of the runway 510, an extension line 530 extending from the center of the runway 510 is displayed on the ground. The extension line extends along the center line of the runway, and the height restriction zone is a region formed along a left-right symmetrical line at a predetermined angle from the extension line so that its width increases as the distance from the runway increases.

이 연장선(530)상에 일정한 각도로 비스듬하게 항공기(110)를 활공하게 하는 활공각을 갖는 고도 제한 구역(520)이 정해진다. 이 고도 제한 구역(520)의 중심에 최종 접근 경로(521)가 존재한다. 일반적으로 고도 제한 구역(520)은 위에서 보면 길쭉한 이등변 사각형의 형태를 띠게 되나, 원추형 기둥 형태가 된다. An altitude restriction zone 520 having a glide angle that allows the aircraft 110 to glide obliquely at a certain angle on this extension line 530 is determined. A final approach route 521 exists at the center of this altitude restricted area 520. In general, the height restriction zone 520 takes the form of an elongated isosceles rectangle when viewed from above, but becomes a conical column shape.

특히, 고도 제한 구역(520)은 가상 3차원으로 활주로별 최종접근경로에 설정하고 기상조건 및 교통상황에 따른 사용자(관제사)의 재설정이 가능하다. In particular, the height restriction zone 520 can be set in a virtual three-dimensional final approach route for each runway and reset by a user (controller) according to weather conditions and traffic conditions.

도 5 및 도 6에는 도시되지 않았으나, 제 3 센서(120-3)가 구성된다. 제 3 센서(120-3)는 공항감시 레이더가 될 수 있다. 통상적으로 공항 감시 레이더는 종류별로 다양하나 통상적으로 공항중심으로부터 주항적(primary track)은 약 60마일, 보조 항적(Secondary track)은 약 200마일 이내의 공중의 항공기를 탐지한다. 하지만, 지상 또는 공항에 근접한 저고도 항공기등의 비행체를 탐지하는 데는 한계가 있다. Although not shown in FIGS. 5 and 6, a third sensor 120-3 is configured. The third sensor 120-3 may be an airport surveillance radar. Typically, airport surveillance radars vary by type, but typically detect aircraft in the air within about 60 miles of a primary track and about 200 miles of a secondary track from the center of an airport. However, there is a limit to detecting an aircraft such as a low-altitude aircraft close to the ground or an airport.

공항 감시 레이다(ASR-Airport Surveillance Radar)는 항공기(110)의 위치, 고도 등을 탐지하며, 항공기(110)에 설치된 트랜스폰더(미도시)를 이용하여 실시간 항공기의 위치정보를 탐지할 수 있다. 또한, 공항감시 레이다는 항공기 운항정보시스템(FOIS, IIS)와 연계되어 해당 편명, 출발 공항, 도착 공항, 활주로(510) 등의 스케줄 정보를 표출할 수 있다. 공항 감시 레이다는 기상 정보 시스템(AMOS:Aerodrome Meterological Observation System)과 연계되어 해당 바람, 시정, 운고 등의 실시간 기상정보를 표출할 수 있다.The airport surveillance radar (ASR-Airport Surveillance Radar) detects the position and altitude of the aircraft 110, and can detect the location information of the aircraft in real time using a transponder (not shown) installed in the aircraft 110. In addition, the airport monitoring radar can display schedule information such as the corresponding flight number, departure airport, arrival airport, and runway 510 in connection with an aircraft operation information system (FOIS, IIS). The airport surveillance radar can display real-time weather information such as wind, visibility, and ceiling in connection with the Aerodrome Meterological Observation System (AMOS).

도 7은 본 발명의 일실시예에 따른 경로상 항공기(110)를 감시하는 과정을 보여주는 흐름도이다. 도 7을 참조하면, 항공기(110)가 고도 제한 구역(520)으로 진입함에 따라 제 1 센서(120-1), 제 2 센서(120-2), 및 제 3 센서(120-3)를 통해 각각 음향 정보, 영상 정보, 위치 정보를 취득하고, 이를 통합 분석한다(단계 S710). 7 is a flowchart illustrating a process of monitoring an aircraft 110 on a route according to an embodiment of the present invention. Referring to FIG. 7 , as the aircraft 110 enters the altitude restricted area 520, through the first sensor 120-1, the second sensor 120-2, and the third sensor 120-3. Acquisition of sound information, image information, and location information, respectively, and integral analysis of them (step S710).

부연하면, 제 1 센서(120-1)(예를 들면, 음향 센서)로 탐지되는 음향 정보는 최종 접근경로 방향으로 활주로(510)로부터 약 3마일부터 상기의 고도 제한구역(520)을 동일하게 설정하여 비교분석한다.In other words, the acoustic information detected by the first sensor 120-1 (eg, acoustic sensor) is the same for the altitude restricted area 520 from about 3 miles from the runway 510 in the direction of the final approach route. Set up and compare.

이륙 항공기의 이륙소리(엔진출력 증가, 바퀴 굴림 등)특성을 비교분석한다. 지상충돌, 엔진출력 증가(복행) 등 특이 소음도 통상의 상황과 비교분석한다. Comparatively analyze the take-off sound (engine power increase, wheel rolling, etc.) characteristics of take-off aircraft. Specific noises such as ground collisions and increased engine output (going around) are also compared and analyzed with normal situations.

또한, 제 2 센서(120-2)(예를 들면, 열화상 영상인식 카메라)로 탐지되는 영상정보와 상기의 고도 제한 구역(520)을 동일하게 설정하여 비교분석한다. 또한, 제 3 센서(120-3)(예를 들면, 공항감시 레이더)로 탐지되는 위치 정보와 상기의 고도 제한 구역(520)을 동일하게 설정하여 비교분석한다.In addition, the image information detected by the second sensor 120-2 (for example, a thermal image recognition camera) and the altitude restricted area 520 are set to be the same and compared and analyzed. In addition, the location information detected by the third sensor 120-3 (eg, airport surveillance radar) and the altitude restriction zone 520 are set to be the same and compared and analyzed.

특히, 본 발명의 일실시예에서는, AI(Artificial Intelligence) 머신러닝 기술 응용하여 정상적인 항공기 접근 영상정보, 이착륙 단계별 소리정보, 공항감시 레이더상의 위치정보를 통합적으로 감시, 분석한다. In particular, in one embodiment of the present invention, by applying AI (Artificial Intelligence) machine learning technology, normal aircraft approach image information, sound information at each stage of takeoff and landing, and location information on airport surveillance radar are integrally monitored and analyzed.

AI 머신러닝 기술 응용하여 통합된 정보를 바탕으로 사전 설정된 항공기간 분리치, 즉 도착-도착, 도착-출발, 출발-출발 항공기의 분리간격 유지 여부를 통합적으로 감시한다.Based on the integrated information by applying AI machine learning technology, it monitors whether or not the separation distance between arrival-arrival, arrival-departure, and departure-departure aircraft is maintained in advance.

또한, 공항의 기상, 주변 특이소음, 교통량등 운영 환경을 고려하여 3가지 정보의 가중치 및 항공기 분리간격을 가감하여 자동 설정하고, 상황에 따라 사용자(관제사) 재설정이 가능하다In addition, the weight of three types of information and the aircraft separation interval are automatically set by considering the operating environment such as airport weather, ambient noise, and traffic volume, and the user (controller) can reset them according to the situation.

한편, 이러한 비교 분석을 위해 머신 러닝으로 학습된 비교를 위한 기준 데이터인 기준 정보가 데이터베이스로 구현된다(단계 S720,S730). 부연하면, 여러 상황에 따른 다양한 데이터를 획득하여 학습을 통해 최적의 기준 정보를 생성하는 것이다. 최적의 기준 정보는 과거 정상 착륙 항공기 정보, 표준 경로 정보, 고도 제한 구역 정보, 및 관제사 설정 정보등이 될 수 있다. Meanwhile, for this comparative analysis, reference information, which is reference data for comparison learned through machine learning, is implemented as a database (steps S720 and S730). In other words, it is to acquire various data according to various situations and generate optimal reference information through learning. The optimal reference information may be information of past normal landing aircraft, standard route information, altitude restricted area information, and controller setting information.

이후, AI 머신러닝 기술 응용하여 동일 기종 항공기의 특성을 반영하고, 동일기종의 최단직전시간 정상 착륙한 영상정보, 소리정보, 위치정보가 있을 경우 해당정보를 최우선 비교 분석한다. 직전 시간대에 접근 항공기가 중복되는 경우 항공기 기종-세부기종(Sub-Series)-항공사 일치여부를 확인하여 최적의 비교대상을 분류하여 통합적으로 비교분석한다(단계 S740).Afterwards, by applying AI machine learning technology, the characteristics of aircraft of the same type are reflected, and if there is video information, sound information, and location information that landed normally in the shortest time of the same type, the corresponding information is compared and analyzed first. If approaching aircraft overlap in the previous time zone, aircraft type-sub-series-airline matching is checked to classify the optimal comparison target for comprehensive comparative analysis (step S740).

단계 S740에서 비교 분석결과, 탐지된 영상, 음향, 위치 정보 중 제한구역 또는 범위를 초과하는 상황이 탐지된 경우 사용자(관제사)에게 1차적으로 알람 정보를 제공하여 상황인식, 추가대응, 집중감시를 하도록 지원한다(단계 S750). 알람 정보는 소리, 문자, 및 그래픽의 조합으로 표출된다. 소리 알람은 해당 항공기 편명, 위치, 간략한 상황을 TTS로 가공하여 감독 관제사가 실제 목소리로 전달하는 방식과 동일하게 제공할 수 있다.As a result of comparative analysis in step S740, if a restricted area or a situation exceeding the range is detected among the detected video, sound, and location information, alarm information is primarily provided to the user (controller) to enable situational awareness, additional response, and intensive monitoring. It supports to do (step S750). Alarm information is expressed as a combination of sounds, texts, and graphics. The sound alarm can be provided in the same way as the supervising controller delivers the actual voice by processing the flight number, location, and brief situation of the aircraft into TTS.

예1: 대한항공123편 Final 3마일 랜딩라이트 미감지 발생 알림 Example 1: Korean Air Flight 123 Final 3-mile Landing Light Undetected Occurrence Notification

예2: 대한항공123편 Final 1마일 복행 소음 발생 알림 Example 2: Korean Air Flight 123 Final 1 mile round trip noise notification

예3: 대한항공123편 Final 3마일 경로 우측 이탈 발생 알림 Example 3: Korean Air Flight 123 Final 3 mile route departure notification

예4: 대한항공123편 Final 7마일 분리간격 초과 발생 알림 Example 4: Korean Air Flight 123 Final 7 Mile Separation Exceeded Notification

예5: 대한항공123편 Final 3마일 고도 이탈 발생 알림 Example 5: Korean Air Flight 123 Notification of Final 3-mile Altitude Deviation Occurrence

문자 알람은 항공기 위치 표출 화면에 팝업 형태의 문자를 색상 변경, 깜빡거림 등으로 설정하여 사용자의 상황인식과 후속대응이 신속하게 이루어지도록 한다. 소리와 문자의 알람은 동시에 표출하여 그 효과를 배가할 수 있다. 해당 알람은 사용자의 인지(Acknowledge)가 있을 때까지 지속된다. 인지는 해당 알림 팝업의 인지 기능 버튼 클릭으로 인식할 수 있다.The text alarm sets the text in the form of a pop-up on the aircraft location display screen to change color or blink, so that the user's situational awareness and follow-up response are made quickly. Sound and text alarms can be displayed at the same time to double the effect. The corresponding alarm continues until there is an acknowledgment by the user. Awareness can be recognized by clicking the cognitive function button of the corresponding notification popup.

도 8은 본 발명의 일실시예에 따른 경로상 항공기를 감시하는 화면예이다. 즉, 감시 모니터 화면(810)의 예이다. 도 8을 참조하면, 감시 모니터 화면(810)은 기본적으로 4분할하여 구성하고, 사용자 설정에 따라 분할 화면의 수와 크기는 변경이 가능하다. 8 is an example of a screen for monitoring an aircraft on a route according to an embodiment of the present invention. That is, it is an example of the monitoring monitor screen 810 . Referring to FIG. 8 , the surveillance monitor screen 810 is basically configured by dividing into four parts, and the number and size of the divided screens can be changed according to user settings.

감시 모니터 화면(810)은 관제탑(800)에 설치된 디스플레이에 출력되며, 공항감시 레이더(120-3)로부터 획득된 항공기 접근 순서에 따른 운항정보를 나타내는 좌측상단화면(812), 공항감시 레이더로부터 획득된 항공기의 위치정보를 나타내는 좌측하단화면(813), 카메라로부터 획득된 영상정보를 나타내는 우측상단화면(811), 음향 센서(120-1)으로부터 획득된 음향정보를 나타내는 우측하단화면(814)으로 이루어질 수 있다.The monitoring monitor screen 810 is output on the display installed in the control tower 800, and the upper left screen 812 showing flight information according to the aircraft approach sequence obtained from the airport monitoring radar 120-3, obtained from the airport monitoring radar The lower left screen 813 showing the location information of the aircraft, the upper right screen 811 showing the image information obtained from the camera, and the lower right screen 814 showing the sound information obtained from the sound sensor 120-1. It can be done.

위치, 영상, 음향정보의 비정상적인 탐지에 따른 경고는 소리, 문자, 및 그래픽으로 자동 표출될 수 있다. 또한, 일반영상과 열화상은 동시표출을 기본으로 하고 사용자 설정에 따라 분리하여 각기 다른 화면에 표출가능하다.Warnings based on abnormal detection of location, video, and sound information can be automatically expressed in sound, text, and graphics. In addition, the general video and the thermal image are based on simultaneous display, and can be separated and displayed on different screens according to user settings.

센서계 및 다수의 감시 장비등으로부터 탐지된 모든 개별정보와 통합 분석된 정보는 데이터베이스(141)에 저장되며, 항공 교통 관제시 스템과 동일하게 30일 기본 저장과 순차적인 삭제가 이루어진다.All individual information and integrated and analyzed information detected from the sensor system and multiple monitoring devices are stored in the database 141, and basic storage for 30 days and sequential deletion are performed in the same way as the air traffic control system.

분석이 필요한 경우 특정시간, 항공기 기종-세부기종(Sub-Series)-항공사 일치여부를 확인하여 최적의 비교대상을 분류하고 해당 정보를 AI분석엔진(미도시)으로 전달한다. 항공기 사고 등의 조사가 필요한 경우 선택된 항공기의 개별 정보, 통합정보가 AI분석엔진으로 전달되고 이는 감시 모니터 화면 또는 별도의 화면으로 출력된다. 전달된 자료의 입출력 기록은 모두 저장된다. 사고 및 준사고 분석에 필요한 자료는 사용자의 설정에 따라 별도 저장/관리된다.If analysis is required, the aircraft type-sub-series-airline match is checked at a specific time, the optimal comparison target is classified, and the information is transmitted to the AI analysis engine (not shown). When investigations such as aircraft accidents are required, the individual information and integrated information of the selected aircraft are delivered to the AI analysis engine and displayed on the monitoring monitor screen or a separate screen. All input and output records of transmitted data are stored. Data necessary for analysis of accidents and quasi-accidents are stored/managed separately according to user settings.

또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. In addition, the steps of a method or algorithm described in connection with the embodiments disclosed herein are implemented in the form of program instructions that can be executed through various computer means such as a microprocessor, processor, CPU (Central Processing Unit), etc. It can be recorded on any available medium. The computer readable medium may include program (instruction) codes, data files, data structures, etc. alone or in combination.

상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다. The program (command) code recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs, DVDs, and Blu-rays, and ROMs and RAMs ( A semiconductor storage element specially configured to store and execute program (instruction) codes such as RAM), flash memory, or the like may be included.

여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Here, examples of the program (command) code include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware devices described above may be configured to act as one or more software modules to perform the operations of the present invention, and vice versa.

100: 스마트 공항 관제 시스템
120: 센서계 130: 통신망
140: 관리 서버 141: 데이터베이스
150: 관제탑 서버
210: 통신부 220: 수집부
230: 분석부 240: 분석 제공 정보 생성부
250: 출력부 310: 입력부
320: 처리부 330: 뷰생성부
340: 저장부
351: 파노라마뷰 352: 주기장뷰
353: 어라운드뷰 354: 추적용 CCTV(Closed Circuit Television)뷰
410: 데이터 인식 모듈 420: 데이터 분석 모듈
430: 운항 상황 정보 생성 모듈
510: 활주로 520: 고도 제한 구역
530: 연장선 521: 최종 접근 경로
100: smart airport control system
120: sensor system 130: communication network
140: management server 141: database
150: control tower server
210: communication unit 220: collection unit
230: analysis unit 240: analysis provision information generation unit
250: output unit 310: input unit
320: processing unit 330: view creation unit
340: storage unit
351: Panorama view 352: Main view
353: Around view 354: CCTV (Closed Circuit Television) view for tracking
410: data recognition module 420: data analysis module
430: Operation situation information generation module
510: runway 520: altitude restricted area
530: extension line 521: final approach route

Claims (7)

활주로(510)의 중심으로부터 연장되는 연장선(530)상에 있는 고도 제한 구역(520)으로 진입하는 항공기(110)를 센싱하여 센싱 정보를 생성하는 센서계(120);
상기 센서계(120)는,
상기 센싱 정보중 상기 항공기(110)에서 발생하는 음향 정보를 탐지하는 제 1 센서(120-1);
상기 센싱 정보중 상기 항공기(110)에 대한 영상 정보를 획득하는 제 2 센서(120-2); 및
상기 센싱 정보중 상기 항공기(110)에 대한 위치 정보를 획득하는 제 3 센서(120-3);
상기 제 1 센서(120-1) 및 상기 제 2 센서(120-2)는 상기 활주로(510)의 선단에 배치되고, 상기 제 3 센서(120-3)는 공항감시 레이더인 것을 특징으로 하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
A sensor system 120 for generating sensing information by sensing an aircraft 110 entering the altitude restricted area 520 on an extension line 530 extending from the center of the runway 510;
The sensor system 120,
A first sensor 120-1 detecting acoustic information generated from the aircraft 110 among the sensing information;
a second sensor 120-2 that obtains image information about the aircraft 110 from among the sensing information; and
a third sensor (120-3) for obtaining location information about the aircraft 110 from among the sensing information;
Characterized in that the first sensor 120-1 and the second sensor 120-2 are disposed at the tip of the runway 510, and the third sensor 120-3 is an airport surveillance radar,
An air traffic control system that monitors and warns aircraft on the final approach route.
제 1 항에 있어서,
상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보를 상기 항공기의 기준 정보와 비교하는 것을 특징으로 하는
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
According to claim 1,
Characterized in that the image information, the sound information, and the location information are compared with the reference information of the aircraft.
An air traffic control system that monitors and warns aircraft on the final approach route.
제 2 항에 있어서,
상기 기준 정보는 과거 정상 착륙 항공기 정보, 표준 경로 정보, 고도 제한 구역 정보, 및 관제사 설정 정보를 포함하는 것을 특징으로 하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
According to claim 2,
Characterized in that the reference information includes past normal landing aircraft information, standard route information, altitude restricted area information, and controller setting information.
An air traffic control system that monitors and warns aircraft on the final approach route.
제 3 항에 있어서,
상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보는 공항의 기상 정보, 주변 특이 소음 및 교통량을 포함하는 운영 환경 정보에 따라 미리 설정되는 가중치가 가감 적용되며, 도착-도착, 도착-출발, 출발-출발 항공기의 분리간격이 가감되는 것을 특징으로 하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
According to claim 3,
The image information, the sound information, and the location information are added or subtracted with preset weights according to operating environment information including airport weather information, ambient noise and traffic volume, and arrival-arrival, arrival-departure, departure- Characterized in that the separation interval of the departing aircraft is increased or decreased,
An air traffic control system that monitors and warns aircraft on the final approach route.
제 1 항에 있어서,
상기 연장선은 상기 활주로의 중심선을 따라 연장되고, 상기 고도제한구역 (520)은 상기 연장선으로부터 일정각도로서 상기 활주로부터 멀어질수록 폭이 증가하도록 좌우 대칭선을 따라 형성된 영역인 것을 특징을 하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
According to claim 1,
The extension line extends along the center line of the runway, and the height restriction area 520 is a region formed along a left-right symmetrical line so that the width increases as the distance from the runway increases at a predetermined angle from the extension line. Characterized in that,
An air traffic control system that monitors and warns aircraft on the final approach route.
제 5 항에 있어서,
상기 제 2 센서는 열화상 센서로서, 상기 항공기의 엔진 가동여부, 비정상 고열 발생을 탐지하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
According to claim 5,
The second sensor is a thermal image sensor, which detects whether or not the engine of the aircraft is running and the occurrence of abnormal high heat.
An air traffic control system that monitors and warns aircraft on the final approach route.
제 6 항에 있어서,
상기 제 1 센서 음향감지 센서로서, 상기 항공기의 엔진 가동여부, 비정상 고열 발생을 탐지하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
According to claim 6,
As the first sensor sound detection sensor, detecting whether or not the engine of the aircraft is running and the occurrence of abnormal high heat,
An air traffic control system that monitors and warns aircraft on the final approach route.
KR1020210119271A 2021-09-07 2021-09-07 Airport control System for monitoring aircraft on route KR102631327B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210119271A KR102631327B1 (en) 2021-09-07 2021-09-07 Airport control System for monitoring aircraft on route

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210119271A KR102631327B1 (en) 2021-09-07 2021-09-07 Airport control System for monitoring aircraft on route

Publications (2)

Publication Number Publication Date
KR20230036429A true KR20230036429A (en) 2023-03-14
KR102631327B1 KR102631327B1 (en) 2024-02-01

Family

ID=85502445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210119271A KR102631327B1 (en) 2021-09-07 2021-09-07 Airport control System for monitoring aircraft on route

Country Status (1)

Country Link
KR (1) KR102631327B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0966900A (en) * 1995-09-01 1997-03-11 Hitachi Ltd Flight condition monitoring method and device
KR20010043244A (en) * 1999-03-24 2001-05-25 다니구찌 이찌로오, 기타오카 다카시 Airport information automatic transmitter
KR20070114847A (en) * 2007-11-09 2007-12-04 샌델 애비아닉스 엘엘씨 Method of navigating an aircraft to land on a runway
KR20100045132A (en) * 2008-10-23 2010-05-03 백용현 Traffic monitoring system on the foggy area
KR102063158B1 (en) 2018-08-20 2020-01-07 주식회사 유니텍 System for monitoring Air Control System

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0966900A (en) * 1995-09-01 1997-03-11 Hitachi Ltd Flight condition monitoring method and device
KR20010043244A (en) * 1999-03-24 2001-05-25 다니구찌 이찌로오, 기타오카 다카시 Airport information automatic transmitter
KR20070114847A (en) * 2007-11-09 2007-12-04 샌델 애비아닉스 엘엘씨 Method of navigating an aircraft to land on a runway
KR20100045132A (en) * 2008-10-23 2010-05-03 백용현 Traffic monitoring system on the foggy area
KR102063158B1 (en) 2018-08-20 2020-01-07 주식회사 유니텍 System for monitoring Air Control System

Also Published As

Publication number Publication date
KR102631327B1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
CN108460995B (en) Display system and method for runway intrusion prevention
RU2634502C2 (en) Method and device for traffic control at aerodrome
US5557278A (en) Airport integrated hazard response apparatus
US5724040A (en) Aircraft wake vortex hazard warning apparatus
US6606035B2 (en) System and method for airport runway monitoring
US9564055B2 (en) Prediction and warning of transported turbulence in long-haul aircraft operations
CN111462534B (en) Airport moving target detection system and method based on intelligent perception analysis
Bailey et al. Enhanced vision for all-weather operations under NextGen
US20230038694A1 (en) Airport ground collision alerting system
AU2022220403A1 (en) Systems and methods for monitoring activities in an aviation environment
KR102631326B1 (en) System and Method for controlling airport using recognition technology
CN109656496A (en) The situation auto correlation method of the object shown on vertical-situation display object based on priority scheme and lateral map display is provided
KR102631327B1 (en) Airport control System for monitoring aircraft on route
CN116884277A (en) Configurable low-altitude environment sensing and anti-collision system design method
Jones et al. Collision avoidance for airport traffic simulation evaluation
KR102631325B1 (en) System and Method for controlling smart airport
CN112198499B (en) Airport runway foreign matter monitoring system based on thing networking
CN113538976A (en) Track invasion detection method based on Mask R-CNN target detection technology
Okolo et al. Identification of safety metrics for airport surface operations
Etherington et al. Enhanced flight vision systems operational feasibility study using radar and infrared sensors
Savvaris et al. Advanced surface movement and obstacle detection using thermal camera for UAVs
Lee et al. Preliminary Analysis of Separation Standards for Urban Air Mobility using Unmitigated Fast-Time Simulation
Ding Analysis and simulation of advanced ground motion guidance and control system
Le Blaye et al. Low level traffic monitoring: RPAS concept of operation and development of a ground based system
CN115294805B (en) Airport scene aircraft conflict early warning system and method based on video image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right