KR102631327B1

KR102631327B1 - 최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템

Info

Publication number: KR102631327B1
Application number: KR1020210119271A
Authority: KR
Inventors: 박해용; 최기현; 차태영; 김성준; 배동한
Original assignee: 인천국제공항공사
Priority date: 2021-09-07
Filing date: 2021-09-07
Publication date: 2024-02-01
Also published as: KR20230036429A

Abstract

본 발명은 활주로(510)의 중심으로부터 연장되는 연장선(530)상에 있는 고도 제한 구역(520)으로 진입하는 항공기(110)를 센싱하여 센싱 정보를 생성하는 센서계(120)를 포함하고,상기 센서계(120)는 상기 센싱 정보중 상기 항공기(110)에서 발생하는 음향 정보를 탐지하는 제 1 센서(120-1), 상기 센싱 정보중 상기 항공기(110)에 대한 영상 정보를 획득하는 제 2 센서(120-2) 및 상기 센싱 정보중 상기 항공기(110)에 대한 위치 정보를 획득하는 제 3 센서(120-3)를 포함하며,상기 제 1 센서(120-1) 및 상기 제 2 센서(120-2)는 상기 활주로(510)의 선단에 배치되고, 상기 제 3 센서(120-3)는 공항감시 레이더인 것을 특징으로 하는 최종접근 경로의 항공기를 감시 및 경고하는 관제시스템에 관한 것이다.

Description

최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템{Airport control System for monitoring aircraft on route}

본 발명은 스마트 공항 관제 지원 기술에 관한 것으로서, 더 상세하게는 머신러닝 기반으로 통합분석을 통해 최종 접근경로 또는 출발경로상 항공기를 감시 및 경고하기 위한 공항관제시스템에 대한 것이다.

항공기간의 충돌방지, 항공기와 장애물간의 충돌방지, 항공교통흐름의 촉진을 위해 관제탑(비행장관제업무), 접근 관제소(접근관제업무) 및 지역 관제소(지역관제업무)에 의해 행해지는 항공기간의 분리, 레이더유도, 항공교통 관제허가 발부 등의 항공교통관제업무가 수행되고 있다.

특히, 비행장 관제 업무 중 계류장 구역 내에서 이동하는 항공기에 제공되는 항공 교통관제 업무가 있다. 계류장을 관리하기 위해 계류장 관제탑이 구성되며, 계류장 내에서 항공기의 엔진 시동 및 후방견인허가, 항공기 이동허가, 주 관제탑에 관제권 이양, 제방빙 지원, 견인 통제 및 지원 등의 업무를 수행한다.

그런데, 공항의 지속적인 확장으로 관제사 1인당 평균 감시구역은 축구장 약 180개 크기로 전 지역의 모든 항공기의 움직임을 실시간 감시하기에는 물리적인 어려움이 존재한다.

또한, 항공기간의 충돌, 항공기와 차량간의 충돌, 항공기의 유도로 오진입 및 관제지시 위반 등과 같은 비정상 상황 발생 시 이를 자동으로 알려주는 경보 시스템이 구축되어 있지 않아 관제사의 육안 관측 및 조종사의 보고에만 의존하게됨으로써 비정상 상황의 알림 시스템이 미비하다는 문제점이 있다.

또한, ICAO(International Civil Aviation Organization) 규정에 따라 항공기, 차량 및 인원과 공항 주변에서 비행 중인 항공기에 대하여 육안관측을 우선으로 감시하여야 하나 감시구역 전반에 걸쳐 건물 등에 의한 차폐구역이 발생하며 물리적인 거리에 따른 육안관측의 한계가 명확하다는 단점이 있다.

또한, 관제사의 업무 수행 시 안개, 강우, 강설 및 미세먼지 등과 같은 여러 가지 기상현상으로 관제사의 육안관측에 어려움 발생한다는 단점이 있다.

또한, 관제업무 수행에 필요한 다수의 데이터는 텍스트 또는 다양한 형태의 모양과 색상을 가지며, 이 데이터들은 다수의 디스플레이에 2차 평면상에 탑다운뷰(Top-Down View)로 표출되며 관제사의 주시 방위와 차이가 있는 방위로 표출된다.

또한, 관제사의 관제탑 외부 시야는 3차원의 Bird's-Eye View로 시각적 정보를 수집하게 되며 이 두 View의 차이로 관제사는 지속적인 방위 및 차원 인지 부조화(Orientational Difference와 Dimensional Difference)상황하에서 관제업무를 수행해야 된다. 이는 관제사의 상황 인지력에 악영향을 미침과 동시에 관제사 워크로드 증가로 이어지게 되며 결국 관제업무 효율에 큰 영향을 미친다는 점이다.

또한, 관제사의 관제업무 수행 시 비행 데이터 획득 및 항공기 이동 감시에 필요한 다양한 데이터는 평균 약 7개 이상의 디스플레이를 통해 제공되며, 이를 조작하기 위해 유사한 수의 입력장치(마우스 및 키보드)를 사용해야 한다. 따라서, 데이터 취득 및 조작 과정에서 장비의 설치 위치로 인해 헤드다운 타임(Head-Down Time) 발생은 필연적이며 이는 관제사의 육안감시능력에 영향을 미침과 동시에 주의력 분산을 야기한다.

또한, 기존의 관제 시스템의 경우, 키보드, 마우스로 제어, 입력 가능하나 이는 관제사의 헤드다운(Head-Down)을 유발하여 상황인식 저해 및 다수의 제어장치로 인한 인적 오류를 유발한다는 단점이 있다.

또한, 비행장 관제 업무(관제탑)를 수행하는 관제사는 ICAO 및 항공안전법(항공교통업무기준)의 기준에 따라 활주로상의 지상이동 항공기, 최종접근경로/출발경로상의 공중 항공기, 공항 주변에서 비행 중인 항공기에 대하여 육안관측을 우선으로 감시해야 한다. 따라서, 감시구역 전반에 걸쳐 건물 등에 의한 차폐구역이 발생하며 물리적인 거리에 따른 육안관측의 한계와 안개, 강우, 강설 및 미세먼지 등과 같은 여러 가지 기상현상으로 관제사의 육안관측 제한이 있다는 단점이 있다.

또한, 기체결함 및 비행착각을 일으키는 단점이 있다. 부연하면, 최종접근경로 진입중인 항공기는 활주로 연장선 중심에 심을 따라 정상 강하각(평균 3도)과 강하율(평균 300FT/NM)을 준수하면서 착륙을 준비해야 하지만 기체 결함, 조류충돌(Bird strike), 조종사의 비행착각 및 인적 오류(관제지시 착각, 사용 활주로 착각)등으로 엔진화재, 최종접근경로 이탈, 미허가 활주로 접근, 적정 고도 미 준수 등 비정상 상황이 발생한다. 이는 Near-Miss, 준사고, 사고의 원인이 된다.

이때 항공기 외부의 관제시스템 중 공항감시레이더(ASR-Airport Surveillance Radar)의 최저안전고도(ASR-MSAW) 경고 이외에는 추가적인 경고가 발부되지 않는다. 이는 고도정보에 제한된 경고로, 위치에 따른 경로 이탈, 다른 활주로 접근 상황을 즉각적으로 경고할 수 있는 시스템이 부재하다. 출발 항공기의 경우에도 동일하게 표준계기출발(SID) 절차상의 경로 및 고도의 허용범위를 이탈하는 경우 외에 미허가 이륙 등의 상황 발생시 경고 시스템이 부재하다.

유사 사고 사례를 들면, 美/샌프란시스코 공항에서 B777 항공기 착륙 접근 중 최저고도 미준수로 사고 발생하였다(2010.5.22). 이 사고의 경우, 조종사&관제사의 최저고도 미만 접근 미인지로 추정된다.

또한, 日/니가타공항에서 B737 항공기 착륙 후 감속 조치 미흡으로 활주로 초과 정지 사고가 발생하였다(2013.8.5). 이 사고의 경우, 조종사 착륙후 활주로 잔여거리 착각으로 추정된다.

또한, 최종 접근경로 감시 시스템이 미비한 상태이다. 부연하면, 활주로 중심 연장거리 평균 7NM 내외 최종 접근경로 및 이륙 대기 항공기 감시는 항공기사고 방지를 위해 아주 중요하다. 하지만, 현재의 관제시스템은(위치정보:ASR,ASDE(Airport Surface Detection Equipment),MLAT, 음성교신정보:VCCS(Voice Communication Control System), 운항스케줄정보:FOIS(Flight Operation and Information System), IIS(Integrated Information System)) 지상, 공중의 항공기 경로 이탈, 항공기간 분리간격, 다른 활주로 접근 등의 감시는 주로 위치정보에만 의존하고 있어 그 정밀성을 담보하기 어렵다는 단점이 있다. 또한, 비정상 상황을 자동으로 감시하고 알려주는 경보 시스템도 시스템 별 독립적이고, 제한적으로만 구축되어 대부분의 비정상 상황 발생의 최종인지는 관제사의 육안 관측 및 조종사의 보고에만 의존한다.

또한, 음향 탐지 시스템이 부재하다. 부연하면, 최종 접근경로상의 항공기는 접근 관제소의 도착관제사(Arrival Controller)에서 비행장관제업무를 수행하는 관제탑의 지역 관제사(Local Controller)에게 무선교신 이양되는데, 이때 조종사의 착각으로 관제탑 관제사와의 교신 및 허가 없이 최종접근을 진행하거나, 활주로 착륙 허가를 관제사가 발부하지 않았음에도 최종확인, 실패접근, 복행 등의 후속 대응 없이 착륙을 계속 진행하는 경우도 발생한다.

현재의 항공교통관제용 음성교신 시스템은 조종사와 관제사간의 교신내용을 감시, 검증, 경고등의 기능이 부재하다. 출발인 경우에도 관제의 음성교신 허가 없이 활주로에 진입하거나, 이륙을 시도하는 행위 등에도 관제사의 시각적(육안, ASDE모니터)감시 외에는 경고수단이 부재하다. 유사 사고 사례를 들면, 인천공항에서 A330 항공기 관제사의 이륙 허가 없이 무단 이륙하였다(2019.7.22). 이 사고의 경우, 조종사가 다른 항공기의 이륙허가 발부내용을 착각한 것으로 추정된다.

또한, 통합 감시 시스템이 미비하다. 부연하면, 관제사의 관제업무 수행 시 공항 감시 레이더로부터 항공기 위치정보, 운항 스케줄정보를 획득하고 지속적인 감시를 통해 최종 접근경로 정상 접근상황을 파악한다. 하지만 소수의 공항에서만 CCTV(Closed Circuit Television)로 획득한 항공기 최종접근 항공기의 단순 영상정보를 활용하고, 음향탐지 시스템 또는 기기는 부재하여 별도로 사용하지 않는다. 이에 다수의 관제탑에서는 관제사의 육안 관측, 감시를 보완하기 위해 감독 관제사 또는 보조 관제사의 인원을 추가 투입하는 방식의 제한적인 대응을 하고 있다.

결론적으로 종래의 관제탑에서 수행하는 비행장관제업무 중 최종접근경로 상의 도착 항공기 감시업무는 관제탑의 국지관제사(Local Controller)의 공항 감시 레이다(ASR-Airport Surveillance Radar)감시와 육안감시에만 의존하는 한계가 있다.

1. 한국등록특허번호 제10-2063158호(등록일자: 2019년12월31일)

본 발명은 위에서 제시된 과제를 달성하기 위해, 공항감시 레이더의 탐지 한계(저고도, 데이터 처리 속도에 따른 시간차) 및/또는 저고도 구름 및 안개 등 시야차폐로 인한 관제사의 육안감시 한계를 극복할 수 있는 경로상 항공기 감시를 위한 공항 관제 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은 지속적인 항공기 접근 및 교통량 과다로 인한 관제사 피로에 기인한 인적 오류를 방지할 수 있는 경로상 항공기 감시를 위한 공항 관제 시스템을 제공하는데 다른 목적이 있다.

또한, 본 발명은 관제사에 의존한 레이더 감시, 육안 감시로 지속적인 업무수행 한계를 극복할 수 있는 경로상 항공기 감시를 위한 공항 관제 시스템을 제공하는데 또 다른 목적이 있다.

또한, 본 발명은 항공교통관제 및 사고예방에 필요한 정보(엔진의 가동 여부(온도, 연기, 화염), 착륙등 점등, 바퀴내림 정상, 항공기 접근 음향)의 추가 획득을 가능하게 하는 경로상 항공기 감시를 위한 공항 관제 시스템을 제공하는데 또 다른 목적이 있다.

또한, 본 발명은 파노라마뷰(Panoramic View), 게이트뷰(Gate View) 및 어라운드뷰(Around View) 영상을 컴퓨터 비전 영상인식 기술 기반으로 분석 후 다양한 알고리즘을 적용하여 경고 시스템을 구축해 관제사 담당 구역 내 비정상상황에 대한 대응 능력 향상에 기여할 수 있는 공항 관제 시스템을 제공하는데 다른 목적이 있다.

또한, 본 발명은 초고해상도 영상 촬영으로 확보한 데이터를 기반으로 컴퓨터비전 영상인식 기술을 활용해 항공기를 포함한 다수의 이동물체 인식, 추적하여 영상 기반으로 분석된 데이터를 다양한 표출 방식으로 관제사에게 제공할 수 있는 공항 관제 시스템을 제공하는데 또 다른 목적이 있다.

또한, 본 발명은 합성 가공된 게이트뷰(Gate View) 영상을 컴퓨터비전 영상인식 기술 기반으로 게이트 내의 다양한 (항공기, 견인트럭, 터그카, 달리, ULD(Unit Load Device), GPU(Ground Power Unit), 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및 존재 유무를 해당 항공편 운항 데이터와 결합하여 분석 및 학습함으로써 운항 상황을 예측하며 이를 A-CDM((Airport Collaborative Decision Making)과 연계하여 정시성 달성에 기여할 수 있는 공항 관제 시스템을 제공하는데 또 다른 목적이 있다.

본 발명은 위에서 제시된 과제를 달성하기 위해, 공항감시 레이더의 탐지 한계(저고도, 데이터 처리 속도에 따른 시간차) 및/또는 저고도 구름 및 안개 등 시야차폐로 인한 관제사의 육안감시 한계를 극복할 수 있는 최종접근 경로의 항공기를 감시 및 경고하는 공항관제시스템을 제공한다.

상기 공항관제시스템은,

활주로의 중심으로부터 연장되는 연장선상에 있는 고도 제한 구역으로 진입하는 항공기를 센싱하여 센싱 정보를 생성하는 센서계를 포함하며, 상기 제 1 센서 및 상기 제 2 센서는 상기 활주로의 선단에 배치되고, 상기 제 3 센서는 공항감시 레이더이다.

또한, 상기 센서계는, 상기 센싱 정보 중 상기 항공기에서 발생하는 음향 정보를 탐지하는 제 1 센서; 및 상기 센싱 정보 중 상기 항공기에 대한 영상 정보를 획득하는 제 2 센서;를 포함하는 것을 특징으로 한다.

또한, 상기 센서계는, 상기 센싱 정보 중 상기 항공기에 대한 위치 정보를 획득하는 제 3 센서;를 포함하는 것을 특징으로 한다. 상기 제 3 센서는 공항감시 레이더인 것을 특징으로 한다.

또한, 상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보와 상기 고도 제한 구역은 영역이 동일하게 설정되는 것을 특징으로 한다.

또한, 상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보를 상기 항공기의 기준 정보와 비교하는 것을 특징으로 한다.

또한, 상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보는 공항의 기상 정보, 주변 특이 소음 및 교통량을 포함하는 운영 환경 정보에 따라 미리 설정되는 가중치가 가감 적용되며, 도착-도착, 도착-출발, 출발-출발 항공기의 분리간격이 가감되는 것을 특징으로 한다.

또한, 상기 기준 정보는 과거 정상 착륙 항공기 정보, 표준 경로 정보, 고도 제한 구역 정보, 및 관제사 설정 정보를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 기존의 비행장관제업무 방식과 시스템을 개선하여 영상(열화상), 음향정보를 모두 활용하여 자동 비교감시, 경고를 지속적으로 제공하기 때문에 야간, 악기상 조건에 의한 시야차폐 등 육안감시 한계, 공항근접지역 및 장애물로 인할 레이더 탐지 한계, 지속적인 항공기 접근에 따른 업무피로와 이로 인한 인적 오류 발생을 경감하여 항공기 사고와 비정상 상황을 방지하고, 사고발생 시에도 관제사의 신속한 후속 대응이 가능하다.

또한, 본 발명의 다른 효과로서는 공항감시 레이더의 장애가 발생한 경우 빛(착륙등/Landing Light), 열(엔진, 연소가스), 소리(엔진소음, 착륙소음, 충돌소리), 영상(항공기 위치, 고도, 자세, 바퀴내림) 탐지를 통해 항공교통안전을 확보하고, 공항의 수용량(Capacity)을 유지 및 정상 운영을 담보할 수 있으며, 레이더 이외의 시스템 장애 발생 시에도 상호 보완하여 정상적인 감시가 가능하다는 점을 들 수 있다.

또한, 본 발명의 또 다른 효과로서는 관제사의 레이더 및 육안감시로만 비행장 관제업무를 수행할 경우 감독관제사 또는 2명 이상의 관제사를 중복 배치하는 대신에 관제의 업무량 경감과 이에 따른 피로관리 및 근무시간 연장의 효과가 있을 뿐만 아니라, 공항의 중요 전문인력인 항공교통 관제사의 인력을 줄이거나 재배치하는 비용절감의 효과가 있다는 점을 들 수 있다.

또한, 본 발명의 또 다른 효과로서는 컴퓨터비전 영상인식 기술을 활용하여 관제사의 상황 인지력 향상시킴으로써 담당 관제구역의 통제력을 강화할 수 있고, 다양한 경고 및 알림 기능으로 인적 오류 예방, 비정상상황의 대응능력을 향상시킬 수 있고, 공항 대형화로 인해 빈번히 발생하는 항공기의 유도로 오진입을 예방할 수 있다.

또한, 본 발명의 또 다른 효과로서는 음성인식 기술을 활용하여 관제지시 준수 여부 확인 및 경고 기능으로 비정상상황 인지 및 대응능력을 향상시킬 수 있다는 점을 들 수 있다.

또한, 본 발명의 또 다른 효과로서는 해당 시스템 도입 시 증가된 관제사의 상황 인지력과 비정상 상황 대응능력은 1인당 관제 처리량 증가로 이어지며 이로 인해 종합적인 지연감소와 공항운영능력의 향상을 기대할 수 있다는 점을 들 수 있다.

또한, 본 발명의 또 다른 효과로서는 비행장 전용 컴퓨터 비전 강화학습 및 알고리즘 확보를 통해 향후 표준으로 발전할 수 있는 규격 확보가 가능하다는 점을 들 수 있다.

또한, 본 발명의 또 다른 효과로서는 기존의 제어장치와 더불어 영상인식기술을 활용한 모션제어, 음성제어 방식을 적용하여 관제사가 Head-up을 유지한 상태에서 특정 모션과 음성으로 주요 관제시스템의 기능을 입력, 수정, 제어하는 방식으로 개선한다는 점을 들 수 있다.

도 1은 본 발명의 일실시예에 따른 스마트 공항 관제 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 관리 서버의 세부 구성도이다.
도 3은 도 1에 도시된 관제탑 서버의 세부 구성도이다.
도 4는 도 3에 도시된 처리부의 세부 구성도이다.
도 5는 본 발명의 일실시예에 따른 접근경로의 측면 개념도이다.
도 6은 도 5에 도시된 접근경로의 평면 개념도이다.
도 7은 본 발명의 일실시예에 따른 경로상 항공기를 감시하는 과정을 보여주는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 경로상 항공기를 감시하는 화면예이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 표시된 구성요소의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다" 및/또는 "구성된다"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

비록 제1, 제2 등의 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 대해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소와 구별하기 위하여 사용되는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 인식 기술을 이용한 공항 관제 시스템을 상세하게 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 스마트 공항 관제 시스템(100)의 구성 블럭도이다. 도 1을 참조하면, 스마트 공항 관제 시스템(100)은 센서계(120). 통신망(130), 관리 서버(140), 관제탑 서버(150) 등을 포함하여 구성될 수 있다.

센서계(120)는 제 1 내지 제 n 센서(120-1 내지 120-n)로 구성된다. 제1 내지 제 n 센서(120-1 내지 120-n)는 항공기(110) 그뿐만 아니라 게이트 내의 다양한 물체(항공기, 견인트럭, 터그카, 달리, ULD(Unit Load Device), GPU(Ground Power Unit), 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및/또는 존재 유무, 조종사의 복명복창 등을 감지하는 기능을 수행한다.

이를 위해 제 1 내지 제 n 센서(120-1 내지 120-n)는 디지털 카메라, CCTV(Closed Circuit Television), 음성 센서, 적외선 카메라, 열화상 센서, 위치 센서 등이 될 수 있다. CCTV(Closed Circuit Television)는 고정형 CCTV, 열화상 CCTV, 하이브리드 PTZ(Pan-Tilt-Zoom) 카메라등이 될 수 있다. 고정형 CCTV는 관제사 시야와 동일한 View 구성, 360° 파노라마 영상 구성, AR 통한 관제정보 제공, 주기장 감시 영상 제공 등을 위해 사용될 수 있다. 열화상 CCTV는 저시정 상황 시 시야 재현, 360° 파노라마 영상 구성, AR 통한 관제정보 제공 등을 위해 사용될 수 있다. 하이브리드 PTZ(Pan-Tilt-Zoom) 카메라는 대상 추적 영상 제공, 실화상 및 열화상 전환을 위해 사용될 수 있다.

물론, 제 1 내지 제 n 센서(120-1 내지 120-n)는 일부 블럭으로 구성될 수도 있다.

통신망(130)은 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다,

그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망, 블루투쓰(bluetooth), NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.

관리 서버(140)는 통신망(130)에 연결되는 센서계(120), 단말, 서버들로부터 음성 정보, 영상 정보, 기상 정보, 운항 정보, 항공기 정보 등을 수집하여 데이터베이스(141)에 저장하고, 다수의 이동객체 인식, 분석 및 추적하며 이를 기반으로 데이터를 분석하여 분석 제공 정보를 생성하는 기능을 수행한다.

여기서, 이동 객체는 물체뿐만 아니라 사람을 포함할 수 있는 개념이다. 또한, 운항 정보, 항공기 정보 등은 항공기(110) 자체의 정보, 항공기(110)의 동작, 이동 경로 등을 나타내는 비행 정보에 포함될 수 있다.

특히, 관리 서버(140)는 기존의 감시장비(ASR(automatic speech recognition), ASDE(Airport Surface Detection Equipment), MLAT(multilateration), ADS-B(Automatic Dependent Surveillance-Broadcast))에서 비행 정보를 획득할 수도 있다.

물론, 도 1에서는 관리 서버(140)를 관제탑 서버(150)와 분리하여 구성하였으나, 관리 서버(140)를 관제탑 서버(150)에 병합하여 구성하는 것도 가능하다.

관제탑 서버(150)는 계류장(Apron)내에서 항공기(110)의 엔진 시동, 후방견인 허가, 항공기 이동허가, 주 관제탑에 관제권 이양, 제방빙 지원, 견인 통제 및 지원 등의 업무를 수행하기 위한 뷰정보를 제공한다. 따라서, 관제탑 서버(150)는 각 계류장마다 설치될 수도 있고, 하나의 관제탑 서버(150)로 여러 개의 계류장을 관리할 수도 있다. 관제탑 서버(150)가 서버 이중화 구조로 이루어질 수 있다. 서버 이중화는 물리적 또는 논리적인 서버(또는 LAPR) 등을 구성하여 하나의 서비스에 장애가 발생하는 경우 다른 서버를 통해 서비스를 지속 가능하게 한다.

계류장은 공항내에서 여객 승하기, 화물, 우편물의 적재 및 적하, 급유, 주기, 제방빙(항공기 표면의 눈, 얼음 및 서리를 제거하고 생성을 방지하는 작업) 또는 정비 등의 목적으로 항공기가 이용할 수 있도록 설정된 구역을 말한다. 후방견인은 출발 항공기를 견인 차량으로 뒤로 밀어 유도로 상에 위치시키는 작업을 말한다.

관제탑 서버(150)는 관리 서버(140)로부터 전송되는 분석 제공 정보와 비행정보를 이용하여 생성된 운항 상황 정보에 기반한 뷰정보를 관제사에게 제공한다. 운항 상황 정보는 분석 제공 정보와 비행정보를 병합하여 항공기(110)의 위치, 이동 경로, 상태 등을 보여준다.

이러한 운항 상황 정보를 합성 기술 활용해 파노라마뷰(Panoramic View), 게이트뷰(Gate View) 및 어라운드뷰(Around View)로 가공하여 다수의 패널로 구성된 울트라 와이드(Ultra Wide) 디스플레이에 출력한다. 따라서, 관제사로 하여금 관제업무수행시 담당 관제구역내 감시 능력의 강화로 상황 인지력을 극대화시킨다.

도 2는 도 1에 도시된 관리 서버(140)의 세부 구성도이다. 도 2를 참조하면, 관리 서버(140)는 통신부(210), 수집부(220), 분석부(230), 분석 제공 정보 생성부(240), 출력부(250) 등을 포함하여 구성될 수 있다. 통신부(210)는 통신망(130)과 통신 연결을 수행하는 기능을 수행한다. 이를 위해, 통신부(210)는 랜카드, 모뎀 등을 포함하여 구성될 수 있다.

수집부(220)는 통신부(210)를 통해 통신망(130)과 연결되는 단말, 서버들로부터 데이터(즉 정보)를 수집하는 기능을 수행한다. 수집되는 데이터로는 음성 정보, 영상 정보, 기상 정보, 운항 정보, 항공기 정보, 비행정보 등이 될 수 있으며, 수집부(220)는 이러한 수집 데이터를 데이터베이스(141)에 저장한다.

데이터베이스(141)는 관리 서버(140) 자체내에 구성될 수도 있고, 별도의 데이터베이스 서버로 구성될 수도 있다. 수집 데이터는 공항에서 생성, 수집되는 항공정보와 상호 연계된다. 이들 데이터로는 영상자료, 항적 데이터, 비행 및 공항 자원 데이터, AFL(AirField Lighting) 데이터, 기상 데이터, 음성 통신 데이터 등이 될 수 있다.

- 영상자료 : 다수의 초고해상도 360도 광학 이미지 합성, 다기능 고배율 카메라 사용

- 항적 데이터 : 계류장 관제 플랫폼, ASDE(Airport Surface Detection Equipment), ADS-B(Automatic Dependent Surveillance-Broadcast)), MLAT(multilateration), 레이저 거리측정기(LASER RANGE FINDER), ASDE-EFS(Electronic Flight Strip), ASDE-EFS는 항공기 운항 관제정보, 항공기 출발 도착 정보, 특정지점 항공기 시간정보 등을 포함한다.

- 비행 및 공항자원 데이터 : 계류장 관제 플랫폼, IIS(Integrated Information System), FDT(Flight Data Terminal), 항공고시보(NOTAM:Notice to Airman), ATFM(Air Traffic Flow Management and Airspace Management), IIS는 일일운항편, 출발/도착 램프 출입시간, 출발 및 도착편 운항, A-CDM(Airport Collaborative Decision Making) 정보, 활주로 마찰계수, 탑승구 ON/OFF, 이동지역 차량, 이동지역 작업계획, 운항 스케쥴 등을 들 수 있다.

- 항공등화(AFL: AirField Lighting) 데이터 : A-SMGCS(Advanced-Surface Movement Guidance and Control System)

- 기상 데이터 : 공항 기상 관측 장비(Aerodrome Meteorological Observation System, AMOS), 저고도 윈드시어 경보시스템(Low Level Windshear Alert System, LLWAS, 공항기상 레이더(Terminal Doppler Weather Radar, TDWR)

- 음성통신 데이터: VCCS(Voice Communication Control System)

분석부(230)는 수집된 수집 데이터를 분석하여 이동 물체의 종류, 움직임, 위치 등의 정보를 추출한다. 분석부(230)는 실시간으로 수집부(220)로부터 수집 데이터를 전송받을 수 있으며, 데이터베이스(141)로부터 해당 데이터를 검색하여 획득할 수도 있다.

분석 제공 정보 생성부(240)는 분석부(230)에 생성된 분석 정보를 바탕으로 관제탑 서버(150)에 제공할 분석 제공 정보를 생성한다. 즉, 이동 객체의 움직임 및 위치를 포함하는 분석 제공 정보를 생성한다.

출력부(250)는 처리중인 정보를 표시하거나 설정 메뉴, 입력 메뉴 등을 나타내는 화면을 표시하는 기능을 수행한다. 이를 위해, 출력부(250)는 디스플레이, 사운드 시스템 등을 포함하여 구성될 수 있다. 디스플레이는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, PDP(Plasma Display Panel), OLED(Organic LED) 디스플레이, 터치 스크린, CRT(Cathode Ray Tube), 플렉시블 디스플레이, 마이크로 LED, 미니 LED 등이 될 수 있다. 이때, 터치 스크린의 경우, 입력 수단으로도 사용될 수 있다.

도 2에 도시된 수집부, 분석부, 분석 제공 정보 생성부는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.

도 3은 도 1에 도시된 관제탑 서버(150)의 세부 구성도이다. 도 3을 참조하면, 관제탑 서버(150)는, 입력부(310), 처리부(320), 뷰생성부(330), 저장부(340), 통신부(360) 등을 포함하여 구성될 수 있다.

입력부(310)는 관제사의 명령을 입력하는 기능을 수행한다. 따라서 입력부(310)는 마우스, 키보드, 마이크, 모션 센서 등이 될 수 있다. 따라서, 관제사는 마우스, 키보드 등을 이용하지 않고, 음성, 모션 등을 통해서도 명령을 입력할 수 있다. 일반적으로, 관제사는 헤드 다운, 헤드 업 등으로 모니터를 확인하고 마우스 클릭 및/또는 키보드 조작을 통해 결과를 확인하는 방식이었다. 이 경우, 관제사의 주시 방위와 차이가 있는 방위로 표출됨에 따라 관제사는 지속적인 방위 및 차원 인지 부조화(Orientational Difference와 Dimensional Difference)상황하에서 관제업무를 수행해야 한다. 이는 관제사의 상황 인지력에 악영향을 미침과 동시에 관제사 워크로드 증가로 이어지게 되며 결국 관제업무 효율에 큰 영향을 미친다.

본 발명의 일실시예에서는 마우스, 키보드 등을 사용하지 않고 관제사의 모션(제스처를 포함함), 음성 등을 통해 명령을 입력할 수 있다. 따라서, 관제사가 Head-up을 유지한 상태에서 특정 모션과 음성으로 주요 관제시스템의 기능을 입력, 수정, 제어할 수 있다.

처리부(320)는 통신부(360)를 통해 전달된 분석 제공 정보와 비행정보를 이용하여 운항 상황을 예측하는 기능을 수행한다.

뷰생성부(330)는 운항 상황을 그래픽(영상을 포함할 수 있음)으로 보여주는 뷰정보를 생성하는 기능을 수행한다. 뷰정보는 파노라마뷰(351), 주기장뷰(352), 어라운드뷰(353), 추적용 CCTV뷰(354) 등을 포함하여 구성될 수 있다. 뷰정보는 실제 촬영된 영상, 가상 영상 등을 이용한 가상 현실(VR: Virtual Reality), 증강 현실(AR: augmented reality), 가상현실과 증강현실을 혼합한 혼합 현실(MR: Mixed Reality)로 표현될 수 있다. 실제 촬영된 영상은 FHD(Full High Definition) 이상의 해상도를 보유한 다수의 실화상 카메라 및 열화상 카메라를 사용해 획득된 초고해상도 전방위 비디오 기반 감시(Video-Based Surveillance) 영상이될 수 있다.

이를 이용하여 다음과 같이 표출될 수 있다.

- 전방위 합성 영상 및 다양한 영상에 각종 데이터 오버레이 형식으로 표출

- 항공기를 포함하여 움직이는 이동 객체의 탐지 및 트래킹

- 실제 탐지 및 트래킹 데이터와 각종 데이터 연동해 실시간 표출

- 기상 데이터(풍향 및 풍속, 활주로 가시거리(RVR: Runway Visual Range), 윈드시어, 마이크로버스트 경고 등) 표출

- 시야제한 상황 발생시 열영상 활용 및 가상항적 표출

- 게이트 정보 및 A-CDM((Airport Collaborative Decision Making) (TTOT(Target Take Off Time), TSAT(Target Start Up Approval Time)) 관련 정보 표출

- 관제용 주파수 설정값 및 송출여부 표출

- 개별 라우팅 정보(INDIVIDUAL ROUTING)를 포함하는 각종 등화 표출

- CPDLC(Controller Pilot Data Link Communications) 데이터 표출

- 각 게이트별 CCTV 영상 표출

또한, 뷰정보는 고해상도 CCTV에서 획득한 영상과 기존 관제 시스템을 통한 다양한 항공 정보를 AI(컴퓨터비전), AR 및 영상 합성 기술을 적용하여 통합 표출한다. 관제사뷰인 파노라마뷰(351)는 개별 카메라(즉 CCTV) 영상을 합성한 관제권역 전체의 단일뷰이며, 증강현실을 이용하여 가독성을 높일 수 있다. 주기장뷰(352)는 시야차폐 주기장에 대한 모니터링을 가능하게 하는 뷰이며, 항공기 상황별 필요 정보를 제공할 수 있으며, AI(Artificial Intelligence) 기술을 적용한 푸시백 상황 모니터링 및 알림이 가능하다.

어라운드뷰인 계류장뷰(353)는 3D 가상공간을 이용하여 게이트 전체 항공기 표출 상태를 보여주는 뷰이며, 항공기의 이동경로를 표출하고, 게이트별 스케쥴 및 상태 정보를 보여줄 수 있다.

추적용 CCTV뷰(354)는 입항중인 항공기를 자동으로 추적하여 보여주는 뷰이며, 상황인지 대상에 대한 영상 자동 추적을 보여주고, 관제사의 필요에 의한 계류장 영상을 보여줄 수 있다.

저장부(340)는 분석 제공 정보와 비행정보를 이용하여 운항 상황을 예측하는 알고리즘을 갖는 프로그램, 소프트웨어, 데이터 등을 저장하는 기능을 수행한다.

저장부(340)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage), 클라우드 서버와 관련되어 동작할 수도 있다.

도 3을 계속 참조하면, 통신부(360)는 통신망(130)과 통신 연결을 수행하는 기능을 수행한다. 이를 위해, 통신부(360)는 랜카드, 모뎀 등을 포함하여 구성될 수 있다.

도 4는 도 3에 도시된 처리부(320)의 세부 구성도이다. 도 4를 참조하면, 처리부(320)는 데이터 인식 모듈(410), 데이터 분석 모듈(420), 운항 상황 정보 생성 모듈(430) 등을 포함하여 구성될 수 있다.

데이터 인식 모듈(410)은 관리 서버(140)로부터 전송된 데이터에 대해(분석 제공 정보, 비행정보 등을 들 수 있음)에 대해 음성 인식, 영상 인식, 상황 인지 등을 수행한다. 음성 인식으로는 VCCS 및 TRS 음성정보의 TEXT 정보 전환, 호출부호(Callsign) 식별을 통한 통신대상 식별, 관제지시와 복명복창의 일치여부 판독이 될 수 있다. 호출부호(Callsign)는 항공기와 관제소간에 교신을 할 때 그 항공기의 소속 항공사와 편명을 명확하게 알리기 위한 호출부호이다. 부연하면, 관제통신서버(VCCS)에서 실시간 교신 내용을 수집하여 잡음을 제거하고, 특징을 추출하고, 추출된 특징의 패턴을 비교하여 텍스트화한다. 또한, 관제 지시에 대한 구문을 분석한다.

복명복창의 일치여부는 관제사와 조종사간 리드백을 통해 이루어지며 다음과 같다.

음성 인식의 경우, 다음과 같은 절차가 수행된다.

- 관제사 개인별 음성인식 및 식별 후 HMI(Human Machine Interface) 자동 로그인/아웃

- 관제용어 음성인식 후 각종 항공기 정보 및 기타 운항정보 제공

- 관제용어 음성인식의 경우 항공교통관제 용어와 절차를 분석 및 파악하여 텍스트로 변환작업을 거치고, 관제사와 조종사간의 교신 음성 내용을 분석 및 일치여부 확인

- 관제 교신 중 복명복창(리드백(Read Back)) 절차를 거쳐 인식된 항공기 정보를 토대로 현재 교신 중인 항공기 정보를 AR 모니터에서 표출 가능

- AR 내에서 해당 3D 모델링 된 항공기 하단에 항공기 정보 표출

영상 인식으로는 수신되는 영상에서 확인 가능한 항공기 및 차량에 대한 정보 식별, 계류장내 비정상 상황에 대한 인지 등이 될 수 있다. 상황 인지로는 충돌예측 인지 및 알림, 비정상 상황 인지 및 알림, 관제지시 불이행 인지 및 알림 등이 될 수 있다.

모션 인식은 손관절(Hand Tracking)을 통해 이루어질 수 있다. 즉, 주먹, 손가락 개수, 움직임이 될 수 있다. 따라서, 미리 정해진 손 모양으로 명령어를 전달한다. 예를 들면, 주먹을 쥐면 화면 이동 중단이 수행되고, 손가락 방향(검지)에 따라 AR 위치를 이동시킨다. 손바닥을 펴면 화면을 확대하고 모으면 축소된다.

데이터 분석 모듈(420)은 데이터 인식 모듈(410)에 의해 식별된 데이터를 이용하여 분석을 수행한다. 부연하면, 분석을 통해, 운항 상황 정보를 생성한다. 이 경우, 지도맵 정보와 운항 상황 정보를 합성한다.

또한, 데이터 분석 모듈(420)은 조종사-관제사간 음성 교신을 실시간으로 분석하여 비정상 상황 감지, 조종사의 복명복창 일치 여부 판별, 관제지시와 등화 점등 검증, 및 항공기 이동상황 검증 등을 수행한다.

또한, 데이터 분석 모듈(420)은 공항 건물 등과 같은 물리적인 장애물로 인한 LoS(Line of Sight) 시야 차폐, 기상현상(안개, 강우 및 강설 등)으로 인한 시야 차폐를 AI(Computer Vision)기술을 활용한 대상 인식 및 분석, AR(Augmented Reality)기술 및 디지털 트윈 기술을 활용한 가상 오브젝트(윤곽선 또는 오브젝트 3D 모델링 등)를 생성한다. 따라서, 관제사 시야차폐를 극복할 수 있다.

디지털 트윈 기술은 컴퓨터에 현실속 사물의 쌍둥이를 만들고, 현실에서 발생할 수 있는 상황을 컴퓨터로 시뮬레이션함으로써 결과를 미리 예측하는 기술이다.

또한, 데이터 분석 모듈(420)은 합성 가공된 Gate View 영상을 컴퓨터비전 영상인식 기술 기반으로 게이트 내의 다양한 물체(항공기, 견인트럭, 터그카, 달리, ULD, GPU. 화물, 급수트럭, 오수트럭, 케이터링트럭, 쓰레기차, 카고로더, 사다리, 스텝카 등)의 움직임 및 존재 유무를 해당 항공편 운항 데이터와 결합하여 분석 및 학습함으로써 운항 상황을 예측하며 이를 A-CDM과 연계한다. 학습은 일반적으로 딥러닝 기술을 이용하나, 이에 한정되는 것은 아니고 머신 러닝도 사용될 수 있다.

운항 상황 정보 생성 모듈(430)은 데이터 분석 모듈(420)에 의해 생성된 데이터를 이용하여 운항 상황 정보를 생성하는 기능을 수행한다. 부연하면, 관제사의 시야와 각종 시스템 데이터 간 차원 차이로 발생하는 인지 부조화, 다수의 독립된 장비와 개별 입력 장비조작에 따른 헤드다운(Head-Down)에 기인한 인적 오류, 공항 내 터미널 등 물리적인 구조물에 의한 시야차폐, 기상(안개, 강우, 강설)현상으로 인한 시야 제한 상황등을 극복하기 위해 공항 내의 주요 관제 시스템과 운항 정보 시스템의 정보를 통합한다. 통합된 정보는 AI, AR 기반 컴퓨터비전 영상인식 및 음성인식 기술을 융합하여 관제사의 전면 시야에 다중화면으로 구성된 텔레스코픽 디스플레이에 표시된다.

따라서, 실시간 통합 정보화면 제공, 각종 알림, 경고 시스템 도입, 비접촉(Touch-less) 제어 방식 적용, 단순·직관적인 인터페이스등이 적용될 수 있다.

도 4에 도시된 데이터 인식 모듈(410), 데이터 분석 모듈(420), 운항 상황 정보 생성 모듈(430)은 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.

도 5는 본 발명의 일실시예에 따른 접근경로의 측면 개념도이다. 도 5를 참조하면, 활주로(510)의 시단에 센서계(120) 중 제 1 센서(120-1) 및 제 2 센서(120-2)가 배치된다. 활주로(510)의 선단에는 활주로(510) 중심으로부터 연장되는 연장선(530)이 지면상에 표시된다. 이 연장선(530)상에 일정한 각도로 비스듬하게 항공기(110)를 활공하게 하는 활공각을 갖는 고도 제한 구역(520)이 정해진다.

이 고도 제한 구역(520)에 최종 접근 경로(521)가 존재한다.

제 1 센서(120-1)는 음향 센서이고, 제 2 센서(120-2)는 카메라가 될 수 있다. 카메라는 열화상, 영상인식 복합 기능의 지능형 CCTV가 될 수 있다. 물론, 스테레오 카메라를 이용하여 항공기(110)와 활주로(510)의 선단간 거리를 계산할 수도 있다. 부연하면, 두 카메라 축과 렌즈축이 같은 방향으로 정렬된 두 대의 카메라를 이용하여 동일 대상체를 촬영한 후, 두 영상의 영상 편차(Image disparity)를 이용하여 두 대의 카메라가 영상을 바라보는 각도를 구하고, 두 대의 카메라가 떨어진 위치와 이 각도 정보를 이용하여 카메라에서 대상체까지 거리를 계산한다. 물론, 간단하게 거리 센서를 CCTV와 함께 구성하여 항공기(110)와 활주로(510)의 선단간 거리를 계산할 수도 있다.

거리 센서는 일반적으로 레이저 센서가 될 수 있으며, 이러한 레이저 센서로 항공기의 거리를 탐지할 수 있다. 또한, 이러한 지능형 CCTV 및/또는 레이저 센서를 이용함으로써 접근거리에 따른 항공기의 기종별 접근 상황을 탐지할 수 있다.

또한, 카메라를 이용하여, 활주로(510)로부터 약 5마일 이내 근거리 접근하는 항공기(110)의 착륙등(Landing Light)의 점등 여부를 탐지한다. 일반적으로 착륙등은 백색광으로 대형기에서는 대부분 주날개 전연(前緣) 또는 주날개 아래쪽에 붙어 있다.

또한, 카메라를 이용하여, 활주로(510)로부터 약 5마일 이내 근거리 접근하는 항공기(110)의 엔진화재 등 비정상 고열, 빛 발생 여부를 탐지한다. 또한, 카메라를 이용하여, 활주로(510)로부터 약 3마일 이내 근거리 접근하는 항공기(110)의 착륙자세를 탐지하고, 활주로(510)로부터 약 3마일 이내 근거리 접근하는 항공기(110)의 바퀴내림을 탐지한다.

음향 센서는 항공기 이착륙 시 발생하는 엔진 출력소리, 비정상 상황 및 사고시 발생하는 특정소리를 탐지하는 기능을 수행한다. 또한, 음향 센서는 활주로(510)로부터 약 3마일 이내 근거리 접근하는 항공기(110)의 기종별 엔진소음을 탐지하며, 항공기 복행(Go Around), 실패접근(Missed Approach) 시 발생하는 엔진 출력 증가 등의 엔진 특이소음도 탐지할 수 있다. 또한, 항공기의 지상충돌, 항공기간 충돌 등 비정상 소음도 탐지하며, 출발항공기 이륙시 발생하는 엔진출력 증가 등의 소음을 탐지할 수 있다.

도 6은 도 5에 도시된 접근경로의 평면 개념도이다. 도 6을 참조하면, 활주로(510)의 시단에 센서계(120) 중 제 1 센서(120-1) 및 제 2 센서(120-2)가 나란히 배치된다. 활주로(510)의 선단에는 활주로(510) 중심으로부터 연장되는 연장선(530)이 지면상에 표시된다. 연장선은 상기 활주로의 중심선을 따라 연장되고, 상기 고도제한구역 은 상기 연장선으로부터 일정각도로서 상기 활주로부터 멀어질수록 폭이 증가하도록 좌우 대칭선을 따라 형성된 영역이다.

이 연장선(530)상에 일정한 각도로 비스듬하게 항공기(110)를 활공하게 하는 활공각을 갖는 고도 제한 구역(520)이 정해진다. 이 고도 제한 구역(520)의 중심에 최종 접근 경로(521)가 존재한다. 일반적으로 고도 제한 구역(520)은 위에서 보면 길쭉한 이등변 사각형의 형태를 띠게 되나, 원추형 기둥 형태가 된다.

특히, 고도 제한 구역(520)은 가상 3차원으로 활주로별 최종접근경로에 설정하고 기상조건 및 교통상황에 따른 사용자(관제사)의 재설정이 가능하다.

도 5 및 도 6에는 도시되지 않았으나, 제 3 센서(120-3)가 구성된다. 제 3 센서(120-3)는 공항감시 레이더가 될 수 있다. 통상적으로 공항 감시 레이더는 종류별로 다양하나 통상적으로 공항중심으로부터 주항적(primary track)은 약 60마일, 보조 항적(Secondary track)은 약 200마일 이내의 공중의 항공기를 탐지한다. 하지만, 지상 또는 공항에 근접한 저고도 항공기등의 비행체를 탐지하는 데는 한계가 있다.

공항 감시 레이다(ASR-Airport Surveillance Radar)는 항공기(110)의 위치, 고도 등을 탐지하며, 항공기(110)에 설치된 트랜스폰더(미도시)를 이용하여 실시간 항공기의 위치정보를 탐지할 수 있다. 또한, 공항감시 레이다는 항공기 운항정보시스템(FOIS, IIS)와 연계되어 해당 편명, 출발 공항, 도착 공항, 활주로(510) 등의 스케줄 정보를 표출할 수 있다. 공항 감시 레이다는 기상 정보 시스템(AMOS:Aerodrome Meterological Observation System)과 연계되어 해당 바람, 시정, 운고 등의 실시간 기상정보를 표출할 수 있다.

도 7은 본 발명의 일실시예에 따른 경로상 항공기(110)를 감시하는 과정을 보여주는 흐름도이다. 도 7을 참조하면, 항공기(110)가 고도 제한 구역(520)으로 진입함에 따라 제 1 센서(120-1), 제 2 센서(120-2), 및 제 3 센서(120-3)를 통해 각각 음향 정보, 영상 정보, 위치 정보를 취득하고, 이를 통합 분석한다(단계 S710).

부연하면, 제 1 센서(120-1)(예를 들면, 음향 센서)로 탐지되는 음향 정보는 최종 접근경로 방향으로 활주로(510)로부터 약 3마일부터 상기의 고도 제한구역(520)을 동일하게 설정하여 비교분석한다.

이륙 항공기의 이륙소리(엔진출력 증가, 바퀴 굴림 등)특성을 비교분석한다. 지상충돌, 엔진출력 증가(복행) 등 특이 소음도 통상의 상황과 비교분석한다.

또한, 제 2 센서(120-2)(예를 들면, 열화상 영상인식 카메라)로 탐지되는 영상정보와 상기의 고도 제한 구역(520)을 동일하게 설정하여 비교분석한다. 또한, 제 3 센서(120-3)(예를 들면, 공항감시 레이더)로 탐지되는 위치 정보와 상기의 고도 제한 구역(520)을 동일하게 설정하여 비교분석한다.

특히, 본 발명의 일실시예에서는, AI(Artificial Intelligence) 머신러닝 기술 응용하여 정상적인 항공기 접근 영상정보, 이착륙 단계별 소리정보, 공항감시 레이더상의 위치정보를 통합적으로 감시, 분석한다.

AI 머신러닝 기술 응용하여 통합된 정보를 바탕으로 사전 설정된 항공기간 분리치, 즉 도착-도착, 도착-출발, 출발-출발 항공기의 분리간격 유지 여부를 통합적으로 감시한다.

또한, 공항의 기상, 주변 특이소음, 교통량등 운영 환경을 고려하여 3가지 정보의 가중치 및 항공기 분리간격을 가감하여 자동 설정하고, 상황에 따라 사용자(관제사) 재설정이 가능하다

한편, 이러한 비교 분석을 위해 머신 러닝으로 학습된 비교를 위한 기준 데이터인 기준 정보가 데이터베이스로 구현된다(단계 S720,S730). 부연하면, 여러 상황에 따른 다양한 데이터를 획득하여 학습을 통해 최적의 기준 정보를 생성하는 것이다. 최적의 기준 정보는 과거 정상 착륙 항공기 정보, 표준 경로 정보, 고도 제한 구역 정보, 및 관제사 설정 정보등이 될 수 있다.

이후, AI 머신러닝 기술 응용하여 동일 기종 항공기의 특성을 반영하고, 동일기종의 최단직전시간 정상 착륙한 영상정보, 소리정보, 위치정보가 있을 경우 해당정보를 최우선 비교 분석한다. 직전 시간대에 접근 항공기가 중복되는 경우 항공기 기종-세부기종(Sub-Series)-항공사 일치여부를 확인하여 최적의 비교대상을 분류하여 통합적으로 비교분석한다(단계 S740).

단계 S740에서 비교 분석결과, 탐지된 영상, 음향, 위치 정보 중 제한구역 또는 범위를 초과하는 상황이 탐지된 경우 사용자(관제사)에게 1차적으로 알람 정보를 제공하여 상황인식, 추가대응, 집중감시를 하도록 지원한다(단계 S750). 알람 정보는 소리, 문자, 및 그래픽의 조합으로 표출된다. 소리 알람은 해당 항공기 편명, 위치, 간략한 상황을 TTS로 가공하여 감독 관제사가 실제 목소리로 전달하는 방식과 동일하게 제공할 수 있다.

예1: 대한항공123편 Final 3마일 랜딩라이트 미감지 발생 알림

예2: 대한항공123편 Final 1마일 복행 소음 발생 알림

예3: 대한항공123편 Final 3마일 경로 우측 이탈 발생 알림

예4: 대한항공123편 Final 7마일 분리간격 초과 발생 알림

예5: 대한항공123편 Final 3마일 고도 이탈 발생 알림

문자 알람은 항공기 위치 표출 화면에 팝업 형태의 문자를 색상 변경, 깜빡거림 등으로 설정하여 사용자의 상황인식과 후속대응이 신속하게 이루어지도록 한다. 소리와 문자의 알람은 동시에 표출하여 그 효과를 배가할 수 있다. 해당 알람은 사용자의 인지(Acknowledge)가 있을 때까지 지속된다. 인지는 해당 알림 팝업의 인지 기능 버튼 클릭으로 인식할 수 있다.

도 8은 본 발명의 일실시예에 따른 경로상 항공기를 감시하는 화면예이다. 즉, 감시 모니터 화면(810)의 예이다. 도 8을 참조하면, 감시 모니터 화면(810)은 기본적으로 4분할하여 구성하고, 사용자 설정에 따라 분할 화면의 수와 크기는 변경이 가능하다.

감시 모니터 화면(810)은 관제탑(800)에 설치된 디스플레이에 출력되며, 공항감시 레이더(120-3)로부터 획득된 항공기 접근 순서에 따른 운항정보를 나타내는 좌측상단화면(812), 공항감시 레이더로부터 획득된 항공기의 위치정보를 나타내는 좌측하단화면(813), 카메라로부터 획득된 영상정보를 나타내는 우측상단화면(811), 음향 센서(120-1)으로부터 획득된 음향정보를 나타내는 우측하단화면(814)으로 이루어질 수 있다.

위치, 영상, 음향정보의 비정상적인 탐지에 따른 경고는 소리, 문자, 및 그래픽으로 자동 표출될 수 있다. 또한, 일반영상과 열화상은 동시표출을 기본으로 하고 사용자 설정에 따라 분리하여 각기 다른 화면에 표출가능하다.

센서계 및 다수의 감시 장비등으로부터 탐지된 모든 개별정보와 통합 분석된 정보는 데이터베이스(141)에 저장되며, 항공 교통 관제시 스템과 동일하게 30일 기본 저장과 순차적인 삭제가 이루어진다.

분석이 필요한 경우 특정시간, 항공기 기종-세부기종(Sub-Series)-항공사 일치여부를 확인하여 최적의 비교대상을 분류하고 해당 정보를 AI분석엔진(미도시)으로 전달한다. 항공기 사고 등의 조사가 필요한 경우 선택된 항공기의 개별 정보, 통합정보가 AI분석엔진으로 전달되고 이는 감시 모니터 화면 또는 별도의 화면으로 출력된다. 전달된 자료의 입출력 기록은 모두 저장된다. 사고 및 준사고 분석에 필요한 자료는 사용자의 설정에 따라 별도 저장/관리된다.

또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.

여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

100: 스마트 공항 관제 시스템
120: 센서계 130: 통신망
140: 관리 서버 141: 데이터베이스
150: 관제탑 서버
210: 통신부 220: 수집부
230: 분석부 240: 분석 제공 정보 생성부
250: 출력부 310: 입력부
320: 처리부 330: 뷰생성부
340: 저장부
351: 파노라마뷰 352: 주기장뷰
353: 어라운드뷰 354: 추적용 CCTV(Closed Circuit Television)뷰
410: 데이터 인식 모듈 420: 데이터 분석 모듈
430: 운항 상황 정보 생성 모듈
510: 활주로 520: 고도 제한 구역
530: 연장선 521: 최종 접근 경로

Claims

활주로(510)의 중심으로부터 연장되는 연장선(530)상에 있는 고도 제한 구역(520)으로 진입하는 항공기(110)를 센싱하여 센싱 정보를 생성하는 센서계(120);
상기 센서계(120)는,
상기 센싱 정보중 상기 항공기(110)에서 발생하는 음향 정보를 탐지하는 제 1 센서(120-1);
상기 센싱 정보중 상기 항공기(110)에 대한 영상 정보를 획득하는 제 2 센서(120-2); 및
상기 센싱 정보중 상기 항공기(110)에 대한 위치 정보를 획득하는 제 3 센서(120-3);
상기 제 1 센서(120-1) 및 상기 제 2 센서(120-2)는 상기 활주로(510)의 선단에 배치되고, 상기 제 3 센서(120-3)는 공항감시 레이더인 것을 특징으로 하며,
상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보를 상기 항공기의 기준 정보와 비교하고,
상기 기준 정보는 과거 정상 착륙 항공기 정보, 표준 경로 정보, 고도 제한 구역 정보, 및 관제사 설정 정보를 포함하고,
상기 영상 정보, 상기 음향 정보, 및 상기 위치 정보는 공항의 기상 정보, 주변 특이 소음 및 교통량을 포함하는 운영 환경 정보에 따라 미리 설정되는 가중치가 가감 적용되며, 도착-도착, 도착-출발, 출발-출발 항공기의 분리간격이 가감되는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
삭제
삭제
삭제
제 1 항에 있어서,
상기 연장선은 상기 활주로의 중심선을 따라 연장되고, 상기 고도제한구역 (520)은 상기 연장선으로부터 일정각도로서 상기 활주로부터 멀어질수록 폭이 증가하도록 좌우 대칭선을 따라 형성된 영역인 것을 특징을 하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
제 5 항에 있어서,
상기 제 2 센서는 열화상 센서로서, 상기 항공기의 엔진 가동여부, 비정상 고열 발생을 탐지하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.
제 6 항에 있어서,
상기 제 1 센서는 음향감지 센서로서, 상기 항공기의 이착륙 시 발생하는 엔진 출력소리, 비정상 상황 및 사고시 발생하는 특정소리, 기종별 엔진소음, 항공기 복행(Go Around), 실패접근(Missed Approach) 시 발생하는 엔진 출력 증가 의 엔진 특이소음, 항공기의 지상충돌 또는 항공기간 충돌의 비정상 소음, 출발항공기 이륙시 발생하는 엔진출력 증가의 소음을 탐지하는,
최종접근 경로의 항공기를 감시 및 경고하는 항공관제시스템.