KR20230004062A

KR20230004062A - 인공지능 활용 영상 기반 항공기 최종접근 분석 시스템 및 방법

Info

Publication number: KR20230004062A
Application number: KR1020210085849A
Authority: KR
Inventors: 문우춘; 김진호; 조은비; 오안나; 홍대의
Original assignee: 주식회사 루다시스; 몬드리안에이아이 주식회사
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2023-01-06
Also published as: KR102617394B1

Abstract

본 발명은 최종접근하는 항공기의 안정성을 분석하도록 구성되는 항공기 최종접근 분석 시스템을 개시한다. 본 발명은 항공기의 영상들을 실시간적으로 획득하도록 구성되는 카메라; 상기 획득된 항공기의 영상들을 인공지능 기술을 활용하여 분석하도록 구성되는 제어장치; 및 상기 카메라에 의해 획득된 영상들 및 상기 제어장치에 의해 분석된 정보를 저장하도록 구성되는 저장장치를 포함하며, 상기 제어장치는: 상기 카메라를 이용하여, 착륙을 위해 활주로에 최종 접근하는 항공기의 영상들을 실시간적으로 획득하며; 상기 최종 접근하는 항공기의 획득된 영상들을 분석하여, 상기 항공기가 상기 활주로 상공에 설정되는 소정의 기준접근통로를 이탈하는지 여부를 검출하도록 구성되는 항공기 접근 분석 시스템을 제공한다.

Description

인공지능 활용 영상 기반 항공기 최종접근 분석 시스템 및 방법{DIGITAL IMAGE BASED SYSTEM AND METHOD FOR ANALYSING AIRCRAFT ON FIANL APPROACH SEGMENT APPLYING AI}

본 발명은 활주로에 접근하는 항공기의 안정성을 분석하도록 구성되는 시스템 및 방법에 관한 것이며, 보다 상세하게는 상기 항공기의 영상들을 대상으로 인공지능 모듈을 활용하여 상기 활주로로의 안정 접근(stable approach)을 분석하는 시스템 및 방법에 관한 것이다.

착륙하기 위해 항공기는 정해진 절차와 패턴을 따라 활주로로 접근하도록 비행하며, 이와 같은 접근 중 접지(touch down)를 위한 마지막 구간을 "최종접근 (final approach)"이라고 부른다. 보다 정확하게는, 최종접근은 항공기가 착륙을 위해 활주로에 정대(establish)하고 강하하기 시작할 때부터 최종적으로 상기 활주로 지면에 접지(touch down)할 때까지 상기 항공기의 최종적인 비행구간을 의미한다. 3차원 공간의 비행중에 2차원 평면인 활주로에 착륙하는 것은 조종사에게 많은 기술을 요구한다. 또한, 착륙중에 항공기는 저속으로 비행하므로, 활주로 주변의 기상조건, 예를 들어 풍향과 풍속에 많은 영향을 받을 수 있다. 따라서, 항공기는 착륙중에 이륙 및 비행중일 때보다 더 큰 위험에 노출되며, 이에 따라 최종접근 구간의 항공기는 안전한 착륙을 위해 정확하고 상세하게 분석될 필요가 있다.

이와 같은 분석을 위해, 일반적으로 활주로에는 지상항행안전시설이 설치된다. GPS를 이용한 접근절차도 지상항행안전시설과 유사한 정밀접근절차를 수행할 수 있는 수직적·수평적 분석을 통해 항공기의 안전한 착륙을 유도한다.

그러나, 지상항행안전시설 중 정밀접근 절차를 수행할 수 있는 장비를 갖추지 못한 공항이나 GPS 등 장비에 문제가 생긴 경우 항공기의 안전은 조종사나, 무인항공기의 경우 조종자에 달려있다. 또한, 최종접근 구간을 비행하는 항공기에 대한 상태 정보는 레이더 항적데이터로부터 획득하는 고도, 속도, 위치 등의 단편적인 정보와 관제사의 육안으로만 확인이 가능하여 사고나 준사고로 이어질 수 있는 불안정접근(unstable approach)에 대한 상황인식능력이 저하되어 있다. 비행 중인 항공기의 정보를 획득하기 위해 항공기 내의 센서를 이용하여 항공기의 안전성을 분석할 수 있는 운항품질보증프로그램(FOQA Program: Flight Operation Quality Assuarance Program)이 개발되어 운영중에 있으나 이러한 데이터는 기체의 운영자가 활용하는 정보이므로 관제사의 상황인식능력 제고와는 거리가 있다.

본 발명은 상술된 문제점을 해결하기 위한 안출된 것으로, 본 발명의 목적은 착륙을 위한 최종접근구간을 비행하는 항공기의 안정성을 분석하는 시스템 및 방법을 인공지능을 활용한 영상분석을 통해 제공하는 것이다.

또한, 본 발명의 다른 목적은 향후 항공기 상태정보를 실시간으로 분석하여 관제사 또는 조종사에게 전달하여 항공안전에 기여 할 수 있는 시스템 및 방법 개발의 초석을 만드는 것이다.

상술된 목적을 달성하기 위해, 본 발명은 항공기의 영상들을 획득하도록 구성되는 카메라; 상기 획득된 항공기의 영상들을 인공지능 모듈을 활용하여 분석하도록 구성되는 제어장치; 및 상기 카메라에 의해 획득된 영상들 및 상기 제어장치에 의해 분석된 정보를 저장하도록 구성되는 저장장치를 포함하며, 상기 제어장치는: 상기 카메라를 이용하여, 착륙을 위해 활주로에 최종 접근하는 항공기의 영상들을 획득하며; 상기 최종 접근하는 항공기의 획득된 영상들을 인공지능 모듈을 통해 분석하여, 상기 항공기가 상기 활주로 상공에 설정되는 소정의 기준접근통로(standard approach corridor)를 이탈하는지 여부를 검출하도록 구성되는 항공기 최종접근 분석 시스템을 제공할 수 있다.

상기 제어장치는 상기 최종접근하는 항공기의 영상을 획득하기 이전에 상기 기준접근경로를 구축하도록 구성될 수 있다.

보다 상세하게는, 상기 기준접근통로로부터의 이탈을 검출하기 위해, 상기 제어장치는: 상기 획득된 영상들로부터 인공지능 모듈을 통해 상기 항공기의 형체를 식별하며: 상기 식별된 항공기 형체로부터 인공지능 모듈을 통해 상기 항공기의 기준점을 특정하며; 상기 특정된 기준점에 기초하여 거리산출 모듈을 통해, 상기 항공기의 기준접근통로내에서의 상기 항공기의 상대적 위치를 산출할 수 있다.

또한, 상기 제어장치는 상기 검출된 기준접근통로의 이탈여부를 분석할 수 있다.

본 발명은 최종접근구간에서의 항공기 상태정보를 레이더를 통한 항적데이터에 한정하지 않고, 영상데이터를 대상으로 인공지능 모듈을 활용한 분석을 통해 항공기 상태정보를 제공하여 관제사의 상황인식 능력을 높여주는 시스템이다.

세부적으로, 본 발명의 인공지능 활용 영상기반 항공기 최종접근 분석 시스템은 카메라를 이용하여 최종접근하는 항공기의 영상을 획득하고 획득된 영상들로부터 인공지능 모듈을 적용하여 항공기 운동특성을 추출함으로써 기 설정된 기준접근통로로부터 상기 항공기가 이탈하는지 여부를 검출할 수 있다. 보다 상세하게는, 인공지능 활용 영상기반 항공기 최종접근 분석 시스템은 획득 및 분석된 영상에서 식별된 항공기 형체가 활주로로부터 떨어진 소정 거리에서 기준접근통로에 대해 갖는 상대적 위치를 확인하고 이러한 상대적 위치를 이용하여 이탈여부를 평가할 수 있다. 따라서, 이러한 기준접근통로에 대한 상대적 위치의 평가를 통해 본 발명의 인공지능 활용 영상기반 항공기 최종접근 분석 시스템은 항공기의 최종접근 구간의 비행상태를 분석할 수 있다.

또한, 본 발명의 인공지능 활용 영상기반 항공기 최종접근 분석 시스템은 앞서 언급된 최적의 제어방법을 기반으로 카메라로 획득된 영상분석만을 통해 최종접근하는 항공기의 안정성에 대한 감시를 수행할 수 있다. 따라서, 본 발명의 인공지능 활용 영상기반 항공기 최종접근 분석 시스템은 최종접근 구간의 항공기 상태 데이터 수집을 가능하게 하며, 기존 항공기에서만 알 수 있는 수직적, 수평적 이탈편차(deviation)를 제 3의 관점에서 모니터 할 수 있으며, 이를 통해 최종접근 구간의 항공종사자 상황인식능력을 제고할 수 있다.

도 1은 본 발명에 따른 인공지능 활용 영상기반 항공기 최종접근 분석 시스템의 구성을 나타내는 블록도이다.
도 2는 실제 활주로에 적용된 인공지능 활용 영상기반 항공기 최종접근 분석 시스템의 구성을 나타내는 개략도이다.
도 3은 본 발명에 따른 인공지능 활용 영상기반 항공기 최종접근 분석 방법을 나타내는 순서도이다.
도 4는 도 3의 제어방법에서 인공지능 모듈을 활용하여 기준접근통로로부터의 항공기의 이탈을 검출하는 단계를 상세하게 나타내는 순서도이다.
도 5는 기준접근통로를 설정하기 위해 측정되는 착륙하는 항공기의 접근각도들을 나타내는 개략도이다.
도 6은 구축된 기준접근통로를 나타내는 개략도이다.
도 7은 항공기 형체를 식별하는 단계를 보여주는 항공기 영상의 예들이다.
도 8은 식별된 항공기 형체의 기준점을 특정하는 단계를 보여주는 항공기 영상의 예이다.
도 9는 기준접근통로내의 항공기의 상대적 위치를 확인하고 항공기의 이탈을 판단하는 단계들을 보여주는 항공기 영상의 예이다.

첨부된 도면을 참조하여 본 발명에 따른 인공지능 활용 영상기반 항공기 최종접근 분석 시스템 및 방법의 예들이 다음에서 상세히 설명된다.

이러한 예들의 설명에 있어서, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 출원의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "이루어진다(comprise)", "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 같은 이유에서, 본 출원은 개시된 실시예들의 의도된 기술적 목적 및 효과에서 벗어나지 않는 한 앞선 언급된 용어를 사용하여 설명된 관련 특징, 숫자, 단계, 동작, 구성요소, 부품의 조합으로부터도 일부 특징, 숫자, 단계, 동작, 구성요소, 부품등이 생략된 조합도 포괄하고 있음도 이해되어야 한다.

도 1은 본 발명에 따른 항공기 최종접근 분석 시스템의 구성을 나타내는 블록도이며, 도 2는 실제 활주로에 적용된 항공기 최종접근 분석 시스템의 구성을 나타내는 개략도이다. 이들 도면들을 참조하여, 본 발명에 따른 항공기 최종접근 분석 시스템의 일 예의 구성을 상세하게 설명하면 다음과 같다.

앞서 간략하게 논의된 바와 같이, 본 발명에 따른 인공지능 활용 영상기반 항공기 최종접근 분석 시스템(이하, "분석 시스템")은 활주로에 착륙을 시도하는 항공기의 최종접근을 인공지능 기술을 활용하여 분석하도록 구성될 수 있다. 최종접근은 항공기가 착륙을 위해 활주로에 정대하고 강하하기 시작할 때부터 최종적으로 상기 활주로 지면에 접지할 때까지 상기 항공기의 최종적인 비행구간에 해당하며, 분석 시스템은 이러한 최종비행구간동안 항공기의 안전한 비행 및 착륙을 가능하게 하는 소정 기준, 즉 나중에 상세히 설명되는 바와 같은 기준접근통로(standard approach corridor or reference approach corridor)를 기준으로 상기 항공기가 계속적으로 이를 이탈하지 않고 운항할 수 있도록 상태를 분석하도록 구성될 수 있다. 이러한 분석 시스템은 향후 항공기 최종접근의 실시간 분석이 가능한 단계로 발전하여 분석을 수행하도록 설계된 독립적인 전용장치가 될 수 있다. 한편, 다음에 설명되는 본 발명의 분석 시스템은 공항의 관제 시스템에 이의 일부분으로 통합될 수 있으며, 이와 같은 통합 시스템은 항공기의 관제 및 최종접근 분석 둘 다를 서로 유기적으로 연계시켜 연속적으로 처리할 수 있다. 도 1 및 도 2는 일 예로서 독립된 전용 분석 시스템(stand-alone analysis system)을 보여준다. 본 발명의 분석 시스템은 이러한 일 예를 참조하여 다음에서 설명되나 도 1 및 도 2의 예는 이의 구성 및 기능의 실질적 변형없이도 공항의 관제 시스템과 통합된 형태로도 구현될 수 있다.

먼저, 본 발명의 분석 시스템은 입력장치로서 카메라(10)를 포함할 수 있다. 항공기(A)를 정확하게 분석하기 위해서는 비행하는 항공기(A)의 운동특성을 파악할 필요가 있다. 예를 들어, 이러한 운동특성은 항공기(A)의 수평적 위치(즉, 위도·경도) 수직적 위치(고도), 자세(pitch, yaw, bank), 거리(활주로로부터의 거리), 등을 포함할 수 있다. 운동특성을 산출하기 위해서는 기본적으로 항공기(A)의 운동을 감지할 필요가 있다. 카메라(10)는 이미지 센서를 이용하여 비행하는, 정확하게는 최종접근하는 항공기(A)의 영상을 획득하여, 획득된 영상들로부터 상기 항공기(A)의 운동이 감지되고 운동특성이 산출될 수 있다. 항공기(A)는 고속으로 비행하므로, 이러한 항공기(A)의 운동특성을 정확하게 산출하기 위해서는 항공기(A)의 운동이 계속적으로 추적되어야 하며, 이를 위해서는 단위시간당 가능한 많은 영상들이 획득되어야 한다. 또한, 향후 이러한 고속의 항공기(A)의 실시간적 이탈편차에 대한 분석을 위해서는 더욱더 많은 영상의 분석을 실제적으로 요구한다. 따라서, 카메라(10)는 고속으로 즉, 높은 프레임 레이트로 항공기(A)의 영상들을 획득하도록 구성될 수 있다.

보다 상세하게는, 카메라(10)는 착륙을 위해 활주로(R)로 접근하는 항공기(A)의 자세를 검출 또는 산출하기 위해 상기 항공기(A)의 영상들을 획득하도록 구성되는 제 1 카메라(11)를 포함할 수 있다. 도 2에 도시된 실제 활주로(R)에서 나타나는 바와 같이, 활주로(R)는 착륙 및 이륙을 위한 충분할 활주거리를 확보하기 위해 길이방향으로 길게 연장되며, 이에 따라 서로 대향되는 제 1 및 제 2 끝단(R1,R2)을 가질 수 있다. 항공기(A)는 활주로(R)상의 소정의 착륙지점(L)에 착륙하게 된다. 항공기(A)는 착륙후 충분한 활주거리 확보를 위해 활주로(R)의 어느 한 끝단, 예를 들어 도시된 바와 같이, 제 1 끝단(R1) 부근에 착륙할 수 있으며, 이에 따라 상기 착륙지점(L)도 제 1 끝단(R1) 또는 상기 제 2 끝단(R1)에 인접하게 설정될 수 있다. 항공기(A)의 자세를 정확하게 검출하기 위해서는 항공기(A)의 정면영상을 획득하는 것이 유리하다. 따라서, 제 1 카메라(11)는 최종접근하는 항공기(A)를 마주하는 활주로(R)의 제 1 또는 제 2 끝단(R1,R2)에 설치될 수 있다. 만일 제 1 끝단(R1)에 설치되는 경우, 그러나, 착륙지점(L)이 제 1 끝단(R1)의 후방에 위치되므로, 최종접근의 전 구간동안 항공기(A)의 영상을 획득할 수 없으며, 착륙하는 항공기(A)와 간섭할 수 있다. 따라서, 도 2에 도시된 바와 같이, 바람직하게는 제 1 카메라(11)은 착륙지점(L)과 인접한 제 1 끝단(R1)에 대향되는 활주로(R)의 제 2 끝단(R2)에 배치될 수 될 수 있으며, 이 위치에서 정면영상을 획득하기 위해 활주로(R)에 접근하는 항공기(A)를 마주하도록, 즉, 접근하는 항공기(A)를 이의 화각(FOV: field of view)과 마주하게 할 수 있다. 제 1 카메라(11)는 항공기(A)의 정면영상들을 최종접근동안 실시간으로 계속적으로 획득하며, 이러한 정면영상들과 후술되는 제어장치(50)의 거리산출모듈(53)을 이용하여, 상기 항공기(A)의 자세뿐만 아니라, 위도, 경도, 고도 및 활주로로부터의 거리도 검출될 수 있다.

또한, 항공기(A)를 정확하게 분석하기 위해서는, 상기 항공기(A)의 상공내의 위치, 즉 3차원 공간상의 좌표를 정확하게 파악하는 것이 중요하다. 이러한 항공기(A)의 위치를 파악하기 위해, 카메라(10)는 착륙지점(L)로부터 상기 항공기(A)까지의 거리(D)(이하, "제 1 거리(D)")를 산출하기 위한 영상들을 획득하도록 구성되는 제 2 카메라(12)를 포함할 수 있다. 정확하게는 제 2 카메라(12)는 착륙지점(L)으로부터 항공기(A)까지의 수평방향 거리, 즉 상기 항공기(A)로부터 수직하게 아래쪽으로 연장된 연장선과 지면이 만나는 지점으로부터 상기 착륙지점(L)까지의 거리를 측정하도록 구성된다(도 5 및 도 6 참조). 이러한 제 1 거리(D)에 의해 항공기(A)의 2차원 평면상의 좌표가 결정될 수 있으며, 상기 제 1 카메라(11)에 의해 획득된 영상을 통해 상기 항공기(A)의 3차원 적 정보인 높이가 측정된다. 따라서, 제 1 카메라(11) 및 제 2 카메라(12)의 영상 에서 얻어지는 제 1 거리(D) 및 높이정보를 기반으로 제어장치(50)의 거리산출 모듈(53)을 통하여 항공기(A)의 활주로(R) 상공상의 위치, 즉 3차원 공간좌표가 정확하게 산출될 수 있다.

실제적으로 삼각측량에 의해 앞서 언급된 제 1 거리(D)는 용이하게 산출될 수 있으며, 이러한 삼각측량은 서로 다른 두 지점에서 얻어지는 영상들을 통해 수행될 수 있다. 따라서, 도 2에 도시된 바와 같이, 제 2 카메라(12)는 서로 이격되어 서로 다른 지점들에서 항공기(A)의 영상들을 획득하도록 구성되는 제 1 및 제 2 보조 카메라(12a,12b)를 포함할 수 있다. 또한, 삼각측량을 위해서는 항공기(A)의 정면영상들이 요구되지 않으며, 다양한 각도에서의 영상들이 사용될 수 있으므로, 제 1 및 제 2 보조 카메라(12a,12b)는 도시된 바와 같이, 일 예로서, 관제탑(T)에 배치될 수 있다. 다른 한편, 다른 예로서, 제 1 및 제 2 보조 카메라(12a,12b)는 활주로(R)의 제 1 끝단(R1)에 설치될 수도 있다. 이러한 경우, 제 1 및 제 2 보조 카메라(12a,12b)는 최종접근하는 항공기(A)에 상대적으로 가까워지게 배치되므로, 높은 해상도 및 광학배율을 가질 필요가 없다. 따라서, 이러한 제 2 카메라(12)의 제 1 끝단(R1)으로의 배치에 의해, 요구되는 성능은 유지하면서도, 분석 시스템의 전체적인 단가가 낮아질 수 있다.

본 발명의 분석 시스템은 또한 출력장치로서 디스플레이(20)를 포함할 수 있다. 디스플레이(20)는 시각정보인 영상을 출력하도록 구성되며, LCD, OLED와 같은 다양한 형태들로 구현될 수 있다. 이러한 디스플레이(20)는 최종접근하는 항공기(A)의 분석과 관련된 다양한 정보들을 사용자에게 표시할 수 있다. 여기서, 사용자는 분석 시스템의 운영자, 관제사, 더 나아가 항공기(A)의 조종사가 될 수 있다. 예를 들어, 디스플레이(20)는 앞서 카메라(10)에서 획득되는 항공기(A)의 영상뿐만 아니라 상기 인공지능 모듈 및 거리산출 모듈(53)을 활용하여 영상을 분석한 결과들을 사용자에게 표시할 수 있다. 분석 시스템은 항공기(A)의 최종접근 안정성 분석 및 처리된 결과를 사용자에게 보다 효과적으로 제공하기 위해 스피커와 같은 음성출력장치를 포함할 수도 있다. 이러한 음성출력장치는 예를 들어 분석 시스템에서 분석 및 처리된 결과를 디스플레이(20)의 시각정보와 함께 청각정보, 음성 또는 경보를 통해 동시에 제공함으로써 최종접근중인 항공기(A)의 현 상태를 보다 명확하고 신속하게 사용자가 파악할 수 있게 할 수 있다.

분석 시스템은 또한 외부 장치와의 통신을 가능하게 하는 통신장치(30)를 포함할 수 있다. 예를 들어, 통신장치(30)는 유무선 네트워트 프로토콜을 이용하는 장치로 이루어질 수 있으며, 이러한 경우, 통신장치(30)는 소정의 네트워크를 통해 외부장치와 분석 시스템을 통신가능하게 연결할 수 있다. 또한, 통신장치(30)는 다양한 근거리 통신기술, 예를 들어 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), NFC(Near Field Communication) 등을 이용하는 장치로 이루어질 수도 있으며, 이러한 근거리 통신기술에 의해 통신 장치(30)는 분석 시스템과 외부장치사이에 직접적인 전용 통신 채널을 형성할 수 있다.

이와 같은 통신장치(30)는 향후 외부장치에 연결된 통신 채널을 통해 분석 시스템내의 정보들을 외부장치에 송신하며, 상기 외부장치로부터 필요한 정보들을 수신할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 통신장치(30)는 최종접근중인 항공기(A)를 분석 시스템과 통신가능하게 연결할 수 있으며, 분석 시스템에서 처리된 결과, 즉 항공기(A)의 최종접근을 분석한 정보를 상기 관제사에게 실시간적으로 전송할 수 있다. 또한, 같은 방식으로 통신장치(30)에 의해 분석 시스템은 관제탑(T)과 통신가능하게 연결되어 최종접근 불안정접근에 대한 경보(warning)를 실시간적으로 관제탑(T)에 제공할 수도 있다. 한편, 앞서 설명된 바와 같이, 카메라(10:11,12)는 정확한 분석을 위해 요구되는 특성을 갖는 항공기(A) 영상을 획득하기 위해 활주로(R)에 서로 물리적으로 이격되게 배치될 수 있으며, 또한 같은 이유로 분석 시스템의 다른 장치들과도 물리적으로 이격되게 배치될 수 있다. 따라서, 통신장치(30)는 이러한 카메라(10)도 분석 시스템의 다른 장치들과 통신가능하게 연결할 수 있으며, 이에 따라 분석 시스템은 물리적으로 이격된 카메라(10)로부터 실시간적으로 획득된 영상을 수신할 수 있다.

또한, 저장장치(40)는 관리 시스템내에 구비되어 최종접근하는 항공기(A)의 분석을 위한 다양한 정보들을 저장할 수 있다. 이러한 저장된 정보들은 요청에 의해 분석 시스템의 다른 장치, 예를 들어 후술되는 제어장치(50)에 제공될 수 있다. 같은 방식으로, 향후 저장장치(40)의 정보들은 관제탑(T)의 관제사에게 실시간적으로 제공될 수 있다. 예를 들어, 저장장치(40)는 기본적으로 카메라(10)에서 획득된 영상들을 포함하는 영상 데이터(41)를 포함할 수 있다. 또한, 획득된 영상들을 분석 및 처리한 결과들의 데이터(42,43,44)도 저장장치(40)는 포함할 수 있다. 더 나아가, 저장장치(40)는 분석 시스템을 구동하는 운영체계 및 영상을 처리하는 각종 애플리케이션들도 실행가능하게 설치된 형태로 저장할 수 있다.

제어장치(50)는 각 장치들(10-40)의 동작을 제어하여 분석 시스템의 전반적인 동작을 제어한다. 제어장치(50)는 프로세서 및 관련 전자부품들로 이루어질 수 있으며, 도시된 바와 같이, 각각의 장치들(10-40)과 전기적으로 연결될 수 있다. 이러한 전기적 연결에 의해 제어장치(50)는 전기신호의 교환에 의해 의도된 작동을 수행하도록 분석 시스템을 전체적으로 제어할 수 있다. 특히, 제어장치(50)는 최종접근하는 항공기(A)의 분석을 위한 다양한 작동을 제어할 수 있다. 보다 상세하게는, 인공지능 기반의 식별모듈(51)은 활주로(R) 주변 상공내 다른 물체(N1), 다양한 주변환경(N2)으로부터 항공기(A)의 구별과 정확한 분석을 위해 획득된 영상들로부터 항공기(A)의 형체를 명확하게 식별해내도록 구성될 수 있다 (도 7 참조). 또한, 인공지능 기반의 이탈검출모듈(52)은 안전한 접근 및 착륙을 보장하는 기준접근통로로부터 항공기(A)가 이탈하는지 여부를 검출하도록 구성될 수 있다. 후술되는 거리산출 모듈(53)은 항공기(A)의 거리를 판별하기 위해 스테레오 카메라를 이용하는 방법 또는 영상들의 항공기(A) 크기 정보를 이용하는 방법 등을 통해 거리를 산출하도록 구성될 수 있다.

이러한 제어장치(50)의 모듈들(51-53)의 상세한 기능들은 다음의 도 3-도 9에 기초한 분석 방법에서 보다 상세하게 설명된다. 앞서 언급된 식별 및 검출모듈(51,52) 및 거리산출 모듈(53)에 대응하여, 저장장치(40)는 이들 모듈(51,52,53)에서 수행된 작업의 결과 관련 데이터인 식별 데이터(42), 이탈검출데이터(43) 및 거리산출데이터(44)를 저장할 수 있다.

앞서 설명된 분석 시스템은 인공지능 모듈을 활용하여 최종접근하는 항공기(A)의 안정접근 여부를 분석 할 수 있는 능력을 가지며, 이와 같은 분석은 보다 최적화된 제어를 통해 효과적이고 효율적으로 수행될 수 있다. 이러한 이유로, 도 1 및 도 2에 따른 분석 시스템에 최적화된 제어방법이 최종접근의 분석방법으로서 고안되었으며 다음에서 추가적으로 관련된 도면들을 참조하여 설명된다. 특별히 반대되는 설명이 없는 한 도 1 및 도 2와 이에 대한 설명들은 다음의 분석 방법의 설명 및 도면들에 기본적으로 포함되고 참조된다.

도 3은 본 발명에 따른 인공지능 활용 항공기 최종접근 분석 방법을 나타내는 순서도이며, 도 4는 도 3의 제어방법에서 기준접근통로로부터의 인공지능 모듈을 활용하여 항공기의 이탈을 검출하는 단계를 상세하게 나타내는 순서도이다. 또한, 도 5는 기준접근통로를 설정하기 위해 측정되는 착륙하는 항공기의 접근각도들을 나타내는 개략도이며, 도 6은 구축된 기준접근통로를 나타내는 개략도이다. 끝으로, 도 7-도 9는 인공지능 모듈을 활용하여 항공기 형체를 식별하는 단계를 보여주는 항공기 영상, 식별된 항공기 형체의 기준점을 인공지능 모듈을 활용하여 특정하는 단계를 보여주는 항공기 영상 및 기준접근통로내의 항공기의 상대적 위치를 확인하고 항공기의 이탈을 판단하는 단계들을 보여주는 항공기 영상의 예들을 각각 보여준다.

다음에서 설명되는 분석 시스템의 제어방법, 즉 항공기(A)의 분석방법은 앞서 도 1 및 도 2를 참조하여 설명된 구성요소, 즉 다양한 장치들 및 부품들의 작동을 제어하며, 이러한 작동에 기초하에 의도된 기능들을 제공할 수 있다. 따라서, 다음의 분석방법에서 설명되는 작동 및 기능들은 제어방법의 특징뿐만 아니라 모두 관련된 구성요소들의 기능적 특징으로도 간주될 수 있다. 특히, 제어장치(50), 즉 프로세서는 제어기(controller) 및 제어부(controlling unit)와 같은 다양한 명칭으로 불릴 수 있으며, 제어방법에 따른 작동을 수행하기 위해 분석 시스템의 모든 구성요소들을 제어할 수 있다. 따라서, 제어장치(50)가 실질적으로 본 발명에서 다음에 설명되는 모든 방법 및 모드들을 실질적으로 제어하며, 이에 따라 이후 설명될 모든 단계들은 기본적으로 제어장치(50)의 특징이 될 수 있다. 이러한 이유로, 비록 제어장치(50)에 의해 수행되는 것으로 설명되지 않는다 하더라도, 다음의 단계들 및 이들의 세부적인 특징들은 모두 제어장치(50)의 특징으로 이해될 수 있다. 또한, 다음의 제어방법의 설명에서 구조적 특징 및 이의 작동은 모두 도 1-도 2에서 설명된 것을 참조하며, 이에 따라 이들에 대한 반복적인 상세한 설명은 생략된다.

도 3을 참조하면, 먼저 분석 시스템, 즉 제어장치(50)는 항공기(A)의 최종접근을 분석하기에 앞서, 보다 상세하게는, 그와 같은 분석을 위해 카메라(10)를 통해 항공기(A)의 영상을 획득하기 이전에, 소정의 기준접근통로(1)(standard approach corridor or reference approach corridor)를 구축하도록 구성될 수 있다(S10). 도 6에 잘 도시된 바와 같이, 항공기(A)는 착륙을 위한 최종접근동안 활주로(R)상의 소정의 착륙지점(L)을 향해 비행하게 된다. 이러한 최종접근동안 항공기(A)는 도 5(b)에 도시된 바와 같이, 활주로(R)상의 착륙지점(L)을 향해, 서서히 강하하게 되므로, 이와 같은 강하를 위해 수직방향, 즉 높이 방향에서 소정의 각도로 착륙지점(L)으로 접근하게 된다. 또한, 도 5(a)에 도시된 바와 같이, 항공기(A)는 수평방향에서 활주로(R)의 길이방향 중심선(C)를 따라 비행하는 것이 일반적이나, 기상조건을 포함한 여러가지 비행조건들에 따라 중심선(C)에 대해 우측 또는 좌측중 어느 일측 방향에서 소정각도로 착륙지점(L)에 접근할 수 있다. 따라서, 항공기(A)의 최종접근은 앞서 언급된 바와 같은 최종접근중 항공기(A)가 갖는 수직방향 각도 및 수평방형 각도에 의해 정의될 수 있다. 같은 이유로, 수직방향 각도 및 수평방향 각도를 일정한 값 이내로 제어함으로써 항공기(A)의 최종접근은 안전하게 수행될 수 있다. 이러한 이유로, 최종접근동안 수평 및 수직방향 각도들은 최종접근의 안정성을 분석하기 위한 기준으로써 사용될 수 있으며, 최종접근동안 항공기(A)의 안전한 비행 및 착륙을 허용하는 상기 수평 및 수직방향 각도들의 값들은 기준접근각도로 정의될 수 있다. 즉, 항공기(A)의 안전한 최종접근을 허용하는 수평방향 각도는 제 1 기준각도(HS)로 정의될 수 있으며, 마찬가지로 안전한 최종접근을 허용하는 수직방향 각도는 제 2 기준각도(VS)로 정의될 수 있다. 제 1 기준각도(HS)는 중심선(C)의 양측에 각각 설정되어 상기 중심선(C)을 기준으로 상기 제 1 기준각도(HS)의 2배에 해당하는 소정의 각도범위를 안전한 기준으로서 수평방향에 설정할 수 있다. 또한, 제 2 기준각도(VS)는 수직방향으로 소정의 최대값 및 최소값을 갖는 범위로서 설정될 수 있다. 이와 같은 제 1 및 제 2 기준각도(HS,VS)들은 수직 및 수평방향으로 소정의 비행 범위를 결정하므로, 도 6에 도시된 바와 같이, 이들 기준각도들(HS,VS)에 의해 활주로(R) 상공에는 길게 연장되는 가상의 3차원 공역이 한정될 수 있다. 이러한 3차원 공역이 최종접근하는 항공기(A)의 안전한 비행을 허용하는 기준접근통로(1)로 정의될 수 있다.

기준접근통로(1)는 도 6에 잘 도시된 바와 같이, 착륙직전 항공기(A)의 최종비행구간, 즉 최종접근구간에 설정되며, 활주로(R)로부터 소정거리로 이격된 지점부터 상기 활주로(R)상의 기 설정된 착륙지점(L)까지 길게 연장될 수 있다. 또한, 앞서 정의된 바와 같이, 기준접근통로(1)는 활주로(R)에 평행한 평면내에서 상기 활주로(R)의 길이방향 중심선(C)에 대해 수평방향으로 이의 어느하나의 길이방향 경계선(1a)이 형성하는 제 1 기준각도(HS)를 가질 수 있다. 이러한 제 1 기준각도(HS)는 중심선(C)를 기준으로 양측에 즉, 우측 및 좌측에 각각 형성되어 기준접근통로(1)의 수평방향 경계선들을 규정할 수 있다. 또한, 기준접근통로(1)는 활주로(R)의 중심선(C)을 따라 설정되는 상기 활주로(R)에 수직한 평면내에서 수직한 방향으로 상기 활주로(R)의 중심선(C)에 대해 길이방향 경계선(1a)가 형성하는 소정의 제 2 기준각도(VS)를 가질 수 있다. 이러한 제 2 기준각도(VS)는 수직방향으로 소정의 최대값 및 최소값의 범위로 설정되어 기준접근통로(1)의 수직방향 경계선들을 규정할 수 있다.

또한, 이와 같은 제 1 및 제 2 기준각도(HS,VS)는 착륙지점(L)을 원점으로 형성되므로, 기준접근통로(1)는 상기 착륙지점(L)에 최종적으로 수렴하는 다각형 뿔, 예를 들어 도시된 바와 같은 사각뿔 형상을 가질 수 있다. 즉, 기준접근통로(1)는 꼭지점인 착륙지점(L)까지 점점 감소되는 폭을 가지며, 동시에 상기 착륙지점까지 점점 감소되는 길이(또는 높이)를 가질 수 있다. 따라서, 이러한 다각형 뿔 형태로 인해, 기준접근통로(1)는 앞서 정의된 바와 같은 임의의 수평방향 제 1 거리(D)에서 가상의 다각형 단면영역, 예를 들어 사각형의 단면영역(S)을 가질 수 있다. 이러한 단면영역(S)은 임의의 제 1 거리(D)에서 활주로(R)의 중심선(C)에 수직한 방향으로 얻어지는 기준접근통로(1)의 단면에 해당하며, 이에 따라 상기 제 1 거리(D)에서 비행하는 항공기(A)의 수직 및 수평방향의 이동가능영역을 한정할 수 있다. 따라서, 항공기(A)가 제 1 거리(D)에서 상기 단면영역(S)내에 배치되거나, 소정의 허용된 범위내에서만 벗어나는 경우, 항공기는 기준접근통로(1)내에 배치되며, 이에 따라 안전하게 착륙지점(L)으로 접근하고 있다고 판단될 수 있다. 다른 한편, 항공기(A)가 제 1 거리(D)에서 상기 단면영역(S) 외부에 배치되거나, 소정의 허용된 범위를 넘게 벗어나는 경우, 항공기는 기준접근통로(1)외부에 배치되며, 이에 따라 안전하지 않은 최종접근을 수행하고 있다고 판단될 수 있다. 또한, 앞서 논의된 바와 같이, 다각뿔 형태의 기준접근통로(1)로 인해, 단면영역(S)도 착륙지점(L)방향으로 제 1 거리(D)의 감소에 따라 점차적으로 축소되며, 이러한 축소된 단면영역(1)에 의한 항공기(1)의 최종접근은 보다 세밀하게 분석 될 수 있다.

이러한 기준접근통로(1)를 설정하기 위해서는 앞서 설명된 바와 같이, 제 1 및 제 2 기준각도(HS,VS)가 요구된다. 따라서, 도 5(a)에 도시된 바와 같이, 제어장치(50)는 항공기(A)의 중심축(X)이 활주로(R)의 중심선(C)에 대해 수평방향으로 형성하는 제 1 접근각도(H:H1,H2)를 측정할 수 있다(S11). 동시에, 도 5(b)에 도시된 바와 같이, 제어장치(50)는 항공기(A)의 중심축(X)이 활주로(R)의 중심선(C)에 대해 수직방향에서 형성하는 제 2 접근각도(V:V1,V2)를 측정할 수 있다(S12). 제 1 및 제 2 접근각도(H,V)를 측정하기 위해, 실제 착륙하는 항공기(A)의 영상들이 카메라(10)을 통해 획득되며, 획득된 영상들이 분석될 수 있다. 또한, 보다 신뢰성있는 데이터를 확보하기 위해, 다수회의 시험착륙들이 수행될 수 있으며, 이러한 시험착륙들로부터 다수개의 제 1 및 제 2 접근각도들(H1,H2,V1,V2)이 측정될 수 있다. 제어장치(50)는 다수회의 시험착륙들중에 안전하게 착륙한 항공기(A)에 대해 측정된 제 1 및 제 2 접근각도들(H1,H2,V1,V2)에 기초하여, 제 1 및 제 2 기준각도들(HS,VS)을 결정할 수 있다(S13). 예를 들어, 제 1 접근각도들(H1,H2)의 평균값이 제 1 기준각도(HS)로 설정될 수 있으며, 같은 방식으로 제 2 접근각도들(V1,V2)의 평균값이 제 2 기준각도(VS)로 설정될 수 있다. 이와 같이 설정된 제 1 및 제 2 기준각도(HS,VS)로부터 앞서 설명된 바와 같이, 기준접근통로(1)가 설정될 수 있다.

한편으로, 각각의 활주로(R)에 대해서는 주변환경(즉, 지형 및 기후) 및 활주로(R) 설계상의 조건들을 고려하여 최적의 제 1 및 제 2 기준각도(HS,VS)기 미리 설정되어 있을 수 있다. 이러한 경우, 측정된 제 1 및 제 2 접근각도(H1,H2,V1,V2)을 이용하여 기 설정된 제 1 및 제 2 기준각도(HS,VS)가 보정되어 새로운 제 1 및 제 2 기준각도(HS,VS)와 더불어 새로운 기준접근통로(1)가 설명될 수 있다.

상기 구축단계(S10)에 의해 기준접근통로(1)가 설정되면, 분석 시스템은 설정된 기준접근통로(1)를 이용하여 최종접근하는 항공기(A)를 세밀하게 분석 할 수 있다.

이러한 분석과정에서 먼저, 제어장치(50)는 카메라(10)를 이용하여, 착륙을 위해 활주로에 최종 접근하는 항공기(A)의 영상들을 실시간적으로 획득할 수 있다(S20). 상기 획득단계(S20)에서, 보다 세밀하고 정확한 분석을 위해, 카메라(10)는 기준접근통로(1)에 진입할 때부터 착륙할 때까지 항공기(A)의 영상을 계속적이고 실시간적으로 획득할 수 있다. 또한, 항공기(A)는 고속으로 비행하므로, 이러한 항공기(A)의 운동이 계속적으로 추적되면서 이의 운동특성이 계속적으로 파악될 필요가 있다. 이를 위해서, 단위시간당 많은 영상들을 획득하도록, 즉 고속으로 영상을 획득하도록 카메라(10)는 기본적으로 구성된다. 예를 들어, 일반적으로 항공기(A)의 최종접근은 40초-80초동안 수행되므로, 카메라(10)는 프레임 레이트 30fps으로 최소 1200 프레임의 영상을 획득하도록 구성될 수 있다.

보다 상세하게는, 제 1 카메라(10)는 착륙을 위해 활주로(R)로 접근하는 항공기(A)의 자세를 검출 또는 산출하기 위해 항공기(A)의 정면 영상들을 최종접근동안 실시간으로 계속적으로 획득할 수 있다. 제 1 카메라(10)에서 얻어지는 정면 영상들을 통해, 제어장치(50)의 거리산출 모듈(53)은 항공기(A)의 자세뿐만 아니라, 수직적, 수평적 위치도 검출할 수 있다. 또한, 제 2 카메라(12), 즉 제 1 및 제 2 보조카메라(12a,12b)는 최종접근하는 항공기(A)의 제 1 거리(D)를 산출하기 위해 제 1 카메라(11)와 동시에 상기 항공기(A)의 영상을 실시간적으로 계속적으로 획득할 수 있다. 실제로, 제어장치(50)의 거리산출 모듈(53)을 통해 영상분석 및 삼각측량기법을 통해 제 2 카메라(12)에서 측정된 영상들로부터 항공기(A)의 제 1 거리(D)를 산출할 수 있다. 또한, 거리산출 모듈(53)은 앞서 설명된 바와 같이, 제 1 카메라(11)의 영상들로부터 항공기(A)의 높이를 검출할 수 있으며, 검출된 높이와 제 1 거리(D)를 이용하여 항공기(A)의 상공내의 위치, 즉 3차원 좌표를 산출할 수 있다.

제 1 및 제 2 카메라(11,12)는 서로 동기화되어 항공기(A)의 영상들을 획득하며, 획득된 영상들 각각에 대해, 거리산출 모듈(53)은 항공기(A)의 운동특성, 즉 항공기(A)의 수직적, 수평적 위치를 실시간으로 검출할 수 있다. 따라서, 검출된 항공기(A)의 운동특성은 제 1 및 제 2 카메라(11,12)에서 획득된 각각의 영상들에 부가적인 정보로서 부여될 수 있다. 즉, 이 후 설명되는 이탈여부 검출단계(S30)에 앞서, 획득된 영상들은 이들에 포함된 항공기(A)의 운동특성에 대한 정보를 사전에 포함할 수 있다. 한편으로, 이러한 전처리 단계는 후술되는 최종적 판단단계(S34)이전에 수행되는 단계들(S31-S33)과 함께 수행될 수도 있다.

상기 획득단계(S20)을 통해, 항공기(A)의 영상들이 확보되면, 제어장치(50)는 획득된 영상들을 인공지능 모듈(51,52)을 통해 분석하여, 상기 항공기(A)가 기 설정된 기준접근통로(1)를 이탈하는지 여부를 검출할 수 있다(S30).

도 4를 참조하면, 이러한 이탈여부 검출을 위해, 먼저 제어장치(50)는 카메라(10)에 의해 획득된 영상들로로부터 지능형 학습을 통해 상기 항공기(A)의 형체를 식별해낸다(S31). 도 7(a)에 도시된 바와 같이, 카메라(10)에서 획득된 원 영상은 항공기(A) 뿐만 아니라 활주로(R) 주변 상공내의 다른 물체(N1) 및 다양한 주변환경(N2)를 포함할 수 있다. 이러한 다른 물체 및 주변환경(N1,N2)은 항공기(A)의 기준접근통로(1)로부터의 이탈 검출에 있어서 노이즈로서 작용할 수 있다.

따라서, 제어장치(50)는 획득된 영상들을 분석하여, 도 7(a)에 윤곽선으로 표시된 바와 같이 바와 같이, 항공기(A)의 형체뿐만 아니라 다른 형상들(N1,N2)을 먼저 식별할 수 있으며, 이 후 식별된 항공기(A)의 형체와는 다른 형상들(N1,N2)를 추가적인 분석으로부터 배제할 수 있다(S31a). 또한, 제어장치(50)는 항공기(A) 형체를 주위의 다른 형상 및 환경(N1,N2)으로부터 구별시키는 인디케이터(I)를 상기 항공기 형체에 부여할 수 있다. 일 예로서, 도 7(b)에 도시된 바와 같이, 인디케이터(I)는 인공지능 모듈을 통해 식별된 항공기(A)의 형체를 감싸는 박스(box)로 구현될 수 있다. 다른 한편으로, 인디케이터(I)는 도 7(a)에 도시된 바와 같이, 식별된 항공기(A) 형체를 따라 표시되는 윤곽선(contour)로 표시될 수도 있다. 이러한 인디케이터(I)에 의해 분석 시스템의 운영자는 분석 대상 항공기(A)를 용이하게 식별하고 집중할 수 있다. 같은 이유로, 후술되는 바와 같이 향후 분석 시스템의 분석결과가 실시간으로 관제탑(T)에 공유되는 경우, 관제사도 공유된 분석결과 및 영상에서 주변 물체 및 환경으로부터 항공기(A)를 용이하게 구별하고 집중할 수 있게 되며, 분석 시스템을 통해 기준접근통로(1) 이탈여부가 감지될 경우, 이를 조종사에 경보(warning)를 제공할 수 있다.

이 후, 제어장치(50)는 식별된 항공기(A) 형체로부터 상기 형체에 대한 기준점(AC)을 획득된 영상데이터의 학습을 통해 특정할 수 있다(S32). 앞서 설명된 바와 같이, 임의의 제 1 거리(D)에서 얻어지는 기준접근통로(1)의 단면영역(S)은 상기 제 1 거리(D)에서 비행하는 항공기(A)의 수직 및 수평방향의 이동가능영역을 한정할 수 있다. 따라서, 제 1 거리(D)에서 획득 및 분석된 영상, 정확하게는 식별된 항공기(A)의 형체가 상기 제 1 거리(D)에서의 단면영역(S)내에서 갖는 상대적 위치를 이용하여 해당 제 1 거리(D)에서 실제 항공기(A)가 단면영역(S), 즉 기준접근통로(1)를 이탈하는지 여부가 평가될 수 있다. 또한, 제 1 거리(D)가 변화됨에 따라 도 6에 도시된 바와 같이, 단면영역(S)도 제 1 거리(D)의 변화에 부합하여 조절되므로, 해당 제 1 거리(D)에서의 단면영역(S)과 식별된 항공기(A) 형체를 이용하여 기준접근통로(1)의 이탈여부가 실시간적으로 연속적으로 평가될 수 있다.

이러한 평가를 위한 식별된 항공기(A) 형체의 상대적 위치를 파악하기 위해서는, 항공기(A) 형체에 기준점(AC)가 설정될 필요가 있으며, 도 8을 참조하면, 상기 특정단계(S32)는 이와 같은 기준점(AC)를 특정하도록 수행될 수 있다. 이러한 특정단계(S32)에 있어서, 먼저 제어장치(50)는 식별된 항공기(A) 형체로부터 상기 항공기(A)의 형상적 특징을 나타내는 특징부들(A1-A3)을 추출할 수 있다(S32a). 항공기(A)의 여러부위들이 이러한 특징부로서 추출될 수 있으며, 일 예로서 도 8에 도시된 바와 같이, 영상내의 항공기(A)의 양측 윙 팁(wing tip)들(A1,A2)가 특징부로서 추출될 수 있다. 윙 팁(A1,A2)은 식별된 항공기(A) 형체의 폭을 규정할 수 있으므로, 항공기(A)의 형상적 특징을 잘 반영할 수 있다. 또한, 영상내의 항공기(A)의 기수(nose)(A3)는 적어도 폭방향, 즉 수평방향에서 항공기(A)의 중앙에 배치되므로, 특징부로서 추출될 수 있다.

또한, 제어장치(50)는 추출된 특징부들(A1-A3)사이의 기하학적 관계에 기초하여 기준점(AC)을 결정할 수 있다(S32b). 보다 상세하게는, 제어장치(50)는 기준점(AC) 결정을 위해 특징점들(A1-A3)의 상대적 위치들 및 이들 사이의 상대적 거리를 산출할 수 있다. 일 예로서, 도 8에 점선으로 표시된 바와 같이, 윙팁(A1,A2)을 연결하는 수평 연장선(AH)이 먼저 설정될 수 있다. 또한, 앞서 언급된 바와 같이, 기수(A3)는 항공기(A)의 폭방향 중심에 배치되므로, 이러한 폭 방향 중심을 표시하기 위해 수직 연장선(AV)이 기수(A3)에 설정될 수 있다. 따라서, 설정된 수평 및 수직 연장선(AH,AV)의 교차점은 적어도 항공기(A)의 2차원적 정면 형상의 폭방향 중심점에 대체적으로 근접하므로, 식별된 항공기(A)의 형상의 기준점(AC)로 사용될 수 있다.

이 후, 제어장치(50)는 특정된 기준점(AC)에 기초하여, 항공기(A)의 기준접근통로(1)내에서의 상대적 위치를 확인할 수 있다(S33).

상기 확인단계(S33)에 있어서, 먼저, 제어장치(50)의 거리산출모듈(53)을 통해 획득된 영상들로부터 활주로(R) 상공내의 항공기(A)의 위치, 즉 3차원 공간좌표를 산출할 수 있다(S33a). 앞서 언급된 바와 같이, 항공기(A)의 위치, 적어도 현재 비행중인 항공기(A)의 제 1 거리(D)가 산출되어야 해당 제 1 거리(D)의 단면영역(S)과 항공기(A)의 식별된 형체가 비교될 수 있으며, 이러한 목적에 의해 제 1 거리(D) 및 높이로 이루어지는 항공기(A)의 위치가 산출될 필요가 있다. 또한, 이미 앞서 설명된 바와 같이, 제 1 거리(D) 및 높이는 각각 제 1 및 제 2 카메라(11,12)의 영상들에 대한 제어장치(50)의 거리산출모듈(53)에 의해 얻어질 수도 있다.

또한, 제어장치(50)는 산출된 항공기(A) 위치에서의 기준접근통로(1)의 단면영역(S)을 특정할 수 있다(S33b). 정확하게는, 제어장치(50)는 산출된 항공기(A)의 제 1 거리(D)에서 도 6에 도시된 바와 같이 이에 해당하는 단면영역(S)을 특정할 수 있다. 이러한 단계들(S33a,S33b)에 의해 동일한 위치, 정확하게는 동일한 제 1 거리(D)에서 획득된 식별된 항공기(A) 형체 및 단면 영역(S)은 동일한 좌표계를 공유하게 된다. 따라서, 도 9에 도시된 바와 같이, 항공기(A)의 형체는 단면영역(S)상에 오버레이(overlay)될 수 있으며, 서로 비교될 수 있다(S33c). 이러한 오버레이 단계(S33c)에 있어서, 영상의 분석을 통해 얻어진 해당 제 1 거리(D)에서의 항공기(A)의 크기에 비례하여, 실제 단면영역(S)의 크기도 조절될 수 있다. 이와 같은 오버레이를 통해, 제어장치(50)는 단면영역(S)의 중심점(SC)에 대한 항공기(A)의 기준점(AC)의 위치로부터 상기 항공기(A)의 단면영역(S), 즉 기준접근통로(1)내의 상대적 위치를 결정할 수 있다.

이 후, 제어장치(50)는 단면영역(S)의 기준위치와 항공기(A), 즉 식별된 형체의 상대적 위치로부터 실제 항공기(A)가 기준접근통로(1)을 이탈했는지 여부를 판단할 수 있다(S34).

즉, 제어장치(50)는 항공기(A), 즉 식별된 형체의 상대적 위치가 소정의 임계값이상으로 단면영역(S)의 기준위치로부터 이격되면 기준접근통로(1)부터 이탈된 것으로 판단할 수 있다. 보다 상세하게는, 단면영역(S)의 중심점(SC)(즉, 단면영역(A)의 기준위치)에 대해 항공기(A), 즉 식별된 형체의 기준점(AC)(즉, 항공기(A)의 상대적 위치)이 소정 임계값이상으로 이격되면, 즉, 상기 중심점(SC)에 대한 기준점(AC)의 수직 및 수평방향 오프셋량(O1,O2)이 소정 임계값 이상이면 제어장치(50)는 항공기(A)가 기준접근통로(1)로부터 이탈된 것으로 판단할 수 있다.

반면, 제어장치(50)는 항공기(A), 즉 식별된 형체의 상대적 위치가 소정의 임계값미만으로 단면영역(S)의 기준위치로부터 이격되면 기준접근통로(1)내에 안전하게 배치된 것으로 판단할 수 있다. 보다 상세하게는, 단면영역(S)의 중심점(SC)에 대해 항공기(A), 즉 식별된 형체의 기준점(AC)이 소정 임계값미만으로 이격되면, 즉, 상기 중심점(SC)에 대한 기준점(AC)의 수직 및 수평방향 오프셋량(O1,O2)이 소정 임계값 미만이면 제어장치(50)는 항공기(A)가 기준접근통로(1)내에 안전하게 배치된 것으로 판단할 수 있다.

다시 도 3을 참조하면, 제어장치(50)는 상술된 단계(S31-S34)를 통해 검출된 기준접근통로(1)를 이탈하는지 여부를 실시간적으로 관제탑(T)과 공유할 수 있다(S40).

이러한 공유단계(S40)에서, 먼저 제어장치(50)는 통신장치(30)를 이용하여, 기준접근통로(1)의 이탈여부를 관제탑(T)에 실시간으로 전송할 수 있으며(S41), 관제사는 음성통신을 통해 이탈여부를 조종사에게 알려줄 수 있다(S42). 또한, 이탈여부에 추가적으로 단계(S31-S34)를 통해 수행된 분석결과도 실시간으로 관제사에게 전송되고 조종사에게 통보될 수 있다. 따라서, 이러한 전송된 정보에 의해 조종사는 최종접근동안 항상 기준접근통로(1)내에 항공기(A)를 배치키시도록 조종할 수 있으며, 이에 따라 항공기(A)는 안전하게 착륙지점(L)에 착륙할 수 있다. 또한, 기준접근통로(1)의 이탈여부 및 분석결과의 공유를 통해 인적요소 또는 지상항행안전시설이 부재할 경우에 발생할 수 있는 사고를 예상함으로서 상황인식능력을 향상시킬 수 있다.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되며 예시적인 것으로 고려되어야 한다. 본 출원의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 출원의 등가적 범위 내에서의 모든 변경은 본 출원의 범위에 포함된다.

10: 카메라 11: 제 1 카메라
12: 제 2 카메라 20: 디스플레이
30: 통신장치 40: 저장장치
50: 제어장치 A: 항공기
R: 활주로

Claims

항공기의 영상들을 실시간적으로 획득하도록 구성되는 카메라;
상기 획득된 항공기의 영상들을 분석하도록 구성되는 제어장치; 및
상기 카메라에 의해 획득된 영상들 및 상기 제어장치에 의해 분석된 정보를 저장하도록 구성되는 저장장치를 포함하며,
상기 제어장치는:
상기 카메라를 이용하여, 착륙을 위해 활주로에 최종 접근하는 항공기의 영상들을 실시간적으로 획득하며;
상기 최종 접근하는 항공기의 획득된 영상들을 인공지능 모듈 기반으로 분석하여, 상기 항공기가 상기 활주로 상공에 설정되는 소정의 기준접근통로(standard approach corridor)를 이탈하는지 여부를 검출하도록 구성되는 항공기 최종접근 분석 시스템.
제 1 항에 있어서,
상기 제어장치는 상기 인공지능모듈을 기반으로, 상기 최종접근하는 항공기의 영상을 획득하기 이전에 상기 기준접근경로를 구축하도록 구성되는 항공기 접근 분석 시스템.
제 1 항에 있어서,
상기 기준접근통로로부터의 이탈을 검출하기 위해, 상기 제어장치는:
상기 획득된 영상들로부터 인공지능을 활용하여 상기 항공기의 형체를 식별하며:
상기 식별된 항공기 형체로부터 상기 항공기의 기준점을 특정하며;
상기 특정된 기준점에 기초하여 영상데이터를 학습시켜, 상기 항공기의 기준접근통로내에서의 상기 항공기의 상대적 위치를 산출하고, 각 단계에서 획득한 정보를 정량화하여 저장하는 항공기 접근 분석 시스템.
제 1 항에 있어서,
상기 제어장치는 상기 검출된 기준접근통로의 이탈여부를 정량화된 데이터와 시각화 정보를 이용해 관제사와 공유하도록 구성되는 항공기 접근 분석 시스템.