KR100346556B1 - 항공기 주기위치 지시 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 항공기 주기위치 지시 방법에 관한 것으로, 더 상세하게는 CCD 카메라를 사용하여 항공기의 화상을 얻은 후 이미지 처리과정을 통하여 항공기의 외곽선만 남게 디지털 화상처리를 하여, 구축된 항공기 데이터베이스(DB)를 활용, 거리 및 각도 변화의 시뮬레이션에 의한 결과와 획득된 실화상과 비교하여 일치하는 데이터에서 항공기의 현재의 거리 및 각도 등을 산정, 추출하여 항공기를 주기위치에 정확히 유도할 수 있도록 한 것으로, 공항 관제탑에서 CCD 카메라로 비행장으로 진입하는 항공기의 3차원 영상을 획득하여 항공기의 윤곽선만이 남게 영상을 처리한 후 항공기의 종류, 거리, 측방편위 등의 계산 결과를 디스플레이하는 항공기 주기위치 지시 방법에 있어서: 상기 획득한 항공기의 3차원 영상을 각각의 픽셀의 좌표를 기하학적으로 이동시키는 기하학적변환단계; 상기 항공기의 윤곽선만 남게 화상 처리하기 위하여 항공기의 테두리를 뚜렷하게 드러내도록 획득 영상을 개선하는 영상예리화단계; 상기 3차원 공간에 존재하는 물리적인 대상의 경계선 또는 경계면을 파악하기 위한 영상분할단계; 상기 항공기의 획득 영상에서 에지 정보를 추출한 후 에지들로 이루어진 폐곡선에 의해 닫혀진 영역을 균일 영역으로 하는 에지를 이용한 영상분할단계; 및 상기 영상 물체의 모습을 그 골격선으로 표시하는 세선화의 처리 기법;에 의해 항공기의 윤곽선을 획득하도록 하는 방법에 관한 것이다.

Description

항공기 주기위치 지시 방법{Visual Docking Guidance System And A Method}

본 발명은 항공기 주기위치 지시 시스템에 관한 것으로, 더 상세하게는 CCD 카메라를 사용하여 항공기의 화상을 얻은 후 이미지 처리과정을 통하여 항공기의 외곽선만 남게 디지털 화상처리를 하여, 구축된 항공기 데이터베이스(DB)를 활용, 거리 및 각도 변화의 시뮬레이션에 의한 결과와 획득된 실화상과 비교하여 일치하는 데이터에서 항공기의 현재의 거리 및 각도 등을 산정하여 추출함으로써, 항공기를 주기위치에 정확히 유도할 수 있도록 한, 항공기 주기위치 지시 방법에 관한 것이다.

일반적으로, 항공기 주기위치 시스템(Visual Docking Guidance System 이하 VDGS 라 칭함)은 공항 주기장에서 탑승교로 진입하는 항공기에 주행중심선으로부터 좌우 벗어남을 나타내는 측방편위와 정지 위치로부터 항공기까지의 거리를 나타내는 잔류거리 등 항공기가 탑승교에 진입하여 정지하기까지의 필요한 정보를 시각적으로 표시하여 주는 시스템으로, 항공기가 탑승교에 안전하게 접속하는 것을 유도하는 센서-신호처리-표시체계를 말하며, 대상체인 항공기가 고가의 제품으로 한치의 동작오차도 허용되지 않아 감지체계, 신호처리 및 분석, 표시 및 지시체계가 다중의 상황점검 및 오동작 방지시스템 등으로 구성되는 첨단 고부가 장치이다.

여기서, 세계 민간항공 규정(ICAO)을 살펴보면 다음과 같다.

(1) VDGS

* 적용: 항공기의 위치표시를 시각보조시설에 의해 표시하고자 할 때 및 지상 유도원과 같은 기타 대체 유도방법을 사용할 수 없을 때 설치하여야 한다.

* 특성: 이 장치는 항공기의 방위(위치 및 방향) 및 정지에 대한 안내를 한다.

- 방위안내장치와 정지위치 지시등은 주ㆍ야간에서의 모든 기상, 시정, 주위조명 및 포장상태에 따라 사용하기에 적절하여야 함. 또한 조종사에게 눈부심을 주어서는 안됨.

- 방위안내장치와 정지위치 지시기는 조종사에게 2개중 1개 또는 2개 모두의 장애를 명확하게 지시해 줄 수 있고 이 등들이 소등될 수 있도록 해야함.

- 방위안내장치와 정지위치 지시기는 항공기 주기장 표지, 항공기 주기장으로의 주행안내등 및 탑승교 유도접현등간에 연속적으로 안내가 되도록 한다.

- 이 장치의 정확도는 사용되는 로딩 브리지의 종류와 고정된 항공기 서비스 시설에 따라 적정해야 함.

- (권고) 이 장치는 가능하면 선택조작을 하지 않고 주기장의 모든 항공기 기종에 적용될 수 있도록 한다.

- 특정 기종의 항공기에 이 장치를 사용하기 위해 선택조작이 필요한 경우, 이 장치가 적정하게 조작되었음을 알려주는 수단으로 조종사와 이 장치 조작자에게 항공기 기종에 관한 식별을 알려주어야 함.

(2) 방위안내장치

* 위치: 항공기 주기 중심선 연장 전면에 또는 가깝게 설치되어 탑승교로 진입중에 항공기의 조종사가 방위신호를 볼 수 있고 적어도 좌측 기장석의 조종사가 이용하도록 신호가 정렬되어야 하고 가능하면 좌측과 우측의 조종사가 모두 식별 가능하도록 한다.

* 특성: 조종사가 과도한 조작없이 유도선을 감지하고 유지할 수 있도록 명백하게 좌우측 안내가 가능하여야 한다. 이 경우 녹색을 중앙선으로 표시하고 적색으로 중앙선 이탈을 표시한다.

(3) 정지위치 지시기

* 위치

- 방위안내장치와 함께 또는 충분히 접근시켜 설치한다. 조종사가 고개를 돌리지 않고 방위 및 정지신호를 관찰할 수 있어야 한다.

- 정지위치 지시기는 적어도 좌측의 조종사가 관측이 가능하여야 한다,

- 가능하면 좌측과 우측의 조종사가 모두 식별 가능하도록 한다.

종래에는 상기와 같이 항공기를 주기위치에 정확하게 유도하기 위하여 여러가지 시스템이 미국 등 외국에서 특허 출원되어 사용되었다.

1989년 8월 15일 미국에서 특허 등록된 ' Optical Guidance System And Apparatus' 는 감지장치 없이 여러색의 표시가 평면파로 투사되어 접근거리에 따라 보는 색깔이 달리 보이도록 한 시스템으로, 여러 색의 조명을 기하학적으로 투사하여 접근거리에 따라 달리 보이게 장치함으로써, 항공기의 종류에 따라 비행기의 높이가 다르기 때문에 종류에 따라 조명의 투시각도가 조절되도록 한 방식이다.

그러나, 상기와 같은 항공기 유도 시스템은 정확도가 떨어지는 문제점이 있었다.

상기한 문제점을 해소하기 위하여 출원되어 1997년 9월 7일 미국에서 특허 등록된 ' Aircraft Docking System' 은, 영상(Image)을 저장된 항공기 데이터와 비교하여 물체를 인식하고 측정된 데이터로부터 위치, 방향 등을 감지하여, 앞바퀴 (Nose Wheel)를 기준으로 한 항공기의 위치, 항공기의 회전, 두 이동경로 사이의 차이, 방향 지시 표시, 목적지점 등을 표시하는 방식이다.

상기와 같은 항공기 유도 시스템에서는 2대의 거리측정센서를 채택하여 센서에서 감지되는 각각의 거리 데이터를 센서의 위치정보를 이용 삼각법에 따라 항공기의 거리 및 방위 값을 계산하여 표시하는 방식을 채택하고 있다.

한편, ICAO가 2005년 1월 1일까지 탑승교가 있는 공항에는 반드시 유도 시스템을 설치하도록 규정하여 시장이 급격히 팽창할 것으로 예상된다.

그러나, 현재 국내 공항에서 이러한 항공기 주기위치 지시 시스템이 설치된 공항이 없는 실정으로 신속한 개발이 필요하고, 항공용 첨단 유도장치를 제작하는 산업이 전무한 실정이므로 전량 수입에 의존하여야 하며, 이로 인하여 항공용 유도장비 등의 수입시 가격 협상이 불가능하여 고가로 수입하여야 하는 문제점이 있었다.

이에 본 발명은 상기한 바와 같은 종래의 문제점을 해소시키기 위하여 창안된 것으로, CCD 카메라를 사용하여 항공기의 화상을 얻은 후 이미지 처리과정을 통하여 항공기의 외곽선만 남게 디지털 화상처리를 하여, 구축된 항공기 데이터베이스(DB)를 활용, 거리 및 각도 변화의 시뮬레이션에 의한 결과와 획득된 실화상과 비교하여 일치하는 데이터에서 항공기의 현재의 거리 및 각도 등을 산정하여 추출함으로써, 항공기를 주기위치에 정확히 유도할 수 있도록 한, 항공기 주기위치 지시 방법을 제공하는 데 그 목적이 있다.

도 1은 본 발명에 적용된 항공기 주기위치지시 시스템을 나타낸 블록도이고,

도 2는 본 발명에 적용된 항공기 주기위치 지시 시스템의 일 예시도이고,

도 3은 본 발명에 따른 항공기 주기위치 지시 방법의 동작 순서도이다.

* 도면의 주요부분에 대한 부호의 설명

10: 영상검출부 20: 영상 처리부

30: 표시부 1: 항공기

2: 탑승교 3: 도어 게이트

4: 주기 중심선

상기 목적을 달성하기 위한 본 발명의 항공기 주기위치 지시 방법은, CCD 카메라를 통하여 진입하는 항공기의 3차원 영상을 얻는 제 1 과정과, 상기 제 1 과정에서 얻은 항공기의 3차원 영상을 항공기의 윤곽선만이 남게 영상을 처리한 후 윤곽선 중 항공기를 제외한 나머지 부분을 제거하는 제 2 과정과, 상기 제 2 과정에서 영상 처리된 데이터에서 날개와 동체 높이의 비 등으로 항공기의 종류를 결정할 수 있도록 항공기의 비교 데이터를 확보하는 제 3 과정과, 상기 제 3 과정에서 항공기의 종류를 결정한 후, 항공기의 데이터베이스를 제작하는 제 4 과정과, 상기 제 4 과정에서 제작한 항공기의 데이터베이스에서 항공기 기체의 3차원 데이터를 가져오는 제 5 과정과, 상기 제 5 과정에서 가져온 항공기 기체의 3차원 데이타를 항공기의 거리, 측방편위 값 등을 변수로 시뮬레이션하여 각각의 시뮬레이션된 2차원 데이터를 상기 제 2 과정에서 영상 처리된 항공기의 화상 데이터와 비교하여 가장 적합한 조건인 최적값을 추출하는 제 6 과정과, 상기 제 6 과정에서 얻어진 항공기의 거리, 측방편위 등의 계산 결과를 표시장치에 디스플레이하는 제 7 과정으로 이루어진 항공기 주기위치 지시 방법에 있어서: 상기 제 2 과정은, 상기 제 1 과정에서 획득한 항공기의 3차원 영상을 각각의 픽셀의 좌표를 기하학적으로 이동시키는 영상의 기하학적변환 단계; 상기 항공기의 윤곽선만 남게 화상 처리하기 위하여 항공기의 테두리를 뚜렷하게 드러내도록 획득 영상을 개선하는 영상예리화 단계; 상기 3차원 공간에 존재하는 물리적인 대상의 경계선 또는 경계면을 파악하기 위한 영상분할 단계; 상기 항공기의 획득 영상에서 에지 정보를 추출한 후 에지들로 이루어진 폐곡선에 의해 닫혀진 영역을 균일 영역으로 하는 에지를 이용한 영상분할 단계; 및 상기 영상 물체의 모습을 그 골격선으로 표시하는 세선화의 처리 기법;에 의해 항공기의 윤곽선을 획득하는 것을 특징으로 한다.이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명하면 다음과 같다.

본 발명에 적용된 항공기 주기위치 지시 시스템은 도 1에 도시한 바와 같이, CCD 카메라를 이용하여 진입하는 항공기의 3차원 영상 데이터를 화상처리하여 항공기의 윤곽을 획득하는 영상검출부(10)와, 상기 영상검출부(10)에서 검출된 영상 신호를 데이터베이스화되어 저장된 항공기 데이터와 비교하여 최적값을 추출하는 영상 처리부(20), 및 상기 영상 처리부(20)에서 처리된 거리, 측방편위 등의 계산 결과를 표시하는 표시부(30)로 구성되어 있다.

상기와 같이 구성한 항공기 주기위치 지시 시스템은, 먼저 각 항공기의 기종별로 데이터베이스를 제작하기 위하여 영상검출부(10)의 CCD(Charge Coupled Device) 카메라(도시하지 않음)를 통하여 항공기의 3차원 영상(데이터는 2차원 화상)을 입력시킨다.

기본적으로 영상이라는 것은 빛의 반사효과에 의하여 주변세계의 모습을 눈으로 볼 때 눈으로 들어오는 정보를 의미하며, 이러한 빛의 반사들은 우리 눈과 비슷한 구조의 카메라로도 받아들일 수가 있는 데, 컴퓨터에 쓰이는 CCD 카메라 속에는 우리 눈의 망막에 해당하는 CCD 소자가 들어있다.

상기 CCD 소자는 빛의 양을 아날로그 전기 신호로 변환시키며, CCD 소자의 뒤쪽에 있는 회로들이 이 아날로그 신호를 컴퓨터가 이해할 수 있는 이산적인 (discrete) 디지털 신호로 변화시킨다.

상기와 같이 CCD 카메라를 통하여 얻은 항공기의 3차원 영상은 영상 처리부 (20)에서 항공기의 윤곽선(Outline)만이 남게 영상 처리(Image Processing)를 한 후, 영상 처리된 항공기의 윤곽선 중에 항공기를 제외한 나머지(noise)를 제거한다.

여기서, 상기 영상 처리부(20)에서 항공기의 영상 처리 결과를 얻기 위한 처리 기법 및 수학적인 화상 처리의 이론적 배경을 설명하면 다음과 같다.

가) 영상의 기하학적 변환

; 영상처리에서 영상전체를 기하학적으로 이동시키거나 회전시키거나 또는 확대, 축소시키는 등의 작업이 필요하며, 이러한 영상의 기하학적 변환의 기본적인 방법은 각각의 픽셀의 좌표를 기하학적으로 이동시킴으로써 가능하다.

(1) 기하학적 이동(translation)

: 공간 좌표(x, y, z)에 위치한 한 개의 픽셀을 변화 (x₀y_0,z₀)만큼 이동시켜서 새로운 픽셀의 위치(x', y', z')로 이동시키려면,

이때 q=T·p 와 같은 관계가 이루어진다.

(2) 회전

: 3차원 물체를 공간상으로 회전하는 것은 이동이나 확대 혹은 축소보다 훨씬 복잡하다.

회전중에서 간단한 것은 좌표축 주위의 회전이다.

x축 주위로 회전시키기 위한 변환 매트릭스를 R_x라 하고, y축 주위로 회전시키기 위한 변환 매트릭스를 R_y라 하며, z축 주위로 회전시키기 위한 변환 매트릭스를 R_z라 하자.

x-y 평면에서 원점으로부터의 거리가 p 인 한점(x, y)를 원점으로 중심을 회전시켰을 때

(3) 확대 혹은 축소

픽셀 p=(x, y, z, 1)^T를 x방향으로 S_x배, y방향으로 S_y배, z방향으로 S_z배만큼 확대 또는 축소한다고 하면 새로운 위치 q=(x', y', z', 1)^T는 확대 혹은 축소 매트릭스(Matrix)이다.

S를 적용하면, q=S·p 이다.

(4) 여러 가지 변환 매트릭스를 복합시켜서 하나의 매트릭스로 구성한 후, 그것을 각 픽셀 좌표에 연산시키면 복합적 변환을 가능하게 한다.

식으로 표현하면

q = R_x(α)R_y(β)R_z(θ)STp

이다.

(5) 투사(영상화) 변환

: 3차원 공간의 점을 평면에 투사시키는 것으로, 3차원 공간의 물체를 영상으로 만드는 수학적 방법이라는 점에서 투사 변환은 영상처리의 중심적 역할을 한다.

카메라의 영상면이 x-y 평면에 놓여 있다고 하고, z축은 카메라로부터의 거리를 나타낸다고 하자.

렌즈의 초점거리를 λ라고 하면, 원거리에 놓여 있는 물체는 렌즈가 카메라 영상면으로부터 λ만큼 떨어져 있을 때 정확한 영상을 맺는다.

물체의 한점의 좌표가 (u, v, w)라고 하자.

w > λ라고 하면 물체는 렌즈의 앞쪽에 있음을 시사한다.

(x, y)점과 (u, v, w)점과의 관계를 구하면,

균일 좌표계(homogeneous coordinates)를 도입하면

(단, C_h; 영상면의 좌표, P; 투사 변환 매트릭스,

W_h; 균일 좌표계의 점, K는 0이 아닌 임의의 상수이다.)

따라서, 균일 좌표계의 한 점으로부터 직교 좌표계의 한 점으로 변환시키고자 하면, 균일 좌표계의 처음 3개의 요소를 마지막 요소로 나누면 된다.

C_h에 대응되는 점 C는,

공간의 한 점(u, v, w)를 투사 변환시켰을 때의 영상면의 점의 좌표가 상기 C의 표현으로 주어진다.

공간 물체의 점을 영상면에 투사시키는 것은 다수 대 단수 변환(many to one transformation)이다.

나) 영상 예리화(Image sharpening)

; 항공기의 윤곽선(outline)만 남게 화상처리 하기 위하여 테두리를 뚜렷하게 들어 내도록 입력 영상을 개선하는 기법으로, 공간영역적 방안으로는 미분에 의한 방법이 있고, 주파수 영역적 방안으로는 저주파 차단 필터에 의한 방법이 있다.

(1) 미분에 의한 예리화

: 영상의 자세한 모습을 흐릿하게 하는 평활화 작업에서 국소적 픽셀들에 대한 명암도의 평균을 구한다는 것은 합산이며, 이것을 연속적 함수로 생각한다면 적분에 해당한다.

영상 물체의 모습을 뚜렷하게 드러내는 예리화 작업은 평활화와는 반대의 효과를 가질 것이 요망되므로 적분의 반대인 미분에 의한 방법으로 해결할 수 있을 것이라는 사실을 유추할 수 있다.

기울기(gradient)는,이고

- 기울기 벡터의 크기는 (x, y, z) 지점에서 기울기 방향으로 f(x, y, z)의 최대 증가율과 같다.

- 기울기 벡터의 방향은 f(x, y, z)가 최대로 증가되는 방향과 같다.

모든 픽셀(x, y, z)의 명암도 f(x, y, z) 대신 기울기량 Gf(x, y, z)로 대체하는 것.

예리화된 영상 g(x, y, z) = Gf(x, y, z)

만일 물체의 경계선이나 테두리 부분에서만 뚜렷하게 보이게 하려면,

g(x, y, z) = Gf(x, y, z) ≥ T 이면, V_A

그렇지 않으면, V_B

(T; Threshold Value)

원하는 윤곽 영상을 얻기 위하여 배경을 살리려면 V_B대신 f(x, y, z)로 대체할 수 있고, 윤곽 영상을 특히 강조하기 위하여 V_A를 명암도 최대치(255) 또는 최저치(0)로 지정할 수 있다.

만일 V_A와 V_B가 모두 상수라면 이것은 2가지 명암도 만으로 구성된 영상이므로 이를 2진 구배 영상(Binary gradient picture)이라고 부른다.

물체의 윤곽선만을 구하고자 할 경우 흔히 이 방법을 쓴다.

(2) 저주파 차단 필터를 사용한 영상 예리화

: 물체의 테두리나 경계선 등에서 명암도가 급격히 변화하는데 이것은 푸리에(Fourier) 변환을 시켰을 때 고주파 성분에 해당된다.

그러므로, 저주파 부분을 차단시키거나 약화시키면서 고주파 부분은 그대로 보존한다면 영상의 모습은 예리하게 나타나 보일 것이다.

저주파 차단 필터를 H(u, v)라 한다면, 원래의 영상 f(x, y)에 대한 푸리에 변환 F(u, v)와 연산되어 저주파가 차단된 영상의 푸리에 변환식 G(u, v)로 귀결된다.

G(u, v) = F(u, v) H(u, v)

이렇게 얻어진 G(u, v)를 다시 역 푸리에 변환을 통하여 저주파가 차단된 영상 곧 예리화된 영상 g(x, y)를 얻는다.

*. Butterworth high pass filter

두 식 모두 D(u, v)가 커지면 "1"에 근접하지만 D(u, v) = D₀인 주파수, 즉 차단 주파수의 앞 식은 1/2, 뒤 식은 1/√2이 된다는 점이 다르다.

다) 영상 분할(Image Segmentation)

; 흔히 3차원 공간에 존재하는 물리적인 대상의 경계선 또는 경계면을 파악하는 것이 영상 분할의 목적이다. 영상 분할에 있어서의 기본적인 가정은 물체의 표면이 울퉁불퉁하지 않고 동질적이어서 그 영상의 명암도는 부드럽게 변해야 한다는 것과 경계선에서는 명암도가 급격하게 변해야 한다는 것이다.

영상 분할 방법은 다음과 같이 크게 구별된다.

(1) 입력 영상에 대해서 클러스터링(clustering)을 이용한 방법

- 입력 영상 위에 영역의 형성 및 경계선을 결정하는 것이므로 각 영역의 클러스터의 식별 면은 각 영역의 경계선과 같다.

- 그 외에 영역 성장법(region growing), 분할법, 분할 통합법(split and merge method)이 있다.

(2) 특징공간에 있어 클러스터링을 이용한 방법

- 입력 영상의 각 픽셀을 특징 공간의 점에 사상한 다음에 특징 공간에서 클러스터링 기법에 의하여 각 점들을 각 클러스터에 분할한 후 입력 영상 위에 역사상 한다.

- 히스토그램에 의한 영상 분할 등

(3) 입력 영상의 에지(edge)를 이용한 방법

- 주로 선화 등과 같은 이진 영상에 대해 널리 이용되는 기법이며, 입력 영상에서 에지정보를 추출한 후 에지들로 이루어진 폐곡선에 의해 닫혀진 영역을 균일 영역으로 하는 방법이다.

- 윤곽선 추적 등

라) 에지를 이용한 영상 분할

(1) 기울기(gradient)를 이용하는 방법

: 윤곽선 판단은 이 기울기가 어떤 역치를 초과하는 지의 여부에 달려 있다.

[표 1]- (x, y) 위치의 픽셀 근방 3×3 픽셀들에 대한 명암도 f(x_i, y_i)

* Sobel 마스크 S_x를 적응시켰을 때

G_x= f(x+1, y-1) + 2f(x+1, y) + f(x+1, y+1)

-f(x-1, y-1)- 2f(x-1, y)- f(x-1, y+1)

* Sobel 마스크 S_y를 적응시켰을 때

G_y= f(x-1, y+1) + 2f(x, y+1) + f(x+1, y+1)

-f(x-1, y-1)- 2f(x, y-1)- f(x+1, y-1)

기울기의 크기 G는,

만일 주어진 역치 T에 대하여 G > T

이면, 픽셀(x,y)은 윤곽선 상의 픽셀로 간주한다.

이러한 종류의 마스크로서 가장 만족할만한 결과를 주는 것은 Prewitt 마스크이다.

(2) 면함수 적합(fitting of facet function)

: 면함수를 설정하고 그것을 픽셀 공간의 명암도로 이루어지는 고르지 않은 면에 적합시킨 후, 적합된 면함수를 1차 미분 또는 2차 미분함으로써 윤곽선 픽셀여부를 판정하는 방법이다.

① Haralick의 2차 방향성 면함수 모델

: 픽셀 공간의 명암도에 적합(fit)시킬 면함수를 다음과 같은 2변수 3차 함수로 선정한다.

이 다항식을 일정한 크기의 (n×n) 윈도우에 해당하는 국소적 픽셀의 명암도 f(r, c)에 부합시키고자 한다.

n×n 윈도우에 해당하는 국소적 픽셀 (r, c)들은 중심에 (0, 0) 픽셀을 두고 y방향으로의 색인 집합 R과 x방향으로의 색인 집합 C로 지칭한다.

R = {-n, -n+1, …, 0, …, n}

C = {-n, -n+1, …, 0, …, n}

h(r, c)에 부합시켰을 때의 최소 자승 부합 오류 e²은 다음과 같다.

이렇게 하여 k_i를 구하기 위한 마스크 M_i(r, c)를 구할 수 있다.

이들 마스크 M₁, M₂, …, M₁₀은 부합 대상인 국소 영역의 크기가 결정되면 그에 따라 크기를 정하여 상기 식에 따라 구성된다.

일단 정해진 마스크를 사용하여 윤곽 픽셀 여부를 판정하고자 하는 픽셀의 이웃 공간(국소 영역)에 컨벌루션(convolution)을 취한다.

이와 같이 결정된 계수 k₁, k₂, …, k₁₀은 그 국소 영역에 적합된 면함수를 결정한다.

결정된 면함수는 1계 미분, 2계 미분 등의 대상이 될 수 있다.

※ 적합 문제의 이론

영역 r∈R에서 관측된 자료가 d(r)이라 하자.

이때 이 자료들에 대한 적합 문제는

과 같은 식으로 표시하는 것이다.

다시 말하면 주어진 기저 P_n(r), n=0, 1, …, N-1에 대한 계수 a₀, a₁, …, a_N-1을 구하는 일이다.

기저의 직교성(orthogonality)을 이용하면 계수 결정을 보다 쉽게 할 수 있다.

어떤 계수 a_m을 얻기 위하여 상기 식의 양변에 P_m(r)을 곱하고 모든 r∈R에 대하여 합을 구한다.

근사 적합 문제(approximate fitting program)는 다음 식으로 표현되는 자승 오류가 최소가 되도록 계수 a₀, a₁, …, a_k, k≤M-1 들을 결정하는 것이다.

어떤 계수 a_m을 구하기 위하여 이 식의 양변을 a_m에 관하여 미분하고 그것을 다시 0으로 설정하면 다음을 얻는다.

직교성을 적용하면 정확한 적합 계수와 최소 자승법에 의한 계수는 동일한 형태이다.

계수 a_m은

일단 각 계수 a₀, a₁, …, a_k에 대한 일정 크기의 마스크가 결정되면, 적합함수의 계수는 그 크기의 국소 영역을 일일이 선택하여 합을 취함으로서 구해질 수 있다.

각 계수의 마스크를 M₁, M₂, …, M_k라 하면

에 의하여 그 국소 영역 R에서의 적합 함수의 계수가 구해지고, 따라서 적합 함수도 그 국소 영역에서 ∑a_kP_k로 표현한다.

※ 적합 면함수의 미분

적합된 면함수 h(r, c)의 기울기는

중심(0, 0) 픽셀에서의 구배 방향 α는

α방향으로의 1차 미분 h'(r, c)는

2차 미분 h"_α(r, c)는

n×n 윈도우에 해당하는 국소적 픽셀등에 대하여 그 중심 픽셀(0, 0)에서의 구배 방향 α로의 2계 면함수 미분 h"_α(r, c)는 0점을 지나간다는 것을 알 수 있다.

이를 0점 교차 지점(zero-crossing point)이라 한다.

※ 적합 면함수의 2계 미분의 0점 교차점

: 윤곽선은 면함수의 방향성 2계 미분 h"_α(r, c)의 0점 교차 지점을 구함으로서 얻을 수 있다.

실제의 영상 픽셀 공간에서는 매 픽셀을 중심으로 하는 국소 윈도우에서 h"_α(r, c)를 계산하고

h"_α(r, c)≠0

h"_α(r, c) = 0

를 만족하는 픽셀을 선택하면 0점 교차 지점 즉, 윤곽선을 통과하는 픽셀을 구할 수 있다.

h"_α(r, c) = Aρ+ B = 0

의 조건을 만족하면, 계산 중인 윈도우의 중심 픽셀은 0점 교차점이다.

Haralick의 면함수에 의하면 0점 근처에서의 기울기 방향 α와 픽셀 내의 정확한 윤곽점 위치의 좌표 (x, y)는 윤곽 픽셀의 행렬 좌표가 (i, j)인 경우에 다음식에 의하여 얻을 수 있다.

x = i + p cosα

y = j + p sinα

② Hueckel 오퍼레터

: 픽셀 공간에서의 명암도 분포를 표면으로 가상하여 극좌표의 푸리에 시리즈로 근사한다.

푸리에 시리즈로 확장하되 첫 8개 정도의 계수를 구함으로서 근사시킨다.

매개 변수로 나타내어지는 이상적인 윤곽선에 대하여 비슷한 방법으로 계수를 구한다.

그리고 이 윤곽선이 그 푸리에 시리즈에 가장 잘 부합되도록 매개변수를 정한다.

윤곽점인지를 결정하려면 이상적인 윤곽선과 근사화시킨 명암도 분포 표면 사이의 적합 정도에 의존하는 크기가 어떤 역치를 초과하는지의 여부를 판별한다.

이 Hueckel 오퍼레터는 1970년대에는 흔히 사용되었으나 푸리에 시리즈 근사에 따른 심각한 결점이 발견되어서 근래에는 잘 쓰이지 않는다.

Hueckel 오퍼레터는 윤곽점에서의 명암도 전이가 계단 함수(step function)로 표현되어진다는 가정에서 출발된다.

마) 세선화(Thinning)

; 영상 물체의 모습을 그 골격선으로 표시하는 작업으로서 영상 물체를 간단하게 표시할 수 있는 방법이기 때문에 많이 연구되고 있고 방안도 여러 가지가 있다.

- 역치의 값을 높임으로서 윤곽점들의 수를 줄이고, 그렇게 하여 얻어진 윤곽점들만으로 윤곽선을 형성시키는 방안이다.

- 구하여진 두꺼운 윤곽선으로부터 윤곽선 바깥 부분의 윤곽점들을 하나씩 하나씩 벗겨 나가는 것이다.

- 윤곽점들에 있어서의 구배 방향을 고려하여 구배 방향과 수직인 방향으로의 이웃 윤곽점들만을 취하는 것이다.

(1) 기본적인 세선화 알고리즘

① 세선화 처리에서 갖추어야 할 요건은 다음과 같다.

- 골격선 폭은 "1"이어야 한다.

- 골격선의 위치는 선 도형의 중심에 위치해야 한다.

- 골격선은 원래의 도형의 중심에 위치해야 한다.

- 골격선은 원래의 도형에 있어서의 연결성을 유지해야 한다.

② 기본적인 세선화 알고리즘

rem=1

while rem=1 do step 3-12

begin

rem=0 (변화가 없음을 나타내고자 함)

for k=0, 2, 4, 6, do step 5-12

begin

for all 영상 I 의 픽셀q do step 6-10

begin

if q=1 and k-neighbor=0 then

do step 7-10

begin

skel=0

for all P(패턴) do step 9

begin

if q의 이웃≡p의 외각

then skel=1, exit

end

if skel=1 then q=2 (골격점)

else q=3(제외), rem=1

end

end

for all I 의 픽셀q do step 12

begin

if q=3 then q=0

end

end

end

③ Hildith 방법에 의한 세선화

: 세선화 방안을 대별하면 순차 처리(sequential process)에 의한 방안과 병렬 처리(parallel process)에 의한 방안들로 나눌 수 있다.

순차 처리법은 화상의 픽셀들을 한 번 주사하면서 처리하는 동안에 변경된 화소 f(i, j)를 그 다음 순간의 국소 처리에서 곧바로 사용하는 방법을 말한다.

반면 화소 f(i, j)가 변경되었다 하더라도 변경되기 전의 화소의 명암도를 기억하였다가 세선화 처리 과정에 사용하는 처리 방안을 병렬 처리라 한다.

병렬 처리에서도 화상의 픽셀들을 주사하면서 국소적으로 연산 처리하는 방식은 순차 처리의 그것과 다를 바 없다.

상기와 같이 영상 처리부(20)에서 영상 처리된 데이터에서 날개와 동체 높이의 비 등으로 항공기의 종류를 결정할 수 있도록 항공기의 비교 데이터를 확보함으로써, 항공기의 데이터 베이스를 제작한다.

상기와 같이 항공기의 데이터 베이스를 제작한 상태에서, 도 2 에 도시한 바와 같이 항공기(1)가 주기 위치로 진입하면, 영상검출부(10)는 CCD 카메라를 통하여 진입하는 항공기(1)의 3차원 영상을 검출하여 영상 처리부(20)로 입력시킨다.

상기 영상 처리부(20)는 상기 영상검출부(10)로부터 검출되어 입력된 항공기(1)의 3차원 영상에서 상기 항공기(1)의 윤곽선(Outline)만이 남게 영상 처리 (Image Processing)를 하고, 영상 처리된 항공기(1)의 윤곽선 중에 항공기를 제외한 나머지(noise)를 제거한 후, 기제작한 항공기의 데이터베이스로부터 가져온 항공기 기체의 3차원 데이터를 항공기의 거리, 측방편위 값 등을 변수로 시뮬레이션 (simulation)한다.

각각의 시뮬레이션된 2차원 데이터는 상기 영상 처리부(20)에서 영상 처리된 항공기의 화상 데이터와 비교하여 가장 적합한 조건인 최적 값을 추출한 후, 얻어진 항공기의 거리, 측방편위 등의 계산 결과를 표시부(30)의 표시장치(도시하지 않음)에 디스플레이한다.

따라서, 상기 항공기(1)가 주기위치의 주기 중심선(4)에 정확하게 주기 될 때까지(처리속도 > 5Hz), 상기 항공기(1)의 기장은 정면에 설치된 상기 표시부(30)의 표시장치를 주시하면서 항공기(1)를 주기 위치에 주기시킴으로써, 상기 항공기(1)를 탑승교(2)의 도어 게이트(3)에 정확하게 연결시킬 수 있게 된다.

상기 동작을 순서도로 도시하면 도 3에 도시한 바와 같이, CCD 카메라를 통하여 진입하는 항공기의 3차원 영상(데이터는 2차원 화상)을 얻는 제 1 과정(S1)과, 상기 제 1 과정(S1)에서 얻은 항공기의 3차원 영상을 항공기의 윤곽선(Outline)만이 남게 영상 처리(Image Processing)를 한 후, 영상 처리된 항공기의 윤곽선 중에 항공기를 제외한 나머지(noise)를 제거하는 제 2 과정(S2)과, 상기 제 2 과정(S2)에서 영상 처리된 데이터에서 날개와 동체 높이의 비 등으로 항공기의 종류를 결정할 수 있도록 항공기의 비교 데이터를 확보하는 제 3 과정(S3)과, 상기 제 3 과정(S3)에서 항공기의 종류를 결정한 후, 항공기의 데이터베이스를 제작하는 제 4 과정(S4)과, 상기 제 4 과정(S4)에서 제작한 항공기의 데이터베이스에서 항공기 기체의 3차원 데이터를 가져오는 제 5 과정(S5)과, 상기 제 5 과정(S5)에서 가져온 항공기 기체의 3차원 데이터를 항공기의 거리, 측방편위 값 등을 변수로 시뮬레이션(simulation)하여 각각의 시뮬레이션된 2차원 데이터를, 상기 제 2 과정에서 영상 처리된 항공기의 화상 데이터와 비교하여 가장 적합한 조건인 최적 값을 추출하는 제 6 과정(S6)과, 상기 제 6 과정(S6)에서 얻어진 항공기의 거리, 측방편위 등의 계산 결과를 표시장치에 디스플레이하는 제 7 과정(S7), 및 항공기가 주기위치에 정확하게 주기 될 때까지(처리속도 > 5Hz) 상기 제 6 과정(S6) 및 제 7 과정(S7)을 연속적으로 반복하는 제 8 과정(S8)으로 이루어진다.본 발명은 기재된 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

이상에서 상세히 설명한 바와 같이 본 발명에 따른 항공기 주기위치 지시 방법은, 하나의 CCD 카메라를 사용하여 주기 위치로 진입하는 항공기의 화상을 영상 처리한 후 구축된 항공기의 데이터베이스(DB)와 비교하여 항공기의 현재의 거리 및 각도 등을 표시함으로써 항공기를 주기위치에 정확히 유도할 수 있다.

따라서, 항공기 주기위치 지시 시스템의 국산 개발 성공시 국내의 신공항 및 기존 공항에 설치 가능하며, 수출이 유망시 됨으로써 수입대체 효과 및 외화 획득의 효과가 기대되는 유용한 발명이다.

본 발명은 기재된 구체적인 예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.

Claims (15)

1. 삭제
2. CCD 카메라를 통하여 진입하는 항공기의 3차원 영상을 얻는 제 1 과정과, 상기 제 1 과정에서 얻은 항공기의 3차원 영상을 항공기의 윤곽선만이 남게 영상을 처리한 후 윤곽선 중 항공기를 제외한 나머지 부분을 제거하는 제 2 과정과, 상기 제 2 과정에서 영상 처리된 데이터에서 날개와 동체 높이의 비 등으로 항공기의 종류를 결정할 수 있도록 항공기의 비교 데이터를 확보하는 제 3 과정과, 상기 제 3 과정에서 항공기의 종류를 결정한 후, 항공기의 데이터베이스를 제작하는 제 4 과정과, 상기 제 4 과정에서 제작한 항공기의 데이터베이스에서 항공기 기체의 3차원 데이터를 가져오는 제 5 과정과, 상기 제 5 과정에서 가져온 항공기 기체의 3차원 데이타를 항공기의 거리, 측방편위 값 등을 변수로 시뮬레이션하여 각각의 시뮬레이션된 2차원 데이터를 상기 제 2 과정에서 영상 처리된 항공기의 화상 데이터와 비교하여 가장 적합한 조건인 최적값을 추출하는 제 6 과정과, 상기 제 6 과정에서 얻어진 항공기의 거리, 측방편위 등의 계산 결과를 표시장치에 디스플레이하는 제 7 과정으로 이루어진 항공기 주기위치 지시 방법에 있어서:

   상기 제 2 과정은,

   상기 제 1 과정에서 획득한 항공기의 3차원 영상을 각각의 픽셀의 좌표를 기하학적으로 이동시키는 영상의 기하학적변환 단계;

   상기 항공기의 윤곽선만 남게 화상 처리하기 위하여 항공기의 테두리를 뚜렷하게 드러내도록 획득 영상을 개선하는 영상예리화 단계;

   상기 3차원 공간에 존재하는 물리적인 대상의 경계선 또는 경계면을 파악하기 위한 영상분할 단계;

   상기 항공기의 획득 영상에서 에지 정보를 추출한 후 에지들로 이루어진 폐곡선에 의해 닫혀진 영역을 균일 영역으로 하는 에지를 이용한 영상분할 단계; 및

   상기 영상 물체의 모습을 그 골격선으로 표시하는 세선화의 처리 기법;에 의해 항공기의 윤곽선을 획득하는 것을 특징으로 하는 항공기 주기위치 지시 방법.
3. 삭제
4. 제 2 항에 있어서,

   상기 영상의 기하학적 변환은,

   기하학적 이동, 회전, 확대 혹은 축소, 복합적 변환, 투사 변환 등의 작업에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
5. 제 4 항에 있어서,

   상기 기하학적 이동은,

   이동변환 매트릭스 T는,

   이때 q = T·p 와 같은 관계가 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
6. 제 4 항에 있어서,

   상기 회전은,

   x-y 평면에서 원점으로부터의 거리가 p 인 한점(x, y)를 원점으로 중심을 회전시켰을 때

   와 같은 식에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
7. 제 4 항에 있어서,

   상기 확대 혹은 축소는,

   q = S·ρ

   여기서 매트릭스 S는,

   와 같은 식에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
8. 제 4 항에 있어서,

   상기 복합적 변환은,

   q =R_x(α)R_y(β)R_z(θ)STρ

   와 같은 식에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
9. 제 4 항에 있어서,

   상기 투사 변환은,

   (x, y)점과 (u, v, w)점과의 관계를 구하면,

   균일 좌표계(homogeneous coordinates)를 도입하면

   (단, C_h;영상면의 좌표, P; 투사 변환 매트릭스,

   W_h; 균일 좌표계의 점, K는 0이 아닌 임의의 상수이다.)

   C_h에 대응하는 점 C는,

   공간의 한 점 (u, v, w)를 투사 변환시켰을 때의 영상면의 점의 좌표가 상기 C의 표현으로 주어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
10. 제 2 항에 있어서,

    상기 영상 예리화는,

    공간 영역적 방안의 미분에 의한 예리화;

    주파수 영역적 방안의 저주파 차단 필터를 사용한 영상 예리화 등의 작업에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
11. 제 2 항에 있어서,

    상기 영상 분할은,

    입력 영상에 대해서 클러스터링을 이용한 방법;

    특정공간에 있어 클러스터링을 이용한 방법; 및

    입력 영상의 에지를 이용한 방법 등의 작업에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
12. 제 2 항에 있어서,

    상기 에지를 이용한 영상 분할은,

    기울기(gradient)를 이용하는 방법;

    면함수를 설정하고 그것을 픽셀 공간의 명암도로 이루어지는 고르지 않은 면에 적합시킨 후, 적합된 면함수를 1차 미분 또는 2차 미분함으로써 윤곽선 픽셀 여부를 판정하는 면함수 적합(fitting of facet function) 방법 등의 작업에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
13. 제 12 항에 있어서,

    상기 기울기(gradient)를 이용하는 방법은,

    * Sobel 마스크 S_x를 적응시켰을 때

    G_x= f(x+1, y-1) + 2f(x+1, y) + f(x+1, y+1)

    -f(x-1, y-1)- 2f(x-1, y)- f(x-1, y+1)

    * Sobel 마스크 S_y를 적응시켰을 때

    G_y= f(x-1, y+1) + 2f(x, y+1) + f(x+1, y+1)

    -f(x-1, y-1)- 2f(x, y-1)- f(x+1, y-1)

    기울기의 크기 G는,

    와 같은 식으로 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
14. 제 12 항에 있어서,

    상기 면함수 적합은,

    중심(0, 0) 픽셀에서의 구배 방향 α는

    α방향으로의 1차 미분 h'(r, c)는

    2차 미분 h"_α(r, c)는

    h"_α(r, c)≠0

    h"_α(r, c) = 0

    h"_α(r, c) = Ap + B = 0

    x = i + p cosα

    y = j + p sinα

    와 같은 식에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.
15. 제 2 항에 있어서,

    상기 세선화는,

    rem=1

    while rem=1 do step 3-12

    begin

    rem=0 (변화가 없음을 나타내고자 함)

    for k=0, 2, 4, 6, do step 5-12

    begin

    for all 영상 I 의 픽셀q do step 6-10

    begin

    if q=1 and k-neighbor=0 then

    do step 7-10

    begin

    skel=0

    for all P(패턴) do step 9

    begin

    if q의 이웃≡p의 외각

    then skel=1, exit

    end

    if skel=1 then q=2 (골격점)

    else q=3(제외), rem=1

    end

    end

    for all Ⅰ의 픽셀q do step 12

    begin

    if q=3 then q=0

    end

    end

    end

    와 같은 기본적인 알고리즘에 의해 이루어지는 것을 특징으로 하는 항공기 주기위치 지시 방법.