KR20100069655A - 활주로 감시 시스템 및 방법 - Google Patents

활주로 감시 시스템 및 방법 Download PDF

Info

Publication number
KR20100069655A
KR20100069655A KR1020107006484A KR20107006484A KR20100069655A KR 20100069655 A KR20100069655 A KR 20100069655A KR 1020107006484 A KR1020107006484 A KR 1020107006484A KR 20107006484 A KR20107006484 A KR 20107006484A KR 20100069655 A KR20100069655 A KR 20100069655A
Authority
KR
South Korea
Prior art keywords
runway
image
fod
camera
image processing
Prior art date
Application number
KR1020107006484A
Other languages
English (en)
Other versions
KR101613740B1 (ko
Inventor
키엔 미오 데이비드 츄
Original Assignee
스트라테크 시스템즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스트라테크 시스템즈 리미티드 filed Critical 스트라테크 시스템즈 리미티드
Publication of KR20100069655A publication Critical patent/KR20100069655A/ko
Application granted granted Critical
Publication of KR101613740B1 publication Critical patent/KR101613740B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • G08G5/065—Navigation or guidance aids, e.g. for taxiing or rolling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 활주로(runway) 상의 이질적인 물체, 파편, 또는 손상(FOD)을 감지하는 감시 시스템 및 방법을 제공한다. 상기 시스템은 상기 활주로의 이미지를 캡쳐(capture)하는 하나 이상의 카메라; 및 상기 카메라에 의해 캡쳐된 이미지의 적응성 있는 이미지 처리에 기초하여 활주로 상의 FOD를 감지하는 이미지 처리 시스템을 포함하고, 상기 감시 시스템은 적외선 또는 레이저 조명과 같은 보조적인 조명이 없이 낮과 밤 둘 모두의 주변 빛의 조건 하에서 FOD 감지를 위해 적응성 있게 작동가능하다

Description

활주로 감시 시스템 및 방법{Runway Surveillance System and Method}
본 발명은 넓게는 활주로 감시를 위한 시스템 및 방법에 관한 것이다.
활주로 감시는 항공 작동에서 매우 중요하다. 활주로는, 활주로를 사용하는 항공기 또는 다른 운송 수단들에 의한 마모의 결과로서 만들어진 구덩이와 같은 손상을 계속적으로 겪게 된다. 때때로, 잔해 또는 외부 물체가 활주로 상에 존재할 수도 있는데, 이는 제트 폭발, 항공기 이륙/착륙, 자연적인 원인 등에 의할 수도 있다. 항공기의 이동에 관련된 실제의 활주로상에서, FOD의 존재는 항공기 회사의 상당한 솔실을 야기하는 항공기 충돌 및 그에 따른 인명사고를 야기할 수도 있다.
활주로 감시를 수행하는데 다른 방법들이 사용된다. 통상적으로, 감시원은주기적으로 항공기 활주로 근처를 이동하면서 육안과 수동적인 방법으로 감시를 수행한다. 육안 감시는 느리고, 노동력이 많이 든다. 나아가, 육안 감시는, 활주로 근처의 상태에 영향을 받기 때문에 신뢰할 수 없다.
일부 공항들은, 공항 활주로 및 그의 인접 영역상에 손상, 잔해 및 다른 위험 요소들이 있는지 탐지하기 위해 레이다를 사용하는 자동화된 시스템을 사용한다. 레이다를 사용하는 시스템에서, 마이크로웨이브 신호는 일반적으로 활주로를 넘어서 전송되고 어느 다른 외부 물체로부터 반영된 신호가 탐지되고 분석된다. 마이크로웨이브 신호들은 펄스화되거나 구조화되기 때문에, 신호가 수신기에 도달하는데 걸린 시간은 외부 물체까지의 거리가 무엇으로부터 유래했는지로부터 계산된다. 더 작은 파장과 더 높은 펄스 반복 주파수를 갖는 레이다 센서를 사용하는 것에 의해, 더 높은 감도 한계(resolution)를 달성할 수 있으며, 나아가 그 범위에서 배경 클러터를 감소시킬 수 있다.
그러나, 활주로 감시를 위해 레이다를 사용하는 시스템은 한계를 갖는다. 레이다는 금속 물체를 탐지하는 훌륭한 수단이지만, 고무와 같은 비-금속 물체를 탐지하는 데에는 덜 민감하다. 열악한 레이다 신호를 갖는 물질(예, 고무)로 만들어진 물체는 그러한 레이다계 시스템에서 중요한 문제를 야기할 수 있다. 나아가, 레이다는 더 작은 비-금속성 물체를 탐지하는데 신뢰할 수 없을지도 모른다. 나아가, 다른 물체 또는 인프라구조에 의해 야기된 장애에 의해, 레이다 블라인드 스팟 또는 섀도우와 같은 한계가 포함된다. 추가적으로, 레이다는 그다지 해롭지 않을 수도 있는 매우 작은 금속 물제에 대한 신호를 강한 신호로 나타냄으로써 잘못된 경보를 일으킬 수 있다. 그러므로, 레이다를 기반으로 하는 감시 시스템는 "지능"이 없고, 작동자에 의해 검증(verification) 및 특징화(characterization)을 위한 물체의 가시적인 영상을 제공할 수 없다.
일부 공항들은, 활주로 상에 물체, 갈라진 틈 등을 탐지하는데, 적외선 또는 열-영상(thermal-imaging) 시스템을 사용한다. 그러나, 적외선 또는 열-영상 시스템을 사용하는 시스템은 오직 (물체로부터 발산되는) 적외선 복사를 감지할 수 있는데, 이러한 적외선 복사는 주변의 열 평형을 벗어난 것으로, 즉 충분한 열 콘트라스트(thermal contrast)를 갖는 물체(예를 들어, 차가운 활주로 상이 따뜻한 금속 파편의 조각)만을 탐지할 수 있다. 열악한 열 콘트라스트를 갖는 작은 물체들은 적외서/열 영상 시스템의 중요한 도전을 제기할 지도 모른다. 나아가, 그러한 시스템은 불리한 날씨(예를 들어 추운 날씨) 조건 하에서는 예측이 불가능하다. 나아가, 적외선/열 영상 시스템은 또한 물체의 탐지, 특징화 및 분류에 요구되는 감도 한계가 없다.
최근에, 활주로 근처에 위치한 하나 이상의 비디오 카메라를 사용하는 감시도 제안되어 왔다. 카메라로부터 얻는 비디오 신호들은 공항 제어실의 콘솔에 있는 작업자에 의해 시각적으로 모니터된다.
감시 카메라로부터 수신된 활주로의 비디오 영상들을 처리하는 것에 의해 임의의 FOD를 탐지하기 위한, 이미지 처리(예를 들어, 배경 제거(background subtraction)에 따른 방법이 또한 제안되어 왔다.
배경 제거를 사용하는 FOD 탐지는 많은 문제점을 갖는다. 먼저, 픽셀 성질은 배경과 전경(foreground) 픽셀을 올바르게 구분하기에 항상 충분한 것은 아니다. 나아가, 배경은 소음, 클러터, 외부의 작업, 조명 상태에서의 변동, 날씨 조건의 변화에 영향을 받는다.
나아가, 현재 사용되는 영상 처리 시스템은 주위의 조명 상황에 좌우되고, 낮은 조명 상태에서는 적당하지 않으므로, 이는 픽셀 특성화에 중요한 문제를 야기한다.
존재하는 감시 시스템에 사용되는 비디오 카메라는 추가적인 보조 조명(예를 들어, 야간 감시를 위한 레이저 조명 또는 적외선 조명)이 필요하다. 나아가 이는, 그러한 시스템을 사용하는 공항에 상당한 인프라 구조를 요구하는데, 이는 비용을 증가시킨다. 또한 광학 조명(예를 들어, 레이저 조명 또는 적외선 조명)의 존재는 공항에서 사용되는 다른 시스템을 방해할 수 있고, 공항에서 항공기의 네비게이션에 안전상의 문제를 일으킬 수 있고, 조종사 등에 해를 입힐 수 있다.
따라서, 하나 이상의 상기 문제점을 해경하기 위한 활주로 감시를 제공할 필요가 있다.
상기와 같은 문제를 해결하기 위한 활주로(runway) 감시 시스템 및 방법을 제공하는 것이다.
본 발명의 제1 양태는 활주로 상의 외부 물체, 파편 또는 손상(FOD)을 탐지하기 위한 감시 시스템을 제공하는 것으로, 이러한 시스템은 활주로 영상을 캡쳐하기 위한 하나 이상의 카메라; 상기 카레라에 의해 캡쳐된 영상의 적응 영상 처리(adaptive image processing)에 기반하여, FOD를 탐지하기 위한 영상 프로세싱 시스템을 포함하고; 상기 감시 시스템은 적외선 또는 레이져 조명과 같은 보조 조명 없이 주간 및 야간 모두의 주변의 조명 조건하에서, 적응력 있게 FOD 탐지할 수 있다.
상기 영상 처리 시스템은 캡쳐된 영상의 화질을 높이기 위한 영상 개선 방법을 적용할 수 있다.
캡쳐된 영상의 화질을 높이기 위한 수단은, 캡쳐된 영상에 대한 고역 여파기(high pass filter), 왼쪽으로부터 오른쪽으로의 필터 Soble X, 오른쪽으부터 왼쪽으로의 필터 Soble X, 또는 Scharr X 필터를 포함할 수 있다.
영상 처리 시스템은 처리 순간이 주간인지 야간이 판단할 수 있고, 야간동안의 캡쳐된 영상들로부터, 비정상적인 조명 상태(예를 들어, 항공기 이륙 또는 항공기 착륙 또는 지상의 차량 운행)를 감지할 수 있다.
비정상적인 조명 상태의 감지는, 각 영상과 하나 이상의 이전 영상들을 비교하기 위한 전 세계적인 분포 및 통계학적인 분석을 포함하고, 역치 값을 참조하여 강도(intensity)에서의 변화에 근거하여 비정상적인 조명 상태임을 확인한다.
비정상적인 조명 상태하에서의 감지된 영상은 추후 처리에서 무시될 수 있다.
영상 처리 시스템은, 다른 환경 조건들에 대해서 최적의 FOD 에지 추출(optimal FOD edge extraction)을 위한 하나 이상의 역치 값을 적응성 있게 추정할 수 있고; 계속해서 알게되는 배경 영상 에지 맵에 기초하여 통계학적 방법을 사용하여 픽셀 레벨 에지 맵(pixel level edge map)를 만들어, 그레이스케일 룩업 테이블(LUP)을 결정하여 픽셀 레벨 역치 맵을 생성하는데 이용된다.
영상 처리 시스템은, 축적되어 역치를 초과하는 픽셀로만 이루어진 확고한 에지 맵만을 유지하기 위하여, 일시적인 필터링을 에지 맵의 스택에 추가로 적용할 수 있다.
영상 처리 시스템은 추가로, 확고한 에지 맵을 적응적인 배경 학습에 놓이게 할 수 있는데, 적응적인 배경 학습은 배경 에지 영상을 포함하는 단계; 활주로 상에서의 천천히 변하는 특징을 확인하는 단계; 그리고, 배경 에지 영상을 업데이트 시키는 단계를 포함한다.
영상 처리 시스템은 추가로, 적응적인 배경 에지 맵, 앞서 합습되고 저장된 주간 또는 야간 배경 에지 맵, 그리고 특정 계절 또는 날씨 조건하에서 만들어진 계절적인 표시 을 포함하는 복합 배경 에지 맵을 생성한다.
영상 처리 시스템은 추가로, 복합 배경 에지 맵과 확고한 에지 맵을 비교하여, FOD의 의심스러운 에지 맵을 추출하기 위해 배경 에지를 제거한다.
영상 처리 시스템은 추가로, 의심스러운 에지 맵으로부터 환경적인 변화에 관한 원하지 않는 에지를 거르기 위해 에지 필터링을 수행하고, 의심스러운 에지 맵으로부터 FOD의 에지 파라미터를 계산할 수 있다.
환경적인 조건은 낮에서 밤으로의 변화, 또는 밤에서 낮으로의 변화, 날씨 상태, 비, 연기, 구름 등을 포함할 수 있다.
영상 처리는, FOD 탐지의 제어탑 또는 제어실에 있는 작업자에게 경보를 알리기 위해 비디오 디스플레이에 활주로의 의심스러운 영역에 대해 FOD 그래픽을 입힐 수 있다.
하나 이상의 카메라, 또는 하나 이상의 추가적인 카메라가 시각적인 검증을 위해 의심스러운 영역을 확장하기 위해 배열될 수 있다.
영상 처리 시스템은 추가로 FOD를 분류할 수 있다.
하나 이상의 카메라는 하나 이상의 고정 카메라, 하나 이상의 비고정 카메라, 또는 고정 및 비-고정 카메라의 조합을 포함할 수 있다.
상기 카메라는 활주로의 사이드에 위치될 수 있다.
상기 카메라는 교대로(staggered manner) 활주로의 어느 사이드에 위치될 수 있다.
하나 이상의 카메라가 작동하지 않는 경우, 각각의 인접한 카메라가 작동하지 않는 카메라에 의해 커버되는 영역을 커버하도록 작동할 수 있다.
하나 이상의 카메라는 하나 이상의 흑백 카레라, 하나 이상의 컬러 카메라 또는 둘 모두를 포함할 수 있다.
감시 시스템은 추가로 하나 이상의 암시(暗視, night-vision) 카메라를 포함할 수 있다.
활주로 표면은 복수개의 구획으로 나누어질 수 있고, 하나 이상의 비-고정 카메라는 FOD 탐지를 위해 활주로의 한구획 한구획 연속적으로 스캔한다.
고정 카메라는 활주로상에 이륙 및 착륙하는 항공기의 각각의 위치를 탐지할 수 있어, 비-고정 카메라는 이륙 또는 착륙하는 항공기의 각각의 위치들에서 활주로 구획들을 먼저 스캔하여 FOD 탐지 시간을 줄인다.
영상 처리 시스템은, 비 움직임 클러터(rain motion clutter)와 유사한 특징을 인식하는 것에 의해 그리고 완전한 활주로를 가로질러 나타나는 비에 의한 움직임 클러터에 기초하여, 활주로 장면 영상에서 비 클러터를 제거하기 위해 일시적인 필터링을 적용할 수 있다.
영상 처리 시스템은, 눈 움직임 클러터(snow motion clutter)와 유사한 특징을 인식하는 것에 의해 그리고 완전한 활주로를 가로질러 나타나는 눈에 의한 움직임 클러터에 기초하여, 활주로 장면 영상에서 눈 클러터를 제거하기 위해 일시적인 필터링을 적용할 수 있다.
영상 처리 시스템은, 활주로 상에서 길이(수평) 방향에 따라, 그리고 실제의 좌표 프레임(예를 들어, WSG84 또는 공항 그리드)상의 정확한 좌표로 활주로의 영상 상에서 맵 픽셀에 대한 활주로 장면을 캘리브레이션하기 위해 활주로의 사이드로부터 동일한 수직 거리 상에 위치한 표지 또는 활주로 에지 조명을 사용할 수 있다.
영상 처리 시스템은, 활주로 중앙 라인의 각 사이드에 두개의 평행한 수평의 활주로 라인들을 사용할 수 있고, 그 활주로 중앙 라인은 실제의 좌표 프레임(예를 들어, WSG84 또는 공항 그리드)상의 정확한 좌표로 활주로의 영상 상에서 맵 픽셀에 대한 활주로 장면을 캘리브레이션하기 위해 두개의 수직 픽셀 매핑 비율을 유도해 낸다.
영상 처리 시스템은, 활주로 상의 FOD의 위치와 범위를 결정하기 위해 흑백 비젼 및 흑백 카메라에 의해 캡쳐된 캘리브레이션된 활주로 장면 영상을 사용할 수 있다.
상기 시스템은, 고정 카메라 및 캐리브레이션된 활주로 장면 영상에 의해 결정된 FOD 위치 및 범위를 사용하여, 비-고정 카메라(예를 들어, 팬(pan) 틸트(tilt) 줌(zoom) 카메라)를 자동적으로 조절할 수 있는데, 이러한 조절은 카메라를 좌우로 돌리고/돌리거나 상하로 움직이고/움직이거나 확대하고/확대하거나 FOD에 초점을 맞추는 것으로, 이에 의해 잘못된 경보를 거르고 탐지된 FOD를 검증할 수 있기에 충분한 디테일을 가진 FOD의 망원 영상을 얻는다.
상기 시스템은, 활주로의 동일한 구획을 커버하는 한 쌍의 감시 카메라를 사용하는 스테레오 비젼을 사용하여, FOD 범위 및 위치는 계산될 수 있는데, 이는 활주로 상의 감시의 동일한 영역(보이는 영역)을 커버하는 두개의 카메라에 의해 캡쳐된 두개의 영상을 비교하여 얻어진 차이 영상으로부터 계산될 수 있다.
본 발명의 제2 양태는 활주로 상의 외부 물체, 파편 또는 손상(FOD)을 탐지하는 방법을 제공하는 것인데, 상기 방법은 활주로의 영상을 캡쳐하는 단계; 및 활주로 상의 FOD를 감지하기 위해 캡쳐된 이미지의 적응성 있는 영상 처리를 수행하는 단계를 포함하고, 상기 방법은 적외선 또는 레이저 조명과 같은 보조적인 조명이 없이 낮과 밤 둘 모두의 주변 빛의 조건 하에서 FOD 감지를 위해 적응성 있게 작동가능하다.
본 발명은 첨부되는 도면을 참조하여 기술되며, 이러한 실시예에 본 발명이 한정되는 것은 아니다.
도 1a 및 도 1b는 활주로 상의 이물질(foreign objects), 잔해(debris) 또는 손상(damages)(FOD)을 검출하기 위한 감시 시스템에서 감시 카메라들의 배치를 도시하는 도면이다.
도 2는 일 실시예에 따른 FOD 검출의 기본 흐름도이다.
도 3a 및 3b는 본 발명의 일 실시예에 따른 상세 흐름도이다.
도 4는 도 3a에서 에지 맵(edge map)을 추출하기 위하여 사용되는 룩업 테이블을 도시한 그래프이다.
도 5는 활주로 상의 FOD를 검출하기 위한 감시 시스템에서 감시 카메라들의 불필요한 영역을 도시하는 도면이다.
도 6은 다른 실시예에 따른 활주로 표면 스캐닝을 도시하는 도면이다.
도 7은 일 실시예에 따라 이미지 교정(픽셀을 실물로 대응되도록 교정)을 위하여 활주로 라인을 사용하는 때에 활주로 라인을 도시한 도면이다.
도 8은 실시예의 시스템 및 방법을 구성하는 컴퓨터 시스템을 도시한 도면이다.
도 1a는 일 실시예에 따라 활주로(106) 상의 이물질(foreign objects), 잔해(debris) 또는 손상(damages)(FOD)을 검출하기 위한 활주로 감시 시스템(100)에서 감시 카메라들의 배치를 도시한 도면이다. 상기 활주로(106)는 유도로(taxiway)(103,104) 및 잔디(102)에 인접하여 중앙에 위치한다. 상기 활주로를 향하는 복수의 감시 카메라(108)들은 상기 유도로(104)의 일측 모서리를 따라 배치되고, 각각의 감시 카메라(108)들의 축은 상기 활주로(106)의 길이방향에 수직이다. 각각의 감시 카메라(108)는 수평 각 시점(111)을 갖고서 유효 시야(110)를 촬영하는 것이 가능하다. 각각의 유효 시야(110)는 유도로(103,104), 활주로(106) 및 잔디(102) 각 일부분을 포함한다. 그리고, 각각의 유효 시야(110)는 상기 활주로(106)를 따라 인접한 카메라(108)에 의하여 함께 촬영되는 공통 부분(112)을 포함한다.
감시 카메라(108)들은 활주로에서 200~300m 떨어져서 위치하고, 인접한 카메라에 의한 촬영으로 인하여 대략 15%의 중복 영상이 발생한다.
상기 카메라(108) 각각으로부터 촬영된 비디오 데이터는 공항의 컨트롤 타워 또는 컨트롤 룸(135)의 응용 컴퓨터 시스템(미도시)으로 제공된다. 상기의 제공된 비디오 데이터는 상기 응용 컴퓨터 시스템의 비디오 프로세싱 유닛에 의하여 처리된다. 상기 응용 컴퓨터 시스템은 FOD를 검출하기 위하여 상기 감시 카메라로부터 전달되는 영상을 지속적으로 처리하고, FOD가 검출되는 때에는 조작자에게 이를 알린다. 그리고, 컨트롤 타워 또는 컨트롤 룸(135)의 조작자는 비디오 디스플레이(미도시) 상의 실시간 활주로 이미지를 시각적으로 모니터링할 수 있다. 상기 응용 컴퓨터 시스템이 상기 비디오 데이터를 처리하는 도중에 어떠한 이물질, 잔해 또는 손상(FOD)이 검출되면, 조작자는 이러한 사항에 대하여 경고를 받게 된다(시각적 및/또는 음성 알림 및/또는 GSM SMS 또는 MMS와 같은 모바일 통신 수단을 통한 원거리 무선 경보). 상기 알람 및/또는 원거리 무선 경보를 받게 되면, 조작자는 FOD를 시각적으로 확인하기 위하여 감시 카메라(108)를 검출된 물체쪽으로 줌시킨다. FOD가 확인되면, 컨트롤 타워 또는 컨트롤 룸(135)에서 알람(음성 및/또는 시각적인 것)이 작동된다. 그리고, FOD의 검출은 상기 활주로(106) 근처에 위치한 원거리 알람(음성 및/또는 시각적인 것)을 동작시킨다. 그리고, 무선 경보(GSM SMS 또는 MMS와 같은 것)가 동작되어, 활주로 복구 팀에게 해당 내용이 알려진다. 따라서, 활주로 복구 팀은 즉시 복수 운송수단을 보내어서 상기 이물질, 잔해를 제거하고 손상을 수리하는 것과 같은 발견된 FOD의 복구 작업을 수행한다.
사용되는 상기 감시 카메라들은 수동적이며, 조명장치(레이저 또는 적외선 조명장치와 같은 것)가 갖추어져 있지 않다. 감시 카메라(108)들 각각은 고해상도 데이/나이트 비젼 카메라, 저룩스(lux) 고감도 칼라 카메라, 광 증대장치 CCDs(ICCD 카메라)가 구비된 카메라, 전자 증폭 CCD(EM-CCD 카메라)가 구비된 카메라, 나이트 비젼 카메라, 정적(static) 카메라, 고해상도 메가-픽셀 카메라, 비-정적(non-static) 카메라(패닝(panning) 카메라, 팬 틸트 줌(PTZ) 카메라 또는 줌 카메라와 같은 것) 또는 열 영상 기구(thermal imager) 중 어느 하나가 될 수 있다. 상기 감시 시스템은 추가적인 보조 조명장치(적외선 조명장치 또는 레이저 조명장치와 같은 것)를 설치할 필요없이 오직 수동적인 카메라들을 사용함으로써 동작할 수 있다.
상기 시스템(100)에 사용되는 감시 카메라(108)는 영상 처리를 위하여 화주로의 비디오 이미지를 생성할 수 있다. 그러나, 디지털 카메라는 스틸 영상 처리를 위하여 상기 활주로의 디지털 이미지를 만드는데 사용되고 있다.
예를 들어, 줌 카메라 또는 PTZ 카메라는 FOD의 상세 시야를 얻기 위하여 활주로의 어느 영역에 대하여 줌(zoom)시키도록 사용될 수 있다. 줌-인된 비디오 이미지로부터 상기 활주로의 좀 더 상세한 영역을 확인할 수 있으며, 조작자는 발견된 FOD에 의하여 야기될 수 있는 잠재적 위험을 좀 더 용이하게 판단할 수 있으며, 적절한 행동을 즉시 취할 수 있다. 상기 응용 컴퓨터 시스템이 FOD를 검출할 때마다, 상기 PTZ 카메라 또는 줌 카메라는 원격으로 제어되어 상기 활주로의 해당 영역을 줌시킬 수 있다.
도 1b는 활주로 상의 FOD를 검출하기 위한 활주로 감시 시스템(500)에서 감시 카메라들의 다른 배치를 도시한 도면이다. 상기 활주로를 향하는 복수의 감시 카메라(508)들은 유도로(104)의 일측 모서리를 따라 배치된다. 상기 활주로를 향하는 다른 복수의 감시 카메라(509)는 유도로(103)의 다른쪽 모서리를 따라 배치된다. 각각의 감시 카메라(508,509) 축은 활주로(106)의 길이방향에 대하여 수직이다. 각각의 감시 카메라(508)는 수평각 시야(511)를 갖고서 유효 시야(510)을 감시할 수 있다. 각각의 감시 카메라(509)는 수평각 시야(521)을 갖고서 유효 시야(515)를 감시할 수 있다. 각각의 유효 시야(510,515)는 유도로(103,104), 활주로(106) 및 잔디(102) 일부분을 포함한다. 상기 카메라(508,509)들은 인접한 카메라의 유효 시야(510,515)가 서로 교차되도록 서로 교차하여 배치되어, 분명한 경계선을 갖고, 겹쳐지는 촬영 영역이 작다.
이하에서 기술되는 설명 일부는 컴퓨터 메모리 내에서 데이터 동작에 관한 알고리즘 또는 기능적이거나 상징적인 표현과 관련되는 용어로 명확히 또는 암시적으로 표현된다. 이러한 알고리즘 기술과 기능적 또는 상징적인 표현은 데이터 프로세싱 기술분야에서의 당업자가 충분히 실행으로 옮길 수 있는 정도이다. 알고리즘은 일반적으로 바람직한 결과를 이끌어내는 단계의 일관성 있는 시퀀스가 될 수 있다. 상기 단계들은 전기적, 자기적 또는 광학적 신호들이 저장, 전송, 연결, 비교 및 다른 조작이 이루어질 수 있는 것과 같은 물리적인 양의 물리적인 조작을 요구한다.
특별히 다르게 기술되더라도, 아래 기술사항으로부터 분명해지고, 본 상세한 설명을 통하여 기술되는 "계산하는 것", "결정하는 것", "교체하는 것", "발생시키는 것", "초기화하는 것", "출력하는 것" 또는 이와 유사한 기재는 컴퓨터 시스템 내에서 물리적인 양으로서 표현되는 데이터를 상기 컴퓨터 시스템 또는 다른 정보 저장장치, 전송 또는 디스플레이 장치 내에서 물리적인 양으로 유사하게 표현되는 다른 데이터로 조작하고 전송하는 컴퓨터 시스템 또는 유사한 전자 장치의 동작과 프로세스를 나타낸다.
그리고, 본 상세한 설명은 방법의 동작을 실행하기 위한 장치를 개시한다. 이러한 장치는 요구된 목적을 위하여 특별히 구성될 수 있으며, 일반적인 목적의 컴퓨터 또는 컴퓨터 내에 저장되는 컴퓨터 프로그램에 의하여 선택적으로 동작되거나 변경될 수 있는 다른 장치를 포함할 수 있다. 여기서 표현되는 알고리즘과 디스플레이는 어떤 특별한 컴퓨터 또는 다른 장치에 한정되는 것은 아니다. 다양한 일반적인 목적 기계들이 기술되는 기술에 대응하여 프로그램되어 사용될 수 있다. 반면에, 요구되는 방법의 단계를 실행하기 위하여 좀 더 특별히 설계된 장치도 사용될 수 있다. 종래의 일반적인 목적 컴퓨터의 구조는 아래에서 기술되는 것에 의해 명확해 질 수 있다.
그리고, 본 상세한 설명은 컴퓨터 프로그램을 암시적으로 개시하며, 본 기술분야에서의 당업자는 기술되는 상기 방법의 각 단계를 효과적으로 컴퓨터 코드로 실행시킬 수 있다. 상기 컴퓨터 프로그램은 어떤 특별한 프로그래밍 언어에 한정되지 않는다. 다양한 프로그래밍 언어와 그들의 코딩이 여기에 기술되는 기술을 구성시키도록 사용될 수 있다. 그리고, 컴퓨터 프로그램은 어떤 특별한 제어 흐름에 한정되는 것은 아니다. 본 발명의 사상에서 벗어나지 않는 한 다른 제어 흐름을 사용할 수 잇는 다양한 컴퓨터 프로그램이 사용될 수 있다.
또한, 상기 컴퓨터 프로그램의 하나 또는 그 이상의 단계들이 연속적이기 보다는 병행하여 실행될 수 있다. 이러한 컴퓨터 프로그램은 어떠한 컴퓨터 읽기가능한 매체에 저장될 수 있다. 상기 컴퓨터 읽기가능한 매체는 자기 또는 광학 디스크, 메모리 칩, 또는 일반적인 목적 컴퓨터와 인터페이스 가능한 다른 저장 장치와 같은 저장 장치를 포함할 수 있다. 사기 컴퓨터 읽기가능한 매체는 인터넷 시스템, 또는 GSM 모바일 전화 시스템이 예가 될 수 있는 무선 매체와 같은 하드-와이어드(hard-wired) 매체를 포함할 수 있다. 이러한 일반-목적 컴퓨터에서 로드되고 실행되는 컴퓨터 프로그램은 바람직한 방법의 단계를 구성하는 장치를 효과적으로 제공할 수 있게 한다.
본 발명은 하드웨어 모듈과 같이 구성될 수 있다. 특히, 하드웨어 측면에서, 모듈은 다른 구성요소 또는 모듈과 함께 사용하기 위하여 디자인된 기능적인 하드웨어 유닛이다. 예를 들면, 별개의 전자 구성요소를 사용하도록 모듈이 구성될 수 있으며, 응용 주문형 집적 회로(Application Specific Integrated Circuit(ASIC))와 같은 전체의 전자 회로의 일부분을 형성할 수 있다. 당업자는 상기 시스템을 하드웨어와 소프트웨어 모듈의 결합으로 구성시킬 수도 있을 것이다.
상기 컨트롤 타워 또는 컨트롤 룸(135)의 응용 컴퓨터 시스템은 아래의 기능을 갖는다:
1. 카메라의 개수, 각 카메라의 커버리지 영역(유효 시야), 카메라 교정, 발생되어야만 하는 경보에 대한 이벤트, 경보의 여러가지 형태들에 대하여 상기 감시 시스템을 구성시키는 것
2. 조작자가 효과적으로 FOD를 확인하고, FOD가 이물질인지, 잔해인지, 활주로상의 손상인지 여부를 판단하고, 상기 이물질을 분류할 수 있도록 하기 위하여 각각의 감시 카메라의 유효 시야를 선택(카메라의 시야 각을 원격으로 조절하는 것에 의하여)하는 것.
3. 상기 활주로의 관심 영역에 대하여 팬(pan), 틸트 및/또는 줌 기능을 수행하기 위하여 팬 틸트 줌(pan tilt zoom,PTZ) 또는 줌 카메라를 자동으로 조절함으로써, 팬 틸트 줌(PTZ) 또는 줌 카메라 각각의 유효 시야(시야각)을 선택하는 것. 관련되는 PTZ 또는 줌 카메라는 손상된 영역 또는 잔해 또는 이물질을 갖는 영역을 줌하여 자동적으로 촬영하기 위한 응용 컴퓨터 시스템에 의하여 원격으로 제어된다. 이러한 기능은 조작자에 의하여 직접 실행될 수 있으며, 상기 응용 컴퓨터 시스템의 사용과 함께 원격으로 실행될 수 있다.
4. 상기 활주로에 등록된 문제(FOD가 검출되는 것)가 발생하는 것에 의해 음성 또는 시각적인 경보를 구성시킴으로써, 상기 시스템은 자동으로 경보의 우선순위 리스트를 생성시키고, 가장 우선순위가 높은 것은 가장 큰 구멍이 형성되었거나 가장 위험한 잔해 또는 이물질이 발생한 경우가 도리 수 있으며, 조작자는 상기 우선순위 리스트에 따라 필요한 적절한 대응을 취할 수 있다. 상기 경보는 음성 및/또는 시각적 또는 양쪽 모두로 구성될 수 있다. 상기 경보는 GSM SMS 또는 MMS와 같은 모바일 통신 수단을 통하여 원격의 무선으로 이루어질 수 있다.
5. 상기 시스템이 활주로 상에서 FOD를 검출하였을 경우에 다양한 감시 카메라에 의하여 촬영된 비디오 이미지 및/또는 스틸 사진 이미지의 처리와 기록을 수행하는 것과, 상기 활주로 장명의 기록된 비디오 이미지 및/또는 스틸 사진 이미지의 재생.
6. 저장된 이벤트, 비디오 데이터 및 다른 데이터의 관리. 모든 관련 데이터는 데이터베이스에 저장되어, 쉽게 접근할 수 있고 다양한 레포트를 생성할 수 있다.
7. 상기 데이터베이스에 억세스하는 다른 시스템을 허용과 관련된 시스템 인터페이스.
8. 다른 시스템이 실시간 데이터 및 모든 필드 장비의 세부사항을 포함하는 시스템-와이드 상태(system-wide status)를 획득할 수 있도록 실시간 데이터를 공유하기 위한 시스템 인터페이스. 항공기 이륙/착륙 제어 시스템으로 실시간 데이터를 집적화하는 것은 항공기와 승무원에게 안전을 제공하는 것이 유용해진다.
도 2는 일 실시예에 따른 FOD 검출의 기본 흐름도이다.
단계 201에서, 감시 카메라들은 활주로의 어느 일부분의 영상을 각각 획득한다. 상기의 획득된 영상 처리와 관련하여서는 아래의 단락에서 설명된다.
단계 203에서, 상기의 획득된 이미지를 전처리(pre-process)하기 위하여 이미지 향상이 수행된다. 활주로에 평행한 방향으로 높은 그래디언트(gradient) 변화(거의 모든 실제의 3D 이물질, 손상 또는 잔해(FOD)는 이러한 특성을 갖는다)를 갖는 특징을 향상시키기 위하여, X축 방향에서의 단계적인 그레이 스케일(grey scale) 변화와, 강하게 대조되는 활주로 흰색 라인은 제거된다.
어떤 두드러진 활주로 조명과 FOD를 제외하고는, 출력 이미지에서 모든 픽셀은 거의 0이 된다(이동하는 구름 또는 비에 의해서 그레이 스케일 그래디언트 변화를 갖는 흰색 활주로 라인과 영역을 포함). 이 단계는 낮은 오류율로 FOD 검출을 신뢰할 수 있게 해준다.
최적 결과를 얻기 위하여, left_to_right plus_to_left의 Sobel X 또는 Scharr X와 같은 하이 패스 필터가 사용될 수 있다.
단계 205에서, 밤에 검출하는 경우를 위하여 이상광(abnormal light) 검출이 적용된다. 활주로에 갑작스러운 불빛 비춤이나 휘점(bright spot)이 상기 감시 카메라(108)를 비출 수 있다. 이것은 항공기가 착륙하거나 이륙하는 때 또는 밤에 지상에서 자동차 등이 이동할 때 발생될 수 있다. 상기 검출 알고리즘은 이러한 상황을 판단한다. 이상광이 검출되면, 해당 이미지는 무시된다. 상기 알고리즘은 획득된 영상을 꾸준히 진행되는 이미지와 비교하기 위하여 글로벌 히스토그램(global histogram)과 통계적인 분석(평균 그레이 스케일)을 수행한다. 상기 알고리즘은 이상광 상태가 있는지 여부를 결정하기 위하여, 휘점의 파라미터(사이즈, 면적 등과 같은 것)를 사용한다.
단계(207)에서, 최적의 검출 파라미터가 추정되고 적응적 픽셀 레벨 에지 맵이 추출된다. 다른 날씨 및 밤/낮 조건 하에서, 활주로(runway)(106)의 이미지는 매우 다르게 보일 수 있다. 이미지는 부드럽거나 거칠거나 또는 많은 반사지점을 가질 수 있다. 이 단계는 적응적으로 최적의 FOD 에지 추출 임계치를 추정하여 최소의 노이즈로 진정한 FOD 에지를 추출하는 것을 목적으로 한다. 알고리즘은 원본(모션 영역을 제외) 또는 점진적으로 학습된 배경 이미지를 기반으로 하는 통계적 방법(예컨대, 평균, 분산)을 사용하여 픽셀 레벨 임계치 맵을 생성하기 위해 사용되는 그레이스케일 LUT(LookUp Table)를 결정한다.
단계(209)에서, 시간적 필터링(temporal filtering)이 에지 맵의 스택에 적용되어 감소된 노이즈로 로버스트(robust) 에지를 유지한다. 시간적 필터링은 픽셀 레벨에 적용된다. 특정 임계치를 통과하기 위해 축적된 픽셀들만이 로버스트 에지 픽셀로 간주된다(로버스트 에지 맵에 사용됨). 깜빡거리는 픽셀들은 임계치를 통과하도록 축적될 수 없으며, 그 결과 삭제된다(로버스트 에지 맵에서 사용되지 않음).
단계(211)에서, 적응적 배경 학습이 배경 학습(background learning)을 위해 IIR(Infinite Impulse Response) 원리를 사용하여 수행된다.
Bt: 시간 t에서 배경 이미지,
Bt-1: 시간 t-1에서 배경 이미지,
It: 시간 t에서 현재 이미지,
배경 이미지는 다음에 의해 업데이트된다:
Bt = Bt-1 * α + It * (1-α)
시스템은 배경 학습을 위해 우선적으로 에지 맵을 사용한다. 학습된 특징(feature)은 주로 중앙 광(center lights)을 포함하고, 낮은 카메라 각도로 인해 활주로 영역 내로 소량 포함된 일부 에지 광(edge lights)을 포함한다. 적응적 배경 학습의 주된 목적은 잘못된 경고를 생성하지 않으면서, 배경으로 혼합하기 위해 활주로 상의 느린 특징 변화 프로세스를 캡쳐하는 것이며, 그리고 다음 날을 위한 배경 에지로서 사용하기 위해 학습된 배경 에지 맵을 나날이 파일 또는 데이터베이스에 저장하는 것이다. 이는 시스템이 가능한 한 신속하게 활주로 표시 변화에 적응할 수 있도록 한다.
단계(213)에서, 합성 배경 에지 맵이 획득된다. 합성 배경 에지 맵은 활주로 마킹(runway markings)을 나타낸다. 합성 배경 에지 맵은 적응적 배경 에지 맵, 이전에 저장된 배경 에지 맵 및 선택적으로 계절적 마킹(seasonal markings)(계절적 마킹은 특정 계절 또는 눈과 같은 기상 조건 도중 생성된다)으로 구성된다. 이들은 최종 배경 에지를 형성하기 위해 단순하게 추가되거나 또는 더 처리된다.
단계(215)에서, 의심되는 에지가 에지 맵 및 합성 배경 에지 맵을 비교함으로써 추출된다. 이 단계에서, 단계(213)에서 처리된 이미지로부터의 활주로 마킹 에지는 제거된다. 남은 에지는 FOD일 수 있다.
단계(217)에서, 에지 필터링은 FOD의 일부가 아니지만 눈, 비 또는 아침 햇살과 같은 다른 기상 조건으로 인해 발생할 수 있는 에지의 일부를 필터링하도록 수행된다. 기상 조건은 센서 및/또는 이미지 처리 방법을 통해 검출된다. 이 단계는 하나 또는 그 이상의 선택가능한 알고리즘을 사용하여 이러한 기상 조건을 검출하는 단계를 포함한다(예컨대, 활주로 광은 비로 인해 변환되고, 반사가 활주로에 발생할 수 있다).
다른 분류가 단계(219)에서 수행되어 단계(217)에서 검출된 오브젝트가 진정한 FOD인지 여부를 결정한다. 오브젝트 분류 방법의 일부 예는 패턴 매칭, 베이즈 분류기(Bayes classifier), 선형 판별 분류기(Linear Discriminant classifier), 신경 네트워크 분류기, 퍼지 분류기 및 신경 퍼지 분류기이다.
단계(217)로부터 필터링된 에지를 사용하여, 시스템은 상대적 객체 속성, 예를 들어 길이, 높이, 경계(perimeter), 면적, 질감, 색채 속성(chromatic properties)(색상(hue) 및 채도(saturation)), 광도 세기(luminous intensity)(그레이 레벨)를 추출한다. 이러한 오브젝트 속성은 오브젝트 분류를 위한 입력 벡터를 형성하여 검출된 오브젝트가 진정한 FOD인지 결정한다.
단계(221)에서, FOD가 검출되면, 관제탑 또는 관제실의 운영자(operator)는 시각적 및/또는 청각적 경보 및/또는 무선 경고(예컨대, GSM SMS 또는 MMS) 중 어느 하나에 의해 이를 경고한다. 경보 및/또는 무선 경고를 수신하면, 운영자는 검출된 FOD에 감시 카메라를 주밍(zoom)한다. FOD가 확인되면, 다른 경보(청각적 및/또는 시각적)가 관제탑 또는 관제실에 트리거링된다. FOD 확인은 또한 활주로 근처에 위치된 원격 경보(청각적 및/또는 시각적)도 트리거링한다. 추가적으로 또는 선택적으로, 무선 경고(예컨대 GSM SMS 또는 MMS)는 또한 활주로 복원 팀에 통지하기 위해 트리거링될 수도 있다. 즉각적으로, 활주로 복구 팀은 복구용 차량을 파견하여 검출된 FOD를 클리어한다(즉, 외부 객체 또는 잔해를 제거하거나 활주로 손상을 수리한다).
도 3A 및 도 3B는 본 발명의 일 실시예의 상세한 흐름도이다. 단계(301)에서 프로세스를 시작하면, 시스템은 단계(302)에서 초기화된다. 단계(303)에서, 감시 카메라는 활주로의 부분에 있는 초기 이미지를 캡쳐한다.
이미지는 임의의 모션을 검출하도록 분석된다. 어떠한 움직임도 없는 이미지만이 배경 학습을 위해 사용되고 결과적으로 이 예시적인 실시예에서 데이터베이스에 레퍼런스 배경 이미지로 저장된다.
단계(305)에서, 캡쳐된 이미지는 이미지 개선으로 제공되어 캡쳐된 이미지를 처리한다. 이미지 전처리 후, 이미지의 모든 픽셀들은 일부 두드러지는 활주로 빛을 제외하고 영으로 처리된다(백색 활주로 라인 및 움직이는 구름 또는 비로 인한 그레이 스케일 그래디언트에 변화를 가지는 영역에 대응하는 픽셀을 포함).
단계(307)에서, 낮에서 밤으로, 또는 밤에서 낮으로의 변화가 있는지 여부를 발견하기 위해 확인이 이루어진다. 예를 들어, 이는 센서 또는 카메라의 광 강도의 차이를 모니터링함으로써 달성될 수 있다. 낮에서 밤으로 또는 밤에서 낮으로의 광 강도의 차이는 일반적으로 기상 변화로 인한 것보다 훨씬 크다. 이 경우, 낮에서 밤으로, 밤에서 낮으로의 변화 또는 밤인 조건이 검출되고, 단계(309)에서, 이상광(abnormal light) 검출 확인이 수행된다. 이상광이 단계(311)에서 검출된 경우, 기캡쳐된 이미지는 무시되고 다음 이미지가 단계(303)으로부터 캡쳐된다. 이상광이 검출되지 않은 경우, 단계(315)에서 감지된 다른 환경적 조건들(예컨대, 밤/낮, 비, 연기 등)에 대해, 추정된 최적의 FOD(Foreign Object, Debris or damage) 검출 파라미터는 단계(313)으로부터 도출된다.
예를 들어, 다른 환경 조건(예컨대, 밤/낮, 비, 연기 등)은 하나 또는 그 이상의 센서에 의해 검출될 수 있다. 변화를 야기하기 위한 이중 임계치가 내장된(built-in double threshold) 시스템을 기반으로 한 카메라 조리개가 사용될 수도 있다. 예를 들어, 임계치는 낮에 대해 50으로 설정되고 밤에 대해서는 70으로 상승될 수 있다. 타임 필터는 또한 사용되어, 밤인지 낮인지 여부를 확인하기 위해 특정 값이 시간 주기 동안 유지될 수 있다. 응용 컴퓨터 시스템은 또한 RTC(Real Time Clock) 및 밤 또는 낮 조건의 확인을 위한 전자 달력으로부터의 다른 날짜 및 시간 입력을 사용할 수도 있다.
활주로의 마킹은 밤과 낮 시간 동안 상이하게 나타난다. 보통, 밤 중에 마킹이 더 많이 나타난다. 밤의 마킹은 낮의 마킹을 대체한다.
단계(317)은 적응적 픽셀 레벨 에지 맵 추출(도 4를 참조)을 제공하며, 최소의 뇌즈로 진정한 FOD 에지를 추출하기 위해 최적의 FOD 에지 추출 임계치가 LUT(LookUp Table)로부터 추출된다.
단계(319)에서(도 3B), 모션 에지 필터링이 정적 에지 맵을 생성하기 위해 수행된다. 단계(321)에서, 시간적 필터링은 로버스트 에지 맵을 추출하기 위해 수행된다. 오직 특정 임계치를 통과하여 축적된 픽셀들만이 로버스트 에지 픽셀로 간주된다(로버스트 에지 맵에 사용됨). 깜빡거리는 픽셀들은 임계치를 통과하여 축적될 수 없을 것이며, 그 결과 삭제될 것이다(로버스트 에지 맵에 사용되지 않음).
단계(323)에서, 적응적 배경이 학습되었는지 결정하도록 확인 작업이 수행된다. 시스템은 배경 학습을 위해 에지 맵을 사용한다. 적응적 배경(323)이 학습되지 않으면, 적응적 배경 에지 맵은 단계(325)에서 초기화되거나/업데이트된다. 단계(327)에서, 적응적 배경 맵이 기정의된 조건에 도달하는지 여부를 결정하도록 확인 작업이 수행된다. 도달된 경우, 단계(329)에서, 표시가 플래그되어(flagged) 적응적 배경이 학습됨을 통지한다. 도달되지 않은 경우, 프로세스는 단계(303)으로 되돌아가 이미지를 캡쳐한다.
적응적 배경(323)이 학습되면, 단계(331)에서, 합성 배경 에지 맵이 생성된다. 합성 배경 맵은 단계(325)에서 생성되거나/업데이트된 적응적 배경 맵, 기저장된 낮/밤 배경 맵 및 프로세스가 단계(302)에서 초기화되면 단계(333)에서 제공되는 계절적 마킹 맵으로 구성된다. 계절적 마킹은 특정 계절 또는 기상 조건(예컨대, 눈 또는 비) 하에서의 활주로 마킹과 결합된다. 이미지를 처리하거나 외부 센서를 사용함으로써, 시스템은 이러한 계절 또는 기상 조건들을 식별하여 잘못된 경보를 줄일 수 있다. 합성 배경 맵은 활주로의 마킹을 포함한다.
단계(335)에서, 의심되는 에지 맵이 합성 배경 맵과 에지 맵을 비교함으로써 추출된다. 단계(337)에서, 에지 필터가 비로 인한 반사와 같은 갑작스런 환경 변화와 관련된 원치않은 임의의 에지를 필터링하도록 적용된다. 예를 들어, 우천 시, 활주로 빛의 이미지는 FOD와 닮을 수 있는 밝은 지점으로 검출될 수도 있다. 시스템은 기저장된 이미지와 비교함으로써 이러한 잠재적인 잘못된 경보를 검출할 수 있다.
단계(337)에서, 적응적 배경 맵이 단계(339)에서 업데이트되고 낮에서 밤으로의 변화가 있는지 발견하도록 확인 과정이 수행된다. 만약 낮에서 밤으로의 변화가 있거나, 밤에서 낮으로의 변화가 있다면, 마지막 밤 또는 낮 배경 맵이 단계(343)에서 즉각적인 사용을 위해 로딩되고, 적응적 배경 맵은 다음 날의 사용을 위해 단계(345)에서 밤/낮 배경 에지 맵으로서 저장된다. 단계(341)에서 낮에서 밤으로의 변화, 또는 밤에서 낮으로의 변화가 발견되지 않으면, 프로세스는 단계(303)으로 되돌아가 이미지 캡쳐를 지속한다.
단계(347)에서, 단계(337)로부터 필터링된 의심되는 에지 맵으로부터의 에지 파라미터(예컨대 사이즈, 면적 등)이 계산된다. 단계(3349)에서, 에지 파라미터가 임계치를 초과하는지 결정하도록 확인 작업이 수행된다. 초과한다면, 단계(351)에서, 활주로 상의 의심되는 영역은 영상 디스플레이에 겹쳐서 표시되고, 관제탑 또는 관제실의 운영자는 청각적 신호 및/또는 시각적 및/또는 무선 경고(예컨대 GSM SMS 또는 MMS)를 통해 경고를 받는다. 단계(353)에서, 경보가 생성되면, 운영자는 시각적 확인을 위해 감시 카메라를 사용하여 팬 및/또는 틸트 및/또는 줌을 수행한다. 단계(353)에서, FOD가 확인되면, 단계(357)에서, 활주로 복구 팀이 무선 수단(예컨대, GSM SMS 또는 MMS)를통해 즉각적으로 통지를 받는다. FOD의 이미지는 비디오 디스플레이에 나타나도록 진행되고, 단계(359)에서 복구 팀이 복구하거나 활주로로부터 FOD를 클리어할 때까지 경고 신호가 지속된다.
도 4는 상기에서 제시된 바와 같이, 단계(207) 및 단계(317)에서의 적응성(adaptive) 픽셀 레벨 에지를 추출하기 위해 사용된 룩업 테이블(LUT)을 제시하는 그래프이다.
P1 , P2... Pn 및 T1 , T2..Tn은 캡쳐화된 이미지, 점진적으로 학습된 이미지 및 외부 센서 입력의 통계적인 분석에 근거하여 측정되어, 최적의 구분적인(optimal piecewise) 룩업 테이블(LUT)은 픽셀 레벨 임계치를 발생시키기 위해 연산될 수 있고, 이때 상기 픽셀 레벨 임계치는 최소 노이즈로 FOD 에지 맵(edge map)을 추출하기 위해 사용된다.
캡쳐화된 이미지 또는 점진적으로 학습된 백그라운드 이미지에서의 픽셀 값은 상기의 LUT를 통해 임계치 이미지의 임계값으로 맵핑된다(mapped). 그 후, 상기 캡쳐화된 이미지는 상기 임계치 이미지를 감산한다. 0 이상인 임의의 픽셀 값은 255로 설정된다. 이 결과의 이미지는 적응성 픽셀 레벨 에지 맵에 대응한다(도 2의 단계 207 및 도 3A의 단계 317).
활주로 장면 교정(Runway scene calibration) 및 FOD 위치 설정(positioning)은 본 발명의 실시예에서 실행될 수 있다.
본 발명의 실시예들은 또한 색 감시 카메라들(color surveillance cameras)을 사용하고, 색 화상 프로세싱(color imaging processing)을 제공한다.
그러나, 상술된 모든 기술 및 이미지 프로세싱 방법은 단색 이미지 프로세싱 및 색 이미지 프로세싱 모두를 위해 행해진다. 이로써, 활주로 감시 시스템은 단색 카메라들 또는 색 카메라들 중 어느 것을 사용할 수 있다.
일례의 실시예에서의 감시 카메라들에 의해 얻어진 활주로 장면 이미지들은 미리 교정되어, 장면 이미지의 각 픽셀에 대응하는 물리적 위치 및 범위는 수학 공식 또는 미리 연산된 룩업 테이블을 사용하여 계산될 수 있고, 이때 상기 미리 연산된 룩업 테이블은, 활주로 등의 감시 영역에서 정의된 참조 데이텀(reference datum)(WGS 84 또는 공항 그리드(Airport Grid))의 2D 또는 3D 물리적인 현실-세계 좌표 프레임(frame)(x, y, z)에서 특정 정밀 좌표로 활주로에 장면 이미지의 각 픽셀을 맴핑시킨다(map).
시스템은 활주로 장면 교정을 위해 정지(static) 활주로 특징들을 사용한다. 예를 들면, 이루 고정된 현실-세계 참조 로케이션에 대한 이러한 정지 활주로 특징들의 위치 및 범위는 지상 측량(ground survey), 물리적인 계측으로부터 또는 활주로 맵으로부터 미리 판별될 수 있다. 예를 들면, 상기와 같이 유용한 특징은 마커들(markers)을 위치시키거나, 또는 활주로의 길이 방향 및 활주로의 측으로부터 떨어진 동일한 수직((y 축)) 거리를 따른 활주로 상의 활주로 에지 라이트(edge light)를 사용한다. 이러한 마커들이 활주로의 길이(수평) 방향을 따라, 그리고 활주로의 측으로부터 떨어진 동일한 수직 거리 상에 위치되기 때문에, 이러한 마커들의 수평(x 축) 거리 간격(separation)은 활주로 장면 이미지의 픽셀 수로 맵핑화될 수도 있다. 이로써, 수평(x 축) 픽셀 맵핑비(미터/픽셀)는 수평 픽셀 폭에 의해 2 개의 마커들 간의 물리적 지상 수평 거리를 분할함으로써, 얻어질 수 있다활주로 이미지의 2 개의 마커들 간의 픽셀 수). 공지된 위치들을 가진 최소 2 개의 정지 활주로 특징은 각 장면 이미지를 교정하기 위해 사용될 수 있다.
예를 들면, 더 정확한 장면 보정에 대해서, 그리고 고르지 못한 활주로에 음식물 등을 제공하기(cater) 위해서, 수많은 쌍의 활주로 마커들은 활주로 상의 일련의 가상 수평선들(irtual horizontal line)을 마크하도록 활주로의 길이 방향(활주로 측으로부터의 수직 거리와 함께)을 따라 위치되는 것이 바람직하다. 이러한 수평 가상선들의 물리적인 지상 거리(각 쌍의 마커들 사이)는 계측 테이프(measuring tape) 또는 계측 휠(wheel) 또는 GPS 수신기를 사용하여 계측될 수 있다. 특정 카메라 설정에 대한 상기 수평 가상 선 상의 픽셀들의 수는 활주로 섹션 이미지로부터 계측된다.
예를 들면, 활주로에 있는 감시 카메라의 유효 시야(field of view)는 사다리꼴 형상을 가진다. 그러므로, 활주로 이미지의 픽셀 맵핑비(미터/픽셀)는 활주로의 수직 방향(y 축)의 전역에 걸쳐 다르다. 이로써, 활주로의 먼 측은 더 좁아지고 더 큰 픽셀 맵핑비(미터/픽셀)를 가지면서, 가까운 측은 더 넓고 더 작은 픽셀 맵핑비(미터/픽셀)를 가진다. 상기 시스템은 사용된 데이텀(WGS 84 또는 공항 그리드 또는 직교좌표계(Cartesian coordinate system)일 수 있음)에 근거하여, 현실-세계 기준 좌표 프레임 상에 정밀 좌표들에 대한 이미지 픽셀들을 맵핑시키는 정확한 픽셀 맵핑비(수직 y 축을 위함)를 판별하도록, 중간선의 각 측 및 중간선 상에 2 개의 평행 수평 활주로선을 사용한다. 이로써, 활주로 수평선과 중간선 사이의 물리적인 수직(y 축) 거리가 지상에서 계측될 수 있기 때문에, 수직 픽셀 맵핑비(미터/픽셀)는 이러한 선들(지상에서 계측됨) 사이의 픽셀 수에 의해 이러한 선들(활주로 이미지에 관한 수직 픽셀 폭으로부터 얻어짐) 사이의 물리적인 수직 거리를 분할함으로써 얻어질 수 있다.
도 7은 일례의 실시예에 따른 일례의 활주로 선들을 제시하는 개략적인 도면이다. 활주로의 먼 측에서는 하나의 수평 활주로 선(802)이 있고, 활주로의 가까운 측에서는 또 다른 수평 활주로 선(803)이 있다. 802는 또한 먼 측에서의 활주로 에지선일 수 있고, 803은 활주로의 가까운 측에서의 활주로 에지선일 수 있다. 이러한 양 선들(802, 803)은 중간선(801)에 평행하고, 이러한 모든 선들은 활주로의 수평 방향(x 축)을 따라 위치한다. 가까운 측 수평선(803)과 중간선(801) 사이의 물리적인 수직 거리는 805이고, 활주로 이미지 상의 이러한 2 개의 선들 사이의 수직 픽셀 폭(픽셀 없음)은 y1 픽셀들이다. 이로써, 가까운 측에 대한 수직 픽셀 맵핑비는 805을 y1으로 분할함(미터/픽셀)으로써, 얻어진다. 이와 유사하게, 먼 측 수평선(802)과 중간선(801) 사이의 물리적인 수직 거리는 804이면서, 활주로 이미지 상의 이러한 2 개의 선들 사이의 수직 픽셀 폭(픽셀 없음)은 y2 픽셀들이다. 이로써, 활주로의 먼 측에 대한 수직 픽셀 맵핑비는 804를 y2로 분할함(미터/픽셀)으로써 얻어진다. 이로써, 2 개의 서로 다른 수직 (y 축) 픽셀 맵핑비들(805/y1 및804/y2)은, 참조로서 중간선을 사용하여 활주로의 가까운 측 또는 먼 측에서 픽셀이 있는지에 따라서, 활주로 이미지의 픽셀들을 현실-세계 기준 좌표 프레임 상의 정밀 좌표로 맵핑시키기 위해 사용된다.
상기 기술은 픽셀 맵핑 정확성을 개선시킬 수 있다. 교정은 서로 다른 현실-세계 좌표 데이텀, 예를 들면, WGS84, 항공 그리드 또는 직교 좌표계에 근거될 수 있다.
활주로 에지/중간/수평 선들은 임의의 색일 수 있다. 교정은 활주로 에지/수평/중간선들과 활주로 표면 사이에서 대조되어 나타나는 동안 행해질 수 있다. 나아가, 활주로 에지 및 중간선들은 연속될 필요가 없다. 연속된 선들은 보간 인접선들(interpolating adjacent lines)에 의해 얻어질 수 있다.
본 발명의 대안적인 실시예들은, 활주로의 동일한 세그먼트(segment)를 다루기(cover) 위해서 감시 카메라들 쌍을 사용하여 스테레오 비전(stereo vision)을 선택적으로 또는 추가적으로 사용할 수 있다. 스테레오 비전을 사용하는 경우, FOD 범위 및 위치는, 활주로의 감시(유효 시야) 영역 상의 동일 영역을 다루는 2 개의 카메라에 의해 캡쳐됨에 따라서, 2 개의 이미지들을 비교하여 얻어진 서로 다른 이미지로부터 연산될 수도 있다.
국부화된 특징들은 스테레오 이미지 쌍의 각 이미지에서 검출된 후, 상기 이미지들 사이에서 매칭된다. 이로 인해, 부족하지만 시차 벡터들(disparity vectors)(각 이미지에서 보이는 바와 같이 이미지 특징들의 상대 위치를 계측함)의 높은 품질로 설정될 수 있다. 이러한 시차 벡터들로부터, 특징 위치의 2D 및 3D 평가는 연산되고 활주로 표면의 평평한(또는 적어도 매끄러운) 모델과 비교될 수 있다. 대안적으로, 이미지들은 더 변할 수 있는 품질의 시차 벡터의 밀도 설정을 제공하는 픽셀 레벨로 등록될 수 있다.
스테레오 이미징의 도전 중 하나는 범위 계산에서 사용된 2 개의 이미지들의 대응 픽셀의 판별이다. 사용된 픽셀 대응 기술들은 상관하는 오퍼레이터, 제약에 관한 심볼 매칭 및 이 기술들의 조합에 걸쳐 사용될 수 있다.
예를 들면, 스테레오 카메라들의 설정에 의해 얻어진 2 개의 이미지들(이미지 1, 이미지 2) 사이의 픽셀들을 상관하기 위해 필요한 경우, 상호 관계는 이미지 1 에서의 주어진 지점 P1에 대해 가정된 것에 기초하고, P1에 대응하는 지점 P2 에서의 이미지 2의 고정된 영역이 발견되어야 한다. 이 영역의 크기는 카메라 보정 처리로부터 얻어진 카메라 셋업에 속하는 파라미터들에 의해 판별된다. 심볼 매칭은 다른 이미지의 특징을 매칭시키는 하나의 이미지의 특징에 대한 해당 검색을 판별하기 위해 접근한다. 사용된 전형적인 특징은 접합들(junctions), 선 세그먼트들 또는 영역들이다. 해당 접합들은 지점의 작은 세트에서만 공지된 깊이를 가진 스파스 깊이 맵(sparse depth map)을 생성한다. 해당 선 세그먼트들은 그들의 말단 점에 사이에서 대응되게 할 수 있다.
본 발명의 대안적인 실시예는 감시 카메라들의 여분의 적용 범위를 제공한다. 도 5는 활주로 상의 FOD를 검출하기 위해 감시 시스템(600)의 감시 카메라들의 여분의 적용 범위를 제시하는 개략적인 도면이다. 감시 카메라들(601, 603, 605, 607, 609)는 유도로(104)의 하나의 에지 상에 위치된다. 모든 감시 카메라들(601, 603, 605, 607, 609)이 정상적으로 기능하는 경우에서, 각 감시 카메라(601, 603, 605, 607, 609)의 적용 범위의 각도(시야 각)(611)는 보통 동일하게 남아 있는다. 카메라(603)가 결점이 있고 충분한 경우에서, 여분의 카메라(603)에 인접한 감시 카메라들(601 및 605) 각각의 적용 범위(시야 각)(611)의 보통 각도는 여분의 카메라(603)의 유효 시야를 향해 613으로 연장된다. 이 방식으로, 감시 시스템(600)은, 하나 이상의 카메라가 기능을 못하는 경우에도 작업하기 위해 동작될 수 있다. 예를 들면, 카메라의 적용 범위 유효 시야(시야 각)는, 카메라의 줌 또는 PTZ 기능을 원격으로 제어하는 어플리케이션 컴퓨터 시스템을 사용하여, 오퍼레이터에 의해, 원격으로 수동적으로 조정될 수 있거나 실행될 수 있다. 조정은 어플리케이션 컴퓨터 시스템에 의해 자동적으로도 실행될 수 있다. 예를 들면, 줌 기능을 가진 카메라 또는 팬 틸트 줌(pan tilt zoom, PTZ) 카메라는 적용 범위의 유효 시야(시야 각)을 변경시키기 위해 사용될 수 있다.
도 6은 대안적인 실시예에 따른 활주로 표면 스캐닝(scanning)을 제시하는 개략적인 도면이다.
감시 하에 있는 활주로 표면 영역(700)은 활주로 표면(700) 상의 작은 영역을 다루는 수많은 세그먼트들(702)로 분할된다. 전체 활주로 표면(700)은 수평 시야각(711)을 가진 유효 시야를 다룰 수 있는 하나 이상의 비-정지 카메라(708)를 사용하여, 새그먼트 단위로(segment-by-segment) 스캔된다. 비-정지 카메라의 일례는 팬 틸트 줌(PTZ) 카메라이다. PTZ 카메라의 팬 틸트 줌 기능은 어플리케이션 컴퓨터 시스템 또는 카메라 제어기에 의해 원격으로 제어된다. 활주로 표면 영역(700)은 하나 이상의 비-정지 카메라의 사용에 의해 길이 방향(703)을 따라 하나의 말단(710)에서부터 또 다른 말단(720)까지 순차적으로 스캔된다.
대안적인 실시예에 따른 활주로 표면 스캐닝은 어플리케이션 컴퓨터 시스템 또는 카메라 제어기에 의해 제어된다. FOD가 스캐닝 주기의 끝에 가까운 세그먼트에서 위치될 경우, 활주로 스캐닝의 상기 방법의 도전은 특히나 긴 FOD 검출 시간이다. 활주로 스캐닝 주시 시간 속도를 높이기 위해서, 대안적인 방법은 1 개 또는 심지어 2 개의 세그먼트들을 건너뛰고, 즉, 2 개 또는 심지어 3 개 세그먼트들마다 한 세그먼트를 스캔한다. 다음 스캐닝 주기 동안, 이전에 스캔되지 않은 세그먼트들은 스캔되면서, 이전 주기 동안 스캔된 것은 이 주기에서 스캔되지 않는다. 활주로 스캐닝 방법에서의 트레이드-오프(trade-off)는 활주로 표면에서 스캔되지 않은 세그먼트들에서 일어날 수 있는 FOD 검출하기 위한 긴 시간 검출(long detection)이다.
활주로 상의 FOD가 항공기의 이륙 및 랜딩에 의해 주로 일어나고, 대안적인 실시예에서 FOD 검출을 감소시키는 또 다른 방법은 비-정지 또는 정지 감시 카메라들의 조합을 사용하는 것이다. 정지 카메라는 바람직하게 활주로의 주요 섹션을 다루기 위해 충분한 유효 시야(넓은 시야각)를 가진다. 정지 감시 카메라에 의해 캡쳐된 이미지를 실시간으로 처리함으로써, 어플리케이션 컴퓨터 시스템은 활주로로의 항공기의 이륙 및 랜딩의 발생 및 로케이션을 검출할 수 있다. 그 후, 비-정치 감시 카메라는 활주로의 특정 로케이션들을 다루는 이러한 세크먼트들을 먼저 스캔하도록 어플리케이션 컴퓨터 시스템에 의해 지시될 수 있고, 이때 상기 활주로는 항공기 랜딩 또는 이륙이 막 일어난 상태이다. 이 방법은 FOD 검출 시간을 감소시키는데 조력할 수 있다.
정지 감시 카메라가 FOD를 검출하는 경우, 타워실 또는 제어실의 어플리케이션 컴퓨터 시스템은 정지 카메라에 의해 캡쳐된 장면 이미지들에 근거하여 활주로 상의 검출된 FOD의 위치 및 범위를 판별한다. 활주로 표면 상의 검출된 FOD의 위치 및 범위의 판별은 활주로의 보정된 장면 이미지를 가진 단안시(monoscopic vision)를 사용하여 이루게 된다. 예를 들면, 보정된 활주로 장면 이미지에서 각 픽셀은 현실-세계 좌표 프레임(WGS 84 또는 항공 그리드 데이텀에 기초할 수 있음)의 정확한 좌표로 맵핑된다. 대안적으로, 대상물 위치 및 범위 기술들에 근거한 입체시(stereoscopic vision)가 사용될 수도 있다.
정지 감시 카메라(단안 또는 입체)에 의해 검출된 바와 같이, FOD의 범위 및 로케이션에 관한 정보는 비-정지 카메라(예를 들면, 패닝 카메라(panning camera) 또는 팬 틸트 줌(PTZ) 카메라 또는 줌 카메라)을 자동적으로 제어하기 위해 시스템에 의해 이용되어, 활주로에 있는 관심 영역 또는 FOD로 팬(회전) 및/또는 틸트(기움) 줌하기 위해서, 및/또는 초점을 잡게 하고, 그리고 검출된 FOD의 존재를 확인하기 위해 또는 잘못된 알람을 필터하기 위해 충분한 항목을 가진 관심 영역 또는 FOD의 비디오 표시 상의 망원사진 이미지들을 얻게 한다. 이러한 망원사진 이미지들은 검출된 FOD의 특징 및 분류를 정확하게 하기 위해 사용될 수도 있다. 대상물 길이, 높이, 면적, 주변, 직물, 색채 속성들을 포함한 정확한 대상물 특징들은 사전에 트레인된 대상물 분류자(pre-trained object classifier)로의 입력으로서 사용될 수 있는 이러한 망원사진 이미지들로부터 추출될 수 있다.
본 발명의 대안적인 실시예들은 비에 의해 혼란스러운 배경을 필터시키는 것을 제공할 수 있다. 전형적으로, 빗방울 산란 현상(rain clutter)은 활주로 상에 국부화된 영역에서만 일어날 뿐만 아니라, 전체 활주로에 걸쳐 일어난다. 비가 활주로 표면을 칠 경우, 튀김과 같은 특정 특성을 가진 활주로 장면 이미지에서 튀기는 동작을 일으킬 수도 있다. 이로써, 빗방울 산란 현상을 필터로 제거하는 방법은 전체 활주로에 걸쳐 일어나는 비와 같은 특성을 가진 활주로 장면에서 튀기는 동작을 검출 및 인지하는 것이다. 빗방울 산란 현상이 정지되지 않고 프레임들 사이에서 변화되기 때문에, 일시적인 필터링은 빗방울 산란 현상을 필터하기 위해 사용될 수도 있다. 이로써, 전체 활주로에 걸쳐 일어날 수 있는 특성과 같은 비로의 동작 클러터(motion clutter)는, 빗방울 산란 현상으로서 필터될 것이다. 상기의 원리는 대안적인 실시예에서의 눈에 의해 혼란스러운 배경을 필터하는 것에도 적용할 수도 있다. 이로써, 전체 활주로에 걸쳐 일어날 수 있는 특성과 같은 눈으로의 동작 클러터는 일시적인 필터링을 사용하여 눈 산란 현상으로서 필터될 것이다.
본 발명이 일례의 실시예들에서, 감시 카메라들로부터 얻어진 기준 배경 이미지들은 조명 변화, 클러터를 회복시키는 시스템을 구현하기 위해 잘못된 알람들을 감소시키기 위해 에지 검출 기술들을 사용하여 미리 처리된다.
에지 향상 및 검출 기술들은 활주로 특징의 에지들을 확인하기 위해 사용된다. 이미지의 에지는 픽셀 속성들이 갑자기 변화되는 윤곽이다. 에지 개선 및 검출은 백그라운드 감산 및/또는 학습에 근거한 전경 픽셀(foreground pixel) 확인을 위한 조명 변화들 회복시켜 개선시키기 위해 사용된다.
상기에서 설명된 본 발명의 실시예는 하기의 특징 중 하나 이상을 가질 수 있다.
- 활주로에 평행한 방향에서 높은 증감 변화도(gradient change)을 갖는 특성을 향상시키기 위해, 고역 필터(high pass filter)(예를 들어, 소벨 X(sobel X)의 왼쪽부터 오른쪽까지의 필터, 소벨 X의 오른쪽부터 왼쪽까지의 필터, 또는 샤르 X(Scharr X) 필터)를 사용함으로써 활주로 이미지의 이미지 향상.
- FOD 에지 추출 임계의 최적의 평가. 상기 평가는 상이한 주변 환경의 조건(예를 들어, 비, 빛 반사, 밤 시간 등...)에 적응성 있고, 적응성 있는 화소 수준의 에지 맵 추출에 대한 화소 수준의 임계 맵을 발생시키는 데에 사용되는 그레이스케일의 룩업 테이블((grayscale lookup table, LUT)을 결정하기 위해 점진적으로 학습된 배경 에지 맵을 기초로 하여 통계적인 방법을 사용한다.
- 소음을 감소시키는 에지 맵의 스택을 사용함으로써 강력한 에지를 유지하기 위해 화소 수준으로 적용된 임시적인 필터링. 임계를 초과하는 화소들만이 강력한 에지 화소로 분류될 수 있을 것이고, 남아있는 화소는 상기 에지 맵을 위해 사용되지는 않을 것이다.
- 이러한 특성들이 잘못된 알람(alarm)을 발생시키지 않고 배경으로 합성될 수 있도록 활주로 상의 늦은 특성 변화 과정을 캡쳐하기 위해, 현재의 에지 이미지를 이전의 즉각적인 배경 이미지와 비교하는 적응성 있는 배경 학습.
- 적응성 있는 배경 에지 맵 및 이전에 학습된 배경 맵 및 선택적으로 계절적인 표지(marking)(특정 계절 또는 눈과 같은 날씨 상태에 대해 발생됨)로 이루어진 합성의 배경 에지 맵.
- 에지 맵과 합성의 배경 맵을 비교함으로써 의심이 되는 에지 맵의 발생.
- 갑작스런 환경 변화, 예를 들어 비 또는 다른 날씨 상태 때문에 발생하는 반사일 수 있는 일부 에지를 걸러내기 위한 에지 필터링(edge filtering).
- 비정상적인 빛 조건을 결정하기 위해 점진적으로 업데이트된 이미지를 비교하기 위해 전역 히스토그램(global histogram)을 사용함으로써, 밤 시간 동안에 비정상적인 빛의 감지(예를 들어, 항공기의 착륙, 항공기의 이륙, 지상의 운송 수단의 이동 등...)로 활주로 상의 FOD 감지.
- 보조적인 조명(예를 들어, 레이저 또는 적외선 조명)의 설치를 필요로 하지 않고 활주로 상에서 FOD를 감지하는 낮/밤의 감시.
- 모든 이질적인 물체가 활주로 상에서 정확하게 감지되고, 확인되고, 그리고 위치가 파악되는 것을 확증하기 위해, 자동화되고, 컴퓨터-보조적이고, 그리고/또는 손으로 줌-인(zoom-in) 보기 능력으로 활주로의 이미지를 캡쳐하는 이미지 수단.
- 어둡거나 낮은 조명 조건에서 보조적인 조명(예를 들어, 레이저 또는 적외선 조명)의 설치를 필요로하지 않은, 본질적으로 수동임.
- 낮 및 밤 동안에 컬러 이미지.
- FOD를 감지하고, 위치를 파악하거나 확인하기 위해 컴퓨터 영상 처리 기술을 사용하는 감시 카메라의 네트워크로부터 수득되는 비디오 및/또는 사진 이미지를 처리하는 것.
- 카메라는, 존재하는 시스템과 비교할 때 예시적인 실시예에서 적응성 있는 이미지 처리를 사용한 향상된 이미지 처리 때문에 상기 활주로로부터 더 먼 거리에 전략적으로 배치되고, 사용된 카메라의 수를 감소시키고, 존재하는 기본적인 시설과의 "인터페이스(interface)"를 감소시키고, 그리고/또는 상기 활주로 주위의 장애물을 감소시킬 수 있다.
예시적인 실시예의 방법 및 시스템은 도 8에서 도식적으로 나타낸 컴퓨터 시스템(900) 상에서 수행될 수 있다. 이는, 상기 컴퓨터 시스템(900) 내에서 실행되고 상기 컴퓨터 시스템(900)이 예시적인 실시예의 방법을 수행하도록 지시하는 컴퓨터 프로그램과 같은 소프트 웨어로 수행될 수 있다.
컴퓨터 시스템(900)은 컴퓨터 모듈(902), 입력 모듈(예를 들어, 키보드(904) 및 마우스(906)) 및 복수의 출력 장치(예를 들어, 디스플레이(908) 및 프린터(910))를 포함한다.
컴퓨터 모듈(902)은, 예를 들어 로컬 영역 네트워크(LAN) 또는 광대역 네트워크(WAN)과 같은 네트워크 시스템에 접근가능하도록 적당한 송수신 장치(914)를 통해 컴퓨터 네트워크(912)에 연결된다.
본 예에서의 컴퓨터 모듈(902)은 프로세서(918), 랜덤 액세스 메모리(RAM, 920)) 및 판독 전용 메모리(ROM, 922)을 포함한다. 상기 컴퓨터 모듈(902)은, 다수의 입력/출력(I/O) 인터페이스(interface), 예를 들어 디스플레이(908)에 대한 I/O 인터페이스(924) 및 키보드(904)에 대한 I/O 인터페이스(926)를 또한 포함한다.
컴퓨터 모듈(902)의 구성요소는 상호연결된 버스(bus)(928) 및 당해 기술분야에서 평균적 지식을 가진 자에게 공지된 방법을 통해 일반적으로 통신한다.
적용 프로그램은, CD-ROM 또는 플래시 메모리(flash memory)와 같은 데이터 저장 매체 상에서 인코딩되고 데이터 저장 장치(930)의 상응하는 데이터 저장 매체 드라이브(drive)를 이용하여 판독하는 컴퓨터 시스템(900)의 사용자에게 일반적으로 공급된다.
본 발명은 상기와 같은 실시예에 제한되지 않는다. 그러나, 당해 기술분야에서 평균적 지식을 가진 자는, 본 발명의 사상으로부터 출발하지 않고 본원에서 포함된 정보에 비추어서 본 발명이 변경되어 실시될 수 있다는 것을 인식할 것이다.

Claims (32)

  1. 활주로(runway) 상의 이질적인 물체, 파편, 또는 손상(FOD)을 감지하는 감시 시스템에 있어서, 상기 감시 시스템은,
    상기 활주로의 이미지를 캡쳐(capture)하는 하나 이상의 카메라; 및
    상기 카메라에 의해 캡쳐된 이미지의 적응성 있는 이미지 처리에 기초하여 활주로 상의 FOD를 감지하는 이미지 처리 시스템을 포함하고,
    상기 감시 시스템은 적외선 또는 레이저 조명과 같은 보조적인 조명이 없이 낮과 밤 둘 모두의 주변 빛의 조건 하에서 FOD 감지를 위해 적응성 있게 작동가능한 것을 특징으로 하는 감시 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 처리 시스템은, 상기 캡쳐된 이미지를 향상하기 위해 이미지 향상 방법을 적용한 것을 특징으로 하는 감시 시스템.
  3. 제 2 항에 있어서,
    상기 캡쳐된 이미지를 향상시키는 수단은, 상기 캡쳐된 이미지에 대해 고역 필터(high pass filter), 소벨 X(sobel X)의 왼쪽부터 오른쪽까지의 필터 및 소벨 X의 오른쪽부터 왼쪽까지의 필터, 또는 샤르 X(Scharr X) 필터를 포함하는 것을 특징으로 하는 감시 시스템.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 이미지 처리 시스템은,
    즉각적인 처리가 낮-시간 또는 밤-시간인지를 결정하고; 그리고
    밤-시간 동안에 상기 캡쳐된 이미지로부터, 예를 들어, 항공기 착륙, 항공기 이륙, 또는 지상 운송 수단 때문에 발생하는 비정상적인 빛의 조건을 감지하는 것을 특징으로 하는 감시 시스템.
  5. 제 4 항에 있어서,
    상기 비정상적인 빛의 조건을 감지하는 것은, 하나 이상의 이전의 이미지와 각각의 이미지를 비교하고 임계값(threshold value)에 대한 기준값으로 강도에서의 변화를 기초로 하여 비정상적인 빛의 조건을 확인하기 위해, 전역 히스토그램(global histogram) 및 통계적인 분석을 포함하는 것을 특징으로 하는 감시 시스템.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 비정상적인 빛의 조건이 감지되는 경우에 대한 이미지는 추가적인 처리로부터 무시되는 것을 특징으로 하는 감시 시스템.
  7. 제 2 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 이미지 처리 시스템은,
    상이한 주변의 조건에 대해 최적의 FOD 에지 추출(edge extraction)에 대한 하나 이상의 임계값을 적응성 있게 평가하고;
    화소 수준의 임계 맵(threshold map)을 발생시키는 데에 사용되는 그레이스케일의 룩업-테이블(lookup table, LUT)을 결정하기 위해, 점진적으로 학습된 배경 이미지의 에지 맵(edge map)을 기초로 하는 통계적인 방법을 사용하여 화소 수준의 에지 맵을 발생시키는 것을 특징으로 하는 감시 시스템.
  8. 제 7 항에 있어서,
    상기 이미지 처리 시스템은, 임계를 지나가도록 축적된 화소만으로 이루어진 강력한 에지 맵만을 유지하기 위해 임시적인 필터링(filtering)를 화소 수준의 에지 맵의 스택(stack)에 더 적용하는 것을 특징으로 하는 감시 시스템.
  9. 제 8 항에 있어서,
    상기 이미지 처리 시스템은 적응성 있는 배경 학습에 대한 강력한 에지 맵을 추가적인 대상으로 하고,
    상기 적응성 있는 배경 학습은,
    이전에 즉각적으로 수득된 배경 에지 이미지를 현재의 이미지와 비교하고;
    상기 활주로 상에서 늦은-변화의 특징을 확인하고; 및
    상기 배경 에지 이미지를 상기 늦은 변화의 특징으로 업데이트하는 것을 특징으로 하는 감시 시스템.
  10. 제 9 항에 있어서,
    상기 이미지 처리 시스템은, 적응성 있는 배경 에지 맵, 이전에 학습되고 저장된 낮 또는 밤의 배경 에지 맵, 및 특정 계절 또는 날씨 상태에 대해 발생되는 계절적으로 특징있는 맵을 포함하는 합성의 배경 에지 맵을 더 발생시키는 것을 특징으로 하는 감시 시스템.
  11. 제 10 항에 있어서,
    상기 이미지 처리 시스템은,
    상기 합성의 배경 에지 맵과 상기 강력한 에지 맵을 더 비교하고; 및
    FOD로 의심되는 에지 맵을 추출하기 위해 배경 에지를 제거하는 것을 특징으로 하는 감시 시스템.
  12. 제 11 항에 있어서,
    상기 이미지 처리 시스템은,
    주변의 변화에 관련된 원하지 않은 에지를 상기 의심되는 에지 맵으로부터 걸러내기 위해 에지 필터링을 더 수행하고,
    상기 의심되는 에지 맵으로부터 FOD의 에지 파라미터를 산정(compute)하는 것을 특징으로 하는 감시 시스템.
  13. 제 12 항에 있어서,
    상기 주변의 조건은 낮에서 밤으로의 변화, 또는 밤에서 낮으로의 변화, 날씨 상태, 비, 안개, 구름 등을 포함하는 것을 특징으로 하는 감시 시스템.
  14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 이미지 처리는, FOD를 감지하는 통제 타워(control tower) 또는 통제실에서 작업자에게 경보를 알리기 위해, 활주로 중 의심되는 영역 상에서 FOD 그래픽을 비디오 디스플레이 상에 더 오버레이(overlay)하는 것을 특징으로 하는 감시 시스템.
  15. 제 14 항에 있어서,
    하나 이상의 상기 카메라, 또는 하나 이상의 추가적인 카메라가, 시각적인 확인을 위해 상기 의심되는 영역에 대해 확대(zooming) 하도록 배치되는 것을 특징으로 하는 감시 시스템.
  16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 이미지 처리 시스템은 상기 FOD를 더 분류하는 것을 특징으로 하는 감시 시스템.
  17. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 하나 이상의 카메라는 하나 이상의 고정식 카메라, 하나 이상의 비-고정식(non-static) 카메라, 또는 고정식 카메라와 비-고정식 카메라 둘 모두의 조합을 포함하는 것을 특징으로 하는 감시 시스템.
  18. 제 1 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 카메라는 상기 활주로의 일 측면상에 위치되는 것을 특징으로 하는 감시 시스템.
  19. 제 1 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 카메라는 엇갈린 방식으로 상기 활주로의 어느 한쪽의 측면상에 위치되는 것을 특징으로 하는 감시 시스템.
  20. 제 1 항 내지 제 19 항 중 어느 한 항에 있어서,
    하나 이상의 카메라가 기능을 하지 못하는 경우에, 각각의 인접한 카메라가 상기 기능을 하지 못하는 카메라에 의해 커버(cover)되는 영역을 커버하도록 작동될 수 있는 것을 특징으로 하는 감시 시스템.
  21. 제 1 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 하나 이상의 카메라는 하나 이상의 단색(monochrome) 카메라, 하나 이상의 컬러 카메라 또는 둘 모두를 포함하는 것을 특징으로 하는 감시 시스템.
  22. 제 1 항 내지 제 21 항 중 어느 한 항에 있어서,
    하나 이상의 야간 투시 카메라를 더 포함하는 것을 특징으로 하는 감시 시스템.
  23. 제 1 항 내지 제 22 항 중 어느 한 항에 있어서,
    활주로 표면은 복수의 구획으로 분할되고,
    하나 이상의 비-고정식 카메라는 FOD 감지를 위해 상기 활주로의 구획마다 연속적으로 스캔하는 것을 특징으로 하는 감시 시스템.
  24. 제 1 항 내지 제 23 항 중 어느 한 항에 있어서,
    고정식 카메라는 활주로 상에서 항공기가 이륙 및 착륙하는 각각의 위치를 감지하여, 비-고정식 카메라가 FOD 감지 시간을 줄이기 위해 항공기가 착륙 또는 이륙하는 각각의 위치에서 최초로 스캔하는 활주로의 구획으로 이동하는 것을 특징으로 하는 감시 시스템.
  25. 제 1 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 이미지 처리 시스템은,
    전체 활주로에 걸쳐서 발생하는 비(rain) 때문에, 비 모션 클러터(rain motion clutter)의 비와-같은 특성 및 상기 모션 클러터를 기초로 한 비와-같은 특성을 인식함으로써, 활주로의 현장 이미지에서 비 클러터(rain clutter)를 걸러내기 위해 임시적인 필터링을 적용하는 것을 특징으로 하는 감시 시스템.
  26. 제 1 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 이미지 처리 시스템은,
    전체 활주로에 걸쳐서 발생하는 눈(snow) 때문에, 눈 모션 클러터(snow motion clutter)의 눈과-같은 특성 및 상기 모션 클러터를 기초로 한 눈과-같은 특성을 인식함으로써, 활주로의 현장 이미지에서 눈 클러터(rain clutter)를 걸러내기 위해 임시적인 필터링을 적용하는 것을 특징으로 하는 감시 시스템.
  27. 제 1 항 내지 제 26 항 중 어느 한 항에 있어서,
    상기 이미지 처리 시스템은,
    실제-세계의 좌표 프레임(co-ordinate frame)(예를 들어, WGS84 또는 공학의 격자 지도) 상에서 상세한 좌표에 대한 활주로 상의 이미지 상에 화소를 맵핑(mapping)하는 활주로 현장의 교정(calibration)을 위해, 상기 활주로 상의 세로 방향(가로 방향)에 따라 위치되고, 상기 활주로의 측면으로부터 동일한 수직 거리 상에 위치되는 표지 또는 활주로 에지 빛을 사용하는 것을 특징으로 하는 감시 시스템.
  28. 제 1 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 이미지 처리 시스템은,
    실제-세계의 좌표 프레임(co-ordinate frame)(예를 들어, WGS84 또는 공학의 격자 지도) 상에서 상세한 좌표에 대한 활주로 상의 이미지 상에 화소를 맵핑(mapping)하는 활주로 현장의 교정(calibration)을 위해, 활주로의 중간 라인의 각각의 측면 상에 2개의 평행하고 수직인 활주로 라인 및 2개의 수직인 화소 맵핑 비율을 유도하는 상기 활주로의 중간 라인을 사용하는 것을 특징으로 하는 감시 시스템.
  29. 제 1 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 이미지 처리 시스템은, 상기 활주로 상에서 상기 FOD의 위치 및 범위를 결정하기 위해, 단안시(monoscopic vision) 및 단안시 카메라에 의해 캡쳐되고 교정된 활주로의 현장 이미지를 사용하는 것을 특징으로 하는 감시 시스템.
  30. 제 1 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 시스템은, 감지된 FOD의 확인을 가능하게 하거나 잘못된 알람을 걸러내기에 충분히 상세한 FOD의 망원 이미지(telephoto image)를 수득하기 위해, 고정식 카메라에 의해 결정되는 FOD 위치 및 범위, 그리고 FOD 상으로 팬(pan), 틸트(tilt), 줌(zoom), 및/또는 초점화(focus)되는 비-고정식 카메라(예를 들어, 팬 틸트 줌 카메라)를 자동적으로 조절하여 교정된 활주로의 현장 이미지를 사용하는 것을 특징으로 하는 감시 시스템.
  31. 제 1 항 내지 제 30 항 중 어느 한 항에 있어서,
    상기 시스템은 상기 활주로의 동일한 구획을 커버하기 위해 한쌍의 감시 카메라를 사용하는 스테레오 비젼(stereo vision)을 사용하여, FOD 범위 및 위치는 상기 활주로 상의 동일한 감시 영역(시야(field of view))을 커버하는 2개의 카메라에 의해 캡쳐된 2개의 이미지를 비교함으로써 수득되는 상이한 이미지로부터 계산될 수 있는 것을 특징으로 하는 감시 시스템.
  32. 활주로(runway) 상의 이질적인 물체, 파편, 또는 손상(FOD)을 감지하는 감시 방법에 있어서, 상기 방법은
    상기 활주로의 이미지를 캡쳐(capture)하는 단계; 및
    상기 활주로 상의 FOD를 감지하기 위해 캡쳐된 이미지의 적응성 있는 이미지 처리를 수행하는 단계를 포함하고,
    상기 방법은 적외선 또는 레이저 조명과 같은 보조적인 조명이 없이 낮과 밤 둘 모두의 주변 빛의 조건 하에서 FOD 감지를 위해 적응성 있게 작동가능한 것을 특징으로 하는 방법.
KR1020107006484A 2007-08-24 2008-08-25 활주로 감시 시스템 및 방법 KR101613740B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG2007062128 2007-08-24
SG200706212-8 2007-08-24

Publications (2)

Publication Number Publication Date
KR20100069655A true KR20100069655A (ko) 2010-06-24
KR101613740B1 KR101613740B1 (ko) 2016-04-19

Family

ID=54070630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107006484A KR101613740B1 (ko) 2007-08-24 2008-08-25 활주로 감시 시스템 및 방법

Country Status (11)

Country Link
US (1) US9483952B2 (ko)
EP (1) EP2186059A4 (ko)
JP (1) JP5551595B2 (ko)
KR (1) KR101613740B1 (ko)
CN (1) CN101918980B (ko)
BR (1) BRPI0817039A2 (ko)
IL (1) IL204153A (ko)
MX (1) MX2010002166A (ko)
MY (1) MY160146A (ko)
RU (1) RU2523167C2 (ko)
WO (1) WO2009029051A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101476785B1 (ko) * 2013-09-26 2014-12-26 삼성중공업 주식회사 헬리데크의 사각 모니터링 시스템
KR101494775B1 (ko) * 2013-03-20 2015-02-23 국방과학연구소 표적감지장치
KR101533905B1 (ko) * 2011-02-21 2015-07-03 스트라테크 시스템즈 리미티드 비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법
KR101627436B1 (ko) * 2014-12-26 2016-06-07 한국공항공사 계기착륙시설 종합관리시스템 및 계기착륙시설 종합관리시스템 운용 방법
KR101687710B1 (ko) * 2015-09-10 2016-12-19 한국원자력연구원 이물질 탐지 장치 및 그 방법
KR20180102964A (ko) * 2017-03-08 2018-09-18 주식회사유넷컨버전스 활주로 감시 카메라의 작동 오차 보정 방법

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0817039A2 (pt) * 2007-08-24 2015-07-21 Stratech Systems Ltd Sistema e método de vigilância de pista de pouso e decolagem
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
JP2010206475A (ja) * 2009-03-03 2010-09-16 Fujitsu Ltd 監視支援装置、その方法、及びプログラム
WO2010108301A1 (zh) * 2009-03-27 2010-09-30 Yu Qifeng 飞机着陆与无人机回收的地基摄像测量引导方法
ES2365081B1 (es) * 2010-03-08 2012-08-07 Idom, S.A.U. Sistema de deteccion e identificacion de obstaculos en entorno aeroportuario
US8558889B2 (en) 2010-04-26 2013-10-15 Sensormatic Electronics, LLC Method and system for security system tampering detection
CN101852869A (zh) * 2010-05-18 2010-10-06 中国民航大学 机场跑道外来物检测系统
US8362948B2 (en) * 2010-08-13 2013-01-29 Trex Enterprises Corp Long range millimeter wave surface imaging radar system
AU2011292257B2 (en) * 2010-08-16 2014-07-10 Siemens Healthcare Diagnostics Inc. Method and device for optical alert recognition
US9171075B2 (en) * 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US9615064B2 (en) 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
US9049447B2 (en) 2010-12-30 2015-06-02 Pelco, Inc. Video coding
CN102117505B (zh) * 2011-01-14 2012-07-25 厦门青年网络通讯股份有限公司 一种远程统计小物体的方法及其装置
CN102156481B (zh) * 2011-01-24 2013-06-05 广州嘉崎智能科技有限公司 无人飞行器的智能追踪控制方法及系统
CN102253381B (zh) * 2011-04-20 2012-11-28 上海交通大学 用于机场跑道的异物自动检测系统及其检测方法
JP2012251900A (ja) * 2011-06-03 2012-12-20 Ihi Corp 残置物検出方法及び装置
CN102328751A (zh) * 2011-08-04 2012-01-25 南京航空航天大学 一种用于辅助机场跑道巡视检查的系统
CN102590883A (zh) * 2011-09-30 2012-07-18 长春奥普光电技术股份有限公司 机场道面异物扫描装置
CN102510482A (zh) * 2011-11-29 2012-06-20 蔡棽 一种提高能见度和可视距离的图像拼接重建及全局监控方法
US8868265B2 (en) 2011-11-30 2014-10-21 Honeywell International Inc. System and method for aligning aircraft and runway headings during takeoff roll
US8395662B1 (en) * 2011-12-05 2013-03-12 Adel Jumah Alabdeen Aviation emergency response system
KR101251350B1 (ko) 2011-12-13 2013-04-05 아시아나아이디티 주식회사 열 감지를 이용한 ｆｏｄ 감시 시스템
CN102540263A (zh) * 2011-12-28 2012-07-04 成都芯通科技股份有限公司 一种解决航空跑道安全的方法
US9165366B2 (en) 2012-01-19 2015-10-20 Honeywell International Inc. System and method for detecting and displaying airport approach lights
EP2852831A4 (en) * 2012-05-23 2016-04-20 Raqib Omer METHOD AND SYSTEM FOR CLASSIFYING ROLLING SURFACE CONDITIONS
WO2014033643A1 (en) * 2012-08-31 2014-03-06 Systèmes Pavemetrics Inc. Method and apparatus for detection of foreign object debris
KR101228072B1 (ko) 2012-11-08 2013-02-07 한국공항공사 데이터 녹화／재생 시스템 및 방법
WO2014170895A1 (en) * 2013-04-15 2014-10-23 Xsight Systems Ltd. Contaminant detection and bird risk management at airports
CN103489179B (zh) * 2013-08-29 2016-08-10 中国科学院长春光学精密机械与物理研究所 机场跑道异物检测中去除水泥裂缝干扰的方法
CN103576159B (zh) * 2013-11-14 2016-01-20 中国民用航空总局第二研究所 一种基于激光扫描技术的跑道路面检测装置及方法
RU2545156C1 (ru) * 2014-06-09 2015-03-27 Сергей Михайлович Мужичек Способ автоматизированного предполетного контроля летательного аппарата
EP3026653A1 (en) 2014-11-27 2016-06-01 Kapsch TrafficCom AB Method of controlling a traffic surveillance system
EP3026652A1 (en) * 2014-11-27 2016-06-01 Kapsch TrafficCom AB Double stereoscopic sensor
RU2584790C1 (ru) * 2014-12-18 2016-05-20 Александр Юрьевич Цыбров Способ организации движения транспортных средств
CN104679873A (zh) * 2015-03-09 2015-06-03 深圳市道通智能航空技术有限公司 一种飞行器追踪方法和系统
RU2595532C1 (ru) * 2015-03-11 2016-08-27 Федеральное государственное унитарное предприятие федеральный научно-производственный центр "Производственное объединение "Старт" им. М.В. Проценко" (ФГУП ФНПЦ ПО "Старт" им. М.В. Проценко") Радиолокационная система охраны территорий с малокадровой системой видеонаблюдения и оптимальной численностью сил охраны
CN104881650A (zh) * 2015-05-29 2015-09-02 成都通甲优博科技有限责任公司 一种基于无人机动平台的车辆跟踪方法
CN105005089A (zh) * 2015-06-08 2015-10-28 上海交通大学 基于计算机视觉的机场道面异物探测系统与方法
CN105425317A (zh) * 2015-11-09 2016-03-23 河南平原光电有限公司 机场fod检测定位光电平台
CN105527656B (zh) * 2015-11-26 2017-10-27 中国民用航空总局第二研究所 塔架式机场跑道异物定位方法
US10202204B1 (en) * 2016-03-25 2019-02-12 AAR Aerospace Consulting, LLC Aircraft-runway total energy measurement, monitoring, managing, safety, and control system and method
RU2650674C2 (ru) * 2016-04-12 2018-04-17 Открытое акционерное общество "Научно-производственное предприятие "Конверсия" Радиолокационный способ определения положения средней линии взлетно-посадочной полосы
US11181933B2 (en) * 2016-06-27 2021-11-23 Drone Delivery Canada Corp. Location for unmanned aerial vehicle landing and taking off
US10625879B2 (en) * 2016-06-27 2020-04-21 Drone Delivery Canada Corp. Location for unmanned aerial vehicle landing and taking off
WO2018064408A1 (en) * 2016-09-29 2018-04-05 Flir Systems, Inc. Fail-safe detection using thermal imaging analytics
CN106597556B (zh) * 2016-12-09 2019-01-15 北京无线电计量测试研究所 一种机场跑道异物检测系统背景对消的方法
EP3151164A3 (en) * 2016-12-26 2017-04-12 Argosai Teknoloji Anonim Sirketi A method for foreign object debris detection
US10096256B2 (en) 2017-03-07 2018-10-09 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
JP6970736B2 (ja) * 2017-03-29 2021-11-24 パイオニア株式会社 劣化地物特定装置、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体
CN107341455B (zh) * 2017-06-21 2020-11-03 北京航空航天大学 一种区域多特征的检测方法及检测装置
US20190057715A1 (en) * 2017-08-15 2019-02-21 Pointr Data Inc. Deep neural network of multiple audio streams for location determination and environment monitoring
RU2692269C2 (ru) * 2017-10-13 2019-06-24 Федеральное Государственное унитарное предприятие Государственный научно-исследовательский институт гражданской авиации (ФГУП ГосНИИ ГА) Способ определения уровня транспортной безопасности объектов гражданской авиации РФ
CN107905075A (zh) * 2017-12-04 2018-04-13 中国人民解放军空军工程大学 一种测量弹坑修复范围及道面平整度快速确定方法及装置
CN109982029B (zh) * 2017-12-27 2021-11-16 浙江宇视科技有限公司 一种摄像机监控场景自动调节方法及装置
KR102049433B1 (ko) * 2018-01-19 2020-01-22 주식회사유넷컨버전스 Gps 좌표의 활주로 내 이물질 위치를 공항 그리드 맵에 표시하는 방법
KR20190090119A (ko) 2018-01-24 2019-08-01 주식회사유넷컨버전스 활주로 내 이물질 위치 탐지 정확도 개선 방법
GB2571702B8 (en) * 2018-01-24 2020-12-09 Wave Tech Co Ltd Foreign object debris detection system, foreign object debris detection radar and method of operating a foreign object detection system
CN108665373B (zh) * 2018-05-08 2020-09-18 阿里巴巴集团控股有限公司 一种车辆定损的交互处理方法、装置、处理设备及客户端
JP6738858B2 (ja) * 2018-06-08 2020-08-12 株式会社エヌ・ティ・ティ・データ 情報処理装置、情報処理方法、およびプログラム
TWI691939B (zh) 2018-10-15 2020-04-21 財團法人工業技術研究院 用以監視熱源的雙視角影像裝置及其影像處理方法
CN109409282B (zh) * 2018-10-24 2022-07-08 珠海瑞天安科技发展有限公司 一种机场跑道外来物检测方法及系统
DE102018222597A1 (de) 2018-12-20 2020-06-25 Thyssenkrupp Ag Verfahren zum Erkennen eines Hindernisses auf einem Flugzeugstand
CN109902924B (zh) * 2019-01-22 2023-04-14 中国人民解放军空军工程大学 一种军用机场单跑道训练容量评估方法
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法
CN110274823B (zh) * 2019-06-28 2020-07-24 郑州航空工业管理学院 机场跑道试飞实验装置
KR102302312B1 (ko) 2019-10-31 2021-09-15 한국기술교육대학교 산학협력단 Fod 탐지 모듈이 구비된 이동 로봇 및 이를 이용한 fod 수거 방법
CA3164654A1 (en) * 2019-12-13 2021-06-17 Lindsey Firesense, Llc System and method of debris detection and integrity validation for right-of-way based infrastructure
CN111915848B (zh) * 2020-08-18 2022-09-09 成都森川科技股份有限公司 一种铁路工务防洪减灾监测报警装备
WO2022071892A1 (en) * 2020-10-01 2022-04-07 Chew Rong Jie David A system for detecting the deployment of a landing gear of an aircraft and a method thereof
CN112213695B (zh) * 2020-10-15 2023-04-11 四川大学 一种基于单元平均杂波图的机场跑道异物检测方法
CN112505050A (zh) * 2020-11-12 2021-03-16 中科蓝卓(北京)信息科技有限公司 一种机场跑道异物检测系统及方法
CN112891884A (zh) * 2021-01-18 2021-06-04 北京锐地刚科技有限公司 跑道用光导训练系统
CN113009507A (zh) * 2021-03-07 2021-06-22 航泰众联(北京)科技有限公司 一种基于激光雷达的分布式机场跑道fod监测系统及方法
CN113362656A (zh) * 2021-06-16 2021-09-07 中国民用航空总局第二研究所 一种跑道安全监控方法和系统
US11813990B2 (en) * 2021-07-06 2023-11-14 Robert Bosch Gmbh Vehicle mounted virtual visor system with optimized blocker pattern
CN113506490B (zh) * 2021-07-14 2024-06-21 中国人民解放军空军军医大学 一种黑洞错觉模拟体验装置及模拟方法
CN113673614B (zh) * 2021-08-25 2023-12-12 北京航空航天大学 基于机器视觉的地铁隧道异物入侵检测装置及方法
US11308316B1 (en) * 2021-09-02 2022-04-19 Invision Ai, Inc. Road side vehicle occupancy detection system
CN114360296B (zh) * 2021-12-15 2024-04-09 中国飞行试验研究院 基于地基光电设备的全自动飞机进近降落过程监视方法
CN113985400B (zh) * 2021-12-27 2022-04-19 南京易信同控制设备科技有限公司 一种机场跑道外来异物监测报警系统及其方法
CN114857417A (zh) * 2021-12-31 2022-08-05 中国航空工业集团公司北京航空精密机械研究所 一种用于机场跑道异物监测的伺服旋转平台
CN114719749B (zh) * 2022-04-06 2023-07-14 重庆大学 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN114636417B (zh) * 2022-05-23 2022-09-02 珠海翔翼航空技术有限公司 基于图像识别的飞行器迫降路径规划方法、系统和设备
KR102519745B1 (ko) * 2022-09-15 2023-04-11 주식회사 다리소프트 활주로 상의 파손 부위에 대한 정보를 수집하여 관리하는 파손 정보 관리 시스템 장치 및 그 동작 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4179695A (en) 1978-10-02 1979-12-18 International Telephone And Telegraph Corporation System for identification of aircraft on airport surface pathways
JPH07111734B2 (ja) * 1989-03-30 1995-11-29 本田技研工業株式会社 走行路判別方法
US5375058A (en) * 1991-12-20 1994-12-20 University Of Central Florida Surface detection system for airports
US6064429A (en) * 1997-08-18 2000-05-16 Mcdonnell Douglas Corporation Foreign object video detection and alert system and method
JP2000207693A (ja) 1999-01-08 2000-07-28 Nissan Motor Co Ltd 車載用障害物検出装置
JP3272694B2 (ja) 1999-07-14 2002-04-08 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
JP2001219214A (ja) * 2000-02-04 2001-08-14 Fujikura Ltd 伸線加工用ダイス
RU2262661C2 (ru) * 2000-06-26 2005-10-20 Череповецкий научный координационный центр Российской Академии Наук (ЧНКЦ РАН) Способ обнаружения движущихся транспортных средств
US7148815B2 (en) * 2000-12-22 2006-12-12 Byron Scott Derringer Apparatus and method for detecting objects located on an airport runway
US6563432B1 (en) * 2001-01-12 2003-05-13 Safegate International Ab Aircraft docking system and method with automatic checking of apron and detection of fog or snow
GB2371617A (en) 2001-01-15 2002-07-31 Wayne Jeffrey Forsythe Railway safety system for detecting track obstruction
FR2820867A1 (fr) * 2001-02-09 2002-08-16 Philippe Gouvary Procede automatise de suivi et d'organisation de deplacement de vehicules au sol et d'identification de corps etrangers sur les pistes dans une zone aeroportuaire
GB2372315A (en) 2001-02-20 2002-08-21 Digital Image Res Ltd Determining the track condition in a transport system
JP3850674B2 (ja) 2001-03-21 2006-11-29 株式会社東芝 空港滑走路監視装置
GB0114106D0 (en) 2001-06-11 2001-08-01 Vantage Systems Ltd Inspection system
FR2835314B1 (fr) * 2002-01-25 2004-04-30 Airbus France Procede de guidage d'un aeronef en phase finale d'atterrissage et dispositif correspondant
JP2004009993A (ja) * 2002-06-11 2004-01-15 Toshiba Eng Co Ltd 列車事故回避システム
AU2003242974A1 (en) 2002-07-15 2004-02-02 Magna B.S.P. Ltd. Method and apparatus for implementing multipurpose monitoring system
US6917309B2 (en) * 2002-10-28 2005-07-12 Integritech System Engineering Ltd. Foreign object detection system and method
JP2004219214A (ja) 2003-01-14 2004-08-05 Toshiba Corp 路面検査方法および路面検査装置
JP2008502538A (ja) * 2004-06-11 2008-01-31 ストラテック　システムズ　リミテッド 鉄道軌道スキャニングシステムおよび方法
JP4506308B2 (ja) 2004-07-02 2010-07-21 三菱電機株式会社 画像処理装置及び該画像処理装置を用いた画像監視システム
EP1712931A1 (en) 2005-04-14 2006-10-18 Qinetiq Limited Method and apparatus for detecting a target in a scene
RU61913U1 (ru) * 2005-11-22 2007-03-10 Аркадий Владимирович Хохлов Активный инфракрасный рельсовый детектор посторонних предметов на взлетно-посадочной полосе аэропортов
BRPI0817039A2 (pt) * 2007-08-24 2015-07-21 Stratech Systems Ltd Sistema e método de vigilância de pista de pouso e decolagem
US8022841B2 (en) * 2008-03-31 2011-09-20 Xsight Systems Ltd. System and method for ascription of foreign object debris detected on airport travel surfaces to foreign object sources

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101533905B1 (ko) * 2011-02-21 2015-07-03 스트라테크 시스템즈 리미티드 비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법
KR101494775B1 (ko) * 2013-03-20 2015-02-23 국방과학연구소 표적감지장치
KR101476785B1 (ko) * 2013-09-26 2014-12-26 삼성중공업 주식회사 헬리데크의 사각 모니터링 시스템
KR101627436B1 (ko) * 2014-12-26 2016-06-07 한국공항공사 계기착륙시설 종합관리시스템 및 계기착륙시설 종합관리시스템 운용 방법
KR101687710B1 (ko) * 2015-09-10 2016-12-19 한국원자력연구원 이물질 탐지 장치 및 그 방법
KR20180102964A (ko) * 2017-03-08 2018-09-18 주식회사유넷컨버전스 활주로 감시 카메라의 작동 오차 보정 방법

Also Published As

Publication number Publication date
MY160146A (en) 2017-02-28
WO2009029051A1 (en) 2009-03-05
MX2010002166A (es) 2010-08-02
BRPI0817039A2 (pt) 2015-07-21
US20110063445A1 (en) 2011-03-17
EP2186059A1 (en) 2010-05-19
RU2010107337A (ru) 2011-09-27
US9483952B2 (en) 2016-11-01
EP2186059A4 (en) 2011-11-30
IL204153A (en) 2015-06-30
CN101918980B (zh) 2013-09-11
CN101918980A (zh) 2010-12-15
KR101613740B1 (ko) 2016-04-19
RU2523167C2 (ru) 2014-07-20
JP2010539740A (ja) 2010-12-16
JP5551595B2 (ja) 2014-07-16

Similar Documents

Publication Publication Date Title
KR101613740B1 (ko) 활주로 감시 시스템 및 방법
KR101533905B1 (ko) 비행장 내의 이물질, 파편 또는 손상 검출 감시 시스템 및 방법
US9465987B1 (en) Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms
RU2484531C2 (ru) Устройство обработки видеоинформации системы охранной сигнализации
TWI393074B (zh) 移動物體偵測裝置與方法
EP2821960B1 (en) Method for identification of contamination upon a lens of a stereoscopic camera
KR101364727B1 (ko) 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치
KR101709751B1 (ko) 해변의 입수자에 대한 자동 위험 감시 시스템
KR101464489B1 (ko) 영상 인식 기반의 차량 접근 장애물 감지 방법 및 시스템
CN107369337A (zh) 桥梁主动防船撞监测预警系统及方法
US9047515B2 (en) Method and system for wildfire detection using a visible range camera
CN109471098B (zh) 利用fod雷达相位相干性信息的机场跑道异物检测方法
JP2007234019A (ja) 車両画像領域特定装置およびその方法
CN207517196U (zh) 桥梁主动防船撞监测预警系统
CN111860120A (zh) 车载相机自动遮挡检测方法和装置
US20230360247A1 (en) A system, a detection system for detecting a foreign object on a runway and a method of the system
Hautiere et al. Meteorological conditions processing for vision-based traffic monitoring
KR20210044127A (ko) 영상 분석 기반 가시거리 측정 및 경보 시스템 및 방법
AU2008293060B2 (en) Runway surveillance system and method
Chen et al. Vision-based horizon detection and target tracking for UAVs
AU2008293060A1 (en) Runway surveillance system and method
KR102471542B1 (ko) Cctv 개방정보를 이용한 야간 도로 안개감지 시스템 및 그 감지 방법
Zhu et al. Image de-weathering for road based on physical model
CN113487518A (zh) 隧道内异物的检测方法
Hwang et al. Maritime object segmentation and tracking by using Radar and visual camera integration

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E90F Notification of reason for final refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190611

Year of fee payment: 4