KR20180034213A - 적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법 - Google Patents

적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법 Download PDF

Info

Publication number
KR20180034213A
KR20180034213A KR1020170102978A KR20170102978A KR20180034213A KR 20180034213 A KR20180034213 A KR 20180034213A KR 1020170102978 A KR1020170102978 A KR 1020170102978A KR 20170102978 A KR20170102978 A KR 20170102978A KR 20180034213 A KR20180034213 A KR 20180034213A
Authority
KR
South Korea
Prior art keywords
camera
wing
aircraft
cameras
distance
Prior art date
Application number
KR1020170102978A
Other languages
English (en)
Other versions
KR102372790B1 (ko
Inventor
아르마토리오 앤디
제이. 라피스 리차드
에이. 레이 개리
에이. 누엔 투안
피. 히긴스 로버트
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20180034213A publication Critical patent/KR20180034213A/ko
Application granted granted Critical
Publication of KR102372790B1 publication Critical patent/KR102372790B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H04N5/2328—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D2045/0095—Devices specially adapted to avoid bird strike
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

이 방법은 적어도 하나의 항공기(30) 날개(31,32)가 굽혀지는 것에 기인하여 항공기(30)의 제1 및 제2 날개(31,32) 장착 카메라 사이의 거리 및 방향에서의 변경을 보상하는 단계가 제공된다. 이 방법은 항공기(30)의 중립 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라 및 제2 날개(32) 장착 카메라 사이의 제1 거리 및 방향을 결정하는 단계를 포함한다. 이 방법은 항공기(30)의 굽혀진 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라 및 제2 날개(32) 장착 카메라 사이의 제2 거리 및 방향을 결정하는 단계를 더 포함한다. 이 방법은 또한 제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 보상된 거리 및 방향을 제공하는데 이용하기 위한 실시간으로 변하는 거리 및 방향을 제공하는 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계를 포함한다.

Description

적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법{APPARATUS AND METHOD OF COMPENSATING FOR RELATIVE MOTION OF AT LEAST TWO AIRCRAFT MOUNTED CAMERAS}
본 발명은 예컨대, 항공기 장착 카메라에 관련되어 있으며, 특히 적어도 2 개의 항공기 장착 카메라의 상대 움직임을 보완하는 장치 및 방법에 대한 것이다.
항공기는 예컨대, 물체 검출(object detection) 및 충돌 방지 시스템(collision avoidance system)의 부품으로 이용되는 2 개의 카메라를 포함할 수 있다. 본 발명에서, 하나의 카메라는 한쪽 항공기 날개의 일부분에 장착될 수 있고, 다른 카메라는 다른 쪽 항공기 날개의 일부분에 장착될 수 있다. 항공기의 날개는 굽혀지고 카메라는 상대적으로 서로 떨어져 있기 때문에, 카메라 사이의 거리와 방향은 예컨대, 비행시 날개의 진동 때문에 크게 변할 수 있다. 카메라 사이의 거리와 방향의 변경의 결과로 시스템은 항공기 쪽으로 접근하는 물체와의 충돌을 피하기 위해 예컨대, 조류와 같은 물체의 위치를 입체적으로(stereoscopically) 정확히 측정할 수는 없다. 2 개의 항공기 장착 카메라 사이의서 변하는 거리와 방향이 보상되는 장치 및 방법을 제공하는 것이 바람직하고, 이로써 시스템이 항공기로 접근하는 물체의 위치를 정확하게 측정할 수 있다.
하나의 측면에 있어서, 적어도 하나의 항공기(30) 날개(31,32)가 굽혀지는 것에 기인하여 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법이 제공된다. 이 방법은 항공기의 중립 날개 상태 동안 제1 날개 장착된 카메라 및 제2 날개 장착 카메라 사이의 제1 거리 및 방향을 측정하는 단계; 항공기의 굽혀진 날개 상태 동안 제1 날개 장착 카메라 및 제2 날개 장착 카메라 사이의 제2 거리 및 방향을 측정하는 단계; 및 제1 및 제2 날개 장착 카메라 사이의 보상된 거리 및 방향을 제공하는데 이용하기 위한 실시간으로 변하는 거리 및 방향을 제공하도록 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계;를 구비하여 구성된다.
다른 측면에 있어서, 이 방법은 왼쪽 및 오른쪽 항공기 날개의 굽힘에 기인하여 카메라 사이의 거리 및 방향의 변경을 보상하기 위해 항공기 왼쪽 날개 장착 카메라 및 항공기 오른쪽 날개 장착 카메라에 의해 캡처된 이미지 데이터를 처리하는 단계가 제공된다. 이 방법은 항공기 왼쪽 날개와 관련된 왼쪽 노즈 템플릿에 대해 왼쪽 날개 장착 카메라로부터 캡처된 이미지를 상관시키는 단계, 왼쪽 항공기 날개의 움직임과 관련된 상대적 움직임을 제거하기 위해 왼쪽 날개 장착 카메라에 의해 캡처된 적어도 하나의 이미지 프레임으로부터의 이미지 데이터를 변환시키는 단계, 항공기 오른쪽 날개와 관련된 오른쪽 노즈 템플릿에 대해 오른쪽 날개 장착 카메라로부터 캡처된 이미지를 상관시키는 단계, 오른쪽 날개의 움직임과 관련된 상대적 움직임을 제거하기 위해 오른쪽 날개 장착 카메라에 의해 캡처된 적어도 하나의 이미지 프레임으로부터의 이미지 데이터를 변환시키는 단계를 구비하여 구성된다.
또다른 측면에 있어서, 이 장치는 항공기에 장착된 물체 검출 및 충돌 방지 시스템을 위해 제공된다. 이 장치는 항공기의 일부분에 부착된(attached) 제1 카메라 및 항공기의 다른 부분에 부착된 제2 카메라를 구비하여 구성된다. 제1 및 제2 카메라는 협동해서 비행경로에서 물체의 이미지를 캡처한다. 이 장치는 제1 카메라 및 제2 카메라 사이의 실시간 거리 및 방향을 계산하도록 구성된 움직임 보상 모듈을 더 구비하여 구성된다. 이 장치는 또한, 제1 카메라 및 제2 카메라 사이의 계산된 실시간 거리를 토대로 항공기 및 물체 사이의 거리를 계산하도록 구성된 검출 모듈을 구비하여 구성된다.
이외의 다른 측면들은 다음의 자세한 설명, 도면 그리고 첨부된 청구항으로부터 분명해질 것이다.
도 1은 실시예에 따른 항공기에 장착된 물체 검출 및 충돌 방지 시스템을 구현하는 예시적인 항공기의 개략적인 도해이다.
도 2는 도 1의 항공기에 장착된 물체 검출 및 충돌 방지 시스템의 블록도이며, 실시예에 따라 구성된 장치를 보여준다.
도 3은 항공기 왼쪽 날개에 장착된 카메라로부터 도 1의 예시적인 항공기 노즈의 왼쪽면 이미지이다.
도 4는 항공기 오른쪽 날개에 장착된 카메라로부터 도 1의 예시적인 항공기 노즈의 오른쪽면 이미지이다.
도 5a, 도 5b, 및 도 5c는 도 4의 항공기 오른쪽 날개에 장착된 카메라로부터의 연속된 이미지이며, 항공기 노즈의 일부분에서 날개의 상대적 움직임 효과를 보여준다.
도 6는 도 5a 도 5b, 및 도 5c에서 보여진 날개의 상대적 움직임 효과를 제거한 이미지 변환 효과를 보여주는 보상된 이미지이다.
도 7은 움직임 보상 방법이 구현되지 않을 때, 물체 검출 및 충돌 방지 방법을 도시한 흐름도이다.
도 8은 실시예에 따라 움직임 보상 방법이 구현됐을 때, 물체 검출 및 충돌 방지 방법을 도시한 흐름도이다.
도 9는 항공기 왼쪽 날개에 장착된 카메라 및 항공기 왼쪽 날개에 장착된 다른 카메라에 상대적 물체의 거리 좌표(x,y,z)를 보여주는 예시적 시나리오의 좌표도이다.
본 발명은 적어도 2 대의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법에 관한 것이다. 특정 장치, 움직임 보상 방법, 그리고 장치 및 움직임 보상 방법이 구현되는 산업은 변할 수 있다. 본 발명이 다양한 실시예의 여러 특성을 구현하기 위한 다수의 실시예와 예시를 제공함이 이해될 수 있을 것이다. 구성요소 및 배열의 특정 예가 본 발명을 간소화하기 위해 설명된다. 이들은 단지 예시일 뿐이며, 제한하고자 하는 의도가 아니다.
예컨대, 본 발명은 FAA(Federal Aviation Administration) 규정에 따라 항공기용 장치 및 움직임 보상 방법을 설명한다. FAA 규정의 설명서는 이미 알려졌으므로 설명되지 않을 것이다.
도 1을 참조하여, 일반적으로 도면 부호 10으로 지시된, 실시예에 따른 장치를 구현한 항공기에 장착된 물체 검출 및 충돌 방지 시스템은 운송 수단(12;vehicle)에 관련되어 이용될 수 있다. 운송 수단(12)은 (예컨대, 화살표(14) 방향에 의해 가리켜지는 방향으로) 경로(path)를 따라 움직일 수 있다. 물체(16)는 (예컨대, 화살표(18) 방향에 의해 가리켜지는 방향으로) 경로를 따라 움직일 수 있다. 상대적 위치 및/또는 운송 수단(12) 및/또는 물체(16)의 상대적 이동에 따라서, 물체(16)는 운송 수단(12)에 (예컨대, 부딪힘) 영향을 받을 수 있다. 당업자는 운송 수단(12) 및 물체(16)가(16)가 도 1에서 크기를 조정하기 위해 도시될 필요가 없을 수 있음을 이해할 수 있을 것이다.
도 1에 도시된 실시예에서, 운송 수단(12)은 소정 형태의 항공기(30)일 수 있다. 제한 없이 예를 들면, 항공기(30)는 고정익, 회전익, 또는 비행선 보다 가벼운 항공기일 수 있다. 항공기(30)는 유인(manned) 또는 무인(unmaned)일 수 있다. 하나의 예에서, 항공기(30)는 항공사에 의해 운행되는 상업적 여객기, 민간 기업 또는 공공 단체에 의해 운행되는 화물수송기, 군대 또는 다른 정부 단체에 의해 운용되는 군용기, 개인에 의해 운행되는 개인 항공기 또는 다른 항공기 조종자에 의해 운행되는 다른 종류의 항공기 일 수 있다. 다른 예에서, 항공기(30)는 원격 조종자에 의해 운행되는 무인 항공기(unmanned aerial vehicle;UAV)일 수 있다. 따라서 당업자는 운송 수단(12)(예컨대, 항공기(30))이 어떠한 임무를 수행하기 위해 지정될 수 있으며, 운송 수단(12)의 어떠한 조종자에 의해 운행될 수 있다.
물체(16)는 운송 수단(12)에 잠재적으로 부딪힐 수 있는 어떠한 물체일 수 있다. 하나의 예에서, 물체(16)는 운송 수단(12)의 경로(14)와 만날 수 있는 경로(18)를 따라 하늘에 떠서 움직이는 물체일 수 있다. 예컨대, 도 1에서 도시된 바와 같이, 물체(16)는 조류(34)일 수 있다. 제한 없이 다른 예에서, 물체(16)는 다른 항공기, 또는 다른 하늘에 떠 있는 인공적인 또는 자연적인 물체일 수 있다.
본 발명에서 "부딪힘(strike)", "걸림(stuck)","충돌(collision)","맞부딪힘(collide)" 및 이와 유사하고 연관된 용어는 운송 수단(12) 및 물체(16)의 충격(impact)을 지칭할 수 있다. 예를 들면, "운송 수단에 부딪히는 또는 잠재적으로 부딪히는 물체"는 움직이는 물체(16)(예컨대, 하늘에 떠있는 물체)와 충격하는 움직이는 운송 수단(12)을 나타낼 수 있다.
도 2를 참조하여, 시스템(10)은 적어도 하나의 이미지 캡처 모듈(20;image capture module)을 포함할 수 있다. 이미지 캡처 모듈(20)은 도 1에 보이는 운송 수단(12)(예컨대, 항공기(30))에 연결될 수 있다. 이미지 캡처 모듈(20)은 이미지(24)의 대표 이미지 데이터를 얻기 위해 구성된 적어도 2 개의 카메라(21,22)를 획득할 수 있다. 이 적어도 2 개의 카메라(21,22)는 같은 종류의 카메라 또는 여러 다수의 종류의 카메라를 포함할 수 있다. 예를 들면, 적어도 2 개의 카메라(21,22)는 하나 이상의 비디오 카메라를 포함할 수 있다. 논의의 간소화 및 명료화를 위해, 2 개의 카메라(21,22)만이 여기서 설명될 것이다.
2 개의 카메라(21,22)는 이미지(24)(예컨대, 비디오 이미지(26))를 획득하기 위해 파장 및/또는 진동수의 일정 범위 또는 어떤 범위 이상에서 작동될 수 있다. 제한 없이 예를 들면, 2 개의 카메라(21,22)는 적외선, 근적외선, 가시광선, 자외선, 그 밖의 파장, 또는 파장의 조합에서 이미지(24)를 획득하도록 구성될 수 있다. 2 개의 카메라(21,22)는 편광된 빛으로부터 이미지(24)를 획득하도록 구성될 수 있다.
하나의 예에서, 2 개의 카메라(21,22)는 하나 이상의 장파장 적외선(long wavelength infrared;"LWIR") 카메라를 포함할 수 있다. 다른 예에서, 2 개의 카메라(21,22)는 단파장 적외선(short wavelength infrared;"SWIR") 카메라를 포함할 수 있다. 또 다른 예에서, 2 개의 카메라(21,22)는 하나 이상의 장파장 적외선 카메라, 중파장 적외선(med wavelength infrared) 카메라, 그리고 단파장 적외선 카메라의 조합을 포함할 수 있다.
실시예에서, 이미지(24)는 비디오 이미지(25)일 수 있다. 비디오 이미지(26)는 일정 주기 (예컨대, 30㎐) 이상으로 빠르게 찍힌 디지털 비디오 이미지 프레임의 연속적인 시리즈(series)를 포함할 수 있다. 2 개의 카메라(21,22)에 의해 제공된 이미지(24)는 하나 이상의 물체(16)의 존재를 검출하기 위해, 및 물체(16)의 하나 이상의 특징을 확인하기 위해 이용될 수 있다.
다시 도 1을 참조하면, 이미지 캡처 모듈(20)은 시야(40;field of view)를 포함할 수 있다. 예를 들면, 2 개의 카메라(21,22)는 시야(40)를 포함할 수 있다. 예컨대, 2 개의 카메라(21,22)는 방해받지 않은 시야(40)를 갖고, 앞을 보고 있는 운송 수단(12)에 장착될 수 있다. 시야(40)는 점선(28) 및 점선(29) 사이의서 (예컨대, 운송 수단(12)의 이동 방향(14)에서) 운송 수단(12) (예컨대, 항공기(30))의 앞쪽 표적면(15;target area)에 의해 규정될 수 있다. 예를 들면, 표적면(15)은 운송 수단(12)의 앞쪽으로 확대되는 원뿔형 영역을 포함한다. 물체(16)(예컨대, 조류(34))는 시야(40) 내에 있을 수 있다. 그러므로 2 개의 카메라(21,22)로부터 이미지(24)는 물체(16)의 이미지를 포함할 수 있다.
실시예에서, 2 개의 카메라(21,22)는 결합한 시야(combined field of view)를 포함할 수 있다. 다른 실시예에서, 2 개의 카메라(21,22)는 겹쳐진 시야(27;overlapping field of view)를 포함할 수 있다. 예를 들면, 시스템(10)이 스테레오 솔루션(stereo solution)(예컨대, 입체시(stereo vision))을 이용하는 운송 수단(12)과 연관된 물체(16)의 거리를 측정하기 위해 2 개의 카메라(21,22)가 겹쳐진 시야(27)를 포함해서 이용될 수도 있다.
2 개의 카메라(21,22)는 적당한 또는 적절한 위치에서 운송 수단(12)에 장착될 수 있다. 설명의 간소화 및 목적을 위해, 도 1에서 개략적으로 보여진 바와 같이, 하나의 카메라(21)는 항공기(30)의 날개(31)의 말단에 장착되고, 다른 카메라(22)는 항공기(30)의 다른 날개(32)의 말단에 장착된다. 당업자는 2 개의 카메라(21,22)가 다른 적당한 또는 적절한 위치에서 운송 수단에 (예컨대, 항공기(30)) 장착될 수 있음을 알 수 있을 것이다.
이미지 캡처 모듈(20)의 2 개의 카메라(21,22)는 다양한 위치와 방향에서 운송 수단(12)에 연결될 수 있다. 예를 들면, 2 개의 카메라(21,22)는 어떤 적절한 방향으로 향할 수 있다. 예를 들면, 2 개의 카메라(21,22)는 (예컨대, 시야(40) 내에서) 운송 수단(12)의 경로를 가로지르는, 또는 운송 수단(12)의 경로를 따라가는 물체(16)를 보기 위해서 (예컨대, 이동 방향(14)에서) 일반적으로 운송 수단(12)의 앞쪽으로 향할 수 있다.
다시 도 2를 참조하여, 시스템(10)은 검출 모듈(50;detection module)을 포함할 수 있다. 검출 모듈(50)은 이미지 캡처 모듈(20)에 의해 전송된 이미지(24)를 수신하도록 구성될 수 있다. 검출 모듈(50)은 이미지(24)를 처리하도록 구성될 수 있고, 물체(16)의 존재, 및 물체(16)가 운송 수단(12)에 부딪힐 가능성을 측정할 수 있다. 검출 모듈(50)은 또한 이미지(24)를 토대로 물체(16)의 다양한 특징을 측정하도록 및/또는 확인하도록 구성될 수 있다. 검출 모듈(50)은 또한 잠재적인 부딪힘의 다양한 특징을 측정하도록 구성될 수 있다.
그러나 검출 모듈(50)이 이미지(24)를 처리하기 전에, 이미지(24)는 실시예에 따라 구성된 움직임 보상 모듈(100;motion compensation module)을 포함하는 장치에 의해 처리된다. 움직임 보상 모듈(100)은 내부 데이터 저장 유닛(104;data storage unit), 외부 데이터 저장 유닛(도시되지 않음), 또는 이들의 조합에 저장된 명령을 실행하는 프로세싱 유닛(102;processing unit)을 포함한다. 프로세싱 유닛(102)은 어떠한 종류의 기술도 포함할 수 있다. 예를 들어, 프로세싱 유닛(102)은 전용 전자 프로세서(dedicated-purpose electronic processor)를 포함할 수 있다. 다른 종류의 프로세서 및 프로세싱 유닛 기술도 가능하다. 내부 데이터 저장 유닛(104)은 어떠한 종류의 기술을 포함한다. 예를 들면, 내부 데이터 저장 유닛(104)은 RAM(random access memory), ROM(read only memory), 솔리드 스테이트 메모리(solid state memory), 또는 이들의 다른 조합을 포함할 수 있다. 다른 종류의 메모리 및 데이터 저장 유닛 기술도 가능하다.
움직임 보상 모듈(100)은 더 나아가 어떠한 종류의 기술을 포함하는 다수의 입/출력(I/O) 장치(106)를 포함한다. 예를 들면, I/O장치(106)는 키패드, 키보드, 접촉 감지 표시 화면(touch sensitive display screen), LCD(liquid crystal display), 마이크로폰(microphone), 스피커(speaker), 또는 이들의 조합을 포함할 수 있다. 다른 종류의 I/O 및 기술이 가능하다.
움직임 보상 모듈(100)은 날개(31,32) 중 적어도 하나에서 굽힘 운동(flexing motion) 때문에 생긴 항공기(30)의 날개(31,32)의 말단에 장착된 2 개의 카메라(21,22) 사이의 거리와 방향(예컨대, 회전)의 변경을 보상하기 위해 이미지(24)를 처리한다. 더 자세하게, 프로세싱 유닛(102)은 날개(31,32) 중 하나 또는 양쪽의 굽힘 운동에 기인하여 2개의 카메라(21,22) 사이의 거리 및 방향의 변경을 보상하기 위해 데이터 저장 유닛(104)에 저장된 움직임 보상 프로그램(105)의 명령을 실행한다. 움직임 보상 모듈(100)의 작동은 아래에서 설명된다.
도 3을 참조하면, 이미지(300)는 왼쪽 날개 장착 카메라에서 보이는 비행기(30)의 다수의 여러 형상을 나타낸다. 이미지(300)의 형상은 승객석 창(passenger window) 형상(33), 항공기 문(aircraft door) 형상(34), 조종석 창(pilot window) 형상(35), 기체(fuselage) 형상(36), 및 항공기 상징 색(aircraft livery) 형상(37)을 포함한다. 이들은 단지 항공기(30)의 예시적인 형상이다.
도 4를 참조하면, 이미지(400)는 오른쪽 날개 장착 카메라에서 보이는 비행기(30)의 다수의 여러 형상을 나타낸다. 이미지(400)의 형상은 승객석 창(passenger window) 형상(43), 항공기 문(aircraft door) 형상(43), 조종석 창(pilot window) 형상(45), 기체(fuselage) 형상(46), 및 항공기 상징 색(aircraft livery) 형상(47)을 포함한다. 이들은 단지 항공기(30)의 예시적인 형상이다. 다른 종류의 형상들도 가능하다. 이미지(400)에서 형상은 상대 움직임 보상의 목적을 위한 비단순 상관관계(non-trivial correlation)를 만든다.
항공기 날개 왼쪽(31) 카메라로부터의 이미지(300) 및 항공기 날개 오른쪽쪽(32) 카메라로부터의 이미지(400)가 유사하다는 것은 명백하다. 두 이미지(300,400)는 같은 방법으로 움직임 보상 모듈(100)에 의해 처리된다. 간소화를 위해, 오른쪽 날개(32) 카메라(22)로부터의 이미지(400)의 이미지 프로세싱이 자세하게 설명될 것이다. 동일한 이미지 프로세싱의 세부사항이 항공기 날개 왼쪽 카메라(21)에 적용되는 것이 이해될 것이다.
도 5a를 참조하면, 오른쪽 날개 움직임이 없을 때 (예컨대, 중립 날개 상태 또는 오른쪽 날개의 굽힘이 없는) 항공기 날개 오른쪽(32) 장착 카메라(22)로부터의 이미지(510)가 보여진다. 이는 항공기의 오른쪽 면의 참고 이미지이며, 움직임을 측정하는 것과 관련된 오른쪽 날개 카메라로부터의 운항 중의 모든 이미지이다. 이미지는 스테레오 레인지 프로세스(stereo ranging process)에서 이용되는 2 개 이상의 카메라의 스테레오 켈리브레이션(stereo calibration)일 때 캡처된다. 이미지(510)에서, 항공기(30) 노즈 끝은 (점선으로 나타내진) 초기의 수평 참조선(512)에 평행하게 정렬한다. 또한, 이미지(510)에서 항공기(30)의 노즈끝은 (또한 점선으로 나타내진) 초기 수직 참조선(514)에 수직으로 정렬한다.
도 5b를 참조하면, 위쪽 방향(도 5b에서 화살표 "A"에 의해 나타내진 바와 같이)으로 오른쪽 날개 움직임을 가진 항공기 날개 오른쪽(32) 장착 카메라(22)로부터의 이미지(520)가 보여진다. 오른쪽 날개(32)가 위쪽으로 움직이면(즉, 한 종류의 굽혀진 날개 조건), 카메라(22)는 도 5b에서 이미지(520)처럼 보이는 여러 이미지를 캡처한다. 이미지(520)는 항공기(30)의 노즈 끝 및 항공기(30)의 형상이 아래쪽으로 이동했음을 (도 5b에서 화살표 "B"에 의해 보이는 바와 같이) 보여준다. 이미지(520)에서, 항공기(30)의 노즈 끝은 (점선으로 나타내진) 오프셋(offset) 수평 참조선(516)으로 정렬한다. 이 오프셋 수평 참조선(516)은 도 5b에서 보여진 거리 "d"에 의해 초기 수평 참조선(512)으로부터 오프셋 되었다. 오프셋 거리 "d"는 예를 들면, 오른쪽 날개(32)의 길이를 포함하는 다수의 요소에 따라 달라진다.
도 5c를 참조하여, (도 5c에서 오프셋 각 "φ"에 의해 보이는 바와 같이) 반시계방향으로 비틀어진 방향에서 오른쪽 날개 움직임을 가진 항공기 날개 오른쪽(32) 장착된 카메라(22)로부터의 이미지(530)가 보여진다. 오른쪽 날개(32)가 반시계방향으로 비틀어졌을 때(즉, 다른 종류의 굽혀진 날개 조건), 항공기 날개 오른쪽(32) 장착 카메라(22)는, 도 5c의 이미지(530)로 나타내진 바와 같이 여러 이미지를 캡처한다. 이미지(530)에서, 항공기(30)의 노즈 끝이 (도 5c의 이미지(530)에서 오프셋 각 "θ"에 의해 보여지는 바와 같이) 시계방향으로 비틀어진다. 이미지(530)에서 오프셋 각 "θ" 및 오프셋 각 "φ"은 비슷해야 한다.
도 5a, 도 5b, 및 도 5c는 항공기 날개 오른쪽(32) 장착 카메라(22)에 의해 캡처된 일련의 이미지, 및 캡처된 이미지에 대한 날개의 상대적 움직임 효과를 나타낸다. 도 5a의 이미지(510)는 날개의 움직임이 없음을 나타내고, 도 5b의 이미지(520)는 위쪽을 향한 날개의 움직임을 나타내며 그리고, 도 5c의 이미지(530)는 반시계방향으로 뒤틀린 날개의 움직임을 나타낸다. 다른 움직임은 유사하게 측정된다.
도 6을 참조하면, 도 5b 및 5c의 상대적 날개의 움직임 효과를 제거한 이미지 변환 효과를 보여주는 보상된 이미지(54)를 나타낸다. 보상된 이미지(540)는 도 5b의 이미지(520) 및 도 5c의 이미지(530)를 변환한 결과이다. 도 6에서 보여지는 바와 같이, 보상된 이미지(540)는 (도 5b) 이미지(520)에서 오프셋 거리 "d"가 0이 된 것, 및 (도 5c) 이미지(530)에서 오프셋 각 "θ"가 0이 된 것을 나타낸다.
도 7을 참조하면, 흐름도(700)는 움직임이 없을 때의 보상 방법이 구현된 물체 검출 및 충돌방지 방법을 묘사한다. 블록(730)에서, 왼쪽 날개 카메라(21)가 (예컨대, 이 예에서는 조류) 물체의 비디오 프레임을 연속적으로 캡처하고, 조류를 검출 및 세분화한다. 유사하게, 블록(740)에서, 오른쪽 카메라(22)는 물체의 비디오 프레임을 연속적으로 캡처하고, 조류를 검출 및 세분화한다. 왼쪽 및 오른쪽 날개 카메라(21,22)가 조류를 검출 및 세분화하고 난 뒤, 조류 물체는 블록(750)에 관련된다. 그 후에, 블록(760)에서 입체적인 차이(stereoscopic disparity)를 측정한다.
블록(750)으로부터 관련된 조류 물체 및 블록(760)에서 측정된 조류 물체의 입체적인 차이를 토대로, 조류의 범위(bird range) 및 조류의 범위 비율(bird range rate)이 블록(770)에서 보여지는 바와 같이 산출된다. 이 과정들은 이후에 조류의 충돌 지표(bird collision metrics)가 산출되는 블록(780)으로 진행된다. 블록(780)에서 조류의 충돌 지표 컴퓨터를 토대로 잠재적인 조류의 충돌이 측정되면, 이후에 블록(790)에서 보여지는 바와 같이 조종자에게 알람이 제공된다.
다음의 추가적인 설명이 도 7의 흐름도(700)에 관련되어 제공된다. 2 개의 카메라(21,22)가 입체적인 시야를 제공하기 때문에, 각각의 날개 끝의 앞에서 전체 시야가 처리되므로, 시야 안의 대부분의 모든 조류가 두 카메라(21,22)에 의해 보여질 수 있다. 입체영상(stereoscopy)이 각 조류의 범위를 각 카메라 프레임 시간에 계산되도록 허용하기 때문에, 입체영상의 기술(stereoscopic technology)이 조류N의 i번째에 대한 상대적 조류의 범위(
Figure pat00001
) 및 범위의 비율(
Figure pat00002
)을 측정하기 위해 이용될 수 있다. 각각의 조류가 항공기(30)로 접근할 때, 이 범위는 다음의 간단한 충돌 지표 수식을 토대로 임의의 시점(T) 이전에, 조류의 충돌 수를 예측하기 위해 이용될 수 있다.
Figure pat00003
위 수식에 대한 예시적인 계산으로서, C(T)는 T를 10초로 지정한 2 개의 카메라(21,22)로부터 계산된 모든 비디오 프레임일 수 있다. 최종 정수 C(10)은 이것이 0에서 0이 아닌 값까지 증가할 때 경보가 울리는 알람을 구동시킬 수 있다. 이 알람은 숫자가 커지는 위기 상황에서 증가한다. 따라서 다수의 임박한 조류의 충돌의 가능성은 이 상황이 하나의 조류가 "충돌"하는 것보다 엔진 고장 및 손상으로 이어지기 훨씬 더 쉽다는 사실을 잡아낸다.
도 8을 참조하여, 흐름도(800)는 실시예에 따라서 구현된 움직임 보상 방법에서의 도 7의 물체 검출 및 충돌 방지 방법을 묘사한다. 블록(810)에서, 왼쪽 노즈 템플릿(left nose template)이 상관(correlated)된다. 이후, 블록(820)에서 왼쪽 날개 카메라(21)로부터의 이미지가 왼쪽 날개 움직임(상하 수직 움직임 및 반/시계방향 비틀림 움직임 모두)을 제거하기 위해 블록(810)의 교정된 템플릿을 토대로 변환된다. 유사하게 블록(812)에서 오른쪽 노즈 템플릿이 상관된다. 이후, 블록(814)에서, 오른쪽 날개 카메라(22)로부터의 이미지가 오른쪽 날개 움직임(상하 수직 움직임 및 반/시계방향 비틀림 움직임 모두)을 제거하기 위해 블록(812)의 상관된 노즈 템플릿을 토대로 변환된다.
다음의 추가적인 설명은 도 8의 흐름도(800)에 관하여 제공된다. 2 개의 카메라(21,22) 사이에서 조류 물체를 관련시키기 위해, 그리고 이들의 차이(즉, 2 개의 카메라(21,22)의 시야 범위에서 주어진 조류의 외관상 위치(apparent location)의 차이)를 계산하기 위해 카메라의 상대적 위치를 변화시키기 위해 야기된 날개의 움직임이 보상될 필요가 있다. 움직임 보상 모듈(100)을 포함하는 장치가 여기서 설명된다.
항공기(30)의 앞 부분은 적어도 2 개의 카메라(21,22)의 (각각은 한쪽만 본다) 각각의 카메라로부터 볼 수 있다. 항공기 날개(31,32)가 굽혀질 때, 항공기(30)의 노즈의 외관상 위치가 변한다. 카메라(22)로부터 항공기(30)의 노즈의 외관상 위치(apparent location)에서 변화는 오른쪽 노즈 템플릿을 구성하고, 오른쪽 노즈 템플릿에 대해 카메라(22)로부터 캡처된 이미지(24)를 상관시킴으로써 쉽게 추적될 수 있다. 오른쪽 노즈 템플릿은 예를 들어, 도 5a에서 보여진 캡처된 이미지(510)를 포함할 수 있다. 도 5b는 윗 방향의 날개 움직임을 가진 항공기 날개 왼쪽(32) 카메라(22)에 상관되어 무슨 일이 일어났는지를 나타낸다. 도 5c는 반시계방향으로 뒤틀린 날개 움직임을 가진 항공기 오른쪽(32) 카메라(22)와 상관되어 무슨 일이 일어났는지를 나타낸다.
카메라(22)로부터 캡처된 노즈 이미지(24)가 상관될 때, 예를 들면 도 4에서 보여진 형상(43,44,45,46,47)과 같은, 항공기(30)의 형상이 도 8의 블록(812)에서 보여지는 바와 같이, 오른쪽 노즈 템플릿에 대해 상관에 이용된다. 상관하기 위한 최고 형상(best feature)은 오른쪽 노즈 템플릿이 현재 노즈 이미지와 일치할 때, 상관 피크(correlation peak)를 야기시키기 위해 다수의 파생된 이미지를 모두 더한 것이다.
상관 피크의 이동은 2차원 픽셀 공간(pixel space)에서의 이동(변위)을 측정한다. 이 변위의 대해 픽셀에서 조류의 위치를 조정함으로써, 항공기 날개 오른쪽(32)의 굽힘 운동에 의한 카메라(22)의 상대적 움직임에 대해 카메라(22)의 픽셀 공간에서 그들의 위치가 조정되어진다. 픽셀 공간에서 조류의 위치의 조정은 여기에서 설명된 도 6의 보상된 이미지(540)와 같이 보여진다.
위에서 설명된 상관은 카메라(22)의 렌즈 왜곡이 선보정(pre-calibration) 동안 보상되었다고 가정한다. 이 보정 단계는 x-y 공간(항공기의 참조 기준 평면)에서의 각
Figure pat00004
및 항공기의 참조 기준 평면의 벌어진 상하각
Figure pat00005
인 솔리드 각 벡터(solid angle vector)
Figure pat00006
에 대한 픽셀 위치(x,y)를 보여주는 고정 함수 p( )의 생성을 허용한다.
이는 다음의 함수에 의해 나타내진다.
Figure pat00007
위의 함수는 물체 검출 및 충돌 방지 시스템(10)의 최종 설치 동안 규정되고, 주기적인 조정 간격으로 업데이트된다.
도 9를 참조하면, 예시적인 시나리오의 좌표도(900)는 항공기 날개 왼쪽(31)에 장착된 카메라(21) 및 항공기 날개 오른쪽(32)에 장착된 카메라에 연관된 물체(16)(즉, 본 예에서는 조류(34))의 거리 좌표 (x,y,z)를 나타낸다. 도 9에서 보여주는 바와 같이, 이는 충격 지점의 항공기가 좌표도(900)의 중심 (즉, (0,0,0)의 (x,y,z) 좌표)에 있다고 가정한다.
위의 함수
Figure pat00008
의 예시적인 계산에 따라, 날개(32,32)의 끝에서
Figure pat00009
는 왼쪽 카메라(21)의 위치(z는 0으로 가정된다) 그리고
Figure pat00010
는 오른쪽 카메라(22)의 위치로 한다. 도 9에서 보여지는 바와 같이, 다음은 l과 r에 대한 좌표이다.
Figure pat00011
Figure pat00012
이후, 각 카메라
Figure pat00013
및
Figure pat00014
의 픽셀 공간에서 조류의 위치는, 그들의 위치가 각
Figure pat00015
와
Figure pat00016
, 및 카메라 위치에 의해 주어진 공간에서의 점에 의한 선을 따라서 물리적인 공간 선(space line)으로 주어진다. 이 두 선은 다음의 일차원적 매개 변수 방식에 의해 규정된다.
Figure pat00017
Figure pat00018
여기서 a 및 b 방향 벡터는 (p() 함수를 이용) 구형에서 직교 좌표로 변환되어 측정된다:
Figure pat00019
Figure pat00020
s = 알 수 없는 변수
t = 알 수 없는 변수
최근접 교차점 c는 다음과 같이 계산될 수 있다.
Figure pat00021
Figure pat00022
이라고 하면,
m2는 방향 벡터 a 및 b의 외적연산의 내적연산이다.
R은 위에서 표시된 바와 같이 규정된다.
r은 오른쪽 날개에 장착된 카메라에 대한 방향 벡터이다.
l은 왼쪽 날개에 장착된 카메라에 대한 방향 벡터이다.
또한 다음의 변수를 규정한다:
Figure pat00023
Figure pat00024
Figure pat00025
Figure pat00026
최근접 교차점 c는 다음과 동일하다:
Figure pat00027
상기 식별된 방정식의 예시적인 계산을 보여주는 예시적인 시나리오는 도 9에서 보여지는 좌표에 관해 이곳에서 설명된다.
첫째, 항공기(30)는 위치(0,0,0) 중심에 있고, 조류(34)는 위치(800, -200,100)에 있으며, 항공기 날개 왼쪽(31) 카메라(21)는 (-40,120,0), 및 항공기 날개 오른쪽(32) 카메라(22)는 (-40, -120,0)에 위치해 있다고 가정한다. 예컨대, 렌즈 왜곡이 없는 1001x1001 픽셀 카메라에 대해, 왼쪽 카메라(21) 및 오른쪽 카메라(22)에 대한 다음 각은 아래와 같이 계산될 수 있다.
Figure pat00028
Figure pat00029
Figure pat00030
Figure pat00031
둘째, 각각의 카메라(21,22)는 수평 및 수직 방향 모두에서 120도의 시야각을 가진다. 왼쪽 및 오른쪽 카메라(21,22)에서 조류(34)의 픽셀 위치는 다음과 같이 표현될 수 있다.
Figure pat00032
Figure pat00033
도 9에서 보여진 조류(34) 및 카메라(21,22)의 좌표를 토대로, 왼쪽 및 오른쪽 카메라(21,22)에서 조류(34)에 대한 상기 식별된 픽셀 위치는 [-173.7872, 52.8997] 및 [-45.3361, 56.3223]으로 산출된다. 이 픽셀 위치는 이상적인 카메라가 주는 보간된(interpolated) 픽셀 위치일 수 있다. 이전 픽셀 위치 계산이 완료되지 않았음에 특히 주의해야 하지만, 조류(34)는 각 프레임에 대한 카메라 이미지의 픽셀 공간 안에서 찾을 수 있다. 각
Figure pat00034
의 정도는 다음과 같다:
[-20.8545, -5.4403, 6.3480, 6,7587]
조류(34)에 대한 카메라(21,22)로부터의 선에 대한 정규화 된 벡터 a 및 b는 다음과 같다.
a = [0.9288, -0.3538, 0.1106]
b = [0.9886, -0.0942, 0.1177]
또한, 카메라(21,22) 및 조류(34) 사이 두 선 사이의 최근접점 c를 산출한 계산은 다음과 같다.
Figure pat00035
Figure pat00036
Figure pat00037
Figure pat00038
Figure pat00039
Figure pat00040
따라서, 최종점(이 경우 실제 조류의 위치)은 중간점 c로 다음과 같이 계산될 수 있다:
Figure pat00041
여기에서는 움직임 에러가 (항공기 날개(31,32)의 굽힘에 의해서) 실제 시스템에서의 경우와 같이 계산에 포함되지 않았기 때문에, q1 및 q2 모두 동일하고, 정확한 답이란 것에 특히 주의해야 한다.
위에서 설명된 날개 움직임 에러 보상이 왼쪽 날개 카메라(21)에 대한 블록(810,820) 및 오른쪽 날개 카메라(22)에 대한 블록(812,814)을 토대로 수행된다. 도 8의 과정은 블록(830,840)으로 진행된다. 도 8의 블록(830)에서, 왼쪽 날개 카메라(21)은 물체(즉, 본 예에서는 조류)의 비디오 프레임을 연속적으로 캡처하고, 조류를 검출 및 세분화한다. 유사하게, 블록(840)에서, 오른쪽 날개 카메라는 조류의 비디오 프레임을 연속적으로 캡처하고, 조류를 검출 및 세분화한다. 왼쪽 및 오른쪽 카메라(21,22)가 조류를 검출 및 세분화한 후, 조류 물체는 블록(850)과 관련된다. 블록(850)으로부터 관련된 조류 물체 및 블록(860)에서 측정된 조류 물체의 입체적인 차이를 토대로, 조류 범위 및 조류 범위 비율이 블록(870)에서 보여지는 바와 같이 산출된다.
더 자세하게, 항공기(30)로부터 조류의 범위(즉,
Figure pat00042
)는 c의 놈(norm) 또는
Figure pat00043
와 같이 계산될 수 있고, 이는 항공기(30)의 날개(31,32) 사이의 중심점(즉, (0,0,0))에 대한 조류의 범위가 된다. 이는 카메라(21,22)의 동기화된 비디오 프레임 각각에 대해 계산될 수 있다. 따라서, 예를 들면, 30㎐ 프레임 비율(즉,
Figure pat00044
)은 33.3㎳마다 식별된 조류 각각에 대한 새로운 범위를 의미한다. 일반적으로, 범위
Figure pat00045
는 프레임마다 범위 비율(즉,
Figure pat00046
)이 다음의 방정식을 이용해서 계산되도록 허락한다.
Figure pat00047
임의의 시점에서의 예측된 조류의 충돌 상황은 위의
Figure pat00048
에 대한 방정식을 이용해 계산될 수 있다.
도 8의 과정은 조류 충돌지표가 산출되는 블록(880)으로 진행된다. 만약 블록(880)에서 산출된 조류 충돌 지표를 토대로 잠재적인 조류 충돌이 측정되면, 블록(890)에서 보여지는 바와 같이 조종자에게 알람이 제공된다. 그러나 만약 블록(880)에서 산출된 조류 충돌 지표를 토대로 잠재적인 조류 충돌이 없다면, 이 과정은 왼쪽 및 오른쪽 날개 카메라(21,22) 각각에 대한 다음 이미지 프레임을 처리하기 위해 블록(810) 및 블록(812)으로 돌아간다.
움직임 보상 방법 구현에 대한 노즈드화 된 명령어는 대용량 기억장치, 휘발성 기억장치, 비휘발성 기억장치, 및/또는 CD 또는 DVD와 같은 제거가능 유형 컴퓨터 판독가능 저장 매체(removable tangible computer readable storage medium)에 저장될 수 있다.
움직임 보상 방법은 도 1과 관련되어 논의된 예시적인 움직임 보상 모듈(100)에서 보여진 프로세싱 유닛(102)과 같은 프로세서에 의한 실행을 위해 프로그램을 포함하는 명령어 판독가능 기계를 이용해서 구현될 수 있다. 프로그램은 CD ROM, 플로피 디스크, 하드 드라이브, DVD(digital versatile disk), 블루 레이 디스크, 또는 프로세싱 유닛(102)과 관련된 메모리와 같은 유형 컴퓨터 판독가능 저장 매체에 저장된 소프트웨어에서 구현될 수 있지만, 전체 프로그램 및/또는 그것의 부분은 대안적으로 프로세싱 유닛(102) 외의 다른 장치에 의해 실행되는 것, 및/또는 펌웨어 또는 전용 하드웨어에서 구현되는 것일 수 있다. 예시적인 움직임 보상 모듈(100)을 구현하는 많은 다른 방법이 대안적으로 이용될 수 있다. 블록의 실행 순서는 바뀔 수 있으며, 그리고/또한 도 8에서 보여진 예시적인 흐름도(800)와 관련하여 설명된 블록의 몇몇이 바뀔 수 있고, 제거되거나 결합될 수 있다.
위에서 언급한 바와 같이, 도 8의 예시적인 움직임 보상 방법은 임의의 기간 동안 정보가 (예컨대, 정보의 영구적으로 연장된 기간, 짧은 인스턴스(instance), 임시적인 버퍼링, 및/또는 캐싱(caching)을 위해) 하드 디스크 드라이브, 플래시 메모리, ROM, CD, DVD, 캐시(cache), RAM 및/또는 임의의 다른 저장장치 또는 저장 디스크에 저장되는 유형 컴퓨터 판독가능 저장 매체에 저장된 노즈드화된 명령을 이용해서 구현될 수 있다. 이곳에서 이용되는 대로, 유형 컴퓨터 판독가능 저장 매체라는 용어는 특별히 컴퓨터 판독가능 저장 장치 및/또는 저장 디스크의 어떠한 종류를 포함하고, 신호를 전파하는 것 및 미디어의 전송은 제외하도록 규정된다. 이곳에서 이용되는 대로, "유형 컴퓨터 판독가능 저장 매체" 및 "유형 기계 판독가능 저장 매체"가 교차로 이용된다.
추가 또는 대안적으로, 도 8의 예시적인 움직임 보상 방법은 임의의 기간 동안 정보가 (예컨대, 정보의 영구적으로 연장된 기간, 짧은 인스턴스, 임시적인 버퍼링, 및/또는 캐싱을 위해) 하드 디스크 드라이브, 플래시 메모리, ROM, CD, DVD, 캐시, RAM 및/또는 임의의 다른 저장장치 또는 저장 디스크에 저장되는 비일시적 컴퓨터 및/또는 기계 판독가능 매체에 저장된 노즈드화된 명령어 (예컨대, 컴퓨터 및/또는 기계 판독가능 명령어)를 이용해 구현될 수 있다. 이곳에서 이용되는 대로, 비일시적인 컴퓨터 판독가능 매체란 용어는 특별히 컴퓨터 판독가능 저장 장치 및/또는 저장 디스크의 어떠한 종류를 포함하고, 신호를 전파하는 것 및 미디어의 전송은 제외하도록 규정된다. 이곳에서 이용되는 대로, "적어도"라는 구절이 청구항의 전문에서 전환 구문과 같이 이용될 때, 이는 "포함하는" 구문이 제한이 없는 것과 같이, 마찬가지로 제한이 없다.
예시적인 항공기에 장착된 물체 검출 및 충돌 방지 시스템(10)을 구현하는 예시적인 수단이 도 2에서 보여지지만, 도 2에서 보여진 하나 이상의 요소, 프로세스 및/또는 장치가 다른 어떠한 방법으로 결합되고, 분리되고, 재배열되고, 생략되고, 제거되고 및/또는 구현될 수 있다. 더 나아가, 예시적인 움직임 보상 모듈(100) 및/또는 더욱 일반적으로, 도 2의 예시적인 항공기에 장착된 물체 검출 및 충돌 방지 시스템(10)이 하드웨어, 소프트웨어, 펌웨어 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떠한 결합에 의해 구현될 수 있다. 따라서, 예를 들어, 어떠한 예시적인 움직임 보상 모듈(100) 및/또는, 더욱 일반적으로, 예시적인 항공기에 장착된 물체 검출 및 충돌 방지 시스템(10)은 하나 이상의 아날로그 또는 디지털 회로(들), 논리 회로, 프로그래머블 프로세서(들)(programmable processor), 주문형 집적 회로(들)(application specific integrated circuit;ASIC), 프로그래머블 논리 장치(들)(programmable logic device;PLD) 및/또한 필드 프로그래머블 논리 장치(들)(field programmagle logic device;FPLD)에 의해 구현될 수 있다.
전적으로 소프트웨어 및/또는 펌웨어 구현을 포함시키기 위한 이 특허의 어떤 장치 또는 시스템 청구항을 읽을 때, 예시적인 움직임 보상 모듈(100) 및/또는, 더욱 일반적으로, 예시적인 항공기에 장착된 물체 검출 및 충돌 방지 시스템(10) 중 적어도 하나는, 소프트웨어 및/또는 펌웨어를 저장하는 메모리, DVD, CD, 블루 레이 디스크, 등등과 같은 유형 컴퓨터 판독가능 저장 장치 또는 저장 디스크를 포함시키도록 분명히 규정된다.
날개(31,32)의 말단에 2 개의 카메라(21,22)를 장착하는 것은 방해받지 않는 시야 및 긴 기준선(base line)(즉, 2 개의 카메라(21,22) 사이의 거리)을 제공한다. 그러나 날개(31,32)가 굽혀짐에 따라, 카메라(21,22)가 움직이고, 및 거리 측정을 위해 필요로되는 정확한 기준선이 상실된다. 움직임 보상 모듈(100)을 제공함으로써, 카메라(21,22)의 상대적 움직임이 처리되면, 기준선이 항공기가 이륙, 선회, 및 착륙 동안 유지될 수 있다.
또한, 날개(31,32)의 말단에 2 개의 카메라(21,22)를 장착하는 것은 실시간으로 입체적인 측정을 허용한다. 이 실시간 입체적인 측정은 2 개의 카메라(21,22)가 물체 위에 포커스를 잡고, 3차원 시야를 획득하여, 물체의 정확한 측정을 획득할 수 있도록 허용한다. 움직임 보상 모듈(100)은 예컨대, 날개의 진동에 의해 변화하는 2 개의 카메라(21,22) 사이의 거리를 계산하기 위해 실시간 방식을 제공한다. 2 개의 카메라(21,22) 사이의 계산된 거리는 항공기(30) 및 피해야 할 다가오는 물체 사이 거리를 측정하기 위해서 이용된다.
위의 설명은 물체가 공중에서 항공기에 의해 피해져야 했지만, 예컨대 주행로 위의 물체와 같은, 항공기에 의해 피해져야 하는 물체가 공중이 아닌 곳에 있는 물체도 가능하다.
또한, 상기 설명은 이미지 캡처 모듈(20)이 오직 2 개의 카메라를 갖는 것으로 설명하지만, 2 개 이상의 카메라가 이용되는 것도 가능하다. 하지만, 2 개 이상의 카메라의 이용은 덜 정확한 거리 측정으로 이어지는 짧은 기준선을 제공할 수 있다. 예를 들면, 제3 카메라(도시되지 않음)가 항공기(30)의 한 부분에 장착될 수 있다. 프로세싱 유닛(102)(도 2)은 왼쪽 카메라(21) 및 제3 카메라 사이 실시간 거리에서의 움직임, 오른쪽 카메라(22) 및 제3 카메라 사이 실시간 거리에서의 움직임, 또는 이 둘 모두에 대해 보상하기 위해 움직임 보상 프로그램(105)의 명령을 실행하도록 구성될 수 있다. 검출 모듈은 왼쪽 카메라(21) 및 오른쪽 카메라(22) 사이 계산된 실시간 거리, 왼쪽 카메라(21) 및 제3 카메라 사이 계산된 실시간 거리, 및 오른쪽 카메라(22) 및 제3 카메라 사이 계산된 실시간 거리 중 적어도 하나를 토대로 항공기(30) 및 물체 사이 거리를 계산하기 위해 구성될 수 있다.
위의 설명은 FAA 규정에 따라 항공 산업에서의 항공기에 대한 예시적인 장치 및 예시적인 움직임 보상 방법을 설명하고 있지만, 장치 및 움직임 보상은 응용가능한 산업 기준에 따라 어떠한 산업에 대해서 더 구현될 수 있다.
본 발명은 다음의 조항에 따른 실시예를 더 포함한다:
조항1. 적어도 하나의 항공기(30) 날개(31,32)가 굽혀짐에 기인하여 항공기(30)의 제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 거리의 변경을 보상하는 방법으로,
상기 방법은:
항공기(30)의 중립 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라(21,22) 및 제2 날개(32) 장착 카메라(21,22) 사이의 제1 거리 및 방향을 측정하는 단계;
항공기(30)의 굽혀진 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라(21,22) 및 제2 날개(32) 장착 카메라(21,22) 사이의 제2 거리 및 방향을 측정하는 단계; 및
제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 보상된 거리 및 방향을 제공하는데 이용하기 위한 실시간으로 변하는 거리 및 방향을 제공하는 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계;를 구비하여 구성되는 것을 특징으로 한다.
조항2. 조항1의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 왼쪽 노즈 템플릿에 대해 제1 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계를 포함하는 것을 특징으로 한다.
조항3. 조항2의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 왼쪽 날개(31,32) 움직임을 제거하기 위해 제1 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계를 포함하는 것을 특징으로 한다.
조항4. 조항1의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 오른쪽 노즈 템플릿에 대해 제2 날개(32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계를 포함하는 것을 특징으로 한다.
조항5. 조항4의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 오른쪽 날개(31,32) 움직임을 제거하기 위해 제2 날개(32) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계를 포함하는 것을 특징으로 한다.
조항6. 조항1의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는:
(i) 왼쪽 노즈 템플릿에 대해 제1 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
(ii) 왼쪽 날개(31,32) 움직임을 제거하기 위해 제1 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계;
(iii) 오른쪽 노즈 템플릿에 대해 제2 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
(iv) 오른쪽 날개(31,32) 움직임을 제거하기 위해 제2 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계;를 포함하는 것을 특징으로 한다.
조항7. 조항1의 방법으로, 방법이 컴퓨터에 의해 판독가능한 프로그램 저장 매체에서 유형적으로 실현된 하나 이상의 명령의 프로그램을 실행시키는 메모리를 갖는 컴퓨터에 의해 수행되는 것을 특징으로 한다.
조항8. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)에서 캡처된 이미지 데이터는 조항1의 방법에 따라 상관되고 변환되는 것을 특징으로 한다.
조항9. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)에서 캡처된 이미지 데이터는 조항8의 방법에 따라 상관되고 변환되며, 캡처된 이미지 데이터는 항공기(30)의 왼쪽 날개(31,32) 장착 카메라(21,22) 및 항공기(30)의 오른쪽 날개(31,32) 장착 카메라(21,22)에 의해 제공되는 것을 특징으로 한다.
조항10. 항공기(30) 왼쪽 및 오른쪽 날개(31,32)의 굽힘에 기여하는 카메라(21,22) 사이 거리의 변경을 보상하기 위해서, 항공기(30) 왼쪽 날개(31,32) 장착 카메라(21,22) 및 항공기(30) 오른쪽 날개(31,32) 장착 카메라(21,22)에 의해 캡처된 이미지 데이터를 처리하는 방법으로,
상기 방법은:
왼쪽 항공기(30) 날개(31,32)와 관련된 왼쪽 노즈 템플릿에 대해 왼쪽 날개(31,32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
왼쪽 항공기(30) 날개(31,32)의 움직임과 관련된 움직임을 제거하기 위해 왼쪽 날개(31,32) 장착 카메라(21,22)에 의해 캡처된 적어도 하나의 이미지 프레임으부터 이미지 데이터를 변환시키는 단계;
오른쪽 항공기(30) 날개(31,32)와 관련된 오른쪽 노즈 템플릿에 대해 오른쪽 날개(31,32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
오른쪽 항공기(30) 날개(31,32)의 움직임과 관련된 움직임을 제거하기 위해 오른쪽 날개(31,32) 장착 카메라(21,22)에 의해 캡처된 적어도 하나의 이미지 프레임으부터 이미지 데이터를 변환시키는 단계;를 구비하여 구성되는 것을 특징으로 한다.
조항11. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)에서 캡처된 이미지 데이터는 조항10의 방법에 따라 상관되고 변환되는 것을 특징으로 한다.
조항12. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)에서 캡처된 이미지는 조항11의 방법에 따라 상관되고 변환되는 것을 특징으로 하고, 캡처된 이미지 데이터는 항공기(30) 왼쪽 날개(31,32) 장착 카메라(21,22) 및 항공기(30) 오른쪽 날개(31,32) 장착 카메라(21,22)에 의해 제공되는 것을 특징으로 한다.
조항13. 조항10의 방법으로, 컴퓨터에 의해 판독가능한 프로그램 저장 매체에서 유형적으로 실현된 하나 이상의 명령의 프로그램을 실행시키는 메모리를 갖는 컴퓨터에 의해 수행되는 것을 특징으로 한다.
조항14. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)용 장치로서,
상기 장치는,
항공기(30)의 일부분에 장착된 제1 카메라(21,22);
항공기(30)의 다른 부분에 장착된 제2 카메라(21,22),
제1 및 제2 카메라(21,22)가 비행경로(18)에서 물체(16)의 이미지(24)를 캡처하기 위해 협동하고;
제1 카메라(21,22) 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향을 계산하도록 구성된 움직임 보상 모듈(100); 및
제1 카메라(21,22) 및 제2 카메라(21,22) 사이의 계산된 실시간 거리 및 방향을 토대로 항공기(30) 및 물체(16) 사이의 거리 및 방향을 계산하도록 구성된 검출 모듈(50)을 구비하여 구성되는 것을 특징으로 한다.
조항15. 조항14의 장치로서, 제1 및 제2 카메라(21,22)가 입체시 카메라를 구비하여 구성되는 것을 특징으로 한다.
조항16. 조항14의 장치로서, 상기 움직임 보상 모듈(100)은 움직임 보상 프로그램이 저장된 데이터 저장 유닛(104)과, 제1 및 제2 카메라(21,22) 사이 실시간 거리 및 방향의 변경에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성된 프로세싱 유닛(102)을 포함하는 것을 특징으로 한다.
조항17. 조항16의 장치로서, 제1 카메라(21,22)는 항공기(30)의 날개(31,32)에 장착되고, 제2 카메라(21,22)는 항공기(30)의 날개(31,32)에 장착되며, 프로세싱 유닛(102)은 하나 이상의 항공기(30) 날개(31,32)의 굽혀짐에 기인하여 제1 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임을 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성되는 것을 특징으로 한다.
조항18. 조항17의 장치로서, 항공기(30)의 일부분에 장착된 제3 카메라(21,22)를 더 구비하고, 프로세싱 유닛(102)은 제1 및 제3 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임, 제2 및 제3 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임, 또는 양쪽에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성되는 것을 특징으로 한다.
조항19. 조항18의 장치로서, 검출 모듈(50)이 제1 카메라(21,22) 및 제2 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향, 제1 카메라(21,22) 및 제3 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향, 그리고 제2 및 제3 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향 중 적어도 하나를 토대로 항공기(30) 및 물체(16) 사이의 거리를 계산하도록 구성된 것을 특징으로 한다.
조항20. 조항14의 장치로서, 비행경로(18)가 공중의 항로(18) 또는 지상의 활주로(18)를 구비하여 구성되는 것을 특징으로 한다.
개시된 장치 및 움직임 보상 방법의 다양한 실시예가 설명되어 왔지만, 본 발명을 읽자마자 당업자들에게 개선사항이 떠오를 수 있다. 본 발명은 그러한 개선사항을 포함하고, 청구항의 범위에 의해서만 오직 제한된다.

Claims (14)

  1. 적어도 하나의 항공기(30) 날개(31,32)가 굽혀지는 것에 기인하여 항공기(30)의 제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 거리의 변경을 보상하는 방법으로,
    상기 방법은:
    항공기(30)의 중립 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라(21,22) 및 제2 날개(32) 장착 카메라(21,22) 사이의 제1 거리 및 방향을 측정하는 단계;
    항공기(30)의 굽혀진 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라(21,22) 및 제2 날개(32) 장착 카메라(21,22) 사이의 제2 거리 및 방향을 측정하는 단계; 및
    제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 보상된 거리 및 방향을 제공하는데 이용하기 위한 실시간으로 변하는 거리 및 방향을 제공하도록 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계;를 구비하여 구성되는 것을 특징으로 하는 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법.
  2. 제1항에 있어서,
    제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 왼쪽 노즈 템플릿에 대해 제1 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계를 포함하는 것을 특징으로 하는 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법.
  3. 제2항에 있어서,
    제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 왼쪽 날개(31,32) 움직임을 제거하기 위해 제1 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계를 포함하는 것을 특징으로 하는 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법.
  4. 제1항에 있어서,
    제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 오른쪽 노즈 템플릿에 대해 제2 날개(32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계를 포함하는 것을 특징으로 하는 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법.
  5. 제4항에 있어서,
    제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 오른쪽 날개(31,32) 움직임을 제거하기 위해 제2 날개(32) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 것을 포함하는 것을 특징으로 하는 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법.
  6. 제1항에 있어서,
    제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는:
    (i) 왼쪽 노즈 템플릿에 대해 제1 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
    (ii) 왼쪽 날개(31,32) 움직임을 제거하기 위해 제1 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계;
    (iii) 오른쪽 노즈 템플릿에 대해 제2 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
    (iv) 오른쪽 날개(31,32) 움직임을 제거하기 위해 제2 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계;를 포함하는 것을 특징으로 하는 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법.
  7. 제1항에 있어서,
    방법이 컴퓨터에 의해 판독가능한 프로그램 저장 매체에서 유형적으로 실현된 하나 이상의 명령의 프로그램을 실행시키는 메모리를 갖는 컴퓨터에 의해 수행되는 것을 특징으로 하는 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법.
  8. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)용 장치로서,
    상기 장치는,
    항공기(30)의 일부분에 부착된 제1 카메라(21,22);
    항공기(30)의 다른 부분에 부착된 제2 카메라(21,22),
    제1 및 제2 카메라(21,22)가 비행경로(18)에서 물체(16)의 이미지(24)를 캡처하기 위해 협동하고;
    제1 카메라(21,22) 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향을 계산하도록 구성된 움직임 보상 모듈(100); 및
    제1 카메라(21,22) 및 제2 카메라(21,22) 사이의 계산된 실시간 거리 및 방향을 토대로 항공기(30) 및 물체(16) 사이의 거리 및 방향을 계산하도록 구성된 검출 모듈(50);을 구비하여 구성되는 것을 특징으로 하는 항공기에 장착된 물체 검출 및 충돌 방지 시스템용 장치.
  9. 제8항에 있어서,
    제1 및 제2 카메라(21,22)가 입체시 카메라를 구비하여 구성되는 것을 특징으로 하는 항공기에 장착된 물체 검출 및 충돌 방지 시스템용 장치.
  10. 제8항에 있어서,
    상기 움직임 보상 모듈(100)은 움직임 보상 프로그램이 저장된 데이터 저장 유닛(104)과, 제1 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향의 변경에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성된 프로세싱 유닛(102)을 포함하는 것을 특징으로 하는 항공기에 장착된 물체 검출 및 충돌 방지 시스템용 장치.
  11. 제10항에 있어서,
    제1 카메라(21,22)는 항공기(30) 날개(31,32)에 장착되고, 제2 카메라(21,22)는 항공기(30) 날개(31,32)에 장착되며, 프로세싱 유닛(102)은 하나 이상의 항공기(30) 날개(31,32)의 굽혀짐에 기인하여 제1 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성되는 것을 특징으로 하는 항공기에 장착된 물체 검출 및 충돌 방지 시스템용 장치.
  12. 제11항에 있어서,
    항공기(30)의 일부분에 장착된 제3 카메라(21,22)를 더 구비하고, 프로세싱 유닛(102)은 제1 및 제3 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임, 제2 및 제3 카메라(21,22) 사이의 실시간 거리 및 방향에서 움직임, 또는 양쪽에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성되는 것을 특징으로 하는 항공기에 장착된 물체 검출 및 충돌 방지 시스템용 장치.
  13. 제12항에 있어서,
    검출 모듈(50)이 제1 카메라(21,22) 및 제2 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향, 제1 카메라(21,22) 및 제3 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향, 그리고 제2 및 제3 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향 중 적어도 하나를 토대로 항공기(30) 및 물체(16) 사이의 거리를 계산하도록 구성된 것을 특징으로 하는 항공기에 장착된 물체 검출 및 충돌 방지 시스템용 장치.
  14. 제8항에 있어서,
    비행경로(18)가 공중의 항로(18) 또는 지상의 활주로(18)를 구비하여 구성되는 것을 특징으로 하는 항공기에 장착된 물체 검출 및 충돌 방지 시스템용 장치.
KR1020170102978A 2016-09-27 2017-08-14 적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법 KR102372790B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/277,411 US20180091797A1 (en) 2016-09-27 2016-09-27 Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras
US15/277,411 2016-09-27

Publications (2)

Publication Number Publication Date
KR20180034213A true KR20180034213A (ko) 2018-04-04
KR102372790B1 KR102372790B1 (ko) 2022-03-18

Family

ID=60001681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170102978A KR102372790B1 (ko) 2016-09-27 2017-08-14 적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법

Country Status (5)

Country Link
US (2) US20180091797A1 (ko)
EP (1) EP3299299B1 (ko)
JP (1) JP6951138B2 (ko)
KR (1) KR102372790B1 (ko)
CN (1) CN107867405B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6335237B2 (ja) * 2016-09-15 2018-05-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
JP6463319B2 (ja) * 2016-10-19 2019-01-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
US10515559B2 (en) * 2017-08-11 2019-12-24 The Boeing Company Automated detection and avoidance system
FR3070527B1 (fr) * 2017-08-31 2020-11-06 Airbus Helicopters Procede et dispositif d'evitement d'un objet par detection de son rapprochement d'un aeronef
US10922986B2 (en) * 2018-07-18 2021-02-16 Simmons Precision Products, Inc. Taxi strike alert system
US10878709B2 (en) * 2018-07-19 2020-12-29 The Boeing Company System, method, and computer readable medium for autonomous airport runway navigation
WO2020040679A1 (en) * 2018-08-22 2020-02-27 I-Conic Vision Ab A method and corresponding system for generating video-based models of a target such as a dynamic event
CN110181509A (zh) * 2019-05-14 2019-08-30 浙江树人学院（浙江树人大学） 一种基于误差补偿的工业机器人运动控制方法
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
US11257386B1 (en) 2019-08-14 2022-02-22 The Boeing Company Camera-based angle tracking of swarms for collision avoidance
JP2021124980A (ja) * 2020-02-05 2021-08-30 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム
CN111457897B (zh) * 2020-04-23 2024-02-23 中国科学院上海技术物理研究所 一种摆扫式多视角航空倾斜摄影相机及成像方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0425288B1 (en) * 1989-10-26 1999-09-22 Canon Kabushiki Kaisha Movement detection apparatus
US5581250A (en) * 1995-02-24 1996-12-03 Khvilivitzky; Alexander Visual collision avoidance system for unmanned aerial vehicles
JP4172554B2 (ja) * 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
US6597304B2 (en) * 2001-07-27 2003-07-22 Veridian Erim International, Inc. System and method for coherent array aberration sensing
JP4328551B2 (ja) * 2003-03-05 2009-09-09 富士重工業株式会社 撮像姿勢制御装置
JP4493434B2 (ja) * 2004-07-28 2010-06-30 オリンパス株式会社 画像生成方法および装置
US7747106B2 (en) * 2005-06-13 2010-06-29 Sarnoff Corporation Method and system for filtering, registering, and matching 2.5D normal maps
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
US8064643B2 (en) * 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
CN101419705B (zh) * 2007-10-24 2011-01-05 华为终端有限公司 摄像机标定的方法及装置
EP2071515A1 (en) * 2007-12-11 2009-06-17 Honda Research Institute Europe GmbH Visually tracking an object in real world using 2D appearance and multicue depth estimations
IL188655A (en) * 2008-01-08 2011-09-27 Rafael Advanced Defense Sys System and method for navigating a remote control vehicle past obstacles
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
DE102008024308B4 (de) * 2008-05-20 2010-12-09 Eads Deutschland Gmbh Verfahren zur Detektion nichtkooperativen Luftverkehrs an Bord eines Luftfahrzeugs
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
DE102009050368A1 (de) * 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US8494760B2 (en) * 2009-12-14 2013-07-23 American Aerospace Advisors, Inc. Airborne widefield airspace imaging and monitoring
DE102010042956A1 (de) * 2010-10-26 2012-04-26 Airbus Operations Gmbh Verfahren und Anordnung zur Bestimmung einer Belastung einer Flugzeugstruktur
WO2013006067A1 (en) * 2011-07-04 2013-01-10 Streeter Lee Vincent Motion compensation in range imaging
IL219923A (en) * 2011-08-02 2016-09-29 Boeing Co A system for separating aircraft traffic
US9091762B2 (en) * 2011-10-27 2015-07-28 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
KR101966920B1 (ko) * 2012-07-10 2019-04-08 삼성전자주식회사 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
US9047675B2 (en) * 2012-08-13 2015-06-02 The Boeing Company Strike detection using video images
WO2014047465A2 (en) * 2012-09-21 2014-03-27 The Schepens Eye Research Institute, Inc. Collision prediction
US9031311B2 (en) * 2013-02-28 2015-05-12 The Boeing Company Identification of aircraft surface positions using camera images
US20150015698A1 (en) * 2013-07-10 2015-01-15 Gulfstream Aerospace Corporation Methods and systems for optical aircraft detection
CN103400018B (zh) * 2013-07-12 2016-03-09 中国民用航空飞行校验中心 一种飞行程序校验及验证的系统和方法
US10055013B2 (en) * 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US20150106005A1 (en) * 2013-10-14 2015-04-16 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
US9047771B1 (en) * 2014-03-07 2015-06-02 The Boeing Company Systems and methods for ground collision avoidance
US9469416B2 (en) * 2014-03-17 2016-10-18 DM3 Aviation LLC Airplane collision avoidance
US20150329217A1 (en) * 2014-05-19 2015-11-19 Honeywell International Inc. Aircraft strike zone display
FR3024127B1 (fr) * 2014-07-25 2016-08-26 Airbus Operations Sas Procede et systeme d'atterrissage automatique autonome
US9954992B2 (en) * 2014-11-27 2018-04-24 Purdue Research Foundation Mobile device enabled robotic system
US10215836B2 (en) * 2016-03-07 2019-02-26 Raytheon Company Geolocation on a single platform having flexible portions
US10178378B2 (en) * 2016-04-12 2019-01-08 Microsoft Technology Licensing, Llc Binocular image alignment for near-eye display

Also Published As

Publication number Publication date
EP3299299A1 (en) 2018-03-28
CN107867405A (zh) 2018-04-03
CN107867405B (zh) 2023-04-11
KR102372790B1 (ko) 2022-03-18
EP3299299B1 (en) 2021-03-24
JP2018095231A (ja) 2018-06-21
US20210392317A1 (en) 2021-12-16
JP6951138B2 (ja) 2021-10-20
US20180091797A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
KR102372790B1 (ko) 적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법
CA2975139C (en) Stereo camera system for collision avoidance during aircraft surface operations
CN107741229B (zh) 一种光电/雷达/惯性组合的舰载机着舰导引方法
US20180313940A1 (en) Calibration of laser and vision sensors
EP2917874B1 (en) Cloud feature detection
CN105716625B (zh) 用于自动地检测飞行器的监测传感器的失准的方法和系统
US10796425B1 (en) Imagery-based member deformation gauge
US20140043481A1 (en) Strike Detection Using Video Images
CN101484360A (zh) 用于监控结构部件的状态的方法以及装置
US10740908B2 (en) Moving object
US20210319221A1 (en) Vessel Height Detection Through Video Analysis
CN1670479A (zh) 基于视频图像测量飞行器飞行高度的方法
EP3734544A1 (en) Systems and methods for video display
Nenchoo et al. Real-Time 3D UAV pose estimation by visualization
KR101957662B1 (ko) 표적 정보 산출 장치, 그 방법 및 이를 포함하는 비행 제어 시스템
KR102316012B1 (ko) 드론에 구비된 카메라 영상을 이용하여 드론 전방의 비행물체와의 충돌 가능성 판정 장치 및 방법
CN109754412B (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
Theuma et al. An image processing algorithm for ground navigation of aircraft
JP6950273B2 (ja) 飛行物体位置検知装置、飛行物体位置検知システム、飛行物体位置検知方法及びプログラム
Molloy et al. HMM relative entropy rate concepts for vision-based aircraft manoeuvre detection
JP6328443B2 (ja) カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム
Balashov et al. Aerial vehicles collision avoidance using monocular vision
EP3093690A1 (en) Adaptive point cloud window selection
Forlenza et al. A hardware in the loop facility for testing multisensor sense and avoid systems
EP3399500B1 (en) Method and system for calculating the trajectory of a store ejected from an aircraft

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant