KR102372790B1 - 적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법 - Google Patents
적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102372790B1 KR102372790B1 KR1020170102978A KR20170102978A KR102372790B1 KR 102372790 B1 KR102372790 B1 KR 102372790B1 KR 1020170102978 A KR1020170102978 A KR 1020170102978A KR 20170102978 A KR20170102978 A KR 20170102978A KR 102372790 B1 KR102372790 B1 KR 102372790B1
- Authority
- KR
- South Korea
- Prior art keywords
- wing
- aircraft
- camera
- cameras
- distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000033001 locomotion Effects 0.000 title claims description 99
- 230000007935 neutral effect Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 31
- 230000002596 correlated effect Effects 0.000 claims description 14
- 238000005452 bending Methods 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 230000002265 prevention Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 241000195493 Cryptophyta Species 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000007667 floating Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H04N5/2328—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0073—Surveillance aids
- G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
- G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H04N5/247—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D2045/0095—Devices specially adapted to avoid bird strike
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Astronomy & Astrophysics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
이 방법은 적어도 하나의 항공기(30) 날개(31,32)가 굽혀지는 것에 기인하여 항공기(30)의 제1 및 제2 날개(31,32) 장착 카메라 사이의 거리 및 방향에서의 변경을 보상하는 단계가 제공된다. 이 방법은 항공기(30)의 중립 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라 및 제2 날개(32) 장착 카메라 사이의 제1 거리 및 방향을 결정하는 단계를 포함한다. 이 방법은 항공기(30)의 굽혀진 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라 및 제2 날개(32) 장착 카메라 사이의 제2 거리 및 방향을 결정하는 단계를 더 포함한다. 이 방법은 또한 제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 보상된 거리 및 방향을 제공하는데 이용하기 위한 실시간으로 변하는 거리 및 방향을 제공하는 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계를 포함한다.
Description
본 발명은 예컨대, 항공기 장착 카메라에 관련되어 있으며, 특히 적어도 2 개의 항공기 장착 카메라의 상대 움직임을 보완하는 장치 및 방법에 대한 것이다.
항공기는 예컨대, 물체 검출(object detection) 및 충돌 방지 시스템(collision avoidance system)의 부품으로 이용되는 2 개의 카메라를 포함할 수 있다. 본 발명에서, 하나의 카메라는 한쪽 항공기 날개의 일부분에 장착될 수 있고, 다른 카메라는 다른 쪽 항공기 날개의 일부분에 장착될 수 있다. 항공기의 날개는 굽혀지고 카메라는 상대적으로 서로 떨어져 있기 때문에, 카메라 사이의 거리와 방향은 예컨대, 비행시 날개의 진동 때문에 크게 변할 수 있다. 카메라 사이의 거리와 방향의 변경의 결과로 시스템은 항공기 쪽으로 접근하는 물체와의 충돌을 피하기 위해 예컨대, 조류와 같은 물체의 위치를 입체적으로(stereoscopically) 정확히 측정할 수는 없다. 2 개의 항공기 장착 카메라 사이의서 변하는 거리와 방향이 보상되는 장치 및 방법을 제공하는 것이 바람직하고, 이로써 시스템이 항공기로 접근하는 물체의 위치를 정확하게 측정할 수 있다.
하나의 측면에 있어서, 적어도 하나의 항공기(30) 날개(31,32)가 굽혀지는 것에 기인하여 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법이 제공된다. 이 방법은 항공기의 중립 날개 상태 동안 제1 날개 장착된 카메라 및 제2 날개 장착 카메라 사이의 제1 거리 및 방향을 측정하는 단계; 항공기의 굽혀진 날개 상태 동안 제1 날개 장착 카메라 및 제2 날개 장착 카메라 사이의 제2 거리 및 방향을 측정하는 단계; 및 제1 및 제2 날개 장착 카메라 사이의 보상된 거리 및 방향을 제공하는데 이용하기 위한 실시간으로 변하는 거리 및 방향을 제공하도록 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계;를 구비하여 구성된다.
다른 측면에 있어서, 이 방법은 왼쪽 및 오른쪽 항공기 날개의 굽힘에 기인하여 카메라 사이의 거리 및 방향의 변경을 보상하기 위해 항공기 왼쪽 날개 장착 카메라 및 항공기 오른쪽 날개 장착 카메라에 의해 캡처된 이미지 데이터를 처리하는 단계가 제공된다. 이 방법은 항공기 왼쪽 날개와 관련된 왼쪽 노즈 템플릿에 대해 왼쪽 날개 장착 카메라로부터 캡처된 이미지를 상관시키는 단계, 왼쪽 항공기 날개의 움직임과 관련된 상대적 움직임을 제거하기 위해 왼쪽 날개 장착 카메라에 의해 캡처된 적어도 하나의 이미지 프레임으로부터의 이미지 데이터를 변환시키는 단계, 항공기 오른쪽 날개와 관련된 오른쪽 노즈 템플릿에 대해 오른쪽 날개 장착 카메라로부터 캡처된 이미지를 상관시키는 단계, 오른쪽 날개의 움직임과 관련된 상대적 움직임을 제거하기 위해 오른쪽 날개 장착 카메라에 의해 캡처된 적어도 하나의 이미지 프레임으로부터의 이미지 데이터를 변환시키는 단계를 구비하여 구성된다.
또다른 측면에 있어서, 이 장치는 항공기에 장착된 물체 검출 및 충돌 방지 시스템을 위해 제공된다. 이 장치는 항공기의 일부분에 부착된(attached) 제1 카메라 및 항공기의 다른 부분에 부착된 제2 카메라를 구비하여 구성된다. 제1 및 제2 카메라는 협동해서 비행경로에서 물체의 이미지를 캡처한다. 이 장치는 제1 카메라 및 제2 카메라 사이의 실시간 거리 및 방향을 계산하도록 구성된 움직임 보상 모듈을 더 구비하여 구성된다. 이 장치는 또한, 제1 카메라 및 제2 카메라 사이의 계산된 실시간 거리를 토대로 항공기 및 물체 사이의 거리를 계산하도록 구성된 검출 모듈을 구비하여 구성된다.
이외의 다른 측면들은 다음의 자세한 설명, 도면 그리고 첨부된 청구항으로부터 분명해질 것이다.
도 1은 실시예에 따른 항공기에 장착된 물체 검출 및 충돌 방지 시스템을 구현하는 예시적인 항공기의 개략적인 도해이다.
도 2는 도 1의 항공기에 장착된 물체 검출 및 충돌 방지 시스템의 블록도이며, 실시예에 따라 구성된 장치를 보여준다.
도 3은 항공기 왼쪽 날개에 장착된 카메라로부터 도 1의 예시적인 항공기 노즈의 왼쪽면 이미지이다.
도 4는 항공기 오른쪽 날개에 장착된 카메라로부터 도 1의 예시적인 항공기 노즈의 오른쪽면 이미지이다.
도 5a, 도 5b, 및 도 5c는 도 4의 항공기 오른쪽 날개에 장착된 카메라로부터의 연속된 이미지이며, 항공기 노즈의 일부분에서 날개의 상대적 움직임 효과를 보여준다.
도 6는 도 5a 도 5b, 및 도 5c에서 보여진 날개의 상대적 움직임 효과를 제거한 이미지 변환 효과를 보여주는 보상된 이미지이다.
도 7은 움직임 보상 방법이 구현되지 않을 때, 물체 검출 및 충돌 방지 방법을 도시한 흐름도이다.
도 8은 실시예에 따라 움직임 보상 방법이 구현됐을 때, 물체 검출 및 충돌 방지 방법을 도시한 흐름도이다.
도 9는 항공기 왼쪽 날개에 장착된 카메라 및 항공기 왼쪽 날개에 장착된 다른 카메라에 상대적 물체의 거리 좌표(x,y,z)를 보여주는 예시적 시나리오의 좌표도이다.
도 2는 도 1의 항공기에 장착된 물체 검출 및 충돌 방지 시스템의 블록도이며, 실시예에 따라 구성된 장치를 보여준다.
도 3은 항공기 왼쪽 날개에 장착된 카메라로부터 도 1의 예시적인 항공기 노즈의 왼쪽면 이미지이다.
도 4는 항공기 오른쪽 날개에 장착된 카메라로부터 도 1의 예시적인 항공기 노즈의 오른쪽면 이미지이다.
도 5a, 도 5b, 및 도 5c는 도 4의 항공기 오른쪽 날개에 장착된 카메라로부터의 연속된 이미지이며, 항공기 노즈의 일부분에서 날개의 상대적 움직임 효과를 보여준다.
도 6는 도 5a 도 5b, 및 도 5c에서 보여진 날개의 상대적 움직임 효과를 제거한 이미지 변환 효과를 보여주는 보상된 이미지이다.
도 7은 움직임 보상 방법이 구현되지 않을 때, 물체 검출 및 충돌 방지 방법을 도시한 흐름도이다.
도 8은 실시예에 따라 움직임 보상 방법이 구현됐을 때, 물체 검출 및 충돌 방지 방법을 도시한 흐름도이다.
도 9는 항공기 왼쪽 날개에 장착된 카메라 및 항공기 왼쪽 날개에 장착된 다른 카메라에 상대적 물체의 거리 좌표(x,y,z)를 보여주는 예시적 시나리오의 좌표도이다.
본 발명은 적어도 2 대의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법에 관한 것이다. 특정 장치, 움직임 보상 방법, 그리고 장치 및 움직임 보상 방법이 구현되는 산업은 변할 수 있다. 본 발명이 다양한 실시예의 여러 특성을 구현하기 위한 다수의 실시예와 예시를 제공함이 이해될 수 있을 것이다. 구성요소 및 배열의 특정 예가 본 발명을 간소화하기 위해 설명된다. 이들은 단지 예시일 뿐이며, 제한하고자 하는 의도가 아니다.
예컨대, 본 발명은 FAA(Federal Aviation Administration) 규정에 따라 항공기용 장치 및 움직임 보상 방법을 설명한다. FAA 규정의 설명서는 이미 알려졌으므로 설명되지 않을 것이다.
도 1을 참조하여, 일반적으로 도면 부호 10으로 지시된, 실시예에 따른 장치를 구현한 항공기에 장착된 물체 검출 및 충돌 방지 시스템은 운송 수단(12;vehicle)에 관련되어 이용될 수 있다. 운송 수단(12)은 (예컨대, 화살표(14) 방향에 의해 가리켜지는 방향으로) 경로(path)를 따라 움직일 수 있다. 물체(16)는 (예컨대, 화살표(18) 방향에 의해 가리켜지는 방향으로) 경로를 따라 움직일 수 있다. 상대적 위치 및/또는 운송 수단(12) 및/또는 물체(16)의 상대적 이동에 따라서, 물체(16)는 운송 수단(12)에 (예컨대, 부딪힘) 영향을 받을 수 있다. 당업자는 운송 수단(12) 및 물체(16)가 도 1에서 크기를 조정하기 위해 도시될 필요가 없을 수 있음을 이해할 수 있을 것이다.
도 1에 도시된 실시예에서, 운송 수단(12)은 소정 형태의 항공기(30)일 수 있다. 제한 없이 예를 들면, 항공기(30)는 고정익, 회전익, 또는 비행선 보다 가벼운 항공기일 수 있다. 항공기(30)는 유인(manned) 또는 무인(unmaned)일 수 있다. 하나의 예에서, 항공기(30)는 항공사에 의해 운행되는 상업적 여객기, 민간 기업 또는 공공 단체에 의해 운행되는 화물수송기, 군대 또는 다른 정부 단체에 의해 운용되는 군용기, 개인에 의해 운행되는 개인 항공기 또는 다른 항공기 조종자에 의해 운행되는 다른 종류의 항공기 일 수 있다. 다른 예에서, 항공기(30)는 원격 조종자에 의해 운행되는 무인 항공기(unmanned aerial vehicle;UAV)일 수 있다. 따라서 당업자는 운송 수단(12)(예컨대, 항공기(30))이 어떠한 임무를 수행하기 위해 지정될 수 있으며, 운송 수단(12)의 어떠한 조종자에 의해 운행될 수 있다.
물체(16)는 운송 수단(12)에 잠재적으로 부딪힐 수 있는 어떠한 물체일 수 있다. 하나의 예에서, 물체(16)는 운송 수단(12)의 경로(14)와 만날 수 있는 경로(18)를 따라 하늘에 떠서 움직이는 물체일 수 있다. 예컨대, 도 1에서 도시된 바와 같이, 물체(16)는 조류(34)일 수 있다. 제한 없이 다른 예에서, 물체(16)는 다른 항공기, 또는 다른 하늘에 떠 있는 인공적인 또는 자연적인 물체일 수 있다.
본 발명에서 "부딪힘(strike)", "걸림(stuck)","충돌(collision)","맞부딪힘(collide)" 및 이와 유사하고 연관된 용어는 운송 수단(12) 및 물체(16)의 충격(impact)을 지칭할 수 있다. 예를 들면, "운송 수단에 부딪히는 또는 잠재적으로 부딪히는 물체"는 움직이는 물체(16)(예컨대, 하늘에 떠있는 물체)와 충격하는 움직이는 운송 수단(12)을 나타낼 수 있다.
도 2를 참조하여, 시스템(10)은 적어도 하나의 이미지 캡처 모듈(20;image capture module)을 포함할 수 있다. 이미지 캡처 모듈(20)은 도 1에 보이는 운송 수단(12)(예컨대, 항공기(30))에 연결될 수 있다. 이미지 캡처 모듈(20)은 이미지(24)의 대표 이미지 데이터를 얻기 위해 구성된 적어도 2 개의 카메라(21,22)를 포함할 수 있다. 예시적 구현에 있어서, 적어도 2 개의 카메라(21,23) 각각은 (예컨대, 90도 보다 더 큰) 광시야각 카메라를 구비한다. 이 적어도 2 개의 카메라(21,22)는 같은 종류의 카메라 또는 여러 다수의 종류의 카메라를 포함할 수 있다. 예를 들면, 적어도 2 개의 카메라(21,22)는 하나 이상의 비디오 카메라를 포함할 수 있다. 논의의 간소화 및 명료화를 위해, 2 개의 카메라(21,22)만이 여기서 설명될 것이다.
2 개의 카메라(21,22)는 이미지(24)(예컨대, 비디오 이미지(26))를 획득하기 위해 파장 및/또는 진동수의 일정 범위 또는 어떤 범위 이상에서 작동될 수 있다. 제한 없이 예를 들면, 2 개의 카메라(21,22)는 적외선, 근적외선, 가시광선, 자외선, 그 밖의 파장, 또는 파장의 조합에서 이미지(24)를 획득하도록 구성될 수 있다. 2 개의 카메라(21,22)는 편광된 빛으로부터 이미지(24)를 획득하도록 구성될 수 있다.
하나의 예에서, 2 개의 카메라(21,22)는 하나 이상의 장파장 적외선(long wavelength infrared;"LWIR") 카메라를 포함할 수 있다. 다른 예에서, 2 개의 카메라(21,22)는 단파장 적외선(short wavelength infrared;"SWIR") 카메라를 포함할 수 있다. 또 다른 예에서, 2 개의 카메라(21,22)는 하나 이상의 장파장 적외선 카메라, 중파장 적외선(med wavelength infrared) 카메라, 그리고 단파장 적외선 카메라의 조합을 포함할 수 있다.
실시예에서, 이미지(24)는 비디오 이미지(25)일 수 있다. 비디오 이미지(26)는 일정 주기 (예컨대, 30㎐) 이상으로 빠르게 찍힌 디지털 비디오 이미지 프레임의 연속적인 시리즈(series)를 포함할 수 있다. 2 개의 카메라(21,22)에 의해 제공된 이미지(24)는 하나 이상의 물체(16)의 존재를 검출하기 위해, 및 물체(16)의 하나 이상의 특징을 확인하기 위해 이용될 수 있다.
다시 도 1을 참조하면, 이미지 캡처 모듈(20)은 시야(40;field of view)를 포함할 수 있다. 예를 들면, 2 개의 카메라(21,22)는 시야(40)를 포함할 수 있다. 예컨대, 2 개의 카메라(21,22)는 방해받지 않은 시야(40)를 갖고, 앞을 보고 있는 운송 수단(12)에 장착될 수 있다. 시야(40)는 점선(28) 및 점선(29) 사이에서 (예컨대, 운송 수단(12)의 이동 방향(14)에서) 운송 수단(12) (예컨대, 항공기(30))의 목표 영역(15;target area)에 의해 규정될 수 있다. 예를 들면, 목표 영역(15)은 운송 수단(12)의 앞쪽으로 확대되는 원뿔형 영역을 포함한다. 물체(16)(예컨대, 조류(34))는 시야(40) 내에 있을 수 있다. 그러므로 2 개의 카메라(21,22)로부터 이미지(24)는 물체(16)의 이미지를 포함할 수 있다.
실시예에서, 2 개의 카메라(21,22)는 결합된 시야(combined field of view)를 포함할 수 있다. 다른 실시예에서, 2 개의 카메라(21,22)는 겹쳐진 시야(27;overlapping field of view)를 포함할 수 있다. 예를 들면, 시스템(10)이 스테레오 솔루션(stereo solution)(예컨대, 입체시(stereo vision))을 이용하는 운송 수단(12)과 연관된 물체(16)의 거리를 측정하기 위해 2 개의 카메라(21,22)가 겹쳐진 시야(27)를 포함해서 이용될 수도 있다.
2 개의 카메라(21,22)는 적당한 또는 적절한 위치에서 운송 수단(12)에 장착될 수 있다. 설명의 간소화 및 목적을 위해, 도 1에서 개략적으로 보여진 바와 같이, 하나의 카메라(21)는 항공기(30)의 날개(31)의 말단에 장착되고, 다른 카메라(22)는 항공기(30)의 다른 날개(32)의 말단에 장착된다. 당업자는 2 개의 카메라(21,22)가 다른 적당한 또는 적절한 위치에서 운송 수단(예컨대, 항공기(30))에 장착될 수 있음을 알 수 있을 것이다.
이미지 캡처 모듈(20)의 2 개의 카메라(21,22)는 다양한 위치와 방향에서 운송 수단(12)에 연결될 수 있다. 예를 들면, 2 개의 카메라(21,22)는 어떤 적절한 방향으로 향할 수 있다. 예를 들면, 2 개의 카메라(21,22)는 (예컨대, 시야(40) 내에서) 운송 수단(12)의 경로를 가로지르는, 또는 운송 수단(12)의 경로를 따라가는 물체(16)를 보기 위해서 (예컨대, 이동 방향(14)에서) 일반적으로 운송 수단(12)의 앞쪽으로 향할 수 있다.
다시 도 2를 참조하여, 시스템(10)은 검출 모듈(50;detection module)을 포함할 수 있다. 검출 모듈(50)은 이미지 캡처 모듈(20)에 의해 전송된 이미지(24)를 수신하도록 구성될 수 있다. 검출 모듈(50)은 이미지(24)를 처리하도록 구성될 수 있고, 물체(16)의 존재, 및 물체(16)가 운송 수단(12)에 부딪힐 가능성을 측정할 수 있다. 검출 모듈(50)은 또한 이미지(24)를 토대로 물체(16)의 다양한 특징을 측정하도록 및/또는 확인하도록 구성될 수 있다. 검출 모듈(50)은 또한 잠재적인 부딪힘의 다양한 특징을 측정하도록 구성될 수 있다.
그러나 검출 모듈(50)이 이미지(24)를 처리하기 전에, 이미지(24)는 실시예에 따라 구성된 움직임 보상 모듈(100;motion compensation module)을 포함하는 장치에 의해 처리된다. 움직임 보상 모듈(100)은 내부 데이터 저장 유닛(104;data storage unit), 외부 데이터 저장 유닛(도시되지 않음), 또는 이들의 조합에 저장된 명령을 실행하는 프로세싱 유닛(102;processing unit)을 포함한다. 프로세싱 유닛(102)은 어떠한 종류의 기술도 포함할 수 있다. 예를 들어, 프로세싱 유닛(102)은 전용 전자 프로세서(dedicated-purpose electronic processor)를 포함할 수 있다. 다른 종류의 프로세서 및 프로세싱 유닛 기술도 가능하다. 내부 데이터 저장 유닛(104)은 어떠한 종류의 기술을 포함한다. 예를 들면, 내부 데이터 저장 유닛(104)은 RAM(random access memory), ROM(read only memory), 솔리드 스테이트 메모리(solid state memory), 또는 이들의 다른 조합을 포함할 수 있다. 다른 종류의 메모리 및 데이터 저장 유닛 기술도 가능하다.
움직임 보상 모듈(100)은 더 나아가 어떠한 종류의 기술을 포함하는 다수의 입/출력(I/O) 장치(106)를 포함한다. 예를 들면, I/O장치(106)는 키패드, 키보드, 접촉 감지 표시 화면(touch sensitive display screen), LCD(liquid crystal display), 마이크로폰(microphone), 스피커(speaker), 또는 이들의 조합을 포함할 수 있다. 다른 종류의 I/O 및 기술이 가능하다.
움직임 보상 모듈(100)은 날개(31,32) 중 적어도 하나에서 굽힘 운동(flexing motion) 때문에 생긴 항공기(30)의 날개(31,32)의 말단에 장착된 2 개의 카메라(21,22) 사이의 거리와 방향(예컨대, 회전)의 변경을 보상하기 위해 이미지(24)를 처리한다. 더 자세하게, 프로세싱 유닛(102)은 날개(31,32) 중 하나 또는 양쪽의 굽힘 운동에 기인하여 2개의 카메라(21,22) 사이의 거리 및 방향의 변경을 보상하기 위해 데이터 저장 유닛(104)에 저장된 움직임 보상 프로그램(105)의 명령을 실행한다. 움직임 보상 모듈(100)의 작동은 아래에서 설명된다.
도 3을 참조하면, 이미지(300)는 왼쪽 날개 장착 카메라에서 보이는 비행기(30)의 다수의 여러 형상을 나타낸다. 이미지(300)의 형상은 승객석 창(passenger window) 형상(33), 항공기 문(aircraft door) 형상(34), 조종석 창(pilot window) 형상(35), 기체(fuselage) 형상(36), 및 항공기 상징 색(aircraft livery) 형상(37)을 포함한다. 이들은 단지 항공기(30)의 예시적인 형상이다.
도 4를 참조하면, 이미지(400)는 오른쪽 날개 장착 카메라에서 보이는 비행기(30)의 다수의 여러 형상을 나타낸다. 이미지(400)의 형상은 승객석 창(passenger window) 형상(43), 항공기 문(aircraft door) 형상(43), 조종석 창(pilot window) 형상(45), 기체(fuselage) 형상(46), 및 항공기 상징 색(aircraft livery) 형상(47)을 포함한다. 이들은 단지 항공기(30)의 예시적인 형상이다. 다른 종류의 형상들도 가능하다. 이미지(400)에서 형상은 상대 움직임 보상의 목적을 위한 비단순 상관관계(non-trivial correlation)를 만든다.
항공기 날개 왼쪽(31) 카메라로부터의 이미지(300) 및 항공기 날개 오른쪽쪽(32) 카메라로부터의 이미지(400)가 유사하다는 것은 명백하다. 두 이미지(300,400)는 같은 방법으로 움직임 보상 모듈(100)에 의해 처리된다. 간소화를 위해, 오른쪽 날개(32) 카메라(22)로부터의 이미지(400)의 이미지 프로세싱이 자세하게 설명될 것이다. 동일한 이미지 프로세싱의 세부사항이 항공기 날개 왼쪽 카메라(21)에 적용되는 것이 이해될 것이다.
도 5a를 참조하면, 오른쪽 날개 움직임이 없을 때 (예컨대, 중립 날개 상태 또는 오른쪽 날개의 굽힘이 없는) 항공기 날개 오른쪽(32) 장착 카메라(22)로부터의 이미지(510)가 보여진다. 이는 항공기의 오른쪽 면의 참고 이미지이며, 움직임을 측정하는 것과 관련된 오른쪽 날개 카메라로부터의 운항 중의 모든 이미지이다. 이미지는 스테레오 레인지 프로세스(stereo ranging process)에서 이용되는 2 개 이상의 카메라의 스테레오 켈리브레이션(stereo calibration)일 때 캡처된다. 이미지(510)에서, 항공기(30) 노즈 끝은 (점선으로 나타내진) 초기의 수평 참조선(512)에 평행하게 정렬한다. 또한, 이미지(510)에서 항공기(30)의 노즈끝은 (또한 점선으로 나타내진) 초기 수직 참조선(514)에 수직으로 정렬한다.
도 5b를 참조하면, 위쪽 방향(도 5b에서 화살표 "A"에 의해 나타내진 바와 같이)으로 오른쪽 날개 움직임을 가진 항공기 날개 오른쪽(32) 장착 카메라(22)로부터의 이미지(520)가 보여진다. 오른쪽 날개(32)가 위쪽으로 움직이면(즉, 한 종류의 굽혀진 날개 조건), 카메라(22)는 도 5b에서 이미지(520)처럼 보이는 여러 이미지를 캡처한다. 이미지(520)는 항공기(30)의 노즈 끝 및 항공기(30)의 형상이 아래쪽으로 이동했음을 (도 5b에서 화살표 "B"에 의해 보이는 바와 같이) 보여준다. 이미지(520)에서, 항공기(30)의 노즈 끝은 (점선으로 나타내진) 오프셋(offset) 수평 참조선(516)으로 정렬한다. 이 오프셋 수평 참조선(516)은 도 5b에서 보여진 거리 "d"에 의해 초기 수평 참조선(512)으로부터 오프셋 되었다. 오프셋 거리 "d"는 예를 들면, 오른쪽 날개(32)의 길이를 포함하는 다수의 요소에 따라 달라진다.
도 5c를 참조하여, (도 5c에서 오프셋 각 "φ"에 의해 보이는 바와 같이) 반시계방향으로 비틀어진 방향에서 오른쪽 날개 움직임을 가진 항공기 날개 오른쪽(32) 장착된 카메라(22)로부터의 이미지(530)가 보여진다. 오른쪽 날개(32)가 반시계방향으로 비틀어졌을 때(즉, 다른 종류의 굽혀진 날개 조건), 항공기 날개 오른쪽(32) 장착 카메라(22)는, 도 5c의 이미지(530)로 나타내진 바와 같이 여러 이미지를 캡처한다. 이미지(530)에서, 항공기(30)의 노즈 끝이 (도 5c의 이미지(530)에서 오프셋 각 "θ"에 의해 보여지는 바와 같이) 시계방향으로 비틀어진다. 이미지(530)에서 오프셋 각 "θ" 및 오프셋 각 "φ"은 비슷해야 한다.
도 5a, 도 5b, 및 도 5c는 항공기 날개 오른쪽(32) 장착 카메라(22)에 의해 캡처된 일련의 이미지, 및 캡처된 이미지에 대한 날개의 상대적 움직임 효과를 나타낸다. 도 5a의 이미지(510)는 날개의 움직임이 없음을 나타내고, 도 5b의 이미지(520)는 위쪽을 향한 날개의 움직임을 나타내며 그리고, 도 5c의 이미지(530)는 반시계방향으로 뒤틀린 날개의 움직임을 나타낸다. 다른 움직임은 유사하게 측정된다.
도 6을 참조하면, 도 5b 및 5c의 상대적 날개의 움직임 효과를 제거한 이미지 변환 효과를 보여주는 보상된 이미지(54)를 나타낸다. 보상된 이미지(540)는 도 5b의 이미지(520) 및 도 5c의 이미지(530)를 변환한 결과이다. 도 6에서 보여지는 바와 같이, 보상된 이미지(540)는 (도 5b) 이미지(520)에서 오프셋 거리 "d"가 0이 된 것, 및 (도 5c) 이미지(530)에서 오프셋 각 "θ"가 0이 된 것을 나타낸다.
도 7을 참조하면, 흐름도(700)는 움직임이 없을 때의 보상 방법이 구현된 물체 검출 및 충돌방지 방법을 묘사한다. 블록(730)에서, 왼쪽 날개 카메라(21)가 (예컨대, 이 예에서는 조류) 물체의 비디오 프레임을 연속적으로 캡처하고, 조류를 검출 및 세분화한다. 유사하게, 블록(740)에서, 오른쪽 카메라(22)는 물체의 비디오 프레임을 연속적으로 캡처하고, 조류를 검출 및 세분화한다. 왼쪽 및 오른쪽 날개 카메라(21,22)가 조류를 검출 및 세분화하고 난 뒤, 조류 물체는 블록(750)에 관련된다. 그 후에, 블록(760)에서 입체적인 차이(stereoscopic disparity)를 측정한다.
블록(750)으로부터 관련된 조류 물체 및 블록(760)에서 측정된 조류 물체의 입체적인 차이를 토대로, 조류의 범위(bird range) 및 조류의 범위 비율(bird range rate)이 블록(770)에서 보여지는 바와 같이 산출된다. 이 과정들은 이후에 조류의 충돌 지표(bird collision metrics)가 산출되는 블록(780)으로 진행된다. 블록(780)에서 조류의 충돌 지표 컴퓨터를 토대로 잠재적인 조류의 충돌이 측정되면, 이후에 블록(790)에서 보여지는 바와 같이 조종자에게 알람이 제공된다.
다음의 추가적인 설명이 도 7의 흐름도(700)에 관련되어 제공된다. 2 개의 카메라(21,22)가 입체적인 시야를 제공하기 때문에, 각각의 날개 끝의 앞에서 전체 시야가 처리되므로, 시야 안의 대부분의 모든 조류가 두 카메라(21,22)에 의해 보여질 수 있다. 입체영상(stereoscopy)이 각 조류의 범위를 각 카메라 프레임 시간에 계산되도록 허용하기 때문에, 입체영상의 기술(stereoscopic technology)이 조류N의 i번째에 대한 상대적 조류의 범위() 및 범위의 비율()을 측정하기 위해 이용될 수 있다. 각각의 조류가 항공기(30)로 접근할 때, 이 범위는 다음의 간단한 충돌 지표 수식을 토대로 임의의 시점(T) 이전에, 조류의 충돌 수를 예측하기 위해 이용될 수 있다.
위 수식에 대한 예시적인 계산으로서, C(T)는 T를 10초로 지정한 2 개의 카메라(21,22)로부터 계산된 모든 비디오 프레임일 수 있다. 최종 정수 C(10)은 이것이 0에서 0이 아닌 값까지 증가할 때 경보가 울리는 알람을 구동시킬 수 있다. 이 알람은 숫자가 커지는 위기 상황에서 증가한다. 따라서 다수의 임박한 조류의 충돌의 가능성은 이 상황이 하나의 조류가 "충돌"하는 것보다 엔진 고장 및 손상으로 이어지기 훨씬 더 쉽다는 사실을 잡아낸다.
도 8을 참조하여, 흐름도(800)는 실시예에 따라서 구현된 움직임 보상 방법에서의 도 7의 물체 검출 및 충돌 방지 방법을 묘사한다. 블록(810)에서, 왼쪽 노즈 템플릿(left nose template)이 상관(correlated)된다. 이후, 블록(820)에서 왼쪽 날개 카메라(21)로부터의 이미지가 왼쪽 날개 움직임(상하 수직 움직임 및 반/시계방향 비틀림 움직임 모두)을 제거하기 위해 블록(810)의 교정된 템플릿을 토대로 변환된다. 유사하게 블록(812)에서 오른쪽 노즈 템플릿이 상관된다. 이후, 블록(814)에서, 오른쪽 날개 카메라(22)로부터의 이미지가 오른쪽 날개 움직임(상하 수직 움직임 및 반/시계방향 비틀림 움직임 모두)을 제거하기 위해 블록(812)의 상관된 노즈 템플릿을 토대로 변환된다.
다음의 추가적인 설명은 도 8의 흐름도(800)에 관하여 제공된다. 2 개의 카메라(21,22) 사이에서 조류 물체를 관련시키기 위해, 그리고 이들의 차이(즉, 2 개의 카메라(21,22)의 시야 범위에서 주어진 조류의 외관상 위치(apparent location)의 차이)를 계산하기 위해 카메라의 상대적 위치를 변화시키기 위해 야기된 날개의 움직임이 보상될 필요가 있다. 움직임 보상 모듈(100)을 포함하는 장치가 여기서 설명된다.
항공기(30)의 앞 부분은 적어도 2 개의 카메라(21,22)의 (각각은 한쪽만 본다) 각각의 카메라로부터 볼 수 있다. 항공기 날개(31,32)가 굽혀질 때, 항공기(30)의 노즈의 외관상 위치가 변한다. 카메라(22)로부터 항공기(30)의 노즈의 외관상 위치(apparent location)에서 변화는 오른쪽 노즈 템플릿을 구성하고, 오른쪽 노즈 템플릿에 대해 카메라(22)로부터 캡처된 이미지(24)를 상관시킴으로써 쉽게 추적될 수 있다. 오른쪽 노즈 템플릿은 예를 들어, 도 5a에서 보여진 캡처된 이미지(510)를 포함할 수 있다. 도 5b는 윗 방향의 날개 움직임을 가진 항공기 날개 왼쪽(32) 카메라(22)에 상관되어 무슨 일이 일어났는지를 나타낸다. 도 5c는 반시계방향으로 뒤틀린 날개 움직임을 가진 항공기 오른쪽(32) 카메라(22)와 상관되어 무슨 일이 일어났는지를 나타낸다.
카메라(22)로부터 캡처된 노즈 이미지(24)가 상관될 때, 예를 들면 도 4에서 보여진 형상(43,44,45,46,47)과 같은, 항공기(30)의 형상이 도 8의 블록(812)에서 보여지는 바와 같이, 오른쪽 노즈 템플릿에 대해 상관에 이용된다. 상관하기 위한 최고 형상(best feature)은 오른쪽 노즈 템플릿이 현재 노즈 이미지와 일치할 때, 상관 피크(correlation peak)를 야기시키기 위해 다수의 파생된 이미지를 모두 더한 것이다.
상관 피크의 이동은 2차원 픽셀 공간(pixel space)에서의 이동(변위)을 측정한다. 이 변위의 대해 픽셀에서 조류의 위치를 조정함으로써, 항공기 날개 오른쪽(32)의 굽힘 운동에 의한 카메라(22)의 상대적 움직임에 대해 카메라(22)의 픽셀 공간에서 그들의 위치가 조정되어진다. 픽셀 공간에서 조류의 위치의 조정은 여기에서 설명된 도 6의 보상된 이미지(540)와 같이 보여진다.
위에서 설명된 상관은 카메라(22)의 렌즈 왜곡이 선보정(pre-calibration) 동안 보상되었다고 가정한다. 이 보정 단계는 x-y 공간(항공기의 참조 기준 평면)에서의 각 및 항공기의 참조 기준 평면의 벌어진 상하각 인 솔리드 각 벡터(solid angle vector)에 대한 픽셀 위치(x,y)를 보여주는 고정 함수 p( )의 생성을 허용한다.
이는 다음의 함수에 의해 나타내진다.
위의 함수는 물체 검출 및 충돌 방지 시스템(10)의 최종 설치 동안 규정되고, 주기적인 조정 간격으로 업데이트된다.
도 9를 참조하면, 예시적인 시나리오의 좌표도(900)는 항공기 날개 왼쪽(31)에 장착된 카메라(21) 및 항공기 날개 오른쪽(32)에 장착된 카메라에 연관된 물체(16)(즉, 본 예에서는 조류(34))의 거리 좌표 (x,y,z)를 나타낸다. 도 9에서 보여주는 바와 같이, 이는 충격 지점의 항공기가 좌표도(900)의 중심 (즉, (0,0,0)의 (x,y,z) 좌표)에 있다고 가정한다.
위의 함수 의 예시적인 계산에 따라, 날개(32,32)의 끝에서 는 왼쪽 카메라(21)의 위치(z는 0으로 가정된다) 그리고 는 오른쪽 카메라(22)의 위치로 한다. 도 9에서 보여지는 바와 같이, 다음은 l과 r에 대한 좌표이다.
이후, 각 카메라 및 의 픽셀 공간에서 조류의 위치는, 그들의 위치가 각 와 , 및 카메라 위치에 의해 주어진 공간에서의 점에 의한 선을 따라서 물리적인 공간 선(space line)으로 주어진다. 이 두 선은 다음의 일차원적 매개 변수 방식에 의해 규정된다.
여기서 a 및 b 방향 벡터는 (p() 함수를 이용) 구형에서 직교 좌표로 변환되어 측정된다:
s = 알 수 없는 변수
t = 알 수 없는 변수
최근접 교차점 c는 다음과 같이 계산될 수 있다.
m2는 방향 벡터 a 및 b의 외적연산의 내적연산이다.
R은 위에서 표시된 바와 같이 규정된다.
r은 오른쪽 날개에 장착된 카메라에 대한 방향 벡터이다.
l은 왼쪽 날개에 장착된 카메라에 대한 방향 벡터이다.
또한 다음의 변수를 규정한다:
최근접 교차점 c는 다음과 동일하다:
상기 식별된 방정식의 예시적인 계산을 보여주는 예시적인 시나리오는 도 9에서 보여지는 좌표에 관해 이곳에서 설명된다.
첫째, 항공기(30)는 위치(0,0,0) 중심에 있고, 조류(34)는 위치(800, -200,100)에 있으며, 항공기 날개 왼쪽(31) 카메라(21)는 (-40,120,0), 및 항공기 날개 오른쪽(32) 카메라(22)는 (-40, -120,0)에 위치해 있다고 가정한다. 예컨대, 렌즈 왜곡이 없는 1001x1001 픽셀 카메라에 대해, 왼쪽 카메라(21) 및 오른쪽 카메라(22)에 대한 다음 각은 아래와 같이 계산될 수 있다.
둘째, 각각의 카메라(21,22)는 수평 및 수직 방향 모두에서 120도의 시야각을 가진다. 왼쪽 및 오른쪽 카메라(21,22)에서 조류(34)의 픽셀 위치는 다음과 같이 표현될 수 있다.
도 9에서 보여진 조류(34) 및 카메라(21,22)의 좌표를 토대로, 왼쪽 및 오른쪽 카메라(21,22)에서 조류(34)에 대한 상기 식별된 픽셀 위치는 [-173.7872, 52.8997] 및 [-45.3361, 56.3223]으로 산출된다. 이 픽셀 위치는 이상적인 카메라가 주는 보간된(interpolated) 픽셀 위치일 수 있다. 이전 픽셀 위치 계산이 완료되지 않았음에 특히 주의해야 하지만, 조류(34)는 각 프레임에 대한 카메라 이미지의 픽셀 공간 안에서 찾을 수 있다. 각 의 정도는 다음과 같다:
[-20.8545, -5.4403, 6.3480, 6,7587]
조류(34)에 대한 카메라(21,22)로부터의 선에 대한 정규화 된 벡터 a 및 b는 다음과 같다.
a = [0.9288, -0.3538, 0.1106]
b = [0.9886, -0.0942, 0.1177]
또한, 카메라(21,22) 및 조류(34) 사이 두 선 사이의 최근접점 c를 산출한 계산은 다음과 같다.
따라서, 최종점(이 경우 실제 조류의 위치)은 중간점 c로 다음과 같이 계산될 수 있다:
여기에서는 움직임 에러가 (항공기 날개(31,32)의 굽힘에 의해서) 실제 시스템에서의 경우와 같이 계산에 포함되지 않았기 때문에, q1 및 q2 모두 동일하고, 정확한 답이란 것에 특히 주의해야 한다.
위에서 설명된 날개 움직임 에러 보상이 왼쪽 날개 카메라(21)에 대한 블록(810,820) 및 오른쪽 날개 카메라(22)에 대한 블록(812,814)을 토대로 수행된다. 도 8의 과정은 블록(830,840)으로 진행된다. 도 8의 블록(830)에서, 왼쪽 날개 카메라(21)은 물체(즉, 본 예에서는 조류)의 비디오 프레임을 연속적으로 캡처하고, 조류를 검출 및 세분화한다. 유사하게, 블록(840)에서, 오른쪽 날개 카메라는 조류의 비디오 프레임을 연속적으로 캡처하고, 조류를 검출 및 세분화한다. 왼쪽 및 오른쪽 카메라(21,22)가 조류를 검출 및 세분화한 후, 조류 물체는 블록(850)과 관련된다. 블록(850)으로부터 관련된 조류 물체 및 블록(860)에서 측정된 조류 물체의 입체적인 차이를 토대로, 조류 범위 및 조류 범위 비율이 블록(870)에서 보여지는 바와 같이 산출된다.
더 자세하게, 항공기(30)로부터 조류의 범위(즉,)는 c의 놈(norm) 또는 와 같이 계산될 수 있고, 이는 항공기(30)의 날개(31,32) 사이의 중심점(즉, (0,0,0))에 대한 조류의 범위가 된다. 이는 카메라(21,22)의 동기화된 비디오 프레임 각각에 대해 계산될 수 있다. 따라서, 예를 들면, 30㎐ 프레임 비율(즉,)은 33.3㎳마다 식별된 조류 각각에 대한 새로운 범위를 의미한다. 일반적으로, 범위는 프레임마다 범위 비율(즉,)이 다음의 방정식을 이용해서 계산되도록 허락한다.
도 8의 과정은 조류 충돌지표가 산출되는 블록(880)으로 진행된다. 만약 블록(880)에서 산출된 조류 충돌 지표를 토대로 잠재적인 조류 충돌이 측정되면, 블록(890)에서 보여지는 바와 같이 조종자에게 알람이 제공된다. 그러나 만약 블록(880)에서 산출된 조류 충돌 지표를 토대로 잠재적인 조류 충돌이 없다면, 이 과정은 왼쪽 및 오른쪽 날개 카메라(21,22) 각각에 대한 다음 이미지 프레임을 처리하기 위해 블록(810) 및 블록(812)으로 돌아간다.
움직임 보상 방법 구현에 대한 노즈드화 된 명령어는 대용량 기억장치, 휘발성 기억장치, 비휘발성 기억장치, 및/또는 CD 또는 DVD와 같은 제거가능 유형 컴퓨터 판독가능 저장 매체(removable tangible computer readable storage medium)에 저장될 수 있다.
움직임 보상 방법은 도 1과 관련되어 논의된 예시적인 움직임 보상 모듈(100)에서 보여진 프로세싱 유닛(102)과 같은 프로세서에 의한 실행을 위해 프로그램을 포함하는 명령어 판독가능 기계를 이용해서 구현될 수 있다. 프로그램은 CD ROM, 플로피 디스크, 하드 드라이브, DVD(digital versatile disk), 블루 레이 디스크, 또는 프로세싱 유닛(102)과 관련된 메모리와 같은 유형 컴퓨터 판독가능 저장 매체에 저장된 소프트웨어에서 구현될 수 있지만, 전체 프로그램 및/또는 그것의 부분은 대안적으로 프로세싱 유닛(102) 외의 다른 장치에 의해 실행되는 것, 및/또는 펌웨어 또는 전용 하드웨어에서 구현되는 것일 수 있다. 예시적인 움직임 보상 모듈(100)을 구현하는 많은 다른 방법이 대안적으로 이용될 수 있다. 블록의 실행 순서는 바뀔 수 있으며, 그리고/또한 도 8에서 보여진 예시적인 흐름도(800)와 관련하여 설명된 블록의 몇몇이 바뀔 수 있고, 제거되거나 결합될 수 있다.
위에서 언급한 바와 같이, 도 8의 예시적인 움직임 보상 방법은 임의의 기간 동안 정보가 (예컨대, 정보의 영구적으로 연장된 기간, 짧은 인스턴스(instance), 임시적인 버퍼링, 및/또는 캐싱(caching)을 위해) 하드 디스크 드라이브, 플래시 메모리, ROM, CD, DVD, 캐시(cache), RAM 및/또는 임의의 다른 저장장치 또는 저장 디스크에 저장되는 유형 컴퓨터 판독가능 저장 매체에 저장된 노즈드화된 명령을 이용해서 구현될 수 있다. 이곳에서 이용되는 대로, 유형 컴퓨터 판독가능 저장 매체라는 용어는 특별히 컴퓨터 판독가능 저장 장치 및/또는 저장 디스크의 어떠한 종류를 포함하고, 신호를 전파하는 것 및 미디어의 전송은 제외하도록 규정된다. 이곳에서 이용되는 대로, "유형 컴퓨터 판독가능 저장 매체" 및 "유형 기계 판독가능 저장 매체"가 교차로 이용된다.
추가 또는 대안적으로, 도 8의 예시적인 움직임 보상 방법은 임의의 기간 동안 정보가 (예컨대, 정보의 영구적으로 연장된 기간, 짧은 인스턴스, 임시적인 버퍼링, 및/또는 캐싱을 위해) 하드 디스크 드라이브, 플래시 메모리, ROM, CD, DVD, 캐시, RAM 및/또는 임의의 다른 저장장치 또는 저장 디스크에 저장되는 비일시적 컴퓨터 및/또는 기계 판독가능 매체에 저장된 노즈드화된 명령어 (예컨대, 컴퓨터 및/또는 기계 판독가능 명령어)를 이용해 구현될 수 있다. 이곳에서 이용되는 대로, 비일시적인 컴퓨터 판독가능 매체란 용어는 특별히 컴퓨터 판독가능 저장 장치 및/또는 저장 디스크의 어떠한 종류를 포함하고, 신호를 전파하는 것 및 미디어의 전송은 제외하도록 규정된다. 이곳에서 이용되는 대로, "적어도"라는 구절이 청구항의 전문에서 전환 구문과 같이 이용될 때, 이는 "포함하는" 구문이 제한이 없는 것과 같이, 마찬가지로 제한이 없다.
예시적인 항공기에 장착된 물체 검출 및 충돌 방지 시스템(10)을 구현하는 예시적인 수단이 도 2에서 보여지지만, 도 2에서 보여진 하나 이상의 요소, 프로세스 및/또는 장치가 다른 어떠한 방법으로 결합되고, 분리되고, 재배열되고, 생략되고, 제거되고 및/또는 구현될 수 있다. 더 나아가, 예시적인 움직임 보상 모듈(100) 및/또는 더욱 일반적으로, 도 2의 예시적인 항공기에 장착된 물체 검출 및 충돌 방지 시스템(10)이 하드웨어, 소프트웨어, 펌웨어 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떠한 결합에 의해 구현될 수 있다. 따라서, 예를 들어, 어떠한 예시적인 움직임 보상 모듈(100) 및/또는, 더욱 일반적으로, 예시적인 항공기에 장착된 물체 검출 및 충돌 방지 시스템(10)은 하나 이상의 아날로그 또는 디지털 회로(들), 논리 회로, 프로그래머블 프로세서(들)(programmable processor), 주문형 집적 회로(들)(application specific integrated circuit;ASIC), 프로그래머블 논리 장치(들)(programmable logic device;PLD) 및/또한 필드 프로그래머블 논리 장치(들)(field programmagle logic device;FPLD)에 의해 구현될 수 있다.
전적으로 소프트웨어 및/또는 펌웨어 구현을 포함시키기 위한 이 특허의 어떤 장치 또는 시스템 청구항을 읽을 때, 예시적인 움직임 보상 모듈(100) 및/또는, 더욱 일반적으로, 예시적인 항공기에 장착된 물체 검출 및 충돌 방지 시스템(10) 중 적어도 하나는, 소프트웨어 및/또는 펌웨어를 저장하는 메모리, DVD, CD, 블루 레이 디스크, 등등과 같은 유형 컴퓨터 판독가능 저장 장치 또는 저장 디스크를 포함시키도록 분명히 규정된다.
날개(31,32)의 말단에 2 개의 카메라(21,22)를 장착하는 것은 방해받지 않는 시야 및 긴 기준선(base line)(즉, 2 개의 카메라(21,22) 사이의 거리)을 제공한다. 그러나 날개(31,32)가 굽혀짐에 따라, 카메라(21,22)가 움직이고, 및 거리 측정을 위해 필요로되는 정확한 기준선이 상실된다. 움직임 보상 모듈(100)을 제공함으로써, 카메라(21,22)의 상대적 움직임이 처리되면, 기준선이 항공기가 이륙, 선회, 및 착륙 동안 유지될 수 있다.
또한, 날개(31,32)의 말단에 2 개의 카메라(21,22)를 장착하는 것은 실시간으로 입체적인 측정을 허용한다. 이 실시간 입체적인 측정은 2 개의 카메라(21,22)가 물체 위에 포커스를 잡고, 3차원 시야를 획득하여, 물체의 정확한 측정을 획득할 수 있도록 허용한다. 움직임 보상 모듈(100)은 예컨대, 날개의 진동에 의해 변화하는 2 개의 카메라(21,22) 사이의 거리를 계산하기 위해 실시간 방식을 제공한다. 2 개의 카메라(21,22) 사이의 계산된 거리는 항공기(30) 및 피해야 할 다가오는 물체 사이 거리를 측정하기 위해서 이용된다.
위의 설명은 물체가 공중에서 항공기에 의해 피해져야 했지만, 예컨대 주행로 위의 물체와 같은, 항공기에 의해 피해져야 하는 물체가 공중이 아닌 곳에 있는 물체도 가능하다.
또한, 상기 설명은 이미지 캡처 모듈(20)이 오직 2 개의 카메라를 갖는 것으로 설명하지만, 2 개 이상의 카메라가 이용되는 것도 가능하다. 하지만, 2 개 이상의 카메라의 이용은 덜 정확한 거리 측정으로 이어지는 짧은 기준선을 제공할 수 있다. 예를 들면, 제3 카메라(도시되지 않음)가 항공기(30)의 한 부분에 장착될 수 있다. 프로세싱 유닛(102)(도 2)은 왼쪽 카메라(21) 및 제3 카메라 사이 실시간 거리에서의 움직임, 오른쪽 카메라(22) 및 제3 카메라 사이 실시간 거리에서의 움직임, 또는 이 둘 모두에 대해 보상하기 위해 움직임 보상 프로그램(105)의 명령을 실행하도록 구성될 수 있다. 검출 모듈은 왼쪽 카메라(21) 및 오른쪽 카메라(22) 사이 계산된 실시간 거리, 왼쪽 카메라(21) 및 제3 카메라 사이 계산된 실시간 거리, 및 오른쪽 카메라(22) 및 제3 카메라 사이 계산된 실시간 거리 중 적어도 하나를 토대로 항공기(30) 및 물체 사이 거리를 계산하기 위해 구성될 수 있다.
위의 설명은 FAA 규정에 따라 항공 산업에서의 항공기에 대한 예시적인 장치 및 예시적인 움직임 보상 방법을 설명하고 있지만, 장치 및 움직임 보상은 응용가능한 산업 기준에 따라 어떠한 산업에 대해서 더 구현될 수 있다.
본 발명은 다음의 조항에 따른 실시예를 더 포함한다:
조항1. 적어도 하나의 항공기(30) 날개(31,32)가 굽혀짐에 기인하여 항공기(30)의 제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 거리의 변경을 보상하는 방법으로,
상기 방법은:
항공기(30)의 중립 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라(21,22) 및 제2 날개(32) 장착 카메라(21,22) 사이의 제1 거리 및 방향을 측정하는 단계;
항공기(30)의 굽혀진 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라(21,22) 및 제2 날개(32) 장착 카메라(21,22) 사이의 제2 거리 및 방향을 측정하는 단계; 및
제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 보상된 거리 및 방향을 제공하는데 이용하기 위한 실시간으로 변하는 거리 및 방향을 제공하는 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계;를 구비하여 구성되는 것을 특징으로 한다.
조항2. 조항1의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 왼쪽 노즈 템플릿에 대해 제1 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계를 포함하는 것을 특징으로 한다.
조항3. 조항2의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 왼쪽 날개(31,32) 움직임을 제거하기 위해 제1 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계를 포함하는 것을 특징으로 한다.
조항4. 조항1의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 오른쪽 노즈 템플릿에 대해 제2 날개(32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계를 포함하는 것을 특징으로 한다.
조항5. 조항4의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는 오른쪽 날개(31,32) 움직임을 제거하기 위해 제2 날개(32) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계를 포함하는 것을 특징으로 한다.
조항6. 조항1의 방법으로, 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는:
(i) 왼쪽 노즈 템플릿에 대해 제1 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
(ii) 왼쪽 날개(31,32) 움직임을 제거하기 위해 제1 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계;
(iii) 오른쪽 노즈 템플릿에 대해 제2 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
(iv) 오른쪽 날개(31,32) 움직임을 제거하기 위해 제2 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계;를 포함하는 것을 특징으로 한다.
조항7. 조항1의 방법으로, 방법이 컴퓨터에 의해 판독가능한 프로그램 저장 매체에서 유형적으로 실현된 하나 이상의 명령의 프로그램을 실행시키는 메모리를 갖는 컴퓨터에 의해 수행되는 것을 특징으로 한다.
조항8. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)에서 캡처된 이미지 데이터는 조항1의 방법에 따라 상관되고 변환되는 것을 특징으로 한다.
조항9. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)에서 캡처된 이미지 데이터는 조항8의 방법에 따라 상관되고 변환되며, 캡처된 이미지 데이터는 항공기(30)의 왼쪽 날개(31,32) 장착 카메라(21,22) 및 항공기(30)의 오른쪽 날개(31,32) 장착 카메라(21,22)에 의해 제공되는 것을 특징으로 한다.
조항10. 항공기(30) 왼쪽 및 오른쪽 날개(31,32)의 굽힘에 기여하는 카메라(21,22) 사이 거리의 변경을 보상하기 위해서, 항공기(30) 왼쪽 날개(31,32) 장착 카메라(21,22) 및 항공기(30) 오른쪽 날개(31,32) 장착 카메라(21,22)에 의해 캡처된 이미지 데이터를 처리하는 방법으로,
상기 방법은:
왼쪽 항공기(30) 날개(31,32)와 관련된 왼쪽 노즈 템플릿에 대해 왼쪽 날개(31,32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
왼쪽 항공기(30) 날개(31,32)의 움직임과 관련된 움직임을 제거하기 위해 왼쪽 날개(31,32) 장착 카메라(21,22)에 의해 캡처된 적어도 하나의 이미지 프레임으부터 이미지 데이터를 변환시키는 단계;
오른쪽 항공기(30) 날개(31,32)와 관련된 오른쪽 노즈 템플릿에 대해 오른쪽 날개(31,32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
오른쪽 항공기(30) 날개(31,32)의 움직임과 관련된 움직임을 제거하기 위해 오른쪽 날개(31,32) 장착 카메라(21,22)에 의해 캡처된 적어도 하나의 이미지 프레임으부터 이미지 데이터를 변환시키는 단계;를 구비하여 구성되는 것을 특징으로 한다.
조항11. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)에서 캡처된 이미지 데이터는 조항10의 방법에 따라 상관되고 변환되는 것을 특징으로 한다.
조항12. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)에서 캡처된 이미지는 조항11의 방법에 따라 상관되고 변환되는 것을 특징으로 하고, 캡처된 이미지 데이터는 항공기(30) 왼쪽 날개(31,32) 장착 카메라(21,22) 및 항공기(30) 오른쪽 날개(31,32) 장착 카메라(21,22)에 의해 제공되는 것을 특징으로 한다.
조항13. 조항10의 방법으로, 컴퓨터에 의해 판독가능한 프로그램 저장 매체에서 유형적으로 실현된 하나 이상의 명령의 프로그램을 실행시키는 메모리를 갖는 컴퓨터에 의해 수행되는 것을 특징으로 한다.
조항14. 항공기에 장착된 물체(16) 검출 및 충돌 방지 시스템(10)용 장치로서,
상기 장치는,
항공기(30)의 일부분에 장착된 제1 카메라(21,22);
항공기(30)의 다른 부분에 장착된 제2 카메라(21,22),
제1 및 제2 카메라(21,22)가 비행경로(18)에서 물체(16)의 이미지(24)를 캡처하기 위해 협동하고;
제1 카메라(21,22) 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향을 계산하도록 구성된 움직임 보상 모듈(100); 및
제1 카메라(21,22) 및 제2 카메라(21,22) 사이의 계산된 실시간 거리 및 방향을 토대로 항공기(30) 및 물체(16) 사이의 거리 및 방향을 계산하도록 구성된 검출 모듈(50)을 구비하여 구성되는 것을 특징으로 한다.
조항15. 조항14의 장치로서, 제1 및 제2 카메라(21,22)가 입체시 카메라를 구비하여 구성되는 것을 특징으로 한다.
조항16. 조항14의 장치로서, 상기 움직임 보상 모듈(100)은 움직임 보상 프로그램이 저장된 데이터 저장 유닛(104)과, 제1 및 제2 카메라(21,22) 사이 실시간 거리 및 방향의 변경에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성된 프로세싱 유닛(102)을 포함하는 것을 특징으로 한다.
조항17. 조항16의 장치로서, 제1 카메라(21,22)는 항공기(30)의 날개(31,32)에 장착되고, 제2 카메라(21,22)는 항공기(30)의 날개(31,32)에 장착되며, 프로세싱 유닛(102)은 하나 이상의 항공기(30) 날개(31,32)의 굽혀짐에 기인하여 제1 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임을 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성되는 것을 특징으로 한다.
조항18. 조항17의 장치로서, 항공기(30)의 일부분에 장착된 제3 카메라(21,22)를 더 구비하고, 프로세싱 유닛(102)은 제1 및 제3 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임, 제2 및 제3 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임, 또는 양쪽에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성되는 것을 특징으로 한다.
조항19. 조항18의 장치로서, 검출 모듈(50)이 제1 카메라(21,22) 및 제2 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향, 제1 카메라(21,22) 및 제3 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향, 그리고 제2 및 제3 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향 중 적어도 하나를 토대로 항공기(30) 및 물체(16) 사이의 거리를 계산하도록 구성된 것을 특징으로 한다.
조항20. 조항14의 장치로서, 비행경로(18)가 공중의 항로(18) 또는 지상의 활주로(18)를 구비하여 구성되는 것을 특징으로 한다.
개시된 장치 및 움직임 보상 방법의 다양한 실시예가 설명되어 왔지만, 본 발명을 읽자마자 당업자들에게 개선사항이 떠오를 수 있다. 본 발명은 그러한 개선사항을 포함하고, 청구항의 범위에 의해서만 오직 제한된다.
Claims (14)
- 적어도 하나의 항공기(30) 날개(31,32)가 굽혀지는 것에 기인하여 항공기(30)의 제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 거리의 변경을 보상하는 방법으로,
상기 방법은:
항공기(30)의 중립 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라(21,22) 및 제2 날개(32) 장착 카메라(21,22) 사이의 제1 거리 및 방향을 측정하는 단계;
항공기(30)의 굽혀진 날개(31,32) 상태 동안 제1 날개(31) 장착 카메라(21,22) 및 제2 날개(32) 장착 카메라(21,22) 사이의 제2 거리 및 방향을 측정하는 단계; 및
제1 및 제2 날개(31,32) 장착 카메라(21,22) 사이의 보상된 거리 및 방향을 제공하는데 이용하기 위한 실시간으로 변하는 거리 및 방향을 제공하도록 제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계;를 구비하여 구성되고,
제1 및 제2 거리와 방향 사이의 차이를 처리하는 단계는:
(i) 왼쪽 노즈 템플릿에 대해 제1 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
(ii) 왼쪽 날개(31,32) 움직임을 제거하기 위해 제1 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계;
(iii) 오른쪽 노즈 템플릿에 대해 제2 날개(32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키는 단계;
(iv) 오른쪽 날개(31,32) 움직임을 제거하기 위해 제2 날개(32) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 단계;를 포함하는 것을 특징으로 하는 항공기의 제1 및 제2 날개 장착 카메라 사이의 거리의 변경을 보상하는 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 항공기에 장착된 충돌 방지 시스템(10)용 장치로서,
상기 장치는,
항공기(30)의 일부분에 부착된 제1 카메라(21,22);
항공기(30)의 다른 부분에 부착된 제2 카메라(21,22),
제1 및 제2 카메라(21,22)가 비행경로(18)에서 물체(16)의 이미지(24)를 캡처하기 위해 협동하고;
제1 카메라(21,22) 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향을 계산하도록 구성된 움직임 보상 모듈(100); 및
제1 카메라(21,22) 및 제2 카메라(21,22) 사이의 계산된 실시간 거리 및 방향을 토대로 항공기(30) 및 물체(16) 사이의 거리 및 방향을 계산하도록 구성된 검출 모듈(50);을 구비하여 구성되고,
상기 움직임 보상 모듈(100)은 하나 이상의 항공기(30) 날개(31,32)의 굽혀짐에 기인하여 제1 및 제2 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성되는 프로세싱 유닛(102)을 포함하고,
상기 프로세싱 유닛(102)은,
(i) 왼쪽 노즈 템플릿에 대해 제1 날개(31) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키고;
(ii) 왼쪽 날개(31,32) 움직임을 제거하기 위해 제1 날개(31) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키고;
(iii) 오른쪽 노즈 템플릿에 대해 제2 날개(32) 장착 카메라(21,22)로부터 캡처된 이미지(24)를 상관시키고;
(iv) 오른쪽 날개(31,32) 움직임을 제거하기 위해 제2 날개(32) 장착 카메라(21,22)와 관련된 상관된 이미지(24)를 변환시키는 것을 특징으로 하는 항공기에 장착된 충돌 방지 시스템용 장치. - 삭제
- 제8항에 있어서,
상기 움직임 보상 모듈(100)은 움직임 보상 프로그램이 저장된 데이터 저장 유닛(104)을 포함하고,
제1 카메라(21,22)는 항공기(30) 날개(31,32)에 장착되고, 제2 카메라(21,22)는 항공기(30) 날개(31,32)에 장착되는 항공기에 장착된 충돌 방지 시스템용 장치. - 삭제
- 제10항에 있어서,
항공기(30)의 일부분에 장착된 제3 카메라(21,22)를 더 구비하고, 프로세싱 유닛(102)은 제1 및 제3 카메라(21,22) 사이의 실시간 거리 및 방향에서의 움직임, 제2 및 제3 카메라(21,22) 사이의 실시간 거리 및 방향에서 움직임, 또는 양쪽에 대해 보상하기 위해 움직임 보상 프로그램의 명령을 실행하도록 구성되는 것을 특징으로 하는 항공기에 장착된 충돌 방지 시스템용 장치. - 제12항에 있어서,
검출 모듈(50)이 제1 카메라(21,22) 및 제2 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향, 제1 카메라(21,22) 및 제3 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향, 그리고 제2 및 제3 카메라(21,22) 사이에서 계산된 실시간 거리 및 방향 중 적어도 하나를 토대로 항공기(30) 및 물체(16) 사이의 거리를 계산하도록 구성된 것을 특징으로 하는 항공기에 장착된 충돌 방지 시스템용 장치. - 삭제
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/277,411 | 2016-09-27 | ||
US15/277,411 US20180091797A1 (en) | 2016-09-27 | 2016-09-27 | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180034213A KR20180034213A (ko) | 2018-04-04 |
KR102372790B1 true KR102372790B1 (ko) | 2022-03-18 |
Family
ID=60001681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170102978A KR102372790B1 (ko) | 2016-09-27 | 2017-08-14 | 적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법 |
Country Status (5)
Country | Link |
---|---|
US (2) | US20180091797A1 (ko) |
EP (1) | EP3299299B1 (ko) |
JP (1) | JP6951138B2 (ko) |
KR (1) | KR102372790B1 (ko) |
CN (1) | CN107867405B (ko) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6335237B2 (ja) * | 2016-09-15 | 2018-05-30 | 株式会社Subaru | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
JP6463319B2 (ja) * | 2016-10-19 | 2019-01-30 | 株式会社Subaru | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
US10515559B2 (en) | 2017-08-11 | 2019-12-24 | The Boeing Company | Automated detection and avoidance system |
FR3070527B1 (fr) * | 2017-08-31 | 2020-11-06 | Airbus Helicopters | Procede et dispositif d'evitement d'un objet par detection de son rapprochement d'un aeronef |
US10922986B2 (en) | 2018-07-18 | 2021-02-16 | Simmons Precision Products, Inc. | Taxi strike alert system |
US10878709B2 (en) * | 2018-07-19 | 2020-12-29 | The Boeing Company | System, method, and computer readable medium for autonomous airport runway navigation |
WO2020040679A1 (en) * | 2018-08-22 | 2020-02-27 | I-Conic Vision Ab | A method and corresponding system for generating video-based models of a target such as a dynamic event |
US11364992B2 (en) * | 2018-10-23 | 2022-06-21 | The Boeing Company | Aligning aircraft with runway centerline during takeoff |
US11024187B2 (en) * | 2018-12-19 | 2021-06-01 | The Boeing Company | Aircraft positioning on a taxiway |
CN110181509A (zh) * | 2019-05-14 | 2019-08-30 | 浙江树人学院(浙江树人大学) | 一种基于误差补偿的工业机器人运动控制方法 |
US11022972B2 (en) * | 2019-07-31 | 2021-06-01 | Bell Textron Inc. | Navigation system with camera assist |
US11257386B1 (en) | 2019-08-14 | 2022-02-22 | The Boeing Company | Camera-based angle tracking of swarms for collision avoidance |
JP7516057B2 (ja) * | 2020-02-05 | 2024-07-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
CN111457897B (zh) * | 2020-04-23 | 2024-02-23 | 中国科学院上海技术物理研究所 | 一种摆扫式多视角航空倾斜摄影相机及成像方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001160137A (ja) * | 1999-09-22 | 2001-06-12 | Fuji Heavy Ind Ltd | 監視システムの距離補正装置、および監視システムの消失点補正装置 |
DE102008046545A1 (de) * | 2008-09-10 | 2009-05-14 | Daimler Ag | Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs |
DE102008024308A1 (de) * | 2008-05-20 | 2009-12-03 | Eads Deutschland Gmbh | Verfahren zur Detektion nichtkooperativen Luftverkehrs an Bord eines Luftfahrzeugs |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69033296T2 (de) * | 1989-10-26 | 2000-03-30 | Canon K.K., Tokio/Tokyo | Bewegungsentdeckungsgerät |
US5581250A (en) * | 1995-02-24 | 1996-12-03 | Khvilivitzky; Alexander | Visual collision avoidance system for unmanned aerial vehicles |
JP4172554B2 (ja) * | 1998-03-12 | 2008-10-29 | 富士重工業株式会社 | ステレオカメラの調整装置 |
US6597304B2 (en) * | 2001-07-27 | 2003-07-22 | Veridian Erim International, Inc. | System and method for coherent array aberration sensing |
JP4328551B2 (ja) * | 2003-03-05 | 2009-09-09 | 富士重工業株式会社 | 撮像姿勢制御装置 |
JP4493434B2 (ja) * | 2004-07-28 | 2010-06-30 | オリンパス株式会社 | 画像生成方法および装置 |
US7747106B2 (en) * | 2005-06-13 | 2010-06-29 | Sarnoff Corporation | Method and system for filtering, registering, and matching 2.5D normal maps |
KR100731979B1 (ko) * | 2005-10-18 | 2007-06-25 | 전자부품연구원 | 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 |
ATE519193T1 (de) * | 2006-12-06 | 2011-08-15 | Mobileye Technologies Ltd | Detektion und erkennung von verkehrszeichen |
CN101419705B (zh) * | 2007-10-24 | 2011-01-05 | 华为终端有限公司 | 摄像机标定的方法及装置 |
EP2071515A1 (en) * | 2007-12-11 | 2009-06-17 | Honda Research Institute Europe GmbH | Visually tracking an object in real world using 2D appearance and multicue depth estimations |
IL188655A (en) * | 2008-01-08 | 2011-09-27 | Rafael Advanced Defense Sys | System and method for navigating a remote control vehicle past obstacles |
GB2458927B (en) * | 2008-04-02 | 2012-11-14 | Eykona Technologies Ltd | 3D Imaging system |
EP2179892A1 (de) * | 2008-10-24 | 2010-04-28 | Magna Electronics Europe GmbH & Co. KG | Verfahren zum automatischen Kalibrieren einer virtuellen Kamera |
US8494760B2 (en) * | 2009-12-14 | 2013-07-23 | American Aerospace Advisors, Inc. | Airborne widefield airspace imaging and monitoring |
DE102010042956A1 (de) * | 2010-10-26 | 2012-04-26 | Airbus Operations Gmbh | Verfahren und Anordnung zur Bestimmung einer Belastung einer Flugzeugstruktur |
US9094606B2 (en) * | 2011-07-04 | 2015-07-28 | Waikatolink Limited | Motion compensation in range imaging |
IL219923A (en) * | 2011-08-02 | 2016-09-29 | Boeing Co | A system for separating aircraft traffic |
US9091762B2 (en) * | 2011-10-27 | 2015-07-28 | Gulfstream Aerospace Corporation | Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle |
KR101966920B1 (ko) * | 2012-07-10 | 2019-04-08 | 삼성전자주식회사 | 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치 |
US9047675B2 (en) * | 2012-08-13 | 2015-06-02 | The Boeing Company | Strike detection using video images |
WO2014047465A2 (en) * | 2012-09-21 | 2014-03-27 | The Schepens Eye Research Institute, Inc. | Collision prediction |
US9031311B2 (en) * | 2013-02-28 | 2015-05-12 | The Boeing Company | Identification of aircraft surface positions using camera images |
US20150015698A1 (en) * | 2013-07-10 | 2015-01-15 | Gulfstream Aerospace Corporation | Methods and systems for optical aircraft detection |
CN103400018B (zh) * | 2013-07-12 | 2016-03-09 | 中国民用航空飞行校验中心 | 一种飞行程序校验及验证的系统和方法 |
US10055013B2 (en) * | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
US20150106005A1 (en) * | 2013-10-14 | 2015-04-16 | Gulfstream Aerospace Corporation | Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle |
US9047771B1 (en) * | 2014-03-07 | 2015-06-02 | The Boeing Company | Systems and methods for ground collision avoidance |
US9469416B2 (en) * | 2014-03-17 | 2016-10-18 | DM3 Aviation LLC | Airplane collision avoidance |
US20150329217A1 (en) * | 2014-05-19 | 2015-11-19 | Honeywell International Inc. | Aircraft strike zone display |
FR3024127B1 (fr) * | 2014-07-25 | 2016-08-26 | Airbus Operations Sas | Procede et systeme d'atterrissage automatique autonome |
US9954992B2 (en) * | 2014-11-27 | 2018-04-24 | Purdue Research Foundation | Mobile device enabled robotic system |
US10215836B2 (en) * | 2016-03-07 | 2019-02-26 | Raytheon Company | Geolocation on a single platform having flexible portions |
US10178378B2 (en) * | 2016-04-12 | 2019-01-08 | Microsoft Technology Licensing, Llc | Binocular image alignment for near-eye display |
-
2016
- 2016-09-27 US US15/277,411 patent/US20180091797A1/en not_active Abandoned
-
2017
- 2017-07-18 JP JP2017138868A patent/JP6951138B2/ja active Active
- 2017-08-14 KR KR1020170102978A patent/KR102372790B1/ko active IP Right Grant
- 2017-08-16 CN CN201710703131.XA patent/CN107867405B/zh active Active
- 2017-09-26 EP EP17193259.3A patent/EP3299299B1/en active Active
-
2020
- 2020-09-30 US US17/038,493 patent/US20210392317A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001160137A (ja) * | 1999-09-22 | 2001-06-12 | Fuji Heavy Ind Ltd | 監視システムの距離補正装置、および監視システムの消失点補正装置 |
DE102008024308A1 (de) * | 2008-05-20 | 2009-12-03 | Eads Deutschland Gmbh | Verfahren zur Detektion nichtkooperativen Luftverkehrs an Bord eines Luftfahrzeugs |
DE102008046545A1 (de) * | 2008-09-10 | 2009-05-14 | Daimler Ag | Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs |
Also Published As
Publication number | Publication date |
---|---|
JP2018095231A (ja) | 2018-06-21 |
KR20180034213A (ko) | 2018-04-04 |
US20210392317A1 (en) | 2021-12-16 |
CN107867405B (zh) | 2023-04-11 |
EP3299299A1 (en) | 2018-03-28 |
JP6951138B2 (ja) | 2021-10-20 |
US20180091797A1 (en) | 2018-03-29 |
EP3299299B1 (en) | 2021-03-24 |
CN107867405A (zh) | 2018-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102372790B1 (ko) | 적어도 2 개의 항공기 장착 카메라의 상대적 움직임을 보상하는 장치 및 방법 | |
CA2975139C (en) | Stereo camera system for collision avoidance during aircraft surface operations | |
CN107741229B (zh) | 一种光电/雷达/惯性组合的舰载机着舰导引方法 | |
US20140043481A1 (en) | Strike Detection Using Video Images | |
CN105716625B (zh) | 用于自动地检测飞行器的监测传感器的失准的方法和系统 | |
AU2018429301A1 (en) | Vessel height detection through video analysis | |
JP6994950B2 (ja) | 画像認識システムおよびニューラルネットワークの学習方法 | |
CN1670479A (zh) | 基于视频图像测量飞行器飞行高度的方法 | |
EP3734544A1 (en) | Systems and methods for video display | |
CN102123234B (zh) | 无人机侦察视频分级运动补偿方法 | |
KR101957662B1 (ko) | 표적 정보 산출 장치, 그 방법 및 이를 포함하는 비행 제어 시스템 | |
Glozman et al. | A vision-based solution to estimating time to closest point of approach for sense and avoid | |
Theuma et al. | An image processing algorithm for ground navigation of aircraft | |
CN109754412B (zh) | 目标跟踪方法、目标跟踪装置及计算机可读存储介质 | |
Molloy et al. | HMM relative entropy rate concepts for vision-based aircraft manoeuvre detection | |
Forlenza | Vision based strategies for implementing Sense and Avoid capabilities onboard Unmanned Aerial Systems | |
Ostler et al. | Airborne Optical Sensing: Testing Real World Performance of Ground Target Kinematic State Estimation | |
Balashov et al. | Aerial vehicles collision avoidance using monocular vision | |
Dudek et al. | Cloud Detection System for UAV Sense and Avoid: Challenges and Findings in Flight Experiments | |
Gauci | Obstacle detection in aerodrome areas through the use of computer vision | |
RU2708346C1 (ru) | Способ идентификации типа самолета средствами пассивной оптической локации и устройство для его осуществления | |
Forlenza et al. | A hardware in the loop facility for testing multisensor sense and avoid systems | |
Marenchino | Low-cost UAV for the environmental emergency management. Photogrammetric procedures for rapid mapping activities | |
Cho et al. | An image processing algorithm for detection and tracking of aerial vehicles | |
Zhang et al. | Two-stage Motion Estimation for UAV Landing under GPS-denied Condition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |