KR20150072423A - 이미지 프로세싱 방법 및 발사된 로켓의 경로를 추적하는 방법 - Google Patents

이미지 프로세싱 방법 및 발사된 로켓의 경로를 추적하는 방법 Download PDF

Info

Publication number
KR20150072423A
KR20150072423A KR1020157012406A KR20157012406A KR20150072423A KR 20150072423 A KR20150072423 A KR 20150072423A KR 1020157012406 A KR1020157012406 A KR 1020157012406A KR 20157012406 A KR20157012406 A KR 20157012406A KR 20150072423 A KR20150072423 A KR 20150072423A
Authority
KR
South Korea
Prior art keywords
image
raster
image data
rocket
scene
Prior art date
Application number
KR1020157012406A
Other languages
English (en)
Inventor
한스 볼프강 폰그라츠
만프레드 히에블
Original Assignee
에어버스 디펜스 앤드 스페이스 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에어버스 디펜스 앤드 스페이스 게엠베하 filed Critical 에어버스 디펜스 앤드 스페이스 게엠베하
Publication of KR20150072423A publication Critical patent/KR20150072423A/ko

Links

Images

Classifications

    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06K9/0063—
    • G06K9/3241—
    • G06K9/3275—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

1. 이미지 프로세싱 방법으로서, 상기 방법은
a) 광학 소자(1, 101)를 이용해, 전자기 복사로서 장면(scene)의 이미지 데이터를 수집하는 단계,
b) 이미지 데이터의 신호대잡음 비(signal-to-noise ratio)를 개선하기 위해 이미지 프로세싱 소자(2, 102)에 의해, 단계 a)에서 획득된 이미지 데이터를 프로세싱하는 단계 - 상기 프로세싱하는 단계는
b1) 래스터 이미지를 생성하기 위해 이미지 데이터를 포함하는 원시 이미지(raw image)를 라인 및 컬럼으로 분할하는 단계,
b2) 홀수 개수의 라인과 홀수 개수의 컬럼을 갖는 래스터 필터(22, 122)의 중앙 래스터 필터 요소(22", 122")를 래스터 이미지 요소 상으로 중첩시키는 단계,
b3) 래스터 필터(22, 122)에 의해 커버되는 각각의 래스터 이미지 요소의 밝기 값을 결정하는 단계 - 중앙 래스터 필터 요소(22", 122")는 제외하고, 하나 걸러 하나의 래스터 필터 요소(22', 122')가 개별 광-감소 속성을 가짐 - ,
b4) 총 밝기 값을 생성하기 위해 단계 b3)에서 결정된 밝기 값을 합산하고, 이 총 밝기 값을 중앙 래스터 필터 요소(22", 122")에 의해 커버되는 래스터 이미지 요소로 할당하는 단계,
b5) 모든 나머지 래스터 이미지 요소에 대해 단계 b2) 내지 b4)를 반복하는 단계
를 포함함 - ,
c) 단계 b)에서 획득된 래스터 이미지 요소의 총 밝기 값으로부터 원시 이미지와 동일한 분해능을 갖는 결과 이미지를 생성하는 단계
를 포함하는, 이미지 프로세싱 방법.
2. 종래 기술에 비해 크게 증가된 정밀도를 갖고, 발화하는 엔진을 갖는 발사된 로켓을 경로 추적하는 방법은 다음의 특성을 가진다: a. 특히 바람직한 관측 조건 하에서, 타깃의 측방 및 타깃의 아래로 관측 위치 선택, b. 적어도 3개의 대역을 갖는 협대역 멀티-스펙트럼 카메라를 이용해 코어 엔진 제트의 온도 이미지에 의해 경로를 추적.

Description

이미지 프로세싱 방법 및 발사된 로켓의 경로를 추적하는 방법{METHOD FOR IMAGE PROCESSING AND METHOD FOR TRACKING THE COURSE FOLLOWED BY LAUNCHED ROCKETS}
본 발명은 청구항 1의 전제부에 따르는 이미지 프로세싱을 위한 방법과 관련된다. 또한 본 발명은 청구항 4의 전제부에 따르는 자동 물체 인식을 위한 방법과 관련되고 청구항 6 및 7에 따르는 관측 장치와 관련된다.
물체의 원격 관측, 구체적으로 군사 정찰 중의 물체의 원격 관측 시, 최대 1500km의 장거리에 걸쳐 이동하는 물체, 가령, 발화 엔진을 갖는 발사된 로켓을 추적하고 최대 1000km의 거리에 걸쳐, 적용 가능한 경우, 충분한 인공 조명을 이용해 발화가 중단된 로켓을 검출하고 이들의 운동 경로를 따라 이들을 추적하고 식별하는 것이 중요하다. 긴 초점 길이 렌즈 및 고분해능 이미지 센서를 갖는 광학 관측 장치가 사용되더라도, 수 미터 범위 내의 선명한 포커스를 갖고 엔진 제트 불꽃(jet flame) 물체를 재생하는 어떠한 고분해능 이미지도 500km 내지 1500km 거리에 위치하는 물체에서 가능하지 않는데, 왜냐하면 최대 100m 내에서 제트 불꽃 내 밝기 분포가 모든 방향에서 높은 주파수로 변동을 거듭하기 때문이다. 그러나 이러한 감소된 이미징 성능에도 불구하고, 검출된 물체가 군사 또는 민간 차량인지 또는 유인물(decoy)인지 여부를 결정하는 것이 가능해야 한다. 덧붙여, 물체 인식 프로세스로부터 관측 장치의 안정한 추적이 가능하고 비행 물체와 이의 비행 경로 상에서 전투할 수 있는 정도의 정확도로 물체(가령, 로켓)의 비행 경로를 측정할 수 있도록 물체 인식은 수 미터의 정확도의 신뢰할만한 결과와 함께 충분한 시간 주기 동안 발생하는 것이 가능해야 한다.
공지 기술
일반적인 공지 기술에서, 이러한 타깃 추적 목적으로 넓은 X-대역 레이더 시스템이 알려져 있으며, 이러한 시스템은 수평선 위에서 자신의 시계에 비행하는 로켓을 지속적으로 위치시키도록 예상 로켓 경로를 따라 충분히 밀접하게 배치되어야 한다. 이는 많은 노력과 비용을 필요로 할 뿐 아니라, 종종 정치적인 이유로 충분히 가능하지 않는다. 덧붙여, 이러한 레이더 스테이션은 타깃 물체의 위치를 결정하고, 수 킬로미터의 정확도를 갖고 관찰 방향에 대각선으로 1000km의 거리에서 이들의 레이더 반사 단면(radar reflection cross-section)을 측정할 수 있을 뿐이며, 어떠한 정확한 식별도 수행할 수 있다. 특히, 일반적으로 유인물(decoy)은 레이더를 이용해 실제 탄두와 구별되지 않을 수 있으며, 이는 상당한 문제를 초래한다.
덧붙여, 공지 기술에서, 망원경을 이용해 중적외선 범위 내에 있는 발사된 로켓을 발견할 수 있는 정지 궤도(geostationary orbit) 내 위성이 알려져 있다. 위로부터의 발견은 인식되기 어려운 상당한 수의 허위 타깃을 포함하는 온난한 지구 배경에 대해 이뤄져야 하기 때문에, 이들 시스템은 비교적 낮은 감도에 대항해야 한다. 위로부터의 관측을 토대로, 센서는 엔진 불꽃의 덜 밝고 변동 있는 부분만 알아 볼 수 있다. 따라서 이의 측정 정확도는 수 백 미터로 제한되며 시스템 한계로 인해 유의미하게 개선될 수 없다.
치밀 대기 위에서 높이 비행하는 항공기로부터 긴 거리에 위치하는 이동하는 물체의 경로를 검출하고 추적하기 위한 카메라 시스템은 사전 간행물이 아닌 DE 10 2011 010 337에 알려져 있다.
이 시스템은 사실상 차가운 우주 공간의 배경에 대비하여 대기 외부에서 발사된 로켓을 아래로부터 관측할 수 있고, 그 위치가 정확히 알려져 있어 오경보가 방지되는 별 및 이와 유사한 천체를 제외한 어떠한 허위 타깃도 억제할 필요가 없다는 우수한 이점을 가진다.
비행 경로의 아래 및 측방으로부터의 관측의 추가 이점은, 2000°K를 초과하는 엔진 제트의 고온 코어 영역 상으로 관찰 방향이 제트 배출구(jet outlet)에서 직접 선명하다는 것이다. 제트의 이러한 코어 영역은 제트 외곽보다 백 배인 광 밀도를 가지며, 제트 배출구에서 견고하게 고정된다, 즉, 어떠한 변동도 수행하지 않는다. 따라서 지름이 수 미터인 극도로 밝은(1 메가와트(megawatt)/㎡) 광원 포인트가 로켓의 비행 경로를 정확하고 지속적으로 추적하기 위해 가능하다.
본 발명은, 수 미터의 정확도를 갖고 최대 1500km의 거리에 걸쳐 이 포인트 광원의 위치를 찾고 이를 따를 수 있는 센서를 지시한다.
이러한 목적을 위해, 근적외선 범위를 위한 다음의 다중-스펙트럼 카메라 시스템이 제안된다. 상기 다중-스펙트럼 카메라는 적어도 3개의 협대역(가령, 20nm) 전송 필터를 갖는 모터-구동 필터 휠을 이용해 장면(scene)의 다중-스펙트럼 이미지(가령, 700nm, 800nm, 및 950nm)를 순차적으로 기록할 수 있다. 이로부터, 예를 들어, 50°K의 분해능을 갖는 장면의 온도 이미지가 흑체 복사 법칙에 따른 변환에 의해 계산될 수 있다. 이 분해능에서, 본 발명에 따르면, 약 2300°K의 온도와 특징적 형태를 갖는 고체-연료 로켓의 고온 코어 영역이 2100°K의 온도와 상이한 형태를 갖는 액체-연료 로켓의 고온 코어 영역과 명백하게 구별될 수 있으며, 1000 km의 거리에서 1m 내지 2m의 충분한 광학적 분해능으로, 코어 영역의 크기 및 이의 온도 분포가 또한 측정될 수 있다. 이들 데이터를 이용해, 군사용 고체-연료 로켓이 민간 액체-연료 로켓과 구별될 수 있으며, 서로 다른 로켓 유형이 엔진의 크기, 개수 및 배열에 의해 구별될 수 있다.
이 카메라 시스템은 긴 초점 거리를 갖는 렌즈가 제공된 카메라를 가지며, 이 카메라는 위치-안정화된 플랫폼(position-stabilized platform) 상에 배치된다. 이 카메라에 고속 셔터뿐 아니라 제 1 및 제 2 이미지 센서가 제공된다. 카메라 렌즈에 의해 캡처되는 광 복사가 선택적으로 제 1 또는 제 2 이미지 센서로 안내될 수 있으며, 추가 망원사진 렌즈(telephoto lens)가 이미지 센서들 중 하나에 할당된다. 카메라 광소자는 피봇 거울(pivoting mirror)을 더 가지며, 이를 이용해 라인 단위로 필드를 스캔하는 것이 가능하며, 피봇 거울을 이용해, 캡처된 이미지 신호가 이미지 센서들 중 하나로 전달된다. 이 스캐닝 프로세스 동안 타깃 물체가 인식되는 경우, 다른 이미지 센서로 광 빔이 편향되며, 그 후 상기 광 빔은 물체 식별을 위해 사용되고, 적용 가능한 경우, 타깃 추적을 위해 사용된다.
본 발명은 장거리, 가령, 수백 킬로미터, 구체적으로, 100km 내지 500km의 거리에 걸쳐, 수집된 이미지 데이터를 프로세싱하는 것을 가능하게 하여, 프로세싱된 이미지 데이터에 의해 이들 프로세싱된 이미지 데이터에 의해 기록된 장면에 포함된 물체를 인식하는 것을 가능하게 하는 이미지 프로세싱 방법에 관한 것이다. 또한 본 발명에 의해, 이 이미지 프로세싱의 방법을 이용해, 자동 물체 인식을 수행할 수 있다. 마지막으로, 이들 방법이 구현될 수 있는 관측 장치가 또한 제안된다.
이미지 프로세싱 방법과 관련된 작업의 일부가 청구항 제1항에 지시된 방법 단계에 의해 구현된다.
본 발명에 따르는 방법은 다음의 방법 단계들을 가진다:
a) 광학 소자(1, 101)를 이용해, 전자기 복사로서 장면(scene)의 이미지 데이터를 수집하는 단계,
b) 이미지 데이터의 신호대잡음 비(signal-to-noise ratio)를 개선하기 위해 이미지 프로세싱 소자(2, 102)에 의해, 단계 a)에서 획득된 이미지 데이터를 프로세싱하는 단계 - 상기 프로세싱하는 단계는
b1) 래스터 이미지를 생성하기 위해 이미지 데이터를 포함하는 원시 이미지(raw image)를 라인 및 컬럼으로 분할하는 단계,
b2) 홀수 개수의 라인과 홀수 개수의 컬럼을 갖는 래스터 필터(22, 122)의 중앙 래스터 필터 요소(22", 122")를 래스터 이미지 요소 상으로 중첩시키는 단계,
b3) 래스터 필터(22, 122)에 의해 커버되는 각각의 래스터 이미지 요소의 밝기 값을 결정하는 단계 - 중앙 래스터 필터 요소(22", 122")는 제외하고, 하나 걸러 하나의 래스터 필터 요소(22', 122')가 개별 광-감소 속성을 가짐 - ,
b4) 총 밝기 값을 생성하기 위해 단계 b3)에서 결정된 밝기 값을 합산하고, 이 총 밝기 값을 중앙 래스터 필터 요소(22", 122")에 의해 커버되는 래스터 이미지 요소로 할당하는 단계,
b5) 모든 나머지 래스터 이미지 요소에 대해 단계 b2) 내지 b4)를 반복하는 단계
를 포함함 - ,
c) 단계 b)에서 획득된 래스터 이미지 요소의 총 밝기 값으로부터 원시 이미지와 동일한 분해능을 갖는 결과 이미지를 생성하는 단계.
본 발명의 효과
본 발명에 따르는 이 이미지 프로세싱 방법에 의해, 원시 이미지의 밝기 구배가 필터링되도록 수집된 원시 이미지의 신호대잡음 비가 개선된다. 덧붙여, 원시 이미지의 배경에서 나타난 잡음 픽셀(noise pixel)이 제거되고 따라서 이미지가 필터링된다. 획득된 결과 이미지의 밝기 구배가 일정하며 원시 이미지에 비교할 때 구별될 수 있으며, 이미지 콘트라스트가 개선됨으로써, 결과 이미지에서 원시 이미지에 포함된 물체가 더 두드러지고 선명하게 나타난다.
본 발명에 따르는 이 방법의 바람직한 추가 형태는 다음을 특징으로 가진다: 단계 a)에서, 서로 다른 스펙트럼 범위에서의 장면의 원시 이미지를 획득하기 위해 둘 이상의 전자기 파장 범위에서 장면의 이미지 데이터가 수집되며, 서로 다른 스펙트럼 범위의 결과 이미지를 획득하기 위해, 단계 b) 및 c)는 장면의 모든 원시 이미지에 대해 수행되고, 중첩에 의해, 서로 다른 스펙트럼 범위의 결과 이미지가 조합되어, 다중-스펙트럼 결과 이미지를 생성한다.
협대역(가령, 20nm) 필터를 이용하여 기록 이미지를 순차적으로 기록함으로써 서로 다른 스펙트럼 범위로 장면을 기록하고, 본 발명에 따라 프로세싱된 이들 서로 다른 스펙트럼 범위의 원시 이미지를 조합하여, 멀티-스펙트럼 결과 이미지를 형성하는 것이 획득된 이미지 결과의 정보 값을 개선한다.
이는 구체적으로 서로 다른 스펙트럼 범위의 개별 결과 이미지가 단색(monochrome) 방식으로 조합되고, 서로 다른 색으로 채색되어, 멀티-스펙트럼 결과 이미지를 생성하는 경우에 해당한다. 흑체 복사 곡선의 단파 측부 상에서 관측되는 바디의 온도(가령, 2300°K)에 매칭되도록 선택된 필터를 갖는 멀티-스펙트럼 이미지가 멀티-스펙트럼 컬러 이미지를 온도 이미지로 변환시키기 위해 사용될 수 있다. 이 온도 이미지는 상당한 넓은 영역, 아마도 국소적으로 더 밝으며 크게 변동하는 배경 밝기 필드 내에 작고 안정한 온도 영역, 가령, 로켓 제트 테일(jet tail)을 찾는 것을 가능하게 한다.
이와 관련하여, 서로 다른 스펙트럼 범위에서의 장면의 이미지 데이터를 수집하는 것이 서로 다른 스펙트럼 범위 필터를 이용해 고속 카메라를 이용해 시간상 고속 시퀀스로 발생하는 경우 바람직하다. 따라서, 서로 다른 스펙트럼 범위에서 관측되는 물체의 움직임과 비교해서 장면의 거의 시간 동기화된 원시 이미지를 기록하는 것이 가능해지며, 각자의 기록되는 이미지의 극도로 짧은 시간 시퀀스 때문에, 상기 이미지는 이미지 내 물체의 위치와 관련해서 무시할 수 있을 정도로만 상이함으로써, 이들 기록된 이미지는 중첩에 의해 쉽게 조합되어 멀티-스펙트럼 결과 이미지를 생성할 수 있다.
자동 물체 인식을 위한 방법과 관련된 작업의 일부가 청구항 4의 특징을 갖는 방법에 의해 이뤄진다. 이와 관련하여, 본 발명에 따르는 이미지 프로세싱 방법을 이용해 다음의 방법 단계들이 수행된다:
- 단계 a)에서 장면을 기록하는 것은 광학 소자의 광축(X)을 중심으로 하는 서로 다른 회전 각도에서 수행되고,
- 이미지 프로세싱 방법이 단계들에 따라 결과 이미지가 모든 회전 각도에 대해 생성되며,
- 개별 결과 이미지가 물체 데이터베이스에 저장된 개별 물체의 샘플 이미지에 비교되며,
- 결과 이미지 중 하나 이상으로부터 적어도 편차를 갖는 상기 샘플 이미지는 장면에 포함된 물체를 식별하고 상기 결과 이미지 내 물체의 위치를 결정한다.
자동 물체 인식 방법에 의해, 본 발명에 따르는 이미지 프로세싱 방법을 이용해 자동 물체 식별이 가능해진다. 덧붙여, 결과 이미지 내 물체의 위치가 이러한 자동 물체 인식 방법에 의해 결정될 수 있고, 따라서 단일 기록 및 분석되는 장면의 경우, 물체(가령, 로켓)의 운동의 방향 벡터가 종래 기술에 비해 더 정밀하게 예측될 수 있다.
본 발명에 따르는 이 물체 인식 방법의 바람직한 추가 형태는, 결과 이미지 내 물체의 위치를 결정하는 것은 샘플 이미지의 대응하는 래스터 요소와 일치하는 결과 이미지의 래스터 요소를 결정하는 것에 의해 이뤄진다.
관측 장치와 관련된 작업의 일부가 청구항 제6항의 특징을 갖는 관측 장치에 의해, 그리고 청구항 제7항의 특징을 갖는 관측 장치에 의해 이뤄진다.
청구항 제6항의 특징을 갖는 관측 장치가 본 발명에 따르는 이미지 프로세싱 방법을 구현하도록 구성되며, 청구항 제7항에 따르는 관측 장치가 본 발명에 따르는 이미지 프로세싱 방법을 이용해 자동 물체 인식 방법을 수행하도록 구성된다.
본 발명에 따르는 2개의 관측 장치에서, 이미지 프로세싱 소자가 이미지 래스터화 모듈 및 래스터 필터 모듈을 갖는 실시예가 바람직하다.
본 발명에 따르는 관측 장치의 제 1 변형예에서, 상기 이미지 래스터화 모듈은 광학 소자와 검출된 복사에 감응한 센서 사이에 배치된 도광 요소의 매트릭스형 배열을 가진다. 이와 관련하여, 각각의 경우에 도광 요소의 적어도 일부분은 할당된 래스터 필터 모듈의 밝기-감소 래스터 필터 요소를 가진다. 상기 광학 소자는 수집된 이미지 데이터를 이미지 래스터화 모듈의 입사 평면에 원시 이미지로서 도시되도록 구성되며, 상기 원시 이미지는 이미지 래스터화 모듈의 입사 평면을 참조하여 입사 평면 상에서 변위될 수 있도록 더 구성된다. 덧붙여, 센서로부터 밝기 신호를 수신하는 컴퓨터 유닛이 제공되며, 상기 컴퓨터 유닛 상에 청구항 제1항의 단계 c) 및 바람직하게는 청구항 제2항 내지 제5항 중 어느 한 항에 따르는 방법의 단계들을 구현하는 소프트웨어가 실행된다. 관측 장치의 이 바람직한 실시예가 광학-기계 방식으로 본 발명에 따르는 방법 단계들을 구현한다.
본 명세서에서 "밝기(brightness)"가 언급될 때, 용어는 가시광의 스펙트럼에 한정되지 않으며, 오히려 비제한적으로, 비-가시적 스펙트럼, 가령, 적외선 스펙트럼 또는 자외선 스펙트럼에서의 복사 강도를 포함한다.
대안적으로, 본 발명에 따르는 방법 단계들은 소프트웨어로 구현될 수 있으며, 이를 위해, 이러한 목적에 적합한 관측 장치는, 광학 소자 뒤에 이미지 센서가 위치하며, 상기 광학 소자는 이미지 센서의 센서 평면에 수집된 이미지 데이터를 도시하도록 구성되며, 이미지 센서로부터 이미지 신호를 수신하는 컴퓨터 유닛이 제공되며, 소프트웨어가 컴퓨터 유닛에서 실행되며, 상기 소프트웨어는 청구항 제1항의 단계 b) 및 c)과 바람직하게는 청구항 제2항 내지 제5항 중 어느 한 항에 따르는 방법의 단계들을 구현하며, 이미지 래스터화 모듈 및 래스터 필터 모듈이 소프트웨어의 서브루틴으로서 구성된다.
관측 장치의 이 바람직한 실시예가 광학-전자 방식으로 본 발명에 따르는 방법의 단계들을 구현한다.
개별 원시 이미지의 프로세싱 후 서로 다른 스펙트럼 색상으로 기록된 더 많은 개수의 중첩된 프로세싱된 개별 이미지들로부터 조합된 멀티-스펙트럼 이미지가 컴퓨터 유닛에 모인다. 그 후 많은 개별 이미지들에 걸쳐 평균을 냄으로써, 중첩된 개별 이미지의 개수가 충분한 경우 조합된 멀티-스펙트럼 이미지가 원시 이미지보다 훨씬 더 우수한 신호대잡음 비, 바람직하게는 100보다 높은 값을 갖게 된다.
도 3 또는 도 4에 따르는 멀티-스펙트럼 이미지 평가 및 식별 방법을 이용해, 이미지 평가 소자(25, 125)에서, 조합된 멀티-스펙트럼 이미지가 평가되는 것이 바람직하다. 이와 관련하여, 바람직하게는 우선 타깃 거동의 관측이 수행되며, 구체적으로, 가시 물체의 개수 및 경로 곡선이 결정된다. 그 후, 모든 비행 물체 및 이들의 비행 경로에 대한 파일이 컴파일되고, 이로 인해서, 차후의 측정 동안 모든 물체의 신뢰할만한 인식이 가능해지고, 미래에 이들 비행 경로의 외삽이 가능해진다, 특히 비행 경로의 끝 부분에서 비행 물체의 가능한 충돌 지점의 계산이 가능해진다. 덧붙여, 물체의 거동(로켓 단의 분리, 유인물의 방출, 탄두의 비행 기동)이 시간의 진행에 따라 관측 및 분석될 수 있다.
조합된 멀티-스펙트럼 이미지가 도 3 또는 도 4에 따르는 멀티-스펙트럼 타깃 이미지 인식에서, 메모리 소자(29, 129)에 포함 및 저장된 기준 타깃 이미지 데이터베이스와 비교된다. 이러한 방식으로 타깃 이미지 인식은 이미징된 타깃을 특정 유형의 타깃 물체로서 인식하고, 결과적으로 이들을 식별할 수 있다. 더해진 멀티-스펙트럼 이미지가 가공되기 전에 복수의 상태로 프로세싱된다면 이미지 인식은 더 신뢰할만하게 더 정밀하게 동작할 수 있다.
이러한 목적으로, 본 발명에 따라 조합된 멀티-스펙트럼 이미지가 우선 표준화된 형태로 변환되는데, 우선, 직교 벡터 더해진 총 밝기가 각각의 픽셀에 대해 밝기 값으로서 형성되며, 그 후 총 밝기에 의해 모든 색상 성분이 표준화된다. 그 후 총 색상 벡터가 밝기 및 표준화된 색상 값으로 구성된다. 이러한 방식으로, 임의의 원하는 개수의 스펙트럼 성분을 갖는 색상 좌표 시스템이 정의될 수 있으며, 이 시스템에서 RGB 시스템의 3개의 색상만으로 정의된 색상 연산 모두가 멀티-스펙트럼으로 수행될 수 있다.
각각의 이미지 픽셀의 모든 색상 성분 및 밝기에 대해, 이미지 프로세싱은 도 2에 따라 디지털 기반으로 동작을 수행하며, 상기 동작 동안 이미지는 지속적으로 필터링되고 구별되며, 여기서 복수의 이미지들의 평균화 후에도 여전히 존재하는 간섭 픽셀이 제거되고 필터링되며, 밝기 변이 및 에지가 강조됨으로써, 결과 이미지가 더 선명(sharp)해지고, 더 높은 콘트라스트를 갖게 되며, 색상 측면에서 더 명확해 지고 더 쉽게 평가될 수 있다. 이는 도 2에 따라, 디지털 기반으로, 형편없는 신호대잡음 비를 갖는 프로세싱 이미지를 위한 장치의 나타난 예시에서 5 x 5 픽셀 크기를 갖는 래스터 필터(122)의 필터 매트릭스을 이용한, 표준화된 이미지의 모둔 색상 성분 및 밝기 성분의 변환에 의해 이뤄진다.
바람직하게는, 이미지는 아핀 색상 변환(affine color transformation)의 대상이 되며, 여기서 타깃을 특징 짓는 스펙트럼 성분이 확장(stretch)되고 따라서 평가되기 더 용이해지며, 비-일반적인 스펙트럼 성분이 압축된다. 이로 인해서, 결과 이미지가 이미지에 숨은 참 타깃 물체와 상관되는 경우, 이미지 인식의 경우, 이 이미지 프로세싱이 없는 경우보다 참 타깃과 참 타깃으로 오해될 수 있는 허위 타깃 간 분리 명확성이 더 커질 수 있다.
도 3에 따르는 광학 기반의 멀티-스펙트럼 이미지 인식을 위한 장치, 또는 도 4에 따르는 디지털 기반의 멀티-스펙트럼 이미지 인식에 대한 장치를 이용해 더 높은 정밀도를 갖고 멀티-스펙트럼 이미지 인식이 수행될 수 있다.
(도 3에 따르는) 광학 기반의 장치의 경우, 망원경(110)은 편향 거울(112)에 의해 25 x 25 픽셀의 크기를 갖는 원격 타깃의 실제 타깃 이미지를, 실제 타깃 이미지의 5 x 5 픽셀과 동일한 표면적을 차지하는 이미지 기록 소자(120)의 광학 5 x 5 도광 번들의 전면의 평면(121)에 생성한다. 각각의 5 x 5 픽셀 블록의 각각의 중앙 픽셀이 5 x 5 광학 도광 요소 다발의 중앙 도광 요소를 순차적으로 피하는 방식으로 스캐닝 거울(112)은 타깃 이미지를 수평으로 그리고 수직으로 편향시킨다. 25 x 25 픽셀의 크기를 갖는 각각의 이미지의 5 x 5 픽셀 블록에 대한 25개의 값이 모든 스펙트럼 범위에 대해 컴퓨터 유닛(126)에 저장된다. 이는 25 x 25 픽셀 이미지의 360°에 걸친 12개의 회전 위치에 대해 반복된다. 각각의 5x5 픽셀 블록의 각각의 중앙 픽셀의 값에 대해 타깃 이미지로부터의 15 x 15 픽셀 블록의 검색 범위가 15 x 15 픽셀의 크기를 갖는 검색되는 기준 이미지와 비교되고, 여기서 각각의 경우에서 입력 이미지 검색 범위와 현재 기준 이미지의 9개의 계수 값의 차이가 형성된다. 가장 작은 차이 크기가 발생하고, 이 크기가 지정 최소 값 미만이 되는 위치 및 회전 위치가 현재 기준 이미지 클래스의 발견된 타깃의 위치 및 회전 위치로서 등록된다. 이미지 필드 밖에 투영되는 이미지 부분은 고려되지 않는다. 이와 관련하여 이미지 인식의 위치 분해능이 수평 및 수직으로 5개의 픽셀에 달한다.
디지털 기반의 장치의 경우(도 4), 망원경(110)이 편향 거울(112)에 의해 25 x 25 픽셀의 크기를 갖는 원격의 조명된 타깃의 실제 타깃 이미지를, 예를 들어, NIR(근적외선) 카메라를 갖는 이미지 기록 소자(120)의 이미지 평면에서 생성한다. 카메라는 광 신호를 높은 분해능을 갖는 멀티-스펙트럼 이미지로 변환한다. 멀티-스펙트럼 이미지 인식을 위해, 앞서 언급된 바와 같이 본 발명에 따르는 평가 기능의 특성 값이 검색 이미지(크기 25 x 25 픽셀) 내 모든 검색 픽셀 위치에 대해 계산된다. 평가 기능의 기재된 형식을 이용해, 분리 선명도(separation sharpness)의 어떠한 손실도 없이, 검사될 회전 위치의 개수가 12개로 제한될 수 있다.
앞서 언급된 예시에 따라 구성된 근적외선 센서 시스템을 이용하여, 엔진이 꺼진 후에도, 최대 500km의 거리에서, 발사된 로켓의 타깃 검출, 비행 경로 추적, 비행 경로 측정, 및 타깃 관측 및 타깃 식별 중 하나가 수행될 수 있다.
본 발명의 바람직한 예시적 실시예가, 추가 구성 상세사항 및 추가 이점과 함께, 이하에서 첨부된 도면을 참조하여 더 상세히 설명될 것이다.
도 1은 본 발명에 따르는 이미지 프로세싱 방법을 수행하기 위한 제 1 관측 장치의 개략적 표현이다.
도 1a는 도 1에 따르는 관측 장치의 래스터 필터 매트릭스이다.
도 2는 본 발명에 따르는 이미지 프로세싱 방법을 실행하기 위한 관측 장치의 제 2 실시예이다.
도 2a는 도 2에 따르는 관측 장치의 래스터 필터 매트릭스이다.
도 3은 본 발명에 따르는 자동 물체 인식 방법을 수행하기 위한 관측 장치의 제 1 실시예이다.
도 4는 본 발명에 따르는 자동 물체 인식 방법을 수행하기 위한 관측 장치의 제 2 실시예이다.
바람직한 예시적 실시예의 제시
도 1은 광학 소자(1) 및 이미지 프로세싱 장치(2)를 갖는 본 발명에 따르는 관측 장치를 도시한다. 광학 소자(1)는 도면에 단지 개략적으로만 도시된 긴 초점 렌즈(long-focus lens)를 갖는 망원경 유닛(10)을 가진다. 망원경 유닛(10)은 광의 가시 스펙트럼 및 광의 가시 스펙트럼 외부(가령, 적외선 및/또는 자외선 복사)에서 관측되는 장면의 전자기 복사 S를 캡처한다.
망원경(10)에 의해 캡처되는 복사 S는 도 1에서 개략적으로 도시된 드라이브(14)에 의해 구동되어 2차원 스캐닝 움직임을 수행할 수 있는 이동 가능한 편향 거울(12)로 전달된다. 편향 거울(12)의 수직방향 편향이, 예를 들어 중앙 제트(center jet) SM의 상부 경계 라인 및 하부 경계 라인 a'에 의해 그리고 중앙 제트 SM의 제 1 횡방향 경계 라인 b 및 제 2 횡방향 경계 라인 b'에 의해 도 1에 정의된 각도 범위로 발생한다. 경계 라인 a, a' 및 b, b'에 의해 스패닝되는 이 영역 Z에서, 편향 거울(12)은 망원경(10)에 의해 캡처된 복사 S의 라인 단위 스캐닝을 수행하고, 이와 관련하여, 영역 Z에 의해 결정된 타깃 이미지 Z'의 일부분을 이미지 프로세싱 소자(2)의 이미지 래스터화 모듈(image rasterization module)(20)의 입사 평면 E에 투영시킨다.
상기 이미지 래스터화 모듈(20)은 도 1에서 상세히 도시되지 않는 도광 요소(light-guide element)의 매트릭스형 배열을 가지며, 이때 도광 요소들의 하나의 단부가 입사 평면 E에서 종료된다. 도광 요소의 나머지 한 단부에서, 또한 도 1에서 개략적으로 도시되는 매트릭스형인 래스터 필터(22)가 제공되고 도 1a에서 횡단면으로 필터 매트릭스가 재생산된다. 이 래스터 필터(22)는 중앙 래스터 필터 요소(22") 및 이를 둘러 싸는 복수의 추가 개별적 래스터 필터 요소(22')를 포함하며, 복수의 추가 개별적 래스터 필터 요소 각각은 중앙 도광 요소를 둘러 싸는 추가 도광 요소로 할당된다. 도시된 예시에서, 따라서 이미지 래스터화 모듈(20)은 5 곱하기 5개(즉, 25개)의 도광 요소로 구성되며, 각각의 도광 요소에 래스터 필터 요소(22', 22")가 할당된다.
도 1a에서, 각각의 추가 래스터 필터 요소(22')에 배율(factor)이 할당되고, 배율이 개별 래스터 필터 요소의 광투과율(light permeability)을 재생한다. 따라서 중앙 도광 요소에 할당된 중앙 래스터 필터 요소(22")는 100%에 대응하는 1.00의 광투과율을 가진다. 따라서 중앙 도광 요소에 의해 안내되는 광이 래스터 필터(22)에 의해 감소되지 않는다. 이와 달리, 중앙 도광 요소 주변에 배치된 추가 도광 요소는 여기에 적용되는 광-감소 필터 효과를 가지며, 이때 다음의 의미를 갖는 배율이 도 1a에 나타난다:
0.03은 3% 광투과율에 대응하며,
0.06은 6% 광투과율에 대응하고,
0.09는 9% 광투과율에 대응하며,
0.12는 12% 광투과율에 대응하고,
0.15는 15% 광투과율에 대응하며,
0.21는 21% 광투과율에 대응한다.
이미지 래스터화 모듈(20)의 개별 도광 요소에 의해 발산되는 광이 래스터 필터(22)를 통해, 예를 들어 광 증폭기 튜브에 의해 형성되고 개별 래스터 필터 요소를 통해 빠져나오는 광 복사의 합산 신호를 형성하는 센서(24)에 충돌한다. 이 밝기 또는 복사 강도 합산 신호 SS가 센서(24)에 의해 이미지 프로세싱 소자(2)의 컴퓨터 유닛(26)으로 전달된다.
편향 거울(12)의 스캐닝 움직임을 이용해, 센서(24)에 의해 입사 복사 S가 픽셀 단위로 검출되고, 복사 강도 합산 신호 SS로서 컴퓨터 유닛(26)으로 전달된다. 이와 관련하여, 도 1a에 도시된 매트릭스의 이웃하는 픽셀들의 복사 강도들의 합산이, 필터 배율에 의해 가중되어, 센서(24)에 의해 검출되고, 여기서 각각의 타깃 이미지 픽셀이 매트릭스의 중앙 요소를 형성한다. 이와 관련하여, 타깃 이미지 픽셀은 래스터 필터의 도광 요소의 래스터의 래스터 요소에 대응한다. 따라서 중앙 픽셀 요소(타깃 이미지 픽셀)를 둘러 싸는 픽셀들의 밝기 값이, 도 1a에 도시된 밝기 감쇠 매트릭스에 따라, 각각의 타깃 이미지 픽셀에 합산되어 할당됨으로써, 이러한 방식으로, 타깃 픽셀을 위한 광 증폭이 발생되며, 매트릭스의 광-감소 배율에 따라 가중된다.
컴퓨터 유닛(26)에서, 편향 거울(12)의 스캔이 완전히 수행된 후, 개별 타깃 이미지 픽셀의 저장된 총 밝기 값 전부가 다시 한 번 결과 이미지로 조합되며, 그 후 이 이미지는 예를 들어, 출력 인터페이스(27)에 의해 디스플레이 소자(28)로 출력된다. 타깃 이미지 픽셀의 저장된 총 밝기 값이 타깃 이미지 픽셀이 타깃 이미지에 유지되는 결과 이미지 내 동일한 위치에 할당되도록 개별 타깃 이미지 픽셀의 저장된 총 밝기 값으로부터의 결과 이미지의 형성이 이뤄진다.
이 출력 결과 이미지는, 기재된 바와 같이 광 증폭으로 인해, 입사 평면 E 상에 본래 투영된 타깃 이미지 Z'보다 밝을 뿐 아니라, 도 1a의 매트릭스에 따라 각자의 이웃하는 픽셀의 서로 다른 가중치를 기초로, 이 결과 이미지는 또한 필터링되었고 배경으로부터 두드러지는 더 이상 어떠한 노이즈 픽셀도 포함하지 않는다. 따라서 결과 이미지가 구별될 수 있도록, 결과 이미지의 밝기 구배가 일정하다. 또한 이미지 콘트라스트(image contrast)가 기재된 방법에 의해 개선된다.
도시된 예시에서, 밝기 필터 매트릭스(래스터 필터(22))가 5 x 5 래스터 필터 요소로 지시되며, 스캐닝 영역에 의해 스팬되는 타깃 이미지 Z'가 25 x 25개의 픽셀이도록 가정되지만, 본 발명은 또한 그 밖의 다른 분해능의 타깃 이미지 및 그 밖의 다른 분해능의 밝기 필터 매트릭스 또는 도광 요소의 매트릭스에 대해 구현될 수 있다.
도 2에서 도 1에 도시된 관측 장치의 변형예가 나타난다. 관측될 장면으로부터 수신된 복사 S가 광학 소자(101)의 망원경 유닛(110)에 의해 캡처되고, 편향 거울(112) - 도 1과 달리, 이동 가능하지 않음 - 에 의해 이미지 프로세싱 소자(102)의 일체 부분인 이미지 기록 소자(120)의 이미지 센서(121)로(예를 들어, CCD 센서로) 전달되어, 관측된 장면의 타깃 이미지 Z'는 이미지 센서(12) 상에 완벽하게 도시된다.
이미지 기록 소자(120)는 이미지 센서(121) 상으로 투영되는 광학 타깃 이미지 Z'를 디지털 이미지로 변환하며, 상기 디지털 이미지는 이미지 파일의 형태로 컴퓨터 유닛(126)으로 전달된다.
도 1과 관련된 광학 이미지 프로세싱 방법과 유사하게 수신된 디지털 이미지를 프로세싱하는 소프트웨어는 컴퓨터 유닛(126)에서 실행된다. 이와 관련하여, 기록된 타깃 이미지 Z'이 래스터 이미지로 변환되고 래스터 요소 단위로 또는 픽셀 단위로 프로세싱되며, 각각의 타깃 이미지 픽셀의 밝기 값이 결정되고, 도 2a에 도시된 필터 매트릭스에 따라, 래스터 필터 요소(122', 122")를 갖는 래스터 필터(122)를 소프트웨어 서브루틴으로서 형성하며, 총 밝기 값을 형성하기 위해 현재 타깃 이미지 픽셀을 둘러 싸는 타깃 이미지의 픽셀들의 필터링된 픽셀가 더해진다. 총 밝기 값의 이러한 형성이 모든 타깃 이미지 픽셀에 대해 수행되고, 도 1과 관련하여 기재된 유사한 방식으로 이들 전자적으로 래스터화된 타깃 이미지 픽셀 또는 타깃 이미지 요소에 대해 획득된 개별 총 밝기 값으로부터 결과 이미지가 생성된다. 출력 인터페이스(127)에 의해 결과 이미지가 디스플레이 소자(128)로 출력된다.
본 명세서에 기재된 예시가 가시광 스펙트럼과 관련되더라도, 여기에 한정되지 않는다. 본 명세서에 기재된, 가시광 스펙트럼에서 기록된 장면의 이미지 프로세싱에 추가로, 예를 들어, 그 밖의 다른 스펙트럼, 가령, 적외선 스펙트럼 및 자외선 스펙트럼에서 장면이 기록되며, 도 1 및 도 2에 참조하여 기재된 것과 동일한 방식으로 프로세싱된다. 이러한 방식으로 획득된 서로 다른 스펙트럼 범위의 결과 이미지가 컴퓨터 유닛(26, 126)에 중첩되어, 출력 인터페이스(27, 127)에 의해 출력된 다중-스펙트럼 이미지를 생성할 수 있다.
도 3은 도 1을 참조하여 이미 기재된 관측 장치를 도시한다. 따라서 도면 부호는 도 1의 도면 부호에 대응한다. 도 1의 실시예에 비교할 때 유의미한 차이는 도광 요소를 갖는 래스터화 모듈(20)은 화살표(23)로 상징적으로 나타나는 바와 같이 지정 각도 스텝(가령, 360°에 걸친 12개의 각도 스텝)으로 도광 요소의 종방향에 평행하게 뻗어 있는 회전 축 X을 중심으로 회전될 수 있다는 것이다.
망원경(10)은 예를 들어 편향 거울(12)에 의해 25 x 25 픽셀의 크기를 갖는 타깃 이미지 Z'을 생성하고, 상기 이미지는 도 3에서 5 x 5 필드를 갖는 매트릭스로서 나타나며, 각각의 필드가 5 x 5 픽셀 또는 래스터 요소를 가지며, 따라서 래스터 필터(22)와 동일한 크기 및 동일한 개수의 래스터 요소를 가진다.
각각의 5 x 5 픽셀 블록(= 타깃 이미지 요소 zi)의 각각의 중앙 픽셀이 이미지 래스터화 모듈(20)의 중앙 도광 요소로 순차적으로 전달되는 방식으로, 편향 거울(12)은 망원경(10)에 의해 캡처된 복사를 수평으로 그리고 수직으로 편향시킨다. 도 1과 관련하여 기재된 이미지 프로세싱에 따라 도출된 25개의 타깃 이미지 요소 zi에 대한 밝기 값이 컴퓨터 유닛(26)에 저장된다. 이와 관련하여, 바람직하게는, 이미지 프로세싱이 가시광의 범위에서 발생할 뿐 아니라 그 밖의 다른 스펙트럼 범위에서도 유사하게 발생할 수 있다. 또한 그 밖의 다른 스펙트럼 범위에 대한 결과 값이 컴퓨터 유닛(26)에 저장된다.
그 후 이미지 래스터화 모듈(20)은 하나의 각도 스텝씩 회전하고, 기재된 이미지 프로세싱 단계가 반복된다. 이 절차가 모든 각도 스텝에 대해 수행되면, 다시 말하면, 축 X을 중심으로 이미지 래스터화 모듈(20)이 완전히 회전하면, 복수의 각도 스텝에 대응하는 복수의 결과 이미지가 서로 다른 회전 위치에서 획득된다.
타깃 이미지 Z'의 9개의 내부 5 x 5 픽셀 블록 zm가 검색 이미지(search image) 범위로서 정의되며, 이들 요소 zm으로 감소된 타깃 이미지가 메모리 소자(29)에 저장된 동일한 크기 및 동일한 분해능을 갖는 기준 이미지에 비교된다. 검색 이미지와 저장된 기준 이미지 간 가장 작은 차이가 발생하는 위치 및 회전 위치가 모니터링된 장면에 포함된 기준 이미지 클래스의 타깃의 위치 및 회전 위치로서 등록된다.
이러한 방식으로, 도 1과 관련하여 기재된 이미지 프로세싱 방법을 이용해 자동 물체 인식 방법이 생성되었다.
도 4는 자동 물체 인식을 위한 본 발명에 따르는 관측 장치의 추가 변형예를 나타낸다. 관측 장치는 도 2와 관련하여 기재된 관측 장치에 대응하며, 도 4의 도면 부호가 도 2의 도면 부호와 동일하고 따라서 동일한 구성요소를 지칭한다. 도 2의 실시예의 변형예에서, 도 4의 실시예는 데이터 교환을 위한 컴퓨터 유닛(126)과 관련하여 나타난 메모리 소자(129) 내에 기준 이미지 메모리를 가진다.
컴퓨터 유닛(26, 126) 및 메모리 소자(29, 129)는 이미지 프로세싱 소자(2) 내에 이미지 평가 소자(25)를 형성한다. 이 장치를 이용해, 도 3과 관련하여 기재된 방법과 유사한 물체 인식 방법이 수행되지만, 도 4의 실시예에서, 타깃 이미지 Z'의 회전이, 컴퓨터 장치(126) 상에서 실행되는 소프트웨어에 의해, 가상으로 수행된다.
이미지 인식을 위해, 바람직하게는 다중-스펙트럼 이미지 인식을 위해, 타깃 이미지 Z'(25 x 25 픽셀)에서, 모든 검색 픽셀 위치 PZ에 대한 다음의 특성 값이 계산된다:
1) 래스터 필터(122)의 매트릭스에 따라 가중된, 개별 표준화된 스펙트럼 성분들의 평균 값, 및 총 밝기가 9개의 마킹된 5 x 5 픽셀 블록 zm 중 각각의 픽셀 블록에 대해 그리고 9개의 픽셀 블록을 구성된 중앙 영역 내 모서리 픽셀 블록의 모든 4개의 중앙 픽셀(123)에 대해 계산되며, 각각의 경우, 각각의 모서리 픽셀 블록을 둘러 싸는, 각각의 경우, 링(ring)형으로 배치된 8개의 5 x 5 픽셀 블록 zR에 대한 평균 값들의 평균 값이 계산된다.
2) 개별 표준화된 스펙트럼 구성요소 및 총 밝기의 표준 편찬가 9개의 마킹된 5 x 5 픽셀 블록 zm의 각각의 픽셀 블록에 대해 그리고 모든 4개의 중앙 픽셀(123)에 대해 계산되며, 각각의 경우, 각각의 경우, 링(ring)으로 배치된 8개의 5 x 5 픽셀 블록 zR에 대한 표준 편차들의 평균 값이 계산된다.
3) 360°에 걸쳐 분포된 12개의 회전 위치에서 1) 및 2)에 따르는 값이 계산된다.
4) 차이 형성에 의해, 검색 픽셀(search pixel)과 관련된 각각의 회전 위치에서의 각각의 값 세트가 검색된 기준 타깃 이미지에 대한 값에 비교되며, 가장 작은 절대 크기의 차이를 갖는 값 세트가 이 검색 픽셀의 대표값으로서 등록된다.
5) 타깃 이미지는 더 작은 부분 영역으로 분할되며, 각각의 영역 내 가장 작은 차이 크기를 갖는 검색 픽셀이 찾아진다. 가장 작은 차이 크기를 갖는 검색 픽셀의 값 세트가 인식된 타깃 이미지로 번역되고, 하나의 픽셀 분해능 및 회전 위치에 의해, 관측되는 검색 픽셀 위치에서의 기준 타깃 유형의 발견된 타깃으로서 등록된다.
특허청구범위, 상세한 설명, 및 도면에서의 도면 부호가 본 발명의 더 나은 이해를 위한 것에 불과하며 보호 범위를 제한하려는 것이 아니다.
1 광학 소자
2 이미지 프로세싱 소자
10 망원경 유닛
12 편향 거울
14 엔진
18 디스플레이 소자
20 이미지 래스터화 모듈
22 래스터 필터
22' 래스터 필터 요소
22" 래스터 필터 요소
24 센서
25 이미지 평가 소자
26 컴퓨터 유닛
27 출력 인터페이스
28 디스플레이 소자
29 메모리 소자
101 광학 소자
102 이미지 프로세싱 소자
110 망원경 유닛
112 편향 거울
120 이미지 기록 소자
121 이미지 센서
122 래스터 필터
122' 래스터 필터 요소
122" 래스터 필터 요소
125 이미지 평가 소자
126 컴퓨터 유닛
127 출력 인터페이스
128 디스플레이 소자
129 기준 이미지 메모리
a 경계 라인
a' 경계 라인
b 경계 라인
b' 경계 라인
E 입사 평면
PZ 검색 픽셀 위치
S 전자기 복사
SM 중앙 제트
SS 합산 신호
X 광축
Z 스팬된 영역
Z' 타깃 이미지
zi 타깃 이미지 요소
zm 픽셀 블록
zR 픽셀 블록

Claims (11)

  1. 이미지 프로세싱 방법으로서, 상기 방법은
    a) 광학 소자(1, 101)를 이용해, 전자기 복사로서 장면(scene)의 이미지 데이터를 수집하는 단계,
    b) 이미지 데이터의 신호대잡음 비(signal-to-noise ratio)를 개선하기 위해 이미지 프로세싱 소자(2, 102)에 의해, 단계 a)에서 획득된 이미지 데이터를 프로세싱하는 단계 - 상기 프로세싱하는 단계는
    b1) 래스터 이미지를 생성하기 위해 이미지 데이터를 포함하는 원시 이미지(raw image)를 라인 및 컬럼으로 분할하는 단계,
    b2) 홀수 개수의 라인과 홀수 개수의 컬럼을 갖는 래스터 필터(22, 122)의 중앙 래스터 필터 요소(22", 122")를 래스터 이미지 요소 상으로 중첩시키는 단계,
    b3) 래스터 필터(22, 122)에 의해 커버되는 각각의 래스터 이미지 요소의 밝기 값을 결정하는 단계 - 중앙 래스터 필터 요소(22", 122")는 제외하고, 하나 걸러 하나의 래스터 필터 요소(22', 122')가 개별 광-감소 속성을 가짐 - ,
    b4) 총 밝기 값을 생성하기 위해 단계 b3)에서 결정된 밝기 값을 합산하고, 이 총 밝기 값을 중앙 래스터 필터 요소(22", 122")에 의해 커버되는 래스터 이미지 요소로 할당하는 단계,
    b5) 모든 나머지 래스터 이미지 요소에 대해 단계 b2) 내지 b4)를 반복하는 단계
    를 포함함 - ,
    c) 단계 b)에서 획득된 래스터 이미지 요소의 총 밝기 값으로부터 원시 이미지와 동일한 분해능을 갖는 결과 이미지를 생성하는 단계
    를 포함하는, 이미지 프로세싱 방법.
  2. 제1항에 있어서,
    - 단계 a)에서, 서로 다른 스펙트럼 범위에서의 장면의 원시 이미지를 획득하기 위해 둘 이상의 전자기 파장 범위에서 장면의 이미지 데이터가 수집되며,
    - 서로 다른 스펙트럼 범위의 결과 이미지를 획득하기 위해, 단계 b) 및 c)는 장면의 모든 원시 이미지에 대해 수행되며,
    - 중첩에 의해, 서로 다른 스펙트럼 범위의 결과 이미지가 조합되어, 다중-스펙트럼 결과 이미지를 생성하는, 이미지 프로세싱 방법.
  3. 제2항에 있어서,
    서로 다른 스펙트럼 범위에서의 장면의 이미지 데이터를 수집하는 단계는 서로 다른 스펙트럼 범위 필터를 이용해 고속 카메라를 이용해 시간상 고속 시퀀스로 발생하는, 이미지 프로세싱 방법.
  4. 청구항 제1항 내지 제3항 중 어느 한 항에 따르는 이미지 프로세싱 방법을 이용하는, 자동 물체 인식 방법으로서, 상기 방법은
    - 단계 a)에서 장면을 기록하는 것은 광학 소자의 광축(X)을 중심으로 하는 서로 다른 회전 각도에서 수행되고,
    - 이미지 프로세싱 방법이 단계들에 따라 결과 이미지가 모든 회전 각도에 대해 생성되며,
    - 개별 결과 이미지가 물체 데이터베이스에 저장된 개별 물체의 샘플 이미지에 비교되며,
    - 결과 이미지 중 하나 이상으로부터 적어도 편차를 갖는 상기 샘플 이미지는 장면에 포함된 물체를 식별하고 상기 결과 이미지 내 물체의 위치를 결정하는, 자동 물체 인식 방법.
  5. 제4항에 있어서,
    결과 이미지에서 물체의 위치를 결정하는 것은 상기 결과 이미지의 래스터 요소가 샘플 이미지의 대응하는 래스터 요소와 일치하는 정도를 결정함으로써 이뤄지는, 자동 물체 인식 방법.
  6. 장면의 이미지 데이터를 수집하기 위한 광학 소자(1, 101)를 갖고, 수집된 이미지 데이터의 신호대잡음 비를 개선하기 위한 이미지 프로세싱 소자(2, 102)를 갖는 관측 장치로서,
    상기 관측 장치는 청구항 제1항 내지 제3항 중 어느 한 항에 따르는 이미지 프로세싱 방법의 방법 단계들을 수행하도록 구성되는, 관측 장치.
  7. 장면의 이미지 데이터를 수집하기 위한 광학 소자(1, 101)를 갖고, 수집된 이미지 데이터의 신호대잡음 비를 개선하기 위한 이미지 프로세싱 소자(2, 102), 및 이미지 평가 소자(25, 125)를 갖는 관측 장치로서,
    상기 관측 장치는 청구항 제4항 또는 제5항에 따르는 물체 인식 방법의 방법 단계들을 수행하도록 구성되는, 관측 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 이미지 프로세싱 소자(2, 102)는 이미지 래스터화 모듈(20) 및 래스터 필터 모듈(22, 122)을 갖는, 관측 장치.
  9. 제8항에 있어서,
    상기 이미지 래스터화 모듈(20)은 광학 소자(1)와 검출된 복사에 감응하는 센서(24) 사이에 배치되는 도광 요소들의 매트릭스(matrix)형 배열을 가지며,
    상기 도광 요소의 적어도 일부분은 할당된 래스터 필터 모듈(22)의 밝기-감소 래스터 필터 요소(22')를 가지며,
    상기 광학 소자(1)는 이미지 래스터화 모듈(2)의 입사 평면(E)에 수집된 이미지 데이터를 원시 이미지(raw image)로서 도시하는 방식으로 구성되고,
    상기 광학 소자는 원시 이미지가 이미지 래스터화 모듈(20)의 입사 평면(E)을 참조하여, 상기 입사 평면(E) 상에서 변위될 수 있도록 구성되며,
    컴퓨터 유닛(26)이 상기 센서(24)로부터 밝기 신호를 수신하며,
    청구항 제1항의 단계 c)와 바람직하게는 청구항 제2항 내지 제5항 중 어느 한 항에 따르는 방법의 단계들을 구현하는 소프트웨어가 상기 컴퓨터 유닛(26) 상에서 실행되는, 관측 장치.
  10. 제8항에 있어서,
    이미지 센서(121)가 광학 소자(101)를 따르고,
    상기 광학 소자(101)는 이미지 센서(121)의 센서 평면에 수집된 이미지 데이터를 도시하도록 구성되며,
    컴퓨터 유닛(126)이 상기 이미지 센서(121)로부터 이미지 신호를 수신하고,
    청구항 제1항의 단계 b) 및 c)와 바람직하게는 청구항 제2항 내지 제5항 중 어느 한 항에 따르는 방법의 단계를 구현하는 소프트웨어가 컴퓨터 유닛(126) 상에서 실행되며, 이미지 래스터화 모듈 및 래스터 필터 모듈(122)은 소프트웨어의 서브루틴으로서 구성되는, 관측 장치.
  11. 공지 기술과 비교해서 크게 증가된 정확도를 갖는, 발화 엔진을 갖는 발사된 로켓을 경로 추적하기 위한 방법으로서,
    치밀 대기(dense atmosphere) 위에 비행 중인 항공기로부터 저온 우주 공간을 배경으로 상향으로 관측이 이뤄짐으로써, 시스템의 감도가 상당히 증가되고 간섭에 대한 취약성이 감소되고,
    엔진 제트의 고온 코어 영역 상으로의 시야선(vision line)이 로켓의 몸체 또는 로켓 후방의 연기 및 배기 제트에 의해 덮이지 않도록 관측이 측방 및 하향으로 이뤄지고,
    로켓의 발화 제트의 협대역 다중-스펙트럼 이미지가 적어도 3개의 대역으로 기록되며, 타깃 이미지의 온도 분포가 매우 정교하게, 가령, 50°K의 정밀도로 계산될 수 있도록 상기 3개의 대역의 스펙트럼 범위는 관측되는 타깃의 온도에 의해 조정되며,
    코어 제트의 고온 범위가 로켓의 경로를 추적하기 위해 사용되며, 제트는 엔진 노즐에 견고하게 고정되며 측정 정확도를 손상시킬 수 있는 임의의 변동에 영향 받지 않고,
    로켓 상의 로켓 엔진의 크기, 개수, 및 배치를 결정하고, 로켓을 로켓의 유형에 따라 분류할 수 있도록, 로켓의 노즐 지름의 크기에서 광학 분해능이 선택되는, 로켓을 경로 추적하기 위한 방법.
KR1020157012406A 2012-10-12 2013-10-08 이미지 프로세싱 방법 및 발사된 로켓의 경로를 추적하는 방법 KR20150072423A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102012020104 2012-10-12
DE102012020104.4 2012-10-12
DE102012022045.6A DE102012022045A1 (de) 2012-10-12 2012-11-09 Verfahren zur Bildaufbereitung und damit durchführbares Verfahren zur automatischen Objekterkennung sowie Beobachtungsvorrichtung und Verfahren zur hochgenauen Bahn-Verfolgung startender Raketen auf große Entfernungen
DE102012022045.6 2012-11-09
PCT/DE2013/000569 WO2014056473A2 (de) 2012-10-12 2013-10-08 Verfahren zur bildaufbereitung und damit durchführbares verfahren zur automatischen objekterkennung sowie beobachtungsvorrichtung und verfahren zur hochgenauen bahnverfolgung startender raketen auf grosse entfernungen

Publications (1)

Publication Number Publication Date
KR20150072423A true KR20150072423A (ko) 2015-06-29

Family

ID=50383016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157012406A KR20150072423A (ko) 2012-10-12 2013-10-08 이미지 프로세싱 방법 및 발사된 로켓의 경로를 추적하는 방법

Country Status (6)

Country Link
US (1) US9300866B2 (ko)
EP (1) EP2907105A2 (ko)
JP (1) JP6285940B2 (ko)
KR (1) KR20150072423A (ko)
DE (1) DE102012022045A1 (ko)
WO (1) WO2014056473A2 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727964B2 (en) * 2013-08-08 2017-08-08 Shimadzu Corporation Image processing device
CN111797872B (zh) * 2019-04-09 2023-08-01 深圳市家家分类科技有限公司 控制方法、电子装置、计算机可读存储介质及降解设备
US11587323B2 (en) * 2019-06-28 2023-02-21 Raytheon Company Target model broker
CN115147313B (zh) * 2022-09-01 2022-12-30 中国科学院空天信息创新研究院 椭圆轨道遥感图像的几何校正方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4686646A (en) 1985-05-01 1987-08-11 Westinghouse Electric Corp. Binary space-integrating acousto-optic processor for vector-matrix multiplication
JPH04164275A (ja) * 1990-10-26 1992-06-09 Hamamatsu Photonics Kk 遠隔位置の光学観測装置
US5299275A (en) 1993-03-31 1994-03-29 Eastman Kodak Company Optical fiber filter for reducing artifacts in imaging apparatus
US6965685B1 (en) 2001-09-04 2005-11-15 Hewlett-Packard Development Company, Lp. Biometric sensor
DE102011010337A1 (de) 2011-02-04 2012-08-09 Eads Deutschland Gmbh Kamerasystem zur Erfassung und Bahnverfolgung von in großer Entfernung befindlichen bewegten Objekten
DE102011010339A1 (de) 2011-02-04 2012-08-09 Eads Deutschland Gmbh Luftraumüberwachungssystem zur Erfassung von innnerhalb eines zu überwachenden Gebiets startenden Raketen sowie Verfahren zu Luftraumüberwachung

Also Published As

Publication number Publication date
WO2014056473A3 (de) 2014-07-17
WO2014056473A2 (de) 2014-04-17
JP2015537290A (ja) 2015-12-24
DE102012022045A1 (de) 2014-04-17
EP2907105A2 (de) 2015-08-19
US20150281572A1 (en) 2015-10-01
US9300866B2 (en) 2016-03-29
JP6285940B2 (ja) 2018-02-28

Similar Documents

Publication Publication Date Title
Koretsky et al. Tutorial on Electro-Optical/Infrared (EO/IR) Theory and Systems
Stellman et al. Real-time hyperspectral detection and cuing
US7417717B2 (en) System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
US7710545B2 (en) Scanned laser detection and ranging apparatus
US20030067537A1 (en) System and method for three-dimensional data acquisition
CN105910712B (zh) 五通道自适应二维温度场测量装置及其测量方法
KR20020065538A (ko) 미사일 위협으로부터 항공기를 보호하는 방법 및 장치
KR20150072423A (ko) 이미지 프로세싱 방법 및 발사된 로켓의 경로를 추적하는 방법
US10436907B1 (en) Active christiansen effect LIDAR system and method
CN104236457A (zh) 以红外光源作为散斑靶标的数字散斑测量装置及测量方法
US11047958B1 (en) Sensor fusing using 3D fiber coupled scanning LIDAR
US20030067538A1 (en) System and method for three-dimensional data acquisition
CN109425434A (zh) 一种消除发射率误差的等离子体三维温度场测量装置
CN101702021B (zh) 一种图谱一体化的时变对象光谱信息获取方法与装置
CN105371949A (zh) 画幅式色散成像光谱装置及其探测方法
Hinnrichs et al. New approach to imaging spectroscopy using diffractive optics
CN111272101A (zh) 一种四维高光谱深度成像系统
GB2462137A (en) Polarisation sensitive long wavelength infra red(LWIR) detector
CN105784121B (zh) 九通道自适应大范围二维温度场测量装置及其测量方法
CN111595444B (zh) 一种运动目标光谱跟踪测量遥感系统以及方法
CN109781259B (zh) 一种图谱关联的精准测量空中运动小目标红外光谱的方法
CN108917928B (zh) 一种360度全景多光谱成像仪
CN108152218B (zh) 一种测量蒙气色差的方法及装置
CN110398287A (zh) 基于窄带反射镜阵列的多光谱视频成像装置
CN111480048B (zh) 用于检查目标指示的成像仪器

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application