KR20060013640A - 항공 화상의 자동 처리 - Google Patents

항공 화상의 자동 처리 Download PDF

Info

Publication number
KR20060013640A
KR20060013640A KR1020057017946A KR20057017946A KR20060013640A KR 20060013640 A KR20060013640 A KR 20060013640A KR 1020057017946 A KR1020057017946 A KR 1020057017946A KR 20057017946 A KR20057017946 A KR 20057017946A KR 20060013640 A KR20060013640 A KR 20060013640A
Authority
KR
South Korea
Prior art keywords
change
dimensional
registration
changes
picture
Prior art date
Application number
KR1020057017946A
Other languages
English (en)
Other versions
KR101105795B1 (ko
Inventor
메이어 쉬라가이
조셉 리베르만
Original Assignee
엠.에이.엠.디. 디지털 데이터 프로세싱 시스템즈 리미티드
엘타 시스템즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠.에이.엠.디. 디지털 데이터 프로세싱 시스템즈 리미티드, 엘타 시스템즈 리미티드 filed Critical 엠.에이.엠.디. 디지털 데이터 프로세싱 시스템즈 리미티드
Publication of KR20060013640A publication Critical patent/KR20060013640A/ko
Application granted granted Critical
Publication of KR101105795B1 publication Critical patent/KR101105795B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

사실상 유사한 광경에 대해 다른 시각에 입수한 제1과 제2 쌍의 입체 화상들 사이의 변화의 검출을 위한 변화 검출 장치가 제공되는데, 이 장치는, 상기 두 쌍의 화상들의 2 차원 정보로부터 변화 후보들의 최초 리스트를 입수하기 위해 제1 쌍과 제2 쌍 화상들을 비교하기 위한 2 차원 화상 필터, 그리고 3 차원 화상 정보를 이용하여 변화 후보들의 위치에서 화상 쌍들을 비교하는 3 차원 화상 필터를 구비한다. 이 장치는 3 차원 화상 변화와 상관된 변화 후보들을 보유하고, 3 차원 화상 변화와 상관되지 않은 변화 후보들을 제거하고 변화 후보들의 선별된 리스트를 생성한다.
항공기, 3 차원 화상 처리, 정사투영사진, 화상 필터, 변화 후보

Description

항공 화상의 자동 처리{AUTOMATIC PROCESSING OF AERIAL IMAGES}
본 발명은 자동 화상 처리 방법 및 장치에 관한 것으로, 특히 제한되지는 않지만, 다른 시각에 동일한 위치에서 획득한 화상의 변화를 자동 검출하는 방법 및 장치에 관한 것이다.
최근의 항공 사진에 있어서 필요한 정보를 구하는데 특히 작은 변화를 찾아내는 것을 필요로 할 때 화상 작업이 어렵게 된다. 오늘날은 최종 식별을 생성하는데 인적 사용자에게 표현된 후보 차이를 찾기 위해 자동 화상 분석 기술을 사용함으로써 이러한 일이 쉽게 되었다. 그럼에도 아주 정밀한 조사에서 활용할 수 있는 사진 화상의 순수 량은 위의 방법에서조차 분석자가 실행하기에는 방대한 양의 작업이 된다. 한 영역에서의 고 정밀의 조사를 위해서는 실상 거의 10 센티미터 정도 크기 물체들을 해결할 능력으로 아주 낮은 고도에서 그 영역을 촬영해야 하고, 분석자가 컴퓨터가 파악한 모든 의심스러운 변화를 고려해야 할 때, 처리의 효과는 매우 문제를 갖게 된다.
다른 문제는 항공 사진이 불특정한 위치 그리고 불특정한 각도 기울기로 촬영되는데 있다. 항공 사진은 맵(map)으로서 처리되기 이전에 공지의 정사투영사진(正射投影寫眞;orthophoto)라는 것으로 변환될 필요가 있다. 항공 사진 및 정사투 영사진 즉 정사투영영상(orthoimage)은 유사하지만 정사투영사진이 지도와 같이 사용되게 하는 중요한 차이가 있다. 종래의 원근법 항공 사진은 카메라 그리고 지형 고저(표면 형태)의 기울기에 의한 화상 왜곡을 갖는다. 이 사진은 균일한 축적을 갖지 못한다. 당신은 지도에서 할 수 있는 것처럼 항공 사진상에서 거리를 측정할 수 없다. 즉, 항공 사진은 지도가 아니다. 경사 및 고저의 효과는 일반적으로 교정(rectification)이라고하는 수학적 처리에 의해 항공 사진에서 제거된다. 이 결과의 정사투영사진이 균일한 축척의 화상이다. 정사투영사진은 균일한 축척을 가지므로, 지도와 똑같이 그 위에서 직접적으로 거리 측정을 할 수 있다. 정사투영사진은 다른 지도 정보가 중첩될 수 있는 기초 지도로서 기능한다. 축척의 문제를 처리할 수 있기까지는, 다소 다른 위치에서 입수한 2 개의 화상이라도 같은 것을 보여주지는 못하기 때문에 변화를 추적하는 처리를 시작하기 어렵다.
그러나 축척의 문제를 해결한 후에라도 현재의 자동 화상 처리 시스템은 사진들 간의 비상관 ( irrelevant ) 차이 즉 자연적으로 이동하는 물체로 인한 차이, 사진을 촬영한 시각 사이의 조명 변화로 인한 차이, 연속 촬영된 사진들 사이의 정확한 정합의 실패로 인한 차이 등을 제외하는데 어려움이 있다.
화상을 정합하는 하나의 방법은, 두 화상 위에 같은 점을 구하고 기준 위치로서 그것을 사용하는 것이다. 그러나 이 방법은 정확하게 같지 않은 유사한 점들이 잘못 선택될 수 있기 때문에 항상 적용할 수는 없다. 따라서 반복적인 특징들이 나타나는 임의 종류의 지형은 유사한 인접 영역의 오류 정합을 가져오기 쉽다.
따라서 상기 제한을 해소하는 자동 특징 정합 시스템을 구현하는 것에 대한 필요가 널리 인식되고 있으며, 이러한 구현이 매우 바람직하다.
본 발명의 일 특징에 따르면, 사실상 유사한 광경에 대해 다른 시각에 입수한 제1과 제2 쌍의 입체 화상(영상)들 사이의 변화의 검출을 위한 변화 검출 장치가 제공되는데, 이 장치는,
상기 두 쌍의 화상들의 2 차원 정보로부터 변화 후보들의 최초 리스트를 입수하기 위해 제1 쌍과 제2 쌍 화상들을 비교하기 위한 2 차원 화상 필터, 그리고
3 차원 정보와 상관 있는 변화 후보들을 유지하고 3 차원 정보와 상관없는 후보들을 제거하여 변화 후보들의 선별된 리스트를 생성하도록 제1 쌍과 제2 쌍 화상들의 3 차원 정보를 이용하여 변화 후보들에서 제1 쌍과 제2 쌍의 화상들의 적어도 하나를 비교하기 위한 3 차원 화상 필터를 구비한다.
바람직하게 3 차원 화상 필터는 제1 쌍과 제2 쌍 화상들 모두에서 3 차원 정보를 비교해서 3 차원 변화 정보를 획득하여 3 차원 변화 정보와의 상관성에 기초하여 유지 및 제거가 되도록 구성된다.
바람직하게 2 차원 정보는 컬러 정보이다.
또한 즉 선택적으로 2 차원 정보는 텍스처 정보이다.
장치는 또한 3 차원 화상 필터 앞에 접속된 움직임 제거 필터를 구비하는데, 이 필터는 한 화상내에서 움직임으로서 발생하는 변화들을 제거하도록 화상 쌍의 화상들사이의 변화 후보들을 비교하는 2 차원 비교기를 구비한다.
장치는 또한 화상들 각각을 정렬해서 필터링을 하기 위한 정렬 장치를 구비하고, 이 정렬 장치는 화상들중 적어도 하나에 대한 제1 화상 특징을 식별하고, 1 차원 상호 상관(cross-correlation)을 실행하여 화상들중 제2 화상에 대한 대응 화상 특징을 구한 다음 이 대응의 상호상관 특징으로부터 역 1 차원 상호 상관을 실행하는 연결 점(tie point) 장치를 구비하는데, 상기 제1 화상 특징 및 대응 화상 특징은 제1 화상 특징을 역 1 차원 상호 상관에 의해 성공적으로 구한 경우에만 수용된다.
본 발명의 제2 특징에 따르면, 한 장면의 선(earlier) 화상 및 후 화상간의 자동 변화 검출 방법이 제공되는데, 2 차원 및 3 차원 데이터는 입수가능한 것이고, 상기 방법은,
상기 2 차원 데이터로부터 후보 변화들의 최초 리스트를 얻는 단계, 및
3 차원 변화들에 대응하지 않는 후보를 상기 최초 리스트로부터 제거하는 단계를 포함한다.
본 발명의 제3 특징에 따르면, 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 및 제2 입체 화상 쌍들간의 변화들의 검출을 위한 변화 검출 장치가 제공되는데,
이 장치는,
상기 제1 입체 화상 쌍의 각각의 적어도 후보 부분들을 상기 제2 입체 화상 쌍의 각각의 대응하는 후보 부분들과 비교하여 변화의 4개의 측정치들을 얻는 비교기,
상기 4개의 측정치들 중 가장 낮은 것에 기초하여, 변화 리스트로부터 상기 화상의 상기 적어도 후보 부분들을 제거하여, 상기 후보 변화 리스트를 갱신하는 드레숄더(thresholder)를 포함한다.
본 발명의 제4 특징에 따르면, 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 및 제2 입체 화상 쌍들간의 변화들의 검출을 위한 변화 검출 방법이 제공되는데, 이 방법은,
상기 제1 입체 화상 쌍의 각각의 적어도 후보 부분들을 상기 제2 입체 화상 쌍의 각각의 대응하는 후보 부분들과 비교하여 변화의 4개의 측정치들을 얻는 단계, 및
상기 4개의 측정치들 중 가장 낮은 것에 기초하여, 변화 리스트로부터 상기 화상의 상기 적어도 후보 부분들을 제거하여, 상기 후보 변화 리스트를 갱신하는 단계를 포함한다.
본 발명의 제5 특징에 따르면, 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 및 제2 입체 화상 쌍들간의 일치하는 특징들의 유효화를 위한 에피폴라 유효화 장치가 제공되는데, 이 장치는,
상기 제1 화상에서 상기 특징을 찾기 위한 제1 화상 특징 탐색기,
상기 제2 화상에서 상기 특징을 찾기 위해 1차원 탐색을 실행하는 1차원 상호 상관기,
상기 제2 화상에서 상기 특징을 시작점으로서 사용하여 상기 제1 화상에서 상기 특징을 탐색하는 역 상관기, 및
상기 제2 화상 내 상기 특징이 상기 제1 화상 내 상기 특징으로 될 경우에만 상기 일치를 수락하는 유효화기를 포함한다.
본 발명의 제6 특징에 따르면, 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 및 제2 입체 화상 쌍들간의 일치하는 특징들의 유효화를 위한 에피폴라 유효화 방법이 제공되는데, 이 방법은,
상기 제1 화상에서 특징을 찾는 단계,
상기 제2 화상에서 상기 특징을 찾기 위해 1차원 탐색을 실행하는 단계,
상기 제2 화상에서 상기 특징을 시작점으로서 사용하여 상기 제1 화상에서 상기 특징을 탐색을 실행하는 단계, 및
상기 제2 화상 내 상기 특징이 상기 제1 화상 내 상기 특징으로 될 경우에만 상기 일치를 수락하는 단계를 포함한다.
바람직하게, 상기 1차원 탐색들은 상호 상관을 행하는 단계를 포함한다.
본 발명의 제7 특징에 따르면, 제1 입체 화상 쌍과 제2 입체 화상 쌍간의 변화들을 검출하기 위한 3 차원 변화 검출기 장치가 제공되는데, 이 장치는,
상기 제1 및 제2 화상들을 처리하여 변화들의 후보 리스트를 생성하는 예비 프로세서,
상기 입체 화상 쌍들 각각으로부터, 각각의 입체 쌍의 3 차원 정보에서 상기 변화들의 후보 리스트에 표시된 적어도 위치들의 제1 및 제2 디지털 지형 모델을 각각 생성하는 디지털 지형 모델 생성기,
상기 위치들에 관하여 대응하는 점들을 찾고 상기 제1 및 제2 디지털 지형 지도들에서 동일 높이들의 상기 점들을 묶는 연결 장치,
상기 제1 디지털 지형 지도와 상기 제2 디지털 지형 지도간의 높이 차들로서 나타나지 않는 변화들을 제거하여 선별된 변화 리스트를 생성하도록 상기 연결 점들 내에서 삼각 측량을 행하는 삼각 측량기를 포함한다.
본 발명의 제8 특징에 따르면, 제1 입체 화상 쌍과 제2 입체 화상 쌍간의 변화들을 검출하기 위한 3 차원 변화 검출기 방법이 제공되는데, 이 방법은,
상기 제1 및 제2 화상들을 처리하여 변화들의 후보 리스트를 생성하는 단계,
상기 입체 화상 쌍들 각각으로부터, 각각의 입체 쌍의 3 차원 정보에서 상기 변화들의 후보 리스트에 표시된 적어도 위치들의 제1 및 제2 디지털 지형 모델을 각각 생성하는 단계,
상기 위치들에 관하여 대응하는 점들을 찾고 상기 제1 및 제2 디지털 지형 지도들에서 동일 높이들의 상기 점들을 연결하는 단계;
상기 제1 디지털 지형 지도와 상기 제2 디지털 지형 지도간의 높이 차들로서 나타나지 않는 변화들을 제거하여 선별된 변화 리스트를 생성하도록 상기 연결 점들 내에서 삼각 측량을 행하는 단계를 포함한다.
본 발명의 제9 특징에 따르면, 제1 입체 화상 쌍과 제2 입체 화상 쌍간의 변화들을 검출하기 위한 3 차원 변화 검출기 장치가 제공되는데, 이 장치는,
상기 제1 및 제2 화상들을 처리하여 변화들의 후보 리스트를 생성하는 예비 프로세서;
상기 입체 화상 쌍들 각각으로부터, 각각의 입체 쌍의 3 차원 정보에서 상기 변화들의 후보 리스트에 표시된 적어도 위치들의 제1 및 제2 디지털 지형 모델을 각각 생성하는 디지털 지형 모델 생성기,
상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델간의 평균 높이 레벨들을 등화하는 등화기, 및
고 주파수 성분들을 갖는 상기 후보 리스트에서 변화들을 확인하고 고 주파 성분들을 갖지 않는 변화들은 제거함으로써 갱신한 변화 리스트를 생성하기 위해서 상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델 간의 고 주파수 차이들을 검출하는 고역 필터를 포함한다.
검출기는 바람직하게 상기 디지털 지형 모델 생성기와 상기 등화기 간에 접속되어, 상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델 간의 저 주파 차이들을 소거하기 위한 저역 필터를 포함한다.
본 발명의 제10 특징에 따르면, 제1 입체 화상 쌍과 제2 입체 화상 쌍간의 변화들을 검출하기 위한 3 차원 변화 검출기 방법이 제공되는데, 이 방법은,
상기 제1 및 제2 화상들을 처리하여 변화들의 후보 리스트를 생성하는 단계;
상기 입체 화상 쌍들 각각으로부터, 각각의 입체 쌍의 3 차원 정보에서 상기 변화들의 후보 리스트에 표시된 적어도 위치들의 제1 및 제2 디지털 지형 모델을 각각 생성하는 단계,
상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델간의 평균 높이 레벨들을 등화하는 단계,
고 주파수 성분들을 갖는 상기 후보 리스트에서 변화들을 확인하기 위해 상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델 간의 고 주파수 차이들을 검출하는 단계, 및
고 주파 성분들을 갖지 않는 변화들은 제거함으로써 선별된 변화 리스트를 생성하는 단계를 포함한다.
본 발명의 제11 특징에 따르면, 기준 정사투영사진에 항공사진을 레지스트레이션(registration; 정합)시키는 장치가 제공되는데, 이 장치는,
a) 제1 연결 점에 기초해서, 상기 항공사진 혹은 축소한 사진과 상기 기준 정사투영사진간의 초기 레지스트레이션 시도를 행하고,
b) 제1 상응 측정을 얻기 위해서 상기 레지스트레이션 시도에 따라 상기 항공사진과 상기 기준 정사투영사진간의 제1 교차 상관을 실행하고,
c) 적어도 1회 파라미터를 변경하여, 상기 항공사진 혹은 축소한 사진과 상기 정사투영사진간의 새로운 레지스트레이션 시도를 행하고, 다른 상응 측정을 얻기 위해 재차 교차 상관을 실행하는 것인,
레지스트레이션 장치 및 상호 상관기;
가장 큰 대응 측정을 제공하는 상기 레지스트레이션 시도를 출력으로서 선택하는 선택기를 포함한다.
바람직하게 상기 파라미터는 상기 항공사진 혹은 축소한 사진의 높이 파라미터이다.
상기 장치는 바람직하게 상기 높이를 스텝별로 변경을 실행하여, 각 스텝에서 레지스트레이션 시도를 행하도록 구성된다.
바람직하게 상기 스텝은 실질적으로 1미터이다.
바람직하게, 상기 파라미터는 상기 항공사진 혹은 축소한 사진의 각도이다.
일 실시예에 있어서, 상기 파라미터는 초기에는 각도 파라미터이고, 상기 레지스트레이션 장치 및 상기 상호 상관기는 단계 c)를 반복하게 구성되고, 상기 파라미터는 상기 항공사진의 높이이다.
상기 장치는, 바람직하게 한 범위 내에 상기 각도의 스텝별 변경을 실행하고, 각 스텝에서 레지스트레이션 시도를 행하게 동작한다.
일 실시예에 있어서, 상기 범위는 실질적으로 10도이고 상기 스텝은 실질적으로 1도이다.
일 실시예에 있어서, 상기 레지스트레이션 시도들은 상기 축소한 사진에 대해 실행되고 상기 축소한 사진은 상기 레지스트레이션 장치 앞에 배치된 화소 감소장치으로부터 얻어진다.
바람직하게, 상기 레지스트레이션 장치, 상기 상호 상관기, 및 상기 선택기는 제2 연결 점에 대해 상기 초기 및 적어도 차후의 한 레지스트레이션 시도를 반복하게 구성된다.
바람직하게, 상기 레지스트레이션 장치, 상기 상호 상관기, 및 상기 선택기는 제3 및 제4 연결 점 각각에 대해 상기 초기 및 적어도 차후의 한 레지스트레이션 시도를 반복하게 구성된다.
상지 장치는 상기 출력 레지스트레이션의 질을 결정하기 위해 상기 4개의 연결 점들간의 대각선들을 따른 윤곽들을 추종하는 윤곽 추종기를 더 포함한다.
본 발명의 제12 특징에 따르면, 기준 정사투영사진에 항공사진을 레지스트레이션시키는 방법이 제공되는데,
a) 제1 연결 점에 기초해서, 상기 항공사진 혹은 축소한 사진과 상기 기준 정사투영사진간의 초기 레지스트레이션 시도를 행하는 단계,
b) 제1 대응 측정을 얻기 위해서 상기 레지스트레이션 시도에 따라 상기 항공사진과 상기 기준 정사투영사진간의 제1 교차 상관을 실행하는 단계,
c) 적어도 1회 파라미터를 변경하여, 상기 항공사진 혹은 축소한 사진과 상기 정사투영사진간의 새로운 레지스트레이션 시도를 행하고, 다른 대응 측정을 얻기 위해 다른 교차 상관을 실행하는 단계, 및
d) 가장 큰 대응 측정을 제공하는 상기 레지스트레이션 시도를 출력으로서 선택하는 단계를 포함한다.
바람직하게, 상기 파라미터는 상기 항공사진 혹은 축소한 사진의 높이 파라미터이다.
상기 방법은, 상기 높이를 스텝별로 변경을 실행하여, 각 스텝에서 레지스트레이션 시도를 실행하는 단계를 포함한다.
바람직하게 상기 스텝은 실질적으로 1미터이다.
또한 또는 선택적으로, 상기 파라미터는 상기 항공사진 혹은 축소한 사진의 레지스트레이션의 각도이다.
바람직하게, 상기 파라미터는 초기에는 각도 파라미터이고, 상기 방법은 반복 단계 c)를 더 포함하고, 상기 파라미터는 상기 항공사진의 레지스트레이션 높이이다.
상기 방법은, 한 범위 내에 상기 각도의 스텝별 변경을 실행하고, 각 스텝에서 레지스트레이션 시도를 실행하는 단계를 포함한다.
상기 방법은, 상기 범위는 거의 10도이고 상기 스텝은 거의 1도로 설정하는 단계를 포함한다.
바람직하게, 상기 레지스트레이션 시도들은 상기 축소한 사진에 대해 실행되고 상기 축소한 사진은 화소 감소 프로세스에 의해 얻어진다.
상기 방법은, 제2 연결 점에 대해 상기 초기 및 적어도 차후의 한 레지스트레이션 시도를 반복하는 단계를 포함한다.
상기 방법은, 제3 및 제4 연결 점 각각에 대해 상기 초기 및 적어도 차후의 한 레지스트레이션 시도를 반복하는 단계를 포함한다.
상기 방법은, 상기 출력 레지스트레이션의 질을 결정하기 위해 상기 4개의 연결 점들간의 대각선들을 따른 윤곽들을 추종하는 단계를 포함한다.
본 발명의 제13 특징에 따르면, 대응하는 화상들의 레지스트레이션을 위한 연결 점들의 분류를 위한 장치가 제공되는데, 이 장치는,
연결 점들로서 작용하는 상기 대응하는 화상들 내 점들을 확인하는 연결 점 식별기, 및
상기 식별된 연결 점들을 부동 혹은 이동성 연결 점들로서 분류하여 이동성 연결 점들을 제거하고 상기 레지스트레이션을 부동 연결 점들에 근거하게 하는 분류기를 포함한다.
바람직하게, 상기 분류기는 상기 연결 점들을 분류하기 위해서 확실 지수(stability index)를 사용한다.
바람직하게, 상기 확실 지수는 확실 표시자로서 컬러를 포함한다.
바람직하게, 상기 분류기는 녹색을 이동성으로서 분류하도록 구성된다.
바람직하게, 상기 분류기는 갈색 및 회색 중 적어도 하나를 부동 분류하도록 구성된다.
바람직하게, 상기 확실 지수는 소정의 물체들을 부동 혹은 이동성인 것으로서 인식하는 자동 물체 인식에 사용할 수 있다.
바람직하게, 상기 분류기는 나대지, 건물들, 바위들 및 돌들 중 어느 것을 부동으로서 인식하는 특징 인식기를 포함한다.
본 발명의 제 14특징에 따르면, 대응하는 화상들의 레지스트레이션을 위한 연결 점들의 분류를 위한 방법이 제공되는데, 이 방법은,
연결 점들로서 작용하는 상기 대응하는 화상들 내 점들을 식별하는 단계, 및
상기 식별된 연결 점들을 부동 혹은 이동성 연결 점들로서 분류하여 이동성 연결 점들을 제거하고 상기 레지스트레이션을 부동 연결 점들에 근거하게 하는 단계를 포함한다.
다르게 정의하지 않는 한, 여기에 사용된 모든 기술적 그리고 과학적 용어는 본 발명이 속하는 기술분야에서 당업자가 공통적으로 인식하는 바와 같은 의미로 사용된다. 여기서 열거한 재료, 방법 및 예들은 예시만의 목적이지 제한하기 위함이 아니다.
본 발명의 방법 및 시스템의 구현은 제어 점을 수동, 자동으로 선택하거나 이들을 조합하는 등의 임의의 선택된 타스크 또는 단계들을 실행하거나 완료하는 것을 포함한다. 또한 본 발명의 방법 및 시스템의 바람직한 실시예의 실제적인 수단 및 장비에 따르면, 일부의 선택된 단계들은 하드웨어, 또는 임의의 펌웨어의 임의의 운영 체계상의 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 하드웨어로서, 본 발명의 선택된 단계들은 칩 또는 회로로서 실시될 수 있다. 소프트웨어로서, 본 발명의 선택된 단계들은 임의의 적합한 운영 체계를 이용하는 컴퓨터에 의해 실행되는 복수의 소프트웨어 명령으로서 실시될 수 있다. 어떤 경우에 본 발명의 방법의 선택된 단계 및 시스템은 복수의 명령들을 실행하기 위한 컴퓨팅 플랫폼 등의 데이터 프로세서에 의해 실행되는 것으로 기술될 수 있다.
이하에 있어서, 기준 및 현재 화상들 또는, 제1 및 제2 화상들, 또는, 이전 및 다음 또는 이전 및 이후 화상들 혹은 화상 쌍들을 참조함을 지적한다. 이들 여러 용어들은 동의어로 사용될 수 있다.
여기에서 본 발명은, 도면을 참조하여 예로서만 기술된다. 이제 특히 도면들을 구체적으로 참조하는데, 도면에 도시된 상세한 사항들은 예로서 본 발명의 바람직한 실시예의 예시적 설명을 위해서만 도시되고, 본 발명의 원리 및 개념적 특징에 대한 가장 유용하고 쉽게 이해될 것으로 생각되는 설명을 제공할 목적으로 제공된다. 이러한 관점에서 본 발명의 기본적인 이해에 필요한 것 이외의 본 발명의 구조적 구성에 대해서는 설명하지 않으며, 본 발명의 여러 형태들이 실제적으로 실현되는 방법은 도면과 관련한 설명으로부터 본 분야의 당업자에게 명확하게 될 것이다.
도 1은 장면의 조사를 실행하기 위한 항공기를 도시하는 개략도이다.
도 2는 본 발명의 바람직한 실시예에 따른 자동 변화 검출을 위해 항공 화상을 획득 및 처리하는 방법을 도시하는 개략 기능 블록도이다.
도 3은 본 발명의 실시예들과 사용을 위한 항공기 내장(on-board) 사진 촬영 시스템을 도시한 개략 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 좌우 3 차원 모자이크의 형성을 나타내는 개략 블록도이다.
도 5는 2 차원 변화 정보에 대한 확인으로서 3 차원 변화 정보의 사용을 나타내는 개략 블록도이다.
도 6은 본 발명의 바람직한 실시예에 따른 에피폴라(epipolar) 필터링을 나타내는 개략 블록도이다.
도 7은 연속 3D 화상 또는 디지털 지형 모델로부터 DC 바이어스를 제거하기 위한 평균 측정기(averager)를 나타내는 개략 블록도이다.
도 8은 연속 디지털 지형 모델로부터 DC 바이어스를 제거하기 위한 다른 장치를 나타내는 블록도이다.
도 9는 본 발명의 바람직한 실시예에 따른 기준 정사투영사진상의 현재 화상을 레지스트레이션하는 장치를 도시하는 개략도이다.
도 10은 본 발명의 바람직한 실시예에 따른 화상 레지스트레이션에 사용을 위한 안정한 연결 점을 식별하기 위한 장치를 도시하는 개략 블록도이다.
도 11은 본 발명의 바람직한 실시예에 따른 2 차원 변화 검출을 나타내는 개략도이다.
도 12는 본 발명의 바람직한 실시예에 따른 동적 움직임 검출을 나타내는 개략도이다.
도 13은 본 발명의 바람직한 실시예에 따른 인공 물체의 검출을 나타내는 개략도이다.
도 14는 본 발명의 바람직한 실시예에 따른 전체 변화 검출 처리를 나타내는 개략 블록도이다.
도 15는 도 6의 에피폴라 교정을 상세히 도시하는 개략도이다.
도 16은 본 발명의 실시예들에 대한 사용의 어플리케이션 가지를 나타내는 개략도이다.
본 발명의 실시예들은 동일 화상들의 2 차원 데이터로부터 뚜렷한 변화를 확인 또는 제거하기 위한 입체 화상들의 3 차원 데이터를 사용하기 위한 시스템을 구비한다. 이 시스템은 2 차원 및 3 차원 모두에서 화상을 레지스트레이션하기 위한 개선된 방법 및 신뢰성 있는 3 차원 비교가 이루어지도록 바이어스를 제거하는 개선된 방법을 포함한다. 또한 바람직한 실시예들은 비교 프로세스의 많은 프로세서 집중 부분을 제한하는 결과를 갖는 변화들을 적은 프로세서 집중 단에 의해 이미 필터링된 변화 후보들로 필터링하는 정돈 시스템(ordered system)을 구비한다.
본 발명에 따른 변화 검출 시스템의 원리 및 동작은 도면과 그에 수반한 설 명을 참조하면 보다 잘 이해될 수 있을 것이다.
본 발명의 적어도 한 실시예를 설명하기 이전에 본 발명은 그 활용에 있어서 이하의 설명을 기초로 하거나 도면에 도시된 구성의 세부사항 및 부품들의 배치로 제한되지 않음을 이해해야 한다. 본 발명은 다른 실시예들로 할 수 있거나 여러 가지 방식들로 실시 즉 실행될 수 있다. 또한 여기에 사용된 문구 및 용어는 설명의 목적이지 제한목적이 아님을 이해해야 한다.
이제 도 1을 참조하는데, 이 도는 빌딩(14)과 언덕(16)을 포함한 장면(12)을 통과하는 항공기(10)를 간략하게 도시한다. 항공기는 바람직하게 위치(10)에서 제1 사진 그리고 이 항공기가 조금 후에 도달하는 제2 위치(10')로부터의 제2 사진을 갖는다. 2 개의 사진은 같은 장면(12)을 가지며 입체 사진을 이루도록 합성될 수 있다. 두 사진 사이의 정렬은 제어 점이라고 알려진 선별 점을 식별함으로써 일반적으로 수동으로 실행된다. 입체 사진의 아이디어는 2 개의 사진들이 다른 각도로 촬영되므로 각도 정보가 3 차원 즉 장면의 높이-깊이 정보를 입수하는데 사용될 수 있다는 것이다.
배경에서 기술한 바와 같이, 입체사진은 지도가 아니고, 지도는 전체적으로 일정 축척을 갖는 데 대하여 입체사진은 원근을 가지므로 축척이 거리로 감소한다. 그러나 원근을 수학적으로 보상하고 정사투영사진으로 알려진 것을 생성할 수 있다. 훨씬 더 적은 처리 전력 때문에 기준 정사투영사진 위에 새롭게 촬영된 사진을 정렬하고 동일한 결과를 얻는 것이 가능하다. 이러한 목적을 위한 정렬은 통상적으로 제어 점을 이용하여 다시 실행된다.
입체 사진은 또한 디지털 지형 모델을 얻는데 사용될 수 있다. 윤곽 정보가 3 차원 경관을 생성하도록 입체 사진으로부터 얻어질 수 있다. 이러한 디지털 지형 모델은 빌딩, 나무 등의 비 지형 타입 특징들이 소망에 따라 후에 중첩될 수 있을지라도 이들을 무시한다.
항공 사진의 용도는 변화를 검출하는 데 있다. 항공기는 일반적으로 2 개의 별개의 시각에 사진을 촬영한 다음 이 사진들이 그동안에 발생한 변화를 구하도록 비교된다. 처음에 모든 그러한 변화 검출은 수동으로 실행되지만, 현재의 화상과 이전의 화상 사이에서 적합한 정렬이 실행되는 조건으로 화상 처리가 사용될 수 있다. 현재까지 3 차원 기반 영상이 표면 형태, 빌딩 등의 대지상의 특징들을 재구성하는데 종종 사용되지만 변화 검출은 배타적으로 2 차원 사진에 따르게 된다. 그 이유는 3 차원 화상들을 정렬하는데 그리고 최종의 3 차원 데이터에 대한 비교를 실행함에 있어서의 복잡성 특히 3 차원 비교를 실행하는데 포함된 처리 비용 두 가지 면에서 난점에 있다.
이하에 연속 화상들에서의 변화들을 검출하는데 3 차원 깊이 정보가 사용되는 방법 및 시스템을 기술한다.
본 발명의 바람직한 실시예는 디지털(또는 디지털화된) 항공기 화상의 처리 및 분석을 위한 방법 및 알고리즘을 포함한다.
화상들은 카메라로부터 입수되고 바람직하게 이 카메라는 위성 위치확인 시스템 GPS(22) 등의 위치확인 시스템과 결합되어 사진이 촬영된 위치가 임의 레벨의 정확도로 입수할 수 있게 된다. 그러나 현재 민간 용도로 GPS에서 입수할 수 있는 정확도는 초당 1회의 신호로 약 10m에 불과하다. 비교적 고속의 항공기 여행의 경우 이는 효과적 정렬을 위한 기반이 되는 충분한 정확도를 제공하지 못한다. 즉, GPS 샘플링 율(rate sampling)은 초당 하나의 샘플인데 대하여 통상의 항공기 속도는 15~50 m/sec의 범위에 있다.
GPS 신호의 직접 사용으로 제공되는 위치 불확실성을 저감시키기 위하여 바람직한 실시예는 GPS 기반 위치설정을 증대시키도록 가상 대지 속도 및 위치설정 시뮬레이터를 사용한다. 이 시뮬레이터는 GPS 위치 측정과 동기하여 새로운 가상 위치에 대한 현재 비행 경로의 자신의 위치 정보를 이용하여 최종 GPS 측정 이후의 새로운 최신의 위치를 예언한다.
화상 입수- 초기 처리 단계(26)는 카메라로부터 입수되는 입력 화상을 다음 처리에 적합한 형태로 변환한다. 일 변형례에 있어서 그 포맷은 Vitec 표준이다. 상기 변환은 화소 감소 기반 최소화를 포함하는데, 이는 각 입력 화상에 대해 화상 피라미드를 생성한다. 각각의 화상 피라미드는 오리지널 화상들의 중복 시퀀스로 구성되고, 시퀀스내의 각각의 화상은 이전 화상의 팩터 2의 데시메이션(decimation)이다.
최초 위치설정 단계(28)는 이하에 상세히 기술되는 그리고 3D 상관기(correlator)를 포함하는 자동 단이다. 상관기는 GPS 시스템의 위치설정 데이터를 개선하기 위해 개요 저-해상도 모자이크에 기반한 초기 위치설정에 사용된다. 단(28)의 출력은 카메라 위치 예를 들어 x y z와 비행 방위를 포함한다.
소위 최초 위치설정 알고리즘이 사용되는데, 이 알고리즘은 기준 지구-위치 의 정사투영사진과 시스템 센서로부터의 입력 화상 사이의 상관 프로세스이다. 초기 위치설정 프로세스의 입력은 현재 입력 화상(x, y, z, 오메가, 파이, 카파)의 거친 위치설정 및 정렬 파라미터이고, 출력은 많은 정확한 파라미터(x, y, z, 카파)를 포함한다. 오메가 및 파이 파라미터는 불변이고, 수직 사진촬영을 위해 제로로 한다.
바람직한 알고리즘은 다음과 같이 동작한다.
입력 화상은 10도의 증분으로 회전한다. 각각의 단계에서 화상은 기준과 상관된다. 최대 상관이 선택된 다음 고도가 다시 최대 상관을 구하기 위해 10m의 단계들로 변화된다. 이러한 프로세스는 10m의 증분으로 지속된다. 오메가 및 파이를 제로라 할 때 최대 상관이 선택되어 고도가 되고 카파가 설정된다. 출력 데이터가 FLT 파일에 세이브된다.
연결 점 측정- 다음 단계(30)에서 연결 점 측정 단계(30)는 중첩 화상 세트에서의 대응 지점의 위치를 제공하는데, 초기 정렬이 실행되기 때문이다. 자동 연결 점 측정은 삼각 측량 프로세스의 예비 부분이고, 이 프로세스는 각 화상에 대한 카메라 위치 및 방위 그리고 공간 방위의 참 파라미터들을 구하는 단계를 포함한다. 연결 점 쌍들은 화상 쌍들의 중첩된 영역내에 위치하고, 연결 점들의 위치설정은 이하에 상세히 설명하는 바와 같이 소 화상 윈도우들내의 상호 상관 연산에 기반한다.
삼각 측량 해결- 삼각 측량 해결 단계(32)는 모든 화상들에 대한 카메라 위치 및 방위의 연산을 포함한다. 최초 및 최종 결과가 각각의 단계(34,38)에서 얻어 지는데, 이들 사이에 제어 입력 삽입 단계(36)가 삽입된다. 단계(34)에서 카메라의 파라미터들이 검출된 연결 점에 기반한 한 세트의 방정식을 품으로써 추정된다.
제어 점들 입력- 단계(36)는 대지에서 측정된 측지적 제어 점의 상호 작용식 입력 단계이다. 한 세트의 4 개의 제어 점들(최소)이 화상 모자이크의 지구 좌표를 연산하는데 필요하다. 제어 점들은 높이를 포함한 측정된 지구 좌표가 있는 대지상의 지점이다. 이 점들은 화상들에 이 점들을 상호 작용식으로 위치설정하게 하는 방식으로 표시된다. 이어서 단계(38)에서 각 화상에 대한 카메라의 위치 및 방위가 제어 점들에 기반하여 재연산된다.
디지털 지형 모델(DTM)- 단계(40)는 중첩 화상들에서의 입체 화상 정보에 기반한 DTM의 연산을 포함한다. DTM은 화상 쌍들의 중첩 영역들의 입체 화상 정보에 기반하여 연산된다. DTM을 얻기 위해서는 약 60%의 화상들 사이의 중첩을 요한다.
모자이크 발생- 정사투영사진 단계(42)는 보정(정사투영사진) 모자이크로 화상들을 합성하는 단계를 포함한다. 입체 화상으로부터의 정사투영사진의 연산은 카메라 위치 및 DTM을 필요로 한다.
변화 필터링 단계(44)는 DTM들, 입체 사진들, 정사투영사진들 및 오리지널 화상들에서 2D 및 3D 정보를 이용하여 화상들 전후사이의 가능한 변화들을 구하고, 연속적으로 이러한 가능한 변화들을 한 세트의 아주 확실한 변화로 필터링하는 단계를 포함한다. 최초 필터링 단계는 다른 시각 및 다른 조명 조건에서 입수한 동일 목표의 정사투영사진 모자이크들 사이의 변화들에 대한 검출 및 측정 단계인 변화 검출 단계 그리고 자연 장면 또는 인공 목표에 속하는 검출된 변화를 분류하는 단 계인 변화 분류 단계를 포함한다.
일반적으로 2 차원 변화 데이터가 정렬 사진들로부터 처음 입수된 다음 변화들이 소정 위치에서의 3 차원 표면 형태의 변화와 상관되는 경우 이러한 변화들은 유효한 것으로 유지된다.
바람직하게 조사를 실행하는 항공기는 조사 계획을 가능케 하는 그리고, 적합한 대지 트랙위로 그리고 정확한 고도로 항공기를 가이드하는 시스템을 장비하고 있다. 비행 계획에 따른 계획된 위치에서 시스템은 바람직하게 사진 촬영 시스템을 자동적으로 작동시킨다. 이러한 종류의 활동을 위한 통상의 사진 촬영 시스템은 일반적으로 다음의 요소,
디지털 전자 광학 카메라;
페이로드(payload) 안정판 장착; 그리고
항법 안내 및 제어 시스템으로부터의 위치 데이터와 더불어 카메라로부터의 화상 파일을 저장하기 위한 저장 성능, 에 기반한다.
표준 시스템이 도 3의 블록도에 도시되고, Cessna 172 경비행기에 설치되도록 특별히 설계된다.
표준 시스템은 수동적으로 안정화된 강성 스탠드(42) 상에 설치된 카메라(430)를 포함한다. 페이로드 안정판(44)은 성능을 추가적으로 개선한다. 블록도에 도시된 다른 특징들은 당업자에게 공지된 것이므로 설명은 하지 않는다.
본 발명의 실시예들에 따른 디지털 항공 사진은 일련의 소프트웨어 빌딩 블록 및 보상 소프트웨어 모듈에 기반한다. 소프트웨어 요소들은 소정의 동작 기능 및 타스크를 충족하기 위한 하나의 시스템으로서 적용 및 통합될 수 있다. 소프트웨어는 예를 들어 지상 및 내장의 PC 형 컴퓨터상에서 동작할 수 있다. 현재의 표준에 사용된 프로그램들은 c++ 및 비주얼 베이식으로 기록된다.
전술한 바와 같이, 조사는 비행 계획을 필요로 하고, 그러한 계획은 매핑 프로그램에 의해 실행될 수 있다. 일 실시예에 있어서, 오퍼레이터는 지상의 컴퓨터를 이용하여 지도상에 사진 촬영되는 영역을 표시한다. 이어서 표시된 영역의 경계들이 해상도, 중첩 등의 추가적 입력 파라미터를 이용하여 최적의 사진 촬영 위치 및 비행 경로를 연산하는 다음 단계에 입력된다. 매핑 프로그램의 출력 파일은 항공 장비에 의해 사진 촬영되는 위치들의 리스트이다.
바람직하게 출력 파일은 시뮬레이션 모드를 이용하여 지상의 컴퓨터상에서 시험되어 유효화된다. 가상 항공기를 이용하는 지상의 시뮬레이션 모드에 있어서 임의의 항공기 속도 및 방향을 이용하여 모든 계획화된 사진 촬영 위치를 시험할 수 있다.
시뮬레이션 및 유효화에 뒤에 출력 파일 및 그에 대한 변화들이 항공 비행 컴퓨터에 로딩된다. 항공기 컴퓨터상의 대응 프로그램은 출력 파일을 판독하고 오퍼레이터 및 파일럿의 화면들 상의 필요 경로를 따르도록 그래픽 방향을 표시한다.
항공기 위치가 계획된 사진 촬영 지점에 가깝게 되면, 프로그램은 사진을 촬영하도록 디지털 카메라에 소프트웨어 명령을 전송한다. 결과의 디지털 화상이 항법 파라미터- 위치 및 방향 방위각과 결합되어 비행 컴퓨터 디스크에 저장된다.
일 실시예에 있어서, 항법 데이터는 다음과 같이 유지된다. 각 조사 비행마 다 바람직하게 항법 데이터 파일이 있게 되며, 각 "화상 입수" 명령 이후에 항법 데이터(위치, 속도 및 방위, 시각)의 현재의 라인이 이 파일에 기록된다. 각각의 사진은 화상 파일에 시각 택(time tag)을 갖는다.
정비중에 비행 컴퓨터로부터의 화상 및 데이터 파일이 지상국 컴퓨터 데이터베이스에 로딩된다. 항법 데이터는 화상 파일에 합병되어 각 화상에 대한 시각 기억 위치 및 비행 데이터에 기반하여 후처리가 이루어진다.
데이터의 비행후 처리는 전술한 바와 같이, 정사투영사진 모자이크를 제공하는 단계(42)에 대한 도 2에 개략 도시한 절차를 따른다.
입체 사진 변화 검출을 하는 다음 단계(44)는 정사투영사진 및 입체 사진 모자이크 데이터에 기반한다.
차례로 부수적으로 촬영한 동일하거나 적어도 중첩하는 화상들의 두 개의 사진으로 이루어진 입체 사진 자체에 있어서, 물체가 비행하거나 변화할 때 입체 사진 효과가 사라진다. 단기간에 이동하거나 사라지는 이러한 물체들은 용이하게 탐지될 수 있다.
전술한 성능은 이동 물체들(동적 변화 검출 모드)의 실시간적 검출에 유용하며, 2 개의 사진 촬영 세션(session)들 사이의 기간 동안 발생하는 변화로부터 이들 물체들을 구별되게 하는데, 상기 세션들은 아직 각각의 입체 사진(정적 변화 검출 모드)에서 3 차원 물체로서 나타난다.
이제 도 4를 참조하는데, 이 도면은 변화 검출을 위해 항공기 사진 촬영으로부터 입수한 화상을 처리하기 위한 장치를 도시하는 개략 블록도이다. 이 장치는 단일 화상 또는 사진을 저장하는 버퍼(50), 2 개의 저역 필터(52), 항공 삼각 측량 장치(54), 디지털 지형 모듈 연산 장치(56)를 구비한다. 장치는 정사투영사진 생성을 위한 2 개의 동일 장치(58), 접합을 위한 2 개의 동일 장치(60) 그리고 정적 변화 검출의 경우에 동작하는 데이터 채널 다중화기(62)를 더 구비한다.
도 4의 장치는 다음과 같이 동적 변화 검출을 위해 사용될 수 있다. 현재의 프레임이 수신되고, 버퍼에서 이전의 프레임과 더불어 처리된다. 두 개의 프레임은 저역 필터(52)를 통해서 항공 삼각 측량 블록(54)으로 들어간다. 삼각 측량 블록에 있어서, (x, y, z) 좌표와 (ω, ψ, κ) 각도를 포함한 두 개의 프레임 각각에 대해 카메라 위치 연산이 실행된다. 동시에 각 사진의 중심의 좌표를 구하는데 연산이 행해진다. 도면에 도시된 바와 같이, 항공 삼각 측량(54) 이전에 저역 필터(52)를 이용하여 결과의 안정성을 제고시킬 수 있다.
이어서 두 개의 사진들의 중첩 영역에서 각 방위에서 10-20 지점들에 대한 Z 매트릭스 연산을 이용하여 표고를 연산하는 DTM 발생기(56)로 삼각 측량 파라미터가 전송된다. 이 결과 DTM이 구성된다.
DTM 및 카메라 위치 데이터에 의거하여 각각의 프레임에 대해 정사투영사진들이 생성될 수 있다. 바람직하게 이전의 연산에 사용된 높이 점들은 저밀도에 있으므로 정사투영사진을 구성하는데 넓은 범위에 보정만이 필요하다. 동시에 작은 영역들 및 물체들 상에서 변화에 대한 주체가 탐색되고 넓은 범위에 대해 행해진 보정이 자동적으로 적용되어 입체 사진 효과가 방해되지 않게 된다.
데이터의 연속적인 사용에 의해 변화가 쉽게 나타나게 된다. 예를 들어 언덕 또는 길에서는 3 차원 변화가 발견되지 않기 때문에 어떠한 변화도 검출되지 않는다. 그러나 사람, 차량 또는 말과 같은 작은 물체에서의 변화는 용이하게 식별할 수 있다.
접합 장치(60)에 있어서, 두 개의 프레임들이 현재의 모자이크들에 부가되는데, 하나는 우측에 다른 하나는 좌측에 부가된다.
정적 검출은 한 가지를 제외하고는 동적 변화와 같은 방식으로 동작한다. 정적 검출에 있어서, 데이터 처리 이전에 동일한 GPS 위치 데이터를 공유하는 이전 및 현재의 프레임들은 데이터 채널 다중화기(62)에 특정 순서로 전달되는데, 이하에 상세히 설명하는 바와 같이 각각의 우수 사진이 현재 프레임으로부터 각각의 기수 프레임이 비교를 위해 이전 프레임으로부터 전달된다. 다중화기(62)는 별문제로 하고, 이러한 프로세스는 전술한 바와 같이 동적 변화 검출 모드에서와 같다. 정적 검출 프로세스를 이하 상세히 설명한다.
이제 도 5를 참조하는데, 이 도는 본 발명의 바람직한 실시예에 따라 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 쌍의 입체 화상과 제2 쌍의 입체 화상 사이의 변화 검출을 위해 변화 검출 장치를 도시하는 개략도이다. 도 5에 도시한 바와 같이, 2 차원 화상 필터(70)는 제1쌍의 화상과 제2 쌍의 화상들의 2 차원 정보로부터 변화 후보들의 최초 리스트(72)를 얻도록 제1쌍의 화상과 제2 쌍의 화상들을 비교하기 위한 것이다. 또한 3 차원 화상 필터(76)는 변화 후보의 위치에서 제1 쌍 화상과 제2 쌍의 화상들의 3D 정보를 비교한다. 3D 필터는 상기 화상 쌍들의 가용 3 차원 화상 정보를 이용하여 체적 측정의 변화에 수반하는 2D 변화 후보 들의 정보를 식별한다. 2D 정보에서 식별된 변화는 단순히 그날의 다른 시각에 입수한 사진으로 인한 그림자 변화들일 수 있다. 그러나 이러한 그림자 변화들은 임의의 체적 측정 변화들에 수반되지 않으므로 3D 필터에 의해 이러한 변화 후부가 제거될 수 있다. 이 결과 3 차원 화상 변화와 상관된 변화 후보들은 보유하고, 3 차원 화상 변화와 상관되지 않은 변화 후보들은 제거하게 된다. 따라서 보유된 변화 후보들은 관리가능한 비율을 갖는 그리고 최종 판단을 위해 분석자에게 확신적으로 전달될 수 있는 변화 후보들의 선별된 리스트를 구성한다.
2 차원 필터는 전후 화상들의 비교에 있어서 컬러 정보를 사용할 수 있다. 또한 또는 선택적으로 이 정보는 텍스처 정보일 수 있다.
정적 그리고 동적 모드에서 전술한 바와 같이, 장면내의 움직임으로 인한 변화는 바람직하게 걸러 내어지는데, 이러한 변화는 장면내의 실제 변화가 아니기 때문이다. 움직임 필터링은 3 차원 정보를 필요로 하지 않으며, 이보다는 입체 사진들 전후의 2 차원 화상들이 비교되고, 같은 입체 사진의 두 개의 절반부들의 동일 위치에서 나타나지 않는 임의 물체는 이동하고 있어 후보 리스트에서 제거되어야 할 것이라고 생각된다.
이제 도 6을 참조하는데, 이 도는 필터링을 위해 화상들을 정렬시키는 정렬 장치(80)를 도시하는 개략도이다. 필터들이 실행하는 비교는 2 차원 그리고 3 차원에서 유효한 정렬에 달려있다. 수동 정렬이 가능하지만, 정렬 장치(80)는 화상들 상호의 정렬을 위해 전후 화상들의 대응 특징들의 식별을 나타내는 연결 점들의 식별에 기반한 신뢰할 만한 자동 정렬 방식을 제공한다. 특징들의 자동 식별이 갖는 문제는 근접하지만 정확히 대응하지는 않는 특징들이 우연히 식별되는 것이다. 이러한 우연성을 회피하도록 정렬 장치(80), 연결 점 장치 즉 특징 식별자(82)가 화상들중 하나에 대한 제1 화상 특징을 식별한다. 그러면 1 차원 상호 상관기(84)가 1 차원 상호 상관을 실행하여 화상들중 두 번째 화상에 대한 대응 화상 특징을 구하고 대응 화상 특징이 구해지면, 상호 상관기(84)는 대응 화상 특징으로부터 역 1 차원 상호 상관을 실행하여 제1 화상 특징을 구한다. 이러한 아이디어는 인접의 유사한 특징이 잘못하여 선택되는 경우 역 1 차원 상호 상관이 작용하지 않는다는 것이다.
위에서 2 차원 지도에 의거하여 정렬이 행해졌지만 체적 정보의 변화에 대한 성공적인 식별을 위해서는 적어도 변화 후보들 자신들 주위의 체적 정보에 기반한 정렬을 고려할 필요가 있다. 두 개의 바람직한 실시예가 여기에 도시되는데, 하나는 도 7과 관련하여 기술되는 평균화이고, 다른 하나는 도 8에서 도시되는데 강제(forcing) 원리로 동작하며 연결 점들을 이용한다.
도 7에 있어서, 개시 점들로서 디지털 지형 모델이 사용된다. 때로 높이 정보는 DC 바이어스 및 기타 에러들을 포함한다. 도 6에 있어서 평균화 장치는 2 개의 저역 필터들(90), 2 개의 예비 가산 장치들(92) 그리고 최종 가산 장치를 포함하며, 전후 DTM들의 평균치를 같은 값으로 설정한다. 이 결과 한 쌍의 높이 정렬 DTM들이 형성되고, 여기서 소정 점에서의 높이들 간의 비교가 중요한데 이는 모든 바이어스가 제거되기 때문이다. 체적 정보 및 그 내부의 변화는 AC 정보로서 나타난다.
높이 정렬을 제공하는 또 다른 방법을 예시한 도 8을 참조한다. 도 8에서, 연결 점 식별기(102)는 후보 변화점들 주위의 대응하는 점들을 찾는다. 이어서, 높이 고정 장치(104)은 2개의 DTM들에 대해서 동일하게 되게 연결 점들에서 가능한 한 멀리 높이들을 설정하고, 따라서 연결 점들 내의 어떤 높이 차이는 사진 촬영간의 실제 변화에만 기인할 수 있게 된다.
사진들을 기준 정사투영사진에 정렬시키기 위한 정렬구성을 도시한 간이화환 블록도인 도 9를 참조한다. 구성은 레지스트레이션(registration) 장치(110), 및 상호 상관기(112)를 포함한다. 레지스트레이션 장치은 항공사진 혹은 보다 전형적으로는 축소한 사진과 기준 정사투영사진간의 최초 레지스트레이션 시도를 제1 연결 점에 기초하여 행한다.
이어서, 둘 간에 제1 교차 상관이 행하여 제1 상응 측정을 얻는다.
이어서, 레지스트레이션 파라미터를 변경한다. 즉 정렬 각도 혹은 높이를 변경함으로써 새로운 레지스트레이션 시도가 된다. 이어서, 재차 상호 상관 시도를 행하여 재차 상응 측정이 되게 한다. 프로세스는 수회 반복되고, 둘 이상의 서로 다른 파라미터들, 즉 각도 및 높이가 사용될 수 있다.
두 개의 파라미터들은 번갈아 혹은 연이어서 혹은 그외 어떤 다른 방법으로 변경될 수 있다. 마지막으로, 가장 큰 상관을 제공하는 정렬이 선택된다. 어느 파라미터가 사용되든 스텝방식으로 변경될 수 있다. 따라서, 파라미터가 각도라면 각도가 변경될 수 있는데, 즉 최상의 상관을 발견하기 위해서 총 10도의 범위에 걸쳐 1도 스텝으로 변경할 수 있다. 파라미터가 높이라면 높이가 변경될 수 있는데, 즉 최상의 상관이 발견될 때까지 100미터의 범위에 걸쳐 1미터 스텝으로 변경할 수 있다. 향상된 정확성을 위해서 전체 프로세스는 제1, 제3 및 제4 연결 점에 대해서도 반복될 수 있다.
보다 큰 정확성을 위해서는 4개의 연결 점들 간의 대각선들을 따른 윤곽들을 추종하는 것이 가능하다. 두 개의 DTM들간에 윤곽들이 서로 부합한다면, 이것은 정렬이 잘 맞는다는 표시이다.
자동 정렬 시스템들의 한 알려진 결점은, 이동성의 특징들(feature)을 연결 점들로서 사용하는 데에는 적합하지 않은 것으로서, 즉 설비인지 차량인지를 인식할 수 있는 반면에, 컴퓨터들은 일반적으로 이동성인 것을 이 목적을 위해 부동의 특징들로서 선택하기가 쉽다는 것이다. 이에 따라, 바람직한 실시예들은 특징 분류기를 연결 점 식별에 추가한다. 분류기(114)를 도시한 도 10을 참조한다. 분류기(114)는 연결 점 식별기(116)로부터 제시된 연결 점들을 취하여 이들을 가능한 어떤 방법으로든 분류를 시도한다. 분류는 화상 인식에 기초할 수 있고, 따라서 특징이 차량으로서 인식되었다면 이것은 이동성으로서 분류되며, 건물로서 인식되었다면 부동으로서 분류된다. 컬러 정보가 사용될 수도 있는데, 이에 따라 녹수는 이동성으로서 분류될 수 있고, 반면에 바위들을 나타내는 회색, 혹은 대지를 나타내는 갈색은 부동으로서 분류될 수 있다. 종종 인식은 명확할 수도 있고, 불명확할 수도 있어, 단일 인식방법을 사용하기보다는, 다수의 방법이 사용될 수도 있으며, 각각은 확실 지수에 기여한다. 최종의 총 지수는 물체를 부동인 것으로서, 따라서 연결 점으로서 적합한 것으로 분류하거나 이동성인 것으로서, 따라서 부적합 한 것으로서 분류하는데 사용될 수 있다.
일반적으로 화상들을 레지스트레이션시킨다는 생각은 사전에 사진들을 촬영하고 이들을 기준 세트로서 사용하고, 새로운 사진들을 다른 각도 혹은 다른 고도에서 혹은 다른 조명상태 등 하에서 촬영된 것일 수 있다는 것을 염두에 두고 이전 사진들 상에 새로운 사진들을 레지스트레이션시키는 것이다. 새로운 사진들은 통상적으로 이전 사진들로부터 도출한 정사투영사진들에 들어맞게 처리된다.
변화 검출의 총체적인 목적은 서로 다른 시간들에서 촬영된, 동일 타겟의 다수 쌍들의 화상들 간에 변화들을 검출하고, 검출된 변화들을 갱신하여, 의미있는 모든 변화는 포함하고 의미없는 변화는 가능한 한 적게 포함하는 최종 한 세트의 변화들을 얻는 것이다. 이에 따라, 알고리즘은 조도변화 및 그림자들의 차이들에 기인한 변화들은 무시하도록 설계된다. 변화 검출 동작에의 입력은 초기 기간의 정사투영사진과 제2 기간의 화상들, 바람직하게는 정사투영사진에 레지스트레이션시킨 화상들을 포함한다. 레지스트레이션에 있어서, 조합한 데이터는 초기 기간의 타이-점들을 제2 기간에 대한 제어 점들로서 사용하여 분석된다. 조합된 데이터로부터, 각각 초기기간 및 제2 기간에 대해 높이 데이터를 가진 2개의 모자이크가 도출된다. 변화 검출 프로세스에 대한 흐름도를 도 11에 도시하였으며, 컬러 정규화 프로세스부터 시작한다. 컬러 정규화는 이하 대수학적으로 논해지나, 색들이 비교될 수 있게 색에 대해 밝기 및 유사 시간적 효과들을 보상하는 것을 포함한다. 컬러 정규화에 이어서 위에 언급한 바와 같이 피라미드 생성이 이어지고, 이것은 이전 화상들로부터 생성된 기준 정사투영사진들에 현재 화상들을 겹쳐놓은 결과에 대 해 실행되는 동작이다.
피라미드 생성에 이어, 컬러 및 텍스처 정보가 이전 화상 및 후 화상로부터 추출되는 특징 추출단계가 있다. 이들은 저역 필터링되고, 이어서 텍스처 및 컬러 정보에 기초하여 차이 화상이 계산된다. 차이들은 다른 활용가능한 정보, 특히 볼륨 정보를 포함하는 정보를 사용하여 분류된다. 마지막으로, 변화들은 의미있는 변화들로서 유효화되거나 무효화된다.
동적 변화 식별을 실행하는, 즉 움직이는 물체들을 비교로부터 제외시키는 장치를 도시한 간이화된 블록도인 도 12를 참조한다. 비교에서 2 차원 정보를 사용하므로 이러한 점에서 도면을 논한다. 도 12에서, 쌍으로 화상 비교기(120)는 먼저 이전 및 후 화상들로부터 후보 변화들을 조화시킨다. 이어서 이전 및 후 화상들 둘 다의 정사투영사진들을 제1 및 제2 정사투영사진 장치들(122, 124) 내에 버퍼해 두고 모든 4개의 2 차원 화상들간의 2 차원 변화들이 비교장치(126)에서 평가된다. 이어서, 블록 최소 장치(128)은 4개의 비교들 중 어느 것이 최소값을 제공하는지를 찾는다. 이어서, 저역 필터(130)는 최소값 비교가 임계값 미만이면 그 변화를 제외시키는 드레숄더(132)로 이어진다. 이것은 변화된 것이 고정된 물체가 아니라 이동한 물체임을 나타낸다. 마지막으로 지형(morrphology) 필터는 후술하는 바와 같이 잡음을 제거한다.
다음에서, 본 발명의 바람직한 실시예에서 사용되는, 텍스처에 따른 필터링을 논한다.
여기서 사용되는 텍스처 특징들은 로(Law)에 의해 제안된 것이고 다음과 같 이 정의된다.
다음의 3개의 벡터들을 고찰한다.
L3= (1,2, 1) 평균
E3= (-1,0, 1) 에지
S3= (-1, 2,-1) 스폿
이들 벡터들의 쌍들의 외적들을 사용하여 9개의 마스크들을 형성할 수 있다.
마스크들을 M3j, j=0, 1,..., 8로 표기하면,
1 2 1 1 0 -1 1 -2 1
M30=LtL= 2 4 2 M31=EtE= 0 0 0 M32=StS= -2 4 -1
1 2 1 -1 0 1 1 -2 1
등등이 된다.
마스크 M30은 정규화에 사용된다.
F 및 G를 한 쌍의 레지스트레이션한 정사투영사진 화상들로 한다.
FM3j 및 GM3j, j=0, 1,..., 8을 각각의 화상 및 각각의 마스크의 콘볼루션으로 한다.
B= FM30/GM30를 밝기 정규화 계수로 한다.
이제 다음과 같이 상대 변화 측정을 정의한다.
Figure 112005053339912-PCT00001
이제 컬러 필터링을 고찰하면, 당업자가 알게 되는 바와 같이, 컬러는 통상적으로 3가지인 적색, 녹색 및 청색(R, G, B) 값들로서 디지털 화상의 각 화소에 보유된다. 컬러 비 특징(Color Ratio Feature)을 정의하는 파라미터는 다음과 같이 식에 따라 이전 및 후 화상들의 대응하는 화소들에 대해 계산될 수 있다.
Figure 112005053339912-PCT00002
여기서, K- 텍스처 특징들과의 호환성을 위한 스케일 계수;
Rr, Gr, Br - 기준 혹은 전 화상에 대한 주요 색들의 값들;
Rr, Gr, Br - 테스트 혹은 후 화상에 대한 주요 색들의 값들;
Figure 112005053339912-PCT00003
특징 선택, 혹은 텍스처 특징이 존재한다는 추론은 화소 근처 내의 동질성 측정에 따라 매 화소마다 실행될 수 있다. 동질성 측정 H는 다음과 같이 계산된다.
Figure 112005053339912-PCT00004
여기서 모든 파라미터들은 위에서 정의한 바와 같다.
현재 화소에 대한 H의 값이 지정 임계값보다 크다면, 텍스처 특징들이 사용된다. H의 값이 임계값 미만이면, 그 대신 컬러 비 특징들이 사용된다.
특징들의 계산은 원 화상에 대해서, 그리고 1.5 및 2의 팩터들을 사용한 데시메이션에 의해 얻어진 화상의 복제본들에 대해 실행된다. 3개의 해상도들에 대해 계산된 특징들은 각각 보간되어 평균된다.
국부적인 디지털 지형 모델(DTM) 계산은 높이 Z 혹은 볼륨 계산들을 사용하여 각각의 변화된 영역마다 실행되어, 높이 및 볼륨 정보를 검출된 변화들에 대한 유효화기(validator)로서 사용하기 위한 토대를 제공한다.
변화의 존재에 관한 분류는 다음과 같이 실행된다. 초기에 형성된 특징 행렬은 10으로 내정된 시그마 값을 갖는 가우시안 필터를 사용하여 스무딩된다. 필터링된 화상는 임계값 처리되고, 완화(relaxation) 프로세스는 임계값처리(thresholding)를 갱신한다. 이 프로세스의 결과는 2진 화상이며, 화상 내 값 1은 대응하는 화소에 화상들간에 변화의 존재를 나타내며, 값 0은 변화가 없음을 나타낸다. 이 후에, 지형 작업들이 2진 화상에 대해 실행된다. 이들 작업의 목적은 잡음을 감소시키는 것이다. 잡음은 예를 들면 작은 분리된 물체들 형태 혹은 큰 물체들 내 작은 구멍들 형태일 수 있다.
전에는 변화들로서 분류가 되었던 영역들 내의 인공 물체들을 검출하기 위해 인공 물체 필터가 사용될 수 있다. 인공 물체들은 직선 경계들을 가지며 비교적 작은 근처 이내에, 경계선들은 수직한 것으로 가정할 수 있다. 이러한 가정들 하에서, 인공 물체 검출은 다음과 같이 실행될 수 있다.
- 우세 에지 방향을 찾는다.
- 우세 및 대응하는 수직 방향에서 에지 검출을 실행한다.
- 직선 세그먼트들을 검출한다.
- 선 세그먼트들을 인공 물체들에 속하는 것으로서 혹은 속하지 않는 것으로서 분류한다.
위에 기술한 프로세스의 실시예를 예시한 간이화한 흐름도인 도 13을 참조한다. 제1 단계는 우세 에지 방향을 찾는다. 에지 검출은 캐니(양호한)(Canny) 에지 검출기를 사용하여 실행된다. 이 검출기로부터 모든 에지 요소의 방향에 관한 정보는 에지들의 방향 히스토그램을 계산하기 위한 양자화 후에 사용된다. 히스토그램의 저역통과 필터링 후에, 히스토그램 최대값에 대응하는 방향은 명료하게 되고 우세 에지 방향으로서 설정될 수 있다.
방향 히스토그램으로부터, 수직한 에지 검출은 90도만큼 우세 에지 방향에 관하여 이동시킨, 영역 내 히스토그램의 국부적인 최대값으로서 정의될 수도 있다.
필요로 되는 방향들에서 에지 검출에 있어, 캐니 에지 검출기는 필요한 방향들은 제외하고 모든 에지 방향을 억제하기 위해 다음 단계에서 사용된다. 결과적으로 2개의 2진 화상들이 얻어진다. 이들은 에지들이 주로 우세 방향에 있는 제1 화상, 및 에지들이 주로 수직방향에 있는 제2 화상이다.
직선 세그먼트들의 검출에 있어서는 휴(Hough) 변환을 사용하며, 이 변환은 우세 방향의 에지 및 수직한 방향의 에지를 가진 화상들에 개별적으로 적용된다. 휴 변환 후의 선과 현재의 화소간의 거리가 1 화소 미만이라면 모든 에지 화소를 직선 세그먼트들에 속하는 것으로 간주한다. 휴 변환 연산의 결과로서, 주로 우세 방향 및 대응하는 수직방향으로 직선 세그먼트들을 각각 포함하는 2개의 2진 화상 들을 얻는다.
본 발명의 바람직한 실시예에 따라 전체 프로세스를 도시한 간이화한 도면인 도 14를 참조한다. 도 14에서, 2개의 스테레오 화상들이 입력된다. 3각 측량 장치(140)은 높이 정보를 결정하기 위해 삼각 측량을 실행한다. 스파스(sparse) DTM 장치(142)은 축소시킨 화상들에 기초하여 DTM들을 구축한다. 단계 144에서 전 모자이크 및 후 모자이크가 구성되고 단계 146에서 예비 변화 리스트를 제공하기 위해 2 차원 정보가 사용된다. 예비 리스트는 2 차원 정보가 그림자들 등에 기인한 변화들을 포함하기 때문에 통상적으로 크다. 이어서, 변화들은 일련의 필터들(148, 150, 152)을 거치게 되며, 이들 필터중 하나는 이동하는 차량들과 같은 움직임에 기인한 변화들을 제거하며, 그중 한 필터는 대응하는 물체들의 틀린 식별에 기인한 변화들을 제거하며, 마지막 필터는 볼륨 정보와 비교하기 위해서 지금 갱신한 변화 리스트를 사용한다. 변화들의 마지막 리스트는 볼륨 정보에 변화들에 대응하는 변화들로 제한된다. 높이 혹은 볼륨 기반의 필터링은 위에서 논한 등화를 위한 두 가지 방법들 중 하나를 포함하는 것이 바람직하다.
에피폴라 교정(epipolar rectification) 프로세스를 예시한 간이화한 흐름도인 도 15를 참조한다. 도 15에서 전 화상 및 후 화상에 관한 한 쌍의 특징들이 선택된다. 한 쌍의 특징들은 초기에 비교되고 이어서 1차원 교차 상관이 한 특징에서 다른 특징으로 실행된다. 후에, 제2 1차원 교차 상관이 반대 방향으로 실행된다. 역 상호 상관이 성공적으로 제1 특징을 식별하고 소정의 임계값을 통과한 경우에만, 2개의 특징들이, 서로 대응하는 것으로서 수락된다.
본 발명에 대한 애플리케이션 범위를 예시한 도 16을 참조한다. 애플리케이션의 본 리스트는 이것만은 아니며 여기 교시된 것들은 변화 검출을 향상시키기 위해 보완이 되게 2 및 3 차원 정보가 사용될 수 있는 어떠한 상황에든 적용될 수 있음을 알 것이다.
현재 고찰되는 애플리케이션들은 3가지 범주로서, 군 정찰 범주, 도시 집행 범주 및 경영규제 범주이다. 군 정찰 범주부터 시작하여, 의심되는 변화들을 줄이기 위해 3 차원 변화의 사용은 정보분석(intelligence analysts) 자원을 줄일 수 있어 보다 큰 지역들이 조사될 수 있다. 특정의 애플리케이션은 즉석 폭발장치(IED) 검출이다. 대로변의 폭탄과 같은 IED들은 지나가는 순찰대에 대량의 피해를 야기할 수 있다. 본 실시예들은 도로가 규칙적으로 조사되게 하며 적절한 크기의 의심이 가는 아이템들이 자동으로 검출될 수 있게 한다.
IED 검출 응용에서, 순찰대가 다니는 도로들을 조사한다. 도로를 고정된 길이의 섹터들로 나누어 다른 프로세스를 사용하여 각 섹터를 병렬로 처리할 수 있게 하며 따라서 화상 분석이 보다 신속하게 실행되게 하는 것이 바람직하다. 예를 들면 순찰대가 장소에 도달하기 전에 짧은 시간만 있을 수도 있다.
도시 집행 애플리케이션에서, 일반적으로 건물 및 대지 사용이 감시될 수 있다. 건물들에의 변화들이 검출될 수 있으므로 시 당국은 계획승인에 대한 변화들을 체크할 수가 있다. 대지 사용 변화들은 컬러 변화들에 의해 표시될 수 있다. 예를 들면, 애플리케이션은 필드가 주차장으로 변하였다는 것, 혹은 대지의 어떤 지역이 더 이상 관개되고 있지 않음을 표시할 수 있다. 어플리케이션은 최근의 변 화들을 표시하는 도시 계획을 작성할 수도 있다. 사진들은 예를 들면 지대 사용에 따른 특별세 지불을 수정할 목적으로 대지 사용의 변화를 감시하는데 사용될 수 있다.
경영규제 범주에서, 노천 광산 및 채석 운영자들과 같이, 활동이 조경에 영향을 미치는 단체들은 이들 자신의 활동을 감시 및 통제하기 위해 어플리케이션들을 사용할 수 있다.
이 특허가 계속되는 동안 많은 관련된 영상 장치들 및 시스템들이 개발될 것이고 여기서의 용어들의 범위, 특히 "카메라" 및 "영상 시스템" 용어들의 범위는 선험적으로 모든 이러한 새로운 기술들을 포함하게 한 것이다.
본 발명의 추가의 목적들, 이점들, 및 신규의 특징들은 한정하려고 한 것은 아닌 다음의 예들을 검토하였을 때 당업자에게 명백하게 될 것이다. 또한, 위에서 기술하고 청구항에 청구한 여러 실시예들 및 본 발명의 특징들 각각은 다음의 예에서 실험적으로 지지되는 것이다.
명료하게 하기 위해서 별도의 실시예들의 맥락에서 기술한 본 발명의 어떤 특징들은 단일의 실시예에서 조합하여 제공될 수도 있음을 알 것이다. 반대로, 간략하게 하기 위해서 단일의 실시예의 맥락에서 기술한 본 발명의 여러 가지 특징들은 개별적으로 혹은 어떤 적합한 하위 조합으로 제공될 수도 있다.
본 발명은 이의 구체적인 실시예들에 관련하여 기술하였으나, 당업자들에게 많은 대안들, 수정들 및 변형들이 명백할 것임이 분명하다. 따라서, 첨부한 청구항의 정신 및 넓은 범위 내에 드는 모든 이러한 대안들, 수정들 및 변형들을 포괄 한다. 이 명세서에서 언급된 모든 공보, 특허들 및 특허출원들은 이들 각각이 참조문헌으로 여기 포함되게 구체적으로 그리고 개별적으로 표시된 것과 같은 정도로 참조문헌으로 그들 전체를 본 명세서에 포함시킨다. 또한, 이 출원에서 어떤 참조문헌의 인용 혹은 확인은 이러한 문헌이 본 발명에 종래 기술로서 사용되는 것으로서 해석하지는 않는다.

Claims (49)

  1. 사실상 유사한 광경에 대해 다른 시각에 입수한 제1과 제2 쌍의 입체 화상들 사이의 변화의 검출을 위한 변화 검출 장치에 있어서,
    상기 두 쌍의 화상들의 2 차원 정보로부터 변화 후보들의 최초 리스트를 입수하기 위해 제1 쌍과 제2 쌍 화상들을 비교하기 위한 2 차원 화상 필터, 그리고
    3 차원 정보와 상관 있는 변화 후보들을 유지하고 3 차원 정보와 상관없는 후보들을 제거하여 변화 후보들의 선별된 리스트를 생성하도록 제1 쌍과 제2 쌍 화상들의 3 차원 정보를 이용하여 변화 후보들에서 제1 쌍과 제2 쌍의 화상들의 적어도 하나를 비교하기 위한 3 차원 화상 필터를 구비하는, 변화 검출장치.
  2. 제1항에 있어서, 3 차원 화상 필터는 제1 쌍과 제2 쌍 화상들 모두에서 3 차원 정보를 비교해서 3 차원 변화 정보를 획득하여 3 차원 변화 정보와의 상관성에 기초하여 유지 및 제거가 되도록 구성된 것인, 변화 검출장치.
  3. 제1항에 있어서, 상기 2 차원 정보는 컬러 정보인, 변화 검출장치.
  4. 제1항에 있어서, 상기 2 차원 정보는 텍스처 정보인, 변화 검출장치.
  5. 제1항에 있어서, 상기 3 차원 화상 필터 앞에 접속된 움직임 제거 필터를 더 포함하고, 상기 움직임 필터는 상기 화상 쌍들의 화상들 간의 변화 후보들을 비교하여 움직임으로써 화상 쌍 내에 발생한 변화들을 제거하는 2 차원 비교기를 포함하는, 변화 검출장치.
  6. 제1항에 있어서, 화상들 각각을 정렬해서 필터링을 하기 위한 정렬 장치를 더 구비하고, 이 정렬 장치는 화상들중 적어도 하나에 대한 제1 화상 특징을 식별하고, 1 차원 상호 상관(cross-correlation)을 실행하여 화상들중 제2 화상에 대한 대응 화상 특징을 구한 다음 이 대응의 상호상관 특징으로부터 역 1 차원 상호 상관을 실행하는 연결 점(tie point) 장치를 구비하는데, 상기 제1 화상 특징 및 대응 화상 특징은 제1 화상 특징을 역 1 차원 상호 상관에 의해 성공적으로 구한 경우에만 수용되는 것인, 변화 검출장치.
  7. 장면의 선(earlier) 화상 및 후 화상간의 자동 변화 검출 방법에 있어서,
    2 차원 및 3 차원 데이터가 입수가능하고, 상기 방법은
    상기 2 차원 데이터로부터 후보 변화들의 최초 리스트를 얻는 단계, 및
    3 차원 변화들에 대응하지 않는 후보를 상기 최초 리스트로부터 제거하는 단계를 포함하는, 자동 변화 검출방법.
  8. 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 및 제2 입체 화상 쌍들간의 변화들의 검출을 위한 변화 검출 장치에 있어서,
    상기 제1 입체 화상 쌍의 각각의 적어도 후보 부분들을 상기 제2 입체 화상 쌍의 각각의 대응하는 후보 부분들과 비교하여 변화의 4개의 측정치들을 얻는 비교기,
    상기 4개의 측정치들 중 가장 낮은 것에 기초하여, 변화 리스트로부터 상기 화상의 상기 적어도 후보 부분들을 제거하여, 상기 후보 변화 리스트를 갱신하는 드레숄더를 포함하는, 변화 검출장치.
  9. 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 및 제2 입체 화상 쌍들간의 변화들의 검출을 위한 변화 검출 방법에 있어서,
    상기 제1 입체 화상 쌍의 각각의 적어도 후보 부분들을 상기 제2 입체 화상 쌍의 각각의 대응하는 후보 부분들과 비교하여 변화의 4개의 측정치들을 얻는 단계, 및
    상기 4개의 측정치들 중 가장 낮은 것에 기초하여, 변화 리스트로부터 상기 화상의 상기 적어도 후보 부분들을 제거하여, 상기 후보 변화 리스트를 갱신하는 단계를 포함하는, 변화 검출방법.
  10. 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 및 제2 입체 화상 쌍들간의 일치하는 특징들의 유효화를 위한 에피폴라 유효화 장치에 있어서,
    상기 제1 화상에서 상기 특징을 찾기 위한 제1 화상 특징 탐색기;
    상기 제2 화상에서 상기 특징을 찾기 위해 1차원 탐색을 실행하는 1차원 상 호 상관기,
    상기 제2 화상에서 상기 특징을 시작점으로서 사용하여 상기 제1 화상에서 상기 특징을 탐색하는 역 상관기, 및
    상기 제2 화상 내 상기 특징이 상기 제1 화상 내 상기 특징으로 될 경우에만 상기 일치를 수락하는 유효화기를 포함하는, 에피폴라 유효화 장치.
  11. 사실상 유사한 광경에 대해 다른 시각에 입수한 제1 및 제2 입체 화상 쌍들간의 일치하는 특징들의 유효화를 위한 에피폴라 유효화 방법에 있어서,
    상기 제1 화상에서 특징을 찾는 단계,
    상기 제2 화상에서 상기 특징을 찾기 위해 1차원 탐색을 실행하는 단계,
    상기 제2 화상에서 상기 특징을 시작 점으로서 사용하여 상기 제1 화상에서 상기 특징을 탐색을 실행하는 단계, 및
    상기 제2 화상 내 상기 특징이 상기 제1 화상 내 상기 특징으로 될 경우에만 상기 일치를 수락하는 단계를 포함하는, 에피폴라 유효화 방법.
  12. 제11항에 있어서, 상기 1차원 탐색들을 상호 상관을 행하는 단계를 포함하는, 에피폴라 유효화 방법.
  13. 제1 입체 화상 쌍과 제2 입체 화상 쌍간의 변화들을 검출하기 위한 3 차원 변화 검출기 장치에 있어서,
    상기 제1 및 제2 화상들을 처리하여 변화들의 후보 리스트를 생성하는 예비 프로세서,
    상기 입체 화상 쌍들 각각으로부터, 각각의 입체 쌍의 3 차원 정보에서 상기 변화들의 후보 리스트에 표시된 적어도 위치들의 제1 및 제2 디지털 지형 모델을 각각 생성하는 디지털 지형 모델 생성기,
    상기 위치들에 관하여 대응하는 점들을 찾고 상기 제1 및 제2 디지털 지형 지도들에서 동일 높이들의 상기 점들을 묶는 연결 장치,
    상기 제1 디지털 지형 지도와 상기 제2 디지털 지형 지도간의 높이 차들로서 나타나지 않는 변화들을 제거하여 갱신한 변화 리스트를 생성하도록 상기 연결 점들 내에서 삼각 측량을 행하는 삼각 측량기를 포함하는, 3 차원 변화 검출기 장치.
  14. 제1 입체 화상 쌍과 제2 입체 화상 쌍간의 변화들을 검출하기 위한 3 차원 변화 검출기 방법에 있어서,
    상기 제1 및 제2 화상들을 처리하여 변화들의 후보 리스트를 생성하는 단계,
    상기 입체 화상 쌍들 각각으로부터, 각각의 입체 쌍의 3 차원 정보에서 상기 변화들의 후보 리스트에 표시된 적어도 위치들의 제1 및 제2 디지털 지형 모델을 각각 생성하는 단계,
    상기 위치들에 관하여 대응하는 점들을 찾고 상기 제1 및 제2 디지털 지형 지도들에서 동일 높이들의 상기 점들을 연결하는 단계;
    상기 제1 디지털 지형 지도와 상기 제2 디지털 지형 지도간의 높이 차들로서 나타나지 않는 변화들을 제거하여 갱신한 변화 리스트를 생성하도록 상기 연결 점들 내에서 삼각 측량을 행하는 단계를 포함하는, 3 차원 변화 검출기 방법.
  15. 제1 입체 화상 쌍과 제2 입체 화상 쌍간의 변화들을 검출하기 위한 3 차원 변화 검출기 장치에 있어서,
    상기 제1 및 제2 화상들을 처리하여 변화들의 후보 리스트를 생성하는 예비 프로세서;
    상기 입체 화상 쌍들 각각으로부터, 각각의 입체 쌍의 3 차원 정보에서 상기 변화들의 후보 리스트에 표시된 적어도 위치들의 제1 및 제2 디지털 지형 모델을 각각 생성하는 디지털 지형 모델 생성기,
    상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델간의 평균 높이 레벨들을 등화하는 등화기, 및
    고 주파수 성분들을 갖는 상기 후보 리스트에서 변화들을 확인하고 고 주파 성분들을 갖지 않는 변화들은 제거함으로써 갱신한 변화 리스트를 생성하기 위해서 상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델 간의 고 주파수 차이들을 검출하는 고역 필터를 포함하는, 3 차원 변화 검출기 장치.
  16. 제15항에 있어서, 상기 디지털 지형 모델 생성기와 상기 등화기 간에 접속되어, 상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델 간의 저 주파 차이들을 소거하기 위한 저역 필터를 더 포함하는, 3 차원 변화 검출기 장치
  17. 제1 입체 화상 쌍과 제2 입체 화상 쌍간의 변화들을 검출하기 위한 3 차원 변화 검출기 방법에 있어서,
    상기 제1 및 제2 화상들을 처리하여 변화들의 후보 리스트를 생성하는 단계;
    상기 입체 화상 쌍들 각각으로부터, 각각의 입체 쌍의 3 차원 정보에서 상기 변화들의 후보 리스트에 표시된 적어도 위치들의 제1 및 제2 디지털 지형 모델을 각각 생성하는 단계,
    상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델간의 평균 높이 레벨들을 등화하는 단계,
    고 주파수 성분들을 갖는 상기 후보 리스트에서 변화들을 확인하기 위해 상기 제1 디지털 지형 모델과 상기 제2 디지털 지형 모델 간의 고 주파수 차이들을 검출하는 단계, 및
    고 주파 성분들을 갖지 않는 변화들은 제거함으로써 갱신한 변화 리스트를 생성하는 단계를 포함하는, 3 차원 변화 검출기 방법.
  18. 기준 정사투영사진에 항공사진을 레지스트레이션시키는 장치에 있어서,
    a) 제1 연결 점에 기초해서, 상기 항공사진 혹은 축소한 사진과 상기 기준 정사투영사진간의 초기 레지스트레이션 시도를 행하고,
    b) 제1 상응 측정을 얻기 위해서 상기 레지스트레이션 시도에 따라 상기 항공사진과 상기 기준 정사투영사진간의 제1 교차 상관을 실행하고,
    c) 적어도 1회 파라미터를 변경하여, 상기 항공사진 혹은 축소한 사진과 상기 정사투영사진간의 새로운 레지스트레이션 시도를 행하고, 다른 상응 측정을 얻기 위해 재차 교차 상관을 실행하는 것인,
    레지스트레이션 장치 및 상호 상관기;
    가장 큰 대응 측정을 제공하는 상기 레지스트레이션 시도를 출력으로서 선택하는 선택기를 포함하는, 사진 레지스트레이션 장치.
  19. 제18항에 있어서, 상기 파라미터는 상기 항공사진 혹은 축소한 사진의 높이 파라미터인, 사진 레지스트레이션 장치.
  20. 제19항에 있어서, 상기 높이를 스텝별로 변경을 실행하여, 각 스텝에서 레지스트레이션 시도를 행하도록 구성된, 사진 레지스트레이션 장치.
  21. 제20항에 있어서, 상기 스텝은 실질적으로 1미터인, 사진 레지스트레이션 장치.
  22. 제18항에 있어서, 상기 파라미터는 상기 항공사진 혹은 축소한 사진의 각도인, 사진 레지스트레이션 장치.
  23. 제22항에 있어서, 상기 파라미터는 초기에는 각도 파라미터이고, 상기 레지 스트레이션 장치 및 상기 상호 상관기는 단계 c)를 반복하게 구성되고, 상기 파라미터는 상기 항공사진의 높이인, 사진 레지스트레이션 장치.
  24. 제22항에 있어서, 한 범위 내에 상기 각도의 스텝별 변경을 실행하고, 각 스텝에서 레지스트레이션 시도를 행하게 동작하는, 사진 레지스트레이션 장치.
  25. 제24항에 있어서, 상기 범위는 실질적으로 10도이고 상기 스텝은 실질적으로 1도인, 사진 레지스트레이션 장치.
  26. 제18항에 있어서, 상기 레지스트레이션 시도들은 상기 축소한 사진에 대해 실행되고 상기 축소한 사진은 상기 레지스트레이션 장치 앞에 배치된 화소 감소장치으로부터 얻어지는, 사진 레지스트레이션 장치.
  27. 제18항에 있어서, 상기 레지스트레이션 장치, 상기 상호 상관기, 및 상기 선택기는 제2 연결 점에 대해 상기 초기 및 적어도 차후의 한 레지스트레이션 시도를 반복하게 구성되는, 사진 레지스트레이션 장치.
  28. 제27항에 있어서, 상기 레지스트레이션 장치, 상기 상호 상관기, 및 상기 선택기는 제3 및 제4 연결 점 각각에 대해 상기 초기 및 적어도 차후의 한 레지스트레이션 시도를 반복하게 구성되는, 사진 레지스트레이션 장치.
  29. 제28항에 있어서, 상기 출력 레지스트레이션의 질을 결정하기 위해 상기 4개의 연결 점들간의 대각선들을 따른 윤곽들을 추종하는 윤곽 추종기를 더 포함하는, 사진 레지스트레이션 장치.
  30. 기준 정사투영사진에 항공사진을 레지스트레이션시키는 방법에 있어서,
    a) 제1 연결 점에 기초해서, 상기 항공사진 혹은 축소한 사진과 상기 기준 정사투영사진간의 초기 레지스트레이션 시도를 행하는 단계,
    b) 제1 대응 측정을 얻기 위해서 상기 레지스트레이션 시도에 따라 상기 항공사진과 상기 기준 정사투영사진간의 제1 교차 상관을 실행하는 단계,
    c) 적어도 1회 파라미터를 변경하여, 상기 항공사진 혹은 축소한 사진과 상기 정사투영사진간의 새로운 레지스트레이션 시도를 행하고, 다른 대응 측정을 얻기 위해 다른 교차 상관을 실행하는 단계, 및
    d) 가장 큰 대응 측정을 제공하는 상기 레지스트레이션 시도를 출력으로서 선택하는 단계를 포함하는, 사진 레지스트레이션방법.
  31. 제30항에 있어서, 상기 파라미터는 상기 항공사진 혹은 축소한 사진의 높이 파라미터인, 사진 레지스트레이션방법.
  32. 제31항에 있어서, 상기 높이를 스텝별로 변경을 실행하여, 각 스텝에서 레지 스트레이션 시도를 행하는 단계를 더 포함하는, 사진 레지스트레이션방법.
  33. 제32항에 있어서, 상기 스텝은 실질적으로 1미터인, 사진 레지스트레이션방법.
  34. 제30항에 있어서, 상기 파라미터는 상기 항공사진 혹은 축소한 사진의 레지스트레이션의 각도인, 사진 레지스트레이션방법.
  35. 제34항에 있어서, 상기 파라미터는 초기에는 각도 파라미터이고, 상기 방법은 반복 단계 c)를 더 포함하고, 상기 파라미터는 상기 항공사진의 레지스트레이션 높이인, 사진 레지스트레이션방법.
  36. 제34항에 있어서, 한 범위 내에 상기 각도의 스텝별 변경을 실행하고, 각 스텝에서 레지스트레이션 시도를 행하는 단계를 포함하는, 사진 레지스트레이션방법.
  37. 제36항에 있어서, 상기 범위는 실질적으로 10도이고 상기 스텝은 실질적으로 1도인, 사진 레지스트레이션방법.
  38. 제30항에 있어서, 상기 레지스트레이션 시도들은 상기 축소한 사진에 대해 실행되고 상기 축소한 사진은 화소 감소 프로세스에 의해 얻어지는 것인, 사진 레 지스트레이션방법.
  39. 제30항에 있어서, 제2 연결 점에 대해 상기 초기 및 적어도 차후의 한 레지스트레이션 시도를 반복하는 단계를 더 포함하는, 사진 레지스트레이션방법.
  40. 제39항에 있어서, 제3 및 제4 연결 점 각각에 대해 상기 초기 및 적어도 차후의 한 레지스트레이션 시도를 반복하는 단계를 더 포함하는, 사진 레지스트레이션방법.
  41. 제40항에 있어서, 상기 출력 레지스트레이션의 질을 결정하기 위해 상기 4개의 연결 점들간의 대각선들을 따른 윤곽들을 추정하는 단계를 더 포함하는, 사진 레지스트레이션방법.
  42. 대응하는 화상들의 레지스트레이션을 위한 연결 점들의 분류를 위한 장치에 있어서,
    연결 점들로서 작용하는 상기 대응하는 화상들 내 점들을 확인하는 연결 점 식별기, 및
    상기 식별된 연결 점들을 부동 혹은 이동성 연결 점들로서 분류하여 이동성 연결 점들을 제거하고 상기 레지스트레이션을 부동 연결 점들에 근거하게 하는 분류기를 포함하는, 연결 점 분류장치.
  43. 제42항에 있어서, 상기 분류기는 상기 연결 점들을 분류하기 위해서 확실 지수(stability index)를 사용하는, 연결 점 분류장치.
  44. 제42항에 있어서, 상기 확실 지수는 확실 표시자로서 컬러를 포함하는, 연결 점 분류장치.
  45. 제44항에 있어서, 상기 분류기는 녹색을 이동성으로서 분류하도록 구성된, 연결 점 분류장치.
  46. 제44항에 있어서, 상기 분류기는 갈색 및 회색 중 적어도 하나를 부동 분류하도록 구성된, 연결 점 분류장치.
  47. 제43항에 있어서, 상기 확실 지수는 소정의 물체들을 부동 혹은 이동성인 것으로서 인식하는 자동 물체 인식에 사용할 수 있는, 연결 점 분류장치.
  48. 제47항에 있어서, 상기 분류기는 나대지, 건물들, 바위들 및 돌들 중 어느 것을 부동으로서 인식하는 특징 인식기를 포함하는, 연결 점 분류장치.
  49. 대응하는 화상들의 레지스트레이션을 위한 연결 점들의 분류를 위한 방법에 있어서,
    연결 점들로서 작용하는 상기 대응하는 화상들 내 점들을 식별하는 단계, 및
    상기 식별된 연결 점들을 부동 혹은 이동성 연결 점들로서 분류하여 이동성 연결 점들을 제거하고 상기 레지스트레이션을 부동 연결 점들에 근거하게 하는 단계를 포함하는, 연결 점 분류방법.
KR1020057017946A 2003-03-23 2004-03-23 항공 화상의 자동 처리 KR101105795B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL15503403A IL155034A0 (en) 2003-03-23 2003-03-23 Automatic aerial digital photography and digital data processing systems
IL155034 2003-03-23
PCT/IL2004/000263 WO2004084136A2 (en) 2003-03-23 2004-03-23 Automatic processing of aerial images

Publications (2)

Publication Number Publication Date
KR20060013640A true KR20060013640A (ko) 2006-02-13
KR101105795B1 KR101105795B1 (ko) 2012-01-17

Family

ID=33017812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057017946A KR101105795B1 (ko) 2003-03-23 2004-03-23 항공 화상의 자동 처리

Country Status (6)

Country Link
US (1) US7386164B2 (ko)
EP (1) EP1606766B1 (ko)
KR (1) KR101105795B1 (ko)
AU (1) AU2004221234B2 (ko)
IL (1) IL155034A0 (ko)
WO (1) WO2004084136A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101256340B1 (ko) * 2012-12-05 2013-04-23 (주)지오투정보기술 적응적 필터링을 통한 데이터 압축과 영상 보정을 함께 이용하는 공간정보 생성 방법 및 시스템

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3989348B2 (ja) * 2002-09-27 2007-10-10 三洋電機株式会社 複数画像送信方法及び複数画像同時撮影機能付き携帯機器
JP2005122323A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム
EP1607716A3 (en) * 2004-06-18 2012-06-20 Topcon Corporation Model forming apparatus and method, and photographing apparatus and method
JP4488804B2 (ja) * 2004-06-23 2010-06-23 株式会社トプコン ステレオ画像の関連付け方法及び３次元データ作成装置
US20060066624A1 (en) * 2004-09-30 2006-03-30 Microsoft Corporation Method and system for generating per-pixel error bounds for a rendered image
FR2879791B1 (fr) * 2004-12-16 2007-03-16 Cnes Epic Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
GB0427779D0 (en) * 2004-12-17 2005-07-06 Bae Systems Plc Imaging system and method
KR100782811B1 (ko) * 2005-02-04 2007-12-06 삼성전자주식회사 영상의 주파수 특성에 따라 포맷을 달리하는 스테레오 영상 합성 방법 및 장치와, 그 영상의 송신 및 수신 방법과, 그 영상의 재생 방법 및 장치
JP4566074B2 (ja) * 2005-06-21 2010-10-20 株式会社パスコ 家屋異動判定方法及び家屋異動判定プログラム
JP4339289B2 (ja) * 2005-07-28 2009-10-07 Ｎｅｃシステムテクノロジー株式会社 変化判定装置、変化判定方法および変化判定プログラム
US8254913B2 (en) 2005-08-18 2012-08-28 Smartsky Networks LLC Terrestrial based high speed data communications mesh network
US7603208B2 (en) * 2006-01-10 2009-10-13 Harris Corporation Geospatial image change detecting system with environmental enhancement and associated methods
US7720577B2 (en) 2006-05-17 2010-05-18 The Boeing Company Methods and systems for data link front end filters for sporadic updates
US7702183B1 (en) * 2006-05-17 2010-04-20 The Boeing Company Methods and systems for the detection of the insertion, removal, and change of objects within a scene through the use of imagery
US7999849B2 (en) 2006-05-17 2011-08-16 The Boeing Company Moving object detection
US7676064B2 (en) 2006-05-17 2010-03-09 The Boeing Company Sensor scan planner
TW200840993A (en) * 2007-04-04 2008-10-16 Univ Nat Central Ortho-rectification method of photogrammetry with high-spatial resolution
US7957596B2 (en) * 2007-05-02 2011-06-07 Microsoft Corporation Flexible matching with combinational similarity
IL191615A (en) * 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
US8351684B2 (en) * 2008-02-13 2013-01-08 Caterpillar Inc. Terrain map updating system
US8497905B2 (en) * 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8675068B2 (en) 2008-04-11 2014-03-18 Nearmap Australia Pty Ltd Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8148689B1 (en) 2008-07-24 2012-04-03 Braunheim Stephen T Detection of distant substances
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
IL202788A (en) 2009-12-17 2016-08-31 Elta Systems Ltd Method and system for improving radar image
WO2011079376A1 (en) * 2010-01-03 2011-07-07 Sensio Technologies Inc. Method and system for detecting compressed stereoscopic frames in a digital video signal
JP4998905B2 (ja) * 2010-04-14 2012-08-15 Ｎｅｃシステムテクノロジー株式会社 三次元地形データ高精度化装置、三次元地形データ高精度化方法及びプログラム
WO2011140178A1 (en) * 2010-05-04 2011-11-10 Bae Systems National Security Solutions Inc. Inverse stereo image matching for change detection
JP5690539B2 (ja) 2010-09-28 2015-03-25 株式会社トプコン 自動離着陸システム
US9875549B2 (en) 2010-11-18 2018-01-23 Bae Systems Plc Change detection in video data
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
US20120224058A1 (en) * 2011-03-02 2012-09-06 Rosemount Aerospace Inc. Airplane cockpit video system
TWI482121B (zh) * 2011-04-28 2015-04-21 Univ Nat Central The method of correcting the color of the image
JP5775354B2 (ja) 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
US9070208B2 (en) 2011-05-27 2015-06-30 Lucasfilm Entertainment Company Ltd. Accelerated subsurface scattering determination for rendering 3D objects
US9280848B1 (en) * 2011-10-24 2016-03-08 Disney Enterprises Inc. Rendering images with volumetric shadows using rectified height maps for independence in processing camera rays
US20130004059A1 (en) * 2011-07-01 2013-01-03 Amir Said Aligning stereoscopic images
JP5724110B2 (ja) * 2011-07-07 2015-05-27 株式会社日立製作所 経路作成システム、経路作成方法及びプログラム
JP5787695B2 (ja) 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
KR101841750B1 (ko) * 2011-10-11 2018-03-26 한국전자통신연구원 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법
PL2776786T3 (pl) * 2011-11-08 2020-01-31 Saab Ab Sposób i system do określania relacji między pierwszą sceną i drugą sceną
US9501700B2 (en) 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
CN102620721B (zh) * 2012-03-14 2014-02-05 广东省公路勘察规划设计院股份有限公司 一种基于精细数字地面模型的公路测设方法
JP5743935B2 (ja) * 2012-03-19 2015-07-01 株式会社東芝 対象物検出装置および対象物検出方法
US10869020B2 (en) * 2012-06-29 2020-12-15 Inb Vision Ag Method for capturing images of a preferably structured surface of an object and device for image capture
US9071732B2 (en) 2013-03-15 2015-06-30 Tolo, Inc. Distortion correcting sensors for diagonal collection of oblique imagery
ES2432229B1 (es) * 2013-03-22 2014-09-12 Universidad De León Sistema y método de supervisión
CA2920251A1 (en) 2013-08-02 2015-02-05 Xactware Solutions, Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
US9396584B2 (en) * 2013-12-19 2016-07-19 Google Inc. Obtaining geographic-location related information based on shadow characteristics
FR3017481B1 (fr) * 2014-02-07 2016-02-26 Sagem Defense Securite Procede de detection et de pistage de cibles
US9688403B2 (en) 2014-05-20 2017-06-27 Infatics, Inc. Method for adaptive mission execution on an unmanned aerial vehicle
US9652681B1 (en) 2014-06-03 2017-05-16 Lockheed Martin Corporation Using geospatial context information in image processing
KR101591197B1 (ko) 2014-10-01 2016-02-04 한국항공우주연구원 보조 정보를 이용한 모자이크 영상 생성 장치 및 방법
US9858478B2 (en) * 2014-12-19 2018-01-02 Intel Corporation Bi-directional community information brokerage
US9389084B1 (en) * 2015-09-17 2016-07-12 Skycatch, Inc. Detecting changes in aerial images
US10402696B2 (en) * 2016-01-04 2019-09-03 Texas Instruments Incorporated Scene obstruction detection using high pass filters
CN105761257B (zh) * 2016-02-05 2018-08-10 中测新图(北京)遥感技术有限责任公司 交叉航带上无人机影像匹配中粗差的剔除方法和装置
CN105956619B (zh) * 2016-04-27 2019-05-24 浙江工业大学 一种集装箱锁孔粗定位和跟踪方法
US10621780B2 (en) * 2017-02-02 2020-04-14 Infatics, Inc. System and methods for improved aerial mapping with aerial vehicles
US10627232B2 (en) 2017-06-27 2020-04-21 Infatics, Inc. Method and system for aerial image processing
US10235566B2 (en) * 2017-07-21 2019-03-19 Skycatch, Inc. Determining stockpile volume based on digital aerial images and three-dimensional representations of a site
US10535119B2 (en) * 2017-08-11 2020-01-14 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
CN107527328B (zh) * 2017-09-01 2020-10-27 扆冰蕾 一种兼顾精度与速度的无人机影像几何处理方法
US11532093B2 (en) 2019-10-10 2022-12-20 Intermap Technologies, Inc. First floor height estimation from optical images
US11094113B2 (en) 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
CN111739079B (zh) * 2020-06-18 2022-10-11 东华理工大学 一种基于语义特征多源低空立体像对快速匹配方法
US11302071B1 (en) 2020-09-24 2022-04-12 Eagle Technology, Llc Artificial intelligence (AI) system using height seed initialization for extraction of digital elevation models (DEMs) and related methods
US11747468B2 (en) 2020-09-24 2023-09-05 Eagle Technology, Llc System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods
US11238307B1 (en) * 2020-09-24 2022-02-01 Eagle Technology, Llc System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods
US11587249B2 (en) 2020-09-24 2023-02-21 Eagle Technology, Llc Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery
US11551366B2 (en) 2021-03-05 2023-01-10 Intermap Technologies, Inc. System and methods for correcting terrain elevations under forest canopy

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309522A (en) * 1992-06-30 1994-05-03 Environmental Research Institute Of Michigan Stereoscopic determination of terrain elevation
US5577181A (en) * 1995-06-07 1996-11-19 E-Systems, Inc. Method for autonomous determination of tie points in imagery
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
AU2001250802A1 (en) * 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US6963662B1 (en) * 2000-11-15 2005-11-08 Sri International Method and system for detecting changes in three dimensional shape
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101256340B1 (ko) * 2012-12-05 2013-04-23 (주)지오투정보기술 적응적 필터링을 통한 데이터 압축과 영상 보정을 함께 이용하는 공간정보 생성 방법 및 시스템

Also Published As

Publication number Publication date
AU2004221234B2 (en) 2010-09-09
EP1606766A4 (en) 2009-11-04
WO2004084136A3 (en) 2005-11-17
KR101105795B1 (ko) 2012-01-17
AU2004221234A1 (en) 2004-09-30
WO2004084136A2 (en) 2004-09-30
US7386164B2 (en) 2008-06-10
US20060239537A1 (en) 2006-10-26
IL155034A0 (en) 2004-06-20
EP1606766A2 (en) 2005-12-21
EP1606766B1 (en) 2013-05-08

Similar Documents

Publication Publication Date Title
KR101105795B1 (ko) 항공 화상의 자동 처리
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
US9798928B2 (en) System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
Piermattei et al. Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN107146200B (zh) 一种基于图像拼接质量评价的无人机遥感图像拼接方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN106871906B (zh) 一种盲人导航方法、装置及终端设备
EP2917874A1 (en) Cloud feature detection
EP2686827A1 (en) 3d streets
KR20200106680A (ko) 항공사진을 이용한 정사영상 구축방법
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及系统
Zhang et al. 3D urban buildings extraction based on airborne lidar and photogrammetric point cloud fusion according to U-Net deep learning model segmentation
Al-Rawabdeh et al. A robust registration algorithm for point clouds from UAV images for change detection
EP2946366A1 (en) Method and system for geo-referencing at least one sensor image
CN103236053A (zh) 一种移动平台下运动目标检测的mof方法
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
CN113361552B (zh) 定位方法及装置
Yu et al. Advanced approach for automatic reconstruction of 3d buildings from aerial images
Wu et al. Building Facade Reconstruction Using Crowd-Sourced Photos and Two-Dimensional Maps
CN116704037B (zh) 一种基于图像处理技术的卫星失锁重定位方法及系统
IL205032A (en) Automatic processing of aerial photographs
Stanojević et al. Digital Surface Model Generation with Aerial Surveying System “LEICA ADS80”

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160212

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170202

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180112

Year of fee payment: 7