KR20110002001A - 스테레오-영상 정합 및 변화 검출 시스템 및 방법 - Google Patents

스테레오-영상 정합 및 변화 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20110002001A
KR20110002001A KR1020107011036A KR20107011036A KR20110002001A KR 20110002001 A KR20110002001 A KR 20110002001A KR 1020107011036 A KR1020107011036 A KR 1020107011036A KR 20107011036 A KR20107011036 A KR 20107011036A KR 20110002001 A KR20110002001 A KR 20110002001A
Authority
KR
South Korea
Prior art keywords
images
stereoscopic image
image
sets
stereoscopic
Prior art date
Application number
KR1020107011036A
Other languages
English (en)
Other versions
KR101489984B1 (ko
Inventor
마이클 아브라함
빅터 고스틴스키
Original Assignee
엘타 시스템즈 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from IL186856A external-priority patent/IL186856A0/en
Application filed by 엘타 시스템즈 리미티드 filed Critical 엘타 시스템즈 리미티드
Publication of KR20110002001A publication Critical patent/KR20110002001A/ko
Application granted granted Critical
Publication of KR101489984B1 publication Critical patent/KR101489984B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Abstract

입체 영상을 정합하기 위한 시스템 및 방법은, 둘 이상의 입체 영상 세트 각각이 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 둘 이상의 입체 영상 세트를 획득하는 단계와, 둘 이상의 영상 그룹을 결정하는 단계를 포함하고, 상기 둘 이상의 영상 그룹 각각은 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상 각각은 서로 다른 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상이다. 영상 그룹 각각에 대하여, 각자의 최적 개체 리스트를 산정하고, 둘 이상의 영상을 스테레오-정합하며, 상기 둘 이상의 영상 각각은 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되는 영상이고, 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체를 이용함으로써, 하나 이상의 정합된 입체 영상 쌍을 발생시킨다.

Description

스테레오-영상 정합 및 변화 검출 시스템 및 방법{A STEREO-IMAGE REGISTRATION AND CHANGE DETECTION SYSTEM AND METHOD}
본 발명은 일반적으로 원격 영상 감지 시스템(remote sensing imagery system)에 관한 것이며, 더욱 상세하게는, 장면에 대한 다수의 영상을 이용하는 영상 감지 시스템에 관한 것이다.
도시 계획, 군대, 지능 및 재난 모니터링과 같은 다양한 분야에서 원격 영상 감지가 이용된다. 응용예 중 다수가, 연속 시점에서 획득된 영상간의 변경 사항 검출을 필요로 한다. 동일하거나 유사한 각도에서 획득된 영상들 간의 차이 또는 변화를 검출하기 위하여 기술 분야에서 잘 알려진 방법들이 존재함에도 불구하고, 이들 방법은 높은 비율의 오경보(false alarm, FA) 변화 검출로 인해 오류가 있기 쉽다. 오경보 검출은 통상적으로, 사실적, 물리적, 3차원(체적)적 차이(가령, 이전에 점유되지 않았던 위치에 나타난 구조, 또는 이전 영상에서 나타났던 위치에 더 이상 나타나지 않는 운송 수단(vehicle))를 실제적으로 반영하지 않는, 영상 간의 2차원적 차이(가령, 그림자 변화)에 의해 발생한다. 그림자 변화는, 가령, 조명원 위치의 변화에 의해 발생할 수 있다. 이에 더하여, 시간과 함께 변화하는 그 밖의 다른 요소(가령, 계절 변화, 날씨 조건, 대지(ground)의 수분 정도, 및 그 밖의 다른 요소)가, 한 장면에서 서로 다른 시간에 물체가 반사되는 방식으로 변화를 발생시킬 수도 있다. 그러나, 체적(3차원) 변화는, 실제 물리적 체적(가령, 집, 자동차, 쓰레기통 등)을 갖는 대상의 출현, 소멸, 또는 변위(displacement)를 반영할 수 있다. FA 오류를 감소시키기 위하여, 이러한 실제 체적 변화를 검출하고 분류하는 것이 유리하다.
체적 차이의 검출 감도를 향상시키기 위해 이용되는 바람직한 접근법은, 우선, (서로 다른 시점에 각각 대응하는)영역에 대한 3차원(3D)적 표현을 형성하고, 그 후, 이들 3D 표현을 비교하여 3D 변화를 검출하는 것이 될 수 있다. 영역의 3D 표현을 형성하기 위하여, 동일한 스캔 영역에 대하여 서로 다른 각도에서 각각 획득된 둘 이상의 영상(입체 영상)이 이용된다. 그러나, 이러한 접근법은, 이론적으로 체적 검출 감도를 향상시킨다는 사실에도 불구하고, 동일한 스캔 영역에 대하여 서로 다른 각도에서 획득된 영상들을 정합(가령, 스테레오 정합(stereo-matching))하는데 있어서의 기술적 복잡성에 의해 제한을 받는다. 개선된 각도 차이에서 획득된 스테레오 영상("넓은 기준선(baseline) 입체 영상"이라 칭함, 해당 업계에서 또한, 높은 기선 고도비(high base over height (B over H) ratio)를 갖는 입체 영상으로서 알려짐)은 스테레오-정합하기가 좀 더 어렵다.
이하의 본문에서, "스테레오-정합"이라는 용어는, "일치점(correspondence point)"의 쌍을 생성하기 위하여 두 입체 영상 사이의 지점(각각의 영상으로부터의 한 지점)을 관련짓는 프로세스를 나타낸다. 지점의 쌍 각각은 두 입체 영상에서 반영된 것과 동일한 물리적 개체를 나타내는 것으로 가정된다. 스테레오-정합 프로세스의 결과는, 일치점의 희소 세트(sparse set)(제한된 개수의 쌍) 또는 일치점의 조밀 세트(dense set)(해당업계에서 "조밀 스테레오 정합"으로도 알려져 있음)이며, 이러한 경우 한 쌍의 일치점은 스테레오-쌍의 모든 영상으로 커버된 모든 화소에 대해 정의된다. 깊이 맵(depth map)(장면의 3차원적 표현)이 일치점의 조밀 세트로부터 생성될 수 있다.
이하는 관련 기술의 리스트이다.
2006년 10월 26일에 공개된 "automatic processing of aerial images"라는 제목의 US2006/0239537호 공개 특허에서, 실질적으로 유사한 시야(view)의 서로 다른 시점에서 획득된 제 1 및 제 2 입체 영상 쌍 간의 변화를 검출하기 위한 변화 검출 장치를 개시한다. 이러한 장치는, 영상 쌍의 2차원 정보로부터 변화 후보(change candidate)의 최초 리스트를 획득하기 위하여 제 1 및 제 2 영상 쌍을 비교하기 위한 2차원 영상 필터와, 3차원 영상 정보를 이용하여 변화 후보의 위치에서 영상 쌍을 비교하기 위한 3차원 영상 필터를 포함한다. 상기 장치는, 3차원 영상 변화와 관련되는 이러한 변화 후보를 보유하고, 3차원 영상 변화와 관련되지 않은 변화 후보를 제거하여, 정제된 변화 후보의 리스트를 생성한다.
"Method for detecting surface motions and mapping small terrestrial or planetary surface deformations with synthetic aperture radar"라는 제목의 US4975704 호 미국 특허에서, 넓은 영역보다 정밀한 해상도(10 m)을 갖는 좁은 표면 변형(deformation)(1 cm 이하)를 측정하는데 이용되는, 합성 개구 레이더(synthetic aperture radar, SAR) 간섭계에 기반을 둔 기법을 개시한다. 두 SAR 영상이 두 개의 공간 안테나(spaced antenna)에 의한 장면으로 이루어지며, 이러한 장면에 대한 서로 다른 간섭도(interferogram)가 만들어진다. 서로 다른 간섭도의 화소의 위상을 언래핑(unwrapping phase)한 이후에, 표면 움직임 또는 표면의 변형 변화가 관찰된다. 동일 장면에 대한 제 2 간섭도가 서로 다른 영상 쌍으로부터 만들어지는데, 서로 다른 영상 쌍 중 하나 이상은 시간이 일부 경과한 이후 만들어진다. 그 후 제 2 간섭도가 제 1 간섭도와 비교되어, 화소의 시선 위치의 변화를 검출한다. 하나 이상의 다른 방향을 따라, 관측 시선을 간섭도의 그 밖의 다른 세트의 벡터 구성요소로 분해함으로써, 측면 움직임이 전체로서 재발견될 수 있다. 해당 업계에서는, 가령, 넓은 기준선 스테레오 영상과 같이 서로 다른 광범위한 시야 각도에서 획득된 영상들을 영상 스테레오-정합할 필요가 있다,.
해당 업계에서는, 서로 다른 시간에 획득된 영상들을 비교하고, 새로운 건설 현장 또는 군사 시설 등 간의 체적 변화를 신뢰성 있게 검출할 필요성이 추가적으로 존재한다.
본 발명은 스테레오 영상을 정합하기 위한 방법을 기술하며, 상기 방법은,
a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 입체 영상 세트 획득 단계와,
b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, 상기 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 영상 그룹 결정 단계와,
c) 상기 그룹에 대하여 각각, 각자의 최적 개체(entity) 리스트를 산정하는 단계와,
d) 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합하는 단계로서, 각각의 영상은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 그로부터 유래되며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 특징의 상기 스테레오-정합 단계
를 포함한다.
본 발명은 두 시점 사이에서 촬영된 장면의 차이를 검출하는 방법을 추가로 기술하며, 상기 방법은,
a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 입체 영상 세트 획득 단계와,
b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, 상기 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 영상 그룹 결정 단계와,
c) 상기 그룹 각각에 대하여, 각자의 최적 개체 리스트를 산정하는 단계와,
d) 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합하는 단계로서, 각각의 영상은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 그로부터 유래되며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 특징의 상기 스테레오-정합 단계와,
e) 상기 정합된 입체 영상 쌍 중 둘 이상의 쌍에 대하여 깊이 맵(depth map)을 생성하는 단계와,
f) 상기 깊이 맵의 일치 영역 간의 고도차를 계산하는 단계
를 포함하며, 이로써, 체적 차이가 상기 입체 영상 세트 사이에서 검출되는 것을 특징으로 한다.
본 발명은 두 시점 사이에서 촬영된 장면의 차이를 검출하기 위한 방법을 추가로 기술하며, 상기 방법은,
a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 입체 영상 세트 획득 단계와,
b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, 상기 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 영상 그룹 결정 단계와,
c) 상기 그룹 각각에 대하여, 각자의 최적 개체 리스트를 산정하는 단계와,
d) 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합하는 단계로서, 각각의 영상은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 그로부터 유래되며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 특징의 상기 스테레오-정합 단계와,
e) 최소한 후보 개체 리스트의 후보 개체의 좌표로부터 유래되는 영역 이내에서, 상기 정합된 입체 영상 쌍 중 둘 이상의 쌍에 대하여 깊이 맵을 생성하는 단계와,
f) 상기 후보 개체 리스트로부터의 후보 개체를 상기 깊이 맵 중 두 개 이상의 깊이 맵에 대하여 재평가하는 단계
를 포함하며, 여기서, 상기 후보 개체는, 재평가에서 고도차가 나타나는 경우, 체적 차이로 분류되는 것을 특징으로 한다.
본 발명은 서로 다른 시점 사이에서 촬영된 장면의 차이를 검출하기 위한 방법을 추가로 기술하며, 상기 방법은,
a) 상기 장면에 대한 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 입체 영상 세트 획득 단계와,
b) 둘 이상의 정합된 입체 영상 쌍을 획득하는 단계로서, 상기 정합된 입체 영상 쌍 각각은 상기 입체 영상 세트 각각으로부터의 입체 영상을 포함하는 특징의 상기 입체 영상 쌍 획득 단계와,
c) 상기 정합된 입체 영상 쌍 각각에 대하여 깊이 맵을 산정하는 단계와,
d) 상기 깊이 맵의 대응하는 영역 간의 고도차를 계산하는 단계
를 포함하며, 이로써, 상기 입체 영상의 세트 사이에서 체적 차이가 검출된다.
본 발명은 입체 영상을 정합하기 위한 시스템을 추가로 기술하며, 상기 시스템은,
프로세서 및 관련 스토리지를 포함하며, 상기 프로세서 및 관련 스토리지는 최소한,
a) 둘 이상의 입체 영상 세트 중 각각의 세트가 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득과,
b) 둘 이상의 영상 그룹 중 각각의 그룹이 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, 상기 입체 영상 세트 중 둘 이상의 각각의 영상이거나, 그로부터 유래되는 영상인 특징의 상기 둘 이상의 영상 그룹 결정과,
c) 상기 그룹 각각에 대하여, 각자의 최적 개체 리스트 산정
을 수행하도록 구성되며,
여기서, 상기 최적 개체 리스트 각각로부터의 네 개 이상의 최적 개체가, 상기 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합하는 스테레오-정합 모듈로 입력되도록 구성되고, 상기 둘 이상의 영상 각각은, 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시킨다.
본 발명은 두 시점 사이에서 촬영된 장면의 차이를 검출하기 위한 시스템을 추가로 기술하며, 상기 시스템은,
프로세서 및 관련 스토리지를 포함하며, 상기 프로세서 및 관련 스토리지는 최소한,
a) 상기 장면에 대한 둘 이상의 입체 영상 세트 각각이, 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득과,
b) 둘 이상의 정합된 입체 영상 쌍 각각이, 상기 입체 영상 세트 중 하나로부터의 입체 영상을 각각 포함하는 특징의 상기 둘 이상의 정합된 입체 영상 쌍 생성과,
c) 상기 정합된 입체 영상 쌍 각각에 대한 깊이 맵 산정과,
d) 상기 깊이 맵의 대응 영역간의 고도차 계산
을 수행하도록 구성되며,
이로써, 상기 입체 영상 세트 사이에서 체적 차이가 검출된다.
본 발명은, 입체 영상을 정합하기 위한 방법을 수행하기 위하여, 컴퓨터에 의해 실행 가능한 명령어 프로그램을 유형적으로 구현하는, 컴퓨터에 의해 판독 가능한 프로그램 스토리지 장치를 추가로 기술하며, 상기 방법은,
a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은, 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 입체 영상 세트 획득 단계와,
b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 영상 그룹 결정 단계와,
c) 상기 영상 그룹 각각에 대하여, 각자의 최적 개체 리스트를 산정하는 단계
를 포함하며, 여기서, 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체가, 상기 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합하는 스테레오-정합 모듈로 입력되도록 구성되고, 상기 둘 이상의 영상 각각은, 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시킨다.
본 발명의 실시예에 따르면, 영상 그룹 각각은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, (i) 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상, 및 (ii) 5도 이하의 범위 내의 획득 각도로부터 획득된 영상이다.
본 발명은, 두 시점 사이에서 촬영된 장면의 차이를 검출하는 을 수행하기 위하여, 컴퓨터에 의해 실행 가능한 명령어 프로그램을 유형적으로 구현하는, 컴퓨터에 의해 판독 가능한 프로그램 스토리지 장치를 추가로 기술하며, 상기 방법은,
a) 상기 장면의 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 입체 영상 세트 획득 단계와,
b) 둘 이상의 정합된 입체 영상 쌍을 생성하는 단계로서, 상기 정합된 입체 영상 쌍각각은 상기 입체 영상 세트 중 하나로부터의 입체 영상을 각각 포함하는 특징의 상기 정합된 입체 영상 쌍 생성 단계와,
c) 상기 정합된 입체 영상 쌍 각각에 대하여 깊이 맵을 산정하는 단계와,
d) 상기 깊이 맵의 대응 영역간의 고도차를 계산하는 단계
를 포함하며, 이로써, 상기 입체 영상 세트 사이에서 체적 차이가 검출된다.
본 발명은 입체 영상을 정합하기 위한 방법을 추가로 기술하며, 상기 방법은,
a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득되는 둘 이상의 영상을 포함하는 특징의 상기 입체 영상 획득 단계와,
b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 영상 그룹 결정 단계와,
e) 상기 영상 그룹 각각에 대하여,
ⅰ. 상기 그룹의 영상 중 둘 이상의 영상을 정합하는 단계와,
ⅱ. 정합된 영상들 간의 변화를 검출함으로써 후보 개체 리스트를 발생시키는 단계와,
ⅲ. 하나 이상의 선택 기준에 따라 상기 후보 개체 리스트로부터 네 개 이상의 최적 개체를 선택함으로써, 최적 개체 리스트를 발생시키는 단계
를 포함하며, 여기서, 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체는, 상기 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합하는 스테레오-정합 모듈로 입력되도록 구성되고, 상기 영상 각각은 상기 둘 이상의 영상 그룹 중 서로 다른 하나로 이루어지거나 또는 그로부터 유래되며, 이로써, 상기 둘 이상의 영상을 성공적으로 스테레오-정합할 수 있다.
본 발명은 방법을 추가로 포함하며, 상기 방법은,
a) 둘 이상의 정합된 입체 영상 쌍에 대하여 깊이 맵을 생성하는 단계와,
b) 상기 깊이 맵의 대응 영역간 고도차를 계산하는 단계
를 포함하며, 이로써, 체적 차이가 상기 입체 영상 세트 사이에서 검출된다.
본 발명을 이해하고, 실제에서 어떻게 실행될 수 있는지 확인하기 위하여, 첨부 도면과 관련해 오로지 제한이 없는 예시의 방법으로써 실시예가 기술될 것이다.
도 1a-c는 본 발명의 특정 실시예에 따른 간소화된 시나리오의 개념도이다.
도 2는 본 발명의 특정 실시에에 따른 동작의 시퀀스를 도시하는 흐름도이다.
도 3은 본 발명의 특정 실시예에 따른 후보 개체(candidate entity) 리스트의 표이다.
도 4는 본 발명의 특정 실시예에 따른 일반적인 시스템 아키텍처를 도시한다.
도 5는 본 발명의 특정 실시예에 따른 동작의 시퀀스에 대한 흐름도이다.
도 6a-c는 본 발명의 특정 실시예에 따른 동작의 흐름도이다.
도 7은 영상 중 하나 이상에 대하여 획득 각도가 알려지지 않은 경우, 영상을 그룹으로 분류하기 위한 프로세스를 도시하는 흐름도이다.
도 8은 본 발명의 특정 실시예에 따른 동작의 시퀀스를 도시하는 흐름도이다.
도 9는 본 발명의 특정 실시에에 따른 시스템 아키텍처를 도시한다.
본 발명에 따른 원격 영상 감지 시스템 및 방법의 원리와 동작이, 도면과 이에 수반된 설명과 관련해 더욱 더 잘 이해될 것이다.
본 발명에 대한 일 이상의 실시예를 자세하게 설명하기 전에, 본 발명이, 이하의 설명 또는 도면에 도시된 구성요소의 배열이나 구성의 세부사항의 이용에 제한되는 것이 아님을 이해해야 한다. 본 발명은 그 밖의 다른 실시예도 가능하며, 또는 다양한 방식으로 실행되거나 수행될 수 있다. 또한, 본 명세서에서 사용된 표현과 용어는 설명의 목적이며, 발명을 제한하려는 의도가 아님을 이해하여야 한다. 본 발명의 특정 실시예에 따라, 스테레오(stereo)(가령, "입체(stereoscopic) 영상", "스테레오 정합" 등) 단어를 포함하는 표현과 용어는 수적으로 제한이 없으며, 둘 이상으로 해석되어야 한다(가령, 스테레오 영상은, 공통 장면과 둘 이상의 획득 각도에서 획득된 둘 이상의 영상으로 해석될 수 있다). 영상의 스테레오 정합은 둘 이상의 스테레오 영상을 정합시키는 것으로 해석될 수 있다.
본 발명의 특정 실시예에 따라, 영상 세트(각각의 영상 세트는 서로 다른 시점에서 획득되고, 입체 영상을 포함함)(이하, "입체 영상 세트"라 한다)가 입체 영상 정합(registration)의 프로세스를 용이하게 하기 위해 이용된다. 이로 인해, 본 발명의 실시예에 따라, 정확한 고도/깊이 추정이 가능하고, 그 결과로서 체적 변화를 검출할 수 있다.
본 발명의 특정 실시예에 따라, 이용되는 입체 영상은 넓은 기준선(baseline) 입체 영상이다.
본 발명의 특정 실시예에 따라, "넓은 기준선 입체 영상"이라는 용어는, 10 도 이상의 차이를 갖는 획득 각도로부터 획득된, 공통 장면(common scene)을 포함하는 영상을 나타낸다.
본 발명의 특정 실시예에 따라, "넓은 기준선 입체 영상"이라는 용어는, 25 도 이상의 차이를 갖는 획득 각도로부터 획득된, 공통 장면을 포함하는 영상을 나타낸다.
본 발명의 특정 실시예에 따라, "넓은 기준선 입체 영상"이라는 용어는, 35 도 이상의 차이를 갖는 획득 각도로부터 획득된, 공통 장면을 포함하는 영상을 나타낸다.
본 발명의 특정 실시예에 따라, "넓은 기준선 입체 영상"이라는 용어는, 45 도 이상의 차이를 갖는 획득 각도로부터 획득된, 공통 장면을 포함하는 영상을 나타낸다.
예시적 시나리오의 기본적 예시가 제시될 것이며, 본 발명의 특정 실시예에 따른 방법의 실증이 뒤따를 것이다. 중요한 것은, 이러한 예시가 제한이 없으며, 오로지 명확성을 위해 과장되어 간소화되었다는 것이다.
공중 감시 플랫폼(가령, 비행기, 무인 항공기(UAV) 등)이 한 달에 한번 관심 영역 위를 통과("매월 비행 여정 또는 임무(mission)")하여, 매월 여러 각도에서 영역의 영상을 획득한다.
먼저 도 1a를 참조하면, 영상(10 및 20)은, 두 개의 서로 다른 각도(가령, θ° 및 θ°+40°)에서 각각 획득된 (1월의 비행 여정에서 획득된, 1월에 획득된 "입체 영상 세트"라 불리는 영상의 묶음으로부터의)두 개의 입체 영상이다. 영상(30 및 40)은, 두 개의 서로 다른 각도(가령, θ° 및 θ°+40°)에서 각각 획득된 (2월의 비행 여정에서 획득된, 2월에 획득된 "입체 영상 세트"라 불리는 영상의 묶음으로부터의)두 개의 입체 영상이다. 영상(10 및 20)은 하나의 세트에 속하고, 영상(30 및 40)은 제 2 세트에 속한다. 영상(10)은 크레인(crane)(12), 집(14), 호수(16), 및 자동차(42)를 포함한다. 영상(20)은 영상(10)에서 상술된 동일 대상, 즉 크레인(18), 집(21), 호수(22), 및 자동차(41)를 포함한다.
영상(30)은, 크레인(12)과 동일 위치에 있는 동일한 크레인인 크레인(24)과, 호수(16)와 동일 위치에 있는 동일한 호수인 호수(28)와, 자동차(42)와 동일한 자동차이나 서로 다른 위치에 있는 자동차(52)와, 제 2 크레인(32)을 포함한다. 영상(40)은 영상(30)에서 상술된 동일 대상을 포함하며, 즉, 크레인(18)과 동일 위치에 있는 동일한 크레인인 크레인(34)과, 집(21)과 동일 위치에 있는 동일한 집인 집(36)과, 호수(22)와 동일 위치에 있는 동일한 호수인 호수(38)과, 자동차(41)과 동일한 자동차이나 서로 다른 위치에 있는 자동차(51)와, 제 2 크레인(31)을 포함한다.
1월과 2월 영상이 획득된 시간 사이에 몇 가지 변화가 발생하였는데, 즉, 제 2 크레인(31, 32)이 나타났고, 1월 영상에 나타난 자동차(41, 42)의 위치가 2월 영상(51, 52)에서 변경되었다.
두 입체 영상(30 및 40)과, 또한 영상(10 및 20)의 정합 방법이 본 발명의 특정 실시예에 따라 이하에서 예시될 것이다.
본 발명의 특정 실시예에 따라, 영상 그룹 각각이 유사한 장소에서 서로 다른 시간에 획득된 둘 이상의 영상을 포함하는 영상 그룹(이하 "영상 그룹"이라 한다)이, 후술되는 바와 같이, 정합되고, 그 후 변경 사항이 비교된다(이러한 프로세스를 "변화 검출"이라 칭함). 본 발명의 특정 실시예에 따라, 이용되는 영상이 획득된 원 영상은 아니나, 이로부터 유래된(추가적 처리가 된) 영상이다. 유래된 영상은 해당업계에서 알려진 방법을 따라 우선 처리될 수도 있다. 가령, 영상 해상도가 변경될 수 있고, 색 향상(color enhancement) 처리가 수행될 수도 있다.
특정 실시예에 따르면, 원 영상은, 변화 검출 프로세스와 스테레오 정합 프로세스 모두를 용이하게 하기 위해 처리된다. 예를 들어, 변화 검출 프로세스를 시작하기 전에 영상들이 일반적으로 히스토그램 정합되며, 전역 톤 매핑(tone mapping) 절차가, 두 영상의 그레이 레벨 분포가 관련되어 있지 않는 한 상기 두 영상이 대체로 유사하다는 것을 보장한다. 스테레오-정합과 관련하여, 스테레오 쌍의 영상들이 모두 최적으로 포커싱 되어야 한다. 스테레오 쌍의 한 영상 또는 모든 영상의 디포커싱(defocusing) 또는 블러링(blurring)이, 최종 깊이 맵(depth map)(용어가 이하에서 설명됨)의 정확성을 떨어뜨린다. 디블러링(deblurring) 또는 디포커싱 현상은, 카메라가 노출 시간 동안 움직이거나, 촬영 대상이 노출 시간 동안 움직일 때 특히 자주 발생한다. 따라서, 특정 이용에 따라 요구되는 바대로 영상을 포커싱 또는 디블러링하는 절차가 이용된다.
해당업계에서 알려진 몇 가지 방법 중 임의의 방법을 따라, 각각의 그룹으로부터의 영상 정합이 완료될 수 있다. A에 나타나는 영상(1월, θ°)이 C에 나타나는 영상(2월, θ°)을 이용해 정합된다. 일단 두 영상이 정합되면, 각각의 화소(pixel)가, 그 밖의 다른 영상으로부터 대응하는 (정합된) 화소와 비교된다.
본 발명의 특정 실시예에 따르면, 영상(10 및 30) 사이의 변화 검출이 도 2에 제시된 흐름도를 따라 수행된다. 변화 검출의 프로세스에 대한 입력은 한 쌍의 정합된 영상(가령, 영상(A)(202) 및 영상(C)(204))이다. 각각의 영상의 화소 각각이, 변화 검출을 위한 특징을 추출하기 위해 처리된다(205). 변화 검출에 이용 가능한 특징은, 가령, 세기(intensity)-기반, 질감-기반, 및 색채-기반 특징일 수 있다. 세기-기반 특징의 예시로는 국소 평균과 국소 표준 편차가 있다. 질감 특징은, 화소 주위의 색조 변동(tonal variation)의 공간 분포(spatial distribution)에 관련된 정보를 포함한다. 해당업계에서 이용되는 질감 특징으로는, 에지 그라디언트(edge gradient) 또는 GLDV(grey level difference vector), 동시 발생 행렬(co-occurrence matrix, GLCM), 공간 상관 함수(spatial correlation function), 및 모델-기반 접근(가령, MRF(Markov Random Field))이 있다. 본 발명의 특정 실시예에 따르면, 세기-기반 및 질감-기반 특징 모두가, 슬라이딩 윈도우(sliding window)를 이용해 영상을 회선(convolving)함으로써 산정된다. 윈도우 크기는 홀수(가령, 3, 5, 7, 9 등)이도록 선택되어, 윈도우의 중간 화소가 윈도우의 산출된 값을 이용해 할당된다.
색채-기반 특징은 화소값이다. 색채-기반 특징의 일반적 예시로는, RGB(Red-Green-Blue) 벡터와, RGB 색 공간의 그 밖의 다른 몇 가지 변형 형태(가령, HSV(Hue-Saturation-Value), LaB 등)가 있다. 각각의 영상에서 특징을 추출한 이후에, 특징의 벡터가 각각의 화소에 대해 획득되며, 상기 벡터의 각각의 구성요소가 화소의 위치에서 특정 특징의 값을 나타낸다. 각각의 특징이 새로운 영상 평면으로 간주될 수 있다. 흐름도 예시에서, 세 가지 특징이 추출되었다. 영상(202 및 204)을 위한 세 가지 특징 평면(영상의 각각의 화소에 대한 세 가지 값 벡터를 포함함)이 나타난다(206 및 208에서 각각 나타남). 화소 비교(207)가 각각의 화소당 두 벡터의 비교와 동일시된다. 이러한 비교는 해당업계에서 알려진 여러 대안적 방법에 의해 달성될 수 있다. 예를 들어, 벡터의 각각의 구성요소를 비교하고, 그 후, 결과 잔여 값을 계산할 수 있다. 두 개의 등벡터(equal vector)에 있어서, 결과 잔여 값은 작아야 한다. 가능한 또 다른 방법은 두 벡터의 내적(dot product)을 계산하는 것이 될 수 있다. 등벡터(가령, "무변화")의 경우, 정규화된 내적이 1(unity)에 가까워야 한다. 임의의 경우, 이러한 단계의 최종 결과는, 정규화된(일반적으로 0-1 사이) 변화의 가능성(likelihood of change, LC) 영상(210)이다. LC 영상의 하이 밸류가 확실한 "변화"의 가능성을 나타내고, LC의 로우 밸류가 "무변화"의 가능성을 나타낸다. 정규화된 영상 변화의 가능성(LC)이 임계값과 비교되어 변화에 대한 "후보" 위치를 검출할 수 있다(212). 이러한 단계에서 이용된 임계값은, 꽤 허용적인, 가령, 비교적 약한 변화의 가능성을 포함한 모든 가능한 변화를 수용할 수 있는 전역 임계값이다. 임계값보다 큰 LC 영상의 모든 위치가 값 1로 지정되고, 임계값보다 작은 LC 값을 갖는 위치가 값 0으로 지정된다. 이러한 동작을 "영상 2진화"라고 부른다. 2진 행렬(214)(오직 값"0"과 "1" 만을 갖는 화소로 구성됨, 또한 "2진 영상" 으로도 알려짐)이 화소 비교의 결과를 이끌어낸다. 변화가 검출되는 각각의 화소(좌표쌍으로 나타냄)에 있어서, 값 "1"이 삽입된다. 2진 영상의 그 밖의 다른 모든 화소가 값 "0"을 얻는다.
도 1a로 돌아가면, 영상(50 및 60)은, 변화 검출(10-30 및 20-40)로부터 각각 유래된 두 개의 2진 영상이다. "1" 및 "0" 값 화소의 영역이 그레이(gray) 및 화이트(white)로 각각 나타난다.
본 발명의 특정 실시예에 따르면, 연결된 구성요소 레이블링(labeling) 절차로서 해당업계에 잘 알려진 절차에 의해, 값 1로 지정된 모든 화소가 모여 대상("후보 개체"라 칭함)을 이룬다. 각각의 후보 개체는 다수의 특징에 의해 추가로 특징지어질 수 있다. 예를 들어, 각각의 후보 개체에서 측정된 일부 명백한 특징으로는, (1) 대상 영역, (2) 대상 중심(centroid), (3) 장축(major axis) 길이, (4) 단축(minor axis) 길이, 및 (5) 배향(orientation)이 있다.
후보 개체는 "후보 개체 리스트"라 불리는 표에 기입되어 있다.
후보 개체 리스트의 예시가 도 3에 주어져 있다.
본 발명의 특정 실시예에 따르면, 각각의 후보 개체는, 영상에서의 후보 개체의 위치를 나타내는 좌표 세트와 관련된다(가령, 값 쌍을 이용하여, 하나의 값이 수평 축에 관한 위치를 나타내고, 제 2 값이 수직 축에 관한 위치를 나타낸다). 이러한 좌표 세트 계산이 가능한 서로 다른 방법이 해당업계에 알려져 있다.
본 발명의 특정 실시예에 따르면, 단일 화소("중력 지점"이라 칭함)의 좌표가 사용된다. 예를 들어, 중력 지점의 수평 및 수직 좌표는, 대응하는 2진 영상으로부터의 후보 개체의 모든 "1" 화소의 수평 및 수직 좌표를 평균 냄으로써 계산될 수도 있다.
도 3의 표(300)는, 본 발명의 특정 실시예에 따른 후보 개체 리스트를 나타낸다. 표(300)는, 각각의 후보 개체에 주어진 내부 식별 번호(302)와, 중력 지점의 세부 사항(가령, 표에 나타난 특정 예시에서 볼 수 있는 바와 같이, 중력 지점 좌표(가령, (xc, yc))가 주어짐(각각 304, 306))과, 특징에 대한 다수의 값(가령, 표면 영역(308), 장축 길이(310) 및 단축 길이(312))과, 0과 1 사이의 값으로 정규화된 최종 점수(314)를 포함한다. 최종 점수는, 가령, 대상의 영역, 장축 길이와 단축 길이 사이의 비, 대상을 구성하는 LC 화소의 평균값을 조합함으로써 합계를 낼 수 있다. 최종 점수는 특정 변화와 관련하여 믿을 수 있는 지표이다.
도 1a로 되돌아가면, 전술된 프로세스에 대한 방식과 유사한 방식으로, 영상(20)이 영상(40)과 정합되어 변화 검출이 수행된다. 이러한 프로세스는 2진 영상(60)과, 후보 개체의 제 2 리스트의 결과를 가져온다.
전술된 프로세스는 유사한 각도에서 획득된 영상(10과 30, 및 20과 40)의 정합을 수반한다. (촬영시 플랫폼 비행 코스의 부정확성 및 그 밖의 다른 요인 등의 이유로 인해) 서로 다른 세트 간 영상 획득 각도에 편차가 있을 수 있고, 이는 수용 가능하다. 예를 들어, 각도(θ°)에서 획득된 영상(10)이 영상(30) 과 약간 다른 각도(θ°+δ)에서 획득되었을 수 있으나, 편리성을 위해, 두 영상 모두 동일 각도(θ°)에서 획득된 것처럼 기술된다.
본 발명의 특정 실시예에 따르면, 기호(θ°)는 동일하거나 실질적으로 유사한 획득 각도를 반영할 것이다.
본 발명의 그 밖의 다른 특정 실시예에 따르면, 동일 그룹에 속하고 변화 검출 프로세스에 이용되는 영상은, 최대 5도가 떨어져 있는 두 획득 각도에서 획득된 것이다.
전술된 프로세스의 결과는, 검출된 변화를 나타내고 두 후보 개체 리스트를 정의하는 두 이진 영상(50 및 60)이며, 한 영상은 각도(θ°)에서 그리고 제 2 영상은 각도(θ°+40°)에서 획득된 것이다.
영상(10)과 영상(30) 사이의 변화 검출 프로세스가, 크레인(62)과, 자동차(72, 82)의 배치로부터 유래한 두 변화를 포함하는 후보 개체 리스트의 결과를 가져온다. 또한 후보 개체 리스트에는, 실제 체적 변화가 아니고(가령, 그림자(84, 86, 105)), (가령, 영상 획득의 프로세스에서의) 노이즈로 인한 변화(94)인 그 밖의 다른 몇 가지 후보 개체가 포함된다.
영상(20 및 40) 간의 비교가 세 가지 변화, 즉, 크레인(61)과, 자동차(71, 81)의 배치로부터 유래한 두 변화를 나타낸다. 또한 후보 개체 리스트에는, 실제 체적 변화가 아니고(가령, 그림자(83, 89, 93)), 노이즈로 인한 변화(91, 92, 88)인 그 밖의 다른 몇 가지 후보 개체가 포함된다.
본 발명의 특정 실시예에 따르면, 2 입체 영상(10 및 20)의 스테레오-정합이 몇 쌍의 점합점(tie-point)("씨앗 일치점(seed correspondence point)"이라 칭함)을 이용해 시작된다. 각각의 쌍에서, 한 씨앗 일치점이 후보 개체의 한 리스트로부터 유래되고, 나머지 씨앗 일치점이 제 2 리스트로부터 유래된다. 후보 개체 리스트로부터 씨앗 일치점이 유래되는 프로세스가 이하에서 설명된다.
본 발명의 특정 실시예에 따르면, 후보 개체의 하위 그룹("최적 개체"라 칭함)이, 특정 기준을 이용하여 후보 개체 리스트로부터 선택된다.
본 발명의 특정 실시예에 따르면, 후보 개체 중에서 최적 개체를 선택하기 위하여, 후보 개체 중 두 개의 리스트가 지정 기준("선택 기준"이라 칭함)과 관련해 우선 평가되고, 그 후 그에 따라 선택된다.
예를 들어, 후보 개체 영역 기준이 이용될 수도 있다. 후보의 영역이, 적은 무관한 후보 개체를 제거하고, 또한 추가적 고찰을 통해 지나치게 많은 후보 개체를 제거하는 수단으로 이용된다. 따라서, 도 3에서 보이는 각각의 후보 개체의 특징들이, 후보 개체를 테스트하여 최적 개체를 선택하기 위해 이용될 수 있다.
도 1a의 영상(50 및 60)으로 되돌아가면, 후보 개체들의 두 하위 그룹(각각의 영상으로부터 하나)이 선택된다. 이러한 예시에서, 개체는 표면 영역 기준에 근거해 평가되고, 그에 따라서 선택되었다. 이러한 특정 예시에서, 특정 임계값을 초과하는 영역을 갖는 후보 개체들만이 각각의 후보 개체 리스트로부터 선택된다. 따라서, 영상(50)으로부터의 후보 개체(94, 86, 105)와 영상(60)으로부터의 후보 개체(88, 89, 91)가 제거되고, 나머지 선택된 개체(62, 72, 82, 84 및 61,71, 81, 83, 93)가 도 1b의 영상(70 및 80)에 각각 나타난다.
전술된 영역 기준은 후보 개체의 특징 그 자체를 따른다. 본 발명의 특정 실시예에 따르면, 하나의 리스트로부터의 각각의 후보 개체가 제 2 리스트로부터의 후보 개체에 정합된다. 후보 개체가 제 2 리스트로부터의 대응하는 후보 개체와 정합될 수 없는 경우, 그 후보 개체는 추가적 고찰을 통해 제거된다. 다시 한번, 도 3에 보이는 각각의 후보 개체의 특징은 후보 개체 쌍짓기(pairing) 목적에 유용하다. 영상(70 및 80) 사이의 점선에 의해 보이는 바와 같이, 각각의 후보 개체의 특성 특징 프로파일(가령, 표면 영역, 색채 등)이, 영상(70)으로부터의 후보 개체를, 영상(80)으로부터의 대응 가능성 있는 후보 개체와 정합하기 위해 이용된다. 예를 들어, 두 후보 개체가 실질적으로 동일 표면 영역을 가지거나 실질적으로 동일한 단축 길이에 대한 장축 길이의 비를 갖는 경우, 이러한 두 후보 개체는 쌍을 이룬다. 이러한 방식으로 개체(82, 86, 62, 및 84)가 개체(81, 93, 61, 및 70)와 각각 정합된다.
본 발명의 특정 실시예에 따르면, 쌍짓기 프로세스는 후보 개체가 제거되는 또 다른 단계일 수 있다. 예를 들어, 후보 개체가 그 밖의 다른 후보 개체 리스트로부터의 단일 후보 개체와 쌍을 이룰 수 없는 경우, 이러한 후보 개체는 제거될 수 있다.
보유된 후보 개체가 "최적 개체"이며, "최적 개체 리스트"라 불리는 검출의 최종 리스트로 전달된다. 이러한 예시에서, 오직 두 영상 그룹만이 비-제한 방식으로 특정되고, 본 발명의 특정 실시예에 따라, 다수의 영상 그룹이 다수의 씨앗 일치점 리스트를 선택하기 위해 이용될 수 있다.
본 발명의 특정 실시예에 따르면, 최적 개체를 선택하기 위해 다수의 선택 기준이 이용된다. 예를 들어, 각각의 후보 개체가 영역 기준에 대하여 평가될 수 있고, 추가적으로 색채 기준에 대하여 평가될 수도 있다.
본 발명의 특정 실시예에 따르면, 각각의 후보 개체에 대하여 미리 결정된 중력 지점(gravity point)이 다시 한번 이용된다. 각각의 최적 개체의 중력 지점이, 전술된 형태 및 색채 정합 기준을 따라, 그 밖의 다른 입체 영상으로부터의 대응하는 중력 지점과 쌍을 이룬다. 최적 개체의 중력 지점은 씨앗 일치점이라 불리며, 포괄적인 스테레오-정합 프로세스를 시작하기 위해 이용된다. 중력 지점의 쌍짓기가 그에 대응하는 후보 개체 쌍짓기의 뒤를 따른다. 영상(90 및 100)이 중력 지점 쌍짓기 프로세스의 결과를 보여주는데, 중력 지점(104, 106, 108, 111, 및 112)이 개체(116, 124. 121, 122, 및 118)와 각각 쌍을 이룬다. 이렇게 쌍을 이룬 씨앗 일치점은, 동일한 시간에 획득된(가령, 2월에 획득된) 스테레오 영상 간의 포괄적인 스테레오 정합 프로세스 시작을 위해 접합점으로서 이용된다. 이러한 중력 지점은 해당업계에 이미 알려진 입체 정합 프로세스("앵커링(anchoring)" 이라고도 불리는 프로세스)를 위해 이용되어 정합된 입체 영상을 발생시킬 수 있다.
본 발명의 특정 실시예에 따르면, 스테레오-정합 단계에 이용되는 영상이, 획득된 원 영상은 아니나, 이로부터 유래된 (추가적으로 처리된)영상이다.
본 발명의 특정 실시예에 따르면, 일단 두 영상이 최초 씨앗 일치점 세트에 의해 정확히 앵커링되면, 포괄적인 스테레오-정합 프로세스가 시작될 수 있다.
본 발명의 특정 실시예에 따르면, 스테레오-정합 프로세스에서, 최초 씨앗 일치점 정합 후에 두 유형의 포괄적인 정합 프로세스(이른바, 희소 정합(sparse registration)이라 불림)가 뒤따를 수 있으며, 이러한 프로세스에서, 영상에 대하여 임의의 지정 영역당 제한된 개수의 화소가 입체 영상에 걸쳐 쌍을 이룬다. 또 다른 유형의 정합 프로세스가 이른바 조밀 정합(dense registration)(또는 "조밀 스테레오 정합")이라 불리는 것이며, 이러한 프로세스에서, 지정 영역 이내의 모든 화소가 입체 영상에 걸쳐 쌍을 이룬다(예로써, T. Krauβ P. Reinartz, M. Lehner, M. Schroeder, U. Stilla, "DEM Generation from Very High Resolution Stereo Satellite Data in Urban Areas Using Dynamic Programming"; Y. Ohta, T. Kanade, "Stereo by intra and inter scanline search using Dynamic Programming", IEEE TPAMI 1985, 7(2): 139-154; I. J. Cox, S. Roy, S. L. Hingorani, "Dynamic histogram warping of image pairs for constant image brightness", IEEE ICIP 1995, (2): 366-369; D. Scharstein, R. Szeliski, "A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms"; S. Birchfield, C. Tomasi, "Depth Discontinuities by pixel to pixel stereo", ICCV 1998, pp 1073-1080; I. J. Cox, S. L. Hingorani, S. B. Rao, B. M. Magges, "A maximum likelihood stereo algorithm", CVIU 1996, 63(3): 542-567; D. Geiger, B. Ladendorf, A. Yuille, "Occlusions and binocular stereo", ECCV 1992, 425-433 참조).
이제까지 설명한 스테레오-정합 프로세스의 결과는, 이용된 서로 다른 세트 각각에 대하여 정합된 입체 영상이다. 이로써, 세트 간의 체적 변화가 검출되는 다음 단계로 나아갈 수 있다. 정합된 입체 영상이라는 용어는, 스테레오-정합된 임의의 두 영상 사이에서 정합된 화소 쌍(pairs of matched pixel)의 리스트를 나타내며, 따라서 영상으로 나타나지 않는다. 이러한 리스트는 각각의 쌍의 화소 각각의 X 및 Y 좌표를 이용하여 표로 나타낼 수도 있다.
본 발명의 특정 실시예에 따르면, 일단 스테레오-정합 프로세스가 실행되면, 후보 개체의 최초 리스트가, 이하에서 추가로 상술될 체적 변화로서 재평가된다.
포괄적인 스테레오 정합 프로세스가 두 개의 정합된 입체 영상의 결과를 가져오며, 그로부터, 관심 영역의 3차원 데이터 표현("깊이 맵(depth map)" 이라 칭함)이 생성될 수 있다. 본 발명의 특정 실시예에 따르면, 깊이 맵은 정합된 영상의 제한된 섹션에서만 생성된다(지역 깊이 맵). 예를 들어, 지역 깊이 맵은 후보 개체 둘레(circumference)와 일치하는 영역에서 생성될 수도 있다. 본 발명의 그 밖의 다른 실시예에 따르면, 완성된 깊이 맵이 생성되어 전체 장면을 커버한다. 예를 들어, 2월에 획득된 입체 영상의 스테레오-정합에 기초하여, 도 1b에 나타난 3차원 영상(110)이 생성된다. 표면의 상대적 고도가 무채색을 이용해 제시될 수도 있다. 정합된 2월 및 1월 입체 영상(110 및 120)에서 각각 볼 수 있는 바와 같이, 비교적 어두운 색채보다 비교적 밝은 색채가 더 높은 고도를 나타낸다. 이러한 깊이 맵에 제시된 고도는 상대적 고도며, 이는 동일한 깊이 맵의 임의의 두 지점 간의 고도차를 구할 수 있음을 의미한다. 서로 다른 깊이 맵 사이의 지점을 비교하기 위하여, 고도 정규화 프로세스가 필요할 수도 있다. 이러한 정규화 프로세스는 공통되는 전체 고도 참조를 갖는 두 깊이 맵의 결과를 가져오며, 따라서 고도가 변하지 않는 지점이 동일 색채로 나타난다. 예를 들어, 화소(101)(교차된 원형으로 나타냄)가 상대적 고도(+5)에 있고, 화소(102)(교차된 원형으로 나타냄)가 상대적 고도(+1)에 있다. 따라서, 1월과 2월 사이의 이러한 특정 화소에 체적 변화가 있었다는 결론을 낼 수 있다. 영상(110 및 120)은 완성된 깊이 맵의 예시를 나타낸다(가령, 원 영상으로부터 유래된 각각의 화소의 상대적 고도가 판단된다). 지역 깊이 맵의 예시는, 후보 개체(103 및 105)의 영역 내에서만의 상대적 고도에 대한 판단일 것이다. 이러한 방식으로, 두 개체는, 나머지 깊이 맵을 산정할 필요 없이 체적 변화를 위해 테스트된다.
본 발명의 특정 실시예에 따르면, 일단 깊이 맵이 생성되면, 후보 개체의 최초 리스트가 깊이 맵에 대하여 재평가되며, 각각의 후보 개체가 확인되어 평평한지 또는 체적이 있는지 분류된다. 따라서, 영상(50 및 60)으로 돌아가면, 영상(50 및 60)에 나타난 개체들 중 각각 하나가 깊이 맵(110 및 120)을 따라 재평가된다. 후보 개체의 좌표가 깊이 맵(110 및 120) 사이의 서로 다른 고도를 나타내는 경우, 상기 후보 개체는 체적 변화로 분류된다. 두 깊이 맵 간의 후보 개체의 고도 비교가 가능한 방법의 한 예로는, 중력 지점을 나타내는 화소와 중력 지점 주변의 8화소의 평균 고도를 계산하는 방법이 있다. 본 발명의 특정 실시예에 따르면, 하나의 깊이 맵의 고도 값을 그 밖의 다른 깊이 맵에서 빼고, 결과값을 평균 내며, 그 평균값을 임계값과 비교함으로써, 후보 개체의 전체 영역이 이용될 수 있다. 두 깊이 맵이 그레이 레벨 영상으로서 다뤄지는, 전술된 변화 검출을 위한 절차를 포함하는 그 밖의 다른 대안적 방법 해당업계에 알려져 있다.
예를 들어, 영상(50)에 나타나는 후보 개체(62)의 중력 지점이 3차원 영상(110 및 120) 위에 겹쳐 놓이고(101 및 102 각각), 대응하는 두 영상(110 및 120)에서의 색채(고도를 나타냄)가 비교된다. 영상(110 및 120)에서 볼 수 있는 바와 같이, 상대적 고도가 두 영상 사이에서 다르다. 따라서, 후보 개체가 체적 변화로서 재평가된다.
본 발명의 특정 실시예에 따르면, 체적 변화 검출 프로세스의 결과로서, 추가적인 분류 및 문서화를 위해 자동 분석 툴로 보내질 수 있는 검출 변화 리스트가 생성된다. 상기 체적 변화 검출 프로세스는 또한, 사용자를 위해 가시화된 영상을 얻기 위해서도 이용될 수 있다.
본 발명의 특정 실시예에 따르면, 체적 변화로서 재평가된 후보 개체가, 체적 변화를 표시 및 강조하는 수많은 가시화 방법 중 임의의 한 방법을 이용하여, 변화가 검출된 시간과 관련해 사용자에게 디스플레이될 수도 있다. 예를 들어, 도 1c를 참조하면, 영상(130 및 140)이, 1월과 2월 사이에서 검출된 체적 변화에 대한 완성된 그룹을 나타낸다. 이러한 영상에서 나타난 개체는, 이전에 재평가된 것과 같은 실제 체적 변화, 즉 2월 영상에 나타난 것과 같은 자동차(131, 136), 1월 영상에 나타난 것과 같은 자동차(134, 141), 그리고, 2월 영상에 나타난 크레인(132, 138)이다.
본 발명의 특정 실시예에 따르면, 이하에서 상술되는 가시화 방법 중 임의의 한 방법과, 또한, 체적이 변화된 개체를 나타내기 위한 그 밖의 다른 방법이, 원 입체 영상(10-40) 중 임의의 한 영상의 배경 위, 또는 깊이 맵(110 또는 120) 중 임의의 한 깊이 맵의 배경 위에 추가적 층으로서 디스플레이될 수도 있다.
본 발명의 특정 실시예에 따르면, 이러한 변화를, 변화가 발생한 시간에 대해 나타내는 것이 유리하고 더욱 적절하다. 예를 들어, 전술된 시나리오에서, 대상이 나타난 월(month)을 따라 체적 차이를 표시하는 것이 유리할 수도 있다. 영상(150 및 160)에서, 1월 차이가 개체 주위의 검정 프레임에 의해 표시되고 2월 차이가 줄무늬 프레임에 의해 표시되는 도식적 표시 시스템에 의해, 이러한 추가적 정보가 포함된다.
본 발명의 특정 실시예에 따르면, 특정 획득 시간(가령, 2월)에만 나타나는 이러한 개체들의 표시가 (예를 들어, 영상(170 및 180)에 나타난 2월 입체 영상 세트에 대해) 생성될 수도 있다.
지금까지, 입체 영상의 정합 방법과 체적 차이의 검출 방법에 대한 제한 없는 예시가 기술되었다. 이들 제한 없는 예시는 두 쌍의 영상만을 포함하는 시나리오와 관련되며, 각각의 쌍은 두 세트 중 한 세트에만 속한다. 두 그룹 중 한 그룹에만 속하는 한 쌍의 각각의 영상은 두 획득 각도(θ°및 θ°+40° 각각) 중 하나에 대응한다. 본 발명은 전술된 예시에서 설명된 특징과 구성의 세부 사항에 대한 이용예에 제한되지 않는다.
이하에서, 본 발명의 시스템 아키텍처와 동작의 시퀀스에 대하여 자세히 설명된다.
도 4는 본 발명의 특정 실시예에 따른 일반적인 시스템 아키텍처를 도시한다. 도 4는 복수의 컴퓨터 시스템(520l -520n)을 도시하며, 컴퓨터 시스템 각각은 도 5 및 도 6과 관련되는 예시를 설명하는 방법 단계를 수행하도록 구성된다. 시스템(520l)과 같은 컴퓨터 시스템 각각은, 스토리지(524)에 동작 가능하게 연결되는 프로세서(522)와, RAM(random access memory)(526)을 포함하는 스토리지(524)와, 비-휘발성 스토리지(528)(가령, 하드 디스크 드라이브, 광학 드라이브 등)을 포함한다. 인식될 수 있는 바와 같이, 비-휘발성 스토리지(528)는 RAM(526)과 함께 이용되어, 해당업계에 잘 알려진 스왑(swapping) 기법을 통해 가상 메모리의 비교적 큰 용량을 제공할 수 있다.
컴퓨터 시스템(520l)은 또한, 사용자 명령(command)을 프로세서(522)에 전달하기 위하여 입-출력 회로(I/O)(532)를 통해 연결되는 하나 이상의 입력 장치(530)(일반적으로, 키보드 및/또는 사용자 포인팅(pointing) 장치(가령, 마우스))를 포함한다. 이와 유사하게, 컴퓨터 디스플레이 모니터와 스피커와 같은 하나 이상의 지역 출력 장치(534)가, 프로세서(522)로부터 가령, 그래픽 사용자 인터페이스를 통해 시스템(520l)의 사용자에게 정보를 전달하기 위하여, I/O(532)에 연결된다.
본 발명에 필수적이지는 않지만, 컴퓨터 시스템(520l)은, 적합한 네트워크 인터페이스 회로(538)를 통해 네트워크 서버(536) 및/또는 그 밖의 다른 컴퓨터 등과 통신하는 것이 바람직하다. 이를 위해, 네트워크 인터페이스 회로(538)는, 정보가 컴퓨터 시스템(520l)으로 전달되거나, 상기 컴퓨터 시스템으로부터 정보가 전달되는 로컬-영역-네트워크 어댑터 카드, 직렬 포트 등을 포함한다. 이러한 네트워크 연결은 해당업계에 알려져 있으며, 본 명세서에서 자세히 설명되지 않는다.
이를 염두에 두고, 도 5는, 본 발명의 특정 형태에 따라, 도 4의 프로세서(522)에 의해 수행되는 동작의 시퀀스에 대한 흐름도를 도시한다. 도 4의 프로세서(522)는 이하의 동작을 수행하도록 구성된다. 따라서, 동작(624)은, 두 입체 영상 세트(600, 602)(영상은 도 4의 비-휘발성 스토리지(528)에 저장됨)를 획득하는 단계를 포함하며, 세트 각각은 공통 장면(가령, 공통 대지(ground) 섹션)을 포함하는 다수의 영상을 포함한다. 도 5의 도식에서, 세트(600)의 영상(626, 628)이 서로 다른 각도로부터의 동일 장면을 포함하고, 세트(602)의 영상(630, 632)이 서로 다른 두 각도로부터의 동일 장면을 포함한다. 이러한 방식으로, 영상은, 본 발명의 방법에 의해 제한되지 않는 서로 다른 세트로 모아진다. 일부 실시예에 따르면, 영상은, 영상이 획득된 비행 여정에 따라 서로 다른 세트로 분리되며, 가령, 동일 비행 여정에서 획득된 모든 영상은 하나의 세트로 모아진다. 그 밖의 다른 실시예에 따르면, 영상은, 영상 획득의 시간에 따라 서로 다른 세트로 분리될 수 있으며, 예를 들어, 동일한 낮 기간 이내에 획득된 모든 영상은 하나의 세트로 모아진다. 이러한 예시에서, 각각의 세트는 서로 다른 시간에 획득된 것이다. 본 발명의 특정 형태에 따르면, 셋 이상의 세트가 획득될 수도 있다. 본 발명의 특정 실시예에 따르면, 동일 장면을 포함하는 셋 이상의 영상이 각각의 세트에 포함될 수도 있다. 오직 간결성을 위하여, 도 5의 도식은, 각각 두 영상만을 갖는 두 세트를 수반하는 시나리오를 설명한다.
본 발명의 특정 형태에 따르면, 이용된 영상(634, 636, 638, 및 640)이 획득된 원 영상은 아니나, 이로부터 유래된 (추가적으로 처리된)영상이다. 유래된 영상은 해당업계에서 알려진 방법을 따라 우선 처리될 수도 있다. 예를 들어, 영상 해상도가 변경될 수 있고, 색향상 처리 등이 수행될 수도 있다.
동작(604)에서, 영상 그룹(606, 608)이 결정되며, 각각의 그룹은 세트 각각으로부터 하나의 영상을 포함한다. 특정 실시예에 따르면, 그룹 내의 영상은 실질적으로 동일한 각도(시야각(point of view))에서 획득된 것이다(634, 636 및 638, 640 각각).
본 발명의 그 밖의 특정 실시예에 따르면, 각각의 그룹 내의 영상은 유사한 시야각에서 획득된 것이다. 예를 들어, 특정 실시예에 따르면, 동일 그룹 내의 모든 영상은 10도 이하의 범위 내의 획득 각도에서 획득된다. 바꾸어 말하면, 그룹 내에, 10도를 넘는 차이가 나는 획득 각도를 갖는 두 영상은 존재하지 않는다.
이러한 예시는 비-제한적이며, 비교적 유사한 투시도법으로부터 공통 장면을 갖도록 하는 그룹 내 영상의 요구치에 대한 예시가 된다. 영상이 모여 그룹이 되도록 하는, 해당업계에 알려진 방법 중 임의의 방법이 이용될 수 있다. 예를 들어, 각각의 영상에 대한 획득 각도가 특정되지 않은 경우에서, 시행착오(조합) 방법이 적용될 수 있고, 이하에서 추가적으로 상술되는 바와 같이, r 그룹 정합(또는 최종 스테레오-정합) 품질 또는 성공 여부와 관련하여 그룹핑(grouping)의 유효성이 측정된다.
도 5를 참조하면, 동작(680 및 682)에서, 씨앗 일치점 리스트가 그룹(606)에 대하여 생성되고, 또 다른 씨앗 일치점 리스트가 그룹(608)에 대하여 생성된다. 씨앗 일치점 리스트는, 각각의 그룹 내의 영상을 정합하고 비교함으로써, 그리고, 영상에서, 이후의 프로세스에서 접합점으로 이용될 수 있는 씨앗 일치점을 검출함으로써 산정될 수도 있다. 예를 들어, 영상 간 변화 영역을 검출함으로써 산정될 수 있다.
동작(684)에서, 영상(626 및 628)은, 최초 접합점으로서 씨앗 일치점 리스트로부터의 씨앗을 이용하여 스테레오-정합됨으로써, 정합된 입체 영상이 생성된다. 영상(630 및 632) 또한 유사한 방식으로 스테레오-정합됨으로써, 정합된 제 2 입체 영상이 생성된다. 스테레오-정합 프로세스의 성공여부가, 도 7과 관련해 이하에서 상술되는 바와 같이, 스테레오-정합 프로세스에 대하여 정규화된 유사도 측정치(Q)를 계산함으로써 평가될 수 있다.
도 6을 참조하면, 본 발명의 특정 실시예에 따라, 그룹 각각에 대하여 각자의 씨앗 일치점 리스트를 산정하기 위한 동작은, 후술되는 동작을 포함할 수 있다. 동작(614)에서, 각각의 그룹의 영상이 정합된다. 정합 동작의 성공 여부가, 도 7과 관련해 이하에서 상술되는 바와 같이, 정규화된 유사도 측정치를 계산함으로써 평가될 수 있다.
동작(618)에서, 변화 검출 프로세스가 동일 그룹의 영상들 간에 수행되고, 그 결과는 검출된 변화를 반영하는 변화 2진 영상이다. 동작(622)에서, 후보 개체가, 2진 영상 각각에 대하여 정의되고, 두 후보 개체 리스트로 삽입된다. 따라서, 그룹(606 및 608) 각각이 자신과 관련되는 후보 개체의 리스트를 가진다. 동작(652)에서, 그룹(606)의 후보 개체 리스트 중 네 개 이상의 최적 개체와, 그룹(608)의 후보 개체 리스트 중 네 개 이상의 최적 개체가 선택 기준에 따라 선택된다.
본 발명의 특정 실시예에 따르면, 그룹(606)의 후보 개체 리스트 중 네 개 이상의 최적 개체와, 그룹(608)의 후보 개체 리스트 중 네 개 이상의 최적 개체를 선택하는 동작은, 선택 기준의 그룹으로부터의 하나 이상의 기준에 따라 후보 개체를 평가하는 단계를 포함할 수도 있다. 이러한 기준은, 가령, 표면 영역 크기 기준을 포함할 수 있다. 이러한 경우, 후보 개체는 자신의 영역 크기에 따라 평가될 것이다. 선택 기준에 대한 또 다른 예시로서, 후보 개체는 세기(intensity) 기준에 대해 평가될 수도 있다. 비교적 어두운 후보 개체가 선택되고, 비교적 밝은 후보 개체가 제거될 수 있다.
본 발명의 특정 실시예에 따르면, 최초 접합점으로서 최적 개체를 이용하여 영상(626 및 628)과, 또한, 영상(630 및 632)을 스테레오-정합하는 동작이, 이하의 동작을 포함할 수 있다. 동작(656)에서, 최적 개체 각각에 대하여 씨앗 일치점이 계산된다. 본 발명의 특정 실시예에 따르면, 중력 지점이 모든 후보 개체에 대하여 미리 계산되었으므로, 계산되지 않고 도 3의 표로부터 검색된다. 동작(660)에서, 씨앗 일치점이 영상(626 및 603)과 영상(628 및 632) 위에 겹쳐진다. 동작(662)에서, 영상(626 및 603)은, 최초 접합점으로서 중력 지점을 이용하여 스테레오-정합되고, 따라서, 정합된 한 쌍의 입체 영상이 생성된다. 영상(628 및 632)은 또한, 최초 접합점으로서 중력 지점을 이용해 스테레오-정합되고, 따라서 정합된 제 2 영상 쌍이 생성된다.
본 발명의 특정 실시예를 설명하였는데, 지금부터는 본 발명의 특정 실시예에 따라 포함될 수도 있는 추가적 요소에 관한 논의를 설명한다. 동작(664)에서, 정합된 입체 영상 각각에 대하여 깊이 맵이 생성되며, 이는 장면의 상대적 고도를 반영한다. 깊이 맵은 최소한, 후보 개체 좌표에 대응하는 좌표를 포함한다. 동작(668)에서, 후보 개체 리스트로부터의 후보 개체가 두 깊이 맵에 대하여 재평가되어 깊이 맵에 나타난 각각의 후보 개체의 상대적 고도를 확인할 수 있고, 이들 후보 개체 각각의 상대적 고도가 두 깊이 맵 사이에서 비교된다. 동작(670)에서, 재평가가 이전 동작에서의 깊이 맵 사이의 고도차를 보여주는 경우, 재평가된 후보 개체 각각은 체적 차이로서 분류된다. 동작(672)에서, 검출된 체적 변화가 도 4의 사용자 출력 장치(534)에 제시된다.
본 발명이 도 5-6에서 설명된 동작의 배열이나 세부 사항에 대한 응용예에 한정되지 않음을 이해하여야 한다. 본 발명의 특정 실시예에 따르면, 흐름도의 특정 동작이 생략되거나 바뀔 수 있고, 그 밖의 다른 동작이 추가될 수도 있으며, 흐름도의 특정 동작의 순서가 전술된 설명 및/또는 청구항의 범위를 벗어나지 않고 달라질 수도 있다.
각각의 영상에 대한 획득 각도가 알려지지 않은 경우, 영상을 그룹으로 분류하는 작업이 이하의 설명과 같이 수행될 수 있다. 이러한 경우, 도 7과 관련해 이하에서 추가로 상술되는 바와 같이, 정합 품질 또는 성공 여부와 관련해 그룹핑(grouping)의 유효성이 측정된다.
도 7은, 영상들 중 하나 이상에 대하여 획득 각도가 알려지지 않은 경우, 영상을 그룹으로 분류하는 프로세스를 도시하는 흐름도이다.
동일한 장면을 대략 커버하고, 알려지지 않았지만 구별되는 두 획득 각도로부터 획득된 영상들의 모음(가령, 데이터베이스에 저장된 영상의 묶음)이 주어지고, 각각의 영상은 각자의 타임 태그(time tag)를 이용해 표시된다.
이는 영상 모음을 두 그룹(그룹 A 및 B)으로 나누기 위한 것이며, 여기서 각각의 그룹은 유사한 투시 각도에서 획득된 영상을 포함한다.
일단 그룹 A로부터의 영상이 그룹 B로부터 선택된 영상과 정합되면, 스테레오 쌍이 형성되고, 그들의 유사/비유사의 정도를 특성화하기 위하여 정규화된 유사도 측정치(Q) (0<Q<1)가 생성된다(0은 비유사, 1은 매우 유사함을 의미함).
동작(710)에서, 모음으로부터 영상이 랜덤으로 선택되어 그룹 A로 할당된다. 그 후 동작(720)에서, 랜덤으로 선택된 영상은 나머지 영상 각각과 정합되도록 시도된다. N 개 영상의 모음은 (N-1) 개 정합 프로세스가 필요하다. 동작(730)에서, 각각의 정합 프로세스에 대하여, 유사도 파라미터의 벡터(q1 ...t)가 생성된다. 동작(740)에서, 유사도 파라미터의 벡터(q1 ...t) 각각은, 각각의 정합 시도에 대하여 정규화된 유사도 측정치(Q)를 생성하기 위해 이용된다. 모든 (N-1) 영상이 랜덤으로 선택된 제 1 영상으로 정합된 이후, 그 결과로서, 이들 영상이 선택된 제 1 영상과 관련해 얼마나 유사/비유사 한가를 보여주는 N-1 개 품질 측정치(Q1 ...N-1)가 생성된다.
동작(750)에서, ThQ로 표시되는 유사도 임계값이, 다음의 임계값 계산법을 이용하여 계산된다.
ThQ= (MIN (Q1 ...N-1) + MAX (Q1 ...N-1))/2;
여기서, (Q1 ...N-1)은, 정합 각각에 대하여 N-1 개의 정규화된 유사도 측정치다.
유사도 임계값(ThQ)을 계산하기 위한 전술된 방법은 본 발명의 특정 실시예에 따라 가능한 하나의 방법이다. 가령, 과거 통계적 데이터에 기초하여, 미리 정의된 유사도 임계값을 이용하는 그 밖의 다른 방법 또한 이용될 수 있다.
동작(760)에서, 랜덤으로 선택된 제 1 영상에 대해 정합되도록 시도되었던 N-1 개 영상은, 그 후, 그룹 A 또는 그룹 B로 분류된다. 이들 N-1 개 영상 각각에 대하여, 정규화된 유사도 측정치가 0과 1 사이의 정규화된 척도 상의 ThQ 이상인 경우, 이러한 영상은 랜덤으로 선택된 제 1 영상과 동일한 그룹(그룹 A)에 속하는 것으로 간주된다. 한편, 유사 정도가 유사도 임계값(ThQ) 이하인 경우, 이러한 영상은 서로 다른 획득 각도에서 획득된 것으로 간주되고, 따라서 그룹 B로 삽입된다. 두 그룹이 실질적으로 서로 다른 투시 각도에서 획득된 경우(가령, 매우 넓은 기선(base) 각도의 경우), 정합 프로세스는 임의의 접합점을 찾는 것조차 실패할 수 있고, 정합도 실패하며, 이러한 경우, 두 영상은 서로 다른 그룹에 속한다고 확신을 갖고 결론을 내릴 수 있다.
전술된 실시예에서, 영상은 오직 두 획득 각도에서 획득된 것으로 가정되었다. 전술된 방법은 셋 이상의 획득 각도를 갖는 경우로 확장될 수 있다. 이러한 경우, 전술된 프로세스를 수행한 이후에, 그룹 A는 남겨 두고, 그룹 B로 분류되었던 영상들이 다음 단계에 대하여 최초 영상 묶음을 형성한다. 각각 추가적 반복에서 추가적 그룹이 정의되며, 추가적 그룹의 멤버 모두는, 나머지 영상들을 포함하는 제 2 그룹과 마찬가지로 유사한 획득 각도를 갖는다. 이러한 절차는 모든 그룹이 유사한 획득 각도를 갖는 영상들을 포함할 때까지 반복적으로 이용된다.
도 7의 동작(740)에서 도시된, 정합 품질 또는 성공 여부를 측정하기 위한 프로세스는 또한, (가령, 정합된 입체 영상 쌍에 대한) 스테레오-정합 품질 또는 성공 여부를 측정하기 위하여 유사한 방식으로 이용될 수도 있다. 본 발명의 특정 실시예에 따르면, 스테레오-정합 프로세스가 성공적인지 여부에 대한 판단은, 정합된 입체 영상 쌍의 정규화된 유사도 측정치(Q)를, 지정된 유사도 임계값에 비교하는 단계를 수반한다(가령, 과거 성공적인 스테레오-정합의 실험적 통계 분석에 기초하여 유사도 측정치(Q)의 평균을 구함).
이하는 정합 프로세스에 관한 간단한 설명이며, 이러한 방법에서 유사도 파라미터(q1...t)의 벡터가, 정합 프로세스 동안 계산되고, 정규화된 유사도 측정치(Q)를 생성하기 위해 이용된다.
영상 정합 프로세스가 이하의 주 처리 모듈로 구성된다.
1) 피라미드 생성
2) 대략적인 영상 정합
3) 영상 워핑(warping)
4) 정밀 영상 정합
5) 최종 품질 평가
우선, 원 입력 영상 각각에 대하여 낮은 해상도 영상의 피라미드 구조가 형성된다. 피라미드 구조는, 연속적인 저역 통과 필터링 및 원 입력 영상 축소(decimating)에 의해 생성된다.
대략적인 영상 정합은 정합 프로세스의 제 2 단계이며, 피라미드 구조의 가장 낮은 해상도(가령, 피라미드의 최고 레벨)에서 시작된다. 이러한 단계에서, 입력 영상들 간의 전역 변형(global transformation)이, 피라미드 구조의 최고 레벨 이후에 요구된다. 대략적인 정합은 해당업계에 잘 알려진 방법(가령, 진폭 영역 상관(amplitude area correlation), 위상 영역 상관(phase area correlation), 및/또는 광학 흐름 알고리즘(optical flow algorithm))을 이용함으로써 달성된다. 이러한 알고리즘은 전체 영상 평면(image plane)에 걸쳐 동시에 적용되며, 두 영상 간 전역 어파인 변형(affine transformation)을 추정한다. 따라서, 대략적인 정합 단계의 출력은, 피라미드의 최고 레벨에서의 두 영상의 화소 좌표와 관련있는 전역 어파인 변형이다. 대략적인 정합 단계의 품질의 측정치를 계산하기 위하여, 위상 상관이, 대략적으로 정합된 두 영상에 위에 평평하게 펼쳐진 다수의 위치에 적용된다. 대략적인 정합 단계의 품질이, 다음의 가중 평균에 의해 최종적으로 계산된다.
Figure pct00001
가중 평균을 구성하는 세 파라미터가 다음과 같다.
1. PerGood -정밀한 접합점의 백분율.
2. StdMF -이동 노옴(shift norm)의 정규화된 표준 편차.
3. MeanW -상관 피크(correlation peak)의 정규화된 평균.
PerGood 은 단순히, 다중-영역 상관 동안의 총 시도 횟수 중에서, 보유된 접합점의 백분율이다.
StdMF 은, 시그모이드 함수(sigmoid function)를 이용하여 간격[0 1]으로 정규화된 이후의 이동 노옴의 표준 편차이다.
MeanW 는 ([0 1] 간격으로) 정규화된 상관 피크의 평균이다.
가중치(w 1 , w 2 , w 3 )는 서로 다른 파라미터에 대한 최종 품질 측정치에 대하여 서로 다른 영향 정도를 제공하도록 정해진다. 예를 들어,
(w1, w2, w3) = (0.3, 0.2, 0.5)
이다. 가장 중요하고 영향력 있는 파라미터는 MeanW 이며, PerGood 과 StdMF 이 그 뒤를 따른다.
피라미드의 더 높은 해상도 레벨로 추가로 나아가고, 정밀한 정합 단계의 품질을 평가하기 위하여, 전술된 전역 변형이 원 입력 영상에 적용되어 기준 영상에 대해 원 입력 영상을 재샘플링하고, 이에 뒤이어, 모든 피라미드 레벨 또한 그에 상응하게 워핑(warping)된다(예를 들어, 영상 워핑이 원 입력 영상과 각각의 피라미드 구조 모두에 적용된다).
정합 프로세스의 다음 단계는 정밀 영상 정합이다. 이 단계에서, 영상은, 전술된 대략적인 정합 단계 이후이므로 이미 대략적으로 일치되어 있다. 그러나, 피라미드 구조의 더 높은 해상도 레벨을 이용함으로써 좀 더 정확한 정합이 이루어질 수 있다.
정합 프로세스의 다음 단계들이 정밀 영상 정합 프로세스에 속한다. 다수의 하위-영역 상관이, 열악한 해상도 레벨에서부터 정밀한 해상도 레벨까지의 모든 해상도 레벨을 통해 반복적으로 적용된다. 각각의 해상도 레벨에서, 전술된 정합 파라미터(즉, PerGood, StdMF 및 MeanW)가 계산되고 저장된다. 정합 프로세스가 가장 높은 해상도 레벨에 도달한 이후에, 세 파라미터 각각의 평균값이 서로 다른 해상도 레벨에 걸쳐 계산되며, 정밀 정합 품질 측정치(Qfine)가 대략적인 품질 측정치와 유사한 방식으로 가중 평균을 이용하여 최종적으로 계산된다.
정규화된 유사도 측정치(Q)가 다음과 같이 계산된다.
Figure pct00002
가중치(w1 , w2)의 값은, 정규화된 유사도 측정치(Q)에 대하여 정밀 정합 및 대략적 정합의 상대적 중요성을 제어할 수 있도록 한다.
도 8은, 본 발명의 특정 실시예에 따라 도 5의 프로세서(522)에 의해 수행되는 동작의 시퀀스에 대한 또 다른 흐름도를 도시한다. 도 5의 비-휘발성 스토리지(24)에 저장되는 다수의 세트(이번 특정 경우에서는, 4 개)(810-816)가 획득되고, 다수의 그룹(이번 특정 경우에서는, 5 개)이 선택된다. 각각의 그룹은 서로 다른 개수의 영상을 포함하고, 각각의 그룹은 전술된 바와 같이 최적 개체 리스트(818-826)과 관련된다(오직 간결성을 위해, 입체 영상의 세트를 획득하는 동작에서부터 각각의 그룹에 대한 최적 개체 리스트의 생성에 이르는 방법의 단계는 자세히 설명되지 않으며, 전술된 바와 같이 수행된다). 본 발명의 특정 실시예에 따라, 흐름도는 이하와 같은 추가적인 단계를 추가로 포함한다. 동작(831)에서, 씨앗 일치점이 최적 개체 각각에 대하여 계산된다.
본 발명의 특정 실시예에 따르면, 중력 지점이, 모든 후보 개체에 대하여 미리 계산되었으므로, 계산되지 않고 도 3의 표로부터 검색되며, 씨앗 일치점으로서 이용된다.
본 발명의 특정 실시예에 따르면, 씨앗 일치점을 계산하기 위한 대안적 방법이 이용된다.
동작(832)에서, 씨앗 일치점이 입체 영상 위에 겹쳐진다. 동작(834)에서, 둘 이상의 영상(각각의 영상은, 그룹 중 서로 다른 그룹으로부터의 영상, 그리고, 세트 중 동일한 세트로부터의 영상임)이 대응하는 씨앗 일치점을 이용하여 스테레오-정합되어, 정합된 입체 영상을 생성할 수 있다.
본 발명이 도 8에 설명된 동작의 배열이나 세부 사항에 대한 이용예에 제한되지 않음을 이해하여야 한다. 본 발명의 특정 실시예에 따라, 흐름도의 특정 동작이 생략되거나 바뀔 수 있고, 그 밖의 다른 동작이 부가될 수도 있으며, 전술된 설명 및/또는 청구항의 범위를 벗어나지 않고 흐름도의 특정 동작의 순서가 달라질 수 있다.
도 9는 본 발명의 실시예에 따른 시스템 아키텍처를 도시한다. 프로세서(점선 프레임에 의해 나타남, 도 5(522)에서도 나타남)와 관련되는 모듈이 점선 프레임(950) 내에 제시된다. 그룹 선택 모듈(902)이 영상 DB 모듈(900)로부터 둘 이상의 입체 영상 세트를 획득한다. 세트 각각은 지정 시간에 서로 다른 각도에서 획득된 둘 이상의 입체 영상을 포함한다. 영상 DB 모듈(900)은 스토리지(940)(도 5(524)에서 또한 나타남)와 관련된다. 그룹 선택 모듈(902)은 영상 그룹을 추가로 선택하고, 각각의 그룹은 둘 이상의 영상(서로 다른 세트로부터의 각각의 영상)을 포함하며, 동일 그룹의 모든 영상은 유사한 각도에서 획득된다. 그룹 정합 모듈(904)이 그룹의 영상들 중 둘 이상을 정합한다. 변화 검출 모듈(906)이 정합된 그룹의 영상들 중 둘 이상의 영상을 비교하여, 검출된 차이에 대한 2진 영상을 생성한다. 후보 개체 모듈(908)이 2진 영상을 이용하여 후보 개체 리스트를 생성한다. 중력 지점 계산 모듈(918)이 후보 개체에 대한 중력 지점의 좌표를 계산한다. 최적 개체 선택 모듈(910)이, 선택 기준에 기초하여, 각각의 그룹의 후보 개체 리스트로부터 최적 개체를 선택한다. 본 발명의 특정 실시예에 따르면, 최적 개체 선택 모듈(910)은, 특성 특징 선택 모듈(912)(장축에 대한 단축 비 또는 표면 영역과 같은 일부 특성 특징에 기초하여 최적 개체를 선택함)과 같은 하나 이상의 특정 기준 선택 모듈과, 쌍 정합 선택 모듈(914)(쌍을 형성하기 위하여, 후보 개체를, 그 밖의 다른 후보 개체로부터의 대응하는 후보 개체에 정합함)을 포함한다. 최적 개체의 겹침(superimposition) 모듈(916)이, 계산된 씨앗 일치점을, 스테레오 정합되도록 의도된 입체 영상 뒤에 겹쳐 놓는다. 스테레오 정합 모듈(922)이, 겹쳐진 대응하는 씨앗 일치점을 이용하여 스테레오 영상을 획득하고, 접합점으로서 중력 지점을 이용하여 스테레오-정합 프로세스를 시작하며, 스테레오 영상에 대한 포괄적인 정합을 수행한다. 본 발명의 특정 실시예에 따르면, 시스템은 이하의 모듈 즉, 깊이 맵 모듈(930)을 추가로 포함하며, 이러한 깊이 맵 모듈에서, 정합된 입체 영상 쌍 각각에 대하여, 장면의 상대적 고도를 반영하는 깊이 맵이 생성된다. 특정 실시예에 따르면, 깊이 맵은 최소한, 후보 개체 좌표에 대응하는 좌표를 포함한다. 깊이 맵에 나타나는 각각의 후보 개체의 상대적 고도를 확인하기 위하여, 후보 개체 재평가 모듈(932)에서, 후보 개체 리스트로부터의 후보 개체가 둘 이상의 깊이 맵에 대해 재평가되고, 이들 후보 개체 각각의 상대적 고도가 두 깊이 맵 사이에서 비교된다. 체적 변화 검출 모듈(926)이, 후보 개체 재평가 모듈(932)로부터 수신된 데이터에 기초하여, 체적 차이로서 재평가된 후보 개체 각각을 분류한다.
본 발명의 특정 실시예에 따르면, 시각화 모듈(934)이, 사용자 선호 시각화 방법에 기초하여, 후보 개체(또는, 오직, 후보 개체, 최적 개체 또는 체적 변화의 부분적 그룹)의 시각화 표현을 형성한다. 가령, 시각화 데이터를 사용자에게 제시하기 위해 이용되는 사용자 출력 수단(938)(가령, 모니터 또는 프린터)(도 5의 사용자 출력 장치(534)에 대응함)과, 가령, 사용자 명령을 시스템으로 전달하기 위해 이용되는 사용자 입력 수단(836)(가령, 키보드 및/또는 사용자 포인팅 장치)(도 5의 사용자 입력 장치(530)에 대응함) 또한 포함된다.
본 발명이 도 9 에 설명된 동작의 배열이나 세부 사항에 대한 이용예에 제한되지 않음을 이해하여야 한다. 본 발명의 특정 실시예에 따라, 흐름도의 특정 동작이 생략되거나 바뀔 수 있고, 그 밖의 다른 동작이 부가될 수도 있으며, 전술된 설명 및/또는 청구항의 범위를 벗어나지 않고 흐름도의 특정 동작의 순서가 달라질 수 있다.
본 발명의 특정 실시예들의 이점은, 사실상 서로 다른 투시 각도에서 획득된 입체 영상의 정합을 위한 본 발명의 방법이, 획득 시간, 획득 각도, 및 영상화된 지리적 영역 이외에 임의의 추가적인 영상 획득 데이터에 영향을 받지 않는다는 것이다. 본 발명은 임의의 외부 단서(clue), 가령, 영상 획득 시간에 카메라의 위치와 기울기 각도에 관하여는 영향을 받지 않는다. 이러한 외부 단서는 가령, GPS 및 IMU 시스템에 의해 야기되며, 해당업계에서 알려진 그 밖의 다른 방법에서는 사전 요구사항이 된다. 따라서, 본 발명은, 특정 실시에에 따라, 훨씬 간단하고 경제적인 시스템을 이용하여 정합을 달성할 수 있도록 한다.
특정 실시예에 따르면, 본 발명은 비-제한 방식으로, 비디오(video)-기반 원격 감지뿐만 아니라 영상(imagery) 모두에 적용된다.
특정 실시예에 따르면, 본 발명은, 비-제한 방식으로, 해당업계에 알려진 임의의 입체 영상 획득 기법(가령, 두 각도 사이를 계속해서 교환하는 틸트(짐벌(gimbal)) 카메라, 두 개의 통과 방식에서 이용되는 고정된 카메라, 서로 다른 포인팅 각도에 고정된 두 대의 카메라 등)에 적용된다.
본 발명에 따라, 시스템은, 적합하게 프로그래밍된 컴퓨터일 수 있다. 또한, 본 발명은, 본 발명의 방법을 실행하기 위하여 컴퓨터에 의해 판독 가능한 컴퓨터 프로그램을 의도한다. 본 발명은, 본 발명의 방법과 주제를 수행하고 실행하기 위하여, 적합한 장치에 의해 실행되는 명령어 프로그램을 유형적으로 구현하는 컴퓨터-판독가능 메모리를 추가적으로 의도한다.
특별히 명시되지 않는 한, 이하의 논의로부터 분명한 바와 같이, 특정 논의에 걸쳐 이용되는 용어(가령, "처리", "계산", "선택", "등급 매기기", "결정", "생성", "재평가", "분류", "스테레오-정합", "정합", "검출", "관련", "겹침", "획득", 등)는, 컴퓨터 시스템의 레지스터 및/또는 메모리 내의 데이터(물리적, 가령, 전자적 양으로 표현됨)를 컴퓨터 시스템의 메모리, 레지스터 또는 그 밖의 다른 정보 스토리지, 전달 또는 디스플레인 장치 내의 그 밖의 다른 데이터(물리적 양으로서 유사하게 표현됨)로 변환 및/또는 조작하는 컴퓨터 또는 컴퓨터 시스템, 또는 프로세서 또는 유사한 전자 컴퓨터 장치의 동작 및/또는 프로세스를 의미한다.
본 발명의 실시예는, 본 명세서에서의 동작을 수행하기 위하여, 프로세서, 컴퓨터, 스토리지, 데이터 베이스, 장치, 시스템, 하위-시스템, 모듈, 유닛 및 장치(단일 또는 복수 형태)의 용어를 사용할 수 있다. 이는 요구되는 목적을 위해 특별히 구성될 수도 있고, 또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨터를 포함할 수도 있다. 이러한 컴퓨터 프로그램은, 컴퓨터-판독가능 스토리지 매체(가령, 플로피 디스크, 광학 디스크, CD-ROM, 광자기 디스크, ROM(read-only memory), RAM(random access memory), EPROM(electrically programmable read-only memory), EEPROM(electrically erasable and programmable read only memory), 자기 또는 광학 카드를 포함하는 임의의 유형의 디스크, 또는, 전자 명령어를 저장하기에 적합하고 컴퓨터 시스템 버스에 연결될 수 있는 그 밖의 다른 임의의 유형의 매체를 포함하나 이에 한정되지 않음)에 저장될 수 있다.
본 명세서에 제시된 프로세스/장치(또는 위에서 상술된 유사 용어) 및 디스플레이는, 임의의 특정 컴퓨터 또는 그 밖의 다른 장치에 본질적으로 관련되지 않는다. 다양한 범용 시스템이, 본 명세서의 내용에 따른 프로그램과 함께 이용될 수도 있고, 또는, 필요한 방법을 수행하기 위하여 좀 더 특별한 장치를 구성하는 것이 편리함을 증명할 수도 있다. 이들 시스템의 다양성을 위해 요구되는 구조가 이하의 설명으로부터 분명해질 것이다. 더욱이, 본 발명의 실시예는 임의의 특정 프로그래밍 언어와 관련해 기술되어있지 않다. 본 명세서에서 설명된 발명의 내용을 구현하기 위해 다양한 프로그래밍 언어가 사용될 수 있다.
또한, 본 발명에 따른 시스템은 적합하게 프로그래밍된 컴퓨터일 수도 있음을 이해해야 한다. 또한, 본 발명은, 본 발명의 방법을 수행하기 위하여 컴퓨터에 의해 판독 가능한 컴퓨터 프로그램을 의도한다. 본 발명은, 본 발명의 방법을 실시하기 위하여 컴퓨터에 의해 실행 가능한 명령어 프로그램을 유형적으로 구현하는 컴퓨터-판독가능 메모리를 추가적으로 의도한다.
특정 도면을 참조함으로써, 도시된 특정 항목들이, 오로지 예시로서 그리고 본 발명의 바람직한 실시예의 도시 목적을 위한 것이며, 가장 유리하다고 생각되고 본 발명의 원리와 개념적 형태의 설명이 즉시 이해될 수 있도록 제시되었음이 강조된다. 이러한 점에서, 본 발명의 근본적 이해를 위해 필요한 것보다 더 세부적인 본 발명의 구조적 세부사항은 나타내지 않았다. 도면과 함께 설명된 내용에 의해, 해당업계 종사자가 본 발명의 몇 가지 형태를 어떻게 실제로 구현할 수 있는지 분명히 알 수 있다.
별개의 실시예의 맥락에서 설명된 본 발명의 특징들은 또한, 단일 실시예에서 조합되어 제공될 수도 있다. 이와 반대로, 단일 실시예의 맥락에서 간결하게 설명된 본 발명의 특징들이 개별적으로, 또는 임의의 적합한 하위-조합으로 제공될 수도 있다.
본 발명이 일정 정도의 특정성을 이용하여 기술되었으나, 해당업계 종사자라면, 전술된 설명 및/또는 이하의 청구항의 범위를 벗어나지 않고 다양한 변형, 대안, 수정 형태를 즉시 이해할 수 있을 것이다.

Claims (30)

  1. 입체 영상을 정합하기 위한 방법에 있어서, 상기 방법은,
    a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득 단계와,
    b) 둘 이상의 영상 그룹을 결정하는 단계로서, 상기 영상 그룹 각각은 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상은, 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 둘 이상의 영상 그룹 결정 단계와,
    c) 상기 영상 그룹 각각에 대하여, 각자의 최적 개체(optimal entity) 리스트를 산정하는 단계와,
    d) 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합(stereo-matching)하는 단계로서, 상기 둘 이상의 영상 각각은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되는 영상이며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 특징의 상기 스테레오-정합 단계
    를 포함하는 것을 특징으로 하는 입체 영상 정합(registration) 방법.
  2. 제 1 항에 있어서, 상기 둘 이상의 영상 그룹 결정 단계는,
    a) 상기 둘 이상의 입체 영상 세트로부터의 둘 이상의 영상을 제 1 영상 모음(collection)과 관련 짓는 단계와,
    b) 조건이 충족될 때까지,
    i. 상기 제 1 영상 모음으로부터 하나의 영상을 선택하고, 선택된 영상을 새로운 그룹으로 전달하여 참고 영상을 발생시키는 단계와,
    ii. 일련의 정합 시도를 수행하는 단계로서, 상기 정합 시도 각각은 참고 영상을 상기 제 1 영상 모음으로부터의 각각의 영상과 정합하려는 시도인 특징의 상기 정합 시도 수행 단계와,
    iii. 정합 시도 각각에 대하여 정규화된 유사도 측정치를 계산하는 단계와,
    iv. 유사도 임계값을 계산하는 단계와,
    v. 상기 유사도 임계값 이상인 상기 정규화된 유사도 측정치를 갖는 상기 제 1 영상 모음으로부터의 각각의 영상을 새로운 그룹으로 전달하는 단계를 반복하는 단계
    를 더 포함하는 것을 특징으로 하는 입체 영상 정합 방법.
  3. 제 2 항에 있어서,
    조건은, 제 1 영상 모음과 관련되는 영상이 없을 때 충족되는 것을 특징으로 하는 입체 영상 정합 방법.
  4. 제 1 항에 있어서, 상기 스테레오-정합 단계는,
    a) 상기 정합된 입체 영상 쌍 각각에 대하여 정규화된 유사도 측정치를 계산하는 단계와,
    b) 유사도 임계값을 제공하는 단계
    를 더 포함하며, 여기서, 대응하는 정규화된 유사도 측정치가 대응하는 유사도 임계값을 초과하는 경우, 정합된 입체 영상 쌍 각각에 대한 성공적인 스테레오-정합이 확인되는 것을 특징으로 하는 입체 영상 정합 방법.
  5. 제 1 항에 있어서,
    상기 둘 이상의 입체 영상 세트 각각은, 동일한 비행 여정동안 획득되는 둘 이상의 영상을 포함하는 것을 특징으로 하는 입체 영상 정합 방법.
  6. 제 1 항에 있어서,
    상기 둘 이상의 영상 그룹 각각은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, (i) 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상이고, 그리고, (ii) 10도 이하의 범위 내의 획득 각도에서 획득되는 것을 특징으로 하는 입체 영상 정합 방법.
  7. 제 1 항에 있어서,
    상기 둘 이상의 입체 영상 세트 각각은, 실질적으로 동일한 시간에 획득되는 둘 이상의 영상을 포함하는 것을 특징으로 하는 입체 영상 정합 방법.
  8. 제 1 항에 있어서, 상기 각자의 최적 개체 리스트를 산정하는 단계는,
    a) 상기 영상 그룹의 영상 중 둘 이상의 영상을 정합하는 단계와,
    b) 정합된 영상 사이의 변화를 검출함으로써 후보 개체 리스트를 발생시키는 단계와,
    c) 하나 이상의 선택 기준에 따라 상기 후보 개체 리스트로부터 네 개 이상의 최적 개체를 선택함으로써, 상기 최적 개체 리스트를 발생시키는 단계
    를 포함하는 것을 특징으로 하는 입체 영상 정합 방법.
  9. 제 1 항에 있어서,
    a) 최적 개체 리스트로부터의 최적 개체 각각에 대하여 씨앗 일치점(seed correspondence point)을 계산하는 단계
    를 더 포함하며, 여기서, 상기 최적 개체 리스트 각각으로부터 계산된 상기 씨앗 일치점 중 네 개 이상이, 상기 씨앗 일치점을 이용하여 둘 이상의 영상을 스테레오-정합하는 스테레오-정합 모듈로 입력되도록 구성되고, 상기 둘 이상의 영상 각각은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되는 영상이며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 것을 특징으로 하는 입체 영상 정합 방법.
  10. 제 1 항에 있어서,
    정합된 입체 영상 쌍은, 10도 이상 떨어져 있는 두 각도에서 획득된 영상으로 이루어진 입체 영상, 또는 그로부터 유래된 입체 영상으로부터 생성되는 것을 특징으로 하는 입체 영상 정합 방법.
  11. 제 1 항에 있어서,
    정합된 입체 영상 쌍은, 25도 이상 떨어져 있는 두 각도에서 획득된 영상으로 이루어진 입체 영상, 또는 그로부터 유래된 입체 영상으로부터 생성되는 것을 특징으로 하는 입체 영상 정합 방법.
  12. 제 1 항에 있어서,
    정합된 입체 영상 쌍은, 35도 이상 떨어져 있는 두 각도에서 획득된 영상으로 이루어진 입체 영상, 또는 그로부터 유래된 입체 영상으로부터 생성되는 것을 특징으로 하는 입체 영상 정합 방법.
  13. 제 1 항에 있어서,
    정합된 입체 영상 쌍은, 45도 이상 떨어져 있는 두 각도에서 획득된 영상으로 이루어진 입체 영상, 또는 그로부터 유래된 입체 영상으로부터 생성되는 것을 특징으로 하는 입체 영상 정합 방법.
  14. 두 시점 사이에 촬영된 장면(scenery)의 차이를 검출하는 방법에 있어서, 상기 방법은,
    a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득 단계와,
    b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상은, 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 둘 이상의 영상 그룹 결정 단계와,
    c) 상기 영상 그룹 각각에 대하여, 각자의 최적 개체 리스트를 산정하는 단계와,
    d) 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합(stereo-matching)하는 단계로서, 상기 둘 이상의 영상 각각은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되는 영상이며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 특징의 상기 스테레오-정합 단계와,
    e) 상기 정합된 입체 영상 쌍 중 둘 이상의 쌍에 대한 깊이 맵(depth map)을 생성하는 단계와,
    f) 상기 깊이 맵의 대응하는 영역 간 고도차를 계산하는 단계
    를 포함하며, 이로써, 상기 입체 영상 세트 사이에서 체적 차이가 검출되는 것을 특징으로 하는 장면 차이 검출 방법.
  15. 제 14 항에 있어서,
    상기 영상 그룹 각각은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, (i) 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상이고, 그리고, (ii) 10도 이하의 범위 내의 획득 각도에서 획득되는 것을 특징으로 하는 장면 차이 검출 방법.
  16. 두 시점 사이에 촬영된 장면의 차이를 검출하는 방법에 있어서, 상기 방법은,
    a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득 단계와,
    b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상은, 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 둘 이상의 영상 그룹 결정 단계와,
    c) 상기 영상 그룹 각각에 대하여, 각자의 최적 개체 리스트를 산정하는 단계와,
    d) 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체를 이용하여 둘 이상의 영상을 스테레오-정합(stereo-matching)하는 단계로서, 상기 둘 이상의 영상 각각은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되는 영상이며, 이로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 특징의 상기 스테레오-정합 단계와,
    e) 후보 개체 리스트의 후보 개체의 좌표로부터 유래된 영역 이내에서, 상기 정합된 입체 영상 쌍 중 둘 이상의 쌍에 대힌 깊이 맵을 생성하는 단계로서,
    f) 상기 후보 개체 리스트로부터의 후보 개체를 상기 깊이 맵에 대하여 재평가하는 단계
    를 포함하며, 여기서, 상기 후보 개체는, 재평가에서 고도차가 나타나는 경우, 체적 차이로서 분류되는 것을 특징으로 하는 장면 차이 검출 방법.
  17. 제 16 항에 있어서,
    상기 영상 그룹 각각은 둘 이상의 영상을 포함하며, 상기 둘 이상의 영상은, (i) 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상이고, (ii) 10도 이하의 범위 내의 획득 각도에서 획득되는 것을 특징으로 하는 장면 차이 검출 방법.
  18. 두 시점 사이에 촬영된 장면의 차이를 검출하는 방법에 있어서,상기 방법은,
    a) 상기 장면에 대한 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득 단계와,
    b) 둘 이상의 정합된 입체 영상 쌍을 생성하는 단계로서, 상기 정합된 입체 영상 쌍 각각은 상기 입체 영상 세트 중 하나로부터의 입체 영상을 각각 포함하는 특징의 상기 둘 이상의 정합된 입체 영상 쌍 생성 단계와,
    c) 상기 정합된 입체 영상 쌍 각각에 대하여 깊이 맵을 산정하는 단계와,
    d) 상기 깊이 맵의 대응하는 영역 간의 고도차를 계산하는 단계
    를 포함하며, 이로써, 상기 입체 영상 세트 사이에서 체적 차이가 검출되는 것을 특징으로 하는 장면 차이 검출 방법.
  19. 제 18 항에 있어서,
    상기 정합된 입체 영상 쌍 각각은, 10도 이상 떨어져 있는 두 각도에서 획득된 영상으로 이루어진 입체 영상, 또는 그로부터 유래된 입체 영상으로부터 생성되는 것을 특징으로 하는 장면 차이 검출 방법.
  20. 제 18 항에 있어서,
    상기 정합된 입체 영상 쌍 각각은, 25도 이상 떨어져 있는 두 각도에서 획득된 영상으로 이루어진 입체 영상, 또는 그로부터 유래된 입체 영상으로부터 생성되는 것을 특징으로 하는 장면 차이 검출 방법.
  21. 제 18 항에 있어서,
    상기 정합된 입체 영상 쌍 각각은, 35도 이상 떨어져 있는 두 각도에서 획득된 영상으로 이루어진 입체 영상, 또는 그로부터 유래된 입체 영상으로부터 생성되는 것을 특징으로 하는 장면 차이 검출 방법.
  22. 제 18 항에 있어서,
    상기 정합된 입체 영상 쌍 각각은, 45도 이상 떨어져 있는 두 각도에서 획득된 영상으로 이루어진 입체 영상, 또는 그로부터 유래된 입체 영상으로부터 생성되는 것을 특징으로 하는 장면 차이 검출 방법.
  23. 입체 영상을 정합하는 시스템에 있어서, 상기 시스템은,
    프로세서 및 관련 스토리지를 포함하며, 상기 프로세서 및 관련 스토리지는,
    a) 둘 이상의 입체 영상 세트 각각이 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득과,
    b) 둘 이상의 영상 그룹 각각이 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상은 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 둘 이상의 영상 그룹 결정과,
    c) 상기 영상 그룹 각각에 대하여, 각자의 최적 개체 리스트 산정
    을 수행하도록 구성되며,
    여기서, 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체가, 둘 이상의 영상을 스테레오-정합하는 스테레오-정합 모듈로 입력되도록 구성되고, 상기 둘 이상의 영상 각각은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되는 영상이며, 상기 최적 개체를 이용함으로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 것을 특징으로 하는 입체 영상 정합 시스템.
  24. 제 23 항에 있어서,
    상기 영상 그룹 각각은 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상은, (i) 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상이고, 그리고, (ii) 10도 이하의 범위 내의 획득 각도에서 획득되는 것을 특징으로 하는 입체 영상 정합 시스템.
  25. 두 시점에 촬영된 장면의 차이를 검출하는 시스템에 있어서, 상기 시스템은,
    프로세서 및 관련 스토리지를 포함하며, 상기 프로세서 및 관련 스토리지는,
    a) 상기 장면에 대한 둘 이상의 입체 영상 세트 각각이 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득과,
    b) 둘 이상의 정합된 입체 영상 쌍 각각이 상기 입체 영상 세트 중 하나로부터의 입체 영상을 각각 포함하는 특징의 상기 둘 이상의 정합된 입체 영상 쌍 생성과,
    c) 상기 정합된 입체 영상 쌍 각각에 대한 깊이 맵 산정과,
    d) 상기 깊이 맵의 대응하는 영역 간 고도차 계산
    을 수행하도록 구성되며,
    이로써, 상기 입체 영상 세트 사이에서 체적 차이가 검출되는 것을 특징으로 하는 장면 차이 검출 시스템.
  26. 입체 영상을 정합하는 방법을 수행하기 위하여 컴퓨터에 의해 실행 가능한 명령어 프로그램을 유형적으로 구현하는, 컴퓨터에 의해 판독 가능한 프로그램 스토리지 장치에 있어서, 상기 방법은,
    a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득 단계와,
    b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상은 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 영상 그룹 결정 단계와,
    c) 상기 영상 그룹 각각에 대하여, 각자의 최적 개체 리스트를 산정하는 단계
    를 포함하며, 여기서, 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체가, 둘 이상의 영상을 스테레오-정합하는 스테레오-정합 모듈로 입력되도록 구성되고, 상기 둘 이상의 영상 각각은 상기 둘 이상의 영상 그룹, 및 동일하거나 서로 다른 세트 중 서로 다른 하나로부터 이루어지거나 또는 그로부터 유래되는 영상이며, 상기 최적 개체를 이용함으로써, 하나 이상의 정합된 입체 영상 쌍을 발생시키는 것을 특징으로 하는 프로그램 스토리지 장치.
  27. 제 24 항에 있어서,
    상기 영상 그룹 각각은 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상은, (i) 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상이고, 그리고, (ii) 10도 이하의 범위 내의 획득 각도에서 획득되는 것을 특징으로 하는 입체 영상 정합 시스템.
  28. 두 시점 사이에 촬영된 장면의 차이점을 검출하는 방법 동작을 수행하기 위하여 컴퓨터에 의해 실행 가능한 명령어 프로그램을 유형적으로 구현하는, 컴퓨터에 의해 판독 가능한 프로그램 스토리지 장치에 있어서, 상기 방법은,
    a) 상기 장면에 대한 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득 단계와,
    b) 둘 이상의 정합된 입체 영상 쌍을 생성하는 단계로서, 상기 입체 영상 쌍 각각은 상기 입체 영상 세트 중 하나로부터의 입체 영상을 각각 포함하는 특징의 상기 둘 이상의 정합된 입체 영상 쌍 생성 단계와,
    c) 상기 정합된 입체 영상 쌍 각각에 대하여 깊이 맵을 산정하는 단계와,
    d) 상기 깊이 맵의 대응하는 영역 간 고도차를 계산하는 단계
    를 포함하며, 이로써, 상기 입체 영상 세트 사이에서 체적 차이가 검출되는 것을 특징으로 하는 프로그램 스토리지 장치.
  29. 입체 영상을 정합하는 방법에 있어서, 상기 방법은,
    a) 둘 이상의 입체 영상 세트를 획득하는 단계로서, 상기 둘 이상의 입체 영상 세트 각각은 서로 다른 각도에서 획득된 둘 이상의 영상을 포함하는 특징의 상기 둘 이상의 입체 영상 세트 획득 단계와,
    b) 둘 이상의 영상 그룹을 결정하는 단계로서, 각각의 그룹은 둘 이상의 영상을 포함하고, 상기 둘 이상의 영상은 상기 입체 영상 세트 중 둘 이상의 세트의 각각의 영상이거나, 또는 그로부터 유래되는 영상인 특징의 상기 둘 이상의 영상 그룹 결정 단계와,
    c)상기 영상 그룹 각각에 대하여,
    i) 상기 영상 그룹의 영상 중 둘 이상의 영상을 정합하는 단계와,
    ii) 정합된 영상들 간의 변화를 검출함으로써 후보 개체 리스트를 발생시키는 단계와,
    iii) 하나 이상의 선택기준에 따라 후보 개체로부터 네 개 이상의 최적 개체를 선택함으로써, 상기 최적 개체 리스트를 발생시키는 단계
    를 포함하며, 여기서, 상기 최적 개체 리스트 각각으로부터의 네 개 이상의 최적 개체가 스테레오-정합 모듈로 입력되도록 구성되며, 상기 스테레오 정합 모듈은 상기 최적 개체를 둘 이상의 영상을 스테레오-정합하는데 이용하고, 상기 둘 이상의 영상 각각은 상기 둘 이상의 영상 그룹 중 서로 다른 하나의 그룹으로부터 이루어지거나 또는 그로부터 유래되는 영상이며, 이로 인해 상기 둘 이상의 영상에 대한 성공적인 스테레오-정합이 이루어지는 것을 특징으로 하는 입체 영상 정합 방법.
  30. 제 27 항에 있어서,
    a) 상기 정합된 입체 영상 쌍 중 둘 이상의 쌍에 대하여 깊이 맵을 생성하는 단계와,
    b) 상기 깊이 맵의 대응하는 영역 간 고도차를 계산
    하는 단계를 실행하기 위한 프로그램을 더 포함하며, 이로써, 상기 입체 영상 쌍 사이에서 체적 차이가 검출되는 것을 특징으로 하는 컴퓨터 스토리지 장치.
KR1020107011036A 2007-10-23 2008-10-23 스테레오-영상 정합 및 변화 검출 시스템 및 방법 KR101489984B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IL186856 2007-10-23
IL186856A IL186856A0 (en) 2007-10-23 2007-10-23 A remote sensing imagery system and method
IL191615 2008-05-21
IL191615A IL191615A (en) 2007-10-23 2008-05-21 A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
PCT/IL2008/001396 WO2009053977A2 (en) 2007-10-23 2008-10-23 A stereo-image registration and change detection system and method

Publications (2)

Publication Number Publication Date
KR20110002001A true KR20110002001A (ko) 2011-01-06
KR101489984B1 KR101489984B1 (ko) 2015-02-04

Family

ID=40580192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107011036A KR101489984B1 (ko) 2007-10-23 2008-10-23 스테레오-영상 정합 및 변화 검출 시스템 및 방법

Country Status (6)

Country Link
US (1) US8331654B2 (ko)
EP (1) EP2212738B1 (ko)
KR (1) KR101489984B1 (ko)
ES (1) ES2533265T3 (ko)
IL (1) IL191615A (ko)
WO (1) WO2009053977A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338243B1 (ko) * 2013-09-03 2013-12-06 국방과학연구소 웹기반 가상공간을 활용한 군사정보 시각화 시스템
KR101942667B1 (ko) 2017-11-07 2019-01-25 국방과학연구소 마이크로스트립 패치 안테나
KR102090666B1 (ko) * 2019-02-11 2020-03-18 주식회사 넥스트칩 스테레오 영상들에 대한 시차 맵 생성 방법 및 장치

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908440B2 (ja) * 2008-03-06 2012-04-04 株式会社東芝 画像処理装置及び方法
US9141863B2 (en) * 2008-07-21 2015-09-22 Facefirst, Llc Managed biometric-based notification system and method
US8718404B2 (en) * 2009-02-06 2014-05-06 Thomson Licensing Method for two-step temporal video registration
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
JP5574852B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理装置、情報処理方法、システム及びプログラム
GB2483637A (en) * 2010-09-10 2012-03-21 Snell Ltd Detecting stereoscopic images
US9113153B2 (en) * 2011-01-14 2015-08-18 Kodak Alaris Inc. Determining a stereo image from video
US8659643B2 (en) * 2011-01-18 2014-02-25 Disney Enterprises, Inc. Counting system for vehicle riders
US8731277B2 (en) * 2011-01-26 2014-05-20 Aptina Imaging Corporation Methods for matching gain and color for stereoscopic imaging systems
US8660338B2 (en) 2011-03-22 2014-02-25 Honeywell International Inc. Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints
US8868323B2 (en) 2011-03-22 2014-10-21 Honeywell International Inc. Collaborative navigation using conditional updates
US8842036B2 (en) * 2011-04-27 2014-09-23 Lockheed Martin Corporation Automated registration of synthetic aperture radar imagery with high resolution digital elevation models
GB2491102B (en) 2011-05-17 2017-08-23 Snell Advanced Media Ltd Detecting stereoscopic images
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
KR20130057764A (ko) * 2011-11-24 2013-06-03 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US9161010B2 (en) * 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
US9501700B2 (en) 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
CN103279941A (zh) * 2012-02-24 2013-09-04 苏州蓝海彤翔系统科技有限公司 一种基于贪婪算法的多视场深度像的并行同步配准方法
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
US20140192158A1 (en) * 2013-01-04 2014-07-10 Microsoft Corporation Stereo Image Matching
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
JP5889265B2 (ja) * 2013-04-22 2016-03-22 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
EP3028464B1 (en) 2013-08-02 2019-05-01 Xactware Solutions Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
US10240930B2 (en) 2013-12-10 2019-03-26 SZ DJI Technology Co., Ltd. Sensor fusion
KR102214934B1 (ko) * 2014-07-18 2021-02-10 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
CN105980950B (zh) 2014-09-05 2019-05-28 深圳市大疆创新科技有限公司 无人飞行器的速度控制
CN110174903B (zh) 2014-09-05 2023-05-09 深圳市大疆创新科技有限公司 用于在环境内控制可移动物体的系统和方法
WO2016033796A1 (en) 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Context-based flight mode selection
US9948914B1 (en) 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
US10157439B2 (en) 2015-07-20 2018-12-18 Qualcomm Incorporated Systems and methods for selecting an image transform
CN105528619B (zh) * 2015-12-10 2019-08-06 河海大学 基于小波变换和svm的sar遥感影像变化检测方法
EP3236418B1 (en) * 2016-04-13 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6877109B2 (ja) 2016-04-13 2021-05-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN106097290A (zh) * 2016-06-03 2016-11-09 西安电子科技大学 基于nmf图像融合的sar图像变化检测方法
US10782115B2 (en) * 2016-09-02 2020-09-22 Hossein Karami Porzani Detection of radial deformations of transformers
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
CN107516082B (zh) * 2017-08-25 2019-11-22 西安电子科技大学 基于自步学习的sar图像变化区域检测方法
CN107992891B (zh) * 2017-12-01 2022-01-25 西安电子科技大学 基于光谱矢量分析多光谱遥感图像变化检测方法
US20200283163A1 (en) * 2017-12-14 2020-09-10 Saab Ab Flight vision system and method for presenting images from the surrounding of an airborne vehicle in a flight vision system
US10838987B1 (en) * 2017-12-20 2020-11-17 Palantir Technologies Inc. Adaptive and transparent entity screening
US11094113B2 (en) 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
KR102309251B1 (ko) * 2020-03-26 2021-10-07 주식회사 에스아이에이 위성 영상 신호에 포함된 객체의 부피 정보를 계산하는 방법
CN111967365B (zh) * 2020-08-11 2023-09-15 中国人民解放军国防科技大学 影像连接点的提取方法和装置
CN113592921A (zh) * 2021-06-30 2021-11-02 北京旷视科技有限公司 图像匹配方法，装置，电子设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975704A (en) 1990-01-26 1990-12-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method for detecting surface motions and mapping small terrestrial or planetary surface deformations with synthetic aperture radar
US5530774A (en) 1994-03-25 1996-06-25 Eastman Kodak Company Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields
JPH09289655A (ja) * 1996-04-22 1997-11-04 Fujitsu Ltd 立体画像表示方法及び多視画像入力方法及び多視画像処理方法及び立体画像表示装置及び多視画像入力装置及び多視画像処理装置
US6862364B1 (en) * 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
KR100374784B1 (ko) 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
US6707464B2 (en) * 2001-01-31 2004-03-16 Harris Corporation System and method for identifying tie point collections used in imagery
IL155034A0 (en) 2003-03-23 2004-06-20 M A M D Digital Data Proc Syst Automatic aerial digital photography and digital data processing systems
FR2868168B1 (fr) * 2004-03-26 2006-09-15 Cnes Epic Appariement fin d'images stereoscopiques et instrument dedie avec un faible coefficient stereoscopique
GB0427779D0 (en) 2004-12-17 2005-07-06 Bae Systems Plc Imaging system and method
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
KR100769460B1 (ko) 2005-12-14 2007-10-23 이길재 실시간 스테레오 영상 정합 시스템
KR100769461B1 (ko) * 2005-12-14 2007-10-23 이길재 스테레오 비전 시스템
KR101200490B1 (ko) * 2008-12-10 2012-11-12 한국전자통신연구원 영상 정합 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338243B1 (ko) * 2013-09-03 2013-12-06 국방과학연구소 웹기반 가상공간을 활용한 군사정보 시각화 시스템
KR101942667B1 (ko) 2017-11-07 2019-01-25 국방과학연구소 마이크로스트립 패치 안테나
KR102090666B1 (ko) * 2019-02-11 2020-03-18 주식회사 넥스트칩 스테레오 영상들에 대한 시차 맵 생성 방법 및 장치

Also Published As

Publication number Publication date
WO2009053977A2 (en) 2009-04-30
ES2533265T3 (es) 2015-04-08
US20100303340A1 (en) 2010-12-02
WO2009053977A3 (en) 2010-03-11
US8331654B2 (en) 2012-12-11
IL191615A0 (en) 2009-05-04
EP2212738B1 (en) 2014-12-31
EP2212738A2 (en) 2010-08-04
IL191615A (en) 2015-05-31
KR101489984B1 (ko) 2015-02-04
EP2212738A4 (en) 2013-06-26

Similar Documents

Publication Publication Date Title
KR101489984B1 (ko) 스테레오-영상 정합 및 변화 검출 시스템 및 방법
US9697607B2 (en) Method of estimating imaging device parameters
EP2111530B1 (en) Automatic stereo measurement of a point of interest in a scene
EP2423871A1 (en) Apparatus and method for generating an overview image of a plurality of images using an accuracy information
Chen et al. Drogue tracking using 3D flash lidar for autonomous aerial refueling
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
WO2013162839A1 (en) Point cloud visualization of acceptable helicopter landing zones based on 4d lidar
KR20110127202A (ko) 장면 해석과 등록 수행 평가를 위한 2차원 전기광학 이미지와 3차원 포인트 클라우드 데이터의 융합
Elibol et al. A new global alignment approach for underwater optical mapping
EP3593322B1 (en) Method of detecting moving objects from a temporal sequence of images
Weinmann et al. Geometric point quality assessment for the automated, markerless and robust registration of unordered TLS point clouds
Schultz et al. Error detection and DEM fusion using self-consistency
CN114358133B (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
Primdahl et al. Change detection from multiple camera images extended to non-stationary cameras
Von Hansen et al. Line-based registration of terrestrial and airborne LIDAR data
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
Wan et al. A performance comparison of feature detectors for planetary rover mapping and localization
Czúni et al. Color based clustering for trunk segmentation
Hsu et al. Automatic registration and visualization of occluded targets using ladar data
Amigo et al. Automatic context learning based on 360 imageries triangulation and 3D LiDAR validation
Onyango Multi-resolution automated image registration
Tingdahl et al. WEAR++: 3D model driven camera tracking on board the International Space Station
Trusheim et al. Cooperative image orientation considering dynamic objects
Villa et al. Robust Landmark and Hazard Detection on Small Body Surfaces Using Shadow Imagery
Davey et al. Tracking in Full Motion Video

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190109

Year of fee payment: 5