KR101117837B1 - 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭 - Google Patents
멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭 Download PDFInfo
- Publication number
- KR101117837B1 KR101117837B1 KR1020050035194A KR20050035194A KR101117837B1 KR 101117837 B1 KR101117837 B1 KR 101117837B1 KR 1020050035194 A KR1020050035194 A KR 1020050035194A KR 20050035194 A KR20050035194 A KR 20050035194A KR 101117837 B1 KR101117837 B1 KR 101117837B1
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- descriptor
- point
- points
- vectors
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 104
- 230000008569 process Effects 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims description 145
- 238000013459 approach Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 2
- 230000008030 elimination Effects 0.000 claims 2
- 238000003379 elimination reaction Methods 0.000 claims 2
- 238000007670 refining Methods 0.000 claims 2
- 238000012795 verification Methods 0.000 abstract description 3
- 238000011112 process operation Methods 0.000 description 45
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- CDFKCKUONRRKJD-UHFFFAOYSA-N 1-(3-chlorophenoxy)-3-[2-[[3-(3-chlorophenoxy)-2-hydroxypropyl]amino]ethylamino]propan-2-ol;methanesulfonic acid Chemical compound CS(O)(=O)=O.CS(O)(=O)=O.C=1C=CC(Cl)=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC(Cl)=C1 CDFKCKUONRRKJD-UHFFFAOYSA-N 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/14—Stack holders or separators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0214—Articles of special size, shape or weigh
- B65G2201/022—Flat
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
장면의 다수의 이미지들 중에서 대응하는 포인트들을 식별하는 시스템 및 프로세스가 제시된다. 이는 불변의 특징의 새로운 클래스에 기초한 멀티-뷰 매칭 프레임워크와 관련된다. 특징들은 스케일 공간에서 해리스 코너에 위치하며, 블러링된 로컬 계조를 이용하여 지향된다. 이는 특징 기술자를 샘플링하는 유사성 불변 프레임을 정의한다. 실제로 형성된 기술자는 강도 값들의 바이어스/이득 정규화된 패치이다. 매칭은 저주파수 하르 웨이블렛 계수들에 대해 인덱싱을 이용하는 고속의 가장 인접한 이웃 절차를 이용하여 달성된다. 패치 매칭을 위한 단순한 6개의 파라미터 모델이 채용되며, 잡음 통계는 정확 및 부정확 매치에 대해 분석된다. 이는 특징당 아웃라이어 거리에 기초하여 단순 매치 검증 절차를 가져온다.
장면, 특징, 패치 매칭, 아웃라이어, 하르 웨이블렛
Description
도 1은 본 발명을 실시하기 위한 예시적인 시스템을 구성하는 범용 컴퓨팅 디바이스를 도시하는 도면.
도 2는 본 발명에 따라서 동일 장면의 다수의 이미지들 사이에서 대응하는 포인트들을 식별하기 위한 전체 프로세스를 도시하는 흐름도.
도 3은 조화 평균 관심 포인트 검출 함수(harmonic mean interest point detection function)의 등윤곽선들(isocontours)을 해리스(Harris) 및 쉬-토마시(Shi-Tomasi) 함수들의 등윤곽선들과 비교한 그래프.
도 4는 서브 픽셀 로컬화(sub pixel localization)가 있는/없는 관심 포인트들의 반복성을 증명하는 그래프.
도 5a-5c는 본 발명에 따라서 기술자 벡터(descriptor vector)를 생성하기 위한 프로세스를 도시하는 흐름도.
도 6은 봉우리의 꼭대기에 있는 관심 포인트와 관련된 기술자 영역이 백색 박스로서 도시되고, 관심 포인트의 위치는 그 박스의 중심에 있는 백색 도트로서 도시되고 관심 포인트에 할당된 방위 방향을 나타내기 위해 관심 포인트로부터 연장된 선이 포함되어 있는 산모양 장면의 이미지이다.
도 7은 도 6의 기술자 영역으로부터 형성된 8 × 8 기술자를 도시하는 이미지이다.
도 8a 및 8b는 공통 부분들을 갖는 산모양 장면의 2개의 이미지들로서, 임의의 아웃라이어 리젝션(outlier rejection) 프로세싱 전에 식별된 바와 같이, 이미지들 간의 대응 위치들이 백색 도트들로서 도시되어 있는, 이미지들을 도시하는 도면.
도 9a 및 9b는 각각 도 8a 및 8b와 동일한 이미지들로서, 아웃라이어 거리 제약(outlier distance constraint)을 채용한 아웃라이어 리젝션 기법을 적용한 후의 이미지들을 도시하는 도면.
도 10a 및 10b는 각각 도 9a 및 9b와 동일한 이미지들로서, 기하학 기반(geometric based) 아웃라이어 리젝션 기법을 적용한 후의 이미지들을 도시하는 도면.
도 11은 도 5a-5c에 따라서 생성된 기술자 벡터들을 이용하여 장면의 이미지들 간의 대응하는 포인트들을 찾아내기 위한 프로세스를 도시하는 흐름도.
〈도면의 주요 부분에 대한 부호의 설명〉
120 : 프로세싱 유닛
194 : 카메라 인터페이스
192 : 카메라
180 : 원격 컴퓨터
190 : 비디오 인터페이스
본 발명은 하나의 장면(scene)의 다수의 이미지들 사이에서 대응하는 포인트들을 식별하는 것에 관한 것으로, 보다 구체적으로는, 장면의 다수의 부분적으로 중첩하는 이미지들에 걸쳐서 신속히 특징들(features)을 추출하고 대응들(correspondences)을 찾아내는 시스템 및 프로세스에 관한 것이다.
흔히 이미지 매칭이라고 불리는, 이미지들에서 대응하는 특징들을 찾아내는 것은, 2 이상의 이미지로부터 정보를 추출하려고 하는 거의 모든 비전 애플리케이션(vision application)의 필수적인 구성 요소이다. 이미지 매칭에서의 초기 연구는 2개의 진영 - 특징 기반(feature based) 방법들 및 직접 방법들에 속하였다. 특징 기반 방법들은 에지 및 코너와 같은 두드러진 특징들을 추출한 다음, 소량의 로컬 정보(예를 들면, 작은 이미지 패치의 상관관계)를 이용하여 매치들을 성립시키려고 하였다[8]. 소량의 이용 가능한 이미지 데이터만을 이용한 이 특징 기반 방법들과 대비하여, 직접적인 방법들은 이미지들을 반복하여 정렬시키기 위하여 모든 픽셀 값들을 이용하려고 하였다[1, 9]. 매칭 및 인식의 다른 방법들은 불변량을 이용하여 대상들(objects)을 특징화하였고, 때때로 이를 위하여 정규 프레임들(canonical frames)을 설정하였다[14, 15].
이들 방법들의 교차점에 불변 특징들이 있고, 이것은 두드러진 특징들 주위의 다량의 로컬 이미지 데이터를 이용하여 인덱싱 및 매칭을 위한 불변 기술자들을 형성한다. 이 분야에서의 첫 번째 연구는 Schmid 및 Mohr에 의한 것이었고[16], 이들은 가우스 도함수들(Gaussian derivatives)의 세트를 이용하여 해리스 코너 주위에 회전적으로 불변 기술자를 형성하였다. Lowe는 이 방법을 확장하여 스케일 불변성을 통합하였다[10, 11]. 다른 연구원들은 유사 변환(affine transformances) 하에서 불변인 특징들을 개발하였다[3, 20, 5]. 관심 포인트 검출기들은 해리스 코너(Harris corners) 또는 DOG(Difference-of-Gaussians) 최대(maxima)와 같은 표준 특징 검출기들로부터 최대로 안정된 영역들(maximally stable regions)[12] 및 안정된 로컬 위상 구조(stable local phase structures)[7]와 같은 보다 정교한 방법들까지 다양하다.
일반적으로, 관심 포인트 추출 및 기술자 매칭은 2개의 기본적인 단계로 간주되고, 관심 포인트 반복성[17] 및 기술자 성능[13]과 관련하여 갖가지 기법들을 평가하는 데 얼마간의 진전이 있었다. 또한 모션[19] 및 파노라마 촬상[6]으로부터의 구조의 컨텍스트에서 멀티-뷰 매칭(multi-view matching)에 대한 주목하지 않을 수 없는 애플리케이션들이 있어 왔다. 그러나, 오늘날까지, 이들 절차들 중 어떤 것도 장면의 다수의 부분적으로 중첩하는 이미지들에 걸쳐서 신속히 특징들을 추출하고 대응들을 찾아내는 능력을 제공하지 못하고 있다.
이전 단락들뿐만 아니라, 본 명세서의 나머지 부분에서, 설명은 한 쌍의 괄호 안에 포함된 숫자 지정자(numeric designator)에 의해 식별된 여러 개별적인 간행물들을 참고한다. 예를 들면, 그러한 참고는 "참고 문헌 [1]" 또는 간단히 "[1]"을 언급함으로써 식별될 수 있다. 2 이상의 지정자를 포함하는 한 쌍의 괄호, 예를 들면, [2, 3]에 의해 다수의 참고 문헌들이 식별될 것이다. 각각의 지정자에 대응하는 간행물들을 포함하는 참고 문헌들의 목록은 상세한 설명 부분의 말미에서 확인될 수 있다.
본 발명은 새로운 클래스의 불변 특징에 기초하여 장면의 다수의 이미지들 사이에서 대응하는 포인트들을 식별하기 위한 시스템 및 프로세스에 관한 것이다. 이 시스템 및 프로세서는 장면의 다수의 부분적으로 중첩하는 이미지들에 걸쳐서 신속히 특징들을 추출하고 대응들을 찾아내는 것이 가능하다. 이 기법은 이미지 스티칭(image stitching) 및 비디오 안정화를 위한 이미지 대응들을 찾아낼 때 매우 잘 작동한다. 그것은 또한 예를 들면 비디오 내의 특징들을 추적하고 다수의 이미지들로부터 3-D 모델들을 구축하기 위한 보다 일반적인 멀티 이미지 대응에 용이하게 확장될 수 있다.
보다 구체적으로, 본 시스템 및 프로세스는 변화하는 해상도에서 각각의 이미지 내의 관심 포인트들을 먼저 식별하는 것을 포함한다. 관심 포인트(interest point)는 그 포인트 주위의 미리 정의된 크기의 픽셀 인접 영역(pixel neighborhood) 내의 픽셀들에 기인하는 적어도 하나의 속성에 의해 이미지 내에서의 위치가 정의되는 포인트이다. 게다가, 각각의 관심 포인트는 그 포인트 주위의 픽셀 인접 영역 내의 픽셀들에 기인하는 적어도 하나의 속성(이것은 그 포인트 위치를 정의하기 위해 채용된 동일한 속성 또는 속성들 또는 다른 속성 또는 속성들일 수 있다)에 기초하여 고유 방위(unique orientation)가 할당될 수 있는 포인트 이다. 이러한 제2 인접 영역은 포인트 위치를 정의하는 데 이용된 것과 동일한 크기, 또는 다른 크기의 인접 영역일 수 있다.
일단 관심 포인트들이 식별되면, 이 관심 포인트들 각각에 대해 기술자(descriptor)가 설정된다. 이 기술자는 이미지 위치, 방위, 및 스케일의 변화들뿐만 아니라, 그 포인트 주위의 영역 내의 픽셀들의 세기(intensity)의 변화들에도 실질적으로 불변히도록 각각의 포인트를 특징화한다. 다음으로, 이미지들 사이에서 실질적으로 매칭하는 기술자들의 세트들이 식별된다. 상이한 이미지들에서 나타나는 매칭 기술자들의 각각의 세트와 관련된 관심 포인트들은 대응하는 포인트들(즉, 장면의 동일 부분을 도시하는 포인트들)로서 지정된다.
각각의 이미지 내의 관심 포인트들을 식별하는 것과 관련하여, 이것은, 각각의 이미지에 대해, 먼저 이미지 해상도 피라미드(image resolution pyramid)를 형성함으로써 성취될 수 있다. 이 피라미드의 각 레벨에서, 코너 특징을 나타내는 이미지 내의 위치들이 식별된다. 예를 들면, 본 시스템 및 프로세서의 테스트된 실시예들에서, 소위 해리스 코너 특징들(Harris corner features)이 채용되었다. 코너 특징 위치들을 식별하는 하나의 방법은 그 위치를 중심으로 하는 미리 정해진 최소 인접 영역 반경의 픽셀 인접 영역의 극대인 코너 강도를 나타내고 또한 미리 정해진 최소 강도 임계치를 초과하는 각각의 코너 특징의 위치를 찾아내는 것이다. 만일 식별된 코너 위치들의 총수가 미리 정해진 최대 수를 초과하면, 이웃 반경은 어떤 미리 정해진 정수 값만큼 증가되고 이전에 식별된 위치들 각각의 코너 강도가 여전히 현재 고려 중인 픽셀 인접 영역의 극대인지 및 여전히 최소 강도 임계치를 초과하는지가 판정된다. 만일 양쪽 조건이 만족되지 않으면, 그 코너 위치는 고려에서 제거된다. 일단 모든 코너 위치들이 재시험되었다면, 다시 총수가 허용되는 최대치를 초과하는지가 판정된다. 만일 그렇다면, 반경은 다시 한 번 증가되고 전술한 절차가 반복된다. 이 반복 프로세스는 코너 위치들의 수가 허용되는 최대치 이하가 될 때까지 계속된다. 그때, 남아 있는 식별된 위치들 각각은 개별 코너 특징을 나타내는 것으로 지정된다. 각각의 남아 있는 코너 특징의 위치는 그것에, 고려 중인 식별된 위치를 중심으로 하는 미리 정해진 크기의 국부적인 인접 영역 위에 맞추어진 2D 정방형 표면의 최대 세기가 보여지는 위치를 할당함으로써 세련될 수 있다.
남아 있는 코너 특징들 각각에는 또한 방위가 할당된다. 본 시스템 및 프로세스의 테스트된 실시예들에서 이것은 블러링된 계조 방법(blurred gradient approach)을 이용하여 성취되었다. 마지막으로, 남아 있는 코너 특징들 각각의 식별된 위치는 관련 코너 특징에 대해 계산된 방위를 갖는 개별 관심 포인트로서 지정된다.
관심 포인트들 각각에 대한 기술자를 생성하는 것과 관련하여, 이것은 먼저, 고려 중인 관심 포인트 위치를 중심으로 하고 또한 관심 포인트의 방향에 따라서 지향되는 미리 정해진 p x p 크기의 기술자 영역을 설정함으로써 성취될 수 있다. 다음으로, 상기 기술자 영역보다 작고 또한 적당한 피라미드 레벨로부터 샘플링에 의해 에일리어싱을 피하는 방식으로 상기 영역 내의 픽셀들의 세기 값들의 쌍선형 보간(bilinear interpolation)을 이용하여 그로부터 샘플링되는 미리 정해진 크기 의 d x d 기술자 벡터가 형성된다. 그 후 이 기술자 벡터는 이득 및 바이어스와 관련하여 정규화(normalize)되고, 정규화된 기술자 벡터에 대해 하르 웨이블렛 변환(Harr wavelet transformation)이 수행되어 변환된 벡터가 생성된다.
이미지들 사이에서 실질적으로 매칭하는 기술자들을 찾아내는 것과 관련하여, 이것은 일반적으로 변환된 기술자 벡터들 각각을 특징 공간 내의 미리 정해진 수의 그것의 가장 가까운 이웃들에 매칭시킴으로써 행해진다. 이 작업을 성취하는 하나의 방법은 먼저, 각각의 변환된 기술자 벡터의 처음 3개의 넌제로 웨이블렛 계수들(non-zero wavelet coefficients)로부터 3D 해시 테이블(hash table)을 생성하는 것이다. 그 후 해시 테이블의 각각의 빈(bin)에 대하여, 그 안에서 발견된 각각의 3-계수 벡터 간의 거리가 계산된다. 이 3-계수 벡터들 각각은 차례차례 선택되고 동일 빈 내의 미리 정해진 수의 그것의 가장 가까운 이웃들 - 그러나 이 이웃들은 선택된 벡터와 동일한 이미지와 관련되지 않음 - 이 상기 계산된 거리들에 기초하여 식별된다. 이것은 잠재적으로 매칭하는 벡터들의 세트들을 형성한다. 각각의 이들 세트들 내의 벡터들과 관련된 관심 포인트들은 이미지들 사이에서 대응하는 포인트들로서 지정된다. 매칭 절차의 테스트된 실시예들에서, 해시 테이블은 차원당 10개의 빈(10 bins per dimension)을 갖도록 구성되고, 각각의 빈은 1/2의 중첩 범위들(overlapping ranges of one half)을 갖는다. 미리 정해진 수의 각각의 벡터의 가장 가까운 이웃들을 식별하는 것에 대한 대안으로서, 각각의 이미지마다 미리 정해진 수까지, 고려 중인 벡터와 관련된 이미지를 제외하고, 각각의 이미지와 각각 관련되어 있는 동일 빈 내에서 발견된 가장 가까운 이웃들이 대신에 식별되어 잠재적으로 매칭하는 벡터들의 세트들을 형성할 수 있다.
잠재적으로 매칭하는 벡터들의 각각의 세트 내의 벡터들과 관련된 관심 포인트들을 대응하는 포인트들로서 지정함에 있어서, 잘못 식별된 매치들을 제거하는 것이 가능하다. 일반적으로, 이것은 고려 중인 3-계수 벡터들 중 임의의 것을, 그들의 관련 관심 포인트들이 벡터들의 동일한 세트 내의 3-계수 벡터들 중 다른 것과 관련된 다른 이미지 내의 관심 포인트에 실제로 대응하지 않는다면, 제거하는 것을 수반한다. 이것은 다수의 방법으로 성취될 수 있다. 하나의 방법은, 매칭된 벡터들의 각각의 세트마다, 먼저 그 세트에 대한 아웃라이어 거리를 계산한 다음 그 세트 내의 매칭 벡터들 중 임의의 것에 대해 계산된 거리가 아웃라이어 거리의 약 65%보다 큰지를 판정하는 것을 수반한다. 만일 매칭 벡터가 아웃라이어 거리의 약 65%보다 큰 거리를 갖는 것으로 판명되면, 그것은 대응하는 이미지 포인트로서 고려에서 제거된다. 이 리젝션 전략은 아웃라이어 거리 제약을 이용한 아웃라이어 리젝션(outlier rejection)이라고 한다. 세트로부터 잘못 매칭된 벡터들을 배제하는 다른 방법은 표준 기하학적 아웃라이어 리젝션 절차(standard geometric outlier rejection procedure)를 수행하고 아웃라이어로서 판명되는 대응하는 포인트로서 임의의 벡터와 관련된 관심 포인트를 제거하는 것이다. 본질적으로, 이 기하학적 아웃라이어 리젝션 절차는 2개의 이미지들 간에 모든 포인트들과 가장 잘 매칭하는 변환을 찾아내고 변환될 때 특정 허용 오차 내에 대응하지 않는 포인트들을 버리는 것을 포함한다. 또한 전술한 리젝션 기법들 양쪽 모두를 채용하는 것도 가능하다. 예를 들면, 본 시스템 및 프로세스의 테스트된 실시예들에서는, 아웃라 이어 거리 제약을 이용한 리젝션 전략이 먼저 채용되었고 그 다음으로 기하학적 아웃라이어 리젝션 절차가 채용되었다.
방금 설명한 이점들 외에, 본 발명의 다른 이점들은 이하의 상세한 설명을 그것에 수반하는 도면들과 함께 참조함으로써 명백해질 것이다.
본 발명의 구체적인 특징, 양태, 및 이점들은 이하의 설명, 부속된 청구항들, 및 첨부 도면들을 참조하여 더 잘 이해될 것이다.
본 발명의 바람직한 실시예들에 대한 이하의 설명에서, 본 명세서의 일부를 형성하고, 본 발명이 실시될 수 있는 특정 실시예들이 예로서 도시되어 있는, 첨부 도면들이 참조된다. 다른 실시예들이 이용될 수도 있고 본 발명의 범위를 벗어나지 않고 구조 변경이 행해질 수도 있음은 물론이다.
1.0 컴퓨팅 환경
본 발명의 바람직한 실시예들의 설명을 제공하기 전에, 본 발명이 구현될 수 있는 적절한 컴퓨팅 환경의 간략하고 일반적인 설명이 이루이질 것이다.
도 1은 적절한 컴퓨팅 시스템 환경(100)의 예를 나타낸다. 컴퓨팅 시스템 환경(100)은 단지 적절한 컴퓨팅 환경의 일 예이며 본 발명의 사용 또는 기능의 범위에 제한을 가하도록 의도된 것은 아니다. 컴퓨팅 환경(100)은 예시적인 오퍼레이팅 환경(100)에 도시된 컴포넌트들 중의 임의의 하나 또는 조합에 관하여 임의의 종속성(dependency) 또는 요구사항(requirement)을 갖는 것으로 해석되어서는 안된다.
본 발명은 많은 다른 범용 또는 특수목적 컴퓨팅 시스템 환경들 또는 구성들과 함께 동작될 수 있다. 본 발명과 함께 사용하기에 적합할 수 있는 잘 알려진 컴퓨팅 시스템, 환경, 및/또는 구성의 예로는, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드(hand-held) 또는 랩탑 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 시스템, 셋탑 박스(set top box), 프로그램가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기의 시스템 또는 장치 중의 임의의 것을 포함하는 분산형 컴퓨팅 환경 등이 포함될 수 있지만, 이에 한정되지 않는다.
본 발명은 컴퓨터에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터 실행가능 명령어들과 일반적으로 관련하여 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한 통신 네트워크를 통해 링크된 원격 프로세싱 장치에 의해 태스크를 수행하는 분산형 컴퓨팅 환경에서 실행될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 국부 및 원격 컴퓨터 저장 매체 내에 위치할 수 있다.
도 1을 참조하면, 본 발명을 구현하기 위한 예시적인 시스템은 컴퓨터(110)의 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트들로는, 프로세싱 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 프로세싱 유닛(120)에 연결시키는 시스템 버스(121)가 포함될 수 있지만, 이에 한정되는 것은 아니다. 시스템 버스(121)는 다양한 버스 아키텍처 중의 임의의 것을 사용하는 로컬 버스, 주변 버스, 및 메모리 버스 또는 메모리 컨트롤러를 포함하는 몇가지 유형의 버스 구조 중의 임의의 것일 수 있다. 예로서, 이러한 아키텍처는 산업 표준 아키텍처(ISA) 버스, 마이크로 채널 아키텍처(MCA) 버스, 인핸스드 ISA(Enhanced ISA; EISA) 버스, 비디오 일렉트로닉스 표준 어소시에이션(VESA) 로컬 버스, 및 메자닌(Mezzanine) 버스로도 알려진 주변 컴포넌트 상호접속(PCI) 버스를 포함하지만, 이에 한정되는 것은 아니다.
컴퓨터(110)는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 불휘발성 매체, 분리형(removable) 및 비분리형(non-removable) 매체를 둘다 포함한다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이에 한정되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 불휘발성, 분리형 및 비분리형 매체를 둘다 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광학 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터(110)에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함할 수 있지만, 이에 한정되지 않는다. 통신 매체는 통상적으로 반송파 또는 기타 전송 메카니즘 등의 변조된 데이터 신호에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호 내에 정보를 인코딩하도록 설정되거나 변환된 특성을 하나 또는 그 이상을 갖는 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속 등의 유선 매체와, 음향, RF, 적외선 및 기타 무선 매체 등의 무선 매체를 포함하지만, 이에 한정되지 않는다. 상술한 것들 중의의 임의의 조합이 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
시스템 메모리(130)는 ROM(131) 및 RAM(132) 등의 휘발성 및/또는 불휘발성 메모리의 형태의 컴퓨터 저장 매체를 포함한다. 시동중과 같은 때에 컴퓨터(110) 내의 구성요소들간에 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(133; BIOS)은 일반적으로 ROM(131)에 저장된다. RAM(132)은 일반적으로 프로세싱 유닛(120)에 즉시 액세스될 수 있고 및/또는 프로세싱 유닛(120)에 의해 현재 작동되는 프로그램 모듈 및/또는 데이터를 포함한다. 예로서, (한정하고자 하는 것은 아님) 도 1은 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)를 도시한다.
컴퓨터(110)는 또한 다른 분리형/비분리형, 휘발성/불휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예로서, 도 1에는 비분리형 불휘발성 자기 매체로부터 판독하거나 그 자기 매체에 기록하는 하드 디스크 드라이브(141), 분리형 불휘발성 자기 디스크(152)로부터 판독하거나 그 자기 디스크에 기록하는 자기 디스크 드라이브(151), 및 CD-ROM 또는 기타 광학 매체 등의 분리형 불휘발성 광학 디스크(156)로부터 판독하거나 그 광학 디스크에 기록하는 광학 디스크 드라이브(155)가 도시되어 있다. 예시적인 오퍼레이팅 환경에서 사용될 수 있는 다른 분리형/비분리형, 휘발성/불휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래쉬 메모리 카드, DVD(Digital versatile disk), 디지털 비디오 테이프, 고체 RAM, 고체 ROM 등을 포함하지만 이에 한정되지 않는다. 하드 디스크 드라이브(141)는 일반적으로 인터페이스(140)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151) 및 광학 디스크 드라이브(155)는 일반적으로 인터페이스(150)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.
앞서 기술되고 도 1에 도시된 드라이브 및 그 관련 컴퓨터 저장 매체는 컴퓨터(110)를 위한 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 제공한다. 도 1에서, 예를 들어, 하드 디스크 드라이브(141)는 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146), 및 프로그램 데이터(147)를 저장하는 것으로 도시된다. 이들 컴포넌트는 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)와 동일할 수도 있고 다를 수도 있다. 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146), 및 프로그램 데이터(147)는 최소한 다른 복사본(different copies)임을 나타내기 위하여 다른 번호를 부여하였다. 사용자는 일반적으로 마우스, 트랙볼, 또는 터치 패드라 불리우는 포인팅 장치(161) 및 키보드(162)와 같은 입력 장치를 통해 컴퓨터(110)에 명령 및 정보를 입력할 수 있다. (도시되지 않은) 기타 입력 장치는 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 이들 입력 장치 및 그외의 입력 장치는 시스템 버스(121)에 연결된 사용자 입력 인터페이스(160)를 통해 종종 프로세싱 유닛(120)에 접속되지만, 병렬 포트, 게임 포트 또는 유니버설 시리얼 포트(USB) 와 같은 기타 인터페이스 및 버스 구조에 의해 접속될 수 있다. 모니터(191) 또는 다른 유형의 디스플레이 장치는 또한 비디오 인터페이스(190) 등의 인터페이스를 통해 시스템 버스(121)에 접속된다. 모니터 외에도, 컴퓨터는 또한 출력 주변 인터페이스(195)를 통해 접속될 수 있는 스피커(197) 및 프린터(196) 등의 기타 주변 출력 장치를 포함할 수 있다. 특히 본 발명에서 중요한 것으로서, 이미지(193)의 시퀀스를 캡쳐링할 수 있는 카메라(192)(예를 들어, 디지털/전자 정지 또는 비디오 카메라, 또는 필름/사진 스캐너)는 또한 개인용 컴퓨터(110)로의 입력 장치로서 포함될 수 있다. 또한, 단지 하나의 카메라가 서술되지만, 개인용 컴퓨터(110)로의 입력 장치로서 다수의 카메라가 포함될 수 있다. 하나 이상의 카메라들로부터의 이미지(193)는 적합한 카메라 인터페이스(194)를 통해 컴퓨터(110)에 입력된다. 이러한 인터페이스(194)는 시스템 버스(121)에 접속되어, 이미지들이 RAM(132), 또는 컴퓨터(110)와 관련된 기타 데이터 저장 장치들 중 하나에 라우팅되고 저장되도록 허용한다. 그러나, 이미지 데이터는, 카메라(192)를 사용할 필요 없이, 상기한 컴퓨터 판독가능 매체중 임의의 것으로부터 컴퓨터(110)로 입력될 수도 있음을 주의해야 한다.
컴퓨터(110)는 원격 컴퓨터(180)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용한 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어(peer) 장치, 또는 기타 공통 네트워크 노드일 수 있으며, 비록 도 1 에는 메모리 저장 장치(181)만이 도시되어 있지만, 컴퓨터(110)에 관하여 상술한 구성요소 중 다수 또는 모든 구성요소를 일반적으로 포함할 수 있다. 도 1에 도시된 논리적 접속은 근거리 통신망(LAN; 171) 및 원거리 통신망(WAN; 173)을 포함하지만, 그 외의 네트워크를 포함할 수도 있다. 이러한 네트워크 환경은 사무실, 기업 광역 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다.
LAN 네트워크 환경에서 사용되는 경우, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 네트워크 환경에서 사용되는 경우, 컴퓨터(110)는 일반적으로 인터넷 등의 WAN(173)을 통해 통신을 구축하기 위한 모뎀(172) 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 기타 적절한 메카니즘을 통해 시스템 버스(121)에 접속될 수 있다. 네트워크 환경에서, 컴퓨터(110)에 관하여 도시된 프로그램 모듈 또는 그 일부분은 원격 메모리 저장 장치에 저장될 수 있다. 예로서 (한정하고자 하는 것은 아님), 도 1은 메모리 장치(181)에 상주하는 원격 애플리케이션 프로그램(185)을 도시한다. 도시된 네트워크 접속은 예시적인 것이며, 컴퓨터들간의 통신 링크를 구축하는 그 외의 수단이 사용될 수 있음을 이해할 것이다.
2.0 다중 이미지 특징 매칭 시스템 및 프로세스
지금까지 예시적인 오퍼레이팅 환경이 논의되었으며, 이제부터는 본 발명을 구현하는 프로그램 모듈에 관하여 기술할 것이다. 통상적으로, 본 발명에 따른 시스템 및 프로세스는 장면(scene)의 다수의 이미지들 중 상응하는 포인트를 식별하는 것을 포함한다. 통상적으로, 이것은 도 2의 고레벨 흐름도에 나타난 것과 같은 아래의 프로세스 동작을 통해서 이루어진다. 먼저, 가변 해상도의 각각의 이미지에서 관심 포인트들이 식별된다(프로세스 동작 200). 관심 포인트는 이미지내에서의 위치가 그 포인트 근방에서 사전규정된 크기의 픽셀 인접 영역에서의 픽셀들에 기인하는 적어도 하나의 속성에 의해서 정의되는 포인트이다. 추가적으로, 각각의 관심 포인트는 그 포인트 근방의 픽셀 인접 영역에서의 픽셀들에 기인하는 적어도 하나의 속성(포인트 위치를 정의하는 데에 이용되는 동일한 속성 또는 속성들 또는 다른 속성 또는 속성들일 수 있음)에 근거하여 고유한 방위가 부여될 수 있는 포인트이다. 이러한 제2의 인접 영역은 포인트 위치를 정의하는 데에 이용되는 크기와 동일한 예정된 크기이거나, 상이한 크기의 인접 영역일 수 있다.
일단 관심 포인트들이 식별되고 나면, 프로세스 동작 202에서 각각의 관심 포인트에 대한 기술자(descriptor)가 확립된다. 이러한 기술자는 포인트의 위치 및 방위를 정의하는 데에 이용되는 픽셀의 세기의 변화뿐만 아니라 이미지 위치, 방위 및 스케일의 변화에 대하여 실질적으로 불변인 방식으로 각각의 포인트를 특징짓는다. 다음으로, 실질적으로 매칭하는 기술자들의 세트들이 이미지들 중에서 식별된다(프로세스 동작 204). 마지막으로, 프로세스 동작 206에서 상이한 이미지들에서 나타나는 각각의 매칭 기술자들의 세트와 관련된 관심 포인트들이 상응하는 포인트들(즉, 장면의 동일한 부분을 나타내는 포인트들)로 지정된다.
통상적으로 세기 값들의 바이어스/이득 정규화 패치(patch)인 특징 기술자에 의해서 나타나는 상술한 새로운 클래스의 불변 특징(feature)들은 먼저 아래의 섹션에서 기술될 것이며, 그 뒤에 특징 매칭 기법이 기술될 것이다.
2.1 다중 스케일 지향 특징
다중 스케일 지향 특징들은 4개의 기하학적 파라미터 및 2개의 광도 파라미터(photometric parameter)에 의해서 특징화된다. 기하학적 파라미터는 t1, t2, θ, l, 즉 이미지 내의 영역 또는 패치(patch)의 중심의 x, y 위치와, 그 방위와 스케일이다. 광도 파라미터는 α, β, 즉 패치의 이득과 바이어스이다. 이러한 표현에 있어서, 패치 매칭에 대한 단순한 6개의 파라미터 모델이 이용되며, 정확한 정합들과 부정확한 매치들에 대한 잡음 통계가 분석된다. 이것은 특징 당 아웃라이어 거리(a per feature outlier distance)에 근거하는 간단한 매치 검증 절차가 된다. 보다 구체적으로, 상응하는 이미지 패치들 간의 변환은
과 같으며, 여기서 
이고, 
이다. 에러 e는 촬상(imaging) 잡음 및 모델링 에러를 나타낸다.
특징의 중심의 x, y 위치는 이러한 변환이 잘 정의되는, 소위 I(x)의 자기상관(autocorrelation)이 최대인 포인트들과 일치하는 것으로 간주된다. 이들 포인트들에 대한 후보들은 관심 포인트들로 불리울 것이다. 특징들을 비교하기 위하 여, 원칙적으로 이미지 위치들의 쌍 사이의 변환 파라미터들에 대한 최대 가능성 추정치를 계산할 수 있을 것이다. 가우스 잡음을 가정하면, 이것은 비선형 최소 스퀘어 문제(a non-linear least squares problem)를 풀이함으로써 반복적으로 행해질 수 있다. 그러나, 효율을 위하여 각각의 특징은 앞선 모델에서의 불변성 및 이용될 수 있는 특징쌍들 사이의 모델 파라미터들에 대한 폐쇄형 근사값들에 의해서 특성화될 수 있다. 에러 e의 통계는 매치가 정확한지 여부를 검증하는 데에 이용될 수 있을 것이다.
2.1.1 관심 포인트
위치 및 방위 모두를 가지는 것으로 특성화될 수 있는 이미지 내의 많은 포인트들이 존재하는 경우에[17], 본 시스템 및 프로세스의 테스트된 실시예에 대하여 선택된 관심 포인트들은 소위 해리스 코너들(Harris corners)과 관련되어 있다. 이들 해리스 코너들과 일치하는 관심 포인트들은 다음과 같이 획득된다. 각각의 입력 이미지 I(x,y)에 대하여, 이미지 파라미터가 최저 레벨 Po(x,y)=I(x,y)과, 평활화(smoothing) 및 서브샘플링(subsampling) 연산, 즉
에 의해서 관련되는 보다 높은 레벨들로 형성되며, 여기서, l은 피라미드 레벨을 나타내며, gσ(x,y)는 표준 편차 σ인 가우스 커널을 나타낸다. 이러한 피라미트 형성 절차의 테스팅된 실시예에서 s=2의 서브샘플링 레이트 및 σp=1.0의 피라 미드 평활화가 성공적으로 이용되었다. 그러나, 통상적으로 s에 대하여는 약 1.1 내지 3.0의 범위내의 값들이, σp에 대하여는 약 0.55 내지 1.5의 범위내의 값들이 이용될 수 있다. 관심 포인트들은 각각의 피라미드 레벨로부터 추출될 수 있다. 레벨 l 및 위치 (x,y)에서의 해리스 매트릭스는 계조
의 평활화된 외적이며, 여기서 ∇σ는 스케일 σ에서의 공간 도함수(spatial derivative), 즉
를 나타낸다. 테스트된 실시예에서, 적분 스케일은 σi = 1.5, 도함수 스케일은 σd= 1.0으로 세팅되었다. 그 후에, 코너 검출 함수
가 이용되며, 이는 H의 고유값(eigenvalue)(λ1,λ2)의 조화 평균이다. 테스트된 실시예에서, 관심 포인트들은 코너 강도 fHM(x,y)이 주변 인접 영역의 극대이며, 10.0의 임계값을 초과하는 곳에 위치하는 것으로 간주되었다. 그러나, 통상 적으로 약 0.5 내지 2.5의 범위의 값들이 σi에 대하여 이용될 수 있으며, 약 0.5 내지 2.5의 범위의 값들이 σd에 대하여 이용될 수 있으며, 임계값은 0미만의 임의의 값이 될 수 있음을 알 수 있다. 앞서 기술한 주변 인접 영역의 크기는 간략하게 기술될 것이다.
앞서 기술한 관심 포인트 검출 함수의 선택의 근거는 H와 로컬 자기상관 함수 사이의 관계에 의해서 이해될 수 있을 것이다. 이미지 I(x)에 대하여, 제 1 차 테일러 확장(Taylor expansion)은 로컬 자기 상관에 대한 함수로서
과 같이 표현될 수 있다.
관심 포인트들은 자기상관 함수의 피크들에 위치한다. 이것은 e(u)가 모든 단위 벡터 u에 대하여 큰 것을 의미하며, 이는 H의 두 고유값이 클 것을 요구하는 것과 등가이다.
조화 평균 함수 이외의 코너 검출 함수들도 또한 관심 포인트 위치들을 탐색하는데 채택될 수 있다는 점이 주목된다. 예를 들어, 소위 해리스 함수(즉, f H = λ 1 λ 2 - 0.04(λ 1 + λ 2 )2 = detH - 0.04(tr H)2) 및 쉬-토마시 함수(즉, f ST = min(λ 1 λ 2 ))로 대체되어 사용될 수 있다. 도 3은 조화 평균 관심 포인트 위치 검출 함수의 등윤곽들(isocontours)을 이들 기타 함수와 비교하고 있다. 모든 검출기들은 2개의 고유값이 모두 클 것을 요구한다는 점에 주목하자. 예비적인 실험에 의하면 이들 검출기들은 대략 동일한 성능을 나타내므로, 상호 대체되어 사용될 수 있다.
2.1.1.1 적응성 넌-맥시멀 억제(Adaptive Non-Maximal Suppression)
계산상의 고려사항들로 인해 각 이미지마다 일정한 수의 관심 포인트들을 생성하는 것이 바람직하다. 이미지에서 공간적으로 잘 분산된 관심 포인트들을 선택하기 위해, 적응성 넌-맥시멀 억제 전략이 채택될 수 있다. 보다 구체적으로, 관심 포인트들은 코너 강도 f HM 에 기초하여 억제되고, 반경 r 픽셀들에 인접하는 것 중 최대의 관심 포인트들만이 유지된다. 각 이미지로부터 적절하게 일정한 수 n ip 의 관심 포인트들을 추출하기 위해, 넌-맥시멀 억제 반경 r 에 대해 탐색할 수 있다. 테스트된 실시예에서는, r의 초기값 r init = 4.0이 채택되었지만, 이는 일반적으로 1 내지 15의 범위의 값일 수 있다. 그리고, r의 최대값을 위해 연속적인 정수 값들이 탐색되어, 각 이미지로부터 더 이상 n ip 관심 포인트들이 추출되지 않는다. 테스트된 실시예에서는, n ip = 500이지만, 이는 일반적으로 이미지의 크기 및 본질에 따라 약 10 정도 낮은 값에서 수 천 정도까지 범위의 값일 수 있다. 최대 코너 강도에 기초하여 선택하는 것과는 반대로, 상술한 방식으로 관심 포인트들을 공간적으로 분산함으로써 이미지 매치 누락(dropped image matches)이 적다는 것이 밝혀졌다.
2.1.1.2 서브-픽셀 정밀도(Sub-Pixel Accuracy)
(검출 스케일로) 국부적인 인접 영역(local neighborhood)에서의 코너 강도 함수에 2차 방정식을 적용하여 그 최대값을 찾는 것에 의해 관심 포인트들을 서브-픽셀 정밀도에 위치시킴으로써 보다 우수한 결과가 달성될 수 있다.
여기서, x는 위치(x, y)이고, f(x) = f HM (x)는 코너 강도 측정치이다. 테스트된 실시예에서는 3 x 3 인접 영역이 사용되었다. 픽셀 차분들을 사용하여 3 x 3 인접 영역으로부터 도함수들이 계산된다.
서브픽셀 위치의 x 및 y 성분들은 아래의 식과 같이 주어진다.
반복성은 그 변환 포인트이 특정 허용오차까지 정확한 관심 포인트들의 분수 로서 정의될 수 있다. 지금까지의 절차들을 사용하여 서브 픽셀 로컬화를 행한/행하지 않은 관심 포인트들의 반복성이 도 4에 도시된다. 서브-픽셀 로컬화는 반복성을 대략 5% 향상시킨다는 점에 주목하자.
2.1.2 방위(orientation)
각 관심 포인트은 방위 θ를 가지며, 방위 벡터 
은 이하의 식으로 표현되는 평탄화된 로컬 계조에서 발생한다.
테스트된 실시예들에서 방위에 대해 채택된 적분 스케일은 σ0 = 4.5이다. 모션 필드 u 1 (x, y)가 이미지을 가로질러 평탄하게 변화하여, 방위 추정치가 관심 포인트 위치에서의 에러들에 대해 내성을 갖게 하려면 미분 스케일이 큰 것이 좋다. 그러나, 일반적으로, 방위에 대한 적분 스케일은 약 2.0에서 7.0 사이의 범위일 수 있다.
본 시스템 및 프로세스의 테스트된 실시예들에는 각 관심 포인트에 대해 방위를 구축하기 위해 블러링된 로컬 계조 접근법(blurred local gradient approach)가 사용되었지만, 다른 방법들도 또한 사용될 수 있다는 점이 주목된다. 예를 들어, 방위 측정 방법의 다른 예로서는 계조 히스토그램의 최대값들 또는 H 행렬의 고유 벡터들을 사용하는 것이 포함된다.
2.1.3 기술자 벡터(Descriptor Vector)
각각의 지향된 관심 포인트(x, y, l, θ)에 대해, 기술자 영역은 검출 스케일에서 크기가 p x p 픽셀들인 패치이다. 패치는 (x, y)에 중심을 두고 각 θ로 방위된다. 이러한 p x p 기술자 영역으로부터, 크기가 d x d 픽셀들인 기술자 벡터가 형성된다. 테스트된 실시예에서는, p = 40 이고 d = 8 이지만, 일반적으로 p는 이미지 크기의 약 0.1 내지 10 퍼센트 범위일 수 있고, d는 이에 비례한다. 도 6은 피크의 정상에 있는 관심 포인트와 관련된 기술자 영역이 백색 박스로서 도시된 산모양 장면의 이미지를 나타낸다. 관심 포인트의 위치는 백색 점으로서 도시되고, 관심 포인트로부터의 연장선이 포함되어 그 포인트에 할당된 방위 방향을 나타낸다. 도 7은 도 6의 기술자 영역으로부터 형성된 8 x 8 기술자를 나타낸다. 관심 포인트 및 방위선도 마찬가지로 도면에 백색으로 도시된다.
샘플링시 에일리어싱/블러링(aliasing/blurring)을 회피하기 위해서, 기술자는 픽셀당 대략 1회 샘플링을 하는 피라미드 레벨로 샘플링된다. 이러한 것을 달성하는 방식 중 하나는 검출 스케일 이상의 레벨인 레벨 l s 로부터 기술자를 샘플링하는 것으로, 레벨 l s 는 이하의 식으로 표현된다.
기술자 벡터는 쌍선형 보간(bilinear interpolation)을 사용하여 샘플링된다.
예를 들어, 테스트된 실시예에서 p = 40, d = 8, s = 2이고, 기술자는 검출 스케일 이상의 l s = 2 레벨로 샘플링될 것이다. 그러나, 관심 포인트가 레벨 l로 검출되었다고 가정하자. 이는 
로부터의 기술자를 샘플링하는 것을 제안한다. 그러나, 이 대신 기술자가 
즉, 다운샘플링이 아니라 블러링으로부터 샘플되는 대안적인 실시예를 사용하여 보다 우수한 결과가 달성될 수 있다는 것이 발견되었다. 또한, 비록 보다 작은 이득이기는 하지만, 
로부터 샘플링하여 이루어질 수도 있다.
2.1.3.1 정규화(Normalization)
그 다음, 기술자 벡터는 표준화되어, 평균이 0, 표준 편차가 1이 된다. 즉,
여기에서, 
는 기술자 벡터의 성분이고, 
이고, 
이다. 이는 세기에서의 관련 변화들(바이어스 및 이득)에 대해 불변하는 특징을 이루도록 한다.
2.1.3.2 하르 웨이블렛 변환
결국, 하르 웨이블렛 변환은 d×d의 기술자 벡터 d i 에 대해 수행되어, 웨이블렛 계수 c i 를 포함하는 d 2 차원 기술자 벡터 를 형성한다. 하르 웨이블렛의 직교 특성 때문에, 거리는 다음과 같이 유지된다. 즉,
따라서, 합-제곱 차동 의미에서 가장 가까운 이웃들은 변경되지 않는다. 그러나, 최초 3개의 넌제로(non-zero) 웨이블렛 계수들 c 1, c 2, c 3은 간략하게 후술될 인덱싱 방법에서 사용된다.
2.1.4 기술자 생성 프로세스 요약
본 발명의 실시예에 따라 각 관심 포인트에 대한 기술자를 생성하기 위한 기술, 및 상기 관심 포인트를 정의하도록 해리스 코너 특징을 사용하는 프로세스, 및 각 특징에 대한 방향을 설정하기 위한 블러링된(blurred) 로컬 변화 접근법에 대한 상기 설명은, 도 5a 내지 5c의 프로세스 순서도에서 요약된다. 이 프로세스는 이미지에서 관심 포인트를 식별하는 것으로 시작한다. 보다 구체적으로, 각 이미지에 대해서, 이미지 해상도 피라미드가 형성된다(프로세스 동작 500). 그 다음, 사전에 비선택된 피라미드 레벨이 선택되고(프로세스 동작 502), 선택된 레벨의 각 Harris 코너의 위치가 식별된다(프로세스 동작 504). Harris 코너들 중에 사전에 비선택된 것 하나가 그 다음 선택되고(프로세스 동작 506), 선택된 코너의 코너 강도가, 코너의 위치를 나타내는 관심 포인트을 중심으로 하는 규정된 최소 인접부 반경의 픽셀 인접부에서 극대인지가 판정된다(프로세스 동작 508). 선택된 코너의 코너 강도가 극대이면, 다음에는 코너 강도가 규정된 최소 강도 임계값을 초과하는지 여부가 또한 판정된다(프로세스 동작 510). 코너 강도가 규정된 최소 강도 임 계값을 초과한다면, 선택된 코너는 후보 코너로서 지정되고(프로세스 동작 512), (만약 있다면) 다른 코너들은 테스트된다. 그러나, 코너 강도가 극대가 아니라고 판정되거나, 코너 강도가 최소 임계값을 초과하지 않는다고 판정된다면, 선택된 코너는 고려 대상으로부터 삭제되고, (만약 있다면) 다른 코너들이 테스트된다. 따라서, 어느 쪽이라도, 아직 고려해야 하는 사전에 비선택된 코너들이 있는지를 판정해야 하는 동작이 다음에 수반된다(프로세스 동작 514). 고려해야 하는 코너들이 남아있다면, 프로세스 동작 506을 시작으로 하여 상술한 프로세스가 반복된다. 고려해야 하는 코너들이 남아있지 않다면, 프로세스는, 최종-사용된 인접 영역 반경이 규정된 정수값(예를 들어, 1)으로 증가되는 프로세스 동작 516으로 진행한다. 그 다음, 상술한 스크리닝 과정이 각 후보 코너들에 대해 반복된다. 특히, 사전에 비선택된 후보 코너가 선택되고(프로세스 동작 518), 그 코너 강도가 현재 인접 영역 반경값에 의해 정의된 픽셀 인접 영역에서의 극대인지가 판정된다(프로세스 동작 520). 선택된 후보 코너의 코너 강도가 극대라면, 다음에는 이 코너 강도가 최소 강도 임계값을 초과하는지 여부가 또한 판정된다(프로세스 동작 522). 만약 코너 강도가 최소 강도 임계값을 초과한다면, 선택된 코너는 자신의 후보 코너 지정을 유지하고(프로세스 동작 524), (만약 있다면) 다른 후보 코너들이 고려된다. 그러나, 코너 강도가 극대가 아니라고 판정되거나, 코너 강도가 최소 임계값을 초과하지 않는다고 판정된다면, 선택된 후보 코너는 고려 대상으로부터 삭제되고, (만약 있다면) 다른 후보 코너들이 테스트된다. 따라서 양쪽 경우에 있어서, 그 다음 동작은, 고려할 이전의 비선택된 후보 코너가 아직 존재하는지를 판정하는 것이 다(프로세스 동작 526). 고려할 코너가 남아있는 경우, 프로세스 동작(518)에서 시작하는 프로세스의 일부분이 반복된다. 테스트할 후보 코너가 남아있지 않은 경우, 후보 코너로서 지정된 코너의 수가, 규정된 최대 허용가능한 수를 초과하는지를 판정한다(프로세스 동작 528). 후보 코너의 최대 허용가능한 수가 초과하는 경우, 프로세스 동작 516～528은, 후보 코너의 수가, 허용된 최대 값을 더 이상 초과하지 않을 때까지 적절하게 반복한다.
수용가능한 후보 코너의 수가 남아있는 경우, 프로세스는, 남아있는 후보 코너 각각의 위치를 고려중인 이미지에 대한 관심 포인트로서 정의하는 포인트를 지정한다(프로세스 동작 530). 다음으로, 이전에 비선택된 관심 포인트를 선택하고(프로세스 동작 532), 그 위치를 상세화한다. 특히, 프로세스 동작 534에서, 관심 포인트의 위치는, 선택된 포인트의 중심에 있는 규정된 크기의 로컬 인접 영역에 적합한 2D 2차 표면의 최대 세기가 나타나는 위치로서 지정된다.
선택된 관심 포인트의 상세화된 위치가 설정되는 경우, 방위를 포인트에 할당한다(프로세스 동작 536). 이전에 나타낸 바와 같이, 이는, 블러링된 계조(blurred gradient) 접근법을 사용하는 본 발명의 테스트된 실시예에서 수행된다. 다음으로, 선택된 관심 포인트의 위치 및 방위를 사용하여 포인트에 대한 기술자 벡터를 생성한다. 이는, 관심 포인트 위치에 중심을 두고 관심 포인트의 방위를 따라 지향된 p×p 크기의 기술자 영역(또는 패치)를 먼저 설정함으로써 수행된다(프로세스 동작 538). 규정된 크기 d×d의 더 작은 기술자 벡터는, 이전에 설명한 바와 같이, 세기 값을 샘플링하는 쌍선형 보간을 사용하여 기술자 영역으로부터 형 성한다(프로세스 동작 540). 다음으로, 이 기술자 벡터를 정규화하고(프로세스 동작 542), 하르 웨이블렛 변환을 행한다(프로세스 동작 544). 변환된 기술자 벡터는, 선택된 관심 포인트에 대한 기술자를 표현한다. 이 프로세스는, 임의의 비선택된 관심 포인트가 남아있는지를 먼저 판정함으로써 다른 관심 포인트 상에서 수행된다(프로세스 동작 546). 그러한 경우, 프로세스 동작 532～546은, 모든 괌심 포인트가 그들과 관련된 변환 기술자 벡터를 구비할 때까지 적절하게 반복된다.
최종적으로, 기술자 생성 프로세스는, 이전의 비선택된 피라미드 레벨이 남아있는지를 먼저 판정함으로써 이미지 피라미드의 모든 다른 해상도 레벨에 대해 수행된다(프로세스 동작 548). 남아있는 경우, 프로세스 동작 502～548이 적절하게 반복된다. 완료되는 경우, 이미지 피라미드의 모든 레벨에서 발견된 각각의 관심 포인트와 관련된 변환 기술자 벡터가 존재한다. 방위를 계산하고 각각의 관심 포인트에 대한 변환 기술자 벡터를 생성하는 대신, 상술한 바와 같이 식별되는 것처럼, 모든 관심 포인트를 식별하고, 그 방위를 판정하며, 대안적 접근법으로서의 배치(batch) 방식으로 변환 기술자 벡터를 생성하는 것도 가능하다는 점을 주목한다.
2.2 특징 매칭
장면의 이미지 세트 내의 모든 n개 이미지으로부터 추출된 멀티-스케일 지향 패치를 부여받은 경우, 특징 매칭의 목적은 모든 이미지 간의 일관된 매치를 기하학적으로 찾아내는 것이다. 이 작업을 수행하기 위하여, 먼저 특징 매칭을 위한 확률 모델을 개발한다. 이는, "아웃라이어(outlier) 거리 제약"으로 칭해질 특징 매치 검증에 대한 단순한 제약을 야기시킨다. 또한, 아웃라이어 거리 제약을 적용하는 것을 추가하거나, 아웃라이어 거리 제약을 적용하는 대신에, 기하학적 제약을 적용하여 아웃라이어를 거절하고, 이미지 매치를 발견할 수 있다.
2.2.1 특징 매칭을 위한 확률 모델
이상적으로는, 트레이닝 데이터로부터 정확하고 부정확한 매칭에 대한 에러의 분포 p(eimage)를 계산하고, 이것을 사용하여 주어진 특징 매칭 
가 정확한지 또는 부정확한지에 대한 확률적 판단을 한다. 그러나, 다음의 이미지 기반 에러
는 특징 매칭이 정확한지 부정확한지의 여부를 결정하는데에는 부족한 메트릭이라는 것을 발견하였다. 사실, 정확하고 부정확한 매칭에 대한 │eimage│의 값은 종종 구별할 수 없고 정확/부정확한 매치들을 선택하기 위해 │eimage│를 임계화한다는 것은 가능하지 않다는 것을 발견하였다.
또한, 콘트라스트를 변경하면서 패치에 대한 가장 가까운 이웃 매치들과 관련된 에러가 관심사이다. 정확하고 부정확한 매치들에 대한 에러들 간의 분명한 차이점이 항상 존재하지만, 그 에러들의 스케일이 상당히 변한다는 것을 발견하였다. 특히, 에러는 높은 콘트라스트를 갖는 패치에 대해서는 더 커지고, 낮은 콘트 라스트 패치에 대해서는 더 작아진다. 이로 인해, 낮은 콘트라스트 패치가 포함될 때 정확하고 부정확한 매칭들 간을 구별하는 것이 어려워진다.
한가지 가능한 해결책으로는, 콘트라스트에 대해 특징을 정규화하는 것인데, 이는 특징 공간에 있는 에러를 계산하는 것, 즉,
과 등가이다.
정확하고 부정확한 매치들에 대한 efeature의 분포는 보다 잘 구별되지만, 분명한 임계값을 갖지는 않는다. 그래서, 매칭 에러의 크기가 순수하게 콘트라스트의 문제는 아니다. 고주파 콘텐츠가 또한 중요하다고 생각되는데, 예를 들면, 큰 계조를 갖는 특징은 임의의 오기(misregistrations)에 대해 큰 에러를 갖는다.
그러나, 특징을 단위 기반에 있어서, 정확하고 부정확한 매치들에 대응하는 특징 거리의 바이모드(bimodal) 분포가 존재한다는 것을 발견하였다. 사실상, 질의(query)로부터의 부정확한 매치들의 거리는 거의 일정한 것 같다. 이 현상은 쉘(shell) 속성으로 공지된 고차원 공간의 속성과 관련이 있다고 생각된다.
고차원에서, 대부분의 초구(hypersphere)의 볼륨은 외부 쉘에 집중된다. 이것은 가우스 분포와 같은 공통적인 분포에 대해, 대부분의 확률 질량이 외부 쉘에 위치된다는 것을 의미한다. d차원 하이퍼큐브에 있는 균일 분포 포인트의 세트를 고려해보자. 중심 거리 r내의 포인트의 갯수는, 공간의 경계에 도달할 때까지 rd로 증가하고, 그 경계에서 급격히 감소한다. d가 커짐에 따라, 대부분의 모든 포인트들은 주어진 질의 포인트로부터 동일한 거리를 갖게 되는데, 즉, 그 포인트들은 질의로부터 일정 거리에 있는 얇은 쉘에 있게 된다는 것을 의미한다. 그러나, 이 거리의 값은 공간에 있는 질의 포인트의 위치에 의존한다는 것을 고려해야 된다. 예를 들면, 에지 쪽의 포인트는 중심에 있는 포인트보다 더 큰 거리를 갖는다.
제1의 가장 가까운 이웃(1-NN) 거리에 기초한 임계화는 신뢰할 수 없지만, 제1 및 제2의 가장 가까운 이웃 간의 거리비 e1-NN/e2-NN는 매치가 정확한지를 결정하기 위한 양호한 메트릭이라는 것을 Lowe[11]가 제안하였다. 멀티 이미지 매칭의 경우에, 하나 이상의 정확한 매치가 존재하고, 그래서, 대신 비율 ei/eoutlier를 검사하게 되는데, 여기서 ei는 고려되고 있는 매치의 거리이고 eoutlier는 '아웃라이어 거리'이다. 특징(iε{1...k})당 많아야 k개의 매치가 존재하며 아웃라이어 거리가 가장 가까운 이웃(k+1 내지 k+n0)의 평균 거리로서 계산된다고 가정한다. 베이스(Bayes) 결정 규칙을 이용하면 매치를 다음과 같이 분류할 수 있다.
이것은 수학식 17을 만족하면 특징 매치를 정확하게 분류하게 된다.
이것은 아웃라이어 거리 제약(outlier distance constraint)이라 칭해진다. eoutlier를 최적으로 계산하는 방식에 대하여 문제점이 존재한다.
2.2.2 아웃라이어 리젝션(rejection)을 이용한 특징 매칭
특징 매칭 절차는 가장 가까운 이웃을 이전에 계산된 기술자 벡터들의 각각으로 빠르게 근사화함으로써 시작한다. 이러한 가장 가까운 이웃 벡터는 이미지들 간의 후보 매칭 포인트를 나타낸다. 다음으로, 본 특징 매칭 기술의 테스트된 실시예에서, 2단계 접근법을 이용하여 에러 매치들을 제거한다. 특히, 상기한 아웃라이어 거리 제약을 이용하는 비기하학적 아웃라이어 리젝션 기술을 사용하여 거짓 매칭 포인트를 제거한다. 마지막으로, 표준 기하학적 아웃라이어 리젝션 기술을 이용하여 임의의 남아있는 거짓 매칭 포인트를 추가로 제거한다. 그러나, 상기한 바와 같이, 이러한 리젝션 기술들중 하나 또는 기타 기술들은, 본 특징 매칭 기술을 이용하는 시스템의 프로세싱 제한 및 요구되는 정밀도에 따라 바이패스될 수 있다.
2.2.2.1 웨이블렛 인덱싱을 이용한 가장 가까운 이웃의 빠른 근사화
모든 이미지로부터 특징을 추출하며 각 특징은 특징 공간에서 k개의 가장 가 까운 근사 이웃에 매칭된다. 가장 가까운 고속 근사 계산은 해시 테이블을 이용하여 특징을 인덱싱함으로써 달성된다. 해시 테이블은 3차원이며 그 차원은 처음 3개의 넌제로 웨이블렛 계수(c1, c2, c3)에 대응하고, 이것은 패치에 대한 
의 추정값이다. 테스트된 실시예에서, k=4이고, 해시 테이블은 차원당 b=10 빈(bins)이다(이것은 그 차원의 평균으로부터 ±nσ=3인 표준 편차를 커버한다). 빈(bins)은 1/2만큼 중첩되어 1/2 빈 폭 (
) 내의 데이터가 매칭되는 것을 보장받는다. 이것은 가장 가까운 진짜 이웃이 3차원중 하나에서 σ/3 외부에 위치할 수 있기 때문에 (그러나 확률은 낮음) 가장 가까운 근사 이웃이다. 각 기술자 벡터는 동일한 빈에서 모든 특징에 매칭되며, k개의 가장 가까운 근사 이웃이 선택된다. 이후, 아웃라이어 거리 제약을 이용하여 후술할 정확한 매치를 검증하고 아웃라이어를 제거한다. 특징들 간의 거리를 이용하여 가장 가까운 이웃을 결정한다는 것에 주목하길 바란다. 테스트된 실시예에서, 이러한 거리들은 64차원 특징 벡터의 제곱 차의 합으로서 계산된다.
2.2.2.2. 아웃라이어 거리 제약을 이용하는 아웃라이어 리젝션(Outlier Rejection Using The Outlier Distance Constraint)
전술한 쉘 속성(shell property)은 거의 모든 부정확한 매치(matches)들이 질의 포인트(query point)로부터 대략 동일한 거리(즉, 아웃라이어 거리)를 갖게 될 것인데 비해, 정확한 매치들은 촬상(imaging) 및 검출 잡음(detection noise)으로 인해서만 상이할 것이기 때문에 아웃라이어 리젝션 전략(rejection strategy)의 기초로서 이용될 수 있다. 아웃라이어 거리가 추정될 수 있는 하나의 방안은 이 거리를 각각의 이미지에 대해 2-NN 거리의 최소값 혹은 평균으로 나타내는 것이다. 아웃라이어 거리가 계산됨에 따라, 아웃라이어 거리 제약이 적용될 수 있게 되어 거짓 매치들(false matches)의 수를 줄일 수 있다. 보다 구체적으로는 고려 중인 벡터에 가장 가까운 이웃(neighbors) 중 하나가 되는 것으로 발견된 벡터가 아웃라이어 거리의 65% 내에 있는 그 벡터로부터의 거리를 가지면, 그 벡터는 매칭 포인트와 연관될 것으로 고려된다. 그 벡터의 거리가 아웃라이어 거리의 65%내에 있지 않은 경우에는 그 벡터의 거리와 연관된 포인트는 매칭 포인트로는 고려되지 않는다.
2.2.2.3 기하학적 제약을 이용하는 아웃라이어 리젝션
일단 아웃라이어 거리 제약을 이용하여 후보 매치들이 상세화되면, 그 매치들은 기하학적 매칭 제약을 이용하여 추가로 상세화될 수 있다. 본질적으로 이것은 나머지 매칭 포인트들이 그 장면의 이미지에 실제로 대응하는지를 판단하기 위한 표준 방법의 이용과 연관되어 있다. 한 포인트로부터 이미지들이 추출되었고, 그 장면이 움직임이 없는 상태라면, 파노라마식 동작 모델(호모그래피; homography)이 적절하다. 이동 카메라와 정지 장면을 이용하여 이미지들이 추출되면, 완전한 3D 동작 모델(기본 행렬; fundamental matrix)이 적합하다. 또한, 복수의 혹은 이동 중인 대상에 대해 보다 정교한 동작 모델들을 고안해내는 것도 가능하다. 자동 파노라마 스티칭(stitching)의 경우, [6]에 나타낸 바와 같이 매칭을 위해 파노라마 동작 모델과 확률 모델(probabilistic model)이 적절한 선택이 된다. 장면 중의 동일 부분을 묘사하는 또 다른 하나의 이미지의 포인트와 실제로는 매칭하지 않는 것으로 발견된 하나의 이미지로부터의 임의의 포인트는 매칭 포인트들의 세트로부터 제거된다.
2.2.3 특징 매칭 프로세스 요약(The Feature Matching Process Summary)
본 발명의 시스템에 대한 일 실시예에 따른 일련의 장면들로 된 이미지들 중 대응하는 포인트들을 식별하기 위한 특징 매칭 기술, 및 3D 해시 테이블과 아웃라이어 거리 제약에 적어도 부분적으로 기반을 두고 있는 아웃라이어 리젝션을 이용하는 프로세스에 대한 전술한 설명이 도 11의 프로세스 흐름도에 정리되고 있다. 프로세스는 각각의 변환된 기술자 벡터(descriptor vector)를 특징 공간내의 가장 가까운 소정 수의 이웃들에 매칭시킴으로써 시작된다. 보다 구체적으로는, 3D 해시 테이블은 각각의 변환된 기술자 벡터의 처음 3개의 넌제로 웨이블렛 계수들(first three non-zero wavelet coefficients)로부터 생성된다(프로세스 동작 1100). 앞에서 지적한 바와 같이, 본 특징 매칭 기술의 테스트된 실시예들 중에서, 해시 테이블은 차원당 10개의 빈(bin)을 가지며, 각각의 빈은 절반의 오버랩 범위(overlapping ranges)를 갖게 된다. 해시 테이블의 각각의 빈의 각 3개의 계수 벡터간 거리가 계산된다 (프로세스 동작 1102). 이러한 거리는 고려중인 벡터와 동일한 이미지로부터의 것이 아닌 동일 빈 내의 소정수의 가장 가까운 이웃들을 식별하기 위해 각각의 기술자 벡터에 대해 다음에 사용된다 (프로세스 동작 1104a). 특징 매칭 기술의 대안적 실시예에서는 다음의 동작 1104b가 프로세스 동작 1104a를 대신하게 된다. 즉, 각각의 기술자 벡터에 대해, 기타 이미지들의 각 각으로부터의 것인 동일 빈 내의 가장 가까운 이웃들은 소정의 최대 개수까지 식별된다. 동작 1104a 및 1104b의 대안적 본질을 점선의 박스를 이용하여 도 11에 나타내고 있다.
일단 각 기술자(descriptor) 벡터에 대한 가장 가까운 이웃이 식별되면, 이전에 비선택된 벡터가 선택된다(프로세스 동작 1105). 관련 관심 포인트가 선택된 벡터와 관련된 관심 포인트에 실제로 대응하지 않는 선택된 벡터에 대해 가장 가까운 이웃 기술자 벡터는 고려 대상으로부터 제외된다. 보다 구체적으로, 본 특징 매칭 기술의 테스트된 실시예에서 이는 전술한 바와 같이 2개의 단계로 수행된다. 아웃라이어(outlier) 거리 제약을 이용하여 아웃라이어 리젝션이라 불리는, 제1 단계(프로세스 동작 1108)는, 많은 개연성있는 비대응 포인트들을 제거하는 빠른 절차이다. 기하학적 제약을 이용하여 아웃라이어 리젝션으로 칭해지는 제2 단계(프로세스 동작 1110)는 높은 계산 비용에도 불구하고 전술한 바와 같이 보다 정확한 기하학 기반 비교를 이용한다. 그러나, 많은 잘못된 매치는 제1 단계에서 제거되어 있기 때문에, 제2 단계 프로세싱 요건은 최소화된다. 필수적으로, 제2 단계 기하학 기반 아웃라이어 리젝션 절차는 2개의 이미지 사이의 모든 포인트들이 가장 잘 매칭하는 변환을 찾고 변환되는 경우 특정 허용오차내에 대응하지 않는 포인트들을 버리는 것을 수반한다. 도 8a 및 도 8b는 아웃라이어 리젝션 프로세싱의 가치를 설명한다. 이들 도면은, 임의의 아웃라이어 리젝션 프로세싱 전에 식별된 이미지들 사이의 대응하는 위치들이 백색 도트로 나타내어지는(587개의 매치) 부분들을 갖는 산모양 장면의 2개의 이미지를 나타낸다. 도 9a 및 도 9b는 아웃라이어 거리 제약을 이용하여 아웃라이어 리젝션 기술의 적용 후의 도 8a 및 도 8b 각각과 동일한 이미지를 나타낸다. 여기서 242개의 아웃라이어가 제거되고 345개의 매치가 남는다. 도 10a 및 도 10b는 기하학 기반 아웃라이어 리젝션 기술의 적용 후의 도 9a 및 도 9b 각각과 동일한 이미지를 나타낸다. 또다른 34개의 아웃라이어가 식별 및 제거되어 이미지들 사이에 최종의 총 311개의 대응 포인트들만이 남는다.
제1 단계 아웃라이어 리젝션 절차는 본 특징 매칭 기술의 특정한 어플리케이션에 대하여 적합하게 정확한 결과들을 생성하고, 원한다면 제2 단계는 생략될 수 있다. 반대로, 프로세싱 비용이 상관없다면, 제2 단계 기하학 기반 아웃라이어 리젝션 절차를 이용하고 제1 단계를 생략할 수 있다.
제1 아웃라이어 리젝션 기술에 관하여, 테스트된 실시예에서, 이는 우선 선택된 기술자 벡터와 그것의 가장 가까운 이웃들에 대한 아웃라이어 거리를 계산하고, 선택된 벡터와 임의의 가장 가까운 이웃들 사이의 거리가 아웃라이어 거리의 약 65% 이상인지를 결정하는 것을 포함한다. 가장 가까운 이웃 벡터가 아웃라이어 거리의 약 65% 이상인 선택된 벡터에 대한 거리를 갖는 것으로 발견될 때마다, 선택된 벡터와 관련된 관심 포인트에 대응하는 포인트를 나타내는 것으로서 고려 대상으로부터 제외된다.
일단 아웃라이어 리젝션 절차가 완료되면, 선택된 벡터에 가장 가까운 이웃으로서 식별되었고 고려 대상으로부터 제외되지 않은, 기술자 벡터와 관련된 각각의 관심 포인트들은 선택된 벡터와 관련된 관심 포인트에 대응하는 포인트로서 지 정된다(프로세스 동작 1112). 전술한 프로세스는, 우선 임의의 비선택된 벡터가 남아있는지를 결정함으로써 다른 이미지에서 대응하는 포인트를 결정하기 위하여 각각의 다른 기술자 벡터에 대하여 다음에 수행된다(프로세스 동작 1114). 만약 남아있다면, 모든 벡터가 처리될 때까지 프로세스 동작 1106 내지 1114가 적절히 반복된다. 모든 벡터가 선택되어 처리되면, 절차는 종료된다.
본 발명의 시스템 및 프로세서에 따르면, 장면의 다수의 부분적으로 중첩하는 이미지들에 걸쳐서 신속히 특징들을 추출하고 대응들을 찾아내는 것이 가능하다.
3.0 참고문헌
Claims (23)
- 장면의 복수 이미지들 사이에서 대응하는 포인트들을 식별하기 위한 컴퓨터-구현 방법(computer-implemented process)으로서, 컴퓨터를 이용하여,가변하는 해상도들에서 각 이미지 내의 관심 포인트들(interest points)을 식별하는 단계 - 상기 포인트를 묘사하는 상기 이미지 내에서의 상기 관심 포인트들의 위치들은 상기 포인트 주변의 미리 정해진 크기의 제1 인접 영역 내의 픽셀들에 관한 적어도 하나의 속성에 의해 정의되고, 각각의 관심 포인트에 상기 포인트 주변의 미리 정해진 크기의 제2 인접 영역 내의 상기 픽셀들에 관한 적어도 하나의 속성에 기초하여 고유한 방위(unique orientation)가 할당될 수 있음 -;상기 관심 포인트들의 각각에 대해, 이미지의 위치, 방위 및 스케일에서의 변화들뿐만 아니라, 상기 포인트의 상기 위치 및 방위를 정의하는데 사용되는 상기 픽셀들의 세기(intensity)에서의 변화들에 대하여 실질적으로 변동하지 않는 방식으로 각 포인트의 특징을 기술하는 기술자(descriptor)를 생성하는 단계;상기 이미지들 사이에서 실질적으로 매칭하는 기술자들(matching descriptors)을 찾는 단계; 및서로 다른 이미지들에서 나타나는 매칭하는 기술자들의 각 세트와 연관된 상기 관심 포인트들을 대응하는 포인트들로서 지정하는 단계를 포함하는 프로세스 액션들을 수행하고,각 이미지 내의 관심 포인트들을 식별하는 상기 단계는, 각 이미지에 대하여,이미지 해상도 피라미드를 형성하는 단계를 포함하며,상기 피라미드의 각 레벨에 대해,코너 특징(corner feature)을 나타내는 상기 이미지 내의 위치들을 식별하는 단계 - 각 코너 특징은 해리스 코너(Harris corner)임 -;각 코너 특징의 방위를 식별하는 단계;각 코너 특징의 상기 식별된 위치를 개별 관심 포인트로서 지정하는 단계; 및각 코너 특징의 상기 식별된 방위를 해당 특징과 연관된 상기 관심 포인트에 할당하는 단계를 포함하고,코너 특징을 나타내는 상기 이미지 내의 위치들을 식별하는 상기 단계는,상기 위치를 중심으로 하는 미리 정해진 최소 인접 반경(neighborhood radius)의 픽셀 인접 영역에서의 극대(local maximum)인 코너 강도(strength)를 나타내며 미리 정해진 최소 강도 임계값을 초과하는 각 코너 특징의 상기 위치를 식별하는 단계;상기 인접 반경을 미리 정해진 정수값만큼 증가시키고, 그 코너 강도가 여전히 현재 고려 중인 상기 픽셀 인접 영역의 극대이고 여전히 상기 미리 정해진 최소 강도 임계값을 초과하는, 앞서 식별된 위치들을 식별하는 단계;식별된 위치들의 수가 미리 정해진 최대 수를 넘지 않을 때까지, 상기 증가 단계 및 두번째 식별 단계를 반복하는 단계; 및남은 상기 식별된 위치들의 각각을 개별 코너 특징을 나타내는 것으로 지정하는 단계를 포함하는, 컴퓨터-구현 방법.
- 제1항에 있어서,각 코너 특징의 상기 식별된 위치를 개별 관심 포인트로서 지정하는 상기 단계는,고려 중인 상기 식별된 위치를 중심으로 하는 미리 정해진 크기의 국부적인 인접 영역 상에 맞추어진 2D 2차 표면(2D quadratic surface)의 최대 세기가 나타나는 위치를 각 관심 포인트의 상기 위치로서 지정하는 단계를 포함하는, 컴퓨터-구현 방법.
- 제1항에 있어서,각 코너 특징의 상기 방위를 식별하는 상기 단계는,블러링된 계조 방식(blurred gradient approach)을 이용하여 각 코너 특징의 상기 방위를 식별하는 단계를 포함하는, 컴퓨터-구현 방법.
- 제1항에 있어서,상기 관심 포인트들의 각각에 대한 기술자를 생성하는 상기 단계는, 각 관심 포인트에 대해,고려 중인 상기 관심 포인트 위치를 중심으로 하며 상기 관심 포인트의 상기 방위에 따른 방위를 갖는 미리 정해진 p*p(p는 자연수) 크기의 기술자 영역을 설정하는 단계;상기 기술자 영역보다 작고, 상기 영역 내의 상기 픽셀들의 상기 세기 값들에 대한 쌍선형 보간(bilinear interpolation)을 이용하여 픽셀당 1회 샘플링하는 방식으로 상기 기술자 영역으로부터 샘플링된 미리 정해진 크기의 d*d(d는 자연수) 기술자 벡터를 형성하는 단계;상기 기술자 벡터를 정규화하는(normalizing) 단계; 및상기 기술자 벡터 상에 하르 웨이블렛 변환(Haar wavelet transformation)을 행하여 변환된 기술자 벡터를 산출하는 단계를 포함하는, 컴퓨터-구현 방법.
- 제4항에 있어서,상기 이미지들 사이에서 실질적으로 매칭하는 기술자들을 찾는 상기 단계는,상기 변환된 기술자 벡터들을 특징 공간 내의 상기 변환된 기술자 벡터들의 미리 정해진 수의 가장 가까운 벡터들에 매칭시키는 단계를 포함하는, 컴퓨터-구현 방법.
- 제5항에 있어서,상기 변환된 기술자 벡터들을 매칭시키는 상기 단계는,변환된 기술자 벡터 각각의 미리 정해진 수(n)의 웨이블렛 계수들로부터 3D 해시 테이블(hash table)을 생성하여 n-계수 벡터들의 해시 테이블을 형성하는 단계;상기 해시 테이블의 각 빈(bin)에 대해, 고려 중인 상기 빈에서 발견된 각 n-계수 벡터 사이의 거리를 계산하는 단계;각 n-계수 벡터에 대해, 상기 계산된 거리들에 기초하여, 동일한 빈에 존재하나, 고려 중인 상기 벡터와 동일한 이미지에 연관되어 있지 않은 미리 정해진 수의 가장 가까운 벡터들을 식별하여 잠재적으로 매칭하는 벡터들의 세트들을 형성하는 단계; 및잠재적으로 매칭하는 벡터들의 각 세트 내의 상기 벡터들에 연관된 상기 관심 포인트들을 상기 연관된 이미지들 내의 상기 장면의 동일 부분을 묘사하는 대응하는 포인트들로서 지정하는 단계를 포함하는, 컴퓨터-구현 방법.
- 제6항에 있어서,상기 해시 테이블은 각 차원마다 10개의 빈들을 갖고, 각 빈은 절반의 중첩 범위들(overlapping ranges of one half)을 가지며, 상기 미리 정해진 수(n)의 상기 웨이블렛 계수들은 3개의 제1 넌제로(first three non-zero) 웨이블렛 계수들을 가짐으로써 3-계수 벡터들의 해시 테이블을 형성하는, 컴퓨터-구현 방법.
- 제6항에 있어서,잠재적으로 매칭하는 벡터들의 각 세트 내의 상기 벡터들에 연관된 상기 관심 포인트들을 대응하는 포인트들로서 지정하는 상기 단계는,상기 잠재적으로 매칭하는 벡터들의 각각에 대해, 그의 연관된 관심 포인트들이 동일 벡터들의 세트 내의 3-계수 벡터들 중 다른 벡터와 연관된 다른 이미지 내의 관심 포인트에 실제로 대응되지 않는 임의의 3-계수 벡터들을 잠재적으로 매칭하는 벡터들로서의 고려 대상으로부터 제거시키는 단계; 및잠재적으로 매칭하는 벡터들의 각 세트에 남아있는 상기 3-계수 벡터들의 각각에 대해, 상기 벡터들에 연관된 상기 관심 포인트들을 상기 연관된 이미지들 내의 대응하는 포인트들로서 지정하는 단계를 포함하는, 컴퓨터-구현 방법.
- 제8항에 있어서,그의 연관된 관심 포인트들이 상기 동일 벡터들의 세트 내의 상기 3-계수 벡터들 중 다른 벡터와 연관된 다른 이미지 내의 관심 포인트에 실제로 대응되지 않는 임의의 3-계수 벡터들을 잠재적으로 매칭하는 벡터들로서의 고려 대상으로부터 제거시키는 상기 단계는, 매칭된 벡터들의 각 세트에 대해,고려중인 상기 매칭하는 벡터들의 세트에 대한 아웃라이어(outlier) 거리를 계산하는 단계;상기 매칭하는 벡터들 중 임의의 것에 대해 계산된 거리가 상기 아웃라이어 거리의 65% 보다 큰지를 판정하는 단계; 및매칭하는 벡터가 상기 아웃라이어 거리의 65% 보다 큰 거리를 갖는다고 알려질 때마다, 대응하는 포인트로서 해당 벡터와 연관된 상기 관심 포인트를 제거시키는 단계를 포함하는, 컴퓨터-구현 방법.
- 제8항에 있어서,그의 연관된 관심 포인트들이 상기 동일 벡터들의 세트 내의 상기 3-계수 벡터들 중 다른 벡터와 연관된 다른 이미지 내의 관심 포인트에 실제로 대응되지 않는 임의의 3-계수 벡터들을 잠재적으로 매칭하는 벡터들로서의 고려 대상으로부터 제거시키는 상기 단계는, 매칭된 벡터들의 각 세트에 대해,기하학적 아웃라이어 리젝션 절차(geometry outlier rejection procedure)를 수행하는 단계;아웃라이어인 것으로 알려진 임의의 벡터와 관련된 상기 관심 포인트를 대응하는 포인트로서 제거시키는 단계를 포함하는, 컴퓨터-구현 방법.
- 제5항에 있어서,상기 변환된 기술자 벡터들을 매칭하는 상기 단계는,각각의 변환된 기술자 벡터의 3개의 제1 넌제로 웨이블렛 계수들로부터 3D 해시 테이블을 생성하여 3-계수 벡터들의 해시 테이블을 형성하는 단계;상기 해시 테이블의 각 빈에 대해, 고려 중인 상기 빈에서 발견된 각각의 3-계수 벡터 사이의 거리를 계산하는 단계;각각의 3-계수 벡터에 대해, 상기 계산된 거리들에 기초하여, 각각의 이미지에 대한 미리 정해진 수까지, 고려 중인 상기 벡터와 연관된 상기 이미지를 제외하고, 각 이미지와 각각 연관된 동일 빈에서 발견된 상기 가장 가까운 벡터들을 식별하여, 잠재적으로 매칭하는 벡터들의 세트들을 형성하는 단계; 및잠재적으로 매칭하는 벡터들의 각 세트 내의 상기 벡터들과 연관된 상기 관심 포인트들을 상기 연관된 이미지들 내의 상기 장면의 동일 부분을 묘사하는 대응하는 포인트들로서 지정하는 단계를 포함하는, 컴퓨터-구현 방법.
- 제11항에 있어서,상기 해시 테이블은 차원당 10개의 빈을 가지며, 각 빈은 절반의 중첩 범위들을 가지는, 컴퓨터-구현 방법.
- 제1항에 있어서,상기 미리 정해진 크기의 제1 및 제2의 인접 영역들은 동일 크기인, 컴퓨터-구현 방법.
- 장면의 복수 이미지들 사이에서 대응하는 포인트들을 식별하기 위한 시스템으로서,범용 컴퓨팅 디바이스; 및상기 컴퓨팅 디바이스에 의해 실행가능한 프로그램 모듈들을 포함하는 컴퓨터 프로그램을 포함하며,상기 컴퓨팅 디바이스는,각 이미지 내의 잠재적으로 대응하는 포인트들을 나타내는 관심 포인트들을 식별하며 - 각 관심 포인트는 상기 포인트 주위에 중심을 둔 인접 영역 내의 픽셀들의 미리 정해진 속성에 의해 형성된 패턴에 기초하여 할당된 방위 및 위치에 의해 정의됨 - ;이미지의 위치, 방위 및 스케일에서의 변화들뿐만 아니라, 상기 포인트의 상기 위치 및 방위를 정의하는데 사용되는 상기 픽셀들의 세기에서의 변화들에 대하여 실질적으로 변동하지 않는 방식으로 각 포인트의 특징을 기술하는 상기 관심 포인트들의 각각에 대한 기술자를 생성하고;상기 이미지들 사이에서 실질적으로 매칭하는 기술자들을 찾으며;서로 다른 이미지들에서 나타나는 매칭하는 기술자들의 각 세트와 연관된 상기 관심 포인트들을 대응하는 포인트들로서 지정하도록,상기 컴퓨터 프로그램의 상기 프로그램 모듈들에 의해 지시되며,관심 포인트들을 식별하기 위한 상기 프로그램 모듈은, 각각의 이미지에 대해,(a) 이미지 해상도 피라미드를 형성하며,(b) 이전에 비선택된 피라미드 레벨을 선택하고,(c) 상기 선택된 레벨에서 일어나는 각 해리스 코너(Harris corner)의 위치를 식별하며,(d) 이전에 비선택된 해리스 코너를 선택하고,(e) 상기 선택된 해리스 코너의 코너 강도가 상기 코너의 상기 위치를 나타내는 포인트에 중심을 둔, 미리 정해진 최소 인접 반경의 픽셀 인접 영역에서의 극대이며, 미리 정해진 최소 강도 임계값을 초과하는지를 판정하며,(f) 상기 코너 강도가 극대이며 미리 정해진 최소 강도 임계값을 초과할 때마다, 이를 후보 코너로서 지정하고,(g) 임의의 이전에 비선택된 해리스 코너들이 남아있는지를 판정하고, 남아있는 코너들이 있을 때마다, 모든 상기 코너들이 고려될 때까지 서브 모듈 (d) 내지 (g)를 반복하며,(h) 미리 정해진 정수값만큼 최종 사용된 인접 반경을 증가시키고,(i) 이전에 비선택된 후보 코너를 선택하며,(j) 상기 선택된 후보 코너의 상기 코너 강도가 상기 미리 정해진 최소 강도 임계값을 초과하며 상기 선택된 코너의 상기 위치를 나타내는 포인트에 중심을 둔 픽셀 인접 영역에서의 극대인지를 판정하고, 그 크기가 현재 인접 반경에 의해 정의되고,(k) 상기 코너 강도가 극대이며 미리 정해진 최소 강도 임계값을 초과할 때마다, 그 지정을 후보 코너로서 보유하며, 그렇지 않으면 상기 지정을 제거하며,(l) 임의의 이전에 비선택된 후보 코너들이 남아있는지 판정하며, 남아있는 코너들이 있을때마다, 모든 상기 후보 코너들이 고려될 때까지 서브 모듈 (i) 내지 (l)을 반복하고,(m) 여전히 후보 코너들로서 지정된 해리스 코너들의 수가 미리 정해진 최대 허용가능한 수를 초과하는지 판정하며,(n) 후보 코너들의 수가 상기 미리 정해진 최대 허용가능한 수를 초과할 때마다, 후보 코너의 수가 상기 최대 허용가능한 수를 더 이상 초과하지 않을 때까지 서브 모듈 (h) 내지 (n)을 반복하고;(o) 상기 남아있는 후보 코너들의 각각의 위치를 정의하는 포인트를 고려 중인 상기 이미지에 대한 관심 포인트들로서 지정하며;(p) 상기 선택된 포인트에 중심을 둔, 미리 정해진 크기의 국부적인 인접 영역 상에 맞추어진 2D 2차 표면의 최대 세기가 일어나는 포인트로서 그 위치를 지정함에 의해 각 관심 포인트의 위치를 상세화하고(refining),(q) 블러링된 계조 방식을 이용하여 결정된 각 관심 포인트에 방위를 할당하며;(r) 상기 모든 피라미드 레벨들이 고려될 때까지 서브 모듈 (b) 내지 (q)를 반복하는서브 모듈들을 포함하는, 시스템.
- 제14항에 있어서,상기 관심 포인트들의 각각에 대한 기술자를 생성하기 위한 상기 프로그램 모듈은, 각 관심 포인트에 대해,(a) 상기 관심 포인트 위치를 중심으로 하며 상기 관심 포인트의 상기 방위에 따른 방위를 갖는 미리 정해진 p x p(p는 자연수) 크기의 기술자 영역을 설정하고,(b) 상기 영역의 상기 세기 값들의 쌍선형 보간 샘플링을 이용하여 상기 기술자 영역으로부터 보다 작은, 미리 정해진 d x d(d는 자연수) 크기의 기술자 벡터를 형성하며,(c) 세기에 관해 상기 기술자 벡터를 정규화하고,(d) 상기 정규화된 기술자 벡터에 하르 웨이블렛 변환을 행하여 고려 중인 상기 관심 포인트의 상기 기술자를 형성하는 서브 모듈들을 포함하는, 시스템.
- 제15항에 있어서,상기 이미지들 사이에서 실질적으로 매칭하는 기술자들을 찾기 위한 상기 프로그램 모듈은,(e) 각각의 관심 포인트 기술자의 3개의 제1 넌제로 웨이블렛 계수들로부터 3D 해시 테이블을 생성하며,(f) 상기 해시 테이블의 각 빈에서 각 기술자 간의 거리를 계산하고,(g) 이전에 비선택된 기술자를 선택하며,(h) 상기 선택된 기술자와 동일한 이미지와 연관되지 않은 동일 빈 내의 상기 선택된 기술자들에 대해 미리 정해진 수의 가장 가까운 벡터들을 식별하고,(i) 상기 선택된 기술자 및 그의 가장 가까운 벡터들에 대한 아웃라이어 거리를 계산하며,(j) 상기 선택된 기술자와 그의 가장 가까운 벡터들 간의 상기 계산된 거리가 상기 아웃라이어 거리의 65% 보다 작은지를 각각 판정하고,(k) 상기 선택된 기술자와 그의 가장 가까운 벡터들 중 하나 사이의 상기 계산된 거리가 상기 아웃라이어 거리의 65% 보다 작다고 알려질 때마다, 상기 선택된 기술자에 관한 매칭하는 기술자로서 상기 가장 가까운 벡터 기술자를 지정하며,(l) 상기 선택된 기술자와 매칭하는 것으로 지정된 상기 기술자들에 대응하는 상기 관심 포인트들 중 임의의 것이 선택된 기술자의 상기 관심 포인트의 상기 위치에 실질적으로 대응하지 않는지 판정하도록 기하학 기반 아웃라이어 리젝션 절차(geometric-based outlier rejection procedure)를 수행하고,(m) 매칭하는 기술자로서, 상기 선택된 기술자의 상기 관심 포인트의 상기 위치에 실질적으로 대응하지 않는 상기 선택된 기술자와 매칭하는 것으로 지정된 임의의 기술자를 제거하며,(n) 모든 남아있는 상기 기술자들이 고려될 때까지 서브 모듈 (g) 내지 (m)을 반복하는 서브 모듈들을 포함하는, 시스템.
- 제15항에 있어서,상기 이미지들 사이에서 실질적으로 매칭하는 기술자들을 찾기 위한 상기 프로그램 모듈은,(e) 각각의 관심 포인트 기술자의 3개의 제1 넌제로 웨이블렛 계수들로부터 3D 해시 테이블을 생성하며,(f) 상기 해시 테이블의 각 빈 내의 각 기술자들 간의 거리를 계산하고,(g) 이전에 비선택된 기술자를 선택하며,(h) 상기 선택된 기술자와 동일한 이미지와 연관되지 않는 동일 빈 내의 상기 선택된 기술자들에 대해 미리 정해진 수의 가장 가까운 벡터들을 식별하고,(i) 상기 선택된 기술자 및 그의 가장 가까운 벡터들에 대한 아웃라이어 거리를 계산하며,(j) 상기 선택된 기술자와 그의 가장 가까운 벡터들의 각각 간의 상기 계산된 거리가 상기 아웃라이어 거리의 65% 보다 작은지를 각각 판정하고,(k) 상기 선택된 기술자와 그의 가장 가까운 벡터들 중 하나 간의 상기 계산된 거리가 상기 아웃라이어 거리의 65% 보다 작다고 알려질 때마다, 상기 선택된 기술자에 관한 매칭하는 기술자로서 상기 가장 가까운 벡터 기술자를 지정하며,(l) 모든 남아있는 상기 기술자들이 고려될 때까지 서브 모듈 (g) 내지 (k)를 반복하는 서브 모듈들을 포함하는, 시스템.
- 제15항에 있어서,상기 이미지들 사이에서 실질적으로 매칭하는 기술자들을 찾기 위한 상기 프로그램 모듈은,(e) 각각의 관심 포인트 기술자의 3개의 제1 넌제로 웨이블렛 계수들로부터 3D 해시 테이블을 생성하며,(f) 상기 해시 테이블의 각 빈 내의 각 기술자들 간의 거리를 계산하고,(g) 이전에 비선택된 기술자를 선택하며,(h) 상기 선택된 기술자와 동일한 이미지와 연관되지 않는 동일 빈 내의 상기 선택된 기술자들에 대해 미리 정해진 수의 가장 가까운 벡터들을 식별하고,(i) 상기 가장 가까운 벡터 기술자들에 대응하는 상기 관심 포인트들 중 어느 포인트가 선택된 기술자의 상기 관심 포인트의 상기 위치에 실질적으로 대응하는지 판정하도록 기하학 기반 아웃라이어 리젝션 절차를 수행하며,(j) 상기 가장 가까운 벡터 기술자에 대응하는 상기 관심 포인트가 선택된 기술자의 상기 관심 포인트의 상기 위치에 실질적으로 대응한다는 것이 알려질 때만, 상기 선택된 기술자에 관한 매칭 기술자로서 가장 가까운 벡터 기술자를 지정하고,(k) 모든 남아있는 상기 기술자들이 고려될 때까지 서브 모듈 (g) 내지 (j)를 반복하는 서브 모듈들을 포함하는, 시스템.
- 장면의 복수 이미지들 사이에서 대응하는 포인트들을 식별하기 위한 컴퓨터 실행가능 명령들을 가지는 컴퓨터 판독가능 기록 매체로서,상기 컴퓨터 실행가능 명령들은,각 이미지에서 잠재적으로 대응하는 포인트들을 나타내는 관심 포인트들을 식별하며 - 각 관심 포인트는 위치 주위에 중심을 둔 인접 영역 내의 픽셀들의 미리 정해진 속성에 의해 형성된 고유 패턴에 의해 식별가능한 이미지 내의 상기 위치에 대응함 - ;각 관심 포인트에 방위를 할당하고 - 상기 방위는 상기 관심 포인트 주위에 중심을 둔 상기 인접 영역 내의 상기 픽셀들의 상기 미리 정해진 속성에 의해 형성된 상기 패턴으로부터 유도됨 - ;이미지의 위치, 방위 및 스케일에서의 변화들 뿐만 아니라 상기 포인트의 상기 위치 및 방위를 정의하는데 사용되는 상기 픽셀들의 세기에서의 변화들에 대하여 실질적으로 변동하지 않는 방식으로 각 포인트의 특징을 기술하는 상기 관심 포인트들의 각각에 대한 기술자를 생성하며;상기 이미지들 사이에서 실질적으로 매칭하는 기술자들을 찾고;서로 다른 이미지들에 나타나는 매칭하는 기술자들의 각 세트와 연관된 상기 관심 포인트들을 대응하는 포인트들로서 지정하는 명령들을 포함하고,관심 포인트들을 식별하는 것은, 각각의 이미지에 대해,(a) 이미지 해상도 피라미드를 형성하며,(b) 이전에 비선택된 피라미드 레벨을 선택하고,(c) 상기 선택된 레벨에서 일어나는 각 해리스 코너의 위치를 식별하며,(d) 이전에 비선택된 해리스 코너를 선택하고,(e) 상기 선택된 해리스 코너의 코너 강도가 상기 코너의 상기 위치를 나타내는 포인트에 중심을 둔, 미리 정해진 최소 인접 반경의 픽셀 인접 지역의 극대이며, 미리 정해진 최소 강도 임계값을 초과하는지를 판정하며,(f) 상기 코너 강도가 극대이며 미리 정해진 최소 강도 임계값을 초과할 때마다, 이를 후보 코너로서 지정하고,(g) 임의의 이전에 비선택된 해리스 코너들이 남아있는지를 판정하고, 남아있는 코너들이 있을때마다, 모든 상기 코너들이 고려될 때까지 서브 모듈 (d) 내지 (g)를 반복하며,(h) 미리 정해진 정수값만큼 최종 사용된 인접 반경을 증가시키고,(i) 이전에 비선택된 후보 코너를 선택하며,(j) 상기 선택된 후보 코너의 상기 코너 강도가 상기 미리 정해진 최소 강도 임계값을 초과하며 상기 선택된 코너의 상기 위치를 나타내고 그 크기는 현재 인접 반경에 의해 정의되는, 포인트에 중심을 둔 픽셀 인접 영역에서의 극대인지를 판정하고,(k) 상기 코너 강도가 극대이며 미리 정해진 최소 강도 임계값을 초과할 때마다, 그 지정을 후보 코너로서 보유하며, 그렇지 않으면 상기 지정을 제거하고,(l) 임의의 이전에 비선택된 후보 코너들이 남아있는지 판정하며, 남아있는 코너들이 있을때마다, 모든 상기 후보 코너들이 고려될 때까지 서브 모듈 (i) 내지 (l)을 반복하고,(m) 여전히 후보 코너들로서 지정된 해리스 코너들의 수가 미리 정해진 최대 허용가능한 수를 초과하는지 판정하며,(n) 후보 코너들의 수가 상기 미리 정해진 최대 허용가능한 수를 초과할 때마다, 후보 코너의 수가 상기 최대 허용가능한 수를 더이상 초과하지 않을 때까지 서브 모듈 (h) 내지 (n)을 반복하고,(o) 상기 남아있는 후보 코너들 각각의 위치를 정의하는 포인트들을 고려 중인 상기 이미지에 대한 관심 포인트들로서 지정하며,(p) 상기 선택된 포인트에 중심을 둔, 미리 정해진 크기의 국부적인 인접 영역 상에 맞추어진 2D 2차 표면의 최대 세기가 일어나는 포인트로서 그 위치를 지정함에 의해 각 관심 포인트의 위치를 상세화하고(refining),(r) 상기 모든 피라미드 레벨들이 고려될 때까지 서브 모듈 (b) 내지 (p)를 반복하는 것을 더 포함하는, 컴퓨터 판독가능 기록 매체.
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/833,760 US7382897B2 (en) | 2004-04-27 | 2004-04-27 | Multi-image feature matching using multi-scale oriented patches |
| US10/833,760 | 2004-04-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060047552A KR20060047552A (ko) | 2006-05-18 |
| KR101117837B1 true KR101117837B1 (ko) | 2012-03-15 |
Family
ID=34939532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050035194A KR101117837B1 (ko) | 2004-04-27 | 2005-04-27 | 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7382897B2 (ko) |
| EP (1) | EP1594078B1 (ko) |
| JP (2) | JP4838532B2 (ko) |
| KR (1) | KR101117837B1 (ko) |
| CN (1) | CN100426321C (ko) |
| AT (1) | ATE413659T1 (ko) |
| DE (1) | DE602005010781D1 (ko) |
Families Citing this family (189)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
| US8300042B2 (en) | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
| US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
| US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
| WO2004055776A1 (en) | 2002-12-13 | 2004-07-01 | Reactrix Systems | Interactive directed light/sound system |
| JP4794453B2 (ja) | 2003-10-24 | 2011-10-19 | インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー | インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム |
| WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
| US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
| US8081822B1 (en) * | 2005-05-31 | 2011-12-20 | Intellectual Ventures Holding 67 Llc | System and method for sensing a feature of an object in an interactive video display |
| US7865492B2 (en) * | 2005-09-28 | 2011-01-04 | Nokia Corporation | Semantic visual search engine |
| US9384196B2 (en) | 2005-10-26 | 2016-07-05 | Cortica, Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
| US11019161B2 (en) | 2005-10-26 | 2021-05-25 | Cortica, Ltd. | System and method for profiling users interest based on multimedia content analysis |
| US10621988B2 (en) | 2005-10-26 | 2020-04-14 | Cortica Ltd | System and method for speech to text translation using cores of a natural liquid architecture system |
| US10380267B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for tagging multimedia content elements |
| US10614626B2 (en) | 2005-10-26 | 2020-04-07 | Cortica Ltd. | System and method for providing augmented reality challenges |
| US11403336B2 (en) | 2005-10-26 | 2022-08-02 | Cortica Ltd. | System and method for removing contextually identical multimedia content elements |
| US10193990B2 (en) | 2005-10-26 | 2019-01-29 | Cortica Ltd. | System and method for creating user profiles based on multimedia content |
| US9372940B2 (en) | 2005-10-26 | 2016-06-21 | Cortica, Ltd. | Apparatus and method for determining user attention using a deep-content-classification (DCC) system |
| US11216498B2 (en) | 2005-10-26 | 2022-01-04 | Cortica, Ltd. | System and method for generating signatures to three-dimensional multimedia data elements |
| US20160321253A1 (en) | 2005-10-26 | 2016-11-03 | Cortica, Ltd. | System and method for providing recommendations based on user profiles |
| US8818916B2 (en) | 2005-10-26 | 2014-08-26 | Cortica, Ltd. | System and method for linking multimedia data elements to web pages |
| US10848590B2 (en) | 2005-10-26 | 2020-11-24 | Cortica Ltd | System and method for determining a contextual insight and providing recommendations based thereon |
| US10607355B2 (en) | 2005-10-26 | 2020-03-31 | Cortica, Ltd. | Method and system for determining the dimensions of an object shown in a multimedia content item |
| US10372746B2 (en) | 2005-10-26 | 2019-08-06 | Cortica, Ltd. | System and method for searching applications using multimedia content elements |
| US10380623B2 (en) | 2005-10-26 | 2019-08-13 | Cortica, Ltd. | System and method for generating an advertisement effectiveness performance score |
| US10180942B2 (en) | 2005-10-26 | 2019-01-15 | Cortica Ltd. | System and method for generation of concept structures based on sub-concepts |
| US11003706B2 (en) | 2005-10-26 | 2021-05-11 | Cortica Ltd | System and methods for determining access permissions on personalized clusters of multimedia content elements |
| US11604847B2 (en) | 2005-10-26 | 2023-03-14 | Cortica Ltd. | System and method for overlaying content on a multimedia content element based on user interest |
| US10776585B2 (en) | 2005-10-26 | 2020-09-15 | Cortica, Ltd. | System and method for recognizing characters in multimedia content |
| US10742340B2 (en) | 2005-10-26 | 2020-08-11 | Cortica Ltd. | System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto |
| US9646005B2 (en) | 2005-10-26 | 2017-05-09 | Cortica, Ltd. | System and method for creating a database of multimedia content elements assigned to users |
| US11032017B2 (en) | 2005-10-26 | 2021-06-08 | Cortica, Ltd. | System and method for identifying the context of multimedia content elements |
| US8326775B2 (en) | 2005-10-26 | 2012-12-04 | Cortica Ltd. | Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof |
| US10585934B2 (en) | 2005-10-26 | 2020-03-10 | Cortica Ltd. | Method and system for populating a concept database with respect to user identifiers |
| US10387914B2 (en) | 2005-10-26 | 2019-08-20 | Cortica, Ltd. | Method for identification of multimedia content elements and adding advertising content respective thereof |
| US10691642B2 (en) | 2005-10-26 | 2020-06-23 | Cortica Ltd | System and method for enriching a concept database with homogenous concepts |
| US8098277B1 (en) | 2005-12-02 | 2012-01-17 | Intellectual Ventures Holding 67 Llc | Systems and methods for communication between a reactive video system and a mobile communication device |
| WO2007068748A1 (fr) * | 2005-12-14 | 2007-06-21 | France Telecom | Procede de caracterisation d'une region d'interet dans une image, signal representatif d'une image, procede de comparaison d'images, dispositifs et programme d'ordinateur correspondants |
| US8467570B2 (en) * | 2006-06-14 | 2013-06-18 | Honeywell International Inc. | Tracking system with fused motion and object detection |
| US10733326B2 (en) | 2006-10-26 | 2020-08-04 | Cortica Ltd. | System and method for identification of inappropriate multimedia content |
| US20100092093A1 (en) * | 2007-02-13 | 2010-04-15 | Olympus Corporation | Feature matching method |
| US7970226B2 (en) * | 2007-04-23 | 2011-06-28 | Microsoft Corporation | Local image descriptors |
| US8126275B2 (en) * | 2007-04-24 | 2012-02-28 | Microsoft Corporation | Interest point detection |
| US20100309226A1 (en) * | 2007-05-08 | 2010-12-09 | Eidgenossische Technische Hochschule Zurich | Method and system for image-based information retrieval |
| US8073259B1 (en) | 2007-08-22 | 2011-12-06 | Adobe Systems Incorporated | Method and apparatus for image feature matching in automatic image stitching |
| KR101141087B1 (ko) | 2007-09-14 | 2012-07-12 | 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 | 제스처-기반 사용자 상호작용의 프로세싱 |
| KR101347598B1 (ko) * | 2007-10-12 | 2014-01-07 | 삼성전자주식회사 | 영상 변환 방법 및 장치 |
| US8159682B2 (en) | 2007-11-12 | 2012-04-17 | Intellectual Ventures Holding 67 Llc | Lens system |
| AU2007240236A1 (en) * | 2007-12-11 | 2009-06-25 | Canon Kabushiki Kaisha | Correlatability analysis for sparse alignment |
| GB0800364D0 (en) * | 2008-01-09 | 2008-02-20 | Mitsubishi Electric Inf Tech | Feature-based signatures for image identification |
| CN101488224B (zh) * | 2008-01-16 | 2011-01-19 | 中国科学院自动化研究所 | 基于相关性度量的特征点匹配方法 |
| US8259163B2 (en) | 2008-03-07 | 2012-09-04 | Intellectual Ventures Holding 67 Llc | Display with built in 3D sensing |
| GB0807411D0 (en) * | 2008-04-23 | 2008-05-28 | Mitsubishi Electric Inf Tech | Scale robust feature-based indentfiers for image identification |
| US8233715B2 (en) * | 2008-04-28 | 2012-07-31 | Microsoft Corporation | Probabilistic intensity similarity measure based on noise distributions |
| US8824801B2 (en) * | 2008-05-16 | 2014-09-02 | Microsoft Corporation | Video processing |
| FR2931277B1 (fr) * | 2008-05-19 | 2010-12-31 | Ecole Polytech | Procede et dispositif de reconnaissance invariante-affine de formes |
| US8553984B2 (en) * | 2008-06-02 | 2013-10-08 | Massachusetts Institute Of Technology | Fast pattern classification based on a sparse transform |
| US8595218B2 (en) | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
| WO2010021633A1 (en) * | 2008-08-22 | 2010-02-25 | Hewlett-Packard Development Company, L.P. | Image analysis method and system |
| US8363973B2 (en) * | 2008-10-01 | 2013-01-29 | Fuji Xerox Co., Ltd. | Descriptor for image corresponding point matching |
| JP4687772B2 (ja) * | 2008-11-06 | 2011-05-25 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| US9710492B2 (en) | 2008-11-12 | 2017-07-18 | Nokia Technologies Oy | Method and apparatus for representing and identifying feature descriptors utilizing a compressed histogram of gradients |
| US8374442B2 (en) * | 2008-11-19 | 2013-02-12 | Nec Laboratories America, Inc. | Linear spatial pyramid matching using sparse coding |
| US8406507B2 (en) * | 2009-01-14 | 2013-03-26 | A9.Com, Inc. | Method and system for representing image patches |
| CN102422319B (zh) * | 2009-03-04 | 2014-04-30 | 公立大学法人大阪府立大学 | 图像检索方法和图像存储方法 |
| US8818024B2 (en) | 2009-03-12 | 2014-08-26 | Nokia Corporation | Method, apparatus, and computer program product for object tracking |
| US20100246969A1 (en) * | 2009-03-25 | 2010-09-30 | Microsoft Corporation | Computationally efficient local image descriptors |
| US8611695B1 (en) * | 2009-04-27 | 2013-12-17 | Google Inc. | Large scale patch search |
| US8391634B1 (en) | 2009-04-28 | 2013-03-05 | Google Inc. | Illumination estimation for images |
| KR101016656B1 (ko) * | 2009-05-19 | 2011-02-25 | 주식회사신도리코 | 스캔 기능을 구비한 화상 형성 장치 및 이의 스캔 방법 |
| US7953245B2 (en) * | 2009-08-18 | 2011-05-31 | General Electric Company | System, method and program product for camera-based object analysis |
| KR101594113B1 (ko) * | 2009-10-09 | 2016-02-16 | 삼성전자주식회사 | 스케일을 고려한 이미지 패치 추적 장치 및 방법 |
| US9710491B2 (en) * | 2009-11-02 | 2017-07-18 | Microsoft Technology Licensing, Llc | Content-based image search |
| US20110106798A1 (en) * | 2009-11-02 | 2011-05-05 | Microsoft Corporation | Search Result Enhancement Through Image Duplicate Detection |
| US8433140B2 (en) * | 2009-11-02 | 2013-04-30 | Microsoft Corporation | Image metadata propagation |
| KR101399804B1 (ko) * | 2009-11-19 | 2014-05-27 | 보드 오브 트러스티스 오브 더 리랜드 스탠포드 주니어 유니버시티 | 회전 불변형 특징 디스크립터를 이용한 추적 및 인식을 위한 방법 및 장치 |
| WO2011069021A2 (en) | 2009-12-02 | 2011-06-09 | Qualcomm Incorporated | Improving performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching |
| TWI402479B (zh) * | 2009-12-15 | 2013-07-21 | Ind Tech Res Inst | 深度感測方法及應用其之系統 |
| CN101840507B (zh) * | 2010-04-09 | 2012-07-18 | 江苏东大金智建筑智能化系统工程有限公司 | 基于角点特征不变量和图论聚类的目标跟踪方法 |
| US9251432B2 (en) * | 2010-07-06 | 2016-02-02 | Jastec Co. | Method and apparatus for obtaining a symmetry invariant descriptor from a visual patch of an image |
| US8792728B2 (en) * | 2010-09-27 | 2014-07-29 | Hewlett-Packard Development Company, L.P. | Near-duplicate image detection |
| US8798393B2 (en) | 2010-12-01 | 2014-08-05 | Google Inc. | Removing illumination variation from images |
| US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
| TWI411969B (zh) * | 2010-12-24 | 2013-10-11 | Ind Tech Res Inst | 紋理特徵點比對方法及系統 |
| US8565482B2 (en) | 2011-02-28 | 2013-10-22 | Seiko Epson Corporation | Local difference pattern based local background modeling for object detection |
| US8810640B2 (en) * | 2011-05-16 | 2014-08-19 | Ut-Battelle, Llc | Intrinsic feature-based pose measurement for imaging motion compensation |
| JP6112624B2 (ja) * | 2011-08-02 | 2017-04-12 | ビューズアイキュー インコーポレイテッドＶｉｅｗｓＩＱ Ｉｎｃ． | デジタル顕微鏡撮像の装置及び方法 |
| US9141871B2 (en) * | 2011-10-05 | 2015-09-22 | Carnegie Mellon University | Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space |
| KR101913336B1 (ko) * | 2011-10-06 | 2018-10-31 | 삼성전자주식회사 | 이동 장치 및 그 제어 방법 |
| CN104221031B (zh) * | 2011-11-18 | 2019-06-11 | 苹果公司 | 将影像特征与参考特征相匹配之方法及其所用集成电路 |
| AU2011253913A1 (en) | 2011-12-08 | 2013-06-27 | Canon Kabushiki Kaisha | Band-based patch selection with a dynamic grid |
| KR101912748B1 (ko) * | 2012-02-28 | 2018-10-30 | 한국전자통신연구원 | 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법 |
| FR2989198A1 (fr) * | 2012-04-06 | 2013-10-11 | St Microelectronics Grenoble 2 | Procede et dispositif de detection d'un objet dans une image |
| WO2013182241A1 (en) * | 2012-06-07 | 2013-12-12 | Thomson Licensing | Image descriptor for media content |
| JP2015527764A (ja) * | 2012-06-08 | 2015-09-17 | ノキア コーポレイション | マルチ・フレーム画像キャリブレータ |
| AU2012244383A1 (en) * | 2012-11-05 | 2014-05-22 | Canon Kabushiki Kaisha | Real-time line feed measurement of inkjet printer |
| US9674543B2 (en) | 2012-11-14 | 2017-06-06 | Samsung Electronics Co., Ltd. | Method for selecting a matching block |
| CN103034864A (zh) * | 2012-12-12 | 2013-04-10 | 惠州学院 | 一种基于颜色阈值与角点检测的视频横幅识别方法 |
| CN103106394A (zh) * | 2012-12-24 | 2013-05-15 | 厦门大学深圳研究院 | 一种视频监控中的人体行为识别方法 |
| US9361538B2 (en) | 2012-12-26 | 2016-06-07 | Microsoft Technology Licensing, Llc | Real time photometric edge description |
| KR20140102038A (ko) * | 2013-02-13 | 2014-08-21 | 삼성전자주식회사 | 영상 정합 장치 및 영상 정합 방법 |
| US9488469B1 (en) | 2013-04-22 | 2016-11-08 | Cognex Corporation | System and method for high-accuracy measurement of object surface displacement using a laser displacement sensor |
| CN103310439B (zh) * | 2013-05-09 | 2016-01-20 | 浙江大学 | 一种基于尺度空间的图像最稳极值区域检测方法 |
| JP6062825B2 (ja) * | 2013-08-09 | 2017-01-18 | 株式会社デンソーアイティーラボラトリ | 特徴点抽出装置、特徴点抽出方法、及び特徴点抽出プログラム |
| US9117144B2 (en) | 2013-08-14 | 2015-08-25 | Qualcomm Incorporated | Performing vocabulary-based visual search using multi-resolution feature descriptors |
| US9390327B2 (en) * | 2013-09-16 | 2016-07-12 | Eyeverify, Llc | Feature extraction and matching for biometric authentication |
| US9460515B2 (en) | 2013-10-25 | 2016-10-04 | Ricoh Co., Ltd. | Processing of light fields by transforming to scale and depth space |
| JP6260215B2 (ja) * | 2013-11-13 | 2018-01-17 | 富士通株式会社 | 特徴点追跡装置、及び、特徴点追跡方法 |
| US9400939B2 (en) | 2014-04-13 | 2016-07-26 | International Business Machines Corporation | System and method for relating corresponding points in images with different viewing angles |
| JP6363863B2 (ja) | 2014-04-15 | 2018-07-25 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
| CN103927767B (zh) * | 2014-04-18 | 2018-05-04 | 北京智谷睿拓技术服务有限公司 | 图像处理方法及图像处理装置 |
| CN104021174A (zh) * | 2014-05-30 | 2014-09-03 | 北京合辉信息技术有限公司 | 根据片段图像获取完整资源的方法、系统与应用 |
| KR102238693B1 (ko) | 2014-06-20 | 2021-04-09 | 삼성전자주식회사 | 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치 |
| CN105224582B (zh) * | 2014-07-03 | 2018-11-09 | 联想(北京)有限公司 | 信息处理方法和设备 |
| US9491452B2 (en) * | 2014-09-05 | 2016-11-08 | Intel Corporation | Camera calibration |
| KR102281184B1 (ko) | 2014-11-20 | 2021-07-23 | 삼성전자주식회사 | 영상 보정 방법 및 장치 |
| US9811760B2 (en) * | 2015-07-31 | 2017-11-07 | Ford Global Technologies, Llc | Online per-feature descriptor customization |
| WO2017059581A1 (en) * | 2015-10-09 | 2017-04-13 | SZ DJI Technology Co., Ltd. | Salient feature based vehicle positioning |
| US9955861B2 (en) | 2015-10-16 | 2018-05-01 | Ricoh Company, Ltd. | Construction of an individual eye model using a plenoptic camera |
| KR101711589B1 (ko) * | 2015-12-08 | 2017-03-02 | 연세대학교 산학협력단 | 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치 |
| US11195043B2 (en) * | 2015-12-15 | 2021-12-07 | Cortica, Ltd. | System and method for determining common patterns in multimedia content elements based on key points |
| WO2017105641A1 (en) * | 2015-12-15 | 2017-06-22 | Cortica, Ltd. | Identification of key points in multimedia data elements |
| US11841789B2 (en) | 2016-01-27 | 2023-12-12 | Microsoft Technology Licensing, Llc | Visual aids for debugging |
| US11775850B2 (en) | 2016-01-27 | 2023-10-03 | Microsoft Technology Licensing, Llc | Artificial intelligence engine having various algorithms to build different concepts contained within a same AI model |
| US11868896B2 (en) * | 2016-01-27 | 2024-01-09 | Microsoft Technology Licensing, Llc | Interface for working with simulations on premises |
| US11836650B2 (en) * | 2016-01-27 | 2023-12-05 | Microsoft Technology Licensing, Llc | Artificial intelligence engine for mixing and enhancing features from one or more trained pre-existing machine-learning models |
| US10733531B2 (en) | 2016-01-27 | 2020-08-04 | Bonsai AI, Inc. | Artificial intelligence engine having an architect module |
| US10043070B2 (en) * | 2016-01-29 | 2018-08-07 | Microsoft Technology Licensing, Llc | Image-based quality control |
| US10136116B2 (en) | 2016-03-07 | 2018-11-20 | Ricoh Company, Ltd. | Object segmentation from light field data |
| US9886652B2 (en) | 2016-03-15 | 2018-02-06 | Microsoft Technology Licensing, Llc | Computerized correspondence estimation using distinctively matched patches |
| CN107240126B (zh) * | 2016-03-28 | 2020-11-20 | 华天科技（昆山）电子有限公司 | 阵列图像的校准方法 |
| US10778707B1 (en) * | 2016-05-12 | 2020-09-15 | Amazon Technologies, Inc. | Outlier detection for streaming data using locality sensitive hashing |
| TWI610271B (zh) * | 2016-07-11 | 2018-01-01 | 龍華科技大學 | 結合小波轉換及角點偵測建立單張影像深度圖的裝置及其方法 |
| US10121262B2 (en) | 2016-12-20 | 2018-11-06 | Canon Kabushiki Kaisha | Method, system and apparatus for determining alignment data |
| US10346717B1 (en) * | 2017-04-19 | 2019-07-09 | The United States Of America As Represented By The Secretary Of The Navy | System and method for thresholding of local image descriptors |
| US11010630B2 (en) * | 2017-04-27 | 2021-05-18 | Washington University | Systems and methods for detecting landmark pairs in images |
| CN107273923B (zh) * | 2017-06-02 | 2020-09-29 | 浙江理工大学 | 一种纺织面料摩擦声波辨别器的构建方法 |
| WO2019008581A1 (en) | 2017-07-05 | 2019-01-10 | Cortica Ltd. | DETERMINATION OF DRIVING POLICIES |
| US11899707B2 (en) | 2017-07-09 | 2024-02-13 | Cortica Ltd. | Driving policies determination |
| US10846562B2 (en) * | 2018-01-12 | 2020-11-24 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems and methods for image matching |
| CN108304870B (zh) * | 2018-01-30 | 2021-10-08 | 河南理工大学 | 点线特征融合的错误匹配剔除方法 |
| CN109003331A (zh) * | 2018-06-13 | 2018-12-14 | 东莞时谛智能科技有限公司 | 一种图像重构方法 |
| US10846544B2 (en) | 2018-07-16 | 2020-11-24 | Cartica Ai Ltd. | Transportation prediction system and method |
| US11126870B2 (en) | 2018-10-18 | 2021-09-21 | Cartica Ai Ltd. | Method and system for obstacle detection |
| US11181911B2 (en) | 2018-10-18 | 2021-11-23 | Cartica Ai Ltd | Control transfer of a vehicle |
| US10839694B2 (en) | 2018-10-18 | 2020-11-17 | Cartica Ai Ltd | Blind spot alert |
| US20200133308A1 (en) | 2018-10-18 | 2020-04-30 | Cartica Ai Ltd | Vehicle to vehicle (v2v) communication less truck platooning |
| US11700356B2 (en) | 2018-10-26 | 2023-07-11 | AutoBrains Technologies Ltd. | Control transfer of a vehicle |
| US10789535B2 (en) | 2018-11-26 | 2020-09-29 | Cartica Ai Ltd | Detection of road elements |
| CN109567600B (zh) * | 2018-12-05 | 2020-12-01 | 江西书源科技有限公司 | 家用净水机的配件自动识别方法 |
| CN109697692B (zh) * | 2018-12-29 | 2022-11-22 | 安徽大学 | 一种基于局部结构相似的特征匹配方法 |
| CN109934777B (zh) * | 2019-01-09 | 2023-06-02 | 深圳市三宝创新智能有限公司 | 图像局部不变特征提取方法、装置、计算机设备及存储介质 |
| CN109840529B (zh) * | 2019-02-01 | 2022-12-09 | 安徽大学 | 一种基于局部敏感置信度评估的图像匹配方法 |
| US11643005B2 (en) | 2019-02-27 | 2023-05-09 | Autobrains Technologies Ltd | Adjusting adjustable headlights of a vehicle |
| US11285963B2 (en) | 2019-03-10 | 2022-03-29 | Cartica Ai Ltd. | Driver-based prediction of dangerous events |
| US11694088B2 (en) | 2019-03-13 | 2023-07-04 | Cortica Ltd. | Method for object detection using knowledge distillation |
| US11132548B2 (en) | 2019-03-20 | 2021-09-28 | Cortica Ltd. | Determining object information that does not explicitly appear in a media unit signature |
| US12055408B2 (en) | 2019-03-28 | 2024-08-06 | Autobrains Technologies Ltd | Estimating a movement of a hybrid-behavior vehicle |
| US10796444B1 (en) | 2019-03-31 | 2020-10-06 | Cortica Ltd | Configuring spanning elements of a signature generator |
| US10789527B1 (en) | 2019-03-31 | 2020-09-29 | Cortica Ltd. | Method for object detection using shallow neural networks |
| US10776669B1 (en) | 2019-03-31 | 2020-09-15 | Cortica Ltd. | Signature generation and object detection that refer to rare scenes |
| US11488290B2 (en) | 2019-03-31 | 2022-11-01 | Cortica Ltd. | Hybrid representation of a media unit |
| US11222069B2 (en) | 2019-03-31 | 2022-01-11 | Cortica Ltd. | Low-power calculation of a signature of a media unit |
| CN111009001A (zh) * | 2019-09-17 | 2020-04-14 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种图像配准方法、装置、设备及存储介质 |
| US10748022B1 (en) | 2019-12-12 | 2020-08-18 | Cartica Ai Ltd | Crowd separation |
| US11593662B2 (en) | 2019-12-12 | 2023-02-28 | Autobrains Technologies Ltd | Unsupervised cluster generation |
| CN113159081B (zh) * | 2020-01-23 | 2024-06-21 | 华为技术有限公司 | 一种图像处理方法以及相关设备 |
| US11397869B2 (en) * | 2020-03-04 | 2022-07-26 | Zerofox, Inc. | Methods and systems for detecting impersonating social media profiles |
| US11590988B2 (en) | 2020-03-19 | 2023-02-28 | Autobrains Technologies Ltd | Predictive turning assistant |
| US11827215B2 (en) | 2020-03-31 | 2023-11-28 | AutoBrains Technologies Ltd. | Method for training a driving related object detector |
| US11625843B2 (en) * | 2020-06-24 | 2023-04-11 | Bluebeam, Inc. | Systems and methods for automatic alignment of drawings |
| CN111915645B (zh) * | 2020-07-14 | 2021-08-27 | 珠海大横琴科技发展有限公司 | 影像匹配方法、装置、计算机设备及计算机可读存储介质 |
| US11756424B2 (en) | 2020-07-24 | 2023-09-12 | AutoBrains Technologies Ltd. | Parking assist |
| US12049116B2 (en) | 2020-09-30 | 2024-07-30 | Autobrains Technologies Ltd | Configuring an active suspension |
| US12142005B2 (en) | 2020-10-13 | 2024-11-12 | Autobrains Technologies Ltd | Camera based distance measurements |
| CN112633081B (zh) * | 2020-12-07 | 2022-07-01 | 深圳市来科计算机科技有限公司 | 一种复杂场景下的特定物体识别方法 |
| CN112598740B (zh) * | 2020-12-29 | 2022-04-15 | 中交第二公路勘察设计研究院有限公司 | 一种大范围多视倾斜影像连接点快速精确匹配方法 |
| US12198395B2 (en) | 2021-01-19 | 2025-01-14 | Objectvideo Labs, Llc | Object localization in video |
| CN113095371B (zh) * | 2021-03-22 | 2023-01-17 | 北京大学 | 一种面向三维重建的特征点匹配方法及系统 |
| CN113298720B (zh) * | 2021-04-21 | 2022-08-19 | 重庆邮电大学 | 一种自适应的重叠图像旋转方法 |
| US12139166B2 (en) | 2021-06-07 | 2024-11-12 | Autobrains Technologies Ltd | Cabin preferences setting that is based on identification of one or more persons in the cabin |
| EP4194300A1 (en) | 2021-08-05 | 2023-06-14 | Autobrains Technologies LTD. | Providing a prediction of a radius of a motorcycle turn |
| CN114299462B (zh) * | 2021-12-28 | 2024-04-23 | 湖北工业大学 | 一种基于锚点图像的地下停车场多尺度场景识别方法 |
| CN114526682B (zh) * | 2022-01-13 | 2023-03-21 | 华南理工大学 | 一种基于图像特征增强数字体图像相关法的变形测量方法 |
| CN114782724B (zh) * | 2022-06-17 | 2022-11-08 | 联宝(合肥)电子科技有限公司 | 一种图像匹配方法、装置、电子设备及存储介质 |
| CN114821128B (zh) * | 2022-06-24 | 2022-09-09 | 北京科技大学 | 一种尺度自适应的模板匹配方法 |
| WO2024138434A1 (zh) * | 2022-12-28 | 2024-07-04 | 深圳华大生命科学研究院 | 用于拼接图像的方法及其设备 |
| CN117237680B (zh) * | 2023-08-18 | 2024-03-12 | 暨南大学 | 一种基于异质模型拟合的多源图像匹配方法及系统 |
| CN117676136B (zh) * | 2023-11-16 | 2024-06-14 | 广州群接龙网络科技有限公司 | 一种群接龙数据处理方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2688911B1 (fr) * | 1992-02-24 | 1994-07-29 | Robert Pierre | Procede de creation de la signature d'un objet represente sur une image numerique, du type consistant a definir au moins un calibre dimensionnel caracteristique dudit objet, et procede correspondant de verification de la signature d'un objet. |
| JP3212777B2 (ja) * | 1993-10-28 | 2001-09-25 | 三菱電機株式会社 | 画像処理装置 |
| US6038349A (en) * | 1995-09-13 | 2000-03-14 | Ricoh Company, Ltd. | Simultaneous registration of multiple image fragments |
| US6009437A (en) * | 1997-03-25 | 1999-12-28 | Nec Research Institute, Inc. | Linear fitting with missing data: applications to structure-from-motion and to characterizing intensity images |
| US6553150B1 (en) * | 2000-04-25 | 2003-04-22 | Hewlett-Packard Development Co., Lp | Image sequence compression featuring independently coded regions |
| GB2367966B (en) * | 2000-10-09 | 2003-01-15 | Motorola Inc | Method and apparatus for determining regions of interest in images and for image transmission |
| JP4502303B2 (ja) * | 2001-07-05 | 2010-07-14 | 株式会社リコー | 画像処理装置 |
| US7146057B2 (en) * | 2002-07-10 | 2006-12-05 | Northrop Grumman Corporation | System and method for image analysis using a chaincode |
| CN1152341C (zh) * | 2002-08-27 | 2004-06-02 | 上海交通大学 | 房屋数字地图自动生成方法 |
| CN1168047C (zh) * | 2002-12-19 | 2004-09-22 | 上海交通大学 | 遥感图像的非线性配准方法 |
| JP4492036B2 (ja) * | 2003-04-28 | 2010-06-30 | ソニー株式会社 | 画像認識装置及び方法、並びにロボット装置 |
-
2004
- 2004-04-27 US US10/833,760 patent/US7382897B2/en not_active Expired - Fee Related
-
2005
- 2005-04-27 JP JP2005129813A patent/JP4838532B2/ja not_active Expired - Fee Related
- 2005-04-27 AT AT05103415T patent/ATE413659T1/de not_active IP Right Cessation
- 2005-04-27 CN CNB2005100896462A patent/CN100426321C/zh not_active Expired - Fee Related
- 2005-04-27 KR KR1020050035194A patent/KR101117837B1/ko active IP Right Grant
- 2005-04-27 EP EP05103415A patent/EP1594078B1/en not_active Not-in-force
- 2005-04-27 DE DE602005010781T patent/DE602005010781D1/de active Active
-
2011
- 2011-07-13 JP JP2011155049A patent/JP5066279B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
Non-Patent Citations (1)
| Title |
|---|
| Krystian Mikolajczyk, Cordelia Schmid, Indexing based on scale invariant interest points. 2001., International Conference on Computer Vision(pages 525-531) |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100426321C (zh) | 2008-10-15 |
| KR20060047552A (ko) | 2006-05-18 |
| EP1594078A2 (en) | 2005-11-09 |
| JP2005317020A (ja) | 2005-11-10 |
| US7382897B2 (en) | 2008-06-03 |
| ATE413659T1 (de) | 2008-11-15 |
| EP1594078A3 (en) | 2006-08-09 |
| JP2011204280A (ja) | 2011-10-13 |
| EP1594078B1 (en) | 2008-11-05 |
| JP5066279B2 (ja) | 2012-11-07 |
| JP4838532B2 (ja) | 2011-12-14 |
| DE602005010781D1 (de) | 2008-12-18 |
| CN1776716A (zh) | 2006-05-24 |
| US20050238198A1 (en) | 2005-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101117837B1 (ko) | 멀티 스케일 지향 패치를 이용한 멀티 이미지 특징 매칭 | |
| Christiansen et al. | Unsuperpoint: End-to-end unsupervised interest point detector and descriptor | |
| US9141871B2 (en) | Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space | |
| US8712156B2 (en) | Comparison of visual information | |
| US8705876B2 (en) | Improving performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching | |
| US7706603B2 (en) | Fast object detection for augmented reality systems | |
| KR101548928B1 (ko) | 불변적인 시각적 장면 및 객체 인식 | |
| US8582889B2 (en) | Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes | |
| US9984280B2 (en) | Object recognition system using left and right images and method | |
| US9569699B2 (en) | System and method for synthesizing portrait sketch from a photo | |
| US20120301014A1 (en) | Learning to rank local interest points | |
| US10223609B2 (en) | Passenger vehicle make and model recognition system | |
| CN115205118A (zh) | 一种水下图像拼接方法、装置、计算机设备及存储介质 | |
| US9129413B2 (en) | Method and device for aligning a plurality of digital pictures | |
| CN112464780A (zh) | 基于最大熵准则的椭圆物体特征提取方法 | |
| Pourshahabi | Robust and Fast Schemes for Generation of Matched Features in MIS Images | |
| Teelen | Geometric uncertainty models for correspondence problems in digital image processing | |
| Card | Qualitative image based localization in a large building | |
| CN118823126A (zh) | 一种pcb免焊接光学器件定位方法 | |
| Bowen | A Novel Multistage Image Registration Technique with Graph-based Region Descriptors | |
| Thakoor et al. | Efficient alignment for vehicle make and model recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20050427 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20100421 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20050427 Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20110907 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20111124 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20120210 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20120210 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20150121 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20150121 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160119 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20160119 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170119 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170119 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180118 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180118 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20190116 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190116 Start annual number: 8 End annual number: 8 |