KR101435730B1 - 일반화된 강건한 멀티채널 피처 검출기 - Google Patents

Abstract

방법은 멀티채널 이미지 내의 로컬 이웃 내의 로컬 옵티멀 컬러에 대한 로컬 탐색을 수행하는 단계, 멀티채널 이미지의 로컬 이웃을 단채널 베이시스로 투사하는 단계, 및 이 투사된 로컬 이웃에 단채널 검출기를 적용하는 단계를 포함할 수 있다.

Description

일반화된 강건한 멀티채널 피처 검출기{GENERALIZED ROBUST MULTICHANNEL FEATURE DETECTOR}

개시된 기술은 일반적으로 회로 및 시스템에 관한 것이며, 더 상세하게는 컴퓨터 비전, 이미지 피처 검출, 및 이미지 인식 어플리케이션들 및 기법들을 위한 디바이스 및 시스템에 관한 것이다.

모바일 증강 현실(Mobile Augmented Reality)(MAR)은 현대의 컴퓨터, 스마트폰, 게이밍 콘솔, 및 홈 엔터테인먼트 시스템을 위한 중요한 기술이다. MAR에 의존하는 어플리케이션들의 일부 예들은 장면들에 주를 다는 것(annotating scenes)(예컨대, 가상 관광), 물체들을 식별하는 것(예컨대, 쇼핑), 및 비디오 게임들 및 텔레비전을 제어하는 제스처들을 인식하는 것을 포함한다. 이미지 인식 프로세스는 일반적으로, (1) 이미지 피처들 또는 관심 점들의 식별, 및 (2) 이미지들의 데이터베이스로부터의 이미지 피처들과 쿼리 또는 목표 이미지로부터의 이러한 이미지 피처들의 비교를 수반한다. 성공적인 MAR 구현은 전형적으로 주요 이미지 피처들이 이미지 스케일링, 회전, 쉬프팅, 및 강도 및 이미지 잡음의 변화를 포함하는 조건들의 범위 하에서 신뢰성있게 검출되는 것을 요구한다.

관심 점들 및 이미지 피처들의 예들은 에지, 블롭(blob)(예컨대, 내부 구조를 갖지 않는 이미지 영역), 리지(ridge)(예컨대, 선형으로 연속되는 블롭들), 스케일-공간 블롭, 코너, 교차점, 및 영역들, 에지들 및 리지들의 접합점을 포함한다. 현재의 피처 검출기들은 인간의 시력, 또는 가우시안(Gaussian) 또는 쿠벨카-뭉크(Kubelka-Munk)와 같은 일부 색 모델을 에뮬레이팅하는 것에 기초하는 그레이 값 불변량 또는 일부 광도계 불변량, 또는 다른 광도계 접근법을 사용한다. "이미지"가 인간의 "색"으로 직접 표시될 수 없는 채널들의 세트인 경우가 존재한다. 예컨대, 도 1은 그레이 스케일, 컬러, 및 (조건부 채널-컬러 맵핑을 갖는) 스펙트로조널(spectrozonal) 이미지들을 도시한다.

도 2는 Jet Propulsion Laboratory의 ASTER(Advanced Spaceborn Thermal Emission and Reflection Radiometer)로부터의 애리조나 산불의 스펙트로조널 이미지의 예이다. 본 예에서, 좌측의 이미지는 밴드들 3, 2, 및 1을 RGB로 표시하여, 초목을 적색으로 표시한다. 큰 어두운 영역은 불탄 숲을 나타내며, 불이 타고 있는 에지들에서 작은 연기들을 볼 수 있다. 우측의 이미지는 밴드 3을 단파 적외선(SWIR) 밴드 8로 대체한다. 밝은 적색 점들은 타고 있는 불을 나타내는데, 이는 SWIR 파장 영역이 연기를 관통하는 능력을 갖기 때문에 볼 수 있다.

현재의 시스템들에서 또한, 채널들은 마이크로파 강도 채널로 맵핑될 수 있을 뿐 아니라 레이더/라이더(radar/lidar) 채널(예컨대, 도플러 주파수 쉬프트) 또는 초음파 레인지파인더 채널 또는 상이한 Z-센서 종류로도 맵핑될 수 있다. 예컨대, 도 3은 Microsoft Kinect Z-센서 심도 맵을 예시한다. 그러나, 레인지 및 속도 값 분포들이 가시 스펙트럼 영역의 전자기장 세기의 분포들과 현저히 상이하기 때문에, 위에서 논의된 종류의 채널들에 대한 광도계 접근들은 적합하지 않다.

예컨대, SURF 및 SIFT와 같은 현재의 기법들은 필요한 예비 단계로서 멀티채널 (예컨대, 컬러의) 입력 이미지의 단채널 (예컨대, 그레이스케일) 입력 이미지로의 변환을 사용하므로, 중요한 이미지 정보를 잃는다. 일부 현재의 기법들은 이미지의 컬러 맵을 사용하는 것을 시도하지만, 그러한 기법들은 일부 중간 단계에서 이미지를 "특별한" 단채널 표시로 변환하거나 또는 일부 중요한 글로벌 스칼라량에 의해 이미지 피처들을 로컬라이징하는 것을 시도하는 것에 의해 완전한 이미지 스펙트럼 데이터를 사용하지 못한다.

개시된 기술의 실시예들은 유사한 참조 번호들이 유사한 요소들을 참조하는 도면들에서 제한적이지 않은 예로서 예시된다.
도 1은 그레이스케일, 컬러, 및 (조건부 채널-컬러 맵핑을 갖는) 스펙트로조널 이미지들을 도시한다.
도 2는 Jet Propulsion Laboratory의 ASTER(Advanced Spaceborn Thermal Emission and Reflection RadiometeR) 갤러리로부터의 애리조나 산불의 스펙트로조널 이미지의 예이다.
도 3은 Microsoft Kinect Z 센서 심도 맵의 예를 예시한다.
도 4는 그레이스케일 이미지의 컬러화가 추가적인 정보를 생성하지 않는 단채널 이미지의 상이한 표현들을 도시한다.
도 5는 컬러들이 RGB 벡터{5, -7, 3} 주위로

회전된 동등 컬러 공간 변환을 예시한다.
도 6은 그레이스케일링이 이미지 피처들을 파괴하는 오일러(Euler) 테스트의 예이다.
도 7은 색맹 테스트의 예를 도시한다.
도 8은 도 7에 도시된 색맹 테스트에 대한 헤시안(Hessian) 기반 검출기 응답의 결정자를 예시한다.
도 9는 다른 채널 내의 강한 강도의 새들 점(strong-intensive saddle point)에 위치하는 일부 채널 내의 약한 강도의(weak-intensive) 블롭을 예시한다.
도 10은 블롭에 대한 응답이 없는 상이한 스케일들에 대한 현재의, 즉, 현존하는 멀티채널 검출기의 응답을 예시한다.
도 11은 고전적인 검출기가 큰 스케일에서 블롭을 검출하는 상이한 스케일들에 대한 단채널 검출기의 응답을 예시한다.
도 12는 멀티채널 검출기가 어떻게 단채널 검출기를 능가할 수 있는지를 나타내는 예를 예시한다.
도 13은 새들에 있는 블롭이 인식되는 상이한 스케일들에 대한, 새들 장면에 있는 블롭에 대한 멀티채널 검출기 응답을 예시한다.
도 14는 상이한 스케일들에 대한 색맹 테스트에 대한 멀티채널 검출기의 컬러화된 응답을 예시한다.
도 15는 블롭들 모두가 인식되지는 않고, 색맹 테스트를 통과하지 못하는 테스트 이미지들에 대한 ColorSIFT 출력의 예를 예시한다.
도 16은 오일러 테스트를 통과하지 못하는 테스트 이미지들에 대한 컬러 해리스(Harris) 검출기 출력의 예를 예시한다.
도 17은 오일러 테스트를 여전히 통과하지 못하는 테스트 이미지들에 대한 부스팅된 컬러 해리스 검출기 출력의 예를 예시한다.
도 18은 개시된 기술의 실시예들이 구현될 수 있는 시스템의 예를 예시한다.

이미지 피처 검출을 위한 다수의 공지된 컴퓨터 비전 알고리즘들은 광도만을 사용하거나 또는 일부 특정 컬러 모델을 사용한다. 이러한 방법들은 많은 경우들에서 효과적일 수 있지만, 완전한 이미지 정보의 그러한 변환들은 방법에 의해 야기되는 제약들 때문에 검출 성능을 저하시킨다.

개시된 기술의 실시예들은, 데이터의 본질과 상관없이, 임의의 수의 채널들에 대한 멀티채널 관심 점 검출기의 구축에 대한 공식적인 접근의 구현을 포함하며, 이는 이러한 추가적인 채널들로부터의 정보를 사용함으로써 달성될 수 있는 이점들을 극대화한다. 특정 구현들은 본원에서 설명된 기법들에 기초하는 GRoM(Generalized Robust Multichannel) 피처 검출기로 명명될 수 있으며, 현존하는 방법들로부터의 그것의 차이를 강조하기 위한 예시적인 예들의 세트를 포함할 수 있다.

멀티채널 이미지를 단채널 이미지로 축소시킴으로써 자연의 이미지들에서 좋은 결과들을 얻을 수 있다. 그러나, 그러한 검출기 고유의 색맹 때문에, 그러한 검출기로부터 숨겨진 관심 점들이 존재할 수 있다. 예컨대, 컬러 성분들을 결합시키는 현재의 방법들은 이미지 내의 채널들의 상이한 스케일들 및 오프셋들 후에 소스로부터 정보를 현저히 잃어버리는 경향이 있다. 개시된 기술의 구현들은 컬러 성분들 모두로부터 정보를 이용하는 것에 의해 공간 및 스펙트럼 위치들 둘다의 관심 점들을 식별함으로써 그러한 단점들을 방지한다. 이는, 특히 시너지 테스트들에서 현저히 더 나은 성능을 제공한다. 예컨대, (아래에 논의되는) 도 6은 블롭 교차점들의 검출을 위한 테스트인 오일러-벤 다이어그램(Euler-Venn diagram)을 도시한다. 그러한 접근들은 3-채널 비주얼 이미지들뿐 아니라, 임의의 본질을 갖는 소스들, 예컨대, 심도 맵, 도플러 쉬프트, 및 인구 밀도들로부터의 더 큰 치수들 및 이미지들에서도 사용될 수 있다.

블롭 관심 점들의 위치 외에도, 본원에 설명한 기법들은 예컨대 에지들 및 리지들과 같은 임의의 수의 종류들에 대해 확장될 수 있다. 그러한 경우들에서, 컬러 하위공간 조건에 대한 대응하는 변경이 적용될 수 있다.

멀티채널 관심 점 검출기 피처들

A. 공통 요구 사항

본 섹션은, 특히 공지된 단채널 검출기 알고리즘들을 확장하는 목적으로, 이상적인 일반화된 관심 점 검출기들 및 멀티채널 검출기들에 대한 공통 요구 사항들을 정의할 것이다.

1) 사소한 이미지( trivial image )

이미지의 값들이 공간적 좌표들에 의존하지 않는 사소한 이미지(예컨대, 일정한 이미지)에 대해, 검출기 φ에 의해 검출된 관심 점들의 세트는 비어 있어야 한다.

αRGB 이미지 내의 사용되지 않는(예컨대, 일정한) α-채널을 제거하는 경우에서와 같이, 사소한 채널들은 멀티채널 이미지에서 쉽게 제거될 수 있다.

2) 콘트라스트 불변성

비-사소한 이미지 J가 비-사소한 이미지 I의 값들의 균일한 스케일링 및 오프셋 변환의 결과가 되도록 허용하면:

검출기 φ가 이미지 I 내에서 P개의 관심 점들을 검출한다면, 동일한 세트가 J에서 검출되어야 한다:

3) 단채널 이미지의 표현들의 호환성

멀티채널 이미지 J={J₁, J₂, ..., J_N}가 각각의 채널에 대해 그것 자체의 균일한 스케일링 및 오프셋 변환을 갖는, 1 내지 N 채널들로부터의 비-사소한 단채널 이미지의 맵이 되도록 허용하고, 여기서 적어도 하나의 비-사소한 채널이 존재한다. 예컨대, 도 4는 그레이스케일 이미지의 컬러화가 추가적인 정보를 생성하지 않는 단채널 이미지의 상이한 표현들을 도시한다.

이미지 I에서 단채널 검출기 φ₁에 의해 발견되는 관심 점들의 세트들과 멀티채널 이미지 J, 즉, 이미지 I의 복제 내의 멀티채널 검출기 φ_N에 의해 발견되는 관심 점들의 세트들은 동일해야 한다:

주어진 이미지 표현에 대해, 유사한 검출기들은 동등한 멀티채널 이미지 내의 "고스트" 검출들 없이 동일한 결과를 낳아야 한다. 화이트-박스 검출기 테스트는 그러한 종류의 약점을 체크하도록 허용할 수 있다. 피처 검출기의 시점으로부터의 단채널 및 멀티채널 이미지들의 등가는 선형 의존 채널들의 수를 감소시키도록 허용한다.

4) 비단수 채널 변환 불변성

채널 변환 매트릭스 K_{M ,N}=(k_ij) 및 채널 오프셋 벡터 C_M=(C_i)를 사용하여 M-채널 이미지 J={J₁, J₂, ..., J_N}이 N-채널 이미지 I={I₁, I₂, ..., I_N}의 새로운 채널(예컨대, "컬러")로의 변환이 되도록 허용한다:

예컨대, 도 5는 컬러들이 RGB 벡터{5, -7, 3} 주위로

회전된 동등 컬러 공간 변환을 예시한다.

rank(K_{M ,N})=N 이고, 변환이 반전 가능하다면, 이미지들 I 및 J에서 검출된 관심 점들의 세트들은 동등해야 한다:

M>N이라면, 이미지 J는 선형 의존 채널들을 갖는다. 선형 의존 채널들을 갖는 각각의 이미지에 대해, 선형 의존 채널들을 갖는 이미지를 생성하는 변환(예컨대, 채널들의 선형 독립 베이시스로의 감소)이 존재한다. 모든 채널들에서 단채널 검출기에 의해 검출된 관심 점들의 세트들의 합집합이 멀티채널 검출기에 의해 검출된 점들의 세트와 동등하거나 수퍼세트라는 가정은 다음의 예에 의해 예시되는 것과 같이 사실이 아니다.

도 6은 그레이스케일링이 이미지 피처들을 파괴하는 오일러-벤 다이어그램의 예이다. 에지 검출기는 주어진 이미지 내의 모든 에지들을 검출할 수 있다. 모든 채널당 에지들의 세트들의 합집합은 풀 컬러 검출기에 대한 에지들의 세트와 동등하다. 그러나, 블롭들의 채널당 검출기(per-channel detector)들은 이러한 관심 점들을 그것 "자체의" 채널 세트 내에서만 찾을 수 있으며, 도함수들의 모든 교차점들 및 합집합들 내에서 블롭들을 찾을 수 없다. 상이한 채널들로부터의 정보를 사용하는 "시너지" 검출기만이 모든 그러한 관심 점들을 검출할 수 있다.

일부 컬러-베이시스 정보는 이 다이어그램의 모든 서브세트들(예컨대, 베이스 세트, 교차점들 및 합집합들)을 각각의 서브세트 "컬러"가 그것 자체의 채널로 맵핑되는 새로운 컬러 베이시스로 맵핑할 수 있지만, 이 간단한 경우에 단채널 검출기들에 의해 새로운 채널마다 개별적으로 검출되는 관심 점들의 세트들의 합집합은 멀티채널 관심 점 세트 전체와 동등하다.

5) 감소된 베이시스로의 변환

rank(K_{M ,N})<N인 채널들의 변환은 검출기의 관점에서 초기의 이미지와 동등하지 않다. 초기 이미지는 새로운 베이시스에 직교하는 채널들에서 발견될 수 있는 관심 점들을 가질 수 있다. 이는 "색맹" 효과로 불릴 수 있다. 도 7은 색맹 테스트의 예를 도시하며, 도 8은 도 7에 도시된 색맹 테스트에 대한 헤시안 기반 검출기 응답의 결정자를 예시한다. 도 8은 컬러 패턴이 그레이스케일에서 인식되지 않는다는 것을 나타낸다.

6) 분열 기준

이미지가 공간 도메인 조각들로 분할되면, 조각들의 검출된 관심 점들의 세트들의 합집합은 전체 이미지의 검출된 관심 점들의 세트의 서브세트라야 한다.

이미지 조각들은 전체 이미지에 비해 관심 점 검출을 강조하는 채널들의 고유한 변환들을 사용할 수 있다. 관심 점이 그러한 증대된 조각 내에서 발견된다면, 이 점은 전체 이미지에서도 발견되어야 할 것이다. 관심 점 검출기 추정(예컨대, 검출 증대)은 공간적으로 로컬이라야 한다. 예컨대, 일부 이미지를 위해 카메라 플래시가 사용되었다면, 컨트라스트, 밝기, 및 광 스펙트럼은 단거리 및 장거리 물체들에 대해 상이할 것이다. 따라서, 글로벌 채널 통계는 일반적으로 이 경우 유용하지 않을 것이다.

B. 현재 이미지 피처 검출기

관심 점 검출을 위한 알고리즘들은 전형적으로 공간-도메인 필터 커널들로 컨볼루션(convolution)을 적용하고, 그 후 결과로서의 응답들을 기울기들, 라플라시안들(Laplacians)을 계산하거나 또는 로컬 극값들을 찾음으로써 스칼라 값들로서 분석한다.

검출기들 내의 컬러 이미지들에 대한 스칼라 값들에 대한 컬러 응답들의 맵핑은 아래 설명한 것과 같이 다양한 단점들을 가질 수 있다. 색맹 테스트와 관련하여 (예컨대, 도 7 및 8을 보라), (예컨대, 가우시안들의 차, 또는 가우시안의 로그 근사값, 라플라시안을 사용하는) SIFT 검출기 및 (예컨대, 헤시안의 결정자를 사용하는) SURF 검출기는 스칼라 값들만을 사용한다. 컬러 이미지는 SIFT 또는 SURF 이미지 프로세싱 전에 그레이스케일로 변환된다. 이러한 알고리즘들은 도 7 및 8에 도시된 것과 같은 색맹 테스트 이미지들 내의 관심 점들을 검출할 수 없다.

헤시안 결정자 값들에 대한 양성 규칙에 기초하는 멀티채널 검출기는 스칼라들의 곱을 채널들 내의 값들의 벡터들의 스칼라곱을 사용하여 변경시킨다. 디퍼런셜 연산자들의 사용 때문에, 이러한 접근은 상이한 채널들로부터의 신호들 내의 일정한 성분들에 대해 불변이다. 그러나, 그것은 채널들 내의 값들의 범위에 대해 불변이지는 않다.

이 원리의 실패를 증명하기 위해, 도 9에 도시된 예에서 보여지는 다른 채널 내의 강한 집중 새들 점에 위치한 일부 채널 내의 약한 집중 블롭과 같은 특별한 컬러 이미지를 사용할 수 있다. 도 9는 약한 그린 블롭 및 강한 비대칭 적색 새들 (2개의 연관되는 이미지 피처들)을 도시한다. 현재의 멀티채널 검출기는 이러한 피처(예컨대, 약한 블롭)를 인식할 수 없지만, 그것의 단채널 아날로그는 인식할 수 있다. RGB 예에 대해, 현재의 검출기는 다음을 야기한다.

이 수학식은 새들 점에 대응하는 강한 L_{x ,y} 성분을 갖는다. 그것들은 블롭에 대응하는 약한 양의 값들을 억제하며, 그 결과는 음의 값이다. 그러나, 헤시안 결정자 기반 검출기는 양의 값들만을 탐색한다. 고전적인 강도 기반 단채널 검출기는 이러한 피처들을 인식할 수 있다. 예컨대, 도 10은 블롭에 대한 응답이 없는 상이한 스케일들에 대한 현재의 멀티채널 검출기의 응답을 예시한다. 도 11은 고전적인 검출기들이 큰 스케일에서 블롭을 검출하는 상이한 스케일들에 대한 단채널 검출기의 응답을 도시한다. 따라서, 이 멀티채널 검출기는 신뢰할 수 없다.

다른 현재의 검출기들은 각각의 채널에 대한 헤시안들의 멀티채널 성분들을 독립적으로 계산한다. 그러한 접근에서, 컨볼루션의 동작들에 이어서 가우시안 커널의 도함수가 이미지에 적용된다. 이 동작의 선형성 때문에, 그것은 이미지 채널들의 선형 조합과 동일하다. 따라서, 이 접근은 잠재적으로 색맹이다. 바꾸어 말하면, 이 선형 조합에 의해 일정한 영역에서 퇴화될 수 있는 이미지들이 존재한다. 또한, 이러한 종류들의 이미지들에 대해, 소실된 피처들을 인식할 수 있게 하는 선형 조합들이 존재해야 한다.

일반화된 강건한 멀티채널 (GRoM) 이미지 피처 검출기

가능한 신호 시프트들은 디퍼런셜 검출기 방법들의 사용을 요구한다. 인버전을 가질 수도 있는 신호 스케일링은 절대 역치들의 사용을 제한한다. 로컬 최대 탐색의 사용이 바람직하다. 강한 새들에 위치하는 약한 블롭 (예컨대, 도 9 및 연관된 상기 설명을 보라)의 테스트는 그러한 관심 점을 구별하는 것을 가능하게 하는 유니버셜 컬러 모델이 존재하지 않는다는 것을 증명한다. 그러므로, 관심 점에 대한 최적의 "컬러"를 찾기 위해, 각각의 관심 점에 대해 (예컨대, 상기 요구 사항 6)에 따라) 로컬 탐색이 채널 성분들에서도 수행되어야 한다. 멀티채널 검출 작업은, "로컬 옵티멀 컬러"(예컨대, 최대화 문제점의 정확한 해법)의 탐색, 멀티채널 이미지로부터 단채널 베이시스로의 로컬 이웃의 변환, 및 로컬 이웃 내의 단채널 검출기의 적용으로 축소될 수 있다.

"컬러"는 채널 값들의 단일 채널로의 투사(예컨대, 그레이스케일로의 변환)를 정의하는 벡터를 참조한다 . 단채널 검출기 응답 기능은 "컬러"의 최적 (또는 탐색의 대략적인(서브-옵티멀) 해법에 대해 "디퍼런셜") 선택을 위한 방법을 정의한다. 소정의 "베스트 블롭 컬러"로 변환된 가우시안 커널을 사용하여 컨볼빙된 채널 값들의 헤시안 매트릭스를 계산하면, 블롭에 대한 그러한 헤시안 매트릭스 H의 고유값 λ₁ 및 λ₂는 둘다 양수(또는 방향 기호가 중요하지 않으므로 음수)라야 하며, 고유값 합(Tr(H))에 대한 고유값의 차의 비율은 가능한 한 최소라야 한다(예컨대, 가장 대칭인 블롭). 이 비율은 코닉 섹션 이심률(conic section eccentricity) ε와 동등할 수 있다(예컨대, "블롭 라운드니스"

에 비해).

이심률 값 ε은 현재 점을 분류하는 것을 도울 수 있다. 블롭 (ε<1), 리지(ε=1) 또는 새들 점(ε>1). 이 점에서의 블롭 검출의 기준은 선택된 "베스트 컬러" 벡터에 대한 멀티채널 "컬러" 투사의 라플라시안(Tr(H))의 로컬 최대값이다. 특정 실시예들에서, 블롭 검출기에 대한 GRoM 기반 알고리즘이 아래의 알고리즘 1로 표시되며, 여기서 "베스트 블롭 컬러(best blob color)" u는 비-블롭 성분들이 이심률 요소에 의해 억제되는 라플라시안이다.

알고리즘 1 - GRoM 알고리즘

1. "로컬" 디퍼런셜 컬러를 계산

1.1 점 (x₀, y₀)에서 헤시안 텐서(tensor)를 계산

1.2 "베스트 블롭 컬러" 계산

H_i 및 L_i는 각각 i번째 채널에서만 계산된 어떤 점(x, y)에서의 헤시안 및 라플라시안을 나타낸다.

2. (u에 대한 최대 투사로서의) (x₀, y₀)에서의 극점에 대한 테스트:

라플라시안 기반 멀티채널 검출기의 능력들은 시너지 테스트에서 증명될 수 있다. 멀티채널 이미지는 상이한 채널들 내에 교차하는 블롭들을 갖는다. 이 교차점은 이미지 내에 새로운 피처를 생성하였다. 이미지를 RGB에서 그레이스케일로 변환할 수 있다. 예컨대, 30% 적색, 59% 녹색, 및 11% 청색. 그러나, 도 6의 오일러-벤 다이어그램으로부터 명백한 것과 같이, 그러한 변환은 많은 정보를 잃으며, 블랙 컬러는 최초 강도의 11%를 인코딩한다. 예컨대, 도 12에서 볼 수 있는 것과 같이, 멀티채널 검출기는 단채널 경쟁자보다 더 많은 이미지 피처들을 인식할 수 있다. 이 테스트는, 그레이스케일에 대한 초기 컬러 공간으로부터의 일치하는 퇴화된 매트릭스가 사용된다면, 변환된 이미지 내에서 단채널 검출기 피처들은 식별 불가능할 것이라는 것을 보여준다.

반면에, 개시된 기술의 실시예들은, 예컨대 도 6의 이미지 내의 모든 관심 점들뿐 아니라, 도 9의 약한 블롭도 검출할 수 있는 검출기를 포함할 수 있다(예컨대, 도 13을 보라). 그러한 검출기는 또한 색맹 테스트를 성공적으로 통과한다(예컨대, 도 14에 의해 예시된 검출기 응답들을 보라). 본원에 설명된 GRoM 이미지 피처 검출기는 "또 다른 컬러 블롭 검출기"가 아니라, 그보다는 멀티채널 검출기 개발을 위한 방법이다. 예컨대, 특정 실시예들에서, GRoM 이미지 피처 검출기는 예를 들어 해리스-스티븐스(Harris-Stephens) 검출기 응답 R = Det(H) - k Tr(H)의 최대화를 위해 다른 "베스트 컬러" 탐색 알고리즘을 사용할 수 있다.

이미지 피처 검출기에 대한 특정 고전적인 접근들은 이미지 피처를 트리플릿(triplet)(x, y, σ)으로 정의하는 것을 포함하며, 여기서 x 및 y는 공간 좌표들이고 σ는 스케일이다. 이 트리플릿에 대해, (x, y)에 위치하는 피처는 그것의 이웃 S_σ(x, y)의 모든 점들 중 유효 치수(significant measure)의 최대값을 갖는다. 유효 치수는 컬러에 대한 벡터 정보를 스칼라로 "컨볼빙(convolve)"한다. 또한, 이 크기는 글로벌하므로, 그것은 점 (x, y)에 의존하지 않는다. 개시된 기술의 특정 실시예들은 이미지 피처를 쿼드러플(x, y, σ, ν)로 정의하는 것을 포함하며, 여기서 ν는 점 (x, y)에 위치하는 피처의 "로컬" 컬러이며, ν는 세트 S_{σ, ν}(x, y) 내의 (x, y)에서 최대값을 갖는 크기를 생성하도록 선택될 수 있고, 그레이스케일 이웃 S_{σ, ν}(x, y)은 그것이 S_{σ, ν}(x, y)로부터의 점들의 컬러들을 ν로 투사할 때 주어질 수 있다.

문제에 대한 고전적인 컬러리스(color-less) 접근은 이미지 피처를 그것의 그레이스케일 이웃 내에서 어떤 스칼라량 만큼 우세한 점으로 정의하는 것이다. 최근의 시도들은 이미지 피처를 그것의 컬러 이웃 내에서 동일한 스칼라량 만큼 우세한 점으로 정의하기를 시도할 수 있는 반면, 개시된 기술의 실시예들은 이미지 피처를, 컬러 공간 내의 그것의 "로컬" 그레이스케일 평면으로 투사되는, 그것의 컬러 이웃에서 스칼라량 만큼 우세한 점으로 정의하는 것을 포함할 수 있다. 이러한 방식으로 이미지 피처를 정의함으로써, 그것은 "본질적으로" 멀티채널(예컨대, 컬러)이 되며, 대응하는 피처 검출기는 완전한 이미지 정보를 사용할 수 있고, 현재의 검출기들보다 더 많은 이미지 피처들의 위치를 알아낼 수 있다.

개시된 기술에 의해 어드레스되는 현재의 이미지 피처 검출기들의 단점들

ColorSIFT 및 컬러 해리스 검출기들과 같은 현재의 컬러 검출기들과 달리, 예컨대, 개시된 기술에 따른 GRoM 이미지 피처 검출기는 상기 논의된 것과 같이 강한 강도의 새들에서의 약한 강도의 블롭(예컨대, 도 9를 보라), 오일러-벤 다이어그램(예컨대, 도 6을 보라), 및 색맹 테스트(예컨대, 도 7을 보라)와 같은 테스트 이미지들에서 잘 동작한다.

ColorSIFT 검출기는 블롭 검출기이다. 관심 점들에 대해 ColorSIFT 시각화 표기를 사용하는 도 15는, 블롭들 모두가 인식되지는 않고 색맹 테스트가 통과되지 않는 테스트 이미지들에 대한 ColorSIFT 출력의 예를 예시한다. 따라서, ColorSIFT 검출기는 테스트 케이스들 중 어떤 것도 만족시키지 못한다.

컬러 해리스 검출기는 코너 검출기이다. 컬러 해리스 검출기의 두 가지 버전이 존재한다. 고전적 버전 및 부스팅된(boosted) 버전. 도 16은 오일러 테스트를 통과하지 못한 테스트 이미지들에 대한 컬러 해리스 검출기 출력의 예를 예시한다. 도 16으로부터, 검출기는 블롭 코너 검출 때문에 새들 및 색맹 테스트들에 대해 잘 작동할 수 있지만, 오일러-벤 다이어그램에 대해서는 잘 동작하지 않는다는 것을 알 수 있다. 부스팅된 컬러 해리스 검출기는 도 17에서 볼 수 있는 것과 같이 동일한 거동/단점들을 갖는다.

도 18은 개시된 기술의 실시예들이 구현될 수 있는 시스템(1800)의 예를 예시한다. 시스템(1800)은, 랩톱 컴퓨터와 같은 컴퓨팅 디바이스, 핸드헬드 또는 태블릿 컴퓨터와 같은 모바일 디바이스, 또는 스마트폰과 같은 통신 디바이스를 포함할 수 있으나, 이들에 제한되지 않는다. 시스템(1800)은 하우징(1802), 하우징(1802)과 연관되는 디스플레이(1804), 하우징(1802)과 연관되는 카메라(1806), 하우징(1802) 내의 프로세서(1808), 및 하우징(1802) 내의 메모리(1810)를 포함한다. 프로세서(1808)는 비디오 프로세서 또는 다른 종류의 프로세서를 포함할 수 있다. 카메라(1806)는 프로세서(1808)로 전송될 입력 이미지를 제공할 수 있다. 메모리(1810)는 프로세서(1808)에 의해 입력 이미지에 수행되는 프로세싱으로부터 야기되는 출력 이미지를 저장할 수 있다. 프로세서(1808)는 상기 설명한 다양한 이미지 프로세싱 동작들의 사실상 임의의 조합을 수행할 수 있다.

본원에 설명된 기법들은 다양한 하드웨어 아키텍처들 내에 통합될 수 있다. 예컨대, 개시된 기술의 실시예들은, 마더보드를 사용하여 상호연결되는 하나 이상의 마이크로칩들 또는 집적 회로들, 그래픽 및/또는 비디오 프로세서, 멀티코어 프로세서, 하드와이어드 로직, 메모리 디바이스에 의해 저장되고 마이크로프로세서에 의해 실행되는 소프트웨어, 펌웨어, ASIC(application specific integrated circuit), 및/또는 FPGA(field programmable gate array) 중 임의의 것 또는 이들의 조합으로 구현될 수 있다. 본원에 사용된 용어 "로직"은, 예로서 소프트웨어, 하드웨어, 또는 그들의 임의의 조합을 포함할 수 있다.

특정 실시예들이 본원에 예시되고 설명되었으나, 개시된 기술의 실시예들의 범위로부터 벗어나지 않으면서 다양한 대안적인 및/또는 동등한 구현들이 도시되고 설명된 특정 실시예들을 대체할 수 있다는 것이 본 기술분야의 당업자에 의해 인식될 것이다. 본 출원은 본원에 예시되고 설명된 실시예들의 임의의 적응들 및 변형들을 포함하도록 의도된다. 그러므로, 개시된 기술의 실시예들은 아래의 청구항들 및 그 등가물들에 의해서만 제한되도록 명백히 의도된다.

Claims (27)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 이미지 내의 이미지 피처를 쿼드러플(quadruple)(x, y, σ, ν)로 정의하는 단계 - ν는 상기 이미지 피처의 컬러화된 이웃 S_σ,ν(x, y)의 각각의 점 중 최대의 유효 치수(significant measure)를 갖는 점 (x, y)에 위치하는 상기 이미지 피처의 로컬 컬러임 -; 및
    그레이스케일 이웃 S_σ,ν(x, y)이 점들의 컬러들을 어떻게 S_σ(x, y)로부터 ν로 투사하는지에 기초하여 상기 그레이스케일 이웃을 정의하는 단계
    를 포함하는 일반화된 강건한 멀티채널 검출 방법.
21. 일반화된 강건한 멀티채널을 검출하기 위한 명령어들을 저장한 비일시적인 컴퓨터 판독 가능한 매체로서,
    상기 명령어들은 프로세서에 의해 실행되면, 상기 프로세서로 하여금,
    이미지 내의 이미지 피처를 쿼드러플(quadruple)(x, y, σ, ν)로 정의하고 - ν는 상기 이미지 피처의 컬러화된 이웃 S_σ,ν(x, y)의 각각의 점 중 최대의 유효 치수를 갖는 점 (x, y)에 위치하는 상기 이미지 피처의 로컬 컬러임 -,
    그레이스케일 이웃 S_σ,ν(x, y)이 점들의 컬러들을 어떻게 S_σ(x, y)로부터 ν로 투사하는지에 기초하여 상기 그레이스케일 이웃을 정의하도록 하는 비일시적인 컴퓨터 판독 가능한 매체.
22. 이미지를 수신하도록 구성되는 입력 포트; 및
    상기 이미지 내의 이미지 피처를 쿼드러플(quadruple)(x, y, σ, ν)로 정의하고 - ν는 상기 이미지 피처의 컬러화된 이웃 S_σ,ν(x, y)의 각각의 점 중 최대의 유효 치수를 갖는 점 (x, y)에 위치하는 상기 이미지 피처의 로컬 컬러임 -,
    그레이스케일 이웃 S_σ,ν(x, y)이 점들의 컬러들을 어떻게 S_σ(x, y)로부터 ν로 투사하는지에 기초하여 상기 그레이스케일 이웃을 정의하도록 구성되는 비디오 프로세서
    를 포함하는 일반화된 강건한 멀티채널 검출 장치.
23. 하우징;
    상기 하우징과 연관되는 디스플레이;
    상기 하우징과 연관되는 카메라;
    상기 하우징 내의 메모리; 및
    상기 하우징 내의 프로세서를 포함하고,
    상기 프로세서는,
    이미지 내의 이미지 피처를 쿼드러플(quadruple)(x, y, σ, ν)로 정의하고 - ν는 상기 이미지 피처의 컬러화된 이웃 S_σ,ν(x, y)의 각각의 점 중 최대의 유효 치수를 갖는 점 (x, y)에 위치하는 상기 이미지 피처의 로컬 컬러임 -,
    그레이스케일 이웃 S_σ,ν(x, y)이 점들의 컬러들을 어떻게 S_σ(x, y)로부터 ν로 투사하는지에 기초하여 상기 그레이스케일 이웃을 정의하고,
    상기 디스플레이로 하여금 상기 정의로부터 야기되는 출력 이미지를 시각적으로 제공하도록 하고,
    상기 메모리로 하여금 상기 출력 이미지를 저장하도록 구성되는, 일반화된 강건한 멀티채널 검출용 휴대용 컴퓨팅 디바이스.
24. 제20항에 있어서,
    x 및 y는 공간 좌표들이고 σ는 스케일인, 일반화된 강건한 멀티채널 검출 방법.
25. 제21항에 있어서,
    x 및 y는 공간 좌표들이고 σ는 스케일인, 비일시적인 컴퓨터 판독 가능한 매체.
26. 제22항에 있어서,
    x 및 y는 공간 좌표들이고 σ는 스케일인, 일반화된 강건한 멀티채널 검출 장치.
27. 제23항에 있어서,
    x 및 y는 공간 좌표들이고 σ는 스케일인, 일반화된 강건한 멀티채널 검출용 휴대용 컴퓨팅 디바이스.

Images