KR20080058366A

KR20080058366A - 피처 추출을 위한 마이크로구조의 모델링을 위한 방법 및시스템

Info

Publication number: KR20080058366A
Application number: KR1020087008589A
Authority: KR
Inventors: 퀴옹 양; 디안 공; 시아오우 탕
Original assignee: 마이크로소프트 코포레이션
Priority date: 2005-10-14
Filing date: 2006-10-16
Publication date: 2008-06-25
Also published as: WO2007047665A1; CN101283379A; CN101283379B; US7991230B2; US20070086649A1

Abstract

예시적인 시스템들 및 방법들은 이미지 피처들을 추출하기 위하여 이미지의 마이크로구조 모델링을 이용한다. 이미지 내의 마이크로구조는 마르코프 랜덤 필드로서 모델링되고, 모델 파라미터들은 트레이닝 이미지들로부터 학습된다. 모델링된 마이크로구조로부터 적응성 디자인된 마이크로패턴들은 이미지의 공간 컨텍스트들을 캡처한다. 일 실시예에서, 모델링된 마이크로구조에 기초한 일련의 마이크로패턴들이 이미지의 각각의 블럭에 대하여 자동으로 디자인되어, 다양한 이미지들, 다양한 픽셀 속성들, 및 이미지 내의 다양한 사이트들에 대한 적응성으로 인해 향상된 피처 추출 및 인식을 제공할 수 있다.

이미지 피처, 마이크로구조, 마르코프 랜덤 필드, 파라미터, 트레이닝 이미지, 마이크로패턴, 픽셀, 사이트

Description

피처 추출을 위한 마이크로구조의 모델링을 위한 방법 및 시스템{MODELING MICRO-STRUCTURE FOR FEATURE EXTRACTION}

피처 추출은 객체(object) 검출 및 인식, 얼굴 검출 및 인식, 안경 검출, 및 문자 인식과 같은 많은 비전 태스크들에서 가장 중요한 문제들 중 하나이다. 에지, 라인, 스폿, 블로브(blob), 코너, 및 더 복잡한 패턴들과 같은 종래의 마이크로패턴들은, 픽셀들 간의 로컬 관계들을 통하여 이미지의 공간 컨텍스트(spatial context)를 설명하도록 디자인되고 이미지 내의 피처들을 발견 및 추출하기 위한 필터들 및 템플릿들로서 이용될 수 있다. 즉, 마이크로패턴은 픽셀 속성들에 의해 그려진 비주얼 피처를 인식하기 위한 필터 또는 템플릿이다.

그러나, 이 종래의 마이크로패턴들은 경험에 기초하여 직관적으로 사용자 디자인되며, 또한 특수 목적으로 되는 것에 의하여 제한된다. 따라서, 한 태스크에 적합한 종래의 마이크로패턴들은 다른 것에 대하여는 적합하지 않을 수 있다. 예를 들어, "4 방향 라인 엘리먼트(Four Directional Line Element)"는 문자 인식에서는 성공적이지만, 얼굴 인식에서는 동일한 성공을 얻을 수 없는데, 이는 얼굴 이미지들은 문자 이미지보다 훨씬 더 복잡하고 방향 라인들로 단순히 나타낼 수 없기 때문이다. 다른 문제는, 어떤 경우에는, 마이크로패턴이 시행착오없이 적절한지 여부를 사용자가 직관적으로 결정하는 것이 어렵다는 것이다. 유사한 문제가 가 보(Gabor) 피처들에 대하여 존재한다. 가보 피처들은 일반적인 객체들 및 얼굴들을 인식하기 위하여 사용되었지만, 파라미터들은 실험 결과들에 의해 주로 조정되며, 이는 적절한 마이크로패턴들 및 파라미터들을 찾는 데 많은 시간과 노력을 들게 한다. 더 나은 피처 추출 및 인식을 위하여 필요한 것은 실제 이미지의 하나 이상의 수학적 속성들로의 강한 연계를 갖는 마이크로패턴들을 자동 생성하는 시스템이다.

발명의 요약

예시적인 시스템들 및 방법들은 이미지 피처들을 추출하기 위하여 이미지의 마이크로구조(micro-structure) 모델링을 이용한다. 이미지 내의 마이크로구조는 마르코프 랜덤 필드(Markov Random Field)로서 모델링되며, 모델 파라미터들은 트레이닝 이미지들로부터 학습된다. 모델링된 마이크로구조로부터 적응성 디자인된 마이크로패턴들은 이미지의 공간 컨텍스트들을 캡처한다. 일 실시예에서, 이미지의 각각의 블럭에 대하여 모델링된 마이크로구조에 기초한 일련의 마이크로패턴들이 자동으로 디자인되어, 다양한 이미지들, 다양한 픽셀 속성들, 및 이미지 내의 다양한 사이트들에 대한 적응성으로 인하여 향상된 피처 추출 및 인식을 제공할 수 있다.

본 개요는 상세한 설명부에서 더 후술되는 개념들의 선택을 간략한 형태로 도입하기 위하여 제공된다. 본 개요는 청구된 본 발명의 주제의 주요한 특징들 또는 본질적인 특징들을 식별하기 위한 것이 아니며, 청구된 본 발명의 주제의 범위를 결정하는 것을 돕기 위하여 이용되기 위한 것도 아니다.

도 1은 예시적인 MRF(Markov Random Field)-기초 피처 추출 시스템을 도시하는 도면.

도 2는 예시적인 피처 추출 엔진의 블럭도.

도 3은 픽셀 속성들 중의 예시적인 인접 구조를 도시하는 도면.

도 4는 예시적인 마이크로패턴들을 도시하는 도면.

도 5는 MRF-기초 피처 추출 동안 예시적인 기능적 흐름도를 도시하는 도면.

도 6은 피처 추출의 예시적인 방법의 흐름도를 도시하는 도면.

도 7은 MRF-기초 피처 추출의 예시적인 방법의 흐름도.

개요

본 명세서는 이미지로부터 피처들을 모델 기초 추출하기 위한 시스템들 및 방법들을 설명한다. 이 예시적인 시스템들 및 방법들은 피처 추출의 처리 동안 피처들 - 즉, 구조 기초 피처들 - 의 자동 모델링의 개념을 도입한다. 이 모델링 기초 피처 추출은 일반적으로 많은 종류의 애플리케이션들에 적용될 수 있다. 그러한 애플리케이션은, 예를 들면, 얼굴 식별 및 안경 인식을 포함한다.

대조적으로, 종래의 피처 추출 기술들은 경험에 의해 직관적으로 만들어진 소정의 피처들을 찾는 것에 의존하며, 각각의 종래 기술은 통상적으로는 한 종류의 애플리케이션에 특정한 것이다. 경험에 의해 고안되거나 시행착오로 도출된 이 종 래 피처 패턴들은 종종 많은 노고를 필요로 하고, 다양한 애플리케이션들에 대한 적응성을 엄격하게 한다.

그러나, 여기에 설명된 예시적인 마이크로패턴들은 수학적으로 모델링되고 예시들로부터 학습되는 공간 종속성들로부터 작성된다. 결과적인 예시적 마이크로패턴들은 피처 추출을 필요로 하는 많은 애플리케이션들에 더 일반적으로 적용 가능하다.

일 실시예에서, 예시적인 시스템은 미리 정렬된(pre-aligned) 이미지를 작은 블럭들로 분할하고 각각의 블럭 내의 균일한 모델을 가정한다. 그 후, 각각의 블럭에 대하여 블럭에 가장 적합한 일련의 마이크로패턴들이 디자인된다. 마이크로패턴들의 발생 가능성이 각각의 블럭 내의 사이트마다 계산되어 시퀀스를 형성하는데 그 MFFT(Modified Fast Fourier Transform) 피처들은 그 대응하는 마이크로패턴들의 국부 특성들을 반영하기 위하여 추출된다. 그 후, 이미지의 모든 블럭들로부터의 모든 MFFT 특징들이 함께 접합되어 이미지를 효율적으로 나타낸다.

그렇게 모델링된 예시적인 이미지 피처는 다음의 특성들을 갖는다. 첫째, 예시적인 이미지 피처는 마이크로구조 피처이다. 예를 들어 PCA(principal component analysis)로부터의 전체 피처들(holistic features)과 비교해보면, 예시적인 이미지 피처는 로컬 공간 종속성(local spatial dependence)을 모델링하고 적응성 마이크로패턴들(adaptive micro-patterns)을 디자인하는데 이용될 수 있는 한편, 종래의 전체 피처들은 이미지의 글로벌 특징들을 추출한다. 따라서, 예시적인 이미지 피처들은 공간 컨텍스트를 더 많이 캡처할 수 있으며, 이는 얼굴 인식 및 문자 인식과 같은 많은 비전 태스크들에서 중요한 역할을 한다.

마이크로구조에 의해 모델링된 예시적인 이미지 피처는 적응성 마이크로패턴들을 디자인하는데 이용된다. 마이크로패턴들에 기초한 종래의 피처 추출 방법들과 비교해보면, 적응성 마이크로패턴들은 직관적으로 사용자 정의된 것이 아닌 MRF 모델을 이용하여 추출된 피처로부터 디자인된다. 자동으로 디자인하기 위한 마이크로패턴의 유형은 트레이닝 샘플들로부터 학습 되어, 결과적인 마이크로 패턴은 상이한 이미지들, 상이한 속성들, 및 이미지의 상이한 사이트들에 적응성이 된다.

예시적인 이미지 피처들은 또한 모델에 기초한다. 로컬 피처 분석 및 독립 컴포넌트 분석과 같은 학습 기초 필터들로부터의 종래의 학습 기초 피처들과 비교해보면, 예시적인 이미지 피처들은 로컬 공간 컨텍스트를 직접 모델링할 수 있으므로, 종래 추출된 피처들이 할 수 있는 것보다 더 세밀하고 더 정교한 마이크로패턴들을 생성한다.

예시적인 환경

도 1은 예시적인 컴퓨팅 환경인 피처 추출 시스템(100)을 도시하며, 여기에서 예시적인 피처 모델링 및 추출이 실시될 수 있다. 일 실시예에서, 계산 장치(102)는, 얼굴 식별 또는 안경 검출과 같은, 피처 추출이 이용되는 애플리케이션(104)을 호스트한다. 예시적인 피처 추출 엔진(106)은 이하에서 더 상세히 설명되는 예시적인 마이크로구조 기초 피처 추출을 수행한다. 도시된 피처 추출 시스템(100)의 예에서, 얼굴 이미지(108)는 디지털 카메라(110)에 의해 캡처 된다. 이 미지(108)는 예시적인 피처 추출 엔진(106)을 통하여, 얼굴 식별을 위한 애플리케이션(104)에 보내진다.

일 실시예에서, 피처 추출 엔진(106)은 이미지(108)를 작은 중첩 비주얼 블럭들(112)로 분할한다. 예시적인 블럭(112)이 디스플레이(114) 상에 도시되지만, 블럭들(112)은 통상적으로는 애플리케이션(104)에 의해 디스플레이되지 않고, 수학적인 처리를 위해서만 이용된다. 각각의 블럭의 픽셀들의 선택된 속성 - 즉, 이미지 마이크로구조 - 은 MRF(Markov Random Field)로서 모델링된다. MRF들은 이미지의 공간 종속물들을 모델링하는 데 적합하다. MRF 모델로부터, 적응성 마이크로패턴들이 정의된다. 각각의 블럭에 대한 MRF 모델의 파라미터들은 정렬된 이미지 세트로부터의 학습을 통해 획득된다. 따라서, 적응성 마이크로패턴들을 디자인하기 위하여 포괄적인 이미지 피처들의 콜렉션이 모델링된다.

피처 추출 엔진(106)은 또한 적합성 함수(fitness function)를 정의하며, 이것에 의해 적합성 인덱스가 계산되어 이미지의 로컬 적합성을 적응성 마이크로패턴들로 인코드한다. 이론적인 분석 및 실험적인 결과들은 그런 예시적인 피처 추출 시스템(100)이 피처들을 추출하는데 있어서 유연하고 효과적이라는 것을 보여준다.

이미지들의 공간 컨텍스트에 따라 예시적인 마이크로패턴들이 적응성 디자인되므로, 마이크로패턴들은 다양한 이미지들, 다양한 속성들, 및 이미지의 다양한 사이트들에 대하여 적응성이다. 이것은 얼굴 검출, 얼굴 식별, 안경 검출, 문자 인식, 객체 검출, 객체 인식, 등과 같은 많은 상이한 애플리케이션들에서 적응성 마이크로패턴들이 피처 추출 엔진(106)에 의해 이용되는 것을 가능하게 한다.

예시적인 피처 추출 엔진

도 2는 도 1의 예시적인 피처 추출 엔진(106)을 더욱 상세하게 도시한다. 피처 추출 엔진(106)의 도시된 구성은 단지 하나의 구현예이며, 개요를 위한 단지 하나의 예시적인 구성을 제공하기 위한 것이다. 도시된 컴포넌트들, 또는 유사한 컴포넌트들의 다른 구성들이, 본 발명의 주제의 범위 내에서 가능하다. 도시된 라인들 및 화살표들은 흐름을 제시하고 어떤 컴포넌트들 간의 접속을 강조하기 위하여 제공된다. 두 컴포넌트들 간에는 결합 라인(coupling line)이 도시되어 있지 않지만, 도시된 컴포넌트들은 동일한 피처 추출 엔진(106)의 컴포넌트들이기 때문에, 일반적으로 필요에 따라 서로 통신한다. 그러한 예시적인 피처 추출 엔진(106)은 하드웨어, 소프트웨어, 하드웨어와 소프트웨어와 펌웨어의 조합들, 등으로 실시될 수 있다.

일 실시예에서, 피처 추출 엔진(106)은 MRF 마이크로구조 모델링을 위하여 트레이닝 이미지들(202)로부터 모델 파라미터들을 학습하고, 특정 이미지에 관계된 적응성 마이크로패턴들을 디자인하기 위한 컴포넌트들을 포함한다. 피처 추출 엔진(106)은 또한 대상 이미지(subject image, 204) 처리를 위한, 즉 대상 이미지(204)로부터 피처들을 추출하기 위한 컴포넌트들을 포함한다. 블럭 관리자(206)는, 트레이닝 이미지들(202) 및 대상 이미지(204) 모두에 대하여, 이미지 내의 블럭들의 사이즈, 중첩, 및 등록을 제어한다.

상기 언급된 트레이닝을 위하여, 피처 추출 엔진(106)은 학습 엔진(208), 적 응성 디자이너(210), 및 결과적인 마이크로패턴들(212)을 위한 버퍼 또는 저장소를 포함한다. 바로 앞에서 소개된 학습 엔진(208)은 속성 선택기(214), 의사 최대 우도 추정기(pseudo maximum likelihood estimator, 216), 및 모델 파라미터들(218), 즉 각각의 블럭을 위한 버퍼를 더 포함한다. 적응성 디자이너(210)는 정의 엔진(220)을 더 포함할 수 있다.

바로 앞에서 소개된 학습 엔진(208) 및 다른 컴포넌트들은, 블럭 레벨 피처 추출기(224) 및 MRF 속성 모델러(226)를 포함하는 마이크로구조 모델러(222)와 통신 연결되어 있다. 일 실시예에서, 대상 이미지 처리는 또한 동일한 마이크로구조 모델러(222)를 이용한다.

이미지들을 처리하기 위하여, 이미지 처리기(228)는 하나의 이미지 블럭(230)을 위한 버퍼, 로컬 적합성 엔진(232), 및 MFFT 피처 추출기(234)를 포함한다. 로컬 적합성 엔진(232)은 적합성 인덱스(238)를 생성하는데 적합한 적합성 함함수(236)를 더 포함할 수 있다. 이미지 처리기(228)는 로컬 적합성 시퀀스(240)를 위한 버퍼 공간을 더 포함한다.

전체 대상 이미지(204)의 글로벌 결과를 위하여, 피처 추출 엔진(106)은 또한 이미지의 모든 블럭들의 피처들을 단일의 벡터: 전체 이미지를 나타내는 마이크로구조 피처(244)로 결합시키는 피처 접합기(feature concatenator, 242)를 포함한다.

피처 추출 엔진의 예시적인 컴포넌트들

이제 예시적인 엔진(106)의 개요가 제공된다. 블럭 관리자(206)는 이미지(204)를 블럭들(112)로 분할하며, 이들에 의해 MRF 속성 모델러(226)는 각각의 블럭(112)에 대하여 블럭 레벨 마이크로구조 피처들을 추출한다. 나중에, MRF 모델링에 기초하여, 로컬 적합성 엔진(232)은 로컬 적합성 시퀀스(240)를 계산하여 마이크로패턴들에 대한 이미지의 로컬 적합성을 설명한다. MFFT 추출기(234)는 각각의 블럭(112)의 로컬 적합성 시퀀스(240)로부터 변환된 피처를 도출한다. 피처 접합기(242)는 모든 블럭들로부터의 이 피처들을 결합하여 긴 피처 벡터로 만든다. 이 새로운 피처는 이미지의 마이크로구조에 기초하며 세 개의 레벨들(픽셀 레벨에서 마르코프 필드 모델은 인접 픽셀들의 공간 상관(spatial correlation)을 반영하고; 각각의 블럭 내의 로컬 적합성 시퀀스(240)는 블럭 레벨에서 마이크로패턴들에 대한 이미지의 국부 적합성(regional fitness)을 반영하며; 모든 블럭들로부터의 피처들이 접합되어 이미지(204)의 글로벌 표현을 작성함)에서 이미지를 설명한다. 이런 식으로, 이미지의 글로벌 형상 및 로컬 텍스처들 모두는 동시에 인코드된다.

MRF(Markov Random Field) 속성 모델러

예시적인 피처 추출 엔진(106)은 모델 기초 피처 추출 방식을 구현하는데, 이것은 피처 추출을 위하여 이미지(204)의 마이크로구조를 모델링하고 적응성 마이크로패턴들(212)을 디자인하기 위하여 마르코프 랜덤 필드(MRF) 속성 모델러(226)를 이용한다.

피처 추출에 이미지 구조 모델링을 적용할 때, 마이크로구조 모델러(222)는 적어도 세 가지 장점들을 제공한다. 첫째, 상기 모델링은 이미지 마이크로구조에 기초하여 적절한 마이크로패턴들을 자동으로 디자인하기 위하여 충실한 이론적 기초를 제공할 수 있다. 다음, 상기 모델링을 통하여, 피처 추출 엔진(106) 또는 대응하는 방법들은 보다 다양한 애플리케이션들에 걸쳐 일반적으로 적용될 수 있다. 셋째, 상기 모델링은 파라미터들을 조정하기 위한 실험적인 시행착오를 경감시킨다.

MRF 속성 모델러(226)는 픽셀들 간의 공간 종속성(spatial dependence) 관계들을 모델링하기 위하여 유연성 있는 메커니즘을 제공한다. 이미지(204)의 로컬 영역 내에서, MRF 속성 모델러(226)는 공간 종속성을 이용하여 마이크로패턴들을 모델링하는데, 상이한 공간 종속성들은 상이한 마이크로패턴들에 대응한다. 따라서, MRF 속성 모델러(226)는 이미지들 내의 관찰되지 않고/거나 복잡한 패턴들, 특히 톤, 텍스처, 또는 깊이에 있어서 균일한 영역들 간의 불연속점들의 위치를 편리하게 나타낸다.

더욱이, 일 실시예에서는, MRF 모델의 파라미터들은 직관적으로 사용자 디자인되는 대신 샘플들로부터 통계적으로 학습된다. 그리하여 MRF 모델링은 이미지들의 로컬 특성들에 더욱 적응성으로 된다. 이미지들의 상이한 종류들, 이미지들의 상이한 속성들, 및 심지어는 단일 이미지의 상이한 사이트들에 대하여 상이한 마이크로패턴들이 디자인되어, 추출된 피처들은 더욱 유연성 있게 되고, 다양한 애플리케이션들에 더욱 적용 가능하게 될 수 있다.

상기 설명으로부터, MRF 모델은 이미지의 상이한 사이트들에서의 이미지들의 고유 패턴에 대하여 적응성이고 유연성 있게 된다. 파라미터들은 하나의 블럭 내의 사이트에 관계되어 변화한다. 또한, 모델은 이미지의 속성들을 변화시키는 것에 적응성이다.

도 3은 H×W 사이즈의 이미지(302)의 1차 및 2차 인접 구조를 도시한다. S는 이미지(302)의 사이트맵(304)이다. 이미지(302)는 1차 인접 구조(306) 및 2차 인접 구조(308)를 갖는다. MRF 속성 모델러(226)의 기능(functioning)을 더 이해하기 위하여, I는 모든 사이트들의 그 컬렉션으로서의 S로 H×W 이미지를 나타내고, X_s = x_s 는 사이트 s∈S에서 이미지 I의 속성을 나타내는 것으로 한다. 예를 들어, 속성 선택기(214)는 그레이스케일 세기, 가보 속성(Gabor attribute), 또는 다른 속성을 선택할 수 있다. 사이트 s를 배제하고 S 내의 모든 다른 사이트들의 속성들은 X_-s = x_-s로 표시된다. S의 속성들, 즉 X = x = {x_s, s∈S}의 공간 분포는 마르코프 랜덤 필드(MRF)로서 모델링될 것이다.

N_s는 사이트 s의 인접자들(neighbors)을 나타내고, r차 인접(neighborhood)은

가 되도록 정의되며, 여기에서 dist(s,t)는 사이트 s와 사이트 t 사이의 거리인 것으로 한다. 마르코프 모델은 깁스 랜덤 필드 모델(Gibbs random field model)에 유사하거나 등가이므로, 확률을 계산하기 위하여 수학식 1에서와 같이 에너지 함수가 이용된다:

여기에서

는 사이트 s를 포함하는 클리크들(cliques)의 에너지들/전위들의 합인, 사이트 s에서의 에너지 함수이고,

는 파티션 함수이다. 여기에서 θ_s가 사이트 s에 대한 파라미터 세트이므로,

를

로 재기입한다.

페어와이즈(pair-wise) MRF 모델의 경우,

이 존재하며, 여기에서

는 사이트 s에서의 "필드"이고,

는 사이트 s와 사이트 t 사이의 "상호작용(interaction)"이다. 더욱이,

이고

라면, "평탄 모델(smooth model)"이 실행중이며

이 존재한다.

및

라면, 이징 모델(Ising model)이 실행중이며

이 존재한다. 간략화를 위하여, θ_s는 θ로 간주된다.

예시적인 적응성 마이크로패턴 디자이너

도 4는 예시적인 마이크로패턴들을 도시한다. 그러한 적응성 마이크로패턴들은 이미지(204)로부터 피처들을 찾거나 추출하고/거나 이미지를 식별하기 위한 "필터들"로서 이용된다. 피처 추출 엔진(106)은 마이크로패턴들(212)을 모델링함으로써 주어진 이미지(204)에 대하여 적절한 마이크로구조 및 적절한 파라미터들을 찾는 것을 목표로 한다.

마이크로패턴들(402, 404, 406, 및 408)은 "평탄 모델"의 마이크로패턴들이다. 이징 모델의 파라미터들이 410에 도시된 바와 같을 때, 16개 마이크로패턴들(412, 414, 416, 418, 420, 422, 424, 426, 428, 430, 432, 434, 436, 438, 440, 및 442)은 이징 모델의 마이크로패턴들이다. 즉, 이징 모델은 16개의 패턴들(412-442) 모두를 구별할 수 있다. 그들 가운데, "블로브(blob)" 마이크로패턴들(412 및 414); 트라이앵글 마이크로패턴들(414, 416, 418, 420); 코너 마이크로패턴들(422, 424, 426, 및 428); 라인 마이크로패턴들(430 및 432); 애로우 마이크로패턴들(434, 436, 438, 440); 및 링 마이크로패턴(442)이 존재한다. 이징 모델은 마이크로패턴들을 설명하는 강력한 능력을 갖는다. 평탄 모델 및 이징 모델은 수행될 모델링을 위한 형태들로서 선택 가능하다.

일 실시예에서, 모델 형태가 선택되면(예를 들면, 평탄, 이징, 등), 마이크 로패턴들(212)은 학습 엔진(208)에 의해 생성된 모델 파라미터들(218)에 의해 결정된다(즉, 이하의 수학식 2에 의해 정의됨). 모델 파라미터들(218)은 MRF 속성 모델러(226)를 구현하기 위하여 마이크로구조 모델러(222)에 의해 이용된다. 적응성 디자이너(210)는 일반화된 정의들(수학식 2)을 실행하여 적응성 마이크로패턴들(212)을 생성하는 정의 엔진(220)을 포함한다.

따라서, 적응성 디자이너(210)에서, Ω는 마이크로패턴을 나타내고,

는 소정의 θ에 대한 제약

을 만족시키는 모든

쌍들이 되도록 정의된다(즉,

). 여기에서, θ는 파라미터 세트이다.

는 다음의 속성들을 갖는다.

1. 소정의 θ에 대하여,

은 일련의 마이크로패턴들을 설명하는 것이며, 여기에서 R(실수들의 세트)은

값의 세트이다.

2.

가 불연속인 경우,

는 그것의 확률

에 의해 특징화되며,

가 연속적인 변수인 경우,

는 확률밀도함수

에 의해 특징화된다.

피처 추출 엔진(106)은 속성 모델러(226) 내의 MRF 모델을 이용하므로,

인 것으로, 따라서 수학식 2에서와 같이, 정의된다.

즉, 동일한 에너지 레벨에서의

은 동일한 마이크로패턴에 속한다.

a) 평탄모델이 실행되면, 즉

이면, 수학식 3과 같이 된다.

도 4에 도시된 바와 같이, 이 점에서는, 마이크로패턴들(402 및 404)은 동일한 것으로 간주되는 한편, 마이크로패턴들(406 및 408)은 상이한 것으로 간주된다.

b) 이징 모델이 사용되면, 즉

(1차 인접을 이용)이면(여기서는 도 4(e)에 도시된 바와 같이

및

임), 수학식 4가 성립한다.

언급된 바와 같이, 수학식 2에 정의된 마이크로패턴들은 모델 형태가 선택되면 모델 파라미터들(218)에 의해 정의된다. 모델이 더 많은 파라미터들을 가질수록, 더 많은 마이크로패턴들(212)을 구별할 수 있다. 정의 엔진(220)에 의해 디자인된 마이크로패턴은 이미지(204)의 로컬 특성들에 대하여 적응성인데, 이는 파라미터들(218)이 트레이닝 샘플들(202)로부터 통계적으로 학습되기 때문이다. 이것은 직관적으로 사용자 디자인된 마이크로패턴들(예를 들면, 가보(Gabor))과는 매우 다르다.

예시적인 적합성 엔진

이미지 처리기(228)는 마이크로패턴들(212)을 이용하여 이미지(204) 내의 피처들을 찾는 로컬 적합성 엔진(232)을 포함한다. 로컬 적합성 엔진(232)은 하나의 블럭(230) 내의 사이트 s에서의 이미지의 로컬 특징들이 어느 마이크로패턴(212)에 적합한 지를 검출하는 적합성 함수(236)를 포함한다.

θ가 주어지면, 주어진 임의의

의 쌍에 대하여 적합성 함수

는 수학식 5에서와 같이 정의된다.

특히,

일 때, 수학식 6이 성립한다.

그 후, 적합성 인덱스(238)가 수학식 7에서와 같이 계산될 수 있다.

적합성 함수(236)는 사이트 s에서의 이미지(204)의 로컬 특성들을 특정 마이크로패턴(212)과 매칭시킨다. 또한, 전위 또는 에너지가 낮은 경우, 작은

사이의 차이를 확대시키고, 전위 또는 에너지가 높은 경우, 큰

사이의 차이를 감소시킨다.

수학식 2에서의 마이크로패턴의 정의 및 수학식 1에 의해 예시된 마르코프 랜덤 필드 모델로부터, 수학식 8이 도출된다.

여기에서

는 X_s와는 무관하고, V는

가 주어진 경우 마이크로패턴

에 속하는 쌍들

의 수이며,

이다. V 및 τ는 모두 X_N, X 및 θ에만 종속되어, z는 θ에만 종속되는 상수인 것을 주의한다. 따라서, 수학식 9와 같다.

즉, 적합성 인덱스

(238)는

의 확률에 비례한다. 필터 디자인의 관점으로부터, 예를 들어, 로컬 적합성 엔진(232)이 로컬 적합성 시퀀스(240)를 결정할 때, 적합성 함수(236)는 마이크로패턴(212)에 대한 적합성을 그 확률에 따라 조정한다. 적합성 함수(236)는 높은 확률을 가지는 마이크로패턴들을 낮은 에너지들로 강화하고, 낮은 확률들을 가지는 마이크로패턴들을 높은 에너지들로 억제한다. 실제로, 주어진 θ에 대하여, 적응성 디자이너(210)는 일련의 마이크로패턴들

을 디자인하고,

, 즉 적합성 인덱스(238)는, 사이트 s에서의, 마이크로패턴

(212)의 발생 확률을 나타낸다.

적합성 시퀀스(240)는 수학식 10에서와 같이 계산될 수 있다.

여기에서

은 S 내의 사이트들 s의 수이다.

예시적인 학습 엔진

학습 엔진(208)은 MRF 속성 모델러(226)에 의해 이용될 파라미터들

(218)을 추정한다. 파라미터들(218)은 트레이닝 샘플 이미지들(202)로부터 학습함으로써 추정된다. 트레이닝 이미지들(202)은 표준 얼굴 데이터베이스, 즉, 예를 들면, 각각의 대상에 대하여 120개 이미지들을 갖는 52 대상들을 포함하는 BANCA 데이터세트로부터의 라이브러리일 수 있다. 그들 중, BANCA의 "세션 1" 내의 5개 이미지들/대상들이 트레이닝 이미지들(202)(예를 들면, 260개 이미지들)로 사용된다. 일 실시예에서, 트레이닝 이미지들(202)은 두 개의 트레이닝 라이브러리들이며, 제1 라이브러리는 눈의 자동 등록에 기초하여 55×51 픽셀 사이즈로 크롭(cropped) 및 정규화되는 260개 얼굴들의 그레이스케일 세기이다. 제2 라이브러리는 2개 스케일들 및 4개 오리엔테이션들을 갖는 가보 필터 뱅크를 이용하는, 동일 크롭된 얼굴들의 가보 속성들이다.

m개의 독립된 샘플들

이 있고, 여기에서

인 것을 가정한다. MLE(maximum likelihood estimation)는 수학식 2에서의 최적화와 같이 처리될 수 있다.

그러나,

가 존재하므로, 추정기(216)는 수학식 12에서의 근사화를 위하여 PMLE(pseudo maximum likelihood estimation)을 이용한다.

는 수학식 13과 등가이다.

평탄 모델이 선택될 때, 상기 근사화는 수학식 14에서의 최적화로서 취급될 수 있다(일반화를 위하여, 연속적인 형태가 이용됨).

여기에서 [a, b]는 x_js 값의 간격이다. 일 실시예에서, 마르코프 랜덤 필드가 균일하고 등방성인 것, 즉

인 것을 추가로 가정하면, 동일하게 추정기(216)는 수학식 15에서의 함수를 최대화시키는 최적의

를 찾을 수 있다.

여기에서

이다. 그 후 예시적인 피처 추출 엔진(106)은 최적의

를 찾는다.

피처 추출 엔진의 예시적인 기능성

도 5는 MRF-기초 피처 추출의 일반적인 흐름도의 예를 도시한다. 처리될 이미지(204)는 블럭들로 분할된다. 각각의 블럭은 MRF-기초 피처 추출을 거치고 그 후 피처 접합은 모든 블럭들로부터의 피처들을 결합한다. 속성x⁽ⁱ⁾(502)는 i번째 블럭에서의 이미지의 선택된 속성이다. y⁽ⁱ⁾(240)는 i번째 블럭 내에서의 로컬 적합성 시퀀스이다. u(i)⁽⁵⁰⁶⁾는 i번째 블럭의 로컬 적합성 시퀀스의 MFFT(Modified Fast Fourier Transform)이다. x⁽ⁱ⁾ _j(508)는 j번째 트레이닝 이미지(202)의 i번째 블럭 내의 속성이다. θ⁽ⁱ⁾(510)는 i번째 블럭에 대한 마르코프 랜덤 필드(MRF) 모델링을 위한 파라미터들을 나타낸다.

일 실시예에서, 예시적인 피처 추출 엔진(106)은 세 단계로 수행한다. 제1 단계에서, 블럭 관리자(206)는 이미지(204)를 L×K의 오버래핑 및 사이즈 N×M의 C 블럭들(112)로 분할한다. 각각의 블럭(112)에 대하여, 마이크로구조 모델러(222)는 속성

을 모델링하기 위하여 MRF 속성 모델러(226)를 독립적으로 적용한다. 일 실시예에서, 간략화를 위하여, 모델러(222)는 각각의 블럭(112) 내에서 균일한 모델을 적용하는데, 즉 모델 파라미터들(218)은 동일 블럭 내에서는 동일하다.

트레이닝 동안, 학습 엔진(208)은, 수학식 16을 통하여, 미리 정렬된 트레이닝 이미지 세트

(202)로부터 각각의 블럭(112)에 대하여 모델 파라미터들

(218)을 학습한다.

여기에서

이다. 파라미터들(218)이 학습되면, 마이크로구조 모델러(222)는 트레이닝 샘플들(202)로부터의 관찰결과들과 가장 적합한 각 블럭에 대한 일련의 마이크로패턴들(212)을 도출한다.

이미지(204)로부터 피처를 추출하는 경우, 로컬 적합성 엔진(232)은 수학식 17을 이용하여 각각의 블럭에 대한 이미지(204)의 로컬 적합성 시퀀스(240)

를 계산한다.

제2 단계에서, MFFT 추출기(234)는 차원(dimensionality) 및 노이즈 모두를 감소시키기 위하여 각각의 블럭(112) 내에서 로컬 적합성 시퀀스(240)의 MFFT 피처를 도출한다. 로컬 적합성 시퀀스(240)의 저주파 성분들이 유지되는 한편, 고주파 성분은 평균화된다. y⁽ⁱ⁾가 i번째 블럭(112)의 로컬 적합성 시퀀스(240)를 나타내고,

이면(여기서

임),

이며, 여기에서

이고 k는 절단 길이(truncation length)이다.

제3 단계에서, 피처 접합기(242)는 이미지(204)의 모든 블럭들로부터

를 접합하여, 수학식 19에서와 같이, 길이가 C×(k+1)인 MRF-기초 마이크로구조 피처를 형성한다.

예시적인 방법들

도 6은 이미지로부터 피처들을 추출하는 예시적인 방법(600)을 도시한다. 흐름도에서, 동작들은 개별 블럭들로 요약된다. 구현에 따라, 예시적인 방법(600)은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어와 펌웨어 등의 조합에 의하 여(예를 들면, 예시적인 피처 추출 엔진(106)의 컴포넌트들에 의하여) 수행될 수 있다.

블럭(602)에서, 이미지의 마이크로구조는 마르코프 랜덤 필드로서 모델링된다. 이미지 내의 픽셀들의 속성은 이미지 마이크로구조를 액세스하는데 이용될 수 있다. 마이크로 레벨에서의 마르코프 랜덤 필드 모델링은 이미지 내의 비주얼 공간 종속물들(visual spatial dependencies)을 캡처하므로, 이미지 구조에 기초하는 추출된 피처들을 야기시킨다.

블럭(604)에서, 마이크로구조의 마르코프 랜덤 필드 모델링에 기초하여 이미지 피처가 도출된다. 모델링된 마이크로구조는 마이크로패턴의 일반적 정의를 통해 적응성 마이크로패턴들로서 리캐스트(recast)된다. 일 실시예에서, 이미지 내의 마이크로패턴들의 발생 확률의 사이트별 스캔이 이미지의 각각의 블럭 내에서 이루어져 적합성 시퀀스를 생성한다. 블럭에 대응하는 피처를 획득하기 위하여 수정된 FFT(Fast Fourier Transform)가 적합성 시퀀스에 적용된다.

도 7은 MRF-기초 피처 추출의 예시적인 방법(700)을 도시한다. 흐름도에서, 동작들은 개별 블럭들로 요약된다. 구현에 따라, 예시적인 방법(700)은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어와 펌웨어 등의 조합에 의하여(예를 들면, 예시적인 피처 추출 엔진(106)의 컴포넌트들에 의하여) 수행될 수 있다.

블럭(702)에서, 이미지는 블럭들로 분할된다. 블럭 차원들은, 5픽셀×5픽셀과 같이, 임의로 선택될 수 있다. 블럭 사이즈에 대하여 선택된 차원들은 전체 이미지의 처리 동안 동일하게 유지된다. 일 실시예에서, 블럭들이 오버래핑하여, 전 이 평탄성(transition smoothness)을 제공하고 마이크로구조 피처가 피처를 가르는 가상 블럭의 가상의 경계로 인하여 소실되는 것을 방지한다.

블럭(704)에서, 각각의 블럭의 마이크로구조는 마르코프 랜덤 필드로서 모델링된다. 공간 종속물들은 MRE에 의하여 양호하게 모델링된다. 그레이스케일 값 또는 세기와 같은 픽셀 속성이 모델링될 수 있다.

블럭(706)에서, 모델링된 마이크로구조에 대응하는 일련의 마이크로패턴들이 자동으로 디자인된다. 일 실시예에서, 디자인 엔진은 마이크로패턴들의 일반적인 정의를 MRF 모델링에 적용하여, 처리중인 이미지 블럭에 맞추어진 적응성 마이크로패턴 커스텀을 야기시킨다.

블럭(708)에서, 일련의 마이크로패턴들에 대한 블럭의 적합성을 나타내는 적합성 시퀀스가 생성된다. 일 실시예에서, 이미지의 각각의 블럭이 사이트마다 처리되어, 각각의 특정 사이트에 대한 마이크로패턴 적합성의 시퀀스 또는 적합성 인덱스를 생성한다.

블럭(710)에서, 각각의 이미지 블럭의 적합성 시퀀스에 MFFT(Modified Fast Fourier Transform)이 적용된다. MFFT는 고에너지 마이크로패턴들을 감쇠시키고 저에너지 마이크로패턴들을 유지함으로써 적합성 시퀀스를 피처 결과로 안정화시킨다. 결과적으로, 자신이 도출된 이미지 블럭에 대한 강한 수학적 대응을 갖는 MFFT 피처가 발생된다(그 블럭에 대한 강한 비주얼 대응을 갖는지 여부와는 무관하게). 즉, 각각의 블럭에 대하여, MFFT 피처는 그 블럭의 마이크로구조의 강하고 고유한 특성이다.

블럭(712)에서, 모든 블럭들로부터의 피처들이 접합되어 이미지를 나타낸다. 이미지 내의 모든 블럭들의 MFFT 피처들의 각각이 접합되어, 전체 이미지의 MRF-기초 마이크로구조 표현인 긴 벡터로 된다.

결론

예시적인 시스템들 및 방법들이 구조적 특징들 및/또는 방법적인 동작들에 특정한 언어로 설명되었지만, 청구범위에서 한정된 청구물은 설명된 특정한 특징들 또는 동작들에 반드시 한정되는 것이 아닌 것이 이해되어야 한다. 오히려, 특정의 특징들 및 동작들은 청구된 방법들, 장치들, 시스템들, 등을 구현하는 예시적인 형태들로서 개시된다.

Claims

이미지의 마이크로구조를 마르코프 랜덤 필드로서 모델링하는 단계; 및

상기 모델링에 기초하여 이미지 피처를 추출하는 단계

를 포함하는 방법.
제1항에 있어서, 상기 모델링하는 단계는 픽셀 속성들을 이용하여 상기 마이크로구조를 모델링하는 방법.
제2항에 있어서, 상기 픽셀 속성들은 상기 이미지의 공간적 컨텍스트를 설명하는 방법.
제5항에 있어서, 트레이닝 이미지들로부터의 모델링을 위한 파라미터들을 학습하는 단계를 더 포함하는 방법.
제4항에 있어서, 상기 학습하는 단계는 의사 최대 우도 추정을 포함하는 방법.
제1항에 있어서, 상기 모델링된 마이크로구조로부터 마이크로패턴을 자동으로 디자인하는 단계를 더 포함하는 방법.
제6항에 있어서, 상기 이미지의 속성들 또는 상기 이미지 내의 특정 사이트로부터 적응된 마이크로패턴을 자동으로 디자인하는 단계를 더 포함하는 방법.
제6항에 있어서, 상기 마이크로패턴을 디자인하는 단계는, 평탄(smooth) 모델을 따르는 마이크로패턴 세트를 디자인하는 단계를 포함하는 방법.
제6항에 있어서, 상기 마이크로패턴을 디자인하는 단계는 이징(Ising) 모델을 따르는 마이크로패턴 세트를 디자인하는 단계를 포함하는 방법.
제6항에 있어서, 상기 마이크로패턴을 이용하여 이미지의 적어도 일부를 인식하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 이미지를 블럭들로 분할하고 각각의 블럭에 대하여 일관된 파라미터들로 상기 마이크로구조를 모델링하는 단계를 더 포함하는 방법.
제1항에 있어서,

상기 이미지를 블럭들로 분할하는 단계;

상기 블럭의 마이크로구조에 대응하는 일련의 마이크로패턴들을 자동으로 디자인하는 단계; 및

각각의 블럭 내의 사이트마다 마이크로패턴들의 발생 가능성을 계산하여, 상기 일련의 마이크로패턴들에 대한 상기 블럭 내의 이미지의 적합성 시퀀스를 형성하는 단계

를 더 포함하는 방법.
제12항에 있어서, 대응 마이크로패턴들의 국부 특성을 도출하기 위하여 상기 적합성 시퀀스에 MFFT(Modified Fast Fourier Transform)를 적용하는 단계를 더 포함하는 방법.
제12항에 있어서, 상기 블럭의 적어도 하나의 MFFT 피처를 도출하기 위하여 상기 적합성 시퀀스에 MFFT(Modified Fast Fourier Transform)를 적용하는 단계를 더 포함하는 방법.
제14항에 있어서, 상기 이미지의 모든 블럭들로부터의 상기 MFFT 피처들을 접합하여 상기 이미지를 나타내는 방법.
제15항에 있어서, 상기 접합된 MFFT 피처들은 벡터를 포함하며,

상기 벡터는 픽셀 레벨에서 공간 상관(spatial correlation)을 나타내고;

상기 벡터는 블럭 레벨에서 상기 마이크로패턴에 대한 국부 적합성을 나타내며;

상기 벡터는 글로벌 레벨에서 상기 이미지의 설명(description)을 나타내는 방법.
이미지의 블럭 내의 속성들을 통하여 상기 이미지의 마이크로구조를 모델링하기 위한 마르코프 랜덤 필드 속성 모델러; 및

상기 모델링된 마이크로구조에 기초하여 상기 이미지의 피처를 도출하기 위한 피처 추출기

를 포함하는 시스템.
제17항에 있어서,

상기 도출된 피처로부터 마이크로패턴들을 생성하는 디자이너; 및

마르코프 랜덤 필드 속성 모델러에 대한 파라미터들을 추정하기 위한 학습 엔진

을 더 포함하는 시스템.
제17항에 있어서,

상기 이미지를 블럭들로 분할하기 위한 블럭 관리자;

각각의 블럭에 대하여 상기 블럭의 마이크로 구조에 대응하는 일련의 마이크로 패턴들을 자동으로 디자인하기 위한 디자이너;

각각의 블럭 내의 사이트마다 마이크로패턴들의 발생 가능성을 계산하여 상 기 일련의 마이크로패턴들에 대한 상기 블럭 내의 이미지의 적합성 시퀀스를 형성하기 위한 적합성 엔진;

각각의 적합성 시퀀스로부터 피처를 도출하기 위한 MFFT 피처 추출기; 및

상기 피처들을 접합하여 상기 이미지를 나타내기 위한 피처 접합기

를 더 포함하는 시스템.
이미지의 마이크로구조를 마르코프 랜덤 필드로서 모델링하기 위한 수단; 및

상기 모델링에 기초하여 이미지 피처를 추출하기 위한 수단

을 포함하는 시스템.