KR20110033801A

KR20110033801A - Ｌ₁거리 척도에 기초한 국소 이미지 유사성 측정 방법

Info

Publication number: KR20110033801A
Application number: KR1020100092876A
Authority: KR
Inventors: 파란 에이 바콰이; 겐이찌 니시오; 자이아오강 동; 노부유끼 마쯔시따; 아끼라 마쯔이; 지로 다까또리
Original assignee: 소니 주식회사; 소니 일렉트로닉스 인코포레이티드
Priority date: 2009-09-25
Filing date: 2010-09-24
Publication date: 2011-03-31
Also published as: US20110075935A1; TW201137791A; JP2011070681A; EP2317473A1; CN102034113A

Abstract

L₁ 거리 척도에 기초한 적응적 국소 이미지 유사성 측정 방법이 기술되어 있다. 다양한 패치 크기들에 대한 적절한 문턱값들을 추정하기 위해 거리 척도들 간의 관계가 사용된다. 패치 크기의 선택은 이미지에 포함된 열화들 및 응용에 따라 다르다. 유사성 척도들 간의 관계는 다양한 패치 크기들에 대한 L₁ 거리들의 분포를 사용하여 설정된다. 더 큰 열화들에 대해, 더 큰 패치 크기를 갖는 유사성 척도가 이용된다. 보다 작은 결함들의 경우, 더 작은 패치 크기는 타당한 결과를 산출한다. 계산 오버헤드를 관리가능한 정도로 유지하기 위해, 원하는 이미지 품질을 제공하는 가장 작은 패치 크기가 이용된다.

Description

Ｌ₁거리 척도에 기초한 국소 이미지 유사성 측정 방법{A METHOD TO MEASURE LOCAL IMAGE SIMILARITY BASED ON THE L1 DISTANCE MEASURE}

본 발명은 이미지 처리 분야에 관한 것이다. 보다 구체적으로는, 본 발명은 국소 이미지 유사성 측정(local image similarity measurement)에 관한 것이다.

국소 이미지 유사성의 추정은 이미지 처리에서 중요한 문제이다. 개념적으로, 이미지 유사성은 Greg Shakhnarovich in "Learning Task-Specific Similarity, PhD Thesis," Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology, 2005(이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에서 기술된 바와 같이 다음과 같은 3가지 부류로 분류될 수 있다: 1) 저수준 유사성. 어떤 거리 척도(예를 들어, p-norm, EarthMovers, Mahalanobis)가 어떤 문턱값 내에 있는 경우, 패치들이 유사한 것으로 간주된다. 2) 중간 수준 유사성. 이 경우, 패치들이 어떤 간단한 의미 속성을 공유한다. 3) 고수준 유사성. 이 경우에, 유사성이 주로 의미에 의해 정해진다. 2개의 패치들을 유사하게 만드는 속성들이 시각적이지 않고, 제스처 등의 시각적 정보로부터 추론될 수 있다.

대부분의 단일 센서 컬러 이미징 시스템에서, 픽셀당 단지 하나의 컬러만이 측정된다. 각각의 위치에서의 컬러 정보를 완성하기 위해 나머지 성분들이 추정되어야만 한다. 이 프로세스를 디모자이킹(demosaicking)이라고 한다. 컬러 필터 어레이(CFA, color filter array)의 몇가지 구성들이 사용될 수 있다. 가장 보편적인 CFA는, 1976년 7월 20일자의 B.E. Bayer의 미국 특허 제3,971,065호인, 3가지 컬러(25%의 적색 픽셀, 50%의 녹색 픽셀 및 25%의 청색 픽셀)로 이루어진 "Color Imaging Array(컬러 이미징 어레이)"에 기술되어 있는 Bayer 패턴이다. 최근에, 더 나은 컬러 정확도 및/또는 더 높은 이미지 충실도(image fidelity)를 획득하기 위해, 다른 CFA들이 제안되었다. 예를 들어, 2009년 2월 10일자의 T. Mizukura 등의 미국 특허 제7,489,346호인 "Image pick-up device and image pick-up method adapted with image pick-up sensitivity"(여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에 기술된 바와 같이, 4-컬러 CFA는 컬러 재현 정확도를 향상시키고, Yoshihara 등의 "A 1/1.8-inch 6.4 MPixel 60 frames/s CMOS Image Sensor With Seamless Mode Change", IEEE J. Solid-State Circuits, Vol. 41, No. 12, Dec. 2006, pp. 2998-3006(여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에 기술된 바와 같이, Bayer 컬러들을 직사각형 어레이 대신에 지그재그 구성으로 배열하는 것은 필 팩터(fill factor) 및 픽셀 감도를 향상시키며, 2007년 10월 4일자의 F. Baqai의 미국 특허 출원 제20070230774호인 "Identifying optimal colors for calibration and color filter array design"(여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에 기술된 기계 학습 방법은 통계적으로 최적인 CFA 컬러들을 추정한다. 컬러 채널들에서의 고주파수 정보가 밀접하게 관련되어 있다는 관찰에 기초하여 디모자이킹 알고리즘이 예측된다. CFA에서의 녹색 픽셀들이 통상적으로 다른 컬러들보다 수가 훨씬 더 많기 때문에, 디모자이킹 알고리즘들은 고주파수 정보를 녹색 채널로부터 주어진 픽셀 위치에서 모르고 있는 다른 컬러 채널들로 복사한다. 이것을 효과적으로 하기 위해, 디모자이킹 알고리즘은 유사한 국소 기하형태(local geometry)를 공유하는 일련의 픽셀들 또는 영역들을 식별함으로써 국소 이미지 구조를 추론할 필요가 있다.

디모자이킹과 유사하게, 잡음 제거(denoising)도 추정 문제이다. 본 발명의 목적은 열화된 관찰 정보로부터 잡음 없는 픽셀값을 추정하는 데 있다. 양호한 추정치를 얻기 위해, 열화된 이미지 내에서 유사한 국소 구조를 공유하는 일련의 픽셀들을 찾아낼 필요가 있다. 잡음 제거된 값은 통상적으로 유사한 픽셀 세트에서의 픽셀들의 가중 평균이다. 가중치들은 근접성, 유사성, 잡음 레벨 또는 이들의 조합 등의 많은 방식들로 결정될 수 있다. 예를 들어, 2008년 9월 18일자로 출원된 F. Baqai의 미국 특허 출원 제12/284,055호인 "System and method for denoising using signal dependent adaptive weights"를 참조하기 바라며, 이 출원은 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다.

유의할 흥미로운 점은, 디모자이킹 및 잡음 제거 둘다에 있어서, 추정된 픽셀값이 유사한 픽셀 세트의 가중된 조합이라는 것이다. 가중치들은 서로 다른 목적이 있다. 잡음 제거에서는 원하지 않는 진동들을 평활화하도록 가중치들이 선택되는 반면, 디모자이킹에서는 미지의 픽셀 추정치에서의 고주파수 정보가 보존되도록 가중치들이 선택된다. 어떤 방법들의 목적은, A. Buades의 "Selfsimilarity driven color demosaicking", IEEE TIP, Vol. 18, No.6, June 2009, pp. 1192-1202, 그리고 K. Hirakawa 및 T. Parks의 "Joint demosaicing and denoising", IEEE TIP, Vol. 15, No.8, Aug. 2006, pp. 2146-2157(둘다 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에 기술된 바와 같이, 먼저 기본 구조를 추정하고 이어서 그 결과를 반복적으로 미세 조정(fine tuning)함으로써 디모자이킹과 잡음 제거 둘다를 수행하는 것이다. 이러한 상황들 모두에 대해, 공통의 문제점은 블러(blur), 왜곡 및 잡음 등의 열화들이 존재할 때 유사한 이미지 구조를 찾아내는 것이다.

인용 문헌에서, 저레벨 이미지 유사성에 대해서는 많이 언급하고 있다. 예를 들어, C. Tomasi 및 R. Manduchi의 "Bilateral Filtering for Gray and Color Images," Proc. of IEEE International Conference on Computer Vision, pp. 841-846, 1998(이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에 기술된 바와 같이, 픽셀들 간의 유사성 기반 유클리드 거리(Euclidean distance)(L₂ norm)가 아주 보편적이다. 이 척도는 조명 조건 및 잡음에 아주 민감하다. 이 척도는 국소 이미지 구조를 비교하지 않는다. 이 척도를 국소 기하형태를 추정하는 데 보다 안정적이고 순응적인 것으로 만들기 위해, 이상에서 인용한 "Self-similarity driven color demosaicking"에서 패치-기반 유클리드 거리가 제안되었다.

유사성 척도의 중요한 부분은 픽셀 또는 이미지 패치가 유사한 것으로 간주되는 문턱값이다. 문턱값은 응용에 따라 다르다. 문턱값은 이미지에서의 열화 정도의 추정치, 유사성 기준 및 거리 척도(L₁, L₂ 및 기타)에 기초하여 조정될 필요가 있다. 문턱값이 부정확하게 선택되는 경우, 유사성 척도는 유사하지 않는 픽셀들을 포함하거나, 통계적으로 유효한 수의 유사한 픽셀들을 산출하지 않게 된다. 이것은 몇가지 어려움들을 제기한다. 예를 들어, 국소 기하형태의 추정치가 부정확한 경우, 지퍼 효과(zipper effect), 블러, 및 틀린 컬러 등의 몇가지 아티팩트들이 디모자이킹된 이미지에 나타날 수 있다. 이와 유사하게, 잡음 제거가 부적절하게 잡음을 제거할 수 있거나[과소 평활화(under smooth)], 엣지 및 텍스처를 블러링할 수 있다[과대 평활화(over smooth)].

유의할 다른 중요한 점은 계산 복잡도가 패치 내의 픽셀들의 수에 정비례한다는 것이다. 예를 들어, 3x3 패치에 대한 유사한 픽셀들을 계산하는 계산 오버헤드가 1x1 패치의 계산 복잡도의 9배이고, 5x5 패치의 경우에는 25배이다. 명백히, 패치 크기가 증가함에 따라, 계산 오버헤드가 급격히 올라간다. 따라서, 원하는 구조적 유사성을 달성하는 가장 작은 패치 크기를 이용하는 것이 바람직하다.

다양한 패치 크기들의 패치-기반 유사성 척도들 간의 관계를 사용하여 저수준 국소 이미지 유사성을 측정하는 방법이 기술되어 있다. 다양한 패치 크기들의 유사성 척도들 간의 관계는 임의의 패치 크기들에 대한 L₁ 거리들의 확률 분포를 사용하여 설정된다. 패치 크기는 조명, 발광체, 조리개(aperture), 초점, 노출, 및 카메라 이득 등의 응용 및/또는 이미지 조건들에 의존한다. 예를 들어, 이미지가 심하게 열화되어 있는 경우, 국소 이미지 유사성을 효과적으로 측정하기 위해 더 큰 패치 크기가 필요할 수 있다. 열화가 아주 적은 어떤 상황들에서, 1x1(단지 하나의 픽셀)의 패치 크기로 충분할 수 있다. 이와 유사하게, 세그먼트화 및 물체 검출을 위해, 더 큰 패치가 정당화될 수 있다.

한 측면에서, 장치 상에서 구현되는 이미지에서 국소 유사성을 측정하는 방법은 이미징 조건들을 획득하는 단계, 적절한 패치 크기를 결정하는 단계, 문턱값을 선택하는 단계, 및 국소 이미지 유사성을 측정하는 단계를 포함한다. 이미징 조건들은 조명, 발광, 노출 시간, 조리개, 장면 분류(scene category) 및 카메라 이득으로 이루어지는 그룹으로부터 선택된다. 이미징 조건들에 기초하여 적절한 패치 크기가 결정된다. 문턱값은 탐색 테이블에 저장된 일련의 문턱값들로부터 온 것이다. 문턱값을 선택하는 것은 원하는 유사성 비율(similarity rate), 이미징 조건들, 패치 크기 구현들 간의 전환의 매끄러움(seamlessness) 중 적어도 하나에 기초한다. 이 방법은 패치 크기들 간에 적응적으로 스위칭하는 단계를 더 포함한다. 이 스위칭은 자동적이다. 패치 크기는 1x1, 3x3, 5x5, 7x7, 9x9, 11x11, 13x13, 15x15 및 17x17 패치 크기로 이루어지는 그룹으로부터 선택된다. 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및 홈 엔터테인먼트 시스템으로 이루어지는 그룹으로부터 선택된다.

다른 측면에서, 장치 상에서 구현되는 이미지에서 국소 유사성을 측정하는 시스템은 1x1 패치 크기를 이용하도록 구성되어 있는 제1 모듈, 제1 모듈에 연결되어 동작하고, 더 큰 패치 크기를 이용하도록 구성되어 있는 제2 모듈, 및 제1 모듈 및 제2 모듈에 연결되어 동작하는 스위칭 모듈을 포함하며, 스위칭 모듈은 다양한 패치 크기들의 국소 유사성을 측정하기 위해 제1 모듈과 제2 모듈 사이의 스위칭을 행하도록 구성되어 있다. 스위칭은 패치 크기에 관계없이 동일한 유사성 비율을 유지하는 것을 포함한다. 이 스위칭은 자동적이다. 더 큰 패치 크기들은 3x3, 5x5, 7x7, 9x9, 11x11, 13x13, 15x15 및 17x17 패치로 이루어지는 그룹으로부터 선택된다. 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및 홈 엔터테인먼트 시스템으로 이루어지는 그룹으로부터 선택된다.

다른 측면에서, 장치는 응용 프로그램을 저장하는 메모리 - 응용 프로그램은 응용 프로그램 및/또는 이미징 조건들에 대한 적절한 패치 크기를 결정하고 이미지 열화가 문턱값보다 낮은 경우 작은 패치 크기를 이용하며, 열화 수준이 증가함에 따라 패치 크기를 점진적으로 증가시키도록 구성되어 있음 -, 및 메모리에 결합되어 있는 처리 구성요소 - 처리 구성요소는 응용 프로그램을 처리하도록 구성되어 있음 - 를 포함한다. 이 장치는 패치 크기를 적응적으로 스위칭하는 것을 더 포함한다. 패치 크기를 스위칭하는 것은 패치 크기에 관계없이 동일한 유사성 비율을 유지하는 것을 포함한다. 이 스위칭은 자동적이다. 패치는 1x1, 3x3, 5x5, 7x7, 9x9, 11x11, 13x13, 15x15 및 17x17 패치로 이루어지는 그룹으로부터 선택된다. 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및 홈 엔터테인먼트 시스템으로 이루어지는 그룹으로부터 선택된다.

본 명세서에 기술된 방법 및 시스템은 컴퓨터 비전, 기계 학습, 및 수퍼-해상도(super-resolution), 그림 그리기(in-painting), 텍스처 합성, 세그먼트화 및 개체/장면/텍스처 카테고리화 등의 이미지 복원 응용들, 그리고 및 기타 구현들에 적용될 수 있다.

도 1은 1x1 패치에 대한 확률 밀도를 나타낸 도면.
도 2는 3x3 패치에 대한 확률 밀도를 나타낸 도면.
도 3은 5x5 패치에 대한 확률 밀도를 나타낸 도면.
도 4는 1x1 패치에 대한 0.5의 유사성 비율에 대한 문턱값을 나타낸 도면.
도 5는 3x3 패치에 대한 0.5의 유사성 비율에 대한 문턱값을 나타낸 도면.
도 6은 국소 이미지 유사성을 측정하는 방법의 플로우차트.
도 7은 1x1 패치 및 3x3 패치에 대한 유사성 척도를 나타낸 도면.
도 8은 국소 이미지 유사성 측정 방법을 구현하도록 구성된 예시적인 컴퓨팅 장치의 블록도.

본 명세서에서 사용되는 유사성 척도는 보편적인 L₂ 거리와 달리 L₁ 거리에 기초한다. 이렇게 선택하는 몇가지 이유들이 있다. 자연스런 이미지들은 꼬리 부분이 두꺼운 분포(heavy tailed distribution)를 가지며, 이미지를 오염시키는 잡음 특성들이 비가우시안(non-Gaussian)일 수 있다. P. Howarth 및 S. Ruger의 "Fractional distance measures for content-based image retrieval," Lecture notes in computer science ISSN 0302- 9743, Volume 3408, 2005, pp. 447-456(이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에 기술된 바와 같이, L1 거리가 이러한 데이터에 더 적절한데, 그 이유는 L₁ 거리가 L₂ 거리 또는 기타 분수 거리(fractional distance)만큼 이상점들에 의해 영향을 받지 않기 때문이다. L₁ 거리는 모든 성분들에 동일한 가중을 부여한다. 둘째, L₂ 거리(제곱근이 고려되지 않더라도, 여전히 차의 제곱의 합임)에 비해 절대차(L₁ 거리)를 계산하는 것이 계산상 훨씬 더 간단하다.

도 7은 패치 크기 1x1 및 3x3에 대한 유사성 척도들을 나타낸 것이다. 패치 크기가 1x1일 때, 고려 중인 픽셀 P_m이 다른 픽셀들과 비교된다. 예를 들어, 절대차가 문턱값 τ₁보다 작은 경우 P_n은 P_m과 비슷하며, 이는

으로 쓰여질 수 있다. 3x3 패치의 경우, P_n 및 P_m 근방의 3x3 영역에서의 9개 픽셀들의 SAD가 9 x τ₃보다 작은 경우(단, τ₃는 3x3 패치에 대한 문턱값임), P_n은 P_m과 유사하다. 동등하게, 평균 절대 거리가 τ₃보다 작은 경우, P_n은 P_m과 비슷하다. 마찬가지로, 5x5 패치의 경우, 평균 절대차가 τ₅보다 작은 경우(단, τ₅는 5x5 패치에 대한 문턱값임), P_n은 P_m과 비슷하다.

많은 이미지 처리 응용들에서, 국소 이미지 유사성을 측정할 필요가 있다. 이러한 응용들은 이미지 복원, 분류, 세그먼트화, 및 검출을 포함하지만, 이들로 제한되지 않는다. 본 발명을 설명하는 수단으로서 2가지 복원 문제점, 즉 디모자이킹 및 잡음 제거가 해결되지만, 다른 응용들이 확실히 가능하다. 디모자이킹 및 잡음 제거에 있어서, 고려 중인 픽셀의 이웃에 있는 유사한 픽셀들이 누락되거나 열화된 픽셀값을 추정하는 데 사용된다. 그 결과의 이미지 품질이 고려 중인 픽셀 또는 이미지 영역에 대한 유사-픽셀 세트 내의 픽셀들의 구조적 유사성의 정도의 비례 함수이다. 유사한 픽셀들의 세트를 적절히 선택하면 아티팩트가 거의 또는 전혀 없는 상당히 더 나은 모습을 갖는 이미지가 얻어진다.

밝기, 발광체, 조리개, 초점, 노출, 및 카메라 이득 등의 이미지 조건들에 따라, 유사한 국소 기하형태를 측정하는 데 서로 다른 패치 크기가 필요할 수 있다. 열화가 작은 경우, 작은 패치 크기가 사용될 수 있다. 그렇지만, 소비자의 셀폰 카메라를 통해 약한 조명 상태들에서 획득된 것과 같이 이미지가 심하게 열화된 경우, 작은 패치 크기는 만족할 만한 결과를 산출하지 못한다. 이러한 상황들에서, 더 큰 패치 크기가 필요할 수 있다. 패치의 크기(1x1, 3x3, 5x5 및 기타)는 열화 수준, 계산 자원들 및 응용에 의존한다. 과제는 비슷한 성능을 유지하면서 다양한 패치 크기들 간에 매끄러운 전환을 보장하는 것이다. 게다가, 이 방법은 빠르고 정확해야 한다.

L₁ 거리 척도에 기초하여 국소 이미지 유사성을 추정하는 본 명세서에 기술된 방법 및 시스템에 의해 과제들이 해결된다. L₁ 거리들에 기초하여 임의의 크기의 유사성 척도들에 대한 임의의 열화 수준에서 문턱값을 자동으로 추정하는 적응적 방법이 제공된다. 이미지 열화가 작을 때 작은 패치 크기이고 이미지 열화가 커짐에 따라 점진적으로 더 큰 패치 크기들로 전환하는 것이 이용된다. 패치 크기들 사이에서 왔다갔다 하는 동안에 일정한 유사성 비율을 유지함으로써 이것이 비슷한 성능을 유지하면서 행해진다. 이를 위해, L₁ 거리에 기초하여 다양한 패치 크기들의 유사성 척도들 사이의 새로운 관계가 도출된다. 1x1의 패치 크기에 대해, L₁ 거리는, Leone 등의 논문인 “The folded-normal distribution", Technometrics, 3(4), Nov. 1961, pp. 543-550(이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에 기술된 바와 같이, 접힌 정규 분포(folded normal distribution)[절반 정규 분포(half-normal distribution)라고도 함]라고 하는 비교적 알려지지 않은 분포를 갖는 반면, 더 큰 패치 크기들(3x3, 그 이상)에 대해, L₁ 거리는 정규 분포를 갖는다. 이러한 2가지 분포의 특성들을 사용하여, 임의의 패치 크기들에 대한 L₁ 유사성 척도들 간의 관계가 도출된다. 이 관계를 통해, 비슷한 성능을 유지하면서 다양한 패치 크기들 간에 왔다갔다하는 매끄러운 전환이 달성된다.

이미지 내의 열화된 픽셀을 추정하거나 복원하려고 시도할 때, 픽셀 주변의 영역이 이용된다. 영역 내의 유사한 픽셀들이 누락되거나 열화된 픽셀에 대한 추정치를 구하는 데 사용된다. 유사하지 않은 픽셀들을 사용하면 지퍼 효과, 틀린 컬러 및 엣지, 및 평활화된 모습 등의 원하지 않는 아티팩트들이 유입될 것이며, 이는 이미지를 열화시킬 것이다. 유사한 픽셀들을 결정하는 데 이용되는 대책들(예를 들어, 유클리드(L₂), Mahalanobis, 분수 및 기타)은 계산 비용이 많이 든다. 둘째, 다양한 패치 크기들에 대한 문턱값들을 자동으로 결정하는 명확한 메카니즘이 없다. 유사한 픽셀들 또는 영역들에 대한 거리들을 구하기 위해 L₁ 거리라고도 하는 SAD(Sum of Absolute Differences)가 사용된다.

이미지 열화가 작은 경우, 1x1 패치 크기가 잘 동작할 수 있다. 이 경우에, 절대차를 구한 다음에 절대차를 문턱값과 비교함으로써 유사성이 추정된다. 절대차가 문턱값보다 낮은 경우, 픽셀들이 유사하고, 절대차가 문턱값과 같거나 그보다 높은 경우, 픽셀들이 유사하지 않다. 이어서, 유사한 픽셀들이 누락되거나 열화된 픽셀의 추정치를 구하는 데 사용될 수 있다.

이미지 결함들이 큰 경우, 문제의 픽셀 주변에 있는 이웃 픽셀들을 비롯한 픽셀들이 상당히 열화된다. 이 경우, 1x1 픽셀은 잘 동작하지 않는다. 그 대신에, 국소 기하형태를 효과적으로 비교하기 위해 더 큰 패치 크기가 필요하다. 이러한 상황에서, 개개의 픽셀들을 비교하는 대신에, 픽셀들의 패치(예를 들어, 3x3 패치)가 비교된다. 패치-패치 비교를 수행하기 위해, SAD가 사용된다. 이것은 이미지에 심각한 열화가 존재할 때 구조적 유사성을 비교하는 데 아주 강력하다. SAD가 획득된 후에, 패치들이 충분히 유사한지를 판정하기 위해 SAD가 문턱값과 비교된다. SAD가 문턱값보다 낮은 경우, 픽셀들이 유사하고, SAD가 문턱값과 같거나 그보다 높은 경우, 픽셀들이 유사하지 않다. 패치 크기에 따라, 문턱값들이 서로 다를 수 있다. 다시 말하지만, 유사한 픽셀들이 누락되거나 열화된 픽셀의 추정치를 구하는 데 사용될 수 있다.

이상에서 기술한 바와 같이, 이미지 열화가 적을 때, 어느 패치 크기라도 잘 동작할 것이다. 그렇지만, 큰 패치들의 높은 복잡도로 인해, 작은 패치 크기가 선호된다. 열화가 많은 경우, 더 큰 패치 크기들이 더 나은 비교를 제공하고, 따라서 더 나은 이미지 품질을 제공한다. 패치 크기들 사이에서 스위칭할 때 이미지가 유사하게 보이도록 하기 위해, 문턱값들이 적당히 설정된다. 구체적으로는, 패치 크기들 사이에서 적응적으로 스위칭할 때 이미지 모습이 유사한 채로 있는 것이 요망된다. 몇몇 실시예들에서, 이는 유사한 픽셀들의 수가 임의의 패치 크기들에 대해 동일해야 한다는 것을 의미한다. 픽셀들의 수가 동일하도록 보장하는 방법은 다양한 패치 크기들의 문턱값들 사이의 관계를 구하는 것이다.

신호 모델을 국소적으로 일정한 것으로 간주하면, 유사한 픽셀 세트 내의 픽셀들이 동일한 평균

을 갖지만 표준 편차 σ를 갖는 확률 분포로부터 도출된 서로 다른 잡음 수준들을 가져야 한다. 문턱값은 유사성의 정도를 제어하고, 앞서 언급한 바와 같이, 문제의 픽셀에서의 열화 수준 및 유사성 척도에 의존한다. 열화는 카메라 광학계에 의해 유입된 블러, 조명체에 의한 컬러 캐스트(color cast), 높은 동적 범위 이미지들에 대한 노출 보상, 신호 및 회로로부터의 잡음, 약한 조명을 보상하기 위해 적용되는 이득, 및 카메라 파이프라인에 유입된 아티팩트, 기타 열화들일 수있다. 일반적으로, 잡음은 잡음 모델을 통해 계산된 비선형 신호 의존적인 분산을 갖게 정규 분포되어 있는 것으로 간주된다. 잡음 분산이 모든 픽셀에 대해 일정하지 않으며, 신호값에 의존하며, 따라서 모든 픽셀이 서로 다른 잡음 수준을 가질 수 있다.

유사한 픽셀들 X, Y가 평균

및 표준 편차 ,를 갖는 정규 분포로부터의 확률 변수인 것으로 가정한다:

. 1x1 패치에 대한 문턱값이 확률 변수

에 기초한다. 더 큰 패치들(3x3, 그 이상)에 대한 문턱값이 확률 변수 Q = 평균(Z_i)(단, i=1, ... w이고 w는 패치 내의 픽셀들의 수임)에 기초한다. 1x1 패치 크기 및 더 큰 패치 크기들에 대한 문턱값 사이의 관계를 이해하기 위해, Z 및 Q의 분포들이 분석된다.

Z의 분포

차 X-Y가 정규 분포를 갖는다.

는 평균

를 갖는 접힌 정규 분포 N_f를 갖는다.

이기 때문에, 따라서,

이다. 따라서,

Q의 분포

확률 변수 Q는 다음과 같이 쓰여질 수 있다.

Z_i가 독립이고 동일한 분포로 되어 있는 것

으로 가정하는 것이 타당하다. 통계에서의 중심 극한 정리는 독립이고 동일한 분포로 되어 있는 확률 변수

가 정규 분포에 근접한다.

따라서, Q는 정규 분포로 되어 있는 것으로 간주된다.

1x1의 패치 크기가 대칭이 아닌 접힌 정규 분포(절반 정규 분포라고도 함)를 갖는다. 패치 크기가 1x1보다 큰(3x3, 그 이상) 경우, 몇개의 1x1 거리들의 합으로부터 거리들이 얻어지며, 예를 들어, 3x3 패치에서는 9개의 절대차가 합산되고, 5x5 패치에서는 25개의 절대차가 합산된다. 중심 극한 정리에 기초하여, 확률 변수들이 독립이고 동일한 분포를 갖는 경우, 합의 분포는 가우시안이다. 1x1보다 큰 패치 크기들에 대한 거리들이 동일한 접힌 정규 분포를 갖는 합산 확률 변수들을 포함하기 때문에, 그의 분포가 가우시안이다. 이것도 역시 이하의 표 1에서 알 수 있다. 1x1 패치 크기에 대한 거리가 비대칭인 접힌 정규 분포를 갖는 반면, 3x3 이상인 패치 크기들에 대한 거리들은 대칭인 정규 분포를 갖는다.

	변수	분포	설명
	X,Y		정규, 대칭
	X-Y		정규, 대칭
패치 크기 1x1			접힌 정규, 비대칭
패치 크기 > 1x1			정규, 대칭

<다양한 패치 크기들에 대한 확률 분포들>

Z는 평균 1.1284 및 표준 편차 0.8525,를 갖는 접힌 정규 분포를 갖는다.Q는 평균 1.1284, 및 표준 편차 0.8525,/sqrt(w)를 갖는 정규 분포를 가지며, 여기서 w는 패치 내의 픽셀들의 수(예를 들어, 3x3 패치의 경우 9이고 5x5 패치의 경우 25임)이다. 도 1, 도 2 및 도 3은 각각 패치 크기들 1x1, 3x3 및 5x5의 확률 분포들의 그래프를 나타낸 것이다. 유의할 중요한 점은 평균 및 표준 편차가 잡음 수준에 의존한다는 것이다. 잡음 수준의 정확한 추정치가 필수적이다. 잡음 수준은 센서 특성 및 잡음 제거 방법이 적용될 디지털 카메라 파이프라인에서의 지점에 의존한다. 부가의 정보는 2008년 10월 2일자로 공개된 Baqai 등의 미국 특허 출원 제2008/0240203호인 "Method of and apparatus for analyzing noise in a signal processing system"(이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함됨)에서 찾아볼 수 있다. 패치 크기를 1x1로부터 더 큰 것으로 스위칭할 때, L₁ 거리 척도의 분포가 접힌 정규에서 정규로 변한다. 다양한 패치 크기들의 문턱값들이 상호관련되어 있지만, 도 1, 도 2 및 도 3으로부터 알 수 있는 바와 같이, 그들의 효과가 서로 다르다. 패치 크기 1x1을 갖는 거리가 접힌 정규 분포를 갖는다. 더 큰 패치 크기들은 점진적으로 감소하는 표준 편차들을 갖는 정규 분포로 된다. 이것은 패치 크기가 증가함에 따라 문턱값 범위가 더 작아진다는 것을 의미한다. 이것도 역시 표 2에 나타내어져 있다.

패치 크기	평균(x,)	표준 편차(x,)
1x1	1.1284	0.8525
3x3	1.1284	0.2842
5x5	1.1284	0.1705
7x7	1.1284	0.1218
9x9	1.1284	0.0947
11x11	1.1284	0.0775
13x13	1.1284	0.0656
15x15	1.1284	0.0568
17x17	1.1284	0.0501

<패치 크기에 기초한 평균 및 표준 편차>

문턱값 선택

서로 다른 패치 크기들이 서로 다른 분포들을 갖지만, 그들의 평균은 동일하고 그들의 표준 편차들이 상호관련되어 있다. 정규 분포로 되어 있는 거리들(패치 크기들 > 1x1)은 중간값(median)과 동일한 평균을 갖는다. 문턱값이 평균(1.1284,)에 있는 것으로 선택되는 경우, 0.5의 픽셀 유사성 비율이 산출된다. 그렇지만, 패치 크기가 1x1일 때의 L1 거리는 (비대칭)인 접힌 정규 분포를 갖는다. 그 결과, 중간갑이 평균과 같지 않다. 0.5의 픽셀 유사성 비율을 얻기 위해, 문턱값이 0.9539,인 중간값에 있어야 한다. 따라서, 패치 크기 1x1에 대해, 0.9539,의 문턱값은 3x3 패치에 대해 1.1284,의 문턱값에 대응한다. 이들 경우 둘다 0.5의 유사성 비율을 산출한다. 환언하면, 동일한 유사성 비율을 얻기 위해, 거리 척도들의 확률 하한치(lower tail probability)가 패치 크기에 상관없이 동일하도록 문턱값이 선택되어야 한다. 도 4 및 도 5는 패치 크기 1x1 및 3x3에 대한 이 지점을 나타낸 것이다.

이하에서, 1x1보다 큰 패치 크기들에 대한 문턱값들 간의 관계가 도출된다. 1x1(Q)보다 큰 패치 크기들에 대한 유사성 척도의 분포는 가우시안이고

, 문턱값이 그의 평균

및 표준 편차

의 항으로 쓰여질 수 있다.

유의할 점은,

가 0.5의 픽셀 유사성을 산출하고,

은 0.5보다 작은 유사성 비율이 되게 하며,

은 0.5보다 큰 유사성 비율을 암시한다. 일반성을 잃지 않고, 0.5보다 크거나 같은 원하는 유사성 비율에 대해, 1x1보다 큰 패치 크기들에 대한 문턱값들 간의 관계가 도출된다. 유사한 방식으로, 0.5보다 작은 비율이 처리될 수 있다. 따라서,

이다. 항

를 재정렬하면 다음과 같이 쓰여질 수 있다.

가 동일하게 유지되는 한, 패치 크기에 상관없이 일정한 유사성 비율이 달성될 것이다.

따라서, 이상에서 기술한 관계를 사용하여, 패치 크기들 간의 스위칭이 구현될 수 있다. 하나의 이미지에 대해, 다른 것들보다 더 열화되는 이미지들의 측면들이 더 큰 패치 크기를 사용하여 처리되고, 덜 열화된 측면들은 더 작은 패치 크기들을 사용하여 처리된다. 이와 유사하게, 평활성, 텍스처 및 구조 등의 영역 특성들에 따라 서로 다른 패치 크기들이 사용될 수 있다.

문턱값 범위

가우시안 분포 하의 영역의 95%가 평균을 중심으로 한 2개의 표준 편차 내에 있다. 이 범위가 문턱값 상한 및 하한을 결정하는 것으로 생각된다. 접힌 정규 분포에 대한 95% 영역은 패치 크기 1x1에 대해 0.0089 내지 2.772의 문턱값 범위를 산출한다. 더 큰 패치 크기들(>1x1)에 대한 문턱값 범위는

이다. 패치 크기가 증가함에 따라, 패치 w 내의 픽셀들의 수가 증가하고, 따라서 표준 편차가 감소한다(

인 것을 상기할 것). 그 결과, 문턱값 범위가 표 3에 나타낸 것보다 더 좁게 된다.

패치 크기	문턱값 범위
1	0.0089 - 2.772
3	0.56 - 1.70
5	0.79 - 1.47
7	0.89 - 1.37
9	0.94 - 1.32
11	0.97 - 1.28
13	1.00 - 1.26
15	1.02 - 1.24
17	1.03 - 1.23

<다양한 패치 크기들에 대한 문턱값 범위들>

패치 크기에 따라 복잡도가 증가하기 때문에, 몇몇 실시예들에서, 원하는 품질을 달성하는 가장 작은 패치 크기를 사용하는 것이 바람직하다.

도 6은 이미지에서의 국소 유사성을 측정하는 방법의 플로우차트를 나타낸 것이다. 첫번째 단계에서, 조명, 발광체, 노출 시간, 조리개, 장면 분류, 및 카메라 이득 등의 이미징 조건들이 얻어진다. 이러한 인자들에 기초하여, 적절한 패치 크기가 결정된다. 탐색 테이블(LUT, lookup-table)로부터, 대응하는 문턱값이 선택된다. LUT 내의 문턱값 항목들은 원하는 유사성 비율, 이미징 조건들 및 다양한 패치 크기 구현들 간의 매끄러운 전환(이들로 제한되지 않음)을 비롯한 몇가지 인자들에 기초할 수 있다. 예를 들어, 응용에 따라, 패치의 크기가 1x1 내지 17x17 또는 그 이상까지 어느 것이라도 될 수 있다. 이미지 내의 모든 픽셀들 또는 영역들에 대해 프로세스가 반복된다. 이러한 국소 이미지 유사성 척도는 복원, 분류, 세그먼트화 및 검출(이들로 제한되지 않음)을 비롯한 응용들에 사용될 수 있다.

도 8은 국소 유사성 추정 방법을 구현하도록 구성된 예시적인 컴퓨팅 장치(500)의 블록도를 나타낸 것이다. 컴퓨팅 장치(500)는 이미지 및 비디오 등의 정보를 획득, 저장, 계산, 전달 및/또는 표시하는 데 사용될 수 있다. 예를 들어, 컴퓨팅 장치(500)는 이미지를 저장하고 있고, 이미지 조건들에 기초하여, 이 방법은 이전의 방법들보다 보다 효율적인 방식으로 또 더 나은 품질로 다양한 응용들에 대해 이미지 내에서의 국소 유사성을 식별할 수 있다. 일반적으로, 컴퓨팅 장치(500)를 구현하는 데 적합한 하드웨어 구조는 네트워크 인터페이스(502), 메모리(504), 프로세서(506), I/O 장치(들)(508), 버스(510) 및 저장 장치(512)를 포함한다. 충분한 속도를 갖는 적합한 프로세스가 선택되는 한, 프로세서의 선택은 중요하지 않다. 메모리(504)는 공지된 임의의 종래의 컴퓨터 메모리일 수 있다. 저장 장치(512)는 하드 드라이브, CD-ROM, CD-RW, DVD, DVD-RW, 플래쉬 메모리 카드 또는 임의의 다른 저장 장치를 포함할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 네트워크 인터페이스들(502)을 포함할 수 있다. 네트워크 인터페이스의 일례로는 이더넷 또는 기타 유형의 LAN에 연결된 네트워크 카드가 있다. I/O 장치(들)(508)는 키보드, 마우스, 모니터, 디스플레이, 프린터, 모뎀, 터치스크린, 버튼 인터페이스 및 기타 장치들 중 하나 이상을 포함할 수 있다. 응용 프로그램들이 통상적으로 처리되는 것처럼, 유사성 측정을 수행하는 데 사용되는 국소 유사성 응용 프로그램(들)(530)이 저장 장치(512) 및 메모리(504)에 저장되어 처리될 수 있다. 도 5에 도시된 것보다 더 많은 또는 더 적은 수의 구성요소들이 컴퓨팅 장치(500)에 포함될 수 있다. 몇몇 실시예들에서, 유사성 측정 하드웨어(520)가 포함되어 있다. 도 5의 컴퓨팅 장치(500)가 유사성 측정을 위한 응용 프로그램들(530) 및 하드웨어(520)를 포함하고 있지만, 이 방법은 컴퓨팅 장치 상에서 하드웨어로, 펌웨어로, 소프트웨어로 또는 이들의 임의의 조합으로 구현될 수 있다.

각각의 픽셀 또는 이미지 영역에서, 이미지를 열화시키는 열화들의 추정치를 찾아내는 것이 중요하다. 이 열화들은 카메라 광학계에 의해 유입되는 블러, 발광체로 인한 컬러 캐스트, 높은 동적 범위 이미지들에 대한 노출 보상, 신호 및 회로로부터의 잡음, 약한 조명을 보상하기 위해 적용된 이득, 및 디모자이킹 등의 동작에 의해 카메라 파이프라인에 유입되는 아티팩트들을 포함한다. 몇몇 실시예들에서, 이러한 정보는 탐색 테이블에 저장된다.

몇몇 실시예들에서, 국소 유사성 추정 응용 프로그램(들)(530)은 몇가지 응용 프로그램들 및/또는 모듈들을 포함한다. 몇몇 실시예들에서, 국소 유사성 추정 응용 프로그램(들)(530)은 1x1 패치를 통해 유사성을 추정하도록 구성된 모듈(532), 더 큰 패치 크기들(>1x1)을 사용하여 유사성 측정을 하도록 구성된 모듈(534), 및 패치 크기들 간에 스위칭하도록 구성된 스위칭 모듈(536)을 포함한다.

적합한 컴퓨팅 장치들의 일례로는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템 또는 임의의 다른 적합한 컴퓨팅 장치가 있다.

국소 이미지 유사성을 측정하는 방법 및 시스템을 이용하기 위해, 이미지가 획득된다. 이미지에 대해 수행되는 광의의 응용에 따라, 적절한 때에 유사한 영역들 또는 픽셀들이 그 응용의 방식에 따라 식별된다. 예를 들어, 복원 방식에서, 국소 유사성 측정 방법은 열화들을 제거하기 위해 유사한 영역들을 식별하며, 따라서 이미지 품질을 향상시킨다. 몇몇 실시예들에서, 이 복원이 시스템 상에서 자동으로 행해지고, 몇몇 실시예들에서, 사용자가 버튼을 누르는 것, 스크린을 터치하는 것 또는 임의의 다른 입력 메카니즘 등 입력을 선택함으로써 복원을 시작할 수 있다.

동작을 설명하면, L₁ 거리 척도에 기초하여 국소 이미지 유사성을 추정하는 방법 및 시스템은 이미지에서의 열화의 정도를 판정한다. 몇몇 실시예들에서, 열화들은 픽셀별로 판정되고, 다른 실시예들에서, 이미지의 더 큰 부분들이 열화를 판정하는 데 사용된다. 거리 척도 패치 크기는 응용에 따라 다르다. 몇몇 실시예들에서, 서로 다른 패치 크기 구현들에 대한 문턱값들을 적절히 선택함으로써 일정한 유사성 비율이 유지된다.

이미지 처리가 본 설명의 주된 관심사이었지만, 본 명세서에 기술된 방법 및 시스템은 음성 또는 비디오 처리 등의 다른 유형의 처리에 적용될 수 있다.

예시적인 구현들

1. 장치 상에서 구현되는, 이미지에서 국소 유사성을 측정하는 방법으로서,

a. 이미징 조건들을 획득하는 단계,

b. 적절한 패치 크기를 결정하는 단계,

c. 문턱값을 선택하는 단계, 및

d. 국소 이미지 유사성을 측정하는 단계를 포함하는 방법.

2. 제1항에 있어서, 이미징 조건들이 조명, 발광, 노출 시간, 조리개, 장면 분류(scene category) 및 카메라 이득으로 이루어지는 그룹으로부터 선택되는 것인 방법.

3. 제1항에 있어서, 이미징 조건들에 기초하여 적절한 패치 크기가 결정되는 것인 방법.

4. 제1항에 있어서, 문턱값이 탐색 테이블에 저장된 일련의 문턱값들로부터 온 것인 방법.

5. 제1항에 있어서, 문턱값을 선택하는 것이 원하는 유사성 비율(similarity rate), 이미징 조건들, 패치 크기 구현들 간의 전환의 매끄러움(seamlessness) 중 적어도 하나에 기초하는 것인 방법.

6. 제1항에 있어서, 패치 크기들 간에 적응적으로 스위칭하는 단계를 더 포함하는 방법.

7. 제6항에 있어서, 스위칭이 자동적인 방법.

8. 제1항에 있어서, 패치 크기가 1x1, 3x3, 5x5, 7x7, 9x9, 11x11, 13x13, 15x15 및 17x17 패치 크기로 이루어지는 그룹으로부터 선택되는 것인 방법.

9. 제1항에 있어서, 장치가 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및 홈 엔터테인먼트 시스템으로 이루어지는 그룹으로부터 선택되는 것인 방법.

10. 장치 상에서 구현되는, 이미지에서 국소 유사성을 측정하는 시스템으로서,

a. 1x1 패치 크기를 이용하도록 구성되어 있는 제1 모듈,

b. 제1 모듈에 연결되어 동작하고, 더 큰 패치 크기들을 이용하도록 구성되어 있는 제2 모듈, 및

c. 제1 모듈 및 제2 모듈에 연결되어 동작하는 스위칭 모듈을 포함하며, 스위칭 모듈이 다양한 패치 크기들의 국소 유사성을 측정하기 위해 제1 모듈과 제2 모듈 사이의 스위칭을 행하도록 구성되어 있는 시스템.

11. 제10항에 있어서, 스위칭이 패치 크기에 관계없이 동일한 유사성 비율을 유지하는 것을 포함하는 것인 시스템.

12. 제10항에 있어서, 스위칭이 자동적인 시스템.

13. 제10항에 있어서, 더 큰 패치 크기들이 3x3, 5x5, 7x7, 9x9, 11x11, 13x13, 15x15 및 17x17 패치로 이루어지는 그룹으로부터 선택되는 시스템.

14. 제10항에 있어서, 장치가 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및 홈 엔터테인먼트 시스템으로 이루어지는 그룹으로부터 선택되는 것인 시스템.

15. 장치로서,

a. 응용 프로그램을 저장하는 메모리 - 응용 프로그램은 응용 프로그램 및/또는 이미징 조건들에 대한 적절한 패치 크기를 결정하고 이미지 열화가 문턱값보다 낮은 경우 작은 패치 크기를 이용하며, 열화 수준이 증가함에 따라 패치 크기를 점진적으로 증가시키도록 구성되어 있음 -, 및

b. 메모리에 결합되어 있는 처리 구성요소 - 처리 구성요소는 응용 프로그램을 처리하도록 구성되어 있음 - 를 포함하는 장치.

16. 제15항에 있어서, 패치 크기를 스위칭하는 것을 더 포함하는 장치.

17. 제16항에 있어서, 패치 크기를 적응적으로 스위칭하는 것이 패치 크기에 관계없이 동일한 유사성 비율을 유지하는 것을 포함하는 것인 장치.

18. 제17항에 있어서, 스위칭이 자동적인 장치.

19. 제15항에 있어서, 패치가 1x1, 3x3, 5x5, 7x7, 9x9, 11x11, 13x13, 15x15 및 17x17 패치로 이루어지는 그룹으로부터 선택되는 것인 장치.

20. 제15항에 있어서, 장치가 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및 홈 엔터테인먼트 시스템으로 이루어지는 그룹으로부터 선택되는 것인 장치.

본 발명이 본 발명의 구성 및 동작의 원리들의 이해를 용이하게 해주는 상세 내용을 포함하는 특정의 실시예들과 관련하여 기술되어 있다. 본 명세서에서 특정의 실시예들 및 그의 상세 내용에 대한 이러한 언급은 본 명세서에 첨부된 특허청구범위의 범위를 제한하기 위한 것이 아니다. 당업자에게는 특허청구범위에 한정된 본 발명의 사상 및 범위를 벗어나지 않고 예시를 위해 선택된 실시예에 다른 다양한 변경들이 행해질 수 있다는 것이 명백할 것이다.

Claims

장치 상에서 구현되는, 이미지에서 국소 유사성을 측정하는 방법으로서,
a. 이미징 조건들을 획득하는 단계,
b. 적절한 패치 크기를 결정하는 단계,
c. 문턱값을 선택하는 단계, 및
d. 국소 이미지 유사성을 측정하는 단계를 포함하는 방법.
제1항에 있어서, 상기 이미징 조건들은 조명, 발광, 노출 시간, 조리개, 장면 분류(scene category) 및 카메라 이득으로 이루어지는 그룹으로부터 선택되는 것인 방법.
제1항에 있어서, 상기 이미징 조건들에 기초하여 적절한 패치 크기가 결정되는 것인 방법.
제1항에 있어서, 상기 문턱값은 탐색 테이블에 저장된 일련의 문턱값들로부터 온 것인 방법.
제1항에 있어서, 상기 문턱값을 선택하는 것은 원하는 유사성 비율(similarity rate), 이미징 조건들, 패치 크기 구현들 간의 전환의 매끄러움(seamlessness) 중 적어도 하나에 기초하는 것인 방법.
제1항에 있어서, 패치 크기들 간에 적응적으로 스위칭하는 단계를 더 포함하는 방법.
제6항에 있어서, 상기 스위칭은 자동적인 방법.
제1항에 있어서, 상기 패치 크기는 1x1, 3x3, 5x5, 7x7, 9x9, 11x11, 13x13, 15x15 및 17x17 패치 크기로 이루어지는 그룹으로부터 선택되는 것인 방법.
제1항에 있어서, 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및 홈 엔터테인먼트 시스템으로 이루어지는 그룹으로부터 선택되는 것인 방법.
장치로서,
a. 응용 프로그램을 저장하는 메모리 - 상기 응용 프로그램은 상기 응용 프로그램 및/또는 이미징 조건들에 대한 적절한 패치 크기를 결정하고 이미지 열화가 문턱값보다 낮은 경우 작은 패치 크기를 이용하며, 열화 수준이 증가함에 따라 패치 크기를 점진적으로 증가시키도록 구성되어 있음 -, 및
b. 메모리에 결합되어 있는 처리 구성요소 - 상기 처리 구성요소는 응용 프로그램을 처리하도록 구성되어 있음 - 를 포함하는 장치.
제10항에 있어서, 상기 패치 크기를 적응적으로 스위칭하는 것을 더 포함하는 장치.
제11항에 있어서, 상기 패치 크기를 적응적으로 스위칭하는 것은 상기 패치 크기에 관계없이 동일한 유사성 비율을 유지하는 것을 포함하는 것인 장치.
제12항에 있어서, 상기 스위칭은 자동적인 장치.
제10항에 있어서, 상기 패치는 1x1, 3x3, 5x5, 7x7, 9x9, 11x11, 13x13, 15x15 및 17x17 패치로 이루어지는 그룹으로부터 선택되는 것인 장치.
제10항에 있어서, 장치는 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, PDA(personal digital assistant), 셀룰러/이동 전화, 스마트 가전기기, 게임 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, iPod®, 비디오 플레이어, DVD 라이터/플레이어, 텔레비전 및 홈 엔터테인먼트 시스템으로 이루어지는 그룹으로부터 선택되는 것인 장치.