KR20140109439A

KR20140109439A - 잡음에 강한 영상 정합 방법 및 시스템

Info

Publication number: KR20140109439A
Application number: KR1020147019929A
Authority: KR
Inventors: 광이 첸; 스테판 꾸롱베
Original assignee: 에꼴 드 테크놀로지 수페리에르
Priority date: 2011-12-24
Filing date: 2012-12-24
Publication date: 2014-09-15
Also published as: US20130163896A1; IL232189A; EP2795579A1; IL232189A0; CA2850854A1; JP2015503778A; EP2795579B1; US20130272627A1; US8958659B2; EP2795579A4; JP6147273B2; US8942512B2; CN104067312B; CN104067312A; WO2013091088A1

Abstract

왜곡 영상을 원본 영상을 참조하여 정렬되는 정합 영상으로 처리하는 영상 정합 방법이 개시된다. 원본 영상으로부터의 왜곡은 스케일링, 로테이션 및 잡음을 포함한다. 그 방법은 두 영상의 라돈 변환들을 상관시켜 로테이션 각도를 결정하고, 임의 잡음이 소거될 것이라는 가정하에 각 영상의 전체 루미넌스의 평균들을 분할함에 의해 스케일링 계수가 결정된다. 글로벌 공간 시프트를 추정하기 위해 FFT(Fast Fourier Transform)이 이용된다. 일 실시 예에 있어서, 왜곡 영상은, 회전되기 전에 원본 영상의 크기로 스케일링 된다. 다른 실시 예에 있어서, 원본 영상은 왜곡 영상을 회전시키기 전에 왜곡 영상의 크기로 스케일링되고, 그것을 원본 영상과 매칭되도록 최종적으로 스케일링한다. 영상 정합을 위한 대응하는 시스템이 제공된다.

Description

잡음에 강한 영상 정합 방법 및 시스템{IMAGE REGISTRATION METHOD AND SYSTEM ROBUST TO NOISE}

본 발명은 디지털 영상 처리에 관한 것으로, 특히 영상을 기준 영상과 조합하여 처리하는 것에 관한 것이다.

본 발명은 기준 영상과 왜곡 영상간의 스케일링 파라메타(scaling parameter), 로테이션(rotation) 및 이동(translation)을 추정하는 것을 포함하는 영상 정합(image registration)에 관한 것이다. 특히, 본 발명은 잡음에 강한 영상 정합 시스템 및 방법에 관한 것이다.

본 발명은 영상의 시각 품질(visual quality)의 평가에 관한 것으로, 특히, 아핀 변환에 강한 영상의 시각 품질의 평가를 위한 방법 및 시스템에 관한 것이다.

영상 정합은 영상 품질 평가, 의료 촬영, 자동 목표물 인식 등과 같은 응용에서 중요한 작업이다. 기존의 영상 정합 방법은, 예를 들어, 영상에 있어서 큰 이동, 로테이션 및 스케일링의 의사-폴라-기반 추정(pseudo-polar based estimation)을 이용한, A. Averbuch, R. R. Coifman, D. L. Donoho, M. Israeli, Y. Shkolnisky 및 I. Sedelnikov에 의한 논문, " A Framework for Discrete Integral Transformations Ⅱ-The 2D Discrete Radon tranform", SIAM Journal on Scientific Computing, vol. 30, no. 2, pp. 785-803, Jan. 2008과; 로그-폴라 변환(log-polar transform)을 이용하여 강한 영상 정합에 대해 작용하는 G. Wolberg 및 S. Zokai에 의한 논문, "Robust Image Registration Using Log-Polar Transform", Proceedings of the IEEE International Conference on Image Processing (ICIP), pp. 493-496, 2000과; 글로벌 공간 시프트(global spatial shift)를 추정하기 위해 퓨리에 변환을 이용하는, G. Varghese 및 Z. Wang에 의한 논문, "Video denoising based on a spatiotemporal Gaussian scale mixture model", IEEE Transactions on Circuits and Systems for Video Technology, vol. 20, no. 7, pp. 1032-1040, 2010과; 이동, 로테이션 및 스케일-불변 영상 정합을 위한 FFT-기반 기술을 제안한, B. S. Reddy 및 B. N. Chatterji에 의한 논문, "An FFT-based technique for translation, rotation and scale-invariant image registration", IEEE Transactions on Image Processing, vol. 5, no. 8, pp. 1266-1271, 1996과; 로테이션 불변 텍스처 분석을 위해 배향 추정(orientiation estimation)에 라돈 변환(Radon transform)을 적용한, K. Jafari-Khouzani 및 H. Soltanian-Zadeh에 의한 논문, "Radon transform orientation estimation for rotation invariant texture analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, no. 6, pp. 1004-1008, 2005와; 유한 퓨리에 변환을 이용하여 이동되고 회전된 영상을 위한 영상 정합 방법을 전개한 E. De Castro 및 C. Morandi에 의한 논문, "Registration of translated and rotated images using finite Fourier transforms", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-95, pp. 700-703, 1987(그러나, 이 방법은 스케일 변경이 있으면 실패함)과; 영상 위조의 블라인드 검출에 대한 애플리케이션과 함께 보간-관련 분광 특성(spectral signatures)을 이용하여 영상 로테이션 각도를 추정한, W. Wei, S. Wang, X. Zhang 및 Z. Tang에 의한 논문, "Estimation of image rotation angle using interpolation-related spectral signatures with application to blind detection of image forgery", IEEE Transactions on Information Forensics and Security, vol. 5, no. 3, pp. 507-517, 2010과; SIFT(scale-invariant keypoint extraction and registration)를 위한 변별 영상 특징(distinctive image feature)을 제안한, D. G. Lowe에 의한 논문 "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004와; SIFT보다 더 빠르다고 주장했던 SURF(Speeded Up Robust Feature)를 개발한, H. Bay, A. Ess, T. Tuytelaars 및 L. Van Gool에 의한 논문, "SURF: Speeded Up Robust Features, Computer Vision and Image Understanding (CVIU)", vol. 110, no. 3, pp. 346-359, 2008을 포함한다.

전-기준(full-reference) 영상 품질 평가에 있어서, 기준 영상에 대한 왜곡 영상의 비교는 시각 품질 메트릭을 획득하는데 이용되곤 하는데, 이는 2개의 영상을 비교함에 의해 계산된다. 그러한 품질 메트릭을 생성하기 위한 다수의 방법이 존재하며, 그들 중에는 간단한 PSNR(Peak Signal-to-Noise Ratio) 측정; Z. Wang, A. C. Bovik, H. R. Sheikh 및 E. P. Simoncelli에 의한 "Image quality assessment: From error visibility to structural similarity", IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600-612, 2004에 제안된 SSIM(Structural Similarity) 인덱스; H. R. Sheikh 및 A. C. Bovik에 의한 "Image information and visual quality", IEEE Transactions on Image Processing, vol. 15, no. 2, pp. 430-444, 2006에 제안되었던 VIF(Visual Information Fidelity) 인덱스가 있다. 또한, Rezazadeh 및 Coulombe는 "Novel discrete wavelet transform framework for full reference image quality assessment", Signal, Image and Video Processing, pp. 1-15, September 2011과 "A novel discrete wavelet domain error-based image quality metric with enhanced perceptual performance", Procedia Engineering (Elsevier)에서 전-기준 영상 품질 평가를 위한 이산 웨이브렛 변환 프레임워크를 제안하였고, Qian과 Chen은 "Four reduced-reference metrics for measuring hyperspectral images after spatial resolution enhancement", ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vienna, Austria, pp. 204-208, July 5-7, 2010에서 공간 해상도 개선 이후의 하이퍼스펙트럼 영상(hyperspectral image)의 시각 품질을 측정하는 4개의 축소형-기준 메트릭을 개발하였다.

그러나, 종래 기술의 단점을 완화시키고, 시각 영상 품질의 객관적 측정을 개선할 수 있으며, 잡음에 강한 영상 정합을 제공하는, 영상과 기준 영상의 재정렬을 위한 간단하고 보다 빠르고 정확한 방법의 개발이 본 산업에 여전히 필요하다.

본 발명의 목적은 제 1 영상 Y을 제 2 영상과 정렬되는 정합 영상(registered image) Y^*으로 처리하는 영상 정합 방법 및 시스템을 제공하는데 있다.

본 발명의 제 1 측면에 따르면, 제 1 영상 Y을 제 2 영상 X과 정렬되는 정합 영상 Y^*으로 처리하는 영상 정합 방법이 제공되는데, 그 방법은,

(a) 기준 영상 X과 왜곡 영상 Y간의 스케일 계수 "a"를 결정하고;

(b) 왜곡 영상 Y을 스케일 계수 "a"로 크기 조정함으로써 정규화된 왜곡 영상 Y2을 생성하고;

(c) 기준 영상 X와 정규화된 왜곡 영상 Y2간의 로테이션 각도 "θ₀"를 결정하고;

(d) 정규화된 왜곡 영상 Y2를 로테이션 각도 "-θ₀"만큼 회전시켜, 회전된 왜곡 영상 Y3을 획득하고;

(e) 기준 영상 X와 수평 및 수직적으로 정렬되도록 회전된 왜곡 영상 Y3을 이동시킴에 의해 정합 영상 Y^*을 획득하는 것을 포함한다.

상술한 방법에 있어서, 단계 (a)는 기준 영상 X의 화소 값들의 합과 왜곡 영상 Y의 화소 값들의 합간의 비율을 계산함에 의해 스케일 계수 "a"를 결정하는 것을 포함한다.

단계 (a)는 기준 영상 X와 왜곡 영상 Y의 수평 및 수직 치수를 동일하게 하기 위하여 기준 영상 X와 왜곡 영상 Y 중 보다 작은 것을 영가 화소(zero-valued pixel)로 패딩(padding)하는 것을 더 포함한다.

단계 (b)는 왜곡 영상 Y를 센터링(centering)하여 센터링된 왜곡 영상 Y1을 형성하고, 센터링된 왜곡 영상 Y1을 스케일 계수 "a"로 크기 조정하여 정규화된 왜곡 영상 Y2를 생성하는 것을 더 포함한다.

단계 (c)는 기준 영상 X 및 정규화된 왜곡 영상 Y2의 라돈 변환 R1 및 R2를 각각 형성하고, 라돈 변환 R1 및 R2의 로우(row)들의 상호 상관을 계산하여 로테이션 각도 "θ₀"를 결정하는 것을 포함한다.

상호 상관의 계산은,

(ⅰ) 라돈 변환 R1의 각 로우들과, 라돈 변환 R2의 각 로우들 간의 순환 상호 상관들의 세트(a set of circular cross-correlations)를 계산하고 - 각 순환 상호 상관은 각 로우들간의 로테이션 오프셋 각도(rotational offset angle) "θ"을 정의함 - ;

(ⅱ) 각 로우마다 가장 높은 값을 가진 순환 상호 상관을 선택하고;

(ⅲ) 각 로우에 대하여 각각의 선택된 순환 상호 상관에 의해 정의된 로테이션 오프셋 "θ"을 결정하고, 로테이션 각도 "θ₀"를, 결정된 로테이션 오프셋들 "θ"의 평균과 동일하도록 설정하는 것을 포함한다.

상호 상관의 계산은,

(ⅳ) 라돈 변환 R1 및 라돈 변환 R2의 1차원(1D) 고속 퓨리에 변환(Fast Fourier Transforms: FFTs)을 계산하고;

(ⅴ) 라돈 변환 R1 및 라돈 변환 R2의 1D FFT들을 중간 결과 R3로 조합하고;

(ⅵ) 순환 상호 상관을 구비하는 제 2 중간 결과 R4 - 제 2 중간 결과 R4는 중간 결과 R3의 요소(element)들에 기초함 - 를 생성하고;

(ⅶ) 중간 결과 R3의 각 로우에 있어서 가장 높은 값을 가진 순환 상호 상관을 선택하고;

(ⅷ) 각각의 선택된 순환 상호 상관에서 정의된 대응하는 로테이션 오프셋 "θ"을 결정하고, 로테이션 각도 "θ₀"를, 결정된 로테이션 오프셋들 "θ"의 평균과 동일하도록 설정하는 것을 포함한다.

조합 단계는, 라돈 변환 R2의 1D FFT의 "켤레" 함수(conjugate function)와 라돈 변환 R1의 1D FFT의 성분별 곱(component-wise product)을 형성하는 것을 포함한다.

상술한 방법에 있어서, 단계 (ⅵ)는 각 성분에 대하여 제 2 중간 결과 R4내의 로우마다 각 각도 "θ"에 대응하는 최대값을 결정하는 것을 포함한다. 그 방법은 그 최대값들의 평균 - 평균은 로테이션 각도 "θ₀"에 대응함 - 을 취하는 것을 포함한다.

그 방법은, 예를 들어, 시각 품질 평가들 중 임의 하나를 실행하는 것과 같이, 전처리된 영상 Y^*에 대해 시각 품질 평가를 실행하고; PSNR(peak-signal-to-noise ratio)을 결정하고; SSIM(structural similarty) 인덱스를 계산하고; VIF(visual information fidelity) 인덱스를 계산하는 것을 포함한다.

본 발명의 다른 측면에 따르면, 제 1 영상을 제 2 영상 X과 정렬되는 정합 영상 Y^*으로 처리하는 영상 정합 방법이 제공되는데, 그 방법은,

(a) 제 1 영상과 제 2 영상간의 스케일 계수 "a"를 결정하고;

(b) 제 1 영상의 크기 조정된 버전을 생성하기 위해 제 1 영상을 스케일 계수 "a"로 크기 조정함으로써 제 1 영상과 제 2 영상의 크기를 동일하게 하고;

(c) 라돈 변환을 이용하여 제 1 영상의 크기 조정된 버전과 제 2 영상간의 로테이션 각도 "θ₀"를 결정하고;

(d) 제 1 영상의 크기 조정된 버전을 로테이션 각도 "-θ₀"만큼 회전시키고, 제 2 영상과 수평 및 수직적으로 정렬되도록 그것을 이동시킨 후에, 그것을 정합 영상 Y^*으로서 출력하는 것을 포함한다.

본 발명의 또 다른 측면에 따르면, 정합 영상 Y^*을 기준 영상 X과 정렬시킴에 의해 왜곡 영상 Y을 정합 영상 Y^*으로 처리하는 시스템이 제공되는데, 그 시스템은,

프로세서;

프로세서에 의한 실행을 위한 컴퓨터 독출 가능 명령어들이 저장된 컴퓨터 독출 가능 저장 매체를 포함하고,

컴퓨터 독출 가능 명령어는,

스케일 계수 "a"를 결정하는 스케일 계수 추정 모듈;

스케일 계수 "a"를 이용하여 왜곡 영상 Y를 크기 조정된 왜곡 영상 Y2로 크기 조정하는 영상 크기 조정 모듈;

로테이션 각도 "θ₀"를 추정하는 로테이션 각도 결정 유닛;

교정된 영상 Y3을 형성하기 위해 크기 조정된 왜곡 영상 Y2를 로테이션 각도 "-θ₀"만큼 회전시키는 영상 로테이션 모듈; 및

정합 영상 Y^*를 생성하기 위해 교정된 영상 Y3을 이동시키는 영상 이동 모듈을 형성한다.

상술한 시스템에 있어서, 로테이션 각도 결정 유닛은,

각각 크기 조정된 왜곡 영상 Y2와 기준 영상 X의 라돈 변환 R1 및 R2를 생성하는 라돈 변환 모듈과;

라돈 변환 R1 및 R2로부터 로테이션 각도 "θ₀"를 추정하는 라돈 변환 상관 모듈을 더 포함한다.

그 시스템은 정합 영상 Y^*에 대해 시각 품질 평가를 실행하는 영상 평가 모듈 프로세스 모듈을 더 포함한다.

상술한 시스템에 있어서, 영상 평가 모듈 프로세스 모듈은,

PSNR을 결정하고;

SSIM 인덱스를 계산하고;

VIF 인덱스를 계산하는 것 중

어느 하나에 의해 시각 품질 평가를 실행한다.

그 시스템은,

왜곡 영상 Y을 센터링하여 센터링된 영상 Y1을 생성하는 영상 센터링 모듈을 더 포함하고, 영상 크기 조정 모듈은 스케일 계수 "a"를 이용하여 센터링된 영상 Y1을 크기 조정된 왜곡 영상 Y2로 크기 조정하는 것을 실행하도록 구성된다.

그 시스템은,

왜곡 영상 Y으로부터 마스킹된 영상 Y0을 추출하는 영상 마스킹 모듈(image masking module)과;

마스킹된 영상 Y0으로부터 센터링 파라메타 "c_r" 및 "c_c"를 결정하는 중심 계산 모듈(centroid computation module)을 더 포함하고,

영상 센터링 모듈은 센터링 파라메타 "c_r" 및 "c_c"를 이용하여 왜곡 영상 Y로부터 센터링된 영상 Y1을 생성하도록 구성된다.

그 시스템은, 교정 영상 Y3과 기준 영상 X간의 오프셋 벡터 "TV"를 결정하는 이동 추정 모듈을 더 포함하고,

영상 이동 모듈은 오프셋 벡터 "VT"를 이용하여 정합 영상 Y^*를 생성하기 위해 교정된 영상 Y3을 이동시키도록 구성된다.

본 발명의 또 다른 실시 예의 시스템 및 방법은 다음에 설명된다.

본 발명의 또 다른 측면에 따르면, 왜곡 영상 Y을 기준 영상 X과 정렬되는 정합 영상 Y^*으로 처리하는 영상 정합 방법이 제공되는데, 그 방법은,

(b) 기준 영상 X을 스케일 계수 "a"의 역(inverse)으로 크기 조정함으로써 크기 조정된 기준 영상 X2을 생성하고;

(c) 크기 조정된 기준 영상 X2와 왜곡 영상 Y간의 로테이션 각도 "θ₀"를 결정하고;

(d) 왜곡 영상 Y을 로테이션 각도 "-θ₀"만큼 회전시켜, 회전된 왜곡 영상 Y3을 생성하고;

(e) 회전된 왜곡 영상 Y3을 스케일 계수 "a"로 크기 조정함에 의해, 정합 영상 Y^*을 획득하는 것을 포함한다.

단계 (c)는 왜곡 영상 Y를 센터링(centering)하여 센터링된 왜곡 영상 Y1을 형성하고, 크기 조정된 기준 영상 X2와 센터링된 왜곡 영상 Y1간의 로테이션 각도 "θ₀"의 결정을 실행하는 것을 더 포함한다.

단계 (c)는 크기 조정된 기준 영상 X2 및 왜곡 영상 Y의 라돈 변환 R1 및 R2를 각각 형성하고, 라돈 변환 R1 및 R2의 로우(row)들의 상호 상관을 계산하여 로테이션 각도 "θ₀"를 결정하는 것을 포함한다.

단계 (c)는 크기 조정된 기준 영상 X2 및 센터링된 왜곡 영상 Y1의 라돈 변환 R1 및 R2를 각각 형성하고, 라돈 변환 R1 및 R2의 로우(row)들의 상호 상관을 계산하여 로테이션 각도 "θ₀"를 결정하는 것을 포함한다.

상호 상관의 계산은,

조합 단계 (ⅴ)는, 라돈 변환 R2의 1D FFT의 "켤레" 함수(conjugate function)와 라돈 변환 R1의 1D FFT의 성분별 곱(component-wise product)을 형성하는 것을 포함한다.

단계 (ⅵ)는 제 2 중간 결과 R4내의 로우마다 각 각도 "θ"에 대응하는 최대값을 결정하는 것을 포함한다.

그 방법은 그 최대값들의 평균 - 로테이션 각도 "θ₀"은 그 평균에 의해 표시된 상호 상관에 의해 참조되는 각도에 대응함 - 을 취하는 것을 포함한다.

그 방법은, 정합 영상 Y^*에 대해 시각 품질 평가를 실행하는 것을 더 포함한다.

청구항 12의 방법에서, 시각 품질 평가는 PSNR(peak-signal-to-noise ratio)을 결정하고; SSIM(structural similarty) 인덱스를 계산하고; VIF(visual information fidelity) 인덱스를 계산하는 것 중 임의의 것에 의해 실행된다.

본 발명의 또 다른 측면에 따르면, 제 1 영상을 제 2 영상과 정렬되는 정합 영상 Y*으로 처리하는 영상 정합 방법이 제공되는데, 그 방법은,

(a) 제 1 영상과 제 2 영상간의 스케일 계수 "a"를 결정하고;

(b) 각각의 크기 조정된 버전을 생성하기 위해 영상들 중 하나를 스케일 계수 "a"로 크기 조정함으로써 제 1 영상과 제 2 영상의 크기를 동일하게 하고;

(c) 라돈 변환을 이용하여 제 1 영상과 제 2 영상간의 또는 그들 각각의 크기 조정된 버전들간의 로테이션 각도 "θ₀"를 결정하고;

(d) 제 1 영상을 로테이션 각도 "-θ₀"만큼 회전시키고, 제 2 영상의 크기 조정된 버전과 수평 및 수직적으로 정렬되도록 제 1 영상을 이동시키며, 그것을 스케일 계수 "a"로 크기 조정한 후에 정합 영상 Y^*으로서 출력하는 것을 포함한다.

프로세서;

컴퓨터 독출 가능 명령어는,

기준 영상 X과 왜곡 영상 Y간의 스케일 계수 "a"를 결정하는 스케일 계수 추정 모듈;

기준 영상 X과 왜곡 영상 Y간의 로테이션 각도 "θ₀"를 추정하는 로테이션 각도 결정 유닛;

회전된 왜곡 영상 Y3을 형성하기 위해 왜곡 영상 Y를 로테이션 각도 "-θ₀"만큼 회전시키는 영상 로테이션 모듈; 및

정합 영상 Y^*를 생성하기 위해 회전된 왜곡 영상 Y3을 크기 조정하는 영상 스케일링 모듈을 형성한다.

그 시스템은 센터링된 영상 Y1을 생성하는 선택적 센터링 모듈을 더 포함하며, 로테이션 각도 결정 유닛은 기준 영상 X와 센터링된 영상 Y1간의 로테이션 각도 "θ₀"을 추정하도록 구성된다.

그 시스템은, 기준 영상 X를 스케일 계수 "a"의 역에 의해 크기 조정된 기준 영상 X2로 스케일링하는 영상 프리스케일링(prescaling) 모듈을 더 포함하며, 로테이션 각도 결정 유닛은 크기 조정된 기준 영상 X2와 센터링된 영상 Y1간의 로테이션 각도 "θ₀"을 추정하도록 구성된다.

그 시스템은 교정된 영상 Y3과 기준 영상 X간의 오프셋 벡터 "TV"를 결정하는 이동 추정 모듈을 더 포함하고, 영상 이동 모듈은 오프셋 벡터 "TV"를 이용하여 정합 영상 Y^*을 생성하기 위해 회전된 왜곡 영상 Y3을 이동시키도록 구성된다.

영상 평가 모듈은 PSNR을 결정하고; SSIM 인덱스를 계산하고; VIF 인덱스를 계산하는 것 중 어느 하나에 의해 시각 품질 평가를 실행하도록 구성된다.

따라서, 개선된 영상 정합 방법 및 시스템이 제공되었다.

본 발명의 실시 예는 첨부 도면을 고려하여 알아야 하는 바람직한 실시 예의 이하의 상세한 설명으로부터 보다 전체적으로 이해될 것이다. 이들 도면들은 본 발명을 제한하는 것으로 해석되어서는 안되고 단지 예시적인 것일 뿐이다.
도 1은 영상 정렬 시스템(100)의 전반적인 블럭도,
도 2a는 아핀 변환기반 영상 정렬 시스템(200.1)의 블럭도,
도 2b는 본 발명의 제 2 실시 예인 대안적인 아핀 변환 기반 영상 정렬 시스템(200.2)의 블럭도,
도 3은 본 발명의 제 1 실시 예에 따른 아핀 변환 기반 재정렬 방법(300)의 흐름도,
도 4a, 도 4b 및 도 4c를 포함하는 도 4는 도 3의 아핀 변환 기반 재정렬 방법(300)의 그림 결과(pictorial result)를 나타낸 도면,
도 5 내지 도 13은 도 3의 재정렬 방법으로 획득된 실험 결과를 보다 상세하게 도시한 그래픽 결과를 나타낸 도면,
도 5a, 도 6a 및 도 7a는 "원 측정(original measure)"에 대한 DMOS(수직축) 대 PSNR, MSSIM 및 VIF 스코어(수평축)의 산포도(scatter plot)를 나타낸 도면,
도 5b, 도 6b 및 도 7b는 영상들의 아핀 전처리 후 측정에 대한 대응하는 산포도를 나타낸 도면,
도 8a, 도 9a 및 도 10a는 원 측정에 대한 추가적인 아핀 왜곡을 가진 라이브 영상 데이터베이스(LIVE image database)내의 모든 왜곡 영상에 대한, DMOS(수직축) 대 PSNR, MSSIM 및 VIF 스코어(수평축) 각각의 산포도를 나타낸 도면,
도 8b, 도 9b 및 도 10b는 영상의 아핀 전처리 후 측정에 대한 대응하는 산포도를 나타낸 도면,
도 11a, 도 11b 및 도 11c는 메트릭 PSNR, MSSIM 및 VIF에 대해 이동으로 라이브 데이터베이스내의 선택된 영상을 왜곡시키는 실험 결과를 그래프로 나타낸 도면,
도 12a, 도 12b 및 도 12c는 메트릭 PSNR, MSSIM 및 VIF에 대해 1 내지 15 도 범위의 로테이션으로 라이브 데이터베이스내의 선택된 영상을 왜곡시키는 실험 결과를 그래프로 나타낸 도면,
도 13a, 도 13b 및 도 13c는 메트릭 PSNR, MSSIM 및 VIF에 대해 0.5 내지 1.0 범위의 스케일링 계수로 라이브 데이터베이스내의 선택된 영상을 왜곡시키는 실험 결과를 그래프로 나타낸 도면,
도 14는 라돈 변환 기반 정렬 시스템에 대한 구축 블럭 세트의 도면(1400),
도 15는 본 발명의 제 3 실시 예인 제 1 라돈 변환 기반 영상 정렬 시스템(1500)의 블럭도,
도 16은 도 15의 시스템에 대한 제 1 라돈 변환 기반 방법(1600)을 도시한 도면,
도 17은 도 16의 "변환들을 상관시키는" 단계 1660의 확장을 나타낸 도면,
도 18 내지 도 22는 도 23에 설명된, 본 발명의 제 4 실시 예의 성능을 도시하기 위한 실험 결과를 나타낸 도면들로서, 도 18 내지 도 22의 각각은 원본 영상, 그의 왜곡 버전 및 본 발명의 제 3 실시 예의 방법과 종래 기술 방법에 의해 정합된 대응하는 왜곡 영상을 나타낸 도면,
도 23은 본 발명의 제 4 실시 예인 개선된 라돈 변환 기반 영상 정렬 시스템(2300)의 블럭도,
도 24는 도 23의 시스템에 대한 제 2 라돈 변환 기반 방법(2400)을 나타낸 도면,
도 25는 도 24의 "로테이션 각도의 추정" 단계 2450의 확장을 나타낸 도면,
도 26은 영상 정렬 시스템(100)의 실시 예의 조합된 블럭도(2600)이다.

본 발명에서는 왜곡 영상을 전처리하는 시스템 및 방법이 제안되는데, 그에 의해 왜곡 영상은 품질 메트릭을 계산하기 전에 기준 영상과 정렬한다. 왜곡 영상을 기준 영상과 정렬시키는 프로세스는 "정합하는 것" 또는 "정합"이라고 지칭될 것이다.

왜곡 영상의 영상 품질 평가의 전 기준 방법(full reference method)은 왜곡 영상과 기준 영상의 비교의 특정 형태에 기반한다. 왜곡이 2 영상들간의 치수적 차이, 왜곡 영상의 엔벨로프(envelop)내의 그의 수평 및/또는 수직 변위(displacement)나 로테이션 또는 다른 변형과 같은 기하학적 성질의 변경을 포함하면, 기존의 전 기준 품질 평가 방법은 시각 평가에 대응하는 품질 메트릭을 생성하지 못한다.

본 발명의 실시 예에서 제안된 영상 정합 방법들의 다른 응용은, 시각적 관찰에서는 (거의) 동일한 것으로 나타나지만 스케일, 로테이션 또는 영상들 중 하나가 잡음을 가진 경우에는 다른, 2 영상들간의 자동 비교이다.

따라서, 영상 정합은 원격 감지(지도 제작 갱신) 및 컴퓨터 비전(computer vision)에 있어서 응용을 가진다.

(변경 검출 또는 종양 모니터링과 같은 시간에 있어서 다른 시점에 취득한 동일 환자의 영상 데이터에 대한) 의료 영상 정합은 예를 들어 호흡 또는 해부학적 변경으로 인한 탄성(연성(nonrigid)이라고 알려짐) 변형을 보상하는데 이용될 수 있다. 의료 영상의 연성 정합은 또한 신경 촬영을 위한 탈라이라크 아틀라스(Talairach atlas)와 같은 해부학적 아틀라스에 환자의 영상 데이터를 정합시키는데 유용하다.

영상 정합은 천체 사진에 있어서 공간 촬영 영상을 정렬하는데 추가로 이용될 수 있다. (자동 또는 수동 입력된) 제어 포인트를 이용하여 하나의 영상에 대해 변환을 실행하여 제 2 영상과 주요 특성을 정렬시킨다.

영상 정합은 파노라마 영상 생성의 필수 부분이다. 본 발명에서 제안된 기술은 실시간으로 구현될 수 있으며, 카메라 및 카메라-폰과 같은 내장형 디바이스에 대해 운영된다.

도 1에는, 기준 영상 X을 제공하는 기준 영상원(110)과, 왜곡 영상 Y을 제공하는 왜곡 영상원(120)과, 정렬 파라메타 추정 프로세스(140)와 영상 정렬 프로세스(150)를 구비한 영상 전처리 시스템(130)과, 영상 평가 프로세스(160)를 포함하는 영상 정렬 시스템(100)의 전반적인 블럭도가 도시된다.

기준 영상 X과 왜곡 영상 Y은 영상 전처리 시스템(130)으로 입력되고, 거기에서는 왜곡 영상 Y이 기준 영상 X를 참조하여 전처리됨으로써, 정합 영상 Y^*라고 지칭되기도 하는 전처리 영상 Y^*을 생성한다.

일반적으로, 영상 평가 프로세스(160)는 입력으로서 기준 영상 X과 전처리 영상 Y*을 수신하고, 평가 결과 Q0를 생성한다.

왜곡 영상 Y은 기준 영상 X로부터 기원한 것일 수 있으며, 거기에서 왜곡 영상 Y의 왜곡은 영상의 압축 및 그에 뒤이은 압축 해제; 영상의 로테이션, 이동 또는 선형 스케일링을 특징으로 하는 기하학적 변환; 영상 일부의 손실로 결과하는 영상의 크로핑(cropping); 잡음 채널을 통한 전송으로 인한 잡음의 추가와 같은 것들 중 임의 결과 또는 그들을 조합한 결과일 수 있다.

정렬 파라메타 추정 프로세스(140)의 목적은 기준 영상 X을 참조하여 왜곡 영상 Y을 분석하고, 정렬 파라메타(AP) 세트를 생성하여, 왜곡의 기하학적 측면의 추정을 제공하는 것이다.

그 다음, 정렬 파라메타 AP는 영상 정렬 프로세스(150)에 의해 왜곡 영상 Y을 정합 영상 Y^*이라고도 지칭되는 전처리 영상 Y^*으로 변환하는데 이용된다. 정렬 파라메타 AP를 이용하여, 영상 정렬 프로세스(150)는 왜곡 영상 Y의 일부 또는 모든 기하학적 왜곡을 보상하지만, 그 경우 영상의 시각적 본질을 변경하지는 않는다. 그 결과, 왜곡 영상 Y은 영상 정렬 프로세스(150)에 의해 정합 영상 Y^*으로 변환된다. 즉, 그것은 정합되어 기준 영상 X과 정렬된다.

영상 평가 프로세스(160)는 통상적인 시각 품질 측정에 기반할 수 있으며, 그 경우 평가 결과 Q0는 SSIM 인덱스 또는 VIF 인덱스와 같은 품질 메트릭을 나타낸다. 이 경우, 평가 결과 Q0은, 전처리된 영상 Y^*에 대해 계산되면서, 왜곡 영상 Y의 진실한 시각 품질 메트릭(true visual quality metric)인 것으로 간주되는데, 그 이유는 전처리 동작이 단지 영상의 시각적 콘텐츠를 변경하지 않고 기하학적 왜곡만을 교정하기 때문이다. 예를 들어, 압축 및 잡음의 영향은 남게 된다.

많은 다른 응용에 있어서, 영상 평가 프로세스(160)의 출력 Q0은, 예를 들어, 왜곡 영상 Y과 기준 영상 X이 동일한 장면의 개별 사진들인 경우에 단순히 그 두 영상들간의 시각적 유사성의 표시자일 수 있다.

영상 전처리 시스템(130)의 제 1 실시 예는:

- 기준 영상 X과 왜곡 영상 Y로부터 키포인트(keypoint)들의 세트들을 추출하고;

- X 및 Y로부터 선택된 개수의 가장 근접한 키포인트들의 페어(pair)들을 매칭시키고;

- 제 1 아핀 변환의 파라메타를 해결하고;

- 제 1 아핀 변환의 역인 제 2 아핀 변환을 생성하고;

- 왜곡 영상 Y에 대해 제 2 아핀 변환을 적용하여, 전처리된 영상 Y*을 생성하는 것에 기반한다.

키포인트는, 영상의 변별 영역의 특징인, D. G. Lowe에 의한 "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004에 제안된, SIFT 파라메타 세트로서 알려져 있다. 정렬 파라메타 추정 프로세스(140)의 2가지 특정 구현과 영상 정렬 파라메타(150)의 대응하는 구현이 제안된다.

도 2a에는 영상 전처리 시스템(130)의 제 1 실시 예인, 아핀 변환 기반 영상 정렬 시스템(200.1)의 블럭도가 도시되며, 그 정렬 시스템은 도 1의 정렬 파라메타 추정 프로세스(140)의 실시 예인 아핀 변환 파라메타 추정 서브-시스템(210)과, 도 1의 영상 정렬 프로세스(150)의 실시 예인 아핀 영상 변환 모듈(220)을 포함한다.

아핀 변환 파라메타 추정 서브-시스템(210)은 화소 패딩 모듈(230)과, X-SIFT 추출 모듈(240), Y-SIFT 추출 모듈(250), 키포인트 매칭 모듈(260), 아핀 변환 생성 모듈(270) 및 변환 역 모듈(280)을 포함한다.

화소 패딩 모듈(230)에 있어서, 두 영상 X 및 Y는 화소 단위로 측정된 그들의 수직 및 수평 치수 "M" 및 "N"의 견지에서 그들이 동일한 크기로 되어 있지 않는 것이 아니라면, 변경없이 통과된다. 그들이 동일 크기가 아니라면, 그들은 정정되고 그들의 수평 및 수직 치수는 영가 화소를 그 영상들 중 하나 또는 둘 모두에 적절하게 패딩함에 의해 크기를 동일하게 된다(각 치수에 대해 그 치수에서 가장 작은 해상도로 영상이 패딩됨). 치수가 동일하게 된 영상들을 균등(equalized) 기준 영상 X' 및 균등 왜곡 영상 Y'라 할 것이며, 그 둘 모두는 M×N 화소 크기를 가진다.

이하의 설명을 간단히 하기 위하여, 임의 주어진 경우에 화소 패딩이 실질적으로 필요치 않다 라는 조건하에서, 균등 기준 영상 X'와 균등 왜곡 영상 Y'를 간단히 기준 영상 X 및 왜곡 영상 Y이라 계속적으로 지칭할 것이다. 영상 처리의 개념에 익숙한 자라면, 화소 패딩이 행해졌을 경우, 정합 영상 Y^*의 치수가 (진실한) 기준 영상 X의 치수와 매칭되는 것을 보장하도록 정합 영상 Y^*로부터 화소들의 로우 또는 컬럼들을 제거하기 위한 처리 단계(실시 예의 설명에는 나타나지 않음)가 실행될 수 있음을 쉽게 알 수 있을 것이다.

X-SFIT 추출 모듈(240) 및 Y-SIFT 추출 모듈(250)에 있어서, D. G. Lowe에 의한 "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004에 설명된 SIFT 특징은, 각각 키포인트 세트 Kx 및 Ky의 형태로, 기준 영상 X 및 왜곡 영상 Y로부터 추출된다.

키포인트 세트 Kx 및 Ky는 키포인트 매칭 모듈(260)로 입력된다.

키포인트 매칭 모듈(260)에 있어서, 키포인트 세트 "Kx" 및 "Ky"로부터 가장 근접한 매칭 특징 벡터를 가진 사전 정의된 개수의 키포인트들이 매칭된 키포인트 서브-세트 Kx' 및 Ky'로서 선택된다. 선택된 키포인트 서브-세트 Kx' 및 Ky'는 기준 영상 X와 왜곡 영상 Y간의 기하학적 관계에 가장 근접하게 가까운 순방향 아핀 변환(Forward Affine Transform: FAT)의 파라메타를 계산하는 아핀 변환 생성 모듈(270)로 전송된다. FAT는 변환 역 모듈(280)로 전송되어 반전되고, 그에 따라 도 1의 정렬 파라메타(Alignment Parameters: AP)의 세트의 제 1 실시 예 버전을 나타내는, 역 아핀 변환(Inverse Affine Transform: IAT)을 생성하게 된다.

아핀 변환 파라메타 추정 서브-시스템(210)에 있어서, 역 아핀 변환(IAT)은 왜곡 영상 Y을 정합 영상 Y*로 변환하는데 적용된다.

도 2b에는 영상 전처리 시스템(130)의 제 2 실시 예인 대안적인 아핀 변환 기반 영상 정렬 시스템(200.2)의 블럭도가 도시된다. 도 2b의 대안적인 아핀 변환 기반 영상 정렬 시스템(200.2)은, 변환 역 모듈(280) 및 아핀 영상 변환 모듈(220)이 단일의, 보다 효율적인 아핀 보상 영상 생성 모듈(290)로 조합된다는 점을 제외하고는, 도 2a의 아핀 변환 기반 영상 정렬 시스템(200.1)과 동일한 기능을 제공한다.

도 3에는 본 발명의 제 1 실시 예에 따른 아핀 변환 기반 재정렬 방법(300)의 흐름도가 도시되는데, 그 방법은,

"패드 영상(들)을 제로화"하는 단계(310);

"키 특징을 추출"하는 단계(320);

"키포인트를 매칭"시키는 단계(330);

"매칭 화소의 개수＜NK?" 단계(340);

"아핀 파라메타를 추정"하는 단계(350);

"역 변환"하는 단계(360);

"아핀 변환을 실행"하는 단계(370);

"아핀 보상 영상을 생성"하는 단계(380); 및

"블랭크(blank) 화소를 채우는" 단계(390)를 포함한다.

기준 영상 X를 x(i,j)(i = 1 내지 m 및 j = 1 내지 n)라 하고, 왜곡 영상 Y를 y(i,j)(i = 1 내지 m' 및 j = 1 내지 n')라 하자. 기준 영상 X는 압축, 잡음 오염, 및 가능한 아핀 변환을 포함하는 다양한 왜곡을 당하여, 왜곡 영상 Y를 생성한다고 가정된다. 두 영상 (X 및 Y)이 완전히 다른 영상이라고 예상하지 않는다.

도 2a의 화소 패딩 모듈(230)에서 실행되는 "패드 영상 제로화" 단계(310)에 있어서, 기준 영상 X의 치수 m 및 n은 왜곡 영상 Y의 대응하는 치수 m' 및 n'와 비교된다.

기준 영상 X 및 왜곡 영상 Y가 동일한 개수의 화소를 가지지 않으면, 균등 영상 X 및 Y의 치수는 M 및 N으로 설정되는데, 이때, M은 m 및 m' 중 보다 큰 것이고, N은 n 및 n' 중 보다 큰 것이다. 경우에 따라서 기준 영상 X와 왜곡 영상 Y를 대신하여 균등 기준 영상 X' 또는 균등 왜곡 영상 Y'를 생성하기 위해 보다 짧은 치수에 있어서 원본 영상 근처에 제로 화소를 추가함에 의해 어느 한 영상이 패딩될 수 있다. 설명을 간략화하기 위해, 영상들을, 그들이 패딩되었던지 또는 그렇지 않았던 간에, 기준 영상 X 및 왜곡 영상 Y이라 지칭할 것이다.

도 2a의 X SIFT 추출 모듈(240) 및 Y SIFT 추출 모듈(250)에서 실행되는 "키 특징 추출" 단계(320)에 있어서, 기준 영상 X 및 왜곡 영상 Y에 있어서의 국소 특징(local feature)을 검출하고 서술하기 위해 SIFT가 계산되는데, 그의 상세한 방법은 David Lowe에 의한 "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004에 제안되어 있다.

SIFT 키 포인트는 기준 영상 X 및 왜곡 영상 Y로부터 추출된다. David Lowe의 " SIFT" 방식에 따르면, 키포인트들의 리스트가 획득되는데, 각 키포인트는 국소 서술자(local descriptor)의 벡터, 즉, 영상내의 위치, 컬러, 텍스쳐 등과 같은 콘텐츠의 시각적 특징의 서술을 포함한다. 기준 영상 X 및 왜곡 영상 Y의 경우, 다수의 Kx 및 Ky 키 포인트들(또는 세트)이 각각 이 방법에 의해 획득된다. 각 키포인트는 128 값들의 서술자 벡터에 의해 표현되고, 로우 인덱스, 컬럼 인덱스, 스케일 계수 및 키포인트의 배향을 포함하는 4 값들을 구비한 위치 기록(location record)에 결합된다.

키포인트 서술자는 N-차원 유클리드 공간내에 포인트들을 나타내도록 정규화되며, 여기서 N=128로서 각 서술자의 128 값들에 대응한다.

도 2a의 키포인트 매칭 모듈(260)에서 실행되는, "키포인트 매칭" 단계(330)에서, 기준 영상 X의 키포인트와 왜곡 영상 X의 키포인트간의 근접 매칭들의 개수 NK가 계산되며, 매칭의 근접성은 128 차원 공간내의 거리 값에 의해 결정된다. 키포인트 특징의 견지에서 그의 거리가 제 2의 가장 근접한 매칭까지의 거리를 distRatio로 곱한 값보다 적은 경우에만 매칭이 허용된다. 파라메타 distRatio는 0.2 내지 0.6의 범위 내에서 선택된다. 0.4의 distRatio에 대한 값은 이하에서 설명할 실험에서 이용되었다.

계산 효율을 위해, 참 유클리드 거리(true Euclidean distance)보다도 단위 벡터들간의 내적(dot product)을 계산하는 것이 보다 효율적이다. 단위 벡터들의 내적의 아크 코사인(acos)에 의해 계산된 각도의 비율은 작은 각도에 대한 유클리드 거리의 비율에 대한 근사치임을 알아야 한다. 따라서, 가장 가까운 곳에서부터 제 2 의 가장 가까운 이웃까지의 벡터 각도의 비율이 distRatio보다 작은 매칭만이 유지된다.

"매칭 화소의 개수＜NK?" 단계(340)에서는, 적어도 NK 매칭 키포인트 페어가 이전 단계(330)에서 발견되었는지를 결정한다. NK의 값은 바람직하게 4로 설정된다. 4개 미만의 매칭 키포인트 페어가 발견되었으면(단계 340으로부터 "예"로 이동), 왜곡 영상 Y의 아핀 전처리를 실행할 수 없으며, 그 기능은 정지해야 하지만, 그렇지 않으면(단계 340으로부터 "아니오"로 이동), 단계 350과 함께 실행을 계속한다.

도 2a의 아핀 변환 생성 모듈(260)에서 실행되는 "아핀 파라메타를 추정"하는 단계(350)에서는, 매칭 키포인트 페어들간의 글로벌 아핀 변환(global affine transform)이 선형 최소 자승법을 이용하여 결정될 수 있다:

보다 상세하게, 아핀 변환에 있어서의 파라메타는 아래와 같이 결정된다.

기준 영상에 있어서의 포인트

의 왜곡 영상에 있어서의 포인트

로의 아핀 변환은 아래와 같이 작성될 수 있다.

(1)

여기에서, k는 매칭된 키포인트의 인덱스이다. 알려지지 않은 변수는 변환 파라메타 a₁, a₂, a₃, a₄, t₁ 및 t₂이다. 수학식 (1)은 아래와 같이 재 작성될 수 있다.

(2)

여기에서, 매칭된 키포인트들의 각 페어는 2개의 로우를 극좌 매트릭(left-most matrix) 및 극우 벡터(right-most vector)에 제공한다. 극우 벡터는

이다. 이러한 수학식은 선형 최소 자승법에 의해 해를 구할 수 있다. 수학식 (2)를 PX=Q로서 간략하게 표현하자. 그러면, 아래가 획득된다.

(3)

그러므로, 변환 파라메타는 a₁ = X(1), a₂ = X(2), a₃ = X(3), a₄ = X(4), t₁ = X(5) 및 t₂ = X(6)이다.

따라서, "아핀 파라메타를 추정"하는 단계(350)의 출력은 상기에서 처럼 도출된 아핀 변환 파라메타들 a1, a2, a3, a4, t1 및 t2의 세트로서, 이들은 기준 영상 X와 왜곡 영상 Y간의 순방향 아핀 변환(FAT)을 나타낸다.

왜곡 영상에 FAT의 역을 적용하여, 왜곡 영상 Y을 정합 영상 Y^*, 즉, 기준 영상 X와 동일한 해상도를 가질 아핀 보상 영상 y^*(i^*,j^*)으로 전환함에 의해, 기준 영상을 리셈블(resemble)하도록 왜곡 영상은 기하학적으로 조작, 즉 스케일링, 회전, 시프트(이동) 및 전단(shear)될 수 있다.

아핀 보상 영상 y^*(i^*,j^*)(여기에서, i^*∈[1,m]이고 j^*∈[1,n]임)의 경우, [i^*j^*]^T를 두가지 방식으로 계산할 수 있다.

도 2a의 변환 역 모듈(260)에서 실행되는 "역 변환"하는 단계(360)에서, 역 아핀 변환이 실행된다:

(4)

이어서, 도 2a의 아핀 영상 변환 모듈(220)에서 실행되는, "아핀 변환을 실행"하는 단계(370)에 의해, 전처리 영상이 다음과 같이 획득된다:

(5)

그러나, 계산된 값 i^*및 j^*이 비 정수값을 가질 수 있기 때문에, (존재하지만 단계 370에 정확하게 도시한 것은 아닌) 정수 위치에 있는 아핀 보상 영상 y^*인, y^*(i^*,j^*)의 요소들을 발견하는 문제를 처리할 필요가 있다.

도 2b의 아핀 보상 영상 생성 모듈(290)에서 실행되는 "아핀 보상 영상을 생성"하는 바람직한 단계(380)에서, 상술한 단계 360 및 370의 기능들이 조합되어, 정수 인덱스 위치(integer index location)로 프로젝트(project)되는 화소로 직접 아핀 보상 영상 y^*(i^*,j^*)을 생성한다. 화소값은 다음과 같이 이중선형 보간(bilinear interpolation)에 의해 계산된다.

아핀 보상 영상 y^*(i^*,j^*)에 있어서의 모든 화소 (i^*,j^*)에 대하여, 아래와 같은 수학식이 성립된다.

(6)

변환된 인덱스 값 (u,v)^T이 실수값이기 때문에, 값 y^*(i^*,j^*)을 계산하기 위해 이중선형 보간이 이용될 수 있다.

인덱스 값 u 및 v가 1≤u≤m 및 1≤v≤n의 범위내에 있는 경우, 이하의 수학식 (7)은 단계(380)의 프로세스의 간략한 설명을 제공한다.

(7)

[u] 및 [v]은 각각 실수값 u의 실링(ceiling) 및 플로어(floor) 함수이다. 한편, u 및 v의 값이 이들 영역 밖에 존재하면, 즉, u＜1 또는 m＜u이거나, v＜1 또는 n＜v이면, 대응하는 화소값을 0으로 할당한다. 즉, y^*(i^*,j^*) = 0이다.

단계(380), 즉, 수학식 (6) 및 (7)의 예시적인 구현은 아래의 MATLAB 코드 샘플 1에서 추가 설명될 것이다. MATLAB(매트랩(matrix laboratory))은 MathWorks(http://www.mathworks.com)에 의해 전개된, 4세대 프로그래밍 언어 및 수치 계산 환경임을 알아야 한다.

MATLAB 코드 샘플 1

"블랭크(blank) 화소를 선택적으로 채우는" 단계(390)에서, 아핀 보상 영상 y^*영상 경계 근처의 임의 블랭크 화소는 블랭크 상태로 남겨질 수 있거나, 선택적으로 영상 경계에 있는 비-블랭크 영상 화소의 값을 미러링(mirroring)함에 의해 채워질 수 있다.

예를 들어, 이하의 영상을 가질 수 있다:

그 다음, 값을 미러링함에 의해 누락 화소(제로 값)에 있어서의 충진은 블랭크 값과 비-블랭크 값들 간의 경계에서 비-블랭크 화소값들을 미러링함에 의해 실행된다. 이것은 이하를 제공한다.

2 1 1 2 3 4 4 3

2 1 1 2 3 4 4 3

6 5 5 6 7 8 8 7

1 9 9 1 2 3 3 2

1 9 9 1 2 3 3 2

본 발명의 제 1 실시 예를 평가할 목적으로, 이들 화소들은 블랭크로 남겨진다.

요약하면, 아핀 변환 기반 재정렬 방법(300)은 입력으로서 기준 영상 X와 왜곡 영상 Y를 수신하고, 아핀 변환 기술과 결합된 SIFT 기술을 이용하여 정렬된 정합 영상 Y^*을 출력한다.

도 4a, 도 4b 및 도 4c는 도 3의 아핀 변환 기반 재정렬 방법(300)의 그림 결과(pictorial result)를 나타낸 도면이다. 기준 영상 X을 대신하여 이용되는 원본 영상이 도 4a에 도시된다. 아핀 변환 기반 재정렬 방법(300)을 설명하기 위해, 도 4a의 원본 영상의 아핀 변환에 의해 왜곡 영상 Y으로서 사용하기 위한 왜곡 영상이 생성되었으며, 그 왜곡 영상은 왜곡의 스케일, 로테이션, 이동 및 전단의 조합을 나타낸다. 왜곡 영상 Y는 도 4b에 도시된다. 도 4b의 왜곡 영상 Y는 도 3의 아핀 변환 기반 재정렬 방법(300)으로 전처리되어 전처리된 영상, 즉, 도 4c에 도시된 정합 영상 Y^*을 생성하였다. 시각적 검사를 통해, 전처리 방법이 왜곡 영상을 기준 영상과 정렬시키는데 있어서 탁월한 역할을 할 수 있음을 알 수 있을 것이다.

아핀 변환 기반 재정렬 방법(300)의 성능을 테스트하기 위해,H. R. Sheikh, Z. Wang, L. Cormack 및 A. C. Bovik에 의해 공개되고, http://live.ece.utexas.edu/research/quality로부터 인터넷상에서 입수 가능한 LIVE Image Quality Assessment Database Release 2로부터의 영상을 이용하여 다수의 실험이 실행되었다. 이 데이터베이스는, 5개 유형의 왜곡을 이용하여 29개의 원본 영상으로부터 도출되는 779개의 왜곡 영상으로 구성된다. 그 왜곡은 JEPG 압축, JPEG2000 압축, GWN(Gaussian White Noise), 가우시안 블러링(GBlur) 및 레일리 고속 패딩(FF) 채널 모델을 포함한다. 또한, 왜곡 영상은 스케일링, 로테이션, 수평 및 수직 방향으로의 공간 시프트에 의해 원본 영상으로부터 생성되었다.

그 테스트의 경우, 원본(기준) 영상과 정렬된, 전처리된 정합 영상 Y^*은 도 1에 도시된 바와 같이 시각 품질이 평가되었다(영상 평가 프로세스(160) 참조). 기준 영상 X와 왜곡 영상 Y의 전처리된 버전, 즉 정합 영상 Y^*의 시각 품질을 측정하기 위해 표준 메트릭이 이용되었다. 3가지 전-기준 메트릭들, 즉 PSNR, MSSIM 및 VIF 측정이 영상 시각 품질을 측정하기 위해 고려되었다.

3가지 성능 측정, 즉, DMOS(Difference Mean Opinion Score)와 비선형 회귀후의 객관적 모델 출력간의 상관 계수(Correlation Coefficient: CC), RMSE(Root Mean Square Error), 및 SROCC(Spearman Rank Order Correlation Coefficient)가 고려되었다. SROCC는 아래와 같이 정의된다.

(8)

여기에서, N은 평가가 실행되는 영상에 있어서의 화소의 개수이고, d_i는 주관적 및 객관적 평가에 있어서 i번째 영상의 등급(rank)들간의 차이이다. SROCC는 비모수(nonparametric) 등급 기반 상관 메트릭으로서, Z. Wang 및 Q. Li에 의한, "Information content weighting for perceptual image quality assessment", IEEE Transactions on Image Processing, vol.20, no. 5, pp. 1185-1198, 2011에 설명된 바와 같이, 주관적 스코어와 객관적 스코어간의 임의의 단조 비선형 매핑(monotonic nonlinear mapping)과 무관하다.

아래의 표 1-5는 ("원래" 방법으로서 식별되는) 전처리없는 왜곡 영상의 시각 품질 측정과 ("제안된" 방법으로서 식별되는) 본 발명의 제 1 실시 예에 따라 아핀 전처리된 왜곡 영상의 시각 품질 측정간의 비교로부터의 요약된 실험 결과를 보여준다.

표 1은 3개의 전 기준 메트릭, 즉 PSNR, MSSIM 및 VIF에 대한 임의의 추가된 왜곡이 없는 데이터베이스의 실험 결과를 보여준다. 최선의 실행 방법이 굵은 폰트로 하이라이트된다. 표 1에서 보여주는 결과는 왜곡 영상을 전처리하면, 원 데이터베이스에 대한 원래 방법보다 영상 품질 평가의 성능에 더 나쁜 부정적 영향을 주지 않는다는 것을 나타낸다. 그것은 실제로 보다 좋게 실행된다.

표 2는 LIVE 데이터베이스내의 모든 영상이 스케일링 계수 0.9, 로테이션 각도 0.1×180π도, 수평 방향으로의 4 화소 및 수직 방향으로 4화소의 공간 시프트에 의해 왜곡되는 경우의 결과를 표로 나타낸 것이다. 그 표에 있어서, 표준 전-기준 메트릭인, PSNR, MSSIM 및 VIF는 매우 낮은 품질 스코어를 얻으며, 반면 전처리 방법은 매우 양호한 시각 품질 스코어를 제공한다. 즉, 전처리된 영상에 대해 실행된 객관적 품질 평가는 전처리를 하지 않는 경우보다 주관적 평가와 훨씬 더 많이 상관된다. 최선의 실행 방법이 굵은 폰트로 하이라이트된다. 실제로, 전처리가 없는 기존의 품질 메트릭은 매우 불량한 성능을 제공한다.

표 2는 왜곡이 스케일링, 로테이션 및 시프팅을 수반할 경우 원래 방법보다 성능이 개선됨을 보여준다. 도 8, 9 및 10에 도시된 제안된 메트릭과 휴먼 스코어(human score)간의 보다 양호한 상관에 의해 그러한 개선된 성능이 뚜렷하게 된다. 도 11, 12 및 13에 도시된 결과는, 본 발명의 제안된 방법이 원래 방법보다 여러 왜곡에 대해 덜 민감함을 나타낸다.

왜곡 영상의 제안된 전처리에 대한 목적 및 타당한 이유는 이하에서 주어진다. 시각 품질에 전혀 영향을 주어서는 안되는 로테이션, 스케일링과 같은 아핀 변환을 보상하고자 한다. 사실상, 도 11 및 도 12를 보면, 본 제안 방법이 작은 로테이션 및 시프트에 대해 아주 평탄(불변)함을 알 수 있다. 그러나, 스케일링은 보다 까다로운데, 이는 영상이 심하게 스케일링되면 품질이 그대로 유지되는 것을 기대할 수 없고, 그에 의해 영상의 세부적인 것이 상실되기 때문이다. 그러나, 그 방법은 VIF에 대해 도 13c에 도시된 스케일링 계수의 변화에 따라 완곡하게 줄어드는 적정한 스코어를 제공함이 바람직하다. 이 경우, 본 제안 방법의 스코어는 완곡하게 감소하여 적정하게 유지되는(예를 들어, 스케일링이 0.5이면 0.7의 스코어) 반면, 원래 방법(즉, 전처리 없는 방법)은 선험적으로 적절하지 못한 0.5의 스케일링에 대해 0.1 아래의 스코어를 가지는데, 이것은, 영상을 원래 해상도의 절반으로 스케일링하면 품질이 불량하게 진행되지 않을 것이기 때문이다.

표 1: LIVE 영상 데이터베이스내의 모든 왜곡 테스트 영상에 대한 영상 품질 평가의 전체 성능 비교

	방법	CC	SROCC	RMSE
PSNR	원래 방법	0.8700	0.8754	13.47
PSNR	제안된 방법	0.8939	0.8974	12.25
MSSIM	원래 방법	0.9042	0.9104	11.67
MSSIM	제안된 방법	0.9129	0.9190	11.15
VIF	원래 방법	0.9595	0.9636	7.69
VIF	제안된 방법	0.9610	0.9649	7.56

표 2: 스케일링, 로테이션, 수평 및 수직 방향으로의 공간 시프트에 의해 왜곡된 LIVE 영상 데이터베이스내의 모든 영상에 대한 영상 품질 평가의 전체 성능 비교

	방법	CC	SROCC	RMSE
PSNR	원래 방법	0.0451	0.0465	27.29
PSNR	제안된 방법	0.7959	0.7840	16.54
MSSIM	원래 방법	0.2844	0.0998	26.20
MSSIM	제안된 방법	0.8894	0.8903	12.49
VIF	원래 방법	0.0686	0.0695	35.08
VIF	제안된 방법	0.8986	0.8864	11.99

표 3 내지 5에는 LIVE 영상 데이터베이스내의 5개 유형의 왜곡과 대비되는 PSNR, MSSIM 및 VIF에 대한 CC, SROCC 및 RMSE가 각각 도시된다. 아핀 전처리 프로세싱을 한 스코어는 그것을 하지 않은 경우보다 더 좋다. VIF의 경우, 아핀 전처리 프로세싱을 한 스코어는 그것을 하지 않은 경우에 필적한다.

표 3: LIVE 영상 데이터베이스에 대한 비선형 회귀후의 CC 값

	방법	JPEG	JPEG2000	GWN	GBlur	FF	모든 데이터
PSNR	원래 방법	0.8879	0.8996	0.9852	0.7835	0.8895	0.8700
PSNR	제안된 방법	0.9260	0.9080	0.9824	0.8199	0.8967	0.8930
MSSIM	원래 방법	0.9504	0.9413	0.9747	0.8743	0.9449	0.9042
MSSIM	제안된 방법	0.9614	0.9428	0.9736	0.8856	0.9492	0.9129
VIF	원래 방법	0.9864	0.9773	0.9901	0.9742	0.9677	0.9595
VIF	제안된 방법	0.9859	0.9763	0.9866	0.9742	0.9655	0.9610

표 4: LIVE 영상 데이터베이스에 대한 비선형 회귀후의 SROCC값

	방법	JPEG	JPEG2000	GWN	GBlur	FF	모든 데이터
PSNR	원래 방법	0.8809	0.8954	0.9854	0.7823	0.8907	0.8754
PSNR	제안된 방법	0.9246	0.9046	0.9846	0.8100	0.8943	0.8972
MSSIM	원래 방법	0.9449	0.9355	0.9629	0.8944	0.9413	0.9104
MSSIM	제안된 방법	0.9594	0.9365	0.9732	0.9014	0.9443	0.9190
VIF	원래 방법	0.9845	0.9696	0.9858	0.9726	0.9649	0.9636
VIF	제안된 방법	0.9841	0.9685	0.9835	0.9729	0.9650	0.9649

표 5: LIVE 영상 데이터베이스에 대한 비선형 회귀후의 RMSE값

	방법	JPEG	JPEG2000	GWN	GBlur	FF	모든 데이터
PSNR	원래 방법	14.6532	11.0174	4.7918	11.4784	13.0148	13.47
PSNR	제안된 방법	12.0254	10.5693	5.2294	10.5760	12.6109	12.25
MSSIM	원래 방법	9.9106	8.5151	6.2603	8.9663	9.3253	11.67
MSSIM	제안된 방법	8.7635	8.4138	6.4174	8.5798	8.9624	11.15
VIF	원래 방법	5.2420	5.3498	3.9186	4.1669	7.1968	7.69
VIF	제안된 방법	5.3373	5.4587	4.5682	4.1691	7.4321	7.56

도 5 내지 도 13은 실험 결과를 보다 상세하게 도시한 그래픽 결과를 나타낸다.

도 5a, 도 6a 및 도 7a는 "원 측정(original measure)"(즉, 아핀 변환 파라메타 추정 및 아핀 보상없는)에 대한, 아핀 왜곡없는 LIVE 영상 데이터베이스내의 모든 왜곡 영상에 대한 DMOS(수직축)와 대비되는 PSNR, MSSIM 및 VIF 스코어(수평축)의 산포도(scatter plot)를 나타낸 도면이고, 도 5b, 도 6b 및 도 7b는 영상들의 아핀 전처리 후 측정에 대한 대응하는 산포도를 나타낸 도면이다.

도 8a, 도 9a 및 도 10a는 원 측정에 대한 추가적인 아핀 왜곡(스케일링 계수 0.9, 로테이션 각도 0.1×180/π도, 수평 방향으로 4 화소 및 수직 방향으로 4 화소의 공간 시프트)을 가진 라이브 영상 데이터베이스(LIVE image database)내의 모든 왜곡 영상에 대한, DMOS(수직축) 대비 PSNR, MSSIM 및 VIF 스코어(수평축) 각각의 산포도를 나타낸 도면이고, 도 8b, 도 9b 및 도 10b는 영상의 아핀 전처리 후 측정에 대한 대응하는 산포도를 나타낸 도면이다.

도 8 내지 도 10의 산포도에는 원 측정과 대비되는 전처리에 기인한 마킹된 개선을 보여주는, 추가 왜곡을 가진 영상에 대한 상관이 도시된다. 이것은, 다른 수평축 스케일에 의해 보다 명확하게 된다. 전처리없는 영상의 경우, VIF 스코어는 0.004 내지 0.02 만큼 낮다. 그러나, 아핀 전처리후의 VIF 스코어는 0 내지 1 범위내에 있다.

도 11a, 도 11b 및 도 11c는 메트릭 PSNR, MSSIM 및 VIF에 대해 이동으로 라이브 데이터베이스내의 선택된 영상을 왜곡시키는 실험 결과를 그래프로 나타낸 도면이다. 이동 범위는 1 내지 15 화소이다.

유사하게, 도 12a, 도 12b 및 도 12c는 메트릭 PSNR, MSSIM 및 VIF에 대해 1 내지 15 도 범위의 로테이션으로 라이브 데이터베이스내의 선택된 영상을 왜곡시키는 실험 결과를 그래프로 나타낸 도면이고, 도 13a, 도 13b 및 도 13c는 메트릭 PSNR, MSSIM 및 VIF에 대해 0.5 내지 1.0 범위의 스케일링 계수로 라이브 데이터베이스내의 선택된 영상을 왜곡시키는 실험 결과를 그래프로 나타낸 도면이다.

도 11 및 도 12에서의 수평축 스케일은 그 비교를 보다 명확히 보여주기 위해, (0,0) 포인트를 포함시키지 않았다. 실제로, (0,0)에서는 왜곡이 없으며, 그러므로, 원본 영상과 아핀 전처리된 영상은 동일한 메트릭 스코어를 가질 것이다.

이동 왜곡에 대한 그래프에서 알겠지만, 왜곡 영상을 아핀 전처리하는 본 제안 방법은 메트릭 PSNR, MSSIM 및 VIF에 대해 거의 일정한 스코어를 생성한다. 양호한 전처리가 실행되면 거의 일정한 스코어가 예상되는데, 그 이유는 작은 이동은 시각 품질에 영향을 주지 않기 때문이다. 로테이션 왜곡의 경우, 제안된 방법은 MSSIM 및 VIF에 대해 거의 일정한 스코어를 생성한다. PSNR 값은, 공간 시프트의 증가에 따라 감소되지만, 제안된 방법은 그래도 전처리없는 표준 PSNR보다 더 좋다. 다시, 양호한 전처리가 실행되면 거의 일정한 스코어가 예상되는데, 그 이유는 작은 로테이션은 시각 품질에 영향을 주기 않기 때문이다. 메크릭 스코어가 이동 및 로테이션하에서 대체로 일정하게 유지된다는 사실은 메트릭을 적용하기 전의 제안된 전처리가 효과적임을 보여준다. 스케일링 왜곡의 경우, 제안된 방법은 PSNR, MSSIM 및 VIF에 대한 표준 메트릭보다 훨씬 높은 스코어를 생성한다. 스케일링 계수가 감소됨에 따라 품질 감소가 예상되는데, 그 이유는 그것이 보다 적어짐에 따라 영상 품질이 감소되기(보다 흐릿하게 되기) 때문이다. 그러나, 직관적으로 그것은 원래 방법에 의해 보여진 바와 같이 극적으로 드롭될 수 없다. 제안된 방법에 의해 드러난 바와 같이 점진적인 품질의 감소가 보다 적절하다.

이것은 도 7a, 7b 및 도 7c에 도시되는데, 거기에서는 스케일링 계수가 감소됨에 따라 메트릭 값이 감소되지만, 본 발명의 전처리 방법에 따라 변경이 점진적으로 이루어지며, 그 변경은 스케일링 영상과 관련된 품질의 점진적 상실을 나타낸다. 영상이 아핀 왜곡되면 MSSIM 및 VIF가 PSNR보다 더 나은 메트릭임을 알게 되었다. 그럼에도, 본 발명의 전처리 단계에 의해 생성된 3가지 메트릭 모두는 전처리없는 이들 표준 메트릭보다 높은 스코어를 생성한다. 제안된 전처리 방법이 다른 유형의 왜곡에 매우 강함을 쉽게 알 수 있을 것이다.

M. P. Sampat, Z. Wang, S. Gupta, A. C. Bovik 및 M. K. Markey에 의한, "Complex wavelet structure similarity: A new image similarity index," IEEE Transactions on Image Processing, vol. 18, no. 11, pp. 2385-2401, 2009에서 Sampat등은 작은 이동 및 작은 로테이션에 대해서만 불변인, 복소 웨이브렛 도메인(complex wavelet domain)에서의 새로운 영상 유사성 인덱스(CW-SSIM)를 제안하였다. 다른 한편, 본 특허 출원에 있어서의 제안된 전처리 방법은 임의 량의 이동 , 로테이션 및 스케일링 계수에 보다 강하다. 이것은, 본 발명의 제안된 방법이 다른 유형의 왜곡하에서 영상 시각 품질을 측정하는데 적합하다는 것을 나타낸다.

영상 전처리 시스템(130)의 제 1 및 제 2 실시 예는 SIFT 키포인트 매칭 및 아핀 변환을 이용한 "아핀 변환 기반" 실시 예이지만, 라돈 변환에 기초한 추가적인 실시 예는 이하에서 설명될 것이다.

아핀 변환 기반 방법과 라돈 변환 기반 방법 모두는 왜곡 영상을 기준 영상과 정렬하도록 처리하는 동일 목표를 제공하지만, 그 기능에 있어서는 약간의 차이가 있다. 예를 들어, 아핀 변환 기반 방법은 스큐잉(skewing) 및 플립핑(flipping)(반전)을 포함하는 많은 기하학적 왜곡을 정정할 수 있지만, 라돈 변환 기반 방법은 스큐잉 및 플립핑 왜곡을 정정할 수 없다. 다른 한편, 매우 잡음이 많은 영상이 존재하는 경우에는 라돈 변환 기반 방법의 강건성이 아핀 변환 기반 방법의 성능을 능가한다.

영상 전처리 시스템(130)의 라돈 변환 기반 실시 예는 왜곡 영상 Y을 기준 영상 X에 정합하기 위해 스케일링 계수와 로테이션 각도를 결정하는 방법에 기반한다. 이러한 추가적인 실시 예는 효율적 구현에 도움이 되며, 잡음이 있는 경우에는 탁월하게 강력하지만, 상술한 제 1 및 제 2 실시 예가 우수할 수 있는 특정 유형의 왜곡에 대해서 제한된다(예를 들어, 왜곡 전단, 도 4b 참조). 이러한 실시 예는 동일한 스케일링 계수가 수평 및 수직적으로 적용된다는 가정에 기반한다. 그러나, 제안된 방법이 잡음 환경에서 보다 좋다.

도 14는 라돈 변환 기반 정렬 시스템에 대한 구축 블럭 세트(1400)를 나타낸 도면으로서, 아래의 기능을 수행하는 다수의 블럭을 포함한다:

입력 영상, 즉 기준 영상 X와 왜곡 영상 Y의 수평 치수를 동일하게 하는 치수 균등화 기능(1410);

영상을 그의 중심으로 센터링하는 센터링 기능(1420);

왜곡 영상 Y의 크기에 대한 기준 영상 X의 크기의 비율로서 스케일 계수 "a"를 결정하는 스케일 계수 추정 기능(1430);

기준 영상 X와 왜곡 영상 Y의 배향 사이에 존재하는 로테이션 각도 θ₀를 결정하는 각도 추정 기능(1440);

왜곡 영상 Y 또는 그의 프로세싱된 버전을 스케일 계수 "a"에 의해 스케일링하여, 그의 크기를 실질적으로 기준 영상 X의 크기와 동일하게 하는 스케일링 기능(1450);

기준 영상 X 또는 그의 프로세싱된 버전을 스케일 계수 "a"의 역으로 프리스케일링하여 그의 크기를 왜곡 영상 Y 또는 그의 프로세싱된 버전의 크기와 동일하게 하는 프리스케일링 기능(1460);

왜곡 영상 Y 또는 그의 프로세싱된 버전을 로테이션 각도 θ₀만큼 회전시키는 회전 기능(1470); 및

왜곡 영상 Y의 프로세싱된 버전의 이동을 실행하여 그것을 기준 영상 X 또는 그의 프로세싱된 버전과 수평 및 수직적으로 정렬시키는 이동 기능(1480).

이하에서 설명할 본 발명의 실시 예는 구축 블럭 세트(1400)를 여러 조합 및 시퀀스로 이용하여, 왜곡 영상 Y 및 기준 영상 X를 처리함에 의해 정합 영상 Y^*을 생성한다.

도 15는 도 1의 영상 전처리 시스템(130)의 제 3 실시 예인 제 1 라돈 변환 기반 영상 정렬 시스템(1500)의 블럭도로서, 이하의 모듈을 포함한다.

스케일 계수 "a"를 결정하는 스케일링 계수 추정 모듈(1502);

왜곡 영상 Y으로부터 마스킹된 영상 Y₀을 추출하는 영상 마스킹 모듈(1504)과;

마스킹된 영상 Y₀으로부터 센터링 파라메타 "c_r" 및 "c_c"를 결정하는 중심 계산 모듈(1506)과;

센터링 파라메타 "c_r" 및 "c_c"를 이용하여 왜곡 영상 Y을 센터링하여 센터링된 영상 Y₁을 생성하는 영상 센터링 모듈(1508)과;

스케일 계수 "a"를 이용하여 센터링된 영상 Y₁을 크기 조정된 왜곡 영상 Y₂로 크기 조정하는 영상 크기 조정 모듈(1510).

크기 조정된 왜곡 영상 Y₂은 기준 영상 X와 동일한 크기로서 센터링되었지만 여전히 회전될 필요가 있다.

제 1 라돈 변환 기반 영상 정렬 시스템(1500)은,

각각 크기 조정된 왜곡 영상 Y2와 기준 영상 X의 라돈 변환 R₁ 및 R₂를 생성하는 라돈 변환 모듈(1512)과, 라돈 변환 R₂ 및 R₁로부터 로테이션 각도 "θ₀"를 추정하는 라돈 변환 상관 모듈(1516)을 포함하는 로테이션 각도 결정 유닛(1511)과;

기준 영상 X으로부터 측방향으로 오프셋될 수 있는 교정된 영상 Y₃을 형성하기 위해 크기 조정된 왜곡 영상 Y₂를 로테이션 각도 "θ₀"만큼 회전시키는 영상 로테이션 모듈(1518)과;

교정된 영상 Y₃과 기준 영상 X간의 오프셋 벡터 "TV"가 결정되는 이동 추정 모듈(1520)과;

정합 영상 Y^*를 생성하기 위해 교정된 영상 Y₃에 오프셋 벡터 "TV"가 적용되는 영상 이동 모듈(1522)을 더 포함한다.

제 3 실시 예의 방법의 경우, 왜곡 영상 Y내부의 실제 시각 콘텐츠 주변에 블랙 배경이 있다고 가정한다. 로테이션 각도가 0도, 90도, 180도 또는 270도의 로테이션 각도로부터 크게 벗어남에 따라 이 방법에 의해서는 상실되는 화소들의 개수가 증가함을 아는 것이 중요하다. 이들 각도 값들로부터 벗어날 수록 상실되는 화소의 개수는 커진다. 그러므로, 정렬 방법 이후에 영상 평가 방법이 수행되면, 이들 각도 값으로부터 벗어날 수록 품질 평가는 보다 부정확해질 것이다.

도 16은 제 1 라돈 변환 기반 영상 정렬 시스템(1500)의 모듈들에서 예시적으로 설명될 수 있는 제 1 라돈 변환 기반 방법(1600)을 도시한 도면으로서, 그 방법은 아래와 같은 단계들을 포함한다:

310 "패드 영상(들)을 제로화";

1610 "스케일링 계수 a를 추정";

1620 "영상 Y의 중심을 계산";

1630 "Y₁을 생성하기 위해 영상 Y를 센터링";

1640 "Y₃을 생성하기 위해 영상 Y₁을 크기 조정";

1650 "라돈 변환 R₁ 및 R₂를 실행";

1660 "θ₀을 생성하기 위해 변환들을 상관시킴";

1670 "Y₃을 생성하기 위해 영상 Y₁을 회전시킴"; 및

1680 "교정 영상 Y₃을 이동".

상술한 바와 같이 "패드 영상을 제로화"하는 단계(310)에서 기준 영상 X와 왜곡 영상 Y의 크기를 동일하게 한 후에, 이하의 단계 시퀀스가 실행되며, 그에 의해 왜곡 영상이 스케일링되고, 회전되고 이동되어 정합 영상 Y^*으로 된다.

스케일링 계수 추정 모듈(1502)에서 실행되는 "스케일링 계수를 추정"하는 단계(1610)에서, 스케일링 계수 "a"는 퓨리에 변환을 이용하여 실행될 수 있는 각 영상의 루미넌스를 평균화하고 그 결과를 제산함에 의해 결정된다. 이것은 왜곡 영상을 생성하는데 있어서 평균 루미넌스를 변경하는 동작(예를 들어, 대비 및 밝기 조작)이 일어난 적이 없다고 가정한다.

왜곡 영상 Y을 기준 영상 X의 회전되고 스케일링된 버전으로서 고려하자.

수학식 (9) 및 (10)에 각각 M×N 크기를 가진 영상 X 및 Y의 퓨리에 변환 F₁ 및 F₂가 주어진다.

(9)

(10)

극 좌표 시스템에 있어서, 그들의 크기는 수학식 (11)에서 주어진대로 관련된다(보다 상세하게는 B. S. Reddy 및 B. N. Chatterji에 의한, "An FFT-based technique for translation, rotation and scale-invariant image registration," IEEE Transactions on Image Processing, vol. 5, no. 8, pp. 1266-1271, 1996 참조).

(11)

여기에서, a는 스케일링 계수(수평 및 수직적으로 동일 계수 적용)이고, θ₀은 두 영상간의 로테이션 각도이다.

(12)

(13)

그러므로, 스케일링 계수는 아래와 같이 획득된다.

(14)

스케일링 계수 a는 또한 영상 X 및 Y의 2D FFT의 계산없이 보다 단순하게 획득될 수 있는데, 이는 아래와 같기 때문이다.

(15) 및

(16)

이제, 왜곡 영상 Y가 이동되고 회전되며 스케일링되는 것을 고려하자. 스케일링 계수 a를 계산하는데 이용된 방식은, 시프트 동작이 왜곡 영상 Y의 화소들의 전체 개수에 비해 매우 소수의 화소만을 제거하는 한, 여전히 유지될 것이다.

영상 마스킹 모듈(1504)에서 실행되는 "마스크 생성" 단계(1620)에서는, 마스크 영상 Y₀이 다음과 같은 규칙에 의해 생성된다. 즉,

이면

이고, 그렇지 않으면

이다. 이 실시 예에 있어서, 본 발명자는 τ = 40을 선택하였다.

"영상을 센터링"하는 단계(1630)에 있어서, 영상 Y는 센터링된 영상 Y₁으로 되도록 센터링된다. 마스크 영상 Y₀의 중심

은 다음과 같이 계산된다.

(17)

(18)

여기에서, 파라메타 c_r 및 c_c는 각각 "중심"이라고 지칭되는 화소의 로우(row) 좌표 및 컬럼(column) 좌표를 나타낸다. 이러한 동작은 중심 계산 모듈(1506)에서 실행된다.

에 대응하는 위치는 영상 Y의 중심으로 이동되며, 그 이동은 영상 센터링 모듈(1508)에서 실행된다. 센터링된 영상 Y₁은 수학식 19에 의해 아래와 같이 계산된다.

(19)

여기에서, m∈[1,M]이고 n∈[1,N]이다. 만약

이 인덱스 범위 [1,M]×[1,N] 밖에 있으면,

은 0으로 설정된다.

영상 크기 조정 모듈(1510)에서 실행되는 "영상을 스케일링"하는 단계(1640)에 있어서, 스케일링 계수 "a" 는 센터링된 영상 Y₁을 정규화 영상 Y₂로 크기 조정하는데 이용되며, 그에 따라 그것은 기준 영상 X와 동일한 스케일을 가진다. 이것은 로테이션 각도의 추정을 대비하여 실행된다. 정규화 영상 Y₂는

에 의해 정의된다.

정규화 영상 Y₂의 인덱스 m 및 n은 정수값이어야만 하지만, 크기 조정 계산 이후에는 그들은 통상적으로 부동 소수점수로서, 정수값으로 되도록 끝수를 버리거나 반올림된다. 크기 조정된 화소에 있어서의 화소값의 경우, 가장 가까운 화소값을 이용하거나, 이중 선형 보간을 이용하여, 다수의 인접 화소들로부터 화소값을 결정할 수 있다.

기준 영상 X와 정규 영상 Y₂간의 로테이션 각도 θ₀는 이하의 2 단계에서 대응하는 라돈 변환으로부터 획득된다.

"라돈 변환을 실행"하는 단계(1650)는 라돈 변환 모듈(1512)에서 실행되어, 기준 영상 X와 정규 영상 Y₂의 대응하는 라돈 변환을 계산한다.

기준 영상 X의 라돈 변환 R₁은 다음과 같이 정의되고

(20)

정규 영상 Y₂의 라돈 변환은 R₂는 다음과 같이 정의된다.

(21)

여기에서, δ()은 디락 델타 함수(Dirac delta function)이다.

A. Averbuch, R. R. Coifman, D. L. Donoho, M. Israeli 및 Y. Shkolnisky에 의한, "A framework for discrete integral transformations I - the pseudo-polar Fourier transform", SIAM Journal on Scientific Computing, 30(2): 764-784, 2008에서 지적된 바와 같이, 현대 애플리케이션의 경우, 지난 20년에 걸쳐 많은 저자들의 관심의 대상이었던 이산 2D 라돈 변환을 하는 것이 중요하다. 최근 까지, 라돈 변환은 대수적으로 정확하고, 가역적이고 신속하게 계산할 수 있는 2D 이산 영상들에 대한 일관성있는 별도의 정의가 결핍되어 있었다. 그러므로, Averbuch등은 1 미만의 절대 기울기의 라인들을 따르는 합계에 기초한, 이산 2D 화상에 대한 2D 라돈 변환의 개념을 정의하였다. 비-그리드 위치(non-grid location)에서의 값은 제로-패딩된 그리드상의 삼각 보간을 이용하여 정의된다. 그들은, 이산화 단계가 0에 접근함에 따라 그것이 연속 라돈 변환(continuous Radon transform)에 수렴하기 때문에, 그들의 정의가 연속체(continuum)의 믿을 수 있는 서술을 제공한다는 점을 입증하였다. 이산 라돈 변환에 대한 보다 상세한 것은 Averbuch등에서 알 수 있다. Averbuch등에 따르면, 각각

및

로서 표시되는 X 및 Y₂의 이산 라돈 변환을 실행할 수 있는데, 그 둘 모두는 K×L 크기이다.

두 영상(기준 영상 X 및 정규화된 왜곡 영상 Y₂)이, 그들간의 로테이션 및 가능한 잡음을 제외하고는, 동일하거나, 적어도 매우 유사하다는 전제에 기초하면, θ 방향을 따르는 순환 시프트를 제외하고 당연히 그들의 라돈 변환

및

은 실질적으로 또는 정확히 동일하게 된다. 즉,

이다. R1 및 R2의 크기는 반경 'r" 및 각도 세타에 대한 원하는 정밀도에 기초하여 선택된 파라메타 K 및 L을 특징으로 한다. 라돈 변환 기반 시스템의 실시 예에 있어서, 파라메타 K는 화소의 개수에 있어서 화상의 대각선의 길이를 약간 초과하는 대략적으로 K = sqrt(M*M+N*N)+5와 같은 화상 크기와 관련된, 이용된 소프트웨어(MATLAB, 상기 참조)의 '라돈' 함수로부터의 디폴트로서 선택되었다. 각도 정밀도의 경우, L의 범위는 약 1도의 정밀도를 제공하는 L = 0 내지 179로서 선택되었다.

라돈 변환 함수는 아래와 같이 MATLANB 문서에 설명되어 있다.

"R = 라돈( 세타 )은 각도 θ도에 대해 세기 영상 I의 라돈 변환 R을 복귀시킨다. 라돈 변환은 특정 각도로 배향된 사선( radial line )을 따르는 영상 세기의 프로젝션이다. θ가 스칼라이면, R은 θ도에 대한 라돈 변환을 포함하는 컬럼 벡터이다. θ가 벡터이면, R은 각 컬럼이 θ에 있어서의 각도들 중 하나에 대한 라돈 변환인 매트릭스이다."

이론에 따르면, 하나의 영상이 다른 것의 회전된 버전이면, 2개의 영상은, 각도 치수를 따르는 순환 시프트를 제외하고는, 동일한 라돈 변환을 가질 것이다. 본 경우에 있어서, 기준 영상 X와 정규화된 왜곡 영상 Y₂는 더욱 차이가 나게 되고, 그 변환의 등가성이 정확하게 유지되지 않을 것이다. 이러한 이유 때문에, r의 여러 값들에 대해 각도를 계산하고 그 각도의 평균을 취하는 것은 그 각도의 추정이 보다 확실하게 되도록 할 것이다.

라돈 변환 상관 모듈(1516)에서 실행되는 "변환을 상관"하는 단계(1660)에서는, 상관 방법에 의해 2개의 라돈 변환이 시스템적으로 비교되어, 기준 영상 X에 대한 왜곡 영상 Y의 배향의 최빈 가능 각도(most likely angle)가 추정된다.

순환 상호 상관은 θ₀을 계산하는데 이용될 수 있었지만, R₁ 및 R₂의 모든 로우에 대하여, R₂를 순환적으로 시프트시키고 2개의 로우들간의 상호 상관을 계산할 필요가 있기 때문에, 이것은 O(KL²)의 계산 복잡성과 함께 시간 소모적이었다. 이것은 O(L²)의 계산 복잡성을 가진다. 전체적으로 K 로우들이 있기 때문에, 전체 계산 복잡성은 O(KL²)이다.

보다 효율적인 대안으로서, O(KLlogL)의 계산 복잡성을 가진 1차원(1D) FFT를 대신 이용할 수 있다.

이하에서는 제 3 실시 예의 바람직한 방법의 기초가 되는, FFT에 의해 상호 상관을 계산하는 통상적인 이론을 제공한다.

상호 상관의 정의 및 그의 빠른 구현을 간략하게 설명하겠다. D. Nikolic, R. C. Muresan, W., Feng 및 W. Singer에 의한, "Scaled correlation analysis: a better way to compute a cross-correlogram", European Journal of Neuroscience, pp. 1-21, 2012에 따르면, f[n]과 g[n]의 2개의 이산 실수값 함수들간의 상호 상관은 다음과 같다.

f[n]과 g[n]간의 콘볼루션은, V. Sobolev에 의한 "Convolution of functions", in Michiel Hazewinkel, Encyclopedia of Mathematics, Springer, ISBN 978-1-55608-010-4에서 아래와 같이 주어진다.

함수 f[n]과 g[n]의 상호 상관은 아래와 같이 h[n] = f[-n] 및 g[n]의 콘볼루션과 등가이다.

콘볼루션 이론과 유사하게, 상호 상관은 다음을 만족한다.

여기에서, FFT는 고속 퓨리에 변환을 나타내고, conj는 복소 공액을 나타내며, 도트는 성분별 곱을 의미한다. 역 FFT를 취함에 의해, f*g의 고속 구현을 획득할 수 있다.

도 17은 "변환들을 상관시키는" 단계 1660의 확장을 나타낸 도면으로서, 이하의 단계들을 포함한다:

1710 "R3을 생성하기 위해 R1 및 R2의 1D 순방향 FFT를 계산";

1720 "R4를 생성하기 위해 1D 역 FFT를 R3/｜R3｜에 적용";

1730 "로우에 의해 가장 높은 상호 상관 계수를 결정"; 및

1740 "어레이 인덱스 최대 상호 상관 계수들의 평균으로부터 θ₀를 추정".

R₁ 및 R₂의 m번째 로우를 각각 r₁(n) 및 r₂(n)이라 하자. 여기에서 n=1 내지 L로서, 각도들의 수, 즉 R₁ 및 R₂의 순환 시프트이다.

"R3을 생성하기 위해 R1 및 R2의 1D 순방향 FFT를 계산"하는 단계(1710)에 있어서, r₁(n) 및 r₂(n)에 대해 1D 순방향 FFT가 실행되어 제 1 중간 결과 R3 = r₃(u)를 생성한다.

여기에서, "conj"는 복소 공액을 나타내고,

은 성분별 곱이다.

"R4를 생성하기 위해 1D 역 FFT를 R3/｜R3｜에 적용"하는 단계(1720)에 있어서, 1D 역 FFT가

에 적용된다. 즉, 제 2 중간 결과

가 아래와 같이 계산된다.

이기 때문에, 아래와 같이 된다.

(22)

(23)

(24)

그러므로,

은 -θ₀에서 1.0의 피크값을 가질 것이며, 모든 잔여 값들은 0으로 될 것이다. R4 = r4(n)의 값들의 각각은 두개의 라돈 변환들간의 주어진 오프셋 각도에 대해, R1과 R2간의 상호 상관 계수들의 벡터(즉, 어레이)를 나타낸다.

"로우에 의해 가장 높은 상호 상관 계수를 결정"하는 단계(1730)에 있어서, R4 = r4(n)의 모든 로우에 대해 아래와 같이 최대값의 위치 인덱스

가 획득된다.

"어레이 인덱스 최대 상호 상관 계수들의 평균으로부터 θ₀를 추정"하는 단계(1740)에 있어서, 이들 최대 값을 가리키는 각 어레이 인덱스들의 평균을 취함에 의해, 두 영상(기준 영상 X와 센터링된 영상 Y₁)간의 로테이션 각도의 추정을 아래와같이 획득할 수 있다.

이하의 MATLAB 코드 샘플(code sample) 2는 로테이션 각도의 추정을 구현한다.

도 16의 설명을 참조하면, 영상 로테이션 모듈(1518)에서 실행되는 "영상 Y₂를 회전"시키는 단계(1670)에 있어서, 크기 조정된 영상 Y₂는 -θ₀도만큼 회전되어, 배향 차이를 보상하고, 교정된 영상 Y₃을 획득한다.

영상 이동 모듈(1522)에서 실행되는 "교정된 영상 Y₃를 이동"시키는 단계(1680)에 있어서, 회전된 왜곡 영상 Y₃은 최종 위치로 이동되고, 그에 의해 정합 영상 Y^*이 생성된다.

이동의 경우, G. Varghese 및 Z. Wang에 의한 "Video denoising based on a spatiotemporal Gaussian scale mixture model", IEEE Transactions on Circuits and Systems for Video Technology, vol. 20, no. 7, pp. 1032-1040, 2010에 제안된 글로벌 움직임 보상(MC) 방법을 선택할 수 있는데, 이 방법은, 간단하고 빠르며 신뢰성있는 방법으로서, 정수 화소 정밀도를 제공한다.

를 스케일링 및 로테이션이 이미 보상된 교정된 영상이라 하고 X(m,n)을 기준 영상이라 하자. 아래와 같이 X 및 Y₃에 2D FFT를 실행한다.

(25)

(26)

그 다음, 상호 상관(CC) 함수는 아래와 같이 정의된다.

여기에서, IFFT₂는 역 2D 퓨리에 변환이고,

은 성분별 곱이고, conj는 복소 공액을 의미한다. 추정된 움직임 벡터는 아래와 같이 주어진다.

(28)

이동 벡터 추정 모듈(1520)에서 계산된 이와 같이 추정된 움직임 벡터는 회전된 왜곡 영상 Y₃를 정합 영상 Y^*, 즉

으로서 최종 위치로 이동시키는데 필요한 이동 벡터로서 해석된다.

도 18 내지 도 22는 도 23에 설명된, 본 발명의 제 4 실시 예에서 제안된 정합 방법의 성능을 도시한 실험 결과를 나타낸 도면들이다.

도 18 (a-e)내지 도 22(a-e)의 각각은,

- 원본 영상(a):

- 그의 왜곡 버전(b); 및

- 본 발명의 제 3 실시 예(c)의 방법과; SURF 방법(d)과; SIFT 방법(e)에 의해 정합된 왜곡 영상을 보여준다.

특히, 도 18a, 도 18b, 도 18c, 도 18d 및 도 18e에는 원본 영상, 그의 왜곡 영상(스케일=0.8, 로테이션=0.2라디안, 이동=(40,40), 잡음 표준 편차 σ_n=10) 및 본 발명의 실시 예의 제안된 방법과, SURF 및 SIFT를 이용하여 정합된 영상이 도시된다.

도 19a, 도 19b, 도 19c, 도 19d 및 도 19e에는 원본 영상, 그의 왜곡 영상(스케일=0.8, 로테이션=0.2라디안, 이동=(4,4), 잡음 표준 편차 σ_n=50) 및 본 발명의 실시 예의 제안된 방법과, SURF 및 SIFT를 이용하여 정합된 영상이 도시된다.

도 18(a-e) 및 도 19(a-e)에 있어서, 3개의 방법 모두는, 중간 공간 시프트에 비해 크고(각각 40, 40 및 4) 중간 잡음보다는 상대적으로 작은(각각, σ_n=10 및 σ_n=50)것을 조합함에 의해 왜곡에 대해 잘 작용한다.

도 20a, 도 20b, 도 20c, 도 20d 및 도 20e에는 원본 영상, 그의 왜곡 영상(스케일=0.8, 로테이션=0.2라디안, 이동=(4,4), 잡음 표준 편차 σ_n=100) 및 본 발명의 실시 예의 제안된 방법과, SURF 및 SIFT를 이용하여 정합된 영상이 도시된다. 이 경우에 SURF 및 SIFT는 잘 작용하지 못하지만, 제안된 방법은 잘 작용함을 알 수 있을 것이다.

도 21a, 도 21b, 도 21c, 도 21d 및 도 21e에는 원본 영상, 그의 왜곡 영상(스케일=0.5, 로테이션=0.2라디안, 이동=(4,4), 잡음 표준 편차 σ_n=10) 및 본 발명의 실시 예의 제안된 방법과, SURF 및 SIFT를 이용하여 정합된 영상이 도시된다. 0.5의 스케일 계수의 경우, 3가지 방법 모두가 잘 실행된다.

도 22a, 도 22b, 도 22c, 도 22d 및 도 22e에는 원본 영상, 그의 왜곡 영상(스케일=0.1, 로테이션=0.2라디안, 이동=(4,4), 잡음 표준 편차 σ_n=10) 및 본 발명의 실시 예의 제안된 방법과, SURF 및 SIFT를 이용하여 정합된 영상이 도시된다. 0.1의 스케일 계수의 경우, 본 발명의 실시 예의 제안된 방법은 매우 잘 실행된다. 그러나, SURF 및 SIFT는 실패한다. 따라서, 입력 영상이 매우 작게 스케일링되면, 본 발명의 실시 예의 제안된 방법이 SIFT 및 SURF보다 좋다.

요약하면, σ_n=100에서, 이 경우에, SURF 및 SIFT 방법은 실패하지만, 제안된 방법은 매우 잘 동작함을 알 수 있을 것이다. 또한, 스케일링 계수 a=0.5의 경우, 3가지 방법 모두가 양호한 정합을 생성한다(도 21 참조). 그러나, 스케일링 계수 a=0.1의 경우, SURF 및 SIFT는 실패하는 반면, 제안된 방법은 잘 동작한다(도 22c 참조).

본 발명의 제 3 실시 예의 제안된 방법의 계산 복잡성이 기존의 2개의 방법과 비교되었다. 종래 기술의 논문에 있어서, B. S. Reddy 및 B. N. Chatterji에 의한 "An FFT-based technique for translation, rotation and scale-invariant image registration", IEEE Transactions on Image Processing, vol. 5, no. 8, pp. 1266-1271, 1996은 이동, 로테이션 및 스케일링 파라메타를 추정하기 위한 기술을 제안한다. 그들의 방법은 6 순방향 2D FFT 및 6 역 FFT를 이용하는데, 이는 시간 소모적이고 오류가 발생하기 쉽다. 본 발명의 제 3 실시 예에 있어서, 스케일링 계수를 추정하기 위해 평균의 비율을 이용하고, 기준 영상과 왜곡 영상간의 로테이션 각도를 추정하기 위해 라돈 변환을 이용한다. 영상의 라돈 변환은, Y. Pan, K. Li 및 M. Hamdi에 의한 "An improved constant-time algorithm for computing the radon and hough transforms on a reconfigurable mesh", IEEE Transactions on Systems, Man, and Cybernetics, Part A - Systems and Humans, vol. 29, no. 4, pp. 417-421, 1999에 보여준 재구성 가능 메시(mesh)에 대해 상수 시간 O(1)으로 실행될 수 있다. 대부분, 라돈 변환은 K. Jafari-Khouzani 및 H. Soltanian-Zadeh에 의한, "Radon transform orientation estimation for rotation invariant texture analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, no. 6, pp. 1004-1008, 2005에 나타난 바와 같이 2D FFT의 복잡도(complexity)로 실행될 수 있다. 글로벌 공간 시프트를 획득하기 위해 2D FFT를 이용한다. G. Varghese 및 Z. Wang에 의한 "Video denoising based on a spatiotemporal Gaussian scale mixture model", IEEE Transactions on Circuits and Systems for Video Technology, vol. 20, no. 7, pp. 1032-1040, 2010를 참조하라. 본 발명의 제 3 실시 예의 방법은 단지 3 순방향 2D FFT, 2 역 2D FFT 및 2 라돈 변환만을 이용한다. 그러므로, 제안된 방법은 상기에서 인용된 B.S. Reddy 및 B.N.Chatterji의 논문에서 설명된 종래 기술의 방법보다 더 빠르다. E. De Castro 및 C. Morandi에 의한, "Registration of translated and rotated images using finite Fourier transforms", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-95, pp. 700-703, 1987에서, 상기 저자들은 180 역 2D FFT를 요구하는 영상 정합 방법을 제안한다. 또한, 그 방법은, 스케일 변경이 존재하면 실패한다. 반대로, 본 발명의 제 3 실시 예의 방법은 스케일 변경이 있는 경우에도 잘 작용하며, 그의 계산 복잡성도 E. De Castro 및 C. Morandi이 설명한 방법보다 훨씬 덜하다.

본 발명의 제 3 실시 예의 방법 및 시스템은 기존의 종래 기술 방법보다 나은 다음과 같은 장점을 제공한다. 본 발명의 제 3 실시 예의 방법은 잡음 환경에서 매우 잘 실행되는 반면, D. G. Lowe에 의한, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004과, H. Bay, A. Ess, T. Tuytelaars 및 L. Van Gool에 의한 "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), vol. 110, no. 3, pp. 346-359, 2008에 제안된 것과 같은 기존의 방법은, 잡음 레벨이 너무 높으면, 실패한다. 또한, 본 발명의 실시 예의 방법은 계산 복잡도

의 견지에서 빠른데, 여기에서, 입력 영상은 M×N의 크기를 가지며, 라돈 영상은 K×L 크기를 가진다. 또한, 본 발명의 실시 예의 방법은 3가지 파라메타(이동, 로테이셔 및 스케일링) 모두를 추정할 수 있는 반면, 대부분의 기존의 방법은, 예를 들어, K. Jafari-Khouzani 및 H. Soltanian-Zadeh에 의한 "Radon transform orientation estimation for rotation invariant texture analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, no. 6, pp. 1004-1008, 2005, 또는 W. Wei, S. Wang, X. Zhang 및 Z. Tang에 의한, "Estimation of image rotation angle using interpolation-related spectral signatures with application to blind detection of image forgery", IEEE Transactions on Information Forensics and Security, vol. 5, no. 3, pp. 507-517, 2010에 제안된 것과 같이 하나 또는 2개의 파라메타만을 계산한다. 다음 섹션에서 실행된 실험 결과는, 제안된 방법이 영상을 정합시키는데 있어서 특히 잡음 환경에서 적합함을 보여준다.

본 발명의 제 3 실시 예로부터의 실험 결과

512×512 바바라(Barbara) 및 레나(Lena) 영상에 대해 특정 실험을 실행하였고, 다시 5개 유형의 왜곡을 이용하여 29 원본 영상으로부터 도출된 779 왜곡 영상을 포함하는, LIVE 영상 품질 평가 데이터베이스 릴리스 2(H. R. Sheikh, Z. Wang, L. Cormack 및 A. C. Bovik에 의한, "LIVE image quality assessment database release 2", http://live.ece.utexas.edu/research/quality)를 이용하였다. 그 왜곡은, JPEG 압축, JPEG2000 압축, GWN, GBlur 및 레일리 FF 채널 모델을 포함한다. LIVE 영상 데이터베이스내의 779 왜곡 영상 모두에 대해 실험을 실행하였다. 본 발명의 제 3 실시 예의 제안된 방법을 위해 MATLAB 코드를 이용하였다.

표 6 및 표 7은 이동, 로테이션 및 스케일링 왜곡을 가지며 잡음이 추가된 레나 및 바바라 영상에 대한 실험 결과를 제공한다. 두 표에 있어서, 추정된 파라메타는 왜곡 영상을 생성했던 입력 왜곡 파라메타에 매우 근접하다. 또한, 본 제안 방법은 잡음 환경에서 매우 잘 실행되지만, σ_n = 100에서, SIFT는 매칭 키 포인트를 발견하지 못하며, SURE는 레나 영상에 대해 정확한 결과를 생성하지 못한다.

본 발명의 실시 예의 제안된 방법에 있어서 로테이션 각도의 정밀도는 포인트들의 수 L에 좌우됨을 알아야 한다. 본 시뮬레이션에서는, 라돈 변환의 로테이션 각도에 있어서 L =360 샘플 포인트를 이용하였다. 그러므로, 정밀도는 1도(0.0174 라디안과 동일)이다. 샘플 포인트들의 개수를 증가시킴에 의해 정밀도를 증가시킬 수 있지만, 이것은 계산 복잡도를 증가시킨다. 그러므로, 파라메타 정밀도와 계산 복잡도간에 트레이드 오프가 이루어진다.

표 8은, LIVE 데이터베이스내의 모든 왜곡 영상이 스케일링 계수 0.9, 로테이션 각도 0.1×180/π도, 수평 방향으로의 공간 시프트 4 화소 및 수직 방향으로의 4 화소에 의해 추가 왜곡되는 경우의 결과를 표로 나타낸다. 이 데이터베이스의 경우, 3가지 방법(제안된 방법, SIFT 및 SURE) 모두는 추가적인 잡음이 없으면 파라메타의 양호한 추정을 허용한다. 본 발명의 실시 예의 제안된 방법은, 표 6 및 7에 도시된 같이 이 데이터베이스에 있어서 영상에 잡음이 추가되면, SIFT 및 SURE보다 더 잘 실행된다고 추정된다.

표 9는 크기 512×512의 영상들의 하나의 페어를 정합시키기 위해 3 방법들과 연관된 실행 시간을 초단위로 목록화한 것이다. 본 발명의 실시 예의 본 제안 방법은 SURF보다는 시간을 덜 소모하고, SIFT보다는 더 많은 시간을 소모함을 알 수 있을 것이다. SIFT는 C로 작성되었으며, 따라서 MATLAB 구현보다 더 빠름을 알아야 한다. H. Bay, A. Ess, T. Tuytelaars 및 L. Van Gool에 의한, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), vol. 110, no. 3, pp. 346-359, 2008에 따르면, SIFT와 SURF가 MATLAB로 작성되었을 경우에, SIFT는 SURF만큼 빠르지 않다. 그러므로, 본 발명의 실시 예의 본 제안 방법은, SURF 및 SIFT보다 빠르다고 결론내릴 수 있다. 또한 본 제안 방법은 본 실험에서 나타난 바와 같이, 잡음 환경에서 SURF 및 SIFT보다 잘 실행된다.

표 6: 다른 잡음 레벨을 가진 이동되고(4,4), 회전되고(0.1라디안), 스케일링된(0.9) 레나 영상의 매칭 결과.

잡음 레벨	방법	이동	로테이션	스케일
잡음 레벨	원본	(4,4)	0.1000	0.9000
σ_n = 0	제안된 것	(4,4)	0.0873	0.8983
	SIFT	(4,4)	0.1001	0.9000
	SURE	(5,5)	0.0979	0.9076
σ_n = 50	제안된 것	(4,4)	0.0873	0.8982
	SIFT	실패	실패	실패
	SURE	(4,5)	0.1091	0.9081
σ_n = 100	제안된 것	(4,4)	0.0873	0.8981
	SIFT	실패	실패	실패
	SURE	(27,20)	0.5684	1.8512

표 7: 다른 잡음 레벨을 가진 이동되고(4,4), 회전되고(0.1 라디안), 스케일링된(0,9) 바바라 영상의 매칭 결과.

잡음 레벨	방법	이동	로테이션	스케일
잡음 레벨	원본	(4,4)	0.1000	0.9000
σ_n = 0	제안된 것	(4,4)	0.0873	0.8983
	SIFT	(4,4)	0.0998	0.9002
	SURE	(4,4)	0.0969	0.8993
σ_n = 50	제안된 것	(4,3)	0.0873	0.8982
	SIFT	(5,4)	0.1042	0.9078
	SURE	(4,4)	0.0989	0.8969
σ_n = 100	제안된 것	(4,3)	0.0873	0.8979
	SIFT	실패	실패	실패
	SURE	(4,4)	0.0935	0.8972

표 8: 스케일링 계수 0.9, 로테이션 각도 0.1×180/π도, 수평 방향으로 4 화소 및 수직 방향으로 4 화소의 공간 시프트에 의해 추가 왜곡되는 LIVE 영상 데이터베이스내의 모든 이미 왜곡된 영상에 대한 전체 추정된 파라메타.

방법	이동	로테이션	스케일
원본	(4,4)	0.1000	0.9000
제안된 것	(4,4)	0.1047	0.8980
SIFT	(4,4)	0.1000	0.9000
SURE	(4,5)	0.0998	0.9010

표 9: 크기 512×512의 영상의 하나의 페어를 정합시키기 위한 실행 시간으로서, SURF 및 제안된 것은 MATLAB 코드를 이용하였고, SIFT는 C 코드를 이용하였으며, H. Bay, A. Ess, T. Tuytelaars 및 L. Van Gool에 의한, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), vol. 110, no. 3, pp. 346-359, 2008에 따르면, SIFT와 SURF가 MATLAB를 이용한 경우, SIFT는 SURF보다 더 느려야 함.

	SURF	SIFT	제안된 것
초단위 시간	5.19	2.80	4.91

본 발명의 제 3 실시 예에 대한 대안은 아래와 같이 설명된 제 4 실시 예에 개시된다.

영상 전처리 시스템(130)의 제 4 실시 예는 제 3 실시 예의 개선된 버전으로서, 왜곡 영상을 회전시키고 크기 조정하는 다른 순서에 그 특징이 있다. 제 3 실시 예의 동작을 개괄하면, 왜곡 영상 Y는 우선 센터링되어 센터링된 영상 Y₁를 생성하고, 정규 영상 Y₂를 생성하는 기준 영상의 크기와 매칭되도록 크기 재조정(스케일링)된다. 로테이션 각도는 기준 영상 X와 정규 영상 Y₂의 라돈 변환의 각도들을 상관시킴에 의해 결정된다. 정규 영상 Y₂는 그의 배향이 기준 영상 X의 배향과 정렬되도록 회전됨으로써, 회전된 왜곡 영상Y₃이 생성되고, 최종적으로 회전된 왜곡 영상 Y₃은 수평 및 수직적으로 이동되어, 기준 영상 X와 정렬되며, 그에 의해 정합 영상 Y^*이 생성된다.

중요한 것은, 제 4 실시 예는, 라돈 변환을 계산하기 전에 왜곡 영상 Y를 스케일링하는 대신에, 제 4 실시 예에서는 라돈 변환이 계산되기 전에, 왜곡 영상 Y의 크기와 매칭되도록 기준 영상 X가 스케일링되고, 로테이션 및 이동이 실행된 후의 종료 시점에 왜곡 영상의 필요한 크기 조정이 실행된다는 점이 다르다는 것이다.

설명을 쉽게 하기 위해, 제 3 실시 예의 일부 변수들의 이름이 제 4 실시 예에서 다시 이용되었음을 알아야 한다.

도 23에는 도 1의 영상 전처리 시스템(130)의 제 4 실시 예인 개선된 라돈 변환 기반 영상 정렬 시스템(2300)의 블럭도가 도시되며,그 시스템은:

스케일 계수 "a"를 결정하는, 도 15의 스케일링 계수 추정 모듈(1502);

도 15의 영상 마스킹 모듈(1504)과, 중심 계산 모듈(1506)과, 영상 센터링 모듈(1508)을 포함하는, 센터링된 영상 Y1을 생성하는 선택적 센터링 모듈(2305);

기준 영상 X를 스케일 계수 "a"의 역에 의해 크기 조정된 기준 영상 X₂로 스케일링하는 영상 프리스케일링(prescaling) 모듈(2310);

각각 크기 조정된 기준 영상 X₂와 센터링된 영상 Y₁의 라돈 변환 R1 및 R2를 생성하는 라돈 변환 모듈(1512)과, 라돈 변환 R1 및 R2로부터 각도를 추정하고, 그 각도로부터 시프트 효과를 제거하고, 로테이션 각도 "θ₀"를 결정하는 라돈 각도 추정 블럭(2320)을 포함하는 제 2 라돈 각도 결정 유닛(2315);

기준 영상 X로부터 측방향으로 오프셋될 수 있는 회전된 왜곡 영상 Y₃을 형성하기 위해 센터링된 영상 Y₁를 로테이션 각도 "θ₀"만큼 회전시키는 도 15의 영상 로테이션 모듈(1518);

회전된 왜곡 영상 Y₃과 크기 조정된 기준 영상 X간의 오프셋 벡터 "TV"가 결정되는 도 15의 이동 추정 모듈(1520);

보상된 영상 Y₄를 생성하기 위해 회전된 왜곡 영상 Y₃에 오프셋 벡터 "TV"가 적용되는 도 15의 영상 이동 모듈(1522);

기준 영상 X를 크기 조정하고 정합 영상 Y^*를 생성하기 위해 보상된 영상 Y₄을 스케일 계수 "a"로 스케일링하는 영상 스케일링 모듈(2330)을 포함한다.

개선된 라돈 변환 기반 영상 정렬 시스템(2300)에 이용된 모듈 1502, 1512, 1518, 1520 및 1522는 도 15의 제 1 라돈 변환 기반 영상 정렬 시스템(1500)에서와 동일한 기능을 가지지만, 그들의 입력 및 출력 데이터는 변경된다.

개선된 라돈 변환 기반 영상 정렬 시스템(2300)의 정합 영상 Y^*을 생성하기 위해 영상 X의 프리스케일링을 담당하는 모듈(2310)과 영상 Y₄의 최종 스케일링을 담당하는 모듈(2330)은 변경된 토폴로지에 적합하다.

도 15의 영상 마스킹 모듈(1504), 중심 계산 모듈(1506) 및 영상 센터링 모듈(1508)을 포함하고 동일한 기능을 가진 모듈(2305)은 개선된 라돈 변환 기반 영상 정렬 시스템(2300)에 있어서 선택적이다. 영상 센터링 모듈의 기능은 영상 X를 프리스케일링하기 전에 영상 X를 센터링하는데 이용될 수 있다.

개선된 라돈 변환 기반 영상 정렬 시스템(2300)의 변형에 있어서, 도 14의 구축 블럭들이 다르게 어셈블링될 수 있다. 예를 들어, 로테이션 각도를 결정하기 위한 목적으로, X를 프리스케일링하는 대신에, 센터링된 영상 Y₁을 프리스케일할 수 있다.

도 24에는 개선된 라돈 변환 기반 영상 정렬 시스템(2300)의 모듈들에서 예시적으로 설명될 수 있는 제 2 라돈 변환 기반 방법(2400)이 도시되는데, 그 방법은,

2410 "스케일링 계수를 추정";

2420 "마스크 생성";

2430 "영상 센터링";

2440 "기준 영상 X을 크기 조정하여 크기 조정된 기준 영상 X₂의 생성";

2450 "로테이션 각도 추정";

2460 "왜곡 영상 회전";

2470 "이동 추정";

2480 "영상 이동"; 및

2490 "왜곡 영상 크기 조정"을 포함한다.

기준 영상 X와 왜곡 영상 Y가 동일한 개수의 화소를 가지지 않으면, 이전에 설명한 "패드 영상을 제로화"하는 단계(310)에서 보다 작은 영상 주위에 제로들을 패딩한다. 지금부터, X 및 Y를 X 및 Y의 제로 패딩 버전이라 지칭할 것이다.

도 16의 단계(1610)와 등가인, "스케일링 계수를 추정"하는 단계(2410)에서는, 스케일링 계수 "a"가 상술한 바와 같이 결정된다.

"마스크 생성" 단계(2420)와 왜곡 영상 Y를 센터링하는 "영상 센터링" 단계(2430)(각각 제 1 라돈 변환 기반 방법(1600)의 도 16의 단계(1620) 및 (1630)과 등가임)는 제 2 라돈 변환 기반 방법(2400)에서는 선택적이며, 여기에서는 필요치 않을 수 있는데, 그 이유는 보다 강력한 라돈 변환 동작이 이용되기 때문이다. 그러나, 영상의 궁극적인 로테이션이 많은 화소의 상실로 결과하면(프레임 밖에 놓이면), 파라메타 추정이 보다 덜 정확해질 것이다. 그러므로, 강력성의 증가를 위해, 왜곡 영상 Y을 센터링된 영상 Y₁으로 전환하도록 중심을 계산하고 영상을 정렬시키도록 선택할 수 있다. 유사하게, 본 명세서에는 도시되지 않았지만, 기준 영상 X가 또한 선택적으로 센터링될 수 있다.

"기준 영상 X을 크기 조정하여 크기 조정된 기준 영상 X₂를 생성"하는 단계(2440)에서는 계산된 스케일링 계수 "a"의 역인 1/a가 이용되어, 기준 영상 X로부터 크기 조정된 기준 영상 X₂가 생성됨으로써, 왜곡 영상 Y와 동일한 스케일을 가지게 된다. 이 단계는 로테이션 각도의 추정에 바람직하다. 크기 조정된 영상을 X₂(m,n)=X(m*a,n*a)로서 나타내자.

"로테이션 각도 추정" 단계(2450)에 있어서, 기준 영상 X와 왜곡 영상 Y₁간의 로테이션 각도 "θ₀"는 크기 조정된 기준 영상 X₂와 왜곡 영상 Y₁의 라돈 변환 R1 및 R2의 출력들의 상관으로부터 추정된다.

도 25에는 "로테이션 각도 추정" 단계(2450)의 확장이 도시되며, 그 단계는

2510 "강한 라돈 변환 계산";

2520 "R3을 생성하기 위해 R1 및 R2의 1D 순방향 FFFT를 계산";

2530 "R4를 생성하기 위해 R3에 1D 역 FFT 적용";

2540 "R4의 각 로우에 있어서 최대값에 대한 인덱스 계산"; 및

2550 "최대값들의 평균으로부터 θ₀를 계산"하는 것을 포함한다.

"강한 라돈 변환 R1 및 R2의 계산" 단계(2510)에 있어서, 크기 조정된 기준 영상 X2 및 센터링된 영상 Y1(또는 단계 1620 및 1630에서 영상의 센터링이 스킵되었다면, 그 대신에 왜곡 영상 Y)에 대해 라돈 변환 R1 및 R2가 각각 계산된다. 2D 이산 함수 A(x,y)의 라돈 변환은 A. Averbuch, R.R. Coifman, D. L. Donoho, M. Israeli, Y. Shkolnisky 및 I. Sedelnikov에 의한, "A framework for discrete integral transformations II - the 2D discrete Radon transform", SIAM Journal on Scientific Computing, 30(2):785-803, 2008을 따르는 수학식 (29)에 의해 정의된다.

(29)

여기에서, δ()은 디락 델타 함수이다.

Averbuch등에 따라, 각각 R1(r,θ) 및 R2(r,θ)로 나타낸 X₂ 및 Y(또는 센터링이 스킵된 적이 없으면 Y₁)의 이산 라돈 변환이 실행될 수 있으며, 그 둘 모두는 K×L의 크기를 가진다.

R1(r,θ) 및 R2(r,θ)에 대해 r 방향을 따라 1D FFT를 취할 수 있으며, 결과하는 메트릭의 크기를 취할 수 있다. 이것은 각도 θ를 가진 라인을 따르는 시프트를 제거할 것이다. 예를 들어, 로테이션의 위치가 (x0,y0)이면, 각도 θ를 가진 라인상의 공간 시프트는 다음과 같이 될 것이다.

b = x0 cos(θ) + y0 sin(θ)

이 라인을 따라 FFT를 취하고 크기를 획득함에 의해, 추후에 시프트 b를 제거할 수 있게 된다. 이에 따라 로테이션 각도 및 글로벌 공간 시프트의 정확성이 개선될 것이다.

두 영상(크기 조정된 기준 영상 X₂ 및 왜곡 영상 Y 또는 그의 센터링된 버전 Y₁)이 그들간의 로테이션 및 가능한 잡음을 제외하고는 동일하거나 적어도 매우 유사하다는 전제에 기초하여, θ 방향을 따르는 순환 시프트를 제외하고, 그들의 라돈 변환

및

은 실질적으로 동일, 즉,

하게 된다. 순환 상호 상관은 θ₀을 계산하는데 이용될 수 있지만, 이것은 시간 소모적이며, O(KL²)의 계산 복잡성을 가지는데 이는, R₁ 및 R₂의 모든 로우에 대해, R₂를 순환적으로 시프트하고 두 로우들간의 상호 상관을 계산할 필요가 있기 때문이다. 이것은 O(KL²)의 계산 복잡도를 가진다. 전체적으로 K개의 로우가 있기 때문에, 전체 계산 복잡도는 O(KL²)이다.

보다 효율적인 대안으로서, O(KLlogL)의 계산 복잡도를 가지는 1차원(1D) FFT를 대신 이용할 수 있다.

FFT에 의해 상호 상관을 계산하는 방법은, 제 4 실시 예의 바람직한 방법의 기초가 되며, 제 3 실시 예에서 이용된 것과 동일하지만(상술한 단계 1660의 설명을 참조), 상술한 시프트 효과의 제거에 의해 그것이 증가된다.

상술한 것에 기초하여, O(KLlogL)의 계산 복잡성을 가진 고속 상호 상관을 이용하여 θ₀을 발견한다.

R₁ 및 R₂의 m번째 로우를 r₁(n) 및 r₂(n)이라 하자. 여기에서, n∈[l,L]이다. 상호 상관이 최대인, 즉, 2개의 로우 r₁(n) 및 r₂(n)가 가장 잘 매칭되는 오프셋을 찾고자 한다.

"R3을 생성하기 위해 R1 및 R2의 1D 순방향 FFT를 계산"하는 단계(2520)에 있어서, 1D 순방향 FFT가 로우 r₁(n) 및 r₂(n)의 각각에 대해 실행되어, 제 1 중간 결과 R3 = r₃(u)를 생성한다.

여기에서, "conj"는 복소 공액을 나타내고,

은 성분별 곱을 나타낸다.

"R4을 생성하기 위해 R3에 1D 역 FFT를 적용"하는 단계(2530)에 있어서, 1D 역 FFT가 r₃(n)에 적용된다. 즉, 제 2 중간 결과 R4 = r₄(u) = IFFT(r₃(u))가 계산된다. 제 2 중간 결과 R4는 라돈 변환 R1 및 R2의 로우들의 조합들간의 상호 상관 값들의 벡터를 구성한다.

"R4의 각 로우에 있어서 최대값에 대한 인덱스를 계산"하는 단계(2540)에 있어서, 획득된 제 2 중간 결과 R4 = r₄(n)의 모든 로우에 대해 최대값의 위치 인덱스 θ*(m)는 다음과 같다.

"최대값의 평균으로부터 θ₀를 계산"하는 단계(2550)에 있어서, 이들 최대값들의 평균을 θ₀ = median(θ*(m))로서 취한다.

이하의 MATLAB 코드 샘플 3은 로테이션 각도의 추정을 구현한다.

도 24의 설명을 참조하면, "왜곡 영상을 회전"시키는 단계(2460)에 있어서, 왜곡 영상 Y는 -θ도 만큼 회전되어, 배향 차이를 보상한다. 로테이션의 결과는 회전된 왜곡 영상 Y₃이다.

"이동을 추정"하는 단계(2470)에 있어서, 크기 조정된 기준 영상 X₂와 정렬될 회전된 왜곡 영상 Y₃의 필요한 이동은 X₂ 및 Y₃의 함수로서 결정된다.

이동의 경우, G. Varghese 및 Z. Wang에 의한 "Video denoising based on a spatiotemporal Gaussian scale mixture model", IEEE Transactions on Circuits and Systems for Video Technology, vol. 20, no. 7, pp. 1032-1040, 2010에 제안된 글로벌 움직임 보상(MC) 방법을 선택할 수 있는데, 그 방법은 정수 화소 정밀도를 제공하는, 간단하고 빠르며 신뢰성있는 방법이다.

Y₃(m,n)을 로테이션이 보상된 영상이라 하고, X₂(m,n)를 스케일링된 기준 영상이라 하자. 또한,

(30)

(40)

그러면, 다음과 같이 수학식 (32)에서 고속 상호 상관(FC) 함수를 정의할 수 있다.

(32)

여기에서, IFFT₂는 역 2D 퓨리에 변환이고, conj는 복소 공액이며, 심볼

은 성분별 곱을 나타낸다. 추정 움직임 벡터(이동 벡터)는 다음과 같이 수학식 (33)에서 주어진다.

(33)

"영상을 이동"시키는 단계(2480)에 있어서, 계산된 이동 벡터는 회전된 왜곡 영상 Y₃에 적용되어, 이동을 보상하고 이동된 영상 Y₄를 생성한다. 이 함수는 형식적으로

으로 표시된다.

"왜곡 영상을 크기 조정"하는 단계(2490)에 있어서, 기준 영상 X와 동일한 스케일을 갖도록 이동된 영상 Y₄를 크기 조정하기 위해 계산된 스케일링 계수 a를 이용함으로써, 이동, 로테이션 및 스케일링을 보상한 최종 영상, 즉, 정합 영상 Y^*을 획득한다. 이 함수를 형식적으로

로서 나타낸다. 도 23에 도시된 본 발명의 제 4 실시 예의 시스템은, 부분적으로 라돈 변환을 위해 이용된 프로세스 때문에 매우 강력하며, 제 3 실시 예의 시스템과 대조적으로, 임의 로테이션 각도에 잘 작용한다.

도 26에는, 검증을 위해 구현된 영상 정렬 시스템(100)의 실시 예의 조합된 블럭도(2600)가 도시되며, 그 시스템은 CPU(2604), 네트워크 I/O 시스템, 명령 인터페이스(2608)를 구비하는 프로세서(2602)와; 프로세서에 의한 실행을 위해 컴퓨터 독출 가능 명령이 저장된 메모리, DVD, CD-ROM등과 같은 비-일시적 컴퓨터 독출 가능 저장 매체 형태의 컴퓨터 메모리(2610); 및 영상 정렬 시스템(100)에 의한 처리를 위한 기준 영상 및 테스트 영상을 포함하는 영상 데이터베이스(2612)를 포함한다. 컴퓨터 메모리(2610)에 저장된 컴퓨터 독출 가능 명령은 본 발명의 실시 예들 중 적어도 하나, 특히, 아핀 변환 기반 영상 정렬 시스템(200.1); 대안적인 아핀 변환 기반 영상 정렬 시스템(200.2); 제 1 라돈 변환 기반 영상 정렬 시스템(1500); 및 개선된 라돈 변환 기반 영상 정렬 시스템(2300)을 구현하기 위한 소프트웨어 모듈을 포함한다. 컴퓨터 메모리(2610)는 본 발명의 실시 예의 구현에 이용되었던, 예를 들어 MATLAB 환경(2618)과 같은 소프트웨어 라이브러리(2614)와 영상 평가 프로세스(160)와 같은 영상 평가 프로그램(2614)의 저장을 포함한다.

도 26에는, 본 발명의 다른 실시 예의 개별적 모듈들이 모듈들의 오버랩 그룹으로서 도시되는데, 예를 들어, 아핀 변환 기반 영상 정렬 시스템(200.1)과 대안적인 아핀 변환 기반 영상 정렬 시스템(200.2)은 모듈 230, 240, 250, 260 및 270을 공유하고, 아핀 변환 기반 영상 정렬 시스템(200.1)은 모듈 220과 280을 추가 포함하며, 대안적인 아핀 변환 기반 영상 정렬 시스템(200.2)은 공유된 모듈에 추가하여 모듈 290을 포함한다. 유사하게, 제 1 라돈 변환 기반 영상 정렬 시스템(1500)과 개선된 라돈 변환 기반 영상 정렬 시스템(2300)은 모듈들의 그룹, 즉, 1502, 1512, 1518, 1520 및 1522를 공유하고, 제 1 라돈 변환 기반 영상 정렬 시스템(1500)은 모듈 1504, 1506, 1508, 1510 및 1516을 추가로 이용하고, 개선된 라돈 변환 기반 영상 정렬 시스템(2300)은 공유된 모듈에 추가하여 모듈 2305, 2310, 2320 및 2330을 포함한다.

본 발명의 실시 예는, 멀티-코어 CPU일 수 있는 CPU와, CPU에 의해 실행될 때, 상술한 시스템들의 모듈을 형성하는 컴퓨터 독출 가능 명령어가 저장되는, 메모리, DVD, CD-ROM, 플로피, 자기 테이프 또는 다른 저장 매체와 같은 컴퓨터 독출 가능 매체를 가진 범용 또는 전용 컴퓨터를 포함한다. 대안적으로, 도 2a, 2b, 15 및 23의 시스템들은 전용 하드웨어; 또는 CPU에 의해 실행될 때, 상술한 시스템들의 모듈을 형성하는 컴퓨터 독출 가능 명령어가 저장되는 컴퓨터 독출 가능 저장 매체를 가진 전용 컴퓨터와 펌웨어의 조합을 포함할 수 있다. 도 2a, 2b, 15 및 23의 시스템의 각 모듈은 펌웨어; 또는 대안적으로, 도 26에 도시된 바와 같이 프로세스에 의한 실행을 위한 컴퓨터 독출 가능 저장 매체에 저장된 컴퓨터 독출 가능 명령어를 포함할 수 있다.

결론적으로, 본 발명은 왜곡 영상을 기준 영상과 정합시키는 작용 및 보다 정확한 시각 품질 평가를 제공하는데 이용될 수 있는, 왜곡 영상을 기준 영상과 정렬시키기 위한 왜곡 영상을 전처리하는 개선된 시스템 및 방법을 제공한다.

비록, 본 발명의 실시 예사 세부적으로 설명되었지만, 당업자라면 그 실시 예에 대한 변형 및 수정이 이하의 청구항들의 범주내에서 이루어질 수 있음을 알 것이다.

Claims

왜곡 영상 Y을 기준 영상 X과 정렬되는 정합 영상 Y^*으로 처리하는 영상 정합 방법으로서,
(a) 기준 영상 X과 왜곡 영상 Y간의 스케일 계수 "a"를 결정하고;
(b) 기준 영상 X을 스케일 계수 "a"의 역(inverse)으로 크기 조정함으로써 크기 조정된 기준 영상 X2을 생성하고;
(c) 크기 조정된 기준 영상 X2와 왜곡 영상 Y간의 로테이션 각도 "θ₀"를 결정하고;
(d) 왜곡 영상 Y을 로테이션 각도 "-θ₀"만큼 회전시켜, 회전된 왜곡 영상 Y3을 생성하고;
(e) 회전된 왜곡 영상 Y3을 스케일 계수 "a"로 크기 조정함에 의해, 정합 영상 Y*을 획득하는 것을 포함하는,
영상 정합 방법.
제 1 항에 있어서,
상기 단계 (a)는 기준 영상 X의 화소 값들의 합과 왜곡 영상 Y의 화소 값들의 합간의 비율을 계산함에 의해 스케일 계수 "a"를 결정하는 것을 포함하는
영상 정합 방법.
제 1 항 또는 제 2 항에 있어서,
상기 단계 (a)는 상기 기준 영상 X와 상기 왜곡 영상 Y의 수평 및 수직 치수(m 및 n)를 동일하게 하기 위하여 상기 기준 영상 X와 상기 왜곡 영상 Y 중 보다 작은 것을 영가 화소(zero-valued pixel)로 패딩(padding)하는 것을 더 포함하는
영상 정합 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 단계 (c)는 상기 왜곡 영상 Y를 센터링(centering)하여 센터링된 왜곡 영상 Y1을 형성하고, 상기 크기 조정된 기준 영상 X2와 상기 센터링된 왜곡 영상 Y1간의 로테이션 각도 "θ₀"의 결정을 실행하는 것을 더 포함하는
영상 정합 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 단계 (c)는 상기 크기 조정된 기준 영상 X2 및 왜곡 영상 Y의 라돈 변환 R1 및 R2를 각각 형성하고, 상기 라돈 변환 R1 및 R2을 이용하여 로테이션 각도 "θ₀"를 결정하는 것을 포함하는
영상 정합 방법.
제 4 항 또는 제 5 항에 있어서,
상기 단계 (c)는 크기 조정된 기준 영상 X2 및 센터링된 왜곡 영상 Y1의 라돈 변환 R1 및 R2를 각각 형성하고, 상기 라돈 변환 R1 및 R2의 로우(row)들의 상호 상관을 계산하여 로테이션 각도 "θ₀"를 결정하는 것을 포함하는
영상 정합 방법.
제 5 항 또는 제 6 항에 있어서,
상기 라돈 변환 R1 및 R2의 로우(row)들의 상호 상관을 계산하여 로테이션 각도 "θ₀"를 결정하는 것은,
(ⅰ) 라돈 변환 R1의 각 로우들과, 라돈 변환 R2의 각 로우들 간의 순환 상호 상관들의 세트(a set of circular cross-correlations)를 계산하고 - 각 순환 상호 상관은 각 로우들간의 로테이션 오프셋 각도(rotational offset angle) "θ"을 정의함 - ;
(ⅱ) 각 로우마다 가장 높은 값을 가진 순환 상호 상관을 선택하고;
(ⅲ) 각 로우에 대하여 각각의 선택된 순환 상호 상관에 의해 정의된 로테이션 오프셋 "θ"을 결정하고, 로테이션 각도 "θ₀"를, 상기 결정된 로테이션 오프셋들 "θ"의 평균과 동일하도록 설정하는 것을 포함하는
영상 정합 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 정합 영상 Y^*에 대해 시각 품질 평가를 실행하는 것을 더 포함하는
영상 정합 방법.
왜곡 영상 Y을 기준 영상 X과 정렬시킴에 의해 왜곡 영상 Y을 상기 정합 영상 Y^*으로 처리하는 시스템으로서,
프로세서;
상기 프로세서에 의한 실행을 위한 컴퓨터 독출 가능 명령어들이 저장된 컴퓨터 독출 가능 저장 매체를 포함하고,
컴퓨터 독출 가능 명령어는,
기준 영상 X과 왜곡 영상 Y간의 스케일 계수 "a"를 결정하는 스케일 계수 추정 모듈;
기준 영상 X과 왜곡 영상 Y간의 로테이션 각도 "θ₀"를 추정하는 로테이션 각도 결정 모듈;
회전된 왜곡 영상 Y3을 형성하기 위해 왜곡 영상 Y를 로테이션 각도 "-θ₀"만큼 회전시키는 영상 로테이션 모듈; 및
정합 영상 Y^*를 생성하기 위해 회전된 왜곡 영상 Y3을 크기 조정하는 영상 스케일링 모듈을 형성하는
시스템.
제 9 항에 있어서,
센터링된 영상 Y1을 생성하는 선택적 센터링 모듈을 더 포함하며, 상기 로테이션 각도 결정 모듈은 상기 기준 영상 X와 상기 센터링된 영상 Y1간의 로테이션 각도 "θ₀"을 추정하도록 구성되는
시스템.
제 9 항 또는 제 10 항에 있어서,
상기 기준 영상 X를 스케일 계수 "a"의 역에 의해 크기 조정된 기준 영상 X2로 스케일링하는 영상 프리스케일링(prescaling) 모듈을 더 포함하며, 상기 로테이션 각도 결정 모듈은 상기 크기 조정된 기준 영상 X2와 상기 센터링된 영상 Y1간의 로테이션 각도 "θ₀"을 추정하도록 구성되는
시스템.
제 11 항에 있어서,
상기 로테이션 각도 결정 모듈은 상기 크기 조정된 기준 영상 X2와 상기 왜곡 영상 Y의 각각의 라돈 변환 R1 및 R2를 형성하고, 상기 라돈 변환 R1 및 R2를 이용하여 로테이션 각도 "θ₀"을 결정하도록 구성되는
시스템.
제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
회전된 왜곡 영상 Y3과 기준 영상 X간의 오프셋 벡터 "TV"를 결정하는 이동 추정 모듈과,
상기 오프셋 벡터 "TV"를 이용하여 정합 영상 Y^*을 생성하기 위해 회전된 왜곡 영상 Y3을 이동시키도록 구성되는 영상 이동 모듈을 더 포함하는
시스템.
제 9 항 내지 제 13 항 중 어느 한 항에 있어서,
정합 영상 Y^*에 대해 시각 품질 평가를 실행하는 영상 평가 모듈 프로세스 모듈을 더 포함하는
시스템.
제 14 항에 있어서,
상기 영상 평가 모듈 프로세스 모듈은 PSNR(peak signal-to-noise ratio)을 결정하고; SSIM 인덱스를 계산하고; VIF 인덱스를 계산하는 것 중 어느 하나에 의해 시각 품질 평가를 실행하도록 구성되는
시스템.