KR100570630B1 - 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법 - Google Patents

복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법 Download PDF

Info

Publication number
KR100570630B1
KR100570630B1 KR1020040016274A KR20040016274A KR100570630B1 KR 100570630 B1 KR100570630 B1 KR 100570630B1 KR 1020040016274 A KR1020040016274 A KR 1020040016274A KR 20040016274 A KR20040016274 A KR 20040016274A KR 100570630 B1 KR100570630 B1 KR 100570630B1
Authority
KR
South Korea
Prior art keywords
image
images
resolution
values
interpolated
Prior art date
Application number
KR1020040016274A
Other languages
English (en)
Other versions
KR20050090920A (ko
Inventor
유-콴 교
치엔-유 첸
치오우-샨 후
차오-양 카오
Original Assignee
인벤텍 어플라이언시스 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인벤텍 어플라이언시스 코퍼레이션 filed Critical 인벤텍 어플라이언시스 코퍼레이션
Priority to KR1020040016274A priority Critical patent/KR100570630B1/ko
Publication of KR20050090920A publication Critical patent/KR20050090920A/ko
Application granted granted Critical
Publication of KR100570630B1 publication Critical patent/KR100570630B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 반복법을 기초로 하고, 제시된 초기 보간, 로버스트 영상 등록 및 자동화 영상 선택을 채용하는 개량된 초해상도 알고리듬과, 추가의 영상 향상 후처리로 해상도 향상 영상을 재구성하는 방법을 제공한다. 본 발명의 방법에 따르면, 움직이는 피사체와 관련된 저해상도 영상 시퀀스에 의해서 뿐만 아니라 정적 장면과 관련된 저해상도 영상 시퀀스에 의해서도 해상도 향상 영상의 재구성이 신속하게 이루어질 수 있다.
반복법, 초기 보간, 영상 등록, 알고리듬, 재구성, 피사체, 영상 시퀀스

Description

복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을 생성하는 방법{METHOD FOR PRODUCING ENHANCED-RESOLUTION IMAGE BY USE OF A PLURALITY OF LOW-RESOLUTION IMAGES}
도 1은 본 발명에 따른 방법의 작업 흐름을 보여주는 흐름도.
도 2a 및 도 2b는 3차 보간법을 사용하여 P값을 계산하는 것을 보여주는 개략적인 선도.
도 3은 본래의 영상과 재구성 영상 사이의 최대 신호 대 잡음비(Peak Signal-to-Noise Ratio: PSNR)에 의하여 서로 다른 차수의 보간법의 성능을 평가하는 것을 보여주는 도면.
도 4a는 로컬 매칭 기법(local matching technique)을 이용한 영상 등록을 개략적으로 보여주는 도면.
도 4b는 글로벌 매칭 기법(global matching technique)을 이용한 영상 등록을 개략적으로 보여주는 도면.
도 5a 내지 도 5d는 본 발명에 따른 제1 케이스의 해상도 향상 영상의 재구성에 관한 결과를 보여주는 도면.
도 6a 내지 도 6d는 본 발명에 따른 제2 케이스의 해상도 향상 영상의 재구성에 관한 결과를 보여주는 도면.
도 7은 반복 회수가 증가함에 따른 제2 케이스에 관한 PSNR을 보여주는 도면.
도 8a 내지 도 8d는 본 발명에 따른 제3 케이스의 해상도 향상 영상의 재구성에 관한 결과를 보여주는 도면.
본 발명은 영상 처리 방법에 관한 것으로, 보다 구체적으로 말하자면 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상(enhanced-resolution image)을 생성하는 방법에 관한 것이다. 본 발명의 배경 기술에 관해서는 다음의 인용 문헌을 참조하라.
[1] 1991년 CVGIP: Graphical Models and Image Proc. 53권 231 - 239면, 엠. 이라니(M. Irani) 및 에스. 펠렉(S. Peleg) 저, "영상 등록에 의한 해상도의 향상(Improving Resolution by Image Registration)",
[2] 1984년 코네티컷 그린위치 소재, 자이 프레스사(Jai Press) 발행, Advances in Computer and Image Processing, 제1권{티. 에스. 후앙(T. S. Huang) 편집}, 317면 - 339면, 알. 와이. 차이(R. Y. Tsai) 및 티. 에스. 후앙(T. S. Huang) 저, "다중 프레임 영상의 복원 및 등록(Multiframe Image Restoration and Registration)"
[3] 1994년 NASA Technical Report FIA-94-12, 피. 치즈만(P. Cheeseman), 비. 카네스프키(B. Kanesfky), 알. 크루프트(R. Kruft), 제이. 스투쯔(J. Stutz) 및 알. 핸슨(R. Hanson) 저 "다중 영상으로부터의 초분해 표면 재구성(Super-Resolved Surface Reconstruction from Multiple Images)"
[4] 1992년 캘리포니아 샌프란시스코에서 개최된 음향, 음성 및 신호 처리에 대한 IEEE 국제 회의(IEEE International Conference on Acoustics, Speech, and Signal Processing), Ⅲ권, 169 - 172면, A. M. Tekalp, M. K. Ozakan 및 M. I. Sezan 저, "저해상도 영상 시퀀스 및 공간 변화 영상 복구를 위한 고해상도 영상 재구성(High-Resolution Image Reconstruction for Lower-Resolution Image Sequences and Space-Varying Image Restoration)"
[5] 애디슨-윌리사(Addison-Wesley) 발행, 알. 씨. 곤잘레즈(R. C. Gonzalez) 및 알. 이. 우드(R. E. Wood) 저, " 디지털 영상 처리(Digital Image Processing)"
[6] 2001년, 뉴욕 소재, 윌리사(Wiley) 발행, 더블유. 케이. 프라트(W. K. Pratt) 저, "디지털 영상 처리(Digital Image Processing)" 제2판
[7] 미국 특허 제6,330,344호
[8] 미국 특허 제5,969,848호
환경적 제약 및 영상 센서의 해상도로 인하여, 때로는 낮은 해상도의 영상만을 얻을 수밖에 없다. 인간의 눈으로 보이는 화질 및 해상도를 향상시키기 위해서는 2 이상의 입력 영상이 필요하다. 영상 시퀀스를 이용하여, 나쁜 화질의 흐릿한 장면(blurring scene), 희미한 그림(dim figure) 또는 뚜렷하지 않은 피사체를 해상도가 향상된 출력 영상으로 재구성할 수 있고, 그러면 쉽게 관찰되고 인식될 수 있다.
저해상도의 영상을 이용하여 해상도 향상 영상을 재구성하는 것에 관한 종래의 연구는 주로 [1] 반복법(iterative methods), [2] 주파수 도메인법(frequency domain methods) 및 [3] 베이지안 통계 분석법(Bayesian statistical method)으로 구분된다. 지금까지는 전술한 방법들 중, [1] 1991년 이라니(Irani)에 의해 개발되어 주로 영상 등록(image registration)에 의하여 해상도 향상 영상을 재구성하는 반복 알고리듬이 해상도 향상 영상의 재구성에 관한 종래 기술 중 여전히 가장 신뢰성이 있다. 반복법은 주로 3가지 단계, 즉 초기 추정(initial guess), 촬상 공정(imaging process) 및 재구성 공정(reconstruction)으로 이루어진다. 반복법의 이들 3가지 단계는 본 발명의 상세한 설명에서 상세히 설명될 것이다.
그러나, 상기 반복법은 이 반복법에서 미리 결정되는 증폭 인자(magnification factor)가 커질수록, 즉 재구성된 영상의 크기가 커질수록 더 많은 계산 시간을 소비하게 된다는 것이 알려져 있다. 전형적으로, 반복법에 의한 영상 재구성의 런타임(runtime)은 수 시간 정도로서 컴퓨터 시스템의 성능에 좌우된다.
그러므로, 본 발명의 목적은 이라니의 반복법(Irani's interative method)을 기초로 하고 적절한(well-suggested) 초기 보간, 자동 영상 선택 및 로버스트 영상 등록(robust image registration)을 이용하는 개량된 해상도 향상 알고리듬으로 해상도 향상 영상을 재구성하는 방법을 제공하는 것이다. 또한, 본 발명에 의하여 재구성되는 해상도 향상 영상에 대해서는 화질의 향상을 위하여 영상 향상 후처리(image enhancement post-process)가 수행될 수 있다.
반면, 종래의 해상도 향상 영상의 재구성 시스템은 전체 장면에 관하여 일정한 변위로 정적 카메라(stationary camera)를 이동시킴에 의해서 저해상도 영상 시퀀스가 포착되는 경우에만, 즉 재구성될 필요가 있는 목표가 정적 장면과 관련이 있는 경우에만 양호하게 작동한다. 그러므로, 본 발명의 다른 한 가지 목적은 재구성될 필요가 있는 목표가 정적 장면(stationary scene)과 관련이 있는 상태에 대해서 뿐만 아니라 재구성될 필요가 있는 목표가 움직이는 피사체(moving object)와 관련이 있는 상태에 대해서도 양호하게 작동하는 화상 향상 영상의 재구성 방법을 제공하는 데 있다.
본 발명의 목적은 개량된 해상도 향상 알고리듬으로 해상도 향상 영상을 재구성하는 방법을 제공하는 것이다. 또한, 본 발명의 방법은, 반복법을 기초로 하여, 적절한 초기 보간(initial interpolation), 자동 영상 선택 및 로버스트 영상 등록을 이용한다. 또한, 본 발명에 의하여 재구성되는 해상도 향상 영상에 대해서는 화질의 향상을 위하여 영상 향상 후처리가 수행될 수 있다.
본 발명의 다른 한 가지 목적은 재구성이 필요한 목표가 정적 장면과 관련이 있는 상태에 대해서 뿐만 아니라 재구성이 필요한 목표가 움직이는 피사체와 관련이 있는 상태에 대해서도 양호하게 작동하는 해상도 향상 영상 재구성 방법을 제공 하는 것이다.
본 발명의 바람직한 실시예에 따르면, 해상도 향상 영상을 재구성하기 위하여 저해상도의 M 개의 제1 영상이 사용된다. 상기 저해상도의 M 개의 제1 영상은 장면과 관련된다. 상기 M 개의 제1 영상의 각 영상은 균일하게 샘플링 및 양자화(量子化)된 픽셀 세트에 의하여 표현된다. 상기 해상도 향상 영상과 상기 M 개의 제1 영상의 각 영상과의 사이에는 소정의 증폭 인자(magnification factor) 관계가 존재한다. 우선, 상기 M 개의 제1 영상을 저장한다. 그 후, M 개의 제1 영상 중 하나를 프로토타입 영상(prototype image)으로 선택하고, 선택되지 않은 (M-1)개의 제1 영상들을 (M-1) 개의 제2 영상으로 삼는다. 상기 증폭 인자를 기초로 하여, 잉여 픽셀들(extra pixels)을 프로토타입 영상의 픽셀 세트로 보간하고, 그 후 각 잉여 픽셀의 값을 그것의 이웃 픽셀의 값에 따라 계산하여 보간된 프로토타입 영상을 생성한다. 상기 (M-1) 개의 제2 영상의 각 영상과 상기 보간된 프로토타입 영상 사이에 각각 존재하는 개별적인 변환값(translations)도 또한 계산한다. 상기 (M-1) 개의 제2 영상을 각각 증폭 인자로 나누어 (M-1) 개의 제2 영상의 변환값에 대한 계수(modulus)를 얻는다. 소정 기준을 기초로, 관련 계수들이 동일한 제2의 영상들로부터 하나의 영상을 선택한다. 관련 계수들이 동일하지 않은 나머지 제2의 영상과 함께, 선택된 제2 영상들을 N 개의 제3 영상으로 삼는데, 여기에서 N은 (M-1) 이하이다. 상기 보간된 프로토타입 영상은 N 개의 제3 영상의 각 영상과 보간된 프로토타입 영상 사이의 개별적인 변환값에 따라 N 번 하향 샘플링되어(down-sampled), 각기 상기 N 개의 제3 영상 중 하나에 대응하는 N 개의 제4 영상을 생성한다. 상기 N 개의 제3 영상의 각 영상과 그것의 대응하는 제4 영상 사이의 차이값이 계산된다. 상기 보간된 프로토타입 영상의 픽셀들의 값은 상기 N 개의 제3 영상의 각 영상과 그것의 대응하는 제4 영상 사이의 차이값들의 평균값에 따라 조정된다. 상기 보간된 프로토타입 영상의 픽셀들의 값을 하향 샘플링하는 단계와 조정하는 단계는 보간된 프로토타입 영상의 픽셀들의 값이 만족스러운 결과로 수렴할 때까지 반복된다. 마지막으로, 픽셀들의 값이 만족스러운 결과로 수렴하는 보간된 프로토타입 영상을 해상도 향상 영상으로 삼는다.
본 발명의 장점 및 사상은 첨부 도면과 함께 후술되는 설명에 의해서 이해될 수 있다.
본 발명은 이라니 반복법을 기초로 하고 적절한 초기 보간, 자동 영상 선택 및 로버스트 영상 등록을 이용하는 개량된 해상도 향상 알고리듬으로 해상도 향상 영상을 재구성하는 방법을 제공하기 위한 것이다. 본 발명에 의해서 재구성되는 해상도 향상 영상에 대해서는 화질의 향상을 위하여 영상 향상 후처리가 추가로 수행될 수 있다. 이하, 본 발명의 사상, 특징 및 장점을 적시하기 위하여, 본 발명에 따른 방법의 단계들과 본 발명의 바람직한 실시예를 자세히 설명한다. 또한, 이하에서는 정적 장면과 관련된 해상도 향상 영상의 재구성법과 움직이는 피사체와 관련된 해상도 향상 영상의 재구성법도 설명될 것이다.
도 1을 참고하면, 도 1은 본 발명에 따른 방법의 작업 절차를 보여주는 흐름도이다. 주목할 점은, 본 발명에 따른 방법에서는, 해상도 향상 영상을 생성하기 위하여 저해상도의 M 개의 제1 영상이 사용된다고 하는 것이다. 또한, 상기 저해상도의 M 개의 제1 영상은 동일한 장면과 관련이 있는데, 즉 저해상도의 상기 M 개의 제1 영상 모두 동일한 장면으로부터 포착된다. 상기 M 개의 제1 영상의 각 영상은 균일하게 샘플링되고 양자화(量子化)된 픽셀 세트에 의해서 표현된다. 해상도 향상 영상과 상기 M 개의 제1 영상의 각 영상과의 사이에는, 사용자가 원하는 증폭 인자 관계(relationship)가 존재한다.
본 발명에 따른 방법은 시작시에 S10 단계를 수행하여 상기 M 개의 제1 영상을 저장한다.
그 후, 본 발명의 방법은 S12 단계를 수행하여 상기 M 개의 제1 영상 중 하나를 프로토타입 영상으로 선택하는데, 선택되지 않은 (M-1) 개의 제1 영상을 (M-1) 개의 제2 영상으로 삼는다.
이어서, 본 발명의 방법은 S14 단계를 수행한다. 본 발명의 초기 추정 단계는 S14 단계 동안에 이루어진다. S14 단계는 증폭 인자를 기초로 잉여 픽셀을 프로토타입 영상으로 보간하기 위한 것이다. S14 단계에서, 잉여 픽셀들의 값이 이들의 이웃 픽셀들의 값에 따라 계산되어 보간된 프로토타입 영상을 생성하며, 상기 (M-1) 개의 제2 영상의 각 영상과 보간된 프로토타입 영상과의 사이에 각각 존재하는 개별적인 변환값(respective translations)도 또한 계산된다.
S14 단계 후에, S16 단계가 수행된다. 본 발명의 방법의 자동 영상 선택 단계는 S16 단계에서 이루어진다. S16 단계는 상기 (M-1) 개의 제2 영상의 변환값들을 각각 상기 증폭 인자로 나누어서 상기 (M-1) 개의 제2 영상의 변환값에 관한 계 수(modulus)를 얻는다. S16 단계에서도 또한, 소정의 기준을 기초로, 관련 계수가 동일한 제2 영상으로부터 하나의 영상을 선택하게 된다. 관련 계수가 동일하지 않은 제2 영상 중 나머지의 것과 함께, 상기 선택된 제2 영상들을 N 개의 제3 영상으로 삼는데, 여기에서 N은 (M-1) 이하이다.
이후, S18 단계가 수행되어, 상기 N 개의 제3 영상의 각 영상과 상기 보간된 프로토타입 영상 사이의 개별적인 변환값에 따라, 상기 보간된 프로토타입 영상을 N 번 하향 샘플링하여 N 개의 제4 영상을 생성한다. 상기 N 개의 제4 영상의 각 영상은 상기 N 개의 제3 영상 중의 하나의 영상에 대응한다.
S18 단계 후에, S20 단계가 수행되어 상기 N 개의 프로토타입 영상의 각 영상과 그것의 대응하는 제4 영상 사이의 차이값을 계산한다.
그 후, S22 단계가 수행되어, 상기 보간된 프로토타입 영상의 픽셀들의 값을 상기 단계 S20에서 계산된 차이들의 평균값에 따라 조정한다.
마지막으로, S24 단계가 수행되어, 상기 보간된 프로토타입 영상의 픽셀들의 값이 만족스러운 결과로 수렴하는지 여부를 판단한다. S24 단계에서 "아니오"인 경우, S18 단계 내지 S22 단계가 반복된다. 결과에 있어서, 픽셀들의 값이 만족스러운 결과로 수렴하는 상기 보간된 프로토타입 영상을 해상도 향상 영상으로 삼는다.
바람직한 실시예에 있어서, S18 단계는 다음 식
Figure 112004010032969-pat00001
에 따라 수행된다.
식중,
Figure 112005073373079-pat00002
은 n 번째 하향 샘플링 공정에서의 k 번째 제4 영상이며,
Figure 112005073373079-pat00003
은 n 번 조정된 보간된 프로토타입 영상이고, h는 점확산 함수(point-spread function)에 의해서 규정되는 블러링 연산자(blurring operator)이며,
Figure 112005073373079-pat00004
는 k 번째 제3 영상과 상기 보간된 프로토타입 영상 사이의 변환값에 관한 변환 연산자이고,
Figure 112005073373079-pat00005
는 하향 샘플링 연산자이다.
바람직한 실시예에 있어서, S18 단계 및 S22 단계는 다음 식
Figure 112004010032969-pat00006
에 따라 구현된다.
식중,
Figure 112004010032969-pat00007
은 (n+1) 회에서 조정될 보간된 프로토타입 영상이고, K는 계산된 제3 영상의 수이며,
Figure 112004010032969-pat00008
는 k 번째 제3 영상이고, p는 디블러링(de-blurring) 연산자이며,
Figure 112004010032969-pat00009
은 k 번째 제3 영상과 보간된 프로토타입 영상 사이의 변환값에 대한 역변환 연산자이고,
Figure 112004010032969-pat00010
는 상향 샘플링 연산자이다.
해상도 향상 영상의 재구성에 반복법이 사용됨에 따라, 초기 추정 단계가 컴퓨터 시스템의 성능에 상당한 영향을 미치게 된다는 것을 유의하라. 즉, 보다 양호한 초기 추정이 적용되는 경우, 많은 양의 계산 시간이 절감될 것이다. 초기 추정은 공정의 시작시에 단지 한 번 수행되기 때문에, 전체 반복법의 복잡성은 보간 기법을 기초로 한 초기 추정의 복잡성에 좌우되지 않는다. 다른 차수의 이들 보간법 사이의 차이는 바로 계산 공정의 계산에 사용되는 이웃하는 픽셀의 수가 다르다 는 것이다. 이하, 보간법의 절차를 설명하기 위하여 3차 보간을 예로 들겠다.
3차 보간법 또는 이른바 큐빅 보간법(cubic interpolation way)은 4개의 미지의 변수를 고려한다. 보간 함수가
Figure 112004010032969-pat00011
이고 알고 있는 이웃 픽셀들이 (-1,A), (0,B), (1,C) 및 (2,D)을 포함하는 것으로 가정한다. 그 후, 다음 식이 수행될 수 있다.
Figure 112004010032969-pat00012
Figure 112004010032969-pat00013
Figure 112004010032969-pat00014
도 2a 및 도 2b를 참고하여, 3차 보간법의 절차를 추가로 설명한다. 도 2a에 도시되어 있는 바와 같이, 2차원 영상의 픽셀 P의 값을 보간하기 위하여, 픽셀들 A', B', C' 및 D'의 값을 미리 계산한다. 픽셀들 A1, B1, C1 및 D1의 알려져 있는 값을 사용하여 3차 함수 f3(x)의 계수들을 결정한다. 그 후, 1차원 보간을 사용하여 픽셀 A'의 값을 보간한다. 유사하게, i = 2, 3 및 4일 때의 픽셀 Ai, Bi, Ci 및 Di의 값에 따라 픽셀들 B', C' 및 D'의 값들을 보간한다. 마지막으로, 픽셀 P의 값을 도 2a에 나타낸 바와 같이 수직 방향의 1차원 보간으로 계산한다. 도 2b에 도시된 바와 같이, 1차원 보간과 함께 3차 보간법이 사용되어 픽셀들 A', B', C' 및 D'의 알려진 값에 따른 픽셀 P의 값을 결정한다.
동일한 방법으로, 2차원 보간 알고리듬에 있어서, 다른 차수의 이들 보간법에 관한 fn(x)의 계수들도 또한 풀릴 수 있다. 다른 차수의 보간법은 반복 회수가 증가함에 따라 다른 초기 추정 영상 및 다른 화질 수렴도를 초래한다는 것이 주목되었다. 초기 추정 단계가 영상 등록 성능 및 최대 영상 결과를 얻기 위하여 필수적인 반복 회수에 큰 영향을 미치기 때문에, 가장 적합한 보간 차수를 선택하면 반복법의 최적의 결과가 달성될 것이다. 실험에서는, 다른 차수의 이들 보간법에 관한 성능을 본래의 영상과 재구성된 영상들 사이의 최대 신호대 잡음비에 의해서 평가한다. 실험 결과가 도 3에 도시되어 있다. 도 3에 도시되어 있는 바와 같이, 복잡성과 재구성된 화질 모두와 관련되는 경우, 대부분의 상황에서 3차 보간이 초기 추정의 최적 방법이다. 본 발명에 따른 방법은 1차 보간, 3차 보간 또는 5차 보간만을 사용하는 것을 선호한다.
바람직한 실시예에 있어서, 상기 (M-1) 개의 제2 영상은 움직이는 피사체와 관련된 낮은 해상도의 영상 시퀀스이지만, S14 단계에서 i 번째 제2 영상과 보간된 프로토타입 영상 사이의 변환값(LT i )는 다음 단계에 따라 계산된다.
(a) 상기 i 번째 제2 영상에, 각기 보간된 프로토타입 영상상의 지점 (u,v) 및 로컬 윈도우(local window)(w)에 대응하는 적어도 하나의 관심 지점(interesting point) Pi (x, y)을 할당하는 단계와,
(b) 각 관심 지점 P i (x,y)과 이것의 대응하는 지점 (u,v) 사이의 절대 차이 값 (LAD i (x,y;u,v))를 다음 식
Figure 112004010032969-pat00015
에 따라 계산하는 단계와,
(c) 상기 (b) 단계에서 계산된 절대 차이 (LAD i (x,y;u,v))의 최소값 (LR i (x,y))를 다음 식
Figure 112004010032969-pat00016
에 따라 계산하는 단계와,
(d) 각 관심 지점 P i (x,y)에 관하여 변환값(LT i )를 다음 식
Figure 112004010032969-pat00017
Figure 112004010032969-pat00018
증폭 인자
에 따라 계산하는 단계
이 바람직한 실시예에 있어서, 보다 정밀한 영상 등록을 확보한 후 움직이는 피사체의 해상도 향상 영상을 재구성하기 위하여, 상기 관심 지점들은 다음과 같은 제약 아래에서 선택된다.
a. 관심 지점에서의 구배가 역치보다 더 커야 한다.
b. 저해상도 영상 위의 각 관심 지점에 대하여, 시뮬레이션된 해상도 향상 영상 위의 대응하는 지점에 대응하는 복잡도가 주변 지점의 복잡도보다 높아야 한다.
c. 각 관심 지점과 대응하는 지점 사이의 변환값은 0이 아니어야 한다.
전술한 기술은 도 4a에 도시된 바와 같은 로컬 매칭 기법(local matching technology)이라고도 불린다.
다른 한 가지 바람직한 실시예에 있어서, (M-1) 개의 제2 영상은 정적 피사체와 관련된 저해상도 영상 시퀀스이지만, S14 단계에서 i 번째의 제2 영상과 보간된 프로토타입 영상 사이의 변환값(LT i )은 다음 단계들에 따라 계산된다.
(a) 상기 i 번째 제2 영상에 관한 절대 차이값 (GAD(u,v))을 다음 식
Figure 112004010032969-pat00019
에 따라 계산하는 단계와,
(식중, 지점 (u,v)는 i 번째 제2 영상의 시작 지점에 대응하는 보간된 프로토타입 영상의 대응하는 위치 지점임)
(b) 상기 (a) 단계에서 계산된 절대 차이값 (GAD(u,v))의 최소값 (GR(i))를 다음 식
Figure 112004010032969-pat00020
에 따라 계산하고, GR(i)를 LT i 로서 간주하는 단계
전술한 기법은 또한 도 4b에 도시된 바와 같이 글로벌 매칭 기법(global matching technology)이라고도 불린다.
S16 단계에서, 자동 영상 선택의 목적은 영상 등록과 같은 영상 처리 프로세스를 위하여 최소수의 유용한 저해상도 영상을 선택하기 위한 것이다. 이러한 방 법은 불필요한 계산을 감소시켜 해상도 향상 영상의 재구성 속도를 증대시킬 수 있다. 정적 장면이나 움직이는 피사체와 관련하여 본래의 저해상도 영상으로부터 유용한 저해상도 영상을 선택하는 원리는 다르다. 이하에서는, 다른 원리에 대해서 설명한다.
상기 (M-1) 개의 제2 영상이 움직이는 피사체와 관련된 저해상도 영상 시퀀스인 실시예에 있어서, S16 단계에서의 유용한 저해상도 영상 선택 원리는, 동일한 계수(modulus)를 갖고, (u i ,v i ) = T i , (u j ,v j ) = T j 인 두 개의 제2 영상 i, j에 대하여, GAD i (u i ,v i ) < GAD j (u j ,v j ) 인 경우 제2 영상 i가 선택된다.
상기 (M-1) 개의 제2 영상이 정적 영상과 관련된 저해상도 영상 시퀀스인 실시예에 있어서, S16 단계에서 저해상도 영상을 선택하는 원리는 동일한 계수(modulus)를 갖고, (ui,vi ) = Ti , (uj,vj ) = Tj 인 두 개의 제2 영상 i, j에 대하여
Figure 112005073373079-pat00021
인 경우에 제2 영상 i가 선택된다.
Figure 112005073373079-pat00022
의 분산(variance)은
Figure 112005073373079-pat00023
로 정의된다. 기호
Figure 112005073373079-pat00024
및
Figure 112005073373079-pat00025
는 각각 x 축과 y 축을 따른 변환값들의 분산이다.
표 1을 참고하면, 표 1은 본 발명에 따른 방법을 적용하는 시스템의 성능을 나타낸다. 이 시스템에는 인텔 펜티엄 Ⅲ CPU와 128MB RAM들이 탑재된다. 이 경우, 증폭 인자 3을 기초로 한 해상도 향상 영상을 재구성하는 데 5 개의 62 x 62 저해상도 영상들이 사용된다. 표 1에는 시스템이 자동 영상 선택을 실행하거나 실 행하지 않은 결과들이 기재되어 있다.
계산 시간 (초) PSNR (db)
로컬 매칭 기법 영상 선택 있음 155.4 26.78
영상 선택 없음 582.4 26.66
글로벌 매칭 기법 영상 선택 있음 75.8 26.78
영상 선택 없음 496.2 26.66
표 1의 결과에 따르면, 본 발명이 제안한 자동 영상 선택을 실행하는 시스템은 계산 시간을 현저하게 단축시킬 수 있음이 명백하다. 이하, 본 발명의 방법을 적용하는 시스템의 성능을 추가로 입증하기 위하여, 본 발명의 방법을 이용한 몇 가지 영상 재구성 케이스에 대하여 설명하겠다.
도 5a 내지 도 5d에는 제1 케이스가 예시되어 있다. 도 5a는 저해상도 영상 중 하나를 보여주고 있다. 도 5b는 초기 추정 단계 후의 결과를 보여주고 있다. 도 5c는 100회 반복 후의 재구성된 영상을 보여주고 있다. 도 5d는 가장자리를 뚜렷하게 하기 위하여 고역 필터링 처리로 재구성된 해상도 향상 영상을 보여주고 있다.
도 6a 내지 도 6d에는 제2 케이스가 예시되어 있다. 제2 케이스에서는, 정적 장면으로 본래의 영상을 취하고, 시뮬레이션된 카메라로 이 영상을 하향 샘플링하여 복수 개의 저해상도 영상 시퀀스를 생성한다. 시뮬레이션된 카메라를 사용하면, 저해상도 영상의 시작 지점들이 대응하는 본래의 영상 위의 지점들이 다른데, 즉 시뮬레이션된 카메라는 저해상도 영상을 포착할 때 움직인다. 그 후, 증폭 인 자가 4인 해상도 향상 영상을 재구성하기 위하여 이들 저해상도 영상이 사용된다. 도 6a는 제2 케이스의 저해상도 영상 중 하나를 보여주고 있다. 도 6b는 초기 추정 단계 후의 결과를 보여주고 있다. 도 6c는 100회 반복 후의 재구성된 영상을 보여주고 있다. 도 6d는 영상의 후처리로 재구성된 해상도 향상 영상을 보여주고 있다. 도 7에 도시되어 있는 바와 같이, 제2 케이스의 본래의 영상과 재구성된 영상 사이의 PSNR은 반복 회수가 증가함에 따라 신속하게 수렴한다. 도 7의 결과에 의하여, 본 발명의 방법을 적용하는 시스템이 양호한 성능을 제공하게 된다는 것이 명백하다.
도 8a 내지 도 8d에는 제3 케이스가 예시되어 있다. 제3 케이스에서는 증폭 인자 2를 기초로 하여 해상도 향상 영상을 재구성하기 위하여 정적 배경에 대하여 이동하는 피사체와 관련된 복수 개의 저해상도 영상이 사용된다. 도 8a는 저해상도 영상 시퀀스 중 하나를 보여주고 있다. 도 8b는 초기 추정 단계 후의 결과를 보여주고 있다. 도 8c는 100회 반복 후의 재구성된 영상을 보여주고 있다. 도 8d는 영상 후처리로 재구성된 해상도 향상 영상을 보여주고 있다. 도 8a 내지 도 8b로부터, 반복 회수가 증가함에 따라 피사체는 더욱 뚜렷해지는 반면 배경은 흐려지고 단어들의 가장자리가 더욱 식별 가능하다는 것이 명백하다.
상기 실시예 및 실제의 케이스들을 종합하면, 본 발명은 적절한 초기 보간, 자동 영상 선택 및 로버스트 영상 등록을 채용하는 개량된 해상도 향상 알고리듬으로 해상도 향상 영상을 재구성하는 방법을 제공한다. 본 발명의 방법에 따르면, 해상도 향상 재구성이 정적 장면과 관련된 저해상도 영상 시퀀스에 의해서 뿐만 아니라 움직이는 피사체와 관련된 저해상도 영상 시퀀스에 의해서도 해상도 향상 영상의 재구성이 신속하게 이루어질 수 있다. 재구성된 해상도 향상 영상들은 화질을 향상시키기 위한 후처리 공정을 더 거칠 수 있다. 본 발명의 방법은 신규성 및 비자명성을 가지고 특허 출원의 기준을 만족시키는 것이 분명하다.
전술한 예 및 설명으로, 본 발명의 특징 및 사상이 잘 이해될 것으로 기대한다. 당업자라면, 본 발명의 교시 내용을 유지하면서 상기 장치의 수 많은 수정 및 변경이 이루어질 수 있다는 것을 쉽게 인식할 것이다. 따라서, 전술한 설명은 첨부된 특허 청구 범위의 경계에 의해서만 한정되는 것으로 해석되어야 한다.

Claims (6)

  1. 장면과 관련된 저해상도의 M 개의 제1 영상을 사용하여 해상도 향상 영상을 생성하는 방법으로서, 상기 M 개의 제1 영상의 각 영상은 균일하게 샘플링되고 양자화된 픽셀들 세트에 의해서 표현되고, 상기 해상도 향상 영상과 상기 M개의 제1 영상들 사이에는 증폭 인자의 관계가 존재하는 것인 해상도 향상 영상 생성 방법에 있어서,
    (a) 상기 M 개의 제1 영상들을 저장하는 단계와;
    (b) 상기 M 개의 제1 영상들로부터 하나의 영상을 프로토타입 영상으로 선택하고, 선택되지 않은 (M-1) 개의 제1 영상들을 (M-1) 개의 제2 영상들로 삼는 단계와;
    (c) 상기 증폭 인자를 기초로, 잉여 픽셀들을 상기 프로토타입 영상의 픽셀 세트로 보간한 후, 보간된 프로토타입 영상을 생성하기 위하여 이웃 픽셀들의 값들에 따라 상기 잉여 픽셀들의 값들을 추정하며, 상기 (M-1) 개의 제2 영상들의 각 영상과 상기 보간된 프로토타입 영상 사이의 개별적인 변환값을 계산하는 단계와;
    (d) 상기 (M-1) 개의 제2 영상들의 변환값들에 관한 계수들(modulus)을 얻기 위해, 상기 (M-1) 개의 제2 영상들의 변환값들을 각각 상기 증폭 인자로 나누고, 소정 기준을 기초로 관련 계수들이 동일한 제2 영상들로부터 하나를 선택하며, 관련 계수들이 동일하지 않은 나머지 제2 영상들과 함께 상기 선택된 제2 영상들을 N개(N은 (M-1)이하임)의 제3 영상들로 삼는 단계와;
    (e) 각기 상기 N 개의 제3 영상들 중 하나와 대응하는 N 개의 제4 영상을 생성하기 위하여 상기 N 개의 제3 영상들의 각 영상과 상기 보간된 프로토타입 영상과의 사이의 개별적인 변환값에 따라 상기 보간된 프로토타입 영상을 N 번 하향 샘플링하는 단계와;
    (f) 상기 N 개의 제3 영상들의 각 영상과 그것의 대응하는 제4 영상 사이의 차이값을 계산하는 단계와;
    (g) 상기 (f) 단계에서 계산된 차이값들의 평균을 포함함으로써 상기 보간된 프로토타입 영상의 픽셀들의 값들을 조정하는 단계와;
    (h) 상기 보간된 프로토타입 영상의 픽셀들의 값들이 만족스러운 결과로 수렴할 때까지 상기 (e) 단계 내지 (g) 단계를 반복하고, 픽셀들의 값들이 상기 만족스러운 결과로 수렴하는 상기 보간된 프로토타입 영상을 해상도 향상 영상으로 삼는 단계
    를 포함하는 해상도 향상 영상 생성 방법.
  2. 제1항에 있어서, 상기 (e) 단계는 다음 식
    Figure 112005073373079-pat00026
    을 따라 수행되고, 식중,
    Figure 112005073373079-pat00027
    은 n 번째 하향 샘플링 공정에서의 k 번째 제4 영상이며,
    Figure 112005073373079-pat00028
    은 n 번 조정된 보간된 프로토타입 영상이고, h는 점확산 함수에 의해서 규정되는 블러링 연산자(blurring operator)이며,
    Figure 112005073373079-pat00029
    는 k 번째 제3 영상과 상기 보간된 프로토타입 영상 사이의 변환값에 관한 변환 연산자이며,
    Figure 112005073373079-pat00030
    는 하향 샘플링 연산자인 것인 해상도 향상 영상 생성 방법.
  3. 제 2항에 있어서, 상기 (f) 단계 및 (g) 단계는 다음식
    Figure 112005073373079-pat00031
    을 따라 수행되며,
    식중,
    Figure 112005073373079-pat00032
    은 (n+1) 회에서 조정될 보간된 프로토타입 영상이고, K는 계산된 제3 영상들의 수이며,
    Figure 112005073373079-pat00033
    는 k 번째 제3 영상이고, p는 디블러링(de-blurring) 연산자이며,
    Figure 112005073373079-pat00034
    은 k 번째 제3 영상과 보간된 프로토타입 영상 사이의 변환값에 대한 역변환 연산자이고,
    Figure 112005073373079-pat00035
    는 상향 샘플링 연산자인 것인 해상도 향상 영상 생성 방법.
  4. 제3항에 있어서, 상기 (c) 단계에서, 상기 잉여 픽셀들의 값들을 추정하는 것은 1차 보간, 3차 보간 및 5차 보간으로 이루어지는 그룹으로부터 선택된 하나를 기초로 하는 것인 해상도 향상 영상 생성 방법.
  5. 제4항에 있어서, 상기 (c) 단계에서, 상기 i 번째 제2 영상과 상기 보간된 프로토타입 영상 사이의 변환값 (LTi )은
    (c-1) 상기 i 번째 제2 영상에, 각기 보간된 프로토타입 영상상의 지점 (u,v) 및 로컬 윈도우(local window)(w)에 대응하는 적어도 하나의 관심 지점 Pi (x, y)을 할당하는 단계와,
    (c-2) 각 관심 지점 Pi (x,y)과 이것의 대응하는 지점 (u,v) 사이의 절대 차이값 (LADi (x,y;u,v))를 다음 식
    Figure 112005073373079-pat00036
    에 따라 계산하는 단계와,
    (c-3) 상기 (c-2) 단계에서 계산된 절대 차이값 (LADi (x,y;u,v))의 최소값 (LRi (x,y))를 다음 식
    Figure 112005073373079-pat00037
    에 따라 계산하는 단계와,
    (c-4) 각 관심 지점 Pi (x,y)에 관하여 변환값(LTi )를 다음 식
    Figure 112005073373079-pat00038
    Figure 112005073373079-pat00039
    증폭 인자
    에 따라 계산하는 단계
    에 따라 계산되는 것인 해상도 향상 영상 생성 방법.
  6. 제4항에 있어서, 상기 (c) 단계에서, 상기 i 번째 제2 영상과 상기 보간된 프로토타입 영상 사이의 변환값 (LTi )은
    (c-1) 상기 i 번째 제2 영상에 관한 절대 차이값 (GAD(u,v))을 다음 식
    Figure 112005073373079-pat00040
    에 따라 계산하는 단계로서, 지점 (u,v)는 i 번째 제2 영상의 시작 지점에 대응하는 보간된 프로토타입 영상상의 위치 지점인, 단계와,
    (c-2) 상기 (c-1) 단계에서 계산된 절대 차이값 (GAD(u,v))의 최소값 (GR(i))를 다음 식
    Figure 112005073373079-pat00041
    에 따라 계산하고, GR(i)를 LTi 로서 간주하는 단계
    에 따라 계산되는 해상도 향상 영상 생성 방법.
KR1020040016274A 2004-03-10 2004-03-10 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법 KR100570630B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040016274A KR100570630B1 (ko) 2004-03-10 2004-03-10 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040016274A KR100570630B1 (ko) 2004-03-10 2004-03-10 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법

Publications (2)

Publication Number Publication Date
KR20050090920A KR20050090920A (ko) 2005-09-14
KR100570630B1 true KR100570630B1 (ko) 2006-04-13

Family

ID=37272799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040016274A KR100570630B1 (ko) 2004-03-10 2004-03-10 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법

Country Status (1)

Country Link
KR (1) KR100570630B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101303647B1 (ko) * 2007-09-28 2013-09-04 삼성전자주식회사 영상 복원을 이용한 영상의 해상도 향상 시스템 및 방법
KR101347598B1 (ko) * 2007-10-12 2014-01-07 삼성전자주식회사 영상 변환 방법 및 장치
KR101845476B1 (ko) 2015-06-30 2018-04-05 한국과학기술원 영상 변환 장치 및 그 영상 변환 방법
WO2017003240A1 (ko) * 2015-06-30 2017-01-05 한국과학기술원 영상 변환 장치 및 그 영상 변환 방법

Also Published As

Publication number Publication date
KR20050090920A (ko) 2005-09-14

Similar Documents

Publication Publication Date Title
US7583860B2 (en) Method for producing enhanced-resolution image by use of a plurality of low-resolution images
CN102576454B (zh) 利用空间图像先验的图像去模糊法
US8203615B2 (en) Image deblurring using panchromatic pixels
US7447382B2 (en) Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
Patanavijit Super-resolution reconstruction and its future research direction
KR100570630B1 (ko) 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법
JP4095204B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2000152250A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
Rajan et al. Generation of super-resolution images from blurred observations using Markov random fields
Al Ismaeil et al. Multi-frame super-resolution by enhanced shift & add
CN100375120C (zh) 藉由多张低解析度影像产生高解析度影像的方法
El-Yamany et al. An adaptive M-estimation framework for robust image super resolution without regularization
Patel Shreyas Novel Iterative Back Projection Approach
Kim et al. Super-resolution using POCS-based reconstruction with artifact reduction constraints
Hardie et al. High-resolution image reconstruction from a sequence of rotated and translated infrared images
Lim et al. Spatially adaptive regularized iterative high-resolution image reconstruction algorithm
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
Yu et al. A method of gibbs artifact reduction for POCS super-resolution image reconstruction
Li et al. Wavelet domain superresolution reconstruction of infrared image sequences
Lokhande A matlab based GUI for multiframe super resolution reconstruction of different gray scale images with and without adaptive filter
Newland et al. Time invariant steady-state Kalman filter for image super-resolution
Ivanovski et al. Efficient edge-enhanced super-resolution
Hsieh et al. Video super-resolution by integrating sad and ncc matching criterion for multiple moving objects
Gunturk Handling exposure time in multi-frame image restoration
Choi et al. Simultaneous enhancement of spatial resolution and dynamic range from multiple images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130322

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140507

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170324

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 14