KR101633397B1 - 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템 - Google Patents

영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템 Download PDF

Info

Publication number
KR101633397B1
KR101633397B1 KR1020100022424A KR20100022424A KR101633397B1 KR 101633397 B1 KR101633397 B1 KR 101633397B1 KR 1020100022424 A KR1020100022424 A KR 1020100022424A KR 20100022424 A KR20100022424 A KR 20100022424A KR 101633397 B1 KR101633397 B1 KR 101633397B1
Authority
KR
South Korea
Prior art keywords
image
filter coefficient
image restoration
function
point spread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100022424A
Other languages
English (en)
Other versions
KR20110103205A (ko
Inventor
김태찬
백준기
이상훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100022424A priority Critical patent/KR101633397B1/ko
Priority to US13/045,127 priority patent/US8582911B2/en
Publication of KR20110103205A publication Critical patent/KR20110103205A/ko
Application granted granted Critical
Publication of KR101633397B1 publication Critical patent/KR101633397B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템이 개시된다. 상기 영상 복원 장치는, 영상 신호를 입력받고, 상기 입력받은 영상 신호로부터 점확산 함수(Point Spread Function; PSF)를 추정하는 점확산 함수 추정부, 및 상기 영상 신호 및 상기 점확산 함수를 입력받고, 상기 점확산 함수로부터 영상 복원 필터계수를 생성하여, 상기 영상 복원 필터계수에 따라 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 영상 복원 필터부를 구비하는 것을 특징으로 한다.

Description

영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템{Image restoration device, image restoration method and image restoration system}
본 발명은 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템에 관한 것으로서, 특히, 점확산 함수로부터 계산된 제약적 최소 제곱 필터 계수에 윈도우 함수를 승산하여 영상 복원 필터계수를 생성하는 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템에 관한 것이다.
촬상 소자로부터 출력된 영상을 디지털 영상 복원(digital image restoration)하기 위하여, 제약적 최소 제곱(Constrained Least Square; CLS) 필터가 사용될 수 있다. 그러나, 종래의 제약적 최소 제곱(CLS) 필터는 전체 입력 영상의 푸리에 변환을 요구하기 때문에, 그 구조가 복잡하고, 많은 처리 용량 및 전원이 필요한 문제점이 존재하였다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 점확산 함수로부터 계산된 제약적 최소 제곱 필터 계수에 윈도우 함수를 승산하여 영상 복원 필터계수를 생성하는 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 영상 복원 장치는, 영상 신호를 입력받고, 상기 입력받은 영상 신호로부터 점확산 함수(Point Spread Function; PSF)를 추정하는 점확산 함수 추정부, 및 상기 영상 신호 및 상기 점확산 함수를 입력받고, 상기 점확산 함수로부터 영상 복원 필터계수를 생성하여, 상기 영상 복원 필터계수에 따라 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 영상 복원 필터부를 구비하는 것을 특징으로 한다.
바람직하게는, 상기 영상 복원 필터부는, 상기 점확산 함수를 입력받고, 상기 입력받은 점확산 함수로부터 영상 복원 필터계수를 생성하여 출력하는 필터계수 생성부, 및 상기 영상 신호와 상기 영상 복원 필터 계수를 입력받고, 상기 영상 신호와 상기 영상 복원 필터계수를 컨벌루션하여 출력하는 FIR(Finite Impulse Response) 필터를 구비할 수 있다.
또한, 바람직하게는, 상기 필터계수 생성부는, 상기 점확산 함수로부터 영상 복원 함수를 생성하는 영상 복원 함수 생성부, 및 상기 영상 복원 함수를 입력받고, 상기 영상 복원 함수로부터 제약적 최소 제곱 필터 계수를 계산하며, 상기 제약적 최소 제곱 필터 계수에 윈도우 함수(window function)를 승산하여 영상 복원 필터계수를 생성하는 필터계수 추출부를 구비할 수 있다.
또한, 바람직하게는, 상기 필터계수 생성부는, 상기 필터계수 추출부로부터 상기 영상 복원 필터계수를 입력받고, 상기 영상 복원 필터계수를 저장하는 것을 특징으로 하는 필터계수 저장부를 더 구비할 수 있다.
또한, 바람직하게는, 상기 영상 복원 함수 생성부는,
Figure 112010015945616-pat00001
의 수학식에 따라 상기 영상 복원 함수 R을 생성하고, 상기 H는 상기 점확산 함수를 나타내며, 상기 H*은 상기 점확산 함수의 복소 공액(complex conjugate)을 나타내고, 상기 λ는 정규화 매개변수(regularization parameter)를 나타내고, 상기 C는 하이패스 필터의 전달함수를 나타낼 수 있다.
또한, 바람직하게는, 상기 윈도우 함수는, 직사각형 윈도우 함수(Rectangular window function), 가우시안 윈도우 함수(Gaussian window function) 및 올림 코사인 윈도우 함수(raised cosine window function) 중의 어느 하나일 수 있다.
또한, 바람직하게는, 상기 영상 복원 장치는, 상기 영상 신호를 입력받고, 상기 영상 신호를 분석하여 가중치 계수를 생성하여 출력하는 가중치 계산부를 더 구비할 수 있다.
또한, 바람직하게는, 상기 영상 복원 장치는, 상기 영상 신호, 상기 필터링된 영상 신호 및 상기 가중치 계수를 입력받고, 상기 가중치 계수에 따라 상기 영상 신호 및 상기 필터링된 영상 신호의 가중 평균(weighted average)을 계산하여, 상기 가중 평균을 복원된 영상 신호로서 출력하는 영상 혼합부를 더 구비할 수 있다.
본 발명의 일실시예에 따른 영상 복원 방법은, 영상 신호를 입력받고, 상기 입력받은 영상 신호로부터 점확산 함수(Point Spread Function; PSF)를 추정하는 단계, 상기 영상 신호 및 상기 점확산 함수를 입력받고, 상기 점확산 함수로부터 영상 복원 필터계수를 생성하는 단계, 및 상기 영상 복원 필터계수에 따라 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 영상 복원 필터계수를 생성하는 단계는, 상기 점확산 함수로부터 영상 복원 함수를 생성하는 단계, 상기 영상 복원 함수를 입력받고, 상기 영상 복원 함수로부터 제약적 최소 제곱 필터 계수를 계산하는 단계, 및 상기 제약적 최소 제곱 필터 계수에 윈도우 함수(window function)를 승산하여 영상 복원 필터계수를 생성하는 단계를 포함할 수 있다.
또한, 바람직하게는, 상기 윈도우 함수는, 직사각형 윈도우 함수(Rectangular window function), 가우시안 윈도우 함수(Gaussian window function) 및 올림 코사인 윈도우 함수(raised cosine window function) 중의 어느 하나일 수 있다.
또한, 바람직하게는, 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 단계는, 상기 영상 신호와 상기 영상 복원 필터 계수를 입력받고, 상기 영상 신호와 상기 영상 복원 필터계수를 컨벌루션하여 출력하는 FIR(Finite Impulse Response) 필터링 단계를 포함할 수 있다.
또한, 바람직하게는, 상기 영상 복원 방법은, 상기 영상 신호를 입력받고, 상기 영상 신호를 분석하여 가중치 계수를 생성하여 출력하는 단계, 및 상기 영상 신호, 상기 필터링된 영상 신호 및 상기 가중치 계수를 입력받고, 상기 가중치 계수에 따라 상기 영상 신호 및 상기 필터링된 영상 신호의 가중 평균(weighted average)을 계산하여, 상기 가중 평균을 복원된 영상 신호로서 출력하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 영상 복원 시스템은, 피사체로부터 영상을 촬영하여 영상 신호를 생성하고, 상기 영상 신호를 출력하는 촬상 소자, 및 상기 촬상 소자로부터 상기 영상 신호를 입력받고, 상기 입력받은 영상 신호를 복원하여 복원된 영상 신호를 출력하는 영상 복원장치를 구비하고, 상기 영상 복원장치는, 상기 영상 신호를 입력받고, 상기 입력받은 영상 신호로부터 점확산 함수(Point Spread Function; PSF)를 추정하는 점확산 함수 추정부, 및 상기 영상 신호 및 상기 점확산 함수를 입력받고, 상기 점확산 함수로부터 영상 복원 필터계수를 생성하여, 상기 영상 복원 필터계수에 따라 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 영상 복원 필터부를 구비하는 것을 특징으로 한다.
바람직하게는, 상기 영상 복원 필터부는, 상기 점확산 함수를 입력받고, 상기 입력받은 점확산 함수로부터 영상 복원 필터계수를 생성하여 출력하는 필터계수 생성부, 및 상기 영상 신호와 상기 영상 복원 필터 계수를 입력받고, 상기 영상 신호와 상기 영상 복원 필터계수를 컨벌루션하여 출력하는 FIR(Finite Impulse Response) 필터를 구비할 수 있다.
또한, 바람직하게는, 상기 필터계수 생성부는, 상기 점확산 함수로부터 영상 복원 함수를 생성하는 영상 복원 함수 생성부, 및 상기 영상 복원 함수를 입력받고, 상기 영상 복원 함수로부터 제약적 최소 제곱 필터 계수를 계산하며, 상기 제약적 최소 제곱 필터 계수에 윈도우 함수(window function)를 승산하여 영상 복원 필터계수를 생성하는 필터계수 추출부를 구비할 수 있다.
또한, 바람직하게는, 상기 윈도우 함수는, 직사각형 윈도우 함수(Rectangular window function), 가우시안 윈도우 함수(Gaussian window function) 및 올림 코사인 윈도우 함수(raised cosine window function) 중의 어느 하나일 수 있다.
또한, 바람직하게는, 상기 영상 복원 장치는, 상기 영상 신호를 입력받고, 상기 영상 신호를 분석하여 가중치 계수를 생성하여 출력하는 가중치 계산부, 및 상기 영상 신호, 상기 필터링된 영상 신호 및 상기 가중치 계수를 입력받고, 상기 가중치 계수에 따라 상기 영상 신호 및 상기 필터링된 영상 신호의 가중 평균(weighted average)을 계산하여, 상기 가중 평균을 상기 복원된 영상 신호로서 출력하는 영상 혼합부를 더 구비할 수 있다.
또한, 바람직하게는, 상기 영상 복원 시스템은, 상기 영상 복원 장치로부터 출력된 상기 복원된 영상 신호를 영상 보간(image interpolation) 처리하여, 상기 복원된 영상 신호를 RGB 도메인으로 변환하는 영상 보간부를 더 구비할 수 있다.
본 발명의 다른 실시예에 따른 영상 복원 시스템은, 피사체로부터 영상을 촬영하여 영상 신호를 생성하고, 상기 영상 신호를 출력하는 촬상 소자, 상기 촬상 소자로부터 출력된 상기 영상 신호를 영상 보간(image interpolation) 처리하여, 상기 영상 신호를 RGB 도메인으로 변환하여 출력하는 영상 보간부, 및 상기 영상 보간부로부터 상기 RGB 도메인으로 변환된 영상 신호를 입력받고, 상기 RGB 도메인으로 변환된 영상 신호를 복원하여 복원된 영상 신호를 출력하는 영상 복원장치를 구비하고, 상기 영상 복원장치는, 상기 영상 신호를 입력받고, 상기 입력받은 영상 신호로부터 점확산 함수(Point Spread Function; PSF)를 추정하는 점확산 함수 추정부, 및 상기 영상 신호 및 상기 점확산 함수를 입력받고, 상기 점확산 함수로부터 영상 복원 필터계수를 생성하여, 상기 영상 복원 필터계수에 따라 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 영상 복원 필터부를 구비하는 것을 특징으로 한다.
상기와 같은 본 발명에 따른 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템은, 그 구조가 간단하고, 필요한 처리 용량 및 전원을 감소시킬 수 있는 효과가 있다.
도 1은, 영상 열화(degradation) 과정과 복원(restoration) 과정을 설명하기 위한 모델을 나타내는 도면이다.
도 2는, 본 발명의 일실시예에 따른 영상 복원 장치(200)를 나타내는 도면이다.
도 3은, 본 발명의 일실시예에 따른 영상 복원 필터부(230)를 나타내는 도면이다.
도 4는, 본 발명의 일실시예에 따른 필터계수 생성부(232)를 나타내는 도면이다.
도 5는, 본 발명의 일실시예에 따른 256 X 256 크기의 제약적 최소 제곱 필터계수를 나타내는 도면이다.
도 6은, 도 5에 도시된 제약적 최소 제곱 필터계수에 9 X 9 크기의 직사각형 윈도우 함수를 승산하여 생성된 영상 복원 필터계수를 나타내는 도면이다.
도 7은, 도 5에 도시된 제약적 최소 제곱 필터계수에 9 X 9 크기의 가우시안 윈도우 함수를 승산하여 생성된 영상 복원 필터계수를 나타내는 도면이다.
도 8은, 도 5에 도시된 제약적 최소 제곱 필터계수에 9 X 9 크기의 올림 코사인 윈도우 함수를 승산하여 생성된 영상 복원 필터계수를 나타내는 도면이다.
도 9는, 본 발명의 일실시예에 따른 RGB 도메인의 영상 복원 필터계수를 나타내는 도면이다.
도 10은, 본 발명의 일실시예에 따른 베이어(Bayer) 도메인의 영상 복원 필터계수를 나타내는 도면이다.
도 11은, 본 발명의 일실시예에 따른 9 X 9 크기의 FIR 필터를 나타내는 도면이다.
도 12는, 본 발명의 일실시예에 따른 영상 복원 장치를 포함하는 영상 복원 시스템을 나타내는 도면이다.
도 13은, 본 발명의 다른 실시예에 따른 영상 복원 장치를 포함하는 영상 복원 시스템을 나타내는 도면이다.
도 14는, 본 발명의 일실시예에 따른 영상 복원 방법을 나타내는 순서도(Flowchart)이다.
도 15는, 본 발명의 일실시예에 따른 영상 복원 방법에서, 영상 복원 필터계수를 생성하는 단계를 자세히 나타낸 순서도(Flowchart)이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은, 영상 열화(degradation) 과정과 복원(restoration) 과정을 설명하기 위한 모델을 나타내는 도면이다. 도 1에 도시된 바와 같이, 상기 모델(100)은 영상 열화부(102), 가산기(104) 및 영상 복원부(106)를 포함할 수 있다.
도 1을 참조하면, 영상 열화부(102)는 원본 영상 f를 입력받고, 점확산 함수(point spread function, PSF) H에 따라 열화된 영상 Hf를 출력할 수 있다. 여기에서 점확산 함수는 점 입력이 광학계를 통과하였을 때 실제로 상이 맺히는 면에서 얻어지는 광량분포를 함수로 나타낸 것을 의미한다.
가산기(104)는 영상 열화부(102)로부터 출력된 영상 Hf와 노이즈 n을 합산하여, 열화된 영상 g를 출력할 수 있다. 상기 가산기(104)는 영상 열화부(102)로부터 출력된 영상 Hf에 센서에서 발생되는 노이즈가 추가되는 현상 또는 색상 필터 어레이(color filter array, CFA)의 샘플링 열화를 모델링하기 위한 구성요소일 수 있다.
열화된 영상 g는 아래의 [수학식 1]과 같이 표시할 수 있다.
Figure 112010015945616-pat00002
영상 복원부(106)는 상기 열화된 영상 g를 입력받고, 점확산함수 H의 정보를 사용하여 영상 복원 처리를 함으로써, 아래의 [수학식 2]와 같이 복원된 영상 fR을 생성한다.
Figure 112010015945616-pat00003
여기에서 R은 영상 복원부(106)의 영상 복원 처리 과정을 모델링한 영상 복원 함수를 의미할 수 있다. 영상 복원 함수 R은 점확산함수 H로부터 추정될 수 있다.
도 2는, 본 발명의 일실시예에 따른 영상 복원 장치(200)를 나타내는 도면이다. 도 2에 도시된 영상 복원 장치(200)는 도 1에 도시된 영상 복원부(106)에 대응될 수 있다.
도 2를 참조하면, 영상 복원 장치(200)는 외부로부터 영상 신호 g를 입력받고, 이를 영상 복원(image restoration)하여 복원된 영상 신호 fR을 출력할 수 있다. 여기에서 영상 신호 g는 도 1에 도시된 열화된 영상 g에 대응되는 영상 신호일 수 있다.
도 2에 도시된 바와 같이, 영상 복원 장치(200)는, 점확산 함수 추정부(210) 및 영상 복원 필터부(230)를 구비할 수 있다. 또한, 영상 복원 장치(200)는, 가중치 계산부(250) 및 영상 혼합부(270)를 더 구비할 수도 있다.
점확산 함수 추정부(210)는, 외부로부터 영상 신호 g를 입력받고, 상기 입력받은 영상 신호 g로부터 점확산 함수(PSF)를 추정할 수 있다. 점확산 추정부(210)에서, 입력받은 영상 신호로부터 점확산 함수(PSF)를 추정하는 방법은 당업자에게 널리 알려져 있으므로 여기에서는 자세한 설명을 생략한다. 일예로서, 한국공개특허공보 제10-2007-0092357호에 영상 신호로부터 점확산 함수(PSF)를 추정하는 방법이 개시되어 있다.
영상 복원 필터부(230)는, 외부로부터 영상 신호 g를 입력받고, 점확산 함수 추정부(210)로부터 점확산 함수(PSF)를 입력받을 수 있다. 영상 복원 필터부(230)는, 점확산 함수(PSF)로부터 영상 복원 필터계수를 생성하고, 생성된 영상 복원 필터계수에 따라 영상 신호 g를 필터링하여, 필터링된 영상 신호 fT를 영상 혼합부(270)로 출력할 수 있다.
가중치 계산부(250)는, 영상 신호 g를 입력받고, 입력받은 영상 신호 g를 분석하여 가중치 계수 α를 생성하여 영상 혼합부(270)로 출력할 수 있다. 가중치 계수 α는, 영상 혼합부(270)에서 영상 신호 g와 필터링된 영상 신호 fT의 가중 평균(weighted average)을 계산하기 위한 계수이다. 가중치 계산부(250)에서 출력되는 가중치 계수 α는 0≤α≤1 일 수 있다.
영상 혼합부(270)는, 영상 신호 g, 필터링된 영상 신호 fT 및 가중치 계수 α를 입력받고, 가중치 계수 α에 따라 영상 신호 g 및 필터링된 영상 신호 fT의 가중 평균(weighted average)을 계산할 수 있다. 영상 혼합부(270)는 계산된 가중 평균을 복원된 영상 신호 fR로서 영상 복원 장치(200)의 외부로 출력할 수 있다.
영상 혼합부(270)에서, 가중치 계수 α에 따라 영상 신호 g와 필터링된 영상 신호 fT를 혼합하는 방법은 아래의 [수학식 3]과 같이 나타낼 수 있다.
Figure 112010015945616-pat00004
[수학식 3]에 나타난 바와 같이, 복원된 영상 신호 fR은 영상 신호 g 및 필터링된 영상 신호 fT의 가중 평균인데, 가중치 계수 α가 0에 가까울 수록 복원된 영상 신호 fR의 값은 필터링된 영상 신호 fT의 값에 가까워지고, 가중치 계수 α가 1에 가까울수록 복원된 영상 신호 fR의 값은 영상 신호 g의 값에 가까워질 수 있다. 즉, 가중치 계수 α에 따라, 영상 신호 g와 필터링된 영상 신호 fT의 혼합 비율이 결정될 수 있고, 이에 따라 복원된 영상 신호 fR의 노이즈를 제어할 수 있다.
도 3은, 본 발명의 일실시예에 따른 영상 복원 필터부(230)를 나타내는 도면이다. 상기 영상 복원 필터부(230)는 도 2에 도시된 영상 복원 필터부(230)에 대응되는 구성요소일 수 있다.
도 3을 참조하면, 영상 복원 필터부(230)는, 필터계수 생성부(232) 및, FIR 필터(236)를 구비할 수 있다.
필터계수 생성부(232)는, 점확산 함수 추정부(210)로부터 점확산 함수(PSF)를 입력받고, 입력받은 점확산 함수(PSF)로부터 영상 복원 필터계수(f_co)를 생성할 수 있다. 필터계수 생성부(232)는, 생성된 영상 복원 필터계수(f_co)를 FIR 필터(236)로 출력할 수 있다.
FIR 필터(236)는, 외부로부터 영상 신호 g를 입력받고, 필터계수 생성부(232)로부터 영상 복원 필터계수(f_co)를 입력받을 수 있다. FIR 필터(236)는 영상 신호 g와 영상 복원 필터계수(f_co)를 컨벌루션(convolution)하여 그 결과를 필터링된 영상 신호 fT로서 출력할 수 있다. FIR 필터는 FIR(Finite Impulse Response) 구조를 갖는 필터로서, 필터의 특성 및 일반적인 구현방법은 당업자에게 널리 알려져 있다.
도 4는, 본 발명의 일실시예에 따른 필터계수 생성부(232)를 나타내는 도면이다. 상기 필터계수 생성부(232)는 도 3에 도시된 필터계수 생성부(232)에 대응되는 구성요소일 수 있다.
도 4를 참조하면, 필터계수 생성부(232)는, 영상 복원 함수 생성부(233) 및 필터계수 추출부(234)를 구비할 수 있다. 또한, 필터계수 저장부(232)는, 필터계수 저장부(235)를 더 구비할 수도 있다.
영상 복원 함수 생성부(233)는, 점확산 함수 추정부(210)로부터 입력받은 점확산 함수(PSF)로부터 영상 복원 함수(IRF)를 생성하여, 생성된 영상 복원 함수(IRF)를 필터계수 추출부(234)로 출력할 수 있다. 상기 영상 복원 함수(IRF)는 제약적 최소 제곱(CLS) 필터의 전달함수일 수 있다.
제약적 최소 제곱(CLS) 필터의 전달함수는 아래의 [수학식 4]와 같이 생성할 수 있다.
Figure 112010015945616-pat00005
여기에서, R은 제약적 최소 제곱(CLS) 필터의 전달함수를 나타내고, H는 점확산 함수(PSF)를 나타내며, H*은 점확산 함수(PSF)의 복소 공액(complex conjugate)을 나타낸다. 또한, λ는 데이터 충실도(data fidelity)의 상대적인 양과 평활화 함수들(smoothing functions)을 제어하는 정규화 매개변수(regularization parameter)로서, 라그랑주 곱셈자(Lagrange multiplier)일 수 있다. 또한, C는 하이패스 필터의 전달함수를 나타낸다. 점확산 함수(PSF) H로 부터 제약적 최소 제곱(CLS) 필터의 전달함수 R을 계산하는 과정은, 한국등록특허공보 제10-0247938호에 설명되어 있으므로 여기에서는 자세한 설명을 생략한다.
다시 도 4를 참조하면, 필터계수 추출부(234)는, 영상 복원 함수 생성부(233)로부터 입력받은 영상 복원 함수(IRF), 즉 제약적 최소 제곱(CLS) 필터의 전달함수 R로부터 제약적 최소 제곱 필터계수를 계산할 수 있다. 제약적 최소 제곱(CLS) 필터의 전달함수 R로부터 제약적 최소 제곱 필터계수를 계산하는 것은 당업자에게 널리 알려져 있으므로 여기에서는 설명을 생략한다.
한편, 상기 제약적 최소 제곱 필터계수를 이용하여 제약적 최소 제곱(CLS) 필터를 구현하기 위해서는, 전체 영상 신호와 동일한 크기의 FIR 필터를 사용할 필요가 있다. 일예로서, 입력된 영상 신호 g가 256 X 256 크기를 갖는 영상 신호라면, 영상 신호 g를 제약적 최소 제곱(CLS) 필터로 복원하기 위해서는, 256 X 256 크기의 FIR 필터가 필요하다. 이에 따라, 256 X 256 크기의 영상 신호를 복원하기 위해서는, 256 X 256 크기의 FIR 필터에 입력되는 256 X 256 크기의 제약적 최소 제곱 필터계수가 필요하다. 여기에서 256 X 256은 256픽셀 X 256픽셀을 의미할 수 있다.
그러나, 제약적 최소 제곱(CLS) 필터의 주요한 에너지는 필터의 중앙 부분(일예로서, 256 X 256 크기의 필터인 경우, 128 픽셀 부근)에 집중되어 있기 때문에, 256 X 256 크기의 제약적 최소 제곱 필터계수에 9 X 9 크기의 윈도우 함수를 승산하여 9 X 9 크기의 영상 복원 필터계수(f_co)를 생성한 후, 상기 영상 복원 필터계수(f_co)를 이용하여 9 X 9 크기의 FIR 필터를 구현하더라도 256 X 256 크기의 FIR 필터와 유사한 필터링 결과를 얻을 수 있다.
이와 같은 원리에 따라, 도 4의 필터계수 추출부(234)는, 제약적 최소 제곱 필터계수에 9 X 9 크기의 윈도우 함수(window function)를 승산하여 영상 복원 필터계수(f_co)를 생성하여 출력할 수 있다.
여기에서, 제약적 최소 제곱 필터계수에 승산되는 상기 윈도우 함수는, 직사각형 윈도우 함수(Rectangular window function), 가우시안 윈도우 함수(Gaussian window function) 및 올림 코사인 윈도우 함수(raised cosine window function) 중의 어느 하나일 수 있다. 하지만, 본 발명의 일실시예에 따른 상기 윈도우 함수는 여기에 국한되는 것은 아니며, 일반적으로 당업자에게 알려진 윈도우 함수 중의 어느 하나일 수 있다. 또한, 상기 윈도우 함수는 9 X 9 크기뿐만 아니라, 다양한 크기로 변형하는 것이 가능하다. 윈도우 함수의 크기는, 점확산 함수(PSF) 및 제약적 최소 제곱(CLS) 필터의 전달함수에 따라 설정될 수 있다. 필터 계수 추출부(234)의 구체적인 동작에 대해서는 도 5 내지 도 8을 참조하여 설명하기로 한다.
상기 제약적 최소 제곱 필터계수 및 영상 복원 필터계수(f_co)는, 256 X 256 크기의 제약적 최소 제곱 필터계수 및 9 X 9 크기의 영상 복원 필터계수(f_co)를 예로 들어 설명하였으나, 이는 예시적인 것으로서 제약적 최소 제곱 필터계수의 크기 및 영상 복원 필터계수(f_co)의 크기는 다양한 변형이 가능하다.
도 4에 도시된 필터계수 저장부(235)는, 필터계수 추출부(234)에서 출력된 영상 복원 필터계수(f_co)를 입력받고, 이를 저장할 수 있다. 영상 복원 필터계수(f_co)는, 도 4에 도시된 바와 같이 필터계수 저장부(235)에 저장된 후 외부로 출력될 수도 있고, 도 4에 도시된 것과는 다르게 필터계수 저장부(235)에 저장되지 않고, 필터계수 추출부(234)로부터 외부로 직접 출력될 수도 있다.
도 5는, 본 발명의 일실시예에 따른 256 X 256 크기의 제약적 최소 제곱 필터계수를 나타내는 도면이다. 도 5를 참조하면, 도 5의 가로축은 픽셀의 위치를 나타내고, 세로축은 각 픽셀에 대응되는 제약적 최소 제곱 필터계수(CLS_f_co)의 값을 나타낼 수 있다. 도 5는, 필터의 중앙 부분(128픽셀 부근)을 확대하여 표시한 것으로서, 도 5에 도시된 제약적 최소 제곱 필터계수(CLS_f_co)는 256 X 256 크기를 가질 수 있다.
도 6은, 도 5에 도시된 제약적 최소 제곱 필터계수에 9 X 9 크기의 직사각형 윈도우 함수를 승산하여 생성된 영상 복원 필터계수를 나타내는 도면이다. 도 5와 유사하게, 도 6의 가로축은 픽셀의 위치를 나타내고, 세로축은 각 픽셀에 대응되는 영상 복원 필터계수(f_co)의 값을 나타낼 수 있다.
도 6을 참조하면, 도 6의 영상 복원 필터계수(f_co)는, 도 5의 제약적 최소 제곱 필터계수(CLS_f_co)에 9 X 9 크기의 직사각형 윈도우 함수를 승산하였기 때문에, 필터의 중앙 부분인 128 픽셀 부근의 9개의 픽셀에 해당되는 부분(A)의 영상 복원 필터계수(f_co)는 도 5의 제약적 최소 제곱 필터계수(CLS_f_co)와 동일한 값을 갖지만, 그 외의 부분(B)에서의 영상 복원 필터계수(f_co)는 모두 0의 값을 갖는 것을 알 수 있다.
도 7은, 도 5에 도시된 제약적 최소 제곱 필터계수에 9 X 9 크기의 가우시안 윈도우 함수를 승산하여 생성된 영상 복원 필터계수를 나타내는 도면이다. 도 6과 유사하게, 도 7의 가로축은 픽셀의 위치를 나타내고, 세로축은 각 픽셀에 대응되는 영상 복원 필터계수(f_co)의 값을 나타낼 수 있다.
도 7의 영상 복원 필터계수(f_co)는, 도 5의 제약적 최소 제곱 필터계수(CLS_f_co)에 9 X 9 크기의 가우시안 윈도우 함수를 승산한 것인데, 가우시안 윈도우 함수는 중심값에서 멀어질수록 기하급수적으로 감소하는 특징이 있다. 따라서, 도 7의 영상 복원 필터계수(f_co)의 값은, 필터의 중앙 부분(A)에서 멀어질수록 제약적 최소 제곱 필터계수(CLS_f_co)보다 작은 값을 갖게 된다. 필터의 중앙 부분(A)에 해당되지 않는 부분(B)의 영상 복원 필터계수(f_co)는, 도 6과 유사하게, 0의 값을 갖게 된다.
일예로서, 가우시안 함수의 표준 편차가 σ인 경우, 제약적 최소 제곱 필터계수(CLS_f_co)에 3σ의 반지름을 갖는 가우시안 윈도우 함수를 승산하여 생성된 영상 복원 필터계수(f_co)를 이용하여 FIR 필터를 구현하면, 상기 FIR 필터는 제약적 최소 제곱(CLS) 필터의 전체 에너지의 99%이상을 포함한다. 따라서, 가우시안 윈도우 함수의 크기는 이를 참고하여 적절히 선택될 수 있다.
도 8은, 도 5에 도시된 제약적 최소 제곱 필터계수에 9 X 9 크기의 올림 코사인 윈도우 함수를 승산하여 생성된 영상 복원 필터계수를 나타내는 도면이다. 도 6과 유사하게, 도 8의 가로축은 픽셀의 위치를 나타내고, 세로축은 각 픽셀에 대응되는 영상 복원 필터계수(f_co)의 값을 나타낼 수 있다.
도 8을 참조하면, 도 8의 영상 복원 필터계수(f_co)는 도 7의 영상 복원 필터계수(f_co)와 유사한 값을 갖는다. 그러나, 올림 코사인 윈도우 함수는 가우시안 윈도우 함수에 비하여 중심값으로부터 멀어질 때의 함수 값이 급격하게 감소하지 않기 때문에, 도 8에 도시된 영상 복원 필터계수(f_co)의 절대값은 도 7에 도시된 영상 복원 필터계수(f_co)의 절대값보다 큰 값을 갖게 된다.
도 6 내지 도 8에 개시된 영상 복원 필터계수(f_co)들은 모두, 중심값을 중심으로 대칭적인 특징을 가질 수 있다. 이에 따라, 상기 영상 복원 필터계수(f_co)에 따라 구현된 FIR 필터는 영위상 지연(zero-phase delay) 또는 일정 위상 지연(constant-phase delay)의 특징을 가질 수 있다.
도 9는, 본 발명의 일실시예에 따른 RGB 도메인의 영상 복원 필터계수를 나타내는 도면이다. 도 9를 참조하면, 도 9의 (a)는 Red 색상에 해당되는 영상 복원 필터계수이고, 도 9의 (b)는 Green 색상에 해당되는 영상 복원 필터계수이며, 도 9의 (c)는 Blue 색상에 해당되는 영상 복원 필터계수이다. 도 9의 RGB 도메인의 영상 복원 필터계수는 13 X 13의 크기를 갖는다.
도 9를 참조하면, RGB 색상에 해당되는 각각의 영상 복원 필터계수들은, 중심 부분에 가까울수록 큰 절대값을 갖고, 중심 부분에서 멀어질수록 0에 가까운 값을 갖는 것을 알 수 있다. 도 9에 도시된 RGB 도메인의 영상 복원 필터계수들은 예시적인 것으로서, 이로부터 다양한 변형이 가능함이 당업자에게 자명하다.
도 10은, 본 발명의 일실시예에 따른 베이어(Bayer) 도메인의 영상 복원 필터계수를 나타내는 도면이다. 도 9와 유사하게, 도 10의 (a), (b) 및 (c)는, 각각 Red 색상, Green 색상 및 Blue 색상에 해당되는 영상 복원 필터계수이다. 도 10의 베이어 도메인의 영상 복원 필터계수는 9 X 9의 크기를 갖는다.
도 9에 도시된 13 X 13 크기의 RGB 도메인의 영상 복원 필터계수는 도 10에 도시된 9 X 9 크기의 베이어(Bayer) 도메인의 영상 복원 필터계수로 변환될 수 있다. 영상 보간(image interpolation) 과정을 통하여, RGB 도메인의 영상 복원 필터계수를 베이어 도메인의 영상 복원 필터계수로 변환하는 것은 당업자에게 자명하므로 여기에서는 자세한 설명을 생략한다.
도 11은, 본 발명의 일실시예에 따른 9 X 9 크기의 FIR 필터를 나타내는 도면이다. 도 11에 도시된 FIR 필터는, 도 3에 도시된 FIR 필터(216)에 대응될 수 있다. 도 11을 참조하면, 상기 FIR 필터는 8개의 라인 지연 회로, 8 X 9개의 플립-플롭(D), 9 X 9개의 승산기(multiplier) 및 가산기(adder)를 구비할 수 있다.
도 11에 도시된 R(m,n)은 도 10의 (a), (b), (c)에 도시된 베이어 도메인의 영상 복원 필터계수 중 어느 하나일 수 있다. 도 11의 FIR 필터는, 순차적으로 입력되는 영상 신호 g의 각 픽셀들의 영상값을, 대응되는 영상 복원 필터계수와 승산하고, 승산된 결과들을 모두 합산함으로써, 필터링된 영상 신호 fT를 생성할 수 있다. 즉, 도 11의 FIR 필터는 9 X 9 크기의 영상 신호 g와 9 X 9 크기의 영상 복원 필터계수를 컨벌루션(convolution)하여 필터링된 영상 신호 fT를 생성할 수 있다.
한편, 도 11의 FIR 필터는 9 X 9 크기보다 작은 크기로 구현될 수도 있다. 즉, 도 10의 (a), (b), (c)에 도시된 바와 같이, 베이어 도메인의 영상 복원 필터계수는, 베이어 패턴에 따라 정해진 위치에서만 영상 복원 필터계수가 실질적인 값을 갖고, 나머지 위치에서는 영상 복원 필터계수의 값이 0을 갖는 특징이 있기 때문에, 9 X 9 크기의 베이어 도메인의 영상 복원 필터계수를 이용하는 경우에도, 9 X 9 크기보다 작은 크기의 FIR 필터를 이용할 수 있다. 즉, 베이어 도메인의 영상 복원 필터계수의 값이 0인 픽셀의 영상값은 FIR 필터에서 고려할 필요가 없으므로, FIR 필터에 구비되는 승산기 및 가산기의 수를 감소시킬 수 있다.
한편, 도 11에 도시된 FIR 필터는, 도 9 (a), (b), (c)에 도시된 RGB 도메인의 영상 복원 필터를 이용하여 구현될 수도 있다. 이 경우, R(m,n)은 도 9의 (a), (b), (c)에 도시된 RGB 도메인의 영상 복원 필터계수 중 어느 하나일 수 있고, FIR 필터의 크기는 RGB 도메인의 영상 복원 필터계수의 크기와 동일한 13 X 13일 수 있다.
도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 영상 복원 장치에 구비되는 FIR 필터는, 일반적인 FIR 구조를 갖기 때문에 하드웨어 구조의 변경 없이 필터의 변경 또는 개선이 직접적으로 가능하다.
도 12는, 본 발명의 일실시예에 따른 영상 복원 장치를 포함하는 영상 복원 시스템을 나타내는 도면이다. 도 12를 참조하면, 상기 영상 복원 시스템(1200)은, 촬상 소자(1220), 영상 보간부(1230) 및 영상 복원 장치(1240)를 구비할 수 있다. 또한, 상기 영상 복원 시스템(1200)은, 렌즈(1210)를 더 구비할 수 있다.
도 12를 참조하면, 촬상 소자(1220)는 피사체(미도시)로부터 영상을 촬영하여 영상 신호 gB를 생성하고, 생성된 영상 신호 gB를 영상 보간부(1230)로 출력할 수 있다. 상기 촬상 소자(1220)는 CIS(CMOS image sensor) 또는 CCD(charge coupled device) 등으로 구현될 수 있다. 촬상 소자(1220)의 픽셀 어레이는 100만 픽셀 이상의 많은 픽셀이 배열된 APS(active pixel sensor) 어레이일 수 있다. 상기 촬상 소자(1220)는 APS 어레이의 픽셀마다 구비되는 광소자(photodiode)를 이용하여, 피사체(미도시)로부터 영상을 촬상하여 R, G, B로 이루어진 영상 신호를 생성할 수 있다. APS 어레이를 이루는 각 픽셀 상부에는 특정 색의 빛만 받아들이도록 3가지 종류의 색상 필터(color filter)가 베이어(Bayer) 패턴 형태로 설치될 수 있다. 따라서, 도 12의 촬상 소자(1220)에서 출력되는 영상 신호 gB는, 베이어 패턴을 가질 수 있다.
영상 보간부(1230)는, 입력받은 영상 신호 gB를 영상 보간(image interpolation) 처리하여, RGB 도메인의 영상 신호 g를 생성하여 영상 복원 장치(1240)로 출력할 수 있다.
도 12을 참조하면, 영상 복원 장치(1240)는 영상 보간부(1230)로부터 출력되는 RGB 도메인의 영상 신호 g를 입력받기 때문에, 영상 복원 장치(1240)의 내부에 구비되는 필터계수 생성부(212)는 RGB 도메인의 영상 복원 필터계수(f_co)를 생성하여 FIR 필터(216)로 출력할 수 있다. 영상 복원 장치(1240)는 RGB 도메인의 영상 신호 g를 영상 복원하여, 복원된 영상 신호 fR을 출력할 수 있다. 여기에서, RGB 도메인의 영상 복원 필터계수(f_co)는 도 9에 도시된 영상 복원 필터계수일 수 있다.
도 12에 도시된 영상 복원 장치(1240)는 도 2 내지 도 4를 참조하여 상술한 영상 복원 장치(200)에 대응되는 구성요소일 수 있다. 따라서, 영상 복원 장치(1240)의 구체적인 구성 및 동작에 관한 설명은 이미 상술하였으므로, 여기에서는 설명을 생략한다.
렌즈(1210)는 피사체(미도시)와 촬상 소자(1220) 사이에 배치되어, 촬상 소자(1220)로 전달되는 피사체(미도시)의 영상을 굴절시킬 수 있다. 본 발명의 일실시예에 따른 영상 복원 시스템(1200)에 구비되는 렌즈(1210)는 연장된 초점 심도(Extended Depth of Field, EDoF)를 갖는 EDoF 렌즈일 수 있다.
도 13은, 본 발명의 다른 실시예에 따른 영상 복원 장치를 포함하는 영상 복원 시스템을 나타내는 도면이다. 상기 영상 복원 시스템(1300)은, 촬상 소자(1320), 영상 복원 장치(1330) 및 영상 보간부(1340)를 구비할 수 있다. 또한, 상기 영상 복원 시스템(1300)은, 렌즈(1310)를 더 구비할 수 있다. 도 13에 도시된 상기 영상 복원 시스템(1300)은 도 12에 도시된 영상 복원 시스템(1200)과 유사하지만, 영상 보간부(1340)와 영상 복원 장치(1330)의 순서가 서로 바뀐 점에서 차이가 있다.
도 13을 참조하면, 촬상 소자(1320)는 피사체(미도시)로부터 영상을 촬영하여 영상 신호 gB를 생성하고, 생성된 영상 신호 gB를 영상 보간부(1230)로 출력할 수 있다. 상기 촬상 소자(1320)에서 출력되는 영상 신호 gB는, 베이어 패턴을 가질 수 있다.
여기에서, 도 13의 영상 복원 장치(1330)는 촬상 소자(1320)로부터 출력된 베이어 도메인의 영상 신호 gB를 입력받기 때문에, 영상 복원 장치(1330)의 내부에 구비되는 필터계수 생성부(212)는 베이어 도메인의 영상 복원 필터계수(f_co)를 생성하여 FIR 필터(216)로 출력할 수 있다. 영상 복원 장치(1330)는 베이어 도메인의 영상 신호 g를 영상 복원하여, 복원된 영상 신호 fRB를 출력할 수 있다. 여기에서, 베이어 도메인의 영상 복원 필터계수(f_co)는 도 10에 도시된 영상 복원 필터계수일 수 있고, 복원된 영상 신호 fRB는 베이어 도메인의 영상 신호일 수 있다.
도 13에 도시된 영상 복원 장치(1330)는 도 2 내지 도 4를 참조하여 상술한 영상 복원 장치(200)에 대응되는 구성요소일 수 있다. 따라서, 영상 복원 장치(1330)의 구체적인 구성 및 동작에 관한 설명은 이미 상술하였으므로, 여기에서는 생략한다.
영상 보간부(1340)는, 영상 복원 장치(1330)로부터 출력된 베이어 도메인의 복원된 영상 신호 fRB를 영상 보간(image interpolation) 처리하여, RGB 도메인의 복원된 영상 신호 fR을 생성하여 출력할 수 있다. 도 13에 도시된 렌즈(1310)도 도 12에 도시된 렌즈(1210)와 유사하게, 연장된 초점 심도(Extended Depth of Field, EDoF)를 갖는 EDoF 렌즈일 수 있다.
한편, 도 12 및 도 13에 도시된 본 발명의 일실시예에 따른 영상 복원 시스템(1200, 1300)은, 휴대폰 카메라, 디지털 스틸 카메라(digital still camera) 및 이와 유사한 카메라 시스템 등에 구비될 수 있다.
도 14는, 본 발명의 일실시예에 따른 영상 복원 방법을 나타내는 순서도(Flowchart)이다. 도 14를 참조하면, 상기 영상 복원 방법(1400)은, 영상 신호를 입력받고, 입력받은 영상 신호로부터 점확산 함수(PSF)를 추정하는 단계(S141), 영상 신호 및 점확산 함수를 입력받고, 점확산 함수로부터 영상 복원 필터계수를 생성하는 단계(S142); 및 영상 복원 필터계수에 따라 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 단계(S143)를 포함할 수 있다.
한편, 도 14에 도시되지는 않았지만, 상기 영상 복원 방법(1400)은, 영상 신호를 입력받고, 영상 신호를 분석하여 가중치 계수를 생성하여 출력하는 단계, 및 가중치 계수에 따라 영상 신호 및 필터링된 영상 신호의 가중 평균(weighted average)을 계산하여, 상기 가중 평균을 복원된 영상 신호로서 출력하는 단계를 더 포함할 수 있다.
도 15는, 본 발명의 일실시예에 따른 영상 복원 방법에서, 영상 복원 필터계수를 생성하는 단계를 자세히 나타낸 순서도(Flowchart)이다. 도 15를 참조하면, 영상 복원 필터계수를 생성하는 단계는, 점확산 함수(PSF)로부터 영상 복원 함수(IRF)를 생성하는 단계(S151), 영상 복원 함수(IRF)를 입력받고, 상기 영상 복원 함수(IRF)로부터 제약적 최소 제곱 필터 계수를 계산하는 단계(S152), 및 제약적 최소 제곱 필터 계수에 윈도우 함수(window function)를 승산하여 영상 복원 필터계수를 생성하는 단계를 포함할 수 있다.
도 14 및 도 15에 도시된 영상 복원 방법은, 도 2 내지 도 4를 참조하여 상술한 본 발명의 일실시예에 따른 영상 복원 장치에 관한 설명과 유사하므로 여기에서는 자세한 설명을 생략한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
210: 점확산 함수 추정부 230: 영상 복원 필터부
250: 가중치 계산부 270: 영상 혼합부
232: 필터계수 생성부 233: 영상 복원 함수 생성부
234: 필터계수 추출부 235: 필터 계수 저장부
236: FIR 필터

Claims (10)

  1. 영상 신호를 입력받고, 상기 입력받은 영상 신호로부터 점확산 함수(Point Spread Function; PSF)를 추정하는 점확산 함수 추정부; 및
    상기 영상 신호 및 상기 점확산 함수를 입력받고, 상기 점확산 함수로부터 상기 영상 신호의 크기보다 작은 크기를 갖는 영상 복원 필터계수를 생성하여, 상기 영상 복원 필터계수에 따라 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 영상 복원 필터부를 구비하는 것을 특징으로 하는 영상 복원 장치.
  2. 제1항에 있어서, 상기 영상 복원 필터부는,
    상기 점확산 함수를 입력받고, 상기 입력받은 점확산 함수로부터 영상 복원 필터계수를 생성하여 출력하는 필터계수 생성부; 및
    상기 영상 신호와 상기 영상 복원 필터 계수를 입력받고, 상기 영상 신호와 상기 영상 복원 필터계수를 컨벌루션하여 출력하는 FIR(Finite Impulse Response) 필터를 구비하는 것을 특징으로 하는 영상 복원 장치.
  3. 제2항에 있어서, 상기 필터계수 생성부는,
    상기 점확산 함수로부터 영상 복원 함수를 생성하는 영상 복원 함수 생성부; 및
    상기 영상 복원 함수를 입력받고, 상기 영상 복원 함수로부터 제약적 최소 제곱 필터 계수를 계산하며, 상기 제약적 최소 제곱 필터 계수에 윈도우 함수(window function)를 승산하여 영상 복원 필터계수를 생성하는 필터계수 추출부를 구비하는 것을 특징으로 하는 영상 복원 장치.
  4. 제3항에 있어서, 상기 윈도우 함수는,
    직사각형 윈도우 함수(Rectangular window function), 가우시안 윈도우 함수(Gaussian window function) 및 올림 코사인 윈도우 함수(raised cosine window function) 중의 어느 하나인 것을 특징으로 하는 영상 복원 장치.
  5. 영상 신호를 입력받고, 상기 입력받은 영상 신호로부터 점확산 함수(Point Spread Function; PSF)를 추정하는 단계;
    상기 영상 신호 및 상기 점확산 함수를 입력받고, 상기 점확산 함수로부터 상기 영상 신호의 크기보다 작은 크기를 갖는 영상 복원 필터계수를 생성하는 단계; 및
    상기 영상 복원 필터계수에 따라 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 단계를 포함하는 것을 특징으로 하는 영상 복원 방법.
  6. 피사체로부터 영상을 촬영하여 영상 신호를 생성하고, 상기 영상 신호를 출력하는 촬상 소자; 및
    상기 촬상 소자로부터 상기 영상 신호를 입력받고, 상기 입력받은 영상 신호를 복원하여 복원된 영상 신호를 출력하는 영상 복원장치를 구비하고,
    상기 영상 복원장치는,
    상기 영상 신호를 입력받고, 상기 입력받은 영상 신호로부터 점확산 함수(Point Spread Function; PSF)를 추정하는 점확산 함수 추정부; 및
    상기 영상 신호 및 상기 점확산 함수를 입력받고, 상기 점확산 함수로부터 상기 영상 신호의 크기보다 작은 크기를 갖는 영상 복원 필터계수를 생성하여, 상기 영상 복원 필터계수에 따라 상기 영상 신호를 필터링하여 필터링된 영상 신호로서 출력하는 영상 복원 필터부를 구비하는 것을 특징으로 하는 영상 복원 시스템.
  7. 제6항에 있어서, 상기 영상 복원 필터부는,
    상기 점확산 함수를 입력받고, 상기 입력받은 점확산 함수로부터 영상 복원 필터계수를 생성하여 출력하는 필터계수 생성부; 및
    상기 영상 신호와 상기 영상 복원 필터 계수를 입력받고, 상기 영상 신호와 상기 영상 복원 필터계수를 컨벌루션하여 출력하는 FIR(Finite Impulse Response) 필터를 구비하는 것을 특징으로 하는 영상 복원 시스템.
  8. 제7항에 있어서, 상기 필터계수 생성부는,
    상기 점확산 함수로부터 영상 복원 함수를 생성하는 영상 복원 함수 생성부; 및
    상기 영상 복원 함수를 입력받고, 상기 영상 복원 함수로부터 제약적 최소 제곱 필터 계수를 계산하며, 상기 제약적 최소 제곱 필터 계수에 윈도우 함수(window function)를 승산하여 영상 복원 필터계수를 생성하는 필터계수 추출부를 구비하는 것을 특징으로 하는 영상 복원 시스템.
  9. 제8항에 있어서, 상기 윈도우 함수는,
    직사각형 윈도우 함수(Rectangular window function), 가우시안 윈도우 함수(Gaussian window function) 및 올림 코사인 윈도우 함수(raised cosine window function) 중의 어느 하나인 것을 특징으로 하는 영상 복원 시스템.
  10. 제6항에 있어서, 상기 영상 복원 시스템은,
    상기 영상 복원 장치로부터 출력된 상기 복원된 영상 신호를 영상 보간(image interpolation) 처리하여, 상기 복원된 영상 신호를 RGB 도메인으로 변환하는 영상 보간부를 더 구비하는 것을 특징으로 하는 영상 복원 시스템.
KR1020100022424A 2010-03-12 2010-03-12 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템 Active KR101633397B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100022424A KR101633397B1 (ko) 2010-03-12 2010-03-12 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템
US13/045,127 US8582911B2 (en) 2010-03-12 2011-03-10 Image restoration device, image restoration method and image restoration system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100022424A KR101633397B1 (ko) 2010-03-12 2010-03-12 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템

Publications (2)

Publication Number Publication Date
KR20110103205A KR20110103205A (ko) 2011-09-20
KR101633397B1 true KR101633397B1 (ko) 2016-06-27

Family

ID=44560013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100022424A Active KR101633397B1 (ko) 2010-03-12 2010-03-12 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템

Country Status (2)

Country Link
US (1) US8582911B2 (ko)
KR (1) KR101633397B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101667798B1 (ko) * 2010-03-29 2016-10-20 삼성전자 주식회사 영상 처리 장치 및 이의 영상 처리 방법
CN102354395B (zh) * 2011-09-22 2013-10-09 西北工业大学 基于稀疏表示的模糊图像盲复原方法
KR101705605B1 (ko) * 2011-11-14 2017-02-23 삼성전자주식회사 코드화된 조명을 이용하는 촬상 장치 및 이미지 처리 장치와 그 방법
CN102819830B (zh) * 2012-08-15 2015-04-22 北京交通大学 一种新的基于卡尔曼滤波的点扩散函数估计方法
KR20150050728A (ko) 2013-10-31 2015-05-11 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
KR102163045B1 (ko) 2014-02-17 2020-10-08 삼성전기주식회사 이미지 보정 장치 및 그 방법
CN103955905B (zh) * 2014-05-13 2017-04-05 北京邮电大学 基于快速小波变换和加权图像融合的单幅图像去雾方法
TW201716933A (zh) * 2015-11-06 2017-05-16 原相科技股份有限公司 具有補償失焦影像的光學導航裝置及其補償電路
US11575865B2 (en) 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
WO2022019513A1 (ko) * 2020-07-24 2022-01-27 삼성전자 주식회사 오토포커스를 보상하는 방법 및 오토포커스를 보상하는 전자 장치
US11721001B2 (en) 2021-02-16 2023-08-08 Samsung Electronics Co., Ltd. Multiple point spread function based image reconstruction for a camera behind a display
US11722796B2 (en) 2021-02-26 2023-08-08 Samsung Electronics Co., Ltd. Self-regularizing inverse filter for image deblurring
US12393765B2 (en) 2021-08-06 2025-08-19 Samsung Electronics Co., Ltd. Automating search for improved display structure for under-display camera systems
US12216277B2 (en) 2021-10-14 2025-02-04 Samsung Electronics Co., Ltd. Optical element for deconvolution
US12482075B2 (en) 2022-06-08 2025-11-25 Samsung Electronics Co., Ltd. Restoring images using deconvolution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100247938B1 (ko) 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
KR100265722B1 (ko) 1997-04-10 2000-09-15 백준기 블럭기반영상처리방법및장치
US6285799B1 (en) 1998-12-15 2001-09-04 Xerox Corporation Apparatus and method for measuring a two-dimensional point spread function of a digital image acquisition system
KR100417876B1 (ko) 2002-03-11 2004-02-11 한성엘컴텍 주식회사 이미지 센서의 화질개선장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166853A (en) * 1997-01-09 2000-12-26 The University Of Connecticut Method and apparatus for three-dimensional deconvolution of optical microscope images
KR100580369B1 (ko) 2004-06-01 2006-05-15 학교법인연세대학교 컬러 영상 부호화/복호화 방법 및 장치
KR100494098B1 (ko) * 2004-06-28 2005-06-10 엠텍비젼 주식회사 Cmos 이미지 센서
CA2576528A1 (en) * 2004-08-09 2006-02-16 Classifeye Ltd. Non-contact optical means and method for 3d fingerprint recognition
KR100615277B1 (ko) 2004-08-18 2006-08-25 엠텍비젼 주식회사 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치
JP4547223B2 (ja) 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP4679174B2 (ja) 2005-02-25 2011-04-27 パナソニック株式会社 画像処理装置およびこの画像処理装置を備えたデジタルカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100265722B1 (ko) 1997-04-10 2000-09-15 백준기 블럭기반영상처리방법및장치
KR100247938B1 (ko) 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US6285799B1 (en) 1998-12-15 2001-09-04 Xerox Corporation Apparatus and method for measuring a two-dimensional point spread function of a digital image acquisition system
KR100417876B1 (ko) 2002-03-11 2004-02-11 한성엘컴텍 주식회사 이미지 센서의 화질개선장치

Also Published As

Publication number Publication date
US20110222764A1 (en) 2011-09-15
KR20110103205A (ko) 2011-09-20
US8582911B2 (en) 2013-11-12

Similar Documents

Publication Publication Date Title
US8582911B2 (en) Image restoration device, image restoration method and image restoration system
Khashabi et al. Joint demosaicing and denoising via learned nonparametric random fields
Gunturk et al. Demosaicking: color filter array interpolation
CN101925922B (zh) 内插系统和方法
Menon et al. Regularization approaches to demosaicking
CN113228628A (zh) 用于转换非拜尔图案颜色滤波器阵列图像数据的系统和方法
CN103347190B (zh) 一种边相关的联合彩色去马赛克和放大方法
JP2010161701A (ja) 画像処理装置、画像処理方法、プログラム、及び撮像装置
CN110557584A (zh) 图像处理方法及装置、计算机可读存储介质
KR101700928B1 (ko) 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치
CN113168671A (zh) 噪点估计
KR101225056B1 (ko) 이미지 센서 노이즈 저감 장치 및 방법
WO2020139493A1 (en) Systems and methods for converting non-bayer pattern color filter array image data
CN116433483A (zh) 一种用于复杂退化场景的图像盲超分辨率重建方法
WO2015119574A1 (en) Methods and systems for demosaicing an image
KR100565429B1 (ko) 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
Hore et al. An edge-sensing generic demosaicing algorithm with application to image resampling
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
Gevrekci et al. POCS-based restoration of Bayer-sampled image sequences
JP5131567B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
Kim et al. Real-time bayer-domain image restoration for an extended depth of field (EDoF) camera
Sung et al. Color filter array demosaicking by using subband synthesis scheme
Battiato et al. Recent patents on color demosaicing
Yoo et al. Joint deblurring and demosaicing using edge information from bayer images
Song A new time-effective weighted interpolation method for color filter array demosaicking

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000