KR20090020918A - 영상 보간 방법 및 장치 - Google Patents

영상 보간 방법 및 장치 Download PDF

Info

Publication number
KR20090020918A
KR20090020918A KR1020070085557A KR20070085557A KR20090020918A KR 20090020918 A KR20090020918 A KR 20090020918A KR 1020070085557 A KR1020070085557 A KR 1020070085557A KR 20070085557 A KR20070085557 A KR 20070085557A KR 20090020918 A KR20090020918 A KR 20090020918A
Authority
KR
South Korea
Prior art keywords
interpolation
image
value
values
current pixel
Prior art date
Application number
KR1020070085557A
Other languages
English (en)
Other versions
KR101327790B1 (ko
Inventor
문영수
이시화
이호진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070085557A priority Critical patent/KR101327790B1/ko
Publication of KR20090020918A publication Critical patent/KR20090020918A/ko
Application granted granted Critical
Publication of KR101327790B1 publication Critical patent/KR101327790B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 보간 방법 및 장치 관한 것으로서, 본 발명에 따른 영상 보간 방법은 이미지의 픽셀들 중 현재 픽셀의 복수의 소정 방향들의 주변 픽셀들의 값을 이용하여 소정 방향들 각각에 대한 현재 픽셀의 보간 값을 결정하고, 현재 픽셀의 값과 계산된 보간 값들과의 상관도들을 계산한 후, 계산된 상관도들에 따라, 소정 방향들 각각의 보간 값들 중 어느 하나를 상기 현재 픽셀의 보간 값으로 결정함으로써, 간단한 계산으로도 색상 오류 현상이나 지퍼 열화 등을 방지하여 신뢰성 있는 컬러 영상을 얻을 수 있다.

Description

영상 보간 방법 및 장치{Image interpolation method and apparatus}
본 발명은 영상 보간 방법 및 장치에 관한 것으로, 특히 단판식 영상 센서의 각 픽셀에서 감지된 컬러 신호로부터 상기 픽셀에서 제외된 컬러 신호를 보간하는 영상 보간 방법 및 장치에 관한 것이다.
일반적으로, 디지털 카메라나 캠코더는 필름 대신 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 영상 센서를 이용한다. 이와 같은 영상 센서는 빛의 밝기 값을 감지하므로 이 영상 센서를 통해 획득되는 영상은 컬러 영상이 아닌 흑백 영상이다. 따라서, 컬러 영상을 획득하기 위해서, 이 영상 센서의 각 픽셀마다 R(Red), G(Green) 및 B(Blue) 컬러 성분을 통과시키는 컬러 필터 어레이(Color Filter Array, 이하, "CFA"라 함)가 설치되고, 이 영상 센서의 각 픽셀들은 CFA를 통과한 R, G, B 컬러 신호들의 밝기 강도를 감지한다.
방송 장치 등에서는, 이 R, G, B 각각의 컬러 신호들을 감지하는 3 개의 CCD 또는 CMOS 센서가 사용되기도 하지만, 일반적으로는 비용 절감을 위해 단판식 CCD 또는 CMOS 센서가 많이 사용된다. 그런데, 이러한 단판식 센서의 각 픽셀에는 여러 채널의 컬러 정보 중에서 하나의 컬러 정보만이 저장되므로, RGB 풀 컬러(RGB Full color)의 완전한 영상을 얻기 위해서는 각 픽셀에 저장되어 있지 않은 다른 채널의 컬러 정보를 주변 픽셀의 컬러 정보로부터 보간(interpolation)해야 한다.
이때, 잘 알려진 보간법으로는 주변 픽셀의 평균값을 사용하는 양선형 보간법(bilinear interpolation)이 있다. 일 예로서, 이 양선형 보간법을 이용하여 B 값만을 가지는 픽셀을 보간하는 경우, 이 B 픽셀에서의 G 값은 이 B 픽셀의 상하좌우의 주위 4개의 픽셀들의 G 값의 평균을 계산하여 보간할 수 있으며, 이 B 픽셀에서의 R 값은 이 B 픽셀의 대각선 방향의 주위 4개의 픽셀들의 R 값의 평균을 계산하여 보간할 수 있다.
그런데, 이러한 양선형 보간법은 컬러 보간시 물체의 윤곽이나 경계선 등의 에지에서 원래의 컬러와는 다른 색으로 보간되어 일부 픽셀들이 주위와 어울리지 않게 튀어 보이는 현상인 색상 오류(false color), 경계에서 선명도가 떨어지는 영상 블러(blur), 영상 에지 부근에서 미세한 스프라이프(stripe) 패턴이 촘촘히 반복적으로 교차하여 발생하는 지퍼 열화(zipper artifact), 고주파 성분이 저주파 성분과 혼동되는 엘리어싱 효과(aliasing effect) 등의 결함이 확연하게 드러나는 문제점이 있다.
그 이외에도 X. Li et. al., "New Edge-Directed Interpolation". IEEE Trans. on Image Processing, Vol.10, No.10 October 2001, pp.1521-1527에 개시된 에지 방향 보간법(Edge-Directed interpolation), S.C.Pei and I.K.Tam, "Effective color interpolation in CCD color filter arrays using signal correlation", IEEE Trans Circ Syst Video Technol 13., 503-507, 2003에 개시된 고정 휴 기반 보간법(Constant-Hue based interpolation) 및 Lanlan Chang and Yap-Peng Tan, "Hybrid Color Filter Array Demonsaicking for Effective Artifact Suppression, Journal of Electronic Imaging, vol.15, Mar.2006 에 개시된 적응적 에지 기반 보간법(Adaptive Edge-based interpolation) 등이 있다.
하지만, 이러한 보간법을 사용하여도 여전히 상기 결함들이 그대로 드러나는 경우도 있으며, 특히 발생되는 결함이 적더라도 보간을 위해 많은 계산량이 요구되거나 고용량의 메모리가 요구되는 등의 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 간단한 계산으로 색상 오류 현상이나 지퍼 열화 등을 방지하여 신뢰성 있는 컬러 영상을 얻을 수 있게 하는 영상 보간 방법 및 장치를 제공하는 데 있다. 또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 영상 보간 방법은 이미지의 픽셀들 중 현재 픽셀의 복수의 소정 방향들의 주변 픽셀들의 값을 이용하여 상기 소정 방향들 각각에 대한 현재 픽셀의 보간 값을 결정하는 단계; 상기 현재 픽셀의 값과 상기 계산된 보간 값들과의 상관도들을 계산하는 단계; 및 상기 계산된 상관도들에 따라, 상기 소정 방향들 각각의 보간 값들 중 어느 하나를 상기 현재 픽셀의 보간 값으로 결정하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 영상 보간 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 영상 보간 장치는 이미지의 픽셀들 중 현재 픽셀의 복수의 소정 방향들의 주변 픽셀들의 값을 이용하여 상기 소정 방향들 각각에 대한 현재 픽셀의 보간 값을 결정함으로써 상기 소정 방향들의 보간 영상들을 생성하는 방향 보간 영상 생성부; 상기 현재 픽셀의 값과 상기 계산 된 보간 값들과의 상관도들을 계산함으로써 상기 소정 방향들의 상관 맵을 생성하는 방향 상관 맵 생성부; 및 상기 계산된 상관도들에 따라, 상기 소정 방향들 각각의 보간 값들 중 어느 하나를 상기 현재 픽셀의 보간 값으로 결정함으로써 보간 영상을 생성하는 보간 영상 생성부를 포함한다.
상술한 바와 같이, 본 발명에 따른 영상 보간 방법은 수평/수직 방향의 보간 값들을 생성하고, 입력 영상의 픽셀 값들과 수평/수직 방향의 보간 값들 간의 상관도들을 계산 한 후, 이 상관도들을 이용하여 픽셀 별로 보간 방향을 결정하여 보간함으로써, 간단한 계산으로도 색상 오류 현상이나 지퍼 열화 등을 방지하여 신뢰성 있는 컬러 영상을 얻을 수 있는 효과가 있다.
또한, 본 발명에 따른 영상 보간 방법은 상기 상관도 이외에 입력 영상의 픽셀에서의 에지에 기반하여 픽셀 별로 보간 방향을 결정하는 기법을 선택적으로 이용하여 보간함으로써, 보다 신뢰성 있는 영상을 얻을 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명한다.
본 실시예에 따르면, 하나의 CFA 베이어 패턴(Color Bayer Pattern) 영상으로부터 CFA 보간(CFA Interpolation)을 통해 G 채널, B 채널 및 R 채널에 대한 보간 영상을 생성하고, 이렇게 생성된 3 개의 보간 영상들로부터 하나의 완성된 영상 즉, R, G, B 컬러로 구성된 영상을 얻을 수 있다. 그런데, 이러한 CFA 베이어 패턴 은 픽셀들의 전체 개수 중 절반은 G 픽셀이며, 전체 개수의 각 4분의 1은 R 픽셀과 B 픽셀이다. 따라서, G 픽셀의 개수가 R 픽셀이나 B 픽셀들의 개수보다 많아서, G 채널 보간을 먼저 수행하는 것이 엘리어싱 효과 등을 감쇄하는 등의 보다 신뢰성 있는 영상을 획득하는데 유리하므로, 본 실시예에서는 G 채널에 대한 보간을 수행하여 G 채널 보간 영상을 생성한 후, 이 G 채널 보간 영상을 이용하여 R, B 채널에 대한 보간을 수행한다.
도 1은 본 발명의 일 실시예에 따른 영상 보간 장치에 관한 구성도이다.
도 1을 참조하면, 본 실시예에 따른 영상 보간 장치는 방향 보간 영상 생성부(110), 방향 상관 맵 생성부(120), 에지 기울기 계산부(130), 보간 방법 결정부(140), G 채널 영상 보간부(150), B 채널 영상 보간부(160) 및 R 채널 영상 보간부(170)로 구성된다.
방향 보간 영상 생성부(110)는 입력된 CFA 베이어 패턴 (Color Filter Array bayer pattern) 영상에 대한 수평 방향의 G 채널 보간 영상과 수직 방향의 G 채널 보간 영상을 생성한다. 이하, 입력된 CFA 베이어 패턴 영상을 간략하게 "입력 CFA 영상"이라 칭하기로 한다.
먼저, 방향 보간 영상 생성부(110)가 수평 방향의 G 채널 보간 영상을 생성하는 과정에 대해서 상세히 설명한다. 도 2a에 도시된 바와 같이, (i,j)에 위치한 현재 픽셀인 R 픽셀에서 수평 방향의 보간 값인 Ghi(i,j)를 구하기 위해서, 방향 보간 영상 생성부(110)는 [-1 2 2 2 -1] 의 방향성 필터링 벡터(directional filtering vector)와 입력 CFA 영상의 픽셀 값들인 (Mb(i,j))1×5 간에 컨벌루션(convolution) 연산을 수행한다. 여기서, 현재 픽셀은 영상 보간 장치에 의해 현재 처리 중인 픽셀을 말하고, R 픽셀은 R(Red) 컬러 정보만이 저장되어 있는 픽셀을 말하고, 방향성 필터링 벡터는 이 R 픽셀의 주변에 있는 픽셀들에 가중치를 부가하여 가중 평균(weighted averaging)을 구하기 위한 벡터이다.
이를 수학식으로 나타내면 다음의 수학식 1과 같다.
Figure 112007061614245-PAT00001
이때, *는 컨벌루션(convolution) 연산, (Mb(i,j))1×5 는 입력 CFA 영상에서 (i,j)를 중심으로 좌우 인접한 양 두 개의 픽셀을 포함한 총 다섯 개의 픽셀 값을 의미한다. 그리고, 이때의 각 픽셀 값은 G값, R값, 또는 B값 중 어느 하나의 값이다.
그리고, 방향 보간 영상 생성부(110)는 입력 CFA 영상 내의 G 픽셀들을 제외한 모든 R 픽셀들과 B 픽셀들에 대해서, 방향성 필터링 벡터와의 컨벌루션 연산을 통해 수평 방향의 보간 값들인 Ghi들을 계산하여, 이 수평 방향의 보간 값들로 구성된 수평 방향의 G 채널 보간 영상을 생성한다. 여기서, R 픽셀들은 R(Red) 컬러 정보만이 저장되어 있는 픽셀들을 말하고, B 픽셀들은 B(Blue) 컬러 정보만이 저장되어 있는 픽셀들을 말한다.
다음으로, 도 2b에 도시된 바와 같이 방향 보간 영상 생성부(110)가 수직 방향의 G 채널 보간 영상을 생성하는 과정은 수평 방향의 G 채널 보간 영상을 생성하는 과정과 유사하다. (i,j)에 위치한 현재 픽셀인 R 픽셀에서의 수직 방향의 보간 값인 Gvi(i,j)를 구하기 위해서, 방향 보간 영상 생성부(110)는 [-1 2 2 2 -1]T 의 방향성 필터링 벡터와 입력 CFA 영상의 픽셀 값들인 Mb(i,j)5×1 간에 컨벌루션 연산을 수행한다.
이를 수학식으로 나타내면 다음의 수학식 2와 같다.
Figure 112007061614245-PAT00002
이때, T는 전치 행렬, *는 컨벌루션(convolution) 연산, (Mb(i,j))5×1 은 입력 CFA 영상에서 픽셀 (i,j)를 중심으로 상하 인접한 양 두 개의 픽셀을 포함한 총 다섯 개의 픽셀 값을 의미한다. 그리고, 이때의 각 픽셀 값은 G 픽셀 값, R 픽셀 값, 또는 B 픽셀 값 중 어느 하나의 값이다.
그리고, 방향 보간 영상 생성부(110)는 입력 CFA 영상 내의 G 픽셀들을 제외한 모든 R 픽셀들과 B 픽셀들에 대해서, 방향성 필터링 벡터와의 컨벌루션 연산을 통해 수직 방향의 보간 값들인 Gvi들을 계산하여, 이 수직 방향의 보간 값들로 구성된 수직 방향의 G 채널 보간 영상을 생성한다.
방향 상관 맵 생성부(120)는 입력 CFA 영상의 R 또는 B 픽셀 값들과 방향 보간 영상 생성부(110)에 의해 생성된 수평 방향의 G 채널 보간 영상의 보간 값들 간의 상관도를 나타내는 상관 값(correlation value)들로 구성된 수평 방향 상관 맵을 생성한다. 또한, 방향 상관 맵 생성부(120)는 입력 CFA 영상의 R 또는 B 픽셀 값들과 방향 보간 영상 생성부(110)에 의해 생성된 수직 방향의 G 채널 보간 영상의 보간 값들 간의 상관도를 나타내는 상관 값들로 구성된 수직 방향 상관 맵을 생성한다.
먼저, 방향 상관 맵 생성부(120)가 수평 방향 상관 맵을 생성하는 과정에 대해서 상세히 설명한다.
수평 방향 상관 맵을 생성하기 위해서는 먼저 수평 방향의 참조 영상을 생성해야 하는데, 방향 상관 맵 생성부(120)가 수평 방향의 참조 영상을 생성하는 방법을 도 3a 내지 도 3d를 참조하여 다음과 같이 설명한다. 도 3a 내지 도 3d는 입력 CFA 영상에서 5×5 크기를 갖는 픽셀 그룹에 대한, 수평 참조 영상을 구성하는 픽셀 그룹을 생성하는 일 예를 도시한 것이다.
도 3a에 도시된 바와 같이, 방향 상관 맵 생성부(120)가 수평 참조 영상을 생성하기 위해서는 5×5 크기의 입력 CFA 영상의 픽셀 그룹의 픽셀 값들인 (Mb(i,j)) 5×5 와 이 입력 CFA 영상에 대한 수평 방향의 G 채널 보간 영상의 픽셀 값들인 (Ghi(i,j)) 5×5 이 필요하다. 이때, (Mb(i,j)) 5×5 중 G 픽셀들의 값을 (Gb(i,j)) 5×5 , R 픽셀들의 값을 (Rb(i,j))5×5 , B 픽셀들의 값을 (Bb(i,j))5×5 라 한다.
그리고, 도 3b에 도시된 바와 같이, 방향 상관 맵 생성부(120)는 G 픽셀들의 값인 (Gb(i,j)) 5×5 을 그대로 수평 방향 참조 픽셀들의 값으로 한다.
그리고, 도 3c에 도시된 바와 같이, 방향 상관 맵 생성부(120)는 R 픽셀들의 값인 (Rb(i,j))5× 5 에서 DC bias를 제거하는 R-G 보상을 함으로써 수평 방향 참조 픽셀들의 값인 (GR , hc(i,j)) 5× 5 를 계산한다. 이때, R-G 보상을 수행하여 수평 방향 참조 픽셀들의 값을 계산하는 일 예로서, 다음의 수학식 3과 수학식 4를 사용할 수 있다.
이때, 도 3c에 도시된 바와 같이, 수학식 3과 수학식 4에서 (i,j)는 5×5 크기의 픽셀 그룹의 정중앙의 위치를 의미하며, (k,l)은 그 주변의 8 개의 R 픽셀들의 위치를 의미한다.
Figure 112007061614245-PAT00003
이때, GR , hc(k,l)은 (k,l)에서의 수평 방향 참조 픽셀 값, Rb(k,l)은 (k,l)에서의 R 값, ΔRG(i,j)는 다음의 수학식 4를 통해 얻은 값으로서, (i,j)에서의 수평 방향의 보간 값과 R 픽셀 값의 차이를 의미한다.
Figure 112007061614245-PAT00004
이때, GR , hi(i,j)는 (i,j)에서의 수평 방향의 보간 값, Rb(i,j)는 (i,j)에서의 R 픽셀 값을 의미한다.
다음으로, 도 3d에 도시된 바와 같이, 방향 상관 맵 생성부(120)는 B 픽셀들의 값인 (Bb(i,j))5× 5 에서 DC bias를 제거하는 B-G 보상을 함으로써 수평 방향 참조 픽셀들의 값인 (GB , hc(i,j)))5× 5 를 계산한다. 이때, B-G 보상을 수행하여 수평 방향 참조 픽셀들의 값을 계산하는 일 예로서, 다음의 수학식 5와 수학식 6을 사용할 수 있다.
이때, 도 3d에 도시된 바와 같이, 수학식 5와 수학식 6에서 (i,j)는 5×5 크기의 픽셀 그룹의 정중앙의 위치를 의미하며, (m,n)은 그 주변의 4 개의 B 픽셀들의 위치를 의미한다.
Figure 112007061614245-PAT00005
이때, GB , hc(m,n)은 (m,n)에서의 수평 방향 참조 픽셀 값, Bb(m,n)은 (m,n)에서의 B 값, ΔBG(i,j)는 다음의 수학식 6을 통해 얻은 값으로서, (i,j)에서의 수평 방향의 보간 값과 B 픽셀 값의 차이를 의미한다.
Figure 112007061614245-PAT00006
이때, GB , hi(i,j)는 (i,j)에서의 수평 방향의 보간 값, Bhi(i,j)는 (i,j)에서 의 평균 B 픽셀 값으로서
Figure 112007061614245-PAT00007
을 의미한다.
그리고, 방향 상관 맵 생성부(120)는 G 픽셀들에 대한 수평 방향 참조 픽셀들의 값인 (Gb(i,j)) 5×5 , R 픽셀들에 대한 수평 방향 참조 픽셀들의 값인 (GR,hc(i,j)) 5×5 및 B 픽셀들에 대한 수평 방향 참조 픽셀들의 값인 (GB , hc(i,j)))5× 5 를 조합함으로써 도 3a에 도시된 바와 같이 5×5 크기의 수평 방향 참조 영상을 구성하는 픽셀들의 값들인 (Rhc(i,j)) 5× 5 를 생성한다.
그리고, 방향 상관 맵 생성부(120)는 수평 방향 참조 픽셀 값들인 (Rhc(i,j)) 5×5 와 방향 보간 영상 생성부(110)에 의해 생성된 수평 방향의 G 채널 보간 값들인 (Ghi(i,j)) 5×5 간의 상관 값들을 계산한다. 이때, 상관 값을 계산하는 방법으로, 차의 절대값 합(SAD:Sum of Absolute Difference), NCC(Normalized Cross Correlation), 또는 차의 제곱 합(SSD:Sum of squared difference) 등을 사용할 수 있다.
일 예로서, 차의 절대값 합(SAD)을 사용하여 상관 값을 계산하는 방법은 다음의 수학식 7과 같다.
Figure 112007061614245-PAT00008
이때, Chi(i,j)는 (i,j)에서의 수평 방향의 상관 값을, N(i,j)는 (i,j)를 중심으로 한 5×5 크기를 갖는 픽셀 그룹을 의미하고, Rhc(k,l)은 (k,l)에서의 수평 방향 참조 픽셀 값을, Ghi(k,l)은 (k,l)에서의 수평 방향의 보간 값을 의미한다.
방향 상관 맵 생성부(120)는 입력 CFA 영상에 대해 5×5 크기를 갖는 픽셀 그룹 전부에 대해 이러한 수평 방향의 상관 값을 계산하여, 수평 방향의 상관 값들로 구성된 수평 방향 상관 맵을 생성한다.
또한, 방향 상관 맵 생성부(120)는 이러한 수평 방향 상관 맵을 생성하는 과정과 대응되는 방법을 사용하여, (i,j)에서의 수직 방향의 상관 값인 Cvi(i,j)를 계산하고, 계산된 수직 방향의 상관 값들로 구성된 수직 방향 상관 맵을 생성한다.
에지 기울기 계산부(130)는 입력 CFA 영상을 구성하는 각 픽셀들에서의 수평 방향의 에지 기울기(Edge Gradient)와 수직 방향의 에지 기울기를 계산한다. 에지는 영상의 특성이 급격하게 변하는 경계를 말하며, 예를 들면 물체의 외각을 나타내는 선 등을 말한다. 그리고, 이러한 에지를 검출하기 위해, 에지의 강도를 표시하는 에지 기울기를 계산하는데, 특히 본 실시예에서는 수평 방향의 에지 강도를 표시하는 수평 방향의 에지 기울기 및 수직 방향의 에지 강도를 표시하는 수직 방향의 에지 기울기를 계산한다.
도 4는 에지 기울기 계산부(130)가 입력 CFA 영상의 (i,j)에 위치한 픽셀에서의 수평 방향의 에지 기울기 등을 계산하는 방법의 일 예를 도시한 것이다. 도 4를 참조하면, (i,j)에 위치한 픽셀을 중심으로 수평 방향에 있는 5 개의 픽셀들을 이용하여 에지 기울기인 Eh(i,j) 계산하며, 계산하는 방법의 일 예로서, 다음의 수학식 8을 사용할 수 있다.
Figure 112007061614245-PAT00009
이때, Gb(i,j-1), Gb(i,j+1), Rb(i,j-2), Rb(i,j+2), Rb(i,j) 등은 모두 (i,j)에 위치한 픽셀을 중심으로 수평 방향의 5개의 픽셀 값들을 의미한다.
또한, 수직 방향의 에지 기울기인 Ev(i,j) 계산하는 방법도 도 4에 도시한 바와 같이, 다음의 수학식 9을 사용할 수 있다.
Figure 112007061614245-PAT00010
이때, Gb(i-1,j), Gb(i+1,j), Rb(i-2,j), Rb(i+2,j), Rb(i,j) 등은 모두 (i,j)에 위치한 픽셀을 중심으로 수직 방향의 5개의 픽셀 값들을 의미한다.
보간 방법 결정부(140)는 입력 CFA 영상의 (i,j)에 위치한 픽셀이 한 방향성이 강한 에지 영역에 해당하는지 여부를 판단하여, 방향 상관 맵 생성부(120)에서 생성된 상관 맵들을 이용하여 G 채널 영상을 보간할 것인지, 아니면 에지 기울기 계산부(130)에서 계산된 에지 기울기들을 이용하여 G 채널 영상을 보간할 것인지를 결정한다.
먼저, 보간 방법 결정부(140)는 입력 CFA 영상의 (i,j)에 위치한 픽셀이 한 방향성이 강한 에지 영역인지 여부를 판단하기 위해, 에지 기울기 계산부(130)에 의해 계산된 에지 기울기들로부터 에지 비율(EAR:Edge Aspect Ratio)을 계산하고, 이 계산된 에지 비율을 사전에 설정된 문턱값(threshold)과 비교한다. 이때, 에지 비율은 어느 한 방향의 에지 기울기가 다른 방향의 에지 기울기에 비해 얼마나 큰지 즉, 해당 픽셀이 어느 한 방향의 에지를 주요하게 가지는지를 나타내는 값이다.
먼저 에지 비율을 계산하기 위해, 보간 방법 결정부(140)는 에지 기울기 계산부(130)에 의해 계산된 수평 방향의 에지 기울기와 수직 방향의 에지 기울기로부터 다음의 수학식 10을 이용한다.
Figure 112007061614245-PAT00011
Figure 112007061614245-PAT00012
이때, max(Eh(i,j),Ev(i,j))는 Eh(i,j)와 Ev(i,j) 중 큰 값을 의미한다.
만일, 계산된 에지 비율이 문턱값보다 크면, 보간 방법 결정부(140)는 현재 픽셀이 한 방향성이 강한 에지 영역에 해당하므로, 에지 기울기 계산부(130)에서 계산된 에지 기울기들을 이용하여 G 채널의 보간 방향을 결정하는 것으로 보간 방법을 결정한다. 반면에, 계산된 에지 비율이 문턱값보다 작으면, 보간 방법 결정부(140)는 현재 픽셀이 한 방향성이 강하지 않은 에지 영역에 해당하므로, 에지 기울기들을 이용하지 않고, 방향 상관 맵 생성부(120)에서 생성된 상관 맵들을 이용 하여 G 채널의 보간 방향을 결정하는 것으로 보간 방법을 결정한다. 그리고, 이러한 문턱값은 0.5 내지 1 의 범위 내의 값을 가진다.
G 채널 영상 보간부(150)는 보간 방법 결정부(140)에 의해 결정된 보간 방법에 따라, 입력 CFA 영상의 (i,j)에 위치한 픽셀에 보간 값 Gi(i,j)를 할당함으로써 G 채널 보간 영상을 생성한다.
만일, 보간 방법 결정부(140)에 의해 방향 상관 맵 생성부(120)에서 생성된 상관 맵들을 이용하여 G 채널의 보간 방향을 정하는 것으로 결정된 경우, G 채널 영상 보간부(150)는 (i,j)에 위치한 픽셀에서 수평 방향의 상관 값인 Chi(i,j)와 수직 방향의 상관 값인 Cvi(i,j)를 비교하고, 비교 결과에 따라 다음 세 가지 중 어느 하나에 따라 G 채널 보간 값 Gi(i,j)를 할당한다.
첫째는, (i,j)에 위치한 픽셀에서 수평 방향의 상관 값인 Chi(i,j)가 수직 방향의 상관 값인 Cvi(i,j)보다 크면, 이 (i,j)에 위치한 픽셀은 수평 방향의 보간 값과의 상관성이 크므로 G 채널 영상 보간부(150)는 보간 값인 Gi(i,j)에 수평 방향의 보간 값인 Ghi(i,j)를 할당한다. 이때의 수평 방향의 보간 값인 Ghi(i,j)는 방향 보간 영상 생성부(110)에 의해 생성된 수평 방향의 G 채널 보간 영상의 (i,j)에서의 값이다.
둘째는, 수평 방향의 상관 값인 Chi(i,j)가 수직 방향의 상관 값인 Cvi(i,j) 보다 작으면, 이 (i,j)에 위치한 픽셀은 수직 방향의 보간 값과의 상관성이 크므로 G 채널 영상 보간부(150)는 보간 값인 Gi(i,j)에 수직 방향의 보간 값인 Gvi(i,j)를 할당한다. 이때의 수직 방향의 보간 값인 Gvi(i,j)는 방향 보간 영상 생성부(110)에 의해 생성된 수직 방향의 G 채널 보간 영상의 (i,j)에서의 값이다.
셋째는, 수평 방향의 상관 값인 Chi(i,j)와 수직 방향의 상관 값인 Cvi(i,j)가 같으면, G 채널 영상 보간부(150)는 보간 값인 Gi(i,j)에 수평 방향의 보간 값인 Ghi(i,j)와 수직 방향의 보간 값인 Gvi(i,j)를 산술 평균한 값을 할당한다.
반면에, 보간 방법 결정부(140)에 의해 에지 기울기 계산부(120)에서 계산된 에지 기울기들을 이용하여 G 채널의 보간 방향을 정하는 것으로 결정된 경우, G 채널 영상 보간부(150)는 (i,j)에 위치한 픽셀에서 수평 방향의 에지 기울기인 Eh(i,j)와 수직 방향의 에지 기울기인 Ev(i,j)를 비교하고, 비교 결과에 따라 다음 세 가지 중 어느 하나에 따라 G 채널 보간 값 Gi(i,j)를 할당한다.
첫째는, (i,j)에 위치한 픽셀에서 수평 방향의 에지 기울기인 Eh(i,j)가 수직 방향의 에지 기울기인 Ev(i,j)보다 작으면, 이 (i,j)에 위치한 픽셀은 수평 방향의 에지를 가지므로 G 채널 영상 보간부(150)는 보간 값인 보간 값인 Gi(i,j)에 수평 방향의 보간 값인 Ghi(i,j)를 할당한다.
둘째는, G 채널 영상 보간부(150)는 수평 방향의 에지 기울기인 Eh(i,j)가 수직 방향의 에지 기울기인 Ev(i,j)보다 크면, 이 (i,j)에 위치한 픽셀은 수직 방향의 에지를 가지므로 G 채널 영상 보간부(150)는 보간 값인 보간 값인 Gi(i,j)에 수직 방향의 보간 값인 Gvi(i,j)를 할당한다.
셋째는, 수평 방향의 에지 기울기인 Eh(i,j)와 수직 방향의 에지 기울기인 Ev(i,j)가 같으면, G 채널 영상 보간부(150)는 보간 값인 Gi(i,j)에 수평 방향의 보간 값인 Ghi(i,j)와 수직 방향의 보간 값인 Gvi(i,j)를 산술 평균한 값을 할당한다.
이를 통해, G 채널 영상 보간부(150)는 에지 비율이 강한 영역에서는 에지 기울기에 기반한 보간을 수행하고, 그렇지 않은 영역에서는 상관 값에 기반한 보간을 수행하는 것이 가능하여, 에지 기울기에 기반한 보간만을 수행하는 경우에 비해 신뢰성 있는 G 채널 보간 영상을 생성할 수 있게 한다.
그리고, 보다 신뢰성 있게 보간된 G 채널 보간 영상을 이용하여 B 채널이나 R 채널 보간 영상을 생성할 수 있으므로, 전 채널에 대하여 보간 영상의 신뢰도를 개선할 수 있다.
B 채널 영상 보간부(160)는 입력 CFA 영상에 대한 B 채널 보간 영상을 생성하기 위해서, (i,j)에 위치한 픽셀의 주변에 있는 4 개의 B 픽셀들에 대한 G 채널 영상 보간부(150)에 의해 할당된 G 채널 보간 값들과 입력 CFA 영상의 B 픽셀들의 값들 간의 차이 값들을 계산한다. 이때의 차이 값들은 도 5를 참조하면, 다음의 수 학식 11과 같이 표현된다.
Figure 112007061614245-PAT00013
이때, Gi(i-1,j-1) 등은 G 채널 영상 보간부(150)에 의해 (i-1,j-1) 등에서 생성된 G 채널 보간 값이고, B(i-1,j-1) 등은 입력 CFA 영상의 (i-1,j-1) 등에서의 B 픽셀 값이다.
그리고, B 채널 영상 보간부(160)는 G 채널 영상 보간부(150)에 의해 할당된 G 채널 보간 값인 Gi(i,j)와 앞서 계산된 차이값들을 이용하여, 다음 세 가지 중 어느 하나에 따라 B 채널 보간 영상인 Bi(i,j)를 생성한다.
첫째, 도 5에 도시된 바와 같이 먼저 대각선 방향에 B 픽셀들이 위치한 경우 즉, (i,j)에 위치한 R 픽셀에서의 B 채널 보간 값인 Bi(i,j)는, (i,j)에서의 G 채널 보간 값에서 수학식 11에서 계산된 4개의 차이값들을 산술 평균한 값을 뺀 값이며, 다음의 수학식 12와 같다.
Figure 112007061614245-PAT00014
둘째, 도 5에 도시된 바와 같이 좌우에 B 픽셀들이 위치한 경우 즉, (i-1,j)에 위치한 G 픽셀에서의 B 채널 보간 값인 Bi(i-1,j)는, (i-1,j)에서의 G 채널 보간 값에서 (i-1,j)의 좌우에 위치 픽셀들에서의 차이값들을 산술 평균한 값을 뺀 값이며, 다음의 수학식 13과 같다.
Figure 112007061614245-PAT00015
셋째, 도 5에 도시된 바와 같이 상하에 B 픽셀들이 위치한 경우 즉, (i,j-1)에 위치한 G 픽셀에서의 B 채널 보간 값인 Bi(i,j-1)는, (i,j-1)에서의 G 채널 보간 값에서 (i,j-1)의 상하에 위치한 픽셀들에서의 차이값들을 산술 평균한 값을 뺀 값이며, 다음의 수학식 14와 같다.
Figure 112007061614245-PAT00016
그리고, B 채널 영상 보간부(160)는 입력 CFA 영상 내의 모든 R 픽셀들과 G 픽셀들에 대해서, 수학식 12 내지 수학식 14 중 어느 하나를 이용하여 B 채널 보간 값들을 계산함으로써, B 채널 보간 값들로 구성된 B 채널 보간 영상을 생성한다.
R 채널 영상 보간부(170)도 B 채널 영상 보간부(160)와 마찬가지로, (i,j)에 위치한 픽셀의 주변에 있는 4 개의 R 픽셀들에 대하여 G 채널 영상 보간부(150)에 의해 할당된 G 채널 보간 값들과 입력 CFA 영상의 R 픽셀들의 값들 간의 차이 값들 을 계산하고, G 채널 영상 보간부(150)에 의해 할당된 G 채널 보간 값인 Gi(i,j)와 앞서 계산된 차이값들을 이용하여 R 채널 보간 값들을 계산하고, 계산된 R 채널 보간 값들로 구성된 R 채널 보간 영상을 생성한다.
도 6은 본 발명의 일 실시예에 따른 영상 보간 방법에 관한 흐름도이다. 도 6을 참조하면, 본 실시예에 따른 영상 보간 방법은 도 1에 도시된 영상 보간 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 영상 보간 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 데이터 압축 방법에도 적용된다.
도 6을 참조하면, 610 단계에서 영상 보간 장치는 입력 CFA 영상에 대한 수평 방향의 G 채널 보간 영상과 수직 방향의 G 채널 보간 영상을 생성한다. 이를 위해, 일 예로서, 입력 CFA 영상에 대해 [-1 2 2 2 -1] 또는 [-1 2 2 2 -1]T 의 방향성 필터링 벡터를 컨벌루션 연산함으로써 수평 방향의 G 채널 보간 영상과 수직 방향의 G 채널 보간 영상을 생성한다.
620 단계에서 영상 보간 장치는 610 단계에서 생성된 수평 방향의 G 채널 보간 영상과 입력 CFA 영상을 이용하여 5×5 크기를 갖는 수평 방향의 참조 영상들을 생성하고, 610 단계에서 생성된 수직 방향의 G 채널 보간 영상과 입력 CFA 영상을 이용하여 5×5 크기를 갖는 수직 방향의 참조 영상들을 생성한다. 이때, 입력 CFA 영상 중 G 픽셀들에 대해서는 입력 CFA 영상의 G 값을 그대로 참조 픽셀들의 값으로 사용한다. 그리고, 입력 CFA 영상 중 R 픽셀들에 대해서는 수학식 3과 수학식 4 에서와 같이 이 R 픽셀들의 값에서 DC bias를 제거하는 R-G 보상을 함으로써 참조 픽셀들의 값을 계산한다. 또한, 입력 CFA 영상 중 B 픽셀들에 대해서도 이 B 픽셀들의 값에서 DC bias를 제거하는 B-G 보상을 함으로써 참조 픽셀들의 값을 계산한다. 그리고, 이 계산된 참조 픽셀들의 값으로 구성된 수평 방향의 참조 영상을 생성한다. 그리고, 이와 대응되는 방법을 사용하여 수직 방향의 참조 영상을 생성한다.
630 단계에서 영상 보간 장치는 620 단계에서 생성된 수평 방향의 참조 영상과 610 단계에서 생성된 수평 방향의 G 채널 보간 영상 간의 상관도를 나타내는 상관 값들을 계산하고, 이 계산된 상관 값들로 구성된 수평 방향의 G 채널 보간 영상의 상관 맵을 생성한다. 이때, 상관 값을 계산하는 방법은 620 단계에서 생성된 수평 방향의 참조 영상과 610 단계에서 생성된 수평 방향의 G 채널 보간 영상 간의 차의 절대값 합(SAD:Sum of Absolute Difference), Normalized correlation coefficients, 또는 차의 제곱 합(SSD:Sum of squared difference) 등의 다양한 방법을 사용할 수 있다. 또한, 같은 방법으로 수직 방향의 G 채널 보간 영상의 상관 맵을 생성한다.
640 단계에서 영상 보간 장치는 입력 CFA 영상을 구성하는 각 픽셀들에서의 수평 방향의 에지 기울기(Edge Gradient)와 수직 방향의 에지 기울기를 계산한다. 이때 일 예로서, 수평 방향의 에지 기울기를 계산하기 위해 수학식 8을 사용할 수 있고, 수직 방향의 에지 기울기를 계산하기 위해 수학식 9를 사용할 수 있다.
650 단계에서 영상 보간 장치는 입력 CFA 영상을 구성하는 각 픽셀들이 한 방향성이 강한 에지 영역에 해당하는지 여부를 판단한다. 이를 위해, 영상 보간 장치는 640 단계에서 계산된 수평 방향의 에지 기울기와 수직 방향의 에지 기울기로부터 에지 비율을 계산하고, 만일 계산된 에지 비율이 문턱값보다 크면, 현재 픽셀이 한 방향성이 강한 에지 영역에 해당한다고 판단한다.
660 단계에서 영상 보간 장치는 650 단계에서의 판단 결과 현재 픽셀이 한 방향성이 강한 에지 영역에 해당하지 않는다고 판단되면, 630 단계에서 생성된 상관 맵을 이용하여 G 채널 보간 영상을 생성한다. 상세하게는, (i,j)에 위치한 픽셀에서 수평 방향의 상관 값인 Chi(i,j)와 수직 방향의 상관 값인 Cvi(i,j)를 비교하고, 비교 결과에 따라 다음 세 가지 방법 중 어느 하나의 방법으로 G 채널 보간 값 Gi(i,j)를 할당한다.
첫째는, (i,j)에 위치한 픽셀에서 수평 방향의 상관 값인 Chi(i,j)가 수직 방향의 상관 값인 Cvi(i,j)보다 크면, 이 (i,j)에 위치한 픽셀은 수평 방향의 보간 값과의 상관성이 크므로, 보간 값인 Gi(i,j)에 수평 방향의 보간 값인 Ghi(i,j)를 할당한다. 이때의 수평 방향의 보간 값인 Ghi(i,j)는 610 단계에서 생성된 수평 방향의 G 채널 보간 영상의 (i,j)에서의 값이다.
둘째는, 수평 방향의 상관 값인 Chi(i,j)가 수직 방향의 상관 값인 Cvi(i,j)보다 작으면, 이 (i,j)에 위치한 픽셀은 수직 방향의 보간 값과의 상관성이 크므로, 보간 값인 Gi(i,j)에 수직 방향의 보간 값인 Gvi(i,j)를 할당한다. 이때의 수직 방향의 보간 값인 Gvi(i,j)는 610 단계에서 생성된 수직 방향의 G 채널 보간 영상의 (i,j)에서의 값이다.
셋째는, 수평 방향의 상관 값인 Chi(i,j)와 수직 방향의 상관 값인 Cvi(i,j)가 같으면, 보간 값인 Gi(i,j)에 수평 방향의 보간 값인 Ghi(i,j)와 수직 방향의 보간 값인 Gvi(i,j)를 산술 평균한 값을 할당한다.
670 단계에서 영상 보간 장치는 650 단계에서의 650 단계에서의 판단 결과 현재 픽셀이 한 방향성이 강한 에지 영역에 해당한다고 판단되면, 640 단계에서 계산된 에지 기울기들을 이용하여 G 채널 보간 영상을 생성한다. 상세하게는, (i,j)에 위치한 픽셀에서 수평 방향의 에지 기울기인 Eh(i,j)와 수직 방향의 에지 기울기인 Ev(i,j)를 비교하고, 비교 결과에 따라 다음 세 가지 방법 중 어느 하나의 방법으로 G 채널 보간 값 Gi(i,j)를 할당한다.
첫째는, (i,j)에 위치한 픽셀에서 수평 방향의 에지 기울기인 Eh(i,j)가 수직 방향의 에지 기울기인 Ev(i,j)보다 작으면, 이 (i,j)에 위치한 픽셀은 수평 방향의 에지를 가지므로, 보간 값인 보간 값인 Gi(i,j)에 수평 방향의 보간 값인 Ghi(i,j)를 할당한다.
둘째는, G 채널 영상 보간부(150)는 수평 방향의 에지 기울기인 Eh(i,j)가 수직 방향의 에지 기울기인 Ev(i,j)보다 크면, 이 (i,j)에 위치한 픽셀은 수직 방향의 에지를 가지므로, 보간 값인 보간 값인 Gi(i,j)에 수직 방향의 보간 값인 Gvi(i,j)를 할당한다.
셋째는, 수평 방향의 에지 기울기인 Eh(i,j)와 수직 방향의 에지 기울기인 Ev(i,j)가 같으면, 보간 값인 Gi(i,j)에 수평 방향의 보간 값인 Ghi(i,j)와 수직 방향의 보간 값인 Gvi(i,j)를 산술 평균한 값을 할당한다.
680 단계에서 영상 보간 장치는 모든 R 픽셀들과 B 픽셀들에 대하여 G 채널 보간 값인 Gi(i,j)가 할당되어 있는지 여부를 판단함으로써 G 채널 보간 영상의 생성이 완료되었는지 여부를 판단하고, 판단 결과 아직 완료되지 않았으면 640 단계로 진행한다.
690 단계에서 영상 보간 장치는 입력 CFA 영상과 660 단계 또는 670 단계에서 생성된 G 채널 보간 영상을 이용하여, B 채널 보간 영상을 생성한다. 또한, 영상 보간 장치는 입력 CFA 영상과 660 단계 또는 670 단계에서 생성된 G 채널 보간 영상을 이용하여, R 채널 보간 영상을 생성한다.
먼저, B 채널 보간 영상을 생성하기 위해, (i,j)에 위치한 픽셀의 주변에 있는 4 개의 B 픽셀들에 대한 G 채널 보간 값들과 입력 CFA 영상의 B 픽셀들의 값들 간의 차이 값들을 수학식 11을 이용하여 계산 한 후, 계산된 차이 값들과 G 채널 보간 값들로부터 수학식 12 내지 수학식 14를 이용하여 B 채널 보간 값들을 계산한 다. 그리고, 입력 CFA 영상 내의 모든 R 픽셀들과 G 픽셀들에 대해서, 수학식 12 내지 수학식 14을 이용하여 B 채널 보간 값들을 계산함으로써, B 채널 보간 값들로 구성된 B 채널 보간 영상을 생성한다.
그리고, R 채널 보간 영상을 생성하기 위해서도, (i,j)에 위치한 픽셀의 주변에 있는 4 개의 R 픽셀들에 대한 G 채널 보간 값들과 입력 CFA 영상의 R 픽셀들의 값들 간의 차이 값들을 계산하고, 계산된 차이 값들과 G 채널 보간 값들을 이용하여 R 채널 보간 값들을 계산한다. 그리고, 모든 B 픽셀들과 G 픽셀들에 대하여 R 채널 보간 값들을 계산함으로써 R 채널 보간 영상을 생성한다.
그리고, 본 발명의 다른 일 실시예에 따른 영상 보간 방법으로써, 도 6의 620 단계와 630 단계를 650 단계 이후에 수행함으로써 상관 맵을 이용하여 G 채널 영상을 보간하는 경우에만, 수평 방향의 G 채널 보간 영상의 상관 맵과 수직 방향의 G 채널 상관 맵을 생성하도록 할 수 있다. 즉, 본 실시예에서는 도 6의 650 단계에서의 판단 결과, 현재 픽셀이 한 방향성이 강한 에지 영역에 해당하지 않는 경우에 수평 및 수직 방향의 참조 영상을 생성하고, 수평 및 수직 방향의 G 채널 보간 영상의 상관 맵을 생성한 후, 도 6의 660 단계로 진행하여 생성된 상관 맵들을 이용하여 G 채널 영상을 보간한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 보간 장치의 구성도이다.
도 2a와 도 2b는 방향 보간 영상 생성부(110)가 수평 방향의 G 채널 보간 영상과 수직 방향의 G 채널 보간 영상을 생성하는 과정의 일 예를 도시한 것이다.
도 3a 내지 도 3d는 방향 상관 맵 생성부(120)가 수평 방향의 참조 영상을 생성하는 과정의 일 예를 도시한 것이다.
도 4는 에지 기울기 계산부(130)가 입력 CFA 영상의 (i,j)에서의 수평 방향의 에지 기울기와 수직 방향의 에지 기울기를 계산하는 방법의 일 예를 도시한 것이다.
도 5는 B 채널 영상 보간부(160)에서 B 채널 보간 영상을 생성하는 것을 설명하기 위한 입력 CFA 영상의 일 예이다.
도 6은 본 발명의 일 실시예에 따른 영상 보간 방법에 관한 흐름도이다.

Claims (14)

  1. 이미지의 픽셀들 중 현재 픽셀의 복수의 소정 방향들의 주변 픽셀들의 값을 이용하여 상기 소정 방향들 각각에 대한 현재 픽셀의 보간 값을 결정하는 단계;
    상기 현재 픽셀의 값과 상기 계산된 보간 값들과의 상관도들을 계산하는 단계; 및
    상기 계산된 상관도들에 따라, 상기 소정 방향들 각각의 보간 값들 중 어느 하나를 상기 현재 픽셀의 보간 값으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  2. 제1 항에 있어서, 상기 상관도들을 계산하는 단계는
    상기 현재 픽셀의 값들에 대하여, 상기 계산된 보간 값들을 이용하여 보정을 함으로써 상기 소정 방향들에 따른 참조 픽셀들의 값을 계산하는 단계; 및
    상기 계산된 참조 픽셀들의 값과 상기 계산된 보간 값들의 차이를 이용하여 상기 상관도들을 계산하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  3. 제1 항에 있어서,
    상기 현재 픽셀의 상기 소정 방향들에 따른 에지 기울기들을 계산하는 단계; 및
    상기 계산된 에지 기울기들을 이용하여 상기 현재 픽셀이 한 방향성이 강한 에지 영역에 해당하는지를 판단하는 단계를 더 포함하고,
    상기 현재 픽셀의 보간 값을 결정하는 단계는 상기 판단 결과에 따라 선택적으로 상기 계산된 각각의 보간 값들 중 어느 하나를 상기 현재 픽셀의 보간 값으로 결정하는 것을 특징으로 하는 영상 보간 방법.
  4. 제3 항에 있어서, 상기 현재 픽셀의 보간 값을 결정하는 단계는
    상기 판단 결과에 따라 선택적으로 상기 계산된 상기 에지 기울기들의 크기를 비교하는 단계; 및
    상기 비교 결과에 따라, 상기 계산된 각각의 보간 값들 중 어느 하나를 상기 현재 픽셀의 보간 값으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  5. 제1 항에 있어서, 상기 복수의 소정 방향들은
    상기 현재 픽셀의 수평 방향 및 수직 방향인 것을 특징으로 하는 영상 보간 방법.
  6. 제1 항에 있어서,
    상기 보간 값은 CFA 베이어 패턴 (Color Filter Array Bayer Pattern) 영상에서의 G 채널 영상의 보간 값인 것을 특징으로 하는 영상 보간 방법.
  7. 제6 항에 있어서,
    상기 현재 픽셀의 값과 상기 결정된 G 채널 영상의 보간 값을 이용하여, R 채널 영상의 보간 값을 계산하는 단계; 및
    상기 현재 픽셀의 값과 상기 결정된 G 채널 영상의 보간 값을 이용하여, B 채널 영상의 보간 값을 계산하는 단계를 더 포함하는 것을 특징으로 하는 영상 보간 방법.
  8. 이미지의 픽셀들 중 현재 픽셀의 복수의 소정 방향들의 주변 픽셀들의 값을 이용하여 상기 소정 방향들 각각에 대한 현재 픽셀의 보간 값을 결정함으로써 상기 소정 방향들의 보간 영상들을 생성하는 방향 보간 영상 생성부;
    상기 현재 픽셀의 값과 상기 계산된 보간 값들과의 상관도들을 계산함으로써 상기 소정 방향들의 상관 맵을 생성하는 방향 상관 맵 생성부; 및
    상기 계산된 상관도들에 따라, 상기 소정 방향들 각각의 보간 값들 중 어느 하나를 상기 현재 픽셀의 보간 값으로 결정함으로써 보간 영상을 생성하는 보간 영상 생성부를 포함하는 것을 특징으로 하는 영상 보간 장치.
  9. 제8 항에 있어서, 상기 방향 상관 맵 생성부는
    상기 현재 픽셀의 값들에 대하여, 상기 계산된 보간 값들을 이용하여 보정을 함으로써 상기 소정 방향들에 따른 참조 픽셀들의 값을 계산함으로써 참조 영상들을 생성하는 참조 영상 생성부; 및
    상기 계산된 참조 픽셀들의 값과 상기 계산된 보간 값들의 차이를 이용하여 상기 상관도들을 계산함으로써 상관 맵들을 생성하는 상관 맵 생성부를 포함하는 것을 특징으로 하는 영상 보간 장치.
  10. 제8 항에 있어서,
    상기 현재 픽셀의 상기 소정 방향들에 따른 에지 기울기들을 계산하는 에지 기울기 계산부;
    상기 계산된 에지 기울기들을 이용하여 상기 현재 픽셀이 한 방향성이 강한 에지 영역에 해당하는지를 판단하여 보간 방법을 결정하는 보간 방법 결정부를 더 포함하고,
    상기 보간 영상 생성부는 상기 판단 결과에 따라 선택적으로 상기 계산된 각각의 보간 값들 중 어느 하나를 상기 현재 픽셀에 대한 보간 값으로 결정하는 것을 특징으로 하는 영상 보간 장치.
  11. 제8 항에 있어서, 상기 복수의 소정 방향들은
    상기 현재 픽셀의 수평 방향 및 수직 방향인 것을 특징으로 하는 보간 영상 생성 장치.
  12. 제8 항에 있어서,
    상기 보간 값은 CFA 베이어 패턴 (Color Filter Bayer Pattern) 영상에서의 G 채널 영상의 보간 값인 것을 특징으로 하는 영상 보간 장치.
  13. 제12 항에 있어서,
    상기 현재 픽셀의 값과 상기 결정된 G 채널 영상의 보간 값을 이용하여, R 채널 영상의 보간 값을 계산함으로써 R 채널 영상을 보간하는 R 채널 영상 보간부; 및
    상기 현재 픽셀의 값과 상기 결정된 G 채널 영상의 보간 값을 이용하여, B 채널 영상의 보간 값을 계산함으로써 B 채널 영상을 보간하는 B 채널 영상 보간부를 더 포함하는 것을 특징으로 하는 영상 보간 장치.
  14. 제1 항 내지 제7 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020070085557A 2007-08-24 2007-08-24 영상 보간 방법 및 장치 KR101327790B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070085557A KR101327790B1 (ko) 2007-08-24 2007-08-24 영상 보간 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070085557A KR101327790B1 (ko) 2007-08-24 2007-08-24 영상 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090020918A true KR20090020918A (ko) 2009-02-27
KR101327790B1 KR101327790B1 (ko) 2013-11-11

Family

ID=40688138

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070085557A KR101327790B1 (ko) 2007-08-24 2007-08-24 영상 보간 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101327790B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054558A (ko) * 2009-11-18 2011-05-25 삼성전자주식회사 방향에 따른 참조블록을 이용한 영상 보간 방법 및 장치
KR20150108222A (ko) * 2014-03-17 2015-09-25 한화테크윈 주식회사 컬러보간개선 방법
KR101706554B1 (ko) * 2015-09-07 2017-02-16 (주)넥스트칩 클리어 에지 재현을 위한 영상 처리 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4269368B2 (ja) * 1997-11-28 2009-05-27 ソニー株式会社 カメラ信号処理装置及びカメラ信号処理方法
JP4122082B2 (ja) * 1998-01-09 2008-07-23 富士フイルム株式会社 信号処理装置およびその処理方法
JP4292625B2 (ja) * 1998-06-01 2009-07-08 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
KR100708465B1 (ko) * 2005-02-03 2007-04-18 삼성전자주식회사 컬러 상관 유사도와 다방향 에지 정보를 이용한 컬러 필터보간 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054558A (ko) * 2009-11-18 2011-05-25 삼성전자주식회사 방향에 따른 참조블록을 이용한 영상 보간 방법 및 장치
US8442359B2 (en) 2009-11-18 2013-05-14 Samsung Electronics Co., Ltd. Image interpolation method and apparatus using reference block based on direction
KR20150108222A (ko) * 2014-03-17 2015-09-25 한화테크윈 주식회사 컬러보간개선 방법
KR101706554B1 (ko) * 2015-09-07 2017-02-16 (주)넥스트칩 클리어 에지 재현을 위한 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
KR101327790B1 (ko) 2013-11-11

Similar Documents

Publication Publication Date Title
US9582863B2 (en) Image processing apparatus, image processing method, and program
JP4054184B2 (ja) 欠陥画素補正装置
KR100782812B1 (ko) 에지 적응적 컬러 보간 방법 및 장치
US6724945B1 (en) Correcting defect pixels in a digital image
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
US9179113B2 (en) Image processing device, and image processing method, and program
US7825965B2 (en) Method and apparatus for interpolating missing colors in a color filter array
KR101143147B1 (ko) 컬러 이미지의 디모자이크를 위한 고품질 그레디언트보정된 선형 보간법
KR101703354B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US8571312B2 (en) Image interpolation method and apparatus using pattern characteristics of color filter array
KR101637488B1 (ko) 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
JP6046927B2 (ja) 画像処理装置及びその制御方法
JP2007259401A (ja) ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN110430403B (zh) 一种图像处理方法和装置
US20210042881A1 (en) Method and apparatus for image processing
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP4305071B2 (ja) 信号補正方法
JP2010016812A (ja) 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体
KR101327790B1 (ko) 영상 보간 방법 및 장치
US20140355872A1 (en) Method for determining interpolating direction for color demosaicking
JP3633561B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR100831970B1 (ko) 결함 화소 검출 방법 및 이를 위해 사용되는 장치
JP2009200635A (ja) 画像処理装置及びその方法並びにプログラム
JP4122082B2 (ja) 信号処理装置およびその処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee