KR100741517B1 - 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법 - Google Patents

잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법 Download PDF

Info

Publication number
KR100741517B1
KR100741517B1 KR1020050105963A KR20050105963A KR100741517B1 KR 100741517 B1 KR100741517 B1 KR 100741517B1 KR 1020050105963 A KR1020050105963 A KR 1020050105963A KR 20050105963 A KR20050105963 A KR 20050105963A KR 100741517 B1 KR100741517 B1 KR 100741517B1
Authority
KR
South Korea
Prior art keywords
channel
value
noise
values
pixel
Prior art date
Application number
KR1020050105963A
Other languages
English (en)
Other versions
KR20070048904A (ko
Inventor
김창원
강문기
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020050105963A priority Critical patent/KR100741517B1/ko
Publication of KR20070048904A publication Critical patent/KR20070048904A/ko
Application granted granted Critical
Publication of KR100741517B1 publication Critical patent/KR100741517B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 방법에 관한 것이다.
본 발명은 CCD(Charge Coupled Device) 표면에 CFA(Color Filter Array)를 입혀서 픽셀에 따라 R(적색), G(녹색), B(청색) 중 선택적으로 하나의 값을 얻은 후 부족한 두 개의 채널 값은 근처 픽셀의 값을 보간하여 사용하는 CCD의 색상 보간 방법에 있어서, 잡음을 고려하여 상기 G 채널의 보간을 수행하는 제 1 과정과, 상기 R 위치에서 잡음을 고려한 B채널 보간과 B 위치에서 잡음을 고려한 R채널 보간을 수행하는 제 2 과정, 상기 G 위치에서 잡음을 고려한 R 채널과 B채널에 대한 보간된 영상을 산출하는 제 3 과정을 포함하여 이루어진다.
본 발명에 의하면, 채널 간의 상관관계를 고려하여 잡음을 제거하고 잃어버린 컬러 채널의 값을 보간하므로 눈에 보이는 에러들을 제거할 수 있는 효과가 있다.
잡음, 색상, 컬러, 채널, 보간, 상관관계, CCD, CIS, 에지

Description

잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 방법{Noise insensitive high resolution color interpolation method for considering cross-channel correlation}
도 1은 일반적인 CFA의 베이어 포맷을 설명하기 위한 실시예.
도 2는 종래의 채널 보간 방법 중 근접 화소 복제 방법을 설명하기 위한 실시예.
도 3은 종래의 채널 보간 방법 중 쌍일차 보간법을 설명하기 위한 실시예.
도 4는 종래의 채널 보간 방법 중 평탄 색상 변화 보간법을 설명하기 위한 실시예.
도 5는 종래의 잡음 제거 방법 중 적응적 가중 평균 방법을 설명하기 위한 흐름도.
도 6은 종래의 잡음 제거 방법 중 LLMMSE(Local Liner Minimum Mean Square Error) 방법을 설명하기 위한 흐름도.
도 7은 본 발명의 실시 예에 따른 잡음에 강한 채널 간 상관관계를 고려한 색상 보간 방법을 설명하기 위한 흐름도.
도 8a와 도 8b는 도 7에서 G채널 보간 과정을 나타낸 흐름도.
도 9a와 도 9b는 G채널 보간을 설명하기 위한 실시예.
도 10a과 도 10b는 도 7에서 C위치에서 A채널 보간 과정을 나타낸 흐름도.
도 11a와 도 11b는 C위치에서 A채널 보간을 설명하기 위한 실시예.
도 12a와 도 12b는 도 7에서 G위치에서 B, R채널 보간 과정을 나타낸 흐름도.
도 13a와 도 13b는 G위치에서 B, R채널 보간 과정을 설명하기 위한 실시예.
본 발명은 색상 보간(Color Interpolation) 방법에 관한 것으로서, 더욱 상세하게는 CCD(Charge Coupled Device)나 CIS(CMOS Imaging Sensor)의 각 픽셀(pixel)마다 적색(R), 녹색(G), 청색(B)의 필터가 씌워진 센서를 통해 컬러 영상을 얻는데, 이때 각 픽셀 값은 센서의 특성에 따른 잡음에 의해서 열화 되는데, 이러한 잡음의 영향 및 채널 간의 상관관계를 고려하여 잃어버린 컬러 채널의 값을 보간해서, 눈에 보이는 에러들을 제거하도록 하는 채널 간 상관관계를 고려한 색상 보간 방법에 관한 것이다.
일반적으로, 디지털 카메라나 캠코더는 필름 대신에 CCD나 CIS를 사용한다.
상기 CCD나 CIS는 한 픽셀에서 렌즈를 통해 센서에 인가된 밝기 값을 디지털 신호로 바꿔주는 장치이다. 즉, 센서를 이용해 받아들이는 값은 밝기 값으로, 우리가 눈으로 보는 컬러 영상이 아닌 흑백 영상을 받아들이게 된다. 컬러 영상을 획득하기 위해서는 각 픽셀마다 R, G, B의 필터가 씌워진 센서를 사용하여 모든 점에서 R, G, B값을 얻으면 컬러 영상을 얻을 수 있다. 이때, R, G, B를 사용하는 이유는 빛의 3원색이기도 하고, 인간의 눈 속에 있는 원추 세포들이 주로 반응하는 파장대의 대역이기도 하기 때문이다.
이와 같이, 고화질의 컬러 영상을 얻기 위해서는 흑백 영상에 비해 3배의 CCD나 CIS의 픽셀 수가 필요하다. 센서의 가격이 카메라의 가격 결정에 큰 영향을 미치는 고가의 소자이기 때문에 방송장비들의 경우는 예컨대, 3개의 CCD에서 각각 R, G, B를 받아들여 원색을 얻는 고가의 3CCD를 사용하지만 일반 사용자의 경우는 감당하기 어려운 가격이고 3CCD를 위한 내부에 들어가는 추가 기술 때문에 널리 사용되지 않는다.
일반적으로는 한 개의 CCD 표면에 CFA(Color Filter Array)를 입혀서 픽셀에 따라 R, G, B 중에서 선택적으로 하나의 값을 얻은 다음에 부족한 두 개의 채널 값은 근처 픽셀의 값을 사용하여 보간한다. CFA는 대표적으로 베이어 포맷(Bayer Format)을 사용한다. 이때 어떤 보간법을 사용하느냐에 따라서 얻어지는 영상의 질이 달라진다.
센서는 잡음의 영향에 민감해서, CFA를 통해서 얻은 값은 잡음에 의해 열화가 된다. 이렇게 열화된 값은 색 보간 시 잘못된 에지 정보를 제공하고, 잡음은 색오류를 많이 발생시키게 된다.
이렇게 잃어버린 컬러 채널의 값을 보간하는 일과 잡음을 제거하는 일은 디지털 카메라 속에서나 기타 영상을 처리하는 여러 가지의 단계 중에서 가장 먼저 해야 하는 처리 과정들이다. 이 과정에서 얼마나 좋은 결과를 얻느냐에 따라 후속 처리 과정들이 더 단순한 처리로도 더 좋은 결과를 얻을 수 있다. 그런데 기존의 보간법들은 시스템의 처리 시간이나 메모리를 고려하다 보니 단순하긴 하지만 결과 영상에 눈에 띄는 오류들이 많이 나타나는 문제점이 있었다. 또한 색 보간 전인 CFA 정보를 이용해서 잡음을 제거하는 경우는 잡음 제거에 충분한 정보를 이용하지 못하기 때문에 효과적으로 잡음을 제거하지 못하게 되고, 색 보간 후에 잡음을 제거하는 경우는 잡음 제거에는 효과적이나 색 보간 시 나타나는 색 오류를 제거하는 데에는 한계를 가지게 된다. 잡음 제거 방법들 또한 시스템의 처리 시간과 메모리를 고려하기 때문에 그 구조가 단순하게 되고, 이로 인해 에지를 평탄화하는 단점을 가지게 된다.
도 1은 여러 가지 CFA 중에서 가장 일반적으로 사용되는 베이어 포맷을 설명하기 위한 실시예로서, R과 B의 위치가 바뀌는 경우에도 같은 방법으로 처리하면 된다.
컬러를 보간하는 기술들은 타 채널 정보에 비해 상대적으로 많은 정보를 가지는 G채널을 모두 R 혹은 B채널 값만 존재하는 픽셀들에서 먼저 복원하고 B채널, R채널 혹은 R채널, B채널의 순서로 비어있는 값들을 채워 R, G, B 세 개의 채널을 복원한다. 이때 B채널이나 R채널을 복원하는 경우는 두 가지 다른 경우가 존재한다. 원래 G채널만 존재하던 픽셀에서 R이나 B채널 값을 채워 넣는 경우가 있고, R채널이 존재하던 픽셀에서 B를 채우거나 혹은 B에서 R을 채우는 경우가 있다.
도 2 내지 도 4는 종래 기술에 따른 채널 보간 방법을 설명하기 위한 실시예들이다.
도 2는 종래의 근접 화소 복제(Nearest Neighbor Replication) 방법으로서, 다음과 같이 채널 보간이 수행된다.
1) G채널의 복원(R값만 있는 픽셀 또는 B값만 있는 픽셀)
도 2의 A22(예컨대, R값만 있는 픽셀)에서 G채널 값(G22)은 A22과 가장 가까운 위치(예컨대, 같은 방향의 좌측)에 있는 G채널 값(G21)을 대입하여 다음 수학식 1과 같이 구한다.
Figure 112005063931898-pat00001
설명의 단순화를 위해 R, B는 상황에 따라 A로 대체한다. 즉 A는 R일 수도 있고 B일 수도 있는 대표 문자다. 이때 상대방 채널 (R을 관심 가질 때는 B가 상대방 채널, B를 관심 가질 때는 R이 상대방 채널이다.)은 C로 표기한다.
2)A채널의 복원(R값만 있는 픽셀 또는 B값만 있는 픽셀)
도 3의 C33(예컨대, B값만 있는 픽셀)에서 A채널 값(A33)은 다음 수학식 2에서와 같이 B값만 있는 픽셀 C33의 좌측 상단의 가장 가까운 픽셀의 A값(R값)을 대입하여 산출한다.
Figure 112005063931898-pat00002
도 3은 종래의 쌍일차 보간법(Bilinear Interpolation)을 설명하기 위한 실 시예로서, 다음과 같이 채널 보간이 수행된다.
1) G채널의 복원(R값만 있는 픽셀 혹은 B값만 있는 픽셀)
도 3의 A33(예컨대, B값만 있는 픽셀)에서 G 채널 값(G33)은 다음 수학식 3에서와 같이 주변 상하좌우의 4개 픽셀의 G값들의 평균값으로 구한다.
Figure 112005063931898-pat00003
2) A 채널의 복원(R값만 있는 픽셀 혹은 B값만 있는 픽셀)
도 3의 C22(예컨대, R값만 있는 픽셀)에서 A 채널 값(A22)은 다음의 수학식 4에서와 같이 C22의 주변 대각선 방향의 4개 픽셀의 A값(B값)들의 평균값으로 구한다.
Figure 112005063931898-pat00004
3) A 채널의 복원(G값만 있는 픽셀)
도 3의 G값만 있는 픽셀 G23에서 A채널(예컨대, B채널) 값(A23)은 다음 수학식 5와 같이 복원하고자 하는 채널(B채널)과 같은 채널이 있는 수직 방향의 2개 픽셀의 A값(B값)들의 평균값으로 구한다.
Figure 112005063931898-pat00005
도 3의 G값만 있는 픽셀 G32에서 A채널(예컨대, R채널) 값(A32)은 다음 수학식 6에서와 같이 복원하고자 하는 채널(R채널)과 같은 채널이 있는 수평 방향의 2개 픽셀의 A값(실제로는 R값)들의 평균값으로 구한다.
Figure 112005063931898-pat00006
도 4는 종래의 평탄 색상 변화 보간법(Smooth hue transition interpolation)을 설명하기 위한 실시예로서, 두 채널의 차이 즉, 뺀 값이 일정하다는 가정에서 채널 보간이 수행된다. 빼기 연산은 덧셈 연산과 동일한 프로세싱 사이클에 처리가 가능하므로 상기 쌍일차(bilinear) 방식보다 성능은 향상되지만 계산량에서는 크게 차이가 나지 않는다.
이 방법은 어떤 특정한 영역에서 G-B 또는 G-R, 즉 G채널과 다른 채널의 차이 값은 일정한 값을 가진다는 가정하에서 다음과 같이 수행된다.
1) G 채널의 복원(R값만 있는 픽셀 또는 B값만 있는 픽셀)
도 4의 A33(B값만 있는 픽셀)에서 G채널 값(g33)은 다음 수학식 7과 같이 B값만 있는 픽셀의 주변 상하좌우의 4개 픽셀에 대하여 각각의 G값과, 상기 각각의 픽 셀에서 G채널을 복원하고자 하는 현재 픽셀의 채널(B채널)과 같은 채널이 있는 수직 방향 혹은 수평 방향의 2개 픽셀의 A값(B값)들의 평균값을 뺀 값을 나타내는 차영상의 채널 DA들의 평균값을 현재의 픽셀(A33)에 존재하는 A값(B값)에 더하여 구한다.
Figure 112005063931898-pat00007
상기 수학식 7에 있어서, ‘T’는 위쪽(Top), 'B'는 아래쪽(Bottom), 'L'은 왼쪽(Left), 'R'은 오른쪽(Right)을 나타내고 A는 R과 B중에 하나를 갖는 대표로 설정한다. D(Difference)는 차영상의 채널이다.
즉, DR=G-R 혹은 DB=G-B이다. 여기서는 DAT라고 하면 R이나 B에서 위쪽 방향에 있는 DA(G-R이나 G-B)를 뜻한다.
2) A 채널의 복원 (R값만 있는 픽셀 혹은 B값만 있는 픽셀)
도 4의 C22(R값만 있는 픽셀)에서 A채널(B채널) 값(a22)은 다음 수학식 8과 같이 주변 대각선 방향의 4개 픽셀에 대하여 각각의 G채널 값과, 상기 각각의 픽셀에 존재하는 상기 복원 채널(A채널)과 같은 채널 값을 뺀 값을 나타내는 차영상의 채널 D들의 평균값을 현재의 픽셀(C22)에 존재하는 G값(g22)에 더하여 구한다.
Figure 112005063931898-pat00008
상기 수학식 8에서 g값들은 이미 상기 수학식 7의 설명에서 보간된 것들을 사용한다.
3) A 채널의 복원(G값만 있는 픽셀)
도 4의 G값만 있는 픽셀 G23에서 A채널(B채널) 값(A23)은 다음 수학식 9와 같 이 상기 쌍일차(bilinear) 방식처럼 복원하고자 하는 채널(B채널)과 같은 채널이 있는 수직 방향의 2개의 픽셀의 각각의 G값과, 해당 픽셀에 존재하는 상기 복원 채널과 같은 채널 값을 뺀 값을 나타내는 차영상의 채널 D들의 평균값을 현재의 픽셀(G23)에 존재하는 G값에서 감하여 구한다.
Figure 112005063931898-pat00009
상기 수학식 9에 있어서, G값들은 이미 상기 수학식 7의 설명에서 보간된 것들을 사용한다.
도 4의 G값만 있는 픽셀 G32에서 A채널(R채널) 값(A23)은 다음 수학식 10과 같이 상기 쌍일차(bilinear) 방식처럼 복원하고자 하는 채널(R채널)과 같은 채널이 있는 수평 방향의 2개의 픽셀의 각각의 G값과, 해당 픽셀에 존재하는 상기 복원 채널과 같은 채널 값을 뺀 값을 나타내는 차영상의 채널 D들의 평균값을 현재의 픽셀(G32)에 존재하는 G값에서 감하여 구한다.
Figure 112005063931898-pat00010
상기 수학식 10에 있어서, G값들은 이미 상기 수학식 7의 설명에서 보간된 것들을 사용한다.
이와 같이 종래 기술은 대부분 시스템의 복잡도를 낮춰 하드웨어 부하를 줄이기 위해 위에서 설명한 세 가지 대표적인 방법 중에서 상기 근접 화소 복제(Nearest Neighbor Replication)방법과 쌍일차 보간법(Bilinear Interpolation)이 주로 사용된다.
도 5와 도 6은 종래 기술에 따른 잡음을 제거하기 위한 실시예로서, 색 보간 전, 후에 잡음 제거에 사용되는 픽셀의 위치를 제외하고는 동일한 방법으로 사용이 가능하다.
도 5는 종래의 적응적 가중 평균(Adaptive weighting average) 방법으로써 특정한 마스크(mask) 내의 값을 에지를 가로지르지 않도록 가중치를 적용하여 사용한다. 도 5에서는 원 픽셀 값 f에 잡음 n이 추가되어 열화된 픽셀 값이 g이며,
Figure 112005063931898-pat00011
는 잡음 제거 후의 픽셀 값이다. 이 방법을 통한 가중치 및 원 픽셀 값은 다음의 수학식 11과 같이 구한다.
Figure 112005063931898-pat00012
상기 수학식 11에 있어서, e는 가중치 함수이며, 임계치 T는 에지를 가로지르지 않도록 임계치 이상의 값은 평균 계산에 사용하지 않도록 설정한다. 상기 임계치 T는 영상 전체의 표준편차와 잡음의 분산의 합으로 정한다.
도 6은 종래의 LLMMSE(Local Linear Minimum Mean Square Error) 방법으로써 특정한 크기의 마스크 내의 값을 에지는 보존하면서 잡음(n)은 효과적으로 제거하는 방법이다. 도 6에 있어서, f,
Figure 112005063931898-pat00013
, g, T는 적응적 가중치 평균 방법과 동일하며,
Figure 112005063931898-pat00014
는 열화된 영상(g)의 적응적 국부 평균,
Figure 112005063931898-pat00015
,
Figure 112005063931898-pat00016
은 각각 열화된 영상의 적응적 국부 분산, 잡음의 분산이다. 이 방법에 의한 각 값은 다음의 수학식 12와 같이 구한다.
Figure 112005063931898-pat00017
도 6에서는 열화된 영상(g)과 원 영상(f)의 관계를 g=f+n으로 나타내고 있으므로, 상기 수학식 12에 있어서
Figure 112005063931898-pat00018
은 잡음 n의 분산을 구한 값이 된다.
상기와 같은 색 보간법에 있어서의 문제점은 적용 시스템들은 실제로 사용이 가능할 정도로 계산이 간단하지만 눈에 거슬리는 잘못된 색상 오류(False Color Error)나 물결무늬 효과(Moire Effect)를 잘 제거하지 못한다. 이들은 주로 영상에 서 중요한 정보인 에지(Edge), 즉 물체의 윤곽이나 경계선들에서 주로 발생하기 때문에 화질이 더욱 나빠 보이게 된다.
잘못된 색상 오류(False Color Error)는 말 그대로 원래의 색과는 전혀 다른 색이 보간된 경우로 곳곳의 픽셀들이 주위와 부드럽지 못하고 눈에 띄게 튀어 보이게 되는 현상이다.
물결무늬 효과(Moire Effect)는 주로 체크무늬들에서 많이 볼 수 있는데, TV를 볼 때도 많이 볼 수 있는 현상들이다. 체크무늬 옷이나 넥타이를 입은 사람들에서 무지개같이 알록달록하게 색깔이 망가지는 현상을 볼 수 있다.
색 보간에 있어서 잡음 제거 방법은 색 보간과 잡음 제거가 동시에 고려된 적이 없고, 또한 색 보간 전에 잡음 제거를 하는 경우는 잡음 제거에 충분한 정보를 사용할 수가 없기 때문에 에지 주위에서 잡음을 효과적으로 제거하지 못하며, 색상호간의 상관관계를 고려할 수 없기 때문에 색상 오류가 발생하게 된다. 색 보간 후에 잡음 제거를 하는 경우는 잡음 제거에 사용하는 정보의 양은 많고 색상호간의 상관관계를 고려하기 위한 연산이 필요하기 때문에 처리 속도는 색 보간 전의 잡음 제거와 비교해 상대적으로 느리게 되고 그 구조 또한 복잡한 형태가 된다. 또한 색 보간 과정 동안 생기는 앞서 언급한 색상오류나 물결무늬 효과 같은 경우는 제거하지 못하는 문제점이 있었다. 이러한 색 보간과 잡음제거 문제들을 개선하기 위한 연구들을 계속 나오고 있지만 결과가 만족스럽지는 못하다.
본 발명은 상기한 종래 기술의 제반 문제점을 해결하기 위한 것으로, 그 목 적은 CCD(Charge Coupled Device)나 CIS(CMOS Imaging Sensor)의 각 픽셀(pixel)마다 적색(R), 녹색(G), 청색(B)의 필터가 씌워진 센서를 통해 컬러 영상을 얻는데, 잡음의 영향과 채널 간의 상관관계를 고려하여 잃어버린 컬러 채널의 값을 보간하므로, 눈에 보이는 잡음과 에러들을 제거하도록 하는 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 방법을 제공함에 있다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 과정은, CCD(Charge Coupled Device) 표면에 CFA(Color Filter Array)를 입혀서 픽셀에 따라 R(적색), G(녹색), B(청색) 중 선택적으로 하나의 값을 얻은 후 부족한 두 개의 채널 값은 근처 픽셀의 값을 잡음을 고려해서 보간하여 사용하는 CCD의 색상 보간 방법에 있어서, 상기 G 채널의 잡음을 고려한 보간을 수행하는 제 1 과정과, 상기 R 위치에서 잡음을 고려한 B채널 보간과 B위치에서 잡음을 고려한 R채널 보간을 수행하는 제 2 과정과, 상기 G위치에서 잡음을 고려한 R채널과 B채널에 대한 보간된 이미지를 산출하는 제 3 과정을 포함하여 이루어진 것을 특징으로 한다.
이하, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 7은 본 발명의 실시예에 따른 채널 간 상관관계를 고려한 색상 보간 방법의 전체 흐름도로서, 먼저, 잡음을 고려한 G채널 보간(R값만 있는 픽셀 또는 B값만 있는 픽셀의 경우), R위치에서 잡음을 고려한 B채널 보간과 B위치에서 잡음을 고려한 R채널 보간을 수행하고, G위치에서 잡음을 고려한 R과 B채널 보간을 수행한다.
상기 과정을 통해 잡음이 제거되고 보간된 이미지(Denoised and Interpolated Image)를 산출한다.
도 8a는 도 7에서 G채널 보간 과정의 상세 흐름도로서, 먼저 처리 채널을 변환한다. 즉, 'DA'를 생성한다.
도 9a에 나타낸 A33값 위치에서 잡음을 고려한 보간을 하는 것을 일 실시예로 설명하면 다음과 같다.
먼저, 설명을 위해 'T'는 위쪽(Top), 'B'는 아래쪽(Bottom), 'L'은 왼쪽(Left), 'R'은 오른쪽(Right)을 나타내고 A는 R과 B중에 하나를 갖는 대표로 설정한다. D(Difference)는 차영상의 채널이다.
즉, DR=G-R 혹은 DB=G-B이다. 여기서는 DAT라고 하면 R이나 B에서 위쪽 방향에 있는 DA(G-R이나 G-B)를 뜻한다.
이와 같은 G채널 보간법은 모든 처리를 원래 존재하는 R, G, B 채널보다는 차영상 채널에서 모든 것을 처리하는 것이 핵심이다. 따라서 A33의 위치에서의 경우 수학식 13에서와 같이 산출한다.
Figure 112005063931898-pat00019
상기 수학식 13에서 차영상의 채널 DA들을 구하는 방식은 상기 수학식 7의 과정과 동일하다.
이를 현존하는 A채널과 새로 만들어진 D채널의 관계로 다시 표현하면 도 9b에 도시한 바와 같이 된다.
상기 G채널을 보간하기 위해서는 관심 갖는 픽셀이 에지에 속해 있는지 아닌지를 판단해야하고, 만약 에지에 있다면 어느 방향으로 에지가 있는지를 판단해야한다.
시스템을 간단히 하면서 에지 유무와 방향을 알기 위해 본 발명에서는 기울기(Gradient)의 절대값과 에지 방향 지시자 함수(edge indicator function)를 사용 하도록 한다.
먼저, 에지의 방향을 결정하기 위하여 다음의 수학식 14와 같은 함수를 도입한다.
Figure 112005063931898-pat00020
여기서, Direction 함수는 상하좌우 네 방향에 위치하는 차영상 채널들의 값들을 각각 두 개씩 조합하여 그 차이를 구하는 함수로서, 실제로 4개의 D값을 이용해서 2가지씩의 조합을 구하면 (DAT,DAB), (DAT,DAL), (DAT,DAR), (DAB,DAL), (DAB,DAR), (DAL,DAR)와 같이 총 6가지 조합이 구해진다. 본 발명에서는 이 중에서 그 차가 가장 작은 조합을 구하여 색보간의 방향을 정하게 되며, 이에 따라서 가장 차이가 작게 나오는 것을 두 개, 예컨대 Dm1, Dm2를 선택해서 보간하게 되면 에러를 많이 줄일 수 있다.
상기와 같이 색보간을 위한 에지의 방향을 결정하게 되면, G채널과 현 위치의 A채널 두 지수(exponential) 함수의 조화 평균으로 나타낼 수 있는 에지 방향 지시자 함수(w)를 다음의 수학식 15와 같이 결정할 수 있다.
Figure 112005063931898-pat00021
상기 ΔGmn, ΔAmn은 두 픽셀 값의 차이이다.
이와 같이, 두 채널의 조화 평균을 에지 방향 지시자 함수로 사용함으로써 색 보간 시 에지 정보를 좀 더 잘 반영할 수 있다.
잡음에 의해서 열화된 정보를 색 보간에 이용하기 때문에 그 값의 부적절함으로 인해 잘못된 에지 방향 추정 및 잘못된 색간 상관관계로 인해 색 오류가 발생 할 수 있으므로 이를 효과적으로 제거하기 위해서는 일단 다음의 수학식 16과 같이 LLMMSE 방법을 이용해서 색 보간 위치에서의 잡음을 제거한다. 도 8b는 A채널의 잡음 제거 과정의 흐름도로써 CFA상의 A채널 정보를 이용해서 잡음 제거한 후 이값을 보간에 사용한다.
Figure 112005063931898-pat00022
여기서 h는 A채널의 정보를 포함하는 마스크로써 N×N 크기의 마스크를 사용한다. CFA 상의 A 채널의 정보만을 이용해서 잡음을 제거하며, 잡음의 정도에 따라 N의 크기는 조절된다.
Figure 112005063931898-pat00023
은 CFA 상의 A채널의 적응적 국부 분산이고,
Figure 112005063931898-pat00024
은 CFA 상의 잡음의 분산으로 여기서
Figure 112005063931898-pat00025
은 이미 알고 있는 값이라고 가정한다.
위 과정을 토대로 해서 잡음에 강한 G채널의 색 보간법을 표현하면 다음의 수학식 17과 같다.
Figure 112005063931898-pat00026
여기서 wm1, wm2은 Direction 함수에 의해 선택된 두 개의 D값(Dm1, Dm2) 위치에서의 방향 지시자 함수이다. 이와 같이 보간된 G값은 잡음 제거된 A값을 사용하고 색 간의 상호관계를 고려하기 때문에 잡음은 효과적으로 제거되면서 색 오류가 상대적으로 적게 나타나는 장점을 가진다.
도 10a는 본 발명의 실시예에 따른 R위치에서 B채널과 B위치에서 R채널 보간법의 흐름도이고, 도 10b는 R위치에서 B채널과 B위치에서 R채널 보간 시 잡음이 제거된 결과를 얻기 위해서 사용된 G채널의 잡음 제거 과정의 흐름도이다. 이때, C위치에서 A채널의 보간은 도 11a에서 도시한 바와 같다. 먼저 처리 채널을 변환한다. 즉, 'DA'를 생성한다.
도 9에 나타낸 C22의 경우를 예를 들어 설명하면 다음과 같다. 즉, 이미 G채널은 보간이 끝났기 때문에 G값은 모두 존재한다고 설정한다. 그러면 C22에서도 G값 이 존재하고 A에서도 G값들은 존재한다. C22에서 A값을 구하기 위해서, 즉 R위치에서 B채널 값을 구하기 위해서는 A값(B값)들이 존재하는 대각선 방향으로 차영상 채널로 변환해야 한다. 차영상 채널의 획득 결과는 도 11b 및 다음 수학식 18과 같다.
Figure 112005063931898-pat00027
상기 수학식 18에서 차영상의 채널 D들을 구하는 방식은 상기 수학식 8의 과정과 동일하다.
이후, A채널을 보간하기 위해서 G채널의 보간과 마찬가지로 에지의 유무를 판단하고 에지의 방향을 결정한다. 이 방법은 다음의 수학식 19 및 수학식 20과 같이 주어진다.
Figure 112005063931898-pat00028
Figure 112005063931898-pat00029
도 10b는 G채널의 잡음 제거 과정의 흐름도로써 보간된 G채널 정보를 이용해서 다음의 수학식 21과 같이 LLMMSE 방법을 이용해서 잡음을 제거한 후 이 값을 A채널 보간에 사용한다.
Figure 112005063931898-pat00030
여기서 h는 G채널의 정보를 포함하는 마스크로써 N×N 크기의 마스크를 사용한다. A채널의 경우와는 다르게 여기서는 완전히 보간된 G 채널의 정보를 이용하여 잡음을 제거한다. 잡음의 정도에 따라 N은 크기는 조절된다.
Figure 112005063931898-pat00031
은 색 보간된 전영상 G채널의 적응적 국부 분산이고,
Figure 112005063931898-pat00032
은 CFA 상의 잡음의 분산으로 여기서
Figure 112005063931898-pat00033
은 상기 수학식 16과 마찬가지로 이미 알고 있는 값이라고 가정한다.
이를 통해 최종적으로 보간되는 A채널의 값은 다음의 수학식 22와 같다.
Figure 112007018384308-pat00078
도 12a는 본 발명의 실시예에 따른 G위치에서의 A채널(B 또는 R 채널) 보간 과정의 흐름도로서, 도 11a의 C위치에서 A채널 보간 과정에서 R에서 b값을 B에서 r값을 모두 산출하였는데, 여기서는 G에서 r, b값을 찾아서 보간을 마무리하는 과정이다(소문자 b 또는 r은 보간된 A채널과 원래 CFA 상의 A채널의 구별을 위해서 대문자 알파벳 B 또는 R 대신 사용한 기호). 보간 과정은 도 10a, 도 11a, 도 11b의 C위치에서 A채널 보간 과정과 같으나, 단지 대각선 대신 도 13a, 도 13b와 같이 상하좌우 방향으로 차이 값이 적은 쪽을 이용한다.
도 12b는 도 12a의 색보간 과정 중 잡음이 제거된 결과를 얻기 위해서 사용된 G채널의 잡음 제거 과정의 흐름도로서, 도 11a와 동일한 과정을 가진다.
도 9에 나타낸 C22에 대응하는 G22의 경우를 살펴보면 다음과 같다. 상기 과정들에서 상하 좌우의 픽셀에는 R, G, B가 모두 보간되어 완전해졌다. 상기 G22에서 A값을 구하기 위해서는 A값들이 존재하는 상하와 보간된 좌우 방향으로 차영상 채널로 변환해야 한다. A와 C의 자리가 바뀌는 경우도 동일한 방법으로 보간하게 된 다. 그 결과는 도 13b 및 다음의 수학식 23과 같다.
Figure 112005063931898-pat00035
상기 수학식 23에서 차영상의 채널 D들을 구하는 방식은 상기 수학식 8와 수학식 10의 과정과 동일하다.
이때, 에지 방향은 다음의 수학식 24로 주어지는 방향을 이용하여 상기 수학식 20과 동일하게 구할 수 있다.
Figure 112005063931898-pat00036
이렇게 결정된 방향을 바탕으로, 상기 수학식 21과 동일한 LLMMSE 방법으로 잡음 제거를 수행한 후 최종적으로 보간된 A채널의 값은 다음의 수학식 25와 같다.
Figure 112007018384308-pat00079
이상에서 설명한 것은 본 발명에 따른 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
이상에서 설명한 바와 같이, 본 발명에 따른 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 방법은 CCD나 CIS의 각 픽셀마다 R, G, B의 필터가 씌워진 센서를 통해 컬러 영상을 얻는데, 채널 간의 상관관계를 고려하여 잡음을 제거하고 잃어버린 컬러 채널의 값을 보간하므로, 눈에 보이는 에러들을 제거할 수 있는 효과가 있다.

Claims (4)

  1. 삭제
  2. CCD(Charge Coupled Device) 표면에 CFA(Color Filter Array)를 입혀서 픽셀에 따라 R(적색), G(녹색), B(청색) 중 선택적으로 하나의 값을 얻은 후 부족한 두 개의 채널 값은 근처 픽셀의 값을 보간하여 사용하는 CCD의 색상 보간 방법에 있어서,
    G채널을 복원하기 위한 R값(또는 B값)만 있는 현재 위치 픽셀의 주변 상하좌우의 4개 픽셀에 대하여 각각의 G값과, 상기 각각의 픽셀에서 상기 G채널 복원을 위한 현재 위치 픽셀의 R채널(또는 B채널)과 같은 채널이 있는 수직 방향 혹은 수평 방향의 2개 픽셀의 R값(혹은 B값)들의 평균값을 뺀 값을 나타내는 4개의 차영상의 채널(DA)들을 생성하는 단계와;
    상기 4개의 차영상 채널(DA)들의 값들을 각각 두 개씩 조합하여 그 차이를 구한 값이 가장 작은 조합을 색보간을 위한 에지의 방향으로 결정하여 G채널과 현 위치 픽셀의 R채널(또는 B채널)을 이용한 두 지수(exponential) 함수의 조화 평균으로 나타낼 수 있는 하기의 에지 방향 지시자 함수(w)를 산출하는 단계
    Figure 112007018384308-pat00038
    (상기 ΔGmn, ΔAmn은 두 픽셀 값의 차이);
    상기 에지 방향 지시자 함수(w)를 산출한 후, 현재 위치 픽셀의 R채널(또는 B채널)의 잡음을 하기의 수학식을 이용하여 미리 제거하는 단계
    Figure 112007018384308-pat00039
    (여기서 h는 A채널의 정보를 포함하는 마스크로써 N×N 크기의 마스크를 사용한다. CFA 상의 A 채널의 정보만을 이용해서 잡음을 제거하며, 잡음의 정도에 따라 N의 크기는 조절되고,
    Figure 112007018384308-pat00040
    은 CFA 상의 A채널의 적응적 국부 분산이며,
    Figure 112007018384308-pat00041
    은 CFA 상의 잡음의 분산으로 여기서
    Figure 112007018384308-pat00042
    은 이미 알고 있는 값이라고 가정함); 및
    상기 에지 방향 지시자 함수(w)와 잡음이 미리 제거된 현재 위치 픽셀의 R채널(또는 B채널) 값
    Figure 112007018384308-pat00043
    을 이용하여 R값(또는 B값)만 있는 현재 위치 픽셀에서의 G채널 값(g)을 하기의 수학식으로 보간하는 단계
    Figure 112007018384308-pat00044
    (여기서 wm1, wm2은 Direction 함수에 의해 선택된 두 개의 D값(Dm1, Dm2) 위치에서의 방향 지시자 함수)
    로 이루어지는 것을 특징으로 하는 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 방법.
  3. CCD(Charge Coupled Device) 표면에 CFA(Color Filter Array)를 입혀서 픽셀에 따라 R(적색), G(녹색), B(청색) 중 선택적으로 하나의 값을 얻은 후 부족한 두 개의 채널 값은 근처 픽셀의 값을 보간하여 사용하는 CCD의 색상 보간 방법에 있어서,
    상기 R값(또는 B값)만 있는 현재 위치 픽셀에서 G채널 보간 후, 현재 위치 픽셀에서 B채널(또는 R채널) 복원을 위하여 현재 위치 픽셀의 주변 대각선 방향의 4개 픽셀에 대하여 각각의 G채널 값과, 상기 각각의 픽셀에 존재하는 상기 복원을 위한 B채널(또는 R채널)과 같은 채널 값을 뺀 값을 나타내는 4개의 차영상의 채널(D)들을 생성하는 단계와;
    상기 4개의 차영상 채널(D)들의 값들을 각각 두 개씩 조합하여 그 차이를 구한 값이 가장 작은 조합을 색보간을 위한 에지의 방향으로 결정하여 G채널과 현 위치 픽셀의 R채널(또는 B채널)을 이용한 두 지수(exponential) 함수의 조화 평균으로 나타낼 수 있는 하기의 에지 방향 지시자 함수(w)를 산출하는 단계
    Figure 112007018384308-pat00045
    (상기 ΔGmn, ΔAmn은 두 픽셀 값의 차이);
    상기 에지 방향 지시자 함수(w)를 산출한 후, 현재 위치 픽셀의 G채널의 잡음을 하기의 수학식을 이용하여 미리 제거하는 단계
    Figure 112007018384308-pat00046
    (여기서 h는 G채널의 정보를 포함하는 마스크로써 N×N 크기의 마스크를 사용한다. A채널(R채널(또는 B채널))의 경우와는 다르게 여기서는 완전히 보간된 G 채널의 정보를 이용하여 잡음을 제거하며, 잡음의 정도에 따라 N의 크기는 조절되고,
    Figure 112007018384308-pat00047
    은 CFA 상의 G채널의 적응적 국부 분산이며,
    Figure 112007018384308-pat00048
    은 CFA 상의 잡음의 분산으로 여기서
    Figure 112007018384308-pat00049
    은 이미 알고 있는 값이라고 가정함); 및
    상기 에지 방향 지시자 함수(w)와 잡음이 미리 제거된 현재 위치 픽셀의 G채널 값
    Figure 112007018384308-pat00050
    을 이용하여 R값(또는 B값)만 있는 현재 위치 픽셀에서의 B채널(또는 R채널) 값(a)을 하기의 수학식으로 보간하는 단계
    Figure 112007018384308-pat00080
    (여기서 wm1, wm2은 Direction 함수에 의해 선택된 두 개의 D값(Dm1, Dm2) 위치에서의 방향 지시자 함수)
    로 이루어지는 것을 특징으로 하는 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 방법.
  4. CCD(Charge Coupled Device) 표면에 CFA(Color Filter Array)를 입혀서 픽셀에 따라 R(적색), G(녹색), B(청색) 중 선택적으로 하나의 값을 얻은 후 부족한 두 개의 채널 값은 근처 픽셀의 값을 보간하여 사용하는 CCD의 색상 보간 방법에 있어서,
    R채널(또는 B채널)을 복원하기 위한 G값만 있는 현재 위치 픽셀에서 상기 복원을 위한 R채널(또는 B채널)과 같은 채널이 있는 수직 방향의 2개의 픽셀과 수평 방향의 2개의 픽셀에 대하여 각각의 G값과, 해당 픽셀에 존재하는 상기 복원 채널과 같은 채널 값을 뺀 값을 나타내는 4개의 차영상의 채널(D)들을 생성하는 단계와;
    상기 4개의 차영상 채널(D)들의 값들을 각각 두 개씩 조합하여 그 차이를 구한 값이 가장 작은 조합을 색보간을 위한 에지의 방향으로 결정하여 G채널과 현 위치 픽셀의 R채널(또는 B채널)을 이용한 두 지수(exponential) 함수의 조화 평균으로 나타낼 수 있는 하기의 에지 방향 지시자 함수(w)를 산출하는 단계
    Figure 112007018384308-pat00052
    (상기 ΔGmn, ΔAmn은 두 픽셀 값의 차이);
    상기 에지 방향 지시자 함수(w)를 산출한 후, 현재 위치 픽셀의 G채널의 잡음을 하기의 수학식을 이용하여 미리 제거하는 단계
    Figure 112007018384308-pat00053
    (여기서 h는 G채널의 정보를 포함하는 마스크로써 N×N 크기의 마스크를 사용한다. A채널(R채널(또는 B채널))의 경우와는 다르게 여기서는 완전히 보간된 G 채널의 정보를 이용하여 잡음을 제거하며, 잡음의 정도에 따라 N의 크기는 조절되고,
    Figure 112007018384308-pat00054
    은 CFA 상의 G채널의 적응적 국부 분산이며,
    Figure 112007018384308-pat00055
    은 CFA 상의 잡음의 분산으로 여기서
    Figure 112007018384308-pat00056
    은 이미 알고 있는 값이라고 가정함); 및
    상기 에지 방향 지시자 함수(w)와 잡음이 미리 제거된 현재 위치 픽셀의 G채널 값
    Figure 112007018384308-pat00057
    을 이용하여 G값만 있는 현재 위치 픽셀에서의 R채널(또는 B채널) 값(a)을 하기의 수학식으로 보간하는 단계
    Figure 112007018384308-pat00081
    (여기서 wm1, wm2은 Direction 함수에 의해 선택된 두 개의 D값(Dm1, Dm2) 위치에서의 방향 지시자 함수)
    로 이루어지는 것을 특징으로 하는 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상 보간 방법.
KR1020050105963A 2005-11-07 2005-11-07 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법 KR100741517B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050105963A KR100741517B1 (ko) 2005-11-07 2005-11-07 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050105963A KR100741517B1 (ko) 2005-11-07 2005-11-07 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법

Publications (2)

Publication Number Publication Date
KR20070048904A KR20070048904A (ko) 2007-05-10
KR100741517B1 true KR100741517B1 (ko) 2007-07-20

Family

ID=38273109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050105963A KR100741517B1 (ko) 2005-11-07 2005-11-07 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법

Country Status (1)

Country Link
KR (1) KR100741517B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8938121B2 (en) 2012-11-30 2015-01-20 Samsung Techwin Co., Ltd. Method and apparatus for processing image

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101389562B1 (ko) 2007-11-15 2014-04-25 삼성전자주식회사 이미지 처리 장치 및 방법
KR101634141B1 (ko) 2009-11-18 2016-06-28 삼성전자주식회사 방향에 따른 참조블록을 이용한 영상 보간 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10294948A (ja) 1997-04-18 1998-11-04 Nec Corp 画像処理方法および画像処理プログラム記録媒体
JPH11220745A (ja) 1997-11-28 1999-08-10 Sony Corp カメラ信号処理装置及びカメラ信号処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10294948A (ja) 1997-04-18 1998-11-04 Nec Corp 画像処理方法および画像処理プログラム記録媒体
JPH11220745A (ja) 1997-11-28 1999-08-10 Sony Corp カメラ信号処理装置及びカメラ信号処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8938121B2 (en) 2012-11-30 2015-01-20 Samsung Techwin Co., Ltd. Method and apparatus for processing image

Also Published As

Publication number Publication date
KR20070048904A (ko) 2007-05-10

Similar Documents

Publication Publication Date Title
EP1371014B1 (en) System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
US20120063682A1 (en) Method of demosaicing a digital raw image, corresponding computer program and graphics or imager circuit
KR100667803B1 (ko) 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치
KR100866187B1 (ko) 영역 적응적 방향성 색 보간 방법
KR100765751B1 (ko) 비월 주사 방식의 ｃｍｙｇ 컬러 포맷의 컬러 보간 방법 및그 장치
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
CN110430403B (zh) 一种图像处理方法和装置
CN111784603A (zh) 一种raw域图像去噪方法、计算机装置及计算机可读存储介质
KR100932217B1 (ko) 컬러 보간 방법 및 장치
JP2013017142A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
KR20210018136A (ko) 영상 처리 방법 및 장치
KR101257946B1 (ko) 영상의 색수차를 제거하는 장치 및 그 방법
CN117274060B (zh) 一种无监督的端到端去马赛克方法及系统
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
CN113727042B (zh) 图像处理系统及方法
Paul et al. Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method
CN101778297B (zh) 影像序列的干扰消除方法
Saito et al. Demosaicing approach based on extended color total-variation regularization
Wang et al. Demosaicing with improved edge direction detection
KR100637272B1 (ko) 채널 간 상관관계를 고려한 색상 보간방법
KR101327790B1 (ko) 영상 보간 방법 및 장치
CN110139087B (zh) 一种基于拜耳排布的图像处理方法
KR101072877B1 (ko) 색 보간 방법 및 그 장치
JP2003134523A (ja) 撮像装置及び撮像方法
Zhou et al. An Effective Image Demosaicking Algorithm with Correlations among RGB Channels

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20120605

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee