KR101700928B1 - 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 - Google Patents

다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 Download PDF

Info

Publication number
KR101700928B1
KR101700928B1 KR1020150156030A KR20150156030A KR101700928B1 KR 101700928 B1 KR101700928 B1 KR 101700928B1 KR 1020150156030 A KR1020150156030 A KR 1020150156030A KR 20150156030 A KR20150156030 A KR 20150156030A KR 101700928 B1 KR101700928 B1 KR 101700928B1
Authority
KR
South Korea
Prior art keywords
plane
residual
line
quot
bayer image
Prior art date
Application number
KR1020150156030A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020150156030A priority Critical patent/KR101700928B1/ko
Application granted granted Critical
Publication of KR101700928B1 publication Critical patent/KR101700928B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/045—
    • H04N9/07—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법은 베이어 영상으로부터 G(녹색) 평면을 복원하는 단계 및 복원된 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 또는 B(청색) 평면 중 적어도 하나를 추정하는 단계를 포함함으로써, 베이어 영상으로부터 RGB 평면 추정 후 정제 과정을 거치지 않고도 개선된 품질의 디모자이킹 결과를 제공할 수 있다.

Description

다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치{Bayer pattern image demosaicking method and apparatus based on multi-directional weighted interpolation and guided filter}
실시예들은 베이어(Bayer) 패턴의 컬러 필터 어레이(color filter array)를 구비한 영상 센서로부터 획득한 영상을 디모자이킹(demosaicking)하는 방법에 관한 것으로서, 보다 상세하게는, 녹색(G) 성분에 대한 평면(G plane)을 먼저 복원한 후 복원된 녹색 평면과 유도필터를 이용하여 적색(R) 또는 청색(B) 평면을 추정함으로써 베이어 패턴 영상을 디모자이킹하는 방법에 대한 것이다.
디지털 컬러 카메라가 컬러 필터 어레이(color filter array; CFA)로 영상을 담을 때 세 개의 센서를 사용하는 것은 비용과 공간이 많이 소모되기 때문에 일반적으로 단일 센서가 이용된다. 이러한 기술은 스마트폰과 같은 디지털 영상 산업에서 주로 사용된다.
도 1은 디지털 카메라의 CFA에 널리 이용되는 컬러 배치 패턴 중 하나인 베이어(Bayer) 패턴을 나타낸다. 사람의 눈은 적색(R) 및 청색(B)보다 녹색(G)을 더 잘 식별할 수 있기 때문에, 베이어 패턴에서는 하나의 센서의 1/4은 각각 R 또는 B 성분을 측정하며, 하나의 센서의 절반은 G 성분을 측정한다.
각각의 픽셀 위치에서는 세 개의 컬러 성분(RGB) 중 어느 하나만 샘플링(sampling)되므로, 전체 컬러 영상을 복원하기 위해서는 나머지 두 성분이 추정되어야 한다. 이러한 과정이 디모자이킹(demosaicking)이다.
디모자이킹 방법은 전체 컬러 영상의 복원 품질을 개선하기 위해 개발되어 왔으며, 방향성 보간(directional interpolation) 방법은 복잡도가 낮고 성능이 우수하기 때문에 널리 채용되었다. 예를 들면, 로컬 방향성 보간 및 논로컬 적응적 임계화(local directional interpolation and nonlocal adaptive thresholding; LDI-NAT) 방법은 샘플링되지 않은(missing) 컬러 성분의 로컬(local) 방향성 추정을 먼저 수행하고, 로컬 추정을 강화하기 위해, 논로컬(nonlocal) 유사 구조의 검색 절차를 수행한다. 이러한 방법은 개선된 성능을 보이지만, 복잡도가 증가한다.
따라서 최근에는 더욱 우수한 성능을 갖는 다중 방향성 가중 보간(multi-directional weighted interpolation; MDWI)방법이 제안된 바 있으나, MDWI는 R/B 성분을 보간할 때 수평 또는 수직 관계를 효율적으로 이용하지 않기 때문에 G 성분에 있어서는 효율적이지만 R/B 성분에 대해서는 그렇지 않고, 후처리 과정으로서 정제(refinement)가 필요한 단점이 있다.
X. Chen, G. Jeon, J. Jeong, and L. He, "Multi-derectional weighted interpolation and refinement method for bayer pattern cfa demosaicking," IEEE Trans. Circuits Syst. Video Technol., 2014, DOI:10.1109/TCSVT.2014.2313896.
본 발명의 일 측면에 따르면, 단시간에 별도의 후처리 과정 없이도 우수한 품질로 베이어 패턴 컬러 필터 어레이를 갖는 영상 센서가 획득한 영상을 디모자이킹할 수 있다.
본 발명의 일 실시예에 따른 디모자이킹 방법은, 베이어 영상으로부터 G(녹색) 평면을 복원하는 단계; 및 복원된 상기 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 및 B(청색) 평면 중 적어도 하나를 추정하는 단계;를 포함한다.
일 실시예에서, 상기 R 평면 및 B 평면 중 적어도 하나를 추정하는 단계는, 상기 R 평면 및 B 평면 중 어느 하나를 제 1 평면으로 정의하고 다른 하나를 제 2 평면으로 정의할 때, 복원된 상기 G 평면을 기초로 상기 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성하는 제 1 단계; 상기 베이어 영상의 제 1 평면에 대응하는 컬러 성분 위치에서의 본래(original)값과 상기 선추정값 사이의 잔차(residual)를 계산하는 제 2 단계; 상기 제 2 단계에서 계산된 잔차를 이용하여 상기 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간하는 제 3 단계; 및 상기 제 1 단계에서 생성한 제 1 평면에 대한 선추정값과 상기 제 2 단계 및 제 3 단계에서 얻은 잔차를 합산함으로써 상기 제 1 평면을 얻는 제 4 단계;를 포함한다.
일 실시예에서, 상기 제 1 단계는, 복원된 상기 G 평면을
Figure 112015108426764-pat00001
라고 할 때, 하기 수학식 1을 통해 상기 제 1 평면에 대한 선추정값(
Figure 112015108426764-pat00002
)을 생성한다.
Figure 112015108426764-pat00003
(단,
Figure 112015108426764-pat00004
, W m,n 은 로컬 윈도우, a m,n 및 b m,n 은 제 1 평면에 대응하는 컬러 성분(R i,j )의 상기 W m,n 내에서의 평균(
Figure 112015108426764-pat00005
)을 기초로 결정되는 선형 계수)
일 실시예에서, 상기 a m,n 및 b m,n 은 하기 수학식 2 내지 4를 만족한다.
Figure 112015108426764-pat00006
(단, E는 비용함수(cost function),
Figure 112015108426764-pat00007
는 에지의 보존에 영향을 미치는 정규화 파라미터)
Figure 112015108426764-pat00008
(단, N W 는 상기 W m,n 내 픽셀의 개수, ? m,n 및
Figure 112015108426764-pat00009
는 각각 상기 W m,n 내의 G 평면(
Figure 112015108426764-pat00010
)의 평균 및 분산)
Figure 112015108426764-pat00011
일 실시예에서, 상기 제 2 단계에서 계산된 잔차를
Figure 112015108426764-pat00012
라고 할 때, 상기 제 3 단계는 하기 수학식 5 를 통해 G 성분 위치에서의 잔차를 보간한다.
Figure 112015108426764-pat00013
Figure 112015108426764-pat00014
일 실시예에서, 상기 제 2 단계에서 계산된 잔차를
Figure 112015108426764-pat00015
라고 할 때, 상기 제 3 단계는 하기 수학식 6 및 7 을 통해 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간한다.
Figure 112015108426764-pat00016
Figure 112015108426764-pat00017
본 발명의 일 실시예에 따른 디모자이킹 장치는, 베이어 영상으로부터 G(녹색) 평면을 복원하는 G 평면 복원부; 및 상기 G 평면 복원부에서 복원된 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 및 B(청색) 평면 중 적어도 하나를 추정하는 R/B 평면 추정부;를 포함한다.
일 실시예에서, 상기 R/B 평면 추정부는, 상기 R 평면 및 B 평면 중 어느 하나를 제 1 평면으로 정의하고 다른 하나를 제 2 평면으로 정의할 때, 복원된 상기 G 평면을 기초로 상기 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성하는 선추정값 생성부; 상기 베이어 영상의 제 1 평면에 대응하는 컬러 성분 위치에서의 본래(original)값과 상기 선추정값 생성부에서 생성한 선추정값 사이의 잔차(residual)를 계산하는 잔차 계산부; 상기 잔차 계산부에서 계산된 잔차를 이용하여 상기 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간하는 잔차 보간부; 및 상기 선추정값 생성부에서 생성한 제 1 평면에 대한 선추정값과 상기 잔차 계산부 및 상기 잔차 보간부에서 얻은 잔차를 합산함으로써 상기 제 1 평면을 얻는 제 1 평면 획득부;를 포함한다.
본 발명의 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체는 본 발명의 일 실시예에 따른 베이어 영상의 모자이킹 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록하고 있다.
본 발명의 일 실시예에 따르면, 베이어 패턴을 갖는 컬러 필터 어레이를구비한 영상 센서가 획득한 영상으로부터 RGB 평면을 추정한 이후의 정제 과정 없이도 우수한 품질의 디모자이킹 결과를 얻을 수 있다.
도 1은 컬러 필터 어레이의 베이어 패턴을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법의 흐름도이다.
도 4는 베이어 패턴 컬러 필터 어레이의 대각선 방향 컬러 정보를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 장치의 개략적인 블록도이다.
도 6은 디모자이킹 대상 영상(a), 종래의 디모자이킹 기술에 따른 결과 영상((b) 내지 (e)) 및 본 발명의 일 실시예에 따른 디모자이킹 결과 영상(f)을 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들에 대하여 상술한다.
도 2는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 방법의 흐름도이다.
도 2를 참고하면, 베이어 영상의 디모자이킹 방법은 베이어 영상으로부터 G(녹색) 평면(plane)을 복원하는 단계(S100) 및 복원된 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 또는 B(청색) 평면 중 적어도 하나를 추정하는 단계(S200)를 포함할 수 있다.
이때 베이어 영상이란 베이어 패턴의 컬러 필터 어레이(color filter array; CFA)를 갖는 영상 센서로부터 획득한 영상을 의미하며, 유도필터는 에지(edge)가 보존되는 스무딩 특성을 갖는 간단하고 효과적인 필터의 한 종류이다.
먼저, 베이어 영상으로부터 G 평면을 추정하는 단계(S100)에 대하여 상세히 설명한다. 그러나 본 발명에서 G 평면을 복원하는 방법은 이에 제한되지 않는다.
G 평면을 복원하기 위해 인접한 픽셀들의 공간적 관계와 스펙트럼 관계를 이용하여 다중 방향 가중 보간을 통해 샘플링되지 않은(missing) G 성분 샘플을 추정한다. G 평면은 서로 다른 가중 계수를 갖는 복수의 보간 방향을 따른 선추정값(pre-estimations)을 기초로 복원된다.
이해를 돕기 위해 8-방향 가중 보간을 통해 G 평면을 복원하는 방법을 예로 들어 상세히 설명한다. 먼저, 샘플링되지 않은 G 성분을 임의변수(
Figure 112015108426764-pat00018
)의 기대값으로 보며, 임의변수(
Figure 112015108426764-pat00019
)는 서로 다른 확률(
Figure 112015108426764-pat00020
)을 갖는 8개의 가능값(possible values)을 취한다. 일 실시예에서, 임의변수(
Figure 112015108426764-pat00021
)는 8개의 보간 방향(즉, 북(N), 남(S), 서(W), 동(E), 북서(NW), 남서(SW), 북동(NE), 남동(SE))에 따른 선추정값을 나타낸다. B i,j 위치에서 샘플링되지 않은 G 성분의 경우, 하기 수학식 8에 따라 추정값(
Figure 112015108426764-pat00022
)을 구할 수 있고, 이로부터 G 평면을 구할 수 있다.
Figure 112015108426764-pat00023
수학식 8을 참고하면, 샘플링되지 않은 G 성분을 복원하기 위해 서로 다른 계수를 갖는 B i,j 주변의 8개의 방향에 따른 8개의 선추정값이 공동으로 이용된다. 더욱 자세하게는 하기 수학식 9를 따른다.
Figure 112015108426764-pat00024
수학식 9에서 X 는 선추정하는 방향을 나타내며, 예를 들면 X∈{N, S, W, E, NW, SW, NE, SE}를 만족한다.
Figure 112015108426764-pat00025
는 X 방향에 따른 선추정값을 나타내고,
Figure 112015108426764-pat00026
는 X 방향에 대응하는 가중 계수이다.
Figure 112015108426764-pat00027
는 스펙트럼 상관관계 및 공간적 상관관계를 이용하여 연산된다.
수평 및 수직 방향(즉, N, S, W, E)에 따른 선추정값(
Figure 112015108426764-pat00028
)은 스펙트럼 상관관계를 이용하여 연산되며, 예를 들면 하기 수학식 10을 통해 얻을 수 있다.
Figure 112015108426764-pat00029
또, 4개의 대각선 방향에 따른 선추정값(
Figure 112015108426764-pat00030
)은 하기 수학식 11을 통해 얻을 수 있다.
Figure 112015108426764-pat00031
수학식 11에서
Figure 112015108426764-pat00032
는 대각선 방향을 따라 이웃하는 픽셀집합이며, h 8 (k)는 8-탭(tap) 보간 필터를 나타낸다. h 8 (k)는 하기 수학식 12와 같이 정의될 수 있다.
Figure 112015108426764-pat00033
도 3은 베이어 패턴의 대각선 방향 정보를 나타낸다.
도 3을 참고하면, 베이어 패턴에서는 G 성분이 대각선 방향을 따라 연속적으로 분배되어 있다. 이 때문에 NW, NE, SW 및 SE 방향을 따르는 픽셀집합(
Figure 112015108426764-pat00034
)은 중앙의 샘플링되지 않은 G 성분(
Figure 112015108426764-pat00035
)에 대한 유용한 정보를 포함한다. 따라서 이러한 픽셀집합을 추정에 사용하며, 예를 들면 NW 방향을 따르는 픽셀집합은 하기 수학식 13을 만족한다. 나머지 세 방향에 따른 픽셀집합도 동일한 방식으로 도 3에 도시된 바와 같이 얻을 수 있다.
Figure 112015108426764-pat00036
위와 같은 방법으로
Figure 112015108426764-pat00037
의 8개의 선추정값(
Figure 112015108426764-pat00038
Figure 112015108426764-pat00039
)을 8개의 방향을 따라 얻을 수 있다.
정확한 G 성분 추정을 보장하기 위하여, 선추정값의 확률에 공동으로 기초하여 결정해야 한다. 즉, 서로 다른 가중 계수(
Figure 112015108426764-pat00040
)가 필요하며, 가중 계수(
Figure 112015108426764-pat00041
)는 에지 그래디언트(edge gradient)에 기초하여 연산된다. 예를 들면 하기 수학식 14와 같이 정의될 수 있다.
Figure 112015108426764-pat00042
수학식 14에서 ∇는 다음과 같이 계산되는 방향성 그래디언트 계수를 나타낸다. 북쪽(N)과 북서쪽(NW) 방향에 따른 그래디언트 계수는 각각 하기 수학식 15 및 수학식 16을 만족하며, 다른 방향에 따른 그래디언트 계수는 대칭영역 또는 직교(perpendicular)영역에서 얻을 수 있다.
Figure 112015108426764-pat00043
Figure 112015108426764-pat00044
수학식 15 및 수학식 16에서 ε은 그래디언트가 0이 되는 것을 방지하기 위한 작은 양의 계수이다.
선추정값(
Figure 112015108426764-pat00045
) 및 가중 계수(
Figure 112015108426764-pat00046
)를 통해, 수학식 9를 이용하여 B i,j 위치에서의 샘플링되지 않은 G 성분에 대한 최종 추정값(
Figure 112015108426764-pat00047
)을 계산한다. 마찬가지로 R 위치에서의 샘플링되지 않은 G 성분도 동일한 방식으로 추정할 수 있으며, G 성분의 추정값을 이용하여 G 평면을 복원할 수 있다.
다음으로, 도 4를 참고하여 복원된 G 평면을 가이드 영상으로 하여 유도필터를 이용하여 R 평면 및 B 평면 중 적어도 하나를 추정하는 단계(S200; 도 2)에 대하여 설명한다. 편의상 R 평면을 추정하는 방법을 예시로서 설명하며, B 평면도 동일한 방식으로 추정할 수 있다.
도 4를 참고하면, R 평면 및 B 평면 중 적어도 하나를 추정하는 단계(S200; 도 2)는 복원된 G 평면을 기초로 유도필터를 이용하여 R 평면에 대한 선추정값을 생성하는 제 1 단계(S210); 베이어 영상의 R 성분 위치에서의 본래(original)값과 선추정값 사이의 잔차(residual)를 계산하는 제 2 단계(S220); 제 2 단계(S220)에서 계산된 잔차를 이용하여 베이어 영상의 G 성분 위치 및 B 성분 위치에서의 잔차를 보간하는 제 3 단계(S230); 및 제 1 단계(S210)에서 생성한 R 평면에 대한 선추정값과 제 2 단계(S220) 및 제 3 단계(S230)에서 얻은 잔차를 합산함으로써 R 평면을 얻는 제 4 단계(S240)를 포함할 수 있다. 즉, R 평면 및 B 평면 중 적어도 하나를 추정하는 단계(S200; 도 2)는 복원된 G 평면을 가이드로 하여 R/B 샘플을 업샘플링(upsample)함으로써 전체 영상 구조를 고려한다.
제 1 단계(S210)는 복원된 G 평면을 가이드 영상으로 삼아 유도필터를 이용하여 R 영상에 대한 선추정값을 생성한다. 베이어 영상의 본래의 R 샘플들은 유도필터의 입력으로 이용된다. 유도필터는 R 성분의 선추정값(
Figure 112015108426764-pat00048
)을 출력하며, 일 실시예에서 R 성분의 선추정값(
Figure 112015108426764-pat00049
)은 하기 수학식 17을 만족한다.
Figure 112015108426764-pat00050
Figure 112015108426764-pat00051
.
Figure 112015108426764-pat00052
는
Figure 112015108426764-pat00053
와 같기 때문에, 식 (10)의 로컬 선형 모델은
Figure 112015108426764-pat00054
만 로컬 윈도우에서 에지를 가질 때
Figure 112015108426764-pat00055
이 에지를 갖도록 보장한다.
상기 수학식 17에서, (a m,n , b m,n )은 로컬 윈도우(W m,n )에서 일관된(consistent) 것으로 가정된 선형 계수이며, (a m,n , b m,n )은 출력
Figure 112015108426764-pat00056
과 입력 R 의 차이를 최소화함으로써 결정된다. 일 실시예에서 (a m,n , b m,n )은 하기 수학식 18과 같은 비용함수(E)를 만족한다.
Figure 112015108426764-pat00057
수학식 18에서,
Figure 112015108426764-pat00058
는 에지의 보존에 영향을 미치는 정규화 파라미터(parameter)이다.
일 실시예에서 a m,n 및 b m,n 는 다음의 수학식 19 및 수학식 20과 같이 선형 회귀(linear regression)에 의해 얻을 수 있다.
Figure 112015108426764-pat00059
Figure 112015108426764-pat00060
수학식 19 및 수학식 20에서 μ m,n 및 σ 2 m,n 은 로컬 윈도우(W m,n ) 내의
Figure 112015108426764-pat00061
의 평균 및 분산이며, N W 는 로컬 윈도우(W m,n ) 내 픽셀의 개수이며,
Figure 112015108426764-pat00062
은 로컬 윈도우(W m,n ) 내의 R 성분의 평균이다.
제 2 단계(S220)는 R 위치에서의 본래값과 선추정된 R 픽셀값 사이의 잔차(residual)를 계산한다. 예를 들면 하기 수학식 21을 통해 R 위치에서의 선추정된 R 픽셀값과 본래값 사이의 잔차를 계산할 수 있다.
Figure 112015108426764-pat00063
제 3 단계(S230)는 G 성분 위치 및 B 성분 위치에서의 잔차의 샘플링되지 않은 성분을 보간한다. 예를 들면 G/B 위치에서의 잔차의 샘플링되지 않은 성분은 하기 수학식 22 내지 수학식 24에 따라 보간된다.
Figure 112015108426764-pat00064
Figure 112015108426764-pat00065
Figure 112015108426764-pat00066
제 4 단계(S240)는 R 영상의 선추정값을 보간된 잔차 영상에 더하여 최종적으로 추정된 R 영상을 얻는다. 최종적으로 추정된 R 평면은 하기 수학식 25와 같이 표현될 수 있다.
Figure 112015108426764-pat00067
B 평면의 경우 상기 설명에서 B 와 R 을 맞바꾸어 유도필터와 복원된 G 평면을 가이드 영상으로 하여 추정될 수 있다. 이러한 추정 방법을 통해 R/B 평면의 에지와 텍스쳐(texture)도 추정될 수 있다.
도 5는 본 발명의 일 실시예에 따른 베이어 영상의 디모자이킹 장치의 개략적인 블록도이다.
도 5를 참고하면, 베이어 영상의 디모자이킹 장치는 베이어 영상으로부터 G 평면을 복원하는 G 평면 복원부(100) 및 상기 G 평면 복원부에서 복원된 G 평면을 기초로 유도필터를 이용하여 R 평면 및 B 평면 중 적어도 하나를 추정하는 R/B 평면 추정부(200)를 포함할 수 있다.
일 실시예에서, R/B 평면 추정부(200)는 선추정값 생성부(210), 잔차 계산부(220), 잔차 보간부(230) 및 제 1 평면 획득부(240)를 포함할 수 있다.
선추정값 생성부(210)는 R 평면 및 B 평면 중 추정하고자 하는 평면을 제 1 평면(예를 들면 R 평면)으로 정의하고 다른 하나를 제 2 평면(예를 들면 B 평면)으로 정의할 때, G 평면 복원부(100)에서 복원된 G 평면을 기초로 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성한다.
잔차 계산부(220)는 베이어 영상의 제 1 평면에 대응하는 컬러(예를 들면 R) 성분 위치에서의 본래(original)값과 선추정값 생성부(210)에서 계산한 선추정값 사이의 잔차(residual)를 계산한다.
잔차 보간부(230)는 잔차 계산부(220)에서 계산된 잔차를 이용하여 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러(예를 들면 B) 성분 위치에서의 잔차를 보간한다.
제 1 평면 획득부(240)는 선추정값 생성부(210)에서 생성한 제 1 평면에 대한 선추정값과 잔차 계산부(220) 및 잔차 보간부(230)에서 얻은 잔차를 합산함으로써 제 1 평면을 얻는다.
선추정값 생성부(210), 잔차 계산부(220), 잔차 보간부(230) 및 제 1 평면 획득부(240)는 각각 앞서 설명한 베이어 영상의 디모자이킹 방법의 제 1 단계(S210; 도 2), 제 2 단계(S220; 도 2), 제 3 단계(S230; 도 2) 및 제 4 단계(S240; 도 2)와 동일한 기능을 할 수 있다.
도 6은 디모자이킹 대상 영상(a), 종래의 디모자이킹 기술에 따른 결과 영상((b) 내지 (e)) 및 본 발명의 일 실시예에 따른 디모자이킹 결과 영상(f)을 나타낸다. 도 6의 (b) 내지 (e)는 각각 DLMMSE(directional linear minimum mean square-error estimation), LDI-NAT(local directional interpolation and nonlocal adaptive thresholding), MDWI(multi-directional weighted interpolation), MLRI(minimized-Laplacian residual interpolation) 방법으로 (a)의 영상을 디모자이킹한 결과를 나타낸다.
도 6을 참고하면 본 발명의 일 실시예에 따른 디모자이킹 방법이 기존의 방법과 비교하여 가장 적은 왜곡을 수반함을 확인할 수 있다.
또한, 디모자이킹 방법의 효율성을 평가하기 위해 널리 이용되는 맥마스터(McMaster; McM) 데이터세트를 이용하여, 도 6의 네 가지 종래 기술에 더불어 MDWI N (MDWI with no refinement)와 본 발명의 일 실시예에 따른 디모자이킹 결과를 CPSNR(color peak signal-to-noise ratio; 컬러 피크 신호 대 잡음비) 및 FSIMc(feature similarity index measure for color image)측면에서 비교하면 각각 다음의 표 1 및 2와 같다.
Figure 112015108426764-pat00068
표 1을 참고하면, 총 18개의 영상 중 13개의 영상에서 본 발명의 실시예에 따른 방법이 가장 높은 CPSNR을 얻은 것을 확인할 수 있다. MDWI N 의 결과와 비교하더라도 모든 테스트 영상에 있어서 평균적으로 0.81dB 만큼 개선된 결과를 나타내며, 보간 이후에 정제 단계를 더 수행하는 MDWI와 비교하면 본 발명의 실시예는 후처리를 하지 않으면서도 평균 0.4dB 만큼 높은 CPSNR을 갖는다. 또한 DLMMSE, LDI-NAT 및 컬러 평면끼리 서로를 가이드로 삼아 컬러 프레인을 추정하는 MLRI 와 비교하면 평균적으로 각각 2.36, 0.58, 0.23 dB 만큼 개선된 성능을 보인다.
다음의 표 2는 FSIMc 값을 나타내며, FSIMc 는 영상 품질 평가 기준으로서 사람에 대하여 테스트할 때와 비교하여 매우 높은 일치도를 갖는다.
Figure 112015108426764-pat00069
표 2를 참고하면, 본 발명의 실시예에 따른 디모자이킹 방법이 가장 좋은 성능을 나타냄을 확인할 수 있으며, MDWI 와 비교하여 FSIMc 가 평균 0.0002 만큼 개선되었다.
도 6, 표 1 및 2 를 참고하면, 영상 품질뿐만 아니라 CPSNR 및 FSIMc 의 측면에서도 본 발명의 디모자이킹 방법이 종래의 방법보다 개선된 방법임을 확인할 수 있다.
본 발명의 실시예에 따른 방법의 연산 복잡도는 O(N) 이며, 이는 실시간 적용에 적합하며, 평균적으로 약 0.36초에 하나의 영상을 처리할 수 있다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (9)

  1. 베이어 영상으로부터 G(녹색) 평면을 복원하는 단계; 및
    복원된 상기 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 및 B(청색) 평면 중 적어도 하나를 추정하는 단계를 포함하고,
    상기 R 평면 및 B 평면 중 적어도 하나를 추정하는 단계는,
    상기 R 평면 및 B 평면 중 어느 하나를 제 1 평면으로 정의하고 다른 하나를 제 2 평면으로 정의할 때, 복원된 상기 G 평면을 기초로 상기 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성하는 제 1 단계;
    상기 베이어 영상의 제 1 평면에 대응하는 컬러 성분 위치에서의 본래(original)값과 상기 선추정값 사이의 잔차(residual)를 계산하는 제 2 단계;
    상기 제 2 단계에서 계산된 잔차를 이용하여 상기 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간하는 제 3 단계; 및
    상기 제 1 단계에서 생성한 제 1 평면에 대한 선추정값과 상기 제 2 단계 및 제 3 단계에서 얻은 잔차를 합산함으로써 상기 제 1 평면을 얻는 제 4 단계를 포함하는 베이어 영상의 디모자이킹(demosaicking) 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제 1 단계는,
    복원된 상기 G 평면을
    Figure 112016090927840-pat00070
    라고 할 때, 하기 수학식 1을 통해 상기 제 1 평면에 대한 선추정값(
    Figure 112016090927840-pat00071
    )을 생성하는 베이어 영상의 디모자이킹 방법.
    [수학식 1]
    Figure 112016090927840-pat00072
    (단,
    Figure 112016090927840-pat00073
    , Wm,n 은 로컬 윈도우, am,n 및 bm,n 은 제 1 평면에 대응하는 컬러 성분(Ri,j )의 상기 Wm,n 내에서의 평균(
    Figure 112016090927840-pat00074
    )을 기초로 결정되는 선형 계수)
  4. 제 3 항에 있어서,
    상기 am,n 및 bm,n 은 하기 수학식 2 내지 4를 만족하는 베이어 영상의 디모자이킹 방법.
    [수학식 2]
    Figure 112016090927840-pat00075

    (단, E는 비용함수(cost function),
    Figure 112016090927840-pat00076
    는 에지의 보존에 영향을 미치는 정규화 파라미터)
    [수학식 3]
    Figure 112016090927840-pat00077

    (단, NW 는 상기 Wm,n 내 픽셀의 개수, μm,n 및
    Figure 112016090927840-pat00078
    는 각각 상기 Wm,n 내의 G 평면(
    Figure 112016090927840-pat00079
    )의 평균 및 분산)
    [수학식 4]
    Figure 112016090927840-pat00080
  5. 제 1 항에 있어서,
    상기 제 2 단계에서 계산된 잔차를
    Figure 112016090927840-pat00081
    라고 할 때, 상기 제 3 단계는 하기 수학식 5를 통해 G 성분 위치에서의 잔차를 보간하는 베이어 영상의 디모자이킹 방법.
    [수학식 5]
    Figure 112016090927840-pat00082
    Figure 112016090927840-pat00083
  6. 삭제
  7. 베이어 영상으로부터 G(녹색) 평면을 복원하는 G 평면 복원부; 및
    상기 G 평면 복원부에서 복원된 G 평면을 기초로 유도필터(guided filter)를 이용하여 R(적색) 평면 및 B(청색) 평면 중 적어도 하나를 추정하는 R/B 평면 추정부를 포함하고,
    상기 R/B 평면 추정부는,
    상기 R 평면 및 B 평면 중 어느 하나를 제 1 평면으로 정의하고 다른 하나를 제 2 평면으로 정의할 때, 복원된 상기 G 평면을 기초로 상기 유도필터를 이용하여 제 1 평면에 대한 선추정값을 생성하는 선추정값 생성부;
    상기 베이어 영상의 제 1 평면에 대응하는 컬러 성분 위치에서의 본래(original)값과 상기 선추정값 생성부에서 생성한 선추정값 사이의 잔차(residual)를 계산하는 잔차 계산부;
    상기 잔차 계산부에서 계산된 잔차를 이용하여 상기 베이어 영상의 G 성분 위치 및 제 2 평면에 대응하는 컬러 성분 위치에서의 잔차를 보간하는 잔차 보간부; 및
    상기 선추정값 생성부에서 생성한 제 1 평면에 대한 선추정값과 상기 잔차 계산부 및 상기 잔차 보간부에서 얻은 잔차를 합산함으로써 상기 제 1 평면을 얻는 제 1 평면 획득부를 포함하는 베이어 영상 디모자이킹 장치.
  8. 삭제
  9. 청구항 1, 3, 4, 및 5 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020150156030A 2015-11-06 2015-11-06 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치 KR101700928B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150156030A KR101700928B1 (ko) 2015-11-06 2015-11-06 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150156030A KR101700928B1 (ko) 2015-11-06 2015-11-06 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101700928B1 true KR101700928B1 (ko) 2017-02-01

Family

ID=58109285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150156030A KR101700928B1 (ko) 2015-11-06 2015-11-06 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101700928B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907451B1 (ko) 2017-05-19 2018-10-12 인천대학교 산학협력단 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법
KR20190081462A (ko) * 2017-12-29 2019-07-09 인천대학교 산학협력단 양방향 필터링 및 방향성 차이값을 이용한 베이어 디모자이크 방법
KR102055411B1 (ko) * 2018-09-18 2019-12-12 인하대학교 산학협력단 적응적 기준 범위 선택에 따른 디모자이킹 방법
CN112805744A (zh) * 2019-07-05 2021-05-14 百度时代网络技术（北京）有限公司 用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法
CN113436075A (zh) * 2021-07-14 2021-09-24 贝壳找房(北京)科技有限公司 图像去马赛克方法、装置以及电子设备、介质
US11263724B2 (en) 2019-10-02 2022-03-01 Hanwha Techwin Co., Ltd. Device for interpolating colors and method thereof
CN114615393A (zh) * 2020-12-09 2022-06-10 爱思开海力士有限公司 图像信号处理器和图像处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
JP2015122634A (ja) * 2013-12-24 2015-07-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
JP2015122634A (ja) * 2013-12-24 2015-07-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multispectral demosaicking using guided filter *
X. Chen, G. Jeon, J. Jeong, and L. He, "Multi-derectional weighted interpolation and refinement method for bayer pattern cfa demosaicking," IEEE Trans. Circuits Syst. Video Technol., 2014, DOI:10.1109/TCSVT.2014.2313896.

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907451B1 (ko) 2017-05-19 2018-10-12 인천대학교 산학협력단 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법
KR20190081462A (ko) * 2017-12-29 2019-07-09 인천대학교 산학협력단 양방향 필터링 및 방향성 차이값을 이용한 베이어 디모자이크 방법
KR102050352B1 (ko) 2017-12-29 2019-12-02 인천대학교 산학협력단 양방향 필터링 및 방향성 차이값을 이용한 베이어 디모자이크 방법
KR102055411B1 (ko) * 2018-09-18 2019-12-12 인하대학교 산학협력단 적응적 기준 범위 선택에 따른 디모자이킹 방법
CN112805744A (zh) * 2019-07-05 2021-05-14 百度时代网络技术（北京）有限公司 用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法
CN112805744B (zh) * 2019-07-05 2024-04-09 百度时代网络技术（北京）有限公司 用于对多光谱图像去马赛克的系统和方法
US11263724B2 (en) 2019-10-02 2022-03-01 Hanwha Techwin Co., Ltd. Device for interpolating colors and method thereof
CN114615393A (zh) * 2020-12-09 2022-06-10 爱思开海力士有限公司 图像信号处理器和图像处理系统
CN113436075A (zh) * 2021-07-14 2021-09-24 贝壳找房(北京)科技有限公司 图像去马赛克方法、装置以及电子设备、介质

Similar Documents

Publication Publication Date Title
KR101700928B1 (ko) 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치
Wronski et al. Handheld multi-frame super-resolution
CN101925922B (zh) 内插系统和方法
Wu et al. Bayer demosaicking with polynomial interpolation
KR101633397B1 (ko) 영상 복원 장치, 영상 복원 방법 및 영상 복원 시스템
Wang et al. Bayer pattern CFA demosaicking based on multi-directional weighted interpolation and guided filter
Kim et al. Four-direction residual interpolation for demosaicking
CN111510691B (zh) 颜色插值方法及装置、设备、存储介质
Jaiswal et al. Exploitation of inter-color correlation for color image demosaicking
KR102055411B1 (ko) 적응적 기준 범위 선택에 따른 디모자이킹 방법
KR20100084458A (ko) 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
US9996900B2 (en) Methods and systems for demosaicing an image
KR101907451B1 (ko) 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법
WO2008086037A2 (en) Color filter array interpolation
KR101692747B1 (ko) 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법
Gevrekci et al. POCS-based restoration of Bayer-sampled image sequences
KR102119138B1 (ko) 카메라를 위한 베이지안 기반 영상 복원 방법
Safna Asiq et al. Colour filter array demosaicking: a brief survey
KR101780726B1 (ko) 앤티-에일리어싱 fir 필터에 기반한 디모자이킹 방법
Wang et al. Image demosaicing by non-local similarity and local correlation
KR101803021B1 (ko) 테일러 급수 및 적응적 가중치 선택에 기반한 디모자이킹 방법
Jiang et al. Improved directional weighted interpolation method combination with anti-aliasing FIR filter
KR20160082199A (ko) 컬러 필터 어레이 성능 검증 방법
Gupta et al. Performance analysis of median filter demosaicking algorithm using new extended bilinear demosaicking
SafnaAsiq et al. Octa-Directional Residual Demosaicking Using Filtered Bayer Color Filter Array

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191223

Year of fee payment: 4