KR101692747B1 - 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법 - Google Patents

싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법 Download PDF

Info

Publication number
KR101692747B1
KR101692747B1 KR1020150127726A KR20150127726A KR101692747B1 KR 101692747 B1 KR101692747 B1 KR 101692747B1 KR 1020150127726 A KR1020150127726 A KR 1020150127726A KR 20150127726 A KR20150127726 A KR 20150127726A KR 101692747 B1 KR101692747 B1 KR 101692747B1
Authority
KR
South Korea
Prior art keywords
interpolation
gradient
north
inverse
green
Prior art date
Application number
KR1020150127726A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020150127726A priority Critical patent/KR101692747B1/ko
Application granted granted Critical
Publication of KR101692747B1 publication Critical patent/KR101692747B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H04N5/217—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 실시예에 따른 방향 가중치 보간 방법은, 이미지 보간 장치의 방향 가중치 보간 방법에 있어서, 중심 픽셀의 누락된 녹색 평면을 보간하는 단계와, 안티 앨리어싱 FIR(Finite impulse response) 필터를 이용하여 동, 서, 남, 북 방향에 따라 상기 녹색 평면을 보간하는 단계와, 상기 보간된 녹색 평면을 그래디언트 역가중치 필터링(GIWF)에 적용하는 단계 및 상기 보간된 녹색 평면을 이용하여 손실된 적색 및 청색 요소들을 보간하는 단계를 포함한다.

Description

싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법{IMPROVED DIRECTIONAL WEIGHTED INTERPOLATION METHOD FOR SINGLE-SENSOR CAMERA IMAGING}
본 발명은 방향 가중치 보간 방법에 관한 것으로, 특히 스펙트럼 상관관계를 이용하여 보간의 정확성을 개선하기 위해 안티 앨리어싱 필터와 그래디언트 역가중치 필터링 기법을 이용함으로써 보간 성능의 정확도를 높일 수 있는, 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법에 관한 것이다.
싱글 센서 디지털 카메라 이미징 시스템에서 비용 감소를 위해 카메라 렌즈가 컬러 필터 어레이(CFA)를 채용하기 때문에, 등록 이미지는 각 센서에 의해 세 가지 기본 색상인 녹색(G), 적색(R) 및 청색(B) 값으로 구성된다. 일반적으로 R, G, B를 정량화한 하나의 고정된 비트 수(8 비트, 12 비트, 16 비트 등)가 픽셀에 저장된다. 풀 컬러 이미지를 복원하기 위해서, CFA 보간 프로세스가 각 필셀 위치에서 다른 두 컬러 값을 평가하기 위해 적용된다. 이 프로세스를 컬러 이미지 디모자이킹이라 한다. 각 픽셀 위치에서 하나의 컬러 채널이 유효하기 때문에, 두 개의 손실 컬러 채널은 컬러 성분이 존재하는 이웃의 스펙트라 상관관계를 이용하여 보간해야 한다. 도 1은 가장 보편적 CFA인 베이어 패턴의 일 예를 도시한다.
컬러 재생 품질은 사용된 CFA 템플릿과 디모자이킹 알고리즘에 의존한다. 베이어 패턴에 기반한 다양한 디모자이킹 알고리즘이 풀 컬러 이미지의 출력을 위해 지난 수십년간 개발되어 왔다.
그중 많은 디모자이킹 방법이 방향 가중치 보간(DWI) 접근을 이용했다. 이는 중앙의 손실 색상 요소의 4가지 방향 추정들이 이미지의 객체 내에서 높은 채널 간 상관관계가 있는 디모자이킹에서의 공통 추정에 근거하여 주어진다. 달리 말하면, 스펙트럼 색상이나 색조가 지역적으로 연속된다는 것이다. 하지만 이 추정은 객체의 견고한 경계 내에만 해당하고, 에지들을 걸쳐서는 이 규칙은 해당되지 않을 수 있다. 그 결과로 이들 기법들의 성능은 추정 알고리즘의 정확도에 의해 제한된다.
종래의 방향 가중치 보간 방법들은 스펙트럼의 상관관계를 이용한 신뢰할 수 없는 가정에 기반하는 문제가 있다.
본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 보간 정확도를 높이고, 개선된 보간에 의한 픽셀 값들을 채널 사이의 상관관계에 따라 다른 손실 색상들을 추정하기 위해 사용하는 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법을 제공하는데 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 방향 가중치 보간 방법은, 이미지 보간 장치의 방향 가중치 보간 방법에 있어서, 중심 픽셀의 누락된 녹색 평면을 보간하는 단계와, 안티 앨리어싱 FIR(Finite impulse response) 필터를 이용하여 동, 서, 남, 북 방향에 따라 상기 녹색 평면을 보간하는 단계와, 상기 보간된 녹색 평면을 그래디언트 역가중치 필터링(GIWF)에 적용하는 단계 및 상기 보간된 녹색 평면을 이용하여 손실된 적색 및 청색 요소들을 보간하는 단계를 포함한다.
본 발명의 실시예에 따른 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법에 의하면, 안티 앨리어싱 필터(FIR)를 이용하여 센터 손실 색상의 방향적 추정을 개선하고, 그래디언트 역가중치 필터링(GIWF) 기법을 사용하여 디노이징할 수 있는 장점이 있다.
도 1은 가장 보편적 CFA인 베이어 패턴의 일 예를 도시한다.
도 2는 필터의 주파수 응답을 도시한다.
도 3은 방향 스펙트럼 상관관계 추정을 도시한다.
도 4는 손실 R 및 B 성분을 CFA의 다른 G 샘플링 위치에서 보간하기 위해 도 1로부터 크롭된 서브 이미지를 도시한다.
도 5는 크롭된 McMaster(McM) 서브 이미지를 도시한다.
도 6은 평균 색상 채널 PSNR을 이용한 다른 디모자이킹 비교 그래프를 도시한다.
도 7 내지 도 9는 McM 이미지 데이터 집합으로부터 근본적으로 선택된 이미지들을 보여준다
도 10은 3가지 색상(RGB) 채널들의 구분된 PSNR 성능에 따라 측정된 객관적인 이미지 품질의 비교를 나타내는 표를 도시한다.
도 11은 McM 이미지 데이터 집합을 사용하여 FSIMc를 계산한 것을 나타내는 표를 도시한다.
도 12는 McM 이미지 데이터 집합에 대해 다른 디모자이킹 방법들에 의한 평균 CPU 프로세싱 시간들을 비교한 표를 도시한다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
본 발명에 대해 요약적으로 설명하자면, 본 발명은 강력한 스펙트럼 상관관계를 이용하여 보간의 정확성을 개선하기 위해 안티엘리어싱 유한 임펄스 응답 필터를 이용했다. 또한 본 발명은 그래디언트 역 가중치 필터링 방법을 이용하여 보간 결과를 수정한다. 이미지의 실험 분석을 통해 본 발명의 알고리즘이 종래의 방향 가중치 디모자이킹 알고리즘에 비해 주관적이고 객관적인 두 관점에서 이미지 질적으로 우수함을 알 수 있다. 본 발명은 실시간 애플리케이션에 적합하도록 매우 낮은 복잡도를 갖는다.
<연관 수행: 스펙트라 컨스턴트 가정>
일반적으로, 디모자이킹 방법은 두 그룹으로 분류된다. 디모자이킹을 위한 적응적 필터링과 같은 주파수 도메인 보간 방법이다. 손실 컬러 성분을 채우기 위해 이웃 컬러 성분의 스펙트럼 상관관계를 탐구하는 적응적 필터링과 로컬 다항식 근사와 컨피던스 간격의 교차(LPA-ICI)와 같은 부분적 도메인 보간 방법에 의해 추정된 보간 방향에 따라 손실 컬러 성분을 보간 하기 위해 주파수 도메인 보간 방법은 적색, 녹색, 청색 성분의 주파수 분포를 이용한다. 조사에 의해, 대부분의 디모자이킹 알고리즘은 그들의 강력한 보간 성능을 제공하기 위해 공간 도메인에서 볼 수 있다.
본 발명에서는 두 번째 그룹의 종래의 DWI 방법을 개선하는데 주안점을 둔다.
기존의 방향 가중치 보간(DWI) 방법에서, 중심의 손실 컬러는 다른 방향과 다른 평면의 다양한 차이에 따라 이웃 픽셀들과 다양한 스펙트럼 상관관계를 갖는다는 가정에 기반하여 추정된다. 다른 말로는, 스펙트럼 상관관계가 보간 방향에 따른 픽셀에 가까울수록 그 방향으로 손실 컬러의 추정이 정확하다. 그러나, 불규칙한 에지와 텍스쳐 디테일이 존재하기 때문에, 이웃 픽셀 간의 낮은 스펙트럼 상관관계로 인한 보간 에러를 피할 수 없다.
도 1에 도시된
Figure 112015087771426-pat00001
의 예는 손실된 녹색 컬러,
Figure 112015087771426-pat00002
를 네 가지 가장 가까운 녹색 픽셀들, 즉, 북(N), 서(W), 동(E), 남(S) 위치 각각의
Figure 112015087771426-pat00003
네 개의 보간 방향으로부터
Figure 112015087771426-pat00004
위치에서 추정하기 위한 입증을 위해 이용된다. 손실 녹색 값은 수학식 (1)에 의해 추정된다.
Figure 112015087771426-pat00005
(1)
여기서,
Figure 112015087771426-pat00006
는 (X는 N, S, W, E 중 하나의 방향 심볼을 나타낸다.)픽셀에서 손실 녹색 컬러의 방향 추정이고,
Figure 112015087771426-pat00007
는 연관된 가중치이다. 스펙트럼 상관관계를 이용하기 위해, 네 이웃 녹색 컬러 값,
Figure 112015087771426-pat00008
들은 각각의 보간 방향에 따라 인접한 청색 픽셀의 도움에 따라 조정되고,
Figure 112015087771426-pat00009
는 수학식 (2)와 같이 주어진다.
Figure 112015087771426-pat00010
(2)
이 색상 값들은 두 가지 가정으로 규정 될 수 있다.
- 녹색과 청색/적색 픽셀 강도는 상수 변위값들과 연관성이 있다.
- 보간 방향에 따른 인접 픽셀 강도의 변화율은 또한 상수이다.
보간 방향이 에지를 따를 때, 이 두 가정들은 부드럽고 규칙적인 개체들과 같은 대부분의 세부 이미지에 유효하다. 하지만, 이 두 가정들은 불규칙적인 에지와 텍스처 세부를 가지는 이미지들에 항상 일치하는 것은 아니다. 그 결과로, 이 가정들에 근거하는 기존 방향 가중치 보간(DWI) 기법은 복잡한 영역에 있는 손실 색상들을 보간할 때 보간의 인공 결점을 가진다.
방향 가중치 보간(DWI)의 한계 때문에, 보간 성능을 개선하기 위해, 더 진보된 기법들이 제안되었다. 2차 DWI 기법에서, 중앙 손실 색상의 4 방향 추정은 다음과 같이 주어진다.
Figure 112015087771426-pat00011
(3)
고차 DWI 기법에서, 다음과 같이 더욱 개선이 있다.
Figure 112015087771426-pat00012
(4)
다른 방법, CSI(Cubic spline interpolation)은 상당히 복잡한 유도 방법에 기초한다. 이러한 보간 방법들은 오리지널 DWI의 보간 성능을 더욱 또는 덜 개선시키지만, 이들은 모두 스펙트럼 상수 가정에 기반하기 때문에 보간 아티팩트가 여전히 존재한다.
<본 발명의 제안 방법>
녹색 평면이 적색 또는 청색 평면보다 두 배 많은 샘플을 포함한다는 것은 베이어 CFA 패턴으로부터 직관적으로도 관찰된다. 따라서, 녹색 평면은 보간되어야 할 대부분의 컬러 정보를 포함한다. 인간의 시각 시스템은 녹색 색상에 가장 민감하다. 그러므로, 대부분의 기존 디모자이킹 방법에서 손실된 녹색 색상 성분은 미리 보간된다. 그것은 이미지의 지각적 품질에 큰 영향력을 가지고 있기 때문이다. 녹색 성분이 완전히 회복되기 때문에, 채널을 통해 스펙트럼 상관관계를 완전히 직접 사용함으로써 녹색 평면은 다음 적색 및 청색 평면 보간을 가이드 할 수 있다. 따라서, 본 발명에서 제안된 개선된 방향 가중치 보간 IDWI(Improved directional weighted interpolation) 방법은 녹색 평면의 보간 성능을 개선하는데 집중한다. 녹색 평면이 원본으로 채워진 후, 그래디언트 역가중치 필터링(GIWF)은 보간 성능을 향상시키기 위해 사용되고, 이는 이웃 녹색 픽셀을 활용하는 보간 아티팩트를 줄여준다. 그래디언트 역가중치 필터링(GIWF)은 낮은 복잡성과 높은 세부 보존 성능으로 인해 이미지와 비디오 잡음 제거에 이용된다. 그래디언트 역가중치 필터링(GIWF)의 개념은 중심 픽셀 값을 수정할 때 이웃 픽셀의 픽셀 값 유사성을 취하는 것이다. 적색 및 청색 샘플링 성분은 유사한 보건 조건을 갖는다. 일반성의 손실을 방지하기 위해, 본 발명은 도 1에 도시된 바와 같이 전자의 경우
Figure 112015087771426-pat00013
를 고려한다.
1.1 녹색 평면(
Figure 112015087771426-pat00014
)의 보간
도 1은 베이어 CFA 샘플의 5
Figure 112015087771426-pat00015
5 윈도우를 도시한다. DWI 전략의 한계로 인해, 방향성 추정치를 향상시키기 위해
Figure 112015087771426-pat00016
위치에서 손실 중심 녹색 평면,
Figure 112015087771426-pat00017
은 이웃 픽셀들 사이에 스펙트럼 상관관계와 효과적인 안티앨리어싱 FIR(Finite impulse response) 필터를 이용한 네 가지 방향에 따라 추정된다. 해당하는 다섯-탭 FIR 필터는 고정 계수와 중심 손실 녹색 성분을 근사화하는데 적용된다.
Figure 112015087771426-pat00018
(5)
이 다섯-탭 고정 계수 FIR 필터는 이상적인 안티 앨리어싱 필터로 알려져 있고, 그것의 주파수 응답 모양은 도 2(b)에 도시된 바와 같이 직사각형이다. 이것은 도 2(a)에 도시된 기존의 2-탭 평균 필터 보다, 심한 앨리어싱을 제외하고 더욱 정확하게 보간하는 이점을 제공한다. 도 2(a)는 2-탭 평균필터, 도 2(b)는 5-탭 고정 계수 FIR 필터의 주파수 응답을 도시한다.
고주파 영역에서 불규칙한 가장자리와 텍스쳐 세부사항과 같은 손실 픽셀이 제안된 방법으로 더 정확히 재건되는 것은 특별한 사실이다.
청색 및 녹색 평면 사이의 스펙트럼 상관관계를 이용하면,
Figure 112016074030140-pat00019
는 제안된 안티 앨리어싱 FIR 필터와 네 방향에 따라 추정될 수 있다. 여기에서
Figure 112016074030140-pat00020
는 방향정보를 포함하며, 도 1에 도시된 북방향 추정
Figure 112016074030140-pat00021
, 서방향 추정
Figure 112016074030140-pat00022
, 동방향 추정
Figure 112016074030140-pat00023
, 남방향 추정
Figure 112016074030140-pat00024
들은 다음과 같이 추정된다.
Figure 112015087771426-pat00025
(6)
여기에서
Figure 112016074030140-pat00026
(X = N,W,E,S)는 색상이 조정된 녹색 값을 나타내며, 일예로 북방향의 색상이 조정된 녹색값은 제안된 다섯-탭 FIR 필터로 다음과 같이 계산될 수 있다.
Figure 112015087771426-pat00028
(7)
여기서 dn(i)는 북쪽 방향에서의
Figure 112016074030140-pat00029
을 계산하기 위한, 도 3(b)에서 나타나는 방향성 색상 차이다. 유사하게, 나머지 세
Figure 112016074030140-pat00030
는 또한, 도 3에서 스펙트럼 상관관계를 사용하여 구할 수 있다. 도 3은 방향 스펙트럼 상관관계 추정을 도시하고, 도 3(a)는 수평 방향 추정 및 (b)는 수직 방향 추정을 도시한다.
Figure 112016074030140-pat00031
재생성을 더욱 정확하게 하기 위해, 본 발명은 각각에 대해 적절한 가중치를 추정하고, 네 가지 에지 방향에 따르는
Figure 112016074030140-pat00032
의 방향성 그래디언트가 각각의 색상 채널에서 방향성 색상 전환의 상관관계를 기반으로 각각의 에지 방향에서
Figure 112016074030140-pat00033
의 기여를 맞추기 위한 가중치 요소로서 사용된다. Bi,j는 픽셀 위치(i,j)에서 청색값을 나타내고, h는 안티 앨리어싱 FIR 필터 계수이다. 북방향에 따른 그래디언트 ∇N를 아래 수학식으로 구할 수 있으며 남방향 그래디언트 ∇S, 서방향 그래디언트 ∇W그리고 동방향 그래디언트∇E도 유사하게 구할 수 있다.
Figure 112015087771426-pat00034
(8)
여기서
Figure 112016074030140-pat00035
는 그래디언트가 0이 되지 않게 하는 작은 양의 요소이다.
Figure 112016074030140-pat00036
의 방향성 추정에 할당된 북방향 가중치 ωN은 아래 수학식으로 구할 수 있으며, 남방향 가중치 ωS, 서방향 가중치 ωW 및 동방향 가중치 ωE도 유사하게 구할 수 있다.
Figure 112015087771426-pat00037
(9)
여기에서, α는 가중치의 정도를 조정하기 위한 인자로 1이다. 색상 보간 오류를 없애기 위해, 손실 색상 채널들은, 가중치 요소들
Figure 112016074030140-pat00038
,
Figure 112016074030140-pat00039
,
Figure 112016074030140-pat00040
,
Figure 112016074030140-pat00041
로 보간의 정확성을 위한, 미리 추정된
Figure 112016074030140-pat00042
,
Figure 112016074030140-pat00043
,
Figure 112016074030140-pat00044
,
Figure 112016074030140-pat00045
강도들을 사용하는 4가지 방향에 따라 추정된다. 일반화된 보간 결과는 다음으로 구한다.
Figure 112015087771426-pat00046
(10)
위의 절차를 모든 적색과 청색의 위치에 적용함으로써, 녹색 평면을 재생성할 수 있다.
1.2 녹색 평면
Figure 112015087771426-pat00047
의 개선
보간 인공결점을 줄이기 위한 5X5 중간값 필터를 사용하는 후처리 기법과는 다르게, 본 발명은 3X3 슬라이딩 윈도우에서 GIWF를 사용하는 낮은 복잡도의 개선 기법을 채택했다. 이는 도 1에서 관찰 가능하며, 동서남북 방향들에 있는,
Figure 112015087771426-pat00048
의 가장 가까운 녹색 픽셀들인,
Figure 112015087771426-pat00049
,
Figure 112015087771426-pat00050
,
Figure 112015087771426-pat00051
,
Figure 112015087771426-pat00052
는 중앙의 선보간된 녹색 픽셀
Figure 112015087771426-pat00053
와 가장 높은 상관관계를 가진다.
따라서 그들은 보간 성능을 조정하기 위해 사용될 수 있다. 본 발명은 이러한 목적으로 5개의 포인트 그래디언트 역가중치 필터링 기법을 사용한다. 이들 4개의 이웃 픽셀들과
Figure 112016074030140-pat00054
사이에 있는 첫 번째 순서의 역그래디언트들, 북 방향 역그래디언트 ∇G N, 남방향 역그래디언트 ∇G S, 서방향 역그래디언트 ∇G W 및 동방향 역그래디언트 ∇G E는
Figure 112016074030140-pat00055
에서와는 다른 효과를 가지며, 다음으로 정의된다.
Figure 112015087771426-pat00056
(11)
여기서
Figure 112016074030140-pat00057
는 역그래디언트가 0이 되지 않기 위한 작은 양의 요소이다. 다음의 4가지 방향들에서, 역그래디언트는
Figure 112016074030140-pat00058
를 개선하기 위한 그래디언트 역가중치 필터링(GIWF)에서의 역가중치들, 즉 북 방향 역가중치 WG N, 남 방향 역가중치 WG S, 서방향 역가중치 WG W 및 동방향 역가중치 WG E로서 사용된다.
Figure 112015087771426-pat00059
(12)
결국, 그래디언트 역가중치 필터링(GIWF)은 선보간된 녹색 픽셀(평면)
Figure 112016074030140-pat00060
의 개선에 의해 개선된 녹색 픽셀(평면)
Figure 112016074030140-pat00061
를 얻는데 적용될 수 있다.
Figure 112015087771426-pat00062
(13)
이것은 수학식 (10)으로부터 관찰될 수 있으며,
Figure 112015087771426-pat00063
(X는 N, S, W, E 방향 심볼 중 하나를 가진다)가 작을 때, 가중치 요소
Figure 112015087771426-pat00064
는 커지며, 반대로,
Figure 112015087771426-pat00065
가 클 때,
Figure 112015087771426-pat00066
는 감소한다. 따라서
Figure 112015087771426-pat00067
는 아웃 픽셀들에 할당된 다른 가중치 요소에 따라 개선될 수 있다.
1.3 손실된 적색과 청색 요소들의 보간
R, G, B 채널들은 높은 상관관계를 가진다고 알려져 있다. DWI 기법은 손실된 R과 B 채널들을 계산하는 개선 단계를 통해 향상된다. 두 가지 시나리오가 있다.
도 4는 손실 R 및 B 성분을 CFA의 다른 G 샘플링 위치에서 보간하기 위해 도 1로부터 크롭된 서브 이미지를 도시한다. (a)는 R 샘플링 위치에서 손실 B성분을 나타내고, (b)는 B 샘플링 위치에서 손실 R 성분을 도시하며, (C)는 G 샘플링 위치에서 손실 R성분을 도시하고, (d)는 G 샘플링 위치에서 손실 B성분을 도시한다.
CFA [도 4(a)와 4(b)]의 R 샘플링 위치에서의 손실된 B 요소들
CFA [도 4(c)와 4(d)]의 G 샘플링 위치에서의 손실된 R과 B 요소들
본 발명은 도 4(a)에서 보이는 R 샘플링 위치에서의 손실된 B 요소들의 보간 시나리오를 우선 고려한다. 모든 G 요소들은 재생성되었고, 이용가능하기 때문에,
Figure 112015087771426-pat00068
에서의 4가지의 대각선 방향들을 따르는 B와 G사이의 색상 차이점들인
Figure 112015087771426-pat00069
를 계산할 수 있다.
Figure 112015087771426-pat00070
(14)
여기서
Figure 112015087771426-pat00071
,
Figure 112015087771426-pat00072
,
Figure 112015087771426-pat00073
,
Figure 112015087771426-pat00074
는
Figure 112015087771426-pat00075
,
Figure 112015087771426-pat00076
,
Figure 112015087771426-pat00077
,
Figure 112015087771426-pat00078
위치에서 재생성된 녹색 픽셀 값들이다. 게다가, 4가지 대각선 방향들을 따르는 G 픽셀들의 그래디언트는 다음의 보간 절차를 지시하기 위한 가중치 요소들로서 이용된다.
Figure 112015087771426-pat00079
(15)
여기서
Figure 112015087771426-pat00080
는 그래디언트가 0이 되지 않게 하기 위한 작은 값이다.
Figure 112015087771426-pat00081
,
Figure 112015087771426-pat00082
,
Figure 112015087771426-pat00083
,
Figure 112015087771426-pat00084
,
Figure 112015087771426-pat00085
,
Figure 112015087771426-pat00086
,
Figure 112015087771426-pat00087
,
Figure 112015087771426-pat00088
,
Figure 112015087771426-pat00089
는
Figure 112015087771426-pat00090
,
Figure 112015087771426-pat00091
,
Figure 112015087771426-pat00092
,
Figure 112015087771426-pat00093
,
Figure 112015087771426-pat00094
,
Figure 112015087771426-pat00095
,
Figure 112015087771426-pat00096
,
Figure 112015087771426-pat00097
,
Figure 112015087771426-pat00098
위치에서 보간된 G 픽셀 값들이다. 그래디언트는 다음과 같이 가중치 요소들로 사용될 수 있다.
Figure 112015087771426-pat00099
(16)
방향 가중치 보간(DWI)을 B와 G 평면 사이의 색상 차이 평면
Figure 112015087771426-pat00100
와 조합하여, 청색 손실 픽셀이 다음과 같이 초기에 보간된다.
Figure 112016074030140-pat00101
(17)
유사하게, 그래디언트 역가중치 필터링(GIWF)은 최소의 수정으로, 보간 결과를 개선하는데 사용될 수 있으며, 이는 4개의 존재하는 픽셀들이 같은 색상 평면 내에 있기 때문이다.
도 4c 및 도 4d에 도시된 바와 같이 CFA의 손실 청색(또는 적색) 성분을 적색(또는 청색) 샘플링 위치에서 되찾은 후, 녹색 샘플링 위치에서 손실 적색/청색 성분을 보간하기 위해 이상적인 보간과 개선 방법들이 상위에서 언급한 바와 같이 네 방향(N, S, W, E)를 따라 손실된 녹색 성분을 추정하기 위해 이용된다. 그래디언트 역가중치 필터링(GIWF)을 이용한 이 개선 방법은 적색/청색 성분을 재생하는데 적합하다. 이는 손실 청색(또는 적색) 성분은 CFA의 적색(또는 청색)위치에서 재생되기 때문이다. 모든 손실 색상 성분들이 보간 및 개선된 후, 전체 풀칼라 이미지 (
Figure 112015087771426-pat00102
,
Figure 112015087771426-pat00103
,
Figure 112015087771426-pat00104
)는 결국 재생성된다.
2. 실험 결과
2.1 테스트 데이터 집합 선택
우리의 디모자이킹 알고리즘의 성능을 향상시키기 위해, 본 발명은 참고 5에서 사용된 McMaster (McM) 데이터 집합으로부터의 18등분 된 부분 이미지들을 사용했다. 이들은 도5에 나열되어 있다. 이 이미지들은 낮은 스펙트럼 상관관계를 가지고 있으며, 칼라 센서들로 캡춰된 이미지들과 밀접하다. 비록 Kodak 데이터 집합이 디모자이킹 기법들의 성능을 평가하기 위해 널리 이용되지만, 본 발명은 우리의 모의실험에서 Kodak 데이터 집합을 사용하지 않았다. Kodak 데이터 집합은 CFA 이미지들의 성능을 평가하기 위한 적합한 테스트 집합이 아니라고 보고된 바 있다. 왜냐면 이 테스트 이미지들의 스펙트럼 상관관계가 기존 칼라 이미지들보다 현저히 높기 때문이다. 본 발명은 파라미터
Figure 112015087771426-pat00105
이라 가정했다. 이 숫자는 경험적으로 얻어졌다.
2.2 성능 비교
본 발명은 다양한 디모자이킹 기법들로 우리가 제안한 개선된 방향 가중치 보간(IDWI) 기법을 주관적이고 객관적으로 평가했다. 이 실험을 수행하기 위해, 본 발명은 우선 테스트 이미지들에 Bayer CFA를 사용하여 모자이킹 절차를 수행했다. 그리고 모자이크된 이미지를 사용하여 모든 3개의 색상 채널들을 재생성하기 위한 다른 디모자이킹 기법들을 적용시켰다. 결국, 본 발명은 개선된 방향 가중치 보간(IDWI)의 성능을 기존의 방향 가중치 보간(DIW) 기법들, 즉, SDWI, HDWI, CSI, LDI-NAT의 성능과 비교했다. 게다가 본 발명은 또한 주파수 영역 디모자이킹 기법인 AFD와 필터 기반 디모자이킹 기법인 LPA-ICI를 비교를 위해 추가했다. 우리가 제안한 알고리즘을 평가하기 위해, 본 발명은 Intel(R) Core(TM) i5 CPU M460 at 2.53 GHz 프로세서기반 컴퓨터에서 MATLAB을 이용하여 모의실험을 수행했다.
본 발명은 객관적인 이미지 품질을 평가하기 위해, 두 가지 미터법[PSNR, FSIMc]을 채택했다. 실험들의 모든 측정이 이미지의 가장자리 주위의 10 픽셀 너비를 제거하고 수행했다는 사실에 주목하라.
첫째, 본 발명은 원본 이미지와 재생성된 이미지 사이의 차이점을 측정하기 위해 데시벨 기준으로 PSNR을 사용했다. 도 5에서 보이듯이, McM 이미지 데이터 집합을 사용하고, 위에서부터 밑까지 왼쪽으로부터 오른쪽으로 서브이미지의 라벨은 1부터 18까지 주어진다. 3가지 색상(RGB) 채널들의 구분된 PSNR 성능에 따라 측정된 객관적인 이미지 품질의 비교는 도 10에 도시된 테이블 1에 나와 있다. 더욱이, 본 발명은 다양한 디모자이킹 기법들의 성능을 비교하기 위해, PSNR의 두 평균 값들(Avg1은 각 채널의 PSNR 평균을 위한 것이고, Avg2는 모든 채널들의 PSNR 평균을 위한 것이다)을 계산했다. 개선된 방향 가중치 보간(IDWI)과 LDI-NAT 기법을 사용하여 얻은 PSNR 값들은 대부분의 테스트 이미지들을 위한 다른 기법들보다 훨씬 더 좋았다. Avg1에 대해, 개선된 방향 가중치 보간(IDWI)는 각 채널에서 가장 높은 PSNR을 만들어 냈다. 가장 나쁜 PSNR 성능을 가지는 LPA-ICI 와 비교할 때, 적색 채널에서는 1.668데시벨의 향상이 있었으며, 녹색 채널에서는 1.993 데시벨의 향상이 있었으며, 파란색 채널에서는 1.525 데시벨의 향상이 있었다. Avg2에서는, IDWI를 이용해 얻은 향상은, LPA-ICI와 비교할 때, 1.729 데시벨이었다. LDI-NAT는 평가된 기법들 중, 두 번째로 좋은 PSNR 결과를 달성했다. 반대로, 기존의 LPA-ICI 기법은 Avg1과 Avg2에 대해 가장 나쁜 PSNR을 가졌고, 반면, CSI 기법은 테스트 데이터 집합에서 나쁜 PSNR 성능을 나타냈다. PSNR 비교로부터, 비록 SDWI와 CSI가 DWI의 성능을 개선하기 위해 소개됐지만, 그들은 DWI와 비교하여 어떠한 이점도 찾을 수 없다는 것을 볼 수 있다. 객관적인 성능을 직감적으로 보여주기 위해, Avg1의 bar 차트가 비교를 위해 주어졌다. 그것은 개선된 방향 가중치 보간(IDWI)이 녹색과 청색 채널들에 대해, 가장 높은 PSNR 값을 가졌던, 도 6에서 볼 수 있다.
하지만, 모든 비교된 기법들 중 일반적으로 두 번째로 좋은 성능을 보여주는 LDI-NAT과 비교할 때, IDWI는 적색을 위한 PSNR 값이 약간 낮게 나타난다. 대조적으로, LPA-ICI는 다른 기법들과 비교하여 최악의 성능을 가졌다.
PSNR이 디모자이킹 성능의 좋은 지표가 아니라는 것은 잘 알려져 있다. 왜냐면 보간 오류들이 적은 양의 이미지 픽셀들인 에지들 주위에서 주로 발생하기 때문이다. 본 발명에서 제안한 기법의 성능을 더 평가하기 위해, 본 발명은 최근에 개발된 FIIMc를 적용했다. 1에 근접하는 FSIMc 값은, 0에 근접하는 FSIMc값보다, 재생성된 이미지가 더욱 원본 이미지와 유사하다는 것을 나타낸다.
본 발명은 McM 이미지 데이터 집합을 사용하여 FSIMc를 계산했다. 그 결과는 도 11에 도시된 테이블 2에 나와있다. 테이블2로부터, LDI-NAT과 IDWI가, 다른 기법들과 비교하여 더 적은 인공 결점들을 가지면서, 더 높은 FSIMc 값(#7과 #8 이미지를 제외하고)들을 생성한다는 것은 명백하다. 대조적으로, SDWI는 가장 낮은 FSIMc 값들을 가지는 이미지들을 생성했지만, 다른 기법들의 성능은 이들 사이에 있었다. 평균 FSIMc 값의 관점에서, IDWI는 LCI-NAT과 비교하여, 거의 같은 FSIMc 성능을 생성했다. 다른 기법들은 LDI-NAT과 IDWI와 비교하여, FSIMc 인덱스를 통해, 나쁜 성능을 가졌다는 것은 명백하다.
주관적인 이미지 품질 평가를 위해, McM 이미지 데이터 집합으로부터 선택된 5개의 이미지들은 가시적인 비교를 위해 사용되었다. 이들 사이에서, 도 7부터 도 9는 McM 이미지 데이터 집합으로부터 근본적으로 선택된 이미지들을 보여준다. 디모자이킹 모의실험을 위해, 베이어 패턴(Bayer pattern)을 사용하는 모자이킹 절차가 우선 실행되었다. 그리고 나서, 디모자이킹은 본 발명에서 제안한 기법과 위에서 설명한 기존의 다른 기법들을 사용하여 풀칼라 이미지를 재생성하도록 실행되었다. 다양한 알고리즘들의 주관적인 디모자이킹 성능을 평가하기 위해, 3개의 선택된 이미지들의 부분적으로 확대/축소된 이미지들이 다양한 기법들의 상세-보존 능력을 결정하기 위해 분석되었다.
이미지 #5(도 7)로부터 잘려진, 부분적으로 확대/축소된 티셔츠 이미지는 정규 상세-보존 능력을 결정하기위해 이용되었다. 개선된 방향 가중치 보간(IDWI)은 좁은 에지들과 불규칙적인 선들에 관해, 최고의 가시 효과를 생성했다. 예를 들면, 도 7(i)에서 보듯이, 개선된 방향 가중치 보간(IDWI)을 이용한 디모자이킹 이후, 에지 부분이 더욱 부드럽게 나타났다. 대조적으로, 다른 기법들은, 도 7(b)에서부터 도 7(h)까지에서 볼 수 있는 에지와 다른 복잡한 영역에 따라 소금같은 잡음 인공 결점을 생성했다. McM 이미지 데이터 집합으로부터의 이미지 #13은 또한 디모자이킹 알고리즘들의 상세-보존 능력을 비교하기 위해 사용되었다. 햇살의 휘갈김을 포함하는 이미지 영역은 [도 8(a)]의 가시 비교를 위해 확대/축소 되었다. 개선된 방향 가중치 보간(IDWI)은 도 8(i)에서 보듯이, 아주 작은 에지들까지도 잘 재생성했으며, 약한 상세도 잘 보존했다. 그것은 거의 원본 이미지와 같았다. 대조적으로, 다른 기법들은, 도 8(b)에서 도 8(h)까지에서 볼 수 있듯이, 약한 에지에 따라, 갑작스런 색상 변화와 같은 수많은 가시 색상 인공 결점들을 생성했다. 더욱이, 기존의 디모자이킹 기법이 사용될 때, 본 발명에서 제안한 기법과 비교하여, 소금같은 잡음 인공 결점들이 재생성된 이미지에서 심각하게 나타났다.
다양한 기법들의 텍스처 상세 보존 능력이, 꽃들과 잎들의 이미지인, McM 이미지 데이터 집합의 이미지 #17을 사용하여 비교되었을 때, 도 9(g)에서 보듯이, 본 발명은 개선된 방향 가중치 보간(IDWI)이 다른 기법들보다 더 상세를 보존했음을 관찰했다. 대조적으로, 다른 기법들은, 도 9(b)에서 도 9(h)까지에서 보듯이, 꽃들과 잎들의 에지들을 따라 많은 가시 색상 인공 결점들을 생성했다.
모든 비교된 테스트 이미지들에 대해, 방향 가중치 보간(DWI)은 개선된 방향 보간치 보간(IDWI)과 유사한 주관적 품질을 가졌다. 하지만 에지와 텍스처 상세를 따라, 개선된 방향 보간치 보간(IDWI)은 명백히 더 부드러운 에지와 더 높은 텍스처 보존 능력을 가졌다. 그리고 이는 제안된 개선 기법의 효과를 보여주는 강한 증거에 공헌했다. 위의 객관적이고 주관적인 제안된 기법의 평가는 다른 기법들 보다 개선된 방향 보간치 보간(IDWI)이 에지 상세를 더 잘 보존했고, 더 적은 인공 결점들을 생성했다는 것을 나타냈다. 특히, 개선된 방향 보간치 보간(IDWI)은 모든 평가된 기법들중에서 가장 많이 보간 인공 결점들을 줄였다.
개선된 방향 보간치 보간(IDWI)의 연산 복잡도는 보간을 하는 동안 사용된 연산의 수에 근거하여 분석되었다. 공정한 비교를 위해, 본 발명은, 모든 비교된 기법들에 대해 손실 색상 요소들을 보간할 때, 그래디언트 역가중치 필터링(GIWF)을 사용하는 같은 개선 절차를 수행했다. 개선된 방향 보간치 보간(IDWI)의 연산 복잡도는 제안된 안티 앨리어싱 필터를 사용하기 때문에, DWI, SDWI, HDWI 보다 약간 더 높다. 더욱이, 개선된 방향 보간치 보간(IDWI)의 복잡도는 CSI와 꽤 유사했고, LPA-ICI와 LDI-NAT 보다는 더욱 낮았다. LDI-NAT가 다른 비교된 기법들 보다, 더 높은 연산 복잡도를 요구한다는 것은, 보간을 개선하기 위한 비지역적 평균 기법 때문에, 설명할 필요가 있다. 모든 비교된 기법들 사이에서, AFD는 최소의 연산 복잡도를 가졌다. 개선 절차 없이, 제안된 기법은, 매 2x2 GRBG 입력 픽셀 블럭에 대해, 84 덧셈, 24 곱셈/나눗셈, 36 절대 연산을 요구한다. 각각의 개선 반복에 대해, 32 덧셈/뺄셈, 12 곱셈/나눗셈, 24 절대 연산이, 매 2x2 GRBG 입력 픽셀 블럭에 필요하다. 본 발명은 견고한 CPU 연산 시간을 기록하기 위해 반복적으로 모의 실험 절차를 수행한 후, 본 발명은 또한, 테이블3에서의 단일 이미지를 연산할 때, 각각의 비교된 기법의 평균 CPU 연산 시간(초단위로 인덱싱된)의 비교를 제시했다.
<결론>
본 발명은 개선을 위해, 개선된 방향 보간치 보간(IDWI) 기법과 그래디언트 역가중치 필터링(GIWF) 기법을 조합하여 효과적인 디모자이킹 알고리즘을 제안했다. 제안된 안티 앨리어싱 FIR 필터로 방향 가중치 보간(DWI) 기법을 사용함으로써, 본 발명은, 픽셀과 관련된 보간 방향에 따른 추정들의 공동 공헌을 고려함에 의해, 더욱 정확한 보간 결과를 얻었다. 그리고 나서, 본 발명은, 같은 색상 평면에 있는 가장 근접한 이웃 픽셀들이 중앙 픽셀과 가장 높은 상관관계를 가진다는 사실을 기반으로, 보간 성능을 개선하기 위해, 지역 조정 그래디언트 역가중치 필터링(GIWF) 기법을 채택했다. 결과적으로, 본 발명에서 제안된 보간 기법은 부드러운 에지와 상세를 보존했다. 특히, 본 발명에서 제안된 기법은 지퍼 효과(zipper effect)를 아주 잘 다루었다. 본 발명은, 제안된 보간 기법이, 기존의 최신 디모자이킹 기법들보다 더 나은 객관적 및 주관적 디모자이킹 결과물을 생성한다는 것을 실험적으로 입증했다.
이상에서 설명된 본 발명의 방향 가중치 보간 방법의 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

Claims (6)

  1. 이미지 보간 장치의 방향 가중치 보간 방법에 있어서,
    (A) 안티 앨리어싱 FIR(Finite impulse response) 필터를 이용하여 동, 서, 남, 북 방향에 따라 중심 픽셀의 누락된 녹색 평면을 보간하는 단계;
    (B) 상기 (A) 단계를 거쳐서 보간된 녹색 평면을 그래디언트 역가중치 필터링(GIWF)에 적용하는 단계; 및
    (C) 상기 (B) 단계를 거친 녹색 평면을 이용하여 손실된 적색 및 청색 요소들을 그래디언트 역가중치 필터링(GIWF)를 적용하여 보간하는 단계;를 포함하는 것을 특징으로 하는, 방향 가중치 보간 방법.
  2. 제1항에 있어서,
    상기 안티 앨리어싱 FIR 필터에 의해 상기 녹색 평면의 북 방향 추정은
    Figure 112016074030140-pat00106
    와 같이 추정되고, 여기서
    Figure 112016074030140-pat00179
    는 북 방향에서 색상이 조정된 녹색값을 나타내며, 다섯-탭 FIR 필터에 의해 북 방향에서 색상이 조정된 녹색값은
    Figure 112016074030140-pat00180
    이 되며, 여기서 dn(i)는 북쪽 방향에서의 색상이 조정된 녹색값
    Figure 112016074030140-pat00110
    ((X = N,W,E,S)을 계산하기 위한 방향성 색상 차이이며, 나머지 동, 서, 남쪽 방향에서의
    Figure 112016074030140-pat00111
    는 스펙트럼 상관관계를 사용하여 구하는 것을 특징으로 하며, Bi,j는 픽셀 위치(i,j)에서 청색값을 나타내고, h는 안티 앨리어싱 FIR 필터 계수인, 방향 가중치 보간 방법.
  3. 제2항에 있어서,
    동,서, 남, 북 방향에 따르는
    Figure 112016074030140-pat00112
    의 방향성 그래디언트를 가중치 요소로서 사용하고, 상기 북 방향에 따르는
    Figure 112016074030140-pat00181
    의 방향성 그래디언트 ∇N은
    Figure 112016074030140-pat00113
    이며, 여기서
    Figure 112016074030140-pat00114
    는 그래디언트가 0이 되지 않게 하는 작은 양의 요소이고, 상기 녹색평면
    Figure 112016074030140-pat00115
    의 방향성 추정에 할당된 가중치는 상기 북 방향에서
    Figure 112016074030140-pat00116
    로 정의되며, 북방향 가중치 ωN과 유사하게 서방향 가중치 ωW, 동방향 가중치 ωE 및 남방향 가중치 ωS도 정의되며, 색상 보간 오류를 없애기 위해, 손실 색상 채널들은 가중치 요소들인 북방향 가중치
    Figure 112016074030140-pat00117
    , 서 방향 가중치
    Figure 112016074030140-pat00118
    , 동방향 가중치
    Figure 112016074030140-pat00119
    및 남방향 가중치
    Figure 112016074030140-pat00120
    로 보간의 정확성을 위해 미리 추정된
    Figure 112016074030140-pat00121
    ,
    Figure 112016074030140-pat00122
    ,
    Figure 112016074030140-pat00123
    ,
    Figure 112016074030140-pat00124
    강도들을 사용하는 상기 동,서, 남, 북 방향에 따라 추정되며, 보간 결과는
    Figure 112016074030140-pat00125
    인 것을 특징으로 하며, (i,j)는 베이어 패턴에서 각 픽셀의 위치를 나타내며, Bi,j는 픽셀 위치(i,j)에서 청색값을 나타내며, α는 가중치의 정도를 조정하기 위한 인자로 1인, 방향 가중치 보간 방법.
  4. 제1항에 있어서,
    네 개의 이웃 픽셀들과 중앙의 상기 (A) 단계에서 보간된 녹색 평면
    Figure 112016074030140-pat00126
    사이의 북 방향 역그래디언트 ∇G N, 남방향 역그래디언트 ∇G S, 서방향 역그래디언트 ∇G W및 동방향 역그래디언트 ∇G E는
    Figure 112016074030140-pat00127
    이며, 여기서
    Figure 112016074030140-pat00128
    는 역그래디언트가 0이 되지 않기 위한 작은 양의 요소이고, 상기 북, 남, 서 및 동 방향들에서 역그래디언트에 대한 북 방향 역가중치 WG N, 남 방향 역가중치 WG S, 서방향 역가중치 WG W 및 동방향 역가중치 WG E는
    Figure 112016074030140-pat00129
    를 상기 그래디언트 역가중치 필터링의 역가중치들로 사용하여, 상기 보간된 녹색 평면
    Figure 112016074030140-pat00130
    을 개선된 녹색 평면
    Figure 112016074030140-pat00182
    로 얻으며,
    Figure 112016074030140-pat00132
    인 것을 특징으로 하는, 방향 가중치 보간 방법.
  5. 삭제
  6. 삭제
KR1020150127726A 2015-09-09 2015-09-09 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법 KR101692747B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150127726A KR101692747B1 (ko) 2015-09-09 2015-09-09 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150127726A KR101692747B1 (ko) 2015-09-09 2015-09-09 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법

Publications (1)

Publication Number Publication Date
KR101692747B1 true KR101692747B1 (ko) 2017-01-04

Family

ID=57831529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150127726A KR101692747B1 (ko) 2015-09-09 2015-09-09 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법

Country Status (1)

Country Link
KR (1) KR101692747B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907451B1 (ko) * 2017-05-19 2018-10-12 인천대학교 산학협력단 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법
CN110309810A (zh) * 2019-07-10 2019-10-08 华中科技大学 一种基于批次中心相似度的行人重识别方法
WO2021231512A1 (en) * 2020-05-13 2021-11-18 Texas Instruments Incorporated Rendered optical super resolution display
CN118233764A (zh) * 2024-05-23 2024-06-21 杭州海康威视数字技术股份有限公司 图像的去马赛克方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Enhanced integrated gradient and its applications to color demosaicing *
향상된 Gradient Inverse Weighted Filter를 적용한 디인터레이싱 알고리듬 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907451B1 (ko) * 2017-05-19 2018-10-12 인천대학교 산학협력단 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법
CN110309810A (zh) * 2019-07-10 2019-10-08 华中科技大学 一种基于批次中心相似度的行人重识别方法
WO2021231512A1 (en) * 2020-05-13 2021-11-18 Texas Instruments Incorporated Rendered optical super resolution display
US11487118B2 (en) 2020-05-13 2022-11-01 Texas Instruments Incorporated Rendered optical super resolution display
CN118233764A (zh) * 2024-05-23 2024-06-21 杭州海康威视数字技术股份有限公司 图像的去马赛克方法和装置

Similar Documents

Publication Publication Date Title
US7825965B2 (en) Method and apparatus for interpolating missing colors in a color filter array
Zhang et al. Color demosaicking via directional linear minimum mean square-error estimation
KR101637488B1 (ko) 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
CN103369209B (zh) 视频降噪装置及方法
Menon et al. Demosaicing with directional filtering and a posteriori decision
EP1038159B1 (en) A new edge-detection based noise removal algorithm
US8571312B2 (en) Image interpolation method and apparatus using pattern characteristics of color filter array
KR101692747B1 (ko) 싱글 센서 카메라 이미징을 위한 방향 가중치 보간 방법
CN102663719B (zh) 基于非局部均值的Bayer型CFA图像去马赛克方法
CN102254301B (zh) 基于边缘方向插值的cfa图像去马赛克方法
Chen et al. Multidirectional weighted interpolation and refinement method for Bayer pattern CFA demosaicking
KR101700928B1 (ko) 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치
CN103347190B (zh) 一种边相关的联合彩色去马赛克和放大方法
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
KR102055411B1 (ko) 적응적 기준 범위 선택에 따른 디모자이킹 방법
Niu et al. Low cost edge sensing for high quality demosaicking
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
CN109302593A (zh) 一种面向单传感器相机成像系统的去马赛克算法
KR101780726B1 (ko) 앤티-에일리어싱 fir 필터에 기반한 디모자이킹 방법
Jiang et al. Improved directional weighted interpolation method combination with anti-aliasing FIR filter
KR101327790B1 (ko) 영상 보간 방법 및 장치
KR101994897B1 (ko) 컬러 영상 디모자이싱 시스템 및 그 디모자이싱 방법
Chen et al. Local adaptive directional color filter array interpolation based on inter-channel correlation
Lee et al. Adaptive demosaicing algorithm using characteristics of the color filter array pattern
Kwon et al. Aliasing artifacts reduction with subband signal analysis for demosaicked images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 4