KR20230095792A - 이미지 처리 장치 - Google Patents

이미지 처리 장치 Download PDF

Info

Publication number
KR20230095792A
KR20230095792A KR1020220126604A KR20220126604A KR20230095792A KR 20230095792 A KR20230095792 A KR 20230095792A KR 1020220126604 A KR1020220126604 A KR 1020220126604A KR 20220126604 A KR20220126604 A KR 20220126604A KR 20230095792 A KR20230095792 A KR 20230095792A
Authority
KR
South Korea
Prior art keywords
pixel
pixels
values
low band
window
Prior art date
Application number
KR1020220126604A
Other languages
English (en)
Other versions
KR102628938B1 (ko
Inventor
장현식
Original Assignee
(주) 픽셀플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 픽셀플러스 filed Critical (주) 픽셀플러스
Publication of KR20230095792A publication Critical patent/KR20230095792A/ko
Application granted granted Critical
Publication of KR102628938B1 publication Critical patent/KR102628938B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 기술의 일 실시 예에 따른 이미지 처리 장치는 영상 데이터에서 M×M (M은 3 이상의 홀수) 사이즈의 픽셀 윈도우를 추출하고, 추출된 픽셀 윈도우의 베이어 데이터를 출력하는 픽셀 윈도우 추출부, 상기 베이어 데이터를 이용하여 상기 픽셀 윈도우의 중심에 위치하는 중심 픽셀에 대한 로우 밴드 값들을 산출하는 로우 밴드 산출부, 상기 베이어 데이터 및 상기 로우 밴드 값들을 이용하여 상기 중심 픽셀과 상기 픽셀 윈도우에 포함된 그린 픽셀들 간의 크로마(chroma) 성분 차이를 구하는 크로마 성분차 산출부, 상기 베이어 데이터를 이용하여 상기 중심 픽셀에 대한 그라디언트(gradient)를 산출하는 그라디언트 산출부, 기 설정된 함수에 따라 상기 그라디언트에 대응되는 보정 파라미터를 생성하는 댐핑부 및 상기 그린 픽셀들에 대한 로우 밴드 값, 상기 크로마 성분 차이 및 상기 보정 파라미터를 이용하여 상기 중심 픽셀에 대한 보정 베이어 데이터를 생성하는 프린지 저감부를 포함할 수 있다.

Description

이미지 처리 장치{IMAGE PROCESSING APPARATUS}
본 발명은 촬영된 영상에서 컬러 프린지(color fringe)를 제거할 수 있는 이미지 처리 장치에 관한 것이다.
고화질의 영상이 필요한 이미지 처리 장치에서는 고품질의 영상을 생성하는 기술은 매우 중요하다. 이러한 이미지 처리 장치에서 카메라에 사용되는 렌즈의 품질 저하 또는 광각 렌즈의 사용시, 블루 컬러 성분과 그린 컬러 성분의 반사 특성의 차이(Chromatic Aberration)로 인해 영상의 에지(Edge) 부분에 특정 컬러(예를 들어, purple)가 끼는 현상이 발생한다. 이런 퍼플(purple) 컬러가 끼는 현상을 퍼플 프린지(purple fringe) 또는 컬러 프린지(color fringe)라 부른다.
여러 장의 노출 영상들을 결합하여 생성하는 HDR(High Dynamic Range) 영상을 생성하는 카메라의 경우, 각각의 노출 영상에서 발생되는 퍼플 프린지 현상들이 하나의 HDR 영상으로 합성되어 다양한 형태의 퍼플 프린지 현상으로 나타날 수 있다.
이러한 퍼플 프린지를 제거하기 위한 여러 방법들이 제안되고 있으나, 구현이 복잡하고, 퍼플 프린지 외 다른 컬러들도 같이 왜곡되는 등의 문제를 발생시킬 수 있다.
본 발명은 촬영된 영상에서 컬러 프린지를 제거할 수 있는 이미지 처리 장치를 제공하고자 한다.
본 발명의 일 실시 예에 따른 이미지 처리 장치는 영상 데이터에서 M×M (M은 3 이상의 홀수) 사이즈의 픽셀 윈도우를 추출하고, 추출된 픽셀 윈도우의 베이어 데이터를 출력하는 픽셀 윈도우 추출부, 상기 베이어 데이터를 이용하여 상기 픽셀 윈도우의 중심에 위치하는 중심 픽셀에 대한 로우 밴드 값들을 산출하는 로우 밴드 산출부, 상기 베이어 데이터 및 상기 로우 밴드 값들을 이용하여 상기 중심 픽셀과 상기 픽셀 윈도우에 포함된 그린 픽셀들 간의 크로마(chroma) 성분 차이를 구하는 크로마 성분차 산출부, 상기 베이어 데이터를 이용하여 상기 중심 픽셀에 대한 그라디언트(gradient)를 산출하는 그라디언트 산출부, 기 설정된 함수에 따라 상기 그라디언트에 대응되는 보정 파라미터를 생성하는 댐핑부 및 상기 그린 픽셀들에 대한 로우 밴드 값, 상기 크로마 성분 차이 및 상기 보정 파라미터를 이용하여 상기 중심 픽셀에 대한 보정 베이어 데이터를 생성하는 프린지 저감부를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 이미지 처리 장치는 제 1 노출 영상 데이터에서 기 설정된 사이즈의 픽셀 윈도우들을 추출하고 추출된 픽셀 윈도우들에서 중심 픽셀에 대한 로우 밴드 값들 및 상기 중심 픽셀과 그린 픽셀들 간의 크로마 성분 차이를 구하여 상기 제 1 노출 영상 데이터에 대한 컬러 프린지를 보정하는 제 1 컬러 프린지 보정부, 제 2 노출 영상 데이터에서 기 설정된 사이즈의 픽셀 윈도우들을 추출하고 추출된 픽셀 윈도우들에서 중심 픽셀에 대한 로우 밴드 값들 및 상기 중심 픽셀과 그린 픽셀들 간의 크로마 성분 차이를 구하여 상기 제 2 노출 영상 데이터에 대한 컬러 프린지를 보정하는 제 2 컬러 프린지 보정부, 및 상기 제 1 컬러 프린지 보정부에서 보정된 제 1 노출 영상 데이터와 상기 제 2 컬러 프린지 보정부에서 보정된 제 2 노출 영상 데이터를 합성하여 HDR 영상을 생성하는 영상 합성부를 포함할 수 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 보다 용이하게 컬러 프린지를 감소 또는 제거시킴으로써 영상의 화질을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도.
도 2는 본 발명의 일 실시예에 따른 5×5 픽셀 윈도우를 예시적으로 보여주는 도면.
도 3a는 픽셀 윈도우에서 중심 픽셀 및 그 중심 픽셀과 같은 컬러를 가지는 픽셀들에 대한 로우 밴드 성분 추정값을 예시적으로 나타낸 도면.
도 3b는 픽셀 윈도우에서 수평 방향으로 중심 픽셀과 인접하게 위치하는 픽셀 및 그 픽셀과 동일한 컬러를 가지는 픽셀들에 대한 로우 밴드 성분 추정값을 예시적으로 나타낸 도면.
도 3c는 픽셀 윈도우에서 수직 방향으로 중심 픽셀과 인접하게 위치하는 픽셀 및 그 픽셀과 동일한 컬러를 가지는 픽셀들에 대한 로우 밴드 성분 추정값을 예시적으로 나타낸 도면.
도 3d는 픽셀 윈도우에서 대각 방향으로 중심 픽셀과 인접하게 위치하는 픽셀 및 그 픽셀과 동일한 컬러를 가지는 픽셀들에 대한 로우 밴드 성분 추정값을 예시적으로 나타낸 도면.
도 4는 픽셀 위치들과 로우 밴드 값들의 관계를 표로 나타낸 도면.
도 5a 내지 도 5d는 중심 픽셀의 변화에 따른 2×2 베이어 패턴의 위치 관계를 예시적으로 보여주는 도면들.
도 6은 픽셀 윈도우에서 중심 픽셀의 위치에서의 4가지 방향들(수평 방향, 수직 방향 및 대각선 방향들)에 대한 그라디언트(에지 크기)를 예시적으로 보여주는 도면.
도 7은 그라디언트 값(Grad)과 댐프팩터(dampfactor)의 관계를 나타는 그래프.
도 8은 도 1의 이미지 처리 장치의 동작을 설명하기 위한 순서도.
도 9는 RGB 픽셀들이 베이어 패턴으로 배열된 픽셀 어레이에서 어느 한 위치에 있는 블루 픽셀(B)에 대한 컬러 프린지 보정을 위해 추출되는 5×5 사이즈의 픽셀 윈도우를 예시적으로 나타낸 도면.
도 10a 및 도 10b는 도 9에서의 블루 픽셀 다음의 블루 픽셀에 대한 5×5 사이즈의 픽셀 윈도우를 예시적으로 나타낸 도면.
도 11은 본 발명의 다른 실시예에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도이다.
도 1을 참조하면, 이미지 처리 장치는 픽셀 윈도우(pixel window) 추출부(10), 로우 밴드(low band) 산출부(20), 크로마 성분차(chroma disparity) 산출부(30), 그라디언트(gradient) 결정부(40), 댐핑(damping)부(50) 및 프린지(fringe) 저감부(60)를 포함할 수 있다.
픽셀 윈도우 추출부(10)는 이미지 센서에서 촬영된 영상 데이터에서 기 설정된 컬러의 픽셀들에 대해 해당 픽셀을 중심으로 M×M 형태로 배열된 픽셀들의 픽셀값들(M×M 베이어 데이터)을 추출할 수 있다. 이하에서, M×M 형태로 배열된 픽셀들은 픽셀 윈도우라 통칭되며, M은 3이상의 홀수를 포함할 수 있다. 예를 들어, 픽셀 윈도우 추출부(10)는 영상에서 블루(blue) 컬러의 픽셀들과 레드(red) 컬러의 픽셀들에 대해 순차적으로 M×M 사이즈의 픽셀 윈도우를 추출할 수 있다.
도 2는 본 발명의 일 실시예에 따른 픽셀 윈도우를 예시적으로 보여주는 도면으로, 픽셀 윈도우 추출부(10)는 촬영된 영상에서 블루 픽셀들과 레드 픽셀들 각각에 대해 해당 픽셀을 중심으로 도 2에서와 같이 5×5 형태로 인접하게 배열되는 25개 픽셀들의 픽셀값들(베이어 데이터)을 추출하여 출력할 수 있다. 즉, 픽셀 윈도우 추출부(10)는 모든 블루 픽셀들과 레드 픽셀들에 대해 기 설정된 순서에 따라 각 픽셀에 대한 픽셀 윈도우를 추출할 수 있다. 이때, 영상의 경계(boundary) 영역에 위치하는 픽셀들의 경우, 해당 픽셀을 중심으로 그 주변에 M×M 사이즈의 픽셀들이 모두 존재하지 않을 수 있다. 그러한 경우에는 픽셀 미러링 등을 통해 해당 픽셀들에 대한 픽셀 윈도우를 생성할 수 있다.
이하에서는, 설명의 편의를 위해, 도 2에서와 같이 베이어 패턴으로 배열된 5×5 사이즈의 픽셀들을 픽셀 윈도우로 가정하여 설명한다. 픽셀 윈도우 추출부(10)는 추출된 픽셀 윈도우의 M×M 베이어 데이터(픽셀 값들)를 로우 밴드 산출부(20)에 제공할 수 있다.
컬러 프린지 현상은 일반적으로 블루 성분이나 레드 성분이 그린 성분보다 큰 값을 가지는 형태로 나타나므로, 그린 픽셀들의 픽셀값들은 그대로 유지하고 블루 픽셀들과 레드 픽셀들의 픽셀값들을 낮추게 되면 컬러 프린지를 감소시킬 수 있다. 따라서, 본 실시예서는 블루 픽셀들과 레드 픽셀들에 대해서만 픽셀 윈도우를 추출하는 경우를 예시적으로 설명한다.
로우 밴드 산출부(20)는 픽셀 윈도우 추출부(10)로부터 제공받은 각각의 픽셀 윈도우에 대해, 해당 픽셀 윈도우에 포함된 픽셀들의 픽셀값들(베이어 데이터)을 이용하여 해당 픽셀 윈도우의 중심 픽셀에 대한 로우 밴드 값들(GRL, RL, GBL, BL, YL)을 산출할 수 있다.
예를 들어, 도 3a 내지 3d는 5×5 픽셀 윈도우에서 픽셀들의 위치에 따른 로우 밴드 성분 추정값들을 예시적으로 나타낸 도면들이다.
로우 밴드 산출부(20)는 제공받은 픽셀 윈도우의 베이어 데이터를 이용하여 도 3a 내지 3d와 같은 4가지의 추정값들(XL[0], XL[1], XL[2], XL[3])을 계산할 수 있다.
이를 위해, 로우 밴드 산출부(20)는 픽셀 윈도우를 해당 픽셀들의 위치에 따라 도 3a 내지 3d와 같이 4개의 그룹들로 구분하고, 각 그룹들 내에서 중심 픽셀과 인접한 정도에 따라 해당 픽셀의 픽셀값에 서로 다른 가중치를 부여하여 각 그룹에 대한 추정값들(XL[0], XL[1], XL[2], XL[3])을 계산할 수 있다.
예를 들어, 로우 밴드 산출부(20)는 중심 픽셀에 대해서는 본래의 픽셀값에 36을 곱하고, 중심 픽셀로부터 수직 및 수평 방향에 위치하며 중심 픽셀과 같은 컬러를 가지는 픽셀들에 대해서는 본래의 픽셀값에 6을 곱하고, 중심 픽셀로부터 대각선 방향에 위치하며 중심 픽셀과 같은 컬러를 가지는 픽셀들에 대해서는 본래의 픽셀값에 1을 곱하여 도 3a와 같이 XL[0]에 대한 로우 밴드 성분 추정값을 계산할 수 있다. 또한, 로우 밴드 산출부(20)는 수평 방향으로 중심 픽셀과 인접하게 위치하는 픽셀들(제 1 인접 픽셀들)에 대해서는 본래의 픽셀값에 6을 곱하고, 제 1 인접 픽셀과 같은 컬러를 가지는 나머지 픽셀들에 대해서는 본래의 픽셀값에 1을 곱하여 도 3b와 같이 XL[1]에 대한 로우 밴드 성분 추정값을 계산할 수 있다.
또한, 로우 밴드 산출부(20)는 수직 방향으로 중심 픽셀과 인접하게 위치하는 픽셀들(제 2 인접 픽셀들)에 대해서는 본래의 픽셀값에 6을 곱하고, 제 2 인접 픽셀과 같은 컬러를 가지는 나머지 픽셀들에 대해서는 본래의 픽셀값에 1을 곱하여 도 3c와 같이 XL[2]에 대한 로우 밴드 성분 추정값을 계산할 수 있다. 또한, 로우 밴드 산출부(20)는 대각 방향으로 중심 픽셀과 인접하게 위치하는 픽셀들(제 3 인접 픽셀들)에 대해서는 본래의 픽셀값에 1을 곱하여 도 3d와 같이 XL[3]에 대한 로우 밴드 성분 추정값을 계산할 수 있다.
이때, 레드(R), 제 1 그린(GR), 제 2 그린(GB), 블루(B)를 포함하는 2×2 베이어 패턴을 기준으로, 제 1 그린(GR)과 제 2 그린(GB)는 서로 다른 컬러로 분류될 수 있다. 예를 들어, 제 1 인접 픽셀들이 제 1 그린(GR) 컬러의 픽셀들인 경우, 제 1 인접 픽셀들과 같은 컬러를 가지는 픽셀들은 제 1 그린(GR) 컬러의 픽셀들만 해당하고 제 2 그린(GB) 컬러의 픽셀들은 포함되지 않을 수 있다.
로우 밴드 산출부(20)는 각 픽셀 윈도우에 대해 도 3a 내지 도 3d와 같이 로우 밴드 성분 추정값들(XL[0], XL[1], XL[2], XL[3])이 계산되면, 추정값들(XL[0], XL[1], XL[2], XL[3])의 레벨을 같은 크기로 맞추기 위해 추정값들(XL[1], XL[2], XL[3])에 추가적으로 가중치를 곱해줄 수 있다. 예를 들어, 상술한 실시예에서, 추정값(XL[0])을 구하기 위해 해당 픽셀값들에 곱해준 가중치들의 합은 64(=36+6+6+6+6+1+1+1+1)인데, 추정값들(XL[1], XL[2], XL[3])을 구하기 위해 해당 픽셀값들에 곱해준 가중치들의 합은 각각 16(=6+6+1+1+1+1), 16(=6+6+1+1+1+1), 4(=1+1+1+1)이다. 따라서, 추정값들(XL[1], XL[2], XL[3])의 레벨을 추정값(XL[0])과 맞추기 위해, 추정값들(XL[1], XL[2])에는 4를 곱하고, 추정값(XL[3])에는 16을 곱할 수 있다.
또한, 로우 밴드 산출부(20)는 해당 픽셀 윈도우의 중심 픽셀이 어떤 픽셀인지를 확인하여 중심 픽셀에 대한 로우 밴드 값들(GRL, RL, GBL, BL, YL)을 산출할 수 있다.
이때, 로우 밴드 값들(GRL, RL, GBL, BL)은 해당 픽셀 윈도우의 중심 픽셀이 2×2 베이어 패턴의 좌측상단(top-left)에 위치하는 픽셀이라고 가정했을 때, 도 4의 표와 같이, 그 2×2 베이어 패턴에서의 픽셀들의 위치 관계에 따라 값이 정해질 수 있다.
도 4는 중심 픽셀의 위치별 로우 밴드 값들을 예시적으로 나타낸 표로서, 도 4에서의 픽셀 위치들(GBRG, GRBG, RGGB, BGGR)은 추출된 픽셀 윈도우의 중심 픽셀이 2×2 베이어 패턴에서 좌측상단(top-left)에 위치하고 있다고 가정할 때, 그 2×2 베이어 패턴에 있는 픽셀들(R, GR, GB, B)의 위치 관계(배열 형태)를 나타낼 수 있다.
예를 들어, 픽셀 위치(BGGR)는 블루 픽셀(B)이 픽셀 윈도우의 중심 픽셀인 경우를 나타내는 것으로, 도 5a에서와 같이, 블루 픽셀(B)이 2×2 베이어 패턴의 좌측상단(top-left)에 위치하게 되면, 그 2×2 베이어 패턴은 픽셀들(R, GR, GB, B)이 ①②③④의 순서대로 볼 때 BGGR 순으로 배열된 패턴이 될 수 있다. 또한, 픽셀 위치(RGGB)는 레드 픽셀(R)이 픽셀 윈도우의 중심 픽셀인 경우를 나타내는 것으로, 도 5b에서와 같이, 레드 픽셀(R)이 2×2 베이어 패턴의 좌측상단(top-left)에 위치하게 되면, 그 2×2 베이어 패턴은 픽셀들(R, GR, GB, B)이 ①②③④의 순서대로 볼 때 RGGB 순으로 배열된 패턴이 될 수 있다.
마찬가지로, 픽셀 위치들(GBRG, GRBG)은 각각 그린 픽셀(GB)과 그린 픽셀(GR)이 픽셀 윈도우의 중심 픽셀인 경우로서, 도 5c 및 도 5d에서와 같이, 그린 픽셀(GB)과 그린 픽셀(GR)이 2×2 베이어 패턴의 좌측상단(top-left)에 위치하는 경우가 될 수 있다.
도 4의 표에서, X[0]은 도 3a에서의 XL[0]의 추정값들을 합산한 값이 될 수 있으며, X[1]은 도 3b에서의 XL[1]의 추정값들에 4를 곱한 값들을 합산한 값이 될 수 있다. 또한, X[2]는 도 3c에서의 XL[2]의 추정값들에 4를 곱한 값들을 합산한 값이 될 수 있으며, X[3]은 도 3d에서의 XL[3]의 추정값들에 16을 곱한 값들을 합산한 값이 될 수 있다.
로우 밴드 산출부(20)는 각 픽셀 윈도우에 대한 로우 밴드 성분값들(X[0], X[1], X[2], X[3])과 도 4의 표에 근거하여 4개의 로우 밴드 값들(GRL, RL, GBL, BL)을 산출할 수 있다. 예를 들어, 블루 픽셀(B)이 픽셀 윈도우의 중심 픽셀인 경우, 픽셀 위치는 도 5a에서와 같이 BGGR에 해당하며, BGGR에 대응되는 로우 밴드 값들(GRL, RL, BL, GBL)은 각각 도 4의 표에 근거하여 X[2], X[3], X[0], X[1]과 매칭될 수 있다. 로우 밴드 산출부(20)는 로우 밴드 성분값들(X[2], X[3], X[0], X[1])을 각각 64로 나눈 후 그 값들을 로우 밴드 값(GRL, RL, BL, GBL)으로 할당할 수 있다. 즉, X[0], X[1], X[2], X[3]의 값들은 실제 픽셀값들에 상술한 바와 같이 가중치들을 곱하여 얻어진 값들이므로, 로우 밴드 산출부(20)는 X[0], X[1], X[2], X[3]의 값들을 다시 64로 나눈 후 그 값을 로우 밴드 값(GRL, RL, BL, GBL)으로 할당할 수 있다.
이처럼, 로우 밴드 산출부(20)는 로우 밴드 성분 추정값들(XL[0], XL[1], XL[2], XL[3])을 계산하여 알아내고 해당 픽셀 윈도우의 중심 픽셀이 어떤 컬러의 픽셀인지를 알면, 해당 중심 픽셀에 대한 로우 밴드 값들(GRL, RL, GBL, BL)을 산출할 수 있다.
로우 밴드 값(YL)은 해당 중심 픽셀의 밝기(luminance)에 대한 로우 밴드 값을 의미할 수 있다. 이러한 로우 밴드 값(YL)은 GRL, RL, GBL, BL을 이용하여 구할 수 있다.
예를 들어, 로우 밴드 산출부(20)는 아래의 수식을 이용하여 로우 밴드 값(YL)을 구할 수 있다.
Figure pat00001
크로마 성분차 산출부(30)는 픽셀 윈도우 추출부(10)에서 출력되는 픽셀 윈도우의 픽셀값들(5×5 베이어 데이터)과 로우 밴드 산출부(20)로부터 수신된 로우 밴드 값들(GRL, RL, GBL, BL, YL)을 이용하여 해당 픽셀 윈도우의 중심 픽셀과 해당 픽셀 윈도우에 포함된 그린 픽셀들 간의 크로마(chroma) 성분 차이를 구할 수 있다.
예를 들어, 픽셀 윈도우의 중심 픽셀이 블루 픽셀(B)인 경우, 크로마 성분차 산출부(30)는 해당 픽셀 윈도우에 대한 중심 픽셀(B)의 로우 밴드 값(BL)과 그린 픽셀들(GB, GR)의 평균 로우 밴드 값{GL = (GRL+GBL)/2}의 차이(Cggap)를 구하고, 중심 픽셀(B)의 본래의 픽셀값(원시 베이어 데이터, Cbayer)과 로우 밴드 값(BL)의 차이(Cgap)를 구할 수 있다. 픽셀 윈도우의 중심 픽셀이 레드 픽셀(R)인 경우, 크로마 성분차 산출부(30)는 해당 픽셀 윈도우에 대한 중심 픽셀(R)의 로우 밴드 값(RL)과 그린 픽셀들(GB, GR)의 평균 로우 밴드 값{GL = (GRL+GBL)/2}의 차이(Cggap)를 구하고, 중심 픽셀(R)의 본래의 픽셀값(원시 베이어 데이터, Cbayer)과 로우 밴드 값(RL)의 차이(Cgap)를 구할 수 있다.
크로마 성분차 산출부(30)는 아래의 수식을 이용하여 크로마 성분차(Cggap, Cgap)를 구할 수 있다.
Figure pat00002
Figure pat00003
여기에서, CL은 중심 픽셀의 로우 밴드 값으로, 중심 픽셀이 블루 픽셀인 경우에는 BL이 되고 중심 픽셀이 레드 픽셀인 경우에는 RL이 될 수 있다.
그라디언트 산출부(40)는 픽셀 윈도우 추출부(10)에서 출력되는 픽셀 윈도우의 픽셀값들(5×5 베이어 데이터)을 이용하여 중심 픽셀에 대한 그라디언트(gradient)를 구할 수 있다. 예를 들어, 도 6은 5×5 픽셀 윈도우에서 중심 픽셀의 위치에서의 4가지 방향들(수평 방향, 수직 방향 및 대각 방향들)에 대한 그라디언트(에지 크기)를 예시적으로 보여주는 도면이다. 그라디언트 산출부(40)는 소벨(SOBEL) 알고리즘을 이용하여 도 6에서와 같이 중심 픽셀의 위치에서의 4가지 방향들에 대한 에지의 크기를 계산하여 이를 각 방향에 대한 그라디언트 값들(Gx, Gy, Gn, Gz)로 할 수 있다. 이때, Gx는 수평 방향의 그라디언트 값, Gy는 수직 방향의 그라디언트 값, Gn과 Gz는 대각 방향들의 그라디언트 값들을 나타낼 수 있다. 본 실시예에서는 소벨 알고리즘을 이용하여 그라디언트를 계산하였으나, prewitt나 LoG(Laplacian of Gaussian) 등의 다른 알고리즘을 이용하여 그라디언트의 크기를 계산할 수도 있다.
그라디언트 산출부(40)는 아래의 수식과 같이 4가지 방향들의 그라디언트 값들(Gx, Gy, Gn, Gz)의 절대값들(|Gx|, |Gy|, |Gn|, |Gz|)의 크기를 비교하여 가장 큰 값을 중심 픽셀의 그라디언트 값(Grad)으로 결정할 수 있다.
Figure pat00004
여기에서, |Gx|, |Gy|, |Gn|, |Gz|는 각각 도 6의 Gx, Gy, Gn, Gz에서 각 값의 절대값들의 합을 의미할 수 있다.
댐핑부(50)는 그라디언트 산출부(40)에서 출력되는 그라디언트 값(Grad)에 근거하여 컬러 프린지의 감쇠 강도를 조정하기 위한 보정 파라미터를 생성할 수 있다. 본 실시예에서는 보정 파라미터로서 댐프팩터(dampfactor)가 사용될 수 있다.
예를 들어, 도 7은 그라디언트 값(Grad)과 댐프팩터의 관계를 나타는 그래프로, 댐핑부(50)는 도 7에서와 같이 그라디언트 값이 작을 때에는 댐프팩터를 크게 하여 컬러 프린지 감쇠 강도가 낮아지도록 하고 그라디언트 값이 크면 댐프팩터를 작게 하여 컬러 프린지 감쇠 강도가 높아지도록 할 수 있다.
이러한 댐프팩터는 이미지 센서의 특성에 맞게 조정(설계)될 수 있다. 예를 들어, 도 7에서의 페이딩(fading)의 위치 및 페이딩 이후의 댐프팩터의 기울기 등은 이미지 센서의 컬러 프린지 강도 또는 컬러 프린지의 성질에 따라 튜닝이 가능하도록 조정될 수 있다. 댐프팩터의 그래프는 가우시안 웨이트(gaussian weight) 함수가 사용될 수 있다.
프린지 저감부(60)는 크로마 성분차 산출부(30)로부터 제공받은 크로마 성분차(Cggap, Cgap)와 그린 픽셀들(GB, GR)에 대한 로우 밴드 값(GL) 및 댐핑부(50)로부터 제공받은 댐프팩터를 이용하여 중심 픽셀에 대한 컬러 프린지를 감소시키거나 제거한 픽셀 값(보정 베이어 데이터)(Ccorrect)을 생성할 수 있다. 예를 들어, 프린지 저감부(60)는 아래의 수식을 이용하여 중심 픽셀의 픽셀값을 보정할 수 있다.
Figure pat00005
프린지 저감부(60)는 해당 중심 픽셀에 대한 컬러 프린지 저감이 완료되면, 해당 사실을 알리는 신호를 픽셀 윈도우 추출부(10)에 전송할 수 있다.
도 8은 도 1의 이미지 처리 장치의 동작을 설명하기 위한 순서도이다.
이미지 센서가 대상물을 촬영하여 대상물에 대한 영상 데이터가 획득되면, 획득된 베이터 데이터는 픽셀 윈도우 추출부(10)로 전송될 수 있다. 이때, 베이어 데이터는 이미지 센서에서 광전변환을 통해 얻어진 각 픽셀의 픽셀값(원시 베이어 데이터)이 될 수 있다.
픽셀 윈도우 추출부(10)는 제공받은 원시 베이어 데이터에서 보정(컬러 프린지 감소 또는 제거)을 하고자 하는 픽셀에 대해, 해당 픽셀을 중심 픽셀로 하는 5×5 사이즈의 픽셀 윈도우를 추출할 수 있다(S810).
예를 들어, 도 9는 RGB 픽셀들이 베이어 패턴으로 배열된 픽셀 어레이에서 회색으로 표시된 위치에 있는 블루 픽셀(B)에 대한 컬러 프린지 보정을 위해 추출되는 5×5 사이즈의 픽셀 윈도우를 예시적으로 나타낸 도면으로, 픽셀 윈도우 추출부(10)는 도 9에서 점선으로 표시된 영역 내에 있는 25개 픽셀들의 픽셀값들(원시 베이어 데이터)을 추출하여 출력할 수 있다.
추출된 5×5 픽셀 윈도우의 베이어 데이터는 로우 밴드 산출부(20), 크로마 성분 산출부(30) 및 그라디언트 산출부(40)에 제공될 수 있다.
로우 밴드 산출부(20)는 픽셀 윈도우 추출부(10)로부터 제공받은 픽셀 윈도우의 베이어 데이터(픽셀값들)를 이용하여 해당 픽셀 윈도우의 중심 픽셀(도 9에서 회색으로 표시된 GB 픽셀)에 대한 로우 밴드 값들(GRL, RL, GBL, BL, YL)을 산출할 수 있다(S822).
이를 위해, 로우 밴드 산출부(20)는 해당 픽셀 윈도우에 대해 도 3a 내지 3d와 같이 로우 밴드 성분 추정값들(XL[0], XL[1], XL[2], XL[3])을 계산할 수 있다. 이어서, 로우 밴드 산출부(20)는 해당 픽셀 윈도우의 중심 픽셀이 어떤 컬러의 픽셀인지 확인할 수 있다. 도 9에서와 같이, 중심 픽셀이 블루 픽셀(B)인 경우, B 픽셀이 2×2 베이어 패턴의 좌측상단(top-left)에 위치할 때 그 2×2 베이어 패턴의 픽셀 위치는 도 5a에서와 같이 BGGR에 해당한다.
따라서, 로우 밴드 산출부(20)는 도 4에서 픽셀 위치(BGGR)에 해당하는 값들(X[2], X[3], X[0], X[1])을 64로 나눈 후 그 값들을 각각 대응되는 로우 밴드 값들(GRL=X[2], RL=X[3], GBL=X[0], BL=X[1])로 할 수 있다.
로우 밴드 값들(GRL, RL, GBL, BL)이 구해지면, 로우 밴드 산출부(20)는 상술된 수학식 1을 이용하여 로우 밴드 값(YL)을 구할 수 있다. 구해진 로우 밴드 값들(GRL, RL, GBL, BL, YL)은 크로마 성분차 산출부(30)에 전송될 수 있다.
크로마 성분차 산출부(30)는 픽셀 윈도우 추출부(10)로부터 제공받은 픽셀 윈도우의 픽셀값들 중 중심 픽셀(B)의 픽셀값(Cbayer)과 픽셀 윈도우 추출부(10)로부터 제공받은 로우 밴드 값들(GRL, RL, GBL, BL, YL)을 이용하여 블루 픽셀과 그린 픽셀들의 크로마 성분 차이(Cggap, Cgap)를 구할 수 있다(S832).
예를 들어, 크로마 성분차 산출부(30)는 상술된 수학식 2를 이용하여 중심 픽셀(B)의 로우 밴드 값(BL)과 그린 픽셀들(GB, GR)의 로우 밴드 값{GL = (GRL+GBL)/2}의 차이(Cggap)를 구하고, 중심 픽셀(B)의 원시 픽셀값(Cbayer)과 로우 밴드 값(BL)의 차이(Cgap)를 구할 수 있다.
만약, 픽셀 윈도우의 중심 픽셀이 레드 픽셀(R)인 경우에는, 크로마 성분차 산출부(30)는 중심 픽셀(R)의 로우 밴드 값(RL)과 그린 픽셀들(GB, GR)의 로우 밴드 값{GL = (GRL+GBL)/2}의 차이(Cggap)를 구하고, 중심 픽셀(R)의 원시 픽셀값(Cbayer)과 로우 밴드 값(RL)의 차이(Cgap)를 구할 수 있다.
컬러 프린지 현상은 일반적으로 블루 성분이나 레드 성분이 그린 성분보다 큰 값을 가지는 형태로 나타난다. 따라서, 그린 픽셀의 픽셀값은 그대로 유지하고 블루 픽셀 또는 레드 픽셀의 값을 낮추게 되면 컬러 프린지를 감소시킬 수 있다.
크로마 성분차 산출부(30)는 크로마 성분차(Cggap, Cgap)에 대한 값들(Cggap, Cgap)과 그린 픽셀들에 대한 로우 밴드 값(GL)을 프린지 저감부(60)에 전송할 수 있다.
단계 S822 및 S832가 진행되는 동안, 그라디언트 산출부(40)는 픽셀 윈도우 추출부(10)로부터 제공받은 픽셀 윈도우의 베이어 데이터(픽셀값들)를 이용하여 중심 픽셀에 대한 그라디언트(gradient)(Grad)를 구하고(S824), 댐핑부(50)는 그라디언트 산출부(40)에서 출력되는 그라디언트 값(Grad)에 대응되는 댐프팩터(dampfactor)를 생성할 수 있다(S834).
예를 들어, 도 6에서와 같이, 그라디언트 산출부(40)는 중심 픽셀의 위치에서의 4가지 방향들(수평 방향, 수직 방향 및 대각 방향들)에 대한 에지 크기를 계산하여 해당 방향들에 대한 그라디언트 값들(Gx, Gy, Gn, Gz)을 구할 수 있다. 이때, Gx는 수평 방향의 그라디언트 값, Gy는 수직 방향의 그라디언트 값, Gn과 Gz는 대각 방향들의 그라디언트 값들을 나타낼 수 있다.
이러한 그라디언트는 이미 공지된 소벨 알고리즘을 이용하여 계산되거나 prewitt 또는 LoG(Laplacian of Gaussian) 등의 알고리즘을 이용하여 계산될 수 있다.
그라디언트 산출부(40)는 4가지 방향들의 그라디언트 값들(Gx, Gy, Gn, Gz)의 절대값들(|Gx|, |Gy|, |Gn|, |Gz|)의 크기를 비교하여 가장 큰 값을 중심 픽셀의 그라디언트 값(Grad)으로 결정할 수 있다. 그라디언트 산출부(40)는 결정된 그라디언트 값(Grad)을 댐핑부(50)에 전송할 수 있다.
댐핑부(50)는 도 7에서와 같은 함수 그래프에 근거하여 그라디언트 값(Grad)에 대응되는 댐프팩터를 구하고 그 값을 프린지 저감부(60)에 전송할 수 있다.
프린지 저감부(60)는 크로마 성분차 산출부(30)로부터 제공받은 크로마 성분차(Cggap, Cgap)와 그린 픽셀들(GB, GR)에 대한 로우 밴드 값(GL) 및 댐핑부(50)에서 구해진 댐프팩터를 이용하여 중심 픽셀에 대한 보정된 픽셀 값(보정 베이어 데이터)을 생성하여 출력할 수 있다(S840).
예를 들어, 프린지 저감부(60)는 상술된 수학식 4를 이용하여 중심 픽셀에 대한 보정된 픽셀값을 생성할 수 있다.
프린지 저감부(60)는 해당 중심 픽셀에 대한 보정이 완료되면, 해당 사실을 알리는 신호를 픽셀 윈도우 추출부(10)에 전송할 수 있다.
픽셀 윈도우 추출부(10)는 프린지 저감부(60)로부터 보정(컬러 프린지 저감)이 완료되었음을 알리는 신호가 수신되면, 기 설정된 순서에 따라 다음에 보정할 픽셀이 존재하는지 여부를 확인할 수 있다(S850).
픽셀 윈도우 추출부(10)는 다음 보정 대상 픽셀이 존재하면, 해당 픽셀을 중심 픽셀로 하는 픽셀 윈도우를 다시 추출할 수 있다. 예를 들어, 픽셀 윈도우 추출부(10)는, 도 10a에서와 같이, 수평 방향으로 인접한 다음의 블루 픽셀을 중심 픽셀로 하는 픽셀 윈도우를 추출하거나, 도 10b와 같이, 수직 방향으로 인접한 다음 블로 픽셀을 중심 픽셀로 하는 픽셀 윈도우를 추출할 수 있다.
추출된 새로운 픽셀 윈도우들에 대해서도, 상술한 단계 S822 내지 S840의 과정들이 수행됨으로써 해당 중심 픽셀에 대한 보정이 수행될 수 있다.
또한, 상술한 컬러 프린지 보정(감소 또는 제거)을 위한 동작들은 블루 픽셀들과 레드 픽셀들 모두에 대해 수행되거나, 블루 픽셀들과 레드 픽셀들 중 어느 하나의 컬러에 대해서만 선택적으로 진행될 수도 있다.
여러 장의 노출 영상들을 합성하여 HDR(High Dynamic Range) 영상을 제작하고자 하는 경우, 본 실시예의 이미지 처리 장치는 합성되는 각각의 노출 영상에 대해 상술한 컬러 프린지 보정을 먼저 수행한 후 보정된 노출 영상들을 합성함으로써 HDR 영상을 제작할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 이미지 처리 장치의 구성을 간략하게 보여주는 블록도이다.
도 11을 참조하면, 이미지 처리 장치는 복수의 컬러 프린지 보정부(110, 120) 및 영상 합성부(200)를 포함할 수 있다.
복수의 컬러 프린지 보정부(110, 120)는 각각 상술한 도 1의 구성들을 포함할 수 있다. 이때, 각 컬러 프린지 보정부(110, 120)에 입력되는 영상 데이터(베이어 데이터)는 HDR 합성을 위한 서로 다른 노출 영상이 될 수 있다. 즉, 각 컬러 프린지 보정부(110, 120)는 서로 다른 노출 영상에 대해 상술한 도 8의 과정들을 수행하여 컬러 프린지가 보정된 노출 영상을 출력할 수 있다.
영상 합성부(200)는 복수의 컬러 프린지 보정부(110, 120)에서 출력되는 노출 영상들을 합성하여 HDR 영상을 생성할 수 있다. 복수의 노출 영상들을 합성하여 HDR 영상을 제작하는 방법은 종래의 HDR 영상 합성 방법들 중 어느 것을 사용하여도 무방하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 영상 데이터에서 M×M (M은 3 이상의 홀수) 사이즈의 픽셀 윈도우를 추출하고, 추출된 픽셀 윈도우의 베이어 데이터를 출력하는 픽셀 윈도우 추출부;
    상기 베이어 데이터를 이용하여 상기 픽셀 윈도우의 중심에 위치하는 중심 픽셀에 대한 로우 밴드 값들을 산출하는 로우 밴드 산출부;
    상기 베이어 데이터 및 상기 로우 밴드 값들을 이용하여 상기 중심 픽셀과 상기 픽셀 윈도우에 포함된 그린 픽셀들 간의 크로마(chroma) 성분 차이를 구하는 크로마 성분차 산출부;
    상기 베이어 데이터를 이용하여 상기 중심 픽셀에 대한 그라디언트(gradient)를 산출하는 그라디언트 산출부;
    기 설정된 함수에 따라 상기 그라디언트에 대응되는 보정 파라미터를 생성하는 댐핑부; 및
    상기 그린 픽셀들에 대한 로우 밴드 값, 상기 크로마 성분 차이 및 상기 보정 파라미터를 이용하여 상기 중심 픽셀에 대한 보정 베이어 데이터를 생성하는 프린지 저감부를 포함하는 이미지 처리 장치.
  2. 청구항 1에 있어서, 상기 픽셀 윈도우 추출부는
    상기 영상 데이터에서 블루 컬러의 픽셀들과 레드 컬러의 픽셀들 중 적어도 어느 하나의 컬러에 대해 상기 픽셀 윈도우를 추출하는 것을 특징으로 하는 이미지 처리 장치.
  3. 청구항 1에 있어서, 상기 로우 밴드 산출부는
    상기 픽셀 윈도우의 베이어 데이터에 대한 로우 밴드 성분 추정값들을 계산하고, 상기 로우 밴드 성분 추정값들과 상기 중심 픽셀의 위치에 근거하여 상기 중심 픽셀에 대한 로우 밴드 값들을 산출하는 것을 특징으로 하는 이미지 처리 장치.
  4. 청구항 3에 있어서, 상기 로우 밴드 산출부는
    상기 픽셀 윈도우를 픽셀들의 위치에 따라 4개의 그룹들로 구분하고, 각 그룹 내에서 중심 픽셀과 인접한 정도에 따라 서로 다른 가중치를 부여하여 각 그룹에 대한 로우 밴드 성분 추정값들을 계산하는 것을 특징으로 하는 이미지 처리 장치.
  5. 청구항 4에 있어서, 상기 로우 밴드 산출부는
    상기 픽셀 윈도우의 중심 픽셀 및 상기 중심 픽셀과 같은 컬러를 갖는 픽셀들을 제 1 그룹으로 분류하고,
    수평 방향으로 상기 중심 픽셀과 인접하게 위치하는 제 1 인접 픽셀들 및 2×2 베이어 패턴을 기준으로 상기 제 1 인접 픽셀들과 같은 컬러를 갖는 픽셀들을 제 2 그룹으로 분류하고,
    수직 방향으로 상기 중심 픽셀과 인접하게 위치하는 제 2 인접 픽셀들 및 2×2 베이어 패턴을 기준으로 상기 제 2 인접 픽셀들과 같은 컬러를 갖는 픽셀들을 제 3 그룹으로 분류하고,
    대각 방향으로 상기 중심 픽셀과 인접하게 위치하는 제 3 인접 픽셀들을 제 4 그룹으로 분류하는 것을 특징으로 하는 이미지 처리 장치.
  6. 청구항 5에 있어서, 상기 로우 밴드 산출부는
    상기 제 1 그룹에서 상기 중심 픽셀에는 제 1 가중치를 부여하고, 상기 중심 픽셀로부터 수직 및 수평 방향에 위치하는 픽셀들에 대해서는 상기 제 1 가중치보다 작은 제 2 가중치를 부여하고, 상기 중심 픽셀로부터 대각 방향에 위치하는 픽셀들에 대해서는 제 2 가중치보다 작은 제 3 가중치를 부여하며,
    상기 제 2 그룹에서 상기 제 1 인접 픽셀들에는 상기 제 2 가중치를 부여하고 나머지 픽셀들에는 상기 제 3 가중치를 부여하며,
    상기 제 3 그룹에서 상기 제 2 인접 픽셀들에는 상기 제 2 가중치를 부여하고 나머지 픽셀들에는 상기 제 3 가중치를 부여하며,
    상기 제 4 그룹에서 상기 제 3 인접 픽셀들에는 상기 제 3 가중치를 부여하는 것을 특징으로 하는 이미지 처리 장치.
  7. 청구항 4에 있어서, 상기 로우 밴드 산출부는
    상기 로우 밴드 성분 추정값들의 레벨을 같은 크기로 맞춘 후 각 그룹별로 합하여 4개의 로우 밴드 성분값들을 생성하고,
    추출된 픽셀 윈도우의 중심 픽셀이 2×2 베이어 패턴의 좌측상단(top-left)에 위치하는 픽셀이라고 할 때에 해당 2×2 베이어 패턴에 포함된 픽셀들의 배열 형태에 근거하여, 상기 4개의 로우 밴드 성분값들을 가중치들의 합으로 나눈 값들과 블루 픽셀에 대한 제 1 로우 밴드 값(BL), 레드 픽셀에 대한 제 2 로우 밴드 값(RL), 제 1 그린 컬러에 대한 제 3 로우 밴드 값(GBL) 및 제 2 그린 컬러에 대한 제 4 로우 밴드 값(GRL)을 매칭시키는 것을 특징으로 하는 이미지 처리 장치.
  8. 청구항 7에 있어서, 상기 로우 밴드 산출부는
    상기 제 1 내지 제 4 로우 밴드 값들을 이용하여 상기 중심 픽셀의 밝기(luminance)에 대한 제 5 로우 밴드 값(YL)을 구하는 것을 특징으로 하는 이미지 처리 장치.
  9. 청구항 7에 있어서, 상기 크로마 성분차 산출부는
    상기 중심 픽셀의 로우 밴드 값과 상기 제 1 및 제 2 그린 픽셀들의 평균 로우 밴드 값(GL)의 차이를 구하고,
    상기 중심 픽셀의 본래의 픽셀값과 로우 밴드 값의 차이를 구하는 것을 특징으로 하는 이미지 처리 장치.
  10. 청구항 1에 있어서, 상기 그라디언트 산출부는
    상기 중심 픽셀에서의 수평 방향, 수직 방향 및 대각 방향들 각각에 대한 방향별 크라디언트 값들을 계산하고,
    상기 방향별 그라디언트 값들의 크기를 비교하여 가장 큰 값을 상기 중심 픽셀의 그라디언트로 결정하는 것을 특징으로 하는 이미지 처리 장치.
  11. 청구항 10에 있어서, 상기 댐핑부는
    상기 중심 픽셀의 그라디언트 크기와 반비례하는 크기를 갖는 보정 파라미터를 생성하는 것을 특징으로 하는 이미지 센싱 장치.
  12. 제 1 노출 영상 데이터에서 기 설정된 사이즈의 픽셀 윈도우들을 추출하고, 추출된 픽셀 윈도우들에서 중심 픽셀에 대한 로우 밴드 값들 및 상기 중심 픽셀과 그린 픽셀들 간의 크로마 성분 차이를 구하여 상기 제 1 노출 영상 데이터에 대한 컬러 프린지를 보정하는 제 1 컬러 프린지 보정부;
    제 2 노출 영상 데이터에서 기 설정된 사이즈의 픽셀 윈도우들을 추출하고, 추출된 픽셀 윈도우들에서 중심 픽셀에 대한 로우 밴드 값들 및 상기 중심 픽셀과 그린 픽셀들 간의 크로마 성분 차이를 구하여 상기 제 2 노출 영상 데이터에 대한 컬러 프린지를 보정하는 제 2 컬러 프린지 보정부; 및
    상기 제 1 컬러 프린지 보정부에서 보정된 제 1 노출 영상 데이터와 상기 제 2 컬러 프린지 보정부에서 보정된 제 2 노출 영상 데이터를 합성하여 HDR 영상을 생성하는 영상 합성부를 포함하는 이미지 처리 장치.
  13. 청구항 12에 있어서, 상기 제 1 컬러 프린지 보정부는
    상기 제 1 노출 영상 데이터에서 M×M (M은 3 이상의 홀수) 사이즈의 픽셀 윈도우를 추출하고, 추출된 픽셀 윈도우의 베이어 데이터를 출력하는 제 1 픽셀 윈도우 추출부;
    상기 베이어 데이터를 이용하여 상기 픽셀 윈도우의 중심에 위치하는 중심 픽셀에 대한 로우 밴드 값들을 산출하는 제 1 로우 밴드 산출부;
    상기 베이어 데이터 및 상기 로우 밴드 값들을 이용하여 상기 중심 픽셀과 상기 픽셀 윈도우에 포함된 그린 픽셀들 간의 크로마(chroma) 성분 차이를 구하는 제 1 크로마 성분차 산출부;
    상기 베이어 데이터를 이용하여 상기 중심 픽셀에 대한 그라디언트(gradient)를 산출하는 제 1 그라디언트 산출부;
    기 설정된 함수에 따라 상기 그라디언트에 대응되는 보정 파라미터를 생성하는 제 1 댐핑부; 및
    상기 그린 픽셀들에 대한 로우 밴드 값, 상기 크로마 성분 차이 및 상기 보정 파라미터를 이용하여 상기 중심 픽셀에 대한 보정 베이어 데이터를 생성하는 제 1 프린지 저감부를 포함하는 이미지 처리 장치.
  14. 청구항 12에 있어서, 상기 제 2 컬러 프린지 보정부는
    상기 제 2 노출 영상 데이터에서 M×M (M은 3 이상의 홀수) 사이즈의 픽셀 윈도우를 추출하고, 추출된 픽셀 윈도우의 베이어 데이터를 출력하는 제 2 픽셀 윈도우 추출부;
    상기 베이어 데이터를 이용하여 상기 픽셀 윈도우의 중심에 위치하는 중심 픽셀에 대한 로우 밴드 값들을 산출하는 제 2 로우 밴드 산출부;
    상기 베이어 데이터 및 상기 로우 밴드 값들을 이용하여 상기 중심 픽셀과 상기 픽셀 윈도우에 포함된 그린 픽셀들 간의 크로마(chroma) 성분 차이를 구하는 제 2 크로마 성분차 산출부;
    상기 베이어 데이터를 이용하여 상기 중심 픽셀에 대한 그라디언트(gradient)를 산출하는 제 2 그라디언트 산출부;
    기 설정된 함수에 따라 상기 그라디언트에 대응되는 보정 파라미터를 생성하는 제 2 댐핑부; 및
    상기 그린 픽셀들에 대한 로우 밴드 값, 상기 크로마 성분 차이 및 상기 보정 파라미터를 이용하여 상기 중심 픽셀에 대한 보정 베이어 데이터를 생성하는 제 2 프린지 저감부를 포함하는 이미지 처리 장치.
KR1020220126604A 2021-12-22 2022-10-04 이미지 처리 장치 KR102628938B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210185188 2021-12-22
KR1020210185188 2021-12-22

Publications (2)

Publication Number Publication Date
KR20230095792A true KR20230095792A (ko) 2023-06-29
KR102628938B1 KR102628938B1 (ko) 2024-01-25

Family

ID=86946178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220126604A KR102628938B1 (ko) 2021-12-22 2022-10-04 이미지 처리 장치

Country Status (1)

Country Link
KR (1) KR102628938B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050051437A (ko) * 2003-11-27 2005-06-01 한국전자통신연구원 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
KR20050102728A (ko) * 2004-04-21 2005-10-27 매그나칩 반도체 유한회사 컬러 보정 방법
KR20170096891A (ko) * 2016-02-17 2017-08-25 삼성전자주식회사 컬러 프린지 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
KR20210147694A (ko) * 2020-05-29 2021-12-07 삼성전자주식회사 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050051437A (ko) * 2003-11-27 2005-06-01 한국전자통신연구원 컬러 필터 어레이에서 손실된 컬러값 복원 방법 및 장치
KR20050102728A (ko) * 2004-04-21 2005-10-27 매그나칩 반도체 유한회사 컬러 보정 방법
KR20170096891A (ko) * 2016-02-17 2017-08-25 삼성전자주식회사 컬러 프린지 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
KR20210147694A (ko) * 2020-05-29 2021-12-07 삼성전자주식회사 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치

Also Published As

Publication number Publication date
KR102628938B1 (ko) 2024-01-25

Similar Documents

Publication Publication Date Title
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
TWI407800B (zh) 馬賽克影像的改良處理
JP5574615B2 (ja) 画像処理装置、その制御方法、及びプログラム
US8792746B2 (en) Image processing apparatus, image processing method, and program
EP3018529B1 (en) Image processing apparatus and method for image processing
US20150264333A1 (en) Image processing method, image processing apparatus, image-capturing apparatus, and image processing program
KR101578583B1 (ko) 화상 처리 장치, 정보 처리 방법, 및 컴퓨터 판독 가능한 기억 매체
WO2011152174A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102968761A (zh) 图像处理设备和图像处理方法
US20190149728A1 (en) Image-processing apparatus, image-processing method, and non-transitory computer readable medium storing image-processing program
WO2005112470A1 (ja) 画像処理装置および画像処理プログラム
US8610801B2 (en) Image processing apparatus including chromatic aberration correcting circuit and image processing method
CN110730336A (zh) 一种去马赛克方法及装置
CN110619612B (zh) 一种消除图像噪声的方法及装置
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
TWI544785B (zh) 影像縮減取樣裝置與方法
JP3905708B2 (ja) 画像補間装置
US20100215267A1 (en) Method and Apparatus for Spatial Noise Adaptive Filtering for Digital Image and Video Capture Systems
KR102628938B1 (ko) 이미지 처리 장치
CN111784575A (zh) 一种基于标定的监控摄像机去马赛克的方法
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
CN109788261A (zh) 颜色偏移校正方法及装置
GB2419769A (en) Image white point estimation
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP4334150B2 (ja) 画像補間装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right