KR101146171B1 - 영상 처리 장치 및 시스템 - Google Patents

영상 처리 장치 및 시스템 Download PDF

Info

Publication number
KR101146171B1
KR101146171B1 KR1020100115614A KR20100115614A KR101146171B1 KR 101146171 B1 KR101146171 B1 KR 101146171B1 KR 1020100115614 A KR1020100115614 A KR 1020100115614A KR 20100115614 A KR20100115614 A KR 20100115614A KR 101146171 B1 KR101146171 B1 KR 101146171B1
Authority
KR
South Korea
Prior art keywords
edge
target pixel
pixel
brightness
vertical
Prior art date
Application number
KR1020100115614A
Other languages
English (en)
Inventor
김민석
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020100115614A priority Critical patent/KR101146171B1/ko
Priority to US13/298,532 priority patent/US8767101B2/en
Application granted granted Critical
Publication of KR101146171B1 publication Critical patent/KR101146171B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 디모자익을 위한 영상 처리 장치 및 시스템에 관한 것으로서, 특히 본 발명의 영상 처리 장치는 대상 픽셀을 중심으로 하는 nXn 베이어 영상 패턴을 이용하여, 상기 대상 픽셀의 에지(edge) 여부 및 에지인 경우 에지의 방향을 판별하는 에지 판정 모듈 및 상기 대상 픽셀의 밝기 성분을 상기 베이어 영상 패턴을 이용하여 추출하며, 상기 대상 픽셀이 에지로 판별된 경우에는 상기 베이어 영상 패턴을 가중 처리하여 추출하는 디모자익 모듈을 포함한다.

Description

영상 처리 장치 및 시스템{Image processing apparatus and system}
본 발명은 디모자익을 위한 영상 처리 장치 및 시스템에 관한 것이다.
근래에 디지털 카메라는 개인 용도 및 비즈니스 용도로 인기를 끌고 있다.
도 1은 전형적인 디지털 카메라를 도시한 개념도이다.
도 1을 참조하면, 디지털 카메라(10)는 전형적으로 하나 이상의 렌즈(11), 하나 이상의 필터(12), 하나 이상의 이미지 센서 어레이(13), 아날로그 디지털 변환기(ADC)(14), 디지털 신호 처리기(DSP)(15) 및 메모리(16)를 포함한다.
이미지 센서 어레이(13)는 다수의 이미징 픽셀의 2차원 어레이를 포함하며, 이들 각각은 광(예컨대, 광자)을 전자로 변환한다. 이미지 센서 어레이(13)는 CCD 또는 CMOS 장치 등일 수 있다.
필터(12)는 모노-크롬 픽셀 모자이크(mosaic of monochrome pixels)를 생성하는 베이어 필터(Bayer filter)로 구현될 수 있다. 모노-크롬 픽셀 모자이크는 일반적으로 레드, 그린, 및 블루 픽셀 패턴으로 배열된다.
디지털 카메라(10)는 렌즈(11)을 더 포함할 수 있으며, 렌즈(11)는 이미지 센서 어레이(13)에 입사 평행광의 초점이 형성되도록 할 수 있다. 베이어 필터(12)의 각 모노-크롬 픽셀을 통과하는 광자는 이미지 센서 어레이(13)의 대응하는 픽셀 센서에 의해 감지된다. 아날로그 디지털 변환기(ADC)(14)는 픽셀 센서 어레이에 의해 감지된 광량 데이터를 디지털 픽셀 데이터로 변환한다. 원시 픽셀 데이터(raw pixel data)는 DSP(15)에 의해 영상 신호 처리되어 최종 보간 픽셀 데이터(final interpolated pixel data)를 생성한다. 최종 보간 픽셀 데이터는 메모리(16)에 저장된다. 또한 메모리(16)는 원시 픽셀 데이터를 저장할 수 있다.
도 2는 전형적인 베이어 필터를 도시한 개략도이다.
도 2를 참조하면, 베이어 필터 패턴은 레드 및 그린 필터(21, 22)의 행과 블루 및 그린 필터(23, 22)의 행이 교대로 배치된다. 베이어 필터의 각 픽셀은 단지 하나의 컬러만을 감지한다. 또한 감지면(sensory plane) 상의 임의의 2x2 픽셀 클러스터에는 그린 정보를 감지하는 두 개의 픽셀(Gr, Gb), 레드 정보를 감지하는 하나의 픽셀(R) 및 블루 정보를 감지하는 하나의 픽셀(B)이 존재하도록, 레드, 그린 및 블루 컬러 필터를 인터리브(interleave)한다.
영상 신호 처리의 한 방법인 디모자익(demosaic) 알고리즘은 각 픽셀마다 주변의 원시 픽셀 데이터로부터 2개의 다른 컬러 성분을 보간하는 것이다. 예를 들어, 소정의 픽셀이 레드 신호 감지하는 픽셀인 경우, 디모자익 알고리즘을 이용하여 주변의 원시 픽셀 데이터로부터 그린 및 블루 컬러 신호를 보간한다.
일반적으로는 주변의 컬러 값을 평균하여 보간 데이터를 생성한다. 그런데, 경계의 양측에서는 동일한 컬러의 컬러값의 차이가 현저한 경우가 많다. 따라서 영상에서 경계(edge)가 존재하는 경우, 경계 양측의 컬러값을 단순히 평균하면 경계가 흐려지는 현상(blurring)이 발생한다.
본 발명의 디모자익을 위한 영상 처리 장치 및 시스템은 영상 내의 에지를 검출하고 디모자이크를 수행하는 장치 및 시스템을 제공한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 영상 처리 장치는 대상 픽셀을 중심으로 하는 nXn 베이어 영상 패턴을 이용하여, 상기 대상 픽셀의 에지(edge) 여부 및 에지인 경우 에지의 방향을 판별하는 에지 판정 모듈 및 상기 대상 픽셀의 밝기 성분을 상기 베이어 영상 패턴을 이용하여 추출하며, 상기 대상 픽셀이 에지로 판별된 경우에는 상기 베이어 영상 패턴을 가중 처리하여 추출하는 디모자익 모듈을 포함한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 영상 처리 시스템은 베이어 영상 패턴을 영상 처리하며, 영상 처리할 다수 픽셀에 대한 이미지 데이터를 저장하는 저장 장치 및 상기 이미지 데이터 중 대상 픽셀을 중심으로 n X n 베이어 영상 패턴을 이용하여 영상 처리를 수행하며, 상기 대상 픽셀의 에지 여부 및 에지인 경우 에지의 방향을 판별하는 에지 판정 모듈 및 상기 대상 픽셀의 밝기 성분을 상기 베이어 영상 패턴을 이용하여 추출하는 디모자익 모듈을 갖는 영상 처리 장치를 포함한다.
본 발명의 디모자익을 위한 영상 처리 장치 및 시스템에 따르면, 에지를 더 선명하게 디모자익할 수 있다.
도 1은 전형적인 디지털 카메라를 도시한 개념도이다.
도 2는 전형적인 베이어 필터를 도시한 개략도이다.
도 3은 본 발명의 영상 처리 시스템의 기능 블록을 도시한 기능 블럭도이다.
도 4은 본 발명의 영상 처리 장치의 디모자익 모듈의 기능 블록을 도시한 기능 블록도이다.
도 5는 본 발명의 영상 처리 장치의 에지 판정 모듈의 기능 블록을 도시한 기능 블록도이다.
도 6은 본 발명의 영상 처리 장치의 기준치 설정부에서 기준치를 설정하기 위한 적응 곡선을 도시한 그래프이다.
도 7은 본 발명의 영상 처리 장치의 잡음 제거 모듈의 기능 블록을 도시한 기능 블록도이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 3은 본 발명의 영상 처리 시스템의 기능 블록을 도시한 기능 블럭도이다.
도 3을 참조하면, 본 발명의 영상 처리 시스템은 저장 장치(200) 및 영상 처리 장치(100)를 포함하여 구성될 수 있다.
저장 장치(200)는 영상 처리할 대상 픽셀 및 그 주변 픽셀들의 영상 데이터를 저장하고 있다. 저장된 영상 데이터를 영상 처리 장치(100)으로 전송하며, 필요에 따라서는 영상 처리 장치에서 영상 처리한 대상 픽셀의 영상 데이터를 저장할 수 있다.
도 3을 참조하면, 본 발명의 영상 처리 장치(100)는 에지 판정 모듈(110) 및 디모자익 모듈(120)을 포함하여 구성될 수 있고, 잡음 제거 모듈(130)을 더 포함할 수 있다.
에지 판정 모듈(110)은 대상 픽셀이 에지(edge)인지 여부를 판별할 수 있고, 에지인 경우 에지의 방향을 판별할 수 있다. 일반적으로, 에지에서는 밝기가 급변하는 경향이 있으므로, 에지를 판별할 필요가 있으며, 에지의 방향도 판별할 필요가 있다.
대상 픽셀이 에지인지 여부 및 에지인 경우 에지의 방향이 수직 또는 수평인지에 대한 정보는 디모자익 모듈(120)로 전달될 수 있고, 잡음 제거 모듈(130)로 전달될 수도 있다.
디모자익 모듈(120)은 대상 픽셀의 밝기 성분을 nXn 베이어 영상 패턴을 이용하여 추출할 수 있고, 대상 픽셀이 에지로 판별된 경우에는 상기 베이어 영상 패턴을 가중 처리하여 추출할 수 있다.
디모자익 모듈(120)은 대상 픽셀의 밝기 성분값을 주변 픽셀들을 이용하여 보간할 수 있다. 또한, 디모자익 모듈(120)은 대상 픽셀이 에지로 편별된 경우에는 에지의 방향에 따라서 대상 픽셀 주변의 픽셀을 참조하여 대상 픽셀의 밝기 성분값을 보간할 수 있다.
디모자익 모듈(120)을 이용하여 디모자익 처리함으로써, 화상의 에지를 강화시켜 선명한 화상을 얻을 수 있고, 경계가 아닌 위치에 대해서 잡음 보정이 가능하게 된다.
도 4은 본 발명의 영상 처리 장치의 디모자익 모듈의 기능 블록을 도시한 기능 블록도이다.
도 4을 참조하면, 본 발명의 디모자익 모듈(120)은 제1 내지 제6 추출부(121 내지 126)를 포함하여 구성될 수 있고, 대상 픽셀 분류부(127)를 더 포함하여 구성될 수 있다.
도 2를 참조하면, 본 발명의 영상 처리 장치(100)의 디모자익 모듈(120)은 영상 처리를 위해 5X5 베이어 영상 패턴을 이용하고, 상기 대상 픽셀은 P33이며, I 행 j 열의 픽셀의 밝기값은 Pij로 설정한다.
제1 추출부 내지 제3 추출부(121 내지 123)는 대상 픽셀이 R 또는 B 픽셀인 경우에 대상 픽셀에 대한 보간된 R, G 및 B 밝기 성분 값을 추출한다.
제1 추출부(121)는 대상 픽셀이 R 픽셀인 경우 R 픽셀 값을 추출하고, B 픽셀인 경우 B 픽셀 값을 추출하며, 추출식은 수학식 1과 같다.
Figure 112010075772801-pat00001
제2 추출부(122)는 대상 픽셀이 R 픽셀 또는 B 픽셀인 경우, G픽셀 값을 추출하며, 추출식은 수학식 2와 같다.
Figure 112010075772801-pat00002
또한, 대상 픽셀이 에지로 판별되고 가중치 파라메터(m)가 1 내지 3 중 하나로 설정되어 있는 경우에는 수학식 2의 추출식에서 각 픽셀에 대한 가중치가 변경된다.
가중치 파라메터가 1 내지 3 중 하나로 설정된 경우의 추출식은 수학식 3과 같다.
Figure 112010075772801-pat00003
가중치 파라메터 m이 1인 경우, 수직 경계이면 a=7 및 b=1 이고, 수평 경계이면 a=1 및 b=7이 대입된다.
가중치 파라메터 m이 2인 경우, 수직 경계이면 a=15 및 b=1 이고, 수평 경계이면 a=1 및 b=15이 대입된다.
가중치 파라메터 m이 3인 경우, 수직 경계이면 a=31 및 b=1 이고, 수평 경계이면 a=1 및 b=31이 대입된다.
제3 추출부(123)는 대상 픽셀이 R 픽셀인 경우 B픽셀 값을 추출하고, B 픽셀인 경우 R 픽셀 값을 추출하며, 추출식은 수학식 4와 같다.
Figure 112010075772801-pat00004
제4 추출부 내지 제6 추출부(124 내지 126)는 대상 픽셀이 Gr 또는 Gb 픽셀인 경우에 대상 픽셀에 대한 보간된 R,G 및 B 밝기 성분 값을 추출한다.
제4 추출부(124)는 대상 픽셀이 Gr 픽셀인 경우 R 밝기 성분 값을 추출하고, Gb 픽셀인 경우 B 밝기 성분 값을 추출하며, 추출식은 수학식 5와 같다.
Figure 112010075772801-pat00005
제5 추출부(125)는 대상 픽셀이 Gr 픽셀 또는 Gb 픽셀인 경우, G 밝기 성분 값을 추출하며, 추출식은 수학식 6과 같다.
Figure 112010075772801-pat00006
또한, 대상 픽셀이 에지로 판별되고 가중치 파라메터가 1 내지 3 중 하나로 설정되어 있는 경우에는 수학식 6의 추출식에서 각 픽셀에 대한 가중치가 변경된다.
가중치 파라메터(m)가 1 내지 3 중 하나로 설정된 경우의 추출식은 수학식 7과 같다.
Figure 112010075772801-pat00007
가중치 파라메터 m이 1인 경우에는 c=12, 가중치 파라메터 m이 2인 경우에는 c=28 및 가중치 파라메터 m이 3인 경우에는 c=60이 대입된다.
제6 추출부(126)는 대상 픽셀이 Gr 픽셀인 경우 B 밝기 성분 값을 추출하고, Gb 픽셀인 경우 R 밝기 성분 값을 추출하며, 추출식은 수학식 8과 같다.
Figure 112010075772801-pat00008
대상 픽셀 분류부(127)는 대상 픽셀이 R 또는 B 픽셀인지 Gr 또는 Gb 픽셀인지를 판정하여 저장 장치(200)로부터 수신한 픽셀 데이터를 제1 내지 제3 추출부(121 내지 123) 또는 제4 내지 제6 추출부(124 내지 126)로 전송한다.
또한 대상 픽셀 분류부(127)는 상기 에지 판정 모듈(110)에서 수신한 대상 픽셀의 색깔 정보를 이용하여 제1 내지 제3 추출부(121 내지 123) 또는 제4 내지 제6 추출부(124 내지 126) 중 대상 픽셀의 밝기 성분을 보간할 3개의 추출부를 선택한다.
도 5는 본 발명의 영상 처리 장치의 에지 판정 모듈의 기능 블록을 도시한 기능 블록도이다.
도 5를 참조하면, 본 발명의 에지 판정 모듈은 에지 검출부(111), 기준치 설정부(113) 및 에지 판별부(115)를 포함하여 구성될 수 있다.
에지 검출부(111)는 에지 판정을 위한 수평 및 수직 방향 성분을 검출할 수 있다.
수평 에지 대상 성분 EH는 대상 픽셀이 속하는 행 및 상하 행을 이용하여 가로차 연산을 수행한 후 산술 평균 하여 검출한다.
가로차 연산은 수학식 9을 이용하여 수행할 수 있다.
Figure 112010075772801-pat00009
Figure 112010075772801-pat00010
EH1 및 EH2를 수학식 10를 이용하여 산술 평균한다.
Figure 112010075772801-pat00011
수평 에지 대상 성분 EV는 상기 대상 픽셀이 속하는 열 및 좌우 열을 이용하여 세로차 연산을 수행한 후 산술 평균 하여 검출한다.
가로차 연산은 수학식 11을 이용하여 수행할 수 있다.
Figure 112010075772801-pat00012
Figure 112010075772801-pat00013
EV1 및 EV2를 수학식 12를 이용하여 산술 평균한다.
Figure 112010075772801-pat00014
상기 EH 및 EV는 에지 판별부(115)로 전달된다.
일반적으로, 픽셀 영역의 밝기 정도는 어두운 영역이냐 밝은 영역이냐에 따라서 상당한 차이가 있다. 따라서 어두운 영역에서는 20 및 40의 밝기 코드를 갖는 픽셀간에는 밝기 코드 차이는 20코드이지만 100%의 차이를 갖는다. 이에 반해 밝은 영역에서는 220과 240의 밝기 코드를 가지는 픽셀들의 밝기 차이는 동일하게 20코드이지만 비율로 따지면 9%의 차이 밖에 나지 않는다.
따라서 어두운 영역에서는 에지 성분이 되지만 밝은 영역에서는 에지 성분이라고 볼 수 없다. 따라서 밝기에 적응적인 곡선을 만들어서 해당하는 밝기에 맞는 에지 판정을 위한 기준치를 설정해야 한다.
이에 본 발명의 기준치 설정부(113)에서는 대상 픽셀이 위치하는 픽셀 영역의 밝기에 적응적인 기준치를 설정하여 에지 판별에 도움을 준다
대상 픽셀이 Gr 또는 Gb 픽셀인 경우에는, 기준치 설정부(113)는 대상 픽셀을 중심으로 5X5 픽셀 범위 내의 픽셀들의 밝기 평균값을 기설정된 적응 곡선에 대입하여 에지 판별 기준을 설정하며 상기 밝기 평균값은 수학식 13의 GGG에 대한 식을 이용하여 도출한다.
대상 픽셀이 R 또는 B 픽셀인 경우에는, 기준치 설정부(113)는 대상 픽셀을 중심으로 5X5 픽셀 범위 내의 픽셀들의 밝기 평균값을 기설정된 적응 곡선에 대입하여 에지 판별 기준을 설정하며 상기 밝기 평균값은 수학식 13의 GRB에 대한 식을 이용하여 도출한다.
Figure 112010075772801-pat00015
Figure 112010075772801-pat00016

도 6을 참조하면, 본 발명의 기준치 설정부(113)에서 사용되는 에지 판정을 위한 기준치 곡선은 주변 픽셀의 밝기값에 적응적인 기준치 곡선이다.
기준치 곡선은 4개의 위치 이동이 가능한 기준점을 잊는 선분들로 구성될 수 있다. 4개의 기준점이면 환경에 적응적인 기준치 곡선을 만들 수 있다. 또한 필요에 따라서 보다 환경요소를 잘 반영하기 위해서 더 많은 기준점을 사용할 수도 있다.
도 6을 참조하면, X좌표는 상기에서 밝기 평균값을 대입하고, Y 좌표는 대입된 X 좌표값에 대한 경계 판정을 위한 기준치 값이다.
본 발명의 영상 처리 장치(100)는 단순히 주변 픽셀들의 값을 참조하여 대상 픽셀의 밝기 성분값을 보간하는 것이 아니라 주변 영역의 값과 비교하여 에지 여부를 판정하고 그에 따라서 대상 픽셀을 보간한다. 따라서, 본 발명의 영상 처리 장치(100)는 대상 픽셀 주변 영역의 픽셀들의 값에 따라서 능동적이고 적응적으로 영상 처리할 수 있는 효과가 있다.
에지 판별부(115)는 상기 수직 및 수평 에지 성분이 상기 에지 판별 기준에 미치지 못하는 값인 경우에는 플랫으로, 즉 경계가 아닌 것으로 판별한다. 그리고, 상기 수직 에지 성분이 상기 수평 에지 성분보다 크고, 상기 에지 판별 기준 이상인 경우는 수직 에지로 판별한다. 또한 상기 수평 에지 성분이 상기 수직 에지 성분보다 크고, 상기 에지 판별 기준 이상인 경우는 수직 에지로 판별한다.
이를 조건식으로 표현하면 수학식 14와 같다.
Figure 112010075772801-pat00017
THRADT는 상기 기준치 설정부(120)에서 설정한 에지 판별을 위한 기준치 값이다.
에지 판별부(115)에서 대상 픽셀에 대해서 에지 여부 및 에지인 경우 에지 방향에 대해서 도출한 정보는 디모자익 모듈(120) 및 잡음 제거 모듈(130)로 전달될 수 있다.
도 7은 본 발명의 영상 처리 장치의 잡음 제거 모듈의 기능 블록을 도시한 기능 블록도이다.
도 7을 참조하면, 본 발명의 잡음 제거 모듈(130)는 임계치 설정부(131), 잡음 판정부(133) 및 잡음 제거부(135)를 포함하여 구성될 수 있다.
대상 픽셀이 플랫으로 판정된 경우에는 대상 픽셀을 중심으로한 주변 nXn 베이어 픽셀의 R, B, G의 밝기 성분값은 일정한 비율로 유지된다. 그런데 상대적으로 밝기 정보가 적은 R, B 밝기 성분값은 디모자익 모듈(120)에 의해서 밝기값이 보정되면 영상 잡음이 발생할 수 있다. 따라서, 수학식 15에서 도출된 최저 및 최대 임계치 사이에 R 및 B 밝기 성분값이 속하는 경우에는 영상 잡음이 발생한 것으로 보고 보정을 할 필요가 있다.
다만, 특정 픽셀들의 경우에는 R, B, G의 밝기 성분값이 주변과 크게 변화하는 점이 발생할 수 있다. 따라서, R 또는 B 중 하나가 임계치를 벗어나는 경우에는 영상 잡음이 발생하지 않은 것으로 판정한다. 다만, 필요에 따라서는 R 또는 B 중 하나만이 임계치를 벗어나는 경우에는 대상 픽셀의 색 자체가 오류가 있는 것으로 판정할 수 있다.
임계치 설정부(131)는 대상 픽셀의 디모자익된 밝기 성분 값에서 영상 잡음을 제거할 필요가 있는지 판정하기 위한 임계치을 설정한다.
임계치의 최소값 및 최대값은 수학식 15를 이용하여 구한다.
Figure 112010075772801-pat00018
Figure 112010075772801-pat00019
ratiofcs는 실험을 통해서 구해지는 상수값으로서 레지스터 등에 저장되어 있을 수 있다.
잡음 판정부(133)는 대상 픽셀이 플랫으로 판정되고 보정된 R, B 밝기 성분값이 수학식 15에서 구해진 임계 범위 내이면, 대상 픽셀에 영상 잡음이 있는 것으로 판정하여 대상 픽셀의 잡음을 제거하도록 한다.
잡음 제거부(135)는 잡음 판정부(133)에서 영상 잡음이 있는 것으로 판정한 대상 픽셀의 R 및 B 밝기 성분값에 대해서 수학식 16 및 수학식 17을 이용하여 영상 잡음을 제거한다.
Figure 112010075772801-pat00020
Figure 112010075772801-pat00021
상대적으로 밝기 성분에 대한 데이터가 풍부한 G 밝기 성분 값을 이용하여 R 및 B 밝기 성분 값을 보정한 것이다. THRfcs는 실험을 통해서 도출되는 값이다.
본 발명의 영상 처리 장치(100)를 이용하면, 에지의 경우에는 대상 픽셀의 에지 여부를 주변 픽셀 정보를 이용하여 판정할 수 있어 화상에 적응적으로 영상 처리할 수 있다. 또한, 에지로 판정된 픽셀에 대해서는 그 밝기 성분을 방향을 고려하여 강화시킴으로써, 에지의 선명도를 강화시킬 수 있다. 그리고, 플랫한 영역에 대해서는 보간에 의해서 발생하는 영상 잡음을 제거함으로써 보다 부드러운 화면을 표현할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 당업자에게 있어 명백할 것이다.

Claims (17)

  1. 대상 픽셀을 중심으로 하는 nXn 베이어(Bayer) 영상 패턴을 이용하여,
    상기 대상 픽셀의 에지(edge) 여부 및 에지인 경우 에지의 방향을 판별하는 에지 판정 모듈;
    상기 대상 픽셀의 밝기 성분을 상기 베이어 영상 패턴을 이용하여 추출하며, 상기 대상 픽셀이 에지로 판별된 경우에는 상기 베이어 영상 패턴을 가중 처리하여 추출하는 디모자익 모듈; 및
    상기 대상 픽셀의 영상 잡음 여부 판정을 위한 임계치를 설정하는 임계치 설정기, 상기 대상 픽셀의 영상 잡음을 제거해야 할 대상 픽셀인지 판정하는 잡음 판정기, 및 상기 대상 픽셀 R 값 및 B값의 영상 잡음을 제거하는 잡음 제거기를 갖는 잡음 제거 모듈을 포함하는 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서, 상기 디모자익 모듈은
    상기 대상 픽셀이 R 픽셀 또는 B 픽셀인 경우에, 상기 대상 픽셀에 대한 보간된 R, B, G 밝기 성분값을 추출하는 제1 내지 제3 추출부; 및
    상기 대상 픽셀이 Gr 픽셀 또는 Gb 픽셀인 경우에, 상기 대상 픽셀에 대한 보간된 R, B, G 밝기 성분값을 추출하는 제4 내지 제6 추출부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  3. 제2항에 있어서, 상기 n은 5, 상기 대상 픽셀은 P33 및 i행 j렬의 픽셀은 Pij로 설정하며,
    상기 제1 추출부는 상기 대상 픽셀이 R 픽셀인 경우 R 밝기 성분 값을 추출하고, B 픽셀인 경우 B 밝기 성분 값을 추출하며, 추출식은
    Figure 112010075772801-pat00022

    을 만족하고,
    상기 제2 추출부는 상기 대상 픽셀이 R 픽셀 또는 B 픽셀인 경우, G 밝기 성분 값을 추출하며, 추출식은
    Figure 112010075772801-pat00023

    을 만족하고,
    상기 제3 추출부는 상기 대상 픽셀이 R 픽셀인 경우 B 밝기 성분 값을 추출하고, B 픽셀인 경우 R 밝기 성분 값을 추출하며, 추출식은
    Figure 112010075772801-pat00024

    을 만족하고,
    상기 제4 추출부는 상기 대상 픽셀이 Gr 픽셀인 경우 R 밝기 성분 값을 추출하고, Gb 픽셀인 경우 B 밝기 성분 값을 추출하며, 추출식은
    Figure 112010075772801-pat00025

    을 만족하고,
    상기 제5 추출부는 상기 대상 픽셀이 Gr 픽셀 또는 Gb 픽셀인 경우, G 밝기 성분 값을 추출하며, 추출식은
    Figure 112010075772801-pat00026

    을 만족하고,
    상기 제6 추출부는 상기 대상 픽셀이 Gr 픽셀인 경우 B 밝기 성분 값을 추출하고, Gb 픽셀인 경우 R 밝기 성분 값을 추출하며, 추출식은
    Figure 112010075772801-pat00027

    을 만족하는 것을 특징으로 하는 영상 처리 장치.
  4. 제3항에 있어서, 상기 대상 픽셀이 수평 또는 수직 에지로 판정되면 상기 제2 및 제5 추출부는 픽셀별로 가중치를 달리하여 상기 대상 픽셀의 밝기 성분을 추출하는 것을 특징으로 하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 제2 추출부는 추출식
    Figure 112010075772801-pat00028
    Figure 112010075772801-pat00029

    를 만족하며,
    가중치 파라메터 m이 1인 경우, 수직 경계이면 a=7 및 b=1 이고, 수평 경계이면 a=1 및 b=7,
    가중치 파라메터 m이 2인 경우, 수직 경계이면 a=15 및 b=1 이고, 수평 경계이면 a=1 및 b=15,
    가중치 파라메터 m이 3인 경우, 수직 경계이면 a=31 및 b=1 이고, 수평 경계이면 a=1 및 b=31; 및
    상기 제5 추출부는 추출식
    Figure 112010075772801-pat00030

    를 만족하며,
    가중치 파라메터 m이 1인 경우에는 c=12,
    가중치 파라메터 m이 2인 경우에는 c=28,
    가중치 파라메터 m이 3인 경우에는 c=60인 것을 만족하는 것을 특징으로 하는 영상 처리 장치.
  6. 제1항에 있어서, 상기 에지 판정 모듈은
    상기 대상 픽셀에서 에지 판정을 위한 수평 및 수직 방향 성분(EH 및 EV)을 검출하는 에지 검출부;
    상기 nXn 베이어 영상 패턴을 이용하여 대상 픽셀의 에지 판정을 위한 기준 밝기값을 설정하는 기준치 설정부; 및
    상기 수직, 수평 방향 성분 및 기준 밝기값을 상호 비교하여, 상기 대상 픽셀이 에지인지 여부 및 에지의 방향을 판정하는 에지 판별부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  7. 제6항에 있어서, 상기 에지 검출부는
    상기 n은 5이고, 상기 대상 픽셀은 P33이고, i행 j렬의 픽셀의 밝기값은 Pij로 설정하며,
    상기 대상 픽셀이 속하는 행 및 상하 행을 이용하여 가로차 연산인
    Figure 112010075772801-pat00031
    ,
    Figure 112010075772801-pat00032

    를 수행한 후 산술 평균
    Figure 112010075772801-pat00033
    를 통해 상기 수평 방향 성분 EH를 검출하고,
    상기 대상 픽셀이 속하는 열 및 좌우 열을 이용하여 세로차 연산인
    Figure 112010075772801-pat00034
    ,s
    Figure 112010075772801-pat00035

    를 수행한 후 산술 평균
    Figure 112010075772801-pat00036
    를 통해 상기 수직 방향 성분 EV를 검출하는 것을 특징으로 하는 영상 처리 장치.
  8. 제6항에 있어서, 기준치 설정부는
    대상 픽셀이 Gr 또는 Gb 픽셀인 경우에는, 상기 대상 픽셀의 밝기 값을 기설정된 적응 곡선에 대입하여 에지 판별 기준을 설정하고,
    대상 픽셀이 R 또는 B 픽셀인 경우에는, 상기 대상 픽셀을 중심으로 5X5 픽셀 범위 내의 픽셀들의 밝기 평균값을 기설정된 적응 곡선에 대입하여 에지 판별 기준을 설정하며,
    상기 밝기 평균값은
    Figure 112010075772801-pat00037

    및
    Figure 112010075772801-pat00038

    을 통해서 얻어지는 것을 특징으로 하는 영상 처리 장치.
  9. 제6항에 있어서, 상기 에지 판별부는
    상기 수직 및 수평 에지 성분이 상기 에지 판별 기준에 미치지 못하는 값인 경우에는 플랫으로 판별하고,
    상기 수직 에지 성분이 상기 수평 에지 성분보다 크고, 상기 에지 판별 기준 이상인 경우는 수직 에지로 판별하며,
    상기 수평 에지 성분이 상기 수직 에지 성분보다 크고, 상기 에지 판별 기준 이상인 경우는 수평 에지로 판별하는 것을 특징으로 하는 영상 처리 장치.
  10. 삭제
  11. 영상 처리할 다수 픽셀에 대한 이미지 데이터를 저장하는 저장 장치; 및
    상기 이미지 데이터 중 대상 픽셀을 중심으로 n X n 베이어 영상 패턴을 이용하여 영상 처리를 수행하며, 상기 대상 픽셀의 에지 여부 및 에지인 경우 에지의 방향을 판별하는 에지 판정 모듈, 상기 대상 픽셀의 밝기 성분을 상기 베이어 영상 패턴을 이용하여 추출하는 디모자익 모듈, 및 상기 대상 픽셀의 영상 잡음 여부 판정을 위한 임계치를 설정하는 임계치 설정기, 상기 대상 픽셀의 영상 잡음을 제거해야 할 대상 픽셀인지 판정하는 잡음 판정기 및 상기 대상 픽셀 R 값 및 B값의 영상 잡음을 제거하는 잡음 제거기를 갖는 잡음 제거 모듈을 갖는 영상 처리 장치를 포함하여 상기 저장 장치에 저장된 베이어 영상 데이터를 보간하는 영상 처리 시스템.
  12. 제11항에 있어서, 상기 디모자익 모듈은
    상기 대상 픽셀이 R 픽셀 또는 B 픽셀인 경우에, 상기 대상 픽셀에 대한 보간된 R, B, G 밝기 성분값을 추출하는 제1 내지 제3 추출부; 및
    상기 대상 픽셀이 Gr 픽셀 또는 Gb 픽셀인 경우에, 상기 대상 픽셀에 대한 보간된 R, B, G 밝기 성분값을 추출하는 제4 내지 제6 추출부를 포함하는 것을 특징으로 하는 영상 처리 시스템.
  13. 제11항에 있어서, 상기 대상 픽셀이 수평 또는 수직 에지로 판정되면 상기 제2 및 제5 추출부는 픽셀별로 가중치를 달리하여 상기 대상 픽셀의 밝기 성분을 추출하는 것을 특징으로 하는 영상 처리 시스템.
  14. 제11항에 있어서, 상기 에지 판정 모듈은
    상기 대상 픽셀에서 에지 판정을 위한 수직 및 수평 방향 성분을 검출하는 에지 검출부;
    상기 nXn 베이어 영상 패턴을 이용하여 대상 픽셀의 에지 판정을 위한 기준 밝기값을 설정하는 기준치 설정부; 및
    상기 수직, 수평 방향 성분 및 기준 밝기값을 상호 비교하여, 상기 대상 픽셀이 에지인지 여부 및 에지의 방향을 판정하는 에지 판별부를 포함하는 것을 특징으로 하는 영상 처리 시스템.
  15. 제11항에 있어서, 상기 에지 판별부는
    상기 수직 및 수평 에지 성분이 상기 에지 판별 기준에 미치지 못하는 값인 경우에는 플랫으로 판별하고,
    상기 수직 에지 성분이 상기 수평 에지 성분보다 크고, 상기 에지 판별 기준 이상인 경우는 수직 에지로 판별하며,
    상기 수평 에지 성분이 상기 수직 에지 성분보다 크고, 상기 에지 판별 기준 이상인 경우는 수직 에지로 판별하는 것을 특징으로 하는 영상 처리 시스템.
  16. 삭제
  17. 제11항에 있어서, 상기 저장 장치는 상기 영상 처리 장치에 의해서 영상 처리된 대상 픽셀에 대한 이미지 데이터를 더 저장하거나 영상 처리 전 데이터를 교체하는 것을 특징으로 하는 영상 처리 시스템.
KR1020100115614A 2010-11-19 2010-11-19 영상 처리 장치 및 시스템 KR101146171B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100115614A KR101146171B1 (ko) 2010-11-19 2010-11-19 영상 처리 장치 및 시스템
US13/298,532 US8767101B2 (en) 2010-11-19 2011-11-17 Image processing apparatus and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100115614A KR101146171B1 (ko) 2010-11-19 2010-11-19 영상 처리 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR101146171B1 true KR101146171B1 (ko) 2012-05-24

Family

ID=46064048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100115614A KR101146171B1 (ko) 2010-11-19 2010-11-19 영상 처리 장치 및 시스템

Country Status (2)

Country Link
US (1) US8767101B2 (ko)
KR (1) KR101146171B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220075686A (ko) * 2020-11-30 2022-06-08 주식회사 샵캐스트 모자이크 영상 검출 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054160A1 (en) * 2011-10-11 2013-04-18 Sony Ericsson Mobile Communications Ab Light sensitive, low height, and high dynamic range camera
JP6259188B2 (ja) * 2013-01-31 2018-01-10 キヤノン株式会社 画像処理装置およびその方法
JP7182907B2 (ja) 2017-06-15 2022-12-05 ブラックマジック デザイン ピーティーワイ リミテッド カメラの画像データ処理方法およびカメラ
KR20210151450A (ko) * 2020-06-05 2021-12-14 에스케이하이닉스 주식회사 스마트 비닝 회로, 이미지 센싱 장치 및 그 동작방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11103466A (ja) * 1997-07-31 1999-04-13 Fuji Film Microdevices Co Ltd 画像信号処理装置及びプログラムを記録した媒体
KR20060131083A (ko) * 2005-06-15 2006-12-20 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563537B1 (en) 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation
EP1976268A1 (en) * 2005-12-28 2008-10-01 Olympus Corporation Imaging system and image processing program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11103466A (ja) * 1997-07-31 1999-04-13 Fuji Film Microdevices Co Ltd 画像信号処理装置及びプログラムを記録した媒体
KR20060131083A (ko) * 2005-06-15 2006-12-20 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220075686A (ko) * 2020-11-30 2022-06-08 주식회사 샵캐스트 모자이크 영상 검출 방법
KR102525376B1 (ko) 2020-11-30 2023-04-26 주식회사 샵캐스트 모자이크 영상 검출 방법

Also Published As

Publication number Publication date
US20120127347A1 (en) 2012-05-24
US8767101B2 (en) 2014-07-01

Similar Documents

Publication Publication Date Title
JP5067635B2 (ja) 撮像装置のための、エッジを保護しながらノイズを低減する方法および装置
US8681216B2 (en) Depth-sensing camera system
US8253828B2 (en) Image capture device including edge direction determination unit, and image processing method for the same
KR100809687B1 (ko) 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
EP1389771A2 (en) Digital image system and method for combining demosaicing and bad pixel correction
US20130329101A1 (en) Camera system with multi-spectral filter array and image processing method thereof
JP5840008B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20090174797A1 (en) Method and apparatus for spatial processing of a digital image
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP6059359B2 (ja) 画像処理方法および装置ならびにイメージングデバイス
WO2014149403A1 (en) Extended color processing on pelican array cameras
US8248496B2 (en) Image processing apparatus, image processing method, and image sensor
KR101146171B1 (ko) 영상 처리 장치 및 시스템
WO2008140971A1 (en) Method and apparatus for improving low-light performance for small pixel image sensors
US20170257584A1 (en) Image processing device, image processing method, and image processing system
JP2007288439A (ja) 画像処理装置及び方法
US20120182452A1 (en) Image processing device, image processing method, and program
TW201813371A (zh) 鬼偽影去除系統和方法
JP4104495B2 (ja) データ処理装置、画像処理装置およびカメラ
US20130322755A1 (en) Image processing method and apparatus
CN106993111B (zh) 摄像装置、摄像方法及记录介质
WO2010099048A2 (en) Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
JP4380399B2 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム
JP6063728B2 (ja) 欠陥画素検出装置、欠陥画素検出方法及びプログラム
JP2011155365A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170425

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 8