KR20110083362A - 영상 보간 장치 및 방법 - Google Patents

영상 보간 장치 및 방법 Download PDF

Info

Publication number
KR20110083362A
KR20110083362A KR1020100003549A KR20100003549A KR20110083362A KR 20110083362 A KR20110083362 A KR 20110083362A KR 1020100003549 A KR1020100003549 A KR 1020100003549A KR 20100003549 A KR20100003549 A KR 20100003549A KR 20110083362 A KR20110083362 A KR 20110083362A
Authority
KR
South Korea
Prior art keywords
edge
channel
interpolation
area
image
Prior art date
Application number
KR1020100003549A
Other languages
English (en)
Other versions
KR101408360B1 (ko
Inventor
강문기
유두식
김창원
오현묵
Original Assignee
삼성테크윈 주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 연세대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020100003549A priority Critical patent/KR101408360B1/ko
Publication of KR20110083362A publication Critical patent/KR20110083362A/ko
Application granted granted Critical
Publication of KR101408360B1 publication Critical patent/KR101408360B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 영상으로부터 에지 방향을 추정하고 추정된 에지 방향에 따라 보간을 수행하는 영상 보간 장치 및 방법에 관한 것이다. 영상 보간 장치는 채널 내 미분 연산 및 채널 간 미분 연산을 이용하여 입력 영상을 에지 영역 및 에지 이외의 영역으로 구분하는 영역 구분수단; 및 상기 구분된 영역에 대해 채널 내 보간 연산 및 채널 간 보간 연산을 융합하여 보간값을 생성하는 보간수단을 포함한다.

Description

영상 보간 장치 및 방법{Apparatus and method for interpolating image}
본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 영상으로부터 에지 방향을 추정하고 추정된 에지 방향에 따라 보간을 수행하는 영상 보간 장치 및 방법에 관한 것이다.
일반적인 디지털 영상 처리 장치에서는 부피와 하드웨어 등의 문제를 해결하기 위한 방법으로 하나의 CCD(charge coupled device)나 CMOS(complementary metal semiconductor)를 사용하는 싱글-칩 이미지 센서를 사용하고 있다. 이때 컬러 정보를 획득하기 위해 이미지 센서 앞에 컬러 필터 배열(CFA: color filter array)를 사용하게 되며, 일반적으로 R, B 채널에 비해 두 배 많은 G 채널의 정보를 획득하는 베이어(bayer) CFA를 사용한다. CFA를 이용하는 경우 하나의 화소에 하나의 색상 정보만을 가지기 때문에 컬러 영상을 획득하기 위해서는 적절한 색 보간 방법이 필요하게 된다. 색 보간 방법은 비어있는 컬러 정보를 얻기 위해, 해당 화소 주변의 화소 정보를 이용하여 추정한다. 이때 어던 보간법을 사용하느냐에 따라 얻게 되는 영상의 질이 달라진다. 컬러 영상을 얻기 위한 많은 색보간 알고리즘이 개발되었으며, 이러한 알고리즘 대부분은 R, G, B 채널 간의 상관관계를 이용하여 색 보간을 수행한다. 색 보간 수행 방법으로 고정 채널 간 컬러 차이(constant cross channel color difference)를 이용하는 방법과 에지 방향성 색 보간(edge directional color interpolation) 방법이 있다.
고정 채널 간 컬러 차이를 이용하는 방법은 일정한 영역에서는 두 채널의 차이 즉, 뺀 값이 일정하다는 가정이 있다. 즉, 일정영역 내에서, G-R, G-B 값이 일정하다는 가정 하에, 현재 화소와 이웃 화소의 G-R, G-B 값이 일정하도록 읽어버린 색 성분값을 보간해서 색 상호간의 상관관계를 고려할 수 있게 된다. 예를 들어 도 11에 도시된 바와 같은 베이어 패턴이 존재하는 경우 B13 위치에서 G13을 구하는 경우를 고려할 경우, B13의 왼쪽 G12 방향에서 보간되는 G13은 다음 수학식 1과 같다.
Figure pat00001
수학식 1에서 B12의 값은 잃어버린 색 성분으로 B11과 B13의 선형 결합을 통해 획득한다. 최종적으로 원하는 G13 값을 수학식 1과 같이 구할 수 있다. 한편 G13은 G14 방향에서도 동일한 방법을 통해 구할 수 있다. G12, G14 방향에서 구한 G13을 선형 결합하여 수평방향으로 보간한 G13 값을 구할 수 있으며, 이는 수학식 2와 같다.
Figure pat00002
최종 G13 값은 수직, 수평 방향으로 보간된 G13 값의 선형 결합을 통해 얻는다.
에지 방향성 색 보간 방법은 에지의 방향을 고려하여 에지를 가로지르지 않도록 보간하는 방법이다. 고정 채널 간 컬러 차 가정을 이용하여 보간한다. 예를 들어 도 11의 B13 위치에서 G13을 구하는 경우, B13을 중심으로 수직, 수평 방향에 대한 그라디언트(gradient)를 구하여 에지 방향 판단 기준으로 삼는다. 하기 수학식 3에는 수직, 수평 방향에 대한 그라디언트를 구하는 수식이 개시되어 있다.
Figure pat00003
DH, DV 값을 비교하여 그 값이 작은 방향으로 보간을 수행하여 수직, 또는 수평 방향 에지를 고려한다. 각 방향에 대한 보간 식은 다음 수학식 4와 같다.
Figure pat00004
DH와 DV의 크기가 같은 경우, 평탄 영역으로 고려하여 수직, 수평 방향으로 보간된 값을 선형 결합하여 최종 G13을 구한다.
종래의 색 보간 방법들은 에지 정보를 효과적으로 고려하지 못하고, 색 상호간의 상관관계를 잘 고려하고 있지 못하고 있기 때문에 고주파 영역의 에지에서 주로 발생하는 색상 오류(false color error)나 물결무늬 효과를 잘 제거하지 못하는 문제점이 있다. 또한 복잡한 패턴 영역의 경우, 에지 판단 기준이 잘 맞지 않아 잘못된 방향으로 에지 방향을 판단하고 색보간을 수행하게 된다. 이 경우 잘못된 색상 오류가 발생하는데, 이는 원래의 색과는 전혀 다른 색이 보간된 경우로 곳곳의 화소들이 주위와 부드럽지 못하고 눈에 띄게 튀어 보이게 되는 현상이 문제시 되어 왔다.
본 발명이 해결하고자 하는 기술적인 과제는 영상으로부터 에지 방향을 추정하고 추정된 에지 방향에 따라 R, G, B 채널 간의 상관관계를 이용하여 색 보간을 수행하는 영상 보간 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 보간 장치는 채널 내 미분 연산 및 채널 간 미분 연산을 이용하여 입력 영상을 에지 영역 및 에지 이외의 영역으로 구분하는 영역 구분수단; 및 상기 구분된 영역에 대해 채널 내 보간 연산 및 채널 간 보간 연산을 융합하여 보간값을 생성하는 보간수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 영역 구분수단은 수직 및 수평 방향의 채널 값을 채널 내 미분 연산한 결과값과 제1 및 제2 기준 값을 비교하여 상기 영상을 제1 에지영역 및 제1 에지 이외의 영역으로 구분하는 제1 구분부; 및 상기 제1 에지 이외의 영역에 대하여 채널 간 미분연산한 결과값을 이용하여 에지 방향을 결정하고, 결정된 에지 방향의 가/부를 판단하여 제2 에지영역 및 제2 에지 이외의 영역으로 구분하는 제2 구분부를 포함할 수 있다.
본 발명에 있어서, 상기 제2 구분부는 상기 제1 에지 이외의 영역의 채널 간 미분연산한 결과값에 대한 분산 평균이 기준 값 보다 작은 경우 제2 에지 영역으로 판단하고, 그렇지 않은 경우 제2 에지 이외의 영역으로 판단하는 제1 판단부; 및 상기 제2 에지 영역 내 임의 블록 내에서 이전 보간 값과 임시 보간 값의 유사성을 판단하여 제2 에지영역의 가/부를 판단하는 제2 판단부를 포함할 수 있다.
본 발명에 있어서, 상기 영상은 G 채널 영상일 수 있다.
본 발명에 있어서, 상기 보간수단은 상기 구분된 영역에 대해 G 채널 내 보간 연산 및 G 채널 간 보간 연산을 융합하여 G 채널 보간값을 생성하는 제1 보간부; 및 상기 G 채널 보간값을 이용하여 R/B 채널의 보간값을 생성하는 제2 보간부를 포함할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 보간 방법은 (a) 채널 내 미분 연산 및 채널 간 미분 연산을 이용하여 입력 영상을 에지 영역 및 에지 이외의 영역으로 구분하는 단계; 및 (b) 상기 구분된 영역에 대해 채널 내 보간 연산 및 채널 간 보간 연산을 융합하여 보간값을 생성하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (a) 단계는 (a-1) 수직 및 수평 방향의 채널 값을 채널 내 미분 연산한 결과값과 제1 및 제2 기준 값을 비교하여 상기 영상을 제1 에지영역 및 제1 에지 이외의 영역으로 구분하는 단계; 및 (a-2) 상기 제1 에지 이외의 영역에 대하여 채널 간 미분연산한 결과값을 이용하여 에지 방향을 결정하고, 결정된 에지 방향의 가/부를 판단하여 제2 에지영역 및 제2 에지 이외의 영역으로 구분하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (a-2)단계는 (a-2-1) 상기 제1 에지 이외의 영역의 채널 간 미분연산한 결과값에 대한 분산 평균이 기준 값 보다 작은 경우 제2 에지 영역으로 판단하고, 그렇지 않은 경우 제2 에지 이외의 영역으로 판단하는 단계; 및 (a-2-2) 상기 제2 에지 영역 내 임의 블록 내에서 이전 보간 값과 임시 보간 값의 유사성을 판단하여 제2 에지영역의 가/부를 판단하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 영상은 G 채널 영상일 수 있다.
본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 구분된 영역에 대해 G 채널 내 보간 연산 및 G 채널 간 보간 연산을 융합하여 G 채널 보간값을 생성하는 단계; 및 (b-2) 상기 G 채널 보간값을 이용하여 R/B 채널의 보간값을 생성하는 단계를 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 색 보간 알고리즘으로 고품질의 영상을 획득할 수 있다. 또한 약한 스펙트럴 상관관계(weak spectral correlation) 영역에서 발생하는 결함(artifacts)을 줄일 수 있다. 더 나아가 주변 화소를 이용하여 에지 방향을 판단하여 저조도 잡음 영상에 대해서도 고해상도 영상을 획득할 수 있다.
도 1은 본 발명에 따른 영상 보간 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 에지방향 검출수단의 상세 블록도 이다.
도 3은 도 2 중 판단 기준 생성을 위해 G 채널에서 그라디언트를 구하는 방법을 설명하는 도면이다.
도 4는 도 2중 패턴 영역에서 에지 방향성 분류 기준을 설명하는 도면이다.
도 5는 도 2 중 에지 방향성 검증을 설명하는 도면이다.
도 6은 도 1 중 보간수단의 상세 블록도 이다.
도 7은 도 6 중 영상 보간을 위한 베이어 패턴을 보이는 도면이다.
을 설명하는 도면이다.
도 8은 도 6 중 B 위치에서 R 채널 보간을 설명하는 도면이다.
도 9는 종래 및 본 발명의 영상 보간 결과를 보이는 도면이다.
도 11은 종래 기술에 따른 영산 보간을 설명하기 위한 베이어 패턴이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명에 따른 영상 보간 장치의 구성을 보이는 블록도로서, 영역 구분수단(100) 및 보간수단(200)을 포함한다.
영역 구분수단(100)은 채널 내 미분 연산(intra channel gradient) 및 채널 간 미분 연산(cross channel gradient)을 이용하여 입력되는 CFA 영상을 에지 영역 및 에지 이외의 영역 즉 패턴영역으로 구분한다. 본 발명에서 영역 구분수단(100)은 도 2에 개시된 바와 같이 제1 영역 구분부(110), 에지방향 결정부(121) 및, 에지방향 검증부(122)로 구성된 제2 영역 구분부(120)를 포함한다.
보간수단(200)은 구분된 영역에 대해 채널 내 보간(intra channel interpolation) 연산 및 채널 간 보간(inter channel interpolation) 연산을 융합하여 보간값을 생성한다. 본 발명에서 보간수단(200)은 도 6에 개시된 바와 같이 채널 간 보간부(211), 채널 내 보간부(212) 및 융합부(213)로 구성된 G 채널 보간부(210) 및 R/B 채널 보간부(220)를 포함한다.
이어서, 영역 구분수단(100)을 상세히 설명한다.
본 발명은 영상의 국부 영역의 특성을 잘 반영하면서, 에지 방향을 찾기 위해 미분(gradient)을 기반으로 영상영역을 나눈다. gradient 방법에서, 에지 방향에 따른 gradient는 작은 값을 가지며, 에지를 가로지르는 방향에 대한 gradient는 큰 값을 가지기 때문에, 에지 방향을 효과적으로 판정할 수 있다.
하지만, 색보간 과정에서 주어진 영상이 일반 영상이 아닌 다운 샘플링된 CFA(color filter array) 영상이기 때문에, 일반적인 영상에서 gradient와는 다른 점이 있다. CFA 영상은 같은 채널 값이 한 화소만큼의 차이를 두고 존재하기 때문에, 한 라인 에지나 한 라인 간격으로 반복적으로 존재하는 에지에 대해서는 효과적으로 에지 방향을 구분하기 힘들다. 이는 수직 또는 수평 방향으로 gradient를 구할 경우 두 값 모두 작은 값을 가지기 때문에, 어느 한 방향으로 판단하기 힘들고, 잘못된 방향으로 에지방향을 판단할 수 있다.
본 발명에서는 이러한 문제점을 줄이기 위하여, 영역 구분수단(100)은 두 개의 기준(Criterion 1, Criterion 2)을 사용하여 에지 방향을 판단하도록 한다. 이는 어느 하나의 기준으로 에지 방향을 판단할 경우 잘못된 방향으로 에지를 판단할 수 있는데, 반면 두 개의 기준으로 에지 방향을 판단할 경우 두 개의 기준으로 판단된 에지 방향이 일치하는 경우에만 확실한 에지 방향으로 하기 때문에 잘못된 방향으로 에지를 판단하는 경우를 줄일 수 있다.
제1 영역 구분부(110)는 intra channel gradient를 이용하여 CFA 영상을 제1 에지영역 및 에지가 아닌 패턴영역으로 구분한다. intra channel gradient는 각 R, G, B 채널 내에서 gradient를 나타낸다.
제2 영역 구분부(120)는 cross channel gradient 값을 이용하여 패턴영역의 영상을 제2 에지영역 및 에지가 아닌 패턴/플랫영역으로 구분한다. cross channel gradient는 G와 R 또는 G와 B 사이의 gradient를 나타낸다.
영역 구분수단(100)의 전체적인 영역구분 과정은 첫 단계에서 굵은 에지를 판단하고, 두 번째 단계에서 복잡한 에지를 판단하도록 설계한다.
제1 영역 구분부(110)가 CFA 영상을 제1 에지영역 및 패턴영역으로 구분할 때 두 개의 기준을 사용하여 구분한다. 두 개의 기준에 의한 판단 결과가 일치하는 경우에 한해 수직, 수평 방향 제1 에지라고 판단하고, 나머지 영역에 대해서는 에지가 아닌 패턴영역으로 판단한다. 에지 판단식은 하기 수학식 5와 같다.
Figure pat00005
수학식 5에서 정의한 판단 기준은 intra channel gradient을 및 cross channel gradient를 이용하여 정한다. intra channel gradient는 굵은 에지와 같은 일반적인 에지 방향을 찾는데 용이한 반면, cross channel gradient는 세밀하고 복잡한 에지 영역에서 에지 방향을 잘 찾는다. 이러한 두 gradient의 장점을 이용하여 기준을 선정하고, 에지방향을 나누는 과정을 두 단계로 나누어 처리함으로써 패턴영역으로 판단되는 영역을 줄여 해상도를 향상시키도록 한다.
제1 영역 구분부(110)가 수행하는 영역 구분 과정의 첫 단계는 입력되는 CFA 영상을 제1 에지영역과 패턴영역으로 구분하는 과정으로 굵은 에지영역을 구분한다. 제2 영역 구분부(120)가 수행하는 영역 구분 과정의 두 번째 단계는 패턴영역을 제2 에지영역과 패턴/플랫 영역으로 구분하는 과정으로 복잡한 에지를 판단한다. 제1 영역 구분부(110)에서 굵은 에지영역의 에지 방향을 잘 판단하기 위해 굵은 에지영역에 적합한 intra channel gradient를 이용하고, 제2 영역 구분부(120)에서 복잡한 에지를 처리하기 위해 cross channel gradient를 이용한다.
제1 영역 구분부(110)에서 이용하는 intra channel gradient는 CFA 영상에 직접 적용하기 쉽지 한다. CFA 영상에서는 같은 채널 값들이 한 픽셀 이상 떨어져 있기 때문에 정확한 gradient를 구하는 것이 쉽지 않다. 그래서 제1 영역 구분부(110)는 도 3a에 도시된 바와 같이 CFA 영상의 R/B 채널 위치에 도 3b에 도시된 바와 같이 임시로 G 채널 값을 채워놓고 intra channel gradient를 구한다. 이때 임시로 G 채널 값을 채우는 방법은 RGB 채널 간 상관관계를 고려하여 수직 또는 수평 방향으로 보간을 수행한다. 임시로 채워진 G 채널 값과 본래 주어진 G 채널 값을 이용하여 intra channel gradient를 구할 수 있는데, 에지영역에서 나타나는 1차 미분(도 3c-1) 및 2차 미분(도 3c-2)의 특성이 유사하다. 각 수직 또는 수평 방향으로 1차 또는 2차 미분을 통해 gradient 값을 구하여 기준 1(Criterion 1)을 1차 미분, 기준 2(Criterion 2)를 2차 미분 값으로 정하고, 기준 1과 기준 2가 일치하는 경우에만 확실한 에지 방향이라고 판단한다.
각 수직, 수평 방향으로 임시적으로 보간된 영상에서 구한 gradient를 이용한 에지 판정식은 수학식 6과 같다.
Figure pat00006
위 식에서 Gver 및 Ghor는 수직, 수평 방향으로 보간된 G 채널 값을 의미하고, ∇ver 및 ∇hor은 수직, 수평 방향에 대한 gradient를 나타내고, ∇의 윗 첨자 1, 2는 1차 미분, 2차 미분을 나타낸다. ∇verGhor 및 ∇horGver은 에지 방향 판단 시에 주된 역할을 하는 기준으로, 보간 방향과 수직인 방향에 대한 gradient로서, 에지 방향을 따라 보간한 경우가 그렇지 않은 경우보다 더 큰 값을 가진다. ∇verGver 및 ∇horGhor은 에지 방향 판단 시에 보조적인 역할을 하는 기준으로, 보간 방향에 따른 gradient로서, 수직, 수평 방향으로 보간된 값의 신뢰도를 의미하며, 에지 방향과 일치하는 방향으로 보간한 경우에 더 작은 값을 가진다. 에지 방향 판단은 수직, 수평 방향에 대한 기준 값을 비교하여 작은 값을 가지는 방향으로 에지 방향을 판단한다. 여기서 α는 수직, 수평 방향에 대한 기준의 비율을 조정하는 파라미터로서, 판단된 에지 방향의 확실성을 조절한다. α값이 작을수록 에지 방향 판단 에러가 적고, 굵은 에지만 판단하고, α값이 커지면 세밀한 에지 방향도 판단할 수 있지만 에지 방향 판단 에러가 발생할 수 있다. 본 발명에서는 응용에 따라 α값을 조절하여 에지 방향 판단 에러를 줄이면서 최대한 세밀한 에지까지 에지 방향을 판단할 수 있도록 한다.
이와 같은 처리로, 제1 영역 구분부(110)가 제1 에지영역 및 패턴영역의 구분을 완료하면, 제2 영역 구분부(120)는 패턴영역에 cross channel gradient를 이용하여 세밀한 에지영역을 구분하여 에지 방향에 따라 보간을 하고, 영역 구분이 힘든 영역은 가중치 합으로 처리한다. 제2 영역 구분부(120)는 영역 구분을 위해 에지방향 결정부(121) 및 에지방향 검증부(122)를 포함한다.
에지방향 결정부(121)는 cross channel gradient를 이용하여 패턴영역에 대한 에지 방향을 결정하고, 에지방향 검출부(122)는 결정된 에지 방향이 잘못된 방향인지, 옳은 방향인지 판단하여 제2 에지영역 또는 패턴/플랫영역으로 판단한다.
패턴영역은 에지 방향을 판단하기 어려운 복잡한 영역이기 때문에, 주변에 주어진 또는 이미 보간된 G 채널 값을 이용하여 에지 판단 검증 과정을 거쳐 에지 방향이 잘못된 방향으로 판단되는 경우를 줄이도록 한다.
에지방향 결정부(121)는 cross channel gradient를 이용하여 에지 방향을 결정한다. cross channel gradient는 에지 방향에 따라 gradient를 구하면 값의 변화가 거의 일정하고, 에지를 가로지르는 방향에 대해서는 값의 변화가 크다. 예를 들어 도 4a와 같이 G, B 사이의 gradient를 구할 수 있다.
cross channel gradient는 gradient를 취하는 방향에 따라 값의 부호가 달라지기 때문에, cross channel gradient를 직접 이용할 수 없다. 예를 들어 cross channel gradient의 절대값의 분산(variance)를 구하여 에지 판단 기준으로 이용할 수 있다. 또는 분산은 제곱 연산을 여러 번 해야 하기 때문에 하드웨어적인 복잡도가 커지게 되므로, 에지 방향 판단 성능은 유지하면서 하드웨어 복잡도를 줄이기 위해 cross channel gradient 변화량의 평균(mean)을 사용할 수 있으며 수학식 7과 같이 표현할 수 있다.
Figure pat00007
cross channel gradient를 이용한 판단 기준만 사용할 경우, 일부 에지 영역에서 잘못된 방향으로 에지를 판단하는 경우가 발생하므로 이것을 줄이기 위해 보조 판단 기준으로 도 4b에 도시된 바와 같이 G 채널 gradient를 사용하다. G 채널 gradient를 구하는 방법은 intra channel gradient를 구하는 과정과 동일하다. 두 개의 판단 기준을 포함한 최종적인 에지 판단 식은 수학식 8과 같다.
Figure pat00008
수학식 8에서 β는 앞서 사용한 α와 동일한 역할을 수행한다.
에지방향 검증부(122)는 앞서 판단된 에지 방향이 실제 에지 방향인지를 보간된 주변 값을 이용하여 검증하는 과정을 거쳐 최종적으로 에지를 결정한다. 결정된 결과에 따라 제2 에지영역 또는 패턴/플랫영역으로 나누어 진다. 에지방향 검증부(122)는 도 5를 이용하여 에지 방향의 가/부를 검증하는데, 도 5에 도시된 바와 같이 2×3 블록에서 위쪽 1×3 블록의 R 또는 B 위치에서 G 값은 이전 보간 과정에서 얻은 G 값을 채워놓고, 아래 1×3 블록의 R 또는 B 위치에서 G 값은 임시적으로 판단된 에지 방향에 따른 보간값을 사용하여, 위, 아래 블록의 유사성을 테스트한다. 두 블록이 유사하다고 판단되면, 임시적으로 판단된 에지 방향을 유지 즉 제2 에지영역으로 판단하고, 그렇지 않으면 플랫/패턴영역으로 판단한다. 판단 기준은 수학식 9와 같다.
Figure pat00009
윗 블록의 gradient 값과 아래 블록의 gradient 값이 임계 값(threshold:Th) 보다 작은 경우 제2 에지영역으로 판단하고, 반대의 경우 플랫/패턴영역으로 처리한다. 블록 크기는 응용에 따라 그 크기를 변경하여 적용할 수 있다.
다음에, 보간수단(200)을 상세히 설명한다.
보간수단(200)은 구분된 제1 에지 영역 및 제2 에지 영역에 따른 각 보간 방법을 적용하여 최종적인 보간 값을 결정한다. 기존의 보간 방법은 R, G, B 채널 사이에 spectral 상관관계가 존재한다는 가정하에 이루어지는데, weak spectral 상관관계가 존재하는 영역에서 잘못된 값을 보간하는 경우가 발생한다. 그래서 채널 내 상관관계(intra channel correlation) 및 채널 간 상관관계(inter channel correlation)를 이용하여 각각 보간값을 구하고, 이들을 융합함으로써 weak spectral 상관관계영역에서 잘못된 값을 보간하는 경우를 줄이도록 한다.
채널 간 보간부(inter channel interpolation)(211)는 R, G, B 채널간 상관관계를 이용하여 보간값을 구한다. 여러 컬러 상관관계 가정 중 차분 모델(difference model)이 연산량이 적고, 성능도 우수하여 많이 이용된다. 컬러 차분 모델은 작은 영역 내에서 (G-R) 또는 (G-B) 값이 일정하다는 가정한다. 본 발명에서도 이러한 차분 모델을 이용하여 inter channel interpolation을 수행한다. 도 7은 R을 중심으로 하는 1차 베이어 패턴을 나타낸 것이다. 여기서 X는 좌표 위치를 나타낸다. 도 7에서 왼쪽 방향의 R, G 값을 이용하여 G 값을 보간하는 경우 inter channel interpolation 식은 수학식 10과 같다.
Figure pat00010
그리고 채널 내 보간부(intra channel interpolation)(212)는 다음 수학식 11을 이용하여 보간값을 구한다.
Figure pat00011
inter channel interpolation 과정은 두 단계로 나누어져 이루어진다. 첫 번째 단계는 남/북 방향에 대한 unidirectional interpolation 값을 융합하여 inter channel interpolation을 구하는 과정으로 수학식 12와 같다.
Figure pat00012
다음 단계는 융합부(213)가 inter channel interpolation 값 및 intra channel interpolation 값들을 Kr 또는 Kb 분산을 이용하여 융합하는 과정으로 수학식 13과 같다.
Figure pat00013
여기서,
Figure pat00014
여기서 가중치는 Kr 또는 Kb 분산 값에 따라 분산이 작을수록 더 큰 가중치를 두어 구한다. 위 절차를 통해 최종적으로 수직 방향으로 보간된 G 값을 획득한다. 수평 방향으로 보간된 G 값은 수직 방향과 동일하므로 상세한 설명은 생략한다.
패턴/플랫영역의 경우 에지 방향을 수직, 수평 어느 한 방향으로 결정하기 어려운 영역이다. 그래서 앞의 보간 방법을 이용하여 수직, 수평 방향으로 보간된 값을 융합하여 G 채널 값을 구하며, 수학식 14와 같다.
Figure pat00015
여기서,
Figure pat00016
Figure pat00017
여기서
Figure pat00018
값은 보간된 G, R 또는 B 값으로 추정한 G 값과 본래 주어진 G 값 사이의 차분 에러의 분산을 나타낸다. 에러가 작을수록 더 큰 가중치를 준다. 보조적으로 cross channel gradient를 이용하여 gradient 값이 작은 쪽으로 더 큰 가중치를 준다.
이와 같은 방식으로 G 채널에 대한 보간이 완료되면, R/B 채널 보간부(220)는 G 채널 보간 결과를 이용하여 R/B 채널을 보간한다. 중심 위치를 기준으로 위쪽 R 또는 B 위치는 앞서 구한 G 채널 보간 결과를 이용하고, 아래 쪽 R 또는 B 위치는 임시적으로 G 채널 보간을 수행하여 구한 G 값을 사용한다. 도 8은 B 위치에서 R 보간을 수행하는 것을 나타낸 도면이다. B를 중심으로 대각선 방향으로 gradient를 구하여 에지 방향을 결정하고, 에지 방향에 따라 보간을 수행한다. 이를 식으로 나타내면 수학식 15와 같다.
Figure pat00019
여기서 w는 결정된 에지 방향에 따라 그 영역이 결정된다. 또한 G 위치에서 R 보간 식은 수학식 16과 같다.
Figure pat00020
B 채널 보간 식은 R 채널 보간 식과 동일하므로 생략한다. 이와 같은 처리를 통하여 R,G, B 채널에 대한 보간이 수행된다.
도 9는 본 발명에 따른 영상 보간 방법을 보이는 흐름도로써, 처음 베이어 CFA 영상이 입력되면(910단계), CFA 영상의 R/B 위치에 임시로 G 값을 채워놓고 intra channel gradient를 이용하여 CFA 영상을 제1 에지영역 및 패턴영역으로 구분한다(920단계).
cross channel gradient을 이용하여 패턴영역을 제2 에지영역 및 플랫/패턴영역으로 구분한다(930단계). 패턴 에지 영역의 경우 영역 구분이 쉽지 않기 때문에 추가적인 검증 과정을 거쳐 최종적인 에지 방향을 결정한다.
영역 구분이 완료되면, 구분된 제1 및 제2 에지영역에 대한 inter channel interpolation 및 intra channel interpolation을 각각 생성하고 이들을 융합하여 G 채널을 보간한다(940단계).
이어서, 상기 G 채널 보간값을 이용하여 구분된 플랫/패턴 영역의 G 채널을 보간한다(950단계).
모든 영역에 대한 G 채널 보간이 완료되면, 보간된 G 채널 값을 이용하여 R/B 채널을 보간한다(960단계).
이러한 단계를 거쳐 최종적인 컬러 영상을 획득할 수 있다.
도 10에는 기존의 영상 보간 결과 및 본 발명의 영상 보간 결과가 도시되어 있다. 도 10a-1 및 도 10a-2는 기존의 영상 보간 결과가 도시되어 있고, 도 10b-1 및 도 10b-2는 본 발명의 영상 보간 결과가 도시되어 있다. 본 발명에 따른 영상 보간의 경우 종래에 비해 고 품질의 영상을 획득할 수 있고, weak spectral 상관관계 영역에서 발생하는 artifact를 줄일 수 있으며, 저조도 잡음 영상에 대해 고해상도 영상을 획득할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 채널 내 미분 연산 및 채널 간 미분 연산을 이용하여 입력 영상을 에지 영역 및 에지 이외의 영역으로 구분하는 영역 구분수단; 및
    상기 구분된 영역에 대해 채널 내 보간 연산 및 채널 간 보간 연산을 융합하여 보간값을 생성하는 보간수단을 포함하는 영상 보간 장치.
  2. 제 1항에 있어서, 상기 영역 구분수단은
    수직 및 수평 방향의 채널 값을 채널 내 미분 연산한 결과값과 제1 및 제2 기준 값을 비교하여 상기 영상을 제1 에지영역 및 제1 에지 이외의 영역으로 구분하는 제1 구분부; 및
    상기 제1 에지 이외의 영역에 대하여 채널 간 미분연산한 결과값을 이용하여 에지 방향을 결정하고, 결정된 에지 방향의 가/부를 판단하여 제2 에지영역 및 제2 에지 이외의 영역으로 구분하는 제2 구분부를 포함하는 것을 특징으로 하는 영상 보간 장치.
  3. 제 2항에 있어서, 상기 제2 구분부는
    상기 제1 에지 이외의 영역의 채널 간 미분연산한 결과값에 대한 분산 평균이 기준 값 보다 작은 경우 제2 에지 영역으로 판단하고, 그렇지 않은 경우 제2 에지 이외의 영역으로 판단하는 제1 판단부; 및
    상기 제2 에지 영역 내 임의 블록 내에서 이전 보간 값과 임시 보간 값의 유사성을 판단하여 제2 에지영역의 가/부를 판단하는 제2 판단부를 포함하는 것을 특징으로 하는 영상 보간 장치.
  4. 제 1 내지 제3 항에 있어서,
    상기 영상은 G 채널 영상인 것을 특징으로 하는 영상 보간 장치.
  5. 제 4항에 있어서, 상기 보간수단은
    상기 구분된 영역에 대해 G 채널 내 보간 연산 및 G 채널 간 보간 연산을 융합하여 G 채널 보간값을 생성하는 제1 보간부; 및
    상기 G 채널 보간값을 이용하여 R/B 채널의 보간값을 생성하는 제2 보간부를 포함하는 것을 특징으로 하는 영상 보간 장치.
  6. (a) 채널 내 미분 연산 및 채널 간 미분 연산을 이용하여 입력 영상을 에지 영역 및 에지 이외의 영역으로 구분하는 단계; 및
    (b) 상기 구분된 영역에 대해 채널 내 보간 연산 및 채널 간 보간 연산을 융합하여 보간값을 생성하는 단계를 포함하는 영상 보간 방법.
  7. 제 6항에 있어서, 상기 (a) 단계는
    (a-1) 수직 및 수평 방향의 채널 값을 채널 내 미분 연산한 결과값과 제1 및 제2 기준 값을 비교하여 상기 영상을 제1 에지영역 및 제1 에지 이외의 영역으로 구분하는 단계; 및
    (a-2) 상기 제1 에지 이외의 영역에 대하여 채널 간 미분연산한 결과값을 이용하여 에지 방향을 결정하고, 결정된 에지 방향의 가/부를 판단하여 제2 에지영역 및 제2 에지 이외의 영역으로 구분하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  8. 제 7항에 있어서, 상기 (a-2)단계는
    (a-2-1) 상기 제1 에지 이외의 영역의 채널 간 미분연산한 결과값에 대한 분산 평균이 기준 값 보다 작은 경우 제2 에지 영역으로 판단하고, 그렇지 않은 경우 제2 에지 이외의 영역으로 판단하는 단계; 및
    (a-2-2) 상기 제2 에지 영역 내 임의 블록 내에서 이전 보간 값과 임시 보간 값의 유사성을 판단하여 제2 에지영역의 가/부를 판단하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
  9. 제 5 내지 제8 항에 있어서,
    상기 영상은 G 채널 영상인 것을 특징으로 하는 영상 보간 방법.
  10. 제 9항에 있어서, 상기 (b)단계는
    (b-1) 상기 구분된 영역에 대해 G 채널 내 보간 연산 및 G 채널 간 보간 연산을 융합하여 G 채널 보간값을 생성하는 단계; 및
    (b-2) 상기 G 채널 보간값을 이용하여 R/B 채널의 보간값을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
KR1020100003549A 2010-01-14 2010-01-14 영상 보간 장치 및 방법 KR101408360B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100003549A KR101408360B1 (ko) 2010-01-14 2010-01-14 영상 보간 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100003549A KR101408360B1 (ko) 2010-01-14 2010-01-14 영상 보간 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110083362A true KR20110083362A (ko) 2011-07-20
KR101408360B1 KR101408360B1 (ko) 2014-06-18

Family

ID=44921124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100003549A KR101408360B1 (ko) 2010-01-14 2010-01-14 영상 보간 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101408360B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150080865A (ko) * 2014-01-02 2015-07-10 삼성테크윈 주식회사 색 보간 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
KR100932217B1 (ko) * 2007-08-09 2009-12-16 연세대학교 산학협력단 컬러 보간 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150080865A (ko) * 2014-01-02 2015-07-10 삼성테크윈 주식회사 색 보간 장치

Also Published As

Publication number Publication date
KR101408360B1 (ko) 2014-06-18

Similar Documents

Publication Publication Date Title
US9619897B2 (en) Correction of blotches in component images
US7499089B2 (en) Color interpolation method in bayer array
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
KR101548285B1 (ko) 고해상도 영상 획득 장치 및 그 방법
US20100123792A1 (en) Image processing device, image processing method and program
US20040201721A1 (en) System and method for concurrently demosaicing and resizing raw data images
JPH1155695A (ja) レジストレーション誤差および色収差を測定する方法および装置
US8369609B2 (en) Reduced-complexity disparity map estimation
JPH0799660A (ja) 動き補償予測装置
WO2005117455A1 (ja) Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
US9990695B2 (en) Edge sensing measure for raw image processing
US9762889B2 (en) Subtitle detection for stereoscopic video contents
KR100932217B1 (ko) 컬러 보간 방법 및 장치
KR101682137B1 (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
KR101408360B1 (ko) 영상 보간 장치 및 방법
JP2000341701A (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
US9008463B2 (en) Image expansion apparatus for performing interpolation processing on input image data, and image expansion method thereof
JP2003134523A (ja) 撮像装置及び撮像方法
US8442359B2 (en) Image interpolation method and apparatus using reference block based on direction
US9076230B1 (en) Circuitry and techniques for image processing
Chou et al. Adaptive color filter array demosaicking based on constant hue and local properties of luminance
WO2013125239A1 (ja) 画像処理装置、撮像装置及び画像処理プログラム
KR101068652B1 (ko) 색상 보간 장치와 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
Lachine et al. Edge adaptive intra field de-interlacing of video images
JP2009206553A (ja) 画像処理装置及び画像処理用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 6