KR101408360B1 - 영상 보간 장치 및 방법 - Google Patents

영상 보간 장치 및 방법 Download PDF

Info

Publication number
KR101408360B1
KR101408360B1 KR1020100003549A KR20100003549A KR101408360B1 KR 101408360 B1 KR101408360 B1 KR 101408360B1 KR 1020100003549 A KR1020100003549 A KR 1020100003549A KR 20100003549 A KR20100003549 A KR 20100003549A KR 101408360 B1 KR101408360 B1 KR 101408360B1
Authority
KR
South Korea
Prior art keywords
channel
value
edge
region
area
Prior art date
Application number
KR1020100003549A
Other languages
English (en)
Other versions
KR20110083362A (ko
Inventor
강문기
유두식
김창원
오현묵
Original Assignee
연세대학교 산학협력단
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 삼성테크윈 주식회사 filed Critical 연세대학교 산학협력단
Priority to KR1020100003549A priority Critical patent/KR101408360B1/ko
Publication of KR20110083362A publication Critical patent/KR20110083362A/ko
Application granted granted Critical
Publication of KR101408360B1 publication Critical patent/KR101408360B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 영상으로부터 에지 방향을 추정하고 추정된 에지 방향에 따라 보간을 수행하는 영상 보간 장치 및 방법에 관한 것이다. 영상 보간 장치는 채널 내 미분 연산 및 채널 간 미분 연산을 이용하여 입력 영상을 에지 영역 및 에지 이외의 영역으로 구분하는 영역 구분수단; 및 상기 구분된 영역에 대해 채널 내 보간 연산 및 채널 간 보간 연산을 융합하여 보간값을 생성하는 보간수단을 포함한다.

Description

영상 보간 장치 및 방법{Apparatus and method for interpolating image}
본 발명은 디지털 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 영상으로부터 에지 방향을 추정하고 추정된 에지 방향에 따라 보간을 수행하는 영상 보간 장치 및 방법에 관한 것이다.
일반적인 디지털 영상 처리 장치에서는 부피와 하드웨어 등의 문제를 해결하기 위한 방법으로 하나의 CCD(charge coupled device)나 CMOS(complementary metal semiconductor)를 사용하는 싱글-칩 이미지 센서를 사용하고 있다. 이때 컬러 정보를 획득하기 위해 이미지 센서 앞에 컬러 필터 배열(CFA: color filter array)를 사용하게 되며, 일반적으로 R, B 채널에 비해 두 배 많은 G 채널의 정보를 획득하는 베이어(bayer) CFA를 사용한다. CFA를 이용하는 경우 하나의 화소에 하나의 색상 정보만을 가지기 때문에 컬러 영상을 획득하기 위해서는 적절한 색 보간 방법이 필요하게 된다. 색 보간 방법은 비어있는 컬러 정보를 얻기 위해, 해당 화소 주변의 화소 정보를 이용하여 추정한다. 이때 어던 보간법을 사용하느냐에 따라 얻게 되는 영상의 질이 달라진다. 컬러 영상을 얻기 위한 많은 색보간 알고리즘이 개발되었으며, 이러한 알고리즘 대부분은 R, G, B 채널 간의 상관관계를 이용하여 색 보간을 수행한다. 색 보간 수행 방법으로 고정 채널 간 컬러 차이(constant cross channel color difference)를 이용하는 방법과 에지 방향성 색 보간(edge directional color interpolation) 방법이 있다.
고정 채널 간 컬러 차이를 이용하는 방법은 일정한 영역에서는 두 채널의 차이 즉, 뺀 값이 일정하다는 가정이 있다. 즉, 일정영역 내에서, G-R, G-B 값이 일정하다는 가정 하에, 현재 화소와 이웃 화소의 G-R, G-B 값이 일정하도록 읽어버린 색 성분값을 보간해서 색 상호간의 상관관계를 고려할 수 있게 된다. 예를 들어 도 11에 도시된 바와 같은 베이어 패턴이 존재하는 경우 B13 위치에서 G13을 구하는 경우를 고려할 경우, B13의 왼쪽 G12 방향에서 보간되는 G13은 다음 수학식 1과 같다.
Figure 112010002546765-pat00001
수학식 1에서 B12의 값은 잃어버린 색 성분으로 B11과 B13의 선형 결합을 통해 획득한다. 최종적으로 원하는 G13 값을 수학식 1과 같이 구할 수 있다. 한편 G13은 G14 방향에서도 동일한 방법을 통해 구할 수 있다. G12, G14 방향에서 구한 G13을 선형 결합하여 수평방향으로 보간한 G13 값을 구할 수 있으며, 이는 수학식 2와 같다.
Figure 112010002546765-pat00002
최종 G13 값은 수직, 수평 방향으로 보간된 G13 값의 선형 결합을 통해 얻는다.
에지 방향성 색 보간 방법은 에지의 방향을 고려하여 에지를 가로지르지 않도록 보간하는 방법이다. 고정 채널 간 컬러 차 가정을 이용하여 보간한다. 예를 들어 도 11의 B13 위치에서 G13을 구하는 경우, B13을 중심으로 수직, 수평 방향에 대한 그라디언트(gradient)를 구하여 에지 방향 판단 기준으로 삼는다. 하기 수학식 3에는 수직, 수평 방향에 대한 그라디언트를 구하는 수식이 개시되어 있다.
Figure 112010002546765-pat00003
DH, DV 값을 비교하여 그 값이 작은 방향으로 보간을 수행하여 수직, 또는 수평 방향 에지를 고려한다. 각 방향에 대한 보간 식은 다음 수학식 4와 같다.
Figure 112010002546765-pat00004
DH와 DV의 크기가 같은 경우, 평탄 영역으로 고려하여 수직, 수평 방향으로 보간된 값을 선형 결합하여 최종 G13을 구한다.
종래의 색 보간 방법들은 에지 정보를 효과적으로 고려하지 못하고, 색 상호간의 상관관계를 잘 고려하고 있지 못하고 있기 때문에 고주파 영역의 에지에서 주로 발생하는 색상 오류(false color error)나 물결무늬 효과를 잘 제거하지 못하는 문제점이 있다. 또한 복잡한 패턴 영역의 경우, 에지 판단 기준이 잘 맞지 않아 잘못된 방향으로 에지 방향을 판단하고 색보간을 수행하게 된다. 이 경우 잘못된 색상 오류가 발생하는데, 이는 원래의 색과는 전혀 다른 색이 보간된 경우로 곳곳의 화소들이 주위와 부드럽지 못하고 눈에 띄게 튀어 보이게 되는 현상이 문제시 되어 왔다.
본 발명이 해결하고자 하는 기술적인 과제는 영상으로부터 에지 방향을 추정하고 추정된 에지 방향에 따라 R, G, B 채널 간의 상관관계를 이용하여 색 보간을 수행하는 영상 보간 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 보간 장치는 채널 내 미분 연산 및 채널 간 미분 연산을 이용하여 입력 영상을 에지 영역 및 에지 이외의 영역으로 구분하는 영역 구분수단; 및 상기 구분된 영역에 대해 채널 내 보간 연산 및 채널 간 보간 연산을 융합하여 보간값을 생성하는 보간수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 영역 구분수단은 수직 및 수평 방향의 채널 값을 채널 내 미분 연산한 결과값과 제1 및 제2 기준 값을 비교하여 상기 영상을 제1 에지영역 및 제1 에지 이외의 영역으로 구분하는 제1 구분부; 및 상기 제1 에지 이외의 영역에 대하여 채널 간 미분연산한 결과값을 이용하여 에지 방향을 결정하고, 결정된 에지 방향의 가/부를 판단하여 제2 에지영역 및 제2 에지 이외의 영역으로 구분하는 제2 구분부를 포함할 수 있다.
본 발명에 있어서, 상기 제2 구분부는 상기 제1 에지 이외의 영역의 채널 간 미분연산한 결과값에 대한 분산 평균이 기준 값 보다 작은 경우 제2 에지 영역으로 판단하고, 그렇지 않은 경우 제2 에지 이외의 영역으로 판단하는 제1 판단부; 및 상기 제2 에지 영역 내 임의 블록 내에서 이전 보간 값과 임시 보간 값의 유사성을 판단하여 제2 에지영역의 가/부를 판단하는 제2 판단부를 포함할 수 있다.
본 발명에 있어서, 상기 영상은 G 채널 영상일 수 있다.
본 발명에 있어서, 상기 보간수단은 상기 구분된 영역에 대해 G 채널 내 보간 연산 및 G 채널 간 보간 연산을 융합하여 G 채널 보간값을 생성하는 제1 보간부; 및 상기 G 채널 보간값을 이용하여 R/B 채널의 보간값을 생성하는 제2 보간부를 포함할 수 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 영상 보간 방법은 (a) 채널 내 미분 연산 및 채널 간 미분 연산을 이용하여 입력 영상을 에지 영역 및 에지 이외의 영역으로 구분하는 단계; 및 (b) 상기 구분된 영역에 대해 채널 내 보간 연산 및 채널 간 보간 연산을 융합하여 보간값을 생성하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 (a) 단계는 (a-1) 수직 및 수평 방향의 채널 값을 채널 내 미분 연산한 결과값과 제1 및 제2 기준 값을 비교하여 상기 영상을 제1 에지영역 및 제1 에지 이외의 영역으로 구분하는 단계; 및 (a-2) 상기 제1 에지 이외의 영역에 대하여 채널 간 미분연산한 결과값을 이용하여 에지 방향을 결정하고, 결정된 에지 방향의 가/부를 판단하여 제2 에지영역 및 제2 에지 이외의 영역으로 구분하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 (a-2)단계는 (a-2-1) 상기 제1 에지 이외의 영역의 채널 간 미분연산한 결과값에 대한 분산 평균이 기준 값 보다 작은 경우 제2 에지 영역으로 판단하고, 그렇지 않은 경우 제2 에지 이외의 영역으로 판단하는 단계; 및 (a-2-2) 상기 제2 에지 영역 내 임의 블록 내에서 이전 보간 값과 임시 보간 값의 유사성을 판단하여 제2 에지영역의 가/부를 판단하는 단계를 포함할 수 있다.
본 발명에 있어서, 상기 영상은 G 채널 영상일 수 있다.
본 발명에 있어서, 상기 (b)단계는 (b-1) 상기 구분된 영역에 대해 G 채널 내 보간 연산 및 G 채널 간 보간 연산을 융합하여 G 채널 보간값을 생성하는 단계; 및 (b-2) 상기 G 채널 보간값을 이용하여 R/B 채널의 보간값을 생성하는 단계를 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 색 보간 알고리즘으로 고품질의 영상을 획득할 수 있다. 또한 약한 스펙트럴 상관관계(weak spectral correlation) 영역에서 발생하는 결함(artifacts)을 줄일 수 있다. 더 나아가 주변 화소를 이용하여 에지 방향을 판단하여 저조도 잡음 영상에 대해서도 고해상도 영상을 획득할 수 있다.
도 1은 본 발명에 따른 영상 보간 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 에지방향 검출수단의 상세 블록도 이다.
도 3은 도 2 중 판단 기준 생성을 위해 G 채널에서 그라디언트를 구하는 방법을 설명하는 도면이다.
도 4는 도 2중 패턴 영역에서 에지 방향성 분류 기준을 설명하는 도면이다.
도 5는 도 2 중 에지 방향성 검증을 설명하는 도면이다.
도 6은 도 1 중 보간수단의 상세 블록도 이다.
도 7은 도 6 중 영상 보간을 위한 베이어 패턴을 보이는 도면이다.
을 설명하는 도면이다.
도 8은 도 6 중 B 위치에서 R 채널 보간을 설명하는 도면이다.
도 9는 종래 및 본 발명의 영상 보간 결과를 보이는 도면이다.
도 11은 종래 기술에 따른 영산 보간을 설명하기 위한 베이어 패턴이다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명에 따른 영상 보간 장치의 구성을 보이는 블록도로서, 영역 구분수단(100) 및 보간수단(200)을 포함한다.
영역 구분수단(100)은 채널 내 미분 연산(intra channel gradient) 및 채널 간 미분 연산(cross channel gradient)을 이용하여 입력되는 CFA 영상을 에지 영역 및 에지 이외의 영역 즉 패턴영역으로 구분한다. 본 발명에서 영역 구분수단(100)은 도 2에 개시된 바와 같이 제1 영역 구분부(110), 에지방향 결정부(121) 및, 에지방향 검증부(122)로 구성된 제2 영역 구분부(120)를 포함한다.
보간수단(200)은 구분된 영역에 대해 채널 내 보간(intra channel interpolation) 연산 및 채널 간 보간(inter channel interpolation) 연산을 융합하여 보간값을 생성한다. 본 발명에서 보간수단(200)은 도 6에 개시된 바와 같이 채널 간 보간부(211), 채널 내 보간부(212) 및 융합부(213)로 구성된 G 채널 보간부(210) 및 R/B 채널 보간부(220)를 포함한다.
이어서, 영역 구분수단(100)을 상세히 설명한다.
본 발명은 영상의 국부 영역의 특성을 잘 반영하면서, 에지 방향을 찾기 위해 미분(gradient)을 기반으로 영상영역을 나눈다. gradient 방법에서, 에지 방향에 따른 gradient는 작은 값을 가지며, 에지를 가로지르는 방향에 대한 gradient는 큰 값을 가지기 때문에, 에지 방향을 효과적으로 판정할 수 있다.
하지만, 색보간 과정에서 주어진 영상이 일반 영상이 아닌 다운 샘플링된 CFA(color filter array) 영상이기 때문에, 일반적인 영상에서 gradient와는 다른 점이 있다. CFA 영상은 같은 채널 값이 한 화소만큼의 차이를 두고 존재하기 때문에, 한 라인 에지나 한 라인 간격으로 반복적으로 존재하는 에지에 대해서는 효과적으로 에지 방향을 구분하기 힘들다. 이는 수직 또는 수평 방향으로 gradient를 구할 경우 두 값 모두 작은 값을 가지기 때문에, 어느 한 방향으로 판단하기 힘들고, 잘못된 방향으로 에지방향을 판단할 수 있다.
본 발명에서는 이러한 문제점을 줄이기 위하여, 영역 구분수단(100)은 두 개의 기준(Criterion 1, Criterion 2)을 사용하여 에지 방향을 판단하도록 한다. 이는 어느 하나의 기준으로 에지 방향을 판단할 경우 잘못된 방향으로 에지를 판단할 수 있는데, 반면 두 개의 기준으로 에지 방향을 판단할 경우 두 개의 기준으로 판단된 에지 방향이 일치하는 경우에만 확실한 에지 방향으로 하기 때문에 잘못된 방향으로 에지를 판단하는 경우를 줄일 수 있다.
제1 영역 구분부(110)는 intra channel gradient를 이용하여 CFA 영상을 제1 에지영역 및 에지가 아닌 패턴영역으로 구분한다. intra channel gradient는 각 R, G, B 채널 내에서 gradient를 나타낸다.
제2 영역 구분부(120)는 cross channel gradient 값을 이용하여 패턴영역의 영상을 제2 에지영역 및 에지가 아닌 패턴/플랫영역으로 구분한다. cross channel gradient는 G와 R 또는 G와 B 사이의 gradient를 나타낸다.
영역 구분수단(100)의 전체적인 영역구분 과정은 첫 단계에서 굵은 에지를 판단하고, 두 번째 단계에서 복잡한 에지를 판단하도록 설계한다.
제1 영역 구분부(110)가 CFA 영상을 제1 에지영역 및 패턴영역으로 구분할 때 두 개의 기준을 사용하여 구분한다. 두 개의 기준에 의한 판단 결과가 일치하는 경우에 한해 수직, 수평 방향 제1 에지라고 판단하고, 나머지 영역에 대해서는 에지가 아닌 패턴영역으로 판단한다. 에지 판단식은 하기 수학식 5와 같다.
Figure 112010002546765-pat00005
수학식 5에서 정의한 판단 기준은 intra channel gradient을 및 cross channel gradient를 이용하여 정한다. intra channel gradient는 굵은 에지와 같은 일반적인 에지 방향을 찾는데 용이한 반면, cross channel gradient는 세밀하고 복잡한 에지 영역에서 에지 방향을 잘 찾는다. 이러한 두 gradient의 장점을 이용하여 기준을 선정하고, 에지방향을 나누는 과정을 두 단계로 나누어 처리함으로써 패턴영역으로 판단되는 영역을 줄여 해상도를 향상시키도록 한다.
제1 영역 구분부(110)가 수행하는 영역 구분 과정의 첫 단계는 입력되는 CFA 영상을 제1 에지영역과 패턴영역으로 구분하는 과정으로 굵은 에지영역을 구분한다. 제2 영역 구분부(120)가 수행하는 영역 구분 과정의 두 번째 단계는 패턴영역을 제2 에지영역과 패턴/플랫 영역으로 구분하는 과정으로 복잡한 에지를 판단한다. 제1 영역 구분부(110)에서 굵은 에지영역의 에지 방향을 잘 판단하기 위해 굵은 에지영역에 적합한 intra channel gradient를 이용하고, 제2 영역 구분부(120)에서 복잡한 에지를 처리하기 위해 cross channel gradient를 이용한다.
제1 영역 구분부(110)에서 이용하는 intra channel gradient는 CFA 영상에 직접 적용하기 쉽지 한다. CFA 영상에서는 같은 채널 값들이 한 픽셀 이상 떨어져 있기 때문에 정확한 gradient를 구하는 것이 쉽지 않다. 그래서 제1 영역 구분부(110)는 도 3a에 도시된 바와 같이 CFA 영상의 R/B 채널 위치에 도 3b에 도시된 바와 같이 임시로 G 채널 값을 채워놓고 intra channel gradient를 구한다. 이때 임시로 G 채널 값을 채우는 방법은 RGB 채널 간 상관관계를 고려하여 수직 또는 수평 방향으로 보간을 수행한다. 임시로 채워진 G 채널 값과 본래 주어진 G 채널 값을 이용하여 intra channel gradient를 구할 수 있는데, 에지영역에서 나타나는 1차 미분(도 3c-1) 및 2차 미분(도 3c-2)의 특성이 유사하다. 각 수직 또는 수평 방향으로 1차 또는 2차 미분을 통해 gradient 값을 구하여 기준 1(Criterion 1)을 1차 미분, 기준 2(Criterion 2)를 2차 미분 값으로 정하고, 기준 1과 기준 2가 일치하는 경우에만 확실한 에지 방향이라고 판단한다.
각 수직, 수평 방향으로 임시적으로 보간된 영상에서 구한 gradient를 이용한 에지 판정식은 수학식 6과 같다.
Figure 112010002546765-pat00006
위 식에서 Gver 및 Ghor는 수직, 수평 방향으로 보간된 G 채널 값을 의미하고, ∇ver 및 ∇hor은 수직, 수평 방향에 대한 gradient를 나타내고, ∇의 윗 첨자 1, 2는 1차 미분, 2차 미분을 나타낸다. ∇verGhor 및 ∇horGver은 에지 방향 판단 시에 주된 역할을 하는 기준으로, 보간 방향과 수직인 방향에 대한 gradient로서, 에지 방향을 따라 보간한 경우가 그렇지 않은 경우보다 더 큰 값을 가진다. ∇verGver 및 ∇horGhor은 에지 방향 판단 시에 보조적인 역할을 하는 기준으로, 보간 방향에 따른 gradient로서, 수직, 수평 방향으로 보간된 값의 신뢰도를 의미하며, 에지 방향과 일치하는 방향으로 보간한 경우에 더 작은 값을 가진다. 에지 방향 판단은 수직, 수평 방향에 대한 기준 값을 비교하여 작은 값을 가지는 방향으로 에지 방향을 판단한다. 여기서 α는 수직, 수평 방향에 대한 기준의 비율을 조정하는 파라미터로서, 판단된 에지 방향의 확실성을 조절한다. α값이 작을수록 에지 방향 판단 에러가 적고, 굵은 에지만 판단하고, α값이 커지면 세밀한 에지 방향도 판단할 수 있지만 에지 방향 판단 에러가 발생할 수 있다. 본 발명에서는 응용에 따라 α값을 조절하여 에지 방향 판단 에러를 줄이면서 최대한 세밀한 에지까지 에지 방향을 판단할 수 있도록 한다.
이와 같은 처리로, 제1 영역 구분부(110)가 제1 에지영역 및 패턴영역의 구분을 완료하면, 제2 영역 구분부(120)는 패턴영역에 cross channel gradient를 이용하여 세밀한 에지영역을 구분하여 에지 방향에 따라 보간을 하고, 영역 구분이 힘든 영역은 가중치 합으로 처리한다. 제2 영역 구분부(120)는 영역 구분을 위해 에지방향 결정부(121) 및 에지방향 검증부(122)를 포함한다.
에지방향 결정부(121)는 cross channel gradient를 이용하여 패턴영역에 대한 에지 방향을 결정하고, 에지방향 검출부(122)는 결정된 에지 방향이 잘못된 방향인지, 옳은 방향인지 판단하여 제2 에지영역 또는 패턴/플랫영역으로 판단한다.
패턴영역은 에지 방향을 판단하기 어려운 복잡한 영역이기 때문에, 주변에 주어진 또는 이미 보간된 G 채널 값을 이용하여 에지 판단 검증 과정을 거쳐 에지 방향이 잘못된 방향으로 판단되는 경우를 줄이도록 한다.
에지방향 결정부(121)는 cross channel gradient를 이용하여 에지 방향을 결정한다. cross channel gradient는 에지 방향에 따라 gradient를 구하면 값의 변화가 거의 일정하고, 에지를 가로지르는 방향에 대해서는 값의 변화가 크다. 예를 들어 도 4a와 같이 G, B 사이의 gradient를 구할 수 있다.
cross channel gradient는 gradient를 취하는 방향에 따라 값의 부호가 달라지기 때문에, cross channel gradient를 직접 이용할 수 없다. 예를 들어 cross channel gradient의 절대값의 분산(variance)를 구하여 에지 판단 기준으로 이용할 수 있다. 또는 분산은 제곱 연산을 여러 번 해야 하기 때문에 하드웨어적인 복잡도가 커지게 되므로, 에지 방향 판단 성능은 유지하면서 하드웨어 복잡도를 줄이기 위해 cross channel gradient 변화량의 평균(mean)을 사용할 수 있으며 수학식 7과 같이 표현할 수 있다.
Figure 112010002546765-pat00007
cross channel gradient를 이용한 판단 기준만 사용할 경우, 일부 에지 영역에서 잘못된 방향으로 에지를 판단하는 경우가 발생하므로 이것을 줄이기 위해 보조 판단 기준으로 도 4b에 도시된 바와 같이 G 채널 gradient를 사용하다. G 채널 gradient를 구하는 방법은 intra channel gradient를 구하는 과정과 동일하다. 두 개의 판단 기준을 포함한 최종적인 에지 판단 식은 수학식 8과 같다.
Figure 112010002546765-pat00008
수학식 8에서 β는 앞서 사용한 α와 동일한 역할을 수행한다.
에지방향 검증부(122)는 앞서 판단된 에지 방향이 실제 에지 방향인지를 보간된 주변 값을 이용하여 검증하는 과정을 거쳐 최종적으로 에지를 결정한다. 결정된 결과에 따라 제2 에지영역 또는 패턴/플랫영역으로 나누어 진다. 에지방향 검증부(122)는 도 5를 이용하여 에지 방향의 가/부를 검증하는데, 도 5에 도시된 바와 같이 2×3 블록에서 위쪽 1×3 블록의 R 또는 B 위치에서 G 값은 이전 보간 과정에서 얻은 G 값을 채워놓고, 아래 1×3 블록의 R 또는 B 위치에서 G 값은 임시적으로 판단된 에지 방향에 따른 보간값을 사용하여, 위, 아래 블록의 유사성을 테스트한다. 두 블록이 유사하다고 판단되면, 임시적으로 판단된 에지 방향을 유지 즉 제2 에지영역으로 판단하고, 그렇지 않으면 플랫/패턴영역으로 판단한다. 판단 기준은 수학식 9와 같다.
Figure 112010002546765-pat00009
윗 블록의 gradient 값과 아래 블록의 gradient 값이 임계 값(threshold:Th) 보다 작은 경우 제2 에지영역으로 판단하고, 반대의 경우 플랫/패턴영역으로 처리한다. 블록 크기는 응용에 따라 그 크기를 변경하여 적용할 수 있다.
다음에, 보간수단(200)을 상세히 설명한다.
보간수단(200)은 구분된 제1 에지 영역 및 제2 에지 영역에 따른 각 보간 방법을 적용하여 최종적인 보간 값을 결정한다. 기존의 보간 방법은 R, G, B 채널 사이에 spectral 상관관계가 존재한다는 가정하에 이루어지는데, weak spectral 상관관계가 존재하는 영역에서 잘못된 값을 보간하는 경우가 발생한다. 그래서 채널 내 상관관계(intra channel correlation) 및 채널 간 상관관계(inter channel correlation)를 이용하여 각각 보간값을 구하고, 이들을 융합함으로써 weak spectral 상관관계영역에서 잘못된 값을 보간하는 경우를 줄이도록 한다.
채널 간 보간부(inter channel interpolation)(211)는 R, G, B 채널간 상관관계를 이용하여 보간값을 구한다. 여러 컬러 상관관계 가정 중 차분 모델(difference model)이 연산량이 적고, 성능도 우수하여 많이 이용된다. 컬러 차분 모델은 작은 영역 내에서 (G-R) 또는 (G-B) 값이 일정하다는 가정한다. 본 발명에서도 이러한 차분 모델을 이용하여 inter channel interpolation을 수행한다. 도 7은 R을 중심으로 하는 1차 베이어 패턴을 나타낸 것이다. 여기서 X는 좌표 위치를 나타낸다. 도 7에서 왼쪽 방향의 R, G 값을 이용하여 G 값을 보간하는 경우 inter channel interpolation 식은 수학식 10과 같다.
Figure 112010002546765-pat00010
그리고 채널 내 보간부(intra channel interpolation)(212)는 다음 수학식 11을 이용하여 보간값을 구한다.
Figure 112010002546765-pat00011
inter channel interpolation 과정은 두 단계로 나누어져 이루어진다. 첫 번째 단계는 남/북 방향에 대한 unidirectional interpolation 값을 융합하여 inter channel interpolation을 구하는 과정으로 수학식 12와 같다.
Figure 112010002546765-pat00012
다음 단계는 융합부(213)가 inter channel interpolation 값 및 intra channel interpolation 값들을 Kr 또는 Kb 분산을 이용하여 융합하는 과정으로 수학식 13과 같다.
Figure 112010002546765-pat00013
여기서,
Figure 112010002546765-pat00014
여기서 가중치는 Kr 또는 Kb 분산 값에 따라 분산이 작을수록 더 큰 가중치를 두어 구한다. 위 절차를 통해 최종적으로 수직 방향으로 보간된 G 값을 획득한다. 수평 방향으로 보간된 G 값은 수직 방향과 동일하므로 상세한 설명은 생략한다.
패턴/플랫영역의 경우 에지 방향을 수직, 수평 어느 한 방향으로 결정하기 어려운 영역이다. 그래서 앞의 보간 방법을 이용하여 수직, 수평 방향으로 보간된 값을 융합하여 G 채널 값을 구하며, 수학식 14와 같다.
Figure 112010002546765-pat00015
여기서,
Figure 112010002546765-pat00016
Figure 112010002546765-pat00017
여기서
Figure 112010002546765-pat00018
값은 보간된 G, R 또는 B 값으로 추정한 G 값과 본래 주어진 G 값 사이의 차분 에러의 분산을 나타낸다. 에러가 작을수록 더 큰 가중치를 준다. 보조적으로 cross channel gradient를 이용하여 gradient 값이 작은 쪽으로 더 큰 가중치를 준다.
이와 같은 방식으로 G 채널에 대한 보간이 완료되면, R/B 채널 보간부(220)는 G 채널 보간 결과를 이용하여 R/B 채널을 보간한다. 중심 위치를 기준으로 위쪽 R 또는 B 위치는 앞서 구한 G 채널 보간 결과를 이용하고, 아래 쪽 R 또는 B 위치는 임시적으로 G 채널 보간을 수행하여 구한 G 값을 사용한다. 도 8은 B 위치에서 R 보간을 수행하는 것을 나타낸 도면이다. B를 중심으로 대각선 방향으로 gradient를 구하여 에지 방향을 결정하고, 에지 방향에 따라 보간을 수행한다. 이를 식으로 나타내면 수학식 15와 같다.
Figure 112010002546765-pat00019
여기서 w는 결정된 에지 방향에 따라 그 영역이 결정된다. 또한 G 위치에서 R 보간 식은 수학식 16과 같다.
Figure 112010002546765-pat00020
B 채널 보간 식은 R 채널 보간 식과 동일하므로 생략한다. 이와 같은 처리를 통하여 R,G, B 채널에 대한 보간이 수행된다.
도 9는 본 발명에 따른 영상 보간 방법을 보이는 흐름도로써, 처음 베이어 CFA 영상이 입력되면(910단계), CFA 영상의 R/B 위치에 임시로 G 값을 채워놓고 intra channel gradient를 이용하여 CFA 영상을 제1 에지영역 및 패턴영역으로 구분한다(920단계).
cross channel gradient을 이용하여 패턴영역을 제2 에지영역 및 플랫/패턴영역으로 구분한다(930단계). 패턴 에지 영역의 경우 영역 구분이 쉽지 않기 때문에 추가적인 검증 과정을 거쳐 최종적인 에지 방향을 결정한다.
영역 구분이 완료되면, 구분된 제1 및 제2 에지영역에 대한 inter channel interpolation 및 intra channel interpolation을 각각 생성하고 이들을 융합하여 G 채널을 보간한다(940단계).
이어서, 상기 G 채널 보간값을 이용하여 구분된 플랫/패턴 영역의 G 채널을 보간한다(950단계).
모든 영역에 대한 G 채널 보간이 완료되면, 보간된 G 채널 값을 이용하여 R/B 채널을 보간한다(960단계).
이러한 단계를 거쳐 최종적인 컬러 영상을 획득할 수 있다.
도 10에는 기존의 영상 보간 결과 및 본 발명의 영상 보간 결과가 도시되어 있다. 도 10a-1 및 도 10a-2는 기존의 영상 보간 결과가 도시되어 있고, 도 10b-1 및 도 10b-2는 본 발명의 영상 보간 결과가 도시되어 있다. 본 발명에 따른 영상 보간의 경우 종래에 비해 고 품질의 영상을 획득할 수 있고, weak spectral 상관관계 영역에서 발생하는 artifact를 줄일 수 있으며, 저조도 잡음 영상에 대해 고해상도 영상을 획득할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 입력되는 CFA(color filter array) 영상의 R/B 채널 위치에 임시로 G 채널값을 채워놓고, 임시로 채워진 G 채널값과 본래 G 채널값에 대해 수직 또는 수평 방향으로 1차 미분 및 2차 미분을 구하여 상기 1차 및 2차 미분값이 일치하는 경우 제1 에지영역으로 구분하고, 상기 1차 및 2차 미분값이 다른 경우 패턴영역으로 구분하는 제1 영역 구분부;
    상기 CFA 영상의 G채널과 B채널의 미분연산 결과값을 이용하여 상기 패턴영역에 대한 에지 방향을 결정하고, 결정된 상기 에지 방향의 가/부를 판단하여 상기 패턴영역을 제2 에지영역 및 패턴/플랫영역으로 구분하는 제2 영역 구분부; 및
    상기 제1 에지영역 및 제2 에지영역에 대해, 기준 R 채널값과 상기 기준 R 채널에서 왼쪽 방향의 첫번째 R 채널값의 차이 및 상기 기준 R 채널에서 왼쪽 방향의 첫번째 G 채널값을 가산한 채널 내 보간 연산값을 구하고, 상기 제1 에지영역 및 제2 에지영역에 대해, 상기 기준 R 채널에서 왼쪽 방향의 첫번째 G 채널값 및 상기 기준 R 채널에서 오른쪽 방향의 첫번째 G 채널값을 가산한 채널간 보간 연산값을 구한 후, 상기 채널 내 보간 연산 값 및 상기 채널 간 보간 연산값을 가산하여 보간값을 생성하는 보간부;를 포함하는 것을 특징으로 하는 영상 보간 장치.
  2. 삭제
  3. 제 1항에 있어서, 상기 제2 영역 구분부는
    상기 패턴영역의 G채널 및 B채널을 미분연산 변화량의 평균값 및 상기 패턴영역의 R/B 채널 위치에 임시로 G 채널값을 채워놓고, 임시로 채워진 G 채널값과 본래 G 채널값에 대해 수직 또는 수평 방향으로 미분한 결과값을 이용하여 상기 패턴영역에 대한 에지 방향을 결정하는 에지 방향 결정부; 및
    상기 패턴영역에 임의의 블록을 설정하고, 상기 블록 중 상부블록의 R 또는 G 채널에 이전 보간된 G 채널값을 채우고, 상기 블록 중 하부블록의 R 또는 G 채널에 임시로 G 채널값을 채워놓고, 상기 상부블록의 미분값 및 하부블록의 미분값의 차이에 따라 상기 미분값의 차이가 기준값 미만인 경우 상기 에지 방향이 정확하다고 판단하고 상기 패턴영역을 상기 제2 에지영역으로 판단하며, 상기 미분값의 차이가 상기 기준값 이상인 경우 상기 에지 방향이 부정확하다고 판단하고 상기 패턴영역을 패턴/플랫영역으로 판단하는 판단부;를 포함하는 것을 특징으로 하는 영상 보간 장치.
  4. 삭제
  5. 삭제
  6. 입력되는 CFA(color filter array) 영상의 R/B 채널 위치에 임시로 G 채널값을 채워놓고, 임시로 채워진 G 채널값과 본래 G 채널값에 대해 수직 또는 수평 방향으로 1차 미분 및 2차 미분을 구하여 상기 1차 및 2차 미분값이 일치하는 경우 제1 에지영역으로 구분하고, 상기 1차 및 2차 미분값이 다른 경우 패턴영역으로 구분하는 제1 영역 구분단계;
    상기 CFA 영상의 G채널과 B채널의 미분연산 결과값을 이용하여 상기 패턴영역에 대한 에지 방향을 결정하고, 결정된 상기 에지 방향의 가/부를 판단하여 상기 패턴영역을 제2 에지영역 및 패턴/플랫영역으로 구분하는 제2 영역 구분단계; 및
    상기 제1 에지영역 및 제2 에지영역에 대해, 기준 R 채널값과 상기 기준 R 채널에서 왼쪽 방향의 첫번째 R 채널값의 차이 및 상기 기준 R 채널에서 왼쪽 방향의 첫번째 G 채널값을 가산한 채널 내 보간 연산값을 구하고, 상기 제1 에지영역 및 제2 에지영역에 대해, 상기 기준 R 채널에서 왼쪽 방향의 첫번째 G 채널값 및 상기 기준 R 채널에서 오른쪽 방향의 첫번째 G 채널값을 가산한 채널간 보간 연산값을 구한 후, 상기 채널 내 보간 연산 값 및 상기 채널 간 보간 연산값을 가산하여 보간값을 생성하는 보간단계;를 포함하는 것을 특징으로 하는 영상 보간 방법.
  7. 삭제
  8. 제 6항에 있어서, 상기 제2 영역 구분단계는
    상기 패턴영역의 G채널 및 B채널을 미분연산 변화량의 평균값 및 상기 패턴영역의 R/B 채널 위치에 임시로 G 채널값을 채워놓고, 임시로 채워진 G 채널값과 본래 G 채널값에 대해 수직 또는 수평 방향으로 미분한 결과값을 이용하여 상기 패턴영역에 대한 에지 방향을 결정하는 단계; 및
    상기 패턴영역에 임의의 블록을 설정하고, 상기 블록 중 상부블록의 R 또는 G 채널에 이전 보간된 G 채널값을 채우고, 상기 블록 중 하부블록의 R 또는 G 채널에 임시로 G 채널값을 채워놓고, 상기 상부블록의 미분값 및 하부블록의 미분값의 차이에 따라 상기 미분값의 차이가 기준값 미만인 경우 상기 에지 방향이 정확하다고 판단하고 상기 패턴영역을 상기 제2 에지영역으로 판단하며, 상기 미분값의 차이가 상기 기준값 이상인 경우 상기 에지 방향이 부정확하다고 판단하고 상기 패턴영역을 패턴/플랫영역으로 판단하는 단계;를 포함하는 것을 특징으로 하는 영상 보간 방법.
  9. 삭제
  10. 삭제
KR1020100003549A 2010-01-14 2010-01-14 영상 보간 장치 및 방법 KR101408360B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100003549A KR101408360B1 (ko) 2010-01-14 2010-01-14 영상 보간 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100003549A KR101408360B1 (ko) 2010-01-14 2010-01-14 영상 보간 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110083362A KR20110083362A (ko) 2011-07-20
KR101408360B1 true KR101408360B1 (ko) 2014-06-18

Family

ID=44921124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100003549A KR101408360B1 (ko) 2010-01-14 2010-01-14 영상 보간 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101408360B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003780B1 (ko) * 2014-01-02 2019-07-25 한화테크윈 주식회사 색 보간 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
KR20090015566A (ko) * 2007-08-09 2009-02-12 연세대학교 산학협력단 컬러 보간 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
KR20090015566A (ko) * 2007-08-09 2009-02-12 연세대학교 산학협력단 컬러 보간 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김창원 외 2명,'영역 적응적 컬러보간 알고리듬', 2008년 대한전자공학회 하계종합학술대회(2008.6) *
유두식 외 1명,'채널간 상관관계 및 에지 방향을 고려한 컬러 보간', 2007 정보 및 제어 학술대회 논문집(2007.10) *

Also Published As

Publication number Publication date
KR20110083362A (ko) 2011-07-20

Similar Documents

Publication Publication Date Title
US7499089B2 (en) Color interpolation method in bayer array
US8571312B2 (en) Image interpolation method and apparatus using pattern characteristics of color filter array
US7961232B2 (en) Calculating interpolation errors for interpolation edge detection
Lukac et al. Demosaicked image postprocessing using local color ratios
US20100123792A1 (en) Image processing device, image processing method and program
JPH1155695A (ja) レジストレーション誤差および色収差を測定する方法および装置
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
WO2005117455A1 (ja) Ｒａｗデ－タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
WO2005101854A1 (ja) 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ
JPH0799660A (ja) 動き補償予測装置
CN110852953B (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
US20090226097A1 (en) Image processing apparatus
KR20090015566A (ko) 컬러 보간 방법 및 장치
KR101408360B1 (ko) 영상 보간 장치 및 방법
KR101327790B1 (ko) 영상 보간 방법 및 장치
US9008463B2 (en) Image expansion apparatus for performing interpolation processing on input image data, and image expansion method thereof
CN114359050A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
JP2000165892A (ja) 画素補間方法および画像処理装置
US8442359B2 (en) Image interpolation method and apparatus using reference block based on direction
JP2003134523A (ja) 撮像装置及び撮像方法
US9076230B1 (en) Circuitry and techniques for image processing
JP4366836B2 (ja) 画像変換方法および画像変換装置
CN117041745A (zh) 智能影像处理中的颜色插值方法及装置
Lachine et al. Edge adaptive intra field de-interlacing of video images
Jeong et al. Edge-Adaptive Demosaicking for Reducing Artifact along Line Edge

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 6