KR100996797B1 - 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 Download PDF

Info

Publication number
KR100996797B1
KR100996797B1 KR1020080091581A KR20080091581A KR100996797B1 KR 100996797 B1 KR100996797 B1 KR 100996797B1 KR 1020080091581 A KR1020080091581 A KR 1020080091581A KR 20080091581 A KR20080091581 A KR 20080091581A KR 100996797 B1 KR100996797 B1 KR 100996797B1
Authority
KR
South Korea
Prior art keywords
component
pixel
color
pixels
image data
Prior art date
Application number
KR1020080091581A
Other languages
English (en)
Other versions
KR20090103669A (ko
Inventor
라스티스랄브 루칵
Original Assignee
세이코 엡슨 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세이코 엡슨 가부시키가이샤 filed Critical 세이코 엡슨 가부시키가이샤
Priority to KR1020080091581A priority Critical patent/KR100996797B1/ko
Publication of KR20090103669A publication Critical patent/KR20090103669A/ko
Application granted granted Critical
Publication of KR100996797B1 publication Critical patent/KR100996797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명의 화상 처리 절차는, 모자이크 화상 데이터를 수신하여 수직 방향의 모자이크 화상 데이터의 각 픽셀 칼럼에 관한 수직 방향 색차 성분과 수평 방향의 모자이크 화상 데이터의 각 픽셀 로우에 관한 수평 방향 색차 성분을 산출한다. 모자이크 화상 데이터는, 수직 방향의 G 성분의 픽셀과 R 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, 수직 방향의 G 성분의 픽셀과 B 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, 수평 방향의 G 성분의 픽셀과 R 성분의 픽셀의 교번 배열을 갖는 픽셀 로우, 및 수평 방향의 G 성분의 픽셀과 B 성분의 픽셀의 교번 배열을 갖는 픽셀 로우의 조합에 의해 표현된다. 상기 화상 처리 절차는, 그 후에 모자이크 화상 데이터로부터 R 성분의 픽셀과 B 성분의 픽셀을 선택하고, 적어도 선택된 픽셀의 각각에 관하여 수직 방향 색차 성분의 변화량을 수평 방향 색차 성분의 변화량과 비교하여 적어도 선택된 픽셀의 에지 방향을 검출한다. 상기 화상 처리 절차는, 검출된 에지 방향을 참조하여 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 모자이크 화상 데이터의 각 픽셀의 하나의 색 성분의 설정과 보간한다.

Description

화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는 프로그램 {IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM FOR ATTAINING IMAGE PROCESSING}
본 발명은 디지털 카메라와 같은 촬상 장치로 화상 데이터를 생성하는 기술에 관한 것이다. 보다 상세하게, 본 발명은 빛의 3원색에 대응하는 R(적색), G(녹색), 및 B(청색)의 파인 컬러 필터(fine color filter)의 모자이크(mosaic) 배열을 갖는 컬러 필터 어레이의 적용에 의해 컬러 화상 데이터를 생성하는 기술에 관한 것이다.
디지털 기술의 진보에 의해, 일반적으로 화상은 디지털 데이터(화상 데이터)로서 처리된다. 디지털 카메라와 같은 촬상 장치는 캡쳐(capture)된 화상을 화상 데이터의 형태로 즉시 출력할 수 있게 한다. 촬상 장치는 일반적으로 빛의 세기(light intensity)를 전기 신호로 변환하기 위한 작은 소자들로 구성된 전기 화상 센서가 장비된다. 촬상 장치가 광학계에 의하여 피사체의 캡쳐된 화상을 화상 센서 상에 초점 맞추며, 개개의 소자들에서 빛의 세기를 전기 신호로서 검출하여 화상 데이터를 생성한다. 광학계에 입사하는 빛은, 빛의 3원색에 대응하는 3개의 색 성분 R, G, 및 B로 분리될 수 있다. 3개의 색 성분 R, G, 및 B의 각 컬러 빛은 화상 센서 상에 초점 맞추어지고, 각 색 성분의 빛의 세기를 나타내는 전기 신호가 출력되어 컬러 화상 데이터를 생성한다.
광학계에 입사하는 광의 분리로서 획득된 3개의 색 성분 R, G, 및 B의 각 컬러 빛을 화상 센서 상에 초점 맞추는 가장 간단한 방법은, 분광 프리즘(spectroscopic prism)을 이용하여 입사광을 3개의 색 성분 R, G, 및 B의 컬러 빛으로 분리하고 각 컬러 빛을 화상 센서 상에 초점 맞추어 각 색 성분 R, G, 및 B에 관한 화상 데이터를 생성하는 것이다. 이 방법은 바람직스럽지 않게도 3개의 화상 센서를 필요로 한다. 하나의 넓게 사용되는 방법은 R, G, 및 B의 색 성분 중 하나를 화상 센서를 구성하는 각각의 소자에 할당하여 하나의 화상 센서에 의해 각 색 성분 R, G, 및 B의 검출을 달성하는 것이다. 이 기술의 일반적인 구성은, R 성분의 검출을 위해 지정된 소자의 전면에 R 성분만의 투과를 허용하는 작은 컬러 필터, G 성분의 검출을 위해 지정된 소자의 전면에 G 성분만의 투과를 허용하는 작은 컬러 필터, 및 B 성분의 검출을 위해 지정된 소자의 전면에 B 성분만의 투과를 허용하는 작은 컬러 필터를 제공한다. 이러한 구성은 하나의 화상 센서로 3개의 색 성분 R, G, 및 B의 화상 데이터의 동시 검출을 가능하게 한다. 하나의 화상 센서로 각 색 성분 R, G, 및 B를 검출하는 기술에 있어서는, 미리 설정된 색 성분(예컨대, R 성분)의 검출을 위해 지정된 각 소자가 다른 색 성분(예컨대, G 성분 및 B 성분)을 검출할 수 없다. 따라서, 결과 화상 데이터는 R 성분의 픽셀, G 성분의 픽셀, B 성분의 픽셀의 모자이크 배열을 갖는다. 각 픽셀의 누락 색 성분의 이웃 픽셀의 색 성분과의 보간(interpolation)은, 모든 픽셀의 모든 색 성분 R, G, 및 B의 설정을 갖는 컬러 화상 데이터의 생성을 가능하게 한다.
3개의 화상 센서에 의존하여 3개의 색 성분 R, G, 및 B의 분리 컬러 빛을 전기 신호로 변환하여 각 색 성분 R, G, 및 B의 화상 데이터를 생성하는 촬상 장치는, 때때로 ‘3 화상 센서’ 장치로 호칭된다. 하나의 화상 센서만을 사용하여 모자이크 배열의 화상 데이터를 생성하고 보간에 의해 누락 색 성분을 연산하는 촬상 장치는 때때로 ‘단일 화상 센서’장치로 호칭된다. 모자이크 배열의 화상 데이터의 누락 색 성분을 보간하여 모든 색 성분 R, G, 및 B의 설정을 갖는 컬러 화상 데이터를 생성하는 처리는 가끔씩 ‘디모자이킹(demosaicking) 처리’로 일컬어진다.
단일 화상 센서 장치는 누락 색 성분의 보간을 필요로 한다. 이것은 당연히 보간을 위한 시간을 소비하고 보간 오류에 기인한 의사(擬似, pseudo) 컬러의 발생을 야기할 수 있다. 의사 컬러의 발생을 방지하면서 보간을 위해 요구되는 시간의 증가를 최소화시킬 목적의 다양한 제안 기술들이 있다. 하나의 제안 기술은 누락 색 성분의 연산 후에 각 픽셀의 색차(color difference) 성분(예컨대, G 성분과 R 성분 간의 차분)을 연산하고, 목표 픽셀을 포함하는 미리 설정된 수의 픽셀의 픽셀 어레이로부터 최대 색차 성분을 갖는 픽셀과 최소 색차 성분을 갖는 픽셀을 노이즈로서 제거하며, 목표 픽셀의 각 색 성분을 재산출한다(일본 특허 공개 공보 제2005-167974호 참조). 다른 제안 기술은 각 픽셀의 연산된 색차 성분에 로우 패스 필터(low-pass filter)를 적용하고, 노이즈의 제거 후에 색차 성분으로부터 목표 픽셀의 각 색 성분을 재산출한다(일본 특허 공개 공보 제2005-260908호 참조).
촬상 장치의 더 높은 사진 품질에 대한 소비자들의 증가하는 요구에 의해, 의사 컬러의 발생을 방지하는 디모자이킹 기술의 개발이 높게 요구되었다. 더 높은 사진 품질에 대한 소비자들의 요구를 충족시키기 위해 촬상 장치에 의해 캡쳐된 각 화상을 구성하는 픽셀의 개수가 증가되고 있다. 고속 처리를 가능하게 하는 디모자이킹 기술의 개발도 요구되었다.
종래 기술의 디모자이킹 처리에 대한 이들 모순된 요구들을 동시에 만족시키기 위해서, 의사 컬러의 발생을 효과적으로 방지하면서 고속 처리를 가능하게 하는 디모자이킹 기술을 제공하기 위한 요구가 있을 것이다.
앞서 언급된 요구의 적어도 일부를 성취하기 위해서, 본 발명의 일 양태는 각 픽셀의 빛의 3원색에 대응하는 3개의 색 성분 R, G, 및 B 중에 단일 색 성분의 설정을 갖는 모자이크 화상 데이터를 수신하고 수신된 모자이크 화상 데이터에 일련의 화상 처리를 하여 각 픽셀의 3개의 색 성분 R, G, 및 B 모두의 설정을 갖는 컬러 화상 데이터를 생성하는 화상 처리 장치에 대한 것이다. 모자이크 화상 데이터는, G 성분의 픽셀과 수직 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼(column), G 성분의 픽셀과 수직 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수평 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 로우(row), 및 G 성분의 픽셀과 수평 방향 의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 로우의 조합에 의해 표현된다.
상기 화상 처리 장치는 2개 방향의 색차 연산 모듈, 에지 방향 검출 모듈, 및 누락 색 성분 보간 모듈을 포함한다. 수직 방향 색차 성분 연산 모듈은, 모자이크 화상의 각 픽셀 칼럼에 포함된 각 픽셀의 G 성분과 다른 색 성분 간의 수직 방향 색차 성분을 연산하기 위해, 수직으로 이웃하는 가용한 성분들을 이용하여 다른 색 성분의 픽셀 위치에서 G 성분을 획득하거나 G 성분 픽셀에서 다른 색 성분을 획득한다. 수평 방향 색차 성분 연산 모듈은, 모자이크 화상의 각 픽셀 로우에 포함된 각 픽셀의 G 성분과 다른 색 성분 간의 수평 방향 색차 성분을 연산하기 위해, 수평으로 이웃하는 색 성분들을 이용하여 다른 색 성분의 픽셀 위치에서 G 성분을 획득하거나 G 성분 픽셀에서 다른 색 성분을 획득한다. 에지 방향 검출 모듈은, 모자이크 화상으로부터 R 성분의 픽셀과 B 성분의 픽셀을 선택하고, 픽셀 위치 각각에서, 적어도 선택된 픽셀의 각각에 관하여 수직 방향 색차 성분의 변화량(variation)을 수평 방향 색차 성분의 변화량과 비교하여 적어도 선택된 픽셀의 에지 방향을 검출한다. 마지막으로, 누락 색 성분 보간 모듈은, 검출된 에지 방향을 참조하여 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 모자이크 화상 데이터의 각 픽셀의 하나의 색 성분의 설정과 보간한다.
본 발명의 다른 양태는 상기 구성의 화상 처리 장치에 대응하는 화상 처리 방법이다. 상기 화상 처리 방법은, 각 픽셀의 빛의 3원색에 대응하는 3개의 색 성분 R, G, 및 B 중에 단일 색 성분의 설정을 갖는 모자이크 화상 데이터를 수신하고 수신된 모자이크 화상 데이터에 일련의 화상 처리를 하여 각 픽셀의 3개의 색 성분 R, G, 및 B 모두의 설정을 갖는 컬러 화상 데이터를 생성한다.
상기 화상 처리 방법은, G 성분의 픽셀과 수직 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수직 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수평 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 로우, 및 G 성분의 픽셀과 수평 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 로우의 조합에 의해 표현되는 화상 데이터를 모자이크 화상 데이터로서 수신한다. 상기 화상 처리 방법은 그 후에, 모자이크 화상 데이터의 각 픽셀 칼럼에 포함된 각 픽셀의 G 성분과 다른 색 성분을 보간에 의해 획득하여, 수직 방향의 각 픽셀 칼럼에 포함된 각 픽셀의 G 성분과 다른 색 성분 간의 수직 방향 색차 성분을 연산한다. 유사하게, 상기 화상 처리 방법은, 모자이크 화상의 각 픽셀 로우에 포함된 각 픽셀의 G 성분과 다른 색 성분을 보간에 의해 획득하여, 수평 방향의 각 픽셀 로우에 포함된 각 픽셀의 G 성분과 다른 색 성분 간의 수평 방향 색차 성분을 연산한다. 상기 화상 처리 방법은 그 다음에, 모자이크 화상 데이터로부터 R 성분의 픽셀과 B 성분의 픽셀을 선택하고, 상기 픽셀 위치 각각에서, 적어도 선택된 픽셀의 각각에 관하여 수직 방향 색차 성분의 변화량을 수평 방향 색차 성분의 변화량과 비교하여 적어도 선택된 픽셀의 에지 방향을 검출한다. 상기 화상 처리 방법은, 검출된 에지 방향을 참조하여, 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 모자이크 화상 데이터의 각 픽셀의 하나의 색 성분의 설정과 보간한다.
본 발명의 양태에 따른 상기 화상 처리 장치 및 상기 대응하는 화상 처리 방법에 있어서, 그 절차는 수신된 모자이크 화상 데이터를 구성하는 각 픽셀 칼럼의 수직 방향 색차 성분과 모자이크 화상 데이터를 구성하는 각 픽셀 로우의 수평 방향 색차 성분의 양쪽을 산출한다. 상기 모자이크 화상 데이터는, 수직 방향의 G 성분의 픽셀과 R 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, 수직 방향의 G 성분의 픽셀과 B 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, 수평 방향의 G 성분의 픽셀과 R 성분의 픽셀의 교번 배열을 갖는 픽셀 로우, 및 수평 방향의 G 성분의 픽셀과 B 성분의 픽셀의 교번 배열을 갖는 픽셀 로우의 조합으로서 표현된다. G 성분과 R 성분 간의 색차 성분 또는 G 성분과 B 성분 간의 색차 성분이 각 픽셀 칼럼의 수직 방향 색차 성분으로서 획득된다. 유사하게, G 성분과 R 성분 간의 색차 성분 또는 G 성분과 B 성분 간의 색차 성분이 각 픽셀 로우의 수평 방향 색차 성분으로서 획득된다. 상기 절차는 그 다음에, 모자이크 화상 데이터로부터 R 성분의 픽셀과 B 성분의 픽셀을 선택하고, 적어도 선택된 픽셀의 각각에 관하여 수직 방향 색차 성분의 변화량을 수평 방향 색차 성분의 변화량과 비교하여 적어도 선택된 픽셀의 에지 방향을 검출한다. 앞서 설명된 바와 같이, 수직 방향 색차 성분과 수평 방향 색차 성분의 각각은 G 성분과 R 성분 간의 색차 성분 또는 G 성분과 B 성분 간의 색차 성분을 나타낸다. R 성분의 픽셀에 있어서는, 수직 방향 색차 성분과 수평 방향 색차 성분의 양쪽이 G 성분과 R 성분 간의 색차 성분이다. 따라서, 수직 방향 색차 성분과 수평 방향 색차 성분 간의 비교는 이들 R 성분의 픽셀 각각의 에지 방향의 정확한 검출을 가능하게 한다. B 성분의 픽셀에 있어서는, 수직 방향 색차 성분과 수평 방향 색차 성분의 양쪽이 G 성분과 B 성분 간의 색차 성분이다. 따라서, 수직 방향 색차 성분과 수평 방향 색차 성분 간의 비교는 이들 B 성분의 픽셀 각각의 에지 방향의 정확한 검출을 가능하게 한다. 상기 절차는 상기 정확하게 검출된 에지 방향을 참조하여, 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 모자이크 화상 데이터의 각 픽셀의 하나의 색 성분의 설정과 적정하게 보간한다. 따라서, 이러한 배열은 적정한 컬러 화상 데이터의 생성을 가능하게 한다.
본 발명의 일 양태에 따른 화상 처리 장치에 있어서, 각 픽셀의 에지 방향의 검출을 위해 이용되는 수직 방향 색차 성분의 변화량과 수평 방향 색차 성분의 변화량은 하기의 방식으로 산출될 수 있다. 하나의 바람직한 응용에 따르면, 화상 처리 장치는 먼저 에지 방향의 검출의 객체로서 각각의 목표 픽셀을 선택한다. 목표 픽셀의 수직 방향 색차 성분의 변화량이 목표 픽셀을 포함하는 목표 픽셀 칼럼의 수직 방향 색차 성분과 상기 목표 픽셀 칼럼에 인접한 인근 픽셀 칼럼의 수직 방향 색차 성분으로부터 산출된다. 일예로서, 목표 픽셀의 수직 방향 색차 성분의 변화량이, 목표 픽셀을 포함하는 목표 픽셀 칼럼과 2개의 픽셀 칼럼, 즉, 상기 목표 픽셀 칼럼에 인접한 2개의 인근 픽셀 칼럼의 수직 방향 색차 성분으로부터 산출될 수 있다. 다른 예로서, 목표 픽셀의 수직 방향 색차 성분의 변화량이, 더 많은 수의 픽셀 칼럼 즉, 적어도, 목표 칼럼을 포함하는 목표 픽셀 칼럼과 상기 목표 픽셀 칼럼의 양측의 2개의 인근 픽셀 칼럼의 수직 방향 색차 성분으로부터 산출될 수 있다. 유사하게, 목표 픽셀의 수평 방향 색차 성분의 변화량이 목표 픽셀을 포함하는 목표 픽셀 로우의 수평 방향 색차 성분과 상기 목표 픽셀 로우에 인접한 인근 픽셀 로우의 수평 방향 색차 성분으로부터 산출된다. 이 경우에, 목표 픽셀의 수평 방향 색차 성분의 변화량이 2개의 픽셀 로우, 즉, 목표 픽셀을 포함하는 목표 픽셀 로우와 상기 목표 픽셀 로우에 인접한 하나의 인근 픽셀 로우의 수평 방향 색차 성분으로부터 산출될 수 있거나, 더 많은 수의 픽셀 로우의 수평 방향 색차 성분으로부터 산출될 수 있다.
에지 방향 검출의 객체로서 목표 픽셀을 포함하는 목표 픽셀 칼럼과 상기 목표 픽셀 칼럼에 인접한 하나의 인근 픽셀 칼럼을 적어도 포함하는 다중 픽셀 칼럼에 기반한 산출은, 단일 픽셀 칼럼에 기반한 산출과 비교하여, 더 높은 정밀도로 수직 방향 색차 성분의 변화량을 판정한다. 유사하게, 목표 픽셀을 포함하는 목표 픽셀 로우와 상기 목표 픽셀 로우에 인접한 하나의 인근 픽셀 로우를 적어도 포함하는 다중 픽셀 로우에 기반한 산출은, 단일 픽셀 로우에 기반한 산출과 비교하여, 더 높은 정밀도로 수평 방향 색차 성분의 변화량을 판정한다. 목표 픽셀의 정밀하게 산출된 수직 방향 색차 성분과 정밀하게 산출된 수평 방향 색차 성분 간의 비교는 목표 픽셀의 에지 방향의 적정한 검출을 가능하게 한다.
픽셀 칼럼의 2가지 상이한 타입의 수직 방향 색차 성분, 즉, G 성분과 R 성분 간의 색차 성분 및 G 성분과 B 성분 간의 색차 성분이 있다. 서로 인접한 픽셀 칼럼의 수직 방향 색차 성분은 동일 타입의 수직 방향 색차 성분을 갖지 않을 수 있다. 이 경우에는, 상이한 타입의 색차 성분으로부터의 변화량의 산출이 무의미한 것으로 여겨진다. 하지만, 상이한 타입의 색차 성분이라도 화상의 인근 위치의 유사한 경향의 변화량을 갖는다는 것이 경험적으로 알려져 있다. 따라서, 상이한 타입의 색차 성분으로부터 산출된 목표 픽셀의 수직 방향 색차 성분의 변화량일지라도 중요하다. 따라서, 다중의 인근 픽셀 칼럼의 수직 방향 색차 성분으로부터의 산출은, 높은 정밀도로 목표 픽셀의 수직 방향 색차 성분의 변화량을 판정한다. 픽셀 로우의 2가지 상이한 타입의 수평 방향 색차 성분, 즉, G 성분과 R 성분 간의 색차 성분 및 G 성분과 B 성분 간의 색차 성분도 있다. 따라서, 상이한 타입의 색차 성분으로부터 산출된 목표 픽셀의 수평 방향 색차 성분의 변화량일지라도 중요하다. 따라서, 다중 인근 픽셀 로우의 수평 방향 색차 성분으로부터의 산출은 높은 정밀도로 목표 픽셀의 수평 방향 색차 성분의 변화량을 판정한다. 목표 픽셀의 수직 방향 색차 성분의 변화량과 수평 방향 색차 성분의 변화량 간의 비교는 목표 픽셀의 에지 방향의 적정한 검출을 가능하게 한다.
본 발명의 상기한 양태의 다른 바람직한 응용에 따르면, 화상 처리 장치가 모자이크 화상 데이터에 포함된 R 성분의 픽셀과 B 성분의 픽셀만의 에지 방향을 검출한다.
모자이크 화상 데이터의 R 성분의 픽셀과 B 성분의 픽셀은 G 성분의 보간을 필요로 한다. G 성분은 B 성분 및 R 성분과 비교하여, 인간의 시각이 밝기의 변화량에 더 높은 민감성을 갖는 특정 파장에 더 가깝다. 따라서, G 성분은 결과적인 사진 품질에 더 큰 영향을 미친다. 모자이크 화상 데이터의 R 성분의 픽셀과 B 성분의 픽셀의 에지 방향의 검출은 G 성분으로 하여금 상기 검출된 에지 방향을 참조하여 이들 픽셀에 보간될 수 있게 한다. 이러한 배열은 모든 픽셀에 대해 에지 방향이 검출되지는 않은 경우에서도 효과적이고 적정한 보간을 보장한다.
본 발명의 상기한 양태의 또 다른 바람직한 응용에 따르면, 픽셀의 수직 방향 색차 성분의 변화량이 픽셀의 수평 방향 색차 성분의 변화량보다 더 큰 경우에, 화상 처리 장치가 각 픽셀의 에지 방향을 수평 방향으로 검출한다. 픽셀의 수직 방향 색차 성분의 변화량이 픽셀의 수평 방향 색차 성분의 변화량보다 더 작은 경우에, 화상 처리 장치가 각 픽셀의 에지 방향을 수직 방향으로 검출한다. 픽셀의 수직 방향 색차 성분의 변화량이 픽셀의 수평 방향 색차 성분의 변화량과 동등한 경우에, 화상 처리 장치가 각 픽셀의 에지 방향을 수직 방향 또는 수평 방향으로서 검출한다. 이 경우에, 픽셀의 에지 방향이 수직 방향이나 수평 방향으로 고정될 수 있고, 혹은 수직 방향과 수평 방향 간에 교번적으로 또는 랜덤하게 전환될 수 있다.
에지 방향은 수직 방향이나 수평 방향이다. 상기 설정은 누락 색 성분의 보간을 현저히 단순화시킨다. 이러한 응용에 있어서, 수직 방향의 에지나 수평 방향의 에지가 실제적으로 대각선 에지를 갖거나 에지조차 없는 픽셀에서도 존재한다고 하는 가정 아래 보간이 수행된다. 그러나, 에지가 없는 픽셀의 수직 방향의 에지 또는 수평 방향의 에지의 존재의 가정은, 대개 결과적인 사진 품질에 영향을 미치지 않는다. 또한, 대각선 에지를 갖는 픽셀의 수직 및 수평 에지 방향의 추정에 의한 보간은, 후술되는 정밀한 보간 개념을 이용하는 것으로 인해서, 대개는 결과적인 사진 품질을 눈에 띌 정도로는 악화시키지 않는다.
본 발명의 상기 양태의 다른 바람직한 응용에 따르면, 상기 화상 처리 장치는, 보간의 객체인 보간 목표 픽셀의 누락 색 성분인 G 성분을, 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 인근 픽셀의 쌍과 보간 목표 픽셀의 좌측 및 우측의 좌측 및 우측 인근 픽셀의 쌍 사이에서 선택되는 한 쌍의 인근 픽셀의 색 성분과 보간한다.
보간 목표 픽셀에서 검출된 에지 방향이 수직 방향인 경우에는, 보간 목표 픽셀의 G 성분이 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 인근 픽셀의 쌍에서 획득되는 색 성분과 보간된다. 한편, 보간 목표 픽셀에서 검출된 에지 방향이 수평 방향인 경우에는, 보간 목표 픽셀의 G 성분이 보간 목표 픽셀의 좌측 및 우측의 좌측 및 우측 인근 픽셀의 쌍에서 획득되는 색 성분과 보간된다. 보간 목표 픽셀이 에지를 갖지 않는 경우에는, 보간 목표 픽셀의 G 성분이 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 인근 픽셀의 쌍 또는 보간 목표 픽셀의 좌측 및 우측의 좌측 및 우측 인근 픽셀의 쌍에서 획득된 색 성분과 보간된다. 이러한 배열은 2개의 인근 픽셀의 색 성분에 기반하여 G 성분의 고속 보간을 가능하게 한다. G 성분의 보간의 객체인 보간 목표 픽셀은 모자이크 화상 데이터의 G 성분의 설정이 없는 비-G 픽셀(R 픽셀과 B 픽셀)이다. 모자이크 화상 데이터는 상대적으로 다수의 상기 비-G 픽셀을 포함한다. G 성분의 고속 보간은 모자이크 화상 데이터의 누락 색 성분을 보간하는 처리의 전반을 현저히 가속화한다.
보간 목표 픽셀의 G 성분의 보간을 위한 상기 응용의 바람직한 일 실시예에 있어서, 화상 처리 장치는 보간 목표 픽셀의 수직 방향 색차 성분 또는 수평 방향 색차 성분을 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 인근 픽셀의 쌍의 수직 방향 색차 성분 또는 보간 목표 픽셀의 좌측 및 우측의 좌측 및 우측 인근 픽셀 의 쌍의 수평 방향 색차 성분과 보간한다. 그 다음에, 화상 처리 장치는, 보간 목표 픽셀에서 보간된 수직 방향 색차 성분 또는 수평 방향 색차 성분과 모자이크 화상 데이터의 보간 목표 픽셀의 색 성분의 설정에 기반하여, 보간 목표 픽셀의 G 성분을 연산한다.
보간의 객체가 G 성분인 보간 픽셀에 있어서는, R 성분 또는 B 성분이 존재한다. 수직 방향의 색차 성분과 수평 방향의 색차 성분은 G 성분과 기존 성분 간의 차분으로서 부여된다. 상기 구성의 화상 처리 장치는 보간 목표 픽셀의 수직 방향 색차 성분 또는 수평 방향 색차 성분을 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 인근 픽셀의 수직 방향 색차 성분 또는 보간 목표 픽셀의 좌측 및 우측의 좌측 및 우측 인근 픽셀의 수평 방향 색차 성분과 보간한다. 보간 목표 픽셀의 G 성분은 보간된 수직 방향 색차 성분 또는 수평 방향 색차 성분과 보간 목표 픽셀의 모자이크 화상 데이터 세트의 색 성분으로부터 즉시 연산될 수 있다. 수직 방향 또는 수평 방향의 보간된 색차 성분으로부터의 연산은 G 성분의 적정한 연산을 보장하고, 의사 컬러의 발생을 효과적으로 방지한다. G 성분과 R 성분 간의 차분의 현저한 변화량 또는 G 성분과 B 성분 간의 차분의 현저한 변화량은 눈에 띄는 색 변화를 이끈다. 각 색 성분 R, G, 및 B의 보간은, 보간 목표 픽셀의 색 성분들 간의 차분으로 하여금 인근 픽셀의 색 성분들 간의 대응 차분으로부터 현저히 변화되게 한다. 이것은 의사 컬러의 발생을 이끌 수 있다. 하지만, 수직 방향 또는 수평 방향의 색차 성분의 보간과 보간된 색차 성분으로부터 G 성분의 연산은, 적어도 보간하는 방향의 색 성분들 간의 차분의 큰 변화량을 방지한다. 이러한 배열은 의사 컬러의 발생을 효과적으로 방지한다.
상기 응용의 다른 바람직한 실시예에 있어서, 화상 처리 장치가 모자이크 데이터의 G 성분의 설정이 없는 모든 픽셀의 G 성분을 보간하고, 그 후에 픽셀의 다른 누락 색 성분을 보간한다.
상기한 바와 같이, 보간 목표 픽셀의 상부 및 하부의 인근 픽셀 또는 보간 목표 픽셀의 좌측 및 우측의 인근 픽셀에서 획득되는 생 성분에 기반하여, 각 보간 목표 픽셀의 G 성분이 신속하게 보간된다. 모자이크 화상 데이터의 G 성분의 설정이 없는 모든 픽셀의 G 성분의 고속 보간 후에, 다른 누락 색 성분이 보간된 G 성분과 모자이크 화상 데이터의 픽셀의 색 성분의 설정과 즉시로 그리고 신속하게 보간될 수 있다.
본 발명의 상기한 양태의 다른 바람직한 응용에 있어서, 누락 색 성분의 보간 전에, 화상 처리 장치는 모자이크 화상 데이터에 포함된 적어도 R 성분의 픽셀과 B 성분의 픽셀의 에지 방향을 검출하여, 에지 방향 맵(map)을 생성한다. 화상 처리 장치는 에지 방향 맵에 저장된 에지 방향을 참조하여 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 보간한다.
이러한 구성의 화상 처리 장치에 있어서, 에지 방향의 검출은 각 픽셀의 누락 색 성분의 보간으로부터 분리되고, 따라서 처리의 전반을 이상적으로 단순화시킨다. 다중 픽셀의 에지 검출은 에지 방향 맵을 간단히 참조하는 것에 의해 동시에 획득될 수 있다. 각 픽셀의 누락 색 성분은 인근 픽셀의 에지 방향에 기반하여 적정하게 보간된다. 모자이크 화상 데이터의 R 성분의 픽셀과 B 성분의 픽셀에 관 해서만 에지 방향을 검출하는 구조에 있어서는, 에지 방향의 검출이 없는 픽셀이 있다. 상기한 경우에서도, 각 픽셀의 누락 색 성분은 인근 픽셀의 검출된 에지 방향으로부터 추정된 픽셀의 에지 방향에 기반하여 보간될 수 있다.
본 발명의 다른 응용에 있어서, 컴퓨터가 상기한 화상 처리 방법을 실현하기 위한 컴퓨터 판독 가능 매체에 저장된 프로그램을 읽어 들여서 각각의 기능을 달성한다. 따라서, 본 발명의 다른 양태는, 각 픽셀의 빛의 3원색에 대응하는 3개의 색 성분 R, G, 및 B 중에 단일 색 성분의 설정을 갖는 모자이크 화상 데이터를 수신하고 수신된 모자이크 화상 데이터에 일련의 화상 처리를 하여 각 픽셀의 3개의 색 성분 R, G, 및 B 모두의 설정을 갖는 컬러 화상 데이터를 생성하는 방법을 컴퓨터로 하여금 실현하게 하는 프로그램을 저장한 컴퓨터 판독 가능 매체이다.
상기 프로그램은,
G 성분의 픽셀과 수직 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수직 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수평 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 로우, 및 G 성분의 픽셀과 수평 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 로우의 조합에 의해 표현되는 화상 데이터를 모자이크 화상 데이터로서 수신하는 기능;
모자이크 화상 데이터의 각 픽셀 칼럼에 포함된 각 픽셀의 G 성분과 다른 색 성분 간의 수직 방향 색차 성분을 연산하기 위해, 수직으로 이웃하는 가용한 성분을 이용하여, 다른 색 성분의 픽셀 위치의 G 성분을 획득하거나 G 성분 픽셀 위치 의 다른 색 성분을 획득하는 기능;
모자이크 화상 데이터의 각 픽셀 로우에 포함된 각 픽셀의 G 성분과 다른 색 성분 간의 수평 방향 색차 성분을 연산하기 위해, 수평으로 이웃하는 색 성분을 이용하여, 다른 색 성분의 픽셀 위치의 G 성분을 획득하거나 G 성분 픽셀 위치의 다른 색 성분을 획득하는 기능;
모자이크 화상 데이터로부터 R 성분의 픽셀과 B 성분의 픽셀을 선택하고, 상기 픽셀 위치 각각에서, 선택된 픽셀에 관하여 수직 방향 색차 성분의 변화량을 수평 방향 색차 성분의 변화량과 비교하여 적어도 선택된 픽셀의 에지 방향을 검출하는 기능; 및
검출된 에지 방향을 참조하여, 모자이크 화상 데이터의 각 픽셀의 2개의 누락 색 성분을 모자이크 화상 데이터의 각 픽셀의 하나의 색 성분의 설정과 보간하는 기능들을 컴퓨터로 하여금 달성하게 한다.
컴퓨터는 본 발명의 이 양태에 따른 프로그램을 판독하여, 상기한 각 기능을 달성하고 모자이크 화상 데이터의 누락 색 성분을 적정하게 보간한다. 따라서, 이러한 배열은 컬러 화상 데이터의 고속 생성을 보장하고, 의사 컬러의 발생을 효과적으로 방지한다.
본 발명은 작은 크기의 에지까지도 고도로 정밀하게 검출하는 것을 보장하고 따라서 정밀한 에지 방향 맵을 생성하는 것을 가능하게 한다. 본 발명은 이러한 정밀한 에지 방향 맵을 참조하여 각 픽셀의 누락 색 성분을 적정하게 보간하므로, 에지 방향 맵의 생성 처리와 누락 색 성분의 보간이 도리어 간소하면서도 고속으로 실행될 수 있다. 따라서, 본 발명은, R, G, 및 B 색 성분의 모자이크 배열을 갖는 원 화상 데이터로부터 적정한 컬러 화상 데이터의 고속 생성을 가능하게 한다.
본 발명은 첨부 도면에 기반한 하기의 시퀀스(sequence)의 후술되는 바람직한 실시예를 참조하여 더욱 충분히 이해될 수 있다.
A. 시스템 구성
B. 컬러 화상 데이터 생성 처리의 개요
C. 에지 방향 맵 생성 처리
D. G 성분 보간 처리
E. 비(non)-G 픽셀 보간 처리
F. G 픽셀 보간 처리
A. 시스템 구성
도 1은 본 발명의 일 실시예의 화상 처리 장치(30)가 장비된 디지털 카메라(100)의 구성을 개략적으로 예시한다. 예시된 바와 같이, 디지털 카메라(100)는 다중 렌즈의 군을 갖는 광학계(10), 광학계(10)에 의해 형성된 피사체의 화상을 전기 신호로 변환하는 촬상 어셈블리(assembly)(20), 및 촬상 어셈블리(20)로부터 전기 신호를 수신하여 수신된 전기 신호에 미리 설정된 일련의 화상 처리를 하여 컬러 화상 데이터를 생성하는 화상 처리 장치(30)를 포함한다.
촬상 어셈블리(20)는 빛의 세기를 전기 신호로 변환하기 위한 다중 파인 촬상 소자의 2차원 배열을 갖는 화상 센서(24)를 갖는다. 컬러 필터 어레이(22)는 화상 센서(24)의 전방에 구비되고 R(적색), G(녹색), 및 B(청색)의 파인 컬러 필터의 모자이크 배열을 갖는다. 컬러 필터 어레이(22)를 구성하는 R, G, 및 B 컬러 필터의 배열은 상세하게 후술될 것이다. R 컬러 필터, G 컬러 필터, 및 B 컬러 필터는 R 컬러 빛의 투과, G 컬러 빛의 투과, 및 B 컬러 빛의 투과를 각각 가능하게 하도록 구성되었다. 화상 센서(24)는, 컬러 필터 어레이(22)의 R, G, 및 B 컬러 필터의 모자이크 배열에 따라, R 빛의 세기에 감응하는 화상 부분, G 빛의 세기에 감응하는 화상 부분, 및 B 빛의 세기에 감응하는 화상 부분의 모자이크 배열을 갖는 화상 데이터를 캡쳐한다.
디지털 카메라(100)에 장착된 화상 처리 장치(30)는 촬상 어셈블리(20)로부터 모자이크 배열의 화상 데이터를 수신하여 각 픽셀의 R 성분, G 성분, B 성분의 설정을 갖는 컬러 화상 데이터를 생성한다. 본 실시예의 화상 처리 장치(30)에서는, CPU, ROM, RAM, 및 데이터 입출력 인터페이스(I/F)가 상호 데이터 전송을 가능하게 하도록 버스(bus)를 통해 상호 접속되어 있다. CPU는 ROM에 저장된 프로그램에 따라 컬러 화상 데이터를 생성하도록 일련의 처리를 실행한다. 따라서, 생성된 결과적인 컬러 화상 데이터는 외부 출력 단자(40)를 통해 외부 장치에 출력될 수 있고, 또는 외부 기록 매체(50)에 출력될 수 있다.
화상 센서(24)에 의해 캡쳐되는 R, G, 및 B 성분의 모자이크 배열을 갖는 화상 데이터는, 각 픽셀의 R, G, 및 B 성분의 설정을 갖는 컬러 화상 데이터를 생성 하기 위해 화상 처리 장치(30)에 의해 참조되는 소스(source) 데이터로서 이용된다. 따라서, 화상 센서(24)에 의해 캡쳐되는 모자이크 배열의 화상 데이터는, 이하에서 ‘원(raw) 화상 데이터’로 일컬어질 수 있다.
도 2는 컬러 필터 어레이(22)와 화상 센서(22)의 구조를 도시한 개념도이다. 앞서 언급된 바와 같이, 화상 센서(24)는 빛의 세기에 대응하는 전기 신호를 출력하는 파인 촬상 소자의 2차원 배열을 갖는다. 도 2의 예시된 예에 있어서, 파인 촬상 소자는 격자 무늬로 배열된다. 화상 센서(24)의 격자 패턴의 작은 직사각형의 각각은 하나의 촬상 소자를 개념적으로 나타낸다.
컬러 필터 어레이(22)는 화상 센서(24)를 구성하는 다중 촬상 소자의 각각의 위치에 대응하는 하나의 R 컬러 필터, G 컬러 필터, 및 B 컬러 필터 세트를 갖는다. 도 2에 있어서, 드문드문하게 해치(hatch)를 넣은 직사각형, 빽빽하게 해치를 넣은 직사각형, 및 해치를 넣지 않은 비어 있는 직사각형은, 각각, R 컬러 필터, B 컬러 필터, 및 G 컬러 필터를 나타낸다. R, G, 및 B 컬러 필터의 배열에 있어서, G 컬러 필터가 먼저 서로 대각선이 되도록 위치되어, 체커보드(checkerboard) 무늬를 형성한다. 즉, G 컬러 필터는 컬러 필터 어레이(22)의 면적의 절반을 점유한다. 그 다음에 동일 개수의 R 컬러 필터와 B 컬러 필터가 컬러 필터 어레이(22)의 나머지 절반 면적에 고르게 배열된다. 도 2에 도시된 이러한 배열의 결과적인 컬러 필터 어레이(22)는 베이어(Bayer) 컬러 필터 어레이로 칭해진다.
앞서 언급된 바와 같이, G 컬러 필터, R 컬러 필터, 및 B 컬러 필터는 G 컬러 빛만의 투과, R 컬러 빛만의 투과, B 컬러 빛만의 투과를, 각각, 가능하게 하도 록 설계되었다. 따라서, 화상 센서(24)는 도 2에 도시된 바와 같은 화상 센서(24)의 전방에 위치되는 베이어 컬러 필터 어레이(22)의 기능에 의해 모자이크 배열의 화상 데이터를 캡쳐한다. 모자이크 배열의 화상 데이터는 보통의 화상 데이터와 동일한 방식으로 처리될 수 없으며, 바로는 화상으로 표현될 수 없다. 화상 처리 장치(30)는 모자이크 배열의 화상 데이터(원 화상 데이터)를 수신하여 각 픽셀의 R, G, 및 B 성분의 설정을 갖는 보통의 컬러 화상 데이터를 생성한다.
B. 컬러 화상 데이터 생성 처리의 개요
도 3은 원 화상 데이터로부터 컬러 화상 데이터를 생성하기 위해 실시예의 화상 처리 장치(30)에 의해 실행되는, 컬러 화상 데이터 생성 처리를 도시하는 플로우차트이다. 이러한 실시예의 구조에 있어서, 화상 처리 장치(30)에 포함된 CPU는 소프트웨어 구성에 의해 이러한 컬러 화상 데이터 생성을 실행한다. 하지만, 이것은 필수적이지는 않으며, 특정 하드웨어 요소, 예컨대, 신호 프로세서가 동일 목적을 위해 이용될 수 있다.
컬러 화상 데이터 생성 처리의 시작 시에, CPU는 먼저 화상 센서(24)로부터 소스 데이터인 원 화상 데이터를 수신하고(단계 S100), 상세하게 후술되는 바와 같이 수신되는 원 화상 데이터를 색차 성분의 데이터로 변환한다(단계 S102).
도 4는 원 화상 데이터를 색차 성분의 데이터로 변환하는 처리를 개념적으로 도시한다. 도 4의 상부는 화상 센서(24)로부터 읽어 들여지는 원 화상 데이터의 개념도를 도시한다. 베이어 컬러 필터 어레이에 의해 획득되는 원 화상 데이터는 R, G, 및 B 성분의 모자이크 배열을 갖는다. 수평 방향에 있어서는, 원 화상 데이터의 2가지 타입의 픽셀 로우: 교번적으로 배열된 G 픽셀(G 성분을 갖는 픽셀)과 R 픽셀(R 성분을 갖는 픽셀)을 갖는 픽셀 로우, 및 교번적으로 배열된 G 픽셀과 B 픽셀(B 성분을 갖는 픽셀)을 갖는 픽셀 로우만이 있다. 유사하게, 수직 방향에 있어서는, 원 화상 데이터의 2가지 타입의 픽셀 칼럼: 교번적으로 배열된 G 픽셀과 R 픽셀을 갖는 픽셀 칼럼, 및 교번적으로 배열된 G 픽셀과 B 픽셀을 갖는 픽셀 칼럼만이 있다. 도 4의 중간은, 원 화상 데이터가 수평 방향으로 교번적인 G 픽셀과 R 픽셀의 픽셀 로우 및 교번적인 G 픽셀과 B 픽셀의 픽셀 로우만으로 이루어지고 교번적인 G 픽셀과 R 픽셀의 픽셀 칼럼 및 교번적인 G 픽셀과 B 픽셀의 픽셀 칼럼만으로 이루어지는 것을 개념적으로 도시한다.
이러한 관찰의 결과에 근거하여, 본 실시예의 컬러 화상 데이터 생성 처리는 R, G, 및 B 성분의 원 화상 데이터를, 수평 방향의 픽셀 로우의 색 성분의 차분(수평 방향의 색차 성분)을 나타내는 데이터 및 수직 방향의 픽셀 칼럼의 색 성분의 차분(수직 방향의 색차 성분)을 나타내는 데이터로 변환한다. 예를 들어, 원 화상 데이터는 교번적인 G 픽셀과 R 픽셀의 픽셀 로우 또는 픽셀 칼럼에 관한 G 및 R 성분 간의 색차 성분의 데이터로 변환된다. 유사하게, 원 화상 데이터는 교번적인 G 픽셀과 B 픽셀의 픽셀 로우 또는 픽셀 칼럼에 관한 G 및 B 성분 간의 색차 성분의 데이터로 변환된다. 색차 성분을 산출하기 위한 계산식이 추후에 상세히 기술될 것이다.
도 4의 하부는 이렇게 획득된 수평 방향 및 수직 방향의 색차 성분을 개념적 으로 도시한다. 하부의 좌측 도면은 수직 방향의 원 화상 데이터를 처리하여 획득되는 수직 방향의 색차 성분(CDv)을 도시한다. 해치를 넣은 픽셀 칼럼의 각각은 교번적인 G 픽셀과 B 픽셀의 픽셀 칼럼이다. 따라서, 이 픽셀 칼럼의 각 색차 성분(CDv)은 G 성분과 B 성분 간의 색차 성분을 나타낸다. 나머지 해치를 넣지 않은 픽셀 칼럼의 각각은 교번적인 G 픽셀과 R 픽셀의 픽셀 칼럼이다. 따라서, 이 픽셀 칼럼의 각 색차 성분(CDv)은 G 성분과 R 성분 간의 색차 성분을 나타낸다. 수평 방향의 원 화상 데이터는 유사하게 처리될 수 있다. 해치를 넣은 픽셀 로우의 각각은 G 픽셀과 B 픽셀 간의 색차 성분(CDh)을 부여한다. 나머지 해치를 넣지 않은 픽셀 로우의 각각은 G 픽셀과 R 픽셀 간의 색차 성분(CDh)을 부여한다.
도 5는 원 화상 데이터로부터 색차 성분을 산출하기 위한 계산식을 도시한다. 도 5(a)는 수직 방향의 색차 성분(CDv)을 산출하기 위한 계산식을 나타내고, 도 5(b)는 수평 방향의 색차 성분(CDv)을 산출하기 위한 계산식을 나타낸다. 이들 계산식에서는, ‘z’가 화상 센서(24)에 의해 획득된 원 화상 데이터의 값을 나타내고, z(r,s)가 화상의 원래 세트의 위치로부터 아래 방향의 r번째 픽셀 위치와 원래의 위치로부터 우측 방향의 s번째 픽셀 위치에 의해 정의되는 특정 위치의 값을 나타낸다(도 4의 상부 참조).
도 5(a)를 참조하여 보면, 그 설명은 수직 방향의 색차 성분(CDv)을 산출하기 위한 계산식에 관한 것이다. 색차 성분(CDv)의 연산의 객체인 목표 픽셀이 G 성분(G 픽셀)을 갖는 픽셀인 경우에는, 도 5(a)의 상부 계산식이 채택된다. 처리는 먼저 목표 픽셀의 상부 및 하부의 상부 및 하부 픽셀의 평균 값(즉, 일점쇄선으 로 에워싸인 2번째 항)을 산출하고 목표 픽셀의 G 성분에서 산출된 평균(즉, 파선으로 에워싸인 1번째 항)을 감산하여 수직 방향의 목표 픽셀의 색차 성분(CDv)을 산출한다. 색차 성분(CDv)의 연산을 위한 목표 픽셀이 G 픽셀이므로, 목표 픽셀의 색조(tone) 값 z(r,s)는 당연히 G 성분을 나타낸다. 2번째 항의 요소 z(r-1,s)는 목표 픽셀 상부의 상부 픽셀의 원 화상 데이터의 색조 값을 나타내는 반면, 2번째 항의 요소 z(r+1,s)는 목표 픽셀 하부의 하부 픽셀의 원 화상 데이터의 색조 값을 나타낸다. 도 4를 참조하여 앞서 설명된 바와 같이, 목표 G 픽셀의 상부 및 하부의 상부 및 하부 픽셀은 R 픽셀 또는 B 픽셀일 수 있지만 항상 동일 색 성분의 픽셀이다. 따라서, 도 5(a)의 상부 계산식의 일점 쇄선에 의해 에워싸인 2번째 항은 상부 및 하부 픽셀(즉, R 픽셀 또는 B 픽셀)의 값으로부터 산출된 R 성분 또는 B 성분을 나타낸다. 도 5(a)의 상부 계산식의 적용은, R 픽셀 또는 B 픽셀인 상부 및 하부 픽셀과는 관계없이, G 성분(G 픽셀)을 갖는 픽셀에 관한 수직 방향의 색차 성분(CDv)을 판정한다.
상부 및 하부 픽셀인 R 픽셀 및 B 픽셀에 대한 동일 계산식의 적용이 2가지 상이한 타입의 색차 성분(CDv)을 부여한다는 것에 주목해야 한다. 상부 및 하부 픽셀이 R 픽셀인 경우에는, 수직방향의 결과적인 색차 성분(CDv)이 G 성분과 R 성분 간의 색차 성분을 나타낸다. 한편, 상부 및 하부 픽셀이 B 픽셀인 경우에는, 수직방향의 결과적인 색차 성분(CDv)이 G 성분과 B 성분 간의 색차 성분을 나타낸다.
수직 방향의 색차 성분(CDv)은 G 픽셀 이외의 픽셀(즉, R 픽셀과 B 픽셀)에 관하여 유사하게 연산될 수 있다. 예를 들어, 색차 성분(CDv)의 연산의 객체인 목표 픽셀이 R 픽셀인 경우에는, 도 4를 참조하여 앞서 설명된 바와 같이 목표 픽셀의 상부 및 하부의 상부 및 하부 픽셀이 G 픽셀이다. 상부 및 하부 픽셀의 평균값은 색차 성분(CDv)의 연산의 객체인 목표 픽셀의 G 성분을 지정하는 것으로 생각된다. 지정된 G 성분에서 목표 픽셀(이 경우에는, R 성분)의 색조 값의 감산은 색차 성분(CDv)을 판정한다. 목표 픽셀인 B 픽셀 세트의 각각은 동일한 일련의 처리를 받는다. G 픽셀 이외의 픽셀에 관해서는, 도 5(a)의 하부 계산식에 나타낸 바와 같이, 우측의 파선에 의해 에워싸인 1번째 항에서 일점쇄선에 의해 에워싸인 2번째 항의 감산은 수직 방향의 색차 성분(CDv)을 부여한다.
동일 계산식이, G 픽셀 이외의 목표 픽셀인 R 픽셀과 B 픽셀 세트의 양쪽에 관하여, 수직 방향의 색차 성분(CDv)의 연산에 적용될 수 있다. 하지만, 목표 픽셀로서 처리된 R 픽셀과 B 픽셀이 2가지 상이한 타입의 색차 성분(CDv)을 부여한다는 것에 주목해야 한다. 목표 픽셀이 R 픽셀인 경우에는, 결과적인 색차 성분(CDv)이 G 성분과 R 성분 간의 색차 성분을 나타낸다. 한편, 목표 픽셀이 B 픽셀인 경우에는, 결과적인 색차 성분(CDv)이 G 성분과 R 성분 간의 색차 성분을 나타낸다.
본 실시예의 컬러 화상 데이터 생성 처리는 2가지 상이한 타입의 색차 성분(CDv)이 있는 진보된 처리를 위한 완전히 동일한 계산식을 적용한다. 동일 계산식의 적용은 종래의 단순 처리에 비교될 수 있는 2가지 상이한 타입의 색차 성분(CDv)을 갖는 진보된 처리의 간소함과 높은 속도를 이상적으로 달성한다. 하지 만, 종래의 단순 처리와는 달리, 본 실시예의 이러한 진보된 처리는 의사 컬러의 발생의 방지와 더불어 적정한 디모자이킹을 가능하게 한다.
수평 방향의 색차 성분(CDh)은 앞서 설명된 수직 방향의 색차 성분(CDv)와 동일한 방식으로 연산될 수 있다. 색차 성분(CDh)의 연산은 도 5(b)를 참조하여 간략히 설명된다. 도 5(b)의 상부 계산식에 나타낸 바와 같이, 우측의 파선에 의해 에워싸인 1번째 항에서 일점쇄선에 의해 에워싸인 2번째 항의 감산은 수평 방향의 G 픽셀의 색차 성분(CDh)을 부여한다. 계산식에 있어서, 요소 z(r,s)는 색차 성분의 연산의 객체인 목표 픽셀의 원 화상 데이터의 색조 값(즉, G 성분)을 나타낸다. 요소 z(r,s-1)가 목표 픽셀 좌측의 좌측 픽셀의 원 화상 데이터의 색조 값을 나타내는 반면, 요소 z(r,s+1)는 목표 픽셀 우측의 우측 픽셀의 원 화상 데이터의 색조 값을 나타낸다. 목표 픽셀의 좌측 및 우측의 좌측 및 우측 픽셀은 R 픽셀이거나 B 픽셀일 수 있지만 항상 동일 색 성분의 픽셀이다.
G 픽셀 이외의 목표 픽셀에 관한(즉, R 목표 픽셀 또는 B 목표 픽셀에 관한) 수평 방향의 색차 성분(CDh)의 연산에 있어서, R 또는 B 목표 픽셀의 좌측 및 우측의 좌측 및 우측 픽셀은 G 픽셀이다. 도 5(b)의 하부 계산식에 나타낸 바와 같이, 파선에 의해 에워싸인 1번째 항(좌측 및 우측 픽셀의 평균값)에서 일점 쇄선에 의해 에워싸인 2번째 항(목표 픽셀의 색조 값)의 감산은 수평 방향의 색차 성분(CDh)을 부여한다.
동일 계산식이, 좌측 및 우측 픽셀로서 R 픽셀 또는 B 픽셀을 갖는 목표 G 픽셀에 관한 그리고 G 픽셀 이외의 목표 픽셀인 R 픽셀과 B 픽셀 세트의 양쪽에 관 한, 수평 방향의 색차 성분(CDh)의 연산에 적용될 수 있다. 하지만, 상기 연산은 2가지 상이한 타입의 색차 성분(CDh), 즉, G 성분과 R 성분 간의 색차 성분 및 G 성분과 B 성분 간의 색차 성분을 부여한다. 완전히 동일한 계산식의 적용은 종래의 단순 처리에 비교될 수 있는 수평 방향의 2가지 상이한 타입의 색차 성분(CDh)을 갖는 진보된 처리의 간소함과 높은 속도를 이상적으로 달성한다.
도 5(a)와 5(b) 간의 비교로부터 명확히 이해되는 바와 같이, 수직 방향의 색차 성분(CDv)의 연산을 위해 사용되는 계산식은 수평 방향의 색차 성분(CDh)의 연산을 위해 사용되는 계산식과 상당히 유사하다. 즉, 처리 흐름은 상이한 2 방향의 색차 성분(CDv, CDh)의 양쪽의 연산을 위해 표준화될 수 있다. 이것은 처리 전반의 간소함과 높은 속도를 더욱 향상시킨다.
도 3의 플로우차트의 단계(S102)에서, 화상 센서(24)에 의해 캡쳐된 원 화상 데이터는 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)으로 변환된다. 필수적이지는 않을지라도, 이들 색차 성분으로부터 있음직한 노이즈의 제거 목적을 위해, 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)에 로우 패스 필터를 적용하는 것이 바람직하다. 후술되는 바와 같이, 본 실시예의 컬러 화상 데이터 생성 처리는 화상에 포함된 에지 방향의 검출을 위해 색차 성분을 이용한다. 로우 패스 필터가 에지를 희미해지게 하고 에지의 검출 정밀도를 저하시키는 경향을 갖기 때문에, 로우 패스 필터의 적용은 일반적으로 바람직하지 않다. 하지만, 본 실시예의 절차는 후술되는 바와 같이 극도로 높은 정밀도로 에지 방향의 검출을 가능하게 한다. 따라서, 약간의 에지 희미해짐(blur)은 검출 정밀도를 현저히 저하시키지 않으며, 노이즈 제거가 에지 방향의 안정적인 검출을 가능하게 한다.
도 6은 색차 성분에 포함된 노이즈의 제거를 위해 적용되는 로우 패스 필터를 도시한다. 도 6(a)은 수직 방향의 색차 성분(CDv)에 적용되고 수평 방향의 색차 성분(CDh)에 적용되는 로우 패스 필터를 도시한다. 더 나은 이해를 위해서, 도 6(b)은 수평 방향의 색차 성분(CDh)에의 로우 패스 필터의 적용을 도시한다. 로우 패스 필터 적용의 객체인 목표 픽셀은 도 6(b)에서 해치를 넣은 직사각형에 의해 표시된다. 본 실시예의 로우 패스 필터는 목표 픽셀의 색차 성분과 목표 픽셀의 좌측 및 우측의 2개의 좌측 픽셀 및 2개의 우측 픽셀의 색차 성분을 합산한다. 목표 픽셀의 색차 성분은 4개의 픽셀의 웨이트(weight)로 곱해짐으로써, 합산된 색차 성분이 8개의 픽셀에 대응한다. 이 경우에 있어서, 상기 합계의 더 낮은 비트(bit)로의 간단한 3-비트 시프트(shift)는 상기 합계를 8로 나눈 것과 동등한 하나의 픽셀의 색차 성분을 부여한다. 이러한 웨이트 부여는 로우 패스 필터에 의해 고속 처리를 하는 것을 가능하게 한다.
이전에 설명된 바와 같이, 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)의 각각은 G 성분과 R 성분 간의 색차 성분 또는 G 성분과 B 성분 간의 색차 성분을 나타낼 수 있다. 로우 패스 필터는, 색차 성분의 그 상이한 타입을 고려함 없이, 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)에 적용될 수 있다. 따라서, 본 실시예의 컬러 화상 데이터 생성 처리는 진보된 처리의 극도의 간소함과 높은 속도를 달성한다.
도 3의 플로우차트를 다시 참조하여 보면, 상기한 방식의 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)의 연산 후에, 본 발명의 컬러 화상 데이터 생성 처리는 이들 색차 성분의 데이터로 에지 방향 맵을 생성한다(에지 방향 맵 생성 처리)(단계 S104). 에지 방향 맵은 화상에 포함된 각 에지의 방향을 수직 방향 또는 수평 방향으로 나타낸다. 에지 방향은 모든 픽셀에 대해 필수적으로 설정되지는 않을 수도 있으나, 적어도 비-G 픽셀(즉, R 픽셀과 B 픽셀)에 대해서는 설정되어야 한다. 본 실시예의 컬러 화상 데이터 생성 처리는 후술되는 바와 같이 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)에 근거하여 에지 방향을 검출한다. 이것은 에지 방향의 정밀하고 상대적으로 고속의 검출을 보장한다. 에지 방향 맵 생성 처리의 세부는 후술될 것이다.
에지 방향 맵의 생성 후에, CPU는 G 픽셀 이외의 각 목표 픽셀(즉, R 픽셀 또는 B 픽셀)의 G 성분의 색조 값을 보간에 의해 판정한다(G 성분 보간 처리)(단계 S106). G 성분 보간 처리는 에지 방향 맵을 참조하여 인근 픽셀의 G 성분의 값과의 보간을 실행하여 비-G 목표 픽셀의 G 성분의 적정한 값을 판정한다. G 성분 보간 처리의 세부는 후술될 것이다.
CPU는 G 픽셀 이외의 비-G 목표 픽셀의 나머지 색 성분의 보간을 동시에 실행한다(비-G 픽셀 보간 처리)(단계 S108). R 픽셀 또는 B 픽셀일 수 있는 비-G 목표 픽셀의 G 성분은 이전 단계(S106)에서 보간에 의해 이미 판정되었다. 따라서, 단계(S108)의 처리는 B 목표 픽셀에 대한 R 성분을 보간하면서, R 목표 픽셀의 B 성분을 보간한다. 따라서, G 픽셀 이외의 픽셀은 획득된 모든 색 성분 R, G, 및 B 를 갖는다. 비-G 픽셀 보간 처리(G 픽셀 이외의 비-G 목표 픽셀 각각에 관한 G 성분의 보간 후에 나머지 색 성분의 보간)의 세부는 후술될 것이다.
G 픽셀 이외의 픽셀의 보간의 완료 시에, CPU는 각 G 목표 픽셀에 관하여 원 화상 데이터의 누락 색 성분(R 성분 및 B 성분)을 보간한다(G 픽셀 보간 처리)(단계 S110). G 픽셀 보간 처리는 또한 에지 방향 맵을 참조하여 보간을 실행해서 G 목표 픽셀의 누락 색 성분의 적정한 값을 판정한다. 이 G 픽셀 보간 처리의 세부는 후술될 것이다.
G 픽셀 이외의 픽셀의 누락 색 성분의 보간(단계 S106 및 S108)과 G 픽셀의 누락 색 성분의 보간(단계 S110)의 완료 시에, 모든 픽셀은 획득된 모든 색 성분 R, G, 및 B를 갖는다. 그 후에, CPU는 획득된 RGB 색 성분을 원 화상 데이터로부터 생성된 컬러 화상 데이터로서 출력하고(단계 S112), 도 3의 컬러 화상 데이터 생성 처리를 종료한다.
상기한 바와 같이, 본 실시예의 컬러 화상 데이터 생성 처리는 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)에 기반해서 에지 방향을 검출하여 에지 방향 맵을 생성한다. 보다 상세하게는, 에지 방향이 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)의 2가지 상이한 타입(G 성분과 R 성분 간의 색차 성분 및 G 성분과 B 성분 간의 색차 성분)에 따라 검출된다. 이러한 특성은 높은 정밀도를 갖는 에지 방향 맵의 생성을 가능하게 한다. 고도로 정밀한 에지 방향 맵의 적용은 원 화상 데이터에 대한 누락 색 성분의 적정한 보간을 가능하게 한다. 에지 방향 맵 생성 처리와 누락 색 성분의 보간 양쪽은 도리어 간단하며 고 속으로 실행될 수 있다. 따라서, 본 실시예의 상기한 일련의 처리는 R, G, 및 B 색 성분의 모자이크 배열을 갖는 원 화상 데이터로부터 적정한 컬러 화상 데이터의 고속 생성을 가능하게 한다. 하기의 설명은 순차적으로 에지 방향 맵 생성 처리, G 성분 보간 처리(G 픽셀 이외의 픽셀의 G 성분의 보간), 비-G 픽셀 보간 처리(G 픽셀 이외의 픽셀의 나머지 색 성분의 보간), 및 G 픽셀 보간 처리(G 픽셀의 누락 색 성분의 보간)의 세부에 관한 것이다.
C. 에지 방향 맵 생성 처리
도 7은 본 실시예의 화상 처리 장치(30)에 의해 도 3의 컬러 화상 데이터 생성 처리의 단계 S104에서 실행되는 에지 방향 맵 생성 처리의 세부를 도시하는 플로우차트이다.
에지 방향 맵 생성 처리는 먼저 에지 방향 검출의 객체로서 하나의 목표 픽셀을 선택하고(단계 S200), 수직 방향의 색차 성분의 변화량(Vv)을 산출한다(단계 S202). 수직 방향의 변화량(Vv)은 당연히 수직 방향의 색차 성분(CDv)으로부터 산출된다.
도 8은 수직 방향의 색차 성분(CDv)으로부터의 수직 방향의 변화량(Vv)의 산출을 도시한다. 도 8(a)은 계산식을 도시하고 도 8(b)은 도 8(a)의 계산식에 따른 수직 방향의 변화량(Vv)의 산출을 개념적으로 도시한다. 도 8(b)의 해치를 넣은 직사각형은 목표 픽셀의 위치를 나타낸다. 수직 방향의 변화량(Vv)의 연산 처리는 먼저 목표 픽셀의 색차 성분(CDv)과 목표 픽셀 상부의 상부 픽셀 간의 차분의 제곱 을 산출한다. 유사하게, 연산 처리는 목표 픽셀의 색차 성분(CDv)과 목표 픽셀 하부의 하부 픽셀 간의 차분의 제곱을 산출한다. 도 8(b)의 해치를 넣은 목표 픽셀과 상부 픽셀의 사이 및 해치를 넣은 목표 픽셀과 하부 픽셀의 사이에 도시된 빈 화살표는, 각 픽셀의 색차 성분(CDv) 간의 차분의 제곱의 연산을 나타낸다.
목표 픽셀과 상부 및 하부 픽셀의 색차 성분들(CDv) 간의 각 차분의 제곱의 연산 후에, 연산 처리는 유사하게, 목표 픽셀 좌측의 좌측 픽셀의 색차 성분(CDv)과 상기 좌측 픽셀의 상부 및 하부의 상부 및 하부 픽셀 간의 각 차분의 제곱과 더불어, 목표 픽셀 우측의 우측 픽셀의 색차 성분(CDv)과 상기 우측 픽셀의 상부 및 하부의 상부 및 하부 픽셀 간의 각 차분의 제곱을 산출한다. 도 8(b)은 수직 방향으로 배열된 6쌍의 픽셀로부터 획득된 6개의 제곱을 도시한다. 이들 6개의 제곱의 합계가 목표 픽셀에 관한 수직 방향의 변화량(Vv)으로 지정된다.
도 7의 플로우차트를 다시 참조하여 보면, 수직 방향의 변화량(Vv)의 산출 후에, 에지 방향 맵 생성 처리는 수평 방향의 색차 성분의 변화량(Vh)을 산출한다(단계 S204). 수평 방향의 변화량(Vh)은 연산을 위한 수평 방향의 색차 성분(CDh)의 이용을 제외하고 수직 방향의 변화량(Vv)의 산출과 동일한 방식으로 산출된다.
도 9는 수평 방향의 색차 성분(CDh)으로부터의 수평 방향의 변화량(Vh)의 산출을 도시한다. 도 9(a)는 계산식을 도시하고 도 9(b)는 도 9(a)의 계산식에 따른 수평 방향의 변화량(Vh)의 산출을 개념적으로 도시한다. 도 9(b)의 빈 화살표에 의해 도시된 바와 같이, 연산 처리는 목표 픽셀의 색차 성분(CDh)과 목표 픽셀의 좌측 및 우측의 좌측 및 우측 픽셀 간의 각 차분의 제곱, 목표 픽셀 상부의 상부 픽셀의 색차 성분(CDh)과 상기 상부 픽셀의 좌측 및 우측의 좌측 및 우측 픽셀 간의 각 차분의 제곱, 및 목표 픽셀 하부의 하부 픽셀의 색차 성분(CDh)과 상기 하부 픽셀의 좌측 및 우측의 좌측 및 우측 픽셀 간의 각 차분의 제곱을 연속적으로 산출한다. 이들 6개의 제곱의 합계가 목표 픽셀에 관한 수평 방향의 변화량(Vh)으로 지정된다.
도 7의 플로우차트를 다시 참조하여 보면, 상기한 바와 같이 산출된 수직 방향의 변화량(Vv)와 수평 방향의 변화량(Vh)은 목표 픽셀에 관하여 서로 비교된다(단계 S206). 수평 방향의 변화량(Vh)이 수직 방향의 변화량(Vv)의 이상이면(단계 S206; 예), 에지가 목표 픽셀을 통해 수직 방향을 향하는 것으로 판정된다. 그러면, 에지 방향을 나타내는 값 ‘d’가 ‘1’과 동등하게 설정된다(단계 S208). 반대로, 수직 방향의 변화량(Vv)이 수평 방향의 변화량(Vh)의 이상이면(단계 S206; 아니오), 에지가 목표 픽셀을 통해 수평 방향을 향하는 것으로 판정된다. 그러면, 에지 방향을 나타내는 값 ‘d’가 ‘3’과 동등하게 설정된다(단계 S210). 즉, ‘1’로 설정된 에지 방향 ‘d’의 픽셀은 수직 방향의 에지를 갖는 반면에, ‘3’으로 설정된 에지 방향 ‘d’의 픽셀은 수평 방향의 에지를 갖는다.
색차 성분 간의 차분의 제곱은 수직 방향의 변화량(Vv)의 판정 시에(도 8 참조) 그리고 수평 방향의 변화량(Vh)의 판정 시에(도 9 참조) 산출된다. 이러한 산출은 색차 성분 간의 차분의 기호(sign)를 고려하지 않는 에지 방향의 검출을 가능하게 한다. 따라서, 하나의 가능한 변형은 그들의 제곱의 산출 대신에 색차 성분 간의 각 차분의 절대 값을 산출할 수 있다. 인근 픽셀에 관한 절대 값의 합계는 수직 방향의 변화량(Vv) 또는 수평 방향의 변화량(Vh)을 부여한다. 하지만, 제곱은 절대 값과 비교하여 색차 성분 간의 차분을 증강시키고 따라서 에지 방향의 검출 정밀도를 증가시킨다. 본 발명은 절대 또는 제곱 차분에 한정되지 않으며 여타의 차분 또는 유사한 수단이 에지 방향을 판정하는 데에 대신하여 이용될 수 있다는 것을 이해해야 한다.
수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh) 간의 비교를 위해 몇 가지 주의가 요구된다. 따라서, 후술되는 바와 같이 도 7에 도시된 에지 방향 맵 생성 처리의 몇가지 변형이 있다.
도 10은 에지 방향의 검출을 위해 선택된 목표 픽셀 주위의 인근 픽셀의 가능한 배열을 도시한다. 선택된 목표 픽셀 주위의 인근 픽셀은 도 10(a) 내지 10(d)에 도시된 4개의 상태 중 하나를 충족시킨다. 도 10(a)의 상태에 있어서는, 목표 픽셀의 목표 픽셀 칼럼과 그 수직 방향의 상부 및 하부 픽셀이 G 성분과 R 성분 간의 2개의 색차 성분(CDGR)의 각각의 제곱을 부여하는 반면에, 목표 픽셀 칼럼의 좌측 및 우측의 수직 방향의 좌측 우측 픽셀 칼럼은 G 성분과 B 성분 간의 4개의 색차 성분(CDGB)의 각각의 제곱을 부여한다. 따라서, 수직 방향의 변화량(Vv)이 2개의 색차 성분(CDGR)의 제곱과 4개의 색차 성분(CDGB)의 제곱의 합계로서 연산된다. 유사하게, 수평 방향의 변화량(Vh)이 2개의 색차 성분(CDGR)의 제곱과 4개의 색차 성분(CDGB)의 제곱의 합계로서 연산된다. 따라서, 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh) 간의 간단한 비교는 목표 픽셀의 에지 방향의 적정한 검출을 가능하게 한다.
도 10(b)의 상태에 있어서, 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh)의 각각이 2개의 색차 성분(CDGR)의 제곱과 4개의 색차 성분(CDGB)의 제곱의 합계로서 연산된다. 따라서, 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh) 간의 간단한 비교는 목표 픽셀의 에지 방향의 적정한 검출을 가능하게 한다.
하지만, 이것은 도 10(c)의 상태 또는 도 10(d)의 상태에서는 충족되지 않는다. 예를 들어, 도 10(c)의 상태에 있어서는, 수직 방향의 변화량(Vv)이 2개의 색차 성분(CDGB)의 제곱과 4개의 색차 성분(CDGR)의 제곱의 합계로서 연산된다. 하지만, 수평 방향의 변화량(Vh)은 2개의 색차 성분(CDGR)의 제곱과 4개의 색차 성분(CDGB)의 제곱의 합계로서 연산된다. 즉, 수직 방향의 변화량(Vv)은 수평 방향의 변화량(Vh)과는 간단히 비교될 수 없다. 도 10(d)의 상태에 있어서도 수직 방향의 변화량(Vv)이 수평 방향의 변화량(Vh)과는 간단히 비교될 수 없다.
이러한 문제에 대비하는 하나의 가능한 수단은 도 10(a)의 상태 또는 도 10(b)의 상태를 충족시키는 픽셀에 대해서만 에지 방향을 검출하는 것이다. 이러한 수단에 있어서는, 도 7의 에지 방향 맵 생성 처리가, 단계 S200에서, G 픽셀 이외의 픽셀 즉, R 픽셀과 B 픽셀 중에서만 목표 픽셀을 선택한다. 도 2에 관해 이전에 설명된 바와 같이, G 픽셀은 베이어 컬러 필터 어레이의 면적의 절반을 점유한다. R 픽셀과 B 픽셀에 대해서만 에지 방향을 검출하는 것은 처리될 픽셀 개수 를 반분하여 에지 방향 맵의 고속 생성을 보장한다. 이 경우에 있어서는, 에지 방향이 G 픽셀에서는 알려져 있지 않다. 하지만, 적정한 보간 절차의 적용이 결과적인 사진 품질 상에서의 G 픽셀의 알려지지 않은 에지 방향의 역효과를 방지한다.
에지 방향이 G 픽셀에 대해서 검출될 수 없으나, 하기의 절차에 따라서는 검출될 수 있다. 도 11의 절차는 다른 픽셀 칼럼 또는 픽셀 로우에 적용되는 웨이트와 비교하여, 목표 픽셀을 포함하는 목표 픽셀 칼럼 또는 목표 픽셀 로우에 2배의 웨이트를 적용한다. 도 11(a)은 수직 방향의 변화량(Vv)의 판정을 위해 이용되는 계산식을 도시하고, 도 11(b)은 수평 방향의 변화량(Vh)의 판정을 위해 이용되는 계산식을 도시한다. 계산식에 따르면, 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh)은 모든 픽셀, 즉, G 픽셀, R 픽셀, 및 B 픽셀에 관하여 연산될 수 있다. 그 다음에, 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh) 간의 비교에 의해 이들 모든 픽셀에 대해 에지 방향이 판정될 수 있다. 도 11의 계산식에 있어서는, 목표 픽셀 없는 픽셀 칼럼 또는 픽셀 로우에 대해 웨이트가 교번적으로 반분될 수 있다.
다른 연산 방법은 2개의 픽셀 칼럼의 변화량과 2개의 픽셀 로우의 변화량 즉, 목표 픽셀을 포함하는 목표 픽셀 칼럼과 목표 픽셀 칼럼에 인접한 하나의 인근 픽셀 칼럼을 및 목표 픽셀을 포함하는 목표 픽셀 로우와 목표 픽셀 로우에 인접한 하나의 인근 픽셀 로우에 기반하여 목표 픽셀 각각의 에지 방향을 검출할 수 있다. 도 12(a)는 수직 방향의 목표 픽셀을 포함하는 목표 픽셀 칼럼과 목표 픽셀 칼럼의 우측의 수직 방향의 우측 픽셀 칼럼에 관한 수직 방향의 변화량(Vv)을 산출하기 위 해 이용되는 계산식을 도시한다. 도 12(b)는 도 12(a)의 계산식에 따른 수직 방향의 변화량(Vv)의 산출을 개념적으로 도시한다. 도 4를 참조하여 이전에 설명된 바와 같이, 교번적으로 배열된 G 픽셀과 R 픽셀의 픽셀 칼럼과 교번적으로 배열된 G 픽셀과 B 픽셀의 픽셀 칼럼은 베이어 컬러 필터 어레이에 기반하는 원 화상 데이터의 수직 방향에서 교번적으로 나타난다. 따라서, 수직 방향의 변화량(Vv)은 2개의 색차 성분(CDGB)의 제곱과 2개의 색차 성분(CDGR)의 제곱의 합계로서 부여된다.
수평 방향의 변화량(Vh)이 2개의 픽셀 로우에 관하여 유사하게 산출된다. 도 12(c)는 수평 방향의 변화량(Vh)을 산출하기 위해 이용되는 계산식을 도시하고, 도 12(d)는 도 12(c)의 계산식에 따른 수평 방향의 변화량(Vh)의 산출을 개념적으로 도시한다. 도 4에 관하여 이전에 설명된 바와 같이, 교번적으로 배열된 G 픽셀과 R 픽셀의 픽셀 로우와 교번적으로 배열된 G 픽셀과 B 픽셀의 픽셀 로우는 베이어 컬러 필터 어레이에 기반하는 원 화상 데이터의 수평 방향에서 교번적으로 나타난다. 따라서, 도 12(a)의 계산식에 따른 수직 방향의 변화량(Vv)과 같이, 도 12(c)의 계산식에 따른 수평 방향의 변화량(Vh)이 2개의 색차 성분(CDGB)의 제곱과 2개의 색차 성분(CDGR)의 제곱의 합계로서 부여된다. 따라서, 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh) 간의 비교에 의해 에지 방향이 검출될 수 있다.
도 7의 플로우차트를 다시 참조하여 보면, 상기한 바와 같이, 본 실시예의 에지 방향 맵 생성 처리가 수직 방향의 색차 성분의 변화량(Vv)과 수평 방향의 색차 성분의 변화량(Vh)을 산출하고(단계 S202 및 S204), 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh) 간의 비교에 기반하여 목표 픽셀의 에지 방향을 검출한다(단계 S206 내지 S210). 도 8 및 9에 도시된 방법에 따른 변화량(Vv 및 Vh)의 연산의 경우에 있어서는, 에지 방향 검출의 객체로서의 목표 픽셀이 G 픽셀 이외의 픽셀 즉, R 픽셀과 B 픽셀 중에서만 선택될 수 있다(단계 S200). 한편, 도 11 및 12에 도시된 방법 중 하나에 따른 변화량(Vv 및 Vh)의 연산의 경우에 있어서는, 목표 픽셀이 모든 픽셀 중에서 선택될 수 있다(단계 S200). 하지만, 이것은 한정적이지 않다. 도 11 및 12에 도시된 방법 중 하나에 따른 변화량(Vv 및 Vh)의 연산의 경우에 있어서일지라도, 목표 픽셀이 G 픽셀 이외의 픽셀 즉, R 픽셀과 B 픽셀 중에서만 선택될 수도 있다. 단계 S200에서 선택된 목표 픽셀의 에지 방향의 검출 후에, CPU는 모든 픽셀에 관해서 에지 방향이 검출되었는지의 여부를 판정한다(단계 S212). 어느 처리되지 않은 픽셀이 있는 경우에(단계 S212: 아니오), 에지 방향 맵 생성 처리는 단계 S200로 되돌아가서 처리되지 않은 픽셀 중 다른 목표 픽셀을 선택하고 일련의 후속 처리를 실행한다. 모든 픽셀에 관하여 에지 방향의 검출의 완료 시에(단계 S212: 예), 도 7의 에지 방향 맵 생성 처리가 종료된다.
본 실시예의 에지 방향 맵 생성 처리는 극도로 높은 정밀도로 원 화상 데이터에 포함된 에지 방향의 검출을 가능하게 한다. 원 화상 데이터를 구성하는 각 픽셀의 누락 색 성분의 보간은 이러한 고도로 정밀한 에지 방향 맵을 참조하여 실행된다. 이것은 의사 컬러의 발생 없는 적정한 보간을 보장한다. 본 실시예의 에지 방향 맵 생성 처리에 따른 고도로 정밀한 에지 방향 맵의 생성에 대한 이유가 후술된다.
도 2 및 4에 도시된 바와 같이, 베이어 컬러 필터 어레이에 기반한 원 화상 데이터는 별개의 픽셀 위치에서만 여느 색 성분 R, G, 및 B의 데이터를 갖는다. G 성분은 2 픽셀 당 1개(G 픽셀) 비율의 데이터를 갖고, R 성분과 B 성분은 4 픽셀 당 1개(R 픽셀과 B 픽셀) 비율의 데이터를 갖는다. 이러한 데이터의 별개의 출현으로 인해, 색 성분 R, G, 및 B의 각각에 관한 색조 값의 변화량으로부터 높은 정밀도로 에지를 검출하는 것이 어렵다.
따라서, 색차 성분이 R, G, 및 B 색 성분 대신에 이용된다. G 성분과 R 성분의 교번 배열을 갖는 픽셀 칼럼 또는 픽셀 로우의 각각에 관해서는, 로우 화상 데이터가 G 성분과 R 성분 간의 색차 성분의 데이터로 변환된다. G 성분과 B 성분의 교번 배열을 갖는 픽셀 칼럼 또는 픽셀 로우의 각각에 관해서는, 로우 화상 데이터가 G 성분과 B 성분 간의 색차 성분의 데이터로 변환된다. 도 4의 하부는 로우 화상 데이터의 수직 방향의 색차 성분(CDv) 및 수평 방향의 색차 성분(CDh)로의 변환을 도시한다. G 성분과 B 성분 간의 색차 성분을 갖는 픽셀 칼럼과 픽셀 로우가 도 4에서 해치를 넣은 직사각형으로 도시되었다.
색차 성분의 변화량은 인근의 픽셀 칼럼들 또는 인근의 픽셀 로우들 사이에서 비교될 수 있다. 예를 들어, 밝기의 급변을 갖는 화상 영역에서는, G 성분과 R 성분 간의 색차 성분 및 G 성분과 B 성분 간의 색차 성분 양쪽의 상당한 변화량이 있다. 유사하게, 색의 급변을 갖는 화상 영역에서는, G 성분과 R 성분 간의 색차 성분 및/또는 G 성분과 B 성분 간의 색차 성분의 어느 한 쪽 또는 양쪽의 상당한 변화량이 또한 있다. 따라서, 상이한 타입을 갖는 색차 성분의 변화량까지도 비교 될 수 있다. 그 다음에, 에지가 인근 픽셀 칼럼 또는 인근 픽셀 로우의 색차 성분에 따라 검출될 수 있다. 인근 픽셀 칼럼 또는 인근 픽셀 로우의 색차 성분에 따른 이 에지 검출 기술은 작은 크기의 에지까지도 정밀한 검출을 가능하게 한다.
본 실시예의 에지 방향 맵 생성 처리는 상기의 고려에 기반하여 높은 정밀도로 에지 방향을 검출하고 따라서 고도로 정밀한 에지 방향 맵을 부여한다. 그 구체적인 절차는 베이어 컬러 필터 어레이에 기반한 원 화상 데이터를 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)으로 변환한다. 도 4의 하부에 도시된 바와 같이, 색차 성분의 획득된 데이터는 G 성분과 R 성분 간의 색차 성분(CDGR)의 픽셀 칼럼 또는 픽셀 로우, 및 G 성분과 B 성분 간의 색차 성분(CDGB)의 픽셀 칼럼 또는 픽셀 로우의 교번 배열을 갖는다. 그 다음, 색차 성분의 변화량이 도 8 및 9의 계산식에 따라서 또는 도 11 및 12의 계산식 중 하나에 따라서 산출된다. 산출된 변화량은 상이한 타입을 갖는 인근 픽셀 칼럼 또는 인근 픽셀 로우의 색차 성분으로부터 획득된다. 상이한 타입을 갖는 색차 성분에서까지 산출된 변화량은 상기한 바와 같이 에지 검출을 위해 비교될 수 있다. 인근 픽셀 칼럼 또는 인근 픽셀 로우의 색차 성분에 따른 이러한 에지 검출은 작은 크기의 에지까지도 고도로 정밀한 검출을 보장한다. 따라서, 각 픽셀의 에지 방향의 정밀한 검출은 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh) 간의 비교에 의해 가능하게 된다.
이러한 설명으로부터 명확히 이해되는 바와 같이, 본 실시예의 에지 방향 맵 생성 처리에 있어서는, 인근 픽셀 칼럼 또는 인근 픽셀 로우의 색차 성분에 기반하 여 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh)을 연산하는 것이 중요하다. 환언하면, 수직 방향의 변화량(Vv)과 수평 방향의 변화량(Vh)의 연산을 위해 이용되는 계산식이 무엇인가는 그렇게 중요하지가 않다는 것이다. 따라서, 도 8 및 9의 계산식 또는 도 11 및 12의 계산식을 대신하여 다양한 계산식이 적용될 수 있다.
하나의 변형된 절차는 도 13에 도시된 바와 같이 각 픽셀 칼럼 또는 각 픽셀 로우의 2개의 픽셀마다의 색차 성분들 간의 각 차분의 제곱을 산출하고 상기 제곱을 합산하여 색차 성분의 변화량을 판정할 수 있다. 도 13이 수평 방향의 변화량(Vh)의 산출만을 도시하지만. 수직 방향의 변화량(Vv)이 유사한 방식으로 연산될 수 있다. 다른 변형된 절차는 도 14에 도시된 바와 같이 인근 픽셀과 더불어 각 픽셀 칼럼 또는 각 픽셀 로우의 2개의 픽셀 마다의 색차 성분들 간의 각 차분의 제곱을 산출하고, 상기 제곱을 합산하여 색차 성분의 변화량을 판정할 수 있다.
또 다른 변형은 더 멀리 있는 픽셀의 색차 성분 간의 차분을 고려하는 것에 의해 색차 성분의 변화량을 판정할 수 있다. 예를 들어, 도 15의 변형된 절차는 각 픽셀 칼럼 또는 각 픽셀 로우의 4개의 픽셀 마다의 색차 성분들 간의 차분과 더불어 각 픽셀 칼럼 또는 각 픽셀 로우의 2개의 픽셀 마다의 색차 성분 간의 차분을 고려하는 것에 의해 색차 성분의 변화량을 판정한다. 도 14 및 15가 수평 방향의 변화량(Vh)의 산출만을 도시하지만, 수직 방향의 변화량(Vv)이 유사한 방식으로 연산될 수 있다.
D. G 성분 보간 처리
도 3의 플로우차트를 참조하여 앞서 설명된 바와 같이, 본 실시예의 컬러 화상 데이터 생성 처리는, 에지 방향 맵의 생성 후에(단계 S104), G 성분 보간 처리를 개시하여 G 픽셀 이외의 픽셀(즉, R 픽셀과 B 픽셀)의 G 성분을 보간한다.(단계 S106).
도 16은 R 픽셀과 B 픽셀의 G 성분을 보간하는 G 성분 보간 처리의 세부를 도시하는 플로우차트이다. G 성분 보간 처리는 먼저 생성된 에지 방향 맵을 참조하여 보간의 객체인 각 보간 목표 픽셀의 에지 방향 ‘d’를 지정한다(단계 S300). 상기한 바와 같이, 에지 방향 맵은 모든 픽셀에 대해 검출된 에지 방향 ‘d’ 또는 비-G 픽셀(즉, R 픽셀과 B 픽셀)에 대해서만 검출된 에지 방향 ‘d’를 가질 수 있다. 비-G 픽셀의 G 성분의 보간에 있어서, 에지 방향 ‘d’는 항상 에지 방향 맵을 참조하는 것에 의해 지정된다.
그 후에 G 성분 보간 처리는 지정된 에지 방향 ‘d’가 ‘1’과 동등한지의 여부를 판정한다(단계 S302). 지정된 에지 방향 ‘d’가 ‘1’과 동등하면(단계 S302: 예), 보간 목표 픽셀의 색차 성분이 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 픽셀의 색차 성분과 보간된다(단계 S304). 한편, 지정된 에지 방향 ‘d’가 ‘3’과 동등하면(단계 S302: 아니오), 보간 목표 픽셀의 색차 성분이 보간 목표 픽셀의 좌측 및 우측의 좌측 및 우측 픽셀의 색차 성분과 보간된다(단계 S306). 그 다음에, G 성분 보간 처리는 보간 목표 픽셀의 원 화상 데이터를 획득하고(단계 S308), 보간 목표 픽셀의 보간된 색차 성분에 원 화상 데이터를 더하여 보간 목표 픽셀의 G 성분을 연산한다(단계 S310). 이러한 일련의 처리는 더욱 상세하게 기술된다.
도 17은 비-G 픽셀의 누락 G 성분을 연산하는 처리 흐름을 도시한다. 보간 목표 픽셀은 비-G 픽셀, 즉, R 픽셀 또는 B 픽셀이다. 보간 목표 픽셀이 R 픽셀인 경우에, 인근 픽셀은 도 17(a)에 도시된 바와 같이 배열된다. 한편, 보간 목표 픽셀이 B 픽셀인 경우에, 인근 픽셀은 도 17(b)에 도시된 바와 같이 배열된다. 여기서는, G 성분의 보간 객체인 보간 목표 픽셀이 R 픽셀이고 지정된 에지 방향 ‘d’가 ‘1’과 동등한 것으로 가정한다.
에지 방향‘d’가 ‘1’과 동등할 때, 수평 방향의 색차 성분의 변화량(Vh)은 수직 방향의 색차 성분의 변화량(Vv)의 이상이다. 일반적으로, 더 적은 변화량의 상태(안정된 상태에 더 가까움)에서의 보간은 더 큰 변화량의 상태에서의 보간보다 더 나은 보간 결과를 갖는 것으로 예기된다. 따라서, 더 적은 변화량을 갖는 수직 방향의 색차 성분이 G 성분의 연산을 위해 사용된다. 도 17(a)로부터 명확히 이해되는 바와 같이, R 보간 목표 픽셀에 있어서는, 수직 방향의 색차 성분과 수평 방향의 색차 성분의 양쪽이 G 성분에서 R 성분을 감산하는 것에 의해 획득된다. 즉, 보간 목표 픽셀의 G 성분은 수직 방향의 색차 성분 또는 수평 방향의 색차 성분으로부터 연산될 수 있다. 향상된 보간 정밀도를 위해서, 보간 목표 픽셀의 G 성분이, 보간 목표 픽셀의 대응 에지 방향 지시자(indicator) ‘d’의 값 ‘1’에 의해 이미 지시된 바와 같이, 더 적은 변화량을 갖는 수직 방향의 색차 성분으로부터 연산된다.
수직 방향의 색차 성분은 G 성분에서 R 성분을 감산한 것이고, 보간 목표 픽셀에서 획득된 원 화상 데이터는 R 성분이다. 따라서, 색차 성분에의 원 화상 데이터의 추가는 보간 목표 픽셀의 G 성분을 즉각적으로 판정한다. G 성분의 연산을 위해 이용되는 색차 성분은 도 5의 계산식에 따라 산출된 보간 목표 픽셀의 색차 성분일 수 있다. 바람직하게는, G 성분의 연산을 위해 이용되는 색차 성분은 도 6에 도시된 로우 패스 필터로 노이즈를 제거한 후의 색차 성분일 수 있다.
보간 목표 픽셀의 색차 성분은, 직접적으로 읽어 들여지는 대신, 인근 픽셀의 색차 성분으로부터 산출될 수 있다. 변형된 절차는 수직 방향의 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 픽셀의 색차 성분을 읽어 들이고 판독된 색차 성분으로부터 보간 목표 픽셀의 색차 성분을 산출할 수 있다. 도 16의 G 성분 보간 처리는 단계 S304 또는 단계 S306에서 인근 픽셀의 색차 성분으로부터 보간 목표 픽셀의 색차 성분을 산출한다. 다른 변형된 절차는 판독된 색차 성분으로부터 보간 목표 픽셀의 색차 성분을 산출하기 위해 보간 목표 픽셀의 더 큰 이웃 픽셀의 색차 성분을 읽어 들일 수 있다.
상기한 바와 같은 모든 보간 목표 픽셀의 G 성분의 연산 후에, CPU는 도 16의 G 성분 보간 처리를 종료하고 도 3의 컬러 화상 데이터 생성 처리로 되돌아간다. 다음에, 컬러 화상 데이터 생성 처리는 비-G 픽셀 보간 처리를 개시하여 G 픽셀 이외의 픽셀의 나머지 색 성분을 보간한다(단계 S108).
E. 비-G 픽셀 보간 처리
도 18은 비-G 픽셀 보간 처리의 세부를 도시한 플로우차트이다. 이전에 설명된 바와 같이, 비-G 픽셀의 G 성분의 보간 후에, 비-G 픽셀 보간 처리는 각 비-G 픽셀의 나머지 색 성분, 즉, R 픽셀의 B 성분 또는 B 픽셀의 R 성분을 보간한다. 비-G 픽셀 보간 처리의 기본 개념이 처리 세부에 앞서 간략히 기술된다.
비-G 픽셀 보간 처리는, B 픽셀의 R 성분을 보간하면서, R 픽셀의 B 성분을 보간한다. 보간 목표 픽셀이 R 픽셀인 경우에, 보간 목표 픽셀에 인접하여 대각선으로 배열된 4개의 픽셀은 도 17(a)에 도시된 바와 같이 모두 B 픽셀이다. B 성분은 이들 4개의 인근 픽셀의 원 화상 데이터로서 획득된다. 한편, 보간 목표 픽셀이 B 픽셀인 경우에, 보간 목표 픽셀에 인접하여 대각선으로 배열된 4개의 픽셀은 도 17(b)에 도시된 바와 같이 모두 R 픽셀이다. R 성분은 이들 4개의 인근 픽셀의 원 화상 데이터로서 획득된다. 가장 단순한 절차는 보간 목표 픽셀에 인접하여 대각선으로 배열된 4개의 픽셀의 원 화상 데이터로 보간을 실행하여 보간 목표 픽셀의 나머지 색 성분의 색조 값을 판정한다. 예를 들어, 보간 목표 픽셀의 R 성분은 대각선으로 에워싸인 픽셀의 사용 가능한 4개의 원 R 성분의 평균으로서 획득될 수 있다. 유사하게, 보간 목표 픽셀의 B 성분은 대각선으로 에워싸인 픽셀의 사용 가능한 4개의 원 B 성분의 평균으로서 획득될 수 있다.
인근 픽셀의 원 화상 데이터에 의한 나머지 색 성분의 직접 보간은 다른 색 성분으로부터의 차분의 몇몇 편차로 인해 의사 컬러의 발생을 야기할 수 있다. 자연의 컬러 화상에 있어서, RGB 데이터는 채널 내부 및 채널 간 감지의 양쪽에 현저히 상관(correlate)된다. 이것은 국부 화상 영역의 픽셀이 대개 유사한 색차 특성 을 갖는다는 것을 의미한다. 따라서, 인근 픽셀의 색차 성분으로 보간 목적 픽셀의 색차 성분을 보간하고, 보간된 색차 성분에 기반하여 보간 목표 픽셀의 나머지 색 성분의 색조 값을 판정하는 것이 바람직하다. 따라서, 보간 목표 픽셀에 인접하여 대각선으로 배열된 4개의 픽셀의 원 화상 데이터에 의한 직접 보간 대신에, 다른 사용 가능한 절차는 4개의 인근 픽셀의 색차 성분으로부터 보간 목표 픽셀의 색차 성분을 산출하고, 보간 목표 픽셀의 산출된 색차 성분에 기반하여 보간 목표 픽셀의 나머지 색 성분의 색조 값을 판정한다. 예를 들어, 보간 객체는 도 17(a)의 상태의 R 보간 목표 픽셀에 대한 B 성분이다. 바람직한 절차는, R 보간 목표 픽셀에 인접하여 대각선으로 배열된 4개의 B 픽셀의 G 성분과 B 성분 간의 색차 성분을 획득하고, 이들 4개의 색차 성분을 이용하여 R 보간 목표 픽셀의 대응하는 색차 성분을 산출한다. 예를 들어, 보간 목표 위치의 색차 성분은 사용 가능한 색차 성분의 평균으로서 산출될 수 있다. 그 다음, 절차는 R 보간 목표 픽셀의 산출된 색차 성분과 보간된 G 성분으로부터 나머지 색 성분의 색조 값을 산출한다.
R 보간 목표 픽셀에 인접하여 대각선으로 배열된 픽셀은 모두 B 픽셀이다. 도 5의 계산식에 따라 이들 인근 픽셀에 관하여 연산된 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)의 양쪽은 G 성분과 B 성분 간의 색차 성분이다. 보간 목표 픽셀의 대응 색차 성분은 총 8개의 색차 성분으로부터 산출될 수 있다. 하나의 전형적인 절차는 보간 목표 픽셀에 인접하여 대각선으로 배열된 4개의 픽셀의 각각의 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)의 평균을 픽셀의 대표 색차 성분으로서 산출하고, 4개의 인근 픽셀의 대표 색차 성분으 로부터 보간 목표 픽셀의 대응 색차 성분을 판정할 수 있다. 다른 전형적인 절차는 보간 목표 픽셀의 에지 방향을 검출하고 검출된 에지 방향을 충족하는 인근 픽셀의 (도 5의 계산식에 따라 획득된) 색차 성분으로부터만 보간 목표 픽셀의 색차 성분을 산출할 수 있다. 인근 픽셀에 관한 수직 방향의 색차 성분(CDv) 및 수평 방향의 색차 성분(CDh) 양쪽을 고려하는 것에 의해 보간 목표 픽셀의 색차 성분을 판정하는 이러한 방법은 도리어 복잡한 일련의 처리를 필요로 한다. 한편, 보간 목표 픽셀에 인접하여 대각선으로 배열된 4개의 픽셀의 G 성분과 B 성분에 기반한 산출은 보간 목표 픽셀의 색차 성분(CDGB)의 더 높은 속도의 판정을 가능하게 한다.
이러한 기본 개념에 기초하여, 그 G 성분의 보간 후에, 도 18의 플로우차트에 도시된 본 실시예의 비-G 픽셀 보간 처리가 각 비-G 픽셀의 나머지 색 성분을 보간한다. 비-G 픽셀 보간 처리의 구체적인 절차는 도 18의 플로우차트를 참조하여 설명된다.
비-G 픽셀 보간 처리는 먼저 보간 목표 픽셀에 인접하여 대각선으로 배열된 4개의 픽셀의 G 성분과 원 화상 데이터를 획득한다(단계 S350). 보간 목표 픽셀이 R 픽셀인 경우에, 대각선으로 배열된 4개의 인근 픽셀은 도 17(a)에 도시된 바와 같이 모두 B 픽셀이다. 따라서, 여기서는 이들 인근 픽셀의 원 화상 데이터가 B 성분에 관하여 획득된다. 한편, 보간 목표 픽셀이 B 픽셀인 경우에, 대각선으로 배열된 4개의 인근 픽셀은 도 17(b)에 도시된 바와 같이 모두 R 픽셀이다. 따라서, 여기서는 이들 인근 픽셀의 원 화상 데이터가 R 성분에 관하여 획득된다.
그 후에, 비-G 픽셀 보간 처리는 원 화상 데이터에서 G 성분을 감산하는 것에 의해 이들 4개의 인근 픽셀의 색차 성분을 산출하고, 4개의 색차 성분의 평균을 보간 목표 픽셀의 색차 성분으로서 연산한다(단계 S352). 이것의 적용에 있어서, 일반적으로 색차 성분은 도 5에 도시된 바와 같이 G 성분에서 R 성분 또는 B 성분의 감산을 나타낸다. 하지만, 단계 S352의 산출은 원 화상 데이터(R 성분 또는 B 성분)에서 G 성분을 감산하는 것에 의해 색차 성분의 기호(sign)를 변경한다. 이것은 이후의 연산에서 기호를 변경하는 수고를 던다.
보간 목표 픽셀의 색차 성분의 연산 후에, 비-G 픽셀 보간 처리는 보간 목표 픽셀의 G 성분을 획득한다(단계 S534). 보간 목표 픽셀이 비-G 픽셀이므로, 보간 목표 픽셀의 원 화상 데이터는 G 성분에 관한 것이 아니다. 하지만, 보간 목표 픽셀의 G 성분은 이 비-G 픽셀 보간 처리에 앞서 실행된 도 16의 G 성분 보간 처리에 의해 이미 판정되었다.
단계 S352에서 연산된 보간 목표 픽셀의 색차 성분과 단계 S354에서 획득된 G 성분의 합산은 보간 목표 픽셀의 나머지 색 성분을 판정한다(단계 S356).
상기한 바와 같은 모든 비-G 보간 목표 픽셀의 나머지 색 성분의 연산 후에, CPU는 도 18의 비-G 픽셀 보간 처리를 종료하고 도 3의 컬러 화상 데이터 생성 처리로 되돌아간다. 그 후에, 컬러 화상 데이터 생성 처리는 G 픽셀 보간 처리를 개시하여 G 픽셀의 누락 색 성분을 보간한다(단계 S110).
F. G 픽셀 보간 처리
도 19는 G 픽셀 보간 처리의 세부를 도시한 플로우차트이다. G 픽셀 보간 처리는 먼저 보간의 객체인 각 보간 목표 픽셀의 에지 방향 ‘d’를 지정한다(단계 S400). 에지 방향은 이미 검출되었고 도 7의 에지 방향 맵 생성 처리에 의해 에지 방향 맵에 설정되었다. 이전에 설명된 바와 같이, 에지 방향은 모든 픽셀에 대해서 또는 교번적으로 비-G 픽셀에 대해서만 검출될 수 있다. 에지 방향이 모든 픽셀에 대해 검출된 경우에는, 단계 S400의 처리가 에지 방향 맵을 참조하는 것에 의해 보간 목표 픽셀의 에지 방향을 즉시 지정한다. 한편, 에지 방향이 비-G 픽셀에 대해서만 검출된 경우에는, 단계 S400의 처리가 인근 픽셀의 검출된 에지 방향으로부터 보간 목표 픽셀의 에지 방향을 추정한다.
도 20은 인근 픽셀의 에지 방향으로부터 보간 목표 픽셀의 에지 방향의 추정을 도시한다. G 픽셀 보간 처리는 G 픽셀의 누락(즉, R 및 B) 색 성분을 보간한다. 보간 목표 픽셀을 에워싼 원 데이터의 원래 픽셀은 도 20(a)의 배열 또는 도 20(b)의 배열을 충족시킨다. 도 20(a) 및 20(b)에 있어서, 해칭을 넣은 직사각형은 보간 목표 픽셀을 나타낸다. 이러한 추정은 에지 방향이 비-G 픽셀에 대해서만 검출되었다는 가정 아래 실행된다. 따라서, 에지 방향이 보간 목표 픽셀의 상부, 하부, 좌측, 우측의 4개의 인근 픽셀에 설정되었다.
도 20(c) 및 20(d)은 보간 목표 픽셀의 4개의 인근 픽셀의 에지 방향 ‘d’의 배열을 도시한다. 도 20(c)에 도시된 4개의 인근 픽셀의 에지 방향 ‘d’의 배열에 있어서, ‘1’로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀의 개수는 ‘3’으로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀의 개수보다 더 많다. 따라서, 보간 목표 픽셀의 에지 방향 ‘d’를 ‘1’로 추정하는 것이 적정하다. 한편, 도 20(d)에 도시된 4개의 인근 픽셀의 에지 방향 ‘d’의 배열에 있어서, ‘3’으로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀의 개수는 ‘1’로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀의 개수보다 더 많다. 따라서, 보간 목표 픽셀의 에지 방향 ‘d’를 ‘3’으로 추정하는 것이 적정하다.
이러한 방식으로, 추정 절차는 ‘1’로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀의 개수와 ‘3’으로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀의 개수를 카운트(count)하여 더 많은 카운트의 에지 방향 ‘d’를 보간 목표 픽셀의 에지 방향 ‘d’로 지정한다. 인근 픽셀의 개개의 개수를 카운트하는 대신에, 다른 추정 절차는 보간 목표 픽셀의 상부, 하부, 좌측, 우측의 4개의 인근 픽셀에 설정된 에지 방향 ‘d’의 합계를 산출할 수 있다. ‘1’로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀과 ‘3’으로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀이 동일 개수인 경우에는, 에지 방향 ‘d’의 합계가 ‘8’과 동등하다. 에지 방향 ‘d’의 합계가 ‘8’보다 더 적은 경우에는, 더 많은 개수의 인근 픽셀이 ‘1’로 설정된 에지 방향 ‘d’를 갖는 것으로 예기된다. 따라서, 보간 목표 픽셀의 에지 방향 ‘d’는 ‘1’로 지정된다. 한편, 에지 방향 ‘d’의 합계가 ‘8’보다 더 큰 경우에는, 더 많은 개수의 인근 픽셀이 ‘3’으로 설정된 에지 방향 ‘d’를 갖는 것으로 예기된다. 따라서, 보간 목표 픽셀의 에지 방향 ‘d’는 ‘3’으로 지정된다. 에지 방향 ‘d’의 합계가 ‘8’과 동등한 경우에는(‘1’로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀과 ‘3’으로 설정된 에지 방향 ‘d’를 갖는 인근 픽셀이 동일 개 수인 경우에는), 보간 목표 픽셀의 에지 방향 ‘d’가 ‘1’ 또는 ‘3’으로 지정될 수 있다.
상기한 바와 같이, 에지 방향 ‘d’가 모든 픽셀에 대해 설정되어 있는 경우에는, 단계 S400에서 도 19의 G 픽셀 보간 처리가 간단히 에지 방향 맵으로부터 보간 목표 픽셀의 에지 방향 ‘d’를 읽어 들인다. 한편, 에지 방향 ‘d’가 비-G 픽셀에 대해서만 설정되어 있는 경우에는, 단계 S400에서 G 픽셀 보간 처리가 에지 방향 맵으로부터 보간 목표 픽셀에 인접한 인근 픽셀의 에지 방향을 읽어 들이고, 보간 목표 픽셀의 에지 방향 ‘d’를 추정한다.
보간 목표 픽셀의 에지 방향 ‘d’의 지정 후에, G 픽셀 보간 처리는 지정된 에지 방향 ‘d’가 ‘1’과 동등한지의 여부를 판정한다(단계 S402). 지정된 에지 방향 ‘d’가 ‘1’과 동등한 경우에는(단계 S402: 예), 에지가 보간 목표 픽셀을 통해 수직 방향으로 향하는 것으로 판정된다. 따라서, G 픽셀 보간 처리는 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 인근 픽셀의 R 성분, G 성분, 및 B 성분을 획득한다. 도 20(a) 및 20(b)의 배열에 도시된 바와 같이, 보간 목표 픽셀의 상부 및 하부의 상부 및 하부 인근 픽셀은 항상 비-G 픽셀이다. 비-G 픽셀의 누락 색 성분은 도 16의 G 성분 보간 처리와 도 18의 비-G 픽셀 보간 처리에 의해 이미 연산되었다. 따라서, 이들 상부 및 하부 인근 픽셀의 R, G, 및 B 성분은 즉시 획득될 수 있다.
한편, 지정된 에지 방향 ‘d’가 ‘1’과 동등하지 않은 경우에는(단계 S402: 아니오), 에지가 보간 목표 픽셀을 통해 수평 방향으로 향하는 것으로 판정 된다. 따라서, G 픽셀 보간 처리는 보간 목표 픽셀의 좌측 및 우측의 좌측 및 우측 인근 픽셀의 R 성분, G 성분, 및 B 성분을 획득한다(단계 S406). 보간 목표 픽셀의 좌측 및 우측의 좌측 및 우측 인근 픽셀이 항상 비-G 픽셀이기 때문에, 이들 좌측 및 우측 인근 픽셀의 R, G, 및 B 성분은 즉시 획득될 수 있다.
그 다음, G 픽셀 보간 처리는 R, G, 및 B 성분의 획득의 객체인 인근 픽셀의 색차 성분을 산출한다(단계 S408). 보간 목표 픽셀의 에지 방향 ‘d’가 ‘1’과 동등한 경우에는(단계 S402: 예), G 픽셀 보간 처리가 상부 및 하부 인근 픽셀의 색차 성분을 산출한다. 한편, 보간 목표 픽셀의 에지 방향 ‘d’가 ‘1’과 동등하지 않은 경우에는(단계 S402: 아니오), G 픽셀 보간 처리가 좌측 및 우측 인근 픽셀의 색차 성분을 산출한다. 도 18의 비-G 픽셀 보간 처리에 있어서, R 성분에서 G 성분을 감산하는 것에 의해 그리고 B 성분에서 G 성분을 감산하는 것에 의해 단계 S408에서 기호 변경된 색차 성분이 획득된다. 이것은 보간 목표 픽셀의 R 성분과 B 성분의 이후 연산에서 기호를 변경하는 수고를 던다.
상부 및 하부 인근 픽셀 또는 좌측 및 우측 인근 픽셀의 색차 성분의 산출 후에(단계 S408), G 픽셀 보간 처리는 인근 픽셀의 산출된 색차 성분으로 보간을 실행하여 보간 목표 픽셀의 색차 성분을 연산한다(단계 S410). 앞서 언급된 바와 같이, 상부 및 하부 인근 픽셀 또는 좌측 및 우측 인근 픽셀의 산출된 색차 성분이 기호 변경된 색차 성분(즉, R 성분에서 G 성분을 감산한 것에 의한 색차 성분 및 B 성분에서 G 성분을 감산한 것에 의한 색차 성분)이다. 따라서, 보간된 색차 성분은 기호 변경된 색차 성분이다.
그 다음, G 픽셀 보간 처리는 보간 목표 픽셀의 G 성분을 획득한다(단계 S412). 보간 목표 픽셀이 G 픽셀이기 때문에, 원 화상 데이터는 직접적으로 G 성분에 관한 것이다. 그 후에, G 픽셀 보간 처리는 보간 목표 픽셀의 보간된 색차 성분과 획득된 G 성분으로부터 보간 목표 픽셀의 R 성분과 B 성분을 연산한다(단계 S414). 보간된 색차 성분이 기호 변경된(즉, 적색 성분에서 감산된 녹색 성분, 및 청색 성분에서 감산된 녹색 성분) 색차 성분이기 때문에, 보간된 색차 성분에 G 성분의 간단한 추가는 보간 목표 픽셀의 R 성분과 B 성분을 판정한다.
상기한 바와 같은 모든 G 픽셀의 누락 색 성분(R 성분과 B 성분)의 연산 후에, CPU는 도 19의 G 픽셀 보간 처리를 종료하고 도 3의 컬러 화상 데이터 생성 처리로 되돌아간다.
G 픽셀 보간 처리의 완료 시에(단계 S110), 디모자이킹 처리, 즉, 누락 색 성분의 보간이 모든 픽셀에 대해 종결되었다. 그 다음, CPU는 각 픽셀의 R, G, 및 B 성분을 원 화상 데이터로부터 생성된 컬러 화상 데이터로서 출력하고(단계 S112), 도 3의 컬러 화상 데이터 생성 처리를 종료한다.
본 실시예의 디지털 카메라(100)는 원 화상 데이터의 디모자이킹을 실행하여 하기에서 상세히 설명되는 일련의 처리에 따라 컬러 화상 데이터를 생성한다. 컬러 화상 데이터 생성 처리는 디모자이킹 처리에 앞서, 에지 방향 맵을 생성한다. 수직 방향의 색차 성분(CDv)과 수평 방향의 색차 성분(CDh)의 변화량을 고려하는 것에 의해, 각 픽셀의 에지 방향이 2가지 상이한 타입의 색차 성분(즉, G 성분과 R 성분 간의 색차 성분 및 G 성분과 B 성분 간의 색차 성분)으로부터 검출될 수 있 다. 이것은 작은 크기의 에지까지도 고도로 정밀한 검출을 보장하고 따라서 정밀한 에지 방향 맵의 생성을 가능하게 한다. 후속 디모자이킹 처리는 이러한 정밀한 에지 방향 맵을 참조하여 각 픽셀의 누락 색 성분을 적정하게 보간한다.
에지 방향 맵 생성 처리와 누락 색 성분의 보간의 양쪽은 도리어 간소하며 고속으로 실행될 수 있다. 따라서, 본 실시예의 일련의 처리는 R, G, 및 B 색 성분의 모자이크 배열을 갖는 원 화상 데이터로부터 적정한 컬러 화상 데이터의 고속 생성을 가능하게 한다.
본 발명은 컴퓨터에 의해 실행될 시에 본 발명의 방법을 실행하는 컴퓨터 판독 가능 매체에 저장된 명령의 프로그램으로서의 실시예로 구현될 수 있다는 것이 이해될 것이다. 컴퓨터 판독 가능 매체의 예는, 하드 디스크, 플로피 디스크, 및 자기(magnetic) 테이프와 같은 자기 매체; CD-ROM과 홀로그래픽(holographic) 장치와 같은 광학 매체; 광자기 매체; 및 주문형 반도체(application specific integrated circuit; “ASIC”), 프로그램 가능 논리 소자(programmable logic device; “PLD”), 플래시 메모리 소자, ROM 및 RAM 소자와 같은 프로그램 코드(code)를 저장하거나 저장 및 실행하도록 특별히 구성된 하드웨어 장치를 포함하지만 이에 한정되지 않는다.
본 실시예의 디지털 카메라(100)는 앞서 설명된 절차에 따라 원 화상 데이터로부터 컬러 화상 데이터를 생성한다. 본 발명은 상기한 본 실시예와 그 변형예의 어떤 것에도 한정되지 않으며, 본 발명의 주요 특징의 권리 범위 또는 사상으로부터 벗어남 없이 다양한 응용 및 양태로 달성될 수 있다.
도 1은 본 발명의 일 실시예의 화상 처리 장치가 장비된 디지털 카메라의 구성을 개략적으로 예시한다.
도 2는 도 1의 화상 처리 징치에 포함된 컬러 필터 어레이와 화상 센서의 구조를 도시한 개념도이다.
도 3은 원(raw) 화상 데이터로부터 컬러 화상 데이터를 생성하기 위해 실시예의 화상 처리 장치에 의해 실행되는, 컬러 화상 데이터 생성 처리를 도시한 플로우차트이다.
도 4는 원 화상 데이터를 색차 성분의 데이터로 변환하는 처리를 개념적으로 도시한다.
도 5는 원 화상 데이터로부터 색차 성분을 산출하기 위한 계산식을 도시한다.
도 6은 색차 성분에 포함된 노이즈의 제거를 위해 적용된 로우 패스 필터를 도시한다.
도 7은 실시예의 화상 처리 장치에 의해 도 3의 컬러 화상 데이터 생성 처리에서 실행되는 에지 방향 맵 생성 처리의 세부를 도시한 플로우차트이다.
도 8은 수직 방향의 색차 성분(CDv)으로부터 수직 방향의 변화량(Vv)의 산출을 도시한다.
도 9는 수평 방향의 색차 성분(CDh)으로부터 수평 방향의 변화량(Vh)의 산출을 도시한다.
도 10은 에지 방향의 검출을 위해 선택된 목표 픽셀 주위의 인근 픽셀의 가능한 배열을 도시한다.
도 11은 G 픽셀의 에지 방향의 검출에 적용할 수 있는 하나의 방법을 도시한다.
도 12는 G 픽셀의 에지 방향의 검출에 적용할 수 있는 다른 방법을 도시한다.
도 13은 색차 성분의 변화량을 산출하는데 적용할 수 있는 다른 방법을 도시한다.
도 14는 색차 성분의 변화량을 산출하는데 적용할 수 있는 또 다른 방법을 도시한다.
도 15는 색차 성분의 작은 변화량까지 산출하는데 적용할 수 있는 또 다른 방법을 도시한다.
도 16은 실시예의 화상 처리 장치에 의해 도 3의 컬러 화상 데이터 생성 처리에서 실행되는 G 성분 보간 처리의 세부를 도시한 플로우차트이다.
도 17은 비-G 픽셀의 누락 G 성분을 연산하는 처리 흐름을 도시한다.
도 18은 실시예의 화상 처리 장치에 의해 도 3의 컬러 화상 데이터 생성 처리에서 실행되는 비-G 픽셀 보간 처리의 세부를 도시한 플로우차트이다.
도 19는 실시예의 화상 처리 장치에 의해 도 3의 컬러 화상 데이터 생성 처리에서 실행되는 G 픽셀 보간 처리의 세부를 도시한 플로우차트이다.
도 20은 인근 픽셀의 에지 방향으로부터 G 보간 목표 픽셀의 에지 방향의 추 정을 도시한다.

Claims (10)

  1. 각 픽셀의 빛의 3원색에 대응하는 3개의 색 성분 R, G, 및 B 중에 단일 색 성분의 설정을 갖는 모자이크 화상 데이터를 수신하고 수신된 모자이크 화상 데이터에 일련의 화상 처리를 하여 각 픽셀의 3개의 색 성분 R, G, 및 B 모두의 설정을 갖는 컬러 화상 데이터를 생성하는 화상 처리 장치로서,
    상기 모자이크 화상 데이터는, G 성분의 픽셀과 수직 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수직 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수평 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 로우, 및 G 성분의 픽셀과 수평 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 로우의 조합에 의해 표현되고,
    상기 화상 처리 장치는,
    상기 모자이크 화상의 각 픽셀 칼럼에 포함된 각 픽셀의 G 성분과 다른 색 성분 간의 수직 방향 색차(color difference) 성분을 연산하기 위해, 수직으로 이웃하는 가용한 성분들을 이용하여 다른 색 성분의 픽셀 위치에서 G 성분을 획득하거나 G 성분 픽셀 위치에서 다른 색 성분을 획득하는 수직 방향 색차 성분 연산 모듈;
    상기 모자이크 화상의 각 픽셀 로우에 포함된 각 픽셀의 G 성분과 다른 색 성분 간의 수평 방향 색차 성분을 연산하기 위해, 수평으로 이웃하는 색 성분들을 이용하여 다른 색 성분의 픽셀 위치에서 G 성분을 획득하거나 G 성분 픽셀 위치에서 다른 색 성분을 획득하는 수평 방향 색차 성분 연산 모듈;
    상기 모자이크 화상 데이터로부터 R 성분의 픽셀과 B 성분의 픽셀을 선택하고, 상기 픽셀 위치의 각각에서, 적어도 상기 선택된 픽셀의 각각에 관하여 수직 방향 색차 성분의 변화량(variation)을 수평 방향 색차 성분의 변화량과 비교하여 적어도 상기 선택된 픽셀의 에지 방향을 검출하는 에지 방향 검출 모듈; 및
    상기 검출된 에지 방향을 참조하여 상기 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 상기 모자이크 화상 데이터의 각 픽셀의 하나의 색 성분의 설정과 보간하는 누락 색 성분 보간(interpolation) 모듈을 포함하며,
    상기 에지 방향 검출 모듈은, 상기 모자이크 화상 데이터에 포함된 적어도 R 성분의 픽셀과 B 성분의 픽셀의 에지 방향을 검출하여 에지 방향 맵을 생성하고,
    상기 누락 색 성분 보간 모듈은, 상기 에지 방향 맵에 저장된 에지 방향을 참조하여 상기 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 보간하는, 화상 처리 장치.
  2. 청구항 1에 있어서, 상기 에지 방향 검출 모듈은,
    목표 픽셀을 포함하는 목표 픽셀 칼럼의 수직 방향 색차 성분과 상기 목표 픽셀 칼럼에 인접한 인근 픽셀 칼럼의 수직 방향 색차 성분으로부터 상기 에지 방향의 검출 객체인 각 목표 픽셀의 수직 방향 색차 성분의 변화량을 산출하는 수직 방향 변화량 산출 모듈; 및
    상기 목표 픽셀을 포함하는 목표 픽셀 로우의 수평 방향 색차 성분과 상기 목표 픽셀 로우에 인접한 인근 픽셀 로우의 수평 방향 색차 성분으로부터 상기 에지 방향의 검출 객체인 각 목표 픽셀의 수평 방향 색차 성분의 변화량을 산출하는 수평 방향 변화량 산출 모듈을 갖는, 화상 처리 장치.
  3. 청구항 1에 있어서, 상기 에지 방향 검출 모듈은, 상기 모자이크 화상 데이터에 포함된 상기 R 성분의 픽셀과 상기 B 성분의 픽셀만의 에지 방향을 검출하는, 화상 처리 장치.
  4. 청구항 1에 있어서, 상기 에지 방향 검출 모듈은, 픽셀의 수직 방향 색차 성분의 변화량이 상기 픽셀의 수평 방향 색차 성분의 변화량보다 더 큰 경우에 각 픽셀의 에지 방향을 수평 방향으로 검출하고,
    상기 에지 방향 검출 모듈은, 픽셀의 수직 방향 색차 성분의 변화량이 상기 픽셀의 수평 방향 색차 성분의 변화량보다 더 작은 경우에 각 픽셀의 에지 방향을 수직 방향으로 검출하며,
    상기 에지 방향 검출 모듈은, 픽셀의 수직 방향 색차 성분의 변화량이 상기 픽셀의 수평 방향 색차 성분의 변화량과 동등한 경우에 각 픽셀의 에지 방향을 수직 방향 또는 수평 방향으로 검출하는, 화상 처리 장치.
  5. 청구항 1에 있어서, 상기 누락 색 성분 보간 모듈은, 보간의 객체인 보간 목표 픽셀의 누락 색 성분인 G 성분을, 상기 보간 목표 픽셀의 상부 및 하부에 각각 인접하여 위치한 상부 및 하부 인근 픽셀의 쌍과 상기 보간 목표 픽셀의 좌측 및 우측에 각각 인접하여 위치한 좌측 및 우측 인근 픽셀의 쌍 사이에서 선택되는 한 쌍의 인근 픽셀의 색 성분과 보간하는, 화상 처리 장치.
  6. 청구항 5에 있어서, 상기 누락 색 성분 보간 모듈은,
    상기 보간 목표 픽셀의 수직 방향 색차 성분 또는 수평 방향 색차 성분을 상기 보간 목표 픽셀의 상부 및 하부에 각각 인접하여 위치한 상부 및 하부 인근 픽셀의 쌍의 수직 방향 색차 성분 또는 상기 보간 목표 픽셀의 좌측 및 우측에 각각 인접하여 위치한 좌측 및 우측 인근 픽셀의 쌍의 수평 방향 색차 성분과 보간하는 색차 성분 보간 모듈; 및
    상기 보간 목표 픽셀의 보간된 상기 수직 방향 색차 성분 또는 상기 수평 방향 색차 성분, 및 상기 모자이크 화상 데이터의 상기 보간 목표 픽셀의 색 성분의 설정에 근거하여, 상기 보간 목표 픽셀의 G 성분을 연산하는 G 성분 연산 모듈을 갖는, 화상 처리 장치.
  7. 청구항 5에 있어서, 상기 누락 색 성분 보간 모듈은, 상기 모자이크 데이터의 G 성분의 설정 없이 모든 픽셀의 G 성분을 보간하고, 그 후에 상기 픽셀의 R 성분과 B 성분을 상기 보간된 G 성분 및 상기 모자이크 화상 데이터의 상기 픽셀의 색 성분의 설정과 보간하는, 화상 처리 장치.
  8. 삭제
  9. 각 픽셀의 빛의 3원색에 대응하는 3개의 색 성분 R, G, 및 B 중에 단일 색 성분의 설정을 갖는 모자이크 화상 데이터를 수신하고 수신된 모자이크 화상 데이터에 일련의 화상 처리를 하여 각 픽셀의 3개의 색 성분 R, G, 및 B 모두의 설정을 갖는 컬러 화상 데이터를 생성하는 화상 처리 방법으로서,
    G 성분의 픽셀과 수직 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수직 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수평 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 로우, 및 G 성분의 픽셀과 수평 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 로우의 조합에 의해 표현되는 화상 데이터를 상기 모자이크 화상 데이터로서 수신하는 단계;
    상기 모자이크 화상 데이터의 각 픽셀 칼럼에 포함된 각 픽셀의 G 성분과 다른 색 성분을 획득하여, 수직 방향의 상기 각 픽셀 칼럼에 포함된 각 픽셀의 상기 G 성분과 상기 다른 색 성분 간의 수직 방향 색차 성분을 연산하는 단계;
    상기 모자이크 화상 데이터의 각 픽셀 로우에 포함된 각 픽셀의 G 성분과 다른 색 성분을 획득하여, 수평 방향의 상기 각 픽셀 로우에 포함된 각 픽셀의 상기 G 성분과 상기 다른 색 성분 간의 수평 방향 색차 성분을 연산하는 단계;
    상기 모자이크 화상 데이터로부터 R 성분의 픽셀과 B 성분의 픽셀을 선택하고, 상기 픽셀 위치 각각에서, 적어도 상기 선택된 픽셀의 각각에 관하여 수직 방향 색차 성분의 변화량을 수평 방향 색차 성분의 변화량과 비교하여 적어도 상기 선택된 픽셀의 에지 방향을 검출하는 단계; 및
    상기 검출된 에지 방향을 참조하여, 상기 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 상기 모자이크 화상 데이터의 각 픽셀의 하나의 색 성분의 설정과 보간하는 단계를 포함하며,
    상기 에지 방향 검출 단계에서는, 상기 모자이크 화상 데이터에 포함된 적어도 R 성분의 픽셀과 B 성분의 픽셀의 에지 방향을 검출하여 에지 방향 맵을 생성하고,
    상기 누락 색 성분 보간 단계에서는, 상기 에지 방향 맵에 저장된 에지 방향을 참조하여 상기 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 보간하는, 화상 처리 방법.
  10. 각 픽셀의 빛의 3원색에 대응하는 3개의 색 성분 R, G, 및 B 중에 단일 색 성분의 설정을 갖는 모자이크 화상 데이터를 수신하고 수신된 모자이크 화상 데이터에 일련의 화상 처리를 하여 각 픽셀의 3개의 색 성분 R, G, 및 B 모두의 설정을 갖는 컬러 화상 데이터를 생성하는 방법을 컴퓨터로 하여금 실현하게 하는 프로그램을 갖는 컴퓨터 판독 가능 매체로서,
    상기 프로그램은,
    G 성분의 픽셀과 수직 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수직 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 칼럼, G 성분의 픽셀과 수평 방향의 다른 색 성분인 R 성분의 픽셀의 교번 배열을 갖는 픽셀 로우, 및 G 성분의 픽셀과 수평 방향의 다른 색 성분인 B 성분의 픽셀의 교번 배열을 갖는 픽셀 로우의 조합에 의해 표현되는 화상 데이터를 상기 모자이크 화상 데이터로서 수신하는 기능;
    상기 모자이크 화상 데이터의 각 픽셀 칼럼에 포함된 각 픽셀의 G 성분과 다른 색 성분을 획득하여, 수직 방향의 상기 각 픽셀 칼럼에 포함된 각 픽셀의 상기 G 성분과 상기 다른 색 성분 간의 수직 방향 색차 성분을 연산하는 기능;
    상기 모자이크 화상 데이터의 각 픽셀 로우에 포함된 각 픽셀의 G 성분과 다른 색 성분을 획득하여, 수평 방향의 상기 각 픽셀 로우에 포함된 각 픽셀의 상기 G 성분과 상기 다른 색 성분 간의 수평 방향 색차 성분을 연산하는 기능;
    상기 모자이크 화상 데이터로부터 R 성분의 픽셀과 B 성분의 픽셀을 선택하고, 상기 픽셀 위치 각각에서, 적어도 상기 선택된 픽셀의 각각에 관하여 수직 방향 색차 성분의 변화량을 수평 방향 색차 성분의 변화량과 비교하여 적어도 상기 선택된 픽셀의 에지 방향을 검출하는 기능; 및
    상기 검출된 에지 방향을 참조하여, 상기 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 상기 모자이크 화상 데이터의 각 픽셀의 하나의 색 성분의 설정과 보간하는 기능들을 상기 컴퓨터로 하여금 달성하게 하며,
    상기 에지 방향 검출 기능은, 상기 모자이크 화상 데이터에 포함된 적어도 R 성분의 픽셀과 B 성분의 픽셀의 에지 방향을 검출하여 에지 방향 맵을 생성하는 것을 포함하고,
    상기 누락 색 성분 보간 기능은, 상기 에지 방향 맵에 저장된 에지 방향을 참조하여 상기 모자이크 화상 데이터의 각 픽셀의 누락 색 성분을 보간하는 것을 포함하는, 컴퓨터 판독 가능 매체.
KR1020080091581A 2008-03-28 2008-09-18 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 KR100996797B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080091581A KR100996797B1 (ko) 2008-03-28 2008-09-18 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/058,253 2008-03-28
KR1020080091581A KR100996797B1 (ko) 2008-03-28 2008-09-18 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램

Publications (2)

Publication Number Publication Date
KR20090103669A KR20090103669A (ko) 2009-10-01
KR100996797B1 true KR100996797B1 (ko) 2010-11-25

Family

ID=41533181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080091581A KR100996797B1 (ko) 2008-03-28 2008-09-18 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램

Country Status (1)

Country Link
KR (1) KR100996797B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003780B1 (ko) * 2014-01-02 2019-07-25 한화테크윈 주식회사 색 보간 장치
KR102525376B1 (ko) * 2020-11-30 2023-04-26 주식회사 샵캐스트 모자이크 영상 검출 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164602A (ja) 1996-11-26 1998-06-19 Minolta Co Ltd 画素補間装置及びその画素補間方法
JPH11103466A (ja) 1997-07-31 1999-04-13 Fuji Film Microdevices Co Ltd 画像信号処理装置及びプログラムを記録した媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164602A (ja) 1996-11-26 1998-06-19 Minolta Co Ltd 画素補間装置及びその画素補間方法
JPH11103466A (ja) 1997-07-31 1999-04-13 Fuji Film Microdevices Co Ltd 画像信号処理装置及びプログラムを記録した媒体

Also Published As

Publication number Publication date
KR20090103669A (ko) 2009-10-01

Similar Documents

Publication Publication Date Title
US7995840B2 (en) Image processing apparatus, image processing method, and program for attaining image processing
US8131067B2 (en) Image processing apparatus, image processing method, and computer-readable media for attaining image processing
US8004588B2 (en) Image processing procedure for receiving mosaic image data and calculating vertical and horizontal-direction color difference components for each pixel
US9225948B2 (en) Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium
US7554583B2 (en) Pixel signal processor and pixel signal processing method
US8111299B2 (en) Demosaicking single-sensor camera raw data
JP2005159957A (ja) 色補間方法
US8131110B2 (en) Reducing signal overshoots and undershoots in demosaicking
US7643074B2 (en) Pixel signal processing apparatus and pixel signal processing method
US8045826B2 (en) Detecting edges in a digital images
US8077234B2 (en) Image pickup device and method for processing an interpolated color signal
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
KR100996797B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램
JP3905708B2 (ja) 画像補間装置
KR100894420B1 (ko) 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP5981824B2 (ja) 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP5106221B2 (ja) 撮像装置
JP4334151B2 (ja) 画像補間装置
JP4334484B2 (ja) 画素信号処理装置及び方法
JP4334152B2 (ja) 画像補間装置
JP4666786B2 (ja) 画像補間装置
JP4495355B2 (ja) 画像補間装置
JP2002232903A (ja) 画像補間装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141104

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 9