KR100566270B1

KR100566270B1 - 영상 보간방법

Info

Publication number: KR100566270B1
Application number: KR1020040042620A
Authority: KR
Inventors: 권성근; 신재관
Original assignee: 삼성전자주식회사
Priority date: 2004-03-31
Filing date: 2004-06-10
Publication date: 2006-03-29
Also published as: KR20050096797A

Abstract

본 발명은 영상 보간방법에 관한 것으로, 더욱 상세하게는 촬상되는 영상을 최적의 영상화질로 보간할 수 있도록 한 영상 보간방법에 관한 것이다. 이를 위하여 본 발명은 칼라 영상을 보간하는 방법에 있어서, 촬영되는 피사체의 광신호로부터 베이어(Bayer) 패턴을 추출하는 과정과; 상기 추출된 베이어 패턴의 G위치에 이웃한 상하 또는 좌우의 R, B성분을 산술평균하여 상기 G위치에서 R, B성분을 보간하는 과정과; 상기 G위치에서 R, B성분 보간후, R 및 B위치에 이웃한 G위치의 G와 B 및 R성분의 가로차와 세로차 연산을 수행하는 과정과; 상기 G위치에서의 G, B, R성분의 가로차에 세로차를 감산한 결과값의 절대값과 기 설정된 문턱치 값의 대소를 비교하여 상기 문턱치 값보다 크면 가로차와 세로차중 차이값이 작은 인접한 가로 혹은 세로 G위치들의 G, B, R성분의 산술평균을 통해 R 및 B위치에서 G, B, R성분을 보간하는 과정과; 상기 비교결과, 상기 문턱치 값보다 작으면 메디안 기법을 통해 R 및 B위치에서 G, B, R성분을 보간하는 과정으로 이루어진 것을 특징으로 한다.

휴대용 단말기, 영상, 보간, R, G, B, DCT 계수, DCT

Description

영상 보간방법{VIDEO INTERPOLATION METHOD}

도 1은 종래 G에 대한 Bayer 패턴을 보인 예시도.

도 2는 도 1의 공간 주파수 특성을 보인 예시도.

도 3은 종래의 영상 보간방법의 주파수 특성을 보인 예시도.

도 4는 종래의 양선형 보간방법을 설명하기 위한 일예의 Bayer패턴을 보인 예시도.

도 5는 본 발명의 실시 예에 따른 휴대용 단말기의 구성을 도시한 도면.

도 6은 본 발명의 영상보간을 설명하기 위한 Bayer패턴을 보인 예시도.

도 7a-7b는 본 발명의 영상 보간방법을 보인 흐름도.

도 8은 본 발명의 영상 보간방법을 통한 과정을 통해 보간되는 Bayer패턴을 보인 예시도.

도 9는 본 발명의 실시예에 따른 G위치에서의 R, B 영상 보간을 설명하기 위한 일예의 Bayer패턴을 보인 예시도.

도 10은 본 발명의 영상 보간방법에 의해 주위성분의 방향성을 고려한 G성분의 Bayer패턴을 보인 예시도.

도 11은 본 발명의 영상 보간방법의 주파수 특성을 보인 예시도.

도 12a-12b는 본 발명의 다른 실시예에 따른 영상보간방법을 보인 흐름도.

도 13은 본 발명의 다른 실시예에 따른 영상 보간방법을 설명하기 위한 도면.

***도면의 주요부분에 대한 부호의 설명***

10: 제어부 21: RF부

23: 데이터 처리부 25: 오디오 처리부

27: 키입력부 29: 메모리

50: 카메라 60: 신호 처리부

70: 영상 처리부 80: 표시부

ANT: 안테나 MIC: 마이크

SPK: 스피커

본 발명은 영상 보간방법에 관한 것으로, 더욱 상세하게는 카메라 기능을 구비한 휴대용 단말기로 촬상되는 영상을 최적의 영상화질로 보간할 수 있도록 한 영상 보간방법에 관한 것이다.

최근 휴대용 단말기의 기술 발달로 인해 단순한 하나의 기능을 제공하는 단말기, 가령 휴대용 단말기는 음성통화를 제공하는 기본적인 기능외에 그 휴대용 전 화기에 다수의 기능을 구비하게 되었다. 이러한, 종래 휴대용 단말기에 구비된 기능중 가장 사용자가 선호하면서 사용하고 있는 기능으로는 카메라 기능이 있다.

이에, 사용자는 항상 휴대하고 다니는 휴대용 단말기에 구비된 카메라 기능을 동작시켜 언제어디서나 자신이 촬영하고자 하는 피사체를 영상으로 저장할 수 있게 된다. 이때, 영상 획득은 피사체에서 반사되어 나오는 광신호를 전기적 신호로 변환하여 주는 소자인 CCD(Charge Coupled Device) 및 CMOS(Complementary Metal Oxide Semiconductor)로부터 이루어진다.

이와 같은 상기 CCD 및 CMOS 소자를 이용하여 칼라 영상을 얻기 위해서는 그 CCD 및 CMOS 앞단에 칼라 필터를 필요로 한다.

대부분의 휴대용 단말기에 구비되는 카메라의 경우 장비의 부피나 가격을 고려하여 CFA(Color Filter Array)라 불리는 칼라 필터를 채용하고 있다. 상기 CFA는 CCD 및 CMOS의 앞 단에 마이크로 렌즈의 형태로 부착되어 있고 한 화소마다 한가지 칼라를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있다.

상기 CFA는 칼라 요소가 배열된 구조에 따라 여러가지 형태를 갖고 있으나 가정 널리 사용되는 패턴은 베이어(Bayer) 패턴이다. 이러한 Bayer 패턴은 도 1과 같으며, 이러한 상기 G(green)에 대한 Bayer 패턴의 공간 주파수 특성은 도 2와 같다. 상기 도 1에서 좌 상단에 위치한 화소의 출력은 G성분만을 갖으며 R과 B는 서로 다른 라인에 교대로 배열되어 있다. 상기 도 2의 μ및 v는 각각 G성분에 대한 수평 및 수직 방향의 주파수 성분을 나타낸 것으로, 단위 공간(mm)에 몇개의 샘플이 있는냐를 나타낸 것이다. 이러한 2차원 주파수 특성을 수평 성분 즉, 1차원적 으로 나타내면 도 3의 (a)에 도시된 바와 같다.

이후, 상기 도 1의 Bayer 패턴에서 R,G,B위치에서의 영상 보간을 위해 주위 화소들의 칼라정보를 이용하여 각 화소에서 3가지 칼라정보를 계산하는 과정을 수행하게 된다. 이러한 종래 영상 보간방법으로 가장 간단하고 일반적인 방법은 주어진 화소에서 계산하려는 칼라와 같은 칼라 정보를 갖는 주위의 화소값들을 사용하는 가장 인접한 이웃 화소 보간법(Nearest neighbor replication)과 양선형 보간법(Bilinear Interpolation) 및 중간값 보간법(Median interpolation) 등이 있다.

이러한 종래의 영상 보간법중 상기 양선형 보간법에 대해서 설명하면 하기와 같다.

도 4는 종래의 양선형 보간방법을 설명하기 위한 일예의 Bayer패턴을 보인 예시도이다.

상기 도 4를 참조하면, 우선, B위치나 R위치에서의 G성분 보간을 위해 설명하면 다음과같다.

예를 들어, B8위치에서의 G성분을 보간하고자 하면 하기의 수학식 1을 이용한다.

여기서, 상기

는 B8위치에서의 G성분을 의미하고, 상기

은 G3, G7, G9, G13 위치의 G성분을 의미한다.

이때, 상기 B위치나 R위치에서의 G성분 보간은 동일한 방식에 의해 얻어진다.

이후, 상기 G위치에서의 R성분을 보간하기 위해서는 2개의 근접한 R위치값의 산술평균값과 상기 G위치에서의 B성분을 보간하기 위해서는 2개의 근접한 B위치값의 산술평균값으로 구한다. 즉, 이는 하기의 수학식 2와 같다. 여기서, 하기의 수학식 2는 일예로 G7위치에서의 B성분 및 R성분 보간에 관한 수학식이다.

여기서, 상기

는 G7위치에서의 B성분을 의미하고, 상기

은 B6과 B8위치에서의 B성분을 의미하며 상기

은 G7위치에서의 R성분을 의미하고, 상기

는 R2와 R12위치에서의 R성분을 의미한다.

이후, B위치에서의 R성분을 보간하기 위해서는 4개의 근접한 대각선 화소의 산술 평균값을 구한다. 즉, 이는 하기의 수학식 3과 같다. 여기서, 하기의 수학식 3은 B8위치에서의 R성분을 보간과, R12위치에서의 B성분 보간을 일예로 한다.

여기서, 상기

은 B8위치에서의 R성분을 의미하고,

는 R2, R4, R12, R14위치에서의 R성분을 의미하고,

는 R12위치에서의 B성분을 의미하며

은 B6, B8, B16, B18위치에서의 B성분을 의미한다.

지금까지 상술한 종래 영상 보간방법은 Bayer 패턴에서 각 화소의 3가지 칼라영상을 보간하기 위해 상하좌우 및 대각선으로 이웃한 화소의 칼라정보를 산술평균하여 보간하게 된다.

이러한 종래의 보간방법을 통한 산술 평균의 주파수 특성은 도 3의 (b)에 도시한 바와 같이 저역통과 필터를 나타낸다. 따라서, 상기한 과정을 각각의 화소에 G성분에 대한 보간을 행한후의 주파수 특성은 상기 도 3의 (a)와 (b)의 곱인 도 3의 (c)와 같은 주파수 특성을 갖게 됩니다. 여기서, 상기 도 3 (c)는 도 3의 (a)의 삼각형 직선이 보간에 의하여 곡선으로 바뀌고, 그 도 3 (a)의 ⓐ와 도 3 (b)곱에 의해 ⓑ와 같은 부분을 갖게 된다.

또한, 종래 영상 보간방법의 문제점은 주변 화소값의 분포를 고려하지 않고, 단순히 이웃한 주위 4개의 화소값을 단순 산술 평균함으로써, 해상도의 저하가 발생한다. 즉, 이는 저역통과필터(low pass filter)를 취한 것과 동일한 결과를 가지 므로 당연히 해상도의 저하가 발생하는 문제점이 있었다. 또한, 종래 영상 보간방법은 하나의 입력 화소에 대응하는 출력 화소들의 수가 크면 클수록 해상도의 저하가 더크게 발생하는 문제점이 있었다. 이는, 샘플링(sampling) 주파수가 낮아 고주파 성분이 저주파 성분과 혼동되는 앨리어싱(aliasing) 현상에 의해 해상도의 저하가 발생하는 문제점을 일으킨다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 창출한 것으로, 촬상되는 영상을 최적의 영상화질로 보간할 수 있도록 한 영상 보간 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, 칼라 영상을 보간하는 방법에 있어서, 촬영되는 피사체의 광신호로부터 베이어(Bayer) 패턴을 추출하는 과정과; 상기 추출된 베이어 패턴의 G위치에 이웃한 상하 또는 좌우의 R, B성분을 산술평균하여 상기 G위치에서 R, B성분을 보간하는 과정과; 상기 G위치에서 R, B성분 보간후, R 및 B위치에 이웃한 G위치의 G와 B 및 R성분의 가로차와 세로차 연산을 수행하는 과정과; 상기 G위치에서의 G, B, R성분의 가로차에 세로차를 감산한 결과값의 절대값과 기 설정된 문턱치 값의 대소를 비교하여 상기 문턱치 값보다 크면 가로차와 세로차중 차이값이 작은 인접한 가로 혹은 세로 G위치들의 G, B, R성분의 산술평균을 통해 R 및 B위치에서 G, B, R성분을 보간하는 과정과; 상기 비교결과, 상기 문턱치 값보다 작으면 메디안 기법을 통해 R 및 B위치에서 G, B, R성분을 보간하는 과정으로 이루어진 것을 특징으로 한다.

또한, 상기와 같은 목적을 달성하기 위한 본 발명은, 칼라 영상을 보간하는 방법에 있어서, 촬영되는 피사체의 광신호로부터 베이어(Bayer) 패턴을 추출하는 과정과; 상기 추출된 베이어(Bayer) 패턴의 G위치에 이웃한 상하 또는 좌우의 R, B성분을 산술평균하여 상기 G위치에서 R, B성분을 보간하는 과정과; 상기 G위치에서 R, B성분 보간후, R과 B위치를 중심으로 이웃한 G위치의 G성분에 대해 이산 코사인 변환(DCT)하여 얻은 이산 코사인 변환 계수의 패턴을 분석하여 R과 B위치에서의 G성분을 보간하는 과정과; 상기 R 및 B위치에 이웃한 G위치의 B 및 R성분의 가로차와 세로차 연산을 수행한 결과값의 절대값과 기 설정된 문턱치 값의 대소를 비교하여 상기 문턱치 값보다 크면 가로차와 세로차중 차이값이 작은 인접한 가로 혹은 세로 G위치들의 B, R성분의 산술평균을 통해 R 및 B위치에서 B, R성분을 보간하는 과정과; 상기 비교결과, 상기 문턱치 값보다 작으면 메디안 기법을 통해 R 및 B위치에서 B, R성분을 보간하는 과정으로 이루어진 것을 특징으로 한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

하기의 설명에서는 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

하기의 설명에서 Bayer패턴의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.

도 5는 본 발명의 실시 예에 따른 휴대용 단말기의 구성을 도시한 도면이다.

상기 도 5를 참조하면, RF부21은 휴대용 단말기의 통신을 수행한다. 상기 RF부21는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다.

모뎀23은 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화한다.

오디오 처리부25는 상기 모뎀23에서 출력되는 수신 오디오신호를 제어부10으로부터 수신하여 재생하거나 또는 마이크MIC로부터 발생되는 송신 오디오신호를 상기 제어부10을 통해 상기 모뎀23에 전송하는 기능을 수행한다. 또한, 상기 오디오 처리부25는 상기 모뎀23으로부터 수신되는 데이터중 음성 데이터를 스피커SPK를 통해 가청음으로 변환하여 출력하며, 마이크MIC로부터 입력되는 음성신호를 데이터화하여 상기 모뎀23으로 출력한다. 여기서, 상기 오디오 처리부25는 제어부10에 포함될 수 도 있다.

키입력부27은 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능 들을 설정하기 위한 기능키들을 구비한다.

메모리29는 프로그램 메모리 및 데이터 메모리들로 구성될 수 있다. 상기 프 로그램 메모리에는 휴대용 단말기의 일반적인 동작을 제어하기 위한 프로그램들이 저장된다. 또한, 상기 프로그램 메모리에는 본 발명의 실시예에 따라 카메라 모드에서 촬영된 피사체의 영상에 대한 각각의 화소에 대해 영상 보간할 수 있도록 하는 전반적인 프로그램이 저장된다. 또한, 상기 프로그램 메모리에는 본 발명의 실시예에 따라 R, B위치에서의 RGB성분 보간을 위해 이웃한 화소간의 R, G, 또는 B 성분간의 차이값의 절대값과 비교되는 문턱치 값이 기 저장됩니다. 이때, 문턱치 값은 문턱치 값의 변화에 따라 화질을 평가하여 최고 화질 일때의 값이 됩니다. 또한 상기 데이터 메모리에는 상기 프로그램들을 수행하는 중에 발생되는 데이터들을 일시 저장하는 기능을 수행한다. 또한, 상기 데이터 메모리에는 카메라 모드로 촬영된 영상 데이터들이 저장된다.

제어부10은 휴대용 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 또한 상기 제어부10은 상기 모뎀23을 포함할 수도 있다. 또한 상기 제어부10은 본 발명의 따른 영상보간방법을 수행하도록 하는 전반적인 동작을 제어한다.

카메라50은 영상 데이터를 촬영하며, 촬영된 광신호를 전기적 신호로 변환하는 카메라 센서를 구비한다. 여기서 상기 카메라 센서는 CCD(Charge Coupled Device)센서라 가정한다. 이때, 상기 CCD센서는 그 앞단에 CFA(Color Filter Array)를 채용하여 카메라50을 통해 한 화소마다 한가지 칼라를 나타내는 광신호만을 통과시키기 위해 규칙적으로 배열된 구조를 갖게 된다. 이에 의해, 화소들은 여러개의 칼라 중에서 단 하나만의 칼라에 대한 화소값을 추출하게 된다.

신호처리부60은 상기 카메라50으로부터 출력되는 영상신호를 이미지신호로 변환한다. 여기서, 상기 신호처리부60은 DSP(Digital Signal Processor: DSP)로 구현할 수 있으며, 이때, 상기 신호처리부60은 샘플링 주기에 맞춰 영상신호를 이미지신호로 변환하게 된다. 이에 의해 각각의 화소에 대한 잃어버린 화소의 정보를 이웃 화소에 대한 정보를 이용하여 추론하는 Bayer패턴을 통해 전기적 신호로 변환된 영상신호를 출력한다.

영상 처리부70은 상기 신호처리부60에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상 처리부70은 상기 제어부10의 제어하에 수신되는 영상신호 또는 상기 카메라50을 통해 촬영한 영상 데이터를 상기 표시부80의 규격에 맞춰 전송하며, 또한 상기 영상 데이터를 압축 및 신장한다.

표시부80은 상기 제어부10의 제어하에 프로그램 수행중에 발생되는 메시지들을 표시한다. 또한 상기 표시부80은 카메라 촬영 모드시 영상보간되어 상기 영상처리부70에서 출력되는 영상신호를 화면으로 표시하며, 상기 제어부10에서 출력되는 사용자 데이터를 표시한다. 여기서 상기 표시부80은 LCD를 사용할 수 있으며, 이런 경우 상기 표시부80은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현하는 경우, 상기 키입력부27과 상기 LCD는 입력부가 될 수 있다.

상기 도 5를 참조하여 휴대용 단말기의 동작을 살펴보면, 발신시 사용자가 키입력부27을 통해 다이알링 동작을 수행한 후 발신모드를 설정하면, 상기 제어부10은 이를 감지하고 모뎀23을 통해 수신되는 다이알정보를 처리한 후 RF부21 을 통해 RF신호로 변환하여 출력한다. 이후 상대 가입자가 응답신호를 발생하면, 상기 RF부21 및 모뎀23을 통해 이를 감지한다. 이후 사용자는 오디오처리부25를 통해 음성 통화로가 형성되어 통신 기능을 수행하게 된다. 또한 착신모드시 상기 제어부10은 모뎀23을 통해 착신모드임을 감지하고, 오디오처리부25를 통해 링신호를 발생한다. 이후 사용자가 응답하면 상기 제어부10은 이를 감지하고, 역시 오디오처리부25를 통해 음성 통화로가 형성되어 통신 기능을 수행하게 된다. 상기 발신 및 착신모드에서는 음성통신을 예로들어 설명하고 있지만, 상기 음성 통신 이외에 패킷 데이터 및 영상데이터를 통신하는 데이터 통신 기능을 수행할 수도 있다. 또한 대기모드 또는 문자 통신을 수행하는 경우, 상기 제어부10은 모뎀23을 통해 처리되는 문자데이터를 표시부80 상에 표시한다.

또한, 상기 휴대용 단말기는 인물 또는 주변 환경을 촬영하여 영상화면으로 표시 또는 전송하는 동작을 수행할 수 있다. 먼저, 카메라50은 휴대용 전화기에 장착되거나 또는 외부의 소정 위치에 연결될 수 있다. 즉, 상기 카메라50은 외장형 또는 내장형 카메라일 수 있다. 상기 카메라50은 CCD(Charge Coupled Device) 센서를 사용할 수 있다. 상기 카메라50에 촬영되는 영상은 내부의 CCD 센서에서 전기적신호로 변환된 후 신호처리부60에 인가된다. 그러면 상기 신호처리부60은 상기 전기적신호를 샘플링하여 얻은 데이터로 이웃한 화소의 칼라 영상(RGB)이 보간된 디지털 영상 데이터로 변환하여 영상처리부70에 출력한다.

상술한 인물 또는 주변 환경을 촬영시에 카메라50에 의해 획득하게 되는 영상신호에 대한 영상보간을 처리하는 휴대용 단말기의 동작을 살펴보면, 우선, 제어 부10은 키입력부27을 통해 입력되는 키에 의해 발생되는 키데이터가 카메라 모드이면 표시부80에 카메라 모드임을 표시한다. 이후, 제어부10은 카메라50을 통해 피사체(인물, 주변 환경)에서 반사되어 나오는 광신호를 전기적 영상신호로 변환한다. 상기 변환된 전기적 영상신호는 CFA를 통해 각각의 화소마다 한가지 칼라를 나타내는 광신호만을 통과시켜 규칙적으로 배열된 Bayer패턴을 갖는다. 제어부10은 그러한 Bayer패턴의 R, G, B위치에서의 모든 칼라 정보(RGB)를 얻기위해서 신호처리부60을 제어한다. 그러면, 상기 신호처리부60은 주위 화소들의 칼라정보를 이용하여 각 화소에서 3가지 칼라 정보를 얻어 영상신호를 출력한다.

즉, 도 6과 같은 일반적인 Bayer 패턴을 갖으며 Bayer패턴의 CFA는 휘도를 나타내는 G가 50%, 색성분인 R과 B가 각각 25%의 비율로 분포되어있다. 이때, R, B는 서로 다른 라인에 교대로 배열되어 있고, G는 그러한 상기 R, B 사이에 위치하게 된다. 여기서, 각 Bayer패턴의 각 화소가 3가지 칼라정보를 획득할 수 있다. 이에 대한 구체적인 기술은 하기에서 상세히 설명하기로 한다.

도 7a-7b는 본 발명의 영상 보간방법을 보인 흐름도이다.

상기 도 7a-7b를 참조하면, 제어부10은 대기상태에서 카메라 모드인가를 판단한다(S711, S713). 이때, 상기 카메라 모드라고 판단되면, 상기 제어부10은 카메라 모드를 실행하며 그 카메라 모드에 따른 제어신호를 카메라 모드와 관련된 각 모듈에 인가한다(S715).

이에, 제어부10은 카메라50으로부터 상기 도 6과 같은 Bayer패턴을 얻을 수 있다(S717). 이후, 상기 카메라50은 상기 제어부10의 제어하에 Bayer패턴을 이용하 여 다음과 같은 영상 보간과정을 수행한다.

상기 도 6에서의 G위치에서의 R, B성분 보간을 위해 도 8의 (a)에 도시한 바와 같이 상기 G위치의 상하 또는 좌우 R혹은 B의 산술평균을 이용하여 R, B성분을 보간한다(S719). 이를 첨부한 도 5를 통해 좀더 상세히 설명하면 다음과 같다.

도 9는 본 발명의 실시예에 따른 G위치에서의 R, B 영상 보간을 설명하기 위한 일예의 Bayer패턴을 보인 예시도이다.

상기 도 9의 (a)를 참조하여 먼저, 상기 도 6의 Bayer패턴중 G5위치에서의 B성분 보간은 상기 G5위치에서 상하에 위치한 B2와 B8를 가산한후 그 결과를 2로 나눠 얻어진 결과값인 B성분을 보간한다. 여기서, 상기 G위치에서 R, B성분 보간에 대한 이해를 돕기 위해 각 화소의 성분들에 숫자를 덧붙였다.

또한, 상기 G5위치에서의 R성분 보간은 상기 G5위치에서 좌우에 위치한 R4와 R6을 가산한후 그 결과를 2로 나눠 얻어진 결과값인 R성분을 보간한다. 즉, 이는 하기의 수학식 4와 같이 표현 가능하다.

여기서, 상기 (a)는 G5위치에서의 보간되는 B성분을 의미하고, 상기 (b)는 G5위치에서의 보간되는 R성분을 의미하며,

은 B2, B8 위치에서의 B성분을 의미하고,

는 R4, R8 위치에서 R성분을 의미한다.

이후, 제어부10은 G위치에서 R, B성분 보간이 종료되었는가를 판단하여 G위치에서의 R, B성분 보간이 종료될때까지 상기 과정을 반복수행한다(S721). 그러면 상기 과정을 반복수행하여 Bayer패턴의 모든 G위치에 대해 R, B성분이 보간되면 도 8의 (b)와 같이 된다.

상기 판단결과, G위치에서 R, B성분 보간이 종료되면 R위치에서 G, B성분 보간을 수행하고, B위치에서 G, R성분 보간을 수행한다. 이때, 상기 R위치에서의 보간과 B위치에서의 영상 보간을 수행하는 순서는 동일한 시점에 이뤄진다. 이에, 상기 R위치에서의 보간과 B위치에서의 영상 보간을 수행하는 순서에 대한 우선순위는 정해져 있지않다. 따라서, R위치와 B위치에서의 영상 보간시 어떠한 것(R, B위치에서의 영상보간)에 대해 영상 보간을 먼저 수행해도 무관하다. 이에, 본 발명에서는 영상 보간방법에 대한 이해를 돕기 위해 R, B위치에 대한 G성분을 먼저 보간하고, R위치에서는 B성분을 보간하며, B위치에서는 R성분을 보간하는 순서로 기술한다.

우선, R 및 B위치에 이웃한 G위치간의 G성분의 가로차(△X)와 세로차(△Y)를 구한다(S723). 그래서, 상기 제어부10은 하기의 수학식 5를 이용하여 상기 가로차(△X)와 세로차(△Y)에 관한 연산을 수행한다.

△X=G성분을 보간하고자하는 R 및 B위치에 가로로 이웃한 G위치간의 G성분차이값의 절대값.

△Y=G성분을 보간하고자하는 R 및 B위치에 세로로 이웃한 G위치간의 G성분차이값의 절대값.

예를 들어, 도 9의 (b)와 같이 R14위치에서 G성분을 보간한다고 하면, 가로차(△X)는 G13-G15의 절대값이 될 것이다. 그리고, 세로차(△Y)는 G11-G17의 절대값이 될 것이다. 즉, 가로차(△X)=|G13-G15|, 세로차(△Y)=|G11-G17|가 된다.

또한, 도 9의 (c)는 B23위치에서 G성분을 보간한다고 하면 가로차(△X)는 G22-G24의 절대값이 될 것이다. 그리고, 세로차(△Y)는 G20-G26의 절대값이 될 것이다. 즉, 가로차(△X)=|G22-G24|, 세로차(△Y)=|G20-G26|가 된다.

이후, 제어부10은 상기 과정을 통해 얻은 가로차(△X)에 세로차(△Y)를 감산한 결과값의 절대값이 문턱치 값(T)보다 큰가를 판단한다(S724). 즉, |△X-△Y|＞T 인가를 판단하게 된다.

상기 판단결과, 문턱치 값(T)보다 크면, 제어부10은 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 큰가를 판단한다(S726). 즉, △Y＞△X+T 인가를 판단한다.

이에, 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 크면, 제어부10은 가로로 인접한 G위치들의 G성분을 서로 가산한후 2로 나눈 값을 R위치에서의 G성분으로 보간한다(S728). 즉, 하기와 같은 수학식 6에 의해 상기 R위치에서의 G성분을 얻어낼 수 있다.

여기서, 상기

는 R14위치에 보간되는 G성분을 의미하고,

는 G13, G15 위치의 G성분을 의미한다.

그러나, 상기 판단결과, 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 작으면 제어부10은 세로로 인접한 G위치들의 G성분을 서로 가산한후 2로 나눈 값을 R위치에서의 G성분으로 보간하도록 한다(S730). 즉, 하기와 같은 수학식 7에 의해 상기 R위치에서의 G성분을 얻어낼 수 있다.

여기서, 상기

는 R14위치에 보간되는 G성분을 의미하고,

은 G11, G17 위치의 G성분을 의미한다.

삭제

그러나, 상기 판단결과, 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T)보다 작을 경우, 메디안(Median) 기법을 이용하여 제일 큰값과 제일 작은값을 제외한 중간값인 G위치의 G성분을 가산한후 2로 나눈값을 R위치에서의 G성분으로 보간한다(S732).

또한, 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T)보다 작을때, 제어부10은 가로와 세로로 인접한 G위치들의 G성분을 가산한후 4로 나눈값을 R위치에서의 G성분으로 보간할 수 도있다. 즉, 하기와 같은 수학식 8에 의해 상기 R위치에서의 G성분을 얻어낼 수 있다.

여기서, 상기

는 R14위치에 보간되는 G성분을 의미하고,

은 G11, G13, G15, G17 위치의 G성분을 의미한다.

한편, B위치에서의 G성분을 보간하는 방법도 상술한 과정과 동일하게 이루어진다.

즉, 제어부10은 전술한 B위치에서의 G성분 보간을 위해 행한 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T1)보다 큰가를 판단한다(S724). 즉, |△X-△Y|＞T 인가를 판단하게 된다.

이에, 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 크면, 제어부10은 가로로 인접한 G위치들의 G성분을 서로 가산한후 2로 나눈 값을 B위치에서의 G성분으로 보간한다(S728). 즉, 하기와 같은 수학식 9에 의해 상기 B위치에서의 G성분을 얻어낼 수 있다.

여기서, 상기

는 B23위치에 보간되는 G성분을 의미하고,

는 G22, G24 위치의 G성분을 의미한다.

그러나, 상기 판단결과, 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 작으면, 제어부10은 세로로 인접한 G위치들의 G성분을 서로 가산한후 2로 나눈 값을 B위치에서의 G성분으로 보간하도록 한다(S730). 즉, 하기와 같은 수학식 10에 의해 상기 B위치에서의 G성분을 얻어낼 수 있다.

여기서, 상기

는 B23위치에 보간되는 G성분을 의미하고,

은 G20, G26 위치의 G성분을 의미한다.

그러나, 상기 판단결과, 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T)보다 작을 경우, 제어부10은 메디안(Median) 기법을 이용하여 제일 큰값과 제일 작은값을 제외한 중간값인 G위치의 G성분을 가산한후 2로 나눈값을 B위치에서의 G성분으로 보간한다(S732).

또한, 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T)보다 작으면, 제어부10은 가로와 세로로 인접한 G위치들의 G성분을 가산한후 4로 나눈값을 R위치에서의 G성분으로 보간할 수 도있다. 즉, 하기와 같은 수학식 11에 의해 상기 R위치에서의 G성분을 얻어낼 수 있다.

여기서, 상기

는 B23위치에 보간되는 G성분을 의미하고,

은 G20, G22, G24, G26 위치의 G성분을 의미한다.

이후, 제어부10은 Bayer의 모든 R 및 B위치에서의 G성분 보간이 종료되었는가를 판단하여 상기 모든 R 및 B위치에서의 G성분 보간이 종료될때까지 상기한 과정을 반복수행한다(S734). 그러면 상기 과정을 반복수행하여 Bayer패턴의 모든 R, B위치에 대해 G성분이 보간되면 도 8의 (c)와 같이 된다.

다음, 제어부10은 상기 R 및 B위치에서의 G성분 보간이 종료되면 R위치에는 B성분을 보간하고, B위치에는 R성분을 보간한다. 이때, 상기 R 위치에서의 B성분의 보간과정과 B위치에서의 R성분의 보간과정은 동시에 이루어진다. 이때도 상기 R위치에서의 보간과 B위치에서의 영상 보간을 수행하는 순서는 동일한 시점에 이뤄지며, 영상 보간방법에 대한 이해를 돕기 위해 R위치에 대한 B성분을 먼저 보간하고, B위치에서는 R성분을 보간하는 순서로 기술한다.

우선, R위치에서 B성분을 보간하는 과정을 후술하면 다음과 같다.

R위치에 이웃한 G위치의 B성분에 대한 가로차(△X)와 세로차(△Y) 연산을 수행한다(S736). 이에, 상기 제어부10은 R위치의 B성분을 보간하기 위해 하기의 수학식 12를 이용하여 가로차(△X)와 세로차(△Y)를 연산한다.

△X=B성분을 보간하고자하는 R위치에 가로로 이웃한 G위치간의 B성분차이값의 절대값.

△Y=B성분을 보간하고자하는 R위치에 세로로 이웃한 G위치간의 B성분차이값의 절대값.

예를 들어, 상기 도 9의 (b)와 같이 R14위치에서 B성분을 보간한다고 하면, 가로차(△X)는 G13에 보관된 B성분에서 G15에 보관된 B성분를 감산한 결과값의 절대값이 될 것이다. 그리고, 세로차(△Y)는 G11에 보관된 B성분에서 G17에 보관된 B성분을 감산한 결과값의 절대값이 될 것이다. 즉, 가로차(△X)=|G13B-G15B|, 세로차(△Y)=|G11B-G17B|가 된다. 여기서, 상기 G11B, G13B와 G15B 및 G17B는 각 G위치에 보간된 B성분을 의미한다.

또한, B23위치에서 R성분을 보간한다고 하면 가로차(△X)는 G22에 보관된 R성분에서 G24에 보관된 R성분를 감산한 결과값의 절대값이 될 것이다. 그리고, 세로차(△Y)는 G20에 보관된 R성분에서 G26에 보관된 R성분을 감산한 결과값의 절대값이 될 것이다. 즉, 가로차(△X)=|G22R-G24R|, 세로차(△Y)=|G20R-G26R|가 된다. 여기서, 상기 G20R, G22R과 G24R 및 G26R은 각 G위치에 보간된 R성분을 의미한다.

이후, 제어부10은 상기 과정을 통해 얻은 가로차(△X)에 세로차(△Y)를 감산한 결과값의 절대값이 문턱치 값(T)보다 큰가를 판단한다(S738). 즉, |△X-△Y|＞T 인가를 판단하게 된다.

상기 판단결과, 문턱치 값(T)보다 크면 제어부10은 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 큰가를 판단한다(S740). 즉, △Y＞△X+T 인가를 판단한다.

이에, 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 크면, 제어부10은 가로로 인접한 G위치들의 B성분을 서로 가산한후 2로 나눈 값을 R위치에서의 B성분으로 보간한다(S742). 즉, 하기와 같은 수학식 13에 의해 상기 R위치에서의 B성분을 얻어낼 수 있다.

여기서, 상기

는 R14위치에 보간되는 B성분을 의미하고,

는 G13, G15 위치의 B성분을 의미한다.

그러나, 상기 판단결과, 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 작으면 제어부10은 세로로 인접한 G위치들의 B성분을 서로 가산한후 2로 나눈 값을 R위치에서의 B성분으로 보간하도록 한다(S744). 즉, 하기와 같은 수 학식 14에 의해 상기 R위치에서의 B성분을 얻어낼 수 있다.

여기서, 상기

는 R14위치에 보간되는 B성분을 의미하고,

는 G11, G17 위치의 B성분을 의미한다.

그러나, 상기 판단결과, 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T)보다 작을 경우, 메디안 기법(Median)을 이용하여 제일 큰값과 제일 작은값을 제외한 중간값인 G위치의 B성분을 가산한후 2로 나눈값을 R위치에서의 B성분으로 보간한다(S746).

또한, 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T)보다 작으면, 제어부10은 가로와 세로로 인접한 G위치들의 B성분을 가산한후 4로 나눈값을 R위치에서의 B성분으로 보간할 수 도있다. 즉, 하기와 같은 수학식 15에 의해 상기 R위치에서의 G성분을 얻어낼 수 있다.

여기서, 상기

는 R14위치에 보간되는 B성분을 의미하고,

는 G11, G13, G15, G17 위치의 B성분을 의미한다.

한편, B위치에서의 R성분을 보간하는 방법도 상술한 과정과 동일하게 이루어진다.

우선, B위치에 이웃한 G위치의 R성분에 대한 가로차(△X)와 세로차(△Y) 연산을 수행한다(S736). 이에, 상기 제어부10은 B위치의 R성분을 보간하기 위해 하기의 수학식 16을 이용하여 가로차(△X)와 세로차(△Y)를 연산한다.

△X=R성분을 보간하고자하는 B위치에 가로로 이웃한 G위치간의 R성분차이값의 절대값.

△Y=R성분을 보간하고자하는 B위치에 세로로 이웃한 G위치간의 R성분차이값의 절대값.

예를 들어, 상기 도 9의 (c)와 같이 B23위치에서 R성분을 보간한다고 하면 가로차(△X)는 G22에 보관된 B성분에서 G24에 보관된 R성분를 감산한 결과값의 절대값이 될 것이다. 그리고, 세로차(△Y)는 G20에 보관된 R성분에서 G26에 보관된 R성분을 감산한 결과값의 절대값이 될 것이다. 즉, 가로차(△X)=|G22R-G24R|, 세로차(△Y)=|G20R-G26R|가 된다. 여기서, 상기 G20R, G22R과 G24R 및 G26R은 각 G위치에 보간된 R성분을 의미한다.

이에, 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 크면, 제어부10은 가로로 인접한 G위치들의 R성분을 서로 가산한후 2로 나눈 값을 B위치에서의 R성분으로 보간한다(S742). 즉, 하기와 같은 수학식 17에 의해 상기 B위치에서의 R성분을 얻어낼 수 있다.

여기서, 상기

은 B23위치에 보간되는 R성분을 의미하고,

은 G22, G24 위치의 R성분을 의미한다.

그러나, 상기 판단결과, 세로차(△Y)가 가로차(△X)와 문턱치 값(T)을 더한 결과값보다 작으면, 제어부10은 세로로 인접한 G위치들의 R성분을 서로 가산한후 2로 나눈 값을 B위치에서의 R성분으로 보간하도록 한다(S744). 즉, 하기와 같은 수학식 18에 의해 상기 B위치에서의 R성분을 얻어낼 수 있다.

여기서, 상기

은 B23위치에 보간되는 R성분을 의미하고,

은 G20, G26 위치의 R성분을 의미한다.

그러나, 상기 판단결과, 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T)보다 작을 경우, 제어부10은 메디안 기법(Median)을 이용하여 제일 큰값과 제일 작은값을 제외한 중간값인 G위치의 R성분을 가산한후 2로 나눈값을 B위치에서의 R성분으로 보간한다(S746).

또한, 가로차(△X)로부터 세로차(△Y)를 감산한 결과의 절대값이 문턱치 값(T)보다 작으면, 제어부10은 가로와 세로로 인접한 G위치들의 R성분을 가산한후 4로 나눈값을 B위치에서의 R성분으로 보간할 수 도 있다. 즉, 하기와 같은 수학식 19에 의해 상기 B위치에서의 R성분을 얻어낼 수 있다.

여기서, 상기

은 B23위치에 보간되는 R성분을 의미하고,

은 G20, G22, G24, G26 위치의 R성분을 의미한다.

이후, 제어부10은 R 및 B위치에서의 B 및 R성분 보간이 종료되었는가를 판단하여 상기 R 및 B위치에서의 B 및 R성분 보간이 종료될때까지 상기 과정을 반복한후 종료한다(S748). 그러면 상기 과정을 반복수행하여 Bayer패턴의 모든 R, G, B위치에 대해 유실된 모든 성분이 보간되면 도 8의 (d)와 같이 된다.

따라서, 본 발명의 영상보간방법은 상술한 과정을 통해 각 화소마다 유실된 영상 칼라정보를 보간하게 된다. 이때, Bayer 패턴의 테두리에 위치하는 화소는 비교할 주위 화소가 없으므로, 고려할 수 있는 인접의 성분을 그대로 사용하게 된다.

이러한 본 발명의 보간방법으로, 도 10의 (a)에서와 같이 주위 성분의 방향성을 고려하여 G성분을 보간할 경우, 이를 수직적으로만 나타내면 도 10의 (b)와 같이 보간됨을 알 수 있다. 상기 도 10의 (a)에서, 홀수 수평 방향 성분에 대한 주파수 특성은 도 11의 (a)와 같고, 짝수 수평 방향 성분에 대한 주파수 특성은 상기 도 11의 (b)과 같이 위상이 바뀌게 나타난다.

따라서 상기 도 10의 (b)에서와 같이 보간된 패턴의 주파수 특성은 홀수 및 짝수 라인의 스펙트럼이 홀수 배 샘플링 주파수에서 서로 역 위상을 가지게 되어, 역 위상 부분이 상쇄되게 될 도 11의 (c)와 같이 된다. 그러므로 상호 역 위상에 대한 성분을 고려하면 제안한 보간 방법은 상기 도 11의 (c)와 같은 공간 주파수 특성을 갖게 된다.

도 12a-12b는 본 발명의 다른 실시예에 따른 영상보간방법을 보인 흐름도이고, 도 13은 본 발명의 다른 실시예에 따른 영상 보간방법을 설명하기 위한 도면이다.

상기 도 12a-12b와 도 13을 참조하면, S711~S721은 상술한 G위치에서 R 및 B성분 보간방법이고, S734~S748은 R위치에서 B성분 보간과 B위치에서 R성분 보간방법으로서, 상기 도 7a, 도 7b와 동일한 방법을 통해 수행되므로 이에 대한 상세한 설명은 생략하기로 한다. 즉, 상기 도 12a와 도 12b는 도 7a대신 수행되는 것으로, 상기 도 12b의 과정을 수행한 이후 도 7b의 과정을 수행한다.

제어부10은 G위치에서 R과 B 성분을 보간한후, R과 B위치에서의 G성분을 보간하기 위해 상기 R과 B위치에 인접한 G성분을 추출한다(S823).

이후, 상기 제어부10은 상기 추출한 G성분을 2×2화소 형태로 변환시킨다(S825). 이때, 상기 제어부10은 G성분을 보간하고자 하는 R 및 B위치를 중심으로 좌측에 위치한 G위치 G성분을 첫번째 행의 첫번째 열에 위치시키고, 상측에 위치한 G위치 G성분을 첫번째 행의 두번째 열에 위치시키고, 하측에 위치한 G위치 G성분을 두번째 행의 첫번째 열에 위치시키며, 좌측에 위치한 G위치 G성분을 두번째 행의 두번째 열에 위치시킨다. 이를 나타낸 도면이 도 13의 (a)와 (b)에 도시되어 있다.

전술한 과정이후, 제어부10은 이산 코사인 변환(Discrete Cosine Transform; DCT, 이하 "DCT" 라 칭함)을 통해 DCT 계수를 이용한 2×2화소로 변환시킨다(S827).

즉, 2차원 행렬로 정의된 영상 데이터를 공간 영역에서 주파수 영역으로 변환하는 것으로, 상기 도 13의 (c)와 같이 C1, C2, C3, C4의 DCT 계수와 같이 그 C1부터 C4계수 순으로 각각 저주파수(DC), 수평주파수, 수직주파수, 고주파수에 해당 하는 계수가 위치하게 된다.

이후, 제어부10은 상기 DCT 계수중 저주파수 계수가 가장 큰가를 판단하여 가장 크면, R 및 B위치에 인접한 4개에 대한 G위치의 G성분을 산술평균하여 나온 결과값을 상기 R 및 B위치의 G성분으로 보간한다(S829, S831). 여기서, 상기 DCT 계수중 저주파수 계수가 가장 크다는 것은 전체적으로 균일한 패턴을 갖고 있다는 의미가 된다. 따라서, 인접한 G위치의 G성분을 산술평균하여 그 결과값을 보간하게 된다.

이에, 하기의 수학식 20을 통해 R 및 B위치의 G성분을 보간할 수 있다.

여기서, 상기 G1~G4는 R위치와 B위치에 인접한 G위치의 G성분을 나타낸다.

또한, 상기 수학식 20을 통해 R과 B위치의 G성분을 보간하지않고, R과 B위치에 인접한 4개의 G위치의 G성분중 하나를 선택하여 R과 B위치의 G성분을 보간할 수 있다(S831). 즉, G1, G2, G3, G4 중 하나를 선택하여 상기 R 및 B위치의 G성분을 보간할 수 있다.

그러나, 상기 판단결과 DCT 계수중 저주파수 계수가 가장 크지 않으면, 제어부10은 DCT 계수중 수평주파수 계수가 가장 큰가를 판단하여 가장 크면, 2×2화소형태로 변환된 G성분중 세로로 인접한 G위치의 G성분을 산술평균하여 R 및 B위치에 서의 G성분을 보간한다(S833, S835). 여기서, 상기 DCT 계수중 수평주파수 계수가 가장 크다는 것은 2×2화소형태에서 가로 패턴에 차이가 많다는 것을 의미한다. 따라서, 상기 2×2화소형태에서 세로 패턴을 이용해야 한다.

이에, 하기의 수학식 21을 통해 R 및 B위치의 G성분을 보간할 수 있다.

여기서, 상기 R은 R위치에서의 G성분을 나타내고, B는 B위치에서의 G성분을 나타내며, 상기 G1과 G4, G2와 G3은 2×2화소로 변환된 G성분중 세로로 인접한 G위치의 G성분을 나타낸다.

그러나, 상기 판단결과 DCT 계수중 수평주파수 계수가 가장 크지 않으면, 제어부10은 DCT 계수중 수직주파수 계수가 가장 큰가를 판단하여 가장 크면, 2×2화소형태로 변환된 G성분중 가로로 인접한 G위치의 G성분을 산술평균하여 R 및 B위치에서의 G성분을 보간한다(S837, S839). 여기서, 상기 DCT 계수중 수직주파수 계수가 가장 크다는 것은 2×2화소형태에서 세로 패턴에 차이가 많다는 것을 의미한다. 따라서, 상기 2×2화소형태에서 가로 패턴을 이용해야 한다.

이에, 하기의 수학식 22를 통해 R 및 B위치의 G성분을 보간할 수 있다.

여기서, 상기 R은 R위치에서의 G성분을 나타내고, B는 B위치에서의 G성분을 나타내며, 상기 G1과 G2, G3와 G4는 2×2화소로 변환된 G성분중 가로로 인접한 G위치의 G성분을 나타낸다.

그러나, 상기 판단결과 DCT 계수중 수직주파수 계수가 가장 크지 않으면, 제어부10은 DCT 계수중 고주파수 계수가 가장 크다고 판단하고, 2×2화소형태로 변환된 G성분중 대각선으로 인접한 G위치의 G성분을 산술평균하여 R 및 B위치에서의 G성분을 보간한다(S841).

여기서, 상기 DCT 계수중 고주파수 계수가 가장 크다는 것은 2×2화소형태에서 가로와 세로 패턴에 차이가 많다는 것을 의미한다. 따라서, 상기 2×2화소형태에서 대각선 패턴을 이용해야 한다.

이에, 하기의 수학식 23을 통해 R 및 B위치의 G성분을 보간할 수 있다.

여기서, 상기 R은 R위치에서의 G성분을 나타내고, B는 B위치에서의 G성분을 나타내며, 상기 G1과 G3, G2와 G4는 2×2화소로 변환된 G성분중 대각선으로 인접한 G위치의 G성분을 나타낸다.

이후, R위치에서의 B성분 보간과 B위치에서의 R성분 보간은 앞서 제안한 바와 같이 동일한 방법을 통해 수행되므로 이에 대한 상세한 설명은 생략한다.

따라서, 본 발명의 영상 보간은 Bayer 신호 보간 방법에 의해 앨리어싱(aliasing)없는 해상도가 향상된 영상을 획득할 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

이상에서 상세히 설명한 바와 같이 본 발명은 각 화소의 3가지 칼라영상 정보 보간시, 주변 화소값의 분포를 고려한 이웃 주위 화소값을 연산하여 각 화소마다 유실된 칼라영상정보를 보간함으로써, 해상도가 향상된 영상을 획득할 수 있는 효과가 있다. 이에, 사용자는 사실감 있는 영상을 볼 수 있는 이점이 있다.

Claims

칼라 영상을 보간하는 방법에 있어서,

촬영되는 피사체의 광신호로부터 베이어(Bayer) 패턴을 추출하는 과정과;

상기 추출된 베이어 패턴의 G위치에 이웃한 상하 또는 좌우의 R, B성분을 산술평균하여 상기 G위치에서 R, B성분을 보간하는 과정과;

상기 G위치에서 R, B성분 보간후, R 및 B위치에 이웃한 G위치의 G와 B 및 R성분의 가로차와 세로차 연산을 수행하는 과정과;

상기 G위치에서의 G, B, R성분의 가로차에 세로차를 감산한 결과값의 절대값과 기 설정된 문턱치 값의 대소를 비교하여 상기 문턱치 값보다 크면 가로차와 세로차중 차이값이 작은 인접한 가로 혹은 세로 G위치들의 G, B, R성분의 산술평균을 통해 R 및 B위치에서 G, B, R성분을 보간하는 과정과;

상기 비교결과, 상기 문턱치 값보다 작으면 메디안 기법을 통해 R 및 B위치에서 G, B, R성분을 보간하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.
제1 항에 있어서, 상기 가로차는 보간하고자 하는 위치에 가로로 이웃한 화소간 차이값의 절대값인 것을 특징으로 하는 상기 방법.
제1 항에 있어서, 상기 세로차는 보간하고자 하는 위치에 세로로 이웃한 화소간 차이값의 절대값인 것을 특징으로 하는 상기 방법.
제1 항에 있어서, 상기 G성분의 가로차에 세로차를 감산한 결과값의 절대값과 기 설정된 문턱치 값의 대소를 비교하여 상기 문턱치 값보다 크고 상기 G성분의 가로차가 세로차보다 작으면 가로로 인접한 G위치들의 G성분의 산술평균을 통해 R 및 B위치에서 G성분을 보간하고, 상기 문턱치 값보다 크고 상기 가로차가 세로차 보다 크면 세로로 인접한 G위치들의 G성분의 산술평균을 통해 R 및 B위치에서 G성분을 보간하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.
제1 항에 있어서, 상기 G성분의 가로차에 세로차를 감산한 결과값의 절대값이 기 설정된 문턱치 값보다 작으면, 메디안 기법을 통해 R 및 B위치에서 G성분을 보간하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.
제1 항에 있어서, 상기 B성분과 R성분의 가로차에 세로차를 감산한 결과값의 절대값과 기 설정된 문턱치 값의 대소를 비교하여 상기 문턱치 값보다 크고 상기 B성분과 R성분의 가로차가 세로차보다 작으면 가로로 인접한 G위치들의 B성분 및 R 성분의 산술평균을 통해 R 및 B위치에서 B성분 및 R성분을 보간하고, 상기 문턱치 값보다 크고 상기 B성분과 R성분의 가로차가 세로차 보다 크면 세로로 인접한 G위치들의 B성분 및 R성분의 산술평균을 통해 R 및 B위치에서 B성분 및 R성분을 보간하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.
제1 항에 있어서, 상기 B성분과 R성분의 가로차에 세로차를 감산한 결과값의 절대값이 기 설정된 문턱치 값보다 작으면 메디안 기법을 통해 R 및 B위치에서 B성분 및 R성분을 보간하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.
제1 항에 있어서, 상기 G성분의 가로차에 세로차를 감산한 결과값의 절대값이 기 설정된 문턱치 값보다 작으면 메디안 기법외에 가로와 세로로 이웃한 G위치들의 G성분의 산술평균을 통해 R 및 B위치에서의 G성분 보간하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.
제1 항에 있어서, 상기 B성분과 R성분의 가로차에 세로차를 감산한 결과값의 절대값이 기 설정된 문턱치 값보다 작으면 메디안 기법외에 가로와 세로로 이웃한 G위치들의 B성분 및 R성분의 산술평균을 통해 R 및 B위치에서의 B성분 및 R성분을 보간을 수행하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.
칼라 영상을 보간하는 방법에 있어서,

촬영되는 피사체의 광신호로부터 베이어(Bayer) 패턴을 추출하는 과정과;

상기 추출된 베이어(Bayer) 패턴의 G위치에 이웃한 상하 또는 좌우의 R, B성분을 산술평균하여 상기 G위치에서 R, B성분을 보간하는 과정과;

상기 G위치에서 R, B성분 보간후, R과 B위치를 중심으로 이웃한 G위치의 G성분에 대해 이산 코사인 변환(DCT)하여 얻은 이산 코사인 변환 계수의 패턴을 분석하여 R과 B위치에서의 G성분을 보간하는 과정과;

상기 R 및 B위치에 이웃한 G위치의 B 및 R성분의 가로차와 세로차 연산을 수행한 결과값의 절대값과 기 설정된 문턱치 값의 대소를 비교하여 상기 문턱치 값보다 크면 가로차와 세로차중 차이값이 작은 인접한 가로 혹은 세로 G위치들의 B, R성분의 산술평균을 통해 R 및 B위치에서 B, R성분을 보간하는 과정과;

상기 비교결과, 상기 문턱치 값보다 작으면 메디안 기법을 통해 R 및 B위치에서 B, R성분을 보간하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.
제10 항에 있어서, 상기 이산 코사인 변환 계수의 패턴 분석은 이산 코사인 변환 계수중 가장 큰 계수를 통해 패턴을 분석하는 것을 특징으로 하는 상기 방법.
제10 항에 있어서, 상기 R과 B위치에서의 G성분을 보간하는 과정은 R과 B위치를 중심으로 상ㆍ하ㆍ좌ㆍ우로 이웃한 G성분을 추출하는 단계와;

상기 추출된 G성분들을 일정 가로 및 세로의 화소형태로 변환하는 단계와;

상기 변환된 일정 가로 및 세로의 화소형태를 이산 코사인 변환하여 이산 코사인 변환 계수로 이루어진 상기 일정 가로 및 세로의 화소 형태로 변환하는 단계를 포함함을 특징으로 하는 상기 방법.
제12 항에 있어서, 상기 일정 가로 및 세로의 화소형태는 2×2 화소형태인 것을 특징으로 하는 상기 방법.
제12 항에 있어서, 상기 G성분들을 일정 가로 및 세로의 화소형태로 변환하는 단계는 R 및 B위치를 중심으로 좌측에 위치한 G위치 G성분을 첫번째 행의 첫번째 열에 위치시키고, 상측에 위치한 G위치 G성분을 첫번째 행의 두번째 열에 위치시키고, 우측에 위치한 G위치 G성분을 두번째 행의 첫번째 열에 위치시키며, 하측에 위치한 G위치 G성분을 두번째 행의 두번째 열에 위치시키는 것을 특징으로 하는 상기 방법.
제10 항에 있어서, 상기 R과 B위치에서의 G성분을 보간하는 과정은

이산 코사인 변환계수중 저주파수 계수가 가장 큰가를 판단하여 상기 저주파수 계수가 가장 크면 이웃한 G위치의 G성분중 임의의 하나를 선택하여 보간하는 단계와;

상기 이산 코사인 변환계수중 수평 주파수 계수가 가장 큰가를 판단하여 상기 수평 주파수 계수가 크면 상기 이웃한 G위치의 G성분들을 일정 가로 및 세로의 화소형태의 세로로 인접한 G위치의 G성분을 산술평균하여 보간하는 단계와;

상기 이산 코사인 변환계수중 수직 주파수 계수가 가장 큰가를 판단하여 가장 크면 상기 일정 가로 및 세로의 화소형태의 가로로 인접한 G위치의 G성분을 산술평균하여 보간하는 단계와;

상기 이상 코사인 변환계수중 고주파수 계수가 가장 큰가를 판단하여 가장 크면 상기 일정 가로 및 세로의 화소형태의 대각선으로 인접한 G위치의 G성분을 산술평균하여 보간하는 단계로 이루어진 것을 특징으로 하는 상기 방법.
제15 항에 있어서, 상기 이산 코사인 변환계수중 저주파수 계수가 가장 크면 이웃한 G위치의 G성분중 임의의 하나를 선택하거나 그 이웃한 G위치의 G성분을 산술평균하는 것을 특징으로 하는 상기 방법.
제15 항에 있어서, 상기 이산 코사인 변환계수중 수평 주파수 계수가 크거나, 수직 주파수 계수 혹은 고주파수 계수가 클 경우 세로 또는 가로 또는 대각선으로 인접한 복수개의 G위치의 G성분중 임의로 하나를 선택하여 R 및 B위치에서 G성분을 보간하는 것을 특징으로 하는 상기 방법.
제10 항에 있어서, 상기 B성분과 R성분의 가로차에 세로차를 감산한 결과값의 절대값이 기 설정된 문턱치 값보다 작으면 메디안 기법외에 가로와 세로로 이웃한 G위치들의 B성분 및 R성분의 산술평균을 통해 R 및 B위치에서의 B성분 및 R성분을 보간하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.